CN102957863B - 摄像设备、图像处理设备和图像处理方法 - Google Patents

摄像设备、图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN102957863B
CN102957863B CN201210298159.7A CN201210298159A CN102957863B CN 102957863 B CN102957863 B CN 102957863B CN 201210298159 A CN201210298159 A CN 201210298159A CN 102957863 B CN102957863 B CN 102957863B
Authority
CN
China
Prior art keywords
image
imageing sensor
subject
view data
pick
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210298159.7A
Other languages
English (en)
Other versions
CN102957863A (zh
Inventor
长野明彦
秋吉秀信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201510622424.6A priority Critical patent/CN105163033B/zh
Publication of CN102957863A publication Critical patent/CN102957863A/zh
Application granted granted Critical
Publication of CN102957863B publication Critical patent/CN102957863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Camera Data Copying Or Recording (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明提供一种用于生成所拍摄图像的辅助信息的摄像设备、图像处理设备和图像处理方法。摄像设备包括摄像镜头、图像传感器和多个微透镜。摄像设备还包括：图像处理单元，用于通过对从图像传感器输出的图像数据进行再聚焦处理来生成预定的再聚焦面处的重建图像，并且判断重建图像中是否存在被摄体。摄像设备的记录单元记录从图像传感器输出的图像数据，并将与被图像处理单元判断为存在的被摄体有关的信息作为辅助信息与图像数据相关联地进行记录。

Description

摄像设备、图像处理设备和图像处理方法
技术领域
本发明涉及一种用于处理如下的图像数据的摄像设备、图像处理设备和图像处理方法，其中该图像数据使得能够在摄像之后改变图像的焦距。
背景技术
近年来，在数字照相机中，被称为光场照相机的照相机领域已引起关注。利用这种照相机所拍摄到的图像，可以通过在摄像之后改变焦距(成像面、再聚焦面)来创建再聚焦图像，因而期望能够在摄像之后选择各种焦点位置并消除由于摄像时的用户失误所引起的失焦图像。
另一方面，存在一种在显示数字照相机所拍摄到的图像时使用的被称为索引显示的功能。该功能是用于显示缩小图像的列表以使得用户较容易找到期望图像的功能。然而，尽管光场照相机所拍摄到的图像使得能够在摄像之后聚焦于任意位置，但并非必须聚焦于在摄像时用户所期望聚焦的人物等。特别地，当进行索引显示时，存在如下情况：例如，如果人物没有聚焦，则无法判断谁出现在图像中，并且用户难以对图像进行选择。
日本特开2009-065356公开了用于在利用光场照相机摄像时解决上述的无法识别被摄体的面部这一问题的方法。在该方法中，设置用于改变景深的设置，多次改变镜头位置以进行预备摄像，基于该预备摄像的结果进行面部识别，然后进行摄像。
然而，尽管日本特开2009-065356公开了用于在摄像时进行面部识别的方法，但并未公开用于在图像再现时解决上述问题的方法。
考虑到上述问题，本发明提供一种使得能够容易地识别出光场照相机拍摄到的图像数据中所包括的被摄体的摄像设备、图像处理设备和图像处理方法。
发明内容
根据本发明的第一方面，提供一种摄像设备，包括：摄像镜头；图像传感器，其包括二维配置的多个像素，其中，所述图像传感器用于对入射光进行光电转换并输出图像数据；多个微透镜，其配置在所述摄像镜头和所述图像传感器之间，其中，各微透镜分别与所述图像传感器的多个区域中的各区域相对应，该各区域包括预定数量的像素；图像处理单元，用于通过对从所述图像传感器输出的图像数据进行再聚焦处理来生成预定的再聚焦面处的重建图像，并且判断所述重建图像中是否存在被摄体；以及记录单元，用于记录从所述图像传感器输出的图像数据，并且将与被所述图像处理单元判断为存在的所述被摄体有关的信息作为辅助信息与所述图像数据相关联地进行记录。
根据本发明的第二方面，提供一种图像处理设备，用于对从摄像设备输出的图像数据进行处理，所述摄像设备包括：摄像镜头；图像传感器，其包括二维配置的多个像素，其中，所述图像传感器用于对入射光进行光电转换并输出图像数据；以及多个微透镜，其配置在所述摄像镜头和所述图像传感器之间，其中，各微透镜分别与所述图像传感器的多个区域中的各区域相对应，该各区域包括预定数量的像素，所述图像处理设备包括：图像处理单元，用于通过对从所述图像传感器输出的图像数据进行再聚焦处理来生成预定的再聚焦面处的重建图像，并且判断所述重建图像中是否存在被摄体；以及记录单元，用于记录从所述图像传感器输出的图像数据，并且将与被所述图像处理单元判断为存在的所述被摄体有关的信息作为辅助信息与所述图像数据相关联地进行记录。
根据本发明的第三方面，提供一种图像处理方法，用于对从摄像设备输出的图像数据进行处理，所述摄像设备包括：摄像镜头；图像传感器，其包括二维配置的多个像素，其中，所述图像传感器用于对入射光进行光电转换并输出图像数据；以及多个微透镜，其配置在所述摄像镜头和所述图像传感器之间，其中，各微透镜分别与所述图像传感器的多个区域中的各区域相对应，该各区域包括预定数量的像素，所述图像处理方法包括以下步骤：图像处理步骤，用于通过对从所述图像传感器输出的图像数据进行再聚焦处理来生成预定的再聚焦面处的重建图像，并且判断所述重建图像中是否存在被摄体；以及记录步骤，用于记录从所述图像传感器输出的图像数据，并且将与在所述图像处理步骤中被判断为存在的所述被摄体有关的信息作为辅助信息与所述图像数据相关联地进行记录。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出根据本发明实施例的摄像设备的总体结构的框图。
图2是说明根据实施例的图像传感器的像素与微透镜阵列之间的位置关系的图。
图3是说明根据实施例的摄像镜头、图像传感器的像素和微透镜阵列之间的位置关系的图。
图4A和4B是说明根据实施例的摄像镜头的光瞳区域与光接收像素之间的对应关系的图。
图5是说明根据实施例的再聚焦图像生成光线的透过区域的图。
图6是说明根据实施例的用作辅助信息的面部位置信息和面部相对大小信息的图。
图7是示出根据实施例的在拍摄到主图像之后所进行的记录操作的流程图。
图8是示出根据实施例的针对主图像的索引显示操作的流程图。
图9A~9D是示出根据实施例的索引显示的示例的图。
图10是示出根据第三实施例的数字照相机1的总体结构的图。
图11是说明摄像画面的分割的图。
图12是示出根据第三实施例的摄像处理和恢复处理的流程图。
图13A是说明在摄像模式中在第一开关断开的情况下的取景器图像的图。
图13B是说明在第一开关接通的情况下的取景器图像的图。
图14是示出图12的步骤S110中的恢复处理的详细内容的流程图。
图15A是说明根据第三实施例的在摄像模式中在第一开关断开的情况下显示在显示单元4上的图像的图。
图15B是说明根据第三实施例的在第一开关接通的情况下显示在显示单元4上的图像的图。
图15C是说明根据第三实施例的恢复图像的图。
图16是示出根据第四实施例的数字照相机1的总体结构的图。
图17是示出根据第四实施例的摄像处理和恢复处理的流程图。
图18A是说明根据第四实施例的在摄像模式中在第一开关断开的情况下显示在显示单元4上的图像的图。
图18B是说明根据第四实施例的在第一开关接通的情况下显示在显示单元4上的图像的图。
图18C是说明根据第四实施例的恢复图像的图。
图19是说明根据第四实施例的在没有检测到主被摄体的情况下的恢复图像的图。
图20A是示出可以应用本发明的光学系统的图。
图20B是示出可以应用本发明的另一光学系统的图。
图20C是示出可以应用本发明的又一光学系统的图。
具体实施方式
以下参考附图来详细说明用于执行本发明的实施例。
第一实施例
图1是示出根据本发明实施例的摄像设备100的总体结构的框图。在图1所示的结构中，已通过摄像镜头101的光在摄像镜头101的焦点位置附近形成图像。微透镜阵列102由多个微透镜1020构成，并且由于配置在摄像镜头101的焦点位置附近，因而微透镜阵列102具有使已通过摄像镜头101的不同光瞳区域的光针对各光瞳区域进行分割并出射的功能。图像传感器103是诸如CMOS图像传感器或CCD图像传感器的光电转换元件，并输出通过对入射光进行光电转换所获得的图像信号。多个微透镜1020以各微透镜1020与多个像素相对应的方式二维配置，因此通过微透镜1020针对各光瞳区域已进行了分割并出射的光可以在维持分割信息的状态下被接收到，并且可被转换成能够进行数据处理的图像信号。
模拟信号处理电路(AFE)104对从图像传感器103输出的图像信号进行相关双采样处理、信号放大、基准电平调整和A/D转换处理等。数字信号处理电路(DFE)105对从模拟信号处理电路104输出的图像信号进行诸如基准电平调整等的数字图像处理。
图像处理电路106对从数字信号处理电路105输出的图像信号进行预定的图像处理、以及光场照相机特有的用于聚焦于任意虚拟成像面的再聚焦运算(显影处理)。此外，图像处理电路106具有用于在显影图像中检测被摄体的被摄体检测功能、以及用于识别所检测到的被摄体是否是特定被摄体的识别功能。在本实施例中，图像处理电路106具有：作为被摄体检测的示例的面部判断功能，用于识别人物的面部；以及作为被摄体识别功能的示例的面部识别功能，用于通过与后面所述的存储器电路107中的面部数据库进行对照来识别是谁的面部；但并不局限于此。图像处理电路106还具有如下功能，其中该功能用于在再现时要进行索引显示的情况下，从记录电路108读出主图像，使用预定的再聚焦参数进行显影，并生成缩小图像(缩略图图像)。存储器电路107是诸如闪速存储器等的非易失性存储器，并且对存储有成对的人物的面部和名称的面部数据库信息进行存储。记录电路108是诸如存储卡等的记录介质，其中该记录介质用于记录和保持从图像处理电路106输出的图像信号(主图像)以及与这些主图像相关联的后面所述的辅助信息。
控制电路109进行诸如针对图像传感器103和图像处理电路106的驱动控制等的、针对摄像设备100的总体驱动控制。操作电路110接收来自摄像设备100所配备的操作构件的信号，并将用户指示输入至控制电路109。显示电路111显示所拍摄图像、实时取景图像、各种设置画面、主图像、显影图像以及记录在记录电路108中的辅助信息等。此外，在后面所述的辅助信息是图像的情况下，显示电路111可以剪切出并显示该图像的一部分。此外，在辅助信息是字符数据的情况下，显示电路111可以以将字符叠加在显示画面上的方式显示这些字符。
接着说明本实施例的摄像设备中的摄像镜头101、微透镜阵列102和图像传感器103之间的位置关系。
图2是从图1的光轴Z方向所观看的、示出图像传感器103和微透镜阵列102的图。各微透镜1020以一个微透镜1020与多个分割像素201相对应的方式配置。将像素阵列200定义为位于一个微透镜后方的一组分割像素201。注意，在第一实施例中，各像素阵列200由5行×5列的总共25个分割像素201构成。
图3是如从与光轴Z垂直的方向所观看的、示出从摄像镜头101出射的光如何通过一个微透镜1020并由图像传感器103所接收的图。光从摄像镜头101的光瞳区域a1~a5出射，通过中央的微透镜1020，并且在位于该微透镜后方的相应分割像素p1~p5上形成图像。
图4A是如从光轴Z方向观看摄像镜头101的开口的、用于更具体地说明图3所示的摄像镜头101的光透过区域和图像传感器103的光接收区域的图。图4B是如从光轴Z方向所观看的、示出一个微透镜1020和配置在该微透镜后方的像素阵列200的图。在如图4A所示、摄像镜头101被分割成的光瞳区域的数量与位于微透镜1020后方的像素的数量相同的情况下，从摄像镜头101的一个光瞳分割区域出射的光在一个像素上形成图像。注意，这里，摄像镜头101的F值和微透镜1020的F值大致相互一致。
如从光轴Z方向所观看的，图4A所示的摄像镜头101的光瞳区域a11~a55与图4B所示的像素p11~p55之间的对应关系为点对称关系。因此，从摄像镜头101的光瞳区域a11出射的光在位于微透镜1020后方的像素阵列200的像素中的像素p11上形成图像。同样，从光瞳区域a11出射的通过另一微透镜1020的光也在位于该微透镜1020后方的像素阵列200的像素中的像素p11上形成图像。
以下说明用于计算与画面内的任意被摄体位置相对应的焦点位置(再聚焦面)的方法。如图4A和4B所示，像素阵列200的各像素接收已通过摄像镜头101的不同光瞳区域的光。根据这些分割信号对像素信号进行合成，从而生成已进行了水平光瞳分割的一对信号。
Σ a = 1 5 Σ b = 1 2 ( p ab ) . . . ( 1 )
Σ a = 1 5 Σ b = 4 5 ( p ab ) . . . ( 2 )
在表达式(1)中，针对特定像素阵列200的各像素，对已通过摄像镜头101的出射光瞳的左侧区域(光瞳区域a11~a51和a12~a52)的光进行积分。这适用于在水平方向上排列的多个像素阵列200，并且由该组输出信号所形成的被摄体图像为图像A。此外，在表达式(2)中，针对特定像素阵列200的各像素，对已通过摄像镜头101的出射光瞳的右侧区域(光瞳区域a14~a54和a15~a55)的光进行积分。这适用于在水平方向上排列的多个像素阵列200，并且由该组输出信号所形成的被摄体图像为图像B。然后，通过对图像A和图像B进行相关运算来检测图像偏移量(光瞳分割相位差)。然后，可以通过将该图像偏移量乘以基于光学系统和摄像镜头101的焦点位置所确定的转换系数来计算与画面内的任意被摄体位置相对应的焦点位置。
接着说明用于重建任意设置的焦点位置(再聚焦面)的图像的处理，其中该处理是针对利用摄像镜头101、微透镜阵列102和图像传感器103的结构所获取到的所拍摄数据进行的。
图5是如从与光轴Z垂直的方向所观看的图，其中该图示出光在通过任意设置的再聚焦面上的特定像素之后从摄像镜头101的哪个光瞳分割区域出射，并且还示出光入射到哪个微透镜1020上。这里，由坐标(u,v)来表示摄像镜头101的光瞳分割区域的位置，由坐标(x,y)来表示再聚焦面上的像素的位置，并且由坐标(x',y')来表示微透镜阵列102上的微透镜1020的位置。此外，由F来表示从摄像镜头101到微透镜阵列102的距离，并且由αF来表示从摄像镜头101到再聚焦面的距离。这里，α是用于确定再聚焦面的位置的再聚焦系数，并且可以由用户任意设置、或者可以根据场景识别或被摄体检测等进行设置。注意，图5仅示出u、x和x'的方向，并且没有示出v、y和y'的方向。如图5所示，已通过坐标(u,v)和坐标(x,y)的光到达微透镜阵列102上的坐标(x',y')。可以如表达式(3)所示表示这些坐标(x',y')。
( x ′ , y ′ ) = ( u + x - u α , v + y - v α ) . . . ( 3 )
然后，设L(x',y',u,v)表示接收该光的像素的输出，则通过针对摄像镜头101的光瞳区域对L(x',y',u,v)进行积分来获得在再聚焦面上的坐标(x，y)处所获得的输出E(x,y)，由此得出表达式(4)。
E ( x , y ) = 1 α 2 F 2 ∫ ∫ L ( u + x - u α , v + y - v α , u , v ) dudv . . . ( 4 )
在表达式(4)中，给出α、(x,y)和(u,v)可获得微透镜1020上的光入射的位置(x',y')。然后，可以获得与该微透镜相对应的像素阵列200中的对应于位置(u,v)的像素。该像素的输出为L(x',y',u,v)。然后，可以通过对所有的光瞳分割区域进行上述计算并对所获得的像素输出进行积分来计算E(x,y)。注意，如果使用摄像镜头的光瞳分割区域的代表坐标作为(u,v)，则可以通过简单的相加来进行表达式(4)的积分。
以下说明本实施例中的辅助信息的格式。当进行摄像时，图像处理电路106将根据从图像传感器103输出的图像信号(光场信息)的主图像记录至记录电路108。此时，还生成了图像数据(附加图像)和字符数据(附加信息)并使用这两者作为主图像的辅助信息。以下参考图1和图7的流程图来说明在进行摄像时用于生成辅助信息的操作。
首先，将说明用于生成和记录图像数据作为辅助信息的方法。在步骤S600中，进行摄像以拍摄主图像。当进行摄像时，AFE 104对从图像传感器103输出的图像信号进行模拟信号处理，然后DFE 105对由此产生的信号进行数字信号处理。在该数字信号处理之后，图像处理电路106将主图像记录至记录电路108。在控制电路109的控制下进行后续的处理。
当主图像的记录结束时，生成和记录了辅助信息。在步骤S601中，控制电路109将图像处理电路106执行再聚焦所用的再聚焦系数设置为初始值。该初始值是聚焦于最近景所利用的值。
在步骤S602中，控制电路109监视是否已将再聚焦系数设置为聚焦于最远景所利用的值，并且如果再聚焦系数已达到表示最远景的值，则停止该处理。如果没有达到表示最远景的值，则该过程进入步骤S603。在步骤S603中，控制电路109使再聚焦系数向着远景方向改变特定量。然后，控制电路109指示图像处理电路106以使用该再聚焦系数进行显影。
在步骤S604中，图像处理电路106对步骤S603中使用所指定的再聚焦系数进行显影得到的图像(重建图像)进行被摄体判断处理(例如，面部判断处理)。如果作为该面部判断的结果、判断为在显影图像中存在面部，则该过程进入步骤S605，并且如果判断为不存在面部，则该过程返回至步骤S602的处理。在步骤S605中，控制电路109对面部判断之后所进行的处理进行控制。具体地，控制电路109指示图像处理电路106将聚焦于所检测到的面部的显影图像转换成JPEG格式，并将该显影图像作为附加图像与主图像相关联地存储在记录电路108中。在判断为同一面部在两个以上的显影图像中出现的情况下，控制电路109进行控制从而以最聚焦状态存储包括该面部的显影图像。作为用于指定要存储的显影图像的方法，可以使用用于针对面部检测位置、通过基于上述相关运算检测焦点位置来指定再聚焦系数的方法。可选地，还可以基于边缘检测和面部检测的可靠度等来指定最聚焦状态的显影图像。在这种情况下，对于顺次生成的显影图像，对边缘的评价值或面部检测的可靠度进行比较，并且将具有较大值的显影图像保持在存储器电路107中。然后，该过程返回至步骤S602的处理，并且重复上述处理。
尽管图7示出存储附加图像(图像数据)作为辅助信息的示例，但可以存储附加信息作为辅助信息。该附加信息的示例包括在生成被检测到面部的图像时所使用的再聚焦系数的值、表示面部在主图像中的位置的信息、以及表示相对于主图像的大小而言面部的相对大小的信息。
面部位置信息是使用主图像的左上点为原点、面部在右方向和下方向上出现的位置的距离有多远的数值表示。现在将参考图6来说明该情况。这里，501表示主图像。此外，500表示所检测到的面部。此外，由W和H来分别表示主图像的宽度和高度，并且由Wface和Hface来分别表示面部的宽度和高度。此外，设Dx是从原点O到面部的开始位置的水平距离、并且Dy是从原点O到面部的开始位置的垂直距离，则根据Wface/W和Hface/H来分别获得相对大小信息的相对宽度和相对高度。此外，根据Dx/W和Dy/H来分别获得位置信息的水平相对距离和垂直相对距离。控制电路109给出如下指示，其中该指示用于将该附加信息转换成数据文件、并将该数据文件与主图像相关联地保持在记录电路108中。
接着，将参考图8和9A~9D来说明如下情况：从记录电路108读出所记录的主图像和辅助信息(例如，附加图像和附加信息)，并且显示电路111进行光场图像的索引显示。
在图9A中，801表示作为显示电路111的一部分的显示画面。此外，由802所表示的矩形图像是通过缩小主图像所获得的缩略图图像。当用户指示操作电路110进行索引显示时，操作电路110向控制电路109给出索引显示指示。在接收到该索引显示指示时，图像处理电路106从记录电路108读出主图像，并缩小该主图像从而生成缩略图图像。然后，图像处理电路106将该缩略图图像传递至显示电路111，从而在显示画面801上构建索引画面。这里，803表示在从多个缩略图中选择一个缩略图图像时的光标，并且光标803是显示电路111所绘制的。此外，804表示主图像中所记录的人物A，并且805同样表示主图像中所记录的人物B。如果使用特定的再聚焦系数对主图像进行显影，则景深浅，并且并非所有的被摄体都聚焦。在图9A所示的示例中，由实线所表示的人物A聚焦，但由虚线所表示的人物B没有聚焦，因而示出人物B失焦。
在图8的步骤S701中，用户指示操作电路110以使光标803移动并且选择用作对象的缩略图图像。图9B示出已选择了缩略图图像的状态。
在步骤S702中，控制电路109指示图像处理电路106以搜索与所选择的缩略图图像相关联的辅助信息。图像处理电路106在记录电路108中搜索与对应于图9B中所选择的缩略图图像的主图像相关联的辅助信息。在步骤S703中作为搜索结果获得了人物A和人物B分别聚焦的附加图像以及附加信息(面部的相对位置和面部的相对大小)的情况下，控制电路109将人物A和人物B同时显示在所选择的缩略图图像附近。这里，基于表示面部的相对位置的附加信息从面部聚焦的附加图像中仅剪切出面部区域，并且如由811和812所示，显示电路111显示这些面部区域。这样进行显示使得用户即使在观看景深浅的主图像的缩略图图像的情况下也能够容易地检查谁出现在图像中。
接着，将说明缩小并显示附加图像本身的情况。图9C示出该情况。与图9B所示的情况相同，控制电路109指示显示电路111将由821和822所表示的图像显示在所选择的缩略图图像附近。图像821是使用第一再聚焦系数进行显影得到的图像，并且人物A聚焦。图像822是使用第二再聚焦系数进行显影得到的图像，并且人物B聚焦。这样进行显示使得用户能够连同缩略图图像一起浏览被摄体的面部聚焦的一排图像。
如上所述，根据第一实施例，与主图像相关联地记录辅助信息，并在所选择的缩略图图像附近显示基于所记录的辅助信息获得的、主图像中所包括的面部聚焦的图像。这样使得用户较容易选择被摄体的期望图像。
根据本实施例，在步骤S603中，指定存在于画面内的各被摄体，并且为了获得各被摄体聚焦的图像，通过重复使再聚焦系数从聚焦于最近景(广角侧)所利用的值以特定量向着聚焦于远景的值改变来生成多个显影图像。可选地，还可以基于通过例如上述的相关运算等所求出的画面内的各位置的焦点位置信息(距离映射)来估计各被摄体的焦点位置，确定各被摄体聚焦所利用的再聚焦系数的多个候选，并且使用这些多个候选作为步骤S603所用的再聚焦系数。还可以基于这些多个候选值来确定步骤S603所用的再聚焦系数的特定量。
第二实施例
以下说明本发明的第二实施例。在第二实施例中，当上述第一实施例的图像处理电路106检测面部时，图像处理电路106还使用存储在存储器电路107中的面部和名称数据库来执行面部识别，并将人物的名称与主图像相关联地进行记录。
由于该原因，在第二实施例中，预先在图1的存储器电路107中存储将面部特征与名称相关联的数据库。此外，如果在图7的步骤S605中图像处理电路106在以特定再聚焦系数进行显影得到的显影图像中检测面部，则图像处理电路106通过查询存储器电路107中的面部和名称数据库来对该面部进行面部识别。然后，将通过图像处理电路106所进行的查询得到的人物的名称连同第一实施例中所述的主图像中的面部的附加图像和/或附加信息一起视为辅助信息，并将该辅助信息与先前记录的主图像相关联地记录在记录电路108中。由于后续处理与以上在第一实施例中所述的处理相同，因此将不给出针对该处理的说明。
注意，在如第二实施例那样从面部和名称数据库获取到的名称信息、以及相对于主图像的相对位置和相对大小信息都可用作辅助信息的情况下，可以进行如图9D所示的显示。具体地，控制电路109指示图像处理电路106以从记录电路108读出与用户所选择的缩略图相对应的主图像，并使用预定的再聚焦系数对该主图像进行显影。在这种情况下，在显影图像中，人物A聚焦，但人物B没有聚焦。由于该原因，控制电路109从附加信息获取针对显影图像中没有聚焦的人物B 831的面部的名称，并指示显示电路111以将名称信息叠加在该图像上的方式显示该名称信息。作为这样进行显示的结果，在景深浅的主图像的缩略图图像中的没有聚焦的面部的情况下，用户可以浏览名称作为字符叠加在面部的附近位置处的缩略图图像。这样使得用户较容易选择被摄体的期望图像。
尽管在第一实施例和第二实施例中说明了摄像设备进行面部判断和记录处理的情况，但本发明不限于此。例如，即使在外部图像处理设备使用如下的图像数据来进行使用图6~9D所述的处理的情况下，也可以实现本发明的目的，其中该图像数据是从用于生成能够进行再聚焦处理所利用的图像数据的摄像设备输出的。
此外，在上述实施例中，使用利用各种再聚焦系数所获得的重建图像作为被摄体判断处理中所使用的图像。然而，例如，可以使用作为能够对整个视角的被摄体进行检查的图像的、通过收集各微透镜内的一部分像素所获得的图像来生成景深深的图像，并且使用该图像来进行被摄体检测。
以下参考图20A~20C来说明可以应用本实施例的光学系统的示例。图20A~20C是示意性示出来自物体(被摄体)的光线在图像传感器103上如何形成图像的图。图20A与图3示出的光学系统相对应，并且示出微透镜阵列102配置在摄像镜头101的成像面附近的示例。图20B示出微透镜阵列102配置在比摄像镜头101的成像面更靠近物体的位置的示例。图20C示出微透镜阵列102配置在比摄像镜头101的成像面离物体更远的位置处的示例。
在图20A~20C中，103表示图像传感器，102表示微透镜阵列，31~35表示图3所示的光瞳区域a1~a5，51表示物体面，51a和51b表示物体上的任意点，52表示摄像镜头的光瞳面，并且61、62、71、72、73、81、82、83和84表示微透镜阵列102中的特定微透镜。在图20B和20C中，103a表示虚拟图像传感器，并且102a表示虚拟微透镜阵列。这两者是为了明确与图20A的对应关系而示出以供参考的。此外，实线表示从物体上的点51a发出的通过光瞳面上的区域31和33的光束，并且虚线表示从物体上的点51b发出的通过光瞳面上的区域31和33的光束。
在图20A的示例中，同样如图3所示，微透镜阵列102配置在摄像光学系统的成像面附近，因此图像传感器103和摄像镜头101的光瞳面52成共轭关系。此外，物体面51和微透镜阵列102成共轭关系。由于该原因，从物体上的点51a发出的光束到达微透镜61，从点51b发出的光束到达微透镜62，并且通过了区域31~35的光束到达设置在这些微透镜后方的相应像素。
在图20B的示例中，微透镜阵列102使来自摄像镜头101的光束形成图像，并且图像传感器103设置在该成像面处。根据该配置，物体面51和图像传感器103成共轭关系。从物体上的点51a发出的通过了光瞳面上的区域31的光束到达微透镜71，并且从物体上的点51a发出的通过了光瞳面上的区域33的光束到达微透镜72。从物体上的点51b发出的通过了光瞳面上的区域31的光束到达微透镜72，并且从物体上的点51b发出的通过了光瞳面上的区域33的光束到达微透镜73。通过了这些微透镜的光束到达设置在这些微透镜后方的相应的像素。这样，根据物体上的点和光瞳面上的透过区域，在不同的位置处形成了图像。可以通过与虚拟摄像面103a上的位置再对准来获得与图20A相同的信息。换句话说，可以获得表示所通过的光瞳区域(入射角度)以及图像传感器上的位置的信息。
在图20C的示例中，微透镜阵列102使来自摄像镜头101的光束再形成图像(由于使先前进行了一次成像的处于扩散状态的光束形成图像，因而被称为图像再形成)，并且图像传感器103设置在该成像面处。根据该配置，物体面51和图像传感器103成共轭关系。从物体上的点51a发出的穿过了光瞳面上的区域31的光束到达微透镜82，并且从物体上的点51a发出的穿过了光瞳面上的区域33的光束到达微透镜81。从物体上的点51b发出的通过了光瞳面上的区域31的光束到达微透镜84，并且从物体上的点51b发出的通过了光瞳面上的区域33的光束到达微透镜83。通过了这些微透镜的光束到达设置在这些微透镜后方的相应像素。与图20B相同，可以通过与虚拟摄像面103a上的位置再对准来获得与图20A相同的信息。换句话说，可以获得表示所通过的光瞳区域(入射角度)以及图像传感器上的位置的信息。
尽管图20A~20C示出了可以通过使用微透镜阵列(相位调制元件)作为光瞳分割单元来获取位置信息和角度信息的示例，但可以使用其它的光学结构，只要可以获取位置信息和角度信息(等同于对光瞳透过区域进行限制)即可。例如，可以使用将设置有适当图案的掩模(增益调制元件)插入摄像光学系统的光路中的方法。
第三实施例
近年来，已开发了用于对发生了模糊(焦点偏移)的劣化图像进行恢复的技术。在日本专利2963990所公开的图像恢复设备中，在摄像光学系统中配置有图案化的光圈，并且通过获取观察图像并基于光圈的图案对该观察图像进行分析来获得距离图像和所聚焦的聚焦图像。
此外，日本特开2000-020691公开一种将发生了图像抖动或模糊的劣化图像恢复为高质量图像的方法。设f(x,y)是理想图像、g(x,y)是劣化图像、并且h(x,y)是图像劣化函数，则可以如以下所示表示劣化图像g(x,y)。
g(x,y)=∫∫h(x–x',y–y')f(x',y')dx'dy'          (5)
这里，设F(u,v)是理想图像f(x,y)的傅里叶变换、G(u,v)为劣化图像g(x,y)是傅里叶变换、并且H(u,v)是图像劣化函数h(x,y)的傅里叶变换，则可以如以下所示对表达式(5)进行重写。
G(u,v)=H(u,v)F(u,v)       (6)
对表达式(6)进行变形可获得如以下以重写形式所示的理想图像。
F(u,v)=G(u,v)/H(u,v)       (7)
这样，日本特开2000-020691公开了如下方法：例如基于摄像设备的特性信息来生成劣化函数h(x,y)，并基于该劣化函数来生成恢复图像f(x,y)。然而，由于对所拍摄图像全体进行恢复处理，因此难以获得聚焦于主被摄体的景深浅的图像。
有鉴于此，第三实施例提供一种用于对所拍摄图像中的特定被摄体的焦点偏移进行校正的技术。
图10示出根据第三实施例的数字照相机1的总体结构。在图10中，摄像镜头2是用于使被摄体光在图像传感器3上形成图像的镜头，并且摄像镜头2相对于图像传感器3固定在预定位置处。由于本实施例的摄像镜头2不具有焦点调节机构，因此可以缩小数字照相机1的大小。此外，尽管在图10中将摄像镜头2示出为单个透镜，但摄像镜头2实际由多个透镜构成，从而满足镜头性能要求。
数字照相机1包括：CPU 7，用于对数字照相机1进行总体控制；以及专用集成电路(ASIC)6，用于通过图像处理来恢复失焦(伴随有焦点偏移)的图像(即，对焦点偏移进行校正)。数字照相机1还包括：显示单元4(液晶显示屏等)，用于显示恢复图像；存储器8，用于记录图像传感器3所拍摄到的图像；以及触发单元9，其中拍摄者利用该触发单元来指示执行摄像操作。
触发单元9由拍摄者执行摄像操作所利用的二级开关构成，并被配置成如下：在将触发单元9按压至第一级时，第一开关接通，并且在将触发单元9按压至第二级时，第二开关接通。
数字照相机1还包括取景器单元5，其中取景器单元5包括用于指定主被摄体的附加功能。取景器单元5包括：光学取景器，用于经由镜头光学地观察被摄体；以及视线检测器，用于检测经由光学取景器正观察被摄体的拍摄者所观看的位置。该光学取景器例如是由物镜、目镜和作为图像变换单元的波罗(Porro)棱镜构成的实时取景器，并且在物镜的像面上配置有高分子分散型液晶显示元件。
图11是说明摄像画面的分割的图。如图11所示，例如，将摄像画面分割成8×10个块。当视线检测器检测到拍摄者所观看的位置时，CPU 7从该画面被分割成的块中指定包括该观看位置的块。然后，CPU 7将表示包括该观看位置的块的信息作为表示拍摄者期望聚焦的主被摄体的信息(主被摄体信息)记录至存储器8。
接着，将参考图12来说明第三实施例的摄像处理和恢复处理。当利用电源开关(未示出)接通数字照相机1的电源时，开始本流程图的处理。
在步骤S101中，CPU 7判断是否已选择摄像模式作为数字照相机1的操作模式。在没有选择摄像模式(已选择图像再现模式)的情况下，该过程进入步骤S102，并且在已选择摄像模式的情况下，该过程进入步骤S103。
在步骤S102中，CPU 7读出记录在存储器8中的图像数据。然后，该过程进入步骤S109(后面将说明步骤S109的处理)。
在步骤S103中，CPU 7检查触发单元9的第一开关的状态。在第一开关接通的情况下，该过程进入步骤S104，否则该过程返回至步骤S101。
以下参考图13A和15A来说明在摄像模式中在第一开关断开的情况下取景器单元5和显示单元4的显示状态。图13A是说明在摄像模式中在第一开关断开的情况下的取景器图像的图。拍摄者通过浏览取景器单元5观察被摄体a、被摄体b和被摄体c。利用本实施例的光学取景器，在光路中没有配置聚焦屏，因此拍摄者可以观察到清晰的聚焦了的被摄体图像。同时，如图15A所示，将图像传感器3经由摄像镜头2所拍摄到的图像显示在显示单元4上。由于本实施例的摄像镜头2相对于图像传感器3固定在预定位置处、并且没有进行焦点调节，因此在被摄体相对于摄像镜头2不是处于与图像传感器3成共轭的位置的情况下，拍摄到失焦的被摄体图像。在图15A中，位于最近距离的被摄体a的失焦效果最不明显(焦点偏移的程度最低)，并且位于最远距离的被摄体c的失焦效果最明显。
当第一开关接通时，在步骤S104中，CPU 7使包括在取景器单元5中的视线检测器工作，从而检测主被摄体在摄像画面中的位置。该视线检测器包括：照明装置，用于对拍摄者的眼睛进行照明；以及透镜系统和图像传感器，用于接收已由拍摄者的眼睛反射的光。用于检测拍摄者的视线的方法可以是任意已知的方法，其中该方法的一个示例为日本特开平2-264632所公开的方法。当检测拍摄者所观看的位置时，CPU 7从该画面被分割成的块中指定包括该观看位置的块。在后面所述的恢复处理中，将包括在该指定块中的被摄体视为拍摄者期望聚焦的主被摄体。
在步骤S105中，CPU 7使用设置在取景器单元5中的显示元件来以将如下图像叠加在取景器图像上的方式显示该图像，其中该图像表示包括视线检测器所检测到的观看位置(即，主被摄体的位置)的块。图13B是说明在第一开关接通的情况下的取景器图像的图，并且正显示表示已选择块35作为主被摄体的位置的框图像。同时，如图15B所示，将表示主被摄体在图像传感器3经由摄像镜头2所拍摄到的图像中的位置的框图像以叠加方式显示在显示单元4上。换句话说，将表示已选择块35作为要聚焦的主被摄体的位置的框图像显示在图像传感器3所拍摄到的图像上。
在步骤S106中，CPU 7检查触发单元9的第二开关的状态。在第二开关接通的情况下，该过程进入步骤S107，否则该过程返回至步骤S101。
在步骤S107中，CPU 7使用摄像镜头2和图像传感器3来进行摄像。在步骤S108中，CPU 7将表示所拍摄图像的图像数据连同表示步骤S104中所检测到的最新的主被摄体的位置(块编号)的信息(主被摄体信息)一起记录在存储器8中。例如，可以将主被摄体信息存储在图像数据的头部中。
在步骤S109中，CPU 7检查利用设置按钮(未示出)是否已将数字照相机1设置为执行图像恢复处理的模式。在已将数字照相机1设置为执行图像恢复处理的模式的情况下，该过程进入步骤S110，否则该过程进入步骤S111。
在步骤S110中，CPU 7基于步骤S108中记录在存储器8中的图像数据和主被摄体信息来进行图像恢复处理。可选地，在进行了步骤S102的处理的情况下，CPU 7基于步骤S102中所读出的图像数据和主被摄体信息来进行图像恢复处理。
以下参考图14来详细说明步骤S110中的恢复处理。在步骤S121中，CPU 7获取与作为处理对象的图像数据相关联的图像信息。在步骤S122中，CPU 7判断所获取到的图像信息中是否包括主被摄体信息。在包括主被摄体信息的情况下，该过程进入步骤S124，否则该过程进入步骤S123。
例如，在步骤S104中由于视线检测器无法检测到拍摄者所观看的位置因而没有检测到主被摄体的情况下，在图像信息中不包括主被摄体信息。考虑到该情况，在步骤S123中，ASIC 6基于作为处理对象的图像数据来判断主被摄体。在一个具体示例中，ASIC 6在图像中检测人物的面部，并将所检测到的面部设置为主被摄体。
注意，在本实施例的面部检测中，可以使用已知的面部检测技术。已知的面部检测技术的示例包括使用神经网络等的基于学习的技术以及如下的技术：使用模板匹配在图像中寻找具有特征形状的部位(例如，眼睛、鼻子和嘴)，并且如果类似度高则将该区域视为面部。已提出了用于检测诸如皮肤颜色和眼睛形状等的图像特征量并进行统计分析的技术等的其它许多技术。通常，将这些方法中的两个或多个方法组合，从而提高面部检测的精度。一个具体示例是日本特开2002-251380所公开的、使用小波变换和图像特征量来进行面部检测的方法。
在步骤S124和S125中，ASIC 6对作为处理对象的图像数据执行恢复处理(即，ASIC 6对该图像数据进行加工，从而校正针对由主被摄体信息所表示的被摄体(或者在步骤S123中判断出的主被摄体)的焦点偏移)。具体地，在步骤S124中，ASIC 6将图像中伴随有与由主被摄体信息所表示的被摄体相同(大致相同)程度的焦点偏移的区域设置为恢复区域。然后，在步骤S125中，ASIC 6针对所设置的恢复区域对图像数据进行加工，从而校正焦点偏移。
基于数字照相机1的光学特性信息等生成劣化函数h(x,y)，并且使用该劣化函数来基于前述的表达式(7)执行恢复处理。此时，指定劣化函数落入相对于主被摄体用的劣化函数h(x,y)的预定差异内的区域作为伴随有与主被摄体相同程度的焦点偏移的恢复区域。例如，在劣化函数h(x,y)是点扩散函数的情况下，如果半值宽度的差小于或等于预定值，则可以判断为劣化函数落在预定差异内。
在本实施例中，如图15B所示，主被摄体信息表示块35。考虑到该情况，ASIC 6将如下区域设置为恢复区域，其中该区域包括块35、并且包括失焦程度(即，伴随有的焦点偏移的程度)与块35的区域中的被摄体相同的被摄体b。例如，如图15C所示，恢复图像是被摄体a和被摄体c保持失焦、并且仅被摄体b聚焦的图像。此外，在步骤123中将面部设置为主被摄体的情况下，认为不仅面部会有可能失焦而且人物的全身也可能会失焦，因此恢复图像将是整个人聚焦的图像。这样，根据本实施例，对所拍摄图像中的特定被摄体的焦点偏移进行了校正。
返回至图12，在步骤S111中，例如，如图15C所示，CPU 7将恢复图像显示在显示单元4上。可选地，在该过程从步骤S109跳至步骤S111的情况下，CPU 7将未恢复图像显示在显示单元4上。
如上所述，根据本实施例，在摄像时，数字照相机1将主被摄体信息连同图像数据一同记录在存储器8中。然后，当执行图像恢复处理时，数字照相机1针对伴随有与由主被摄体信息所表示的主被摄体相同(大致相同)程度的焦点偏移的区域对图像数据进行加工，从而校正该焦点偏移。这样使得能够校正针对包括在所拍摄图像中的特定被摄体的焦点偏移，并且使得能够获得例如主被摄体聚焦的景深浅的图像。此外，由于摄像时记录了主被摄体信息，因此获得表示拍摄者实际期望的主被摄体的主被摄体信息的可能性增大。
注意，在本实施例中，尽管给出了取景器单元5的一部分由光学取景器构成的示例，但取景器单元5的一部分可以是由液晶显示器或电致发光(EL)显示器等构成的电子取景器。此外，在本实施例中，尽管说明了对静止图像进行图像恢复处理，本实施例同样还可适用于运动图像的情况。
第四实施例
在第三实施例中，利用视线检测器对主被摄体进行判断。在第四实施例中，说明与主被摄体的判断有关的变形例。第四实施例与第三实施例还存在其它的细微不同之处，以下将对此进行详细说明。
图16示出根据第四实施例的数字照相机1的总体结构。在图16中，利用相同的附图标记来表示与图10相同的构成元件，并且将不给出针对这些构成元件的说明。数字照相机1包括轨迹球10。沿着压入数字照相机1的本体内的方向，可以将轨迹球10按压至两个级别。轨迹球10被配置成如下：在将轨迹球10按压至第一级别时，第一开关接通，并且在将轨迹球10按压至第二级别时，第二开关接通。此外，轨迹球10在被按压至第一级别时可以转动，并且拍摄者可以通过使轨迹球10转动来指定要聚焦的主被摄体的位置。
图17是示出根据第四实施例的摄像处理和恢复处理的流程图。在图17中，利用相同的附图标记来表示进行与图12相同的处理的步骤，并且将仅说明与图12的不同之处。当利用电源开关(未示出)接通数字照相机1的电源时，开始本流程图的处理。
步骤S101和S103的处理和第三实施例(图12)相同。然而，在本实施例中，假定将图18A所示的图像显示在显示单元4上。由于本实施例的摄像镜头2相对于摄像镜头3固定在预定位置处、并且没有进行焦点调节，因此在被摄体相对于摄像镜头2不是处于与图像传感器3成共轭的位置处的情况下，拍摄到失焦的被摄体图像。在图18A的示例中，位于最近距离的被摄体a的失焦效果最不明显，并且位于较远距离的被摄体b和c的失焦效果较明显。
步骤S102的处理与第三实施例(图12)相同。然而，在步骤S102之后执行步骤S201的处理。在步骤S201中，CPU 7从存储器8读出与步骤S102中所读出的图像数据相关联的图像信息，并判断是否已对图像数据进行了恢复。在已进行了恢复的情况下，该过程进入步骤S204，否则该过程进入步骤S110。
另一方面，在摄像模式中第一开关已接通的情况下，可以使轨迹球10转动。在步骤S202中，CPU 7检测轨迹球10的转动，并指定与该转动相对应的位置处的块。在本实施例中，将包括在该指定块中的被摄体视为拍摄者期望聚焦的主被摄体。
步骤S105和S106的处理与第三实施例(图12)相同。然而，在本实施例中，假定将图18B所示的图像显示在显示单元4上。换句话说，在本实施例中，包括在块38中的被摄体是主被摄体。用于分割摄像画面的方法与第三实施例(参见图11)相同。拍摄者可以在观看显示在显示单元4上的框图像的情况下通过转动轨迹球10来指定要聚焦的主被摄体。
步骤S107和S110的处理与第三实施例(图12和图14)相同。然而，不同于第三实施例，当进行步骤S107的处理之后到达步骤S110的情况下，此时并未将图像数据和主被摄体信息记录在存储器8中(这两者已记录在未示出的临时存储器中)。考虑到该情况，CPU 7和ASIC 6从该临时存储器读出图像数据和主被摄体信息并执行恢复处理。
在本实施例中，如图18B所示，主被摄体信息表示块38。考虑到该情况，ASIC 6将如下区域设置为恢复区域，其中该区域包括块38、并且包括失焦程度与块38的区域中的被摄体相同(即，伴随有的焦点偏移的程度相同(大致相同))的被摄体b和c。例如，如图18C所示，恢复图像为如下图像：被摄体a失焦，如拍摄者所期望的被摄体c聚焦，并且处于与被摄体c大致相同的被摄体距离的被摄体b聚焦。对处于相同被摄体距离的被摄体执行恢复处理，这样获得了无任何不适感的图像。
此外，例如，在图14的步骤S123中没有检测到面部并且没有判断出主被摄体的情况下，ASIC 6将图像的整个区域设置为恢复区域。在这种情况下，例如，如图19所示，恢复图像是被摄体a、b和c全部聚焦的图像。
返回至图17，在步骤S203中，CPU 7将恢复后的图像数据和恢复信息(表示该图像数据已进行了恢复处理的信息)记录至存储器8。随后，在步骤S204中，CPU 7将恢复图像显示在显示单元4上。
如上所述，根据本实施例，使用轨迹球10来指定主被摄体。此外，不同于第三实施例，将恢复后的图像数据记录在存储器8中。此外，在由于某种原因、没有获取到主被摄体信息并且通过面部检测等没有判断出主被摄体的情况下，针对该图像的整个区域来校正焦点偏移。
注意，本实施例说明了指定主被摄体的方法是通过将轨迹球10按压至第一级别、然后转动该轨迹球10所进行的指定的示例。然而，可以将数字照相机1配置成如下：设置有用于许可轨迹球的转动的单独开关，并且可以在无需将该追踪球按压至第一级别的情况下指定主被摄体。
其它实施例
还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。由于该原因，例如经由网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (11)

1.一种摄像设备，包括：
摄像镜头；
图像传感器，其包括二维配置的多个像素，其中，所述图像传感器用于对入射光进行光电转换并输出图像数据；
多个微透镜，其配置在所述摄像镜头和所述图像传感器之间，其中，各微透镜分别与所述图像传感器的多个区域中的各区域相对应，该各区域包括预定数量的像素；
图像处理单元，用于通过对从所述图像传感器输出的图像数据进行再聚焦处理来生成预定的焦平面处的重建图像，并且判断所述重建图像中是否存在被摄体；以及
记录单元，用于记录从所述图像传感器输出的图像数据，并且将与被所述图像处理单元判断为存在的所述被摄体有关的信息作为辅助信息与所述图像数据相关联地进行记录，
其特征在于，所述摄像设备还包括：
显示单元，用于同时显示基于从所述图像传感器输出并且被所述记录单元记录的图像数据的第一缩略图图像、以及判断为存在所述被摄体的焦平面处的重建图像的第二缩略图图像，其中，所述第一缩略图图像的焦平面不同于所述第二缩略图图像的焦平面。
2.根据权利要求1所述的摄像设备，其中，所述辅助信息是表示如下图像的图像数据，其中该图像是通过对所述图像处理单元判断为存在所述被摄体的焦平面处的重建图像进行缩小而获得的。
3.根据权利要求1所述的摄像设备，其中，所述辅助信息包括如下内容的至少之一：在生成所述图像处理单元判断为存在所述被摄体的重建图像时所使用的所述再聚焦处理的再聚焦系数、表示所检测到的面部在图像中的位置的位置信息、以及表示相对于图像的大小而言面部的相对大小的相对大小信息。
4.根据权利要求2所述的摄像设备，其中，所述第二缩略图图像是从判断为存在所述被摄体的焦平面处的图像中剪切出的面部图像。
5.根据权利要求1所述的摄像设备，其中，所述摄像设备还包括：
存储单元，用于存储将面部特征和名称相关联的信息，
其中，在判断为存在所述被摄体的情况下，所述图像处理单元从所述存储单元中所存储的信息中获取与所判断出的被摄体相对应的名称，以及
所述记录单元还将所获取到的名称作为所述辅助信息与所述图像数据相关联地进行记录。
6.根据权利要求5所述的摄像设备，其中，所述显示单元还显示所述名称。
7.根据权利要求1所述的摄像设备，其中，所述图像处理单元生成多个焦平面各自的重建图像，并且使用所生成的重建图像中所述被摄体聚焦的重建图像来生成所述辅助信息。
8.根据权利要求7所述的摄像设备，其中，所述图像处理单元基于从所述图像传感器输出的图像数据的画面内的各位置的焦点位置信息，识别所述被摄体聚焦的重建图像。
9.根据权利要求1所述的摄像设备，其中，所述图像处理单元基于从所述图像传感器输出的图像数据的画面内的各位置的焦点位置信息，确定要生成重建图像的多个焦平面。
10.一种图像处理设备，用于对从摄像设备输出的图像数据进行处理，所述摄像设备包括：摄像镜头；图像传感器，其包括二维配置的多个像素，其中，所述图像传感器用于对入射光进行光电转换并输出图像数据；以及多个微透镜，其配置在所述摄像镜头和所述图像传感器之间，其中，各微透镜分别与所述图像传感器的多个区域中的各区域相对应，该各区域包括预定数量的像素，所述图像处理设备包括：
图像处理单元，用于通过对从所述图像传感器输出的图像数据进行再聚焦处理来生成预定的焦平面处的重建图像，并且判断所述重建图像中是否存在被摄体；以及
记录单元，用于记录从所述图像传感器输出的图像数据，并且将与被所述图像处理单元判断为存在的所述被摄体有关的信息作为辅助信息与所述图像数据相关联地进行记录，
其特征在于，所述图像处理设备还包括：
显示单元，用于同时显示基于从所述图像传感器输出并且被所述记录单元记录的图像数据的第一缩略图图像、以及判断为存在所述被摄体的焦平面处的重建图像的第二缩略图图像，其中，所述第一缩略图图像的焦平面不同于所述第二缩略图图像的焦平面。
11.一种图像处理方法，用于对从摄像设备输出的图像数据进行处理，所述摄像设备包括：摄像镜头；图像传感器，其包括二维配置的多个像素，其中，所述图像传感器用于对入射光进行光电转换并输出图像数据；以及多个微透镜，其配置在所述摄像镜头和所述图像传感器之间，其中，各微透镜分别与所述图像传感器的多个区域中的各区域相对应，该各区域包括预定数量的像素，所述图像处理方法包括以下步骤：
图像处理步骤，用于通过对从所述图像传感器输出的图像数据进行再聚焦处理来生成预定的焦平面处的重建图像，并且判断所述重建图像中是否存在被摄体；以及
记录步骤，用于记录从所述图像传感器输出的图像数据，并且将与在所述图像处理步骤中被判断为存在的所述被摄体有关的信息作为辅助信息与所述图像数据相关联地进行记录，
其特征在于，所述图像处理方法还包括：
显示步骤，用于同时显示基于从所述图像传感器输出并且在所述记录步骤中被记录的图像数据的第一缩略图图像、以及判断为存在所述被摄体的焦平面处的重建图像的第二缩略图图像，其中，所述第一缩略图图像的焦平面不同于所述第二缩略图图像的焦平面。
CN201210298159.7A 2011-08-19 2012-08-20 摄像设备、图像处理设备和图像处理方法 Active CN102957863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510622424.6A CN105163033B (zh) 2011-08-19 2012-08-20 摄像设备、图像处理设备和图像处理方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2011179909 2011-08-19
JP2011-179909 2011-08-19
JP2012-005667 2012-01-13
JP2012005667 2012-01-13
JP2012-160943 2012-07-19
JP2012160943A JP6080417B2 (ja) 2011-08-19 2012-07-19 画像処理装置、及び画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510622424.6A Division CN105163033B (zh) 2011-08-19 2012-08-20 摄像设备、图像处理设备和图像处理方法

Publications (2)

Publication Number Publication Date
CN102957863A CN102957863A (zh) 2013-03-06
CN102957863B true CN102957863B (zh) 2015-10-28

Family

ID=47712400

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201210298159.7A Active CN102957863B (zh) 2011-08-19 2012-08-20 摄像设备、图像处理设备和图像处理方法
CN201510622424.6A Active CN105163033B (zh) 2011-08-19 2012-08-20 摄像设备、图像处理设备和图像处理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201510622424.6A Active CN105163033B (zh) 2011-08-19 2012-08-20 摄像设备、图像处理设备和图像处理方法

Country Status (6)

Country Link
US (1) US9456118B2 (zh)
JP (1) JP6080417B2 (zh)
KR (2) KR101529597B1 (zh)
CN (2) CN102957863B (zh)
BR (1) BR102012020775B1 (zh)
RU (1) RU2523083C2 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010226558A (ja) * 2009-03-25 2010-10-07 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP5671842B2 (ja) 2010-06-03 2015-02-18 株式会社ニコン 画像処理装置および撮像装置
JP6214236B2 (ja) * 2013-03-05 2017-10-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
KR102068748B1 (ko) 2013-07-31 2020-02-11 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 영상 재생 장치 및 방법
JP6061816B2 (ja) 2013-08-22 2017-01-18 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
JP6470530B2 (ja) * 2013-12-06 2019-02-13 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
CN104780341B (zh) * 2014-01-10 2018-10-09 华为技术有限公司 一种信息处理方法以及信息处理装置
JP6336284B2 (ja) * 2014-01-30 2018-06-06 キヤノン株式会社 画像処理装置、その制御方法およびプログラム
JP6320075B2 (ja) * 2014-02-19 2018-05-09 キヤノン株式会社 画像処理装置およびその制御方法
JP6321991B2 (ja) * 2014-02-21 2018-05-09 キヤノン株式会社 画像処理装置、制御方法、プログラム、及び記録媒体
WO2015137635A1 (en) 2014-03-13 2015-09-17 Samsung Electronics Co., Ltd. Image pickup apparatus and method for generating image having depth information
JP6346476B2 (ja) * 2014-03-17 2018-06-20 キヤノン株式会社 表示制御装置、制御方法、プログラム及び記録媒体
JP6048449B2 (ja) * 2014-05-29 2016-12-21 コニカミノルタ株式会社 画像形成装置
JP6362433B2 (ja) 2014-06-04 2018-07-25 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
TWI559042B (zh) * 2014-12-03 2016-11-21 國立清華大學 區塊式數位重對焦系統及其方法
JP6529267B2 (ja) * 2015-01-23 2019-06-12 キヤノン株式会社 情報処理装置及びその制御方法、プログラム、並びに記憶媒体
KR101683634B1 (ko) * 2015-04-29 2016-12-29 주식회사 큐티아이 플레놉틱 카메라 원리를 이용한 디지털 촬상 장치
JP2016219991A (ja) * 2015-05-19 2016-12-22 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム
MX2018003266A (es) 2015-09-17 2018-11-09 Thomson Licensing Un aparato y un metodo para codificar una imagen capturada por un sistema de adquisicion optica.
EP3145168A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
EP3144887A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing A method and an apparatus for generating data representative of a pixel beam
JP2017169480A (ja) * 2016-03-23 2017-09-28 オリンパス株式会社 観察装置、測定システム及び観察方法
JP6873397B2 (ja) * 2016-04-07 2021-05-19 カシオ計算機株式会社 画像表示装置、画像表示制御方法及びプログラム
CN105933612A (zh) * 2016-06-29 2016-09-07 联想(北京)有限公司 一种图像处理方法及电子设备
CN106846463B (zh) * 2017-01-13 2020-02-18 清华大学 基于深度学习神经网络的显微图像三维重建方法及系统
JP6998554B2 (ja) 2017-09-12 2022-01-18 パナソニックＩｐマネジメント株式会社 画像生成装置及び画像生成方法
WO2019079895A1 (en) * 2017-10-24 2019-05-02 Modiface Inc. SYSTEM AND METHOD FOR IMAGE PROCESSING THROUGH DEEP NEURAL NETWORKS
US10937124B2 (en) * 2017-12-25 2021-03-02 Canon Kabushiki Kaisha Information processing device, system, information processing method, and storage medium
CN108428716A (zh) * 2018-02-12 2018-08-21 谢学军 增强现实显示系统
CN108600623B (zh) * 2018-04-20 2020-07-28 维沃移动通信有限公司 重聚焦显示方法以及终端设备
JP7164968B2 (ja) 2018-05-07 2022-11-02 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
JP2021179527A (ja) * 2020-05-13 2021-11-18 キヤノン株式会社 撮影制御装置、撮像装置、撮影制御方法、及びプログラム
CN113793286B (zh) * 2021-11-18 2022-05-10 成都索贝数码科技股份有限公司 一种基于多阶注意力神经网络的媒体图像水印移除方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101241235A (zh) * 2007-02-09 2008-08-13 奥林巴斯映像株式会社 解码方法、解码装置以及电子照相机
CN101656835A (zh) * 2008-08-21 2010-02-24 索尼株式会社 图像拾取设备、显示器和图像处理设备

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2939988B2 (ja) 1989-04-05 1999-08-25 キヤノン株式会社 視線検出装置
JPH10326279A (ja) * 1997-03-27 1998-12-08 Minolta Co Ltd 情報処理装置及び方法並びに情報処理プログラムを記録した記録媒体
JP2963990B1 (ja) 1998-05-25 1999-10-18 京都大学長 距離計測装置及び方法並びに画像復元装置及び方法
JP2000020691A (ja) 1998-07-01 2000-01-21 Canon Inc 画像処理装置及びその方法、撮像装置及びその制御方法並びにメモリ媒体
JP3980799B2 (ja) * 1999-08-19 2007-09-26 株式会社リコー 自動合焦装置およびその合焦方法
JP2002077591A (ja) * 2000-09-05 2002-03-15 Minolta Co Ltd 画像処理装置および撮像装置
JP2002251380A (ja) 2001-02-22 2002-09-06 Omron Corp 利用者照合システム
US7843495B2 (en) * 2002-07-10 2010-11-30 Hewlett-Packard Development Company, L.P. Face recognition in a digital imaging system accessing a database of people
JP4058352B2 (ja) 2003-01-07 2008-03-05 キヤノン株式会社 撮像装置及び撮像制御方法
JP4752031B2 (ja) * 2004-10-01 2011-08-17 ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティ 撮像の装置と方法
JP4720167B2 (ja) * 2004-12-03 2011-07-13 株式会社ニコン 電子カメラおよびプログラム
JP4685465B2 (ja) * 2005-02-01 2011-05-18 パナソニック株式会社 監視記録装置
US7420590B2 (en) * 2005-09-29 2008-09-02 Mitsubishi Electric Research Laboratories, Inc. Video matting using camera arrays
US20070268121A1 (en) * 2006-05-18 2007-11-22 Daryush Vasefi On-line portal system and method for management of devices and services
US8213734B2 (en) * 2006-07-07 2012-07-03 Sony Ericsson Mobile Communications Ab Active autofocus window
US7860382B2 (en) * 2006-10-02 2010-12-28 Sony Ericsson Mobile Communications Ab Selecting autofocus area in an image
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
US8570426B2 (en) * 2008-11-25 2013-10-29 Lytro, Inc. System of and method for video refocusing
JP2009033469A (ja) * 2007-07-26 2009-02-12 Olympus Imaging Corp 撮像装置
JP5004726B2 (ja) 2007-09-05 2012-08-22 キヤノン株式会社 撮像装置、レンズユニットおよび制御方法
JP4941332B2 (ja) * 2008-01-28 2012-05-30 ソニー株式会社 撮像装置
JP4900723B2 (ja) 2008-03-14 2012-03-21 ソニー株式会社 画像処理装置、画像処理プログラムおよび表示装置
KR101441586B1 (ko) * 2008-10-06 2014-09-23 삼성전자 주식회사 촬상 장치 및 촬상 방법
WO2010077625A1 (en) * 2008-12-08 2010-07-08 Refocus Imaging, Inc. Light field data acquisition devices, and methods of using and manufacturing same
JP4710983B2 (ja) * 2009-01-28 2011-06-29 株式会社ニコン 画像合成装置、撮像装置、画像合成方法
JP4692654B2 (ja) * 2009-02-20 2011-06-01 株式会社ニコン 撮像装置および画像処理プログラム
US8570427B2 (en) * 2009-01-28 2013-10-29 Nikon Corporation Image-capturing device having focus adjustment function, image creation method including focus adjustment function, and program product for image-capturing device having focus adjustment function
JP5206494B2 (ja) * 2009-02-27 2013-06-12 株式会社リコー 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法
JP5463718B2 (ja) * 2009-04-16 2014-04-09 ソニー株式会社 撮像装置
ATE551841T1 (de) * 2009-04-22 2012-04-15 Raytrix Gmbh Digitales bildgebungsverfahren zum synthetisieren eines bildes unter verwendung der mit einer plenoptischen kamera aufgezeichneten daten
KR20110020519A (ko) * 2009-08-24 2011-03-03 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체
KR101608970B1 (ko) 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
US8400555B1 (en) * 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
KR101643321B1 (ko) * 2010-02-02 2016-07-27 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
JP5499778B2 (ja) * 2010-03-03 2014-05-21 株式会社ニコン 撮像装置
US20110216153A1 (en) * 2010-03-03 2011-09-08 Michael Edric Tasker Digital conferencing for mobile devices
US20120019703A1 (en) * 2010-07-22 2012-01-26 Thorn Karl Ola Camera system and method of displaying photos
KR101692399B1 (ko) * 2010-10-14 2017-01-03 삼성전자주식회사 감성 기반의 영상을 얻을 수 있는 디지털 영상 처리 장치 및 디지털 영상 처리 방법
US9049423B2 (en) * 2010-12-01 2015-06-02 Qualcomm Incorporated Zero disparity plane for feedback-based three-dimensional video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101241235A (zh) * 2007-02-09 2008-08-13 奥林巴斯映像株式会社 解码方法、解码装置以及电子照相机
CN101656835A (zh) * 2008-08-21 2010-02-24 索尼株式会社 图像拾取设备、显示器和图像处理设备

Also Published As

Publication number Publication date
KR101529597B1 (ko) 2015-06-29
RU2012135476A (ru) 2014-02-27
CN102957863A (zh) 2013-03-06
RU2523083C2 (ru) 2014-07-20
BR102012020775B1 (pt) 2020-12-29
US9456118B2 (en) 2016-09-27
US20130044234A1 (en) 2013-02-21
KR20150008831A (ko) 2015-01-23
CN105163033A (zh) 2015-12-16
CN105163033B (zh) 2018-07-20
KR20130020579A (ko) 2013-02-27
JP6080417B2 (ja) 2017-02-15
BR102012020775A2 (pt) 2014-05-13
KR101632578B1 (ko) 2016-07-01
JP2013165475A (ja) 2013-08-22

Similar Documents

Publication Publication Date Title
CN102957863B (zh) 摄像设备、图像处理设备和图像处理方法
CN100550986C (zh) 具有多个分辨率的方法和照相机
CN101516001B (zh) 数字拍摄设备及其控制方法和记录介质
CN107087107A (zh) 基于双摄像头的图像处理装置及方法
CN103782586B (zh) 成像设备
US20070132874A1 (en) Selecting quality images from multiple captured images
US20100188522A1 (en) Image-capturing device, image creation method, and program product
CN103733133B (zh) 摄像装置及其控制方法
CN103370943B (zh) 成像装置和成像方法
CN101753812A (zh) 成像装置和成像方法
CN101753779A (zh) 图像处理装置及摄像装置
CN103986854A (zh) 图像处理设备、摄像设备和控制方法
CN103828344A (zh) 图像处理设备、图像处理方法和程序、以及包括该设备的摄像设备
CN102883093A (zh) 摄像装置以及摄像元件
CN103426147A (zh) 图像处理装置、图像拾取装置和图像处理方法
KR20130061636A (ko) 멀티-레졸류션 절차를 이용하여 강건한 깊이 맵을 생성하는 시스템 및 방법
CN103502866A (zh) 摄影装置及程序
CN108111768B (zh) 控制对焦的方法、装置、电子设备及计算机可读存储介质
JP3112485B2 (ja) 立体電子スチルカメラ
CN104469194A (zh) 图像处理装置及其控制方法
CN103039066A (zh) 成像装置、图像处理装置以及图像处理方法
CN103004179A (zh) 跟踪装置和跟踪方法
CN103167240A (zh) 图像拾取装置及其控制方法
JP6095266B2 (ja) 画像処理装置及びその制御方法
CN106254754A (zh) 拍摄装置、图像处理装置、拍摄装置的控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant