CN104919456B - 图像处理装置、图像处理方法及摄像装置 - Google Patents

图像处理装置、图像处理方法及摄像装置 Download PDF

Info

Publication number
CN104919456B
CN104919456B CN201380069995.0A CN201380069995A CN104919456B CN 104919456 B CN104919456 B CN 104919456B CN 201380069995 A CN201380069995 A CN 201380069995A CN 104919456 B CN104919456 B CN 104919456B
Authority
CN
China
Prior art keywords
unit
light field
field data
external device
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380069995.0A
Other languages
English (en)
Other versions
CN104919456A (zh
Inventor
石田千里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN104919456A publication Critical patent/CN104919456A/zh
Application granted granted Critical
Publication of CN104919456B publication Critical patent/CN104919456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供图像处理装置、图像处理方法及摄像装置。该图像处理装置验证在光场数据中是否拍摄与在发送目的地的人相同的人作为被摄体，并且当拍摄该人作为被摄体时，将作为发送目的地的人的被摄体图像的焦距，设置为用于再聚焦光场数据的焦距。

Description

图像处理装置、图像处理方法及摄像装置
技术领域
本发明涉及用于处理光场数据的图像处理装置。
背景技术
已知如下方法：基于通过从许多视角对被摄体进行拍摄而获得的图像，生成具有任意焦距、景深和视角的图像。
例如，在NPL(非专利文献)1中，公开了如下配置：在摄像元件的前方布置有具有以1比多个像素的比例排列的微透镜的微透镜阵列，从而不仅获得光强的二维分布，而且获得关于入射到摄像元件的光线的入射方向的信息，由此获得被摄体空间的三维信息。
上述能够获得被摄体空间的三维信息的这种摄像装置被称为“光场照相机”。
另外，被摄体空间的三维信息被称为“光场数据”，通过获得光场数据并在拍摄之后对光场数据进行图像再形成处理，能够进行被称为“再聚焦”的图像处理。再聚焦例如包括：改变图像的聚焦位置和图像的拍摄视角、以及调整图像的景深。
当要查看上述能够进行再聚焦的这种光场数据时，在某些情况下难以确定要在哪个焦点位置对要首先显示的图像进行再聚焦。为了解决该问题，在PTL(专利文献)1的技术中，从图像中提取被摄体，以显示在被摄体所在的位置对焦的再聚焦图像。
引用列表
专利文献
PTL 1：日本特开2011-22796号公报
非专利文献
NPL 1：Ren.Ng,and 7others,"Light Field Photography with Hand-HeldPlenoptic Camera,"Stanford Tech Report CTSR,2005-02
发明内容
技术问题
如上所述，在光场照相机中，能够在拍摄之后选择期望的焦距以再形成图像。因此，有必要通过使用拍摄时使用的焦距、主被摄体的信息以及其他这种信息，从多个焦距中确定要在首先显示光场数据时使用的焦距，并将确定的焦距存储为默认焦距。
然而，例如，对多个人进行了拍摄的光场数据可能包括在与主被摄体不同的焦距处的被摄体。在这种情况下，如果当向各个人发送光场数据时将主被摄体的焦距确定为默认焦距，则出现以下问题。具体地说，在与主被摄体不同的焦距处的被摄体的人是发送目的地的人的情况下，在发送目的地侧再形成的光场数据，被不期望地首先显示为相关人的图像模糊的图像。
类似地，在再形成光场数据以将图像发送至各个人时，如果主被摄体的焦距被确定为默认焦距，则出现如下问题：根据发送目的地，要被发送图像的相关人的图像模糊。
问题的解决方案
为了解决上述问题，根据本发明的一个实施例的图像处理装置被构造为：获得光场数据，所述光场数据是被摄体空间的三维信息；通过使用所获得的光场数据检测所述被摄体空间中包括的被摄体，来生成被摄体信息，并将所生成的被摄体信息添加到所述光场数据中；基于所述光场数据的拍摄信息来设置用于再形成所述光场数据的焦距，并将所设置的焦距添加到所述光场数据中；基于与作为所述光场数据的发送目的地对象的外部装置相对应的被摄体的信息，从被摄体信息中检测与所述外部装置相对应的被摄体；并根据所述检测的结果，更新由设置单元设置的焦距。
本发明的有益效果
根据本发明的一个实施例，即使在发送拍摄有多个人的图像的光场数据的情况下，也能够在相关人对焦的状态下，在发送目的地处首先显示再聚焦图像。
另外，即使在发送具有再形成的光场数据的图像的情况下，也能够在发送目的地处显示相关人对焦的图像。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是例示用于实现根据本发明的第一实施例的图像处理装置作为光场照相机中的图像处理配置的硬件配置的框图。
图2是例示图1的光场照相机的图像处理单元的框图。
图3是例示图1的光场照相机的拍摄操作的流程图。
图4是例示图1的光场照相机的发送操作的流程图。
图5是例示图1的光场照相机的显示操作的流程图。
图6是例示用于实现根据本发明的第二实施例的图像处理装置作为光场照相机中的图像处理配置和云服务器的云服务器的图像处理单元的框图。
图7是例示由图6的云服务器进行的显示下载候选图像的操作的流程图。
图8是例示由图6的云服务器进行的下载图像的操作的流程图。
具体实施方式
现在，将参照附图详细描述本发明的示例性实施例。
第一示例
图1是用于实现根据本发明的第一实施例的图像处理装置作为摄像装置中的光场数据的图像处理配置的摄像装置(例如数字照相机)的框图，以例示用于进行包括拍摄、再现和发送/接收的操作的数字照相机的硬件配置。
参照图1，数字照相机包括用于获得摄像信号以获得光场数据(被摄体空间的三维信息)的摄像单元1002、以及用户用来输入指令(例如，对要发送的图像的变焦、拍摄和选择)的操作单元1003(例如，按钮和操纵杆)。数字照相机还包括通信I/F 1004、显示单元1005和工作存储器1006，通信I/F 1004包括用于有线连接的终端(例如，USB终端和HDMI终端)和用于连接到其他照相机或网络的WiFi接口，显示单元1005(例如，液晶显示器)用于显示拍摄对象图像、菜单和其他，工作存储器1006(例如，DRAM)用于存储正被处理的图像和数据。数字照相机还包括用于再形成光场数据并进行图像处理(例如JPEG压缩)的图像处理单元1007、以及用于执行从操作单元1003发出的指令和可编程控制序列的控制单元1008(例如CPU)。数字照相机还包括用于存储要由控制单元1008使用的各种表和已被处理的图像数据的存储器1009。存储器1009的示例包括可移动记录介质。上述单元和存储器经由总线1001相互电连接。
请注意，作为摄像单元1002，例如已知PTL 1中公开的配置(具有不同视角的多个照相机作为整体被视为摄像单元1002)和NPL 1中公开的摄像元件(布置有各自包括多个子像素的多个像素，该子像素用于接收通过聚焦光学系统的不同光瞳部分区域的光线)。而且，摄像单元1002的配置并非与本发明直接相关。因此这里省略其描述。
在下文中，参照图2至图5描述图1所示的数字照相机的操作。
在本发明的第一实施例的描述中，以用于将光场数据发送至外部装置以进行显示的图像处理配置为例。本实施例讨论了如下情况：发送源是如图1所示的被布置为对光场数据进行拍摄的数字照相机(下文中被简称为“光场照相机”)，发送目的地是具有类似配置的光场照相机或通用数字照相机。在本实施例中，作为发送源的照相机辨别作为发送目的地的照相机是否能够再形成光场数据，以确定是要发送光场数据、还是要在发送源中再形成光场数据以将再形成的数据作为JPEG图像进行发送。
图2是例示图1所示的光场照相机的图像处理单元1007的详细配置的框图。请注意，在图2中，通过与图1相同的附图标记表示图1所示的部件。
参照图2，光场数据生成单元2003将通过摄像单元1002拍摄的模拟数据转换为光场数据。被摄体检测单元2004使用全焦点图像进行面部检测，并生成针对各面部存储面部的焦距和面部的图像的面部列表。个人验证单元2005使用与发送目的地相对应的个人验证数据，来对面部列表中的面部依次进行个人验证，以验证面部列表中的面部是否是与发送对方相同的人的面部。在本实施例的以下描述中，以面部信息作为要检测的被摄体信息和要用于验证的信息的示例。然而，被摄体检测不限于面部检测，例如可以使用其他被摄体或动物，只要能够利用特定形状和特征检测并辨别被摄体即可。
此外，头添加单元2006将生成的面部列表添加到光场数据的头，头分析单元2007分析光场数据的头以读出面部列表。光场数据再形成单元2008使用默认焦距再形成光场数据。JPEG编码单元2010通过JPEG压缩对再形成的图像进行编码，JPEG解码单元2009展开压缩的图像以对图像进行解码。图像修整单元2011对图像进行修整处理，例如将图像的大小改变为用于显示的大小。
通过控制单元1008来控制图像处理单元1007的各单元的上述操作。
接下来，参照图3的流程图来描述图1的光场照相机进行的拍摄操作。通过控制单元1008执行可编程控制序列来进行该操作，响应于从控制单元1008发出的指令来进行各单元的操作。
首先，在步骤S3001中，光场数据生成单元2003获得通过摄像单元1002拍摄的模拟数据，以将获得的模拟数据转换为光场数据。
在步骤S3002中，光场数据再形成单元2008再形成通过转换为全焦点图像而获得的光场数据。接下来，被摄体检测单元2004使用通过再形成获得的全焦点图像来进行面部检测，并基于面部检测的结果，通过针对各面部存储各面部的焦距和面部的图像来生成面部列表。
在步骤S3003中，头添加单元2006将生成的面部列表添加到光场数据的头。
在步骤S3004中，头添加单元2006将拍摄时的焦距设置为默认焦距，以将设置的默认焦距添加到头。各拍摄信息具有一个拍摄时的焦距。默认焦距是指示要在再形成光场数据时对焦的特定被摄体的信息。
接下来，参照图4的流程图描述由图1的光场照相机进行的发送操作。还通过控制单元1008执行可编程控制序列来进行该操作，响应于从控制单元1008发出的指令来进行各单元的操作。
在步骤S4001中，响应于用户对操作单元1003进行操作，控制单元1008从显示单元1005上显示的拍摄的光场数据的列表中，指定并确定要发送的光场数据。
在步骤S4002中，响应于用户对操作单元1003进行操作，控制单元1008指定并确定所确定的光场数据要被发送到的发送目的地(光场数据要被输出到的I/F或外部装置)。在该步骤中，基于所确定的发送目的地，控制单元1008从存储器1009中获得与发送目的地相对应的个人验证数据(发送对方或与发送对方相关联的被摄体的信息)。
在步骤S4003中，头分析单元2007分析发送对象的光场数据的头，并读出面部列表。接下来，个人验证单元2005使用与发送目的地相对应的个人验证数据，来对读出的面部列表中的面部依次进行个人验证，以验证面部列表的面部是否是与发送对方相同的人或与发送对方相关联的被摄体的面部。请注意，在本实施例中假设个人验证数据与发送目的地相关联地存储在存储器1009中。与发送目的地相对应的个人验证数据并非必须是发送对方本身，而可以是与发送对方相关联的被摄体。例如，可以使用发送对方的家庭成员、亲密朋友或宠物作为个人验证数据。在这种情况下，作为个人验证数据，与发送对方相关联的被摄体被一起分组记录，或者从服务器或发送目的地接收由发送目的地指定的相关被摄体的信息，以使用接收到的信息对相应被摄体进行验证。
在步骤S4004中，控制单元1008控制通信I/F 1004从目的地装置接收并获得用于辨别目的地装置是否支持光场数据的支持信息。用于辨别目的地装置是否支持光场数据的信息可以与发送目的地列表一起预先存储在存储器1009中，在这种情况下，控制单元1008基于存储在存储器1009中的信息获得上述信息。此外，在本实施例中辨别目的地装置是否支持光场数据，但是可以辨别通信I/F 1004中的被选择用于数据通信的接口是否支持光场数据。此外，例如，在用户考虑目的地装置而选择通信方法的情况下，可以辨别所选择的通信方法是否支持光场数据。
在步骤S4005中，在接收到的信息指示目的地装置支持光场数据的情况下，流程进行到步骤S4006。当接收到的信息指示目的地装置不支持光场数据时，流程进行到步骤S4009。
在步骤S4006中，确定个人验证单元2005是否确定在面部列表中存在与发送对方相同的人或与发送对方相关联的被摄体的面部。如果确定个人验证单元2005确定存在与发送对方相同的人或与发送对方相关联的被摄体的面部，则流程进行到步骤S4007。如果确定个人验证单元2005确定不存在与发送对方相同的人或与发送对方相关联的被摄体的面部，则不更新在拍摄时添加的默认焦距，并且流程进行到步骤S4008。
在步骤S4007中，头添加单元2006利用被确定为与发送对方相同的人或与发送对方相关联的被摄体的面部的面部的焦距，更新在步骤S3004中已经设置并添加至光场数据的默认焦距。
在步骤S4008中，控制单元1008指示通信I/F 1004发送光场数据。
在步骤S4009中，进行与步骤S4006相同的确定。如果确定个人验证单元2005确定存在与发送对方相同的人或与发送对方相关联的被摄体的面部，则流程进行到步骤S4010。如果确定个人验证单元2005确定不存在与发送对方相同的人或与发送对方相关联的被摄体的面部，则流程进行到步骤S4011。
在步骤S4010中，光场数据再形成单元2008利用面部列表中的被确定为相同的人的面部的焦距，更新默认焦距，并以更新后的焦距再形成发送对象的光场数据。
在步骤S4011中，光场数据再形成单元2008以默认焦距再形成发送对象的光场数据。
在步骤S4012中，JPEG编码单元2010对再形成的图像进行JPEG压缩，并且控制单元1008控制通信I/F 1004将JPEG图像发送至发送目的地。
接下来，参照图5的流程图描述图1的光场照相机的接收光场数据的操作。还通过控制单元1008执行可编程控制序列来进行该操作，响应于从控制单元1008发出的指令来进行各单元的操作。
在步骤S5001中，控制单元1008控制通信I/F 1004接收光场数据。
在步骤S5002中，头分析单元2007从接收到的光场数据的头获得默认焦距。接下来，光场数据再形成单元2008以默认焦距再形成接收到的光场数据。图像修整单元2011将再形成的图像的大小改变为用于显示的大小，控制单元1008将调整大小的图像显示在显示单元1005上。
在步骤S5003中，控制单元1008确定用户是否操作操作单元1003给出改变焦距的指令。当确定用户给出改变焦距的指令时，流程进行到步骤S5004。否则，使操作结束。
在步骤S5004中，光场数据再形成单元2008以获得的焦距再形成接收到的光场数据。接下来，图像修整单元2011将再形成的图像改变为用于显示的大小。控制单元1008将调整了大小的图像显示在显示单元1005上。
在步骤S5005中，头添加单元2006根据用户指示而更新默认焦距。
如上所述，在本实施例中，在对要接收光场数据的人、或与要接收光场数据的人相关联的被摄体进行拍摄作为要发送的光场数据中的被摄体的情况下，将用于再形成的默认焦距设置为使得要接收光场数据的人对焦的焦距。因此，能够在接收并首先显示光场数据时，显示接收光场数据的人、或与接收光场数据的人相关联的被摄体对焦的图像。
请注意，在本实施例中辨别目的地装置是否是能够再形成光场数据的照相机，但是不进行这种辨别，还可以发送以接收光场数据的人的焦距再形成的JPEG图像。
此外，尽管在本实施例中，为了生成全焦点图像而在拍摄时再形成光场数据并基于生成的全焦点图像检测面部，但是为了进行面部检测可以在拍摄时获得全焦点图像。
另选地，光场数据的焦距可以被依次改变以再形成光场数据，从而对各再形成的图像进行面部检测。
在本实施例中，以图像处理装置保留发送对方或与发送对方相关联的被摄体的个人验证数据为例进行描述。另选地，当建立与发送对方的通信时，或当用户指定发送目的地时，控制单元1008可以从发送对方(外部装置)获得个人验证数据。
在本实施例中，以用户选择要发送的图像为例进行了描述。另选地，当确定发送目的地时，用户可以指定诸如文件夹的要发送的图像的列表，使得从指定的要发送的列表中自动选择包括与发送目的地相对应的被摄体的图像。在本实施例中，将要发送的光场数据的默认焦距设置为要接收光场数据的人、或与要接收光场数据的人相关联的被摄体的焦距。然而，要设置的值不限于默认焦距。例如，可以针对各焦距或面部设置优先级顺序，使得当发送目的地设置要用于再聚焦光场数据的焦距时，向接收光场数据的人、或与接收光场数据的人相关联的被摄体的焦距分配较高的优先级顺序。
第二示例
在本发明的第二实施例中，描述了如下情况：光场照相机和云服务器实现本发明的图像处理装置的配置。本实施例讨论了当用户将由光场照相机拍摄的光场数据上传到云服务器、并且给定用户登录云服务器以下载要显示的图像时应用的图像处理配置的示例。在这种情况下，光场照相机具有与第一实施例相同的配置，因此这里省略其描述。
图6是例示用于实现根据本实施例的图像处理配置的云服务器的图像处理单元6002的框图。
参照图6，云服务器包括用于存储正处理的图像和数据的工作存储器6001(例如DRAM)。图像处理单元6002包括个人验证单元6003、头分析单元6004、光场数据再形成单元6005、JPEG编码单元6006和图像修整单元6007，个人验证单元6003通过使用个人验证数据依次对面部列表中的面部进行个人验证，以验证相应面部是否是与登录用户相同的人的面部，头分析单元6004分析光场数据的头以读出面部列表，光场数据再形成单元6005以面部列表中的被确定为与登录用户相同的人的面部的焦距再形成光场数据，JPEG编码单元6006对再形成的图像进行JPEG压缩，图像修整单元6007进行诸如改变图像大小的修整。
通过云服务器(未示出)的控制单元(例如CPU)执行从操作单元发出的指令和可编程控制序列，来控制图像处理单元1007的各单元的上述操作。
首先，描述将光场数据从光场照相机上传到云服务器的操作。通过光场照相机的控制单元1008执行可编程控制序列来执行该操作，并且响应于从控制单元1008发出的指令进行各单元的操作。
响应于用户操作操作单元1003，控制单元1008从显示单元1005上显示的拍摄的光场数据的列表中，指定并确定要上传的光场数据。接下来，控制单元1008控制通信I/F 1004将确定的光场数据上传到云服务器。包括在第一实施例中生成的面部列表的头被添加到要上传的光场数据。
接下来，参照图7的流程图描述如下操作：向登录到云服务器的用户显示云服务器中保留的图像。通过云服务器的控制单元执行可编程控制序列来进行该操作，响应于从服务器的控制单元发出的指令进行图像处理单元6002的各单元的操作。
在步骤S7001中，当用户从用户的PC登录到云服务器时，云服务器请求用户上传个人验证数据。响应于该请求，从用户的PC上传个人验证数据。在本实施例中，当确认用户登录到云服务器时，云服务器生成用于利用缩略图以列表形式或依次显示服务器上的与用户相关联的图像的页面。作为选择要向用户显示的图像的方法的示例，可想到如下方法。具体地说，根据登录信息来选择过去从用户拥有的照相机或记录介质上传的图像、在过去几周由被登记为用户的熟人的用户上传的图像、或其他这种图像。
在步骤S7002中，云服务器的控制单元确定是否存在下一个要显示在针对登录用户生成的页面中的图像。当存在这种下一个图像时，流程进行到步骤S7003，否则流程进行到步骤S7008。
在步骤S7003中，头分析单元6004分析要显示的光场数据的头，以读出面部列表。接下来，个人验证单元6003使用个人验证数据来对面部列表中的面部依次进行个人验证，以验证相应面部是否是与登录用户相同的人或与登录用户相关联的被摄体的面部。
在步骤S7004中，根据在步骤S7003中进行的验证的结果，在存在与登录用户相同的人或与登录用户相关联的被摄体的面部的情况下，流程进行到步骤S7005，否则流程进行到步骤S7006。在步骤S7005中，光场数据再形成单元6005以面部列表中的被确定为与登录用户相同的人或与登录用户相关联的被摄体的面部的面部的焦距，再形成光场数据。
在步骤S7006中，光场数据再形成单元6005以被添加至头的默认焦距，再形成光场数据。
在步骤S7007中，图像修整单元6007根据要生成的页面改变再形成的图像的大小。
在步骤S7008中，云服务器的控制单元通过显示再形成的图像来生成页面。
接下来，参照图8的流程图描述从云服务器下载图像的操作。也通过云服务器的控制单元执行可编程控制序列来进行该操作，响应于从服务器的控制单元发出的指令来进行图像处理单元6002的各单元的操作。
在步骤S8001中，云服务器的控制单元确定用户是否给出改变焦距的指令。在用户给出改变焦距的指令的情况下，流程进行到步骤S8002。否则，流程进行到步骤S8003。
在步骤S8002中，光场数据再形成单元6005以用户指定的焦距再形成光场数据。接下来，图像修整单元6007将再形成的图像的大小改变为用于显示的大小，以更新页面。
在步骤S8003中，云服务器的控制单元确定用户是否给出下载图像的指令。在用户给出下载图像的指令的情况下，流程进行到步骤S8004。否则，使操作结束。
在步骤S8004中，JPEG编码单元6006对要下载的图像进行JPEG压缩，并且云服务器的控制单元下载压缩的图像。
如上所述，根据本实施例，能够下载登录到云服务器的人对焦的图像。
请注意，尽管在本实施例中，作为发送源的光场照相机以与第一实施例相同的方式进行面部检测，但是图像被上传到的云服务器可以进行面部检测。
此外，不必说，甚至通过在系统或装置中提供存储实现上述实施例的功能的软件的程序代码的记录介质，并使得系统或装置的计算机(或CPU或MPU)能够读取存储在记录介质中的程序代码以执行，也能够实现本发明的目的。
在这种情况下，从记录介质中读取的程序代码本身实现上述实施例的功能，程序代码本身和存储程序代码的记录介质构成本发明。
作为提供程序代码的记录介质，例如可以使用软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡或ROM。
此外，不必说，通过执行由计算机读取的程序代码，能够实现上述实施例的功能，并且在计算机上运行的OS(基础系统或操作系统)根据程序代码的指令进行部分或全部的实际处理，由此能够通过该处理实现上述实施例的功能。
此外，不必说，在从记录介质读取的程序代码被写入在插入计算机的功能扩展板或与计算机连接的功能扩展单元中配设的存储器中之后，功能扩展板或功能扩展单元中配设的CPU等根据程序代码的指令，进行部分或全部的实际处理，由此能够通过该处理实现上述实施例的功能。
如上所述，尽管通过优选示例描述了本发明，但是本发明不限于以上示例，可以在权利要求的范围内对本发明进行各种变型。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。
本申请要求2013年1月11日提交的日本专利申请第2013-003570号的优先权，该申请的全部内容通过引用并入本文。

Claims (19)

1.一种图像处理装置，该图像处理装置包括：
第一获得单元，其用于获得作为被摄体空间的三维信息的光场数据；
生成单元，其用于通过使用所述光场数据检测所述被摄体空间中包括的被摄体，来生成被摄体信息，并将所生成的被摄体信息添加到所述光场数据中；
设置单元，其用于基于所述光场数据的拍摄信息来设置用于再形成所述光场数据的焦距，并将所设置的具有优先级顺序的焦距添加到所述光场数据中；
第二获得单元，其用于获得与作为所述光场数据的发送目的地对象的外部装置相对应的被摄体的信息；
检测单元，其用于从被添加到所述光场数据的被摄体信息中，检测通过所述第二获得单元获得的与所述外部装置相对应的被摄体；以及
控制单元，其用于通过向由所述检测单元检测到的与所述外部装置相对应的被摄体的焦距分配较高的优先级顺序，来更新由所述设置单元设置的焦距的优先级顺序。
2.根据权利要求1所述的图像处理装置，其中，所述控制单元将在更新由所述设置单元设置的焦距的优先级顺序之后获得的光场数据，发送至所述外部装置。
3.根据权利要求1所述的图像处理装置，其中，所述第二获得单元获得用于辨别所述外部装置、用于与所述外部装置进行数据通信的通信单元、以及用于与所述外部装置进行数据通信的通信方法中的一者是否支持所述光场数据的支持信息，并且
其中，在基于所述支持信息确定所述外部装置、用于与所述外部装置进行数据通信的所述通信单元、以及用于与所述外部装置进行数据通信的所述通信方法中的一者支持所述光场数据的情况下，所述控制单元将在更新由所述设置单元设置的焦距的优先级顺序之后获得的光场数据，发送至所述外部装置。
4.根据权利要求3所述的图像处理装置，其中，所述控制单元包括再形成单元，所述再形成单元用于在基于由所述第二获得单元获得用于辨别所述外部装置、用于与所述外部装置进行数据通信的所述通信单元、以及用于与所述外部装置进行数据通信的所述通信方法中的一者是否支持所述光场数据的所述支持信息，确定所述外部装置、用于与所述外部装置进行数据通信的所述通信单元、以及用于与所述外部装置进行数据通信的所述通信方法中的一者不支持所述光场数据的情况下，根据在所述控制单元的控制下更新的焦距的优先级顺序，来再形成所述光场数据，以生成再形成图像，并且
其中，所述控制单元将所述再形成单元生成的所述再形成图像发送至所述外部装置。
5.根据权利要求4所述的图像处理装置，所述图像处理装置还包括：
编码单元，其用于对所述再形成单元生成的图像进行编码。
6.根据权利要求1所述的图像处理装置，其中，在所述检测单元从被添加到所述光场数据的被摄体信息中，未检测到与所述外部装置相对应的被摄体的信息的情况下，所述控制单元不更新所述设置单元设置的焦距的优先级顺序。
7.根据权利要求3所述的图像处理装置，其中，所述支持信息包括从所述外部装置接收到的信息。
8.根据权利要求6所述的图像处理装置，其中，所述第二获得单元从预先存储在存储器中的信息中，获得与作为所述光场数据的发送目的地对象的所述外部装置相对应的被摄体的信息。
9.根据权利要求6所述的图像处理装置，其中，所述第二获得单元从所述外部装置接收到与作为所述光场数据的发送目的地对象的所述外部装置相对应的被摄体的信息。
10.一种图像处理方法，该图像处理方法包括：
获得步骤，获得作为被摄体空间的三维信息的光场数据；
生成步骤，通过使用所述光场数据检测所述被摄体空间中包括的被摄体，来生成被摄体信息，并将所生成的被摄体信息添加到所述光场数据中；
设置步骤，基于所获得的光场数据的拍摄信息来设置用于再形成所述光场数据的焦距，并将所设置的具有优先级顺序的焦距添加到所述光场数据中；
第二获得步骤，获得与作为所述光场数据的发送目的地对象的外部装置相对应的被摄体的信息；
检测步骤，从被添加到所述光场数据的被摄体信息中，检测在所述第二获得步骤中获得的与所述外部装置相对应的被摄体；以及
控制步骤，通过向在所述检测步骤中检测到的与所述外部装置相对应的被摄体的焦距，分配较高的优先级顺序，来更新在所述设置步骤中设置的焦距的优先级顺序。
11.一种摄像装置，该摄像装置包括：
摄像单元，其用于获得摄像信号以获得作为被摄体空间的三维信息的光场数据；
根据权利要求1至9的任一项所述的图像处理装置；
通信单元，其用于与所述外部装置进行通信；以及
操作单元，其用于输入指令，
其中，所述通信单元基于根据由所述操作单元输入的指令而选择的所述外部装置、用于与所述外部装置进行数据通信的通信设备、以及用于与所述外部装置进行数据通信的通信方法中的一者的信息，将通过所述图像处理装置获得的所述光场数据、以及通过再形成所述光场数据而获得的再形成图像中的一者，发送至所述外部装置。
12.根据权利要求11所述的摄像装置，其中，所述控制单元控制所述通信单元从根据由所述操作单元输入的指令而选择的所述外部装置中获得所选择的外部装置的信息。
13.根据权利要求12所述的摄像装置，其中，所述控制单元基于根据由所述操作单元输入的指令而选择的所述外部装置的信息，来选择通过所述第一获得单元获得的所述光场数据。
14.根据权利要求11所述的摄像装置，其中，所述操作单元输入改变被添加到所述光场数据中的焦距的指令，并且再形成单元基于根据所述指令而改变的焦距，再形成所述光场数据。
15.一种服务器装置，该服务器装置包括：
通信单元，其用于与外部装置进行通信；
第一获得单元，其用于获得作为被摄体空间的三维信息的光场数据；
检测单元，其用于基于经由所述通信单元获得的所述外部装置的信息，从所获得的光场数据的被摄体信息中检测与所述外部装置相对应的被摄体的信息，所述被摄体信息指示所述被摄体空间中包括的被摄体以及被摄体的具有优先级顺序的焦距；
再形成单元，其用于根据所述检测的结果确定用于再形成所述光场数据的焦距的优先级顺序，并基于所确定的焦距的优先级顺序再形成所述光场数据以生成再形成图像；以及
下载单元，其用于响应于从所述外部装置发出的指令，经由所述通信单元将所述再形成图像下载到所述外部装置。
16.根据权利要求15所述的服务器装置，其中，所述外部装置包括具有图像处理装置的摄像装置，
其中，所述图像处理装置包括：
第一获得单元，其用于获得作为被摄体空间的三维信息的光场数据；
生成单元，其用于通过使用所述光场数据检测所述被摄体空间中包括的被摄体，来生成被摄体信息，并将所生成的被摄体信息添加到所述光场数据中；
设置单元，其用于基于所述光场数据的拍摄信息来设置用于再形成所述光场数据的具有优先级顺序的焦距，并将所设置的具有优先级顺序的焦距添加到所述光场数据中；
第二获得单元，其用于获得与作为所述光场数据的发送目的地对象的外部装置相对应的被摄体的信息；
检测单元，其用于从被添加到所述光场数据的被摄体信息中，检测通过所述第二获得单元获得的与所述外部装置相对应的被摄体；以及
控制单元，其用于根据所述检测的结果，更新由所述设置单元设置的焦距的优先级顺序，
其中，所述摄像装置还包括：
摄像单元，其用于获得摄像信号以获得作为被摄体空间的三维信息的光场数据；
通信单元，其用于与所述外部装置进行通信；以及
操作单元，其用于输入指令，
其中，所述通信单元基于根据由所述操作单元输入的指令而选择的所述外部装置、用于与所述外部装置进行数据通信的通信设备、以及用于与所述外部装置进行数据通信的通信方法中的一者的信息，将通过所述图像处理装置获得的所述光场数据、以及通过再形成所述光场数据而获得的再形成图像中的一者，发送至所述外部装置。
17.根据权利要求15所述的服务器装置，其中，所述被摄体信息被添加到通过所述第一获得单元获得的所述光场数据中。
18.根据权利要求17所述的服务器装置，所述服务器装置还包括：
生成单元，其用于通过使用所获得的光场数据检测所述被摄体空间中包括的被摄体，来生成所述被摄体信息，并将所生成的被摄体信息添加到所述光场数据中；以及
设置单元，其用于基于所获得的光场数据的拍摄信息来设置用于再形成所述光场数据的焦距的优先级顺序，
其中，所述检测单元从所述生成单元生成的被摄体信息中检测与所述外部装置相对应的被摄体的信息。
19.根据权利要求18所述的服务器装置，其中，所述通信单元从所述外部装置接收改变焦距的指令，并且所述再形成单元基于根据所接收到的指令而改变的焦距，再形成所获得的光场数据，以生成再形成图像。
CN201380069995.0A 2013-01-11 2013-12-24 图像处理装置、图像处理方法及摄像装置 Active CN104919456B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-003570 2013-01-11
JP2013003570A JP6210687B2 (ja) 2013-01-11 2013-01-11 画像処理装置、画像処理方法およびプログラム
PCT/JP2013/085305 WO2014109270A1 (en) 2013-01-11 2013-12-24 Image processing apparatus, image processing method and program, and image pickup apparatus

Publications (2)

Publication Number Publication Date
CN104919456A CN104919456A (zh) 2015-09-16
CN104919456B true CN104919456B (zh) 2018-06-22

Family

ID=50029178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380069995.0A Active CN104919456B (zh) 2013-01-11 2013-12-24 图像处理装置、图像处理方法及摄像装置

Country Status (7)

Country Link
US (1) US9742981B2 (zh)
EP (1) EP2943896B1 (zh)
JP (1) JP6210687B2 (zh)
KR (1) KR101689516B1 (zh)
CN (1) CN104919456B (zh)
RU (1) RU2625531C2 (zh)
WO (1) WO2014109270A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102155093B1 (ko) * 2014-08-05 2020-09-11 엘지전자 주식회사 이동단말기 및 그 제어방법
CN104410845B (zh) * 2014-11-10 2019-08-06 北京智谷睿拓技术服务有限公司 光通信发送方法和装置、接收方法和装置、光通信系统
JP6444198B2 (ja) * 2015-02-09 2018-12-26 キヤノン株式会社 画像処理装置及び画像処理方法
JP6545000B2 (ja) * 2015-06-01 2019-07-17 キヤノン株式会社 アップロード管理システム、アップロード管理システムの制御方法、及びプログラム
CN107852454B (zh) * 2015-09-28 2020-04-03 华为技术有限公司 一种光场图像的分享、下载方法和装置
CN106454116B (zh) * 2016-11-18 2019-06-28 成都微晶景泰科技有限公司 自动全焦成像方法及装置
CN109086675B (zh) * 2018-07-06 2021-08-24 四川奇迹云科技有限公司 一种基于光场成像技术的人脸识别及攻击检测方法及其装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101883291A (zh) * 2010-06-29 2010-11-10 上海大学 感兴趣区域增强的视点绘制方法
CN102282590A (zh) * 2009-04-18 2011-12-14 瑞芳克斯成像公司 光场相机图像、文件和配置数据以及对其进行使用、存储和传递的方法
CN102656878A (zh) * 2009-11-27 2012-09-05 三星电子株式会社 图像处理设备和方法
CN102739945A (zh) * 2012-05-24 2012-10-17 上海理工大学 光场成像装置及方法
CN102857677A (zh) * 2011-03-31 2013-01-02 卡西欧计算机株式会社 具有重构图像的功能的装置及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005252457A (ja) * 2004-03-02 2005-09-15 Canon Inc 画像伝送システム、装置及び方法
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
US20100056188A1 (en) * 2008-08-29 2010-03-04 Motorola, Inc. Method and Apparatus for Processing a Digital Image to Select Message Recipients in a Communication Device
JP4710983B2 (ja) * 2009-01-28 2011-06-29 株式会社ニコン 画像合成装置、撮像装置、画像合成方法
US20120249550A1 (en) * 2009-04-18 2012-10-04 Lytro, Inc. Selective Transmission of Image Data Based on Device Attributes
JP2011022796A (ja) 2009-07-15 2011-02-03 Canon Inc 画像処理方法および画像処理装置
JP5464934B2 (ja) * 2009-07-23 2014-04-09 キヤノン株式会社 撮像装置及び撮像装置の制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102282590A (zh) * 2009-04-18 2011-12-14 瑞芳克斯成像公司 光场相机图像、文件和配置数据以及对其进行使用、存储和传递的方法
CN102656878A (zh) * 2009-11-27 2012-09-05 三星电子株式会社 图像处理设备和方法
CN101883291A (zh) * 2010-06-29 2010-11-10 上海大学 感兴趣区域增强的视点绘制方法
CN102857677A (zh) * 2011-03-31 2013-01-02 卡西欧计算机株式会社 具有重构图像的功能的装置及方法
CN102739945A (zh) * 2012-05-24 2012-10-17 上海理工大学 光场成像装置及方法

Also Published As

Publication number Publication date
RU2015133556A (ru) 2017-02-14
WO2014109270A1 (en) 2014-07-17
JP6210687B2 (ja) 2017-10-11
EP2943896B1 (en) 2017-11-22
JP2014135680A (ja) 2014-07-24
US9742981B2 (en) 2017-08-22
EP2943896A1 (en) 2015-11-18
RU2625531C2 (ru) 2017-07-14
KR20150105401A (ko) 2015-09-16
US20150350531A1 (en) 2015-12-03
KR101689516B1 (ko) 2016-12-26
CN104919456A (zh) 2015-09-16

Similar Documents

Publication Publication Date Title
CN104919456B (zh) 图像处理装置、图像处理方法及摄像装置
KR20200017072A (ko) 이미지 분석에 기반하여, 디스플레이를 통해 표시된 영상과 메모리에 저장된 영상과 관련하여 알림을 제공하는 전자 장치 및 방법
JP6351737B2 (ja) フォーム添付ファイルのアップロード
CN104303146A (zh) 移动设备中的图像相关应用的入口点
JP6223534B2 (ja) 撮影機器、撮影方法及び撮影制御プログラム
JP6108755B2 (ja) 撮影機器、撮影画像送信方法及び撮影画像送信プログラム
JP2015169952A (ja) 通信システム、撮像装置、プログラムおよび通信方法
KR102339223B1 (ko) 전자 장치 및 전자 장치에서 카메라 기능과 연관된 콘텐트 제공 방법
US11356592B2 (en) Image processing apparatus and control method thereof
US20180249115A1 (en) Mobile capture experience for rides
KR20190096748A (ko) 외부 전자 장치를 이용한 이미지 보정 방법 및 전자 장치
CN104980631A (zh) 生成焦点可改变的图像的摄像设备及其控制方法
US20160054890A1 (en) Electronic apparatus, image processing method, and computer-readable recording medium
CN105659581A (zh) 摄像设备、摄像系统、用于控制摄像设备的方法、用于控制摄像系统的方法及程序
KR102422448B1 (ko) 이미지와 관련된 링크 정보를 이용하여 외부 전자 장치와 이미지를 공유하는 방법 및 전자 장치
JP5213506B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP2013165413A (ja) 画像表示装置
JP6554782B2 (ja) 情報処理装置、及びその制御方法、プログラム
US10217196B2 (en) Image processing apparatus having image refocusing function, control method for image processing apparatus, and storage medium
CN115699075A (zh) 利用移动相机生成全景图
KR20210101697A (ko) 복수의 콘텐츠를 생성하는 방법 및 그 전자 장치
JP2006318352A (ja) 画像処理装置
JP2017215944A (ja) 筆記情報管理システム
KR102178170B1 (ko) 객체의 자세 정보를 구비한 이미지 생성 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
JP2017017471A (ja) 情報処理システム、及びその制御方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant