CN105230001B - 图像处理设备、处理图像的方法、图像处理程序，以及成像设备 - Google Patents

图像处理设备、处理图像的方法、图像处理程序，以及成像设备 Download PDF

Info

Publication number
CN105230001B
CN105230001B CN201480029165.XA CN201480029165A CN105230001B CN 105230001 B CN105230001 B CN 105230001B CN 201480029165 A CN201480029165 A CN 201480029165A CN 105230001 B CN105230001 B CN 105230001B
Authority
CN
China
Prior art keywords
image
area
fuzzy
composition
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480029165.XA
Other languages
English (en)
Other versions
CN105230001A (zh
Inventor
小野俊树
柴田龙二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105230001A publication Critical patent/CN105230001A/zh
Application granted granted Critical
Publication of CN105230001B publication Critical patent/CN105230001B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

一种信息处理系统，被配置为基于与图像的第一区域对应的离焦信息执行预定处理，该离焦信息与图像的第一区域和图像的第二区域之间的焦点差对应，其中图像的第二区域与图像的第一区域不同。

Description

图像处理设备、处理图像的方法、图像处理程序，以及成像 设备
对相关申请的交叉引用
本申请要求于2013年7月23日提交的日本优先权专利申请JP 2013-152937的权益，其全部内容通过引用被结合于此。
技术领域
本技术涉及图像处理设备、处理图像的方法、图像处理程序，以及成像设备。
背景技术
近年来，成像设备，诸如数码相机，已经广泛普及，并且存在一些具有根据图像捕获场景自动并最优地调整焦点和曝光的功能的成像设备。但是，特殊的舞台效果，诸如在捕获图像时构图的调整和背景的虚化(shading off)，仍然主要取决于用户的技能。尤其是对于没有相机知识的初学者，难以捕获具有特殊舞台效果的图像。因此，近年来，已经提出了许多用于虚化背景等等的技术(PTL 1)。
引用列表
专利文献
PTL 1
JP 2008-233470A
发明内容
许多相关技术检测被摄体，并且根据被摄体的信息设置光圈。具体而言，这些技术检测人的脸，并且根据脸的尺寸、位置、方向等信息设置光圈。这种光圈确定技术被自动控制，由此存在违背用户的意图捕获图像的可能性。
本技术是鉴于这种问题而产生的，并且存在提供通过基于与图像中的模糊相关的信息执行处理来使得容易获取模糊图像的图像处理设备、处理图像的方法、图像处理程序、以及成像设备的需求。
问题的解决方案
为了解决以上问题，第一种技术是被配置为基于与图像的第一区域对应的离焦信息执行预定处理的信息处理系统，该离焦信息与图像的第一区域和图像的第二区域之间焦点差对应，其中图像的第二区域与图像的第一区域不同。
发明的有益效果
根据本技术的实施例，处理是基于与图像中的模糊相关的信息执行的，由此用户可以容易地获取模糊图像。
附图说明
图1是示出根据本技术的实施例的图像处理设备的构造的框图。
图2是示出根据第一实施例的具有图像处理设备的功能的成像设备的构造的框图。
图3是用于描述计算模糊预测量的方法的图。
图4A和4B是示出第一实施例中的显示形式的图。
图5是示出第一实施例中的显示形式的图。
图6是示出第一实施例中的显示形式的图。
图7是示出第一实施例中的处理的流程的流程图。
图8是示出根据第二实施例的具有图像处理设备的功能的成像设备的构造的框图。
图9A至9C是示出第二实施例中的显示形式的图。
图10是示出第二实施例中的处理的流程的流程图。
图11是示出根据第三实施例的具有图像处理设备的功能的成像设备的构造的框图。
图12A和12B是示出第三实施例中的显示形式的图。
图13A和13B是示出第三实施例中的显示形式的图。
图14是示出第三实施例中的处理的流程的流程图。
图15是示出根据第四实施例的具有图像处理设备的功能的成像设备的构造的框图。
图16A至16C是示出第四实施例中的显示形式的图。
图17是示出第四实施例中的处理的流程的流程图。
图18是示出根据第五实施例的具有图像处理设备的功能的成像设备的构造的框图。
图19A和19B是示出第五实施例中的显示形式的图。
图20是示出第五实施例中的处理的流程的流程图。
图21是示出根据第六实施例的具有图像处理设备的功能的成像设备的构造的框图。
图22A和22B是示出第六实施例中的显示形式的图。
图23是示出第六实施例中的处理的流程的流程图。
图24是示出根据第七实施例的具有图像处理设备的功能的成像设备的构造的框图。
图25A和25B是示出第七实施例中的显示形式的图。
图26是示出第七实施例中的处理的流程的流程图。
图27是示出根据第八实施例的具有图像处理设备的功能的成像设备的构造的框图。
图28A和28B是描述第八实施例中的图像的分割的图，而图28C是示出用于构图确定的柱状图的图。
图29A至29C是描述第八实施例中的图像分割的第二个例子的图。
图30是示出第八实施例中的处理的流程的流程图。
图31是示出根据第九实施例的具有图像处理设备的功能的成像设备的构造的框图。
图32A至32D是示出第九实施例中通过光圈支架图像捕获所获取的图像的图。
图33A至33D是示出第九实施例中通过光圈支架图像捕获所获取的图像的第二个例子的图。
图34是示出第九实施例中的处理的流程的流程图。
图35是示出根据第十实施例的具有图像处理设备的功能的成像设备的构造的框图。
图36A和36B是示出在第十实施例中已应用了图像处理的图像的例子的图。
图37是示出第十实施例中的处理的流程的流程图。
具体实施方式
在下文中，将参考附图描述本技术的实施例。应当指出，描述将按以下次序给出。
<1.第一实施例>
[1-1.图像处理设备和包括该图像处理设备的成像设备的构造]
[1-2.图像处理设备和成像设备中的处理]
<2.第二实施例>
[2-1.图像处理设备和包括该图像处理设备的成像设备的构造]
[2-2.图像处理设备和成像设备中的处理]
<3.第三实施例>
[3-1.图像处理设备和包括该图像处理设备的成像设备的构造]
[3-2.图像处理设备和成像设备中的处理]
<4.第四实施例>
[4-1.图像处理设备和包括该图像处理设备的成像设备的构造]
[4-2.图像处理设备和成像设备中的处理]
<5.第五实施例>
[5-1.图像处理设备和包括该图像处理设备的成像设备的构造]
[5-2.图像处理设备和成像设备中的处理]
<6.第六实施例>
[6-1.图像处理设备和包括该图像处理设备的成像设备的构造]
[6-2.图像处理设备和成像设备中的处理]
<7.第七实施例>
[7-1.图像处理设备和包括该图像处理设备的成像设备的构造]
[7-2.图像处理设备和成像设备中的处理]
<8.第八实施例>
[8-1.图像处理设备和包括该图像处理设备的成像设备的构造]
[8-2.图像处理设备和成像设备中的处理]
<9.第九实施例>
[9-1.图像处理设备和包括该图像处理设备的成像设备的构造]
[9-2.图像处理设备和成像设备中的处理]
<10.第十实施例>
[10-1.图像处理设备和包括该图像处理设备的成像设备的构造]
[10-2.图像处理设备和成像设备中的处理]
<1.第一实施例>
[1-1.图像处理设备和具有该图像处理设备的成像设备的构造]
首先，将描述根据第一实施例的图像处理设备1和具有图像处理设备1的功能的成像设备1100的构造。图1是示出图像处理设备1的框图。
图像处理设备1由关注区域确定单元11、模糊信息获取单元12和模糊相关处理单元13构成。例如，图像处理设备1在成像设备中操作。
图2是示出具有图像处理设备1的功能的成像设备1100的构造的框图。成像设备1100由光学成像系统1001、透镜控制单元1002、成像元件1003、预处理电路1004、相机处理电路1005、图像存储器1006、显示单元1007、输入单元1008、存储单元1009和控制单元1010构成。另外，控制单元1010充当被摄体检测单元1011、焦点确定单元1012、以及构成图像处理设备1的关注区域确定单元11、模糊信息获取单元12和模糊相关处理单元13。在第一实施例中，模糊相关处理单元13充当图形创建单元14和显示控制单元15。
光学成像系统1001由用于收集从被摄体到成像元件1003的光的图像捕获透镜、用于移动图像捕获透镜并执行对焦和缩放的驱动机构、快门机构、可变光阑(iris)机构等等构成。这些透镜和机构在透镜控制单元1002的控制下被驱动。通过光学成像系统1001获得的被摄体的光学图像在成像元件1003上形成。
透镜控制单元1002是透镜中的微计算机，例如，并且根据来自控制单元1010和图像调整单元12的控制来控制光学成像系统1001的驱动机构、快门机构和可变光阑机构等等的操作。这使得能够调整曝光时间(快门速度)、光圈值(F-数)，等等。
成像元件1003光电转换来自被摄体的入射光，以便将其转化成电荷量，并且将电荷量作为模拟成像信号输出。从成像元件1003输出的模拟成像信号被输出到预处理电路1004。使用电荷耦合器件(CCD)、互补金属氧化物半导体等等作为成像元件1003。
预处理电路1004通过相关双采样(CDS)处理来采样并保持从成像元件1003输出的成像信号，以有利地维持信噪比(S/N)。另外，预处理电路1004通过自动增益控制(AGC)处理来控制增益、执行模数(A/D)转换并且输出数字图像信号。这些处理是根据来自控制单元1010的控制执行的。
相机处理电路1005对来自预处理电路1004的图像信号应用信号处理，诸如白平衡调整处理、颜色校正处理、伽马校正处理、Y/C转换处理和自动曝光(AE)处理。
图像存储器1006是易失性存储器，例如，由动态随机存取存储器(DRAM)构成的缓冲器存储器。图像存储器1006临时存储由预处理电路1004和相机处理电路1005对其应用了预定处理的图像数据。
例如，显示单元1007是由液晶显示器(LCD)、等离子体显示面板(PDP)、有机电致发光(EL)面板等等配置的显示设备。在显示单元1007中，成像期间的直通图像、记录在存储单元1009中的捕获图像等等被显示。
输入单元1008由用于切换电源ON/OFF的电源按钮、用于指示开始记录成像图像的释放按钮、用于缩放调整的操作器、与显示单元1007整体构成的触摸屏等等组成。当输入被给予输入单元1008时，根据该输入的控制信号被生成并输出到控制单元1010。然后，控制单元1010执行与控制信号对应的算术处理和控制。
存储单元1009是大容量存储介质，诸如硬盘、记忆棒(Sony公司的注册商标)或SD存储卡。例如，图像基于标准(诸如联合图像专家组(JPEG))以压缩状态被存储。另外，包括与所存储图像相关的信息以及诸如成像的日期和时间的附加信息的可交换图像文件格式(EXIF)数据也与图像关联地存储。
控制单元1010由中央处理单元(CPU)、随机存取存储器(RAM)和只读存储器(ROM)等构成。在ROM中，存储由CPU读取和操作的程序。RAM被用作CPU的工作存储器。CPU根据存储在ROM中的程序执行各种类型的处理，并且通过发布命令来控制整个成像设备1100。
另外，通过执行预定的程序，控制单元1010充当被摄体检测单元1011、焦点确定单元1012以及构成图像处理设备1的关注区域确定单元11、模糊信息获取单元12和模糊相关处理单元13。但是，这些构造不仅由程序实现，而且由通过具有以上功能的硬件、电路等的实现的专用设备的组合实现。
应当指出，在第一实施例中要被图像处理设备1处理的对象是构成直通图像的帧图像。
被摄体检测单元1011从要被处理的图像检测被摄体。例如，被摄体的例子包括人的脸。应当指出，被被摄体检测单元1011检测的东西不一定需要是人的脸，而可以是动物、建筑物等等，只要它可以被检测就行。作为检测方法，可以使用基于被摄体的形状的模板匹配、基于脸的亮度分布的模板匹配、基于图像中包括的肉色部分或人的脸的特征量的方法等等。另外，检测精度可以通过这些技术的组合来增强。
焦点确定单元1012确定在图像中检测到的被摄体是否被对焦。对焦于被摄体的因素的例子包括快门被用户半按下、快门的全按下、自动对焦、连续自动对焦(AF)、手动对焦，等等。由焦点确定单元1012得到的确定结果被提供给关注区域确定单元11。
关注区域确定单元11确定要被处理的图像中需要关注的区域(在下文中，被称为关注区域)。关注区域是在图像中被捕获该图像的用户认为是主要被摄体的东西(诸如人、动物、植物和建筑物)存在的区域。
例如，关注区域确定单元11基于由被摄体检测单元1011获取的被摄体信息确定关注区域。另外，关注区域确定单元11可以确定由成像设备1100对焦的被摄体作为关注区域。另外，关注区域确定单元可以基于由用户指定直通图像上区域的输入(到包括在成像设备1100中的触摸面板、各种按钮等的输入)确定关注区域。
另外，关注区域确定单元可以确定图像中更靠近中心的被摄体作为关注区域。另外，关注区域确定单元可以确定图像中具有预定尺寸或更大的被摄体作为关注区域。
指示图像中由关注区域确定单元11确定的关注区域的信息被提供给模糊信息获取单元12。模糊信息获取单元12获取图像中关注区域之外的区域(在下文中，被称为非关注区域)中的模糊信息。模糊信息包括模糊量和模糊预测量。模糊量可以在关注区域在成像设备1100中被对焦的状态下基于景深或相位差测距信息来获取。模糊量的值越大，模糊的程度越大。基于关注区域被对焦的假设，模糊预测量指示非关注区域模糊到什么程度。在这里，作为模糊信息的模糊预测量将参考图3来描述。模糊预测量可以由以下表达式(1)表示：模糊预测量＝(A-B)/d...(1)，其中关注区域的图像形成位置是A，非关注区域的图像形成位置是B，并且焦点深度是d。
在这个表达式(1)中，可以只获得关注区域和背景区域的散焦量(A-B)。因此，没有必要真正在关注区域上形成图像，并且散焦量可以从各种AF系统获得，诸如对比度检测系统和相位差系统，以及AF传感器，等等。当模糊预测量的值越大时，图像中的模糊的程度会变得越大。
应当指出，关注区域和非关注区域没有必要是具有统一距离的区域，并且例如，这些区域可以被获得并对待使得区域对于每个给定的散焦量被分类并对待，区域可以对于XY平面上每个邻近区域被平均并对待，或者最宽和相同距离的区域被看作代表性值。
另外，焦点深度是基于可允许的弥散圆δ来确定，并且δ根据欣赏尺寸而不同。因此，可以通过由用户预先(根据A3/A4/L尺寸打印，等同于屏幕尺寸的英寸数，等等)选择基准的方法、或者根据图像的记录像素的数量来自动选择基准的方法来确定基准。另外，当执行修剪时，焦点深度可以在适当的单元中通过乘以根据修剪量的系数来对待。由模糊信息获取单元12获取的模糊信息被提供给模糊相关处理单元13。模糊相关处理单元13根据模糊信息执行各种类型的处理。在第一实施例中，模糊相关处理单元13充当图形创建单元14和显示控制单元15。模糊相关处理单元13通过在成像设备1100中包括的显示单元1007中显示指示模糊信息的图形来向用户呈现模糊信息。
图形创建单元14基于从模糊信息获取单元12提供的模糊信息创建指示模糊信息的图形。
显示控制单元15执行在成像设备1100的显示单元1007中的图像上叠加并显示由图形创建单元14生成的图形的显示控制。
图4A和4B是由图形创建单元14生成并在显示单元1007中显示的图形的形式的第一个例子。在这些例子中，作为模糊信息的模糊量是利用在显示单元1007中显示的直通图像上叠加并显示的条形图给出的。
模糊量和条形图的高度彼此对应，并且当模糊量大时条形图变得更高，并且当模糊量小时条形图变得更矮。另外，条形图的颜色可以根据条形图的高度改变，使得图形可以容易地被用户识别。应当指出，模糊量的呈现不限于条形图，并且可以是饼图。
在图4A的例子中，人是关注区域，并且背景是非关注区域。非关注区域不太模糊。因此，模糊量小，并且在屏幕左边显示的条形图矮。
同时，在图4B的例子中，人是关注区域，并且除人之外的背景是非关注区域。非关注区域被模糊化。因此，模糊量大，并且条形图高。
模糊信息以这种方式可视地呈现，由此用户可以精确地识别非关注区域目前被模糊到什么程度。应当指出，模糊信息获取单元12在图像捕获期间持续地获取模糊量是有利的，并且模糊相关处理单元基于由模糊信息获取单元12获取的模糊量在稳定的基础上实时地改变模糊量的图形显示。
图5是示出模糊量的图形显示的第二个例子的图。在图5中，图形是基于模糊预测量而不是模糊量来显示的。在图5的条形图中，条形图的高度指示可以被目前的关注区域、焦距和透镜的最大孔径实现的模糊量的范围。另外，在以条形图方式叠加并显示标记的情况下，指示用目前F数表示的模糊预测量。
图6是由图形创建单元14生成并且在显示单元1007中显示的图形的第三实施例。在第三实施例中，图形创建单元14创建从模糊信息获取单元12提供的模糊预测量的柱状图。在该柱状图中，水平轴代表模糊量或模糊预测量的幅度。模糊量或模糊预测量从左向右变得越来越大。另外，柱状图的垂直轴代表图像中模糊区域和非模糊区域的面积比。通过用柱状图呈现模糊信息，更详细的信息可以呈现给用户。
根据第一实施例的图像处理设备1和具有图像处理设备1的功能的成像设备1100被如上所述地构成。
[1-2.图像处理设备和成像设备中的处理]
接下来，将参考图7描述在图像处理设备1和成像设备1100中执行的处理的流程。图7是示出处理的流程的流程图。假设要处理的图像数据已经提供给控制单元1010和图像处理设备1，并且焦距和F数已经被获取。
首先，在步骤S101中，AF启动处理在成像设备1100中执行。AF启动处理通过各种方法来执行，诸如快门的半按下操作、对触摸面板的触摸操作以及通过对被摄体变化的检测的自动启动，其中快门是输入单元1008之一。另外，关于可以在稳定的基础上获取距离信息的相位差传感器等，AF功能可以在稳定的基础上操作，而无需来自用户的特定输入操作。当AF启动处理被执行时，预定的控制信号被提供给图像处理设备1，并且启动由控制单元1010和图像处理设备1进行的处理。
接下来，在步骤S102中，图像中的被摄体被被摄体检测单元1011检测。接下来，在步骤S103中，图像中的关注区域和非关注区域由关注区域确定单元11确定。如上所述，例如，关注区域是人，并且非关注区域是除作为关注区域的人之外的区域，诸如背景。
接下来，在步骤S104中，关注区域是否被对焦是由焦点确定单元1012确定的。焦点确定单元1012的确定结果被提供给模糊信息获取单元12。接下来，在步骤S105中，图像中的模糊量或模糊预测量由模糊信息获取单元12获取。接下来，在步骤S106中，指示模糊信息的图形由图形创建单元14生成。然后，在步骤S107中，该图形被显示控制单元15在显示单元1007中叠加在直通图像上并显示。
本技术的第一实施例如上所述地配置。根据第一实施例，要通过图像捕获被获取的图像的模糊程度可以以容易理解的方式以各种形式呈现给用户。因此，即使在由于成像设备1100的显示单元1007的尺寸小而导致直通图像中图像的模糊程度难以理解的情况下，用户也可以容易地识别模糊程度。
<2.第二实施例>
[2-1.图像处理设备和包括该图像处理设备的成像设备的构造]
接下来，将描述本技术的第二实施例。在第二实施例中，图像处理设备2也在成像设备1200中操作。图8是示出根据第二实施例的具有图像处理设备2的成像设备1200的构造的框图。
根据第二实施例的图像处理设备2与第一实施例的区别在于，模糊相关处理单元23充当放大处理单元24和显示控制单元25。除以上所述之外的构造与第一实施例中的构造相似，并且因此略去其描述。
在第二实施例中被图像处理设备2处理的对象是构成直通图像的帧图像。第二实施例通过放大图像的一部分以容易理解的方式向用户呈现图像的模糊程度。
放大处理单元24生成其中图像中包括关注区域和非关注区域两者的范围被放大的图像。例如，当直通图像处于图9A中所示的状态时，其中关注区域和非关注区域都被包括的范围被放大，如图9B中所示。放大范围有利地被设置为使得关注区域与非关注区域的比例在放大范围中变得几乎相等，因此关注区域与非关注区域之间的模糊程度不同。但是，设置放大范围的方法不限于以上例子。
显示控制单元25将被放大处理单元放大的图像叠加在直通图像上并显示，如图9B中所示。另外，分割的放大图像可以在显示单元1007中完全显示，如图9C中所示。另外，如图9B中所示，放大的图像叠加在直通图像上并显示，并且当存在对放大图像的输入时(手指与触摸面板的接触)，放大的图像可以在显示单元1007中完全显示，如图9C中所示。
应当指出，在成像设备1200的AF操作完成之后，这种放大显示有利地显示给定的时间。应当指出，模糊相关处理单元23确定由模糊信息获取单元12获得的模糊预测量是否是预定的量或更多。当模糊预测量是预定的量或更多时，模拟相关处理单元23使得放大处理单元24和显示控制单元25执行以上放大显示处理。
[2-2.图像处理设备和成像设备中的处理]
接下来，将参考图10描述在图像处理设备2和成像设备1200中执行的处理的流程。图10是示出处理的流程的流程图。假设要处理的图像数据已经被提供，并且焦距和F数已经被获取。应当指出，与第一实施例中相似的处理用相同的步骤编号表示并且描述被略去。
在步骤S101至步骤S105中，被摄体检测、关注区域确定、焦点确定和模糊信息获取在AF启动处理之后执行。然后，在步骤S201中，图像放大处理被放大处理单元24执行。然后，在步骤S202中，放大的图像被显示控制单元25叠加在直通图像上并显示。
本技术的第二实施例如上所述地配置。第二实施例放大并显示图像的一部分，使得图像中的关注区域和非关注区域都被包括，由此用户可以更精确地识别模糊程度。
<3.第三实施例>
[3-1.图像处理设备和包括该图像处理设备的成像设备的构造]
接下来，将描述本技术的第三实施例。在第三实施例中，图像处理设备3也在成像设备1300中操作。图11是示出根据第三者实施例的具有图像处理设备3的功能的成像设备1300的构造的框图。
根据第三实施例的图像处理设备3与第一实施例的区别在于，模糊相关处理单元33充当模糊量调整单元34和显示控制单元35。除以上所述之外的构造与第一实施例的构造相似，并且略去其描述。
在第三实施例中被图像处理设备3处理的对象是构成直通图像的帧图像。在第三实施例中，模糊量调整单元34的模糊量调整功能被自动启动，并且模糊调整用户界面被进一步自动显示。
通过根据从用户到输入单元1008的输入向成像设备1300的透镜控制单元1002发送预定控制信号，模糊量调整单元34调整透镜的光圈并且改变非关注区域的模糊量。
当图像的模糊量被模糊量调整单元34根据来自用户的输入调整时，模糊调整用户界面由显示控制单元35显示在显示单元1007中，使得用户可以容易地执行输入。
当焦距和F数被获得并且模糊预测量的可调范围通过改变F数而成为预定量或更多时，模糊相关处理单元通过模糊量调整单元自动启动模糊量调整功能。然后，显示控制单元35在显示单元1007中显示模糊量调整用户界面。
图12A和12B是示出其中模糊量调整功能的用户界面在显示单元1007中显示的状态的图。在图12A和12B的例子中，显示通过用户的操作沿垂直方向可移动的指示器200。指示器200的位置与图像的模糊量共同移动。
图像的模糊量根据指示器200的位置改变。在指示指示器200的移动路径的条210的上端，连同“清楚”的字符一起显示用于清楚地捕获非关注区域而不虚化该区域的图标。另外，在作为指示器200的移动路径的条210的下端，连同“虚化”的字符一起显示用于捕获非关注区域并且使非关注区域模糊的图标。当用户朝上移动指示器200时，光圈变小，并且非关注区域变得清楚，具有较小的模糊量。同时，当用户朝下移动指示器200时，光圈变大，并且非关注区域被模糊，具有大的模糊量。
在图12A中，指示器200位于朝上的清楚的侧，并且因此图像不太模糊。同时，在图12B，指示器200位于朝下的虚化侧，并且因此图像的模糊量大。
应当指出，如图13A中所示，显示指示推荐模糊量的位置，并且可以执行箭头的显示、位置的闪烁、动画的显示等等，以便引起用户将指示器200移动到该位置。这使得不理解模糊控制功能的用户能够容易地模糊图像。
另外，如图13B中所示，除由模糊控制的可调范围之外的区域被填充，并且当模糊控制的目前调节程度达到限值时，指示器200可以闪烁给定的时间，并且可以显示提示。在图13B的例子中，显示强调图像的模糊程度的提示。
应当指出，模糊控制功能的用户界面的形式不限于图12A和12B以及13A和13B中所示的形式。任何接口都可以被采用，只要接口可以调整图像的模糊量就可以。
[3-2.图像处理设备和成像设备中的处理]
接下来，将参考图14描述在图像处理设备3和成像设备1300中执行的处理的流程。图14是示出处理的流程的流程图。假设要处理的图像数据已经被提供，并且焦距和F数已经被获取。应当指出，与第一实施例中相似的处理用相同的步骤编号表示并且略去其描述。
在步骤S101至步骤S105中，被摄体检测、关注区域确定、焦点确定和模糊信息获取是在AF启动处理之后执行的。然后，在步骤S301中，模糊相关处理单元33使模糊量调整单元34进行的模糊量调整功能自动启动。应当指出，如上所述，模糊量调整功能有利地在模糊预测量的可调范围通过改变F数而成为预定量或更多的时候自动启动。接下来，在步骤S302中，显示控制单元35在显示单元1007中显示模糊量调整用户界面。
本技术的第三实施例如上所述地配置。根据第三实施例，模糊量调整功能是自动启动的，由此用户可以容易地执行模糊程度的调整。另外，不知道模糊量调整功能存在的用户或者知道模糊量调整功能但是具有低使用频度的用户可以被促使使用模糊量调整功能。
<4.第四实施例>
[4-1.图像处理设备和包括该图像处理设备的成像设备的构造]
接下来，将描述本技术的第四实施例。在第四实施例中，图像处理设备4也在成像设备1400中操作。图15是示出根据第四实施例的具有图像处理设备4的功能的成像设备1400的构造的框图。
第四实施例与第一实施例的区别在于模糊相关处理单元43充当图像处理单元44、显示控制单元45和模糊量调整单元46。除以上所述之外的构造与第一实施例中的构造相似，并且因此略去其描述。
在第四实施例中要被图像处理设备4处理的对象是构成直通图像的帧图像。第四实施例通过在显示单元1007中显示其中模糊量已被调整的图像来向用户呈现模糊图像是什么样子。
模糊信息获取单元12通过提供成像设备1400的设置以及最大孔径中模糊预测量来获取模糊预测量。
图像处理单元44生成通过对图像应用模糊处理来再现在F数被打开的状态下的模糊程度的图像。当目前设置中的模糊预测量是预定的量或更小并且最大孔径中的模糊预测量是预定的量或更大时，图形处理单元44生成再现在F数被打开的状态下的模糊程度的图像。
模糊量调整单元46与第三实施例中的模糊量调整单元相似。
显示控制单元45将显示单元1007中直通图像的显示从图16A的状态转变到图16B的状态。在图16B的状态下，在成像设备1400的目前设置下所获取的图像、以及被图像处理单元44应用了处理成为F数被打开的状态下的图像被并排显示。在图16B中，左侧图像是目前的图像并且右侧图像是应用了图像处理成为F数被打开的状态下的图像。因此，用户可以容易地比较目前的图像(直通图像)与其中模糊程度被强调的图像。应当指出，图像的显示形式不限于图16B中所示的形式，并且图像可以沿垂直方向布置。另外，目前的图像和已经由图形处理单元44应用了处理的多个图像可以被显示，使得模糊程度出现差异。
然后，当图像中的任何一个图像被用户选择时，显示控制单元45在显示单元1007中完全显示被选的图像，如图16C中所示。作为选择图像的方法，存在通过利用操作键选择的方法和其中在输入单元1008是触摸面板的情况下使手指与所述图像中的任何一个图像接触的方法。
当被选图像在显示单元1007中被完全显示时，显示控制单元45可以在显示单元1007中显示模糊量调整单元46的模糊量调整功能用户界面。这使得用户能够通过图像捕获获取容易选择的图像。另外，模糊量调整功能被自动启动，由此用户可以调整模糊量，使得图像还从被选图像的状态适合自己的品位。
应当指出，在其中多个图像被显示的状态下，如图16B中所示，当图像中的任何一个图像被用户选择时，图像可以通过自动图像捕获来获取。这使得甚至不知道模糊控制的操作的用户也能够捕获模糊图像。
[4-2.图像处理设备和成像设备中的处理]
接下来，将参考图17描述在图像处理设备4和成像设备1400中所执行的处理的流程。图17是示出处理的流程的流程图。假设要处理的图像数据已经被提供，并且焦距和F数已经被获取。应当指出，与第一实施例中相似的处理用相同的步骤编号表示并且略去其描述。
在步骤S101至步骤S105中，被摄体检测、关注区域确定、焦点确定和模糊信息获取在AF启动处理之后执行。然后，在步骤S401中，由图像处理单元44生成应用了图像处理成为F数被打开的状态的图像。
然后，在步骤S402中，在成像设备1400的目前设置下获取的图像、以及由图像处理单元44应用了处理成为F数被打开的状态的图像由显示控制单元45在显示单元1007中显示。
本技术的第四实施例如上所述地配置。根据第四实施例，用户可以容易地比较目前的图像与其中模糊程度被强调的图像。因此，可以容易地确定通过图像捕获来获取模糊图像是否更好，等等。
<5.第五实施例>
[5-1.图像处理设备和包括该图像处理设备的成像设备的构造]
接下来，将描述本技术的第五实施例。在第五实施例中，图像处理设备5也在成像设备1500中操作。图18是示出根据第五实施例的具有图像处理设备5功能的成像设备1500的构造的框图。
根据第五实施例的图像处理设备5与第一实施例的区别在于模糊相关处理单元53充当构图确定单元54、推荐模糊量确定单元55以及显示控制单元56。除以上所述之外的构造与第一实施例中的相似，并且因此略去其描述。
在第五实施例中要被图像处理设备5处理的对象是构成直通图像的帧图像。第五实施例确定图像中的构图，并且根据构图中的推荐模糊量对图像应用遮蔽(斑纹)显示处理。
构图确定单元54确定图像是否匹配预定的构图。构图确定单元54预先包括用于构图确定的多个算法，并且基于所述多种构图确定算法执行构图确定处理。例如，构图确定单元基于诸如人的被摄体的位置、人的尺寸、脸的尺寸等等确定图像是否包括诸如全身镜头、半身镜头、脸的特写等等的构图。另外，构图确定单元54基于预定的构图模板确定图像是否与三分构图、四分构图、太阳旗(sun flag)构图、对角线构图等等对应。构图确定单元54的确定结果被提供给推荐模糊量确定单元55。
推荐模糊量确定单元55确定与由构图确定单元54确定的图像的构图对应的推荐模糊量。这个推荐模糊量是在与每个构图对应的构图中的推荐模糊量。例如，推荐模糊量是通过参考其中构图和推荐模糊量关联的表来获得的。例如，如图19A中所示，当构图确定单元确定图像是三分构图时，推荐模糊量确定单元55确定与该构图对应的推荐模糊量。
当推荐模糊量与模糊预测量之差在预定范围之内时，显示控制单元56在图像上叠加并显示蒙版，使得图像变成具有推荐模糊量，如图19B中所示。这使得用户能够容易地识别出其中图像具有推荐模糊量的状态。
[5-2.图像处理设备和成像设备中的处理]
接下来，将参考图20描述在图像处理设备5和成像设备1500中执行的处理的流程。图20是示出处理的流程的流程图。假设要处理的图像数据已经被提供，并且焦距和F数已经被获取。应当指出，与第一实施例中相似的处理用相同的步骤编号表示并且略去其描述。
在步骤S101至步骤S105中，被摄体检测、关注区域确定、焦点确定和模糊信息获取在AF启动处理之后执行。然后，在步骤S501中，目前的图像的构图由构图确定单元54确定。接下来，在步骤S502中，所确定构图的推荐模糊量由推荐模糊量确定单元55确定。然后，在步骤S503中，当推荐模糊量与模糊预测量之差在预定的范围内时，蒙版被显示控制单元56叠加在图像上并显示，使得图像变成具有推荐模糊量。
本技术的第五实施例如上所述地配置。根据第五实施例，图像的模糊量可以通过蒙版显示来强调，由此用户可以容易地认识到具有大模糊量的图像是什么样子。
<6.第六实施例>
[6-1.图像处理设备和包括该图像处理设备的成像设备的构造]
接下来，将描述本技术的第六实施例。在第六实施例中，图像处理设备6也在成像设备1600中操作。图21是示出根据第六实施例的具有图像处理设备6的功能的成像设备1600的构造的框图。
根据第六实施例的图像处理设备6与第一实施例的区别在于，模糊相关处理单元63充当推荐构图确定单元64、图形创建单元65、显示控制单元66以及图像分割单元67。除以上所述之外的其它配置与第一实施例中的相似，并且因此略去其描述。
在第六实施例中要被图像处理设备6处理的对象是构成直通图像的帧图像。第六实施例由图像处理设备6利用柱状图在图像中向用户呈现推荐构图中的模糊信息。
推荐构图确定单元64包括用于从图像检测构图的多个算法，并且基于所述多个构图检测算法执行构图检测处理。
例如，推荐构图确定单元64基于诸如人的被摄体的位置、人的尺寸、脸的尺寸等等确定图像是否包括诸如全身镜头、半身镜头、脸的特写等等的构图。另外，推荐构图确定单元64基于预定的构图模板确定图像是否包括三分构图、四分构图、太阳旗构图、对角线构图等。然后，推荐构图确定单元64基于每个构图中被摄体的位置和尺寸等等确定推荐的构图(在下文中，被称为推荐构图)。
模糊信息获取单元12获取整个图像的模糊预测量，并且在由推荐构图确定单元64确定的推荐构图中计算非关注区域中的模糊预测量。计算出的模糊预测量被提供给图形创建单元65。
图形创建单元65与第一实施例的图形创建单元相似，并且创建指示所提供的模糊信息的柱状图。显示控制单元66在显示单元中显示由图形创建单元创建的柱状图。
例如，显示控制单元66在显示单元1007中在图像上叠加并显示作为柱状图的模糊预测量，如图22A中所示。应当指出，当模糊预测量通过柱状图显示时，指示推荐构图的框有利地与柱状图一起显示，如图22A中所示。这使得用户能够容易地识别推荐构图的位置和尺寸。
另外，当柱状图被显示时，指示推荐构图中模糊预测量的柱状图和整个图像中的柱状图有利地一起显示，如图22B中所示。在图22B中，作为显示的例子，实线指示整个图像中的模糊预测量，并且虚线指示推荐构图中的模糊预测量。柱状图以这种方式显示，用户可以容易地识别整个图像中的模糊预测量和推荐构图中的模糊预测量。
图像分割单元67执行分割由推荐构图确定单元64从图像确定的一系列推荐构图的处理(修剪)。利用图像分割单元的分割，图像可以具有更有利的构图。
[6-2.图像处理设备和成像设备中的处理]
接下来，将参考图23描述在图像处理设备6和成像设备1600中执行的处理。图23是示出处理的流程的流程图。假设要处理的图像数据已经被提供，并且焦距和F数已经被获取。应当指出，与第一实施例中相似的处理用相同的步骤编号表示并且描述被略去。
在步骤S101至步骤S104中，被摄体检测、关注区域的确定和焦点确定在AF启动处理之后执行。然后，在步骤S105中，整个图像中非关注区域的模糊预测量由模糊信息获取单元12获取。
接下来，在步骤S601中，推荐构图由推荐构图确定单元64确定。接下来，在步骤S602中，推荐构图中非关注区域的模糊预测量由模糊信息获取单元12获取。然后，在步骤S603中，指示模糊信息的柱状图由图形创建单元创建。然后，在步骤S604中，柱状图由显示控制单元66在显示单元1007中显示，如图22A和22B中所示。
接下来，在步骤S605中，推荐构图的范围被图像分割单元67从图像分割并且修剪图像被其生成。应当指出，图像被图像分割单元67分割可以在推荐构图被推荐构图确定单元64确定的时候自动执行，或者可以只在从用户给出图像分割的指令输入时执行。
本技术的第六实施例如上所述地配置。第六实施例在呈现推荐构图的同时利用柱状图呈现推荐构图中的模糊预测量，由此用户可以容易地认识到推荐构图中的图像的模糊程度是什么样子。
<7.第七实施例>
[7-1.图像处理设备和包括该图像处理设备的成像设备的构造]
接下来，将描述本技术的第七实施例。在第七实施例中，图像处理设备7也在成像设备1700中操作。图24是示出根据第七实施例的具有图像处理设备7的功能的成像设备1700的构造的框图。
在根据第七实施例的图像处理设备7中，模糊相关处理单元73充当推荐构图确定单元74、推荐模糊量确定单元75、图形创建单元76、显示控制单元77和图像分割单元78。
在第七实施例中要被图像处理设备7处理的对象是构成直通图像的帧图像。第七实施例利用图形显示向用户呈现推荐构图中的推荐模糊量和推荐构图中的模糊预测量。
推荐构图确定单元74与第六实施例中的相似，并且从图像确定作为推荐的构图的推荐构图。推荐构图确定单元74的确定结果提供给推荐模糊量确定单元75并且也提供给模糊信息获取单元12。模糊信息获取单元12获取整个图像中的模糊预测量，并且还获取推荐构图中的模糊预测量。
推荐模糊量确定单元75确定与由推荐构图确定单元74确定的推荐构图对应的推荐模糊量。推荐模糊量是构图中的推荐模糊量，与每个构图对应。例如，推荐模糊量是通过参考其中构图和推荐模糊量关联的表来获得的。
在第七实施例中，首先，图像中的推荐构图由推荐构图确定单元74确定。接下来，推荐模糊量确定单元75确定推荐构图中的推荐模糊量。例如，当确定的推荐构图是所谓的全身镜头(其中作为关注区域的人的整个身体出现)时，推荐模糊量确定单元75确定非关注区域的模糊预测量有利地小的推荐模糊量(模糊预测量＜第一模糊阈值)。
另外，当确定的推荐构图是作为关注区域的人的脸的特写时，推荐模糊量确定单元75确定非关注区域的模糊量有利地大的推荐模糊量(第三阈值＜模糊量)。
另外，当确定的推荐构图是作为关注区域的所谓的人的半身镜头时，推荐模糊量确定单元确定非关注区域的模糊量有利地大约在全身镜头与脸的特写之间的推荐模糊量(第二模糊阈值＜模糊量＜第三模糊阈值)。应当指出，第一至第三阈值之间的关系如在以下表达式1中所描述的：
第一模糊阈值＜第二模糊阈值＜第三模糊阈值...(1)
所确定的推荐构图和推荐模糊量提供给图形创建单元76。图形创建单元76创建就像在图25A和25B中所示的图形那样的图形。在图25A和25B的图形的例子中，条形图的高度指示可以由目前的关注区域、焦距和透镜的最大孔径实现的模糊量。另外，以条形图方式叠加和显示的标记指示用目前F数表示的模糊预测量。
另外，指示范围的框在条形图上显示，由此指示构图中的推荐模糊量。推荐模糊量可以利用该框进行显示来呈现推荐模糊量的范围。另外，图标呈现当图像被推荐构图修剪时的模糊预测量。因此，用户可以容易地认识到具有什么模糊量的什么种类的照片可以通过用哪种构图捕获照片来获取。另外，整个图像中的模糊预测量可以利用图标呈现。
另外，如图25B中所示，当推荐模糊量落在可以实现的模糊量范围之外时，指示模糊量如何增加的提示可以通过字符串显示。
图像分割单元78执行从图像分割由推荐构图确定单元74确定的推荐构图的范围的处理。通过图像分割单元78的分割，图像可以具有更有利的构图。
[7-2.图像处理设备和成像设备中的处理]
接下来，将参考图26描述在图像处理设备7和成像设备1700中执行的处理。图26是示出处理的流程的流程图。假设要处理的图像数据已经被提供，并且焦距和F数已经被获取。应当指出，与第一实施例中相似的处理用相同的步骤编号表示并且描述被略去。
在步骤S101至步骤S105中，被摄体检测、关注区域的确定、焦点确定和模糊信息获取在AF启动处理之后执行。然后，在步骤S701中，推荐构图由推荐构图确定单元74确定。接下来，在步骤S702中，推荐构图中的模糊预测量由模糊信息获取单元12获取。
接下来，在步骤S703中，推荐构图中的推荐模糊量由推荐模糊量确定单元75确定。接下来，在步骤S704中，用于呈现推荐构图中模糊预测量、推荐模糊量和模糊预测量的图形由图形创建单元76创建。接下来，在步骤S705中，该图由显示控制单元77在显示单元1007中显示。
然后，在步骤S706中，推荐构图的范围被图像分割单元78从图像分割，并且生成修剪图像。应当指出，图像被图像分割单元78分割可以在推荐构图由推荐构图确定单元74确定的时候自动执行，或者可以只在从用户给出图像分割的指令输入时执行。
本技术的第七实施例如上所述地配置。根据第七实施例，推荐构图中的推荐模糊量和推荐构图中的模糊预测量利用图形显示呈现，由此用户可以利用这些信息片段作为参照来捕获图像。
<8.第八实施例>
[8-1.图像处理设备和包括该图像处理设备的成像设备的构造]
接下来，将描述本技术的第八实施例。在第八实施例中，图像处理设备8也在成像设备1800中操作。图27是示出根据第八实施例的具有图像处理设备8的功能的成像设备1800的构造的框图。
根据第八实施例的图像处理设备8与第一实施例的区别在于，模糊相关处理单元83充当分割范围确定单元84、推荐模糊量确定单元85、图像分割单元86、显示控制单元87和放大处理单元78。除以上所述之外的构造与第一实施例中相似，并且因此描述被略去。
在第八实施例中要被图像处理设备8处理的对象是由成像设备获取的捕获图像。第八实施例根据图像中的模糊信息执行图像的分割处理(修剪)。
通过修剪捕获图像，图像可以具有更有利的构图。但是，分割范围具有各种形状和位置。因此，第八实施例确定分割范围，使得图像中的模糊程度根据模糊信息突出。
图像的分割将利用三分构图作为例子参考图28A和28B来描述。首先，分割范围确定单元84通过三分构图设置分割范围的多个候选。例如，分割范围的候选可以被确定为使得具有预定尺寸的空间沿图像中非关注区域存在的方向形成。
如图28A中所示，例如，在三分构图的尺寸和位置方面存在多个候选。在图28A中，三个分割范围作为候选的例子被示出。应当指出，构图不限于三分构图。多个其它构图数据(诸如黄金比例构图)预先作为模板存储，并且构图有利地是基于用户的选择或其它条件来选择的。作为替代，例如，当分割范围在三分构图中在图像外面延伸时，构图可以变成黄金比例构图。
当确定分割范围候选之后，分割范围确定单元84将构图候选信息提供给模糊信息获取单元12和推荐模糊量确定单元85。模糊信息获取单元12获取每个分割范围候选的模糊预测量，并且将模糊预测量提供给分割范围确定单元84。另外，推荐模糊量确定单元85确定每个分割范围候选中的推荐模糊量。推荐模糊量确定单元85与第七实施例中的相似。每个分割范围候选的推荐模糊量提供给分割范围确定单元84。分割范围确定单元84基于三个标准从多个分割范围候选中确定分割范围，这三个标准是：其中模糊预测量最接近推荐模糊量的构图；其中分割范围中的模糊预测量最接近推荐模糊量的位置；以及其中关注区域和非关注区域的模糊预测量的分离程度最高的位置。应当指出，每个标准的权重可以对每个构图改变。
模糊量的分离程度是否高可以通过将每个构图中关注区域和非关注区域的模糊预测量示为柱状图来确定，如图28C中所示。在图28C的例子中，在构图a、b和c当中，关注区域和非关注区域在构图a中分离最远。构图a具有小修剪区域，并且因此当图像被放大时模糊量变得最大。另外，模糊量小的区域(脸的部分)和模糊量大的区域(背景)在构图a中清楚地分离，并且因此构图a具有像陡峭的山峰的区域，如由图28C的柱状图所示的。构图b的修剪区域的尺寸与构图a的几乎相同。但是，更大模糊区域侧包括中到大宽范围的模糊量。因此，构图b具有像缓慢斜坡山峰的区域，如由图28C的柱状图所示的。构图c具有大修剪区域，并且被强调的模糊量比构图a和b的模糊量更小。更大模糊量山峰在水平轴的中间存在。应当指出，构图a、构图b和构图c是为了方便描述而设置为具体例子的构图。
因此，当构图a被选作分割范围并且图像的分割被执行时，图像变成图28B中所示的图像。通过以这种方式执行捕获图像的分割处理，图像可以具有更有利的构图，并且非关注区域的模糊程度可以被进一步强调。
应当指出，当光圈支架(diaphragm bracket)功能开启时，光圈被改变为适于每个构图候选并且支架图像捕获可以被执行。在这里，将描述基于三个标准从多个构图候选中确定一个分割范围，并且所述多个构图的推荐模糊量几乎相同的情况。图像分割关于具有几乎相同推荐模糊量的多个构图的所有分割范围执行，并且修剪图像有利地呈现给用户。
例如，如图29A中所示，当存在两个构图候选(构图d和构图e)，并且这两个构图的推荐模糊量几乎相同时，修剪对构图d和e中的每一个执行。图29B示出了基于构图d的修剪图像，而图29C是基于构图e的修剪图像。
然后，多种类型的修剪图像被呈现给用户，并且可以提示用户选择修剪图像中的任何一个。这使得用户能够获取具有适合其自己品味的模糊程度的图像。
应当指出，图像的分割范围可以关于原始图像的纵横比是可变的。例如，当原始图像的纵横比是“4∶3”时，分割范围可以根据被摄体的特点变成“3∶2”或者“16∶9”。
当在存储单元1009中存储修剪图像时，放大处理单元88执行利用超分辨率技术将修剪图像放大到原始图像尺寸的处理。因此，图像具有比修剪之间更强调的模糊程度。
[8-2.图像处理设备和成像设备中的处理]
接下来，将参考图30描述在图像处理设备8和成像设备1800中执行的处理。图30是示出处理的流程的流程图。假设要处理的图像数据已经被提供，并且焦距和F数已经被获取。应当指出，与第一实施例中相似的处理用相同的步骤编号表示并且描述被略去。
在步骤S101至步骤S104中，被摄体检测、关注区域的确定和焦点确定在AF启动处理之后执行。然后，在步骤S801中，分割范围候选由分割范围确定单元84确定。接下来，在步骤S802中，分割范围候选的模糊预测量由模糊信息获取单元12获取。接下来，在步骤S803中，分割范围候选的推荐模糊量由推荐模糊量确定单元85确定。
然后，在步骤S804中，图像的分割范围由分割范围确定单元84确定。分割范围信息提供给图像分割单元86。接下来，在步骤S805中，分割范围由图像分割单元86从图像分割。
接下来，在步骤S806中，修剪图像被放大处理单元88利用超分辨率技术放大到原始图像尺寸，并且存储在存储单元1009中。然后，分割图像由显示控制单元87在显示单元1007中显示，如图28B或图29B或29C中所示。因此，用户可以确认分割图像。
应当指出，当分割图像在显示单元1007中显示时，有利地显示已经由放大处理单元88应用了放大处理的图像。
本技术的第八实施例如上所述地配置。根据第八实施例，图像的分割基于图像中的模糊信息执行，由此可以创建其中模糊程度被强调的图像。另外，图像可以在考虑主要被摄体(关注区域)和背景(非关注区域)中的模糊的范围内分割，并且可以提供与包括整个被摄体区域的构图不同的令人印象深刻的分割图像。
<9.第九实施例>
[9-1.图像处理设备和具有该图像处理设备的功能的成像设备的构造]
接下来，将描述本技术的第九实施例。在第九实施例中，图像处理设备9也在成像设备1900中操作。图31是示出根据第九实施例的图像处理设备9的构造的框图。
根据第九实施例的图像处理设备9与第一实施例的区别在于，模糊相关处理单元93充当成像操作控制单元94和显示控制单元95。除以上所述之外的构造与第一实施例中的相似，并且因此描述被略去。
在第九实施例中要被图像处理设备9处理的对象是构成直通图像的帧图像。通过向透镜控制单元1002发送预定的控制信号，成像操作控制单元94控制光圈支架图像捕获模式的执行。光圈支架图像捕获模式是通过单个图像捕获操作获取具有不同光圈孔径的多个图像的图像捕获模式。通过改变光圈的孔径获取多个图像，并且因此具有不同模糊量的多个图像可以在单个图像捕获时获取。
当光圈支架在使F数比目前设置更大的方向执行时，在非关注区域中具有比目前图像更小模糊量的多个图像可以被获取，如图32B至32D中所示。在图32A至32D中，图32A示出了目前设置下的图像，并且按图32B、32C和32D的次序，F数变得更大并且图像在非关注区域中具有更小的模糊量。
另外，当光圈支架在使F数比目前设置更小的方向执行时，在非关注区域中具有比目前图像更大模糊量的多个图像可以被获取，如图33B至33D中所示。在图33A至33D中，图33A示出了目前设置下的图像，并且按图33B、33C和33D的次序，在非关注区域中F数变得更小并且图像具有更大的模糊量。
另外，在F数的目前设置之前和之后改变F数，并且可以执行光圈支架。因此，具有比目前图像更大模糊量的图像和具有比目前图像更小模糊量的图像可以在单个图像捕获时获取。
显示控制单元95在显示单元1007中显示由光圈支架图像捕获获取的图像。
[9-2.图像处理设备和成像设备中的处理]
接下来，将参考图34描述在图像处理设备9和成像设备1900中执行的处理。图34是示出处理的流程的流程图。假设要处理的图像数据已经被提供，并且焦距和F数已经被获取。应当指出，与第一实施例中相似的处理用相同的步骤编号表示并且描述被略去。
在步骤S101至步骤S105中，被摄体检测、关注区域确定、焦点确定和模糊信息获取在AF启动处理之后执行。然后，在步骤S901中，成像操作控制单元94根据模糊量激活光圈支架图像捕获模式。当模糊量是预定的量或更大时，成像操作控制单元94在使F数比目前设置更大的方向执行光圈支架。因此，在非关注区域中具有比目前图像更小模糊量的多个图像可以被获取，如图32B至32D中所示。另外，当模糊量是预定的量或更小时，成像操作控制单元94在使F数比目前设置更小的方向执行光圈支架。因此，如图33B至33D中所示，在非关注区域中具有比目前图像更大模糊量的多个图像可以被获取。
接下来，在步骤S902中，由光圈支架图像捕获获取的多个图像的记录处理由控制单元1010执行。捕获图像例如基于诸如JPEG的标准以压缩状态存储在存储单元1009中。应当指出，由光圈支架图像捕获获取的多个图像可以通过加标签等作为相互关联的图像关联并存储。另外，包括与所存储图像相关的信息以及诸如成像的日期和时间的附加信息的可交换图像文件格式(EXIF)数据也可以与图像关联地存储。
然后，在步骤S903中，由光圈支架捕获的图像在显示单元1007中作为预览图像由显示控制单元95显示。因此，用户可以立即确认由光圈支架捕获的图像。
本技术的第九实施例如上所述地配置。根据第九实施例，光圈支架图像捕获根据模糊信息被自动执行。因此，对于不知道光圈支架功能存在的用户或者知道光圈支架功能但具有低使用频率的用户，可以提供由光圈支架图像捕获获取的图像。
<10.第十实施例>
[10-1.图像处理设备和具有该图像处理设备的功能的成像设备的构造]
接下来，将描述本技术的第十实施例。在第十实施例中，图像处理设备10也在成像设备2000中操作。图35是示出根据第十实施例的具有图像处理设备10的功能的成像设备2000的构造的框图。
根据第十实施例的图像处理设备10与第一实施例的区别在于模糊相关处理单元103充当图像处理单元104和显示控制单元105。除以上所述之外的构造与第一实施例中的相似，并且因此描述被略去。
在第十实施例中要被图像处理设备10处理的对象是构成直通图像的帧图像。第十实施例对由成像设备2000捕获的捕获图像应用虚化处理。这使得在捕获时具有较小模糊量的图像能够成为具有大模糊量的图像。
图形处理单元104基于已知的图像虚化算法对捕获图像的非关注区域应用虚化处理。通过对图像的非关注区域应用虚化处理，图像从图36A中所示的状态变成图36B中所示的状态。与图36A相比，在图36B中，除作为关注区域的人之外的背景被模糊。当非关注区域的模糊量是预定的量或更大时，模糊相关处理单元103使图像处理单元104执行背景虚化处理。
显示控制单元105在显示单元1007中显示已经由图像处理单元104应用了虚化处理的图像。
[10-2.图像处理设备和成像设备中的处理]
接下来，将参考图37描述在图像处理设备10和成像设备2000中执行的处理的流程。图37是示出处理的流程的流程图。假设要处理的图像数据已经被提供，并且焦距和F数已经被获取。应当指出，与第一实施例中相似的处理用相同的步骤编号表示并且描述被略去。
在步骤S101至步骤S105中，被摄体检测、关注区域确定、焦点确定和模糊信息获取在AF启动处理之后执行。然后，在步骤S1001中，确定快门的完全按下操作是否已经被用户执行。步骤S105中模糊信息的获取和步骤S1001的确定被重复，直到快门的完全按下操作被执行(步骤S1001中的“否”)。
当快门的完全按下操作已经被用户执行时，处理前进到步骤S1002(步骤S1001中的“是”)。接下来，在步骤S1002中，图像捕获处理在成像设备2000中执行，并且图像被获取。接下来，在步骤S1003中，确定当图像被捕获时的模糊量是否是预定的值或更小。
当模糊量是预定的值或更小时，处理前进到步骤S1004(步骤S1003中的“是”)。然后，在步骤S1004中，虚化处理由图像处理单元104应用到捕获图像的非关注区域。通过在模糊量是预定的值或更小时对图像应用虚化处理，图像处理单元104可以使图像的具有较小模糊程度的非关注区域的模糊程度变大。因此，用户可以容易地获得具有模糊背景的图像。
接下来，在步骤S1005中，执行已经被应用了虚化处理的图像的记录处理。例如，在控制单元1010的控制下，捕获图像基于诸如JPEG的标准以压缩状态存储在存储单元1009中。另外，包括诸如与所存储图像相关的信息以及成像的日期和时间的附加信息的EXIF数据也可以与图像关联地存储。
然后，在步骤S1006中，已经被应用了虚化处理的捕获图像被显示控制单元105在显示单元1007中作为预览图像显示。因此，用户可以立即确认已经被应用了虚化处理的图像。
描述返回到步骤S1003。在步骤S1003中，当确定模糊量是预定的值或更小时，处理前进到步骤S1006(步骤S1003中的“否”)。然后，在步骤S1006中，捕获图像被显示控制单元105在显示单元1007中作为预览图像显示。应当指出，在这种情况下，步骤S1004和S1005还没有执行，并且因此在显示单元1007中显示的图像是还没有被应用虚化处理的图像。
第十实施例如上所述地配置。根据第十实施例，即使不熟悉相机的操作和难以捕获模糊图像的用户也能容易地获取模糊图像。另外，即使在难以通过成像设备的光圈控制获取模糊图像的情况下，也能获取模糊图像。
即使在利用液晶面板难以进行视觉观察等等的环境下，根据本技术的实施例，直观和容易理解的显示也可以被提供。
以上所述的第一至第十实施例，由图像处理设备执行的处理可以由硬件或软件执行。当由软件执行处理时，记录了处理序列的程序被安装到成像设备的控制单元的存储器中并执行。
例如，程序可以预先记录在记录介质当中，诸如硬盘或ROM。作为替代，程序可以记录在记录介质(诸如压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)或半导体存储器)中。这种记录介质可以作为封装软件提供。用户在成像设备中安装封装软件。
应当指出，除了从上述记录介质安装到成像设备，作为应用在互联网中提供的程序也可以被传送并安装到成像设备。
如上所述，已经具体描述了本技术的实施例。但是，本技术不限于这些实施例，并且基于本技术的技术构思的各种修改是可能的。
在上述实施例中，已经以将本技术应用到在成像设备中获取的图像的情况作为例子给出了描述。但是，本技术还适用于运动图像。
另外，以上第一至第十实施例可以组合而实现。例如，第一实施例中模糊信息的图形显示和第二实施例中的放大显示组合，并且在图像的一部分被放大并显示的同时显示图形。
另外，被摄体不限于人或者人的脸，并且上述处理可以利用狗、猫、花、盘子等等作为被摄体利用狗/猫脸检测功能、花检测功能、盘子检测功能等等来执行。
另外，本技术可以采用以下配置。
(1)一种信息处理系统，包括：电路，被配置为基于与图像的第一区域对应的离焦信息执行预定处理，该离焦信息与图像的第一区域和图像的第二区域之间的焦点差对应，其中图像的第二区域与图像的第一区域不同。
(2)如(1)的系统，其中所述电路被配置为：识别图像的第一区域；并且获取与图像的第一区域对应的离焦信息。
(3)如(1)至(2)当中任何一个的系统，其中图像的第二区域是图像的焦点对准区域。
(4)如(1)至(3)当中的系统，其中所述系统包括：第一信息处理装置；以及第二信息处理装置，被配置为连接到第一信息处理装置。
(5)如(1)至(4)当中任何一个的系统，其中所述预定处理包括输出与离焦信息对应的通知。
(6)如(1)至(5)当中任何一个的系统，其中所述预定处理包括基于离焦信息控制显示器显示指示离焦量的通知。
(7)如(6)的系统，其中所述电路被配置为控制显示器同时显示图像和通知。
(8)如(6)至(7)当中任何一个的系统，其中所述电路被配置为控制显示器显示图像，其中通知叠加在所显示的图像上。
(9)如(1)至(8)当中任何一个的系统，其中所述预定处理包括基于离焦信息控制显示器显示指示离焦量的条形图。
(10)如(9)的系统，其中条形图的高度与基于捕获图像的透镜的最大孔径、焦距和第二区域当中至少一个可实现的离焦量的范围对应。
(11)如(1)至(10)当中任何一个的系统，其中所述预定处理包括控制显示器显示包括第一区域和第二区域的图像的放大版本。
(12)如(11)的系统，其中图像的放大版本的放大范围被设置为使得与第一区域对应的显示区域和与第二区域对应的显示区域基本相似。
(13)如(11)至(12)当中任何一个的系统，其中所述电路被配置为控制显示器同时显示图像和图像的放大版本。
(14)如(11)至(13)当中任何一个的系统，其中所述电路被配置为控制显示器显示叠加在图像上的图像的放大版本。
(15)如(1)至(14)当中任何一个的系统，其中所述预定处理包括在对图像的第一区域应用图形效果时控制显示器显示图像。
(16)如(1)至(15)当中任何一个的系统，其中所述预定处理包括基于离焦信息修剪图像。
(17)如(16)的系统，其中所述电路被配置为控制显示器显示修剪图像。
(18)如(1)至(17)当中任何一个的系统，其中所述预定处理包括基于离焦信息生成图像的第一修剪版本和图像的第二修剪版本。
(19)如(1)至(18)当中任何一个的系统，其中所述预定处理包括基于离焦信息生成图像的第一修剪版本和图像的第二修剪版本。
(20)如(19)的系统，其中所述电路被配置为控制显示器显示图像的第一修剪版本和图像的第二修剪版本。
(21)如(4)的系统，其中第一信息处理装置被配置为：识别图像的第二区域；获取离焦信息；并且将离焦信息发送到第二信息处理装置。
(22)如(21)的系统，其中第二信息处理装置被配置为：执行预定处理；并且将预定处理的结果发送到第一信息处理装置。
(23)一种信息处理系统，包括：电路，被配置为识别图像的第一区域；获取与图像的第二区域对应的离焦信息，其中图像的第二区域与图像的第一区域不同；以及基于离焦信息执行预定处理。
(24)一种信息处理方法，包括：基于与图像的第一区域对应的离焦信息执行预定处理，该离焦信息与图像的第一区域和图像的第二区域之间的焦点差对应，其中图像的第二区域与图像的第一区域不同。
(25)一种包括计算机程序指令的非暂态计算机可读介质，所述计算机程序指令在被系统执行时使系统：基于与图像的第一区域对应的离焦信息执行预定处理，该离焦信息与图像的第一区域和图像的第二区域之间的焦点差对应，其中图像的第二区域与图像的第一区域不同。
(26)一种图像处理设备，包括：关注区域确定单元，被配置为确定由成像设备获取的图像中作为所关注被摄体的区域的关注区域；模糊信息获取单元，被配置为获取图像中作为除关注区域之外的区域的非关注区域的模糊信息；及模糊相关处理单元，被配置为基于模糊信息执行预定处理。
(27)根据(26)的图像处理设备，其中模糊相关处理单元放大包括关注区域和非关注区域的区域并且在显示单元中显示图像中的放大区域。
(28)根据(26)或(27)的图像处理设备，其中模糊相关处理单元在显示单元中显示用于调整图像中模糊程度的模糊调整用户界面。
(29)根据(26)至(28)当中任何一项的图像处理设备，其中模糊相关处理单元对图像应用模糊处理，并且在显示单元中显示目前图像和已经被应用了模糊处理的图像。
(30)根据(26)至(29)当中任何一项的图像处理设备，其中模糊相关处理单元确定图像的构图，确定该构图中的推荐模糊量，并且基于该图像的构图中的推荐模糊量和图像的非关注区域的模糊信息强调要在显示单元中显示的图像的非关注区域中的模糊程度，并且显示该图像。
(31)根据(26)至(30)当中任何一项的图像处理设备，其中模糊相关处理单元基于模糊信息确定图像的分割范围并且从图像分割该分割范围。
(32)根据(31)的图像处理设备，其中模糊相关处理单元基于分割范围中关注区域和非关注区域的模糊信息的分离程度确定分割范围。
(33)根据(31)或(32)的图像处理设备，其中，当存在多个分割范围时，模糊相关处理单元关于所述多个分割范围当中每一个分割范围来对图像进行分割，并且生成多个分割图像。
(34)根据(26)至(33)当中任何一项的图像处理设备，其中模糊相关处理单元执行图像捕获操作控制，该图像捕获操作控制操作处于支架图像捕获模式的成像设备基于模糊信息通过单个图像捕获操作获取具有不同光圈孔径的多个图像。
(35)根据(34)的图像处理设备，其中，当模糊量是预定的量或者更小时，模糊相关处理单元操作处于支架图像捕获模式的成像设备，其中光圈孔径沿变大的方向改变。
(36)根据(34)的图像处理设备，其中，当模糊量是预定的量或者更大时，模糊相关处理单元操作处于支架图像捕获模式的成像设备，其中光圈孔径沿变小的方向改变。
(37)根据(26)至(36)当中任何一项的图像处理设备，其中模糊相关处理单元根据由成像设备获取的捕获图像的模糊信息执行强调捕获图像的非关注区域的模糊程度的图像处理。
(38)根据(26)至(37)当中任何一项的图像处理设备，其中模糊相关处理单元在显示单元中显示指示模糊信息的图形。
(39)根据(26)至(38)当中任何一项的图像处理设备，其中模糊相关处理单元在显示单元中显示指示模糊信息的柱状图。
(40)根据(26)至(39)当中任何一项的图像处理设备，其中模糊信息是图像的非关注区域中的实际模糊量。
(41)根据(26)至(39)当中任何一项的图像处理设备，其中模糊信息是在假设成像设备已经对焦于关注区域的情况下非关注区域的模糊预测量。
(42)一种处理图像的方法，包括：确定由成像设备获取的图像中作为所关注被摄体的区域的关注区域；获取图像中作为除关注区域之外的区域的非关注区域的模糊信息；并且基于模糊信息执行预定处理。
(43)一种用于使计算机执行处理图像的方法的图像处理程序，该方法包括：确定由成像设备获取的图像中作为所关注被摄体的区域的关注区域；获取图像中作为除关注区域之外的区域的非关注区域的模糊信息；并且基于模糊信息执行预定处理。
(44)一种成像设备，包括：图像捕获单元，被配置为接收通过光学系统的光，并生成图像；关注区域确定单元，被配置为确定图像中作为所关注被摄体的区域的关注区域；模糊信息获取单元，被配置为获取图像中作为除关注区域之外的区域的非关注区域的模糊信息；及模糊相关处理单元，被配置为基于模糊信息执行预定处理。
本领域技术人员应当理解，根据设计需求和其它因素，各种修改、组合、子组合和备选方案可以发生，只要它们在所附权利要求及其等同物的范围之内。
本领域技术人员应当理解，根据设计需求和其它因素，各种修改、组合、子组合和备选方案可以发生，只要它们在所附权利要求及其等价物的范围之内。
标号列表
1，2，3，4，5，6，7，8，9和10 图像处理设备
11 关注区域确定单元
12 模糊信息获取单元
13，23，33，43，53，63，73，83，93和103 模糊相关处理单元
1007 显示单元
1003 成像元件
1100，1200，1300，1400，1S00，1600，1700，1800，1900和2000 成像设备

Claims (21)

1.一种信息处理系统，包括：
电路，被配置为
识别图像的第一区域；
获取与图像的第一区域对应的离焦信息；以及
基于与图像的第一区域对应的该离焦信息执行预定处理，该离焦信息与图像的第一区域和图像的第二区域之间的焦点差对应，其中图像的第二区域与图像的第一区域不同，
其中，图像的第二区域是图像的焦点对准区域，
所述预定处理包括输出与离焦信息对应的通知，所述通知被用于调整光圈并改变图像的第一区域的离焦量，以及
所述电路还被配置为确定图像的构图，确定该构图中的推荐模糊量，并且基于图像的该构图中的推荐模糊量和离焦信息强调图像的第一区域的离焦量。
2.如权利要求1所述的系统，其中所述系统包括：
第一信息处理装置；及
第二信息处理装置，被配置为连接到第一信息处理装置。
3.如权利要求1所述的系统，其中所述预定处理包括控制显示器基于离焦信息显示指示离焦量的通知。
4.如权利要求3所述的系统，其中所述电路被配置为控制显示器同时显示图像和通知。
5.如权利要求3所述的系统，其中所述电路被配置为控制显示器显示图像，其中通知叠加在所显示的图像上。
6.如权利要求1所述的系统，其中所述预定处理包括控制显示器基于离焦信息显示指示离焦量的条形图。
7.如权利要求6所述的系统，其中条形图的高度与基于捕获图像的透镜的最大孔径、焦距和第二区域当中至少一个能实现的离焦量的范围对应。
8.如权利要求1所述的系统，其中所述预定处理包括控制显示器显示包括第一区域和第二区域的图像的放大版本。
9.如权利要求8所述的系统，其中图像的放大版本的放大范围被设置为使得与第一区域对应的显示区域和与第二区域对应的显示区域基本相似。
10.如权利要求8所述的系统，其中所述电路被配置为控制显示器同时显示图像和图像的放大版本。
11.如权利要求8所述的系统，其中所述电路被配置为控制显示器显示叠加在图像上的图像的放大版本。
12.如权利要求1所述的系统，其中所述预定处理包括控制显示器在对图像的第一区域应用图形效果时显示图像。
13.如权利要求1所述的系统，其中所述预定处理包括基于离焦信息修剪图像。
14.如权利要求13所述的系统，其中所述电路被配置为控制显示器显示修剪图像。
15.如权利要求1所述的系统，其中所述预定处理包括基于离焦信息生成图像的第一修剪版本和图像的第二修剪版本。
16.如权利要求15所述的系统，其中所述电路被配置为控制显示器显示图像的第一修剪版本和图像的第二修剪版本。
17.如权利要求2所述的系统，其中第一信息处理装置被配置为：
识别图像的第二区域；
获取离焦信息；及
将离焦信息发送到第二信息处理装置。
18.如权利要求17所述的系统，其中第二信息处理装置被配置为：
执行所述预定处理；及
将所述预定处理的结果发送到第一信息处理装置。
19.一种信息处理装置，包括：
电路，被配置为
识别图像的第一区域；
获取与图像的第二区域对应的离焦信息，其中图像的第二区域与图像的第一区域不同；及
基于离焦信息执行预定处理，
其中，图像的第二区域是图像的焦点对准区域，
所述预定处理包括输出与离焦信息对应的通知，所述通知被用于调整光圈并改变图像的第一区域的离焦量，以及
所述电路还被配置为确定图像的构图，确定该构图中的推荐模糊量，并且基于图像的该构图中的推荐模糊量和离焦信息强调图像的第一区域的离焦量。
20.一种信息处理方法，包括：
识别图像的第一区域；
获取与图像的第一区域对应的离焦信息；以及
基于与图像的第一区域对应的该离焦信息执行预定处理，该离焦信息与图像的第一区域和图像的第二区域之间的焦点差对应，其中图像的第二区域与图像的第一区域不同，
其中，图像的第二区域是图像的焦点对准区域，
所述预定处理包括输出与离焦信息对应的通知，所述通知被用于调整光圈并改变图像的第一区域的离焦量，以及
所述信息处理方法还包括确定图像的构图，确定该构图中的推荐模糊量，并且基于图像的该构图中的推荐模糊量和离焦信息强调图像的第一区域的离焦量。
21.一种包括计算机程序指令的非暂态计算机可读介质，所述计算机程序指令在被系统执行时使系统：
识别图像的第一区域；
获取与图像的第一区域对应的离焦信息；
基于与图像的第一区域对应的该离焦信息执行预定处理，该离焦信息与图像的第一区域和图像的第二区域之间的焦点差对应，其中图像的第二区域与图像的第一区域不同，以及
确定图像的构图，确定该构图中的推荐模糊量，并且基于图像的该构图中的推荐模糊量和离焦信息强调图像的第一区域的离焦量，
其中，图像的第二区域是图像的焦点对准区域，以及
所述预定处理包括输出与离焦信息对应的通知，所述通知被用于调整光圈并改变图像的第一区域的离焦量。
CN201480029165.XA 2013-07-23 2014-07-22 图像处理设备、处理图像的方法、图像处理程序，以及成像设备 Expired - Fee Related CN105230001B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013152937A JP6102602B2 (ja) 2013-07-23 2013-07-23 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
JP2013-152937 2013-07-23
PCT/JP2014/070143 WO2015012411A1 (en) 2013-07-23 2014-07-22 Image processing device, method of processing image, image processing program, and imaging device

Publications (2)

Publication Number Publication Date
CN105230001A CN105230001A (zh) 2016-01-06
CN105230001B true CN105230001B (zh) 2019-08-20

Family

ID=51392312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480029165.XA Expired - Fee Related CN105230001B (zh) 2013-07-23 2014-07-22 图像处理设备、处理图像的方法、图像处理程序，以及成像设备

Country Status (5)

Country Link
US (5) US10440251B2 (zh)
EP (2) EP3025492A1 (zh)
JP (1) JP6102602B2 (zh)
CN (1) CN105230001B (zh)
WO (1) WO2015012411A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6102602B2 (ja) * 2013-07-23 2017-03-29 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
JP6299227B2 (ja) * 2014-01-16 2018-03-28 ソニー株式会社 カメラ装置
JP2016111652A (ja) * 2014-12-10 2016-06-20 オリンパス株式会社 撮像装置、撮像方法およびプログラム
JP6526449B2 (ja) * 2015-03-05 2019-06-05 株式会社東芝 道路附属物検出装置および道路附属物検出方法
EP3286915B1 (en) 2015-04-23 2021-12-08 Apple Inc. Digital viewfinder user interface for multiple cameras
WO2017122396A1 (ja) * 2016-01-15 2017-07-20 ソニー株式会社 制御装置、制御方法及びプログラム
US10009536B2 (en) 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
JP6684168B2 (ja) * 2016-06-28 2020-04-22 キヤノン株式会社 画像処理装置および画像処理方法
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
CN107578393B (zh) * 2017-09-26 2021-12-10 成都国翼电子技术有限公司 一种基于人工交互的航拍图像亮度调节方法
US11222606B2 (en) * 2017-12-19 2022-01-11 Sony Group Corporation Signal processing apparatus, signal processing method, and display apparatus
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
JP7327917B2 (ja) 2018-09-14 2023-08-16 キヤノン株式会社 画像処理装置及び画像処理方法
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
EP3669748A1 (en) * 2018-12-19 2020-06-24 Koninklijke Philips N.V. A mirror assembly
JP7352891B2 (ja) * 2019-03-05 2023-09-29 パナソニックＩｐマネジメント株式会社 撮像装置
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
WO2020235724A1 (ko) * 2019-05-23 2020-11-26 엘지전자 주식회사 디스플레이 장치
JP7362312B2 (ja) 2019-06-25 2023-10-17 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム
CN111061531B (zh) * 2019-12-10 2022-07-15 维沃移动通信有限公司 一种图片显示方法及电子设备
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
CN114071028B (zh) * 2020-07-30 2023-06-06 抖音视界有限公司 视频生成及播放方法、装置、电子设备及存储介质
JP2022026849A (ja) * 2020-07-31 2022-02-10 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
WO2023157695A1 (ja) * 2022-02-17 2023-08-24 ソニーグループ株式会社 画像処理装置、画像処理方法、プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102472622A (zh) * 2010-06-17 2012-05-23 松下电器产业株式会社 距离推定装置、距离推定方法、集成电路、计算机程序
CN103155537A (zh) * 2010-09-28 2013-06-12 数字光学欧洲有限公司 基于脸部检测和追踪的连续自动聚焦

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4794459A (en) * 1987-12-28 1988-12-27 Eastman Kodak Company Columnar focusing indicator for a manually focused video camera
JP3697745B2 (ja) * 1995-06-30 2005-09-21 ソニー株式会社 オートフォーカス制御装置及び方法
US5818975A (en) * 1996-10-28 1998-10-06 Eastman Kodak Company Method and apparatus for area selective exposure adjustment
US6473126B1 (en) * 1996-12-09 2002-10-29 Canon Kabushiki Kaisha Focusing information detecting device, focus detecting device and camera utilizing the same
US6670991B1 (en) * 1997-09-26 2003-12-30 Canon Kabushiki Kaisha Image sensing system, control method, and recording medium for controlling a camera apparatus utilizing a client device connected thereto
JP4487330B2 (ja) * 1999-04-16 2010-06-23 フジノン株式会社 レンズ制御装置
JP2000354257A (ja) * 1999-06-10 2000-12-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム提供媒体
US6538249B1 (en) * 1999-07-09 2003-03-25 Hitachi, Ltd. Image-formation apparatus using charged particle beams under various focus conditions
US7034883B1 (en) * 1999-08-10 2006-04-25 Cellavision Ab Automatic focusing
US6298002B1 (en) 1999-12-14 2001-10-02 Intel Corporation Memory structures having selectively disabled portions for power conservation
US6208748B1 (en) * 2000-01-05 2001-03-27 Intel Corporation Monitoring focus of a lens imaging system based on astigmatism
JP2002112008A (ja) * 2000-09-29 2002-04-12 Minolta Co Ltd 画像処理システム及び画像処理プログラムが記録された記録媒体
US6937284B1 (en) * 2001-03-20 2005-08-30 Microsoft Corporation Focusing aid for camera
US6956612B2 (en) * 2001-07-31 2005-10-18 Hewlett-Packard Development Company, L.P. User selectable focus regions in an image capturing device
US7053953B2 (en) * 2001-12-21 2006-05-30 Eastman Kodak Company Method and camera system for blurring portions of a verification image to show out of focus areas in a captured archival image
US7171054B2 (en) * 2003-05-01 2007-01-30 Eastman Kodak Company Scene-based method for determining focus
WO2005021129A1 (en) 2003-08-29 2005-03-10 The University Of Newcastle Research Associates Limited Stimulant sensitive flocculation and consolidation
US7030351B2 (en) * 2003-11-24 2006-04-18 Mitutoyo Corporation Systems and methods for rapidly automatically focusing a machine vision inspection system
JP4352916B2 (ja) * 2004-02-04 2009-10-28 ソニー株式会社 撮像装置及び撮像方法
US8659619B2 (en) * 2004-03-26 2014-02-25 Intellectual Ventures Fund 83 Llc Display device and method for determining an area of importance in an original image
KR101058009B1 (ko) * 2004-08-06 2011-08-19 삼성전자주식회사 디지털 촬영 장치에서의 자동 포커싱 방법, 및 이 방법을채용한 디지털 촬영 장치
JP2006166226A (ja) 2004-12-09 2006-06-22 Seiko Epson Corp ディジタルカメラ、画像処理方法及びプログラム、並びに画像処理システム
JP2006166212A (ja) 2004-12-09 2006-06-22 Seiko Epson Corp 画像処理方法、システム、装置及びプログラム並びにディジタルカメラ
JP4764090B2 (ja) * 2005-08-01 2011-08-31 キヤノン株式会社 焦点検出装置および撮影装置
JP2007089086A (ja) * 2005-09-26 2007-04-05 Sony Ericsson Mobilecommunications Japan Inc 携帯情報端末及び画像管理プログラム
JP2007116437A (ja) * 2005-10-20 2007-05-10 Nikon Corp 撮像素子および撮像システム
US7821570B2 (en) * 2005-11-30 2010-10-26 Eastman Kodak Company Adjusting digital image exposure and tone scale
US8701028B2 (en) * 2006-06-14 2014-04-15 Google Inc. Graphical user interface and related method
US20070297641A1 (en) * 2006-06-27 2007-12-27 Microsoft Corporation Controlling content suitability by selectively obscuring
JP4872862B2 (ja) * 2006-09-28 2012-02-08 ソニー株式会社 画像データ演算装置および方法、プログラム、並びに記録媒体
US7544919B2 (en) * 2006-11-20 2009-06-09 Red.Com, Inc. Focus assist system and method
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
US7634187B2 (en) * 2007-01-04 2009-12-15 Qualcomm Incorporated Dynamic auto-focus window selection that compensates for hand jitter
JP4916355B2 (ja) 2007-03-20 2012-04-11 三洋電機株式会社 絞り制御装置及び画像処理装置
WO2009019848A1 (ja) 2007-08-03 2009-02-12 Panasonic Corporation 撮影装置、撮影方法、およびプログラム
WO2009050841A1 (ja) * 2007-10-17 2009-04-23 Nikon Corporation 合焦測定装置、合焦測定方法およびプログラム
KR20090067913A (ko) * 2007-12-21 2009-06-25 삼성디지털이미징 주식회사 영상 트리밍 장치 및 방법
JP2009188697A (ja) * 2008-02-06 2009-08-20 Fujifilm Corp 多焦点カメラ装置、それに用いられる画像処理方法およびプログラム
US9619917B2 (en) * 2008-10-03 2017-04-11 Apple Inc. Depth of field for a camera in a media-editing application
EP2356489A1 (en) 2008-11-10 2011-08-17 Conocophillps Company Practical autonomous seismic recorder implementation and use
WO2010070732A1 (ja) 2008-12-16 2010-06-24 パイオニア株式会社 画像処理装置、表示装置、画像処理方法、そのプログラム、および、そのプログラムを記録した記録媒体
JP5487610B2 (ja) * 2008-12-18 2014-05-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
US7972018B2 (en) * 2009-02-25 2011-07-05 Canon Kabushiki Kaisha Image projection system with auto-focus
US9497468B2 (en) * 2009-03-13 2016-11-15 Thomson Licensing Blur measurement in a block-based compressed image
WO2010140933A1 (en) 2009-06-02 2010-12-09 Saab Ab Rotor damper and tail rotor with such a rotor damper
KR20110006243A (ko) * 2009-07-14 2011-01-20 삼성전자주식회사 휴대용 단말기에서 매뉴얼 포커싱 방법 및 장치
JP5454158B2 (ja) * 2010-01-15 2014-03-26 カシオ計算機株式会社 撮像装置、その制御方法およびプログラム
JP5621265B2 (ja) * 2010-01-27 2014-11-12 カシオ計算機株式会社 手ぶれ補正装置、撮像処理方法及びプログラム
JP5448900B2 (ja) * 2010-02-15 2014-03-19 キヤノン株式会社 撮像装置
JP5182312B2 (ja) * 2010-03-23 2013-04-17 株式会社ニコン 画像処理装置、および画像処理プログラム
EP2383600B1 (en) * 2010-04-30 2013-02-20 CellaVision AB Method, apparatus, and computer program product for focus prediction
TWI438715B (zh) * 2010-09-02 2014-05-21 Htc Corp 手持式裝置之影像處理方法及系統，及其電腦程式產品
JP5664270B2 (ja) * 2011-01-21 2015-02-04 ソニー株式会社 撮像素子および撮像装置
JP2012160863A (ja) 2011-01-31 2012-08-23 Sanyo Electric Co Ltd 撮像装置、画像再生装置及び画像処理装置
US9086651B2 (en) * 2011-04-06 2015-07-21 Canon Kabushiki Kaisha Image forming apparatus
EP2563007A1 (en) * 2011-08-26 2013-02-27 Sony Ericsson Mobile Communications AB Image focusing
JP2013090010A (ja) * 2011-10-13 2013-05-13 Olympus Imaging Corp 撮影装置
WO2013080552A1 (ja) * 2011-11-30 2013-06-06 パナソニック株式会社 撮像装置及び撮像システム
US9019310B2 (en) * 2012-03-02 2015-04-28 Adobe Systems Incorporated Methods and apparatus for applying complex continuous gradients to images
US9659237B2 (en) * 2012-10-05 2017-05-23 Micro Usa, Inc. Imaging through aerosol obscurants
US20140111534A1 (en) * 2012-10-22 2014-04-24 Apple Inc. Media-Editing Application for Generating and Editing Shadows
US9025874B2 (en) * 2013-02-19 2015-05-05 Blackberry Limited Method and system for generating shallow depth of field effect
US9305374B2 (en) * 2013-03-15 2016-04-05 Apple Inc. Device, method, and graphical user interface for adjusting the appearance of a control
US10334151B2 (en) * 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
JP6102602B2 (ja) * 2013-07-23 2017-03-29 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
KR102224851B1 (ko) * 2014-12-11 2021-03-08 삼성전자주식회사 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템
NZ742518A (en) * 2015-11-04 2019-08-30 Magic Leap Inc Dynamic display calibration based on eye-tracking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102472622A (zh) * 2010-06-17 2012-05-23 松下电器产业株式会社 距离推定装置、距离推定方法、集成电路、计算机程序
CN103155537A (zh) * 2010-09-28 2013-06-12 数字光学欧洲有限公司 基于脸部检测和追踪的连续自动聚焦

Also Published As

Publication number Publication date
US20220337759A1 (en) 2022-10-20
WO2015012411A1 (en) 2015-01-29
US20230353873A1 (en) 2023-11-02
EP3025492A1 (en) 2016-06-01
JP2015022716A (ja) 2015-02-02
EP4040775A1 (en) 2022-08-10
US20160112627A1 (en) 2016-04-21
US10771674B2 (en) 2020-09-08
JP6102602B2 (ja) 2017-03-29
US10440251B2 (en) 2019-10-08
US20200344407A1 (en) 2020-10-29
US20190387158A1 (en) 2019-12-19
CN105230001A (zh) 2016-01-06
US11722770B2 (en) 2023-08-08
US11418714B2 (en) 2022-08-16

Similar Documents

Publication Publication Date Title
CN105230001B (zh) 图像处理设备、处理图像的方法、图像处理程序，以及成像设备
JP5744437B2 (ja) 追尾装置、追尾方法及びプログラム
CN102843510A (zh) 成像装置和距离信息检测方法
CN104604215A (zh) 摄像装置、摄像方法和程序
US20100214445A1 (en) Image capturing method, image capturing apparatus, and computer program
JP2011054071A (ja) 画像処理装置、画像処理方法及びプログラム
GB2494249A (en) System for providing a refocused image using distance maps
KR20100102385A (ko) 디지털 촬영 장치, 디지털 촬영 장치 제어 방법, 및 컴퓨터판독가능 저장매체
JP2009053448A (ja) 電子カメラ
CN104243804B (zh) 摄像设备、图像处理设备及其控制方法
JP2008109551A (ja) 撮像装置及び画像再生装置
US20120229678A1 (en) Image reproducing control apparatus
US8208042B2 (en) Method of controlling digital photographing apparatus, digital photographing apparatus, and medium having recorded thereon a program for executing the method
DE102011123067B3 (de) Bildaufnahmevorrichtung, die zum löschen eines auf einem bewegtbild überlagerten videoeffekts in der lage ist, verfahren zum steuern der vorrichtung, und bewegtbild-aufzeichungsvorrichtung, sowie ein speichermedium
JP5957948B2 (ja) 表示制御装置、表示制御方法および記録媒体
JP2006039254A (ja) カメラ
US11627245B2 (en) Focus adjustment device and focus adjustment method
JP5287965B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20120011114A1 (en) Image management apparatus
JP6303395B2 (ja) 画像処理装置、撮像装置、および画像処理プログラム
JP2015082801A (ja) 画像処理装置、撮像装置、および画像処理プログラム
JP2018121346A (ja) 画像処理装置、撮像装置、および画像処理プログラム
JP2012150236A (ja) 電子カメラ
JP2012244278A (ja) 電子カメラ
JP2009145622A (ja) 電子カメラ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190820

CF01 Termination of patent right due to non-payment of annual fee