CN103905725B - 图像处理设备和图像处理方法 - Google Patents
图像处理设备和图像处理方法 Download PDFInfo
- Publication number
- CN103905725B CN103905725B CN201310740535.8A CN201310740535A CN103905725B CN 103905725 B CN103905725 B CN 103905725B CN 201310740535 A CN201310740535 A CN 201310740535A CN 103905725 B CN103905725 B CN 103905725B
- Authority
- CN
- China
- Prior art keywords
- background area
- region
- image data
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 130
- 238000003672 processing method Methods 0.000 title abstract description 3
- 210000000746 body region Anatomy 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 34
- 238000011156 evaluation Methods 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 8
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000000903 blocking effect Effects 0.000 description 5
- 230000006837 decompression Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011045 prefiltration Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 101150064138 MAP1 gene Proteins 0.000 description 1
- 101150009249 MAP2 gene Proteins 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 241000907661 Pieris rapae Species 0.000 description 1
- 241000396922 Pontia daplidice Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Exposure Control For Cameras (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
本发明涉及图像处理设备和图像处理方法。一种图像处理设备，其包括：检测单元，用于从图像数据检测被摄体；模糊处理单元，用于基于所述检测单元的检测结果，对所述图像数据执行模糊处理；以及控制单元，用于根据所述图像数据中的、与通过所述检测单元所检测到的被摄体相对应的被摄体区域和除所述被摄体区域以外的背景区域之间的被摄体距离的距离差、以及所述背景区域的大小，控制是否执行所述模糊处理。
Description
技术领域
本发明的方面大体涉及一种用于通过在拍摄的图像数据的背景区域上施加模糊效果来生成图像数据的图像处理设备。
背景技术
众所周知，通过图像处理来执行模糊处理，从而使得可以利用具有相对小的图像传感器的数字照相机获得与具有大的传感器的单镜头反光照相机相同水平的模糊量。日本特开2012-129627号公开了这样一种方法，在该方法中，基于主被摄体和背景之间的深度差，判断是否需要执行模糊处理。在该方法中，当由于在主被摄体和背景之间不存在距离差，因而判断为不需要执行模糊处理时，不执行模糊处理。
然而，如果没有根据拍摄场景有效执行模糊处理，则图像可能看起来不自然。
发明内容
根据本发明的一个方面，一种图像处理设备包括：检测单元，用于从图像数据检测被摄体；模糊处理单元，用于对所述图像数据中的背景区域执行模糊处理，其中，所述背景区域不同于与通过所述检测单元所检测到的被摄体相对应的被摄体区域；以及控制单元，用于在所述背景区域具有第一大小的情况下，控制所述模糊处理单元以执行所述模糊处理，并且在所述背景区域具有小于所述第一大小的第二大小的情况下，控制所述模糊处理单元以不执行所述模糊处理。
根据本发明的其它方面，一种图像处理的方法包括以下步骤：从图像数据检测被摄体；以及在所述图像数据中的背景区域具有第一大小的情况下，对所述背景区域执行模糊处理，并且在所述背景区域具有小于所述第一大小的第二大小的情况下，不执行所述模糊处理，其中，所述背景区域不同于与所检测到的被摄体相对应的被摄体区域。
根据本发明的其它方面，还提供一种图像处理的方法，其包括以下步骤：从图像数据检测被摄体；基于所述检测的结果，对所述图像数据执行模糊处理；以及根据所述图像数据中的与所检测到的被摄体相对应的被摄体区域和除所述被摄体区域以外的背景区域之间的被摄体距离的距离差、以及所述背景区域的大小，控制是否执行所述模糊处理。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出根据典型实施例的数字照相机的结构的图。
图2示出根据本典型实施例用于获取最佳焦点的方法。
图3A、3B、3C、3D、3E和3F示出根据本典型实施例用于获得距离图的方法。
图4A、4B和4C示出根据本典型实施例的模糊处理和组合处理的方法。
图5是示出根据本典型实施例的操作流程的图。
具体实施方式
图1示出图像处理设备100。本典型实施例说明作为图像处理设备100的例子的数字照相机的结构。
拍摄镜头10包括调焦透镜。机械快门12具有光圈功能。图像传感器14将从诸如拍摄镜头10和机械快门12等的光学系统入射的光学图像转换成电信号。模拟/数字(A/D)转换器16将图像传感器14的模拟信号输出转换成数字信号。
时序生成电路18向图像传感器14和A/D转换器16供给时钟信号和控制信号。通过存储器控制电路22和系统控制电路50控制时序生成电路18。除机械快门12以外，还发挥电子快门功能的时序生成电路18可以通过控制图像传感器14的复位定时来控制累积时间。在运动图像拍摄等时可以使用这样的电子快门。
图像处理电路20对来自A/D转换器16的数据或来自存储器控制电路22的数据执行预定像素插值处理和预定颜色转换处理。此外，图像处理电路20执行图像分割和变倍处理以实现电子变焦功能。此外，图像处理电路20使用拍摄的图像数据执行预定算术处理。基于所获得的算术处理的结果，系统控制电路50对曝光控制单元40和调焦控制单元42执行自动调焦(AF)处理、自动曝光(AE)处理和电子闪光灯(EF)控制处理。此外，图像处理电路20执行自动白平衡(AWB)处理。此外，图像处理电路20包括被摄体检测电路。用于检测被摄体的方法没有特别限制，并且可以使用诸如图案匹配和特征点提取等的任何众所周知的方法。尽管本典型实施例说明面部作为要检测的被摄体的例子，但是要检测的被摄体没有特别限制，并且可以利用众所周知的被摄体检测方法来检测任何其它被摄体(被摄体区域)。在本典型实施例中，被摄体检测电路是被配置成输出面部区域的坐标(区域信息)、眼的坐标等作为检测结果的输出的面部检测电路。
存储器控制电路22控制A/D转换器16、时序生成电路18、图像处理电路20、存储器30和压缩/解压缩电路32。经由图像处理电路20和存储器控制电路22、或者经由存储器控制电路22，将来自A/D转换器16的数据写入存储器30。
图像显示单元28包括薄膜晶体管(TFT)和液晶显示器(LCD)。经由存储器控制电路22，将被写入存储器30的显示图像数据显示在图像显示单元28上。利用图像显示单元28顺次显示拍摄的图像数据，可以实现电子取景器功能。此外，图像显示单元28能够根据来自系统控制电路50的指示，任意打开/关闭该显示。当关闭该显示时，可以显著降低图像处理设备100的电力消耗。
存储器30被配置成存储所拍摄的静止图像和运动图像。存储器30具有足以存储预定数量的静止图像和预定期间的运动图像的存储容量。这样使得即使在连续拍摄多个静止图像的连拍和全景拍摄的情况下，也可以将大量图像高速写入存储器30。
还可以使用存储器30作为系统控制电路50的工作区。
压缩/解压缩电路32通过自适应离散余弦变换(ADCT)等对图像数据进行压缩或解压缩。压缩/解压缩电路32读取存储在存储器30中的图像，对所读取的图像执行压缩或解压缩处理，并且将处理后的图像写入存储器30。
曝光控制单元40控制具有光圈功能的机械快门12。曝光控制单元40与闪光灯单元48联动以具有闪光灯控制功能。
调焦控制单元42被配置成控制拍摄镜头10的调焦。变焦控制单元44被配置成控制拍摄镜头10的变焦。
闪光灯单元48具有AF辅助光投射功能和闪光灯控制功能。使用直通镜头(TTL)方法来控制曝光控制单元40和调焦控制单元42。基于通过图像处理电路20对拍摄的图像数据所执行的算术处理的结果，系统控制电路50控制曝光控制单元40和调焦控制单元42。
系统控制电路50控制整个图像处理设备100。
操作单元60、62、64、66、70和72使得能够向系统控制电路50输入各种类型的操作指示。操作单元60、62、64、66、70和72包括开关、拨盘、触摸面板、使用眼跟踪的指示装置、语音识别装置等中的单个或两个以上的组合。
下面详细说明操作单元。
利用模式拨盘切换器60，用户可以切换和设置诸如电源关闭模式、自动拍摄模式、拍摄模式、高动态范围(HDR)拍摄模式、全景拍摄模式、运动图像拍摄模式、再现模式和个人计算机(PC)连接模式等的功能模式。
在正在操作快门按钮时接通快门开关SW162，并且快门开关SW162给出用于开始诸如AF处理、AE处理和AWB处理等的操作的指示。
当完成快门按钮的操作时，接通快门开关SW264。在闪光灯拍摄的情况下，在执行EF预发光处理之后，以在AE处理中所确定的曝光时间对图像传感器14曝光。在闪光灯拍摄的情况下，在曝光期间使得闪光灯发光，然后在与曝光期间结束的同时通过曝光控制单元40进行遮光，以结束图像传感器14的曝光。同时，指示直到将从图像传感器14所读取的信号写入记录介质200的记录处理为止的一系列处理的操作开始。该处理的细节包括经由A/D转换器16和存储器控制电路22将图像数据写入存储器30的读取处理、使用在图像处理电路20和存储器控制电路22中所执行的算术处理的显像处理、以及从存储器30读取图像数据、并且在压缩/解压缩电路32中对其进行压缩的处理。
利用显示切换开关66，用户可以改变图像显示单元28上所示出的显示。该功能使得能够通过阻断向包括TFT和LCD的图像显示单元28的电流供给，降低利用光学取景器104进行拍摄时的电力消耗。
操作单元70包括各种类型的按钮、触摸面板和转动拨盘。例子包括菜单按钮、设置按钮、宏按钮、多画面再现翻页按钮、闪光灯设置按钮和单拍/连拍/自拍切换按钮。例子还包括菜单移动＋(加号)按钮、菜单移动－(减号)按钮、再现图像移动＋(加号)按钮、再现图像移动－(减号)按钮、拍摄图像质量选择按钮、曝光校正按钮和日期/时间设置按钮。
变焦开关单元72发挥变焦操作单元的功能，其中通过变焦开关单元72，用户输入指示以改变拍摄图像的倍率。下面有时将变焦开关单元72称为变焦开关72。变焦开关72包括用于将拍摄视角改变至远摄侧的远摄开关和用于将拍摄视角改变至广角侧的广角开关。用户可以使用变焦开关72来指示变焦控制单元44改变拍摄镜头10的拍摄视角，以触发光学变焦操作的执行。使用变焦开关72还触发利用由图像处理电路20所执行的图像分割和像素插值处理进行的拍摄视角的电子变焦改变。
电源单元86包括诸如碱性电池等的一次电池，诸如镍镉(NiCd)电池、镍氢(NiMH)电池和锂(Li)离子电池等的二次电池，以及交流电(AC)适配器。
接口90是与诸如存储卡和硬盘等的存储介质的接口。连接器92将图像处理设备100连接至诸如存储卡和硬盘等的存储介质。
光学取景器104使得用户能够在不使用图像显示单元28的电子取景器功能的情况下拍摄图像。
通信单元110具有诸如通用串行总线(USB)通信、国际电气电子工程师学会(IEEE)1394通信、局域网(LAN)通信和无线通信等的各种类型的通信功能。
连接器112或者无线通信情况下的天线112经由通信单元110将图像处理设备100连接至其它设备。
记录介质200是诸如存储卡和硬盘等的记录介质。
记录介质200包括记录单元202、与图像处理设备100的接口204和用于与图像处理设备100连接的连接器206。记录单元202包括半导体存储器和磁盘。
上述图像处理设备100的各组件可以是硬件，或者可以部分或整体是软件模块。
下面说明系统控制单元50如何获取距离图。距离图示出要拍摄的视角内的各区域上的距离信息的分布。尽管本典型实施例中的距离图是表示视角内的各块上的距离信息的矩阵数据表，但是距离图不局限于矩阵数据表。下面说明使用对比度评价值的测量方法，作为根据本典型实施例的用于测量被摄体距离的方法的例子。首先，相对于视角设置M×N调焦区域(将图像数据分割成块)。在调焦控制单元42移动调焦透镜时，调焦控制单元42对于各调焦区域计算表示从图像传感器14输出的图像数据的对比度的AF评价值。从图像处理电路20输出AF评价值，或者通过在系统控制单元50中基于图像数据或图像处理电路20的输出进行算术处理获得AF评价值。根据所获得的相对于调焦透镜的位置的各调焦区域的AF评价值，对于各调焦区域，获得该评价值变成最高处的调焦透镜的位置(最佳聚焦位置)。这对应于与各区域的被摄体距离有关的距离信息(焦点信息)。换句话说，这里的距离图是M×N峰值位置信息。在本典型实施例中，M×N为6×6。图2是示出最佳聚焦位置的图，其中，沿水平轴测量调焦透镜的位置，并且沿垂直轴测量AF评价值。在本典型实施例中，AF评价值是通过对从图像传感器14以预定频率顺次输出的实时图像进行带通滤波所获得的信号的数值化的对比度。当将调焦透镜从无限远距离侧向最近距离侧移动时，处于近距离处的被摄体的AF评价值如曲线S201所示，并且其最佳聚焦位置(最大值)是位置S202。另一方面，处于远距离处的背景的AF评价值如曲线S203所示，并且其最佳聚焦位置是位置S204，其中，与被摄体的最佳聚焦位置相比，背景的最佳聚焦位置更靠近无限远距离侧。
用于获取与各区域的被摄体距离有关的距离信息的方法不局限于上述方法。用于通过比较同一视角内不同聚焦位置处的两个以上的图像来测量被摄体距离的方法的例子，包括用于基于边缘差估计距离的方法和使用离焦深度(Depth-From-Defocus,DFD)法的方法。除图像传感器14以外，可以设置用于基于相位差来测量距离的调焦传感器。可以将可使用相位差来检测其焦点的光瞳分割像素包括在图像传感器14的像素阵列中，以基于来自焦点检测用像素的输出来测量距离。距离信息获取方法可以是上述任一方法。
除通过被摄体距离测量单元所获取的距离图以外，在本典型实施例中，从视角内的图像数据获取与图像的构图有关的构图信息，以生成更适当的距离信息。图3A是要拍摄的构图，包括人S301、存在于背景中的树S302、山和地面S303以及天空S304。
在图3B中，对于通过将构图分割成块所形成的各区域，计算色差信号(颜色信号)的平均值和亮度信号的平均值，从而获得与构图有关的信息。作为例子，以将构图在垂直方向和水平方向上六等分的方式将构图分割成块。从左上块开始，将各块的色差平均值和亮度平均值顺次与相邻块的进行比较，以确定与相邻块的色差平均值和亮度平均值的差。如果该块和相邻块之间的差小，那么将这些块判断为高度相似，并且将其组合在一起作为同一组。结果，获得蓝色区域S311、棕色区域S312、黑色区域S313、棕色区域S314、绿色区域S315、肤色区域S316、白色区域S317和棕色区域S318。
在图3C中，使用从图像处理电路20所包括的面部检测电路所获取的面部信息，校正图3B中的构图信息。当区域S321被判断为面部区域时，将与头发相对应的黑色区域S313、与面部相对应的肤色区域S316和与身体相对应的区域S317组合在一起作为人区域S322。用于基于面部区域S321设置人区域S322的方法不局限于上述方法。例如，可以通过使用不基于颜色的组合方法组合区域，来设置人区域S322。例如，可以在面部区域S321周围考虑面部的方向来设置具有与身体区域相对应的预定大小的区域，并且可以将部分或整个包括在所设置的该区域中的分组区域与面部区域S321组合，以获得人区域S322。此外，获得蓝色区域S323、棕色区域S324、棕色区域S325、绿色区域S326和棕色区域S327。
图3D示出通过自动调焦操作所获取的焦点信息。为了简化，以与图3B的构图信息相同的方式将焦点信息分割成块，从而使得在垂直方向和水平方向上将焦点信息六等分。图3D示出基准聚焦位置和各块的最佳聚焦位置之间的差的绝对值。将被摄体区域的聚焦位置称为基准聚焦位置。区域S331表示差的绝对值为0的块。区域S332表示差的绝对值为1的块，其中，这些块的最佳聚焦位置与基准聚焦位置稍有不同。区域S333表示差的绝对值为2的块，其中，这些块的聚焦位置远离基准聚焦位置。注意，区域S334中的“x”表示由于低对比度因而未能测量到AF评价值、或者仅获得了可靠性差的评价值；换句话说，“x”表示没有获得适当的最佳聚焦位置的区域。
图3E示出将图3C中校正后的构图信息和图3D中的焦点信息合并在一起的图。对于合并的方法，去除构图信息中的孤立块和焦点信息中的孤立块，然后将同一聚焦位置的块组合在一起。区域S341是人区域，即，主被摄体区域，在该区域上将不执行模糊处理。在与图3E中的区域S341相对应的区域中，例如，将从左起第三行并且从上起第四行的、差的绝对值为2的块判断为孤立点，并且利用周围区域的绝对值、即差的绝对值0来替换其绝对值，以将其与周围区域(将不执行模糊处理的区域)分组在一起。还将从左起第四行并且从上起第六行的、差的绝对值为1的块判断为孤立点，并且将其与差的绝对值为0的区域(将不执行模糊处理的区域)分组在一起。类似地，绿色区域S326和棕色区域S327被判断为具有相同聚焦位置，并且形成要执行弱模糊处理的区域S342。棕色区域S343、棕色区域S344和蓝色区域S345是要执行强模糊处理的区域。
作为以上的结果，获得图3F所示的模糊处理图，其中，将图像数据分割成被摄体区域和除被摄体区域以外的背景区域(多级)。主被摄体区域S351是将不执行模糊处理的区域。区域S352是要执行弱模糊处理的区域。区域S353、S354和S355是要执行强模糊处理的区域。各模糊强度的区域形成单个连续区域。
在本典型实施例中，使用所获得的模糊处理图，判断是否要执行模糊处理。例如，当将用于执行模糊处理的基准阈值设置成：将与基准聚焦位置的差的绝对值设置成1并且将背景区域中块的数量的阈值设置成10，图3E中超过差的阈值的块的数量为15，并且因此要执行模糊处理。另一方面，当将与基准聚焦位置的差的阈值设置成2时，超过差的阈值的块的数量为7，没有超过阈值10。因此，判断为不执行模糊处理。代替模糊处理图，可以仅基于焦点信息(被摄体距离信息)来执行该判断。或者，可以仅基于背景区域的大小来执行该判断。
尽管在本典型实施例中，模糊强度具有强模糊和弱模糊的多层，可以利用两层即是否执行模糊处理来执行该处理。可选地，可以利用具有四个以上水平的多层的模糊强度来执行该处理。
下面参考图4A、4B和4C说明模糊处理和组合处理。图4A、4B和4C是示出用于生成具有模糊后的背景的最终图像的数据的流程。通过图像处理电路20执行该处理。
作为输入，输入YUV(亮度、色差信号)图像，并且在S401使其经过第一缩小以获得弱模糊图像。此时，使用预滤波器以防止高频信号混叠。在S402，使图像经过第二缩小以获得强模糊图像。然后在S403将所获得的图像放大成S401的输出图像的大小，然后在S405进行组合。此时，使用组合图(Map1)404组合图像。在组合图3F中的距离图的图像的情况下，Map1S404如图4B所示。白色区域S411对应于在S401所输出的弱模糊图像。黑色区域S412对应于在S402所输出的强模糊图像。图4B中的白色区域S411对应于图3E的焦点信息中绝对值为0和1的区域，并且对应于区域S341和S342。其余区域对应于黑色区域S412。然后在S406将图像放大成原始YUV图像的大小，然后在S408进行组合。此时，使用组合图(Map2)S407组合图像。在组合图3F中的距离图的图像的情况下，Map2S407如图4C所示。白色区域S421是不执行模糊处理的主被摄体区域，并且对应于原始YUV图像。黑色区域S422对应于通过在S408组合弱模糊图像和强模糊图像所形成的图像。图4C中的白色区域S421对应于图3E中的焦点信息中绝对值为0的区域，并且对应于区域S341。其余区域对应于黑色区域S422。
因此，图3F中的距离图中的区域S351是不执行模糊处理的区域。区域S352是弱模糊区域，并且其余区域S353～S355是强模糊区域。
下面参考图5说明根据本典型实施例的操作流程。
在步骤S501中的构图信息的获取是在如上所述显示实时图像时要执行的操作。以恒定频率重复执行该操作。使用色差信号、亮度信号和面部检测信息对实时图像的分割块进行分组。这对应于图3B和3C所示的信息获取和生成处理。
在步骤S502中的焦点信息的获取是用于获取分割块的区域各自的最佳焦点信息的操作。当按下快门开关SW1时，执行该操作。尽管可以在显示实时图像时执行该操作，但是由于可能显示离焦图像，因而在本典型实施例中，在按下快门开关SW1时执行该操作。该操作对应于图3D所示的信息获取和生成处理。
在步骤S503中的拍摄条件的获取是用于获取在设置实际拍摄的拍摄条件时的诸如焦距和光圈值等的模糊相关条件的操作。
当按下快门开关SW2时，执行下面的操作。
在步骤S504的阈值设置操作中，确定在步骤S507的距离差判断中要使用的阈值。该阈值可以是依赖于拍摄条件和主被摄体的聚焦位置的变量。此外，还确定在步骤S508的区域大小判断中要使用的阈值。该阈值可以是依赖于模糊处理的强度的变量。
在步骤S505，将在步骤S501所获取的构图信息和在步骤S502所获取的焦点信息合并在一起，以生成模糊处理图。还通过去除孤立块和使用面部信息，执行模糊处理图的校正。该操作对应于图3E和3F所示的信息获取和生成处理。
在步骤S506，基于在步骤S505所获取的模糊处理图，判断是否存在主被摄体。如果判断为存在主被摄体(步骤S506为“是”)，那么处理进入步骤S507。如果判断为没有主被摄体(步骤S506为“否”)，那么在不执行模糊处理的情况下结束该处理。
在步骤S507的距离差判断中，判断主被摄体和背景之间的距离差是否等于或大于预定阈值。如果判断为距离差等于或大于预定阈值(步骤S507为“是”)，那么处理进入步骤S508。另一方面，如果判断为距离差小于预定阈值(步骤S507为“否”)，那么在不执行模糊处理的情况下结束该处理。距离差的阈值可以是依赖于焦距和主被摄体的距离的变量。
在步骤S508的区域大小判断中，判断背景区域中的块的数量是否等于或大于预定阈值。如果判断为背景区域中的块的数量等于或大于预定阈值(步骤S508为“是”)，那么处理进入步骤S509。另一方面，如果判断为背景区域中的块的数量小于预定阈值(步骤S508为“否”)，则在不执行模糊处理的情况下结束该处理。通过执行如以上参考图4A、4B和4C所述的缩小/放大处理并然后进行组合，执行步骤S509的模糊处理和步骤S510的组合处理。对于模糊处理，尽管在本典型实施例中混合执行缩小/放大处理和组合处理，但是可以分开执行缩小/放大处理和组合处理。此外，尽管在本典型实施例中，使用缩小/放大和预滤波器执行模糊处理，但是可以使用多抽头二次滤波器或初级滤波器实现模糊处理。
对于构图信息的获取，尽管在本典型实施例中，在步骤S501从实时图像获取构图信息，但是可以对使用快门开关SW2所获得的实际拍摄图像再次执行该获取。对于各判断，尽管在本典型实施例中，在按下快门开关SW2之后执行步骤S506的是否存在主被摄体的判断、步骤S507的主被摄体和背景之间的距离差的判断、以及步骤S508的背景区域中的块的数量的判断，但是可以在按下快门开关SW2之前执行上述判断。
如以上所述，在本典型实施例中，基于对通过分析拍摄场景所获得的、视角内的各区域的被摄体距离信息和构图信息，对于各区域生成模糊处理信息(模糊处理图)，以执行模糊处理。这样使得能够根据拍摄场景有效执行模糊处理。
本典型实施例不仅可应用于诸如数字照相机等的旨在进行摄像的设备，而且还可应用于诸如移动电话、个人计算机(笔记本电脑、台式电脑、平板电脑等)和游戏设备等的包括摄像设备或要从外部连接至摄像设备的任何设备。因此，这里所使用的术语“摄像设备”旨在包含具有拍摄功能的任何电子设备。
根据本典型实施例，分析拍摄场景以根据拍摄场景执行有效的模糊处理。
还可以利用读出并执行记录在存储介质(例如，计算机可读存储介质)上计算机可执行指示以进行上述实施例的一个以上的功能的系统或设备的计算机和通过下面的方法来实现本发明的其它实施例，其中，利用系统或设备的计算机通过例如从存储介质读出并执行计算机可执行指示以进行上述实施例的一个以上的功能来进行上述方法。计算机可以包括一个以上的中央处理单元(CPU)、微处理单元(MPU)或者其它电路，并且可以包括分开计算机或者分开计算机处理器的网络。例如，可以通过网络或者存储介质将计算机可执行指示提供给计算机。存储介质可以包括例如一个或多个硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如紧凑型光盘(CD)、数字多功能光盘(DVD)、或者蓝光光盘(BD)TM)、闪存存储装置和存储卡等。
尽管参考典型实施例说明了本公开，但是应该理解，这些实施例不局限于此。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
Claims (11)
1.一种图像处理设备，其包括：
检测单元，用于从图像数据检测被摄体，
其特征在于，还包括：
模糊处理单元，用于对所述图像数据中的背景区域执行模糊处理，其中，所述背景区域不同于与通过所述检测单元所检测到的被摄体相对应的被摄体区域；以及
控制单元，用于在所述背景区域具有第一大小的情况下，控制所述模糊处理单元以对所述图像数据中的背景区域执行所述模糊处理，并且在所述背景区域具有小于所述第一大小的第二大小的情况下，控制所述模糊处理单元以不对所述图像数据中的背景区域执行所述模糊处理。
2.根据权利要求1所述的图像处理设备，其中，所述控制单元计算所述背景区域的大小，并且根据所述背景区域的大小，控制是否对所述图像数据中的背景区域执行所述模糊处理。
3.根据权利要求1所述的图像处理设备，其中，所述控制单元还根据所述被摄体区域和所述背景区域之间的被摄体距离的距离差，控制是否对所述图像数据中的背景区域执行所述模糊处理。
4.根据权利要求1所述的图像处理设备，其中，在所述被摄体区域和所述背景区域之间的被摄体距离的距离差大于阈值的情况下，并且在所述背景区域具有大于预定大小的所述第一大小的情况下，所述控制单元使得对于所述图像数据中的背景区域执行所述模糊处理。
5.根据权利要求3所述的图像处理设备，其中，还包括距离信息获取单元，所述距离信息获取单元用于获取与被分割成多个区域的所述图像数据的各区域的被摄体距离有关的距离信息，
其中，所述距离差是基于所述距离信息而获得的。
6.根据权利要求5所述的图像处理设备，其中，还包括摄像单元，所述摄像单元用于转换从包括调焦透镜的光学系统入射的光学图像以输出图像数据，
其中，所述距离信息获取单元在移动所述调焦透镜的同时获取从所述摄像单元所输出的图像数据的各区域的对比度评价值，并且基于所述对比度评价值获取所述距离信息。
7.根据权利要求5所述的图像处理设备，其中，在所述图像数据的区域的被摄体距离不能测量或者可靠性低的情况下，在所述距离信息中，将该区域表示为既不对应于所述被摄体区域、也不对应于所述背景区域的区域。
8.根据权利要求5所述的图像处理设备，其中，还包括构图信息获取单元，所述构图信息获取单元用于基于所述图像数据的亮度信号和颜色信号的类似性，获取将所述图像数据分割成多个区域的构图信息，
其中，所述距离差是基于所述距离信息和所述构图信息而获得的。
9.根据权利要求8所述的图像处理设备，其中，所述控制单元将所述距离信息与所述构图信息进行比较，以基于与周围区域有关的信息生成与作为孤立点的区域有关的信息，并且获得所述距离差。
10.根据权利要求5所述的图像处理设备，其中，还包括：
摄像单元，用于拍摄被摄体以输出图像数据，以及
指示单元，用于根据用户操作给出指示以控制调焦、曝光和白平衡中的至少一个，
其中，所述距离信息是根据来自所述指示单元的指示而获得的。
11.一种图像处理的方法，其包括以下步骤：
从图像数据检测被摄体，
其特征在于，还包括：
在所述图像数据中的背景区域具有第一大小的情况下，对所述图像数据中的背景区域执行模糊处理，并且在所述背景区域具有小于所述第一大小的第二大小的情况下，不对所述图像数据中的背景区域执行所述模糊处理，其中，所述背景区域不同于与所检测到的被摄体相对应的被摄体区域。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012-285263 | 2012-12-27 | ||
| JP2012285263A JP6218378B2 (ja) | 2012-12-27 | 2012-12-27 | 画像処理装置及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103905725A CN103905725A (zh) | 2014-07-02 |
| CN103905725B true CN103905725B (zh) | 2018-04-03 |
Family
ID=50996856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310740535.8A Expired - Fee Related CN103905725B (zh) | 2012-12-27 | 2013-12-27 | 图像处理设备和图像处理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9485436B2 (zh) |
| JP (1) | JP6218378B2 (zh) |
| CN (1) | CN103905725B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105303514B (zh) * | 2014-06-17 | 2019-11-05 | 腾讯科技（深圳）有限公司 | 图像处理方法和装置 |
| JP6486051B2 (ja) * | 2014-09-29 | 2019-03-20 | キヤノン株式会社 | 発光制御装置、その制御方法、および制御プログラム、並びに撮像装置 |
| JP5927265B2 (ja) * | 2014-10-28 | 2016-06-01 | シャープ株式会社 | 画像処理装置及びプログラム |
| US9547907B2 (en) * | 2014-12-15 | 2017-01-17 | Intel Corporation | Image segmentation using color and depth information |
| CN105227838B (zh) * | 2015-09-28 | 2018-07-06 | 广东欧珀移动通信有限公司 | 一种图像处理方法及移动终端 |
| JP6491581B2 (ja) * | 2015-10-06 | 2019-03-27 | キヤノン株式会社 | 画像処理装置およびその制御方法ならびにプログラム |
| JP6744237B2 (ja) * | 2017-02-21 | 2020-08-19 | 株式会社東芝 | 画像処理装置、画像処理システムおよびプログラム |
| CN107038681B (zh) * | 2017-05-31 | 2020-01-10 | Oppo广东移动通信有限公司 | 图像虚化方法、装置、计算机可读存储介质和计算机设备 |
| CN112532882B (zh) * | 2020-11-26 | 2022-09-16 | 维沃移动通信有限公司 | 图像显示方法和装置 |
| JP2022161095A (ja) * | 2021-04-08 | 2022-10-21 | キヤノン株式会社 | 撮像制御装置、撮像制御方法およびプログラム |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008294785A (ja) * | 2007-05-25 | 2008-12-04 | Sanyo Electric Co Ltd | 画像処理装置、撮像装置、画像ファイル及び画像処理方法 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002300373A (ja) * | 2001-03-30 | 2002-10-11 | Minolta Co Ltd | 画像処理方法、画像処理装置、記録媒体及びプログラム |
| JP2003087545A (ja) * | 2001-09-07 | 2003-03-20 | Canon Inc | 撮像装置、画像処理装置及び方法 |
| JP4321287B2 (ja) * | 2004-02-10 | 2009-08-26 | ソニー株式会社 | 撮影装置および撮影方法、並びに、プログラム |
| JP2006140594A (ja) * | 2004-11-10 | 2006-06-01 | Pentax Corp | デジタルカメラ |
| JP4329694B2 (ja) * | 2005-01-07 | 2009-09-09 | 株式会社ニコン | 撮像装置 |
| CN101297545B (zh) | 2005-10-28 | 2012-05-02 | 株式会社尼康 | 摄影装置、图像处理装置 |
| KR100657522B1 (ko) * | 2006-03-31 | 2006-12-15 | 삼성전자주식회사 | 휴대용 단말기를 이용한 아웃 포커싱 촬영 장치 및 방법 |
| US7783075B2 (en) * | 2006-06-07 | 2010-08-24 | Microsoft Corp. | Background blurring for video conferencing |
| JP5066851B2 (ja) * | 2006-07-05 | 2012-11-07 | 株式会社ニコン | 撮像装置 |
| JP4889538B2 (ja) | 2007-03-27 | 2012-03-07 | 三洋電機株式会社 | 画像処理装置 |
| JP2009054130A (ja) | 2007-07-27 | 2009-03-12 | Ricoh Co Ltd | 画像処理装置、画像処理方法およびデジタルスチルカメラ |
| JP5028574B2 (ja) * | 2007-08-10 | 2012-09-19 | 株式会社メガチップス | デジタルカメラシステム |
| JP2009110137A (ja) * | 2007-10-29 | 2009-05-21 | Ricoh Co Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
| US8325268B2 (en) * | 2007-12-28 | 2012-12-04 | Sanyo Electric Co., Ltd. | Image processing apparatus and photographing apparatus |
| US8687918B2 (en) | 2008-03-05 | 2014-04-01 | Semiconductor Energy Laboratory Co., Ltd. | Image processing method, image processing system, and computer program |
| JP5124372B2 (ja) * | 2008-07-10 | 2013-01-23 | 株式会社リコー | 画像処理装置、画像処理方法およびデジタルスチルカメラ |
| JP2012003233A (ja) * | 2010-05-17 | 2012-01-05 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
| JP5777309B2 (ja) * | 2010-09-06 | 2015-09-09 | キヤノン株式会社 | 撮像装置及びその制御方法、並びに画像処理装置及びその制御方法 |
| JP5625856B2 (ja) | 2010-12-13 | 2014-11-19 | ソニー株式会社 | 撮像装置および撮像装置の制御方法 |
| TWI479453B (zh) * | 2011-05-31 | 2015-04-01 | Altek Corp | 產生淺景深影像的方法及裝置 |
| JP5760727B2 (ja) * | 2011-06-14 | 2015-08-12 | リコーイメージング株式会社 | 画像処理装置および画像処理方法 |
| US9036936B2 (en) * | 2011-06-20 | 2015-05-19 | Fujifilm Corporation | Image processing device, image processing method, and image processing program |
| JP6069984B2 (ja) * | 2012-09-11 | 2017-02-01 | カシオ計算機株式会社 | 撮像装置、及び、プログラム |
-
2012
- 2012-12-27 JP JP2012285263A patent/JP6218378B2/ja not_active Expired - Fee Related
-
2013
- 2013-12-23 US US14/139,355 patent/US9485436B2/en active Active
- 2013-12-27 CN CN201310740535.8A patent/CN103905725B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008294785A (ja) * | 2007-05-25 | 2008-12-04 | Sanyo Electric Co Ltd | 画像処理装置、撮像装置、画像ファイル及び画像処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20140184792A1 (en) | 2014-07-03 |
| CN103905725A (zh) | 2014-07-02 |
| JP6218378B2 (ja) | 2017-10-25 |
| JP2014127965A (ja) | 2014-07-07 |
| US9485436B2 (en) | 2016-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103905725B (zh) | 图像处理设备和图像处理方法 | |
| CN103971090B (zh) | 图像处理装置、图像捕获装置及图像处理方法 | |
| CN101118366B (zh) | 摄像设备及其控制方法 | |
| US8310586B2 (en) | Photographing apparatus and in-focus position searching method | |
| CN104735317B (zh) | 摄像装置及其控制方法 | |
| CN104702826B (zh) | 摄像设备及其控制方法 | |
| CN101631195B (zh) | 摄像装置及其控制方法 | |
| CN103988490B (zh) | 图像处理装置、图像处理方法和记录介质 | |
| CN103261939B (zh) | 成像装置以及主要摄影对象识别方法 | |
| US8760551B2 (en) | Systems and methods for image capturing based on user interest | |
| CN103945131A (zh) | 电子设备及电子设备的图像取得方法 | |
| KR20120022512A (ko) | 전자 카메라, 화상 처리 장치 및 화상 처리 방법 | |
| CN105409198B (zh) | 摄像装置及图像处理方法 | |
| US9674496B2 (en) | Method for selecting metering mode and image capturing device thereof | |
| JP2014017665A (ja) | 表示制御装置、表示制御装置の制御方法、プログラムおよび記録媒体 | |
| CN101841654B (zh) | 图像处理装置以及图像处理方法 | |
| CN102215403B (zh) | 图像处理设备及其控制方法和摄像设备 | |
| KR20150104012A (ko) | 지능형 동적 이미지 캡쳐 시스템 | |
| JP2014225763A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
| JP2015041865A (ja) | 画像処理装置及び画像処理方法 | |
| CN107800956A (zh) | 摄像设备、控制方法和存储介质 | |
| JP5111023B2 (ja) | 撮像装置及びその制御方法 | |
| JP2024031627A (ja) | 画像処理装置、撮像装置及びその制御方法 | |
| JP2018107553A (ja) | 撮像装置 | |
| JP2018201101A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180403 |