CN101443791A - 在数字图像中实现改进的前景/背景分离 - Google Patents

在数字图像中实现改进的前景/背景分离 Download PDF

Info

Publication number
CN101443791A
CN101443791A CNA2007800159143A CN200780015914A CN101443791A CN 101443791 A CN101443791 A CN 101443791A CN A2007800159143 A CNA2007800159143 A CN A2007800159143A CN 200780015914 A CN200780015914 A CN 200780015914A CN 101443791 A CN101443791 A CN 101443791A
Authority
CN
China
Prior art keywords
map
area
image
digital picture
prospect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800159143A
Other languages
English (en)
Other versions
CN101443791B (zh
Inventor
埃兰·斯坦伯格
彼得·科科伦
尤里·普里卢茨基
彼得罗内尔·比焦伊
阿列克谢·波索赛因
米哈伊·丘克
阿德里安·扎姆菲尔
阿德里安·卡帕塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fotonation Ltd
Original Assignee
Fotonation Vision Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fotonation Vision Ltd filed Critical Fotonation Vision Ltd
Publication of CN101443791A publication Critical patent/CN101443791A/zh
Application granted granted Critical
Publication of CN101443791B publication Critical patent/CN101443791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

披露了一种用于在景物的数字图像中实现改进型前景/背景分离的方法。该方法包括：提供包括一个或者多个被暂时地限定为该数字图像中的前景/背景的图区的第一图；提供对应于该数字图像的感兴趣图区的主体轮廓。将该暂时地限定图区与该主体轮廓进行比较，以确定该图区之任一是否与该轮廓图区相交。根据该比较，改变在该图像中限定一个或者多个图区。

Description

在数字图像中实现改进的前景/背景分离
优先权
本专利申请根据35US C§119要求2006年5月3日提交的第60/746,363号美国临时专利申请以及2007年5月3日提交的第11/744,020号美国专利申请的优先权。
技术领域
本发明提供了一种用于在数字图像中实现改进的前景/背景分离的方法和设备。
背景技术
利用离焦深度((depth from defocus)DFD)算法，可以建立聚焦图(focus map)，例如，Masahiro Watanabe和Shree K.Nayar(1995)在“Rational Filters for Passive Depth fromDefocus”中所披露的，在此引用它供参考。其基本想法是，根据同一个景物的两幅图像，可以理论上计算给定景物的深度图(depth map)。在理想情况下，为了计算DFD图，使用远心镜头，而且在两次图像采集之间，只有聚焦发生变化。现有数字照相机通常不是这样。
第2006/0285754号美国专利申请公开披露了另一种用于分离前景和背景的技术，该美国专利申请公开与本专利申请指定同一个受让人，并且在此引用该专利申请供参考。在此，利用景物的闪光图像和非闪光图像的曝光量级之差，提供前景/背景图。与基于闪光/非闪光的技术相比，采用离焦深度的主要优点是，离焦深度与景物照度无关，因此，对于室外景物或者良好照明的景物，可能是有利的。
第60/773,714号和第11/573,713号美国专利申请披露了又一种用于分离前景和背景的技术，在此引用该专利申请供参考。在此，利用以不同焦距拍摄的景物图像相应图区之间的高频系数差，提供前景/背景图。此外，在这种情况下，该前景/背景图与景物照度无关，因此，该技术可以用于室外景物或者良好照明景物。
总之，利用上述各种技术，其实或者说是利用任意其他技术，产生的前景/背景图也许不能正常工作。因此，希望提供一种在数字图像中进行前景/背景分离的改进型方法。
发明内容
提供了一种用于在景物的数字图像中实现前景/背景分离的方法。提供包括主数字图像中的一个或者多个图区的第一图。每个图区分别具有一个或者多个具有共同特性的像素。提供对应于该主数字图像的受关注的图区的主体轮廓。将一个或者多个该图区与该主体轮廓进行比较，以确定它们之中的任一个是否与该轮廓图区相交。根据该比较，指定该图区中的一个或者多个作为前景图区。
提供该第一图可以包括暂时地将该图像的每个图区限定为前景或者背景。该一个或者多个图区至少包括一个暂时被限定为前景的图区。
该指定可以包括将前景图区与该主体轮廓进行比较。响应该前景图区基本上不与该主体轮廓相交，将指定所述前景图区变更为背景图区。
提供该第一图可以基于将表面上(nominally)为同一景物的两个或者两个以上的图像进行比较。被比较的一个或者多个的图像可以包括该主图像的低分辨率图像。被比较的一个或者多个图像可以包括该主数字图像。可以调准被比较的两个或者两个以上图像和/或者可以使它们的分辨率匹配。刚好在捕获该主数字图像之前或者之后，可以捕获被比较的一个或者多个图像。
提供所述第一图可以包括提供两个或以上图像，每个图像的聚焦不同且表面上为该景物。该方法可以包括由该图像计算聚焦深度图，以将该主数字图像的像素表示为前景或者背景。可以使该聚焦图模糊。该方法可以包括将该模糊图限定为将图区表示为前景或者背景的中间聚焦图。可以填充所述中间聚焦图中的图区，以提供该第一图。
提供该第一图可以包括提供两个或者两个以上图像，每个图像的聚焦不同且表面上为该景物。将该图像中的相应图区的高频系数进行比较，以确定该图区是前景还是背景，从而提供该第一图。
提供该第一图可以包括提供两个或者两个以上图像，每个图像的曝光量不同且表面上为该景物的。将该图像中的相应图区的亮度级进行比较，以确定该图区是前景还是背景，从而提供该第一图。
在此描述的方法之任一均可以运行于数字图像采集装置中，该数字图像采集装置被布置以根据该主数字图像的内容选择该主体轮廓，以及/或者布置该装置，以肖像模式工作，其中该主体轮廓包括人的轮廓线。该轮廓线可以包括许多用户可选轮廓线中的一个，并且/或者根据该主数字图像的内容，从多个轮廓线中自动选择该轮廓线。
任一个在此描述的方法可以在通用计算机中运行，该通用计算机被布置以接收与该主数字图像相关的第一图，并且/或者可以布置该通用计算机，以接收一个或者多个表面上为该景物的与该主数字图像相关的附加图像，并且/或者可以布置该通用计算机，以根据该一个或者多个附加图像与该主数字图像的任意组合，计算该第一图。
提供主体轮廓可以包括确定包括人脸的图像的至少一个图区。可以确定该人脸的定向。根据该定向，可以将该主体轮廓限定为包括该主图像中的人脸以及该人脸下面的相应图区。
提供该第一图还可以包括至少对彩色空间内的主数字图像的一个图区进行分析，以确定该图区中的颜色分布。该颜色分布可以具有多个不同色峰(color peak)。可以根据像素颜色与该色峰的接近度，分割该图区。
该比较可以包括，对与所述主体轮廓相交的每个图区，计算基准反射特性；并且对不与该主体轮廓相交的每个图区，计算反射特性。可以将非相交图区反射特性与颜色对应于该非相交图区的图区的基准反射特性进行比较。当确定该非相交图区反射特性在该基准反射特性的阈值范围内时，可以将非相交图区指定为前景。
提供表面上为该景物的第二图像。作为该主图像和该第二图像的相应图区之间的亮度级差的函数，可以计算反射特性。
该主图像可以是图像流中的一个图像。确定包括人脸的该主图像的至少一个图区可以包括，检测在该主图像之前采集的流的至少一个图像中的人脸。通过该图像流可以跟踪该人脸，以确定该主图像中的人脸图区。
又提供了一种在景物的数字图像中实现前景/背景分离的方法。提供包括主数字图像中被暂时地限定为前景或背景的一个或者多个图区的第一图。可以分析该图区中的一个或者多个，以确定该图区的像素中的亮度分布。响应具有一个以上不同亮度峰的图区的该亮度分布，根据像素亮度与该亮度峰的接近度，将该图区划分为一个以上的子图区。该方法进一步包括根据该划分，改变在该图中对一个或者多个子图区的指定。
该方法可以包括提供对应于该主数字图像的受关注的图区的主体轮廓。至少可以将一个暂时限定图区与该主体轮廓进行比较，以确定该图区是否与该轮廓图区相交。该方法可以进一步包括，根据该比较，改变在该图中对一个或者多个图区或者子图区的指定。
提供该第一图包括至少对彩色空间中的数字图像的一个或者多个图区进行分析，以确定该图区中的颜色分布。该颜色分布具有多个不同色峰。可以根据像素颜色与该色峰的接近度，分割该图区。可以将该分析图区暂时地限定为该第一图中的前景。可以LAB空间中提供该数字图像，并且该彩色空间可以包括像素的[a，b]值，而且该亮度可以包括像素的L值。
又提供了一种用于在景物的数字图像中实现改进型前景/背景分离的方法。可以采集主数字图像。确定包括人脸的所述主图像的至少一个图区，以及确定该人脸的定向。在包括该人脸的图像中限定前景图区，并且还根据该定向，限定该人脸下面的相应图区。
提供了一种用于在景物的数字图像中实现改进型前景/背景分离的设备。该设备包括处理器和一个或者多个用于对该处理器编程以控制该设备执行包括上面或者下面描述的方法的处理器可读介质。
附图说明
现在，将参考附图描述本发明实施例，附图中：
图1(a)示出主体的聚焦影像(in-focus image)；
图1(b)示出该图像的DFD图；以及
图1(c)示出根据本发明优选实施例部分处理的图1(b)所示DFD图；
图2示出根据本发明优选实施例改进前景/背景分离的方法的流程图；
图3(a)示出图1(c)所示图像的第一色分割前景图区；
图3(b)示出主体的轮廓；
图3(c)示出根据本发明实施例将图3(b)所示轮廓与图3(a)所示图区组合在一起的结果；以及
图3(d)示出图3(c)所示图像的已识别前景图区的图像信息；
图4(a)示出主体的另一个聚焦影像(in-focus image)；
图4(b)示出该图像的DFD图；
图4(c)示出该图像的的第一色分割前景图区；以及
图4(d)示出根据本发明实施例将轮廓与图4(c)所示图区组合在一起的结果；以及
图5(a)示出主体的另一个聚焦影像；
图5(b)示出该图像的第一色分割前景图区；以及
图5(c)示出当根据本发明实施例处理时该图像的进一步改进的色分割前景图区；
图6(a)至(c)示出图5(a)中识别的各图区的亮度直方图；
图7是示出在数字图像中进行前景—背景分离的变换分割方法的流程图；
图8示出根据图7所示方法处理的图像所识别的图区；以及
图9是示出在数字图像中进行前景—背景分离的又一种变换分割方法的流程图。
具体实施方式
在需要对数字图像进行前景/背景分割的情况下，采用本发明。需要这样做的理由有许多，特别是，在图像的前景或者背景中的一个需要与该前景或者背景之另一分别进行后处理的情况下，这是有用的。例如，对于红眼检测和校正，仅搜索和/或者校正前景图区中的而不是通过整个图像中的红眼缺陷，计算上可以更有效。作为一种选择，希望仅使图像的背景图区模糊。因此，越有效地使前景与背景分离，图像的后处理效果越好。
在优选实施例中，利用数字照相机图像处理软件、硬件或者固件，实现改进的前景/背景分割。可以在进行图像采集时的照相机空闲期间运行的背景处理过程中、或者响应用户与图像后处理软件的交互中，执行该分割。然而，可以看出，利用在通用计算机上运行的图像处理软件，脱机同样可以实现本发明。
总之，在该优选实施例中，操作照相机的用户选择例如肖像模式以及任选特定类型的肖像模式，例如，近景、中景、全身或者全景(group)。于是，在肖像模式中，照相机采集主图像，或者说，其实照相机通常采集该主图像景物的一系列预览图像或者后览图像中的一个。一般地说，这些预览图像和后览图像的分辨率比该主图像低。如上所述，在图像采集之后的某个时间，图像处理软件对该主图像或者该预览图像/后览图像中的一个计算初始前景/背景图。
将根据作为DFD图的初始图描述该优选实施例，但是应该明白，本发明可以应用于如上所述的任意形式的初始前景/背景图。在该实施例中，根据在理想情况下，其(各)前景图区含有该图主体并且按需要可利用其进行进一步图像处理的初始图，即，最终前景/背景图，进行该分割过程。
图1(a)示出包括主体(人)10的景物的聚焦影像，而图1(b)示出获得的DFD图。该DFD图通常存在许多问题，即：
—位于该主体附近的诸如卷帘式铁门12的对象尽管处于不同深度但是也呈现聚焦(in-focus)(这是一般情况，但这不是希望的)，因此，可能将它错误地划分为前景对象；以及
—该DFD图的杂讯非常高(noisy)，即，它非常不平滑。现在，参看图2，它示出了用于提供最终前景/背景图的该DFD图的前景/背景分割处理：
在步骤22，首先，利用高斯核，使例如图1(b)所示的初始DFD图20平滑或者模糊。图1(b)所示的DFD图是其白色图区被划分为前景、而其黑色图区被划分为背景的二值格式的。使该图平滑/模糊往往将前景图区表示为总体较亮，而将背景图区表示为总体较暗。
然后，在步骤24，对在步骤22产生的平滑连续值图像应用阈值。与初始DFD图20相比，这样可以提供通常具有较大并且较平滑邻接图区的二值图。
然后，在步骤26，填充在步骤24获得的二值图的图区，以去除较大图区中的小图区。对于图1(a)所示的初始图像，产生如图1(c)所示的初始前景/背景图。在此，以白色示出前景，而以黑色示出背景。可以看出，在该图中，在前景主体图区14和应该处于背景中的图区16之间没有区别。
拒绝对图1(c)所示图像中被划分为背景的像素进行进一步处理，而将该图像的剩余图区看作暂时地前景图区。
在步骤30，采用适当技术，利用颜色分割该图像的剩余部分。在该优选实施例中，采用基于D.Comaniciu和P.Meer的“Mean Shift：A Robust Approach toward Feature SpaceAnalysis”IEEE Trans.Pattern Analysis Machine Intell.，Vol.24，No.5,603-619，2002的“mean shift”算法。通常，该技术包括：识别彩色空间内的离散峰；以及将该图像分割为根据它们与这些峰的接近度标记的图区。
虽然可以在RGB空间内执行该技术，因为计算复杂关系，所以该优选实施例对LAB空间的前景图区14、16的像素的[a，b]参数进行运算。这意味着，对于在RGB空间内捕获的图像，仅需要将候选前景图区的像素变换为LAB空间。总之，应该注意，这种基于[a，b]的分割是亮度(LAB空间中的L)无关的。该分割产生如图3(a)所示的图，在该图中，不同阴影图区30(a)、…30(f)等表示通常为给定[a，b]彩色组合(color combination)的图区。
在根据本发明的第一改进型前景/背景分割中，提供了对应于该采集图像的肖像式模板，图3(b)。该模板包括主体的轮廓32。基于期望的主体尺寸，可以根据该采集图像的焦距，改变特定轮廓的精确尺寸。可以看出，在图3(b)所示的轮廓32是主体的中景时，可以根据主体的期望姿态，改变轮廓线。这可以通过用户选择适当肖像模式手动键入，或者可以利用图像处理软件预测。因此，该轮廓可能是以多种姿态中的一个的头景(head shot)轮廓线或者全身轮廓线，或者说，其实在全景肖像式情况下，该轮廓是全景轮廓线。
总之，在步骤30提供的色块(color segment)与轮廓32组合，以仅保留与轮廓32显著重叠的彩色图区。因此，参看图3(a)，可以看出，尤其从前景图中去除图区30(b)、(c)和(e)，而尤其保留图区30(a)、(d)和(f)。图3(c)利用阴影示出一组最终前景图区，并利用黑色表示最终背景图区。然而，从图3(d)可以看出，诸如图区30(a)的子图区30(g)的某些图区仍没有被原样精确分割。
可以看出，子图区30(g)(1)和30(g)(2)因为具有类似的[a，b]特性，所以包括在图区30(a)中，相应地，图区30(a)被划分为前景图区，而子图区30(g)(2)更适合被划分为背景。
还要承认，可能因为各种理由而(错误地)从该前景图上删除了该前景的一些部分。例如，在图3(d)中，可以看出，该主体的右侧被从该前景图上删除，因为它不与肖像轮廓32重叠。
参考图4描述步骤22至34的分割的另一个例子。图4(a)示出聚焦像，而图4(b)示出该图像的DFD图。图4(c)示出色分割(color segmentation)步骤30之后的分割图(segmentedmap)。图4(d)示出消除与对该图像选择的肖像式模板32不显著重叠的诸如40(a)、(b)的图区后的最终前景/背景图。
在这种情况下，因为色分割没有使主体的头发与阳台边缘图区40(c)分离，所以阳台边缘被错误地包括在该最终图中，作为前景图区。
在又一个例子中，图5(a)示出主体的聚焦影像，而图5(b)示出在色分割步骤30之后，但在使该前景图区与轮廓32组合之前获得的前景/背景图。在该步骤，可以看到两次分割的赝象：主体的T恤衫50和后面的电视机52被分割在一个图区中；同样地，主体人脸和头发54的一半被合并为一个图区。后者的缺陷(偶然)不影响最终结果，因为头发和人脸都理想地包括在最终前景图中。相反，不使T恤衫50与电视机52分离将导致后者(错误地)保留在该前景图中。
在根据本发明的前景/背景分割的第二改进中，在步骤36，根据亮度，分析前景图区。可以与步骤34一起、独立于步骤34、或者在步骤34之前或者在步骤34之后，执行该步骤。在该优选实施例中，再一次对LAB空间的前景图区14、16像素进行这种分析，因此，有利于仅对像素应用L值，正如下面所详细描述的。
在步骤36，分析该图像中受关注的图区中各像素的光强，以确定图区的亮度分布是单峰的还是双峰的。相应地，通过对该图像的各图区中的不同亮度子图区应用单峰或者双峰阈值，这样可以使困难图区具有其被良好分离的前景/背景图区。
在图5所示的情况下，T恤衫/电视机50/52以及头发/人脸对54的显著不同之处在于亮度。在步骤36，分别计算每个已分割前景图区的亮度直方图。图6示出包括T恤衫/电视机50/52的图区#1的、包括头发/人脸54的图区#2的、以及图区#3的亮度直方图，图区#3显示典型的单峰分布。从图6可以看出，应该被进一步分割的各图区(即，图区#1和2)的亮度直方图是双峰的，而其他图区(图区#3)的亮度直方图不是双峰的。
还应该注意，某个图区还可能存在多峰直方图，这表示应该将该图区分解为两个以上的图区。然而，这种分布的例子可能非常少。
假定在理想情况下应该进一步分割其亮度表现为双峰分布的图区，则方便地将给定直方图划分为单峰的或者双峰的是有用的。参考图6，在该优选实施例中，这种划分包括：
(i)使该直方图模糊/平滑，以减小赝象；
(ii)在该直方图中找到最高亮度60；
(iii)废弃图6(a)所示的包围最大坐标的给定宽度间
隔62(以避免检测到伪最大值(false maximum))；
(iv)找到下一个最大值64；
(v)分别从这两个最大值开始，执行模式检测过程，以找到相应模式，即，图6(b)所示的包围各个最大值的钟形分布66；
(vi-a)如果所找到的这两种模式都包括该直方图的显著部分(即，如果分别跨越包括受关注的图区中的20％以上像素的亮度级间隔)，则该直方图呈现双峰，而这两个最大值之间的间隔中的最小值68被用作为将该图区分解为两个子图区的阈值；否则，
(vi-b)该直方图称为单峰的，并且不做改变。
图5(c)示出最终分割结果，在该图中，可以看到T恤衫/电视机对与头发/人脸对正确分离。被认为是单峰的图区不发生变化。
利用本发明，即使在不同图像中，即，在其背景非常靠近主体的图像中，也可以正确地将更多聚焦主体与背景分离。即使在不能将背景部分与前景分离时，反之亦然，也不大可能出现大的赝象，并且该最终图更有助于进一步后处理该图像。
在实施本发明时，有几个实际问题需要考虑：
当由DFD图获得初始图时，需要知道聚焦像与散焦像(out-of-focusi mage)之间的比例因数。这需要在进行图像采集时从照相机配置中得到，因为它不能被自动计算。如果知道该采集图像的焦距，可以求得它，因此，利用该采集图像，照相机制造商可以得知它。
还可以看出，如果由DFD图获得初始图，则根据采集这两个图像之间的时间，图像可能已经发生某些位移。可以看出，该主体可以相对于该背景显著运动，或者整个景物可能因为照相机移位而发生位移。因此，应该在产生该DFD图之前使图像适当对准。
如上所述，利用高清晰度图像或者诸如预览图像或者后览图像的分抽样的该图像，可以实施本发明。实际上，后者是必需的，因为照相机制造商决定加倍高清晰度图像采集，以预防高清晰度DFD图不可用。可是，利用包括高清晰度图像的和预览图像/后览图像的一对图像，甚或用于前景/背景映射的一对预览图像/后览图像就足够了，并且从计算效率的观点出发，这样也更可取。
还可以看出，为了计算该DFD图，不适于将景物的闪光图像和非闪光图像混合。因此，如果利用闪光灯采集主图像，则尽管与该主图像相比分辨率不同，但是非闪光预览和后览图像最好用于提供前景/背景图。
在本发明的又一个方面，提供了在数字图像中进行前景—背景分离的进一步改进型分割方法。
在图1至6所示的实施例中，肖像式轮廓32被存储在数据库中，用于与图像的色块进行比较。
然而，可以发现，通过检测一个或者多个人脸在图像中的位置和定向(orientation)，然后，附加到该人脸图区或者每个人脸图区、优选包括该人脸定向所示的人脸图区下面的垂直区域(column)的各区域上，可以提供替代轮廓。与前面相同，可以认为包括每个人脸图区和相关垂直区域的轮廓仅包括前景像素。
在可以利用该轮廓代替图1至6所示的(各)轮廓32时，这样推测的(各)前景垂直区域提供的信息也可以改进将该图像分离为前景和背景，正如下面所详细描述的。
现在参考图7，该图示出本实施例的流程图。
在700，采集图像。与前面相同，该图像或者是预览图像或者后览图像，或者包括降抽样的主采集图像。
或者在该采集图像中检测人脸，或者如果在包括该采集图像的图像流中的先前图像中检测到人脸，则跟踪该人脸图区，以在710，确定人脸在该采集图像中的位置及其定向。正如2006年8月11日提交的第60/746,363号美国专利申请所披露的，不仅跟踪检测到的人脸而且优选地进行位置和定向的检测。
利用检测到的/跟踪的人脸的定向确定在该人脸方向上位于检测到的人脸下面的区域，并且该合成人脸图区和相关区域提供被认为仅含有前景像素的轮廓模板。
现在，参考图8，对应于图5(a)所示图像的采集图像10包括主体，并且检测和/或者跟踪位于该图区80内的主体人脸。已知人脸定向，限定包围人脸图区80并从人脸图区80的底部延伸到该图像边缘的图区82。
可以看出，许多独立对象位于图区82内或者与图区82相交。在该例中，这些可能包括包围主体的恤衫(A)、主体的颈部和人脸右侧(B)、主体的人脸左侧(C)以及主体的头发(D)的图区。
在步骤730，优选利用对包括但并不局限于对图1至6所示实施例描述的图像的彩色图像或者灰度级图像施加的诸如Color Wizard、边缘检测或者其他图区分离技术的彩色对象检测技术，分割这些对象。在本实施例中，在740，指定在步骤730识别的并且位于图区82内或者与图区82相交的每个对象A…D作为前景对象(至少它与图区82相交)。
在步骤750，优选进一步对与图区82相交的每个前景对象进行亮度分析，以确定该对象的亮度分布是如上所述的单峰的或者是双峰的。对与该图区82相交的对象中的不同亮度子对象应用单峰或者双峰阈值可以更好地分离前景/背景对象。因此，先前被识别为前景的对象现在可以包括被识别为前景对象的子对象和被识别为背景对象的子对象。
此外，优选对LAB空间的前景对象像素进行该分析，这样有利于仅使用像素的L值。
在760，在步骤740以及任选在步骤750识别的、不位于图区82内或者不与图区82相交的任意对象(或者子对象)被指定为背景对象。这样，将该图像分离为前景对象和背景对象。
在本发明的该实施例中，仅对该图像包括图区82的限定部分进行全景/背景分割。在本发明的又一个方面中，提供了一种对整个数字图像进行前景—背景分割的进一步改进型分割方法。
现在，参看图9，该图示出了本实施例的流程图。
在900、905，采集表面上为同一个景物的第一图像和第二图像。与前面相同，这些图像可以是预览图像或者后览图像，或者包括降抽样的主采集图像。对于该实施例，利用闪光灯拍摄该图像中的一个，而其另一图像采用无闪光灯拍摄，以得到图像之间的曝光量差。
调准各图像(未示出)，以便在步骤900至950(对应于图7所示步骤700至步骤750)在该图像中识别的对象块(objectsegment)被认为与在步骤905采集的该图像的各块(segment)对应。
在利用颜色对在步骤940/950中识别的前景对象进行分割的情况下，每个对象均包含具有多种特定彩色特性中的一个，例如LAB空间内的相近AB值，的许多像素。
图9所示的实施例基于假定每个前景对象彩色组合具有相关平均反射特性k，该相关平均反射特性k表示具有相同彩色组合的任意前景对象的期望特性。因此，通过将该图像中任意对象的平均反射特性k与被识别的具有相同彩色组合的前景对象的平均反射特性k进行比较，可以将该对象识别为前景或者背景。
因此，在该实施例中，将对其执行了人脸检测/跟踪的采集图像与该景物的第二图像进行比较，以在960，根据下面的等式，确定调准图像中每个对象的平均反射特性k：
Avg ( L Flash - L Non - Flash L Non - Flash ) = k
其中LFlash是该闪光图像中的对象的亮度，而LNon-Flash是该非闪光图像中的相应对象的亮度。如果该值k>0，则该对象是反射的；而如果k<0，则该对象是不反射的，由于干扰或者杂讯可以出现这种情况。
在步骤970，对于与被识别的前景对象具有相同彩色组合的每个未标记的对象，即，不与图区82相交或者不位于图区82内的对象，将其平均反射特性k与根据相关前景对象的平均反射特性k求得的阈值kth进行比较。因此，例如，在图8中，所计算的阈值kth是每个对象A…D的平均反射特性k的70％，而且对每个未标记对象分别计算反射特性k。将每个未标记对象的反射特性k与对象A至D中颜色对应于该未标记对象的那个的阈值kth进行比较。
因此，在本实施例中，如果该未标记对象具有约大于该相关前景对象的70％的平均反射特性k，则在980，将它识别为前景对象。反之，在990，将它识别为背景对象。
如果未标记对象包括其彩色组合与被识别的前景对象之任一的彩色组合不对应的像素，则利用具有最相似彩色组合的被识别前景对象，例如，对象A…D，估计该颜色的对象的阈值kth。
在图7和9所示的实施例中，所有与图块(section)相交的对象或者子对象均被认为是前景对象。在这些实施例的变型中，进一步根据其平均反射特性k，对与在步骤940/950识别的图区82相交的前景对象进行进一步亮度分析。
因此，全部位于图区82内的每个相交对象的子图区被确认为前景对象。现在，对位于图区82外的对象的每个像素，计算反射特性。如果从图区82伸出，则逐个像素地将和该子图区相邻的对象像素与具有图区82的对象子图区的反射特性进行比较。此外，如果像素值大于反射特性k的阈值比，例如，70％，则确认它是前景像素。因此，该子图区被延伸，或者直到该对象的所有像素被确认为前景，或者直到与该延伸子图区相邻的所有像素被划分为背景之前。然后，使该延伸图区平滑并填充该延伸图区中的孔，之后，最终确定该前景/背景图。

Claims (32)

1.一种用于在景物的数字图像中实现前景/背景分离的方法，包括：
提供第一图，该第一图包括主数字图像中的一个或多个图区，所述一个或多个图区中的每一个具有一个或多个带有共同特性的像素；
提供主体轮廓，该主体轮廓对应于所述主数字图像中的受关注的图区；
将一个或多个所述图区与所述主体轮廓进行比较，以确定所述一个或多个图区中的任一个是否与所述轮廓图区相交；以及
根据所述比较，指定所述图区中的一个或多个作为前景图区。
2.根据权利要求1所述的方法，其中提供所述第一图包括暂时地将图像的每个图区限定为前景或背景，并且其中所述一个或多个图区包括至少一个暂时被限定为前景的图区。
3.根据权利要求2所述的方法，其中所述指定包括：
将前景图区与所述主体轮廓进行比较；以及
根据所述前景图区基本上不与所述主体轮廓相交而作出响应，将所述前景图区的指定变更为背景图区。
4.根据权利要求1所述的方法，其中提供所述第一图基于将表面上为所述景物的两个或以上的图像进行比较。
5.根据权利要求4所述的方法，其中被比较的所述两个或以上的图像中的一个或多个图像包括所述主数字图像的低分辨率图像。
6.根据权利要求4所述的方法，其中被比较的所述两个或以上图像中的一个包括所述主数字图像。
7.根据权利要求4所述的方法，进一步包括调准被比较的所述两个或以上图像。
8.根据权利要求4所述的方法，进一步包括将被比较的所述两个或以上图像的分辨率进行匹配。
9.根据权利要求4所述的方法，其中，被比较的所述两个或以上图像中的至少一个图像是在所述主数字图像刚刚被捕获之前或之后时捕获的。
10.根据权利要求1所述的方法，其中提供所述第一图包括：
提供两个或以上图像，该两个或以上图像中的每一个的聚焦不同，并且表面上为所述景物；
由所述图像计算离焦深度图，将所述主数字图像的像素表示为前景或背景；
使所述聚焦图模糊；
将所述模糊图限定为中间聚焦图，该中间聚焦图将图区表示为前景或背景，以；以及
填充所述中间聚焦图中的图区，以提供所述第一图。
11.根据权利要求1所述的方法，其中提供所述第一图包括：
提供两个或以上图像，该两个或以上图像中的每一个的聚焦不同，并且表面上为所述景物；以及
将所述图像中的相应图区的高频系数进行比较，以确定所述图区是前景还是背景，从而提供所述第一图。
12.根据权利要求1所述的方法，其中提供所述第一图包括：
提供两个或以上图像，该两个或以上图像曝光量不同且表面上为所述景物；以及
将所述图像中的相应图区的亮度级进行比较，以确定所述图区是前景还是背景，从而提供所述第一图。
13.根据权利要求1所述的方法，其中，该方法可以在数字图像采集装置中运行，所述装置被布置以根据所述主数字图像的内容选择所述主体轮廓。
14.根据权利要求1所述的方法，其中，该方法可以在数字图像采集装置中运行，所述装置被布置为以肖像模式工作，并且其中所述主体轮廓包括人的轮廓线。
15.根据权利要求14所述的方法，其中所述轮廓线包括多个用户可选的轮廓线中的一个。
16.根据权利要求14所述的方法，其中根据所述主数字图像的内容，从多个轮廓线中自动选择所述轮廓线。
17.根据权利要求1所述的方法，其中，该方法可以在通用的计算机中运行，并且该通用计算机被布置以接收与所述主数字图像相关的所述第一图。
18.根据权利要求1所述的方法，其中，该方法可以在通用计算机中运行，并且该通用计算机被布置以接收一个或多个附加图像，该附加图像表面上为所述景物，并与所述主数字图像相关，并且该通用计算机被布置以根据所述一个或多个附加图像和所述主数字图像中的任意组合，计算所述第一图。
19.根据权利要求1所述的方法，其中所述提供主体轮廓包括：
确定包括人脸的所述图像的至少一个图区；
确定所述主图像中的所述至少一个人脸的定向；以及
根据所述定向，限定所述主体轮廓包括所述主图像中的所述至少一个人脸图区以及所述人脸图区下面的相应图区。
20.根据权利要求19所述的方法，其中所述提供第一图包括：
分析彩色空间内的主数字图像的至少一个图区，以确定所述图区中的颜色分布，所述颜色分布具有多个不同色峰；以及
根据像素颜色与所述色峰的接近度，分割所述图区。
21.根据权利要求20所述的方法，其中所述比较包括：对于与所述主体轮廓相交的每个图区，计算基准反射特性；
对于不与所述主体轮廓相交的每个图区，计算反射特性；以及
将非相交图区反射特性与颜色对应于所述非相交图区的图区的基准反射特性进行比较；以及
其中所述指定包括：当确定所述非相交图区反射特性在所述基准反射特性的阈值范围内时，将非相交图区指定为前景。
22.根据权利要求21所述的方法，包括提供表面上为所述景物的第二图像；以及作为所述主图像和第二图像的相应图区之间的亮度级差的函数，计算所述反射特性。
23.根据权利要求19所述的方法，其中所述主图像是图像流中的一个，并且其中确定包括人脸的所述主图像的至少一个图区包括：
在所述主图像之前采集的所述流的至少一个图像中，检测人脸；以及
通过所述图像流跟踪该人脸，以确定所述主图像中的所述人脸图区。
24.一种用于在景物的数字图像中实现前景/背景分离的方法，包括：
提供第一图，该第一图包括在主数字图像中暂时被限定为前景或背景中的一个的一个或多个图区；
分析所述图区中的一个或多个图区，以确定该图区的像素的亮度分布；
根据图区的所述亮度分布具有一个以上的不同亮度峰而作出响应，并且根据像素亮度与所述亮度峰的接近度，将所述图区划分为一个以上子图区；以及
根据所述划分，改变在所述图中指定所述子图区。
25.根据权利要求24所述的方法，进一步包括：
提供对应于所述主数字图像的受关注的图区的主体轮廓；
将所述一个或多个暂时被限定图区中的至少一些与所述主体轮廓进行比较，以确定所述第一图的所述图区或子图区中的任一个是否与所述轮廓图区相交；
根据所述比较，在所述图中改变指定一个或多个所述图区或子图区。
26.根据权利要求24所述的方法，其中提供所述第一图包括：
分析彩色空间中的数字图像的至少一些图区，以确定所述图区中的颜色分布，所述颜色分布具有多个不同色峰；以及
根据与所述色峰的接近度，分割所述图区。
27.根据权利要求26所述的方法，其中所述分析图区是所述第一图中暂时被限定为前景的图区。
28.根据权利要求26所述的方法，其中在LAB空间中提供所述数字图像，并且其中所述彩色空间包括像素的[a，b]值，并且其中所述亮度包括像素的L值。
29.一种用于在景物的数字图像中实现改进型前景/背景分离的方法，包括：
采集主数字图像；
确定包括人脸的所述主图像的至少一个图区；
确定所述主图像中的所述至少一个人脸的定向；以及
根据所述定向，限定包括所述图像中的所述至少一个人脸图区和所述人脸图区下面的相应图区的所述图像的前景图区。
30.一种用于在景物的数字图像中实现改进型前景/背景分离的设备，包括处理器和一个或多个处理器可读介质，该处理器可读介质用于对该处理器编程以控制该设备执行包括如下的方法：
采集主数字图像；
提供第一图，该第一图包括主数字图像中暂时被限定为前景或背景的一个或多个图区，所述一个或多个图区中的每一个具有一个或多个带有共同特性的像素；
提供主体轮廓，该主体轮廓对应于所述主数字图像中的受关注的图区的；
将所述一个或多个暂时限定图区中的至少一些与所述主体轮廓进行比较，以确定所述图区中的任一个是否与所述轮廓图区相交；以及
根据所述比较，改变在所述图中将所述图区中的一个或多个图区指定为前景图区。
31.一种用于在景物的数字图像中实现前景/背景分离的设备，包括处理器和一个或多个处理器可读介质，该处理器可读介质用于对该处理器编程以控制该设备执行包括如下的方法：
采集主数字图像；
提供第一图，该第一图包括主数字图像中暂时被限定为前景或背景的一个或多个图区；
分析所述图区中的一个或多个图区，以确定该图区的像素的亮度分布；
根据图区的所述亮度分布具有一个以上的不同亮度峰而作出响应，并且根据像素亮度与所述亮度峰的接近度，将所述图区划分为一个以上子图区；以及
根据所述划分，改变在所述图中指定至少一个所述子图区。
32.一种用于在景物的数字图像中实现前景/背景分离的设备，包括处理器和一个或多个处理器可读介质，该处理器可读介质用于对该处理器编程以控制该设备执行包括如下的方法的处理器：
采集主数字图像；
确定包括人脸的所述主图像的至少一个图区；
确定所述人脸的定向；以及
根据所述定向，限定包括所述主图像中的所述人脸和所述人脸下面的相应图区的所述图像的前景图区。
CN2007800159143A 2006-05-03 2007-05-03 用于在数字图像中的前景和背景之间提供分离的方法和设备 Active CN101443791B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US74636306P 2006-05-03 2006-05-03
US60/746,363 2006-05-03
PCT/US2007/068190 WO2007131140A2 (en) 2006-05-03 2007-05-03 Improved foreground / background separation in digital images

Publications (2)

Publication Number Publication Date
CN101443791A true CN101443791A (zh) 2009-05-27
CN101443791B CN101443791B (zh) 2012-05-30

Family

ID=37491944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800159143A Active CN101443791B (zh) 2006-05-03 2007-05-03 用于在数字图像中的前景和背景之间提供分离的方法和设备

Country Status (7)

Country Link
US (4) US8363908B2 (zh)
EP (1) EP2016530A4 (zh)
JP (1) JP5087614B2 (zh)
KR (2) KR101277229B1 (zh)
CN (1) CN101443791B (zh)
IE (1) IES20060564A2 (zh)
WO (1) WO2007131140A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103608841A (zh) * 2011-05-17 2014-02-26 高通股份有限公司 使用rgbd相机的头部姿势估计
CN103996190A (zh) * 2010-11-18 2014-08-20 卡西欧计算机株式会社 区域特定方法、区域特定装置、服务器及系统
TWI455040B (zh) * 2011-09-29 2014-10-01 Mediatek Singapore Pte Ltd 前景物件偵測方法與裝置及背景偵測方法與裝置
CN107610124A (zh) * 2017-10-13 2018-01-19 中冶赛迪技术研究中心有限公司 一种炉口图像预处理方法
CN107665482A (zh) * 2017-09-22 2018-02-06 北京奇虎科技有限公司 实现双重曝光的视频数据实时处理方法及装置、计算设备
CN107832766A (zh) * 2017-10-30 2018-03-23 北京小米移动软件有限公司 高光区域的确定方法、装置、设备和存储介质

Families Citing this family (139)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8698924B2 (en) 2007-03-05 2014-04-15 DigitalOptics Corporation Europe Limited Tone mapping for low-light video frame enhancement
US7685341B2 (en) 2005-05-06 2010-03-23 Fotonation Vision Limited Remote control apparatus for consumer electronic appliances
US7636486B2 (en) 2004-11-10 2009-12-22 Fotonation Ireland Ltd. Method of determining PSF using multiple instances of a nominally similar scene
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US8264576B2 (en) 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US9160897B2 (en) 2007-06-14 2015-10-13 Fotonation Limited Fast motion estimation method
US8417055B2 (en) 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US8180173B2 (en) * 2007-09-21 2012-05-15 DigitalOptics Corporation Europe Limited Flash artifact eye defect correction in blurred images using anisotropic blurring
US7680342B2 (en) 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US8199222B2 (en) 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
US8989516B2 (en) 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
US7639889B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US7639888B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US8995715B2 (en) 2010-10-26 2015-03-31 Fotonation Limited Face or other object detection including template matching
US7694048B2 (en) * 2005-05-06 2010-04-06 Fotonation Vision Limited Remote control apparatus for printer appliances
IES20060564A2 (en) * 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
IES20070229A2 (en) 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US8559705B2 (en) 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US8649604B2 (en) 2007-03-05 2014-02-11 DigitalOptics Corporation Europe Limited Face searching and detection in a digital image acquisition device
US7773118B2 (en) 2007-03-25 2010-08-10 Fotonation Vision Limited Handheld article with movement discrimination
US7916971B2 (en) 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
EP2158754A1 (en) 2008-01-18 2010-03-03 Fotonation Vision Limited Image processing method and apparatus
US8326029B1 (en) * 2008-03-21 2012-12-04 Hewlett-Packard Development Company, L.P. Background color driven content retrieval
WO2010063463A2 (en) * 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
US8633999B2 (en) * 2009-05-29 2014-01-21 DigitalOptics Corporation Europe Limited Methods and apparatuses for foreground, top-of-the-head separation from background
US8605955B2 (en) 2009-06-29 2013-12-10 DigitalOptics Corporation Europe Limited Methods and apparatuses for half-face detection
JP5299173B2 (ja) * 2009-08-26 2013-09-25 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US20110141226A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging based on a lo-res map
US10080006B2 (en) 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
US8294748B2 (en) * 2009-12-11 2012-10-23 DigitalOptics Corporation Europe Limited Panorama imaging using a blending map
US20110141225A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Based on Low-Res Images
US20110141229A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging using super-resolution
EP2545411B1 (en) 2009-12-11 2014-02-12 DigitalOptics Corporation Europe Limited Panorama imaging
US20110141224A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Using Lo-Res Images
US8872887B2 (en) 2010-03-05 2014-10-28 Fotonation Limited Object detection and rendering for wide field of view (WFOV) image acquisition systems
US9628722B2 (en) 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
US8625897B2 (en) 2010-05-28 2014-01-07 Microsoft Corporation Foreground and background image segmentation
US8363085B2 (en) 2010-07-06 2013-01-29 DigitalOptics Corporation Europe Limited Scene background blurring including determining a depth map
US9053681B2 (en) 2010-07-07 2015-06-09 Fotonation Limited Real-time video frame pre-processing hardware
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
US8649592B2 (en) 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
US8970770B2 (en) 2010-09-28 2015-03-03 Fotonation Limited Continuous autofocus based on face detection and tracking
US8659697B2 (en) 2010-11-11 2014-02-25 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US8648959B2 (en) 2010-11-11 2014-02-11 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US8308379B2 (en) 2010-12-01 2012-11-13 Digitaloptics Corporation Three-pole tilt control system for camera module
EP2490151A1 (en) 2011-02-17 2012-08-22 Nagravision S.A. Method and device to speed up face recognition
JP5170226B2 (ja) * 2010-12-10 2013-03-27 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
KR20120069331A (ko) 2010-12-20 2012-06-28 삼성전자주식회사 영상의 전경과 배경을 분리하는 방법
US8587666B2 (en) 2011-02-15 2013-11-19 DigitalOptics Corporation Europe Limited Object detection from image profiles within sequences of acquired digital images
US8587665B2 (en) 2011-02-15 2013-11-19 DigitalOptics Corporation Europe Limited Fast rotation estimation of objects in sequences of acquired digital images
US8705894B2 (en) 2011-02-15 2014-04-22 Digital Optics Corporation Europe Limited Image rotation from local motion estimates
JP2012215852A (ja) * 2011-03-25 2012-11-08 Semiconductor Energy Lab Co Ltd 画像処理方法、表示装置
US8723959B2 (en) 2011-03-31 2014-05-13 DigitalOptics Corporation Europe Limited Face and other object tracking in off-center peripheral regions for nonlinear lens geometries
US8896703B2 (en) 2011-03-31 2014-11-25 Fotonation Limited Superresolution enhancment of peripheral regions in nonlinear lens geometries
US8982180B2 (en) 2011-03-31 2015-03-17 Fotonation Limited Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries
US8860816B2 (en) 2011-03-31 2014-10-14 Fotonation Limited Scene enhancements in off-center peripheral regions for nonlinear lens geometries
EP2515526A3 (en) 2011-04-08 2014-12-24 FotoNation Limited Display device with image capture and analysis module
US8493460B2 (en) 2011-09-15 2013-07-23 DigitalOptics Corporation Europe Limited Registration of differently scaled images
US8493459B2 (en) 2011-09-15 2013-07-23 DigitalOptics Corporation Europe Limited Registration of distorted images
KR101870902B1 (ko) 2011-12-12 2018-06-26 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법
WO2013136053A1 (en) 2012-03-10 2013-09-19 Digitaloptics Corporation Miniature camera module with mems-actuated autofocus
US9294667B2 (en) 2012-03-10 2016-03-22 Digitaloptics Corporation MEMS auto focus miniature camera module with fixed and movable lens groups
KR101930235B1 (ko) * 2012-05-15 2018-12-18 삼성전자 주식회사 디지털 이미지 안정화 방법, 장치 및 시스템
JP6140935B2 (ja) * 2012-05-17 2017-06-07 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
US9153073B2 (en) * 2012-05-23 2015-10-06 Qualcomm Incorporated Spatially registered augmented video
WO2014072837A2 (en) 2012-06-07 2014-05-15 DigitalOptics Corporation Europe Limited Mems fast focus camera module
US10129524B2 (en) 2012-06-26 2018-11-13 Google Llc Depth-assigned content for depth-enhanced virtual reality images
US9607424B2 (en) 2012-06-26 2017-03-28 Lytro, Inc. Depth-assigned content for depth-enhanced pictures
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US9007520B2 (en) 2012-08-10 2015-04-14 Nanchang O-Film Optoelectronics Technology Ltd Camera module with EMI shield
US9001268B2 (en) 2012-08-10 2015-04-07 Nan Chang O-Film Optoelectronics Technology Ltd Auto-focus camera module with flexible printed circuit extension
WO2014031086A1 (en) 2012-08-24 2014-02-27 Agency For Science, Technology And Research Methods and systems for automatic location of optic structures in an image of an eye, and for automatic retina cup-to-disc ratio computation
US9242602B2 (en) 2012-08-27 2016-01-26 Fotonation Limited Rearview imaging systems for vehicle
US9256803B2 (en) * 2012-09-14 2016-02-09 Palo Alto Research Center Incorporated Automatic detection of persistent changes in naturally varying scenes
US9055207B2 (en) 2012-12-31 2015-06-09 Digitaloptics Corporation Auto-focus camera module with MEMS distance measurement
US9330718B2 (en) * 2013-02-20 2016-05-03 Intel Corporation Techniques for adding interactive features to videos
US9025868B2 (en) 2013-02-27 2015-05-05 Sony Corporation Method and system for image processing to determine a region of interest
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
KR102150661B1 (ko) * 2013-09-23 2020-09-01 에스케이 텔레콤주식회사 객체를 검출하기 위한 전처리 장치 및 방법
CN103533245B (zh) * 2013-10-21 2018-01-09 努比亚技术有限公司 拍摄装置及辅助拍摄方法
KR20150077184A (ko) 2013-12-27 2015-07-07 삼성전자주식회사 의료 영상의 병변 유사도 판단 장치 및 방법
US9414016B2 (en) 2013-12-31 2016-08-09 Personify, Inc. System and methods for persona identification using combined probability maps
US9485433B2 (en) 2013-12-31 2016-11-01 Personify, Inc. Systems and methods for iterative adjustment of video-capture settings based on identified persona
US9305375B2 (en) 2014-03-25 2016-04-05 Lytro, Inc. High-quality post-rendering depth blur
US8988317B1 (en) 2014-06-12 2015-03-24 Lytro, Inc. Depth determination for light field images
WO2015189343A1 (en) * 2014-06-12 2015-12-17 Thomson Licensing Methods and systems for color processing of digital images
US9444991B2 (en) 2014-11-13 2016-09-13 Lytro, Inc. Robust layered light-field rendering
CN104573629A (zh) * 2014-12-05 2015-04-29 深圳市海云天科技股份有限公司 一种脸部图像采集方法及系统
CN104751405B (zh) * 2015-03-11 2018-11-13 百度在线网络技术（北京）有限公司 一种用于对图像进行虚化的方法和装置
CN104751407B (zh) * 2015-03-11 2019-01-25 百度在线网络技术（北京）有限公司 一种用于对图像进行虚化的方法和装置
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10091436B2 (en) 2015-05-13 2018-10-02 Samsung Electronics Co., Ltd. Electronic device for processing image and method for controlling the same
US9563962B2 (en) 2015-05-19 2017-02-07 Personify, Inc. Methods and systems for assigning pixels distance-cost values using a flood fill technique
US9916668B2 (en) 2015-05-19 2018-03-13 Personify, Inc. Methods and systems for identifying background in video data using geometric primitives
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US9639945B2 (en) 2015-08-27 2017-05-02 Lytro, Inc. Depth-based application of image effects
KR20170038378A (ko) * 2015-09-30 2017-04-07 삼성전자주식회사 이미지를 처리하는 전자 장치 및 그 제어 방법
KR102372711B1 (ko) * 2015-10-13 2022-03-17 삼성전자주식회사 영상 촬영 장치 및 이의 제어 방법
CN105744173B (zh) * 2016-02-15 2019-04-16 Oppo广东移动通信有限公司 一种区分图像前后景区域的方法、装置及移动终端
US20180020167A1 (en) * 2016-05-10 2018-01-18 Production Resource Group, Llc Multi Background Image Capturing Video System
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US9883155B2 (en) 2016-06-14 2018-01-30 Personify, Inc. Methods and systems for combining foreground video and background video using chromatic matching
US10089721B2 (en) 2016-09-08 2018-10-02 Sony Corporation Image processing system and method for object boundary smoothening for image segmentation
US10380756B2 (en) * 2016-09-08 2019-08-13 Sony Corporation Video processing system and method for object detection in a sequence of image frames
US9881207B1 (en) 2016-10-25 2018-01-30 Personify, Inc. Methods and systems for real-time user extraction using deep learning networks
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10586308B2 (en) * 2017-05-09 2020-03-10 Adobe Inc. Digital media environment for removal of obstructions in a digital image scene
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
KR102066412B1 (ko) 2017-08-11 2020-01-15 (주) 인터마인즈 전경 영상 추출 장치 및 방법
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US10878596B2 (en) 2018-11-29 2020-12-29 International Business Machines Corporation Object oriented image normalization
US11386562B2 (en) 2018-12-28 2022-07-12 Cyberlink Corp. Systems and methods for foreground and background processing of content in a live video
US11107098B2 (en) * 2019-05-23 2021-08-31 Content Aware, Llc System and method for content recognition and data categorization
US11315291B1 (en) 2021-01-29 2022-04-26 International Business Machines Corporation Shine visualization
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities

Family Cites Families (176)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4683496A (en) 1985-08-23 1987-07-28 The Analytic Sciences Corporation System for and method of enhancing images using multiband information
US5130935A (en) * 1986-03-31 1992-07-14 Canon Kabushiki Kaisha Color image processing apparatus for extracting image data having predetermined color information from among inputted image data and for correcting inputted image data in response to the extracted image data
US5109425A (en) 1988-09-30 1992-04-28 The United States Of America As Represented By The United States National Aeronautics And Space Administration Method and apparatus for predicting the direction of movement in machine vision
US5086314A (en) 1990-05-21 1992-02-04 Nikon Corporation Exposure control apparatus for camera
US5231674A (en) 1989-06-09 1993-07-27 Lc Technologies, Inc. Eye tracking method and apparatus
US5063448A (en) 1989-07-31 1991-11-05 Imageware Research And Development Inc. Apparatus and method for transforming a digitized signal of an image
US5063446A (en) * 1989-08-11 1991-11-05 General Electric Company Apparatus for transmitting auxiliary signal in a TV channel
EP0440786A1 (en) 1989-08-28 1991-08-14 Eastman Kodak Company A computer based digital image noise reduction method based on overlapping planar approximation
US5046118A (en) * 1990-02-06 1991-09-03 Eastman Kodak Company Tone-scale generation method and apparatus for digital x-ray images
FR2673793B1 (fr) 1991-03-05 1993-05-07 Thomson Video Equip Procede et dispositif permettant d'obtenir une information de profondeur dans le champ vu par un dispositif de prise de vue.
US5164993A (en) 1991-11-25 1992-11-17 Eastman Kodak Company Method and apparatus for automatic tonescale generation in digital radiographic images
US5345313A (en) 1992-02-25 1994-09-06 Imageware Software, Inc Image editing system for taking a background and inserting part of an image therein
US5329379A (en) 1992-10-22 1994-07-12 International Business Machines Corporation System and method of measuring fidelity of decompressed video signals and images
GB9321372D0 (en) 1993-10-15 1993-12-08 Avt Communications Ltd Video signal processing
US5504846A (en) 1993-12-16 1996-04-02 International Business Machines Corporation Method and apparatus for improved area demarcation in bit mapped image derived from multi-color bit mapped image
US5621868A (en) 1994-04-15 1997-04-15 Sony Corporation Generating imitation custom artwork by simulating brush strokes and enhancing edges
US5757376A (en) 1994-12-02 1998-05-26 Sony Corporation Method of producing image data and associated recording medium
EP0727760A3 (en) 1995-02-17 1997-01-29 Ibm Product size detection system
US5724456A (en) 1995-03-31 1998-03-03 Polaroid Corporation Brightness adjustment of images using digital scene analysis
US5812787A (en) 1995-06-30 1998-09-22 Intel Corporation Video coding scheme with foreground/background separation
US6005582A (en) 1995-08-04 1999-12-21 Microsoft Corporation Method and system for texture mapping images with anisotropic filtering
US5880737A (en) 1995-08-04 1999-03-09 Microsoft Corporation Method and system for accessing texture data in environments with high latency in a graphics rendering system
US5864342A (en) 1995-08-04 1999-01-26 Microsoft Corporation Method and system for rendering graphical objects to image chunks
US5999189A (en) 1995-08-04 1999-12-07 Microsoft Corporation Image compression to reduce pixel and texture memory requirements in a real-time image generator
US5990904A (en) 1995-08-04 1999-11-23 Microsoft Corporation Method and system for merging pixel fragments in a graphics rendering system
US5844627A (en) 1995-09-11 1998-12-01 Minerya System, Inc. Structure and method for reducing spatial noise
US6122408A (en) 1996-04-30 2000-09-19 Siemens Corporate Research, Inc. Light normalization method for machine vision
US6956573B1 (en) 1996-11-15 2005-10-18 Sarnoff Corporation Method and apparatus for efficiently representing storing and accessing video information
US6125213A (en) 1997-02-17 2000-09-26 Canon Kabushiki Kaisha Image processing method, an image processing apparatus, and a storage medium readable by a computer
AUPO525897A0 (en) 1997-02-24 1997-03-20 Redflex Traffic Systems Pty Ltd Digital image processing
US5949914A (en) 1997-03-17 1999-09-07 Space Imaging Lp Enhancing the resolution of multi-spectral image data with panchromatic image data using super resolution pan-sharpening
US5878152A (en) 1997-05-21 1999-03-02 Cognex Corporation Depth from focal gradient analysis using object texture removal by albedo normalization
US6295367B1 (en) 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs
US6225974B1 (en) 1997-06-19 2001-05-01 Electronics For Imaging, Inc. Gamut correction with color separation and methods and apparatuses for performing same
US6018590A (en) * 1997-10-07 2000-01-25 Eastman Kodak Company Technique for finding the histogram region of interest based on landmark detection for improved tonescale reproduction of digital radiographic images
US7738015B2 (en) 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US7630006B2 (en) 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US7042505B1 (en) 1997-10-09 2006-05-09 Fotonation Ireland Ltd. Red-eye filter method and apparatus
US6407777B1 (en) 1997-10-09 2002-06-18 Deluca Michael Joseph Red-eye filter method and apparatus
US6061476A (en) * 1997-11-24 2000-05-09 Cognex Corporation Method and apparatus using image subtraction and dynamic thresholding
JP4698831B2 (ja) 1997-12-05 2011-06-08 ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド 画像変換および符号化技術
US6744471B1 (en) 1997-12-05 2004-06-01 Olympus Optical Co., Ltd Electronic camera that synthesizes two images taken under different exposures
US6069982A (en) 1997-12-23 2000-05-30 Polaroid Corporation Estimation of frequency dependence and grey-level dependence of noise in an image
JP3930504B2 (ja) 1998-01-07 2007-06-13 株式会社東芝 物体抽出装置
US6483521B1 (en) 1998-02-02 2002-11-19 Matsushita Electric Industrial Co., Ltd. Image composition method, image composition apparatus, and data recording media
US6850236B2 (en) 1998-02-17 2005-02-01 Sun Microsystems, Inc. Dynamically adjusting a sample-to-pixel filter in response to user input and/or sensor input
JP2000102040A (ja) 1998-09-28 2000-04-07 Olympus Optical Co Ltd 電子ステレオカメラ
US6278434B1 (en) 1998-10-07 2001-08-21 Microsoft Corporation Non-square scaling of image data to be mapped to pixel sub-components
JP2000209425A (ja) 1998-11-09 2000-07-28 Canon Inc 画像処理装置及び方法並びに記憶媒体
JP2000175052A (ja) 1998-12-07 2000-06-23 Xerox Corp ピクセルマップ表現の処理方法及び装置
US6546117B1 (en) 1999-06-10 2003-04-08 University Of Washington Video object segmentation using active contour modelling with global relaxation
US6282317B1 (en) 1998-12-31 2001-08-28 Eastman Kodak Company Method for automatic determination of main subjects in photographic images
JP3849834B2 (ja) 1999-02-02 2006-11-22 富士写真フイルム株式会社 オートホワイトバランス制御方法
US6920250B1 (en) 1999-03-04 2005-07-19 Xerox Corporation Additive model for efficient representation of digital documents
US6577621B1 (en) * 1999-06-22 2003-06-10 Ericsson Inc. System and method for providing high-speed local telecommunications access
US6198505B1 (en) 1999-07-19 2001-03-06 Lockheed Martin Corp. High resolution, high speed digital camera
US6556704B1 (en) * 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
US6631206B1 (en) 1999-08-30 2003-10-07 University Of Washington Image filtering in HSI color space
US6526161B1 (en) * 1999-08-30 2003-02-25 Koninklijke Philips Electronics N.V. System and method for biometrics-based facial feature extraction
US6704456B1 (en) 1999-09-02 2004-03-09 Xerox Corporation Automatic image segmentation in the presence of severe background bleeding
KR100311482B1 (ko) 1999-10-21 2001-10-18 구자홍 보간 영상의 화질 개선을 위한 필터링 제어방법
US6577762B1 (en) 1999-10-26 2003-06-10 Xerox Corporation Background surface thresholding
US7103357B2 (en) 1999-11-05 2006-09-05 Lightsurf Technologies, Inc. Media spooler system and methodology providing efficient transmission of media content from wireless devices
US6538656B1 (en) 1999-11-09 2003-03-25 Broadcom Corporation Video and graphics system with a data transport processor
US6836273B1 (en) 1999-11-11 2004-12-28 Matsushita Electric Industrial Co., Ltd. Memory management method, image coding method, image decoding method, image display method, memory management apparatus, and memory management program storage medium
JP3306397B2 (ja) 1999-11-25 2002-07-24 株式会社ソニー・コンピュータエンタテインメント エンタテインメント装置、画像生成方法および記憶媒体
DE19958553A1 (de) 1999-12-04 2001-06-07 Luratech Ges Fuer Luft Und Rau Verfahren zur Kompression von gescannten Farb- und/oder Graustufendokumenten
US6804408B1 (en) 1999-12-22 2004-10-12 Eastman Kodak Company Method for enhancing a digital image with noise-dependent control of texture
EP1113671A3 (en) 1999-12-28 2007-04-11 Matsushita Electric Industrial Co., Ltd. Image decoding apparatus and image coding apparatus
CA2646789A1 (en) 1999-12-28 2001-07-05 Sony Corporation Signal processing device and method, and recording medium
GB2358098A (en) 2000-01-06 2001-07-11 Sharp Kk Method of segmenting a pixelled image
JP2001298659A (ja) 2000-02-08 2001-10-26 Canon Inc 撮像装置、画像処理システム、撮像方法、及び記憶媒体
US6807301B1 (en) 2000-02-25 2004-10-19 Fujitsu Limited Image production controlling device, image producing device, image production controlling method, and a storage medium
US6842196B1 (en) 2000-04-04 2005-01-11 Smith & Nephew, Inc. Method and system for automatic correction of motion artifacts
CA2309002A1 (en) 2000-05-23 2001-11-23 Jonathan Martin Shekter Digital film grain reduction
JP2001357404A (ja) * 2000-06-14 2001-12-26 Minolta Co Ltd 画像抽出装置
US6593925B1 (en) 2000-06-22 2003-07-15 Microsoft Corporation Parameterized animation compression methods and arrangements
JP4469476B2 (ja) 2000-08-09 2010-05-26 パナソニック株式会社 眼位置検出方法および眼位置検出装置
US7212668B1 (en) 2000-08-18 2007-05-01 Eastman Kodak Company Digital image processing system and method for emphasizing a main subject of an image
EP1185112B1 (en) * 2000-08-25 2005-12-14 Fuji Photo Film Co., Ltd. Apparatus for parallax image capturing and parallax image processing
JP2002077591A (ja) 2000-09-05 2002-03-15 Minolta Co Ltd 画像処理装置および撮像装置
JP2002094812A (ja) 2000-09-12 2002-03-29 Canon Inc 画像処理方法、装置および記録媒体
JP3395770B2 (ja) 2000-09-29 2003-04-14 ミノルタ株式会社 デジタルスチルカメラ
JP2002158893A (ja) 2000-11-22 2002-05-31 Minolta Co Ltd 画像補正装置、画像補正方法および記録媒体
US6678413B1 (en) 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US6952286B2 (en) 2000-12-07 2005-10-04 Eastman Kodak Company Doubleprint photofinishing service with the second print having subject content-based modifications
US6697502B2 (en) * 2000-12-14 2004-02-24 Eastman Kodak Company Image processing method for detecting human figures in a digital image
EP1382017B1 (en) * 2000-12-22 2018-08-22 Hewlett-Packard Development Company, L.P. Image composition evaluation
US6989859B2 (en) 2000-12-22 2006-01-24 Eastman Kodak Company Camera having user interface ambient sensor viewer adaptation compensation and method
EP1220182A3 (en) 2000-12-25 2005-08-17 Matsushita Electric Industrial Co., Ltd. Image detection apparatus, program, and recording medium
US6847377B2 (en) 2001-01-05 2005-01-25 Seiko Epson Corporation System, method and computer program converting pixels to luminance levels and assigning colors associated with luminance levels in printer or display output devices
US6670963B2 (en) 2001-01-17 2003-12-30 Tektronix, Inc. Visual attention model
US6756993B2 (en) 2001-01-17 2004-06-29 The University Of North Carolina At Chapel Hill Methods and apparatus for rendering images using 3D warping techniques
CA2373707A1 (en) 2001-02-28 2002-08-28 Paul Besl Method and system for processing, compressing, streaming and interactive rendering of 3d color image data
US7031523B2 (en) 2001-05-16 2006-04-18 Siemens Corporate Research, Inc. Systems and methods for automatic scale selection in real-time imaging
JP4596213B2 (ja) * 2001-06-15 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
KR100859381B1 (ko) * 2001-06-15 2008-09-22 소니 가부시끼 가이샤 화상 처리 장치 및 방법 및 촬상 장치
JP4729812B2 (ja) * 2001-06-27 2011-07-20 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
GB2377333A (en) 2001-07-07 2003-01-08 Sharp Kk Segmenting a pixellated image into foreground and background regions
US20050058322A1 (en) * 2003-09-16 2005-03-17 Farmer Michael E. System or method for identifying a region-of-interest in an image
US6577821B2 (en) 2001-07-17 2003-06-10 Eastman Kodak Company Camera having oversized imager and method
US6930718B2 (en) 2001-07-17 2005-08-16 Eastman Kodak Company Revised recapture camera and method
US7650044B2 (en) 2001-07-30 2010-01-19 Cedara Software (Usa) Limited Methods and systems for intensity matching of a plurality of radiographic images
US20030039402A1 (en) 2001-08-24 2003-02-27 Robins David R. Method and apparatus for detection and removal of scanned image scratches and dust
US7262798B2 (en) 2001-09-17 2007-08-28 Hewlett-Packard Development Company, L.P. System and method for simulating fill flash in photography
US7324246B2 (en) 2001-09-27 2008-01-29 Fujifilm Corporation Apparatus and method for image processing
US20030063795A1 (en) * 2001-09-28 2003-04-03 Koninklijke Philips Electronics N.V. Face recognition through warping
JP2003107365A (ja) 2001-09-28 2003-04-09 Pentax Corp 撮影機能を有する観察装置
JP3999505B2 (ja) 2001-11-30 2007-10-31 オリンパス株式会社 カメラ
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
US7092584B2 (en) 2002-01-04 2006-08-15 Time Warner Entertainment Company Lp Registration of separations
US20030161506A1 (en) 2002-02-25 2003-08-28 Eastman Kodak Company Face detection computer program product for redeye correction
AU2003213651A1 (en) 2002-02-27 2003-09-09 Cdm Optics, Inc. Optimized image processing for wavefront coded imaging systems
JP4169522B2 (ja) 2002-03-22 2008-10-22 株式会社リコー 画像処理装置、画像処理プログラム及びこのプログラムを記憶する記憶媒体
US20030184671A1 (en) 2002-03-28 2003-10-02 Robins Mark N. Glare reduction system for image capture devices
US7149974B2 (en) * 2002-04-03 2006-12-12 Fuji Xerox Co., Ltd. Reduced representations of video sequences
US7081892B2 (en) 2002-04-09 2006-07-25 Sony Computer Entertainment America Inc. Image with depth of field using z-buffer image data and alpha blending
GB0212367D0 (en) 2002-05-29 2002-07-10 Eastman Kodak Co Image processing
US20040208385A1 (en) 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for visually enhancing images
JP3903870B2 (ja) 2002-07-29 2007-04-11 オムロンエンタテインメント株式会社 写真プリント装置制御方法、写真プリント装置制御プログラム、写真プリント装置制御プログラムを記録した記録媒体、写真プリント装置、および、プリント媒体ユニット
WO2004017088A2 (en) 2002-08-15 2004-02-26 Lc Technologies, Inc. Motion clutter suppression for image-subtracting cameras
CH695973A5 (de) 2002-08-16 2006-10-31 Alstom Technology Ltd Rotor für eine elektrische Maschine.
US7397969B2 (en) 2002-08-30 2008-07-08 Fujifilm Corporation Red eye compensation method, image processing apparatus and method for implementing the red eye compensation method, as well as printing method and printer
AU2003286453A1 (en) 2002-10-15 2004-05-04 David J. Mcintyre System and method for simulating visual defects
JP4222013B2 (ja) 2002-12-02 2009-02-12 カシオ計算機株式会社 画像修正装置、文字認識方法及び画像修正プログラム
JP3904560B2 (ja) 2003-01-09 2007-04-11 オリンパス株式会社 デジタルカメラ
DE602004015173D1 (de) * 2003-01-21 2008-09-04 Canon Kk Bildaufnahmegerät und Bildaufnahmesystem
JP2004236235A (ja) 2003-01-31 2004-08-19 Canon Inc 撮影装置
US7295720B2 (en) 2003-03-19 2007-11-13 Mitsubishi Electric Research Laboratories Non-photorealistic camera
US7206449B2 (en) 2003-03-19 2007-04-17 Mitsubishi Electric Research Laboratories, Inc. Detecting silhouette edges in images
US7103227B2 (en) 2003-03-19 2006-09-05 Mitsubishi Electric Research Laboratories, Inc. Enhancing low quality images of naturally illuminated scenes
US7218792B2 (en) 2003-03-19 2007-05-15 Mitsubishi Electric Research Laboratories, Inc. Stylized imaging using variable controlled illumination
US7359562B2 (en) 2003-03-19 2008-04-15 Mitsubishi Electric Research Laboratories, Inc. Enhancing low quality videos of illuminated scenes
US7102638B2 (en) 2003-03-19 2006-09-05 Mitsubishi Eletric Research Labs, Inc. Reducing texture details in images
JP4232498B2 (ja) 2003-03-24 2009-03-04 富士ゼロックス株式会社 被写体撮影状態判定装置、画質調整装置、及び画像撮影装置
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US7680342B2 (en) 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US7587085B2 (en) 2004-10-28 2009-09-08 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US8170294B2 (en) 2006-11-10 2012-05-01 DigitalOptics Corporation Europe Limited Method of detecting redeye in a digital image
US20050017968A1 (en) 2003-07-21 2005-01-27 Stephan Wurmlin Differential stream of point samples for real-time 3D video
US20050031224A1 (en) 2003-08-05 2005-02-10 Yury Prilutsky Detecting red eye filter and apparatus using meta-data
US20050140801A1 (en) 2003-08-05 2005-06-30 Yury Prilutsky Optimized performance and performance for red-eye filter method and apparatus
US7064810B2 (en) 2003-09-15 2006-06-20 Deere & Company Optical range finder with directed attention
JP4127675B2 (ja) 2003-12-09 2008-07-30 株式会社リコー 画像処理装置
JP4321287B2 (ja) 2004-02-10 2009-08-26 ソニー株式会社 撮影装置および撮影方法、並びに、プログラム
JP4320272B2 (ja) 2004-03-31 2009-08-26 富士フイルム株式会社 特定領域検出方法、特定領域検出装置、およびプログラム
US7657060B2 (en) 2004-03-31 2010-02-02 Microsoft Corporation Stylization of video
US7317843B2 (en) 2004-04-01 2008-01-08 Microsoft Corporation Luminance correction
US8265378B2 (en) 2004-04-15 2012-09-11 Dolby Laboratories Licensing Corporation Methods and systems for converting images from low dynamic to high dynamic range
CA2563478A1 (en) 2004-04-16 2005-10-27 James A. Aman Automatic event videoing, tracking and content generation system
US20050243176A1 (en) 2004-04-30 2005-11-03 James Wu Method of HDR image processing and manipulation
US7653255B2 (en) 2004-06-02 2010-01-26 Adobe Systems Incorporated Image region of interest encoding
US7015926B2 (en) 2004-06-28 2006-03-21 Microsoft Corporation System and process for generating a two-layer, 3D representation of a scene
US7457477B2 (en) 2004-07-06 2008-11-25 Microsoft Corporation Digital photography with flash/no flash extension
JP2006080632A (ja) 2004-09-07 2006-03-23 Ricoh Co Ltd デジタルスチルカメラ印刷システムおよびデジタルスチルカメラおよび印刷装置およびデジタルスチルカメラ印刷システムの制御方法およびデジタルスチルカメラ印刷システムのプログラム
EP1779322B1 (en) 2004-11-10 2008-01-09 Fotonation Vision Limited A digital image acquisition system having means for determining a camera motion blur function
JP2006140594A (ja) 2004-11-10 2006-06-01 Pentax Corp デジタルカメラ
US8050511B2 (en) 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
US7593603B1 (en) 2004-11-30 2009-09-22 Adobe Systems Incorporated Multi-behavior image correction tool
US7860332B2 (en) 2005-01-07 2010-12-28 Hewlett-Packard Development Company, L.P. Method and system for determining an indication of focus of an image
JP4646797B2 (ja) 2005-02-01 2011-03-09 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
US7512262B2 (en) * 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
JP2006338377A (ja) 2005-06-02 2006-12-14 Fujifilm Holdings Corp 画像補正方法および装置並びにプログラム
US20060280375A1 (en) 2005-06-08 2006-12-14 Dalton Dan L Red-eye correction method and apparatus with user-adjustable threshold
JP4498224B2 (ja) 2005-06-14 2010-07-07 キヤノン株式会社 画像処理装置およびその方法
US7574069B2 (en) 2005-08-01 2009-08-11 Mitsubishi Electric Research Laboratories, Inc. Retargeting images for small displays
JP4717562B2 (ja) 2005-09-02 2011-07-06 キヤノン株式会社 画像処理装置及び方法
US7747071B2 (en) 2005-10-27 2010-06-29 Hewlett-Packard Development Company, L.P. Detecting and correcting peteye
US7692696B2 (en) 2005-12-27 2010-04-06 Fotonation Vision Limited Digital image acquisition system with portrait mode
IES20060558A2 (en) 2006-02-14 2006-11-01 Fotonation Vision Ltd Image blurring
US7469071B2 (en) 2006-02-14 2008-12-23 Fotonation Vision Limited Image blurring
US7864989B2 (en) * 2006-03-31 2011-01-04 Fujifilm Corporation Method and apparatus for adaptive context-aided human classification
IES20060564A2 (en) * 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
KR101159830B1 (ko) 2007-03-05 2012-06-26 디지털옵틱스 코포레이션 유럽 리미티드 얼굴 위치 및 방위를 이용한 적목 거짓 양성 필터링 방법
US8212864B2 (en) 2008-01-30 2012-07-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
US8081254B2 (en) 2008-08-14 2011-12-20 DigitalOptics Corporation Europe Limited In-camera based method of detecting defect eye with high accuracy

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996190A (zh) * 2010-11-18 2014-08-20 卡西欧计算机株式会社 区域特定方法、区域特定装置、服务器及系统
CN103996190B (zh) * 2010-11-18 2017-11-24 卡西欧计算机株式会社 区域特定方法、区域特定装置及系统、服务器及记录介质
CN103608841A (zh) * 2011-05-17 2014-02-26 高通股份有限公司 使用rgbd相机的头部姿势估计
US9582707B2 (en) 2011-05-17 2017-02-28 Qualcomm Incorporated Head pose estimation using RGBD camera
TWI455040B (zh) * 2011-09-29 2014-10-01 Mediatek Singapore Pte Ltd 前景物件偵測方法與裝置及背景偵測方法與裝置
CN107665482A (zh) * 2017-09-22 2018-02-06 北京奇虎科技有限公司 实现双重曝光的视频数据实时处理方法及装置、计算设备
CN107665482B (zh) * 2017-09-22 2021-07-23 北京奇虎科技有限公司 实现双重曝光的视频数据实时处理方法及装置、计算设备
CN107610124A (zh) * 2017-10-13 2018-01-19 中冶赛迪技术研究中心有限公司 一种炉口图像预处理方法
CN107610124B (zh) * 2017-10-13 2020-03-31 中冶赛迪技术研究中心有限公司 一种炉口图像预处理方法
CN107832766A (zh) * 2017-10-30 2018-03-23 北京小米移动软件有限公司 高光区域的确定方法、装置、设备和存储介质
CN107832766B (zh) * 2017-10-30 2021-07-23 北京小米移动软件有限公司 高光区域的确定方法、装置、设备和存储介质

Also Published As

Publication number Publication date
US20130208979A1 (en) 2013-08-15
KR20120032524A (ko) 2012-04-05
US20070269108A1 (en) 2007-11-22
US9117282B2 (en) 2015-08-25
WO2007131140A3 (en) 2008-12-04
US20160078630A1 (en) 2016-03-17
US8358841B2 (en) 2013-01-22
KR101277229B1 (ko) 2013-06-26
JP2009536417A (ja) 2009-10-08
US9684966B2 (en) 2017-06-20
US20100329549A1 (en) 2010-12-30
IES20060564A2 (en) 2006-11-01
KR101266817B1 (ko) 2013-05-23
WO2007131140A2 (en) 2007-11-15
US8363908B2 (en) 2013-01-29
JP5087614B2 (ja) 2012-12-05
CN101443791B (zh) 2012-05-30
EP2016530A2 (en) 2009-01-21
EP2016530A4 (en) 2012-05-02
KR20090007779A (ko) 2009-01-20

Similar Documents

Publication Publication Date Title
CN101443791B (zh) 用于在数字图像中的前景和背景之间提供分离的方法和设备
Dorj et al. An yield estimation in citrus orchards via fruit detection and counting using image processing
CN110956094B (zh) 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
US10089740B2 (en) System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
Arévalo et al. Shadow detection in colour high‐resolution satellite images
US7929756B2 (en) Method for classifying a digital image
US9672434B2 (en) Video-based system and method for parking occupancy detection
JP5432714B2 (ja) 構図解析方法、構図解析機能を備えた画像装置、構図解析プログラム及びコンピュータ読み取り可能な記録媒体
CN110210276A (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
WO2016175234A1 (ja) 色画像処理方法、色画像処理プログラム、物体認識方法及び装置
CN102567727A (zh) 一种背景目标替换方法和装置
EP2124194B1 (en) Method of detecting objects
CN108921857A (zh) 一种面向监视场景的视频图像焦点区域分割方法
Ulhaq et al. FACE: Fully automated context enhancement for night-time video sequences
CN114022823A (zh) 一种遮挡驱动的行人再识别方法、系统及可存储介质
CN110348366B (zh) 一种自动化最优人脸搜索方法及装置
JP5965764B2 (ja) 映像領域分割装置及び映像領域分割プログラム
Ngoc et al. Document detection in videos captured by smartphones using a saliency-based method
CN111612797B (zh) 一种水稻图像信息处理系统
KR102040562B1 (ko) 영상정보를 활용한 시정거리 추정 방법
Bertozzi et al. Multi stereo-based pedestrian detection by daylight and far-infrared cameras
Ben Shitrit et al. Tracking multiple players using a single camera
Das et al. A survey on shadow detection and removal in images
Al-Shalfan Auto Vehicle Driving Assistance
Szwoch et al. Identification of regions of interest in video for a traffic monitoring system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: TSAPLYA TECHNOLOGY IRELAND CO., LTD.

Free format text: FORMER OWNER: FOTONATION VISION LTD.

Effective date: 20110126

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20110126

Address after: Gore County, Ireland

Applicant after: Tessera Tech Ireland Ltd.

Address before: Gore County, Ireland

Applicant before: Fotonation Vision Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee

Owner name: DIGITAL OPTICAL EUROPE CO., LTD.

Free format text: FORMER NAME: TSAPLYA TECHNOLOGY IRELAND CO., LTD.

CP01 Change in the name or title of a patent holder

Address after: Gore County, Ireland

Patentee after: Digitaloptics Corporation Europe Limited

Address before: Gore County, Ireland

Patentee before: Tessera Tech Ireland Ltd.

C56 Change in the name or address of the patentee

Owner name: KUAITU CO., LTD.

Free format text: FORMER NAME: DIGITAL OPTICAL EUROPE CO., LTD.

CP01 Change in the name or title of a patent holder

Address after: Gore County, Ireland

Patentee after: DIGITALOPTICS CORPORATION EUROPE LIMITED

Address before: Gore County, Ireland

Patentee before: Digitaloptics Corporation Europe Limited