CN104145479B - 从图像去除对象 - Google Patents

从图像去除对象 Download PDF

Info

Publication number
CN104145479B
CN104145479B CN201280069262.2A CN201280069262A CN104145479B CN 104145479 B CN104145479 B CN 104145479B CN 201280069262 A CN201280069262 A CN 201280069262A CN 104145479 B CN104145479 B CN 104145479B
Authority
CN
China
Prior art keywords
image
scene
forward direction
imaging plane
shielded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280069262.2A
Other languages
English (en)
Other versions
CN104145479A (zh
Inventor
O·H·A·许韦里宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN104145479A publication Critical patent/CN104145479A/zh
Application granted granted Critical
Publication of CN104145479B publication Critical patent/CN104145479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

一种方法，包括：数子化处理来自第一视角的场景的第一图像，以识别由所述场景中的前向对象遮蔽的在成像平面处的所述场景的第一被遮蔽的部分；数子化处理来自第二视角的所述场景的第二图像，以识别由所述场景中的所述前向对象遮蔽的在所述成像平面处的所述场景的第二被遮蔽的部分；以及如果所述场景的所述第一被遮蔽的部分和所述场景的所述第二被遮蔽的部分在所述成像平面处重叠，则输出不能成功地处理所述第一图像和所述第二图像以产生没有所述前向对象的所述场景的第三合成图像的指示。

Description

从图像去除对象
技术领域
本发明的实施例涉及从图像去除对象。
背景技术
当从第一视角以及然后从偏移方位处的不同视角来获取场景的图像时，视差效应能够使得前景对象相对于背景显著地移动。
发明内容
在一些情况下能够处理此类图像以产生不含有前景对象的第三合成图像。
根据本发明的各种但未必是所有实施例，提供了一种方法，该方法包括：数子化处理来自第一视角的场景的第一图像，以识别由所述场景中的前向(forward)对象遮蔽的在成像平面处的所述场景的第一被遮蔽的部分；数子化处理来自第二视角的所述场景的第二图像，以识别由所述场景中的所述前向对象遮蔽的在所述成像平面处的所述场景的第二被遮蔽的部分；以及如果所述场景的所述第一被遮蔽的部分和所述场景的所述第二被遮蔽的部分在所述成像平面处是重叠的，则输出不能成功地处理所述第一图像和所述第二图像以产生没有所述前向对象的所述场景的第三合成图像的指示。
这提供的优点是告知所述用户是否能够去除所述前向对象，允许所述用户有机会来重新取景(re-frame)所述场景(例如，改变方位)以便能够去除所述前向对象。
根据本发明的各种但未必是所有实施例，提供了一种装置，该装置包括至少一个处理器；以及包含计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行：数子化处理来自第一视角的场景的第一图像，以识别由所述场景中的前向对象遮蔽的在成像平面处的所述场景的第一被遮蔽的部分；数子化处理来自第二视角的所述场景的第二图像，以识别由所述场景中的所述前向对象遮蔽的在所述成像平面处的所述场景的第二被遮蔽的部分；以及如果所述场景的所述第一被遮蔽的部分和所述场景的所述第二被遮蔽的部分在所述成像平面处是重叠的，则输出不能成功地处理所述第一图像和所述第二图像以产生没有所述前向对象的所述场景的第三合成图像的指示。
附图说明
为了更好地理解本发明的实施例的各种示例，现在将参照仅作为示例的附图，其中：
图1A说明了第一图像与第二图像重叠的示例；
图1B说明了已经从合成图像去除了前向对象的合成图像的示例；
图2从顶视图说明了前向对象在成像平面的前面和远端的示例；
图3从顶视图说明了前向对象在成像平面的前面和近端的示例；
图4A和图4B说明了与在图2中说明的配置相关联的第一图像和第二图像的示例；
图5A和图5B说明了与在图2中说明的配置相关联的第一图像和第二图像的示例；
图6说明了处理电路的示例；
图7说明了用于计算机程序的记录载体的示例；
图8说明了包括处理电路的成像装置的示例；
图9说明了向用户输出指示的方法的示例；
图10A说明了没有前向对象的场景的第三合成图像的产品的示例；以及
图10B说明了没有前向对象的场景的第三合成图像的产品的示例。
具体实施方式
以下描述的示例中的至少一些示例涉及(如在图9中说明的)一种方法，该方法包括：在框62，数子化处理来自第一视角的场景4的第一图像10，以识别由所述场景4中的前向对象2遮蔽的在成像平面3处的所述场景4的第一被遮蔽的部分12；在框64，数子化处理来自第二视角的所述场景4的第二图像20，以识别由所述场景4中的所述前向对象2遮蔽的在所述成像平面3处的所述场景4的第二被遮蔽的部分22；以及如果所述场景4的所述第一被遮蔽的部分12和所述场景4的所述第二被遮蔽的部分22在所述成像平面3处是重叠的，则输出不能成功地处理所述第一图像10和所述第二图像20以产生没有所述前向对象的所述场景4的第三合成图像8的指示6。
图1A说明了场景4的第一图像10的示例。已经从第一视角使场景4成像在第一图像10中。
图1A还说明了相同场景4的第二图像20的示例。已经从第二视角使场景4成像在第二图像20中。
第一视角和第二视角是不同的，使得第一图像10和第二图像20基本上重叠。
在场景4中的对象2被放置在更远的对象7的前面。在某些情况下，能够成功地处理第一图像10和第二图像20以产生如图1B中说明的没有前向对象2的场景4的第三合成图像8。使用标记2’来指示缺失的前向对象2。
以下描述的一些示例当不能成功地处理第一图像10和第二图像20以产生没有前向对象2的场景4的第三合成图像8时向用户指示。以下描述的一些示例当能够成功地处理第一图像10和第二图像20以产生没有前向对象2的场景4的第三合成图像8时向用户指示。
图2和图3说明了在第一方位11处和在第二方位21处，成像平面3处的场景4的哪些部分由前向对象2遮蔽。
第一图像10来自第一方位11，该第一方位11与用于获取第二图像20的第二方位21物理地偏移。在这个示例中，第一方位11和第二方位21在平行于成像平面3的平面中水平地偏移。
前向对象2建立了场景4的遮蔽体积，该遮蔽体积从第一方位11不能观察到以及在第一图像10中不出现。在这个体积遇到成像平面3的地方，界定了场景4的第一被遮蔽的部分12。在第一方位11处，在成像平面3处的场景4的这个部分由前向对象2所遮蔽。
前向对象2建立了场景4的遮蔽体积，该遮蔽体积从第二方位21不能观察到以及在第二图像20中不出现。在这个体积遇到成像平面3的地方，界定了场景4的第二被遮蔽的部分22。在第二方位21处，在成像平面3处的场景4的这个部分由前向对象2所遮蔽。
在图2中，前向对象2充分地远离于成像对象3，以便成像平面3位于体积5的外部，其中不能从第一方位11观察到的场景4的体积和不同从第二方位21观察到的场景4的体积重叠。因此，在成像平面3处，在成像平面3处的场景4的第一被遮蔽的部分12与在成像平面3处的场景4的第二被遮蔽的部分22是分离的和不同的。
在图2中，出于说明的目的，成像平面被分成若干垂直的带C、B、A、A’、B’、C’。在成像平面3处在这些带的前面图示说明了若干不同的远端场景特征7。仅在带A、仅在带B以及仅在带C的前面有不同的场景特征。在带A’和带B’之间的接口的前面有不同的场景特征7，以及在带B’和带C之间的接口的前面有不同的场景特征7。图4A说明了从第一方位11的视角获取的对应的第一图像10，其中前向对象垂直地延伸成条带。图4B说明了从第二方位21的视角获取的对应的第二图像20，其中前向对象垂直地延伸成条带。
参照图4A，在这个示例中，前向对象2遮蔽整个带B’。因此，在第一图像10中，仅在带A、B和带C的前面的整个的不同场景特征7是可见的。然而，在第一图像10中，在带A’和带B’之间的接口的前面的场景特征7的仅有一部分是可见的，以及在带B’和带C之间的接口的前面的场景特征7的仅有一部分是可见的。
参照图4B，在这个示例中，前向对象2遮蔽整个带B。因此，在第二图像20中，仅在带A和带C的前面的整个的不同场景特征7是可见的。在第二图像20中，在带A’和带B’之间的接口的前面的场景特征7以及在带B’和带C’之间的接口的前面的场景特征7是可见的。然而，在第二图像20中，仅在带B的前面的场景特征7是不可见的。
因此，在第一图像10或第二图像20中，在成像平面3处的所有的不同场景对象7是可见的。因此，当处理第一图像10和第二图像20以创建第三合成图像时，通过使用来自第二图像20的对应部分来替换第一图像10中在成像平面3处的场景4的第一被遮蔽部分12，能够从合成图像去除对象2。
在图3中，前向对象2充分接近成像平面3，以便成像平面3与体积5相交，其中从第一方位11不能观察到的场景4的体积与从第二方位21不能观察到场景4的体积重叠。因此，在成像平面3处，在成像平面3处的场景4的第一被遮蔽的部分12与在成像平面3处的场景4的第二被遮蔽的部分22不分离和不区分。
在图3中，出于说明的目的，成像平面被分成类似于图2的若干垂直的带C、B、A、A’、B’、C’。在这些带的前面说明了不同的远端场景特征7。在带A和带A’两者的前面有不同的场景特征7。图5A说明了从第一方位11的视角获得的对应的第一图像10，其中前向对象2是垂直条带。图5B说明了从第二方位21的视角获得的对应的第二图像20，其中前向对象2是垂直条带。
因此，成像平面3被定位在更远的对象7，该更远的对象7部分地位于至少第一被遮蔽的部分12和第二被遮蔽的部分22两者内；以及第一被遮蔽的部分12(以及分离的第二被遮蔽的部分22)。在这个示例中，成像平面3被定位在一种距离处，在该距离中，更远的对象7被检测为与第一被遮蔽的区域12的边缘重叠以及被检测为与第二被遮蔽的区域22的边缘重叠。
参照图5A，在这个示例中，前向对象2遮蔽整个带A’和带A的内部部分。因此，在第一图像10中，只有在带A的未被遮蔽的外部部分的前面的不同的场景特征7是可见的。
参照图5B，在这个示例中，前向对象2遮蔽整个带A和带A’的内部部分。因此，在第二图像20中，只有在带A’的未被遮蔽的外部部分的前面的不同的场景特征7是可见的。
因此，与带A和带A’之间的接口重叠的对象2的部分在第一图像10和第二图像20两者中被遮蔽。因此，如果处理第一图像10和第二图像20以创建第三合成图像，则将不可能从合成图像8去除对象2。
图9说明了方法60，该方法60识别类似于在图3、图5A和图5B中说明的情况，以及向用户输出指示6。然后，用户能够(只要他们希望)重新定位相机装置50以重新定位第一方位11和第二方位21。
在框62，数字化处理来自第一视角的场景4的第一图像10以识别由场景4中的前向对象2遮蔽的成像平面3处的场景4的第一被遮蔽的部分12。
在框64，数字化处理来自第二视角的场景4的第二图像20以识别由场景4中的前向对象2遮蔽的成像平面3处的场景4的第二被遮蔽的部分22。
在框64，确定场景4的第一被遮蔽的部分12与场景4的第二被遮蔽的部分22是否在成像平面3处重叠。
如果有重叠，则方法前进到框68。
在框68，因为场景4的第一被遮蔽的部分12和场景4的第二被遮蔽的部分22在成像平面3处重叠，所以有不能成功地处理第一图像10和第二图像20以产生没有前向对象2的场景4的第三合成图像8的指示6的输出。
如果在框66处没有重叠，则方法在(A)处退出以可选地执行一个或多个方法。
例如，如在图10A中说明的，在框70，有能够成功地处理第一图像10和第二图像20以产生没有前向对象2的场景4的第三合成图像8的指示的输出。该指示可以涉及在显示器中高亮对象2。
例如，如在图10B中说明的，在框72，能够自动地处理第一图像10和第二图像20以产生没有前向对象2的场景4的第三合成图像8。
在一些实施例中，框72可以替代地包括处理第一图像10和第二图像20以产生具有前向对象2呈现但是提供能够去除前向对象2的指示的场景4的第三合成图像8。然后，用户能够提供输入命令，例如通过触摸(在场景4的显示版本中)对象2。响应于用户输入命令，处理第一图像10和第二图像20以产生没有前向对象2的场景4的第三合成图像8。
参照回图9，可以执行数字化处理62第一图像10，数字化处理64第二图像20以及输出68指示，作为在捕获和存储第一图像10和第二图像20作为可检索的数据结构43(见图8)之前执行的图像合成阶段的一部分。
在一些实现方式中，方法60可以在框62的前面包括数字化处理第一图像10和第二图像20以计算用于场景4的深度图。深度图是标识至场景4内的场景特征的距离的数据结构。
深度图可以用于确定前向对象2。例如，前向对象2可以是最前面(最近)的对象。
深度图可以用于确定成像平面3。
深度图还可以或可替代地用于确定场景4的第一被遮蔽的部分12和场景4的第二被遮蔽的部分22是否在成像平面3处重叠。
例如，图2中的体积5的尖端表示成像平面3能够接近前向对象2同时仍然能够去除对象2的最近的方位的估计。如果成像平面3更远，则去除是可能的，然而，如果成像平面3较近，则去除是不可能的。使用相似三角形，从平行于成像平面3以及由第一点11和第二点21共享的平面到体积5的尖端的距离D与在该平面中第一点11和第二点21的间隔Y的比率等于从前向对象2到体积5的尖端的距离d与在平行于该成像平面的平面中前向对象2的延伸y的比率。能够根据第一图像10或第二图像20占据了多少视野范围来估计前向对象2的延伸y。第一点11和第二点21的间隔是已知的，以及距离D-d是前向对象2的距离，根据距离图该距离是已知的。因此，能够估计D。
如果成像平面3的真实距离(根据距离图知道)小于D，则场景4的第一被遮蔽的部分12和场景4的第二被遮蔽的部分22在成像平面3处重叠，以及从合成图像8去除前向对象2是不可能的。
可以针对不同的成像平面3和/或针对不同的前向对象2来重复方法60。
参照回图2和图3，可以自动地确定成像平面3的位置。
可以基于用于对第一图像10和第二图像20进行调焦的焦距设置来定位成像平面3。成像平面3可以是焦距内平面。可以使用自动调焦方法来确定焦距设置。
可替代地，可以基于第一图像10和第二图像20的处理来定位成像平面。例如，如图2中说明的，成像平面3可以被定位在一种距离处，在该距离处更远的对象7被检测为与第一被遮蔽的区域12的边缘重叠或与第二被遮蔽的区域22的边缘重叠。作为另一个示例，如图3中说明的，成像平面3可以被定位在一种距离处，在该距离处更远的对象7被检测为与第一被遮蔽的区域12的边缘重叠以及与第二被遮蔽的区域22的边缘重叠。
可替代地，成像平面3可以被定位在无穷远处。
前向对象2可以是例如用户选择的或自动选择的。
例如，前向对象2可以是在场景4中的最前面的对象。可替代地，前向对象2可以不是最前面的对象。它可以例如是防止从合成图像8去除更远的前向对象的对象7(图3)，因为它具有在第一图像10中和在第二图像20中由更远的前向对象遮蔽的部分，以及只在第一图像10(和/或只在第二图像20)中由更远的前向对象遮蔽的另外的部分。
图6说明了处理电路40，该处理电路40被配置为启用上述方法。处理电路40的实现方式能够是单独在硬件中(电路、处理器…)，单独在包含固件的软件中具有某些方面，或能够是硬件和软件(包含固件)的组合。
可以使用启用硬件功能的指令来实现处理电路40，例如通过在通用或专用处理器中使用可执行的计算机程序指令，可以将该可执行的计算机程序指令存储在计算机可读存储介质(磁盘、存储器等)上以由此类处理器来执行。
在所说明的示例中，处理电路40包括：可操作地耦合的处理器44和存储器42，以及能够存在任何数量的中间元素或中间元素的组合(包含没有中间元素)。
处理器44被配置为读写存储器42。处理器44还可以包括输出接口，由处理器44经由该输出接口来输出数据和/或命令，以及输入接口，经由该输入接口将数据和/或命令输入到处理器44。
存储器42存储包括计算机程序指令的计算机程序46，当将该计算机程序指令加载到处理器44时，该计算机程序指令控制处理器44的操作。计算机程序指令46提供逻辑和例程，该逻辑和例程使得装置能够执行所描述的方法和在图9、图10A和图10B中说明的方法。处理器44通过读取存储器42能够加载和执行计算机程序46。
因此，处理电路40包括：至少一个处理器44；和包含计算机程序代码46的至少一个存储器42，至少一个存储器和计算机程序代码被配置为使用至少一个处理器使得装置至少执行：数子化处理来自第一视角的场景4的第一图像10，以识别由所述场景4中的前向对象2遮蔽的在成像平面3处的所述场景4的第一被遮蔽的部分12；数子化处理来自第二视角的所述场景4的第二图像20，以识别由所述场景4中的所述前向对象2遮蔽的在所述成像平面3处的所述场景4的第二被遮蔽的部分22；以及如果所述场景4的所述第一被遮蔽的部分12和所述场景4的所述第二被遮蔽的部分22在所述成像平面3处是重叠的，则输出不能成功地处理所述第一图像10和所述第二图像20以产生没有所述前向对象2的所述场景4的第三合成图像8的指示6。
计算机程序可以经由任何合适的传递机制48到达装置40。传递机制48可以是例如非短暂性的计算机可读存储介质、计算机程序产品、存储设备、记录介质(诸如光盘只读存储器(CD-ROM)或数字通用光盘(DVD))、有形地具体化计算机程序46的制造品。传递机制可以是信号，该信号被配置为可靠地递送计算机程序46。装置40可以传播或传送作为计算机数据信号的计算机程序46。
虽然存储器42被说明为单个组件，但是它可以被实现成一个或多个分离的组件，该组件中的一些或所有组件可以被集成/移动和/或可以提供永久/半永久/动态/缓存的存储设备。
图8说明了成像装置500。在这个示例中，它包括：处理电路40、用户输入设备52、显示器54、第一图像传感器56A和第二图像传感器56B。
成像装置50可以是专用的成像装置，或它可以是执行包含成像的许多功能的多功能装置。
成像装置50可以例如是手持便携型的包含电池的电子装置。当使用时，手持便携型电子装置是大小适于在成人的手掌中把持的装置，可以是大小适合于放入外套的口袋中。
多功能装置的示例包含：具有图像捕获能力的移动蜂窝电话、具有图像捕获能力的个人数字助理、具有图像捕获能力的个人媒体播放器等。
第一图像传感器56A用于记录来自第一视角的第一图像10。第二图像传感器56B用于记录来自第二视角的第二图像20。第一图像传感器56A位于第一方位11，以及第二图像传感器56B位于第二点21(图2&图3)。由第一方位11和第二方位21之间的偏移提供了第一视角和第二视角之间的差异。这种偏移引入了视差。可以有引入视差的其它配置。对于成像装置50以具有两个(或更多)图像传感器56A、56B而言未必是必要的。然而，成像装置2应当能够记录具有视差的第一图像10和第二图像20。
显示器54可以是在图像被捕获和存储成存储器42中的数据结构43之前用于取景图像的取景器显示器。
虽然，用户输入设备52被说明成与显示器54分离，但是它可以与显示器集成作为触摸敏感显示器的触摸屏。
处理电路40被配置为接收来自第一图像传感器56A的第一图像10和来自第二图像传感器56B的第二图像20。它被配置为在取景显示器54上显示第一图像10和第二图像20中的一者或两者。处理电路40被配置为处理第一图像10和第二图像20，以及当不能从合成图像8去除对象2时输出指示6。该指示6可以是在取景显示器54中高亮前向对象2。
在一些实施例中，用户输入设备52可以用于用户选择，例如，前向对象的选择，或用于激活从合成图像8去除前向对象2。
在一些实施例中，处理电路40可以被配置为检测更远的对象，该更远的对象部分地位于第一被遮蔽的部分12和第二被遮蔽的部分22至少两者内；以及第一被遮蔽的部分12或第二被遮蔽的部分22；以及将成像平面3定位在所检测的更远的对象处。更远的对象可以被检测为与第一被遮蔽的区域12的边缘重叠以及与第二被遮蔽的区域22的边缘重叠。
在一些实施例中，处理电路40可以被配置为自动地检测对象，该对象具有在第一图像10中和在第二图像20中由更远的前向对象遮蔽的部分，以及具有在第一图像10和第二图像20中的至少一个图像中由更远的前向对象遮蔽的部分；以及自动地选择所检测到的对象作为前向对象2。
提及‘计算机可读存储介质’、‘计算机程序产品’、‘有形地体现的计算机程序’等等或‘控制器’、‘计算机’、‘处理器’等等应当被理解为不仅涵盖具有不同的架构的计算机，如单/多处理器架构和顺序(冯诺依曼)/并行架构，而且还涵盖专用电路，如现场可编程门阵列(FPGA)、专用集成电路(ASIC)、信号处理设备和其它处理电路。提及计算机程序、指令、代码等等应当被理解为涵盖用于可编程处理器或者固件的软件，如硬件设备的可编程内容，而无论是用于处理器的指令、还是用于固定功能设备、门阵列或可编程逻辑设备等等的配置设置。
如在本申请中使用的，术语“电路”指以下中的所有：(a)仅硬件的电路实现方式(诸如仅模拟和/或数字电路中的实现方式)；(b)电路和软件(和/或固件)的组合，诸如(如果适用)：(i)针对处理器(多个)的组合或(ii)处理器(多个)/软件(包含数字信号处理器(多个)、软件和存储器(多个)，其一起工作以使得装置(诸如移动电话或服务器)执行各种功能)的部分；和(c)电路，诸如微处理器(多个)或微处理器(多个)的一部分，其需要软件或固件以用于操作，即使软件或固件不是物理呈现的。
“电路”的这种定义应用于本申请中(包含在任何权利要求中)的这个术语的所有使用。作为又一个示例，如在本申请中使用的，术语“电路”还将覆盖仅处理器(或多个处理器)或处理器的一部分以及其(或它们的)附带的软件和/或固件的实现方式。术语“电路”还将覆盖(例如以及如果可以适用于特定要求保护的元素)用于移动电话的基带集成电路或专用集成电路或服务器、蜂窝网络设备或其它网络设备中的类似的集成电路。
如此处使用的‘模块’指不包括将由端制造商或用户添加的某些部件/组件的单元或装置。处理电路40可以是模块。
在图9、图10A和图10B中说明的框可以表示方法中的步骤和/或计算机程序46中的代码段。针对框的特定顺序的说明不是必须意味着对于框有要求或优选的顺序，并且框的顺序和布置可以变化。此外，省略一些框也是可能的。
虽然已经在前述段落中参照各种示例描述了本发明的实施例，但是应用了解的是，在不背离根据权利要求的本发明的范围的情况下，能够做出针对给定示例的修改。
在前述描述中所描述的特征可以在与不同于明确描述的组合的组合中使用。
虽然，已经参照某些特征描述了功能，但是可以由其它特征来执行那些功能而不管是否描述。
虽然已经参照某些实施例描述了特征，但是在其它实施例中也可以存在那些特征而不管是否描述。
虽然在上述说明书中力图着重于本发明被认为是特别重要的那些特征，但应当理解的是，发明人要求任何可专利特征或者附图中示出和/或指出的上述特征的组合方面的保护，而不管是否对其进行了特定的重点介绍。

Claims (41)

1.一种用于数字化处理第一图像和第二图像的方法，包括：
数字化处理来自第一视角的场景的第一图像，以识别由所述场景中的前向对象遮蔽的在成像平面处的所述场景的第一被遮蔽的部分；
数字化处理来自第二视角的所述场景的第二图像，以识别由所述场景中的所述前向对象遮蔽的在所述成像平面处的所述场景的第二被遮蔽的部分；
确定所述场景的所述第一被遮蔽的部分和所述场景的所述第二被遮蔽的部分在所述成像平面处是否是重叠的；以及
其中如果确定所述场景的所述第一被遮蔽的部分和所述场景的所述第二被遮蔽的部分在所述成像平面处是重叠的，使得所述第一图像和所述第二图像不能被处理以产生没有所述前向对象的所述场景的第三合成图像，则输出不能成功地处理所述第一图像和所述第二图像以产生没有所述前向对象的所述场景的第三合成图像的指示。
2.根据权利要求1所述的方法，其中输出所述指示包括在取景显示器中高亮所述对象。
3.根据权利要求1或2所述的方法，其中执行数字化处理所述第一图像，数字化处理所述第二图像以及输出所述指示，作为在捕获和存储所述第一图像和所述第二图像作为可检索的数据结构之前执行的图像合成阶段的一部分。
4.根据权利要求1或2所述的方法，还包括自动地确定所述成像平面。
5.根据权利要求1或2所述的方法，还包括基于焦距设置来确定所述成像平面。
6.根据权利要求1或2所述的方法，其中所述成像平面被定位在更远的对象处，该更远的对象部分地位于以下之内：至少所述第一被遮蔽的部分和所述第二被遮蔽的部分两者；以及所述第一被遮蔽的部分或所述第二被遮蔽部分。
7.根据权利要求1或2所述的方法，其中所述成像平面被定位在一种距离处，在该距离中更远的对象被检测为与所述第一被遮蔽的区域的边缘重叠以及被检测为与所述第二被遮蔽的区域的边缘重叠。
8.根据权利要求1或2所述的方法，其中所述成像平面被定位在无穷远处。
9.根据权利要求1或2所述的方法，其中所述前向对象是用户选择的。
10.根据权利要求1或2所述的方法，其中所述前向对象是自动选择的。
11.根据权利要求1或2所述的方法，其中所述前向对象是所述场景中的最前面的对象。
12.根据权利要求1或2所述的方法，其中所述前向对象不是最前面的对象，以及是具有在所述第一图像中和在所述第二图像中由更远的前向对象遮蔽的部分以及在所述第一图像和所述第二图像中的仅一个图像中由所述更远的前向对象遮蔽的部分的对象。
13.根据权利要求1或2所述的方法，还包括数字化处理所述第一图像和所述第二图像以计算用于所述场景的深度图。
14.根据权利要求1或2中所述的方法，还包括使用深度图以确定所述对象。
15.根据权利要求1或2所述的方法，还包括使用深度图以确定所述成像平面。
16.根据权利要求1或2所述的方法，还包括使用深度图通过使用在成像的场景中的所述对象的相对大小和所述对象与所述成像平面的距离来确定所述场景的所述第一被遮蔽的部分和所述场景的所述第二被遮蔽的部分是否在所述成像平面处重叠。
17.根据权利要求1或2所述的方法，其中如果背景的所述第一被遮蔽的部分和所述第二被遮蔽的部分不重叠，则输出能够成功处理所述第一图像和所述第二图像以产生没有所述前向对象的所述场景的第三合成图像的指示。
18.根据权利要求17所述的方法，其中输出能够成功处理所述第一图像和所述第二图像以产生没有所述前向对象的所述场景的第三合成图像的指示包括在显示器中高亮所述对象。
19.根据权利要求1或2所述的方法，还包括处理所述第一图像和所述第二图像以产生具有所述前向对象呈现但是提供能够去除所述前向对象的指示的所述场景的第三合成图像。
20.根据权利要求1或2所述的方法，还包括处理所述第一图像和所述第二图像以产生没有所述前向对象的所述场景的第三合成图像。
21.根据权利要求20所述的方法，还包括响应于由用户选择的所述前向对象来处理所述第一图像和所述第二图像以产生没有所述前向对象的所述场景的第三合成图像。
22.根据权利要求1，2或21所述的方法，还包括：
使用位于第一方位处的相机传感器从第一视角来记录所述第一图像；以及
使用位于与所述第一方位不同的第二方位处的所述相机传感器从第二视角来记录所述第二图像。
23.根据权利要求1，2或21所述的方法，其中通过使用在平行于所述成像平面的平面中的彼此偏移的多个传感器来提供所述第一视角和所述第二视角之间的差异。
24.根据权利要求1，2或21所述的方法，包括对于不同的成像平面，重复权利要求1，2或21任一所述方法。
25.根据权利要求1，2或21所述的方法，包括对于不同的前向对象，重复权利要求1，2或21任一所述方法。
26.一种用于数字化处理第一图像和第二图像的装置，包括用于执行权利要求1至25中的任何一项所述的方法的构件。
27.一种用于数字化处理第一图像和第二图像的装置，包括：
至少一个处理器；以及
包含计算机程序代码的至少一个存储器；
所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行：
数字化处理来自第一视角的场景的第一图像，以识别由所述场景中的前向对象遮蔽的在成像平面处的所述场景的第一被遮蔽的部分；
数字化处理来自第二视角的所述场景的第二图像，以识别由所述场景中的所述前向对象遮蔽的在所述成像平面处的所述场景的第二被遮蔽的部分；
确定所述场景的所述第一被遮蔽的部分和所述场景的所述第二被遮蔽的部分在所述成像平面处是否是重叠的；以及
其中如果确定所述场景的所述第一被遮蔽的部分和所述场景的所述第二被遮蔽的部分在所述成像平面处是重叠的，使得所述第一图像和所述第二图像不能被处理以产生没有所述前向对象的所述场景的第三合成图像，则输出不能成功地处理所述第一图像和所述第二图像以产生没有所述前向对象的所述场景的第三合成图像的指示。
28.根据权利要求27所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行：
自动地确定所述成像平面。
29.根据权利要求27或28所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行：
基于焦距设置来确定所述成像平面。
30.根据权利要求27或28所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行：
检测更远的对象，该更远的对象部分地位于以下之内：至少所述第一被遮蔽的部分和所述第二被遮蔽的部分两者；以及所述第一被遮蔽的部分或所述第二被遮蔽部分；以及
将所述成像平面定位在所检测的更远的对象处。
31.根据权利要求27或28所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行：
检测更远的对象为与所述第一被遮蔽的区域重叠以及为与所述第二被遮蔽的区域重叠；以及
将所述成像平面定位在所检测的更远的对象处。
32.根据权利要求27或28所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行：
自动地选择所述前向对象。
33.根据权利要求27或28所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行：
自动地检测具有在所述第一图像中和在所述第二图像中由更远的前向对象遮蔽的部分以及具有在所述第一图像和所述第二图像中的仅一个图像中由所述更远的前向对象遮蔽的部分的对象；以及
自动地选择所检测的对象为所述前向对象。
34.根据权利要求27或28所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行：
数字化处理所述第一图像和所述第二图像以计算用于所述场景的深度图。
35.根据权利要求27或28所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行：
使用深度图以确定所述对象。
36.根据权利要求27或28所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行：
使用深度图通过使用在成像的场景中的所述对象的相对大小和所述对象与所述成像平面的距离来确定所述场景的所述第一被遮蔽的部分和所述场景的所述第二被遮蔽的部分是否在所述成像平面处重叠。
37.根据权利要求27或28所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行：
如果背景的所述第一被遮蔽的部分和所述第二被遮蔽的部分不重叠，则输出能够成功处理所述第一图像和所述第二图像以产生没有所述前向对象的所述场景的第三合成图像的指示。
38.根据权利要求27或28所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行：
处理所述第一图像和所述第二图像以产生具有所述前向对象呈现但是提供能够去除所述前向对象的指示的所述场景的第三合成图像。
39.根据权利要求27或28所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行：
处理所述第一图像和所述第二图像以产生没有所述前向对象的所述场景的第三合成图像。
40.根据权利要求27或28所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行：
数字化处理来自所述第一视角的场景的所述第一图像，以识别由所述场景中的第二前向对象遮蔽的在第一成像平面处的所述场景的第三被遮蔽的部分；
数字化处理来自所述第二视角的场景的所述第二图像，以识别由所述场景中的所述第二前向对象遮蔽的在所述第一成像平面处的所述场景的第四被遮蔽的部分；以及
如果所述场景的所述第三被遮蔽的部分和所述场景的所述第四被遮蔽的部分在所述第一成像平面处重叠，则输出不能成功处理所述第一图像和所述第二图像以产生没有所述第二前向对象的所述场景的第三合成图像的指示。
41.根据权利要求27或28所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置至少执行：
数字化处理来自所述第一视角的场景的所述第一图像，以识别由所述场景中的第二前向对象遮蔽的在第二成像平面处的所述场景的第三被遮蔽的部分；
数字化处理来自所述第二视角的场景的所述第二图像，以识别由所述场景中的所述第二前向对象遮蔽的在所述第二成像平面处的所述场景的第四被遮蔽的部分；以及
如果所述场景的所述第三被遮蔽的部分和所述场景的所述第四被遮蔽的部分在所述第二成像平面处重叠，则输出不能成功处理所述第一图像和所述第二图像以产生没有所述第二前向对象的所述场景的第三合成图像的指示。
CN201280069262.2A 2012-02-07 2012-02-07 从图像去除对象 Active CN104145479B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2012/050556 WO2013117961A1 (en) 2012-02-07 2012-02-07 Object removal from an image

Publications (2)

Publication Number Publication Date
CN104145479A CN104145479A (zh) 2014-11-12
CN104145479B true CN104145479B (zh) 2017-10-27

Family

ID=48946952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280069262.2A Active CN104145479B (zh) 2012-02-07 2012-02-07 从图像去除对象

Country Status (4)

Country Link
US (1) US9390532B2 (zh)
EP (1) EP2786582A4 (zh)
CN (1) CN104145479B (zh)
WO (1) WO2013117961A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102039688B1 (ko) * 2013-03-14 2019-11-01 삼성전자주식회사 사용자 기기 및 그 동작 방법
US9542722B2 (en) * 2014-12-29 2017-01-10 Sony Corporation Automatic scaling of objects based on depth map for image editing
US9684965B1 (en) 2015-12-01 2017-06-20 Sony Corporation Obstacle removal using point cloud and depth map data
US10169894B2 (en) 2016-10-06 2019-01-01 International Business Machines Corporation Rebuilding images based on historical image data
CN108270978B (zh) * 2016-12-30 2021-08-13 纳恩博（北京）科技有限公司 一种图像处理方法和装置
CN106851098A (zh) * 2017-01-20 2017-06-13 努比亚技术有限公司 一种图像处理方法及移动终端
US10482359B2 (en) * 2018-01-18 2019-11-19 Google Llc Systems and methods for removing non-stationary objects from imagery
JP7080103B2 (ja) * 2018-05-16 2022-06-03 キヤノン株式会社 撮像装置、その制御方法、および、プログラム
CN109361874B (zh) * 2018-12-19 2021-05-14 维沃移动通信有限公司 一种拍照方法及终端
EP3772042A3 (en) 2019-08-02 2021-04-07 Samsung Electronics Co., Ltd. Electronic apparatus for augmented reality and control method thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012002106A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 立体画像表示装置、立体画像表示方法、立体画像表示プログラム及び記録媒体

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6157733A (en) 1997-04-18 2000-12-05 At&T Corp. Integration of monocular cues to improve depth perception
US6954498B1 (en) 2000-10-24 2005-10-11 Objectvideo, Inc. Interactive video manipulation
US20050129324A1 (en) 2003-12-02 2005-06-16 Lemke Alan P. Digital camera and method providing selective removal and addition of an imaged object
US7542034B2 (en) 2004-09-23 2009-06-02 Conversion Works, Inc. System and method for processing video images
US7555158B2 (en) * 2004-12-07 2009-06-30 Electronics And Telecommunications Research Institute Apparatus for recovering background in image sequence and method thereof
US7609888B2 (en) 2005-07-01 2009-10-27 Microsoft Corporation Separating a video object from a background of a video sequence
US8094928B2 (en) 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
US8200011B2 (en) 2007-09-27 2012-06-12 Behavioral Recognition Systems, Inc. Context processor for video analysis system
JP5263767B2 (ja) * 2008-09-26 2013-08-14 株式会社ザクティ 撮像装置及びモード適否判定方法
US9098926B2 (en) 2009-02-06 2015-08-04 The Hong Kong University Of Science And Technology Generating three-dimensional façade models from images
US20100304720A1 (en) * 2009-05-27 2010-12-02 Nokia Corporation Method and apparatus for guiding media capture
US8508580B2 (en) 2009-07-31 2013-08-13 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
US8643701B2 (en) * 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
US8515137B2 (en) 2010-05-03 2013-08-20 Microsoft Corporation Generating a combined image from multiple images
US8594425B2 (en) 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
GB2489674A (en) 2011-03-29 2012-10-10 Sony Corp 3D image generation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012002106A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 立体画像表示装置、立体画像表示方法、立体画像表示プログラム及び記録媒体

Also Published As

Publication number Publication date
US20140376830A1 (en) 2014-12-25
EP2786582A1 (en) 2014-10-08
EP2786582A4 (en) 2016-03-23
CN104145479A (zh) 2014-11-12
WO2013117961A1 (en) 2013-08-15
US9390532B2 (en) 2016-07-12

Similar Documents

Publication Publication Date Title
CN104145479B (zh) 从图像去除对象
CN107509037B (zh) 使用不同视场角摄像头拍照的方法和终端
JP4581924B2 (ja) 画像再生装置、および画像再生プログラム
JP5916566B2 (ja) 情報システム
JP6141829B2 (ja) 動画解析装置、動画解析方法、プログラム、及び集積回路
US9473702B2 (en) Controlling image capture and/or controlling image processing
CN106534692A (zh) 一种视频稳像方法及装置
CN105989581A (zh) 图像稳定设备及方法
KR102356448B1 (ko) 이미지 합성 방법 및 그 전자 장치
KR102150470B1 (ko) 촬영 조건을 설정하는 방법 및 이를 수행하는 전자 장치
CN107787463A (zh) 优化对焦堆栈的捕获
EP2821969A1 (en) Apparatus and method for generating or displaying three-dimensional image
CN104170369B (zh) 用于捕获图像的方法、设备和计算机可读存储介质
CN107111432B (zh) 图像导航
TWI595307B (zh) 手持電子裝置、全景影像形成方法及其電腦程式產品
JP2013149034A (ja) 画像表示装置、画像表示方法及びプログラム
CN110166769A (zh) 检测摄像模组输出错位的方法、装置、系统及存储介质
JP2019207541A (ja) 画像処理装置及びその方法
KR101021276B1 (ko) 영상 처리 장치
KR20130104483A (ko) 객체를 분할하여 사진을 촬영하는 방법 및 장치
US11445099B2 (en) Multi-camera device
US20230066507A1 (en) Display device
JP2013211722A (ja) 電子機器および画像再生装置
CN118158520A (zh) 影像捕捉装置及相关方法
TWI363924B (en) Handhold photographing apparatus and controlling method thereof

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160108

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

GR01 Patent grant
GR01 Patent grant