CN105741232B - 用于图像编辑的基于深度图的对象的自动按比例缩放 - Google Patents
用于图像编辑的基于深度图的对象的自动按比例缩放 Download PDFInfo
- Publication number
- CN105741232B CN105741232B CN201510896566.1A CN201510896566A CN105741232B CN 105741232 B CN105741232 B CN 105741232B CN 201510896566 A CN201510896566 A CN 201510896566A CN 105741232 B CN105741232 B CN 105741232B
- Authority
- CN
- China
- Prior art keywords
- target
- depth
- target object
- image
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 24
- 230000004044 response Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 14
- 241000406668 Loxodonta cyclotis Species 0.000 claims description 4
- 210000003127 knee Anatomy 0.000 claims 1
- 230000000903 blocking effect Effects 0.000 abstract 2
- 238000007689 inspection Methods 0.000 abstract 2
- 238000005516 engineering process Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明涉及用于图像编辑的基于深度图的对象的自动按比例缩放，并且提出了移动或复制到目标对象位置的图像对象的自动按比例缩放。接收初始图像及其深度图，在初始图像内，用户选择初始对象和该对象被移动或复制到的目标位置。找出按比例缩放的中心，并选择基准位置，在目标位置将获得在所述基准位置的深度值，供按比例缩放之用。随后响应于初始对象深度和目标对象深度之间的比例，按比例缩放目标对象。进行遮挡检查，在遮挡检查之后，未被遮挡的像素被粘贴到目标位置，从而完成比例适当并且考虑到周围结构的移动/复制。
Description
技术领域
本公开涉及把对象从图像内移动或复制到相同图像的其它部分或者其它图像，更具体地，涉及粘贴其大小响应于深度图被按比例缩放的对象的改进处理。
背景技术
在编辑图像时，常常希望在图像内移动对象，或者从一个图像中复制/剪切该对象，然后将其粘贴到另一个图像上。该处理通常涉及以下步骤：(a)从对象的初始位置复制或剪切所述对象，(b)把所述对象粘贴到相同图像中的另一个位置，或者粘贴到另一个图像中的位置。不过，在许多情况下，移动/复制的图像在作为结果的图像中显得不自然。
因而，需要提供更逼真结果的对象移动/复制操作。
发明内容
图像编辑功能需求很大，尤其是考虑到其摄像头日益高级的现代移动电话的广泛普及。一种这样的图像编辑功能是把对象从图像移动或复制到相同图像中的另一个位置或另一个图像。为了使作为结果的图像更逼真，重要的是使所述对象相对于其周围事物被大小适当地显示。本技术公开描述一种当在图像内识别的对象的粘贴或嵌入(移动/复制)时的按比例缩放处理。
在说明书的以下部分中，将说明本技术的其它方面，其中详细的说明用于充分公开本技术的优选实施例，而不是对其加以限制。
附图说明
参考只是用于举例说明的以下附图，将更充分地理解本技术：
图1是拍摄图像中的像素的浓度值的含意的图像呈现。
图2A和图2B是表示当把对象从一个屏幕位置移动到另一个屏幕位置时会可能出现的按比例缩放问题的图像呈现。
图3是按照本技术的实施例，在目标位置按比例缩放对象的方框图。
图4A-图4C是按照本技术的实施例的不同按比例缩放解决情况的曲线图。
图5是按照本技术的实施例的解决在图像边界之外的按比例缩放的曲线图。
图6是按照本技术的实施例，把对象移动/复制到受到遮挡的目标位置的方框图。
图7是按照本技术的实施例的按比例缩放被移动/复制到目标图像位置的处理的流程图。
具体实施方式
当嵌入对象时，所述对象的某些特征需要被调整，以致最终的编辑后图像看起来自然。这些调整包括对象的比例，和在其新位置的对象的任何部分的遮挡。在一些情况下，可利用公开的使用深度信息的方法，自动进行这些调整。
本公开同时处理所有这些调整，从而允许其中用户意欲通过利用光标或者触摸屏上的手指的对象的简单移动，在当前场景内移动对象或者把所述对象放入不同场景中的图像应用中的完全自动化，由此用户能够实时或近实时地看到这些移动的结果。
应意识到拍摄的场景的数字图像一般包含大量的像素。对于每个像素，数字摄像头获得关于在场景中的某个点的对象的颜色信息，所述点的图像是在所述像素形成的。
在一些情况下，对于图像像素，除了像素的颜色信息之外，还可获得或者可确定深度信息(Z方向)。应注意术语“深度”这里被认为是透镜面和其颜色由所述像素捕捉的场景中的点之间的距离。
图1图解说明摄像参数的例证实施例10，其中对象点12的深度值14是相对于摄像设备18的透镜面16来看的，所述摄像设备18具有在透镜面16上的透镜22，所述透镜22把对象图像引导到光学检测器平面24上。应意识到透镜面16是位于透镜位置的垂直于透镜轴20的平面。
当对于场景的图像可获得像素深度值时，所有像素的深度值构成称为图像的深度图的图。在本公开中，所述深度图用于对移动/复制的对象图像进行一个或多个自动操作的基础。
本公开的至少一个实施例在目标应用中进行工作，在该目标应用中，用户通过在显示图像的触摸屏上触摸在对象内某处的点‘O’来确认所述对象。用户随后把所述点O移到其最终位置O′，好像向所述对象附加了虚拟句柄似的。
假定对于给定图像以及对于最终的目标图像(如果最终的目标图像不同于初始图像的话(例如，在对象复制操作中))，可以获得深度图。该对象在图像中的位置由对象遮罩(mask)指定，该对象遮罩指定属于所关心的对象的各个像素。
要注意图像的不同区域表示不同的深度。作为示例性且非限制性例子，在具有平坦地面的房间的图像中，在相框中较低的位置处接触地面的对象更靠近摄像头。应认识到拍摄更远离的对象的图像将显得比在较小深度拍摄的相同对象的图像小。从而，在把对象从第一深度位置移动到不同的第二深度位置时，优选的是按比例缩放对象大小，以校正这种成像透视。为了进行这种按比例缩放，指定了比例系数‘s’，其中：s＜1指定了对象的缩小，而s＞1指定了对象的放大。
按比例缩放的重要方面是比例缩放的中心。接近该点则完成缩小，而远离该点则完成放大。在目标应用中，理想的是比例缩放的中心为O′。
当把对象移动到新位置，并按照其新的深度值按比例缩放该对象时，出现的一个问题是：应从何处获得所述新的深度值。在对象在图像中的新位置，该对象覆盖图像区域，该图像区域中的各个像素可能具有不同的深度值。问题是该区域中的哪个点的深度应被用于按比例缩放。是否应使用在点O′处的背景图像的深度？通常，在对象在目标图像中的新位置，在对象被恰当地按比例缩放之后，该对象应该直立在表面上，并且按比例缩放之后的对象的最低点应该接触该表面。这意味按比例缩放之后的对象的最低点和目标图像中的相同点应具有相同的深度值。这暗示了在按比例缩放之后该对象被放置在其上的图像区域中的最低点的深度应当被用来获得用于按比例缩放的新深度。于是，O′通常不是获得用于按比例缩放的深度值的良好点，因为如果按照在位置O′处的深度按比例缩放对象，那么在对象的底部处的图像的深度可能最后不同于图像的深度，对象的最低点可能看来似乎具有与在相同点处的背景图像的深度不同的深度。例如，这会产生对象浮在空中的现象，或者未与对象到摄像头的距离成比例地缩放所述对象的现象。
图2A图解说明关于当把对象从图像中的一个位置移动到另一个位置时的适当按比例缩放的效果的场景例子30。在图2A中，人们可看到人形对象32在被移动之前在图像的下部中接触地面(如在左侧所示)，以及相同人物对象34在被移动和按比例缩放之后在房间中更后面的地方接触地面。在图2A中，在点O′和B′处的背景图像的深度值近似相同，因此把在O′处的深度用于按比例缩放不会产生问题。图2B图解说明关于当把对象从图像中的一个位置移动到另一个位置时的不适当按比例缩放的效果的场景例子30。在图2B中，人物对象34被移动，以致在移动之后，当按照在点O′处的深度按比例缩放时，底部在桌子36之上/上方的更近的深度区域中。这表现出利用在O′处的深度进行按比例缩放使人物对象呈现玩偶的大小。这是因为按比例缩放是根据在点O′处的深度值，而不是在点B′处的深度值完成的。这指示应使用在点B′处的图像的深度按比例缩放对象，而不是在点O′处的图像的深度按比例缩放对象。
为了解决该问题，本公开选择按比例缩放之后的对象的底部点的深度值，用于背景图像中的对象按比例缩放。参见图2A和图2B，人物对象34的最低点是点B′。
然而，出现问题，因为按比例缩放取决于新的深度值，而新的深度值取决于点B′的位置，点B′的位置又取决于比例系数。因此比例系数取决于新的深度，而新的深度又取决于比例系数，从而出现应如何确定相互关联的新的深度和比例系数两者的问题。
按照本公开，通过既不只是使对象“悬在空中”，又不以对象最后在其最终位置被不相称地按比例缩放的方式来按比例缩放所述对象，使对象在场景中的新位置的缩放比例的确定自动化。如果假定对象应“着陆”在下面的对象/背景上，那么方法被配置成找出表面上的“着陆”点，并相应地调整该对象的缩放比例。
通常，假定应使对象的底部部分着陆。从而，如果接触点位于对象遮罩的底部，那么根据比例系数：s＝(在初始位置的初始深度)/(在移动后的位置的新深度)，能够得到对象在其新位置的精确缩放比例。
对象的遮罩随后被重新计算成新的遮罩。如果s＜1，那么遮罩将被缩小，而如果s＞1，那么遮罩将被放大。在至少一个实施例中，围绕接触点进行缩小/放大，不过可以利用其它点，而不脱离本技术的教导。对象的图像从而按照新的遮罩被重新按比例缩放。这里说明的方法是用于找出比例系数和新的深度(从而确定点B′)两者的方法，尽管比例系数和新的深度彼此相互关联。
图3图解说明表示具有接触点O和最低点B的对象52到具有接触点O′和最低点B′的对象54的按比例缩放的例证图像50。在本例中，假定用户想要移动对象52，并且已选择(例如，响应用户手指接触触摸屏进行的选择)图像中的对象上的点O。还假定用户已经类似地选择了点O′作为对象52的移动目标点。应意识到尽管本例描述在相同图像中移动对象，不过本公开也适用于把对象从一个图像复制/剪切到另一个图像的情况。
在新位置54的点O′处，通过设想一致缩放(缩放比例为1)，能够描绘移动后的对象的边界。对象52的最低点被认为是点B，而在缩放系数为1的情况下，移动后的对象的边界的最低点被称为点B′。B的深度图值可被表示成DB。一直线被从O′到B′画出，并进一步延伸到图像之外。该直线与图像的下边界的交点是点C。
对于沿着连接点O′和C的直线的任意点‘P’，我们用x表示图像中在P和O′之间的距离。另外，我们用xmax表示O′和C之间的距离，用b表示图像中在O′和B′之间的距离。
对于任意点P，可以计算两个不同的深度：(a)从深度图获得的深度D1(x)，和(b)假定按系数s(P)＝x/b比例缩放对象，可计算的深度，其中该计算的深度是Dc(x)＝DB/s(P)＝DB b/x。要认识到D1(x)和Dc(x)是关于x的两个函数。为了按比例缩放，这两个值应相等。通过设定D1(x)＝Dc(x)，并求解作为结果的等式，得出x(这导致以下设定被求解以得出x)，获得x的值，从而获得P：
D1(x)＝DB b/x (1)
由于D1(x)是根据经验数据获得的，因此x是根据数字而不是分析确定的，并且该确定对应于找出两条曲线的D1(x)和Dc(x)的一个或多个交点。式1可提供一个解，不止一个解，或者根本不提供任何解。式1的每个解产生一个x值，该x值产生按比例缩放之后的被移动对象的底部的位置。
知道x的值，那么本方法能够确定比例系数s＝x/b。根据x，本方法还可以按照DBb/x，得到按比例缩放之后的底部点的深度。
图4A到图4C描述不同解情况的例证曲线图。在单一解的情况下，得到其中从两条曲线的交点，唯一地获得x的一个解。在图4A中，可以看到计算的曲线Dc(x)＝DB b/x和源自深度图的深度D1(x)在关于x的解之处相交。
在存在不止一个解的情况下，如图4B中所示，任何得到的x值都有效，每个x值产生适当的比例系数。不过，如果实时并且连续多步地进行对象移动，那么在x的有效值之中，最好选择最接近于前一步骤的x值的有效值。
在不存在关于x的解的情况下，如图4C中所示，这意味按比例缩放之后的移动后对象的底部落到图像之外。例如，这意味移动后对象的底部在通过O′和C的直线上，但是位于与C相比更远离O′之处。这指出对象应被放大到对象的底部落到图像之外的程度，从而该底部将不可见。
在这种情况下，本方法被配置成向x赋予大于xmax的任意值。不过，通常优选的是不选择过于大于xmax的x，因为这样的选择产生极大的比例系数。即使在存在一个或多个解的情况下，本公开的方法也能够类似于无解情况，选择向x赋予大于xmax的值。不过，看起来好像这样的赋值不可取，因为它们会导致过大的比例系数，从而导致较大的对象。
图5是表示其中解在x＝xmax之外的情况的曲线图。虚线指示深度超出图像极限C的地方。于是，除无解情况之外，优选的是不向x赋予大于xmax的值。
在至少一个优选实施例中，用户可被给予他们想要如何呈现所述对象的选择余地，比如在提供适当按比例缩放的参考的情况下，x超过xmax的程度。
在得到关于对象的适当x(以及比例系数s)和在移动后的对象的底部点处的深度之后，本方法得到移动后的对象上的所有其它点的深度值，并改变对象像素的深度值。
这是通过向移动前的初始对象上的所有像素的所有测得的深度值增加Δd＝DBb/x-DB来完成的。对于底部点，这将产生DB+DB b/x-DB＝DB b/x。
本公开的方法还处理在比被移动/复制的对象小的深度处出现的遮挡的情况。在计算移动后的对象上的所有像素的深度值之后，对于移动后的对象上的任意给定像素，提供新的深度值。然而对于将被移动后对象覆盖的图像上的任意点，还存在来自深度图的深度。
如果对于任意像素，被覆盖像素的深度值小于移动后的对象的新的深度值，那么本方法把该对象显示成在该点被遮挡，从而该像素不应被复制到图像。
图6是对象遮挡的例子。初始对象52将被移动到新的位置，作为对象54。在本例中，移动到新的位置包括按比例缩放；仍然由所提出的技术处理遮挡，无论按比例缩放的量如何。考虑图6，对象56(条)具有比在被移动的对象处会出现的深度值小的深度值，从而该被移动的对象被遮挡，并且在遮挡的区域中不呈现该对象的部分。
图7图解说明根据深度图自动按比例缩放对象的所提出的技术的实施例。选择初始对象，以及选择70该对象将作为目标对象被移动或复制到的目标位置。对于单一图像(如果初始对象和目标对象位置在相同图像帧中)，或者对于两个图像(如果初始对象和目标对象位置在不同图像帧中)，获得72深度图。提供步骤74-78，以解出目标对象的彼此关联的比例系数和定位，因为会意识到定位影响按比例缩放，并且反过来按比例缩放影响定位。对于该对象，确定74按比例缩放的中心。选择76依据其评估对象深度的基准位置，比如对象的底部(假定认为该对象被放置在对象表面上，比如地面上)。响应初始对象深度和利用在本公开中说明的方法确定的在底部点处的目标对象深度之间的比例，并考虑到对象是否从图像中伸出，按比例缩放78目标对象。判定80目标对象是否被在目标位置的任何其它对象遮挡，从而只有按比例缩放后的目标对象的不被遮挡像素才被移动/复制82到目标位置。
应意识到这里提出的技术可用在各种应用中，比如每当进行图像处理，以把图像对象从图像上的一个位置移动到所述图像上的另一个位置或另一个图像时。优选在具有为处理拍摄图像而配置的计算机处理器(例如CPU、微处理器、微控制器、计算机允许的ASIC等)和存储器(例如，RAM、DRAM、NVRAM、闪存、计算机可读介质等)的电子设备上执行关于所述处理概述的各个步骤。可在摄像机、移动电话，以及配置有适合于接收图像和关于图像的深度信息的处理器的其它电子设备(例如，计算机系统、膝上型计算机、平板计算机、掌上电脑)上，容易地实现公开的设备和方法。应意识到即使对于处理资源有限的电子设备，比如移动电话，这里提出的简单技术也特别适合。为了例示的简单起见，图中未描述计算机和存储设备，因为本领域的普通技术人员认识用于计算机设备的执行与图像/视频编码和解码有关的各个步骤的应用。就存储器和计算机可读介质来说，提出的技术无限制，只要这些存储器和计算机可读介质是非临时性的，从而不构成短暂的电子信号即可。
可参考按照所公开技术的实施例的方法和系统的流程图，和/或也可被实现成计算机程序产品的算法、公式或其它计算描述，说明本发明的实施例。在这方面，流程图的各个方框或步骤，和流程图、算法、公式或计算描述中的方框(和/或步骤)的组合可用各种装置，比如硬件、固件和/或包括包含在计算机可读程序代码逻辑中的一个或多个计算机程序指令的软件实现。将意识到任何这样的计算机程序指令可被加载到计算机上，包括(但不限于)通用计算机或专用计算机，或者其它可编程处理设备，从而产生机器，以致在计算机或其它可编程处理设备上运行的计算机程序指令形成用于实现在流程图的方框中指定的功能的装置。
因而，流程图、算法、公式或计算描述的方框支持完成规定功能的装置的组合，完成规定功能的步骤的组合，和完成规定功能的计算机程序指令，比如包含在计算机可读程序代码逻辑装置中的计算机程序指令。还要明白流程图、算法、公式或计算描述的各个方框，或者这里说明的它们的组合可利用实现指定功能或步骤的基于专用硬件的计算机系统，或者专用硬件和计算机可读程序代码逻辑装置的组合实现。
此外，这些计算机程序指令，比如包含在计算机可读程序代码逻辑中的计算机程序指令也可被保存在计算机可读存储器中，所述计算机可读存储器可指令计算机或其它可编程处理设备按特定方式工作，以致保存在计算机可读存储器中的指令产生制造品，所述制造品包括实现在一个或多个流程图的一个或多个方框中规定的功能的指令装置。计算机程序指令也可被加载到计算机或者其它可编程处理设备上，以在计算机或其它可编程处理设备上进行一系列的操作步骤，从而产生计算机实现的处理，以致在计算机或其它可编程处理设备上执行的指令提供用于实现在一个或多个流程图的一个或多个方框、一个或多个算法、一个或多个公式或一个或多个计算描述中指定的功能的步骤。
另外，要理解这里使用的“程序”指的是可由处理器运行，从而实现这里说明的功能的一条或多条指令。程序可体现在软件中，体现在固件中，或者体现在软件和固件的组合中。程序可在设备本地被保存在非临时性介质中，或者可被远程保存，比如保存在服务器上，或者所有或一部分的程序可被本地保存和远程保存。远程保存的程序可依据用户发起，被下载(推送)到设备，或者基于一个或多个因素被自动下载(推送)到设备。另外要理解这里使用的术语处理器、中央处理器(CPU)和计算机是同义地使用的，以表示能够执行程序，和与输入/输出接口和/或外设通信的设备。
根据这里的说明，应理解本公开包含多个实施例，所述多个实施例包括(但不限于)以下实施例：
1.一种自动按比例缩放被从初始对象移动或复制到目标对象的图像对象的设备，该设备包括：(a)配置成用于接收和处理图像的计算机处理器；和(b)该计算机处理器还被配置为：(b)(i)接收图像中的初始对象和目标位置的选择，该初始对象将被移动/复制成在所述目标位置的目标对象；(b)(ii)获得或接收包含初始对象和目标对象位置的图像的深度图；和(b)(iii)响应于以下内容来确定目标对象的相互关联的比例系数和定位：(b)(iii)(A)确定目标对象的按比例缩放的中心；(b)(iii)(B)选择初始对象上的基准位置，在目标位置将获得在该基准位置处的深度值，供按比例缩放之用；和(b)(iii)(C)响应于初始对象深度和目标对象深度之间的比例，在目标位置处，围绕按比例缩放的中心按比例缩放目标对象，并把所述目标对象的像素粘贴到所述目标位置；(iv)从而相对于其周围事物，大小适当地显示目标对象。
2.按照任意前述实施例所述的设备，其中该计算机处理器还被配置为确定在目标位置处在目标对象上的任何遮挡，和仅将目标对象的不被遮挡的像素移动到目标位置。
3.按照任意前述实施例所述的设备，其中该计算机处理器还被配置为响应于用户通过触摸屏界面进行初始对象和目标位置的选择，接收初始对象和目标位置的选择。
4.按照任意前述实施例所述的设备，其中该计算机处理器还被配置为生成指定属于初始对象的各个像素的对象遮罩。
5.按照任意前述实施例所述的设备，其中所述深度包含用于拍摄所述初始图像的图像拍摄设备的透镜面和被捕捉为像素的场景中的点之间的距离。
6.按照任意前述实施例所述的设备，其中所述深度图包含图像像素的深度值。
7.按照任意前述实施例所述的设备，其中该计算机处理器还被配置为在与所述目标对象位置相关联的深度处把所述目标对象位置结合到其背景，从而使得所述目标对象呈现为放置在所述目标对象位置处的另一个对象上。
8.按照任意前述实施例所述的设备，其中所述按比例缩放的中心包括当把所述初始对象按比例缩放成所述目标对象时，围绕其进行放大或缩小的所述目标对象中的点。
9.按照任意前述实施例所述的设备，其中该计算机处理器还被配置为响应于确定初始对象的底部，在初始对象上选择基准位置。
10.按照任意前述实施例所述的设备，其中该计算机处理器还被配置为通过把任意点P的两个不同深度值确定为从深度图获得的深度D1(x)和假定按比例系数s(P)＝x/b比例缩放对象的计算出的深度，该计算出的深度为Dc(x)＝DB/s(P)＝DB b/x，并求解值x并因此确定比例系数s(P)，在目标位置按比例缩放目标对象，其中值b是初始对象的原点和底部之间的距离，DB是初始对象的底部的深度值。
11.按照任意前述实施例所述的设备，其中所述设备包括配置成接收图像的个人计算机，膝上型计算机，平板计算机，掌上电脑，以及配置成拍摄图像的摄像机和移动电话。
12.一种自动按比例缩放被从初始对象移动或复制到目标对象的图像对象的设备，该设备包括：(a)配置成用于接收和处理图像的计算机处理器；和(b)该计算机处理器还被配置为：(b)(i)接收图像中的初始对象和目标位置的选择，该初始对象将被移动/复制成在所述目标位置的目标对象；(b)(ii)获得或接收包含初始对象和目标对象位置的图像的深度图；和(b)(iii)响应于以下内容来确定目标对象的位置的相互关联的比例系数和定位：(b)(iii)(A)确定目标对象的按比例缩放的中心；(b)(iii)(B)选择初始对象的底部作为初始对象上的基准位置，在目标位置将获得在该基准位置处的深度值，供按比例缩放之用；和(b)(iii)(C)响应于初始对象深度和目标对象深度之间的比例，在目标位置处，围绕按比例缩放的中心按比例缩放目标对象，并把所述目标对象的像素粘贴到所述目标位置；(iv)其中确定目标对象的相互关联的比例系数和定位包括把任意点P的两个不同深度值确定为从深度图获得的深度D1(x)和假定按比例系数s(P)＝x/b比例缩放对象的计算出的深度，其中计算出的深度为Dc(x)＝DB/s(P)＝DB b/x，并确定值x并因此确定比例系数s(P)，其中值b是初始对象的原点和底部之间的距离，DB是初始对象的底部的深度值；和(v)从而相对于其周围事物，大小适当地显示目标对象。
13.按照任意前述实施例所述的设备，其中该计算机处理器还被配置为确定在目标位置处在目标对象上的任何遮挡，和仅将目标对象的不被遮挡的像素移动到目标位置。
14.按照任意前述实施例所述的设备，其中该计算机处理器还被配置为响应于用户通过触摸屏界面进行初始对象和目标位置的选择，接收初始对象和目标位置的选择。
15.按照任意前述实施例所述的设备，其中该计算机处理器还被配置为响应于用户通过触摸屏界面进行初始对象和目标位置的选择，接收初始对象和目标位置的选择。
16.按照任意前述实施例所述的设备，其中所述深度包含用于拍摄所述初始图像的图像拍摄设备的透镜面和被捕捉为像素的场景中的点之间的距离。
17.按照任意前述实施例所述的设备，其中所述深度图包含图像像素的深度值。
18.按照任意前述实施例所述的设备，其中该计算机处理器还被配置为在与所述目标对象位置相关联的深度处把所述目标对象位置结合到其背景，从而使得所述目标对象呈现为放置在所述目标对象位置处的另一个对象上。
19.一种自动按比例缩放被从初始对象移动或复制到目标对象的图像对象的方法，所述方法包括：(a)在具有计算机处理器的图像处理设备内，接收图像中的初始对象和目标位置的选择，该初始对象将被移动/复制成在所述目标位置的目标对象；(b)获得或接收包含所述初始对象和目标对象位置的图像的深度图；和(c)响应于以下内容来确定目标对象的相互关联的比例系数和定位：(c)(i)确定目标对象的按比例缩放的中心；(c)(ii)选择初始对象上的基准位置，在目标位置将获得在该基准位置处的深度值，供按比例缩放之用；和(c)(iii)响应初始对象深度和目标对象深度之间的比例，在目标位置，围绕按比例缩放的中心按比例缩放目标对象，并把所述目标对象的像素粘贴到所述目标位置；(d)从而相对于其周围事物，大小适当地显示目标对象。
尽管这里的说明包含许多细节，不过这些细节不应被理解成限制本公开的范围，而应被理解成仅仅提供目前优选的实施例中的一些实施例的例示。于是，要意识到本公开的范围完全包含对本领域的技术人员来说显然的其它实施例。
在权利要求书中，单数地引用某个要素并不用来意味“唯一的一个”，除非明确地这样陈述，而是意味“一个或多个”。公开的实施例的各个要素的为本领域的普通技术人员已知的所有结构等同物和功能等同物通过引用被明确地并入这里，并被权利要求书所包含。此外，本公开中的元件、组件或方法步骤都不意图奉献给公众，不论所述元件、组件或方法步骤是否被明确地记载在权利要求书中。这里的权利要求要素不应被解释成“装置+功能”要素，除非利用短语“用于...的装置”明确地记载该要素。这里的权利要求要素不应被解释成“步骤+功能”要素，除非利用短语“用于...的步骤”明确地记载该要素。
受版权保护的材料的公告
本专利文献中的一部分素材受美国和其他国家版权法的版权保护。版权所有人不反对任何人影印再现专利文献或专利公开，因为专利文献或专利公开出现在可公开获得的美国专利商标局文件或档案中，不过在别的方面却保留所有版权。版权所有者从而不放弃其使本专利文献保密的任何权利，包括(但不限于)其按照37 C.F.R.§1.14的权利。
Claims (19)
1.一种自动按比例缩放被从初始对象移动或复制到目标对象的图像对象的设备，该设备包括：
(a)配置成用于接收和处理图像的计算机处理器；并且
(b)该计算机处理器还被配置为：
(i)接收图像中的初始对象和目标位置的选择，该初始对象将被移动/复制成在所述目标位置的目标对象；
(ii)获得或接收包含初始对象和目标对象位置的图像的深度图；和
(iii)响应于：
(iii)(A)对于目标对象确定按比例缩放的中心，按比例缩放的中心是当把所述初始对象按比例缩放成所述目标对象时，围绕其进行放大或缩小的点；
(iii)(B)选择初始对象上的基准位置，在目标位置将获得在该基准位置处的深度值，供按比例缩放之用；和
(iii)(C)响应于初始对象深度和目标对象深度之间的比例，在目标位置处，围绕按比例缩放的中心按比例缩放目标对象，并把所述目标对象的像素粘贴到所述目标位置，
确定目标对象的相互关联的比例系数和定位；
(iv)从而相对于其周围事物，大小适当地显示目标对象。
2.按照权利要求1所述的设备，其中该计算机处理器还被配置为确定在目标位置处在目标对象上的任何遮挡，和仅将目标对象的不被遮挡的像素移动到目标位置。
3.按照权利要求1所述的设备，其中该计算机处理器还被配置为响应于用户通过触摸屏界面进行初始对象和目标位置的选择，接收初始对象和目标位置的选择。
4.按照权利要求1所述的设备，其中该计算机处理器还被配置为生成指定属于初始对象的各个像素的对象遮罩。
5.按照权利要求1所述的设备，其中所述深度包含用于拍摄所述图像的图像拍摄设备的透镜面和被捕捉为像素的场景中的点之间的距离。
6.按照权利要求1所述的设备，其中所述深度图包含图像像素的深度值。
7.按照权利要求1所述的设备，其中该计算机处理器还被配置为在与所述目标对象位置相关联的深度处把所述目标对象位置结合到其背景，从而使得所述目标对象呈现为放置在所述目标对象位置处的另一个对象上。
8.按照权利要求1所述的设备，其中所述按比例缩放的中心包括所述目标对象中的点。
9.按照权利要求1所述的设备，其中该计算机处理器还被配置为响应于确定初始对象的底部，在初始对象上选择基准位置。
10.按照权利要求9所述的设备，其中该计算机处理器还被配置为通过把任意点P的两个不同深度值确定为从深度图获得的深度D1(x)和假定按比例系数s(P)＝x/b比例缩放对象的计算出的深度，并求解值x并因此确定比例系数s(P)，在目标位置按比例缩放目标对象，其中该计算出的深度为Dc(x)＝DB/s(P)＝DB b/x，值b是初始对象的原点和底部之间的距离，DB是初始对象的底部的深度值。
11.按照权利要求1所述的设备，其中所述设备包括配置成接收图像的个人计算机，膝上型计算机，平板计算机，掌上电脑，以及配置成拍摄图像的摄像机和移动电话。
12.一种自动按比例缩放被从初始对象移动或复制到目标对象的图像对象的设备，该设备包括：
(a)配置成用于接收和处理图像的计算机处理器；并且
(b)该计算机处理器还被配置为：
(i)接收图像中的初始对象和目标位置的选择，该初始对象将被移动/复制成在所述目标位置的目标对象；
(ii)获得或接收包含初始对象和目标对象位置的图像的深度图；和
(iii)响应于：
(iii)(A)对于目标对象确定按比例缩放的中心，按比例缩放的中心是当把所述初始对象按比例缩放成所述目标对象时，围绕其进行放大或缩小的点；
(iii)(B)选择初始对象的底部作为初始对象上的基准位置，在目标位置将获得在该基准位置处的深度值，供按比例缩放之用；和
(iii)(C)响应于初始对象深度和目标对象深度之间的比例，在目标位置处，围绕按比例缩放的中心按比例缩放目标对象，并把所述目标对象的像素粘贴到所述目标位置，
确定目标对象的位置的相互关联的比例系数和定位；
(iv)其中确定目标对象的相互关联的比例系数和定位包括把任意点P的两个不同深度值确定为从深度图获得的深度D1(x)和假定按比例系数s(P)＝x/b比例缩放对象的计算出的深度，其中计算出的深度为Dc(x)＝DB/s(P)＝DB b/x，并确定值x并因此确定比例系数s(P)，其中值b是初始对象的原点和底部之间的距离，DB是初始对象的底部的深度值；和
(v)从而相对于其周围事物，大小适当地显示目标对象。
13.按照权利要求12所述的设备，其中该计算机处理器还被配置为确定在目标位置处在目标对象上的任何遮挡，和仅将目标对象的不被遮挡的像素移动到目标位置。
14.按照权利要求12所述的设备，其中该计算机处理器还被配置为响应于用户通过触摸屏界面进行初始对象和目标位置的选择，接收初始对象和目标位置的选择。
15.按照权利要求12所述的设备，其中该计算机处理器还被配置为生成指定属于初始对象的各个像素的对象遮罩。
16.按照权利要求12所述的设备，其中所述深度包含用于拍摄所述图像的图像拍摄设备的透镜面和被捕捉为像素的场景中的点之间的距离。
17.按照权利要求12所述的设备，其中所述深度图包含图像像素的深度值。
18.按照权利要求12所述的设备，其中该计算机处理器还被配置为在与所述目标对象位置相关联的深度处把所述目标对象位置结合到其背景，从而使得所述目标对象呈现为放置在所述目标对象位置处的另一个对象上。
19.一种自动按比例缩放被从初始对象移动或复制到目标对象的图像对象的方法，该方法包括：
(a)在具有计算机处理器的图像处理设备内，接收图像中的初始对象和目标位置的选择，该初始对象将被移动/复制成在所述目标位置的目标对象；
(b)获得或接收包含初始对象和目标对象位置的图像的深度图；和
(c)响应于：
(c)(i)对于目标对象确定按比例缩放的中心，按比例缩放的中心是当把所述初始对象按比例缩放成所述目标对象时，围绕其进行放大或缩小的点；
(c)(ii)选择初始对象上的基准位置，在目标位置将获得在该基准位置处的深度值，供按比例缩放之用；和
(c)(iii)响应于初始对象深度和目标对象深度之间的比例，在目标位置处，围绕按比例缩放的中心按比例缩放目标对象，并把所述目标对象的像素粘贴到所述目标位置，
确定目标对象的相互关联的比例系数和定位；
(d)从而相对于其周围事物，大小适当地显示目标对象。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/584,756 US9542722B2 (en) | 2014-12-29 | 2014-12-29 | Automatic scaling of objects based on depth map for image editing |
| US14/584,756 | 2014-12-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105741232A CN105741232A (zh) | 2016-07-06 |
| CN105741232B true CN105741232B (zh) | 2019-05-10 |
Family
ID=54843660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510896566.1A Active CN105741232B (zh) | 2014-12-29 | 2015-12-08 | 用于图像编辑的基于深度图的对象的自动按比例缩放 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9542722B2 (zh) |
| EP (1) | EP3040943B1 (zh) |
| CN (1) | CN105741232B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9779531B1 (en) * | 2016-04-04 | 2017-10-03 | Adobe Systems Incorporated | Scaling and masking of image content during digital image editing |
| CN107680164B (zh) * | 2016-08-01 | 2023-01-10 | 中兴通讯股份有限公司 | 一种虚拟对象大小调整方法和装置 |
| CN106408641B (zh) * | 2016-09-19 | 2019-10-18 | 上海玮舟微电子科技有限公司 | 一种图像数据的缓存方法和装置 |
| CN107577398B (zh) * | 2017-08-08 | 2021-03-12 | 深圳Tcl新技术有限公司 | 界面动画控制方法、设备及存储介质 |
| US11335084B2 (en) * | 2019-09-18 | 2022-05-17 | International Business Machines Corporation | Image object anomaly detection |
| US11170468B2 (en) * | 2019-12-18 | 2021-11-09 | The Boeing Company | Systems and methods of determining image scaling |
| CN112887537B (zh) * | 2021-01-18 | 2022-08-23 | 维沃移动通信有限公司 | 图像处理方法和电子设备 |
| JP7217820B1 (ja) | 2022-01-24 | 2023-02-03 | 三菱電機株式会社 | 移動量特定装置、移動量特定方法及び移動量特定プログラム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102318352A (zh) * | 2009-02-17 | 2012-01-11 | 皇家飞利浦电子股份有限公司 | 组合3d图像和图形数据 |
| CN104145479A (zh) * | 2012-02-07 | 2014-11-12 | 诺基亚公司 | 从图像去除对象 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6741259B2 (en) * | 2001-03-30 | 2004-05-25 | Webtv Networks, Inc. | Applying multiple texture maps to objects in three-dimensional imaging processes |
| US7301547B2 (en) | 2002-03-22 | 2007-11-27 | Intel Corporation | Augmented reality system |
| US7302372B1 (en) * | 2002-06-13 | 2007-11-27 | Bentley Systems, Incorporated | Technique for optimization of a simplified network model |
| US7336277B1 (en) * | 2003-04-17 | 2008-02-26 | Nvidia Corporation | Per-pixel output luminosity compensation |
| TW200707330A (en) * | 2005-07-11 | 2007-02-16 | Koninkl Philips Electronics Nv | System and method for identification of displays |
| WO2009083885A1 (en) | 2007-12-26 | 2009-07-09 | Koninklijke Philips Electronics N.V. | Image processor for overlaying a graphics object |
| JP5031641B2 (ja) * | 2008-03-31 | 2012-09-19 | 富士通株式会社 | パターンの位置合わせ方法、照合方法及び照合装置 |
| EP2675175A3 (en) * | 2008-10-03 | 2014-07-23 | Real D Inc. | Optimal depth mapping |
| US9218792B2 (en) * | 2008-12-11 | 2015-12-22 | Nvidia Corporation | Variable scaling of image data for aspect ratio conversion |
| CN101789235B (zh) * | 2009-01-22 | 2011-12-28 | 华为终端有限公司 | 一种图像处理方法及装置 |
| TW201119353A (en) | 2009-06-24 | 2011-06-01 | Dolby Lab Licensing Corp | Perceptual depth placement for 3D objects |
| JP2011029849A (ja) * | 2009-07-23 | 2011-02-10 | Sony Corp | 受信装置、通信システム、立体画像への字幕合成方法、プログラム、及びデータ構造 |
| KR20120009564A (ko) | 2010-07-19 | 2012-02-02 | 삼성전자주식회사 | 3차원 마우스 포인터 생성방법 및 생성장치 |
| EP2643972A4 (en) | 2010-11-24 | 2016-03-30 | Stergen High Tech Ltd | IMPROVED METHOD AND SYSTEM FOR THE CREATION OF THREE-DIMENSIONAL (3D) VISUALIZABLE VIDEO FROM A SINGLE VIDEO STREAM |
| KR20120055991A (ko) | 2010-11-24 | 2012-06-01 | 삼성전자주식회사 | 영상처리장치 및 그 제어방법 |
| WO2013191689A1 (en) | 2012-06-20 | 2013-12-27 | Image Masters, Inc. | Presenting realistic designs of spaces and objects |
| GB2512621A (en) * | 2013-04-04 | 2014-10-08 | Sony Corp | A method and apparatus |
| KR102245189B1 (ko) * | 2014-03-06 | 2021-04-28 | 삼성메디슨 주식회사 | 의료 영상 처리 장치 및 그에 따른 의료 영상 처리 방법 |
| US20150332464A1 (en) * | 2014-05-19 | 2015-11-19 | Occipital, Inc. | Methods for automatic registration of 3d image data |
-
2014
- 2014-12-29 US US14/584,756 patent/US9542722B2/en active Active
-
2015
- 2015-12-03 EP EP15197850.9A patent/EP3040943B1/en active Active
- 2015-12-08 CN CN201510896566.1A patent/CN105741232B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102318352A (zh) * | 2009-02-17 | 2012-01-11 | 皇家飞利浦电子股份有限公司 | 组合3d图像和图形数据 |
| CN104145479A (zh) * | 2012-02-07 | 2014-11-12 | 诺基亚公司 | 从图像去除对象 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20160189342A1 (en) | 2016-06-30 |
| EP3040943A1 (en) | 2016-07-06 |
| CN105741232A (zh) | 2016-07-06 |
| EP3040943B1 (en) | 2020-06-17 |
| US9542722B2 (en) | 2017-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105741232B (zh) | 用于图像编辑的基于深度图的对象的自动按比例缩放 | |
| JP6951400B2 (ja) | コンテンツ認識フォトフィルタを供給するための装置および方法 | |
| CN104580878B (zh) | 电子装置以及自动决定影像效果的方法 | |
| CN105320695B (zh) | 图片处理方法及装置 | |
| CN110099214A (zh) | 用于在图像重新对焦期间选择参数的用户界面 | |
| WO2019237745A1 (zh) | 人脸图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN108846900B (zh) | 提高用户在房源虚拟三维空间图中的空间感的方法及系统 | |
| US11048345B2 (en) | Image processing device and image processing method | |
| CN105391941B (zh) | 照片处理方法及装置 | |
| JP7012485B2 (ja) | 画像情報処理装置および画像情報処理方法 | |
| CN116778122A (zh) | 基于增强现实内容的方法、系统及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |