CN106664466A - 用于处理视频场景的方法和对应设备 - Google Patents

用于处理视频场景的方法和对应设备 Download PDF

Info

Publication number
CN106664466A
CN106664466A CN201580034711.3A CN201580034711A CN106664466A CN 106664466 A CN106664466 A CN 106664466A CN 201580034711 A CN201580034711 A CN 201580034711A CN 106664466 A CN106664466 A CN 106664466A
Authority
CN
China
Prior art keywords
signature
candidate
candidate target
scene
storehouse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580034711.3A
Other languages
English (en)
Inventor
V.阿利奥姆
P.朱厄特
P.鲍登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN106664466A publication Critical patent/CN106664466A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

本公开涉及一种用于处理场景的视频的方法，该方法包括：接收(S1)场景的3D表示，到所述3D表示中确定(S2)至少一个候选对象，所述至少一个候选对象包括3D点云，计算(S3)用于所述至少一个候选对象的至少一个标准的值，计算(S4)所述至少一个候选对象的签名，所述签名表示所述至少一个候选对象的3D特征，确定(S5)要移除的对象和来自库的多个候选替代对象中的替代对象，每个候选替代对象具有签名，所述确定基于签名的比较并且基于候选对象标准值，以及到所述视频场景中用所述替代对象来替换(S6)要移除的对象。

Description

用于处理视频场景的方法和对应设备
技术领域
本公开涉及视频处理的领域，并且更具体地涉及电影中的对象或产品的放置或替换的领域。
背景技术
电影产业正显示出增长趋势，即电影中的产品放置，因为它提供新的商业和新的收入来源。该产品放置可以是例如在电影中放置主要品牌的苏打水的瓶子。该操作还可以在于用其他瓶子替换电影的场景中的所有瓶子。例如，可以用水或苏打水的瓶子来替换所有酒瓶。
在使用单摄像机捕获或2D拍摄的电影产业中，通常在拍摄发生之前在视频场景中进行一次对象放置。通过后处理方法，稍后替换或添加想要的对象也是可能的，但是考虑到它可能导致的潜在成本，这是相当有挑战性的，尤其对于在遍及整个电影的众多视频场景中放置对象。
发明内容
本公开提出一种用于用要放置的对象来替换来自视频场景的对象的新方法。该方法提出对视频场景进行3D获取，并且用与具有与要替换的对象基本共同的3D特征的产品相对应的替代对象来替换视频场景的对象。它允许使隐藏表面或遮挡的出现最小化。
更具体地说，本公开涉及一种用于处理场景的视频的方法，该方法包括：
-接收场景的3D表示，
-到所述3D表示中确定至少一个候选对象，所述至少一个候选对象包括3D点云，
-计算用于至少一个候选对象的至少一个标准的值，
-计算至少一个候选对象的签名，所述签名表示所述至少一个候选对象的3D特征，
-确定要移除的对象和来自库的多个候选替代对象的替代对象，每个候选替代对象具有签名，所述确定基于签名的比较并且基于候选对象标准值，以及
-到所述视频场景中用所述替代对象来替换要移除的对象。
在具体实施例中，由用户确定用于至少一个候选对象的至少一个标准的值。
有利地，所述至少一个标准选自：
-其在场景的视频中的地理位置；
-其到场景的视频的前景中的定位；
-其在视频场景中的可见性持续时间。
这些标准的目的在于在替换步骤之后改进替代对象在最后场景中的可见性。
在具体实施例中，该库包括被分类为对象族的多个候选替代对象，并且在属于至少一个所选对象族的候选替代对象之中确定替代对象。
在具体实施例中，由用户选择所选对象族。
在具体实施例中，每个对象的签名包括称为几何特征的表示对象的几何形状的3D特征，和/或称为视点特征的表示对象的视点的3D特征。
在具体实施例中，对象的签名是以下直方图的组之中的至少一个直方图：
-视点特征直方图或VFH；
-聚类视点特征直方图或CVFH；
-点特征直方图或PFH；
-快速点特征直方图或FPFH。
在具体实施例中，通过以下步骤确定替代对象：
-比较候选对象的签名和该库的候选替代对象的签名，以及
-根据相似性标准，识别具有与候选对象的签名相同或接近的签名的该库的候选替代对象，该替代对象是该库的所识别的候选替代对象。
在另一实施例中，从多个候选替代对象的组合中生成替代对象。更具体地说，通过以下步骤生成替代对象：
-比较候选对象的签名和该库的候选替代对象的签名，以及
-根据相似性标准，识别具有与候选对象的签名接近的签名的该库的多个候选替代对象，该替代对象是该库的多个所识别的候选替代对象的组合。
在具体实施例中，该方法还包括在将它们与候选对象的签名比较之前计算该库的候选替代对象的签名的步骤。
在变型中，该库的候选替代对象的签名被预先计算并存储在库中。
在具体实施例中，在计算候选对象的签名和该库的候选替代对象的签名之前，该方法还包括用于对候选对象和/或该库的候选替代对象进行过滤的步骤，以便候选对象和该库的候选替代对象具有基本相同的点密度。
本公开还涉及一种用于处理场景的视频的设备，该设备包括：
-被配置用于接收场景的3D表示的接口，以及
-处理单元，用于到所述3D表示中确定至少一个候选对象，所述至少一个候选对象包括3D点云，用于计算用于所述至少一个候选对象的至少一个标准的值，用于计算所述至少一个候选对象的签名，所述签名表示所述至少一个候选对象的3D特征，用于确定要移除的对象和来自库的多个候选替代对象的替代对象，每个候选替代对象具有签名，所述确定基于签名的比较并且基于候选对象标准值，以及用于到所述视频场景中用所述替代对象来替换要移除的对象。
本公开还涉及包括程序代码的指令的计算机程序产品，当在计算机上执行该程序时，该程序代码的指令用于由至少一个处理器执行以进行上述方法。
附图说明
通过阅读以下描述，本公开将被更好地理解，并且其他具体特征和优点将显现，该描述参考附图，附图中：
-图1示出了根据本公开的方法的步骤的流程图；
-图2示出了根据本公开的特定实施例的作为在视频场景中要移除或插入的对象的签名的第一直方图；
-图3示出了根据本公开的特定实施例的作为在视频场景中要移除或插入的对象的签名第二直方图；
-图4示出了在实现根据本公开的方法之前和之后的视频场景；以及
-图5示出了用于实现本公开的方法的设备。
具体实施方式
本发明方法提出对要处理的视频场景进行3D获取，并且用具有基本相同的3D特征的替代对象来替换该场景的对象。
图1示出了根据本公开的方法的不同步骤。称为S1的第一步骤接收场景的3D表示。可以通过场景的获取来进行3D表示。可以通过3D或立体摄像机或者通过包括2D摄像机和激光扫描仪的装置来进行该获取。根据变型，从可获得3D数据的诸如因特网的网络中接收3D表示。
在称为S2的第二步骤中，分割场景的3D表示，以便获得要替换的多个候选对象。每个候选对象是3D点云。分割操作的常用方法在于进行以下步骤：
-使用例如RANSAC(随机采样一致性)算法来检测3D场景中的平面；
-移除属于这些平面的至少一部分的所有点，例如与墙壁相对应的大平面；以及
-使用例如基于一组点之间的欧几里得距离的标准对剩余点进行聚类；超过阈值距离的点的集合被认作不同的对象。
在步骤S2的结尾，已经确定场景中的多个候选对象。对于室内场景，候选对象例如是诸如桌子或椅子的家具，以及诸如花瓶或瓶子的装饰物品。
在称为S3的第三步骤中，评估当用替代对象来替换在步骤S2确定的候选对象时的影响。更准确地说，当前被候选对象占据的区域的影响根据其区域的各种特性(诸如在非限制性示例中，大小、在场景中的可见性持续时间、它是否被其他对象遮挡)而变化。可以由用户通过界面来进行该评估。在这种情况下，用户向用于在步骤S2确定的每个候选对象的标准分配值。
有利地，根据候选对象在视频场景中的地理位置和/或候选对象到视频场景的前景或背景中的定位的函数来计算候选对象的值。例如，对于产品放置应用而言，位于显示器的中心并且位于前景的区域比位于背景和/或位于显示器的角落的区域更引起兴趣，因为将被放置在该区域中的产品将具有更多的可见性。有利地，当用于特定候选对象的至少一个标准的值显著高于针对其他候选对象计算的值时，选择特定对象作为单个候选对象。在变型中，根据候选对象在视频场景中的存在的持续时间的函数来计算候选对象的值。对于在较长时段可见的对象而言，产品放置更引起兴趣，因为与在较短时间段可见的另一对象相比，有更多机会其将影响用户。有利地，针对候选对象来计算多个标准的值，包括候选对象在视频场景中的地理位置、候选对象到视频场景的前景或背景中的定位、候选对象在视频场景中的可见性持续时间。
在具体实施例中，针对在步骤S2在任一其变型中确定的候选对象中的每个，计算至少一个标准的值。在例如多个候选对象在前景中具有或多或少相似的定位的情况下，选择多个候选对象并保持多个候选用于产品放置是有利的。在另一示例中，第一候选对象在前景中，但其可见性持续时间短于位于背景中的第二候选对象。选择这两个候选对象并将它们保持为要移除的所选候选对象也是有利的。有利地，至少一个要移除的候选对象与其对应的标准值(即，可见性持续时间、定位，...)一起被选择，从而允许进一步相对于其他因素进行评估/排列。
在称为S4的第四步骤中，计算至少一个所选候选对象的3D签名。所计算的签名表示对象的3D特征。有利地，对象的签名包括称为几何特征的表示对象的几何形状的3D特征，和/或称为视点特征的表示对象的视点的3D特征。几何特征与对象的形状相关，例如在对象中存在边缘或平面。视点特征包括例如物体已被捕获设备拍摄的角度和/或距离。
该签名优选地是3D特征的直方图，诸如例如视点特征直方图(VFH)、聚类视点特征直方图(CVFH)、点特征直方图(PFH)或快速点特征直方图(FPFH)。在各种文献中并且尤其是在Luis A.Alexandre的文献“3Ddescriptors for Object and Category Recognition:aComparative Evaluation”中描述这些直方图。
由图2给出视点特征直方图(VFH)的示例。在该直方图中，针对多个3D特征(水平轴)来计算值(垂直轴)。在该直方图中，直方图值的左边部分与几何特征相关，而右边部分与视点特征相关。
签名包括所有这些值或它们的一部分。签名可以包括几何和视点特征值或仅包括它们的一部分或仅包括几何特征值或仅包括视点特征值。
在具体实施例中，对象的颜色信息也被结合到签名中。
图3示出了快速点特征直方图(FPFH)，其是可以用作对象的签名的直方图的另一示例。
在称为S5的第五步骤中，从库的多个候选替代对象中确定替代对象。候选替代对象优选地在库内被分类为对象族。室内场景的对象族例如为：瓶子、家具、书籍、盒子...
针对这些候选替代对象中的每个来计算签名。该签名可以被预先计算并存储在库中。在变型中，稍后在处理中计算候选替代对象的签名，以便考虑至少一个候选的点云与候选替代对象的点云之间的点密度的可能差异。
确定步骤S5基于签名和标准值的比较。在第一变型中，选择单个候选对象，并将单个候选对象的签名与库的候选替代对象的签名进行比较。具有与单个候选对象的签名相同或接近的签名的候选替代对象根据相似性标准被选择。计算单个候选对象的签名与每个候选替代对象的签名之间的距离，并且选择其签名与单个候选对象的签名具有最小距离的候选替代对象作为要移除的对象的替代对象。
在第二变型中，存在多于一个的所选候选对象，例如因为多个候选对象具有相似的标准值。在该变型中，根据相似性标准，例如签名之间的距离，将所选候选对象的签名与库的候选替代对象的签名进行比较。要移除的候选对象相对于其自身关于其标准值(例如中心地理前景定位、可见性持续时间)也被评估。换句话说，除了与候选替代对象的签名匹配之外，还评估各个候选区域的影响。当一对要移除的候选对象和候选替代对象提供具有高的标准值与在它们之间具有小的签名距离之间的最佳折衷时，选择该对要移除的候选对象和候选替代对象。
在变型中，替代对象是最接近的候选替代对象的组合。例如，基于其签名与要移除的对象的签名具有最小距离的两个候选替代对象来生成替代对象。
在具体实施例中，在比较签名之前，步骤S5提出通过用户界面选择库的对象族，以便减少要执行的比较的数量并减少步骤S5的处理时间。也可以出于商业原因而进行该选择。所选对象族是包括客户的对象的对象族。用户可以通过用户界面选择与在步骤S3所选的对象相对应的对象族。例如，如果在步骤S3所选的对象是瓶子，则用户将选择与瓶子相对应的对象族。用户还可以选择不与在步骤S3所选的对象相对应的对象族。用户可能想要用书籍来替换瓶子。在这种情况下，用户将选择包括书籍的对象族，并且本发明方法将选择具有与在步骤S3所选的瓶子最相似的3D特征的书籍。
在有利的实施例中，将至少一个候选对象的点云的点密度与库的候选替代对象的点云的点密度进行比较。如果这些点密度不同，则对至少一个候选对象的点云或者对候选替代对象的点云应用过滤步骤，以便(在步骤S5中)比较具有相同或基本相同的点密度的对象。如果候选替代对象的点密度高于至少一个候选对象的点密度，则将候选替代对象的点密度减小为基本等于至少一个候选对象的点密度。这是常有的情况。以相同的方式，如果至少一个候选对象的点密度高于候选替代对象的点密度，则将至少一个候选对象的点密度减小为基本等于候选替代对象的点密度。
在计算候选替代对象的签名和至少一个候选对象的签名之前进行该过滤步骤，以便以相同的点密度对其计算。
在称为S6的最后步骤中，到视频场景中用在步骤S5确定的替代对象来替换要移除的对象。
如果在替换步骤S6之后出现遮挡，则进行修复(inpainting)操作以便填充这些遮挡。修复处理可以有效地得益于从前述步骤发出的该场景的3D信息。
通过图4所示的应用的示例来说明本发明方法的原理。在该应用中，提出用客户的水瓶来替换场景中的所有瓶子。客户的不同候选替代瓶子被存储在库中。这些候选替代瓶子对应于客户的不同形状或不同大小的不同瓶子。
在图4的左侧示出要处理的场景。该场景包括放在桌子T上的手表W和瓶子B。现在详述根据本公开的用客户瓶子来替换瓶子B。
在步骤S1中，获取要处理的场景的3D表示。在步骤S2中，将该3D表示分割为对象。在现在的情况下，3个对象存在于场景中：桌子T、手表W和瓶子B。在步骤S3中，选择瓶子B作为要移除或要替换的对象。在步骤S4中，针对瓶子B计算基于直方图的签名。在步骤S5中，在存储在库中的客户的瓶子B1、B2、B3和B4之中确定替代瓶子。在图4的中间部分示出这四个瓶子。在该步骤中，将瓶子B1至B4的预先计算的或者未预先计算的签名与瓶子B的签名进行比较，并且认为瓶子B3在3D特征方面更适于替换瓶子B。在步骤S6中，在场景中用瓶子B3替换瓶子B。在图4的右侧示出最后的场景。
该示例说明对电影或视频游戏中的给定时间的视频场景的处理。当然，如果需要，该替换操作优选地应用于不同时间的场景。如果场景相对于观察视点保持静态，则也可以进行一次对象点的替换。
图5示意性地图示了被布置用于实现本公开的方法的设备11的硬件实施例的示例。
该硬件实施例包括3D捕获设备10，诸如3D摄像机或与深度设备(例如，激光扫描仪)一起的2D摄像机，用于获取场景的3D表示，以及用于实现本发明方法的步骤S2至S6处理设备11。该处理设备11配备有输入/输出设备12，例如用于显示用户界面和本发明处理的中间或最后结果的显示器以及用于通过用户界面进行选择操作的键盘或鼠标。
处理设备可以包括
-微处理器或CPU
-图形板，包括：
·多个图形处理器(或GPU)；
·图形随机存取存储器(或GRAM)；
-只读存储器(ROM)；
-被配置为接收和/或传输数据的接口；以及
-随机存取存储器(RAM)。
设备10、12和设备11内的不同组件可以通过地址和数据总线互连。
预期在通过捕获设备10捕获场景之后进行本公开的处理。但是，根据变型，可以通过3D数据可用的诸如因特网的网络提供/从3D数据可用的诸如因特网的网络接收场景的3D数据。
当然，本公开不限于先前描述的实施例。
在此描述的实现方式可以实现在例如方法或处理、装置或软件程序中。即使仅在单一形式的实现方式的背景下讨论(例如仅作为方法或设备讨论)，但是所讨论的特征的实现方式也可以以其它形式(例如程序)来实现。装置例如可以实现为合适的硬件、软件和固件。方法例如可以实现在诸如处理器(其一般被称为处理设备，例如包括计算机、微处理器、集成电路或可编程逻辑设备)这样的装置中。处理器还包括诸如例如智能电话、平板、计算机、移动电话、便携/个人数字助理(PDA)这样的通信设备以及便于在终端用户之间进行信息通信的其他设备。
在此描述的各种处理和特征的实现方式可以实施在各种不同的装备或应用中，特别是例如与视频编辑相关联的装备或应用。
此外，可以通过由处理器执行的指令来实现方法，并且这样的指令(和/或由实现方式所产生的数据值)可以存储在处理器可读介质中，诸如例如集成电路、软件载体或者诸如例如硬盘、压缩磁盘(CD)、光盘(诸如例如通常被称为数字多功能盘或数字视频盘的DVD)、随机存取存储器(RAM)或只读存储器(ROM)这样的其他存储设备。指令可以形成有形地实施在处理器可读介质上的应用程序。指令可以例如在硬件、固件、软件或组合中。指令可以存在于例如操作系统、单独的应用或这两个的组合中。因此，处理器可以被表征为例如被配置为执行处理的设备以及包括具有用于执行处理的指令的处理器可读介质(诸如存储设备)的设备二者。此外，除了指令或者代替指令，处理器可读介质可以存储由实现方式所产生的数据值。
如对于本领域技术人员将明显的那样，实现方式可以产生被格式化为携带例如可以被存储或传输的信息的各种信号。信息可以包括例如用于执行方法的指令或者由所描述的实现方式之一所产生的数据。
已描述了很多实现方式。然而，应当理解的是，可以做出各种修改。例如，可以对不同实现方式的元件进行组合、补充、修改或移除，以产生其他实现方式。此外，本领域技术人员将理解的是，其他结构和处理可以替代所公开的结构和处理，并且所得到的实现方式将以与所公开的实现方式至少基本相同的方式来执行与所公开的实现方式至少基本相同的功能，以获得与公开的实现方式至少基本相同的结果。因此，本申请想到这些以及其他实现方式。

Claims (13)

1.一种用于处理场景的视频的方法，包括：
-接收(S1)场景的3D表示，
-到所述3D表示中确定(S2)至少一个候选对象，所述至少一个候选对象包括3D点云，
所述方法的特征在于，还包括：
-计算(S3)用于所述至少一个候选对象的至少一个标准的该值，
-计算(S4)所述至少一个候选对象的签名，所述签名表示所述至少一个候选对象的3D特征，
-确定(S5)要移除的对象和来自库的多个候选替代对象的替代对象，每个候选替代对象具有签名，所述确定基于签名的比较并且基于候选对象标准值，以及
-到所述场景的视频中用所述替代对象来替换(S6)要移除的对象。
2.根据权利要求1所述的方法，其中，由用户确定用于至少一个候选对象的至少一个标准的值。
3.根据权利要求1或2所述的方法，其中，所述至少一个标准选自：
-所述对象在场景的视频中的地理位置；
-所述对象到场景的视频的前景中的定位；
-所述对象在场景的视频中的可见性持续时间。
4.根据权利要求1至3中任一项所述的方法，其中，该库包括被分类为对象族的多个候选替代对象，在属于至少一个所选对象族的候选替代对象之中确定替代对象。
5.根据权利要求4所述的方法，其中，由用户选择所选对象族。
6.根据权利要求1至5中任一项所述的方法，其中，每个对象的签名包括称为几何特征的表示对象的几何形状的3D特征，和/或称为视点特征的表示对象的视点的3D特征。
7.根据权利要求6所述的方法，其中，对象的签名是以下直方图的组之中的至少一个直方图：
-视点特征直方图；
-聚类视点特征直方图；
-点特征直方图；
-快速点特征直方图。
8.根据权利要求1至7中任一项所述的方法，其中，通过以下步骤确定替代对象：
-比较该至少一个候选对象的签名和该库的候选替代对象的签名，以及
-根据相似性标准，识别具有与该至少一个候选对象的签名相同或接近的签名的该库的候选替代对象，该替代对象是该库的所识别的候选替代对象。
9.根据权利要求1至7中任一项所述的方法，其中，通过以下步骤确定替代对象：
-比较该至少一个候选对象的签名和该库的候选替代对象的签名，以及
-根据相似性标准，识别具有与该至少一个候选对象的签名相同或接近的签名的该库的多个候选替代对象，该替代对象是该库的多个所识别的候选替代对象的组合。
10.根据权利要求8或9所述的方法，其中，还包括计算该库的候选替代对象的签名。
11.根据权利要求1至9中任一项所述的方法，其中，该库的候选替代对象的签名被预先计算并存储在该库中。
12.一种设备，被配置用于处理场景的视频，其特征在于，包括：
-被配置用于接收场景的3D表示的接口，以及
-处理单元(11)，用于到所述3D表示中确定至少一个候选对象，所述至少一个候选对象包括3D点云，用于计算用于所述至少一个候选对象的至少一个标准的该值，用于计算所述至少一个候选对象的签名，所述签名表示所述至少一个候选对象的3D特征，用于确定要移除的对象和来自库的多个候选替代对象的替代对象，每个候选替代对象具有签名，所述确定基于签名的比较并且基于候选对象标准值，以及用于到所述场景的视频中用所述替代对象来替换要移除的对象。
13.一种包括程序代码的指令的计算机程序产品，当在计算机上执行该程序时，该程序代码的指令用于由至少一个处理器执行以进行根据权利要求1至11中至少一项所述的方法。
CN201580034711.3A 2014-06-26 2015-04-09 用于处理视频场景的方法和对应设备 Pending CN106664466A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14306008.5A EP2960906A1 (en) 2014-06-26 2014-06-26 Method for processing a video scene and corresponding device
EP14306008.5 2014-06-26
PCT/EP2015/057729 WO2015197216A1 (en) 2014-06-26 2015-04-09 Method for processing a video scene and corresponding device

Publications (1)

Publication Number Publication Date
CN106664466A true CN106664466A (zh) 2017-05-10

Family

ID=51178836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580034711.3A Pending CN106664466A (zh) 2014-06-26 2015-04-09 用于处理视频场景的方法和对应设备

Country Status (6)

Country Link
US (1) US10096340B2 (zh)
EP (2) EP2960906A1 (zh)
JP (1) JP2017527878A (zh)
KR (1) KR20170023858A (zh)
CN (1) CN106664466A (zh)
WO (1) WO2015197216A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288249A (zh) * 2018-01-25 2018-07-17 北京览科技有限公司 一种用于替换视频中的对象的方法和装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210129583A (ko) * 2020-04-20 2021-10-28 사운드하운드, 인코포레이티드 미디어 재생 디바이스에서의 콘텐츠 필터링
US11734860B2 (en) * 2020-12-22 2023-08-22 Cae Inc. Method and system for generating an augmented reality image

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5063603A (en) 1989-11-06 1991-11-05 David Sarnoff Research Center, Inc. Dynamic method for recognizing objects and image processing system therefor
JPH03178719A (ja) 1989-12-01 1991-08-02 Nachi Fujikoshi Corp 内歯歯車のシェービング仕上用工具
JP2003178719A (ja) 2001-12-12 2003-06-27 Harison Toshiba Lighting Corp 蛍光ランプ
JP2004288170A (ja) * 2003-03-05 2004-10-14 Olympus Corp 三次元モデル検索方法及びシステム
KR101348521B1 (ko) 2005-09-16 2014-01-06 플릭서, 인크. 비디오의 개인화
US20080033812A1 (en) * 2006-07-14 2008-02-07 Vulano Group, Inc. System for highlighting a dynamic personalized object placed in a multi-media program
US20090305204A1 (en) * 2008-06-06 2009-12-10 Informa Systems Inc relatively low-cost virtual reality system, method, and program product to perform training
US8752087B2 (en) * 2008-11-07 2014-06-10 At&T Intellectual Property I, L.P. System and method for dynamically constructing personalized contextual video programs
US20110321086A1 (en) 2010-06-29 2011-12-29 William Smith Alternating embedded digital media content responsive to user or provider customization selections
EP2439664A1 (en) * 2010-09-23 2012-04-11 Dassault Systèmes Designing a modeled object within a session of a computer-aided design system interacting with a database
EP2437220A1 (en) * 2010-09-29 2012-04-04 Alcatel Lucent Method and arrangement for censoring content in three-dimensional images
US8493353B2 (en) * 2011-04-13 2013-07-23 Longsand Limited Methods and systems for generating and joining shared experience
KR101907081B1 (ko) * 2011-08-22 2018-10-11 삼성전자주식회사 3차원 점군의 물체 분리 방법
US9626798B2 (en) * 2011-12-05 2017-04-18 At&T Intellectual Property I, L.P. System and method to digitally replace objects in images or video
US9098913B2 (en) * 2012-05-11 2015-08-04 Cornell University Prediction of successful grasps by end of arm tooling
WO2014044331A2 (en) * 2012-09-24 2014-03-27 Qatar Foundation A system and method for multimedia content protection on cloud infrastructures
GB2514320B (en) * 2013-03-15 2020-01-29 3D Industries Ltd A method and system for 3D model database retrieval
US10002208B2 (en) * 2014-05-13 2018-06-19 Atheer, Inc. Method for interactive catalog for 3D objects within the 2D environment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288249A (zh) * 2018-01-25 2018-07-17 北京览科技有限公司 一种用于替换视频中的对象的方法和装置

Also Published As

Publication number Publication date
US20170140793A1 (en) 2017-05-18
EP3161830A1 (en) 2017-05-03
JP2017527878A (ja) 2017-09-21
US10096340B2 (en) 2018-10-09
WO2015197216A1 (en) 2015-12-30
EP2960906A1 (en) 2015-12-30
KR20170023858A (ko) 2017-03-06

Similar Documents

Publication Publication Date Title
US9380213B2 (en) Image composition apparatus and method
CN104375797B (zh) 一种信息处理方法及电子设备
KR20190054782A (ko) 머신 러닝의 학습성능 강화장치 및 방법
EP3110149B1 (en) A system and a method for depth-image-based rendering
US9870647B2 (en) System and method for processing color of three-dimensional object
CN107832359B (zh) 一种图片检索方法及系统
CN105608699A (zh) 一种图像处理方法及电子设备
CN104766275B (zh) 稀疏视差图稠密化方法和装置
CN108960012B (zh) 特征点检测方法、装置及电子设备
CN106664466A (zh) 用于处理视频场景的方法和对应设备
KR20150088656A (ko) 참조 영역 분할을 이용한 인페인팅 장치 및 방법
Oliveira et al. Selective hole-filling for depth-image based rendering
KR20150046810A (ko) 영상 처리 방법 및 장치
Norraji et al. wARna—Mobile-based augmented reality colouring book
WO2015148332A1 (en) Intelligent chamfer recognition in cad models
CN108492326A (zh) 分辨率从低到高的逐渐精细化的立体匹配方法及系统
Herrera et al. A novel 2D to 3D video conversion system based on a machine learning approach
CN111632376A (zh) 一种虚拟模型的显示方法、装置、电子设备及存储介质
CN111369612A (zh) 一种三维点云图像生成方法及设备
CN111476810B (zh) 图像边缘检测方法、装置、电子设备及存储介质
US20220245820A1 (en) Heuristics-based detection of image space suitable for overlaying media content
CN104360854B (zh) 一种信息处理方法及电子设备
KR101278636B1 (ko) 2차원 영상을 스테레오스코픽 입체 영상으로 변환하기 위한 객체 검출 방법
WO2021114030A1 (zh) 点云孔洞填充方法、装置和存储介质
KR100855348B1 (ko) 동영상 프레임 내의 객체 윤곽선 추적 장치와 시스템 및그에 따른 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170510

WD01 Invention patent application deemed withdrawn after publication