CN107833237B - 用于模糊视频中的虚拟对象的方法和设备 - Google Patents

用于模糊视频中的虚拟对象的方法和设备 Download PDF

Info

Publication number
CN107833237B
CN107833237B CN201710827799.5A CN201710827799A CN107833237B CN 107833237 B CN107833237 B CN 107833237B CN 201710827799 A CN201710827799 A CN 201710827799A CN 107833237 B CN107833237 B CN 107833237B
Authority
CN
China
Prior art keywords
initial
current
image
virtual object
estimating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710827799.5A
Other languages
English (en)
Other versions
CN107833237A (zh
Inventor
P.朱厄特
P.罗伯特
M.弗拉代特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
InterDigital CE Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital CE Patent Holdings SAS filed Critical InterDigital CE Patent Holdings SAS
Publication of CN107833237A publication Critical patent/CN107833237A/zh
Application granted granted Critical
Publication of CN107833237B publication Critical patent/CN107833237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/14—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

当通过捕获真实场景的设备获取视频时，为了实时地模糊视频中的虚拟对象，突出的想法包括估计在两个连续的设备姿态处的两个连续的图像之间的视运动矢量，其中视运动矢量估计基于设备的运动。然后，基于估计的视运动矢量对连续的图像进行滤波。

Description

用于模糊视频中的虚拟对象的方法和设备
技术领域
公开的方法、设备和系统的技术领域涉及在视频获取期间将虚拟对象插入视频中的增强现实。
背景技术
增强现实的一个方面是将真实场景与视频中的虚拟对象合成。当从快速移动的真实物体捕获视频时，得到的视频通常包括所谓的运动模糊。在从真实场景获取的视频的情况下，真实对象的运动模糊自然地由相机捕获。在动画电影的情况下，运动模糊是从动画对象的移动计算创建的。在增强现实应用的情况下，增强现实应用混合了真实场景和虚拟对象，已知一些方法用于模糊插入已经获取的视频中的虚拟对象作为后期制作的一部分，并且通常是计算密集型的。例如，从对虚拟对象的运动的知识或用图像处理技术在视频中检测到的运动获得模糊。然而，在通过移动设备获取视频并且由捕获设备将虚拟对象插入到该视频中的情况下，没有已知的用于模糊插入到视频中的虚拟对象的方法可直接适用于捕获设备。由于虚拟对象在模糊的视频中将变得太尖锐，所以产生的视频将缺乏现实感。需要一些新的方法来实时地模糊插入到由捕获设备获取的视频中的虚拟对象，以便改善增强现实应用的结果。这样的新方法将能够在例如移动设备上实现一系列新的增强现实应用。
发明内容
为了在通过捕获真实场景的设备获取视频时实时模糊视频中的虚拟对象，突出的想法包括估计在两个连续的设备姿态下捕获的两个连续图像之间的视运动矢量，其中，视运动矢量估计是基于设备的运动。然后基于估计的视运动矢量对连续的图像进行滤波。为此，公开了一种用于模糊设备从场景捕获的视频中的虚拟对象的方法。该方法由该设备执行并且包括：
-捕获视频的初始图像；
-捕获视频的当前图像；
-基于设备的运动，估计在初始图像和当前图像之间虚拟对象的视运动矢量(apparent motion vector)；
-基于视运动矢量(30)对当前图像的至少一部分进行滤波。
根据特别有益的变型，设备还包括至少一个运动传感器，初始图像由设备以初始装置姿态捕获，当前图像由设备以当前设备姿态捕获，以及从设备的至少一个运动传感器生成的数据中获取设备的运动，所述设备从初始设备姿态移动到当前设备姿态。
根据另一特别有益的变型，估计视运动矢量还包括基于初始设备姿态和设备的运动来估计当前设备姿态。
根据另一特别有益的变型，该方法还包括：基于视运动矢量和初始图像中的初始对象位置来估计当前图像中的当前对象位置，初始对象位置与虚拟对象的顶点相关联，当前对象位置与顶点相关联。
根据另一特别有益的变型，虚拟对象在场景中具有轨迹，该方法还包括：
-基于所述轨迹和初始对象方位估计当前对象方位，初始对象方位对应于所述虚拟对象的顶点，当前对象方位对应于顶点，以及
-基于当前图像中的当前对象方位的投影来估计当前图像中的当前对象位置，当前对象位置与顶点相关联。
根据另一特别有益的变型，估计虚拟对象的视运动矢量基于当前图像中的当前对象位置与初始图像中的初始对象位置之间的差别，初始对象位置与顶点相关联。
根据另一特别有益的变型，滤波还包括确定空间滤波器长度和空间滤波器方向，空间滤波器方向对应于视运动矢量的方向，空间滤波器长度是视运动的模块(module)的因子，空间滤波器长度对应于相邻像素的数量。
根据另一特别有益的变型，因子对应于装置的快门光圈持续时间。
根据另一特别有益的变型，对当前图像的至少一部分进行滤波还包括：
-获取当前图像的虚拟对象的掩码(mask)，其中掩码包括对应于虚拟对象的当前图像的每个像素的非空颜色值和权重值1；
-根据确定的空间滤波器对掩码进行空间滤波；
-将当前图像与虚拟对象的空间滤波的掩码相混合。
根据另一特别有益的变型，方法还包括：基于在先前的设备姿态下由设备捕获的先前图像来估计初始设备姿态，估计初始设备姿态还基于先前设备姿态和从先前设备姿态到初始设备姿态的设备的先前运动。
根据另一特别有益的变型，该方法还包括：
-从用户界面将虚拟对象插入初始图像中，插入包括将虚拟对象的顶点与初始图像中的初始对象位置相关联；
-估计与初始对象位置对应的初始对象方位相关的初始设备姿态。
在第二方面，还公开了一种用于捕获视频并模糊视频中的虚拟对象的设备。该设备包括：
-用于捕获视频的初始图像的部件；
-用于捕获视频的当前图像的部件；
-用于基于设备的运动来估计在初始图像和当前图像之间的虚拟对象的视运动矢量的部件；
-用于基于视运动矢量对当前图像的至少一部分进行滤波的部件。
在第三方面，还公开了一种用于捕获视频并模糊视频中的虚拟对象的设备。该设备包括相机，相机配置成：
-捕获视频的初始图像；
-捕获视频的当前图像；
设备还包括至少一个处理器，处理器配置成：
-基于设备的运动估计在初始图像和当前图像之间虚拟对象的视运动矢量；
-基于视运动矢量对当前图像的至少一部分进行滤波。
在第四方面，还公开了一种用于模糊从场景捕获的视频中的虚拟对象的计算机程序。该计算机程序包括由至少一个处理器执行的程序代码指令，程序代码指令用于：
-捕获视频的初始图像；
-捕获视频的当前图像；
-基于设备的运动估计在初始图像和当前图像之间虚拟对象的视运动矢量；
-基于视运动矢量对当前图像的至少一部分进行滤波。
在第五方面，发明指向一种存储计算机可执行以执行公开的方法的程序指令的计算机可读存储介质。
在第六方面，发明指向包括由至少一个处理器执行以执行公开的方法的程序代码的指令的计算机程序产品。
虽然没有明确描述，但是本实施例可以采用任何组合或子组合。例如，本原理不限于所描述的变型，并且可以使用变体和实施例的任何排列。此外，本原理不限于所描述的图像采样和图像/对象初始化示例。本原理不再限于描述的姿态估计方法，并且适用于任何其他类型的装置姿态估计方法。本原理不再限于所描述的对象轨迹。
此外，针对该方法描述的任何特征，变型或实施例与旨在处理公开方法的设备兼容，其中计算机程序包括可由处理器执行以处理公开的方法的程序代码指令，以及其中计算机可读存储介质存储程序指令。
附图说明
-图1图示了根据具体和非限制性的实施例的用于模糊视频中的虚拟对象的方法；
-图2图示了根据具体和非限制性实施例从场景捕获视频并插入虚拟对象的示例；
-图3表示根据具体和非限制性实施例的视运动矢量；
-图4表示根据具体和非限制性实施例的用于模糊视频中的虚拟对象的滤波的示例；
-图5表示根据具体和非限制性实施例的用于模糊视频中的虚拟对象的处理设备；
-图6表示根据具体和非限制性实施例的图5的处理设备的示例性架构。
具体实施例
图1图示了根据具体和非限制性实施例的用于模糊视频中的虚拟对象的方法。关于图2进一步描述了图1，图2图示了根据具体和非限制性实施例的示例性的视频捕获和虚拟对象20的插入。为了清楚而不加以限制，该方法描述为在捕获场景2的视频的相机中实现。但是例如适于捕获一系列图像的智能电话或嵌入摄像机的平板电脑的任何其他实现是与公开的原则兼容的。在说明的其余部分中，一般术语设备1将用于捕获设备。场景2将理解为真实场景，并且该真实场景的捕获的视频是来自使用现有技术的视频捕获组件的真实场景的一系列图像。
在步骤S100中，初始化设备1。不限于此，设备初始化包括设备1的硬件和软件初始化的各种步骤。设备初始化还包括视频捕捉之前的各种步骤，例如，将设备1在关于场景的正确的地方定位和定向，调整相机参数，例如聚焦、变焦和光圈。
在步骤S110中，当设备1处于初始设备姿态21时，由设备1捕获初始图像210。不限于此，三维空间中的设备姿态包括该空间中的方位(position)和定向(orientation)。方位定义了设备所在的地方，以及定向定义了它是如何旋转的。在描述中更为一般的，为了清楚起见，术语“姿态(pose)”指定设备/对象在三维空间中的方位，而术语位置(location)指定图像中的点/顶点的二维位置。
在步骤S120中，当设备1处于当前设备姿态22时，由设备1捕获当前图像220。不限于此，公开的原理假定在视频捕获期间的设备运动近似于纯旋。这种近似是合理的，因为它对应于手持相机的人捕获的大范围的视频。为了清楚和不加以限制，描述了在初始设备姿态捕获的初始图像与当前设备姿态捕获的当前图像之间将该虚拟对象插入到当前图像中的方法。但是该方法在视频序列的各种图像之间始终可应用于视频。例如，在迭代过程之后，该方法也可应用于初始图像和在先的图像之间。此外，为了确定初始图像和当前图像而对视频序列进行采样的任何变型都可应用于公开的原理：在第一示例中，相对于视频序列的在先图像，通过该方法将视频序列的每个拍摄图像作为当前图像处理。在视频采样的第二示例中，相对于视频序列的在先的图像，每两个或三个或任何其它数量的图像中仅一个作为当前图像处理。
在步骤S130中，估计插入的虚拟对象20的视运动矢量30。在图3中图示了当前图像220和初始图像210之间的视运动矢量30的示例。将视运动矢量30定义为当前图像221的区域与初始图像210的区域之间的图像位置的差别，其中两个区域都对应于插入的虚拟对象的相同部分。例如，如图2和图3所示，虚拟对象20包括对应于虚拟对象20的3D点的顶点200。当将虚拟对象20插入到当前图像220中时，当前图像220中的顶点200的投影对应于位于当前图像220中的位置221处的图像点。虚拟对象20的顶点200与当前图像22中的当前对象位置221相关联。图2和图3还图示了初始图像210，初始图像210包括与在初始图像210中插入的虚拟对象20的顶点200相关联的初始对象位置211。图3图示了当前图像220处的视运动矢量30。当前图像220和初始图像210之间的视运动矢量30是当前对象位置221和初始对象位置211之间的差别，其中初始对象位置211和当前对象位置221与虚拟对象的相同顶点200相关联。为了清楚而不加以限制，使用顶点200的示例来描述该方法，定点200对应于一个点并分别与图像210、220中的图像位置211、221相关联，但是任何其他变体，例如使用区域或虚拟对象20的点的云都兼容公开的原理。
根据具体的实施例，设备1包括惯性测量单元(IMU)，其使用加速度计和陀螺仪的组合来测量和报告设备1的至少角速率。从设备1的嵌入的IMU生成的数据获取设备1的运动，例如设备1从初始姿态21移动到当前姿态22。为了清楚而不加以限制，基于初始设备姿态21和当前设备姿态22之间的运动描述该方法，但用于对运动进行采样的任何其它部件兼容公开的原理。为了清楚并不失一般性，术语“惯性传感器”或“IMU(惯性测量单元)”用于描述适于测量和报告设备运动的传感器。适于测量和报告装置运动的任何运动传感器(例如角速率)与公开的原理兼容。
估计视运动矢量30包括基于初始设备姿态21以及设备1从初始设备姿态21到当前设备姿态22的运动来估计当前设备姿态22，例如，从设备1的IMU生成的数据获得该运动。更正式地我们注意到：
cM0(t-1)是在时间(t-1)时对应于初始装置姿态21的4×4矩阵，例如作为设备坐标系和世界坐标系(WCS)之间的旋转平移变换；
iMc是对应于从IMU坐标系到设备坐标系(CCS)的刚性变换的4×4矩阵，以及cMi是其逆；
iMi(t)根据IMU在时刻t返回的数据估计的4x4旋转矩阵，对应于在t-1和t之间计算的定向的变化。例如，嵌入在IMU中的陀螺仪提供进一步转换为角速度的三个原始值，角速度是其方向表示旋转方向的矢量，其幅度表示以rad/s表示的旋转速度。在期望的时间间隔上的积分给出旋转的轴-角度表示，然后使用罗德里格(Rodrigues)公式用旋转矩阵转换该轴-角度表示。
cM0(t)是在时间(t)对应于当前设备姿态22的4x4矩阵，例如作为设备坐标系和世界坐标系(WCS)之间的旋转平移变换；
当前设备姿态22，cM0(t)计算如下：
cM0(t)＝cMi*iMi(t)*iMc*cM0(t-1)
例如，根据Jorge Lo和Jorge Dias在发表于2007年6月的International Journalof Robotics Research的“Relative Pose Calibration between visual and inertialsensors”中描述的方法估计设备和和惯性传感器之间的刚性变换(iMc和cMi)。
根据该等式，当设备1从初始设备姿态21向当前设备姿态22移动时，从初始设备姿态21(记为cM0(t-1))以及设备1的运动估计当前设备姿态22(记为cM0(t))，从通过嵌入的IMU生成的数据获取当前设备姿态22。
静止的虚拟对象
根据第一实施例，插入在视频中的虚拟对象20是静止的虚拟对象。虚拟对象相对于场景没有运动。在步骤S130中，从设备1的嵌入的IMU生成的数据中获取视运动矢量30，例如当设备1从初始设备姿态21移动到当前设备姿态22时。当虚拟对象20关于捕获的场景静止时，视运动矢量仅依赖于捕获设备的运动。此外，由于在视频捕获期间设备的运动近似于纯旋转，所以可以从设备1的IMU生成的角速率数据中获得设备的整体但近似的运动。进一步通过纯粹的旋转近似运动并忽略设备平移是有益的，因为它允许忽略静止的虚拟对象与设备姿态之间的距离以估计视运动矢量：根据公开的原理，在这种情况下确实没有必要具有虚拟对象的三维知识使模糊它的插入。实际上，通过基于初始设备姿态21以及先前描述的设备1的运动估计当前设备姿态22来获得视运动矢量30。与(稍后描述的)第二实施例相反，确定当前对象位置221不需要知道虚拟对象20在三维空间中相对于设备1的方位。从初始对象位置211和从嵌入的IMU生成的数据获得的视运动矢量30直接获得当前对象位置211。稍后将描述用于确定初始对象位置的各种变型.
在步骤S140中，基于视运动矢量30对当前图像220的至少一部分进行滤波。更精确地，基于视运动矢量30确定空间滤波器。例如，空间滤波器是高斯滤波器。在另一有益的示例中，空间滤波器是矩形滤波器。使用矩形滤波器是有益的，因为它对应于图像捕获的物理学：在一个时间段期间打开的窗口，并且在该时间间隔期间通过窗口的光被平均。更精确地，使用估计的视运动矢量30来确定将产生模糊效果的滤波器参数。如图4所示，这些滤波器参数包括滤波器长度401和滤波器方向400。这些滤波器参数直接与视运动矢量30模块和方向相关联。滤波器方向400是视运动矢量30的方向。要施加到插入的虚拟对象的像素40的滤波器长度401是在对应的对象位置处的视运动矢量30的模块的乘法因子，并且对应于要平均的相邻像素的数量。在图4图示的示例中，滤波器的长度401对应于由三个点41、42、43表示的三个像素。例如，乘法因子是快门光圈持续时间。更正式地，考虑到例如具有长度L的矩形窗口滤波器，L由下式定义：
其中τ是快门光圈持续时间，以及/>是在许多像素中定义的视运动矢量30的模块，在初始图像210和当前图像220时间测量视运动矢量30，τ是初始图像210和当前图像220之间的时间间隔的一部分。滤波器的方向是视运动矢量/>的方向。
在快门光圈持续时间τ未知但是固定的情况下，从离线校准过程估计快门光圈持续时间τ，离线校准过程包括在有直线边缘的校准模式之前使移动设备旋转，捕获该模式的图像并分析图像中的这些边缘的斜面。从估计斜面的斜率得到滤波器长度401的乘法因子。
对当前图像220的至少一部分进行滤波S140还包括：获得当前图像220的虚拟对象体20的掩码，其中掩码包括对应于虚拟对象的当前图像的每个像素的非零色值和权重值1。换句话说，掩码仅包括与要插入的虚拟对象相关的数据，并且没有与真实场景相关的数据。属于虚拟对象的掩码的像素具有虚拟对象的颜色值和权重1。其他像素具有权重0。根据颜色值和权重值两者的确定的空间滤波器对掩码进行空间滤波。通过混合当前图像220与虚拟对象20的空间滤波的掩码来获得得到的模糊的当前图像。
图4进一步图示了应用于掩码的像素40的空间滤波处理。例如，像素40对应于当前对象位置221。在对应于视运动矢量方向的方向400上从像素40的中心41提取滤波器。如前所述，从视运动矢量模块获得的滤波器长度401是图示的示例中的三个像素。点42和43位于与像素40的中心41相等距离处，其中相等距离对应于像素间距离。基于双线性滤波，从进一步的相邻的像素值对点42和43处的相邻像素的颜色和权重值进行插值。例如，通过平均点42和43处的相邻像素的插值的颜色和权重值对像素40的颜色值和权重值进行滤波。在一个变型中，滤波器掩码限制到一组定向，例如4个定向：水平，垂直和2个对角线。在该变型中，有益地预先计算滤波器掩码，即涉及的像素的权重。
然后将滤波后的当前图像显示在显示部件上，使得用户能够通过先前描述的原理来可视化正在生成的虚拟对象的模糊效果。
沿着轨迹移动的虚拟对象
根据第二实施例，视频中插入的虚拟对象20具有场景中的轨迹。例如，轨迹是预定义的3D轨迹。有益地，进一步考虑虚拟对象20的轨迹以更好地估计视运动向量30。相应地，在可选步骤S122中，基于轨迹和初始对象方位来估计当前对象方位，其中初始和当前对象方位都对应于虚拟对象的同一顶点的三维空间中的位置。初始和当前对象方位之间的差别由虚拟对象的轨迹给出。
在可选步骤S124中，从当前图像中的当前对象方位的投影来估计当前图像中的当前对象位置，其中当前对象位置与虚拟对象的顶点相关联。更准确地，对于每个随后的时刻t，给定世界坐标系(WCS)中的虚拟对象的预定义轨迹为中心，集中在沿着轨迹的虚拟对象的第一方位，将当前对象方位计算为一组3D坐标(X(t),Y(t),Z(t))，然后将其投影到当前图像平面上，以便将当前对象位置推导为一组对应于虚拟对象插入的2D坐标(x(t),y(t))。
更正式地，给定在时刻t虚拟对象的顶点相对于世界坐标系的三维坐标X(t)＝(X(t),Y(t),Z(t))T，我们感兴趣的是在3D点投影的图像中的位置作为时间的函数。在透视投影下并给定固有和非固有的设备1参数，齐次点(X,Y,Z,1)T投影到由下式给定的图像点p＝(x,y)T
其中w和h是视点宽度和高度，以及点Q＝(Qx,Qy,Qz,Qw)T是投影空间中X的投影：Q＝P*V*X，V是世界到视图矩阵，P是视图到投影矩阵。
从嵌入在设备1中的相机的离线校准步骤获得固有设备参数。固有参数是联系场景中的3D点在附属于相机的三维测量坐标系中给定的3D坐标以及图像中对应的2D点的2D坐标(以像素表示)的投影模型的参数。如先前所描述的，基于先前的姿态和来自IMU随时间累积的旋转信息获得表示设备的姿态的非固有参数。根据不同的变型，将虚拟对象的轨迹定义为移动的刚性对象或者作为铰接对象。例如，在第一变型中，从轨迹数据直接获得表示当前对象方位的3D坐标(X,Y,Z)。在第二变型中，从作为轨迹数据的一部分的对象到世界矩阵O获得表示当前对象方位的3D坐标(X,Y,Z)。在第三变型中，从包括例如平移和/或旋转和/或比例的一组轨迹参数推导出对象到世界矩阵O。
X＝O*Xo,
其中Xo是世界坐标系中虚拟对象的相应顶点的齐次坐标。不需要对真实场景的几何的先验知识做任何假设。例如，世界坐标系统以初始设备方位或初始对象方位为中心。
根据第二实施例，其中虚拟对象具有轨迹，从当前对象位置(在当前图像中当前对象方位的投影的结果)和与初始图像中初始对象位置之间的差别来估计虚拟对象的视运动向量30，初始对象位置与当前图像位置的相同的顶点相关联。
根据特定实施例，预先配置初始图像210中的初始对象方位和/或初始对象位置211。在静止的对象(第一实施例)的情况下，仅需要预先配置初始物体位置211。例如，初始图像210的中间或初始图像210的右上角。在一个变型中，预先配置的初始对象位置211依赖于虚拟对象大小和/或形式。在另一变型中，从应用于初始图像210的图像处理技术获得初始对象位置211，以改善虚拟对象插入的真实性。例如，图像处理技术用于识别初始图像210中的平面或结构，以确定关于识别的结构的初始对象位置211。在移动的虚拟对象(第二实施例)的情况下，还预先配置三维空间中的虚拟对象20的轨迹以及初始对象方位。例如，轨迹是飞行对象的直线。在另一个示例中，轨迹是具有可能的反弹的下落对象，例如，可以预先配置反弹并且从轨迹库获得。在初始图像210上使用图像处理技术来配置初始对象方位、初始对象位置211和与所公开的原理兼容的轨迹。
根据另一具体的实施例，虚拟对象20由用户经由用户界面插入到视频中。对象插入包括插入配置，其中虚拟对象20的顶点200由用户经由用户界面与初始图像210中的初始对象位置211相关联。例如，通过用手指触摸显示在触摸屏上的初始图像210的相应区域，用户将顶点200与初始图像210中的初始对象位置211相关联。在另一示例中，由用户经由用户界面配置初始图像210中的初始对象位置211的2D坐标。在移动的对象(第二实施例)的情况下，初始对象方位由用户经由用户界面进一步配置，例如三维空间中的一组3D坐标。根据不同的变型，由用户经由用户界面进一步配置要插入到初始图像210中的虚拟对象20的定向和/或比例。将对象坐标系(OCS)附加到对象。在该坐标系中进一步配置物体的轨迹。给定轨迹的时间尺度为一定的场速率，并且通常是可调节的。在一个变型中，例如，由用户通过在一组可用轨迹之中选择轨迹进一步配置轨迹。用于由用户配置虚拟对象20的轨迹的任何手段与公开的原理兼容。一旦为初始图像210配置了虚拟对象20的初始对象方位、定向和比例，并且通过使用设备1的固有参数，通过使用虚拟对象顶点的3D坐标和初始图像210中投影的顶点的2D图像坐标的对应关系，从现有的姿态估计算法估计初始设备姿态21。例如，作为在OpenCV中实现的方法，姿态估计算法是基于Levenberg-Marquardt优化的迭代方法。在这种情况下，要最小化的方程是重新投影误差，它是观察到的投影(对应于验证的插入的2D图像坐标)和3D模型顶点在图像平面中的投影距离的平方和。有益地，相对于场景2并以由用户配置的初始对象方位为中心估计初始设备姿态21。
图5描绘了用于模糊视频中的虚拟对象并且对应于图2的捕获设备1的示例性实现的处理设备5。根据原理的具体和非限制性的实施例，处理设备5包括配置成将视频捕获为图像序列的相机50。根据原理的具体和非限制性实施例，相机50包括用于聚焦光并将其导向半导体图像捕获设备的透镜，例如CCD(电荷耦合装置)捕获器或CMOS(互补金属氧化物半导体)捕获器，其用称为光敏单元的数千或数百万个微小的光敏二极管的矩阵来测量光。相机50配置成捕获初始图像和当前图像。
根据原理的具体实施例，处理设备5还包括连接到处理模块54的，惯性测量装置51其配置成测量和报告处理设备5的角速率。例如，惯性测量部件包括加速度计和陀螺仪，其中加速度计配置成检测处理设备5的加速度，并且陀螺仪配置成检测旋转属性，如俯仰、翻滚和偏航。根据原理的不同实施例，惯性测量部件至少是以下各项的组合：
-线性加速度计，配置成检测和报告处理设备5的加速度；
-角加速度计，被配置为检测和报告处理设备5的旋转属性，如俯仰、翻滚和偏航；
-陀螺仪，配置成保持绝对角度参考。
更一般地，允许测量和报告处理设备5的角速率的任何惯性或运动测量部件与所公开的原理兼容。
相机50和惯性测量装置连接到配置成估计初始图像和当前图像之间的虚拟物体的视运动矢量的处理模块54。根据特定实施例，处理模块54将所捕获的初始图像发送到本地显示部件56。处理模块54进一步配置成基于视运动矢量来对当前图像的至少一部分进行滤波。根据具体的实施例，处理模块54将经滤波的当前图像发送到本地显示部件56。
根据具体的实施例，显示部件在设备的外部，并且输出56发送初始图像和进一步滤波的图像以显示到外部显示部件。根据发明的不同实施例，内部或外部的显示部件属于包括以下各项的组：
-触摸屏；
-个人电脑屏幕；
-电视屏幕；
-平板电脑；
-智能手机屏幕。
更一般地，允许显示具有模糊的虚拟对象的视频的任何显示部件与所公开的原理兼容。
根据具体的实施例，处理模块54将捕获的初始图像和当前图像发送到存储模块55。根据具体的实施例，处理模块54还将经滤波的当前图像，更一般地，将包括模糊的虚拟对象的视频发送到存储模块55。根据原理的不同实施例，存储模块属于包括以下各项的组：
-硬盘驱动器；
-SSD；
-存储器；
-可写CD-ROM；
-可写DVD；
-可写的蓝光光盘。
更一般地，允许存储包括模糊的虚拟对象的视频的任何存储部件与所公开的原理兼容。
根据原理的具体和非限制性实施例，处理设备5还包括连接到处理模块54的用户接口52，并且配置成从用户接收用于将虚拟对象插入初始图像中的配置数据。根据原理的具体和非限制性的实施例，用户接口52进一步配置成接收用于将虚拟对象的顶点与显示部件56上显示的初始图像中的初始对象位置相关联的数据。根据原理的不同的实施例，用户接口52属于包括以下各项的组：
-触摸屏及其伴随的基于固件的控制器，该固件适于显示图像和图标并且接收来自用户与显示的图标的交互的数据；
-网络接口，如用于将处理设备5连接到配置成向用户提供远程用户界面的外部设备局域网接口或广域网接口。
更一般地，适于提供用户界面以及接收用于将虚拟对象插入初始图像的配置数据的任何设备与公开的原理兼容。
图6表示根据具体和非限制性的实施例的处理设备5的示例性架构，其中处理设备5配置成在捕获的视频中模糊虚拟对象。处理设备5包括一个或多个处理器610，例如，其是CPU，GPU和/或DSP(数字信号处理器的英文首字母缩略词)以及内部存储器620(例如RAM、ROM、EPROM)。存储器620存储捕获的视频的图像以及测量的角速率数据和经滤波的当前图像。处理设备5包括一个或几个输入/输出接口630，其适于发送以显示输出信息和/或允许用户输入命令和/或数据的(例如键盘、鼠标、触摸板、网络摄像头、显示器)和/或通过网络接口发送/接收数据；以及可以在处理设备5外部的电源640。处理设备5包括适于检测和报告处理设备5的角速率数据的一个或几个惯性测量单元650(IMU)。
根据示例性和非限制性的实施例，处理设备5还包括存储在存储器620中的计算机程序。计算机程序包括指令，当由处理设备5特别是由处理器610执行时，使得处理设备5执行参考图1描述的处理方法。根据变型，计算机程序存储在处理设备5外部的非暂态的数字数据支持(例如，如SD卡、HDD、CD-ROM、DVD、只读和/或DVD驱动器和/或DVD读/写驱动器，都是本领域已知的)。因此，处理设备5包括用于读取计算机程序的接口。此外，处理设备5可以通过对应的USB端口(未示出)访问一个或多个通用串行总线(USB)型存储设备(例如“记忆棒”)。
根据示例性和非限制性实施例，处理设备5是属于包括以下各项的一组的设备：
-相机；
-智能手机；
-平板电脑；
-便携式游戏设备；
-HMD(头戴式装置)；
-智能眼镜。

Claims (14)

1.一种视频处理的方法，所述方法包括：
获得（S110）在初始设备姿态处由设备（1）捕获的视频的初始图像（210）；
获得（S120）在当前设备姿态处由设备（1）捕获的所述视频的当前图像（220）；
基于与从所述初始设备姿态移动到所述当前设备姿态的所述设备（1）的至少一个运动传感器相关联的角速率，估计（S130）在所述初始图像（210）和所述当前图像（220）之间的虚拟对象的视运动矢量（30），其中所述估计（S130）独立于从所述初始设备姿态移动到所述当前设备姿态的所述设备（1）的任何平移而被执行；
基于所述视运动矢量（30），对所述当前图像的至少一部分进行滤波，以模糊所述虚拟对象。
2.根据权利要求1所述的方法，其中所述估计（S130）所述视运动矢量（30）还包括基于所述初始设备姿态（21）和所述角速率估计所述当前设备姿态（22）。
3.根据权利要求1所述的方法，还包括基于所述视运动矢量（30）和所述初始图像（210）中的初始对象位置（211）估计所述当前图像（220）中的当前对象位置（221）。
4.根据权利要求1所述的方法，其中所述虚拟对象（20）具有轨迹，所述方法还包括：
基于所述轨迹和初始对象方位估计（S122）当前对象方位，以及
基于所述当前图像（220）中的所述当前对象方位的投影估计（S124）所述当前图像（220）中的当前对象位置（221）。
5.根据权利要求4所述的方法，其中估计（S130）所述虚拟对象（20）的所述视运动矢量（30）是基于所述当前图像（220）中的所述当前对象位置（221）和所述初始图像（210）中的初始对象位置（211）之间的差别。
6.根据权利要求1所述的方法，其中所述模糊所述虚拟对象还包括基于空间滤波长度（401）和空间滤波方向（400）对所述虚拟对象进行滤波，所述空间滤波方向（400）对应于所述视运动矢量（30）的方向，以及所述空间滤波长度（401）是所述视运动矢量（30）的模块的因子，所述空间滤波长度（401）对应于相邻的像素（41、42）的数量。
7.根据权利要求6所述的方法，其中所述因子对应于所述设备（1）的快门光圈持续时间。
8.根据权利要求6所述的方法，其中所述对所述虚拟对象进行滤波（S140）还包括：
获得用于所述当前图像（220）的所述虚拟对象（20）的掩码，其中所述掩码包括对应于所述虚拟对象（20）的所述当前图像（220）的每个像素的非零的颜色值和权重值1；
根据确定的空间滤波器对所述掩码进行空间滤波；
将当前图像（220）与虚拟对象（20）的空间滤波的掩码混合。
9.根据权利要求1所述的方法，还包括基于在前一设备姿态处由所述设备（1）捕获的前一图像估计所述初始设备姿态（21），所述估计所述初始设备姿态还基于所述前一设备姿态和所述设备（1）的从所述前一设备姿态到所述初始设备姿态（21）的前一运动。
10.根据权利要求3所述的方法，还包括
从用户界面在所述初始图像（210）中插入所述虚拟对象（20），所述插入包括将所述虚拟对象（20）的顶点（200）与所述初始图像（210）中的所述初始对象位置（211）相关联；
估计与对应于所述初始对象位置（211）的所述初始对象方位有关的所述初始设备姿态（21）。
11.一种设备（1）；包括：
用于获得在初始设备姿态处由相机捕获的视频的初始图像（210）的部件；
用于获得在当前设备姿态处由相机捕获的所述视频的当前图像（220）的部件；
用于基于与至少一个运动传感器相关联的角速率估计在所述初始图像（210）和所述当前图像（220）之间的虚拟对象（20）的视运动矢量（30）的部件，所述运动传感器指示所述相机从所述初始设备姿态移动到所述当前设备姿态的运动，其中所述估计独立于从所述初始设备姿态移动到所述当前设备姿态的所述设备（1）的任何平移而被执行；
用于基于所述视运动矢量（30），对所述当前图像的至少一部分进行滤波，以模糊所述虚拟对象的部件。
12.根据权利要求11所述的设备，还包括所述相机和所述运动传感器。
13.根据权利要求11所述的设备，其中用于估计所述视运动矢量（30）的部件还包括用于基于所述初始设备姿态（21）以及所述设备（1）的所述运动估计所述当前设备姿态（22）的部件。
14.一种存储程序代码指令的计算机可读存储介质，所述程序代码指令由处理器可执行以用于：
获得（S110）在初始设备姿态处由设备捕获的视频的初始图像（210）；
获得（S120）在当前设备姿态处由所述设备捕获的所述视频的当前图像（220）；
基于与从所述初始设备姿态移动到所述当前设备姿态的所述设备（1）的至少一个运动传感器相关联的角速率，估计（S130）在所述初始图像（210）和所述当前图像（220）之间的虚拟对象的视运动矢量（30），其中所述估计（S130）独立于从所述初始设备姿态移动到所述当前设备姿态的所述设备（1）的任何平移而被执行；
基于所述视运动矢量（30），对所述当前图像的至少一部分进行滤波，以模糊所述虚拟对象。
CN201710827799.5A 2016-09-15 2017-09-14 用于模糊视频中的虚拟对象的方法和设备 Active CN107833237B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16306175.7A EP3296950A1 (en) 2016-09-15 2016-09-15 Method and device for blurring a virtual object in a video
EP16306175.7 2016-09-15

Publications (2)

Publication Number Publication Date
CN107833237A CN107833237A (zh) 2018-03-23
CN107833237B true CN107833237B (zh) 2023-08-15

Family

ID=56997437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710827799.5A Active CN107833237B (zh) 2016-09-15 2017-09-14 用于模糊视频中的虚拟对象的方法和设备

Country Status (5)

Country Link
US (1) US10825249B2 (zh)
EP (2) EP3296950A1 (zh)
JP (1) JP6951166B2 (zh)
KR (1) KR102397343B1 (zh)
CN (1) CN107833237B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016184527A1 (en) * 2015-05-21 2016-11-24 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
CN107019915B (zh) * 2016-02-01 2018-09-07 腾讯科技（深圳）有限公司 一种确定移动轨迹的方法、用户设备及系统
CN108520568B (zh) * 2018-04-03 2019-04-09 武汉木一科技有限公司 一种设备指示灯定位识别方法及装置
CN108734736B (zh) * 2018-05-22 2021-10-26 腾讯科技（深圳）有限公司 相机姿态追踪方法、装置、设备及存储介质
JP7210180B2 (ja) * 2018-07-25 2023-01-23 キヤノン株式会社 画像処理装置、画像表示装置、画像処理方法、及びプログラム
US10860165B2 (en) * 2018-09-26 2020-12-08 NextVPU (Shanghai) Co., Ltd. Tracking method and apparatus for smart glasses, smart glasses and storage medium
KR20210087840A (ko) * 2020-01-03 2021-07-13 삼성전자주식회사 영상 처리를 위한 전자 장치, 방법 및 비일시적 저장 매체
KR20220040054A (ko) * 2020-09-23 2022-03-30 삼성전자주식회사 전자장치 및 그 제어방법
WO2024018166A1 (en) 2022-07-22 2024-01-25 Blackbird Plc Computer-implemented methods of blurring a digital image; computer terminals and computer program products

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007507036A (ja) * 2003-09-25 2007-03-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動作ぼかしの生成
JP2007272389A (ja) * 2006-03-30 2007-10-18 Namco Bandai Games Inc プログラム、情報記録媒体および画像生成システム
CN103390287A (zh) * 2012-05-11 2013-11-13 索尼电脑娱乐欧洲有限公司 用于增强现实的装置和方法
WO2013173670A2 (en) * 2012-05-18 2013-11-21 Thomson Licensing Processing panoramic pictures
JP2014035763A (ja) * 2012-08-10 2014-02-24 Nippon Telegr & Teleph Corp <Ntt> 情報表示装置
WO2016137653A1 (en) * 2015-02-27 2016-09-01 Qualcomm Incorporated Fast adaptive estimation of motion blur for coherent rendering

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7643062B2 (en) * 2005-06-08 2010-01-05 Hewlett-Packard Development Company, L.P. Method and system for deblurring an image based on motion tracking
US8018579B1 (en) * 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
CN101506844B (zh) * 2006-08-11 2012-02-08 汤姆逊许可公司 用于显示器和数字放映机的准确运动描绘
US20080143840A1 (en) * 2006-12-19 2008-06-19 Texas Instruments Incorporated Image Stabilization System and Method for a Digital Camera
US8196166B2 (en) 2006-12-21 2012-06-05 Verizon Patent And Licensing Inc. Content hosting and advertising systems and methods
US9106873B2 (en) 2010-04-01 2015-08-11 Verizon Patent And Licensing Inc. Methods and systems for providing enhanced content by way of a virtual channel
JP5514637B2 (ja) * 2010-06-11 2014-06-04 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
FR2967804B1 (fr) * 2010-11-19 2013-01-04 Total Immersion Procede et dispositif de detection et de suivi d'objets non rigides en mouvement, en temps reel, dans un flux video, permettant a un utilisateur d'interagir avec un systeme informatique
EP2748795A1 (en) * 2011-09-30 2014-07-02 Layar B.V. Feedback to user for indicating augmentability of an image
WO2014048475A1 (en) * 2012-09-27 2014-04-03 Metaio Gmbh Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image
US20140333669A1 (en) * 2013-05-08 2014-11-13 Nvidia Corporation System, method, and computer program product for implementing smooth user interface animation using motion blur
EP2819095A1 (en) * 2013-06-24 2014-12-31 Thomson Licensing Method and apparatus for inserting a virtual object in a video
JP6157242B2 (ja) * 2013-06-28 2017-07-05 キヤノン株式会社 画像処理装置及び画像処理方法
US20150220996A1 (en) 2014-01-31 2015-08-06 Venkata S.J.R. Bhamidipati Systems and methods for viral promotion of content
US9495801B2 (en) * 2014-05-01 2016-11-15 Microsoft Technology Licensing, Llc Pose tracking an augmented reality device
WO2016037653A1 (en) 2014-09-11 2016-03-17 Federal-Mogul Wiesbaden Gmbh PRECIPITATION HARDENABLE ALUMINUM BASED Al-Sn-Si-Cu-Mg-V BEARING ALLOY
JP6464934B2 (ja) * 2015-06-11 2019-02-06 富士通株式会社 カメラ姿勢推定装置、カメラ姿勢推定方法およびカメラ姿勢推定プログラム
US10420472B2 (en) * 2015-08-26 2019-09-24 Canon Kabushiki Kaisha Apparatus and method
US10535193B2 (en) * 2015-09-08 2020-01-14 Canon Kabushiki Kaisha Image processing apparatus, image synthesizing apparatus, image processing system, image processing method, and storage medium
US9865062B2 (en) * 2016-02-12 2018-01-09 Qualcomm Incorporated Systems and methods for determining a region in an image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007507036A (ja) * 2003-09-25 2007-03-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動作ぼかしの生成
JP2007272389A (ja) * 2006-03-30 2007-10-18 Namco Bandai Games Inc プログラム、情報記録媒体および画像生成システム
CN103390287A (zh) * 2012-05-11 2013-11-13 索尼电脑娱乐欧洲有限公司 用于增强现实的装置和方法
WO2013173670A2 (en) * 2012-05-18 2013-11-21 Thomson Licensing Processing panoramic pictures
JP2014035763A (ja) * 2012-08-10 2014-02-24 Nippon Telegr & Teleph Corp <Ntt> 情報表示装置
WO2016137653A1 (en) * 2015-02-27 2016-09-01 Qualcomm Incorporated Fast adaptive estimation of motion blur for coherent rendering

Also Published As

Publication number Publication date
JP6951166B2 (ja) 2021-10-20
US20180075660A1 (en) 2018-03-15
JP2018049614A (ja) 2018-03-29
EP3296952B1 (en) 2020-11-04
CN107833237A (zh) 2018-03-23
KR20180030446A (ko) 2018-03-23
EP3296950A1 (en) 2018-03-21
EP3296952A1 (en) 2018-03-21
US10825249B2 (en) 2020-11-03
KR102397343B1 (ko) 2022-05-13

Similar Documents

Publication Publication Date Title
CN107833237B (zh) 用于模糊视频中的虚拟对象的方法和设备
Karpenko et al. Digital video stabilization and rolling shutter correction using gyroscopes
Forssén et al. Rectifying rolling shutter video from hand-held devices
Nayar et al. Motion-based motion deblurring
Lee et al. Simultaneous localization, mapping and deblurring
JP6090786B2 (ja) 背景差分抽出装置及び背景差分抽出方法
US20100204964A1 (en) Lidar-assisted multi-image matching for 3-d model and sensor pose refinement
WO2017020150A1 (zh) 一种图像处理方法、装置及摄像机
KR101410273B1 (ko) 증강현실 응용을 위한 환경 모델링 방법 및 장치
JP7164968B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
US11042984B2 (en) Systems and methods for providing image depth information
US10104286B1 (en) Motion de-blurring for panoramic frames
CN111899276A (zh) 一种基于双目事件相机的slam方法及系统
TWI501193B (zh) Computer graphics using AR technology. Image processing systems and methods
CN110544278B (zh) 刚体运动捕捉方法及装置、agv位姿捕捉系统
CN109474817B (zh) 光学传感装置、方法及光学侦测模块
Kamali et al. Stabilizing omnidirectional videos using 3d structure and spherical image warping
CN113301249B (zh) 全景视频处理方法、装置、计算机设备和存储介质
JP2005063012A (ja) 全方位カメラ運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体
CN113822936A (zh) 数据处理方法、装置、计算机设备及存储介质
JP7164873B2 (ja) 画像処理装置及びプログラム
O'Sullivan et al. Empirical modelling of rolling shutter effect
Zhang et al. A dataset for deep image deblurring aided by inertial sensor data
Chandramouli et al. Inferring Image Transformation and Structure from Motion-Blurred Images.
Chu Image deblur for 3d sensing mobile devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190606

Address after: Paris France

Applicant after: Interactive digital CE patent holding Co.

Address before: I Si Eli Murli Nor, France

Applicant before: THOMSON LICENSING

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant