CN101208723A - 用于3维照相机和3维视频的自动场景建模 - Google Patents

用于3维照相机和3维视频的自动场景建模 Download PDF

Info

Publication number
CN101208723A
CN101208723A CNA200680013707XA CN200680013707A CN101208723A CN 101208723 A CN101208723 A CN 101208723A CN A200680013707X A CNA200680013707X A CN A200680013707XA CN 200680013707 A CN200680013707 A CN 200680013707A CN 101208723 A CN101208723 A CN 101208723A
Authority
CN
China
Prior art keywords
video
model
image
generation
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA200680013707XA
Other languages
English (en)
Inventor
克雷格·萨默斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN101208723A publication Critical patent/CN101208723A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion

Abstract

公开了一种用于普通运动视频中的3D漫游的单个照相机图像处理方法。可以为每个像素定义色彩、亮度和XYZ坐标。可以使用所得到的几何模型从数字图像中获得度量，以作为诸如激光测距的现场勘定装备的替代。使用运动视差将前景物体与背景分离。这提供了一种用于产品放置的将视频元素放置到不同背景中的便利方法，并提供了一种将视频元素与计算机辅助设计(CAD)模型和来自其他源的点云团进行融合的便利方法。如果家庭用户可以从视频中保存视频穿梭飞行或特定3D元素，则该方法提供了对贴有商标的媒体进行主动共享的优势。当与视频会议照相机一起使用该图像处理时，用户的移动可以自动控制视点、在普通的电视机和计算机屏幕上创建3D全息效果。

Description

用于3维照相机和3维视频的自动场景建模
技术领域
本发明涉及图像处理技术，并且更具体地，本发明涉及将图像序列自动分割成可漫游(navigable)的3D场景(scene)的系统和方法。
背景技术
近来，虚拟旅游是数字图像到3D漫游的最大应用。存在许多影像式虚拟实景(photo-VR)方法，从将照片接合为全景图片到将两个鱼眼镜头照片转换成球面图像的现有系统，再到捕获并展开(unwarp)360度视图的抛物柱面镜系统。不幸的是，这些方法为了操作的简单而都基于被约束到一个视点的节点全景(nodal panorama)。它们都允许在屏上取景以在场景中进行察看，并允许进行放大直到将图像像素化。但是，即使在每种情况下3D模型都是这些场景的基础，其也不能绕3D模型移动、不能合并前景物体、并且当前景物体相对于背景移动时也没有来自视差的深度感觉。
这些限制在360度视频中变得更加糟糕。即使制造出价格最昂贵、分辨率最高的照相机，其视频分辨率对于全景场景来说也是不够的。将视点固定在一个位置也意味着没有运动视差。当我们在实际生活中移动时，前景中的物体相对于背景中的物体而移动。这是视觉中的基本深度暗示(cue)。
一种替代方法是使用3D渲染程序来创建3D物体模型。然而，这通常是一种耗时的方法，其需要昂贵的计算机硬件和软件以及大量的训练。此外，3D透视图和动画的技术状态是类似动漫的对象。因而，需要创建和观看真实感(photorealistic)的3D模型。此外，该方法应当快速并且不昂贵。
利用当前一代的照片建模(photomedeling)和移动跟踪软件的通常实践是在对象周围放置标记或使用户标记出每个平坦表面的特征和至高点，以确保在不同视角的照片中都标记出相应的点。当然，用手来一次一个点地创建点云团(point cloud)显然是较慢的。尽管可以为所制作的物体手动创建理想形状，但是这并不能很好地应用于有机物的柔和梯度和轮廓。
Bracey，G.C.、Goss，M.K和Goss，Y.N.(2001)提交了关于标记面部的几个轮廓来创建3D头部模型的题目为“3D Game Avatar Using PhysicalCharacteristics”、国际公开号为WO 01/63560的国际专利申请。而这里所公开的申请可以用于产生类似的结果，且可以自动生成而无需手动标记。诸如Bracey等人定义的头部建模的照相测量法依赖于不同视角的图像中的各个标记特征点。尽管Bracey等人声称这可以用手动或计算机程序来完成，但是识别在不同视角中具有不同形状的事物是还未被计算解决的人工智能的基本问题。Bracey等人没有指出用于解决该长期存在的问题的任何方法。他们没有限定当从前面和侧面观察眉毛时计算机程序如何将其“识别”为相同的物体。他们真正描述的方法包括用户干涉以手动指示几个相应照片中的每个特征。Bracey等人公开的方法的目的看来是关于预定普通头部形状(线框，wireframe)的纹理贴图(texture mapping)，而不是实际的3D建模。假设头发对人头部的形状和外观有影响，则将照片强行规定成现有的无头发的人体模型类型的头部是一个明显的缺点。本发明的方法将定义任何形状的线框物体(和纹理贴图)。
除了通常标记至少7个点之外，Bracey等人也没有明显指定对于要使用的相应特征点的任何约束。这里公开的方法可以逐帧匹配任何数目的像素，并且利用非常清楚的方法来完成。本发明的方法可以使用不同视角的图像或运动视差以自动生成线框结构。与Bracey等人的方法相反，本发明的方法意味着由计算机程序来自动完成，几乎不需要手动。本发明的方法将呈现完整的3D场景，而不仅仅是头部(尽管它也影响包括头部和脸部的特写的人物图像)。本发明的方法不用像Bracey等人的方法那样必须使用前和侧视图。Bracey等人的手动特征标记方法类似于现有的用于图像建模的商业软件，尽管Bracey等人的方法被限制为纹理贴图且仅为头部和脸部。
尽管所有这些系统都趋向于劳动密集的花费并需要非常昂贵的设备，但是对于根据现实物体生成3D几何形状也存在特殊的硬件系统。
●立体视觉：特殊的工业照相机具有两个透镜系统，这两个透镜系统被校准分开某个距离。这些并不用于消费者，并且具有额外的制造费用。观察者通常需要诸如LCD快门眼镜或红-绿3D眼镜的特殊设备。
●激光测距：线、点或格被投影在物体上，以当识别出特定的光点时使用光传播(travel)时间或三角测量法来定义其距离或形状。该方法需要昂贵的设备且基于大量的数据集合，并且该方法较慢且不具备真实感。
这些设置包括特定硬件的基本费用和不便，并且倾向于适合较小的物体而不是类似建筑物或山脉之类的物体。
通过所有这些不同领域内进行的研究和产品开发，仍然几乎没有工具可以根据图像序列中的XY坐标自动生成XYZ坐标。也没有从XYZ点转换成3D表面模型的可用工具。在市场上不存在可以让人们通过移动视频而自己漫游的系统——无论是专业级别的还是消费级别的。也没有根据视频自动生成几何模型的可用的系统。也没有对图片或视频进行加工的系统，并且没有仅仅根据几幅图像就能自动生成几何模型而不用比较这些图片来手动标记匹配目标的系统。最后，诸如激光测距、立体视法(stereoscopy)、各种形式的3D渲染和照相测量法的特殊方法消耗过多的设备、劳力和培训费用，使得该技术被排除在除少数主要的好莱坞工作室以外的消费者和大多数电影制作人范围之外。
在广播和电影术中，提取遮罩层(matte layer)的目的通常是将可互换的前景和背景层合成在一起。例如，对每夜的天气预报使用绿色屏幕的摄影棚，可以将天气地图数字地放置在播报员的后面。甚至在二十世纪四十年代的电影术中，就在玻璃上描绘精心制作的场景元素，透过该“合成”窗口对演员进行拍摄。在数字特效出现以前的日子里，该“遮罩描绘”允许在普通布景中对演员进行拍摄，但是从摄影机的视觉上看是具有被描绘在玻璃上的精心制作的家居陈设。传统上已将类似的技术应用于小格动画中，其中明胶薄片被分层，以便以不同速率刷新前景和背景。此外，在历史上，将迪斯尼的多平面照相机开发为通过合成玻璃视窗上的动漫元素而放大视点来生成深度感。
通过使用运动视差来推断数字图像序列中的深度，这里所公开的方法可以将前景物体与背景分开，而不需要特殊的照相机硬件或摄影棚打光。知道定义任何像素的3D位置的X、Y和Z坐标，然后我们可以允许人们从不同的视点来观察场景并通过场景元素进行漫游。与基于照片的物体电影和全景VR场景不同，该移动是平滑的，不存在逐帧的跳动，并且对于每个单独的观察者来说可能是不同的路径。本发明的方法允许移动已在场景中被分割的特定物体、添加新的3D前景物体或允许在特定的表面上映射新图像的能力，例如替换墙上的图片。在用户越来越能够绕开传统的电视商业广告模式的时代，这是实时视频的产品布置的方法。如果家庭用户可以从连续运转的视频中保存视频穿梭飞行(fly-through)和特定的3D元素，则该方法因而可以能够对贴有商标的媒体(branded media)进行主动共享。
当与数字视频会议照相机(或“网络摄像头”)一起使用时，我们可以跟随用户的移动，并且改变他们正观看的视频的视点。这为普通的电视机和计算机监视器提供了3D全息的效果。一个成果是不需要主动控制的交互式TV；当用户移动时视点自动地移动。用户可以被动地观看TV，但是使用手势和身体移动来漫游3D重放和/或当视频播放时进行浏览。
因而，需要一种将二维图像序列自动分割成可漫游的3D场景的方法。
发明内容
本发明涉及自动将二维图像序列分割成可能包括移动的可漫游的3D场景的方法和系统。
这里所公开的方法使用“运动视差”来自动分割连续视频中的前景物体，或使用物体不同角度的侧面形状来自动生成其3D形状。“运动视差”是一种光学深度暗示，其中较近的物体以与更远的背景物体的光学流不同的速率和量而横向移动。可以使用“运动视差”来提取“遮罩层”：可以是以层合成的图像部分。这不需要蓝屏遮罩层的特殊打光，也被称为色度调节(chromakey)、“转描”摄影方法的主帧的手动跟踪或相应点的手动标记。运动视差也不需要在场景上投影任何类型的格、线或图案。因为这是用于3D视频的自动场景建模的单个照相机方法，所以该技术可以在“3D照相机”内操作，或可以用于在播放现有或过去的电影胶片期间生成可漫游的3D体验。利用该方法可以连续地以3D观看普通的视频，或可以保存和在线共享3D元素和穿梭飞行。
在图1中说明了本发明所述的图像处理技术。它对获得实用的视频中的3D效果做出了平衡，该3D效果满足了视觉对于丰富的3D、移动的且音频可视环境的需要。运动视差用于向帧中的每个XY坐标点添加深度(Z)，以生成3D视频的单个照相机自动场景建模。在因为其被设计为是自动的且对于消费者的使用来说是物有所值的而较为方便的同时，其也对我们通常所认为的运动照片打开了全新的界面，其中电影可以移动，但是观众也可以移动。可以将电影生成为在场景之内和之间预期漫游。但是即使不进行生产上的改变，机顶盒和计算机的软件也可以允许利用该系统来几何地表示任何视频信号。
为了方便，用Z来表示深度维，遵循2D坐标系统中用X来表示水平轴且用Y来表示垂直轴的传统。然而，这些标签多少有点任意性，可以使用不同的符号来表示这三个维。
根据普通视频生成3D模型的基本能力还导致两个其它的能力。如果我们可以根据视频来生成几何结构，则我们必须知道视频帧中的特定点的3D坐标。因而我们可以从视频的物体中提取距离、体积以及其它测量量，这允许将该图像处理用于工业应用中。
于是可能出现的第二个能力涉及屏上全息效果。如果将连续运转的视频分成移动3D模型，则需要视点参数来定义XYZ位置和注视方向。如果观察者正在使用网络摄像头或视频照相机，则可以将他们观察时的移动用来修改3D视频、VR场景或3D游戏中的视点参数。然后，当人移动时，屏上视点自动移动，允许他们四处观看前景物体。这使用普通照相机或计算机监视器生成了类似于3D全息图的效果。
从最广的意义上说，这里所公开的方法的目的是使“3D照相机”能够：对于所保存的每个像素，我们也可以以XYZ坐标来定义其位置。这超出了位图的一个静态视点，并且提供了用于分析场景几何形状以生成更完整的3D体验的数据和能力。可以利用照相机中的图像传感器或在播放时进行该图像处理。对于任何一种方式，这里描述的系统都可以利用普通视频的自动处理在普通监视器屏幕上创建强烈的视觉(view)体验。不需要特殊的照相机硬件。其使用根据图像直接生成场景的有效方法，而不是试图将几百万个多边形呈现为真实场景的标准方法。
因此，本发明的一个目的是基于运动视频中的差分光学流来识别前景物体，然后向帧中的每个XY坐标点增加深度(Z)。
本发明的另一目的是允许产品放置，其中将贴有商标的产品插入到场景中，甚至具有基于人口统计或诸如天气或位置的其它变量的动态目标处理。
本发明的另一目的是创建一种允许进行生成具有可测量的尺寸的3D模型的图像处理的系统。
本发明的另一目的是当网络摄像头可获得时根据网络摄像头处理用户移动，以控制在屏幕上进行3D漫游时的视点。
通常，利用3D建模的前提是必须最小化可视细节以有利于线框模型。即使这样，为动画电影呈现“穿梭飞行”(即记录3D场景漫游)需要处理包含巨大“呈现区域(render farm)”上的几百万个多边形的线框：对于记录在线性视频的单个穿梭飞行的大量多机呈现。相反，这里所描述的方法和软件采用了一种在如何生成3D视频的假定上非常不同的方法。这里所定义的方法被设计为放宽对复杂和精确的几何模型的需要，这有利于利用最少的多边形模型和丰富的音频-视频内容来生成真实感。这打开了3D体验，使得任何人可以在家庭计算机上创建穿梭飞行。普通的家庭计算机或机顶盒就足够了，而无需花费几小时或几天来呈现几百万个线框表面来生成3D穿梭飞行的工业系统。
这里所公开的方法被设计为生成最少的几何模型，以利用适度的处理量向视频增加深度，并且在该简化的几何模型上简单地运行所映射的视频。不需要呈现区域。只生成有限数目的几何物体使这种呈现具有较小的计算强度，并且使纹理贴图更容易。当以这种方式根据普通的一个照相机线性视频获得运动视频内的3D漫游时，可以通过视频的声音和移动来克服模型的缺点。
我们现在具有改变意味着“拍照片”的本质的技术能力。并非存储彩色像素的位图，“数字图像”也可以存储场景几何。并非仿效如在绘画中那样记录彩色点的传统能力，数字成像可以包括3D结构以及彩色点。因而，软件能够改变照片拍摄和视觉体验的基本本质。
使用这里描述的方法，可以与视频中的背景分开对前景物体进行建模、处理和发送。想象当播放3D视频时在其中进行漫游。当你使用普通的视频照相机时，可能一些人走进场景中。然后，当你观看视频时，可以将他们示出为在你进行3D漫游的同时在3D场景中到处走动。当你飞跃(fly around)时，界面也将允许你冻结该动作或使其加速或倒退。这类似于冻结时间(frozen-in-time)左右旋转(spin-around)效果，然而，在这种情况下，你可以从任何方向离开该空间，并且也可以使播放加速、暂停或倒转。而且，因为我们可以将前景与背景分离，所以你可以将人们放到不同的3D环境中让他们走动。
很长时间以来，天文学家已对使用运动视差来计算行星和恒星之间的距离产生了兴趣，其通过根据地球在晚上旋转或其每年的轨道中的不同点所拍的照片来推断距离。这里所公开的图像处理也推出了一种根据在地球轨道的不同点所拍的一系列图像自动生成可漫游的3D星体模型的新方法。
该对于可能的视觉体验特性(来自线形视频、利用一个照相机、在平板电视屏幕或监视器上)的示范性改变可以基本上改变我们观看电影的形式和运动图片生成的特性。即使我们形容这些能力的语言只能限于术语“影片”、“电影”和“运动图片”，但是没有一个能够完全表达当播放非线性视频时可以对其进行漫游的体验。从你在场景中的交互体验每个时间都不相同的意义上来说，这不是真正的“重播”。
同样，也为可交互式电视的生产者和用户开发了新的可能性，将前景物体分开的能力有助于发送诸如MPEG-4的压缩格式的与静态物体相比的更高的移动帧速率，以降低视频带宽。
附图说明
结合附图来最好地理解下面以示例的方式给出的详细描述，该描述不用于将本发明仅限于此，其中：
图1示出了整个处理的示意性说明：前景物体遮罩与背景分开，在物体所在区域创建空白区域(当从不同角度观看时)，并且向背景遮罩增加线框以给出厚度；
图2示出了利用本发明的软件控制的屏上全息图，该软件检测从网络摄像头反馈的用户移动，使视点在屏上移动；
图3示出了本发明的处理部件的一般流程图；
图4示出了不同透视图的台灯的两张照片，根据该照片呈现3D模型；
图5示出了根据两张照片创建的台灯的3D模型。在左图中示出了平滑的线框模型。右图是具有被映射到表面上的图像的最终的3D物体。物体的后面部分是空的(其在原始图片中是不可见的)，尽管可以关闭该表面；
图6示出了用于定义XYZ坐标点上的三角形以创建线框网的方法；
图7示出了显示背景上的阴影的分离视频的斜视图。
具体实施方式
如果连同诸如色彩和对比度的绘画和图像的传统特征一起在图像处理中分析深度几何，则可以在照片和视频中产生更好的视觉体验。与照片、绘画或甚至是壁画中将色彩点表示在二维图像上不同，这里所公开的技术处理3D场景结构。其利用普通的数字图像设备来进行该处理，无论是静态照相机还是视频摄像机。可以在照相机中进行该处理，但是通常是随着观察者的漫游而发生该处理。该处理自动发生而无需手动干预。它甚至可以利用古旧的电影胶片来工作。
通常在视频中存在影响3D结构的场景改变和照相机移动。整个光流(optic flow)可以被用作某类照相机移动的指示符；例如，照相机绕透镜节点的旋转将去除视差，并且导致3D模型变平。照相机的横向移动将增强运动视差并突出前景物体。也可以基于与整个光流相比的差分运动来分割移动物体。尽管敏感度控制可以允许用户下调突出量，但这对于视觉体验来说可能并不算坏。当在3D坐标中播放视频时，默认将其建立在与所捕获的初始视频相同的屏幕区域上。
与当前所使用的所有虚拟旅游不同，该系统允许用户在真实感的环境内移动，并从任何视角来观看它，即使那里从来没有过照相机。由于基础的3D模型，从而可以由场景来推出距离测量。
本发明的一个实施例基于自动遮罩提取，其中基于与背景光流不同速率的横向移动(即，运动视差)来分割前景物体。然而，还存在一种将要公开的普通变形。某些图像序列由其特性所定在其中不具有任何运动：具体而言，诸如人或物体的正视图和侧视图的正交照片。如果两张照片是成90度或其它特定视角而拍摄的，则仍然可以自动呈现物体形状而无需人工干预。只要是以背景可以分开的方式来拍摄照片(无论是移动、色度调节还是手动擦除背景)，不同视角的两个侧面影像就足以定义该物体，使其膨胀，并且将该图像在结果线框上进行纹理贴图。如果背景可以是切断的，并且如果照片是以预先建立的旋转度数拍摄的，则该处理可以是完全自动的。如果照片不是以预先建立的旋转度数拍摄的，则在用户界面中仍然能够指定不同视角的旋转度数。然后，可以使用三角公式来计算点的X、Y和Z坐标，以定义线框在三维中的外部形状。
不管图像捕获设备的类型如何这里所公开的图像处理系统都可以运行，并且与例如数字视频、静止照片序列或立体照相机输入兼容。其也被设计为应用于全景图像，包括从抛物柱面镜或者从外向型(outward-looking)静止或视频照相机的集群获得的全景图像。可以分离来自全景图像的前景物体，或该全景可以作为背景，其它前景人物或物体可以被放置到其中。与根据视频生成3D模型不同，也能够使用这里所陈述的方法来生成两个不同的视点，以利用立体镜或红-绿、偏光或LCD快门眼镜生成深度感觉。而且，可以使用用户的移动来控制对于立体观看眼镜的视点的方向、观看角度和距离。
该系统中的图像处理实现了具有明确的维度的3D模型。因而，其能够从所创建的场景中提取长度尺寸。例如，对于工程师和房地产经纪人，该技术允许根据数字照片和视频生成维度和尺寸，而不用亲临实地并进行物理测量或勘定。对于需要来自许多用户的测量的任何组织或产业，数据收集可以与为处理而提交的或已被许多用户处理过的图像分离，而不需要安排涉及昂贵的测量硬件和人员的寻访。优选的实施例包含从界面获得尺寸测量的能力，包括所指示的点到点的距离，以及所呈现的物体的体积。
使用运动视差来从图像序列中获得几何结构也是一种分离或组合可漫游的视频和3D物体的方法。这与新MPEG-4数字视频标准的目的一致，该新MPEG-4数字视频标准是以比静态元素更大的帧速率发送快速移动的场景元素的压缩格式。所公开的本发明允许其中将商标产品插入到屏幕中的产品放置——甚至是基于诸如天气或位置的统计学或其它变量的个性化目标物(targeting)(见阶段7中描述的方法)。
该软件也可以被用来利用视频会议照相机(通常被称为“网络照相机”)检测用户移动，作为3D游戏、全景VR场景、计算机桌面控制或3D视频中的漫游控制的方法。网络摄像头是通常安装在用于视频会议的计算机监视器上的小型数字视频照相机。利用这里公开的本发明，优选实施例用于检测用户在前景中的移动，以控制普通电视机或计算机监视器上的3D视频游戏中的视点，如图2中所示。向计算机发送关于用户移动的信息，以控制漫游期间的视点，从鼠标、键盘、游戏板和/或操纵杆增加移动指令。在优选的实施例中，这是通过安装在操作系统中的驱动器来完成的，例如，所述驱动器以鼠标移动的形式对将向计算机发送的来自网络摄像头的身体移动进行转换。能够在动态连接库(DLL)和/或SDK(软件开发包)中运行网络摄像头反馈，所述动态连接库(DLL)和/或SDK(软件开发包)增加了3D游戏的图形引擎的能力。本领域内的技术人员将认识到，DLL和SDK的使用是计算机编程中的普通过程。尽管优选实施例使用了低成本的数字网络摄像头，但是可使用任何类型的数字视频捕获设备。
可以设置来自网络摄像头的反馈，以控制不同类型的漫游和移动，要么是在图像处理软件中，要么是具有3D游戏选项或要控制的应用程序。在优选的实施例中，当用户左右或前后移动时，XYZ视点参数相应地移动。然而，在一些诸如赛车的游戏中，游戏中的左右移动改变视点并且也控制漫游。如在诸如VRML的工业标准中，当存在穿过空间移动或旋转物体的选择时，左右控制移动使得进行用户已选择的任何类型的场景移动。这通常在应用程序或游戏中定义，并且不需要被设置为网络摄像头反馈的一部分。
当观看电影、体育广播或其它视频或图像序列时，这里所公开的方法也可以用于基于视频输入来控制视点，而不是用鼠标漫游。如果是通过检测视差的软件将电影进行分割的，则我们也将使用软件利用网络摄像头来检测用户移动。于是，在电影播放期间，视点可以随着用户移动或经由鼠标控制而改变。
在一个实施例中，当不使用网络摄像头时，可以将移动控制设置为键盘上的键和鼠标移动，以允许用户在使用键盘浏览时通过使用鼠标的在场景中移动，反之亦然。
图3中的流程图说明了利用该软件的主要技术过程。根据下面九个阶段的描述，本领域技术人员应完全理解本发明的这些和其他目的、特征和优点。
阶段1：视频分离和建模
从较宽的意义上来说，这里所公开的本发明处理关于差分移动区域(运动视差)的原始视频。该信息可以用来推断3D视频的深度，或当通过网络摄像头来使用时用来检测用户的移动，以控制3D视频、照片-VR场景或3D视频游戏中的视点。
逐帧的运动检测的一个实施例基于对诸如色彩或亮度的属性已发生改变的图像的像素和/或区域的检测。跟踪发生改变的区域的边缘、特征或中心点可以用来确定在图像内移动的位置、速率和方向。在不背离本发明的精神或本质特征的情况下，可以通过跟踪这些特征中的任何一个来具体化本发明。
边缘检测和光流可以被用来识别正以与背景不同的速率移动的前景物体(即，运动视差)。无论使用多个(或立体)照片还是使用视频帧，边缘检测都基于帧之间的诸如色调、RGB值或亮度的相应特征的最佳匹配，而不是特征的绝对匹配。下一个步骤是为背景和前景物体生成线框表面。基于所输入的尺寸，该背景可以是视频的矩形，或对于诸如多机、广角镜头或抛物柱面镜可以是观看的更宽的全景视场(例如，圆柱形、球形或立方体形)。将该视频在所呈现的表面上进行纹理贴图。然后，以可兼容的、跨平台的、广泛可用的建模形式(包括但不限于OpenGL、DirectX或VRML)进行播放，以允许在播放场景时在该场景内进行平滑快速的漫游移动。
为了评估帧之间的相对像素移动，低级别图像处理的一个实施例是发现两个图像中的同一点。在计算机视觉研究中，这被称为对应问题。诸如照相机移动或其它光流的知识之类的信息可以缩小查找范围。通过指定照相机移动或分离的平面(即，水平、垂直或某个其它方向)，减少了匹配查找。依赖于生成3D模型所需的分辨率级别和处理速度，该程序可以跳过一些列。
然后，将匹配点中的像素分离量转换成深度点(即，Z坐标)，并且将其写入XYZ坐标的3D模型数据文件中(例如，以VRML 2.0为规范)。也可以在处理期间降低图像的尺寸来寻找具有较小分辨率的较大特征，同时降低所需的处理时间。也可以将图像降低为灰度图(grayscale)，以简化对比点的识别(两个或给定数目的像素之间的色彩或亮度移动)。仅仅提取出足够的距离信息也是很好的策略。用户可以控制应用软件来寻找距离信息(并且仅仅是该信息)中的最大移动。对于比指定范围小的像素视差，简单地将该图像的那些部分定义为背景。一旦匹配完成，则不需要进一步搜索。
此外，为了更精确地跟踪逐帧的移动，可以连同移动图和深度图一起估定置信图。可以将将浮雕遮罩示出为保持附着到背景图像上，或将其示出为更靠近观察者的分离的物体。
存在由用户调节的多个变量：用于前景层和背景之间的突出程度的深度调节器；对于主帧频率的控制；对于前景物体的膨胀的敏感度控制；以及线框改变的速率。视场的深度也是可调节的参数(在阶段5实现)。默认对前景物体进行锐化，以定焦并将它们与背景进一步区分(即，缩短视场的深度)。然后，可以将背景视频进行柔化并降低分辨率，并且如果不是全景，则可以将其安装在3D背景上，以使其总是固定的且观察者不能看到它的后面。如在VRML 2.0规范中，默认的移动总是在背景的前面的XYZ空间中。
阶段2：膨胀前景物体
当基于原始视频初始分割物体时，创建点的数据集合(有时称之为“点云团”)。基于处理器资源利用指定量的细节，这些点可以被连接到一起形成深度变化的表面。通常将分割在一起的特征组定义为同一物体的部分。当用户到处移动它们的视点时，如果前景物体具有厚度，则立体感将更强。尽管点的处理可以定义足够详细的深度图，但是也可以通过创建中心转轴(spine)并将其往前拖以对前景物体给出与宽度成比例的深度。尽管这有点原始，但是对于呈现运动视频来说该算法很快，并且有可能使视频流中的移动和音频克服任何可察觉的缺陷。
为了从各个XYZ数据点的点云团转换为线框网，我们的方法是对网的元素使用三角形，以确保所有的多边形都是非常平坦的。可以使用三角形来创建任何形状，并且可以将两个三角形放在一起来形成正方形。为了用三角形构造线网，该算法从物体的左边缘的底端开始(图6中的点1)。在最简单的情况下，在一侧上存在限定形状的三个点的集合：用于左边缘的XYZ(点1)，用于中心厚度的XYZ(点2)，和用于右边缘的XYZ(点3)，如图6所示。从像素的底端行开始，我们将三角形放在左边缘和中心之间(1-2-4)。然后，我们利用第二三角形(5-4-2)返回，其与第一三角形(1，2，4)形成正方形。沿该列向物体的顶端向上重复，首先是下面的三角形(1-2-4，4-5-7，7-8-10...)，然后是上面的三角形(8-7-5，5-4-2...)。然后，使用相同的方法向上进行，并且向下进行右边的列。已知存在三个(或任何其它特定数目)点穿过物体，则于是可以自动生成三角形的每个角的编号，这既用于限定三角形也用于将图像表面映射到三角形上。我们将左下坐标定义为“1”，将中间坐标定义为“2”，并且将右边缘定义为“3”，然后对上面的每行继续编号。这是优选的方法，但是本领域技术人员应当理解，当然也可以对行向下计数或跨列。
在一个实施例中，尽管如果如图4可以看到的那样存在一个或多个角度的侧视图，则可以定义更准确的物体厚度的深度图，但是在物体上仍生成转轴以给出与宽度成比例的深度。在该情况下，软件可以使用每张图片中的物体侧面影像来定义X和Y坐标(分别为水平和垂直)，并且利用三角法则使用不同角度的横截面来定义Z坐标(物体的深度)。如图5中所示，知道物体上的表面点的X、Y和Z坐标即允许在线框表面上构造图像的线框模型和纹理贴图。如果软件不能检测到侧面影像的清晰边缘，则可以包括制图工具或可以使用第三方软件来进行色度调节或进行掩模处理(masking)。如果帧被隔开得足够近，则运动视差可能是足够的。为了校准两个照片，该程序可以降低分辨率并将两个图片定标成相同高度。用户也可以为物体指示中心特征或重心，使得在两张图片中对Z深度做出相同参考。通过对每张照片重复该方法，生成根据每个视点的坐标集合来限定物体。通过将这些坐标放到一个相同比例的较大的数据集合中，可以合并这些坐标。该算法真正的创新价值在于程序生成XYZ坐标只需要进行照相机的旋转和定标。
当使用有限数目的多边形时，所生成的模型看起来可以是成块的或有角的。这对于类似盒子、汽车或建筑物的制造物体可能是所希望的。但是对于类似人脸的柔和的有机物或穿过云的色彩梯度来说，需要更柔和的曲线。该软件考虑到该需要，在界面中具有调节至高点和角落的边缘的柔度的参数。这与VRML 2.0规范中的类似参数是一致的。
阶段3：纹理贴图
一旦我们已从点云团转换为线框网，则仍然需要将图像放到3D表面上。将用于每帧的部分的相关XY坐标与XYZ模型中的坐标匹配，就如同那时它就存在于那里(通过使Z坐标下降并保持X和Y)。然后，使用诸如但不限于OpenGL、DirectX或VRML(虚拟现实建模语言)的工业标准建模格式，在模型的表面上播放视频。该方法也与用于数字视频的MPEG-4标准中的分离视频层(基于BIFS：二进制场景格式)一致。(MPEG是运动图像专家组的简称，是定义技术标准的工业联盟。)
这里所使用的用于映射到线框网上的方法与VRML 2.0标准一致。VRML2.0中用于表面贴图的惯例是将图像坐标映射到水平轴和垂直轴上从0到1的刻度内。因而需要根据XYZ进行坐标变换。省略Z，并且将X和Y转换成0和1之间的小数。这定义了图像的伸展和位置，以将它们放置在透视图中。如果不同的图像重叠，则也没关系，因为它们应是透明的，并且应被融合在一起。
该方法在下面的方面也是创新的：其能够拍摄多个重叠图像，并且合乎透视法将它们施加到3D表面，而不需要将图像接合在一起的附加步骤。当将邻近的照片结合到一起来形成全景时，通常手动地排列它们，然后将两个图像混合在一起。这需要时间，并且实际中常常导致接缝人工假象。这里所定义的方法的一个重要创新在于它不需要接合。图像被映射到定义模型的同一坐标上。
阶段4：填充背景
如可以从图7中看出，当将物体拖到前景中时，其在背景中留下一个在从不同视角观看时可见的空白。理想地，当视点移动时，你可以看见前景物体的后面，但是人们没有注意到背景中的任何孔洞。这里公开的方法开始通过拉伸边缘来将外围色彩拉到孔的中心而填充背景。由于存在表面，所以简单地使用不同的坐标来将原始图像适合到较大区域，拉伸图像来覆盖空白空间。本领域技术人员应当理解，考虑到这些解释，在不背离本发明的精神或范围的情况下可以有各种变体来实现。
也可以向对照相机来说后面部分或顶部和底部不可见的物体施加相同的处理。可以通过生成表面来连接起孔洞的边缘。然后，可以将周围图像部分拉进。随着更多部分在输入图像中变得更可见，也可以增加更多的表面。
阶段5：视场的深度
锐化前景并柔化或模糊背景，以增强深度感觉。对于本领域技术人员来说明显的是，存在诸如卷积掩模的标准掩蔽和滤波方法以及实现该类图像处理的现有可用(off-the-shelf)的工具，以在图像处理中放大或柔化边缘。这有助于掩盖背景中的孔洞以及降低背景的分辨率要求。这是用户可调节的变量。
阶段6：漫游
一旦生成最终的3D模型，则存在许多可以观看和使用它的方法。对于漫游，在本文件中所描述的过程与诸如VRML 2.0的标准一致。本领域技术人员应当清楚如何使用诸如VRML 2.0、OpenGL或DirectX的平台的公开可用标准要求来格式化用于3D建模和漫游的结果视频文件和3D数据。
也能够使用这里所定义的技术生成3D模型，并将来自穿梭飞行的一系列视图保存为线性视频。通过保存不同的穿梭飞行或重放，例如能够在诸如DVD或体育广播的界面上提供某些交互式选择，其中可能存在最小化的漫游控制。
因为这里所定义的图像处理意味着将前景物体与背景分离并根据运动视差创建深度感觉，所以也能很好地适合于MPEG-4视频中的模型的使用。利用这些方法生成的数据集合和3D模型与VRML 2.0标准兼容，其中MPEG-4中的模型是基于VRML 2.0标准的。
具体而言，在专业的体育广播中，在浏览场地中心的同时，在游戏期间来回上下移动播放表面是非常普遍的。漫游可能需要与移动的位置、方向和速率分开而对凝视的方向进行控制。这些在3D游戏中可以是可选控制，但是对于诸如VRML的特定建模平台也可以由观看者来设置。这些附加的观看参数将允许我们在从不同方向观看比赛时上下移动播放表面，不管所使用的照相机的个数或视点如何，都可以具有平滑移动。利用这里所公开的方法，能够进行场景漫游，而不用知道照相机的位置。
阶段7：测量校准和融合
上述解释的方法的阶段1、2和3用于使用运动视差提取视频遮罩，合成这些深度片断(depth-wise)，膨胀前景物体并在结果浮雕表面对原始图像进行纹理贴图。一旦将任何像素定义为XYZ坐标空间中的点，则计算其与任意其它点的距离即是常规数学问题。在优选的实施例中，3D视频软件的一个版本包括用户界面。在该区域可以使用工具来指示点或物体，根据该点或物体可以计算诸如距离或体积的测量。
我们也希望与之前来自其它系统(例如，激光测距获取器)的点云团融合。在融合数据点之前，需要对这两种格式进行定标。对于定标，用户界面也需要包括：指示器，用来标记参考物体；以及输入框，用来输入其真实长度。可以有目的地在原始照片中包括已知长度的参考物体，或可以对出现在场景中的物体进行长度估计。一旦在场景中对长度进行了定标后，可以将所有数据点转换成新的单位，或可以根据需要进行转换。
与其他3D模型的融合的能力也使其能够在普通视频中以正确视点合并产品放置广告。这可以包括在场景中放置商品，或将图片以正确视点映射到场景中的表面上。
阶段8：用于屏上全息图的网络摄像头
一旦我们可以分析视频中的视差移动，则如果正在使用网络摄像头、DV照相机或视频电话，我们就可以使用相同的算法来跟踪在人们观察中的移动。移动到侧面将使你环顾屏上物体，给予3D前景物体屏上立体感。如从图2中可以看出的，通过利用网络摄像头检测用户移动来修改视点参数。当人移动时，3D视点相应地改变。前景物体应更成比例地移动，并且用户应当能够看见更多侧面。在3D计算机游戏中，用户的左右移动可以修改来自箭头键、鼠标或游戏板的输入，影响正在控制的任何类型的移动。利用网络摄像头的运动检测也可以用于在诸如全景图片-VR场景的交互式多媒体中控制漫游的方向和速率。
这里所公开的方法也使用唯一方法来控制屏上的3D物体和“物体电影”。通常，例如当你在房间中漫游移动到左边时，屏上移动自然地也移动到左边。但是利用影响前景物体的观看的视差，当视点移动到左边时，物体应实际上移动到右边，以使得看起来比较真实。一种允许任一控制类型的方式是提供可选的反转器(toggle)，以便如果需要，用户可以反转移动的方向。
阶段9：在线共享
这些所公开的技术设计的一个重要部分涉及媒体共享软件本身和3D视频输出。软件的设计意味着鼓励快速在线分发以及用户基数的指数增长。当保存视频穿梭飞行时，使用商业软件开发包保存文件或文件夹，在共享文件夹中默认自解压缩。这可能包括视频内容和/或软件本身的促销版本。同时，当保存3D场景时，也可以默认地在场景中放置该软件下载站点的链接。在安装期间或之后的软件选项中可以改变该默认值。
该软件也被设计具有“升级”能力，该“升级”能力在购买后输入序列号时取消时间限制或其它限制。尽管优选实施例是在在线购物车中自动付费，但是可以以各种不同的零售方法购买升级。具有免费促销版本的同一安装系统及其升级也可以与网络摄像头软件一起使用。
使用这里所公开的方法，首次使用的家庭用户具有下述能力：(i)保存视频穿梭飞行；和/或(ii)从普通视频中提取3D元素。利用大多数的数字媒体，这些可以通过即时消息、电子邮件、端对端文件共享网络来共享，并且类似于无摩擦的(frictionless)、便捷的在线方法。因而，该技术能够对贴有商标的媒体进行主动共享。
该技术正随着相当多的公众对在线媒体共享感兴趣而发展。使用类似于数字视频记录机的设备，家庭消费者也越来越具有绕开传统的基于中断的电视商业广告的能力。现在，任何人也可以使用该技术来在线发表他们自己的电影，这将我们从广播垄断引向了“无限制的频道世界”。因而，分割、定标和融合3D视频元素的能力提供了一种商标和产品放置的重要新方法，并提供了发起视频生产、分发和网络广播的新方法。不同的数据流也可以用于商标或产品放置，这意味着可以基于例如具体的人口统计、地点或一天中的时间利用偶然性来动态地插入不同的元素。通过将视频分离成3D元素的技术能力，使得电视、广播、视频和网络广播发起的该新范例成为可能。
在附图和说明书中，已公开了本发明的典型优选实施例，尽管使用了特定的术语，但是它们只用于一般和描述的意义，而不用于限制，在下面的权利要求书中阐述了本发明的范围。

Claims (68)

1.一种自动将二维数字图像序列分割成可漫游的3D模型的方法，所述方法包括：
a)捕获图像序列，并且基于成比例地增大的横向移动来定义较近的遮罩层和/或深度图；
b)根据在步骤(a)中捕获和处理的原始视频数据为背景和前景物体生成线框表面；
c)使用下述之一对前景物体给出深度：来自不同视角的侧面影像、使全部物体突出与宽度成比例的深度的中心转轴，以及如果可获得的话的运动视差信息；
d)在所述线框上对原始视频进行纹理贴图；
e)通过将图像边缘拉伸到空白场所的中心而填充前景物体后面的遮蔽区域，该区域既包括在背景上也包括视图之外的侧面上；以及
f)使用现有的视频软件开发包或通过编写实现广泛公知的卷积掩模的图像处理代码来锐化较近物体的表面图像并模糊更远距离的图像，以创建更多的深度感，从而自动将图像序列分割成3D模型。
2.一种用于基于由数字图像生成的3D模型的单位测量来对场景中的物体和特征进行非接触测量的方法，该方法用于工程学、工业和其他应用领域，从而：
a)一旦对点或特征定义了X、Y和Z坐标，则可以使用常规的数学方法来计数或计算距离和其它度量；
b)如果在特定的尺度中需要测量、数据融合或校准，则用户可以在软件界面中对可视参考物体指示少至一个的长度，并且可以将XYZ坐标转换成那些单位；以及
c)界面可以允许用户指示需要测量的地方，并且可以显示作为结果的距离、体积或其它度量。
3.一种用于控制3D视频、3D计算机游戏、物体电影、3D物体和全景VR场景中的漫游和视点的方法，该方法使用网络摄像头、利用简单的身体移动和手势以检测用户的前景移动，然后将类似于鼠标或键盘输入的用户前景移动进行发送，以控制视点或进行漫游。
4.根据权利要求1所述的生成3D模型的方法，其中，自动提取前景遮罩，并使用运动视差为其布置深度，而不需要手工干预来放置目标或标志物体。
5.根据权利要求1所述的生产3D模型的方法，其中，可以仅仅根据3幅图像生成完整的3D物体，并且可以根据少至2个的序列或透视图像开发局部形状和深度模型。
6.根据权利要求5所述的根据2幅或3幅图像生成几何形状的过程，其中，在物体从一个视角旋转到另一个视角的情况下，可以在视频中使用运动视差，而不是蓝屏照片或手工背景去除，以自动提取不同视角中的前景物体侧面影像的遮罩。
7.根据权利要求1所述的生成3D模型的方法，其中，此后也将用于生成3D点和深度图或线框的图像在深度图或线框上进行纹理贴图，以创建真实感的3D模型。
8.根据权利要求1所述的使用运动视差生成3D模型的方法，其基于可以随运动视频改变的动态线框模型。
9.根据权利要求1所述的生成3D模型的方法，使用来自视频和/或来自无需限定位置的静态照相机的图像序列。
10.根据权利要求1所述的生成3D模型的方法，其中，自动生成3D模型，并且只需要单个成像设备，尽管可以使用立体视法或多机图像捕获。
11.根据权利要求1所述的根据线性视频自动生成3D场景的方法，其中，可以对3D场景中的点的XYZ坐标进行定标，以允许在场景中放置额外的静止或运动物体，如可以进行产品放置。
12.根据权利要求1所述的生成3D模型的方法，其中，根据逐帧的图像比较来识别移动的差别速率是基于“最佳”特征匹配，而不是绝对匹配。
13.根据权利要求1所述的生成3D模型的方法，其中，可以在3D照相机的图像捕获期间或者在例如机顶盒、数字媒体集线器或计算机中的观看时发生处理。
14.根据权利要求2所述的可以在成像或观看时发生处理的方法，其中，该方法可以根据古旧电影胶片并且更广泛地是根据任何线性电影胶片来自动生成可漫游的3D场景。
15.根据权利要求1所述的生成3D模型的方法，其中，所述软件界面包括用于下述的可选的可调节控制：前景层和背景之间的突出程度；主帧频率；前景物体的宽度；线框改变的速率；以及视场的深度。
16.根据权利要求3所述的使用视频会议照相机在普通监控器上生成全息效果的方法，其中，用户可以基于视点的移动来调节包括视点的改变灵敏度的变量，无论视点的移动是否影响了鼠标的上下控制、移动方向的反转和主帧速率。
17.根据权利要求3所述的在普通监控器上生成全息效果的方法，其中，通过经由用于游戏引擎的动态连接库(DLL)和/或软件开发包(SDK)提交的移动指令、由视频会议照相机或由操作系统驱动器来检测用户的身体移动，以增加到鼠标、键盘、游戏杆或游戏板驱动器输入。
18.根据权利要求1所述的生成3D模型的方法，其中，XYZ视点可以在中心或“节”点之外的场景内移动，并且其可以绕在该视点移动时展示视差的前景物体移动。
19.根据权利要求1所述的生成3D模型的方法，其中，可以在诸如DirectX或OpenGL的平台中使用软件开发包(SDK)来以3D对包括盘上文件、网络摄像头输出、在线视频流和有线广播的各种格式的数字视频进行处理、纹理贴图和重放。
20.根据权利要求1所述的生成3D模型的方法，使用具有诸如平面、圆柱体、球体或立方体背景的坐标系统的线性视频或全景视频。
21.根据权利要求1所述的生成3D模型的方法，其中，通过保存遮蔽区域的任何表面结构和图像直到处理关于它们的新信息或最初的遮蔽区域不再位于场景中，也能够将遮蔽填充为显示尽可能多的背景。
22.根据权利要求3所述的利用视频会议照相机控制漫游和视点的方法，其中，通过照相机检测侧向移动，并将其翻译成相反方向的鼠标拖动命令，以使用户在普通的计算机桌面上查看前景物体，以具有观看屏上窗口的后面的能力。
23.根据权利要求1所述的生成3D模型的方法，其中，可以使用诸如MPEG-4的视频压缩编解码器以不同的帧速率来发送独立的场景元素，以更有效地利用带宽。
24.根据权利要求1所述的生成3D模型的方法，其中，运动分析为图像序列中可见的所有场景元素而不是仅仅个别物体自动创建空间中的XYZ点。
25.根据权利要求1所述的生成3D模型的方法，其中，在知道旋转量的情况下，可以利用不同视角的图像使用三角学来将不同角度的横截面宽度转换成XYZ坐标。
26.根据权利要求25所述的使用不同角度的物体侧面影像来定义物体厚度和形状的方法，其中，为了完全自动地呈现3D物体模型，可以在用户界面中给出照片之间的旋转角度，或以预定角度拍摄照片。
27.根据权利要求1和25所述的定义中心转轴来定义3D物体的深度的方法，其中，可以通过沿物体上的中心脊部的一个边缘来定义物体的深度，或者利用作为可调节的用户选项的角的锐化程度，该深度可以是更圆滑的多边形表面。
28.根据权利要求1所述的生成3D模型的方法，其中，使用数据点对的列或行来逐步建立用于在四个坐标中的三个之间创建三角形的列，然后在进行到下一列之前沿同一列用另一三角形填充成正方形，从而在外部物体数据点上生成三角形以构建线框表面。
29.根据权利要求28所述的使用三角多边形来生成3D线框模型的方法，其中，用户可以选择加入或不加入物体边缘到背景中的三角形，以创建单个的浮雕表面图或分割的物体。
30.根据权利要求1所述的将源图像表面映射到线框模型上的方法，其中，所述软件可以包括用于移动图片边缘(接缝)以示出更多或更少的图像的变量，从而改进图像边缘的适宜度。
31.根据权利要求1所述的根据图像生成3D模型的方法，其中，通过将快速移动的物体放置在更近的层上、并且允许实现图像来克服距离中缺少精度的缺点，来简单地解决移动物体的速度、尺寸或距离的模糊。
32.根据权利要求1所述的根据图像生成3D模型的方法，其中，我们使用尺寸、形状和值可变的在图像中逐像素移动的“掩模”或模板将一个帧与随后的帧进行比较，以对诸如每个像素的强度或色彩的变量从一个帧到下一帧跟踪最接近的匹配，从而确定图像的移动区域。
33.根据权利要求32所述的检测移动和视差的方法，其中，使用掩模定义前景物体的替代是定义逐帧改变的区域，定义那些区域中的每一个的中心点，并跟踪该中心点，以确定移动的位置、速率和方向。
34.根据权利要求1所述的处理图像序列的方法，其中，利用可调节的参数能够减少所需要的几何计算，同时保持视频播放和良好的深度感，所述可调节的参数包括：在比较帧之间跳过的帧数、掩模的尺寸、所创建的深度层的数量、物体中的多边形的数量、以及基于先前方向和移动速度的搜索区域。
35.根据权利要求1和3所述的生成和漫游3D模型的方法，其中，可以将软件的基本促销版本和/或所创建的3D模型和视频穿梭飞行压缩成压缩的自执行档案文件，并且将其默认保存到也用于诸如MP3音乐的其它媒体内容的媒体共享文件夹。
36.根据权利要求1所述的根据图像生成3D模型的方法，其中：
a)默认地，所生成的任何3D模型或视频穿梭飞行可以包括到其他人能够获得软件的网站的链接，可以由用户来重置默认到诸如(1，1，1)的位置的链接的XYZ位置；以及
b)该链接可以被放置在类似半透明蓝色球体的简单形状上，但是也可以使用其它物体和色彩。
37.根据权利要求1所述的根据图像生成3D模型的方法，其中，可以使用视频中的连续漫游；或对视点在预定路径中的简单偶然移动使用单按钮控制。
38.根据权利要求1所述的根据图像生成深度图的方法，其中，不是使用可漫游的3D场景而是使用距离信息来定义立体图像中的视差，使用诸如红-绿、偏光或LCD快门眼镜的立体观景器或眼镜来观看所述立体图像，所述立体观景器或眼镜根据同一图像集合对每只眼睛给出不同的视角。
39.一种用于将二维图像序列自动分割成3D模型的方法，所述方法包括：
a)视频设备，用于捕获在数字环境中具有二维坐标的图像；以及
b)处理器，被配置为接收、转换和处理从所述视频捕获设备检测和捕获到的二维图像；所述系统根据所述二维图像生成具有3D坐标的点云团，根据点云团定义边缘以生成具有3D坐标的线框，以及向所述线框增加线网以随后将来自视频捕获设备的图像在所述线网上进行纹理贴图，从而在屏幕上显示所述3D模型。
40.根据权利要求39所述的方法，其中，所述处理器系统位于机顶盒、数字媒体集线器或计算机中。
41.根据权利要求39所述的方法，其中，所述图像设备是视频捕获设备或静态照相机。
42.根据权利要求39所述的方法，其中，所述视频捕获设备是视频会议照相机。
43.根据权利要求39至42中的任何一个所述的方法，其中，所述处理器还通过将3D图像边缘拉伸到被遮蔽区域的中心来填充该遮蔽区域。
44.根据权利要求39至43中的任何一个所述的方法，其中，所述处理器对前景中的图像进行锐化，并且对背景中更远的图像进行柔化或模糊，以创建更多的深度感。
45.根据权利要求39所述的方法，其中，所述处理器包括可调节的控制。
46.根据权利要求45所述的方法，其中，所述可调节的控制调整前景层和背景层之间的距离，并且调节视场的深度。
47.根据权利要求39所述的方法，其中，所述二维图像是各种格式中的任何一种，包括盘上文件、网络摄像头输出、在线视频流和有线广播。
48.根据权利要求39所述的方法，其中，使用线性视频或全景视频，并利用诸如平面、圆柱形、球形或立方体背景的坐标系统。
49.根据权利要求39所述的方法，其中，在不同的角度使用所述二维图像侧面影像，以定义3D物体的厚度和形状。
50.根据权利要求39所述的方法，其中，所述3D视点可以在中心或节点之外的场景中移动，并可绕展示视差的前景物体移动。
51.根据权利要求3所述的通过使用视频会议照相机来控制3D视频、3D计算机游戏、物体电影、3D物体和全景VR场景中的漫游和视点的方法，其中使用用户的移动来控制立体观看眼镜的视点的方向、观看角度和距离。
52.根据权利要求51所述的方法，其中，所述立体观看眼镜是红-绿立体眼镜、偏光3D眼镜或LCD快门眼镜。
53.根据权利要求1所述的生成3D模型的方法，其中，所述软件界面包括最佳可调节控制，以相对于前景物体使背景变暗，这增强了可察觉的深度和突出。
54.根据权利要求4所述的生成3D模型的方法，其中，可以连同转换图和深度图一起固定置信图，以更精确地跟踪逐帧的移动。
55.根据权利要求4所述的分析移动来推断前景遮罩的深度的方法，其中，可以将浮雕遮罩示出为保持附着到背景上。
56.根据权利要求4所述的分析移动来推断前景遮罩的深度的方法，其中，可以将浮雕遮蔽示出为更接近观察者的分离的物体。
57.根据权利要求1所述的生成3D模型的方法，其中，为了根据场景分析来解释移动并进行计算，可以手工设置照相机移动。
58.根据权利要求57所述的方法，其中，所述照相机是固定的。
59.根据权利要求57所述的方法，其中，照相机移动的类型可以是横向的。
60.根据权利要求57所述的方法，其中，照相机移动类型是不受控的。
61.根据权利要求15所述的生成3D模型的方法，其中，可以根据检测帧来调节软件界面，以说明突出到前景或凹到背景中的物体，从而改进稳定而准确的深度建模。
62.根据权利要求38所述的生成立体视图的方法，其中，在双眼望远镜中显示左和右眼视角，以产生深度突出。
63.根据权利要求14所述的呈现可漫游视频的方法，其中，默认的漫游是将视点的摆动限制成可调节的量。
64.根据权利要求63所述的方法，其中，默认摆动在任何方向上是已定义的量。
65.根据权利要求64所述的方法，其中，所述已定义的量在任何方向中大约为20度。
66.根据权利要求14所述的呈现可漫游视频的方法，其中，默认将视点自动返回到开始位置。
67.根据权利要求14所述的根据视频呈现可漫游3D场景的方法，其中，可以为键盘键和鼠标移动设置移动控制，以允许用户在使用键盘察看时利用鼠标在场景中到处移动。
68.根据权利要求14所述的呈现视频的可漫游3D场景的方法，其中，可以为键盘键和鼠标移动设置移动控制，以允许用户在使用鼠标察看时利用键盘在场景中到处移动。
CNA200680013707XA 2005-02-23 2006-02-23 用于3维照相机和3维视频的自动场景建模 Pending CN101208723A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US65551405P 2005-02-23 2005-02-23
US60/655,514 2005-02-23

Publications (1)

Publication Number Publication Date
CN101208723A true CN101208723A (zh) 2008-06-25

Family

ID=36927001

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA200680013707XA Pending CN101208723A (zh) 2005-02-23 2006-02-23 用于3维照相机和3维视频的自动场景建模

Country Status (7)

Country Link
US (1) US20080246759A1 (zh)
EP (1) EP1851727A4 (zh)
KR (1) KR20070119018A (zh)
CN (1) CN101208723A (zh)
AU (1) AU2006217569A1 (zh)
CA (1) CA2599483A1 (zh)
WO (1) WO2006089417A1 (zh)

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729791A (zh) * 2008-10-10 2010-06-09 三星电子株式会社 图像处理设备和方法
CN101938670A (zh) * 2009-06-26 2011-01-05 Lg电子株式会社 图像显示装置及其操作方法
CN101964117A (zh) * 2010-09-25 2011-02-02 清华大学 一种深度图融合方法和装置
CN102521820A (zh) * 2011-12-22 2012-06-27 张著岳 动态融合背景的物体图片展示方法及系统
CN101635054B (zh) * 2009-08-27 2012-07-04 北京水晶石数字科技股份有限公司 一种信息点摆放的方法
CN102665838A (zh) * 2009-11-11 2012-09-12 微软公司 用于确定和跟踪目标的肢端的方法和系统
CN102932638A (zh) * 2012-11-30 2013-02-13 天津市电视技术研究所 基于计算机建模的3d视频监控方法
CN102939139A (zh) * 2010-04-13 2013-02-20 索尼电脑娱乐美国公司 共享虚拟空间中便携式设备的校准
CN102999515A (zh) * 2011-09-15 2013-03-27 北京进取者软件技术有限公司 一种用于获得浮雕模型建模面片的方法
CN103098457A (zh) * 2010-09-10 2013-05-08 富士胶片株式会社 立体成像装置和立体成像方法
CN103096134A (zh) * 2013-02-08 2013-05-08 广州博冠信息科技有限公司 一种基于视频直播和游戏的数据处理方法和设备
CN101751904B (zh) * 2008-12-10 2013-06-05 辉达公司 颜色增强的方法
CN103617317A (zh) * 2013-11-26 2014-03-05 Tcl集团股份有限公司 智能3d模型的自动布局方法和系统
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US8891827B2 (en) 2009-10-07 2014-11-18 Microsoft Corporation Systems and methods for tracking a model
CN104181884A (zh) * 2014-08-11 2014-12-03 厦门立林科技有限公司 一种基于全景视图的智能家居控制装置及方法
US8970487B2 (en) 2009-10-07 2015-03-03 Microsoft Technology Licensing, Llc Human tracking system
CN104581196A (zh) * 2014-12-30 2015-04-29 北京像素软件科技股份有限公司 一种视频图像处理的方法及装置
CN104602120A (zh) * 2009-09-11 2015-05-06 索尼公司 信息处理设备及方法
CN104658032A (zh) * 2013-11-15 2015-05-27 索尼公司 用于图像处理的方法、设备和系统
CN104935905A (zh) * 2014-03-20 2015-09-23 西蒙·丽兹卡拉·杰马耶勒 自动3d照相亭
CN105139349A (zh) * 2015-08-03 2015-12-09 京东方科技集团股份有限公司 虚拟现实显示方法及系统
US9250703B2 (en) 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
CN105334980A (zh) * 2007-12-31 2016-02-17 微软国际控股私有有限公司 3d指点系统
US9310883B2 (en) 2010-03-05 2016-04-12 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
CN105898186A (zh) * 2015-02-16 2016-08-24 联发科技股份有限公司 用于视频会议的显示方法及视频会议系统
CN105959664A (zh) * 2011-01-07 2016-09-21 索尼互动娱乐美国有限责任公司 基于场景内容的预定三维视频设置的动态调整
CN106094540A (zh) * 2016-06-14 2016-11-09 珠海格力电器股份有限公司 电器设备控制方法、装置及系统
CN106097245A (zh) * 2016-07-26 2016-11-09 北京小鸟看看科技有限公司 一种全景3d视频图像的处理方法和装置
CN106125907A (zh) * 2016-06-13 2016-11-16 西安电子科技大学 一种基于线框模型的三维目标注册定位方法
CN106446883A (zh) * 2016-08-30 2017-02-22 西安小光子网络科技有限公司 基于光标签的场景重构方法
CN106932780A (zh) * 2017-03-14 2017-07-07 北京京东尚科信息技术有限公司 物体定位方法、装置和系统
CN107154197A (zh) * 2017-05-18 2017-09-12 河北中科恒运软件科技股份有限公司 沉浸式飞行模拟器
CN107509043A (zh) * 2017-09-11 2017-12-22 广东欧珀移动通信有限公司 图像处理方法及装置
CN107610213A (zh) * 2017-08-04 2018-01-19 深圳市为美科技发展有限公司 一种基于全景相机的三维建模方法及系统
CN107833265A (zh) * 2017-11-27 2018-03-23 歌尔科技有限公司 一种图像切换展示方法和虚拟现实设备
CN108537574A (zh) * 2018-03-20 2018-09-14 广东康云多维视觉智能科技有限公司 一种三维广告展示系统和方法
US10120438B2 (en) 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
CN109310926A (zh) * 2016-06-07 2019-02-05 喀普康有限公司 游戏装置、游戏装置的控制方法及计算机可读取的记录介质
CN109685885A (zh) * 2017-10-18 2019-04-26 上海质尊文化传媒发展有限公司 一种利用深度图转换3d图像的快速方法
CN109771943A (zh) * 2019-01-04 2019-05-21 网易（杭州）网络有限公司 一种游戏场景的构造方法和装置
CN109859328A (zh) * 2017-11-30 2019-06-07 百度在线网络技术（北京）有限公司 一种场景切换方法、装置、设备和介质
CN110728740A (zh) * 2018-07-13 2020-01-24 辉达公司 虚拟摄影测量
CN110869980A (zh) * 2017-05-18 2020-03-06 Pcms控股公司 用于将内容分发和呈现为球形视频和3d资产组合的系统和方法
CN114777684A (zh) * 2017-10-06 2022-07-22 先进扫描仪公司 生成一个或多个亮度边缘以形成物体的三维模型
US11482028B2 (en) 2020-09-28 2022-10-25 Rakuten Group, Inc. Verification system, verification method, and information storage medium

Families Citing this family (256)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8396328B2 (en) * 2001-05-04 2013-03-12 Legend3D, Inc. Minimal artifact image sequence depth enhancement system and method
US8897596B1 (en) 2001-05-04 2014-11-25 Legend3D, Inc. System and method for rapid image sequence depth enhancement with translucent elements
US9031383B2 (en) 2001-05-04 2015-05-12 Legend3D, Inc. Motion picture project management system
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
US7639838B2 (en) * 2002-08-30 2009-12-29 Jerry C Nims Multi-dimensional images system for digital image input and output
US8074248B2 (en) 2005-07-26 2011-12-06 Activevideo Networks, Inc. System and method for providing video content associated with a source image to a television in a communication network
WO2007043899A1 (en) 2005-10-14 2007-04-19 Applied Research Associates Nz Limited A method of monitoring a surface feature and apparatus therefor
US20070252895A1 (en) * 2006-04-26 2007-11-01 International Business Machines Corporation Apparatus for monitor, storage and back editing, retrieving of digitally stored surveillance images
TWI322969B (en) * 2006-12-15 2010-04-01 Quanta Comp Inc Method capable of automatically transforming 2d image into 3d image
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
US9042454B2 (en) 2007-01-12 2015-05-26 Activevideo Networks, Inc. Interactive encoded content system including object models for viewing on a remote device
KR100842568B1 (ko) * 2007-02-08 2008-07-01 삼성전자주식회사 영상 압축 데이터의 생성 장치와 방법 및 영상 압축데이터의 출력 장치와 방법
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
US8269822B2 (en) * 2007-04-03 2012-09-18 Sony Computer Entertainment America, LLC Display viewing system and methods for optimizing display view based on active tracking
US8339418B1 (en) * 2007-06-25 2012-12-25 Pacific Arts Corporation Embedding a real time video into a virtual environment
US8086071B2 (en) * 2007-10-30 2011-12-27 Navteq North America, Llc System and method for revealing occluded objects in an image dataset
AT506051B1 (de) * 2007-11-09 2013-02-15 Hopf Richard Verfahren zum erfassen und/oder auswerten von bewegungsabläufen
CN101459857B (zh) * 2007-12-10 2012-09-05 华为终端有限公司 通信终端
US8745670B2 (en) 2008-02-26 2014-06-03 At&T Intellectual Property I, Lp System and method for promoting marketable items
GB2458305B (en) * 2008-03-13 2012-06-27 British Broadcasting Corp Providing a volumetric representation of an object
US8737721B2 (en) * 2008-05-07 2014-05-27 Microsoft Corporation Procedural authoring
US8831383B2 (en) * 2008-12-09 2014-09-09 Xerox Corporation Enhanced techniques for visual image alignment of a multi-layered document composition
US8707150B2 (en) * 2008-12-19 2014-04-22 Microsoft Corporation Applying effects to a video in-place in a document
US8681321B2 (en) 2009-01-04 2014-03-25 Microsoft International Holdings B.V. Gated 3D camera
US8866821B2 (en) 2009-01-30 2014-10-21 Microsoft Corporation Depth map movement tracking via optical flow and velocity prediction
US8503826B2 (en) * 2009-02-23 2013-08-06 3DBin, Inc. System and method for computer-aided image processing for generation of a 360 degree view model
JP4903240B2 (ja) * 2009-03-31 2012-03-28 シャープ株式会社 映像処理装置、映像処理方法及びコンピュータプログラム
US8477149B2 (en) * 2009-04-01 2013-07-02 University Of Central Florida Research Foundation, Inc. Real-time chromakey matting using image statistics
JP5573316B2 (ja) * 2009-05-13 2014-08-20 セイコーエプソン株式会社 画像処理方法および画像処理装置
WO2010144635A1 (en) * 2009-06-09 2010-12-16 Gregory David Gallinat Cameras, camera apparatuses, and methods of using same
US20110109617A1 (en) * 2009-11-12 2011-05-12 Microsoft Corporation Visualizing Depth
US20110122224A1 (en) * 2009-11-20 2011-05-26 Wang-He Lou Adaptive compression of background image (acbi) based on segmentation of three dimentional objects
CN102111672A (zh) * 2009-12-29 2011-06-29 康佳集团股份有限公司 一种在数字电视上浏览全景图像的方法、系统及终端
US8619122B2 (en) * 2010-02-02 2013-12-31 Microsoft Corporation Depth camera compatibility
US8687044B2 (en) * 2010-02-02 2014-04-01 Microsoft Corporation Depth camera compatibility
US8773424B2 (en) * 2010-02-04 2014-07-08 Microsoft Corporation User interfaces for interacting with top-down maps of reconstructed 3-D scences
US8624902B2 (en) * 2010-02-04 2014-01-07 Microsoft Corporation Transitioning between top-down maps and local navigation of reconstructed 3-D scenes
US20110187704A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Generating and displaying top-down maps of reconstructed 3-d scenes
US8954132B2 (en) * 2010-02-12 2015-02-10 Jean P. HUBSCHMAN Methods and systems for guiding an emission to a target
JP2011198330A (ja) * 2010-03-24 2011-10-06 National Institute Of Advanced Industrial Science & Technology ３次元位置合わせにおける照合方法およびそのプログラム
US20110234605A1 (en) * 2010-03-26 2011-09-29 Nathan James Smith Display having split sub-pixels for multiple image display functions
US8295589B2 (en) 2010-05-20 2012-10-23 Microsoft Corporation Spatially registering user photographs
CN101924931B (zh) * 2010-05-20 2012-02-29 长沙闿意电子科技有限公司 一种数字电视psi/si信息发包系统及方法
CN102972032A (zh) * 2010-06-30 2013-03-13 富士胶片株式会社 三维图像显示装置、三维图像显示方法、三维图像显示程序及记录介质
KR20120004203A (ko) * 2010-07-06 2012-01-12 삼성전자주식회사 디스플레이 방법 및 장치
KR101809479B1 (ko) * 2010-07-21 2017-12-15 삼성전자주식회사 3ｄ 콘텐츠 재생 장치 및 방법
US9396385B2 (en) 2010-08-26 2016-07-19 Blast Motion Inc. Integrated sensor and video motion analysis method
US9039527B2 (en) 2010-08-26 2015-05-26 Blast Motion Inc. Broadcasting method for broadcasting images with augmented motion data
US9076041B2 (en) 2010-08-26 2015-07-07 Blast Motion Inc. Motion event recognition and video synchronization system and method
US9401178B2 (en) 2010-08-26 2016-07-26 Blast Motion Inc. Event analysis system
US8994826B2 (en) 2010-08-26 2015-03-31 Blast Motion Inc. Portable wireless mobile device motion capture and analysis system and method
US8944928B2 (en) 2010-08-26 2015-02-03 Blast Motion Inc. Virtual reality system for viewing current and previously stored or calculated motion data
US8941723B2 (en) 2010-08-26 2015-01-27 Blast Motion Inc. Portable wireless mobile device motion capture and analysis system and method
US9418705B2 (en) 2010-08-26 2016-08-16 Blast Motion Inc. Sensor and media event detection system
US9604142B2 (en) 2010-08-26 2017-03-28 Blast Motion Inc. Portable wireless mobile device motion capture data mining system and method
US9619891B2 (en) 2010-08-26 2017-04-11 Blast Motion Inc. Event analysis and tagging system
US9235765B2 (en) 2010-08-26 2016-01-12 Blast Motion Inc. Video and motion event integration system
US8905855B2 (en) 2010-08-26 2014-12-09 Blast Motion Inc. System and method for utilizing motion capture data
US9247212B2 (en) 2010-08-26 2016-01-26 Blast Motion Inc. Intelligent motion capture element
US9406336B2 (en) 2010-08-26 2016-08-02 Blast Motion Inc. Multi-sensor event detection system
US9261526B2 (en) 2010-08-26 2016-02-16 Blast Motion Inc. Fitting system for sporting equipment
US8903521B2 (en) 2010-08-26 2014-12-02 Blast Motion Inc. Motion capture element
US9320957B2 (en) 2010-08-26 2016-04-26 Blast Motion Inc. Wireless and visual hybrid motion capture system
US9607652B2 (en) 2010-08-26 2017-03-28 Blast Motion Inc. Multi-sensor event detection and tagging system
US9626554B2 (en) 2010-08-26 2017-04-18 Blast Motion Inc. Motion capture system that combines sensors with different measurement ranges
US9646209B2 (en) 2010-08-26 2017-05-09 Blast Motion Inc. Sensor and media event detection and tagging system
US9940508B2 (en) 2010-08-26 2018-04-10 Blast Motion Inc. Event detection, confirmation and publication system that integrates sensor data and social media
US8649592B2 (en) 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
KR101638919B1 (ko) * 2010-09-08 2016-07-12 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어방법
WO2012032825A1 (ja) 2010-09-10 2012-03-15 富士フイルム株式会社 立体撮像装置および立体撮像方法
JP5689637B2 (ja) * 2010-09-28 2015-03-25 任天堂株式会社 立体視表示制御プログラム、立体視表示制御システム、立体視表示制御装置、および、立体視表示制御方法
US8881017B2 (en) * 2010-10-04 2014-11-04 Art Porticos, Inc. Systems, devices and methods for an interactive art marketplace in a networked environment
AU2011315950B2 (en) 2010-10-14 2015-09-03 Activevideo Networks, Inc. Streaming digital video between video devices using a cable television system
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US8803952B2 (en) * 2010-12-20 2014-08-12 Microsoft Corporation Plural detector time-of-flight depth mapping
JP5050094B2 (ja) * 2010-12-21 2012-10-17 株式会社東芝 映像処理装置及び映像処理方法
US8878897B2 (en) 2010-12-22 2014-11-04 Cyberlink Corp. Systems and methods for sharing conversion data
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US8730232B2 (en) 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9113130B2 (en) 2012-02-06 2015-08-18 Legend3D, Inc. Multi-stage production pipeline system
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
JP2012190183A (ja) * 2011-03-09 2012-10-04 Sony Corp 画像処理装置および方法、並びにプログラム
JP2012190184A (ja) * 2011-03-09 2012-10-04 Sony Corp 画像処理装置および方法、並びにプログラム
WO2012138660A2 (en) 2011-04-07 2012-10-11 Activevideo Networks, Inc. Reduction of latency in video distribution networks using adaptive bit rates
US8565481B1 (en) 2011-05-26 2013-10-22 Google Inc. System and method for tracking objects
US9560314B2 (en) 2011-06-14 2017-01-31 Microsoft Technology Licensing, Llc Interactive and shared surfaces
US10108980B2 (en) 2011-06-24 2018-10-23 At&T Intellectual Property I, L.P. Method and apparatus for targeted advertising
US10423968B2 (en) 2011-06-30 2019-09-24 At&T Intellectual Property I, L.P. Method and apparatus for marketability assessment
US20130018730A1 (en) * 2011-07-17 2013-01-17 At&T Intellectual Property I, Lp Method and apparatus for distributing promotional materials
SG11201400429RA (en) 2011-09-08 2014-04-28 Paofit Holdings Pte Ltd System and method for visualizing synthetic objects withinreal-world video clip
US9179844B2 (en) 2011-11-28 2015-11-10 Aranz Healthcare Limited Handheld skin measuring or monitoring device
US9497501B2 (en) 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
WO2013086137A1 (en) 2011-12-06 2013-06-13 1-800 Contacts, Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
WO2013103523A1 (en) * 2012-01-04 2013-07-11 Audience, Inc. Image enhancement methods and systems
US10409445B2 (en) 2012-01-09 2019-09-10 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8913134B2 (en) 2012-01-17 2014-12-16 Blast Motion Inc. Initializing an inertial sensor using soft constraints and penalty functions
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
WO2013112749A1 (en) * 2012-01-24 2013-08-01 University Of Southern California 3d body modeling, from a single or multiple 3d cameras, in the presence of motion
US9250510B2 (en) * 2012-02-15 2016-02-02 City University Of Hong Kong Panoramic stereo catadioptric imaging
US9123084B2 (en) 2012-04-12 2015-09-01 Activevideo Networks, Inc. Graphical application integration with MPEG objects
CN102750724B (zh) * 2012-04-13 2018-12-21 广东赛百威信息科技有限公司 一种基于图像的三维和全景系统自动生成方法
US9418475B2 (en) 2012-04-25 2016-08-16 University Of Southern California 3D body modeling from one or more depth cameras in the presence of articulated motion
WO2013170040A1 (en) * 2012-05-11 2013-11-14 Intel Corporation Systems and methods for row causal scan-order optimization stereo matching
US9311746B2 (en) 2012-05-23 2016-04-12 Glasses.Com Inc. Systems and methods for generating a 3-D model of a virtual try-on product
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US9934614B2 (en) 2012-05-31 2018-04-03 Microsoft Technology Licensing, Llc Fixed size augmented reality objects
US9682321B2 (en) * 2012-06-20 2017-06-20 Microsoft Technology Licensing, Llc Multiple frame distributed rendering of interactive content
US20150015928A1 (en) * 2013-07-13 2015-01-15 Eric John Dluhos Novel method of fast fourier transform (FFT) analysis using waveform-embedded or waveform-modulated coherent beams and holograms
US9442459B2 (en) * 2012-07-13 2016-09-13 Eric John Dluhos Making holographic data of complex waveforms
CN102760303A (zh) * 2012-07-24 2012-10-31 南京仕坤文化传媒有限公司 一种虚拟现实动态场景视频的拍摄技术与嵌入方法
CN104904200B (zh) 2012-09-10 2018-05-15 广稹阿马斯公司 捕捉运动场景的设备、装置和系统
KR101960652B1 (ko) 2012-10-10 2019-03-22 삼성디스플레이 주식회사 어레이 기판 및 이를 구비하는 액정 표시 장치
US9007365B2 (en) 2012-11-27 2015-04-14 Legend3D, Inc. Line depth augmentation system and method for conversion of 2D images to 3D images
US9547937B2 (en) 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US20140199050A1 (en) * 2013-01-17 2014-07-17 Spherical, Inc. Systems and methods for compiling and storing video with static panoramic background
JP5900373B2 (ja) * 2013-02-15 2016-04-06 株式会社村田製作所 電子部品
US20140250413A1 (en) * 2013-03-03 2014-09-04 Microsoft Corporation Enhanced presentation environments
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
WO2014145921A1 (en) 2013-03-15 2014-09-18 Activevideo Networks, Inc. A multiple-mode system and method for providing user selectable video content
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
DE102013009288B4 (de) * 2013-06-04 2016-02-04 Testo Ag 3D-Aufnahmevorrichtung, Verfahren zur Erstellung eines 3D-Bildes und Verfahren zur Einrichtung einer 3D-Aufnahmevorrichtung
US9219922B2 (en) 2013-06-06 2015-12-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
EP3005712A1 (en) 2013-06-06 2016-04-13 ActiveVideo Networks, Inc. Overlay rendering of user interface onto source video
US9294785B2 (en) 2013-06-06 2016-03-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9786075B2 (en) * 2013-06-07 2017-10-10 Microsoft Technology Licensing, Llc Image extraction and image-based rendering for manifolds of terrestrial and aerial visualizations
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9530243B1 (en) 2013-09-24 2016-12-27 Amazon Technologies, Inc. Generating virtual shadows for displayable elements
US9591295B2 (en) 2013-09-24 2017-03-07 Amazon Technologies, Inc. Approaches for simulating three-dimensional views
US9437038B1 (en) 2013-09-26 2016-09-06 Amazon Technologies, Inc. Simulating three-dimensional views using depth relationships among planes of content
US9224237B2 (en) 2013-09-27 2015-12-29 Amazon Technologies, Inc. Simulating three-dimensional views using planes of content
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9367203B1 (en) 2013-10-04 2016-06-14 Amazon Technologies, Inc. User interface techniques for simulating three-dimensional depth
GB2519112A (en) * 2013-10-10 2015-04-15 Nokia Corp Method, apparatus and computer program product for blending multimedia content
US9407954B2 (en) 2013-10-23 2016-08-02 At&T Intellectual Property I, Lp Method and apparatus for promotional programming
US10075656B2 (en) 2013-10-30 2018-09-11 At&T Intellectual Property I, L.P. Methods, systems, and products for telepresence visualizations
US9210377B2 (en) 2013-10-30 2015-12-08 At&T Intellectual Property I, L.P. Methods, systems, and products for telepresence visualizations
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US20150134651A1 (en) 2013-11-12 2015-05-14 Fyusion, Inc. Multi-dimensional surround view based search
KR101669635B1 (ko) * 2013-11-14 2016-10-26 주식회사 다림비젼 가상공간 강의 영상 서비스 및 가상 스튜디오 영상 컨텐츠 제공방법 및 시스템
US9979952B2 (en) * 2013-12-13 2018-05-22 Htc Corporation Method of creating a parallax video from a still image
CN103728867B (zh) * 2013-12-31 2017-01-25 Tcl通力电子（惠州）有限公司 一种3d全息影像的显示方法
WO2015167549A1 (en) * 2014-04-30 2015-11-05 Longsand Limited An augmented gaming platform
GB2526263B (en) * 2014-05-08 2019-02-06 Sony Interactive Entertainment Europe Ltd Image capture method and apparatus
US9940727B2 (en) 2014-06-19 2018-04-10 University Of Southern California Three-dimensional modeling from wide baseline range scans
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
WO2016038240A1 (en) * 2014-09-09 2016-03-17 Nokia Technologies Oy Stereo image recording and playback
KR102262214B1 (ko) 2014-09-23 2021-06-08 삼성전자주식회사 홀로그래픽 3차원 영상 표시 장치 및 방법
KR102255188B1 (ko) 2014-10-13 2021-05-24 삼성전자주식회사 부드러운 실루엣 표현을 위한 대상 개체를 모델링하는 방법 및 장치
US10650574B2 (en) 2014-10-31 2020-05-12 Fyusion, Inc. Generating stereoscopic pairs of images from a single lens camera
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US9940541B2 (en) 2015-07-15 2018-04-10 Fyusion, Inc. Artificially rendering images using interpolation of tracked control points
US10726560B2 (en) 2014-10-31 2020-07-28 Fyusion, Inc. Real-time mobile device capture and generation of art-styled AR/VR content
US10719939B2 (en) 2014-10-31 2020-07-21 Fyusion, Inc. Real-time mobile device capture and generation of AR/VR content
US10586378B2 (en) 2014-10-31 2020-03-10 Fyusion, Inc. Stabilizing image sequences based on camera rotation and focal length parameters
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US10176592B2 (en) 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
US10726593B2 (en) 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US20160125638A1 (en) * 2014-11-04 2016-05-05 Dassault Systemes Automated Texturing Mapping and Animation from Images
CN105635635A (zh) 2014-11-19 2016-06-01 杜比实验室特许公司 调节视频会议系统中的空间一致性
CN104462724B (zh) * 2014-12-26 2017-11-28 镇江中煤电子有限公司 煤矿巷道模拟图计算机绘制方法
US10187623B2 (en) * 2014-12-26 2019-01-22 Korea Electronics Technology Institute Stereo vision SoC and processing method thereof
US10171745B2 (en) * 2014-12-31 2019-01-01 Dell Products, Lp Exposure computation via depth-based computational photography
US10108322B2 (en) * 2015-01-02 2018-10-23 Kaltura, Inc. Dynamic video effects for interactive videos
CN104616342B (zh) * 2015-02-06 2017-07-25 北京明兰网络科技有限公司 序列帧与全景的相互转换方法
CN105988369B (zh) * 2015-02-13 2020-05-08 上海交通大学 一种内容驱动的智能家居控制方法
JP6496172B2 (ja) * 2015-03-31 2019-04-03 大和ハウス工業株式会社 映像表示システム及び映像表示方法
CN106157352B (zh) * 2015-04-08 2019-01-01 苏州美房云客软件科技股份有限公司 精装360度图片与毛坯无缝切换的数字展示方法
CN104869389B (zh) * 2015-05-15 2016-10-05 北京邮电大学 离轴式虚拟摄像机参数确定方法及系统
US9704298B2 (en) * 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
US10750161B2 (en) 2015-07-15 2020-08-18 Fyusion, Inc. Multi-view interactive digital media representation lock screen
US10242474B2 (en) * 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US11577142B2 (en) 2015-07-16 2023-02-14 Blast Motion Inc. Swing analysis system that calculates a rotational profile
US10124230B2 (en) 2016-07-19 2018-11-13 Blast Motion Inc. Swing analysis method using a sweet spot trajectory
US11565163B2 (en) 2015-07-16 2023-01-31 Blast Motion Inc. Equipment fitting system that compares swing metrics
US10974121B2 (en) 2015-07-16 2021-04-13 Blast Motion Inc. Swing quality measurement system
US9694267B1 (en) 2016-07-19 2017-07-04 Blast Motion Inc. Swing analysis method using a swing plane reference frame
CN105069219B (zh) * 2015-07-30 2018-11-13 渤海大学 一种基于云设计的家居设计系统
CN105069218B (zh) * 2015-07-31 2018-01-19 山东工商学院 地下管线可视化地面双向透明度可调系统
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US10419788B2 (en) * 2015-09-30 2019-09-17 Nathan Dhilan Arimilli Creation of virtual cameras for viewing real-time events
CN105426568B (zh) * 2015-10-23 2018-09-07 中国科学院地球化学研究所 一种估算喀斯特地区土壤流失量的方法
CN105205290B (zh) * 2015-10-30 2018-01-12 中国铁路设计集团有限公司 铺轨前线路平剖面优化对比模型构建方法
US10265602B2 (en) 2016-03-03 2019-04-23 Blast Motion Inc. Aiming feedback system with inertial sensors
US10469803B2 (en) 2016-04-08 2019-11-05 Maxx Media Group, LLC System and method for producing three-dimensional images from a live video production that appear to project forward of or vertically above an electronic display
US11025882B2 (en) * 2016-04-25 2021-06-01 HypeVR Live action volumetric video compression/decompression and playback
US10013527B2 (en) 2016-05-02 2018-07-03 Aranz Healthcare Limited Automatically assessing an anatomical surface feature and securely managing information related to the same
US10306286B2 (en) * 2016-06-28 2019-05-28 Adobe Inc. Replacing content of a surface in video
US10354547B1 (en) * 2016-07-29 2019-07-16 Relay Cars LLC Apparatus and method for virtual test drive for virtual reality applications in head mounted displays
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US11116407B2 (en) 2016-11-17 2021-09-14 Aranz Healthcare Limited Anatomical surface assessment methods, devices and systems
KR102544779B1 (ko) 2016-11-23 2023-06-19 삼성전자주식회사 움직임 정보 생성 방법 및 이를 지원하는 전자 장치
US10353946B2 (en) 2017-01-18 2019-07-16 Fyusion, Inc. Client-server communication for live search using multi-view digital media representations
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US11044464B2 (en) 2017-02-09 2021-06-22 Fyusion, Inc. Dynamic content modification of image and video based multi-view interactive digital media representations
US10440351B2 (en) 2017-03-03 2019-10-08 Fyusion, Inc. Tilts as a measure of user engagement for multiview interactive digital media representations
US10356395B2 (en) 2017-03-03 2019-07-16 Fyusion, Inc. Tilts as a measure of user engagement for multiview digital media representations
EP4183328A1 (en) 2017-04-04 2023-05-24 Aranz Healthcare Limited Anatomical surface assessment methods, devices and systems
WO2018187655A1 (en) * 2017-04-06 2018-10-11 Maxx Media Group, LLC System and method for producing three-dimensional images from a live video production that appear to project forward of or vertically above an electronic display
EP3392834B1 (en) * 2017-04-17 2019-12-25 HTC Corporation 3d model reconstruction method, electronic device, and non-transitory computer readable storage medium
US10321258B2 (en) 2017-04-19 2019-06-11 Microsoft Technology Licensing, Llc Emulating spatial perception using virtual echolocation
US10200677B2 (en) 2017-05-22 2019-02-05 Fyusion, Inc. Inertial measurement unit progress estimation
US10237477B2 (en) 2017-05-22 2019-03-19 Fyusion, Inc. Loop closure
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US10786728B2 (en) 2017-05-23 2020-09-29 Blast Motion Inc. Motion mirroring system that incorporates virtual environment constraints
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
US10643368B2 (en) * 2017-06-27 2020-05-05 The Boeing Company Generative image synthesis for training deep learning machines
US10356341B2 (en) 2017-10-13 2019-07-16 Fyusion, Inc. Skeleton-based effects and background replacement
US10089796B1 (en) * 2017-11-01 2018-10-02 Google Llc High quality layered depth image texture rasterization
US10687046B2 (en) 2018-04-05 2020-06-16 Fyusion, Inc. Trajectory smoother for generating multi-view interactive digital media representations
KR102419011B1 (ko) * 2018-04-06 2022-07-07 지멘스 악티엔게젤샤프트 종래의 cad 모델들을 사용한 이미지들로부터 객체 인식
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
US10382739B1 (en) 2018-04-26 2019-08-13 Fyusion, Inc. Visual annotation using tagging sessions
KR102030040B1 (ko) * 2018-05-09 2019-10-08 한화정밀기계 주식회사 빈 피킹을 위한 빈 모델링 방법 및 그 장치
US10679372B2 (en) 2018-05-24 2020-06-09 Lowe's Companies, Inc. Spatial construction using guided surface detection
CN109472865B (zh) * 2018-09-27 2022-03-04 北京空间机电研究所 一种基于图像模型绘制的自由可量测全景再现方法
EP3881292B1 (en) * 2018-11-16 2024-04-17 Google LLC Generating synthetic images and/or training machine learning model(s) based on the synthetic images
KR102641163B1 (ko) 2018-11-29 2024-02-28 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
KR102337020B1 (ko) * 2019-01-25 2021-12-08 주식회사 버츄얼넥스트 3d스캔데이터를 이용한 증강현실 동영상제작시스템 및 그 방법
US11074697B2 (en) 2019-04-16 2021-07-27 At&T Intellectual Property I, L.P. Selecting viewpoints for rendering in volumetric video presentations
US10970519B2 (en) 2019-04-16 2021-04-06 At&T Intellectual Property I, L.P. Validating objects in volumetric video presentations
US11012675B2 (en) 2019-04-16 2021-05-18 At&T Intellectual Property I, L.P. Automatic selection of viewpoint characteristics and trajectories in volumetric video presentations
US11153492B2 (en) 2019-04-16 2021-10-19 At&T Intellectual Property I, L.P. Selecting spectator viewpoints in volumetric video presentations of live events
US10820307B2 (en) * 2019-10-31 2020-10-27 Zebra Technologies Corporation Systems and methods for automatic camera installation guidance (CIG)
CN111046748B (zh) * 2019-11-22 2023-06-09 四川新网银行股份有限公司 一种大头照场景增强识别方法及装置
CN111415416B (zh) * 2020-03-31 2023-12-15 武汉大学 一种监控实时视频与场景三维模型融合方法及系统
US10861175B1 (en) 2020-05-29 2020-12-08 Illuscio, Inc. Systems and methods for automatic detection and quantification of point cloud variance
WO2022060387A1 (en) * 2020-09-21 2022-03-24 Leia Inc. Multiview display system and method with adaptive background
JP7318139B1 (ja) * 2020-10-20 2023-07-31 カトマイ テック インコーポレイテッド 操縦可能なアバターを有するウェブベースのテレビ会議仮想環境及びその適用
US11055428B1 (en) 2021-02-26 2021-07-06 CTRL IQ, Inc. Systems and methods for encrypted container image management, deployment, and execution
CN113542572B (zh) * 2021-09-15 2021-11-23 中铁建工集团有限公司 基于Revit平台的枪机摄像机布置及镜头选型方法
CN113808022B (zh) * 2021-09-22 2023-05-30 南京信息工程大学 一种基于端侧深度学习的手机全景拍摄与合成方法
US20240062470A1 (en) * 2022-08-17 2024-02-22 Tencent America LLC Mesh optimization using novel segmentation
CN117611781B (zh) * 2024-01-23 2024-04-26 埃洛克航空科技（北京）有限公司 一种实景三维模型的压平方法及装置
CN117689846B (zh) * 2024-02-02 2024-04-12 武汉大学 线状目标的无人机摄影重建多交向视点生成方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115078A (en) * 1996-09-10 2000-09-05 Dainippon Screen Mfg. Co., Ltd. Image sharpness processing method and apparatus, and a storage medium storing a program
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
US6249285B1 (en) * 1998-04-06 2001-06-19 Synapix, Inc. Computer assisted mark-up and parameterization for scene analysis
EP1110414A1 (en) * 1998-08-28 2001-06-27 Sarnoff Corporation Method and apparatus for synthesizing high-resolution imagery using one high-resolution camera and a lower resolution camera
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
CA2317336A1 (en) * 2000-09-06 2002-03-06 David Cowperthwaite Occlusion resolution operators for three-dimensional detail-in-context
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
US7162083B2 (en) * 2001-07-06 2007-01-09 Vision Iii Imaging Inc. Image segmentation by means of temporal parallax difference induction
GB0209080D0 (en) * 2002-04-20 2002-05-29 Virtual Mirrors Ltd Methods of generating body models from scanned data

Cited By (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9250703B2 (en) 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
CN105334980A (zh) * 2007-12-31 2016-02-17 微软国际控股私有有限公司 3d指点系统
CN101729791A (zh) * 2008-10-10 2010-06-09 三星电子株式会社 图像处理设备和方法
CN101729791B (zh) * 2008-10-10 2014-01-29 三星电子株式会社 图像处理设备和方法
CN101751904B (zh) * 2008-12-10 2013-06-05 辉达公司 颜色增强的方法
CN101938670A (zh) * 2009-06-26 2011-01-05 Lg电子株式会社 图像显示装置及其操作方法
US8872900B2 (en) 2009-06-26 2014-10-28 Lg Electronics Inc. Image display apparatus and method for operating the same
CN101635054B (zh) * 2009-08-27 2012-07-04 北京水晶石数字科技股份有限公司 一种信息点摆放的方法
CN104602120A (zh) * 2009-09-11 2015-05-06 索尼公司 信息处理设备及方法
CN104602120B (zh) * 2009-09-11 2019-01-15 索尼公司 信息处理设备及方法
US9821226B2 (en) 2009-10-07 2017-11-21 Microsoft Technology Licensing, Llc Human tracking system
US9659377B2 (en) 2009-10-07 2017-05-23 Microsoft Technology Licensing, Llc Methods and systems for determining and tracking extremities of a target
US9522328B2 (en) 2009-10-07 2016-12-20 Microsoft Technology Licensing, Llc Human tracking system
US9582717B2 (en) 2009-10-07 2017-02-28 Microsoft Technology Licensing, Llc Systems and methods for tracking a model
US9679390B2 (en) 2009-10-07 2017-06-13 Microsoft Technology Licensing, Llc Systems and methods for removing a background of an image
US8970487B2 (en) 2009-10-07 2015-03-03 Microsoft Technology Licensing, Llc Human tracking system
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US8891827B2 (en) 2009-10-07 2014-11-18 Microsoft Corporation Systems and methods for tracking a model
US8897495B2 (en) 2009-10-07 2014-11-25 Microsoft Corporation Systems and methods for tracking a model
CN102665838A (zh) * 2009-11-11 2012-09-12 微软公司 用于确定和跟踪目标的肢端的方法和系统
US9513700B2 (en) 2009-12-24 2016-12-06 Sony Interactive Entertainment America Llc Calibration of portable devices in a shared virtual space
US9310883B2 (en) 2010-03-05 2016-04-12 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
CN102939139A (zh) * 2010-04-13 2013-02-20 索尼电脑娱乐美国公司 共享虚拟空间中便携式设备的校准
CN102939139B (zh) * 2010-04-13 2015-03-04 索尼电脑娱乐美国公司 共享虚拟空间中便携式设备的校准
CN103098457A (zh) * 2010-09-10 2013-05-08 富士胶片株式会社 立体成像装置和立体成像方法
CN101964117B (zh) * 2010-09-25 2013-03-27 清华大学 一种深度图融合方法和装置
CN101964117A (zh) * 2010-09-25 2011-02-02 清华大学 一种深度图融合方法和装置
CN105959664A (zh) * 2011-01-07 2016-09-21 索尼互动娱乐美国有限责任公司 基于场景内容的预定三维视频设置的动态调整
US10120438B2 (en) 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
CN102999515B (zh) * 2011-09-15 2016-03-09 北京进取者软件技术有限公司 一种用于获得浮雕模型建模面片的方法
CN102999515A (zh) * 2011-09-15 2013-03-27 北京进取者软件技术有限公司 一种用于获得浮雕模型建模面片的方法
CN102521820A (zh) * 2011-12-22 2012-06-27 张著岳 动态融合背景的物体图片展示方法及系统
CN102521820B (zh) * 2011-12-22 2014-04-09 张著岳 动态融合背景的物体图片展示方法及系统
CN102932638A (zh) * 2012-11-30 2013-02-13 天津市电视技术研究所 基于计算机建模的3d视频监控方法
CN102932638B (zh) * 2012-11-30 2014-12-10 天津市电视技术研究所 基于计算机建模的3d视频监控方法
CN103096134A (zh) * 2013-02-08 2013-05-08 广州博冠信息科技有限公司 一种基于视频直播和游戏的数据处理方法和设备
CN103096134B (zh) * 2013-02-08 2016-05-04 广州博冠信息科技有限公司 一种基于视频直播和游戏的数据处理方法和设备
CN104658032B (zh) * 2013-11-15 2018-12-25 索尼公司 用于图像处理的方法、设备和系统
CN104658032A (zh) * 2013-11-15 2015-05-27 索尼公司 用于图像处理的方法、设备和系统
CN103617317A (zh) * 2013-11-26 2014-03-05 Tcl集团股份有限公司 智能3d模型的自动布局方法和系统
CN103617317B (zh) * 2013-11-26 2017-07-11 Tcl集团股份有限公司 智能3d模型的自动布局方法和系统
CN104935905A (zh) * 2014-03-20 2015-09-23 西蒙·丽兹卡拉·杰马耶勒 自动3d照相亭
CN104181884B (zh) * 2014-08-11 2017-06-27 厦门立林科技有限公司 一种基于全景视图的智能家居控制装置及方法
CN104181884A (zh) * 2014-08-11 2014-12-03 厦门立林科技有限公司 一种基于全景视图的智能家居控制装置及方法
CN104581196A (zh) * 2014-12-30 2015-04-29 北京像素软件科技股份有限公司 一种视频图像处理的方法及装置
CN105898186B (zh) * 2015-02-16 2019-02-05 联发科技股份有限公司 用于视频会议的显示方法及视频会议系统
CN105898186A (zh) * 2015-02-16 2016-08-24 联发科技股份有限公司 用于视频会议的显示方法及视频会议系统
US9881424B2 (en) 2015-08-03 2018-01-30 Boe Technology Group Co., Ltd. Virtual reality display method and system
CN105139349A (zh) * 2015-08-03 2015-12-09 京东方科技集团股份有限公司 虚拟现实显示方法及系统
CN109310926A (zh) * 2016-06-07 2019-02-05 喀普康有限公司 游戏装置、游戏装置的控制方法及计算机可读取的记录介质
CN106125907B (zh) * 2016-06-13 2018-12-21 西安电子科技大学 一种基于线框模型的三维目标注册定位方法
CN106125907A (zh) * 2016-06-13 2016-11-16 西安电子科技大学 一种基于线框模型的三维目标注册定位方法
CN106094540A (zh) * 2016-06-14 2016-11-09 珠海格力电器股份有限公司 电器设备控制方法、装置及系统
CN106097245A (zh) * 2016-07-26 2016-11-09 北京小鸟看看科技有限公司 一种全景3d视频图像的处理方法和装置
CN106446883B (zh) * 2016-08-30 2019-06-18 西安小光子网络科技有限公司 基于光标签的场景重构方法
CN106446883A (zh) * 2016-08-30 2017-02-22 西安小光子网络科技有限公司 基于光标签的场景重构方法
CN106932780A (zh) * 2017-03-14 2017-07-07 北京京东尚科信息技术有限公司 物体定位方法、装置和系统
CN110869980B (zh) * 2017-05-18 2024-01-09 交互数字Vc控股公司 将内容分发和呈现为球形视频和3d资产组合
CN107154197A (zh) * 2017-05-18 2017-09-12 河北中科恒运软件科技股份有限公司 沉浸式飞行模拟器
CN110869980A (zh) * 2017-05-18 2020-03-06 Pcms控股公司 用于将内容分发和呈现为球形视频和3d资产组合的系统和方法
CN107610213A (zh) * 2017-08-04 2018-01-19 深圳市为美科技发展有限公司 一种基于全景相机的三维建模方法及系统
CN107509043A (zh) * 2017-09-11 2017-12-22 广东欧珀移动通信有限公司 图像处理方法及装置
CN107509043B (zh) * 2017-09-11 2020-06-05 Oppo广东移动通信有限公司 图像处理方法、装置、电子装置及计算机可读存储介质
CN114777684A (zh) * 2017-10-06 2022-07-22 先进扫描仪公司 生成一个或多个亮度边缘以形成物体的三维模型
CN109685885B (zh) * 2017-10-18 2023-05-23 上海质尊电子科技有限公司 一种利用深度图转换3d图像的快速方法
CN109685885A (zh) * 2017-10-18 2019-04-26 上海质尊文化传媒发展有限公司 一种利用深度图转换3d图像的快速方法
CN107833265B (zh) * 2017-11-27 2021-07-27 歌尔光学科技有限公司 一种图像切换展示方法和虚拟现实设备
CN107833265A (zh) * 2017-11-27 2018-03-23 歌尔科技有限公司 一种图像切换展示方法和虚拟现实设备
CN109859328B (zh) * 2017-11-30 2023-06-23 百度在线网络技术（北京）有限公司 一种场景切换方法、装置、设备和介质
CN109859328A (zh) * 2017-11-30 2019-06-07 百度在线网络技术（北京）有限公司 一种场景切换方法、装置、设备和介质
CN108537574A (zh) * 2018-03-20 2018-09-14 广东康云多维视觉智能科技有限公司 一种三维广告展示系统和方法
US11625894B2 (en) 2018-07-13 2023-04-11 Nvidia Corporation Virtual photogrammetry
CN110728740B (zh) * 2018-07-13 2023-09-05 辉达公司 虚拟摄影测量
CN110728740A (zh) * 2018-07-13 2020-01-24 辉达公司 虚拟摄影测量
CN109771943A (zh) * 2019-01-04 2019-05-21 网易（杭州）网络有限公司 一种游戏场景的构造方法和装置
US11482028B2 (en) 2020-09-28 2022-10-25 Rakuten Group, Inc. Verification system, verification method, and information storage medium
TWI820433B (zh) * 2020-09-28 2023-11-01 日商樂天集團股份有限公司 對照系統、對照方法及資訊記錄媒體

Also Published As

Publication number Publication date
AU2006217569A1 (en) 2006-08-31
CA2599483A1 (en) 2006-08-31
US20080246759A1 (en) 2008-10-09
KR20070119018A (ko) 2007-12-18
EP1851727A1 (en) 2007-11-07
WO2006089417A1 (en) 2006-08-31
EP1851727A4 (en) 2008-12-03

Similar Documents

Publication Publication Date Title
CN101208723A (zh) 用于3维照相机和3维视频的自动场景建模
US10939084B2 (en) Methods and system for generating and displaying 3D videos in a virtual, augmented, or mixed reality environment
US10652522B2 (en) Varying display content based on viewpoint
CN110679152B (zh) 生成融合现实场景的方法和系统
US10096157B2 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
JP7187446B2 (ja) 拡張された仮想現実
US9704298B2 (en) Systems and methods for generating 360 degree mixed reality environments
US20130321396A1 (en) Multi-input free viewpoint video processing pipeline
Bolter et al. Reality media: Augmented and virtual reality
CN106484115B (zh) 用于增强和虚拟现实的系统和方法
US10659686B2 (en) Conversion of an interactive multi-view image data set into a video
US20140181630A1 (en) Method and apparatus for adding annotations to an image
US20220005283A1 (en) R-snap for production of augmented realities
CN103929634A (zh) 3d动画效果产生方法和系统
US20180115700A1 (en) Simulating depth of field
US20180239514A1 (en) Interactive 3d map with vibrant street view
US10115227B2 (en) Digital video rendering
Langlotz et al. AR record&replay: situated compositing of video content in mobile augmented reality
US20130336640A1 (en) System and method for distributing computer generated 3d visual effects over a communications network
US9897806B2 (en) Generation of three-dimensional imagery to supplement existing content
Fachada et al. View synthesis tool for VR immersive video
KR102654323B1 (ko) 버추얼 프로덕션에서 2차원 이미지의 입체화 처리를 위한 방법, 장치 및 시스템
Tollola Procedural animations in interactive art experiences--A state of the art review
Elgndy Using Immersive media to develop the most intuitive way to build an Interactive Animated Augmented Reality (AR) experiences for Product Design taking into consideration the Covid-19 Pandemic.
CN117788689A (zh) 一种基于三维建模的可交互式虚拟云展厅构建方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080625