CN102907091B - 用于交通摄影机的具有额外的视点和增强的分辨率的仿真视频 - Google Patents

用于交通摄影机的具有额外的视点和增强的分辨率的仿真视频 Download PDF

Info

Publication number
CN102907091B
CN102907091B CN201180027386.XA CN201180027386A CN102907091B CN 102907091 B CN102907091 B CN 102907091B CN 201180027386 A CN201180027386 A CN 201180027386A CN 102907091 B CN102907091 B CN 102907091B
Authority
CN
China
Prior art keywords
video
vehicle
automobile
video camera
emulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180027386.XA
Other languages
English (en)
Other versions
CN102907091A (zh
Inventor
B.陈
E.奥菲克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN102907091A publication Critical patent/CN102907091A/zh
Application granted granted Critical
Publication of CN102907091B publication Critical patent/CN102907091B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

提供基于来自低分辨率、单方向摄影机的视频输入的仿真的高分辨率、多视图视频。把接收自交通摄影机、保安摄影机、监控摄影机和类似摄影机的视频与来自预先捕获的图像的数据库和/或时间上偏移的视频的补片融合,从而创建更高质量的视频以及对应于相同摄影机的多个视点。

Description

用于交通摄影机的具有额外的视点和增强的分辨率的仿真视频
背景技术
随着数据网络的增加的部署和使用,用于各种目的的视频馈送已经成为许多人的日常体验的一个常见方面。视频馈送的其中一项应用包括交通摄影机。在许多城市和其他场所中,来自交通摄影机的视频可供个人通过因特网或其他联网手段来观看。出行者可以在离家或下班之前通过检查交通摄影机来察看交通状况,并且相应地计划其路线。随着车载计算机系统变得更加普遍,甚至驾驶员(在安全的情况下)可以通过摄影机检查前方的交通情况并且在必要时更改其路线。
典型的交通摄影机是沿着道路设置的,并且指向一个方向。此外,出于实用的原因,大多数交通摄影机是低分辨率摄影机,其无法显示出摄影机远处的背景或汽车的细节。因此,观看者通过察看交通摄影机的视频馈送所能获得的信息有限。举例来说,远处的汽车是模糊的,并且他们只能看到驶向摄影机或驶离摄影机的汽车而无法对于同一条车道同时看到驶向及驶离摄影机的汽车等等。
发明内容
提供本发明内容是为了以简化形式介绍将在后面的详细描述部分中进一步描述的概念的选择。本发明内容不旨在排他性地标识出所要求保护的主题的关键特征或必要特征,也不旨在帮助确定所要求保护的主题的范围。
实施例是针对利用来自低帧率、低分辨率、单方向交通摄影机的视频输入提供仿真的高帧率、高分辨率、多视图的交通视频图像。根据一些实施例,可以把所接收到的视频与来自预先捕获的图像的数据库和/或时间上偏移的视频的补片进行融合从而创建更高质量的视频以及对应于相同摄影机的多个视点。根据其他实施例,可以对于诸如保安摄影机、监测摄影机以及类似的摄影机之类的其他类型的摄影机应用视频分辨率增强和多视点创建。
通过阅读下面的详细描述以及查阅相关联的附图,这些和其他特征和优点将变得显然。应当理解的是,前面的一般性描述和后面的详细描述都是示例性的,而不限制所要求保护的各个方面。
附图说明
图1是示出具有交通摄影机的道路的概念图,其中可以采用根据实施例的视频分辨率增强和多视点创建;
图2示出了具有用于根据实施例的交通摄影机的增强的分辨率和多个视点的另一条道路;
图3示出了用于创建具有多个视点的仿真交通视频的系统的框图;
图4示出了用于创建具有多个视点的仿真交通视频的系统的框图;
图5是可以在其中实施根据实施例的系统的联网环境;
图6是可以在其中实施实施例的示例性计算操作环境的框图;以及
图7示出了根据实施例的基于来自低分辨率、单方向交通摄影机的输入提供增强分辨率和多视点视频的过程的逻辑流程图。
具体实施方式
正如前面简要地描述的那样,可以基于来自低分辨率、单方向交通摄影机的视频馈送创建仿真的高分辨率、多视图的交通视频图像。可以把所接收到的视频与来自预先捕获的图像的数据库和/或时间上偏移的视频的补片(patch)进行融合,从而创建更高质量的视频以及对应于相同摄影机的多个视点。在下面的详细描述中将参照构成本说明书的一部分的附图,其中通过说明的方式示出了具体的实施例或实例。在不背离本公开的精神或范围的情况下,可以组合这些方面,可以利用其他方面并且可以进行结构上的改变。因此不应按照限制的意义来理解下面的详细描述,并且本发明的范围由所附权利要求书及其等价物限定。
虽然将在结合运行于个人计算机上的操作系统上的应用程序执行的程序模块的一般情境中描述实施例,但是本领域技术人员将认识到还可以与其他程序模块相组合来实施各个方面。
一般来说,程序模块包括施行特定任务或者实施特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。此外,本领域技术人员将领会,可以利用其他计算机系统配置来实践实施例,其中包括手持式设备、多处理器系统、基于微处理器的或者可编程消费电子装置、小型计算机、大型计算机以及类似的计算设备。还可以在分布式计算环境中实践实施例,其中由通过通信网络链接的远程处理器设备施行各项任务。在分布式计算环境中,可以把程序模块同时放置在本地和远程存储器存储设备中。
可以把实施例实施为计算机实施的过程(方法)、计算系统或制造品,比如计算机程序产品或计算机可读介质。计算机程序产品可以是可由计算机系统读取并且编码计算机程序的计算机存储介质,所述计算机程序包括用于使得计算机或计算系统施行(多个)示例性过程的指令。计算机可读存储介质可以例如通过以下各项当中的一项或更多项来实施:易失性计算机存储器、非易失性存储器件、硬盘驱动器、闪存驱动器、软盘或紧致盘以及类似的介质。
在本说明书中,术语“平台”可以是用于管理视频捕获、处理和传输操作的软件与硬件组件的组合。平台的例子包括(但不限于)在多个服务器上执行的托管服务、在单个服务器上执行的应用以及类似的系统。术语“服务器”通常指的是典型地在联网环境中执行一个或更多软件程序的计算设备。但是服务器还可以被实施为在一个或更多计算设备(其在网络上被视为服务器)上执行的虚拟服务器(软件程序)。
术语“低分辨率”和“高分辨率或增强的分辨率”被使用来区分传统摄影机系统的所捕获视频质量与根据这里的实施例生成的仿真视频。作为一个具体例子,视频分辨率的范围可以处于大约480*640像素到4800*6400像素之间,并且传统的交通摄影机可能能够捕获朝向所述范围的低端的分辨率,而根据实施例的仿真视频则可以朝向所述范围的更高端增强分辨率。但是在不背离所公开的主题的精神和范围的情况下可以使用其他分辨率。
图1包括示出了具有交通摄影机的道路的概念图100,其中可以采用根据实施例的视频分辨率增强和多视点创建。如图100中所示,处于道路102上的固定位置处的交通摄影机110是捕获驶近摄影机的汽车106和112的视频的单方向摄影机。驶离摄影机的汽车108不再处于摄影机的视点中。实际上可能根本无法看到经过摄影机的任何汽车。此外,常见的交通摄影机典型地是低分辨率摄影机(这典型地是为了减少将要通过把摄影机连接到视频处理系统的网络所输送的视频数据的量)。因此,当汽车112处于摄影机附近时可以捕获其细节,但是汽车106在所捕获的视频中可能看起来是模糊的。
可以在例如交叉路口104之类的特定位置设立多个摄影机。但是处在道路的笔直部分上的摄影机的数目和覆盖范围典型地受到限制。即使在具有多个摄影机的交叉路口处,摄影机也不会覆盖所有角度,并且由于摄影机的分辨率的缘故,仍然会发生图像质量随着距离降低。
根据实施例的一种系统被配置成在交通馈送中通过合成方式创建汽车的高分辨率视图以及/或者从不同视点观看这些汽车。前者可以通过利用摄影机馈送的不同时间下的像素建立图像模拟来实现,后者可以通过预先捕获的影像数据库来实现。对于所述数据库,可以收集包含汽车的前方、后方和/或其他视图在内的影像。可以通过跨越多个交通摄影机跟踪汽车、从制造商数据库接收图像以及类似的方法来获得图像。输入摄影机馈送不是单个图像而是在足够高的频率下捕获的一系列图像,以便在沿着道路的多个实例处(例如在远、中和近之类的预定义距离范围下)观察相同的汽车。此外,观看体验不需要是实时的。观看者可以察看缓冲的或者延迟的(例如几秒钟)视频。所述延迟可以被用来处理视频以供视觉化(例如从“未来”的帧借用像素)。
为了从不同的视点显示来自某一交通摄影机的输入,可以使用来自不同角度的各个汽车的图像来创建对应于不同视点的仿真汽车图像。可以通过在正投影地图上叠加或者从人类尺度泡泡显示数据,从而从不同的视点看向道路。当把交通视频投影在几何结构上时,随着观看者看向摄影机的更远处可以看到汽车的视频质量的降低(其在图100中由汽车106的模糊图像表示)。但是在摄影机远处显示的每一辆车当其更靠近摄影机时被显示在更高细节下(对于正在驶离摄影机的汽车),或者在几秒钟内当其将要更接进摄影机时被显示在更高细节下(对于正在驶近摄影机的汽车)。
图2示出了具有根据实施例的交通摄影机的增强的分辨率和多个视点的另一条道路。为了在比所捕获的分辨率更高的分辨率下再现模糊的(远距离)汽车,根据一些实施例可以使用相同汽车的早前更接近摄影机时捕获的或者随着其驶近摄影机而将被捕获的更高分辨率图像。换句话说,可以从附近的汽车图像“借用”像素并且传送到在时间上处于过去或将来的远距离汽车图像。对于看“向未来”,可以把视频延迟一个预定义时间段,以便借用附近汽车的像素从而仿真远距离汽车的更高分辨率。
在图200中,远处汽车的增强分辨率由正在驶近的汽车222、224和226的清晰图像表示。汽车226已经处于摄影机210附近,并且可能不需要其图像增强。汽车224处于摄影机的中距离处,并且可能需要通过使用来自时间偏移的(未来)帧的像素来略微增强其图像。汽车222处于远距离处。与汽车224相比可能需要更多地增强其图像。可以从处于摄影机附近时的(多辆)汽车的一帧或更多帧选择像素,随后将其与实际图像融合以便创建远距离汽车的更高分辨率图像。
正如前面所讨论的那样,传统的交通摄影机的另一处限制在于其被固定到一个位置和一个方向。这就使得不可能通过单个摄影机从另一个方向或另一个视点观看交通。根据其他实施例的一种系统利用交通的对称性来仿真相反方向上的交通视图。换句话说,在一个点处观看的交通在相反视点处必然是在相反方向上行进。再现这样的视图的挑战包括在相反视点处可见的汽车的隐藏部分(例如汽车228的后方)。
为了在不同于摄影机方向模型的其他方向上再现汽车的仿真图像,可以使用汽车的模型而不是视频来对其进行再现。虽然这种方法可能有其优点,比如再现可见截锥体之外的汽车以及多方向观看,但是所再现的视频看起来一定是人为的。为了生成对于仿真交通视频的基于逼真图像的再现,可以基于来自所收集的图像数据库的真实图像使用汽车的其他角度。举例来说,可以确定即将到来的汽车的类型和颜色并且从所收集的影像数据库获取相同汽车的其他视图(例如后方)。随后可以利用即将到来的汽车的速度作为参考,使用所获取的(多幅)图像一起融合成相反方向上的仿真视频流。
在图200中,在不同于摄影机方向的其他方向上生成仿真视频由交通摄影机210的虚拟旋转230表示。实际上,来自各个角度(例如前方、侧面、后方)的汽车视图可以被使用来生成多个仿真视频,并且可以允许用户“虚拟地”旋转摄影机从而在不同角度下观看交通流。摄影机210可以是通过有线或无线(例如射频“RF”、光学或类似物)通信装置连接到处理系统的任何视频捕获设备。
图3示出了用于创建具有增强的分辨率的仿真交通视频的系统的框图300。如前所讨论,从交通摄影机视频馈送生成仿真视频的一个方面涉及视频的增强的分辨率,从而使得以类似的质量观看不同距离下的汽车。在根据实施例的系统中,原始交通视频332可以被使用来生成车辆视频补片334的流。假设时间t处的汽车在帧缓冲器内的图像中将处在远距离处,则可以把帧t+n处的汽车匹配到时间t处的汽车。可以采用具有归一化互相关的移动窗口或者类似方法来施行方框336处的匹配。
随后可以把各个补片融合在一起(338)以便生成平滑的交通视频340,其中将用来自时间t+n的附近汽车的补片替换时间t处的远距离模糊汽车。随后可以通过客户端机器处的再现应用或者通过web服务来再现视频。
根据其他实施例,可以减少与远距离处的汽车相关联的噪声,增强和/或锐化其对比度。举例来说,在雾天里,远距离处的汽车可能看起来既模糊又晦暗。所述模糊性和晦暗性是由于大气光散射进入到观看方向上并且汽车颜色向外散射到雾中而发生的。通过使用汽车的附近图像,可以通过降低其模糊性和晦暗性而增强这些远距离处的汽车的视图。此外,所生成的视频不需要具有与输入视频相同的时间分辨率(例如帧率)。还可以利用类似的匹配过程创建“中间”帧。
图4示出了用于创建具有多个视点的仿真交通视频的系统的框图。从交通摄影机视频馈送生成仿真视频的另一个方面涉及从单方向摄影机生成多个视点。类似于图3中描述的该系统,用于生成多个视点的所述系统开始于原始交通视频442,从中生成车辆视频补片444的流。在原始交通视频442中,只有车辆的前方(驶近交通)或后方(驶离摄影机的车辆)可以是可见的。用于所捕获车辆的缺失图像(例如其前方可见的汽车的后方、侧面等等)可以在匹配过程446处从相似视频补片452的数据库获取。
相似视频补片452的数据库可以包含各种样式、型号、颜色等等的车辆的预先捕获和/或通过合成方式生成的图像。可以从交通摄影机捕获的视频、制造商数据源、销售商数据源以及用于车辆的图像数据的任何其他源获得所存储的图像。举例来说,可以在某一位置处设立指向不同方向的多个摄影机达预定时间段,以便在各种角度下捕获汽车的图像,并且对这些图像进行索引及存储,从而在后来可以结合其他摄影机对其进行使用。
匹配过程446可以首先把汽车的所捕获视图(例如前方)与数据库中的图像相匹配,随后找到相应的后方视图图像(以及其他视图图像)。在融合过程448处,可以利用附加信息把所选图像的各个补片融合到视频中,所述附加信息比如道路和/或背景图像、汽车的路径、汽车的速度以及甚至音频(根据Doppler偏移的变化的背景声音可以为用户提供甚至更加真实的体验)。所述音频可以是所记录和/或生成的音频。可以按照前面讨论的那样再现从融合过程得到的仿真视频450。
在图3和4中讨论的诸如生成视频补片的流、匹配视频补片以及融合之类的不同过程可以在不同的硬件模块、软件模块或者硬件与软件的组合中施行。此外,这样的模块可以按照集成方式施行这些过程的两个或更多个。
已经利用生成仿真视频的组件、过程和方法描述了图3和4中的示例系统。实施例不限于根据这些示例配置的系统。可以在采用更少或附加组件并且施行其他任务的配置中实施提供具有多个视点和增强的分辨率的仿真交通视频的平台。此外,实施例不仅限于交通摄影机。可以在使用这里所描述的原理的不同类型的监控摄影机系统、保安系统以及类似系统中实施仿真视频的生成。此外,可以把实施例的视频方面与诸如音频、颜色等之类的其他效果相组合以便增强用户体验。
图5是示例性的联网环境,其中可以实施实施例。可以通过执行在一个或更多服务器514(比如托管服务)之上的软件来实施用于创建具有增强的分辨率和多个视点的仿真视频的平台。所述平台可以通过(多个)网络510与各个计算设备上的客户端应用进行通信,所述计算设备比如有智能电话513、膝上型计算机512或者台式计算机511(“客户端设备”)。
执行在客户端设备511-513当中的任一个之上的客户端应用可以通过在服务器514上或者在单独的服务器516上的浏览应用与web应用进行交互。web应用可以接收来自单方向摄影机520的低分辨率视频,并且如前所述地创建高分辨率、多视点视频。可替代地,可以由与web应用分开的图像处理应用施行仿真视频的生成,并且web应用可以在用户的客户端设备上为用户再现仿真视频。可以直接地或者通过数据库服务器518在/从(多个)数据存储库519处存储和/或获取相关数据,比如车辆的预先捕获的图像或者时间偏移的视频。
(多个)网络510可以包括服务器、客户端、因特网服务提供商以及通信介质的任何拓扑。根据实施例的一种系统可以具有静态或动态拓扑。(多个)网络510可以包括诸如企业网络之类的安全网络、诸如无线开放网络之类的不安全网络或者因特网。(多个)网络510还可以协调通过其他网络的通信,比如公共交换电话网(PSTN)或蜂窝网络。此外,(多个)网络510可以包括诸如Bluetooth或类似网络之类的短距离无线网络。(多个)网络510提供这里所描述的在各个节点之间的通信。作为举例而非限制,(多个)网络510可以包括无线介质,比如声学、RF、红外以及其他无线介质。
可以采用计算设备、应用、数据源以及数据分发系统的许多其他配置来实施基于低分辨率、单方向摄影机输入提供仿真的高分辨率、多视图视频的平台。此外,图5中讨论的联网环境仅仅用于说明的目的。本发明的实施例不限于所述示例应用、模块或过程。
图6和相关联的讨论旨在提供关于可以在其中实施实施例的适当计算环境的简要的、一般性描述。参照图6,示出了用于根据实施例的应用的示例计算操作环境的框图,比如计算设备600。在一种基本配置中,计算设备600可以是执行能够生成根据实施例的仿真的高分辨率、多视点视频的视频处理应用的服务器并且包括至少一个处理单元602和系统存储器604。计算设备600还可以包括在执行程序方面合作的多个处理单元。取决于计算设备的确切配置和类型,系统存储器604可以是易失性的(比如RAM)、非易失性的(比如ROM、闪存等等)或者二者的某种组合。系统存储器604典型地包括适于控制所述平台的操作的操作系统605,比如来自华盛顿州雷蒙德的微软公司的WINDOWS®操作系统。系统存储器604还可以包括一个或多个软件应用,比如程序模块606、视频应用622以及融合模块624。
视频应用622可以从低分辨率、单方向摄影机接收视频馈送,并且如前所讨论地创建高分辨率、多视点视频。融合模块624可以将原始视频与预先捕获的车辆图像和/或时间偏移的视频流的补片融合,从而生成多个视点并且增强仿真视频的分辨率。视频应用622和融合模块624可以是分开的应用或者是托管服务的集成组件。在图6中通过虚线608内的那些组件示出了这一基本配置。
计算设备600可以具有附加的特征或功能。举例来说,计算设备600还可以包括附加的数据存储设备(可移除的和/或不可移除的),比如磁盘、光盘或磁带。在图6中通过可移除存储装置609和不可移除存储装置610示出了这样的附加存储装置。计算机可读存储介质可以包括按照任何方法或技术实施的用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类信息的易失性和非易失性、可移除和不可移除介质。系统存储器604、可移除存储装置609和不可移除存储装置610全都是计算机可读存储介质的例子。计算机可读存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光学存储装置、磁带、磁盘存储装置或其他磁性存储设备或者可以被用来存储所期望的信息并且可以由计算设备600访问的任何其他介质。任何这样的计算机可读存储介质都可以是计算设备600的一部分。计算设备600还可以具有(多个)输入设备612,比如键盘、鼠标、笔、语音输入设备、触摸输入设备以及类似的输入设备。还可以包括(多个)输出设备614,比如显示器、扬声器、打印机以及其他类型的输出设备。这些设备是本领域内所公知的,这里不需要详细讨论。
计算设备600还可以包含通信连接616,其允许设备比如通过分布式计算环境中的有线或无线网络、卫星链接、蜂窝链接、短距离网络以及类似的机制与其他设备618进行通信。其他设备618可以包括执行通信应用的(多个)计算机设备、其他服务器以及类似的设备。(多个)通信连接616是通信介质的一个例子。通信介质在其中可以包括计算机可读指令、数据结构、程序模块或其他数据。作为举例而非限制,通信介质包括诸如有线网络或直接布线连接之类的有线介质以及诸如声学、RF、红外和其他无线介质之类的无线介质。
示例实施例还包括方法。可以按照任意数量方式来实施这些方法,其中包括在本文献中所描述的结构。一种这样的方式是通过本文献中所描述的类型的设备的机器操作。
另一种可选的方式是,针对所述方法的各个的操作中的一项或更多项,结合施行一些操作的一个或更多操作人员来施行。这些操作人员不需要彼此位于一处,而是每一个操作人员可以仅仅与具有施行程序的一部分的机器在一起。
图7示出了用于根据实施例的基于来自低分辨率、单方向交通摄影机的输入而提供增强的分辨率和多视点视频的过程700的逻辑流程图。过程700可以被实施为在服务器上执行的web应用的一部分。
过程700开始于操作710,其中接收来自低分辨率、单方向视频摄影机的原始视频。可以对所接收到的视频进行预处理。举例来说,可以修改所接收到的视频的格式、可以对视频进行滤波等等。在操作720中,生成视频补片流,从而可以随后施行匹配和融合。所述补片可以是对应于车辆在预定义距离下(例如远、中、近)的移动的相继视频帧。
在操作730中,将补片流与来自不同方向的摄影机的补片和/或时间偏移的帧的补片(例如当车辆更接近摄影机时)进行比较。第一个匹配允许生成附加的视点(例如显示出正在驶离的车辆的原始摄影机的视点的相反方向),而后者匹配则增强视频流的分辨率。来自不同方向的补片可以包括来自不同角度的不同类型的车辆的预先捕获的图像(红色客车的后视图、绿色卡车的侧视图、汽车的具体品牌等等)。
在操作740中,可以把原始流与所匹配的补片融合在一起,从而得到可以在操作750中呈现给用户(例如通过用户的浏览应用再现)的仿真视频。在融合之前,还可以调节图像的尺寸。
包括在过程700中的操作仅仅用于说明的目的。可以通过具有更少或附加步骤的类似过程实施生成增强分辨率、多视点仿真视频,并且可以利用这里所描述的原理按照不同操作顺序来实施。
前面的说明、实例和数据提供了对于实施例的组成的制造和使用的全面描述。虽然已经以特定于结构特征和/或方法动作的语言描述了主题,但是应当理解的是,在所附权利要求书中限定的主题不一定受限于前面所描述的具体特征或动作。相反,前面描述的特征和动作是作为实施权利要求和实施例的示例形式而被公开的。

Claims (8)

1.一种将至少部分地在计算设备中执行以便从摄影机馈送生成增强的仿真视频的方法,所述方法包括:
从单方向摄影机接收原始视频输入;
生成车辆视频补片的流;
将车辆视频补片中时刻t时较远处的车辆与在该车辆视频补片中时刻t+n时较近处的车辆进行匹配;
用在时刻t+n时较近处的车辆的补片来替换在时刻t时较远处的车辆;
将所述车辆视频补片融合到显示车辆的仿真视频中;以及
再现仿真视频。
2.权利要求1的方法,还包括:
采用来自由以下各项构成的集合中的至少一项来增强仿真视频:道路图像、背景图像、每一辆车的路径、每一辆车的速度、所记录的音频以及所生成的音频。
3.权利要求1的方法,还包括:
缓冲预定义数目的帧;
在其中车辆出现于摄影机附近的帧中捕获车辆的图像;
调节所捕获的图像的尺寸;
把经过调节的图像叠加在其中相同的车辆远离摄影机出现的帧上;以及
把经过叠加的帧融合成所述仿真视频。
4.权利要求3的方法,其中,对于未来的帧施行所述缓冲。
5.权利要求4的方法,其中,采用归一化互相关来匹配所缓冲的帧中的车辆。
6.权利要求4的方法,其中,基于车辆与摄影机的预定义距离范围来确定要被缓冲的帧的数目。
7.一种用于从摄影机馈送生成增强的仿真视频的系统,所述系统包括:
至少一个单方向摄影机;
耦合到所述至少一个单方向摄影机的处理设备,所述处理设备执行视频处理应用,其中所述视频处理应用被配置成:
从单方向摄影机接收原始视频输入;
生成车辆视频补片的流;
缓冲预定数目的视频帧;
将车辆视频补片中时刻t时较远处的车辆与车辆视频补片中时刻t+n时较近处的车辆进行匹配,以使用时刻t+n时较近处的车辆的补片来替换时刻t时较远处的车辆;
把所述车辆视频补片融合到具有增强的分辨率的第一仿真视频中;以及
再现仿真视频。
8.一种将至少部分地在计算设备中实现以便从摄影机馈送生成增强的仿真视频的设备,所述设备包括:
用于从单方向摄影机接收原始视频输入的装置;
用于生成车辆视频补片的流的装置;
用于将车辆视频补片中时刻t时较远处的车辆与在该车辆视频补片中时刻t+n时较近处的车辆进行匹配的装置;
用于用在时刻t+n时较近处的车辆的补片来替换在时刻t时较远处的车辆的装置;
用于将所述车辆视频补片融合到显示车辆的仿真视频中的装置;以及
用于再现仿真视频的装置。
CN201180027386.XA 2010-06-03 2011-05-23 用于交通摄影机的具有额外的视点和增强的分辨率的仿真视频 Active CN102907091B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/792,881 US8823797B2 (en) 2010-06-03 2010-06-03 Simulated video with extra viewpoints and enhanced resolution for traffic cameras
US12/792881 2010-06-03
PCT/US2011/037488 WO2011153015A2 (en) 2010-06-03 2011-05-23 Simulated video with extra viewpoints and enhanced resolution for traffic cameras

Publications (2)

Publication Number Publication Date
CN102907091A CN102907091A (zh) 2013-01-30
CN102907091B true CN102907091B (zh) 2016-05-18

Family

ID=45064180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180027386.XA Active CN102907091B (zh) 2010-06-03 2011-05-23 用于交通摄影机的具有额外的视点和增强的分辨率的仿真视频

Country Status (9)

Country Link
US (1) US8823797B2 (zh)
EP (1) EP2577958B1 (zh)
JP (1) JP5815026B2 (zh)
KR (1) KR101767289B1 (zh)
CN (1) CN102907091B (zh)
AU (1) AU2011261690B2 (zh)
RU (1) RU2554069C2 (zh)
TW (1) TWI535284B (zh)
WO (1) WO2011153015A2 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9171527B2 (en) * 2012-11-20 2015-10-27 Google Inc. System and method for displaying geographic imagery
US9462301B2 (en) * 2013-03-15 2016-10-04 Google Inc. Generating videos with multiple viewpoints
JP6219101B2 (ja) 2013-08-29 2017-10-25 株式会社日立製作所 映像監視システム、映像監視方法、映像監視システム構築方法
CN105119837A (zh) * 2015-05-12 2015-12-02 电子科技大学 基于仿真终端配置优化的分布式交通仿真负载均衡算法
CN105681719A (zh) * 2016-02-17 2016-06-15 北京金迈捷科技有限公司 一种利用时域数据融合技术获取图像和视频的方法
KR101893722B1 (ko) * 2016-06-19 2018-08-30 코어포토닉스 리미티드 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
JP6419128B2 (ja) 2016-10-28 2018-11-07 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
KR102499398B1 (ko) * 2017-08-09 2023-02-13 삼성전자 주식회사 차선 검출 방법 및 장치
FR3080701B1 (fr) 2018-04-26 2020-05-15 Transdev Group Systeme de surveillance de la circulation routiere avec affichage d'une image virtuelle d'objets mobiles evoluant dans une portion d'infrastructure routiere
JP7187182B2 (ja) 2018-06-11 2022-12-12 キヤノン株式会社 データ生成装置、方法およびプログラム
RU2725682C1 (ru) * 2019-04-29 2020-07-03 Кэнон Кабусики Кайся Устройство обработки информации, способ обработки информации и носитель данных
US11827150B2 (en) * 2021-09-21 2023-11-28 International Business Machines Corporation Computer-implemented object visibility improvement by interposing an image in a viewer's line-of-sight
CN117011787B (zh) * 2023-07-12 2024-02-02 中关村科学城城市大脑股份有限公司 应用于加油站的信息处理方法、装置和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0807914A1 (en) * 1996-05-15 1997-11-19 Hitachi, Ltd. Traffic flow monitor apparatus
EP1626582A2 (en) * 2001-04-27 2006-02-15 Sumitomo Electric Industries, Ltd. Image processing device, image processing method and vehicle monitor system
US20080095403A1 (en) * 2006-10-24 2008-04-24 Tdx Llc Electronic traffic monitor
US20080101656A1 (en) * 2006-10-30 2008-05-01 Thomas Henry Barnes Method and apparatus for managing parking lots
US20090237510A1 (en) * 2008-03-19 2009-09-24 Microsoft Corporation Visualizing camera feeds on a map

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5270756A (en) 1992-02-18 1993-12-14 Hughes Training, Inc. Method and apparatus for generating high resolution vidicon camera images
JPH1139589A (ja) 1997-07-18 1999-02-12 Fuji Electric Co Ltd 交通監視装置および交通監視方法
JPH1196494A (ja) 1997-09-22 1999-04-09 Hitachi Ltd 交通流監視方法および装置
US8260537B2 (en) * 1997-10-22 2012-09-04 Intelligent Technologies International, Inc. Method for modifying an existing vehicle on a retrofit basis to integrate the vehicle into an information exchange system
ATE418451T1 (de) * 1998-06-18 2009-01-15 Kline & Walker L L C Automatische vorrichtung zur überwachung von auf abstand zu bedienende ausrüstungen und maschinen weltweit anwendbar
US6496850B1 (en) * 1999-08-31 2002-12-17 Accenture Llp Clean-up of orphaned server contexts
JP4387511B2 (ja) * 1999-09-09 2009-12-16 株式会社バンダイナムコゲームス ゲーム装置および情報記憶媒体
JP3601392B2 (ja) * 1999-12-27 2004-12-15 住友電気工業株式会社 画像処理装置、画像処理方法及び車両監視システム
JP3816747B2 (ja) * 2000-12-21 2006-08-30 株式会社東芝 車種判別装置及び車種判別方法及び車種判別方法を行うプログラムをコンピュータ読み取り可能なように記憶させた記憶媒体
US7389181B2 (en) * 2004-08-31 2008-06-17 Visre, Inc. Apparatus and method for producing video drive-by data corresponding to a geographic location
CN100398065C (zh) * 2002-10-15 2008-07-02 沃尔沃技术公司 解释对象的头部和眼睛活动的方法和装置
JP4144378B2 (ja) * 2003-02-28 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7486294B2 (en) * 2003-03-27 2009-02-03 Microsoft Corporation Vector graphics element-based model, application programming interface, and markup language
JP2005020330A (ja) * 2003-06-26 2005-01-20 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
US7308341B2 (en) * 2003-10-14 2007-12-11 Donnelly Corporation Vehicle communication system
US20050125121A1 (en) 2003-11-28 2005-06-09 Denso Corporation Vehicle driving assisting apparatus
AU2005242076B2 (en) 2004-05-01 2009-07-23 Eliezer Jacob Digital camera with non-uniform image resolution
JP2006092450A (ja) * 2004-09-27 2006-04-06 Oki Electric Ind Co Ltd 画像処置装置および画像処理方法
US20060269105A1 (en) * 2005-05-24 2006-11-30 Langlinais Ashton L Methods, Apparatus and Products for Image Capture
US7577522B2 (en) * 2005-12-05 2009-08-18 Outland Research, Llc Spatially associated personal reminder system and method
GB0523512D0 (en) * 2005-11-18 2005-12-28 Applied Generics Ltd Enhancing traffic and navigation information with visual and audio data
JP2006197614A (ja) * 2006-01-20 2006-07-27 Sumitomo Electric Ind Ltd 画像処理装置、画像処理方法及び車両監視システム
US20080002909A1 (en) 2006-07-03 2008-01-03 Siemens Corporate Research, Inc. Reconstructing Blurred High Resolution Images
US7633383B2 (en) 2006-08-16 2009-12-15 International Business Machines Corporation Systems and arrangements for providing situational awareness to an operator of a vehicle
US9076332B2 (en) 2006-10-19 2015-07-07 Makor Issues And Rights Ltd. Multi-objective optimization for real time traffic light control and navigation systems for urban saturated networks
US7688229B2 (en) * 2007-04-30 2010-03-30 Navteq North America, Llc System and method for stitching of video for routes
JP2009151379A (ja) * 2007-12-18 2009-07-09 Nec Corp 通行監視システム、撮像装置、情報処理装置、通行監視方法、及び通行監視プログラム
US9584710B2 (en) 2008-02-28 2017-02-28 Avigilon Analytics Corporation Intelligent high resolution video system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0807914A1 (en) * 1996-05-15 1997-11-19 Hitachi, Ltd. Traffic flow monitor apparatus
EP1626582A2 (en) * 2001-04-27 2006-02-15 Sumitomo Electric Industries, Ltd. Image processing device, image processing method and vehicle monitor system
US20080095403A1 (en) * 2006-10-24 2008-04-24 Tdx Llc Electronic traffic monitor
US20080101656A1 (en) * 2006-10-30 2008-05-01 Thomas Henry Barnes Method and apparatus for managing parking lots
US20090237510A1 (en) * 2008-03-19 2009-09-24 Microsoft Corporation Visualizing camera feeds on a map

Also Published As

Publication number Publication date
US8823797B2 (en) 2014-09-02
EP2577958A4 (en) 2014-09-17
KR20130077829A (ko) 2013-07-09
AU2011261690A1 (en) 2012-12-13
AU2011261690B2 (en) 2014-04-24
TWI535284B (zh) 2016-05-21
RU2554069C2 (ru) 2015-06-27
CN102907091A (zh) 2013-01-30
JP2013530463A (ja) 2013-07-25
TW201204021A (en) 2012-01-16
US20110298928A1 (en) 2011-12-08
RU2012151489A (ru) 2014-06-10
JP5815026B2 (ja) 2015-11-17
EP2577958A2 (en) 2013-04-10
WO2011153015A2 (en) 2011-12-08
EP2577958B1 (en) 2018-05-02
KR101767289B1 (ko) 2017-08-10
WO2011153015A3 (en) 2012-01-26

Similar Documents

Publication Publication Date Title
CN102907091B (zh) 用于交通摄影机的具有额外的视点和增强的分辨率的仿真视频
US11823337B2 (en) Systems and methods for enhancing and developing accident scene visualizations
US11223821B2 (en) Video display method and video display device including a selection of a viewpoint from a plurality of viewpoints
US11790779B2 (en) Three-dimensional information processing method and three-dimensional information processing device
JP7143443B2 (ja) 車両の搭乗者及び遠隔ユーザのための共有環境
US11922548B2 (en) Accident re-creation using augmented reality
US20190019011A1 (en) Systems and methods for identifying real objects in an area of interest for use in identifying virtual content a user is authorized to view using an augmented reality device
US20170195561A1 (en) Automated processing of panoramic video content using machine learning techniques
CN105657438A (zh) 一种全景直播视频资源的处理方法及装置
CN113342704B (zh) 一种数据处理方法、设备以及计算机可读存储介质
CA2715392A1 (en) N-way multimedia collaboration system
JP7418038B2 (ja) システム,制御方法,プログラム等
US10956981B1 (en) Systems and methods for visualizing an accident scene
CN114415828A (zh) 一种基于增强现实的远程查看车辆的方法和装置
Aguiar et al. IoT and Edge Computing impact on Beyond 5G: enabling technologies and challenges
CN114089826A (zh) 车端场景的生成方法、装置、车端和存储介质
CN117556122A (zh) 一种信息推送方法、系统、终端和存储介质
JP2021005744A (ja) 対象映像を生成するためのサーバ、クライアント、プログラム及び方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150612

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150612

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C14 Grant of patent or utility model
GR01 Patent grant