CN108370454A - 用于视频处理的系统和方法 - Google Patents

用于视频处理的系统和方法 Download PDF

Info

Publication number
CN108370454A
CN108370454A CN201580085035.2A CN201580085035A CN108370454A CN 108370454 A CN108370454 A CN 108370454A CN 201580085035 A CN201580085035 A CN 201580085035A CN 108370454 A CN108370454 A CN 108370454A
Authority
CN
China
Prior art keywords
sequence
frame
frame sequence
lookup
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580085035.2A
Other languages
English (en)
Other versions
CN108370454B (zh
Inventor
毛成林
曹子晟
暴林超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN108370454A publication Critical patent/CN108370454A/zh
Application granted granted Critical
Publication of CN108370454B publication Critical patent/CN108370454B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

一种用于多个视频流之间的视频同步的系统及其制造和使用方法。视频同步系统可以使查找帧序列中的视频帧相对于参考帧序列同步，对查找帧序列中的帧进行排序，以使查找帧序列的图像数据对应于参考帧序列的图像数据。可以针对源自单个成像装置或多个成像装置的视频流执行视频同步。可以使用图像数据中的点序列来执行查找帧序列与参考序列的比较。点序列中的点可以是各个像素或具有一个或多个像素的各个特征。可以通过使相应图像数据之间的相关性最大化来执行视频同步。该系统和方法有利地适用于同步从诸如无人机之类的移动平台获取的视频。

Description

用于视频处理的系统和方法
版权声明
本专利文件的公开的一部分包含受到版权保护的材料。版权所有者不反对任何人对专利文献或专利公开的传真复制，因为它出现在专利和商标局的专利文件或记录中，但在其他方面保留所有版权。
技术领域
所公开的实施例总体上涉及图像处理，并且更具体地但不排他地涉及用于同步多个视频流的系统和方法。
背景技术
视频同步是使不同视频流时间对齐。视频同步具有许多应用。例如，可以从不同的有利位置拍摄特定事件的不同视频，之后可以同步视频以创建所述事件的合并视图。视频同步难以手动执行，这是因为人眼无法轻易地区分以快速帧速率示出的视频帧。另一种同步技术是时间戳，其中视频流的每一帧都标记有该帧的拍摄时间。随后，可以同步不同视频流之间具有匹配时间戳的帧。然而，用于视频同步的时间戳要求视频流源自的成像装置精确同步且无错误。这些标准在实践中很难满足，因此时间戳视频同步方法常常会引起错误。
鉴于前述内容，需要克服当前视频同步方法问题的用于视频同步的系统和方法。
发明内容
根据本文所公开的第一方面，提出了一种视频同步的方法，包括：
将来自参考帧序列的图像数据与查找帧序列的对应图像数据进行比较；以及
基于所述比较将查找帧序列与参考帧序列对齐。
根据本文所公开的另一方面，提出了一种视频同步系统，包括：
一个或多个传感器，被配置为接收第一视频流和第二视频流；以及
处理器，被配置为：
从所述第一视频流获取参考帧序列，并从所述第二视频流获取查找帧序列；
将来自所述参考帧序列的图像数据与所述查找帧序列的对应图像数据进行比较；以及
基于比较的图像数据将所述查找帧序列与所述参考帧序列对齐。
根据本文所公开的另一方面，提出了一种设备，包括处理器，所述处理器被配置为：
从第一视频流中获取参考帧序列，并从第二视频流中获取查找帧序列；
将来自所述参考帧序列的图像数据与所述查找帧序列的对应图像数据进行比较；以及
基于比较的图像数据将所述查找帧序列与所述参考帧序列对齐。
根据本文所公开的另一方面，提出了一种计算机可读存储介质，包括：
用于将来自参考帧序列的图像数据与查找帧序列的对应图像数据进行比较的指令；以及
用于基于所述比较将查找帧序列与参考帧序列对齐的指令。
根据本文所公开的另一方面，提出了一种处理系统，包括：
获取模块，被配置为用于从参考帧序列获取图像数据并获取查找帧序列的对应图像数据；
比较模块，用于将来自参考帧序列的图像数据与查找帧序列的对应图像数据进行比较；以及
对齐模块，用于基于比较的图像数据将查找帧序列与参考帧序列对齐。
附图说明
图1示出了关于所拍摄的场景的视频流的视频同步系统的实施例的示例性顶层框图。
图2示出了图1的视频同步系统的替代实施例的示例性框图。
图3示出了使用图1的视频同步系统同步的第一视频流和第二视频流的实施例的示例性图。
图4示出了用于使参考帧序列与查找帧序列同步的方法的实施例的示例性流程图，在所述方法中基于来自参考帧序列和查找帧序列的图像数据的比较来使查找帧序列的帧与参考帧序列的帧对齐。
图5示出了用于使查找帧序列与参考帧序列对齐的图4的方法的实施例的示例性图。
图6示出了图4的方法的替代实施例的示例性图，在所述替代实施例中将参考点序列与查找点序列进行比较以进行视频同步。
图7示出了图4的方法的另一替代实施例的示例性流程图，所述流程图用于将参考点序列与查找点序列进行比较以进行视频同步。
图8示出了图1的视频同步系统的替代实施例的示例性图，在所述替代实施例中从公共成像装置接收第一视频流和第二视频流。
图9示出了图4的方法的另一替代实施例的示例性图，在所述另一替代实施例中将包括图像数据的像素的参考点序列与包括图像数据的像素的查找点序列进行比较以进行视频同步。
图10示出了图4的方法的另一替代实施例的示例性流程图，在所述另一替代实施例中将包括图像数据的像素的参考点序列与包括图像数据的像素的查找点序列进行比较以进行视频同步。
图11示出了图1的视频同步系统的另一替代实施例的示例性框图，在所述另一替代实施例中从不同的成像装置接收第一视频流和第二视频流。
图12示出了图4的方法的另一替代实施例的示例性图，在所述另一替代实施例中将包括图像数据的特征的参考点序列与包括图像数据的特征的查找点序列进行比较以进行视频同步。
图13示出了图4的方法的另一替代实施例的示例性流程图，在所述另一替代实施例中通过匹配参考帧序列的帧之间的特征来获取参考点序列。
图14示出了图4的方法的另一替代实施例的示例性流程图，在所述另一替代实施例中包括查找特征的查找点序列与包括参考特征的对应参考点序列匹配。
图15示出了图4的方法的另一替代实施例的示例性决策流程图，在所述另一替代实施例中通过最大化参考帧序列和查找帧序列的对应图像数据之间的相关性来执行视频同步。
图16示出了图4的方法的另一替代实施例的示例性图，描绘了在参考帧序列与查找帧序列之间的不同对齐处的相关性的图。
图17示出了图4的方法的另一替代实施例的示例性图，描绘了在参考帧序列与查找帧序列之间的不同对齐处的相关性的图。
图18示出了图1的视频同步系统的实施例的示例性图，在所述实施例中视频同步系统安装在无人机(UAV)上。
图19示出了包括获取模块、比较模块和对齐模块以用于视频同步的处理系统的实施例的示例性图。
应该注意的是，附图并未按比例绘制，并且出于说明目的，在整个附图中类似结构或功能的元素通常用类似的附图标记来表示。还应该注意的是，附图只是为了便于描述优选实施例。附图没有示出所描述的实施例的每个方面，并且不限制本公开的范围。
具体实施方式
本公开提出了用于同步多个视频流的系统和方法，克服了现有视频同步系统和方法的缺点。
现在转向图1，示出了与场景10的成像有关的视频同步系统100的示例性顶层表示。来自场景10的入射光15可以由一个或多个成像装置20来捕获。每个成像装置20可以从场景10接收入射光15并将入射光15转换成数字和/或模拟信号。每个成像装置20可以是例如电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)器件、N型金属氧化物半导体(NMOS)器件及其混合物/变型。成像装置20可以包括被布置成二维阵列(未示出)的光电传感器，每个光电传感器可以捕获图像信息的一个像素。优选地，每个成像装置20可以具有例如至少0.05兆像素、0.1兆像素、0.5兆像素、1兆像素、2兆像素、5兆像素、10兆像素、20兆像素、50兆像素、100兆像素或甚至更大数量的像素的分辨率。
可以对由成像装置20接收的入射光15进行处理以产生一个或多个视频流30。每个成像装置20可以产生场景10的一个或多个视频流30。例如，所选成像装置20可以有利地以多个不同分辨率(例如，低分辨率视频流30和高分辨率视频流30)产生场景10的视频流30，如期望的那样用于平衡清晰度和效率以用于不同用途。在一些实施例中，多个成像装置20可以用于从场景10捕获视频。例如，多个成像装置20可以从场景10的多个不同视角(或有利位置)捕获视频流30。使用多个成像装置20的优点可以包括例如实现全景成像、实现对场景10的深度感知的立体成像和/或实现场景10的三维再创建。可以向视频同步系统100提供多个视频流30以进行视频同步，无论所述多个视频流30是由相同成像装置20还是由不同成像装置20捕获的。
适用于所公开的系统和方法的示例性成像装置20包括但不限于市售的相机和/或摄像机。虽然仅出于说明性目的在图1中示出了三个成像装置20，但是视频同步系统100可以根据需要被配置为从任何数量的成像装置30接收视频流30。例如，视频同步系统100可以被配置为从一个、两个、三个、四个、五个、六个、七个、八个、九个、十个甚至更多数量的成像装置20接收视频流30。同样，视频同步系统100可以被配置为接收任何数量的视频流30。在一些实施例中，可以相对于可连续地与附加视频流30进行比较的参考视频流(未示出)来执行对多个视频流30的同步。备选地和/或另外地，可以通过将两个同步视频流合并成合并视频流(未示出)来同步多个视频流30。根据需要，合并视频流又可以与附加视频流30同步和/或合并。在同步之后，视频同步系统100可以输出一个或多个同步视频流40。可以以任何期望的方式(例如，通过用户接口45)向用户50显示同步视频流40。
现在参考图2，图1中的视频同步系统100的示例性实施例被示出为使第一视频流30A与第二视频流30B同步。第一视频流30A和第二视频流30B均可以通过视频同步系统100的一个或多个输入端口110被输入至视频同步系统100中。每个输入端口110可以通过适合的接口来接收数据(例如，视频数据)，所述接口例如是通用串行总线(USB)接口、数字视频接口(DVI)、显示端口接口，串行ATA(SATA)接口、IEEE 1394接口(也称为火线接口)、并行端口接口、串行接口、视频图形阵列(VGA)接口、超级视频图形阵列(SVGA)接口、小型计算机系统接口(SCSI)、高清多媒体接口(HDMI)和/或其他标准接口。备选地和/或另外地，输入端口110可以通过视频同步系统100的专用接口来接收所选视频流30A、30B。
如图2所示，视频同步系统100可以包括一个或多个处理器120。尽管仅出于说明性目的示出了单个处理器120，但是视频同步系统100可以根据需要包括任何数量的处理器120。非限制性地，每个处理器120可以包括一个或多个通用微处理器(例如，单核或多核处理器)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、专用指令集处理器、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。在某些实施例中，处理器120可以包括图像处理引擎或媒体处理单元，其可以包括用于增强聚焦、图像捕获、滤波、拜耳变换、去马赛克操作、降噪操作、图像锐化操作、图像柔化操作等的速度和效率的专用硬件。处理器120可以被配置为执行本文中描述的任何方法，包括但不限于涉及视频同步的各种操作。在一些实施例中，处理器120可以包括用于与视频同步有关的处理操作的专用软件和/或硬件，所述操作例如是比较来自不同视频流的图像数据并对来自不同视频流的帧进行排序以同步视频流。
如图2所示，成像系统100可以包括一个或多个存储器130(本文中备选地称为计算机可读存储介质)。适合的存储器130可以包括例如随机存取存储器(RAM)、静态RAM、动态RAM、只读存储器(ROM)、可编程ROM、可擦除可编程ROM、电可擦除可编程ROM、闪存、安全数字(SD)卡等。存储器130可以用于存储例如第一视频流200或第二视频流300的图像数据以及下面描述的中间处理数据(未示出)。此外，用于执行本文描述的任何方法的指令可以存储在存储器130中。这些指令随后可以由处理器120来执行。来自输入端口110的视频流可以通过任何适合的通信装置(例如，通信总线)与处理器120和/或存储器130进行通信。类似地，来自处理器120和/或存储器130的数据可以与一个或多个输出端口140进行通信。输出端口140均可以具有适合的接口，如上面关于输入端口110所述的。例如，可以从输出端口140输出一个或多个同步视频流40以向用户50显示。
视频同步系统100可以根据需要包括一个或多个附加硬件组件(未示出)(例如，诸如按钮、键盘、按键、轨迹球、显示器和/或监视器之类的输入/输出装置)。输入/输出装置可以用于提供用户界面45，用于与用户50交互以同步视频流30A和30B并观看一个或多个同步视频流40。可以使用各种用户界面元素(例如，窗口、按钮、菜单、图标、弹出窗口、标签、控件、光标、插入点等)来与用户50进行交互。
在一些实施例中，视频同步系统100可以被配置为远程发送和接收视频数据。各种技术可以用于视频同步系统100、成像装置20和用户50之间的远程通信。适合的通信技术包括例如无线电、无线保真(Wi-Fi)、蜂窝、卫星和广播。
在一些实施例中，本文描述的视频同步系统100的组件可以是用于组装用于视频同步的设备(未示出)的套件(未示出)的组件。当设备被组装好时，处理器120、存储器130、输入端口110、输出端口140和/或其他组件可以直接或间接地相互通信。
现在参考图3，示例性的第一视频流30A被示出为具有参考帧序列210。参考帧序列210是第一视频流30A的参考帧220的有序集合。参考帧序列210表示可以用作参考的参考帧220的序列，可以将其他视频流的帧与所述参考帧进行比较和/或相对所述参考帧对其他视频流的帧进行排序。参考帧序列210的每个参考帧220包括参考图像数据230，所述参考图像数据230是第一视频流30A在特定时间的快照。参考帧序列210可以包括第一视频流30A的参考帧220的全部或部分。每个参考帧220基于第一视频流30A的帧速率和/或帧频率从连续参考帧220偏移特定时间间隔。用于本视频同步系统和方法的示例性帧速率的范围可以是例如每秒5至10帧、每秒10至20帧、每秒20至30帧、每秒30至50帧、每秒50至100帧每秒100至200帧、每秒200至300帧、每秒300至500帧、每秒500至1000帧或者甚至更高的帧速率。在一些实施例中，帧速率可以是大约每秒16帧、每秒20帧、每秒24帧、每秒25帧、每秒30帧、每秒48帧、每秒50帧、每秒60帧、每秒72帧、每秒90帧、每秒100帧、每秒120帧、每秒144帧或每秒300帧。
图3还示出了具有查找帧序列310的示例性第二视频流30B。查找帧序列310是第二视频流30B的查找帧320的有序集合。查找帧序列310表示可以根据参考帧序列210的图像数据330进行排序(和/或重新排序)的查找帧320的序列。查找帧序列310的每个查找帧320包括查找图像数据330，所述查找图像数据330是第二视频流30B在特定时间的快照。查找帧序列310可以包括第二视频流30B的查找帧320的全部或一部分。在查找帧序列310内，每个查找帧320基于第二视频流30B的帧速率和/或帧频率从连续查找帧320偏移特定时间间隔。查找帧序列310可以具有上面关于参考帧序列210所描述的任何帧速率。在一些实施例中，查找帧序列310可以具有与参考帧序列210相同的帧速率。在一些实施例中，查找帧序列310可以具有与参考帧序列210基本相同的帧速率，也就是说，查找帧序列310的帧速率可以在例如参考帧序列210的帧速率的0.1％、0.2％、0.5％、1％、2％、5％、10％、20％、50％或100％内。
在一些实施例中，查找帧序列310可以具有与参考帧序列210不同的帧速率。在查找帧序列310具有与参考帧序列210不同的帧速率的情况下，查找帧序列310可以基于帧速率与参考帧序列210对齐。例如，如果参考帧序列210具有每秒50帧的帧速率，并且查找帧序列310具有每秒100帧的帧速率，则查找帧序列310的每隔一帧320可以与参考帧序列210的每一帧220对齐。
为了说明本视频同步系统和方法，参考帧序列210的每个参考帧220用指示每个参考帧220的内容的字母(a-e)来标记。类似地，查找帧序列310的每个查找帧320用指示每个查找帧310的内容的字母(c-g)来标记。用对应字母标记的帧220、320表示在相同或基本相似的时间拍摄特定场景10(图1所示)的图像。标记帧220、320的相应图像数据230、330因此将相互对应。因此，对齐标记帧220、320将导致关于这些帧的同步。如果参考帧序列210和查找帧序列310由公共成像装置20(在图1中示出)捕获，则对应的标记帧220、320将在类似位置处示出类似图像。如果参考帧序列210和查找帧序列310由不同的成像装置20捕获，则帧220、320的图像可以包括对应特征，取决于成像装置20的有利位置，这些特征可能在位置上相互偏移。
在图3的示例中，为了同步参考帧序列210和查找帧序列310，可以改变查找帧序列310中的查找帧320的顺序，直到对应的标记帧220和320在时间上对齐为止。通常，参考帧序列210中的每个参考帧220可以与查找帧序列310中的对应查找帧320对齐。在一些实施例中，查找帧序列310具有与参考帧序列210相同的相对帧顺序，但是偏移一定的帧数。在这种情况下，可以通过使参考帧序列210中的单个参考帧220与查找帧序列310中的单个查找帧320对齐来得到该偏移。基于该偏移，整个参考帧序列210与整个查找帧序列310同步。
现在参考图4，示出了用于同步视频的示例性方法400。在401处，将来自参考帧序列210的图像数据230与来自查找帧序列310的对应图像数据330进行比较。在402处，基于所述比较来使查找帧序列310与参考帧序列210对齐。进一步在图5中示出了用于使参考帧序列210和查找帧序列310对齐的方法400。在图5的顶部示出参考帧序列210具有分别在位置1-5处用字母a-e标记的五个参考帧220。图5的底部示出了具有三种不同顺序的五个查找帧320的查找帧序列310。查找帧序列310初始时分别在位置1-5处具有标记为c-g的查找帧320。
为了使参考帧序列210与查找帧序列310同步，可以将每个查找帧320的图像数据330与参考帧220在对应位置1至5中的每一个位置处的图像数据230进行比较。诸如相关性之类的数值可以用于定量图像数据230和330之间的比较。查找帧序列310与参考帧序列210的对齐然后可以移位(或重新排序)。例如，查找帧序列310中的查找帧320可以移位单个帧位置，以使查找帧320b-f现在分别占据位置1-5。在移位之后，可以再次将查找帧序列310的图像数据330与参考帧序列210的图像数据230进行比较，并相对参考帧序列210的图像数据230对查找帧序列310的图像数据330进行定量。可以根据需要重复进行对查找帧序列310的重新排序。例如，如图5所示，可以通过再次将每个查找帧320移位单个帧位置以使查找帧320a-e现在分别占据位置1-5，来使查找帧序列310与参考帧序列210重新对齐。在该示例中，查找帧320a-e现在与位置1-5处的参考帧220a-e对齐，从而得到最佳对齐。
现在参考图6，示出了基于帧中的点的序列或点序列将参考帧序列210的图像数据230与查找帧序列310的图像数据330进行比较的进一步细节。在图6的左侧，参考帧序列210中的每个参考帧220被示出为包括多个第一参考点240A(被示为星形)和第二参考点240B(被示为三角形)。参考点240A共同形成第一参考点序列250A。类似地，参考点240B共同形成第二参考点序列250B。每个参考点序列250是来自参考帧序列210中的一个或多个参考帧220的匹配参考点240的集合。可以从单个参考帧序列210中导出多个参考点序列250。类似地，如图6的右侧所示，查找帧序列210中的每个查找帧320可以包括分别共同形成查找点序列350A、350B的多个查找点340A、340B。每个查找点序列350是来自查找帧序列310中的一个或多个查找帧320的匹配查找点340的集合。可以从单个查找帧序列310中导出多个查找点序列350。
在一些实施例中，每个参考点序列250可以包括来自参考帧序列210中的每个参考帧220的一个参考点240。换言之，如果参考帧序列210包括一百帧，则从该参考帧序列210中导出的参考点序列250可以具有一百个参考点240，每个参考点240来自每个参考帧220。在一些实施例中，每个参考点序列250可以包括来自参考帧序列210中的参考帧220中的部分但不是全部参考帧的一个参考点240。例如，参考点序列250可以包括来自一百个参考帧220的前五十个参考帧中的每个参考帧的一个参考点240，来自每隔一个参考帧220中的每个参考帧的一个参考点240，或来自某些随机预先选择的参考帧220(例如，帧1、5、9和29)(未在图6中示出)中的每个参考帧的一个参考点240。
类似地，在一些实施例中，每个查找点序列350可以包括来自查找帧序列310中的每个查找帧320的一个查找点350。在一些实施例中，每个查找点序列350可以包括来自查找帧序列310中的查找帧320中的部分但不是全部查找帧的一个查找点340。在一些实施例中，可以基于对应的参考点序列250的帧来选择查找点序列350。例如，如果对应的参考点序列250包括来自参考帧号2、5、10、18和26中的每个参考帧的一个参考点240，则查找点序列350可以包括来自查找帧号2、5、10、18和26(在图6中未示出)中的每个查找帧的一个查找点340。在一些实施例中，可以基于对应参考点序列250的帧的相对帧顺序来选择查找点序列350。再次参考对应参考点序列250包括来自参考帧号2、5、10、18和26中的每个参考帧的一个参考点240的示例，查找点序列350可以包括来自查找帧号3、6、11、19和27中的每个查找帧的一个查找点340或具有其他类似帧偏移的查找帧中的每个查找帧的一个查找点340。在查找帧序列310具有与参考帧序列210不同的帧速率的情况下，可以基于帧速率相对于参考点序列250来选择查找点序列350。
可以适合地选择参考点240和对应的查找点340，以比较参考帧序列210和查找帧序列310。在一些实施例中，每个参考点240和查找点340是单个图像像素。在其他实施例中，每个参考点240和查找点340是包括特征的一个或多个像素的组。
现在参考图7，示出了将参考帧序列210与查找帧序列310进行比较以进行视频同步的示例性方法700。在701处，从参考帧序列210中获取一个或多个参考点序列250。如以上参考图6所描述的，每个参考点序列可以包括来自参考帧序列210中的多个参考帧220中的每个参考帧的参考点240。要从参考帧序列210获取的参考点序列250的数量可以根据情况而变化。例如，获取的参考点序列250的数量可以与参考帧序列210的图像数据230(在图2中示出)的大小或分辨率成比例。使用更多参考点序列250进行比较对于较大和较高分辨率的视频帧可能是有利的；然而，对于较小和较低分辨率的视频帧，使用较少的参考点序列250可以节省计算资源。在一些实施例中，获取的参考点序列250的数量可以与图像数据230的复杂度成比例。也就是说，与高复杂度图像(例如，具有大量的不同动物的动物园的图像)相比，低复杂度图像(例如，诸如太阳之类的具有少量特征的均匀视野的图像)可能需要较少的参考点序列。可以使用对图像数据230的复杂度的适合的定量度量(例如，熵或信息内容)来确定要获取的参考点序列250的数量。
在702处，可以从查找帧序列310中获取与参考点序列250相对应的一个或多个查找点序列350。在一些实施例中，可以针对每个参考点序列250获取一个查找点序列350。在一些实施例中，可以针对少于全部的参考点序列250获取一个查找点序列350。也就是说，针对一个或多个参考点序列250，不会定位对应的查找点序列350。可以可选地从任何后续比较中排除没有任何对应查找点序列350的参考点序列250。
可以以各种方式执行基于参考点序列250获取对应的查找点序列350。在一些实施例中，可以基于参考点序列250中的参考点240(在图6中示出)的坐标来获取对应的查找点序列350。可以基于与参考点240具有相同或相似坐标的查找点340(在图6中示出)来获取对应的查找点序列350。例如，针对其中参考点240位于参考帧220的坐标(75，100)、(85，100)和(95，100)处的参考点序列250，认为位于查找帧320的坐标(75，100)、(85，100)和(95，100)处的查找点序列350为对应的查找点序列350。在一些实施例中，可以基于参考点序列250中的参考点240的图像数据230来获取对应的查找点序列350。可以基于与参考点240具有相同或相似图像数据230的查找点340来获取对应的查找点序列350。例如，可以认为具有红色/绿色/蓝色(RGB)值为(50，225，75)、(78，95，120)、(75，90，150)的参考点240的参考点序列250对应于具有RBG值相同或相似的查找点340的查找点序列350。
在703处，可以将来自参考点序列250的图像数据230与来自对应的查找点序列350的图像数据330进行比较。在一些实施例中，图像数据230和330之间的比较可以基于图像数据230、330中的一个或多个对应像素的强度。在一些实施例中，图像数据230、330将是马赛克图像数据(例如，通过彩色滤波阵列创建的马赛克图像)，其中每个像素具有与红色、绿色或蓝色通道之一相对应的单个强度值。在这样的实施例中，可以比较参考帧序列210的马赛克图像数据230和查找帧序列310的马赛克图像数据330以获取帧顺序以进行视频同步。比较马赛克图像数据的优点在于，初始化时可以针对预同步视频流避免去马赛克操作，并且随后针对同步或合并的视频流执行去马赛克操作，使得效率增加。在一些实施例中，图像数据230、330是非马赛克图像数据(例如，已经经过去马赛克处理的图像数据)，在这种情况下可以将参考帧序列210的非马赛克图像数据230与查找帧序列310的非马赛克图像数据330进行比较。
现在参考图8，示出了具有源自公共成像装置20的第一视频流30A和第二视频流30B的图1的视频同步系统100的示例性实施例。第一视频流30A和第二视频流30B可以描绘场景10。在一些实施例中，可以同时拍摄第一视频流30A和第二视频流30B，尽管格式不同。例如，第一视频流30A可以包括场景10的高分辨率图像，而第二视频流30B可以包括场景10的低分辨率图像。同步第一视频流30A和第二视频流30B的应用的示例包括快速视频编辑，其包括将编辑操作的序列应用于帧序列中的一个或多个帧。可以有利地针对低分辨率视频流确定编辑操作的序列，并且可以随后将该编辑操作的序列应用于同步的高分辨率视频流。由于第一视频流30A和第二视频流30B源自相同的成像装置20并描绘相同的场景10，因此对应的特征出现在第一视频流30A和第二视频流30B中的相同位置处。因此，可以基于参考点240的坐标来确定与特定参考点240(在图6中示出)相对应的查找点340(在图6中示出)。
现在参考图9，示出了用于视频同步的示例性图，其中参考帧序列210与查找帧序列310的比较基于相应的参考像素241和查找像素341。参考帧序列210中的每个参考帧220可以由多个参考像素241组成。每个参考像素241可以显示参考图像230的离散单元。类似地，查找帧序列310中的每个查找帧320可以由多个查找像素341组成。每个查找像素341可以显示查找图像330的离散单元。在一些实施例中，如图9所示，参考点序列250可以包括多个参考像素241。例如，参考点序列250可以包括来自一个或多个参考帧220中的每个参考帧的一个参考像素241。类似地，查找点序列350可以包括多个查找像素241。例如，查找点序列350可以包括来自一个或多个查找帧320中的每个查找帧的一个查找像素341。
如图9所示，可以基于所选参考帧220A中的所选参考像素241A来确定参考点序列250。所选参考像素241A可以是参考点序列250的初始元素。可以将附加参考帧220中与所选参考像素241A相匹配的附加参考像素241添加到参考点序列250。可以根据所选参考像素241的位置来添加附加参考像素。类似地，可以基于所选查找帧320A中的所选查找像素341A来确定查找点序列350。所选查找像素341A可以是基于所选参考像素241A的位置而选择的查找点序列350的初始元素。可以将在附加查找帧320中与所选查找像素341A相匹配的附加查找像素341添加到查找点序列350。可以根据所选查找像素341的位置来添加附加查找像素。总体而言，查找点序列350在查找帧320上的位置可以对应于参考点序列250在参考帧220上的位置。
相应地，现在转向图10，示出了基于比较参考帧序列210的参考像素241与查找帧序列310的查找像素341来进行视频同步的示例性方法1000。在1001处，在参考帧序列210中的所选参考帧220A上选择参考像素241A。可以使用任何适合的方法在所选参考帧220A上选择参考像素241A。所选参考像素241A可以用于形成对应的参考点序列250以进行视频同步。可以根据需要重复对参考像素241A和对应的参考点序列250的选择。
在一些实施例中，可以在每个参考帧220上以网格模式选择参考像素241(和对应的参考点序列250)。例如，参考像素241可以彼此间隔1个像素、2个像素、3个像素、4个像素、5个像素、7个像素、10个像素、20个像素、30个像素、40个像素、50个像素、70个像素、100个像素、200个像素、300个像素、400个像素、500个像素或更多像素。网格模式在参考帧220的水平坐标中的间隔可以与网格模式在参考帧220的垂直坐标中的间隔相同或不同。在其他实施例中，可以以随机模式(例如，使用蒙特卡罗方法)来选择参考像素(和对应的参考点序列250)。如上参考图7中的参考点序列250所述，所选参考像素241(和对应的参考点序列250)的数量可以根据参考帧220的大小和复杂度而变化。例如，所选参考像素241的数量可以是1至5个像素、2至10个像素、5至10个像素、10至50个像素、20至100个像素、50至100个像素、100至500个像素、200至1000个像素、500至1000个像素、1000至5000个像素、2000至10,000个像素、5000至10,000个像素、10,000至50,000个像素、20,000至100,000个像素、50,000至100,000个像素或甚至更多个像素。
在一些实施例中，可以有利地朝向参考帧220的中心选择参考像素241(和对应的参考点序列250)以避免边缘伪影。例如，每个帧可能会进行去扭曲(dewarp)操作，这可能会引起帧边缘的图像伪影。在一些实施例中，可以有利地从参考帧220的中心1％、2％、5％、10％、15％、20％、25％、30％、40％、50％、60％、70％、80％或90％的像素中选择参考像素241(和对应的参考点序列250)。
在1002处，一个或多个匹配参考像素241位于参考帧序列210中的一个或多个其他参考帧220(即，除了所选参考帧220A之外)上。可以基于所选参考像素241A的坐标来定位匹配参考像素241。例如，可以在相应参考帧220中的每个参考帧的相同坐标处选择匹配参考像素241。备选地，可以在相应参考帧220中的每个参考帧的偏移坐标处选择匹配参考像素241。在1003处，可以获取参考点序列250作为所选参考像素241A和匹配参考像素241的序列。最后，在1004处，可以基于对应的参考点序列250的坐标(例如，在相同坐标或偏移坐标处)来获取查找点序列350。
现在转向图11，示出了具有源自不同成像装置20A、20B的第一视频流30A和第二视频流30B的如图1所示的视频同步系统100的示例性实施例。第一视频流30A和第二视频流30B可以从相应的成像装置20A、20B的不同有利位置描绘场景10。在一些实施例中，可以在相同时间或在重叠时间拍摄第一视频流30A和第二视频流30B。第一视频流30A和第二视频流30B被输入到视频同步系统100中，并且随后从视频同步系统100输出一个或多个同步视频流40并引导所述一个或多个同步视频流40以供用户50观看。对不同成像装置20A、20B所拍摄的视频流进行同步的应用的示例包括全景成像、三维成像、立体视觉等。来自不同成像装置的视频流的视频同步构成与来自相同成像装置的视频流的同步不同的挑战，这是因为需要将从不同视角拍摄的图像的特征匹配在一起。
相应地，现在参考图12，示出了对不同成像装置20(在图11中示出)所拍摄的参考帧序列200和查找帧序列300进行同步的示例性图。每个参考帧220可以包括一个或多个参考特征242。参考特征242包括参考图像230的部分，所述部分通常在视觉上可与参考特征242的周围区分开。取决于参考图像的组成，参考特征242可以是参考图像230的单个像素或多个像素。例如，清晰地平线的参考图像230中的参考特征242可以包括太阳或云的图像。一个或多个参考帧220中的对应参考特征242的序列构成参考点序列250。例如，如图12所示，参考特征242包括三个连续参考帧220中的每个参考帧中的太阳的图像。参考帧220的图像230的太阳部分构成参考点序列250。可以通过在所选参考帧220A中选择参考特征242A，然后在其他参考帧220中添加匹配参考特征242来获取参考点序列250。
类似地，图12示出每个查找帧320可以包括一个或多个查找特征342。查找特征342包括查找图像330的部分，所述部分通常在视觉上可与查找特征342的周围区分开。取决于查找图像330的组成，查找特征342可以是查找图像330的单个像素或多个像素。一个或多个查找帧320中的对应查找特征342的序列构成查找点序列350。可以通过在所选查找帧320A中选择查找特征342A，然后在其他查找帧320中添加匹配查找特征342来获取查找点序列350。
可以使用机器视觉和/或人工智能方法等来识别参考特征242和查找特征342。适合的方法包括特征检测、提取和/或匹配技术，例如RANSAC(随机采样一致法)、Shi&Tomasi角点检测、SURF斑点(blob)(加速稳健特征)检测、MSER斑点(最大稳定极值区域)检测、SURF(加速稳健特征)描述符、SIFT(尺度不变特征变换)、FREAK(快速视网膜关键点)描述符、BRISK(二元稳健不变可扩展关键点)描述符、HOG(方向梯度直方图)描述符等。根据需要，过滤的大小和形状可以应用于特征识别。
现在参考图13，示出了用于基于对参考特征242的选择来获取参考点序列250的示例性方法1300。在1301处，在参考帧序列210中的每个参考帧220上选择一个或多个参考特征242。类似于上面参考图7描述的对参考点序列250的选择，所选参考特征242(和对应的参考点序列250)的数量可以根据参考帧220的大小和复杂度而变化。例如，所选参考特征242的数量可以是1、2、5、10、20、50、100、200、500,1000、2000、5000、10,000、20,000、50,000、100,000个或甚至更多个。在1302处，每个参考帧220的参考特征242与其他参考帧220的参考特征242匹配。在一些实施例中，特定参考特征242将在每个参考帧220中具有匹配。在其他实施例中，特定参考特征242将在部分但不是全部参考帧220中的每个参考帧中具有匹配。可以使用例如SIFT(尺度不变特征变换)技术来执行匹配。最后，在1303处，可以基于匹配来获取参考点序列250。
现在参考图14，示出了用于将参考点序列250与对应的查找点序列350匹配以进行视频同步的示例性方法1400。在1401处，在查找帧序列310中的每个查找帧320上选择一个或多个查找特征342。类似于上面参考图7描述的对查找点序列350的选择，所选查找特征342(和对应的查找点序列350)的数量可以根据查找帧320的大小和复杂度而变化。例如，所选查找特征342的数量可以是1、2、5、10、20、50、100、200、500,1000、2000、5000、10,000、20,000、50,000、100,000个或甚至更多个。在1402处，每个查找帧320的一个或多个查找特征342与其他查找帧320的查找特征342匹配以获取一个或多个查找点序列350。在一些实施例中，特定查找特征342将在每个查找帧320中具有匹配。在其他实施例中，特定查找特征342将在部分但不是全部查找帧320中的每个查找帧中具有匹配。可以使用例如SIFT(尺度不变特征变换)技术来执行匹配。在1403处，查找点序列350可以与对应的参考点序列250匹配。匹配可以基于例如查找点序列350和参考点序列250之间的图像数据的相似性。最后，在1404处，基于匹配获取与每个参考点序列250相对应的查找点序列350。
现在参考图15，示出了用于通过迭代地移位查找帧序列310中的查找帧320的对齐来优化查找帧序列310和参考帧序列210之间的相关性以进行视频同步的示例性方法1500。从1501开始，相对于参考帧序列210进行查找帧序列310的初始对齐。可以确定初始对齐中参考帧序列210的图像230与查找帧序列310的图像330之间的初始相关性。在1502处，使用任何适合的技术来移位查找帧序列310。例如，查找帧序列310可以向前或向后移位一定数量的查找帧320。
在1503处，可以确定移位对齐中参考帧序列210的图像230与查找帧序列310的图像之间的相关性。例如，相关性可以是皮尔逊相关系数、协方差或者对两组数值之间的相关性的其它适合度量。在一些实施例中，可以确定参考点序列250的图像数据230与对应的查找点序列的图像数据330之间的相关性。最后，在1504处，确定相关性是否最大化。如果相关性最大化，则该方法结束，这是因为将已找到参考帧序列210和查找帧序列310之间的最佳同步。否则，如果相关性未最大化，则可以在1502处再次移位查找帧序列310，并且可以继续进行用于视频同步的优化过程。根据本文描述的系统和方法，可以使用任何适合的优化过程来进行视频同步。用于优化相关性的合适优化方法包括例如线性优化方法、非线性优化方法、最小二乘方法、梯度下降或上升方法、爬山方法、模拟退火方法、遗传方法等。
特别地，优化过程可以利用以下事实：参考帧序列210与查找帧序列310的图像数据之间的相关分布常常具有单个最大值而不是多个局部最大值。例如，图16示出了参考帧序列210和查找帧序列310之间的实验相关性的示例性曲线图。曲线图的水平轴是参考帧序列210和查找帧序列310之间的相对对齐(以帧数为单位)。曲线图的垂直轴是相关性。如图中所示，相关性具有单个最大峰值。类似地，图17示出了具有不同组数据的参考帧序列210和查找帧序列310之间的实验相关性的另一示例性曲线图。在图17的曲线图中，相关性类似地具有单个最大峰值。因此，在一些实施例中，相关性优化(或最大化)过程可以首先采取大的步长(就帧数而言)，随后随着接近或经过最大相关性而采取小步长。该优化过程可以有利地减少用于视频同步的步骤的数量(换言之，减少比较的帧序列的数量)。
根据本系统和方法的视频同步可以应用于由移动平台拍摄的视频流。在一些实施例中，移动平台是无人机(UAV)60。例如，图18示出了安装在UAV 60上的成像装置20。通俗地称为“无人机”，UAV 60是没有机载驾驶员的飞行器，其飞行通过自主控制或由远程驾驶员控制(或有时两者都有)。目前发现UAV60在涉及各种空中操作(例如，数据收集或传递)的民用应用中的使用量增加。可以从UAV 60向视频同步系统100传送一个或多个视频流30(例如，第一视频流30A和/或第二视频流30B)。本视频同步系统和方法适用于多种类型的UAV60，包括但不限于四轴飞行器(也称为四旋翼直升机或四旋翼)、单旋翼、双旋翼、三旋翼、六旋翼和八旋翼旋翼机UAV、固定翼UAV、以及混合旋翼机固定翼UAV。用于本视频同步系统和方法的其他适合的移动平台包括但不限于自行车、汽车、卡车、轮船、船只、火车、直升机、飞机、其各种混合等。
现在参考图19，示出包括用于执行本文所公开的任何方法的一个或多个模块的示例性处理系统1900。示出处理系统1900包括获取模块1901、比较模块1902和对齐模块1903。在一些实施例中，获取模块1901可以被配置为从参考帧序列210(在图3中示出)中获取图像数据230(在图3中示出)以及查找帧序列310(在图3中示出)的对应的图像数据330(在图3中示出)，比较模块1902可以被配置为将来自参考帧序列210的图像数据230与查找帧序列310的对应的图像数据330进行比较，并且对齐模块1903可以被配置用于基于比较的图像数据230、330将查找帧序列310与参考帧序列210对齐。在一些实施例中，比较模块1901可以被配置为将第一视频流30A的参考帧序列210的图像数据230与来自第二视频流30B的查找帧序列310的对应的图像数据330进行比较。在一些实施例中，比较模块1901可以被配置为从参考帧序列210中获取一个或多个参考点序列250(在图6中示出)，从与参考点序列250相对应的查找帧序列310中获取一个或多个查找点序列350(在图6中示出)，并在参考点序列250和对应的查找点序列350之间比较图像数据。
在一些实施例中，可以从公共成像装置20(在图1中示出)接收第一视频流30A和第二视频流30B。比较模块1901可以被配置为通过在参考帧序列210中的所选帧220上选择参考像素241(在图9中示出)来获取每个参考点序列250，在参考帧序列210中的一个或多个其他帧220上定位一个或多个匹配参考像素341，并获取参考点序列210作为所选参考像素241和匹配参考像素241的序列。比较模块1901可以被配置为基于所选参考像素241的坐标在参考帧序列210中的帧220上定位匹配参考像素241。可以以任何期望的模式(例如，网格模式和/或随机模式)来选择参考点序列250。可以在参考帧序列中的相应帧220的中心选择参考点240。可以基于对应的参考点序列250的坐标来获取每个对应的查找点序列350。
在一些实施例中，可以从不同的成像装置20接收第一视频流30A和第二视频流30B。比较模块1901可以被配置为：通过在参考帧序列210中的每个帧220上选择多个参考特征242(在图12中示出)来获取参考点序列250，对参考帧序列210中的每个帧210的参考特征242和参考序列210中的其他帧210的参考特征242进行匹配，并基于该匹配来获取参考点序列250。比较模块1901还可以被配置为：通过在查找帧序列310中的每个帧320上选择多个查找特征342来获取查找点序列350，将所选查找特征342与查找帧序列310中的其他帧320的所选的特征342进行匹配以获取查找点序列350，将查找点序列350与参考点序列250进行匹配，并基于该匹配来获取对应的查找点序列350。可以例如使用尺度不变特征变换(SIFT)技术在参考帧序列210和/或查找帧序列310中的每个帧220、320上选择多个特征242、342。
在一些实施例中，比较模块1901可以被配置为确定参考点序列210的图像数据230与查找点序列310的图像数据330之间的相关性。比较模块1901可以被配置为比较参考帧序列210和查找帧序列310的马赛克和/或非马赛克图像数据230、330。
在一些实施例中，比较模块1901可以被配置为确定参考点序列350的图像数据230与查找点序列350的图像数据330之间的相关性。在一些实施例中，对齐模块1902可以被配置为确定使相关性最大化的查找帧序列310与参考帧序列310的对齐。对齐模块1902可以被配置为通过任何期望的优化技术(例如，梯度上升)使相关性最大化。
在一些实施例中，获取模块1903可以被配置为从诸如无人机(UAV)之类的移动平台60(在图18中示出)获取第一视频流和第二视频流。
所公开的实施例存在各种修改和备选形式，并且其具体示例已经通过示例在附图中示出并且在本文进行了详细描述。然而，应该理解的是，所公开的实施例不限于所公开的特定形式或方法，相反，所公开的实施例将覆盖所有的修改、等同物和备选方案。

Claims (118)

1.一种视频同步方法，包括：
将来自参考帧序列的图像数据与查找帧序列的对应图像数据进行比较；以及
基于所述比较将查找帧序列与参考帧序列对齐。
2.根据权利要求1所述的方法，其中所述比较包括：在第一视频流的参考帧序列与第二视频流的查找帧序列之间比较对应图像数据。
3.根据权利要求1或权利要求2所述的方法，其中所述比较包括：
从所述参考帧序列中获取一个或多个参考点序列；
从所述查找帧序列中获取与所述参考点序列相对应的一个或多个查找点序列；以及
在所述参考点序列和对应查找点序列之间比较图像数据。
4.根据权利要求2或权利要求3所述的方法，还包括：从公共成像装置接收所述第一视频流和所述第二视频流。
5.根据权利要求4所述的方法，其中所述获取所述参考点序列中的每个参考点序列包括：
在所述参考帧序列的所选帧上选择参考像素；
在所述参考帧序列的一个或多个其他帧上定位一个或多个匹配参考像素；以及
获取所述参考点序列作为所选参考像素和匹配参考像素的序列。
6.根据权利要求5所述的方法，其中所述定位所述匹配参考像素包括：基于所选参考像素的坐标，在所述参考帧序列的帧上定位所述匹配参考像素。
7.根据权利要求5或权利要求6所述的方法，还包括：以网格模式选择所述参考点序列。
8.根据权利要求5或权利要求6所述的方法，还包括：以随机模式选择所述参考点序列。
9.根据权利要求5至8中任一项所述的方法，还包括：在所述参考帧序列的各个帧的中心选择参考点。
10.根据权利要求4至9中任一项所述的方法，其中所述获取对应查找点序列中的每个对应查找点序列包括：基于对应参考点序列的坐标来获取所述查找点序列。
11.根据权利要求2或权利要求3所述的方法，还包括：从不同的成像装置接收所述第一视频流和所述第二视频流。
12.根据权利要求11所述的方法，其中所述获取所述参考点序列包括：
在所述参考帧序列的每个帧上选择多个参考特征；
将所述参考帧序列的每个帧的参考特征与所述参考序列的其他帧的参考特征进行匹配；以及
基于所述匹配来获取所述参考点序列。
13.根据权利要求12所述的方法，其中所述在所述参考帧序列的每个帧上选择多个特征包括：使用尺度不变特征变换SIFT技术来选择所述参考特征。
14.根据权利要求11至13中任一项所述的方法，其中获取对应查找点序列包括：
在所述查找帧序列的每个帧上选择多个查找特征；
将所述查找帧序列的每个帧的所选查找特征与所述查找序列的其他帧的所选特征进行匹配以获取所述查找点序列；
将所述查找点序列与所述参考点序列进行匹配；以及
基于所述将所述查找点序列与所述参考点序列进行匹配来获取对应查找点序列。
15.根据权利要求13或权利要求14所述的方法，其中所述在所述查找帧序列的每个帧上选择多个特征包括：使用SIFT技术来选择所述特征。
16.根据上述权利要求中任一项所述的方法，其中所述比较包括：确定所述参考点序列的图像数据与所述查找点序列的图像数据之间的相关性。
17.根据权利要求16所述的方法，其中所述对齐包括：确定使所述相关性最大化的所述查找帧序列与所述参考帧序列的对齐。
18.根据权利要求17所述的方法，其中所述对齐包括：通过梯度上升使所述相关性最大化。
19.根据上述权利要求中任一项所述的方法，其中所述比较包括：比较所述参考帧序列和所述查找帧序列的马赛克图像数据。
20.根据上述权利要求中任一项所述的方法，其中所述比较包括：比较所述参考帧序列和所述查找帧序列的非马赛克图像数据。
21.根据上述权利要求中任一项所述的方法，其中所述参考帧序列和所述查找帧序列具有基本相同的帧速率。
22.根据权利要求21所述的方法，其中所述参考帧序列和所述查找帧序列具有相同的帧速率。
23.根据上述权利要求中任一项所述的方法，还包括：从移动平台获取所述第一视频流和所述第二视频流。
24.根据权利要求23所述的方法，其中所述移动平台是无人机UAV。
25.一种视频同步系统，包括：
一个或多个传感器，被配置为接收第一视频流和第二视频流；以及
处理器，被配置为：
从所述第一视频流获取参考帧序列，并从所述第二视频流获取查找帧序列；
将来自所述参考帧序列的图像数据与所述查找帧序列的对应图像数据进行比较；以及
基于比较的图像数据将所述查找帧序列与所述参考帧序列对齐。
26.根据权利要求25所述的视频同步系统，其中所述处理器被配置为：
从所述参考帧序列中获取一个或多个参考点序列；
从所述查找帧序列中获取与所述参考点序列相对应的一个或多个查找点序列；以及
在所述参考点序列和对应查找点序列之间比较图像数据。
27.根据权利要求25或权利要求26所述的视频同步系统，其中所述视频同步系统被配置为：从公共成像装置接收所述第一视频流和所述第二视频流。
28.根据权利要求27所述的视频同步系统，其中所述处理器被配置为通过以下操作获取所述参考点序列中的每个参考点序列：
在所述参考帧序列的所选帧上选择参考像素；
在所述参考帧序列的一个或多个其他帧上定位一个或多个匹配参考像素；以及
获取所述参考点序列作为所选参考像素和匹配参考像素的序列。
29.根据权利要求28所述的视频同步系统，其中所述定位所述匹配参考像素包括：基于所选参考像素的坐标，在所述参考帧序列的帧上定位所述匹配参考像素。
30.根据权利要求28或权利要求29所述的视频同步系统，其中所述处理器被配置为：以网格模式选择所述参考点序列。
31.根据权利要求28或权利要求29所述的视频同步系统，其中所述处理器被配置为：以随机模式选择所述参考点序列。
32.根据权利要求28至31中任一项所述的视频同步系统，其中所述处理器被配置为：在所述参考帧序列的各个帧的中心选择参考点。
33.根据权利要求28至32中任一项所述的视频同步系统，其中所述处理器被配置为：基于对应参考点序列的坐标来获取对应查找点序列中的每个对应查找点序列。
34.根据权利要求26所述的视频同步系统，其中所述视频同步系统被配置为：从不同的成像装置接收所述第一视频流和所述第二视频流。
35.根据权利要求34所述的视频同步系统，其中所述处理器被配置为通过以下操作获取所述参考点序列：
在所述参考帧序列中的每个帧上选择多个参考特征；
将所述参考帧序列的每个帧的参考特征与所述参考序列的其他帧的参考特征进行匹配；以及
基于所述匹配来获取所述参考点序列。
36.根据权利要求35所述的视频同步系统，其中所述处理器被配置为：使用尺度不变特征变换SIFT技术，在所述参考帧序列的每个帧上选择多个特征。
37.根据权利要求34至36中任一项所述的视频同步系统，所述处理器被配置为通过以下操作获取对应查找点序列：
在所述查找帧序列的每个帧上选择多个查找特征；
将所述查找帧序列的每个帧的所选查找特征与所述查找序列的其他帧的所选特征进行匹配以获取所述查找点序列；
将所述查找点序列与所述参考点序列进行匹配；以及
基于所述将所述查找点序列与所述参考点序列进行匹配来获取对应查找点序列。
38.根据权利要求36或37所述的视频同步系统，其中所述处理器被配置为：使用SIFT技术，在所述查找帧序列的每个帧上选择所述多个特征。
39.根据权利要求26至38中任一项所述的视频同步系统，其中所述处理器被配置为：确定所述参考点序列的图像数据与所述查找点序列的图像数据之间的相关性。
40.根据权利要求39所述的视频同步系统，其中所述处理器被配置为：确定使所述相关性最大化的所述查找帧序列与所述参考帧序列的对齐。
41.根据权利要求40所述的视频同步系统，其中所述处理器被配置为：通过梯度上升使所述相关性最大化。
42.根据权利要求25至41中任一项所述的视频同步系统，其中所述处理器被配置为：比较所述参考帧序列和所述查找帧序列的马赛克图像数据。
43.根据权利要求25至42中任一项所述的视频同步系统，其中所述处理器被配置为：比较所述参考帧序列和所述查找帧序列的非马赛克图像数据。
44.根据权利要求25至43中任一项所述的视频同步系统，其中所述参考帧序列和所述查找帧序列具有基本相同的帧速率。
45.根据权利要求44所述的视频同步系统，其中所述参考帧序列和所述查找帧序列具有相同的帧速率。
46.根据权利要求25至45中任一项所述的视频同步系统，其中所述视频同步系统被配置为：从移动平台获取所述第一视频流和所述第二视频流。
47.根据权利要求46所述的视频同步系统，其中所述移动平台是无人机UAV。
48.一种设备，包括处理器，所述处理器被配置为：
从第一视频流中获取参考帧序列，并从第二视频流中获取查找帧序列；
将来自所述参考帧序列的图像数据与所述查找帧序列的对应图像数据进行比较；以及
基于比较的图像数据将所述查找帧序列与所述参考帧序列对齐。
49.根据权利要求48所述的设备，其中所述处理器被配置为：
从所述参考帧序列中获取一个或多个参考点序列；
从所述查找帧序列中获取与所述参考点序列相对应的一个或多个查找点序列；以及
在所述参考点序列和对应查找点序列之间比较图像数据。
50.根据权利要求48或权利要求49所述的设备，其中所述设备被配置为：从公共成像装置接收所述第一视频流和所述第二视频流。
51.根据权利要求50所述的设备，其中所述处理器被配置为通过以下操作获取所述参考点序列中的每个参考点序列：
在所述参考帧序列的所选帧上选择参考像素；
在所述参考帧序列的一个或多个其他帧上定位一个或多个匹配参考像素；以及
获取所述参考点序列作为所选参考像素和匹配参考像素的序列。
52.根据权利要求51所述的设备，其中所述定位所述匹配参考像素包括：基于所选参考像素的坐标，在所述参考帧序列中的帧上定位所述匹配参考像素。
53.根据权利要求51或权利要求52所述的设备，其中所述处理器被配置为：以网格模式选择所述参考点序列。
54.根据权利要求51或权利要求52所述的设备，其中所述处理器被配置为：以随机模式选择所述参考点序列。
55.根据权利要求51至54中任一项所述的设备，其中所述处理器被配置为：在所述参考帧序列的各个帧的中心选择参考点。
56.根据权利要求51至55中任一项所述的设备，其中所述处理器被配置为：基于对应参考点序列的坐标来获取对应查找点序列中的每个对应查找点序列。
57.根据权利要求48或权利要求49所述的设备，其中所述设备被配置为：从不同的成像装置接收所述第一视频流和所述第二视频流。
58.根据权利要求57所述的设备，其中所述处理器被配置为通过以下操作获取所述参考点序列：
在所述参考帧序列的每个帧上选择多个参考特征；
将所述参考帧序列的每个帧的参考特征与所述参考序列的其他帧的参考特征进行匹配；以及
基于所述匹配来获取所述参考点序列。
59.根据权利要求58所述的设备，其中所述处理器被配置为：使用尺度不变特征变换SIFT技术，在所述参考帧序列的每个帧上选择所述多个特征。
60.根据权利要求57至59中任一项所述的设备，所述处理器被配置为通过以下操作获取对应查找点序列：
在所述查找帧序列的每个帧上选择多个查找特征；
将所述查找帧序列的每个帧的所选查找特征与所述查找序列的其他帧的所选特征进行匹配以获取所述查找点序列；
将所述查找点序列与所述参考点序列进行匹配；以及
基于所述将所述查找点序列与所述参考点序列进行匹配来获取所述对应查找点序列。
61.根据权利要求59或60所述的设备，其中所述处理器被配置为：使用所述SIFT技术，在所述查找帧序列的每个帧上选择所述多个特征。
62.根据权利要求48至61中任一项所述的设备，其中所述处理器被配置为：确定所述参考点序列的图像数据与所述查找点序列的图像数据之间的相关性。
63.根据权利要求62所述的设备，其中所述处理器被配置为：确定使所述相关性最大化的所述查找帧序列与所述参考帧序列的对齐。
64.根据权利要求63所述的设备，其中所述处理器被配置为：通过梯度上升使所述相关性最大化。
65.根据权利要求48至64中任一项所述的设备，其中所述处理器被配置为：比较所述参考帧序列和所述查找帧序列的马赛克图像数据。
66.根据权利要求48至64中任一项所述的设备，其中所述处理器被配置为：比较所述参考帧序列和所述查找帧序列的非马赛克图像数据。
67.根据权利要求48至66中任一项所述的设备，其中所述参考帧序列和所述查找帧序列具有基本相同的帧速率。
68.根据权利要求67所述的设备，其中所述参考帧序列和所述查找帧序列具有相同的帧速率。
69.根据权利要求48至68中任一项所述的设备，其中所述设备被配置为：从移动平台获取所述第一视频流和所述第二视频流。
70.根据权利要求69所述的设备，其中所述移动平台是无人机UAV。
71.一种计算机可读存储介质，包括：
用于将来自参考帧序列的图像数据与查找帧序列的对应图像数据进行比较的指令；以及
用于基于所述比较将查找帧序列与参考帧序列对齐的指令。
72.根据权利要求71所述的计算机可读存储介质，其中用于比较的所述指令包括：用于在第一视频流的参考帧序列与第二视频流的查找帧序列之间比较对应图像数据的指令。
73.根据权利要求71或权利要求72所述的计算机可读存储介质，其中用于比较的所述指令包括：
用于从所述参考帧序列中获取一个或多个参考点序列的指令；
用于从所述查找帧序列中获取与所述参考点序列相对应的一个或多个查找点序列的指令；以及
用于在所述参考点序列和对应查找点序列之间比较图像数据的指令。
74.根据权利要求72或权利要求73所述的计算机可读存储介质，还包括：用于从公共成像装置接收所述第一视频流和所述第二视频流的指令。
75.根据权利要求74所述的计算机可读存储介质，其中用于获取所述参考点序列中的每个参考点序列的所述指令包括：
用于在所述参考帧序列的所选帧上选择参考像素的指令；
用于在所述参考帧序列的一个或多个其他帧上定位一个或多个匹配参考像素的指令；以及
用于获取所述参考点序列作为所选参考像素和匹配参考像素的序列的指令。
76.根据权利要求75所述的计算机可读存储介质，其中用于定位所述匹配参考像素的所述指令包括：用于基于所选参考像素的坐标在所述参考帧序列中的帧上定位所述匹配参考像素的指令。
77.根据权利要求75或权利要求76所述的计算机可读存储介质，还包括：用于以网格模式选择所述参考点序列的指令。
78.根据权利要求75或权利要求76所述的计算机可读存储介质，还包括：用于以随机模式选择所述参考点序列的指令。
79.根据权利要求75至78中任一项所述的计算机可读存储介质，还包括：用于在所述参考帧序列中的各个帧的中心选择参考点的指令。
80.根据权利要求74至79中任一项所述的计算机可读存储介质，其中用于获取对应查找点序列中的每个对应查找点序列的所述指令包括：用于基于对应参考点序列的坐标来获取所述查找点序列的指令。
81.根据权利要求72或权利要求73所述的计算机可读存储介质，还包括：用于从不同的成像装置接收所述第一视频流和所述第二视频流的指令。
82.根据权利要求81所述的计算机可读存储介质，其中用于获取所述参考点序列的所述指令包括：
用于在所述参考帧序列中的每个帧上选择多个参考特征的指令；
用于将所述参考帧序列中的每个帧的参考特征与所述参考序列的其他帧的参考特征进行匹配的指令；以及
用于基于所述匹配来获取所述参考点序列的指令。
83.根据权利要求82所述的计算机可读存储介质，其中用于在所述参考帧序列中的每个帧上选择所述多个特征的所述指令包括：用于使用尺度不变特征变换SIFT技术来选择所述参考特征的指令。
84.根据权利要求81至83中任一项所述的计算机可读存储介质，其中用于获取对应查找点序列的指令包括：
用于在所述查找帧序列中的每个帧上选择多个查找特征的指令；
用于将所述查找帧序列的每个帧的所选查找特征与所述查找序列的其他帧的所选特征进行匹配以获取所述查找点序列的指令；
用于将所述查找点序列与所述参考点序列进行匹配的指令；以及
用于基于所述将所述查找点序列与所述参考点序列进行匹配来获取对应查找点序列的指令。
85.根据权利要求83或权利要求84所述的计算机可读存储介质，其中用于在所述查找帧序列的每个帧上选择所述多个特征的所述指令包括：用于使用所述SIFT技术来选择所述特征的指令。
86.根据权利要求71至85中任一项所述的计算机可读存储介质，其中用于比较的所述指令包括：用于确定所述参考点序列的图像数据与所述查找点序列的图像数据之间的相关性的指令。
87.根据权利要求86所述的计算机可读存储介质，其中用于对齐的所述指令包括：用于确定使所述相关性最大化的所述查找帧序列与所述参考帧序列的对齐的指令。
88.根据权利要求87所述的计算机可读存储介质，其中用于对齐的所述指令包括：用于通过梯度上升使所述相关性最大化的指令。
89.根据权利要求71至88中任一项所述的计算机可读存储介质，其中用于比较的所述指令包括：用于比较所述参考帧序列和所述查找帧序列的马赛克图像数据的指令。
90.根据权利要求71至89中任一项所述的计算机可读存储介质，其中用于比较的所述指令包括：用于比较所述参考帧序列和所述查找帧序列的非马赛克图像数据的指令。
91.根据权利要求71至90中任一项所述的计算机可读存储介质，其中所述参考帧序列和所述查找帧序列具有基本相同的帧速率。
92.根据权利要求91所述的计算机可读存储介质，其中所述参考帧序列和所述查找帧序列具有相同的帧速率。
93.根据权利要求71至92中任一项所述的计算机可读存储介质，还包括：用于从移动平台获取所述第一视频流和所述第二视频流的指令。
94.根据权利要求93所述的计算机可读存储介质，其中所述移动平台是无人机UAV。
95.一种处理系统，包括：
获取模块，被配置为从参考帧序列获取图像数据并获取查找帧序列的对应图像数据；
比较模块，用于将来自参考帧序列的图像数据与查找帧序列的对应图像数据进行比较；以及
对齐模块，用于基于比较的图像数据将查找帧序列与参考帧序列对齐。
96.根据权利要求95所述的处理系统，其中所述比较模块被配置为：将第一视频流的参考帧序列的图像数据与来自第二视频流的查找帧序列的对应图像数据进行比较。
97.根据权利要求95或权利要求96所述的处理系统，其中所述比较模块被配置为：
从所述参考帧序列中获取一个或多个参考点序列；
从所述查找帧序列中获取与所述参考点序列相对应的一个或多个查找点序列；以及
在所述参考点序列和对应查找点序列之间比较图像数据。
98.根据权利要求96或权利要求97所述的处理系统，其中从公共成像装置接收所述第一视频流和所述第二视频流。
99.根据权利要求98所述的处理系统，其中所述比较模块被配置为通过以下操作获取所述参考点序列中的每个参考点序列：
在所述参考帧序列的所选帧上选择参考像素；
在所述参考帧序列的一个或多个其他帧上定位一个或多个匹配参考像素；以及
获取所述参考点序列作为所选参考像素和匹配参考像素的序列。
100.根据权利要求99所述的处理系统，其中所述比较模块被配置为：基于所选参考像素的坐标，在所述参考帧序列中的帧上定位所述匹配参考像素。
101.根据权利要求99或权利要求100所述的处理系统，其中所述比较模块被配置为：以网格模式选择所述参考点序列。
102.根据权利要求99或权利要求100所述的处理系统，其中所述比较模块被配置为：以随机模式选择所述参考点序列。
103.根据权利要求99至102中任一项所述的处理系统，其中所述比较模块被配置为：在所述参考帧序列中的各个帧的中心选择参考点。
104.根据权利要求98至103中任一项所述的处理系统，其中所述比较模块被配置为：基于对应参考点序列的坐标来获取对应查找点序列中的每个对应查找点序列。
105.根据权利要求96或权利要求97所述的处理系统，其中从不同的成像装置接收所述第一视频流和所述第二视频流。
106.根据权利要求105所述的处理系统，其中所述比较模块被配置为通过以下操作获取所述参考点序列：
在所述参考帧序列的每个帧上选择多个参考特征；
将所述参考帧序列的每个帧的参考特征与所述参考序列的其他帧的参考特征进行匹配；以及
基于所述匹配来获取所述参考点序列。
107.根据权利要求106所述的处理系统，其中所述比较模块被配置为：使用尺度不变特征变换SIFT技术，在所述参考帧序列中的每个帧上选择多个特征。
108.根据权利要求105至107中任一项所述的处理系统，其中所述比较模块被配置为通过以下操作获取对应查找点序列：
在所述查找帧序列的每个帧上选择多个查找特征；
将所述查找帧序列的每个帧的所选查找特征与所述查找序列的其他帧的所选特征进行匹配以获取所述查找点序列；
将所述查找点序列与所述参考点序列进行匹配；以及
基于所述将所述查找点序列与所述参考点序列进行匹配来获取对应查找点序列。
109.根据权利要求107或108所述的处理系统，其中所述比较模块被配置为：使用所述SIFT技术，在所述查找帧序列的每个帧上选择所述多个特征。
110.根据权利要求95至109中任一项所述的处理系统，其中所述比较模块被配置为：确定所述参考点序列的图像数据与所述查找点序列的图像数据之间的相关性。
111.根据权利要求110所述的处理系统，其中所述对齐模块被配置为：确定使所述相关性最大化的所述查找帧序列与所述参考帧序列的对齐。
112.根据权利要求111所述的处理系统，其中所述对齐模块被配置为：通过梯度上升使所述相关性最大化。
113.根据权利要求95至112中任一项所述的处理系统，其中所述比较模块被配置为：比较所述参考帧序列和所述查找帧序列的马赛克图像数据。
114.根据权利要求95至113中任一项所述的处理系统，其中所述比较模块被配置为：比较所述参考帧序列和所述查找帧序列的非马赛克图像数据。
115.根据权利要求95至114中任一项所述的处理系统，其中所述参考帧序列和所述查找帧序列具有基本相同的帧速率。
116.根据权利要求115所述的处理系统，其中所述参考帧序列和所述查找帧序列具有相同的帧速率。
117.根据权利要求95至116中任一项所述的处理系统，其中所述获取模块被配置为：从移动平台获取所述第一视频流和所述第二视频流。
118.根据权利要求117所述的处理系统，其中所述移动平台是无人机UAV。
CN201580085035.2A 2015-12-03 2015-12-03 用于视频处理的系统和方法 Expired - Fee Related CN108370454B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/096325 WO2017092007A1 (en) 2015-12-03 2015-12-03 System and method for video processing

Publications (2)

Publication Number Publication Date
CN108370454A true CN108370454A (zh) 2018-08-03
CN108370454B CN108370454B (zh) 2020-11-03

Family

ID=58796029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580085035.2A Expired - Fee Related CN108370454B (zh) 2015-12-03 2015-12-03 用于视频处理的系统和方法

Country Status (3)

Country Link
US (1) US20180278976A1 (zh)
CN (1) CN108370454B (zh)
WO (1) WO2017092007A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493336A (zh) * 2018-11-14 2019-03-19 上海艾策通讯科技股份有限公司 基于人工智能的视频马赛克识别自动学习的系统及方法
CN110430382A (zh) * 2019-08-23 2019-11-08 中国航空无线电电子研究所 具有标清视频深度检测功能的视频记录设备
CN112291593A (zh) * 2020-12-24 2021-01-29 湖北芯擎科技有限公司 数据同步方法和数据同步装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109076200B (zh) * 2016-01-12 2021-04-23 上海科技大学 全景立体视频系统的校准方法和装置
US10873775B2 (en) 2017-06-12 2020-12-22 Netflix, Inc. Staggered key frame video encoding
US10970029B2 (en) 2018-10-15 2021-04-06 Symphony Communication Services Holdings Llc Dynamic user interface and module facilitating content sharing in a distributed computing environment

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030179740A1 (en) * 2000-10-23 2003-09-25 Jamal Baina Method for synchronizing digital signals
US20060244831A1 (en) * 2005-04-28 2006-11-02 Kraft Clifford H System and method for supplying and receiving a custom image
GB0908153D0 (en) * 2009-05-12 2009-06-24 Nokia Corp An apparatus
CN101646022A (zh) * 2009-09-04 2010-02-10 深圳华为通信技术有限公司 一种图像拼接的方法、系统
CN102025959A (zh) * 2009-09-22 2011-04-20 三星电子株式会社 从低清晰度视频产生高清晰度视频的系统与方法
CN102426705A (zh) * 2011-09-30 2012-04-25 北京航空航天大学 一种视频场景行为拼接方法
US20130300933A1 (en) * 2012-05-10 2013-11-14 Motorola Mobility, Inc. Method of visually synchronizing differing camera feeds with common subject
EP2713609A1 (en) * 2012-09-28 2014-04-02 Stockholms Universitet Holding AB Dynamic delay handling in mobile live video production systems
CN103731664A (zh) * 2013-12-25 2014-04-16 华为技术有限公司 全参考视频质量评估方法、装置及视频质量测试仪
CN104063867A (zh) * 2014-06-27 2014-09-24 浙江宇视科技有限公司 一种多摄像机视频同步方法和装置
CN104166580A (zh) * 2014-08-18 2014-11-26 西北工业大学 基于参考帧变换及拼接尺寸自适应的同步在线拼接方法
CN104978750A (zh) * 2014-04-04 2015-10-14 诺基亚公司 用于处理视频文件的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130089301A1 (en) * 2011-10-06 2013-04-11 Chi-cheng Ju Method and apparatus for processing video frames image with image registration information involved therein

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030179740A1 (en) * 2000-10-23 2003-09-25 Jamal Baina Method for synchronizing digital signals
US20060244831A1 (en) * 2005-04-28 2006-11-02 Kraft Clifford H System and method for supplying and receiving a custom image
GB0908153D0 (en) * 2009-05-12 2009-06-24 Nokia Corp An apparatus
CN101646022A (zh) * 2009-09-04 2010-02-10 深圳华为通信技术有限公司 一种图像拼接的方法、系统
CN102025959A (zh) * 2009-09-22 2011-04-20 三星电子株式会社 从低清晰度视频产生高清晰度视频的系统与方法
CN102426705A (zh) * 2011-09-30 2012-04-25 北京航空航天大学 一种视频场景行为拼接方法
US20130300933A1 (en) * 2012-05-10 2013-11-14 Motorola Mobility, Inc. Method of visually synchronizing differing camera feeds with common subject
EP2713609A1 (en) * 2012-09-28 2014-04-02 Stockholms Universitet Holding AB Dynamic delay handling in mobile live video production systems
CN103731664A (zh) * 2013-12-25 2014-04-16 华为技术有限公司 全参考视频质量评估方法、装置及视频质量测试仪
CN104978750A (zh) * 2014-04-04 2015-10-14 诺基亚公司 用于处理视频文件的方法和装置
CN104063867A (zh) * 2014-06-27 2014-09-24 浙江宇视科技有限公司 一种多摄像机视频同步方法和装置
CN104166580A (zh) * 2014-08-18 2014-11-26 西北工业大学 基于参考帧变换及拼接尺寸自适应的同步在线拼接方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493336A (zh) * 2018-11-14 2019-03-19 上海艾策通讯科技股份有限公司 基于人工智能的视频马赛克识别自动学习的系统及方法
CN109493336B (zh) * 2018-11-14 2022-03-04 上海艾策通讯科技股份有限公司 基于人工智能的视频马赛克识别自动学习的系统及方法
CN110430382A (zh) * 2019-08-23 2019-11-08 中国航空无线电电子研究所 具有标清视频深度检测功能的视频记录设备
CN110430382B (zh) * 2019-08-23 2021-10-26 中国航空无线电电子研究所 具有标清视频深度检测功能的视频记录设备
CN112291593A (zh) * 2020-12-24 2021-01-29 湖北芯擎科技有限公司 数据同步方法和数据同步装置

Also Published As

Publication number Publication date
WO2017092007A1 (en) 2017-06-08
US20180278976A1 (en) 2018-09-27
CN108370454B (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN108370454A (zh) 用于视频处理的系统和方法
CN101689292B (zh) Banana多媒体数字信号编解码器
KR102458339B1 (ko) 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
CN109978931B (zh) 三维场景重建方法及设备、存储介质
CN105654471B (zh) 应用于互联网视频直播的增强现实ar系统及方法
EP3553465B1 (en) Information processing device and information processing method
US20160180593A1 (en) Wearable device-based augmented reality method and system
CN105551050B (zh) 一种基于光场的图像深度估计方法
US8180170B2 (en) Apparatus and method of recognizing image feature pixel point
US20070159640A1 (en) Shared color sensors for high-resolution 3-D camera
CN104835118A (zh) 通过两路鱼眼摄像头采集全景图像的方法
CN103081484A (zh) 3-d摄像机
CN106488215A (zh) 图像处理方法和设备
US20210314543A1 (en) Imaging system and method
US10091490B2 (en) Scan recommendations
JP6799017B2 (ja) 端末装置、システム、プログラム及び方法
KR20150058871A (ko) 촬상 장치 및 촬상 이미지 스티칭 방법
WO2022047701A1 (zh) 图像处理方法和装置
CN112348958A (zh) 关键帧图像的采集方法、装置、系统和三维重建方法
KR20190133867A (ko) 증강현실 서비스 제공 시스템 및 이의 360도 회전 이미지 파일 생성 방법
CN109302600B (zh) 一种立体场景拍摄装置
US11019323B2 (en) Apparatus and method for 3D like camera system in a handheld mobile wireless device
JP5986422B2 (ja) オブジェクト抽出方法、オブジェクト抽出装置、及びオブジェクト抽出プログラム
CN103632131B (zh) 用于提取对象的设备和方法
CN104811622A (zh) 图像色彩移植方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201103

CF01 Termination of patent right due to non-payment of annual fee