CN107465940B - 视频对准方法、电子设备及存储介质 - Google Patents

视频对准方法、电子设备及存储介质 Download PDF

Info

Publication number
CN107465940B
CN107465940B CN201710763693.3A CN201710763693A CN107465940B CN 107465940 B CN107465940 B CN 107465940B CN 201710763693 A CN201710763693 A CN 201710763693A CN 107465940 B CN107465940 B CN 107465940B
Authority
CN
China
Prior art keywords
vision signal
image
time
video
association
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710763693.3A
Other languages
English (en)
Other versions
CN107465940A (zh
Inventor
谢志钢
胡小鹏
陈卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Kodak Technology Co Ltd
Original Assignee
Suzhou Kodak Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Kodak Technology Co Ltd filed Critical Suzhou Kodak Technology Co Ltd
Priority to CN201710763693.3A priority Critical patent/CN107465940B/zh
Publication of CN107465940A publication Critical patent/CN107465940A/zh
Application granted granted Critical
Publication of CN107465940B publication Critical patent/CN107465940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种视频对准方法、电子设备及存储介质，包括：用于将第一视频信号向第二视频信号对准，所述第二视频信号具有时间标记的时间标记视频信号，所述时间标记为由时间关联信息编码而成的几何标记，所述第一视频信号由所述第二视频信号变换获得，所述视频对准方法包括：按所述时间关联信息进行所述第一视频信号向所述第二视频信号的时间对准操作；按所述几何标记的几何信息进行所述第一视频信号向所述第二视频信号的空间对准操作，使得具有相同的时间关联信息的第一视频信号的图像及所述第二视频信号的图像逐点对准。本发明提供的视频对准方法、电子设备及存储介质能够实现时间和空间上的视频图像映射和对准，以便于后续视频图像处理。

Description

视频对准方法、电子设备及存储介质
技术领域
本发明涉及视频质量评价，尤其涉及一种视频对准方法、电子设备及存储介质。
背景技术
视频信号是由规定了播放时间顺序的持续表达的图像串构成的，通常以数据流的形式在设备间或网络上传输。有一些视频流格式(例如H.264)在编码数据流中记录了每幅图像的播放时间信息，也有一些视频流格式(例如YUV)则没有。一般情况下当获取视频信号中每幅图像准确的时间信息时需依赖于记录了时间信息的视频流格式。即便如此，若在视频信号的传输过程中发生(或不确定是否发生)对视频信号的再次编解码或帧率调节等处理，则将难以准确跟踪视频中每幅图像对应具体的原始时间信息。
目前已经出现了一些方法来尝试将经过处理的视频信号和与其相应的未经处理的原始视频信号在时域上对准，进而从原始视频信号对应的每帧的时间信息中知悉处理后视频信号中每帧的对应时间信息。不足的是业界大多是采用通过视频配准算法的方法来实现时域的对准的，具体地，即从图像中按某种独特的算法提取特征数据，针对参考图像和待测图像分别在一个小范围内对特征数据的差异进行最小化计算来实现配准，从而实现视频图像的对准。然而这样的对准算法计算量较大，且难以精确地实现视频图像的完全对准。
发明内容
本发明为了克服上述现有技术存在的缺陷，提供一种视频对准方法、电子设备及存储介质，其能够实现时间和空间上的视频图像映射和对准，以便于后续视频图像处理。
根据本发明的一个方面，提供一种视频对准方法，用于将第一视频信号向第二视频信号对准，所述第二视频信号具有时间标记的时间标记视频信号，所述时间标记为由时间关联信息编码而成的几何标记，所述第一视频信号由所述第二视频信号变换获得，所述视频对准方法包括：按所述时间关联信息进行所述第一视频信号向所述第二视频信号的时间对准操作；按所述几何标记的几何信息进行所述第一视频信号向所述第二视频信号的空间对准操作，使得具有相同的时间关联信息的第一视频信号的图像及所述第二视频信号的图像逐点对准。
可选地，所述按所述时间关联信息进行所述第一视频信号向所述第二视频信号的时间对准操作的步骤之前还包括：依据所述第一视频信号中识读出的所述时间关联信息生成所述第一视频信号的有效输出帧序列，对应地，所述时间对准操作和所述空间对准操作依据所述第一视频信号的所述有效输出帧序列进行。
可选地，所述生成所述第一视频信号的有效输出帧序列的步骤还包括：从所述第一视频信号中，删除无所述时间关联信息的帧图像；在具有相继重复的时间关联信息的Z个帧图像中，删除Z-1个帧图像，Z为大于1的整数。
可选地，所述生成所述第一视频信号的有效输出帧序列的步骤还包括：获取生成过程中进行的重复帧插入操作、非重复帧插入操作的帧间编辑操作数据。
可选地，所述生成所述第一视频信号的有效输出帧序列的步骤还包括：获取生成过程中进行的删除帧操作的操作数据。
可选地，所述第一视频信号的所述有效输出帧序列对应的时间关联信息的序列为所述第二视频信号的时间关联信息的序列的子序列。
可选地，所述第一视频信号的有效输出帧序列的帧率不大于所述第二视频信号的帧率。
可选地，所述按所述时间关联信息进行所述第一视频信号向所述第二视频信号的时间对准操作的步骤包括：将所述第一视频信号的帧序列或者帧的子序列中，根据每帧图像的识读出的所述时间关联信息，向所述第二视频信号的时间关联信息序列对准；经时间对准后，将所述第一视频信号中的每帧图像均映射到所述第二视频信号中相同时间关联信息的图像上。
可选地，所述按所述时间关联信息进行所述第一视频信号向所述第二视频信号的时间对准操作的步骤包括：a.从所述第一视频信号的帧序列或帧的子序列中依时间顺序取一幅图像，从第二视频信号中依时间顺序取一幅图像；b.判断所取的第一视频信号的图像的时间关联信息与所取的第二视频信号的图像的时间关联信息的关系；c.若所取的第一视频信号的图像的时间关联信息等于所取的第二视频信号的图像的时间关联信息，则所取的第一视频信号的图像和所取的第二视频信号的图像配对成一时间对准组，并从所述第一视频信号的帧序列或帧的子序列中依时间顺序取下一幅图像，并继续执行步骤b；d.若所取的第一视频信号的图像的时间关联信息晚于所取的第二视频信号的图像的时间关联信息，那么从所述第二视频信号中依时间顺序取下一幅图像，并继续执行步骤b；e.若所取的第一视频信号的图像的时间关联信息早于所取的第二视频信号的图像的时间关联信息，那么从所述第一视频信号的帧序列或帧的子序列中依时间顺序取下一幅图像，并继续执行步骤b；f.若所述第一视频信号的帧序列或帧的子序列的图像选取结束，或者所述第二视频信号的图像选取结束，则对准结束。
可选地，若在步骤d中被判断为时间关联信息早于所取的第一视频信号的图像的时间关联信的第二视频信号的图像，未在步骤c的所述时间对准组成功配对过，则记录发生了一次所述第二视频信号的帧删除操作；或者若在步骤d中被判断为时间关联信息早于所取的第一视频信号的图像的时间关联信的第二视频信号的图像，步骤c的所述时间对准组未成功配对过，则使用占位图像或者空白图像作为第一视频信号的图像与所取的第二视频信号的图像配对成一个缺位的时间对准组。
可选地，所述按所述几何标记的几何信息进行所述第一视频信号向所述第二视频信号的空间对准操作的步骤包括：获取所述第一视频信号的几何标记和所述第二视频信号的几何标记之间的几何形状的空间仿射矩阵；依据所述空间仿射矩阵，将所述第一视频信号向所述第二视频信号空间对准。
可选地，所述按所述几何标记的几何信息进行所述第一视频信号向所述第二视频信号的空间对准操作的步骤包括：
a’.从所述第二视频信号的图像的时间标记的几何标记信息中导出k个特征标记点，k为大于等于3的整数，所述第二视频信号的图像的宽为W，高为H，W和H为大于0的常数，所述k个特征标记点中第n+1个特征点的坐标为(xn，yn)，n为大于等于0且小于k的整数；
b’.从所述第一视频信号的图像的时间标记的几何信息中导出步骤a’中的所述k个特征标记点的对应标记点，所述第一视频信号的图像的宽为M，高为N，M和N为大于0的常数，所述k个对应标记点中第n+1个特征点的坐标为(in，jn)，n为大于等于0且小于k的整数；
c’.根据所述第二视频信号的k个特征标记点获得第二空间标记点矩阵A，根据所述第一视频信号k个对应标记点获得第一空间标记点矩阵B，
d’.通过求解矩阵方程AX＝B的最优拟合解来求得从所述第二视频信号变换到所述第一视频信号的空间仿射矩阵F：
e’.依据所述第二视频信号变换到所述第一视频信号的空间仿射矩阵F求得从所述第一视频信号变换到所述第二视频信号的空间逆仿射矩阵G：
G＝F-1
f’.验证所述空间仿射矩阵F中f01，f10，f20，f21约等于0，f22约等于1；
g’.根据所述空间仿射矩阵F获取所述平移量及缩放因子，所述平移量为(f02,f12)，所述缩放因子为(f00,f11)；
h’.按如下公式计算一矩阵R，并从所述矩阵R中获取所述空间仿射矩阵F的裁剪或补缀区域：
i’.验证所述矩阵R中r02,，r12，r22，r32约等于0，依据所述矩阵R获取四个坐标点(r00，r01)，(r10，r11)，(r20，r21)，(r30，r31)，所获取的四个坐标点表示了裁剪或补缀发生在从左上角开始按顺时钟旋转的图像四个角点处的矩形区域；
j’.根据所述空间逆仿射矩阵G把所述第一视频信号中的每幅图像向所述第二视频信号做平移和缩放，并对所述第一视频信号中的每幅图像进行逆向裁剪或补缀，以使所述第一视频信号和第二视频信号同宽高。
可选地，所述步骤d’包括：使用奇异值分解法来求所述矩阵方程的最小二乘解，对所述第二空间标记点矩阵A进行奇异值分解SVD，得到所述第二空间标记点矩阵A的左奇异特征矩阵U、右奇异特征矩阵V及奇异对角阵D：
(U，D，V)＝SVD(A)
依下式求得所述矩阵方程的最小二乘解以作为从所述第二视频信号变换到所述第一视频信号的空间仿射矩阵F：
可选地，所述步骤d’包括：
使用QR分解法来求所述矩阵方程的最小二乘解：
所述QR分解法包括：把矩阵A分解成一个正交矩阵和一个上三角矩阵的积的形式，矩阵A表达为一个正交阵Q1和一个3行×3列的上三角阵S的乘积形式：
A＝Q1S
所述矩阵方程的最小二乘解根据如下公式求解：
可选地，所述时间标记视频信号的每一帧图像中均具有时间标记。
可选地，所述几何标记为由一组几何参数描述的几何图像。
可选地，所述时间关联信息包括所述源视频信号中每幅图像的帧编号、时间戳、随时间而变的相关信息中的一项或多项。
根据本发明的又一方面，还提供一种电子设备，所述电子设备包括：处理器；存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。
根据本发明的又一方面，还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的步骤。
本发明提供的视频对准方法、电子设备及存储介质通过以几何形式呈现的时间标记来对第一视频信号和第二视频信号进行时间和空间上的对准，由此，实现精确地时间映射及视频图像之间的逐点对准，进而便于后续视频图像处理。
附图说明
通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。
图1示出了根据本发明实施例的视频对准方法的流程图。
图2示出了根据本发明实施例的对准视频信号的数据结构。
图3示出了本发明第一实施例的矩形二维码时间标记几何形状示意图。
图4示出了本发明第二实施例的四周条码窄带时间标记几何形状示意图。
图5示出了本发明第二实施例的四周条码窄带时间标记效果示意图。
图6示意性示出本公开示例性实施例中一种计算机可读存储介质示意图。
图7示意性示出本公开示例性实施例中一种电子设备示意图。
具体实施方式
现在将第二附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
为了克服上述现有技术存在的缺陷，本发明提供一种视频对准方法、电子设备及存储介质。首先参见图1，图1示出了根据本发明实施例的视频对准方法的流程图。视频对准方法用于将第一视频信号向第二视频信号对准。第二视频信号具有时间标记的时间标记视频信号。时间标记为由时间关联信息编码而成的几何标记。换言之，识读几何标记可以获知几何标记中所蕴含的时间关联信息。该几何标记可以为由一组几何参数描述的几何图像。例如，几何标记可以是二维码、条形码等可被扫描读取数据的标记。蕴含在几何标记中的时间关联信息可以包括源视频信号中每幅图像的帧编号、时间戳、随时间而变的相关信息。第一视频信号由所述第二视频信号变换获得。例如，第二视频经由视频会议系统、数字电视、视频编码系统、视频直播系统等视频系统变换获得第一视频信号。
图1示出了2个步骤：
步骤S101：按时间关联信息进行第一视频信号向第二视频信号的时间对准操作。
具体而言，步骤S101从第一视频信号中识读时间标记，获得所述时间关联信息和几何标记信息。几何标记信息可以包括几何标记的形状、大小、于图像中的坐标等描述几何标记的参数。
进一步地，步骤S101中，首先，依据第一视频信号中识读出的时间关联信息生成第一视频信号的有效输出帧序列。
有效输出帧序列按如下方式计算和生成：从第一视频信号中，删除无时间关联信息的帧图像；并且在第一视频信号的具有相继重复的时间关联信息的Z个帧图像中，删除Z-1个帧图像，Z为大于1的整数。可选地，仅保留该Z个帧图像中的第一个帧图像，并删除后续帧图像。通过这样的方式，得到有时间关联信息但无相继重复的帧图像的序列。没有识读出时间关联信息的帧图像在本发明的方法中无法实现时间对准，被认为是无意义的帧图像。拥有相继重复的时间关联信息的一组帧图像，在本发明的方法中被认为是源自所述步骤101的所述源视频信号的同一帧图像的相继重复，其中的第一帧图像即可代表后续相继重复的帧图像。第二视频信号规定了所有的事件(帧图像的内容/空间信息)和任何事件发生的时间(帧的序次/时间信息)。第一视频信号是把第二视频信号送给视频系统，经视频系统处理后得到的新的信号。高质量的视频处理系统在进行视频处理的过程中，应该尽量忠于输入的视频信号尽可能多地保留输入信号中的事件和事件发生的时间。质量下降的现象表现在对事件进行了篡改(编辑)和对事件发生的时间进行了篡改(编辑)。
第一视频信号中出现了时间关联信息重复的帧，说明视频系统在加工第二视频信号并输出第一视频信号的过程中在时间上进行了复制编辑，重复部分是新插入的帧，与第二视频信号不符，应予以删除。第一视频信号中出现了没有时间关联信息的帧，在排除时间关联信息识读失败的情况下，这些没有时间关联信息的帧是视频系统从第二视频信号之外杜撰出来的新帧，与第二视频信号不符，应予以删除。这样操作以实现精准的“时间对准”、“空间对准”。
在生成第一视频信号的有效输出帧序列的过程中，获取并记录重复帧插入操作、非重复帧插入操作的帧间编辑操作数据。具体而言，重复帧插入操作是视频系统在处理第二视频信号的过程中，对第二视频信号的时间序列进行篡改(编辑)的一种操作，即把第二视频信号的某个时间对应的帧进行复制而生造出多份新的时间来。一般在进行帧率调节时可能存在这种操作，当编码器能力不够时，也有类似操作。非重复帧插入操作是视频系统在处理第二视频信号的过程中，在某个时间点从第二视频信号之外杜撰出新的帧安插进来的一种篡改(编辑)操作。例如在处理过程中的某段时间发生了信号丢失或者信号传输不稳定，视频系统为了维持输出的第一视频信号的友好性，可能会刻意插入一些具有提示信息的画面等。又或者视频系统没有刻意插入特殊画面，而是使用了错误的输入信号进行强制处理，得到画面被破坏的帧等。这些都无法与第二视频信号的某个时间的帧对应起来。
在生成第一视频信号的有效输出帧序列的过程中，还可以获取并记录删除帧操作的操作数据。
进一步地，所生成第一视频信号的有效输出帧序列的时间关联信息的序列可以是第二视频信号的时间关联信息的序列的子序列。第一视频信号的有效输出帧序列的帧率也可以不大于第二视频信号的帧率。
生成第一视频信号的有效输出帧序列后，可以依据该有效输出帧序列进行第一视频信号向第二视频信号的时间对准操作及空间对准操作。
在一个具体实施例中，上述的第一视频信号向第二视频信号的时间对准操作的步骤可包括：将所述第一视频信号的帧序列或者帧的子序列中，根据每帧图像的识读出的所述时间关联信息，向所述第二视频信号的时间关联信息序列对准；经时间对准后，将所述第一视频信号中的每帧图像均映射到所述第二视频信号中相同时间关联信息的图像上以生成时间对准组。
进一步地，时间对准操作在一具体实施例中，可按如下方式进行：
a.从所述第一视频信号的帧序列或帧的子序列中依时间顺序取一幅图像，从第二视频信号中依时间顺序取一幅图像；
b.判断所取的第一视频信号的图像的时间关联信息与所取的第二视频信号的图像的时间关联信息的关系；
c.若所取的第一视频信号的图像的时间关联信息等于所取的第二视频信号的图像的时间关联信息，则所取的第一视频信号的图像和所取的第二视频信号的图像配对成一时间对准组，并从所述第一视频信号的帧序列或帧的子序列中依时间顺序取下一幅图像，并继续执行步骤b；
d.若所取的第一视频信号的图像的时间关联信息晚于所取的第二视频信号的图像的时间关联信息，那么从所述第二视频信号中依时间顺序取下一幅图像，并继续执行步骤b；
e.若所取的第一视频信号的图像的时间关联信息早于所取的第二视频信号的图像的时间关联信息，那么从所述第一视频信号的帧序列或帧的子序列中依时间顺序取下一幅图像，并继续执行步骤b；
f.若所述第一视频信号的帧序列或帧的子序列的图像选取结束，或者所述第二视频信号的图像选取结束，则结束对准。
进一步地，在一些实施例中，若在步骤d中被判断为时间关联信息早于所取的第一视频信号的图像的时间关联信的第二视频信号的图像，未在步骤c的所述时间对准组成功配对过，则记录发生了一次所述第二视频信号的帧删除操作。在另一些实施例中，若在步骤d中被判断为时间关联信息早于所取的第一视频信号的图像的时间关联信的第二视频信号的图像，步骤c的所述时间对准组未成功配对过，则使用占位图像或者空白图像作为第一视频信号的图像与所取的第二视频信号的图像配对成一个缺位的时间对准组。
具体而言，例如，在一实施例中，首先取第一视频信号的帧序列及第二视频信号的帧序列的第一帧图像，判断所取的两个图像的时间关联信息的关系：判断结果为两个图像的时间关联信息相等，将所取的第一视频信号的图像和所取的第二视频信号的图像配对成一时间对准组，并取第一视频信号的帧序列的第二帧图像，继续判断该图像的时间关联信息与第二视频信号的帧序列的第一帧图像的时间关联信息的关系。此次判断结果该图像的时间关联信息晚于第二视频信号的帧序列的第一帧图像的时间关联信息，取第二视频信号的帧序列的第二帧图像，继续判断该图像的时间关联信息与第一视频信号的帧序列的第二帧图像的时间关联信息的关系。此次判断结果为第一视频信号的帧序列的第二帧图像的时间关联信息早于第二视频信号的帧序列的第二帧图像的时间关联信号，取第一视频信号的帧序列的第三帧图像，继续判断该图像的时间关联信息与第二视频信号的帧序列的第二帧图像的时间关联信息的关系。
以此类推，重复上述各个步骤直到第一视频信号的帧序列的图像被选完或者第二视频信号的图像被选完。
进一步地，下面以一符号化的具体实现描述上述步骤。在实现中，用R表示实数集。用N表示自然数集。用Φ表示空集。用ф表示空元素。我们不妨在实数域上来定义时间：
设两个时间t1∈R，t2∈R，
1.如果t1<t2，我们称时间t1比时间t2早；
2.如果t1＝t2，我们称时间t1和时间t2相同；
3.如果t1>t2，我们称时间t1比时间t2晚；
4.规定时间t≤0没有意义。
定义:对于任意一个帧图像的集合X，它的一个帧序列是一个从数集{n|n∈N}到集合X的函数：(xn)＝xn∈X，n∈N。xn是帧序列(xn)的项。
定义:对于任意一个帧序列(xn)，删除掉其中的任意若干项得到的新序列(x’m)被称为原帧序列(xn)的子序列。
定义:视频信号是定义了严格增长的实数值的时间函数的视频帧序列(xn)，设有严格增长的实数值的时间函数t＝t(x),x∈X,t∈R，对于任意的i∈N,j∈N，且xi、xj都是(xn)的项：如果i<j，则t(xi)<t(xj)；如果i＝j，则t(xi)＝t(xj)；如果i>j，则t(xi)>t(xj)。
定义:视频帧x的时间标记的时间关联信息是定义在{x|x∈X}上的实数值函数:t＝tagtime(x),x∈X,t∈R。在本具体实现中，用t＝0来表示时间关联信息没有实际意义。时间标记具有抵抗视频处理的能力，即至少存在一种视频处理函数P(x)，使得如下关系成立:
1.tagtime(P(x))＝tagtime(x),x∈X；
2.
第二视频信号(bn)是在第二帧bn上按帧序列的时间函数t(bn)调节了时间关联信息tagtime(bn)的视频帧序列：t(bn)～tagtime(bn)。
第一视频信号(am)是通过视频系统对第二视频信号(bn)进行处理后得到的视频信号。需要注意的是第一视频信号帧集合A和第二视频信号帧集合B是两个完全不同的集合，它们之间部分地通过视频系统的信号处理函数关联了起来。设视频系统的信号处理函数为P(b)，则有a＝P(b),a∈A,但是有可能b∈B，也有可能如果b∈B，则时间关联信息必定保持不变:tagtime(P(b))＝tagtime(b)；如果则必定没有有意义的时间关联信息:tagtime(P(b))＝0。
定义:第一视频信号(am)的有效输出信号(a’k)是第一视频信号(am)的一种帧子序列，并且具有如下属性:
1.tagtime(a’)≠0；
2.如果i<j,则tagtime(a’i)<tagtime(a’j)；
3.如果i＝j,则tagtime(a’i)＝tagtime(a’j)；
4.如果i>j,则tagtime(a’i)>tagtime(a’j)；
5.如果则tagtime(a)＝0或者tagtime(a)<min(tagtime(a’))或者tagtime(a)>max(tagtime(a’))。
现在再来说明上述时间对准操作的算法。已知第二视频信号的一个帧序列或帧子序列(bn)和一个第一视频信号的一个帧序列或帧子序列(am)，它们的帧集合分别为B＝{bn}和A＝{am}：
a.从所述第一视频信号的帧序列或帧子序列(am)中依时间顺序取一幅图像ai,i≥1，从所述第二视频信号的帧序列或帧子序列(bn)中依时间顺序取一幅图像bj,j≥1；
b.判断所取的第一视频信号的图像的时间关联信息tagtime(ai)与所取的第二视频信号的图像的时间关联信息tagtime(bj)的关系；
c.若所取的第一视频信号的图像的时间关联信息tagtime(ai)等于所取的第二视频信号的图像的时间关联信息tagtime(bj)，则所取的第一视频信号的图像ai和所取的第二视频信号的图像bj配对成一时间对准组(bj,ai)，并从所述第一视频信号的帧序列或帧的子序列中依时间顺序取下一幅图像，并继续执行步骤b，即if tagtime(ai)＝tagtime(bj)thenoutput(bj,ai),ai<-ai+1,i<-i+1，继续执行步骤b；
d.若所取的第一视频信号的图像的时间关联信息tagtime(ai)晚于所取的第二视频信号的图像的时间关联信息tagtime(bj)，那么从所述第二视频信号中依时间顺序取下一幅图像，并继续执行步骤b，即if tagtime(ai)>tagtime(bj)then bj<-bj+1,j<-j+1,继续执行步骤b；
e.若所取的第一视频信号的图像的时间关联信息tagtime(ai)早于所取的第二视频信号的图像的时间关联信息tagtime(bj)，那么从所述第一视频信号的帧序列或帧的子序列中依时间顺序取下一幅图像，并继续执行步骤b，即iftagtime(ai)<tagtime(bj)thenai<-ai+1,i<-i+1,继续执行步骤b；
f.若所述第一视频信号的帧序列或帧的子序列的图像未选取结束，并且所述第二视频信号的图像未选取结束，则继续执行步骤b，否则停止，即if ai+1＝ф或者bj+1＝ф则停止。
进一步地，在一些实施例中，若在步骤d中被判断为时间关联信息早于所取的第一视频信号的图像的时间关联信的第二视频信号的图像，未在步骤c的所述时间对准组成功配对过，则记录发生了一次所述第二视频信号的帧删除操作，即if tagtime(ai)>tagtime(bj)then output(bj,ф),bj<-bj+1,j<-j+1,goto b。在另一些实施例中，若在步骤d中被判断为时间关联信息早于所取的第一视频信号的图像的时间关联信的第二视频信号的图像，步骤c的所述时间对准组未成功配对过，则使用占位图像或者空白图像作为第一视频信号的图像与所取的第二视频信号的图像配对成一个缺位的时间对准组，即iftagtime(ai)<tagtime(bj)then output(ф,ai),ai<-ai+1,i<-i+1,goto b。
以上算法中凡输出的时间对准组(bj,ai)，只要bj≠ф并且ai≠ф，那么就进行了一次时间对准操作，即步骤c的操作。所有步骤c操作输出的时间对准组中的ai组成的新的帧序列(a’k)就是第一视频信号的有效输出帧序列，即(a’k)_{a’∈(bj,ai),ai∈A,bi∈B,bj≠ф,ai≠ф,tagtime(ai)＝tagtime(bj)}是第一视频信号(bn)的有效输出帧序列。
通过以上的方式生成多个时间对准组以完成第一视频信号向第二视频信号的时间对准。对准后可生成视频图像对准序列，如图2所示，视频图像对准序列200包括多个图像对准组(时间对准组)201。每个图像对准组201包括一个第二视频信号的第二对准图像202及至少一个视频系统输出的第一视频信号的对准图像203(及对准图像204)。每个对准图像(以第二对准图像202为例)包括位图图像205、时间关联信息206及时间标记几何信息(几何标记信息)207。
时间对准后，执行步骤S102，按所述几何标记的几何信息进行所述第一视频信号向所述第二视频信号的空间对准操作。
首先，获取所述第一视频信号的几何标记和所述第二视频信号的几何标记之间的几何形状的空间仿射矩阵。然后，依据空间仿射矩阵将所述第一视频信号向所述第二视频信号在空间对准。
具体而言，上述空间对准操作的步骤可通过如下方式实现：
a’.从所述第二视频信号的图像的时间标记的几何标记信息中导出k个特征标记点，k为大于等于3的整数，所述第二视频信号的图像的宽为W，高为H，W和H为大于0的常数，所述k个特征标记点中第n+1个特征点的坐标为(xn，yn)，n为大于等于0且小于k的整数。该步骤中，导出的特征标记点越多、越分散，越好。优选的，可导出四个矩形角点。
b’.从所述第一视频信号的图像的时间标记的几何信息中导出步骤a’中的所述k个特征标记点的对应标记点，所述第一视频信号的图像的宽为M，高为N，M和N为大于0的常数，所述k个对应标记点中第n+1个特征点的坐标为(in，jn)，n为大于等于0且小于k的整数。
为方便表述见如下表格:
宽 高 标记点0 标记点1 标记点2 ... 标记点k
第二 W H (x<sub>0</sub>,y<sub>0</sub>) (x<sub>1</sub>,y<sub>1</sub>) (x<sub>2</sub>,y<sub>2</sub>) ... (x<sub>k</sub>,yk)
第一 M N (i<sub>0</sub>,j<sub>0</sub>) (i<sub>1</sub>,j<sub>1</sub>) (i<sub>2</sub>,j<sub>2</sub>) ... (i<sub>k</sub>,jk)
c’.根据所述第二视频信号的k个特征标记点获得第二空间标记点矩阵A，根据所述第一视频信号k个对应标记点获得第一空间标记点矩阵B，
d’.通过求解矩阵方程AX＝B的最优拟合解来求得从所述第二视频信号变换到所述第一视频信号的空间仿射矩阵F：
在一个具体实施例中，可使用奇异值分解法来求所述矩阵方程的最小二乘解，对所述第二空间标记点矩阵A进行奇异值分解SVD，得到所述第二空间标记点矩阵A的左奇异特征矩阵U、右奇异特征矩阵V及奇异对角阵D：
(U，D，V)＝SVD(A)
依下式求得从所述第二视频信号变换到所述第一视频信号的空间仿射矩阵F：
在另一个具体实施例中，可使用QR分解法来求所述矩阵方程的最小二乘解：
所述QR分解法包括：把矩阵A分解成一个正交矩阵和一个上三角矩阵的积的形式，矩阵A表达为一个正交阵Q1和一个3行×3列的上三角阵S的乘积形式：
A＝Q1S
所述矩阵方程的最小二乘解根据如下公式求解：
上述两种实施方法中第二种算法比第一种算法计算更快，而第一种算法比第二种算法收敛性更好。
e’.依据所述第二视频信号变换到所述第一视频信号的空间仿射矩阵F求得从所述第一视频信号变换到所述第二视频信号的空间逆仿射矩阵G：
G＝F-1
f’.验证所述空间仿射矩阵F中f01，f10，f20，f21约等于0，f22约等于1。
若该步骤验证失败，则表示第一视频信号不是经过第二视频信号的空间简单的平移、缩放而得到的，需要报告可能发生了设备异常，也有可能是特殊的视频应用导致的这种异常的仿射矩阵。
g’.根据所述空间仿射矩阵F获取所述平移量及缩放因子，所述平移量为(f02,f12)，所述缩放因子为(f00,f11)；
h’.按如下公式计算一矩阵R，并从所述矩阵R中获取所述空间仿射矩阵F的裁剪或补缀区域：
i’.验证所述矩阵R中r02,，r12，r22，r32约等于0，依据所述矩阵R获取四个坐标点位(r00，r01)，(r10，r11)，(r20，r21)，(r30，r31)描述了裁剪或补缀发生在从左上角开始按顺时钟旋转的图像四个角点处的矩形区域。
具体而言，r01、r11如果为负数则说明是在第二视频图像的顶边做了相应数量对应高度的裁剪，如果为正数则说明是在第二视频图像的顶边做了相应数量对应高度的补缀。例如如果(r00,r01)＝(0,-10)，(r10,r11)＝(0,-10)，表示在生成第一视频图像过程中首先对第二视频图像的顶边附近区域{(0,0),(W,0),(W,10),(0,10)}进行了裁剪。如果(r00,r01)＝(0,10)，(r10,r11)＝(0,10)，表示生成第一视频图像过程中首先对第二视频图像的顶边附近区域补充了一块不属于原来第二视频图像的新图像区域{(0,0),(W,0),(W,10),(0,10)}。
r10、r20如果为正数则说明是在第二视频图像的右边做了相应数量对应宽度的裁剪，如果为负数则说明是在第二视频图像的右边做了相应数量对应宽度的补缀。
r21、r31如果为正数则说明是在第二视频图像的底边做了相应数量对应高度的裁剪，如果为负数则说明是在第二视频图像的底边做了相应数量对应高度的补缀。
r00、r30如果为负数则说明是在第二视频图像的左边做了相应数量对应宽度的裁剪，如果为正数则说明是在第二视频图像的左边做了相应数量对应宽度的补缀。
j’.根据所述空间逆仿射矩阵G把所述第一视频信号中的每幅图像向所述第二视频信号做平移和缩放，并对所述第一视频信号中的每幅图像进行逆向裁剪或补缀，以使所述第一视频信号和第二视频信号同宽高。换言之，若第二视频信号在视频系统中经过了裁剪形成了第一视频信号则以时间对准后的第二视频信号中的被裁区域补齐，若第二视频信号在视频系统中经过了补缀形成了第一视频信号则把多余的补缀裁剪掉，最终得到和第二视频信号同宽高的视频信号。
通过如上步骤使得第一视频信号与第二视频信号进行空间对准操作。具体而言，空间对准的目的是从几何的角度把第一视频图像还原成与第二视频图像一致的图像。如果在视频系统把第二视频图像变换成第一视频图像的过程中发生了裁剪，仅从第一视频图像上是无法获得被裁剪掉的部分的，所以只好从第二视频图像上补出来。如果视频系统把第二视频图像变换成第一视频图像的过程中发生了补缀，则只需要把多余的补缀直接了当地裁掉就行了。视频系统在把第二视频图像变换成第一视频图像的过程中，常常会伴随着图像的裁剪、补缀、拉伸、缩小、错切等几何变换，同时还会损失图像的画质、引入噪声等。空间对准只能从几何变换的角度来完成图像的还原，而不用对图像的画质、噪声等进行还原。对图像的画质的损失的量化和引入噪声的量化正好就是图像质量评价需要给出的答案。
当第一视频信号与第二视频信号经由时间对准操作和空间对准操作后，还依据第二视频信号同步输出第一视频信号。具体而言，在输出第二视频信号的帧序列的同时，对于第二视频信号中的每一帧图像的时间标记的时间关联信息：若第一视频信号的有效输出帧序列中存在相同的时间关联信息，则同步输出经由时间对准操作和空间对准操作的所述第一视频信号的帧图像；若第一视频信号的有效输出帧序列中不存在相同的时间关联信息，则输出图像占位符或者空白图像。
第一实施例
下面结合图3描述本发明的第一实施例。
在第一实施例的视频对准方法中，几何标记为一二维码。第二视频信号在一源视频信号中的每幅YUV420P图像指定一个自然数(帧编号)作为时间关联信息，选用矩形二维码时间标记方式把时间关联信息做成时间标记叠加到输入信号的YUV420P图像的Y分量(YUV颜色编码方法中的Y分量)中，做成经过矩形二维码时间标记过的第二视频信号。本实施例中生成的时间标记视频信号为YUV420P图像序列，宽为1920、高为1080、帧率为30fps。
在第一实施例的视频对准方法中，第二视频信号是经过矩形二维码时间标记过的视频信号，其时间标记的几何形状如图3所示，标号604为YUV420P图像的Y分量，标号601为图像的坐标原点，标号602为时间标记的偏移角点，标号603为1个点的边框宽度，标号605为21点的QR-1Level-Q二维码，控制参数s用来控制1个点表示的像素个数。
在第一实施例的视频对准方法中，按图3所示将QR二维码图像编码增加1个点的边框后使用预设的控制参数(默认为3)进行放大，按固定角点偏移量P(20，20)平移后，做成二值化的时间标记，然后直接叠加到图像的Y分量中，保持图像的UV分量数据不变，做成第二视频信号。同时，QR二维码的四个角点作为时间标记几何信息。
在第一实施例的视频对准方法中，第二视频信号中，每个YUV图像中的Y分量上都在固定位置叠加了一个边长为s×(21+2)的正方形区域，其中含有一个编码了以帧编号充当时间关联信息的QR-1二维码。
在第一实施例的视频对准方法中，第二视频信号转换为第一视频信号。提取出第一视频信号中的时间标记的几何信息，本实施例即Y分量中的QR二维码的四个角点的坐标位置，同时识读出时间关联信息，本实施例即从QR二维码中识读出充当时间关联信息的帧编号。
一般情况下，在一个第一视频信号中时间标记的几何信息变化很小，不用每次都在整帧图像的范围内搜索时间标记的位置。在本发明的第一实施例的视频对准方法中，在提取时间标记的几何信息时，会参考上一次时间标记的几何信息以加快提取速度。
在本发明的第一实施例的视频对准方法中，若识读时间标记连续失败累计达5次以上时，将增加时间标记几何形状面积，把控制时间标记几何形状面积的控制参数s加1，直接导致生成的时间标记信号中的矩形二维码图像区域面积变大，其中的二维码抵抗图像模糊和噪音的能力更强。当矩形二维码图像区域面积超过视频图像面积的5％时，增加s不再能调节使二维码图像变得更大。
在本发明的第一实施例的视频对准方法中，按上述步骤S101及S102把第二视频信号、第一视频信号进行时间对准、空间对准，并组成视频图像对准组序列，输出对准信号。对准信号可以包括：视频图像对准组序列、视频帧间编辑操作信息。
第二实施例
下面结合图4和图5描述本发明的第二实施例。在本发明的第二实施例的视频对准方法中，采用了不同的时间标记几何形状及内部编码图像的构成方式。
在本发明的第二实施例的视频对准方法中，所采用的时间标记的几何形状和结构如图4所示的，分布在图像四周的带状边框区域内，分别被四个定位块704、708、710、706、四个编码图像区域702、709、707、705覆盖，而内部矩形区域703则是透明部分。
在本发明的第二实施例的视频对准方法中，时间标记中的条码编码图像701示意了放置在四个编码图像区域中的图像内容，是按条码code-128对时间关联信息进行编码得到的二值图像，经对称变换后分别放置到四边的四个编码图像区域。
在本发明的第二实施例的视频对准方法中，时间标记中的四个定位块是实心黑正方形，其边长由时间标记的几何形状控制参数s来调节控制。s越大，时间标记的四周覆盖原图像区域面积越大，抵抗图像模糊和噪音的能力越强。
在本发明的第二实施例的视频对准方法中，时间标记的几何形状信息由整体矩形的四个角点组成包括：定位块704的左上角、定位块708的右上角、定位块710的右下角、定位块706的左下角，在生成的第二视频信号中这四个角点正好就是整张图像的四角。
在本发明的第二实施例的视频对准方法中，时间标记的几何形状被叠加在YUV420P图像的Y分量上，中央区域703透过第二视频图像中的Y分量上的内容。第二视频信号中的帧图像的Y分量时间标记效果如图5所示意。
在本发明的第二实施例的视频对准方法中，通过搜索定位块来快速定位时间标记的几何形状，并裁出四个编码图像区域，识读出其中的任何一个code-128条码，如果一个失败可识读另一个。如果四个都失败算作时间标记识读失败。时间标记识读失败逻辑与本发明第一实施例的处理相同。
本发明打破了客观全参考视频质量评价方法中使用最小化特征量的时间、空间图像配准算法进行时间对准和空间对准的传统思维，创新地采用时间标记视频信号作为第二视频信号来进行客观全参考视频质量评价，可以直接而准确地从第一视频信号中识读出时间标记的几何形状信息和时间关联信息。通过识读出的时间关联信息的比较快速地实现了准确的时间对准。通过识读出的时间标记的几何形状信息快速实现了准确的空间对准。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被例如处理器执行时可以实现上述任意一个实施例中所述电子处方流转处理方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在租户计算设备上执行、部分地在租户设备上执行、作为一个独立的软件包执行、部分在租户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到租户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本公开的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述电子处方流转处理方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图7来描述根据本发明的这种实施方式的电子设备900。图7显示的电子设备900仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：至少一个处理单元910、至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930、显示单元940等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元910执行，使得所述处理单元910执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元910可以执行如图1中所示的步骤。
所述存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)9201和/或高速缓存存储单元9202，还可以进一步包括只读存储单元(ROM)9203。
所述存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204，这样的程序模块9205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备900也可以与一个或多个外部设备400(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得租户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器960可以通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述电子处方流转处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (11)

1.一种视频对准方法，其特征在于，用于将第一视频信号向第二视频信号对准，所述第二视频信号具有时间标记的时间标记视频信号，所述时间标记为由时间关联信息编码而成的几何标记，所述第一视频信号由所述第二视频信号变换获得，所述视频对准方法包括：
按所述时间关联信息进行所述第一视频信号向所述第二视频信号的时间对准操作；
按所述几何标记的几何信息进行所述第一视频信号向所述第二视频信号的空间对准操作，使得具有相同的时间关联信息的第一视频信号的图像及所述第二视频信号的图像逐点对准。
2.根据权利要求1所述的视频对准方法，其特征在于，所述按所述时间关联信息进行所述第一视频信号向所述第二视频信号的时间对准操作的步骤之前还包括：
依据所述第一视频信号中识读出的所述时间关联信息生成所述第一视频信号的有效输出帧序列，对应地，所述时间对准操作和所述空间对准操作依据所述第一视频信号的所述有效输出帧序列进行。
3.根据权利要求1所述的视频对准方法，其特征在于，所述按所述时间关联信息进行所述第一视频信号向所述第二视频信号的时间对准操作的步骤包括：
将所述第一视频信号的帧序列或者帧的子序列中，根据每帧图像识读出的所述时间关联信息，向所述第二视频信号的时间关联信息序列对准；
经时间对准后，将所述第一视频信号中的每帧图像均映射到所述第二视频信号中相同时间关联信息的图像上。
4.根据权利要求1所述的视频对准方法，其特征在于，所述按所述时间关联信息进行所述第一视频信号向所述第二视频信号的时间对准操作的步骤包括：
a.从所述第一视频信号的帧序列或帧的子序列中依时间顺序取一幅图像，从第二视频信号中依时间顺序取一幅图像；
b.判断所取的第一视频信号的图像的时间关联信息与所取的第二视频信号的图像的时间关联信息的关系；
c.若所取的第一视频信号的图像的时间关联信息等于所取的第二视频信号的图像的时间关联信息，则所取的第一视频信号的图像和所取的第二视频信号的图像配对成一时间对准组，并从所述第一视频信号的帧序列或帧的子序列中依时间顺序取下一幅图像，并继续执行步骤b；
d.若所取的第一视频信号的图像的时间关联信息晚于所取的第二视频信号的图像的时间关联信息，那么从所述第二视频信号中依时间顺序取下一幅图像，并继续执行步骤b；
e.若所取的第一视频信号的图像的时间关联信息早于所取的第二视频信号的图像的时间关联信息，那么从所述第一视频信号的帧序列或帧的子序列中依时间顺序取下一幅图像，并继续执行步骤b；
f.若所述第一视频信号的帧序列或帧的子序列的图像选取结束，或者所述第二视频信号的图像选取结束，则对准结束。
5.根据权利要求4所述的视频对准方法，其特征在于，
若在步骤d中被判断为时间关联信息早于所取的第一视频信号的图像的时间关联信的第二视频信号的图像，未在步骤c的所述时间对准组成功配对过，则记录发生了一次所述第二视频信号的帧删除操作；或者
若在步骤d中被判断为时间关联信息早于所取的第一视频信号的图像的时间关联信的第二视频信号的图像，步骤c的所述时间对准组未成功配对过，则使用占位图像或者空白图像作为第一视频信号的图像与所取的第二视频信号的图像配对成一个缺位的时间对准组。
6.根据权利要求1所述的视频对准方法，其特征在于，所述按所述几何标记的几何信息进行所述第一视频信号向所述第二视频信号的空间对准操作的步骤包括：
获取所述第一视频信号的几何标记和所述第二视频信号的几何标记之间的几何形状的空间仿射矩阵；
依据所述空间仿射矩阵，将所述第一视频信号向所述第二视频信号空间对准。
7.根据权利要求1所述的视频对准方法，其特征在于，所述按所述几何标记的几何信息进行所述第一视频信号向所述第二视频信号的空间对准操作的步骤包括：
a’.从所述第二视频信号的图像的时间标记的几何标记信息中导出k个特征标记点，k为大于等于3的整数，所述第二视频信号的图像的宽为W，高为H，W和H为大于0的常数，所述k个特征标记点中第n+1个特征点的坐标为(xn，yn)，n为大于等于0且小于k的整数；
b’.从所述第一视频信号的图像的时间标记的几何信息中导出步骤a’中的所述k个特征标记点的对应标记点，所述第一视频信号的图像的宽为M，高为N，M和N为大于0的常数，所述k个对应标记点中第n+1个特征点的坐标为(in，jn)，n为大于等于0且小于k的整数；
c’.根据所述第二视频信号的k个特征标记点获得第二空间标记点矩阵A，根据所述第一视频信号k个对应标记点获得第一空间标记点矩阵B，
d’.通过求解矩阵方程AX＝B的最优拟合解来求得从所述第二视频信号变换到所述第一视频信号的空间仿射矩阵F：
e’.依据所述第二视频信号变换到所述第一视频信号的空间仿射矩阵F求得从所述第一视频信号变换到所述第二视频信号的空间逆仿射矩阵G：
G＝F-1
f’.验证所述空间仿射矩阵F中f01，f10，f20，f21约等于0，f22约等于1；
g’.根据所述空间仿射矩阵F获取平移量及缩放因子，所述平移量为(f02,f12)，所述缩放因子为(f00,f11)；
h’.按如下公式计算一矩阵R，并从所述矩阵R中获取所述空间仿射矩阵F的裁剪或补缀区域：
i’.验证所述矩阵R中r02，r12，r22，r32约等于0，依据所述矩阵R获取四个坐标点(r00，r01)，(r10，r11)，(r20，r21)，(r30，r31)，所获取的四个坐标点表示了裁剪或补缀发生在从左上角开始按顺时钟旋转的图像四个角点处的矩形区域；
j’.根据所述空间逆仿射矩阵G把所述第一视频信号中的每幅图像向所述第二视频信号做平移和缩放，并对所述第一视频信号中的每幅图像进行逆向裁剪或补缀，以使所述第一视频信号和第二视频信号同宽高。
8.根据权利要求7所述的视频对准方法，其特征在于，所述步骤d’包括：
使用奇异值分解法来求所述矩阵方程的最小二乘解，对所述第二空间标记点矩阵A进行奇异值分解SVD，得到所述第二空间标记点矩阵A的左奇异特征矩阵U、右奇异特征矩阵V及奇异对角阵D：
(U，D，V)＝SVD(A)
依下式求得所述矩阵方程的最小二乘解以作为从所述第二视频信号变换到所述第一视频信号的空间仿射矩阵F：
9.根据权利要求7所述的视频对准方法，其特征在于，所述步骤d’包括：
使用QR分解法来求所述矩阵方程的最小二乘解：
所述QR分解法包括：把矩阵A分解成一个正交矩阵和一个上三角矩阵的积的形式，矩阵A表达为一个正交阵Q1和一个3行×3列的上三角阵S的乘积形式：
A＝Q1S
所述矩阵方程的最小二乘解根据如下公式求解：
10.一种电子设备，其特征在于，所述电子设备包括：
处理器；
存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如权利要求1至9任一项所述的步骤。
11.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至9任一项所述的步骤。
CN201710763693.3A 2017-08-30 2017-08-30 视频对准方法、电子设备及存储介质 Active CN107465940B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710763693.3A CN107465940B (zh) 2017-08-30 2017-08-30 视频对准方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710763693.3A CN107465940B (zh) 2017-08-30 2017-08-30 视频对准方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN107465940A CN107465940A (zh) 2017-12-12
CN107465940B true CN107465940B (zh) 2019-10-25

Family

ID=60550843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710763693.3A Active CN107465940B (zh) 2017-08-30 2017-08-30 视频对准方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN107465940B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766735B (zh) 2019-10-21 2020-06-26 北京推想科技有限公司 一种图像的匹配方法、装置、设备及存储介质
CN110913213B (zh) * 2019-12-30 2021-07-06 广州酷狗计算机科技有限公司 视频质量评测处理的方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1809838A (zh) * 2003-06-18 2006-07-26 英国电讯有限公司 用于视频质量评估的方法和系统
CN101199211A (zh) * 2005-07-11 2008-06-11 日本电信电话株式会社 视频匹配装置，方法以及程序
CN101924872A (zh) * 2009-03-05 2010-12-22 特克特朗尼克公司 用于图像配准的方法和系统
CN102088622A (zh) * 2011-01-13 2011-06-08 成都索贝数码科技股份有限公司 一种多媒体信息处理终端
CN104820966A (zh) * 2015-04-30 2015-08-05 河海大学 一种空时配准解卷积的非同步多视频超分辨率方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120230398A1 (en) * 2011-03-10 2012-09-13 Christopher Andrew Segall Video decoder parallelization including slices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1809838A (zh) * 2003-06-18 2006-07-26 英国电讯有限公司 用于视频质量评估的方法和系统
CN101199211A (zh) * 2005-07-11 2008-06-11 日本电信电话株式会社 视频匹配装置，方法以及程序
CN101924872A (zh) * 2009-03-05 2010-12-22 特克特朗尼克公司 用于图像配准的方法和系统
CN102088622A (zh) * 2011-01-13 2011-06-08 成都索贝数码科技股份有限公司 一种多媒体信息处理终端
CN104820966A (zh) * 2015-04-30 2015-08-05 河海大学 一种空时配准解卷积的非同步多视频超分辨率方法

Also Published As

Publication number Publication date
CN107465940A (zh) 2017-12-12

Similar Documents

Publication Publication Date Title
JP4732660B2 (ja) ビジュアルアテンションシステム
JP4166679B2 (ja) ３次元オブジェクトデータの符号化及び復号化方法、並びに、その装置
JP4995934B2 (ja) 拡張現実システム、マーカ端末、撮影端末、拡張現実方法、ならびに、情報記録媒体
US20180144212A1 (en) Method and device for generating an image representative of a cluster of images
CN111008927B (zh) 一种人脸替换方法、存储介质及终端设备
US20090278844A1 (en) Method and apparatus for encoding/decoding 3d mesh information including stitching information
CN107465940B (zh) 视频对准方法、电子设备及存储介质
KR102375325B1 (ko) 원거리 고밀도 시각적 마커의 검출 및 인식 방법
CN109640089A (zh) 图像编解码方法及装置
CN106803959A (zh) 视频图像编码、解码方法及装置
CN113630609A (zh) 一种视频编码方法、解码方法、存储介质以及终端设备
CN110267079B (zh) 待播放视频中人脸的替换方法和装置
CN116822548B (zh) 生成高识别率ai二维码的方法及计算机可读存储介质
CN112714338A (zh) 视频传输、播放方法、装置、计算机设备及存储介质
CN115830046A (zh) 交互式图像分割方法、装置、设备及存储介质
US11082718B2 (en) Method and device for coding image and method and device for decoding image
CN110796136A (zh) 标志与图像处理方法及相关装置
CN115471765B (zh) 一种航拍图像的语义分割方法、装置、设备及存储介质
CN112183695A (zh) 编码方法、编码图形、编码图形读取方法和拍摄装置
CN112364675B (zh) 一种基于三维码和图像识别的离线识读方法及装置
Burgos-Artizzu et al. Pose and expression-coherent face recovery in the wild
CN110959292B (zh) 视频的编码、解码的方法及装置、处理装置、存储介质
CN111954082A (zh) 蒙版文件结构、蒙版文件的读取方法、计算机设备及可读存储介质
CN113037947B (zh) 一种连续动态图像中空间信息的编码方法
WO2023228717A1 (ja) コンピュータプログラム、処理方法、および、処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant