CN107770560A - 时间标记识读方法、装置、电子设备及存储介质 - Google Patents

时间标记识读方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN107770560A
CN107770560A CN201711073071.4A CN201711073071A CN107770560A CN 107770560 A CN107770560 A CN 107770560A CN 201711073071 A CN201711073071 A CN 201711073071A CN 107770560 A CN107770560 A CN 107770560A
Authority
CN
China
Prior art keywords
time
image
candidate
information
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711073071.4A
Other languages
English (en)
Other versions
CN107770560B (zh
Inventor
谢志钢
胡小鹏
万春雷
陈冬根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN201711073071.4A priority Critical patent/CN107770560B/zh
Publication of CN107770560A publication Critical patent/CN107770560A/zh
Application granted granted Critical
Publication of CN107770560B publication Critical patent/CN107770560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的时间标记识读方法、装置、电子设备及存储介质，所述时间标记识读方法包括：步骤S101：在所述视频信号的视频图像上搜索候选基本图元，并获取候选基本图元的信息；步骤S102：根据所述候选基本图元的信息，在一时间标记类型库中检索所述时间标记的类型；步骤S103：根据所述时间标记的类型获取所述编码图像的信息，并根据所述编码图像的信息从该视频图像上裁剪出编码图像；以及步骤S104：解码所述编码图像获取该视频图像的时间关联信息。本发明提供的视频时间标记识读方法及装置可实现在无需对既有视频信号的传输或处理的系统进行变更的情况下，跟踪视频信号处理中图像的时间关联信息。

Description

时间标记识读方法、装置、电子设备及存储介质
技术领域
本发明涉及视频信号处理，尤其涉及时间标记识读方法、装置、电子设备及存储介质。
背景技术
视频信号是由规定了播放时间顺序的持续表达的图像串构成的，通常以数据流的形式在设备间或网络上传输。有一些视频流格式(例如H.264)在编码数据流中记录了每幅图像的播放时间信息，也有一些视频流格式(例如YUV)则没有。一般情况下当获取视频信号中每幅图像准确的时间信息时需依赖于记录了时间信息的视频流格式。即便如此，若在视频信号的传输过程中发生(或不确定是否发生)对视频信号的再次编解码或帧率调节等处理，则将难以准确跟踪视频中每幅图像对应具体的原始时间信息。
目前已经出现了一些方法来尝试将经过处理的视频信号和与其相应的未经处理的原始视频信号在时域上对准，进而从原始视频信号对应的每帧的时间信息中知悉处理后视频信号中每帧的对应时间信息。不足的是业界大多是采用通过视频配准算法的方法来实现时域的对准的，具体地，即从图像中按某种独特的算法提取特征数据，针对参考图像和待测图像分别在空域、时域的一个小范围内对特征数据的差异进行最小化计算来实现空域和时域配准，从而实现时域内的对准。参见ITU-T建议书J.144、J.244、J.247、J.341。即便如此地花费大量运算代价，也只能大概了解处理后视频信号中的帧相关时间信息。并且在当原始视频信号中的内容没有剧烈变化时，这类基于差异最小化的优化过程将难以收敛。终究是无法准确得知每帧的具体时间信息的。
发明内容
本发明为了克服上述现有技术存在的缺陷，提供一种时间标记识读方法、装置、电子设备及存储介质，可实现在无需对既有视频信号的传输或处理的系统进行变更的情况下，跟踪视频信号处理中每幅图像的时间关联信息。
本发明的一个方面，提供一种视频信号的视频图像包含有可识读的时间标记，所述时间标记具有几何形状，所述时间标记的几何形状由多个基本图元组合而成，所述时间标记的类型与基本图元的信息的关联关系储存在一时间标记类型库中，各所述时间标记中至少一个基本图元包括编码图像，所述编码图像由该视频图像的时间关联信息编码而成，不同时间标记的类型关联不同编码图像的信息，所述时间标记识读方法包括：步骤S101：在所述视频信号的视频图像上搜索候选基本图元，并获取候选基本图元的信息；步骤S102：根据所述候选基本图元的信息，在一时间标记类型库中检索所述时间标记的类型，根据所述时间标记的类型获取所述编码图像的信息；步骤S103：根据所述编码图像的信息从该视频图像上裁剪出编码图像；以及步骤S104：解码所述编码图像获取该视频图像的时间关联信息。
本发明的又一个方面，还提供一种时间标记识读装置，视频信号的视频图像包含有可识读的时间标记，所述时间标记具有几何形状，所述时间标记的几何形状由多个基本图元组合而成，所述时间标记的类型与基本图元的信息的关联关系储存在一时间标记类型库中，各所述时间标记中至少一个基本图元包括编码图像，所述编码图像由该视频图像的时间关联信息编码而成，不同时间标记的类型关联不同编码图像的信息，所述时间标记识读装置包括：搜索模块，用于在所述视频信号的视频图像上搜索候选基本图元，并获取候选基本图元的信息；检索模块，用于根据所述候选基本图元的信息，在一时间标记类型库中检索所述时间标记的类型；裁剪模块，用于根据所述时间标记的类型获取所述编码图像的信息，并根据所述编码图像的信息从该视频图像上裁剪出编码图像；以及解码模块，用于解码所述编码图像获取该视频图像的时间关联信息。
根据本发明的又一方面，还提供一种电子设备，所述电子设备包括：处理器；存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。
根据本发明的又一方面，还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的步骤。
相比现有技术，本发明的优势在于通过视频图像中候选基本图元的搜索及候选基本图元与一时间标记类型库中的基本图元的匹配获得时间标记类型，根据时间标记类型可对基本图元中的编码图像进行解码，自动获得时间关联信息。进一步地，本发明通过卷积图像或神经网络的方式于视频图像中搜索和定位候选基本图元，可进一步优化基本图元的搜索和定位的速度和准确性。
附图说明
图1是示出根据本发明实施例的时间标记识读方法的流程图。
图2是示出根据本发明实施例的时间标记识读装置的模块图。
图3至图6示出根据本发明多个实施例的时间标记的几何形状的基本图元。
图7至图9示出根据本发明多个实施例的时间标记的含编码图像的基本图元。
图10至图17是示出根据本发明多个实施例的时间标记构成图。
图18是示出本发明实施例的行方向的差分模板的示意图。
图19是示出本发明实施例的列方向的差分模板的示意图。
图20是示出本发明实施例的两种时间标记识读实验准确率对比图。
图21是示出本发明实施例中一种计算机可读存储介质示意图。
图22是示出本发明实施例中一种电子设备示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
本发明之识读时间标记的过程，即对视频信号中每幅视频图像可能含有的时间标记进行识读，并获得时间标记的类型、时间标记的几何形状的位置信息、时间标记的时间关联信息的过程。
在本发明的各个实施例中，视频信号的部分或全部视频图像包含有可识读的时间标记。所述时间标记具有几何形状。所述时间标记的几何形状由多个基本图元组合而成。基本图元可以包括但不限于如下几种形状：黑色实心正方形区块、填充有黑白点阵交替图案的正方形区块、填充有黑白条纹交替图案的长条形区块，这些区块可以带有边框也可以不带边框。若这些区块带有边框，边框优选地为白色。具体而言，基本图元可以如图3至图6所示。其中，基本图元301是黑色实心正方形区块，其边长受时间标记几何形状的调节参数s控制。基本图元302是填充有黑白点阵交替图案的正方形区块，其边长为时间标记几何形状的调节参数s的n倍(n为正整数)。基本图元303是填充有黑白条纹交替图案的水平(即视频图像行方向)长条形区块，其高度受时间标记几何形状的调节参数s控制。基本图元304是是填充有黑白条纹交替图案的垂直(即视频图像列方向)长条形区块，其宽度受时间标记几何形状的调节参数s控制。
各所述时间标记中至少一个基本图元包括编码图像。所述编码图像由该视频图像的时间关联信息编码而成，不同时间标记的类型关联不同编码图像的信息。编码图像可以是一维条码、二维条码或其他形式的平面编码。图3至图6所示的基本图元在一些具体实施例中可以如图7至图9所示。基本图元402是填充了二维条码编码图像的正方形区块。基本图元403是填充了一维条码编码图像的水平长条形区块。基本图元404是填充了一维条码编码图像的垂直长条形区块。
所述时间标记的类型与基本图元的信息的关联关系储存在一时间标记类型库中。基本图元的信息可以包括视频图像上的基本图元的数量、各基本图元的种类、尺寸和位置信息中的一项或多项。优选地，视频图像上的基本图元的数量、各基本图元的种类、尺寸和位置信息可用于确定时间标记的类型。换言之，对基本图元各选若干个，并且确定一种相对位置的排列，就得到一种时间标记几何形状。一些时间标记的几何形状实例如图10至17所示。
本发明提供时间标记识读方法及装置的示例性实施例将参考附图在下面描述。
图1是示出根据本发明实施例的时间标记识读方法的流程图。图1中共示出4个步骤：
步骤S101：在所述视频信号的视频图像上搜索候选基本图元，并获取候选基本图元的信息。
具体而言，步骤S101包括，按视频信号的帧视频图像顺序取一幅视频图像，在所取视频图像上搜索所述候选基本图元，确定视频图像上的候选基本图元的数量、每个候选基本图元的类型、尺寸和位置信息。
若在当前视频图像之前已经成功地搜索到了一组候选基本图元，那么在该视频信号接下来的当前及后续视频图像中可以优先使用这组候选基本图元的形状和位置信息来加速当前及后续视频图像中候选基本图元的搜索。进一步地，还可以直接将先前候选基本图元的搜索结果(或后续的检索结果)应用到后续的所有视频图像中，只有当后续的步骤失败时再在整幅视频图像的范围内搜索候选基本图元。
具体而言，步骤S101还可以通过将所述视频信号的视频图像分离获得亮度分量，并从根据视频图像的亮度分量搜索所述候选基本图元。
在上述实施例的一个实现方式中，可以通过如下方式从该视频图像的亮度分量中搜索所述候选基本图元：首先利用一个或者多个搜索模板与该视频图像的亮度分量做卷积计算并获得卷积图像。然后，计算该卷积图像各个像素点的值，其中，该卷积图像各个像素点的值根据如下公式计算：
H(i,j)＝∑m∑nF(im,jn)G(m,n)
其中，F为该视频图像的亮度分量，G为一搜索模板，H为F与G进行卷积计算后的卷积图像，i、j用于定位像素点在该视频图像上所在行和所在列，m、n为所述搜索模板的像素点的行数和列数，i、j、m、n为大于0的整数。
在本发明的又一个实施例中，也可以根据卷积定理来加速图像的卷积计算：
其中，F为该视频图像的亮度分量，G为一搜索模板，H为F与G进行卷积计算后的卷积图像，表示对图像X求傅立叶变换，其中的表示傅立叶变换的逆过程即傅立叶逆变换。可以使用快速傅立叶变换算法来求解傅立叶变换及其逆变换。
进一步地，所述搜索模板G可以是在所述视频图像的行方向和/或列方向上的差分模块，以分辨所述视频图像的亮度分量在所述行方向和/或列方向上剧烈变化的纹理特征。行方向的差分模块可以是如图18所示的4×4像素点的行方向的差分模块，用于分辨出行方向剧烈变化的纹理。列方向的差分模块可以是如图19所示的4×4像素点的列方向的差分模块，用于分辨出列方向剧烈变化的纹理。之后，根据所述视频图像的亮度分量在所述行方向和/或列方向上剧烈变化的纹理特征可快速搜索并定位所述候选基本图元。
在上述实施方式的一个变化例中，当计算该卷积图像各个像素点的值之后，可对该卷积图像各个像素点的值进行二值化处理，获得该卷积图像的前景模板。二值化处理包括如下步骤：统计该卷积图像各个像素点的值的最大绝对值；利用该最大绝对值的二分之一作为二值化处理的阈值T，即T＝max(H)/2；将该卷积图像各个像素点的值与阈值T进行比较，若大于阈值T，则将该像素点标记为前景，否则将该像素点标记为背景，作为二值化处理的结果；将标记为前景的多个像素点组合为前景模板；根据所述前景模板搜索所述候选基本图元。通过使用这个前景掩板可以大大缩小搜索基本图元的范围。可选地，在这样的变化例中，可对所述前景掩板进行一次图像的形态学膨胀操作，可以有效消除前景掩板中的空洞，并使得前景对象足够大以致能够覆盖尽可能多的所述基本图元。
进一步地，在上述变化例中，所获得的前景模块可以包括行方向前景掩板Mh(使用行方向的差分模板得到)及列方向前景掩板Mv(使用列方向的差分模板得到)。然后，对所述行方向前景掩板Mh及所述列方向前景掩板Mv求交集得到Mp，Mp指示了该视频图像中的多个前景对象。对所述行方向前景掩板Mh及所述列方向前景掩板Mv求并集得到Mu。找出Mu中包含了所有Mp的前景对象的多个前景连通对象。计算该多个前景连通对象倾斜度(相对于行方向或列方向的倾斜度)小于倾斜度阈值的前景连通对象(可选地为矩形区域)作为候选基本图元。在一个优选例中，候选基本图元的倾斜度接近0。
在又一个变化例中，当计算该卷积图像各个像素点的值之后，可对所述卷积图像的各像素点的值的绝对值分别按行方向和列方向累加，得到行方向卷积累加向量和列方向的卷积累加向量。根据所述行方向卷积累加向量获得候选基本图元的纵坐标区间。根据所述列方向卷积累加向量获得候选基本图元的横坐标区间。例如，可根据所述行方向卷积累加向量的峰值获得候选基本图元的纵坐标区间；可根据所述列方向卷积累加向量的峰值获得候选基本图元的横坐标区间。利用所述纵坐标区间和横坐标区间将卷积图像分割成多个矩形区域。将该多个矩形区域中卷积绝对值高于卷积阈值的矩形区域作为候选基本图元。即选取这些矩形区域中含有较高卷积绝对值(例如上述峰值)的对象，舍弃这些矩形区域中不含卷积绝对值的对象，得到一组待选基本图元。
在另一个变化例中，当计算该卷积图像各个像素点的值之后，可利用聚类算法或者分类算法对卷积图像的各像素点的值分成多类像素点，将该多类像素点中选定类的像素点的连通区域作为候选基本图元。
在还一个变化例中，无需计算卷积图像，仅需将所述视频信号的视频图像分离获得的亮度分量输入一经训练的神经网络(例如CNN网络，已经由训练获得优化参数)中，将该神经网络的输出作为候选基本图元。
步骤S102：根据所述候选基本图元的信息，在一时间标记类型库中检索所述时间标记的类型，根据所述时间标记的类型获取所述编码图像的信息。
具体而言，所述步骤S102包括根据步骤S101搜索到的候选基本图元的信息(类型、尺寸及位置信息)从时间标记类型库中检索出相对应的时间标记的类型。可选地，通过时间标记的类型访问到这个类型的配置信息。配置信息可以包括时间标记的几何形状位置信息的计算方法及图像编码的信息。图像编码的信息可以包括编码图像的基本图元的个数、各编码类型、包括编码图像的各基本图元的位置计算方法中的一项或多项。
在一些实施例中，所述步骤S102可采用形状相似度算法，将多个候选基本图元的信息与所述时间标记类型库中关联各时间标记的类型的基本图元的信息进行形状相似度计算，根据所述形状相似度在所述时间标记类型库中检索所述时间标记的类型。具体而言，可将所述候选基本图元的位置信息，在时间标记类型库的时间标记几何形状的关联列表中逐一匹配(即将多个候选基本图元组成一几何形状与各个时间标记几何形状分别进行匹配)，每次匹配计算输出一个形状相似度数值，如果最大的形状相似度大于一个预设阈值，则对应的时间标记类型被检索输出，同时输出候选基本图元与时间标记几何形状中的基本图元的对应关系。具体而言，部分算法在计算形状相似度时就已经内含了形状细节的匹配计算，在给出两个形状的整体相似度时就已经同时计算了各细节的对应关系。即使在有些形状相似度算法不给出形状细节对应关系时，在本技术的应用范围内不需要考虑大幅度的图像旋转和形状改变，对于形状相似度高的两个几何图形可以通过形状重心和若干区位存在的基本图元的位置情况快速获得对应关系。比如转换到以重心为极点的极坐标系中，时间标记几何形状中的每个基本图元的重心都有一个极角和极径，如果把最长的极径规范为1,那么从最小的极角开始逐个地对比候选基本图元与时间标记几何形状的基本图元的位置差异就可以直接求出对应关系了。
在一些实施例中，所述步骤S102还可包括对所述候选基本图元的信息进行规范化计算，映射成事先约定的规范结构，使用规范结构可以从时间标记类型库的形状规范化索引中快速检索到差异最小的规范化的时间标记形状，从而输出对应的时间标记类型以及候选基本图元与时间标记几何形状的基本图元的对应关系。
在一些实施例中，所述步骤S102还可包括根据所述时间标记的类型的配置信息获得的几何形状位置信息的计算方法，结合步骤S101搜索到的候选基本图元的信息，计算并获得这个时间标记的几何形状的位置信息。
在一些实施例中，所述步骤S102可包括根据确定的时间标记的类型获得的编码图像的信息结合步骤S101搜索到的候选基本图元的信息，计算并获得这个时间标记的每个编码图像的位置信息。
在一些实施例中，所述步骤S102，如果之前已经成功地得到了一个时间标记类型，并且计算获得了这个时间标记几何形状位置信息、编码图像的编码类型和区域位置信息，那么在视频信号接下来的后续视频图像中可以直接使用这个已知的时间标记的上述详细信息，只有当后续的步骤失败时，再重新检索时间标记的类型，并计算它的几何形状位置信息、编码图像的编码类型、编码图像的位置。
步骤S102的上述各个实施例可单独或以任意组合的形式来实现。
步骤S103：根据所述编码图像的信息从该视频图像上裁剪出编码图像。
在一些实施例中，所述步骤S103可以只从视频信号的视频图像的亮度分量中按每个编码图像的信息来裁剪亮度分量视频图像，仅以这些裁剪出来的亮度分量视频图像作为对应的编码图像。
在一些实施例中，所述步骤S103可以对视频信号的视频图像进行二值化处理，从二值视频图像中按每个编码图像区域的位置信息来裁剪出对应的编码图像。
在一些实施例中，所述步骤S103可以把所述裁剪获得的编码图像按对应的编码类型的解码要求进行视频图像预处理，获得符合解码要求的视频图像，然后再对预处理后视频图像进行解码以提高解码成功率。编码图像的预处理操作可以包括：视频图像滤波，视频图像形态学操作例如膨胀、腐蚀、去斑点，视频图像的几何变换例如反转、旋转、平移、错切、缩放操作，视频图像像素值整理例如灰度级均衡、压缩灰度级、二值化中的一种或多种操作。
步骤S103的上述各个实施例可单独或以任意组合的形式来实现。
步骤S104：解码所述编码图像获取该视频图像的时间关联信息。
在一些实施例中，所述步骤S104可以包括，把所述裁剪获得的编码图像按对应的编码类型(在一些实施例中，不同位置的基本图元可采用不同的编码类型，编码类型和与编码图像的位置对应)进行解码计算，解码计算获得编码图像的内容，也就是所述时间标记的时间关联信息。例如，如果所述时间标记类型规定的编码图像的编码类型是一维条码code-128编码方案，则按code-128条码的解码算法对编码图像进行解码以获得编码图像内含的时间关联信息。
图2是示出根据本发明实施例的时间标记识读装置的模块图。
时间标记识读装置200包括搜索模块210，检索模块220、裁剪模块230及解码模块240。
搜索模块210用于在所述视频信号的视频图像上搜索候选基本图元，并获取候选基本图元的信息。
在一些实施例中，搜索模块210如果在视频信号的某幅视频图像上没有找到至少一个基本图元，则向外发出搜索错误信号。
在一些实施例中，搜索模块210可以在手动模式下工作，这时手动送入视频信号流并且以流式的缓冲对象输出视频信号的每幅视频图像对应的搜索计算结果信息，也可以手动送入一幅视频图像并得到这幅视频图像对应的搜索计算结果信息，可以把结果保存成数据文件。
在一些实施例中，搜索模块210也可以在自动模式下工作，这时独立地工作，独自接收视频信号，独立输出视频信号的每幅视频图像、随同视频信号一起输出的一组候选基本图元信息，包括基本图元的个数、每个基本图元的类型、每个基本图元的尺寸、每个基本图元的位置信息。自动工作模式下可以通过共享内存、先入先出管道、IP网络等方式以每幅视频图像为单位输出搜索结果。
在一些实施例中，所述搜索模块210还可以在同步模式下工作，这时连接检索模块220以同步的方式一起协同工作，当输出一幅视频图像的搜索结果后等待检索单元的工作完成确认后再开始处理视频信号中的下一幅视频图像。
检索模块220用于根据所述候选基本图元的信息，在一时间标记类型库中检索所述时间标记的类型。
在一些实施例中，检索模块220接收搜索模块210传递过来的视频信号的视频图像，以及随同视频图像一起搜索到的一组候选基本图元，并且读取时间标记类型库中登记的每种时间标记类型的几何信息(基本图元的信息)，从中检索到与候选基本图元相一致的时间标记类型，同时计算出候选基本图元所决定的时间标记的几何形状的位置信息。如果没有检索到相一致的时间标记类型，则向外发出检索错误信号。
在一些实施例中，所述检索模块220类似于所述搜索模块210，可以在手动模式、自动模式或同步模式下工作，以每幅视频图像为单位向外输出检索结果。当在同步模式下工作时是连接所述裁剪模块230以同步的方式一起协同工作，等待裁剪模块230的工作完成确认后再向搜索模块210确认工作完成。
裁剪模块230用于根据所述时间标记的类型获取所述编码图像的信息，并根据所述编码图像的信息从该视频图像上裁剪出编码图像。
在一些实施例中，裁剪模块230接收检索模块220传递过来的视频信号的视频图像，以及随同视频图像一起检索到的时间标记类型，并且还有计算出来的时间标记的几何形状的位置信息，使用时间标记的几何形状的位置信息从视频信号的视频图像中裁剪并整理出一个或者一组时间关联信息的编码图像。
在一些实施例中，裁剪模块230也类似于所述搜索模块210，可以在手动模式、自动模式或同步模式下工作，以每幅视频图像为单位向外输出裁剪结果。当在同步模式下工作时是连接所述解码模块240以同步的方式一起协同工作，等待解码模块240的工作完成确认后再向检索模块220确认工作完成。
解码模块240用于解码所述编码图像获取该视频图像的时间关联信息。
在一些实施例中，解码模块240接收裁剪模块230传递过来的时间标记的类型，以及一个或者一组时间标记的时间关联信息的编码图像，其根据时间标记的类型规定的时间关联信息的编码图像的编码方案，对编码图像进行解码计算并输出时间关联信息。如果解码失败，则向外发出时间关联信息编码错误信号。
在一些实施例中，解码模块240也类似于所述搜索模块210，可以在手动模式、自动模式或同步模式下工作，以每幅视频图像为单位向外输出解码结果。当在同步模式下工作时可以通过外部程序接口连接外部应用系统的某装置，并以同步的方式一起协同工作，等待外部应用系统的某装置的数据接收确认后再向裁剪模块230确认工作完成。
在根据本发明实施的某具体实施例中，可以识读视频信号中的图10所示的qr二维条码型的时间标记，也可以识读视频信号中的图11所示的code-128条码型的时间标记。
在一系列具体的视频信号的时间标记识读实验中，使用了如图10所示的qr二维条码型的时间标记，该时间标记以21点来对时间关联信息按qr二维条码规范进行编码，预先设定时间标记的调节控制调节参数s为3(也就是二维条码中的一点表示3个像素)，qr二维条码所在的正方形基本图元的边长是s×(21+2)个像素，嵌入到1920像素宽1080像素高的600帧的一段视频信号中制备成原始信号。然后将原始信号按各种尺寸进行等比缩小，将缩小后的视频信号送入根据本发明实施的视频时间标记识读装置中进行时间信号的识读操作，获得一组时间标记的识别率数据，如图20中的“圆圈”点(qr识读样本)所示的实验中的识读准确率统计数据样本点。横坐标是视频被等比缩小后时间标记中的二维条码码点的平均像素宽，存在亚像素宽度以浮点数表示。纵坐标是时间标记的识读准确率，1为全部识读成功，0为全部识读失败。图中的黑色虚线为qr识读样本的S型拟合曲线，其数学表达式为：
当二维条码码点平均像素宽小于2.0像素后，二维条码的识读准确率迅速降低；当小于1.5像素后时识读准确率降低到只有50％。
在另一系列具体的视频座号的时间标记识读实验中，使用了如图11所示的code-128一维条码形的时间标记。该时间标记含有使用code-128生成的编码图像，通过复制、旋转分别放置于四个编码图像区域处，这四个编码图像区域正好处在源视频信号内视频图像的四边上，即包含这四个编码图像区域的最小矩形尺寸正好等于源视频信号内视频图像的尺寸。实验时采用3个像素宽的条码宽度(即控制调节参数s＝3)生成code-128条码做成时间标记加到一段600幅宽1920像素高1080像素视频图像的视频信号中，经多种不同尺寸的视频缩小处理后，送入时间标记识读装置，采集到各缩小尺寸时的识读数据进行识读准确率统计，得到图中的bar识读样本点。横坐标是视频被等比缩小后时间标记中的条码的像素宽(P)，存在亚像素宽度以浮点数表示。纵坐标是时间标记的识读准确率(A)，1为全部识读成功，0为全部识读失败。图中的红色虚线为接近bar识读样本的阶梯曲线，其数学表达式为：
当条码像素宽度小于0.5像素后，条码的识读准确率迅速降低。
通过比较这两组时间标记的识读实验数据及分析结果，可以了解到相比于qr二维条码型的时间标记，code-128一维条码型时间标记的抗缩小变形能力更强。而qr二维条码型的时间标记的优点也很明显，基本图元少，基本图元的搜索快，时间标记类型的检索也快，识读速度更快，并且时间标记所覆盖的视频图像上的面积也更少。
参考图21所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在租户计算设备上执行、部分地在租户设备上执行、作为一个独立的软件包执行、部分在租户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到租户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本公开的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述电子处方流转处理方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图22来描述根据本发明的这种实施方式的电子设备900。图22显示的电子设备900仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图22所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：至少一个处理单元910、至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930、显示单元940等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元910执行，使得所述处理单元910执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元910可以执行如图1中所示的步骤。
所述存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)9201和/或高速缓存存储单元9202，还可以进一步包括只读存储单元(ROM)9203。
所述存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204，这样的程序模块9205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备900也可以与一个或多个外部设备400(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得租户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器960可以通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述电子处方流转处理方法。
相比现有技术，本发明的优势在于通过视频图像中候选基本图元的搜索及候选基本图元与一时间标记类型库中的基本图元的匹配获得时间标记类型，根据时间标记类型可对基本图元中的编码图像进行解码，自动获得时间关联信息。进一步地，本发明通过卷积图像或神经网络的方式于视频图像中搜索和定位候选基本图元，可进一步优化基本图元的搜索和定位的速度和准确性。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (14)

1.一种时间标记识读方法，其特征在于，
视频信号的视频图像包含有可识读的时间标记，所述时间标记具有几何形状，所述时间标记的几何形状由多个基本图元组合而成，所述时间标记的类型与基本图元的信息的关联关系储存在一时间标记类型库中，各所述时间标记中至少一个基本图元包括编码图像，所述编码图像由该视频图像的时间关联信息编码而成，不同时间标记的类型关联不同编码图像的信息，
所述时间标记识读方法包括：
步骤S101：在所述视频信号的视频图像上搜索候选基本图元，并获取候选基本图元的信息；
步骤S102：根据所述候选基本图元的信息，在一时间标记类型库中检索所述时间标记的类型，根据所述时间标记的类型获取所述编码图像的信息；
步骤S103：根据所述编码图像的信息从该视频图像上裁剪出编码图像；以及
步骤S104：解码所述编码图像获取该视频图像的时间关联信息。
2.如权利要求1所述的时间标记识读方法，其特征在于，所述步骤S101包括：
将所述视频信号的视频图像分离获得亮度分量，并从该视频图像的亮度分量中搜索所述候选基本图元。
3.如权利要求2所述的时间标记识读方法，其特征在于，所述从该视频图像的亮度分量中搜索所述候选基本图元的步骤包括：
利用一个或者多个搜索模板与该视频图像的亮度分量做卷积计算并获得卷积图像，计算该卷积图像各个像素点的值；
根据该卷积图像各个像素点的值搜索所述候选基本图元。
4.如权利要求3所述的时间标记识读方法，其特征在于，所述搜索模板为在所述视频图像的行方向和/或列方向上的差分模块，以分辨所述视频图像的亮度分量在所述行方向和/或列方向上剧烈变化的纹理特征，根据所述视频图像的亮度分量在所述行方向和/或列方向上剧烈变化的纹理特征搜索并定位所述候选基本图元。
5.如权利要求3所述的时间标记识读方法，其特征在于，所述根据该卷积图像各个像素点的值搜索所述候选基本图元包括：
对该卷积图像各个像素点的值进行二值化处理，获得该卷积图像的前景模板，包括：
统计该卷积图像各个像素点的值的最大绝对值；
利用该最大绝对值的二分之一作为二值化处理的阈值T；
将该卷积图像各个像素点的值与阈值T进行比较，若大于阈值T，则将该像素点标记为前景，否则将该像素点标记为背景；
将标记为前景的多个像素点组合为前景模板；
根据所述前景模板搜索所述候选基本图元。
6.如权利要求5所述的时间标记识读方法，其特征在于，
所述对该卷积图像各个像素点的值进行二值化处理，获得该卷积图像的前景模板包括：
使用行方向的差分模板得到行方向前景掩板Mh；
使用列方向的差分模板得到列方向前景掩板Mv，
所述根据所述前景模板搜索所述基本图元包括：
对所述行方向前景掩板Mh及所述列方向前景掩板Mv求交集得到Mp，Mp指示了该视频图像中的多个前景对象；
对所述行方向前景掩板Mh及所述列方向前景掩板Mv求并集得到Mu，
找出Mu中包含了所有Mp的前景对象的多个前景连通对象；
计算该多个前景连通对象倾斜度小于倾斜度阈值的前景连通对象作为候选基本图元。
7.如权利要求3所述的时间标记识读方法，其特征在于，所述根据该卷积图像各个像素点的值搜索所述候选基本图元包括：
对所述卷积图像的各像素点的值的绝对值分别按行方向和列方向累加，得到行方向卷积累加向量和列方向的卷积累加向量；
根据所述行方向卷积累加向量获得候选基本图元的纵坐标区间；
根据所述列方向卷积累加向量获得候选基本图元的横坐标区间；
利用所述纵坐标区间和横坐标区间将卷积图像分割成多个矩形区域；
将该多个矩形区域中卷积绝对值高于卷积阈值的矩形区域作为候选基本图元。
8.如权利要求3所述的时间标记识读方法，其特征在于，所述根据该卷积图像各个像素点的值搜索所述候选基本图元包括：
利用聚类算法或者分类算法对卷积图像的各像素点的值分成多类像素点，将该多类像素点中选定类的像素点的连通区域作为候选基本图元。
9.如权利要求3至8任一项所述的时间标记识读方法，其特征在于，
所述卷积图像根据如下公式计算：
H(i,j)＝∑m∑nF(i-m,j-n)G(m,n)，
其中，F为该视频图像的亮度分量，G为一搜索模板，H为F与G进行卷积计算后的卷积图像，i、j用于定位像素点在该视频图像上所在行和所在列，m、n为所述搜索模板的像素点的行数和列数，i、j、m、n为大于0的整数。
10.如权利要求3至8任一项所述的时间标记识读方法，其特征在于，
所述卷积图像根据如下公式计算：
其中，F为该视频图像的亮度分量，G为一搜索模板，H为F与G进行卷积计算后的卷积图像，表示对图像X求傅立叶变换，其中的表示傅立叶变换的逆过程即傅立叶逆变换。
11.如权利要求1所述的时间标记识读方法，其特征在于，所述步骤S102包括：
将多个候选基本图元的信息与所述时间标记类型库中关联各时间标记的类型的基本图元的信息进行形状相似度计算，根据所述形状相似度在所述时间标记类型库中检索所述时间标记的类型。
12.一种时间标记识读装置，其特征在于，视频信号的视频图像包含有可识读的时间标记，所述时间标记具有几何形状，所述时间标记的几何形状由多个基本图元组合而成，所述时间标记的类型与基本图元的信息的关联关系储存在一时间标记类型库中，各所述时间标记中至少一个基本图元包括编码图像，所述编码图像由该视频图像的时间关联信息编码而成，不同时间标记的类型关联不同编码图像的信息，
所述时间标记识读装置包括：
搜索模块，用于在所述视频信号的视频图像上搜索候选基本图元，并获取候选基本图元的信息；
检索模块，用于根据所述候选基本图元的信息，在一时间标记类型库中检索所述时间标记的类型；
裁剪模块，用于根据所述时间标记的类型获取所述编码图像的信息，并根据所述编码图像的信息从该视频图像上裁剪出编码图像；以及
解码模块，用于解码所述编码图像获取该视频图像的时间关联信息。
13.一种电子设备，其特征在于，所述电子设备包括：处理器；存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如权利要求1至11任一项所述的步骤。
14.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至11任一项所述的步骤。
CN201711073071.4A 2017-11-03 2017-11-03 时间标记识读方法、装置、电子设备及存储介质 Active CN107770560B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711073071.4A CN107770560B (zh) 2017-11-03 2017-11-03 时间标记识读方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711073071.4A CN107770560B (zh) 2017-11-03 2017-11-03 时间标记识读方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN107770560A true CN107770560A (zh) 2018-03-06
CN107770560B CN107770560B (zh) 2019-10-25

Family

ID=61272185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711073071.4A Active CN107770560B (zh) 2017-11-03 2017-11-03 时间标记识读方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN107770560B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070089154A1 (en) * 2005-09-08 2007-04-19 Shinichi Kikuchi Information storage medium, information recording method, information playback method, information recording apparatus, and information playback apparatus
CN102088622A (zh) * 2011-01-13 2011-06-08 成都索贝数码科技股份有限公司 一种多媒体信息处理终端
JP2013214894A (ja) * 2012-04-03 2013-10-17 Mitsubishi Electric Corp 画像符号化装置
CN104335235A (zh) * 2012-04-05 2015-02-04 诺基亚公司 用户事件内容、关联的装置和方法
CN106982369A (zh) * 2016-01-13 2017-07-25 豪威科技股份有限公司 具有图像数据路径延迟测量的成像系统和方法
CN107203755A (zh) * 2017-05-31 2017-09-26 中国科学院遥感与数字地球研究所 一种用于遥感图像时间序列标记样本自动增新的方法、装置和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070089154A1 (en) * 2005-09-08 2007-04-19 Shinichi Kikuchi Information storage medium, information recording method, information playback method, information recording apparatus, and information playback apparatus
CN102088622A (zh) * 2011-01-13 2011-06-08 成都索贝数码科技股份有限公司 一种多媒体信息处理终端
JP2013214894A (ja) * 2012-04-03 2013-10-17 Mitsubishi Electric Corp 画像符号化装置
CN104335235A (zh) * 2012-04-05 2015-02-04 诺基亚公司 用户事件内容、关联的装置和方法
CN106982369A (zh) * 2016-01-13 2017-07-25 豪威科技股份有限公司 具有图像数据路径延迟测量的成像系统和方法
CN107203755A (zh) * 2017-05-31 2017-09-26 中国科学院遥感与数字地球研究所 一种用于遥感图像时间序列标记样本自动增新的方法、装置和系统

Also Published As

Publication number Publication date
CN107770560B (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN108492343B (zh) 一种扩充目标识别的训练数据的图像合成方法
US20220114750A1 (en) Map constructing method, positioning method and wireless communication terminal
US11200424B2 (en) Space-time memory network for locating target object in video content
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
WO2020170014A1 (en) Object counting and instance segmentation using neural network architectures with image-level supervision
Bayraktar et al. Analysis of feature detector and descriptor combinations with a localization experiment for various performance metrics
CN112488073A (zh) 目标检测方法、系统、设备及存储介质
JP7007829B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN107145870B (zh) 一种视频中人脸的识别系统
CN105550641B (zh) 基于多尺度线性差分纹理特征的年龄估计方法和系统
CN109522434B (zh) 基于深度学习图像检索的社交图像地理定位方法及系统
CN111144411B (zh) 一种基于显著图的不规则文本修正与识别方法及系统
CN110570433A (zh) 基于生成对抗网络的图像语义分割模型构建方法和装置
CN113111716B (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN112257595A (zh) 视频匹配方法、装置、设备及存储介质
GB2579262A (en) Space-time memory network for locating target object in video content
CN113312973A (zh) 一种手势识别关键点特征提取方法及系统
CN101184235B (zh) 一种从运动图像中提取背景图像的实现方法及装置
CN107358189A (zh) 一种基于多视目标提取的室内环境下物体检测方法
CN115238723A (zh) 一种局部顶点检测方法及装置
CN110555406B (zh) 一种基于Haar-like特征及CNN匹配的视频运动目标识别方法
Ciarfuglia et al. A discriminative approach for appearance based loop closing
CN107770560B (zh) 时间标记识读方法、装置、电子设备及存储介质
CN116543409A (zh) 一种证件目标提取方法、系统、介质、设备及终端
CN115861922A (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant