CN113438480A - 判断视频场景切换的方法、装置及存储介质 - Google Patents

判断视频场景切换的方法、装置及存储介质 Download PDF

Info

Publication number
CN113438480A
CN113438480A CN202110767658.5A CN202110767658A CN113438480A CN 113438480 A CN113438480 A CN 113438480A CN 202110767658 A CN202110767658 A CN 202110767658A CN 113438480 A CN113438480 A CN 113438480A
Authority
CN
China
Prior art keywords
image
sub
auxiliary sub
value
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110767658.5A
Other languages
English (en)
Other versions
CN113438480B (zh
Inventor
梁增龑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Beijing Xiaomi Pinecone Electronic Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Beijing Xiaomi Pinecone Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd, Beijing Xiaomi Pinecone Electronic Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202110767658.5A priority Critical patent/CN113438480B/zh
Publication of CN113438480A publication Critical patent/CN113438480A/zh
Application granted granted Critical
Publication of CN113438480B publication Critical patent/CN113438480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种判断视频场景切换的方法、装置及存储介质。所述方法包括：针对视频中连续的第一帧图像和第二帧图像，分别提取包括图像中心像素点的子图像，得到第一中心子图像和第二中心子图像；根据所述第一中心子图像中各像素点的像素值计算得到所述第一中心子图像的像素均值；并，根据所述第二中心子图像中各像素点的像素值计算得到所述第二中心子图像的像素均值；根据所述第一中心子图像的像素均值和所述第二中心子图像的像素均值的第一绝对差值与预设门限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换。采用本公开的这种方法，可降低判断视频场景切换的计算量以达到对视频进行实时处理的目的。

Description

判断视频场景切换的方法、装置及存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种判断视频场景切换的方法、装置及存储介质。
背景技术
判断视频场景切换是视频分析中的一项技术，在数字视频处理领域中有非常广泛的应用，具体地，它在视频编码、电视画质增强、视频超帧率、影视后期处理、视频语义分析等算法中都有重要的作用。在视频编码中，通过判断视频场景切换来对视频进行分段，然后按每一帧段进行编码，从而可有效提高视频编码的效率。在电视画质增强中，通过判断视频场景切换，可以对不同帧段的场景进行动态对比度提升，以此来提升整体视频的成像效果。在视频超帧率中，通过判断视频场景切换，按不同场景帧段进行运动估计与运动补偿，可避免在场景切换时进行超帧率计算带来的错误。在影视后期处理中，通过判断视频场景切换，可以帮助影视后期人员快速找到想要的视频片段。在视频语义分析中，通过判断视频场景切换，可以对不同场景帧段的语义进行分析，以此增加视频语义分析的准确性。
近年来，随着全高清数字显示设备、4K及8K超高清数字显示设备的广泛使用，大量上述视频算法被应用到了这些设备上。其中判断视频场景切换作为这些算法中必不可少的一项基础技术，发挥了重要的作用。相关技术中，判断视频场景切换的方法大致可以分为两类，一类是基于图像压缩编码的方法，一类是基于图像处理的方法。然而这两类方法不仅计算量大，无法对视频进行实时处理，而且还需要设定很多先验参数，鲁棒性差。
发明内容
为克服相关技术中存在的问题，本公开提供一种判断视频场景切换的方法、装置及存储介质，实现对视频进行实时处理的目的。
根据本公开实施例的第一方面，提供一种判断视频场景切换的方法，所述方法包括：
针对视频中连续的第一帧图像和第二帧图像，分别提取包括图像中心像素点的子图像，得到第一中心子图像和第二中心子图像；
根据所述第一中心子图像中各像素点的像素值计算得到所述第一中心子图像的像素均值；并，
根据所述第二中心子图像中各像素点的像素值计算得到所述第二中心子图像的像素均值；
根据所述第一中心子图像的像素均值和所述第二中心子图像的像素均值的第一绝对差值与预设门限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换。
可选地，所述预设门限值包括预设上限值，所述根据所述第一中心子图像的像素均值和所述第二中心子图像的像素均值的第一绝对差值与预设门限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换，包括：
在所述第一绝对差值大于或等于所述预设上限值的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时发生视频场景切换。
可选地，所述预设门限值包括预设下限值，所述根据所述第一中心子图像的像素均值和所述第二中心子图像的像素均值的第一绝对差值与预设门限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换，包括：
在所述第一绝对差值小于所述预设下限值的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时未发生视频场景切换。
可选地，所述预设门限值包括预设下限值以及预设上限值，所述根据所述第一中心子图像的像素均值和所述第二中心子图像的像素均值的第一绝对差值与预设门限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换，包括：
在所述第一绝对差值大于或等于所述预设下限值、且所述第一绝对差值小于所述预设上限值的情况下，根据辅助子图像对的第二绝对差值与所述预设下限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换；
其中，所述辅助子图像对包括所述第一帧图像中的第一辅助子图像和所述第二帧图像中的第二辅助子图像，所述第二绝对差值表征所述第一辅助子图像的像素均值与所述第二辅助子图像的像素均值的绝对差值，所述第一辅助子图像和所述第二辅助子图像的形状相同，且所述第一辅助子图像在所述第一帧图像中的位置与所述第二辅助子图像在所述第二帧图像中的位置相同。
可选地，所述根据辅助子图像对的第二绝对差值与所述预设下限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换，包括：
在所述辅助子图像对的所述第二绝对差值大于或等于所述预设下限值的情况下，对所述辅助子图像对中的任意辅助子图像进行偏移，得到新的辅助子图像对，并确定所述新的辅助子图像对的第二绝对差值是否小于所述预设下限值；
在确定所述新的辅助子图像对的第二绝对差值小于所述预设下限值的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时未发生视频场景切换。
可选地，所述对所述辅助子图像对中的任意辅助子图像进行偏移，得到新的辅助子图像对，并确定所述新的辅助子图像对的第二绝对差值是否小于所述预设下限值，包括：
针对所述辅助子图像对中的所述第一辅助子图像，将所述第一辅助子图像在预设像素区域内移动，并将每次移动后的所述第一辅助子图像与所述辅助子图像对中的所述第二辅助子图像作为新的辅助子图像对，并确定该新的辅助子图像对的第二绝对差值是否小于所述预设下限值，直到移动所述第一辅助子图像的次数达到第一次数阈值，或者所述新的辅助子图像对的第二绝对差值小于所述预设下限值。
可选地，所述辅助子图像对的对数为多对，所述根据辅助子图像对的第二绝对差值与所述预设下限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换，包括：
确定多对所述辅助子图像对中，第二绝对差值小于所述预设下限值的所述辅助子图像对的个数；
根据所述个数与预设个数的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换。
可选地，所述根据所述个数与预设个数的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换，包括：
在所述个数小于所述预设个数的情况下，针对第二绝对差值小于所述预设下限值的目标辅助子图像对依次进行如下操作：
对该目标辅助子图像对中的任意辅助子图像进行偏移，得到新的辅助子图像对；
在确定所述新的辅助子图像对的第二绝对差值小于所述预设下限值的情况下，对已有的第二绝对差值小于所述预设下限值的所述辅助子图像对的个数执行加一操作，并确定执行所述加一操作后的所述个数是否大于或等于所述预设个数；
在确定执行所述加一操作后的所述个数大于或等于所述预设个数的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时未发生视频场景切换；
在确定执行所述加一操作后的所述个数小于所述预设个数的情况下，继续对下一个目标辅助子图像进行所述操作。
根据本公开实施例的第二方面，提供一种判断视频场景切换的装置，所述装置包括：
提取模块，被配置为针对视频中连续的第一帧图像和第二帧图像，分别提取包括图像中心像素点的子图像，得到第一中心子图像和第二中心子图像；
第一计算模块，被配置为根据所述第一中心子图像中各像素点的像素值计算得到所述第一中心子图像的像素均值；并，
第二计算模块，被配置为根据所述第二中心子图像中各像素点的像素值计算得到所述第二中心子图像的像素均值；
执行模块，被配置为根据所述第一中心子图像的像素均值和所述第二中心子图像的像素均值的第一绝对差值与预设门限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换。
可选地，所述预设门限值包括预设上限值，所述执行模块，包括：
第一执行子模块，被配置为在所述第一绝对差值大于或等于所述预设上限值的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时发生视频场景切换。
可选地，所述预设门限值包括预设下限值，所述执行模块，包括：
第二执行子模块，被配置为在所述第一绝对差值小于所述预设下限值的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时未发生视频场景切换。
可选地，所述预设门限值包括预设下限值以及预设上限值，所述执行模块，包括：
第三执行子模块，被配置为在所述第一绝对差值大于或等于所述预设下限值、且所述第一绝对差值小于所述预设上限值的情况下，根据辅助子图像对的第二绝对差值与所述预设下限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换；
其中，所述辅助子图像对包括所述第一帧图像中的第一辅助子图像和所述第二帧图像中的第二辅助子图像，所述第二绝对差值表征所述第一辅助子图像的像素均值与所述第二辅助子图像的像素均值的绝对差值，所述第一辅助子图像和所述第二辅助子图像的形状相同，且所述第一辅助子图像在所述第一帧图像中的位置与所述第二辅助子图像在所述第二帧图像中的位置相同。
可选地，所述第三执行子模块包括：
偏移子模块，被配置为在所述辅助子图像对的所述第二绝对差值大于或等于所述预设下限值的情况下，对所述辅助子图像对中的任意辅助子图像进行偏移，得到新的辅助子图像对，并确定所述新的辅助子图像对的第二绝对差值是否小于所述预设下限值；
第四执行子模块，被配置为在确定所述新的辅助子图像对的第二绝对差值小于所述预设下限值的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时未发生视频场景切换。
可选地，所述偏移子模块，具体被配置为针对所述辅助子图像对中的所述第一辅助子图像，将所述第一辅助子图像在预设像素区域内移动，并将每次移动后的所述第一辅助子图像与所述辅助子图像对中的所述第二辅助子图像作为新的辅助子图像对，并确定该新的辅助子图像对的第二绝对差值是否小于所述预设下限值，直到移动所述第一辅助子图像的次数达到第一次数阈值，或者所述新的辅助子图像对的第二绝对差值小于所述预设下限值。
可选地，所述辅助子图像对的对数为多对，所述第三执行子模块包括：
第一确定模块，被配置为确定多对所述辅助子图像对中，第二绝对差值小于所述预设下限值的所述辅助子图像对的个数；
第二确定模块，被配置为根据所述个数与预设个数的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换。
可选地，所述第二确定模块，具体被配置为在所述个数小于所述预设个数的情况下，针对第二绝对差值小于所述预设下限值的目标辅助子图像对依次进行如下操作：
对该目标辅助子图像对中的任意辅助子图像进行偏移，得到新的辅助子图像对；
在确定所述新的辅助子图像对的第二绝对差值小于所述预设下限值的情况下，对已有的第二绝对差值小于所述预设下限值的所述辅助子图像对的个数执行加一操作，并确定执行所述加一操作后的所述个数是否大于或等于所述预设个数；
在确定执行所述加一操作后的所述个数大于或等于所述预设个数的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时未发生视频场景切换；
在确定执行所述加一操作后的所述个数小于所述预设个数的情况下，继续对下一个目标辅助子图像进行所述操作。
根据本公开实施例的第三方面，提供一种判断视频场景切换的装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
针对视频中连续的第一帧图像和第二帧图像，分别提取包括图像中心像素点的子图像，得到第一中心子图像和第二中心子图像；
根据所述第一中心子图像中各像素点的像素值计算得到所述第一中心子图像的像素均值；并，
根据所述第二中心子图像中各像素点的像素值计算得到所述第二中心子图像的像素均值；
根据所述第一中心子图像的像素均值和所述第二中心子图像的像素均值的第一绝对差值与预设门限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的判断视频场景切换的方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
采用本公开的这种方式，由于只需计算第一帧图像中的第一中心子图像的像素均值与第二帧图像中的第二中心子图像的像素均值的第一绝对差值，再比较该第一绝对差值与预设门限值的大小关系，即可确定在该视频中从该第一帧图像切换到该第二帧图像时是否发生视频场景切换。因此，本公开的这种判断视频场景切换的方式的计算较小，能够满足对视频进行实时处理的需求。并且，本公开的这种判断视频场景切换的方式中仅仅使用预设门限值这一种先验参数，因此本公开的这种方式能够应用于各种不同类型的视频中以判断是否发生视频场景切换，具有普适性即鲁棒性好的有益效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种判断视频场景切换的方法的流程图。
图2是根据一示例性实施例示出的一种辅助子图像的示意图。
图3是根据一示例性实施例示出的另一种判断视频场景切换的方法的流程图。
图4是根据一示例性实施例示出的一种预设像素区域的示意图。
图5是根据一示例性实施例示出的一种对第一辅助子图像进行偏移后的示意图。
图6是根据一示例性实施例示出的又一种判断视频场景切换的方法的流程图。
图7是根据一示例性实施例示出的一种实验结果对比图。
图8是根据一示例性实施例示出的另一种实验结果对比图。
图9是根据一示例性实施例示出的又一种实验结果对比图。
图10是根据一示例性实施例示出的一种判断视频场景切换的装置的框图。
图11是根据一示例性实施例示出的另一种判断视频场景切换的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
相关技术中，判断视频场景切换的方法大致可以分为两类，一类是基于图像压缩编码的方法，一类是基于图像处理的方法。
在基于图像压缩编码的方法中，一种新的MPEG-2VBR视频场景切换判别法中，利用MPEG-2编码中可变比特率的频域互相关系数，通过该系数与门限值来判断视频场景的切换，该方法速度较快，但需要人为设定门限值，无法自适应处理，且该方法无法处理带有压缩噪声的图片。另一种新的H.264视频场景切换检测算法在编码比特数的基础上加入了AC系数，在高速运动和常规场景切换时有一定的效果，但对于视频流，计算每一帧8*8块的DCT(Discrete Cosine Transform，离散余弦变换)系数比较耗时，且通过8*8DCT得到的63(即除第一个直流分量DC系数之外的剩余63)个交流分量(即AC系数)无法判断有缓慢变换的场景。再一种基于MPEG(Moving Picture Experts Group，动态图像专家组)压缩标准的足球视频场景切换的算法中直接利用MPEG视频编码中的宏块来判断场景切换，该方法需要对宏块进行大量的先验设定，且先验参数只针对足球场景切换有一定效果，当视频中存在压缩噪声时，即使利用先验知识也无法正确判断。
在基于图像处理的方法中，一种基于块匹配运动估计的视频场景切换检测算法，提出了一种基于块匹配法来进行视频场景切换判断的方式，该方法首先匹配前后两帧的图像块，然后通过平均匹配块的SAD值来进行判断，因为需要在参考帧的每一块上进行搜索遍历，所以非常耗时，无法对视频进行实时处理，且对同一场景内的变化过大或场景切换不明显时会出现误判。具体地，该方法对前后两帧图像分块后进行块匹配搜索并计算SAD(Sumof Absolute Difference)值，然后计算所有SAD块的均值，接着对当前所有SAD块的均值与前一次所有SAD块的均值做加权平均，算出该值与当前所有SAD块的均值的比率，设定一个门限值，通过门限值与比率来判断视频场景是否进行了切换。该基于块匹配法来进行视频场景切换判断的计算公式如下：
Figure BDA0003152482520000081
Figure BDA0003152482520000082
Pr eSADavg(n)＝0.5×CurrSADavg(n)+0.5×Pr eSADavg(n-1)；
Figure BDA0003152482520000083
其中，SAD(i,j)是第(i,j)个待插块的最佳匹配块的SAD值，CurrSADavg(n)是所有SAD块的均值，PreSADavg(n)是当前所有SAD块均值与前一次所有SAD块均值的加权平均，K(n)为CurrSADavg(n)与PreSADavg(n-1)的比率，用来与门限值比较，当比率大于门限值时判定场景进行了切换，否则认为场景没有切换，其中，门限值一般为3，fc表征当前图像帧，fr表征当前图像帧的前一图像帧，m表征当前待插块的横坐标，n表征当前待插块的纵坐标，i表征横向偏移量，j表征纵向偏移量，M表征横向的块的总数，N表征纵向的块的总数。
另一种适配分辨率动态变化的低复杂度视频场景切换检测方法，通过分析每一帧图像的亮度直方图来进行场景切换的判断，该方法对明显的场景切换有一定的效果，但当场景切换不明显或者同一场景内有明显变化时会出现误判。
上述两类方法的计算量均较大，且其中有些方法计算量巨大，无法对视频进行实时处理，有些方法需要设定很多先验参数，如在图像压缩编码的方法中，需要设定很多先验参数，分块判断的过程也非常耗时，且由于压缩噪声的影响，判断不同场景切换的鲁棒性并不高。在图像处理的方法中，在全局进行块匹配导致计算量巨大而无法实现对视频进行实时处理，而由于亮度直方图的方法对亮度变化敏感，所以容易导致对同一场景亮度变化的情况误判断，使得判断场景切换的鲁棒性并不高。此外，不论利用上述哪类方法，都没有针对同一场景仅亮度变化的判断。因而上述各种方式的准确性也不高。
有鉴于此，为解决上述相关技术中存在的问题，本公开提供一种判断视频场景切换的方法、装置及存储介质，通过降低判断视频场景切换的计算量来实现对视频进行实时处理的目的，通过降低先验参数的使用量来实现提升鲁棒性的目的。
图1是根据一示例性实施例示出的一种判断视频场景切换的方法的流程图，如图1所示，该判断视频场景切换的方法用于终端(如数字高清显示设备)中，该判断视频场景切换的方法可以包括以下步骤。
在步骤S11中，针对视频中连续的第一帧图像和第二帧图像，分别提取包括图像中心像素点的子图像，得到第一中心子图像和第二中心子图像。
首先应当说明的是，在使用摄像设备拍摄得到视频的过程中，摄像设备的焦点始终对焦在视频图像的中心点。而视频中发生视频场景切换时也是从视频图像的中心位置开始变化的。并且，用户观看视频时，用户视线也对焦在视频图像的中心位置。因此，本公开中的第一中心子图像和第二中心子图像为包括图像中心像素点的子图像。其中，图像中心像素点为图像中的中心位置上的一个或多个像素点。
示例地，针对视频中连续的第一帧图像和第二帧图像，从第一帧图像中提取包括图像中心像素点的子图像，得到第一中心子图像；并从第二帧图像中提取包括图像中心像素点的子图像，得到第二中心子图像。
可选地，第一中心子图像与第二中心子图像的形状/轮廓大小相同，如此，可保障第一中心子图像与第二中心子图像具有相同个数的像素点。和/或，第一中心子图像在第一帧图像中的位置与第二中心子图像在第二帧图像中的位置相同，如此，可保障第一中心子图像与第二中心子图像具有相同中心位置上的像素点。应当说明的是本公开对第一中心子图像与第二中心子图像的形状/轮廓大小不作具体的限制。示例地，第一中心子图像与第二中心子图像的形状/轮廓可以为四边形等多边形，其大小可以为第一帧图像/第二帧图像的尺寸的十分之一大小。
在步骤S12中，根据所述第一中心子图像中各像素点的像素值计算得到所述第一中心子图像的像素均值。
在步骤S13中，根据所述第二中心子图像中各像素点的像素值计算得到所述第二中心子图像的像素均值。
示例地，在步骤S12和步骤S13中，计算中心子图像的像素均值的计算公式为：
Figure BDA0003152482520000101
其中，i表征第一中心子图像或第二中心子图像，t表征第一帧图像或第二帧图像，
Figure BDA0003152482520000102
表征第一帧图像中的第一中心子图像的所有像素点的像素均值，或者，
Figure BDA0003152482520000103
表征第二帧图像中的第二中心子图像的所有像素点的像素均值，
Figure BDA0003152482520000104
表征位置为(m,n)的像素点的像素值。
在步骤S14中，根据所述第一中心子图像的像素均值和所述第二中心子图像的像素均值的第一绝对差值与预设门限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换。
其中，第一绝对差值表征第一中心子图像的像素均值和第二中心子图像的像素均值的差值的绝对值。第一绝对差值的计算公式可以为：adi＝|m0(i)-m1(i)|，其中，adi表征第一绝对差值，m0(i)表征第一中心子图像的像素均值，m1(i)表征第二中心子图像的像素均值。
示例地，假设第一中心子图像的像素均值为35，第二中心子图像的像素均值为40，那么第一中心子图像的像素均值35和第二中心子图像的像素均值40的差值为-5，第一绝对差值则为-5的绝对值即第一绝对差值为5。
由于不同场景的亮度、色度信息(亮色度信息)差异较大，且亮色度信息对应像素点的像素值，因而可根据不同图像帧之间亮色度差异来判断该不同图像帧是否为同一场景。具体地，在本公开中，由于第一绝对差值表征第一中心子图像和第二中心子图像之间的亮色度差异，因此根据第一绝对差值的大小可以判断第一中心子图像和第二中心子图像是否对应同一场景。
一种实施方式，在计算得到第一中心子图像的像素均值和第二中心子图像的像素均值的第一绝对差值之后，根据第一绝对差值与预设门限值的大小关系，可以确定在视频中从第一帧图像切换到第二帧图像时是否发生视频场景切换。
容易理解的是，在第一中心子图像和第二中心子图像的亮色度信息差异较小的情况下，即在第一绝对差值较小的情况下，可以确定从第一帧图像切换到第二帧图像时未发生视频场景切换。而在第一中心子图像和第二中心子图像的亮色度信息差异较大的情况下，即在第一绝对差值较大的情况下，可以确定从第一帧图像切换到第二帧图像时发生了视频场景切换。
示例地，假设预设门限值为10，那么在第一中心子图像的像素均值和第二中心子图像的像素均值的第一绝对差值为5的情况下，可得到第一绝对差值5小于预设门限值10的大小关系。进一步地，根据第一绝对差值5小于预设门限值10的大小关系，可以确定在视频中从第一帧图像切换到第二帧图像时未发生视频场景切换。
再示例地，假设预设门限值仍为10，那么在第一中心子图像的像素均值和第二中心子图像的像素均值的第一绝对差值为35的情况下，可得到第一绝对差值35大于预设门限值10的大小关系。进一步地，根据第一绝对差值35大于预设门限值10的大小关系，可以确定在视频中从第一帧图像切换到第二帧图像时发生了视频场景切换。
采用上述方法，由于只需计算第一帧图像中的第一中心子图像的像素均值与第二帧图像中的第二中心子图像的像素均值的第一绝对差值，再比较该第一绝对差值与预设门限值的大小关系，即可确定在该视频中从该第一帧图像切换到该第二帧图像时是否发生视频场景切换。因此，本公开的这种判断视频场景切换的方式的计算较小，能够满足对视频进行实时处理的需求。并且，本公开的这种判断视频场景切换的方式中仅仅使用预设门限值这一种先验参数，因此本公开的这种方式能够应用于各种不同类型的视频中以判断是否发生视频场景切换，具有普适性即鲁棒性好的有益效果。
可选地，所述预设门限值包括预设上限值，所述根据所述第一中心子图像的像素均值和所述第二中心子图像的像素均值的第一绝对差值与预设门限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换，包括：
在所述第一绝对差值大于或等于所述预设上限值的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时发生视频场景切换。
示例地，假设预设上限值为30，在第一绝对差值为35的情况下，得到第一绝对差值35大于预设上限值30的判断结果，根据该第一绝对差值35大于预设上限值30的判断结果可确定，第一中心子图像与第二中心子图像之间的亮度、色度信息发生较大的变化，因而根据该第一绝对差值35大于预设上限值30的判断结果可确定在视频中从第一帧图像切换到第二帧图像时发生视频场景切换。
可选地，所述预设门限值包括预设下限值，所述根据所述第一中心子图像的像素均值和所述第二中心子图像的像素均值的第一绝对差值与预设门限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换，包括：
在所述第一绝对差值小于所述预设下限值的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时未发生视频场景切换。
示例地，假设预设下限值为10，在第一绝对差值为5的情况下，得到第一绝对差值5小于预设下限值为10的判断结果，根据该第一绝对差值5小于预设下限值为10的判断结果可确定，第一中心子图像与第二中心子图像之间的亮度、色度信息相近即未发生较大的变化，因而根据该第一绝对差值5小于预设下限值为10的判断结果可确定在视频中从第一帧图像切换到第二帧图像时未发生视频场景切换。
可选地，所述预设门限值包括预设下限值以及预设上限值，所述根据所述第一中心子图像的像素均值和所述第二中心子图像的像素均值的第一绝对差值与预设门限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换，包括：
在所述第一绝对差值大于或等于所述预设下限值、且所述第一绝对差值小于所述预设上限值的情况下，根据辅助子图像对的第二绝对差值与所述预设下限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换；其中，所述辅助子图像对包括所述第一帧图像中的第一辅助子图像和所述第二帧图像中的第二辅助子图像，所述第二绝对差值表征所述第一辅助子图像的像素均值与所述第二辅助子图像的像素均值的绝对差值，所述第一辅助子图像和所述第二辅助子图像的形状相同，且所述第一辅助子图像在所述第一帧图像中的位置与所述第二辅助子图像在所述第二帧图像中的位置相同。
可实现的，由于预设门限值可以包括预设下限值以及预设上限值，且预设下限值小于预设上限值。因此存在一种可能的情况，即存在第一绝对差值大于或等于预设下限值、且第一绝对差值小于预设上限值，也即存在第一绝对差值落入预设下限值与预设上限值的区间范围内的情况，该种情况下，无法准确地判断第一帧图像切换到第二帧图像时是否发生视频场景切换。原因在于，第一中心子图像与第二中心子图像之间的第一绝对差值是根据第一中心子图像的像素均值和第二中心子图像的像素均值计算的，而图像像素点的像素值包括亮度和色度信息。在第一中心子图像和第二中心子图像的亮色度差异不大不小的情况下，无法判断第一中心子图像和第二中心子图像的亮色度差异是由场景切换导致的还是仅仅由同场景内的明暗变化(亮度变化)导致。针对这种情况，本公开提出使用辅助子图像对来进行辅助判断。
一种可能的实施方式，可根据一对辅助子图像对的第二绝对差值与预设下限值的大小关系，确定在视频中从第一帧图像切换到第二帧图像时是否发生视频场景切换。其中，辅助子图像对包括第一帧图像中的第一辅助子图像和第二帧图像中的第二辅助子图像，第二绝对差值表征第一辅助子图像的像素均值与第二辅助子图像的像素均值的差的绝对值，第一辅助子图像和第二辅助子图像的形状/轮廓大小相同，且第一辅助子图像在第一帧图像中的位置与第二辅助子图像在第二帧图像中的位置相同。辅助子图像对不等同于第一中心子图像与第二中心子图像的图像对。
示例地，如图2所示，上述一对辅助子图像对中的第一/二帧图像中的第一/二辅助子图像，可以为图2中的任一位置的辅助子图像。
可选地，所述根据一对辅助子图像对的第二绝对差值与所述预设下限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换，包括以下步骤：
步骤一、在所述辅助子图像对的所述第二绝对差值小于所述预设下限值的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时未发生视频场景切换；
步骤二、在所述辅助子图像对的所述第二绝对差值大于或等于所述预设下限值的情况下，对所述辅助子图像对中的任意辅助子图像进行偏移，得到新的辅助子图像对，并确定所述新的辅助子图像对的第二绝对差值是否小于所述预设下限值；
步骤三、在确定所述新的辅助子图像对的第二绝对差值小于所述预设下限值的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时未发生视频场景切换。
在步骤二中，所述对所述辅助子图像对中的任意辅助子图像进行偏移，得到新的辅助子图像对，并确定所述新的辅助子图像对的第二绝对差值是否小于所述预设下限值，具体包括：
针对所述辅助子图像对中的所述第一辅助子图像，将所述第一辅助子图像在预设像素区域内移动，并将每次移动后的所述第一辅助子图像与所述辅助子图像对中的所述第二辅助子图像作为新的辅助子图像对，并确定该新的辅助子图像对的第二绝对差值是否小于所述预设下限值，直到移动所述第一辅助子图像的次数达到第一次数阈值，或者所述新的辅助子图像对的第二绝对差值小于所述预设下限值。
示例地，参见图3，使用一对辅助子图像对的第二绝对差值与预设下限值的大小关系，确定在视频中从第一帧图像切换到第二帧图像时是否发生视频场景切换的具体实施方式包括以下步骤：
在步骤S31中，判断辅助子图像对的第二绝对差值是否小于预设下限值；
在判断得到辅助子图像对的第二绝对差值小于预设下限值的情况下，执行步骤S32，在判断得到辅助子图像对的第二绝对差值大于或等于预设下限值的情况下，执行步骤S33。
在步骤S32中，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时未发生视频场景切换。
在步骤S33中，针对所述辅助子图像对中的所述第一辅助子图像，将所述第一辅助子图像在预设像素区域内移动，并将每次移动后的所述第一辅助子图像与所述辅助子图像对中的所述第二辅助子图像作为新的辅助子图像对，并确定该新的辅助子图像对的第二绝对差值是否小于所述预设下限值，直到移动所述第一辅助子图像的次数达到第一次数阈值，或者所述新的辅助子图像对的第二绝对差值小于所述预设下限值。
其中，将第一辅助子图像在预设像素区域内移动时，可以是按照预设步长向预设方向进行移动。示例地，参见图4，在预设步长为1个像素的情况下，可将图4中的第一辅助子图像在预设像素区域内移动移动9次，得到9种移动后的第一辅助子图像。
在第一次移动第一辅助子图像之后，将移动后的第一辅助子图像如图5所示的第一辅助子图像与辅助子图像对中的第二辅助子图像如图5所示的第二辅助子图像作为新的辅助子图像对，并确定该新的辅助子图像对的第二绝对差值是否小于预设下限值，若该新的辅助子图像对的第二绝对差值小于预设下限值，则停止移动第一辅助子图像，执行步骤S34。若确定该新的辅助子图像对的第二绝对差值大于或等于预设下限值，则再次移动第一辅助子图像，如此往复，直到移动第一辅助子图像的次数达到第一次数阈值(如9次)，或者再次移动后的新的辅助子图像对的第二绝对差值小于预设下限值为止。
其中，计算每次移动后的第一辅助子图像的像素均值的计算公式为：
Figure BDA0003152482520000141
m0(i,j)表征第一帧图像中的第一辅助子图像第j次移动后的像素均值，j∈{1,…,第二次数阈值(以图4为例时，第二次数阈值＝3*3＝9)}，sx与sy为偏移量，以偏移步长为1，预设像素区域如图4所示为例，sx∈{1,2,3}，sy∈{1,2,3}。
计算新的辅助子图像对的第二绝对差值的计算公式为：adi,j＝|m1(i)-m0(i,j)|，其中，adi,j表征新的辅助子图像对的第二绝对差值，m1(i)表征辅助子图像对中的第二辅助子图像的像素均值，m0(i,j)表征辅助子图像对中的第一辅助子图像第j次移动后的像素均值。
在步骤S34中，在确定所述新的辅助子图像对的第二绝对差值小于所述预设下限值的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时未发生视频场景切换。
在步骤S35中，在确定所述新的辅助子图像对的第二绝对差值大于或等于所述预设下限值的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时发生视频场景切换。
应当说明的是，上述步骤S33的另一种实施方式为，针对所述辅助子图像对中的所述第二辅助子图像，将所述第二辅助子图像在预设像素区域内移动，并将每次移动后的所述第二辅助子图像与所述辅助子图像对中的所述第一辅助子图像作为新的辅助子图像对，并确定该新的辅助子图像对的第二绝对差值是否小于所述预设下限值，直到移动所述第二辅助子图像的次数达到第一次数阈值，或者所述新的辅助子图像对的第二绝对差值小于所述预设下限值为止。
上述步骤S33的再一种实施方式为，针对所述辅助子图像对中的所述第一辅助子图像和所述第二辅助子图像，将第一辅助子图像和所述第二辅助子图像在预设像素区域内同向移动，并将每次移动后的所述第一辅助子图像和所述第二辅助子图像作为新的辅助子图像对，并确定该新的辅助子图像对的第二绝对差值是否小于所述预设下限值，直到同时移动所述第一辅助子图像和所述第二辅助子图像次数达到第一次数阈值，或者所述新的辅助子图像对的第二绝对差值小于所述预设下限值为止。
可选地，所述辅助子图像对的对数可能为多对，示例地，可如图2中的4对，所述根据辅助子图像对的第二绝对差值与所述预设下限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换，包括：
确定多对所述辅助子图像对中，第二绝对差值小于所述预设下限值的所述辅助子图像对的个数；根据所述个数与预设个数的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换。
其中，预设个数小于或等于辅助子图像对的对数。
具体地，如图6所示，在辅助子图像对的对数为多对的情况下，通过如下方式判断在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换：
在步骤S61中，确定多对所述辅助子图像对中，第二绝对差值小于所述预设下限值的所述辅助子图像对的个数；
在步骤S62中，在所述个数大于或等于所述预设个数的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时未发生视频场景切换；
在步骤S63中，在所述个数小于所述预设个数的情况下，针对第二绝对差值小于所述预设下限值的目标辅助子图像对依次进行如下操作：
S631、对该目标辅助子图像对中的任意辅助子图像进行偏移，得到新的辅助子图像对。
其中，对该目标辅助子图像对中的任意辅助子图像进行偏移，得到新的辅助子图像对的方式与上述步骤S33的实施例相类似，可为：
针对目标辅助子图像对中的第一辅助子图像，将第一辅助子图像在预设像素区域内移动，并将每次移动后的第一辅助子图像与目标辅助子图像对中的第二辅助子图像作为新的目标辅助子图像对，并确定该新的目标辅助子图像对的第二绝对差值是否小于预设下限值，直到移动第一辅助子图像的次数达到第二次数阈值，或者新的目标辅助子图像对的第二绝对差值小于预设下限值时为止。
S632、在确定所述新的辅助子图像对的第二绝对差值小于所述预设下限值的情况下，对已有的第二绝对差值小于所述预设下限值的所述辅助子图像对的个数执行加一操作，并确定执行所述加一操作后的所述个数是否大于或等于所述预设个数。
示例地，假设辅助子图像对的对数为4，预设个数为3。那么，若在步骤S61中，确定4对辅助子图像对中，第二绝对差值小于预设下限值的辅助子图像对的为1，则对已有的第二绝对差值小于预设下限值的辅助子图像对的个数1进行加1操作，得到当前个数为2。进一步地，确定执行加一操作后的个数2是否大于或等于预设个数3。
S633、在确定执行所述加一操作后的所述个数大于或等于所述预设个数的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时未发生视频场景切换。
S634、在确定执行所述加一操作后的所述个数小于所述预设个数的情况下，继续对下一个目标辅助子图像进行所述操作。
在确定执行加一操作后的个数2小于预设个数3的情况下，继续对下一个目标辅助子图像对进行所述操作。以上述步骤S632的示例继续说明，在确定执行加一操作后的个数2小于预设个数3的情况下，继续对下一个目标辅助子图像对进行所述操作。具体可以为：
对该下一个目标辅助子图像对中的任意辅助子图像进行偏移，得到新的辅助子图像对。在确定新的辅助子图像对的第二绝对差值小于预设下限值的情况下，对已有的第二绝对差值小于预设下限值的辅助子图像对的个数2执行加一操作，并确定执行加一操作后的个数3是否大于或等于预设个数3。在确定执行加一操作后的个数3大于或等于预设个数3的情况下，确定在视频中从第一帧图像切换到第二帧图像时未发生视频场景切换。
综上所述，在所述预设门限值包括不相同的预设下限值以及预设上限值的情况下，上述判断视频场景切换的方法用公式可以表示为：
Figure BDA0003152482520000171
其中，sc表征视频场景切换值，Tlow为预设下限值，Tup为预设上限值。ad2表征第一绝对差值。当ad2大于等于Tup时，表明第一帧图像和第二帧图像之间的亮色度发生了较大的变化，此时判定从第一帧图像切换到第二帧图像时发生视频场景切换，用sc的值为1表征该判定结果。
当ad2小于Tlow时，表明第一帧图像和第二帧图像之间的亮色度基本没有发生变化，此时判定从第一帧图像切换到第二帧图像时没有发生视频场景切换，用sc的值为-1表征该判定结果。
当ad2小于Tup且大于等于Tlow时，表明有可能是同一场景中部分区域的亮度(明暗)差异发生了变化，此时需要辅助子图像对进行辅助判断。本公开中，优选将Tlow值设置为10、Tup值设置为30。
使用本公开的上述判断视频场景切换的方法与相关技术中的适配分辨率动态变化的低复杂度视频场景切换检测方法(简称对比方法)对多个视频进行实验，得到如图7-9所示的实验结果，图7-9中的正三角表征本公开的判断视频场景切换的方法，倒三角表征对比方法。图7-9所示的实验结果对应的终端性能如下表1所示。
Figure BDA0003152482520000172
Figure BDA0003152482520000181
表1
根据图7-9所示的实验结果可知，在绿皮书片段中，本公开的判断视频场景切换的方法对视频场景切换位置的判断全部正确，而对比方法出现了一次误判。在流浪地球(thewandering earth)片段中，本公开的判断视频场景切换的方法和对比方法对所有的场景切换位置都做出了正确判断，且本文方法对非场景切换位置仅出现两次误判，而对比方法对非场景切换位置出现了连续多次误判。在寻梦环游记(Coco)片段中，本公开的判断视频场景切换的方法和对比方法对场景切换位置都做出了正确判断，且本公开的判断视频场景切换的方法对非场景切换位置仅出现三次误判，而对比方法对非场景切换位置出现六次误判。
通过图7-9所示的三组对比数据可知，虽然当场景中出现过于复杂的纹理和过多亮度不均区域时，可能会导致本公开的方法出现误判。但是，因为本公开的判断视频场景切换的方法在考虑不同场景切换特性的基础上，也考虑了同一场景中部分区域发生变化的特性，所以相较于相关技术中的方式，本公开的这种方式在判断视频场景切换时的鲁棒性/准确率更高。
基于表1所示时间性能测试结果，因为本公开的方法只根据几个(如5个)子图像进行计算和判断，所以判断一次视频场景切换只需0.6ms左右，而对比方法判断一次频场景切换需要700ms左右，可见，相较于对比方法，本公开的这种方式快了一千一百多倍。因此，本公开的这一种判断视频场景切换的方法能够很好的满足对视频进行实时处理的需求。
图10是根据一示例性实施例示出的一种判断视频场景切换的装置框图。参照图10，该装置10包括提取模块121，第一计算模块122、第二计算模块123和执行模块124。
该提取模块121，被配置为针对视频中连续的第一帧图像和第二帧图像，分别提取包括图像中心像素点的子图像，得到第一中心子图像和第二中心子图像；
该第一计算模块122，被配置为根据所述第一中心子图像中各像素点的像素值计算得到所述第一中心子图像的像素均值；并，
该第二计算模块123，被配置为根据所述第二中心子图像中各像素点的像素值计算得到所述第二中心子图像的像素均值；
该执行模块124，被配置为根据所述第一中心子图像的像素均值和所述第二中心子图像的像素均值的第一绝对差值与预设门限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换。
采用这种装置，由于只需计算第一帧图像中的第一中心子图像的像素均值与第二帧图像中的第二中心子图像的像素均值的第一绝对差值，再比较该第一绝对差值与预设门限值的大小关系，即可确定在该视频中从该第一帧图像切换到该第二帧图像时是否发生视频场景切换。因此，本公开的这种判断视频场景切换的方式的计算较小，能够满足对视频进行实时处理的需求。并且，本公开的这种判断视频场景切换的方式中仅仅使用预设门限值这一种先验参数，因此本公开的这种方式能够应用于各种不同类型的视频中以判断是否发生视频场景切换，具有普适性即鲁棒性好的有益效果。
可选地，所述预设门限值包括预设上限值，所述执行模块124，包括：
第一执行子模块，被配置为在所述第一绝对差值大于或等于所述预设上限值的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时发生视频场景切换。
可选地，所述预设门限值包括预设下限值，所述执行模块124，包括：
第二执行子模块，被配置为在所述第一绝对差值小于所述预设下限值的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时未发生视频场景切换。
可选地，所述预设门限值包括预设下限值以及预设上限值，所述执行模块124，包括：
第三执行子模块，被配置为在所述第一绝对差值大于或等于所述预设下限值、且所述第一绝对差值小于所述预设上限值的情况下，根据辅助子图像对的第二绝对差值与所述预设下限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换；
其中，所述辅助子图像对包括所述第一帧图像中的第一辅助子图像和所述第二帧图像中的第二辅助子图像，所述第二绝对差值表征所述第一辅助子图像的像素均值与所述第二辅助子图像的像素均值的绝对差值，所述第一辅助子图像和所述第二辅助子图像的形状相同，且所述第一辅助子图像在所述第一帧图像中的位置与所述第二辅助子图像在所述第二帧图像中的位置相同。
可选地，所述第三执行子模块包括：
偏移子模块，被配置为在所述辅助子图像对的所述第二绝对差值大于或等于所述预设下限值的情况下，对所述辅助子图像对中的任意辅助子图像进行偏移，得到新的辅助子图像对，并确定所述新的辅助子图像对的第二绝对差值是否小于所述预设下限值；
第四执行子模块，被配置为在确定所述新的辅助子图像对的第二绝对差值小于所述预设下限值的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时未发生视频场景切换。
可选地，所述偏移子模块，具体被配置为针对所述辅助子图像对中的所述第一辅助子图像，将所述第一辅助子图像在预设像素区域内移动，并将每次移动后的所述第一辅助子图像与所述辅助子图像对中的所述第二辅助子图像作为新的辅助子图像对，并确定该新的辅助子图像对的第二绝对差值是否小于所述预设下限值，直到移动所述第一辅助子图像的次数达到第一次数阈值，或者所述新的辅助子图像对的第二绝对差值小于所述预设下限值。
可选地，所述辅助子图像对的对数为多对，所述第三执行子模块包括：
第一确定模块，被配置为确定多对所述辅助子图像对中，第二绝对差值小于所述预设下限值的所述辅助子图像对的个数；
第二确定模块，被配置为根据所述个数与预设个数的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换。
可选地，所述第二确定模块，具体被配置为在所述个数小于所述预设个数的情况下，针对第二绝对差值小于所述预设下限值的目标辅助子图像对依次进行如下操作：
对该目标辅助子图像对中的任意辅助子图像进行偏移，得到新的辅助子图像对；
在确定所述新的辅助子图像对的第二绝对差值小于所述预设下限值的情况下，对已有的第二绝对差值小于所述预设下限值的所述辅助子图像对的个数执行加一操作，并确定执行所述加一操作后的所述个数是否大于或等于所述预设个数；
在确定执行所述加一操作后的所述个数大于或等于所述预设个数的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时未发生视频场景切换；
在确定执行所述加一操作后的所述个数小于所述预设个数的情况下，继续对下一个目标辅助子图像进行所述操作。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的判断视频场景切换方法的步骤。
图11是根据一示例性实施例示出的一种用于判断视频场景切换的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图11，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述判断视频场景切换的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述判断视频场景切换的方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述判断视频场景切换的方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的判断视频场景切换的方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (11)

1.一种判断视频场景切换的方法，其特征在于，所述方法包括：
针对视频中连续的第一帧图像和第二帧图像，分别提取包括图像中心像素点的子图像，得到第一中心子图像和第二中心子图像；
根据所述第一中心子图像中各像素点的像素值计算得到所述第一中心子图像的像素均值；并，
根据所述第二中心子图像中各像素点的像素值计算得到所述第二中心子图像的像素均值；
根据所述第一中心子图像的像素均值和所述第二中心子图像的像素均值的第一绝对差值与预设门限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换。
2.根据权利要求1所述的方法，其特征在于，所述预设门限值包括预设上限值，所述根据所述第一中心子图像的像素均值和所述第二中心子图像的像素均值的第一绝对差值与预设门限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换，包括：
在所述第一绝对差值大于或等于所述预设上限值的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时发生视频场景切换。
3.根据权利要求1所述的方法，其特征在于，所述预设门限值包括预设下限值，所述根据所述第一中心子图像的像素均值和所述第二中心子图像的像素均值的第一绝对差值与预设门限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换，包括：
在所述第一绝对差值小于所述预设下限值的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时未发生视频场景切换。
4.根据权利要求1所述的方法，其特征在于，所述预设门限值包括预设下限值以及预设上限值，所述根据所述第一中心子图像的像素均值和所述第二中心子图像的像素均值的第一绝对差值与预设门限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换，包括：
在所述第一绝对差值大于或等于所述预设下限值、且所述第一绝对差值小于所述预设上限值的情况下，根据辅助子图像对的第二绝对差值与所述预设下限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换；
其中，所述辅助子图像对包括所述第一帧图像中的第一辅助子图像和所述第二帧图像中的第二辅助子图像，所述第二绝对差值表征所述第一辅助子图像的像素均值与所述第二辅助子图像的像素均值的绝对差值，所述第一辅助子图像和所述第二辅助子图像的形状相同，且所述第一辅助子图像在所述第一帧图像中的位置与所述第二辅助子图像在所述第二帧图像中的位置相同。
5.根据权利要求4所述的方法，其特征在于，所述根据辅助子图像对的第二绝对差值与所述预设下限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换，包括：
在所述辅助子图像对的所述第二绝对差值大于或等于所述预设下限值的情况下，对所述辅助子图像对中的任意辅助子图像进行偏移，得到新的辅助子图像对，并确定所述新的辅助子图像对的第二绝对差值是否小于所述预设下限值；
在确定所述新的辅助子图像对的第二绝对差值小于所述预设下限值的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时未发生视频场景切换。
6.根据权利要求5所述的方法，其特征在于，所述对所述辅助子图像对中的任意辅助子图像进行偏移，得到新的辅助子图像对，并确定所述新的辅助子图像对的第二绝对差值是否小于所述预设下限值，包括：
针对所述辅助子图像对中的所述第一辅助子图像，将所述第一辅助子图像在预设像素区域内移动，并将每次移动后的所述第一辅助子图像与所述辅助子图像对中的所述第二辅助子图像作为新的辅助子图像对，并确定该新的辅助子图像对的第二绝对差值是否小于所述预设下限值，直到移动所述第一辅助子图像的次数达到第一次数阈值，或者所述新的辅助子图像对的第二绝对差值小于所述预设下限值。
7.根据权利要求4所述的方法，其特征在于，所述辅助子图像对的对数为多对，所述根据辅助子图像对的第二绝对差值与所述预设下限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换，包括：
确定多对所述辅助子图像对中，第二绝对差值小于所述预设下限值的所述辅助子图像对的个数；
根据所述个数与预设个数的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换。
8.根据权利要求7所述的方法，其特征在于，所述根据所述个数与预设个数的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换，包括：
在所述个数小于所述预设个数的情况下，针对第二绝对差值小于所述预设下限值的目标辅助子图像对依次进行如下操作：
对该目标辅助子图像对中的任意辅助子图像进行偏移，得到新的辅助子图像对；
在确定所述新的辅助子图像对的第二绝对差值小于所述预设下限值的情况下，对已有的第二绝对差值小于所述预设下限值的所述辅助子图像对的个数执行加一操作，并确定执行所述加一操作后的所述个数是否大于或等于所述预设个数；
在确定执行所述加一操作后的所述个数大于或等于所述预设个数的情况下，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时未发生视频场景切换；
在确定执行所述加一操作后的所述个数小于所述预设个数的情况下，继续对下一个目标辅助子图像进行所述操作。
9.一种判断视频场景切换的装置，其特征在于，所述装置包括：
提取模块，被配置为针对视频中连续的第一帧图像和第二帧图像，分别提取包括图像中心像素点的子图像，得到第一中心子图像和第二中心子图像；
第一计算模块，被配置为根据所述第一中心子图像中各像素点的像素值计算得到所述第一中心子图像的像素均值；并，
第二计算模块，被配置为根据所述第二中心子图像中各像素点的像素值计算得到所述第二中心子图像的像素均值；
执行模块，被配置为根据所述第一中心子图像的像素均值和所述第二中心子图像的像素均值的第一绝对差值与预设门限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换。
10.一种判断视频场景切换的装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
针对视频中连续的第一帧图像和第二帧图像，分别提取包括图像中心像素点的子图像，得到第一中心子图像和第二中心子图像；
根据所述第一中心子图像中各像素点的像素值计算得到所述第一中心子图像的像素均值；并，
根据所述第二中心子图像中各像素点的像素值计算得到所述第二中心子图像的像素均值；
根据所述第一中心子图像的像素均值和所述第二中心子图像的像素均值的第一绝对差值与预设门限值的大小关系，确定在所述视频中从所述第一帧图像切换到所述第二帧图像时是否发生视频场景切换。
11.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1～8中任一项所述方法的步骤。
CN202110767658.5A 2021-07-07 2021-07-07 判断视频场景切换的方法、装置及存储介质 Active CN113438480B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110767658.5A CN113438480B (zh) 2021-07-07 2021-07-07 判断视频场景切换的方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110767658.5A CN113438480B (zh) 2021-07-07 2021-07-07 判断视频场景切换的方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113438480A true CN113438480A (zh) 2021-09-24
CN113438480B CN113438480B (zh) 2022-11-11

Family

ID=77759534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110767658.5A Active CN113438480B (zh) 2021-07-07 2021-07-07 判断视频场景切换的方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113438480B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6014183A (en) * 1997-08-06 2000-01-11 Imagine Products, Inc. Method and apparatus for detecting scene changes in a digital video stream
JP2006270301A (ja) * 2005-03-23 2006-10-05 Nippon Hoso Kyokai <Nhk> シーンチェンジ検出装置およびシーンチェンジ検出プログラム
CN104811586A (zh) * 2015-04-24 2015-07-29 福建星网锐捷安防科技有限公司 场景变换视频智能分析方法、装置、网络摄像机及监控系统
CN105635554A (zh) * 2014-10-30 2016-06-01 展讯通信（上海）有限公司 自动对焦控制方法及装置
CN105827963A (zh) * 2016-03-22 2016-08-03 维沃移动通信有限公司 一种拍照过程中场景变化检测方法及移动终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6014183A (en) * 1997-08-06 2000-01-11 Imagine Products, Inc. Method and apparatus for detecting scene changes in a digital video stream
JP2006270301A (ja) * 2005-03-23 2006-10-05 Nippon Hoso Kyokai <Nhk> シーンチェンジ検出装置およびシーンチェンジ検出プログラム
CN105635554A (zh) * 2014-10-30 2016-06-01 展讯通信（上海）有限公司 自动对焦控制方法及装置
CN104811586A (zh) * 2015-04-24 2015-07-29 福建星网锐捷安防科技有限公司 场景变换视频智能分析方法、装置、网络摄像机及监控系统
CN105827963A (zh) * 2016-03-22 2016-08-03 维沃移动通信有限公司 一种拍照过程中场景变化检测方法及移动终端

Also Published As

Publication number Publication date
CN113438480B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN109345485B (zh) 一种图像增强方法、装置、电子设备及存储介质
CN110708559B (zh) 图像处理方法、装置及存储介质
CN110557547B (zh) 镜头位置调整方法及装置
CN111709890B (zh) 一种图像增强模型的训练方法、装置及存储介质
WO2020042826A1 (zh) 视频流降噪方法和装置、电子设备及存储介质
CN108154465B (zh) 图像处理方法及装置
CN110619350B (zh) 图像检测方法、装置及存储介质
CN108154466B (zh) 图像处理方法及装置
CN105472239A (zh) 照片处理方法及装置
CN105631797A (zh) 水印添加方法及装置
CN109784164B (zh) 前景识别方法、装置、电子设备及存储介质
CN107025441B (zh) 肤色检测方法及装置
CN112188091B (zh) 人脸信息识别方法、装置、电子设备及存储介质
CN111753783A (zh) 手指遮挡图像检测方法、装置及介质
CN110796012B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN112927122A (zh) 水印去除方法、装置及存储介质
US20210133499A1 (en) Method and apparatus for training image processing model, and storage medium
CN110266914B (zh) 图像拍摄方法、装置及计算机可读存储介质
CN112330717B (zh) 目标跟踪方法及装置、电子设备和存储介质
CN107730443B (zh) 图像处理方法、装置及用户设备
CN113888543A (zh) 肤色分割方法、装置、电子设备及存储介质
CN113438480B (zh) 判断视频场景切换的方法、装置及存储介质
CN104539846A (zh) 拍摄图片的方法、装置及终端
CN109427036B (zh) 皮肤颜色的处理方法和装置
CN107025638B (zh) 图像处理的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant