CN111970510A - 视频处理方法、存储介质及计算装置 - Google Patents

视频处理方法、存储介质及计算装置 Download PDF

Info

Publication number
CN111970510A
CN111970510A CN202010674483.9A CN202010674483A CN111970510A CN 111970510 A CN111970510 A CN 111970510A CN 202010674483 A CN202010674483 A CN 202010674483A CN 111970510 A CN111970510 A CN 111970510A
Authority
CN
China
Prior art keywords
coded
current image
value
image
switching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010674483.9A
Other languages
English (en)
Other versions
CN111970510B (zh
Inventor
陈瑶
方瑞东
林聚财
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010674483.9A priority Critical patent/CN111970510B/zh
Publication of CN111970510A publication Critical patent/CN111970510A/zh
Application granted granted Critical
Publication of CN111970510B publication Critical patent/CN111970510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请属于图像处理技术领域，特别是涉及视频处理方法、存储介质及计算装置，视频在处理的中间过程包括多帧待编码图像和多帧已编码图像，视频处理方法包括：比较当前待编码图像与前一帧图像的切换差异，并基于当前待编码图像之前的多帧已编码图像对切换差异进行处理，以确定当前待编码图像的切换强度值；获取当前待编码图像的图像特征；根据图像特征确定当前待编码图像的天气类型值；根据切换强度值和天气类型值对当前待编码图像进行处理。本申请实施例的视频处理方法可以提高视频处理算法的普适性、鲁棒性和准确性，得到更高质量的编码输出或者提升编码效率。

Description

视频处理方法、存储介质及计算装置
技术领域
本申请属于图像处理技术领域，特别是涉及一种视频处理方法、存储介质及计算装置。
背景技术
视频编码，是指通过特定的压缩技术，将某个视频格式的文件转换成另一种视频格式文件的方式。在进行视频编码处理时，场景切换检测有助于提高视频压缩的效率，在视频压缩技术中具有很重要的作用。视频序列通常包含多个独立的场景，场景切换检测的目的就是准确地判断场景切换的帧，从而将视频序列分割成一系列连续的图像组(GOP)。在视频编码过程中，不同类型天气对视频编码有较大的影响。如何提高视频编码的准确性、效率和普适性具有重要意义。
发明内容
本申请主要解决的技术问题是如何提高场景切换帧判断的准确性，减少天气对视频处理的影响，从而提供一种视频处理方法、存储介质及计算装置。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种视频处理方法，视频在处理的中间过程包括多帧待编码图像和多帧已编码图像，方法包括：比较当前待编码图像与前一帧图像的切换差异，并基于当前待编码图像之前的多帧已编码图像对切换差异进行处理，以确定当前待编码图像的切换强度值；获取当前待编码图像的图像特征；根据图像特征确定当前待编码图像的天气类型值；根据切换强度值和天气类型值对当前待编码图像进行处理。
其中，比较当前待编码图像与前一帧图像的切换差异，并基于当前待编码图像之前的多帧已编码图像对切换差异进行处理，以确定当前待编码图像的切换强度值，包括：
通过运动估计方法比较当前待编码图像与前一帧图像的运动差异；
基于运动差异确定当前待编码图像是否为候选切换帧；
若是，则基于直方图比较当前待编码图像与前一帧图像的切换差异；
基于当前待编码图像之前的多帧已编码图像的直方图对切换差异进行归一化处理，以确定当前待编码图像的切换强度值。
其中，基于当前待编码图像之前的多帧已编码图像的直方图对切换差异进行归一化处理，以确定当前待编码图像的切换强度值，包括：
基于当前待编码图像之前的多帧已编码图像的直方图对切换差异进行归一化处理，获得当前待编码图像的第一归一化值；
将第一归一化值与第一阈值和第二阈值比较，第一阈值小于第二阈值；
若第一归一化值小于第一阈值，则当前待编码图像的切换强度值表示当前待编码图像不是场景切换帧；
若第一归一化值大于第二阈值，则当前待编码图像的切换强度值表示当前待编码图像为场景切换帧；
若第一归一化值大于第一阈值，且小于第二阈值；则当前待编码图像的切换强度值表示当前待编码图像为场景渐变切换帧。
其中，视频处理方法还包括：检测连续多帧待编码图像的第一归一化值与第一阈值和第二阈值的比较结果；
若预设数量的连续多帧待编码图像的第一归一化值均大于第一阈值，则以第一个大于第一阈值的待编码图像作为起始场景切换帧；
计算相隔预设固定数量帧的累积直方图的差异进行归一化处理，获得相隔预设固定数量帧待编码图像的第二归一化值；
将第二归一化值与第二阈值比较，预设数量的连续多帧待编码图像的第一归一化值与第一阈值比较；
若当前待编码图像的第二归一化值大于第二阈值，且预设数量的连续多帧待编码图像的第一归一化值小于第一阈值，则以当前待编码图像作为终止场景渐变切换帧。
其中，根据图像特征确定当前待编码图像的天气类型值，包括：
根据图像平均亮度、亮像素占比、锐度以及灰度共生矩阵对比度作为图像特征确定当前待编码图像的天气类型值。
其中，根据图像平均亮度、亮像素占比、锐度以及灰度共生矩阵对比度作为图像特征确定当前待编码图像的天气类型值，包括：
根据图像平均亮度与亮度阈值比较，和根据亮像素占比与预设比值进行比较；
若图像平均亮度小于等于亮度阈值，和亮像素占比小于等于预设比值，则确定当前待编码图像的天气类型值表示夜晚场景；
若图像平均亮度大于亮度阈值，或亮像素占比大于预设比值，则确定当前待编码图像的天气类型值表示白天场景；
根据锐度和灰度共生矩阵对比度与预设阈值进行比较，以及平均亮度与亮度阈值的比较，以确定当前待编码图像的天气类型值表示雨天、晴天或雾天。
其中，根据切换强度值和天气类型值对当前待编码图像进行处理，包括：
根据切换强度值，确定当前待编码图像是否为场景切换帧；
若是，则当前待编码图像重新计算量化参数，干预编码过程中的码率分配；
根据天气类型值对当前待编码图像进行预处理。
其中，根据天气类型值对当前待编码图像进行预处理，包括：
根据天气类型值对当前待编码图像进行去雾处理、锐化处理、去雨处理、图像去噪或图像增强中的任意一种或几种的组合处理。
本申请还包括第二种技术方案，一种存储介质，存储介质内部存储有计算机程序，计算机程序用于被执行以实上述的视频处理方法。
本申请还包括第三种技术方案，一种计算装置，包括至少一个处理单元和至少一个存储单元，存储单元存储有计算机程序，当程序被处理单元执行时，使得处理单元执行上述视频处理方法的步骤。
本申请的有益效果是：区别于现有技术的情况，本申请实施例的视频处理方法，通过比较当前待编码图像与前一帧图像的切换差异，且考虑多帧已编码图像，综合考虑切换差异，形成切换强度值，切换强度值可以用于判断当前待编码图像是否为场景切换帧，以便于提高判断切换帧的准确度；本申请实施例的视频处理方法，不仅对当前帧进行场景切换检测，而且对场景天气状况进行识别，获得切换强度值和天气类型值，可以干预后续编码过程或指导对视频做进一步预处理，可以提高视频处理算法的普适性、鲁棒性和准确性，从而得到更高质量的编码输出或者提升编码效率。
附图说明
图1是本申请视频处理方法一实施例的步骤示意图；
图2是本申请视频处理另一实施例的结构示意图；
图3是本申请视频处理再一实施例的步骤示意图；
图4是本申请确定起始场景切换帧和终止场景渐变切换帧一实施例的步骤示意图；
图5是本申请视频处理又一实施例的步骤示意图；
图6是本申请视频处理又再一实施例的步骤示意图；
图7是本申请确定当前待编码图像的天气类型值表示雨天、晴天或雾天一实施例的步骤示意图；
图8是本申请确定当前待编码图像的天气类型值表示雨天、晴天或雾天另一实施例的步骤示意图
图9是本申请计算机存储介质一实施例的结构框图；
图10是本申请计算装置一实施例的结构框图。
具体实施方式
为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。
本申请实施例提供一种视频处理方法，其中，视频在处理的中间过程包括多帧待编码图像和多帧已编码图像，如图1所示，本申请的视频处理方法具体包括：
步骤100：比较当前待编码图像与前一帧图像的切换差异，并基于当前待编码图像之前的多帧已编码图像对切换差异进行处理，以确定当前待编码图像的切换强度值。
本申请实施例中，视频通常包含多个独立的场景，一个场景可以定义为一个连续的事件或一组连续的动作。场景之间发生变化的视频帧为场景切换帧，通过判断场景切换帧，可以有助于提高视频压缩的效率。
本申请实施例不仅通过比较当前待编码图像与前一帧图像的切换差异，而且还考虑多帧已编码图像，综合考虑切换差异，形成切换强度值，切换强度值可以用于判断当前待编码图像是否为场景切换帧图像，以便于提高判断切换帧的准确度。
步骤200：获取当前待编码图像的图像特征。
本申请实施例中，图像特征包括图像平均亮度、亮像素占比、锐度以及灰度共生矩阵对比度等，在其他实施例中，也可以获取其他图像特征。
步骤300：根据图像特征确定当前待编码图像的天气类型值。
本申请实施例中，通过将图像特征与预设的阈值进行比较，以判断天气类型，其中预设的阈值为根据图像特征的具体情况预先设置的范围值。天气类型值用于表示天气状况，例如夜晚天气类型值为0，晴天/多云类型值为1，阴天类型值为2，雨天类型值为3，雾天类型值为4，其他无法归入上述类别的天气类型值为5，以上仅为举例，在其他实施例中，也可以采用其他的值表示天气类型值。
步骤400：根据切换强度值和天气类型值对当前待编码图像进行处理。
本申请实施例中，可以根据天气类型值对当前待编码图像进行预处理，以使得当前的图像更加清晰或质量更高，提高视频编码输出的质量。通过切换强度值可以判断当前待编码图像是否有场景变化，以便于指导对当前待编码图像进行编码处理。
以上为本申请实施例的核心内容，通过比较当前待编码图像与前一帧图像的切换差异，且考虑多帧已编码图像，综合考虑切换差异，形成切换强度值，切换强度值可以用于判断当前待编码图像是否为场景切换帧，以便于提高判断切换帧的准确度；本申请实施例的视频处理方法，不仅对当前帧进行场景切换检测，而且对场景天气状况进行识别，获得切换强度值和天气类型值，可以干预后续编码过程或指导对视频做进一步处理，从而得到更高质量的编码输出或者提升编码效率。
如图2所示，本申请实施例中，步骤100比较当前待编码图像与前一帧图像的切换差异，并基于当前待编码图像之前的多帧已编码图像对切换差异进行处理，以确定当前待编码图像的切换强度值，包括：
步骤110：通过运动估计方法比较当前待编码图像与前一帧图像的运动差异。
本申请实施例中，当前待编码图像I(x,y)，其中，x，y分别代表前待编码图像的水平和垂直方向，M，N分别代表前待编码图像的宽与高。
具体地，运动固定方法比较当前待编码图像与前一帧图像的运动差异包括以下步骤：
(a)将当前待编码图像分成多个宏块，宏块大小为k×k，其中k由用户设定，例如16，32，64等，搜索当前待编码图像的宏块在前一帧对应的宏块邻域窗口内的最佳匹配块，该匹配块在获取时可以采取任意一种运动搜索算法，比如菱形搜索算法、全局搜索算法等。
(b)计算当前宏块与最优匹配块的绝对误差和值，公式如下：
Figure BDA0002583553720000061
其中，Lerror代表当前宏块与最优匹配块的绝对误差和，Iprev(x,y)代表前一帧的最优匹配宏块。当前待编码图像与前一帧图像的运动差异通过当前宏块与最优匹配块的绝对误差和值表示。
步骤120：基于运动差异确定当前待编码图像是否为候选切换帧。
具体地，本申请实施例中，设定一个阈值T(由用户自行设定)，判断是否有一半以上宏块的绝对误差和超过阈值T，如果是，则确定当前待编码图像为场景切换候选帧，否则不是场景切换候选帧。
若是，步骤130：则基于直方图比较当前待编码图像与前一帧图像的切换差异。
本申请实施例中，如果当前待编码图像是候选切换帧，计算当前场景切换候选帧(第n帧)与前一帧Y分量直方图的绝对差值之和，即为切换差异，具体公式为：
Figure BDA0002583553720000071
其中，L为图像的灰度级，Hn(i)为第n帧待编码图像直方图中灰度值为i的像素的总数。
步骤140：基于当前待编码图像之前的多帧已编码图像的直方图对切换差异进行归一化处理，以确定当前待编码图像的切换强度值。
如图3所示，本申请实施例中，步骤140包括：
步骤141：基于当前待编码图像之前的多帧已编码图像的直方图对切换差异进行归一化处理，获得当前待编码图像的第一归一化值。
具体地，本申请实施例中，利用多帧已编码图像的直方图均值对切换差异H(n)进行归一化处理。归一化处理所采用的公式为：
Figure BDA0002583553720000072
式中，分母表示当前待编码图像前面所有已编码图像的灰度直方图均值。当判断发生了场景切换时，从切换后的第一帧开始数值n需要重新计数，即Hl(n)表示在同一个场景中当前待编码图像的第一归一化值。
步骤142：将第一归一化值与第一阈值和第二阈值比较，第一阈值小于第二阈值。第一阈值和第二阈值为用户设定的值，其中，为了便于理解，本申请实施例中，T1表示第一阈值，T2表示第二阈值。
若第一归一化值小于第一阈值，即Hl(n)<T1，步骤143：则当前待编码图像的切换强度值表示当前待编码图像不是场景切换帧。不存在场景切换，切换强度值设置为0。在其他实施例中，切换强度值也可以用其他表示。
若第一归一化值大于第二阈值，即Hl(n)>T2，步骤144：则当前待编码图像的切换强度值表示当前待编码图像为场景切换帧。存在场景突变，当前待编码图像为场景切换帧，切换强度值设置为100。
若第一归一化值大于第一阈值，且小于第二阈值，即T1<Hl(n)<T2；步骤145：则当前待编码图像的切换强度值表示当前待编码图像为场景渐变切换帧。表示有可能存在场景渐变，切换强度值设置为50。
步骤145中当前待编码图像为场景渐变切换帧，存在场景渐变，而场景渐变存在渐变开始和渐变结束，为了确定起始场景切换帧和终止场景渐变切换帧，本申请实施例的步骤145之后还包括：
如图4所示，步骤1451：检测连续多帧待编码图像的第一归一化值与第一阈值和第二阈值的比较结果。
本申请实施例中，可以检测连续k帧的第一归一化值一直超过T1，用于进一步判断连续k帧是否为一个渐变场景片段。本申请实施例中连续k帧，可以是连续5帧，在其他实施例中，也可以是其他值。
若预设数量的连续多帧待编码图像的第一归一化值均大于第一阈值Hl(n)＞T1，步骤1452：则以第一个大于第一阈值的待编码图像作为起始场景切换帧。
预设数量为k帧，若连续k帧(连续5帧)待编码图像的Hl(n)＞T1，则说明连续k帧为一个渐变场景片段，则说明第一大于T1的待编码图像，为场景渐变的开始，作为起始场景切换帧。若未存在连续k帧待编码图像的Hl(n)＞T1，则废除该起始帧的，重新寻找起始帧，例如第一帧、第二帧、第三帧的代编码图像的待编码图像的Hl(n)＞T1，而第四帧的待编码图像的Hl(n)<T1，则说明该片段并非为渐变场景片段，不存在起始场景切换帧和终止场景切换帧。
步骤1453：计算相隔预设固定数量帧的累积直方图的差异进行归一化处理，获得相隔预设固定数量帧待编码图像的第二归一化值。
本申请实施例中，步骤1453发生在步骤1452之后，在其他实施例中，步骤1453也可以发生步骤1452之前，步骤1453也可以发生步骤142之前或步骤142-145之间。
本申请实施例中，相隔预设固定数量帧为相隔m帧，相隔预设固定数量帧的累积直方图的差异进行归一化处理所采用的公式为：
Figure BDA0002583553720000091
其中，G(m)表示相隔m帧待编码图像的第二归一化值，L为图像的灰度级，Hn(i)为第n帧图像直方图中灰度值为i的像素的总数。相隔预设固定数量帧待编码图像的第二归一化值会随着相隔帧数m的增加而增加。例如，本申请实施中，m帧为3帧，在其他实施例中m帧也可以为7帧，本申请实施例中，m帧既可以大于k帧，也可以小于或等于k帧。
步骤1454：将第二归一化值与第二阈值比较，预设数量的连续多帧待编码图像的第一归一化值与第一阈值比较。
若当前待编码图像的第二归一化值大于第二阈值，且预设数量的连续多帧待编码图像的第一归一化值小于第一阈值，即当G(m)>T2且Hl(n)<T1时，则步骤1455：以当前待编码图像作为终止场景渐变切换帧。通过采用相隔m帧的累积直方图的差异进行归一化处理所获得第二归一化值与第二阈值进行比较，且当Hl(n)<T1时，则说明场景渐变结束，最后一帧为终止场景渐变切换帧。
如图5所示，步骤300根据图像特征确定当前待编码图像的天气类型值，包括：
步骤310：根据图像平均亮度、亮像素占比、锐度以及灰度共生矩阵对比度作为图像特征确定当前待编码图像的天气类型值。本申请实施例通过设置了较多有效的图像特征信息来刻画不同天气状况的特点，提高了算法的鲁棒性和普适性。
其中，步骤310具体包括：
如图6所示，步骤311：根据图像平均亮度与亮度阈值比较，和根据亮像素占比与预设比值进行比较。
具体地，亮度特征是衡量图像的光亮强度信息，而平均亮度信息及亮像素占比信息为区分白天夜晚场景重要的图像特征，本申请实施例中，提取当前待编码图像的平均亮度信息及亮像素占为区分白天夜晚场景的图像特征，平均亮度信息计算公式如下：
Figure BDA0002583553720000101
其中，Iave表示平均亮度信息，I(x,y)表示前帧待编码图像，其中，M，N分别代表前待编码图像的宽与高。
将Iave与亮度阈值T比较，以确定Iave是否大于亮度阈值T，例如亮度阈值T可以是90。在其他实施例中，亮度阈值T为用户设定的其他值。
统计一帧待编码图像中像素亮度超过亮度阈值T的像素所占的比例，即获得亮像素占比，将亮像素占比大于预设比值，例如预设比值是35％，则判读亮像素占比是否大于35％。
若图像平均亮度小于等于亮度阈值，和亮像素占比小于等于预设比值，则步骤312：确定当前待编码图像的天气类型值表示夜晚场景。
即，本申请实施例中，Iave≤T，且亮度像素占比≤预设比值35％时，确定当前待编码图像的天气类型值设置为0，表示夜晚场景。
若图像平均亮度大于亮度阈值，或图像平均亮度大于预设比值，则步骤313：确定当前待编码图像的天气类型值表示白天场景。
本申请实施例中，Iave＞T，或亮度像素占比＞预设比值35％时，均可以说明当前待编码图像的天气类型值表示白天场景。
步骤314：根据锐度和基于灰度共生矩阵的对比度与预设阈值进行比较，以及平均亮度与亮度阈值的比较，以确定当前待编码图像的天气类型值表示雨天、晴天或雾天。
本申请实施例中，步骤314发生在步骤313之后，即，本申请实施例中，对白天场景进一步区分。
具体地，本申请实施例中，对当前待编码图像提取锐度特征，具体地，锐度特征是图像中目标边缘轮廓的明显程度信息，一般用图像的梯度信息表示该图像的锐度值，计算公式如下：
Figure BDA0002583553720000111
其中，A表示锐度值，
Figure BDA0002583553720000112
其中Iij为像素点(i，j)处的灰度值，Sx、Sy为sobel算子，Sx检测水平边缘，Sy检测垂直边缘，sobel算子为常见梯度算子，此处不再赘述。*表示卷积，Sij为像素点(i，j)处的梯度模，TA为设定的预设阈值，M，N分别代表当前待编码图像的宽与高。
对待编码图像提取基于灰度共生矩阵的对比度特征，具体地，灰度共生矩阵产生的过程如下：在待编码图像中任取一点(x，y)及偏离它的一点(x+a，y+b)(其中a，b为整数)构成点对，设该点对的灰度值为(I1,I2)，假设待编码图像的最大灰度级为L，则I1与I2的组合共有L*L种。对于整幅图像，统计每一种(I1,I2)值出现的次数，然后排成一个方阵，再用(I1,I2)出现的总次数将它们归一化为出现的概率P(I1,I2)，由此产生的矩阵为灰度共生矩阵。由灰度共生矩阵计算的对比度特征度量了矩阵的值是如何分布和待编码图像中局部变化的多少，反应了待编码图像的清晰度和纹理的深浅。纹理越深，对比度越大，图像越清晰；反之，纹理越浅，对比度越小，图像越模糊。其计算公式如下：
Figure BDA0002583553720000113
其中，con表示基于灰度共生矩阵的对比度，L表示待编码图像的最大灰度级，i，j表示像素点，P(i，j)表示像素点出现的概率。
具体地，本申请实施例中，步骤314具体包括以下步骤：
如图7所示，步骤S1：判断当前待编码图像的锐度值A是否大于第一预设值Th1。具体地，本申请实施例中，Th1的值为0.05，在其他实施例中，Th1的值也可以为其他值，由用户设定，本申请实施例中，并不对第一预设值Th1的范围做具体限定。
若锐度值大于第一预设值，即A＞Th1，则步骤S2：判断当前待编码图像的基于灰度共生矩阵的对比度值con是否在预设范围，例如，本申请实施例中，预设范围是0.3-2，在其他实施例中，预设范围也可以是其他范围值。
若当前待编码图像的基于灰度共生矩阵的对比度值con是在预设范围，即0.3≤con≤2，则执行步骤S3：判断当前待编码图像的平均亮度Iave是否大于第二预设值Th2。本申请实施例中，第二预设值Th2的值为120，在其他实施例中，第二预设值Th2的值也可以为其他值。
若当前待编码图像的平均亮度大于第二预设值，即Iave＞Th2，Iave＞120，则步骤S4：确定当前待编码图像的天气状况为晴天/多云。
若当前待编码图像的平均亮度小于等于第二预设值，即Iave≤Th2，则步骤S5：判断当前待编码图像的平均亮度Iave是否大于第三预设值Th3。本申请实施例中，第三预设值Th3的值为90，在其他实施例中，第三预设值Th3的值也可以为其他值。
若当前待编码图像的平均亮度大于第三预设值，即Iave＞Th3，Iave＞90，则步骤S6：确定当前待编码图像的天气状况为雨天。
若当前待编码图像的平均亮度小于等于第三预设值，即Iave≤Th3，Iave≤90，则步骤S7：确定当前待编码图像的天气状况为其他类型。
接上述步骤S2之后，还包括：若当前待编码图像的基于灰度共生矩阵的对比度值con不在预设范围，即con＜0.3，或con＞2，则执行步骤S8：判断当前待编码图像的平均亮度Iave是否大于第四预设值Th4。本申请实施例中，第四预设值小于第二预设值，即，Th4＜Th2，本申请实施例中第四预设值Th4的值为110，在其他实施例中，第四预设值Th4的值也可以为其他值。
若当前待编码图像的平均亮度大于第四预设值，即Iave＞Th4，Iave＞110，则执行步骤S9：确定当前待编码图像的天气状况为晴天/多云。
若当前待编码图像的平均亮度小于等于第四预设值，即Iave≤Th4，Iave≤110，则执行步骤S10：判断当前待编码图像的平均亮度Iave是否大于第五预设值Th5，本申请实施例中，第五预设值小于第四预设值，即Th5＜Th4，具体地，本申请实施中，第五预设值Th5为100。
若当前待编码图像的平均亮度大于第五预设值，即Iave＞Th5，Iave＞100，则执行步骤S11：确定当前待编码图像的天气状况为阴天。
若当前待编码图像的平均亮度小于等于第五预设值，即Iave≤Th5，Iave≤100，则执行步骤S12：确定当前待编码图像的天气状况为其他类型。
如图8所示，接上述步骤S1之后，还包括：若锐度值小于等于第一预设值，即A≤Th1，则步骤S13：判断当前待编码图像的锐度值A是否大于第六预设值Th6，第六预设值小于第一预设值，即Th6＜Th1。例如，本申请实施例中，第六预设值Th6为0.03，在其他实施例中，第六预设值Th6也可以是其他范围值。
若当前待编码图像的锐度值大于第六预设值，即A＞Th6，A＞0.03，则执行步骤S14：判断当前待编码图像的平均亮度Iave是否大于第七预设值Th7。本申请实施例中，第七预设值Th7的值为120，在其他实施例中，第七预设值Th7的值也可以为其他值。
若当前待编码图像的平均亮度大于第七预设值，即Iave＞Th7，申请实施例中，Iave＞120，则步骤S15：判断当前待编码图像的天气状况为晴天/多云。
若当前待编码图像的平均亮度小于等于第七预设值，即Iave≤Th7，则步骤S16：判断当前待编码图像的平均亮度Iave是否大于第八预设值Th8。本申请实施例中，第八预设值Th8的值为90，在其他实施例中，第八预设值Th8的值也可以为其他值。
若当前待编码图像的平均亮度大于第八预设值，即Iave＞Th8，申请实施例中，Iave＞90，则步骤S17：确定当前待编码图像的天气状况为阴天。
若当前待编码图像的平均亮度小于等于第八预设值，即Iave≤Th8，申请实施例中，Iave≤90，则步骤S7：确定当前待编码图像的天气状况为其他类型。
接上述步骤S13之后，还包括：若当前待编码图像的锐度值小于等于第六预设值，即A≤Th6，则执行步骤S19：判断当前待编码图像的平均亮度Iave是否大于第九预设值Th9。本申请实施例中，第九预设值小于第六预设值，即，Th9＜Th6，本申请实施例中第九预设值Th9的值为100，在其他实施例中，第九预设值Th9的值也可以为其他值。
若当前待编码图像的平均亮度大于第九预设值，即Iave＞Th9，本申请实施例中，Iave＞100，则执行步骤S20：确定当前待编码图像的天气状况为雾天。
若当前待编码图像的平均亮度小于等于第九预设值，即Iave≤Th9，本申请实施例中，Iave≤100，则执行步骤S21：确定当前待编码图像的天气状况为其他类型。
步骤400根据切换强度值和天气类型值对当前待编码图像进行处理，包括：
继续如图6所示，步骤410：根据切换强度值，确定当前待编码图像是否为场景切换帧。
若是，步骤420：则当前待编码图像重新计算量化参数，干预编码过程中的码率分配。
当前待编码图像检测出场景突变或渐变时，可以插入IDR帧(即时刷新帧)作为关键帧，并对当前场景切换帧重新计算量化参数QP，进而调整待编码图像编码过程中的码率分配。
步骤430：根据天气类型值对当前待编码图像进行预处理。
本申请实施例中，根据天气类型值对当前待编码图像进行去雾处理、锐化处理、去雨处理、图像去噪或图像增强中的任意一种或几种的组合。例如，对于是夜晚场景，可以对当前待编码图像进行图像去噪和图像增强处理，对雾天场景可以对图像进行去雾处理和锐化处理，雨天场景可以对图像进行去雨处理和锐化处理，从而得到清晰度或质量更高的图像，提高编码输出的质量。
本申请实施例还包括第二种技术方案，本申请实施例还包括第二种技术方案，如图9所示，一种计算机存储介质500，计算机存储介质500内部存储有计算机程序510，计算机程序用于被执行以实现上述的图像质量评估方法。
基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序510来指令相关的硬件来完成，计算机程序510可存储于一计算机可读存储介质中，该计算机程序510在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序510包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
本申请还包括第三种技术方案，如图10所示，一种计算装置600，包括至少一个处理单元610和至少一个存储单元620，存储单元620存储有计算机程序，当程序被处理单元610执行时，使得处理单元610执行上述图像质量评估方法的步骤。
所称处理单元610可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理单元610可以是微处理器或者该处理单元610也可以是任何常规的处理器等，处理单元610是监护仪中参数信息项的显示名称设置的控制中心，利用各种接口和线路连接整个监护仪的各个设备部分。
存储单元620可用于存储计算机程序和/或模块，处理单元610通过运行或执行存储在存储单元620内的计算机程序和/或模块，以及调用存储在存储单元620内的数据，实现监护仪中参数信息项的显示名称设置。存储单元620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储单元620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
计算机装置600还可以包括一个电源组件被配置为执行计算机设备的电源管理，一个有线或无线网络接口被配置为将设备连接到网络，和一个输入输出(I/O)接口。设备可以操作基于存储在存储器中的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种视频处理方法，其特征在于，所述视频在处理的中间过程包括多帧待编码图像和多帧已编码图像，所述方法包括：
比较当前待编码图像与前一帧图像的切换差异，并基于所述当前待编码图像之前的多帧所述已编码图像对所述切换差异进行处理，以确定所述当前待编码图像的切换强度值；
获取所述当前待编码图像的图像特征；
根据所述图像特征确定所述当前待编码图像的天气类型值；
根据所述切换强度值和所述天气类型值对所述当前待编码图像进行处理。
2.根据权利要求1所述的视频处理方法，其特征在于，所述比较当前待编码图像与前一帧图像的切换差异，并基于所述当前待编码图像之前的多帧所述已编码图像对所述切换差异进行处理，以确定所述当前待编码图像的切换强度值，包括：
通过运动估计方法比较所述当前待编码图像与所述前一帧图像的运动差异；
基于所述运动差异确定所述当前待编码图像是否为候选切换帧；
若是，则基于直方图比较所述当前待编码图像与所述前一帧图像的切换差异；
基于所述当前待编码图像之前的多帧所述已编码图像的直方图对所述切换差异进行归一化处理，以确定所述当前待编码图像的切换强度值。
3.根据权利要求2所述的视频处理方法，其特征在于，所述基于所述当前待编码图像之前的多帧所述已编码图像的直方图对所述切换差异进行归一化处理，以确定所述当前待编码图像的切换强度值，包括：
基于所述当前待编码图像之前的多帧所述已编码图像的直方图对所述切换差异进行归一化处理，获得所述当前待编码图像的第一归一化值；
将所述第一归一化值与第一阈值和第二阈值比较，所述第一阈值小于所述第二阈值；
若所述第一归一化值小于所述第一阈值，则所述当前待编码图像的切换强度值表示当前待编码图像不是场景切换帧；
若所述第一归一化值大于所述第二阈值，则所述当前待编码图像的切换强度值表示当前待编码图像为场景切换帧；
若所述第一归一化值大于所述第一阈值，且小于所述第二阈值；则所述当前待编码图像的切换强度值表示所述当前待编码图像为场景渐变切换帧。
4.根据权利要求3所述的视频处理方法，其特征在于，所述视频处理方法还包括：检测连续多帧待编码图像的第一归一化值与所述第一阈值和所述第二阈值的比较结果；
若预设数量的连续多帧待编码图像的第一归一化值均大于第一阈值，则以第一个大于第一阈值的所述待编码图像作为起始场景切换帧；
计算相隔预设固定数量帧的累积直方图的差异进行归一化处理，获得相隔预设固定数量帧待编码图像的第二归一化值；
将第二归一化值与所述第二阈值比较，预设数量的连续多帧待编码图像的第一归一化值与所述第一阈值比较；
若当前待编码图像的第二归一化值大于第二阈值，且预设数量的连续多帧待编码图像的第一归一化值小于所述第一阈值，则以所述当前待编码图像作为终止场景渐变切换帧。
5.根据权利要求1所述的视频处理方法，其特征在于，所述根据所述图像特征确定所述当前待编码图像的天气类型值，包括：
根据所述图像平均亮度、亮像素占比、锐度以及灰度共生矩阵对比度作为图像特征确定所述当前待编码图像的天气类型值。
6.根据权利要求5所述的视频处理方法，其特征在于，所述根据所述图像平均亮度、亮像素占比、锐度以及灰度共生矩阵对比度作为图像特征确定所述当前待编码图像的天气类型值，包括：
根据所述图像平均亮度与亮度阈值比较，和根据所述亮像素占比与预设比值进行比较；
若所述图像平均亮度小于等于所述亮度阈值，和所述亮像素占比小于等于所述预设比值，则确定所述当前待编码图像的天气类型值表示夜晚场景；
若所述图像平均亮度大于所述亮度阈值，或所述亮像素占比大于所述预设比值，则确定所述当前待编码图像的天气类型值表示白天场景；
根据锐度和灰度共生矩阵对比度与预设值进行比较，以及平均亮度与所述亮度阈值的比较，以确定所述当前待编码图像的天气类型值表示雨天、晴天或雾天。
7.根据权利要求1所述的视频处理方法，其特征在于，所述根据所述切换强度值和所述天气类型值对所述当前待编码图像进行处理，包括：
根据所述切换强度值，确定所述当前待编码图像是否为场景切换帧；
若是，则所述当前待编码图像重新计算量化参数，干预编码过程中的码率分配；
根据所述天气类型值对所述当前待编码图像进行预处理。
8.根据权利要求7所述的视频处理方法，其特征在于，
所述根据所述天气类型值对所述当前待编码图像进行预处理，包括：
根据所述天气类型值对所述当前待编码图像进行去雾处理、锐化处理、去雨处理、图像去噪或图像增强中的任意一种或几种的组合处理。
9.一种存储介质，其特征在于，所述存储介质内部存储有计算机程序，所述计算机程序用于被执行以实现权利要求1-8任一项所述的视频处理方法。
10.一种计算装置，其特征在于，包括至少一个处理单元和至少一个存储单元，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行权例要求1-8任一项所述的视频处理方法。
CN202010674483.9A 2020-07-14 2020-07-14 视频处理方法、存储介质及计算装置 Active CN111970510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010674483.9A CN111970510B (zh) 2020-07-14 2020-07-14 视频处理方法、存储介质及计算装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010674483.9A CN111970510B (zh) 2020-07-14 2020-07-14 视频处理方法、存储介质及计算装置

Publications (2)

Publication Number Publication Date
CN111970510A true CN111970510A (zh) 2020-11-20
CN111970510B CN111970510B (zh) 2023-06-02

Family

ID=73361612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010674483.9A Active CN111970510B (zh) 2020-07-14 2020-07-14 视频处理方法、存储介质及计算装置

Country Status (1)

Country Link
CN (1) CN111970510B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113507643A (zh) * 2021-07-09 2021-10-15 Oppo广东移动通信有限公司 视频处理方法、装置、终端及存储介质
WO2023082453A1 (zh) * 2021-11-15 2023-05-19 深圳须弥云图空间科技有限公司 一种图像处理方法及装置
WO2023142662A1 (zh) * 2022-01-27 2023-08-03 腾讯科技（深圳）有限公司 图像编码方法、实时通信方法、设备、存储介质及程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060109902A1 (en) * 2004-11-19 2006-05-25 Nokia Corporation Compressed domain temporal segmentation of video sequences
CN101072342A (zh) * 2006-07-01 2007-11-14 腾讯科技（深圳）有限公司 一种场景切换的检测方法及其检测系统
US20080317356A1 (en) * 2007-06-25 2008-12-25 Masaya Itoh Image monitoring system
CN102547225A (zh) * 2010-12-29 2012-07-04 中国移动通信集团公司 视频监控场景判别方法及其监控图像编码方法、及装置
CN105516720A (zh) * 2015-12-23 2016-04-20 天津天地伟业数码科技有限公司 一种监控摄像机码流的自适应控制方法
CN105868745A (zh) * 2016-06-20 2016-08-17 重庆大学 基于动态场景感知的天气识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060109902A1 (en) * 2004-11-19 2006-05-25 Nokia Corporation Compressed domain temporal segmentation of video sequences
CN101072342A (zh) * 2006-07-01 2007-11-14 腾讯科技（深圳）有限公司 一种场景切换的检测方法及其检测系统
US20080317356A1 (en) * 2007-06-25 2008-12-25 Masaya Itoh Image monitoring system
CN102547225A (zh) * 2010-12-29 2012-07-04 中国移动通信集团公司 视频监控场景判别方法及其监控图像编码方法、及装置
CN105516720A (zh) * 2015-12-23 2016-04-20 天津天地伟业数码科技有限公司 一种监控摄像机码流的自适应控制方法
CN105868745A (zh) * 2016-06-20 2016-08-17 重庆大学 基于动态场景感知的天气识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113507643A (zh) * 2021-07-09 2021-10-15 Oppo广东移动通信有限公司 视频处理方法、装置、终端及存储介质
CN113507643B (zh) * 2021-07-09 2023-07-07 Oppo广东移动通信有限公司 视频处理方法、装置、终端及存储介质
WO2023082453A1 (zh) * 2021-11-15 2023-05-19 深圳须弥云图空间科技有限公司 一种图像处理方法及装置
WO2023142662A1 (zh) * 2022-01-27 2023-08-03 腾讯科技（深圳）有限公司 图像编码方法、实时通信方法、设备、存储介质及程序产品

Also Published As

Publication number Publication date
CN111970510B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN111970510B (zh) 视频处理方法、存储介质及计算装置
Li et al. Three-component weighted structural similarity index
CN108133215B (zh) 一种处理单元
US9014471B2 (en) Method of classifying a chroma downsampling error
US9183617B2 (en) Methods, devices, and computer readable mediums for processing a digital picture
JP4771906B2 (ja) Ｊｐｅｇ圧縮履歴に関して画像を分類する方法
US8582915B2 (en) Image enhancement for challenging lighting conditions
CN108337551B (zh) 一种屏幕录制方法、存储介质及终端设备
TWI477153B (zh) 辨識區塊效應之技術
JP5421727B2 (ja) 画像処理装置およびその制御方法
CN107481210B (zh) 基于细节的局部选择性映射的红外图像增强方法
CN110399842B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
US7092580B2 (en) System and method using edge processing to remove blocking artifacts from decompressed images
CN114022790B (zh) 遥感图像中云层检测及图像压缩方法、装置和存储介质
CN114640881A (zh) 视频帧对齐方法、装置、终端设备及计算机可读存储介质
CN111127342A (zh) 一种图像处理方法、装置、存储介质以及终端设备
US7873226B2 (en) Image encoding apparatus
US6891892B2 (en) MPEG-2 decoder with an embedded contrast enhancement function and methods therefor
CN116233479B (zh) 基于数据处理的直播信息内容审核系统及方法
CN110223253B (zh) 一种基于图像增强的去雾方法
EP0974932A2 (en) Adaptive video compression
CN112330618A (zh) 图像偏移检测方法、设备及存储介质
KR100441963B1 (ko) 장면전환 검출방법
CN112070771B (zh) 基于hs通道的自适应阈值分割方法、装置和存储介质
CN115008255A (zh) 一种用于机床的刀具磨损识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant