CN110781932A - 一种多类别图像转换与对比的超高清片源色域检测方法 - Google Patents

一种多类别图像转换与对比的超高清片源色域检测方法 Download PDF

Info

Publication number
CN110781932A
CN110781932A CN201910971340.1A CN201910971340A CN110781932A CN 110781932 A CN110781932 A CN 110781932A CN 201910971340 A CN201910971340 A CN 201910971340A CN 110781932 A CN110781932 A CN 110781932A
Authority
CN
China
Prior art keywords
color gamut
image
network
comparison
image conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910971340.1A
Other languages
English (en)
Other versions
CN110781932B (zh
Inventor
周芸
胡潇
郭晓强
李小雨
魏建超
梁琳琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Boya Ruishi Technology Co Ltd
Research Institute Of Radio And Television Science State Administration Of Radio And Television
Original Assignee
Beijing Boya Ruishi Technology Co Ltd
Research Institute Of Radio And Television Science State Administration Of Radio And Television
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Boya Ruishi Technology Co Ltd, Research Institute Of Radio And Television Science State Administration Of Radio And Television filed Critical Beijing Boya Ruishi Technology Co Ltd
Priority to CN201910971340.1A priority Critical patent/CN110781932B/zh
Publication of CN110781932A publication Critical patent/CN110781932A/zh
Application granted granted Critical
Publication of CN110781932B publication Critical patent/CN110781932B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种多类别图像转换与对比的超高清片源色域检测方法，其技术特点是：构造多类别图像转换与对比的色域检测网络，用于对BT.709和BT.2020两种视频片源的色域进行检测；构建图像转换与对比层，对输入图像进行转换，增加不同类别特征间的参照和对比；使用残差网络作为初始网络，将原始输入图像和转换后的图像同时输入初始网络；对色域检测网络进行训练，得到BT.709和BT.2020两类别的色域分类模型，并由该色域分类模型图像的色域类别。本发明设计合理，对超高清视频片源的色域进行技术符合性检测，将色域检测问题归结为图像分类问题，并结合图像分类任务中的卷积神经网络，获得了很好的色域检测结果，使得系统整体检测准确率大大提升。

Description

一种多类别图像转换与对比的超高清片源色域检测方法
技术领域
本发明属于计算机视觉图像分类技术领域，尤其是一种多类别图像转换与对比的超高清片源色域检测方法。
背景技术
目前，以超高清电视为代表的新一代电视技术近年来呈现快速发展的态势。与高清电视相比，超高清电视不仅仅是分辨率的提高，而且还包括高帧率、高比特深度、宽色域和高动态范围。作为超高清电视的一项关键技术，宽色域能够呈现更加丰富的色彩，给予观众身临其境的视觉体验。
然而，实际应用中，在节目制作、交换、传输等各个环节都有可能造成超高清节目质量不满足技术标准要求，严重损害了超高清市场的积极性。例如：视频封装参数为BT.709色域；或者视频封装参数符合规定，但实际内容并不符合，如封装参数是BT.2020色域，实际是 BT.709色域等。
因此，如何对网络提取到的特征鉴别待测视频的色域类别，保证超高清节目片源的色域指标把控，确保呈现给观众真正符合标准的超高清电视节目是目前迫切需要解决的问题。
发明内容
本发明的目的在于克服上述现有技术存在的不足，提供一种多类别图像转换与对比的超高清片源色域检测方法，其将色域的检测问题归结为图像分类问题，引入深度卷积神经网络，并设计了图像转换层，将对单张图像的绝对判断问题转化为两张图像的相对判断问题，能够降低网络的训练难度及训练过程中的过拟合风险。
本发明解决其技术问题是采取以下技术方案实现的：
一种多类别图像转换与对比的超高清片源色域检测方法，包括以下步骤：
步骤1、构造多类别图像转换与对比的色域检测网络，用于对BT.709和BT.2020两种视频片源的色域进行检测；
步骤2、构建图像转换与对比层，对输入图像进行转换，增加不同类别特征间的参照和对比；
步骤3、使用残差网络作为初始网络，将原始输入图像和转换后的图像同时输入初始网络；
步骤4、对色域检测网络进行训练，得到BT.709和BT.2020两类别的色域分类模型；
步骤5、将超高清片源图像输入到BT.709和BT.2020两类别的色域分类模型中，由该色域分类模型输出该图像属于两类别的概率，最终根据概率大小判别图像的色域类别。
进一步，所述步骤1构建的色域检测网络包括图像转换与对比层、五个残差单元、全连接层和输出层；原始输入图像经过图像转换与对比层进行图像转换操作，然后将图像转换与对比层输出与原始输入图像一同送入五个残差单元，每个残差单元对图像进行下采样，输出尺寸在长、宽上均减半，经过五个残差单元后输出特征图再经过全连接层，得到一维特征向量作为输入图像的最终特征表示；输出层用于输出BT.709和BT.2020两种色域分类。
进一步，所述输入图像尺寸为224×224×3，五个残差单元输出的图像尺寸为7×7，全连接层得到的一维特征向量为1×512。
进一步，所述步骤2的具体实现方法为：将BT.709和BT.2020的图像均按照BT.709转 BT.2020的方法进行转换，转换后的BT.709图像具备BT.2020的特征，转换后的BT.2020图像不具备BT.709的特征。
进一步，所述残差网络采用ResNet34残差网络。
进一步，所述步骤4的具体实现方法为：输入图像首先被划分为224×224×3像素尺寸，然后以批量大小为64输入网络进行训练，迭代100epochs，最终得到训练好的BT.709和 BT.2020两类别的色域分类模型。
本发明的优点和积极效果是：
1、本发明采用多类别图像转换与对比的检测思路，有利于提高网络模型对于色域信息的敏感性，其通过BT.2087中规定的BT.709到BT.2020色域的转换关系将输入图像进行色域转换，将转换前后的两张图像同时输入网络进行训练，相比较原来的只输入原始图像的方法，增加了图像之间的参照和对比，网络在训练过程中能够提取出更具判别力的特征，从而区分出两种色域类别。本发明将对单张图像的绝对判断问题转化为两张图像的相对判断问题，能够降低网络的训练难度，也减小了训练过程中的过拟合风险，获得了优良的检测结果。
2、本发明对超高清视频片源的色域进行技术符合性检测，将色域检测问题归结为图像分类问题，并结合图像分类任务中的卷积神经网络，构建多类别图像转换与对比的超高清片源色域检测网络模型，使得系统整体检测准确率大大提升，本发明分别在公开的、项目组拍摄的测试序列上进行了测试，测试结果表明本发明优于目前其他的片源检测算法，系统整体检测准确率较高。
附图说明
图1是本发明的构造多类别图像转换与对比的色域检测网络框图。
具体实施方式
以下结合附图对本发明的实施做进一步详述。
一种多类别图像转换与对比的超高清片源色域检测方法，包括以下步骤：
步骤1、构造多类别图像转换与对比的色域检测网络，用于对视频片源的色域进行检测。对视频片源色域的检测包括BT.709和BT.2020两种色域类别。
如图1所示，本步骤构建的色域检测网络，包括图像转换与对比层、残差单元Block1～5、全连接层和输出层。输入图像尺寸统一为224×224×3，首先输入图像经过图像转换与对比层进行图像转换操作，然后将该层的输出与原始输入图像一同送入Block1、Block2、Block3、 Block4、Block5五个残差单元。每个残差单元相当于对图像进行下采样，输出尺寸在长、宽上均减半，因此经过五个残差单元后，输出特征图尺寸变为7×7。输出特征图再经过全连接层，得到1×512的一维特征向量，即为输入图像的最终特征表示。最后的输出层节点数根据本发明的类别数设置，分为BT.709、BT.2020两个类别。
依照我国超高清电视技术标准的规定，超高清片源的色域技术参数为BT.2020。当前存在的超高清片源可能存在标识为BT.2020色域，实际为BT.709色域的问题，因此，构造了色域分类网络，对视频的实际色域类别进行检测，从而判断其技术符合性。
步骤2、构建图像转换与对比层，对输入图像进行转换，增加不同类别特征间的参照和对比。
本步骤的具体实现方法如下：首先将BT.709和BT.2020的图像均按照BT.2087中规定的BT.709转BT.2020的方法进行转换，转换后产生两种结果：如果原始图像为BT.709色域，通过转换得到的图像会更加接近于BT.2020色域；如果原始图像为BT.2020色域，通过转换得到的图像不可能接近于BT.709色域。也就是转换后的BT.709图像具备BT.2020的特征，转换后的BT.2020图像不具备BT.709的特征。通过此转换操作，可有效增加样本的丰富性，增加不同类别样本间的参照和对比。
步骤3、运用残差网络ResNet34作为初始网络，原始图像和转换后的图像同时输入残差网络，将绝对判断问题转化为相对判断问题，有效提高训练效率。
本步骤的具体实现方法如下：本发明选择ResNet34作为基准网络进行设计，将转换前后的图像同时输入残差网络，相比较原来的只输入原始图像的方法，增加了图像之间的参照和对比，网络在训练过程中能够提取出更具判别力的特征。
步骤4、设置实验参数，对色域检测网络进行训练，得到BT.709和BT.2020两类别的色域分类模型。
本步骤的具体实现方法如下：
对网络进行训练时，输入图像首先被划分为224×224×3像素尺寸，然后以批量大小为 64输入网络进行训练，迭代100epochs，最终得到训练好的BT.709和BT.2020两类别的色域分类模型。
本步骤得到的色域分类模型以BT.709和BT.2020两种色域类别的图像作为输入，输出为该图像属于两类别的概率，最终根据概率大小判别图像的色域类别。
步骤5、将BT.709和BT.2020两种色域类别的图像输入到步骤4经过多次迭代和优化后的色域分类模型中，输出该图像属于两类别的概率，最终根据概率大小判别图像的色域类别。
下面按照本发明方法使用与训练集场景无关的测试序列进行测试，以验证模型的泛化性能并统计色域检测准确度。
测试环境：Windows 10、Visual Studio 2015、Python
测试数据：公开的、项目组拍摄的测试序列共175个。其中BT.709序列20个，BT.2020 序列155个。关于测试序列的详细说明见表1。
表1测试序列详细说明
Figure 1
测试指标：本发明使用的测试指标为检测准确率。在测试过程中，网络模型的输出结果是当前输入图像属于某一类的概率。具体来说，通过将输入图像裁剪为小块，根据输出的概率判断每一个小块的类别，进而根据所设阈值，当某一帧内预测为某一类别的块所占比例超过阈值时，则判断该帧属于该类别。其中，在预测块的类别时，遵循深度学习分类任务的常规方法，若网络输出的预测概率大于给定阈值(实验中设为0.5)，则认为当前块属于这一类。
试验结果如下：
表2色域和转换曲线检测结果
检测项目 样本描述 检测准确率
色域检测准确率 共检测序列175个，正确检测174个 99.4％
通过以上测试结果可以看出，本发明整体检测准确率较高。
本发明未述及之处适用于现有技术。
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (6)

1.一种多类别图像转换与对比的超高清片源色域检测方法，其特征在于包括以下步骤：
步骤1、构造多类别图像转换与对比的色域检测网络，用于对BT.709和BT.2020两种视频片源的色域进行检测；
步骤2、构建图像转换与对比层，对输入图像进行转换，增加不同类别特征间的参照和对比；
步骤3、使用残差网络作为初始网络，将原始输入图像和转换后的图像同时输入初始网络；
步骤4、对色域检测网络进行训练，得到BT.709和BT.2020两类别的色域分类模型；
步骤5、将超高清片源图像输入到BT.709和BT.2020两类别的色域分类模型中，由该色域分类模型输出该图像属于两类别的概率，最终根据概率大小判别图像的色域类别。
2.根据权利要求1所述的一种多类别图像转换与对比的超高清片源色域检测方法，其特征在于：所述步骤1构建的色域检测网络包括图像转换与对比层、五个残差单元、全连接层和输出层；原始输入图像经过图像转换与对比层进行图像转换操作，然后将图像转换与对比层输出与原始输入图像一同送入五个残差单元，每个残差单元对图像进行下采样，输出尺寸在长、宽上均减半，经过五个残差单元后输出特征图再经过全连接层，得到一维特征向量作为输入图像的最终特征表示；输出层用于输出BT.709和BT.2020两种色域分类。
3.根据权利要求2所述的一种多类别图像转换与对比的超高清片源色域检测方法，其特征在于：所述输入图像尺寸为224×224×3，五个残差单元输出的图像尺寸为7×7，全连接层得到的一维特征向量为1×512。
4.根据权利要求1所述的一种多类别图像转换与对比的超高清片源色域检测方法，其特征在于：所述步骤2的具体实现方法为：将BT.709和BT.2020的图像均按照BT.709转BT.2020的方法进行转换，转换后的BT.709图像具备BT.2020的特征，转换后的BT.2020图像不具备BT.709的特征。
5.根据权利要求1所述的多类别图像转换与对比的超高清片源色域检测方法，其特征在于：所述残差网络采用ResNet34残差网络。
6.根据权利要求1所述的一种多类别图像转换与对比的超高清片源色域检测方法，其特征在于：所述步骤4的具体实现方法为：输入图像首先被划分为224×224×3像素尺寸，然后以批量大小为64输入网络进行训练，迭代100epochs，最终得到训练好的BT.709和BT.2020两类别的色域分类模型。
CN201910971340.1A 2019-10-14 2019-10-14 一种多类别图像转换与对比的超高清片源色域检测方法 Active CN110781932B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910971340.1A CN110781932B (zh) 2019-10-14 2019-10-14 一种多类别图像转换与对比的超高清片源色域检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910971340.1A CN110781932B (zh) 2019-10-14 2019-10-14 一种多类别图像转换与对比的超高清片源色域检测方法

Publications (2)

Publication Number Publication Date
CN110781932A true CN110781932A (zh) 2020-02-11
CN110781932B CN110781932B (zh) 2022-03-11

Family

ID=69385393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910971340.1A Active CN110781932B (zh) 2019-10-14 2019-10-14 一种多类别图像转换与对比的超高清片源色域检测方法

Country Status (1)

Country Link
CN (1) CN110781932B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663451A (zh) * 2012-03-29 2012-09-12 天津科技大学 一种基于色彩空间特征的图形图像分类方法
US20140086316A1 (en) * 2012-09-24 2014-03-27 Louis Joseph Kerofsky Video compression with color space scalability
WO2015042432A1 (en) * 2013-09-20 2015-03-26 Vid Scale, Inc Systems and methods for providing 3d look-up table coding for color gamut scalability
CN106791865A (zh) * 2017-01-20 2017-05-31 杭州当虹科技有限公司 基于高动态范围视频的自适应格式转换的方法
CN109344786A (zh) * 2018-10-11 2019-02-15 深圳步智造科技有限公司 目标识别方法、装置及计算机可读存储介质
CN110050465A (zh) * 2016-12-19 2019-07-23 索尼公司 图像处理设备、图像处理方法和程序
CN110210608A (zh) * 2019-06-05 2019-09-06 国家广播电视总局广播电视科学研究院 基于注意力机制和多层次特征融合的低照度图像增强方法
CN110287800A (zh) * 2019-05-29 2019-09-27 河海大学 一种基于sgse-gan的遥感图像场景分类方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663451A (zh) * 2012-03-29 2012-09-12 天津科技大学 一种基于色彩空间特征的图形图像分类方法
US20140086316A1 (en) * 2012-09-24 2014-03-27 Louis Joseph Kerofsky Video compression with color space scalability
WO2015042432A1 (en) * 2013-09-20 2015-03-26 Vid Scale, Inc Systems and methods for providing 3d look-up table coding for color gamut scalability
CN110050465A (zh) * 2016-12-19 2019-07-23 索尼公司 图像处理设备、图像处理方法和程序
CN106791865A (zh) * 2017-01-20 2017-05-31 杭州当虹科技有限公司 基于高动态范围视频的自适应格式转换的方法
CN109344786A (zh) * 2018-10-11 2019-02-15 深圳步智造科技有限公司 目标识别方法、装置及计算机可读存储介质
CN110287800A (zh) * 2019-05-29 2019-09-27 河海大学 一种基于sgse-gan的遥感图像场景分类方法
CN110210608A (zh) * 2019-06-05 2019-09-06 国家广播电视总局广播电视科学研究院 基于注意力机制和多层次特征融合的低照度图像增强方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YINGXIN LOU ET AL.: "Improve Object Detection via a Multi-feature and Multi-task CNN Model", 《2017 IEEE VISUAL COMMUNICATIONS AND IMAGE PROCESSING》 *
周芸 等: "高动态范围电视节目制作和交换图像关键参数研究", 《广播电视信息》 *

Also Published As

Publication number Publication date
CN110781932B (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN109727246B (zh) 一种基于孪生网络的对比学习图像质量评估方法
CN109492416B (zh) 一种基于安全区域的大数据图像保护方法和系统
Kong et al. Detect and locate: Exposing face manipulation by semantic-and noise-level telltales
JP2021532434A (ja) 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体
CN112766334B (zh) 一种基于伪标签域适应的跨域图像分类方法
CN112150450B (zh) 一种基于双通道U-Net模型的图像篡改检测方法及装置
CN110705630A (zh) 半监督学习式目标检测神经网络训练方法、装置及应用
US20140286527A1 (en) Systems and methods for accelerated face detection
CN110648310A (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN108280480B (zh) 一种基于残差共生概率的隐写图像载体安全性评价方法
CN113076994A (zh) 一种开集域自适应图像分类方法及系统
CN109859166A (zh) 一种基于多列卷积神经网络的无参3d图像质量评估方法
CN114905712B (zh) 基于计算机视觉的注塑机械控制方法
CN112966755A (zh) 电感缺陷检测方法、设备及可读存储介质
CN116405419A (zh) 一种基于小样本学习的未知网络协议分类方法
WO2023201772A1 (zh) 基于迭代域内适应和自训练的跨域遥感图像语义分割方法
CN109413068B (zh) 一种基于对偶gan的无线信号加密方法
CN113033345B (zh) 基于公共特征子空间的v2v视频人脸识别方法
CN110781932B (zh) 一种多类别图像转换与对比的超高清片源色域检测方法
CN110781931B (zh) 一种局部特征提取和融合的超高清片源转换曲线检测方法
CN116383744A (zh) 基于流量图像与低频信息的多模态加密网络流量分类方法
CN111210426B (zh) 一种基于非限制标准模板的图像质量评分方法
CN115601747A (zh) 一种贴壁细胞汇合度的计算方法和系统
CN112488238B (zh) 一种基于对抗自编码器的混合异常检测方法
CN113989793A (zh) 一种石墨电极钢印文字识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant