CN107172428B - 图像的传输方法、装置和系统 - Google Patents

图像的传输方法、装置和系统 Download PDF

Info

Publication number
CN107172428B
CN107172428B CN201710422138.4A CN201710422138A CN107172428B CN 107172428 B CN107172428 B CN 107172428B CN 201710422138 A CN201710422138 A CN 201710422138A CN 107172428 B CN107172428 B CN 107172428B
Authority
CN
China
Prior art keywords
image
bit
neural network
error
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710422138.4A
Other languages
English (en)
Other versions
CN107172428A (zh
Inventor
杨文晋
苏睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Wanxiang Electronics Technology Co Ltd
Original Assignee
Xian Wanxiang Electronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Wanxiang Electronics Technology Co Ltd filed Critical Xian Wanxiang Electronics Technology Co Ltd
Priority to CN201710422138.4A priority Critical patent/CN107172428B/zh
Publication of CN107172428A publication Critical patent/CN107172428A/zh
Application granted granted Critical
Publication of CN107172428B publication Critical patent/CN107172428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output

Abstract

本发明公开了一种图像的传输方法、装置和系统。其中，该方法包括：根据传输网络的当前网络状态，确定原始目标图像的位平面编码数量，其中，原始目标图像为待传输图像；对位平面编码数量的位平面信息进行编码，得到编码后的码流；传输编码后的码流。本发明解决了现有技术中视频数据在传输时占用带宽较大，导致对网络带宽要求较高的技术问题。

Description

图像的传输方法、装置和系统
技术领域
本发明涉及图像处理领域，具体而言，涉及一种图像的传输方法、装置和系统。
背景技术
视频的实时传输通常是在发送端对视频的每一帧图像进行编码，然后传输至接收端，接收端接收编码后的码流，对码流进行解码，还原出视频中的每一帧图像，从而实现了视频的实时传输。
现有技术中采用的编码方法有很多种，但都存在如下缺陷：(1)当带宽限制严重时，无论采用哪种编码方法，都会对视频的实时传输产生影响(例如：对视频图像颜色产生影响)；(2)现有的图片的类型转换方法均基于静态图片，并没有针对视频的实时风格转换方法；(3)对图像进行超分辨重建时通过对低分辨率图像进行上采样来恢复出高分辨率图像，导致图像内容较原始图像相比损失较大。
针对现有技术中视频数据在传输时占用带宽较大，导致对网络带宽要求较高的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像的传输方法、装置和系统，以至少解决现有技术中视频数据在传输时占用带宽较大，导致对网络带宽要求较高的技术问题。
根据本发明实施例的一个方面，提供了一种图像的传输方法，包括：根据传输网络的当前网络状态，确定原始目标图像的位平面编码数量，其中，原始目标图像为待传输图像；对位平面编码数量的位平面信息进行编码，得到编码后的码流；传输编码后的码流。
进一步地，在当前网络的带宽小于预设带宽的情况下，调整位平面编码数量至预设值，其中，预设值小于待传输图像的位平面数量。
进一步地，将原始目标图像的像素值由多位二进制数值表示，得到原始目标图像的二进制数据；获取二进制数据中的高N位数据，其中，N用于表征位平面编码数量；对由高N位数据的像素值表征的原始目标图像进行编码，得到码流。
进一步地，对码流进行解码，得到第一目标图像；获取指定类型对应的多个神经网络模型中与位平面编码数量对应的神经网络模型；将第一目标图像输入至神经网络模型，得到第二目标图像。
进一步地，获取初始神经网络模型；通过样本库中的样本图像和指定类型的图像，训练初始神经网络模型，得到指定类型对应的神经网络模型。
进一步地，根据样本库获取样本对，其中，样本对包括第一样本图像和第二样本图像，第二样本图像为样本库中第一样本图像对应的高N位平面图像；获取样本对的目标误差，其中，目标误差用于表征第一样本图像与神经网络模型的输出结果的误差，和神经网络模型的输出结果与指定类型的图像的误差；在目标误差大于预设误差值的情况下，根据目标误差调整初始神经网络模型的参数。
进一步地，将第二样本图像输入至初始神经网络模型，得到第一训练结果；获取第一训练结果与第一样本图像的像素值误差；分别提取指定类型的图像的第一特征信息与第一训练结果的第二特征信息；获取第一特征信息和第二特征信息的特征信息误差；根据像素值误差和特征信息误差得到目标误差。
进一步地，分别获取像素值误差和特征信息误差的权重值；确定像素值误差和特征信息误差的加权为目标误差。
进一步地，将原始目标图像作为样本图像存入样本库；以样本库中的原始目标图像作为样本图像对神经网络模型进行训练；在通过原始目标图像训练神经网络模型的次数大于预设次数的情况下，将神经网络模型的参数输出至解码端，以更新用于获取第二目标图像所使用的神经网络模型。
进一步地，通过指定类型的文字图像训练文字初始神经网络模型，得到指定类型对应的文字神经网络模型；通过指定类型的图片图像训练图片初始神经网络模型，得到指定类型对应的图片神经网络模型。
根据本发明实施例的另一方面，还提供了一种图像的传输装置，包括：确定模块，用于根据传输网络的当前网络状态，确定原始目标图像的位平面编码数量，其中，原始目标图像为待传输图像；编码模块，用于对位平面编码数量的位平面信息进行编码，得到编码后的码流；传输模块，用于传输编码后的码流。
根据本发明实施例的另一方面，还提供了一种图像的传输系统，包括：编码端设备，根据传输网络的当前网络状态，确定原始目标图像的位平面编码数量，其中，原始目标图像为待传输图像，对位平面编码数量的位平面信息进行编码，得到编码后的码流，传输编码后的码流；解码端设备，与编码端设备通信，用于接收编码后的码流并对编码后的码流进行解码。
进一步地，解码端设备还用于获取指定类型对应的神经网络模型；将第一目标图像输入至神经网络模型，得到第二目标图像。
根据本发明实施例的另一方面，还提供了一种处理器，上述处理器包括存储的程序，其中，在程序运行时控制处理器所在设备执行上述的图像的传输方法。
根据本发明实施例的另一方面，还提供了一种存储介质，上述存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述的传输方法。
在本发明实施例中，根据传输网络的当前网络状态，确定原始目标图像的位平面编码数量，其中，原始目标图像为待传输图像，对位平面编码数量的位平面信息进行编码，得到编码后的码流，传输编码后的码流。上述方案通过传输网络的当前网络状态来确定位平面编码数量，从而使得编码后的待传输码流能够与当前的网络状态相对应，进而减小了图像传输时的数据量，解决了现有技术中视频数据在传输时占用带宽较大，导致对网络带宽要求较高的技术问题。达到了即使在网络带宽较小，或网络状态较差的情况下，也能够实现视频的实时传输的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的图像的传输方法的流程图；
图2是根据本发明实施例的一种优化神经网络模型的示意图；
图3是根据本发明实施例的一种训练指定类型对应的神经网络模型的示意图；
图4是根据本发明实施例的一种解码端对图像进行解码的流程图；
图5是根据本发明实施例的一种图像的传输装置的示意图；以及
图6是根据本发明实施例的一种图像的传输系统的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种图像的传输方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的图像的传输方法的流程图，如图1所示，该方法包括如下步骤：
步骤S12，根据传输网络的当前网络状态，确定原始目标图像的位平面编码数量，其中，原始目标图像为待传输图像。
具体的，通常图像的每个像素点都是由RGB或YUV三个分量来表示的，以YUV表示方式为例，每一个分量可以由8个比特的值所表示，其中每一个比特可以看作表示了该图像的1个二值平面，即为位平面，则该图像可以由8组位平面信息来表示。上述位平面的传输数量即为在此次传输过程中，传输的位平面信息的组数。上述原始目标图像可以是视频中的当前帧图像。
在一种可选的实施例中，以原始目标图像由8组位平面信息表示为例，当传输网络的当前网络状态较好时(例如：能够满足当前视频的实时传输的需求)，确定位平面编码数量可以为8，即传输该图像所有的位平面信息。当传输网络的当前网络状态较差时(例如：不能满足当前视频的实时传输的需求)，确定位平面编码数量可以为4，即只传输该图像的4组位平面信息。
步骤S14，对位平面编码数量的位平面信息进行编码，得到编码后的码流。
在一种可选的实施例中，上述编码可以采用位平面编码的编码方式，位平面编码即为将图像分成多组二值图分别进行压缩编码，并在解码端组合解码的方法。仍以原始目标图像由8组位平面信息表示为例，在上述实施例中，当确定位平面编码数量为8时，对8组位平面信息进行编码，当确定位平面编码数量为4时，仅对4组位平面信息进行编码。
步骤S16，传输编码后的码流。
在上述步骤中，编码端将编码后的码流通过网络传输至解码端。
在一种可选的实施例中，上述图像的传输方法可以应用于视频的实时传输中，且可以根据网络状态的变化实时变更位平面编码数量，从而使传输的码流与传输网络的当前网络状态相匹配，进而能够在网络状态不佳的情况下保证视频的实时传输。
由于传输至解码端的码流为对符合位平面编码数量的位平面信息进行编码得到的，而位平面编码数量根据当前网络状态确定，因此，编码后的码流也是与传输网络的当前网络状态相匹配的码流。
由上可知，本申请上述实施例根据传输网络的当前网络状态，确定原始目标图像的位平面编码数量，其中，原始目标图像为待传输图像，对位平面编码数量的位平面信息进行编码，得到编码后的码流，传输编码后的码流。上述方案通过传输网络的当前网络状态来确定位平面编码数量，从而使得编码后的待传输码流能够与当前的网络状态相对应，进而减小了图像传输时的数据量，解决了现有技术中视频数据在传输时占用带宽较大，导致对网络带宽要求较高的技术问题。达到了即使在网络带宽较小，或网络状态较差的情况下，也能够实现视频的实时传输的效果。
可选的，根据本申请上述实施例，根据传输网络的当前网络状态，确定目标图像的位平面编码数量，包括：在当前网络的带宽小于预设带宽的情况下，调整位平面编码数量至预设值，其中，预设值小于待传输图像的位平面数量。
在一种可选的实施例中，仍以原始目标图像信息由8组位平面信息表示为例，在视频传输的过程中，以位平面编码数量为8进行传输，并实时检测网络状态，当检测到当前网络的带宽小于预设带宽时，可以将位平面编码数量调整为3，以保证视频的实时传输。
可选的，根据本申请上述实施例，对位平面编码数量的位平面信息进行编码，得到编码后的码流，包括：
步骤S141，将原始目标图像的像素值由多位二进制数值表示，得到原始目标图像的二进制数据。
步骤S143，获取二进制数据中的高N位数据，其中，N用于表征位平面编码数量。
步骤S145，对由高N位数据的像素值表征的原始目标图像进行编码，得到码流。
在一种可选的实施例中，仍以原始目标图像信息由8组位平面信息表示为例，像素值255的像素点可以表示为11111111，在位平面编码数量为4的情况下，则像素值为255的像素点为11110000，即240。
可选的，根据本申请上述实施例，在传输编码后的码流之后，上述方法还包括：
步骤S18，对码流进行解码，得到第一目标图像。
在网络状态较差的情况下，由于编码端只对一部分高位平面信息进行了编码并传输至解码端，因此解码端对不完整的码流信息进行解码后，无法得到原始的目标图像，仅能得到与原始目标图像接近但色彩失真较明显的图像。
步骤S1100，获取指定类型对应的多个神经网络模型中与位平面编码数量对应的神经网络模型。
具体的，上述类型用于指示对第一目标图像进行风格转换后的图像风格。例如：水墨画风格、油画风格、漫画风格等。每个类型的图像都对应一种神经网络模型，该神经网络模型由该类型的图像训练得到。
每个指定类型可以对应多个神经网络模型，例如：以油画风格为指定类型为例，油画风格对应的神经网络模型包括：高3位神经网络模型、高4位神经网络模型、高5位神经网络模型、高6位神经网络模型以及高7位神经网络模型。
步骤S1102，将第一目标图像输入至神经网络模型，得到第二目标图像。
上述方案从图像编解码的框架结构上进行改进，融入神经网络系统，在不改变原始目标图像信号的基础上，实时的完成视频图像风格的转换，对信号源的适应性强。
可选的，根据本申请上述实施例，获取指定类型对应的多个神经网络模型中与所述位平面编码数量对应的神经网络模型，包括：获取初始神经网络模型，通过样本库中的样本图像和指定类型的图像，训练初始神经网络模型，得到指定类型对应的神经网络模型。
可选的，根据本申请上述实施例，通过样本库中的样本图像和指定类型的图像，训练初始神经网络模型，得到指定类型对应的神经网络模型，包括：
步骤S1104，根据样本库获取样本对，其中，包括第一样本图像和第二样本图像，第二样本图像为样本库中第一样本图像对应的高N位平面图像。
具体的，上述样本库用于保存多个用于训练的样本图像，对于一个样本图像，其高位平面图像可以是根据部分高位平面信息得到的图像。
步骤S1106，获取样本对的目标误差，其中，目标误差用于表征第一样本图像与神经网络模型的输出结果的误差，和神经网络模型的输出结果与指定类型的图像的误差。
在上述步骤中，由于目标误差表征了样本对与神经网络模型的输出结果的误差，和神经网络模型的输出结果与指定类型的图像的误差，因此通过该神经网络模型得到的第二目标图像具有与指定的类型相似的风格。
步骤S1108，在目标误差大于预设误差值的情况下，根据目标误差调整初始神经网络模型的参数。
具体的，上述目标误差具有预设的约束条件，即目标误差小于预设误差值，当目标误差大于预设误差值时，确定目标误差不满足预设的约束条件时，则该神经网络还未训练完成，还需根据目标误差调整神经网络模型的参数，在目标误差满足预设的约束条件的情况下，确定该神经网络模型训练完成，并可以在编码端和解码端均以数据的形式保存训练好的神经网络。
在一种可选的实施例中，在指定类型为原始目标图像的类型的情况下，经过上述神经网络模型输出的第二目标图像与原始目标图像在色彩上非常接近，色彩损失很小，即在指定的类型为原始目标图像的类型的情况下，通过原始目标图像的类型对应的神经网络模型对解码端解码得到的第一目标图像进行色彩填充，从而得到与原始目标图像非常接近的第二目标图像。即在启用自然图像风格转换的情况下，上述方案能够很好的弥补高位平面色彩的失真，一定程度上保留了原始目标图像清晰的内容。在人眼看来，相对于清晰的内容，彩色的轻微差异是可以接受的。
在另一种可选的实施例中，在指定类型为漫画风格的情况下，经过上述神经网络模型输出的第二目标图像除色彩信息外与原始目标图像接近，但由于指定的类型为漫画风格，因此该神经网络输出的第二目标图像为与原始目标图像接近，但色彩属于漫画风格的图像。
可选的，根据本申请上述实施例，获取样本对的目标误差，包括：将第二样本图像输入至初始神经网络模型，得到第一训练结果；获取第一训练结果与第一样本图像的像素值误差；分别提取指定类型的图像的第一特征信息与第一训练结果的第二特征信息；获取第一特征信息和第二特征信息的特征信息误差；根据像素值误差和特征信息误差得到目标误差。
可选的，根据本申请上述实施例，根据像素值误差和特征信息误差得到目标误差，包括：分别获取像素值误差和特征信息误差的权重值；确定像素值误差和特征信息误差的加权为目标误差。
在一种可选的实施例中，将样本分类为文字图像和图片图像，分别利用样本对的文字图像和图片图像输入文字神经网络模型或图片神经网络模型，将神经网络模型输出的图像与输入图像对应的原始图像进行对比，获得像素值误差，内容误差Ycontent，再分别对风格训练样本图像(指定类型的图像)和神经网络模型输出的图像通过VGG进行特征提取，并获取两特征值的差别，作为特征信息误差Yfeature。分别为Ycontent和Yfeature分配对应的权重值，得到目标误差Y＝f(Ycontent，Yfeature)。
可选的，在根据本申请上述实施例，在传输编码后的码流之后，上述方法还包括：将原始目标图像作为样本图像存入样本库；以样本库中的原始目标图像作为样本图像对神经网络模型进行训练；在通过原始目标图像训练神经网络模型的次数大于预设次数的情况下，将神经网络模型的参数输出至解码端，以更新用于获取第二目标图像所使用的神经网络模型。
在上述步骤中，将原始目标图像存储至样本库，作为训练神经网络模型的样本，根据原始目标图像对神经网络模型进行训练，从而对神经网络模型进行进一步优化训练，当神经网络模型的网络参数优化达到预设次数时，将新的网络参数输出至解码端，更新解码端的网络参数。
图2是根据本发明实施例的一种优化神经网络模型的示意图，结合图2所示，首先输入待处理的图像，并根据网络状态来选择编码位平面的数量，根据预设的图片压缩编码算法对编码位平面的数量的图像信息进行编码压缩，并向解码端传输编码得到的码流。
在对待处理图像进行压缩编码的同时，还通过根据网络状态所选择的编码位平面数量的位平面信息对神经网络模型进行优化。判断图像的类型，根据图像的类型对神经网络模型进行优化。例如，如果图像的类型为文字图像，则将图像作为样本库中的样本输入至文字神经网络模型，将文字神经网络模型输出的文字图像输入至预设的图像风格转换网络，得到风格转换网络的输出结果，并根据风格转换网络的输出结果对文字神经网络进行优化，使文字神经网络模型更加接近指定的风格。图片图像与文字图像的优化方式相同。
由上可知，本申请上述方案中，图像的编解码系统有无监督自学习功能，随着系统的使用，在不影响系统性能的前提下生成图像的效果会越来越好，且能够随时加入不同的画面风格。
可选的，根据本申请上述实施例，初始神经网络模型包括文字初始神经网络模型和图片初始神经网络模型，通过样本库中的样本图像和指定类型的图像，训练初始神经网络模型，得到指定类型对应的神经网络模型的步骤包括：通过指定类型的文字图像训练文字初始神经网络模型，得到指定类型对应的文字神经网络模型；通过指定类型的图片图像训练图片初始神经网络模型，得到指定类型对应的图片神经网络模型。
在上述步骤中，初始神经网络模型包括文字神经网络模型和图片神经网络模型，在对初始神经网络进行训练时，也需要将样本图像和指定类型的图像进行图片图像和文字块的分类，并分别使用图片图像训练图片神经网络模型，使用文字图像训练文字神经网络模型。
在指定的类型的神经网络模型包括文字神经网络模型和图片神经网络模型的情况下，将第一目标图像输入至神经网络模型，得到第二目标图像的步骤包括：将第一目标图像的文字图像输入至文字神经网络模型，将第一目标图像的图片图像输入至图片神经网络模型，从而得到第二目标图像。
图3是根据本发明实施例的一种训练指定类型对应的神经网络模型的示意图，结合图3所示，首先获取样本库中的样本图像，利用位平面编码方法对样本图像进行高位平面编码(例如：高4位)，得到样本图像的高位平面的编码图像，即样本图像的样本对，将样本对输入至深度卷积神经网络模型中得到输出图像。
然后，利用深度卷积神经网络模型的输出图像和样本图像进行比对，得到内容误差(即像素值误差)，再分别对指定类型的特征目标图像和输出图像输入至VGG特征提取网络，得到特征目标图像和输出图像的特征。将特征目标图像和输出图像的特征进行比对得到特征误差。再分别将内容误差和特征误差进行加权处理后输入至深度卷积神经网络模型，以对深度卷积神经网络模型的网络参数进行修正。
最后，在内容误差和特征误差的加权结果满足预设的约束条件(例如：加权结果小于预设值)的情况下，输出网络参数，并进行保存，得到指定类型对应的神经网络模型。
图4是根据本发明实施例的一种解码端对图像进行解码的流程图，在一种可选的实时中，解码端对码流进行解码可以结合图4所示。
S41，将高位平面图像进行压缩编码。
在一种可选的实施例中，以图像由8组位平面信息表示为例，上述高位平面图像可以是由高4为图像信息构成的平面图像。
S42，传输至接收端。具体的，上述接收端即为解码端。
S43，对接收到的码流解码后进行类型判断。如果图像的类型是文字图像，则进入步骤S44，如果图像的类型是图片图像，则进入步骤S48。
S44，风格选择。如果指定的风格为水墨画风格，则进入步骤S45，如果指定的风格为漫画风格，则进入步骤S46，如果指定的风格为自然图像风格，则进入步骤S47。
S45，调用水墨画风格的文字神经网络模型。
S46，调用漫画风格的文字神经网络模型。
S47，调用自然图像风格的文字神经网络模型。
S48，风格选择。如果指定的风格为水墨画风格，则进入步骤S49，如果指定的风格为漫画风格，则进入步骤S410，如果指定的风格为自然图像风格，则进入步骤S411。
S49，调用水墨画风格的图片神经网络模型。
S410，调用漫画风格的图片神经网络模型。
S411，调用自然图像风格的图片神经网络模型。
实施例2
根据本发明实施例，提供了一种图像的传输装置，图5是根据本发明实施例的一种图像的传输装置的示意图，结合图5所示，该装置包括：
确定模块50，用于根据传输网络的当前网络状态，确定原始目标图像的位平面编码数量，其中，原始目标图像为待传输图像。
编码模块52，用于对位平面编码数量的位平面信息进行编码，得到编码后的码流。
传输模块54，用于传输编码后的码流。
可选的，根据本申请上述实施例，确定模块包括：
调整子模块，用于在当前网络的带宽小于预设带宽的情况下，调整位平面编码数量至预设值，其中，预设值小于待传输图像的位平面数量。
可选的，根据本申请上述实施例，编码模块包括：
二进制表示子模块，用于将所述原始目标图像的像素值由多位二进制数值表示，得到所述原始目标图像的二进制数据。
第一获取子模块，用于获取所述二进制数据中的高N位数据，其中，N用于表征所述位平面编码数量。
编码子模块，用于对选择得到的位平面信息进行编码，得到码流。
可选的，根据本申请上述实施例，上述装置还包括：
解码模块，用于在传输编码后的码流之后，对码流进行解码，得到第一目标图像。
第二获取子模块，用于获取指定类型对应的多个神经网络模型中与位平面编码数量对应的神经网络模型。
输入子模块，用于将第一目标图像输入至神经网络模型，得到第二目标图像。
可选的，根据本申请上述实施例，第二获取子模块包括：
获取单元，用于获取初始神经网络模型。
训练单元，用于通过样本库中的样本图像和指定类型的图像，训练初始神经网络模型，得到指定类型对应的神经网络模型。
可选的，根据本申请上述实施例，训练单元包括：
第一获取子单元，用于根据样本库获取样本对，其中，样本对包括第一样本图像和第二样本图像，第二样本图像为样本库中第一样本图像对应的高N位平面图像。
第二获取子单元，用于获取样本对的目标误差，其中，目标误差用于表征第一样本图像与神经网络模型的输出结果的误差，和神经网络模型的输出结果与指定类型的图像的误差。
调整子单元，用于在目标误差大于预设误差值的情况下，根据目标误差调整初始神经网络模型的参数。
可选的，根据本申请上述实施例，第二获取子单元包括：
输入子单元，用于将第二样本图像输入至初始神经网络模型，得到第一训练结果。
第三获取子单元，用于获取第一训练结果与第一样本图像的像素值误差。
提取子单元，用于分别提取指定类型的图像的第一特征信息与第一训练结果的第二特征信息。
第四获取子单元，用于获取第一特征信息和第二特征信息的特征信息误差。
第五获取子单元，用于根据像素值误差和特征信息误差得到目标误差。
可选的，根据本申请上述实施例，第五获取子单元包括：
第六获取子单元，用于分别获取像素值误差和特征信息误差的权重值。
确定子单元，用于确定像素值误差和特征信息误差的加权为目标误差。
可选的，根据本申请上述实施例，上述装置还包括：
存储模块，用于在传输编码后的码流之后，将原始目标图像作为样本图像存入样本库。
训练模块，用于以样本库中的原始目标图像作为样本图像对神经网络模型进行训练。
更新模块，用于在通过原始目标图像训练神经网络模型的次数大于预设次数的情况下，将神经网络模型的参数输出至解码端，以更新用于获取第二目标图像所使用的神经网络模型。
可选的，根据本申请上述实施例，初始神经网络模型包括文字初始神经网络模型和图片初始神经网络模型，训练单元包括：
第一训练子单元，用于通过指定类型的文字图像训练文字初始神经网络模型，得到指定类型对应的文字神经网络模型。
第二训练子单元，用于通过指定类型的图片图像训练图片初始神经网络模型，得到指定类型对应的图片神经网络模型。
实施例3
根据本发明实施例，提供了一种图像的传输系统，图6是根据本发明实施例的一种图像的传输系统的示意图，结合图6所示，该系统包括：
编码端设备60，根据传输网络的当前网络状态，确定原始目标图像的位平面编码数量，其中，原始目标图像为待传输图像，对位平面编码数量的位平面信息进行编码，得到编码后的码流，传输编码后的码流。
解码端设备62，与编码端设备60通信，用于接收编码后的码流并对编码后的码流进行解码。
可选的，根据本申请上述实施例，解码端设备还用于获取指定类型对应的神经网络模型；将第一目标图像输入至神经网络模型，得到第二目标图像。
实施例4
根据本发明实施例，提供了一种处理器，处理器包括存储的程序，其中，在程序运行时控制处理器所在设备执行实施例1中任意一项的图像的传输方法。
实施例5
根据本发明实施例，提供了一种处理器，处理器用于运行程序，其中，程序运行时执行实施例1中任意一项的图像的传输方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种图像的传输方法，其特征在于，包括：
根据传输网络的当前网络状态，确定原始目标图像的位平面编码数量，其中，所述原始目标图像为待传输图像；
对所述位平面编码数量的位平面信息进行编码，得到编码后的码流；
传输编码后的码流；
根据传输网络的当前网络状态，确定目标图像的位平面编码数量，包括：
在所述当前网络的带宽小于预设带宽的情况下，调整位平面编码数量至预设值，其中，所述预设值小于所述待传输图像的位平面数量；
对所述位平面编码数量的位平面信息进行编码，得到编码后的码流，包括：
将所述原始目标图像的像素值由多位二进制数值表示，得到所述原始目标图像的二进制数据；
获取所述二进制数据中的高N位数据，其中，N用于表征所述位平面编码数量；
对由所述高N位数据的像素值表征的原始目标图像进行编码，得到所述码流；
在传输编码后的码流之后，所述方法还包括：
对所述码流进行解码，得到第一目标图像；
获取指定类型对应的多个神经网络模型中与所述位平面编码数量对应的神经网络模型，其中，所述类型用于指示对所述第一目标图像进行风格转换后的图像风格；
将所述第一目标图像输入至所述神经网络模型，得到第二目标图像。
2.根据权利要求1所述的方法，其特征在于，获取指定类型对应的多个神经网络模型中与所述位平面编码数量对应的神经网络模型，包括：
获取初始神经网络模型；
通过样本库中的样本图像和所述指定类型的图像，训练所述初始神经网络模型，得到所述指定类型对应的神经网络模型。
3.根据权利要求2所述的方法，其特征在于，通过样本库中的样本图像和所述指定类型的图像，训练所述初始神经网络模型，得到所述指定类型对应的神经网络模型，包括：
根据所述样本库获取样本对，其中，所述样本对包括第一样本图像和第二样本图像，所述第二样本图像为所述样本库中第一样本图像对应的高N位平面图像；
获取所述样本对的目标误差，其中，所述目标误差用于表征所述第一样本图像与神经网络模型的输出结果的误差，和所述神经网络模型的输出结果与所述指定类型的图像的误差；
在所述目标误差大于预设误差值的情况下，根据所述目标误差调整所述初始神经网络模型的参数。
4.根据权利要求3所述的方法，其特征在于，获取所述样本对的目标误差，包括：
将所述第二样本图像输入至所述初始神经网络模型，得到第一训练结果；
获取所述第一训练结果与所述第一样本图像的像素值误差；
分别提取所述指定类型的图像的第一特征信息与所述第一训练结果的第二特征信息；
获取所述第一特征信息和所述第二特征信息的特征信息误差；
根据所述像素值误差和所述特征信息误差得到目标误差。
5.根据权利要求4所述的方法，其特征在于，根据所述像素值误差和所述特征信息误差得到目标误差，包括：
分别获取所述像素值误差和所述特征信息误差的权重值；
确定所述像素值误差和所述特征信息误差的加权为所述目标误差。
6.一种图像的传输装置，其特征在于，包括：
确定模块，用于根据传输网络的当前网络状态，确定原始目标图像的位平面编码数量，其中，所述原始目标图像为待传输图像；
编码模块，用于对所述位平面编码数量的位平面信息进行编码，得到编码后的码流；
传输模块，用于传输编码后的码流；
所述确定模块包括：
调整子模块，用于在所述当前网络的带宽小于预设带宽的情况下，调整位平面编码数量至预设值，其中，所述预设值小于所述待传输图像的位平面数量；
所述编码模块包括：
二进制表示子模块，用于将所述原始目标图像的像素值由多位二进制数值表示，得到所述原始目标图像的二进制数据；
第一获取子模块，用于获取所述二进制数据中的高N位数据，其中，N用于表征所述位平面编码数量；
编码子模块，用于对由所述高N位数据的像素值表征的原始目标图像进行编码，得到所述码流；
所述装置还包括：
解码模块，用于在传输编码后的码流之后，对所述码流进行解码，得到第一目标图像；
第二获取子模块，用于获取指定类型对应的多个神经网络模型中与所述位平面编码数量对应的神经网络模型，其中，所述类型用于指示对所述第一目标图像进行风格转换后的图像风格；
输入子模块，用于将所述第一目标图像输入至所述神经网络模型，得到第二目标图像。
7.一种图像的传输系统，其特征在于，包括：
编码端设备，根据传输网络的当前网络状态，确定原始目标图像的位平面编码数量，其中，所述原始目标图像为待传输图像，对所述位平面编码数量的位平面信息进行编码，得到编码后的码流，传输所述编码后的码流；
解码端设备，与所述编码端设备通信，用于接收所述编码后的码流并对所述编码后的码流进行解码；
所述编码端设备在所述当前网络的带宽小于预设带宽的情况下，调整位平面编码数量至预设值，其中，所述预设值小于所述待传输图像的位平面数量；
所述编码端设备将所述原始目标图像的像素值由多位二进制数值表示，得到所述原始目标图像的二进制数据；获取所述二进制数据中的高N位数据，其中，N用于表征所述位平面编码数量；对由所述高N位数据的像素值表征的原始目标图像进行编码，得到所述码流；
解码端设备在传输编码后的码流之后，对所述码流进行解码，得到第一目标图像；获取指定类型对应的多个神经网络模型中与所述位平面编码数量对应的神经网络模型；将所述第一目标图像输入至所述神经网络模型，得到第二目标图像，其中，所述类型用于指示对所述第一目标图像进行风格转换后的图像风格。
8.一种处理器，其特征在于，所述处理器包括存储的程序，其中，在所述程序运行时控制所述处理器所在设备执行权利要求1至5中任意一项所述的图像的传输方法。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至5中任意一项所述的图像的传输方法。
CN201710422138.4A 2017-06-06 2017-06-06 图像的传输方法、装置和系统 Active CN107172428B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710422138.4A CN107172428B (zh) 2017-06-06 2017-06-06 图像的传输方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710422138.4A CN107172428B (zh) 2017-06-06 2017-06-06 图像的传输方法、装置和系统

Publications (2)

Publication Number Publication Date
CN107172428A CN107172428A (zh) 2017-09-15
CN107172428B true CN107172428B (zh) 2019-06-28

Family

ID=59824655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710422138.4A Active CN107172428B (zh) 2017-06-06 2017-06-06 图像的传输方法、装置和系统

Country Status (1)

Country Link
CN (1) CN107172428B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305214B (zh) * 2017-12-28 2019-09-17 腾讯科技（深圳）有限公司 图像数据处理方法、装置、存储介质和计算机设备
CN110401836B (zh) * 2018-04-25 2022-04-26 杭州海康威视数字技术股份有限公司 一种图像解码、编码方法、装置及其设备
CN109035318B (zh) * 2018-06-14 2021-11-30 西安电子科技大学 一种图像风格的转换方法
CN109151584B (zh) * 2018-09-07 2020-10-27 华为技术有限公司 控制网络流量的方法与装置
CN109472366B (zh) * 2018-11-01 2020-07-24 苏州浪潮智能科技有限公司 一种机器学习模型的编码解码方法与装置
CN109615073B (zh) * 2018-12-03 2021-06-04 郑州云海信息技术有限公司 一种神经网络模型的构建方法、设备以及存储介质
CN109640088A (zh) * 2018-12-30 2019-04-16 成都纵横自动化技术股份有限公司 图像数据处理方法、装置及系统
CN112929703A (zh) * 2019-12-06 2021-06-08 上海海思技术有限公司 码流数据的处理方法和装置
CN114501031B (zh) * 2020-11-13 2023-06-02 华为技术有限公司 一种压缩编码、解压缩方法以及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1406431A (zh) * 2000-05-25 2003-03-26 皇家菲利浦电子有限公司 依赖位平面的信号压缩
CN1631039A (zh) * 2000-10-06 2005-06-22 西门子公司 传输矢量的方法和装置
CN1843035A (zh) * 2003-08-26 2006-10-04 三星电子株式会社 使用预解码器的可伸缩视频编码方法和设备
CN101175140A (zh) * 2006-10-30 2008-05-07 三星电子株式会社 成像装置及其成像方法
CN101399982A (zh) * 2007-09-30 2009-04-01 奇景光电股份有限公司 图像压缩控制方法及装置
CN102783141A (zh) * 2010-05-14 2012-11-14 Lg电子株式会社 显示装置及其控制方法
CN106256126A (zh) * 2014-05-02 2016-12-21 三星电子株式会社 用于自适应地压缩图像数据的方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1406431A (zh) * 2000-05-25 2003-03-26 皇家菲利浦电子有限公司 依赖位平面的信号压缩
CN1631039A (zh) * 2000-10-06 2005-06-22 西门子公司 传输矢量的方法和装置
CN1843035A (zh) * 2003-08-26 2006-10-04 三星电子株式会社 使用预解码器的可伸缩视频编码方法和设备
CN101175140A (zh) * 2006-10-30 2008-05-07 三星电子株式会社 成像装置及其成像方法
CN101399982A (zh) * 2007-09-30 2009-04-01 奇景光电股份有限公司 图像压缩控制方法及装置
CN102783141A (zh) * 2010-05-14 2012-11-14 Lg电子株式会社 显示装置及其控制方法
CN106256126A (zh) * 2014-05-02 2016-12-21 三星电子株式会社 用于自适应地压缩图像数据的方法和装置

Also Published As

Publication number Publication date
CN107172428A (zh) 2017-09-15

Similar Documents

Publication Publication Date Title
CN107172428B (zh) 图像的传输方法、装置和系统
CN109218727B (zh) 视频处理的方法和装置
CN110310343B (zh) 图像处理方法及装置
CN110072119B (zh) 一种基于深度学习网络的内容感知视频自适应传输方法
CN107087201B (zh) 图像处理方法和装置
CN110322416A (zh) 图像数据处理方法、装置以及计算机可读存储介质
CN110290387A (zh) 一种基于生成模型的图像压缩方法
CN106899861A (zh) 一种图片文件处理方法及其设备、系统
CN102637302A (zh) 一种图像编码方法
CN108921932B (zh) 基于卷积神经网络的黑白人物图片生成多种合理着色方法
CN110401833A (zh) 图像传输方法及装置
CN105979265A (zh) 图片压缩方法和装置
CN112053408A (zh) 基于深度学习的人脸图像压缩方法及装置
CN111654721A (zh) 视频处理方法、系统、电子设备及存储介质
CN107147913B (zh) 文字块的传输方法和装置
CN111696026A (zh) 基于l0正则项的可逆灰度图算法、计算设备
CN113628116B (zh) 图像处理网络的训练方法、装置、计算机设备和存储介质
CN106921869A (zh) 一种图片文件处理方法及其设备
CN111667406B (zh) 一种基于时域相关性的视频图像超分辨率重建方法
Kudo et al. GAN-based image compression using mutual information maximizing regularization
CN116508320A (zh) 基于机器学习的图像译码中的色度子采样格式处理方法
CN107770539A (zh) 文字块的编码方法和装置及其解码方法和装置
CN116416216A (zh) 基于自监督特征提取的质量评价方法、存储介质及终端
CN106713924B (zh) 用于文字分层压缩方法和装置
CN110062125A (zh) 图像传输方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230105

Address after: Room 740, No. 1256 and 1258, Wanrong Road, Jing'an District, Shanghai, 200072

Patentee after: Shanghai Jingda Xinlian Information Technology Co.,Ltd.

Address before: Room d102, building 4, Fengye Xindu District, hi tech Zone, Xi'an City, Shaanxi Province

Patentee before: XI'AN VANXVM ELECTRONICS TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230731

Address after: 710075, 2nd Floor, Building 5, Taiwei Zhilian Center, No. 8 Tangyan South Road, High tech Zone, Xi'an City, Shaanxi Province

Patentee after: XI'AN VANXVM ELECTRONICS TECHNOLOGY Co.,Ltd.

Address before: Room 740, No. 1256 and 1258, Wanrong Road, Jing'an District, Shanghai, 200072

Patentee before: Shanghai Jingda Xinlian Information Technology Co.,Ltd.