CN110139109B - 图像的编码方法及相应终端 - Google Patents

图像的编码方法及相应终端 Download PDF

Info

Publication number
CN110139109B
CN110139109B CN201910087815.0A CN201910087815A CN110139109B CN 110139109 B CN110139109 B CN 110139109B CN 201910087815 A CN201910087815 A CN 201910087815A CN 110139109 B CN110139109 B CN 110139109B
Authority
CN
China
Prior art keywords
image
bare
processed
coding
bare image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910087815.0A
Other languages
English (en)
Other versions
CN110139109A (zh
Inventor
吕卓逸
陈杰
崔钟凡
欧阳晓
王凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110139109A publication Critical patent/CN110139109A/zh
Priority to US16/967,059 priority Critical patent/US11297319B2/en
Priority to PCT/KR2020/001131 priority patent/WO2020159154A1/en
Application granted granted Critical
Publication of CN110139109B publication Critical patent/CN110139109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本发明提供了一种图像的编码方法及相应终端，该编码方法包括：根据待处理的裸图像的特征信息，确定待处理的裸图像对应的编码相关信息；根据编码相关信息，对待处理的裸图像进行编码处理；本发明通过将编码处理后的裸图像通过网络传输到云端服务器，从而利用云端服务器的图像优化模块对解码重建后的裸图像进行优化，与现有技术中的ISP模块受限于终端的计算能力无法实现较为复杂的算法相比，本发明可以在提高图像压缩比的同时，进一步实现更优化的图像处理性能，显著提高最终图像的主观质量。

Description

图像的编码方法及相应终端
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种图像的编码方法及相应终端。
背景技术
在现有的数字相机系统中，如图1所示，相机传感器输出拍摄到的裸图像，之后裸图像经过本地的ISP(image signal processor，图像信号处理)模块被优化处理，以提高用户观看图像的质量。
现有的数字相机系统只需采用终端的图像信号处理模块，无需将裸图像进行压缩和网络传输，因此现有技术中没有对裸图像压缩编码相关的技术。
现有的图像/视频编解码器能够处理的对象是相机拍摄的裸图像经过图像处理和格式转换之后的一般图像。与一般图像相比，裸图像的主要区别在于：
A、噪声大：信号的能量分布不同；
B、颜色通道的属性和排列不同：
一般图像包含Y、U、V或者R、G、B三个通道；
裸图像包含G1、R、B和G2四个通道，HDR(High-Dynamic Range，高动态范围图像)的裸图像包含Gl、Rl、Bl、Gs、Rs和Bs六个通道，不同相机传感器有不同的通道顺序排列；
C、图像性质不同：裸图像没有经过白平衡、镜头矫正、坏点检测等信号处理，图像的性质与一般图像不同。
以上不同导致编码器在压缩裸图像时要选择不同的编码策略和编码工具。
发明内容
为克服上述技术问题或者至少部分地解决上述技术问题，特提出以下技术方案：
本发明提出了一种图像的编码方法，包括以下步骤：
根据待处理的裸图像的特征信息，确定待处理的裸图像对应的编码相关信息；
根据所述编码相关信息，对待处理的裸图像进行编码处理。
本发明还提出了一种终端，包括：
确定模块，用于根据待处理的裸图像的特征信息，确定待处理的裸图像对应的编码相关信息；
编码模块，用于根据所述编码相关信息，对待处理的裸图像进行编码处理。
本发明提供的图像的编码方法及相应终端，能够将编码处理后的裸图像通过网络传输到云端服务器，从而利用云端服务器的图像优化模块对解码重建后的裸图像进行优化，与现有技术中的ISP模块受限于终端的计算能力无法实现较为复杂的算法相比，本发明可以在提高图像压缩比的同时，进一步实现更优化的图像处理性能，显著提高最终图像的主观质量。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为数字相机系统的图像信号处理的过程示意图；
图2为本发明实施例提供的云相机-云端ISP框架的“云相机”系统的示意图；
图3为本发明实施例提供的云相机-云端语义分析框架的“云相机”系统的示意图；
图4a为现有图像解、编码器的示意图；
图4b为本发明实施例提供的裸图像解、编码器的示意图；
图5为本发明实施例提供的图像的编码方法的流程示意图；
图6为本发明实施例提供的深度学习网络的层次结构示意图；
图7为本发明实施例提供的获取特征值集合的示意图；
图8为本发明实施例提供的训练第一模型和第二模型的流程示意图；
图9a为本发明实施例提供的裸图像的四通道图像格式的示意图；
图9b为本发明实施例提供的裸图像的六通道图像格式的示意图；
图9c为本发明实施例提供的提取一种特征值的示意图；
图10为本发明实施例提供的解码方法的流程示意图；
图11为本发明实施例提供的一种图像处理方法的流程示意图；
图12为本发明实施例提供的云相机-云端ISP框架的“云相机”系统的图像处理方法的流程示意图；
图13为本发明实施例提供的另一种图像处理方法的流程示意图；
图14为本发明实施例提供的云相机-云端语义分析框架的“云相机”系统的图像处理方法的流程示意图；
图15为本发明实施例一提供的应用第一深度学习模型的流程示意图；
图16为本发明实施例一提供的应用第二深度学习模型的流程示意图；
图17为本发明实施例二提供的云相机-云端ISP框架的“云相机”系统中与数学模型方法相关的处理方法的流程示意图；
图18为本发明实施例二提供的相邻编码单元的示意图；
图19为本发明实施例三提供的结合云端语义分析的云相机-云端ISP框架的“云相机”系统的示意图；
图20为本发明实施例四提供的云相机-云端ISP框架的“云相机”系统中多码流传输的示意图；
图21为本发明实施例四提供的一种裸图像划分方法的示意图；
图22为本发明实施例四提供的另一种裸图像划分方法的示意图；
图23为本发明实施例四提供的处理时间的示意图；
图24为本发明实施例一、二、三提供的处理时间的示意图；
图25为本发明实施例五提供的第一种裸图像划分方法的示意图；
图26为本发明实施例五提供的第二种裸图像划分方法的示意图；
图27为本发明实施例五提供的第三种裸图像划分方法的示意图；
图28为本发明实施例六提供的一种终端的框架示意图；
图29为现有终端ISP模块处理后的图像示例图；
图30为本发明实施例二提供的编码方法处理后再经ISP模块处理后的图像示例图；
图31为现有的压缩方法处理后的图像示例图；
图32为本发明实施例二PDS模型离线训练过程示例图；
图33为本发明实施例二PDS模型应用示例图；
图34为本发明实施例二中离线训练PDS模型步骤中特征值组合权重矩阵示例。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
考虑到终端的ISP模块无法实现较为复杂的算法，对图像的优化性能无法达到最优。本发明实施例中提出“云相机”系统，将耗时、复杂的图像处理模块放到云端服务器。
本发明实施例提出的“云相机”系统包括两种框架方案：
1)云相机-云端ISP
用云端ISP代替终端ISP，使得对裸图像进行优化处理的ISP模块可以实现复杂的图像处理算法，提高经ISP模块优化处理后图像的质量。如图2所示，终端将待处理的裸图像压缩后传输到云端，云端ISP模块对解码后的裸图像进行优化处理后生成供用户观看的图像，并传输到终端。
2)云相机-云端语义分析
强大的云端语义分析模块利用大数据库和复杂的算法完成对裸图像的语义分析，并将语义分析结果传输给终端ISP模块，帮助终端ISP模块达到更好的图像优化性能。如图3所示，终端将待处理的裸图像压缩后传输到云端，云端语义分析模块对解码后的裸图像进行语义分析并将语义分析结果传输到终端，终端ISP模块根据语义分析结果对待处理的裸图像进行优化处理后生成供用户观看的图像。
可见，上述两种框架方案中，终端都需要对待处理的裸图像进行编码、压缩而生成压缩码流后进行网络传输，以减少网络传输所用带宽。在云端服务器接收到压缩码流后对其进行解码，再对解码重建后的裸图像进行相应处理。
因此，对裸图像的编码、解码过程在“云相机”系统的应用中是至关重要的。然而，现有的编码器和解码器无法直接应用到本发明的“云相机”系统中。原因在于，现有的图像编码器用于网络传输中时，没有后续图像处理操作，仅需实现在有限带宽条件下减小编码失真，保持图像的客观质量的目的。因此，如图4a所示，现有的图像编码器只需将一般图像压缩成码流，通过网络进行传输到另一终端，该另一终端中现有的图像解码器对码流进行解码，获得解码后的一般图像。
而“云相机”系统中的编码器和解码器应用后，后续还有云端语义分析模块及云端ISP模块的处理过程，还需要实现在有限带宽条件下减小完整图像处理过程带来的主观失真，保持最终图像的主观质量的目的。因此，如图4b所示，“云相机”系统中的图像编码器将裸图像进行编码，压缩生成压缩码流，通过网络传输到云端，“云相机”系统中的图像解码器对压缩码流进行解码、重建，获得解码后的裸图像，然后云端ISP或者云端语义分析模块对解码后的裸图像进行相应的处理，获得用户观看的图像。
本发明实施例中，为解决“云相机”系统无法采用现有的图像编、解码器的问题，本发明实施例提出“裸图像编码器和解码器”，除了实现对裸图像以及裸视频的压缩和解码，同时还能提高“云相机”系统处理后的图像及视频的主观质量。
下面将对本发明实施例提供的“云相机”系统中的图像编码、解码、处理方法进行详细介绍。
本发明实施例提供了一种图像的编码方法，如图5所示，包括如下步骤：
步骤S510：根据待处理的裸图像的特征信息，确定待处理的裸图像对应的编码相关信息。
具体地，根据待处理的裸图像的特征信息，确定待处理的裸图像对应的主观失真相关信息，目的是对图像的主观质量进行优化。
优选地，编码相关信息包括主观失真相关信息及编码参数，该步骤中，根据待处理的裸图像的特征信息，确定待处理的裸图像对应的主观失真相关信息及编码参数。
本发明实施例中，根据待处理的裸图像的特征信息，基于训练后的第一模型，确定待处理的裸图像对应的主观失真相关信息。
根据待处理的裸图像的特征信息，基于训练后的第二模型，确定裸图像的编码参数。
其中，编码参数包括量化参数，或者其它参数。实际应用中，第一模型和第二模型来自深度学习网络，例如多层卷积神经网络，具体地，第一模型包括第一深度学习模型，第二模型包括第二深度学习模型。
或者，第一模型和第二模型来自建立的数学模型；具体地，第一模型包括第一数学模型，第二模型包括第二数学模型。
如图6所示，本发明实施例中涉及到的深度学习网络包含如下层次结构：
1)数据收集层：用于收集裸图像、已处理图像、编码参数、编码使用的比特数、残差图像等数据；
2)特征提取层：用于提取裸图像中各编码单元的特征值，输出各编码单元的特征值集合，如图7所示；
3)训练数据层：训练数据为已处理的裸图像各编码单元的特征值集合。当实时训练模型时，已处理的裸图像为待处理的裸图像的前一幅已处理的裸图像，必要时采用前几幅已处理的裸图像，如图8所示；当离线训练模型时，已处理的裸图像为历史处理图像，例如现有数据库中已有的历史已处理的裸图像；
4)主观失真评价层：输入裸图像和裸图像经过ISP处理后的图像，输出各编码单元的主观失真相关信息；
5)多层卷积神经网络层：
训练过程：输入上述几个层次中得到的数据或信息，训练得到第一深度学习模型或第二深度学习模型；
应用过程：将上述几个层次中得到的数据或信息输入训练好的深度学习模型中，输出编码相关信息。
本发明实施例中涉及到的数学模型包括：
基于“特征值集合-主观差异”关系的模型，描述了裸图像中各编码单元的特征值集合与主观差异之间的关系，输出各编码单元的权重值，用于计算各编码单元的目标比特数；
以及，基于“比特数-特征值集合-量化参数”关系的模型：输入裸图像中各编码单元的特征值集合和目标比特数，可以输出各编码单元的编码参数，例如量化参数。
本发明实施例中，待处理的裸图像的一类格式如图9a所示，分为四个颜色通道，像素点可以按照G1、R、B和G2排列，也可以是其他排列方式。待处理的裸图像的另一类格式如图9b所示，分为Gl、Rl、Bl、Gs、Rs和Bs六个颜色通道，其原理与四个颜色通道的格式类似，本文不一一阐述。
可选地，特征值集合的参数包括以下至少一种：明暗度；平滑度；边缘强度；边缘方向一致度；文理复杂度。具体而言，通过以下方式获得：
1)针对如图9a所示的四通道格式的裸图像
平均亮度值：先计算编码单元的四个单颜色通道中所有像素点值的均值，再按照G1:R:G2:B＝9:10:9:4的比例计算四个单颜色通道均值的加权平均值；可选地，依据传感器设备标准不同，比例可能为其他值；
方向梯度幅值：先利用Sobel算子计算编码单元中各像素点的方向梯度的幅值，再按照G1:R:G2:B＝2:1:2:1的比例计算所有像素点方向梯度幅值的加权平均值；可选地，依据传感器设备标准不同，比例可能为其他值；可选地，Sobel算子还可以替换为Prewitt算子，Lapacian算子等；
纹理方向一致度：先将编码单元的G1颜色通道划分为大小相等的四个子单元，再计算各子单元中所有像素点的方向梯度幅值均值，然后计算四个子单元的方向梯度幅值均值的方差；
编码单元内是否包含宽边缘：先将编码单元划分为大小相等的四个子单元，再计算各自单元中像素点的方向梯度幅值大于阈值的个数，然后判断是否四个子单元的个数都大于阈值；
可选地，特征值集合还可以包含其他特征值。
2)针对如图9b所示的六通道格式的裸图像：
平均亮度值：计算编码单元的Gl和Gs两个颜色通道中所有像素点值的均值；
方向梯度幅值：先利用Sobel算子计算编码单元Gl和Gs两个颜色通道中各像素点的方向梯度的幅值，再计算Gl和Gs两个颜色通道中所有像素点方向梯度幅值的加权平均值；可选地，Sobel算子还可以替换为Prewitt算子，Lapacian算子等；
纹理方向一致度：先分别将编码单元的Gl和Gs两个颜色通道划分为大小相等的四个子单元，再计算各子单元中所有像素点的方向梯度幅值均值，然后计算四个子单元的方向梯度幅值均值的方差；
编码单元内是否包含宽边缘：先分别将编码单元Gl和Gs两个颜色通道划分为大小相等的四个子单元，再计算各自单元中像素点的方向梯度幅值大于阈值的个数，然后判断是否四个子单元的个数都大于阈值；
可选地，特征值集合及其获得过程还可以包括：
平均亮度值：先计算编码单元的六个单颜色通道中所有像素点值的均值，再按照Gs:Rs:Bs＝Gl:Rl:Bl＝9:5:2的比例计算六个单颜色通道均值的加权平均值；可选地，依据传感器设备标准不同，比例可能为其他值；
方向梯度幅值：先将Rs、Bs、Rl和Bl四个颜色通道子块变换为与Gl和Gs大小相等的子块，具体方法是，以Rs为例，如图9c所示，灰色位置的像素值用与其相邻的三个实际存在的白色位置像素值的均值获得；再利用Sobel算子计算编码单元中各颜色通道子块中各像素点的方向梯度的幅值，然后按照Gs:Rs:Bs＝Gl:Rl:Bl＝2:1:1的比例计算所有像素点方向梯度幅值的加权平均值；可选地，依据传感器设备标准不同，比例可能为其他值；可选地，Sobel算子还可以替换为Prewitt算子，Lapacian算子，等等；
纹理方向一致度：先分别将编码单元Gl和Gs两个颜色通道划分为大小相等的四个子单元，再计算各子单元中所有像素点的方向梯度幅值均值，然后计算四个子单元的方向梯度幅值均值的方差；
编码单元内是否包含宽边缘：先分别将编码单元Gl和Gs两个颜色通道划分为大小相等的四个子单元，再计算各自单元中像素点的方向梯度幅值大于阈值的个数，然后判断是否四个子单元的个数都大于阈值；
可选地，特征值集合还可以包含其他特征值。
采用上述方法确定裸图像的编码参数后，便可执行步骤S520。
步骤S520：根据编码相关信息，对待处理的裸图像进行编码处理。
具体地，根据所述主观失真相关信息，对待处理的裸图像进行编码处理，目的是对图像的主观质量进行优化。
因此本发明实施例中，根据所述主观失真相关信息，在编码过程中，主观失真敏感度和分配的比特数成正比例关系，也就是说，本发明实施例对主观失真敏感区域(即主观失真容易被人眼感知的区域)分配相对较多的比特数，对于不敏感区域(即失真不易被人眼察觉的区域)分配相对较少的比特数，以在编码过程中达到上述目的。
优选地，编码相关信息包括主观失真相关信息及编码参数，该步骤中，按照预定编码顺序，根据所述主观失真相关信息及所述编码参数，对待处理的裸图像进行编码处理。
实际应用中，需要确定待处理的裸图像各编码单元的最优预测模式，对于本发明实施例中涉及到的深度学习方式，根据待处理的裸图像中各编码单元的主观失真值，确定各编码单元的最优预测模式。
对于本发明实施例中涉及到的数学模型方式，在图像编码过程中，编码器充分利用图像在空间和/或时间上的相关性，使用空间和/或时间相邻的已编码的像素作为参考像素，从多个候选的预测模式选择最优预测模式，以达到压缩图像数据、节省传输带宽和保证图像质量的目的。
随后，根据待处理的裸图像中各编码单元的最优预测模式及编码参数，对待处理的裸图像进行编码处理。
预测过程最终选择率失真代价最小的候选预测模式作为当前待编码单元的最优模式，率失真代价最小表示使用该预测模式可以实现失真和使用比特数两者之间的最优折中。
作为示例地，格式为如图9a所示四个颜色通道的裸图像，像素点按照G1、R、B和G2排列，定义待压缩的裸图像的宽度和高度分别为W_Image和H_Image。对裸图像进行处理之前，先将四个颜色通道分离，得到四个单颜色通道的图像，每个单颜色通道的裸图像宽度和高度值分别为W_Image/2和H_Image/2。
利用主观失真相关信息分别对G1、R、B和G2四个通道进行预测，获得各自的最优预测模式。在预测过程中，以利用G1通道作为参考像素值为例，获得预测值R、B和G2的候选预测模式相比G1增加一个通道间预测模式(Cross Component Prediction)。
同理，利用主观失真相关信息分别对如图9b所示的Gl、Rl、Bl、Gs、Rs和Bs六个通道进行预测，获得各自的最优预测模式。在预测过程中，以利用Gl通道作为参考像素值获得Rl和Bl的预测值，利用Gs通道作为参考像素值获得Rs和Bs的预测值为例，Rl、Bl、Rs和Bs的候选预测模式相比Gl和Gs增加一个通道间预测模式。
在确定出待处理的裸图像中各编码单元的最优预测模式后，根据各编码单元的编码参数，并基于其最优预测模式，确定裸图像的各个编码单元对应的残差值；
利用确定得到的编码参数，以量化参数为例，对各个编码单元的各个颜色通道的实际差值经变换后的值进行量化，获得残差值。
随后，对残差值进行熵编码，生成压缩码流。
相应地，本发明实施例提供了一种解码方法，由云端的图像解码器执行，如图10所示，包括：
步骤S1010：获取编码后的裸图像对应的编码相关信息；
具体而言，从接收到的压缩码流中获取编码后的裸图像相关的量化参数、最优预测模式和残差值等信息。
步骤S1020：根据编码相关信息，对待处理的编码后的裸图像进行解码处理。
利用量化参数对各个颜色通道的残差值进行反量化、反变换，在基于用各个颜色通道的最优预测模式，得到编码后的裸图像的各个颜色通道的预测值，将相应的预测值与残差值进行反量化、反变换后获得的差值相加，获得编码后的裸图像的重建值，对编码后的裸图像进行解码、重建处理。这样，云端ISP模块或者语义分析模块便可对解码后的裸图像进行相应处理，可以在提高图像压缩比的同时，进一步实现更优化的图像处理性能，显著提高最终图像的主观质量。
可选地，对于终端处理裸图像的完整过程，如图11所示，本发明实施例还包括：
步骤S1110：将编码后的裸图像发送至云端服务器。
步骤S1111：接收云端服务器的图像信号处理ISP模块对待处理的裸图像优化处理后生成的优化图像。
不难发现，该图像处理方法是基于云相机-云端ISP框架方案的“云相机”系统所执行的操作。事实上，如图12所示，该框架方案的完整处理过程包括：
步骤一：终端获取待处理的裸图像，例如实时拍摄的，或者接收到的，本发明实施例对此不作限制；
步骤二：终端导出裸图像对应的编码相关信息；
步骤三：终端根据编码相关信息压缩裸图像并传输裸图像的压缩码流到云端；
步骤四：云端服务器解压缩接收到的压缩码流，获得重建的裸图像；
步骤五：云端ISP模块对重建的裸图像进行优化处理；
步骤六：云端将优化处理后的图像传输到终端。
可选地，对于终端处理裸图像的完整过程，如图13所示，本发明实施例还包括：
步骤S1310：将编码后的第一裸图像部分发送至云端服务器。
步骤S1320：接收云端服务器的语义分析模块对解码后的第一裸图像部分进行语义分析后生成的语义分析结果。
步骤S1330：根据所述语义分析结果对待处理的裸图像进行优化处理，生成优化图像。
其中，第一裸图像部分包括以下任一种情形：待处理的裸图像的低频图像部分；待处理的裸图像的低分辨率图像部分；待处理的裸图像的边缘信息图像部分和下采样图像部分。
不难发现，该图像处理方法是基于云相机-云端语义分析框架方案的“云相机”系统所执行的操作。事实上，如图14所示，该框架方案的完整处理过程包括：
步骤一：终端获取待处理的裸图像，例如实时拍摄的，或者接收到的，本发明实施例对此不作限制；
步骤二：终端导出裸图像对应的编码相关信息，或者是基于部分裸图像的编码相关信息；
步骤三：终端根据编码相关信息压缩裸图像或部分裸图像，并传输裸图像或部分裸图像的压缩码流到云端；
步骤四：云端服务器解压缩接收到的压缩码流，获得重建的裸图像或部分裸图像；
步骤五：云端语义分析模块对裸图像或部分裸图像进行语义分析，并将语义分析结果传输到终端；
步骤六：终端的ISP模块根据语义分析结果对待处理的裸图像进行优化处理。
本发明实施例中，将编码处理后的裸图像通过网络传输到云端服务器，从而利用云端服务器的图像优化模块对解码重建后的裸图像进行优化，与现有技术中的ISP模块受限于终端的计算能力无法实现较为复杂的算法相比，实现更优化的图像处理性能，显著提高最终图像的质量。
为了更清楚的说明本发明的技术方案，下面具体介绍本发明的多个实施例。
实施例一
本发明实施例一对应云相机-云端ISP框架方案的“云相机”系统，涉及深度学习网络相关的编码方法。
如图12所示，在终端获取待处理的裸图像后，终端根据主观失真对待处理的裸图像进行编码。在一种实现方式中，编码过程包括预测流程和量化流程。
在预测流程中，首先执行上述步骤S510中的具体处理过程：根据待处理的裸图像中各编码单元的特征值集合，基于训练后的第一深度学习模型，确定待处理的裸图像中各编码单元的主观失真值。
再根据待处理的裸图像中各编码单元的主观失真值，确定各编码单元的最优预测模式，具体地，利用确定的主观失真值计算各编码单元的每个候选预测模式的率失真代价，选择率失真代价最小的作为最优预测模式。
在量化流程中，首先上述步骤S510中的具体处理过程：根据待处理的裸图像中各编码单元的特征值集合，基于训练后的第二深度学习模型，确定待处理的裸图像中各编码单元的编码参数，例如量化参数。
随后，根据量化参数，对裸图像进行编码处理。
可选地，预测流程中，首先要训练第一深度学习模型来处理图像的编码，训练第一深度学习模型的方式，包括：
获取已处理图像、已处理图像对应的裸图像以及已处理图像对应的残差图像；
确定已处理图像对应的裸图像中各编码单元的特征值集合，并确定已处理图像对应的裸图像中各编码单元的主观失真值；
以及，根据已处理图像对应的裸图像、已处理图像对应的残差图像、已处理图像对应的裸图像中各编码单元的特征值集合及已处理图像对应的裸图像中各编码单元的主观失真值训练预定的神经网络得到第一深度学习模型。
从上文可知，训练流程可以采用实时训练方式，也可以采用离线训练方式。实时训练方式适用于对裸视频的编码压缩，离线训练方式适用于对裸视频及裸图像的编码压缩。
其中，实时训练方式在终端进行，预测流程中实时训练方式对应的深度学习网络的层次结构如下：
1)数据收集层：收集前一幅已处理图像、前一幅已处理图像对应的裸图像、前一幅已处理图像各编码单元的残差图像；
2)特征提取层：提取前一幅已处理图像对应的裸图像中各编码单元的特征值，输出各编码单元的特征值集合，如图7所示；
3)主观失真评价层：获取前一幅已处理图像中各编码单元的主观失真值；
4)多层卷积神经网络层：将前一幅已处理图像对应的裸图像、各编码单元的残差图像、各编码单元的特征值集合、各编码单元的主观失真值输入到多层卷积神经网络，训练得到第一深度学习模型。
离线训练方式可以在服务器端进行，也可以在终端进行，预测流程中离线训练方式对应的深度学习网络的层次结构如下：
1)数据收集层：收集历史已处理图像、历史已处理图像对应的裸图像、历史已处理图像各编码单元的残差图像；
2)特征提取层：提取历史已处理图像对应的裸图像中各编码单元的特征值，输出各编码单元的特征值集合，如图7所示；
3)主观失真评价层：获取历史已处理图像中各编码单元的主观失真值；
4)多层卷积神经网络层：将历史已处理图像对应的裸图像、各编码单元的残差图像、各编码单元的特征值集合、各编码单元的主观失真值输入到多层卷积神经网络，训练得到第一深度学习模型。
需要说明的是，训练后的第一深度学习模型用于建立裸图像的各编码单元的客观失真值与主观失真值之间的映射关系。
其中，客观失真值为裸图像的各编码单元和对应的残差图像之间的所有像素点差值的SAD(sum of absolute difference，绝对值之和)，可选地，客观失真值还可以是SSE(sum of squared error，差值的平方和)、MSE(mean squared error，平均平方误差)等。
主观失真评价层中各编码单元的主观失真值可以通过以下方式获得：
主观失真值为已处理图像和已处理图像对应的裸图像各编码单元之间的SSIM(Structrual similarity index，结构相似性)：
Figure BDA0001962329970000151
上述公式(1)中，μx和
Figure BDA0001962329970000152
分别为已处理图像对应的裸图像一个编码单元中所有像素点的均值和方差，μy和
Figure BDA0001962329970000153
分别为已处理图像一个编码单元中所有像素点的均值和方差，σxy已处理图像和已处理图像对应的裸图像一个编码单元中所有像素点的协方差，c1和c2均为常量。
可选地，主观失真值还可以是MS-SSIM(Multiscale-SSIM，多尺度结构相似度)，MOS(Mean Opinion Score，平均主观意见分)等。
可选地，主观失真值还可以是人眼对比观测已处理图像和已处理图像对应的裸图像之间的差异，人工标定各编码单元的主观失真值，此处的主观失真值用于评价：主观质量无损、主观质量略有损失且不易被察觉、主观质量有明显损失、主观质量严重下降等。
随后，预测流程中，应用第一深度学习模型处理待处理的裸图像的具体过程包括：
提取待处理的裸图像中各编码单元的特征值组成特征值集合，作为第一深度学习模型的输入；
利用第一深度学习模型获得各编码单元在各候选预测模式下的主观失真值。
如图15所示，应用第一深度学习模型处理待处理的裸图像所需的深度学习网络的层次结构如下：
1)数据收集层：获取待处理的裸图像；
2)特征提取层：提取待处理的裸图像中各编码单元的特征值，输出各编码单元的特征值集合，如图7所示；
3)多层卷积神经网络层：将待处理的裸图像中各编码单元的特征值集合、各编码单元的残差图像输入到训练后的第一深度学习模型，输出待处理的裸图像各编码单元的主观失真值；
随后，再利用确定的主观失真值计算各编码单元的每个候选预测模式的率失真代价，选择率失真代价最小的作为最优预测模式。
可选地，量化流程中，首先要训练第二深度学习模型来处理图像的编码，训练第二深度学习模型的方式，包括：
获取已处理图像、已处理图像对应的裸图像、已处理图像对应的编码参数及编码使用的比特数。
以及，确定已处理图像对应的裸图像中各编码单元的特征值集合，并确定已处理图像对应的裸图像中各编码单元的主观失真值。
以及，根据已处理图像对应的裸图像、已处理图像对应的编码参数及编码使用的比特数、已处理图像对应的裸图像中各编码单元的特征值集合及已处理图像对应的裸图像中各编码单元的主观失真值训练预定的神经网络得到第二深度学习模型。
同理，训练流程可以采用实时训练方式，也可以采用离线训练方式。实时训练方式适用于对裸视频的编码压缩，离线训练方式适用于对裸视频及裸图像的编码压缩。
其中，实时训练方式在终端进行，量化流程中实时训练方式对应的深度学习网络的层次结构如下：
1)数据收集层：收集前一幅已处理图像、前一幅已处理图像对应的裸图像、前一幅已处理图像各编码单元的编码参数及编码使用的比特数；
2)特征提取层：提取前一幅已处理图像对应的裸图像中各编码单元的特征值，输出各编码单元的特征值集合，如图7所示；
3)主观失真评价层：获取前一幅已处理图像中各编码单元的主观失真值；
4)多层卷积神经网络层：将前一幅已处理图像对应的裸图像、各编码单元的编码参数及编码使用的比特数、各编码单元的特征值集合、各编码单元的主观失真值输入到多层卷积神经网络，训练得到第二深度学习模型。
离线训练方式可以在服务器端进行，也可以在终端进行，量化流程中离线训练方式对应的深度学习网络的层次结构如下：
1)数据收集层：收集历史已处理图像、历史已处理图像对应的裸图像、历史已处理图像各编码单元的编码参数及编码使用的比特数；
2)特征提取层：提取历史已处理图像对应的裸图像中各编码单元的特征值，输出各编码单元的特征值集合，如图7所示；
3)主观失真评价层：获取历史已处理图像中各编码单元的主观失真值；
4)多层卷积神经网络层：将历史已处理图像对应的裸图像、各编码单元的编码参数及编码使用的比特数、各编码单元的特征值集合、各编码单元的主观失真值输入到多层卷积神经网络，训练得到第二深度学习模型。
需要说明的是，训练后的第二深度学习模型用于建立裸图像的各编码单元的编码参数与编码使用的比特数之间的映射关系。
随后，量化流程中，应用第二深度学习模型处理待处理的裸图像的具体过程包括：
提取待处理的裸图像中各编码单元的特征值组成特征值集合，作为第二深度学习模型的输入；
根据网络带宽确定待处理的裸图像的目标比特数；
利用第二深度学习模型获得各编码单元的编码参数，例如量化参数，利用各编码单元的编码参数压缩待处理的裸图像。
如图16所示，应用第二深度学习模型处理待处理的裸图像所需的深度学习网络的层次结构如下：
1)数据收集层：获取待处理的裸图像；
2)特征提取层：提取待处理的裸图像中各编码单元的特征值，输出各编码单元的特征值集合，如图7所示；
3)多层卷积神经网络层：将待处理的裸图像中各编码单元的特征值集合、待处理裸图像的目标比特数输入到训练后的第二深度学习模型，输出待处理的裸图像各编码单元的量化参数；
随后，终端便可执行上述步骤S520中的编码处理过程，根据待处理的裸图像中各编码单元的最优预测模式及编码参数，对待处理的裸图像进行编码处理，生成待处理的裸图像的压缩码流，传输到云端服务器。
本发明实施例中，云端服务器的裸图像解码器对接收到的压缩码流进行解码，获得重建后的图像。解码过程如图10所示，包括：
从压缩码流中获得待处理的裸图像各编码单元的量化参数、四个颜色通道各自的最优预测模式和残差值；
针对任一编码单元，用获得的量化参数对四个颜色通道各自的残差值进行反量化、反变换；
用获得的四个颜色通道各自的最优预测模式得到该解码单元的四个颜色通道各自的预测值，将预测值与对残差值反量、化反变换后获得的差值相加后获得待解码单元的重建值。
上述步骤中处理的待处理的裸图像的格式为如图9a所示四通道图像格式，实际应用中也可以是如图9b所示的六通道图像格式，上述处理过程的区别在于：
从压缩码流中获得待处理的裸图像各编码单元的量化参数、六个颜色通道各自的最优预测模式和残差值；
针对任一编码单元，用获得的量化参数对六个颜色通道各自的残差值进行反量化、反变换；
用获得的六个颜色通道各自的最优预测模式得到待解码单元的六个颜色通道各自的预测值，将预测值与对残差值反量、化反变换后获得的差值相加后获得待解码单元的重建值。
随后，云端对重建后的裸图像进行ISP优化处理，并将处理后的图像传输给终端。
可选地，本发明实施例中，如图12所示，还可以采用云端语义分析模块和ISP模块对重建后的裸图像分别进行分析和优化处理，其中，云端语义分析模块处理过程参见下述实施例三，在此不再赘述。
实施例二
本发明实施例二对应云相机-云端ISP框架方案的“云相机”系统，涉及数学模型方法相关的编码方法。
考虑到裸图像有高噪声的特点，无法直接使用现有技术对裸图像进行编码。同时，为了保证在有限码率条件下的用户观看图像的主观质量无损失，本实施例提出一种基于数学模型方法的裸图像编码方法。关键思想是，对主观失真敏感的区域分配相对较多比特数，对主观失真不敏感的区域分配相对较少的比特数。本发明中的主观失真是指原始裸图像与经过ISP处理后的用户观看图像之间的主观质量失真。
如图12所示，在终端获取待处理的裸图像后，终端根据主观失真对待处理的裸图像进行编码。
具体而言，如图17所示，首先执行上述步骤S510中的具体处理过程：
从配置文件，或者输入的参数中获得初始编码参数，初始编码参数包括初始量化参数，待处理裸图像的目标编码比特数，和待处理裸图像中的编码单元个数等。
更新状态：对于当前待处理的编码单元，计算剩余比特数b′和剩余未编码的编码单元个数N′。
特征提取：计算当前待处理的编码单元的特征信息。
基于训练后的第一模型，确定当前待处理的编码单元对应的主观失真相关信息。
这时，第一模型包括第一数学模型，该步骤中，根据当前待处理的编码单元的特征值集合，基于训练后的第一数学模型，确定当前待处理的编码单元的主观失真敏感度类型及对应的权重值w。
可选地，根据当前待处理的编码单元的权重值，确定当前待处理的编码单元的目标比特数T。
Figure BDA0001962329970000201
其后，执行上述步骤S510中的具体处理过程：根据待处理的裸图像中当前待处理的编码单元的特征信息及获取到的目标比特数，基于训练后的第二模型，确定当前待处理的编码单元的编码参数。
这时，第二模型包括第二数学模型。该步骤中，获得当前待处理的编码单元相邻已编码的编码单元的特征信息和编码信息，其中编码信息包括：编码使用的比特数和量化参数，并根据待处理的裸图像中当前待处理的编码单元的特征值集合及获取到的当前待处理的编码单元的目标比特数，基于训练后的第二数学模型，确定当前待处理的编码单元的编码参数，例如量化参数:
Figure BDA0001962329970000202
其中n为当前待处理的编码单元的编号，对于n＝0，Qn＝Qinit+ΔQ，其中Qinit为初始量化参数。ΔQ为当前待处理的编码单元的量化参数与相邻编码单元的量化参数均值的差值：
Figure BDA0001962329970000203
上述公式中，
Figure BDA0001962329970000204
为当前待处理的编码单元相邻编码单元的特征值的均值，本实施例中为纹理复杂度的均值，
Figure BDA0001962329970000205
为当前待处理的编码单元相邻编码单元的量化参数的均值，相邻块如图18所示，为当前块的左边块、左上块、上边块和右上块；ΔG为当前待处理编码单元的特征值(G)与
Figure BDA0001962329970000206
的差值；ΔB为当前待处理编码单元的编码比特数与相邻编码单元的编码比特数均值的差值。
随后，将计算获得的量化参数的值限制在有效范围内，本实施例中有效范围是大于等于0，且小于等于51。根据量化参数，对当前待处理编码单元进行编码。
执行上述步骤直到待处理裸图像中所有编码单元编码处理完成。
可选地，需要训练第一数学模型和第二数学模型来处理图像的编码，
继续如图17所示，训练第一数学模型的方式，包括：
获取已处理图像以及已处理图像对应的裸图像。
以及，确定已处理图像对应的裸图像中各编码单元的特征值集合以及已处理图像中各编码单元的特征值集合。
以及，根据已处理图像对应的裸图像中各编码单元的特征值集合以及已处理图像中各编码单元的特征值集合训练预定的第一数学关系模型，得到第一数学模型。
训练方式可以是实时训练方式，应用于裸视频压缩；也可以是离线训练方式，应用于裸视频及裸图像压缩。
其中，实时训练方式在终端进行，第一数学模型的实时训练方式如下：
获取前一幅已处理图像、前一幅已处理图像对应的裸图像。
计算前一幅已处理裸图像中各编码单元的特征值集合，特征值集合包含如下表中的特征值：
Figure BDA0001962329970000211
Figure BDA0001962329970000221
上述表格中，I表示亮度值，i为像素标识，N×N为编码单元中像素个数，ch为颜色通道表示，wch为各颜色通道的权重。G表示纹理复杂度，由由如下公式计算获得。下面的计算公式中，A为源图像，Gx，Gy，Gd1和Gd2分别为用四个3×3的Sobel算子计算得到的方向梯度图。梯度Gch由各颜色通道的四个方向梯度图计算获得。各编码单元的纹理复杂度G有四个颜色通道的Gch加权平均计算获得。
Figure BDA0001962329970000222
Figure BDA0001962329970000223
Figure BDA0001962329970000224
G＝GG1+GG2+2×GB+2×GR
var(Gsubblok)表示编码单元中子单元的纹理复杂度的方差。表格中的阈值：
Figure BDA0001962329970000225
thr_edge_low，thr_edge_high，
Figure BDA0001962329970000226
由实验获得。
将特征值进行组合，一个编码单元对应一个或者几个特征值组合。得到特征值组合图像。
计算前一幅已处理图像(即用户观看图像)和前一幅已处理图像对应的裸图像之间的主观失真，得到分数(指主观失真)掩膜图像。本实施例中主观失真值由1-SSIM计算得到：
Figure BDA0001962329970000227
还可以用1-MS-SSIM，10-MOS，等，计算获得。
划分出几个分数(指主观失真)区间，本实施例划分7个分数区间，按照分数的降序对区间进行编号，该编号表示主观失真级别，也就是所述的主观失真敏感度度类型。并根据各编码单元的主观失真对应所在分数区间得到各编码单元的主观失真级别，获得级别掩膜图像。
统计图像中各编码单元的特征值组合与主观失真级别的概率，得到组合权重矩阵M。M为大小为J×I的矩阵，矩阵中的各元素值为特征值fj和ei组合成c(j,i)之后，可以识别出主观失真级别为ln的概率：
Figure BDA0001962329970000231
上述公式中，ln表示主观失真级别，c(j,i)表示特征值fj和ei的组合，sumln表示图像中主观失真级别为ln的编码单元个数，
Figure BDA0001962329970000232
表示图像中主观失真级别为ln且特征值组合为c(j,i)的编码单元个数。
将概率最大的特征值组合与其对应的主观级别建立映射关系，获得“特征值集合-主观差异”关系的模型。
通过上述数据便可训练出第一数学模型，即上述基于“特征值集合-主观差异”关系的模型。
离线训练方式可以在服务器端进行，也可以在终端进行，第一数学模型的离线训练方式如下，如图32：
获得历史已处理图像对应的裸图像。通过如下两条路径处理所述历史已处理图像的裸图像：
路径一：
计算历史已处理图像的裸图像中各编码单元的特征值集合，特征值集合包含如下表中的特征值：
Figure BDA0001962329970000233
Figure BDA0001962329970000241
上述表格中，I表示亮度值，i为像素标识，N×N为编码单元中像素个数，ch为颜色通道，wch为各颜色通道的权重。G表示纹理复杂度，由如下公式计算获得。下面的计算公式中，A为源图像，Gx，Gy，Gd1和Gd2分别为用四个3×3的Sobel算子计算得到的方向梯度图。梯度Gch由各颜色通道的四个方向梯度图计算获得。各编码单元的纹理复杂度G有四个颜色通道的Gch加权平均计算获得。
Figure BDA0001962329970000242
Figure BDA0001962329970000243
Figure BDA0001962329970000244
G＝GG1+GG2+2×GB+2×GR
var(Gsubblok)表示编码单元中子单元的纹理复杂度的方差。表格中的阈值：
Figure BDA0001962329970000245
thr_edge_low,thr_edge_high,
Figure BDA0001962329970000246
由实验获得。
将特征值进行组合，一个编码单元对应一个或者几个特征值组合。得到特征值组合图像。
路径二：
用几个编码量化参数编码历史已处理裸图像。
解码得到重建的裸图像。
用ISP处理重建裸图像，得到用户观看图像。
计算用户观看图像中各编码单元与原始裸图像中各编码的之间的主观失真，得到分数(指主观失真)掩膜图像。本实施例中主观失真由1-SSIM计算得到：
Figure BDA0001962329970000251
还可以用1-MS-SSIM，10-MOS，等，计算获得。
划分出几个分数(指主观失真)区间，本实施例划分7个区间，按照分数的降序对区间进行编号，该编号表示主观失真级别，也就是所述的主观失真敏感度度类型。并根据各编码单元的主观失真对应所在分数区间得到各编码单元的主观失真级别，获得级别掩膜图像。
裸图像经过上述两条路径的处理和计算后建立分类规则，也就是利用特征值区分裸图像中的图案是主观失真敏感的或不敏感的，并标记一个主观失真级别(简称级别)表明其主观失真敏感度类型。本实施例使用尽可能多的候选特征值来获得分类规则，以求提高第一数学模型的性能。本实施例提出一种组合权重矩阵，矩阵中的元素为各特征值组合对应的的概率，概率用来衡量各特征值组合划分主观失真敏感度类型的可信度。
举个如图34所示的例子，图34(b)为特征值DARK,GRAY,HOMO和DNS进行组合后的组合权重矩阵。直观地，可以通过计算某个特征值组合识别出某个主观失真类型(级别)的概率来估计该特征值组合与该级别对应的优劣。假设如图34所示，四个特征值组合后可以识别出主观失真级别为5的概率值分别为0.7,0.87,0.3和0.95。图34(a)为主观失真级别为5的一个示例图。根据图34(b)所示的矩阵，可以说，特征值组合(GRAY，DNS)可以确定地识别出5。特征值组合(GRAY，HOMO)几乎无法识别出主观失真级别为5。特征值组合(DARK，DNS)有87％的概率可以识别出主观失真级别为5。
具体地，统计图像中各编码单元的特征值组合与主观失真级别的概率，得到组合权重矩阵M。M为大小为J×I的矩阵，矩阵中的各元素值为特征值fj和ei组合成c(j,i)之后，可以识别出主观失真级别为ln的概率：
Figure BDA0001962329970000252
上述公式中，ln表示主观失真级别，c(j,i)表示特征值fj和ei的组合，sumln表示图像中主观失真级别为ln的编码单元个数，
Figure BDA0001962329970000253
表示图像中主观失真级别为ln且特征值组合为c(j,i)的编码单元个数。
将概率最大的特征值组合与其对应的主观级别建立映射关系，获得“特征值集合-主观差异”关系的模型。
通过上述数据便可训练出第一数学模型，即上述基于“特征值集合-主观差异”关系的模型，或者称为“主观失真敏感度模型”。本实施例中使用7个主观失真级别，主观失真级别的值越小，则用户对该编码单元的主观失真越敏感，反之亦然。
具体而言，第一数学模型中包含：
1)主观失真敏感块，为主观差异小于设定阈值的块，这些块的纹理类型——对应的特征值——以及加权系数(w)分别为：
主观失真级别为0，灰色，弱纹理——平均亮度值介于亮度阈值上限与亮度阈值下限之间，纹理复杂度(G)介于梯度阈值上限(thr_edge_high)与梯度阈值下限(thr_edge_low)之间——
Figure BDA0001962329970000261
主观失真级别为1，暗色，平坦——平均亮度值小于亮度阈值下限，纹理复杂度小于梯度阈值下限——w＝β×(thr_edge_low-G)+1；
主观失真级别为2，强纹理，包含宽边条纹——纹理复杂度大于梯度阈值上限，编码单元内包含宽边缘——
Figure BDA0001962329970000262
主观失真级别为3，强纹理，细密条纹，纹理不一致——纹理复杂度大于梯度阈值上限，编码单元内不包含宽边缘，纹理方向不一致——
Figure BDA0001962329970000263
其中，参数α和β，是预设值。可选地，α＝0.005，β＝0.7042，也可以根据摄像头的曝光系数可以设置为不同的值。
2)主观失真不敏感块，为主观差异2大于设定阈值的块，这些块的纹理类型——对应的特征值——以及加权系数(w)分别为：
主观失真级别为5，明亮，平坦——平均亮度值大于亮度阈值上限，纹理复杂度小于梯度阈值下限——
Figure BDA0001962329970000264
主观失真级别为6，强纹理，细密条纹，纹理一致——纹理复杂度大于梯度阈值上限，编码单元内不包含宽边缘，纹理方向一致——w＝α×(thr_edge_high-G)+1；
其中，参数α和β，是预设值。可选地，α＝0.005，β＝0.7042，也可以根据摄像头的曝光系数可以设置为不同的值。
3)主观失真级别为4，一般块：为主观差异等于设定阈值的块，这些块包括没有被划分为主观失真敏感块，也没有被划分为主观失真不敏感块的，其加权系数w＝1。
继续如图17所示，训练第二数学模型的方式，包括：
获取已处理图像对应的编码参数及编码使用的比特数。
以及，确定已处理图像对应的裸图像中各编码单元的特征值集合、已处理图像对应的编码参数及编码使用的比特数训练预定的第二数学关系模型，得到第二数学模型。
同理，训练流程可以采用实时训练方式，也可以采用离线训练方式。实时训练方式适用于对裸视频的编码压缩，离线训练方式适用于对裸视频及裸图像的编码压缩。
其中，实时训练方式在终端进行，第二数学模型的实时训练方式如下：
获取前一幅已处理图像各编码单元的编码参数及编码所用的比特数。
计算前一幅已处理图像对应的裸图像中各编码单元的特征值集合。
本实施例中特征值集合仅包含纹理特征，且使用纹理复杂度(G)计算获得，也可以包含其他特征。
获得前一幅已处理图像中各编码单元使用的比特数与各编码单元的纹理特征之间的对应关系。
B＝f(G)|Q＝q＝β1×ln(G)+β2
上述公式中，B为编码单元使用的比特数，f(G)表示编码单元的纹理特性，G为编码单元的纹理复杂度，Q＝q表示量化参数Q等于特定量化参数值q，β1和β2为参数。
建立参数β1和β2与QP之间的关系：
β1＝fβ1(Q)|G＝g＝a1×Q2+a2×Q+a3
Figure BDA0001962329970000271
上述公式中，Q为量化参数QP，fβ1(Q)和fβ2(Q)表示β1和β2为QP的函数，G＝g表示纹理复杂度G等于特定量化参数值g，a1，a2，a3，b1，b2，b3为模型参数，由实验数据拟合获得。将上述β1和β2与QP之间的关系公式代入B与G之间的关系公式中，获得比特数，特征值和量化参数之间的关系：
B＝(a1ln(G)+b1)×Q2+(a2ln(G)+b2)×Q+(a3ln(G)+b3)
将上述公式对Q求偏导数，计算获得量化参数的变化量ΔQ：
Figure BDA0001962329970000281
Figure BDA0001962329970000282
Figure BDA0001962329970000283
Figure BDA0001962329970000284
上述公式中，
Figure BDA0001962329970000285
为当前编码单元相邻编码单元的纹理复杂度的均值，
Figure BDA0001962329970000286
为当前编码单元相邻编码单元的量化参数的均值，相邻块如图18所示，为当前块的左边块、左上块、上边块和右上块；ΔG为当前编码单元的纹理复杂度(G)与
Figure BDA0001962329970000287
的差值；Δb为当前编码单元的目标编码比特数与相邻编码单元的编码比特数均值的差值；ΔQ为当前编码单元的量化参数与相邻编码单元的量化参数均值的差值。
获得第二数学模型“比特数-特征值集合-量化参数”关系的模型，即各编码单元的量化参数Q计算公式。
Figure BDA0001962329970000288
通过上述数据便可训练出第二数学模型，即上述基于“比特数-特征值集合-量化参数”关系的模型。
离线训练方式可以在服务器端进行，也可以在终端进行，第二数学模型的离线训练方式如下：
获取历史已处理图像各编码单元的编码参数及编码所用的比特数。
计算历史已处理图像对应的裸图像中各编码单元的特征值集合。
用几个量化参数(QP)编码历史已处理图像，获得历史已处理图像中各编码单元使用的比特数与各编码单元的特征值之间的对应关系。
一方面，当使用一个特定的QP编码裸图像时，各编码单元使用的比特数由它的纹理特征决定。为简化定义，本实施例中纹理特征使用纹理复杂度(G)计算获得，忽略其他特征值，当然在其他实施例中也可包含其他特征。因此，首先建立“比特数-纹理特征”模型，比特数B是纹理复杂度G自然对数的线性方程：
B＝f(G)|Q＝q＝β1×ln(G)+β2
上述公式中，B为编码单元使用的比特数，f(G)表示编码单元的纹理特性，G为编码单元的纹理复杂度，Q＝q表示量化参数Q等于特定量化参数值q，β1和β2为参数。
另一方面，当使用几个QP对某特定图案(特定纹理特性)的裸图像进行编码时，编码单元使用的比特数由QP值决定。因此，建立参数β1和β2与QP之间关系的二次多项式：
β1＝fβ1(Q)|G＝g＝a1×Q2+a2×Q+a3
Figure BDA0001962329970000298
上述公式中，Q为量化参数QP，fβ1(Q)和fβ2(Q)表示β1和β2为QP的函数，G＝g表示纹理复杂度G等于特定量化参数值g，a1，a2，a3，b1，b2，b3为模型参数，由实验数据拟合获得。
将上述β1和β2与QP之间的关系公式代入B与G之间的关系公式中，获得比特数、特征值和量化参数之间的关系：
B＝(a1ln(G)+b1)×Q2+(a2ln(G)+b2)×Q+(a3ln(G)+b3)
将上述公式对Q求偏导数，计算获得量化参数的变化量ΔQ：
Figure BDA0001962329970000291
Figure BDA0001962329970000292
Figure BDA0001962329970000293
Figure BDA0001962329970000294
上述公式中，
Figure BDA0001962329970000295
为当前编码单元相邻编码单元的特征值的均值，本实施例使用纹理复杂度，
Figure BDA0001962329970000296
为当前编码单元相邻编码单元的量化参数的均值，相邻块如图18所示，为当前块的左边块、左上块、上边块和右上块；ΔG为当前编码单元的特征值(G)与
Figure BDA0001962329970000297
的差值；Δb为当前编码单元的目标编码比特数与相邻编码单元的编码比特数均值的差值；ΔQ为当前编码单元的量化参数与相邻编码单元的量化参数均值的差值。
获得第二数学模型“比特数-特征值集合-量化参数”关系的模型，即各编码单元的量化参数Q计算公式。
Figure BDA0001962329970000301
通过上述数据便可训练出第二数学模型，即上述基于“比特数-特征值集合-量化参数”关系的模型。
具体而言，第二数学模型为：
Figure BDA0001962329970000302
上述公式(2)中，
Figure BDA0001962329970000303
为当前编码单元相邻编码单元的纹理复杂度的均值，
Figure BDA0001962329970000304
为当前编码单元相邻编码单元的量化参数的均值，相邻块如图18所示，为当前块的左边块、左上块、上边块和右上块；ΔG为当前编码单元的特征值(G)与
Figure BDA0001962329970000305
的差值；Δb为当前编码单元的目标编码比特数与相邻编码单元的编码比特数均值的差值；ΔQ为当前编码单元的量化参数与相邻编码单元的量化参数均值的差值。
可选地，应用第一数学模型处理待处理的裸图像的具体过程包括，如图33：
获取待处理的裸图像，并划分为若干编码单元。
计算待处理的裸图像中各编码单元的特征值集合，根据第一数学模型，将特征值组合成7种特征值组合中的一种。
根据以上数据，利用训练后的第一数学模型计算获得各编码单元的主观失真敏感度度类型(级别)以及对应的权重值，即上述加权因子w。
可选地，应用第二数学模型处理待处理的裸图像的具体过程包括：
利用如下公式计算获得裸图像的待处理编码单元的目标比特数T：
Figure BDA0001962329970000306
上述公式(3)中，b′为剩余比特数，N′为剩余未编码的编码单元个数。
获得待处理编码单元相邻编码单元的特征信息和编码信息，编码信息可以包括编码参数及编码所用的比特数，如图18所示。根据以上数据，利用训练后的第二数学模型计算获得待处理编码单元的量化参数，即上述公式(2)中的Q。
随后，终端便可执行上述步骤S520中的编码处理过程，生成待处理的裸图像的压缩码流，传输到云端服务器。
本发明实施例中，云端服务器的解码及后续处理过程可参见上述实施例一，在此不再赘述。
本发明实施例的仿真结果如下：
如图29所示，为现有的裸图像经过ISP模块处理后的图像；
如图30所示，为裸图像经过本发明实施例二的压缩和解码重建后图像，再经过ISP模块处理后的图像，其中，压缩比为4.39:1，PSNR(Peak Signal to Noise Ratio，峰值信噪比)为50.46dB，SSIM为0.973138；
如图31所示，为裸图像经过现有对一般图像的压缩方法进行压缩和重建后图像，再经过ISP模块处理图像，其中，压缩比4.0:1，PSNR为45.09dB，SSIM为0.922561。
可以看出，采用本发明实施例二的方法得到的图像圈出的头发细节保留的更加完整，与原图基本一致，而采用现有对一般图像压缩方法得到的图像圈出的头发变模糊了，细节丢失严重。
而且，采用本发明实施例二的方法可以获得比现有方法更高的图像压缩比，即可以节省更多的带宽，最好的情况，PSNR提高5.37dB，SSIM提高0.05057。
下表为使用在几个ISO(曝光度)下拍摄的裸图像进行实验测试的结果，△PSNR是用实施例二方法编码得到图像经ISP处理后的用户观看图像的PSNR值(PSNRprop)与采用一般方法编码得到图像经ISP处理后的用户观看图像的PSNR值得差值(PSNRconv)，,△SSIM是用实施例二方法编码得到图像经ISP处理后的用户观看图像的SSIM值(SSIMprop)与采用一般方法编码得到图像经ISP处理后的用户观看图像的SSIM值得差值(SSIMconv)。差值为正数表示实施例二的客观质量(PSNR)或者主观质量(SSIM)更好，差值为负值表示更差。平均而言，实施例二的客观性能略差，主观性能略好。表1中的最后一栏为采用实施例二的码率与目标码率的差异，即码率控制的准确度，由如下公式计算获得，公式中为bitstarget目标比特数，bitsprop为实际采用实施例二方法编码所用的比特数：
bitsprop-bitstarget/bitstarget
表1
Figure BDA0001962329970000321
实施例三
本发明实施例三对应云相机-云端ISP框架方案的“云相机”系统，如图19所示，结合云端语义分析，进一步提高图像的优化处理方式。
本发明实施例三中，在上述步骤S510之前，依据预定划分方式，对待处理的裸图像进行划分，确定待处理的裸图像的至少两个裸图像部分。
具体而言，获取云端服务器的语义分析模块确定的语义定义信息。
其中，语义定义信息包括以下至少一项：人体相关特征、生物体相关特征、环境相关特征和文字。例如人脸、头发、衣服、文字和建筑物等。
依据获取到的语义定义信息，将待处理的裸图像划分为至少两个语义区域，并将至少两个语义区域确定为至少两个裸图像部分。
那么，在上述步骤S510中，根据至少一个裸图像部分的特征信息，确定该至少一个裸图像部分对应的编码相关信息。
具体而言，当编码相关信息包括主观失真相关信息和编码参数时，针对任一裸图像部分，需要根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第一深度学习模型，确定该裸图像部分中各编码单元的主观失真值。
以及，根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第二深度学习模型，确定该裸图像部分中各编码单元的编码参数。
或者，当编码相关信息包括主观失真相关信息和编码参数时，针对任一裸图像部分，需要根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第一数学模型，确定该裸图像部分中各编码单元的主观失真敏感度类型。
以及，根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第二数学模型，确定该裸图像部分中各编码单元的编码参数。
随后，在上述步骤S520中，根据该至少一个裸图像部分对应的编码相关信息，对该至少一个裸图像部分分别进行编码处理。
将划分的该至少两个裸图像部分分别进行编码处理后发送至云端服务器。
在一种实现方式中，根据主观失真，利用深度学习模型对裸图像的各个语义区域进行处理。同理，编码过程包括预测流程和量化流程。
可选地，预测流程中，首先要训练多个第一深度学习模型来处理图像的编码，训练流程可以采用实时训练方式，也可以采用离线训练方式。实时训练方式适用于对裸视频的编码压缩，离线训练方式适用于对裸视频及裸图像的编码压缩。
其中，实时训练方式在终端进行，预测流程中实时训练方式对应的深度学习网络的层次结构如下：
1)数据收集层：收集前一幅已处理图像、前一幅已处理图像对应的裸图像、前一幅已处理图像各编码单元的残差图像；
2)语义划分层：根据获取到的语义定义信息将前一幅已处理图像对应的裸图像划分为不同语义区域；
3)特征提取层：获得前一幅已处理图像对应的裸图像中各语义区域内各编码单元的特征值集合组成训练数据集，特征值集合包含的特征值及其计算方法与实施例一相同，也就是说，该步骤中训练数据集的个数对应语义区域的个数；
4)主观失真评价层：获取前一幅已处理图像对应的裸图像中各语义区域内各编码单元的主观失真值，主观失真值的计算方法与实施例一相同；
5)多层卷积神经网络层：对于前一幅已处理图像对应的裸图像中的每个语义区域，将该语义区域的裸图像，该语义区域内各编码单元的残差图像、各编码单元的特征值集合、各编码单元的主观失真值输入到多层卷积神经网络，训练得到一个第一深度学习模型；也就是说，该步骤中划分的语义区域有多少个，就会训练多少个出相应的第一深度学习模型。
离线训练方式可以在服务器端进行，也可以在终端进行，预测流程中离线训练方式对应的深度学习网络的层次结构如下：
1)数据收集层：收集历史已处理图像、历史已处理图像对应的裸图像、历史已处理图像各编码单元的残差图像；
2)语义划分层：根据获取到的语义定义信息将历史已处理图像对应的裸图像划分为不同语义区域；
3)特征提取层：获得历史已处理图像对应的裸图像中各语义区域内各编码单元的特征值集合组成训练数据集，特征值集合包含的特征值及其计算方法与实施例一相同，也就是说，该步骤中训练数据集的个数对应语义区域的个数；
4)主观失真评价层：获取历史已处理图像对应的裸图像中各语义区域内各编码单元的主观失真值，主观失真值的计算方法与实施例一相同；
5)多层卷积神经网络层：对于历史已处理图像对应的裸图像中的每个语义区域，将该语义区域的裸图像，该语义区域内各编码单元的残差图像、各编码单元的特征值集合、各编码单元的主观失真值输入到多层卷积神经网络，训练得到一个第一深度学习模型；也就是说，该步骤中划分的语义区域有多少个，就会训练多少个出相应的第一深度学习模型。
随后，预测流程中，应用多个第一深度学习模型处理待处理的裸图像所需的深度学习网络的层次结构如下：
1)数据收集层：获取待处理的裸图像；
2)语义划分层：根据获取到的语义定义信息将待处理的裸图像划分为不同语义区域；
3)特征提取层：获得待处理的裸图像各语义区域内各编码单元的特征值集合组成训练数据集，训练数据集的个数对应语义区域的个数；
4)多层卷积神经网络层：将待处理的裸图像中每个语义区域的各编码单元的特征值集合、各编码单元的残差图像分别输入到对应的训练后的第一深度学习模型，输出待处理的裸图像每个语义区域中各编码单元的主观失真值；
随后，再利用确定的主观失真值计算每个语义区域中各编码单元的每个候选预测模式的率失真代价，选择率失真代价最小的作为最优预测模式。
可选地，量化流程中，需要训练多个第二深度学习模型来处理裸图像的编码，同理，训练流程可以采用实时训练方式，也可以采用离线训练方式。实时训练方式适用于对裸视频的编码压缩，离线训练方式适用于对裸视频及裸图像的编码压缩。
其中，实时训练方式在终端进行，量化流程中实时训练方式对应的深度学习网络的层次结构如下：
1)数据收集层：收集前一幅已处理图像、前一幅已处理图像对应的裸图像、前一幅已处理图像各编码单元的编码参数及编码使用的比特数；
2)语义划分层：根据获取到的语义定义信息将前一幅已处理图像对应的裸图像划分为不同语义区域；
3)特征提取层：获得前一幅已处理图像对应的裸图像中各语义区域内各编码单元的特征值集合组成训练数据集，训练数据集的个数对应语义区域的个数；
4)主观失真评价层：获取前一幅已处理图像对应的裸图像中各语义区域内各编码单元的主观失真值
5)多层卷积神经网络层：对于前一幅已处理图像对应的裸图像中的每个语义区域，将该语义区域的裸图像，该语义区域内各编码单元的编码参数及编码使用的比特数、各编码单元的特征值集合、各编码单元的主观失真值输入到多层卷积神经网络，训练得到一个第二深度学习模型；也就是说，该步骤中划分的语义区域有多少个，就会训练多少个出相应的第二深度学习模型。
离线训练方式可以在服务器端进行，也可以在终端进行，量化流程中离线训练方式对应的深度学习网络的层次结构如下：
1)数据收集层：收集历史已处理图像、历史已处理图像对应的裸图像、历史已处理图像各编码单元的编码参数及编码使用的比特数；
2)语义划分层：根据获取到的语义定义信息将历史已处理图像对应的裸图像划分为不同语义区域；
3)特征提取层：获得历史已处理图像对应的裸图像中各语义区域内各编码单元的特征值集合组成训练数据集，训练数据集的个数对应语义区域的个数；
4)主观失真评价层：获取历史已处理图像对应的裸图像中各语义区域内各编码单元的主观失真值
5)多层卷积神经网络层：对于历史已处理图像对应的裸图像中的每个语义区域，将该语义区域的裸图像，该语义区域内各编码单元的编码参数及编码使用的比特数、各编码单元的特征值集合、各编码单元的主观失真值输入到多层卷积神经网络，训练得到一个第二深度学习模型；也就是说，该步骤中划分的语义区域有多少个，就会训练多少个出相应的第二深度学习模型。
随后，量化流程中，应用多个第二深度学习模型处理待处理的裸图像所需的深度学习网络的层次结构如下：
1)数据收集层：获取待处理的裸图像；
2)语义划分层：根据获取到的语义定义信息将待处理的裸图像划分为不同语义区域；
3)特征提取层：获得待处理的裸图像各语义区域内各编码单元的特征值集合组成训练数据集，训练数据集的个数对应语义区域的个数；
4)多层卷积神经网络层：将待处理的裸图像中每个语义区域的各编码单元的特征值集合、待处理裸图像的目标比特数分别输入到对应的训练后的第二深度学习模型，输出待处理的裸图像每个语义区域中各编码单元的量化参数；其中，待处理裸图像的目标比特数是根据网络带宽确定的。
需要说明的是，本发明实施例三中，特征值集合的获得方法，主观失真值的计算方法等均与实施例一相同，在此不再赘述。
在另一种实现方式中，应用数学模型方法相关的编码方法，在终端获取待处理的裸图像后，终端根据主观失真对待处理的裸图像进行编码。
可选地，需要训练多个第一数学模型和多个第二数学模型来处理裸图像的编码，训练方式可以是实时训练方式，应用于裸视频压缩；也可以是离线训练方式，应用于裸视频及裸图像压缩。
其中，实时训练方式在终端进行，第一数学模型的实时训练方式如下：
获取前一幅已处理图像、前一幅已处理图像对应的裸图像。
根据云端语义定义信息将前一幅已处理图像对应的裸图像划分为不同语义区域。
获取待处理的裸图像各语义区域内各编码单元的特征值集合组成训练数据集，训练数据集的个数对应语义区域的个数。
以及，计算前一幅已处理图像和前一幅已处理图像对应的裸图像相应的每个语义区域中各编码单元之间的主观失真敏感度类型及对应的权重值。
通过上述数据，对应每个语义区域，便可训练出相应的多个第一数学模型。
离线训练方式可以在服务器端进行，也可以在终端进行，第一数学模型的离线训练方式如下：
获取历史已处理图像、历史已处理图像对应的裸图像。
根据云端语义定义信息将历史已处理图像对应的裸图像划分为不同语义区域。
获取待处理的裸图像各语义区域内各编码单元的特征值集合组成训练数据集，训练数据集的个数对应语义区域的个数。
以及，计算计算历史已处理图像和历史已处理图像对应的裸图像相应的每个语义区域中各编码单元之间的主观失真敏感度类型及对应的权重值。
通过上述数据，对应每个语义区域，便可训练出相应的多个第一数学模型。
可选地，实时训练方式在终端进行，第二数学模型的实时训练方式如下：
根据云端语义定义信息将前一幅已处理图像对应的裸图像划分为不同语义区域。
获取前一幅已处理图像对应每个语义区域的各编码单元的编码参数及编码所用的比特数。
计算前一幅已处理图像对应每个语义区域的裸图像中各编码单元的特征值集合。
通过上述数据，对应每个语义区域，便可训练出相应的多个第二数学模型。
离线训练方式可以在服务器端进行，也可以在终端进行，第二数学模型的离线训练方式如下：
根据云端语义定义信息将历史已处理图像对应的裸图像划分为不同语义区域。
获取历史已处理图像对应每个语义区域的各编码单元的编码参数及编码所用的比特数。
计算历史已处理图像对应每个语义区域的裸图像中各编码单元的特征值集合。
通过上述数据，对应每个语义区域，便可训练出相应的多个第二数学模型。
可选地，应用第一数学模型处理待处理的裸图像的具体过程包括：
获取待处理的裸图像。
根据云端语义定义信息将待处理的裸图像划分为不同语义区域。
获取待处理的裸图像各语义区域内各编码单元的特征值集合组成训练数据集，训练数据集的个数对应语义区域的个数。
根据以上数据，利用训练后的多个相应的第一数学模型计算获得每个语义区域中各编码单元的主观失真敏感度类型及对应的权重值，即上述加权因子w，计算获得各编码单元的目标比特数。
可选地，应用第二数学模型处理待处理的裸图像的具体过程包括：
获得待处理的裸图像每个语义区域中各编码单元的特征值集合、已编码的编码单元的编码参数及编码所用的比特数，优选为获取各编码单元相邻已编码的编码单元的特征值集合、编码参数及编码所用的比特数。
根据以上数据，利用训练后的多个相应的第二数学模型计算获得每个语义区域中各编码单元的量化参数。
特征值集合的获得方法、特征值的计算方法、主观差异的计算方法等均与实施例二相同，第一数学模型、第二数学模型也与实施例二相同，在此不再赘述赘述。
随后，终端便可执行上述步骤S520中的编码处理过程，并将分别编码后的至少两个裸图像部分发送至云端服务器，也就是将各个语义区域分别进行编码后，生成待处理的裸图像的压缩码流，发送至云端服务器。
云端服务器的图像、视频解码器对接收到的压缩码流进行解码，获得重建后的图像。再通过云端语义分析模块和ISP模块对重建后的裸图像进行分析和优化处理，并传输到用户手机端终端。
云端ISP模块根据语义分析结果对裸图像进行优化处理，包括：
对人脸区域进行去噪、颜色修正和去黄美白等；
对头发，文字和衣服区域进行边缘纹理增强等；
对建筑物区域进行颜色修正，边缘纹理增强等。
本发明实施例三中，云端服务器的具体解码过程可参见上述实施例一，在此不再赘述。
继而，接收云端服务器的图像信号处理ISP模块对重建的裸图像进行优化处理后生成的优化图像部分，所述重建的裸图像是基于该至少两个裸图像部分进行重建的。
实施例四
本发明实施例四对应云相机-云端ISP框架方案的“云相机”系统，如图20所示，将待处理的裸图像压缩为两个独立的码流并分别传输到云端服务器。
本发明实施例四中，在上述步骤S510之前，依据预定划分方式，对待处理的裸图像进行划分，确定待处理的裸图像的至少两个裸图像部分。
具体而言，依据预定的图像特征，将待处理的裸图像划分为至少两个裸图像部分。
将待处理的裸图像划分为第一裸图像部分和第二裸图像部分。
其中，如图21和图22所示，第一裸图像部分包括以下任一种情形：
待处理的裸图像的低频图像部分；
待处理的裸图像的低分辨率图像部分；
待处理的裸图像的边缘信息图像部分和下采样图像部分；
或者，也可以包含其他信息的图像。
第二裸图像部分为待处理的裸图像的除第一裸图像部分外的剩余图像部分。
可选地，第一裸图像部分和第二裸图像部分的划分方案也可以依据云端语义分析模块的需求而定。
那么，在上述步骤S510中，根据至少一个裸图像部分的特征信息，确定该至少一个裸图像部分对应的编码相关信息。
具体而言，当编码相关信息包括主观失真相关信息和编码参数时，针对任一裸图像部分，需要根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第一深度学习模型，确定该裸图像部分中各编码单元的主观失真值。
以及，根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第二深度学习模型，确定该裸图像部分中各编码单元的编码参数。
或者，当编码相关信息包括主观失真相关信息和编码参数时，针对任一裸图像部分，需要根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第一数学模型，确定该裸图像部分中各编码单元的主观失真敏感度类型。
以及，根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第二数学模型，确定该裸图像部分中各编码单元的编码参数。
随后，在上述步骤S520中，根据该至少一个裸图像部分对应的编码相关信息，对该至少一个裸图像部分分别进行编码处理。
将分别编码后的至少两个裸图像部分分别发送至云端服务器。
可见，本发明实施例四与实施例一、二和三的区别在于，将待处理的裸图像分为两个裸图像部分(下文以部分A和部分B进行介绍)，并压缩为两个码流(下文以码流A和码流B进行介绍)，按先后顺序分别传输到云端。
作为示例地，终端先压缩待处理的裸图像的部分A生成码流A，并传输码流A到云端服务器。
当云端服务器接收到码流A后，云端解码器对码流A进行解码，并将重建后的裸图像的部分A输入到云端语义分析模块，获得裸图像的语义分析结果。与此同时，终端压缩待处理的裸图像的部分B生成码流B，并传输码流B到云端服务器。
当云端服务器接收到码流B后，云端解码器对码流B进行解码，并将重建后的裸图像的部分B与重建后的裸图像的部分A合成完整的重建后的裸图像。
将语义分析结果与完整的重建后的裸图像输入到云端ISP模块，进行优化处理。
如图23所示，本发明实施例四提供的编码方法的好处在于：
减少传输延时，在云端解码器接收到码流A并开始解码的同时，终端开始传输码流B；
减少语义分析处理延时，由于码流A仅包含裸图像的部分信息，可以加快语义分析的处理速度；
减少解码延时，在云端语义分析模块处理码流A的同时，云端解码器对接收到的码流B进行解码。
可以看出，对实时性要求较高的应用场景下，相比于实施例一、二和三采用的单码流方法，本发明实施例四可以降低系统整体的延时，如图24所示。
实际应用中，终端先要对部分A进行编码处理。
在一种实现方式中，根据主观失真，利用深度学习模型对裸图像的部分A进行处理。同理，编码过程包括预测流程和量化流程。
可选地，部分A的预测流程中，首先要训练部分A第一深度学习模型来处理图像的编码，训练流程可以采用实时训练方式，也可以采用离线训练方式。实时训练方式适用于对裸视频的编码压缩，离线训练方式适用于对裸视频及裸图像的编码压缩。
其中，实时训练方式在终端进行，部分A的预测流程中，实时训练方式对应的深度学习网络的层次结构如下：
1)数据收集层：收集前一幅已处理图像、前一幅已处理图像对应的裸图像、前一幅已处理图像各编码单元的残差图像；
2)图像划分层：将前一幅已处理图像对应的裸图像划分为部分A和部分B；将前一幅已处理图像划分为部分A和部分B；将前一幅已处理图像各编码单元的残差图像划分为部分A和部分B；
3)特征提取层：获得前一幅已处理图像对应的裸图像中部分A的各编码单元的特征值集合，特征值集合包含的特征值及其计算方法与实施例一相同；
4)主观失真评价层：获取前一幅已处理图像对应的裸图像中部分A的各编码单元的主观失真值，主观失真值的计算方法与实施例一相同；
5)多层卷积神经网络层：将前一幅已处理图像对应的裸图像中的部分A，部分A中各编码单元的残差图像、各编码单元的特征值集合、各编码单元的主观失真值输入到多层卷积神经网络，训练得到部分A第一深度学习模型；
离线训练方式可以在服务器端进行，也可以在终端进行，部分A的预测流程中，离线训练方式对应的深度学习网络的层次结构如下：
1)数据收集层：收集历史已处理图像、历史已处理图像对应的裸图像、历史已处理图像各编码单元的残差图像；
2)图像划分层：将历史已处理图像对应的裸图像划分为部分A和部分B；将历史已处理图像划分为部分A和部分B；将历史已处理图像各编码单元的残差图像划分为部分A和部分B；
3)特征提取层：获得历史已处理图像对应的裸图像中部分A的各编码单元的特征值集合，特征值集合包含的特征值及其计算方法与实施例一相同；
4)主观失真评价层：获取历史已处理图像对应的裸图像中部分A的各编码单元的主观失真值，主观失真值的计算方法与实施例一相同；
5)多层卷积神经网络层：将历史已处理图像对应的裸图像中的部分A，部分A中各编码单元的残差图像、各编码单元的特征值集合、各编码单元的主观失真值输入到多层卷积神经网络，训练得到部分A第一深度学习模型；
随后，部分A的预测流程中，应用部分A第一深度学习模型处理部分A所需的深度学习网络的层次结构如下：
1)数据收集层：获取待处理的裸图像；
2)图像划分层：将待处理的裸图像划分为部分A和部分B；
3)特征提取层：获得待处理的裸图像部分A的各编码单元的特征值集合；
4)多层卷积神经网络层：将待处理的裸图像的部分A中各编码单元的特征值集合、各编码单元的残差图像分别输入到训练后的部分A第一深度学习模型，输出部分A中各编码单元的主观失真值。
随后，再利用确定的主观失真值计算每个语义区域中各编码单元的每个候选预测模式的率失真代价，选择率失真代价最小的作为最优预测模式。
可选地，部分A的量化流程中，需要训练部分A第二深度学习模型来处理部分A的编码，同理，训练流程可以采用实时训练方式，也可以采用离线训练方式。实时训练方式适用于对裸视频的编码压缩，离线训练方式适用于对裸视频及裸图像的编码压缩。
其中，实时训练方式在终端进行，部分A的量化流程中，实时训练方式对应的深度学习网络的层次结构如下：
1)数据收集层：收集前一幅已处理图像、前一幅已处理图像对应的裸图像、前一幅已处理图像各编码单元的编码参数及编码使用的比特数；
2)图像划分层：将前一幅已处理图像对应的裸图像划分为部分A和部分B；将前一幅已处理图像划分为部分A和部分B；
3)特征提取层：获得前一幅已处理图像对应的裸图像中部分A的各编码单元的特征值集合；
4)主观失真评价层：获取前一幅已处理图像对应的裸图像中部分A的各编码单元的主观失真值；
5)多层卷积神经网络层：将前一幅已处理图像对应的裸图像的部分A，部分A中各编码单元的编码参数及编码使用的比特数、各编码单元的特征值集合、各编码单元的主观失真值输入到多层卷积神经网络，训练得到部分A第二深度学习模型。
离线训练方式可以在服务器端进行，也可以在终端进行，部分A的量化流程中，离线训练方式对应的深度学习网络的层次结构如下：
1)数据收集层：收集历史已处理图像、历史已处理图像对应的裸图像、历史已处理图像各编码单元的编码参数及编码使用的比特数；
2)图像划分层：：将历史已处理图像对应的裸图像划分为部分A和部分B；将历史已处理图像划分为部分A和部分B；
3)特征提取层：获得历史已处理图像对应的裸图像中部分A的各编码单元的特征值集合；
4)主观失真评价层：获取历史已处理图像对应的裸图像中部分A的各编码单元的主观失真值；
5)多层卷积神经网络层：将历史已处理图像对应的裸图像的部分A，部分A中各编码单元的编码参数及编码使用的比特数、各编码单元的特征值集合、各编码单元的主观失真值输入到多层卷积神经网络，训练得到部分A第二深度学习模型。
随后，部分A的量化流程中，应用部分A第二深度学习模型处理待处理的裸图像的部分A所需的深度学习网络的层次结构如下：
1)数据收集层：获取待处理的裸图像；
2)图像划分层：将待处理的裸图像划分为部分A和部分B；
3)特征提取层：获得待处理的裸图像部分A的各编码单元的特征值集合；
4)多层卷积神经网络层：将待处理的裸图像的部分A中各编码单元的特征值集合、待处理裸图像的目标比特数分别输入到训练后的部分A第二深度学习模型，输出部分A中各编码单元的量化参数。
特征值集合的获得方法、主观失真值的计算方法等均与实施例一相同，在此不再赘述。
在另一种实现方式中，应用数学模型方法相关的编码方法，在终端获取待处理的裸图像后，将裸图像分为部分A和部分B，终端根据主观失真对部分A进行编码。
可选地，需要训练部分A第一数学模型和部分A第二数学模型来处理部分A的编码，训练方式可以是实时训练方式，应用于裸视频压缩；也可以是离线训练方式，应用于裸视频及裸图像压缩。
其中，实时训练方式在终端进行，部分A第一数学模型的实时训练方式如下：
获取前一幅已处理图像、前一幅已处理图像对应的裸图像。
将前一幅已处理图像对应的裸图像划分为部分A和部分B；将前一幅已处理图像划分为部分A和部分B。
获得前一幅已处理图像对应的裸图像中部分A的各编码单元的特征值集合。
以及，计算前一幅已处理图像的部分A和前一幅已处理图像对应的裸图像的部分A中各编码单元之间的主观失真敏感度类型及对应的权重值。
通过上述数据，便可训练出部分A第一数学模型。
离线训练方式可以在服务器端进行，也可以在终端进行，部分A第一数学模型的离线训练方式如下：
获取历史已处理图像、历史已处理图像对应的裸图像。
将历史已处理图像对应的裸图像划分为部分A和部分B；将历史已处理图像划分为部分A和部分B。
获得历史已处理图像对应的裸图像中部分A的各编码单元的特征值集合。
以及，计算历史已处理图像的部分A和历史已处理图像对应的裸图像的部分A中各编码单元之间的主观失真敏感度类型及对应的权重值。
通过上述数据，便可训练出部分A第一数学模型。
可选地，实时训练方式在终端进行，部分A第二数学模型的实时训练方式如下：
将前一幅已处理图像对应的裸图像划分为部分A和部分B；
获取部分A的各编码单元的编码参数及编码所用的比特数。
计算部分A中各编码单元的特征值集合。
通过上述数据，便可训练出部分A第二数学模型。
离线训练方式可以在服务器端进行，也可以在终端进行，部分A第二数学模型的的离线训练方式如下：
将历史已处理图像对应的裸图像划分为部分A和部分B；
获取部分A的各编码单元的编码参数及编码所用的比特数。
计算部分A中各编码单元的特征值集合。
通过上述数据，便可训练出部分A第二数学模型。
可选地，应用部分A第一数学模型处理待处理的裸图像的部分A的具体过程包括：
获取待处理的裸图像。
待处理的裸图像划分部分A和部分B。
获取部分A中各编码单元的特征值集合。
根据以上数据，利用训练后的部分A第一数学模型计算部分A中各编码单元的主观失真敏感度类型及对应的权重值，即上述加权因子w，计算获得部分A中各编码单元的目标比特数。
可选地，应用部分A第二数学模型处理待处理的裸图像的具体过程包括：
获得待处理的裸图像部分A中各编码单元的特征值集合、已编码的编码单元的编码参数及编码所用的比特数，优选为获取各编码单元相邻已编码的编码单元的特征值集合、编码参数及编码所用的比特数。
根据以上数据，利用训练后的部分A第二数学模型计算部分A中各编码单元的量化参数。
特征值集合的获得方法、特征值的计算方法、主观差异的计算方法等均与实施例二相同，第一数学模型、第二数学模型也与实施例二相同，在此不再赘述赘述。
随后，终端将部分A压缩成码流A，传输到云端服务器。
云端服务器对接收到的码流A进行解码，获得重建后的部分A，解码过程可参考实施例一，在此不再赘述。
云端语义分析模块对重建后的部分A进行分析，获得语义分析结果。
在终端发送出码流A后，便可以开始对部分B的编码处理。
在一种实现方式中，根据主观失真，利用深度学习模型对裸图像的部分B进行处理。同理，编码过程包括预测流程和量化流程。
可选地，部分B的预测流程中，首先要训练部分B第一深度学习模型来处理图像的编码，训练流程可以采用实时训练方式，也可以采用离线训练方式。实时训练方式适用于对裸视频的编码压缩，离线训练方式适用于对裸视频及裸图像的编码压缩。
其中，实时训练方式在终端进行，部分B的预测流程中，实时训练方式对应的深度学习网络的层次结构如下：
1)数据收集层：收集前一幅已处理图像的部分B、前一幅已处理图像对应的裸图像的部分B、前一幅已处理图像各编码单元的残差图像的部分B；
2)特征提取层：获得前一幅已处理图像对应的裸图像中部分A的各编码单元的特征值集合，特征值集合包含的特征值及其计算方法与实施例一相同；
3)主观失真评价层：获取前一幅已处理图像对应的裸图像中部分B的各编码单元的主观失真值，主观失真值的计算方法与实施例一相同；
4)多层卷积神经网络层：将前一幅已处理图像对应的裸图像中的部分B，部分B中各编码单元的残差图像、各编码单元的特征值集合、各编码单元的主观失真值输入到多层卷积神经网络，训练得到部分B第一深度学习模型；
离线训练方式可以在服务器端进行，也可以在终端进行，部分B的预测流程中，离线训练方式对应的深度学习网络的层次结构如下：
1)数据收集层：收集历史已处理图像的部分B、历史已处理图像对应的裸图像的部分B、历史已处理图像各编码单元的残差图像的部分B；
2)特征提取层：获得历史已处理图像对应的裸图像中部分B的各编码单元的特征值集合，特征值集合包含的特征值及其计算方法与实施例一相同；
3)主观失真评价层：获取历史已处理图像对应的裸图像中部分B的各编码单元的主观失真值，主观失真值的计算方法与实施例一相同；
4)多层卷积神经网络层：将历史已处理图像对应的裸图像中的部分B，部分B中各编码单元的残差图像、各编码单元的特征值集合、各编码单元的主观失真值输入到多层卷积神经网络，训练得到部分B第一深度学习模型；
随后，部分B的预测流程中，应用部分B第一深度学习模型处理部分B所需的深度学习网络的层次结构如下：
1)数据收集层：获取待处理的裸图像的部分B；
2)特征提取层：获得待处理的裸图像部分B的各编码单元的特征值集合；
3)多层卷积神经网络层：将待处理的裸图像的部分B中各编码单元的特征值集合、各编码单元的残差图像分别输入到训练后的部分B第一深度学习模型，输出部分B中各编码单元的主观失真值。
随后，再利用确定的主观失真值计算每个语义区域中各编码单元的每个候选预测模式的率失真代价，选择率失真代价最小的作为最优预测模式。
可选地，部分B的量化流程中，需要训练部分B第二深度学习模型来处理部分B的编码，同理，训练流程可以采用实时训练方式，也可以采用离线训练方式。实时训练方式适用于对裸视频的编码压缩，离线训练方式适用于对裸视频及裸图像的编码压缩。
其中，实时训练方式在终端进行，部分B的量化流程中，实时训练方式对应的深度学习网络的层次结构如下：
1)数据收集层：收集前一幅已处理图像的部分B、前一幅已处理图像对应的裸图像的部分B、前一幅已处理图像各编码单元的编码参数及编码使用的比特数的部分B；
2)特征提取层：获得前一幅已处理图像对应的裸图像中部分B的各编码单元的特征值集合；
3)主观失真评价层：获取前一幅已处理图像对应的裸图像中部分B的各编码单元的主观失真值；
4)多层卷积神经网络层：将前一幅已处理图像对应的裸图像的部分B，部分B中各编码单元的编码参数及编码使用的比特数、各编码单元的特征值集合、各编码单元的主观失真值输入到多层卷积神经网络，训练得到部分B第二深度学习模型。
离线训练方式可以在服务器端进行，也可以在终端进行，部分B的量化流程中，离线训练方式对应的深度学习网络的层次结构如下：
1)数据收集层：收集历史已处理图像的部分B、历史已处理图像对应的裸图像的部分B、历史已处理图像各编码单元的编码参数及编码使用的比特数的部分B；
2)特征提取层：获得历史已处理图像对应的裸图像中部分B的各编码单元的特征值集合；
3)主观失真评价层：获取历史已处理图像对应的裸图像中部分B的各编码单元的主观失真值；
4)多层卷积神经网络层：将历史已处理图像对应的裸图像的部分B，部分B中各编码单元的编码参数及编码使用的比特数、各编码单元的特征值集合、各编码单元的主观失真值输入到多层卷积神经网络，训练得到部分B第二深度学习模型。
随后，部分B的量化流程中，应用部分B第二深度学习模型处理待处理的裸图像的部分B所需的深度学习网络的层次结构如下：
1)数据收集层：获取待处理的裸图像的部分B；
2)特征提取层：获得待处理的裸图像部分B的各编码单元的特征值集合；
3)多层卷积神经网络层：将待处理的裸图像的部分B中各编码单元的特征值集合、待处理裸图像的目标比特数分别输入到训练后的部分B第二深度学习模型，输出部分B中各编码单元的量化参数。
特征值集合的获得方法、主观失真值的计算方法等均与实施例一相同，在此不再赘述。
在另一种实现方式中，应用数学模型方法相关的编码方法，在终端获取待处理的裸图像的部分B后，终端根据主观失真对部分B进行编码。
可选地，需要训练部分B第一数学模型和部分B第二数学模型来处理部分B的编码，训练方式可以是实时训练方式，应用于裸视频压缩；也可以是离线训练方式，应用于裸视频及裸图像压缩。
其中，实时训练方式在终端进行，部分B第一数学模型的实时训练方式如下：
获取前一幅已处理图像的部分B、前一幅已处理图像对应的裸图像的部分B。
获得前一幅已处理图像对应的裸图像中部分B的各编码单元的特征值集合。
以及，计算前一幅已处理图像的部分B和前一幅已处理图像对应的裸图像的部分B中各编码单元之间的主观失真敏感度类型及对应的权重值。
通过上述数据，便可训练出部分B第一数学模型。
离线训练方式可以在服务器端进行，也可以在终端进行，部分B第一数学模型的离线训练方式如下：
获取历史已处理图像的部分B、历史已处理图像对应的裸图像的部分B。
获得历史已处理图像对应的裸图像中部分B的各编码单元的特征值集合。
以及，计算历史已处理图像的部分B和历史已处理图像对应的裸图像的部分B中各编码单元之间的主观失真敏感度类型及对应的权重值。
通过上述数据，便可训练出部分B第一数学模型。
可选地，实时训练方式在终端进行，部分B第二数学模型的实时训练方式如下：
获取待处理的裸图像部分B的各编码单元的编码参数及编码所用的比特数。
计算部分B中各编码单元的特征值集合。
通过上述数据，便可训练出部分B第二数学模型。
离线训练方式可以在服务器端进行，也可以在终端进行，部分B第二数学模型的离线训练方式如下：
获取待处理的裸图像部分B的各编码单元的编码参数及编码所用的比特数。
计算部分B中各编码单元的特征值集合。
通过上述数据，便可训练出部分B第二数学模型。
可选地，应用部分B第一数学模型处理待处理的裸图像的部分B的具体过程包括：
获取待处理的裸图像的部分B。
获取部分B中各编码单元的特征值集合。
根据以上数据，利用训练后的部分B第一数学模型计算部分B中各编码单元的主观失真敏感度类型及对应的权重值，即上述加权因子w，计算获得部分B中各编码单元的目标比特数。
可选地，应用部分B第二数学模型处理待处理的裸图像的具体过程包括：
获得待处理的裸图像部分B中各编码单元的特征值集合、部分B中已编码的编码单元的编码参数及编码所用的比特数，优选为获取各编码单元相邻已编码的编码单元的特征值集合、编码参数及编码所用的比特数。
根据以上数据，利用训练后的部分B第二数学模型计算部分B中各编码单元的量化参数。
特征值集合的获得方法、特征值的计算方法、主观差异的计算方法等均与实施例二相同，第一数学模型、第二数学模型也与实施例二相同，在此不再赘述赘述。
随后，终端部分B压缩成码流B，传输到云端服务器。
云端服务器对接收到的码流B进行解码，获得重建后的部分B，解码过程可参考实施例一，在此不再赘述。
将重建后的部分A和重建后的部分B合成完整的待处理的裸图像。
云端服务器再将上述获得的语义分析结果，合成的完整的待处理的裸图像，输入到云端ISP模块进行优化处理。
接收云端服务器的图像信号处理ISP模块对重建的裸图像进行优化处理后生成的优化图像部分，所述重建的裸图像是基于该至少两个裸图像部分进行重建的。
实施例五
本发明实施例五对应云相机-云端语义分析框架方案的“云相机”系统。
本发明实施例五中，在上述步骤S510之前，依据预定划分方式，对待处理的裸图像进行划分，确定待处理的裸图像的至少两个裸图像部分。
具体而言，依据预定的图像特征，将待处理的裸图像划分为至少两个裸图像部分。
将待处理的裸图像划分为第一裸图像部分和第二裸图像部分。
其中，如图25、图26、图27所示，第一裸图像部分包括以下任一种情形：
待处理的裸图像的低频图像部分；
待处理的裸图像的低分辨率图像部分；
待处理的裸图像的边缘信息图像部分和下采样图像部分；
或者，也可以包含其他信息的图像。
第二裸图像部分为待处理的裸图像的除第一裸图像部分外的剩余图像部分。
可选地，第一裸图像部分和第二裸图像部分的划分方案也可以依据云端语义分析模块的需求而定。
那么，在上述步骤S510中，根据至少一个裸图像部分的特征信息，确定该至少一个裸图像部分对应的编码相关信息。
具体而言，当编码相关信息包括主观失真相关信息和编码参数时，针对任一裸图像部分，需要根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第一深度学习模型，确定该裸图像部分中各编码单元的主观失真值。
以及，根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第二深度学习模型，确定该裸图像部分中各编码单元的编码参数。
或者，当编码相关信息包括主观失真相关信息和编码参数时，针对任一裸图像部分，需要根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第一数学模型，确定该裸图像部分中各编码单元的主观失真敏感度类型。
以及，根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第二数学模型，确定该裸图像部分中各编码单元的编码参数。
随后，在上述步骤S520中，根据该至少一个裸图像部分对应的编码相关信息，对该至少一个裸图像部分分别进行编码处理。
实际使用中，只需对第一裸图像部分进行编码处理得到编码后的第一裸图像部分，并将编码后的第一裸图像部分发送至云端服务器。
在步骤S1320中，接收云端服务器的语义分析模块对解码后的第一裸图像部分进行语义分析后生成的语义分析结果。
在步骤S1330中，根据语义分析结果对待处理的裸图像进行优化处理，生成优化图像。
如图14所示，本发明实施例五与实施例一、二、三和四的区别在于：将待处理的裸图像分为两个裸图像部分(下文以部分A和部分B进行介绍，其中，部分A对应上述第一裸图像部分)，只压缩部分A生成部分码流A，传输到云端的语义分析模块进行语义分析。ISP模块在终端而非云端，ISP模块处理的对象是原始的裸图像而非经过压缩后的重建图像。
实际应用中，终端先要对部分A进行编码处理。
其中，对部分A的编码处理方式可以参考实施例四中对部分A的编码处理方式，在此不再赘述。
本发明实施例五中，在确定出部分A中各编码单元的量化参数后，终端将部分A压缩成码流A，传输到云端服务器。
云端服务器接接收到的码流A进行解码，获得重建后的部分A；解码过程可参考实施例一，在此不再赘述。
云端语义分析模块对重建后的部分A进行分析，获得语义分析结果并传输到终端。
终端根据接收到的语义分析结果，对完整的待处理的裸图像进行优化处理，包括：
对人脸区域进行去噪、颜色修正和去黄美白等；
对头发，文字和衣服区域进行边缘纹理增强等；
对建筑物区域进行颜色修正，边缘纹理增强等。
实施例六
本发明实施例六还提供一种终端，如图28所示，包括：
确定模块2810，用于根据待处理的裸图像的特征信息，确定待处理的裸图像对应的编码相关信息；
编码模块2820，用于根据编码相关信息，对待处理的裸图像进行编码处理。
可选地，确定模块2810具体用于根据待处理的裸图像的特征信息，确定待处理的裸图像对应的主观失真相关信息；
可选地，编码模块2820具体用于根据所述主观失真相关信息，对待处理的裸图像进行编码处理。
可选地，编码模块2820具体用于根据所述主观失真相关信息，在编码过程中，主观失真敏感度和分配的比特数成正比例关系。
可选地，确定模块2810具体用于根据待处理的裸图像的特征信息，确定待处理的裸图像对应的主观失真相关信息及编码参数；
编码模块2820具体用于根据所述主观失真相关信息及所述编码参数，对待处理的裸图像进行编码处理。
可选地，确定模块2810具体用于根据待处理的裸图像中各编码单元的特征值集合，基于训练后的第一深度学习模型，确定待处理的裸图像中各编码单元的主观失真值；
以及，确定模块2810具体用于根据待处理的裸图像中各编码单元的特征值集合，基于训练后的第二深度学习模型，确定待处理的裸图像中各编码单元的编码参数。
可选地，编码模块2820具体用于根据待处理的裸图像中各编码单元的主观失真值，确定各编码单元的最优预测模式；
以及，编码模块2820具体用于根据待处理的裸图像中各编码单元的最优预测模式及编码参数，对待处理的裸图像进行编码处理。
可选地，确定模块2810具体用于根据待处理的裸图像中各编码单元的特征值集合，基于训练后的第一数学模型，确定待处理的裸图像中各编码单元的主观失真敏感度类型；
以及，确定模块2810具体用于根据待处理的裸图像中各编码单元的特征值集合，基于训练后的第二数学模型，确定待处理的裸图像中各编码单元的编码参数。
可选地，确定模块2810具体用于根据待处理的裸图像中各编码单元的主观失真敏感度类型，确定各编码单元分别对应的权重值；
以及，确定模块2810具体用于根据各编码单元分别对应的权重值，确定各编码单元的目标比特数；
以及，确定模块2810具体用于根据各编码单元的特征值集合及目标比特数，基于训练后的第二数学模型，确定待处理的裸图像中各编码单元的编码参数；
其中，各编码单元分别对应的权重值与目标比特数成正比例关系，各编码单元分别对应的权重值与主观失真敏感度类型的主观敏感度成正比例关系。
可选地，确定模块2810具体用于根据待处理的裸图像的特征信息及对应的主观失真相关信息，确定待处理的裸图像对应的编码参数。
本发明实施例六提供的终端，还包括：
划分模块，用于依据预定划分方式，对待处理的裸图像进行划分，确定待处理的裸图像的至少两个裸图像部分；
确定模块2810具体用于根据至少一个裸图像部分的特征信息，确定该至少一个裸图像部分对应的编码相关信息；
编码模块2820具体用于根据该至少一个裸图像部分对应的编码相关信息，对该至少一个裸图像部分分别进行编码处理。
可选地，当编码相关信息包括主观失真相关信息和编码参数时，针对任一裸图像部分，确定模块2810具体用于根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第一深度学习模型，确定该裸图像部分中各编码单元的主观失真值；
以及，确定模块2810具体用于根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第二深度学习模型，确定该裸图像部分中各编码单元的编码参数。
可选地，当编码相关信息包括主观失真相关信息和编码参数时，针对任一裸图像部分，确定模块2810具体用于根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第一数学模型，确定该裸图像部分中各编码单元的主观失真敏感度类型；
以及，确定模块2810具体用于根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第二数学模型，确定该裸图像部分中各编码单元的编码参数。
可选地，划分模块具体用于依据获取到的语义定义信息，将待处理的裸图像划分为至少两个语义区域，并将至少两个语义区域确定为至少两个裸图像部分；
或者，划分模块具体用于依据预定的图像特征，将待处理的裸图像划分为至少两个裸图像部分。
可选地，划分模块具体用于获取云端服务器的语义分析模块确定的语义定义信息；
语义定义信息包括以下至少一项：人体相关特征、生物体相关特征、环境相关特征和文字。
可选地，划分模块具体用于将待处理的裸图像划分为第一裸图像部分和第二裸图像部分，第一裸图像部分包括以下任一种情形：
待处理的裸图像的低频图像部分；
待处理的裸图像的低分辨率图像部分；
待处理的裸图像的边缘信息图像部分和下采样图像部分；
第二裸图像部分为待处理的裸图像的除第一裸图像部分外的剩余图像部分。
可选地，编码参数包括量化参数。
可选地，特征值集合包括以下至少一种参数：
明暗度；平滑度；边缘强度；边缘方向一致度；纹理复杂度。
可选地，本发明实施例六提供的终端，还包括：
发送模块，用于将编码后的裸图像发送至云端服务器；
接收模块，用于接收云端服务器的图像信号处理ISP模块对待处理的裸图像优化处理后生成的优化图像。
可选地，发送模块具体用于将分别编码后的至少两个裸图像部分发送至云端服务器；
接收模块具体用于接收云端服务器的图像信号处理ISP模块对重建的裸图像进行优化处理后生成的优化图像部分，所述重建的裸图像是基于该至少两个裸图像部分进行重建的。
可选地，发送模块具体用于将编码后的第一裸图像部分发送至云端服务器；
接收模块具体用于接收云端服务器的语义分析模块对解码后的第一裸图像部分进行语义分析后生成的语义分析结果；
可选地，本发明实施例六提供的终端，还包括：
优化模块，用于根据所述语义分析结果对待处理的裸图像进行优化处理，生成优化图像。
本发明实施例六所提供的终端，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，本发明实施例六部分未提及之处，可参考前述方法实施例中相应内容，在此不再赘述。
上述终端可以为包括计算机、手机、平板电脑、PDA(Personal DigitalAssistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑等任意终端设备。
上述终端包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述的方法。
其中，存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器是控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行各种功能和处理数据，从而对终端进行整体监控。可选的，处理器可包括一个或多个处理单元；优选的，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。
本发明实施例还提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述的方法。
本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (35)

1.一种图像的编码方法，其特征在于，包括以下步骤：
根据待处理的裸图像的特征信息，确定待处理的裸图像对应的编码相关信息；
根据所述编码相关信息，对待处理的裸图像进行编码处理；
其中，根据待处理的裸图像的特征信息，确定待处理的裸图像对应的编码相关信息包括：根据待处理的裸图像的特征信息，确定待处理的裸图像对应的主观失真相关信息及编码参数；
根据待处理的裸图像的特征信息，确定待处理的裸图像对应的主观失真相关信息，包括：根据待处理的裸图像中各编码单元的特征值集合，基于训练后的第一深度学习模型，确定待处理的裸图像中各编码单元的主观失真值；
根据待处理的裸图像的特征信息，确定待处理的裸图像对应的编码参数，包括：根据待处理的裸图像中各编码单元的特征值集合，基于训练后的第二深度学习模型，确定待处理的裸图像中各编码单元的编码参数；
其中，根据所述编码相关信息，对待处理的裸图像进行编码处理，包括：根据所述主观失真相关信息及所述编码参数，对待处理的裸图像进行编码处理。
2.根据权利要求1所述的编码方法，其特征在于，在编码过程中，主观失真敏感度和分配的比特数成正比例关系。
3.根据权利要求1所述的编码方法，其特征在于，根据所述主观失真相关信息及所述编码参数，对待处理的裸图像进行编码处理，包括：
根据待处理的裸图像中各编码单元的主观失真值，确定各编码单元的最优预测模式；
根据待处理的裸图像中各编码单元的最优预测模式及编码参数，对待处理的裸图像进行编码处理。
4.根据权利要求1所述的编码方法，其特征在于，根据待处理的裸图像的特征信息，确定待处理的裸图像对应的主观失真相关信息，包括：
根据待处理的裸图像中各编码单元的特征值集合，基于训练后的第一数学模型，确定待处理的裸图像中各编码单元的主观失真敏感度类型；
以及，根据待处理的裸图像的特征信息，确定待处理的裸图像对应的编码参数，包括：
根据待处理的裸图像中各编码单元的特征值集合，基于训练后的第二数学模型，确定待处理的裸图像中各编码单元的编码参数；
其中，所述主观失真敏感度类型用于表征对于主观失真的敏感程度。
5.根据权利要求4所述的编码方法，其特征在于，根据待处理的裸图像中各编码单元的特征值集合，基于训练后的第二数学模型，确定待处理的裸图像中各编码单元的编码参数，包括：
根据待处理的裸图像中各编码单元的主观失真敏感度类型，确定各编码单元分别对应的权重值；
根据各编码单元分别对应的权重值，确定各编码单元的目标比特数；
根据各编码单元的特征值集合及目标比特数，基于训练后的第二数学模型，确定待处理的裸图像中各编码单元的编码参数；
其中，各编码单元分别对应的权重值与目标比特数成正比例关系，各编码单元分别对应的权重值与主观失真敏感度类型的主观敏感度成正比例关系。
6.根据权利要求1所述的编码方法，其特征在于，确定待处理的裸图像对应的主观失真相关信息之后，所述根据待处理的裸图像的特征信息，确定待处理的裸图像对应的编码相关信息，包括：
根据待处理的裸图像的特征信息及对应的主观失真相关信息，确定待处理的裸图像对应的编码参数。
7.根据权利要求1所述的编码方法，其特征在于，所述根据待处理的裸图像的特征信息，确定待处理的裸图像对应的编码相关信息之前，还包括：
依据预定划分方式，对待处理的裸图像进行划分，确定待处理的裸图像的至少两个裸图像部分；
所述根据待处理的裸图像的特征信息，确定待处理的裸图像对应的编码相关信息，包括：
根据至少一个裸图像部分的特征信息，确定该至少一个裸图像部分对应的编码相关信息；
所述根据所述编码相关信息，对待处理的裸图像进行编码处理，包括：
根据该至少一个裸图像部分对应的编码相关信息，对该至少一个裸图像部分分别进行编码处理。
8.根据权利要求7所述的编码方法，其特征在于，当编码相关信息包括主观失真相关信息和编码参数时，针对任一裸图像部分，根据至少一个裸图像部分的特征信息，确定该至少一个裸图像部分对应的编码相关信息，包括：
根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第一深度学习模型，确定该裸图像部分中各编码单元的主观失真值；以及，
根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第二深度学习模型，确定该裸图像部分中各编码单元的编码参数。
9.根据权利要求7所述的编码方法，其特征在于，当编码相关信息包括主观失真相关信息和编码参数时，针对任一裸图像部分，根据至少一个裸图像部分的特征信息，确定该至少一个裸图像部分对应的编码相关信息，包括：
根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第一数学模型，确定该裸图像部分中各编码单元的主观失真敏感度类型；以及，
根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第二数学模型，确定该裸图像部分中各编码单元的编码参数；
其中，所述主观失真敏感度类型用于表征对于主观失真的敏感程度。
10.根据权利要求7所述的编码方法，其特征在于，所述依据预定划分方式，对待处理的裸图像进行划分，确定待处理的裸图像的至少两个裸图像部分，包括以下至少一项：
依据获取到的语义定义信息，将待处理的裸图像划分为至少两个语义区域，并将至少两个语义区域确定为至少两个裸图像部分；
依据预定的图像特征，将待处理的裸图像划分为至少两个裸图像部分。
11.根据权利要求10所述的编码方法，其特征在于，获取语义定义信息的方式，包括：
获取云端服务器的语义分析模块确定的语义定义信息；
所述语义定义信息包括以下至少一项：人体相关特征、生物体相关特征、环境相关特征和文字。
12.根据权利要求10所述的编码方法，其特征在于，当将待处理的裸图像划分为第一裸图像部分和第二裸图像部分时，第一裸图像部分包括以下任一种情形：
待处理的裸图像的低频图像部分；
待处理的裸图像的低分辨率图像部分；
待处理的裸图像的边缘信息图像部分和下采样图像部分；
第二裸图像部分为待处理的裸图像的除第一裸图像部分外的剩余图像部分。
13.根据权利要求1所述的编码方法，其特征在于，所述编码参数包括量化参数。
14.根据权利要求1所述的编码方法，其特征在于，所述特征值集合包括以下至少一种参数：
明暗度；平滑度；边缘强度；边缘方向一致度；纹理复杂度。
15.根据权利要求1-14任一项所述的编码方法，其特征在于，还包括：
将编码后的裸图像发送至云端服务器；
接收云端服务器的图像信号处理ISP模块对待处理的裸图像优化处理后生成的优化图像。
16.根据权利要求11或12所述的编码方法，其特征在于，还包括：
将分别编码后的至少两个裸图像部分发送至云端服务器；
接收云端服务器的图像信号处理ISP模块对重建的裸图像进行优化处理后生成的优化图像部分，所述重建的裸图像是基于该至少两个裸图像部分进行重建的。
17.根据权利要求12所述的编码方法，其特征在于，还包括：
将编码后的第一裸图像部分发送至云端服务器；
接收云端服务器的语义分析模块对解码后的第一裸图像部分进行语义分析后生成的语义分析结果；
根据所述语义分析结果对待处理的裸图像进行优化处理，生成优化图像。
18.一种终端，其特征在于，包括：
确定模块，用于根据待处理的裸图像的特征信息，确定待处理的裸图像对应的编码相关信息；
其中，根据待处理的裸图像的特征信息，确定待处理的裸图像对应的编码相关信息包括：根据待处理的裸图像的特征信息，确定待处理的裸图像对应的主观失真相关信息及编码参数；
根据待处理的裸图像的特征信息，确定待处理的裸图像对应的主观失真相关信息，包括：根据待处理的裸图像中各编码单元的特征值集合，基于训练后的第一深度学习模型，确定待处理的裸图像中各编码单元的主观失真值；
根据待处理的裸图像的特征信息，确定待处理的裸图像对应的编码参数，包括：根据待处理的裸图像中各编码单元的特征值集合，基于训练后的第二深度学习模型，确定待处理的裸图像中各编码单元的编码参数；
编码模块，用于根据所述编码相关信息，对待处理的裸图像进行编码处理；
其中，根据所述编码相关信息，对待处理的裸图像进行编码处理，包括：根据所述主观失真相关信息及所述编码参数，对待处理的裸图像进行编码处理。
19.根据权利要求18所述的终端，其特征在于，确定模块具体用于：
在编码过程中，主观失真敏感度和分配的比特数成正比例关系。
20.根据权利要求18所述的终端，其特征在于，编码模块具体用于：
根据待处理的裸图像中各编码单元的主观失真值，确定各编码单元的最优预测模式；
根据待处理的裸图像中各编码单元的最优预测模式及编码参数，对待处理的裸图像进行编码处理。
21.根据权利要求18所述的终端，其特征在于，确定模块具体用于：
根据待处理的裸图像中各编码单元的特征值集合，基于训练后的第一数学模型，确定待处理的裸图像中各编码单元的主观失真敏感度类型；
以及，确定模块具体用于：
根据待处理的裸图像中各编码单元的特征值集合，基于训练后的第二数学模型，确定待处理的裸图像中各编码单元的编码参数；
其中，所述主观失真敏感度类型用于表征对于主观失真的敏感程度。
22.根据权利要求21所述的终端，其特征在于，确定模块具体用于：
根据待处理的裸图像中各编码单元的主观失真敏感度类型，确定各编码单元分别对应的权重值；
根据各编码单元分别对应的权重值，确定各编码单元的目标比特数；
根据各编码单元的特征值集合及目标比特数，基于训练后的第二数学模型，确定待处理的裸图像中各编码单元的编码参数；
其中，各编码单元分别对应的权重值与目标比特数成正比例关系，各编码单元分别对应的权重值与主观失真敏感度类型的主观敏感度成正比例关系。
23.根据权利要求18所述的终端，其特征在于，确定模块具体用于：
根据待处理的裸图像的特征信息及对应的主观失真相关信息，确定待处理的裸图像对应的编码参数。
24.根据权利要求18所述的终端，其特征在于，还包括划分模块，用于：
在所述根据待处理的裸图像的特征信息，确定待处理的裸图像对应的编码相关信息之前，依据预定划分方式，对待处理的裸图像进行划分，确定待处理的裸图像的至少两个裸图像部分；
确定模块具体用于：
根据至少一个裸图像部分的特征信息，确定该至少一个裸图像部分对应的编码相关信息；
编码模块具体用于：
根据该至少一个裸图像部分对应的编码相关信息，对该至少一个裸图像部分分别进行编码处理。
25.根据权利要求24所述的终端，其特征在于，当编码相关信息包括主观失真相关信息和编码参数时，针对任一裸图像部分，确定模块具体用于：
根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第一深度学习模型，确定该裸图像部分中各编码单元的主观失真值；以及，
根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第二深度学习模型，确定该裸图像部分中各编码单元的编码参数。
26.根据权利要求24所述的终端，其特征在于，当编码相关信息包括主观失真相关信息和编码参数时，针对任一裸图像部分，确定模块具体用于：
根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第一数学模型，确定该裸图像部分中各编码单元的主观失真敏感度类型；以及，
根据该裸图像部分中各编码单元的特征值集合，基于与该裸图像部分对应的训练后的第二数学模型，确定该裸图像部分中各编码单元的编码参数；
其中，所述主观失真敏感度类型用于表征对于主观失真的敏感程度。
27.根据权利要求24所述的终端，其特征在于，划分模块具体用于：
依据获取到的语义定义信息，将待处理的裸图像划分为至少两个语义区域，并将至少两个语义区域确定为至少两个裸图像部分；
依据预定的图像特征，将待处理的裸图像划分为至少两个裸图像部分。
28.根据权利要求27所述的终端，其特征在于，划分模块具体用于：
获取云端服务器的语义分析模块确定的语义定义信息；
所述语义定义信息包括以下至少一项：人体相关特征、生物体相关特征、环境相关特征和文字。
29.根据权利要求27所述的终端，其特征在于，划分模块具体用于将待处理的裸图像划分为第一裸图像部分和第二裸图像部分，第一裸图像部分包括以下任一种情形：
待处理的裸图像的低频图像部分；
待处理的裸图像的低分辨率图像部分；
待处理的裸图像的边缘信息图像部分和下采样图像部分；
第二裸图像部分为待处理的裸图像的除第一裸图像部分外的剩余图像部分。
30.根据权利要求18所述的终端，其特征在于，所述编码参数包括量化参数。
31.根据权利要求18所述的终端，其特征在于，所述特征值集合包括以下至少一种参数：
明暗度；平滑度；边缘强度；边缘方向一致度；纹理复杂度。
32.根据权利要求18-31任一项所述的终端，其特征在于，还包括：
发送模块，用于将编码后的裸图像发送至云端服务器；
接收模块，用于接收云端服务器的图像信号处理ISP模块对待处理的裸图像优化处理后生成的优化图像。
33.根据权利要求28或29所述的终端，其特征在于，还包括：
发送模块，用于将分别编码后的至少两个裸图像部分发送至云端服务器；
接收模块，用于接收云端服务器的图像信号处理ISP模块对重建的裸图像进行优化处理后生成的优化图像部分，所述重建的裸图像是基于该至少两个裸图像部分进行重建的。
34.根据权利要求29所述的终端，其特征在于，还包括：
发送模块，用于将编码后的第一裸图像部分发送至云端服务器；
接收模块，用于接收云端服务器的语义分析模块对解码后的第一裸图像部分进行语义分析后生成的语义分析结果；
该终端还包括优化模块，用于根据所述语义分析结果对待处理的裸图像进行优化处理，生成优化图像。
35.一种终端，其特征在于，包括：
处理器；以及
存储器，配置用于存储机器可读指令，所述指令在由所述处理器执行时，使得所述处理器执行权利要求1～17中任一项所述的方法。
CN201910087815.0A 2018-02-08 2019-01-29 图像的编码方法及相应终端 Active CN110139109B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/967,059 US11297319B2 (en) 2018-02-08 2020-01-22 Method for encoding images and corresponding terminals
PCT/KR2020/001131 WO2020159154A1 (en) 2018-02-08 2020-01-22 Method for encoding images and corresponding terminals

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2018101289093 2018-02-08
CN201810128909 2018-02-08

Publications (2)

Publication Number Publication Date
CN110139109A CN110139109A (zh) 2019-08-16
CN110139109B true CN110139109B (zh) 2023-01-10

Family

ID=67568373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910087815.0A Active CN110139109B (zh) 2018-02-08 2019-01-29 图像的编码方法及相应终端

Country Status (3)

Country Link
US (1) US11297319B2 (zh)
CN (1) CN110139109B (zh)
WO (1) WO2020159154A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11961264B2 (en) * 2018-12-14 2024-04-16 Interdigital Vc Holdings, Inc. System and method for procedurally colorizing spatial data
EP3731154A1 (en) * 2019-04-26 2020-10-28 Naver Corporation Training a convolutional neural network for image retrieval with a listwise ranking loss function
CN110597775A (zh) * 2019-09-04 2019-12-20 广东浪潮大数据研究有限公司 深度学习平台中图片格式的转换方法及装置
WO2021102947A1 (zh) * 2019-11-29 2021-06-03 深圳市大疆创新科技有限公司 图像信号处理装置、方法、相机以及可移动平台
CN111311483A (zh) * 2020-01-22 2020-06-19 北京市商汤科技开发有限公司 图像编辑及训练方法、装置、电子设备和存储介质
CN113554719B (zh) * 2020-04-24 2023-05-09 武汉Tcl集团工业研究院有限公司 一种图像编码方法、解码方法、存储介质及终端设备
CN112035284A (zh) * 2020-09-02 2020-12-04 江苏经贸职业技术学院 一种基于云计算的数学模型服务系统及管理方法
CN114727108A (zh) * 2021-01-04 2022-07-08 北京金山云网络技术有限公司 量化因子调整方法、装置、电子设备及存储介质
CN114760480A (zh) * 2021-01-08 2022-07-15 华为技术有限公司 图像处理方法、装置、设备及存储介质
CN113395138B (zh) * 2021-06-15 2022-05-03 重庆邮电大学 基于深度学习的pc-scma联合迭代检测译码方法
CN113450340B (zh) * 2021-07-13 2024-03-19 北京美医医学技术研究院有限公司 一种皮肤纹理检测系统
CN114581558B (zh) * 2022-02-25 2023-07-07 北京百度网讯科技有限公司 图像处理方法、装置、设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1006464A2 (en) * 1998-11-30 2000-06-07 Sharp Kabushiki Kaisha Image retrieving apparatus performing retrieval based on coding information utilized for featured frame extraction or feature values of frames
JP2008085721A (ja) * 2006-09-28 2008-04-10 Sony Corp 画像比較装置および方法、画像検索装置および方法、プログラム、並びに記録媒体
CN104093022A (zh) * 2014-06-25 2014-10-08 华为技术有限公司 一种率失真优化方法及装置
CN105120292A (zh) * 2015-09-09 2015-12-02 厦门大学 一种基于图像纹理特征的视频编码帧内预测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101698797B1 (ko) * 2010-07-27 2017-01-23 삼성전자주식회사 영상 데이터를 분할하여 부호화 및 복호화를 병렬 처리하는 장치 및 상기 장치의 동작 방법
US8798363B2 (en) * 2011-09-30 2014-08-05 Ebay Inc. Extraction of image feature data from images
US20130142250A1 (en) * 2011-12-06 2013-06-06 Broadcom Corporation Region based classification and adaptive rate control method and apparatus
KR102020220B1 (ko) * 2011-12-26 2019-09-11 삼성전자주식회사 이미지 압축 방법 및 장치
EP2894857A1 (en) * 2014-01-10 2015-07-15 Thomson Licensing Method and apparatus for encoding image data and method and apparatus for decoding image data
KR20180076591A (ko) * 2016-12-28 2018-07-06 삼성전자주식회사 비디오 인코딩 방법, 이를 수행하는 비디오 인코더 및 이를 포함하는 전자 시스템
KR102053242B1 (ko) 2017-04-26 2019-12-06 강현인 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법
US10713537B2 (en) * 2017-07-01 2020-07-14 Algolux Inc. Method and apparatus for joint image processing and perception
US10721477B2 (en) * 2018-02-07 2020-07-21 Netflix, Inc. Techniques for predicting perceptual video quality based on complementary perceptual quality models

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1006464A2 (en) * 1998-11-30 2000-06-07 Sharp Kabushiki Kaisha Image retrieving apparatus performing retrieval based on coding information utilized for featured frame extraction or feature values of frames
JP2008085721A (ja) * 2006-09-28 2008-04-10 Sony Corp 画像比較装置および方法、画像検索装置および方法、プログラム、並びに記録媒体
CN104093022A (zh) * 2014-06-25 2014-10-08 华为技术有限公司 一种率失真优化方法及装置
CN105120292A (zh) * 2015-09-09 2015-12-02 厦门大学 一种基于图像纹理特征的视频编码帧内预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HEVC低复杂度编码优化算法研究;沈晓琳;《中国博士学位论文全文数据库（电子期刊）》;20130515;全文 *

Also Published As

Publication number Publication date
US20210235085A1 (en) 2021-07-29
WO2020159154A1 (en) 2020-08-06
US11297319B2 (en) 2022-04-05
CN110139109A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN110139109B (zh) 图像的编码方法及相应终端
CN111066326B (zh) 机器学习视频处理系统和方法
KR102285738B1 (ko) 영상의 주관적 품질을 평가하는 방법 및 장치
US10848765B2 (en) Rate/distortion/RDcost modeling with machine learning
CN110198444B (zh) 视频帧编码方法、视频帧编码设备及具有存储功能的装置
CN103051901B (zh) 视频数据编码装置和视频数据编码方法
US10623744B2 (en) Scene based rate control for video compression and video streaming
CN113767400A (zh) 使用率失真成本作为深度学习的损失函数
CN109286812B (zh) 一种hevc视频质量估计方法
CN111837140A (zh) 视频代码化的感受野一致卷积模型
CN116916036A (zh) 视频压缩方法、装置及系统
EP3849180A1 (en) Encoding or decoding data for dynamic task switching
CN107820084B (zh) 一种视频感知编码方法及装置
Farah et al. Full-reference and reduced-reference quality metrics based on SIFT
KR100601846B1 (ko) 동영상 압축 부호화기의 왜곡 최적화 장치 및 방법
CN109547781B (zh) 基于图像预测的压缩方法及设备
CN116827921A (zh) 一种流媒体的音视频处理方法、装置及设备
Chen et al. A two-part predictive coder for multitask signal compression
Yin et al. A co-prediction-based compression scheme for correlated images
US11350134B2 (en) Encoding apparatus, image interpolating apparatus and encoding program
CN117441186A (zh) 图像解码及处理方法、装置及设备
Vu et al. VMAF based quantization parameter prediction model for low resolution video coding
Nami et al. Lightweight Multitask Learning for Robust JND Prediction using Latent Space and Reconstructed Frames
Stepanov et al. Learning-based lossless light field compression
Lee et al. Learned Image Compression with Residual Coding.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant