CN115150625B - 图像处理方法、系统、编码端和计算机可读存储介质 - Google Patents

图像处理方法、系统、编码端和计算机可读存储介质 Download PDF

Info

Publication number
CN115150625B
CN115150625B CN202110339327.1A CN202110339327A CN115150625B CN 115150625 B CN115150625 B CN 115150625B CN 202110339327 A CN202110339327 A CN 202110339327A CN 115150625 B CN115150625 B CN 115150625B
Authority
CN
China
Prior art keywords
compressed
channel
matrix
value
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110339327.1A
Other languages
English (en)
Other versions
CN115150625A (zh
Inventor
王慧芬
张园
杨明川
沈乐平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202110339327.1A priority Critical patent/CN115150625B/zh
Priority to PCT/CN2021/134996 priority patent/WO2022205987A1/zh
Priority to US18/553,001 priority patent/US20240195980A1/en
Priority to JP2023560610A priority patent/JP2024512731A/ja
Priority to EP21934623.6A priority patent/EP4303763A4/en
Publication of CN115150625A publication Critical patent/CN115150625A/zh
Application granted granted Critical
Publication of CN115150625B publication Critical patent/CN115150625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本公开涉及一种图像处理方法、系统、编码端和计算机可读存储介质，涉及计算机技术领域。本公开的方法包括：针对神经网络中间层输出的图像的各个通道的特征矩阵，确定特征矩阵边缘的特征值相同的行和列，作为待压缩行和待压缩列，其中，中间层为输入层和输出层之间的一层；将待压缩行和待压缩列的特征值删除，保留剩余的特征值，作为该通道的特征矩阵的保留值；将待压缩行和待压缩列的特征值进行压缩，得到该通道的特征矩阵的边缘值；将各个通道的特征矩阵的保留值，边缘值，以及待压缩行的数量和待压缩列的数量进行编码后发送至解码端，以便解码端恢复各个通道的特征矩阵。

Description

图像处理方法、系统、编码端和计算机可读存储介质
技术领域
本公开涉及计算机技术领域，特别涉及一种图像处理方法、系统、编码端和计算机可读存储介质。
背景技术
VCM(Video Coding for Machines，机器视觉编码)专家组的目标是定义一种从视频中提取的压缩的视频或特征码流，可服务用于多种机器任务，同时保障高压缩效率和机器智能任务性能，服务于机器视觉和人机混合视觉应用。
面向机器视觉的深度学习特征编码可以首先确定编码对象位于神经网络的层，通过确定的神经网络的层输出特征编码，再将特征编码用于后续的各种视频处理的任务。
面向机器视觉的深度学习特征编码中常用的神经网络包括卷积神经网络。卷积神经网络中经常在卷积之前引入padding(填充)操作，在图片外围补充一些像素点，把这些像素点初始化为预设值，例如0。
发明内容
发明人发现：在面向机器视觉的深度学习特征编码中，由于卷积神经网络中padding的操作，在中间层输出的图像的特征编码中产生了很多边缘填充特征值，如果将这些边缘填充特征值完整的传输到解码端，会导致带宽的浪费，降低传输效率。
本公开所要解决的一个技术问题是：在面向机器视觉的深度学习特征编码中，如何提高到解码端的传输效率，减少带宽的浪费。
根据本公开的一些实施例，提供的一种图像处理方法，包括：针对神经网络中间层输出的图像的各个通道的特征矩阵，确定特征矩阵边缘的特征值相同的行和列，作为待压缩行和待压缩列，其中，中间层为输入层和输出层之间的一层；将待压缩行和待压缩列的特征值删除，保留剩余的特征值，作为该通道的特征矩阵的保留值；将待压缩行和待压缩列的特征值进行压缩，得到该通道的特征矩阵的边缘值；将各个通道的特征矩阵的保留值，边缘值，以及待压缩行的数量和待压缩列的数量进行编码后发送至解码端，以便解码端恢复各个通道的特征矩阵。
在一些实施例中，针对神经网络中间层输出的图像的各个通道的特征矩阵，确定特征矩阵边缘的特征值相同的行和列包括：选取神经网络中间层输出的图像的一个通道的特征矩阵，作为待检测特征矩阵；分别由待检测特征矩阵的第一行向下，最后一行向上检测特征值相同的行，分别由待检测特征矩阵第一列向后，最后一列向前检测特征值相同的列，作为待检测特征矩阵的待压缩行和待压缩列；将各个通道的特征矩阵中与待检测特征矩阵的待压缩行和待压缩列位置相同的行和列，作为各个通道的特征矩阵的待压缩行和待压缩列。
在一些实施例中，将各个通道的特征矩阵的保留值，边缘值，以及待压缩行的数量和待压缩列的数量进行编码包括：将各个通道的特征矩阵的保留值和边缘值按照预设方式进行压缩；将压缩后的各个通道的特征矩阵的保留值和边缘值，以及待压缩行的数量和待压缩列的数量进行编码。
在一些实施例中，将各个通道的特征矩阵的保留值和边缘值按照预设方式进行压缩包括：针对各个通道的特征矩阵，根据该通道的特征矩阵的保留值、边缘值和预设比特位深值，确定该通道的特征矩阵对应的量阶；根据该通道的特征矩阵对应的量阶将该通道的特征矩阵的保留值和边缘值进行量化，得到量化后的保留值和边缘值，作为压缩后的该通道的特征矩阵的保留值和边缘值。
在一些实施例中，分别由待检测特征矩阵的第一行向下，最后一行向上检测特征值相同的行包括：(1)针对待检测特征矩阵，初始化顶部待压缩行的数量为0；(2)判断第一行的特征值是否相同，如果相同，则将顶部待压缩行的数量加一，并跳转到下一行作为当前行；(3)判断当前行的特征值是否与上一行的特征相同，如果相同，则将顶部待压缩行的数量加一，并跳转到下一行作为当前行；(4)重复执行步骤(3)，直至当前行的特征值与上一行的特征不相同，得到顶部待压缩行和对应的数量；将待检测矩阵进行垂直镜像得到的矩阵重新作为待检测矩阵，执行步骤(1)-(4)，得到的顶部待压缩行和对应的数量作为底部待压缩行和对应的数量。
在一些实施例中，分别由待检测特征矩阵第一列向后，最后一列向前检测特征值相同的列包括：将待检测特征矩阵进行转置得到的矩阵重新作为待检测矩阵，执行步骤(1)-(4)，得到的顶部待压缩行和对应的数量作为左侧待压缩列和对应的数量；将待检测特征矩阵进行转置后再进行垂直镜像得到的矩阵重新作为待检测矩阵，执行步骤(1)-(4)，得到的顶部待压缩行和对应的数量作为右侧待压缩列和对应的数量。
在一些实施例中，将待压缩行和待压缩列的特征值进行压缩，得到该通道的特征矩阵的边缘值包括：将待压缩行和待压缩列的特征值表示为一个值，作为该通道的特征矩阵的边缘值。
在一些实施例中，编码方式为熵编码。
在一些实施例中，该方法还包括：解码端对接收的数据进行解码，获取压缩后的各个通道的特征矩阵的保留值和边缘值，以及待压缩行的数量和待压缩列的数量；解码端对压缩后的各个通道的特征矩阵的保留值和边缘值进行解压缩，获取解压缩后的各个通道的特征矩阵的保留值和边缘值；解码端针对各个通道的特征矩阵，根据待压缩行的数量和待压缩列的数量在解压缩后的该通道的特征矩阵的保留值周围填充对应的边缘值，得到该通道的特征矩阵。
在一些实施例中，解码端对接收的数据还包括各个通道的特征矩阵对应的量阶，各个通道的特征矩阵对应的量阶是根据该通道的特征矩阵的保留值、边缘值和预设比特位深值确定的；解码端对压缩后的各个通道的特征矩阵的保留值和边缘值进行解压缩包括：解码端针对各个通道的特征矩阵，将该通道的特征矩阵对应的量阶与压缩后的该通道的特征矩阵的保留值和边缘值分别相乘，得到解压缩后的该通道的特征矩阵的保留值和边缘值。
根据本公开的另一些实施例，提供的一种编码端，包括：待压缩信息确定模块，用于针对神经网络中间层输出的图像的各个通道的特征矩阵，确定特征矩阵边缘的特征值相同的行和列，作为待压缩行和待压缩列，其中，中间层为输入层和输出层之间的一层；保留值确定模块，用于将待压缩行和待压缩列的特征值删除，保留剩余的特征值，作为该通道的特征矩阵的保留值；边缘值压缩模块，用于将待压缩行和待压缩列的特征值进行压缩，得到该通道的特征矩阵的边缘值；编码模块，用于将各个通道的特征矩阵的保留值，边缘值，以及待压缩行的数量和待压缩列的数量进行编码后发送至解码端，以便解码端恢复各个通道的特征矩阵。
根据本公开的又一些实施例，提供的一种编码端，包括：处理器；以及耦接至处理器的存储器，用于存储指令，指令被处理器执行时，使处理器执行前述任意实施例的图像处理方法。
根据本公开的再一些实施例，提供的一种非瞬时性计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现前述任意实施例的图像处理方法。
根据本公开的又一些实施例，提供的一种图像处理系统，包括：前述任意实施例的编码端；以及解码端；解码端用于根据接收的编码端发送的数据，恢复各个通道的特征矩阵。
在一些实施例中，解码端用于对接收的数据进行解码，获取压缩后的各个通道的特征矩阵的保留值和边缘值，以及待压缩行的数量和待压缩列的数量；对压缩后的各个通道的特征矩阵的保留值和边缘值进行解压缩，获取解压缩后的各个通道的特征矩阵的保留值和边缘值；针对各个通道的特征矩阵，根据待压缩行的数量和待压缩列的数量在解压缩后的该通道的特征矩阵的保留值周围填充对应的边缘值，得到该通道的特征矩阵。
在一些实施例中，解码端对接收的数据还包括各个通道的特征矩阵对应的量阶，各个通道的特征矩阵对应的量阶是根据该通道的特征矩阵的保留值、边缘值和预设比特位深值确定的；解码端用于针对各个通道的特征矩阵，将该通道的特征矩阵对应的量阶与压缩后的该通道的特征矩阵的保留值和边缘值分别相乘，得到解压缩后的该通道的特征矩阵的保留值和边缘值。
本公开针对神经网络中间层输出的图像的各个通道的特征矩阵，确定特征值相同的行和列，作为待压缩行和待压缩列，将待压缩行和待压缩列的特征值删除得到该通道的特征矩阵的保留值，将待压缩行和待压缩列的特征值进行压缩，得到该通道的特征矩阵的边缘值，然后将各个通道的特征矩阵的保留值，边缘值，以及待压缩行的数量和待压缩列的数量进行编码后发送至解码端。解码端根据接收到的信息可以恢复各个通道的特征矩阵。本公开的方法提高了神经网络中间层输出的特征编码的压缩率，在面向机器视觉的深度学习特征编码中，中间层输出的图像的各个通道的特征矩阵经过本公开的方法进行压缩后，可以作为图像的特征编码发送至解码端，进行后续的视频处理，提高了到解码端的传输效率，减少了传输时延和带宽的浪费。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开的一些实施例的图像处理方法的流程示意图。
图2示出本公开的另一些实施例的图像处理方法的流程示意图。
图3示出本公开的又一些实施例的图像处理方法的流程示意图。
图4示出本公开的一些实施例的编码端的结构示意图。
图5示出本公开的另一些实施例的编码端的结构示意图。
图6示出本公开的又一些实施例的编码端的结构示意图。
图7示出本公开的一些实施例的图像处理系统的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开中针对面向机器视觉的深度学习特征编码，由编码端提取视频图像的特征编码，发送至解码端进行解码和后续的处理。编码端和解码端可以分别进行部署，编码端部署部分神经网络结构，解码端部署另一部分神经网络结构。根据编码端的计算能力可以选取部分神经网络结构进行部署，例如，将神经网络某一中间层和该中间层之前各层部署在编码端，该中间层之后各层部署在解码端。编码端将该中间层输出的特征作为视频的特征编码发送至解码端进行后续的处理。针对编码端和解码端传输的数据量很大，会导致带宽的浪费，降低传输效率的问题，本公开提出一种图像处理方法，下面结合图1～2进行描述。
图1为本公开方法一些实施例的流程图。如图1所示，该实施例的方法包括：步骤S102～S108。
在步骤S102中，针对神经网络中间层输出的图像的各个通道的特征矩阵，确定特征矩阵边缘的特征值相同的行和列，作为待压缩行和待压缩列。
发明人发现：经过padding操作之后，图像的特征矩阵边缘行和列的特征值相似度很高甚至多行和多列具有相同的特征值，针对这一特点对图像的特征进行压缩。中间层为输入层和输出层之间的一层，在面向机器视觉的深度学习特征编码中，该中间层可以为编码端部署的神经网络的最后一层，可以根据编码端的实际处理能力或者其他方式进行选取，在此不做限制。
在一些实施例中，选取神经网络中间层输出的图像的一个通道的特征矩阵，作为待检测特征矩阵；分别由待检测特征矩阵的第一行向下，最后一行向上检测特征值相同的行，分别由待检测特征矩阵第一列向后，最后一列向前检测特征值相同的列，作为待检测特征矩阵的待压缩行和待压缩列；将各个通道的特征矩阵中与待检测特征矩阵的待压缩行和待压缩列位置相同的行和列，作为各个通道的特征矩阵的待压缩行和待压缩列。可以任意选取一个通道的特征矩阵，作为待检测特征矩阵。
下面结合图2，描述如何由待检测特征矩阵的第一行向下确定待压缩行的一些实施例。
在步骤S202中，针对待检测特征矩阵，初始化顶部待压缩行的数量sameTopCnt为0。
在步骤S204中，判断第一行的特征值是否相同，如果相同，则执行步骤S206，否则执行步骤S212。
在步骤S206中，将顶部待压缩行的数量sameTopCnt加1，并跳转到下一行作为当前行，继续执行步骤S208。
在步骤S208中，判断当前行的特征值是否与上一行的特征相同，如果相同，则执行步骤S210，否则执行步骤S212。
在步骤S210中，将顶部待压缩行的数量sameTopCnt加1，并跳转到下一行作为当前行，重复执行步骤S208。
在步骤S212中，确定顶部待压缩行和对应的数量sameTopCnt。
在一些实施例中，由待检测特征矩阵的最后一行向上检测特征值相同的行的方法包括：将原始待检测矩阵进行垂直镜像得到的矩阵重新作为待检测矩阵，执行步骤S202～S208，得到的顶部待压缩行和对应的数量作为底部待压缩行和对应的数量sameBotCnt。
在一些实施例中，由待检测特征矩阵第一列向后检测特征值相同的列的方法包括：将原始待检测特征矩阵进行转置得到的矩阵重新作为待检测矩阵，执行步骤S202～S208，得到的顶部待压缩行和对应的数量作为左侧待压缩列和对应的数量sameLeftCnt。
在一些实施例中，由待检测特征矩阵的最后一列向前检测特征值相同的列的方法包括：将原始待检测特征矩阵进行转置后再进行垂直镜像得到的矩阵重新作为待检测矩阵，执行步骤S202～S208，得到的顶部待压缩行和对应的数量作为右侧待压缩列和对应的数量sameRightCnt。
在步骤S104中，将待压缩行和待压缩列的特征值删除，保留剩余的特征值，作为该通道的特征矩阵的保留值。
例如，对特征矩阵F(H*W，即H行W列)执行边缘特征剪切操作，将顶部sameTopCnt行、底部sameBotCnt行、左侧sameLeftCnt列、右侧sameRightCnt列的特征删除，保留(H-sameTopCnt-sameBotCnt)*(W-sameLeftCnt-sameRightCnt)区域的特征值F′，作为该特征矩阵的保留值。
在步骤S106中，将待压缩行和待压缩列的特征值进行压缩，得到该通道的特征矩阵的边缘值。
在一些实施例中，将待压缩行和待压缩列的特征值表示为一个值，作为该通道的特征矩阵的边缘值。如果顶部待压缩行、底部待压缩行、左侧待压缩列、右侧待压缩列分别对应不同的特征值，则分别表示为一个值，作为该通道的特征矩阵的边缘值。
在步骤S108中，将各个通道的特征矩阵的保留值，边缘值，以及待压缩行的数量和待压缩列的数量进行编码后发送至解码端，以便解码端恢复各个通道的特征矩阵。
例如，通道i的特征矩阵为Fi，保留值为Fi′，边缘值为Qi(如果顶部待压缩行、底部待压缩行、左侧待压缩列、右侧待压缩列分别对应不同的特征值，则可以有多个)，待压缩行的数量包括顶部待压缩行的数量sameTopCnti、底部待压缩行的数量sameBotCnti，待压缩列的数量包括左侧待压缩列的数量sameLeftCnti、右侧待压缩列sameRightCnti。针对各个通道待压缩行和待压缩列的数量可以是相同的。
可以将各个通道的特征矩阵的保留值，边缘值，以及待压缩行的数量和待压缩列的数量进行熵编码后形成二进制流，发送至解码端。在一些实施例中，解码端对接收的数据进行解码获取各个通道的特征矩阵的保留值和边缘值，以及待压缩行的数量和待压缩列的数量，解码端针对各个通道的特征矩阵，根据待压缩行的数量和待压缩列的数量在该通道的特征矩阵的保留值周围填充对应的边缘值，从而恢复该通道的特征矩阵。待压缩行的数量包括顶部待压缩行的数量和底部待压缩行的数量，待压缩列的数量包括左侧待压缩列的数量、右侧待压缩列的数量。
例如，针对通道i，在保留值为Fi′的顶部添加值为Qi的sameTopCnt行、底部添加值为Qi的sameBotCnt行、左侧添加值为Qi的sameLeftCnt列、右侧添加值为Qi的sameRightCnt列的特征值，恢复成原始尺寸的特征矩阵Fi。
在一些实施例中，将各个通道的特征矩阵的保留值和边缘值按照预设方式进行压缩；将压缩后的各个通道的特征矩阵的保留值和边缘值，以及待压缩行的数量和待压缩列的数量进行编码。按照预设方式进行压缩，例如为根据预设比特位深值进行线性量化。压缩的方式不限于线性量化，可以根据实际需求进行选择，例如矢量量化等，不限于所举示例。
在一些实施例中，针对各个通道的特征矩阵，根据该通道的特征矩阵的保留值、边缘值和预设比特位深值，确定该通道的特征矩阵对应的量阶；根据该通道的特征矩阵对应的量阶将该通道的特征矩阵的保留值和边缘值进行量化，得到量化后的保留值和边缘值，作为压缩后的该通道的特征矩阵的保留值和边缘值。例如，确定该通道的特征矩阵的保留值和边缘值中的最大值A和最小值B，将量化级数确定为M＝2BD，即BD(预设比特位深)值作为指数，2为底数。量阶为Δ＝(A-B)/M。将该通道的特征矩阵的保留值和边缘值除以量阶，得到的值进行向下取整，则得到量化后的保留值和边缘值。
采用上述实施例的方法可以将数据进一步压缩，提高压缩率，进一步提高到解码端的传输效率，减少带宽的浪费。
进一步，在一些实施例中，如图3所示，解码端接收到数据后的处理方法包括：步骤S302～S306。
在步骤S302中，解码端对接收的数据进行解码，获取压缩后的各个通道的特征矩阵的保留值和边缘值，以及待压缩行的数量和待压缩列的数量。
在步骤S304中，解码端对压缩后的各个通道的特征矩阵的保留值和边缘值进行解压缩，获取各个通道的特征矩阵的保留值和边缘值。
在采用上述实施例的方法进行压缩的情况下，解码端需要进行解压缩，例如采用反量化的方法进行解压缩。解码端对接收的数据还包括各个通道的特征矩阵对应的量化参数(例如量阶)。例如，解码端针对各个通道的特征矩阵，将该通道的特征矩阵对应的量阶与压缩后的该通道的特征矩阵的保留值和边缘值分别相乘，得到解压缩后的该通道的特征矩阵的保留值和边缘值。
在步骤S306中，解码端针对各个通道的特征矩阵，根据待压缩行的数量和待压缩列的数量在解压缩后的该通道的特征矩阵的保留值周围填充对应的边缘值，得到该通道的特征矩阵。
在一些实施例中，解码端针对各个通道的特征矩阵，根据待压缩行的数量和待压缩列的数量在压缩后的该通道的特征矩阵的保留值周围填充对应的压缩后的边缘值，得到压缩后的特征矩阵，再对压缩后的特征矩阵进行解压缩，得到该通道的特征矩阵。
上述实施例的方法中由于经过量化的方式进行压缩，有利于提高解码端的解码效率和对于解压缩的数据的后续处理效率。
下面描述一个应用例。
本应用例以Cascade RCNN ResNet101为例，尺寸为5472x3078x3的RGB图像作为输入，编码过程如下：
1.提取第一次卷积标准化之后的64x384x672中间层特征，对第一通道的特征矩阵F1执行待压缩行和待压缩列的检测操作，获取顶部待压缩行、底部待压缩行、左侧待压缩列和右侧待压缩列的数量(sameTopCnt/sameBotCnt/sameLeftCnt/sameRightCnt)例如分别为(0/7/0/4)
2.对各个通道的特征矩阵Fi执行边缘特征剪切操作，将底部7行、右侧4列的特征删除，保留64x(384-7)x(672-4)区域的特征值Fi′。
3.将各个通道的特征矩阵的保留值Fi′、边缘值Qi(i＝0,1，…,63)、进行BD＝8的线性量化，将线性量化后的保留值F″i、线性量化后的边缘值Q′i，以及待压缩行的数量和待压缩列的数量进行熵编码，得到二进制码流S。
解码过程如下：
1.对二进制流S进行解码，得到量化后的保留值F″i、量化后的边缘值Q′i，待压缩行的数量和待压缩列的数量(0/7/0/4)，以及量化参数。
2.对量化后的保留值F″i进行边缘添加操作，在底部添加7行、右侧添加4列值为量化后的边缘值Q′i的特征值，恢复成原始尺寸的量化特征矩阵
3.对特征矩阵进行线性反量化，得到恢复后各通道的特征矩阵。
也可以先将量化后的保留值F″i、量化后的边缘值Q′i进行反量化，再执行边缘添加操作。
本公开的图像处理方法可以由编码端实现，下面结合图4描述一些实施例中编码端的结构。
图4为本公开编码端的一些实施例的结构图。如图4所示，该实施例的编码端40包括：待压缩信息确定模块410，保留值确定模块420，边缘值压缩模块430，编码模块440。
待压缩信息确定模块410用于针对神经网络中间层输出的图像的各个通道的特征矩阵，确定特征矩阵边缘的特征值相同的行和列，作为待压缩行和待压缩列，其中，中间层为输入层和输出层之间的一层。
在一些实施例中，待压缩信息确定模块410用于选取神经网络中间层输出的图像的一个通道的特征矩阵，作为待检测特征矩阵；分别由待检测特征矩阵的第一行向下，最后一行向上检测特征值相同的行，分别由待检测特征矩阵第一列向后，最后一列向前检测特征值相同的列，作为待检测特征矩阵的待压缩行和待压缩列；将各个通道的特征矩阵中与待检测特征矩阵的待压缩行和待压缩列位置相同的行和列，作为各个通道的特征矩阵的待压缩行和待压缩列。
在一些实施例中，待压缩信息确定模块410用于将各个通道的特征矩阵的保留值和边缘值按照预设方式进行压缩；将压缩后的各个通道的特征矩阵的保留值和边缘值，以及待压缩行的数量和待压缩列的数量进行编码。
在一些实施例中，待压缩信息确定模块410用于针对各个通道的特征矩阵，根据该通道的特征矩阵的保留值、边缘值和预设比特位深值，确定该通道的特征矩阵对应的量阶；根据该通道的特征矩阵对应的量阶将该通道的特征矩阵的保留值和边缘值进行量化，得到量化后的保留值和边缘值，作为压缩后的该通道的特征矩阵的保留值和边缘值。
在一些实施例中，待压缩信息确定模块410用于执行以下方法：(1)针对待检测特征矩阵，初始化顶部待压缩行的数量为0；(2)判断第一行的特征值是否相同，如果相同，则将顶部待压缩行的数量加一，并跳转到下一行作为当前行；(3)判断当前行的特征值是否与上一行的特征相同，如果相同，则将顶部待压缩行的数量加一，并跳转到下一行作为当前行；(4)重复执行步骤(3)，直至当前行的特征值与上一行的特征不相同，得到顶部待压缩行和对应的数量；将待检测矩阵进行垂直镜像得到的矩阵重新作为待检测矩阵，执行步骤(1)-(4)，得到的顶部待压缩行和对应的数量作为底部待压缩行和对应的数量。
在一些实施例中，待压缩信息确定模块410用于执行以下方法：将待检测特征矩阵进行转置得到的矩阵重新作为待检测矩阵，执行步骤(1)-(4)，得到的顶部待压缩行和对应的数量作为左侧待压缩列和对应的数量；将待检测特征矩阵进行转置后再进行垂直镜像得到的矩阵重新作为待检测矩阵，执行步骤(1)-(4)，得到的顶部待压缩行和对应的数量作为右侧待压缩列和对应的数量。
保留值确定模块420用于将待压缩行和待压缩列的特征值删除，保留剩余的特征值，作为该通道的特征矩阵的保留值。
边缘值压缩模块430用于将待压缩行和待压缩列的特征值进行压缩，得到该通道的特征矩阵的边缘值。
在一些实施例中，边缘值压缩模块430用于将待压缩行和待压缩列的特征值表示为一个值，作为该通道的特征矩阵的边缘值。
编码模块440，用于将各个通道的特征矩阵的保留值，边缘值，以及待压缩行的数量和待压缩列的数量进行编码后发送至解码端，以便解码端恢复各个通道的特征矩阵。
在一些实施例中，编码方式为熵编码。
本公开的实施例中的编码端和解码端可各由各种计算设备或计算机系统来实现，下面以编码端为例结合图5以及图6进行描述。解码端的结构可以参考编码端的结构，不再赘述。
图5为本公开编码端的一些实施例的结构图。如图5所示，该实施例的编码端50包括：存储器510以及耦接至该存储器510的处理器520，处理器520被配置为基于存储在存储器510中的指令，执行本公开中任意一些实施例中的图像处理方法。
其中，存储器510例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。
图6为本公开编码端的另一些实施例的结构图。如图6所示，该实施例的编码端60包括：存储器610以及处理器620，分别与存储器410以及处理器420类似。还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630，640，650以及存储器610和处理器620之间例如可以通过总线660连接。其中，输入输出接口630为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口，例如可以连接到数据库服务器或者云端存储服务器等。存储接口650为SD卡、U盘等外置存储设备提供连接接口。
本公开还提供一种图像处理系统，下面结合图7进行描述。
图7为本公开图像处理系统的一些实施例的结构图。如图7所示，该实施例的系统7包括：前述任意实施例的编码端40/50/60，以及解码端72。
解码端72用于对接收的数据进行解码，获取压缩后的各个通道的特征矩阵的保留值和边缘值，以及待压缩行的数量和待压缩列的数量；对压缩后的各个通道的特征矩阵的保留值和边缘值进行解压缩，获取解压缩后的各个通道的特征矩阵的保留值和边缘值；针对各个通道的特征矩阵，根据待压缩行的数量和待压缩列的数量在解压缩后的该通道的特征矩阵的保留值周围填充对应的边缘值，得到该通道的特征矩阵。
在一些实施例中，解码端72对接收的数据还包括各个通道的特征矩阵对应的量阶，各个通道的特征矩阵对应的量阶是根据该通道的特征矩阵的保留值、边缘值和预设比特位深值确定的。解码端72用于针对各个通道的特征矩阵，将该通道的特征矩阵对应的量阶与压缩后的该通道的特征矩阵的保留值和边缘值分别相乘，得到解压缩后的该通道的特征矩阵的保留值和边缘值。
在一些实施例中，编码端位于边缘计算节点，解码端位于云端。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (16)

1.一种图像处理方法，包括：
针对神经网络中间层输出的图像的各个通道的特征矩阵，确定所述特征矩阵边缘的特征值相同的行和列，作为待压缩行和待压缩列，其中，所述中间层为输入层和输出层之间的一层；
将所述待压缩行和待压缩列的特征值删除，保留剩余的特征值，作为该通道的特征矩阵的保留值；
将所述待压缩行和待压缩列的特征值进行压缩，得到该通道的特征矩阵的边缘值；
将各个通道的特征矩阵的保留值，边缘值，以及所述待压缩行的数量和所述待压缩列的数量进行编码后发送至解码端，以便所述解码端恢复各个通道的特征矩阵。
2.根据权利要求1所述的图像处理方法，其中，所述针对神经网络中间层输出的图像的各个通道的特征矩阵，确定所述特征矩阵边缘的特征值相同的行和列包括：
选取所述神经网络中间层输出的图像的一个通道的特征矩阵，作为待检测特征矩阵；
分别由所述待检测特征矩阵的第一行向下，最后一行向上检测特征值相同的行，分别由所述待检测特征矩阵第一列向后，最后一列向前检测特征值相同的列，作为所述待检测特征矩阵的待压缩行和待压缩列；
将各个通道的特征矩阵中与所述待检测特征矩阵的待压缩行和待压缩列位置相同的行和列，作为各个通道的特征矩阵的待压缩行和待压缩列。
3.根据权利要求1所述的图像处理方法，其中，所述将各个通道的特征矩阵的保留值，边缘值，以及所述待压缩行的数量和所述待压缩列的数量进行编码包括：
将各个通道的特征矩阵的保留值和边缘值按照预设方式进行压缩；
将压缩后的各个通道的特征矩阵的保留值和边缘值，以及所述待压缩行的数量和所述待压缩列的数量进行编码。
4.根据权利要求3所述的图像处理方法，其中，所述将各个通道的特征矩阵的保留值和边缘值按照预设方式进行压缩包括：
针对各个通道的特征矩阵，根据该通道的特征矩阵的保留值、边缘值和预设比特位深值，确定该通道的特征矩阵对应的量阶；
根据该通道的特征矩阵对应的量阶将该通道的特征矩阵的保留值和边缘值进行量化，得到量化后的保留值和边缘值，作为压缩后的该通道的特征矩阵的保留值和边缘值。
5.根据权利要求2所述的图像处理方法，其中，所述分别由所述待检测特征矩阵的第一行向下，最后一行向上检测特征值相同的行包括：
(1)针对所述待检测特征矩阵，初始化顶部待压缩行的数量为0；
(2)判断第一行的特征值是否相同，如果相同，则将顶部待压缩行的数量加一，并跳转到下一行作为当前行；
(3)判断当前行的特征值是否与上一行的特征相同，如果相同，则将顶部待压缩行的数量加一，并跳转到下一行作为当前行；
(4)重复执行步骤(3)，直至当前行的特征值与上一行的特征不相同，得到顶部待压缩行和对应的数量；
将所述待检测特征矩阵进行垂直镜像得到的矩阵重新作为待检测矩阵，执行步骤(1)-(4)，得到的顶部待压缩行和对应的数量作为底部待压缩行和对应的数量。
6.根据权利要求5所述的图像处理方法，其中，所述分别由所述待检测特征矩阵第一列向后，最后一列向前检测特征值相同的列包括：
将所述待检测特征矩阵进行转置得到的矩阵重新作为待检测矩阵，执行步骤(1)-(4)，得到的顶部待压缩行和对应的数量作为左侧待压缩列和对应的数量；
将所述待检测特征矩阵进行转置后再进行垂直镜像得到的矩阵重新作为待检测矩阵，执行步骤(1)-(4)，得到的顶部待压缩行和对应的数量作为右侧待压缩列和对应的数量。
7.根据权利要求1所述的图像处理方法，其中，所述将所述待压缩行和待压缩列的特征值进行压缩，得到该通道的特征矩阵的边缘值包括：
将所述待压缩行和待压缩列的特征值表示为一个值，作为该通道的特征矩阵的边缘值。
8.根据权利要求1-7任一项所述的图像处理方法，所述编码方式为熵编码。
9.根据权利要求3所述的图像处理方法，还包括：
所述解码端对接收的数据进行解码，获取压缩后的各个通道的特征矩阵的保留值和边缘值，以及所述待压缩行的数量和所述待压缩列的数量；
所述解码端对压缩后的各个通道的特征矩阵的保留值和边缘值进行解压缩，获取解压缩后的各个通道的特征矩阵的保留值和边缘值；
所述解码端针对各个通道的特征矩阵，根据所述待压缩行的数量和所述待压缩列的数量在解压缩后的该通道的特征矩阵的保留值周围填充对应的边缘值，得到该通道的特征矩阵。
10.根据权利要求9所述的图像处理方法，其中，所述解码端对接收的数据还包括各个通道的特征矩阵对应的量阶，各个通道的特征矩阵对应的量阶是根据该通道的特征矩阵的保留值、边缘值和预设比特位深值确定的；
所述解码端对压缩后的各个通道的特征矩阵的保留值和边缘值进行解压缩包括：
所述解码端针对各个通道的特征矩阵，将该通道的特征矩阵对应的量阶与压缩后的该通道的特征矩阵的保留值和边缘值分别相乘，得到解压缩后的该通道的特征矩阵的保留值和边缘值。
11.一种编码端，包括：
待压缩信息确定模块，用于针对神经网络中间层输出的图像的各个通道的特征矩阵，确定所述特征矩阵边缘的特征值相同的行和列，作为待压缩行和待压缩列，其中，所述中间层为输入层和输出层之间的一层；
保留值确定模块，用于将所述待压缩行和待压缩列的特征值删除，保留剩余的特征值，作为该通道的特征矩阵的保留值；
边缘值压缩模块，用于将所述待压缩行和待压缩列的特征值进行压缩，得到该通道的特征矩阵的边缘值；
编码模块，用于将各个通道的特征矩阵的保留值，边缘值，以及所述待压缩行的数量和所述待压缩列的数量进行编码后发送至解码端，以便所述解码端恢复各个通道的特征矩阵。
12.一种编码端，包括：
处理器；以及
耦接至所述处理器的存储器，用于存储指令，所述指令被所述处理器执行时，使所述处理器执行如权利要求1-8任一项所述的图像处理方法。
13.一种非瞬时性计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现权利要求1-10任一项所述方法的步骤。
14.一种图像处理系统，包括：权利要求11或12所述的编码端；以及解码端；
所述解码端用于根据接收的所述编码端发送的数据，恢复各个通道的特征矩阵。
15.根据权利要求14所述的图像处理系统，其中，
所述解码端用于对接收的数据进行解码，获取压缩后的各个通道的特征矩阵的保留值和边缘值，以及所述待压缩行的数量和所述待压缩列的数量；对压缩后的各个通道的特征矩阵的保留值和边缘值进行解压缩，获取解压缩后的各个通道的特征矩阵的保留值和边缘值；针对各个通道的特征矩阵，根据所述待压缩行的数量和所述待压缩列的数量在解压缩后的该通道的特征矩阵的保留值周围填充对应的边缘值，得到该通道的特征矩阵。
16.根据权利要求15所述的图像处理系统，其中，所述解码端对接收的数据还包括各个通道的特征矩阵对应的量阶，各个通道的特征矩阵对应的量阶是根据该通道的特征矩阵的保留值、边缘值和预设比特位深值确定的；
所述解码端用于针对各个通道的特征矩阵，将该通道的特征矩阵对应的量阶与压缩后的该通道的特征矩阵的保留值和边缘值分别相乘，得到解压缩后的该通道的特征矩阵的保留值和边缘值。
CN202110339327.1A 2021-03-30 2021-03-30 图像处理方法、系统、编码端和计算机可读存储介质 Active CN115150625B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202110339327.1A CN115150625B (zh) 2021-03-30 2021-03-30 图像处理方法、系统、编码端和计算机可读存储介质
PCT/CN2021/134996 WO2022205987A1 (zh) 2021-03-30 2021-12-02 图像处理方法、系统、编码端和计算机可读存储介质
US18/553,001 US20240195980A1 (en) 2021-03-30 2021-12-02 Image processing method and system, encoder, and computer readable storage medium
JP2023560610A JP2024512731A (ja) 2021-03-30 2021-12-02 画像処理方法、システム、エンコーダ、コンピュータ可読記憶媒体
EP21934623.6A EP4303763A4 (en) 2021-03-30 2021-12-02 IMAGE PROCESSING METHOD AND SYSTEM, ENCODER AND COMPUTER READABLE STORAGE MEDIUM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110339327.1A CN115150625B (zh) 2021-03-30 2021-03-30 图像处理方法、系统、编码端和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN115150625A CN115150625A (zh) 2022-10-04
CN115150625B true CN115150625B (zh) 2024-08-06

Family

ID=83403838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110339327.1A Active CN115150625B (zh) 2021-03-30 2021-03-30 图像处理方法、系统、编码端和计算机可读存储介质

Country Status (5)

Country Link
US (1) US20240195980A1 (zh)
EP (1) EP4303763A4 (zh)
JP (1) JP2024512731A (zh)
CN (1) CN115150625B (zh)
WO (1) WO2022205987A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301668A (zh) * 2017-06-14 2017-10-27 成都四方伟业软件股份有限公司 一种基于稀疏矩阵、卷积神经网络的图片压缩方法
CN109314781A (zh) * 2016-06-07 2019-02-05 联发科技股份有限公司 用于虚拟现实视频处理的边界填充的方法与装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1909535A (zh) * 2005-08-02 2007-02-07 松下电器产业株式会社 信道自适应的补零分块传输方法及系统
DE102018203709A1 (de) * 2018-03-12 2019-09-12 Robert Bosch Gmbh Verfahren und Vorrichtung zum speichereffizienten Betreiben eines neuronalen Netzes
WO2020190772A1 (en) * 2019-03-15 2020-09-24 Futurewei Technologies, Inc. Neural network model compression and optimization

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109314781A (zh) * 2016-06-07 2019-02-05 联发科技股份有限公司 用于虚拟现实视频处理的边界填充的方法与装置
CN107301668A (zh) * 2017-06-14 2017-10-27 成都四方伟业软件股份有限公司 一种基于稀疏矩阵、卷积神经网络的图片压缩方法

Also Published As

Publication number Publication date
US20240195980A1 (en) 2024-06-13
CN115150625A (zh) 2022-10-04
WO2022205987A1 (zh) 2022-10-06
EP4303763A1 (en) 2024-01-10
EP4303763A4 (en) 2024-08-21
JP2024512731A (ja) 2024-03-19

Similar Documents

Publication Publication Date Title
WO2018103568A1 (zh) 云桌面内容编码与解码方法及装置、系统
US11983906B2 (en) Systems and methods for image compression at multiple, different bitrates
CN103188494A (zh) 跳过离散余弦变换对深度图像编码/解码的设备和方法
CN103546161A (zh) 基于二进制位处理的无损压缩方法
CN107103632B (zh) 图像压缩方法及装置
WO2024061316A1 (zh) 数据压缩的方法、数据解压缩的方法和相关设备
CN115150625B (zh) 图像处理方法、系统、编码端和计算机可读存储介质
CN112714313A (zh) 图像处理方法、装置、设备和存储介质
CN117201797A (zh) 遥感影像数据的处理方法、装置、设备与存储介质
CN105163124A (zh) 一种图像编码方法、图像解码方法及装置
US9426481B2 (en) Method and apparatus for encoding image, and method and apparatus for decoding image
CN113949867B (zh) 一种图像处理的方法及装置
US20220094951A1 (en) Palette mode video encoding utilizing hierarchical palette table generation
CN115250351A (zh) 用于图像数据的压缩方法、解压方法及相关产品
JP2005124001A (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
Pan et al. Complexity-scalable transform coding using variable complexity algorithms
CN111726639B (zh) 纹理砖压缩及解压缩方法以及使用该方法的装置
CN113949868B (zh) 一种熵编码方法及装置
KR102016125B1 (ko) 데이터 압축 및 압축해제방법
JPWO2022205987A5 (zh)
CN110858900B (zh) 复用精简反量化乘法因子和位移表的数据压缩方法和装置
CN116939227A (zh) 一种特征压缩方法、装置及电子设备
CN117333559A (zh) 图像压缩方法、装置、电子设备及存储介质
JP3123797B2 (ja) 予測符号化方式の符号化装置および復号化装置
CN115150622A (zh) 图像处理方法、装置、系统和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant