CN113269140B - 图像处理方法与装置、存储介质、电子设备 - Google Patents

图像处理方法与装置、存储介质、电子设备 Download PDF

Info

Publication number
CN113269140B
CN113269140B CN202110678724.1A CN202110678724A CN113269140B CN 113269140 B CN113269140 B CN 113269140B CN 202110678724 A CN202110678724 A CN 202110678724A CN 113269140 B CN113269140 B CN 113269140B
Authority
CN
China
Prior art keywords
image
frame image
current frame
information
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110678724.1A
Other languages
English (en)
Other versions
CN113269140A (zh
Inventor
吴臻志
李健
杨哲宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Lynxi Technology Co Ltd
Original Assignee
Beijing Lynxi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Lynxi Technology Co Ltd filed Critical Beijing Lynxi Technology Co Ltd
Priority to CN202110678724.1A priority Critical patent/CN113269140B/zh
Publication of CN113269140A publication Critical patent/CN113269140A/zh
Priority to PCT/CN2022/098196 priority patent/WO2022262659A1/zh
Priority to US18/265,710 priority patent/US20240048716A1/en
Application granted granted Critical
Publication of CN113269140B publication Critical patent/CN113269140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种图像处理方法与装置、存储介质、电子设备，其中，图像处理方法包括以下步骤：获取当前帧图像，对当前帧图像进行语义特征提取处理，获得当前帧图像的语义特征集合；确定与当前帧图像相匹配的历史帧图像，并获取历史帧图像的帧号信息；根据当前帧图像的语义特征集合与历史帧图像的帧号信息生成压缩信息包，进行存储和/或传输。由此，该图像处理方法能够在保证图像质量的前提下，提高图像压缩比，以使图像信息便于传输和存储。

Description

图像处理方法与装置、存储介质、电子设备
技术领域
本公开涉及数据处理技术领域，尤其涉及一种图像处理方法、一种计算机可读存储介质、一种电子设备和一种图像处理装置。
背景技术
当前计算机视觉中图像分类图像检索等技术发展迅猛，但真实图像量级较大，图像的存储空间需求很大。并且，庞大数据量的数字图像通信，给现有的有限带宽带来严峻的考验，因此，图像压缩技术受到了越来越多的关注。相关技术中，图像压缩的技术方案一般都注重如何保留图像细节，而无法实现较大的压缩比，从而往往导致压缩后的图像质量不佳，影响用户体验。
发明内容
本公开旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本公开的一个目的在于提出一种图像处理方法，能够在保证图像质量的前提下，提高图像压缩比，以便于传输和存储。
本公开的第二个目的在于提出另一种图像处理方法。
本公开的第三个目的在于提出一种计算机可读存储介质。
本公开的第四个目的在于提出一种电子设备。
本公开的第五个目的在于提出一种图像处理装置。
为达上述目的，本公开第一方面实施例提出了一种图像处理方法，该方法包括以下步骤：获取当前帧图像，对所述当前帧图像进行语义特征提取处理，获得所述当前帧图像的语义特征集合；确定与所述当前帧图像相匹配的历史帧图像，并获取所述历史帧图像的帧号信息；根据所述当前帧图像的语义特征集合与所述历史帧图像的帧号信息生成压缩信息包，进行存储和/或传输。
本公开实施例的图像处理方法首先对当前帧图像进行获取，再对当前帧图像进行语义特征提取处理，以获得当前帧图像的语义特征集合，再确定当前帧图像相匹配的历史帧图像，并获取该历史帧图像的帧号信息，然后根据当前帧图像的语义特征集合与历史帧图像的帧号信息生成压缩信息包，以对该压缩信息包进行存储和/或传输。由此，该图像处理方法能够在保证图像质量的前提下，提高图像压缩比，以使图像信息便于传输和存储。
另外，根据本公开上述实施例的图像处理方法还可以具有如下附加技术特征：
根据本公开的一个实施例，在对所述压缩信息包进行存储之后还包括：从所述压缩信息包中获取所述当前帧图像的语义特征集合和所述历史帧图像的帧号信息；根据所述历史帧图像的帧号信息从历史帧库中获取所述历史帧图像，并根据所述历史帧图像和所述当前帧图像的语义特征集合进行图像重建，获得与所述当前帧图像相对应的解压图像。
根据本公开的一个实施例，每隔预设时间选取一帧图像存储到所述历史帧库中，以对所述历史帧库进行更新。
根据本公开的一个实施例，将画面变化满足预设要求的一帧图像作为所述历史帧图像。
根据本公开的一个实施例，在所述当前帧图像为人物图像时，对所述当前帧图像进行语义特征提取处理，包括：对所述当前帧图像中的人物进行检测，获取每个人物的ID信息；对所述当前帧图像中的人物相关属性进行识别，获得每个人物的特征信息；对所述每个人物的特征信息进行编码，并根据编码结果和所述每个人物的ID信息生成所述当前帧图像的语义特征集合。
根据本公开的一个实施例，所述每个人物的特征信息包括每个人物的骨架及外框信息、姿态信息、头部角度信息、发型信息和表情信息中的至少一种。
根据本公开的一个实施例，根据所述历史帧图像和所述当前帧图像的语义特征集合进行图像重建，包括：根据所述每个人物的ID信息确定所述每个人物的特征信息，并根据所述每个人物的特征信息，采用人体图像生成网络生成所述每个人物的图像；根据所述每个人物的外框信息、所述每个人物的图像和所述历史帧图像，采用整图生成网络生成所述解压图像。
为达上述目的，本公开第二方面实施例提出了另一种图像处理方法，该方法包括以下步骤：接收压缩信息包，其中，所述压缩信息包根据当前帧图像的语义特征集合与历史帧图像的帧号信息生成，所述当前帧图像的语义特征集合通过对所述当前帧图像进行语义特征提取处理获得，所述帧号信息为与所述当前帧图像相匹配的历史帧图像的帧号信息；从所述压缩信息包中，获取所述当前帧图像的语义特征集合和所述历史帧图像的帧号信息；根据所述历史帧图像的帧号信息从历史帧库中获取所述历史帧图像，并根据所述历史帧图像和所述当前帧图像的语义特征集合进行图像重建，获得与所述当前帧图像相对应的解压图像。
本公开实施例的图像处理方法首先接收压缩信息包，该压缩信息包是根据当前帧图像的语义特征集合与历史帧图像的帧号信息生成的，当前帧图像的予以特征集合通过对当前帧图像进行语义特征提取处理获取，帧号信息是与当前帧图像相匹配的历史帧图像的帧号信息，在压缩信息包中，获取当前帧图像的语义特征集合和历史帧图像的帧号信息，再根据历史帧图像的帧号信息从历史帧库中获取历史帧图像，根据历史帧图像和当前帧图像的语义特征集合进行图像重建，进而获得与当前帧图像相对应的解压图像。由此，该图像处理方法能够在保证图像质量的前提下，对图像进行解压处理，以使解压后的图像质量不会下降。
为达上述目的，本公开第三方面实施例提出了一种计算机可读存储介质，其上存储有图像处理程序，该图像处理程序被处理器执行时实现如上述实施例所述的图像处理方法。
本公开实施例的计算机可读存储介质通过存储在其上的图像处理程序，能够在保证图像质量的前提下，提高图像压缩比，以使图像信息便于传输和存储。
为达上述目的，本公开第四方面实施例提出了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的图像处理程序，所述处理器执行所述图像处理程序时，实现如上述实施例所述的图像处理方法。
本公开实施例的电子设备包括存储器和处理器，处理器执行存储在存储器上的图像处理程序，能够在保证图像质量的前提下，提高图像压缩比，以使图像信息便于传输和存储。
为达上述目的，本公开第五方面实施例提出了一种图像处理装置，该处理装置包括获取模块，用于获取当前帧图像；语义提取模块，用于采用语义抽取器对所述当前帧图像进行处理，获得所述当前帧图像的语义特征集合；确定模块，用于确定与所述当前帧图像相匹配的历史帧图像，并获取所述历史帧图像的帧号信息；压缩模块，用于根据所述当前帧图像的语义特征集合与所述历史帧图像的帧号信息生成压缩信息包，进行存储和/或传输。
本公开实施例的图像处理装置包括获取模块、语义提取模块、确定模块和压缩模块，其中，先利用获取模块获取当前帧图像，然后利用语义提取模块对获取模块所获取到的当前帧图像进行语义特征提取处理，以获得该当前帧图像的语义特征集合，再利用确定模块确定与当前帧图像相匹配的历史帧图像，并获取历史帧图像的帧号信息，最后利用压缩模块根据当前帧图像的语义特征集合与历史帧图像的帧号信息生成压缩信息包，并进行存储和/或传输。由此，该图像处理装置能够在保证图像质量的前提下，提高图像压缩比，以使图像信息便于传输和存储。
本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
图1是根据本公开一个实施例的图像处理方法的流程示意图；
图2是根据本公开另一个实施例的图像处理方法的流程示意图；
图3是根据本公开一个具体实施例的图像处理方法的流程示意图；
图4是根据本公开一个具体实施例的语义特征集合的示意图；
图5是根据本公开一个具体实施例的压缩信息包的生成示意图；
图6是根据本公开一个实施例的图像重建的流程示意图；
图7是根据本公开一个具体实施例的图像重建的流程示意图；
图8是根据本公开实施例的另一种图像处理方法的流程图；
图9是根据本公开实施例的电子设备的结构框图；
图10是根据本公开实施例的图像处理装置的结构框图。
具体实施方式
下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
下面参考附图描述本公开实施例的图像处理方法与装置、计算机可读存储介质、电子设备。
图1是根据本公开一个实施例的图像处理方法的流程示意图。
如图1所示，本公开实施例的图像处理方法包括以下步骤：
S10，获取当前帧图像，对当前帧图像进行语义特征提取处理，获得当前帧图像的语义特征集合。
需要说明的是，图像压缩的目的就是把原来较大的图像用尽量少的字节表示，以进行存储或传输，并且可以根据压缩得到的压缩信息包进行复原，得到具有较好质量的复原图像。利用图像压缩，可以减轻图像存储或传输的负担，使图像在网络上实现快速传输和实时处理。
例如，对当前帧的图像进行获取，可以采用语义抽取器对该当前帧图像进行处理。可选地，语义抽取器对当前帧图像的处理方法可以是将图像转换为文本描述，例如采用Image Captioning(图像描述形成)神经网络实现；还可以是通过将检测到的物体对应为相应的标签及特征值，例如颜色、纹理等。在对当前帧图像进行处理之后，则可以获得当前帧图像的语义特征集合。
S20，确定与当前帧图像相匹配的历史帧图像，并获取历史帧图像的帧号信息。
例如，本实施例中还设置有一个历史帧库，该历史帧库包括有历史帧图像，用于与当前帧图像进行匹配，可以理解的，该历史帧库中所存储的历史帧图是由不同的画面图像组成。例如，可以是一个视频中不同帧的画面图像。
在本公开的一些实施例中，可以每隔预设时间就选取一帧图像存储到历史帧库中，以对历史帧库进行更新。例如，可以每隔一秒钟就选择一帧图像存在到历史帧库中，当然，还可以进行分段处理，例如，在第一预设的时间段内则每隔第一预设时间选取一帧图像存储到历史帧库中，在第二预设的时间段内则每隔第二预设时间选取一帧图像存储到历史帧库中。
在本公开的一些实施例中，将画面变化满足预设要求的一帧图像作为历史帧图像。将画面变化满足预设要求的图像作为历史帧图像，能够保证历史帧库中所存储的图像的全面性，进而保证当前帧图像能够从历史帧库中匹配到相应的历史帧图像，进一步保证图像压缩的质量。其中，当画面发生变化的像素超过预设值时，则可以判定该画面变化满足预设要求，该预设值可以是根据经验获取的，也可以根据不同准确度要求进行适应性的修改。
在该实施例中，历史帧库中的每一帧历史帧图像都设置有相应的帧号信息，所以可以通过调用相应的帧号信息以提取到对应的历史帧图像，防止出错。可以理解的是，本实施例中还包括有多个历史帧库，在匹配相应的历史帧图像之前，可以先根据当前帧图像确定对应的历史帧库，然后在确定之后的历史帧库中查找匹配即可，而无需每个历史帧库都进行匹配，节省匹配时间。
S30，根据当前帧图像的语义特征集合与历史帧图像的帧号信息生成压缩信息包，进行存储和/或传输。
例如，在获取到当前帧图像的语义特征集合和当前帧图像相匹配的历史帧图像的帧号信息之后，可以根据上述所获取到的信息生成压缩信息包，例如，将当前帧图像的语义特征集合和当前帧图像相匹配的历史帧图像的帧号信息进行编码处理以得到压缩信息包，再将该压缩信息包进行存储和/或传输。
在本公开的一些实施例中，如图2所示，在对压缩信息包进行存储之后，图像处理方法还包括：
S201，从压缩信息包中获取当前帧图像的语义特征集合和历史帧图像的帧号信息。
例如，在压缩信息包完成存储之后，解压方在解压时，可以针对压缩信息包的信息恢复出与原图语义类似的图像作为当前帧图像。首先可以对压缩信息包进行解码处理，以获取当前帧图像的语义特征集合和历史帧图像的帧号信息。
S202，根据历史帧图像的帧号信息从历史帧库中获取历史帧图像，并根据历史帧图像和当前帧图像的语义特征集合进行图像重建，获得与当前帧图像相对应的解压图像。
具体地，在根据压缩信息包获取当前帧图像时，可以先根据历史帧图像的帧号信息从历史帧库中获取历史帧图像，并根据历史帧图像和当前帧图像的语义特征集合进行图像重建。更具体地，可以通过相似帧帧号检索历史帧库找到历史帧，然后再结合当前帧预图像的语义特征集合重建得到当前帧图像，从而根据压缩信息包以及历史帧，重建得到对应于当前帧图像的解压图像。
在本公开的一个可选实施例中，如图3所示，在前帧图像为人物图像时，对当前帧图像进行语义特征处理，可以包括：
S301，对当前帧图像中的人物进行检测，获取每个人物的ID(Identity Document，身份标识号)信息。
例如，本实施例可以是在视频会议场景中，如果需要压缩或者传感的图像中包含有N个会议参与者面对镜头或者斜对镜头，此时，可以先对当前帧图像中的人物进行检测，以获取每个人的ID信息。可以理解的是，对人物进行ID识别可以采用人脸识别或者全身识别的方式，当然，还可以通过其他识别方式，例如虹膜识别等，该实施例不对ID信息识别方式进行限定。
S302，对当前帧图像中的人物相关属性进行识别，获得每个人物的特征信息。
例如，可以进一步地对当前帧图像中的人物相关属性进行识别，通过识别人物相关属性可以获得每个人物的特征信息。其中，人物相关属性可以理解为与人物任意特征相关的属性，例如，人物头部、人物服饰、人物表情、人物配饰等。
在一些实施例中，人物的特征信息可以包括人物的骨架及外框信息、姿态信息、头部角度信息、发型信息和表情信息中的至少一种。在获取到人物特征信息之后，则可以对所获取到的信息进行编码以形成文本或者二进制序列，举例而言，如果当前人物的姿态有四种，那么可以采用二进制序列(00,01,10,11)中的其中之一进行表示，其仅占用2比特的空间大小。
S303，对每个人物的特征信息进行编码，并根据编码结果和每个人物的ID信息生成当前帧图像的语义特征集合。
具体地，在获取到每个人物的特征信息之后，则可以对每个人物的特征信息进行编码，例如，人物的头部角度信息可以表示为整数，外框信息及骨架信息可表示为整数对(x，y)进行编码，其他信息可以相对应其各自的编码信息，在此不再赘述。在对特征信息编码完成之后，则可以根据个特征信息的编码结果和每个人物的ID信息生成当前帧图像的语义特征集合。如图4所示，可以将人物ID、骨架及外框编码、姿态编码、头角度编码、发型编码和表情编码进行组合以得到语义特征集合。需要说明的是，如图5所示，在确定了语义特征集合之后，则可以通过该语义特征集合和最相近的历史帧库中的帧号生成压缩信息包，该信息包中包括当前帧图像的全帧信息(如含当前帧与历史帧库的哪帧最像的帧号信息，图像中被检测到的总人数信息等)以及各个人的编码信息，需要说明的是，信息包以一个比特包数据的方式进行传输或压缩。
在该实施例中，如图6所示，根据历史帧图像和当前帧图像的语义特征集合进行图像重建，包括：
S601，根据每个人物的ID信息确定每个人物的特征信息，并根据每个人物的特征信息，采用人体图像生成网络生成每个人物的图像。
S602，根据每个人物的外框信息、每个人物的图像和历史帧图像，采用整图生成网络生成解压图像。
具体地，在解压或者接收信息包的过程中，需要针对信息包的信息恢复出与原图语义类似的图像，如图7所示，其中，可以先根据每个人物的ID信息确定每个人物的特征信息，然后再根据每个人物的特征信息，采用人体图像生成网络生成每个人物的图像。再根据相似帧帧号从历史帧库中获取相应的历史帧图像，然后根据外框信息、每个人物的图像和历史帧图像，经过整图生成网络生成图像，以完成对信息包的解压和/或接收，并生成完整图像。其中，人体图像生成网络以及整图生成网络可以是训练好的神经网络，例如，基于生成对抗式网络训练生成的。
综上，本公开实施例的图像处理方法能够在保证图像质量的前提下，提高图像压缩比，以使图像信息便于传输和存储。
图8是根据本公开实施例的另一种图像处理方法的流程图。
进一步地，如图8所示，本公开提出了另一种图像处理方法，该方法包括以下步骤：
S801，接收压缩信息包，其中，压缩信息包根据当前帧图像的语义特征集合与历史帧图像的帧号信息生成，当前帧图像的语义特征集合通过对当前帧图像进行语义特征提取处理获得，帧号信息为与当前帧图像相匹配的历史帧图像的帧号信息。
具体地，当接收方接收到压缩信息包之后，接收到可以针对压缩信息包的信息恢复出于原图语义类似的图像作为当前帧图像。其中，压缩信息包是根据当前帧图像的语义特征集合与历史帧图像的帧号信息生成的，可以利用语义特征提取器对当前帧图像进行语义特征提取处理，以获得当前帧图像的语义特征集合，而帧号信息则可以是与当前帧图像相匹配的历史帧图像的帧号信息。
S802，从压缩信息包中，获取当前帧图像的语义特征集合和历史帧图像的帧号信息。
S803，根据历史帧图像的帧号信息从历史帧库中获取历史帧图像，并根据历史帧图像和当前帧图像的语义特征集合进行图像重建，获得与当前帧图像相对应的解压图像。
举例来说，可以对压缩信息包进行处理，以获取当前帧图像的语义特征集合和历史帧图像的帧号信息，然后在根据压缩信息包获取当前帧图像时，可以先根据历史帧图像的帧号信息从历史帧库中获取历史帧图像，并根据历史帧图像和当前帧图像的语义特征集合进行图像重建。更具体地，可以通过相似帧帧号检索历史帧库找到历史帧，然后再结合当前帧预图像的语义特征集合重建得到当前帧图像，从而完成信息包中对于当前帧图像的接收。
在该实施例中，历史帧库可以先提前发送给解压设备，解压设备接收到历史帧库之后进行保存，并在后续接收到压缩信息包时，可以根据压缩信息包中的历史帧图像的帧号信息从历史帧库中获取到对应的历史帧图像，进而根据历史帧图像和当前帧图像的语义特征集合进行图像重建，以获得与当前帧图像对应的解压图像。需要说明的是，当历史帧库需要进行更新的情况下，则解压设备可以重新接收历史帧图像以对历史帧库进行更新，需要说明的是，可以仅接收需要更新的历史帧图像，以提高历史帧库的更新速度。
进一步地，本公开提出了一种计算机可读存储介质，其上存储有图像处理程序，该图像处理程序被处理器执行时实现如上述实施例中的图像处理方法。
本公开实施例的计算机可读存储介质通过处理器执行存储在其上的图像处理程序，能够在保证图像质量的前提下，提高图像压缩比，以使图像信息便于传输和存储。
图9是根据本公开实施例的电子设备的结构框图。
进一步地，如图9所示，本公开提出了一种电子设备10，该电子设备10包括存储器11、处理器12及存储在存储器11上并可在处理器12上运行的图像处理程序，处理器12执行图像处理程序时，实现如上述实施例中的图像处理方法。
本公开实施例的电子设备10包括存储器11和处理器12，通过处理器12执行存储在存储器11上的图像处理程序，能够在保证图像质量的前提下，提高图像压缩比，以使图像信息便于传输和存储。
图10是根据本公开实施例的图像处理装置的结构框图。
进一步地，如图10所示，本公开提出了一种图像处理装置100，该图像处理装置100包括获取模块101、语义提取模块102、确定模块103和压缩模块104。
其中，获取模块101用于获取当前帧图像；语义提取模块102用于对当前帧图像进行语义特征提取处理，获得当前帧图像的语义特征集合；确定模块103用于确定与当前帧图像相匹配的历史帧图像，并获取历史帧图像的帧号信息；压缩模块104用于根据当前帧图像的语义特征集合与历史帧图像的帧号信息生成压缩信息包，进行存储和/或传输。
具体地，首先利用获取模块101对当前帧的图像进行获取，然后通过语义提取模块102利用语义抽取器对当前帧图像进行处理。可选地，语义抽取器对当前帧图像的处理方法可以是将图像转换为文本描述，例如采用Image Captioning(图像描述形成)神经网络实现；还可以是通过将检测到的物体对应为相应的标签及特征值，例如颜色、纹理等。在对当前帧图像进行处理之后，则可以获得当前帧图像的语义特征集合
需要说明的是，本实施例中还设置有一个历史帧库，该历史帧库包括有历史帧图像，使得确定模块103能够与当前帧图像进行匹配，可以理解的，该历史帧库中所存储的历史帧图是由不同的画面图像组成。例如，可以是一个视频中不同帧的画面图像。在语义提取模块102获取到当前帧图像的语义特征集合和确定模块103确定到与当前帧图像相匹配的历史帧图像并获取到帧号信息之后，则可以利用压缩模块104根据上述所获取到的信息生成压缩信息包，更具体地，压缩模块104将当前帧图像的语义特征集合和当前帧图像相匹配的历史帧图像的帧号信息进行编码处理以得到压缩信息包，然后再将该压缩信息包进行存储和/或传输。
在本公开的一些实施例中，图像处理装置还包括：第二获取模块，用于从压缩信息包中获取当前帧图像的语义特征集合和历史帧图像的帧号信息；重建模块，用于根据历史帧图像的帧号信息从历史帧库中获取历史帧图像，并根据历史帧图像和当前帧图像的语义特征集合进行图像重建，获得与当前帧图像相对应的解压图像。
在本公开的一些实施例中，图像处理装置还包括：选取模块，用于每隔预设时间选取一帧图像存储到历史帧库中，以对历史帧库进行更新。
在本公开的一些实施例中，选取模块，还用于将画面变化满足预设要求的一帧图像作为历史帧图像。
在本公开的一些实施例中，在当前帧图像为人物图像时，语义提取模块还用于对当前帧图像中的人物进行检测，获取每个人物的ID信息；对当前帧图像中的人物相关属性进行识别，获得每个人物的特征信息；对每个人物的特征信息进行编码，并根据编码结果和每个人物的ID信息生成当前帧图像的语义特征集合。
在本公开的一些实施例中，每个人物的特征信息包括每个人物的骨架及外框信息、姿态信息、头部角度信息、发型信息和表情信息中的至少一种。
在本公开的一些实施例中，重建模块根据历史帧图像和当前帧图像的语义特征集合进行图像重建，包括：根据每个人物的ID信息确定每个人物的特征信息，并根据每个人物的特征信息，采用人体图像生成网络生成每个人物的图像；根据每个人物的外框信息、每个人物的图像和历史帧图像，采用整图生成网络生成解压图像。
需要说明的是，本公开实施例的图像处理装置的其他具体实施方式，可以参照上述实施例中的图像处理方法的具体实施方式。
综上，本公开实施例的图像处理装置能够在保证图像质量的前提下，提高图像压缩比，以使图像信息便于传输和存储。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本公开的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。
此外，本公开实施例中所使用的“第一”、“第二”等术语，仅用于描述目的，而不可以理解为指示或者暗示相对重要性，或者隐含指明本实施例中所指示的技术特征数量。由此，本公开实施例中限定有“第一”、“第二”等术语的特征，可以明确或者隐含地表示该实施例中包括至少一个该特征。在本公开的描述中，词语“多个”的含义是至少两个或者两个及以上，例如两个、三个、四个等，除非实施例中另有明确具体的限定。
在本公开中，除非实施例中另有明确的相关规定或者限定，否则实施例中出现的术语“安装”、“相连”、“连接”和“固定”等应做广义理解，例如，连接可以是固定连接，也可以是可拆卸连接，或成一体，可以理解的，也可以是机械连接、电连接等；当然，还可以是直接相连，或者通过中间媒介进行间接连接，或者可以是两个元件内部的连通，或者两个元件的相互作用关系。对于本领域的普通技术人员而言，能够根据具体的实施情况理解上述术语在本公开中的具体含义。
在本公开中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种图像处理方法，其特征在于，包括：
获取当前帧图像，对所述当前帧图像进行语义特征提取处理，获得所述当前帧图像的语义特征集合；
确定与所述当前帧图像相匹配的历史帧图像，并获取所述历史帧图像的帧号信息；
根据所述当前帧图像的语义特征集合与所述历史帧图像的帧号信息生成压缩信息包，进行存储和/或传输，以使解压方根据所述历史帧图像的帧号信息和所述当前帧图像的语义特征集合重建得到与所述当前帧图像相对应的解压图像。
2.如权利要求1所述的图像处理方法，其特征在于，所述以使解压方根据所述历史帧图像的帧号信息和所述当前帧图像的语义特征集合重建得到与所述当前帧图像相对应的解压图像，包括：
从所述压缩信息包中获取所述当前帧图像的语义特征集合和所述历史帧图像的帧号信息；
根据所述历史帧图像的帧号信息从历史帧库中获取所述历史帧图像，并根据所述历史帧图像和所述当前帧图像的语义特征集合进行图像重建，获得与所述当前帧图像相对应的解压图像。
3.如权利要求2所述的图像处理方法，其特征在于，每隔预设时间选取一帧图像存储到所述历史帧库中，以对所述历史帧库进行更新。
4.如权利要求3所述的图像处理方法，其特征在于，将画面变化满足预设要求的一帧图像作为所述历史帧图像。
5.如权利要求2-4中任一项所述的图像处理方法，其特征在于，在所述当前帧图像为人物图像时，对所述当前帧图像进行语义特征提取处理，包括：
对所述当前帧图像中的人物进行检测，获取每个人物的ID信息；
对所述当前帧图像中的人物相关属性进行识别，获得每个人物的特征信息；
对所述每个人物的特征信息进行编码，并根据编码结果和所述每个人物的ID信息生成所述当前帧图像的语义特征集合。
6.如权利要求5所述的图像处理方法，其特征在于，所述每个人物的特征信息包括每个人物的骨架及外框信息、姿态信息、头部角度信息、发型信息和表情信息中的至少一种。
7.如权利要求6所述的图像处理方法，其特征在于，根据所述历史帧图像和所述当前帧图像的语义特征集合进行图像重建，包括：
根据所述每个人物的ID信息确定所述每个人物的特征信息，并根据所述每个人物的特征信息，采用人体图像生成网络生成所述每个人物的图像；
根据所述每个人物的外框信息、所述每个人物的图像和所述历史帧图像，采用整图生成网络生成所述解压图像。
8.一种图像处理方法，其特征在于，包括：
接收压缩信息包，其中，所述压缩信息包根据当前帧图像的语义特征集合与历史帧图像的帧号信息生成，所述当前帧图像的语义特征集合通过对所述当前帧图像进行语义特征提取处理获得，所述帧号信息为与所述当前帧图像相匹配的历史帧图像的帧号信息；
从所述压缩信息包中，获取所述当前帧图像的语义特征集合和所述历史帧图像的帧号信息；
根据所述历史帧图像的帧号信息从历史帧库中获取所述历史帧图像，并根据所述历史帧图像和所述当前帧图像的语义特征集合进行图像重建，获得与所述当前帧图像相对应的解压图像。
9.一种计算机可读存储介质，其特征在于，其上存储有图像处理程序，该图像处理程序被处理器执行时实现如权利要求1-8中任一项所述的图像处理方法。
10.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的图像处理程序，所述处理器执行所述图像处理程序时，实现如权利要求1-8中任一项所述的图像处理方法。
11.一种图像处理装置，其特征在于，包括：
获取模块，用于获取当前帧图像；
语义提取模块，用于对所述当前帧图像进行语义特征提取处理，获得所述当前帧图像的语义特征集合；
确定模块，用于确定与所述当前帧图像相匹配的历史帧图像，并获取所述历史帧图像的帧号信息；
压缩模块，用于根据所述当前帧图像的语义特征集合与所述历史帧图像的帧号信息生成压缩信息包，进行存储和/或传输，以使解压方根据所述历史帧图像的帧号信息和所述当前帧图像的语义特征集合重建得到与所述当前帧图像相对应的解压图像。
CN202110678724.1A 2021-06-18 2021-06-18 图像处理方法与装置、存储介质、电子设备 Active CN113269140B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110678724.1A CN113269140B (zh) 2021-06-18 2021-06-18 图像处理方法与装置、存储介质、电子设备
PCT/CN2022/098196 WO2022262659A1 (zh) 2021-06-18 2022-06-10 图像处理方法与装置、存储介质、电子设备
US18/265,710 US20240048716A1 (en) 2021-06-18 2022-06-10 Image processing method and device, storage medium and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110678724.1A CN113269140B (zh) 2021-06-18 2021-06-18 图像处理方法与装置、存储介质、电子设备

Publications (2)

Publication Number Publication Date
CN113269140A CN113269140A (zh) 2021-08-17
CN113269140B true CN113269140B (zh) 2024-05-24

Family

ID=77235309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110678724.1A Active CN113269140B (zh) 2021-06-18 2021-06-18 图像处理方法与装置、存储介质、电子设备

Country Status (3)

Country Link
US (1) US20240048716A1 (zh)
CN (1) CN113269140B (zh)
WO (1) WO2022262659A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269140B (zh) * 2021-06-18 2024-05-24 北京灵汐科技有限公司 图像处理方法与装置、存储介质、电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109547786A (zh) * 2017-09-22 2019-03-29 阿里巴巴集团控股有限公司 视频编码、以及视频解码的方法、装置
CN111160237A (zh) * 2019-12-27 2020-05-15 智车优行科技（北京）有限公司 头部姿态估计方法和装置、电子设备和存储介质
CN111654746A (zh) * 2020-05-15 2020-09-11 北京百度网讯科技有限公司 视频的插帧方法、装置、电子设备和存储介质
CN112270384A (zh) * 2020-11-19 2021-01-26 湖南国科微电子股份有限公司 一种回环检测方法、装置及电子设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10685446B2 (en) * 2018-01-12 2020-06-16 Intel Corporation Method and system of recurrent semantic segmentation for image processing
US11159798B2 (en) * 2018-08-21 2021-10-26 International Business Machines Corporation Video compression using cognitive semantics object analysis
CN111553362B (zh) * 2019-04-01 2023-05-05 上海卫莎网络科技有限公司 一种视频处理方法、电子设备和计算机可读存储介质
CN113269140B (zh) * 2021-06-18 2024-05-24 北京灵汐科技有限公司 图像处理方法与装置、存储介质、电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109547786A (zh) * 2017-09-22 2019-03-29 阿里巴巴集团控股有限公司 视频编码、以及视频解码的方法、装置
CN111160237A (zh) * 2019-12-27 2020-05-15 智车优行科技（北京）有限公司 头部姿态估计方法和装置、电子设备和存储介质
CN111654746A (zh) * 2020-05-15 2020-09-11 北京百度网讯科技有限公司 视频的插帧方法、装置、电子设备和存储介质
CN112270384A (zh) * 2020-11-19 2021-01-26 湖南国科微电子股份有限公司 一种回环检测方法、装置及电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"结合注意力与特征融合的目标跟踪";高俊艳 等;《广东工业大学学报》;第第36卷卷(第第4期期);第18页至23页 *
"语义分割中的视觉语义表示模型研究";陈鑫;《CNKI》;1-52页 *

Also Published As

Publication number Publication date
WO2022262659A1 (zh) 2022-12-22
US20240048716A1 (en) 2024-02-08
CN113269140A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN111954053B (zh) 获取蒙版帧数据的方法、计算机设备及可读存储介质
CN110310343B (zh) 图像处理方法及装置
EP3583777A1 (en) A method and technical equipment for video processing
US9288302B2 (en) Apparatus and method for reproducing handwritten message by using handwriting data
Bradley et al. Visual attention for region of interest coding in JPEG 2000
US8610757B2 (en) Stereoscopic video encoding and decoding methods and apparatus
CN103460250A (zh) 基于感兴趣对象的图像处理
CN112866577B (zh) 图像的处理方法、装置、计算机可读介质及电子设备
CN114584805A (zh) 视频传输方法、服务器、终端和视频传输系统
CN113269140B (zh) 图像处理方法与装置、存储介质、电子设备
CN114004750A (zh) 图像处理方法、装置和系统
CN1496125A (zh) 编码运动图像的设备和方法
CN109361927A (zh) 图像处理方法及装置
Löhdefink et al. Focussing learned image compression to semantic classes for V2X applications
CN114897189A (zh) 模型训练方法、视频编码方法及解码方法
CN113452996B (zh) 一种视频编码、解码方法及装置
CN115880381A (zh) 图像处理方法、图像处理装置、模型训练方法
CN111476866B (zh) 视频优化与播放方法、系统、电子设备及存储介质
CN111131852B (zh) 视频直播方法、系统及计算机可读存储介质
CN116847087A (zh) 视频处理方法、装置、存储介质及电子设备
CN111954082B (zh) 蒙版文件结构、蒙版文件的读取方法、计算机设备及可读存储介质
CN111954081B (zh) 获取蒙版数据的方法、计算机设备及可读存储介质
US20020051489A1 (en) Image matching method, and image processing apparatus and method using the same
CN110673727A (zh) Ar远程协助方法及系统
Xiong et al. Deep feature compression with collaborative coding of image texture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant