CN114466109B - 一种基于高拍仪的图像处理方法、终端设备和介质 - Google Patents

一种基于高拍仪的图像处理方法、终端设备和介质 Download PDF

Info

Publication number
CN114466109B
CN114466109B CN202111619723.6A CN202111619723A CN114466109B CN 114466109 B CN114466109 B CN 114466109B CN 202111619723 A CN202111619723 A CN 202111619723A CN 114466109 B CN114466109 B CN 114466109B
Authority
CN
China
Prior art keywords
image frame
image
scene
encoding
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111619723.6A
Other languages
English (en)
Other versions
CN114466109A (zh
Inventor
陈曦
周刚
严科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi Cloud Technology Co Ltd
Original Assignee
Tianyi Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyi Cloud Technology Co Ltd filed Critical Tianyi Cloud Technology Co Ltd
Priority to CN202111619723.6A priority Critical patent/CN114466109B/zh
Publication of CN114466109A publication Critical patent/CN114466109A/zh
Application granted granted Critical
Publication of CN114466109B publication Critical patent/CN114466109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H04N1/00251—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector with an apparatus for taking photographic images, e.g. a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Abstract

本申请实施例提供了一种基于高拍仪的图像处理方法、终端设备和介质，涉及图像处理技术领域。该方法包括：获取第一图像帧和第二图像帧，其中，所述第二图像帧的采集时刻在所述第一图像帧的采集时刻之前；根据所述第一图像帧和所述第二图像帧进行场景判别，确定所述高拍仪当前所处的应用场景；根据所述应用场景对应的编码策略，对所述第一图像帧进行编码传输。由此，通过结合高拍仪的应用场景，灵活地对待处理的图像帧进行编码传输，提高高拍仪和云桌面结合的应用普适性，同时保障用户的工作效率。

Description

一种基于高拍仪的图像处理方法、终端设备和介质
技术领域
本申请实施例涉及图像处理技术领域，特别涉及一种基于高拍仪的图像处理方法、终端设备和介质。
背景技术
高拍仪是近年来开发出的一种高效文件扫描电子化处理的办公设备，具有折叠式的超便捷设计，小巧便携，扫描拍摄速度快，能快速完成文本文档的拍摄，可以通过文字识别功能将扫描的图片快速转换成可编缉的文档，从而极大地提高工作效率。随着第五代移动通信技术(5th Generation Mobile Communication Technology，5G)的逐步普及、云桌面产品的日益广泛的应用，高拍仪和云桌面结合的场景也越来越多地出现在各类政务/商务需求中。
然而，结合云桌面的实际特性，在目前的高拍仪和云桌面结合的场景中，高拍仪的应用主要会受到以下两个方面能力的制约：
(1)终端设备的编码能力：应用云桌面的终端设备千差万别，大多终端设备仅具备高清解码能力而不具备高清编码能力，而编码算法的复杂度远高于解码算法的复杂度，导致高拍仪的使用对终端设备的编码能力产生挑战。
(2)宽带接入模式：目前用户使用的多数是上下行非对称的带宽接入模式(上下行对称模式成本高昂，不易被用户采纳)，上行带宽小于下行带宽，高拍仪输出的高分辨率影像流对于上行传输提出了较高的要求。
因此，如何提高高拍仪和云桌面结合的应用普适性，同时保障用户的工作效率，仍为亟需解决的重要问题。
发明内容
本申请实施例提供了一种基于高拍仪的图像处理方法、终端设备和介质，用以提高高拍仪和云桌面产品结合的应用普适性，同时保障用户的工作效率。
第一方面，本申请实施例提供了一种基于高拍仪的图像处理方法，该方法可由终端设备实现，该方法可以包括：
获取第一图像帧和第二图像帧，其中，所述第二图像帧的采集时刻在所述第一图像帧的采集时刻之前；
根据所述第一图像帧和所述第二图像帧进行场景判别，确定所述高拍仪当前所处的应用场景；
根据所述应用场景对应的编码策略，对所述第一图像帧进行编码传输。
在一种可能的实施方式中，所述根据所述第一图像帧和所述第二图像帧进行场景判别，确定所述高拍仪当前所处的应用场景，包括：
根据预设的侦测块，对所述第一图像帧和所述第二图像帧中与所述侦测块关联的像素进行特征提取和矩阵化处理，得到所述第一图像帧对应的第一图块矩阵和所述第二图像帧对应的第二图块矩阵；
根据所述第一图块矩阵与所述第二图块矩阵的残差矩阵，确定所述高拍仪当前所处的应用场景。
在一种可能的实施方式中，所述应用场景包括动态场景和静态场景，其中，所述动态场景对应的编码策略包括：采用降采样传输方式对所述第一图像帧进行编码传输，所述静态场景对应的编码策略包括：采用高低分辨率混合方式对所述第一图像帧进行编码传输。
在一种可能的实施方式中，在动态场景下，所述根据所述应用场景对应的编码策略，对所述第一图像帧进行编码传输，包括：
对所述第一图像帧进行降采样处理，得到所述第一图像帧对应的降采样编码结果；
向接收端发送所述第一图像帧对应的降采样编码结果。
在一种可能的实施方式中，在静态场景下，所述根据所述应用场景对应的编码策略，对所述第一图像帧进行编码传输，包括：
确定所述第一图像帧是否为所述静态场景下的首帧图像帧；
在确定所述第一图像帧不是所述静态场景下的首帧图像帧的情况下，向接收端发送所述第一图像帧对应的降采样编码结果；
在确定所述第一图像帧是所述静态场景下的首帧图像帧的情况下，向所述接收端发送所述第一图像帧对应的降采样编码结果，以及所述第一图像帧关联的补充数据，其中，所述第一图像帧关联的补充数据根据所述第一图像帧对应的降采样编码结果的上采样解码结果与所述第一图像帧的残差数据进行编码得到，所述第一图像帧对应的降采样编码结果以及所述第一图像帧关联的补充数据用于接收端对所述第一图像帧进行图像重建。
在一种可能的实施方式中，所述第一图像帧关联的补充数据根据所述第一图像帧对应的降采样编码结果的上采样解码结果与所述第一图像帧的残差数据进行编码得到，包括：
采用离散余弦变换DCT方式和哈夫曼编码方式，对所述第一图像帧对应的降采样编码结果的上采样解码结果与所述第一图像帧的残差数据进行编码，得到所述补充数据。
在一种可能的实施方式中，所述接收端对所述第一图像帧进行图像重建时，所述方法包括：
基于以下表达式获得所述第一图像帧的重建参数,并利用所述重建参数对所述第一图像帧进行图像重建：
其中，F(X)表示用于约束所述静态场景下的图像帧的目标函数，X表示所述第一图像帧对应的降采样编码结果的上采样解码结果，Y表示所述首帧图像帧，A表示重建参数矩阵，λ表示先验约束参数。
在一种可能的实施方式中，静态场景对应的编码策略还包括：降低高拍仪的输入帧率。
第二方面，本申请实施例提供了一种终端设备，包括：
处理器和存储器；
所述存储器，用于存储所述处理器的可执行指令；
所述处理器被配置为执行所述指令以实现如上述第一方面中任一项所述的图像处理方法。
第三方面，本申请实施例提供了一种计算机可读存储介质，包括：当所述计算机可读存储介质中的指令由所述终端设备执行时，使得所述终端设备能够执行如上述第一方面中任一项所述的图像处理方法。
本申请实施例针对高拍仪与云桌面产品相结合的应用场景，提出一种灵活的图像处理方式，通过对高拍仪的应用场景的判别，采用不同的编码策略实现编码传输，所提供的技术方法至少带来以下有益效果：
(1)提出一种基于场景侦测的灵活编码方案，降低高拍仪使用场景下对终端设备的性能要求，在编码性能不足的情况也能完成更高分辨率图像的采集与传输，可以拓展潜在的用户群体。
(2)本申请既可以保证预览场景下的清晰度，又可以保证拍照的清晰度，可以做到所见即所得。
(3)在高拍仪应用的大部分时间内，能以比所要求的高分辨率更低的分辨率传输(实际上只需要持续维持传输非常低的分辨率图像流与少数静态场景的高清细节压缩信息即可)，能够极大地减小上行带宽的占用，对于是使用非对称宽带的一般用户，提高易用性与经济性。对于企业云桌面产品运营而言，同样节约对一个租户的整体上行带宽的支持需求，能够有效地提高运营效费比，提升产品竞争力。
(4)本申请实施例的图像处理方法完全基于底层数据，从数据角度进行侦测判别场景的变化，从编码前端到解码后端两侧改进相应模块，完全兼容现有模块，无需上层应用做相应的适配，有助于做到最大兼容、最小改动、最便于维护。
(5)本申请实施例的图像处理方法支持智能调节帧率，可以在一定程度上减少静态场景的时间冗余度。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的应用场景的示意图；
图2为本申请实施例提供的图像处理方法的流程示意图；
图3为本申请实施例提供的侦测块的示意图；
图4为本申请实施例提供的侦测块特征提取和矩阵化处理过程的原理示意图；
图5为本申请实施例提供的场景判别过程的原理示意图；
图6为本申请实施例的编码端的图像处理方法的流程示意图；
图7为本申请实施例的解码端的图像处理方法的流程示意图；
图8为本申请实施例的智能调节码率的示意图；
图9为本申请实施例的终端设备的示意图；
图10为本申请实施例计算装置的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。其中，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
并且，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，“多个”是指两个或多于两个。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
高拍仪是近年来开发出的一种高效文件扫描电子化处理的办公设备，具有折叠式的超便捷设计，小巧便携，扫描拍摄速度快，能快速完成文本文档的拍摄，可以通过文字识别功能将扫描的图片快速转换成可编缉的文档，从而极大地提高工作效率。随着第五代移动通信技术(5th Generation Mobile Communication Technology，5G)的逐步普及、云桌面产品的日益广泛的应用，高拍仪和云桌面结合的场景也越来越多地出现在各类政务/商务需求中。
然而，结合云桌面的实际特性，在目前的高拍仪和云桌面结合的场景中，高拍仪的应用主要会受到以下两个方面能力的制约：
(1)终端设备的编码能力：应用云桌面的终端设备千差万别，大多终端设备仅具备高清解码能力而不具备高清编码能力，而编码算法的复杂度远高于解码算法的复杂度，导致高拍仪的使用对终端设备的编码能力产生挑战。
(2)宽带接入模式：目前用户使用的多数是上下行非对称的带宽接入模式(上下行对称模式成本高昂，不易被用户采纳)，上行带宽小于下行带宽，高拍仪输出的高分辨率影像流对于上行传输提出了较高的要求。
目前，在高拍仪的应用场景中，针对上述两方面的问题，提出一些设计，比如：
(1)更换具备更好编码能力的终端设备，提升上行带宽。但是该设计无疑会提升各个方面的使用成本，降低云桌面产品与高拍仪结合场景的应用普适性，较难以被广大用户所采纳。
(2)采用软件手段进行高低分辨率切换，通过上层应用与底层驱动结合，采用较低分辨率进行图像预览以保证对高拍仪的使用的流动性，采用高分辨率拍照以获得高清图像。但是该设计中，操作高拍仪的用户无法在第一时间通过预览确定拍照的清晰度，所见非所得，而是需要反复比较确认方可，从易用性角度而言，会降低用户的工作效率，给用户带来较差的用户体验。
针对以上问题，本申请实施例提出了一种基于高拍仪的图像处理方法和终端设备，通过结合高拍仪的应用场景，灵活地对待处理的图像帧进行编码传输，用以提高高拍仪和云桌面结合的应用普适性，同时保障用户的工作效率。
下面首先对本申请实施例提供的应用场景进行说明。
图1为本申请实施例提供的应用场景的示意图。如图1所示，该应用场景中可以包括高拍仪110和终端设备120，该终端设备120可以安装和运行云桌面产品，例如云桌面应用121。其中，高拍仪110作为图像帧的采集设备，可以用于进行拍照、录像、复印、网络无纸传真、制作电子书、裁边扶正等操作，获得待处理的图像帧(或影像流)，并可作为编码端，通过本申请实施例的图像处理方法，采用不同的编码策略将该图像帧(或影像流)编码传输提供给云桌面应用。在终端设备120侧，云桌面应用121可以进行解码处理，并显示所获得的图像帧(或影像流)，以供操作高拍仪的人员预览该图像帧(或影像流)。由此，通过对动态场景的智能侦测编码方案，在保障流畅性的同时，兼顾预览清晰度和拍照清晰度，极大地降低高拍仪和云桌面产品结合的场景下对上行带宽与硬件编码能力的要求，有助于减少用户的使用成本，提升用户的使用体验。
图2为本申请实施例提供的基于高拍仪的图像处理方法的流程示意图。如图2所示，该方法可以包括以下步骤：
S210：高拍仪获取第一图像帧和第二图像帧，其中，所述第二图像帧的采集时刻在所述第一图像帧的采集时刻之前。
本申请实施例中，第一图像帧表示待编码传输的当前图像帧，第二图像帧表示在所述第一图像帧的采集时刻之前采集到的图像帧。具体地，该第二图像帧可以为该第一图像帧之前间隔n帧的图像帧，n为正整数。示例地，该n可以满足：1≤n≤15。也就是说，该第二图像帧可以为该第一图像帧的前一帧，也可以为该第一图像帧之前间隔若干帧的图像帧，本申请实施例对该n的取值不做限定。
S220：高拍仪根据所述第一图像帧和所述第二图像帧进行场景判别，确定所述高拍仪当前所处的应用场景。
S230：高拍仪根据所述应用场景对应的编码策略，对所述第一图像帧进行编码传输。
本申请实施例中，对待传输的图像帧(或摄像流)的编码策略可以包括运动场景下的编码策略和静态场景下的编码策略，S220中进行场景判别具体是判别当前所处场景为动态场景还是静态场景，进一步，S230中，高拍仪将根据动态场景下的编码策略或静态场景下的编码策略对待处理的图像帧(或摄像流)进行编码传输。
一种可选的实现方式中，S220可以包括以下步骤：
S221：根据预设的侦测块，对所述第一图像帧和所述第二图像帧中与所述侦测块关联的像素进行特征提取和矩阵化处理，得到所述第一图像帧对应的第一图块矩阵和所述第二图像帧对应的第二图块矩阵。
该步骤中，预设的侦测块是本申请实施例中为进行场景判别设置的侦测块，通过在待处理的图像帧中对该侦测块关联的像素进行处理，可以获得图像帧相应的图块矩阵，该图块矩阵可用于进行场景判别。
具体地，该侦测块的数量可以表示为M，侦测块的尺寸可以表示为m*m(像素)，M、m为正整数，本申请实施例对该M、m的取值不做限定。
如图3所示，以高拍仪的输出分辨率为1080P为例，该M的取值可以为14，m的取值可以为8，即预设的侦测块为固定设置的14个8*8的侦测块(实线框所示)。S221中，具体可以按照图4所示的水平差分与垂直差分的方式以及图块矩阵的组织形式，分别对第一图像帧和第二图像帧中与所述侦测块关联的像素进行特征提取和矩阵化处理，包括以下步骤：
(a)对第一图像帧中预设的14个侦测块关联的像素值水平与垂直差分结果进行矩阵化，具体步骤是将该14个侦测块的水平差分结果、垂直差分结果组成一个14*128的图块矩阵，每一个128元素的向量是将该侦测块的水平差分结果与垂直差分结果抽成列后拼接而成，以便于矩阵的整体运算，以加快运算速度。
(b)对第二图像帧中预设的14个侦测块关联的像素值水平与垂直差分结果进行矩阵化，具体步骤是将该14个侦测块的水平差分结果、垂直差分结果组成一个14*128(即28)的图块矩阵，每一个128元素的向量是将该侦测块中水平差分结果与垂直差分结果抽成列后拼接而成，以便于矩阵的整体运算，以加快运算速度。
需要说明的是，图3中仅是对侦测块的示例说明而非任何限定，在具体实施时，S221的步骤(a)和(b)中，只要确保是在不同图像帧的相同位置进行特征提取和矩阵化处理即可，并不限定该侦测块的具体位置和尺寸。一种可选的实现方式中，为了更好的得到准确的场景判断结果，S211中，还可以考虑在每两帧(例如第一图像帧和第二图像帧)中添加若干随机选取的位置作为侦测块，如图3虚线框所示，以增强本申请实施例的侦测方法，应对多种复杂场景下的判断准确性。
S222:根据所述第一图块矩阵与所述第二图块矩阵的残差矩阵，确定所述高拍仪当前所处的应用场景。
如图5所示，该过程可以包括步骤：
(a)将第一图块矩阵和第二图块矩阵进行阈值化处理(两个图块矩阵的阈值相同且阈值较小，一般对于0-255的像素值空间，阈值例如设置为5)，以排除光线变化不均等原因造成的轻微连续变化扰动。
(b)将第一图块矩阵和第二图块矩阵逐点进行矩阵相减，得到第一图块矩阵和第二图块矩阵的残差矩阵，并对该残差矩阵进行阈值化处理，根据处理后的结果进行场景判别。
示例地，该步骤中，可以将处理后的结果输入场景判别器，通过场景判别器进行场景判别。判别器会检查残差矩阵中的元素是否满足预设的运动场景条件，来判定是否是运动场景。比如，若残差矩阵中存在至少一个变化较大的点，且变化较大的点在位置上是相邻且相聚的关系，则判定当前的图像帧存在运动变化现象，处于运动场景。否则，则判定为静态场景。
应理解，此处仅以残差矩阵及其元素作为运动场景的判别条件进行示例说明，并不限定本申请实施例的场景判别方式。
本申请实施例中，针对不同场景的编码策略不同。示例地，在运动场景下，对图像帧(或摄像流)的编码策略包括：采用降采样传输方式对当前图像帧进行编码传输。在静态场景下，对图像帧(或编码流)的编码策略包括：采用高低分辨率混合方式对当前图像帧进行编码传输。
因而，一个示例中，S230中，在运动场景下，可以采用降采样方法对第一图像帧进行降采样处理(即放缩)，放缩之后的图像帧传入流编码器进行编码，得到第一图像帧对应的降采样编码结果，并向接收端(即解码端)发送第一图像帧对应的降采样编码结果。以降采样因子为2-4为例，该步骤中基于降采样因子对第一图像帧进行放缩后，编码器的计算压力为全高清情况下的1/8-1/16,可以较为流畅地使用小带宽传输第一图像帧对应的降采样编码结果。相应地，解码端对接收到的降采样编码结果进行解码后，采用相同的上采样因子(例如2-4)进行上采样，以达到数据格式上的全尺寸，得到接近于第一图像帧原数据的高清图像，作为运动场景下的最终输出，从而兼顾预览清晰度与拍摄清晰度。
另一个示例中，S230中，在静态场景下，可以采用高低分辨率混合方式对第一图像帧进行编码传输。具体例如是，在未侦测到场景变化时，维持运动场景下的流程不变，在判定当前图像帧为静态场景后的首帧图像帧时发送之前附加一些数据作为发送信息。
如图6所示，该过程可以包括以下步骤：
(a)确定高拍仪采集到的第一图像帧是否为所述静态场景下的首帧图像帧。
(b)在确定所述第一图像帧不是所述静态场景下的首帧图像帧的情况下，向接收端发送所述第一图像帧对应的降采样编码结果。
(c)在确定所述第一图像帧是所述静态场景下的首帧图像帧的情况下，一方面，将该首帧图像帧降采样之后得到的数据流入编码器进行编码，得到首帧图像帧的降采样编码结果，并向接收端发送该降采样编码结果。另一方面，将首帧图像帧降采样之后得到的数据重新上采样为全高清尺寸，与此时全尺寸真实的首帧图像帧(即拍照或摄像获得的真实图像帧)相减，得到残差数据，对该残差数据进行编码得到首帧图像帧关联的补充数据，并向接收端(即解码端)发送该补充数据。首帧图像帧对应的降采样编码结果以及所述首帧图像帧关联的补充数据用于接收端对所述首帧图像帧进行图像重建，获得接近于首帧图像帧的原始数据的高清图像，该高清图像可以作为静态场景下的参考图像帧，用于约束该静态场景下的后续图像帧。
示例地，首帧图像帧关联的补充数据根据所述首帧图像帧对应的降采样编码结果的上采样解码结果与所述首帧图像帧的残差数据进行编码得到可以包括：采用离散余弦变换((Discrete Cosine Transform，DCT)方式和哈夫曼编码方式，对所述首帧图像帧对应的降采样编码结果的上采样解码结果与所述首帧图像帧的残差数据进行编码，得到所述补充数据。
进一步，如图7所示，解码端在接收到首帧图像帧的降采样编码结果和上述补充数据之后，首先对首帧图像帧的降采样编码结果进行解码和上采样处理，得到全高清尺寸的图像，同时，通过采用相同的方法进行对补充数据进行反向操作，比如采用哈夫曼编码方式进行解码、DCT反变换，得到全尺寸残差数据，即高分辨率细节信息，此时，将所获得的高分辨率细节信息与上采样后的图像叠加，就可以重建出接近于首帧图像帧的原数据的高清图像，即静态场景下的参考图像帧。
也就是说，仅在确定第一图像帧对静态场景下的首帧图像帧时，对第一图像帧及其关联的残差数据进行编码传输，以便解码端进行解码和上采样后获得静态场景下的参考图像帧，后续的静态场景帧则不需要执行该操作，仅需要解码端依据首帧图像帧构建得到的高分辨率图像作为参考图像帧进行约束，将传输的低分辨率图像上采样之后的图像规范化(Normal ize)为更加清晰的图像帧即可。
一种可选的实现方式中，可以构造用于约束静态场景下的后续图像帧的目标函数，如下表达式(1)所示：
F(X)＝argminX||AX-Y||2+λ||AX|| (1)
其中，F(X)表示用于约束所述静态场景下的图像帧的目标函数，X表示所述第一图像帧对应的降采样编码结果的上采样解码结果(即静态场景下由传输的低分辨率图像上采样得到的全高清尺寸图像)，Y表示首帧图像帧对应的参考图像帧，A表示重建参数矩阵，该矩阵中的元素为重建参数，可用于对第一图像帧进行图像重建，λ表示先验约束参数，用于指示对于先验采取多大程度的约束。
应理解，上述表达式(1)中，X与Y都要预先经过简单的归一化处理，即将数据范围规范到均值为0的对称空间中，对于0-255的数据而言，可以采用整体像素值平移到-128-128的空间中。上述目标函数的第一项表示希望X与Y要足够相近(因为是静态场景)。目标函数的第二项是图像结构约束的先验项，图像稀疏表示理论认为越是清晰度高的图像其结构上就越稀疏，反之噪声图像或者低分辨率图像稀疏特性就弱，因此添加此项约束。
根据上述目标函数求解，可以得到要求的使F(X)最小的X，可以很快速地通过求导得出(忽略0位置不可导的情况)，对于每个点满足以下表达式(2)：
其中，xi表示X的元素，yi表示Y的元素，i表示元素X或Y中的第i个元素。
根据上述表达式(1)和(2)可知，在静态场景下的首帧图像帧之后的图像帧进行降采样编码传输，由接收端以静态场景下的首帧图像帧对应的参考图像帧，并结合上述表达式(1)和(2)，对低分辨率图像上采样之后的图像规范化为更加清晰的图像帧即可。上述约束实际转化为以参考图像帧(即)为依据的阈值化处理，是通过矩阵运算高速重建的。
需要说明的是，上述仅介绍的是动态场景切换静态场景的详细流程，对于静态场景切换动态场景的情况，需要及时清空所有参考图像帧信息，解除一切以参考图像帧为依据的所有重建处理即可，使得预览恢复到低分辨率流畅的状态，在此不再赘述。
一种可选的实现方式中，静态场景对应的编码策略还包括：降低高拍仪的输入帧率。具体的，在静态场景下，高拍仪作为编码端可以动态地降低输入帧率，丢弃一些不需要传输的静态图像帧。示例地，如图8所示，以高拍仪的原输入帧率为30Hz为例，在静态拍照场景下，高拍仪智能调节帧率，帧率下降1/3，降低至20Hz左右即20fps，仍是可以满足静态拍照场景的应用需求的。通过智能调整帧率，可以降低需要传输的数据量，达到缓解流编码器编码压力以及传输数据的带宽压力的目的。
由此，通过上述图像处理方法，在高拍仪和云桌面产品相结合的应用场景中，本申请实施例通过一种灵活的智能编码方式，通过场景的判别，在不同的场景下采用不同的编码策略，相比于现有技术，本申请实施例具备以下优点：
(1)该方法通过一种基于场景侦测的灵活编码方案，降低高拍仪使用场景下对终端设备的性能要求，在终端设备的编码性能不足的情况下完成高分辨率图像的采集与传输，有助于提升方案的普适应、扩展潜在的用户群体。
(2)该方法既可以保证预览场景下的图像清晰度，又保证了拍照的清晰度，可以做到所见即所得。
(3)该方法在高拍仪应用的多数时间内，能够以所要求的高分辨率的1/4-1/8的分辨率传输(实际上只需要持续维持传输非常低的分辨率图像流与少数静态场景的高清细节压缩信息即可)，能够极大地减小对上行带宽的占用，对于是使用非对称宽带的一般用户，有助于提高易用性与经济性。对于企业云产品运营来看，同样节约对一个租户的整体上行带宽的支持需求，能够有效地提高运营效费比，提升产品的竞争力。
(4)该方法完全基于底层数据，从数据角度进行侦测、判别场景的变化，从编码前端到解码后端两侧改进相应模块，完全兼容现有模块，无需上层应用做相应的适配，可以做到最大兼容、最小改动，最便于维护。
(5)该方法支持智能调节帧率，有助于最大程度减少静态场景的时间冗余度。
基于同一发明构思，本申请实施例提供了一种终端设备900，该终端设备900可以为前文述及的高拍仪或安装有云桌面应用的终端设备，用于实现前文述及的图像处理方法。如图9所示，该终端设备900可以包括：处理器901和存储器902；所述存储器902，用于存储所述处理器901的可执行指令；所述处理器901被配置为执行所述指令以实现上述方法实施例。由于该方法对应的是本申请实施例中的高拍仪或终端设备，并且该方法解决问题的原理与该高拍仪或终端设备相似，因此终端设备900的功能实现可参见上述方法实施例的相关介绍，重复之处不再赘述。
在介绍了本申请示例性实施方式的一种图像处理方法和终端设备之后，接下来，介绍根据本申请的另一示例性实施方式的计算装置。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中，根据本申请的计算装置可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的图像处理方法中的步骤。例如，处理器可以执行上述方法实施例。
下面参照图10来描述根据本申请的这种实施方式的计算装置1000。图10显示的计算装置1000仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图10所示，计算装置1030以通用计算装置的形式表现。计算装置1030的组件可以包括但不限于：上述至少一个处理器1031、上述至少一个存储器1032、连接不同系统组件(包括存储器1032和处理器1031)的总线1033。
总线1033表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器1032可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)10321和/或高速缓存存储器10322，还可以进一步包括只读存储器(ROM)10323。
存储器1032还可以包括具有一组(至少一个)程序模块10324的程序/实用工具10325，这样的程序模块10324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算装置1030也可以与一个或多个外部设备1034(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与计算装置1030交互的设备通信，和/或与使得该计算装置1030能与一个或多个其它计算装置进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1035进行。并且，计算装置1030还可以通过网络适配器1036与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1036通过总线1033与用于计算装置1030的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置1030使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中，本申请提供的一种视频编码方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种图像处理方法中的步骤，例如，计算机设备可以执行上述方法实施例。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的用于视频编码的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算装置上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算装置上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算装置上部分在远程计算装置上执行、或者完全在远程计算装置或服务器上执行。在涉及远程计算装置的情形中，远程计算装置可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算装置，或者，可以连接到外部计算装置(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种基于高拍仪的图像处理方法，其特征在于，包括：
获取第一图像帧和第二图像帧，其中，所述第二图像帧的采集时刻在所述第一图像帧的采集时刻之前；
根据预设的侦测块，对所述第一图像帧和所述第二图像帧中与所述侦测块关联的像素进行特征提取和矩阵化处理，得到所述第一图像帧对应的第一图块矩阵和所述第二图像帧对应的第二图块矩阵；
根据所述第一图块矩阵与所述第二图块矩阵的残差矩阵，确定所述高拍仪当前所处的应用场景；
根据所述应用场景对应的编码策略，对所述第一图像帧进行编码传输。
2.根据权利要求1所述的方法，其特征在于，所述应用场景包括动态场景和静态场景，其中，所述动态场景对应的编码策略包括：采用降采样传输方式对所述第一图像帧进行编码传输，所述静态场景对应的编码策略包括：采用高低分辨率混合方式对所述第一图像帧进行编码传输。
3.根据权利要求2所述的方法，其特征在于，在动态场景下，所述根据所述应用场景对应的编码策略，对所述第一图像帧进行编码传输，包括：
对所述第一图像帧进行降采样处理，得到所述第一图像帧对应的降采样编码结果；
向接收端发送所述第一图像帧对应的降采样编码结果。
4.根据权利要求2或3所述的方法，其特征在于，在静态场景下，所述根据所述应用场景对应的编码策略，对所述第一图像帧进行编码传输，包括：
确定所述第一图像帧是否为所述静态场景下的首帧图像帧；
在确定所述第一图像帧不是所述静态场景下的首帧图像帧的情况下，向接收端发送所述第一图像帧对应的降采样编码结果；
在确定所述第一图像帧是所述静态场景下的首帧图像帧的情况下，向所述接收端发送所述第一图像帧对应的降采样编码结果，以及所述第一图像帧关联的补充数据，其中，所述第一图像帧关联的补充数据根据所述第一图像帧对应的降采样编码结果的上采样解码结果与所述第一图像帧的残差数据进行编码得到，所述第一图像帧对应的降采样编码结果以及所述第一图像帧关联的补充数据用于接收端对所述第一图像帧进行图像重建。
5.根据权利要求4所述的方法，其特征在于，所述第一图像帧关联的补充数据根据所述第一图像帧对应的降采样编码结果的上采样解码结果与所述第一图像帧的残差数据进行编码得到，包括：
采用离散余弦变换DCT方式和哈夫曼编码方式，对所述第一图像帧对应的降采样编码结果的上采样解码结果与所述第一图像帧的残差数据进行编码，得到所述补充数据。
6.根据权利要求4所述的方法，其特征在于，所述接收端对所述第一图像帧进行图像重建时，所述方法包括：
基于以下表达式获得所述第一图像帧的重建参数,并利用所述重建参数对所述第一图像帧进行图像重建：
其中，F(X)表示用于约束所述静态场景下的图像帧的目标函数，X表示所述第一图像帧对应的降采样编码结果的上采样解码结果，Y表示所述首帧图像帧，A表示重建参数矩阵，λ表示先验约束参数。
7.根据权利要求2或3所述的方法，其特征在于，静态场景对应的编码策略还包括：降低高拍仪的输入帧率。
8.一种终端设备，其特征在于，包括：处理器和存储器；
所述存储器，用于存储所述处理器的可执行指令；
所述处理器被配置为执行所述指令以实现如权利要求1-7中任一项所述的图像处理方法。
9.一种计算机可读存储介质，其特征在于，包括：
当所述计算机可读存储介质中的指令由终端设备执行时，使得所述终端设备能够执行如权利要求1-7中任一项所述的图像处理方法。
CN202111619723.6A 2021-12-27 2021-12-27 一种基于高拍仪的图像处理方法、终端设备和介质 Active CN114466109B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111619723.6A CN114466109B (zh) 2021-12-27 2021-12-27 一种基于高拍仪的图像处理方法、终端设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111619723.6A CN114466109B (zh) 2021-12-27 2021-12-27 一种基于高拍仪的图像处理方法、终端设备和介质

Publications (2)

Publication Number Publication Date
CN114466109A CN114466109A (zh) 2022-05-10
CN114466109B true CN114466109B (zh) 2024-03-08

Family

ID=81407064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111619723.6A Active CN114466109B (zh) 2021-12-27 2021-12-27 一种基于高拍仪的图像处理方法、终端设备和介质

Country Status (1)

Country Link
CN (1) CN114466109B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101330619A (zh) * 2008-07-29 2008-12-24 北京中星微电子有限公司 一种视频图像压缩方法及相应视频解码方法
CN102547225A (zh) * 2010-12-29 2012-07-04 中国移动通信集团公司 视频监控场景判别方法及其监控图像编码方法、及装置
CN102572381A (zh) * 2010-12-29 2012-07-11 中国移动通信集团公司 视频监控场景判别方法及其监控图像编码方法、及装置
CN103561268A (zh) * 2010-12-29 2014-02-05 中国移动通信集团公司 视频监控图像编码方法及装置
CN108989804A (zh) * 2018-08-23 2018-12-11 杭州雄迈集成电路技术有限公司 图像的编码方法及装置
CN110958451A (zh) * 2019-11-13 2020-04-03 中移物联网有限公司 一种视频编码方法及电子设备
CN111182307A (zh) * 2019-12-27 2020-05-19 广东德融汇科技有限公司 一种用于k12教育阶段基于视频影像超低码流无损压缩方法
CN111447442A (zh) * 2020-03-13 2020-07-24 浙江大华技术股份有限公司 帧内编码方法、帧内解码方法、设备以及介质
CN113098946A (zh) * 2021-03-26 2021-07-09 西安万像电子科技有限公司 云桌面场景的识别方法和装置、存储介质及电子装置
CN113556544A (zh) * 2021-06-30 2021-10-26 北京锐马视讯科技有限公司 基于场景自适应的视频编码方法和装置、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008199587A (ja) * 2007-01-18 2008-08-28 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置および方法
TWI551124B (zh) * 2014-07-11 2016-09-21 晨星半導體股份有限公司 應用於視訊系統之編碼／解碼方法及編碼／解碼裝置
CA3191812A1 (en) * 2018-07-04 2020-01-09 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101330619A (zh) * 2008-07-29 2008-12-24 北京中星微电子有限公司 一种视频图像压缩方法及相应视频解码方法
CN102547225A (zh) * 2010-12-29 2012-07-04 中国移动通信集团公司 视频监控场景判别方法及其监控图像编码方法、及装置
CN102572381A (zh) * 2010-12-29 2012-07-11 中国移动通信集团公司 视频监控场景判别方法及其监控图像编码方法、及装置
CN103561268A (zh) * 2010-12-29 2014-02-05 中国移动通信集团公司 视频监控图像编码方法及装置
CN108989804A (zh) * 2018-08-23 2018-12-11 杭州雄迈集成电路技术有限公司 图像的编码方法及装置
CN110958451A (zh) * 2019-11-13 2020-04-03 中移物联网有限公司 一种视频编码方法及电子设备
CN111182307A (zh) * 2019-12-27 2020-05-19 广东德融汇科技有限公司 一种用于k12教育阶段基于视频影像超低码流无损压缩方法
CN111447442A (zh) * 2020-03-13 2020-07-24 浙江大华技术股份有限公司 帧内编码方法、帧内解码方法、设备以及介质
CN113098946A (zh) * 2021-03-26 2021-07-09 西安万像电子科技有限公司 云桌面场景的识别方法和装置、存储介质及电子装置
CN113556544A (zh) * 2021-06-30 2021-10-26 北京锐马视讯科技有限公司 基于场景自适应的视频编码方法和装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
An efficient low bit-rate video-coding algorithm focusing on moving regions;Kwok-Wai Wong et al.;《IEEE Transactions on Circuits and Systems for Video Technology》;第11卷(第10期);第1128-1134页 *
H.264快速自适应帧间编码模式选择算法;冯镔等;《微电子学与计算机》(第4期);第5-7页 *
适用于实时监控系统的快速模式选择算法;武频等;《微计算机信息》(第25期);第1-3页 *

Also Published As

Publication number Publication date
CN114466109A (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
EP3637781A1 (en) Video processing method and apparatus
US11924457B2 (en) Method and apparatus for affine based inter prediction of chroma subblocks
JP7239711B2 (ja) クロマブロック予測方法及び装置
KR20220000796A (ko) 딥 러닝을 사용하는 비디오 코덱 보조 실시간 비디오 향상
US11792410B2 (en) Encoder, a decoder and corresponding methods related to intra prediction mode
US20150279055A1 (en) Mipmap compression
CN115606179A (zh) 用于使用学习的下采样特征进行图像和视频编码的基于学习的下采样的cnn滤波器
US20220261961A1 (en) Method and device, electronic equipment, and storage medium
US8582876B2 (en) Hybrid codec for compound image compression
EP4226609A1 (en) A method and apparatus for encoding a picture and decoding a bitstream using a neural network
CN114466109B (zh) 一种基于高拍仪的图像处理方法、终端设备和介质
EP3709660A1 (en) Method and apparatus for content-adaptive frame duration extension
US20230254485A1 (en) Encoder, a decoder, and corresponding methods for transform process in video coding
CN115205117B (zh) 图像重建方法及装置、计算机存储介质、电子设备
CN115550649A (zh) 编码、解码方法、装置和设备
CN113747242B (zh) 图像处理方法、装置、电子设备及存储介质
CN114900717A (zh) 视频数据传输方法、装置、介质和计算设备
CN114189684A (zh) 一种基于jnd算法的视频编码方法、装置、介质及计算设备
CN108933945B (zh) 一种gif图片的压缩方法、装置及存储介质
US11503341B1 (en) Perceptually motivated video pre-filter
US20240163477A1 (en) 3d prediction method for video coding
US20240163476A1 (en) 3d prediction method for video coding
US11979606B2 (en) Conditional recolor for video based point cloud coding
WO2023160717A1 (en) Method, apparatus, and medium for video processing
CN114501003B (zh) 视频解码方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant