CN110572579A - 图像处理方法、装置及电子设备 - Google Patents
图像处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110572579A CN110572579A CN201910940313.8A CN201910940313A CN110572579A CN 110572579 A CN110572579 A CN 110572579A CN 201910940313 A CN201910940313 A CN 201910940313A CN 110572579 A CN110572579 A CN 110572579A
- Authority
- CN
- China
- Prior art keywords
- region
- interest
- image
- processed
- interested
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请提供了一种图像处理方法、装置及电子设备,对于获取的任一帧待处理图像,可以先识别其中的感兴趣区域和非感兴趣区域,通过对预设采集参数(如帧率、分辨率等)进行动态调整,得到感兴趣区域与非感兴趣区域各自的编码参数,并在对待处理图像进行编码时,利用各区域对应的编码参数,分别实现对相应的感兴趣区域和非感性区域的编码,可见,本申请通过对待处理图像中不同区域的编码参数进行针对性调整,以使得编解码显示的目标图像能够满足用户对感兴趣区域的检测要求,即保证解码各区域的编码数据所得到的目标图像中,感兴趣区域的细微特征变化能够得到清晰体现,进而准确识别保证产品的质量及区域的安全性。
Description
技术领域
本申请主要涉及视频应用领域,更具体地说是涉及一种图像处理方法、装置及电子设备。
背景技术
视频分析技术是通过将视频拍摄场景中的背景与目标对象分离,实现对该视频拍摄场景中的目标对象的分析并追踪的计算机图像视觉分析技术,目前已被广泛应用于各个领域,如越来越多的企业或工厂,希望利用摄像头对产品、重点区域进行异常情况或特征检测,以保证产品的质量及区域的安全性。
在实际应用中,通常是由摄像头按照预先设定的分辨率进行图像采集,发送至图像处理设备进行图像分析,实现对当前拍摄场景下的图像采集对象或区域的异常检测。然而,由于异常对象的不确定性以及异常特征粒度的差异性的影响,目前对按照固定分辨率采集到的图像进行分析,所检测到的异常情况往往是不完整的,即便是检测到的异常特征也可能是不清楚的,这直接降低了异常检测结果的准确性,也就无法保证产品的质量及区域的安全性。
发明内容
有鉴于此,本申请提供了一种图像处理方法、装置及电子设备,通过动态调整待处理图像中不同区域的编码参数,使得输出的不同区域图像的分辨率不同,保证对感兴趣区域的细粒度异常特征信息的可靠检测,提高了异常检测结果的效率及准确性。
为了实现上述发明目的,本申请提供了以下技术方案:
一方面,本申请提出了一种图像处理方法,所述方法包括:
获取待处理图像,所述待处理图像是按照预设采集参数采集得到的;
识别所述待处理图像中的感兴趣区域及非感兴趣区域,获取所述感兴趣区域的区域标识信息;
利用所述区域标识信息,得到所述待处理图像中相应感兴趣区域的第一编码参数,以及所述非感兴趣区域的第二编码参数;
按照所述第一编码参数,对所述待处理图像中相应感兴趣区域进行编码,得到第一编码数据,按照所述第二编码参数,对所述待处理图像中的非感兴趣区域进行编码,得到第二编码数据;
对所述第一编码数据和所述第二编码数据进行合并处理,得到所述待处理图像的目标编码数据,以便依据所述编码数据得到具有不同分辨率区域的目标图像。
在一些实施例中,所述识别所述待处理图像中的感兴趣区域及非感兴趣区域,获取所述感兴趣区域的区域标识信息,包括:
识别所述待处理图像中的感兴趣区域,对所述感兴趣区域进行坐标定位,得到所述感兴趣区域的位置信息;
利用所述位置信息及预设采集参数,按照预设标注格式,生成所述感兴趣区域的区域标识信息,所述区域标识信息能够表明所述待处理图像包含的所述感兴趣区域的数量。
在一些实施例中,所述方法还包括:
利用所述区域标识信息,对所述待处理图像中的感兴趣区域进行裁剪;
将裁剪得到的感兴趣区域以及所述区域标识信息写入区域缓存队列。
在一些实施例中,所述区域标识信息包括所述感兴趣区域的位置信息及所述预设采集参数,所述利用所述区域标识信息,得到所述待处理图像中相应感兴趣区域的第一编码参数,以及所述非感兴趣区域的第二编码参数,包括:
利用所述预设采集参数,按照第一参数调整规则,得到所述待处理图像中相应感兴趣区域的第一编码参数,及所述非感兴趣区域的第二编码参数;
其中,所述第一编码参数包含的参数数值,大于所述第二编码参数包含的相同类型参数的参数数值。
在一些实施例中,在所述感兴趣区域的数量为多个的情况下,所述区域标识信息还包括多个感兴趣区域的标识信息,所述利用所述预设采集参数,按照第一参数调整规则,得到待处理图像中相应感兴趣区域的第一编码参数,包括:
利用所述标识信息,获取所述待处理图像中各感兴趣区域的变化粒度;
依据所述各感兴趣区域的变化粒度,对所述预设采集参数中的预设分辨率进行调整,得到相应感兴趣区域的第一分辨率,其中,各感兴趣区域的第一分辨率均大于所述非感兴趣区域的第二编码参数中的第二分辨率;
利用多个感兴趣区域各自的第一分辨率,生成相应感兴趣区域的第一编码参数。
在一些实施例中,所述利用所述预设采集参数,按照第一参数调整规则,得到待处理图像中相应感兴趣区域的第一编码参数,还包括:
利用所述标识信息,获取所述待处理图像中各感兴趣区域的优先级;
按照所述优先级的高低,对所述预设采集参数中的预设帧率进行调整,得到所述各感兴趣区域对应的第一帧率,其中,优先级越高的感兴趣区域的第一帧率越大,且各感兴趣区域的第一帧率均大于所述非感兴趣区域的第二编码参数中的第二帧率;
所述利用多个感兴趣区域各自的第一分辨率,生成相应感兴趣区域的第一编码参数,包括:
利用多个感兴趣区域各自的第一帧率及第一分辨率,生成相应感兴趣区域的第一编码参数;所述利用所述第一编码参数,对所述待处理图像中相应感兴趣区域进行编码,得到第一编码数据,包括:
依据各感兴趣区域对应的第一帧率,得到相应感兴趣区域的编码时间频率;
按照所述编码时间频率及所述第一分辨率,对所述待处理图像中相应感兴趣区域进行编码,得到多个第一编码数据。
在一些实施例中,所述区域标识信息包括所述感兴趣区域的位置信息,所述对所述第一编码数据和所述第二编码数据进行合并处理,得到所述待处理图像的目标编码数据,包括:
利用所述区域标识信息,从编码缓存队列中,读取所述待处理图像包含的所有感兴趣区域的第一编码数据,及所述非感兴趣区域的第二编码数据;
按照所述位置信息,对所述待处理图像对应的所述第一编码数据及所述第二编码数据进行合并处理,得到目标编码数据。
在一些实施例中,所述区域标识信息包括所述感兴趣区域的位置信息及标识信息,所述第一编码参数包括相应感兴趣区域的第一分辨率,所述第二编码参数包括所述非感兴趣区域的第二分辨率,且所述感兴趣区域的第一分辨率高于所述非感兴趣区域的第二分辨率,所述方法还包括:
读取所述目标编码数据中各感兴趣区域的第一分辨率和标识信息,以及所述非感兴趣区域的第二分辨率;
利用所述标识信息及所述第一分辨率,对相应感兴趣区域的第一编码数据进行解码,得到第一解码数据;
利用所述非感兴趣区域的第二分辨率,对所述第二编码数据进行解码,得到第二解码数据;
依据所述位置信息及所述标识信息,对所述第一解码数据和所述第二解码数据进行合并处理,得到目标图像。
在一些实施例中,所述识别所述待处理图像中的感兴趣区域及非感兴趣区域,包括:
响应于用户针对所述待处理图像的区域划分操作,得到所述待处理图像中的感兴趣区域,或者利用历史感兴趣数据,对所述待处理图像进行分析,得到所述待处理图像中的感兴趣区域;
将所述待处理图像中,除所述感兴趣区域之外的区域确定为非感兴趣区域。
又一方面,本申请还提出了一种图像处理装置,所述装置包括:
图像获取模块,用于获取待处理图像,所述待处理图像是按照预设采集参数采集得到的;
区域识别模块,用于识别所述待处理图像中的感兴趣区域及非感兴趣区域,获取所述感兴趣区域的区域标识信息;
编码参数获取模块,用于利用所述区域标识信息,得到所述待处理图像中相应感兴趣区域的第一编码参数,以及所述非感兴趣区域的第二编码参数;
编码模块,用于按照所述第一编码参数,对所述待处理图像中相应感兴趣区域进行编码,得到第一编码数据,按照所述第二编码参数,对所述待处理图像中的非感兴趣区域进行编码,得到第二编码数据;
编码数据组装模块,用于对所述第一编码数据和所述第二编码数据进行合并处理,得到所述待处理图像的目标编码数据,以便依据所述编码数据得到具有不同分辨率区域的目标图像。
又一方面,本申请还提出了一种电子设备,所述电子设备包括:图像采集器;通信接口;
存储器,用于存储实现如上述的图像处理方法的程序;
处理器,用于加载并执行所述存储器存储的程序,以实现如上述的图像处理方法的各步骤。
由此可见,与现有技术相比,本申请提供了一种图像处理方法、装置及电子设备,对于获取的任一帧待处理图像,可以先识别其中的感兴趣区域和非感兴趣区域,通过对预设采集参数(如帧率、分辨率等)进行动态调整,得到感兴趣区域与非感兴趣区域各自的编码参数,并在对待处理图像进行编码时,利用各区域对应的编码参数,分别实现对相应的感兴趣区域和非感性区域的编码,可见,本申请通过对待处理图像中不同区域的编码参数进行针对性调整,以使得编解码显示的目标图像能够满足用户对感兴趣区域的检测要求,即保证解码各区域的编码数据所得到的目标图像中,感兴趣区域的细微特征变化能够得到清晰体现,进而准确识别保证产品的质量及区域的安全性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1示出了本申请提出的图像处理方法的一可选示例的流程图;
图2示出了本申请提出的图像处理方法的又一可选示例的流程图;
图3示出了本申请提出的图像处理方法中,识别待处理图像中的感兴趣区域的应用示意图;
图4示出了本申请提出的图像处理方法中的一可选编码方式的流程图;
图5示出了本申请提出的图像处理方法中的又一可选编码方式的流程图;
图6示出了本申请提出的图像处理方法中,用于编码的第一参数调整规则的示意图;
图7示出了本申请提出的图像处理方法中,对待处理图像中不同区域的编码示意图;
图8示出了本申请提出的图像处理方法的又一可选示例的流程图;
图9示出了本申请提出的图像处理方法中,一可选解码过程的流程示意图;
图10示出了本申请提出的图像处理方法中,一可选解码过程的应用示意图;
图11示出了本申请提出的图像处理装置的一可选示例的结构图;
图12示出了本申请提出的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。应当理解,本申请中使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换该词语。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。以下术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
针对背景技术部分的描述可知,主要是由于摄像头预设的分辨率较低,导致所采集到的图像中异常特征无法清晰表现出来,从而降低了异常检测结果的准确性。其中,分辨率是用于度量位图图像内数据量多少的一个参数,通常表示成dpi(dot per inch,每英寸点),简单地说,摄像头的分辨率是指摄像头解析图像的能力,也即摄像头的影像传感器的像素数,或者说是图像的尺寸或画面大小。
本申请在研究过程中发现,若预先将摄像头设置较高的分辨率,如4k或8k超高清,虽然能够采集到更加清晰的图像,但由于分辨率越高需要的网络带宽越大,所以,直接增大摄像头预设分辨率,会对视频传输带宽、分析效率的速度上有更高的要求,需要在硬件、网络等方面投入更多的资源,会大大提升企业或工厂(即使用摄像头的单位)成本。
而且,在实际应用中,对于检测环境中产品自身的异常检测,是否需要持续使用高分辨率进行检测,电子设备的资源利用率会有多大,都是不确定的,若资源利用率不高,对企业的资源投入会是极大的浪费。
为了进一步改善上述问题,本申请注意到,在如企业生产线的检测场景中,通常是生产线上存在变化的区域出现异常情况,需要对存在变化的区域进行重点监测,而对于没有变化的区域,可以按照常规的监测方法进行即可。基于此,本申请提出对检测场景进行有选择性地,动态调整摄像头分辨率,以使感兴趣区域(如存在变化的区域)的图像能够更加清晰的呈现,而对于不感兴趣区域(如没有变化的区域)的图像可以按照常规方式呈现,以保证最终显示的检测场景的图像中,感兴趣区域足够清晰,能够准确且快速识别出细微变化的异常特征信息。
可见,本申请提出的基于用户感兴趣区域,动态调整摄像头分辨率的发明构思,满足了企业或工厂对产品或区域的细粒度异常特征的高精准度检测需求,大幅度提升了生产线中,产品特定变化区域和对象的检测效率及精准度,从而提升了产品的质量及区域的安全性。
而且,由于本申请不是直接提高摄像头的分辨率,而是对采集到的图像进行图像分辨率的调整的方式,满足细粒度异常特征的高精度检测需求,提升了视频分析及传输效率,减少了网络带宽占用;且大幅度降低了企业成本,特别是不需要企业前期投入高分辨率、高带宽的硬件资源,能够充分利用企业现有资源,提升了资源利用率。下面将结合实施例具体说明本申请提出的该发明构思的具体实现,但并不局限于下文各实施例所描述的实现方式。
参照图1,示出了本申请提出的图像处理方法的一可选示例的流程图,该方法可以应用于电子设备,该电子设备可以是独立的摄像头,或是手机、智能一体机、录像机等具有图像采集器的终端设备,本申请对该电子设备的产品类型不做限定,如图1所示,该图像处理方法可以包括但并不局限于以下步骤:
步骤S11,获取待处理图像;
本实施例中,待处理图像可以是图像采集设备(如电子设备或其他摄像头等)按照预设采集参数采集得到的任一帧原始视频图像,该预设采集参数可以包括图像采集应用中,对摄像头的配置参数,如摄像头的帧率、分辨率等,其通常是在进行图像采集之前配置后,本申请对该预设采集参数包含的内容不做限定。
步骤S12,识别待处理图像中的感兴趣区域及非感兴趣区域,获取感兴趣区域的区域标识信息;
对于任一拍摄环境,其包含的各区域往往并非都是用户关注或感兴趣的区域,所以,本实施例获取该拍摄环境下的任意一帧待处理图像后,可以先识别其包含的感兴趣区域及非感兴趣区域。其中,在机器视觉、图像处理中,从待处理图像以方框、圆、椭圆、不规则多边形等方式,勾勒出需要处理的区域,称为感兴趣区域(region of interest,ROI)。
在一些实施例的实现方式中,可以由用户在该待处理图像中,手动划出感兴趣区域,剩余其他区域即为非感兴趣区域;当然,在另一些实施例的实现方式中,本申请也可以利用一些历史数据对预测算法进行优化,再利用优化后的预测算法,计算出待处理图像中的感兴趣区域,即结合人工智能中的机器视觉技术和深度学习计算,实现感兴趣区域的识别等等,也可以在机器视觉软件上,利用常用到的各种算子和函数,计算得到待处理图像中的感兴趣区域,作为后续图像分析所关注的终端。本申请对感兴趣区域的识别方法不做限定。
基于此,上述步骤S12可以包括:响应于用户针对待处理图像的区域划分操作,得到待处理图像中的感兴趣区域,或者利用历史感兴趣数据,对待处理图像进行分析,得到待处理图像中的感兴趣区域;将待处理图像中,除感兴趣区域之外的区域确定为非感兴趣区域。
从待处理图像中确定出至少一个感兴趣区域后,可以将该待处理图像中剩余的区域记为非感兴趣区域,之后,可以获取每一个感兴趣区域的区域标识信息,用于确定该感兴趣区域在待处理图像中的什么位置,还可以在具有多帧待处理图像的情况下,确定该感兴趣区域属于哪个待处理图像的;根据后续感兴趣区域智能编码的需求,该区域标识信息还可以包括对该感兴趣区域进行编码时所需的帧率、分辨率等采集参数。
由此可见,本实施例获取的感兴趣的区域标识信息可以包括:相应感兴趣区域的位置信息、标识号以及用于实现图像编码的预设采集参数等等,本申请对该区域标识信息具体包含的内容不做限定,可以根据实际需要进行灵活调整。
步骤S13,利用该区域标识信息,获取待处理图像中相应感兴趣区域的第一编码参数,以及非感兴趣区域的第二编码参数;
基于上文对感兴趣区域的分析,以及对本申请发明构思的描述,本申请需要最终呈现给用户,或发送至图像分析设备的目标图像中的感兴趣区域足够清晰,所以,在采集待处理图像的电子设备的预设采集参数不够高,以使所得待处理图像的清晰度不够的情况下,本申请可以采用ROI只能视频编码技术,对待处理图像中的感兴趣区域进行智能编码,即调整对该感兴趣区域进行编码时所需的编码参数,如帧率、分辨率等,实现高质量无损编码。
基于此,为了得到足够清晰的感兴趣区域图像,本实施例可以动态调整感兴趣区域的编码参数,即用于后续图像编码所需的参数,在调整过程中,具体可以依据感兴趣区域的区域标识信息及摄像头配置的预设采集参数,准确实现对相应感兴趣区域的编码参数的调整,尤其是在待处理图像包含多个感兴趣区域的情况下,依据区域标识信息能够保证实现对所有感兴趣区域的编码参数的调整,具体调整方法不做限定。
本实施例中,结合上述对区域标识信息的描述,上述步骤S13具体可以利用区域标识信息中的标识号及预设采集参数,得到各感兴趣区域对应的第一编码参数,利用区域标识信息中的预设采集参数,得到非感兴趣区域的第二编码参数。通常情况下,该第一编码参数和第二编码参数包含的数据类型可以相同,如帧率和/或分辨率等等。
其中,由于用户通常对非感兴趣区域的清晰度要求,低于感兴趣区域的清晰度要求,即感兴趣区域的清晰度更高,为了满足该要求,上述得到的第一编码参数的数值通常大于第二编码参数中相应参数的数值。
步骤S14,按照第一编码参数,对待处理图像中相应感兴趣区域进行编码,得到第一编码数据,按照第二编码参数,对待处理图像中的非感兴趣区域进行编码,得到第二编码数据;
可见,本实施例是对待处理图像进行智能编码,即在不损失图像质量的前提下,优化视频编码性能,降低网络带宽占用率,并减少存储空间。具体的,在监控画面中,用户不感兴趣的监控区域,即待处理图像中的非感兴趣区域,如天空、墙壁、草地等,可以不用牺牲网络带宽,按照更低的帧率、分辨率等第二编码参数进行编码。
对于用户感兴趣的监控区域,即待处理图像中的感兴趣区域,如上述分析,若仍按照摄像头预设采集参数进行编码,最终解码输出的图像清晰度可能不够,无法识别细粒度的特征信息,这种情况下,本实施例需要对预设采集参数进行调整,得到第一编码参数,如更高的分辨率等,在按照第一编码参数对感兴趣区域进行编码,本申请对如何实现各区域图像的编码过程不做详述。
当然,若摄像头的预设采集参数,足够保证据此对感兴趣区域编解码后的清晰度满足检测要求,可以不用对预设采集超参数进行调整,直接将预设采集参数作为第一编码参数,对感兴趣区域进行编码,但此时,为了降低对网络带宽的要求,在确定非感兴趣区域的第二编码参数时,适当降低预设采集参数得到,以降低非感兴趣区域的分辨率,提升整个待处理图像的传输及分效率。
可见,本申请可以依据实际场景对待处理图像中不同区域的检测要求,以及采集该待处理图像的摄像头的预设采集参数,来获取上述第一编码参数和第二编码参数,本申请对第一编码参数和第二编码参数的获取方式,以及如何利用编码参数,对待处理图像中相应区域的编码过程不做详述。
在一些实施例的实现方式中,若一帧待处理图像中感兴趣区域的数量是多个,这多个感兴趣区域可以对应同一个第一编码参数,根据实际需求,这多个感兴趣区域也可以对应有各自的第一编码参数,即多个感兴趣区域的编码参数可以不同,具体获取方式不做详述。
步骤S15,对第一编码数据和第二编码数据进行合并处理,得到待处理图像的目标编码数据,以便依据编码数据得到具有不同分辨率区域的目标图像。
继上文对待处理图像的编码过程的描述,本实施例将会得到多个编码数据,为了保证编码器完成对每个区域的编码,同时也为了保证在多帧待处理图像的场景下,能够准确且完整获取某一帧待处理图像对应的所有区域的编码数据等因素,本实施例可以将对应同一帧待处理图像的所有编码数据进行组装(即合并处理),得到该帧待处理图像的目标编码数据。
应该理解,该目标编码数据包含多个区域不同分辨率的视频数据,且为了方便后续读取各区域的编码数据,本实施例可以将上述获取的感兴趣区域的区域标识信息,与得到的第一编码数据进行实时关联,这样,在步骤S15的合并处理时,可以按照该区域标识信息中的位置信息实现,但并不局限于这种合并处理方式。
在一些实施例的实现方式中,得到目标编码数据后,若电子设备具有图像显示功能,即具有显示器等输出设备,可以由电子设备直接对目标编码数据进行解码,输出目标图像,该目标图像中的感兴趣区域的清晰度往往会高于非感兴趣区域的清晰度。当然,根据实际情况,本申请也可以由其他具有显示器的终端设备,从该电子设备读取目标编码数据,并对目标编码数据进行解码,输出目标图像,本申请对目标编码数据进行解码的执行主体不做限定,可以根据具体应用场景的需求确定。
综上,本实施例在对采集到的任意一帧待处理图像进行编码之前,识别其中的用户感兴趣区域及非感性区域,本申请通过对待处理图像中不同区域的编码参数进行针对性调整,以使得编解码显示的目标图像能够满足用户对感兴趣区域的检测要求,即保证解码各区域的编码数据所得到的目标图像中,感兴趣区域的细微特征变化能够得到清晰体现,进而准确识别保证产品的质量及区域的安全性。
下面将基于上文对本申请发明构思的描述,细化上述实施例提供的图像处理方法,但并不局限于下文各实施例描述的几种细化实现方式,参照图2,示出了本申请提出的图像处理方法的又一可选示例的流程图,该方法可以适用于电子设备,如图2所示,该方法可以包括:
步骤S21,获取待处理图像及预设采集参数;
步骤S22,识别待处理图像中的感兴趣区域,对感兴趣区域进行坐标定位,得到感兴趣区域的位置信息;
本实施对如何识别待处理图像中的感兴趣区域的方法不作限定,可以参照上文实施例相应部分的描述。
在实际应用中,拍摄环境中可能会包含多个用户感兴趣的对象和/或区域,这样,对于采集到的任意一帧该拍摄环境的待处理图像,其也可能包括一个或多个感兴趣区域,为了在编解码过程中,准确确定出感兴趣区域位于整个待处理图像中的什么位置,以保证解码输出的目标图像中感兴趣区域的位置,与感兴趣区域在待处理图像中的位置一致,即与拍摄环境中,感兴趣区域在整个拍摄环境中的位置一致,本实施例可以对每一帧待处理图像中,各感兴趣区域分别对应的位置进行坐标定位,得到相应感兴趣区域的位置信息。
因此,感兴趣区域的位置信息可以包括相应感兴趣区域的高、宽等坐标参数,也可以包括该感兴趣区域各顶点距离待处理图像相应边缘的距离,即确定感兴趣区域的各顶点的坐标等等,本实施例对感兴趣区域的位置信息的具体内容不做限定。
步骤S23,利用位置信息及预设采集参数,按照预设标注格式,生成感兴趣区域的区域标识信息;
本实施例实际应用中,电子设备可能会处理多帧待处理图像,每一帧待处理图像可能会识别出一个或多个感兴趣区域,这种情况下,为了避免将不同帧待处理图像的各感兴趣区域混淆,也为了后续能够对完整的一帧待处理图像进行编解码,可以对识别出的感兴趣区域进行统一编排处理,得到感兴趣区域的标识号等标识信息(其可以用于区别各感兴趣区域,并确定感兴趣区域的数量),之后,可以按照该预设标注格式,对获取的感兴趣区域的位置信息、标识信息、预设采集参数等内容进行处理,得到感兴趣区域的区域标识信息。本申请对该预设标注格式的内容不做限定,需要据此得到的区域标识信息,能够表明待处理图像包含的感兴趣区域的数量等。
在一些实施例中,预设标注格式的定义可以为:FrameNo.-ROI[<height i:widthi>,<height j:width j>]-Priority-Resolution-SliceNo.,该定义是以待处理图像包含两个感兴趣区域为例进行说明的,若待处理图像包含更多或更少的感兴趣区域,可以相应调整该定义中的位置信息,如<height:width>。按照该定义格式,得到的感兴趣区域的区域标识信息,即将该待处理图像识别出的各感兴趣区域的位置信息、优先级Priority、分辨率Resolution、区域数量SliceNo等具体内容填写如相应位置即可得到。
其中,需要说明的是,若待处理图像识别出一个感兴趣区域,或者识别出多个感兴趣区域,但这多个感兴趣区域的优先级等情况下,上述预设标注格式的定义中,可以不包含优先级Priority,也就是说,上述预设标注格式的定义内容可以根据实际情况进行灵活调整。
步骤S24,利用区域标识信息包含的位置信息及标识信息,对待处理图像中的感兴趣区域进行裁剪;
步骤S25,将裁剪得到的感兴趣区域及其区域标识信息,以及非感兴趣区域写入区域缓存队列;
为了实现对待处理图像的感兴趣区域的针对性编码处理,本实施例将利用区域标识信息,对同一帧待处理图像的不同区域进行分割与裁剪,同时将裁剪之后的感兴趣区域写入区域缓存队列,本申请对感兴趣区域的具体裁剪方法不作限定。
结合上文对区域标识信息的分析可知,该区域标识信息能够表明该帧待处理图像包含的感兴趣区域的数量,以及各感兴趣区域的位置信息,所以,本实施例利用该区域标识信息中的位置信息及标识信息,能够实现对该帧待处理图像包含的所有感兴趣区域的裁剪,以待处理图像包含两个感兴趣区域(记为感兴趣区域1和感兴趣区域2)为例进行说明。
参照图3,识别出待处理图像中的所有感兴趣区域后,可以按照各感兴趣区域的位置信息(如图3中各感兴趣区域对角线顶点的坐标,也可以标注感兴趣区域各顶点的坐标,图3仅作为位置标注的示意说明),裁剪出待处理图像中的感兴趣区域1和感兴趣区域2,可见,图3所示的实例中,是将完整的一帧待处理图像划分成感兴趣区域1、感兴趣区域2,以及非感兴趣区域(图3并未标注,其是指待处理图中除了感兴趣区域之外的区域)这三部分组成,所以,这三部分可以称为该帧待处理图像的帧分片,之后,可以将这些帧分片写入区域缓存队列,供后续调用。
在实际应用中,为了方便后续从区域缓存队列中读取所需帧分片,如准确读取感兴趣区域,本实施例可以按照上述预设标注格式,对每个分片帧进行统一命名,具体命名结果不作详述,该命名可以用于识别各分片帧,以及相应帧待处理图像包含的感兴趣区域的分片帧的数量等。
步骤S26,从区域缓存队列中,读取待处理图像的感兴趣区域的区域标识信息;
步骤S27,利用该区域标识信息包含的预设采集参数,按照第一参数调整规则,得到该待处理图像中各感兴趣区域的第一编码参数,及非感兴趣区域的第二编码参数;
结合上文对本申请发明构思的描述,本申请能够对同一帧待处理图像中的不同区域(如各个感兴趣区域)的编码参数进行动态调整,以使该待处理图像中的感兴趣区域与非感兴趣区域的编码参数不同,具体的,第一编码参数包含的参数数值,大于第二编码参数包含的相同类型参数的参数数值,如编码参数通常可以包括帧率及分辨率,本实施例中,感兴趣区域的第一帧率通常大于非感兴趣区域的第二帧率,且感兴趣区域的第一分辨率也大于非感兴趣区域的第二分辨率,以使得输出的目标图像中感兴趣区域的清晰度,大于非感兴趣区域的清晰度,且感兴趣区域能够更加流畅地进行播放,清晰度能够足够满足后续图像分析阶段的检测要求,保证图像分析结果的准确性及效率。
需要说明,本申请对第一参数调整规则的内容不做限定,其主要用来确定同一帧待处理图像中各感兴趣区域的第一帧率及第一分辨率,尤其是在待处理图像包含多个感兴趣区域,且多个感兴趣区域的第一编码参数不同的情况下,本申请可以预先配置好,各感兴趣区域的第一编码参数与预设采集参数的关系,生成第一参数调整规则。
当然,在一些实施例的实现方式中,第一参数调整规则也可以仅用来确定同一帧待处理图像中各感兴趣区域的第一分辨率,以便后续通过动态调整该待处理图像中不同区域的分辨率,满足用户对输出的各区域的清晰度要求,本申请对该第一参数调整规则的内容不作限定。
步骤S28,按照第一编码参数,读取区域缓存队列中待处理图像的相应感兴趣区域,对该感兴趣区域进行编码,将得到的第一编码数据写入编码缓存队列;
步骤S29,按照第二编码参数,读取区域缓存队列中待处理图像的飞感兴趣区域,对该非感兴趣区域进行编码,将得到的第二编码数据写入该编码缓存队列;
由于待处理图像中不同区域的编码参数不同,如帧率、分辨率均不同,或者,在编码参数仅包含分辨率的情况下,则是不同区域的分辨率不同,这样,在进行编码时,各区域对应的编码时间也会有所差异,随着时间的推移,到达哪个区域(同一帧待处理图像的感兴趣区域或非感兴趣区域)的编码时间,可以从区域缓存队列,读取相应的区域,并利用相应的编码参数,对该区域进行编码,将得到的编码数据写入编码缓存队列,随着时间的推移,该编码缓存队列存储的编码数据的数量逐渐增多,最后可以存储待处理图像包含的所有感兴趣区域以及非感兴趣区域各自的编码数据。需要说明,本实施例对各区域的编码方法,以及所得编码数据的存储方式不作限定。
步骤S210,依据区域标识信息,从编码缓存队列中,读取待处理图像包含的所有感兴趣区域各自的第一编码数据,并读取非感兴趣区域的第二编码数据;
步骤S211,按照区域标识信息中各感兴趣区域的位置信息,对所有第一编码数据及第二编码数据进行合并处理,得到目标编码数据。
本实施例中,区域标识信息中的标识信息,可以用来验证是否读取同一帧待处理图像包含的所有感兴趣区域的第一编码数据,是否完成对所有感兴趣区域的第一编码数据的组装处理,具体验证过程不做限定,如标识信息可以包括该帧待处理图像包含的感兴趣区域的数量,可以将其与读取的感兴趣区域的第一编码数据的个数进行比较等等。
综上,在本实施例中,对于获取的任一帧待处理图像,可以先识别其中的感兴趣区域和非感兴趣区域,通过对预设采集参数进行动态调整,得到感兴趣区域的第一编码参数,以及非感兴趣区域的第二编码参数,即使待处理图像中的不同区域具有不同的编码参数,不再使用预设固定的编码参数,这样,利用各区域对应的编码参数,实现对相应区域的编码,得到感兴趣区域的第一编码数据和非感兴趣区域的第二编码数据,并将对应同一帧待处理图像的第一编码数据和第二编码数据合并为目标编码数据,以便后续能够快速且完整的得到同一帧待处理图像的目标编码数据,由于其对应该待处理图像的不同区域的编码参数不同,使得对不同区域的解码参数也会相应改变,进而使得解码得到的同一帧待处理图像中不同区域的分辨率不同,满足了用户对感兴趣区域的清晰度要求,能够实现细粒度异常特征的高精度检测,同时因本实施例不是直接利用预设采集参数,或直接增大预设采集参数,对整个待处理图像进行编码,也就解决了由此造成的视频分析及传输效率低,占用网络带宽,且企业前期需要投入高分辨率、高带宽的硬件资源,成本高,无法充分利用企业资源等问题。
在一些实施例的实现方式中,尤其是一帧待处理图像中包含多个感兴趣区域的场景中,本实施例将对上文获取各感兴趣区域的第一编码参数,以及非感兴趣区域的第二编码数据的实现过程进行细化,但并不局限于本实施例细化的实现方式,参照图4,为本申请提出的图像处理方法的又一可选实例的流程图,关于识别待处理图像中的感兴趣区域及非感兴趣区域,并将其写入区域缓存队列的过程,可以参照上文实施例相应部分的描述,本实施例主要对后续编码过程进行描述,如图4所示,该图像处理方法可以包括:
步骤S31,从区域缓存队列读取感兴趣区域的区域标识信息;
步骤S32,获取该区域标识信息包含的各感兴趣区域的变化粒度;
步骤S33,依据各感兴趣区域的变化粒度,对区域标识信息包含的预设分辨率进行调整,得到相应感兴趣区域的第一分辨率;
结合上述实施例的分析,为了保证最终输出的目标图像中感兴趣区域的细粒度异常特征清晰,本实施例可以按照各感兴趣区域的变化粒度,确定相应感兴趣区域的分辨率,如变化粒度更细的感兴趣区域,往往需要更高的分辨率,保证输出的相应图像更加清晰,对于这类感兴趣区域可以得到更大的第一分辨率;相对应的,对于变化粒度较粗的感兴趣区域,可以得到相对较小的第一分辨率,但其第一分辨率仍大于非感性区域的第二分辨率,如电子设备外壳划痕这一感兴趣区域的第一分辨率,可以大于屏幕断裂这一感兴趣区域的第一分辨率。
当然,本申请也可以按照同一帧待处理图像中多个感兴趣区域的优先级,来确定各感兴趣区域的第一分辨率,如优先级高的感兴趣区域,其对应的第一分辨率相对于较低优先级的感兴趣区域的第一分辨率要高,具体可以依据摄像头的预设分辨率实现,如预设分辨率满足用户对感兴趣区域的清晰度要求,可以将该预设分辨率配置为较高优先级的感兴趣区域的第一分辨率,通过降低预设分辨率,得到较低优先级的感兴趣区域的第一分辨率;若预设分辨率无法满足用户对感兴趣区域的清晰度要求,可以通过增大预设分辨率,得到各优先级的感兴趣区域的第一分辨率,其中,优先级高的感兴趣区域的第一分辨率,相对于预设分辨率的增加值更大。
步骤S34,利用区域标识信息包含的预设分辨率,得到该待处理图像中的非感兴趣区域的第二分辨率;
其中,非感兴趣区域的第二分辨率小于各感兴趣区域的第一分辨率,根据具体应用场景,第二分辨率可以等于预设分辨率,也可以小于预设分辨率,本申请对第二分辨率的获取方法不做详述。
步骤S35,按照第一分辨率,对待处理图像的相应感兴趣区域进行编码,将得到第一编码数据写入编码缓存队列;
步骤S36,按照第二分辨率,对该待处理图像的非感兴趣区域进行编码,将得到第二编码数据写入该编码缓存队列。
由此可见,本实施例将一帧待处理图像进行区域划分后,动态调整该待处理图像中感兴趣区域的第一分辨率,并使其大于非感兴趣区域的第二分辨率,之后,电子设备可以利用各区域的分辨率,实现对相应区域的有针对性的编码,进而实现解码各区域的编码数据后,所呈现的区域图像的清晰度不同,保证感兴趣区域中细粒度的异常特征能够清晰显示,进而提高了后续图像分析结果的准确性。
在一些实施例的实现方式中,区别于上述实施例描述的仅动态调整各区域的分辨率的实现方式,本实施例还可以调整各区域的帧率,参照图5,为本申请提出的图像处理方法的又一可选实例的流程图,关于识别待处理图像中的感兴趣区域及非感兴趣区域,并将其写入区域缓存队列的过程,可以参照上文实施例相应部分的描述,本实施例主要对后续编码过程进行描述,如图5所示,该图像处理方法可以包括:
步骤S41,从区域缓存队列读取感兴趣区域的区域标识信息;
步骤S42,获取该区域标识信息包含的各感兴趣区域的优先级及变化粒度;
在待处理图像包含多个感兴趣区域的情况下,本实施例主要对可以按照感兴趣程度,对多个感兴趣区域划分优先级,并设定不同优先级的感兴趣区域可以具有不同的编码参数,这种获取感兴趣区域的第一编码参数的实现方式进行说明,关于多个感兴趣区域具有相同的编码参数获取过程,以及待处理图像具有一个感兴趣区域,获取这一个感兴趣区域的编码参数的过程,本申请并未单独举例详述。
其中,在一帧待处理图像包含多个感兴趣区域,并对这多个感兴趣区域的感兴趣程度划分了优先级的情况下,对于优先级较高的感兴趣区域,用户希望其最终显示的图像清晰度更高,本申请对同一帧待处理图像中的多个感兴趣区域的优先级的确定方式,可以由用户划分感兴趣区域时确定,也可以在通过算法识别感兴趣区域时确定,本申请对该优先级的确定方式不做限定。
本实际应用中,若用户需要对感兴趣区域进行区别显示,可以开启感兴趣区域优先级,对于不同优先级的感兴趣区域,对其进行编码时所利用的第一编码参数不同,如帧率、分辨率等不同,对此,本实施例可以预先设定不同优先级感兴趣区域所需帧率与预设帧率之间的关系,以及分辨率的确定方式,即预设配置第一参数调整规则,这样,在读取到某一帧待处理图像的感兴趣区域后,可以直接按照该第一参数调整规则,确定不同优先级的感兴趣区域的第一编码参数,本申请对该第一参数调整规则的内容不做限定。
下面将以帧率和分辨率这两个预设采集参数的调整为例,来说明感兴趣区域及非感兴趣区域各自的编码参数的确定过程,但并不局限于下文描述的实现方式。
步骤S43,按照优先级的高低,对区域标识信息包含的预设帧率进行调整,得到各感兴趣区域对应的第一帧率,依据各感兴趣区域的变化粒度,对区域标识信息包含的预设分辨率进行调整,得到相应感兴趣区域的第一分辨率;
步骤44,利用区域标识信息包含的预设帧率及预设分辨率,得到该待处理图像中的非感兴趣区域的第二帧率和第二分辨率;
继上文描述,本实施例可以预先设定用于确定感兴趣区域的第一编码参数的调整规则,即第一参数调整规则,这样,在需要对同一帧待处理图像的感兴趣区域进行编码之前,可以获取该第一参数调整规则,据此确定出各感兴趣区域的第一帧率、第一分辨率等第一编码参数,本申请对第一参数调整规则的内容不做限定。
对于优先级较高的感兴趣区域,为了得到更为清晰的图像,希望具有较高的编码时间频率,相应地,该感兴趣区域对应的帧率相对于非感兴趣区域的帧率会较高,这种情况下,若摄像头配置的是较低的预设帧率,无法满足检测要求,可以在摄像头具有的预设帧率的基础上,配置一个较大的帧率调整值(其是对预设帧率的增加值),以使该优先级的感兴趣区域得到一个较高的第一帧率;同理,对于优先级较低的感兴趣区域,可以配置一个相对较小的帧率调整值(其是对预设帧率的增加值),以使该感兴趣区域得到一个相对较低的第一帧率,但该第一帧率仍会大于摄像头的预设帧率。此时,本实施例可以将该预设帧率确定为非感性区域的第二帧率,或者通过减小预设帧率,得到非感兴趣区域的第二帧率。
当然,若摄像头配置的是较高的预设帧率和预设分辨率,据此对待处理图像的感兴趣区域进行编解码,能够满足检测要求,参照图6所示的第一参数调整规则,可以该预设帧率和预设分辨率,直接确定为最高优先级的感兴趣区域的第一帧率,对于较低优先级的感兴趣区域的第一帧率,可以通过减少相应地预设帧率得到,如为预设帧率的一半,或其他比例等,这种情况下,非感兴趣区域的第二帧率会更低,如预设帧率的1/3等,本申请对如何降低预设帧率,确定较低优先级的感兴趣区域及非感兴趣区域的帧率各自的帧率的方式及数值不做限定。
对于同一帧待处理图像中各感兴趣区域的第一分辨率的获取过程,可以参照上述实施例的描述,本实施例不再赘述。
作为本申请又一可选实施例,在待处理图像包含多个感兴趣区域的情况下,若用户未开启感兴趣区域优先级,默认该帧待处理图像中的所有感兴趣区域的优先级相同,这种情况下,若摄像头配置的是较低的预设帧率,无法满足检测要求,为了获得更为清晰的感兴趣区域图像,可以通过增大预设帧率及预设分辨率,得到感兴趣区域的第一帧率和第一分辨率,此时,可以将该预设帧率确定为非感兴趣区域的第二帧率,将预设分辨率确定为非感兴趣区域的第二分辨率,也可以通过减小预设帧率和预设分辨率,得到非感兴趣区域的第二帧率及第二分辨率等。
在实际应用中,若待处理图像仅包含一个感兴趣区域,由于感兴趣区域的优先级均高于非感兴趣区域,这种情况下,不存在感兴趣区域之间的优先级,相当于多个感兴趣区域属于同一优先级,可以按照上文描述的相应方式,利用预设采集参数,得到该感兴趣区域的第一帧率,并可以按照上述方式,获取感兴趣区域的第一分辨率,不再赘述。
步骤S45,依据各感兴趣区域对应的第一帧率,得到相应感兴趣区域的第一编码时间频率,依据非感兴趣区域的第二帧率,得到非感兴趣区域的第二编码时间频率;
步骤S46,按照第一编码时间频率及第一分辨率,对待处理图像的相应感兴趣区域进行编码,将得到第一编码数据写入编码缓存队列;
步骤S47,按照第二编码时间频率及第二分辨率,对该待处理图像的非感兴趣区域进行编码,将得到第二编码数据写入该编码缓存队列;
仍以上图3所示实例进行说明,即待处理图像包含两个感兴趣区域,按照上述调整后,得到的第一分辨率分别记为Resi、Resj,以及调整后的第一帧率分别记为FRi,FRj,由此得到这两个感兴趣区域的时间频率,即获取一帧相应感兴趣区域的时间分别是Ti=1000ms/FRi,Tj=1000ms/FRj,之后,参照图7所示的编码示意图,可以依据各感兴趣区域的第一编码时间频率,确定对待处理图像中各感兴趣区域的第一编码时间,即获取一帧待处理图像中的相应感兴趣区域的时间,从而在图像处理时间达到任一感兴趣区域的第一编码时间,按照相应感兴趣区域的第一分辨率,实现对该感兴趣区域的编码。
如图7所示,感兴趣区域1的优先级高于感兴趣区域2的优先级,由按照上述方式得到两个各自的编码参数可知,感兴趣区域1的第一编码时间频率高于感兴趣区域2的第一编码时间频率,因此,获取一帧感兴趣区域1的时间Ti,小于获取一帧感兴趣区域2的时间Tj,如图7所示的时间轴,图像处理时间会先到达Ti,此时,电子设备可以读取感兴趣区域1,按照感兴趣区域1的第一分辨率,对感兴趣区域1进行编码,得到相应的第一编码数据,并将其写入编码缓存队列;经过一段时间后,图像处理时间会达到时间Tj,可以读取感兴趣区域2,可以按照感兴趣区域2的目标分辨率,对感兴趣区域2进行编码,得到对应的第一编码数据,将其写入编码缓存队列。
依次类推,若待处理图像包含更多个感兴趣区域,可以按照上述方式编码,继续将得到的第一编码数据写入该编码缓存队列,随着时间的推移,该编码缓存队列存储的第一编码数据的数量逐渐增多,最后可以存储待处理图像包含的所有感兴趣区域各自的第一编码数据。需要说明,上述第一编码数据可以包含相应感兴趣区域的第一分辨率。
对于待处理图像中非感兴趣区域的编码,可以参照上文对感兴趣区域的编码过程的描述方式实现,即读取非感兴趣区域及其对应的第二帧率和第二分辨率,对第二帧率进行计算,得到非感兴趣区域的第二编码时间频率,按照该第二编码时间频率和第二分辨率,对非感兴趣区域进行编码;当然,在一些实施例中,本申请也可以不按照多个感兴趣区域的编码时间轴进行编码,可以在开始对待处理图像的编码时,直接读取非感兴趣区域及其对应的第二分辨率,按照该第二分辨率,实现对非感兴趣区域的编码,具体编码过程不做详述,其中,得到第二编码数据后,可以直接写入上述编码缓存队列存储。
结合上文对区域标识信息的描述,在对待处理图像进行分区域的编码过程中,可以利用该区域标识信息中的标识信息,来验证是否对这一帧待处理图像包含的所有感兴趣区域和非感兴趣区域完成了编码,如果否,可以按照上述方式继续对未编码的区域进行编码,并将得到的编码数据写入编码缓存队列。如果是,可以执行后续操作。
综上所述,对于获取的任一帧待处理图像,可以先识别其中的感兴趣区域和非感兴趣区域,通过对预设帧率进行动态调整,得到不同优先级的感兴趣区域各自的第一帧率和非感兴趣区域的第二帧率,并依据感兴趣区域的变化粒度,得到各感兴趣区域的第一分辨率,而非感兴趣区域的第二分辨率可以利用预设分辨率得到,之后,可以利用同一帧待处理图像中各区域的帧率,得到各感兴趣区域的第一编码时间频率,结合得到的第一分辨率,实现对相应感兴趣区域的编码,而非感兴趣区域则可以利用第二分辨率进行编码,从而使得同一帧待处理图像中的各区域编码数据的分辨率不同,由于感兴趣区域的第一分辨率会高于非感兴趣区域的第二分辨率,变化粒度更细的感兴趣区域的第一分辨率还会更高,使得解码相应编码数据得到的区域图像更加清晰,满足了用户对待处理图像中不同区域的清晰度要求,能够可靠且高效地检测出感兴趣区域中细粒度异常特征,提高了图像分析结果的准确性及效率,保证了产品的质量及区域的安全性。
基于上文实施例描述的对于包含不同内容编码参数的调整方法可知,为了在满足感兴趣区域的清晰度要求的同时,适当降低对网络带宽的要求,提高数据分析及传输效率,上述调整的各区域的编码参数可以包括分辨率和帧率,若仅考虑感兴趣区域的清晰度要求,上述调整的各区域的编码参数可以包括分辨率;按照该调整思路,若仅考虑各区域的显示流畅度,上述调整的各区域的编码参数可以包括帧率,对于这种调整方式,可以参照上述实施例相应部分的描述,本申请不再单独赘述。
基于上述实施例对应用场景的描述可知,本申请提出的图像处理方法中,上述各实施例描述的待处理图像的采集及编码过程,可以由上述电子设备实现,而对于编码数据的解码,以及所得目标图像的输出过程,可以由该电子设备实现,也可以由其他终端设备实现,本申请对此不做限定。下面将对得到目标编码数据之后的解码过程进行描述,关于目标编码数据的获取过程,可以结合图8并参照上文实施例相应部分的描述,本实施例不再赘述。
参照图9和图10,示出了本申请提出的图像处理方法中解码过程的流程图,该方法可以应用于电子设备,或者与该电子设备通信连接,且具有显示器的终端设备,本申请对该电子设备和终端设备的产品类型不作限定,如图9图10所示,该图像处理方法可以包括:
步骤S51,读取目标编码数据中各感兴趣区域的第一分辨率和标识信息,以及非感兴趣区域的第二分辨率;
按照上述方式对待处理图像中的各区域进行编码后,得到的各区域的编码数据的分辨率可能不同,参照上图8所示的流程示意图,在包含多个感兴趣区域的情况下,若开启多个感兴趣区域的优先级,那么,不同优先级的感兴趣区域的分辨率可能会不同,如2k、4k、8k等高清晰度的分辨率,对于非感兴趣区域的分辨率会比较低,如480p等,本申请对各区域的分辨率的具体数值不做限定,图8所示各区域的分辨率仅用于说明不同区域可以具有不同的分辨率这一编码实现方式,但并不局限于这种编码实现方式。
步骤S52,利用所标识信息及第一分辨率,对相应感兴趣区域的第一编码数据进行解码,得到第一解码数据;
步骤S53,利用非感兴趣区域的第二分辨率,对所述第二编码数据进行解码,得到第二解码数据;
步骤S54,依据感兴趣区域的位置信息及标识信息,对第一解码数据和所述第二解码数据进行合并处理,得到目标图像。
本实施例对各区域的解码过程不做详述,在实际应用中,可以按照感兴趣区域的位置信息,确定相应感兴趣区域在待处理图像中的位置,以保证解码输出的目标图像与原始的待处理图像的各区域相对位置关系不变。而感兴趣区域的标识信息,可以用以保证获取所有感兴趣区域的第一解码数据,以保证输出的目标图像的完整性。
结合上文实施例描述的对待处理图像中不同区域的编码过程,使得各区域的分辨率可以不同,这样,按照该分辨率对相应区域进行解码后,使得解码得到的各区域具有不同的分辨率,即使得目标图像中各区域的分辨率不同,即各区域的清晰度不同,对于感兴趣区域的清晰度往往会高于非感兴趣区域的清晰度,保证后续图像分析时,能够可靠识别出感兴趣区域中细粒度的特征信息,提高图像分析结果的效率及准确性。
在一些实施例的实际应用中,若用户不需要监测待处理图像中的非感兴趣区域,本申请也可以不用对非感兴趣区域进行编码、解码,这种情况下,只需要按照上述处理方式,对感兴趣区域进行处理,最终输出感兴趣区域的图像,后续只需要对感兴趣区域的图像进行分析,具体实现过程可以参照上述实施例中对感兴趣区域的处理,不再赘述。
本实施例中,为了降低对网络带宽的要求,提高数据编解码速度,以及数据传输速度等,对于待处理图像中用户不感兴趣的区域,可以利用比摄像头预设的采集参数更低的帧率、分辨率进行编码,本申请对非感兴趣区域进行编码所依据的帧率和分辨率的具体数值不做限定。
参照图11,示出了本申请提出的图像处理装置的一可选示例的结构示意图,该装置可以应用于电子设备,本申请对电子设备的产品类型不做限定,如图11所示,该装置可以包括:
图像获取模块11,用于获取待处理图像,待处理图像是按照预设采集参数采集得到的;
区域识别模块12,用于识别待处理图像中的感兴趣区域及非感兴趣区域,获取感兴趣区域的区域标识信息,区域标识信息包含预设采集参数;
在一些实施例的实现方式中,区域识别模块12可以包括:
感兴趣区域识别单元,用于识别待处理图像中的感兴趣区域,对感兴趣区域进行坐标定位,得到感兴趣区域的位置信息;
可选的,该感兴趣区域识别单元可以包括:
第一区域识别单元,用于响应于用户针对待处理图像的区域划分操作,得到待处理图像中的感兴趣区域,或者;
第二区域识别单元,用于利用历史感兴趣数据,对待处理图像进行分析,得到待处理图像中的感兴趣区域;
非感兴趣区域确定单元,用于将待处理图像中,除感兴趣区域之外的区域确定为非感兴趣区域。
区域标识信息生成单元,用于利用位置信息及预设采集参数,按照预设标注格式,生成感兴趣区域的区域标识信息,区域标识信息能够表明待处理图像包含的感兴趣区域的数量。
在一些实施例中,该图像处理装置还可以包括:
裁剪模块,用于利用区域标识信息,对待处理图像中的感兴趣区域进行裁剪;
区域缓存模块,用于将裁剪得到的感兴趣区域以及区域标识信息写入区域缓存队列。
编码参数获取模块13,用于利用区域标识信息,得到待处理图像中相应感兴趣区域的第一编码参数,以及非感兴趣区域的第二编码参数;
在一些实施例中,若区域标识信息包括感兴趣区域的位置信息及预设采集参数,该编码参数获取模块13可以包括:
编码参数获取单元,用于利用预设采集参数,按照第一参数调整规则,得到待处理图像中相应感兴趣区域的第一编码参数,及非感兴趣区域的第二编码参数;
其中,第一编码参数包含的参数数值,大于第二编码参数包含的相同类型参数的参数数值。
在感兴趣区域的数量为多个的情况下,区域标识信息还包括多个感兴趣区域的标识信息,上述编码参数获取单元可以包括:
第一调整参数获取单元,用于利用标识信息,获取待处理图像中各感兴趣区域的变化粒度;
分辨率第一调整单元,用于依据各感兴趣区域的变化粒度,对预设采集参数中的预设分辨率进行调整,得到相应感兴趣区域的第一分辨率;
其中,各感兴趣区域的第一分辨率均大于非感兴趣区域的第二编码参数中的第二分辨率。
在一些实施例的实现方式中,上述编码参数获取单元也可以包括:
第二调整参数获取单元,用于利用标识信息,获取待处理图像中各感兴趣区域的优先级及变化粒度;帧率调整单元,用于按照优先级的高低,对预设采集参数中的预设帧率进行调整,得到各感兴趣区域对应的第一帧率;
其中,优先级越高的感兴趣区域的第一帧率越大,且各感兴趣区域的第一帧率均大于非感兴趣区域的第二编码参数中的第二帧率;
分辨率第二调整单元,用于依据各感兴趣区域的变化粒度,对预设采集参数中的预设分辨率进行调整,得到相应感兴趣区域的第一分辨率;
其中,各感兴趣区域的第一分辨率均大于非感兴趣区域的第二编码参数中的第二分辨率。
编码模块14,用于按照第一编码参数,对待处理图像中相应感兴趣区域进行编码,得到第一编码数据,按照第二编码参数,对待处理图像中的非感兴趣区域进行编码,得到第二编码数据;
继上文一些实施例的描述,编码模块14可以包括:
编码数据第一获取单元,用于按照第一分辨率,对待处理图像中相应感兴趣区域进行编码,得到多个第一编码数据;
编码数据第二获取单元,用于按照第二分辨率,对待处理图像中的非感兴趣区域进行编码,得到第二编码数据。
在另一些实施例中,上述编码模块14也可以包括:
编码时间频率获取单元,用于依据各感兴趣区域对应的第一帧率,得到相应感兴趣区域的编码时间频率;
编码数据第三获取单元,用于按照编码时间频率及第一分辨率,对待处理图像中相应感兴趣区域进行编码,得到多个第一编码数据;
编码数据第四获取单元,用于按照非感兴趣区域的第二帧率及第二分辨率,对待处理图像中的非感兴趣区域进行编码,得到第二编码数据。
编码数据组装模块15,用于对第一编码数据和第二编码数据进行合并处理,得到待处理图像的目标编码数据,以便依据编码数据得到具有不同分辨率区域的目标图像。
在一些实施例中,区域标识信息包括感兴趣区域的位置信息,上述编码数据组装模块15可以包括:
编码数据读取单元,用于利用区域标识信息,从编码缓存队列中,读取待处理图像包含的所有感兴趣区域的第一编码数据,及非感兴趣区域的第二编码数据;
第二组装单元,用于按照位置信息,对待处理图像对应的第一编码数据及第二编码数据进行合并处理,得到目标编码数据。
在上述各实施例的基础上,若区域标识信息包括感兴趣区域的位置信息及标识信息,第一编码参数包括相应感兴趣区域的第一分辨率,第二编码参数包括非感兴趣区域的第二分辨率,且感兴趣区域的第一分辨率高于非感兴趣区域的第二分辨率,该图像处理装置还可以包括:
解码参数读取模块,用于读取目标编码数据中各感兴趣区域的第一分辨率和标识信息,以及非感兴趣区域的第二分辨率;
第一解码模块,用于利用标识信息及第一分辨率,对相应感兴趣区域的第一编码数据进行解码,得到第一解码数据;
第二解码模块,用于利用非感兴趣区域的第二分辨率,对第二编码数据进行解码,得到第二解码数据;
第二组装模块,用于依据位置信息及标识信息,对第一解码数据和第二解码数据进行合并处理,得到目标图像。
需要说明的是,关于上述各装置实施例中的各种模块、单元等,均可以作为程序模块存储在存储器中,由处理器执行存储在存储器中的上述程序模块,以实现相应的功能,关于各程序模块及其组合所实现的功能,以及达到的技术效果,可以参照上述方法实施例相应部分的描述,本实施例不再赘述。
本申请还提供了一种存储介质,其上可以存储计算机程序,该计算机程序可以被处理器调用并加载,以实现上述实施例描述的图像处理方法的各个步骤。
参照图12,示出了本申请提出的一种电子设备的可选示例的结构图,该电子设备可以包括:图像采集器11、通信接口12、存储器13及处理器14,其中:
通信接口12、存储器13、处理器14各自数量可以是至少一个,且图像采集器11、通信接口12、存储器13及处理器14之间可以通过通信总线进行通信。
图像采集器11可以用于采集拍摄场景下的待处理图像,如摄像头,本申请对图像采集器11的结构不做详述。
通信接口12可以为通信模块的接口,如GSM模块的接口,可以实现与其他设备的数据交互,还可以包括如USB接口、串/并口等接口,用于实现电子设备内部组成部件之间的数据交互,可以根据该电子设备的产品类型确定,本申请不做一一详述。
存储器13可以用于存储实现上述图像处理方法的程序,还可以存储该图像处理方法执行过程中产生的数据,如区域缓存队列、编码缓存队列等存储的数据等。
本实施例中,存储器13可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件或其他易失性固态存储器件。
处理器14可以用于加载并执行存储器存储的程序,以实现上述图像处理方法的各步骤,具体实现过程可以参照上述方法实施例相应部分的描述。
本实施例中,处理器14可以为中央处理器(Central Processing Unit,CPU)、特定应用集成电路(application-specific integrated circuit,ASIC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。
应该理解的是,图12所示的电子设备的结构并不构成对本申请实施例中电子设备的限定,在实际应用中电子设备可以包括比图11所示的更多或更少的部件,或者组合某些部件,本申请在此不做一一列举。
本申请实施例还提供了一种图像处理系统,该系统可以包括上述实施例描述的电子设备,以及能够与该电子设备进行通信连接的终端设备。其中,电子设备与终端设备之间可以按照RTSP(Real Time Streaming Protocol,实时流传输协议),实现编码数据的传输,但并不局限于这种网络流媒体协议。
在实际应用中,用户可以在终端设备的客户端上针对待处理图像进行播放操作,终端设备可以向电子设备发送读取请求,电子设备响应该读取请求,可以将该待处理图像的各区域的编码数据反馈至终端设备,此时会携带各区域的分辨率等编码参数,以使终端设备按照各区域的分辨率,对相应的编码数据进行解码,输出的到的目标图像。
由此可见,该终端设备可以包括存储器、处理器及显示器,但并不局限于此,其中,存储器可以存储实现上述实施例描述的解码过程的程序,处理器可以加载并执行该程序,实现上述图像处理方法中的解码过程的各步骤,本申请对该终端设备的各组成部分的结构及其功能不做详述。
需要说明,本说明书中各个实施例采用递进或并列的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、电子设备、系统而言,由于其与实施例公开的方法对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种图像处理方法,所述方法包括:
获取待处理图像,所述待处理图像是按照预设采集参数采集得到的;
识别所述待处理图像中的感兴趣区域及非感兴趣区域,获取所述感兴趣区域的区域标识信息;
利用所述区域标识信息,得到所述待处理图像中相应感兴趣区域的第一编码参数,以及所述非感兴趣区域的第二编码参数;
按照所述第一编码参数,对所述待处理图像中相应感兴趣区域进行编码,得到第一编码数据,按照所述第二编码参数,对所述待处理图像中的非感兴趣区域进行编码,得到第二编码数据;
对所述第一编码数据和所述第二编码数据进行合并处理,得到所述待处理图像的目标编码数据,以便依据所述编码数据得到具有不同分辨率区域的目标图像。
2.根据权利要求1所述的方法,所述识别所述待处理图像中的感兴趣区域及非感兴趣区域,获取所述感兴趣区域的区域标识信息,包括:
识别所述待处理图像中的感兴趣区域,对所述感兴趣区域进行坐标定位,得到所述感兴趣区域的位置信息;
利用所述位置信息及预设采集参数,按照预设标注格式,生成所述感兴趣区域的区域标识信息,所述区域标识信息能够表明所述待处理图像包含的所述感兴趣区域的数量。
3.根据权利要求2所述的方法,所述方法还包括:
利用所述区域标识信息,对所述待处理图像中的感兴趣区域进行裁剪;
将裁剪得到的感兴趣区域以及所述区域标识信息写入区域缓存队列。
4.根据权利要求1所述的方法,所述区域标识信息包括所述感兴趣区域的位置信息及所述预设采集参数,所述利用所述区域标识信息,得到所述待处理图像中相应感兴趣区域的第一编码参数,以及所述非感兴趣区域的第二编码参数,包括:
利用所述预设采集参数,按照第一参数调整规则,得到所述待处理图像中相应感兴趣区域的第一编码参数,及所述非感兴趣区域的第二编码参数;
其中,所述第一编码参数包含的参数数值,大于所述第二编码参数包含的相同类型参数的参数数值。
5.根据权利要求4所述的方法,在所述感兴趣区域的数量为多个的情况下,所述区域标识信息还包括多个感兴趣区域的标识信息,所述利用所述预设采集参数,按照第一参数调整规则,得到待处理图像中相应感兴趣区域的第一编码参数,包括:
利用所述标识信息,获取所述待处理图像中各感兴趣区域的变化粒度;
依据所述各感兴趣区域的变化粒度,对所述预设采集参数中的预设分辨率进行调整,得到相应感兴趣区域的第一分辨率,其中,各感兴趣区域的第一分辨率均大于所述非感兴趣区域的第二编码参数中的第二分辨率;
利用多个感兴趣区域各自的第一分辨率,生成相应感兴趣区域的第一编码参数。
6.根据权利要求5所述的方法,所述利用所述预设采集参数,按照第一参数调整规则,得到待处理图像中相应感兴趣区域的第一编码参数,还包括:
利用所述标识信息,获取所述待处理图像中各感兴趣区域的优先级;
按照所述优先级的高低,对所述预设采集参数中的预设帧率进行调整,得到所述各感兴趣区域对应的第一帧率,其中,优先级越高的感兴趣区域的第一帧率越大,且各感兴趣区域的第一帧率均大于所述非感兴趣区域的第二编码参数中的第二帧率;
所述利用多个感兴趣区域各自的第一分辨率,生成相应感兴趣区域的第一编码参数,包括:
利用多个感兴趣区域各自的第一帧率及第一分辨率,生成相应感兴趣区域的第一编码参数;
所述利用所述第一编码参数,对所述待处理图像中相应感兴趣区域进行编码,得到第一编码数据,包括:
依据各感兴趣区域对应的第一帧率,得到相应感兴趣区域的编码时间频率;
按照所述编码时间频率及所述第一分辨率,对所述待处理图像中相应感兴趣区域进行编码,得到多个第一编码数据。
7.根据权利要求1~6任一项所述的方法,所述区域标识信息包括所述感兴趣区域的位置信息,所述对所述第一编码数据和所述第二编码数据进行合并处理,得到所述待处理图像的目标编码数据,包括:
利用所述区域标识信息,从编码缓存队列中,读取所述待处理图像包含的所有感兴趣区域的第一编码数据,及所述非感兴趣区域的第二编码数据;
按照所述位置信息,对所述待处理图像对应的所述第一编码数据及所述第二编码数据进行合并处理,得到目标编码数据。
8.根据权利要求1~6任一项所述的方法,所述区域标识信息包括所述感兴趣区域的位置信息及标识信息,所述第一编码参数包括相应感兴趣区域的第一分辨率,所述第二编码参数包括所述非感兴趣区域的第二分辨率,且所述感兴趣区域的第一分辨率高于所述非感兴趣区域的第二分辨率,所述方法还包括:
读取所述目标编码数据中各感兴趣区域的第一分辨率和标识信息,以及所述非感兴趣区域的第二分辨率;
利用所述标识信息及所述第一分辨率,对相应感兴趣区域的第一编码数据进行解码,得到第一解码数据;
利用所述非感兴趣区域的第二分辨率,对所述第二编码数据进行解码,得到第二解码数据;
依据所述位置信息及所述标识信息,对所述第一解码数据和所述第二解码数据进行合并处理,得到目标图像。
9.一种图像处理装置,所述装置包括:
图像获取模块,用于获取待处理图像,所述待处理图像是按照预设采集参数采集得到的;
区域识别模块,用于识别所述待处理图像中的感兴趣区域及非感兴趣区域,获取所述感兴趣区域的区域标识信息;
编码参数获取模块,用于利用所述区域标识信息,得到所述待处理图像中相应感兴趣区域的第一编码参数,以及所述非感兴趣区域的第二编码参数;
编码模块,用于按照所述第一编码参数,对所述待处理图像中相应感兴趣区域进行编码,得到第一编码数据,按照所述第二编码参数,对所述待处理图像中的非感兴趣区域进行编码,得到第二编码数据;
编码数据组装模块,用于对所述第一编码数据和所述第二编码数据进行合并处理,得到所述待处理图像的目标编码数据,以便依据所述编码数据得到具有不同分辨率区域的目标图像。
10.一种电子设备,所述电子设备包括:图像采集器;通信接口;
存储器,用于存储实现如权利要求1~8任一项所述的图像处理方法的程序;
处理器,用于加载并执行所述存储器存储的程序,以实现如权利要求1~8任一项所述的图像处理方法的各步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910940313.8A CN110572579B (zh) | 2019-09-30 | 2019-09-30 | 图像处理方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910940313.8A CN110572579B (zh) | 2019-09-30 | 2019-09-30 | 图像处理方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110572579A true CN110572579A (zh) | 2019-12-13 |
CN110572579B CN110572579B (zh) | 2021-09-14 |
Family
ID=68783561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910940313.8A Active CN110572579B (zh) | 2019-09-30 | 2019-09-30 | 图像处理方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110572579B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111062870A (zh) * | 2019-12-16 | 2020-04-24 | 联想(北京)有限公司 | 一种处理方法及装置 |
CN111445408A (zh) * | 2020-03-25 | 2020-07-24 | 浙江大华技术股份有限公司 | 一种对图像进行差异化处理的方法、装置及存储介质 |
CN111667411A (zh) * | 2020-06-12 | 2020-09-15 | 深圳天度物联信息技术有限公司 | 一种图像传输方法、装置、电子设备及存储介质 |
CN111768352A (zh) * | 2020-06-30 | 2020-10-13 | Oppo广东移动通信有限公司 | 图像处理方法及装置 |
WO2021057689A1 (zh) * | 2019-09-27 | 2021-04-01 | 腾讯科技(深圳)有限公司 | 视频解码方法及装置、视频编码方法及装置、存储介质和电子装置 |
CN112954398A (zh) * | 2021-02-07 | 2021-06-11 | 杭州朗和科技有限公司 | 编码方法、解码方法、装置、存储介质及电子设备 |
CN112995713A (zh) * | 2021-03-02 | 2021-06-18 | 广州酷狗计算机科技有限公司 | 视频处理方法、装置、计算机设备及存储介质 |
CN113065553A (zh) * | 2021-04-01 | 2021-07-02 | 杭州思看科技有限公司 | 数据处理方法、装置、三维扫描系统和电子装置 |
CN113099254A (zh) * | 2021-03-31 | 2021-07-09 | 上海平安智慧教育科技有限公司 | 分区域变分辨率的在线教学方法、系统、设备及存储介质 |
WO2021143233A1 (zh) * | 2020-01-17 | 2021-07-22 | 苏州科达科技股份有限公司 | 图像清晰度检测方法、系统、设备及存储介质 |
CN113409582A (zh) * | 2020-03-16 | 2021-09-17 | 浙江宇视科技有限公司 | 一种图像处理方法、装置及电子设备和存储介质 |
CN113691764A (zh) * | 2021-10-25 | 2021-11-23 | 广州朗国电子科技股份有限公司 | 基于鸿蒙系统的多会议设备屏幕共享方法和设备 |
CN113766274A (zh) * | 2021-09-23 | 2021-12-07 | 阿里云计算有限公司 | 图像编码、解码方法、电子设备及存储介质 |
CN114913471A (zh) * | 2022-07-18 | 2022-08-16 | 深圳比特微电子科技有限公司 | 一种图像处理方法、装置和可读存储介质 |
CN116761019A (zh) * | 2023-08-24 | 2023-09-15 | 瀚博半导体(上海)有限公司 | 视频处理方法、系统、计算机设备及计算机可读存储介质 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101150657A (zh) * | 2006-02-17 | 2008-03-26 | 索尼株式会社 | 数据处理设备、数据处理方法和程序 |
CN101252687A (zh) * | 2008-03-20 | 2008-08-27 | 上海交通大学 | 实现多通道联合的感兴趣区域视频编码及传输的方法 |
CN101945275A (zh) * | 2010-08-18 | 2011-01-12 | 镇江唐桥微电子有限公司 | 一种基于感兴趣区域的视频编码方法 |
US20120314948A1 (en) * | 2011-06-07 | 2012-12-13 | Qualcomm Incorporated | Multiple description coding with plural combined diversity |
CN103179405A (zh) * | 2013-03-26 | 2013-06-26 | 天津大学 | 一种基于多级感兴趣区域的多视点视频编码方法 |
CN103618900A (zh) * | 2013-11-21 | 2014-03-05 | 北京工业大学 | 基于编码信息的视频感兴趣区域提取方法 |
CN103974071A (zh) * | 2013-01-29 | 2014-08-06 | 富士通株式会社 | 基于感兴趣区域的视频编码方法和设备 |
CN104205815A (zh) * | 2012-02-10 | 2014-12-10 | 谷歌公司 | 适应性感兴趣区域 |
CN104427336A (zh) * | 2013-09-02 | 2015-03-18 | 苏州威迪斯特光电科技有限公司 | 基于感兴趣区域补偿编码的视频质量提高方法 |
US20170280166A1 (en) * | 2014-07-28 | 2017-09-28 | Jaunt, Inc. | Probabilistic model to compress images for three-dimensional video |
CN107454395A (zh) * | 2017-08-23 | 2017-12-08 | 上海安威士科技股份有限公司 | 一种高清网络摄像机及智能码流控制方法 |
CN108737724A (zh) * | 2017-04-17 | 2018-11-02 | 英特尔公司 | 用于360视频捕获和显示的系统和方法 |
CN109034136A (zh) * | 2018-09-06 | 2018-12-18 | 湖北亿咖通科技有限公司 | 图像处理方法、装置、摄像设备及存储介质 |
CN109068137A (zh) * | 2013-07-10 | 2018-12-21 | 微软技术许可有限责任公司 | 兴趣区域感知的视频编码 |
CN110033410A (zh) * | 2019-03-28 | 2019-07-19 | 华中科技大学 | 图像重建模型训练方法、图像超分辨率重建方法及装置 |
CN110189293A (zh) * | 2019-04-15 | 2019-08-30 | 广州锟元方青医疗科技有限公司 | 细胞图像处理方法、装置、存储介质及计算机设备 |
-
2019
- 2019-09-30 CN CN201910940313.8A patent/CN110572579B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101150657A (zh) * | 2006-02-17 | 2008-03-26 | 索尼株式会社 | 数据处理设备、数据处理方法和程序 |
CN101252687A (zh) * | 2008-03-20 | 2008-08-27 | 上海交通大学 | 实现多通道联合的感兴趣区域视频编码及传输的方法 |
CN101945275A (zh) * | 2010-08-18 | 2011-01-12 | 镇江唐桥微电子有限公司 | 一种基于感兴趣区域的视频编码方法 |
US20120314948A1 (en) * | 2011-06-07 | 2012-12-13 | Qualcomm Incorporated | Multiple description coding with plural combined diversity |
CN104205815A (zh) * | 2012-02-10 | 2014-12-10 | 谷歌公司 | 适应性感兴趣区域 |
CN103974071A (zh) * | 2013-01-29 | 2014-08-06 | 富士通株式会社 | 基于感兴趣区域的视频编码方法和设备 |
CN103179405A (zh) * | 2013-03-26 | 2013-06-26 | 天津大学 | 一种基于多级感兴趣区域的多视点视频编码方法 |
CN109068137A (zh) * | 2013-07-10 | 2018-12-21 | 微软技术许可有限责任公司 | 兴趣区域感知的视频编码 |
CN104427336A (zh) * | 2013-09-02 | 2015-03-18 | 苏州威迪斯特光电科技有限公司 | 基于感兴趣区域补偿编码的视频质量提高方法 |
CN103618900A (zh) * | 2013-11-21 | 2014-03-05 | 北京工业大学 | 基于编码信息的视频感兴趣区域提取方法 |
US20170280166A1 (en) * | 2014-07-28 | 2017-09-28 | Jaunt, Inc. | Probabilistic model to compress images for three-dimensional video |
CN108737724A (zh) * | 2017-04-17 | 2018-11-02 | 英特尔公司 | 用于360视频捕获和显示的系统和方法 |
CN107454395A (zh) * | 2017-08-23 | 2017-12-08 | 上海安威士科技股份有限公司 | 一种高清网络摄像机及智能码流控制方法 |
CN109034136A (zh) * | 2018-09-06 | 2018-12-18 | 湖北亿咖通科技有限公司 | 图像处理方法、装置、摄像设备及存储介质 |
CN110033410A (zh) * | 2019-03-28 | 2019-07-19 | 华中科技大学 | 图像重建模型训练方法、图像超分辨率重建方法及装置 |
CN110189293A (zh) * | 2019-04-15 | 2019-08-30 | 广州锟元方青医疗科技有限公司 | 细胞图像处理方法、装置、存储介质及计算机设备 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021057689A1 (zh) * | 2019-09-27 | 2021-04-01 | 腾讯科技(深圳)有限公司 | 视频解码方法及装置、视频编码方法及装置、存储介质和电子装置 |
CN111062870B (zh) * | 2019-12-16 | 2022-03-25 | 联想(北京)有限公司 | 一种处理方法及装置 |
CN111062870A (zh) * | 2019-12-16 | 2020-04-24 | 联想(北京)有限公司 | 一种处理方法及装置 |
WO2021143233A1 (zh) * | 2020-01-17 | 2021-07-22 | 苏州科达科技股份有限公司 | 图像清晰度检测方法、系统、设备及存储介质 |
CN113409582A (zh) * | 2020-03-16 | 2021-09-17 | 浙江宇视科技有限公司 | 一种图像处理方法、装置及电子设备和存储介质 |
CN111445408A (zh) * | 2020-03-25 | 2020-07-24 | 浙江大华技术股份有限公司 | 一种对图像进行差异化处理的方法、装置及存储介质 |
CN111667411A (zh) * | 2020-06-12 | 2020-09-15 | 深圳天度物联信息技术有限公司 | 一种图像传输方法、装置、电子设备及存储介质 |
CN111768352A (zh) * | 2020-06-30 | 2020-10-13 | Oppo广东移动通信有限公司 | 图像处理方法及装置 |
CN111768352B (zh) * | 2020-06-30 | 2024-05-07 | Oppo广东移动通信有限公司 | 图像处理方法及装置 |
CN112954398A (zh) * | 2021-02-07 | 2021-06-11 | 杭州朗和科技有限公司 | 编码方法、解码方法、装置、存储介质及电子设备 |
CN112995713A (zh) * | 2021-03-02 | 2021-06-18 | 广州酷狗计算机科技有限公司 | 视频处理方法、装置、计算机设备及存储介质 |
CN113099254A (zh) * | 2021-03-31 | 2021-07-09 | 上海平安智慧教育科技有限公司 | 分区域变分辨率的在线教学方法、系统、设备及存储介质 |
CN113065553A (zh) * | 2021-04-01 | 2021-07-02 | 杭州思看科技有限公司 | 数据处理方法、装置、三维扫描系统和电子装置 |
CN113766274A (zh) * | 2021-09-23 | 2021-12-07 | 阿里云计算有限公司 | 图像编码、解码方法、电子设备及存储介质 |
CN113691764A (zh) * | 2021-10-25 | 2021-11-23 | 广州朗国电子科技股份有限公司 | 基于鸿蒙系统的多会议设备屏幕共享方法和设备 |
CN114913471A (zh) * | 2022-07-18 | 2022-08-16 | 深圳比特微电子科技有限公司 | 一种图像处理方法、装置和可读存储介质 |
CN114913471B (zh) * | 2022-07-18 | 2023-09-12 | 深圳比特微电子科技有限公司 | 一种图像处理方法、装置和可读存储介质 |
CN116761019A (zh) * | 2023-08-24 | 2023-09-15 | 瀚博半导体(上海)有限公司 | 视频处理方法、系统、计算机设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110572579B (zh) | 2021-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110572579B (zh) | 图像处理方法、装置及电子设备 | |
US9936208B1 (en) | Adaptive power and quality control for video encoders on mobile devices | |
US11003891B2 (en) | Image processing method and apparatus, and electronic device | |
US11503304B2 (en) | Source-consistent techniques for predicting absolute perceptual video quality | |
US20150156557A1 (en) | Display apparatus, method of displaying image thereof, and computer-readable recording medium | |
CN112954398B (zh) | 编码方法、解码方法、装置、存储介质及电子设备 | |
US10638135B1 (en) | Confidence-based encoding | |
US9471958B2 (en) | Image processing method and apparatus | |
US20190289311A1 (en) | Methods and systems for video synopsis | |
US20200193585A1 (en) | Information processing apparatus, system, method for controlling information processing apparatus, and non-transitory computer-readable storage medium | |
CN111787398A (zh) | 视频压缩方法、装置、设备及存储装置 | |
WO2023005740A1 (zh) | 图像编码、解码、重建、分析方法、系统及电子设备 | |
US11960996B2 (en) | Video quality assessment method and apparatus | |
KR20210066653A (ko) | 전자 장치 및 그 제어 방법 | |
JP5950605B2 (ja) | 画像処理システム、及び、画像処理方法 | |
CA3057924A1 (en) | System and method to optimize the size of a video recording or video transmission by identifying and recording a region of interest in a higher definition than the rest of the image that is saved or transmitted in a lower definition format | |
CN107886518B (zh) | 图片检测方法、装置、电子设备及可读取存储介质 | |
CN113452996B (zh) | 一种视频编码、解码方法及装置 | |
WO2020078130A1 (zh) | 视频处理方法、装置、电子设备以及存储介质 | |
US20230326086A1 (en) | Systems and methods for image and video compression | |
US10783670B2 (en) | Method for compression of 360 degree content and electronic device thereof | |
US20220108427A1 (en) | Method and an electronic device for detecting and removing artifacts/degradations in media | |
CN113191210A (zh) | 一种图像处理方法、装置及设备 | |
US11893791B2 (en) | Pre-processing image frames based on camera statistics | |
CN107357906B (zh) | 数据处理方法、装置及图像采集设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |