CN111343463A - 一种图像编码设备、方法及图像编码器 - Google Patents
一种图像编码设备、方法及图像编码器 Download PDFInfo
- Publication number
- CN111343463A CN111343463A CN202010291136.8A CN202010291136A CN111343463A CN 111343463 A CN111343463 A CN 111343463A CN 202010291136 A CN202010291136 A CN 202010291136A CN 111343463 A CN111343463 A CN 111343463A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- encoded
- compression rate
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
Abstract
本申请公开了一种图像编码设备、方法及图像编码器。图像编码设备包括图像编码器、数据输入接口以及数据输出接口。图像编码器分别与数据输入接口以及数据输出接口通信连接。其中图像编码器包括接收模块、人工智能处理模块、编码模块以及输出模块。并且其中接收模块用于通过数据输入接口接收待编码图像。人工智能处理模块用于检测待编码图像中的目标对象。编码模块用于以第一压缩率对待编码图像中包含目标对象的第一图像区域进行编码,以第二压缩率对待编码图像中不包含目标对象的第二图像区域进行编码,生成编码后的编码图像,其中第一压缩率小于第二压缩率。通过本实施例,可以提高图像数据在稳定传输时的图像质量。
Description
技术领域
本发明申请涉及图像处理领域,特别是涉及一种图像编码设备、方法及图像编码器。
背景技术
随着技术的发展,更多高分辨率的成像技术应用在成像设备中,比如高清摄像机或者单反照相机等等。通常利用这些成像设备产生的大量高清视频流数据或者图像数据进行图像数据传输,以满足人们在工作、学习和生活中对高清视频流数据和图像数据的获取。为了保证图像数据传输的速率和稳定性,通常使用图像处理器对图像数据进行图像编码处理。
现有的图像编码处理设备中,会对整个完整的图像数据进行统一压缩,如果想要获取高的清晰度,必然会导致图像在压缩过程中压缩率过低,码率过高。比如,对1080p@30fps的图像数据进行压缩,为获取1080p的清晰画面,需要码率达到5Mbps,而在日常生活中的宽带的上行带宽就是5Mbps,这种现有的网络速度很难满足1080p的高清度画面,从而无法满足图像数据在稳定传输时的图像质量。
发明内容
本公开提供了一种图像编码设备、方法及图像编码器,可以提高图像数据在稳定传输时的图像质量。
第一方面,本发明提供了一种图像编码设备,包括图像编码器、数据输入接口以及数据输出接口。图像编码器分别与数据输入接口以及数据输出接口通信连接。其中图像编码器包括接收模块、人工智能处理模块、编码模块以及输出模块。并且其中接收模块用于通过数据输入接口接收待编码图像。人工智能处理模块用于检测待编码图像中的目标对象。编码模块用于以第一压缩率对待编码图像中包含目标对象的第一图像区域进行编码,以第二压缩率对待编码图像中不包含目标对象的第二图像区域进行编码,生成编码后的编码图像,其中第一压缩率小于第二压缩率。
第二方面,本申请发明提供了一种图像编码器,包括接收模块、人工智能处理模块、编码模块以及输出模块。其中接收模块用于接收待编码图像。人工智能处理模块用于检测待编码图像中的目标对象。编码模块用于以第一压缩率对待编码图像中包含目标对象的第一图像区域进行编码,以第二压缩率对待编码图像中不包含目标对象的第二图像区域进行编码,生成编码后的编码图像,其中第一压缩率小于第二压缩率。
第三方面,本申请发明提供了一种图像编码方法。包括:接收待编码图像;检测待编码图像中的目标对象;以及以第一压缩率对待编码图像中包含目标对象的第一图像区域进行编码,以及以第二压缩率对待编码图像中不包含目标对象的第二图像区域进行编码,生成编码后的编码图像,其中第一压缩率小于所述第二压缩率。
本发明实施例中提供的图像编码设备中,通过图像编码器中的人工智能处理模块检测所接收的待编码图像中的目标对象,使用图像编码器中的编码模块以第一压缩率对包含目标对象的第一图像区域进行编码,以第二压缩率对不包含目标对象的第二图像区域进行编码,其中第一压缩率小于第二压缩率。通过对目标对象以较低压缩率的第一压缩率进行编码,能够保证图像中重视度较高的目标对象对应区域的清晰度,从而提高了图像的视觉观看质量。综上,通过对待编码图像进行分区域的图片编码处理能够在保证图像数据稳定传输的同时,还提高了图像质量。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解,这些附图未必是按比例绘制的。附图中:
图1为本申请一实施例提供的一种图像编码设备的结构示意图;
图2为本申请一实施例提供的一种图像编码器的结构示意图;
图3为本申请一实施例提供的一种图像编码方法的流程示意图。
附图标记:图像编码器100,数据输入接口200,数据输出接口300,存储器400,控制模块110、接收模块120,人工智能处理模块130,编码模块140,第一编码单元141,第二编码单元142,输出模块150,存储控制模块160,预处理模块170,图像格式转换单元171,图像缩放单元172,图像增强单元173,卷积神经网络单元131~13n,HDMI/DP接口单元121~12n,HDMI/DP输入接口201~20n,HDMI/DP输出单元151,网络接口单元152,HDMI/DP输出接口301,网络接口302。
具体实施方式
需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
为了使本技术领域的人员更好地理解本公开方案,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分的实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本公开保护的范围。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,以便这里描述的本公开的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
根据本实施例提供的第一方面,图1为本申请一实施例提供的一种图像编码设备的结构示意图。如图1所示,图像编码设备包括图像编码器100、数据输入接口200以及数据输出接口300。其中,图像编码器100分别与数据输入接口200以及数据输出接口300通信连接。
其中,图像编码器100包括接收模块120、人工智能处理模块130、编码模块140以及输出模块150。并且其中,接收模块120用于通过数据输入接口200接收待编码图像,人工智能处理模块130用于检测待编码图像中的目标对象,以及编码模块140用于以第一压缩率对待编码图像中包含目标对象的第一图像区域进行编码,以及以第二压缩率对待编码图像中不包含目标对象的第二图像区域进行编码,生成编码后的编码图像,其中第一压缩率小于第二压缩率。
本申请实施例中的待编码图像,可以是通过图片直接获取的图像数据,也可以是通过视频流中实时获取的图像数据,这里不做特殊限定。
具体地,通过编码模块140以第一压缩率对包含目标对象的第一图像区域进行编码,以及以第二压缩率对不包含目标对象的第二图像区域进行编码,其中第一压缩率小于第二压缩率。即通过编码模块140可以实现将待编码图像进行分区域编码处理后,使得在以较高压缩率(例如第二压缩率)对待编码图像进行编码的同时,还能保证图像中重视度较高的目标对象对应区域的图像信息不会因为过高的压缩率编码而丢失,从而提高了图像的视觉观看质量。
比如,在一张目标对象为人脸的待编码图像中,人脸所在的图像区域为第一区域,不包含人脸所在的图像区域为第二区域,通过编码模块140以第一压缩率对第一区域进行编码处理,且以第二压缩率对第二区域进行编码处理(其中第一压缩率小于第二压缩率),得到编码后的图像。由于在这种包含人像的图像中,人像中的人脸普遍为用户关注的重点,所以将人脸设置为目标对象,在对待编码图像在图像编码时,以较低的压缩率对人脸所在的区域进行编码,能够保证人脸所在的区域的图像信息不会因为过高的压缩率编码而损失,从而提高观看质量。
本实施例提供的图像编码器100可以是基于FPGA实现的编码器。具体地,例如可以是利用XILINX的Zynq UltraScale+MPSoC或Intel的Stratix 10实现的编码器。并且,其中图像编码器100中的编码模块140,在一个具体的实施例中,可以为H264/H265编码模块,也可以是其他类型的编码模块,具体类型这里不做特殊限制。
并且进一步地参考图1所示,编码模块140可以包括第一编码单元141和第二编码单元142,其中第一编码单元141用于以第一压缩率对包含目标对象的第一图像区域进行编码,以及第二编码单元142用于以第二压缩率对不包含目标对象的第二图像区域进行编码。
本发明实施例中提供的图像编码设备中,通过图像编码器100中的人工智能处理模块130检测所接收的待编码图像中的目标对象,使用图像编码器100中的编码模块140以第一压缩率对包含目标对象的第一图像区域进行编码,以第二压缩率对不包含目标对象的第二图像区域进行编码,其中第一压缩率小于第二压缩率,通过对目标对象使用第一压缩率进行图像数据的编码能够提高目标对象的图像质量。综上,对高清视频数据流中的待编码图像实现图片压缩处理从而能够保证图像数据稳定传输的同时,还可以提高图像质量。
可选地,如图1所示的图像编码设备,还包括存储器400,并且图像编码器100还包括存储控制模块160,其中存储器400与存储控制模块160通信连接,并且其中存储控制模块160分别与接收模块120、人工智能处理模块130、编码模块140以及输出模块150通信连接。
具体地,存储控制模块160分别与接收模块120、人工智能处理模块130、编码模块140以及输出模块150通信连接。从而接收模块120、人工智能处理模块130、编码模块140以及输出模块150与存储控制模块160之间进行交互,从而将待编码图像和编码后的图像写入存储器400并可以通过存储器400中读取。通过这种方式,可以提高图像编码器100对存储器400的使用效率。
可选地,如图1所示的图像编码设备,图像编码器100还包括预处理模块170,预处理模块170与存储控制模块160通信连接,其中预处理模块170用于通过存储控制模块160从存储器400中读取所接收的待编码图像,并对待编码图像进行预处理,以便适于人工智能处理模块130检测。
可选地,如图1所示的图像编码设备,预处理模块170包括图像格式转换单元171、图像缩放单元172以及图像增强单元173。其中图像格式转换单元171用于将待编码图像的图像格式转换为适于人工智能处理模块130检测的图像格式,图像缩放单元172用于对待编码图像进行分辨率缩小或放大处理,图像增强单元173用于对待编码图像进行图像去噪增强处理。
具体地,通过图像格式转换单元171将待编码图像的图像格式转换为适于人工智能处理模块130检测的图像格式,比如,通过HDMI/DP数据输入接口接收的待编码图像的图像格式为YUV格式,人工智能处理模块130只能接收RGB格式,则通过图像格式转换单元171将接收的YUV格式的待编码图像转换为RGB格式的待编码图像。
通过图像缩放单元172对待编码图像进行分辨率缩小或放大处理,也是将待编码图像的分辨率调整为适于人工智能处理模块130进行检测的分辨率大小。比如,将分辨率1920*1080的待编码图像缩小为分辨率1024*768的待编码图像,有助于人工智能处理模块130进行快速检测。另外,图像增强单元173对待编码图像进行图像去噪增强处理,可以抑制待编码图像中的噪声,同时增强待编码图像中的细节信息,从而增强人工智能处理模块130对目标对象的检测效率。
可选地,图像编码器100还包括控制模块110,其中控制模块110分别与接收模块120、预处理模块170、人工智能处理模块130、编码模块140以及输出模块(150)通信连接。
其中控制模块110用于控制接收模块120、预处理模块170、人工智能处理模块130、编码模块140以及输出模块150执行各自对应的指令。
可选地,如图1所示的图像编码设备,人工智能处理模块130包括卷积神经网络单元131~13n,其中卷积神经网络单元131~13n用于在待编码图像中检测目标对象且确定目标对象的位置信息,并将目标对象的位置信息在控制模块110的控制下,通过存储控制模块160写入存储器400。
其中,通过卷积神经网络单元131~13n检测目标对象且通过计算确定目标对象的位置信息,并将目标对象的位置信息在控制模块110的控制下,通过存储控制模块160写入存储器400。比如,通过卷积神经网络单元131~13n检测待编码图像中的“人脸”,并通过计算确定“人脸”在待编码图像中具体的位置信息,然后将该位置信息通过控制模块110控制存储控制模块160写入存储器400。
可选地,编码模块140配置用于:在控制模块110的控制下,通过存储控制模块160从存储器400中读取待编码图像以及位置信息。根据位置信息,以第一压缩率对包含目标对象的第一图像区域进行编码,以及以第二压缩率对不包含目标对象的第二图像区域进行编码,生成所述编码图像;以及在控制模块110的控制下,将编码图像通过存储控制模块160写入存储器400。
从而,在本实施例中,编码模块140从存储器400获取待编码图像,并且将生成的编码图像写入存储器400。通过这种方式,可以以存储器400作为介质在编码模块140与其他模块之间进行图像数据的交互。
可选地,如图1所示的图像编码设备,接收模块120包括HDMI/DP接口单元121~12n,数据输入接口200包括HDMI/DP输入接口201~20n。其中HDMI/DP接口单元121~12n与对应的HDMI/DP输入接口201~20n通信连接,用于接收由HDMI/DP输入接口201~20n接收的HDMI格式或DP格式的待编码图像。
进一步地,图像编码器100可以包括多个HDMI/DP接口单元121~12n,从而可以同时接收多路待编码图像,并且进一步地,HDMI/DP接口单元121~12n可以通过存储控制模块160将所接收的待编码图像写入存储器400。
可选地,输出模块150包括HDMI/DP输出单元151,数据输出接口300包括HDMI/DP输出接口301,其中HDMI/DP输出单元151与HDMI/DP输出接口301通信连接,用于在控制模块110的控制下,通过存储控制模块160从存储器400读取待编码图像,并通过HDMI/DP输出接口301以HDMI格式或DP格式发送至远端设备。和/或输出模块150包括网络接口单元152,并且数据输出接口300包括网络接口302,其中网络接口单元152与网络接口302通信连接,用于在控制模块110的控制下,通过存储控制模块160从存储器400读取编码后的编码图像,并通过网络接口302发送至远端设备。
优选的,如图1所示的图像编码设备,输出模块150包括HDMI/DP输出单元151和网络接口单元152,其中,HDMI/DP输出单元151中包含解码子单元,数据输出接口300包括HDMI/DP输出接口301和网络接口302。且其中HDMI/DP输出单元151与HDMI/DP输出接口301通信连接,网络接口单元152与网络接口302通信连接。
从而在上述优选的实施例中,可以通过HDMI/DP输出单元151将待编码图像进行传输,或者通过HDMI/DP输出单元151的解码子单元将读取的编码图像进行解码,然后以HDMI格式或DP格式将视频输出给本地的显示器,从而可以在本地查看编码后的图像质量。此外,也可以通过网络接口302,将编码后的编码图像通过网络进行传输。
根据本实施例提供的第二方面,图2为本申请一实施例提供的一种图像编码器100的结构示意图。如图2所示,图像编码器100包括接收模块120、人工智能处理模块130、编码模块140以及输出模块150。其中接收模块120用于接收待编码图像,人工智能处理模块130用于检测待编码图像中的目标对象。编码模块140用于以第一压缩率对待编码图像中包含目标对象的第一图像区域进行编码,以及以第二压缩率对待编码图像中不包含目标对象的第二图像区域进行编码,生成编码后的编码图像,其中第一压缩率小于第二压缩率。
进一步地参考图1所示,编码模块140可以包括第一编码单元141和第二编码单元142,其中第一编码单元141用于以第一压缩率对包含目标对象的第一图像区域进行编码,以及第二编码单元142用于以第二压缩率对不包含目标对象的第二图像区域进行编码。
可选地,如图2所示,图像编码器100还包括存储控制模块160,其中存储控制模块160分别与接收模块120、人工智能处理模块130、编码模块140以及输出模块150通信连接,并且用于与外设的存储器400通信连接。
可选地,如图2所示,图像编码器100还包括预处理模块170,预处理模块170与存储控制模块160通信连接。其中预处理模块170用于通过存储控制模块160从存储器400中读取所接收的待编码图像,并对所述待编码图像进行预处理,以便适于所述人工智能处理模块(130)检测。
可选地,如图2所示,预处理模块170包括图像格式转换单元171、图像缩放单元172以及图像增强单元173。其中图像格式转换单元171用于将待编码图像的图像格式转换为适于人工智能处理模块130检测的图像格式,图像缩放单元172用于对待编码图像进行分辨率缩小或扩大处理,图像增强单元173用于对待编码图像进行图像去噪增强处理。
可选地,如图2所示,图像编码器100还包括控制模块110,其中控制模块110分别与接收模块120、预处理模块170、人工智能处理模块130、编码模块140以及输出模块150分别通信连接。
可选地,如图2所示,人工智能处理模块130包括卷积神经网络单元131~13n,其中卷积神经网络单元131~13n用于在待编码图像中检测目标对象且确定目标对象的位置信息,并将包含目标对象的位置信息在控制模块110的控制下,通过存储控制模块160写入存储器400。
可选地,如图2所示,编码模块140配置用于:在控制模块110的控制下,通过存储控制模块160从存储器400中读取待编码图像以及位置信息;根据位置信息,以第一压缩率对包含目标对象的第一图像区域进行编码,以及以第二压缩率对不包含目标对象的第二图像区域进行编码,生成编码图像;以及在控制模块110的控制下,将编码图像通过存储控制模块160写入存储器400。
可选地,如图2所示,接收模块120包括HDMI/DP接口单元121~12n,其中HDMI/DP接口单元121~12n用于通过外设的HDMI/DP输入接口接收HDMI格式或DP格式的待编码图像。
可选地,图像编码器100可以包括多个HDMI/DP接口单元121~12n,从而可以同时接收多路待编码图像,并且进一步地,HDMI/DP接口单元121~12n可以通过存储控制模块160将所接收的待编码图像写入存储器400。
可选地,输出模块150包括HDMI/DP输出单元151和/或网络接口单元152。其中HDMI/DP输出单元151用于在控制模块110的控制下,通过存储控制模块160从存储器400读取待编码图像,并将读取的待编码图像以HDMI格式或DP格式发送至远端设备。网络接口单元152用于在控制模块110的控制下,通过控制模块110控制存储控制模块160从存储器400读取编码后的编码图像,并通过外设的网络接口302发送至远端设备。
本实施例第二方面提供的图像编码器100可以参照第一方面提供的图像编码设备中的图像编码器100的所有描述,并且能够实现第一方面提供的图像编码设备中的图像编码器100的所有功能,这里不再赘述。
本实施例提供的图像编码器100中,通过人工智能处理模块130检测所接收的待编码图像中的目标对象,使用图像编码器100中的编码模块140以第一压缩率对包含目标对象的第一图像区域进行编码,以第二压缩率对不包含目标对象的第二图像区域进行编码,其中第一压缩率小于第二压缩率,通过对目标对象以较低压缩率的第一压缩率进行编码,能够保证图像中重视度较高的目标对象对应区域的清晰度,从而提高了图像的视觉观看质量。综上,通过对待编码图像进行分区域的图片编码处理能够在保证图像数据稳定传输的同时,还提高了图像质量。
根据本实施例提供的第三方面,图3为本申请一实施例提供的一种图像编码方法的流程示意图。如图3所示,包括如下步骤:
S301,接收待编码图像;
S302,检测待编码图像中的目标对象;以及
S303,以第一压缩率对待编码图像中包含目标对象的第一图像区域进行编码,以及以第二压缩率对待编码图像中不包含目标对象的第二图像区域进行编码,生成编码后的编码图像,其中第一压缩率小于第二压缩率。
具体地,关于本实施例第三个方面所描述的图像编码方法的具体描述可参考本实施例中第一方面所描述的图像编码设备的相关描述,这里不再赘述。从而本方法通过检测接收的待编码图像中的目标对象。以第一压缩率对待编码图像中包含目标对象的第一图像区域进行编码,以及以第二压缩率对待编码图像中不包含目标对象的第二图像区域进行编码,生成编码后的编码图像,其中第一压缩率小于所述第二压缩率。通过对目标对象以较低压缩率的第一压缩率进行编码,能够保证图像中重视度较高的目标对象对应区域的清晰度,从而提高了图像的视觉观看质量。综上,通过对待编码图像进行分区域的图片编码处理能够在保证图像数据稳定传输的同时,还提高了图像质量。
可选地,在检测待编码图像中的目标对象之前,包括:对待编码图像进行图像预处理,生成适于检测目标对象的待编码图像。
可选地,对待编码图像进行图像预处理,生成适于检测目标对象的待编码图像,包括如下至少一项操作:将待编码图像转换为适于编码处理的图像格式;对待编码图像进行分辨率压缩或扩大处理;以及对待编码图像进行图像去噪增强处理。
可选地,检测待编码图像中的目标对象,包括:根据预设的卷积神经网络模型,在待编码图像中检测目标对象且确定目标对象的位置信息。
可选地,以第一压缩率对待编码图像中包含目标对象的第一图像区域进行编码,以及以第二压缩率对待编码图像中不包含目标对象的第二图像区域进行编码,生成编码后的编码图像,其中第一压缩率小于第二压缩率,包括:
根据位置信息,以第一压缩率对待编码图像中包含目标对象的第一图像区域进行编码,以及以第二压缩率对待编码图像中不包含目标对象的第二图像区域进行编码,生成编码后的编码图像,其中第一压缩率小于第二压缩率。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
为了便于描述,在这里可以使用空间相对术语,如“在……之上”、“在……上方”、“在……上表面”、“上面的”等,用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是,空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如,如果附图中的器件被倒置,则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而,示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位),并且对这里所使用的空间相对描述作出相应解释。
在本公开的描述中,需要理解的是,方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系,仅是为了便于描述本公开和简化描述,在未作相反说明的情况下,这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作,因此不能理解为对本公开保护范围的限制;方位词“内、外”是指相对于各部件本身的轮廓的内外。
以上所述,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种图像编码设备,其特征在于,包括图像编码器(100)、数据输入接口(200)以及数据输出接口(300),所述图像编码器(100)分别与所述数据输入接口(200)以及所述数据输出接口(300)通信连接,其中
所述图像编码器(100)包括接收模块(120)、人工智能处理模块(130)、编码模块(140)以及输出模块(150),并且其中
所述接收模块(120)用于通过所述数据输入接口(200)接收待编码图像;
所述人工智能处理模块(130)用于检测所述待编码图像中的目标对象;以及
所述编码模块(140)用于以第一压缩率对所述待编码图像中包含所述目标对象的第一图像区域进行编码,以及以第二压缩率对所述待编码图像中不包含所述目标对象的第二图像区域进行编码,生成编码后的编码图像,其中所述第一压缩率小于所述第二压缩率。
2.根据权利要求1所述的图像编码设备,其特征在于,还包括存储器(400),并且所述图像编码器(100)还包括存储控制模块(160),其中所述存储器(400)与所述存储控制模块(160)通信连接,并且其中
所述存储控制模块(160)分别与所述接收模块(120)、所述人工智能处理模块(130)、所述编码模块(140)以及所述输出模块(150)通信连接。
3.根据权利要求2所述的图像编码设备,其特征在于,所述图像编码器(100)还包括预处理模块(170),所述预处理模块(170)与所述存储控制模块(160)通信连接,其中
所述预处理模块(170)用于通过所述存储控制模块(160)从所述存储器(400)中读取所接收的待编码图像,并对所述待编码图像进行预处理,以便适于所述人工智能处理模块(130)检测。
4.根据权利要求3所述的图像编码设备,其特征在于,所述预处理模块(170)包括图像格式转换单元(171)、图像缩放单元(172)以及图像增强单元(173),其中
所述图像格式转换单元(171)用于将所述待编码图像的图像格式转换为适于所述人工智能处理模块(130)检测的图像格式;
所述图像缩放单元(172)用于对所述待编码图像进行分辨率缩小或放大处理;
所述图像增强单元(173)用于对所述待编码图像进行图像去噪增强处理。
5.根据权利要求3所述的图像编码设备,其特征在于,所述图像编码器(100)还包括控制模块(110),其中
所述控制模块(110)分别与所述接收模块(120)、所述预处理模块(170)、所述人工智能处理模块(130)、所述编码模块(140)以及所述输出模块(150)通信连接。
6.根据权利要求5所述的图像编码设备,其特征在于,所述人工智能处理模块(130)包括卷积神经网络单元(131~13n),其中
所述卷积神经网络单元(131~13n)用于在所述待编码图像中检测所述目标对象且确定所述目标对象的位置信息,并将所述目标对象的位置信息在所述控制模块(110)的控制下,通过所述存储控制模块(160)写入所述存储器(400)。
7.根据权利要求6所述的图像编码设备,其特征在于,所述编码模块(140)配置用于:
在所述控制模块(110)的控制下,通过所述存储控制模块(160)从所述存储器(400)中读取所述待编码图像以及所述位置信息;
根据所述位置信息,以所述第一压缩率对包含所述目标对象的所述第一图像区域进行编码,以及以所述第二压缩率对不包含所述目标对象的所述第二图像区域进行编码,生成所述编码图像;以及
在所述控制模块(110)控制下,将所述编码图像通过所述存储控制模块(160)写入所述存储器(400)。
8.根据权利要求1所述的图像编码设备,其特征在于,所述接收模块(120)包括HDMI/DP接口单元(121~12n),所述数据输入接口(200)包括HDMI/DP输入接口(201~20n),其中
所述HDMI/DP接口单元(121~12n)与对应的所述HDMI/DP输入接口(201~20n)通信连接,用于接收由所述HDMI/DP输入接口(201~20n)发送的HDMI格式或DP格式的待编码图像。
9.一种图像编码器(100),其特征在于,所述图像编码器(100)包括接收模块(120)、人工智能处理模块(130)、编码模块(140)以及输出模块(150),其中
所述接收模块(120)用于接收待编码图像;
所述人工智能处理模块(130)用于检测所述待编码图像中的目标对象;以及
所述编码模块(140)用于以第一压缩率对所述待编码图像中包含所述目标对象的第一图像区域进行编码,以及以第二压缩率对所述待编码图像中不包含所述目标对象的第二图像区域进行编码,生成编码后的编码图像,其中所述第一压缩率小于所述第二压缩率。
10.一种图像编码方法,其特征在于,包括:
接收待编码图像;
检测所述待编码图像中的目标对象;以及
以第一压缩率对所述待编码图像中包含所述目标对象的第一图像区域进行编码,以及以第二压缩率对所述待编码图像中不包含所述目标对象的第二图像区域进行编码,生成编码后的编码图像,其中所述第一压缩率小于所述第二压缩率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010291136.8A CN111343463A (zh) | 2020-04-14 | 2020-04-14 | 一种图像编码设备、方法及图像编码器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010291136.8A CN111343463A (zh) | 2020-04-14 | 2020-04-14 | 一种图像编码设备、方法及图像编码器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111343463A true CN111343463A (zh) | 2020-06-26 |
Family
ID=71184818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010291136.8A Pending CN111343463A (zh) | 2020-04-14 | 2020-04-14 | 一种图像编码设备、方法及图像编码器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111343463A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113613071A (zh) * | 2021-07-30 | 2021-11-05 | 上海商汤临港智能科技有限公司 | 一种图像处理方法、装置、计算机设备和存储介质 |
WO2024066755A1 (zh) * | 2022-09-29 | 2024-04-04 | 歌尔股份有限公司 | 图像显示方法、装置及电子设备 |
-
2020
- 2020-04-14 CN CN202010291136.8A patent/CN111343463A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113613071A (zh) * | 2021-07-30 | 2021-11-05 | 上海商汤临港智能科技有限公司 | 一种图像处理方法、装置、计算机设备和存储介质 |
CN113613071B (zh) * | 2021-07-30 | 2023-10-20 | 上海商汤临港智能科技有限公司 | 一种图像处理方法、装置、计算机设备和存储介质 |
WO2024066755A1 (zh) * | 2022-09-29 | 2024-04-04 | 歌尔股份有限公司 | 图像显示方法、装置及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10027970B2 (en) | Render-orientation information in video bitstream | |
US20140092439A1 (en) | Encoding images using a 3d mesh of polygons and corresponding textures | |
CN113206971B (zh) | 一种图像处理方法及显示设备 | |
EP3301643A1 (en) | Method and apparatus for rectified motion compensation for omnidirectional videos | |
EP3434021B1 (en) | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices | |
CN112954398B (zh) | 编码方法、解码方法、装置、存储介质及电子设备 | |
CN111343463A (zh) | 一种图像编码设备、方法及图像编码器 | |
JPWO2020004013A5 (zh) | ||
CN112991242A (zh) | 图像处理方法、图像处理装置、存储介质与终端设备 | |
EP4254934A1 (en) | Image processing method and apparatus, and electronic device | |
CN106713739A (zh) | 一种基于电子屏幕显示的二维码的识别方法 | |
CN212231643U (zh) | 一种图像编码设备及图像编码器 | |
CN103517076A (zh) | 图像传输系统及其传输端装置与接收端装置 | |
WO2015185537A1 (en) | Method and device for reconstruction the face of a user wearing a head mounted display | |
WO2023280266A1 (zh) | 鱼眼图像压缩、鱼眼视频流压缩以及全景视频生成方法 | |
CN111062894A (zh) | 人工智能处理器以及人工智能分析设备 | |
CN202818497U (zh) | 基于高清数字摄像头监控的电子ptz装置 | |
US20210012454A1 (en) | Method and system of image processing of omnidirectional images with a viewpoint shift | |
CN113658073A (zh) | 图像去噪处理方法、装置、存储介质与电子设备 | |
CN110769252A (zh) | 一种利用ai人脸检测提升编码质量的方法 | |
WO2024012227A1 (zh) | 应用于电子设备的图像显示方法、编码方法及相关装置 | |
CN211267002U (zh) | 一种图像处理设备及图像处理器 | |
KR102604657B1 (ko) | 영상 압축 성능 개선 방법 및 장치 | |
CN214675325U (zh) | 一种图像采集系统 | |
CN211349420U (zh) | 人工智能分析设备以及人工智能处理器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |