CN114793265A - 图像处理器、电子设备及图像矫正方法 - Google Patents
图像处理器、电子设备及图像矫正方法 Download PDFInfo
- Publication number
- CN114793265A CN114793265A CN202110103860.8A CN202110103860A CN114793265A CN 114793265 A CN114793265 A CN 114793265A CN 202110103860 A CN202110103860 A CN 202110103860A CN 114793265 A CN114793265 A CN 114793265A
- Authority
- CN
- China
- Prior art keywords
- image
- scene
- reference object
- feature
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003702 image correction Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012937 correction Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims description 78
- 238000000605 extraction Methods 0.000 claims description 58
- 238000013145 classification model Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012805 post-processing Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种图像处理器、电子设备及图像矫正方法,其中,本申请在进行图像矫正时,并不采用固定的矫正模板进行矫正,而是动态地确定出针对拍摄场景的参考对象,并以该参考对象为参照对拍摄场景的历史图像进行分析,得到参考对象实时的参考特征,进而利用该参考特征对拍摄得到当前图像进行矫正,以此,使得矫正后的图像能够更准确地反应拍摄场景,达到提升图像矫正准确性的目的。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及一种图像处理器、电子设备及图像矫正方法。
背景技术
目前,电子设备在拍摄时,通常会对原始拍摄的图像进行矫正后再进行输出。比如,拍摄时一般都存在畸变的问题,畸变属于成像的几何失真,它是由于焦平面上不同区域对影像的放大率不同而形成的画面扭曲变形现象,大部分情况下,这些失真都是需要矫正到正常人眼不产生扭曲的程度。然而,相关技术中,进行图像矫正的准确性较差。
发明内容
本申请实施例提供一种图像处理器、电子设备及图像矫正方法,可以提高图像矫正的准确性。
本申请公开一种图像处理器,包括:
数据接口单元,用于从摄像头获取拍摄场景的场景图像;
第一处理单元,用于根据所述场景图像确定所述拍摄场景中的参考对象,并获取所述参考对象在所述场景图像中的当前图像特征;以及获取对应所述场景图像的多个历史场景图像,并根据所述多个历史场景图像获取所述参考对象的参考图像特征;
第二处理单元,用于根据所述当前图像特征与所述参考图像特征的特征差异,对所述场景图像进行图像矫正,得到矫正图像。
本申请还公开一种电子设备,包括:
摄像头,用于采集拍摄场景的场景图像;
图像处理器,用于根据所述场景图像确定所述拍摄场景中的参考对象,并获取所述参考对象在所述场景图像中的当前图像特征;以及获取对应所述场景图像的多个历史场景图像,并根据所述多个历史场景图像获取所述参考对象的参考图像特征;以及根据根据所述当前图像特征与所述参考图像特征的特征差异,对所述场景图像进行图像矫正,得到矫正图像;
应用处理器,用于对所述矫正图像进行后处理,得到处理后图像。
本申请还公开一种电子设备,包括:
摄像头,用于采集拍摄场景的场景图像;
图像处理器,用于根据所述场景图像确定所述拍摄场景中的参考对象,并获取所述参考对象在所述场景图像中的当前图像特征;以及获取对应所述场景图像的多个历史场景图像,并根据所述多个历史场景图像获取所述参考对象的参考图像特征;
应用处理器,用于根据所述当前图像特征与所述参考图像特征的特征差异,对所述场景图像进行图像矫正,得到矫正图像。
本申请还公开一种电子设备,包括处理器和存储器,所述存储器存储有计算机程序,其特征在于,所述处理器通过加载所述计算机程序执行如本申请提供的图像矫正方法。
本申请还公开一种图像矫正方法,包括:
获取拍摄场景的场景图像;
根据所述场景图像确定所述拍摄场景中的参考对象,并获取所述参考对象在所述场景图像中的当前图像特征;
获取对应所述场景图像的多个历史场景图像,并根据所述多个历史场景图像获取所述参考对象的参考图像特征;
根据所述当前图像特征与所述参考图像特征的特征差异,对所述场景图像进行图像矫正,得到矫正图像。
本申请通过获取拍摄场景的场景图像;根据所述场景图像确定所述拍摄场景中的参考对象,并获取所述参考对象在所述场景图像中的当前图像特征;获取对应所述场景图像的多个历史场景图像,并根据所述多个历史场景图像获取所述参考对象的参考图像特征;根据所述当前图像特征与所述参考图像特征的特征差异,对所述场景图像进行图像矫正,得到矫正图像。可以看出,本申请在进行图像矫正时,并不采用固定的矫正模板进行矫正,而是动态地确定出针对拍摄场景的参考对象,并以该参考对象为参照对拍摄场景的历史图像进行分析,得到参考对象实时的参考特征,进而利用该参考特征对拍摄得到当前图像进行矫正,以此,使得矫正后的图像能够更准确地反应拍摄场景,达到提升图像矫正准确性的目的。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的图像处理器的结构示意图。
图2为本申请实施例中摄像头的径向畸变示例图。
图3为本申请实施例中将一场景图像分割为多个对象区域的示例图。
图4为本申请实施例中确定的参考对象的示例图。
图5为本申请实施例中根据多个历史图像特征聚类得到参考图像特征的示意图。
图6为本申请实施例中图像处理器矫正得到矫正图像并根据矫正图像传输至应用处理器的示意图。
图7为本申请实施例中分区域进行图像矫正的示意图。
图8为本申请实施例提供的电子设备的一结构示意图。
图9为本申请实施例提供的图像矫正方法的流程示意图。
图10为本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
请参照图1,图1为本申请实施例提供的图像处理器100的第一种结构示意图。该图像处理器100可包括数据接口单元110、第一处理单元120和第二处理单元130,其中,
数据接口单元110用于从摄像头获取拍摄场景的场景图像;
第一处理单元120用于根据场景图像确定拍摄场景中的参考对象,并获取参考对象在场景图像中的当前图像特征;以及获取对应场景图像的多个历史场景图像,并根据多个历史场景图像获取参考对象的参考图像特征;
第二处理单元130用于根据当前图像特征与参考图像特征的特征差异,对场景图像进行图像矫正,得到矫正图像。
应当说明的是,本申请所提供的图像处理器100可以配置在具备摄像头和应用处理器的电子设备中,用于对摄像头拍摄的图像进行图像矫正。其中,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑等具备摄像头的移动式电子设备,也可以是台式电脑、电视等具备摄像头的固定式电子设备。
本申请实施例对电子设备所配置的摄像头的类型以及数量不做具体限定,可由本领域普通技术人员根据实际需要进行配置,比如,以焦距作为摄像头类型的划分标准,电子设备配置的摄像头包括但不限于标准摄像头、广角摄像头、超广角摄像头以及长焦摄像头等。
通常的,摄像头由多部分组成,主要包括镜头、马达以及图像传感器等。其中,镜头用于将外界的光信号投射至图像传感器;图像传感器用于将镜头投射的光信号进行光电转换,将光信号转换为可用的电信号,得到原始的图像数据;而马达用于驱动镜头移动,从而调整镜头和图像传感器之间的距离,以满足成像公式(或称透镜成像公式、高斯成像公式等),使得成像清晰。
摄像头的拍摄场景可以理解为摄像头在使能后所对准的区域,即摄像头能够将光信号转换为对应图像数据的区域。比如,电子设备在根据用户操作使能摄像头之后,若用户控制电子设备的摄像头对准一包括某物体的区域,则包括该物体的区域即为摄像头的拍摄场景。
本申请实施例中,数据接口单元110用于从摄像头获取拍摄场景的场景图像。应当说明的是,本申请实施例中对于数据接口单元110的类型不做具体限制,包括但不限于移动产业处理器接口(Mobile Industry Processor Interface,MIPI)以及PCI-E接口等。
根据以上描述,本领域普通技术人员应当理解的是,拍摄场景并非特指某一特定场景,而是跟随摄像头的指向所实时对准的场景。通常的,拍摄场景并不仅仅包括单一的对象,其中存在各种各样的对象。比如,当在某拍摄场景进行人像的拍摄时,摄像头的拍摄场景中不仅包括拍摄的“人物”对象,还可能存在草地、树木、建筑物等其他对象。
应当说明的是,摄像头在拍摄时产生的失真并不是全局的,拍摄的图像中即存在失真的部分,也存在未失真的部分。比如,请参照图2,以畸变(即形状失真)为例,径向畸变是沿着摄像头中镜头半径方向分布的畸变,产生原因是光线在远离镜头中心的地方比靠近中心的地方更加弯曲,如图2所示,示出了径向畸变的两种类型,可以看出,无论是枕形畸变还是桶形畸变,在图像中心基本上不存在基本,而随着中心往半径方向移动,畸变则越来越严重。
可以理解的是,对于同一对象,其在不同时刻可能位于图像中失真的部分,也可能位于中未失真的部分,因此,可以利用对应场景图像的多个历史场景图像来对场景图像进行矫正。
相应的,在数据接口单元110从摄像头获取到拍摄场景的场景图像之后,第一处理单元120按照配置的对象确定策略,根据前述场景图像确定拍摄场景中的参考对象。此处对前述对象确定策略的配置不作具体限制,示例性地,可以根据需要矫正的图像参数进行参考对象的选取,比如,在对图像的畸变进行矫正时,可以选取具有固定形状的对象作为参考对象,如选取建筑物的外形边缘作为参考对象、选取马路的边缘作为参考对象,选取汽车的轮廓(虽然汽车在拍摄场景中的位置可能存在变动,但一些基本的轮廓是具有一定规律的)等;又比如,在对图像的颜色进行矫正时,可以选择具有固定颜色的对象作为参考对象,如选取红色的消防栓作为参考对象,选取绿色的邮筒作为参考对象等。
如上,在根据场景图像确定拍摄场景中的参考对象之后,第一处理单元120进一步获取参考对象在场景图像中的图像特征,记为当前图像特征。其中,获取的图像特征的类型与需要矫正的图像参数相关,比如,当需要对场景图像的畸变进行矫正时,第一处理单元120可以获取参考对象在场景图像中的形状特征,作为其当前图像特征;又比如,当需要对场景图像的颜色进行矫正时,第一处理单元120可以获取参考对象在场景图像中的颜色特征,作为其当前图像特征。
此外,除了获取参考对象在场景图像的当前图像特征之外,第一处理单元120还获取到对应场景图像的多个历史场景图像,并根据这多个历史场景图像对参考对象可能的实际图像特征进行分析,将分析出的可能的实际图像特征作为参考对象的参考图像特征。其中,历史场景图像即摄像头在拍摄得到前述场景图像之前对前述拍摄场景所拍摄得到的图像。应当说明的是,此处获取的多个历史场景图像可以是非连续的,也可以是连续的,具体可由本领域普通技术人员根据实际需要进行配置。
如上,在获取到参考对象在场景图像的当前图像特征,以及根据对应场景图像的多个历史场景图像获取到参考对象的参考图像特征之后,第二处理单元130即可根据当前图像特征和参考图像特征的特征差异识别场景图像是否出现失真,并相应进行矫正。示例性地,可以设置当特征差异的差异值达到预设差异值时,判定场景图像出现失真,否则未出现失真,此处对预设差异值的取值不作具体限制,可由本领域普通技术人员根据实际需要进行取值。
比如,当对场景图像进行畸变矫正时,获取到参考对象在场景图像中的当前图像特征描述其边缘为曲线,而根据多个历史场景图像获取到该参考对象的参考图像特征描述其边缘为直线,则可知该场景图像出现了畸变的情况,需要进行畸变矫正,此时第二处理单元130即可根据当前图像特征和参考图像特征的特征差异,对场景图像的形状进行矫正,并将矫正后的场景图像记为矫正图像。
又比如,当对场景图像进行颜色矫正时,获取到参考对象在场景图像中的当前图像特征描述其颜色为紫色,而根据多个历史场景图像获取到该参考对象的参考图像特征描述其颜色为红色,则可知该场景图像出现了颜色失真的情况,需要进行颜色矫正,此时第二处理单元130即可根据当前图像特征和参考图像特征的特征差异,对场景图像的颜色进行矫正,并将矫正后的场景图像记为矫正图像。
应当说明的是,在其他实施例中,若根据当前图像特征和参考图像特征的特征差异判定场景图像未出现失真,则第二处理单元130不对场景图像进行矫正。
由上可知,本申请提供的图像处理器,通过数据接口单元从摄像头获取拍摄场景的场景图像,通过第一处理单元根据场景图像确定拍摄场景中的参考对象,并获取参考对象在场景图像中的当前图像特征,以及获取对应场景图像的多个历史场景图像,并根据多个历史场景图像获取参考对象的参考图像特征,通过第二处理单元根据当前图像特征与参考图像特征的特征差异,对场景图像进行图像矫正,得到矫正图像。以此,将本申请提供的图像处理器应用于电子设备时,使得电子设备在进行图像矫正时,并不采用固定的矫正模板进行矫正,而是动态地确定出针对拍摄场景的参考对象,并以该参考对象为参照对拍摄场景的历史图像进行分析,得到参考对象实时的参考特征,进而利用该参考特征对拍摄得到当前图像进行矫正,以此,使得矫正后的图像能够更准确地反应拍摄场景,提升电子设备进行图像矫正的准确性。
可选地,在一实施例中,第一处理单元120用于通过预训练的分类模型对场景图像进行分类,以确定拍摄场景中存在的对象;以及将拍摄场景中存在的对象中的预设类型对象作为参考对象。
应当说明的是,在本申请实施例中,第一处理单元120为适于运行神经网络模型的处理单元,比如,第一处理单元120可以为神经网络处理单元。
其中,第一处理单元120部署有预训练的分类模型,该分类模型被配置为对输入的图像中存在的对象进行分类。相应的,第一处理单元120在数据接口单元110从摄像头获取到拍摄场景的场景图像之后,即可将获取到场景图像输入到分类模型中进行分类,得到场景图像的多个对象区域,也即是将场景图像分割为了多个对象区域,场景图像中的这些对象区域即描述了拍摄场景中存在的对象。比如,请参照图3,其中相同颜色的区域代表同一类型的对象区域,如图3示出的车、人、道路以及植物等对象。
在确定拍摄场景中存在的对象之后,第一处理单元120将拍摄场景中存在的对象中的预设类型对象作为参考对象。
示例性地,在对场景图像的畸变(形状失真)进行矫正时,预设类型对象可以配置为具有固定形状的对象,或者配置为具有一定规律的对象,比如,预设类型对象可以配置为物体边缘,如马路边缘,建筑物边缘等。应当说明的是,因为物体边缘的形状特征是一定的(如弯曲程度),由于畸变受到固定的因素影响,而图像内容会变动,导致畸变区域不会同时落在图像的同一边缘,因此,选取物体边缘作为参考对象进行分析,能够获得更准确的参考图像特征。
而在对场景图像的颜色失真进行矫正时,预设类型对象可以配置为固定颜色物体。应当说明的是,固定颜色并不是指物体的颜色始终固定不变,而是指该物体在某一时期、某一行政区域具有约定俗成的颜色,比如,现时我国的消防栓消防栓通常为红色,邮筒通常为绿色等。比如,请参照图4,当配置有图像处理器200的电子设备在我国进行图像矫正时,拍摄场景中的一消防栓被第一处理单元120选取为拍摄场景的参考对象。
应当说明的是,本申请实施例中对于分类模型的架构以及训练方式不作具体限定,可由本领域普通技术人员根据实际需要进行选择。
可选地,第一处理单元120用于通过预训练的特征提取模型对参考对象在场景图像中的图像区域进行特征提取,得到当前图像特征。
应当说明的是,在本申请实施例中,第一处理单元120为适于运行神经网络模型的处理单元,比如,第一处理单元120可以为神经网络处理单元。
其中,第一处理单元120部署有预训练的特征提取模型,该特征提取模型被配置为对输入的图像的特征进行提取。本申请实施例中,在获取参考对象在场景图像中的当前图像特征时,第一处理单元120从部署的特征提取模型中选取与进行的图像矫正类型所匹配的特征提取模型作为目标特征提取模型,并通过该目标特征提取模型对参考对象在场景图像中的图像区域进行特征提取,得到其当前图像特征。
比如,当对场景图像的畸变(形状失真)进行矫正时,第一处理单元120从部署的特征提取模型中选取用于提取形状特征的特征提取模型作为目标特征提取模型,并裁剪出参考对象在场景图像中的图像区域,将参考对象在场景图像中的图像区域输入到该特征提取模型中进行特征提取,将提取得到的形状特征作为其当前图像特征。
又比如,当对场景图像的颜色失真进行矫正时,第一处理单元120从部署的特征提取模型中选取用于提取颜色特征的特征提取模型作为目标特征提取模型,并裁剪出参考对象在场景图像中的图像区域,将参考对象在场景图像中的图像区域输入到该特征提取模型中进行特征提取,将提取得到的颜色特征作为其当前图像特征。
应当说明的是,本申请实施例中对于特征提取模型的架构以及训练方式不作具体限定,可由本领域普通技术人员根据实际需要进行选择。
可选地,在一实施例中,第一处理单元120用于通过特征提取模型对参考对象在每一历史场景图像中的图像区域进行特征提取,得到多个历史场景图像特征;以及根据多个历史场景图像特征获取参考图像特征。
本申请实施例中,第一处理单元120还通过部署的特征提取模型对参考对象在每一历史场景图像中的图像区域进行特征提取,得到多个历史场景图像特征,具体可参照以上实施例中关于提取参考对象在场景图像中的当前图像特征相应实施,此处不再赘述。
之后,第一处理单元120根据获取到的多个历史场景图像特征进行分析,得到参考对象的参考图像特征。示例性地,利用参考对象在不同的历史场景图像中位置随机变化(即参考对象可能处于存在失真的位置,也可以处于不存在失真的位置)的特点,利用聚类收敛的原理,根据参考对象在每一历史场景图像中的历史场景图像特征分析得到参考对象的参考图像特征。
可选地,在一实施例中,第一处理单元120通过预训练的特征聚类模型对多个历史场景图像特征进行特征聚类,得到参考对象的参考图像特征。
本申请实施例中,第一处理单元120还部署有预训练的特征聚类模型,该特征聚类模型被被配置为对输入的多个图像特征进行特征聚类,得到多个图像特征的聚类特征。
相应的,第一处理单元120在获取到参考对象在多个历史场景图像中的多个历史场景图像特征之后,将获取到的多个历史场景图像特征输入到预训练的特征聚类模型中进行聚类处理,得到多个历史场景图像特征的聚类特征,并将该聚类特征作为参考对象的参考图像特征。
比如,请参照图5,假设第一处理单元120获取到5个历史场景图像,并获取到参考对象在这5个历史场景图像中的历史场景图像特征分别为历史场景图像特征A、历史场景图像特征B、历史场景图像特征C、历史场景图像特征D以及历史场景图像特征E。之后,第一处理单元120将获取到的历史场景图像特征A、历史场景图像特征B、历史场景图像特征C、历史场景图像特征D以及历史场景图像特征E输入到特征聚类模型中进行聚类处理,得到参考对象的参考图像特征。
应当说明的是,本申请实施例中对于特征聚类模型的架构以及训练方式不作具体限定,可由本领域普通技术人员根据实际需要进行选择。
可选地,在一实施例中,数据接口单元110还用于将矫正图像传输至应用处理器。
比如,请参照图6,图像处理器100通过数据接口单元110获取到拍摄场景的场景图像,通过第一处理单元120根据场景图像确定拍摄场景中的参考对象,并获取参考对象在场景图像中的当前图像特征,以及获取对应场景图像的多个历史场景图像,并根据多个历史场景图像获取参考对象的参考图像特征,通过第二处理单元130根据当前图像特征与参考图像特征的特征差异,对场景图像进行图像矫正,得到矫正图像,之后,再通过数据接口单元110将矫正图像传输至电子设备的应用处理器,由应用处理器作进一步的图像处理,包括但不限于高动态范围处理、超分辨处理等优化处理。
可选地,在一实施例中,在确定的参考对象为多个时,第二处理单元130用于根据每一参考对象对应的特征差异,对每一参考对象在场景图像中对应的图像区域进行图像矫正,得到矫正图像。
为进一步提升图像矫正的准确率,本申请实施例中在选取参考对象时,第一处理单元120选取多个参考对象。相应的,第一处理单元120还获取每一参考对象的当前图像特征以及参考图像特征,从而得到每一参考对象对应的特征差异,具体可参照以上实施例中的相关描述,此处不再赘述。
在对场景图像仅在图像矫正时,第二处理单元130按照配置的图像区域划分策略,将场景图像划分为对应多个参考对象的图像区域。应当说明的是,以参考对象所对应的图像区域不小于其所在的图像区域为约束,可由本领域普通技术人员根据实际需要配置图像区域划分策略。之后,第二处理单元130根据每一参考对象的特征差异对其对应的图像区域进行图像矫正,从而得到矫正图像。
比如,请参照图7,假设了确定了三个参考对象,分别为参考对象A、参考对象B以及参考对象C,第二处理单元130将场景图像划分为对应参考对象A的图像区域A、对应参考对象B的图像区域B以及对应参考对象C的图像区域C。之后,第二处理单元130根据参考对象A的特征差异对图像区域A进行图像矫正,根据参考对象B的特征差异对图像区域B进行图像矫正,以及根据参考对象C的特征差异对图像区域C进行图像矫正。以此,通过分区域的进行独立的图像矫正,能够进一步提升图像矫正的准确性。
可选地,在一实施例中,第二处理单元130用于根据特征差异确定场景图像的畸变类型和畸变程度;以及根据畸变类型和畸变程度对场景图像进行畸变矫正,得到矫正图像。
本申请实施例中,进行的图像矫正为畸变矫正。
其中,第二处理单元130可根据参考对象的当前图像特征与参考图像特征之间的特征差异,确定出场景图像的畸变类型和畸变程度,从而根据确定出的畸变类型和畸变程度对场景图像进行畸变矫正,得到矫正图像。
可选地,在一实施例中,第二处理单元130用于根据特征差异确定场景图像的色偏方向以及色偏程度;以及根据色偏方向和色偏程度对场景图像进行色偏矫正,得到矫正图像。
本申请实施例中,进行的图像矫正为色偏矫正(即矫正颜色的失真)。
其中,第二处理单元130可根据参考对象的当前图像特征与参考图像特征之间的特征差异,确定出场景图像的色偏方向和色偏程度,从而根据确定出的色偏类型和色偏程度对场景图像进行色偏矫正,得到矫正图像。
可选地,在一实施例中,第一处理单元120用于按照预设的图像获取策略确定需要获取的历史场景图像的目标数量;获取对应场景图像的目标数量的历史场景图像。
本申请实施例中,获取的历史场景图像数量并不固定,而是动态变化的。基于此,本申请实施例中配置有图像获取策略,该图像获取策略用于确定需要获取的历史场景图像的数量。此处对图像获取策略的配置不作具体限制。
示例性地,图像获取策略可以配置为与图像处理器100的功耗和温度相关,以获取的历史场景图像的数量同时与图像处理器的功耗和温度负相关为约束,可由本领域普通技术人员根据实际需要进行配置。以此,能够使得图像处理器100的处理压力和图像矫正效果达到一个较为平滑的水平。
图像获取策略还可以配置为与图像处理器100历史进行的图像矫正次数(由当次启动摄像头进行图像采集至此次图像矫正时的次数)相关,以获取的历史场景图像的数量与历史进行的图像矫正次数为约束,可由本领域普通技术人员根据实际需要进行配置。以此,图像处理器100的处理压力将随着图像矫正的次数增加而降低,但是图像矫正效果将随之增加。
可选地,在一实施例中,第二处理单元130还用于将矫正图像作为下一场景图像的历史场景图像进行缓存,以用于对下一场景图像进行图像矫正。
为了进一步提升图像矫正的准确性,本申请实施例中对历史场景图像进行迭代。
其中,第二处理单元130在完成对场景图像的图像矫正,相应得到矫正图像之后,将矫正图像作为下一场景图像的历史场景图像进行缓存,以用于对下一场景图像进行图像矫正。
此处对历史场景图像的缓存位置不作具体限制,可由本领域普通技术人员根据实际需要进行配置,比如,可以在电子设备的内存中划分一区域作为缓存历史场景图像的缓存区域,相应的,在未开始进行图像矫正时,摄像头所采集的图像将被缓存至该缓存区域中,在开始进行图像矫正后,第二处理单元130从该缓存区域中获取场景图像的历史场景图像,并在每次完成图像矫正时,将矫正图像作为下一场景图像的历史场景图像缓存至缓存区域中,以用于对下一场景图像进行图像矫正。
以此,随着图像矫正次数的增加,图像矫正的准确性将越来越高。
本申请还提供一种电子设备,该电子设备包括:
摄像头,用于采集拍摄场景的场景图像;
图像处理器,用于根据场景图像确定拍摄场景中的参考对象,并获取参考对象在场景图像中的当前图像特征;以及获取对应场景图像的多个历史场景图像,并根据多个历史场景图像获取参考对象的参考图像特征;以及根据根据当前图像特征与参考图像特征的特征差异,对场景图像进行图像矫正,得到矫正图像;
应用处理器,用于对矫正图像进行后处理,得到处理后图像。
其中,摄像头可以为任一类型的摄像头,包括但不限于标准摄像头、广角摄像头、超广角摄像头以及长焦摄像头等。
图像处理器为本申请以上实施例提供的图像处理器,具体可参照以上实施例中的相关说明,此处不再赘述。
应用处理器是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,对电子设备各部分进行控制。
本申请实施例中,应用处理器在图像处理器完成对场景图像的图像矫正,并得到矫正图像之后,进一步按照配置的后处理策略,对该矫正图像进行后处理,相应得到处理后图像。此处对处理策略的配置不作具体限制,可由本领域技术人员根据实际需要进行配置,比如,包括但不限于配置为对矫正图像进行高动态范围处理以及超分辨率处理等。
请参照图8,本申请还提供一种电子设备200,如图8所示,该电子设备200包括:
摄像头210,用于采集拍摄场景的场景图像;
图像处理器220,用于根据场景图像确定拍摄场景中的参考对象,并获取参考对象在场景图像中的当前图像特征;以及获取对应场景图像的多个历史场景图像,并根据多个历史场景图像获取参考对象的参考图像特征;
应用处理器230,用于根据当前图像特征与参考图像特征的特征差异,对场景图像进行图像矫正,得到矫正图像。
应当说明的是,本申请实施例中对于电子设备200的实体展现形式不作具体限制,电子设备200的实体展现形式可以是智能手机、平板电脑、掌上电脑、笔记本电脑等移动式电子设备,也可以是台式电脑、电视等固定式电子设备。
本申请实施例对的摄像头210的类型不做具体限定,比如,以焦距作为类型划分标准,摄像头210可以是标准焦距摄像头、广角摄像头、超广角摄像头以及长焦摄像头等。
摄像头210的拍摄场景可以理解为摄像头210在使能后所对准的区域,即摄像头210能够将光信号转换为对应图像数据的区域。比如,电子设备200在根据用户操作使能摄像头210之后,若用户控制电子设备200的摄像头210对准一包括某物体的区域,则包括该物体的区域即为摄像头210的拍摄场景。
根据以上描述,本领域普通技术人员应当理解的是,拍摄场景并非特指某一特定场景,而是跟随摄像头210的指向所实时对准的场景。通常的,拍摄场景并不仅仅包括单一的对象,其中存在各种各样的对象。比如,当在某拍摄场景进行人像的拍摄时,摄像头210的拍摄场景中不仅包括拍摄的“人物”对象,还可能存在草地、树木、建筑物等其他对象。
应当说明的是,摄像头210在拍摄时产生的失真并不是全局的,拍摄的图像中即存在失真的部分,也存在未失真的部分。比如,请参照图2,以畸变(即形状失真)为例,径向畸变是沿着摄像头210中镜头半径方向分布的畸变,产生原因是光线在远离镜头中心的地方比靠近中心的地方更加弯曲,如图2所示,示出了径向畸变的两种类型,可以看出,无论是枕形畸变还是桶形畸变,在图像中心基本上不存在基本,而随着中心往半径方向移动,畸变则越来越严重。
可以理解的是,对于同一对象,其在不同时刻可能位于图像中失真的部分,也可能位于中未失真的部分,因此,可以利用对应场景图像的多个历史场景图像来对场景图像进行矫正。
相应的,在摄像头210采集得到拍摄场景的场景图像之后,图像处理器220按照配置的对象确定策略,根据前述场景图像确定拍摄场景中的参考对象。此处对前述对象确定策略的配置不作具体限制,示例性地,可以根据需要矫正的图像参数进行参考对象的选取,比如,在对图像的畸变进行矫正时,可以选取具有固定形状的对象作为参考对象,如选取建筑物的外形边缘作为参考对象、选取马路的边缘作为参考对象,选取汽车的轮廓(虽然汽车在拍摄场景中的位置可能存在变动,但一些基本的轮廓是具有一定规律的)等;又比如,在对图像的颜色进行矫正时,可以选择具有固定颜色的对象作为参考对象,如选取红色的消防栓作为参考对象,选取绿色的邮筒作为参考对象等。
如上,在根据场景图像确定拍摄场景中的参考对象之后,图像处理器220进一步获取参考对象在场景图像中的图像特征,记为当前图像特征。其中,获取的图像特征的类型与需要矫正的图像参数相关,比如,当需要对场景图像的畸变进行矫正时,图像处理器220可以获取参考对象在场景图像中的形状特征,作为其当前图像特征;又比如,当需要对场景图像的颜色进行矫正时,图像处理器220可以获取参考对象在场景图像中的颜色特征,作为其当前图像特征。
此外,除了获取参考对象在场景图像的当前图像特征之外,图像处理器220还获取到对应场景图像的多个历史场景图像,并根据这多个历史场景图像对参考对象可能的实际图像特征进行分析,将分析出的可能的实际图像特征作为参考对象的参考图像特征。其中,历史场景图像即摄像头210在拍摄得到前述场景图像之前对前述拍摄场景所拍摄得到的图像。应当说明的是,此处获取的多个历史场景图像可以是非连续的,也可以是连续的,具体可由本领域普通技术人员根据实际需要进行配置。
如上,在获取到参考对象在场景图像的当前图像特征,以及根据对应场景图像的多个历史场景图像获取到参考对象的参考图像特征之后,应用处理器230即可根据当前图像特征和参考图像特征的特征差异识别场景图像是否出现失真,并相应进行矫正。示例性地,可以设置当特征差异的差异值达到预设差异值时,判定场景图像出现失真,否则未出现失真,此处对预设差异值的取值不作具体限制,可由本领域普通技术人员根据实际需要进行取值。
比如,当对场景图像进行畸变矫正时,获取到参考对象在场景图像中的当前图像特征描述其边缘为曲线,而根据多个历史场景图像获取到该参考对象的参考图像特征描述其边缘为直线,则可知该场景图像出现了畸变的情况,需要进行畸变矫正,此时应用处理器230即可根据当前图像特征和参考图像特征的特征差异,对场景图像的形状进行矫正,并将矫正后的场景图像记为矫正图像。
又比如,当对场景图像进行颜色矫正时,获取到参考对象在场景图像中的当前图像特征描述其颜色为紫色,而根据多个历史场景图像获取到该参考对象的参考图像特征描述其颜色为红色,则可知该场景图像出现了颜色失真的情况,需要进行颜色矫正,此时应用处理器230即可根据当前图像特征和参考图像特征的特征差异,对场景图像的颜色进行矫正,并将矫正后的场景图像记为矫正图像。
应当说明的是,在其他实施例中,若根据当前图像特征和参考图像特征的特征差异判定场景图像未出现失真,则应用处理器230不对场景图像进行矫正。
本申请实施例中,由图像处理器220和应用处理器230协同对摄像头210拍摄的图像进行矫正,其中,图像处理器220动态地确定出针对拍摄场景的参考对象,并以该参考对象为参照对拍摄场景的历史图像进行分析,得到参考对象实时的参考特征,进而将该参考特征提供给应用处理器230,由应用处理器230利用该参考特征对拍摄得到当前图像进行矫正。以此,通过图像处理其220和应用处理器230分工协作完成对图像的矫正,不仅能够提高图像矫正的准确性,更能够提高图像矫正的效率。
可选地,在一实施例中,图像处理器220用于通过预训练的分类模型对场景图像进行分类,以确定拍摄场景中存在的对象;以及将拍摄场景中存在的对象中的预设类型对象作为参考对象。
应当说明的是,在本申请实施例中,图像处理器220为适于运行神经网络模型的处理器,比如,图像处理器220可以为神经网络处理器。
其中,图像处理器220部署有预训练的分类模型,该分类模型被配置为对输入的图像中存在的对象进行分类。相应的,图像处理器220在摄像头210采集到拍摄场景的场景图像之后,将场景图像输入到分类模型中进行分类,得到场景图像的多个对象区域,也即是将场景图像分割为了多个对象区域,场景图像中的这些对象区域即描述了拍摄场景中存在的对象。比如,请参照图3,其中相同颜色的区域代表同一类型的对象区域,如图3示出的车、人、道路以及植物等对象。
在确定拍摄场景中存在的对象之后,图像处理器220将拍摄场景中存在的对象中的预设类型对象作为参考对象。
示例性地,在对场景图像的畸变(形状失真)进行矫正时,预设类型对象可以配置为具有固定形状的对象,或者配置为具有一定规律的对象,比如,预设类型对象可以配置为物体边缘,如马路边缘,建筑物边缘等。应当说明的是,因为物体边缘的形状特征是一定的(如弯曲程度),由于畸变受到固定的因素影响,而图像内容会变动,导致畸变区域不会同时落在图像的同一边缘,因此,选取物体边缘作为参考对象进行分析,能够获得更准确的参考图像特征。
而在对场景图像的颜色失真进行矫正时,预设类型对象可以配置为具有固定颜色物体。应当说明的是,固定颜色并不是指物体的颜色始终固定不变,而是指该物体在某一时期、某一行政区域具有约定俗成的颜色,比如,现时我国的消防栓消防栓通常为红色,邮筒通常为绿色等。比如,请参照图4,当配置有图像处理器200的电子设备在我国进行图像矫正时,拍摄场景中的一消防栓被图像处理器220选取为拍摄场景的参考对象。
应当说明的是,本申请实施例中对于分类模型的架构以及训练方式不作具体限定,可由本领域普通技术人员根据实际需要进行选择。
可选地,在一实施例中,图像处理器220用于通过预训练的特征提取模型对参考对象在场景图像中的图像区域进行特征提取,得到当前图像特征;以及通过特征提取模型对参考对象在每一历史场景图像中的图像区域进行特征提取,得到多个历史场景图像特征;以及根据多个历史场景图像特征获取参考图像特征。
其中,图像处理器220还部署有预训练的特征提取模型,该特征提取模型被配置为对输入的图像的特征进行提取。本申请实施例中,在获取参考对象在场景图像中的当前图像特征时,图像处理器220从部署的特征提取模型中选取与进行的图像矫正类型所匹配的特征提取模型作为目标特征提取模型,并通过该目标特征提取模型对参考对象在场景图像中的图像区域进行特征提取,得到其当前图像特征。
比如,当对场景图像的畸变(形状失真)进行矫正时,图像处理器220从部署的特征提取模型中选取用于提取形状特征的特征提取模型作为目标特征提取模型,并裁剪出参考对象在场景图像中的图像区域,将参考对象在场景图像中的图像区域输入到该特征提取模型中进行特征提取,将提取得到的形状特征作为其当前图像特征。
又比如,当对场景图像的颜色失真进行矫正时,图像处理器220从部署的特征提取模型中选取用于提取颜色特征的特征提取模型作为目标特征提取模型,并裁剪出参考对象在场景图像中的图像区域,将参考对象在场景图像中的图像区域输入到该特征提取模型中进行特征提取,将提取得到的颜色特征作为其当前图像特征。
应当说明的是,本申请实施例中对于特征提取模型的架构以及训练方式不作具体限定,可由本领域普通技术人员根据实际需要进行选择。
本申请实施例中,图像处理器220还通过部署的特征提取模型对参考对象在每一历史场景图像中的图像区域进行特征提取,得到多个历史场景图像特征,具体可参照以上实施例中关于提取参考对象在场景图像中的当前图像特征相应实施,此处不再赘述。
之后,图像处理器220根据获取到的多个历史场景图像特征进行分析,得到参考对象的参考图像特征。示例性地,利用参考对象在不同的历史场景图像中位置随机变化(即参考对象可能处于存在失真的位置,也可以处于不存在失真的位置)的特点,利用聚类收敛的原理,根据参考对象在每一历史场景图像中的历史场景图像特征分析得到参考对象的参考图像特征。
可选地,在一实施例中,图像处理器220通过预训练的特征聚类模型对多个历史场景图像特征进行特征聚类,得到参考对象的参考图像特征。
本申请实施例中,图像处理器220还部署有预训练的特征聚类模型,该特征聚类模型被被配置为对输入的多个图像特征进行特征聚类,得到多个图像特征的聚类特征。
相应的,图像处理器220在获取到参考对象在多个历史场景图像中的多个历史场景图像特征之后,将获取到的多个历史场景图像特征输入到预训练的特征聚类模型中进行聚类处理,得到多个历史场景图像特征的聚类特征,并将该聚类特征作为参考对象的参考图像特征。
应当说明的是,本申请实施例中对于特征聚类模型的架构以及训练方式不作具体限定,可由本领域普通技术人员根据实际需要进行选择。
可选地,在一实施例中,在确定的参考对象为多个时,应用处理器230用于根据每一参考对象对应的特征差异,对每一参考对象在场景图像中对应的图像区域进行图像矫正,得到矫正图像。
为进一步提升图像矫正的准确率,本申请实施例中在选取参考对象时,图像处理器220选取多个参考对象。相应的,图像处理器220还获取每一参考对象的当前图像特征以及参考图像特征,从而得到每一参考对象对应的特征差异,具体可参照以上实施例中的相关描述,此处不再赘述。
在对场景图像仅在图像矫正时,应用处理器230按照配置的图像区域划分策略,将场景图像划分为对应多个参考对象的图像区域。应当说明的是,以参考对象所对应的图像区域不小于其所在的图像区域为约束,可由本领域普通技术人员根据实际需要配置图像区域划分策略。之后,应用处理器230根据每一参考对象的特征差异对其对应的图像区域进行图像矫正,从而得到矫正图像。以此,通过分区域的进行独立的图像矫正,能够进一步提升图像矫正的准确性。
可选地,在一实施例中,应用处理器230用于根据特征差异确定场景图像的畸变类型和畸变程度;以及根据畸变类型和畸变程度对场景图像进行畸变矫正,得到矫正图像。
本申请实施例中,进行的图像矫正为畸变矫正。
其中,应用处理器230可根据参考对象的当前图像特征与参考图像特征之间的特征差异,确定出场景图像的畸变类型和畸变程度,从而根据确定出的畸变类型和畸变程度对场景图像进行畸变矫正,得到矫正图像。
可选地,在一实施例中,应用处理器230用于根据特征差异确定场景图像的色偏方向以及色偏程度;以及根据色偏方向和色偏程度对场景图像进行色偏矫正,得到矫正图像。
本申请实施例中,进行的图像矫正为色偏矫正(即矫正颜色的失真)。
其中,应用处理器230可根据参考对象的当前图像特征与参考图像特征之间的特征差异,确定出场景图像的色偏方向和色偏程度,从而根据确定出的色偏类型和色偏程度对场景图像进行色偏矫正,得到矫正图像。
可选地,在一实施例中,图像处理器220用于按照预设的图像获取策略确定需要获取的历史场景图像的目标数量;以及获取对应场景图像的目标数量的历史场景图像。
本申请实施例中,获取的历史场景图像数量并不固定,而是动态变化的。基于此,本申请实施例中配置有图像获取策略,该图像获取策略用于确定需要获取的历史场景图像的数量。此处对图像获取策略的配置不作具体限制。
示例性地,图像获取策略可以配置为与电子设备200的功耗和温度相关,以获取的历史场景图像的数量同时与图像处理器的功耗和温度负相关为约束,可由本领域普通技术人员根据实际需要进行配置。以此,能够使得电子设备200的处理压力和图像矫正效果达到一个较为平滑的水平。
图像获取策略还可以配置为与电子设备200历史进行的图像矫正次数(由当次启动摄像头进行图像采集至此次图像矫正时的次数)相关,以获取的历史场景图像的数量与历史进行的图像矫正次数为约束,可由本领域普通技术人员根据实际需要进行配置。以此,电子设备200的处理压力将随着图像矫正的次数增加而降低,但是图像矫正效果将随之增加。
可选地,在一实施例中,应用处理器230还用于将矫正图像作为下一场景图像的历史场景图像进行缓存,以用于对下一场景图像进行图像矫正。
为了进一步提升图像矫正的准确性,本申请实施例中对历史场景图像进行迭代。
其中,第二处理单元130在完成对场景图像的图像矫正,相应得到矫正图像之后,将矫正图像作为下一场景图像的历史场景图像进行缓存,以用于对下一场景图像进行图像矫正。
此处对历史场景图像的缓存位置不作具体限制,可由本领域普通技术人员根据实际需要进行配置,比如,可以在电子设备的内存中划分一区域作为缓存历史场景图像的缓存区域,相应的,在未开始进行图像矫正时,摄像头所采集的图像将被缓存至该缓存区域中,在开始进行图像矫正后,第二处理单元130从该缓存区域中获取场景图像的历史场景图像,并在每次完成图像矫正时,将矫正图像作为下一场景图像的历史场景图像缓存至缓存区域中,以用于对下一场景图像进行图像矫正。
以此,随着图像矫正次数的增加,图像矫正的准确性将越来越高。
请参照图9,本申请还提供一种图像矫正方法,如图9所示,该图像矫正方法的流程可以包括:
在310中,获取拍摄场景的场景图像;
在320中,根据场景图像确定拍摄场景中的参考对象,并获取参考对象在场景图像中的当前图像特征;
在330中,获取对应场景图像的多个历史场景图像,并根据多个历史场景图像获取参考对象的参考图像特征;
在340中,根据当前图像特征与参考图像特征的特征差异,对场景图像进行图像矫正,得到矫正图像。
可选地,在一实施例中,根据场景图像确定拍摄场景中的参考对象,包括:
通过预训练的分类模型对场景图像进行分类,以确定拍摄场景中存在的对象;
将拍摄场景中存在的对象中的预设类型对象作为参考对象。
可选地,在一实施例中,预设类型对象包括物体边缘或固定颜色物体。
可选地,在一实施例中,获取参考对象在场景图像中的当前图像特征,包括:
通过预训练的特征提取模型对参考对象在场景图像中的图像区域进行特征提取,得到当前图像特征。
可选地,在一实施例中,获取参考对象在多个历史场景图像中的参考图像特征,包括:
通过特征提取模型对参考对象在每一历史场景图像中的图像区域进行特征提取,得到多个历史场景图像特征;
根据多个历史场景图像特征获取参考图像特征。
可选地,在一实施例中,根据多个历史场景图像特征获取参考图像特征,包括:
通过预训练的特征聚类模型对多个历史场景图像特征进行特征聚类,得到参考对象的参考图像特征。
可选地,在一实施例中,在确定的参考对象为多个时,根据当前图像特征与参考图像特征的特征差异,对场景图像进行图像矫正,得到矫正图像,包括:
根据每一参考对象对应的特征差异,对每一参考对象在场景图像中对应的图像区域进行图像矫正,得到矫正图像。
可选地,在一实施例中,根据当前图像特征与参考图像特征的特征差异,对场景图像进行图像矫正,得到矫正图像,包括:
根据特征差异确定场景图像的畸变类型和畸变程度;
根据畸变类型和畸变程度对场景图像进行畸变矫正,得到矫正图像。
可选地,在一实施例中,根据当前图像特征与参考图像特征的特征差异,对场景图像进行图像矫正,得到矫正图像,包括:
根据特征差异确定场景图像的色偏方向和色偏程度;
根据色偏类型和色偏程度对场景图像进行色偏矫正,得到矫正图像。
可选地,在一实施例中,获取对应场景图像的多个历史场景图像,包括:
按照预设的图像获取策略确定需要获取的历史场景图像的目标数量;
获取对应场景图像的目标数量的历史场景图像。
可选地,在一实施例中,本申请提供的图像矫正方法还包括:
将矫正图像作为下一场景图像的历史场景图像进行缓存,以用于对下一场景图像进行图像矫正。
应当说明的是,本申请提供的图像矫正方法可由以上实施例中提供的图像处理器获取电子设备执行,具体说明请参照以上实施例中的相关说明,此处不再赘述。
请参照图10,本申请还提供一种电子设备400,如图10所示,该电子设备400可以包括摄像头410、存储器420以及处理器430。本领域技术人员可以理解,图10中示出的电子设备400结构并不构成对电子设备400的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
其中,摄像头410由多部分组成,主要包括镜头、马达以及图像传感器等。其中,镜头用于将外界的光信号投射至图像传感器;图像传感器用于将镜头投射的光信号进行光电转换,将光信号转换为可用的电信号,得到原始的图像数据;而马达用于驱动镜头移动,从而调整镜头和图像传感器之间的距离,以满足成像公式(或称透镜成像公式、高斯成像公式等),使得成像清晰。
存储器420可用于存储计算机程序和数据。存储器420存储的计算机程序中包含有可执行代码。计算机程序可以划分为各种功能模块。处理器430通过运行存储在存储器420的计算机程序,从而执行各种功能应用以及数据处理。
处理器430是电子设备400的控制中心,利用各种接口和线路连接整个电子设备400的各个部分,通过运行或执行存储在存储器420内的计算机程序,以及调用存储在存储器420内的数据,执行电子设备400的各种功能和处理数据,从而对电子设备400进行整体控制。
在本申请实施例中,电子设备400中的处理器430会按照如下的顺序,将一个或一个以上的计算机程序对应的可执行代码加载到存储器420中,并由处理器430来执行从而执行如下步骤:
获取拍摄场景的场景图像;
根据场景图像确定拍摄场景中的参考对象,并获取参考对象在场景图像中的当前图像特征;
获取对应场景图像的多个历史场景图像,并根据多个历史场景图像获取参考对象的参考图像特征;
根据当前图像特征与参考图像特征的特征差异,对场景图像进行图像矫正,得到矫正图像。
可选地,在一实施例中,在根据场景图像确定拍摄场景中的参考对象时,处理器430用于执行:
通过预训练的分类模型对场景图像进行分类,以确定拍摄场景中存在的对象;
将拍摄场景中存在的对象中的预设类型对象作为参考对象。
可选地,在一实施例中,预设类型对象包括物体边缘或固定颜色物体。
可选地,在一实施例中,在获取参考对象在场景图像中的当前图像特征时,处理器430用于执行:
通过预训练的特征提取模型对参考对象在场景图像中的图像区域进行特征提取,得到当前图像特征。
可选地,在一实施例中,在获取参考对象在多个历史场景图像中的参考图像特征时,处理器430用于执行:
通过特征提取模型对参考对象在每一历史场景图像中的图像区域进行特征提取,得到多个历史场景图像特征;
根据多个历史场景图像特征获取参考图像特征。
可选地,在一实施例中,在根据多个历史场景图像特征获取参考图像特征时,处理器430用于执行:
通过预训练的特征聚类模型对多个历史场景图像特征进行特征聚类,得到参考对象的参考图像特征。
可选地,在一实施例中,在确定的参考对象为多个,在根据当前图像特征与参考图像特征的特征差异,对场景图像进行图像矫正,得到矫正图像时,处理器430用于执行:
根据每一参考对象对应的特征差异,对每一参考对象在场景图像中对应的图像区域进行图像矫正,得到矫正图像。
可选地,在一实施例中,在根据当前图像特征与参考图像特征的特征差异,对场景图像进行图像矫正,得到矫正图像时,处理器430用于执行:
根据特征差异确定场景图像的畸变类型和畸变程度;
根据畸变类型和畸变程度对场景图像进行畸变矫正,得到矫正图像。
可选地,在一实施例中,在根据当前图像特征与参考图像特征的特征差异,对场景图像进行图像矫正,得到矫正图像时,处理器430用于执行:
根据特征差异确定场景图像的色偏方向和色偏程度;
根据色偏类型和色偏程度对场景图像进行色偏矫正,得到矫正图像。
可选地,在一实施例中,在获取对应场景图像的多个历史场景图像时,处理器430用于执行:
按照预设的图像获取策略确定需要获取的历史场景图像的目标数量;
获取对应场景图像的目标数量的历史场景图像。
可选地,在一实施例中,处理器430还用于执行:
将矫正图像作为下一场景图像的历史场景图像进行缓存,以用于对下一场景图像进行图像矫正。
以上对本申请实施例提供的图像处理器、电子设备以及图像矫正方法进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请。同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (12)
1.一种图像矫正方法,其特征在于,包括:
获取拍摄场景的场景图像;
根据所述场景图像确定所述拍摄场景中的参考对象,并获取所述参考对象在所述场景图像中的当前图像特征;
获取对应所述场景图像的多个历史场景图像,并根据所述多个历史场景图像获取所述参考对象的参考图像特征;
根据所述当前图像特征与所述参考图像特征的特征差异,对所述场景图像进行图像矫正,得到矫正图像。
2.如权利要求1所述的图像矫正方法,其特征在于,所述根据所述场景图像确定所述拍摄场景中的参考对象,包括:
通过预训练的分类模型对所述场景图像进行分类,以确定所述拍摄场景中存在的对象;
将所述拍摄场景中存在的对象中的预设类型对象作为所述参考对象。
3.如权利要求2所述的图像矫正方法,其特征在于,所述预设类型对象包括物体边缘或固定颜色物体。
4.如权利要求1所述的图像矫正方法,其特征在于,所述获取所述参考对象在所述场景图像中的当前图像特征,包括:
通过预训练的特征提取模型对所述参考对象在所述场景图像中的图像区域进行特征提取,得到所述当前图像特征;
所述获取所述参考对象在所述多个历史场景图像中的参考图像特征,包括:
通过所述特征提取模型对所述参考对象在每一历史场景图像中的图像区域进行特征提取,得到多个历史场景图像特征;
根据所述多个历史场景图像特征获取所述参考图像特征。
5.如权利要求1所述的图像矫正方法,其特征在于,在确定的参考对象为多个时,所述根据所述当前图像特征与所述参考图像特征的特征差异,对所述场景图像进行图像矫正,得到矫正图像,包括:
根据每一参考对象对应的特征差异,对每一参考对象在所述场景图像中对应的图像区域进行图像矫正,得到所述矫正图像。
6.如权利要求1所述的图像矫正方法,其特征在于,所述根据所述当前图像特征与所述参考图像特征的特征差异,对所述场景图像进行图像矫正,得到矫正图像,包括:
根据所述特征差异确定所述场景图像的畸变类型和畸变程度;
根据所述畸变类型和畸变程度对所述场景图像进行畸变矫正,得到所述矫正图像。
7.如权利要求1所述的图像矫正方法,其特征在于,所述获取对应所述场景图像的多个历史场景图像,包括:
按照预设的图像获取策略确定需要获取的历史场景图像的目标数量;
获取对应所述场景图像的目标数量的历史场景图像。
8.如权利要求1所述的图像矫正方法,其特征在于,还包括:
将所述矫正图像作为下一场景图像的历史场景图像进行缓存,以用于对所述下一场景图像进行图像矫正。
9.一种图像处理器,其特征在于,包括:
数据接口单元,用于从摄像头获取拍摄场景的场景图像;
第一处理单元,用于根据所述场景图像确定所述拍摄场景中的参考对象,并获取所述参考对象在所述场景图像中的当前图像特征;以及获取对应所述场景图像的多个历史场景图像,并根据所述多个历史场景图像获取所述参考对象的参考图像特征;
第二处理单元,用于根据所述当前图像特征与所述参考图像特征的特征差异,对所述场景图像进行图像矫正,得到矫正图像。
10.一种电子设备,其特征在于,包括:
摄像头,用于采集拍摄场景的场景图像;
图像处理器,用于根据所述场景图像确定所述拍摄场景中的参考对象,并获取所述参考对象在所述场景图像中的当前图像特征;以及获取对应所述场景图像的多个历史场景图像,并根据所述多个历史场景图像获取所述参考对象的参考图像特征;以及根据根据所述当前图像特征与所述参考图像特征的特征差异,对所述场景图像进行图像矫正,得到矫正图像;
应用处理器,用于对所述矫正图像进行后处理,得到处理后图像。
11.一种电子设备,其特征在于,包括:
摄像头,用于采集拍摄场景的场景图像;
图像处理器,用于根据所述场景图像确定所述拍摄场景中的参考对象,并获取所述参考对象在所述场景图像中的当前图像特征;以及获取对应所述场景图像的多个历史场景图像,并根据所述多个历史场景图像获取所述参考对象的参考图像特征;
应用处理器,用于根据所述当前图像特征与所述参考图像特征的特征差异,对所述场景图像进行图像矫正,得到矫正图像。
12.一种电子设备,所述电子设备包括处理器和存储器,所述存储器存储有计算机程序,其特征在于,所述处理器通过加载所述计算机程序执行如权利要求1-8任一项所述的图像矫正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110103860.8A CN114793265A (zh) | 2021-01-26 | 2021-01-26 | 图像处理器、电子设备及图像矫正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110103860.8A CN114793265A (zh) | 2021-01-26 | 2021-01-26 | 图像处理器、电子设备及图像矫正方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114793265A true CN114793265A (zh) | 2022-07-26 |
Family
ID=82460765
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110103860.8A Withdrawn CN114793265A (zh) | 2021-01-26 | 2021-01-26 | 图像处理器、电子设备及图像矫正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114793265A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1764231A (zh) * | 2004-10-18 | 2006-04-26 | 汤姆森许可贸易公司 | 对输入图像进行色彩校正的设备和方法 |
JP2009118434A (ja) * | 2007-11-09 | 2009-05-28 | Sanyo Electric Co Ltd | ぶれ補正装置及び撮像装置 |
CN104735434A (zh) * | 2013-12-18 | 2015-06-24 | 诺基亚公司 | 用于色彩平衡校正的方法和设备 |
CN107995476A (zh) * | 2018-01-03 | 2018-05-04 | 京东方科技集团股份有限公司 | 一种图像处理方法及装置 |
CN111182217A (zh) * | 2020-01-07 | 2020-05-19 | 徐梦影 | 一种图像白平衡的处理方法和装置 |
-
2021
- 2021-01-26 CN CN202110103860.8A patent/CN114793265A/zh not_active Withdrawn
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1764231A (zh) * | 2004-10-18 | 2006-04-26 | 汤姆森许可贸易公司 | 对输入图像进行色彩校正的设备和方法 |
JP2009118434A (ja) * | 2007-11-09 | 2009-05-28 | Sanyo Electric Co Ltd | ぶれ補正装置及び撮像装置 |
CN104735434A (zh) * | 2013-12-18 | 2015-06-24 | 诺基亚公司 | 用于色彩平衡校正的方法和设备 |
CN107995476A (zh) * | 2018-01-03 | 2018-05-04 | 京东方科技集团股份有限公司 | 一种图像处理方法及装置 |
CN111182217A (zh) * | 2020-01-07 | 2020-05-19 | 徐梦影 | 一种图像白平衡的处理方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110149482B (zh) | 对焦方法、装置、电子设备和计算机可读存储介质 | |
CN110248096B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
US9681040B2 (en) | Face tracking for controlling imaging parameters | |
JP4712487B2 (ja) | 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体 | |
CN113766125B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
JP5074322B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 | |
CN110493527B (zh) | 主体对焦方法、装置、电子设备和存储介质 | |
CN110191287B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
JP4624947B2 (ja) | 画像のトリミング方法および装置並びにプログラム | |
US20130215234A1 (en) | Method and apparatus for stereo matching | |
CN110400338B (zh) | 深度图处理方法、装置和电子设备 | |
US7957633B2 (en) | Focus adjusting apparatus and focus adjusting method | |
CN104184935A (zh) | 影像拍摄设备及方法 | |
CN109714530B (zh) | 一种航空相机图像调焦方法 | |
US20200364832A1 (en) | Photographing method and apparatus | |
CN108769533A (zh) | 一种自动对焦算法 | |
CN109559353A (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
CN113391644A (zh) | 一种基于图像信息熵的无人机拍摄距离半自动寻优方法 | |
CN110365897B (zh) | 图像修正方法和装置、电子设备、计算机可读存储介质 | |
CN114793265A (zh) | 图像处理器、电子设备及图像矫正方法 | |
CN113992837A (zh) | 基于对象尺寸的自动聚焦方法以及数字图像采集装置 | |
CN108234868B (zh) | 一种基于案例推理的智能拍摄系统及方法 | |
CN113409331A (zh) | 图像处理方法、图像处理装置、终端及可读存储介质 | |
CN115131271A (zh) | Raw图像的处理方法、芯片和电子设备 | |
JP2021090121A (ja) | 画像処理装置および画像処理方法、撮像装置、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220726 |