CN115696019A - 图像处理方法、装置、计算机设备及存储介质 - Google Patents
图像处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN115696019A CN115696019A CN202110871943.1A CN202110871943A CN115696019A CN 115696019 A CN115696019 A CN 115696019A CN 202110871943 A CN202110871943 A CN 202110871943A CN 115696019 A CN115696019 A CN 115696019A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- processing
- area
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 203
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 82
- 230000008569 process Effects 0.000 claims description 39
- 230000033001 locomotion Effects 0.000 claims description 35
- 230000004069 differentiation Effects 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 19
- 210000005252 bulbus oculi Anatomy 0.000 claims description 12
- 230000006870 function Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 230000009467 reduction Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种图像处理方法、装置、计算机设备及存储介质,属于计算机技术领域。方法包括:确定当前处理图像中的多个目标区域;基于多个目标区域中第一目标区域的图像质量特征确定第一拍摄参数;基于多个目标区域中第二目标区域的图像质量特征确定第二拍摄参数;其中,第二拍摄参数至少部分地不同于第一拍摄参数;从第一图像采集装置获取基于第一拍摄参数拍摄的第一图像;其中,第一图像在帧时序上晚于当前处理图像;从第一图像采集装置获取基于第二拍摄参数拍摄的第二图像;其中,第二图像在帧时序上晚于第一图像;基于第一图像和第二图像产生第三图像。上述方法能够提高拍摄的第三图像的质量。
Description
技术领域
本申请实施例涉及计算机技术领域,特别涉及一种图像处理方法、装置、计算机设备及存储介质。
背景技术
随着互联网中分享图像功能的广泛应用,人们对图像质量的需求日益提高,如何拍摄得到更高质量的图像成为当前的研究热点。
而在拍摄图像时,通常会对焦到当前所处场景中的某一目标物体上,导致拍摄得到的图像中只有该目标物体所在的区域的图像质量较高,而其他区域的图像质量难以保证。
发明内容
本申请实施例提供了一种图像处理方法、装置、计算机设备及存储介质,能够提高拍摄的图像质量。技术方案如下:
根据本申请实施例的一方面,提供了一种图像处理方法,所述方法包括:
确定当前处理图像中的多个目标区域;
基于所述多个目标区域中第一目标区域的图像质量特征确定第一拍摄参数;
基于所述多个目标区域中第二目标区域的图像质量特征确定第二拍摄参数;其中,所述第二拍摄参数至少部分地不同于所述第一拍摄参数;
从第一图像采集装置获取基于所述第一拍摄参数拍摄的第一图像;其中,所述第一图像在帧时序上晚于所述当前处理图像;
从所述第一图像采集装置获取基于所述第二拍摄参数拍摄的第二图像;其中,所述第二图像在帧时序上晚于所述第一图像;
基于所述第一图像和所述第二图像产生第三图像。
根据本申请实施例的另一方面,提供了一种图像处理装置,所述装置包括:
目标区域确定模块,用于确定当前处理图像中的多个目标区域;
拍摄参数确定模块,用于基于所述多个目标区域中第一目标区域的图像质量特征确定第一拍摄参数;基于所述多个目标区域中第二目标区域的图像质量特征确定第二拍摄参数;其中,所述第二拍摄参数至少部分地不同于所述第一拍摄参数;
图像获取模块,用于从第一图像采集装置获取基于所述第一拍摄参数拍摄的第一图像;其中,所述第一图像在帧时序上晚于所述当前处理图像;从所述第一图像采集装置获取基于所述第二拍摄参数拍摄的第二图像;其中,所述第二图像在帧时序上晚于所述第一图像;
图像产生模块,用于基于所述第一图像和所述第二图像产生第三图像。
根据本申请实施例的另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器;所述存储器存储有至少一条指令,所述至少一条指令用于被所述处理器执行以实现如上述方面所述的图像处理方法。
根据本申请实施例的另一方面,提供了一种计算机可读存储介质,所述存储介质存储有至少一条指令,所述至少一条指令用于被处理器执行以实现如上述方面所述的图像处理方法。
根据本申请实施例的另一方面,提供了一种计算机程序产品,该计算机程序产品存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行以实现上述方面所述的图像处理方法。
本申请实施例提供的方案,在拍摄图像时,不只关注于图像中的一个区域,而是着眼于已经拍摄得到的第一图像中的多个目标区域,针对多个目标区域中的第一目标区域和第二目标区域的图像质量特征分别确定拍摄参数,由于第一拍摄参数是基于第一目标区域的图像质量特征确定的,第二拍摄参数是基于第二目标区域的图像质量特征确定的,因此,基于第一拍摄参数拍摄得到的第一图像中,第一目标区域的图像质量较高,基于第二拍摄参数拍摄得到的第二图像中,第二目标区域的图像质量较高,因此,基于第一图像和第二图像产生的第三图像中,第一目标区域和第二目标区域的图像质量都比较高,这样就保证了拍摄的第三图像中多个区域的图像质量,因此,该方案能够提高拍摄的图像质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请一个示例性实施例提供的一种实施环境的示意图;
图2示出了本申请一个示例性实施例提供的一种图像处理方法的流程图;
图3示出了本申请一个示例性实施例提供的一种图像处理方法的流程图;
图4示出了本申请一个示例性实施例提供的一种图像处理过程的示意图;
图5示出了本申请一个示例性实施例提供的一种图像中的多个目标区域的示意图;
图6示出了本申请一个示例性实施例提供的一种图像处理过程的示意图;
图7示出了本申请一个示例性实施例提供的一种图像处理装置的结构方框图;
图8示出了本申请一个示例性实施例提供的一种终端的结构方框图;
图9示出了本申请一个示例性实施例提供的一种服务器的结构方框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请所使用的术语“第一”、“第二”、“第三”、“第四”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说,在不脱离本申请的范围的情况下,可以将第一目标区域称为目标区域,且类似地,可将第二目标区域称为第一目标区域。
本申请实施例提供了一种图像处理方法,执行主体为计算机设备,计算机设备能够通过本申请提供的方法拍摄图像,得到多个目标区域质量高的图像。在一些实施例中,该计算机设备为终端,例如终端为手机、摄像机、台式电脑、笔记本电脑、平板电脑等多种类型的终端。可选地,终端中包括多个图像采集装置,例如,第一图像采集装置和第二图像采集装置,可选地,第一图像采集装置为终端的后置摄像头,可选地,第二图像采集装置为终端的前置摄像头。终端能够通过任一图像采集装置进行图像拍摄,其他的图像采集装置待用。
在一些实施例中,如图1所示,该计算机设备包括服务器101和终端102,其中,终端102对当前所处的场景进行拍摄,得到当前处理图像,向服务器101发送该当前处理图像,服务器101确定当前处理图像中的多个目标区域,基于多个目标区域中第一目标区域的图像质量特征,确定第一拍摄参数,基于多个目标区域中第二目标区域的图像质量特征确定第二拍摄参数,向终端102发送第一拍摄参数和第二拍摄参数。终端102接收第一拍摄参数和第二拍摄参数,基于第一拍摄参数拍摄得到第一图像后,基于第二拍摄参数拍摄得到第二图像,向服务器101发送该第一图像和第二图像,服务器101基于第一图像和第二图像产生第三图像。
可选地,终端102上安装由服务器101提供服务的目标应用,终端102能够通过该目标应用实现例如数据传输、消息交互等功能。可选地,目标应用为终端102操作系统中的目标应用,或者为第三方提供的目标应用。该目标应用具有拍摄图像和处理图像的功能,当然,该目标应用还能够具有其他功能,例如,分享图像、拍摄视频等功能,本申请实施例对此不做限制。可选地,该目标应用为短视频应用、拍照应用、购物应用、聊天应用或者其他应用。
本申请实施例提供的图像处理方法,能够应用在图像拍摄的场景下。例如,在拍摄图像时,为了保证图像中多个目标区域的质量,在拍摄得到当前处理图像后,通过本申请提供的方法,利用该图像来进行拍摄,得到多个目标区域的图像质量都较高的另一个图像。本申请实施例提供的图像处理方法,还能够应用在拍摄视频的场景下。例如,在拍摄视频时,通过本申请提供的方法,基于已拍摄得到图像来拍摄视频的下一帧图像,以保证下一帧图像中的多个目标区域的图像质量。
图2示出了本申请一个示例性实施例提供的一种图像处理方法的流程图,参见图2,该方法包括:
201、终端确定当前处理图像中的多个目标区域。
可选地,当前处理图像是对当前所处的场景进行拍摄得到的。目标区域包括该场景中的物体。当前所处的场景为任意场景,例如,包括多种美食的室内场景、包括多个人物的室内场景、包括多种植物的室外场景等。
可选地,当前处理图像是对当前所处场景拍摄得到的原始图像,或者,当前处理图像是对该原始图像进行处理后的图像。当前处理图像为任意格式,例如,RAW(原始)格式,本申请实施例对此不做限制。
目标区域为当前处理图像中的任意区域,例如,目标区域为当前处理图像中的ROI(region of interest,感兴趣的区域)。目标区域的形状为任意形状,例如,目标区域的形状为矩形、圆形、或者其他不规则形状,例如,为目标区域中的物体的形状。目标区域包括场景中的物体,例如,场景为包括多种美食的室内场景,目标区域包括美食,又如,场景为包括多个人物的室内场景,目标区域包括人物。
202、终端基于多个目标区域中第一目标区域的图像质量特征确定第一拍摄参数,基于多个目标区域中第二目标区域的图像质量特征确定第二拍摄参数。
其中,第二拍摄参数至少部分地不同于第一拍摄参数。可选地,每个目标区域对应的拍摄参数指示第一图像采集装置对焦到该目标区域中的物体上。例如,第一拍摄参数指示将第一图像采集装置对焦到第一目标区域中的物体上,第二拍摄参数指示将第一图像采集装置对焦到第二目标区域中的物体上。可选地,目标区域对应的拍摄参数能够调整拍摄的图像中该目标区域的亮度。例如,第一目标区域对应的第一拍摄参数,能够调整拍摄得到的图像中该第一目标区域的亮度,第二目标区域对应的第二拍摄参数,能够调整拍摄得到的图像中该第二目标区域的亮度。当然,除了使图像采集装置对焦到目标区域中的物体以及调整目标区域的亮度以外,拍摄参数还能够实现其他效果,本申请实施例对此不做限制。
目标区域的图像质量特征指示目标区域的图像质量,即目标区域的图像质量特征是能够反映目标区域的图像质量的特征,例如,目标区域的图像质量特征包括目标区域的清晰度、亮度等。目标区域的清晰度高,亮度在阈值范围内,说明目标区域的图像质量高,目标区域的清晰度低,亮度不在阈值范围内,说明目标区域的图像质量低。
拍摄参数包括任意参数,例如,对焦参数、曝光时长、光圈值等,拍摄参数能够决定拍摄的图像的质量。在本申请实施例中,对于每个目标区域,针对该目标区域确定的拍摄参数,能够保证基于该拍摄参数拍摄的图像中,该目标区域的图像质量。
第一图像采集装置为终端中的任一图像采集装置,例如,第一图像采集装置为终端的后置摄像头,本申请实施例对此不做限制。
203、终端从第一图像采集装置获取基于第一拍摄参数拍摄的第一图像和基于第二拍摄参数拍摄的第二图像。
其中,第一图像在帧时序上晚于当前处理图像,第二图像在帧时序上晚于第一图像。
需要说明的一点是,当前处理图像和第一图像中都包括第一目标区域,当前处理图像中的第一目标区域与第一图像中的第一目标区域是对同一物体拍摄得到的区域。当前处理图像和第二图像中都包括第二目标区域,当前处理图像中的第二目标区域与第二图像中的第二目标区域是对同一物体拍摄得到的区域。
204、终端基于第一图像和第二图像产生第三图像。
可选地,终端将第一图像和第二图像进行融合,得到第三图像。
需要说明的一点是,本申请实施例仅以当前处理图像包括第一目标区域和第二目标区域为例进行说明,在其他实施例中,当前处理图像还包括其他目标区域,例如,第三目标区域,这种情况下,终端基于第三目标区域的图像质量特征确定第三拍摄参数,从第一图像采集装置获取基于第三拍摄参数拍摄的第四图像,然后基于第一图像、第二图像和第四图像产生第三图像,其中,第四图像在帧时序上晚于第二图像。也就是说,终端会针对当前处理图像中的多个目标区域,分别确定对应的拍摄参数,基于确定的多个拍摄参数,依次拍摄图像,基于拍摄得到的多帧图像产生第三图像。本申请实施例对当前处理图像中的目标区域的数量不做限制。
本申请实施例提供的方案,在拍摄图像时,不只关注于图像中的一个区域,而是着眼于已经拍摄得到的第一图像中的多个目标区域,针对多个目标区域中的第一目标区域和第二目标区域的图像质量特征分别确定拍摄参数,由于第一拍摄参数是基于第一目标区域的图像质量特征确定的,第二拍摄参数是基于第二目标区域的图像质量特征确定的,因此,基于第一拍摄参数拍摄得到的第一图像中,第一目标区域的图像质量较高,基于第二拍摄参数拍摄得到的第二图像中,第二目标区域的图像质量较高,因此,基于第一图像和第二图像产生的第三图像中,第一目标区域和第二目标区域的图像质量都比较高,这样就保证了拍摄的第三图像中多个区域的图像质量,因此,该方案能够提高拍摄的图像质量。
图3示出了本申请一个示例性实施例提供的一种图像处理方法的流程图,该实施例提供了多种确定图像中的目标区域的方法。参见图3,该方法包括:
301、终端确定当前处理图像中的多个目标区域。
在一种可能的实现方式中,终端确定当前处理图像中的多个目标区域,包括:
终端识别当前处理图像中的目标物体所在的区域,目标物体为属于目标类型的物体;终端将识别出的区域确定为目标区域,或者将识别出的区域的外接区域确定为目标区域。可选地,该外接区域为终端识别出的区域的最小外接矩形内的区域,或者识别出的区域的最小外接圆形内的区域,或者识别出的区域的最小外接椭圆形内的区域等。需要说明的一点是,由于当前处理图像中可能包括多个目标物体所在的区域,因此,终端确定的目标区域可能是多个。
其中,目标类型用于指示当前处理图像中目标物体的类型。例如,目标类型用于指示当前处理图像中用户感兴趣的物体的类型。目标类型为任意类型,例如,目标类型为美食类型、人物类型、风景类型、建筑类型等,本申请实施例对此不做限制。
终端识别当前处理图像中的目标物体所在的区域之前,先获取目标类型。在一种可能的实现方式中,终端获取输入的目标类型。例如,在拍摄当前处理图像之前或者拍摄当前处理图像之后,终端显示类型选取界面,该类型选取界面中包括多个物体类型,终端获取从类型选取界面中选取的物体类型,将该物体类型确定为目标类型。例如,用户在拍摄图像之前,会在拍摄场景界面中选取拍摄场景,其中,拍摄场景界面中包括人像场景、美食场景等多个拍摄场景,用户能够从中选取拍摄场景,然后再进行拍摄。其中,拍摄场景界面即为类型选取界面,拍摄场景界面中的拍摄场景即为物体类型。
在本申请实施例中,由于目标类型是由用户输入的,因此,目标类型能够准确反映出用户感兴趣的目标物体,后续基于该目标物体所在的区域确定目标区域,能够保证获取的第三图像中,用户感兴趣的目标物体所在的区域的图像质量。
在另一种可能的实现方式中,终端对当前处理图像进行类型识别,得到目标类型。例如,终端对当前处理图像进行类型识别,得到当前处理图像的类型,将当前处理图像的类型确定为目标类型。例如,当前处理图像中大部分区域为草地,识别出的当前处理图像的类型为风景类型,终端将风景类型确定为目标类型。又如,当前处理图像中包括多个人物,识别出的当前处理图像的类型为人物类型,终端将人物类型确定为目标类型。可选地,终端通过图像类型识别模型对当前处理图像进行类型识别,得到当前处理图像的类型。其中,图像类型识别模型是通过包括图像以及图像类型标签的样本训练得到的,能够识别出任意图像的图像类型。当然终端也能够通过其他方式识别当前处理图像的类型,本申请实施例对此不做限制。
在本申请实施例中,由于当前处理图像是用户所拍摄的,因此当前处理图像本身能够反映出用户感兴趣的目标物体,因此,对当前处理图像进行类型识别,得到的目标类型能够代表用户感兴趣的目标物体的类型,后续基于属于该目标类型的目标物体所在的区域来确定目标区域,能够保证获取的第三图像中,用户感兴趣的目标物体所在的区域的图像质量。
在本申请实施例中,终端识别出目标物体所在的区域后,能够将识别出的区域直接确定为目标区域,这样,后续基于该目标区域进行图像处理所得到的第三图像中,目标物体所在的区域的图像质量能够得到保证。或者,终端识别出目标物体所在的区域后,将该区域的外接区域确定为目标区域,由于目标物体所在的区域一般是不规则形状,因此,后续对目标区域进行图像处理时,会增加终端的数据处理压力,由于外接区域的形状比目标物体所在的区域的形状更加规则,因此,将目标物体所在的区域的外接区域确定为目标区域,能够降低终端的数据处理压力。
在一种可能的实现方式中,终端识别当前处理图像中的目标物体所在的区域,包括:终端确定目标类型对应的物体特征,将当前处理图像中与该物体特征匹配的区域确定为目标物体所在的区域。由于当前处理图像中与目标物体的物体特征匹配的区域极大可能是目标物体所在的区域,因此,通过这种方式确定目标物体所在的区域的准确性高。
其中,物体特征指代属于目标类型的目标物体的特征。可选地,目标物体的特征是指目标物体的图像特征。例如,目标物体为人物,人物的图像特征包括具有眼睛、鼻子、嘴巴、四肢等结构的图像特征。例如,目标物体为建筑物,建筑物的图像特征包括具有多种规则的几何形状等。可选地,终端中存储有目标类型与属于该目标类型的目标物体的物体特征之间的对应关系。例如,终端中存储有美食类型与美食特征的对应关系、人物类型与人物特征的对应关系、建筑类型与建筑特征的对应关系等。相应的,终端在获取目标类型后,基于终端中存储的目标类型与物体特征的对应关系,确定该目标类型对应的物体特征。
在一种可能的实现方式中,终端将当前处理图像中与物体特征匹配的区域确定为目标物体所在的区域,包括:终端基于物体特征确定当前处理图像中的多个像素点,该多个像素点的分布特征与物体特征匹配;终端将该多个像素点构成的区域确定为目标物体所在的区域。由于分布特征与物体特征匹配的多个像素点,极大可能是构成目标物体的区域的像素点,因此,通过这种方式确定目标物体所在的区域的准确性高。
在一种可能的实现方式中,终端将当前处理图像中与物体特征匹配的区域确定为目标物体所在的区域,包括:终端基于物体特征确定当前处理图像中的多个像素点,该多个像素点的分布特征和颜色特征与物体特征匹配;终端将该多个像素点构成的区域确定为目标物体所在的区域。由于像素点的颜色特征也能反映出该像素点对应的物体,因此,在确定当前处理图像中目标物体所在的区域时,结合像素点的颜色特征和分布特征来确定当前处理图像中与物体特征匹配的多个像素点,能够提高确定目标物体所在区域的准确性。
除了利用用户感兴趣的目标物体的目标类型来确定当前处理图像中的目标区域外,在一种可能的实现方式中,终端还能够利用用户在拍摄图像时眼球的注视点来确定当前处理图像中的目标区域。也即是,终端在拍摄当前处理图像的过程中,通过第二图像采集装置进行眼球追踪,确定眼球的注视点在当前处理图像中对应的关键点;将关键点所属的区域确定为目标区域。可选地,关键点所属的区域为该关键点对应的物体所在的区域。
其中,第一图像采集装置与第二图像采集装置的拍摄范围不同。例如,第一图像采集装置是终端的后置摄像头,第二图像采集装置是终端的前置摄像头。用户在使用终端的第一图像采集装置拍摄图像的过程中,终端的第二图像采集装置能够对该用户的眼球进行追踪,得到眼球的注视点的信息。然后,将该注视点映射到当前处理图像中,得到注视点在当前处理图像中对应的关键点。由于在拍摄当前处理图像的过程中,用户的眼球的注视点会发生变化,相应的,终端会得到多个注视点的信息,这种情况下,终端会在当前处理图像中确定出多个注视点对应的关键点,从而得到多个目标区域。
在本申请实施例中,由于用户在拍摄图像时,眼球的注视点对应的区域极大可能是用户感兴趣的区域,因此,通过进行眼球追踪,利用眼球的注视点确定当前处理图像中的目标区域,确定出的目标区域的准确性高。
在一种可能的实现方式中,终端还能够利用焦平面来确定当前处理图像中的目标区域。也即是,终端确定当前处理图像中,第一图像采集装置对焦的第一物体所在的区域;确定当前处理图像中,与第一物体处于同一焦平面的第二物体所在的区域;将第一物体所在的区域和第二物体所在的区域确定为目标区域。其中,第一图像采集装置的焦点所在的垂直于光轴的面就是焦平面。
在本申请实施例中,考虑到当前处理图像中第一图像采集装置对焦的第一物体极大可能是用户感兴趣的物体,并且用户感兴趣的多个物体往往位于同一焦平面上,因此,将第一物体所在的区域以及与第一物体处于同一焦平面的第二物体所在的区域确定为目标区域,丰富了目标区域的数量,并且能够保证目标区域的准确性。
终端确定当前处理图像中第一图像采集装置对焦的第一物体所在的区域之前,先确定第一图像采集装置对焦的第一物体。可选地,终端在拍摄当前处理图像的过程中,在拍摄界面中显示预览图像,终端响应于对预览图像中任一区域的触发操作,将该区域对应的物体确定为第一物体。其中,终端在拍摄当前处理图像的过程中,响应于对预览图像的任一区域的触发操作,会对焦到该区域对应的物体上,因此,用户触发的区域对应的物体即为第一图像采集装置对焦的第一物体。
终端确定当前处理图像中与第一物体处于同一焦平面的第二物体所在的区域之前,先确定与第一物体处于同一焦平面的第二物体。可选地,终端在拍摄当前处理图像的过程中,会检测场景中的物体与图像采集装置的距离,相应的,终端在确定了第一物体后,确定第一物体与第一图像采集装置的第一距离,将与第一图像采集装置的距离与该第一距离相近的物体确定为第二物体。可选地,第二物体为一个或多个,本申请实施例对此不做限制。
在一种可能的实现方式中,终端还能够利用图像采集装置的状态来确定当前处理图像中的目标区域。也即是,终端在拍摄当前处理图像的过程中第一图像采集装置处于运动状态的情况下,将当前处理图像中的运动区域确定为目标区域。其中,运动区域是对处于运动状态的物体拍摄得到的。
在本申请实施例中,考虑到在拍摄当前处理图像的过程中,如果第一图像采集装置处于运动状态,则极大可能是由于用户在跟踪拍摄处于运动状态的物体,这种情况下,将当前处理图像中处于运动状态的物体所在的区域确定为目标区域,目标区域极大可能是用户感兴趣的区域,保证了目标区域的准确性。
可选地,终端基于拍摄当前处理图像的过程中,终端的陀螺仪(gyro)信息,确定第一图像采集装置是否处于运动状态。
可选地,终端在拍摄当前处理图像的过程中,基于拍摄界面中的预览图像来确定当前处理图像中的运动区域。也即是,终端将预览图像中始终存在的物体确定为处于运动状态的物体,将当前处理图像中该物体所在的区域确定为运动区域。在本申请实施例中,考虑到用户在拍摄处于运动状态的物体的过程中,随着该物体的运动,终端会移动,拍摄界面中的预览图像中除了该物体外,其他物体会发生变化,也就是说,处于运动状态的物体始终存在于预览图像中,而预览图像中该物体周围的物体会更替,因此,将预览图像中始终存在的物体确定为处于状态的物体,将当前处理图像中该物体所在的区域确定为运动区域,能够保证确定的运动区域的准确性。
可选地,在拍摄视频的场景下,终端在拍摄当前处理图像之前,可能已经得到多个图像,这种情况下,终端将该多个图像中共同具有的物体确定为处于运动状态的物体。考虑到用户在拍摄处于运动状态的物体的视频的过程中,随着该物体的运动,已拍摄的多个图像中都会包括该物体,而多个图像中除了该物体外的其他物体会有所不同,因此,在视频拍摄的场景下,将已经拍摄得到的多个图像中共同具有的物体确定为处于运动状态的物体,将当前处理图像中该物体所在的区域确定为运动区域,能够保证确定的运动区域的准确性。
302、终端基于多个目标区域中第一目标区域的图像质量特征确定第一拍摄参数,基于多个目标区域中第二目标区域的图像质量特征确定第二拍摄参数。
可选地,终端确定出当前处理图像中的多个目标区域后,会针对每个目标区域的图像质量特征,确定一个拍摄参数。可选地,该拍摄参数用于使第一图像采集装置对焦到目标区域中的物体上。可选地,该拍摄参数还用于使拍摄的图像中该物体所在的目标区域的亮度处于阈值范围内,本申请实施例对此不做限制。
在一种可能的实现方式中,终端对于每个目标区域,基于该目标区域的图像质量特征确定拍摄参数,包括:终端对于每个目标区域,确定目标区域的亮度;基于目标区域的亮度,确定光圈值或曝光时长中的至少一个;其中,目标区域的亮度与光圈值呈正相关关系,目标区域的亮度与曝光时长呈负相关关系。例如,终端确定第一目标区域的亮度;基于第一目标区域的亮度,确定光圈值或曝光时长中的至少一个。其中,第一目标区域的亮度与光圈值呈正相关关系,第一目标区域的亮度与曝光时长呈负相关关系。再如,终端确定第二目标区域的亮度;基于第二目标区域的亮度,确定光圈值或曝光时长中的至少一个。其中,第二目标区域的亮度与光圈值呈正相关关系,第二目标区域的亮度与曝光时长呈负相关关系。
可选地,终端存储亮度与光圈值的对应关系以及亮度与曝光时长的对应关系中的至少一个。其中,曝光值以及曝光时长能够影响拍摄的图像的亮度。由于光圈值与按照该光圈值进行拍摄所得到的图像的亮度呈负相关关系,也就是说,光圈值越小,按照该光圈值所拍摄的图像的亮度越大。因此,在本申请实施例中,将目标区域的亮度与光圈值的关系设置为正相关关系,则在目标区域的亮度较大的情况下,确定的光圈值会较大,拍摄的图像中与目标区域匹配的区域的亮度则会降低,如此能够实现将第一图像中的第一目标区域和第二图像中的第二目标区域的亮度调整到阈值范围内,保证第一图像和第二图像中的目标区域的图像质量。另外,由于曝光时长与按照该曝光时长进行拍摄所得到的图像的亮度呈正相关关系,也就是说,曝光时长越长,按照该曝光时长所拍摄的图像的亮度越大。因此,在本申请实施例中,将目标区域的亮度与曝光时长的关系设置为负相关关系,则在目标区域的亮度较大的情况下,确定的曝光时长会较短,拍摄的图像中的目标区域的亮度则会降低,如此能够实现将第一图像中的第一目标区域和第二图像中的第二目标区域的亮度调整到阈值范围内,保证第一图像和第二图像中的目标区域的图像质量。
可选地,终端对于每个目标区域,基于该目标区域的图像质量特征确定拍摄参数,包括:终端对于每个目标区域,确定该目标区域中的物体与第一图像采集装置的距离,基于该距离确定对焦参数,该对焦参数用于使第一图像采集装置对焦到该目标区域中的物体上。可选地,终端在拍摄当前处理图像的过程中,检测场景中的各个物体与第一图像采集装置的距离,存储各个物体与第一图像采集装置的距离。这样,终端在确定当前处理图像中的多个目标区域后,对于每个目标区域中的物体,能够从本地获取该物体与第一图像采集装置的距离,然后,基于该第一距离确定对焦参数。例如,终端确定该第一目标区域中的物体与第一图像采集装置的距离,基于该距离确定对焦参数,该对焦参数用于使第一图像采集装置对焦到该第一目标区域中的物体上。再如,终端确定该第二目标区域中的物体与第一图像采集装置的距离,基于该距离确定对焦参数,该对焦参数用于使第一图像采集装置对焦到该第二目标区域中的物体上。
303、终端从第一图像采集装置获取基于第一拍摄参数拍摄的第一图像和基于第二拍摄参数拍摄的第二图像。
终端针对当前处理图像中的每个目标区域确定一个拍摄参数,从第一图像采集装置获取基于每个拍摄参数拍摄的图像。
可选地,终端基于第一目标区域的图像质量特征确定第一拍摄参数,基于第二目标区域的图像质量特征确定第二拍摄参数之后,将第一拍摄参数和第二拍摄参数下发至第一图像采集装置,通过第一图像采集装置按照第一拍摄参数进行拍摄,得到第一图像,按照第二拍摄参数进行拍摄,得到第二图像。第一图像采集装置拍摄得到第一图像和第二图像之后,将第一图像和第二图像上传至终端。
304、终端确定第一图像中的第一目标区域和第二图像中的第二目标区域。
在一种可能的实现方式中,终端确定第一图像中的第一目标区域,包括:终端基于第一目标区域在当前处理图像中的位置,确定第一图像中位置相同的第一目标区域。终端确定第二图像中的第二目标区域,包括:终端基于第二目标区域在当前处理图像中的位置,确定第二图像中位置相同的第二目标区域。
在本申请实施例中,考虑到摄像机的拍摄帧率较高,即当前处理图像与第一图像和第二图像的拍摄时间间隔很短,因此,当前处理图像与第一图像以及第二图像的图像差异较小,因此,第一目标区域在当前处理图像中的位置与第一目标区域在第一图像中的位置差异较小,第二目标区域在当前处理图像中的位置与第二目标区域在第二图像中的位置差异较小,因此,直接基于第一目标区域在当前处理图像中的位置,确定第一图像中位置相同的第一目标区域,基于第二目标区域在当前处理图像中的位置,确定第二图像中位置相同的第二目标区域,在对第一图像和第二图像中的目标区域的准确性影响不大的情况下,能够提高确定第一图像和第二图像中的目标区域的效率。
在一种可能的实现方式中,终端基于第一目标区域在当前处理图像中的位置,确定第一图像中位置相同的第一目标区域,基于第二目标区域在当前处理图像中的位置,确定第二图像中位置相同的第二目标区域之后,基于拍摄第一图像过程中第一图像采集装置的运动信息,对该第一图像中的第一目标区域进行校正,基于拍摄第二图像过程中第一图像采集装置的运动信息,对该第二图像中的第二目标区域进行校正。可选地,第一图像采集装置的运动信息包括终端在拍摄图像的过程中生成的gyro信息。
在本申请实施例中,考虑到在拍摄第一图像和第二图像的过程中,第一图像采集装置可能会发生抖动,从而导致第一目标区域在当前处理图像中的位置与第一目标区域在第一图像中的位置差异较大,第二目标区域在当前处理图像中的位置与第二目标区域在第二图像中的位置差异较大,因此,基于拍摄第一图像过程中,第一图像采集装置的运行信息对第一图像中的第一目标区域校正,基于拍摄第二图像过程中,第一图像采集装置的运行信息对第二图像中的第二目标区域校正,能够提高第一图像和第二图像中的目标区域的准确性。
305、终端对第一图像中的第一目标区域与其他区域进行差异化处理,对第二图像中的第二目标区域与其他区域进行差异化处理。
在一种可能的实现方式中,终端对第一图像中的第一目标区域与其他区域进行差异化处理,包括:终端对第一图像中的第一目标区域进行处理,而不对第一图像中的其他区域进行处理。终端对第二图像中的第二目标区域与其他区域进行差异化处理,包括:终端对第二图像中的第二目标区域进行处理,而不对第二图像中的其他区域进行处理。
可选地,终端对第一图像中的第一目标区域进行处理的实现方式包括:终端对该第一图像中的第一目标区域进行降噪,调整第一目标区域的图像的亮度等。可选地,终端对第二图像中的第二目标区域进行处理的实现方式包括:终端对第二图像中的第二目标区域进行降噪,调整第二目标区域的图像的亮度等,本申请实施例对此不做限制。
在本申请实施例中,由于第一图像中的第一目标区域以及第二图像中的第二目标区域是用户感兴趣的区域,因此对第一图像中的第一目标区域以及第二图像中第二目标区域进行处理,而不对第一图像和第二图像中的其他区域进行处理,既能够提高用户感兴趣的区域的图像质量,又能够节省终端的处理资源。
可选地,终端对第一图像中的第一目标区域与其他区域进行差异化处理包括:终端通过不同的图像处理模型分别对第一目标区域和其他区域进行图像处理。图像处理模型的功能为任意功能,例如,去抖动、降噪、去模糊等。其中,对第一目标区域进行图像处理的模型的处理算法更加复杂,对终端的处理资源消耗大,但图像处理效果更好。对其他区域进行图像处理的模型的处理算法更加简单,对终端的处理资源消耗小,但图像处理效果稍差。终端对第二图像中的第二目标区域与其他区域进行差异化处理与对第一图像中的第一目标区域与其他区域进行差异化处理的实现方式同理,此处不再赘述。
在本申请实施例中,考虑到目标区域和其他区域的重要程度不同,通过不同的图像处理模型来处理图像中的目标区域和其他区域,在提高图像的整体质量的同时,还能够节省终端的处理资源。
在一种可能的实现方式中,终端基于不同的处理参数对第一图像中的第一目标区域和第二图像中的第二目标区域进行处理。也即是,终端基于第三处理参数对第一图像中的第一目标区域进行图像处理;基于第四处理参数对第二图像中的第二目标区域进行图像处理。可选地,第三处理参数和第四处理参数包括降噪参数、去模糊参数、去抖动参数等。其中,第四处理参数至少部分地不同于第三处理参数。例如,第四处理参数中的降噪参数与第三处理参数中的降噪参数不同。可选地,终端基于第一图像中的第一目标区域的图像质量特征,确定第三处理参数,基于第二图像中的第二目标区域的图像质量特征,确定第四处理参数,本申请实施例对此不做限制。
在本申请实施例中,考虑到第一图像中的第一目标区域和第二图像中的第二目标区域的图像质量特征是不同的,而针对不同的图像质量特征,所需的图像处理参数也是不同的,因此,通过不同的处理参数分别对该第一目标区域和该第二目标区域进行处理,能够提高图像处理的效果。
可选地,确定图像中的目标区域的模块与进行差异化处理的模块是终端中的不同模块,相应的,步骤304中确定出第一图像中的第一目标区域和第二图像中的第二目标区域后,对第一图像和第二图像进行区分标记,并存储第一图像与第一目标区域的对应关系,以及第二图像与第二目标区域的对应关系,这样便于差异化处理的模块获知每个图像中的目标区域的位置,从而对每个图像进行差异化处理。
306、终端基于差异化处理后的第一图像和第二图像,产生第三图像。
可选地,终端将差异化处理后的第一图像和第二图像进行融合,得到第三图像。由于差异化处理后的每个图像中,用户感兴趣的目标区域的图像质量都比较高,因此,差异化处理后得到的多个图像进行融合所得到的第三图像中,用户感兴趣的多个区域的图像质量都比较高。
可选地,终端得到第三图像之后对第三图像进行处理,例如,在第三图像中添加特效等,本申请实施例对此不做限制。
需要说明的一点是,步骤304-306仅是终端基于第一图像和第二图像产生第三图像的其中一种实现方式,在其他实施例中,在步骤303之后,终端将得到的第一图像和第二图像直接进行融合,得到第三图像。
307、终端基于当前处理图像和第三图像生成目标视频,当前处理图像在目标视频中的顺序在第三图像之前。
在一种可能的实现方式中,终端确定当前处理图像中的多个目标区域之后,基于不同的处理参数分别对当前处理图像中的第一目标区域和第二目标区域进行图像处理,也即是,终端基于第一处理参数对当前处理图像中的第一目标区域进行图像处理;基于第二处理参数对当前处理图像中的第二目标区域进行图像处理。可选地,第一处理参数和第二处理参数包括降噪参数、去模糊参数、去抖动参数等。其中,第二处理参数至少部分地不同于第一处理参数。例如,第二处理参数中的降噪参数与第一处理参数中的降噪参数不同。可选地,终端基于该当前处理图像中的第一目标区域的图像质量特征,确定第一处理参数,基于该当前处理图像中的第二目标区域的图像质量特征,确定第二处理参数,本申请实施例对此不做限制。
在本申请实施例中,考虑到当前处理图像中的第一目标区域和第二目标区域的图像质量特征是不同的,而针对不同的图像质量特征,所需的图像处理参数也是不同的,因此,通过不同的处理参数分别对该第一目标区域和该第二目标区域进行处理,能够提高当前图像处理的图像处理效果。
可选地,在拍摄视频的场景下,当前处理图像和第三图像是拍摄的目标视频中相邻的两帧图像。可选地,目标视频还包括其他图像,其他图像在目标视频中的顺序在当前处理图像之前。可选地,当前处理图像的获取方式和第三图像的获取方式同理,即当前处理图像是基于目标视频中,该当前处理图像之前的其他图像所获取的。其中,基于目标视频中的该其他图像获取当前处理图像的过程与基于当前处理图像获取第三图像的过程同理。可选地,终端得到第三图像之后,还会基于第三图像来获取目标视频中的下一帧图像,实现方式与基于当前处理图像获取第三图像的过程同理。在本申请实施例中,在拍摄视频时,会基于已拍摄的前一帧图像来确定下一帧图像的拍摄参数,以保证每一帧图像中用户感兴趣的多个目标区域的图像质量。
图4是图像处理过程的示意图。参考图4,终端开启摄像头,获取图像,选取目标类型,确定获取的图像中分布特征符合目标类型对应的物体特征的多个像素点,以确定图像中的多个目标区域。对该图像进行处理后,基于每个目标区域的图像质量特征更新拍摄参数和处理参数,基于更新后的拍摄参数拍摄下一帧图像,以此类推处理,得到多个图像。其中,在确定图像中的目标区域时,能够结合摄像头的运动信息,对目标区域进行校正。另外,得到多个图像后,还能够对多个图像进行后处理,例如,在图像中添加特效等。图5是图像中的多个目标区域的示意图。参考图5,图中有4个目标区域,每个目标区域的形状为矩形。图6为图像处理过程的示意图。该图像处理过程涉及对多个图像进行差异化处理的过程,图6以执行主体为终端中的目标应用为例,说明该过程。参考图6,目标应用中的第一模块在获取到多个图像(包括第一图像和第二图像)之后,基于摄像头的运动信息,以及目标应用中的第二模块发送的目标类型和符合目标类型的物体特征的多个像素点的信息,确定每个图像中的目标区域和其他区域。对每个图像进行分割,得到每个图像中目标区域的图像数据和其他区域的图像数据,将目标区域的图像数据和其他区域的图像数据发送给第二模块。第二模块对每个图像中的目标区域的图像数据和其他区域的图像数据进行差异化处理后,将每个图像中的目标区域的图像数据和其他区域的图像数据拼接,再将多个图像融合。其中,目标应用为终端中的任一应用。可选地,第一模块是用于确定目标区域的模块,可选地,第二模块是用于进行差异化处理及图像融合的模块。
需要说明的一点是,本申请实施例提供的方法能够应用在图像采集装置的多帧模式下,例如DOL WDR(Digital Overlap Wide Dynamic Range,数字重叠宽动态)模式,或HDR(High-Dynamic Range,高动态范围)模式。
本申请实施例提供的方案,在拍摄图像时,不只关注于图像中的一个区域,而是着眼于已经拍摄得到的第一图像中的多个目标区域,针对多个目标区域中的第一目标区域和第二目标区域的图像质量特征分别确定拍摄参数,由于第一拍摄参数是基于第一目标区域的图像质量特征确定的,第二拍摄参数是基于第二目标区域的图像质量特征确定的,因此,基于第一拍摄参数拍摄得到的第一图像中,第一目标区域的图像质量较高,基于第二拍摄参数拍摄得到的第二图像中,第二目标区域的图像质量较高,因此,基于第一图像和第二图像产生的第三图像中,第一目标区域和第二目标区域的图像质量都比较高,这样就保证了拍摄的第三图像中多个区域的图像质量,因此,该方案能够提高拍摄的图像质量。
下述为本申请的装置实施例,能够用于执行本申请的方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请的方法实施例。
请参考图7,其示出了本申请一个示例性实施例提供的图像处理装置的结构方框图。该图像处理装置应用于计算机设备,该图像处理装置包括:
目标区域确定模块701,用于确定当前处理图像中的多个目标区域;
拍摄参数确定模块702,用于基于多个目标区域中第一目标区域的图像质量特征确定第一拍摄参数;基于多个目标区域中第二目标区域的图像质量特征确定第二拍摄参数;其中,第二拍摄参数至少部分地不同于第一拍摄参数;
图像获取模块703,用于从第一图像采集装置获取基于第一拍摄参数拍摄的第一图像;其中,第一图像在帧时序上晚于当前处理图像;从第一图像采集装置获取基于第二拍摄参数拍摄的第二图像;其中,第二图像在帧时序上晚于第一图像;
图像产生模块704,用于基于第一图像和第二图像产生第三图像。
在一种可能的实现方式中,装置还包括:
第一图像处理模块,用于基于第一处理参数对当前处理图像中的第一目标区域进行图像处理;基于第二处理参数对当前处理图像中的第二目标区域进行图像处理;其中,第二处理参数至少部分地不同于第一处理参数。
在一种可能的实现方式中,装置还包括:
第二图像处理模块,用于基于第三处理参数对第一图像中的第一目标区域进行图像处理;基于第四处理参数对第二图像中的第二目标区域进行图像处理;其中,第四处理参数至少部分地不同于第三处理参数。
在一种可能的实现方式中,目标区域确定模块701,包括:
第一区域确定单元,用于识别当前处理图像中的目标物体所在的区域,目标物体为属于目标类型的物体;
第二区域确定单元,用于将识别出的区域确定为目标区域,或者将识别出的区域的外接区域确定为目标区域。
在一种可能的实现方式中,第一区域确定单元,包括:
特征确定子单元,用于确定目标类型对应的物体特征,物体特征指代属于目标类型的目标物体的特征;
区域确定子单元,用于将当前处理图像中与物体特征匹配的区域确定为目标物体所在的区域。
在一种可能的实现方式中,区域确定子单元,用于基于物体特征确定当前处理图像中的多个像素点,多个像素点的分布特征与物体特征匹配;将多个像素点构成的区域确定为目标物体所在的区域。
在一种可能的实现方式中,目标区域确定模块701,用于在拍摄当前处理图像的过程中,通过第二图像采集装置进行眼球追踪,确定眼球的注视点在当前处理图像中对应的关键点,第一图像采集装置与第二图像采集装置的拍摄范围不同;将关键点所属的区域确定为目标区域。
在一种可能的实现方式中,目标区域确定模块701,用于确定当前处理图像中,第一图像采集装置对焦的第一物体所在的区域;确定当前处理图像中,与第一物体处于同一焦平面的第二物体所在的区域;将第一物体所在的区域和第二物体所在的区域确定为目标区域。
在一种可能的实现方式中,目标区域确定模块701,用于在拍摄当前处理图像的过程中,第一图像采集装置处于运动状态的情况下,将当前处理图像中的运动区域确定为目标区域,运动区域是对处于运动状态的物体拍摄得到的。
在一种可能的实现方式中,装置还包括:
目标类型确定模块,用于获取输入的目标类型;或者,对当前处理图像进行类型识别,得到目标类型。
在一种可能的实现方式中,拍摄参数确定模块702,用于确定第一目标区域的亮度;基于第一目标区域的亮度,确定光圈值或曝光时长中的至少一个;其中,第一目标区域的亮度与光圈值呈正相关关系,第一目标区域的亮度与曝光时长呈负相关关系。
在一种可能的实现方式中,图像产生模块704,用于将第一图像与第二图像进行融合,得到第三图像。
在一种可能的实现方式中,装置还包括区域校正模块,区域校正模块用于执行以下至少一项:
基于第一目标区域在当前处理图像中的位置,确定第一图像中位置相同的第一目标区域;基于拍摄第一图像过程中第一图像采集装置的运动信息,对第一图像中的第一目标区域进行校正;
基于第二目标区域在当前处理图像中的位置,确定第二图像中位置相同的第二目标区域;基于拍摄第二图像过程中第一图像采集装置的运动信息,对第二图像中的第二目标区域进行校正。
在一种可能的实现方式中,装置还包括差异化处理模块,差异化处理模块用于执行以下至少一项:
对第一图像中的第一目标区域与其他区域进行差异化处理;
对第二图像中的第二目标区域与其他区域进行差异化处理。
在一种可能的实现方式中,差异化处理模块,用于对第一图像中的第一目标区域进行处理,而不对第一图像中的其他区域进行处理;对第二图像中的第二目标区域进行处理,而不对第二图像中的其他区域进行处理。
在一种可能的实现方式中,装置还包括:
视频生成模块,用于基于当前处理图像和第三图像生成目标视频,当前处理图像在目标视频中的顺序在第三图像之前。
本申请实施例提供的方案,在拍摄图像时,不只关注于图像中的一个区域,而是着眼于已经拍摄得到的第一图像中的多个目标区域,针对多个目标区域中的第一目标区域和第二目标区域的图像质量特征分别确定拍摄参数,由于第一拍摄参数是基于第一目标区域的图像质量特征确定的,第二拍摄参数是基于第二目标区域的图像质量特征确定的,因此,基于第一拍摄参数拍摄得到的第一图像中,第一目标区域的图像质量较高,基于第二拍摄参数拍摄得到的第二图像中,第二目标区域的图像质量较高,因此,基于第一图像和第二图像产生的第三图像中,第一目标区域和第二目标区域的图像质量都比较高,这样就保证了拍摄的第三图像中多个区域的图像质量,因此,该方案能够提高拍摄的图像质量。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将计算机设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请实施例提供了一种计算机设备,该计算机设备包括处理器和存储器;该存储器存储有至少一条指令,该至少一条指令用于被处理器执行以实现如上述各个方法实施例提供的图像处理方法。
在一些实施例中,该计算机设备为终端,请参考图8,其示出了本申请一个示例性实施例提供的终端的结构方框图。在一些实施例中,终端800是智能手机、平板电脑、可穿戴设备等能够作为无线站点接入无线局域网的终端。本申请中的终端800至少包括一个或多个以下部件:处理器810、存储器820和至少两个无线链路830。
在一些实施例中,处理器810包括一个或者多个处理核心。处理器810利用各种接口和线路连接整个终端800内的各个部分,通过运行或执行存储在存储器820内的程序代码,以及调用存储在存储器820内的数据,执行终端800的各种功能和处理数据。在一些实施例中,处理器810采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器810能集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)、神经网络处理器(Neural-network Processing Unit,NPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;NPU用于实现人工智能(Artificial Intelligence,AI)功能;调制解调器用于处理无线通信。能够理解的是,上述调制解调器也能不集成到处理器810中,单独通过一块芯片进行实现。
在一些实施例中,该处理器810用于控制至少两个无线链路830的工作状况,相应的,该处理器810为集成了无线保真(Wireless Fidelity,Wi-Fi)芯片的处理器。其中,该Wi-Fi芯片为具有双Wi-Fi处理能力的芯片。例如,该Wi-Fi芯片为双频双发(Dual BandDual Concurrent,DBDC)芯片,或者,双频同步(Dual Band Simultaneous,DBS)芯片等。
在一些实施例中,存储器820包括随机存储器(Random Access Memory,RAM),在一些实施例中,存储器820包括只读存储器(Read-Only Memory,ROM)。在一些实施例中,该存储器820包括非瞬时性计算机可读介质(non-transitory computer-readable storagemedium)。存储器820可用于存储程序代码。存储器820可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等;存储数据区可存储根据终端800的使用所创建的数据(比如音频数据、电话本)等。
在一些实施例中,存储器820中存储有不同的无线链路830的接收信标帧的接收方案。以及,不同的无线链路830连接的接入节点的标识、无线链路830的标识等。
该至少两个无线链路830用于连接不同的接入节点(Access Point,AP)。接收AP下发的下行数据。其中,该不同的接入节点为同一路由器中的接入节点或者不同路由器中的接入节点。
在一些实施例中,终端800中还包括显示屏。显示屏是用于显示用户界面的显示组件。在一些实施例中,该显示屏为具有触控功能的显示屏,通过触控功能,用户可以使用手指、触摸笔等任何适合的物体在显示屏上进行触控操作。在一些实施例中,显示屏通常设置在终端800的前面板。在一些实施例中,显示屏被设计成为全面屏、曲面屏、异型屏、双面屏或折叠屏。在一些实施例中,显示屏还被设计成为全面屏与曲面屏的结合,异型屏与曲面屏的结合等,本实施例对此不加以限定。
除此之外,本领域技术人员能够理解,上述附图所示出的终端800的结构并不构成对终端800的限定,终端800包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。比如,终端800中还包括麦克风、扬声器、输入单元、传感器、音频电路、模块、电源、蓝牙模块等部件,在此不再赘述。
在一些实施例中,该计算机设备为服务器,请参考图9,其示出了本申请一个示例性实施例提供的服务器的结构方框图,该服务器900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central Processing Units,CPU)901和一个或一个以上的存储器902,其中,所述存储器902中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器901加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
本申请还提供一种计算机可读介质,该计算机可读介质存储有至少一条指令,该至少一条指令由该处理器加载并执行以实现如上各个实施例示出的图像处理方法。
本申请还提供了一种计算机程序产品,该计算机程序产品存储有至少一条指令,该至少一条指令由该处理器加载并执行以实现如上各个实施例示出的图像处理方法。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的图像处理方法中全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (19)
1.一种图像处理方法,其特征在于,所述方法包括:
确定当前处理图像中的多个目标区域;
基于所述多个目标区域中第一目标区域的图像质量特征确定第一拍摄参数;
基于所述多个目标区域中第二目标区域的图像质量特征确定第二拍摄参数;其中,所述第二拍摄参数至少部分地不同于所述第一拍摄参数;
从第一图像采集装置获取基于所述第一拍摄参数拍摄的第一图像;其中,所述第一图像在帧时序上晚于所述当前处理图像;
从所述第一图像采集装置获取基于所述第二拍摄参数拍摄的第二图像;其中,所述第二图像在帧时序上晚于所述第一图像;
基于所述第一图像和所述第二图像产生第三图像。
2.根据权利要求1所述的方法,其特征在于,所述确定当前处理图像中的多个目标区域之后,所述方法还包括:
基于第一处理参数对所述当前处理图像中的所述第一目标区域进行图像处理;
基于第二处理参数对所述当前处理图像中的所述第二目标区域进行图像处理;
其中,所述第二处理参数至少部分地不同于所述第一处理参数。
3.根据权利要求1所述的方法,其特征在于,所述基于所述第一图像和所述第二图像产生第三图像之前,所述方法还包括:
基于第三处理参数对所述第一图像中的所述第一目标区域进行图像处理;
基于第四处理参数对所述第二图像中的所述第二目标区域进行图像处理;
其中,所述第四处理参数至少部分地不同于所述第三处理参数。
4.根据权利要求1所述的方法,其特征在于,所述确定当前处理图像中的多个目标区域,包括:
识别所述当前处理图像中的目标物体所在的区域,所述目标物体为属于目标类型的物体;
将识别出的区域确定为所述目标区域,或者将识别出的区域的外接区域确定为所述目标区域。
5.根据权利要求4所述的方法,其特征在于,所述识别所述当前处理图像中的目标物体所在的区域,包括:
确定所述目标类型对应的物体特征,所述物体特征指代属于所述目标类型的目标物体的特征;
将所述当前处理图像中与所述物体特征匹配的区域确定为所述目标物体所在的区域。
6.根据权利要求5所述的方法,其特征在于,所述将所述当前处理图像中与所述物体特征匹配的区域确定为所述目标物体所在的区域,包括:
基于所述物体特征确定所述当前处理图像中的多个像素点,所述多个像素点的分布特征与所述物体特征匹配;
将所述多个像素点构成的区域确定为所述目标物体所在的区域。
7.根据权利要求1所述的方法,其特征在于,所述确定当前处理图像中的多个目标区域,包括:
在拍摄所述当前处理图像的过程中,通过第二图像采集装置进行眼球追踪,确定眼球的注视点在所述当前处理图像中对应的关键点,所述第一图像采集装置与所述第二图像采集装置的拍摄范围不同;
将所述关键点所属的区域确定为所述目标区域。
8.根据权利要求1所述的方法,其特征在于,所述确定当前处理图像中的多个目标区域,包括:
确定所述当前处理图像中,所述第一图像采集装置对焦的第一物体所在的区域;
确定所述当前处理图像中,与所述第一物体处于同一焦平面的第二物体所在的区域;
将所述第一物体所在的区域和所述第二物体所在的区域确定为所述目标区域。
9.根据权利要求1所述的方法,其特征在于,所述确定当前处理图像中的多个目标区域,包括:
在拍摄所述当前处理图像的过程中,所述第一图像采集装置处于运动状态的情况下,将所述当前处理图像中的运动区域确定为所述目标区域,所述运动区域是对处于运动状态的物体拍摄得到的。
10.根据权利要求4所述的方法,其特征在于,所述识别所述当前处理图像中的目标物体所在的区域之前,所述方法还包括:
获取输入的所述目标类型;或者,
对所述当前处理图像进行类型识别,得到所述目标类型。
11.根据权利要求1-10任一项所述的方法,其特征在于,所述基于所述多个目标区域中第一目标区域的图像质量特征确定第一拍摄参数,包括:
确定所述第一目标区域的亮度;
基于所述第一目标区域的亮度,确定光圈值或曝光时长中的至少一个;
其中,所述第一目标区域的亮度与所述光圈值呈正相关关系,所述第一目标区域的亮度与所述曝光时长呈负相关关系。
12.根据权利要求1-10任一项所述的方法,其特征在于,所述基于所述第一图像和所述第二图像产生第三图像,包括:
将所述第一图像与所述第二图像进行融合,得到所述第三图像。
13.根据权利要求1-10任一项所述的方法,其特征在于,所述基于所述第一图像和所述第二图像产生第三图像之前,所述方法还包括以下至少一项:
基于所述第一目标区域在所述当前处理图像中的位置,确定所述第一图像中位置相同的第一目标区域;基于拍摄所述第一图像过程中所述第一图像采集装置的运动信息,对所述第一图像中的所述第一目标区域进行校正;
基于所述第二目标区域在所述当前处理图像中的位置,确定所述第二图像中位置相同的第二目标区域;基于拍摄所述第二图像过程中所述第一图像采集装置的运动信息,对所述第二图像中的所述第二目标区域进行校正。
14.根据权利要求1-10任一项所述的方法,其特征在于,所述基于所述第一图像和所述第二图像产生第三图像之前,所述方法还包括以下至少一项:
对所述第一图像中的所述第一目标区域与其他区域进行差异化处理;
对所述第二图像中的所述第二目标区域与其他区域进行差异化处理。
15.根据权利要求14所述的方法,其特征在于,所述对所述第一图像中的所述第一目标区域与其他区域进行差异化处理,包括:
对所述第一图像中的所述第一目标区域进行处理,而不对所述第一图像中的其他区域进行处理;
所述对所述第二图像中的所述第二目标区域与其他区域进行差异化处理,包括:
对所述第二图像中的所述第二目标区域进行处理,而不对所述第二图像中的其他区域进行处理。
16.根据权利要求1-10任一项所述的方法,其特征在于,所述基于所述第一图像和所述第二图像产生第三图像之后,所述方法还包括:
基于所述当前处理图像和所述第三图像生成目标视频,所述当前处理图像在所述目标视频中的顺序在所述第三图像之前。
17.一种图像处理装置,其特征在于,所述装置包括:
目标区域确定模块,用于确定当前处理图像中的多个目标区域;
拍摄参数确定模块,用于基于所述多个目标区域中第一目标区域的图像质量特征确定第一拍摄参数;基于所述多个目标区域中第二目标区域的图像质量特征确定第二拍摄参数;其中,所述第二拍摄参数至少部分地不同于所述第一拍摄参数;
图像获取模块,用于从第一图像采集装置获取基于所述第一拍摄参数拍摄的第一图像;其中,所述第一图像在帧时序上晚于所述当前处理图像;从所述第一图像采集装置获取基于所述第二拍摄参数拍摄的第二图像;其中,所述第二图像在帧时序上晚于所述第一图像;
图像产生模块,用于基于所述第一图像和所述第二图像产生第三图像。
18.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器;所述存储器存储有至少一条指令,所述至少一条指令用于被所述处理器执行以实现如权利要求1至16任一所述的图像处理方法。
19.一种计算机可读存储介质,其特征在于,所述存储介质存储有至少一条指令,所述至少一条指令用于被处理器执行以实现如权利要求1至16任一所述的图像处理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110871943.1A CN115696019A (zh) | 2021-07-30 | 2021-07-30 | 图像处理方法、装置、计算机设备及存储介质 |
PCT/CN2022/097953 WO2023005450A1 (zh) | 2021-07-30 | 2022-06-09 | 图像处理方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110871943.1A CN115696019A (zh) | 2021-07-30 | 2021-07-30 | 图像处理方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115696019A true CN115696019A (zh) | 2023-02-03 |
Family
ID=85058007
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110871943.1A Pending CN115696019A (zh) | 2021-07-30 | 2021-07-30 | 图像处理方法、装置、计算机设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115696019A (zh) |
WO (1) | WO2023005450A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017049311A (ja) * | 2015-08-31 | 2017-03-09 | 沖電気工業株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN105898135A (zh) * | 2015-11-15 | 2016-08-24 | 乐视移动智能信息技术(北京)有限公司 | 相机成像方法及相机装置 |
CN107426490A (zh) * | 2017-05-16 | 2017-12-01 | 深圳市金立通信设备有限公司 | 一种拍照方法及终端 |
CN110225248B (zh) * | 2019-05-29 | 2021-11-16 | Oppo广东移动通信有限公司 | 图像采集方法和装置、电子设备、计算机可读存储介质 |
CN110766637B (zh) * | 2019-10-30 | 2022-10-04 | 北京金山云网络技术有限公司 | 一种视频处理方法、处理装置、电子设备及存储介质 |
-
2021
- 2021-07-30 CN CN202110871943.1A patent/CN115696019A/zh active Pending
-
2022
- 2022-06-09 WO PCT/CN2022/097953 patent/WO2023005450A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2023005450A1 (zh) | 2023-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11727577B2 (en) | Video background subtraction using depth | |
CN112840376B (zh) | 一种图像处理方法、装置与设备 | |
US20230132407A1 (en) | Method and device of video virtual background image processing and computer apparatus | |
CN108024065B (zh) | 一种终端拍摄的方法、终端及计算机可读存储介质 | |
US20130242127A1 (en) | Image creating device and image creating method | |
CN112153272B (zh) | 一种图像拍摄方法与电子设备 | |
CN107948505B (zh) | 一种全景拍摄方法及移动终端 | |
CN110266955B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
CN110266954A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN113628100B (zh) | 视频增强方法、装置、终端及存储介质 | |
CN111985281A (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
CN112116525B (zh) | 换脸识别方法、装置、设备和计算机可读存储介质 | |
US20180249072A1 (en) | Method and device for image processing | |
CN107835404A (zh) | 基于头戴式虚拟现实设备的图像显示方法、设备及系统 | |
CN113411498A (zh) | 图像拍摄方法、移动终端及存储介质 | |
US20160350622A1 (en) | Augmented reality and object recognition device | |
CN109151318A (zh) | 一种图像处理方法、装置及计算机存储介质 | |
CN112184722A (zh) | 图像处理方法、终端及计算机存储介质 | |
CN108898650B (zh) | 人形素材创建方法及相关装置 | |
CN111988525A (zh) | 图像处理方法及相关装置 | |
CN115696019A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN113313790A (zh) | 视频生成方法、装置、设备及存储介质 | |
CN114143471A (zh) | 图像处理方法、系统、移动终端及计算机可读存储介质 | |
CN114390191A (zh) | 录像方法、电子设备及存储介质 | |
CN115802153B (zh) | 图像拍摄方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |