CN116152078A - 图像处理方法、装置、系统及存储介质 - Google Patents
图像处理方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN116152078A CN116152078A CN202111402843.0A CN202111402843A CN116152078A CN 116152078 A CN116152078 A CN 116152078A CN 202111402843 A CN202111402843 A CN 202111402843A CN 116152078 A CN116152078 A CN 116152078A
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- local
- area
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本公开涉及一种图像处理方法、装置、系统及存储介质，方法包括：获取主摄像头在目标时刻拍摄的被拍摄对象的目标图像；确定所述目标图像中存在超出主摄像头动态范围的局部区域时，获取副摄像头在所述目标时刻拍摄的所述被拍摄对象的替换图像，并根据所述替换图像对所述目标图像中的所述局部区域进行替换。本方案利用主摄像头和副摄像头，可以在相同时刻同时拍摄出多张图像，从而利用副摄像头拍摄的图像增强主摄像头拍摄的目标图像的阴影和高光细节，由于多张图像的拍摄时刻不存在时间间隔，可以避免非静止的被拍摄对象或者摄像头抖动等因素对图像质量带来的影响，得到的图像质量高。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、系统及存储介质。
背景技术
高动态范围(High-Dynamic Range，HDR)图像相比普通的图像，可以提供更多的动态范围和图像细节，能够更好反映人眼在真实环境中的视觉效果。提高图像所提供的动态范围的常规方法主要有硬件改进和算法改进，其中，硬件改进通过增大图像传感器的像素感光势井容量，在增大曝光情况下，原本过亮部分的像素由于势井较大不会过曝，而原本过暗部分由于长曝光下，获得更多进光量使图像提亮，最终获得高动态范围图像。但由于势井容量增大范围有限，只能提高到一定范围，且只能从硬件上进行改进，在应用上比较受限。
算法改进是，控制摄像头在不同时刻连续拍摄多张不同曝光的图像，再将多张图像进行融合，从而得到高动态范围图像。但该多张图像是同一摄像头在不同时刻连续拍摄的，多张图像的拍摄时刻存在时间间隔，易由于图像中存在变化对象(如运动的物体、闪烁的灯光)或抖动等因素，导致多张图像的成像不一，进而导致融合后的图像质量不佳。
发明内容
为克服相关技术中存在的问题，本公开提供一种图像处理方法、装置、系统及存储介质。
根据本公开实施例的第一方面，提供一种图像处理方法，包括：
获取主摄像头在目标时刻拍摄的被拍摄对象的目标图像；
确定所述目标图像中存在超出主摄像头动态范围的局部区域时，获取副摄像头在所述目标时刻拍摄的所述被拍摄对象的替换图像，并根据所述替换图像对所述目标图像中的所述局部区域进行替换。
在可选的实施方式中，所述副摄像头包括第一副摄像头，所述局部区域包括局部过暗区域，所述确定所述目标图像中存在超出主摄像头动态范围的局部区域时，获取副摄像头在所述目标时刻拍摄的所述被拍摄对象的替换图像，并根据所述替换图像对所述目标图像中的所述局部区域进行替换，包括：
确定所述目标图像中存在超出主摄像头动态范围的所述局部过暗区域时，获取所述第一副摄像头在所述目标时刻拍摄的所述被拍摄对象的暗部替换图像；
从所述暗部替换图像中获取与所述局部过暗区域对应的暗部替换区域，并将所述暗部替换区域内的图像替换到所述目标图像的所述局部过暗区域上。
在可选的实施方式中，所述副摄像头包括第二副摄像头，所述局部区域包括局部过亮区域，所述确定所述目标图像中存在超出主摄像头动态范围的局部区域时，获取副摄像头在所述目标时刻拍摄的所述被拍摄对象的替换图像，并根据所述替换图像对所述目标图像中的所述局部区域进行替换，包括：
确定所述目标图像中存在超出主摄像头动态范围的所述局部过亮区域时，获取所述第二副摄像头在所述目标时刻拍摄的所述被拍摄对象的亮部替换图像；
从所述亮部替换图像中获取与所述局部过亮区域对应的亮部替换区域，并将所述亮部替换区域内的图像替换到所述目标图像的所述局部过亮区域上。
在可选的实施方式中，所述方法包括：
计算所述目标图像的全局平均亮度；
将所述目标图像分成多个像素块并分别计算每个所述像素块对应的局部平均亮度；
分别将每个所述像素块对应的局部平均亮度与所述全局平均亮度进行比较，并根据每个像素块的比较结果确定所述目标图像中超出主摄像头动态范围的所述局部区域。
在可选的实施方式中，所述局部区域包括局部过暗区域，所述根据每个像素块的比较结果确定所述目标图像中超出主摄像头动态范围的所述局部区域，包括：
当有连续相邻的多个像素块对应的局部平均亮度低于所述全局平均亮度，且所述全局平均亮度与所述多个像素块中每个像素块对应的局部平均亮度的比值均超过第一预设阈值时，根据连续相邻的所述多个像素块形成的区域得到所述目标图像中的所述局部过暗区域；其中，所述多个像素块的数量大于第二预设阈值。
在可选的实施方式中，所述局部区域包括局部过亮区域，所述根据每个像素块的比较结果确定所述目标图像中超出主摄像头动态范围的所述局部区域，包括：
当有连续相邻的多个像素块对应的局部平均亮度高于所述全局平均亮度，且所述多个像素块中每个像素块对应的局部平均亮度与所述全局平均亮度的比值均超过第三预设阈值时，根据连续相邻的所述多个像素块形成的区域得到所述目标图像中的所述局部过亮区域；其中，所述多个像素块的数量大于第四预设阈值。
在可选的实施方式中，所述主摄像头与所述副摄像头的视场角被标定为使得所述主摄像头拍摄的图像与所述副摄像头拍摄的图像是所述被拍摄对象在同一图像平面上的投影。
在可选的实施方式中，所述副摄像头包括第一副摄像头和第二副摄像头，所述替换图像包括所述第一副摄像头在所述目标时刻以第一拍摄参数拍摄的所述被拍摄对象的暗部替换图像和/或所述第二副摄像头在所述目标时刻以第二拍摄参数拍摄的所述被拍摄对象的亮部替换图像；其中，所述第一拍摄参数中的曝光时间高于所述第二拍摄参数中的曝光时间，和/或，所述第一拍摄参数中的增益高于所述第二拍摄参数中的增益。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：
目标图像获取模块，用于获取主摄像头在目标时刻拍摄的被拍摄对象的目标图像；
替换图像获取模块，用于确定所述目标图像中存在超出主摄像头动态范围的局部区域时，获取副摄像头在所述目标时刻拍摄的所述被拍摄对象的替换图像，并根据所述替换图像对所述目标图像中的所述局部区域进行替换。
根据本公开实施例的第三方面，提供一种图像处理系统，包括：
主摄像头；
至少一个副摄像头；
处理器，与所述主摄像头和所述至少一个副摄像头分别连接，用于执行本公开第一方面所述的方法。
在可选的实施方式中，所述至少一个副摄像头包括第一副摄像头和第二副摄像头，所述第一副摄像头用于以第一拍摄参数拍摄图像，所述第二副摄像头用于以第二拍摄参数拍摄图像；其中，所述第一拍摄参数中的曝光时间高于所述第二拍摄参数中的曝光时间，和/或，所述第一拍摄参数中的增益高于所述第二拍摄参数中的增益。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所述的方法。
本公开实施例提供的技术方案可以包括以下有益效果：
本技术方案是根据与主摄像头在相同时刻针对相同被拍摄对象所拍摄的替换图像，对主摄像头拍摄的目标图像中超出动态范围的局部区域的图像进行替换，相较于相关技术中同一摄像头连续拍摄多张图像进行融合的方案，本技术方案可以避免拍摄场景中非静止的被拍摄对象或者摄像头抖动等因素对图像质量带来的影响，在替换后可以得到质量较好的图像。另外，本技术方案的硬件简单，可以直接利用电子设备上已有的多摄像头硬件配置进行实施，且由于副摄像头是与主摄像头在相同时刻同时拍摄的，不需要进行拍摄等待，整个过程十分快速，可以达到近似于实时的效果，此外，实施过程简单，无需任何复杂算法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像处理方法的流程图；
图2是根据一示例性实施例示出的对目标图像的局部过暗区域和局部过亮区域进行替换的示意图；
图3是根据一示例性实施例示出的确定目标图像中的局部过暗区域和局部过亮区域的流程图；
图4是根据一示例性实施例示出的一种图像处理装置的框图；
图5是根据一示例性实施例示出的一种图像处理系统的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
摄像头是获得视觉感知的最主要传感器，当在强光源(如日光、灯具或反光等)照射下形成的高亮度区域，及阴影、逆光等相对亮度较低的区域在图像中同时存在时，摄像头输出的图像会出现明亮区域因曝光过度成为白色，而黑暗区域因曝光不足成为黑色，严重影响图像质量。摄像头在同一场景中对明亮区域及较暗区域的表现是存在局限的，这种局限就是动态范围，当场景中有超出摄像头动态范围的区域存在时，在拍摄的图像中将会呈现出明显的局部过亮区域和/或明显的局部过暗区域。
由此，本公开实施例提供一种图像处理方法，可在不改变摄像头图像传感器硬件的基础上，通过简单算法得到一张同时具备阴影细节和高光细节的图像。
可以理解的，随着科技发展，越来越多的电子设备(如手机、电视及车载设备等)上逐渐搭载多个摄像头，本公开实施例可以直接借助于这些电子设备上自有的多个摄像头进行实施，也可以单独为其布置额外的摄像头。
图1是根据一示例性实施例示出的一种图像处理方法的流程图，如图1所示，该方法应用于电子设备中，该电子设备包括但不限于手机、电视及车载设备等，该方法包括如下步骤：
步骤S110，获取主摄像头在目标时刻拍摄的被拍摄对象的目标图像。
步骤S120，确定目标图像中存在超出主摄像头动态范围的局部区域时，获取副摄像头在目标时刻拍摄的该被拍摄对象的替换图像，并根据该替换图像对目标图像中的该局部区域进行替换。
其中，副摄像头拍摄的替换图像与主摄像头拍摄的目标图像是在相同时刻针对相同被拍摄对象所拍摄的。
可以理解的，副摄像头包括第一副摄像头和/或第二副摄像头。
示例性的，副摄像头包括第一副摄像头，上述步骤S120包括：确定目标图像中存在超出主摄像头动态范围的局部过暗区域时，获取第一副摄像头在目标时刻拍摄的被拍摄对象的暗部替换图像，然后从该暗部替换图像中获取与局部过暗区域对应的暗部替换区域，再将暗部替换区域内的图像替换到目标图像的局部过暗区域上。
示例性的，副摄像头包括第二副摄像头，上述步骤S120包括：确定目标图像中存在超出主摄像头动态范围的局部过亮区域时，获取第二副摄像头在目标时刻拍摄的被拍摄对象的亮部替换图像，然后从该亮部替换图像中获取与局部过亮区域对应的亮部替换区域，再将亮部替换区域内的图像替换到目标图像的局部过亮区域上。
在可能的实施例中，在电子设备上可能仅设置有主摄像头和第一副摄像头，则可以根据第一副摄像头在相同的目标时刻拍摄的暗部替换图像，替换主摄像头拍摄的目标图像中的局部过暗区域。或者，在电子设备上可能仅设置有主摄像头和第二副摄像头，则可以根据第二副摄像头在相同的目标时刻拍摄的亮部替换图像，替换主摄像头拍摄的目标图像中的局部过亮区域。或者，在电子设备上同时设置有主摄像头、第一副摄像头和第二副摄像头，在目标图像中同时存在超出主摄像头动态范围的局部过暗区域和局部过亮区域时，根据第一副摄像头在相同的目标时刻拍摄的暗部替换图像，替换主摄像头拍摄的目标图像中的局部过暗区域，以及根据第二副摄像头在相同的目标时刻拍摄的亮部替换图像，替换主摄像头拍摄的目标图像中的局部过亮区域。
下文以电子设备同时设有主摄像头、第一副摄像头和第二副摄像头为例对本技术方案进行详细说明。
在一种示例中，响应于拍摄指令，控制主摄像头、第一副摄像头和第二副摄像头同时启动拍摄，获得主摄像头、第一副摄像头和第二副摄像头在同一时刻拍摄的被拍摄对象的图像，得到主摄像头拍摄的目标图像A、第一副摄像头拍摄的暗部替换图像B和第二副摄像头拍摄的亮部替换图像C。判断主摄像头拍摄的目标图像A中是否存在局部过暗区域和局部过亮区域，若目标图像A中只存在局部过暗区域，不存在局部过亮区域，则舍弃第二副摄像头拍摄的亮部替换图像C，并从之前得到的第一副摄像头拍摄的暗部替换图像B中获取与该局部过暗区域对应的暗部替换区域，并将暗部替换区域内的图像替换到目标图像A的局部过暗区域上。同理，若目标图像A中只存在局部过亮区域，不存在局部过暗区域，则舍弃第一副摄像头拍摄的暗部替换图像B，并从之前得到的第二副摄像头拍摄的亮部替换图像C中获取与该局部过亮区域对应的亮部替换区域，并将亮部替换区域内的图像替换到目标图像A的局部过亮区域上。若目标图像A中同时存在局部过暗区域和局部过亮区域，则同时利用第一副摄像头拍摄的暗部替换图像B和第二副摄像头拍摄的亮部替换图像C完成替换。其中，图2示出了上述过程的示意图。
在又一示例中，响应于拍摄指令，先控制主摄像头启动拍摄，此时第一副摄像头和第二副摄像头可不启动拍摄，获得主摄像头拍摄的目标图像A’，判断主摄像头拍摄的目标图像A’中是否存在局部过暗区域和局部过亮区域，若目标图像A’中不存在局部过暗区域和局部过亮区域，则不用对目标图像A’进行替换处理，可直接输出图像，用于后续处理环节，如对目标图像A’进行后续的目标(车、行人、障碍物等)识别。若目标图像A’中存在局部过暗区域，则控制主摄像头和第一副摄像头同时启动拍摄，此时第二副摄像头可不启动拍摄，得到主摄像头拍摄的目标图像A和第一副摄像头拍摄的暗部替换图像B，利用第一副摄像头拍摄的暗部替换图像B对目标图像A中的局部过暗区域的图像进行替换。可以理解的是，此时原本拍摄的目标图像A’可以选择舍弃，即不作为替换的基础图像，本公开实施例仅使用在相同时刻拍摄的图像来实施替换。
同理，若目标图像A’中存在局部过亮区域，则控制主摄像头和第二副摄像头同时启动拍摄，此时第一副摄像头可不启动拍摄。若目标图像A’中同时存在局部过暗区域和局部过亮区域，则控制主摄像头、第一副摄像头和第二副摄像头同时启动拍摄。
在上述过程中，是根据与主摄像头在相同时刻针对相同被拍摄对象所拍摄的替换图像，对主摄像头拍摄的目标图像中超出动态范围的局部区域的图像进行替换，相较于相关技术中同一摄像头连续拍摄多张图像进行融合的方案，本技术方案可以避免拍摄场景中非静止的被拍摄对象或者摄像头抖动等因素对图像质量带来的影响。例如当车辆向前行驶的过程中，车载摄像头与前方车辆间存在相对运动，会导致连续的多张图像中前方车辆出现模糊，或者，道路上车灯、红绿灯等对于人眼而言是常亮，但实际上是以交替脉冲的形式闪烁，会导致连续的多张图像中前一张图像的车灯处于亮的状态，下一张图像的车灯却处于暗的状态，也会严重影响融合后的图像质量。而本公开实施例利用主摄像头和至少一个副摄像头，可以在相同时刻拍摄出多张图像，从而利用副摄像头拍摄的图像来增强主摄像头拍摄的目标图像的阴影和高光细节，同时，这多张图像的拍摄时刻不存在时间间隔，从而避免了非静止的被拍摄对象或者摄像头抖动等因素对图像质量带来的影响，可以有效保证图像质量。
示例性的，在电子设备中设有控制芯片和图像芯片，图像芯片用于接收控制芯片传输的拍摄指令，响应于该拍摄指令，控制主摄像头和副摄像头在相同时刻开始拍摄，并根据主摄像头和副摄像头所拍摄的图像执行本公开实施例中的图像处理方法，具体可根据副摄像头拍摄的替换图像对主摄像头拍摄的目标图像中超出动态范围的局部区域进行替换，然后将完成替换后的图像输出给控制芯片。
其中，控制芯片用于向图像芯片发送拍摄指令，以及接收图像芯片输出的图像，并对该图像执行后续处理环节，例如，对该图像进行后续目标(车、行人、障碍物等)识别，从而可以根据目标识别结果生成绕开障碍物的提醒。
在本实施例中，主摄像头和每个副摄像头需要预先进行标定和校准，其中包括，将主摄像头和每个副摄像头的内参按照预设误差范围校准成一致，同时，对主摄像头和每个副摄像头进行像素对齐和视场角标定，在视场角标定过程中，以主摄像头拍摄的图像所在的图像平面为参考面，每个副摄像头拍摄的图像都是向参考面的投影，最终使得主摄像头拍摄的图像与副摄像头拍摄的图像是被拍摄对象在同一图像平面上的投影。
需要说明的是，第一副摄像头是在目标时刻以第一拍摄参数对被拍摄对象进行拍摄，得到暗部替换图像，第二副摄像头是在目标时刻以第二拍摄参数对被拍摄对象进行拍摄，得到亮部替换图像。从前述步骤可知，第一副摄像头拍摄的暗部替换图像是用于对主摄像头拍摄的目标图像中的局部过暗区域进行替换，所以第一拍摄参数应当设置为使得第一副摄像头能够清晰拍摄出被拍摄对象的暗部细节，第二副摄像头拍摄的亮部替换图像是用于对主摄像头拍摄的目标图像中的局部过亮区域进行替换，所以第二拍摄参数应当设置为使得第二副摄像头能够清晰拍摄出被拍摄对象的亮部细节。
可以理解的，如果要清楚拍摄暗部的细节，那么需要长曝光或者高增益，使得暗部变亮，反之对于具有光源的物体(如灯光、太阳等)，则需要短曝光或者低增益，所以，第一拍摄参数与第二拍摄参数不同，且第一拍摄参数中的曝光时间高于第二拍摄参数中的曝光时间，和/或，第一拍摄参数中的增益高于第二拍摄参数中的增益。
当然，如果第一副摄像头和第二副摄像头本身在硬件上就有所不同，如第一副摄像头的感光能力本身比第二副摄像头的感光能力更强，则第一副摄像头拍摄的图像与第二副摄像头拍摄的图像所表现的画面亮暗程度本身就会不同，那么也可以不对第一副摄像头和第二副摄像头的拍摄参数作出要求。
在可选的实施例中，图3是根据一示例性实施例示出的确定目标图像中的局部过暗区域和局部过亮区域的流程图，如图3所示，该方法包括如下步骤：
步骤S210，计算目标图像的全局平均亮度。
其中，获取目标图像上每个像素的亮度值，根据目标图像上每个像素的亮度值计算亮度平均值，作为目标图像的全局平均亮度。
步骤S220，将目标图像分成多个像素块并分别计算每个像素块对应的局部平均亮度。
示例性的，以N1*N2为像素块的单位大小将目标图像分成多个像素块，因此每个像素块共包括N1*N2个像素，其中，N1为行，N2为列，N1与N2可以相同，也可以不同。在一种示例中，像素块大小为8*8。
在将目标图像分成多个像素块后，针对每个像素块，获取该像素块上每个像素的亮度值，并根据该像素块上每个像素的亮度值计算亮度平均值，作为该像素块对应的局部平均亮度，最终得到每个像素块对应的局部平均亮度。
步骤S230，分别将每个像素块对应的局部平均亮度与全局平均亮度进行比较，并根据每个像素块的比较结果确定目标图像中超出主摄像头动态范围的局部区域。
其中，该局部区域包括局部过暗区域和/或局部过亮区域。
示例性的，当有连续相邻的多个像素块对应的局部平均亮度低于全局平均亮度，且该全局平均亮度与该多个像素块中每个像素块对应的局部平均亮度的比值均超过第一预设阈值时，根据连续相邻的该多个像素块形成的区域可得到目标图像中的局部过暗区域；其中，该多个像素块的数量大于第二预设阈值。
其中，第一预设阈值为全局平均亮度与像素块的局部平均亮度的比值所对应的阈值，表征形成局部过暗区域所需的最低比值，第二预设阈值为像素块数量对应的阈值，表征形成局部过暗区域所需的像素块最低数量。局部过暗区域可以是由该多个像素块所形成的不规则区域，或者可以为矩形区域。
可以理解的，当存在连续相邻的多个像素块，且其中每个像素块满足如下条件：每个像素块对应的局部平均亮度均低于全局平均亮度，且全局平均亮度与每个像素块对应的局部平均亮度的比值均超过第一预设阈值，表明该多个像素块中每个像素块的亮度远低于全局平均水平，可以认为该多个像素块在目标图像上是较暗的。如果该多个像素块的数量大于第二预设阈值，则这些较暗的多个像素块已经足够形成一个较大的区域，形成的这个区域将会影响对目标图像中局部信息的辨识，于是确定目标图像中存在超出动态范围的局部过暗区域，并根据该多个像素块所形成的区域得到目标图像中的局部过暗区域。
而如果该多个像素块的数量未大于第二预设阈值，则表示这些较暗的多个像素块仅是孤立的一小片区域，所形成的一小片较暗区域对后续处理环节影响较小，不会影响到对目标图像中局部信息的辨识，可以不用进行图像替换，所以不确定为局部过暗区域。
示例性的，当有连续相邻的多个像素块对应的局部平均亮度高于全局平均亮度，且该多个像素块中每个像素块对应的局部平均亮度与该全局平均亮度的比值均超过第三预设阈值时，根据连续相邻的该多个像素块形成的区域可得到目标图像中的局部过亮区域；其中，该多个像素块的数量大于第四预设阈值。
其中，第三预设阈值为像素块的局部平均亮度与全局平均亮度的比值所对应的阈值，表征形成局部过亮区域所需的最低比值，第四预设阈值为像素块数量对应的阈值，表征形成局部过亮区域所需的像素块最低数量。局部过亮区域可以是由该多个像素块所形成的不规则区域，或者可以为矩形区域。
可以理解的，当存在连续相邻的多个像素块，且其中每个像素块满足如下条件：每个像素块对应的局部平均亮度均高于全局平均亮度，且每个像素块对应的局部平均亮度与该全局平均亮度的比值均超过第三预设阈值，表明该多个像素块中每个像素块的亮度远高于全局平均水平，可以认为该多个像素块在目标图像上是较亮的。如果该多个像素块的数量大于第四预设阈值，则这些较亮的多个像素块形成的区域将会影响对目标图像中局部信息的辨识，于是确定目标图像中存在超出动态范围的局部过亮区域，并根据该多个像素块所形成的区域得到目标图像中的局部过亮区域。
同理，如果该多个像素块的数量未大于第四预设阈值，则这些较亮的多个像素块形成的区域不确定为局部过亮区域。
可选的，第一预设阈值和第三预设阈值可以相同或者不同，例如可以均设置为120db。
可以理解的，通过本公开实施例的上述技术方案，当在主摄像头拍摄的目标图像中同时出现局部过亮和局部过暗区域，可以根据副摄像头在相同时刻针对相同被拍摄对象拍摄的替换图像，对主摄像头拍摄的目标图像中的局部过亮区域和局部过暗区域的图像进行替换，从而，经替换处理的目标图像在高光和阴影区域拥有更好的细节表现，具有更大的动态范围。
本技术方案的硬件简单，可以直接利用电子设备上已有的多摄像头硬件配置进行实施，且由于副摄像头是与主摄像头同时启动拍摄的，不需要进行等待，整个过程十分快速，可以达到近似于实时的效果，此外，实施过程简单，无需任何复杂算法。
图4是根据一示例性实施例示出的一种图像处理装置的框图，请参照图4，图像处理装置300包括：目标图像获取模块310和替换图像获取模块320。
其中，目标图像获取模块310用于获取主摄像头在目标时刻拍摄的被拍摄对象的目标图像。
其中，替换图像获取模块320用于确定所述目标图像中存在超出主摄像头动态范围的局部区域时，获取副摄像头在所述目标时刻拍摄的所述被拍摄对象的替换图像，并根据所述替换图像对所述目标图像中的所述局部区域进行替换。
可选的，所述副摄像头包括第一副摄像头，所述局部区域包括局部过暗区域，替换图像获取模块320用于：
确定所述目标图像中存在超出主摄像头动态范围的所述局部过暗区域时，获取所述第一副摄像头在所述目标时刻拍摄的所述被拍摄对象的暗部替换图像；
从所述暗部替换图像中获取与所述局部过暗区域对应的暗部替换区域，并将所述暗部替换区域内的图像替换到所述目标图像的所述局部过暗区域上。
可选的，所述副摄像头包括第二副摄像头，所述局部区域包括局部过亮区域，替换图像获取模块320用于：
确定所述目标图像中存在超出主摄像头动态范围的所述局部过亮区域时，获取所述第二副摄像头在所述目标时刻拍摄的所述被拍摄对象的亮部替换图像；
从所述亮部替换图像中获取与所述局部过亮区域对应的亮部替换区域，并将所述亮部替换区域内的图像替换到所述目标图像的所述局部过亮区域上。
可选的，该装置300包括：
全局计算模块，用于计算所述目标图像的全局平均亮度；
局部计算模块，用于将所述目标图像分成多个像素块并分别计算每个所述像素块对应的局部平均亮度；
区域识别模块，用于分别将每个所述像素块对应的局部平均亮度与所述全局平均亮度进行比较，并根据每个像素块的比较结果确定所述目标图像中超出主摄像头动态范围的所述局部区域。
可选的，所述局部区域包括局部过暗区域，区域识别模块用于：
当有连续相邻的多个像素块对应的局部平均亮度低于所述全局平均亮度，且所述全局平均亮度与所述多个像素块中每个像素块对应的局部平均亮度的比值均超过第一预设阈值时，根据连续相邻的所述多个像素块形成的区域得到所述目标图像中的所述局部过暗区域；其中，所述多个像素块的数量大于第二预设阈值。
可选的，所述局部区域包括局部过亮区域，区域识别模块用于：
当有连续相邻的多个像素块对应的局部平均亮度高于所述全局平均亮度，且所述多个像素块中每个像素块对应的局部平均亮度与所述全局平均亮度的比值均超过第三预设阈值时，根据连续相邻的所述多个像素块形成的区域得到所述目标图像中的所述局部过亮区域；其中，所述多个像素块的数量大于第四预设阈值。
可选的，所述主摄像头与所述副摄像头的视场角被标定为使得所述主摄像头拍摄的图像与所述副摄像头拍摄的图像是所述被拍摄对象在同一图像平面上的投影。
可选的，所述副摄像头包括第一副摄像头和第二副摄像头，所述替换图像包括所述第一副摄像头在所述目标时刻以第一拍摄参数拍摄的所述被拍摄对象的暗部替换图像和/或所述第二副摄像头在所述目标时刻以第二拍摄参数拍摄的所述被拍摄对象的亮部替换图像；其中，所述第一拍摄参数中的曝光时间高于所述第二拍摄参数中的曝光时间，和/或，所述第一拍摄参数中的增益高于所述第二拍摄参数中的增益。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的图像处理方法。
本公开还提供一种图像处理系统，该系统包括：主摄像头、至少一个副摄像头和处理器，其中，处理器与主摄像头和每个副摄像头分别连接，用于执行本公开提供的图像处理方法。
图5是根据一示例性实施例示出的一种图像处理系统400的框图，例如，系统400可以是手机，电视，车载设备，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。参照图5，系统400可以包括以下一个或多个组件：处理组件402，存储器404，摄像头组件405，电力组件406，多媒体组件408，音频组件410，输入/输出(I/O)接口412，传感器组件414，以及通信组件416。其中，摄像头组件405包括主摄像头和至少一个副摄像头，处理组件与主摄像头和每个副摄像头分别连接。
处理组件402通常控制系统400的整体操作，诸如与显示，电话呼叫，数据通信，摄像头控制和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述的图像处理方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理组件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。
存储器404被配置为存储各种类型的数据以支持在系统400的操作。这些数据的示例包括用于在系统400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件406为系统400的各种组件提供电力。电力组件406可以包括电源管理系统，一个或多个电源，及其他与为系统400生成、管理和分配电力相关联的组件。
多媒体组件408包括在所述系统400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(MIC)，当系统400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。
I/O接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件414包括一个或多个传感器，用于为系统400提供各个方面的状态评估。例如，传感器组件414可以检测到系统400的打开/关闭状态，组件的相对定位，例如所述组件为系统400的显示器和小键盘，传感器组件414还可以检测系统400或系统400一个组件的位置改变，用户与系统400接触的存在或不存在，系统400方位或加速/减速和系统400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件416被配置为便于系统400和其他设备之间有线或无线方式的通信。系统400可以接入基于通信标准的无线网络，如WiFi，4G或5G，或它们的组合。在一个示例性实施例中，通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件416还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由系统400的处理器420执行以完成上述图像处理方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的图像处理方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (12)
1.一种图像处理方法，其特征在于，包括：
获取主摄像头在目标时刻拍摄的被拍摄对象的目标图像；
确定所述目标图像中存在超出主摄像头动态范围的局部区域时，获取副摄像头在所述目标时刻拍摄的所述被拍摄对象的替换图像，并根据所述替换图像对所述目标图像中的所述局部区域进行替换。
2.根据权利要求1所述的方法，其特征在于，所述副摄像头包括第一副摄像头，所述局部区域包括局部过暗区域，所述确定所述目标图像中存在超出主摄像头动态范围的局部区域时，获取副摄像头在所述目标时刻拍摄的所述被拍摄对象的替换图像，并根据所述替换图像对所述目标图像中的所述局部区域进行替换，包括：
确定所述目标图像中存在超出主摄像头动态范围的所述局部过暗区域时，获取所述第一副摄像头在所述目标时刻拍摄的所述被拍摄对象的暗部替换图像；
从所述暗部替换图像中获取与所述局部过暗区域对应的暗部替换区域，并将所述暗部替换区域内的图像替换到所述目标图像的所述局部过暗区域上。
3.根据权利要求1所述的方法，其特征在于，所述副摄像头包括第二副摄像头，所述局部区域包括局部过亮区域，所述确定所述目标图像中存在超出主摄像头动态范围的局部区域时，获取副摄像头在所述目标时刻拍摄的所述被拍摄对象的替换图像，并根据所述替换图像对所述目标图像中的所述局部区域进行替换，包括：
确定所述目标图像中存在超出主摄像头动态范围的所述局部过亮区域时，获取所述第二副摄像头在所述目标时刻拍摄的所述被拍摄对象的亮部替换图像；
从所述亮部替换图像中获取与所述局部过亮区域对应的亮部替换区域，并将所述亮部替换区域内的图像替换到所述目标图像的所述局部过亮区域上。
4.根据权利要求1所述的方法，其特征在于，所述方法包括：
计算所述目标图像的全局平均亮度；
将所述目标图像分成多个像素块并分别计算每个所述像素块对应的局部平均亮度；
分别将每个所述像素块对应的局部平均亮度与所述全局平均亮度进行比较，并根据每个像素块的比较结果确定所述目标图像中超出主摄像头动态范围的所述局部区域。
5.根据权利要求4所述的方法，其特征在于，所述局部区域包括局部过暗区域，所述根据每个像素块的比较结果确定所述目标图像中超出主摄像头动态范围的所述局部区域，包括：
当有连续相邻的多个像素块对应的局部平均亮度低于所述全局平均亮度，且所述全局平均亮度与所述多个像素块中每个像素块对应的局部平均亮度的比值均超过第一预设阈值时，根据连续相邻的所述多个像素块形成的区域得到所述目标图像中的所述局部过暗区域；其中，所述多个像素块的数量大于第二预设阈值。
6.根据权利要求4所述的方法，其特征在于，所述局部区域包括局部过亮区域，所述根据每个像素块的比较结果确定所述目标图像中超出主摄像头动态范围的所述局部区域，包括：
当有连续相邻的多个像素块对应的局部平均亮度高于所述全局平均亮度，且所述多个像素块中每个像素块对应的局部平均亮度与所述全局平均亮度的比值均超过第三预设阈值时，根据连续相邻的所述多个像素块形成的区域得到所述目标图像中的所述局部过亮区域；其中，所述多个像素块的数量大于第四预设阈值。
7.根据权利要求1所述的方法，其特征在于，所述主摄像头与所述副摄像头的视场角被标定为使得所述主摄像头拍摄的图像与所述副摄像头拍摄的图像是所述被拍摄对象在同一图像平面上的投影。
8.根据权利要求1所述的方法，其特征在于，所述副摄像头包括第一副摄像头和第二副摄像头，所述替换图像包括所述第一副摄像头在所述目标时刻以第一拍摄参数拍摄的所述被拍摄对象的暗部替换图像和/或所述第二副摄像头在所述目标时刻以第二拍摄参数拍摄的所述被拍摄对象的亮部替换图像；其中，所述第一拍摄参数中的曝光时间高于所述第二拍摄参数中的曝光时间，和/或，所述第一拍摄参数中的增益高于所述第二拍摄参数中的增益。
9.一种图像处理装置，其特征在于，包括：
目标图像获取模块，用于获取主摄像头在目标时刻拍摄的被拍摄对象的目标图像；
替换图像获取模块，用于确定所述目标图像中存在超出主摄像头动态范围的局部区域时，获取副摄像头在所述目标时刻拍摄的所述被拍摄对象的替换图像，并根据所述替换图像对所述目标图像中的所述局部区域进行替换。
10.一种图像处理系统，其特征在于，包括：
主摄像头；
至少一个副摄像头；
处理器，与所述主摄像头和所述至少一个副摄像头分别连接，用于执行权利要求1-8中任一项所述的方法。
11.根据权利要求10所述的系统，其特征在于，所述至少一个副摄像头包括第一副摄像头和第二副摄像头，所述第一副摄像头用于以第一拍摄参数拍摄图像，所述第二副摄像头用于以第二拍摄参数拍摄图像；其中，所述第一拍摄参数中的曝光时间高于所述第二拍摄参数中的曝光时间，和/或，所述第一拍摄参数中的增益高于所述第二拍摄参数中的增益。
12.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111402843.0A CN116152078A (zh) | 2021-11-19 | 2021-11-19 | 图像处理方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111402843.0A CN116152078A (zh) | 2021-11-19 | 2021-11-19 | 图像处理方法、装置、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116152078A true CN116152078A (zh) | 2023-05-23 |
Family
ID=86339529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111402843.0A Pending CN116152078A (zh) | 2021-11-19 | 2021-11-19 | 图像处理方法、装置、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116152078A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116684664A (zh) * | 2023-06-21 | 2023-09-01 | 杭州瑞网广通信息技术有限公司 | 一种流媒体集群的调度方法 |
-
2021
- 2021-11-19 CN CN202111402843.0A patent/CN116152078A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116684664A (zh) * | 2023-06-21 | 2023-09-01 | 杭州瑞网广通信息技术有限公司 | 一种流媒体集群的调度方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10674088B2 (en) | Method and device for acquiring image, terminal and computer-readable storage medium | |
| CN111586282B (zh) | 拍摄方法、装置、终端及可读存储介质 | |
| CN109345485B (zh) | 一种图像增强方法、装置、电子设备及存储介质 | |
| CN106125767B (zh) | 飞行器的控制方法、装置及飞行器 | |
| CN108040204B (zh) | 一种基于多摄像头的图像拍摄方法、装置及存储介质 | |
| CN112634160A (zh) | 拍照方法及装置、终端、存储介质 | |
| CN106982327B (zh) | 图像处理方法和装置 | |
| CN107820025B (zh) | 进行拍照处理的方法和装置 | |
| CN113191198B (zh) | 指纹识别方法、装置、移动终端及存储介质 | |
| CN111586280B (zh) | 拍摄方法、装置、终端及可读存储介质 | |
| CN112188096A (zh) | 拍照方法及装置、终端及存储介质 | |
| CN111277754B (zh) | 移动终端拍摄方法及装置 | |
| US11617023B2 (en) | Method for brightness enhancement of preview image, apparatus, and medium | |
| CN116152078A (zh) | 图像处理方法、装置、系统及存储介质 | |
| CN113315903B (zh) | 图像获取方法和装置、电子设备、存储介质 | |
| CN110874829B (zh) | 图像处理方法及装置、电子设备及存储介质 | |
| CN114338956A (zh) | 图像处理方法、图像处理装置及存储介质 | |
| CN114073063B (zh) | 图像处理方法及装置、相机组件、电子设备、存储介质 | |
| CN111385457A (zh) | 图像处理方法、装置、电子设备、机器可读存储介质 | |
| EP4304188A1 (en) | Photographing method and apparatus, medium and chip | |
| CN110876015B (zh) | 确定图像分辨率的方法及装置、电子设备及存储介质 | |
| CN116167924A (zh) | 图像处理方法、装置及存储介质 | |
| CN116801097A (zh) | 数据处理方法、装置及存储介质 | |
| CN117764895A (zh) | 图像处理方法、装置及存储介质 | |
| CN117392030A (zh) | 图像生成的方法、装置、存储介质及芯片 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |