CN106851124B - 基于景深的图像处理方法、处理装置和电子装置 - Google Patents
基于景深的图像处理方法、处理装置和电子装置 Download PDFInfo
- Publication number
- CN106851124B CN106851124B CN201710138848.4A CN201710138848A CN106851124B CN 106851124 B CN106851124 B CN 106851124B CN 201710138848 A CN201710138848 A CN 201710138848A CN 106851124 B CN106851124 B CN 106851124B
- Authority
- CN
- China
- Prior art keywords
- scene
- image
- processing
- depth
- main image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
Abstract
本发明公开了一种基于景深的图像处理方法,用于处理成像装置采集的场景数据。所述场景数据包括以第一曝光值获取的场景主图像。图像处理方法包括以下步骤:处理场景数据以获取场景主图像的深度信息;根据深度信息确定场景主图像的前景部分;和处理场景主图像以第二曝光值提升前景部分的亮度,第二曝光值大于第一曝光值。此外,本发明还公开了一种图像处理装置和电子装置。本发明的图像处理方法、处理装置及电子装置根据深度信息确定图像的前景部分,通过处理图像以提升前景部分的亮度,从而得到前景部分突出的HDR图像。
Description
技术领域
本发明涉及成像技术,特别涉及一种基于景深的图像处理方法、处理装置和电子装置。
背景技术
拍摄高动态范围(High Dynamic Range,HDR)图像时,需降低图像亮部的亮度,并提升暗部的亮度,然而如此将导致图像的主体不够突出,导致用户的体验不佳。
发明内容
本发明的实施方式提供一种基于景深的图像处理方法、处理装置和电子装置。
本发明实施方式的基于景深的图像处理方法,用于处理成像装置采集的场景数据,所述场景数据包括以第一曝光值获取的场景主图像,所述图像处理方法包括以下步骤:
处理所述场景数据以获取所述场景主图像的深度信息;
根据所述深度信息确定所述场景主图像的前景部分;和
处理所述场景主图像以第二曝光值提升所述前景部分的亮度,所述第二曝光值大于所述第一曝光值。
本发明实施方式的基于景深的图像处理装置,用于处理成像装置采集的场景数据,所述场景数据包括以第一曝光值获取的场景主图像,所述图像处理装置包括:
第一处理模块,用于处理所述场景数据以获取所述场景主图像的深度信息;
第一确定模块,用于根据所述深度信息确定所述场景主图像的前景部分;和
第二处理模块,用于处理所述场景主图像以第二曝光值提升所述前景部分的亮度,所述第二曝光值大于所述第一曝光值。
本发明实施方式的电子装置,包括成像装置;和所述的图像处理装置,所述图像处理装置和所述成像装置电连接。
本发明基于景深的图像处理方法、处理装置和电子装置根据深度信息确定图像的前景部分,通过处理图像以提升前景部分的亮度,从而得到前景部分突出的HDR图像。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本发明实施方式的图像处理方法的流程示意图。
图2是本发明实施方式的图像处理装置的功能模块示意图。
图3是本发明某些实施方式的图像处理方法的状态示意图。
图4是本发明某些实施方式的图像处理方法的流程示意图。
图5是本发明某些实施方式的图像处理装置的功能模块示意图。
图6是本发明某些实施方式的图像处理方法的流程示意图。
图7是本发明某些实施方式的图像处理装置的功能模块示意图。
图8是本发明某些实施方式的图像处理方法的流程示意图。
图9是本发明某些实施方式的图像处理装置的功能模块示意图。
图10是本发明某些实施方式的图像处理方法的流程示意图。
图11是本发明某些实施方式的图像处理装置的功能模块示意图。
图12是本发明某些实施方式的图像处理方法的状态示意图。
图13是本发明某些实施方式的图像处理方法的流程示意图。
图14是本发明某些实施方式的图像处理装置的功能模块示意图。
图15是本发明某些实施方式的图像处理方法的状态示意图。
图16是本发明某些实施方式的图像处理方法的流程示意图。
图17是本发明某些实施方式的图像处理装置的功能模块示意图。
图18是本发明某些实施方式的图像处理方法的状态示意图。
图19是本发明某些实施方式的图像处理方法的状态示意图。
图20是本发明实施方式的电子装置的功能模块示意图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的实施方式在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
请参阅图1,本发明实施方式的基于景深的图像处理方法,用于处理成像装置采集的场景数据。场景数据包括以第一曝光值获取的场景主图像。图像处理方法包括以下步骤:
S10:处理场景数据以获取场景主图像的深度信息;
S20:根据深度信息确定场景主图像的前景部分;和
S30:处理场景主图像以第二曝光值提升前景部分的亮度。
请参阅图2,本发明实施方式的图像处理装置100包括第一处理模块10、第一确定模块20和第二处理模块30。作为例子,本发明实施方式的图像处理方法可以由本发明实施方式的图像处理装置100实现。
其中,本发明实施方式的图像处理方法的步骤S10可以由有第一处理模块10实现,步骤S20可以由第一确定模块20实现,步骤S30可以由第二确定模块30实现。
也即是说,第一处理模块10用于处理场景数据以获取场景主图像的深度信息。第一确定模块20用于根据所述深度信息确定场景主图像的前景部分。第二处理模块30用于处理场景主图像以第二曝光值提升前景部分的亮度。其中第二曝光值大于第一曝光值。
本发明实施方式的图像处理装置100可应用于本发明实施方式的电子装置1000,也即是说,本发明实施方式的电子装置1000包括本发明实施方式的图像处理装置100。当然,本发明实施方式的电子装置1000还包括成像装置200。其中,图像处理装置100和成像装置200电连接。成像装置200可以是电子装置1000的前置或后置摄像头。
在某些实施方式中,电子装置1000包括手机、平板电脑、智能手环、智能头盔、智能眼镜等,在此不作限制。在本发明的具体实施例中,电子装置1000为手机。
请参阅图3,在日常拍摄过程中,HDR图像相比普通图像,可以提供更多动态范围和图像细节,从而更好的反映真实环境的视觉效果。一般地,获取HDR图像可通过如下途径:拍摄曝光值不同的多帧图像并进行合成或者拍摄单帧图像,对图像亮区亮度进行压缩,对图像暗区亮度进行压缩和提升的程度相同,然而如此,使得图像的对比度下降,暗处噪声变大,并且主体不够突出。
可以理解,在拍摄的图像中,前景部分一般是用户感兴趣或主要关注的部分,因此需要检测出来加以应用。本发明实施方式的基于景深的图像处理方法基于深度信息识别图像的前景部分,并根据深度信息对处于前景部分的图像内容进行亮度提升,突出图像中用户主要关注的前景部分的人或物,提升用户的视觉感受。
场景内各个人、物相对于成像装置200的距离可以用深度图像来表征,深度图像中的每个像素值也即是深度数据表示场景中某一点与成像装置的200的距离,根据组成场景中的人或物的点的深度数据即可获知相应的人或物的深度信息。深度信息通常可以反映场景内的人或物的空间位置信息。
具体地,以第一曝光值获取场景主图像,第一曝光值根据被摄场景的整体亮度条件确定,根据获取的该场景主图像的深度信息,确定该场景中的前景部分,例如,在人物风景场景中,人物通常是场景中的前景部分。以大于第一曝光值的第二曝光值提升该前景部分的亮度,从而使得前景部分更加突出,提升用户的视觉感受。
本发明实施方式的图像处理方法、图像处理装置100和电子装置1000,根据深度信息确定图像的前景部分,通过处理图像以提升前景部分的亮度,从而得到前景部分突出的HDR图像。
请参阅图4,在某些实施方式中,场景数据包括与场景主图像对应的深度图像,步骤S10包括以下步骤:
S12:处理深度图像以获取场景主图像的深度数据;和
S14:处理深度数据以得到深度信息。
请参阅图5,在某些实施方式中,场景数据包括与场景主图像对应的深度图像,第一处理模块10包括第一处理单元12和第二处理单元14。步骤S12可以由第一处理单元12实现,步骤S14可以由第二处理单元14实现。或者说,第一处理单元12用于处理深度图像以获取场景主图像的深度数据。第二处理单元14用于处理深度数据以得到深度信息。
如此,可以利用深度图像快速获得场景主图像的深度信息。
可以理解,场景主图像为RGB彩色图像,深度图像包含场景中各个人或物体的深度信息。由于场景主图像的色彩信息与深度图像的深度信息是一一对应的关系,因此,可获得场景主图像的深度信息。
在某些实施方式中,与场景主图像对应的深度图像的获取方式包括采用结构光深度测距获取深度图像及采用飞行时间(time of flight,TOF)深度摄像头获取深度图像两种方式。
采用结构光深度测距获取深度图像时,成像装置200包括摄像头和投射器。
可以理解,结构光深度测距是利用投射器将一定模式的光结构投射于物体表面,在表面形成由被测物体形状所调制的光条三维图像。光条三维图像由摄像头探测从而获得光条二维畸变图像。光条的畸变程度取决于投射器与摄像头之间的相对位置和物体表面形廓或高度。沿光条显示出的位移与物体表面的高度成比例,扭结表示了平面的变化,不连续显示表面的物理间隙。当投射器与摄像头之间的相对位置一定时,由畸变的二维光条图像坐标便可重现物体表面的三维轮廓,从而可以获取深度信息。结构光深度测距具有较高的分辨率和测量精度。
采用TOF深度摄像头获取深度图像时,成像装置200包括TOF深度摄像头。
可以理解,TOF深度摄像头通过传感器记录从发光单元发出的调制红外光发射到物体,再从物体反射回来的相位变化,在一个波长的范围内根据光速,可以实时的获取整个场景深度距离。TOF深度摄像头计算深度信息时不受被摄物表面的灰度和特征的影响,且可以快速地计算深度信息,具有很高的实时性。
请参阅图6,在某些实施方式中,场景数据包括与场景主图像对应的场景副图像,步骤S10包括以下步骤:
S16:处理场景主图像和场景副图像以得到场景主图像的深度数据;和
S18:处理深度数据以得到深度信息。
请参阅图7,在某些实施方式中,场景数据包括与场景主图像对应的场景副图像,第一处理模块10包括第三处理单元16和第四处理单元18。步骤S16可以由第三处理单元16实现,步骤S18可以由第四处理单元18实现。或者说,第三处理单元16用于处理场景主图像和场景副图像以得到场景主图像的深度数据。第四处理单元18用于处理深度数据以得到深度信息。
如此,可以通过处理场景主图像和场景副图像获取场景主图像的深度信息。
在某些实施方式中,成像装置200包括主摄像头和副摄像头。
可以理解,深度信息可以通过双目立体视觉测距方法进行获取,此时场景数据包括场景主图像和场景副图像。其中,场景主图像由主摄像头拍摄得到,场景副图像由副摄像头拍摄得到。双目立体视觉测距是运用两个相同的摄像头对同一被摄物从不同的位置成像以获得被摄物的立体图像对,再通过算法匹配出立体图像对的相应像点,从而计算出视差,最后采用基于三角测量的方法恢复深度信息。如此,通过对场景主图像和场景副图像这一立体图像对进行匹配便可获得场景主图像的深度信息。
请参阅图8,在某些实施方式中,步骤S20包括以下步骤:
S22:根据深度信息获得场景主图像的最前点;和
S24:寻找与最前点邻接且深度连续变化的区域作为前景部分。
请参阅图9,在某些实施方式中,第一确定模块20包括第五处理单元22和确定单元24。步骤S22可以由第五处理单元22实现,步骤S24可以由确定单元24实现。或者说,第五处理单元22用于根据深度信息获得场景主图像的最前点。确定单元24用于寻找与最前点邻接且深度连续变化的区域作为前景部分。
如此,可以获得场景主图像物理联系的前景部分。在现实场景中,通常前景部分是连接在一起的。以物理联系的前景部分作为主体,可以直观地获得前景部分的关系。
具体地,先根据深度信息获得场景主图像的最前点,最前点相当于前景部分的开端,从最前点进行扩散,获取与最前点邻接并且深度连续变化的区域,这些区域和最前点归并为前景区域。
需要说明的是,最前点指的是深度最小的物体对应的像素点,即物距最小或者离成像装置20最近的物体对应的像素点。邻接是指两个像素点连接在一起。深度连续变化是指邻接的两个像素点的深度差值小于预定差值,或者说深度之差小于预定差值的两个邻接的像素点的深度连续变化。
在另一些实施方式中,步骤S20可以包括以下步骤:
根据深度信息获得场景主图像的最前点;和
寻找与最前点的深度之差小于预定阈值的区域作为前景部分。
如此,可以获得场景主图像逻辑联系的前景部分。在现实场景中,前景部分可能没有连接在一起,但是符合某种逻辑关系,比如老鹰俯冲下来抓小鸡的场景,老鹰和小鸡物理上可能没连接在一起,但是从逻辑上,可以判断它们是联系起来的。
具体地,先根据深度信息获得场景主图像的最前点,最前点相当于前景部分的开端,从最前点进行扩散,获取与最前点的深度之差小于预定阈值的区域,这些区域和最前点归并为前景区域。
在一些示例中,预定阈值可以是由用户设置的一个值。如此,用户可根据自身的需求来确定前景部分的范围,从而获得理想的构图建议,实现理想的构图。
在另一些示例中,预定阈值可以是图像处理装置100确定的一个值,在此不做任何限制。图像处理装置100确定的预定阈值可以是内部存储的一个固定值,也可以是根据不同情况,例如最前点的深度,计算出来的数值。
在一些示例中,步骤S20还可以包括以下步骤:
寻找深度处于预定区间的区域作为前景部分。
确定场景主图像除前景部分外的区域为背景部分。
如此,可以获得深度处于合适范围的前景部分。
可以理解,有些拍摄情况下,前景部分并不是最前面的部分,而是最前面部分稍微靠后一点的部分,例如,人坐在电脑后面,电脑比较靠前,但是人才是主体部分,所以将深度处于预定区间的区域作为前景部分,可以有效地避免主体选择不正确的问题。
请参阅图10,在某些实施方式中,图像处理方法还包括以下步骤:
S40:处理场景主图像以区分前景部分的亮度和暗区;
步骤S30包括步骤:
S32:处理场景主图像以第二曝光值提升前景部分的暗区的亮度。
请参阅图11,在某些实施方式中,图像处理装置100还包括第三处理模块40。步骤S40可以由第三处理模块40实现。步骤S32可以由第二处理模块30实现。或者说,第三处理模块40用于处理场景主图像以区分前景部分的亮度和暗区,第二处理模块30用于处理场景主图像以第二曝光值提升前景部分的暗区的亮度。
请参阅图12,一般地,图像的前景部分通常包括亮区和暗区,图像的有限亮度域为8比特,也即是数据范围为0-255,如此,可根据数值范围确定亮区与暗区。可以理解,若对前景部分不加区分全部进行亮度提升,则可能造成原本已经是亮区的部分亮度继续提升从而过曝,因而只需对暗区部分进行亮度提升。
请参阅图13,在这样的实施方式中,步骤S40包括步骤:
S42:处理场景主图像的直方图以区分亮区和暗区。
请参阅图14,在某些实施方式中,第三处理模块40包括第六处理单元42。步骤S42可以由第六处理单元42实现。或者说,第六处理单元42用于处理场景主图像的直方图以区分亮区和暗区。
请参阅图15,一般地,场景主图像的直方图的横轴从左至右表示亮度的递增,纵轴从下到上表示在某一亮度的像素数量的递增。亮度的范围为0-255,也即是表示由黑到白。,在某一点的峰值越高,表示在该亮度下的像素越多。或者说,亮度直方图可以从整体上反应一幅图像的亮暗程度。具体地,对于场景主图像,若希望区分前景部分的亮区和暗区,可对场景主图像的前景部分进行分块,例如分为3*3或5*5个子区域,并对每个子区域的直方图进行处理,即可获知每个子区域的亮暗程度,从而区分前景部分的亮区和暗区。
请参阅图16,在某些实施方式中,图像处理方法包括以下步骤:
S50:确定场景主图像除前景部分外的背景部分;和
S60:处理场景主图像以第三曝光值提升背景部分的亮度,第三曝光值大于所述第一曝光值且小于所述第二曝光值。
请参阅图17,在某些实施方式中,图像处理装置100还包括第二确定模块50和第四处理模块60。步骤S50可以由第二确定模块50实现,步骤S60可以由第四处理模块60实现。或者说,第二确定模块50用于确定场景主图像除前景部分外的背景部分,第四处理模块60用于处理场景主图像以第三曝光值提升背景部分的亮度。
请参阅图18,如此,可以提升背景部分的亮度,并且由于背景部分提升的亮度小于前景部分和/或前景部分暗区的亮度,也即是说,对前景部分和背景部分做不同幅度的亮度提升,前景部分清晰可见,背景部分亮度提升幅度较小,噪声得到较好的控制,并且图像的整体对比度也表现较好。
进一步地,图像处理方法还包括以下步骤:
处理场景主图像以区分背景部分的亮度和暗区;
步骤S60包括步骤:
处理场景主图像以第三曝光值提升背景部分的暗区的亮度。
在某些实施方式中,图像处理装置100还包括第五处理模块。处理场景主图像以区分背景部分的亮度和暗区的步骤可以由第五处理模块实现。处理场景主图像以第三曝光值提升背景部分的暗区的亮度的步骤可以由第四处理模块60实现。或者说,第五处理模块用于处理场景主图像以区分背景部分的亮度和暗区,第四处理模块60用于处理场景主图像以第三曝光值提升背景部分的暗区的亮度。
与前景部分相类似地,图像的背景部分通常包括亮区和暗区,一般地,图像的有限亮度域为8比特,也即是数据范围为0-255,如此,可根据数值范围确定亮区与暗区。可以理解,若对背景部分不加区分全部进行亮度提升,则可能造成背景部分的暗区的噪声过大以及图像整体对比度的下降。
请参阅图19,具体地,在一个示例中,对场景主图像的前景部分的暗区的亮度提升4倍,对背景部分的暗区的亮度提升2倍。最终,得到的HDR图像前景部分清晰,背景部分噪声较小,图像整体对比度较佳。
在一些示例中,背景部分的亮区和暗区可以根据图像亮度的直方图确定,例如可以通过对图像的背景部分进行区域划分,具体方式与确定前景部分的亮区和暗区相类似,此处不再赘述。
请参阅图20,本发明实施方式的电子装置1000包括壳体300、处理器400、存储器500、电路板600和电源电路700。其中,电路板600安置在壳体300围成的空间内部,处理器400和存储器500设置在电路板上;电源电路700用于为电子装置1000的各个电路或器件供电;存储器500用于存储可执行程序代码;处理器400通过读取存储器500中存储的可执行程序代码来运行与可执行程序代码对应的程序以实现上述的本发明任一实施方式的图像处理方法。在对场景主图像进行处理的过程中,处理器400用于执行以下步骤:
处理场景数据以获取场景主图像的深度信息;
根据深度信息确定场景主图像的前景部分;和
处理场景主图像以第二曝光值提升前景部分的亮度。
需要说明的是,前述对图像处理方法和图像处理装置100的解释说明也适用于本发明实施方式的电子装置1000,此处不再赘述。
本发明实施方式的计算机可读存储介质,具有存储于其中的指令,当电子装置1000的处理器400执行指令时,电子装置1000执行本发明实施方式的图像处理方法,前述对图像处理方法和图像处理装置100的解释说明也适用于本发明实施方式的计算机可读存储介质,此处不再赘述。
综上所述,本发明实施方式的电子装置1000和计算机可读存储介质,根据深度信息确定图像的前景部分,通过处理图像以提升前景部分的亮度,从而得到前景部分突出的HDR图像。
在本发明的实施方式的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明的实施方式的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接或可以相互通讯;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明的各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (11)
1.一种基于景深的图像处理方法,用于处理成像装置采集的场景数据,所述场景数据包括以第一曝光值获取的场景主图像,其特征在于,所述图像处理方法包括以下步骤:
处理所述场景数据以获取所述场景主图像的深度信息;
根据所述场景主图像中各被摄物空间位置的逻辑关系和所述深度信息确定所述场景主图像的前景部分和背景部分,具体地,根据所述深度信息获得所述场景主图像的最前点,寻找与所述最前点的深度之差小于预定阈值的区域作为所述前景部分;
处理所述场景主图像以区分所述前景部分的亮区和暗区以及所述背景部分的亮区和暗区;和
处理所述场景主图像以第二曝光值提升所述前景部分的暗区的亮度并以第三曝光值提升所述背景部分的暗区的亮度,所述第二曝光值大于所述第一曝光值,所述第三曝光值大于所述第一曝光值且小于所述第二曝光值。
2.如权利要求1所述的图像处理方法,其特征在于,所述场景数据包括与所述场景主图像对应的深度图像,所述处理所述场景数据以获取所述场景主图像的深度信息的步骤包括以下步骤:
处理所述深度图像以获取所述场景主图像的深度数据;和
处理所述深度数据以得到所述深度信息。
3.如权利要求1所述的图像处理方法,其特征在于,所述场景数据包括与所述场景主图像对应的场景副图像,所述处理所述场景数据以获取所述场景主图像的深度信息的步骤包括以下步骤:
处理所述场景主图像和所述场景副图像以得到所述场景主图像的深度数据;和
处理所述深度数据以得到所述深度信息。
4.如权利要求1所述的图像处理方法,其特征在于,所述处理所述场景主图像以区分所述前景部分的亮度和暗区的步骤包括:
处理所述场景主图像的直方图以区分所述亮区和所述暗区。
5.一种基于景深的图像处理装置,用于处理成像装置采集的场景数据,所述场景数据包括以第一曝光值获取的场景主图像,其特征在于,所述图像处理装置包括:
第一处理模块,用于处理所述场景数据以获取所述场景主图像的深度信息;
第一确定模块,用于根据所述场景主图像中各被摄物空间位置的逻辑关系和所述深度信息确定所述场景主图像的前景部分,具体地,所述第一确定模块包括:
第五处理单元,用于根据所述深度信息获得所述场景主图像的最前点;和
确定单元,用于寻找与所述最前点的深度之差小于预定阈值的区域作为所述前景部分;
第二确定模块,用于确定所述场景主图像除所述前景部分外的背景部分;
第三处理模块,用于处理所述场景主图像以区分所述前景部分的亮区和暗区;
第五处理模块,用于处理所述场景主图像以区分所述背景部分的亮区和暗区;
第二处理模块,用于处理所述场景主图像以第二曝光值提升所述前景部分的暗区的亮度,所述第二曝光值大于所述第一曝光值;和
第四处理模块,用于处理所述场景主图像以第三曝光值提升所述背景部分的暗区的亮度,所述第三曝光值大于所述第一曝光值且小于所述第二曝光值。
6.如权利要求5所述的图像处理装置,其特征在于,所述场景数据包括与所述场景主图像对应的深度图像,所述第一处理模块包括:
第一处理单元,用于处理所述深度图像以获取所述场景主图像的深度数据;和
第二处理单元,用于处理所述深度数据以得到所述深度信息。
7.如权利要求5所述的图像处理装置,其特征在于,所述场景数据包括与所述场景主图像对应的场景副图像,所述第一处理模块包括:
第三处理单元,用于处理所述场景主图像和所述场景副图像以得到所述场景主图像的深度数据;和
第四处理单元,用于处理所述深度数据以得到所述深度信息。
8.如权利要求5所述的图像处理装置,其特征在于,所述第二处理处理模块包括:
第六处理单元,用于处理所述场景主图像的直方图以区分所述亮区和所述暗区。
9.一种电子装置,其特征在于,包括:
成像装置;和
如权利要求5至8任意一项所述的图像处理装置,所述图像处理装置和所述成像装置电连接。
10.如权利要求9所述的电子装置,其特征在于,所述成像装置包括主摄像头和副摄像头。
11.如权利要求9所述的电子装置,其特征在于,所述成像装置包括深度摄像头。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710138848.4A CN106851124B (zh) | 2017-03-09 | 2017-03-09 | 基于景深的图像处理方法、处理装置和电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710138848.4A CN106851124B (zh) | 2017-03-09 | 2017-03-09 | 基于景深的图像处理方法、处理装置和电子装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106851124A CN106851124A (zh) | 2017-06-13 |
CN106851124B true CN106851124B (zh) | 2021-03-02 |
Family
ID=59145231
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710138848.4A Active CN106851124B (zh) | 2017-03-09 | 2017-03-09 | 基于景深的图像处理方法、处理装置和电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106851124B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107241557A (zh) * | 2017-06-16 | 2017-10-10 | 广东欧珀移动通信有限公司 | 图像曝光方法、装置、摄像设备及存储介质 |
CN107220953A (zh) | 2017-06-16 | 2017-09-29 | 广东欧珀移动通信有限公司 | 图像处理方法、装置及终端 |
CN107197169B (zh) * | 2017-06-22 | 2019-12-06 | 维沃移动通信有限公司 | 一种高动态范围图像拍摄方法及移动终端 |
CN107105172B (zh) * | 2017-06-27 | 2021-01-29 | 虹软科技股份有限公司 | 一种用于对焦的方法和装置 |
CN107464224A (zh) * | 2017-07-27 | 2017-12-12 | 广东欧珀移动通信有限公司 | 图像去雾处理方法、装置、存储介质和移动终端 |
CN107613240A (zh) * | 2017-09-11 | 2018-01-19 | 广东欧珀移动通信有限公司 | 视频画面处理方法、装置和移动终端 |
CN107707838A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 图像处理方法和装置 |
WO2019047985A1 (zh) | 2017-09-11 | 2019-03-14 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
CN107809582A (zh) * | 2017-10-12 | 2018-03-16 | 广东欧珀移动通信有限公司 | 图像处理方法、电子装置和计算机可读存储介质 |
CN108053438B (zh) * | 2017-11-30 | 2020-03-06 | Oppo广东移动通信有限公司 | 景深获取方法、装置及设备 |
CN107948519B (zh) * | 2017-11-30 | 2020-03-27 | Oppo广东移动通信有限公司 | 图像处理方法、装置及设备 |
TWI684165B (zh) * | 2018-07-02 | 2020-02-01 | 華晶科技股份有限公司 | 影像處理方法與電子裝置 |
CN113129312B (zh) * | 2018-10-15 | 2022-10-28 | 华为技术有限公司 | 一种图像处理方法、装置与设备 |
CN110493538B (zh) * | 2019-08-16 | 2021-08-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN111372001B (zh) * | 2020-03-17 | 2021-09-03 | 捷开通讯(深圳)有限公司 | 图像融合方法、装置、存储介质及移动终端 |
CN111416936B (zh) * | 2020-03-24 | 2021-09-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN113194245A (zh) * | 2021-03-25 | 2021-07-30 | 上海闻泰电子科技有限公司 | 一种图像处理方法、装置、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101567976A (zh) * | 2008-01-22 | 2009-10-28 | 索尼株式会社 | 图像拍摄设备、其控制方法和程序 |
CN104333748A (zh) * | 2014-11-28 | 2015-02-04 | 广东欧珀移动通信有限公司 | 获取图像主体对象的方法、装置及终端 |
CN104349071A (zh) * | 2013-07-25 | 2015-02-11 | 奥林巴斯株式会社 | 摄像装置和摄像方法 |
CN104361566A (zh) * | 2014-11-17 | 2015-02-18 | 厦门美图之家科技有限公司 | 一种优化暗部区域的图像处理方法 |
CN105049726A (zh) * | 2015-08-05 | 2015-11-11 | 广东欧珀移动通信有限公司 | 一种移动终端拍照方法及移动终端 |
CN106161980A (zh) * | 2016-07-29 | 2016-11-23 | 宇龙计算机通信科技(深圳)有限公司 | 基于双摄像头的拍照方法及系统 |
CN106446873A (zh) * | 2016-11-03 | 2017-02-22 | 北京旷视科技有限公司 | 人脸检测方法及装置 |
-
2017
- 2017-03-09 CN CN201710138848.4A patent/CN106851124B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101567976A (zh) * | 2008-01-22 | 2009-10-28 | 索尼株式会社 | 图像拍摄设备、其控制方法和程序 |
CN104349071A (zh) * | 2013-07-25 | 2015-02-11 | 奥林巴斯株式会社 | 摄像装置和摄像方法 |
CN104361566A (zh) * | 2014-11-17 | 2015-02-18 | 厦门美图之家科技有限公司 | 一种优化暗部区域的图像处理方法 |
CN104333748A (zh) * | 2014-11-28 | 2015-02-04 | 广东欧珀移动通信有限公司 | 获取图像主体对象的方法、装置及终端 |
CN105049726A (zh) * | 2015-08-05 | 2015-11-11 | 广东欧珀移动通信有限公司 | 一种移动终端拍照方法及移动终端 |
CN106161980A (zh) * | 2016-07-29 | 2016-11-23 | 宇龙计算机通信科技(深圳)有限公司 | 基于双摄像头的拍照方法及系统 |
CN106446873A (zh) * | 2016-11-03 | 2017-02-22 | 北京旷视科技有限公司 | 人脸检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106851124A (zh) | 2017-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106851124B (zh) | 基于景深的图像处理方法、处理装置和电子装置 | |
CN106851123B (zh) | 曝光控制方法、曝光控制装置及电子装置 | |
CN106993112B (zh) | 基于景深的背景虚化方法及装置和电子装置 | |
US11145038B2 (en) | Image processing method and device for adjusting saturation based on depth of field information | |
CN107851322B (zh) | 用于为图像确定深度图的方法和装置 | |
CN107977940B (zh) | 背景虚化处理方法、装置及设备 | |
CN106937049B (zh) | 基于景深的人像色彩的处理方法、处理装置和电子装置 | |
CN108111749B (zh) | 图像处理方法和装置 | |
CN107734267B (zh) | 图像处理方法和装置 | |
CN107750370B (zh) | 用于确定图像的深度图的方法和装置 | |
WO2015199899A1 (en) | Systems and methods for depth map extraction using a hybrid algorithm | |
WO2019047985A1 (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
CN108024057B (zh) | 背景虚化处理方法、装置及设备 | |
CN107370951B (zh) | 图像处理系统及方法 | |
US10212407B2 (en) | Processing a disparity of a three dimensional image | |
JP2004133919A (ja) | 擬似3次元画像生成装置および生成方法並びにそのためのプログラムおよび記録媒体 | |
CN107025636B (zh) | 结合深度信息的图像去雾方法及装置和电子装置 | |
CN106973224B (zh) | 辅助构图的控制方法、控制装置及电子装置 | |
CN106991696B (zh) | 逆光图像处理方法、逆光图像处理装置及电子装置 | |
WO2019047984A1 (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
WO2018161322A1 (zh) | 基于深度的图像处理方法、处理装置和电子装置 | |
KR102660109B1 (ko) | 이미지에 대한 깊이 맵을 결정하기 위한 방법 및 장치 | |
EP3466068B1 (en) | A system and a method for capturing and generating 3d image | |
CN117560480A (zh) | 一种图像深度估计方法及电子设备 | |
JP2021069004A (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |