CN112866544A - 相位差的获取方法、装置、设备及存储介质 - Google Patents

相位差的获取方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112866544A
CN112866544A CN201911101398.7A CN201911101398A CN112866544A CN 112866544 A CN112866544 A CN 112866544A CN 201911101398 A CN201911101398 A CN 201911101398A CN 112866544 A CN112866544 A CN 112866544A
Authority
CN
China
Prior art keywords
pixel
map
sub
brightness
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911101398.7A
Other languages
English (en)
Other versions
CN112866544B (zh
Inventor
贾玉虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911101398.7A priority Critical patent/CN112866544B/zh
Publication of CN112866544A publication Critical patent/CN112866544A/zh
Application granted granted Critical
Publication of CN112866544B publication Critical patent/CN112866544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals

Abstract

本申请公开了一种相位差的获取方法、装置、设备及存储介质,属于图像处理技术领域。所述方法包括:根据每个所述像素点组的亮度值获取目标亮度图;对所述目标亮度图进行切分处理,根据切分处理的结果得到第一切分亮度图和第二切分亮度图,并根据所述第一切分亮度图和所述第二切分亮度图中相互匹配的像素的位置差异,确定所述相互匹配的像素的相位差;根据所述相互匹配的像素的相位差生成目标相位差图。本申请实施例提供的技术方案能够在一定程度上解决相位差精度不高的问题。

Description

相位差的获取方法、装置、设备及存储介质
技术领域
本申请涉及图像处理技术领域,特别是涉及一种相位差的获取方法、装置、设备及存储介质。
背景技术
在拍摄图像时,为了保证图像拍摄清晰,通常需要对摄像设备进行对焦,所谓对焦指的是调节镜头与图像传感器之间的距离的过程。当前,比较常见的对焦方式包括相位检测自动对焦(英文:phase detection auto focus;简称:PDAF)。
相关技术中,为了进行相位检测自动对焦,通常可以在图像传感器包括的像素点中成对地设置一些相位检测像素点(也可称为遮蔽像素点),通过成对设置的相位检测像素点可以检测得到相位差,在得到相位差后即可根据该相位差进行对焦,这里所谓的相位差指的是从不同方向射入的成像光线在成像位置上的差异。
然而,上述通过在图像传感器中设置相位检测像素点的方式获取到的相位差精度不高。
发明内容
基于此,有必要针对获取到的相位差精度不高的问题,提供一种相位差的获取方法、装置、设备及存储介质。
第一方面,提供了一种相位差的获取方法,用于摄像设备,摄像设备包括图像传感器,图像传感器包括阵列排布的多个像素点组,每个像素点组包括阵列排布的多个像素点,该方法包括:
根据每个像素点组的亮度值获取目标亮度图;
对该目标亮度图进行切分处理,根据切分处理的结果得到第一切分亮度图和第二切分亮度图,并根据该第一切分亮度图和该第二切分亮度图中相互匹配的像素的位置差异,确定该相互匹配的像素的相位差;
根据该相互匹配的像素的相位差生成目标相位差图。
在其中一个实施例中,每个像素点包括阵列排布的多个子像素点,该多个子像素点分别位于该像素点的不同子像素点位置处,根据每个像素点组的亮度值获取目标亮度图,包括:
对于每个像素点组中的每个子像素点位置,确定位于该子像素点位置处的子像素点,得到与该子像素点位置对应的子像素点集合;
对于每个子像素点集合,根据该子像素点集合中每个子像素点的亮度值,获取该子像素点集合对应的亮度值;
根据每个子像素集合对应的亮度值生成子亮度图,并根据该子亮度图生成该目标亮度图。
在其中一个实施例中,根据该子像素点集合中每个子像素点的亮度值,获取该子像素点集合对应的亮度值,包括:
确定该子像素点集合中每个子像素点对应的颜色系数,颜色系数是根据子像素点对应的颜色通道确定的;
将该子像素点集合中每个子像素点对应的颜色系数与亮度值相乘,得到该子像素点集合中每个子像素点的加权亮度值;
将该子像素点集合中每个子像素点的加权亮度值相加,得到该子像素点集合对应的亮度值。
在其中一个实施例中,每个像素点包括阵列排布的多个子像素点,根据每个像素点组的亮度值获取目标亮度图,包括:
从每个像素点组中确定目标像素点,得到多个该目标像素点;
根据每个目标像素点包括的子像素点的亮度值生成每个像素点组对应的子亮度图;
根据每个像素点组对应的子亮度图生成该目标亮度图。
在其中一个实施例中,从每个像素点组中提取目标像素点,包括:
从每个像素点组中确定颜色通道为绿色的像素点;
将该颜色通道为绿色的像素点确定为该目标像素点。
在其中一个实施例中,根据每个像素点组的亮度值获取目标亮度图,包括:
从每个像素点组中确定相同位置处的像素点,得到多个像素点集合,其中,每个像素点集合包括的像素点在像素点组中的位置均相同;
根据该多个像素点集合中像素点的亮度值,生成与该多个像素点集合一一对应的多个该目标亮度图;
对该目标亮度图进行切分处理,根据切分处理的结果得到第一切分亮度图和第二切分亮度图,并根据该第一切分亮度图和该第二切分亮度图中相互匹配的像素的位置差异,确定该相互匹配的像素的相位差,包括:
对于每个目标亮度图,对该目标亮度图进行切分处理,并根据切分处理结果得到该第一切分亮度图和该第二切分亮度图;
对于每个目标亮度图对应的该第一切分亮度图和该第二切分亮度图,根据该第一切分亮度图和该第二切分亮度图中相互匹配的像素的位置差异,确定该相互匹配的像素的相位差。
在其中一个实施例中,每个像素点包括阵列排布的多个子像素点,根据该多个像素点集合中像素点的亮度值,生成与该多个像素点集合一一对应的多个该目标亮度图,包括:
对于每个像素点集合,根据该像素点集合中每个像素点包括的每个子像素点的亮度值生成该像素点集合对应的该目标亮度图。
在其中一个实施例中,根据该相互匹配的像素的相位差生成目标相位差图,包括:
对于每个目标亮度图,根据该相互匹配的像素的相位差生成与该目标亮度图对应的中间相位差图;
根据每个目标亮度图对应的中间相位差图,生成该目标相位差图。
在其中一个实施例中,根据每个目标亮度图对应的中间相位差图,生成该目标相位差图,包括:
从每个中间相位差图中确定相同位置处的像素,得到多个相位差像素集合,其中,每个相位差像素集合包括的像素在中间相位差图中的位置均相同;
对于每个相位差像素集合,将该相位差像素集合中的像素进行拼接,得到与该相位差像素集合对应的子相位差图;
将得到的多个该子相位差图进行拼接得到该目标相位差图。
在其中一个实施例中,对该目标亮度图进行切分处理,根据切分处理的结果得到第一切分亮度图和第二切分亮度图,包括:
对该目标亮度图进行切分处理,得到多个亮度图区域,每个亮度图区域包括该目标亮度图中的一行像素,或者,每个亮度图区域包括该目标亮度图中的一列像素;
从该多个亮度图区域中获取多个第一亮度图区域和多个第二亮度图区域,第一亮度图区域包括该目标亮度图中偶数行的像素,或者,第一亮度图区域包括该目标亮度图中偶数列的像素,第二亮度图区域包括该目标亮度图中奇数行的像素,或者,第二亮度图区域包括该目标亮度图中奇数列的像素;
利用该多个第一亮度图区域组成该第一切分亮度图,利用该多个第二亮度图区域组成该第二切分亮度图。
在其中一个实施例中,根据该第一切分亮度图和该第二切分亮度图中相互匹配的像素的位置差异,确定相互匹配的像素的相位差,包括:
当该亮度图区域包括该目标亮度图中的一行像素时,在该第一切分亮度图包括的每行像素中确定第一邻近像素集合,第一邻近像素集合包括的像素与同一像素点组对应;
对于每个第一邻近像素集合,在该第二切分亮度图中搜索与该第一邻近像素集合对应的第一匹配像素集合;
根据每个第一邻近像素集合与每个第一匹配像素集合的位置差异,确定相互对应的该第一邻近像素集合和该第一匹配像素集合的相位差。
在其中一个实施例中,根据该第一切分亮度图和该第二切分亮度图中相互匹配的像素的位置差异,确定相互匹配的像素的相位差,包括:
当该亮度图区域包括该目标亮度图中的一列像素时,在该第一切分亮度图包括的每列像素中确定第二邻近像素集合,第二邻近像素集合包括的像素与同一像素点组对应;
对于每个第二邻近像素集合,在该第二切分亮度图中搜索与该第二邻近像素集合对应的第二匹配像素集合;
根据每个第二邻近像素集合与每个第二匹配像素集合的位置差异,确定相互对应的该第二邻近像素集合和该第二匹配像素集合的相位差。
第二方面,提供了一种相位差的获取装置,用于摄像设备,摄像设备包括图像传感器,图像传感器包括阵列排布的多个像素点组,每个像素点组包括阵列排布的多个像素点,装置包括:
获取模块,用于根据每个像素点组的亮度值获取目标亮度图;
确定模块,用于对该目标亮度图进行切分处理,根据切分处理的结果得到第一切分亮度图和第二切分亮度图,并根据该第一切分亮度图和该第二切分亮度图中相互匹配的像素的位置差异,确定该相互匹配的像素的相位差;
亮度图生成模块,用于根据该相互匹配的像素的相位差生成目标相位差图。
在其中一个实施例中,每个像素点包括阵列排布的多个子像素点,该多个子像素点分别位于像素点的不同子像素点位置处,该获取模块,具体用于:
对于每个像素点组中的每个子像素点位置,确定位于该子像素点位置处的子像素点,得到与该子像素点位置对应的子像素点集合;
对于每个子像素点集合,根据该子像素点集合中每个子像素点的亮度值,获取该子像素点集合对应的亮度值;
根据每个子像素集合对应的亮度值生成子亮度图,并根据该子亮度图生成该目标亮度图。
在其中一个实施例中,获取模块,具体用于:
确定该子像素点集合中每个子像素点对应的颜色系数,颜色系数是根据子像素点对应的颜色通道确定的;
将该子像素点集合中每个子像素点对应的颜色系数与亮度值相乘,得到该子像素点集合中每个子像素点的加权亮度值;
将该子像素点集合中每个子像素点的加权亮度值相加,得到该子像素点集合对应的亮度值。
在其中一个实施例中,每个像素点包括阵列排布的多个子像素点,获取模块,具体用于:
从每个像素点组中确定目标像素点,得到多个该目标像素点;
根据每个目标像素点包括的子像素点的亮度值生成每个像素点组对应的子亮度图;
根据每个像素点组对应的子亮度图生成该目标亮度图。
在其中一个实施例中,获取模块,具体用于:
从每个像素点组中确定颜色通道为绿色的像素点;
将该颜色通道为绿色的像素点确定为该目标像素点。
在其中一个实施例中,获取模块,具体用于:
从每个像素点组中确定相同位置处的像素点,得到多个像素点集合,其中,每个像素点集合包括的像素点在像素点组中的位置均相同;
根据该多个像素点集合中像素点的亮度值,生成与该多个像素点集合一一对应的多个该目标亮度图;
该确定模块,具体用于:
对于每个目标亮度图,对该目标亮度图进行切分处理,并根据切分处理结果得到该第一切分亮度图和该第二切分亮度图;
对于每个目标亮度图对应的该第一切分亮度图和该第二切分亮度图,根据该第一切分亮度图和该第二切分亮度图中相互匹配的像素的位置差异,确定该相互匹配的像素的相位差。
在其中一个实施例中,每个像素点包括阵列排布的多个子像素点,获取模块,具体用于:
对于每个像素点集合,根据该像素点集合中每个像素点包括的每个子像素点的亮度值生成该像素点集合对应的该目标亮度图。
在其中一个实施例中,亮度图生成模块,具体用于:
对于每个目标亮度图,根据该相互匹配的像素的相位差生成与该目标亮度图对应的中间相位差图;
根据每个目标亮度图对应的中间相位差图,生成该目标相位差图。
在其中一个实施例中,亮度图生成模块,具体用于:
从每个中间相位差图中确定相同位置处的像素,得到多个相位差像素集合,其中,每个相位差像素集合包括的像素在中间相位差图中的位置均相同;
对于每个相位差像素集合,将该相位差像素集合中的像素进行拼接,得到与该相位差像素集合对应的子相位差图;
将得到的多个该子相位差图进行拼接得到该目标相位差图。
在其中一个实施例中,确定模块,具体用于:
对该目标亮度图进行切分处理,得到多个亮度图区域,每个亮度图区域包括该目标亮度图中的一行像素,或者,每个亮度图区域包括该目标亮度图中的一列像素;
从该多个亮度图区域中获取多个第一亮度图区域和多个第二亮度图区域,第一亮度图区域包括该目标亮度图中偶数行的像素,或者,第一亮度图区域包括该目标亮度图中偶数列的像素,第二亮度图区域包括该目标亮度图中奇数行的像素,或者,第二亮度图区域包括该目标亮度图中奇数列的像素;
利用该多个第一亮度图区域组成该第一切分亮度图,利用该多个第二亮度图区域组成该第二切分亮度图。
在其中一个实施例中,确定模块,具体用于:
当该亮度图区域包括该目标亮度图中的一行像素时,在该第一切分亮度图包括的每行像素中确定第一邻近像素集合,第一邻近像素集合包括的像素与同一像素点组对应;
对于每个第一邻近像素集合,在该第二切分亮度图中搜索与该第一邻近像素集合对应的第一匹配像素集合;
根据每个第一邻近像素集合与每个第一匹配像素集合的位置差异,确定相互对应的该第一邻近像素集合和该第一匹配像素集合的相位差。
在其中一个实施例中,确定模块,具体用于:
当该亮度图区域包括该目标亮度图中的一列像素时,在该第一切分亮度图包括的每列像素中确定第二邻近像素集合,第二邻近像素集合包括的像素与同一像素点组对应;
对于每个第二邻近像素集合,在该第二切分亮度图中搜索与该第二邻近像素集合对应的第二匹配像素集合;
根据每个第二邻近像素集合与每个第二匹配像素集合的位置差异,确定相互对应的该第二邻近像素集合和该第二匹配像素集合的相位差。
第三方面,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被该处理器执行时实现如上述第一方面任一所述的相位差的获取方法。
第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,程序被处理器执行时实现如上述第一方面任一所述的相位差的获取方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
通过根据图像传感器中每个像素点组的亮度值获取目标亮度图,在获取到目标亮度图后,对该目标亮度图进行切分处理,根据切分处理的结果得到第一切分亮度图和第二切分亮度图,接着,根据第一切分亮度图和第二切分亮度图中相互匹配的像素的位置差异,确定相互匹配的像素的相位差,而后,再根据相互匹配的像素的相位差生成目标相位差图,这样,就可以利用图像传感器中每个像素点组包括的像素点的亮度值来获取该目标相位差图,因此,相较于利用稀疏设置的相位检测像素点来获取相位差的方式而言,本申请实施例中目标相位差图中包含相对丰富的相位差信息,故而可以提高获取到的相位差精确度。
附图说明
图1为PDAF技术的原理示意图;
图2为在图像传感器包括的像素点中成对地设置相位检测像素点的示意图;
图3为本申请实施例提供的一种摄像设备的结构示意图;
图4为本申请实施例提供的一种图像传感器的部分的结构示意图;
图5为本申请实施例提供的一种像素点组的示意图;
图6为本申请实施例提供的一种相位差的获取方法的流程图;
图7为本申请实施例提供的一种获取目标亮度图的方法的流程图;
图8为本申请实施例提供的一种像素点组的示意图;
图9为本申请实施例提供的一种子亮度图的示意图;
图10为本申请实施例提供的另一种获取目标亮度图的方法的流程图;
图11为本申请实施例提供的一种根据像素点组中的目标像素点包括的子像素点的亮度值生成该像素点组对应的子亮度图的示意;
图12为本申请实施例提供的又一种获取目标亮度图的方法的流程图;
图13为本申请实施例提供的一种从各个像素点组中确定相同位置处的像素点的示意图;
图14为本申请实施例提供的一种从各个中间相位差图中确定相同位置处的像素的示意图;
图15为本申请实施例提供的一种目标相位差图的示意图;
图16为本申请实施例提供的一种对目标亮度图进行切分处理,根据切分处理的结果得到第一切分亮度图和第二切分亮度图的方法的流程图;
图17为本申请实施例提供的一种根据目标亮度图生成第一切分亮度图和第二切分亮度图的示意图;
图18为本申请实施例提供的另一种根据目标亮度图生成第一切分亮度图和第二切分亮度图的示意图;
图19为本申请实施例提供的一种根据第一切分亮度图和第二切分亮度图中相互匹配的像素的位置差异,确定相互匹配的像素的相位差的方法的流程图;
图20为本申请实施例提供的另一种根据第一切分亮度图和第二切分亮度图中相互匹配的像素的位置差异,确定相互匹配的像素的相位差的方法的流程图;
图21为本申请实施例提供的一种相位差的获取装置的框图;
图22为本申请实施例提供的另一种相位差的获取装置的框图;
图23为本申请实施例提供的一种计算机设备的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在拍摄图像时,为了保证图像拍摄清晰,通常需要对摄像设备进行对焦,所谓“对焦”指的是调节摄像设备的镜头与图像传感器之间的距离,从而使图像传感器成像清晰的过程。其中,相位检测自动对焦(英文:phase detection auto focus;简称:PDAF)是一种比较常见的自动对焦技术。
下面,本申请实施例将对PDAF技术的原理进行简要说明。
请参考图1,M1为摄像设备处于合焦状态时,图像传感器所处的位置,其中,合焦状态指的是成功对焦的状态,请参考图1,当图像传感器位于M1位置时,由物体W反射向镜头Lens的不同方向上的成像光线g在图像传感器上会聚,也即是,由物体W反射向镜头Lens的不同方向上的成像光线g在图像传感器上的同一位置处成像,此时,图像传感器成像清晰。
M2和M3为摄像设备不处于合焦状态时,图像传感器所可能处于的位置,如图1所示,当图像传感器位于M2位置或M3位置时,由物体W反射向镜头Lens的不同方向上的成像光线g会在不同的位置成像。请参考图1,当图像传感器位于M2位置时,由物体W反射向镜头Lens的不同方向上的成像光线g在位置A和位置B分别成像,当图像传感器位于M3位置时,由物体W反射向镜头Lens的不同方向上的成像光线g在位置C和位置D分别成像,此时,图像传感器成像不清晰。
在PDAF技术中,可以获取从不同方向射入镜头的成像光线在图像传感器中所成的像在位置上的差异,例如,如图1所示,可以获取位置A和位置B的差异,或者,获取位置C和位置D的差异;在获取到从不同方向射入镜头的成像光线在图像传感器中所成的像在位置上的差异之后,可以根据该差异以及摄像机中镜头与图像传感器之间的几何关系,得到离焦距离,所谓离焦距离指的是图像传感器当前所处的位置与合焦状态时图像传感器所应该处于的位置的距离;摄像设备可以根据得到的离焦距离进行对焦。
其中,通常可以将“从不同方向射入镜头的成像光线在图像传感器中所成的像在位置上的差异”称为相位差。根据上述说明可知,在PDAF技术中,获取相位差是一个非常关键的技术环节。
需要指出的是,实际应用中,相位差可以应用于多种不同的场景,对焦场景仅仅是一种比较可能的场景。例如,可以将相位差应用于深度图的获取场景中,也即是,可以利用相位差获取深度图;又例如,可以将相位差用于三维图像的重构场景中,也即是,可以利用相位差实现三维图像的重构。本申请实施例旨在提供一种获取相位差的方法,至于在获取到相位差之后,将该相位差应用于何种场景,本申请实施例不做具体限定。
相关技术中,可以在图像传感器包括的像素点中成对地设置一些相位检测像素点,请参考图2,如图2所示,图像传感器中可以设置有相位检测像素点对(以下称为像素点对)A,像素点对B和像素点对C。其中,在每个像素点对中,一个相位检测像素点进行左侧遮挡(英文:Left Shield),另一个相位检测像素点进行右侧遮挡(英文:Right Shield)。
对于进行了左侧遮挡的相位检测像素点而言,射向该相位检测像素点的成像光束中仅有右侧的光束才能在该相位检测像素点的感光部分(也即是未被遮挡的部分)上成像,对于进行了右侧遮挡的相位检测像素点而言,射向该相位检测像素点的成像光束中仅有左侧的光束才能在该相位检测像素点的感光部分(也即是未被遮挡的部分)上成像。这样,就可以将成像光束分为左右两个部分,通过对比左右两部分成像光束所成的像,即可得到相位差。
然而,由于图像传感器中设置的相位检测像素点通常较为稀疏,因此,通过相位检测像素点只能获取到有限的相位差,这会影响获取到的相位差的精确度。
此外,由于对相位检测像素点进行了遮挡,因此,在成像的过程中,会将相位检测像素点作为坏点处理,换句话说,相位检测像素点只能用来获取相位差,不能用来拍摄图像,这无疑会影响图像拍摄的质量。
针对上述问题,本申请实施例提供了一种相位差的获取方法,下面,本申请实施例将对该相位差的获取方法所涉及到的实施环境进行说明。
该实施环境可以包括摄像设备,该摄像设备可以为具有数字图像拍摄功能的电子设备,例如,该摄像设备可以为智能手机、平板电脑、照相机或者摄像机等。
请参考图3,其示出了摄像设备的结构示意图,如图3所示,该摄像设备可以包括镜头301和图像传感器302,其中,镜头301可以由一系列透镜组成,图像传感器302可以为金属氧化物半导体元件(英文:Complementary Metal Oxide Semiconductor;简称:CMOS)图像传感器、电荷耦合元件(英文:Charge-coupled Device;简称:CCD)、量子薄膜传感器或者有机传感器等。
请参考图4,其示出了图像传感器302的一部分的结构示意图,如图4所示,该图像传感器302可以包括阵列排布的多个像素点组Z,其中,每个像素点组Z包括阵列排布的多个像素点D,每个像素点包括阵列排布的多个子像素点d,其中,该多个子像素点d分别位于像素点的不同子像素点位置处。请参考图4,可选的,每个像素点组Z可以包括按照两行两列的阵列排布方式进行排布的4个像素点D,每个像素点可以包括按照两行两列的阵列排布方式进行排布的4个子像素点d,其中,1个子像素点d位于第一行第一列的子像素点位置处,1个子像素点d位于第一行第二列的子像素点位置处,1个子像素点d位于第二行第一列的子像素点位置处,1个子像素点d位于第二行第二列的子像素点位置处。
需要指出的是,图像传感器302包括的像素点指的是一个感光单元,该感光单元可以由多个阵列排布的感光元件(也即是子像素点)组成,其中,感光元件是一种能够将光信号转化为电信号的元件。可选的,感光单元还可以包括微透镜以及滤光片等,其中,微透镜设置于滤光片之上,滤光片设置于感光单元包括的各个感光元件之上,滤光片可以包括红、绿、蓝三种,分别只能透过红色、绿色、蓝色对应波长的光线。
由上文说明可知,图像传感器包括的像素点与图像包括的像素是两个不同的概念,其中,图像包括的像素指的是图像的最小组成单元,其一般由一个数字序列进行表示,通常情况下,可以将该数字序列称为像素的像素值。本申请实施例对“图像传感器包括的像素点”以及“图像包括的像素”两个概念均有所涉及,为了方便读者理解,在此进行简要的解释。
请参考图5,其示出了一种示例性的像素点组Z的示意图,如图5所示,像素点组Z包括按照两行两列的阵列排布方式进行排布的4个像素点D,其中,第一行第一列的像素点的颜色通道为绿色,也即是,第一行第一列的像素点包括的滤光片为绿色滤光片,第一行第二列的像素点的颜色通道为红色,也即是,第一行第二列的像素点包括的滤光片为红色滤光片,第二行第一列的像素点的颜色通道为蓝色,也即是,第二行第一列的像素点包括的滤光片为蓝色滤光片,第二行第二列的像素点的颜色通道为绿色,也即是,第二行第二列的像素点包括的滤光片为绿色滤光片。
请参考图6,其示出了本申请实施例提供的一种相位差的获取方法的流程图,该相位差的获取方法可以应用于图3至图5所示的摄像设备中。如图6所示,相位差的获取方法可以包括以下步骤:
步骤601、摄像设备根据图像传感器中每个像素点组的亮度值获取目标亮度图。
需要指出的是,在本申请实施例中,像素点组的亮度值可以根据像素点组包括的像素点的亮度值得到。通常情况下,图像传感器的像素点的亮度值可以由该像素点包括的子像素点的亮度值来进行表征。换句话说,在步骤601中,摄像设备可以根据每个像素点组包括的像素点中子像素点的亮度值来获取该目标亮度图。所谓“子像素点的亮度值”指的是该子像素点接收到的光信号的亮度值。
如上文所述,图像传感器包括的子像素点是一种能够将光信号转化为电信号的感光元件,因此,可以根据子像素点输出的电信号来获取该子像素点接收到的光信号的强度,根据子像素点接收到的光信号的强度即可得到该子像素点的亮度值。
本申请实施例中的目标亮度图用于反映图像传感器中子像素点的亮度值,该目标亮度图可以包括多个像素,其中,目标亮度图中的每个像素的像素值均是根据图像传感器中子像素点的亮度值得到的。
步骤602、摄像设备对目标亮度图进行切分处理,根据切分处理的结果得到第一切分亮度图和第二切分亮度图。
在一种可能的实现方式中,摄像设备可以沿列的方向(图像坐标系中的y轴方向)对该目标亮度图进行切分处理,在沿列的方向对目标亮度图进行切分处理的过程中,切分处理时的每一分割线都与列的方向垂直。
在另一种可能的实现方式中,摄像设备可以沿行的方向(图像坐标系中的x轴方向)对该目标亮度图进行切分处理,在沿行的方向对目标亮度图进行切分处理的过程中,切分处理时的每一分割线都与行的方向垂直。
沿列的方向对目标亮度图进行切分处理后得到的第一切分亮度图和第二切分亮度图可以分别称为上图和下图。沿行的方向对目标亮度图进行切分处理后得到的第一切分亮度图和第二切分亮度图可以分别称为左图和右图。
其中,对目标亮度图进行切分处理,并得到第一切分亮度图和第二切分亮度图的技术过程详见下文中图16对应的实施例。
步骤603、摄像设备根据第一切分亮度图和第二切分亮度图中相互匹配的像素的位置差异,确定该相互匹配的像素的相位差。
其中,“相互匹配的像素”指的是由像素本身及其周围像素组成的像素矩阵相互相似。例如,第一切分亮度图中像素a和其周围的像素组成一个3行3列的像素矩阵,该像素矩阵的像素值为:
2 10 90
1 20 80
0 100 1
第二切分亮度图中像素b和其周围的像素也组成一个3行3列的像素矩阵,该像素矩阵的像素值为:
1 10 90
1 21 80
0 100 2
由上文可以看出,这两个矩阵是相似的,则可以认为像素a和像素b相互匹配。至于如何判断像素矩阵是否相似,实际应用中有许多不同的方法,一种较为常见的方法是,对两个像素矩阵中的每个对应的像素的像素值求差,再将求得的差值的绝对值进行相加,利用该相加的结果来判断像素矩阵是否相似,也即是,若该相加的结果小于预设的某一阈值,则认为像素矩阵相似,否则,则认为像素矩阵不相似。
例如,对于上述两个3行3列的像素矩阵而言,可以分别将1和2求差,将10和10求差,将90和90求差,……,再将求得的差的绝对值相加,得到相加结果为3,该相加结果3小于预设的阈值,则认为上述两个3行3列的像素矩阵相似。
另一种比较常见的判断像素矩阵是否相似的方法是利用sobel卷积核计算方式或者高拉普拉斯计算方式等方式提取其边缘特征,通过边缘特征来判断像素矩阵是否相似。
在本申请实施例中,“相互匹配的像素的位置差异”指的是,相互匹配的像素中位于第一切分亮度图中的像素的位置和位于第二切分亮度图中的像素的位置的差异。如上述举例,相互匹配的像素a和像素b的位置差异指的是像素a在第一切分亮度图中的位置和像素b在第二切分亮度图中的位置的差异。
相互匹配的像素分别对应于从不同方向射入镜头的成像光线在图像传感器中所成的不同的像。例如,第一切分亮度图中的像素a与第二切分亮度图中的像素b相互匹配,其中,该像素a可以对应于图1中在A位置处所成的像,像素b可以对应于图1中在B位置处所成的像。
由于相互匹配的像素分别对应于从不同方向射入镜头的成像光线在图像传感器中所成的不同的像,因此,根据相互匹配的像素的位置差异,即可确定该相互匹配的像素的相位差。
步骤604、摄像设备根据相互匹配的像素的相位差生成目标相位差图。
其中,该目标相位差图包括多个像素,该目标相位图中的每个像素的像素值均为一对相互匹配的像素的相位差。
在本申请实施例提供的相位差的获取方法中,通过根据图像传感器中每个像素点组包括的像素点的亮度值获取目标亮度图,在获取到目标亮度图后,对该目标亮度图进行切分处理,根据切分处理的结果得到第一切分亮度图和第二切分亮度图,接着,根据第一切分亮度图和第二切分亮度图中相互匹配的像素的位置差异,确定相互匹配的像素的相位差,而后,再根据相互匹配的像素的相位差生成目标相位差图,这样,就可以利用图像传感器中每个像素点组包括的像素点的亮度值来获取该目标相位差图,因此,相较于利用稀疏设置的相位检测像素点来获取相位差的方式而言,本申请实施例中目标相位差图中包含相对丰富的相位差信息,故而可以提高获取到的相位差精确度。
此外,本申请实施例提供的相位差获取方法中,图像传感器中不需要设置相位检测像素点,因此,在成像的过程中,图像传感器中就不会存在坏点,因此,可以保证图像拍摄的质量。
本申请实施例提供了三种示例性的获取目标亮度图的方式,下面,本申请实施例将对这三种示例性的方式逐一进行说明。
请参考图7,其示出了第一种示例性的获取目标亮度图的方式,可以应用于图3至图5所示的摄像设备中,如图7所示,该第一种获取目标亮度图的方式可以包括以下步骤:
步骤701、对于每个像素点组中的每个子像素点位置,摄像设备确定位于该子像素点位置处的子像素点,得到与该子像素点位置对应的子像素点集合。
请参考图8,其示出了一种示例性的像素点组的示意图,如图8所示,该像素点组包括按照两行两列的阵列排布方式进行排布的4个像素点,该4个像素点分别为D1像素点、D2像素点、D3像素点和D4像素点,其中,每个像素点包括按照两行两列的阵列排布方式进行排布的4个子像素点,其中,子像素点分别为d11、d12、d13、d14、d21、d22、d23、d24、d31、d32、d33、d34、d41、d42、d43和d44。
如图8所示,子像素点d11、d21、d31和d41在各像素点中所处的子像素点位置相同,均为第一行第一列,子像素点d12、d22、d32和d42在各像素点中所处的子像素点位置相同,均为第一行第二列,子像素点d13、d23、d33和d43在各像素点中所处的子像素点位置相同,均为第二行第一列,子像素点d14、d24、d34和d44在各像素点中所处的子像素点位置相同,均为第二行第二列。
请继续参考图8,对于每个子像素点位置,摄像设备可以分别从D1像素点、D2像素点、D3像素点和D4像素点中确定位于该子像素点位置处的子像素点,从而可以可以得到4个子像素点集合J1、J2、J3和J4,其中,子像素点集合J1包括子像素点d11、d21、d31和d41,其包括的子像素点在像素点中所处的子像素点位置相同,为第一行第一列,子像素点集合J2包括子像素点d12、d22、d32和d42,其包括的子像素点在像素点中所处的子像素点位置相同,为第一行第二列,子像素点集合J3包括子像素点d13、d23、d33和d43,其包括的子像素点在像素点中所处的子像素点位置相同,为第二行第一列,子像素点集合J4包括子像素点d14、d24、d34和d44,其包括的子像素点在像素点中所处的子像素点位置相同,为第二行第二列。
步骤702、对于每个子像素点集合,摄像设备根据该子像素点集合中每个子像素点的亮度值,获取该子像素点集合对应的亮度值。
可选的,在步骤702中,摄像设备可以确定子像素点集合中每个子像素点对应的颜色系数,其中,该颜色系数是根据子像素点对应的颜色通道确定的。
例如,子像素点d11属于D1像素点,该D1像素点包括的滤光片可以为绿色滤光片,也即是,该D1像素点的颜色通道为绿色,则其包括的子像素点d11的颜色通道也为绿色,摄像设备可以根据子像素点d11的颜色通道(绿色)确定该子像素点d11对应的颜色系数。
在确定了子像素点集合中每个子像素点对应的颜色系数之后,摄像设备可以将子像素点集合中每个子像素点对应的颜色系数与亮度值相乘,得到子像素点集合中每个子像素点的加权亮度值。
例如,摄像设备可以将子像素点d11的亮度值与子像素点d11对应的颜色系数相乘,得到该子像素点d11的加权亮度值。
在得到子像素点集合中每个子像素点的加权亮度值之后,摄像设备可以将子像素点集合中每个子像素点的加权亮度值相加,得到该子像素点集合对应的亮度值。
例如,对于子像素点集合J1,可以基于下述第一公式计算该子像素点集合J1对应的亮度值。
Y_TL=Y_21*C_R+(Y_11+Y_41)*C_G/2+Y_31*C_B。
其中,Y_TL为该子像素点集合J1对应的亮度值,Y_21为子像素点d21的亮度值,Y_11为子像素点d11的亮度值,Y_41为子像素点d41的亮度值,Y_31为子像素点d31的亮度值,C_R为子像素点d21对应的颜色系数,C_G/2为子像素点d11和d41对应的颜色系数,C_B为子像素点d31对应的颜色系数,其中,Y_21*C_R为子像素点d21的加权亮度值,Y_11*C_G/2为子像素点d11的加权亮度值,Y_41*C_G/2为子像素点d41的加权亮度值,Y_31*C_B为子像素点d31的加权亮度值。
对于子像素点集合J2,可以基于下述第二公式计算该子像素点集合J2对应的亮度值。
Y_TR=Y_22*C_R+(Y_12+Y_42)*C_G/2+Y_32*C_B。
其中,Y_TR为该子像素点集合J2对应的亮度值,Y_22为子像素点d22的亮度值,Y_12为子像素点d12的亮度值,Y_42为子像素点d42的亮度值,Y_32为子像素点d32的亮度值,C_R为子像素点d22对应的颜色系数,C_G/2为子像素点d12和d42对应的颜色系数,C_B为子像素点d32对应的颜色系数,其中,Y_22*C_R为子像素点d22的加权亮度值,Y_12*C_G/2为子像素点d12的加权亮度值,Y_42*C_G/2为子像素点d42的加权亮度值,Y_32*C_B为子像素点d32的加权亮度值。
对于子像素点集合J3,可以基于下述第三公式计算该子像素点集合J3对应的亮度值。
Y_BL=Y_23*C_R+(Y_13+Y_43)*C_G/2+Y_33*C_B。
其中,Y_BL为该子像素点集合J3对应的亮度值,Y_23为子像素点d23的亮度值,Y_13为子像素点d13的亮度值,Y_43为子像素点d43的亮度值,Y_33为子像素点d33的亮度值,C_R为子像素点d23对应的颜色系数,C_G/2为子像素点d13和d43对应的颜色系数,C_B为子像素点d33对应的颜色系数,其中,Y_23*C_R为子像素点d23的加权亮度值,Y_13*C_G/2为子像素点d13的加权亮度值,Y_43*C_G/2为子像素点d43的加权亮度值,Y_33*C_B为子像素点d33的加权亮度值。
对于子像素点集合J4,可以基于下述第四公式计算该子像素点集合J4对应的亮度值。
Y_BR=Y_24*C_R+(Y_14+Y_44)*C_G/2+Y_34*C_B。
其中,Y_BR为该子像素点集合J4对应的亮度值,Y_24为子像素点d24的亮度值,Y_14为子像素点d14的亮度值,Y_44为子像素点d44的亮度值,Y_34为子像素点d34的亮度值,C_R为子像素点d24对应的颜色系数,C_G/2为子像素点d14和d44对应的颜色系数,C_B为子像素点d34对应的颜色系数,其中,Y_24*C_R为子像素点d24的加权亮度值,Y_14*C_G/2为子像素点d14的加权亮度值,Y_44*C_G/2为子像素点d44的加权亮度值,Y_34*C_B为子像素点d34的加权亮度值。
步骤703、摄像设备根据每个子像素集合对应的亮度值生成子亮度图。
其中,子亮度图包括多个像素,该子亮度图中每个像素与一个子像素集合相对应,每个像素的像素值等于对应的子像素集合所对应的亮度值。
请参考图9,其示出了一种示例性的子亮度图的示意图,如图9所示,该子亮度图包括4个像素,其中,第一行第一列的像素与子像素集合J1相对应,其像素值为Y_TL,第一行第二列的像素与子像素集合J2相对应,其像素值为Y_TR,第二行第一列的像素与子像素集合J3相对应,其像素值为Y_BL,第二行第二列的像素与子像素集合J4相对应,其像素值为Y_BR。
步骤704、摄像设备根据每个像素点组对应的子亮度图生成目标亮度图。
摄像设备可以按照图像传感器中各个像素点组的阵列排布方式,对各个像素点组对应的子亮度图进行拼接,得到目标亮度图。
请参考图10,其示出了第二种示例性的获取目标亮度图的方式,可以应用于图3至图5所示的摄像设备中,如图10所示,该第二种获取目标亮度图的方式可以包括以下步骤:
步骤801、摄像设备从每个像素点组中确定目标像素点,得到多个目标像素点。
如上文所述,像素点组可以包括阵列排布的多个像素点,在步骤801中,摄像设备可以从每个像素点组包括的多个像素点中确定一个目标像素点,从而得到多个目标像素点。
可选的,摄像设备可以从每个像素点组中确定颜色通道为绿色的像素点(也即是包括的滤光片为绿色滤光片的像素点),而后,将该颜色通道为绿色的像素点确定为目标像素点。
由于颜色通道为绿色的像素点感光性能较好,因此,将像素点组中颜色通道为绿色的像素点确定为目标像素点,在后续步骤中根据该目标像素点生成的目标亮度图质量较高。
步骤802、摄像设备根据每个目标像素点包括的子像素点的亮度值生成每个像素点组对应的子亮度图。
其中,每个像素点组对应的子亮度图包括多个像素,每个像素点组对应的子亮度图中每个像素与该像素点组中目标像素点包括的一个子像素点相对应,每个像素点组对应的子亮度图中每个像素的像素值为对应的子像素点的亮度值。
请参考图11,其示出了根据像素点组Z1中的目标像素点DM包括的子像素点的亮度值生成该像素点组Z1对应的子亮度图L的示意。
如图11所示,该子亮度图L包括4个像素,其中,每个像素与目标像素点DM包括的一个子像素点相对应,且,每个像素的像素值为对应的子像素点的亮度值,其中,该子亮度图L中第一行第一列的像素与目标像素点DM包括的第一行第一列的子像素点对应,该子亮度图L中第一行第一列的像素的像素值Gr_TL为目标像素点DM包括的第一行第一列的子像素点的亮度值Gr_TL,该子亮度图L中第一行第二列的像素与目标像素点DM包括的第一行第二列的子像素点对应,该子亮度图L中第一行第二列的像素的像素值Gr_TR为目标像素点DM包括的第一行第二列的子像素点的亮度值Gr_TR,该子亮度图L中第二行第一列的像素与目标像素点DM包括的第二行第一列的子像素点对应,该子亮度图L中第二行第一列的像素的像素值Gr_BL为目标像素点DM包括的第二行第一列的子像素点的亮度值Gr_BL,该子亮度图L中第二行第二列的像素与目标像素点DM包括的第二行第二列的子像素点对应,该子亮度图L中第二行第二列的像素的像素值Gr_BR为目标像素点DM包括的第二行第二列的子像素点的亮度值Gr_BR。
步骤803、摄像设备根据每个像素点组对应的子亮度图生成目标亮度图。
步骤803的技术过程与步骤702的技术过程同理,本申请实施例在此不再赘述。
请参考图12,其示出了第三种示例性的获取目标亮度图的方式,可以应用于图3至图5所示的摄像设备中,如图12所示,该第三种获取目标亮度图的方式可以包括以下步骤:
步骤901、从每个像素点组中确定相同位置处的像素点,得到多个像素点集合。
其中,每个像素点集合包括的像素点在像素点组中的位置均相同。
例如,请参考图13,摄像设备分别从像素点组Z1、像素点组Z2、像素点组Z3和像素点组Z4中确定相同位置处的像素点,可以得到4个像素点集合P1、P2、P3和P4,其中,像素点集合P1包括像素点D11、D21、D31和D41,其包括的像素点在像素点组中的位置均相同,为第一行第一列,像素点集合P2包括像素点D12、D22、D32和D42,其包括的像素点在像素点组中的位置均相同,为第一行第二列,像素点集合P3包括子像素点D13、D23、D33和D43,其包括的像素点在像素点组中的位置均相同,为第二行第一列,像素点集合P4包括像素点D14、D24、D34和D44,其包括的像素点在像素点组中的位置均相同,为第二行第二列。
步骤902、摄像设备根据多个像素点集合中像素点的亮度值,生成与多个像素点集合一一对应的多个目标亮度图。
如上文所述,图像传感器的像素点的亮度值可以由该像素点包括的子像素点的亮度值来进行表征,因此,在步骤902中,对于每个像素点集合,摄像设备可以根据该像素点集合中每个像素点包括的每个子像素点的亮度值生成该像素点集合对应的目标亮度图。
其中,与某一像素点集合对应的目标亮度图包括多个像素,该目标亮度图中的每个像素与该像素点集合包括的像素点的一个子像素点相对应,该目标亮度图中的每个像素的像素值为对应的子像素点的亮度值。
图12所示的第三种获取目标亮度图的方式是图10所示的第二种获取目标亮度图的方式的变形。
在第二种获取目标亮度图的方式中,摄像设备从每个像素点组中确定一个像素点(也即是目标像素点),并根据确定出的像素点生成目标亮度图,换句话说,在第二种获取目标亮度图的方式中,摄像设备根据每个像素点组中的一个像素点生成了一幅目标亮度图。
而在第三种获取目标亮度图的方式中,摄像设备根据每个像素点组中的一个像素点生成一幅目标亮度图,并根据每个像素点组中的另一个像素点生成另一幅目标亮度图,同时根据每个像素点组中的又一个像素点生成又一幅目标亮度图,以此类推。其中,在第三种获取目标亮度图的方式中,摄像设备获取到的目标亮度图的个数与像素点组包括的像素点的个数相同。
在得到多个目标亮度图后,摄像设备可以对该多个目标亮度图分别执行步骤602和步骤603的技术过程。也即是,在得到多个目标亮度图后,对于每个目标亮度图,摄像设备对该目标亮度图进行切分处理,并根据切分处理结果得到第一切分亮度图和第二切分亮度图,对于每个目标亮度图对应的第一切分亮度图和第二切分亮度图,根据第一切分亮度图和第二切分亮度图中相互匹配的像素的位置差异,确定相互匹配的像素的相位差。
而后,对于每一个目标亮度图,摄像设备都可以根据该目标亮度图对应的第一切分亮度图和第二切分亮度图中相互匹配的像素的相位差,得到中间相位差图,接着,摄像设备可以根据每个目标亮度图对应的中间相位差图得到目标相位差图。这样,获取到目标相位差图精度较高,在像素点组包括4个像素点的情况下,通过这种方式获取到的目标相位差图的精度是上述第二种目标亮度图的获取方式获取到的目标相位差图的精度的4倍。
下面,本申请实施例将对根据每个目标亮度图对应的中间相位差图得到目标相位差图的技术过程进行说明,该技术过程可以包括步骤B1至步骤B3。
步骤B1、摄像设备从每个中间相位差图中确定相同位置处的像素,得到多个相位差像素集合。
其中,每个相位差像素集合包括的像素在中间相位差图中的位置均相同。
请参考图14,摄像设备分别从中间相位差图1、中间相位差图2、中间相位差图3和中间相位差图4中确定相同位置处的像素,可以得到4个相位差像素集合Y1、Y2、Y3和Y4,其中,相位差像素集合Y1包括中间相位差图1中的像素PD_Gr_1、中间相位差图2中的像素PD_R_1、中间相位差图3中的像素PD_B_1和中间相位差图4中的像素PD_Gb_1,相位差像素集合Y2包括中间相位差图1中的像素PD_Gr_2、中间相位差图2中的像素PD_R_2、中间相位差图3中的像素PD_B_2和中间相位差图4中的像素PD_Gb_2,相位差像素集合Y3包括中间相位差图1中的像素PD_Gr_3、中间相位差图2中的像素PD_R_3、中间相位差图3中的像素PD_B_3和中间相位差图4中的像素PD_Gb_3,相位差像素集合Y4包括中间相位差图1中的像素PD_Gr_4、中间相位差图2中的像素PD_R_4、中间相位差图3中的像素PD_B_4和中间相位差图4中的像素PD_Gb_4。
步骤B2、对于每个相位差像素集合,摄像设备将相位差像素集合中的像素进行拼接,得到与相位差像素集合对应的子相位差图。
其中,该子相位差图包括多个像素,每个像素与相位差像素集合中的一个像素相对应,每个像素的像素值等于与其对应的像素的像素值。
步骤B3、摄像设备将得到的多个子相位差图进行拼接得到目标相位差图。
请参考图15,图15为目标相位差图的示意图,其中,该目标相位差图包括子相位差图1、子相位差图2、子相位差图3和子相位差图4,其中,子相位差图1与相位差像素集合Y1相对应,子相位差图2与相位差像素集合Y2相对应,子相位差图3与相位差像素集合Y3相对应,子相位差图4与相位差像素集合Y4相对应。
请参考图16,其示出了一种对目标亮度图进行切分处理,根据切分处理的结果得到第一切分亮度图和第二切分亮度图的方式,可以应用于图3至图5所示的摄像设备中,如图16所示,该方式可以包括以下步骤:
步骤1001、摄像设备对目标亮度图进行切分处理,得到多个亮度图区域。
其中,每个亮度图区域包括目标亮度图中的一行像素,或者,每个亮度图区域包括目标亮度图中的一列像素。
换句话说,在一种可能的实现方式中,摄像设备可以沿行的方向对目标亮度图进行逐列切分,得到目标亮度图的多个像素列(也即是上文所述的亮度图区域)。
在另一种可能的实现方式中,摄像设备可以沿列的方向对目标亮度图进行逐行切分,得到目标亮度图的多个像素行(也即是上文所述的亮度图区域)。
步骤1002、摄像设备从多个亮度图区域中获取多个第一亮度图区域和多个第二亮度图区域。
其中,第一亮度图区域包括目标亮度图中偶数行的像素,或者,第一亮度图区域包括目标亮度图中偶数列的像素。
第二亮度图区域包括目标亮度图中奇数行的像素,或者,第二亮度图区域包括目标亮度图中奇数列的像素。
换句话说,在对目标亮度图进行逐列切分的情况下,摄像设备可以将偶数列确定为第一亮度图区域,将奇数列确定为第二亮度图区域。
在对目标亮度图进行逐行切分的情况下,摄像设备可以将偶数行确定为第一亮度图区域,将奇数行确定为第二亮度图区域。
步骤1003、摄像设备利用多个第一亮度图区域组成第一切分亮度图,利用多个第二亮度图区域组成第二切分亮度图。
请参考图17,假设目标亮度图包括6行6列像素,则在对目标亮度图进行逐列切分的情况下,摄像设备可以将目标亮度图的第1列像素、第3列像素和第5列像素确定为第二亮度图区域,可以将目标亮度图的第2列像素、第4列像素和第6列像素确定为第一亮度图区域,而后,摄像设备可以将第一亮度图区域进行拼接,得到第一切分亮度图T1,该第一切分亮度图T1包括目标亮度图的第2列像素、第4列像素和第6列像素,摄像设备可以将第二亮度图区域进行拼接,得到第二切分亮度图T2,该第二切分亮度图T2包括目标亮度图的第1列像素、第3列像素和第5列像素。
请参考图18,假设目标亮度图包括6行6列像素,则在对目标亮度图进行逐行切分的情况下,摄像设备可以将目标亮度图的第1行像素、第3行像素和第5行像素确定为第二亮度图区域,可以将目标亮度图的第2行像素、第4行像素和第6行像素确定为第一亮度图区域,而后,摄像设备可以将第一亮度图区域进行拼接,得到第一切分亮度图T3,该第一切分亮度图T3包括目标亮度图的第2行像素、第4行像素和第6行像素,摄像设备可以将第二亮度图区域进行拼接,得到第二切分亮度图T4,该第二切分亮度图T4包括目标亮度图的第1行像素、第3行像素和第5行像素。
请参考图19,其示出了一种根据第一切分亮度图和第二切分亮度图中相互匹配的像素的位置差异,确定相互匹配的像素的相位差的方式,可以应用于图3至图5所示的摄像设备中,如图19所示,该方式可以包括以下步骤:
步骤1101、当亮度图区域包括目标亮度图中的一行像素时,摄像设备在第一切分亮度图包括的每行像素中确定第一邻近像素集合。
其中,第一邻近像素集合包括的像素与图像传感器中的同一像素点组对应。
请参考上述图9所示的子亮度图,当亮度图区域包括目标亮度图中的一行像素时,也即是,在摄像设备沿列的方向对目标亮度图进行逐行切分的情况下,在切分之后,由于该子亮度图中第一行的两个像素位于目标亮度图的同一行像素中,因此,该子亮度图中第一行的两个像素会位于同一亮度图区域中,并会位于同一切分亮度图中,同理地,该子亮度图中第二行的两个像素也会位于同一亮度区域中,并会位于另一切分亮度图中,假设该子亮度图中的第一行位于目标亮度图的偶数像素行中,则该子亮度图中第一行的两个像素位于第一切分亮度图中,该子亮度图中第二行的两个像素位于第二切分亮度图中。
那么在步骤1101中,摄像设备可以将该子亮度图中第一行的两个像素确定为第一邻近像素集合,这是因为该子亮度图中第一行的两个像素与图像传感器中的同一像素点组(图8所示的像素点组)对应。
步骤1102、对于每个第一邻近像素集合,摄像设备在第二切分亮度图中搜索与该第一邻近像素集合对应的第一匹配像素集合。
对于每个第一邻近像素集合,摄像设备可以在第一切分亮度图中获取该第一邻近像素集合周围的多个像素,并由该第一邻近像素集合以及该第一邻近像素集合周围的多个像素组成搜索像素矩阵,例如,该搜索像素矩阵可以包括3行3列共9个像素,接着,摄像设备可以在第二切分亮度图中搜索与该搜索像素矩阵相似的像素矩阵。至于如何判断像素矩阵是否相似,上文中已经进行了说明,本申请实施例在此就不赘述了。
在第二切分亮度图中搜索到与搜索像素矩阵相似的像素矩阵之后,摄像设备可以从该搜索到的像素矩阵中提取出第一匹配像素集合。
通过搜索得到的第一匹配像素集合中的像素与第一邻近像素集合中的像素分别对应于从不同方向射入镜头的成像光线在图像传感器中所成的不同的像。
步骤1103、根据每个第一邻近像素集合与每个第一匹配像素集合的位置差异,确定相互对应的第一邻近像素集合和第一匹配像素集合的相位差。
第一邻近像素集合与第一匹配像素集合的位置差异指的是:第一邻近像素集合在第一切分亮度图中的位置与第一匹配像素集合在第二切分亮度图中的位置的差异。
当得到的第一切分亮度图和第二切分亮度图可以被分别称为上图和下图,通过上图和下图获取到的相位差可以反映物体在垂直方向上的成像位置差异。
请参考图20,其示出了一种根据第一切分亮度图和第二切分亮度图中相互匹配的像素的位置差异,确定相互匹配的像素的相位差的方式,可以应用于图3至图5所示的摄像设备中,如图20所示,该方式可以包括以下步骤:
步骤1201、当亮度图区域包括目标亮度图中的一列像素时,摄像设备在第一切分亮度图包括的每列像素中确定第二邻近像素集合,其中,该第二邻近像素集合包括的像素与同一像素点组对应。
步骤1202、对于每个第二邻近像素集合,摄像设备在第二切分亮度图中搜索与该第二邻近像素集合对应的第二匹配像素集合。
步骤1203、根据每个第二邻近像素集合与每个第二匹配像素集合的位置差异,摄像设备确定相互对应的第二邻近像素集合和第二匹配像素集合的相位差。
步骤1201至步骤1203的技术过程与步骤1101至步骤1103的技术过程同理,本申请实施例在此不再赘述。
当亮度图区域包括目标亮度图中的一列像素时,得到的第一切分亮度图和第二切分亮度图可以被分别称为左图和右图,通过左图和右图获取到的相位差可以反映物体在水平方向上的成像位置差异。
由于当亮度图区域包括目标亮度图中的一列像素时,获取到的相位差可以反映物体在水平方向上的成像位置差异,当亮度图区域包括目标亮度图中的一行像素时,获取到的相位差可以反映物体在垂直方向上的成像位置差异,因此,按照本申请实施例获取到的相位差既可以反映物体在垂直方向上的成像位置差异又可以反映物体在水平方向上的成像位置差异,故而,其精度较高。
如上文所述,相位差应除了可以应用于对焦的场景以外,还可以应用于深度图的获取场景中,可选的,本申请的一个实施例中,在获取到目标相位差图之后,可以根据该目标相位差图生成离焦距离图,在生成离焦距离图之后,可以根据该离焦距离图生成深度图。
其中,离焦距离图包括的每个像素的像素值均为根据目标相位差图中的相位差得到的离焦距离,其中,离焦距离与相位差呈正比关系,通过查表或者计算等方式,可以根据相位差直接得到离焦距离。
其中,深度图中的深度信息可以根据离焦距离图中的离焦距离得到,其中,可以根据离焦距离计算合焦状态时的像距,根据该像距以及焦距,就可以计算得到物距,通过物距就可以得到深度信息。
本申请实施例得到的深度图可以用于对图像中的人脸进行检测,以判断图像中的人脸是真实人脸还是照片或者印刷品中的平面人脸。这是因为真实人脸往往具有隆起和凹陷,因此,真实人脸对应的深度图离散程度较大,而平面人脸往往不具有隆起和凹陷,因此,平面人脸对应的深度图离散程度较小。
换句话说,在通过人脸检测技术检测到图像中的人脸后,可以根据本申请实施例得到的深度图中人脸区域对应的深度信息的离散程度大小来判断该人脸是否为真实人脸。
由于本申请实施例中的深度图是根据相位差得到的,而相位差是主要应用于对焦场景中的一种数据,因此,本申请实施例中,摄像设备不需要单独地进行深度图的获取流程,而可以将深度图的获取和自动对焦在同一流程中实现,这样,就可以节约深度图获取的软件开销和硬件开销,继而可以节约对图像中人脸进行检测的软件开销和硬件开销。
为了保证真实人脸判断的准确性,本申请实施例还可以结合人脸的尺寸来对真实人脸进行判别,其中,人脸的尺寸可以根据人脸在图像传感器上所成的像的尺寸、焦距和物距(根据深度图得到)进行计算得到,可选的,人脸的尺寸等于物距与焦距的比值再乘以人脸在图像传感器上所成的像的尺寸。
通常情况下,真实人脸的尺寸会在一定的范围内,其是由人体固有结构和尺寸决定的,而照片或者印刷品中的平面人脸往往较真实人脸大或小,因此,其一般不在真实人脸尺寸的范围内,因此,可以根据人脸的尺寸来对真实人脸进行判别。
请参考图21,其示出了本申请实施例提供的一种相位差的获取装置1400,该相位差的获取装置1400可以设置于图3至图5所示的摄像设备中,如图21所示,该相位差的获取装置1400可以包括获取模块1401、确定模块1402和亮度图生成模块1403。
其中,该获取模块1401,用于根据每个像素点组的亮度值获取目标亮度图。
该确定模块1402,用于对该目标亮度图进行切分处理,根据切分处理的结果得到第一切分亮度图和第二切分亮度图,并根据该第一切分亮度图和该第二切分亮度图中相互匹配的像素的位置差异,确定该相互匹配的像素的相位差。
该亮度图生成模块1403,用于根据该相互匹配的像素的相位差生成目标相位差图。
在本申请的一个实施例中,每个像素点包括阵列排布的多个子像素点,多个子像素点分别位于像素点的不同子像素点位置处,该获取模块1401,具体用于:对于每个像素点组中的每个子像素点位置,确定位于该子像素点位置处的子像素点,得到与该子像素点位置对应的子像素点集合;对于每个子像素点集合,根据该子像素点集合中每个子像素点的亮度值,获取该子像素点集合对应的亮度值;根据每个子像素集合对应的亮度值生成子亮度图,并根据该子亮度图生成该目标亮度图。
在本申请的一个实施例中,该获取模块1401,具体用于:确定该子像素点集合中每个子像素点对应的颜色系数,颜色系数是根据子像素点对应的颜色通道确定的;将该子像素点集合中每个子像素点对应的颜色系数与亮度值相乘,得到该子像素点集合中每个子像素点的加权亮度值;将该子像素点集合中每个子像素点的加权亮度值相加,得到该子像素点集合对应的亮度值。
在本申请的一个实施例中,该获取模块1401,具体用于:从每个像素点组中确定目标像素点,得到多个该目标像素点;根据每个目标像素点包括的子像素点的亮度值生成每个像素点组对应的子亮度图;根据每个像素点组对应的子亮度图生成该目标亮度图。
在本申请的一个实施例中,该获取模块1401,具体用于:从每个像素点组中确定颜色通道为绿色的像素点;将该颜色通道为绿色的像素点确定为该目标像素点。
在本申请的一个实施例中,该获取模块1401,具体用于:从每个像素点组中确定相同位置处的像素点,得到多个像素点集合,其中,每个像素点集合包括的像素点在像素点组中的位置均相同;根据该多个像素点集合中像素点的亮度值,生成与该多个像素点集合一一对应的多个该目标亮度图;
该确定模块1402,具体用于:对于每个目标亮度图,对该目标亮度图进行切分处理,并根据切分处理结果得到该第一切分亮度图和该第二切分亮度图;对于每个目标亮度图对应的该第一切分亮度图和该第二切分亮度图,根据该第一切分亮度图和该第二切分亮度图中相互匹配的像素的位置差异,确定该相互匹配的像素的相位差。
在本申请的一个实施例中,该获取模块1401,具体用于:
对于每个像素点集合,根据该像素点集合中每个像素点包括的每个子像素点的亮度值生成该像素点集合对应的该目标亮度图。
在本申请的一个实施例中,该亮度图生成模块1403,具体用于:对于每个目标亮度图,根据该相互匹配的像素的相位差生成与该目标亮度图对应的中间相位差图;根据每个目标亮度图对应的中间相位差图,生成该目标相位差图。
在本申请的一个实施例中,该亮度图生成模块,具体用于:从每个中间相位差图中确定相同位置处的像素,得到多个相位差像素集合,其中,每个相位差像素集合包括的像素在中间相位差图中的位置均相同;对于每个相位差像素集合,将该相位差像素集合中的像素进行拼接,得到与该相位差像素集合对应的子相位差图;将得到的多个该子相位差图进行拼接得到该目标相位差图。
在本申请的一个实施例中,该确定模块1402,具体用于:对该目标亮度图进行切分处理,得到多个亮度图区域,每个亮度图区域包括该目标亮度图中的一行像素,或者,每个亮度图区域包括该目标亮度图中的一列像素;从该多个亮度图区域中获取多个第一亮度图区域和多个第二亮度图区域,第一亮度图区域包括该目标亮度图中偶数行的像素,或者,第一亮度图区域包括该目标亮度图中偶数列的像素,第二亮度图区域包括该目标亮度图中奇数行的像素,或者,第二亮度图区域包括该目标亮度图中奇数列的像素;利用该多个第一亮度图区域组成该第一切分亮度图,利用该多个第二亮度图区域组成该第二切分亮度图。
在本申请的一个实施例中,该确定模块1402,具体用于:当该亮度图区域包括该目标亮度图中的一行像素时,在该第一切分亮度图包括的每行像素中确定第一邻近像素集合,第一邻近像素集合包括的像素与同一像素点组对应;对于每个第一邻近像素集合,在该第二切分亮度图中搜索与该第一邻近像素集合对应的第一匹配像素集合;根据每个第一邻近像素集合与每个第一匹配像素集合的位置差异,确定相互对应的该第一邻近像素集合和该第一匹配像素集合的相位差。
在本申请的一个实施例中,确定模块1402,具体用于:当该亮度图区域包括该目标亮度图中的一列像素时,在该第一切分亮度图包括的每列像素中确定第二邻近像素集合,第二邻近像素集合包括的像素与同一像素点组对应;对于每个第二邻近像素集合,在该第二切分亮度图中搜索与该第二邻近像素集合对应的第二匹配像素集合;根据每个第二邻近像素集合与每个第二匹配像素集合的位置差异,确定相互对应的该第二邻近像素集合和该第二匹配像素集合的相位差。
请参考图22,其示出了本申请实施例提供的另一种相位差的获取装置1500,该相位差的获取装置1500可以设置于图3至图5所示的摄像设备中,该相位差的获取装置1500除了包括相位差的获取装置1400包括的各模块外,还包括深度图生成模块1404。
其中,该深度图生成模块1404,用于根据该目标相位差图生成离焦距离图,并根据该离焦距离图生成深度图。
在本申请的一个实施例中,提供了一种计算机设备,该计算机设备可以为摄像设备,该摄像设备可以为具有数字图像拍摄功能的电子设备,例如,该摄像设备可以为智能手机、平板电脑、照相机或者摄像机等。其内部结构图可以如图23所示。该计算机设备包括通过系统总线连接的处理器和存储器。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质可以存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现本申请实施例提供的一种相位差的获取方法。
除此以外,虽然图23未示出,该计算机设备还可以包括镜头和图像传感器,其中,镜头可以由一组透镜组成,图像传感器可以为金属氧化物半导体元件(英文:Complementary Metal Oxide Semiconductor;简称:CMOS)图像传感器、电荷耦合元件(英文:Charge-coupled Device;简称:CCD)、量子薄膜传感器或者有机传感器等。该图像传感器可以通过总线与处理器连接,处理器可以通过图像传感器向其输出的信号来实现本申请实施例提供的一种相位差的获取方法。
本领域技术人员可以理解,图23中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在本申请的一个实施例中,提供了一种计算机设备,该计算机设备可以为摄像设备,该计算机设备包括存储器和处理器,存储器中存储有计算机程序,处理器执行计算机程序时实现以下步骤:
根据每个像素点组的亮度值获取目标亮度图;对该目标亮度图进行切分处理,根据切分处理的结果得到第一切分亮度图和第二切分亮度图,并根据该第一切分亮度图和该第二切分亮度图中相互匹配的像素的位置差异,确定该相互匹配的像素的相位差;根据该相互匹配的像素的相位差生成目标相位差图。
在本申请的一个实施例中,处理器执行计算机程序时还实现以下步骤:对于每个像素点组中的每个子像素点位置,确定位于该子像素点位置处的子像素点,得到与该子像素点位置对应的子像素点集合;对于每个子像素点集合,根据该子像素点集合中每个子像素点的亮度值,获取该子像素点集合对应的亮度值;根据每个子像素集合对应的亮度值生成子亮度图,并根据该子亮度图生成该目标亮度图。
在本申请的一个实施例中,处理器执行计算机程序时还实现以下步骤:确定该子像素点集合中每个子像素点对应的颜色系数,颜色系数是根据子像素点对应的颜色通道确定的;将该子像素点集合中每个子像素点对应的颜色系数与亮度值相乘,得到该子像素点集合中每个子像素点的加权亮度值;将该子像素点集合中每个子像素点的加权亮度值相加,得到该子像素点集合对应的亮度值。
在本申请的一个实施例中,处理器执行计算机程序时还实现以下步骤:从每个像素点组中确定目标像素点,得到多个该目标像素点;根据每个目标像素点包括的子像素点的亮度值生成每个像素点组对应的子亮度图;根据每个像素点组对应的子亮度图生成该目标亮度图。
在本申请的一个实施例中,处理器执行计算机程序时还实现以下步骤:从每个像素点组中确定颜色通道为绿色的像素点;将该颜色通道为绿色的像素点确定为该目标像素点。
在本申请的一个实施例中,处理器执行计算机程序时还实现以下步骤:从每个像素点组中确定相同位置处的像素点,得到多个像素点集合,其中,每个像素点集合包括的像素点在像素点组中的位置均相同;根据该多个像素点集合中像素点的亮度值,生成与该多个像素点集合一一对应的多个该目标亮度图;
对于每个目标亮度图,对该目标亮度图进行切分处理,并根据切分处理结果得到该第一切分亮度图和该第二切分亮度图;对于每个目标亮度图对应的该第一切分亮度图和该第二切分亮度图,根据该第一切分亮度图和该第二切分亮度图中相互匹配的像素的位置差异,确定该相互匹配的像素的相位差。
在本申请的一个实施例中,处理器执行计算机程序时还实现以下步骤:对于每个像素点集合,根据该像素点集合中每个像素点包括的每个子像素点的亮度值生成该像素点集合对应的该目标亮度图。
在本申请的一个实施例中,处理器执行计算机程序时还实现以下步骤:对于每个目标亮度图,根据该相互匹配的像素的相位差生成与该目标亮度图对应的中间相位差图;根据每个目标亮度图对应的中间相位差图,生成该目标相位差图。
在本申请的一个实施例中,处理器执行计算机程序时还实现以下步骤:从每个中间相位差图中确定相同位置处的像素,得到多个相位差像素集合,其中,每个相位差像素集合包括的像素在中间相位差图中的位置均相同;对于每个相位差像素集合,将该相位差像素集合中的像素进行拼接,得到与该相位差像素集合对应的子相位差图;将得到的多个该子相位差图进行拼接得到该目标相位差图。
在本申请的一个实施例中,处理器执行计算机程序时还实现以下步骤:对该目标亮度图进行切分处理,得到多个亮度图区域,每个亮度图区域包括该目标亮度图中的一行像素,或者,每个亮度图区域包括该目标亮度图中的一列像素;从该多个亮度图区域中获取多个第一亮度图区域和多个第二亮度图区域,第一亮度图区域包括该目标亮度图中偶数行的像素,或者,第一亮度图区域包括该目标亮度图中偶数列的像素,第二亮度图区域包括该目标亮度图中奇数行的像素,或者,第二亮度图区域包括该目标亮度图中奇数列的像素;利用该多个第一亮度图区域组成该第一切分亮度图,利用该多个第二亮度图区域组成该第二切分亮度图。
在本申请的一个实施例中,处理器执行计算机程序时还实现以下步骤:当该亮度图区域包括该目标亮度图中的一行像素时,在该第一切分亮度图包括的每行像素中确定第一邻近像素集合,第一邻近像素集合包括的像素与同一像素点组对应;对于每个第一邻近像素集合,在该第二切分亮度图中搜索与该第一邻近像素集合对应的第一匹配像素集合;根据每个第一邻近像素集合与每个第一匹配像素集合的位置差异,确定相互对应的该第一邻近像素集合和该第一匹配像素集合的相位差。
在本申请的一个实施例中,处理器执行计算机程序时还实现以下步骤:当该亮度图区域包括该目标亮度图中的一列像素时,在该第一切分亮度图包括的每列像素中确定第二邻近像素集合,第二邻近像素集合包括的像素与同一像素点组对应;对于每个第二邻近像素集合,在该第二切分亮度图中搜索与该第二邻近像素集合对应的第二匹配像素集合;根据每个第二邻近像素集合与每个第二匹配像素集合的位置差异,确定相互对应的该第二邻近像素集合和该第二匹配像素集合的相位差。
在本申请的一个实施例中,处理器执行计算机程序时还实现以下步骤:根据该目标相位差图生成离焦距离图,并根据该离焦距离图生成深度图。
本申请实施例提供的计算机设备,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在本申请的一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
根据每个像素点组的亮度值获取目标亮度图;对该目标亮度图进行切分处理,根据切分处理的结果得到第一切分亮度图和第二切分亮度图,并根据该第一切分亮度图和该第二切分亮度图中相互匹配的像素的位置差异,确定该相互匹配的像素的相位差;根据该相互匹配的像素的相位差生成目标相位差图。
在本申请的一个实施例中,计算机程序被处理器执行时还实现以下步骤:对于每个像素点组中的每个子像素点位置,确定位于该子像素点位置处的子像素点,得到与该子像素点位置对应的子像素点集合;对于每个子像素点集合,根据该子像素点集合中每个子像素点的亮度值,获取该子像素点集合对应的亮度值;根据每个子像素集合对应的亮度值生成子亮度图,并根据该子亮度图生成该目标亮度图。
在本申请的一个实施例中,计算机程序被处理器执行时还实现以下步骤:确定该子像素点集合中每个子像素点对应的颜色系数,颜色系数是根据子像素点对应的颜色通道确定的;将该子像素点集合中每个子像素点对应的颜色系数与亮度值相乘,得到该子像素点集合中每个子像素点的加权亮度值;将该子像素点集合中每个子像素点的加权亮度值相加,得到该子像素点集合对应的亮度值。
在本申请的一个实施例中,计算机程序被处理器执行时还实现以下步骤:从每个像素点组中确定目标像素点,得到多个该目标像素点;根据每个目标像素点包括的子像素点的亮度值生成每个像素点组对应的子亮度图;根据每个像素点组对应的子亮度图生成该目标亮度图。
在本申请的一个实施例中,计算机程序被处理器执行时还实现以下步骤:从每个像素点组中确定颜色通道为绿色的像素点;将该颜色通道为绿色的像素点确定为该目标像素点。
在本申请的一个实施例中,计算机程序被处理器执行时还实现以下步骤:从每个像素点组中确定相同位置处的像素点,得到多个像素点集合,其中,每个像素点集合包括的像素点在像素点组中的位置均相同;根据该多个像素点集合中像素点的亮度值,生成与该多个像素点集合一一对应的多个该目标亮度图;
对于每个目标亮度图,对该目标亮度图进行切分处理,并根据切分处理结果得到该第一切分亮度图和该第二切分亮度图;对于每个目标亮度图对应的该第一切分亮度图和该第二切分亮度图,根据该第一切分亮度图和该第二切分亮度图中相互匹配的像素的位置差异,确定该相互匹配的像素的相位差。
在本申请的一个实施例中,计算机程序被处理器执行时还实现以下步骤:对于每个像素点集合,根据该像素点集合中每个像素点包括的每个子像素点的亮度值生成该像素点集合对应的该目标亮度图。
在本申请的一个实施例中,计算机程序被处理器执行时还实现以下步骤:对于每个目标亮度图,根据该相互匹配的像素的相位差生成与该目标亮度图对应的中间相位差图;根据每个目标亮度图对应的中间相位差图,生成该目标相位差图。
在本申请的一个实施例中,计算机程序被处理器执行时还实现以下步骤:从每个中间相位差图中确定相同位置处的像素,得到多个相位差像素集合,其中,每个相位差像素集合包括的像素在中间相位差图中的位置均相同;对于每个相位差像素集合,将该相位差像素集合中的像素进行拼接,得到与该相位差像素集合对应的子相位差图;将得到的多个该子相位差图进行拼接得到该目标相位差图。
在本申请的一个实施例中,计算机程序被处理器执行时还实现以下步骤:对该目标亮度图进行切分处理,得到多个亮度图区域,每个亮度图区域包括该目标亮度图中的一行像素,或者,每个亮度图区域包括该目标亮度图中的一列像素;从该多个亮度图区域中获取多个第一亮度图区域和多个第二亮度图区域,第一亮度图区域包括该目标亮度图中偶数行的像素,或者,第一亮度图区域包括该目标亮度图中偶数列的像素,第二亮度图区域包括该目标亮度图中奇数行的像素,或者,第二亮度图区域包括该目标亮度图中奇数列的像素;利用该多个第一亮度图区域组成该第一切分亮度图,利用该多个第二亮度图区域组成该第二切分亮度图。
在本申请的一个实施例中,计算机程序被处理器执行时还实现以下步骤:当该亮度图区域包括该目标亮度图中的一行像素时,在该第一切分亮度图包括的每行像素中确定第一邻近像素集合,第一邻近像素集合包括的像素与同一像素点组对应;对于每个第一邻近像素集合,在该第二切分亮度图中搜索与该第一邻近像素集合对应的第一匹配像素集合;根据每个第一邻近像素集合与每个第一匹配像素集合的位置差异,确定相互对应的该第一邻近像素集合和该第一匹配像素集合的相位差。
在本申请的一个实施例中,计算机程序被处理器执行时还实现以下步骤:当该亮度图区域包括该目标亮度图中的一列像素时,在该第一切分亮度图包括的每列像素中确定第二邻近像素集合,第二邻近像素集合包括的像素与同一像素点组对应;对于每个第二邻近像素集合,在该第二切分亮度图中搜索与该第二邻近像素集合对应的第二匹配像素集合;根据每个第二邻近像素集合与每个第二匹配像素集合的位置差异,确定相互对应的该第二邻近像素集合和该第二匹配像素集合的相位差。
在本申请的一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据该目标相位差图生成离焦距离图,并根据该离焦距离图生成深度图。
本实施例提供的计算机可读存储介质,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种相位差的获取方法,其特征在于,用于摄像设备,所述摄像设备包括图像传感器,所述图像传感器包括阵列排布的多个像素点组,每个所述像素点组包括阵列排布的多个像素点,所述方法包括:
根据每个所述像素点组的亮度值获取目标亮度图;
对所述目标亮度图进行切分处理,根据切分处理的结果得到第一切分亮度图和第二切分亮度图,并根据所述第一切分亮度图和所述第二切分亮度图中相互匹配的像素的位置差异,确定所述相互匹配的像素的相位差;
根据所述相互匹配的像素的相位差生成目标相位差图。
2.根据权利要求1所述的方法,其特征在于,每个所述像素点包括阵列排布的多个子像素点,所述多个子像素点分别位于所述像素点的不同子像素点位置处,所述根据每个所述像素点组的亮度值获取目标亮度图,包括:
对于每个所述像素点组中的每个所述子像素点位置,确定位于所述子像素点位置处的子像素点,得到与所述子像素点位置对应的子像素点集合;
对于每个所述子像素点集合,根据所述子像素点集合中每个子像素点的亮度值,获取所述子像素点集合对应的亮度值;
根据每个所述子像素集合对应的亮度值生成子亮度图,并根据所述子亮度图生成所述目标亮度图。
3.根据权利要求2所述的方法,其特征在于,所述根据所述子像素点集合中每个子像素点的亮度值,获取所述子像素点集合对应的亮度值,包括:
确定所述子像素点集合中每个子像素点对应的颜色系数,所述颜色系数是根据子像素点对应的颜色通道确定的;
将所述子像素点集合中每个子像素点对应的颜色系数与亮度值相乘,得到所述子像素点集合中每个子像素点的加权亮度值;
将所述子像素点集合中每个子像素点的加权亮度值相加,得到所述子像素点集合对应的亮度值。
4.根据权利要求1所述的方法,其特征在于,每个所述像素点包括阵列排布的多个子像素点,所述根据每个所述像素点组的亮度值获取目标亮度图,包括:
从每个所述像素点组中确定目标像素点,得到多个所述目标像素点;
根据每个所述目标像素点包括的子像素点的亮度值生成每个所述像素点组对应的子亮度图;
根据每个所述像素点组对应的子亮度图生成所述目标亮度图。
5.根据权利要求4所述的方法,其特征在于,所述从每个所述像素点组中提取目标像素点,包括:
从每个所述像素点组中确定颜色通道为绿色的像素点;
将所述颜色通道为绿色的像素点确定为所述目标像素点。
6.根据权利要求1所述的方法,其特征在于,所述根据每个所述像素点组的亮度值获取目标亮度图,包括:
从每个所述像素点组中确定相同位置处的像素点,得到多个像素点集合,其中,每个所述像素点集合包括的像素点在像素点组中的位置均相同;
根据所述多个像素点集合中像素点的亮度值,生成与所述多个像素点集合一一对应的多个所述目标亮度图;
所述对所述目标亮度图进行切分处理,根据切分处理的结果得到第一切分亮度图和第二切分亮度图,并根据所述第一切分亮度图和所述第二切分亮度图中相互匹配的像素的位置差异,确定所述相互匹配的像素的相位差,包括:
对于每个所述目标亮度图,对所述目标亮度图进行切分处理,并根据切分处理结果得到所述第一切分亮度图和所述第二切分亮度图;
对于每个所述目标亮度图对应的所述第一切分亮度图和所述第二切分亮度图,根据所述第一切分亮度图和所述第二切分亮度图中相互匹配的像素的位置差异,确定所述相互匹配的像素的相位差。
7.根据权利要求6所述的方法,其特征在于,每个所述像素点包括阵列排布的多个子像素点,所述根据所述多个像素点集合中像素点的亮度值,生成与所述多个像素点集合一一对应的多个所述目标亮度图,包括:
对于每个所述像素点集合,根据所述像素点集合中每个像素点包括的每个子像素点的亮度值生成所述像素点集合对应的所述目标亮度图。
8.根据权利要求6所述的方法,其特征在于,所述根据所述相互匹配的像素的相位差生成目标相位差图,包括:
对于每个所述目标亮度图,根据所述相互匹配的像素的相位差生成与所述目标亮度图对应的中间相位差图;
根据每个所述目标亮度图对应的中间相位差图,生成所述目标相位差图。
9.根据权利要求8所述的方法,其特征在于,所述根据每个所述目标亮度图对应的中间相位差图,生成所述目标相位差图,包括:
从每个所述中间相位差图中确定相同位置处的像素,得到多个相位差像素集合,其中,每个所述相位差像素集合包括的像素在中间相位差图中的位置均相同;
对于每个所述相位差像素集合,将所述相位差像素集合中的像素进行拼接,得到与所述相位差像素集合对应的子相位差图;
将得到的多个所述子相位差图进行拼接得到所述目标相位差图。
10.根据权利要求1至9任一所述的方法,其特征在于,所述对所述目标亮度图进行切分处理,根据切分处理的结果得到第一切分亮度图和第二切分亮度图,包括:
对所述目标亮度图进行切分处理,得到多个亮度图区域,每个所述亮度图区域包括所述目标亮度图中的一行像素,或者,每个所述亮度图区域包括所述目标亮度图中的一列像素;
从所述多个亮度图区域中获取多个第一亮度图区域和多个第二亮度图区域,所述第一亮度图区域包括所述目标亮度图中偶数行的像素,或者,所述第一亮度图区域包括所述目标亮度图中偶数列的像素,所述第二亮度图区域包括所述目标亮度图中奇数行的像素,或者,所述第二亮度图区域包括所述目标亮度图中奇数列的像素;
利用所述多个第一亮度图区域组成所述第一切分亮度图,利用所述多个第二亮度图区域组成所述第二切分亮度图。
11.根据权利要求10所述的方法,其特征在于,所述根据所述第一切分亮度图和所述第二切分亮度图中相互匹配的像素的位置差异,确定相互匹配的像素的相位差,包括:
当所述亮度图区域包括所述目标亮度图中的一行像素时,在所述第一切分亮度图包括的每行像素中确定第一邻近像素集合,所述第一邻近像素集合包括的像素与同一像素点组对应;
对于每个所述第一邻近像素集合,在所述第二切分亮度图中搜索与所述第一邻近像素集合对应的第一匹配像素集合;
根据每个所述第一邻近像素集合与每个所述第一匹配像素集合的位置差异,确定相互对应的所述第一邻近像素集合和所述第一匹配像素集合的相位差。
12.根据权利要求10所述的方法,其特征在于,所述根据所述第一切分亮度图和所述第二切分亮度图中相互匹配的像素的位置差异,确定相互匹配的像素的相位差,包括:
当所述亮度图区域包括所述目标亮度图中的一列像素时,在所述第一切分亮度图包括的每列像素中确定第二邻近像素集合,所述第二邻近像素集合包括的像素与同一像素点组对应;
对于每个所述第二邻近像素集合,在所述第二切分亮度图中搜索与所述第二邻近像素集合对应的第二匹配像素集合;
根据每个所述第二邻近像素集合与每个所述第二匹配像素集合的位置差异,确定相互对应的所述第二邻近像素集合和所述第二匹配像素集合的相位差。
13.一种相位差的获取装置,其特征在于,用于摄像设备,所述摄像设备包括图像传感器,所述图像传感器包括阵列排布的多个像素点组,每个所述像素点组包括阵列排布的多个像素点,所述装置包括:
获取模块,用于根据每个所述像素点组的亮度值获取目标亮度图;
确定模块,用于对所述目标亮度图进行切分处理,根据切分处理的结果得到第一切分亮度图和第二切分亮度图,并根据所述第一切分亮度图和所述第二切分亮度图中相互匹配的像素的位置差异,确定所述相互匹配的像素的相位差;
亮度图生成模块,用于根据所述相互匹配的像素的相位差生成目标相位差图。
14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述计算机程序被所述处理器执行时实现如权利要求1至12任一所述的相位差的获取方法。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至12任一所述的相位差的获取方法。
CN201911101398.7A 2019-11-12 2019-11-12 相位差的获取方法、装置、设备及存储介质 Active CN112866544B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911101398.7A CN112866544B (zh) 2019-11-12 2019-11-12 相位差的获取方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911101398.7A CN112866544B (zh) 2019-11-12 2019-11-12 相位差的获取方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112866544A true CN112866544A (zh) 2021-05-28
CN112866544B CN112866544B (zh) 2022-08-12

Family

ID=75984606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911101398.7A Active CN112866544B (zh) 2019-11-12 2019-11-12 相位差的获取方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112866544B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103493484A (zh) * 2011-03-31 2014-01-01 富士胶片株式会社 成像装置和成像方法
US20150117832A1 (en) * 2012-07-06 2015-04-30 Fujifilm Corporation Imaging device, and image processing method
US20150248766A1 (en) * 2012-10-24 2015-09-03 Sony Corporation Image processing apparatus and image processing method
US20170064185A1 (en) * 2015-09-01 2017-03-02 Fujitsu Limited Method of estimating phase difference, apparatus, and storage medium
WO2019065555A1 (ja) * 2017-09-28 2019-04-04 富士フイルム株式会社 撮像装置、情報取得方法及び情報取得プログラム
CN109905600A (zh) * 2019-03-21 2019-06-18 上海创功通讯技术有限公司 成像方法、成像装置及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103493484A (zh) * 2011-03-31 2014-01-01 富士胶片株式会社 成像装置和成像方法
US20150117832A1 (en) * 2012-07-06 2015-04-30 Fujifilm Corporation Imaging device, and image processing method
US20150248766A1 (en) * 2012-10-24 2015-09-03 Sony Corporation Image processing apparatus and image processing method
US20170064185A1 (en) * 2015-09-01 2017-03-02 Fujitsu Limited Method of estimating phase difference, apparatus, and storage medium
WO2019065555A1 (ja) * 2017-09-28 2019-04-04 富士フイルム株式会社 撮像装置、情報取得方法及び情報取得プログラム
CN109905600A (zh) * 2019-03-21 2019-06-18 上海创功通讯技术有限公司 成像方法、成像装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN112866544B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN112866549B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN112866542B (zh) 追焦方法和装置、电子设备、计算机可读存储介质
US20150070536A1 (en) Image processing apparatus and control method thereof
CN112866511B (zh) 成像组件、对焦方法和装置、电子设备
CN112866510B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN112866655B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US8040428B2 (en) Method for focus control
CN112866675B (zh) 深度图生成方法和装置、电子设备、计算机可读存储介质
JP6976754B2 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
CN111127379B (zh) 光场相机2.0的渲染方法及电子设备
CN112866548B (zh) 相位差的获取方法和装置、电子设备
CN112866544B (zh) 相位差的获取方法、装置、设备及存储介质
CN112866545B (zh) 对焦控制方法和装置、电子设备、计算机可读存储介质
CN112866547B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
US9800796B1 (en) Apparatus and method for low dynamic range and high dynamic range image alignment
CN112866546B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN112862880A (zh) 深度信息获取方法、装置、电子设备和存储介质
CN112866543B (zh) 对焦控制方法和装置、电子设备、计算机可读存储介质
CN112866551B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN112866674B (zh) 深度图获取方法、装置、电子设备和计算机可读存储介质
CN112866552B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
JP2020134624A (ja) 撮像装置、撮像装置の制御方法、およびプログラム
CN112422944B (zh) 三维成像系统
CN112866550B (zh) 相位差获取方法和装置、电子设备、计算机可读存储介质
CN112861835A (zh) 主体检测方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant