CN107995434A - 图像获取方法、电子装置和计算机可读存储介质 - Google Patents
图像获取方法、电子装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN107995434A CN107995434A CN201711243596.8A CN201711243596A CN107995434A CN 107995434 A CN107995434 A CN 107995434A CN 201711243596 A CN201711243596 A CN 201711243596A CN 107995434 A CN107995434 A CN 107995434A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- current scene
- dimensional color
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Abstract
本发明公开一种图像获取方法、电子装置和计算机可读存储介质。图像获取方法包括:获取当前场景下的环境光的检测强度;判断检测强度是否大于预设强度;在检测强度大于预设强度时控制第一摄像头和第二摄像头拍摄当前场景以获得当前场景的三维彩色图像;在强度检测小于预设强度时控制结构光组件和第一摄像头或第二摄像头拍摄当前场景以获得当前场景的三维彩色图像。本发明实施方式的图像获取方法、电子装置和计算机可读存储介质在获取三维彩色图像时,在环境光的强度较弱时和较强时分别使用结构光组件、第一摄像头和第二摄像头进行三维彩色图像中的深度信息的采集,如此,使得采集到的深度信息的精确度更高。
Description
技术领域
本发明涉及图像处理领域,特别涉及一种图像获取方法、电子装置和计算机可读存储介质。
背景技术
现有的三维彩色图像通常采用结构光加单摄像头进行拍摄,但当环境光的强度较强时,会影响结构光获取的图像的深度信息的准确性,进一步地影响三维彩色图像的拍摄。
发明内容
本发明的实施例提供了一种图像获取方法、电子装置和计算机可读存储介质。
本发明实施方式的图像获取方法,用于电子装置,其特征在于,所述电子装置包括第一摄像头、第二摄像头和结构光组件,所述图像获取方法包括:
获取当前场景下的环境光的检测强度;
判断所述检测强度是否大于预设强度;
在所述检测强度大于预设强度时,控制所述第一摄像头和所述第二摄像头拍摄所述当前场景以获得所述当前场景的三维彩色图像;和
在所述检测强度小于所述预设强度时,控制所述结构光组件和所述第一摄像头或所述第二摄像头拍摄所述当前场景以获得所述当前场景的三维彩色图像。
本发明实施方式的电子装置包括第一摄像头、第二摄像头、结构光组件、光感器和处理器,所述处理器用于:
获取所述光感器检测的当前场景下的环境光的检测强度;
判断所述检测强度是否大于预设强度;
在所述检测强度大于预设强度时,控制所述第一摄像头和所述第二摄像头拍摄所述当前场景以获得所述当前场景的三维彩色图像;和
在所述检测强度小于所述预设强度时,控制所述结构光组件和所述第一摄像头或所述第二摄像头拍摄所述当前场景以获得所述当前场景的三维彩色图像。
本发明实施方式的电子装置包括光感器、第一摄像头、第二摄像头、结构光组件、一个或多个处理器、存储器和一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序包括用于执行上述的图像获取方法的指令。
本发明实施方式的计算机可读存储介质包括与能够摄像的电子装置结合使用的计算机程序,所述计算机程序可被处理器执行以完成上述的图像获取方法。
本发明实施方式的图像获取方法、电子装置和计算机可读存储介质在获取三维彩色图像时,首先通过光感器检测环境光的检测强度,并在环境光的检测强度较强时使用第一摄像头和第二摄像头进行三维彩色图像中的深度信息的采集,在环境光的检测强度较弱时采用结构光组件进行三维彩色图像中的深度信息的采集,如此,实现结构光和双目立体视觉两个深度信息采集方法的优势互补,使得采集到的深度信息的精确度更高,最终得到的三维彩色图像的图像效果也更好。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明某些实施方式的图像获取方法的流程示意图。
图2是本发明某些实施方式的电子装置的结构示意图。
图3是本发明某些实施方式的电子装置的结构示意图。
图4是本发明某些实施方式的图像获取方法的流程示意图。
图5是本发明某些实施方式的图像获取方法的流程示意图。
图6是本发明某些实施方式的图像获取方法的流程示意图。
图7是本发明某些实施方式的图像获取方法的流程示意图。
图8(a)至图8(e)是根据本发明一个实施例的结构光测量的场景示意图。
图9(a)和图9(b)是根据本发明一个实施例的结构光测量的场景示意图。
图10是本发明某些实施方式的电子装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
请一并参阅图1至2,本发明实施方式的图像获取方法用于电子装置100。电子装置100包括第一摄像头20、第二摄像头30和结构光组件40。图像获取方法包括:
01:获取当前场景下的环境光的检测强度;
02:判断检测强度是否大于预设强度;
03:在检测强度大于预设强度时,控制第一摄像头20和第二摄像头30拍摄当前场景以获得当前场景的三维彩色图像;和
04:在检测强度小于预设强度时,控制结构光组件40和第一摄像头20或第二摄像头30拍摄当前场景以获得当前场景的三维彩色图像。
请再参阅图2,本发明实施方式的图像获取方法可以由本发明实施方式的电子装置100实现。本发明实施方式的电子装置100包括第一摄像头20、第二摄像头30、结构光组件40、光感器10和处理器50。其中,光感器10可用于检测当前场景下的环境光的检测强度,结构光组件40包括结构光投射器42和结构光摄像头41。步骤01、步骤02、步骤03和步骤04均可以由处理器50实现。
也即是说,处理器50可用于获取光感器10检测的当前场景下的环境光的检测强度,判断检测强度是否大于预设强度,在检测强度大于预设强度时,控制第一摄像头20和第二摄像头30拍摄当前场景以获得当前场景的三维彩色图像,以及在检测强度小于预设强度时,控制结构光组件40和第一摄像头20或第二摄像头30拍摄当前场景以获得当前场景的三维彩色图像。
其中,步骤04中控制结构光组件40和第一摄像头20或第二摄像头30拍摄当前场景以获得当前场景的三维彩色图像指的是在检测强度小于预设强度时,处理器50可控制结构光组件40和第一摄像头20拍摄当前场景以获得当前场景的三维彩色图像,也可控制结构光组件40和第二摄像头30拍摄当前场景以获得当前场景的三维彩色图像。
在某些实施方式中,电子装置100可以是手机、平板电脑、笔记本电脑、智能手表、智能手环、智能头盔、智能眼镜等。
在某些实施方式中,结构光组件40、第一摄像头20和第二摄像头30可均为前置组件,即设置在与电子装置100的显示屏70所在的正面上(如图2所示);或者,结构光组件40、第一摄像好图和第二摄像头30可均为后置组件,即设置在与电子装置100的显示屏70所在正面相背的背面上(如图3所示),此时,光感10仍可设置在正面。本实施方式中,第一摄像头20及第二摄像头30为可见光摄像头,结构光摄像头41为红外光摄像头。
可以理解,现有的获取三维彩色图像的方法通常是由可见光摄像头拍摄一幅当前场景的二维的彩色图像,再通过结构光或者双目立体视觉等方法拍摄一幅当前场景的深度图像,随后再将二维的彩色图像与深度图像进行合成以得到三维彩色图像。但在环境光的强度较强时,环境光中包含的红外光较多,若采用结构光来获取当前场景的深度图像,由于结构光通常是采用红外摄像头(即结构光摄像头41)来获取结构光投射器42投射到当前场景中的结构光的,因此,环境光中的红外光会对结构光采集深度图像造成一定程度的影响。当环境光的强度较低时,若采用双目立体视觉的方法来获取当前场景的深度图像,则由于环境光的强度较低的原因,两个可见光摄像头拍摄得到的两幅图像中的特征点均较不明显,通过特征点匹配得到的深度图像的精度较低。
本发明实施方式的图像获取方法和电子装置100在获取三维彩色图像时,首先通过光感器10检测环境光的检测强度,并在环境光的检测强度较强时使用第一摄像头20和第二摄像头30进行三维彩色图像中的深度信息的采集,在环境光的检测强度较弱时采用结构光组件40进行三维彩色图像中的深度信息的采集,如此,实现结构光和双目立体视觉两个深度信息采集方法的优势互补,使得采集到的深度信息的精确度更高,最终得到的三维彩色图像的图像效果也更好。
进一步地,在某些实施方式中,预设强度的个数可为多个。例如,预设强度的个数为两个,分别为第一预设强度和第二预设强度,其中第一预设强度小于第二预设强度。则步骤01获得环境光的检测强度后,将环境光的检测强度与第一预设强度进行比较,并将环境光的检测强度与第二预设强度进行比较。在环境光的检测强度大于或等于第二预设强度时,执行步骤03,采用第一摄像头20和第二摄像头30拍摄三维彩色图像。在环境光的检测强度小于或等于第一预设强度时,执行步骤04,采用结构光组件40和两个摄像头中的任意一个协同拍摄三维彩色图像。在环境光的检测强度大于第一预设强度和小于第二预设强度时,可以使用双目立体视觉或结构光中的任意一种进行深度信息的采集。
请一并参阅图2和图4,在某些实施方式中,步骤03在检测强度大于预设强度时,控制第一摄像头20和第二摄像头30拍摄当前场景以获得当前场景的三维彩色图像包括:
031:控制第一摄像头20拍摄当前场景的第一图像,控制第二摄像头30拍摄当前场景的第二图像;
032:处理第一图像和第二图像以得到当前场景的深度图像;和
033:处理深度图像和第一图像或第二图像以得到三维彩色图像。
请再参阅图2,在某些实施方式中,步骤031、步骤032和步骤033均可以由处理器50实现。也即是说,处理器50可进一步用于控制第一摄像头20拍摄当前场景的第一图像,控制第二摄像头30拍摄当前场景的第二图像,处理第一图像和第二图像以得到当前场景的深度图像,以及处理深度图像和第一图像或第二图像以得到三维彩色图像。
基于第一摄像头20和第二摄像头30获取深度图像的方法是基于视差原理来实现的。第一摄像头20和第二摄像头30从不同的位置获取当前场景的两幅图像,即第一图像和第二图像,通过计算第一图像和第二图像对应的像素点之间的位置偏差来获取当前场景中的物体的深度信息。具体地,在进行深度图像获取之前,首先对要对第一摄像头20和第二摄像头30的内部参数(例如,焦距、图像中心、畸变参数)和外部参数(例如,旋转矩阵、平移矩阵)进行标定。随后,第一摄像头20拍摄第一图像,第二摄像头30拍摄第二图像,处理器50基于事先标定好的内部参数和外部参数分别对第一图像和第二图像进行消除畸变和行对准的校正,使得两个摄像头的光轴平行、两幅图像的成像原点坐标一致、两幅图像成像平面共面以及对极线行对齐。随后,处理器50对第一图像和第二图像进行像素点的匹配。由于校正后的第一图像和第二图像严格的行对应,两幅图像的对极线恰好在同一水平线上,因此,第一图像上的任意一点与其在第二图像上的对应点就必然具有相同的行号,处理器50只需在该行进行一维搜索即可进行两幅图像的像素点的匹配,具体地,处理器50可以采用局部算法或非局部算法在第二图像中的对应行号处进行最优像素点的匹配计算。随后,处理器50根据第一图像的像素点的位置坐标、第二图像上与该像素点相匹配的像素点的坐标以及两个摄像头的外部参数等信息即可计算出该像素点在三维空间中的坐标,从而可获得该像素点的深度信息,对两幅图像中的每个像素点均进行三维空间中的坐标的计算,即可获得每个像素点的深度信息,最终由多个像素点的深度信息即可组成当前场景的深度图像。
由于第一摄像头20和第二摄像头30均为可见光摄像头,即可拍摄到当前场景的二维彩色图像(第一图像和第二图像均为二维彩色图像),因此,融合处理深度图像和第一图像,或者融合处理深度图像和第二图像即可得到当前场景的三维彩色图像。
由于在环境光的强度较大时,第一图像和第二图像中的各个物体的特征点均较为明显,第一图像和第二图像的特征匹配较为准确,因此,使用双目立体视觉的方法获得的深度图像的精度较高。
请一并参阅图2和图5,在某些实施方式中,步骤04在检测强度小于预设强度时,控制结构光组件40和第一摄像头20或第二摄像头30拍摄当前场景以获得当前场景的三维彩色图像包括:
041:控制结构光组件40拍摄当前场景的深度图像;
042:控制第一摄像头20或第二摄像头30拍摄当前场景的二维彩色图像;和
043:处理深度图像和二维彩色图像以得到三维彩色图像。
请一并参阅图2和图6,其中,步骤041控制结构光组件40拍摄当前场景的深度图像包括:
0411:控制结构光投射器42向当前场景投射结构光;
0412:控制结构光摄像头41拍摄经当前场景调制的结构光图像;和
0413:解调结构光图像中各个像素对应的相位信息以得到所述深度图像。修改图6中的文字。
请一并参阅图2和图7,其中,步骤0413解调结构光图像中各个像素对应的相位信息以得到所述深度图像包括:
04131:解调结构光图像中各个像素对应的相位信息;
04132:将相位信息转化为深度信息;和
04133:根据深度信息生成深度图像。
请再参阅图2,在某些实施方式中,步骤041、步骤0411、步骤0412、步骤0413、步骤04131、步骤04132、步骤04133、步骤042和步骤043均可以由处理器50实现。也即是说,处理器50还可用于控制结构光组件40拍摄当前场景的深度图像,控制第一摄像头20或第二摄像头30拍摄当前场景的二维彩色图像,以及处理深度图像和二维彩色图像以得到三维彩色图像。进一步地,处理器50还可用于控制结构光投射器42向当前场景投射结构光,控制结构光摄像头41拍摄经当前场景调制的结构光图像,以及解调结构光图像中各个像素对应的相位信息以得到所述深度图像。再进一步地,处理器50还可用于解调结构光图像中各个像素对应的相位信息,将相位信息转化为深度信息,以及根据深度信息生成深度图像。
具体地,结构光投射器42将一定模式的结构光投射到当前场景中后,在当前场景的各个物体的表面会形成由当前用户调制后的结构光图像。与未经调制的结构光相比,调制后的结构光的相位信息发生了变化,在结构光图像中呈现出的结构光是产生了畸变之后的结构光,变化的相位可表征物体的深度信息。因此,结构光摄像头41拍摄经调制后的结构光图像,对结构光图像中各个像素对应的相位信息进行解调,再根据相位信息计算出深度信息,从而可得到当前场景的深度图像。其中,结构光的模式可以是激光条纹、格雷码、正弦条纹、非均匀散斑等。
为了使本领域的技术人员更加清楚的了解根据结构光来采集当前场景的深度图像的过程,下面以一种应用广泛的光栅投影技术(条纹投影技术)为例来阐述其具体原理。其中,光栅投影技术属于广义上的面结构光。
如图8(a)所示,在使用面结构光投影的时候,首先通过计算机编程产生正弦条纹,并将正弦条纹通过结构光投射器42投射至当前场景中的被测物,再利用结构光摄像头41拍摄条纹受物体调制后的弯曲程度,随后解调该弯曲条纹得到相位,再将相位转化为深度信息即可获取深度图像。为避免产生误差或误差耦合的问题,使用结构光进行深度信息采集前需对结构光组件40进行参数标定,标定包括几何参数(例如,结构光摄像头41与结构光投射器42之间的相对位置参数等)的标定、结构光摄像头41的内部参数以及结构光投射器42的内部参数的标定等。
具体而言,第一步,计算机编程产生正弦条纹。由于后续需要利用畸变的条纹获取相位,比如采用四步移相法获取相位,因此这里产生四幅相位差为的条纹,然后结构光投射器42将该四幅条纹分时投射到被测物(如图8(a)所示的面具)上,结构光摄像头41采集到如图8(b)左边的图,同时要读取如图8(b)右边所示的参考面的条纹。
第二步,进行相位恢复。结构光摄像头41根据采集到的四幅受调制的条纹图(即结构光图像)计算出被调制相位,此时得到的相位图是截断相位图。因为四步移相算法得到的结果是由反正切函数计算所得,因此结构光调制后的相位被限制在[-π,π]之间,也就是说,每当调制后的相位超过[-π,π],其又会重新开始。最终得到的相位主值如图8(c)所示。
其中,在进行相位恢复过程中,需要进行消跳变处理,即将截断相位恢复为连续相位。如图8(d)所示,左边为受调制的连续相位图,右边是参考连续相位图。
第三步,将受调制的连续相位和参考连续相位相减得到相位差(即相位信息),该相位差表征了被测物相对参考面的深度信息,再将相位差代入相位与深度的转化公式(公式中涉及到的参数经过标定),即可得到如图8(e)所示的待测物体的三维模型。
应当理解的是,在实际应用中,根据具体应用场景的不同,本发明实施例中所采用的结构光除了上述光栅之外,还可以是其他任意图案。
作为一种可能的实现方式,本发明还可使用散斑结构光进行当前场景的深度信息的采集。
具体地,散斑结构光获取深度信息的方法是使用一基本为平板的衍射元件,该衍射元件具有特定相位分布的浮雕衍射结构,横截面为具有两个或多个凹凸的台阶浮雕结构。衍射元件中基片的厚度大致为1微米,各个台阶的高度不均匀,高度的取值范围可为0.7微米~0.9微米。图9(a)所示结构为本实施例的准直分束元件的局部衍射结构。图9(b)为沿截面A-A的剖面侧视图,横坐标和纵坐标的单位均为微米。散斑结构光生成的散斑图案具有高度的随机性,并且会随着距离的不同而变换图案。因此,在使用散斑结构光获取深度信息前,首先需要标定出空间中的散斑图案,例如,在距离结构光摄像头41的0~4米的范围内,每隔1厘米取一个参考平面,则标定完毕后就保存了400幅散斑图像,标定的间距越小,获取的深度信息的精度越高。随后,结构光投射器42将散斑结构光投射到当前场景中的被测物上,被测物表面的高度差使得投射到被测物上的散斑结构光的散斑图案发生变化。结构光摄像头41拍摄投射到被测物上的散斑图案(即结构光图像)后,再将散斑图案与前期标定后保存的400幅散斑图像逐一进行互相关运算,进而得到400幅相关度图像。空间中被测物体所在的位置会在相关度图像上显示出峰值,把上述峰值叠加在一起并经过插值运算后即可得到被测物的深度信息。
由于普通的衍射元件对光束进行衍射后得到多束衍射光,但每束衍射光光强差别大,对人眼伤害的风险也大。即便是对衍射光进行二次衍射,得到的光束的均匀性也较低。因此,利用普通衍射元件衍射的光束对被测物进行投射的效果较差。本实施例中采用准直分束元件,该元件不仅具有对非准直光束进行准直的作用,还具有分光的作用,即经反射镜反射的非准直光经过准直分束元件后往不同的角度出射多束准直光束,且出射的多束准直光束的截面面积近似相等,能量通量近似相等,进而使得利用该光束衍射后的散点光进行投射的效果更好。同时,激光出射光分散至每一束光,进一步降低了伤害人眼的风险,且散斑结构光相对于其他排布均匀的结构光来说,达到同样的采集效果时,散斑结构光消耗的电量更低。
由于结构光投射器42通常是投射红外光线,在环境光的检测强度较小时,结构光摄像头41能拍摄到较为清晰的调制后的结构光图像或散斑图案的图像,因此,在环境光的检测强度较低时采用结构光组件40获取的深度图像的精度较高。
请参阅图10,本发明实施方式的电子装置100包括光感器10、第一摄像头20、第二摄像头30、结构光组件40、一个或多个处理器50、存储器60和一个或多个程序61。其中一个或多个程序61被存储在存储器60中,并且被配置成由一个或多个处理器50执行。程序61包括用于执行上述任意一项实施方式所述的图像获取方法的指令。
例如,程序61包括用于执行以下步骤所述的图像获取方法的指令:
01:获取当前场景下的环境光的检测强度;
02:判断检测强度是否大于预设强度;
03:在检测强度大于预设强度时,控制第一摄像头20和第二摄像头30拍摄当前场景以获得当前场景的三维彩色图像;和
04:在检测强度小于预设强度时,控制结构光组件40和第一摄像头20或第二摄像头30拍摄当前场景以获得当前场景的三维彩色图像。
再例如,程序61还包括用于执行以下步骤所述的图像获取方法的指令:
031:控制第一摄像头20拍摄当前场景的第一图像,控制第二摄像头30拍摄当前场景的第二图像;
032:处理第一图像和第二图像以得到当前场景的深度图像;和
033:处理深度图像和第一图像或第二图像以得到三维彩色图像。
本发明实施方式的计算机可读存储介质包括与能够摄像的电子装置100结合使用的计算机程序61。计算机程序61可被处理器50执行以完成上述任意一项实施方式所述的图像获取方法。
例如,计算机程序61可被处理器50执行以完成以下步骤所述的图像获取方法:
01:获取当前场景下的环境光的检测强度;
02:判断检测强度是否大于预设强度;
03:在检测强度大于预设强度时,控制第一摄像头20和第二摄像头30拍摄当前场景以获得当前场景的三维彩色图像;和
04:在检测强度小于预设强度时,控制结构光组件40和第一摄像头20或第二摄像头30拍摄当前场景以获得当前场景的三维彩色图像。
再例如,计算机程序61还可被处理器50执行以完成以下步骤所述的图像获取方法:
031:控制第一摄像头20拍摄当前场景的第一图像,控制第二摄像头30拍摄当前场景的第二图像;
032:处理第一图像和第二图像以得到当前场景的深度图像;和
033:处理深度图像和第一图像或第二图像以得到三维彩色图像。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (12)
1.一种图像获取方法,用于电子装置,其特征在于,所述电子装置包括第一摄像头、第二摄像头和结构光组件,所述图像获取方法包括:
获取当前场景下的环境光的检测强度;
判断所述检测强度是否大于预设强度;
在所述检测强度大于预设强度时,控制所述第一摄像头和所述第二摄像头拍摄所述当前场景以获得所述当前场景的三维彩色图像;和
在所述当前强度小于所述预设强度时,控制所述结构光组件和所述第一摄像头或所述第二摄像头拍摄所述当前场景以获得所述当前场景的三维彩色图像。
2.根据权利要求1所述的图像获取方法,其特征在于,所述在所述检测强度大于预设强度时,控制所述第一摄像头和所述第二摄像头拍摄所述当前场景以获得所述当前场景的三维彩色图像的步骤包括:
控制所述第一摄像头拍摄所述当前场景的第一图像,控制所述第二摄像头拍摄所述当前场景的第二图像;
处理所述第一图像和所述第二图像以得到所述当前场景的深度图像;和
处理所述深度图像和所述第一图像或所述第二图像以得到所述三维彩色图像。
3.根据权利要求1所述的图像获取方法,其特征在于,所述在所述检测强度小于所述预设强度时,控制所述结构光组件和所述第一摄像头或所述第二摄像头拍摄所述当前场景以获得所述当前场景的三维彩色图像的步骤包括:
控制所述结构光组件拍摄所述当前场景的深度图像;
控制所述第一摄像头或所述第二摄像头拍摄所述当前场景的二维彩色图像;和
处理所述深度图像和所述二维彩色图像以得到所述三维彩色图像。
4.根据权利要求3所述的图像获取方法,其特征在于,所述结构光组件包括结构光投射器及结构光摄像头,所述控制所述结构光组件拍摄所述当前场景的深度图像包括:
控制所述结构光投射器向所述当前场景投射结构光;
控制所述结构光摄像头拍摄经所述当前场景调制的结构光图像;和
解调所述结构光图像中各个像素对应的相位信息以得到所述深度图像。
5.根据权利要求4所述的图像获取方法,其特征在于,所述解调所述结构光图像的各个像素对应的相位信息以得到所述深度图像的步骤包括:
解调所述结构光图像中各个像素对应的相位信息;
将所述相位信息转化为深度信息;和
根据所述深度信息生成所述深度图像。
6.一种电子装置,其特征在于,所述电子装置包括第一摄像头、第二摄像头、结构光组件、光感器和处理器,所述处理器用于:
获取所述光感器检测的当前场景下的环境光的检测强度;
判断所述检测强度是否大于预设强度;
在所述检测强度大于预设强度时,控制所述第一摄像头和所述第二摄像头拍摄所述当前场景以获得所述当前场景的三维彩色图像;和
在所述检测强度小于所述预设强度时,控制所述结构光组件和所述第一摄像头或所述第二摄像头拍摄所述当前场景以获得所述当前场景的三维彩色图像。
7.根据权利要求6所述的电子装置,其特征在于,所述处理器进一步用于:
控制所述第一摄像头拍摄所述当前场景的第一图像,控制所述第二摄像头拍摄所述当前场景的第二图像;
处理所述第一图像和所述第二图像以得到所述当前场景的深度图像;和
处理所述深度图像和所述第一图像或所述第二图像以得到所述三维彩色图像。
8.根据权利要求6所述的电子装置,其特征在于,所述处理器进一步用于:
控制所述结构光组件拍摄所述当前场景的深度图像;
控制所述第一摄像头或所述第二摄像头拍摄所述当前场景的二维彩色图像;和
处理所述深度图像和所述二维彩色图像以得到所述三维彩色图像。
9.根据权利要求8所述的电子装置,其特征在于,所述结构光组件包括结构光投射器和结构光摄像头,所述处理器进一步用于:
控制所述结构光投射器向所述当前场景投射结构光;
控制所述结构光摄像头拍摄经所述当前场景调制的结构光图像;和
解调所述结构光图像中各个像素对应的相位信息以得到所述深度图像。
10.根据权利要求9所述的电子装置,其特征在于,所述处理器进一步用于:
解调所述结构光图像中各个像素对应的相位信息;
将所述相位信息转化为深度信息;和
根据所述深度信息生成所述深度图像。
11.一种电子装置,其特征在于,所述电子装置包括光感器、第一摄像头、第二摄像头、结构光组件、一个或多个处理器、存储器和一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序包括用于执行权利要求1至5任意一项所述的图像获取方法的指令。
12.一种计算机可读存储介质,其特征在于,包括与能够摄像的电子装置结合使用的计算机程序,所述计算机程序可被处理器执行以完成权利要求1至5任意一项所述的图像获取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711243596.8A CN107995434A (zh) | 2017-11-30 | 2017-11-30 | 图像获取方法、电子装置和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711243596.8A CN107995434A (zh) | 2017-11-30 | 2017-11-30 | 图像获取方法、电子装置和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107995434A true CN107995434A (zh) | 2018-05-04 |
Family
ID=62034817
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711243596.8A Pending CN107995434A (zh) | 2017-11-30 | 2017-11-30 | 图像获取方法、电子装置和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107995434A (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765542A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像渲染方法、电子设备和计算机可读存储介质 |
CN108833884A (zh) * | 2018-07-17 | 2018-11-16 | Oppo广东移动通信有限公司 | 深度校准方法及装置、终端、可读存储介质及计算机设备 |
CN108848266A (zh) * | 2018-06-27 | 2018-11-20 | Oppo广东移动通信有限公司 | 控制方法、电子装置、存储介质和计算机设备 |
CN109005348A (zh) * | 2018-08-22 | 2018-12-14 | Oppo广东移动通信有限公司 | 电子装置和电子装置的控制方法 |
CN109190484A (zh) * | 2018-08-06 | 2019-01-11 | 北京旷视科技有限公司 | 图像处理方法、装置和图像处理设备 |
CN109194856A (zh) * | 2018-09-30 | 2019-01-11 | Oppo广东移动通信有限公司 | 电子装置的控制方法和电子装置 |
CN109798838A (zh) * | 2018-12-19 | 2019-05-24 | 西安交通大学 | 一种基于激光散斑投射的ToF深度传感器及其测距方法 |
CN109831660A (zh) * | 2019-02-18 | 2019-05-31 | Oppo广东移动通信有限公司 | 深度图像获取方法、深度图像获取模组及电子设备 |
CN111272756A (zh) * | 2020-03-09 | 2020-06-12 | 江苏金恒信息科技股份有限公司 | 一种合金分析系统 |
CN111698494A (zh) * | 2018-08-22 | 2020-09-22 | Oppo广东移动通信有限公司 | 电子装置 |
WO2020238481A1 (zh) * | 2019-05-24 | 2020-12-03 | Oppo广东移动通信有限公司 | 图像获取方法、图像获取装置、电子设备和可读存储介质 |
CN112261303A (zh) * | 2020-11-19 | 2021-01-22 | 贝壳技术有限公司 | 三维彩色全景模型生成装置、方法、存储介质和处理器 |
CN112312113A (zh) * | 2020-10-29 | 2021-02-02 | 贝壳技术有限公司 | 用于生成三维模型的方法、装置和系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103295229A (zh) * | 2013-05-13 | 2013-09-11 | 清华大学深圳研究生院 | 视频深度信息恢复的全局立体匹配方法 |
CN103546723A (zh) * | 2013-09-27 | 2014-01-29 | 深圳市飞瑞斯科技有限公司 | 一种监控系统及方法 |
US20150009295A1 (en) * | 2013-07-03 | 2015-01-08 | Electronics And Telecommunications Research Institute | Three-dimensional image acquisition apparatus and image processing method using the same |
CN104634276A (zh) * | 2015-02-12 | 2015-05-20 | 北京唯创视界科技有限公司 | 三维测量系统、拍摄设备和方法、深度计算方法和设备 |
CN106296748A (zh) * | 2016-08-04 | 2017-01-04 | 北京电子科技学院 | 一种基于块匹配变形和颜色迁移的物体图像重光照方法 |
CN106454287A (zh) * | 2016-10-27 | 2017-02-22 | 深圳奥比中光科技有限公司 | 组合摄像系统、移动终端及图像处理方法 |
CN106780589A (zh) * | 2016-12-09 | 2017-05-31 | 深圳奥比中光科技有限公司 | 一种获取目标深度图像的方法 |
CN106909911A (zh) * | 2017-03-09 | 2017-06-30 | 广东欧珀移动通信有限公司 | 图像处理方法、图像处理装置和电子装置 |
CN107133914A (zh) * | 2016-02-26 | 2017-09-05 | 英飞凌科技股份有限公司 | 用于生成三维彩色图像的装置和用于生成三维彩色图像的方法 |
CN107301664A (zh) * | 2017-05-25 | 2017-10-27 | 天津大学 | 基于相似性测度函数的改进局部立体匹配方法 |
-
2017
- 2017-11-30 CN CN201711243596.8A patent/CN107995434A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103295229A (zh) * | 2013-05-13 | 2013-09-11 | 清华大学深圳研究生院 | 视频深度信息恢复的全局立体匹配方法 |
US20150009295A1 (en) * | 2013-07-03 | 2015-01-08 | Electronics And Telecommunications Research Institute | Three-dimensional image acquisition apparatus and image processing method using the same |
CN103546723A (zh) * | 2013-09-27 | 2014-01-29 | 深圳市飞瑞斯科技有限公司 | 一种监控系统及方法 |
CN104634276A (zh) * | 2015-02-12 | 2015-05-20 | 北京唯创视界科技有限公司 | 三维测量系统、拍摄设备和方法、深度计算方法和设备 |
CN107133914A (zh) * | 2016-02-26 | 2017-09-05 | 英飞凌科技股份有限公司 | 用于生成三维彩色图像的装置和用于生成三维彩色图像的方法 |
CN106296748A (zh) * | 2016-08-04 | 2017-01-04 | 北京电子科技学院 | 一种基于块匹配变形和颜色迁移的物体图像重光照方法 |
CN106454287A (zh) * | 2016-10-27 | 2017-02-22 | 深圳奥比中光科技有限公司 | 组合摄像系统、移动终端及图像处理方法 |
CN106780589A (zh) * | 2016-12-09 | 2017-05-31 | 深圳奥比中光科技有限公司 | 一种获取目标深度图像的方法 |
CN106909911A (zh) * | 2017-03-09 | 2017-06-30 | 广东欧珀移动通信有限公司 | 图像处理方法、图像处理装置和电子装置 |
CN107301664A (zh) * | 2017-05-25 | 2017-10-27 | 天津大学 | 基于相似性测度函数的改进局部立体匹配方法 |
Non-Patent Citations (2)
Title |
---|
郝爱花: "《光信息实验教程》", 1 September 2011, 西安电子科技大学出版社 * |
陈乙雄,汪成亮,尹云飞: "《移动设备新技术简明教程》", 31 August 2016, 重庆大学出版社 * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765542B (zh) * | 2018-05-31 | 2022-09-09 | Oppo广东移动通信有限公司 | 图像渲染方法、电子设备和计算机可读存储介质 |
CN108765542A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像渲染方法、电子设备和计算机可读存储介质 |
CN108848266A (zh) * | 2018-06-27 | 2018-11-20 | Oppo广东移动通信有限公司 | 控制方法、电子装置、存储介质和计算机设备 |
CN108833884A (zh) * | 2018-07-17 | 2018-11-16 | Oppo广东移动通信有限公司 | 深度校准方法及装置、终端、可读存储介质及计算机设备 |
CN109190484A (zh) * | 2018-08-06 | 2019-01-11 | 北京旷视科技有限公司 | 图像处理方法、装置和图像处理设备 |
US11461908B2 (en) | 2018-08-06 | 2022-10-04 | Beijing Kuangshi Technology Co., Ltd. | Image processing method and apparatus, and image processing device using infrared binocular cameras to obtain three-dimensional data |
CN109005348A (zh) * | 2018-08-22 | 2018-12-14 | Oppo广东移动通信有限公司 | 电子装置和电子装置的控制方法 |
US11516455B2 (en) | 2018-08-22 | 2022-11-29 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Electronic device and method for controlling the same |
CN111698494B (zh) * | 2018-08-22 | 2022-10-28 | Oppo广东移动通信有限公司 | 电子装置 |
CN111698494A (zh) * | 2018-08-22 | 2020-09-22 | Oppo广东移动通信有限公司 | 电子装置 |
CN109194856A (zh) * | 2018-09-30 | 2019-01-11 | Oppo广东移动通信有限公司 | 电子装置的控制方法和电子装置 |
CN109798838B (zh) * | 2018-12-19 | 2020-10-27 | 西安交通大学 | 一种基于激光散斑投射的ToF深度传感器及其测距方法 |
CN109798838A (zh) * | 2018-12-19 | 2019-05-24 | 西安交通大学 | 一种基于激光散斑投射的ToF深度传感器及其测距方法 |
CN109831660A (zh) * | 2019-02-18 | 2019-05-31 | Oppo广东移动通信有限公司 | 深度图像获取方法、深度图像获取模组及电子设备 |
WO2020238481A1 (zh) * | 2019-05-24 | 2020-12-03 | Oppo广东移动通信有限公司 | 图像获取方法、图像获取装置、电子设备和可读存储介质 |
CN111272756B (zh) * | 2020-03-09 | 2022-08-26 | 江苏金恒信息科技股份有限公司 | 一种合金分析系统 |
CN111272756A (zh) * | 2020-03-09 | 2020-06-12 | 江苏金恒信息科技股份有限公司 | 一种合金分析系统 |
CN112312113A (zh) * | 2020-10-29 | 2021-02-02 | 贝壳技术有限公司 | 用于生成三维模型的方法、装置和系统 |
CN112261303A (zh) * | 2020-11-19 | 2021-01-22 | 贝壳技术有限公司 | 三维彩色全景模型生成装置、方法、存储介质和处理器 |
CN112261303B (zh) * | 2020-11-19 | 2021-08-20 | 贝壳技术有限公司 | 三维彩色全景模型生成装置、方法、存储介质和处理器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107995434A (zh) | 图像获取方法、电子装置和计算机可读存储介质 | |
CN107682607B (zh) | 图像获取方法、装置、移动终端和存储介质 | |
CN107465906B (zh) | 场景的全景拍摄方法、装置及终端设备 | |
CN107742296A (zh) | 动态图像生成方法和电子装置 | |
CN107707839A (zh) | 图像处理方法及装置 | |
CN107623817B (zh) | 视频背景处理方法、装置和移动终端 | |
CN107797664A (zh) | 内容显示方法、装置及电子装置 | |
CN107483845B (zh) | 拍照方法及其装置 | |
CN107493428A (zh) | 拍摄控制方法和装置 | |
CN107807806A (zh) | 显示参数调整方法、装置及电子装置 | |
CN107623814A (zh) | 拍摄图像的敏感信息屏蔽方法和装置 | |
CN107509045A (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
CN107707835A (zh) | 图像处理方法及装置、电子装置和计算机可读存储介质 | |
CN107509043A (zh) | 图像处理方法及装置 | |
CN107707838A (zh) | 图像处理方法和装置 | |
CN107610078A (zh) | 图像处理方法和装置 | |
CN107742300A (zh) | 图像处理方法、装置、电子装置和计算机可读存储介质 | |
CN107734264A (zh) | 图像处理方法和装置 | |
CN107610127A (zh) | 图像处理方法、装置、电子装置和计算机可读存储介质 | |
CN107644440A (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
CN107613383A (zh) | 视频音量调节方法、装置及电子装置 | |
CN107705277A (zh) | 图像处理方法和装置 | |
CN107622496A (zh) | 图像处理方法及装置 | |
CN107734283A (zh) | 视频聊天的画面处理方法、装置和存储介质 | |
CN107613239A (zh) | 视频通信背景显示方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: OPPO Guangdong Mobile Communications Co., Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: Guangdong OPPO Mobile Communications Co., Ltd. |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180504 |