CN107710741A - 一种获取深度信息的方法及摄像装置 - Google Patents
一种获取深度信息的方法及摄像装置 Download PDFInfo
- Publication number
- CN107710741A CN107710741A CN201680009822.3A CN201680009822A CN107710741A CN 107710741 A CN107710741 A CN 107710741A CN 201680009822 A CN201680009822 A CN 201680009822A CN 107710741 A CN107710741 A CN 107710741A
- Authority
- CN
- China
- Prior art keywords
- pixel
- sub
- lenticule
- pixel point
- optical signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000003287 optical effect Effects 0.000 claims abstract description 280
- 238000003384 imaging method Methods 0.000 claims abstract description 123
- 238000012545 processing Methods 0.000 claims description 48
- 238000001914 filtration Methods 0.000 claims description 37
- 238000001514 detection method Methods 0.000 description 46
- 238000010586 diagram Methods 0.000 description 30
- 238000006243 chemical reaction Methods 0.000 description 14
- 238000002347 injection Methods 0.000 description 12
- 239000007924 injection Substances 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000005259 measurement Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000000149 penetrating effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
一种获取深度信息的方法及摄像装置，摄像装置包括镜头、图像传感器，图像传感器包括至少一个微透镜，至少一个微透镜的中的每个微透镜对应一个像素点，一个像素点包括N个子像素点，N为大于等于四的整数；方法包括：针对图像传感器上的至少一个微透镜中的每个微透镜，摄像装置通过图像传感器上的微透镜对应的像素点，接收光信号；摄像装置根据微透镜对应的像素点接收的光信号，以及像素点包括的N个子像素点之间的位置关系，确定像素点接收的光信号的相位信息；摄像装置根据预设的相位信息和深度信息的对应关系，获取相位信息对应的深度信息；之后，摄像装置根据至少一个微透镜中的每个微透镜对应的深度信息，确定出被拍摄物体对应的深度信息。
Description
本发明涉及无线通信技术领域，尤其涉及一种获取深度信息的方法及摄像装置。
用户使用摄像设备进行拍照时，通常摄像设备需要获取图像的深度信息，一方面可利用图像的深度信息能实现三维场景重构，另一方面也可实现拍照过程中的对焦，从而使所拍摄的照片达到焦点清晰、背景虚化的效果。
现有技术中，通常通过相位检测自动对焦(phase detection auto focus,简称PDAF)技术获取深度信息，该技术通常简称为相位对焦。相位对焦技术中：通常在图像传感器的所有像素点中设置一些相位检测像素(phase detection pixel，简称PD pixel)，两个相位检测像素为一个相位检测对。比如图像传感器的左侧设置一个相位检测像素，右侧设置一个相位检测像素，在检测时，对左侧设置的相位检测像素进行进行左边遮挡(Left Shield)，得到第一图像，对右侧设置的相位检测像素进行右边遮挡(Right shield)，得到第二图像，根据第一图像和第二图像即可确定出相位信息，进而可根据相位信息确定出深度信息，从而根据该深度信息进行对焦。
上述获取深度信息的过程中，由于对图像传感器中的相位检测像素进行了遮蔽，因此在拍照过程中相位检测像素会作为坏点进行处理，即，相位检测像素只能用于确定图像的深度信息，不能用于拍照，通过图像传感器所拍摄的图像的画质较差。
综上，亟需一种获取深度信息的方法及摄像装置，用于实现获取深度信息的目的，且提高通过图像传感器所拍摄的图像的画质。
发明内容
本发明实施例提供一种获取深度信息的方法及摄像装置，用于实现获取深度信息的目的，且提高通过图像传感器所拍摄的图像的画质。
本发明实施例提供一种获取深度信息的方法，适用于摄像装置，摄像装置包括镜头、图像传感器，图像传感器包括至少一个微透镜，至少一个微透镜的中的每个微透镜对应一个像素点，一个像素点包括N个子像素点，N为大于等于四的整数；方法包括：
针对图像传感器上的至少一个微透镜中的每个微透镜，执行：
摄像装置通过图像传感器上的微透镜对应的像素点，接收光信号；
摄像装置根据微透镜对应的像素点接收的光信号，以及像素点包括的N个子像素点之间的位置关系，确定像素点接收的光信号的相位信息；
摄像装置根据预设的相位信息和深度信息的对应关系，获取相位信息对应的深度信息；
针对图像传感器上的至少一个微透镜，执行：
摄像装置根据至少一个微透镜中的每个微透镜对应的深度信息，确定出被拍摄物体对应的深度信息。
由于同一个微透镜对应的至少四个子像素点，且至少四个子像素点之间的位置关系是已知的，因此根据微透镜对应的像素点接收的光信号，以及像素点包括的N个子像素点之间的位置关系，确定射入多个子像素点的光信号的相位信息，进而可根据相位信息获取深度信息。该过程中无需对任何子像素点进行遮蔽，因此用于获取深度信息的子像素点不会作为坏点，因此，一方面可用图像传感器中较多的像素点来获取被拍摄物体对应的深度信息，所使用的像素点越多，所获取的被拍摄物体对应的深度信息越精确；另一方面，用于获取被拍摄物体对应的深度信息的像素点不会作为坏点，还可用于拍照，因此提高了通过图像传感器所拍摄的图像的画质。
另一方面，本发明实施例中，N至少为四时，可以从360度的所有方向
上确定出光信号的相位信息，从而提高所获取的被拍摄物体对应的深度信息的准确度。但是，若N为小于四的值时，比如N为二，则仅仅只能测定横向或者纵向的光信号，如此，则确定的光信号的相位信息不准确，也就是说，N小于四时，不能从360度的全方向上去全面的测量光信号的相位信息，所得到的相位信息不准确。举个例子，若光信号为横向方向，N至少为四时，可准确测出相位信息，但是若N为二，且此时两个子像素点排成一列，则此时N为二仅仅能测出竖直方向的光信号，光信号为横向方向时测不出。可见，本申请实施例中，N至少为四，可以更加全面的更加准确的测出相位信息。
可选地，摄像装置根据微透镜对应的像素点接收的光信号，以及像素点包括的N个子像素点之间的位置关系，确定像素点接收的光信号的相位信息，包括：
摄像装置确定出N个子像素点中每个子像素点射入的光信号的光强；
摄像装置根据N个子像素点中每个子像素点射入的光信号的光强，以及像素点包括的N个子像素点之间的位置关系，确定射入N个子像素点的光信号的入射角，得到射入N个子像素点的光信号的相位信息。
具体来说，N个子像素点之间的位置关系对于摄像装置来说是已知的。如此，摄像装置的N个子像素点可通过不遮蔽的方式，仅仅根据子像素点接收到的光强，以及N个子像素点之间的位置关系，确定出射入N个子像素点的光信号的入射角，该入射角即为相位信息。从而使本发明实施例用于进行检测深度信息的像素点也可用于进行拍照，实现了即检测深度信息，也不降低画质的目的。
可选地，摄像装置根据微透镜对应的像素点接收的光信号，以及像素点包括的N个子像素点之间的位置关系，确定像素点接收的光信号的相位信息，包括：
摄像装置将N个子像素点中每个子像素点射入的光信号转换为电信号；其中，每个子像素点对应的电信号的幅值与射入该子像素点的光信号的光强和入射角相关；
摄像装置根据N个子像素点中每个子像素点对应的电信号，以及N个子像素点对应于微透镜的位置信息，确定射入N个子像素点的光信号的入射角，得到射入N个子像素点的光信号的相位信息。
如此，摄像装置将光信号转换为电信号，由于每个子像素点对应的电信号的幅值与射入该子像素点的光信号的光强和入射角相关，因此可根据电信号的幅值确定出光信号的光强，进而摄像装置的N个子像素点可通过不遮蔽的方式，仅仅根据子像素点接收到的光信号的光强，以及N个子像素点之间的位置关系，确定出射入N个子像素点的光信号的入射角，该入射角即为相位信息。从而使本发明实施例用于进行检测深度信息的像素点也可用于进行拍照，实现了即检测深度信息，也不降低画质的目的。
可选地，N个子像素点中的两个子像素点为一个像素对；
摄像装置通过图像传感器上的同一个微透镜对应的N个子像素点，分别接收穿透微透镜所射入的光信号，包括：
摄像装置通过图像传感器上的同一个微透镜对应的至少两个像素对包括的子像素点，接收穿透微透镜所射入的光信号。
如此，摄像装置可对一个像素对中两个子像素点分别接收到的光信号进行对比，从而更加准确的确定出该两个子像素点接收到的光信号的相位信息，从而提高根据相位信息确定出的深度信息的准确度。
可选地，至少两个像素对为两个像素对；则：
摄像装置根据N个子像素点中每个子像素点对应于微透镜的位置信息，以及射入每个子像素点的光信号，确定射入N个子像素点的光信号的相位信息，包括：
摄像装置根据至少两个像素对中的每个像素对包括的子像素点对应于微透镜的位置信息，以及射入至少两个像素对中的每个像素对包括的子像素点的光信号，确定出射入至少两个像素对的至少两个相位信息；其中，一个像素对对应一个相位信息；
摄像装置根据预设的相位信息和深度信息的对应关系，获取相位信息对
应的深度信息，包括：
摄像装置根据预设的相位信息和深度信息的对应关系，以及至少两个相位信息，获取至少两个相位信息对应的深度信息。
如此，摄像装置可通过至少两个像素对获取更加准确的相位信息，进一步，根据更加准确的相位信息确定出更加准确的深度信息。
可选地，N为四；像素点对应的四个子像素点的排列方式为两行乘两列；四个子像素点中的一个像素对为以下内容中的任一项：
排列成一行的两个子像素点、排列成一列的两个子像素点和排列成对角线的两个像素点。
由于分别根据排成一行的像素对、排成一列的像素对、或排成对角线的像素对来接收射入的光信号，进而从多个方向分别获取深度信息，比如可从横向、纵向和对角线方式分别获取深度信息，也就是说，本发明实施例中，N至少为四时，可以从360度的所有方向上确定出光信号的相位信息，从而提高所获取的被拍摄物体对应的深度信息的准确度。但是，若N为小于四的值时，比如N为二，则仅仅只能测定横向或者纵向的光信号，如此，则确定的光信号的相位信息不准确，也就是说，N小于四时，不能从360度的全方向上去全面的测量光信号的相位信息，所得到的相位信息不准确。
可选地，至少一个微透镜为图像传感器中的所有微透镜。此时，可通过图像传感器中所有的像素点来确定深度信息，且该图像传感器中用于进行深度信息检测的像素点并未进行遮蔽，因此该图像传感器中的所有用于检测深度信息的像素点均可用于拍照，即本发明实施例中在不损伤图像画质的质量的情况下实现100％密度的高分辨率深度信息的检测。
可选地，N个子像素点中的每个子像素点对应一个滤光模块；N个子像素点分别对应的滤光模块的颜色相同。
如此，由于N个子像素点中的每个子像素点对应一个滤光模块；N个子像素点分别对应的滤光模块的颜色相同，因此，本发明实施例中一个像素点还是可以用于进行图像拍摄，且通过多个子像素点进行图像拍摄时，将一个
像素点对应的多个子像素点对应的图像进行合并，不会影响图像拍摄质量，且由于进行深度信息确定的像素点也可用于图像拍摄，整个图像传感器中无坏点，因此，提高了图像拍摄质量。
可选地，摄像装置根据至少一个微透镜中的每个微透镜对应的深度信息，确定出被拍摄物体对应的深度信息之后，还包括：
摄像装置将通过微透镜对应的所有子像素点分别获取的多个图像合并为一个图像，并根据合并后的图像生成照片。
可选地，摄像装置将通过微透镜对应的所有子像素点分别获取的多个图像合并为一个图像，包括以下内容中的任一项：
摄像装置将通过微透镜对应的所有子像素点分别获取的模拟信号进行合并，之后将合并后的模拟信号进行模数AD转换和信号处理，得到合并后的图像；
摄像装置将通过微透镜对应的所有子像素点分别获取的模拟信号进行AD转换，将进行AD转换后的所有信号进行合并，之后将合并后的AD转换后信号进行信号处理，得到合并后的图像；
摄像装置将通过微透镜对应的所有子像素点分别获取的模拟信号进行AD转换，将进行AD转换后的所有信号分别进行信号处理，之后将进行信号处理后的所有信号进行合并，得到合并后的图像。
如此，本发明实施例中通过多个子像素点进行图像拍摄时，将一个像素点对应的多个子像素点对应的图像进行合并，方式灵活多样，提高了图像拍摄的灵活性，另一方面，由于一个像素点对应的多个子像素点拍摄的图像进行了合并，因此本发明实施例中进行图像拍摄时，不会影响图像拍摄质量，且由于进行深度信息确定的像素点也可用于图像拍摄，整个图像传感器中无坏点，因此，提高了图像拍摄质量。
本发明实施例提供一种摄像装置，其特征在于，包括镜头、图像传感器和与图像传感器连接的处理器，图像传感器包括至少一个微透镜，至少一个微透镜的中的每个微透镜对应一个像素点，一个像素点包括N个子像素点，
N为大于等于四的整数；
图像传感器上的至少一个微透镜中的每个微透镜对应的像素点，用于接收光信号；
处理器，用于读取存储器中存储的程序，执行：
针对图像传感器上的至少一个微透镜中的每个微透镜，执行：根据微透镜对应的像素点接收的光信号，以及像素点包括的N个子像素点之间的位置关系，确定像素点接收的光信号的相位信息，且根据预设的相位信息和深度信息的对应关系，获取相位信息对应的深度信息；
根据至少一个微透镜中的每个微透镜对应的深度信息，确定出被拍摄物体对应的深度信息。
由于同一个微透镜对应的至少四个子像素点，且至少四个子像素点之间的位置关系是已知的，因此根据微透镜对应的像素点接收的光信号，以及像素点包括的N个子像素点之间的位置关系，确定射入多个子像素点的光信号的相位信息，进而可根据相位信息获取深度信息。该过程中无需对任何子像素点进行遮蔽，因此用于获取深度信息的子像素点不会作为坏点，因此，一方面可用图像传感器中较多的像素点来获取被拍摄物体对应的深度信息，所使用的像素点越多，所获取的被拍摄物体对应的深度信息越精确；另一方面，用于获取被拍摄物体对应的深度信息的像素点不会作为坏点，还可用于拍照，因此提高了通过图像传感器所拍摄的图像的画质。
另一方面，本发明实施例中，N至少为四时，可以从360度的所有方向上确定出光信号的相位信息，从而提高所获取的被拍摄物体对应的深度信息的准确度。但是，若N为小于四的值时，比如N为二，则仅仅只能测定横向或者纵向的光信号，如此，则确定的光信号的相位信息不准确，也就是说，N小于四时，不能从360度的全方向上去全面的测量光信号的相位信息，所得到的相位信息不准确。举个例子，若光信号为横向方向，N至少为四时，可准确测出相位信息，但是若N为二，且此时两个子像素点排成一列，则此时N为二仅仅能测出竖直方向的光信号，光信号为横向方向时测不出。可见，
本申请实施例中，N至少为四，可以更加全面的更加准确的测出相位信息。可选地，处理器，用于：
确定出N个子像素点中每个子像素点射入的光信号的光强；
根据N个子像素点中每个子像素点射入的光信号的光强，以及像素点包括的N个子像素点之间的位置关系，确定射入N个子像素点的光信号的入射角，得到射入N个子像素点的光信号的相位信息。
具体来说，N个子像素点之间的位置关系对于摄像装置来说是已知的。如此，摄像装置的N个子像素点可通过不遮蔽的方式，仅仅根据子像素点接收到的光强，以及N个子像素点之间的位置关系，确定出射入N个子像素点的光信号的入射角，该入射角即为相位信息。从而使本发明实施例用于进行检测深度信息的像素点也可用于进行拍照，实现了即检测深度信息，也不降低画质的目的。
可选地，处理器，用于：
将N个子像素点中每个子像素点射入的光信号转换为电信号；其中，每个子像素点对应的电信号的幅值与射入该子像素点的光信号的光强和入射角相关；
根据N个子像素点中每个子像素点对应的电信号，以及N个子像素点对应于微透镜的位置信息，确定射入N个子像素点的光信号的入射角，得到射入N个子像素点的光信号的相位信息。
如此，摄像装置将光信号转换为电信号，由于每个子像素点对应的电信号的幅值与射入该子像素点的光信号的光强和入射角相关，因此可根据电信号的幅值确定出光信号的光强，进而摄像装置的N个子像素点可通过不遮蔽的方式，仅仅根据子像素点接收到的光信号的光强，以及N个子像素点之间的位置关系，确定出射入N个子像素点的光信号的入射角，该入射角即为相位信息。从而使本发明实施例用于进行检测深度信息的像素点也可用于进行拍照，实现了即检测深度信息，也不降低画质的目的。
可选地，N个子像素点中的两个子像素点为一个像素对；
处理器，用于：
通过图像传感器上的同一个微透镜对应的至少两个像素对包括的子像素点，接收穿透微透镜所射入的光信号。
如此，摄像装置可对一个像素对中两个子像素点分别接收到的光信号进行对比，从而更加准确的确定出该两个子像素点接收到的光信号的相位信息，从而提高根据相位信息确定出的深度信息的准确度。
可选地，至少两个像素对为两个像素对；则：
处理器，用于：
根据至少两个像素对中的每个像素对包括的子像素点对应于微透镜的位置信息，以及射入至少两个像素对中的每个像素对包括的子像素点的光信号，确定出射入至少两个像素对的至少两个相位信息；其中，一个像素对对应一个相位信息；根据预设的相位信息和深度信息的对应关系，以及至少两个相位信息，获取至少两个相位信息对应的深度信息。如此，摄像装置可通过至少两个像素对获取更加准确的相位信息，进一步，根据更加准确的相位信息确定出更加准确的深度信息。
可选地，N为四；像素点对应的四个子像素点的排列方式为两行乘两列；四个子像素点中的一个像素对为以下内容中的任一项：
排列成一行的两个子像素点、排列成一列的两个子像素点和排列成对角线的两个像素点。
由于分别根据排成一行的像素对、排成一列的像素对、或排成对角线的像素对来接收射入的光信号，进而从多个方向分别获取深度信息，比如可从横向、纵向和对角线方式分别获取深度信息，也就是说，本发明实施例中，N至少为四时，可以从360度的所有方向上确定出光信号的相位信息，从而提高所获取的被拍摄物体对应的深度信息的准确度。但是，若N为小于四的值时，比如N为二，则仅仅只能测定横向或者纵向的光信号，如此，则确定的光信号的相位信息不准确，也就是说，N小于四时，不能从360度的全方向上去全面的测量光信号的相位信息，所得到的相位信息不准确。
可选地，N个子像素点中的每个子像素点对应一个滤光模块；N个子像素点分别对应的滤光模块的颜色相同。如此，由于N个子像素点中的每个子像素点对应一个滤光模块；N个子像素点分别对应的滤光模块的颜色相同，因此，本发明实施例中一个像素点还是可以用于进行图像拍摄，且通过多个子像素点进行图像拍摄时，将一个像素点对应的多个子像素点对应的图像进行合并，不会影响图像拍摄质量，且由于进行深度信息确定的像素点也可用于图像拍摄，整个图像传感器中无坏点，因此，提高了图像拍摄质量。
可选地，至少一个微透镜为图像传感器中的所有微透镜。此时，可通过图像传感器中所有的像素点来确定深度信息，且该图像传感器中用于进行深度信息检测的像素点并未进行遮蔽，因此该图像传感器中的所有用于检测深度信息的像素点均可用于拍照，即本发明实施例中在不损伤图像画质的质量的情况下实现100％密度的高分辨率深度信息的检测。
可选地，摄像装置根据至少一个微透镜中的每个微透镜对应的深度信息，确定出被拍摄物体对应的深度信息之后，还包括：
摄像装置将通过微透镜对应的所有子像素点分别获取的多个图像合并为一个图像，并根据合并后的图像生成照片。
可选地，处理器，用于执行下述内容中的任一项：
将通过微透镜对应的所有子像素点分别获取的模拟信号进行合并，之后将合并后的模拟信号进行模数AD转换和信号处理，得到合并后的图像；
将通过微透镜对应的所有子像素点分别获取的模拟信号进行AD转换，将进行AD转换后的所有信号进行合并，之后将合并后的AD转换后信号进行信号处理，得到合并后的图像；
将通过微透镜对应的所有子像素点分别获取的模拟信号进行AD转换，将进行AD转换后的所有信号分别进行信号处理，之后将进行信号处理后的所有信号进行合并，得到合并后的图像。
如此，本发明实施例中通过多个子像素点进行图像拍摄时，将一个像素点对应的多个子像素点对应的图像进行合并，方式灵活多样，提高了图像拍
摄的灵活性，另一方面，由于一个像素点对应的多个子像素点拍摄的图像进行了合并，因此本发明实施例中进行图像拍摄时，不会影响图像拍摄质量，且由于进行深度信息确定的像素点也可用于图像拍摄，整个图像传感器中无坏点，因此，提高了图像拍摄质量。
本发明实施例提供一种摄像装置，包括镜头、图像传感器和与图像传感器连接的处理单元，图像传感器包括至少一个微透镜，至少一个微透镜的中的每个微透镜对应一个像素点，一个像素点包括N个子像素点，N为大于等于四的整数：
图像传感器上的至少一个微透镜中的每个微透镜对应的像素点，用于接收光信号；
处理单元，用于：
针对图像传感器上的至少一个微透镜中的每个微透镜，执行：根据微透镜对应的像素点接收的光信号，以及像素点包括的N个子像素点之间的位置关系，确定像素点接收的光信号的相位信息，且根据预设的相位信息和深度信息的对应关系，获取相位信息对应的深度信息；
根据至少一个微透镜中的每个微透镜对应的深度信息，确定出被拍摄物体对应的深度信息。
由于同一个微透镜对应的至少四个子像素点，且至少四个子像素点之间的位置关系是已知的，因此根据微透镜对应的像素点接收的光信号，以及像素点包括的N个子像素点之间的位置关系，确定射入多个子像素点的光信号的相位信息，进而可根据相位信息获取深度信息。该过程中无需对任何子像素点进行遮蔽，因此用于获取深度信息的子像素点不会作为坏点，因此，一方面可用图像传感器中较多的像素点来获取被拍摄物体对应的深度信息，所使用的像素点越多，所获取的被拍摄物体对应的深度信息越精确；另一方面，用于获取被拍摄物体对应的深度信息的像素点不会作为坏点，还可用于拍照，因此提高了通过图像传感器所拍摄的图像的画质。
另一方面，本发明实施例中，N至少为四时，可以从360度的所有方向
上确定出光信号的相位信息，从而提高所获取的被拍摄物体对应的深度信息的准确度。但是，若N为小于四的值时，比如N为二，则仅仅只能测定横向或者纵向的光信号，如此，则确定的光信号的相位信息不准确，也就是说，N小于四时，不能从360度的全方向上去全面的测量光信号的相位信息，所得到的相位信息不准确。举个例子，若光信号为横向方向，N至少为四时，可准确测出相位信息，但是若N为二，且此时两个子像素点排成一列，则此时N为二仅仅能测出竖直方向的光信号，光信号为横向方向时测不出。可见，本申请实施例中，N至少为四，可以更加全面的更加准确的测出相位信息。
可选地，处理单元，用于：
确定出N个子像素点中每个子像素点射入的光信号的光强；
根据N个子像素点中每个子像素点射入的光信号的光强，以及像素点包括的N个子像素点之间的位置关系，确定射入N个子像素点的光信号的入射角，得到射入N个子像素点的光信号的相位信息。
具体来说，N个子像素点之间的位置关系对于摄像装置来说是已知的。如此，摄像装置的N个子像素点可通过不遮蔽的方式，仅仅根据子像素点接收到的光强，以及N个子像素点之间的位置关系，确定出射入N个子像素点的光信号的入射角，该入射角即为相位信息。从而使本发明实施例用于进行检测深度信息的像素点也可用于进行拍照，实现了即检测深度信息，也不降低画质的目的。
可选地，N个子像素点中的两个子像素点为一个像素对；
处理单元，用于：
通过图像传感器上的同一个微透镜对应的至少两个像素对包括的子像素点，接收穿透微透镜所射入的光信号。
如此，摄像装置可对一个像素对中两个子像素点分别接收到的光信号进行对比，从而更加准确的确定出该两个子像素点接收到的光信号的相位信息，从而提高根据相位信息确定出的深度信息的准确度。
可选地，至少两个像素对为两个像素对；则：
处理单元，用于：
根据至少两个像素对中的每个像素对包括的子像素点对应于微透镜的位置信息，以及射入至少两个像素对中的每个像素对包括的子像素点的光信号，确定出射入至少两个像素对的至少两个相位信息；其中，一个像素对对应一个相位信息；
根据预设的相位信息和深度信息的对应关系，以及至少两个相位信息，获取至少两个相位信息对应的深度信息。
如此，摄像装置可通过至少两个像素对获取更加准确的相位信息，进一步，根据更加准确的相位信息确定出更加准确的深度信息。
可选地，N为四；像素点对应的四个子像素点的排列方式为两行乘两列；四个子像素点中的一个像素对为以下内容中的任一项：
排列成一行的两个子像素点、排列成一列的两个子像素点和排列成对角线的两个像素点。
由于分别根据排成一行的像素对、排成一列的像素对、或排成对角线的像素对来接收射入的光信号，进而从多个方向分别获取深度信息，比如可从横向、纵向和对角线方式分别获取深度信息，也就是说，本发明实施例中，N至少为四时，可以从360度的所有方向上确定出光信号的相位信息，从而提高所获取的被拍摄物体对应的深度信息的准确度。但是，若N为小于四的值时，比如N为二，则仅仅只能测定横向或者纵向的光信号，如此，则确定的光信号的相位信息不准确，也就是说，N小于四时，不能从360度的全方向上去全面的测量光信号的相位信息，所得到的相位信息不准确。
可选地，N个子像素点中的每个子像素点对应一个滤光模块；N个子像素点分别对应的滤光模块的颜色相同。如此，由于N个子像素点中的每个子像素点对应一个滤光模块；N个子像素点分别对应的滤光模块的颜色相同，因此，本发明实施例中一个像素点还是可以用于进行图像拍摄，且通过多个子像素点进行图像拍摄时，将一个像素点对应的多个子像素点对应的图像进行合并，不会影响图像拍摄质量，且由于进行深度信息确定的像素点也可用
于图像拍摄，整个图像传感器中无坏点，因此，提高了图像拍摄质量。
可选地，至少一个微透镜为图像传感器中的所有微透镜。此时，可通过图像传感器中所有的像素点来确定深度信息，且该图像传感器中用于进行深度信息检测的像素点并未进行遮蔽，因此该图像传感器中的所有用于检测深度信息的像素点均可用于拍照，即本发明实施例中在不损伤图像画质的质量的情况下实现100％密度的高分辨率深度信息的检测。
可选地，处理单元，用于执行下述内容中的任一项：
将通过微透镜对应的所有子像素点分别获取的模拟信号进行合并，之后将合并后的模拟信号进行模数AD转换和信号处理，得到合并后的图像；
将通过微透镜对应的所有子像素点分别获取的模拟信号进行AD转换，将进行AD转换后的所有信号进行合并，之后将合并后的AD转换后信号进行信号处理，得到合并后的图像；
将通过微透镜对应的所有子像素点分别获取的模拟信号进行AD转换，将进行AD转换后的所有信号分别进行信号处理，之后将进行信号处理后的所有信号进行合并，得到合并后的图像。
如此，本发明实施例中通过多个子像素点进行图像拍摄时，将一个像素点对应的多个子像素点对应的图像进行合并，方式灵活多样，提高了图像拍摄的灵活性，另一方面，由于一个像素点对应的多个子像素点拍摄的图像进行了合并，因此本发明实施例中进行图像拍摄时，不会影响图像拍摄质量，且由于进行深度信息确定的像素点也可用于图像拍摄，整个图像传感器中无坏点，因此，提高了图像拍摄质量。
本发明实施例中，适用于摄像装置，摄像装置包括镜头、图像传感器，图像传感器包括至少一个微透镜，至少一个微透镜的中的每个微透镜对应一个像素点，一个像素点包括N个子像素点，N为大于等于四的整数；该方法包括：针对图像传感器上的至少一个微透镜中的每个微透镜，摄像装置通过图像传感器上的微透镜对应的像素点，接收光信号；摄像装置根据微透镜对应的像素点接收的光信号，以及像素点包括的N个子像素点之间的位置关系，
确定像素点接收的光信号的相位信息；摄像装置根据预设的相位信息和深度信息的对应关系，获取相位信息对应的深度信息。之后，摄像装置根据至少一个微透镜中的每个微透镜对应的深度信息，确定出被拍摄物体对应的深度信息。由于同一个微透镜对应的至少四个子像素点，且至少四个子像素点之间的位置关系是已知的，因此根据微透镜对应的像素点接收的光信号，以及像素点包括的N个子像素点之间的位置关系，确定射入多个子像素点的光信号的相位信息，进而可根据相位信息获取深度信息。该过程中无需对任何子像素点进行遮蔽，因此用于获取深度信息的子像素点不会作为坏点，因此，一方面可用图像传感器中较多的像素点来获取被拍摄物体对应的深度信息，所使用的像素点越多，所获取的被拍摄物体对应的深度信息越精确；另一方面，用于获取被拍摄物体对应的深度信息的像素点不会作为坏点，还可用于拍照，因此提高了通过图像传感器所拍摄的图像的画质。
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍。
图1为本发明实施例适用的一种摄像设备的系统架构的结构示意图；
图2为本发明实施例提供的一种获取深度信息的方法的流程示意图；
图2a为本发明实施例提供的一种图像传感器的结构示意图；
图2b为本发明实施例提供的一种图像传感器的结构示意图；
图2c为图2b中像素点的结构示意图；
图2d为图2c的像素点的工作原理图；
图2e为本发明实施例中光强和相位信息的对应关系示意图；
图2f为本发明实施例中光信号的入射方向的示意图；
图2g为本发明实施例提供的一种相位信息与深度信息的对应关系的示意图；
图2h为图2g中深度信息D1、深度信息D2和深度信息D3的示意图；
图3为本发明实施例提供的一种摄像装置的结构示意图；
图4为本发明实施例提供的另一种摄像装置的结构示意图。
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1示例性示出了本发明实施例适用的一种摄像设备的系统架构的结构示意图，如图1所示，摄像设备101包括镜头102和图像传感器103，图像传感器103中包括多个像素点，每个像素点上对应一个微透镜。本发明实施例中一个像素点包括N个子像素点，N为大于等于四的整数。如图1所示，摄像设备101对被拍摄物体104时，被拍摄物体104通过镜头102在成像平面上成像，外界的光信号105投射至图像传感器103的多个像素点上，进一步将多个像素点中的每个像素点上投射的光信号转换为电信号，并确定出每个像素点接收到的光信号105的相位信息，之后根据每个像素点的相位信息确定出深度信息，进而根据该多个像素点中每个像素点对应的深度信息，确定出被拍摄物体对应的深度信息。
结合图1举个例子，比如N为四，多个像素点为60个像素点，确定出60个像素点中每个像素点对应的60个深度信息之后，一个像素点对应一个深度信息，根据60个像素点中对应的60个深度信息，确定出被拍摄物体对应的深度信息，被拍摄物体对应的深度信息为一个。举例来说，被拍摄物体对应的深度信息可为60个深度信息的平均值，或者为60个深度信息中出现频率最高的一个深度信息。
本发明实施例中确定出的深度信息可用于多种场景，比如将深度信息用于对焦，根据深度信息确定出成像平面和图像传感器之间的距离，并移动摄像设备中的马达，以使成像平面与图像处理器重合，此时对焦成功。再比如，可将该深度信息用于三维图像的重构等等场景。本发明实施例旨在描述如何
确定出深度信息，至于将深度信息应用于何种场景不做限定。本发明实施例中的摄像设备可为具有拍摄功能的终端，比如手机、电脑、平板电脑等。
基于上述内容，图2示例性示出了本发明实施例提供的一种获取深度信息的方法的流程示意图，由摄像设备执行，如图2所示，该方法适用于摄像装置，摄像装置包括镜头、图像传感器，图像传感器包括至少一个微透镜，至少一个微透镜的中的每个微透镜对应一个像素点，一个像素点包括N个子像素点，N为大于等于四的整数；该方法包括：
步骤201，针对图像传感器上的至少一个微透镜中的每个微透镜，摄像装置通过图像传感器上的微透镜对应的像素点，接收光信号；
步骤202，针对该微透镜，摄像装置根据微透镜对应的像素点接收的光信号，以及像素点包括的N个子像素点之间的位置关系，确定像素点接收的光信号的相位信息；
步骤203，针对该微透镜，摄像装置根据预设的相位信息和深度信息的对应关系，获取相位信息对应的深度信息；
步骤204，针对图像传感器上的至少一个微透镜，摄像装置根据至少一个微透镜中的每个微透镜对应的深度信息，确定出被拍摄物体对应的深度信息。
本发明实施例中，由于同一个微透镜对应的至少四个子像素点，且至少四个子像素点之间的位置关系是已知的，因此根据微透镜对应的像素点接收的光信号，以及像素点包括的N个子像素点之间的位置关系，确定射入多个子像素点的光信号的相位信息，进而可根据相位信息获取深度信息。该过程中无需对任何子像素点进行遮蔽，因此用于获取深度信息的子像素点不会作为坏点，因此，一方面可用图像传感器中较多的像素点来获取被拍摄物体对应的深度信息，所使用的像素点越多，所获取的被拍摄物体对应的深度信息越精确；另一方面，用于获取被拍摄物体对应的深度信息的像素点不会作为坏点，还可用于拍照，因此提高了通过图像传感器所拍摄的图像的画质。
可选地，N个子像素点中的两个子像素点为一个像素对。摄像装置通过图像传感器上的同一个微透镜对应的N个子像素点，分别接收穿透微透镜所
射入的光信号，包括：摄像装置通过图像传感器上的同一个微透镜对应的至少两个像素对包括的子像素点，接收穿透微透镜所射入的光信号。
如此，可对一个像素对中两个子像素点分别接收到的光信号进行对比，从而更加准确的确定出该两个子像素点接收到的光信号的相位信息，从而提高根据相位信息确定出的深度信息的准确度。
可选地，至少一个像素对为两个像素对；则：
摄像装置根据N个子像素点中每个子像素点对应于微透镜的位置信息，以及射入每个子像素点的光信号，确定射入N个子像素点的光信号的相位信息，包括：摄像装置根据两个像素对中的每个像素对包括的子像素点对应于微透镜的位置信息，以及射入两个像素对中的每个像素对包括的子像素点的光信号，确定出射入两个像素对的两个相位信息；其中，一个像素对对应一个相位信息。摄像装置根据预设的相位信息和深度信息的对应关系，获取相位信息对应的深度信息，包括：摄像装置根据预设的相位信息和深度信息的对应关系，以及两个相位信息，获取两个相位信息对应的深度信息。
由于根据两个像素对确定出两个相位信息，得到了多个方向的相位信息，提高了相位信息确定的准确性，之后分别根据两个相位信息确定出深度信息，从而提高了深度信息确定的准确度。举个例子，一个像素点对应两个像素对，两个像素对分别对应相位信息1和相位信息2，比如结合预先获取的相位信息和深度信息的对应关系，根据相位信息1确定出深度信息1.，根据相位信息2确定出深度信息2，之后根据深度信息1和深度信息2确定出两个相位信息对应的深度信息，即根据深度信息1和深度信息2确定出一个像素点对应的深度信息，一个像素点对应的深度信息可为深度信息1和深度信息2的平均值。
像素点中包括的子像素点可有多种排列方式，比如排出一行、排出一列、交叉排列或者排成矩形、正方形等等。可选地，N为四，即微透镜对应四个子像素点。可选地，像素点对应的四个子像素点的排列方式为两行乘两列；四个子像素点中的一个像素对为以下内容中的任一项：
排列成一行的两个子像素点、排列成一列的两个子像素点和排列成对角
线的两个像素点，分别接收穿透微透镜所射入的光信号。
由于分别根据排成一行的像素对、排成一列的像素对、或排成对角线的像素对来接收射入的光信号，进而从多个方向分别获取深度信息，比如可从横向、纵向和对角线方式分别获取深度信息，也就是说，本发明实施例中，N至少为四时，可以从360度的所有方向上确定出光信号的相位信息，从而提高所获取的被拍摄物体对应的深度信息的准确度。但是，若N为小于四的值时，比如N为二，则仅仅只能测定横向或者纵向的光信号，如此，则确定的光信号的相位信息不准确，也就是说，N小于四时，不能从360度的全方向上去全面的测量光信号的相位信息，所得到的相位信息不准确。
举个例子，若光信号为横向方向，N至少为四时，可准确测出相位信息，但是若N为2，且此时两个子像素点排成一列，则此时N为2仅仅能测出竖直方向的光信号，光信号为横向方向时测不出。可见，本申请实施例中，N至少为四，可以更加全面的更加准确的测出相位信息。
可选地，N个子像素点中的每个子像素点对应一个滤光模块；N个子像素点分别对应的滤光模块的颜色相同。如此，N个子像素点在拍照时仍然作为一个像素点来使用，从而保证既能获取深度信息，且获取深度信息所使用的子像素点还可用于拍摄物体，从而提高了所拍摄图像的画质。
本发明实施例可适用于多种形式滤光阵列，滤光阵列即图像传感器中像素点的滤光模块的颜色的阵列。例如红绿蓝(Red Green Blue，简称RGB)、青绿品红黄(CyanMagentaYellow，简称CMY)、红绿蓝白(Red Green BlueWhite，简称RGBW)、清晰(clarity+)、黑白(black和white)等等。图2a示例性示出了本发明实施例提供的一种图像传感器的结构示意图。如图2a所示，图像传感器103包括多个像素点，比如图2a中的像素点2201、像素点2202、像素点2203；当滤光阵列为RGB时，图2a中示例性示出了一种可能的滤光阵列模式，即图像传感器103中的所有像素点分别对应红、蓝、绿三种颜色的滤光模块，像素点2201对应绿色滤光模块，像素点2202对应红色滤光模块，像素点2203对应绿色滤光模块，如图2a所示。
针对图像传感器中的每个像素点，每个像素点包括N个子像素点。N个子像素点可为4个子像素点或者6个子像素点等等。图2b示例性示出了本发明实施例提供的一种图像传感器的结构示意图，图2b中以一个像素点包括4个子像素点为例进行介绍。如图2b所示，像素点2201包括子像素点2204、子像素点2205、子像素点2206和子像素点2207。
像素点中包括的子像素点可有多种排列方式，比如排成矩形、正方形等等。本发明实施例中以像素点中包括的四个子像素点排成一个两行乘两列的方阵为例进行介绍。图2c示例性示出了图2b中像素点的结构示意图，如图2c所示，像素点2201包括的子像素点排成方阵，子像素点2204和子像素点2205排列为一行，子像素点2206和子像素点2207排列为一行，子像素点2204和子像素点2206排列为一列，子像素点2205和子像素点2207排列为一列。像素点2201包括一个微透镜2301，也就是说，子像素点2204、子像素点2205、子像素点2206和子像素点2207对应同一个微透镜2301。可选地，在微透镜2208的下方还包括每个子像素点对应的滤光模块，如图2c所示，子像素点2204对应滤光模块2304，子像素点2205对应滤光模块2305，子像素点2206对应滤光模块2306，子像素点2207对应滤光模块2307。滤光模块2304、滤光模块2305、滤光模块2306和滤光模块2307为同一个颜色，比如同为绿色。
可选地，上述步骤201中，至少一个微透镜可为图像传感器中的一个微透镜、两个微透镜或者所有微透镜。可选地，至少一个微透镜为图像传感器中的所有微透镜，此时，可通过图像传感器中所有的像素点来确定深度信息，且该图像传感器中用于进行深度信息检测的像素点并未进行遮蔽，因此该图像传感器中的所有用于检测深度信息的像素点均可用于拍照，即本发明实施例中在不损伤图像画质的质量的情况下实现100％密度的高分辨率深度信息的检测。
图2d示例性示出了图2c的像素点的工作原理图。如图2d所示，将像素点2201中包括的排成一行的子像素点2204和子像素点2205作为一个像素对，如图2d所示，穿透微透镜射入的光信号2401从左侧向右侧射入，此时子像
素点2205会接收到较多的光信号，而子像素点2204可能接收不到光信号，或者仅能接收到少量的光信号，如图2d所示，光信号2401穿透微透镜2301之后全部射入子像素点2205。由于子像素点2204和子像素点2205对光信号产生了非对称的角度响应，因此可根据该像素对中的两个子像素点接收到的光信号，以及每个子像素点对应于微透镜的位置信息，确定出相位信息。
可选地，摄像装置根据微透镜对应的像素点接收的光信号，以及像素点包括的N个子像素点之间的位置关系，确定像素点接收的光信号的相位信息，包括：
摄像装置确定出N个子像素点中每个子像素点射入的光信号的光强；摄像装置根据N个子像素点中每个子像素点射入的光信号的光强，以及像素点包括的N个子像素点之间的位置关系，确定射入N个子像素点的光信号的入射角，得到射入N个子像素点的光信号的相位信息。
具体来说，N个子像素点之间的位置关系对于摄像装置来说是已知的，比如，当N为四时，四个子像素点分别为子像素点1、子像素点2、子像素点3和子像素点4，四个子像素点的排列方式为两行乘两列。则N个子像素点之间的位置关系可为：第一行中依次排布为子像素点1和子像素点2，第二行依次排布子像素点3和子像素点4，第一列依次排布子像素点1和子像素点3，第二列依次排布子像素点2和子像素点4。
如此，摄像装置的N个子像素点可通过不遮蔽的方式，仅仅根据子像素点接收到的光强，以及N个子像素点之间的位置关系，确定出射入N个子像素点的光信号的入射角，该入射角即为相位信息。从而使本发明实施例用于进行检测深度信息的像素点也可用于进行拍照，实现了即检测深度信息，也不降低画质的目的。
进一步，可选地，摄像装置根据N个子像素点中每个子像素点对应于微透镜的位置信息，以及射入每个子像素点的光信号，确定射入N个子像素点的光信号的相位信息，包括：
摄像装置将N个子像素点中每个子像素点射入的光信号转换为电信号；
其中，每个子像素点对应的电信号的幅值与射入该子像素点的光信号的光强和入射角相关；摄像装置根据N个子像素点中每个子像素点对应的电信号，以及N个子像素点对应于微透镜的位置信息，确定射入N个子像素点的光信号的入射角，得到射入N个子像素点的光信号的相位信息。
如此，摄像装置将光信号转换为电信号，由于每个子像素点对应的电信号的幅值与射入该子像素点的光信号的光强和入射角相关，因此摄像装置的N个子像素点可通过不遮蔽的方式，仅仅根据子像素点接收到的光信号，以及N个子像素点之间的位置关系，确定出射入N个子像素点的光信号的入射角，该入射角即为相位信息。从而使本发明实施例用于进行检测深度信息的像素点也可用于进行拍照，实现了即检测深度信息，也不降低画质的目的。
具体实施中，每个子像素点对应的电信号的幅值与射入该子像素点的光信号的光强和入射角相关。也就是说，每个子像素点对应的电信号的幅值可以反映出该子像素点接收到的光信号的光强和入射角。举例来说，光信号的入射角一定时，光强越大，子像素点对应的电信号的幅值也越大。光信号的光强一定时，电信号的幅值与光信号的入射角有关，比如，一个像素对包括左右排列的子像素点1和子像素点2，光信号射入子像素点1和子像素点2的光强相同，光信号从左侧射入像素对中，则光信号的大部分射入子像素点2中，少部分射入子像素点1中，此时子像素点2将接收到的光信号转换为电信号之后，子像素点2对应的电信号幅值大于子像素点1对应的电信号幅值，再结合子像素点1和子像素点2左右放置，此时可确定出该光信号从左侧射入，且可根据子像素点1和子像素点2的电信号幅值确定出该光信号的入射角，入射角即为相位信息。
图2e示例性示出了本发明实施例中光强和相位信息的对应关系示意图。如图2e所示，横坐标2501为相位信息，纵坐标2502为电信号幅值。举个例子，比如图2d中，光信号2401穿透微透镜2301之后大部分射入子像素点2205，少部分射入子像素点2204中，此时子像素点2204将接收到的光信号转换为电信号，子像素点2205将接收到的光信号转换为电信号，电信号的幅值可以
反映光信号的光强，摄像装置根据子像素点2204和子像素点2205分别对应的电信号的幅值，以及子像素点2204和子像素点2205的位置，确定出光信号的入射角，即光信号的相位信息。
上述示例中仅仅以图2c的像素点2201中包括的排成一行的子像素点2204和子像素点2205作为一个像素对为例进行介绍，当以排成一列的子像素点作为一个像素对，或者以排成对角线的两个子像素点作为一个像素对时确定光信号的入射角的方法流程与上述内容类似，在此不再赘述。可见，本发明实施例中，可通过排列为一行、一列或对角线的像素对对光信号的入射角进行检测，N至少为四时，则至少可通过两个像素对对光信号的入射角进行检测，如此可实现360度检测出光信号的入射角的目的。
图2f示例性示出了本发明实施例中光信号的入射方向的示意图，如图2f所示，通过排成一行的子像素点可检测出从左边入射的光信号2501和从右边入射的光信号2502的入射角，通过排成一列的子像素点可检测出从上边入射的光信号2503和从下边入射的光信号2504的入射角，通过排成对角线的子像素点可检测出从对角线方向入射的光信号2505、光信号2506、光信号2507和光信号2508的入射角。可见，本发明实施例中实现了多方向的检测深度信息的目的。
上述步骤203中，摄像装置根据微透镜确定出相位信息对应的深度信息。可选地，相位信息为光信号的入射角。可选地，深度信息为成像平面与图像传感器之间的距离信息。一种可选地实施方式中，可通过大量的实验数据提前获取相位信息和深度信息的对应关系，之后根据获取的相位信息，获取每个相位信息对应的深度信息，之后根据多个深度信息获取被拍摄物体对应的深度信息。另一种可选地实施方式中，可根据一定的经验或者公式，确定每个相位信息对应的深度信息，本发明实施例中不对获取相位信息和深度信息的对应关系的方式进行限制。
图2g示例性示出了本发明实施例提供的一种相位信息与深度信息的对应关系的示意图。如图2g所示，横坐标2601表示相位信息，纵坐标2602表示
深度信息，当相位信息为0时，此时对应的深度信息为D2；当相位信息中的入射角为-30度时，对应的深度信息为D1；当相位信息中的入射角为30度时，对应的深度信息为D3。深度信息D1、深度信息D2和深度信息D3均表示被拍摄的物体与图像传感器之间的距离。
图2h示例性示出了图2g中深度信息D1、深度信息D2和深度信息D3的示意图。如图2h所示，物体2801、物体2802或物体2803通过一系列的镜头，比如透镜102之后进入图像传感器103中，本发明实施例中可以确定出深度信息，深度信息即被拍摄的物体与图像传感器103之间的距离，之后可选地，可根据该深度信息进行对焦，以使成像平面与图像传感器103重合，从而对焦成功。可选的，也可利用深度信息对图像进行3D重建。图2h中被拍摄的物体2801与图像传感器103之间的距离分别为D1；被拍摄的物体2802与图像传感器103之间的距离分别为D2；被拍摄的物体2803与图像传感器103之间的距离分别为D3。可选地，摄像装置根据相位信息获取深度信息之后，摄像装置将通过微透镜对应的所有子像素点分别获取的多个图像合并为一个图像，并根据合并后的图像生成照片。
可选地，摄像装置将通过微透镜对应的所有子像素点分别获取的多个图像合并为一个图像，包括以下内容中的任一项：
摄像装置将通过微透镜对应的所有子像素点分别获取的模拟信号进行合并，之后将合并后的模拟信号进行模数(Analog-to-Digital，简称AD)转换和信号处理，得到合并后的图像；
摄像装置将通过微透镜对应的所有子像素点分别获取的模拟信号进行AD转换，将进行AD转换后的所有信号进行合并，之后将合并后的AD转换后信号进行信号处理，得到合并后的图像；
摄像装置将通过微透镜对应的所有子像素点分别获取的模拟信号进行AD转换，将进行AD转换后的所有信号分别进行信号处理，之后将进行信号处理后的所有信号进行合并，得到合并后的图像。
也就是说，本发明实施例中用于进行确定深度信息的子像素点也可以用
于进行拍照，一个像素点对应N个子像素点，分别将通过N个子像素点拍摄的图像进行合并，一个像素点对应一个合并后的图像，之后根据图像传感器中所有像素点中每个像素点对应的合并后的图像，生成被拍摄物体的照片。可选地，可以将N个子像素点拍摄到的模拟信号进行先合并，之后将合并后的模拟信号依次进行AD转换以及信号处理；也可分别将N个子像素点的模拟信号进行AD转换，之后对AD转换后的数字信号进行合并，之后对合并后的信号进行信号处理；也可分别将N个子像素点的模拟信号进行AD转换，之后分别对AD转换后的数字信号分别进行信号处理，之后将信号处理后的信号进行合并，也就是说，可以对N个子像素点接收到的光信号进行模拟、数字或者图像信号处理(Image Signal Processing，简称ISP)端的合并。如此，本发明实施例中通过多个子像素点进行图像拍摄时，将一个像素点对应的多个子像素点对应的图像进行合并，方式灵活多样，提高了图像拍摄的灵活性，另一方面，由于一个像素点对应的多个子像素点拍摄的图像进行了合并，因此本发明实施例中进行图像拍摄时，不会影响图像拍摄质量，且由于进行深度信息确定的像素点也可用于图像拍摄，整个图像传感器中无坏点，因此，提高了图像拍摄质量。
可选地，本发明实施例适用于多种形式的图像传感器，例如金属氧化物半导体元件(Complementary Metal-Oxide Semiconductor，简称CMOS)图像传感器(image sensor)、电荷耦合元件(Charge Coupled Device，简称CCD)、量子薄膜传感器(Quantum film sensor)、有机传感器(organic sensor)等等。对于CMOS图像传感器，本发明实施例适用于前照式(front side illumination)与背照式(backside illumination)结构。
本发明实施例中不遮蔽的方式确定深度信息，因此用于确定深度信息的子像素点也可用于进行拍摄，如此，可在不损伤画质质量的情况下实现100％密度的高分辨率的深度信息检测。其次，由于所有子像素点接收到的光信号均用于拍摄，因此在低照度情况下，也可以保持所拍摄照片的高精确度。第三方面，本发明实施例中可从多个方向确定出光信号的相位信息，提高了深
度信息确定的灵活性，进而极大的提高了对焦与立体视觉的性能。且用户可跟据实际情况，可利用算法自动检测或者用户手动选择来调整深度信息确定的精确度。第四，本发明实施例中，N个子像素点所拍摄图像进行合并时，可以选择在模拟、数字、及数字信号端进行，为用户提供了使用灵活性。
从上述内容可以看出，本发明实施例中，针对图像传感器上的至少一个微透镜中的每个微透镜，摄像装置通过图像传感器上的同一个微透镜对应的N个子像素点，分别接收穿透微透镜所射入的光信号，根据N个子像素点中每个子像素点对应于微透镜的位置信息，以及射入每个子像素点的光信号，确定射入N个子像素点的光信号的相位信息，根据预设的相位信息和深度信息的对应关系，获取相位信息对应的深度信息；摄像装置根据至少一个微透镜中的每个微透镜对应的深度信息，确定出被拍摄物体对应的深度信息。由于同一个微透镜对应的N个子像素点，且N个子像素点中每个子像素点包括对应于微透镜的位置信息，因此可根据N个子像素点中每个子像素点对应于微透镜的位置信息及射入每个子像素点的光信号，确定射入N个子像素点的光信号的相位信息，进而可根据相位信息获取深度信息。另一方面，由于该过程中无需对任何子像素点进行遮蔽，因此用于获取深度信息的子像素点不会作为坏点，可用于拍照，提高了通过图像传感器所拍摄的图像的画质。
从上述内容可看出，本发明实施例中，由于同一个微透镜对应的至少四个子像素点，且至少四个子像素点之间的位置关系是已知的，因此根据微透镜对应的像素点接收的光信号，以及像素点包括的N个子像素点之间的位置关系，确定射入多个子像素点的光信号的相位信息，进而可根据相位信息获取深度信息。该过程中无需对任何子像素点进行遮蔽，因此用于获取深度信息的子像素点不会作为坏点，因此，一方面可用图像传感器中较多的像素点来获取被拍摄物体对应的深度信息，所使用的像素点越多，所获取的被拍摄物体对应的深度信息越精确；另一方面，用于获取被拍摄物体对应的深度信息的像素点不会作为坏点，还可用于拍照，因此提高了通过图像传感器所拍摄的图像的画质。
图3为本发明实施例提供的一种摄像装置的结构示意图。
基于相同构思，本发明实施例提供一种摄像装置300，用于执行上述方法流程，如图3所示，摄像装置300包括镜头301、图像传感器302和与图像传感器302连接的处理器303，图像传感器302包括至少一个微透镜304，至少一个微透镜的中的每个微透镜对应一个像素点，一个像素点包括N个子像素点，N为大于等于四的整数。可选地，处理器303连接存储器305。
图像传感器上的至少一个微透镜中的每个微透镜对应的像素点，用于接收光信号；
处理器303，用于读取存储器305中存储的程序，执行：
针对图像传感器上的至少一个微透镜中的每个微透镜，执行：根据微透镜对应的像素点接收的光信号，以及像素点包括的N个子像素点之间的位置关系，确定像素点接收的光信号的相位信息，且根据预设的相位信息和深度信息的对应关系，获取相位信息对应的深度信息；
根据至少一个微透镜中的每个微透镜对应的深度信息，确定出被拍摄物体对应的深度信息。
可选地，处理器303，用于：
确定出N个子像素点中每个子像素点射入的光信号的光强；
根据N个子像素点中每个子像素点射入的光信号的光强，以及像素点包括的N个子像素点之间的位置关系，确定射入N个子像素点的光信号的入射角，得到射入N个子像素点的光信号的相位信息。
具体来说，N个子像素点之间的位置关系对于摄像装置来说是已知的。如此，摄像装置的N个子像素点可通过不遮蔽的方式，仅仅根据子像素点接收到的光强，以及N个子像素点之间的位置关系，确定出射入N个子像素点的光信号的入射角，该入射角即为相位信息。从而使本发明实施例用于进行检测深度信息的像素点也可用于进行拍照，实现了即检测深度信息，也不降低画质的目的。
可选地，N个子像素点中的两个子像素点为一个像素对；
处理器303，用于：
通过图像传感器上的同一个微透镜对应的至少两个像素对包括的子像素点，接收穿透微透镜所射入的光信号。
如此，摄像装置可对一个像素对中两个子像素点分别接收到的光信号进行对比，从而更加准确的确定出该两个子像素点接收到的光信号的相位信息，从而提高根据相位信息确定出的深度信息的准确度。
可选地，至少两个像素对为两个像素对；则：
处理器303，用于：
根据至少两个像素对中的每个像素对包括的子像素点对应于微透镜的位置信息，以及射入至少两个像素对中的每个像素对包括的子像素点的光信号，确定出射入至少两个像素对的至少两个相位信息；其中，一个像素对对应一个相位信息；
根据预设的相位信息和深度信息的对应关系，以及至少两个相位信息，获取至少两个相位信息对应的深度信息。
如此，摄像装置可通过至少两个像素对获取更加准确的相位信息，进一步，根据更加准确的相位信息确定出更加准确的深度信息。
可选地，N为四；像素点对应的四个子像素点的排列方式为两行乘两列；四个子像素点中的一个像素对为以下内容中的任一项：
排列成一行的两个子像素点、排列成一列的两个子像素点和排列成对角线的两个像素点。
由于分别根据排成一行的像素对、排成一列的像素对、或排成对角线的像素对来接收射入的光信号，进而从多个方向分别获取深度信息，比如可从横向、纵向和对角线方式分别获取深度信息，也就是说，本发明实施例中，N至少为四时，可以从360度的所有方向上确定出光信号的相位信息，从而提高所获取的被拍摄物体对应的深度信息的准确度。但是，若N为小于四的值时，比如N为二，则仅仅只能测定横向或者纵向的光信号，如此，则确定的光信号的相位信息不准确，也就是说，N小于四时，不能从360度的全方向
上去全面的测量光信号的相位信息，所得到的相位信息不准确。
可选地，N个子像素点中的每个子像素点对应一个滤光模块；N个子像素点分别对应的滤光模块的颜色相同。如此，由于N个子像素点中的每个子像素点对应一个滤光模块；N个子像素点分别对应的滤光模块的颜色相同，因此，本发明实施例中一个像素点还是可以用于进行图像拍摄，且通过多个子像素点进行图像拍摄时，将一个像素点对应的多个子像素点对应的图像进行合并，不会影响图像拍摄质量，且由于进行深度信息确定的像素点也可用于图像拍摄，整个图像传感器中无坏点，因此，提高了图像拍摄质量。
可选地，至少一个微透镜为图像传感器中的所有微透镜。此时，可通过图像传感器中所有的像素点来确定深度信息，且该图像传感器中用于进行深度信息检测的像素点并未进行遮蔽，因此该图像传感器中的所有用于检测深度信息的像素点均可用于拍照，即本发明实施例中在不损伤图像画质的质量的情况下实现100％密度的高分辨率深度信息的检测。
可选地，处理器303，用于执行下述内容中的任一项：
将通过微透镜对应的所有子像素点分别获取的模拟信号进行合并，之后将合并后的模拟信号进行模数AD转换和信号处理，得到合并后的图像；
将通过微透镜对应的所有子像素点分别获取的模拟信号进行AD转换，将进行AD转换后的所有信号进行合并，之后将合并后的AD转换后信号进行信号处理，得到合并后的图像；
将通过微透镜对应的所有子像素点分别获取的模拟信号进行AD转换，将进行AD转换后的所有信号分别进行信号处理，之后将进行信号处理后的所有信号进行合并，得到合并后的图像。
如此，本发明实施例中通过多个子像素点进行图像拍摄时，将一个像素点对应的多个子像素点对应的图像进行合并，方式灵活多样，提高了图像拍摄的灵活性，另一方面，由于一个像素点对应的多个子像素点拍摄的图像进行了合并，因此本发明实施例中进行图像拍摄时，不会影响图像拍摄质量，且由于进行深度信息确定的像素点也可用于图像拍摄，整个图像传感器中无
坏点，因此，提高了图像拍摄质量。
从上述内容可看出，本发明实施例中，由于同一个微透镜对应的至少四个子像素点，且至少四个子像素点之间的位置关系是已知的，因此根据微透镜对应的像素点接收的光信号，以及像素点包括的N个子像素点之间的位置关系，确定射入多个子像素点的光信号的相位信息，进而可根据相位信息获取深度信息。该过程中无需对任何子像素点进行遮蔽，因此用于获取深度信息的子像素点不会作为坏点，因此，一方面可用图像传感器中较多的像素点来获取被拍摄物体对应的深度信息，所使用的像素点越多，所获取的被拍摄物体对应的深度信息越精确；另一方面，用于获取被拍摄物体对应的深度信息的像素点不会作为坏点，还可用于拍照，因此提高了通过图像传感器所拍摄的图像的画质。
另一方面，本发明实施例中，N至少为四时，可以从360度的所有方向上确定出光信号的相位信息，从而提高所获取的被拍摄物体对应的深度信息的准确度。但是，若N为小于四的值时，比如N为二，则仅仅只能测定横向或者纵向的光信号，如此，则确定的光信号的相位信息不准确，也就是说，N小于四时，不能从360度的全方向上去全面的测量光信号的相位信息，所得到的相位信息不准确。举个例子，若光信号为横向方向，N至少为四时，可准确测出相位信息，但是若N为二，且此时两个子像素点排成一列，则此时N为二仅仅能测出竖直方向的光信号，光信号为横向方向时测不出。可见，本申请实施例中，N至少为四，可以更加全面的更加准确的测出相位信息。
图4为本发明实施例提供的一种摄像装置的结构示意图。
基于相同构思，本发明实施例提供一种摄像装置400，用于执行上述方法流程，如图4所示，摄像装置400包括镜头401、图像传感器402和与图像传感器402连接的处理单元403，图像传感器402包括至少一个微透镜404，至少一个微透镜的中的每个微透镜对应一个像素点，一个像素点包括N个子像素点，N为大于等于四的整数：
图像传感器上的至少一个微透镜中的每个微透镜对应的像素点，用于接
收光信号；
处理单元403，用于：
针对图像传感器上的至少一个微透镜中的每个微透镜，执行：根据微透镜对应的像素点接收的光信号，以及像素点包括的N个子像素点之间的位置关系，确定像素点接收的光信号的相位信息，且根据预设的相位信息和深度信息的对应关系，获取相位信息对应的深度信息；
根据至少一个微透镜中的每个微透镜对应的深度信息，确定出被拍摄物体对应的深度信息。
可选地，处理单元403，用于：
确定出N个子像素点中每个子像素点射入的光信号的光强；
根据N个子像素点中每个子像素点射入的光信号的光强，以及像素点包括的N个子像素点之间的位置关系，确定射入N个子像素点的光信号的入射角，得到射入N个子像素点的光信号的相位信息。
具体来说，N个子像素点之间的位置关系对于摄像装置来说是已知的。如此，摄像装置的N个子像素点可通过不遮蔽的方式，仅仅根据子像素点接收到的光强，以及N个子像素点之间的位置关系，确定出射入N个子像素点的光信号的入射角，该入射角即为相位信息。从而使本发明实施例用于进行检测深度信息的像素点也可用于进行拍照，实现了即检测深度信息，也不降低画质的目的。
可选地，N个子像素点中的两个子像素点为一个像素对；
处理单元403，用于：
通过图像传感器上的同一个微透镜对应的至少两个像素对包括的子像素点，接收穿透微透镜所射入的光信号。
如此，摄像装置可对一个像素对中两个子像素点分别接收到的光信号进行对比，从而更加准确的确定出该两个子像素点接收到的光信号的相位信息，从而提高根据相位信息确定出的深度信息的准确度。
可选地，至少两个像素对为两个像素对；则：
处理单元403，用于：
根据至少两个像素对中的每个像素对包括的子像素点对应于微透镜的位置信息，以及射入至少两个像素对中的每个像素对包括的子像素点的光信号，确定出射入至少两个像素对的至少两个相位信息；其中，一个像素对对应一个相位信息；
根据预设的相位信息和深度信息的对应关系，以及至少两个相位信息，获取至少两个相位信息对应的深度信息。
如此，摄像装置可通过至少两个像素对获取更加准确的相位信息，进一步，根据更加准确的相位信息确定出更加准确的深度信息。
可选地，N为四；像素点对应的四个子像素点的排列方式为两行乘两列；四个子像素点中的一个像素对为以下内容中的任一项：
排列成一行的两个子像素点、排列成一列的两个子像素点和排列成对角线的两个像素点。
由于分别根据排成一行的像素对、排成一列的像素对、或排成对角线的像素对来接收射入的光信号，进而从多个方向分别获取深度信息，比如可从横向、纵向和对角线方式分别获取深度信息，也就是说，本发明实施例中，N至少为四时，可以从360度的所有方向上确定出光信号的相位信息，从而提高所获取的被拍摄物体对应的深度信息的准确度。但是，若N为小于四的值时，比如N为二，则仅仅只能测定横向或者纵向的光信号，如此，则确定的光信号的相位信息不准确，也就是说，N小于四时，不能从360度的全方向上去全面的测量光信号的相位信息，所得到的相位信息不准确。
可选地，N个子像素点中的每个子像素点对应一个滤光模块；N个子像素点分别对应的滤光模块的颜色相同。如此，由于N个子像素点中的每个子像素点对应一个滤光模块；N个子像素点分别对应的滤光模块的颜色相同，因此，本发明实施例中一个像素点还是可以用于进行图像拍摄，且通过多个子像素点进行图像拍摄时，将一个像素点对应的多个子像素点对应的图像进行合并，不会影响图像拍摄质量，且由于进行深度信息确定的像素点也可用
于图像拍摄，整个图像传感器中无坏点，因此，提高了图像拍摄质量。
可选地，至少一个微透镜为图像传感器中的所有微透镜。此时，可通过图像传感器中所有的像素点来确定深度信息，且该图像传感器中用于进行深度信息检测的像素点并未进行遮蔽，因此该图像传感器中的所有用于检测深度信息的像素点均可用于拍照，即本发明实施例中在不损伤图像画质的质量的情况下实现100％密度的高分辨率深度信息的检测。
可选地，处理单元403，用于执行下述内容中的任一项：
将通过微透镜对应的所有子像素点分别获取的模拟信号进行合并，之后将合并后的模拟信号进行模数AD转换和信号处理，得到合并后的图像；
将通过微透镜对应的所有子像素点分别获取的模拟信号进行AD转换，将进行AD转换后的所有信号进行合并，之后将合并后的AD转换后信号进行信号处理，得到合并后的图像；
将通过微透镜对应的所有子像素点分别获取的模拟信号进行AD转换，将进行AD转换后的所有信号分别进行信号处理，之后将进行信号处理后的所有信号进行合并，得到合并后的图像。
如此，本发明实施例中通过多个子像素点进行图像拍摄时，将一个像素点对应的多个子像素点对应的图像进行合并，方式灵活多样，提高了图像拍摄的灵活性，另一方面，由于一个像素点对应的多个子像素点拍摄的图像进行了合并，因此本发明实施例中进行图像拍摄时，不会影响图像拍摄质量，且由于进行深度信息确定的像素点也可用于图像拍摄，整个图像传感器中无坏点，因此，提高了图像拍摄质量。
从上述内容可看出，本发明实施例中，由于同一个微透镜对应的至少四个子像素点，且至少四个子像素点之间的位置关系是已知的，因此根据微透镜对应的像素点接收的光信号，以及像素点包括的N个子像素点之间的位置关系，确定射入多个子像素点的光信号的相位信息，进而可根据相位信息获取深度信息。该过程中无需对任何子像素点进行遮蔽，因此用于获取深度信息的子像素点不会作为坏点，因此，一方面可用图像传感器中较多的像素点
来获取被拍摄物体对应的深度信息，所使用的像素点越多，所获取的被拍摄物体对应的深度信息越精确；另一方面，用于获取被拍摄物体对应的深度信息的像素点不会作为坏点，还可用于拍照，因此提高了通过图像传感器所拍摄的图像的画质。
另一方面，本发明实施例中，N至少为四时，可以从360度的所有方向上确定出光信号的相位信息，从而提高所获取的被拍摄物体对应的深度信息的准确度。但是，若N为小于四的值时，比如N为二，则仅仅只能测定横向或者纵向的光信号，如此，则确定的光信号的相位信息不准确，也就是说，N小于四时，不能从360度的全方向上去全面的测量光信号的相位信息，所得到的相位信息不准确。举个例子，若光信号为横向方向，N至少为四时，可准确测出相位信息，但是若N为二，且此时两个子像素点排成一列，则此时N为二仅仅能测出竖直方向的光信号，光信号为横向方向时测不出。可见，本申请实施例中，N至少为四，可以更加全面的更加准确的测出相位信息。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包括有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设
备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (15)
- 一种获取深度信息的方法，其特征在于，适用于摄像装置，所述摄像装置包括镜头、图像传感器，所述图像传感器包括至少一个微透镜，所述至少一个微透镜的中的每个微透镜对应一个像素点，一个像素点包括N个子像素点，N为大于等于四的整数；所述方法包括：针对图像传感器上的至少一个微透镜中的每个微透镜，执行：摄像装置通过所述图像传感器上的所述微透镜对应的像素点，接收光信号；所述摄像装置根据所述微透镜对应的像素点接收的光信号，以及所述像素点包括的N个子像素点之间的位置关系，确定所述像素点接收的所述光信号的相位信息；所述摄像装置根据预设的相位信息和深度信息的对应关系，获取所述相位信息对应的深度信息；针对所述图像传感器上的所述至少一个微透镜，执行：所述摄像装置根据所述至少一个微透镜中的每个微透镜对应的深度信息，确定出被拍摄物体对应的深度信息。
- 如权利要求1所述的方法，其特征在于，所述摄像装置根据所述微透镜对应的像素点接收的光信号，以及所述像素点包括的N个子像素点之间的位置关系，确定所述像素点接收的所述光信号的相位信息，包括：所述摄像装置确定出所述N个子像素点中每个子像素点射入的光信号的光强；所述摄像装置根据所述N个子像素点中每个子像素点射入的光信号的光强，以及所述像素点包括的N个子像素点之间的位置关系，确定射入所述N个子像素点的光信号的入射角，得到射入所述N个子像素点的光信号的相位信息。
- 如权利要求1或2所述的方法，其特征在于，所述N个子像素点中的 两个子像素点为一个像素对；所述摄像装置通过图像传感器上的同一个微透镜对应的N个子像素点，分别接收穿透所述微透镜所射入的光信号，包括：所述摄像装置通过图像传感器上的同一个微透镜对应的至少两个像素对包括的子像素点，接收穿透所述微透镜所射入的光信号。
- 如权利要求3所述的方法，其特征在于，所述至少两个像素对为两个像素对；则：所述摄像装置根据所述N个子像素点中每个子像素点对应于所述微透镜的位置信息，以及射入每个子像素点的光信号，确定射入所述N个子像素点的光信号的相位信息，包括：所述摄像装置根据所述至少两个像素对中的每个像素对包括的子像素点对应于所述微透镜的位置信息，以及射入所述至少两个像素对中的每个像素对包括的子像素点的光信号，确定出射入所述至少两个像素对的至少两个相位信息；其中，一个像素对对应一个相位信息；所述摄像装置根据预设的相位信息和深度信息的对应关系，获取所述相位信息对应的深度信息，包括：所述摄像装置根据预设的相位信息和深度信息的对应关系，以及所述至少两个相位信息，获取所述至少两个相位信息对应的深度信息。
- 如权利要求3或4所述的方法，其特征在于，所述N为四；所述像素点对应的四个子像素点的排列方式为两行乘两列；所述四个子像素点中的一个像素对为以下内容中的任一项：排列成一行的两个子像素点、排列成一列的两个子像素点和排列成对角线的两个像素点。
- 如权利要求1至5任一权利要求所述的方法，其特征在于，所述N个子像素点中的每个子像素点对应一个滤光模块；所述N个子像素点分别对应的滤光模块的颜色相同。
- 如权利要求1至6任一权利要求所述的方法，其特征在于，所述至少 一个微透镜为所述图像传感器中的所有微透镜。
- 一种摄像装置，其特征在于，包括镜头、图像传感器和与所述图像传感器连接的处理器，所述图像传感器包括至少一个微透镜，所述至少一个微透镜的中的每个微透镜对应一个像素点，一个像素点包括N个子像素点，N为大于等于四的整数；所述图像传感器上的所述至少一个微透镜中的每个微透镜对应的像素点，用于接收光信号；所述处理器，用于读取存储器中存储的程序，执行：针对所述图像传感器上的所述至少一个微透镜中的每个微透镜，执行：根据所述微透镜对应的像素点接收的光信号，以及所述像素点包括的N个子像素点之间的位置关系，确定所述像素点接收的所述光信号的相位信息，且根据预设的相位信息和深度信息的对应关系，获取所述相位信息对应的深度信息；根据所述至少一个微透镜中的每个微透镜对应的深度信息，确定出被拍摄物体对应的深度信息。
- 如权利要求8所述的摄像装置，其特征在于，所述处理器，用于：确定出所述N个子像素点中每个子像素点射入的光信号的光强；根据所述N个子像素点中每个子像素点射入的光信号的光强，以及所述像素点包括的N个子像素点之间的位置关系，确定射入所述N个子像素点的光信号的入射角，得到射入所述N个子像素点的光信号的相位信息。
- 如权利要求8或9所述的摄像装置，其特征在于，所述N个子像素点中的两个子像素点为一个像素对；所述处理器，用于：通过图像传感器上的同一个微透镜对应的至少两个像素对包括的子像素点，接收穿透所述微透镜所射入的光信号。
- 如权利要求10所述的摄像装置，其特征在于，所述至少两个像素对为两个像素对；则：所述处理器，用于：根据所述至少两个像素对中的每个像素对包括的子像素点对应于所述微透镜的位置信息，以及射入所述至少两个像素对中的每个像素对包括的子像素点的光信号，确定出射入所述至少两个像素对的至少两个相位信息；其中，一个像素对对应一个相位信息；根据预设的相位信息和深度信息的对应关系，以及所述至少两个相位信息，获取所述至少两个相位信息对应的深度信息。
- 如权利要求10或11所述的摄像装置，其特征在于，所述N为四；所述像素点对应的四个子像素点的排列方式为两行乘两列；所述四个子像素点中的一个像素对为以下内容中的任一项：排列成一行的两个子像素点、排列成一列的两个子像素点和排列成对角线的两个像素点。
- 如权利要求8至12任一权利要求所述的摄像装置，其特征在于，所述N个子像素点中的每个子像素点对应一个滤光模块；所述N个子像素点分别对应的滤光模块的颜色相同。
- 如权利要求8至13任一权利要求所述的摄像装置，其特征在于，所述至少一个微透镜为所述图像传感器中的所有微透镜。
- 一种摄像装置，其特征在于，包括镜头、图像传感器和与所述图像传感器连接的处理单元，所述图像传感器包括至少一个微透镜，所述至少一个微透镜的中的每个微透镜对应一个像素点，一个像素点包括N个子像素点，N为大于等于四的整数：所述图像传感器上的所述至少一个微透镜中的每个微透镜对应的像素点，用于接收光信号；所述处理单元，用于：针对所述图像传感器上的所述至少一个微透镜中的每个微透镜，执行：根据所述微透镜对应的像素点接收的光信号，以及所述像素点包括的N个子像素点之间的位置关系，确定所述像素点接收的所述光信号的相位信息，且 根据预设的相位信息和深度信息的对应关系，获取所述相位信息对应的深度信息；根据所述至少一个微透镜中的每个微透镜对应的深度信息，确定出被拍摄物体对应的深度信息。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2016/079858 WO2017181381A1 (zh) | 2016-04-21 | 2016-04-21 | 一种获取深度信息的方法及摄像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107710741A true CN107710741A (zh) | 2018-02-16 |
| CN107710741B CN107710741B (zh) | 2020-02-21 |
Family
ID=60116550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680009822.3A Active CN107710741B (zh) | 2016-04-21 | 2016-04-21 | 一种获取深度信息的方法及摄像装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107710741B (zh) |
| WO (1) | WO2017181381A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112866674A (zh) * | 2019-11-12 | 2021-05-28 | Oppo广东移动通信有限公司 | 深度图获取方法、装置、电子设备和计算机可读存储介质 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112243095B (zh) * | 2020-09-29 | 2023-07-25 | 格科微电子（上海）有限公司 | 像素合成模式下的pd像素的读取方法及装置、存储介质、图像采集设备 |
| CN112243096B (zh) * | 2020-09-30 | 2024-01-02 | 格科微电子（上海）有限公司 | 像素合成模式下的像素读取方法及装置、存储介质、图像采集设备 |
| CN115546306B (zh) * | 2022-01-30 | 2023-06-02 | 荣耀终端有限公司 | 一种相机标定方法、装置、电子设备及可读存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101414614A (zh) * | 2007-10-17 | 2009-04-22 | 采钰科技股份有限公司 | 图像感测装置及其制造方法 |
| CN101866056A (zh) * | 2010-05-28 | 2010-10-20 | 中国科学院合肥物质科学研究院 | 基于led阵列共透镜tof深度测量的三维成像方法和系统 |
| CN102387294A (zh) * | 2010-08-26 | 2012-03-21 | 富士胶片株式会社 | 摄像模块以及图像信号处理方法 |
| CN103533636A (zh) * | 2012-06-29 | 2014-01-22 | 三星电子株式会社 | 测量到对象的距离的方法和装置 |
| CN103856706A (zh) * | 2012-12-03 | 2014-06-11 | 北京大学 | 一种通过光路遮挡方式获得图像附加深度相关信息的装置 |
| CN103856772A (zh) * | 2012-12-03 | 2014-06-11 | 北京大学 | 一种遮挡参数标定的方法 |
| CN204761572U (zh) * | 2014-05-01 | 2015-11-11 | 半导体元件工业有限责任公司 | 成像装置 |
| CN105122092A (zh) * | 2013-03-29 | 2015-12-02 | 日立麦克赛尔株式会社 | 相位滤波器、光学成像系统以及成像系统 |
| US20160037152A1 (en) * | 2014-07-31 | 2016-02-04 | Samsung Electronics Co., Ltd. | Photography apparatus and method thereof |
| US20160037094A1 (en) * | 2010-12-21 | 2016-02-04 | Seung-hyuk Chang | Methods of operating image sensors |
-
2016
- 2016-04-21 WO PCT/CN2016/079858 patent/WO2017181381A1/zh active Application Filing
- 2016-04-21 CN CN201680009822.3A patent/CN107710741B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101414614A (zh) * | 2007-10-17 | 2009-04-22 | 采钰科技股份有限公司 | 图像感测装置及其制造方法 |
| CN101866056A (zh) * | 2010-05-28 | 2010-10-20 | 中国科学院合肥物质科学研究院 | 基于led阵列共透镜tof深度测量的三维成像方法和系统 |
| CN102387294A (zh) * | 2010-08-26 | 2012-03-21 | 富士胶片株式会社 | 摄像模块以及图像信号处理方法 |
| US20160037094A1 (en) * | 2010-12-21 | 2016-02-04 | Seung-hyuk Chang | Methods of operating image sensors |
| CN103533636A (zh) * | 2012-06-29 | 2014-01-22 | 三星电子株式会社 | 测量到对象的距离的方法和装置 |
| CN103856706A (zh) * | 2012-12-03 | 2014-06-11 | 北京大学 | 一种通过光路遮挡方式获得图像附加深度相关信息的装置 |
| CN103856772A (zh) * | 2012-12-03 | 2014-06-11 | 北京大学 | 一种遮挡参数标定的方法 |
| CN105122092A (zh) * | 2013-03-29 | 2015-12-02 | 日立麦克赛尔株式会社 | 相位滤波器、光学成像系统以及成像系统 |
| CN204761572U (zh) * | 2014-05-01 | 2015-11-11 | 半导体元件工业有限责任公司 | 成像装置 |
| US20160037152A1 (en) * | 2014-07-31 | 2016-02-04 | Samsung Electronics Co., Ltd. | Photography apparatus and method thereof |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112866674A (zh) * | 2019-11-12 | 2021-05-28 | Oppo广东移动通信有限公司 | 深度图获取方法、装置、电子设备和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107710741B (zh) | 2020-02-21 |
| WO2017181381A1 (zh) | 2017-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10897609B2 (en) | Systems and methods for multiscopic noise reduction and high-dynamic range | |
| US10832429B2 (en) | Device and method for obtaining distance information from views | |
| JP6878604B2 (ja) | 撮像方法および電子装置 | |
| US10264174B2 (en) | Photographing apparatus and focus detection method using the same | |
| JP5929553B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
| CN104065854B (zh) | 一种图像处理方法及一种电子设备 | |
| KR102621115B1 (ko) | 촬영 장치 및 촬영 장치를 이용한 초점 검출 방법 | |
| US8878910B2 (en) | Stereoscopic image partial area enlargement and compound-eye imaging apparatus and recording medium | |
| KR101725045B1 (ko) | 화상처리장치 및 그 제어방법 | |
| CN104755981B (zh) | 图像处理装置、摄像装置及图像处理方法 | |
| US9818199B2 (en) | Method and apparatus for estimating depth of focused plenoptic data | |
| CN107710741A (zh) | 一种获取深度信息的方法及摄像装置 | |
| JP2009284188A (ja) | カラー撮像装置 | |
| US10366478B2 (en) | Method and device for obtaining a HDR image by graph signal processing | |
| CN103986854A (zh) | 图像处理设备、摄像设备和控制方法 | |
| US20190110028A1 (en) | Method for correcting aberration affecting light-field data | |
| JP6095266B2 (ja) | 画像処理装置及びその制御方法 | |
| JP7300895B2 (ja) | 画像処理装置および画像処理方法、プログラム、並びに記憶媒体 | |
| JPH1062140A (ja) | 形状の再構成方法および形状の再構成装置 | |
| JPH1069543A (ja) | 被写体の曲面再構成方法及び被写体の曲面再構成装置 | |
| CN111866369B (zh) | 图像处理方法及装置 | |
| US20190149750A1 (en) | High frame rate motion field estimation for light field sensor, method, corresponding computer program product, computer readable carrier medium and device | |
| WO2020066341A1 (ja) | 合焦度検出装置、深度マップ生成装置、及び、電子機器 | |
| JP7458723B2 (ja) | 画像処理装置、撮像装置、制御方法、およびプログラム | |
| US20220358667A1 (en) | Image processing apparatus and method, and image capturing apparatus and control method thereof, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |