CN110959287A - 摄像元件、摄像装置和距离图像的获取方法 - Google Patents

摄像元件、摄像装置和距离图像的获取方法 Download PDF

Info

Publication number
CN110959287A
CN110959287A CN201780093058.7A CN201780093058A CN110959287A CN 110959287 A CN110959287 A CN 110959287A CN 201780093058 A CN201780093058 A CN 201780093058A CN 110959287 A CN110959287 A CN 110959287A
Authority
CN
China
Prior art keywords
visible light
exposure
pixels
light pixels
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780093058.7A
Other languages
English (en)
Inventor
盐川淳司
松原孝志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of CN110959287A publication Critical patent/CN110959287A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本发明能够不损失距离图像的灵敏度地得到高分辨率的彩色图像。摄像元件(10)具有传感器部、可见光像素驱动部(210)和非可见光像素驱动部(220)。传感器部包括对可见光具有灵敏度的多个可见光像素(11)和对非可见光具有灵敏度的多个非可见光像素(14)。可见光像素驱动部(210)控制可见光像素(11)的曝光和可见光像素(11)通过曝光而进行了光电转换所得的电荷的读取。非可见光像素驱动部(220)控制非可见光像素(14)的曝光和非可见光像素(14)通过曝光而进行了光电转换所得的电荷的读取。非可见光像素驱动部(220)在非可见光像素(14)的曝光和读取时按预先设定的2个以上的非可见光像素(14)进行曝光，将2个以上的非可见光像素(14)通过曝光进行光电转换所得的电荷相加，基于相加所得的电荷生成距离图像。

Description

摄像元件、摄像装置和距离图像的获取方法
技术领域
本发明涉及摄像元件、摄像装置和距离图像的获取方法，特别涉及对于距离图像的获取有效的技术。
背景技术
近年来，已知对进行摄像的摄像元件添加获取距离图像的功能的技术。该距离图像的获取例如能够使用TOF(Time-Of-Flight：飞行时间)法。TOF法是从光源向对象物发射脉冲光，计测来自对象物的反射光到达观测点为止的时间，由此计测到该对象物的距离的技术。
作为这种获取通常图像和距离图像两者的摄像元件，例如有专利文献1。该专利文献1中记载了，包括：向被拍摄体发射光的发光装置；具有光电二极管(PD)、与PD连接的像素存储器和经由开关与像素存储器连接的FD的像素2维地排列有多个的摄像元件；驱动摄像元件的驱动电路105，从包括发光装置的发射光期间的电荷蓄存期间的开始到发射光期间的过程中预先决定的时间，使开关导通，读取与从截断开关后蓄存于FD的电荷对应的第一信号，在经过了电荷蓄存期间时，读取与像素存储器中蓄存的电荷对应的第二信号；基于第一信号和第二信号计算距被拍摄体的距离的信号处理电路107。
现有技术文献
专利文献
专利文献1：日本特开2015-201733号公报
发明内容
发明要解决的技术课题
在上述专利文献1的摄像元件中，将得到通常图像时和得到距离图像时从摄像元件读取信号的驱动方法，分别分为通常图像用和距离图像用。因此，在同一帧时间(frametiming)中不能够同时获取通常图像和距离图像。
由此，考虑按帧切换彩色图像和距离图像来获取，但此时彩色图像和距离图像的获取帧速率分别变成一半。
结果，在获取距离图像时，难以得到分辨率高的彩色图像。此外，在距离图像中，担心信号对噪声比下降，测距精度变低。
本发明的目的是提供能够不损碍距离图像的灵敏度地得到高分辨率的彩色图像的技术。
本发明的上述目的和特征以及其它目的和新的特征，根据本说明书的记述和附图能够明确。
用于解决课题的技术方案
以下简单说明本发明公开的发明中代表性发明的概要。
即，代表性的摄像元件具有传感器部、可见光像素驱动部和非可见光像素驱动部。传感器部包括对可见光具有灵敏度的多个可见光像素和对非可见光具有灵敏度的多个非可见光像素。
可见光像素驱动部控制可见光像素的曝光和可见光像素通过曝光而进行了光电转换所得的电荷的读取。非可见光像素驱动部控制非可见光像素的曝光和非可见光像素通过曝光而进行了光电转换所得的电荷的读取。
非可见光像素驱动部在非可见光像素的曝光和读取时按预先设定的2个以上的非可见光像素进行曝光，将2个以上的非可见光像素通过曝光而进行了光电转换所得的电荷相加，基于相加得到的电荷生成距离图像。
特别是，非可见光像素驱动部进行控制，使得进行2个以上的非可见光像素的曝光的第一曝光期间的至少一部分的期间与进行可见光像素的曝光的第二曝光期间重叠。
发明效果
以下简单说明本发明公开的发明中代表性发明能够得到的效果。
能够获取分辨率高的彩色图像和SN比高的距离图像。
附图说明
图1是表示实施方式1的摄像元件的结构的一例的说明图。
图2是表示图1的摄像元件的结构的一例的框图。
图3是表示图2的摄像元件所具有的可见光像素驱动部和非可见光像素驱动部的等效电路图的一例的说明图。
图4是表示图3的可见光像素驱动部和非可见光像素驱动部的读取时序的一例的时序图。
图5是表示图3的非可见光像素驱动部的等效电路图的另一例的说明图。
图6是表示图4的读取时序(timing)的另一例的时序图。
图7是表示图1的摄像元件的可见光像素所具有的彩色滤光片的光的带通特性的一例的说明图。
图8表示本发明的发明者研究出的在不拍摄距离图像的彩色图像用的摄像元件中使用的滤波器的结构例。
图9是表示图1的摄像元件的像素排列的另一例的说明图。
图10是表示图9的摄像元件的像素排列的其它例的说明图。
图11是表示图10的摄像元件的像素排列的其它例的说明图。
图12是表示图1的摄像元件的像素排列的另一例的说明图。
图13是表示使用图2的摄像元件的摄像装置的一例的说明图。
图14是表示使用图13的摄像装置的便携终端的一例的说明图。
图15是表示图14的便携终端的增强现实的应用例的说明图。
图16是表示将图15的虚拟物体使用增强现实显示于便携终端的显示部时的一例的说明图。
图17是表示实施方式2的便携终端的应用例的说明图。
图18是表示实施方式3的便携终端的应用例的说明图。
图19是表示实施方式4的便携终端的结构的一例的说明图。
图20是表示实施方式5的便携终端的应用例的说明图。
图21是表示图20的便携终端的结构的一例的框图。
图22是表示使用者装戴图20的便携终端时的菜单显示的一例的说明图。
图23是表示图20的便携终端的应用例的说明图。
图24是表示图23的便携终端的其它应用例的说明图。
图25是表示实施方式6的摄像装置的应用例的说明图。
图26是表示图25的摄像装置的其它应用例的说明图。
具体实施方式
在用于说明实施方式的全图中，对相同的部件原则上标注相同的附图标记，省略其重复说明。
以下详细说明实施方式。
(实施方式1)
<摄像元件的像素结构例>
图1是表示本实施方式1的摄像元件的结构的一例的说明图。
摄像元件10具有可见光像素11和像素14。由这些可见光像素11和像素14构成传感器部。
可见光像素11具有在红(R)、绿(G)、蓝(B)的可见光域中具有灵敏度的彩色滤光片。非可见光像素14是接受靠近非可见光域的近红外光的像素。另外，图中记载为“R”、“G”、“B”的是可见光像素11，记载为“IR”的是非可见光像素14。以下对于表示摄像元件的像素的图也进行同样的记载。
可见光像素11和非可见光像素14配置为格子状的图案，这是所谓的拜尔排列。拜尔排列以R像素、G像素、G像素、B像素为1组地格子状排列，但图1所示的摄像元件10的情况下，构成拜尔排列的2个G像素中，代替1个G像素，排列非可见光像素14。即从图1的左上方的角部起顺时针地排列有R像素、G像素、B像素以及非可见光像素14。
由此，由R像素、G像素、B像素的可见光像素11和1个非可见光像素14构成1个组。1个组中的R像素、G像素、B像素的可见光像素11是用于拍摄彩色图像的像素。非可见光像素14是用于利用TOF(Time-Of-Flight：飞行时间)传感器的原理拍摄距离图像的像素。
在可见光域具有灵敏度的可见光像素11分别独立地读取各自光电转换所得的电荷。另一方面，非可见光像素14构成为混合预先设定的个数例如4个非可见光像素14的电荷而读取。
为了拍摄自然界、室内的照明光的可见光，一般彩色图像以具有充分的灵敏度的方式制作。另一方面，TOF传感器为了得到距离图像而照射测距所需的红外光，对其反射光进行光电转换从而得到测距图像。因此光量与可见光相比受到制限。
由此只要提高非可见光像素的灵敏度即可，但在摄像元件上均匀地形成进行光电转换的像素的摄像元件中，仅提高用于IR的像素即非可见光像素的灵敏度是困难的。
因此，如上述图1的结构所示的那样，仅非可见光像素14混合多个的像素而读取的话，混合后的非可见光像素的受光量为约4倍，结果能够提高对于近红外光(IR)光的信号量。结果，能够提高对于距离图像的信号对噪声比(SN比)，因此能够得到良好的距离图像。
此外，R像素、G像素、B像素分别独立地读取电荷，因此能够得到分辨率高的彩色图像。进而，彩色图像和距离图像能够以相同的帧时间即帧速率获取。
另外，图1中，如上所述记载了将4个非可见光像素14混合读取的例子，但混合的非可见光像素14的个数并不限定于此。例如摄像元件10的像素数为16兆像素时，混合的非可见光像素14的数量也可以为16像素左右。
<摄像元件的结构例>
接着说明摄像元件10的详情。
图2是表示图1的摄像元件的结构的一例的框图。
摄像元件10如图2所示具有可见光像素11、非可见光像素14、可见光像素驱动部210、非可见光像素驱动部220和输出接口230。可见光像素11是图1所示的R像素、G像素、B像素，是对红(R)、绿(G)、蓝(B)分别具有灵敏度的像素。同样非可见光像素14是图1所示的接受靠近非可见光域的近红外光的像素。
可见光像素驱动部210驱动摄像元件10所具有的R像素、G像素、B像素各可见光像素11。非可见光像素驱动部220驱动摄像元件10所具有的非可见光像素14。该非可见光像素驱动部220与拍摄作为TOF传感器的距离图像的IR发光控制信号一起输出。
输出接口230是将可见光像素驱动部210和非可见光像素驱动部220的输出作为摄像元件10的图像信号输出的接口。
<可见光像素驱动部和非可见光像素驱动部的电路例>
接着说明可见光像素11的驱动和读取动作。
图3是表示图2的摄像元件所具有的可见光像素驱动部和非可见光像素驱动部的等效电路图的一例的说明图。
其中，在图3中，为了简化，可见光像素驱动部210仅表示了与3个可见光像素11对应的等效电路的结构，非可见光像素驱动部220仅表示了与4个非可见光像素14对应的等效电路的结构。
可见光像素驱动部210具有开关321～323、开关341～343、电容元件331～333、放大器351、图像数据生成部353和可见光时序生成部352。
在摄像元件10中，可见光像素11例如由光电二极管构成。在开关321～323的一方的连接部分别连接着光电二极管的阴极。
在开关321～323的另一方的连接部，分别连接着电容元件331～333的一方的连接部和开关341～343的一方的连接部。电容元件331～333的另一方的连接部分别连接于基准电位。
在开关341～343的另一方的连接部，共同连接着放大器351的输入部，在该放大器351的输出部，连接着图像数据生成部353的输入部。从该图像数据生成部353的输出部输出的信号成为图像数据。
开关321～323是获取在R像素、G像素和B像素的各可见光像素11进行光电转换而得的电荷的开关。电容元件331～333将获取的电荷转换为电压。
开关341～343依次读取在电容元件331～333分别蓄存的电荷。放大器351是将由电容元件331～333转换的电压放大的读取用的放大器。图像数据生成部353将放大器351所读取的像素输出例如转换为数字数据而输出。
可见光时序生成部352生成控制开关321～323、开关341～343等的导通/关断驱动的控制信号等。由此，在后述的时序进行各可见光像素11的读取。
此外，可见光时序生成部352以输入作为从外部输入的控制命令的设定参数的方式连接，能够基于该设定参数设定曝光时间等时序参数。
由设定参数设定的时序参数，存储于可见光时序生成部352所具有的未图示的寄存器等。设定参数例如从控制摄像元件10的微型计算机等输出。
非可见光像素驱动部220具有开关361～364、电容元件371～374、放大器381～384、距离数据运算生成部386和非可见光时序生成部382。开关361～364构成第一开关部。电容元件371～374构成第一电容部。放大器381～384成为放大部。
在非可见光像素14中，也与可见光像素11同样由光电二极管构成。4个作为非可见光像素14的光电二极管的阴极共同连接，与同样共同连接的开关361～364的一方的连接部连接。
在开关361～364的另一方的连接部，分别连接着电容元件371～374的一方的连接部和放大器381～384的输入部。在放大器381～384的输出部，连接着距离数据运算生成部386的输入部，从该距离数据运算生成部386的输出部输出包括距离数据的距离图像。
此处，例示图1中说明的混合4个非可见光像素14的电荷而读取的情况，但混合而读取的非可见光像素14并不限于4个。例如混合8个非可见光像素14的电荷而读取时，成为共同连接的8个作为非可见光像素14的光电二极管的阴极和8个开关共同连接的结构。
关于其余的静电电容和放大器，也成为设置有与混合而读取的可见光像素11的数量相同的数量的结构。由此，分别设置8个静电电容和8个放大器，8个放大器的输出部分别连接距离数据运算生成部386的输入部。
开关361～364是获取在共同连接的非可见光像素14进行光电转换所得的电荷的开关。电容元件371～374将获取的电荷转换为电压。
另外，图5中为开关361～364设置于非可见光像素驱动部220的结构，也可以是这些开关361～364设置于摄像元件10的结构。
放大器381～384将由电容元件371～374转换了的电压放大。作为距离图像运算部的距离数据运算生成部386将从放大器381～384输出的读取的像素输出例如转换为数字数据而输出，并且进行TOF运算，输出计算距离图像的像素数据而得的距离图像。
成为时序控制部的非可见光时序生成部385，生成使进行非可见光像素14的读取的开关361～364等导通/关断的控制信号。以对该非可见光时序生成部385分别输入可见光时序生成部352所输出的帧时间和设定参数的方式连接。该帧时间成为从摄像元件10读取的彩色图像的帧速率。
<读取动作例>
图4是表示图3的可见光像素驱动部和非可见光像素驱动部的电荷的读取时序的一例的时序图。
从图4的上方到下方，分别表示帧时间、R像素曝光、B像素曝光、B像素曝光、R像素读取、B像素读取、B像素读取、非可见光像素曝光和非可见光像素混合读取的信号时序。
帧时间是表示彩色图像的影像的曝光获取的时序的信号。R像素曝光是作为R像素的可见光像素11的曝光时序，表示该可见光像素11获取光的期间。G像素曝光是作为G像素的可见光像素11的曝光时序。B像素曝光是作为B像素的可见光像素11的曝光时序。图4的R像素曝光、G像素曝光和B像素曝光的Hi信号期间成为第二曝光期间。
R像素读取是作为R像素的可见光像素11的读取时序。G像素读取是作为G像素的可见光像素11的读取时序。B像素读取是作为B像素的可见光像素11的读取时序。
非可见光像素曝光是4个非可见光像素14进行的曝光的时序，非可见光像素混合读取是混合4个非可见光像素14的电荷的读取时序。该非可见光像素曝光中的Hi信号和Lo信号的反复期间成为第一曝光期间。
首先说明可见光像素驱动部210进行的读取处理。
R像素、G像素、B像素的各可见光像素11以帧时间为基准进行曝光和读取。R像素、G像素和B像素的各可见光像素11各自的曝光以R像素曝光、G像素曝光和B像素曝光的Hi信号的时刻进行曝光。
R像素曝光、G像素曝光和B像素曝光所示的信号从Hi信号转移到Lo信号时，从可见光时序生成部352输出使开关321～323分别导通的控制信号，从而开关321～323导通。由此，各个可见光像素11的电荷转送至电容元件331～333。
在R像素读取的Hi信号的期间，通过开关341导通，电容元件331的电荷输出至放大器351。在G像素读取的Hi信号期间中，通过开关342导通，电容元件332的电荷输出至放大器351。在B像素读取的Hi信号期间，通过开关343导通，电容元件333的电荷输出至放大器351。
使这些开关341～343导通的控制信号从可见光时序生成部352输出。由此，电容元件331～333的电荷依次输出至放大器351，电荷的读取处理结束。
接着说明非可见光像素驱动部220的读取处理。
4个非可见光像素14如图4的非可见光像素曝光所示在帧时间的Hi信号的期间反复地进行非可见光像素曝光处理。
图4的非可见光像素混合读取的下方所示的信号时序，表示上述非可见光像素曝光处理的时序，从上方到下方，分别表示近红外光发光、反射光、曝光a、曝光b、曝光c和曝光d的信号时序。
近红外光发光是后述图13的摄像装置所具有的IR光源部1103发出的近红外光的发光时序。反射光是从被拍摄体反射的光的时序。曝光a、曝光b、曝光c和曝光d是混合读取的4个非可见光像素14各自的曝光时序。
首先，非可见光时序生成部385生成发光时序信号并输出至IR光源部1103。发光时序信号是由IR光源部1103发出近红外光的信号，基于例如Hi信号的发光时序信号，IR光源部1103发出近红外光。
当作为光源部的IR光源部1103发出近红外光时，如图所示从曝光a到曝光d依次进行曝光。由此，非可见光时序生成部385在每次曝光a～曝光d结束时输出控制信号使开关361～364依次导通。
例如在曝光a，与该曝光a对应的非可见光像素14的曝光结束时，开关361导通。接着，在曝光b，与该曝光b对应的非可见光像素14的曝光结束时，开关362导通。
IR光源部1103发出的近红外光的反射光根据到被拍摄体的距离而延迟时间t1到达摄像元件10。延迟时间t1而到达的近红外光，在从曝光a到曝光d的Hi信号的期间的曝光时序，各个电荷分别蓄存于电容元件371～374。
在图4所示的情况下，曝光a的曝光时序中，由阴影线表示的时间t2的期间的反射光被光电转换，光电转换后的电荷Qa蓄存于电容元件371。曝光b的曝光时序中，同样由阴影线表示的时间t3的期间的反射光被光电转换，光电转换后的电荷Qa蓄存于电容元件372。
由此，与距被拍摄体的距离相应地近红外光的反射光延迟时间t1，在曝光a的Hi信号的期间、曝光期间b的Hi信号的期间被光电转换而蓄存的电荷量发生改变，因此能够根据电荷Qa、Qb的电荷量由距离数据运算生成部386计算到被拍摄体的距离。
此外，也能够根据电荷Qa与电荷Qb的比来求取距离。利用电荷Qa与电荷Qb的比求取距离时，能够除去被拍摄体的反射率的差、近红外光的光源以外的干扰的近红外光的影响。
曝光c和曝光d在距被拍摄体的距离更长时，换言之近红外光的反射时间更长时，也能够根据非可见光像素14的输出来进行测距，能够保证测距精度并且延长测距范围。
另外，本实施方式1中，表示了曝光a～曝光d的4相位的例子，但检测相位的数量并不限定于此。
对在1帧间的非可见光像素曝光反复蓄存的非可见光像素14的电荷的混合读取，在帧时间的最后以非可见光混合像素读取的Hi信号的时序进行。非可见光混合像素读取是计算距离数据运算生成部386所计算出的距被拍摄体的距离并输出距离图像的处理。
此外，如果不使IR混合像素读取的时序为1帧，而数帧读取1次，则能够进一步增大非可见光像素14的蓄存光量，能够进一步提高距离图像的SN比。
如以上所说明的，通过将4个非可见光像素14的电荷混合地读取，混合后的非可见光像素14的受光量大致成为混合像素数量的倍数，结果能够提高对近红外光的信号量。
由此，因为能够提高对于距离图像的信号对噪声比(SN比)，所以能够得到良好的距离图像。此外，关于R像素、G像素、B像素的各可见光像素11，能够分别单独地读取电荷，因此能够得到分辨率高的彩色图像。进而，能够在同一帧时间获取彩色图像和距离图像。
在使摄像元件的像素间距更小而增回分辨率时，能够增加非可见光像素14的像素数。结果，能够增加混合地读取电荷的非可见光像素14的数量，因此能够提高对于近红外光的信号量。
根据以上内容，能够提供能够获取分辨率高的彩色图像和SN比高的距离图像的摄像元件10。
<非可见光像素驱动部的电路例>
图5是表示图3的非可见光像素驱动部的等效电路图的另一例的说明图。
图5的非可见光像素驱动部220与图3的非可见光像素驱动部220不同点在于，还设置有作为第二开关部的开关391～394。这些开关391～394基于从非可见光时序生成部385输出的控制信号被控制导通/关断。开关391～394是读取混合电荷的非可见光像素14的电荷的读取用开关。
在开关391～394的一方的连接部，分别连接着构成非可见光像素14的光电二极管的阴极。开关391～394的另一方的连接部与开关361～364的一方的连接部共同连接。其它连接结构与图3同样因此省略说明。
将例如图示的4个非可见光像素14的电荷混合而读取时，非可见光时序生成部385输出控制信号以使得开关361～364全部导通。
此外，非可见光时序生成部385能够基于从外部输入的作为设定信息的设定参数，变更与作为非可见光像素14的光电二极管连接的开关391～394的导通时序。像这样能够任意地变更导通的开关数，因此能够容易地变更使电荷混合的非可见光像素14的数量。
由此，能够根据距离图像的生成所需的非可见光像素14的信号量在短时间内容易地变更混合像素数，因此能够生成SN比良好的距离图像。
<读取时序例>
图6是表示图4的读取时序的另一例的时序图。
图4中表示了1帧的帧时间期间中的读取例，该图6表示了3帧的帧时间期间中的读取例。
从图6的上方到下方，分别表示帧时间、R像素曝光、G像素曝光、B像素曝光、R像素读取、B像素读取、B像素读取、非可见光像素曝光和非可见光像素混合读取的信号时序。
在图4所示的例子中，近红外光曝光中的非可见光像素曝光处理在1帧的期间反复进行，但在图6所示的例子中，跨3帧的期间反复进行非可见光像素曝光处理。之后，在图6的非可见光像素混合读取的Hi信号的期间进行电荷的读取。
由此，在可见光像素11的帧时间的3帧期间中，持续进行非可见光像素曝光处理后，读取混合的电荷。这样通过使非可见光像素14的电荷的读取为帧速率的1/3，能够得到与摄影环境等对应的可见光图像和距离图像。
在该图6的例子中，表示了使非可见光像素14的电荷的读取为帧速率的1/3的例子，但通过为帧速率的1/N(N为整数)，能够得到与摄影环境等对应的良好的可见光图像和距离图像。
作为读取时序的1/N的设定例如由从外部输入的设定参数设定。非可见光时序生成部385基于输入的设定参数来控制开关361～364的导通/关断的时序，使得读取时序为帧速率的1/N。
根据以上内容，能够容易地使非可见光像素14的电荷的混合量可变，并且能够容易地使读取时序相对于可见光像素11的帧速率为例如1/N(N为整数)。
由此，在希望保持距离图像的分辨率而提高SN比的情况下，希望使非可见光像素14的读取时序为帧速率的1/N，使读取时序与可见光像素11的帧时间相同的情况下，能够进行使混合的非可见光像素14的数量增加而提高SN比等使用方式。
<关于彩色滤光片>
图7是表示图1的摄像元件的可见光像素所具有的彩色滤光片的光的带通特性的一例的说明图。
在图7中，从上方到下方分别表示在B像素的可见光像素中使用的蓝的波段的彩色滤光片、在G像素的可见光像素中使用的绿的波段的彩色滤光片、在R像素的可见光像素中使用的红的波段的彩色滤光片和在非可见光像素14中使用的近红外的波段的彩色滤光片的特性。
此外，图8表示本发明的发明人研究的不拍摄距离图像的彩色图像用的摄像元件中使用的彩色滤光片的结构例。
在不拍摄距离图像的彩色图像用的摄像元件603中，在B像素采用使用绿和近红外光(B+IR)的频带的未图示的彩色滤光片，在G像素采用使用绿和近红外光(G+IR)的频带的未图示的彩色滤光片，在R像素采用使用红和近红外光(B+IR)的频带的未图示的彩色滤光片。
此外，近红外光的成分是不需要的，因此在微透镜601与摄像元件603之间的光轴上形成有仅使可见光波段通过、截断近红外光的成分的IR截波滤波器602，构成为除去在颜色信号生成中不需要的近红外光。微透镜在摄像元件603所具有的各像素上形成，是在各个该像素获取光的透镜。
另一方面，图1所示的摄像元件10的情况下，使用图7所示的具有光的带通特性的滤波器。例如在作为B像素的可见光像素11的情况下，使用在图7的上方所示的获取蓝的波段的彩色滤光片。
同样在作为G像素的可见光像素11的情况下，使用获取图7的绿的波段的彩色滤光片，在作为R像素的可见光像素11的情况下，使用获取图7的红的波段的彩色滤光片。由此能够有效地去除在彩色图像生成中不需要的近红外光的成分。
此外，为非可见光像素14的情况下，使用获取近红外的波段的彩色滤光片，使得能够获取距离图像所需的近红外光的成分。通过使用这样的彩色滤光片，能够大致同时获取良好的彩色图像和距离图像。
<像素配置例>
图9是表示图1的摄像元件的像素排列的另一例的说明图。
图9的摄像元件10的像素排列是对于图1所示的摄像元件10，G像素和IR像素替换的排列。即，从图9的左上方的角部起顺时针地依次排列有R像素的可见光像素11、非可见光像素14、B像素的可见光像素11以及G像素的可见光像素11。
图10是表示图9的摄像元件的像素排列的其它例的说明图。
图9中，在格子状排列的像素中，表示了隔一个像素排列非可见光像素14的例子，但在图10(a)中表示了，在非可见光像素14格子状排列的像素中，在行方向和列方向的任一者均隔3个像素地排列的例子。
此外，图10(a)表示在图1所示的像素排列中，在非可见光像素14格子状排列的像素中，在行方向和列方向的任一者均隔3个像素地排列的例子。
根据图10(a)和图10(b)所示的像素排列，能够增加可见光像素11的数量，因此能够提高彩色图像的分辨率和可见光灵敏度。
图11是表示图10的摄像元件的像素排列的其它例的说明图。
图11(a)～图11(d)表示使非可见光像素14在行方向上2像素邻接配置并且在列方向上2像素邻接配置的例子。通过像这样将非可见光像素14在行方向和列方向上邻接配置，能够容易地形成摄像元件10的非可见光像素14和可见光像素11的配线。
图12是表示图1的摄像元件的像素排列的另一例的说明图。
在该图12所示的摄像元件10的排列中，表示了将非可见光像素14在倾斜方向上每隔1像素配置的例子。
仅获取彩色图像的摄像元件的光电二极管中，绿的波段灵敏度最高，在比其靠长波长侧具有灵敏度峰的摄像元件的情况下，通过采用图12所示的像素的配置，与例如图1、图9所示的非可见光像素14的配置相比，能够提高R像素、G像素、B像素的密度。结果能够提高可见光灵敏度。
以上，在图1、图9～图12中表示了各种像素的配置例，可见光像素11和非可见光像素14的配置并不限定于此。
<摄像装置的结构例>
图13是表示使用图2的摄像元件的摄像装置的一例的说明图。
摄像装置1100具有光学透镜部1101、摄像元件10、IR光源部1103和摄像机控制部1104。光学透镜部1101使被拍摄体等的像成像。
摄像元件10与图2相同，获取彩色图像和距离图像。IR光源部1103照射近红外光。摄像机控制部1104控制摄像元件10的曝光时间和彩色图像的白平衡等。IR光源部1103以图4所示的摄像元件10中生成的近红外光的发光时序控制发光。
如图13所示，通过使用图2的摄像元件10构成摄像装置1100，能够得到SN比良好的距离图像和分辨率高的彩色图像。进而，能够提供能够在同一帧时间获取彩色图像和距离图像的摄像装置1100。
另外，图13中，采用摄像机控制部1104分别控制曝光和白平衡的结构，但也可以采用例如根据摄像元件10输出的图像信号，在摄像装置1100的外部控制曝光和白平衡等的结构。
作为同时获取距离图像和彩色图像的方法，广泛采用的是分别搭载彩色图像用摄像元件和距离图像用的摄像元件的方式。但是，在利用不同的摄像元件同时获取距离图像和彩色图像时，必须使彩色图像用摄像元件和距离图像用的摄像元件的视野角(视场角)匹配，其调整成本变高。
对此，图13所示的结构的摄像装置1100中，仅使用1个摄像元件10，因此能够获得摄像元件的个数带来的成本优势和调整成本的减少等。
<便携终端的结构例>
图14是表示使用图13的摄像装置的便携终端的一例的说明图。
便携终端1200包括例如平板电脑、智能手机等。该便携终端1200如图14所示具有通信接口1213、控制部1214、显示部1217、按钮1215、麦克风1261、扬声器1262、信号分离部1221、调制/解调部1222、储存器1225、移动通信接口1231、存储器1232、加速度传感器部1233、地磁传感器部1234、GPS接收部1235、陀螺传感器部1236、摄像装置1100、摄像装置1100a、开关输入部1250和声音输入输出部1260。其中，除了按钮1215、麦克风1261、扬声器1262的各功能部经由总线1201分别连接。
储存器1225存储应用程序，控制部1214从该储存器1225将应用程序在存储器1232展开，控制部1214执行所展开的应用程序，由此能够实现各种功能。
在以后的说明中，为了使说明简单，将控制部1214执行各应用程序而实现的各种功能，以各种程序功能部作为主体实现的方式进行说明。
另外，应用程序可以在便携终端1200出厂之前预先存储于储存器1225，也可以存储在CD(Compact Disk，高密度磁盘)、DVD(Digital Versatile Disk，数字通用光盘)等的光学介质、半导体存储器等介质中，并经由未图示的介质连接部安装于便携终端1200。
此外，也可以经由通信接口1213和未图示的无线路由从未图示的外部网络下载并安装。或者也可以利用移动通信接口1231经由未图示的基站从分发源下载并安装。
进而，可以经由网络与获取应用程序的个人计算机经由未图示的外部设备连接接口连接，从该个人计算机向便携终端1200移动或复制后安装。
此外，应用程序作为具有同样的功能的处理部，也能够由硬件实现。作为硬件实现的情况下，各处理部作为主体地实现各功能。
通信接口1213利用无线LAN(Local Area Network：局域网)等与未图示的无线路由连接。此外，通信接口1213经由无线路由与外部网络连接，与该外部网络上的服务器等进行信息的发送接收。
除了与无线路由的通信功能以外，或者代替该功能，能够利用Wi-Fi(注册商标)等无线LAN等技术，不经由无线路由地与服务器直接通信。
通信接口1213可以分别安装有进行不同的通信方式的芯片。此外，也可以安装成一个处理多种通信方式的芯片。也能够使用近距离通信用的被称为BLUETOOTH(注册商标)的通信方式，与其它设备进行通信。
移动通信接口1231能够利用第3代移动通信系统、或LTE(Long Term Evolution：长期演进)方式、下一代5G通信等移动通信网、经由基站与通信网络连接，与通信网络上的服务器进行信息的发送接收，也能够在终端间共用彼此的位置。
第3代移动通信系统(以下记为“3G”)是GSM(注册商标)(Global System forMobile Communications，全球移动通讯系统)方式、W-CDMA(Wideband Code DivisionMultiple Access，宽带码分多址)方式、CDMA2000方式、UMTS(Universal MobileTelecommunications System，通用移动电信系统)方式等。
此外，能够使经由通信接口1213与外部网络的连接比经由移动通信接口1231与通信网络的连接更优先。
控制部1214从按钮1215经由开关输入部1250、或从麦克风1261经由声音输入输出部1260接受用户的操作请求，控制信号分离部1221、显示部1217、通信接口1213和各种程序功能部。
进而，控制部1214也具有经由通信接口1213和无线路由从外部网络、或经由移动通信接口1231和基地局从外部网络上的服务器获取各种信息，向各种程序功能部传递的功能。
储存器1225能够由控制部1214的指示控制，保存应用程序。此外，保存由应用程序生成的各种信息。
也可以根据从调制/解调部1222、通信I/F1213或移动通信I/F1231接收到的信号保存影像声音流等内容。储存器1225可以内置于便携终端1200，也可以是能够相对于便携终端1200拆装的可移动型的存储器。
存储器1232由控制部1214的指示控制。利用控制部1214在存储器1232中将存储于储存器1225的应用程序的功能部展开。
显示部1217显示存储于储存器1225的图像、影像、广播/分发的影像、用于进行各种操作的UI等，要显示的图像、影像也可以是由应用程序生成的图像。
或者可以是经由调制/解调部1222接收到的内容的图像、影像，也可以是经由通信接口1213从外部网络上的服务器接收到的图像、影像。
此外，也可以是经由通信接口1213从电视接收机接收到的图像、影像，也可以是经由移动通信接口1231从通信网络上的服务器分发的图像、影像。显示部1217可以例如与后述的触控面板等一体构成。
按钮1251是接受来自用户的对便携终端1200的操作，输入关于输入操作的控制信息的输入部，例如能够使用触控面板等。
以下，在图14所示的例子中，说明了使用触控面板的例子，但也可以采用各种操作使用物理按钮的结构。通过使用触控面板，能够通过拖曳操作或快速拖曳操作等使对象等自由移动。
拖曳操作是例如用手指触摸着触控面板上的图标等任意对象的状态下移动的操作。快速拖曳操作是在画面上使手指以弹动的方式移动的操作。
当进行点击操作或双击操作时，能够激活图标等对象或切换为其它画面。点击操作是用手指叩击一次对象等的操作。双击操作是用手指叩击2次对象等的操作。此处，将上述触控面板的各操作称为拖曳操作、快速拖曳操作、点击操作地进行说明。
调制/解调部1222和信号分离部1221分别进行电视接收机的调制/解调、信号分离。加速度传感器部1233测量施加于便携终端1200的加速度。
控制部1214通过例如利用加速度传感器部1233测量重力加速度，能够得知便携终端1200的哪个部分处于上方，以显示于显示部1217的画面的上方与加速度传感器部1233所测量的上方匹配的方式进行显示。由此，能够显示与用户握持便携终端1200的方式配合的画面。
地磁传感器部1234利用多个磁传感器等来测量地磁。GPS接收部1235利用GPS(Global Positioning System，全球定位系统)接收从多个卫星发送来的信号。控制部1214能够基于GPS接收部1235接收到的信号计算便携终端1200的位置信息。
陀螺传感器部1236测量在用户使便携终端1200移动时等产生的便携终端1200的角速度。摄像装置1100和摄像装置1100a均包括图13所示的摄像装置1100。
例如摄像装置1100用作拍摄正面的风景、人物的所谓外摄像机，摄像装置1100a用作主要目的在于视频通话、自拍的内摄像机。
由摄像装置1100拍摄的图像记录于储存器1225。该图像的记录依据控制部1214记录于储存器1225的摄像机控制的程序，由控制部214控制。
此外，控制部1214进行将由摄像装置1100等获取的图像、除此之外存储于储存器1225等的虚拟物体的3维数据等在显示部1217重叠显示的控制。
声音输入输出部1260用于从装备于便携终端1200的麦克风1261的声音输入信号和向扬声器1262的声音输出信号的输入输出，由控制部1214进行其声音输入输出的音量的控制。
开关输入部1250根据物理按钮1251的操作获取开关信息，通过总线1201获取至控制部1214，根据需要在各种应用程序的控制中使用。
作为一例，根据按钮1251的2个按钮进行声音输出的大小调整，即在音量的上升下降的控制中使用。另外，按钮1251的数量可以是1个也可以是多个。
接着，说明使用上述图14的便携终端的应用例。
<应用例>
图15是表示图14的便携终端进行的增强现实的应用例的说明图。
近年来，使用彩色图像、距离图像在拍摄的画面上将实际上不存在的虚拟物体重叠显示的增强现实(Augmented Reality，以下称为AR)作为便携终端的应用例被关注。
图15表示持有便携终端1200的使用者1301对桌1304进行摄影的状况。此时，用在与显示部1217相对的背面设置的作为外摄像机安装的摄像装置1100摄像。
图15的虚线所示的虚拟物体1303，是在便携终端1200中定义了大小和至便携终端1200的距离的虚拟的物体，实际上不存在。使用者1301表示将手掌1305放在虚拟物体1303之前的状态。
<显示例>
图16是表示将图15的虚拟物体使用增强现实显示于便携终端的显示部时的一例的说明图。
图16(a)和图16(b)均表示作为增强现实(AR)应用进行图像合成显示的一例。图16(a)中，在便携终端1200的显示部1217，在以彩色图像得到的桌1304、使用者伸出的手掌1305之外，还分别显示距桌相同距离的虚拟物体1303。
图16(b)表示手掌1305处于画面的里侧方向时的显示例。如图所示，虚拟物体1303与便携终端1200的距离更近时，以手掌1305处于虚拟物体1303的里侧的方式显示。
得到在由距离图像得到的各像素位置中，例如像素的数据大的值的部位为近的距离、值越小则为越远的距离的距离图像。因此，以手掌1303处于比虚拟物体的定义的距离远的像素位置的方式重叠显示虚拟物体。
此外，能够在比虚拟物体的定义的距离近的部位存在手掌1303的像素位置显示彩色图像，能够提供使用者1301喜爱的应用。
在这样的用途中，能够将彩色图像、距离图像同时地按每1帧进行摄影，因此在手掌1305前后移动时，能够流畅地显示虚拟物体1303的重叠显示。进而，彩色图像能够进行像素数多、分辨率高的图像显示。
此外，使用距离图像，基于彩色图像进行3维图像捕捉数据的生成，此时，对距离图像合成彩色图像的边缘等而生成高精度的3D(Dimensions：维)图像数据时，能够使用距离图像与彩色图像没有时间偏差的图像。
通过姿态输入控制其它因素等时，也没有距离图像与彩色图像的时间偏差，因此能够提高帧速率。由此，能够提高姿态输入的响应性。
(实施方式2)
<应用例2>
图17是表示本实施方式2的便携终端的应用例的说明图。
该图17中，表示图14的便携终端1200的增强现实的应用例。
图17(a)和图17(b)表示使用者1401使用作为便携终端1200的内摄像机的图14的摄像装置1100a进行自拍，从而使用图14的摄像装置1100a进行视频通话等的情况等。
在图17(a)中，使用者1401用摄像装置1100a拍摄的彩色图像直接显示于显示部1217。由此，墙壁等房间的背景也显示于显示部1217。
此处，摄像装置1100a也拍摄距离图像，因此使用它，如图17(b)所示，将比使用者1401远的背景与预先设定的背景画面重叠地显示于显示部1217。背景画面例如使用存储于图14的储存器1255等的背景画面。
由此，能够提供使用者1401喜好的功能。
(实施方式3)
<应用例3>
图18是表示本实施方式3的便携终端的应用例的说明图。
该图18中表示图14的便携终端的增强现实的应用例。图18中，表示利用便携终端1200例如浏览网络，将网络上的内容显示于显示部1217的状态。
此时，通过使作为便携终端1200的内摄像机的图14的摄像装置1100a动作，根据距离图像求取距使用便携终端1200的使用者的面部的距离。然后，根据求出的距离对显示内容1601、显示内容1602的字体大小进行放大、缩小控制。
例如距使用者的面部的距离远时，放大显示内容1601、1602的字体大小。距使用者的面部的距离近时，缩小显示内容1601、1602的字体大小。
由此，能够容易识别显示内容1601、1602，能够减轻使用者的眼睛的负担等。
(实施方式4)
<应用例4>
图19是表示本实施方式4的便携终端的结构的一例的说明图。
图19所示的便携终端1200采用在该便携终端1200所具有的显示部1217的上方设置有摄像装置1100a的结构。
摄像装置1100a如图1所示设置有用于彩色图像的像素和对近红外光具有灵敏度的作为IR像素的非可见光像素14。对近红外光具有灵敏度的摄像机用于手指静脉认证等。
使用摄像装置1100a所具有的非可见光像素14，例如进行手指静脉认证。能够使得使用者的手掌1701接近摄像装置1100a，利用彩色图像拍摄手指表面的指纹。此外，能够利用非可见光像素，不拍摄距离图像而拍摄手指静脉。
这样，同时拍摄指纹和手指静脉而进行认证，从而具有防止仅使用指纹图像的伪装等效果。
接着说明其它应用例。
近年来，被称为MR(Mixed Reality，混合现实)器件的眼镜型的便携终端被研究和产品化。在戴着眼镜的视野上将网络的信息等3维重叠显示，并且操作菜单等也重叠显示在视野上，以就像用手接触它的方式进行操作的话，菜单反应而能够进行各种操作。这些器件，也能够应用摄像装置1100。
(实施方式5)
<应用例5>
图20是表示本实施方式5的便携终端的应用例的说明图。
该图20中，便携终端1801例如构成为眼镜型。便携终端1801具有右透明部件1804、左透明部件1805、右显示部1802、左显示部1803和摄像装置1100。
右透明部件1804和左透明部件1805设置在相当于眼镜的透镜的部位。在眼镜的框架1806的上部分别设置有右显示部1802和左显示部1803。在框架1806的一方的边撑部分设置有摄像装置1100。
右透明部件1804和左透明部件1805是实施了使来自外部的光透过，且使来自使用者装戴而观察的一侧的面的光反射的涂层的透明部件。右显示部1802和左显示部1803例如将用于操作便携终端1801的菜单分别投影至右透明部件1804和左透明部件1805。
此外，摄像装置1100是能够同时拍摄彩色图像、距离图像的摄像装置，与图13为同样结构，因此省略说明。
使用者将手放置于由右显示部1802和左显示部1803投影的菜单而操作的动作由摄像装置1100拍摄。根据得到的彩色图像和距离图像分析手的动作而判断便携终端1801的操作，通过右显示部1802和左显示部1803显示操作结果。
此外，便携终端1801能够与其它便携终端1200进行信息的交换。信息的交换例如通过BLUETOOTH(注册商标，蓝牙)进行通信。
<便携终端的结构例>
图21是表示图20的便携终端的结构的一例的框图。
图21的便携终端1801的功能结构与图14所示的便携终端1200的不同点在于，新设置了右显示部1802和左显示部1803，而且去除了调制/解调部1222、信号分离部1221、显示部1217、开关输入部1250、声音输入输出部1260。
右显示部1802和左显示部1803配置在图20的眼镜型的便携终端1801的框架1806的上部，如上所述在右透明部件1804和左透明部件1805分别显示操作菜单。
此外，摄像装置1100为与图13同样的结构，三维地获取用户的手掌的动作，进行后述的菜单操作。关于其它的连接结构，与图14同样因此省略说明。
<菜单的显示例>
图22是表示使用者装戴图20的便携终端时的菜单显示的一例的说明图。
在右透明部件1804和左透明部件1805中，菜单1902以在虚拟的空间中浮着的方式显示。
用户用使用者的手掌1901操作该虚拟的菜单1902。菜单1901的项目中选择了哪个项目，由彩色图像显示，并且执行选择的项目的执行命令，以用距离图像判断手掌1901的里侧方向的动作的方式进行显示，从而能够提供使用方便的便携终端1801。
因此，即使是安装空间等不充裕的眼镜型的便携终端，也能够使用以一个摄像元件能够获取彩色图像和距离图像的摄像装置1100，由此能够实现小型化。由此，能够提高眼镜型的便携终端1801的装戴感。
<便携终端的应用例>
图23是表示图20的便携终端的应用例的说明图。
图23表示与图22同样使用者装戴眼镜型的便携终端1801时使用者的眼睛透过便携终端1801看到的状况。
在该图23中显示的便携终端2002是在眼镜型的便携终端1801映出的智能手机型的虚拟便携终端。使用者用手掌2001操作在该虚拟的便携终端2002上映出的操作菜单。
如果这样，则能够使手掌2001的动作在虚拟便携终端2002的范围中操作，具有能够减少在周围有人的场所与他人操作中的手碰撞的情况。
此外，如果使用者能够使选择便携终端1801的菜单画面进行操作的模式或者显示虚拟便携终端2002进行操作的虚拟终端模式开/关，则更为方便。
或者终端间通信等附近有很多人的情况下，如果使虚拟终端的显示模式控制为开等，则能够防止在周围有人的场所与他人操作中的手碰撞的情况，对于使用者和周边的人来说是方便的。
图24是表示图23的便携终端的另一应用例的说明图。
在该图24中，也表示与图23同样使用者装戴眼镜型的便携终端1801时，使用者的眼睛透过便携终端1801看到的状态。
对于使用者，如图所示从左侧到右侧，显示操作菜单2102、操作菜单2103、操作菜单2104。此外，处于操作菜单2103的跟前侧的便携终端1200是实际的便携终端，采用与图14同样的结构。
眼镜型的便携终端1801和便携终端1200搭载有图13所示的摄像装置1100。由此，便携终端1801和便携终端1200均能够利用彩色图像和距离图像来掌握周围的空间位置信息，因此能够掌握便携终端1801和便携终端1200的相对位置。
如图所示，便携终端1200位于显示于便携终端1801的操作菜单2103时，该便携终端1200成为菜单2103的操作终端。同样便携终端1200处于操作菜单2102时，菜单2102的选择操作等能够由便携终端1200进行。此外，便携终端1200处于操作菜单2104时，菜单2104的选择操作等能够由便携终端1200进行。
由此，菜单的选择动作本身能够通过点击实际的便携终端1200的画面来操作。结果，能够操作实体部件，因此对于使用者更能够有安心感。
此外，利用显示于便携终端1801的菜单2102～2104与操作中使用的便携终端1200的相对位置关系，便携终端1200处于虚拟显示的菜单2102～2104各自的跟前侧时，覆盖位于里侧的菜单地显示便携终端的彩色图像，由此具有使用者能够容易地操作便携终端1200的优点。
(实施方式6)
<应用例>
本实施方式6中，说明进行3维计测的领域中的应用例。
图25是表示本实施方式6的摄像装置的应用例的说明图。
图25中，表示例如在工厂等中判断产品的形状的技术。在工厂等中设置有传送带2101，由该传送带2101运送生产出的产品2202。
在传送带2101的上方设置有摄像装置1100，在该摄像装置连接有包括例如个人计算机等的判断装置2304。此处摄像装置1100的结构与图13同样。
摄像装置1100获取产品2202的彩色图像和距离图像。另外，彩色图像根据需要也可以是黑白图像。
判断装置2304进行由传送带2101运送的产品2202的良品/不良品的判断。良品/不良品的判断中，基于摄像装置1100拍摄的彩色图像和距离图像来判断产品2202的3维形状。
此时，传送带2201的运送速度可以是高速。
如上所述，摄像装置1100能够在相同的帧时间获取彩色图像和距离图像，因此能够提高摄影的帧速率。结果，即使传送带2201的运送速度为高速，也能够稳定地进行产品2202的良否判断。
由此，能够使传送带2201的运送速度为高速，因此能够提高产品2202的生产效率。
此外，摄像装置1100不仅在帧速率具有优点，与分别使用不同的距离图像用的摄像元件和彩色图像用的摄像元件的摄像装置相比，在成本方面也具有优点。
图26是表示图25的摄像装置的另一应用例的说明图。
该图26表示将摄像装置1100应用于自主移动型的机器人2301的例子。摄像装置1100设置成机器人2301的眼睛，获取彩色图像和距离图像。
机器人2301具有未图示的控制装置，该控制装置中进行3维图像化，根据其数据进行前方的障碍物、人物识别等。此时，通过使用交替获取彩色图像和距离图像的方式的摄像元件，能够提高摄影的帧速率。
进而，与分别使用不同的距离图像用的摄像元件和彩色图像用的摄像元件的摄像装置相比，在成本方面也是有利的。
此外，通过将图2的摄像元件10在需要摄像部的小型化的腹腔镜等中使用，能够提供能够用一个摄像元件拍摄距离图像和彩色图像，能够确认患部的大小等的腹腔镜。
另外，之前所述的实施方式均不限制为单独的形态。例如图24所示的例子中，将图14的便携终端1200放置在比操作菜单2103的虚拟位置远的位置时，以便携终端1200处于比菜单2103靠里侧的位置的方式显示。
此外，在将便携终端1200放置在比操作菜单2103的虚拟位置近的位置时，以便携终端1200处于菜单2103的跟前侧的方式进行显示等，由此能够提供使用更方便的便携终端。像这样各实施方式例的组合可以自由进行。
此外，能够将某实施例的结构的一部分转换为其它实施例的结构，此外，也能够在某实施例的结构上添加其它实施例的结构。此外，对于各实施例的结构的一部分，能够进行其它结构的添加、删除、置换。
此外，上述的各结构中，它们的一部分或全部即使由硬件构成，也可以按由处理器执行程序而实现的方式构成。此外，控制线、信息线表示了说明上所需的部分，并没有表示产品上全部的控制线、信息线。实际上几乎全部结构都是相互连接的。
<附记>
此外，以下记载实施方式中记载的内容的一部分。
(1)一种具有能够拍摄图像的摄像装置的便携终端，该摄像装置包括：获取光学像的光学透镜部；从该光学透镜部所获取的光学像获取图像数据的摄像元件；发出近红外光的光源部；和控制该光源部的发光和所述摄像元件的动作的控制部，摄像元件包括：包含对可见光具有灵敏度的多个可见光像素和对非可见光具有灵敏度的多个非可见光像素的传感器部；控制可见光像素的曝光和可见光像素通过曝光而光电转换所得的电荷的读取的可见光像素驱动部；和控制非可见光像素的曝光和非可见光像素通过曝光而光电转换所得电荷的读取的非可见光像素驱动部，非可见光像素驱动部在非可见光像素的曝光和读取时按预先设定的2个以上的非可见光像素进行曝光，将2个以上的非可见光像素通过曝光而光电转换所得的电荷相加后读取，控制部进行控制，使得在2个以上的非可见光像素的曝光时光源部发出近红外光。
(2)在(1)的便携终端中，非可见光像素驱动部进行控制，使得进行2个以上的非可见光像素的曝光的第一曝光期间的至少一部分期间与进行可见光像素的曝光的第二曝光期间重叠。
(3)在(2)的便携装置中，非可见光像素驱动部包括：用于获取2个以上的非可见光像素进行了光电转换所得的电荷的第一开关部；将开关部获取的电荷分别蓄存于2个以上的非可见光像素而将其转换为电压的第一电容部；对第一电容部所转换的电压分别进行放大的放大部；和控制2个以上的非可见光像素的曝光时序和第一开关部的动作的时序控制部，时序控制部控制第一开关部，使得在第一电容部中光电转换所得的电荷按各个非可见光像素分别蓄存，在2个以上的非可见光像素的曝光时，以曝光的期间不重叠的方式依次曝光2个以上的非可见光像素。
(4)在(2)的便携终端中，非可见光像素驱动部具有用于读取传感器部所具有的多个非可见光像素进行了光电转换所得的电荷的第二开关部，时序控制部控制在曝光和读取时选择使电荷相加的2个以上的非可见光像素的第二开关部。
(5)在(4)的便携终端中，时序控制部按照从外部输入的第一控制命令控制第二开关部，使得电荷相加的非可见光像素的数量改变。
(6)在(3)的便携终端中，非可见光像素驱动部具有运算从放大部输出的电压而生成距离图像并将其输出的距离图像运算部，时序控制部进行控制，使得距离图像运算部运算电压的运算定时(timing)为帧速率的1/N。
(7)在(6)的便携终端中，时序控制部按照从外部输入的第二控制命令控制距离图像运算部运算的运算定时。
附图标记说明
10 摄像元件
11 可见光像素
14 非可见光像素
210 可见光像素驱动部
214 控制部
220 非可见光像素驱动部
230 输出接口
321～323 开关
331～333 电容元件
341～343 开关
351 放大器
352 可见光时序生成部
352 放大器
353 图像数据生成部
361 开关
362 开关
371 电容元件
372 电容元件
381～384 放大器
382 非可见光时序生成部
385 非可见光时序生成部
386 距离数据运算生成部
391～394 开关
1100 摄像装置
1101 光学透镜部
1103 IR光源部
1104 摄像机控制部
1200 便携终端
1213 通信接口
1214 控制部
1215 按钮
217 显示部
1221 信号分离部
1222 调制/解调部
1225 储存器
1231 移动通信接口
1232 存储器
1233 加速度传感器部
1234 地磁传感器部
1235 GPS接收部
1236 陀螺传感器部
1250 开关输入部
1260 声音输入输出部
1261 麦克风
1262 扬声器
1802 右显示部
1803 左显示部。

Claims (17)

1.一种摄像元件，其特征在于，包括：
包括对可见光具有灵敏度的多个可见光像素和对非可见光具有灵敏度的多个非可见光像素的传感器部；
控制所述可见光像素的曝光和所述可见光像素通过所述曝光而进行了光电转换所得的电荷的读取的可见光像素驱动部；和
控制所述非可见光像素的曝光和所述非可见光像素通过所述曝光而进行了光电转换所得的电荷的读取的非可见光像素驱动部，
所述非可见光像素驱动部在所述非可见光像素的曝光和读取时按预先设定的2个以上的所述非可见光像素进行曝光，将2个以上的所述非可见光像素通过曝光而进行了光电转换所得的电荷相加，基于相加所得的所述电荷生成距离图像。
2.如权利要求1所述的摄像元件，其特征在于：
所述非可见光像素驱动部进行控制，使得进行2个以上的所述非可见光像素的曝光的第一曝光期间的至少一部分期间与进行所述可见光像素的曝光的第二曝光期间重叠。
3.如权利要求2所述的摄像元件，其特征在于：
所述非可见光像素驱动部包括：
用于获取2个以上的所述非可见光像素进行了光电转换所得的电荷的第一开关部；
将所述第一开关部获取的电荷分别蓄存于2个以上的所述非可见光像素而将其转换为电压的第一电容部；
对所述第一电容部所转换的电压分别进行放大的放大部；和
控制2个以上的所述非可见光像素的曝光时序和所述第一开关部的动作的时序控制部，
所述时序控制部控制所述第一开关部，使得光电转换所得的所述电荷按各个所述非可见光像素分别蓄存于所述第一电容部，
在所述2个以上的所述非可见光像素的曝光时，以曝光的期间不重叠的方式依次曝光2个以上的所述非可见光像素。
4.如权利要求3所述的摄像元件，其特征在于：
所述非可见光像素驱动部具有用于读取所述传感器部所具有的多个所述非可见光像素进行了光电转换所得的电荷的第二开关部，
所述时序控制部控制在曝光和读取时选择将电荷相加的2个以上的所述非可见光像素的所述第二开关部。
5.如权利要求4所述的摄像元件，其特征在于：
所述时序控制部按照从外部输入的第一控制命令控制所述第二开关部，使得电荷相加的所述非可见光像素的数量改变。
6.如权利要求3所述的摄像元件，其特征在于：
所述非可见光像素驱动部具有运算从所述放大部输出的电压而生成距离图像并将其输出的距离图像运算部，
所述时序控制部进行控制，使得所述距离图像运算部运算所述电压的运算定时为帧速率的1/N。
7.如权利要求6所述的摄像元件，其特征在于：
所述时序控制部按照从外部输入的第二控制命令控制所述距离图像运算部进行运算的所述运算定时。
8.一种摄像装置，其特征在于，包括：
用于获取光学像的光学透镜部；
从所述光学透镜部所获取的光学像获取图像数据的摄像元件；
能够发出近红外光的光源部；和
控制所述光源部的发光和所述摄像元件的动作的控制部，
所述摄像元件包括：
包含对可见光具有灵敏度的多个可见光像素和对非可见光具有灵敏度的多个非可见光像素的传感器部；
控制所述可见光像素的曝光和所述可见光像素通过曝光而进行了光电转换所得的电荷的读取的可见光像素驱动部；和
控制所述非可见光像素的曝光和所述非可见光像素通过曝光而进行了光电转换所得电荷的读取的非可见光像素驱动部，
所述非可见光像素驱动部在所述非可见光像素的曝光和读取时按预先设定的2个以上的所述非可见光像素进行曝光，将2个以上的所述非可见光像素通过曝光而进行了光电转换所得的电荷相加后读取，
所述控制部进行控制，使得在2个以上的所述非可见光像素的曝光时所述光源部发出近红外光。
9.如权利要求8所述的摄像装置，其特征在于：
所述非可见光像素驱动部进行控制，使得进行2个以上的所述非可见光像素的曝光的第一曝光期间的至少一部分期间与进行所述可见光像素的曝光的第二曝光期间重叠。
10.如权利要求9所述的摄像装置，其特征在于：
所述非可见光像素驱动部包括：
用于获取2个以上的所述非可见光像素进行了光电转换所得的电荷的第一开关部；
将所述第一开关部获取的电荷分别蓄存于2个以上的所述非可见光像素而将其转换为电压的第一电容部；
对所述第一电容部所转换的电压分别进行放大的放大部；和
控制2个以上的所述非可见光像素的曝光时序和所述第一开关部的动作的时序控制部，
所述时序控制部控制所述第一开关部，使得光电转换所得的所述电荷按各个所述非可见光像素分别蓄存于所述第一电容部，
在所述2个以上的所述非可见光像素的曝光时，以曝光的期间不重叠的方式依次曝光2个以上的所述非可见光像素。
11.如权利要求10所述的摄像装置，其特征在于：
所述非可见光像素驱动部具有用于读取所述传感器部所具有的多个所述非可见光像素进行了光电转换所得的电荷的第二开关部，
所述时序控制部控制在曝光和读取时选择将电荷相加的2个以上的所述非可见光像素的所述第二开关部。
12.如权利要求11所述的摄像装置，其特征在于：
所述时序控制部按照从外部输入的第一控制命令控制所述第二开关部，使得电荷相加的所述非可见光像素的数量改变。
13.如权利要求10所述的摄像装置，其特征在于：
所述非可见光像素驱动部具有运算从所述放大部输出的电压而生成距离图像并将其输出的距离图像运算部，
所述时序控制部进行控制，使得所述距离图像运算部运算所述电压的运算定时为帧速率的1/N。
14.如权利要求13所述的摄像装置，其特征在于：
所述时序控制部按照从外部输入的第二控制命令控制所述距离图像运算部进行运算的所述运算定时。
15.一种摄像元件的距离图像的获取方法，该摄像元件包括具有对可见光具有灵敏度的多个可见光像素和对非可见光具有灵敏度的多个非可见光像素的传感器部，该距离图像的获取方法的特征在于，包括：
按预先设定的2个以上的所述非可见光像素进行曝光的步骤；和
将2个以上的所述非可见光像素通过曝光而进行了光电转换所得的电荷相加，基于相加所得的所述电荷生成距离图像的步骤。
16.如权利要求15所述的距离图像的获取方法，其特征在于：
在进行所述曝光的步骤中，以2个以上的所述非可见光像素的曝光的期间不重叠的方式依次曝光2个以上的所述非可见光像素。
17.如权利要求16所述的距离图像的获取方法，其特征在于：
进行所述2个以上的所述非可见光像素的曝光的第一曝光期间的至少一部分期间与进行所述可见光像素的曝光的第二曝光期间重叠。
CN201780093058.7A 2017-07-27 2017-07-27 摄像元件、摄像装置和距离图像的获取方法 Pending CN110959287A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/027324 WO2019021439A1 (ja) 2017-07-27 2017-07-27 撮像素子、撮像装置、および距離画像の取得方法

Publications (1)

Publication Number Publication Date
CN110959287A true CN110959287A (zh) 2020-04-03

Family

ID=65040092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780093058.7A Pending CN110959287A (zh) 2017-07-27 2017-07-27 摄像元件、摄像装置和距离图像的获取方法

Country Status (4)

Country Link
US (2) US11506766B2 (zh)
JP (1) JP6805350B2 (zh)
CN (1) CN110959287A (zh)
WO (1) WO2019021439A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113055621A (zh) * 2021-03-11 2021-06-29 维沃移动通信有限公司 摄像头模组和电子设备
CN113965687A (zh) * 2021-11-30 2022-01-21 维沃移动通信有限公司 拍摄方法、装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014122714A1 (ja) * 2013-02-07 2014-08-14 パナソニック株式会社 撮像装置及びその駆動方法
US20150092019A1 (en) * 2012-06-28 2015-04-02 Panasonic Intellectual Property Mangement Co., Ltd. Image capture device
CN106576146A (zh) * 2014-08-29 2017-04-19 松下知识产权经营株式会社 摄像装置
WO2017089596A1 (en) * 2015-11-26 2017-06-01 Odos Imaging Ltd. Imaging system, distance measuring device, method for operating the imaging system and the distance measuring device

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6174400B1 (en) * 1997-03-04 2001-01-16 Isotag Technology, Inc. Near infrared fluorescent security thermal transfer printing and marking ribbons
US5880777A (en) * 1996-04-15 1999-03-09 Massachusetts Institute Of Technology Low-light-level imaging and image processing
JP4005277B2 (ja) * 1999-09-06 2007-11-07 富士フイルム株式会社 画像処理装置、方法及び記録媒体
JP4395150B2 (ja) 2006-06-28 2010-01-06 富士フイルム株式会社 距離画像センサ
JP2008268112A (ja) 2007-04-24 2008-11-06 Sanyo Electric Co Ltd センサ
JP5597055B2 (ja) * 2010-07-30 2014-10-01 キヤノン株式会社 制御装置及び制御方法
JP5672147B2 (ja) * 2011-05-24 2015-02-18 コニカミノルタ株式会社 胸部診断支援情報生成システム
US9129172B2 (en) * 2011-06-20 2015-09-08 Metrologic Instruments, Inc. Indicia reading terminal with color frame processing
RU2609106C2 (ru) * 2011-06-24 2017-01-30 Боли Медиа Коммуникейшнз (Шэньчжэнь) Ко., Лтд Светочувствительное устройство с множественной глубиной резкости, система, способ расширения глубины резкости и оптическая система формирования изображений
JP2013090233A (ja) * 2011-10-20 2013-05-13 Sony Corp 撮像素子およびカメラシステム
JPWO2013176007A1 (ja) * 2012-05-25 2016-01-12 ソニー株式会社 撮像素子、駆動方法、および電子装置
JP6159069B2 (ja) 2012-09-27 2017-07-05 京セラ株式会社 表示装置
JP5818773B2 (ja) 2012-11-22 2015-11-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
FR3001852B1 (fr) * 2013-02-07 2015-02-27 E2V Semiconductors Capteur d'image a defilement et sommation avec detection d'erreurs de defilement
CN108600661B (zh) * 2013-06-11 2020-12-11 拉姆伯斯公司 集成电路图像传感器和在图像传感器内操作的方法
JP6442710B2 (ja) * 2013-07-23 2018-12-26 パナソニックＩｐマネジメント株式会社 固体撮像装置、撮像装置及びその駆動方法
JP6374690B2 (ja) * 2014-04-01 2018-08-15 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP6406856B2 (ja) 2014-04-07 2018-10-17 キヤノン株式会社 撮像装置及びその制御方法
JP6498429B2 (ja) 2014-12-16 2019-04-10 スタンレー電気株式会社 距離画像生成装置、距離画像生成方法およびプログラム
US10336462B2 (en) * 2015-03-12 2019-07-02 Vu Systems, LLC Vehicle navigation methods, systems and computer program products
JP6808623B2 (ja) * 2015-07-08 2021-01-06 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および駆動方法、並びに電子機器
US10492981B1 (en) * 2015-07-17 2019-12-03 Bao Tran Systems and methods for computer assisted operation
CN107851656B (zh) * 2016-03-04 2022-12-16 索尼公司 摄像装置和测距系统
US10868981B2 (en) * 2016-04-27 2020-12-15 Sony Corporation Shooting control apparatus, shooting control method, and shooting apparatus
JP6746421B2 (ja) * 2016-07-29 2020-08-26 キヤノン株式会社 撮像装置
WO2018101049A1 (ja) * 2016-11-29 2018-06-07 パナソニックＩｐマネジメント株式会社 固体撮像装置及び測距撮像装置
JP6889571B2 (ja) * 2017-02-24 2021-06-18 キヤノン株式会社 撮像装置および撮像システム
WO2018159002A1 (ja) * 2017-02-28 2018-09-07 パナソニックＩｐマネジメント株式会社 撮像システム及び撮像方法
US10397554B2 (en) * 2017-05-16 2019-08-27 Samsung Electronics Co., Ltd. Time-resolving sensor using shared PPD+SPAD pixel and spatial-temporal correlation for range measurement

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150092019A1 (en) * 2012-06-28 2015-04-02 Panasonic Intellectual Property Mangement Co., Ltd. Image capture device
WO2014122714A1 (ja) * 2013-02-07 2014-08-14 パナソニック株式会社 撮像装置及びその駆動方法
US20150341573A1 (en) * 2013-02-07 2015-11-26 Panasonic Intellectual Property Management Co., Ltd. Image-capturing device and drive method therefor
CN106576146A (zh) * 2014-08-29 2017-04-19 松下知识产权经营株式会社 摄像装置
WO2017089596A1 (en) * 2015-11-26 2017-06-01 Odos Imaging Ltd. Imaging system, distance measuring device, method for operating the imaging system and the distance measuring device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113055621A (zh) * 2021-03-11 2021-06-29 维沃移动通信有限公司 摄像头模组和电子设备
WO2022188795A1 (zh) * 2021-03-11 2022-09-15 维沃移动通信有限公司 摄像头模组和电子设备
CN113055621B (zh) * 2021-03-11 2024-04-09 维沃移动通信有限公司 摄像头模组和电子设备
CN113965687A (zh) * 2021-11-30 2022-01-21 维沃移动通信有限公司 拍摄方法、装置和电子设备

Also Published As

Publication number Publication date
US11506766B2 (en) 2022-11-22
JPWO2019021439A1 (ja) 2020-04-09
US20210149029A1 (en) 2021-05-20
JP6805350B2 (ja) 2020-12-23
WO2019021439A1 (ja) 2019-01-31
US20230023198A1 (en) 2023-01-26

Similar Documents

Publication Publication Date Title
US9407837B2 (en) Depth sensor using modulated light projector and image sensor with color and IR sensing
JP7185434B2 (ja) 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法
US6714247B1 (en) Apparatus and method for inputting reflected light image of a target object
JP6165680B2 (ja) 撮像装置
US7525576B2 (en) Method and apparatus for panning and tilting a camera
JP2018523142A (ja) 取込まれた像のパススルー表示
US10139475B2 (en) Distance detection apparatus for acquiring distance information having variable spatial resolution and image display apparatus having the same
US20230023198A1 (en) Image-capturing device, image-capturing apparatus and method of acquiring distance image
US10021287B2 (en) Imaging control device, imaging device, imaging control method, and program for transmitting an imaging preparation command, receiving a preparation completion command, and transmitting a captured image acquisition command
KR20050057018A (ko) 지시 위치 탐지장치 및 지시 위치 탐지방법
JPWO2016038976A1 (ja) マルチ撮像装置、マルチ撮像方法、プログラム、及び記録媒体
US20220070383A1 (en) Imaging apparatus with phase difference detecting element
US10958824B2 (en) Imaging apparatus and image processing method
KR20220128585A (ko) 웨어러블 촬상장치, 촬상장치와 통신하는 휴대 기기 및 캘리브레이터, 이들의 제어방법과 이들의 제어 프로그램을 기억한 기억매체
US20120212640A1 (en) Electronic device
EP3758354A1 (en) Camera module and super resolution image processing method thereof
JP2006105771A (ja) 撮像装置および地形図作成装置
US20170230594A1 (en) Imaging device and control method therefor
JP2016183922A (ja) 距離画像取得装置及び距離画像取得方法
JP6584237B2 (ja) 制御装置、制御方法、およびプログラム
KR102597470B1 (ko) 뎁스 맵 결정 방법 및 그 방법을 적용한 전자 장치
JP7079833B2 (ja) 携帯情報端末
CN108476290B (zh) 用于提供全景图像的电子装置及其控制方法
KR20140074808A (ko) 촬상 장치
US20120105677A1 (en) Method and apparatus for processing location information-based image data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Kyoto Japan

Applicant after: MAXELL, Ltd.

Address before: Kyoto Japan

Applicant before: MAXELL HOLDINGS, Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220301

Address after: Kyoto Japan

Applicant after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto Japan

Applicant before: MAXELL, Ltd.