CN104052944A - 在像素阵列中执行空间和时间图像对比检测 - Google Patents

在像素阵列中执行空间和时间图像对比检测 Download PDF

Info

Publication number
CN104052944A
CN104052944A CN201410096459.6A CN201410096459A CN104052944A CN 104052944 A CN104052944 A CN 104052944A CN 201410096459 A CN201410096459 A CN 201410096459A CN 104052944 A CN104052944 A CN 104052944A
Authority
CN
China
Prior art keywords
pixel
output
group
equipment
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410096459.6A
Other languages
English (en)
Inventor
Y.M.王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/832,071 external-priority patent/US9204143B2/en
Priority claimed from US13/901,564 external-priority patent/US20140347442A1/en
Priority claimed from US14/103,834 external-priority patent/US9247109B2/en
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104052944A publication Critical patent/CN104052944A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

成像设备具有带有能够对对象的方面成像的像素的阵列。此外,能够使用阵列中的像素执行运动检测或边沿检测。第一像素和第二像素能够非同时地累积光线,并且然后可以比较它们的输出。它们输出中的差异可以指示在成像操作中的边缘以及在运动检测操作中的运动。在不需要成像设备具有附加的调制LED光源以及不需要耗费电能驱动那个光源的情况下,可以执行所述的运动检测操作。

Description

在像素阵列中执行空间和时间图像对比检测
相关专利申请的交叉引用
本专利申请是于2013年3月16日提交的,题目为“图像传感器及其操作方法及包含它们的系统”的共同待决美国专利申请第13/832,071号的部分继续,为了所有目的,通过引用将其公开合并于此。
本专利申请是于2013年5月23日提交的,题目为“RGBZ像素阵列、成像设备、控制器及方法”的共同待决美国专利申请第13/901,564号的部分继续,为了所有目的,通过引用将其公开合并于此。
本专利申请主张于2013年8月13日提交的,题目为“空间和时间对比检测传感器”的美国临时专利申请第61/865,594号的优先权,为了所有目的,通过引用将其公开合并于此。
技术领域
本发明涉及在像素阵列中执行空间和时间图像对比检测的技术。
背景技术
现代成像设备使用电子阵列来捕获图像。所述阵列具有当它们暴露于来自图像的光线时,产生诸如电子的电荷的像素。存储每个像素所产生的电荷,然后读出用于渲染图像。
现有技术的成像设备有可能检测到运动。然而,这种检测经常要求像素成像两次,换句话说,在两个帧上累积(integrate),然后对比这两个帧。这消耗了大量电能。
在其它例子中,运动检测需要用调制光源来照射对象。虽然希望在成像设备内部省电,但是光源耗电。
发明内容
本描述给出成像设备、它们的一些组件及方法的例子,它们的使用可以帮助克服现有技术的问题和限制。
在一个实施例中,成像设备具有带有能够对对象的方面(aspect)成像的像素的阵列。此外,能够使用阵列中的像素执行运动检测或边缘检测。第一和第二像素能够非同时地累积光线,并且然后可以比较它们的输出。它们输出中的差异可以指示成像操作中的边缘和运动检测操作中的运动。
相比现有技术的优点是,在不需要成像设备具有附加的调制LED光源以及不需要耗费电能驱动那个光源的情况下,可以执行所述的运动检测操作。此外,可以在单个帧中执行运动检测,这不会加重帧速率的负荷。
附图说明
从参照附图进行的以下详细描述中,本描述的这些和其它特点和优点将变得更加显而易见,其中:图1是根据实施例所形成的成像设备的框图。
图2是根据一般实施例的图1的设备的阵列的一组像素的前视图。
图3是示出根据实施例的从图2的两个像素中检测运动或检测边缘的构思图。
图4是根据包括颜色像素的实施例的图2的像素组的图示。
图5是根据包括颜色像素的另一实施例的图2的像素组的图示。
图6是根据包括颜色像素的再一个实施例的图2的像素组的图示。
图7是根据包括深度像素的实施例的图2的像素组的图示。
图8是根据包括颜色像素和至少一个深度像素两者的实施例的,图1的设备的阵列的像素的核的图示。
图9A是根据其中根据与颜色像素类似布局所形成的深度像素的实施例的,针对图8的核中的两个核的所述像素的电路的可能电路图。
图9B是当处于运动检测模式时,能够被应用于图9A的深度像素并且能够被其接收的控制信号的时序图的样本实施例。
图10是针对图3的两个像素的电路图的样本实施例。
图11是能够被应用于图10的像素并且能够被其接收的控制信号的时序图的样本实施例。
图12是针对图3的两个像素的电路图的另一样本实施例。
图13是能够被应用于图12的像素并且能够被其接收的控制信号的时序图的样本实施例。
图14是根据实施例的阵列中的四像素集合的图示。
图15是配对图14的像素以便所述配对能够用作图3的两个像素的实施例。
图16是配对图14的像素以便所述配对能够用作图3的两个像素的另一实施例。
图17是根据使用图15和图16二者的分组的实施例的,能够如何配对阵列中的像素的图示。
图18是根据使用图15和图16二者的分组的另一实施例的,能够如何配对阵列中的像素的图示。
图19是用于像素执行图3的常规成像操作和运动检测操作两者的列读取电路图。
图20示出用于根据实施例所形成的成像设备的基于控制器的系统。
图21是示出根据实施例的方法的流程图。
图22是示出根据实施例的方法的流程图。
具体实施方式
如已经被提及,本描述是关于成像设备及其一些组件及方法。现在更详细地描述实施例。
图1是根据实施例所形成的成像设备100的框图。成像设备100具有外壳102,并且在外壳102中包括开口OP。可以在开口OP处可选地提供镜头LN,虽然那不是必须的。
成像设备100也具有根据实施例所形成的像素阵列110。像素阵列110被配置为通过开口OP接收光线,所以成像设备100能够捕获对象OBJ、人或场景的图像。可以看出,像素阵列110和开口OP定义了标称的视场FOV-N。当然,视场FOV-N和对象OBJ是在三维空间中的,虽然图1在二维空间中示出它们。进一步,如果确实提供了透镜LN,则所得到的实际视场可以不同于标称视场FOV-N。调整(align)成像设备100以便要被成像的对象OBJ、人或场景处于实际视场内。
设备100额外地包括用于控制成像设备100的像素阵列110和其它组件的操作的控制器120。控制器120可以可选地与像素阵列110形成整体,并且也有可能与成像设备100的其它组件形成整体。
设备100能够根据像素所捕获的元素来渲染图像。像素阵列110的像素能够捕获图像的元素。在许多实施例中,像素阵列110具有像素的二维阵列。能够按行和列组织所述阵列。现在描述实例。
图2是根据一般实施例的,图1的像素阵列110的组210的前视图。组210包括第一像素215A、第二像素215B以及其它像素211。阵列110可以由类似于组210的组或其它像素组成。
也参照图1,控制器120被配置向像素211、215A、215B发送控制信号。所述控制信号能够是第一类型的或者第二类型的。
如果所述控制信号是第一类型的,则它们可以引发这些像素同时地对对象的方面成像。所述方面能够是例如所述对象的颜色。有时也将对颜色成像的像素称为颜色像素。可替换地,被成像的方面可以是所述对象距像素阵列的距离。也可以将该距离称为深度(“Z”),并且有时也将对深度成像的像素称为深度像素。
图3示出构思图303。示出组中的两个像素,即像素A315A和像素B315B,它们也可以被称为第一像素和第二像素。像素315A和315B能够是例如组210的像素215A、215B。
在图303中示出第二类型的样本控制信号PGA、PGB。这些样本控制信号控制像素A315A和像素B315B从图1的对象OBJ累积光线的时间。可以看出,在时间T-INT-A期间,第一像素315A从对象OBJ累积光线,而第二像素315B不累积。而在随后的时间T-INT-B期间,第二像素315B从对象OBJ累积光线,而第一像素315A不累积。因此,第一像素与第二像素不同时成像。
在像素A315A累积光线时,它产生输出319A。在像素B315B累积光线时,它产生输出319B。输出319A、319B不同时产生。
成像设备的实施例进一步包括诸如图3中的比较器333的比较器。在一些实施例中,所述比较器与阵列110形成整体。比较器被配置为以比较组中的第一像素的输出(例如,像素A315A的输出319A)与第二像素的输出(例如,像素B315B的输出319B)。当然,由于输出319A和319B不同时产生,因此在此期间可能不得不存储它们中的第一个。
比较器333具有输出377。在一些实施例中,从输出377中检测像素阵列110相对于对象OBJ的运动。在其它实施例中,检测对象OBJ的边缘。如果被比较的像素输出相同或者大体相同,则指示既没有运动也没有边缘。所述输出能够是作为快速读取的每行短达2微秒。所述数据带宽可以很小,即,如果希望保存所有三个可能结果(即:1)A>B,2)A=B,3)A<B),则每个像素2比特,或者如果希望保存仅仅两个结果(即:1)A<>B,2)A=B),则每个像素甚至1比特。
被检测出的运动能够以许多方式使用。例如,成像设备100可以进一步具有被配置处于至少两个状态之一的附加组件。所述附加组件能够是屏幕或显示器,其可以或者处于低功率的第一状态或者处于全功率的第二状态。响应于被检测出的运动,所述组件可以从第一状态转换到第二状态。例如,屏幕可能处于低功率状态以便节约电能,并且一旦检测到能够与用户兴趣相关联的运动,则转换到全功率状态。
返回到图2,能够以任意多种方式形成组210中的像素。可以与组中的其它像素的一个或多个大体相同地形成所述第一像素,也能够与第二像素大体相同地形成第一像素。现在描述实施例。
图4是作为包含颜色像素的组210的实施例的像素组410的图示。所述颜色像素根据三种颜色(即,红(R)、绿(G)和蓝(B))产生图像。组410包括第一像素415A、第二像素415B和其它像素411。从至少像素415A和415B的输出中检测所述运动。在本实施例中,像素415A和415B都是红色,但那仅是实例。它们能够两个都是蓝色、绿色或是组合色,但是它们优选地为相同颜色。
图5是作为包含R、G和B颜色像素的组210的实施例的像素组510的图示。组510包括第一像素515A、第二像素515B和其它像素511。从像素515A和515B的输出中检测所述运动。在本实施例中,两个像素都是红色,并且再一次,它们仅是实例。它们能够两个都是蓝色、绿色或是组合色。
第一和第二像素的选择可以由它们是相似的并且它们尽可能彼此靠近的期望所指导,以便做更清晰的比对。这样,在诸如以上中的许多实施例中,在第一像素和第二像素之间有至多一个其它像素。再描述一个实例。
图6是作为包含R、G和B彩色像素的组210的实施例的像素组610的图示。组610包括第一像素615A、第二像素615B和其它像素611。从像素615A和615B的输出中检测运动。在本实施例中,通过它们在拜耳图案中均为绿色,这些像素与以前的实例相比彼此更加靠近。
在一些实施例中,能够大体上彼此相同地形成组中的几乎所有像素。现在描述实施例。
图7是作为包含深度像素Z的组210的实施例的像素组710的图示。深度像素Z被用于确定从成像设备到对象OBJ的距离或深度。所述设备包括从对象OBJ反射并且被深度像素Z接收的被调制光线的光源。组710包括第一像素715A、第二像素715B和其它像素711。从至少像素715A和715B的输出中检测运动。
在一些实施例中,所述像素包括颜色像素和深度像素两者。例如,图8是根据包括颜色像素R、G、B和至少一个深度像素Z820两者的实施例的,像素阵列110的核812的图示。其输出被比较的像素可以是如在以前实例中看到的颜色像素,在此情形中核812是组本身。可替换地,其输出被比较的像素可以是组成阵列110的不同核的深度像素。在核812中仅示出一个深度像素,并且其输出将与另一深度像素的输出比较。
在这些实施例的一些中,如在被合并的共同待决美国专利申请第13/901,564号中的更详细描述,利用针对一致性的调节,将所述深度像素形成为一些颜色像素的聚合。现在描述实例。
图9A是用于针对两个邻近的诸如核812的核的像素的邻近电路913、914的可能电路图。当然,将理解到,阵列将由许多这种像素形成。根据与所述核的颜色像素大体上近似的电路布局形成深度像素923、924。例如,在正常成像模式期间,每个颜色像素具有根据布局的传输门TX1或TX2,并且深度像素923、924的每一个具有接收时钟信号CLK或CLKB的一个或多个传输门。深度像素923、924的所述一个或多个传输门根据布局处于与传输门TX1、TX2的位置相似的位置。
图9B仅仅是关于图9A的运动检测模式。示出能够被应用于图9A的深度像素923、924并且能够被其接收的样本控制信号。信号RS是复位信号。
图10是针对图3的两个像素的电路图的样本实施例。第一像素1015A具有与第二像素1015B类似的电路。输出是分别被选择信号RSELA、RSELB选择的PIXOUT A和PIXOUT B。然后比较这些输出。
图11是能够被应用于图10的像素并且被其接收的控制信号的时序图的样本实施例。控制信号PGA和PGB能够引发像素累积,但是在不同的时间,即不是同时的。将理解到,这些控制信号是第二类型的。此外,第二类型的控制信号可以引发像素1015A和1015B所属的组中的其它像素在如复位信号RG所定义的单个帧中对所述对象成像。换句话说,诸如针对边缘检测,这个成像能够在图11的帧累积时间期间与由于信号PGA在第一像素中累积光线以及由于信号PGB在第二像素中累积光线同时发生。
当读取诸如图7、8和9A的那些像素的深度像素时,可以发现图10和11的图是特别有益的。
图12是针对图3的两个像素的电路图的另一样本实施例。第一像素1215A具有与第二像素1215B相似的电路。被比较的输出是根据各自的选择信号RSELA、RSELB读取的PIXOUT A和PIXOUT B。
图13是能够被应用于像素1215A和1215B并且被其接收的控制信号的时序电路的样本实施例。与图11类似,控制信号TXA和TXB能够引发第一像素1215A在与第二像素1215B不同的时间进行累积。此外,第二类型控制信号可以引发像素1215A和1215B所属的组中的其它像素在由复位信号RSTA、RSTB所定义的单个帧中对所述对象成像。换句话说,这个成像能够在图13的1帧时间期间与由于信号TXA在第一像素中累积光线以及由于信号TXB在第二像素中累积光线同时发生。
当读取诸如图4、5和6的那些像素的颜色像素时,可以发现图12和13的图示是特别有益的。图13与图11的差别在于像素1215A和1215B的复位信号不是共用的。另一差别在于第一像素的累积时间加上第二像素的累积时间小于总的帧累积时间。
在以上实施例中,对两个像素(即第一像素和第二像素)的输出做比较。为了捕获更多光线,能够使用更多像素,并且能够对它们的输出分组。现在描述实例。
图14是在根据实施例所形成的阵列中的四个像素1431、1432、1433、1434的集合1410的图示。集合1410能够是一组像素的一部分,或者是整个组。
在一个实施例中,第一像素可以是像素1431,而第二像素可以是像素1432。所述控制信号能够引发诸如像素1433的第三像素与第一像素1431同时地从所述对象累积光线,以及引发诸如像素1434的第四像素与第二像素1432同时地从所述对象累积光线。现在描述有效结果。
图15是在由如上所述的将像素1431加1433和像素1432加1434的输出相加所得到的集合1410中的像素配对的实施例。由于像素的输出相加,集合1410的四个像素现在呈现为两个像素,即1515A和1515B。这两个貌似的像素现在能够用作图3的两个像素。在像素以这种方式相加的实施例中,能够配置所述比较器把与第三像素的输出相结合的第一像素的输出相对于与第四像素的输出相结合的第二像素的输出进行比较。
在图15的实施例中,通过沿着垂直线配对相邻像素将集合1410的像素的输出加起来。如果期望在水平方向更可靠地检测运动,则本实施例将更有帮助。
所述相加不需要如上所述沿着垂直线。例如,在另一实施例中,第一像素可以是像素1431,而第二像素可以是像素1433。所述控制信号能够引发诸如像素1432的第三像素与第一像素1431同时地从所述对象累积光线,以及引发诸如像素1434的第四像素与第二像素1433同时地从所述对象累积光线。现在描述有效结果。
图16示出在由如上所述的将像素1431、1432、1433、1434的输出相加所得到的集合1410中的像素配对的另一实施例。再次,集合1410的像素现在呈现为两个像素,即1615A和1615B。这两个貌似的像素现在可以用作图3的两个像素。所述相加是通过沿着水平线配对相邻像素实现的。如果期望在垂直方向更可靠地检测运动,本实施例将更有帮助。
应当注意到,图15和16的实施例在像素内不需要放大器或比较器。这样,能够使用现有的像素设计,并且不必牺牲像素密度。
图17是根据实施例的阵列1710中的像素能够如何配对的图示。所述配对使用图15和图16两种分组。因此,能够更可靠地检测在垂直和水平两个方向的运动。
图18是根据另一实施例的阵列1810中的像素能够如何配对的图示。所述配对使用图15和图16两种分组。因此,能够更可靠地检测在垂直和水平两个方向的运动。
图19是针对列读出电路1900的图示。电路1900包括也能够被称为第一像素和第二像素的像素A1915A和像素B1915B。像素1915A和1915B能够是例如组210的像素215A、215B,和/或图3的像素315A和315B。将理解到,电路1900允许像素1915A和1915B被用于常规的成像操作和运动检测操作两者。
电路1900也包括与像素A1915A相关联的开关1921A、比较器1922A、计数器1924A和存储器1919A。电路1900进一步包括与像素B1915B相关联的开关1921B、比较器1922B、计数器1924B和存储器1919B。
在常规成像操作中,开关1921A为“REG”值闭合,也将其指示为REG=1。然后将ramp输入到比较器1922A中,并且因此存储器1919A存储从第一像素1915A而不是从第二像素1915B获得的输出。第一像素1915A的输出可以是被计数器1924A计数的数字。于是,第一像素1915A的输出被用于有助于渲染二维的或者包含深度信息的图像。类似地,像素B1915B的输出能够有助于渲染图像。
可替换地,在运动检测操作中,开关1921A为“STC”值闭合,其也被指示为STC=1。然后比较器1922A接收来自像素A1915A和像素B1915B两者的输出。并且因此,存储器1919A存储从第一像素1915A和第二像素1915B两者获得的输出。类似地,存储器1919B能够存储被类似计算的输出。通过能够感知存储器1919A和1919B的内容之间差异的感知放大器1933来实现比较器,以便获得输出1977。
输出1977通知被检测到的运动或图像边缘。可以将输出1977解释为STC=1的运动检测操作中的运动,以及解释为REG=1的成像操作中的图像边缘。
在一些实施例中,响应于在运动检测操作期间被检测到的运动,开关1921A、1921B从STC=1的运动检测操作转换到REG=1的成像操作。然后在那些实例中,开关1921A从引发存储器1919A存储从第一像素1915A和第二像素1915B获得的输出转换到引发存储器1919A存储从第一像素1915A而不是从第二像素1915B获得的输出。
图20示出针对根据实施例所形成的成像设备的基于控制器的系统2000。系统2000能够是用于图1的设备。
系统2000包括根据实施例所形成的诸如像素阵列的图像传感器2010。这样,系统2000能够是(但不限于)计算机系统、成像设备、照相机系统、扫描仪、机器视觉系统、车辆导航系统、智能手机、视频电话、个人数字助理(PDA)、移动计算机、监控系统、自动聚焦系统、星象跟踪系统、运动检测系统、图像稳定系统、用于高清电视的数据压缩系统等等。
系统2000进一步包括根据实施例所形成的控制器2020。控制器2020能够是图1的控制器120。控制器2020能够是中央处理单元(CPU)、数字信号处理器、微处理器、微控制器、专用集成电路(ASIC)、可编程逻辑器件(PLD)等等。在一些实施例中,控制器2020通过总线2030与图像传感器2010通信。在一些实施例中,控制器2020可以与图像传感器2010组合在单个集成电路中。如本领域技术人员将理解,控制器2020通过从输出端口发送控制信号等控制和操作图像传感器2010。
控制器2020可以进一步与系统2000中的其它设备通信。一种这样的其它设备可以是存储器2040,其可以是随机存取存储器(RAM)或者只读存储器(ROM)或者组合。存储器2040可以被配置为存储被控制器2020读取并执行的指令。存储器2040可以被配置为存储被图像传感器2010捕获的用于短期和长期两者的图像。
另一这种设备能够是外部设备2050,其可以是小型磁盘(CD)驱动、U盘等等。再一个这种设备能够是诸如键板、键盘和显示器的用户输入/输出(I/O)设备2060。存储器2040可以被配置存储用户经由I/O设备2060可以访问的用户数据。
另外的这种设备能够是接口2070。系统2000可以使用接口2070向通信网络发送数据或者从通信网络接收数据。所述发送可以是经由有线,例如经由线缆或者USB接口。可替换地,通信网络可以是无线的,并且接口2070可以是无线的,并且包括例如天线、无线收发器等等。通信接口协议可以是诸如CDMA、GSM、NADC、E-TDMA、WCDMA、CDMA2000、Wi-Fi、Muni Wi-Fi(无线城市)、蓝牙、DECT、无线USB、快闪-OFDM、IEEE802.20、GPRS、iBurst、WiBro、WiMAX、WiMAX-增强版、UMTS-TDD、HSPA、EVDO、LTE-增强版、MMDS等等通信系统的协议。
再一个这种设备可以是显示器2080。显示器2080可以向用户示出由图像传感器2010接收的实验性图像,以便帮助他们校准所述设备,或许调整成像参数等等。
现在描述本发明的方法。
图21示出用于描述根据实施例的方法的流程图2100。通过以上所述的实施例,例如通过包含控制器和具有像素的阵列的成像设备,也可以实践流程图2100的所述方法。
根据可选操作2110,在像素组中对对象成像。成像可以是利用组中的所有像素,或者仅利用部分像素。成像可以是如此以便检测对象的颜色、或者对象相对于阵列的距离、或者两者。
根据另一操作2120,将光线从对象累积到组中的第一像素中,而不是累积到组中的第二像素中。这可以通过适当的控制信号来实现。
根据另一操作2130,将光线从对象累积到第二像素中而不是累积到第一像素中。这可以通过适当的控制信号来实现。
在一些实施例中,与操作2120和2130同时地,进一步将光线从对象累积到单个帧中的组中的其它像素中。此外,在一些实施例中,附加的第三像素与第一像素同时地累积光线,并且附加的第四像素与第二像素同时地累积光线。
根据另一操作2140,将第一像素的输出与第二像素的输出进行比较。执行差值比较以便检测出像素阵列相对于对象的运动。如果第三和第四像素也已经累积了光线,则将它们的输出分别增加到第一和第二像素的输出用于所述比较。
根据另一可选操作2150,如果没有检测到运动,则运行返回到操作2110。在一些实施例中,所述成像设备进一步包括被配置处于第一状态或第二状态的附加组件。如果没有检测到运动,则所述组件可以保持在与它所处状态相同的状态,此状态能够是第一状态。
如果在操作2150中检测到运动,则根据另一可选操作2160,所述组件响应于检测到运动从第一状态恢复到第二状态。
根据再一个可选操作,将第一像素的输出从如上被比较切换到对对象的方面成像。所述方面可以是所述对象的颜色,或者对象相对于阵列的距离。第二像素也可以发生相同的事情。在一些实施例中,响应于检测到运动执行所述切换。不论为何执行切换,在执行切换之后,都可以将对象成像在组中的所有像素中,以便检测所述对象的颜色或距离。
图22示出用于描述根据实施例的方法的流程图2200。通过以上所述的实施例,例如包含具有像素的阵列的成像设备的控制器,也可以实践流程图2200的所述方法。
根据操作2210,将第一类型的控制信号发送给像素组。这些信号被意欲引发组中的像素对对象的方面成像。
根据另一操作2220,将第二类型的控制信号发送给像素组。这些信号被意欲引发组中的第一像素从所述对象累积光线,而组中的第二像素不累积光线,并且然后,所述第二像素从所述对象累积光线,而所述第一像素不累积。
根据另一操作2230,询问是否检测到运动。通过比较第一像素的输出和第二像素的输出可以检测。如果没有检测到运动,则运行可以可选地返回到操作2220,例如继续省电。
如果在操作2230检测到运动,则运行可以返回到操作2210,再次发送第一类型的控制信号。此外,如果所述成像设备也包括能够处于第一状态或第二状态的附加组件,则根据另一可选操作2240,能够引发所述组件从第一状态恢复到第二状态,同时返回操作2210。
在如上所述的方法中,可以将每步操作执行为做或者引起能够发生的所写内容出现的肯定步骤。这种做或者引起发生可以是通过整个系统或设备,或者仅仅是它的一个或多个组件。此外,操作的顺序不限于所示出的,并且根据不同的实施例,不同的顺序可以是可能的。此外,在某些实施例中,可以增加新的操作,或者可以修改或删除个别操作。所增加的操作可以是例如来自在主要描述不同的系统、设备或方法时所提及的操作。
本描述包括一个或多个实例,但那不限制可以如何实践本发明。的确,可以根据所描述的或者以不同方式实践本发明的实例或实施例,并且也与其它的当前或未来技术相结合。
基于被当做整体看待的本描述,本领域技术人员将能够实践本发明。已经包含了细节以提供全面的理解。在其它实例中,没有描述众所周知的方面以便不会不必要地妨碍本发明。
其它实施例包括这里所描述的特点的组合和子组合,包括例如等效于以下的实施例:以不同于所描述实施例的顺序提供或应用特点,从一个实施例提取个体特点并且将这种特点插入另一实施例中;从实施例中去除一个或多个特点;或者在提供以这种组合和子组合并入的特点的优点的同时,从实施例中去除特点并且增加从另一实施例提取的特点。
以下权利要求书定义被看做是新颖的和非显而易见的元素、特点和步骤或者操作的某些组合和子组合。在本文或相关文档中可以提出针对这些组合和子组合的附加权利要求。

Claims (32)

1.一种成像设备,包括:
像素阵列,具有像素;以及
控制器,被配置向一组像素发送第一类型的控制信号,以便引发组中的像素同时地对对象的方面成像,以及发送第二类型的控制信号,以便引发:
组内的第一像素累积来自对象的光线,而同时组内的第二像素不累积,并且
第二像素累积来自对象的光线,而同时第一像素不累积;以及
比较器,被配置比较第一像素的输出与第二像素的输出,以便检测像素阵列相对于对象的运动。
2.如权利要求1所述的设备,进一步包括:
附加组件,被配置处于第一状态和第二状态之一,并且其中,响应于检测到运动,所述组件从第一状态转换到第二状态。
3.如权利要求1所述的设备,其中,
所述控制器与阵列形成整体。
4.如权利要求1所述的设备,其中,
所述比较器与阵列形成整体。
5.如权利要求1所述的设备,其中,
第一像素与组中的至少一个其它像素大体上相同地形成。
6.如权利要求1所述的设备,其中,
第一像素与第二像素大体上相同地形成。
7.如权利要求1所述的设备,其中,
所述方面是对象的颜色和对象相对于阵列的距离之一
8.如权利要求1所述的设备,其中,
像素包括颜色像素。
9.如权利要求1所述的设备,其中,
在第一像素和第二像素之间至多有一个其它像素。
10.如权利要求1所述的设备,其中,
组内的基本上所有像素大体上彼此相同地形成。
11.如权利要求1所述的设备,其中,
所述像素包括深度像素。
12.如权利要求1所述的设备,其中,
所述像素包括颜色像素和至少一个深度像素。
13.如权利要求12所述的设备,其中,
每个颜色像素具有根据布局的传输门,以及
深度像素在根据布局的,与颜色像素的传输门的位置大体相似的位置上具有传输门。
14.如权利要求1所述的设备,其中,
第二类型的控制信号引发组中的其它像素与在第一像素和第二像素两者中累积光线同时地在单个帧中对所述对象成像。
15.如权利要求1所述的设备,其中,
第二类型的控制信号引发:
组中的第三像素与第一像素同时地从所述对象累积光线,并且
组中的第四像素与第二像素同时地从所述对象累积光线,以及
比较器被配置将与第三像素的输出相结合的第一像素的输出和与第四像素的输出相结合的第二像素的输出进行比较。
16.如权利要求1所述的设备,进一步包括:
存储器;以及
开关,被配置引发所述存储器,或者存储从第一像素而不是从第二像素获得的输出,或者存储从第一像素和第二像素获得的输出。
17.如权利要求16所述的设备,进一步包括:
计数器;以及
其中,第一像素的输出是被计数器计数的数字。
18.如权利要求16所述的设备,其中,
响应于被检测到的运动,所述开关从引发存储器存储从第一像素和第二像素获得的输出转换到引发存储器存储从第一像素而不是从第二像素获得的输出。
19.一种用于包括控制器和具有一组像素的阵列的成像设备的方法,包括:
在所述像素的第一个中而同时不是在所述像素的第二个中,从所述对象累积光线;
在第二像素中而同时不是在第一像素中,从所述对象累积光线;以及
将第一像素的输出与第二像素的输出进行比较,以便检测像素阵列相对于所述对象的运动。
20.如权利要求19所述的方法,其中,
所述成像设备进一步包括被配置处于第一状态或第二状态的附加组件,
并且进一步包括:响应于被检测到的运动,所述组件从第一状态恢复到第二状态。
21.如权利要求19所述的方法,进一步包括:
与在第一像素和第二像素两者中累积光线同时地,在单个帧中的组中的其它像素中从所述对象累积光线。
22.如权利要求19所述的方法,进一步包括:
与第一像素同时地,在所述像素的第三个中从所述对象累积光线;
与第二像素同时地,在所述像素的第四个中从所述对象累积光线;以及
其中,通过比较与第三像素的输出相结合的第一像素的输出和与第四像素的输出相结合的第二像素的输出来执行所述比较。
23.如权利要求19所述的方法,进一步包括:
将第一像素的输出从进行比较切换到对所述对象的方面进行成像。
24.如权利要求23所述的方法,其中,
所述方面包括对象的颜色和对象相对于阵列的距离之一。
25.如权利要求23所述的方法,其中,
响应于被检测到的运动,切换第一像素的输出。
26.如权利要求19所述的方法,进一步包括:
在组中的所有像素中对所述对象的方面进行成像。
27.一种用于包括具有多个像素的阵列的成像设备的控制器的方法,包括:
将第一类型的控制信号发送给一组像素,以便引发组中的像素对对象的方面进行成像;
将第二类型的控制信号发送给组中的像素,以便引发:
组中的第一像素从所述对象累积光线,而同时组中的第二像素不累积,并且
所述第二像素从所述对象累积光线,而同时所述第一像素不累积,并且
其中,通过比较第一像素的输出与第二像素的输出,检测像素阵列相对于所述对象的运动。
28.如权利要求27所述的方法,其中,
所述方面是所述对象的颜色和对象相对于阵列的距离之一。
29.如权利要求27所述的方法,其中,
所述成像设备也包括被配置处于第一状态或第二状态的附加组件,
并且进一步包括:响应于被检测到的运动,引发所述组件从第一状态恢复到第二状态。
30.如权利要求27所述的方法,其中,
第二类型控制信号引发组中的其它像素与在第一像素和第二像素两者中累积光线同时地,在单个帧中对所述对象成像。
31.如权利要求27所述的方法,其中,
所述第二类型控制信号引发
组中的第三像素与第一像素同时地从对象累积光线,以及
组中的第四像素与第二像素同时地从对象累积光线,以及
通过比较与第三像素的输出相结合的第一像素的输出和与第四像素的输出相结合的第二像素的输出来执行所述比较。
32.如权利要求27所述的方法,进一步包括:
响应于被检测到的运动,再次发送第一类型的控制信号。
CN201410096459.6A 2013-03-15 2014-03-14 在像素阵列中执行空间和时间图像对比检测 Pending CN104052944A (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US13/832,071 2013-03-15
US13/832,071 US9204143B2 (en) 2013-03-15 2013-03-15 Image sensor, operation method thereof, and system including the same
US13/901,564 2013-05-23
US13/901,564 US20140347442A1 (en) 2013-05-23 2013-05-23 Rgbz pixel arrays, imaging devices, controllers & methods
US201361865594P 2013-08-13 2013-08-13
US61/865,594 2013-08-13
US14/103,834 2013-12-11
US14/103,834 US9247109B2 (en) 2013-03-15 2013-12-11 Performing spatial and temporal image contrast detection in pixel array

Publications (1)

Publication Number Publication Date
CN104052944A true CN104052944A (zh) 2014-09-17

Family

ID=51505272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410096459.6A Pending CN104052944A (zh) 2013-03-15 2014-03-14 在像素阵列中执行空间和时间图像对比检测

Country Status (2)

Country Link
KR (1) KR102189436B1 (zh)
CN (1) CN104052944A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106471622A (zh) * 2014-12-22 2017-03-01 谷歌公司 具有第一和第二z 传输栅极的rgbz像素单元信元
CN108027239A (zh) * 2015-07-17 2018-05-11 特里纳米克斯股份有限公司 用于光学检测至少一个对象的检测器
CN108600659A (zh) * 2017-03-08 2018-09-28 三星电子株式会社 事件检测装置
US10845459B2 (en) 2013-06-13 2020-11-24 Basf Se Detector for optically detecting at least one object

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10061029B2 (en) * 2015-01-06 2018-08-28 Samsung Electronics Co., Ltd. Correction of depth images from T-O-F 3D camera with electronic-rolling-shutter for light modulation changes taking place during light integration

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100615397B1 (ko) * 2003-03-20 2006-08-25 실리콤텍(주) 움직임 검출기능이 내장된 cmos 이미지 센서 및 움직임 검출방법
JP4609092B2 (ja) * 2005-02-03 2011-01-12 ソニー株式会社 物理情報取得方法および物理情報取得装置
JP2006243974A (ja) * 2005-03-01 2006-09-14 Matsushita Electric Ind Co Ltd 動き検出装置、動き検出方法、カメラおよび自動車

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10845459B2 (en) 2013-06-13 2020-11-24 Basf Se Detector for optically detecting at least one object
CN106471622A (zh) * 2014-12-22 2017-03-01 谷歌公司 具有第一和第二z 传输栅极的rgbz像素单元信元
US10263022B2 (en) 2014-12-22 2019-04-16 Google Llc RGBZ pixel unit cell with first and second Z transfer gates
CN106471622B (zh) * 2014-12-22 2019-10-25 谷歌有限责任公司 具有第一和第二z传输栅极的rgbz像素单元信元
CN108027239A (zh) * 2015-07-17 2018-05-11 特里纳米克斯股份有限公司 用于光学检测至少一个对象的检测器
US10955936B2 (en) 2015-07-17 2021-03-23 Trinamix Gmbh Detector for optically detecting at least one object
CN108600659A (zh) * 2017-03-08 2018-09-28 三星电子株式会社 事件检测装置
CN108600659B (zh) * 2017-03-08 2022-04-08 三星电子株式会社 事件检测装置

Also Published As

Publication number Publication date
KR102189436B1 (ko) 2020-12-11
KR20140113581A (ko) 2014-09-24

Similar Documents

Publication Publication Date Title
CN104052944A (zh) 在像素阵列中执行空间和时间图像对比检测
US9247109B2 (en) Performing spatial and temporal image contrast detection in pixel array
US9172927B2 (en) Imaging device, and image processing method
EP3228075B1 (en) Sensor configuration switching for adaptation of video capturing frame rate
CA2912850C (en) Display device configured as an illumination source
US9363493B2 (en) Image processing apparatus, method, recording medium and image pickup apparatus
US20190089873A1 (en) Digital camera and display method of digital camera
US9148560B2 (en) Imaging device, and image processing method
US9363491B2 (en) Imaging device, image processing device, image processing method and program
US11019271B2 (en) Image sensor, camera module and electronic device
US9160990B2 (en) Solid-state imaging device, imaging apparatus, and driving method of a solid-state imaging device
US9172926B2 (en) Imaging device, and image processing method
US10516860B2 (en) Image processing method, storage medium, and terminal
KR20170123661A (ko) 촬영 방법, 촬영 장치, 및 단말
WO2016002134A1 (en) Information processing apparatus, information processing method, and program
US9560243B2 (en) Image processing device, imaging device, program, and image processing method suppressing a reduction in visibility of an image to check focus when distortion is corrected
EP2884737A1 (en) Apparatus, method and program for controlling phase difference autofocus in dependence upon object brightness
WO2016088293A1 (en) Imaging device, apparatus, and imaging method
CN104838646A (zh) 图像处理装置、图像处理方法、程序及记录介质
US10306196B2 (en) Pixel mixing device and method for controlling operation of same
US9720508B2 (en) System for controlling a plurality of cameras in a device
US20240007608A1 (en) Multi-Processor Support for Array Imagers
US20150256738A1 (en) Imaging apparatus and exposure determining method
US20210067689A1 (en) Image processing apparatus, image processing method, and program
US20150055861A1 (en) Methods and Systems for Image Demosaicing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140917