CN117956291A - 亮度变化检测装置及方法、电子设备 - Google Patents

亮度变化检测装置及方法、电子设备 Download PDF

Info

Publication number
CN117956291A
CN117956291A CN202310100876.2A CN202310100876A CN117956291A CN 117956291 A CN117956291 A CN 117956291A CN 202310100876 A CN202310100876 A CN 202310100876A CN 117956291 A CN117956291 A CN 117956291A
Authority
CN
China
Prior art keywords
exposure
brightness
signal
information
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310100876.2A
Other languages
English (en)
Inventor
李杨
潘撼
邓志鹏
胡慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to PCT/CN2023/099693 priority Critical patent/WO2024093240A1/zh
Publication of CN117956291A publication Critical patent/CN117956291A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/4446—Type of detector
    • G01J2001/446—Photodiode
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供一种亮度变化检测装置及方法、电子设备，涉及图像处理技术领域，能够提高亮度变化检测结果的准确性。亮度变化检测装置，包括：阈值生成电路、比较信号生成电路以及比较电路。阈值生成电路被配置为接收第一亮度信息，对第一亮度信息进行处理，输出阈值。比较信号生成电路被配置为接收第二亮度信息，对第二亮度信息进行处理，输出比较信号。比较电路被配置为将比较信号和阈值进行比较，并根据比较结果输出事件，事件用于指示第一亮度信息与第二亮度信息之间是否存在差异。

Description

亮度变化检测装置及方法、电子设备
本申请要求于2022年10月31日提交国家知识产权局、申请号为202211349533.1、发明名称为“DM、EP、通信系统及其控制方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像处理技术领域，尤其涉及一种亮度变化检测装置及方法、电子设备。
背景技术
图像传感器拍摄的场景中，有处于静止状态的物体，也有处于运动状态的物体。在某些应用中，静止物体和运动物体同时成像，有助于对场景的分析和理解。在某些应用中，只需要捕捉运动物体。
例如，视场中的大部分环境都处于静止状态，只有一个或若干个运动物体在移动。如果使用常规的图像传感器，每个子像素逐帧成像，会产生很多重复、冗余的信息，增加无意义的存储、计算和功耗。而且，在这些应用中，运动物体才是更值得关注的信息，静止的背景信息相对次要。
通过检测亮度变化来检测运动目标是一种惯用的技术手段，而如何提高亮度变化检测结果的准确性，是本领域技术人员研究的热点问题。
发明内容
本申请实施例提供一种亮度变化检测装置及方法、电子设备，能够提高亮度变化检测结果的准确性。
为达到上述目的，本申请采用如下技术方案：
本申请实施例的第一方面，提供一种亮度变化检测装置，包括：阈值生成电路、比较信号生成电路以及比较电路。阈值生成电路被配置为接收第一亮度信息，对第一亮度信息进行处理，输出阈值。比较信号生成电路被配置为接收第二亮度信息，对第二亮度信息进行处理，输出比较信号。比较电路被配置为将比较信号和阈值进行比较，并根据比较结果输出事件，事件用于指示第一亮度信息与第二亮度信息之间是否存在差异。
本申请实施例提供的亮度变化检测装置，判断亮度变化(也就是动态视觉判断)的阈值，是由动态变化的第一亮度信息来决定，对于每个第二亮度信息而言，可以产生与第一亮度信息挂钩的“自适应阈值”，而并非固定不变的阈值。这样一来，极大的增强了判断亮度变化(也就是动态视觉判断)的鲁棒性。例如，当将本申请实施例提供的亮度变化检测装置应用到图像传感器中时，图像传感器中的像素阵列中每个子像素的入射光强不同，结合不同的入射光强，每个子像素会生成“自适应当前入射光强的阈值”作为对照量，而不是所有的子像素均是固定不变的阈值，可提高比较结果的准确性。
在一种可能的实现方式中，第一亮度信息为第一曝光时段内得到的亮度信息；第二亮度信息为第二曝光时段内得到的亮度信息；第一曝光时段和第二曝光时段为两个不重合的时段。这样一来，可以检测出相关联的两个曝光时段内的亮度变化，减小对比对象之间的间隔。
在一种可能的实现方式中，对第二亮度信息进行处理，输出比较信号，包括：根据第二亮度信息生成第二曝光信号，并生成K的第二曝光信号，使输出的比较信号包括K倍的第二曝光信号。
由于获得第一亮度信息时对应的曝光时长和获得第二亮度信息时对应的曝光时长不相等，在K等于第一曝光时段对应的第一曝光时长，与，第二曝光时段对应的第二曝光时长的比值的情况下，K倍的第二亮度信息与第一亮度信息对应的等效曝光时长相等,或者成倍数关系。因此，按照第一曝光时长和第二曝光时长的比值，放大或缩小第二曝光时段的电压值。将第二亮度信息的K倍，与由第一亮度信息得来的阈值进行比较，实际判断的是第一子像素和第二子像素在相等的等效曝光时长内的亮度变化，比较参量一致，判断出的第一曝光时段和第二曝光时段内的入射光强的变化情况更为准确。
在一种可能的实现方式中，对第一亮度信息进行处理，输出阈值，包括：根据第一亮度信息生成第一曝光信号，根据第一曝光信号输出上阈值和下阈值；上阈值大于第一曝光信号，下阈值小于第一曝光信号。通过设置上阈值和下阈值，使得事件的判断有缓冲区间，可以减少电路噪声和入射光的散粒噪声对判断结果的影响。改善在临界点附近，由于信号中含有的噪声波动，导致事件判断结果出现不稳定的跳变。
在一种可能的实现方式中，对第一亮度信息进行处理，输出阈值，包括：根据第一亮度信息生成第一曝光信号，并生成X1倍的第一曝光信号和X2倍的第一曝光信号，使输出的上阈值包括X1倍的第一曝光信号，输出的下阈值包括X2倍的第一曝光信号；其中，X1大于X2。这是一种易于实现的方式。
在一种可能的实现方式中，阈值生成电路包括上阈值生成模块和下阈值生成模块；上阈值生成模块被配置为接收第一亮度信息，对第一亮度信息进行处理，输出上阈值；下阈值生成模块被配置为接收第一亮度信息，对第一亮度信息进行处理，输出下阈值。这是一种易于实现的方式。
在一种可能的实现方式中，上阈值生成模块包括第一电容、第二电容、第一开关以及第一运算放大器；第一电容的第一端用于接收第一亮度信息，第一电容的第二端与第一运算放大器的第一输入端耦接；第一运算放大器的第二输入端与基准电压端耦接，第一运算放大器的输出端用于输出上阈值；第一开关和第二电容并联耦接于第一运算放大器的第一输入端和第一运算放大器的输出端之间。这是一种结构简单的实现方式。
在一种可能的实现方式中，下阈值生成模块包括第三电容、第四电容、第二开关以及第二运算放大器；第三电容的第一端用于接收第一亮度信息，第三电容的第二端与第二运算放大器的第一输入端耦接；第二运算放大器的第二输入端与基准电压端耦接，第二运算放大器的输出端用于输出下阈值；第二开关和第四电容并联耦接于第二运算放大器的第一输入端和第二运算放大器的输出端之间。这是一种结构简单的实现方式。
在一种可能的实现方式中，比较信号生成电路包括第五电容、第六电容、第三开关以及第三运算放大器；第五电容的第一端用于接收第二亮度信息，第五电容的第二端与第三运算放大器的第一输入端耦接；第三运算放大器的第二输入端与基准电压端耦接，第三运算放大器的输出端用于输出比较信号；第三开关和第六电容并联耦接于第三运算放大器的第一输入端和第三运算放大器的输出端之间。这是一种结构简单的实现方式。
在一种可能的实现方式中，比较电路包括第一比较器和第二比较器；第一比较器，被配置为将上阈值与比较信号进行比较；第二比较器，被配置为将下阈值与比较信号进行比较；根据第一比较器和第二比较器的比较结果，输出事件。这是一种结构简单的实现方式。
在一种可能的实现方式中，根据比较结果输出事件，包括：在比较信号大于上阈值的情况下，事件表示第二亮度信息对应的曝光亮度大于第一亮度信息对应的曝光亮度；在比较信号小于下阈值的情况下，事件表示第二亮度信息对应的曝光亮度小于第一亮度信息对应的曝光亮度；在比较信号大于下阈值且小于上阈值的情况下，事件表示第二亮度信息对应的曝光亮度等于或者近似等于第一亮度信息对应的曝光亮度。这是一种易于实现的方式。
在一种可能的实现方式中，第一亮度信息为第一子像素在第一曝光时段内得到的亮度信息；第二亮度信息为第二子像素在第二曝光时段内得到的亮度信息。这是一种可能的应用方式。
在一种可能的实现方式中，第一子像素和第二子像素为同一颜色的相邻两个子像素。这是一种可能的应用方式。
在一种可能的实现方式中，第一曝光时段和第二曝光时段的起始时刻不同，截止时刻相同。这是一种易于实现的应用方式。
本申请实施例的第二方面，提供一种亮度变化检测方法，包括：接收第一亮度信息，对第一亮度信息进行处理，输出阈值；接收第二亮度信息，对第二亮度信息进行处理，输出比较信号；将比较信号和阈值进行比较，并根据比较结果输出事件，事件用于指示第一亮度信息与第二亮度信息之间是否存在差异。
本申请实施例提供的亮度变化检测方法的有益效果与亮度变化检测装置的有益效果相同，此处不再赘述。
在一种可能的实现方式中，第一亮度信息为第一曝光时段内得到的亮度信息；第二亮度信息为第二曝光时段内得到的亮度信息；第一曝光时段和第二曝光时段为两个不重合的时段。
在一种可能的实现方式中，对第二亮度信息进行处理，输出比较信号，包括：根据第二亮度信息生成第二曝光信号，并生成K倍的第二曝光信号，使输出的比较信号包括K倍的第二曝光信号；其中，K大于0。
在一种可能的实现方式中，对第一亮度信息进行处理，输出阈值，包括：根据第一亮度信息生成第一曝光信号，并生成X1倍的第一曝光信号和X2倍的第一曝光信号，使输出的上阈值包括X1倍的第一曝光信号，输出的下阈值包括X2倍的第一曝光信号；其中，X1大于X2。
在一种可能的实现方式中，将比较信号和阈值进行比较，并根据比较结果输出事件，包括：将上阈值与比较信号进行比较，在比较信号大于上阈值的情况下，事件表示第二亮度信息对应的曝光亮度大于第一亮度信息对应的曝光亮度；将下阈值与比较信号进行比较，在比较信号小于下阈值的情况下，事件表示第二亮度信息对应的曝光亮度小于第一亮度信息对应的曝光亮度；在比较信号大于下阈值且小于上阈值的情况下，事件表示第二亮度信息对应的曝光亮度等于或者近似等于第一亮度信息对应的曝光亮度。
本申请实施例的第三方面，提供一种电子设备，包括亮度变化检测装置和印刷电路板，亮度变化检测装置设置在印刷电路板上，亮度变化检测装置包括第一方面任一项的亮度变化检测装置。
本申请实施例的第四方面，提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，当计算机程序被运行时，实现如第二方面中的任一项的亮度变化检测方法。
本申请实施例的第五方面，提供一种电路模块，包括：阈值设定电路、比例放大/缩小电路和比较器；第一曝光时长的电压值送入阈值设定电路，输出值作为比较器的上、下阈值；第二曝光时长的电压值送入比例放大/缩小电路，按照第一曝光时长和第二曝光时长的比值，放大或缩小第二曝光时长的电压值；比较器用于比较阈值设定电路和比例放大/缩小电路的输出值，进行比较结果判断出“暗变亮”、“亮变暗”或者“亮度不变”。
在一种可能的实现方式中，阈值设定电路和比例放大/缩小电路均包括运算放大器、电容和自动调零开关。
本申请实施例的第六方面，提供一种电子设备，包括第五方面的电路模块和显示屏，电路模块用于判断显示屏“暗变亮”、“亮变暗”或者“亮度不变”。
本申请实施例的第七方面，提供一种电路模块的驱动方法，电路模块包括阈值设定电路、比例放大/缩小电路和比较器；驱动方法包括：第一曝光时长的电压值送入阈值设定电路，输出值作为比较器的上、下阈值；第二曝光时长的电压值送入比例放大/缩小电路，按照第一曝光时长和第二曝光时长的比值，放大或缩小第二曝光时长的电压值；比较器比较阈值设定电路和比例放大/缩小电路的输出值，进行比较结果判断出“暗变亮”、“亮变暗”或者“亮度不变”。
附图说明
图1为本申请实施例提供的一种电子设备的框架示意图；
图2A为本申请实施例提供的一种图像传感器的框架示意图；
图2B为本申请实施例提供的另一种图像传感器的框架示意图；
图3A为本申请实施例提供的又一种图像传感器的框架示意图；
图3B为本申请实施例提供的一种子像素的输出信号图；
图3C为本申请实施例提供的又一种图像传感器的框架示意图；
图3D为本申请实施例提供的一种帧差法的输出示意图；
图4为本申请实施例提供的一种亮度变化检测方法的流程图；
图5为本申请实施例提供的一种时间轴上的时刻示意图；
图6为本申请实施例提供的一种亮度变化检测装置的模块示意图；
图7为本申请实施例提供的一种亮度变化检测装置的应用场景示意图；
图8为本申请实施例提供的另一种亮度变化检测装置的应用场景示意图；
图9为本申请实施例提供的一种曝光时段对比示意图；
图10为本申请实施例提供的一种亮度变化检测装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
以下，术语“第二”、“第一”等仅用于描述方便，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第二”、“第一”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
此外，本申请实施例中，“上”、“下”、“左”、“右”等方位术语可以包括但不限于相对附图中的部件示意置放的方位来定义的，应当理解到，这些方向性术语可以是相对的概念，它们用于相对于的描述和澄清，其可以根据附图中部件附图所放置的方位的变化而相应地发生变化。
在本申请实施例中，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或成一体；可以是直接相连，也可以通过中间媒介间接相连。此外，术语“相耦接”可以是直接的电性连接，也可以通过中间媒介间接的电性连接。术语“接触”可以是直接接触，也可以是通过中间媒介间接的接触。
本申请实施例中，“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请实施例提供一种电子设备，该电子设备例如可以为摄像头、互联网协议摄像机(internet protocol camera，IPC)、具有前置和/或后置摄像头的手机、具有前置和/或后置摄像头的平板、数码照相机、数码摄像机、车载摄像头或者工业摄像头等具有图像采集功能的装置。此外，电子设备可以应用于安防领域、摄影摄像领域、汽车电子领域或者工业机器视觉领域等。
如图1所示，电子设备可以包括图像传感器10、镜头20和图像处理器30。其中，镜头20用于将被拍摄物体发出的光或反射的光汇聚至图像传感器10上，图像传感器10用于将接收到的光学图像转换为数字信号；图像处理器30用于对数字信号进行处理，并输出被拍摄物体的图像。
图像传感器10是电子设备的重要组成部分，影响着电子设备的性能。
现阶段，常用的图像传感器10包括动态视觉传感器(dynamic vision sensor，DVS)和互补金属氧化物半导体图像传感器(CMOS image sensor，CIS)两种。
在一些技术中，如图2A所示，提供一种DVS。DVS包括依次串联的光电转换模块、信号转换模块、信号处理模块、差分模块以及比较模块。
利用像素中的光电转换模块将入射光强线性转换为光电流，然后通过信号转换模块将光电流转为对数关系的亮度信息。对数关系的亮度信息经信号处理模块平移或者放大后送入差分模块中。差分模块计算当前时刻的亮度信息与接下来某一个时刻亮度信息的差值。然后将差值送入比较器中，与设定值进行比较，输出“事件”(事件定义为亮度变化，包括“暗变亮”、“亮变暗”、“亮度不变”三种，为数字量)。如果入射光强变亮，则亮度信息值会上升，高于设定值时，就会触发事件，即“暗变亮”。如果入射光强变暗，则亮度信息值会下降，低于设定值时，就会触发事件，即“亮变暗”。如果入射光强不变或者变化很小时，亮度信息不变，则不会触发事件，即“亮度不变”。
DVS虽然可以实现动态视觉，输出事件，但是无法逐帧成像。
基于上述问题，在一些技术中，如图2B所示，提供另一种动态像素和主动视觉传感器(dynamic pixel and active vision sensor，DAVIS)。
DAVIS是在DVS的基础上增加与光电转换模块一一对应耦接的有源像素传感器(active pixel sensor，APS)，光电转换模块生成的光生电子还传输至APS中，经APS实现逐帧成像。
但是，DAVIS每个像素中的光电转换模块一一对应耦接有APS，导致像素尺寸较大。从而导致相同芯片面积下，图像传感器的空间分辨率较低。另外，DAVIS无法做相关双采样(correlated double sampling，CDS)，导致图像质量比较差，读取噪声(read noise)和暗电流(dark current)也较大。再者，DAVIS像素的光电转换效率(QE)很低。此外，DAVIS产品绝大多数没有彩色滤光片(color filter)，只能输出灰度图像。
在一些技术中，如图3A所示，还提供一种CIS，CIS包括子像素、CDS、可变增益放大器(programmable gain amplifier，PGA)、模数转换器(analog-to-digital converter，ADC)以及存储器(memory)。
在一些实施例中，如图3A所示，子像素包括第一晶体管M1、第二晶体管M2、第三晶体管M3、第四晶体管M4以及光电二极管(photodiode，PD)。
光电二极管PD工作在反偏电压下，用于将照射到自身的入射光转换为电子(被称为“光生电子”)。第一晶体管M1可以理解为是电荷传输门，第二晶体管M2可以理解为是复位管，第三晶体管M3可以理解为是源极跟随器，第四晶体管M4可以理解为是行选通器。节点FD可以理解为是一个悬浮扩散电位(floating diffusion，FD)节点。
在复位控制信号端RST接收的复位控制信号rst的控制下，第二晶体管M2导通，将电源电压端VDD的复位电压传输至节点FD，对节点FD进行复位，改变节点FD的电压VFD。在第二控制信号端RS接收的第二控制信号rs的控制下，第四晶体管M4导通，节点FD的复位电压VRST通过第三晶体管M3和第四晶体管M4输出，并作为亮度信息输出到CDS。
在第一控制信号端TG接收的第一控制信号tg的控制下，第一晶体管M1导通，光电二极管PD中产生的光生电子，进入节点FD存储起来，改变节点FD的电压VFD。节点FD的电压VFD的变化量正比于入射光强与曝光时长的乘积，从而将光信号转换为电压信号。在读取当前子像素时，在第二控制信号端RS接收的第二控制信号rs的控制下，第四晶体管M4导通，节点FD的光电转换电压VSIG通过第三晶体管M3和第四晶体管M4输出，并作为亮度信息输出到CDS。至此，子像素完成了光电转换和电信号的输出。
如图3B所示，子像素向CDS输出的亮度信息包括复位电压VRST和光电转换电压VSIG，CDS的主要作用是采集子像素中的复位电压VRST和光电转换电压VSIG，然后对二者做差(VRST-VSIG)，消除大部分噪声，使差值正比于入射光强与曝光时长的乘积。
PGA是对前述差值进行线性放大，即提供模拟增益，满足ADC的输入摆幅要求。ADC是对电压值进行量化，将模拟信号转换为数字信号，即亮度值。存储器将ADC的量化结果存储起来。至此，图像传感器的工作全部完成。
CIS具有可以做相关双采样，提升图像质量、读取噪声小、暗电流小、光电转换效率高、可以彩色显示、占用面积小等优势。
在一些技术中，如图3C所示，示意一种改进后的CIS。每个像素除了CIS子像素之外，还包括DVS像素电路。逐帧成像和动态视觉共用子像素，但是信号处理电路是独立分开的。具体而言，关闭第一开关SW1，打开第二开关SW2，使改进后的CIS处于成像功能。关闭第二开关SW2，打开第一开关SW1，使改进后的CIS处于DVS动态视觉功能，子像素形成的光生电流被DVS像素电路处理，输出动态视觉事件。
这样虽然可以同时实现动态视觉功能和逐帧成像，但是每个子像素需耦接DVS像素电路，导致像素的结构复杂。从而导致相同芯片面积下，图像传感器的空间分辨率较低。另外，逐帧成像和动态视觉功能需要切换，二者只能择其一，在一帧中不能同时输出图像和动态视觉。
基于此，在一些技术中，会将CIS的量化结果送入其他外接芯片(例如图像信号处理芯片ISP)实现运动检测，即帧差法。将CIS相邻的两个输出帧，同一像素点的亮度值做差，通过差值来判断动态事件。如图3D所示，和第1帧相比，第2帧多了一个“三角形”，所以动态视觉的结果是只有“三角形”对应的像素点才有输出。和第2帧相比，第3帧多了一个“长方形”，所示动态视觉的结果只有“长方形”。该方案易于实现，在图像信号处理单元中增加差分运算即可。
帧差法虽然可以在一帧中同时输出图像和动态视觉。但是其需要在当前帧所有行完成曝光和模数转换后才能开始下一帧的曝光。具体地，当前帧最后一行的模数转换完成后跟随有两帧之间的闲置时间，而下一帧第一行的首次曝光结束时间需晚于闲置时间的结束。这就会导致在进行亮度变化判断时只能根据前后帧的结果判断亮度变化，时间间隔较长，无法判断更短时间的亮度变化。另外，这样需要存储上一帧所有行的亮度值，待下一帧逐行输出亮度值后，对应像素做差分，会大幅增加存储需求，增加检测亮度变化的成本。
图4是本申请实施例提供的亮度变化检测方法的一个示意性流程图。
基于此，本申请实施例还提供一种亮度变化检测装置，如图4所示的亮度变化检测方法可以由亮度变化检测装置执行。该亮度变化检测装置可以是用于运动目标检测的电子设备。或者该亮度变化检测装置可以配置于电子设备。示例性地，该亮度变化检测装置可以是芯片。电子设备包括像素阵列，像素阵列包括多个子像素。像素阵列和亮度变化检测装置例如可以构成一个图像传感器。
如图4所示，本申请实施例提供的亮度变化检测方法，包括但不限于以下步骤：
S10、生成第一亮度信息E1和第二亮度信息E2。
在一些实施例中，第一亮度信息E1为第一曝光时段内得到的亮度信息，第二亮度信息E2为第二曝光时段内得到的亮度信息，第一曝光时段和第二曝光时段为两个不重合的时段。
第一曝光时段和第二曝光时段不重合，可以是第一曝光时段的起始时刻和第二曝光时段的截止时刻，二者中的至少一个不同。
在一些实施例中，第一曝光时段的截止时刻和第二曝光时段的截止时刻不同，且第二曝光时段的截止时刻晚于第一曝光时段的截止时刻。
示例的，第一曝光时段的开始时刻与第二曝光时段的开始时刻相同。
例如，检测装置可以控制第一子像素和第二子像素均从如图5所示的T1时刻开始曝光，第一子像素在T3时刻停止曝光，而第二子像素在T4时刻停止曝光。则第一曝光时段的第一曝光时长为T3-T1，第二曝光时段的第二曝光时长为T4-T1。检测装置可以获取到第一子像素曝光第一曝光时长得到的第一亮度信息E1，以及第二子像素曝光第二曝光时长得到的第二亮度信息E2。
或者，示例的，第一曝光时段的开始时刻与第二曝光时段的开始时刻不同。
例如，检测装置可以控制第一子像素从如图5所示的T1时刻开始曝光，控制第一子像素在T3时刻截止曝光。控制第二子像素从如图5所示的T2时刻开始曝光，并控制第二子像素均在T4时刻截止曝光。则第一曝光时段的第一曝光时长为T3-T1，第二曝光时段的第二曝光时长为T4-T2。检测装置可以获取到第一子像素曝光第一曝光时长得到的第二亮度信息E2，以及第二子像素曝光第二曝光时长得到的第二亮度信息E2。
或者，例如，检测装置可以控制第一子像素从如图5所示的T2时刻开始曝光，控制第一子像素在T3时刻截止曝光。控制第二子像素从如图5所示的T1时刻开始曝光，并控制第二子像素均在T4时刻截止曝光。则第一曝光时段的第一曝光时长为T3-T2，第二曝光时段的第二曝光时长为T4-T1。检测装置可以获取到第一子像素曝光第一曝光时长得到的第二亮度信息E2，以及第二子像素曝光第二曝光时长得到的第二亮度信息E2。
在另一些实施例中，第一曝光时段的截止时刻和第二曝光时段的截止时刻相同。
例如，检测装置可以控制第一子像素从如图5所示的T1时刻开始曝光，控制第二子像素从如图5所示的T2时刻开始曝光，并控制第一子像素和第二子像素均在T4时刻停止曝光。则第一曝光时段的第一曝光时长为T4-T1，第二曝光时段的第二曝光时长为T4-T2。检测装置可以获取到第一子像素曝光第一曝光时长得到的第二亮度信息E2，以及第二子像素曝光第二曝光时长得到的第二亮度信息E2。
在第一曝光时段和第二曝光时段的截止时刻相同的情况下，检测装置可以在两个子像素同时曝光结束后获取相应的亮度信息并生成运动信息，两个像素同时曝光结束的时序设计相对简单。
在一些实施例中，如图6所示，第一亮度信息E1是第一子像素在第一曝光时段内得到的亮度信息，第二亮度信息E2是第二子像素在第二曝光时段内得到的亮度信息。
第一子像素和第二子像素为电子设备的像素阵列中的两个子像素，第一子像素和第二子像素可以称为一个像素对。
在一些实施例中，第一子像素和第二子像素可以是同一颜色的相邻两个子像素。
两个相邻子像素可以视为处于同一环境位置接收光子，通过控制该两个子像素曝光不同时长，使得检测装置可以根据这两个子像素曝光后得到的亮度信息，判断该像素对所处的位置(或区域)是否发生了亮度变化，从而确定该位置(或区域)是否存在运动目标。
第一子像素和第二子像素可以是同一个2×2子像素块中同一颜色对角相邻的两个子像素。比如第1列、第2列与第1行、第2行相交的2×2子像素块中，第一子像素和第二子像素可以是对角相邻的两个子像素。第一子像素和第二子像素也可以是同一颜色的2×2子像素块中的任意两个子像素，如左右相邻、上下相邻或对角相邻的两个子像素。
需要说明的是，上述两个示例为本申请实施例提供的一种可选方案，但本申请并不限于此。在具体实施中可以选择像素阵列中相近的两个子像素，例如第一子像素和第二子像素之间可以间隔一个或多个子像素，并通过本申请实施例提供的方案进行运动目标的检测也应属于本申请的保护范围。
在一些实施例中，结合图3A和图3B及相关描述可知，第一子像素输出的第一亮度信息E1例如可以包括复位电压V1,RST和光电转换电压V1,SIG，第二子像素输出的第二亮度信息E2例如可以包括复位电压V2,RST和光电转换电压V2,SIG。
在一些实施例中，步骤S10由亮度变化检测装置来完成。
在另一些实施例中，步骤S10由与亮度变化检测装置耦接的器件(例如图像传感器)来完成。
S20、接收第一亮度信息E1，对第一亮度信息E1进行处理，输出阈值。
在一些实施例中，该步骤可以通过亮度变化检测装置中的阈值生成电路来完成。阈值生成电路被配置为接收第一亮度信息E1，对第一亮度信息E1进行处理，输出阈值。
在一些实施例中，阈值生成电路输出的阈值包括上阈值和下阈值，对第一亮度信息E1进行处理，输出阈值，包括：
根据第一亮度信息E1生成第一曝光信号V1，根据第一曝光信号V1输出上阈值和下阈值；上阈值大于第一曝光信号V1，下阈值小于第一曝光信号V1。
示例的，对第一亮度信息E1进行处理，输出阈值，包括：
根据第一亮度信息E1生成第一曝光信号V1，并生成X1倍的第一曝光信号V1(X1*V1)和X2倍的第一曝光信号V1(X2*V1)，使输出的上阈值包括X1倍的第一曝光信号(X1*V1)，输出的下阈值包括X2倍的第一曝光信号(X2*V1)。
其中，X1大于X2。
在一些实施例中，X1-X2＝2X，0<X<1。
示例的，X1＝M+X，X2＝M-X，M为正整数。
例如，M＝1，X1等于1.1、1.2、1.3、1.4、1.5等，X2等于0.9、0.8、0.7、0.6、0.5等。
或者，例如，M＝2，X1等于2.2、2.4、2.6等，X2等,1.8、1.6、1.4等。
在一些实施例中，如图7所示，阈值生成电路包括上阈值生成模块和下阈值生成模块。
上阈值生成模块被配置为接收第一亮度信息E1，对第一亮度信息E1进行处理，输出上阈值V上。
示例的，上阈值生成模块被配置为接收第一亮度信息E1，根据第一亮度信息E1生成第一曝光信号V1，并生成X1倍的第一曝光信号V1(X1*V1)，输出上阈值V上，且输出的上阈值V上包括X1倍的第一曝光信号(X1*V1)。
例如，输出的上阈值V上＝X1*V1＝1.1*V1。或者，上阈值V上为X1*V1再加其他信号。
下阈值生成模块被配置为接收第一亮度信息E1，对第一亮度信息E1进行处理，输出下阈值V下。
示例的，下阈值生成模块被配置为接收第一亮度信息E1，根据第一亮度信息E1生成第一曝光信号V1，并生成X2倍的第一曝光信号V1(X2*V1)，输出下阈值V下，且输出的下阈值V下包括X2倍的第一曝光信号(X2*V1)。
例如，输出的下阈值V下＝X2*V1＝0.9*V1。或者，下阈值V下为X2*V1再加其他信号。
应当明白的是，阈值生成电路根据第一亮度信息E1生成第一曝光信号V1，并根据第一曝光信号V1输出上阈值V上和下阈值V下，这两部分功能可以由一部分电路结构完成，也可以由两部分电路结构完成。
示例的，上述两部分功能由一部分电路结构完成。
例如，上阈值生成模块的接收端接收第一亮度信息E1，输出端输出上阈值V上，下阈值生成模块的接收端接收第一亮度信息E1，输出端输出下阈值V下。
或者，示例的，上述两部分功能由两部分电路结构分别完成。
例如，上阈值生成模块包括第一电路部分和第二电路部分，第一电路部分的接收端接收第一亮度信息E1，输出端输出第一曝光信号V1。第二部分的接收端接收第一曝光信号V1，输出端输出上阈值V上。同理，下阈值生成模块包括第一电路部分和第二电路部分，第一电路部分的接收端接收第一亮度信息E1，输出端输出第一曝光信号V1。第二部分的接收端接收第一曝光信号V1，输出端输出下阈值V下。
在这种情况下，示例的，上阈值生成模块的用于生成第一曝光信号V1的第一部分和下阈值生成模块用于生成第一曝光信号V1的第一部分可以为同一个结构，也可以为两个独立的结构。
在一些实施例中，第一曝光信号V1用于指示第一曝光时段内得到的曝光亮度，第一曝光信号V1正比于第一曝光时段内的入射光强与第一曝光时段对应的第一曝光时长的乘积。第一曝光信号V1作为阈值的变化基准，随着第一亮度信息E1的变化，第一曝光信号V1也会动态变化，输出的阈值也会动态匹配调整。
示例的，结合图3A和图3B及相关描述可知，第一亮度信息E1包括第一子像素对应的复位电压V1,RST和光电转换电压V1,SIG，第一曝光信号V1＝V1,RST-V1,SIG。
S30、接收第二亮度信息E2，对第二亮度信息E2进行处理，输出比较信号。
在一些实施例中，亮度变化检测装置包括比较信号生成电路，通过亮度变化检测装置中的比较信号生成电路执行步骤S30。比较信号生成电路路被配置为接收第二亮度信息E2，对第二亮度信息E2进行处理，输出比较信号。
在一些实施例中，对第二亮度信息E2进行处理，包括：
根据第二亮度信息E2生成第二曝光信号V2，并生成K倍的第二曝光信号V2，使输出的比较信号包括K倍的第二曝光信号V2(K*V2)。
即，接收到的信号为第二亮度信息E2，对第二亮度信息E2进行处理，生成第二曝光信号V2，将第二曝光信号V2放大为K倍的第二曝光信号V2，使输出的比较信号包括K倍的第二曝光信号V2(K*V2)。
本申请实施例中，K可以大于1、等于1或者小于1。
示例的，K的取值小于1。例如，K的取值为0.1、0.2、0.3、0.4、0.5、0.6等。在这种情况下，相当于对第二曝光信号V2进行缩小处理。
或者，示例的，K的取值大于1。例如，K的取值为1、2、3、4、5等。在这种情况下，相当于对第二曝光信号V2进行放大处理。
在一些实施例中，将第一曝光时段对应的第一曝光时长，与，第二曝光时段对应的第二曝光时长的比值称为第一比值。
示例的，K等于第一比值。或者，示例的，K等于M倍的第一比值。M与上述X1和X2中的M取值相同。
由于获得第一亮度信息E1时对应的曝光时长和获得第二亮度信息E2时对应的曝光时长不相等，在K等于第一曝光时段对应的第一曝光时长，与，第二曝光时段对应的第二曝光时长的比值的情况下，K倍的第二亮度信息E2与第一亮度信息E1对应的等效曝光时长相等。因此，按照第一曝光时长和第二曝光时长的比值，放大或缩小第二曝光时段的电压值。将第二亮度信息E2的K倍，与由第一亮度信息E1得来的阈值进行比较，实际判断的是第一子像素和第二子像素在相等的等效曝光时长内的亮度变化，比较参量一致，判断出的第一曝光时段和第二曝光时段内的入射光强的变化情况更为准确。
在一些实施例中，第二曝光信号V2用于指示第二曝光时段内得到的曝光亮度，第二曝光信号V2正比于第二曝光时段内的入射光强与第二曝光时段对应的第二曝光时长的乘积。第二亮度信息E2作为比较信号生成电路的输入，基于第二曝光信号V2生成亮度对比信号。
示例的，结合图3A和图3B及相关描述可知，第二亮度信息E2包括第二子像素对应的复位电压V2,RST和光电转换电压V2,SIG，第二曝光信号V2＝V2,RST-V2,SIG。
S40、将比较信号和阈值进行比较，并根据比较结果输出事件。
本申请实施例中，事件用于指示第一亮度信息E1与第二亮度信息E2之间是否存在差异。示例的，事件表示第二亮度信息E2对应的曝光亮度大于第一亮度信息E1对应的曝光亮度。或者，事件表示第二亮度信息E2对应的曝光亮度小于第一亮度信息E1对应的曝光亮度。或者，事件表示第二亮度信息E2对应的曝光亮度等于或者近似等于第一亮度信息E1对应的曝光亮度。
在一些实施例中，将比较信号和阈值进行比较，并根据比较结果输出事件，包括：
将上阈值V上与比较信号进行比较，在比较信号大于上阈值的情况下，事件表示第二亮度信息E2对应的曝光亮度大于第一亮度信息E1对应的曝光亮度。
将下阈值V下与比较信号进行比较，在比较信号小于下阈值的情况下，事件表示第二亮度信息E2对应的曝光亮度小于第一亮度信息E1对应的曝光亮度。
将上阈值V上与比较信号进行比较，将下阈值V下与比较信号进行比较，在比较信号大于下阈值且小于上阈值的情况下，事件表示第二亮度信息E2对应的曝光亮度等于或者近似等于第一亮度信息E1对应的曝光亮度。
在一些实施例中，比较电路包括第一比较器和第二比较器。
第一比较器与上阈值生成模块和比较信号生成电路耦接，第一比较器被配置为将上阈值V上与比较信号进行比较。第二比较器与下阈值生成模块和比较信号生成电路耦接，第二比较器被配置为将下阈值V下与比较信号进行比较。
根据第一比较器和第二比较器的比较结果，输出事件。
示例的，在第一比较器中的比较信号大于上阈值V上，第二比较器中的比较信号大于下阈值V下的情况下，事件表示第二亮度信息E2对应的曝光亮度大于第一亮度信息E1对应的曝光亮度。
在第一比较器中的比较信号小于下阈值V上，第二比较器中的比较信号大于下阈值V下的情况下，事件表示第二亮度信息E2对应的曝光亮度小于第一亮度信息E1对应的曝光亮度。
在第二比较器中的比较信号大于下阈值V下且第一比较器中的比较信号小于上阈值V上的情况下，事件表示第二亮度信息E2对应的曝光亮度等于或者近似等于第一亮度信息E1对应的曝光亮度。
例如，对于第一比较器而言，在比较信号大于上阈值V上的情况下，第一比较器输出“1”。在比较信号小于上阈值V上的情况下，第一比较器输出“0”。
对于第二比较器而言，比较信号大于下阈值V下的情况下，第二比较器输出“1”。在比较信号小于下阈值V下的情况下，第二比较器输出“0”。
以第二曝光时段的中间时刻晚于第一曝光时段的中间时刻为例(例如图9所示的第一曝光时段和第二曝光时段)，若第一比较器输出“1”，第二比较器输出“1”，比较电路输出的组合为“11”。表示第二曝光时段的曝光亮度大于第一曝光时段的曝光亮度，也就是入射光强为明显的“暗变亮”。
若第一比较器输出“0”，第二比较器输出“0”，比较电路输出的组合为“00”。表示第二曝光时段的曝光亮度小于第一曝光时段的曝光亮度，也就是入射光强为明显的“亮变暗”。
若第一比较器输出“0”，第二比较器输出“1”，比较电路输出的组合为“01”。表示第二曝光时段的曝光亮度与第一曝光时段的曝光亮度相等或者近似相等(变化不大)，也就是入射光强的“亮度不变”。
比较电路用于比较阈值生成电路和比较信号生成电路的输出值，比较结果判断出“暗变亮”、“亮变暗”或者“亮度不变”，以实现动态视觉功能。
可以理解的是，若第二曝光时段的中间时刻早于第一曝光时段的中间时刻，则表示结果恰好相反。
本申请实施例提供的亮度变化检测装置或者亮度变化检测方法，判断亮度变化(也就是动态视觉判断)的阈值，是由动态变化的第一亮度信息E1来决定，对于每个第二亮度信息E2而言，可以产生与第一亮度信息E1挂钩的“自适应阈值”，而并非固定不变的阈值。这样一来，极大的增强了判断亮度变化(也就是动态视觉判断)的鲁棒性。例如，当将本申请实施例提供的亮度变化检测装置应用到图像传感器中时，图像传感器中的像素阵列中每个子像素的入射光强不同，所以难于提供统一的阈值进行自适应判断。如果提供统一的阈值进行自适应判断，会影响比较结果的准确性。
另外，对于DVS结构，上、下阈值需要DVS中的其他电路模块专门提供给比较模块。但是，本申请实施例中，无需额外提供上、下阈值电压给比较器，上、下阈值由检测装置自适应产生。这样一来，亮度变化检测装置的电路设计和版图设计更加简单。
再者，与DVS结构相比，本申请实施例无需“信号转换模块(或者称为对数转换模块)”和“差分模块(asynchronous delta modulation，ADM)”，亮度变化检测装置的电路结构简单，易于实现。
此外，本申请实施例中直接处理第一亮度信息和第二亮度信息，无需ADC量化。由此，减少ADC功耗和量化时间，实现高帧率的亮度变化检测(也就是动态视觉)功能。
在一些实施例中，如图8所示，亮度变化检测装置可以集成于CIS中，通过像素阵列曝光得到像素阵列对应的亮度信息集合，并基于该亮度信息集合既输出图像信息，又生成事件。
第一子像素输出的第一亮度信息E1一路进入阈值生成电路，用于生成检测亮度变化是否存在运动目标所需的阈值。另一路经过图像处理电路处理后，得到第一子像素对应第一图像信号。同理，第二子像素输出的第二亮度信息E2一路进入比较信号生成电路，用于生成检测亮度变化是否存在运动目标所需的比较信号。另一路经过图像处理电路处理后，得到第二子像素对应的第二图像信号。第一图像包括第一图像信号和第二图像信号，以及像素阵列其他子像素对应的图像信号。比较器对阈值生成电路生成的阈值和比较信号生成电路生成的比较信号进行比较，得到事件，从而判断是否存在运动目标。
在一些实施例中，该像素阵列包括多个像素对，每个像素对包括两个子像素，其中，第一子像素和第二子像素属于一个像素对。亮度变化检测装置可以基于多个像素对中的每个像素对中的两个子像素曝光不同时长，得到两个亮度信息，并生成像素对对应的亮度变化信息，从而得到该多个像素对对应的多个运动信息。
其中，每个像素对中的两个子像素单元曝光方式以及生成运动信息的方式可以参考上述第一像素单元和第二像素单元，为了简要，在此不再赘述。检测装置可以基于该多个像素对得到多个亮度变化信息，并确定是否存在运动目标，以及还可以基于该多个亮度变化信息进行目标识别或目标跟踪等。
本申请实施例可以将亮度变化检测装置集成在CIS中，在已有的CIS中增加了一个新的电路模块，与已有的成像功能相辅相成，从而使CIS实现了双模功能。
下面，以一个详细的示例，对亮度变化检测装置进行举例说明。
在一些实施例中，如图9所示，第一子像素和第二子像素为空间位置紧邻且具有相同发光颜色(color filter)的两个子像素。为实现动态视觉功能，假设第一子像素的第一曝光时长为t，第二子像素的第二曝光时长为0.5t，且第一子像素和第二子像素同时结束曝光。
结合图3A和图3B所示，第一子像素生成的第一亮度信息E1(包括V1,RST和V1,SIG)输出到阈值生成电路，第二子像素生成的第二亮度信息E2(包括V2,RST和V2,SIG)输出到比较信号生成电路。
阈值生成电路根据第一亮度信息E1生成第一曝光信号V1(＝V1,RST和V1,SIG)，第一曝光信号V1正比于第一子像素的入射光强与第一曝光时长的乘积。比较信号生成电路根据第二亮度信息E2生成第二曝光信号V2(＝V2,RST和V2,SIG)，第二曝光信号V2正比于第二子像素的入射光强与第二曝光时长的乘积。
第一曝光时长与第二曝光时长的比值为2，也就是说，K的取值为2。将第二亮度信息E2放大2倍，才能使第一子像素和第二子像素的等效曝光时长相等。
假设2*V2>V上，则第一比较器输出“1”，反之，则输出“0”。2*V2>V下，则第二比较器输出“1”，反之，则输出“0”。结合前述，若入射光强为明显的“暗变亮”，则2*V2>V上，第一比较器和第二比较器的输出组合为“11”。若入射光强为明显的“亮变暗”，则2*V2<V下，第一比较器和第二比较器的输出组合为“00”。若入射光强变化不大，认为是“亮度不变”，则V下<2*V2<V上，第一比较器和第二比较器的输出组合为“01”。
关于上阈值生成模块的结构，在一些实施例中，如图10所示，上阈值生成模块包括第一电容C1、第二电容C2、第一开关AZ1以及第一运算放大器OP1。
第一电容C1的第一端用于接收第一亮度信息E1，第一电容C1的第二端与第一运算放大器OP1的第一输入端耦接。
第一运算放大器OP1的第二输入端与基准电压端耦接，第一运算放大器OP1的输出端用于输出上阈值V上。
第一开关AZ1和第二电容C2并联耦接于第一运算放大器OP1的第一输入端和第一运算放大器OP1的输出端之间。
在一些实施例中，第一开关AZ1例如可以是自动调零开关(auto zero，AZ)。
在上阈值生成模块工作过程中，首先，第一开关AZ1导通，使第一运算放大器OP1的第一输入端和输出端短路，此时，第一运算放大器OP1的输出端输出的信号Vout1＝基准电压端的信号Vref。然后断开第一开关AZ1，上阈值生成模块的输入变成了第一亮度信息E1，根据电路基本工作原理，第一运算放大器OP1的输出端输出的信号Vout1＝Vref+(C1/C2)*V1＝Vref+V上。其中X1＝C1/C2。
关于下阈值生成模块的结构，在一些实施例中，如图10所示，下阈值生成模块包括第三电容C3、第四电容C4、第二开关AZ2以及第二运算放大器OP2。
第三电容C3的第一端用于接收第一亮度信息E1，第三电容C3的第二端与第二运算放大器OP2的第一输入端耦接。
第二运算放大器OP2的第二输入端与基准电压端耦接，第二运算放大器OP2的输出端用于输出下阈值V下。
第二开关AZ2和第四电容C4并联耦接于第二运算放大器OP2的第一输入端和第二运算放大器OP2的输出端之间。
在一些实施例中，第二开关AZ2例如可以是自动调零开关(auto zero，AZ)。
在下阈值生成模块工作过程中，首先，第二开关AZ2导通，使第二运算放大器OP2的第一输入端和输出端短路，此时，第二运算放大器OP2的输出端输出的信号Vout2＝基准电压端的信号Vref。然后断开第二开关AZ2，下阈值生成模块的输入变成了第一亮度信息E1，根据电路基本工作原理，第二运算放大器OP2的输出端输出的信号Vout2＝Vref+(C3/C4)*V1＝Vref+V下。其中X2＝C3/C4。
在一些实施例中，如图10所示，比较信号生成电路包括第五电容C5、第六电容C6、第三开关AZ3以及第三运算放大器OP3。
第五电容C5的第一端用于接收第二亮度信息E2，第五电容C5的第二端与第三运算放大器OP3的第一输入端耦接。
第三运算放大器OP3的第二输入端与基准电压端耦接，第三运算放大器OP3的输出端用于输出比较信号。
第三开关AZ3和第六电容C6并联耦接于第三运算放大器OP3的第一输入端和第三运算放大器OP3的输出端之间。
在一些实施例中，第三开关AZ3例如可以是自动调零开关(auto zero，AZ)。
在比较信号生成电路工作过程中，首先，第三开关AZ3导通，使第三运算放大器OP3的第一输入端和输出端短路，此时，第三运算放大器OP3的输出端输出的信号Vout3＝基准电压端的信号Vref。然后断开第三开关AZ3，比较信号生成电路的输入变成了第二亮度信息E2，根据电路基本工作原理，第三运算放大器OP3的输出端输出的信号Vout3＝Vref+(C5/C6)*V2。其中，K＝C5/C6。上阈值生成模块输出的信号Vout1与比较信号生成电路输出的信号Vout3均传输至第一比较器进行比较。消除Vout1和Vout3中的相同项Vref，对于第一比较器来说，实则比较的两个电压值为(C1/C2)*V1(也就是V上)与(C5/C6)*V2(也就是K*V2)。
下阈值生成模块输出的信号Vout2与比较信号生成电路输出的信号Vout3均传输至第二比较器进行比较。消除Vout2和Vout3中的相同项Vref，对于第二比较器来说，实则比较的两个电压值为(C3/C4)*V1(也就是V下)与(C5/C6)*V2(也就是K*V2)。
在一些实施例中，C1/C2＝1+X，C3/C4＝1-X，C5/C6＝K。
示例的，C2＝C4＝C6＝C0。C1＝C0+△C，C3＝C0-△C，K＝C5/C0。那么，C1/C2＝(C0+△C)/C0＝1+△C/C0，C3/C4＝(C0-△C)/C0＝1-△C/C0。也就是说，X＝△C/C0。C0为参考电容，△C为参考变量。
那么，V上＝(C1/C2)*V1＝(1+△C/C0)*V1，上阈值是在第一亮度信息E1的基础上增加△C/C0的百分比。V下＝(C3/C4)*V1＝(1-△C/C0)*V1，下阈值是在第一亮度信息E1的基础上减少△C/C0的百分比。△C/C0例如可以根据电路噪声和入射光的散粒噪声设定。
示例的，X＝△C/C0＝0.1，曝光时长如图9所示，K＝2。则第一比较器的输入为2*V2和1.1V1，第二比较器的输入为2*V2和0.9V1。将第一曝光时段内的平均入射光强增加和减少10％，作为上阈值V上和下阈值V下，与第二曝光时段内的平均入射光强做比较，得出亮度变化的判断结果。
或者，示例的，C2＝C4＝C6＝C0。C1＝C0＇+△C，C3＝C0＇-△C。那么，第一曝光时长/第二曝光时长＝K＝(C5/C0)/(C0＇/C0)。
本申请实施例对第一电容C1、第二电容C2、第三电容C3、第四电容C4、第五电容C5以及第六电容C6的取值不做限定，上述仅为一种示意。
在一些实施例中，第二电容C2为可变电容。
在一些实施例中，第四电容C4为可变电容。
在一些实施例中，第六电容C6为可变电容。
在第二电容C2、第四电容C4、第六电容C6为可变电容的情况下，可使上阈值生成模块、下阈值生成模块、比较信号生成电路具有放大功能，可实现更高精度的对比。
根据本申请实施例提供的亮度变化检测方法，本申请还提供一种计算机程序产品，该计算机程序产品包括：计算机程序代码，当该计算机程序代码由一个或多个处理器执行时，使得包括该处理器的装置执行本申请实施例提供的亮度变化检测方法。
本申请实施例提供的技术方案可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例所示的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、网络设备、终端设备、核心网设备、机器学习设备或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机可以存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，数字视频光盘(digital video disc，DVD))、或者半导体介质等。
根据本申请实施例提供的方法，本申请还提供一种计算机可读存储介质，该计算机可读存储介质存储有程序代码，当该程序代码由一个或多个处理器运行时，使得包括该处理器的装置执行本申请实施例提供的亮度变化检测方法。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (20)

1.一种亮度变化检测装置，其特征在于，包括：
阈值生成电路，被配置为接收第一亮度信息，对所述第一亮度信息进行处理，输出阈值；
比较信号生成电路，被配置为接收第二亮度信息，对所述第二亮度信息进行处理，输出比较信号；
比较电路，被配置为将所述比较信号和所述阈值进行比较，并根据比较结果输出事件，所述事件用于指示所述第一亮度信息与第二亮度信息之间是否存在差异。
2.根据权利要求1所述的亮度变化检测装置，其特征在于，所述第一亮度信息为第一曝光时段内得到的亮度信息；所述第二亮度信息为第二曝光时段内得到的亮度信息；所述第一曝光时段和所述第二曝光时段为两个不重合的时段。
3.根据权利要求2所述的亮度变化检测装置，其特征在于，对所述第二亮度信息进行处理，输出比较信号，包括：
根据所述第二亮度信息生成第二曝光信号，并生成K倍的所述第二曝光信号，使输出的所述比较信号包括K倍的所述第二曝光信号；
其中，K大于0。
4.根据权利要求1-3任一项所述的亮度变化检测装置，其特征在于，对所述第一亮度信息进行处理，输出阈值，包括：
根据所述第一亮度信息生成第一曝光信号，并生成X1倍的所述第一曝光信号和X2倍的所述第一曝光信号，使输出的上阈值包括X1倍的所述第一曝光信号，输出的下阈值包括X2倍的所述第一曝光信号；
其中，X1大于X2。
5.根据权利要求1-4任一项所述的亮度变化检测装置，其特征在于，所述阈值生成电路包括上阈值生成模块和下阈值生成模块；
所述上阈值生成模块被配置为接收所述第一亮度信息，对所述第一亮度信息进行处理，输出上阈值；
所述下阈值生成模块被配置为接收所述第一亮度信息，对所述第一亮度信息进行处理，输出下阈值。
6.根据权利要求5所述的亮度变化检测装置，其特征在于，
所述上阈值生成模块包括第一电容、第二电容、第一开关以及第一运算放大器；
所述第一电容的第一端用于接收所述第一亮度信息，所述第一电容的第二端与所述第一运算放大器的第一输入端耦接；
所述第一运算放大器的第二输入端与基准电压端耦接，所述第一运算放大器的输出端用于输出所述上阈值；
所述第一开关和所述第二电容并联耦接于所述第一运算放大器的第一输入端和所述第一运算放大器的输出端之间。
7.根据权利要求5或6所述的亮度变化检测装置，其特征在于，所述下阈值生成模块包括第三电容、第四电容、第二开关以及第二运算放大器；
所述第三电容的第一端用于接收所述第一亮度信息，所述第三电容的第二端与所述第二运算放大器的第一输入端耦接；
所述第二运算放大器的第二输入端与基准电压端耦接，所述第二运算放大器的输出端用于输出所述下阈值；
所述第二开关和所述第四电容并联耦接于所述第二运算放大器的第一输入端和所述第二运算放大器的输出端之间。
8.根据权利要求1-7任一项所述的亮度变化检测装置，其特征在于，所述比较信号生成电路包括第五电容、第六电容、第三开关以及第三运算放大器；
所述第五电容的第一端用于接收所述第二亮度信息，所述第五电容的第二端与所述第三运算放大器的第一输入端耦接；
所述第三运算放大器的第二输入端与基准电压端耦接，所述第三运算放大器的输出端用于输出所述比较信号；
所述第三开关和所述第六电容并联耦接于所述第三运算放大器的第一输入端和所述第三运算放大器的输出端之间。
9.根据权利要求4-7任一项所述的亮度变化检测装置，其特征在于，所述比较电路包括第一比较器和第二比较器；
所述第一比较器，被配置为将所述上阈值与所述比较信号进行比较；
所述第二比较器，被配置为将所述下阈值与所述比较信号进行比较；
根据所述第一比较器和所述第二比较器的比较结果，输出所述事件。
10.根据权利要求4-7、9任一项所述的亮度变化检测装置，其特征在于，根据比较结果输出事件，包括：
在所述比较信号大于所述上阈值的情况下，所述事件表示所述第二亮度信息对应的曝光亮度大于所述第一亮度信息对应的曝光亮度；
在所述比较信号小于所述下阈值的情况下，所述事件表示所述第二亮度信息对应的曝光亮度小于所述第一亮度信息对应的曝光亮度；
在所述比较信号大于所述下阈值且小于所述上阈值的情况下，所述事件表示所述第二亮度信息对应的曝光亮度等于或者近似等于所述第一亮度信息对应的曝光亮度。
11.根据权利要求2-10任一项所述的亮度变化检测装置，其特征在于，
所述第一亮度信息为第一子像素在所述第一曝光时段内得到的亮度信息；
所述第二亮度信息为第二子像素在所述第二曝光时段内得到的亮度信息。
12.根据权利要求11所述的亮度变化检测装置，其特征在于，所述第一子像素和所述第二子像素为同一颜色的相邻两个子像素。
13.根据权利要求11或12所述的亮度变化检测装置，其特征在于，所述第一曝光时段和所述第二曝光时段的起始时刻不同，截止时刻相同。
14.一种亮度变化检测方法，其特征在于，包括：
接收第一亮度信息，对所述第一亮度信息进行处理，输出阈值；
接收第二亮度信息，对所述第二亮度信息进行处理，输出比较信号；
将所述比较信号和所述阈值进行比较，并根据比较结果输出事件，所述事件用于指示所述第一亮度信息与第二亮度信息之间是否存在差异。
15.根据权利要求14所述的亮度变化检测方法，其特征在于，所述第一亮度信息为第一曝光时段内得到的亮度信息；所述第二亮度信息为第二曝光时段内得到的亮度信息；所述第一曝光时段和所述第二曝光时段为两个不重合的时段。
16.根据权利要求15所述的亮度变化检测方法，其特征在于，对所述第二亮度信息进行处理，输出比较信号，包括：
根据所述第二亮度信息生成第二曝光信号，并生成K倍的所述第二曝光信号，使输出的所述比较信号包括K倍的所述第二曝光信号；
其中，K大于0。
17.根据权利要求14-16任一项所述的亮度变化检测方法，其特征在于，对所述第一亮度信息进行处理，输出阈值，包括：
根据所述第一亮度信息生成第一曝光信号，并生成X1倍的所述第一曝光信号和X2倍的所述第一曝光信号，使输出的上阈值包括X1倍的所述第一曝光信号，输出的下阈值包括X2倍的所述第一曝光信号；
其中，X1大于X2。
18.根据权利要求15所述的亮度变化检测方法，其特征在于，将所述比较信号和所述阈值进行比较，并根据比较结果输出事件，包括：
将上阈值与比较信号进行比较，在所述比较信号大于所述上阈值的情况下，所述事件表示所述第二亮度信息对应的曝光亮度大于所述第一亮度信息对应的曝光亮度；
将下阈值与比较信号进行比较，在所述比较信号小于所述下阈值的情况下，所述事件表示所述第二亮度信息对应的曝光亮度小于所述第一亮度信息对应的曝光亮度；
在所述比较信号大于所述下阈值且小于所述上阈值的情况下，所述事件表示所述第二亮度信息对应的曝光亮度等于或者近似等于所述第一亮度信息对应的曝光亮度。
19.一种电子设备，其特征在于，包括亮度变化检测装置和印刷电路板，所述亮度变化检测装置设置在所述印刷电路板上，所述亮度变化检测装置包括权利要求1-13任一项所述的亮度变化检测装置。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被运行时，实现如权利要求14-18中的任一项所述的亮度变化检测方法。
CN202310100876.2A 2022-10-31 2023-01-18 亮度变化检测装置及方法、电子设备 Pending CN117956291A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2023/099693 WO2024093240A1 (zh) 2022-10-31 2023-06-12 亮度变化检测装置及方法、电子设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211349533 2022-10-31
CN2022113495331 2022-10-31

Publications (1)

Publication Number Publication Date
CN117956291A true CN117956291A (zh) 2024-04-30

Family

ID=90791238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310100876.2A Pending CN117956291A (zh) 2022-10-31 2023-01-18 亮度变化检测装置及方法、电子设备

Country Status (2)

Country Link
CN (1) CN117956291A (zh)
WO (1) WO2024093240A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004118424A (ja) * 2002-09-25 2004-04-15 Sony Corp 動き検出装置，動き検出方法，動き検出システム，およびプログラム
JP4311457B2 (ja) * 2007-02-15 2009-08-12 ソニー株式会社 動き検出装置、動き検出方法、撮像装置および監視システム
CN100531374C (zh) * 2007-07-12 2009-08-19 上海交通大学 结合色度偏差和亮度偏差的视频运动目标检测方法
US10805579B2 (en) * 2019-01-30 2020-10-13 Primesensor Technology Inc. Motion detection methods and motion sensors capable of more accurately detecting true motion event

Also Published As

Publication number Publication date
WO2024093240A1 (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
US9344649B2 (en) Floating point image sensors with different integration times
USRE44062E1 (en) Image sensor for detecting flicker noise and method thereof
KR101361788B1 (ko) 높은 동적 범위 이미지 센서 센서티브 어레이 시스템 및 방법
JP5645505B2 (ja) 撮像装置及びその制御方法
JP2008054136A (ja) 撮像装置及び駆動制御方法
KR20030097687A (ko) 화상 처리 장치, 카메라 장치, 및 그 자동 노광 제어 방법
CN102625059A (zh) 用于移动式应用的cmos图像传感器的动态范围扩展
EP4274251A1 (en) Image sensor, image output method therefor, and use thereof
US20010009440A1 (en) Memory updating for digital pixel sensors
US9843746B2 (en) Image sensor combining high dynamic range techniques
US20230388655A1 (en) Image sensing device
CN110336953B (zh) 四元像素结构图像传感器及读取控制方法
CN110784668B (zh) 一种用于校正暗电流的图像传感器读出电路及方法
KR100975444B1 (ko) 리셋전압 보상부를 구비한 이미지센서
CN117956291A (zh) 亮度变化检测装置及方法、电子设备
JP2020115604A (ja) 撮像装置およびその制御方法
JP2022505571A (ja) 超高ダイナミックレンジｃｍｏｓセンサ
JP7164579B2 (ja) 画像センサー及び電子デバイス
JP2018093301A (ja) 撮像素子及び撮像素子の制御方法
CN117956307A (zh) 图像传感器、图像传感方法、电子设备
WO2024188243A1 (zh) 图像传感器、图像处理方法、及电子设备
CN113194235B (zh) 像素传感器系统、摄像模组及电子设备
US20230078758A1 (en) Apparatus, image processing method to combine images based on flicker, and storage medium
US20240267643A1 (en) Moving Target Detection Method, Apparatus, and Device
US11917290B2 (en) Photoelectric conversion device, image pickup apparatus, control method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication