CN112505661A - 像素控制方法、像素模组、装置、终端及存储介质 - Google Patents

像素控制方法、像素模组、装置、终端及存储介质 Download PDF

Info

Publication number
CN112505661A
CN112505661A CN202011317906.8A CN202011317906A CN112505661A CN 112505661 A CN112505661 A CN 112505661A CN 202011317906 A CN202011317906 A CN 202011317906A CN 112505661 A CN112505661 A CN 112505661A
Authority
CN
China
Prior art keywords
pixel
sensor pixel
motion sensor
camera module
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011317906.8A
Other languages
English (en)
Other versions
CN112505661B (zh
Inventor
黄毅鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oppo Chongqing Intelligent Technology Co Ltd
Original Assignee
Oppo Chongqing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo Chongqing Intelligent Technology Co Ltd filed Critical Oppo Chongqing Intelligent Technology Co Ltd
Priority to CN202011317906.8A priority Critical patent/CN112505661B/zh
Publication of CN112505661A publication Critical patent/CN112505661A/zh
Application granted granted Critical
Publication of CN112505661B publication Critical patent/CN112505661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种像素控制方法、像素模组、装置、终端及存储介质，涉及图像传感器技术领域。该方法应用于相机模组，相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素，该方法包括：通过光源发射第一波长的点状光脉冲；通过第一运动传感器像素，曝光目标位置的深度传感器像素；其中，第一运动传感器像素为接收到反射光脉冲的运动传感器像素，反射光脉冲是外部环境对第一波长的点状光脉冲反射后透过滤光片的光脉冲，滤光片过滤的波长与第一波长相同，至少一个运动传感器像素包括第一运动传感器像素。本申请可以降低相机模组进行距离测量所需的功耗，提高相机模组进行距离测量的续航能力。

Description

像素控制方法、像素模组、装置、终端及存储介质
技术领域
本发明涉及图像传感器技术领域，具体涉及一种像素控制方法、像素模组、装置、终端及存储介质。
背景技术
随着科学技术的不断发展，终端可实现的功能越来越多，在日常生活中，人们可以通过终端测量目标物体与终端之间的距离。
目前，终端中常用的用于测量目标物体与终端之间的距离的硬件是TOF(Tme-Of-Flight，飞行时间)相机，其中，TOF相机是采用飞行时间测距法测量目标物体与终端之间的距离。其工作原理可以如下：通过TOF相机中的光源向外发射光信号，利用TOF相机中的单光子雪崩二极管(Single Photon Avalanche Diode，SPAD)接收目标物体反射回来的光信号，利用发射光信号与接收到目标物体反射的光信号之间的时间间隔，测量目标物体与终端之间的距离。
由于在TOF相机中，接收目标物体返回的光信号的传感器上的每个像素需要全部曝光，存在TOF相机曝光时传感器功耗高的问题。
发明内容
本申请实施例提供了一种像素控制方法、像素模组、装置、终端及存储介质，可以降低终端中采用飞行时间测距法测量目标物体与终端之间的距离时终端的功耗。所述技术方案如下：
一方面，本申请实施例提供了一种像素控制方法，所述方法应用于相机模组，所述相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素，所述方法包括：
通过所述光源发射第一波长的点状光脉冲；
通过第一运动传感器像素，曝光目标位置的所述深度传感器像素；
其中，所述第一运动传感器像素为接收到反射光脉冲的运动传感器像素，所述反射光脉冲是外部环境对所述第一波长的点状光脉冲反射后透过所述滤光片的光脉冲，所述滤光片过滤的波长与所述第一波长相同，所述至少一个运动传感器像素包括所述第一运动传感器像素。
一方面，本申请实施例提供了一种像素模组，所述相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素；
所述光源用于发射第一波长的点状光脉冲；
第一运动传感器像素用于曝光目标位置的所述深度传感器像素；
其中，所述第一运动传感器像素为接收到反射光脉冲的运动传感器像素，所述反射光脉冲是外部环境对所述第一波长的点状光脉冲反射后透过所述滤光片的光脉冲，所述滤光片过滤的波长与所述第一波长相同，所述至少一个运动传感器像素包括所述第一运动传感器像素。
另一方面，本申请实施例提供了一种像素控制装置，所述像素控制装置用于相机模组中，所述相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素，所述像素控制装置包括：
光脉冲发射模块，用于通过所述光源发射第一波长的点状光脉冲；
像素曝光模块，用于通过第一运动传感器像素，曝光目标位置的所述深度传感器像素；
其中，所述第一运动传感器像素为接收到反射光脉冲的运动传感器像素，所述反射光脉冲是外部环境对所述第一波长的点状光脉冲反射后透过所述滤光片的光脉冲，所述滤光片过滤的波长与所述第一波长相同，所述至少一个运动传感器像素包括所述第一运动传感器像素。
另一方面，本申请实施例提供了一种终端，其特征在于，所述终端包括如上述一个方面所述的相机模组。
另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括指令，当其在计算机上运行时，使得计算机执行如上述一个方面所述的像素控制方法。
另一方面，本申请实施例提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如上述一个方面所述的像素控制方法。
另一方面，本申请实施例提供了一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如上述一个方面所述的像素控制方法。
本申请实施例提供的技术方案可以至少包含如下有益效果：
在本申请中，相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素，通过光源发射第一波长的点状光脉冲；通过第一运动传感器像素，曝光目标位置的深度传感器像素；其中，第一运动传感器像素为接收到反射光脉冲的运动传感器像素，反射光脉冲是外部环境对第一波长的点状光脉冲反射后透过滤光片的光脉冲，滤光片过滤的波长与第一波长相同，至少一个运动传感器像素包括第一运动传感器像素。本申请可以通过第一运动传感器像素控制目标位置的深度传感器像素的曝光，避免传感器上的所有像素全部曝光而带来的功耗浪费问题，降低了相机模组进行距离测量所需的功耗，提高了相机模组进行距离测量的续航能力。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一示例性实施例提供的一种采用TOF方案的摄像头模组的架构示意图；
图2和图3是本申请一示例性实施例涉及图1的一种光源与传感器之间的光线反射示意图；
图4是本申请一示例性实施例提供的一种像素控制方法的方法流程图；
图5是本申请一示例性实施例提供的一种像素控制方法的方法流程图；
图6是本申请一示例性实施例涉及的一种传感器上像素的布局结构示意图；
图7是本申请一示例性实施例提供的一种像素控制方法的方法流程图；
图8是本申请一示例性实施例涉及的一种传感器上像素的布局结构示意图；
图9是本申请一示例性实施例提供的一种像素控制方法的方法流程；
图10是本申请一示例性实施例涉及的一种传感器上像素的布局结构示意图；
图11是本申请一示例性实施例提供的一种像素控制方法的方法流程图；
图12是本申请一示例性实施例涉及的一种相机模组的结构示意图；
图13是本申请一示例性实施例提供的一种像素控制方法的方法流程图；
图14是本申请一示例性实施例涉及的一种终端的结构示意图；
图15是本申请一示例性实施例涉及的一种透射率与波长之间的对应关系示意图；
图16是本申请一示例性实施例提供的像素控制装置的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请提供的方案，可以用于人们在日常生活中使用终端时，在终端中运行有应用程序的现实场景中，为了便于理解，下面首先对本申请实施例涉及的一些名词和应用场景进行简单介绍。
动态视觉传感器(Dynamic Vision Sensor，DVS)，也称为事件相机，神经形态像机或者硅视网膜传感器，DVS是一种能够响应局部亮度变化的成像传感器。
飞行时间(Tme-Of-Flight，TOF)测距法属于双向测距技术，它主要利用信号在两个异步收发机(Transceiver)之间往返的飞行时间来测量节点间的距离。TOF测距技术是飞行时差测距(Time ofFlight Measurement)的方法。
曝光时间：是为了将光投射到相机的感光材料的感光面上，快门所要打开的时间。
随着科学技术的发展，实时测距的应用场景越来越多，例如，在对于驾驶系统中的车载终端，其往往需要测量自身周围物体与车载终端的距离。在投影系统中的终端也需要测量投影距离。安装有3D成像应用的终端需要进行建模等，这些场景中大多都会用到上述TOF技术。
其中，上述TOF技术主要被应用在各种各样的摄像头中，摄像头可以通过向目标物体发射光脉冲，通过测量光脉冲在摄像头和目标物体之间的传输时间来测距，通过这些数据来判断这个目标物体距离摄像头有多远，进而知道拍摄到的画面里每一个物体的距离。在三维(Three Dimensions，3D)深度摄像头中，可以通过TOF技术实现深度图的绘制，实现将拍摄到的画面中的各个物体绘制出3D立体图像。
随着TOF测量方法的不断改进，TOF技术已经可以分为DTOF(Direct Time-of-Flight，直接测量飞行时间)方案和ITOF(Indirect Time-of-Flight，间接测量飞行时间)两种。
其中，采用DTOF方案的摄像头模组或者相机中，其核心组件包含垂直腔面发射激光器(Vertical Cavity Surface Emitting Lasers，VCSEL)、单光子雪崩二极管(SinglePhoton Avalanche Diode，SPAD)和时间数字转换器(Time Digital Converter，TDC)。其中，SPAD是一种具有单光子探测能力的光电探测雪崩二极管，可以响应于接收到光信号，就能产生相应的电流。采用DTOF方案的摄像头模组或者相机，通过VCSEL向外部环境中发射光脉冲，SPAD接收从外部环境中各个物体反射回来的光脉冲。TDC能够记录每次接收到的光脉冲的飞行时间，也就是VCSEL向外部环境中发射光脉冲和SPAD接收外部环境中各个物体反射回来的光脉冲之间的时间间隔。可选的，上述采用DTOF方案的摄像头模组或者相机还会在单帧测量时间内向目标物体发射N次光脉冲，并接收目标物体反射回的N次光脉冲，然后对记录的N次飞行时间做直方图统计，利用其中出现频率最高的飞行时间来计算目标物体的深度。
其中，在采用ITOF方案的摄像头模组或者相机中，摄像头模组或者相机可以向外部环境中发射调制后的光脉冲，再由传感器接收外部环境中各个物体反射回来的光脉冲，根据曝光时间内传感器的累计电荷计算发射信号和接收信号之间的相位差，从而获取各个物体的深度。
另外，上述事件相机不像常规相机那样使用快门捕获图像。相反，事件像机中的每个像素都独立且异步地运行，并在传感器上的像素接收到的光脉冲发生变化时，可以通过传感器上的像素输出这些变化，否则事件相机的传感器上的像素保持沉默。其中，事件相机相对于采用TOF方案的相机的优势在于其低延迟(1μs)、没有运动模糊、高动态范围(140dB)、超低功耗(平均：1mW与1W)等。无论哪个传感器上的像素接收到的光脉冲变化超过设定阈值，那么传感器上的该像素就可以输出像素地址和变化方向(极性)，变化方向为变亮或者变暗。
但是，采用DVS的相机只能输出亮度变化的信息，没有目标物体的深度信息输出，不能实时测量出外部环境中目标物体的距离，这样在手势识别等应用中只能得到2维信息，没有3维信息，不能对外部环境进行建模。因此，相关技术中目前对于测量外部环境中目标物体的距离，得到目标物体的深度信息仍然采用TOF方案的较多。
请参考图1，其示出了本申请一示例性实施例提供的一种采用TOF方案的摄像头模组的架构示意图。如图1所示，在摄像头模组100中，包含了光源101，镜头102，滤光片103，传感器104。其中，传感器104上由采用TOF方案测距的传感器像素组成，当光源101向外部环境中发射光脉冲后，外部环境中的物体反射该光脉冲，透过镜头102和滤光片103被传感器104上的各个像素接收，从而计算外部环境中的物体与该摄像头模组之间的距离。
请参考图2和图3，其示出了本申请一示例性实施例涉及图1的一种光源与传感器之间的光线反射示意图。如图2所示，其中包含了光源201和传感器202，光源201发射出的光脉冲是面光源，相应的传感器202也可以进行接收，该方案也被成为泛光方案，建模的分辨率高。如图3所示，其中包含了光源301和传感器302，光源301发射出的光脉冲是点光源，相应的传感器202也可以进行接收，该方案也被成为散斑方案，图3与图2中如果光源使用相同的能量，图3可以发射出更强能量的点状光脉冲，其作用距离也更远。
对于上述采用TOF方案的摄像头模组或者相机来说，传感器上的每个像素(PIXEL)，都需要后端处理器计算出Q0、Q90、Q180、Q270，然后再计算出相应距离，利用算法进行滤波等处理。其中，传感器上的像素越多，数据量也就越多，后端算法复杂度也就越大。在实际应用中，比如，做手势识别等方案中，外部环境中的物体其实只有手在动，外部环境中的其他物体(比如门、窗户等)的深度信息都是不变的，如果采用TOF方案的摄像头模组中对于外部环境中所有物体反射回的光脉冲都进行接收，就会造成传感器采集到对手势识别过程中的无用信息，造成功耗的浪费。对于散斑方案，也不是传感器上的所有像素都可以采集到光斑，因此对于光斑没有打到的像素来说，如果进行曝光此处的像素，也同样会浪费功耗。
为了解决上述相关技术中存在的功耗浪费问题，降低相机模组中传感器所用的功耗，本申请提供了一种像素控制方法，请参考图4，其示出了本申请一示例性实施例提供的一种像素控制方法的方法流程图。该方法可以应用于相机模组中，该相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素。如图4所示，该像素控制方法可以包括如下几个步骤。
步骤401，通过光源发射第一波长的点状光脉冲。
其中，本申请的相机模组中，可以采用上述散斑方案的光源，通过光源向外部环境发射点状光脉冲。该点状光脉冲的波长可以是开发人员设置的任意一种波长。
步骤402，通过第一运动传感器像素，曝光目标位置的深度传感器像素。
其中，第一运动传感器像素为接收到反射光脉冲的运动传感器像素，反射光脉冲是外部环境对第一波长的点状光脉冲反射后透过滤光片的光脉冲，滤光片过滤的波长与第一波长相同，至少一个运动传感器像素包括第一运动传感器像素。
即，第一运动传感器像素可以是至少一个运动传感器像素中，接收到反射光脉冲的运动传感器像素。目标位置可以是此次相机模组进行距离测量时采用的深度传感器像素对应的位置。
本申请中，滤波片过滤的波长是光源向外部环境发射的点状光脉冲的波长，实现相机模组中的至少一个运动传感器像素和深度传感器像素接收到相同波长的点状光脉冲。相机模组中是通过至少一个运动传感器像素和深度传感器像素之间的关系进行选择曝光的，在运动传感器像素识别出点状光脉冲的位置后，曝光目标位置的深度传感器像素进行距离测量，从而避免将其他位置的深度传感器也曝光，减少功耗。
综上所述，在本申请中，相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素，通过光源发射第一波长的点状光脉冲；通过第一运动传感器像素，曝光目标位置的深度传感器像素；其中，第一运动传感器像素为接收到反射光脉冲的运动传感器像素，反射光脉冲是外部环境对第一波长的点状光脉冲反射后透过滤光片的光脉冲，滤光片过滤的波长与第一波长相同，至少一个运动传感器像素包括第一运动传感器像素。本申请可以通过第一运动传感器像素控制目标位置的深度传感器像素的曝光，避免传感器上的所有像素全部曝光而带来的功耗浪费问题，降低了相机模组进行距离测量所需的功耗，提高了相机模组进行距离测量的续航能力。
在一种可能实现的方式中，上述深度传感器像素和至少一个运动传感器像素可以设置在同一个传感器上。例如，在上述图1所示的结构中，传感器上即包含有深度传感器像素，也包含有运动传感器像素。其中，运动传感器像素和深度传感器像素可以进行组合，形成像素组。
请参考图5，其示出了本申请一示例性实施例提供的一种像素控制方法的方法流程图。该方法可以应用于相机模组中，该相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素。如图5所示，该像素控制方法可以包括如下几个步骤。
步骤501，通过光源发射第一波长的点状光脉冲。
步骤502，根据第一像素组中接收到反射光脉冲的运动传感器像素，向第一像素组中的每个深度传感器像素发送第一使能信号，曝光接收到第一使能信号对应位置的深度传感器像素。
其中，反射光脉冲是外部环境对第一波长的点状光脉冲反射后透过滤光片的光脉冲，滤光片过滤的波长与第一波长相同。
其中，按照传感器上的像素位置，可以将相机模组中传感器上的各个像素进行分组，形成多个第一像素组，从而按照多个第一像素组实现通过运动传感器像素和深度传感器像素之间的关系进行选择曝光。可选的，相机模组中可以包括第一像素组，第一像素组包括一个运动传感器像素和至少一个深度传感器像素；第一像素组中的一个运动传感器像素与每个深度传感器像素电性连接。
请参考图6，其示出了本申请一示例性实施例涉及的一种传感器上像素的布局结构示意图。如图6所示，在传感器600上包含了运动传感器像素601，深度传感器像素602，第一像素组603。第一像素组603中包含了一个运动传感器像素和一个深度传感器像素，该第一像素组中的运动传感器像素与运动传感器像素电性相连，在运动传感器像素接收到反射光脉冲时，可以向深度传感器像素发送第一使能信号，从而将接收到第一使能信号对应位置的深度传感器像素进行曝光。
可选的，图6中的第一像素组603是示例性的，实际应用中，第一像素组603可以包含一个运动传感器像素和多个(两个、三个、四个等)深度传感器像素，该一个运动传感器可以与这些深度传感器像素都电性相连，并在接收到反射光脉冲时，可以向各个深度传感器像素发送第一使能信号，从而将接收到第一使能信号对应位置的深度传感器像素进行曝光。
可选的，上述深度传感器像素可以是TOF像素，上述运动传感器像素可以是DVS像素或者动态活动像素视觉传感器(Dynamic and Active Pixel Vision Sensor，DAVIS)像素。即，在后续的测量过程中，相机模组可以根据TOF像素输出外部环境中各个物体的深度信息，根据DVS像素或者DAVIS像素输出外部环境中各个物体的极性(亮度变大还是变小的信息)以及被接收到反射光脉冲的时间信息，从而根据两种传感器像素对外部环境的各个物体进行建模。
综上所述，在本申请中，相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素，通过光源发射第一波长的点状光脉冲；通过第一运动传感器像素，曝光目标位置的深度传感器像素；其中，第一运动传感器像素为接收到反射光脉冲的运动传感器像素，反射光脉冲是外部环境对第一波长的点状光脉冲反射后透过滤光片的光脉冲，滤光片过滤的波长与第一波长相同，至少一个运动传感器像素包括第一运动传感器像素。本申请可以通过第一运动传感器像素控制目标位置的深度传感器像素的曝光，避免传感器上的所有像素全部曝光而带来的功耗浪费问题，降低了相机模组进行距离测量所需的功耗，提高了相机模组进行距离测量的续航能力。
另外，通过在同一个传感器上设置两种不同的像素，在后续图像处理过程中无需做图像对齐处理，有利于提高物体测量或者建模的效率。
在一种可能实现的方式中，上述深度传感器像素和至少一个运动传感器像素可以设置在同一个传感器上。上述运动传感器像素和深度传感器像素可以进行组合形成第二像素组。请参考图7，其示出了本申请一示例性实施例提供的一种像素控制方法的方法流程图。该方法可以应用于相机模组中，该相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素。如图7所示，该像素控制方法可以包括如下几个步骤。
步骤701，通过光源发射第一波长的点状光脉冲。
步骤702，根据第二像素组中接收到反射光脉冲的运动传感器像素，向第二像素组中的深度传感器像素发送第二使能信号，曝光接收到第二使能信号对应位置的深度传感器像素。
同样的，按照传感器上的像素位置，可以将相机模组中传感器上的各个像素进行分组，形成多个第二像素组，从而按照多个第二像素组实现通过运动传感器像素和深度传感器像素之间的关系进行选择曝光。可选的，相机模组中可以包括第二像素组，第二像素组包括至少一个运动传感器像素和一个深度传感器像素；第二像素组中的每个运动传感器像素与一个深度传感器像素电性连接。
请参考图8，其示出了本申请一示例性实施例涉及的一种传感器上像素的布局结构示意图。如图8所示，在传感器800上包含了运动传感器像素801，深度传感器像素802，第二像素组803。第二像素组803中包含了两个运动传感器像素和一个深度传感器像素，该第二像素组中的两个运动传感器像素均与那个运动传感器像素电性相连，在任何一个运动传感器像素接收到反射光脉冲时，可以向电性连接的深度传感器像素发送第二使能信号，从而将接收到第二使能信号对应位置的深度传感器像素进行曝光。
可选的，图8中的第二像素组803也是示例性的，实际应用中，第二像素组803可以包含三个、四个等运动传感器像素和一个深度传感器像素，该一个深度传感器像素可以与这些运动传感器像素都电性相连，并在任何一个运动传感器像素接收到反射光脉冲时，可以向电性连接的深度传感器像素发送第二使能信号，从而将接收到第二使能信号对应位置的深度传感器像素进行曝光。
综上所述，在本申请中，相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素，通过光源发射第一波长的点状光脉冲；通过第一运动传感器像素，曝光目标位置的深度传感器像素；其中，第一运动传感器像素为接收到反射光脉冲的运动传感器像素，反射光脉冲是外部环境对第一波长的点状光脉冲反射后透过滤光片的光脉冲，滤光片过滤的波长与第一波长相同，至少一个运动传感器像素包括第一运动传感器像素。本申请可以通过第一运动传感器像素控制目标位置的深度传感器像素的曝光，避免传感器上的所有像素全部曝光而带来的功耗浪费问题，降低了相机模组进行距离测量所需的功耗，提高了相机模组进行距离测量的续航能力。
在一种可能实现的方式中，上述深度传感器像素和至少一个运动传感器像素可以设置在同一个传感器上。上述运动传感器像素和深度传感器像素可以进行组合形成第三像素组。请参考图9，其示出了本申请一示例性实施例提供的一种像素控制方法的方法流程图。该方法可以应用于相机模组中，该相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素。如图9所示，该像素控制方法可以包括如下几个步骤。
步骤901，通过光源发射第一波长的点状光脉冲。
步骤902，根据第三像素组中接收到反射光脉冲的运动传感器像素，向第三像素组中的深度传感器像素发送第三使能信号，曝光接收到第三使能信号对应位置的深度传感器像素。
同样的，按照传感器上的像素位置，可以将相机模组中传感器上的各个像素进行分组，形成多个第三像素组，从而按照多个第三像素组实现通过运动传感器像素和深度传感器像素之间的关系进行选择曝光。可选的，相机模组中可以包括第三像素组，第三像素组包括至少一个运动传感器像素和至少一个深度传感器像素；第三像素组中的每个运动传感器像素与自身相邻的深度传感器像素电性连接。
请参考图10，其示出了本申请一示例性实施例涉及的一种传感器上像素的布局结构示意图。如图10所示，在传感器1000上包含了运动传感器像素1001，深度传感器像素1002，第三像素组1003，第一运动传感器像素1003a，第二运动传感器像素1003b。第三像素组1003中包含了两个运动传感器像素和十个深度传感器像素，该第三像素组中的两个运动传感器像素分别与自身相邻的5个运动传感器像素电性相连，在第一运动传感器像素1003a接收到反射光脉冲时，可以向自身电性连接的各个深度传感器像素发送第三使能信号，从而将接收到第三使能信号对应位置的深度传感器像素进行曝光。在第二运动传感器像素1003b接收到反射光脉冲时，可以向自身电性连接的各个深度传感器像素发送第三使能信号，从而将接收到第三使能信号对应位置的深度传感器像素进行曝光。
综上所述，在本申请中，相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素，通过光源发射第一波长的点状光脉冲；通过第一运动传感器像素，曝光目标位置的深度传感器像素；其中，第一运动传感器像素为接收到反射光脉冲的运动传感器像素，反射光脉冲是外部环境对第一波长的点状光脉冲反射后透过滤光片的光脉冲，滤光片过滤的波长与第一波长相同，至少一个运动传感器像素包括第一运动传感器像素。本申请可以通过第一运动传感器像素控制目标位置的深度传感器像素的曝光，避免传感器上的所有像素全部曝光而带来的功耗浪费问题，降低了相机模组进行距离测量所需的功耗，提高了相机模组进行距离测量的续航能力。
需要说明的是，上述图6、图8和图10所示的几种像素组也可以搭配使用，本申请实施例对此并不加以限定。
在一种可能实现的方式中，上述设置在同一个传感器上的深度传感器像素和至少一个运动传感器像素之间并未通过电性连接，本方案还可以在运动传感器接收到反射光脉冲后，通过处理器获取目标位置，并曝光目标位置的深度传感器。
请参考图11，其示出了本申请一示例性实施例提供的一种像素控制方法的方法流程图。该方法可以应用于相机模组中，该相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素。如图11所示，该像素控制方法可以包括如下几个步骤。
步骤1101，通过光源发射第一波长的点状光脉冲。
可选的，该光源是由处理器控制的，例如，相机模组通过处理器控制光源的发射频率，控制光源按照固定的周期向外部环境发射第一波长的点状波。
步骤1102，通过至少一个运动传感器像素接收反射光脉冲。
其中，反射光脉冲是外部环境对第一波长的点状光脉冲反射后透过滤光片的光脉冲，滤光片过滤的波长与第一波长相同。
在上述光源发射出第一波长的点状光脉冲后，由于外部环境的反射效果，设置在相机模组中的传感器上的运动传感器就会自动接收外部环境中反射回的反射光脉冲。
步骤1103，获取第一位置信息，第一位置信息用于指示接收到反射光脉冲的运动传感器像素在同一个传感器上的位置坐标。
可选的，开发人员可以预先对传感器上的各个运动传感器像素和深度传感器像素标记坐标，并存储在存储器中，当相机模组中的运动传感器像素接收到反射光脉冲后，可以获取存储器中运动传感器像素对应的位置坐标，将该位置坐标作为第一位置信息。
步骤1104，根据第一位置信息确定目标位置。
可选的，上述存储器中还存储有第一对应关系表，该对应关系表可以包含每个第一位置信息与目标位置之间的对应关系，处理器可以通过查询该第一对应关系表，从而根据第一位置信息查询到目标位置。
请参考表1，其示出了本申请一示例性实施例涉及的一种第一对应关系表。
第一位置信息 目标位置
(1,1) (1,2)
(1,3) (1,4)
(2,1) (2,2)
…… ……
如表1所示，如果处理器在上述步骤中获取到的第一位置信息是(1,3)，那么，处理器可以根据该第一对应关系表查询到目标位置为(1,4)，从而确定出目标位置。
步骤1105，曝光目标位置的深度传感器像素。
可选的，在上述确定目标位置的深度传感器后，相机模组中的处理器可以控制目标位置的深度传感器像素曝光，进行距离测量，从而避免将其他位置的深度传感器也曝光，减少功耗。
综上所述，在本申请中，相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素，通过光源发射第一波长的点状光脉冲；通过第一运动传感器像素，曝光目标位置的深度传感器像素；其中，第一运动传感器像素为接收到反射光脉冲的运动传感器像素，反射光脉冲是外部环境对第一波长的点状光脉冲反射后透过滤光片的光脉冲，滤光片过滤的波长与第一波长相同，至少一个运动传感器像素包括第一运动传感器像素。本申请可以通过第一运动传感器像素控制目标位置的深度传感器像素的曝光，避免传感器上的所有像素全部曝光而带来的功耗浪费问题，降低了相机模组进行距离测量所需的功耗，提高了相机模组进行距离测量的续航能力。
在一种可能实现的方式中，上述深度传感器像素和至少一个运动传感器像素可以设置在不同的传感器上。可选的，上述相机模组中还可以分为深度模组和运动模组，深度模组可以包含光源和第一传感器，运动模组可以包含第二传感器。
请参考图12，其示出了本申请一示例性实施例涉及的一种相机模组的结构示意图。如图12所示，在相机模组1200中包含了深度模组1201和运动模组1202。深度模组1201是由光源和第一传感器构成的，运动模组是第二传感器。
为了解决上述相关技术中存在的功耗浪费问题，降低相机模组中传感器所用的功耗，本申请提供了一种像素控制方法，请参考图13，其示出了本申请一示例性实施例提供的一种像素控制方法的方法流程图。该方法可以应用于图12所示的相机模组中，该相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素。如图13所示，该像素控制方法可以包括如下几个步骤。
步骤1301，通过光源发射第一波长的点状光脉冲。
类似的，上述图12的相机模组也可以包含处理器，该光源是由处理器控制的。
步骤1302，获取第一传感器和第二传感器各自的标定参数，标定参数是相机模组的基础参数以及相机模组在世界坐标系下的位置参数。
其中，相机模组的基础参数可以是该相机的焦距，像素大小，投影畸变。投影畸变可以用于指示相机模组采集到的图像与实际物体之间的差值。相机模组在世界坐标系下的位置参数可以是相机模组相对世界坐标系的位置和旋转方向，这些位置参数可以通过陀螺仪等硬件测量并设置在相机模组中。可选的，开发人员可以预先将上述标定参数设置在相机模组中，当需要进行获取时，直接从存储器中获取这些标定参数。
步骤1303，获取第二位置信息，第二位置信息用于指示接收到反射光脉冲的运动传感器像素在第一传感器上的位置坐标。
可选的，第二位置信息的获取方式可以类似于上述第一位置信息的获取方式，此处不再赘述。
步骤1304，根据第一传感器和第二传感器各自的标定参数，以及第二位置信息计算第三位置信息，第三位置信息用于指示深度传感器像素在第二传感器上的位置坐标。
可选的，相机模组的处理器可以将上述获取到的各个参数(第一传感器和第二传感器各自的标定参数，以及第二位置信息)带入预先设置的算法中，计算出第三位置信息。其中，该算法也可以由开发人员预先编写并设置在相机模组的处理器中，相机模组的处理器可以直接调用。
步骤1305，将第三位置信息对应在第二传感器上的位置作为目标位置。
计算出深度传感器像素在第二传感器上的位置坐标后，处理器将确认该位置坐标对应的位置是目标位置。
步骤1306，曝光目标位置的深度传感器像素。
相机模组中的处理器将第二传感器上的目标位置的深度传感器像素进行曝光，进而进行深度测量。
综上所述，在本申请中，相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素，通过光源发射第一波长的点状光脉冲；通过第一运动传感器像素，曝光目标位置的深度传感器像素；其中，第一运动传感器像素为接收到反射光脉冲的运动传感器像素，反射光脉冲是外部环境对第一波长的点状光脉冲反射后透过滤光片的光脉冲，滤光片过滤的波长与第一波长相同，至少一个运动传感器像素包括第一运动传感器像素。本申请可以通过第一运动传感器像素控制目标位置的深度传感器像素的曝光，避免传感器上的所有像素全部曝光而带来的功耗浪费问题，降低了相机模组进行距离测量所需的功耗，提高了相机模组进行距离测量的续航能力。
在一种可能实现的方式中，上述各个实施例中的相机模组可以用在终端中，可选的，该终端可以是包含摄像头的终端，例如，该终端可以是手机、摄像机、平板电脑、电子书阅读器、智能眼镜、智能手表、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑、膝上型便携计算机和台式计算机等等。
以手机为例，手机中应用有上述图13所示的相机模组，请参考图14，其示出了本申请一示例性实施例涉及的一种终端的结构示意图。如图14所示，在终端1400中包含了相机模组1401，深度模组1402和运动模组1403。
可选的，手机中的深度模组1402包含光源和第二传感器，第二传感器上的像素全部为TOF像素。手机中的运动模组1403包含第一传感器，第一传感器上的像素全部为DVS像素。
在实际应用中，手机可能需要通过该相机模组拍摄外部环境中的某一动态物体(即目标物体，比如，运动的人、动物、肢体、运动的汽车等)，手机通过上述深度模组1402中的光源向外部环境发射第一波长的点状光脉冲，第一传感器上的DVS像素接收到外部环境对第一波长的点状光脉冲反射后透过滤光片的光脉冲后，手机可以根据第一传感器和第二传感器各自的标定参数，以及接收到反射光脉冲的DVS像素在第一传感器上的位置坐标，计算出需要曝光的第二传感器上的TOF像素的位置坐标，从而将该位置坐标对应的TOF像素进行曝光，不需要将第二传感器上的所有TOF像素全部曝光而带来的功耗浪费问题。
可选的，以上述第一波长是940nm为例，请参考图15，其示出了本申请一示例性实施例涉及的一种透射率与波长之间的对应关系示意图。如图15所示，其中包含了第一曲线1501，第一曲线1501可以反映终端中对不同波长的透射率，通过第一曲线1501可以看出，终端在940nm的透射率最高，可以实现终端在该波长区域的针对性优化。
综上所述，在本申请中，相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素，通过光源发射第一波长的点状光脉冲；通过第一运动传感器像素，曝光目标位置的深度传感器像素；其中，第一运动传感器像素为接收到反射光脉冲的运动传感器像素，反射光脉冲是外部环境对第一波长的点状光脉冲反射后透过滤光片的光脉冲，滤光片过滤的波长与第一波长相同，至少一个运动传感器像素包括第一运动传感器像素。本申请可以通过第一运动传感器像素控制目标位置的深度传感器像素的曝光，避免传感器上的所有像素全部曝光而带来的功耗浪费问题，降低了相机模组进行距离测量所需的功耗，提高了相机模组进行距离测量的续航能力。
另外，通过实现TOF像素和DVS像素都接收相同波长的光脉冲，也可以提高终端中针对此波长的光电效率。
下面为本申请相机模组的实体设备实施例，可以用于执行本申请方法实施例。对于本申请相机模组的实体设备实施例中未披露的细节，请参照本申请方法实施例。
本申请实施例提供了一种相机模组，该相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素；
其中，所述光源用于发射第一波长的点状光脉冲；
第一运动传感器像素用于曝光目标位置的所述深度传感器像素；
其中，所述第一运动传感器像素为接收到反射光脉冲的运动传感器像素，所述反射光脉冲是外部环境对所述第一波长的点状光脉冲反射后透过所述滤光片的光脉冲，所述滤光片过滤的波长与所述第一波长相同，所述至少一个运动传感器像素包括所述第一运动传感器像素。
在一种可能实现的方式中，深度传感器像素和至少一个运动传感器像素在同一个传感器上。
在一种可能实现的方式中，相机模组包括第一像素组，第一像素组包括一个运动传感器像素和至少一个深度传感器像素；第一像素组中的一个运动传感器像素与每个深度传感器像素电性连接；一个运动传感器像素还用于向第一像素组中的每个深度传感器像素发送第一使能信号；
在一种可能实现的方式中，相机模组包括第二像素组，第二像素组包括至少一个运动传感器像素和一个深度传感器像素；第二像素组中的一个深度传感器像素与每个运动传感器像素电性连接；一个深度传感器像素还用于接收第二像素组中的每个运动传感器像素发送的第二使能信号。
在一种可能实现的方式中，相机模组包括第三像素组，第三像素组包括至少一个运动传感器像素和至少一个深度传感器像素组成第三像素组；第三像素组中的每个运动传感器像素与自身相邻的深度传感器像素电性连接；第三像素组中的每个运动传感器像素还用于向第三像素组中的每个与自身具有电性连接的深度传感器像素发送第三使能信号。
在一种可能实现的方式中，相机模组还包含处理器；
运动传感器像素还用于向处理器发送第一位置信息，第一位置信息用于指示接收到反射光脉冲的运动传感器像素在同一个传感器上的位置坐标；
处理器用于接收第一位置信息，根据第一位置信息确定目标位置以及曝光目标位置的深度传感器像素。
在一种可能实现的方式中，深度传感器像素在第一传感器上，至少一个运动传感器像素在第二传感器上。
在一种可能实现的方式中，相机模组还包含处理器；
处理器用于获取第一传感器和第二传感器各自的标定参数，标定参数是相机模组的基础参数以及相机模组在世界坐标系下的位置参数；
处理器还用于接收运动传感器像素发送的第二位置信息，第二位置信息用于指示接收到反射光脉冲的运动传感器像素在第一传感器上的位置坐标；
处理器还用于根据第一传感器和第二传感器各自的标定参数以及第二位置信息计算第三位置信息，第三位置信息用于指示深度传感器像素在第二传感器上的位置坐标；
处理器还用于将第三位置信息对应在第二传感器上的位置作为目标位置。
在一种可能实现的方式中，深度传感器像素是飞行时间TOF像素，至少一个运动传感器像素是动态视觉传感器DVS像素或者动态活动像素视觉传感器DAVIS像素。
综上所述，在本申请中，相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素，通过光源发射第一波长的点状光脉冲；通过第一运动传感器像素，曝光目标位置的深度传感器像素；其中，第一运动传感器像素为接收到反射光脉冲的运动传感器像素，反射光脉冲是外部环境对第一波长的点状光脉冲反射后透过滤光片的光脉冲，滤光片过滤的波长与第一波长相同，至少一个运动传感器像素包括第一运动传感器像素。本申请可以通过第一运动传感器像素控制目标位置的深度传感器像素的曝光，避免传感器上的所有像素全部曝光而带来的功耗浪费问题，降低了相机模组进行距离测量所需的功耗，提高了相机模组进行距离测量的续航能力。
下面为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图16，其示出了本申请一示例性实施例提供的像素控制装置的结构框图。该像素控制装置可以用于相机模组中，以执行图4，图5，图7，图9，图11或者图13所示实施例提供的方法中由相机模组执行的全部或者部分步骤。该像素控制装置1600可以包括如下几个模块：
光脉冲发射模块1601，用于通过所述光源发射第一波长的点状光脉冲；
像素曝光模块1602，用于通过第一运动传感器像素，曝光目标位置的所述深度传感器像素；
其中，所述第一运动传感器像素为接收到反射光脉冲的运动传感器像素，所述反射光脉冲是外部环境对所述第一波长的点状光脉冲反射后透过所述滤光片的光脉冲，所述滤光片过滤的波长与所述第一波长相同，所述至少一个运动传感器像素包括所述第一运动传感器像素。
可选的，所述深度传感器像素和所述至少一个运动传感器像素在同一个传感器上。
可选的，所述相机模组包括第一像素组，所述第一像素组包括一个运动传感器像素和至少一个深度传感器像素；所述第一像素组中的所述一个运动传感器像素与每个深度传感器像素电性连接；
所述像素曝光模块1602，还用于根据所述第一像素组中接收到所述反射光脉冲的运动传感器像素，向所述第一像素组中的每个深度传感器像素发送第一使能信号，曝光接收到所述第一使能信号对应位置的深度传感器像素。
可选的，所述相机模组包括第二像素组，所述第二像素组包括至少一个运动传感器像素和一个深度传感器像素；所述第二像素组中的所述一个深度传感器像素与每个运动传感器像素电性连接；
像素曝光模块1602，还用于根据所述第二像素组中接收到所述反射光脉冲的运动传感器像素，向所述第二像素组中的深度传感器像素发送第二使能信号，曝光接收到所述第二使能信号对应位置的深度传感器像素。
可选的，所述相机模组包括第三像素组，所述第三像素组包括至少一个运动传感器像素和至少一个深度传感器像素组成第三像素组；所述第三像素组中的每个运动传感器像素与自身相邻的深度传感器像素电性连接；
像素曝光模块1602，还用于根据所述第三像素组中接收到所述反射光脉冲的运动传感器像素，向所述第三像素组中与所述运动传感器像素电性连接的深度传感器像素发送第三使能信号，曝光接收到所述第三使能信号对应位置的深度传感器像素。
可选的，所述相机模组还包含处理器；所述像素曝光模块1602，具体用于获取第一位置信息，所述第一位置信息用于指示接收到所述反射光脉冲的运动传感器像素在所述同一个传感器上的位置坐标；根据所述第一位置信息确定所述目标位置；曝光所述目标位置的深度传感器像素。
可选的，所述深度传感器像素在第一传感器上，所述至少一个运动传感器像素在第二传感器上。
可选的，所述相机模组还包含处理器；所述像素曝光模块1602，具体用于获取所述第一传感器和所述第二传感器各自的标定参数，所述标定参数是所述相机模组的基础参数以及所述相机模组在世界坐标系下的位置参数；获取所第二位置信息，所述第二位置信息用于指示接收到所述反射光脉冲的运动传感器像素在所述第一传感器上的位置坐标；根据所述第一传感器和所述第二传感器各自的标定参数，以及所述第二位置信息计算第三位置信息，所述第三位置信息用于指示所述深度传感器像素在所述第二传感器上的位置坐标；将所述第三位置信息对应在所述第二传感器上的位置作为所述目标位置；曝光目标位置的深度传感器像素。
可选的，所述深度传感器像素是飞行时间TOF像素，所述至少一个运动传感器像素是动态视觉传感器DVS像素或者动态活动像素视觉传感器DAVIS像素
综上所述，在本申请中，相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素，通过光源发射第一波长的点状光脉冲；通过第一运动传感器像素，曝光目标位置的深度传感器像素；其中，第一运动传感器像素为接收到反射光脉冲的运动传感器像素，反射光脉冲是外部环境对第一波长的点状光脉冲反射后透过滤光片的光脉冲，滤光片过滤的波长与第一波长相同，至少一个运动传感器像素包括第一运动传感器像素。本申请可以通过第一运动传感器像素控制目标位置的深度传感器像素的曝光，避免传感器上的所有像素全部曝光而带来的功耗浪费问题，降低了相机模组进行距离测量所需的功耗，提高了相机模组进行距离测量的续航能力。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是：在上述实施例提供的像素控制方法中，由像素模组和终端执行的步骤仅以上述各实施例进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读存储介质中或者作为计算机可读存储介质上的一个或多个指令或代码进行传输。计算机可读存储介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (21)

1.一种像素控制方法，其特征在于，所述方法应用于相机模组，所述相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素，所述方法包括：
通过所述光源发射第一波长的点状光脉冲；
通过第一运动传感器像素，曝光目标位置的所述深度传感器像素；
其中，所述第一运动传感器像素为接收到反射光脉冲的运动传感器像素，所述反射光脉冲是外部环境对所述第一波长的点状光脉冲反射后透过所述滤光片的光脉冲，所述滤光片过滤的波长与所述第一波长相同，所述至少一个运动传感器像素包括所述第一运动传感器像素。
2.根据权利要求1所述的像素控制方法，其特征在于，所述深度传感器像素和所述至少一个运动传感器像素在同一个传感器上。
3.根据权利要求2所述的像素控制方法，其特征在于，所述相机模组包括第一像素组，所述第一像素组包括一个运动传感器像素和至少一个深度传感器像素；所述第一像素组中的所述一个运动传感器像素与每个深度传感器像素电性连接；
所述通过第一运动传感器像素，曝光目标位置的所述深度传感器像素，包括：
根据所述第一像素组中接收到所述反射光脉冲的运动传感器像素，向所述第一像素组中的每个深度传感器像素发送第一使能信号，曝光接收到所述第一使能信号对应位置的深度传感器像素。
4.根据权利要求2所述的像素控制方法，其特征在于，所述相机模组包括第二像素组，所述第二像素组包括至少一个运动传感器像素和一个深度传感器像素；所述第二像素组中的所述一个深度传感器像素与每个运动传感器像素电性连接；
所述通过第一运动传感器像素，曝光目标位置的所述深度传感器像素，包括：
根据所述第二像素组中接收到所述反射光脉冲的运动传感器像素，向所述第二像素组中的深度传感器像素发送第二使能信号，曝光接收到所述第二使能信号对应位置的深度传感器像素。
5.根据权利要求2所述的像素控制方法，其特征在于，所述相机模组包括第三像素组，所述第三像素组包括至少一个运动传感器像素和至少一个深度传感器像素组成第三像素组；所述第三像素组中的每个运动传感器像素与自身相邻的深度传感器像素电性连接；
所述通过第一运动传感器像素，曝光目标位置的所述深度传感器像素，包括：
根据所述第三像素组中接收到所述反射光脉冲的运动传感器像素，向所述第三像素组中与所述运动传感器像素电性连接的深度传感器像素发送第三使能信号，曝光接收到所述第三使能信号对应位置的深度传感器像素。
6.根据权利要求2所述的像素控制方法，其特征在于，所述相机模组还包含处理器；所述通过第一运动传感器像素，曝光目标位置的所述深度传感器像素，包括：
获取第一位置信息，所述第一位置信息用于指示接收到所述反射光脉冲的运动传感器像素在所述同一个传感器上的位置坐标；
根据所述第一位置信息确定所述目标位置；
曝光所述目标位置的所述深度传感器像素。
7.根据权利要求1所述的像素控制方法，其特征在于，所述深度传感器像素在第一传感器上，所述至少一个运动传感器像素在第二传感器上。
8.根据权利要求7所述的像素控制方法，其特征在于，所述相机模组还包含处理器；所述通过第一运动传感器像素，曝光目标位置的所述深度传感器像素，包括：
获取所述第一传感器和所述第二传感器各自的标定参数，所述标定参数是所述相机模组的基础参数以及所述相机模组在世界坐标系下的位置参数；
获取所第二位置信息，所述第二位置信息用于指示接收到所述反射光脉冲的运动传感器像素在所述第一传感器上的位置坐标；
根据所述第一传感器和所述第二传感器各自的标定参数，以及所述第二位置信息计算第三位置信息，所述第三位置信息用于指示所述深度传感器像素在所述第二传感器上的位置坐标；
将所述第三位置信息对应在所述第二传感器上的位置作为所述目标位置；
曝光目标位置的深度传感器像素。
9.根据权利要求1至8任一所述的像素控制方法，其特征在于，所述深度传感器像素是飞行时间TOF像素，所述至少一个运动传感器像素是动态视觉传感器DVS像素或者动态活动像素视觉传感器DAVIS像素。
10.一种相机模组，其特征在于，所述相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素；
所述光源用于发射第一波长的点状光脉冲；
第一运动传感器像素用于曝光目标位置的所述深度传感器像素；
其中，所述第一运动传感器像素为接收到反射光脉冲的运动传感器像素，所述反射光脉冲是外部环境对所述第一波长的点状光脉冲反射后透过所述滤光片的光脉冲，所述滤光片过滤的波长与所述第一波长相同，所述至少一个运动传感器像素包括所述第一运动传感器像素。
11.根据权利要求10所述的相机模组，其特征在于，所述深度传感器像素和所述至少一个运动传感器像素在同一个传感器上。
12.根据权利要求11所述的相机模组，其特征在于，所述相机模组包括第一像素组，所述第一像素组包括一个运动传感器像素和至少一个深度传感器像素；所述第一像素组中的所述一个运动传感器像素与每个深度传感器像素电性连接；所述一个运动传感器像素还用于向所述第一像素组中的每个深度传感器像素发送第一使能信号。
13.根据权利要求11所述的相机模组，其特征在于，所述相机模组包括第二像素组，所述第二像素组包括至少一个运动传感器像素和一个深度传感器像素；所述第二像素组中的所述一个深度传感器像素与每个运动传感器像素电性连接；所述一个深度传感器像素还用于接收所述第二像素组中的每个运动传感器像素发送的第二使能信号。
14.根据权利要求11所述的相机模组，其特征在于，所述相机模组包括第三像素组，所述第三像素组包括至少一个运动传感器像素和至少一个深度传感器像素组成第三像素组；所述第三像素组中的每个运动传感器像素与自身相邻的深度传感器像素电性连接；所述第三像素组中的每个运动传感器像素还用于向所述第三像素组中的每个与自身具有电性连接的深度传感器像素发送第三使能信号。
15.根据权利要求11所述的相机模组，其特征在于，所述相机模组还包含处理器；
所述运动传感器像素还用于向所述处理器发送第一位置信息，所述第一位置信息用于指示接收到所述反射光脉冲的运动传感器像素在所述同一个传感器上的位置坐标；
所述处理器用于接收所述第一位置信息，根据所述第一位置信息确定所述目标位置以及曝光所述目标位置的深度传感器像素。
16.根据权利要求10所述的相机模组，其特征在于，所述深度传感器像素在第一传感器上，所述至少一个运动传感器像素在第二传感器上。
17.根据权利要求16所述的相机模组，其特征在于，所述相机模组还包含处理器；
所述处理器用于获取所述第一传感器和所述第二传感器各自的标定参数，所述标定参数是所述相机模组的基础参数以及所述相机模组在世界坐标系下的位置参数；
所述处理器还用于接收所述运动传感器像素发送的第二位置信息，所述第二位置信息用于指示接收到所述反射光脉冲的运动传感器像素在所述第一传感器上的位置坐标；
所述处理器还用于根据所述第一传感器和所述第二传感器各自的标定参数以及所述第二位置信息计算第三位置信息，所述第三位置信息用于指示所述深度传感器像素在所述第二传感器上的位置坐标；
所述处理器还用于将所述第三位置信息对应在所述第二传感器上的位置作为所述目标位置。
18.根据权利要求10至17任一所述的相机模组，其特征在于，所述深度传感器像素是飞行时间TOF像素，所述至少一个运动传感器像素是动态视觉传感器DVS像素或者动态活动像素视觉传感器DAVIS像素。
19.一种像素控制装置，其特征在于，所述像素控制装置用于相机模组中，所述相机模组包括：光源，滤光片，深度传感器像素和至少一个运动传感器像素，所述像素控制装置包括：
光脉冲发射模块，用于通过所述光源发射第一波长的点状光脉冲；
像素曝光模块，用于通过第一运动传感器像素，曝光目标位置的所述深度传感器像素；
其中，所述第一运动传感器像素为接收到反射光脉冲的运动传感器像素，所述反射光脉冲是外部环境对所述第一波长的点状光脉冲反射后透过所述滤光片的光脉冲，所述滤光片过滤的波长与所述第一波长相同，所述至少一个运动传感器像素包括所述第一运动传感器像素。
20.一种终端，其特征在于，所述终端包括如权利要求10至18任一所述的相机模组。
21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-9中任意一项所述的方法。
CN202011317906.8A 2020-11-23 2020-11-23 像素控制方法、像素模组、装置、终端及存储介质 Active CN112505661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011317906.8A CN112505661B (zh) 2020-11-23 2020-11-23 像素控制方法、像素模组、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011317906.8A CN112505661B (zh) 2020-11-23 2020-11-23 像素控制方法、像素模组、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN112505661A true CN112505661A (zh) 2021-03-16
CN112505661B CN112505661B (zh) 2024-09-17

Family

ID=74958777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011317906.8A Active CN112505661B (zh) 2020-11-23 2020-11-23 像素控制方法、像素模组、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN112505661B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024152811A1 (zh) * 2023-01-19 2024-07-25 北京灵汐科技有限公司 基于图像传感器的数据处理方法及装置、图像处理系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004071939A2 (en) * 2003-02-04 2004-08-26 Silicon Light Machines Corporation System and method for sub-pixel electronic alignment
CN202126515U (zh) * 2011-03-29 2012-01-25 京东方科技集团股份有限公司 一种彩色滤光片、液晶面板及显示装置
US20140009650A1 (en) * 2012-07-05 2014-01-09 Tae Chan Kim Image sensor chip, method of operating the same, and system including the image sensor chip
CN103533263A (zh) * 2012-07-03 2014-01-22 三星电子株式会社 图像传感器芯片、操作方法和包括图像传感器芯片的系统
CN105865462A (zh) * 2015-01-19 2016-08-17 北京雷动云合智能技术有限公司 带有深度增强视觉传感器的基于事件的三维slam方法
CN106165399A (zh) * 2014-04-07 2016-11-23 三星电子株式会社 高分辨率、高帧率、低功率的图像传感器
US20170223337A1 (en) * 2016-02-02 2017-08-03 Samsung Electronics Co., Ltd. Method and apparatus for controlling output device
CN109951625A (zh) * 2019-04-12 2019-06-28 深圳市光微科技有限公司 彩色深度图像传感器、成像装置、形成方法以及彩色深度图像获取方法
CN109951660A (zh) * 2019-04-23 2019-06-28 Oppo广东移动通信有限公司 一种像素结构、cmos图像传感器、图像信号处理器和终端
CN111327888A (zh) * 2020-03-04 2020-06-23 广州腾讯科技有限公司 摄像头控制方法、装置、计算机设备和存储介质
WO2020152655A1 (en) * 2019-01-25 2020-07-30 Insightness Ag Environmental model maintenance using event-based vision sensors

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004071939A2 (en) * 2003-02-04 2004-08-26 Silicon Light Machines Corporation System and method for sub-pixel electronic alignment
CN202126515U (zh) * 2011-03-29 2012-01-25 京东方科技集团股份有限公司 一种彩色滤光片、液晶面板及显示装置
CN103533263A (zh) * 2012-07-03 2014-01-22 三星电子株式会社 图像传感器芯片、操作方法和包括图像传感器芯片的系统
US20140009650A1 (en) * 2012-07-05 2014-01-09 Tae Chan Kim Image sensor chip, method of operating the same, and system including the image sensor chip
CN103533234A (zh) * 2012-07-05 2014-01-22 三星电子株式会社 图像传感器芯片、操作方法和包括图像传感器芯片的系统
CN106165399A (zh) * 2014-04-07 2016-11-23 三星电子株式会社 高分辨率、高帧率、低功率的图像传感器
CN105865462A (zh) * 2015-01-19 2016-08-17 北京雷动云合智能技术有限公司 带有深度增强视觉传感器的基于事件的三维slam方法
US20170223337A1 (en) * 2016-02-02 2017-08-03 Samsung Electronics Co., Ltd. Method and apparatus for controlling output device
WO2020152655A1 (en) * 2019-01-25 2020-07-30 Insightness Ag Environmental model maintenance using event-based vision sensors
CN109951625A (zh) * 2019-04-12 2019-06-28 深圳市光微科技有限公司 彩色深度图像传感器、成像装置、形成方法以及彩色深度图像获取方法
CN109951660A (zh) * 2019-04-23 2019-06-28 Oppo广东移动通信有限公司 一种像素结构、cmos图像传感器、图像信号处理器和终端
CN111327888A (zh) * 2020-03-04 2020-06-23 广州腾讯科技有限公司 摄像头控制方法、装置、计算机设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024152811A1 (zh) * 2023-01-19 2024-07-25 北京灵汐科技有限公司 基于图像传感器的数据处理方法及装置、图像处理系统

Also Published As

Publication number Publication date
CN112505661B (zh) 2024-09-17

Similar Documents

Publication Publication Date Title
JP7386173B2 (ja) データ融合方法及び関連装置
JP7329444B2 (ja) 機械知覚のためのシステム及び方法
CN110914638B (zh) 使用反射光源的智能物体追踪
WO2021120403A1 (zh) 一种深度测量装置及测量方法
WO2020243962A1 (zh) 物体检测方法、电子设备和可移动平台
CN112596069B (zh) 距离测量方法及系统、计算机可读介质和电子设备
US8988662B1 (en) Time-of-flight calculations using a shared light source
TW202115366A (zh) 機率性多機器人slam的系統及方法
CN108259744A (zh) 图像采集控制方法及其装置、图像采集系统和tof相机
WO2021169531A1 (zh) 一种ToF深度测量装置、控制ToF深度测量装置的方法及电子设备
CN110213480A (zh) 一种对焦方法及电子设备
CN109743505B (zh) 基于激光测距的视频拍摄方法、装置及电子设备
US20220392220A1 (en) Vision based light detection and ranging system using dynamic vision sensor
CN112950694A (zh) 图像融合的方法、单颗摄像头模组、拍摄装置及存储介质
CN113378605B (zh) 多源信息融合方法及装置、电子设备和存储介质
CN113260951A (zh) 基于指距或手接近的淡入用户界面显示
KR20210127950A (ko) 동적 비전 센서 및 패턴 투사를 사용하는 3차원 이미징 및 감지
CN113344839A (zh) 深度图像采集装置、融合方法和终端设备
CN112505661B (zh) 像素控制方法、像素模组、装置、终端及存储介质
US20240127566A1 (en) Photography apparatus and method, electronic device, and storage medium
CN112987022A (zh) 测距方法及装置、计算机可读介质和电子设备
US11080874B1 (en) Apparatuses, systems, and methods for high-sensitivity active illumination imaging
CN108981782A (zh) 一种利用手机实现计算关联成像的方法
CN117043547A (zh) 混合模式深度成像
CN110087002B (zh) 一种拍摄方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant