CN112333390B - 摄像头模组、摄像头模组的控制方法、装置及电子设备 - Google Patents

摄像头模组、摄像头模组的控制方法、装置及电子设备 Download PDF

Info

Publication number
CN112333390B
CN112333390B CN202011199707.1A CN202011199707A CN112333390B CN 112333390 B CN112333390 B CN 112333390B CN 202011199707 A CN202011199707 A CN 202011199707A CN 112333390 B CN112333390 B CN 112333390B
Authority
CN
China
Prior art keywords
camera module
data stream
camera
vision sensor
dynamic vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011199707.1A
Other languages
English (en)
Other versions
CN112333390A (zh
Inventor
刘峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202011199707.1A priority Critical patent/CN112333390B/zh
Publication of CN112333390A publication Critical patent/CN112333390A/zh
Application granted granted Critical
Publication of CN112333390B publication Critical patent/CN112333390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors

Abstract

本申请公开了一种摄像头模组、摄像头模组的控制方法、装置及电子设备,属于摄像领域。其中,摄像头模组包括光学防抖摄像头、动态视觉传感器和处理单元;光学防抖摄像头包括驱动芯片、马达、镜头组件;动态视觉传感器的输出端与处理单元的第一输入端连接;处理单元的输出端与驱动芯片的输入端连接;驱动芯片的输出端与马达的控制端连接;马达与镜头组件传动连接。本申请可解决摄像头模组因被拍摄对象发生抖动带来的图像模糊、马达尺寸大、整机堆叠难度高、物料成本高的问题。

Description

摄像头模组、摄像头模组的控制方法、装置及电子设备
技术领域
本申请属于摄像领域,具体涉及一种摄像头模组、一种摄像头模组的控制方法、一种摄像头模组的控制装置、一种电子设备以及一种计算机可读存储介质。
背景技术
随着摄像头在手机上的应用越来越广泛,摄像头在成像质量的要求也越来越高。但是,在用户利用手机上的摄像头拍照或者录像时,当用户的手发生抖动,手机采集到的图像将是模糊的。
为了避免图像因用户手的抖动而模糊,目前通常采用光学防抖(Optical imagestabilization,OIS)摄像模组和陀螺仪的配合进行拍照或录像。如图1所示,具体的:在用户的手发生抖动的情况下,陀螺仪检测到用户手抖动的角速度,并将该角速度发送至OIS摄像模组中的OIS驱动芯片;OIS驱动芯片对获取到的角速度进行积分,得到当前用户手抖动的角度α;OIS驱动芯片控制OIS摄像头模组中的马达反向推动OIS摄像模组中的镜头运动-α;放置在马达中的Hall(霍尔)磁感器实时感知当前镜头的位置,并反馈至OIS驱动芯片,实现闭环反馈控制。
但是,OIS摄像模组存在如下缺陷:
第一:只能避免用户手动引起的图像模糊,被拍摄物体发生抖动造成的图像模糊无法避免;
第二:需在马达中设置Hall磁感器,这增加了马达的尺寸,同时整机结构堆叠难度和手机物料成本。
第三:需与陀螺仪配合工作,这样会增加整机结构堆叠难度和手机物料成本。
发明内容
本申请实施例的目的是提供一种摄像头模组、摄像头模组的控制方法及电子设备,能够解决摄像头模组因被拍摄对象发生抖动带来的图像模糊、马达尺寸大、整机堆叠难度高、物料成本高的问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供了一种摄像头模组,包括:
光学防抖摄像头、动态视觉传感器和处理单元;所述光学防抖摄像头包括驱动芯片、马达、镜头组件;
所述动态视觉传感器的输出端与所述处理单元的第一输入端连接;
所述处理单元的输出端与所述驱动芯片的输入端连接;
所述驱动芯片的输出端与所述马达的控制端连接;
所述马达与所述镜头组件传动连接。
第二方面,本申请实施例还提供了一种摄像头模组的控制方法,所述摄像头模组包括光学防抖摄像头、动态视觉传感器,所述光学防抖摄像头包括驱动芯片、马达、镜头组件,所述方法包括:
接收所述动态视觉传感器输入的数据流;其中,所述动态视觉传感器在事件触发的情况下,输入所述数据流,所述事件为由所述摄像头模组抖动或被拍摄对象抖动所引起的光强变化,所述数据流中至少包括像素的横坐标、纵坐标;
根据所述数据流确定所述摄像头模组的位置变化量和运动方向;
根据所述位置变化量和运动方向确定补偿量;
将所述补偿量发送至所述驱动芯片,以由所述驱动芯片根据所述补偿量驱动所述马达带动所述镜头组件。
第三方面,一种摄像头模组的控制装置,所述摄像头模组包括光学防抖摄像头、动态视觉传感器,所述光学防抖摄像头包括驱动芯片、马达、镜头组件,所述装置包括:
接收模块,用于接收所述动态视觉传感器输入的数据流;其中,所述动态视觉传感器在事件触发的情况下,输入所述数据流,所述事件为由所述摄像头模组抖动或被拍摄对象抖动所引起的光强变化,所述数据流中至少包括像素的横坐标、纵坐标;
第一确定模块,用于根据所述数据流确定所述摄像头模组的位置变化量和运动方向;
第二确定模块,用于根据所述位置变化量和运动方向确定补偿量;
发送模块,用于将所述补偿量发送至所述驱动芯片,以由所述驱动芯片根据所述补偿量驱动所述马达带动所述镜头组件。
第四方面,本申请实施例还提供了一种电子设备,所述电子设备包括如第一方面所述的摄像头模组;
或者,所述电子设备包括摄像头模组和如权利要求10所述的装置,其中,所述摄像头模组包括光学防抖摄像头、动态视觉传感器,所述光学防抖摄像头包括驱动芯片、马达、镜头组件;
或者,所述电子设备包括摄像头模组、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第二方面所述的摄像头模组的控制方法的步骤,其中,所述摄像头模组包括光学防抖摄像头、动态视觉传感器,所述光学防抖摄像头包括驱动芯片、马达、镜头组件。
第五方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第二方面中所述的摄像头模组的控制方法的步骤。
在本申请实施例中,摄像头模组包括光学防抖摄像头、动态视觉传感器和处理单元;光学防抖摄像头包括驱动芯片、马达、镜头组件。其中,动态视觉传感器的输出端与处理单元的第一输入端连接;处理单元的输出端与驱动芯片的输入端连接;驱动芯片的输出端与马达的控制端连接;马达与镜头组件传动连接。这样,由于动态视觉传感器在开启时刻,以及在摄像头模组发生抖动或被拍摄对象发生抖动的情况下,均会感受到的光强变化这一事件,从而被该事件触发而依次输出数据流。而数据流中包括了对应时刻的像素的位置,因此数据流可体现出摄像头模组的位置变化,进而处理单元可以根据数据流得到摄像头模组的位置变化量和运动方向。在得到位置变化量和运动方向的情况下,可实现对摄像头模组的位置的补偿。因此,第一方面,动态视觉传感器可捕捉到被拍摄对象的抖动,基于此摄像头模组得到补偿量可对该抖动进行补偿,从而避免了被拍摄对象发生抖动造成的图像模糊;第二方面,由于动态视觉传感器在抖动发生时可实时输出数据流,这样摄像头模组可实现实时补偿,此时无需霍尔传感器进行闭环反馈,因此,无需在马达中设置霍尔传感器,这降低了马达的尺寸,同时降低了摄像头模组整机的堆叠难度和物料成本。第三方面,动态视觉传感器的体积和物料成本均小于陀螺仪的体积和物料成本,因此本申请实施例提供的摄像头模组整机的堆叠难度和物料成本进一步被降低。
附图说明
图1是现有的光学防抖摄像头和陀螺仪配合的结构示意图;
图2是本申请实施例提供的一种摄像头模组的结构示意图一;
图3是本申请实施例提供的一种摄像头模组的结构示意图二;
图4是本申请实施例提供的一种摄像头模组中动态视觉传感器与光学防抖摄像头的相对关系的示意图;
图5是本申请实施例提供的一种摄像头模组的控制方法的流程示意图;
图6是本申请实施例提供的一种摄像头模组的控制装置的结构示意图;
图7是本申请实施例提供的一种电子设备的结构示意图;
图8是本申请实施例提供的一种动态视觉传感器中像素的电路结构示意图;
图9是本申请实施例提供的一种动态视觉传感器的工作流程示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的摄像头模组和电子设备进行详细地说明。
本申请实施例提供了一种摄像头模组20,如图2所示,包括光学防抖摄像头21、动态视觉传感器22和处理单元23。其中,光学防抖摄像头21包括驱动芯片211、马达212和镜头组件213。
以及,动态视觉传感器22的输出端与处理单元23的第一输入端连接;处理单元23的输出端与驱动芯片211的输入端连接;驱动芯片211的输出端与马达212的控制端连接;马达212与镜头组件213传动连接。
其中,动态视觉传感器22在事件触发的情况下,向处理单元23输入数据流,事件为由摄像头模组抖动或被拍摄对象抖动所引起的光强变化,数据流中至少包括像素的横坐标、纵坐标。
处理单元23根据数据流确定摄像头模组20的位置变化量和运动方向,以及根据位置变化量和运动方向确定补偿量。
驱动芯片211根据补偿量驱动马达212带动镜头组件213。
在本申请实施例中,动态视觉传感器(Dynamic Vision Sensor,DVS)22是以事件驱动型(event-driven)的光电传感器。动态视觉传感器22中的每个像素独立感受光强变化,并将光强变化超过阈值的像素认为是激活像素,然后及时将激活像素的行列位置、极性信息以及时间戳等信息打包作为数据流并编码输出。另外,动态视觉传感器22的等效帧率可达到10000fps,甚至更高。
在上述动态视觉传感器22说明的基础上,在利用摄像头模组20拍照或录像时,摄像头模组20被启动。此时,摄像头模组20中的动态视觉传感器22和光学防抖摄像头21同时启动。可以理解的是,在动态视觉传感器22开启的瞬间,动态视觉传器22感受到光强的变化,从而输出第一组数据流。
继续的,当用户利用摄像头模组20拍照时,若被拍摄对象发生抖动或者用户的手抖动导致摄像头模组20抖动,此时动态视觉传感器22将感知到光强发生变化,从而被事件触发而输出数据流。即动态视觉传感器22被摄像头模组20抖动或拍摄对象抖动所引起的光强变化的事件触发,从而输出数据流。在动态视觉传感器22的高帧率基础上,若动态视觉传感器22被摄像头模组20抖动或拍摄对象抖动所引起的光强变化的事件触发,由于该抖动的频率远小于动态视觉传感器22的帧率,因此,动态视觉传感器22在该抖动的事件的触发下,将依次输出多组数据流。
在动态视觉传感器22的输出端与处理单元23的输入端连接的情况下,动态视觉传感器22将输出数据流输入至处理单元23。
另外,基于上述对动态视觉传感器22的说明可知,动态视觉传感器22输出的数据流中包括多个像素信息,每个像素信息中至少包括像素的横坐标和纵坐标。
处理单元23在接收到动态视觉传感器22发送的数据流的情况,根据数据流确定摄像头模组的位置变化和运动方向。该具体的确定方式可以为如下S101:
S101、根据数据流中的初始数据流和当前数据流,确定摄像头模组的位置变化量和运动方向。
在本申请实施例中,初始数据流通常为动态视觉传感器22第一次输出的数据流,当前数据流为当前时刻动态视觉传感器22输出的数据流。
在摄像头模组的抖动为触发动态视觉传感器22的事件的情况下,初始数据流可以体现出摄像头模组20在抖动前的位置。当前数据流可以体现出摄像头模组20在抖动后的位置。在此基础上,可根据初始数据流和当前数据流,确定出摄像头模组的位置变化量和运动方向。
在被拍摄对象的抖动触发视觉传感器22的事件的情况下,初始数据流可以体现出被拍摄对象在抖动前摄像头模组20的位置。当前数据流可以体现出被拍摄对象在抖动后被拍摄对象与摄像头模组20的位置变化和抖动方向。在此基础上,可根据初始数据流和当前数据流,确定出摄像头模组与被拍摄对象之间的相对位置的位置变化量和运动方向。
在本申请的一个实施例中,上述S101的具体实现可以为如下S1011-S1013来实现:
S1011、根据初始数据流,确定初始数据流中包括的像素的中心点的坐标值。
在本申请实施例中,基于上述内容,可以理解的是,初始数据流中包括有多个像素信息,每一个像素信息中包含有像素的横坐标值和纵坐标值。在此基础上,根据初始数据流中所有像素的横坐标值和纵坐标值,可确定出初始数据流中的像素的中心点的坐标值。
在本申请实施例中,利用初始数据流中的像素的中心点的坐标值,表征摄像头模组20在抖动前,或者被拍摄对象在抖动前摄像头模组20的位置。
S1022、根据当前数据流,确定当前数据流中包括的像素的中心点的坐标值。
在本申请实施例中,基于上述内容可以理解的是,当前数据流中包括有多个像素信息,每一个像素信息中包含有像素的横坐标值和纵坐标值。在此基础上,根据当前数据流中所有像素的横坐标值和纵坐标值,可确定出当前数据流中的像素的中心点的坐标值。
在本申请实施例中,利用当前数据流中的像素的中心点的坐标值,表征摄像头模组20在抖动后的位置,或者表征被拍摄对象在抖动后,摄像头模组20相对于被拍摄对象的位置。
S1013、根据初始数据流中包括的像素的中心点的坐标值、当前数据流中包括的像素的中心点的坐标值,确定摄像头模组20的位置变化量和运动方向。
在本申请实施例中,将抖动前的位置A视为初始数据流的中心点的坐标值,将抖动后的位置B视为当前数据流的中心点的坐标值。因此,确定出的位置变化量为Δ=B-A,运动方向为A—>B。
在上述任一实施例的基础上,上述S101的具体实现还可以为如下S1014和S1015:
S1014、对初始数据流和当前数据流分别执行特征提取操作,得到初始特征流和当前特征流。
在本申请实施例中,对初始数据流和当前数据流分别做特征提取操作,可降低初始数据流和当前数据流中的冗余像素信息。
S1015、根据初始特征流和当前特征流,确定摄像头模组的位置变化量和运动方向。
在一个示例中,上述S1015的具体实现可参照上述S1011-S1013的步骤来实现。
处理单元23在确定出摄像头模组20的位置变化量和运动方向后,根据该位置变化量和运动方向确定补偿量。该补偿量为矢量,且模为上述的Δ,方向与确定出的运动方向相反。
处理单元23在确定出补偿量后,将该补偿量输入至驱动芯片211。
驱动芯片211根据补偿量,驱动马达212带动镜头组件213相对于初始位置平移和旋转。其中,平移的量为补偿量的模,旋转的方向为补偿量对应的方向,初始位置指的是动态视觉传感器22输出初始数据流时摄像头模组20的位置。
在本申请实施例中,摄像头模组包括光学防抖摄像头、动态视觉传感器和处理单元;光学防抖摄像头包括驱动芯片、马达、镜头组件。其中,动态视觉传感器的输出端与处理单元的第一输入端连接;处理单元的输出端与驱动芯片的输入端连接;驱动芯片的输出端与马达的控制端连接;马达与镜头组件传动连接。这样,由于动态视觉传感器在开启时刻,以及在摄像头模组发生抖动或被拍摄对象发生抖动的情况下,均会感受到的光强变化这一事件,从而被该事件触发而依次输出数据流。而数据流中包括了对应时刻的像素的位置,因此数据流可体现出摄像头模组的位置变化,进而处理单元可以根据数据流得到摄像头模组的位置变化量和运动方向。在得到位置变化量和运动方向的情况下,可实现对摄像头模组的位置的补偿。因此,第一方面,动态视觉传感器可捕捉到被拍摄对象的抖动,基于此摄像头模组得到补偿量可对该抖动进行补偿,从而避免了被拍摄对象发生抖动造成的图像模糊;第二方面,由于动态视觉传感器在抖动发生时可实时输出数据流,这样摄像头模组可实现实时补偿,此时无需霍尔传感器进行闭环反馈,因此,无需在马达中设置霍尔传感器,这降低了马达的尺寸,同时降低了摄像头模组整机的堆叠难度和物料成本。第三方面,动态视觉传感器的体积和物料成本均小于陀螺仪的体积和物料成本,因此本申请实施例提供的摄像头模组整机的堆叠难度和物料成本进一步被降低。
在上述任一实施例的基础上,如图3所示,本申请实施例提供的摄像头模组20还包括图像传感器24。该图像传感器24的输出端与处理单元23的第二输入端连接。图像传感器24根据镜头组件采集到的光信号得到图像数据,以及将图像数据发送至处理单元23。
在本申请实施例中,图像传感器23将镜头组件采集到的光信号转换为电信号,并将该电信号作为图像数据的载体传输至处理单元23。处理单元23基于该图像数据显示图像。
在上一实施例的基础上,图像传感器23可以为互补金属氧化物场效应管型的图像传感器,即可以为互补金属氧化物场效应管(Complementary Metal OxideSemiconductor;CMOS)图像传感器。
在上一个实施例的基础上,图像传感器23还可以为电荷耦合器件类的图像传感器,即可以为电荷耦合器件(Charge-Coupled Device,CCD)图像传感器。
在上述任一实施例的基础上,处理单元23可以为应用处理器(ApplicationProcessor;AP)。
在上述任一实施例的基础上,如图4所示,本申请实施例提供的摄像头模组20中的动态视觉传感器22的视场角覆盖光学防抖摄像头21的视场角。
在本申请实施例中,由于动态视觉传感器22的视场角(FOV,field of view)覆盖光学防抖摄像头21的视场角,因此,被拍摄对象可被动态视觉传感器22精准记录,这样可使得处理单元23计算得到的补偿量更加精准。
在一个示例中,如图4所示,动态视觉传感器22和光学防抖摄像头21之间的距离越近越好。
本申请实施例还提供了一种摄像头模组的控制方法,如图5所示,所述摄像头模组包括光学防抖摄像头、动态视觉传感器,所述光学防抖摄像头包括驱动芯片、马达、镜头组件,所述方法包括如下S501-S504:
S501、接收所述动态视觉传感器输入的数据流;其中,所述动态视觉传感器在事件触发的情况下,输入所述数据流,所述事件为由所述摄像头模组抖动或被拍摄对象抖动所引起的光强变化,所述数据流中至少包括像素的横坐标、纵坐标。
S502、根据所述数据流确定所述摄像头模组的位置变化量和运动方向。
S503、根据所述位置变化量和运动方向确定补偿量。
S504、将所述补偿量发送至所述驱动芯片,以由所述驱动芯片根据所述补偿量驱动所述马达带动所述镜头组件。
在一个实施例中,上述S502可通过如下S5021来实现:
S5021、根据所述数据流中的初始数据流和当前数据流,确定所述摄像头模组的位置变化量和运动方向。
在一个实施例中,上述S5021可通过如下步骤A1和步骤A2来实现:
步骤A1、对所述初始数据流和所述当前数据流分别执行特征提取操作,得到初始特征流和当前特征流。
步骤A2、根据所述初始特征流和所述当前特征流,确定所述摄像头模组的位置变化量和运动方向。
在一个实施例中,上述S5021可通过如下步骤B1、步骤B2和步骤B3来实现:
步骤B1、根据所述初始数据流,确定所述初始数据流中包括的像素的中心点的坐标值。
步骤B2、根据所述当前数据流,确定所述当前数据流中包括的像素的中心点的坐标值;
步骤B3、根据所述初始数据流中包括的像素的中心点的坐标值、所述当前数据流中包括的像素的中心点的坐标值,确定所述摄像头模组的位置变化量和运动方向。
在一个实施例中,所述摄像头模组还包括图像传感器,所述方法还包括如下S505:
S505、获取图像数据,根据所述图像数据显示图像;
其中,所述图像数据由所述图像传感器根据所述镜头组件采集到的光信号得到。
在一个实施例中,所述动态视觉传感器的视场角覆盖所述光学防抖摄像头的视场角。
需要说明的是,本申请实施例提供的摄像头模组的控制方法的具体实现,可参照本申请实施例提供的摄像头模组的具体实现,这里不再赘述。
本申请实施例还提供了一种摄像头模组的控制装置60,所述摄像头模组包括光学防抖摄像头、动态视觉传感器,所述光学防抖摄像头包括驱动芯片、马达、镜头组件,所述装置如图6所示,包括:接收模块61、第一确定模块62、第二确定模块63以及发送模块64,其中:
接收模块61,用于接收所述动态视觉传感器输入的数据流;其中,所述动态视觉传感器在事件触发的情况下,输入所述数据流,所述事件为由所述摄像头模组抖动或被拍摄对象抖动所引起的光强变化,所述数据流中至少包括像素的横坐标、纵坐标;
第一确定模块62,用于根据所述数据流确定所述摄像头模组的位置变化量和运动方向;
第二确定模块63,用于根据所述位置变化量和运动方向确定补偿量;
发送模块64,用于将所述补偿量发送至所述驱动芯片,以由所述驱动芯片根据所述补偿量驱动所述马达带动所述镜头组件。
在一个实施例中,第一确定模块62具体用于:根据所述数据流中的初始数据流和当前数据流,确定所述摄像头模组的位置变化量和运动方向。
在一个实施例中,所述第一确定模块62包括特征提取单元和第一确定单元,其中:
特征提取单元,用于对所述初始数据流和所述当前数据流分别执行特征提取操作,得到初始特征流和当前特征流;
第一确定单元,用于根据所述初始特征流和所述当前特征流,确定所述摄像头模组的位置变化量和运动方向。
在一个实施例中,所述第一确定模块62包括第二确定单元、第三确定单元、第四确定单元,其中:
第二确定单元,用于根据所述初始数据流,确定所述初始数据流中包括的像素的中心点的坐标值;
第三确定单元,用于根据所述当前数据流,确定所述当前数据流中包括的像素的中心点的坐标值;
第四确定单元,用于根据所述初始数据流中包括的像素的中心点的坐标值、所述当前数据流中包括的像素的中心点的坐标值,确定所述摄像头模组的位置变化量和运动方向。
在一个实施例中,所述摄像头模组还包括图像传感器,所述装置60还包括获取模块,所述获取模块用于:
获取图像数据,根据所述图像数据显示图像;
其中,所述图像数据由所述图像传感器根据所述镜头组件采集到的光信号得到。
在一个实施例中,所述动态视觉传感器的视场角覆盖所述光学防抖摄像头的视场角。
本申请实施例还提供了一种电子设备700,该电子设备700包括如上任一实施例所示的摄像头模组20。
或者,所述电子设备包括摄像头模组和如上述实施例中任一项所述的装置,其中,所述摄像头模组包括光学防抖摄像头、动态视觉传感器,所述光学防抖摄像头包括驱动芯片、马达、镜头组件。
或者,如图7所示,所述电子设备包括摄像头模组701、处理器702、存储器703及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如上述方法实施例中任一项所述的摄像头模组的控制方法的步骤,其中,所述摄像头模组包括光学防抖摄像头、动态视觉传感器,所述光学防抖摄像头包括驱动芯片、马达、镜头组件。
需要说明的是,图7中的摄像头模块701可以为本申请实施例中提供的任意一种摄像头模组20。
在一个实施例中,电子设备可以为具有摄像功能的移动电子设备和非移动电子设备。例如手机、平板电脑、笔记本电脑等。
本申请实施例还提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如上述方法实施例中任一项所述的摄像头模组的控制方法的步骤。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
另外,动态视觉传感器22的工作原理为如图8和图9所示。
其中,图8表示的是一个像素对应的电路结构。其工作原理为:对数转换单元把光电电子对数转换为电压;变化检测单位对对数转换单元输出的电压进行负反馈放大;比较单元对变化检测单元输出的放大电压进行阈值判断,当光强变大,使得放大电压超过阈值时输出“ON”信号,反之输出“OFF”信号。逻辑控制单元接收比较单元输出的“ON”信号和“OFF”信号,并输出请求REQ。逻辑控制单元接收确认信号ACK,以及向M7输出复位电压Vreset。
其中,对数转换单元中包含有光电二极管PD、三极管M1、三极管M2、三极管M3、三极管M4以及外接电压源V0。变化检测单元中包括电容C1、电容C2、三极管M6、三极管M7、三极管M8以及外接电压源V1。比较器单元包括三极管M9、三极管M10、三极管M11、三极管M12、外接电压源V2和外接电压源V3。
图9表示的是动态视觉传感器22的工作流程示意图。具体的:对于像素阵列中的每一个事件触发的像素,向列编码输出模块发出请求(CR),并向行编码输出模块输入对应像素的极性信息。列编码输出模块接收请求发出确认信号(ACK)。行编码输出模块控制生成复位信号(reset),以及行地址信息。时间戳生成器生成时间戳。输出缓冲器针对地址信息、极性信息、时间戳生成数据流。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (12)

1.一种摄像头模组,其特征在于,包括:光学防抖摄像头、动态视觉传感器和处理单元;所述光学防抖摄像头包括驱动芯片、马达、镜头组件;
所述动态视觉传感器的输出端与所述处理单元的第一输入端连接;
所述处理单元的输出端与所述驱动芯片的输入端连接;
所述驱动芯片的输出端与所述马达的控制端连接;
所述马达与所述镜头组件传动连接;
其中,所述动态视觉传感器,用于在事件触发的情况下,向所述处理单元输入数据流,事件为由所述摄像头模组抖动或被拍摄对象抖动所引起的光强变化,数据流中至少包括像素的横坐标、纵坐标;
所述处理单元,用于根据所述数据流,确定所述摄像头模组的位置变化量和运动方向,以及根据所述位置变化量和运动方向确定补偿量;
所述驱动芯片,用于根据所述补偿量驱动所述马达带动所述镜头组件。
2.根据权利要求1所述的摄像头模组,其特征在于,所述摄像头模组还包括图像传感器;
所述图像传感器的输出端与所述处理单元的第二输入端连接。
3.根据权利要求1所述的摄像头模组,其特征在于,所述动态视觉传感器的视场角覆盖所述光学防抖摄像头的视场角。
4.一种摄像头模组的控制方法,其特征在于,所述摄像头模组包括光学防抖摄像头、动态视觉传感器,所述光学防抖摄像头包括驱动芯片、马达、镜头组件,所述方法包括:
接收所述动态视觉传感器输入的数据流;其中,所述动态视觉传感器在事件触发的情况下,输入所述数据流,所述事件为由所述摄像头模组抖动或被拍摄对象抖动所引起的光强变化,所述数据流中至少包括像素的横坐标、纵坐标;
根据所述数据流确定所述摄像头模组的位置变化量和运动方向;
根据所述位置变化量和运动方向确定补偿量;
将所述补偿量发送至所述驱动芯片,以由所述驱动芯片根据所述补偿量驱动所述马达带动所述镜头组件。
5.根据权利要求4所述的方法,其特征在于,所述根据所述数据流确定所述摄像头模组的位置变化量和运动方向,包括:
根据所述数据流中的初始数据流和当前数据流,确定所述摄像头模组的位置变化量和运动方向。
6.根据权利要求5所述的方法,其特征在于,所述根据所述数据流中的初始数据流和当前数据流,确定所述摄像头模组的位置变化量和运动方向,包括:
对所述初始数据流和所述当前数据流分别执行特征提取操作,得到初始特征流和当前特征流;
根据所述初始特征流和所述当前特征流,确定所述摄像头模组的位置变化量和运动方向。
7.根据权利要求5所述的方法,其特征在于,所述根据所述数据流中的初始数据流和当前数据流,确定所述摄像头模组的位置变化量和运动方向,包括:
根据所述初始数据流,确定所述初始数据流中包括的像素的中心点的坐标值;
根据所述当前数据流,确定所述当前数据流中包括的像素的中心点的坐标值;
根据所述初始数据流中包括的像素的中心点的坐标值、所述当前数据流中包括的像素的中心点的坐标值,确定所述摄像头模组的位置变化量和运动方向。
8.根据权利要求4所述的方法,其特征在于,所述摄像头模组还包括图像传感器,所述方法还包括:
获取图像数据,根据所述图像数据显示图像;
其中,所述图像数据由所述图像传感器根据所述镜头组件采集到的光信号得到。
9.根据权利要求4所述的方法,其特征在于,所述动态视觉传感器的视场角覆盖所述光学防抖摄像头的视场角。
10.一种摄像头模组的控制装置,其特征在于,所述摄像头模组包括光学防抖摄像头、动态视觉传感器,所述光学防抖摄像头包括驱动芯片、马达、镜头组件,所述装置包括:
接收模块,用于接收所述动态视觉传感器输入的数据流;其中,所述动态视觉传感器在事件触发的情况下,输入所述数据流,所述事件为由所述摄像头模组抖动或被拍摄对象抖动所引起的光强变化,所述数据流中至少包括像素的横坐标、纵坐标;
第一确定模块,用于根据所述数据流确定所述摄像头模组的位置变化量和运动方向;
第二确定模块,用于根据所述位置变化量和运动方向确定补偿量;
发送模块,用于将所述补偿量发送至所述驱动芯片,以由所述驱动芯片根据所述补偿量驱动所述马达带动所述镜头组件。
11.一种电子设备,其特征在于,所述电子设备包括如权利要求1-3任一项所述的摄像头模组;
或者,所述电子设备包括摄像头模组和如权利要求10所述的装置,其中,所述摄像头模组包括光学防抖摄像头、动态视觉传感器,所述光学防抖摄像头包括驱动芯片、马达、镜头组件;
或者,所述电子设备包括摄像头模组、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求4-9任一项所述的摄像头模组的控制方法的步骤,其中,所述摄像头模组包括光学防抖摄像头、动态视觉传感器,所述光学防抖摄像头包括驱动芯片、马达、镜头组件。
12.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求4-9任一项所述的摄像头模组的控制方法的步骤。
CN202011199707.1A 2020-10-29 2020-10-29 摄像头模组、摄像头模组的控制方法、装置及电子设备 Active CN112333390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011199707.1A CN112333390B (zh) 2020-10-29 2020-10-29 摄像头模组、摄像头模组的控制方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011199707.1A CN112333390B (zh) 2020-10-29 2020-10-29 摄像头模组、摄像头模组的控制方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112333390A CN112333390A (zh) 2021-02-05
CN112333390B true CN112333390B (zh) 2022-02-22

Family

ID=74324053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011199707.1A Active CN112333390B (zh) 2020-10-29 2020-10-29 摄像头模组、摄像头模组的控制方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112333390B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113079303B (zh) * 2021-04-23 2022-09-09 维沃移动通信有限公司 摄像模组及电子设备
CN114199519B (zh) * 2021-10-31 2024-04-16 昆山丘钛光电科技有限公司 一种测试装置及系统
CN116801103A (zh) * 2022-03-11 2023-09-22 Oppo广东移动通信有限公司 电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961318A (zh) * 2018-05-04 2018-12-07 上海芯仑光电科技有限公司 一种数据处理方法及计算设备
CN110012224A (zh) * 2019-03-26 2019-07-12 Oppo广东移动通信有限公司 摄像头防抖系统、方法、电子设备和计算机可读存储介质
CN110177200A (zh) * 2019-06-28 2019-08-27 Oppo广东移动通信有限公司 摄像头模组、电子设备以及影像拍摄方法
CN110296717A (zh) * 2019-06-21 2019-10-01 上海芯仑光电科技有限公司 一种事件数据流的处理方法及计算设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3522519B1 (en) * 2016-10-17 2022-11-30 Huawei Technologies Co., Ltd. Image acquiring method and terminal device
US10805539B2 (en) * 2016-12-02 2020-10-13 Hangzhou Hikvision Digital Technology Co., Ltd. Anti-shake method for camera and camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961318A (zh) * 2018-05-04 2018-12-07 上海芯仑光电科技有限公司 一种数据处理方法及计算设备
CN110012224A (zh) * 2019-03-26 2019-07-12 Oppo广东移动通信有限公司 摄像头防抖系统、方法、电子设备和计算机可读存储介质
CN110296717A (zh) * 2019-06-21 2019-10-01 上海芯仑光电科技有限公司 一种事件数据流的处理方法及计算设备
CN110177200A (zh) * 2019-06-28 2019-08-27 Oppo广东移动通信有限公司 摄像头模组、电子设备以及影像拍摄方法

Also Published As

Publication number Publication date
CN112333390A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN112333390B (zh) 摄像头模组、摄像头模组的控制方法、装置及电子设备
CN110012224B (zh) 摄像头防抖系统、方法、电子设备和计算机可读存储介质
CN111147741B (zh) 基于对焦处理的防抖方法和装置、电子设备、存储介质
JP4999268B2 (ja) 電子カメラ及びプログラム
US9019387B2 (en) Imaging device and method of obtaining image
JP4872797B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP4479679B2 (ja) 撮影画像表示システム、画像受信装置及びその制御方法
US8619120B2 (en) Imaging apparatus, imaging method and recording medium with program recorded therein
EP3525448A1 (en) Method for preventing camera from shaking, and camera
CN112312017B (zh) 拍摄控制方法和电子设备
JP5736512B2 (ja) 撮像装置およびその動作制御方法
US8767096B2 (en) Image processing method and apparatus
CN109951638B (zh) 摄像头防抖系统、方法、电子设备和计算机可读存储介质
CN101931746B (zh) 摄像装置以及摄像方法
CN112153301B (zh) 拍摄方法和电子设备
CN106488116A (zh) 摄像装置
JP5322287B2 (ja) 回転台付カメラ装置
JP2011130383A (ja) 撮像装置及びその制御方法
US8373773B2 (en) Imaging apparatus for generating a wide-angle image
JP4655708B2 (ja) カメラ、カメラの手ブレ状態表示方法、及びプログラム
US20100328470A1 (en) Display control device, imaging device, and printing device
JP2017060091A (ja) 姿勢推定装置、姿勢推定方法及びプログラム
CN112995498B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
CN101640811B (zh) 照相机
JP5182395B2 (ja) 撮像装置、撮像方法および撮像プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant