CN113489880A - 电子设备、信息同步方法和计算机可读存储介质 - Google Patents
电子设备、信息同步方法和计算机可读存储介质 Download PDFInfo
- Publication number
- CN113489880A CN113489880A CN202110866304.6A CN202110866304A CN113489880A CN 113489880 A CN113489880 A CN 113489880A CN 202110866304 A CN202110866304 A CN 202110866304A CN 113489880 A CN113489880 A CN 113489880A
- Authority
- CN
- China
- Prior art keywords
- information
- attitude
- image
- signal
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000001360 synchronised effect Effects 0.000 claims abstract description 103
- 230000003287 optical effect Effects 0.000 claims description 57
- 239000000872 buffer Substances 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 238000013507 mapping Methods 0.000 description 9
- 230000005484 gravity Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请提供一种电子设备、信息同步方法和计算机可读存储介质,电子设备包括姿态传感器、图像传感器以及驱动芯片,姿态传感器用于采集姿态信息,图像传感器用于采集图像信息,驱动芯片分别与所述姿态传感器和所述图像传感器连接,所述驱动芯片用于获取所述姿态信息以及所述图像信息的同步信号,将所述姿态信息和所述图像信息的同步信号进行同步,以得到同步后的姿态信息。本申请通过驱动芯片将图像信息的同步信号与姿态信息进行同步,通过硬件同步的方式,可以提高姿态信息与图像信息同步的准确性。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及一种电子设备、信息同步方法和计算机可读存储介质。
背景技术
目前,如手机、平板电脑等电子设备通常配置有摄像头,从而为用户提供拍照功能,使得用户能够通过这些电子设备随时随地的记录身边发生的事情,看到的景物等。然而,由于用户通常手持电子设备进行拍摄,而用户手持电子设备会引入不同程度的抖动而影响电子设备拍摄的稳定性,导致拍摄得到的图像的质量较差。此时需要通过电子防抖和/或光学防抖的方式对图像进行补偿。
电子防抖的方式往往通过需要将图像信息和电子设备姿态信息进行同步而传统的防抖方法,图像信息和姿态信息同步不准确,导致防抖效果较差。
发明内容
本申请实施例提供一种电子设备、信息同步方法和计算机可读存储介质,能够提高图像信息与姿态信息同步的准确性。
本申请实施例提供一种电子设备,所述电子设备包括:
姿态传感器,用于采集姿态信息;
图像传感器,用于采集图像信息;
驱动芯片,分别与所述姿态传感器和所述图像传感器连接,所述驱动芯片用于获取所述姿态信息以及所述图像信息的同步信号,将所述姿态信息和所述图像信息的同步信号进行同步,以得到同步后的姿态信息。
本申请实施例提供一种信息同步方法,应用于电子设备,所述电子设备包括驱动芯片、图像传感器以及姿态传感器,所述信息同步方法包括:
通过所述姿态传感器采集姿态信息;
通过图像传感器采集图像信息;
通过所述驱动芯片获取所述姿态信息以及所述图像信息的同步信号;
将所述姿态信息和所述图像信息的同步信号进行同步,得到同步后的姿态信息。
本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的信息同步方法的步骤。
本申请实施例提供的电子设备、信息同步方法和计算机可读存储介质,驱动芯片分别与图像传感器以及姿态传感器连接,驱动芯片获取图像传感器采集图像信息的同步信号以及姿态传感器采集的姿态信息,将图像信息的同步信号与姿态信息进行同步,通过硬件同步的方式,可以提高姿态信息与图像信息同步的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为本申请一实施例提供的电子设备的结构示意图。
图2为本申请一实施例提供的电子设备的结构框图。
图3为本申请一实施例提供的电子设备的结构框图。
图4为本申请一实施例提供的电子设备的结构框图。
图5为本申请一实施例提供的图像传感器逐行曝光的示意图。
图6为本申请一实施例提供的图像传感器的帧间时序图。
图7为本申请一实施例提供的驱动芯片的内部设计和外部连线的示意图。
图8为本申请一实施例提供的信息同步方法的流程示意图。
图9为本申请一实施例提供的信息同步方法的流程示意图。
图10为本申请一实施例提供的电子设备的结构框图。
具体实施方式
应当说明的是,本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块,而是某些实施例还包括没有列出的步骤或模块,或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例提供一种电子设备、信息同步方法和计算机可读存储介质,其中信息同步方法的执行主体可以是本申请实施例提供的电子设备,其中,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑等配置有处理器而具有数据处理能力的设备。
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1和图2,图1为本申请一实施例提供的电子设备的结构示意图,图2为本申请一实施例提供的电子设备的结构框图,电子设备10包括:图像传感器110、姿态传感器120以及驱动芯片130,电子设备10可以为具有拍摄功能的智能手机,其中图像传感器110用于在电子设备10拍摄时采集图像信息,姿态传感器用于采集电子设备10的姿态信息。驱动芯片130分别与图像传感器110和姿态传感器120连接,驱动芯片130用于获取姿态信息以及图像信息的同步信号,将姿态信息和所述图像信息的同步信号进行同步,以得到同步后的姿态信息。
其中,图像传感器110可以利用光电器件的光电转换功能将感光面上的光像转换为与光像成相应比例关系的电信号。图像传感器可以采集图像信息,采集图像信息的同时可以生成同步信号,其中,同步信号可以为在采集图像信息时生成的提供时间参考的同步信号。
其中,姿态传感器120可以采集电子设备的姿态信息,姿态信息可以反映电子设备的运动变化以及位置变化,姿态传感器可以在接收到采集信号后采集姿态信息,例如,在电子设备处于拍摄状态时,向姿态传感器发送采集信号,姿态传感器采集电子设备的姿态信息。姿态传感器也可以在电子设备上电后实时采集姿态信息,例如电子设备开机后,姿态传感器采集电子设备的姿态信息。
其中,驱动芯片130往往用于实现光学防抖,在图像传感器采集图像信号时,根据获取的姿态传感器的姿态信息对光学元器件进行驱动,避免或者减少图像传感器扑捉光学信号过程中出现的仪器抖动现象,从而提高成像质量。本申请实施例提供的驱动芯片还用于实现姿态信息的同步,得到同步后的姿态信息,用于实现电子防抖。
相关技术中,往往通过软件为图像信息和姿态信息生成时间戳,通过时间对齐的方式将图像信息和姿态信息进行同步的方式,由于不同硬件结构中的时钟源的不同,容易造成同步误差。
相较于通过时间戳将图像信息和姿态信息同步会造成误差的软件同步的方式,本申请实施例提供的电子设备通过驱动芯片将图像信息的同步信号与姿态信息进行同步,通过硬件同步的方式,可以提高姿态信息与图像信息同步的准确性。
在一些实施例中,电子设备还包括镜头、驱动马达以及应用处理器,请参照图3,图3为本申请一实施例提供的电子设备的结构框图。
姿态传感器可以采集电子设备的姿态信息,姿态传感器可以包括霍尔传感器(Hall)、陀螺仪(Gyro)、加速度计(Acc)、磁力计(Magenatic)以及重力计(Gravity)中的一种或多种,当然还可以包括其他类型的姿态传感器,姿态信息可以反映电子设备的运动变化以及位置变化,姿态传感器可以在接收到采集信号后采集姿态信息,例如,在电子设备处于拍摄状态时,向姿态传感器发送采集信号,姿态传感器采集电子设备的姿态信息。姿态传感器也可以在电子设备上电后实时采集姿态信息,例如电子设备开机后,姿态传感器采集电子设备的姿态信息。
驱动芯片分别与姿态传感器和驱动马达连接,驱动马达可驱动镜头和/或图像传感器运动,以实现光学防抖,示例性的,驱动芯片可以作为驱动马达的控制模块,驱动马达可以包括控制镜头对焦的马达、控制镜头运动实现光学补偿的马达和/或控制图像传感器运动的马达。驱动芯片作为控制模块,可以包含有基于光学补偿的控制算法,驱动芯片可以根据读取到的姿态信息计算得到驱动马达的驱动量,以使驱动马达驱动镜头和/或图像传感器运动,以实现光学防抖。在一些实施例中,驱动芯片实现光学防抖的控制逻辑可以如下:
驱动芯片读取姿态传感器(Gyro、Acc、Mag和/或Gravity)的姿态信息后,对读取到的姿态信息进行滤波操作,得到滤波后的姿态信息,将滤波后的姿态信息进行积分和增益操作,用于计算出电子设备的抖动量,驱动芯片通过霍尔传感器(Hall)获取当前镜头和/或图像传感器的位置信息,获取的是镜头位置信息还是图像传感器的位置信息,还是镜头位置信息和图像传感器的位置,与霍尔传感器的数量以及位置有关。驱动芯片根据电子设备的抖动量以及镜头和/或图像传感器当前的位置信息计算得到镜头和/或图像传感器的光学补偿数据(如第一补偿数据),根据第一补偿数据向驱动马达发送驱动信号,来使能驱动马达驱动镜头和/或图像传感器运动以移动到目标位置,以实现光学防抖。其中,通过驱动芯片实现光学防抖是一个实时高频的反馈控制过程,可以通过PID(Proportion IntegralDifferential)控制来使驱动马达稳定的驱动镜头和/或图像传感器到目标位置。
相关的光学防抖技术中,驱动芯片只需要根据电子设备当前的抖动情况持续实时调整镜头和/或图像传感器的位置,然而,影响图像成像效果的因素只是图像传感器在曝光的那个时间电子设备的抖动,对于其他非曝光时间内的抖动由于图像传感器没有成像,因此没有影响。相关光学防抖技术中需要持续地对镜头和/或图像传感器进行调整,造成电子设备不必要的开销。
基于此,为了减少电子设备不必要的开销,降低电子设备的功耗,驱动芯片可以通过将姿态信息和采集图像信息的同步信号进行同步,根据同步后的姿态信息动态控制驱动马达,从而避免在图像传感器非曝光时间的开销,降低电子设备的功耗。
驱动芯片还和图像传感器连接,用于获取图像传感器采集图像信息的同步信号,在图像传感器采集图像信号时生成图像信息的同步信号,并将图像信息的同步信号发送至驱动芯片,驱动芯片接收到图像信息的同步信号后,将当前从姿态传感器获取的姿态信息与图像信息的同步信号进行同步,得到同步后的姿态信息,驱动芯片根据同步后的姿态信息通过上述方式动态控制驱动马达,使得驱动芯片和驱动马达在图像传感器曝光时间段内实现光学防抖。
在一些实施例中,驱动芯片在得到同步后的姿态信息后,将同步后的姿态信息发送至图像传感器,图像传感器将同步后的姿态信息发送至应用处理器,应用处理器根据同步后的姿态信息实现电子防抖,电子防抖处理是指利用边缘图像进行补偿的防抖处理。具体地,EIS(Electric Image Stabilization,电子防抖)需要依赖电子设备的姿态信息和采集的图像信息进行同步,需要对应每一帧图像信息所对应的其拍摄时的电子设备的姿态。应用处理器在获取到同步后的姿态信息后,根据同步后的姿态信息通过算法对采集的图像信息进行处理。
请继续参阅图4,图4为本申请一实施例提供的电子设备的结构框图。驱动芯片可以通过串行外设接口(SPI接口)与姿态传感器连接,以获取姿态传感器采集的姿态信息,驱动芯片可以通过通用型输入输出接口(GPIO接口)与图像传感器连接,驱动芯片通过GPIO接口获取图像传感器采集图像信息时生成的同步信号,其中,同步信号可以为图像传感器采集图像信息时生成的同步信号,同步信号可以包括帧同步信号和曝光行同步信号。
例如,图像传感器可以通过逐行曝光的方式采集图像信息,图像传感器可以通过卷帘快门通过逐行曝光的方式采集图像信息,对于采用逐行曝光的方式采集图像信息来说,每帧图像的每一行是依次曝光的,因此在采集每一行图像信息时,电子设备的姿态信息可以是相同也可以是不同的,对于每一行图像信息来说,对应的姿态信息为该行曝光时间段内姿态传感器采集到的姿态信息,其中,由于图像传感器内部存在自主控制的图像帧的时序,帧同步信号可以是指垂直同步脉冲信号(Vertical synchronization,Vsync),图像传感器每获取一次图像帧数据,则生成一次帧同步信号,帧同步信号反映图像传感器当前曝光图像帧的帧号,曝光行同步信号可以是指水平同步脉冲信号(Horizontalsynchronization,Hsync),图像传感器通过逐行曝光的方式采集图像信息,每曝光一行图像帧时,则生成一次曝光行同步信号,曝光行同步信号反映图像传感器当前曝光图像帧的行号。
请继续参阅图5,图5为本申请一实施例提供的图像传感器逐行曝光的示意图。其中,Exposure Time为曝光时间段,SOF为数据读出时间点,Read out Time为数据读出需要的时间段,Hsync表示的是每一行曝光进行一半的时间点生成的行同步信号,Vsync表示的是整帧图像曝光到中间行时曝光进行一半的时间点生成的帧同步信号。
当图像传感器开始逐行曝光采集图像信号时,每生成一次帧同步信号(Vsync)和曝光行同步信号(Hsync)时将帧同步信号和曝光行同步信号发送至驱动芯片,驱动芯片的GPIO接口接收到图像传感器发送帧同步信号时,生成对应的帧中断信号,GPIO接口接收到图像传感器发送的行同步信号时,生成对应的行中断信号,根据行中断信号和帧中断信号对从姿态传感器获取到的姿态信息进行赋值,例如,图像传感器曝光第一帧图像的第一行时,向驱动芯片发送帧同步信号以及曝光行同步信号,驱动芯片的GPIO接口接收到帧同步信号后生成第一帧图像对应的帧中断信号,驱动芯片的GPIO接收到曝光行同步信号后生成第一帧图像第一行对应的行中断信号,根据帧中断信号以及行中断信号对从姿态传感器获取到的第一姿态信息进行赋值,帧中断信号和行中断信号可以反映对应的帧号和行号,以建立帧号、行号以及第一姿态信息之间的映射关系,得到同步后的姿态信息,后续可以通过第一帧图像信息的帧号以及第一行的行号对齐到第一姿态信息。又例如,图像传感器曝光第一帧图像的第二行时,向驱动芯片发送帧同步信号以及曝光行同步信号,驱动芯片的GPIO接口接收到帧同步信号后生成第一帧图像对应的帧中断信号,驱动芯片的GPIO接口接收到曝光行同步信号后生成第一帧图像第二行对应的行中断信号,根据帧中断信号以及行中断信号对从姿态传感器获取到的第二姿态信息进行赋值,帧中断信号和行中断信号可以反映对应的帧号和行号,以建立帧号、行号以及第二姿态信息之间的映射关系,得到同步后的姿态信息,后续可以通过第一帧图像信息的帧号以及第二行的行号对齐到第二姿态信息。
在一些实施例中,由于采样频率的差异,逐行曝光速度较快,一个姿态信息可以对应多行曝光图像信息,例如,在驱动芯片接收从姿态传感器发送的第三姿态信息时,驱动芯片从图像传感器获取到了表示曝光第一帧图像的帧中断信号以及曝光第二十至第三十行的行中断信号,建立第三姿态数据、帧号以及曝光行号的映射关系。接收从姿态传感器发送的第四姿态信息时,驱动芯片接收到了表示曝光第一帧图像的第三十一行至四十行的行中断信号,却没有接收到表示曝光第二帧图像的帧中断信号,建立第四姿态数据、帧号以及曝光行号的映射关系。可以理解的是,帧号和行号可以为驱动芯片内部计数器在接收到帧中断信号和行中断信号后生成的数据标识。数据标识可以为具体的有规律的数值,也可以为其他无规律的数值。需要说明的是,上述同步方式仅仅是示例性的,驱动芯片还可以通过其他硬件同步方式实现姿态信息的同步。
可以理解的是,当驱动芯片获取到姿态信息时,根据行中断信号和帧中断信号对姿态信息进行同步,每一曝光行图像信息对应的姿态信息可以为SOF+Readout_per_line*Line_number–Exposure_time/2的时间点到Readout_per_line*(Line_number+1)–Exposure_time/2的时间点之间的图像信息进行同步,其中,Readout_per_line为每行数据读出需要的时间段,Line_number为行数,其中,Line_number为自然数。在上述两个时间点之间获取到的姿态信息都可以赋予相应的行号,图像传感器可以控制曝光时长和时序,也控制曝光每一行的读出时序,因此可以准确在一行曝光到一半的时候将曝光行同步信号以及整帧图像曝光到中间行时将帧同步信号发送至驱动芯片。驱动芯片根据曝光行同步信号和帧同步信号实现姿态信息的同步。
请结合图5和图6,图6为本申请一实施例提供的图像传感器的帧间时序图。图像传感器采集图像帧(Frame)信息时,快门(Shuttr)开启后生成Hsync和Vsync,其中,曝光至每行中间位置时生成Hsync读出并发送至驱动芯片,在曝光到中间行曝光进行一半的时间点读出(Reaout)并发送至驱动芯片。由于图像传感器每一帧的Vsync驱动芯片都可以接收到,因此可以以相邻两个Vsync之间获取到的姿态信息作为这一帧的姿态信息,并且通过接收到的Hsync表示每一帧各行的姿态信息。Vsync可以标识这一帧的第一个姿态信息,直到识别出曝光至这一帧的最后一行的目标信号(Hsync)标识这一帧最后一个姿态信息。可以通过在接收到每帧最后一行的目标信号停止曝光时关闭驱动芯片对于驱动马达的控制功能,在每帧第一行开始曝光时开启驱动芯片对于驱动马达的控制功能,可以使驱动芯片只在帧图像曝光时序时才进行工作,从而可以降低整体系统的功耗。
请继续参阅图4,在将姿态信息同步后,驱动芯片可以通过SPI接口和图像传感器连接,通过SPI接口将同步后的姿态信息发送至图像传感器,以使图像传感器将图像帧数据与同步后的姿态信息打包形成同步后的信息,图像传感器将同步后的信息发送至应用处理器,其中,图像传感器可以通过移动产业处理器接口(MIPI接口)与应用处理器连接。通过图像处理器接收同步后的姿态信息再与图像帧数据打包发送至应用处理器,不但可以提高姿态信息和图像帧数据时间上的同步的准确性,还可以在整个系统上实现不同数据流的同源获取,进而可以在一个线程中将两种数据进行整合,可以避免通过异步线程获取不同的数据之间的存在的时间差的同步等待处理,降低系统复杂度,提高系统的稳定性。
应用处理器接收到打包后的数据后进行拆分,将图像帧数据发送至图像处理器,图像处理器可以根据算法以及同步后的姿态信息对采集到的图像信息实现电子防抖,例如根据同步后的姿态信息对图像帧数据进行姿态估计、姿态滤波以及图像扭转等处理,以实现电子防抖,应用处理器还可以根据同步后的姿态信息对驱动芯片进行反馈调节,例如,应用处理器根据同步后的姿态信息获取镜头和/或图像传感器的复位信息,将复位信息发送至驱动芯片,驱动芯片根据复位信息对光学防抖后的镜头和/或图像传感器进行复位,以完成光学防抖。
在一些实施例中,为了减少驱动芯片的数据处理量,应用处理器可以包括光学防抖算法,应用处理器可以获取姿态传感器的姿态信息,根据姿态信息以及光学防抖算法计算得到光学补偿数据(如第二补偿数据),将第二补偿数据发送至驱动芯片,驱动芯片根据第二补偿数据使能驱动马达驱动镜头和/或图像传感器运动以移动到目标位置,以实现光学防抖,驱动芯片只需要执行姿态信息的同步、镜头的驱动以及图像传感器的驱动,涉及到光学防抖的算法可以在应用处理器中执行,可以减少驱动芯片的数据处理量。
请继续参阅图7,图7为本申请一实施例提供的驱动芯片的内部设计和外部连线的示意图。驱动芯片可以包括缓冲存储器和寄存器,寄存器与姿态传感器连接,寄存器用于寄存从姿态传感器获取的姿态信息,缓冲存储器分别与寄存器和图像传感器连接,缓冲存储器用于从寄存器获取姿态信息以及从图像传感器获取图像信息的同步信号,以将获取到的姿态信息和图像信息的同步信号进行同步。
其中,缓冲存储器可以为先进先出(First Input First Output,FIFO)寄存器,缓冲存储器可以设置有两个GPIO接口,一个GPIO接口用于接收图像传感器发送的帧同步信号(Vsync)的中断信号,一个GPIO接口用于接收图像传感器发送的曝光行同步信号(Hsync)的中断信号。缓冲存储器还设置有第一SPI接口,第一SPI接口可以包括nSC、SDO、SPC以及SOI引脚,相应的,图像传感器可以包括与驱动芯片nSC引脚连接的nSC引脚、与驱动芯片的SDO引脚连接的SDI引脚、与驱动芯片SPC引脚连接的SPC引脚以及与驱动芯片SOI引脚连接的SDO引脚,通过第一SPI接口将同步后的姿态信息发送至图像传感器。
其中,寄存器设置有第二SPI接口,第二SPI接口可以包括多个引脚,如CS1、CS2……CSn引脚、SDO引脚、SPC引脚以及SOI引脚,姿态传感器可以包括加速度计、陀螺仪、磁力计等,姿态传感器上设置有与寄存器引脚对应的引脚,通过将姿态传感器上的引脚与寄存器上的引脚连接,使得寄存器可以获取姿态传感器采集的姿态信息。
在具体的应用场景中,寄存器通过第二SPI接口持续获取姿态传感器采集的姿态信息,将采集到姿态信息寄存至寄存器中,FIFO存储器读取寄存器中的姿态信息,FIFO存储器接收Vsync的中断信号和Hsync的中断信号,根据Vsync和Hsync的中断信号对读取到的姿态信息赋值,赋值方式可以采取上述的赋值方法,以得到同步后的姿态信息,得到同步后的姿态信息将姿态信息通过第一SPI接口发送至图像传感器,以使图像传感器将姿态信息和图像帧数据进行打包,发送至应用处理器,使应用处理器根据同步后的姿态信息实现电子防抖和/或光学防抖。
驱动芯片与图像传感器通过第一SPI接口连接时,驱动芯片的第一SPI接口处于从模式(slave模式),图像传感器的SPI接口处于主模式(master模式),图像传感器处于主模式的SPI接口用于接收驱动芯片处于从模式的第一SPI接口传输的同步后的姿态信息。
驱动芯片与姿态传感器通过第二SPI接口连接时,驱动芯片的寄存器的第二SPI接口处于主模式(master模式)姿态传感器的SPI接口处于从模式(slave模式),寄存器的处于主模式的第二SPI接口用于接收姿态传感器处于从模式的SPI接口传输的姿态信息,处于主模式的第二SPI接口还可以通过片选信号(CS1、CS2……CSn引脚获取的信号)从多路姿态传感器中读取数据,可以根据实际需求获取姿态传感器的姿态信息,通过驱动芯片主从模式的设计,可以使得驱动芯片与外设之间数据传输具有选择性以及可靠性。
本申请实施例提供一种电子设备,通过驱动芯片实现姿态信息的同步,通过硬件同步的方式,极大地提高了图像帧数据和姿态信息同步的精度和信息处理的一致性,降低了不同设备之间的差异性,还可以降低整体系统功耗。
本申请提供的驱动芯片,对于光学防抖的应用来说,可以根据图像信息的同步信号在图像传感器曝光时控制驱动马达驱动镜头和/或图像传感器运动,实现光学防抖,在图像传感器处于非曝光时间段,停止驱动镜头和/或图像传感器运动,可以降低实现光学防抖时系统的功耗。
对于实现电子防抖的应用来说,通过驱动芯片根据图像信息的同步信号以及获取的姿态信息实现姿态信息的同步,通过硬件的同步方式,相较于通过时间戳将图像信息和姿态信息同步会造成误差的软件同步的方式,可以提高姿态信息与图像信息同步的准确性。进而提高电子防抖根据同步后的姿态信息处理图像帧数据的准确性。
对于光学防抖+电子防抖(即在具备光学防抖功能的模组上进行电子防抖的进一步防抖处理)的应用来说,不但可以降低光学防抖模组的功耗,还可以提高电子防抖数据处理的准确性。
本申请实施例还提供一种信息同步方法,请参阅图8,图8为本申请一实施例提供的信息同步方法的流程示意图,信息同步方法应用于电子设备,电子设备包括驱动芯片、图像传感器以及姿态传感器,信息同步方法包括:
101,通过姿态传感器采集姿态信息。
其中,姿态传感器可以采集电子设备的姿态信息,姿态传感器可以包括霍尔传感器(Hall)、陀螺仪(Gyro)、加速度计(Acc)、磁力计(Magenatic)以及重力计(Gravity)中的一种或多种,当然还可以包括其他类型的姿态传感器,姿态信息可以反映电子设备的运动变化以及位置变化,姿态传感器可以在接收到采集信号后采集姿态信息,例如,在电子设备处于拍摄状态时,向姿态传感器发送采集信号,姿态传感器采集姿态信息。又例如在电子设备处于上电状态时姿态传感器实时采集姿态信息。
102,通过图像传感器采集图像信息。
图像传感器可以利用光电器件的光电转换功能将感光面上的光像转换为与光像成相应比例关系的电信号。图像传感器可以采集图像信息,例如,图像传感器可以通过逐行曝光的方式采集图像信息,通过卷帘快门通过逐行曝光的方式采集图像信息,对于采用逐行曝光的方式采集图像信息来说,每帧图像的每一行是依次曝光的,因此在采集每一行图像信息时,电子设备的姿态信息可以是相同也可以是不同的,对于每一行图像信息来说,对应的姿态信息为该行曝光时间段内姿态传感器采集到的姿态信息。
103,通过驱动芯片获取姿态信息以及图像信息的同步信号。
驱动芯片分别与姿态传感器和图像传感器连接,图像传感器采集图像信息的同时可以生成同步信号,其中,同步信号可以为在采集图像信息时生成的提供时间参考的同步信号,例如,图像传感器通过逐行曝光的方式采集图像信息时可以生成帧同步信号和曝光行同步信号,在生成同步信号时,将同步信号发送至驱动芯片,姿态传感器在采集到姿态信息后将姿态信息发送至驱动芯片,驱动芯片接收姿态传感器发送姿态信息以及图像传感器发送的图像信息的同步信号。
104,将姿态信息和图像信息的同步信号进行同步,得到同步后的姿态信息。
本申请实施例提供的信息同步方法可以通过驱动芯片实现姿态信息的同步,通过硬件同步的方式,相较于通过时间戳的软件同步方式,可以提高姿态信息与图像信息同步的准确性。
本申请实施例还提供一种信息同步方法,请继续参阅图9,图9为本申请一实施例提供的信息同步方法的流程示意图,信息同步方法应用于电子设备,电子设备包括驱动芯片、图像传感器以及姿态传感器,信息同步方法包括:
201,通过姿态传感器采集姿态信息。
其中,姿态传感器可以采集电子设备的姿态信息,姿态传感器可以包括霍尔传感器(Hall)、陀螺仪(Gyro)、加速度计(Acc)、磁力计(Magenatic)以及重力计(Gravity)中的一种或多种,姿态信息可以包括霍尔传感器(Hall)获取的霍尔值、陀螺仪(Gyro)获取的角速度值、加速度计(Acc)获取的加速度值、磁力计(Magenatic)获取的磁力值以及重力计(Gravity)获取的重力值等,当然还可以包括其他类型的姿态传感器,姿态信息可以反映电子设备的运动变化以及位置变化,姿态传感器可以在接收到采集信号后采集姿态信息,例如,在电子设备处于拍摄状态时,向姿态传感器发送采集信号,姿态传感器采集姿态信息。又例如在电子设备处于上电状态时姿态传感器实时采集姿态信息。
202,通过图像传感器采集图像信息。
图像传感器可以利用光电器件的光电转换功能将感光面上的光像转换为与光像成相应比例关系的电信号。图像传感器可以采集图像信息,例如,图像传感器可以通过逐行曝光的方式采集图像信息,通过卷帘快门通过逐行曝光的方式采集图像信息,对于采用逐行曝光的方式采集图像信息来说,每帧图像的每一行是依次曝光的,因此在采集每一行图像信息时,电子设备的姿态信息可以是相同也可以是不同的,对于每一行图像信息来说,对应的姿态信息为该行曝光时间段内姿态传感器采集到的姿态信息。
203,通过驱动芯片获取姿态信息以及图像信息的同步信号,图像信息的同步信号包括帧同步信号和曝光行同步信号。
其中,由于图像传感器内部存在自主控制的图像帧的时序,帧同步信号可以是指垂直同步脉冲信号(Vertical synchronization,Vsync),图像传感器每获取一次图像帧数据,则生成一次帧同步信号,帧同步信号反映图像传感器当前曝光图像帧的帧号,曝光行同步信号可以是指水平同步脉冲信号(Horizontal synchronization,Hsync),图像传感器通过逐行曝光的方式采集图像信息,每曝光一行图像帧时,则生成一次曝光行同步信号,曝光行同步信号反映图像传感器当前曝光图像帧的行号。
当图像传感器开始逐行曝光采集图像信号时,每生成一次帧同步信号(Vsync)和曝光行同步信号(Hsync)时将帧同步信号和曝光行同步信号发送至驱动芯片。驱动芯片接收帧同步信号和曝光行同步信号。
204,驱动芯片在获取到所述姿态信息时,根据帧同步信号以及曝光行同步信号对获取到的姿态信息进行赋值。
例如,图像传感器当前曝光第一帧图像时生成反映帧号的帧同步信号,曝光至第一帧图像的第一行时将生成反映曝光行号的曝光行同步信号,将生成的帧同步信号和曝光行同步信号发送至驱动芯片,同时,驱动芯片接收姿态传感器发送的第一姿态信息,在驱动芯片接收到第一帧图像的帧同步信号以及曝光第一行图像数据生成的曝光行同步信号后,根据帧同步信号以及曝光行同步信号将第一帧图像的帧号以及第一行的行号赋值给第一姿态信息,建立帧号、行号以及第一姿态信息之间的映射关系,得到同步后的第一姿态信息,后续可以通过第一帧的帧号以及第一行的行号对齐到第一姿态信息。通过相同的方式曝光至第二行时获取到的姿态信息为第二姿态信息,将第一帧图像的帧号和第二行的行号赋值给第二姿态信息,建立帧号、行号以及第二姿态信息之间的映射关系,得到同步后的第二姿态信息,后续可以通过第一帧的帧号以及第二行的行号对齐到第二姿态信息。
在一些实施例中,由于采样频率的差异,逐行曝光速度较快,一个姿态信息可以对应多行曝光图像信息。
可以理解的是帧号和行号可以为图像传感器内部赋值器或计数器在接收到相应的帧同步信号和行同步信号生成的数据标识。数据标识可以为具体的有规律的数值,也可以为其他无规律的数值。
在一些实施例中,根据帧同步信号以及曝光行同步信号对获取到的姿态信息进行赋值可以包括:
根据帧同步信号得到帧中断信号;
根据曝光行同步信号得到行中断信号;
根据帧中断信号和所述行中断信号对获取到的姿态信息进行赋值。
其中,驱动芯片的GPIO接口接收到图像传感器发送帧同步信号时,生成对应的帧中断信号,GPIO接口接收到图像传感器发送的行同步信号时,生成对应的行中断信号,根据行中断信号和帧中断信号对从姿态传感器获取到的姿态信息进行赋值,例如,驱动芯片曝光第一帧图像的第一行时,向驱动芯片发送帧同步信号以及曝光行同步信号,驱动芯片的GPIO接口接收到帧同步信号后生成第一帧图像对应的帧中断信号,驱动芯片的GPIO接收到曝光行同步信号后生成第一帧图像第一行对应的行中断信号,根据帧中断信号以及行中断信号对从姿态传感器获取到的第一姿态信息进行赋值,帧中断信号和行中断信号可以反映对应的帧号和行号,以建立帧号、行号以及第一姿态信息之间的映射关系,得到同步后的姿态信息,后续可以通过第一帧图像信息的帧号以及第一行的行号对齐到第一姿态信息。又例如,驱动芯片曝光第一帧图像的第二行时,向驱动芯片发送帧同步信号以及曝光行同步信号,驱动芯片的GPIO接口接收到帧同步信号后生成第一帧图像对应的帧中断信号,驱动芯片的GPIO接口接收到曝光行同步信号后生成第一帧图像第二行对应的行中断信号,根据帧中断信号以及行中断信号对从姿态传感器获取到的第二姿态信息进行赋值,帧中断信号和行中断信号可以反映对应的帧号和行号,以建立帧号、行号以及第二姿态信息之间的映射关系,得到同步后的姿态信息,后续可以通过第一帧图像信息的帧号以及第二行的行号对齐到第二姿态信息。
在一些实施例中,由于采样频率的差异,逐行曝光速度较快,一个姿态信息可以对应多行曝光图像信息,例如,在驱动芯片接收从姿态传感器发送的第三姿态信息时,驱动芯片从图像传感器获取到了表示曝光第一帧图像的帧中断信号以及曝光第二十至第三十行的行中断信号,建立第三姿态数据、帧号以及曝光行号的映射关系。接收从姿态传感器发送的第四姿态信息时,驱动芯片接收到了表示曝光第一帧图像的第三十一行至四十行的行中断信号,却没有接收到表示曝光第二帧图像的帧中断信号,建立第四姿态数据、帧号以及曝光行号的映射关系。可以理解的是,帧号和行号可以为驱动芯片内部计数器在接收到帧中断信号和行中断信号后生成的数据标识。数据标识可以为具体的有规律的数值,也可以为其他无规律的数值。需要说明的是,上述同步方式仅仅是示例性的,驱动芯片还可以通过其他硬件同步方式实现姿态信息的同步。
在一些实施例中,驱动芯片包括缓冲存储器和寄存器,通过所述驱动芯片获取所述姿态信息以及图像信息的同步信号包括:
通过寄存器获取姿态信息;
通过缓冲存储器获取图像信息的同步信号;
寄存器在获取到姿态信息时将姿态信息缓冲至缓冲存储器;
在缓冲存储器缓冲到姿态信息时,将接收到的图像信息的同步信号与缓冲到的姿态信息同步。
其中,将接收到的图像信息的同步信号与缓冲到的姿态信息同步可以通过所述的同步方式实现。
206,将同步后的姿态信息发送至所述图像传感器。
207,图像传感器将同步后的姿态信息发送至所述应用处理器。
208,应用处理器根据同步后的姿态信息实现电子防抖和/或光学防抖。
关于步骤206~208:
图像传感器和驱动芯片可以通过SPI接口连接,驱动芯片用于通过SPI接口将同步后的姿态信息发送至图像传感器,以使图像传感器将图像帧数据与同步后的姿态信息打包形成同步后的信息,图像传感器将同步后的信息发送至应用处理器,其中,图像传感器可以通过移动产业处理器接口(MIPI接口)与应用处理器连接。通过图像处理器接收同步后的姿态信息再与图像帧数据打包发送至应用处理器,不但可以提高姿态信息和图像帧数据时间上的同步的准确性,还可以在整个系统上实现不同数据流的同源获取,进而可以在一个线程中将两种数据进行整合,可以避免通过异步线程获取不同的数据之间的存在的时间差的同步等待处理,降低系统复杂度,提高系统的稳定性。
应用处理器接收到打包后的数据后进行拆分,将图像帧数据发送至图像处理器,图像处理器可以根据算法以及同步后的姿态信息对采集到的图像信息实现电子防抖,例如根据同步后的姿态信息对图像帧数据进行姿态估计、姿态滤波以及图像扭转等处理,以实现电子防抖,应用处理器还可以根据同步后的姿态信息对驱动芯片进行反馈调节,例如,应用处理器根据同步后的姿态信息获取镜头和/或图像传感器的复位信息,将复位信息发送至驱动芯片,驱动芯片根据复位信息对光学防抖后的镜头和/或图像传感器进行复位,以完成光学防抖。
在电子设备实现光学防抖的场景中,电子设备还包括驱动马达和镜头,信息同步方法还包括:
通过驱动芯片根据获取到的姿态信息计算得到第一补偿数据,通过驱动马达根据所述第一补偿数据驱动所述镜头和/或所述图像传感器运动以实现光学防抖;或
通过驱动芯片接收第二补偿数据,通过驱动马达根据第二补偿数据驱动镜头和/或图像传感器运动以实现光学防抖。
其中,驱动芯片可以集成有光学防抖算法,在接收到姿态信息后根据光学防抖算法计算得到第一补偿数据,驱动芯片将第一补偿数据发送至驱动马达,使能驱动马达驱动镜头和/或图像传感器运动,驱动芯片实现光学防抖的逻辑可以如下:
驱动芯片读取姿态传感器(Gyro、Acc、Mag和/或Gravity)的姿态信息后,对读取到的姿态信息进行滤波操作,得到滤波后的姿态信息,将滤波后的姿态信息进行积分和增益操作,用于计算出电子设备的抖动量,驱动芯片通过霍尔传感器(Hall)获取当前镜头和/或图像传感器的位置信息,获取的是镜头位置信息还是图像传感器的位置信息,还是镜头位置信息和图像传感器的位置,与霍尔传感器的数量以及位置有关。驱动芯片根据电子设备的抖动量以及镜头和/或图像传感器当前的位置信息计算得到镜头和/或图像传感器的光学补偿数据(如第一补偿数据),根据光学补偿数据向驱动马达发送驱动信号,来使能驱动马达驱动镜头和/或图像传感器运动以移动到目标位置,以实现光学防抖。其中,通过驱动芯片实现光学防抖是一个实时高频的反馈控制过程,可以通过PID(Proportion IntegralDifferential)控制来使驱动马达稳定的驱动镜头和/或图像传感器到目标位置。
又或者,还可以将一些实现光学防抖算法集成在应用处理器,应用处理器可以获取姿态传感器的姿态信息,根据姿态信息以及光学防抖算法计算得到光学补偿数据(如第二补偿数据),应用处理器将第二补偿数据发送至驱动芯片,驱动芯片根据光学补偿数据向驱动马达发送驱动信号,来使能驱动马达驱动镜头和/或图像传感器运动以移动到目标位置,以实现光学防抖,涉及到光学防抖的算法均可以在应用处理器中执行,可以减少驱动芯片的数据处理量。
相关的光学防抖技术中,驱动芯片只需要根据电子设备当前的抖动情况持续实时调整镜头和/或图像传感器的位置,然而,影响图像成像效果的因素只是图像传感器在曝光的那个时间电子设备的抖动,对于其他非曝光时间内的抖动由于图像传感器没有成像,因此没有影响。相关光学防抖技术中需要持续地对镜头和/或图像传感器进行调整,造成电子设备不必要的开销。
基于此,为了减少电子设备不必要的开销,降低电子设备的功耗,驱动芯片可以通过将姿态信息和采集图像信息的同步信号进行同步,根据同步后的姿态信息动态控制驱动马达,从而避免在图像传感器非曝光时间的开销,降低电子设备的功耗。例如,驱动芯片从图像信息的同步信号中确定出目标信号;根据目标信号控制驱动马达停止驱动所述镜头和/或所述图像传感器运动。具体的,驱动芯片在接收到每帧最后一行的行同步信号(目标信号)停止曝光时关闭驱动芯片对于驱动马达的控制功能,在接收到每帧第一行开始曝光的行同步信号时开启驱动芯片对于驱动马达的控制功能,可以使驱动芯片只在帧图像曝光时序时才进行工作,从而可以降低整体系统的功耗。
本申请一实施例提供的信息同步方法,对于光学防抖的应用来说,可以根据图像信息的同步信号在图像传感器曝光时控制驱动马达驱动镜头和/或图像传感器运动,实现光学防抖,在图像传感器处于非曝光时间段,停止驱动镜头和/或图像传感器运动,可以降低实现光学防抖时系统的功耗。对于实现电子防抖的应用来说,通过驱动芯片根据图像信息的同步信号以及获取的姿态信息实现姿态信息的同步,通过硬件的同步方式,相较于通过时间戳将图像信息和姿态信息同步会造成误差的软件同步的方式,可以提高姿态信息与图像信息同步的准确性。进而提高电子防抖根据同步后的姿态信息处理图像帧数据的准确性。对于光学防抖+电子防抖(即在具备光学防抖功能的模组上进行电子防抖的进一步防抖处理)的应用来说,不但可以降低光学防抖模组的功耗,还可以提高电子防抖数据处理的准确。
请继续参阅图10,图10为本申请一实施例提供的电子设备的结构框图,本申请提供的电子设备还可以包括:显示屏140、射频电路150、音频电路160、输入单元170以及电源180。本领域技术人员可以理解,图10中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
显示屏140可用于显示图形用户界面以及接收用户作用于图形用户界面产生的操作指令。显示屏140可以包括显示面板和触控面板。其中,显示面板可用于显示由用户输入的信息或提供给用户的信息以及计算机设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。可选的,可以采用液晶显示器(LCD,LiquidCrystal Display)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。触控面板可用于收集用户在其上或附近的触摸操作,并生成相应的操作指令,且操作指令执行对应程序。
射频电路150可用于收发射频信号,以通过无线通信与网络设备或其他计算机设备建立无线通讯,与网络设备或其他计算机设备之间收发信号。
音频电路160可以用于通过扬声器、传声器提供用户与计算机设备之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路160接收后转换为音频数据,再将音频数据输出处理后,经射频电路150以发送给比如另一计算机设备。音频电路160还可能包括耳塞插孔,以提供外设耳机与计算机设备的通信。
输入单元170可用于接收输入的数字、字符信息或用户特征信息(例如指纹、虹膜、面部信息等),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
电源180用于给计算机设备400的各个部件供电。可选的,电源180可以通过电源管理系统与各个电子元件逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源180还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管图10中未示出,计算机设备400还可以包括传感器、无线保真模块、蓝牙模块等,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
本申请实施例还提供一种计算机可读的存储介质,其中存储有计算机程序,该计算机程序能够被处理器进行加载,以执行本申请实施例所提供的任一种信息同步方法中的步骤。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读的存储介质中所存储的计算机程序,可以执行本申请实施例所提供的任一种信息同步方法中的步骤,因此,可以实现本申请实施例所提供的任一种信息同步方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例提供的信息同步方法、电子设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请。同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (19)
1.一种电子设备,其特征在于,所述电子设备包括:
姿态传感器,用于采集姿态信息;
图像传感器,用于采集图像信息;
驱动芯片,分别与所述姿态传感器和所述图像传感器连接,所述驱动芯片用于获取所述姿态信息以及所述图像信息的同步信号,并将所述姿态信息和所述图像信息的同步信号进行同步,以得到同步后的姿态信息。
2.根据权利要求1所述的电子设备,其特征在于,所述驱动芯片包括缓冲存储器和寄存器,所述寄存器与所述姿态传感器连接,所述寄存器用于寄存从所述姿态传感器获取的姿态信息,所述缓冲存储器分别与所述寄存器和所述图像传感器连接,所述缓冲存储器用于从所述寄存器获取所述姿态信息以及从所述图像传感器获取所述图像信息的同步信号,以将获取到的所述姿态信息和所述图像信息的同步信号进行同步。
3.根据权利要求2所述的电子设备,其特征在于,所述缓冲存储器通过GPIO接口与所述图像传感器连接,用于获取所述图像信息的同步信号。
4.根据权利要求3所述的电子设备,其特征在于,所述缓冲存储器还通过第一SPI接口与所述图像传感器连接,用于将所述同步后的姿态信息发送至所述图像传感器。
5.根据权利要求2所述的电子设备,其特征在于,所述寄存器通过第二SPI接口与所述姿态传感器连接,用于获取所述姿态信息。
6.根据权利要求1所述的电子设备,其特征在于,所述图像信息的同步信号包括帧同步信号和曝光行同步信号,所述图像传感器用于将所述帧同步信号和曝光行同步信号发送至所述驱动芯片,所述驱动芯片用于在获取到所述姿态信息时,根据所述帧同步信号以及所述曝光行同步信号对获取到的姿态信息进行赋值。
7.根据权利要求6所述的电子设备,其特征在于,所述驱动芯片用于根据所述帧同步信号得到帧中断信号,根据所述曝光行同步信号得到行中断信号,根据所述帧中断信号和所述行中断信号对获取到的姿态信息赋值。
8.根据权利要求1-7任一项所述的电子设备,其特征在于,所述电子设备还包括驱动马达和镜头,所述驱动芯片与所述驱动马达连接;
所述驱动芯片还用于根据获取的姿态信息计算得到第一补偿数据,所述驱动马达用于根据所述第一补偿数据驱动所述镜头和/或所述图像传感器运动以实现光学防抖;或
所述驱动芯片还用于接收第二补偿数据,所述驱动马达用于根据所述第二补偿数据驱动所述镜头和/或所述图像传感器运动以实现光学防抖。
9.根据权利要求8所述的电子设备,其特征在于,所述驱动芯片还用于从所述图像信息的同步信号中确定出目标信号,所述驱动芯片根据所述目标信号关闭所述驱动马达的控制功能。
10.根据权利要求1-7任一项所述的电子设备,其特征在于,所述电子设备还包括应用处理器,所述应用处理器用于获取所述同步后的姿态信息,以根据所述同步后的姿态信息实现电子防抖和/或光学防抖。
11.根据权利要求1-7任一项所述的电子设备,其特征在于,所述姿态传感器包括加速度计、霍尔传感器、陀螺仪、磁力计以及重力计中的一种或多种。
12.一种信息同步方法,其特征在于,应用于电子设备,所述电子设备包括驱动芯片、图像传感器以及姿态传感器,所述信息同步方法包括:
通过所述姿态传感器采集姿态信息;
通过图像传感器采集图像信息;
通过所述驱动芯片获取所述姿态信息以及所述图像信息的同步信号;
将所述姿态信息和所述图像信息的同步信号进行同步,得到同步后的姿态信息。
13.根据权利要求12所述的信息同步方法,其特征在于,所述驱动芯片包括缓冲存储器和寄存器,所述通过所述驱动芯片获取所述姿态信息以及所述图像信息的同步信号包括:
通过所述寄存器获取所述姿态信息;
通过所述缓冲存储器获取所述图像信息的同步信号;
所述寄存器在获取到所述姿态信息时将所述姿态信息缓冲至所述缓冲存储器;
在所述缓冲存储器缓冲到所述姿态信息时,将接收到的所述图像信息的同步信号与缓冲到的姿态信息同步。
14.根据权利要求12所述的信息同步方法,其特征在于,所述图像信息的同步信号包括帧同步信号和曝光行同步信号,所述将所述姿态信息和所述图像信息的同步信号进行同步包括:
所述驱动芯片在获取到所述姿态信息时,根据所述帧同步信号以及所述曝光行同步信号对获取到的姿态信息进行赋值。
15.根据权利要求14所述的信息同步方法,其特征在于,所述根据所述帧同步信号以及所述曝光行同步信号对获取到的姿态信息进行赋值包括:
根据所述帧同步信号得到帧中断信号;
根据所述曝光行同步信号得到行中断信号;
根据所述帧中断信号和所述行中断信号对获取到的姿态信息进行赋值。
16.根据权利要求12至15任一项所述的信息同步方法,其特征在于,所述电子设备还包括驱动马达和镜头,所述信息同步方法还包括:
通过所述驱动芯片根据获取到的姿态信息计算得到第一补偿数据,通过所述驱动马达根据所述第一补偿数据驱动所述镜头和/或所述图像传感器运动以实现光学防抖;或
通过所述驱动芯片接收第二补偿数据,通过所述驱动马达根据所述第二补偿数据驱动所述镜头和/或所述图像传感器运动以实现光学防抖。
17.根据权利要求16所述的信息同步方法,其特征在于,所述方法还包括:
所述驱动芯片从所述图像信息的同步信号中确定出目标信号;
根据所述目标信号控制所述驱动马达停止驱动所述镜头和/或所述图像传感器。
18.根据权利要求12至15任一项所述的信息同步方法,其特征在于,所述电子设备还包括应用处理器,在所述得到同步后的姿态信息之后,所述信息同步方法还包括:
将所述同步后的姿态信息发送至所述图像传感器;
所述图像传感器将所述同步后的姿态信息发送至所述应用处理器;
所述应用处理器根据所述同步后的姿态信息实现电子防抖和/或光学防抖。
19.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求12至18任一项所述的信息同步方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110866304.6A CN113489880B (zh) | 2021-07-29 | 2021-07-29 | 电子设备、信息同步方法和计算机可读存储介质 |
PCT/CN2022/096942 WO2023005424A1 (zh) | 2021-07-29 | 2022-06-02 | 电子设备、信息同步方法和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110866304.6A CN113489880B (zh) | 2021-07-29 | 2021-07-29 | 电子设备、信息同步方法和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113489880A true CN113489880A (zh) | 2021-10-08 |
CN113489880B CN113489880B (zh) | 2024-05-28 |
Family
ID=77944499
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110866304.6A Active CN113489880B (zh) | 2021-07-29 | 2021-07-29 | 电子设备、信息同步方法和计算机可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113489880B (zh) |
WO (1) | WO2023005424A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023005424A1 (zh) * | 2021-07-29 | 2023-02-02 | Oppo广东移动通信有限公司 | 电子设备、信息同步方法和计算机可读存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150185054A1 (en) * | 2013-12-30 | 2015-07-02 | Motorola Mobility Llc | Methods and Systems for Synchronizing Data Received from Multiple Sensors of a Device |
CN108353131A (zh) * | 2016-10-17 | 2018-07-31 | 华为技术有限公司 | 获取图像的方法和终端设备 |
WO2018228352A1 (zh) * | 2017-06-12 | 2018-12-20 | 深圳市瑞立视多媒体科技有限公司 | 一种同步曝光方法、装置及终端设备 |
CN208836277U (zh) * | 2018-12-03 | 2019-05-07 | 重庆哆来目科技有限公司 | 一种带精确防抖功能的fpd-link iii摄像头 |
CN109922260A (zh) * | 2019-03-04 | 2019-06-21 | 中国科学院上海微系统与信息技术研究所 | 图像和惯性传感器的数据同步方法和同步装置 |
CN109951638A (zh) * | 2019-03-26 | 2019-06-28 | Oppo广东移动通信有限公司 | 摄像头防抖系统、方法、电子设备和计算机可读存储介质 |
CN110430365A (zh) * | 2019-08-26 | 2019-11-08 | Oppo广东移动通信有限公司 | 防抖方法、装置、计算机设备和存储介质 |
CN110858873A (zh) * | 2018-08-23 | 2020-03-03 | 北京小米移动软件有限公司 | 电子设备和拍摄方法 |
CN111246088A (zh) * | 2020-01-13 | 2020-06-05 | Oppo广东移动通信有限公司 | 防抖方法、电子设备和计算机可读存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7163912B2 (ja) * | 2017-05-18 | 2022-11-01 | ソニーグループ株式会社 | 撮像装置、撮像方法 |
KR102581210B1 (ko) * | 2019-01-10 | 2023-09-22 | 에스케이하이닉스 주식회사 | 이미지 신호 처리 방법, 이미지 신호 프로세서 및 이미지 센서 칩 |
CN109951639A (zh) * | 2019-03-26 | 2019-06-28 | Oppo广东移动通信有限公司 | 摄像头防抖系统、方法、电子设备和计算机可读存储介质 |
CN113489880B (zh) * | 2021-07-29 | 2024-05-28 | Oppo广东移动通信有限公司 | 电子设备、信息同步方法和计算机可读存储介质 |
-
2021
- 2021-07-29 CN CN202110866304.6A patent/CN113489880B/zh active Active
-
2022
- 2022-06-02 WO PCT/CN2022/096942 patent/WO2023005424A1/zh active Application Filing
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150185054A1 (en) * | 2013-12-30 | 2015-07-02 | Motorola Mobility Llc | Methods and Systems for Synchronizing Data Received from Multiple Sensors of a Device |
CN108353131A (zh) * | 2016-10-17 | 2018-07-31 | 华为技术有限公司 | 获取图像的方法和终端设备 |
US20190260934A1 (en) * | 2016-10-17 | 2019-08-22 | Huawei Technologies Co., Ltd. | Image Obtaining Method and Terminal Device |
WO2018228352A1 (zh) * | 2017-06-12 | 2018-12-20 | 深圳市瑞立视多媒体科技有限公司 | 一种同步曝光方法、装置及终端设备 |
CN110858873A (zh) * | 2018-08-23 | 2020-03-03 | 北京小米移动软件有限公司 | 电子设备和拍摄方法 |
CN208836277U (zh) * | 2018-12-03 | 2019-05-07 | 重庆哆来目科技有限公司 | 一种带精确防抖功能的fpd-link iii摄像头 |
CN109922260A (zh) * | 2019-03-04 | 2019-06-21 | 中国科学院上海微系统与信息技术研究所 | 图像和惯性传感器的数据同步方法和同步装置 |
CN109951638A (zh) * | 2019-03-26 | 2019-06-28 | Oppo广东移动通信有限公司 | 摄像头防抖系统、方法、电子设备和计算机可读存储介质 |
CN110430365A (zh) * | 2019-08-26 | 2019-11-08 | Oppo广东移动通信有限公司 | 防抖方法、装置、计算机设备和存储介质 |
CN111246088A (zh) * | 2020-01-13 | 2020-06-05 | Oppo广东移动通信有限公司 | 防抖方法、电子设备和计算机可读存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023005424A1 (zh) * | 2021-07-29 | 2023-02-02 | Oppo广东移动通信有限公司 | 电子设备、信息同步方法和计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113489880B (zh) | 2024-05-28 |
WO2023005424A1 (zh) | 2023-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107018357B (zh) | 关于图像形成的动态视觉传感器的事件采样的方法和设备 | |
CN111090687B (zh) | 数据处理方法及装置、系统、计算机可读存储介质 | |
WO2020029974A1 (zh) | 数据传输方法、芯片、控制器及显示装置 | |
WO2020192209A1 (zh) | 一种基于Dual Camera+TOF的大光圈虚化方法 | |
CN111092809B (zh) | 实时推送信息的方法、装置、计算机设备及存储介质 | |
CN109166150B (zh) | 获取位姿的方法、装置存储介质 | |
JP7182020B2 (ja) | 情報処理方法、装置、電子機器、記憶媒体およびプログラム | |
CN109951398B (zh) | 数据发送方法、装置及计算机设备 | |
WO2020259544A1 (zh) | 一种确定校准参数的方法及电子设备 | |
WO2022142403A1 (zh) | Vr系统及其定位追踪方法 | |
CN111127509A (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
WO2018076354A1 (zh) | 图像数据的帧同步方法、图像信号处理装置及终端 | |
CN111724412A (zh) | 确定运动轨迹的方法、装置及计算机存储介质 | |
CN109451248B (zh) | 视频数据的处理方法、装置、终端及存储介质 | |
CN116055857A (zh) | 拍照方法及电子设备 | |
CN114666455A (zh) | 拍摄控制方法、装置、存储介质及电子装置 | |
CN113489880B (zh) | 电子设备、信息同步方法和计算机可读存储介质 | |
CN114339294A (zh) | 网络抖动的确认方法、装置、设备及存储介质 | |
WO2017005070A1 (zh) | 显示控制方法及装置 | |
CN110601921B (zh) | 数据包传输参数的检测方法及装置、数据包传输系统 | |
CN113489878B (zh) | 电子设备、信息同步方法和计算机可读存储介质 | |
US20230328306A1 (en) | Wireless projection method, source end device, and destination end device | |
CN111312207B (zh) | 文本转音频方法、装置、计算机设备及存储介质 | |
CN113781548A (zh) | 多设备的位姿测量方法、电子设备及系统 | |
CN113489879A (zh) | 信息同步方法、电子设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |