CN113596285B - 摄像模组、电子设备和3d图像的生成方法 - Google Patents

摄像模组、电子设备和3d图像的生成方法 Download PDF

Info

Publication number
CN113596285B
CN113596285B CN202010367880.1A CN202010367880A CN113596285B CN 113596285 B CN113596285 B CN 113596285B CN 202010367880 A CN202010367880 A CN 202010367880A CN 113596285 B CN113596285 B CN 113596285B
Authority
CN
China
Prior art keywords
image
lens
displacement
micro
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010367880.1A
Other languages
English (en)
Other versions
CN113596285A (zh
Inventor
李慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202010367880.1A priority Critical patent/CN113596285B/zh
Publication of CN113596285A publication Critical patent/CN113596285A/zh
Application granted granted Critical
Publication of CN113596285B publication Critical patent/CN113596285B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本公开提供了一种摄像模组、电子设备和3D图像的生成方法。摄像模组应用于电子设备，摄像模组包括：镜头、设于镜头的光线射出一侧的微成像结构、设于微成像结构的光线射出一侧的图像传感器以及驱动件，驱动件用于驱动镜头、微成像结构和图像传感器中的至少一者沿第一方向由第一位置移动至第二位置，第一方向与光轴垂直，第一位移和第二位移之和的绝对值为图像传感单元的尺寸的非整数倍，第一位移为微成像结构相对于镜头的光轴的位移，第二位移为图像传感器相对于镜头的光轴的位移。通过该摄像模组可拍摄高分辨率的3D图像。

Description

摄像模组、电子设备和3D图像的生成方法
技术领域
本公开涉及电子设备技术领域，尤其涉及一种摄像模组、电子设备和3D图像的生成方法。
背景技术
随着AR、VR等技术的发展，3D成像技术被应用于电子设备，且备受人们的青睐。举例而言，光场摄像模组可应用于电子设备中，并能够拍摄目标对象的3D图像。光场摄像模组包括沿光线传播方向顺次设置的镜头、微成像结构及图像传感器。其中，微成像结构的微透镜数量小于图像传感器的图像传感单元的数量，这使得该摄像模组的分辨率较低，不利于拍摄高分辨率的3D图像。
发明内容
本公开提供了一种改进的摄像模组、电子设备和3D图像的生成方法，能够解决难以通过光场成像得到高分辨率的3D图像的问题。
本公开的一个方面提供一种摄像模组，应用于电子设备，所述摄像模组包括：
镜头；
微成像结构，设于所述镜头的光线射出一侧；
图像传感器，设于所述微成像结构的光线射出一侧，用于接收由微成像结构射出的光线，所述图像传感器包括多个图像传感单元；及
驱动件，用于驱动所述镜头、所述微成像结构和所述图像传感器中的至少一者沿第一方向由第一位置移动至第二位置，所述第一方向与所述光轴垂直，第一位移和第二位移之和的绝对值为所述图像传感单元的尺寸的非整数倍，所述第一位移为所述微成像结构相对于所述镜头的光轴的位移，所述第二位移为所述图像传感器相对于所述镜头的光轴的位移。
可选地，所述第一位移与所述第二位移之和的绝对值小于所述图像传感单元的尺寸。
可选地，所述第一位移与所述第二位移之和的绝对值为所述图像传感单元的尺寸的1/2。
可选地，所述第一方向包括以下至少一种：所述图像传感单元的宽度方向、所述图像传感单元的长度方向以及与所述图像传感单元的宽度方向呈预设夹角的方向。
可选地，所述驱动件包括磁吸控制组件和马达中的至少一种。
可选地，所述驱动件为马达，所述马达与所述镜头连接，用于驱动所述镜头移动；
所述摄像模组还包括外壳，所述外壳形成有第一安装腔；
所述马达形成有第二安装腔，所述马达固定于所述第一安装腔，所述镜头设于所述第二安装腔，所述马达用于驱动所述镜头在所述第二安装腔内移动。
本公开的另一个方面提供一种电子设备，所述电子设备包括：控制模块以及上述提及的任一种所述的摄像模组，所述控制模块与所述摄像模组的图像传感器连接；所述控制模块被配置为：
获取镜头、微成像结构和图像传感器中的至少一者在第一位置时，所述摄像模组拍摄目标对象所得到的第一3D图像；
控制驱动件驱动所述镜头、所述微成像结构和所述图像传感器中的至少一者沿第一方向由所述第一位置移动至第二位置，所述第一方向与所述光轴垂直，第一位移和第二位移之和的绝对值为所述图像传感单元的尺寸的非整数倍，所述第一位移为所述微成像结构相对于所述镜头的光轴的位移，所述第二位移为所述图像传感器相对于所述镜头的光轴的位移；
获取所述镜头、所述微成像结构和所述图像传感器中的至少一者在所述第二位置时，所述摄像模组拍摄所述目标对象所得到的第二3D图像；
根据图像超分辨率重构方法将所述第一3D图像和所述第二3D图像重构生成所述目标对象的目标3D图像。
本公开的另一个方面提供一种3D图像的生成方法，所述方法用于电子设备，所述电子设备包括摄像模组，所述摄像模组包括：镜头、设于所述镜头的光线射出一侧的微成像结构、设于所述微成像结构的光线射出一侧的图像传感器以及驱动件，所述图像传感器包括多个图像传感单元；所述方法包括：
获取所述镜头、所述微成像结构和所述图像传感器中的至少一者在第一位置时，所述摄像模组拍摄目标对象所得到的第一3D图像；
控制所述驱动件驱动所述镜头、所述微成像结构和所述图像传感器中的至少一者沿第一方向由所述第一位置移动至第二位置，所述第一方向与所述光轴垂直，第一位移和第二位移之和的绝对值为所述图像传感单元的尺寸的非整数倍，所述第一位移为所述微成像结构相对于所述镜头的光轴的位移，所述第二位移为所述图像传感器相对于所述镜头的光轴的位移；
获取所述镜头、所述微成像结构和所述图像传感器中的至少一者在所述第二位置时，所述摄像模组拍摄所述目标对象所得到的第二3D图像；
根据图像超分辨率重构方法将所述第一3D图像和所述第二3D图像重构生成所述目标对象的目标3D图像。
可选地，所述控制驱动件驱动镜头、所述微成像结构和所述图像传感器中的至少一者沿第一方向由所述第一位置移动至第二位置，包括：
控制所述驱动件驱动所述镜头沿所述第一方向由所述第一位置移动至所述第二位置，所述第一方向包括以下至少一种：所述图像传感单元的宽度方向、所述图像传感单元的长度方向以及与所述图像传感单元的宽度方向呈预设夹角的方向。
可选地，所述方法还包括：
控制所述驱动件驱动所述镜头、所述微成像结构和所述图像传感器中的至少一者由所述第二位置移动至预设位置。
本公开的另一个方面提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述提及的任一种所述的方法。
本公开实施例提供的技术方案至少具有以下有益效果：
在摄像模组使用中，通过驱动件驱动镜头、微成像结构和图像传感器中的至少一者沿第一方向由第一位置移动至第二位置，使得第一位移和第二位移之和的绝对值为图像传感单元的尺寸的非整数倍，并控制摄像模组分别在第一位置拍摄的第一3D图像，在第二位置拍摄的第二3D图像，这样，摄像模组拍摄获得的第一3D图像和第二3D图像之间具有亚像素位移，利于后续可以通过低分辨率的第一3D图像和第二3D图像以图像超分辨率重构方法重构为高分辨率的目标3D图像。这相较于镜头不能移动的摄像模组而言，克服了不能利用光场成像得到高分辨率的3D图像的问题。
附图说明
图1所示为本公开根据一示例性实施例示出的电子设备的结构示意图；
图2所示为图1中摄像模组的俯视图；
图3所示为图2中摄像模组沿A-A线的剖视图；
图4所示为图1中摄像模组的镜头、微成像结构及图像传感器的布设示意图；
图5所示为图1中摄像模组的局部结构的俯视图；
图6所示为本公开根据一示例性实施例示出的镜头与驱动件的相对位置示意图；
图7所示为本公开根据一示例性实施例示出的3D图像的生成方法的框图；
图8所示为本公开根据一示例性实施例示出的3D图像的生成装置的框图；
图9所示为本公开根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本公开相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。除非另作定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开说明书以及权利要求书中使用的“第一”“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。除非另行指出，“包括”或者“包含”等类似词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的元件或者物件及其等同，并不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而且可以包括电性的连接，不管是直接的还是间接的。
在本公开说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
一些实施例中，摄像模组包括：镜头、设于镜头的光线射出一侧的微成像结构以及设于微成像结构的光线射出一侧的图像传感器。其中，微成像结构包括n*n个微透镜。图像传感器包括N*N个图像传感单元。每个微透镜覆盖多个图像传感单元。这样，该摄像模组的分辨率为微透镜的数目n*n＜N*N，分辨率较低，通过该摄像模组拍摄的3D图像的分辨率低。
为了解决上述问题，本公开实施例提供了一种摄像模组、电子设备和3D图像的生成方法，以下结合附图进行详细阐述：
图1所示为本公开根据一示例性实施例示出的电子设备200的结构示意图。参考图1，电子设备200包括：机身210、摄像模组300及控制模块。其中，摄像模组300可设于机身210的正面，以形成前置摄像模组300，还可设于机身210的背面，以形成后置摄像模组300。
图2所示为图1中摄像模组300的俯视图，图3所示为图2中摄像模组300沿A-A线的剖视图，图4所示为图1中摄像模组的镜头、微成像结构及图像传感器的布设示意图，图5所示为图1中摄像模组300的局部结构的俯视图。结合参考图2至图5，摄像模组300包括：镜头310、微成像结构320、图像传感器330及驱动件340。
微成像结构320设于镜头310的光线射出一侧。微成像结构320可以包括呈阵列分布的多个微透镜321。图像传感器330设于微成像结构320的光线射出一侧，用于接收由微成像结构320射出的光线，图像传感器330包括多个图像传感单元331。
在图4中，微成像结构320设于镜头310的光线射出一侧，图像传感器330设于微成像结构320的光线射出一侧。微成像结构320包括n*n个微透镜321。图像传感器330包括N*N个图像传感单元331。从镜头310发出的光线经过每个微透镜321之后投影到图像传感器330，并形成一个集合像素333，每个集合像素333包括多个图像传感单元331，也即每个微透镜321覆盖多个图像传感单元331。示例地，如图4所示，每个图像传感单元331对应于一个微透镜321和镜头310的一个子孔径312。这里，每个微透镜321与一个集合像素333对应，该摄像模组的分辨率为多个集合像素333的数目，也即摄像模组的分辨率为微透镜321的数目n*n＜N*N。
驱动件340用于驱动镜头310、微成像结构320和图像传感器330中的至少一者沿第一方向由第一位置移动至第二位置，第一方向与镜头310的光轴301垂直，第一位移和第二位移之和的绝对值为图像传感单元331的尺寸的非整数倍，第一位移为微成像结构320相对于镜头310的光轴301的位移，第二位移为图像传感器330相对于镜头310的光轴301的位移。
需要说明的是，第一位置和第二位置为两个不同的位置，第一位置可作为镜头310、微成像结构320和图像传感器330中的至少一者移动至第二位置之前的位置。在实际拍摄时，镜头310、微成像结构320和图像传感器330中的至少一者移动的次数可大于两次，每次移动之前的位置均可看作“第一位置”，每次移动之后的位置均可看作“第二位置”。若摄像模组300多次拍摄同一目标对象，则每次分别通过摄像模组300获取3D图像。此外，可以理解的是，该第一位置也可以是初始位置、用户常用的调整位置或者电子设备默认设置的其他位置。
参考图5，图像传感器330的每个图像传感单元331均包括用于接收光线的光接收面332。可以理解的是，镜头310的光轴301与光接收面332垂直。继续参考图3，x轴的方向与图像传感单元331的光接收面332平行，y轴方向与x轴方向垂直，y轴方向与镜头310的光轴301平行。
第一位移和第二位移均为矢量，第一位移和第二位移的矢量和的绝对值为图像传感单元331的尺寸的非整数倍，也即N/M倍，N和M不相等，比如1/2、2/3、1/4、3/2、4/3、5/4、5/2、7/3、9/4等。
驱动件340可驱动镜头310、微成像结构320和图像传感器330中的一者、两者、或者三者全部移动。当驱动件340驱动任两者、或者三者移动时，驱动每一者的移动方向可相同，也可不同，驱动每一者的移动量可相同，也可不同。以下给出几种示例：
示例性地，将镜头310和微成像结构320作为一个整体，驱动件340驱动镜头310和微成像结构320同时移动，图像传感器330不移动。那么，微成像结构320相对于镜头310的光轴301没有第一位移，图像传感器330相对于镜头310的光轴301的位移为第二位移，则第一位移与第二位移之和的绝对值为第二位移的绝对值。
示例性地，将镜头310和微成像结构320作为一个整体，驱动件340驱动镜头310和微成像结构320同时沿x轴的正向移动图像传感单元331的1/2尺寸，且驱动图像传感器330沿x轴的负向移动图像传感单元331的一个尺寸。那么，微成像结构320相对于镜头310的光轴301的第一位移为零，图像传感器330相对于镜头310的光轴301的位移为图像传感单元331的3/2尺寸。
示例性地，驱动件340驱动微成像结构320和图像传感器330移动，镜头310不移动。那么，微成像结构320相对于镜头310的光轴301的位移为第一位移，图像传感器330相对于镜头310的光轴301的位移为第二位移。比如，微成像结构320可相对于镜头310的光轴301沿x轴的正向移动图像传感单元331的1/2尺寸，图像传感器330可相对于镜头310的光轴301沿x轴的负向移动图像传感单元331的1/3尺寸，那么第一位移和第二位移的矢量和的绝对值为图像传感单元331的5/6尺寸。
示例性地，驱动件340驱动镜头310移动，而微成像结构320和图像传感器330不移动，但微成像结构320和图像传感器330与镜头310的光轴301之间发生了相对移动。那么，微成像结构320相对于镜头310的光轴301的位移为第一位移，图像传感单元331相对于镜头310的光轴301的位移为第二位移。
基于前述分析可知，在第一位置时摄像模组300所拍摄的第一3D图像、以及在第二位置时摄像模组300所拍摄的第二3D图像的分辨率均为微成像结构320的数目，低于图像传感器330的分辨率。
基于图像超分辨率重构方法从同一目标对象的多幅低分辨率图像重构出一幅具有较高分辨率的图像。多幅低分辨率图像之间具有亚像素位移，亚像素位移小于图像传感单元331的尺寸，这使得每幅低分辨率图像之间存在互补的信息。将各幅图像的亚像素位移量全部投影于同一个高分辨率网格中，再根据亚像素位移信息对高分辨率网格中的像素点进行重采样处理，得到高分辨率图像。
在本公开实施例的摄像模组300具体使用中，可以通过驱动件340驱动镜头310、微成像结构320和图像传感器330中的至少一者沿第一方向由第一位置移动至第二位置，使得第一位移和第二位移之和的绝对值为图像传感单元331的尺寸的非整数倍，并控制摄像模组300分别在第一位置拍摄第一3D图像，在第二位置拍摄第二3D图像，这样，摄像模组300拍摄获得的第一3D图像和第二3D图像之间具有亚像素位移，利于后续可以通过低分辨率的第一3D图像和第二3D图像以图像超分辨率重构方法重构为高分辨率的目标3D图像。这相较于镜头不能移动的摄像模组而言，克服了不能利用光场成像得到高分辨率的3D图像的问题。
在一些实施例中，第一位移与第二位移之和的绝对值小于图像传感单元331的尺寸。比如，第一位移与第二位移之和的绝对值为图像传感单元331的尺寸1/M，M大于1。示例性地，M可以为2、2.5、3、3.5、4、4.5或5等。这样，能够减少驱动件340的驱动功耗，还可使摄像模组300在第一位置拍摄的3D图像和在第二位置拍摄的3D图像之间具有亚像素位移，进而利于重构为高分辨率的目标3D图像。
举例来说，在一些实施例中，第一位移与第二位移之和的绝对值为图像传感单元的尺寸的1/2。这样，不仅能够减少驱动件340的驱动功耗，还方便控制镜头310、微成像结构320和图像传感器330的移动距离，且方便图像计算，容易得到高分辨率的3D图像。
在一些实施例中，第一方向可以包括以下至少一种：图像传感单元331的宽度方向、图像传感单元331的长度方向以及与图像传感单元331的宽度方向呈预设夹角的方向。这里，预设夹角可以为锐角，也可以为钝角。可以理解的是，当预设夹角为锐角时，该第一方向可以位于一个图像传感单元331的宽度方向和长度方向之间，可以与图像传感单元331的长度方向之间呈钝角；当预设夹角为钝角时，该第一方向与图像传感单元331的长度方向之间为锐角。继续参考图5，图像传感单元331的长度方向302与微透镜321的长度方向平行，图像传感单元331的宽度方向303与微透镜321的宽度方向平行。与图像传感单元331的宽度方向303之间呈预设夹角α可以为30°、45°、60°、70°、80°、100°或120°等。以下以驱动件340驱动镜头310为例，对驱动镜头310的移动方向进行示例阐述：
示例性地，驱动件340用于驱动镜头310沿图像传感单元331的长度方向302由第一位置移动至第二位置，第一位置与第二位置的移动距离小于图像传感单元331的长度。比如，第一位置与第二位置的移动距离为图像传感单元331的1/2长度、1/3长度或2/3长度等。
示例性地，驱动件340用于驱动镜头310沿图像传感单元331的宽度方向303由第一位置移动至第二位置，第一位置与第二位置的移动距离小于图像传感单元331的宽度。比如，第一位置与第二位置的移动距离为图像传感单元331的1/2宽度、1/3宽度或2/3宽度等。
示例性地，驱动件340用于驱动镜头310沿图像传感单元331的长度方向302和/或宽度方向303移动。比如，驱动件340驱动镜头310顺次沿图像传感单元331的长度方向302移动图像传感单元331的1/3长度、沿图像传感单元331的宽度方向303移动图像传感单元331的1/3宽度、沿图像传感单元331的长度方向302移动图像传感单元331的1/3长度、沿图像传感单元331的宽度方向303移动图像传感单元331的1/3宽度等，本公开对此不作具体限定。
示例性地，驱动件340用于驱动镜头310沿与图像传感单元331的宽度方向303呈45°的夹角方向移动，且移动距离小于图像传感单元331沿该方向的尺寸。
在一些实施例中，驱动件340包括磁吸控制组件341和马达中的至少一种。
图6所示为本公开根据一示例性实施例示出的镜头310与驱动件340的相对位置示意图。示例性地，参考图6，磁吸控制组件341通过磁力吸引或排斥镜头310、微成像结构320与图像传感单元331的宽度方向呈预设夹角的图像传感器330中的至少一者，以使实现移动。举例来说，以镜头310为例，参考图6，镜头310的外壁设有磁吸部311，磁吸控制组件341包括电磁铁342和永磁体343，永磁体343的磁性与磁吸部311的磁性相同。当电磁铁342通电时，电磁铁342对磁吸部311的吸引力大于永磁体343对磁吸部311的排斥力，因此磁吸控制组件341吸引磁吸部311，以使镜头310面向磁吸控制组件341移动。当电磁铁342断电时，电磁铁342对磁吸部311的吸引力消失，永磁体343排斥磁吸部311，因此使镜头310背向磁吸控制组件341移动。继续参考图3，摄像模组300还包括外壳350，磁吸控制组件341可固定于外壳350内。
在一些实施例中，驱动件340包括马达，马达与镜头310连接，用于驱动镜头310移动。示例性地，马达包括VCM(Voice Coil Motor，音圈电机)马达、MEMS(MicroelectroMechanical Systems，微型电机)马达、超声波马达、记忆金属马达中的至少一者。这些马达均可为微型马达，容易获取及控制。可通过一个马达驱动镜头310移动，也可通过多个马达配合驱动镜头310移动，本公开对此不作具体限定。
在上述实施例中，驱动件340的数目可以为一个或多个，当驱动件340的数目为多个时，可分别对应驱动镜头310、微成像结构320及图像传感器330。
在一些实施例中，继续参考图3，外壳350形成有第一安装腔；马达形成有第二安装腔，马达固定于第一安装腔，镜头310设于第二安装腔，马达用于驱动镜头310在第二安装腔内移动。如此，使摄像模组300形成可堆叠的层状结构，利于摄像模组300堆叠于电子设备200的机身210内。示例性地，马达与外壳350之间为螺纹连接、卡接或粘结。示例性地，镜头310与马达之间为螺纹连接、卡接或粘结。
请继续参考图3，摄像模组300还包括与图像传感器330连接的线路板(Printedcircuit boards，PCB)360、与线路板360连接的柔性线路板(FlexiblePrinted CircuitBoard，FPC)370以及与柔性线路板370连接的连接器380。其中，线路板360为图像传感器330供电，以及接收图像传感器330输出的信号。柔性线路板370可适用于电子设备200内部的不同空间，利于摄像模组300安装于电子设备200的机身210内。连接器380用于与电子设备200的控制模块或其他元器件连接，以实现摄像模组300与电子设备200的连接。
电子设备200的控制模块与摄像模组300的图像传感器330连接，控制模块被配置为：获取镜头310、微成像结构320和图像传感器330中的至少一者在第一位置时，摄像模组300拍摄目标对象所得到的第一3D图像；控制驱动件340驱动镜头310、微成像结构320和图像传感器330中的至少一者沿第一方向由第一位置移动至第二位置，第一方向与光轴301垂直，第一位移和第二位移之和的绝对值为图像传感单元331的尺寸的非整数倍，第一位移为微成像结构320相对于镜头310的光轴301的位移，第二位移为图像传感器330相对于镜头310的光轴301的位移；获取镜头310、微成像结构320和图像传感器330中的至少一者在第二位置时，摄像模组300拍摄目标对象所得到的第二3D图像；根据图像超分辨率重构方法将第一3D图像和第二3D图像重构生成目标对象的目标3D图像。
本公开实施例提供的电子设备200，在拍摄时，可以通过控制模块控制驱动件340驱动镜头310、微成像结构320和图像传感器330中的至少一者沿第一方向由第一位置移动至第二位置，使得第一位移和第二位移之和的绝对值为图像传感单元331的尺寸的非整数倍，并通过控制摄像模组300分别在第一位置拍摄目标对象的第一3D图像，在第二位置拍摄目标对象的第二3D图像，这样，摄像模组300拍摄获得的第一3D图像和第二3D图像之间具有亚像素位移，利于控制模块通过低分辨率的第一3D图像和第二3D图像以图像超分辨率重构方法重构生成高分辨目标3D图像。这相较于镜头不能移动的摄像模组300而言，克服了不能利用光场成像得到高分辨率的3D图像的问题。
图7所示为本公开根据一示例性实施例示出的3D图像的生成方法的框图。本公开一些实施例还提供了一种3D图像的生成方法，该方法用于电子设备，电子设备包括摄像模组。摄像模组包括：镜头、设于镜头的光线射出一侧的微成像结构、设于微成像结构的光线射出一侧的图像传感器以及驱动件，图像传感器包括多个图像传感单元。参考图7，该3D图像的生成方法包括：
步骤71、获取镜头、微成像结构和图像传感器中的至少一者在第一位置时，摄像模组拍摄目标对象所得到的第一3D图像。
具体而言，镜头、微成像结构和图像传感器中的至少一者在第一位置时，图像传感器接收穿过镜头和微成像结构的光线并转换为第一电信号，基于第一电信号得到第一3D图像。
步骤72、控制驱动件驱动镜头、微成像结构和图像传感器中的至少一者由第一位置移动至第二位置，第一方向与光轴垂直，第一位移和第二位移之和的绝对值为图像传感单元的尺寸的非整数倍，第一位移为微成像结构相对于镜头的光轴的位移，第二位移为图像传感器相对于镜头的光轴的位移。
需要说明的是，第一位置可作为第二位置的初始位置，可控制驱动件多次驱动镜头移动。
在一些实施例中，步骤72包括但不限于：
控制驱动件驱动镜头沿第一方向由第一位置移动至第二位置，第一方向可以包括以下至少一种：图像传感单元的宽度方向、图像传感单元的长度方向以及与图像传感单元的宽度方向呈预设夹角的方向。
关于第一方向的解释可参见装置部分的对应阐述，此处不再赘述。
步骤73、获取镜头、微成像结构和图像传感器中的至少一者在第二位置时，摄像模组在第二位置拍摄目标对象所得到的第二3D图像。
步骤74、根据图像超分辨率重构方法将第一3D图像和第二3D图像重构生成目标对象的目标3D图像。
需要说明的是，当镜头、微成像结构和图像传感器中的至少一者多次移动至第一位置和第二位置时，需要多次获取对应位置的低分辨率3D图像，根据图像超分辨率重构方法将所有获取的3D图像重构生成高分辨率的目标3D图像。
其中，图像超分辨率重构方法指的是：从同一目标对象的多幅低分辨率图像重构出一幅具有高分辨率的图像。并且，多幅低分辨率图像之间具有亚像素位移，亚像素位移小于图像传感单元的尺寸。若已知各幅图像之间的亚像素位移信息，可将各幅图像的像素全部投影到同一个高分辨率网格中，然后再根据亚像素位移信息对高分辨率网格中的像素点进行重采样处理。
具体而言，图像超分辨率重构方法包括：利用亚像素位移信息将所有低分辨率图像的像素投影到高分辨率网格中，并获得各幅图像的配准参数。配准参数可根据低分辨率图像之间的信息相关性进行估计。根据配准参数将高分辨率网格中的像素映射到高分辨率网格的格点，得到高分辨率图像。示例性地，可通过下述模型获得重构图像：
Yk＝HkX+Nk
Yk表示第k幅观测到的低分辨率图像，k为自然数；Hk表示第k幅图像的降质矩阵，包括图像退化过程中的模糊、平移、旋转和欠采样等因素；X表示原始高分辨率图像；Nk表示加性噪声。
根据上述模型从已知的低分辨率图像估计其降质退化矩阵并假定噪声分布特性，来逆向求解高分辨率图像。
在一些实施例中，在步骤74之后，本公开实施例提供的3D图像的生成方法还包括：
控制驱动件驱动镜头、微成像结构和图像传感器中的至少一者由第二位置移动至预设位置。其中，预设位置包括但不限于：初始位置、用户常用的调整位置以及电子设备默认设置的其他位置等，本公开对此不作具体限定。如此，利于用户控制摄像模组在预设位置拍摄图像，提升用户体验。
本公开实施例提供的3D图像的生成方法，通过获取镜头、微成像结构和图像传感器中的至少一者在第一位置时，摄像模组拍摄目标对象所得到的第一3D图像；控制驱动件驱动镜头、微成像结构和图像传感器中的至少一者沿第一方向由第一位置移动至第二位置，获取镜头、微成像结构和图像传感器中的至少一者在第二位置时，摄像模组拍摄目标对象所得到的第二3D图像。基于第一位移为微成像结构相对于镜头的光轴的位移，第二位移为图像传感器相对于镜头的光轴的位移，第一位移和第二位移之和的绝对值为图像传感单元的尺寸的非整数倍，这使得第一3D图像和第二3D图像之间具有亚像素位移，利于根据图像超分辨率重构方法将低分辨率的第一3D图像和第二3D图像重构生成具有高分辨率的目标3D图像。
图8所示为本公开根据一示例性实施例示出的3D图像的生成装置的框图。本公开一些实施例还提供了一种3D图像的生成装置，该装置用于电子设备，电子设备包括摄像模组。摄像模组包括：镜头、设于镜头的光线射出一侧的微成像结构、设于微成像结构的光线射出一侧的图像传感器以及驱动件，图像传感器包括多个图像传感单元。参考图8，该3D图像的生成装置包括：
第一获取模块81，用于获取镜头、微成像结构和图像传感器中的至少一者在第一位置时，摄像模组拍摄目标对象所得到的第一3D图像。
第一控制模块82，用于控制驱动件驱动镜头、微成像结构和图像传感器中的至少一者沿第一方向由第一位置移动至第二位置，第一方向与光轴垂直，第一位移和第二位移之和的绝对值为图像传感单元的尺寸的非整数倍，第一位移为微成像结构相对于镜头的光轴的位移，第二位移为图像传感器相对于镜头的光轴的位移。
第二获取模块83，用于获取镜头、微成像结构和图像传感器中的至少一者在第二位置时，摄像模组拍摄目标对象所得到的第二3D图像。
生成模块84，用于根据图像超分辨率重构方法将第一3D图像和第二3D图像重构生成目标对象的目标3D图像。
本公开实施例提供的3D图像的生成装置，通过第一获取模块81获取镜头、微成像结构和图像传感器中的至少一者在第一位置时，摄像模组拍摄目标对象所得到的第一3D图像；通过第一控制模块82控制驱动件驱动镜头、微成像结构和图像传感器中的至少一者沿第一方向由第一位置移动至第二位置；通过第二获取模块83获取镜头、微成像结构和图像传感器中的至少一者在第二位置时，摄像模组拍摄目标对象所得到的第二3D图像。基于第一位移为微成像结构相对于镜头的光轴的位移，第二位移为图像传感器相对于镜头的光轴的位移，第一位移和第二位移之和的绝对值为图像传感单元的尺寸的非整数倍，这使得第一3D图像和第二3D图像之间具有亚像素位移，利于生成模块84根据图像超分辨率重构方法将低分辨率的第一3D图像和第二3D图像重构生成具有高分辨率的目标3D图像。
图9所示为本公开根据一示例性实施例示出的一种电子设备的框图。例如，电子设备900可以是包含调整耳机音频参数的设备中发射线圈、第一磁传感器和第二磁传感器的智能手机，计算机，数字广播终端，平板设备，医疗设备，健身设备，个人数字助理等。
参照图9，电子设备900可以包括以下一个或多个组件：处理组件902，存储器904，电源组件906，多媒体组件909，音频组件910，输入/输出(I/O)的接口912，传感器组件914，以及通信组件916。
处理组件902通常电子设备900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理组件902可以包括多媒体模块，以方便多媒体组件909和处理组件902之间的交互。
存储器904被配置为存储各种类型的数据以支持在电子设备900的操作。这些数据的示例包括用于在电子设备900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件906为电子设备900的各种组件提供电力。电源组件906可以包括电源管理系统，一个或多个电源，及其他与为电子设备900生成、管理和分配电力相关联的组件。
多媒体组件909包括在所述电子设备900和目标对象之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示屏(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自目标对象的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(MIC)，当电子设备900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。另外，所述音频组件910还可以图1所示的耳机，该耳机内处理器MCU可以实现上述方法的步骤。
I/O接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。
传感器组件914包括一个或多个传感器，用于为电子设备900提供各个方面的状态评估。例如，传感器组件914可以检测到电子设备900的打开/关闭状态，组件的相对定位，例如所述组件为电子设备900的显示屏和小键盘，传感器组件914还可以检测电子设备900或一个组件的位置改变，目标对象与电子设备900接触的存在或不存在，电子设备900方位或加速/减速和电子设备900的温度变化。
通信组件916被配置为便于电子设备900和其他设备之间有线或无线方式的通信。电子设备900可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现。
在示例性实施例中，还提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器920执行时，实现如上述提及的任一种3D图像的生成方法。其中，可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
对于方法实施例而言，由于其基本对应于装置实施例，所以相关之处参见装置实施例的部分说明即可。方法实施例和装置实施例互为补充。
本公开上述各个实施例，在不产生冲突的情况下，可以互为补充。
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (11)

1.一种摄像模组，应用于电子设备，其特征在于，所述摄像模组包括：
镜头；
微成像结构，设于所述镜头的光线射出一侧；
图像传感器，设于所述微成像结构的光线射出一侧，用于接收由所述微成像结构射出的光线，所述图像传感器包括多个图像传感单元；及
驱动件，用于驱动所述镜头或者所述图像传感器沿第一方向由第一位置移动至第二位置，或者驱动所述镜头、所述微成像结构和所述图像传感器中的至少两者沿第一方向由第一位置移动至第二位置，所述第一方向与光轴垂直，第一位移和第二位移之和的绝对值为所述图像传感单元的尺寸的非整数倍，所述第一位移为所述微成像结构相对于所述镜头的光轴的位移，所述第二位移为所述图像传感器相对于所述镜头的光轴的位移。
2.根据权利要求1所述的摄像模组，其特征在于，所述第一位移与所述第二位移之和的绝对值小于所述图像传感单元的尺寸。
3.根据权利要求2所述的摄像模组，其特征在于，所述第一位移与所述第二位移之和的绝对值为所述图像传感单元的尺寸的1/2。
4.根据权利要求1所述的摄像模组，其特征在于，所述第一方向包括以下至少一种：所述图像传感单元的宽度方向、所述图像传感单元的长度方向以及与所述图像传感单元的宽度方向呈预设夹角的方向。
5.根据权利要求1所述的摄像模组，其特征在于，所述驱动件包括磁吸控制组件和马达中的至少一种。
6.根据权利要求5所述的摄像模组，其特征在于，所述驱动件为马达，所述马达与所述镜头连接，用于驱动所述镜头移动；
所述摄像模组还包括外壳，所述外壳形成有第一安装腔；
所述马达形成有第二安装腔，所述马达固定于所述第一安装腔，所述镜头设于所述第二安装腔，所述马达用于驱动所述镜头在所述第二安装腔内移动。
7.一种电子设备，其特征在于，所述电子设备包括：控制模块以及如权利要求1～6任一项所述的摄像模组，所述控制模块与所述摄像模组的图像传感器连接；
所述控制模块被配置为：
获取镜头、微成像结构和图像传感器中的至少一者在第一位置时，所述摄像模组拍摄目标对象所得到的第一3D图像；
控制驱动件驱动所述镜头、所述微成像结构和所述图像传感器中的至少一者沿第一方向由所述第一位置移动至第二位置，所述第一方向与所述光轴垂直，第一位移和第二位移之和的绝对值为所述图像传感单元的尺寸的非整数倍，所述第一位移为所述微成像结构相对于所述镜头的光轴的位移，所述第二位移为所述图像传感器相对于所述镜头的光轴的位移；
获取所述镜头、所述微成像结构和所述图像传感器中的至少一者在所述第二位置时，所述摄像模组拍摄所述目标对象所得到的第二3D图像；
根据图像超分辨率重构方法将所述第一3D图像和所述第二3D图像重构生成所述目标对象的目标3D图像。
8.一种3D图像的生成方法，其特征在于，所述方法用于权利要求7所述的电子设备；所述方法包括：
获取所述镜头、所述微成像结构和所述图像传感器中的至少一者在第一位置时，所述摄像模组拍摄目标对象所得到的第一3D图像；
控制所述驱动件驱动所述镜头、所述微成像结构和所述图像传感器中的至少一者沿第一方向由所述第一位置移动至第二位置，所述第一方向与所述光轴垂直，第一位移和第二位移之和的绝对值为所述图像传感单元的尺寸的非整数倍，所述第一位移为所述微成像结构相对于所述镜头的光轴的位移，所述第二位移为所述图像传感器相对于所述镜头的光轴的位移；
获取所述镜头、所述微成像结构和所述图像传感器中的至少一者在所述第二位置时，所述摄像模组拍摄所述目标对象所得到的第二3D图像；
根据图像超分辨率重构方法将所述第一3D图像和所述第二3D图像重构生成所述目标对象的目标3D图像。
9.根据权利要求8所述的方法，其特征在于，所述控制驱动件驱动镜头、所述微成像结构和所述图像传感器中的至少一者沿第一方向由所述第一位置移动至第二位置，包括：
控制所述驱动件驱动所述镜头沿所述第一方向由所述第一位置移动至所述第二位置，所述第一方向包括以下至少一种：所述图像传感单元的宽度方向、所述图像传感单元的长度方向以及与所述图像传感单元的宽度方向呈预设夹角的方向。
10.根据权利要求8所述的方法，其特征在于，所述方法还包括：
控制所述驱动件驱动所述镜头、所述微成像结构和所述图像传感器中的至少一者由所述第二位置移动至预设位置。
11.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现如权利要求8～10任一项所述的方法。
CN202010367880.1A 2020-04-30 2020-04-30 摄像模组、电子设备和3d图像的生成方法 Active CN113596285B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010367880.1A CN113596285B (zh) 2020-04-30 2020-04-30 摄像模组、电子设备和3d图像的生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010367880.1A CN113596285B (zh) 2020-04-30 2020-04-30 摄像模组、电子设备和3d图像的生成方法

Publications (2)

Publication Number Publication Date
CN113596285A CN113596285A (zh) 2021-11-02
CN113596285B true CN113596285B (zh) 2023-07-04

Family

ID=78237039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010367880.1A Active CN113596285B (zh) 2020-04-30 2020-04-30 摄像模组、电子设备和3d图像的生成方法

Country Status (1)

Country Link
CN (1) CN113596285B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013175812A (ja) * 2012-02-23 2013-09-05 Nikon Corp 撮像素子および撮像装置
CN203219391U (zh) * 2013-04-09 2013-09-25 上海海鸥数码照相机有限公司 可拍摄数码照片的光场相机
CN104780307A (zh) * 2015-05-04 2015-07-15 华天科技（昆山）电子有限公司 阵列镜头成像系统及其用于高速运动物体清晰成像的方法
CN106973205A (zh) * 2017-04-27 2017-07-21 上海斐讯数据通信技术有限公司 一种摄像头、摄像头成像方法及移动终端

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7061532B2 (en) * 2001-03-27 2006-06-13 Hewlett-Packard Development Company, L.P. Single sensor chip digital stereo camera
JP5031173B2 (ja) * 2003-03-26 2012-09-19 大日本印刷株式会社 撮像装置と撮像装置におけるマイクロレンズの形成方法
JP5515396B2 (ja) * 2009-05-08 2014-06-11 ソニー株式会社 撮像装置
WO2013043488A1 (en) * 2011-09-22 2013-03-28 Eastman Kodak Company Digital imaging system with refocusable imaging mode
JP6220125B2 (ja) * 2012-12-28 2017-10-25 キヤノン株式会社 撮像装置およびその制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013175812A (ja) * 2012-02-23 2013-09-05 Nikon Corp 撮像素子および撮像装置
CN203219391U (zh) * 2013-04-09 2013-09-25 上海海鸥数码照相机有限公司 可拍摄数码照片的光场相机
CN104780307A (zh) * 2015-05-04 2015-07-15 华天科技（昆山）电子有限公司 阵列镜头成像系统及其用于高速运动物体清晰成像的方法
CN106973205A (zh) * 2017-04-27 2017-07-21 上海斐讯数据通信技术有限公司 一种摄像头、摄像头成像方法及移动终端

Also Published As

Publication number Publication date
CN113596285A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN110177200B (zh) 摄像头模组、电子设备以及影像拍摄方法
CN106416224A (zh) 全景拍摄方法、终端、旋转组件及全景拍摄装置
CN111835894A (zh) 摄像头模组及其控制方法和装置、电子设备
CN113238656B (zh) 三维图像的显示方法、装置、电子设备及存储介质
CN112887523B (zh) 摄像头模组、电子设备、拍摄处理方法及存储介质
CN209488641U (zh) 摄像头模组和电子设备
CN111586296B (zh) 图像拍摄方法、图像拍摄装置及存储介质
CN101610359A (zh) 数字摄影装置及其控制方法
CN108769487B (zh) 电子设备、信息处理方法和计算机可读存储介质
CN113596285B (zh) 摄像模组、电子设备和3d图像的生成方法
CN109218709B (zh) 全息内容的调整方法及装置和计算机可读存储介质
CN102420940A (zh) 一种具有摄像功能终端及其摄像头变焦方法
CN210274229U (zh) 摄像模组及终端
CN111866231A (zh) 终端
CN113433760B (zh) 用于相机模组的致动器、相机装置及移动终端
CN112565625A (zh) 视频处理方法、装置及介质
CN110876000B (zh) 摄像头模组及图像修正方法、装置、电子设备、存储介质
CN115134511A (zh) 一种高动态范围图像拍照方法、装置及存储介质
CN111565264B (zh) 相机组件以及移动终端
CN110312117B (zh) 数据刷新方法及装置
CN114339019A (zh) 对焦方法、对焦装置及存储介质
CN110225233B (zh) 摄像头模组、电子设备以及影像拍摄方法
CN114430457A (zh) 拍摄方法、装置、电子设备和存储介质
CN113747113A (zh) 图像显示方法及装置、电子设备、计算机可读存储介质
CN111862288A (zh) 一种位姿渲染方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant