CN109862246B - 一种摄像头、拍摄4d图像的终端、4d图像生成方法及介质 - Google Patents

Abstract

本发明实施例公开一种摄像头、拍摄4D图像的终端、4D图像生成方法及介质，其中，摄像头包括主摄像头和副摄像头，主摄像头包括由双层柱面取景镜片、反光镜片组和六棱镜构成的成像镜头和图像处理模块；副摄像头内置频率传感器模块；其中，频率传感器模块用于实时计算副摄像头收集的目标对象所反射的光线的频率，并基于该频率控制反光镜片组动态旋转。反光镜片组，置于双层柱面取景镜片和六棱镜之间，通过动态旋转对双层柱面取景镜片收集到的光线进行反射；六棱镜用于对该反射后的光线进行折射形成光学图像，并投射到图像处理模块进行处理，处理后传输给终端处理器生成对应的4D图像，由此实现终端不借助第三方应用直接拍摄4D图像，提升用户体验。

Description

一种摄像头、拍摄4D图像的终端、4D图像生成方法及介质

技术领域

本发明实施例涉及智能终端技术领域，尤其涉及一种摄像头、拍摄4D图像的终端、4D图像生成方法及介质。

背景技术

随着显像技术的不断发展，4D图像(包括三维空间维度和一维时间维度4个维度)的出现极大的提高了人们视觉体验。

目前，现有4D图像主要是在终端拍摄完图像后，通过后期图像处理技术而生成的。也即是终端无法直接拍摄4D图像，需要借助第三方软件技术对终端拍摄的图像进行编辑。然而借助第三方软件的方式操作繁琐，无法满足用户希望快速、高效、便捷的拍摄出具有裸眼4D视觉效果的图像的需求。

发明内容

本发明实施例提供了一种摄像头、拍摄4D图像的终端、4D图像生成方法及介质，以解决现有技术中无法通过终端直接拍摄具有裸眼4D视觉效果的4D图像的技术问题。

第一方面，本发明实施例提供了一种摄像头，包括主摄像头和副摄像头；

其中，所述主摄像头包括成像镜头和图像处理模块，所述成像镜头包括双层柱面取景镜片、反光镜片组和六棱镜；其中，所述反光镜片组，设置于所述双层柱面取景镜片和所述六棱镜之间，用于通过动态旋转预设角度对所述双层柱面取景镜片收集到的目标对象所反射的光线进行反射，使反射后的光线在到达所述六棱镜之前呈现为多个角度的频率不同的光线；所述六棱镜用于对所述多个角度的频率不同的光线进行折射形成光学图像，并将所述光学图像投射到所述图像处理模块；所述图像处理模块用于对所述光学图像进行信号转换与处理，生成预设格式的图像数据；

所述副摄像头内置有频率传感器模块；其中，所述频率传感器模块用于实时计算所述副摄像头收集的所述目标对象所反射的光线的频率，并基于所述频率发出旋转指令以控制所述反光镜片组动态旋转预设角度。

第二方面，本发明实施例还提供了一种拍摄4D图像的终端，包括处理器、4D显示屏以及上述的摄像头；

所述处理器接收所述摄像头生成的预设格式的图像数据，并根据所述预设格式的图像数据生成对应的4D图像；

所述4D显示屏用于对生成的4D图像进行实时预览。

第三方面，本发明实施例还提供了一种4D图像生成方法，由拍摄4D图像的终端执行，所述终端包括主摄像头、副摄像头及处理器，其中，所述主摄像头包括成像镜头和图像处理模块，所述成像镜头包括双层柱面取景镜片、反光镜片组和六棱镜，所述副摄像头内置频率传感器模块，所述方法包括：

所述频率传感器模块实时计算所述副摄像头收集的目标对象所反射的光线的频率，并依据所述频率发出旋转指令，以控制所述反光镜片组动态旋转预设角度，使所述反光镜片组对所述双层柱面取景镜片收集的所述目标对象的光线进行反射，使反射后的光线在到达所述六棱镜之前呈现为多个角度的频率不同的光线；

所述六棱镜对所述反光镜片组反射后的光线进行折射，生成光学图像，并将所述光学图像投射到所述图像处理模块；

所述图像处理模块用于对所述光学图像进行信号转换与处理，生成预设格式的图像数据并传输给处理器，使所述处理器根据所述图像数据生成对应的4D图像。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的4D图像生成方法。

本发明实施例提供的一种摄像头、拍摄4D图像的终端、4D图像生成方法及介质，利用双层柱面取景镜片、反光镜片组和六棱镜构成主摄像头的成像镜头，并在副摄像头上集成频率传感器模块。频率传感器模块通过实时计算副摄像头收集的目标对象所反射的光线的频率，并基于该频率控制反光镜片组动态旋转，以便反光镜片组对双层柱面取景镜片收集到的目标对象所反射的光线进行反射，使反射后的光线在到达六棱镜之前呈现为多个角度的频率不同的光线。六棱镜对接收到的多个角度的频率不同的光线进行折射形成光学图像，由此形成的光学图像具有裸眼4D视觉效果，然后通过主摄像头的图像处理模块对该光学图像进行处理，生成预设格式的图像数据，终端处理器基于所述图像数据即可生成对应的4D图像。由此，通过成像镜头直接生成具有裸眼4D视觉效果的光学图像，后续只需对该光学图像进行处理即可得到对应的4D图像，进而实现不借助第三方应用，直接拍摄4D图像，极大地改善用户体验。

附图说明

图1是本发明实施例一提供的一种摄像头的结构示意图；

图2是本发明实施例一提供的另一种摄像头的结构示意图；

图3是本发明实施例二提供的一种拍摄4D图像的终端的结构示意图；

图4是本发明实施例三提供的一种4D图像生成方法的流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一提供的一种摄像头的结构示意图，本实施例提供的摄像头可应用于终端(例如智能手机或平板电脑)，使得终端在不借助第三方应用的情况下，直接拍摄4D图像。

如图1所示，该摄像头包括主摄像头1和副摄像头2；其中，主摄像头1包括成像镜头11和图像处理模块12，成像镜头11包括双层柱面取景镜片111、反光镜片组112和六棱镜113，而且为了确保后续利用该摄像头拍摄4D图像时，镜头具有高分辨率、均匀度以及取景范围满足预设条件，将双层柱面取景镜片111、反光镜片组112和六棱镜113的材质均选为玻璃材质。

其中，双层柱面取景镜片111用于采集目标对象所反射的光线，其中目标对象即为要拍摄的景物；反光镜片组112，设置于双层柱面取景镜片111和六棱镜113之间，用于通过动态旋转预设角度对双层柱面取景镜片收集到的光线进行反射，使反射后的光线在到达六棱镜113之前呈现为多个角度的频率不同的光线；六棱镜113用于对经过反光镜片组112反射形成的多个角度的频率不同的光线进行折射与色散形成具有裸眼4D视觉效果的光学图像，并将该光学图像投射到图像处理模块12；图像处理模块12用于对接收到的具有裸眼4D视觉效果的光学图像进行信号转换与处理，生成预设格式的图像数据，例如生成RGB或YUV格式的图像数据。

副摄像头2通常用于捕捉目标对象的细微变动。本实施例中，在副摄像头2内置一个频率传感器模块21，该频率传感器模块21基于特定的频率算法实时计算副摄像头2收集的目标对象所反射的光线的频率，例如根据光线各自的波长、属性等计算各光线的频率，并基于实时计算的频率发出旋转指令以控制反光镜片组动态旋转预设角度，其中，不同的光线的频率对应不同的预设角度，而光线的频率和预设角度之间的对应关系可预先存储在频率传感器模块21中。由此，只要频率传感器模块21计算出光线的频率，即可通过对应关系确定反光镜片组需要动态旋转预设角度的大小。

进一步的，主摄像头1还包括镜架和电机马达(图1中未示出)；其中，镜架用于固定反光镜片组112，电机马达与镜架连接，用于驱动镜架上的反光镜片组112，具体的，电机马达与频率传感器模块21电连接，根据接收到的频率传感器模块21发送的旋转指令驱动镜架上的反光镜片组动态旋转。

进一步的，如图2所示，图像处理模块12包括图像传感器121、模数转换器122和信号处理器123；其中，综合考虑图像传感器性能与耗电，图像传感器121优选的为CMOS传感器；信号处理器123优选的为DSP(Digital Signal Processor，数字信号处理器)。在一种可选的实施方式中，模数转换器122和信号处理器123还可以集成在图像传感器121上。

其中，图像传感器121用于将光学图像转换为对应的电信号，例如，当六棱镜113将生成的光学图像投射在CMOS传感器上后，CMOS传感器上的光电二极管受到光线的激发而释放出电荷，生成感光元件的电信号，CMOS传感器的控制芯片利用感光元件中的控制信号线路对发光二极管产生的电流进行控制，由电流传输电路输出到放大器进行电信号发达。优选的，CMOS传感器会将一次成像产生的电信号收集起来，统一输出到放大器进行放大。

模数转换器122用于将放大后的电信号转换成数字图像信号，并将数字图像信号输出到信号处理器123；

信号处理器123用于对接收到的数字图像信号进行优化处理，生成预设格式的图像数据。示例性的，信号处理器123(DSP)对接收的数字图像信号进行自动白平衡调整、色彩修正、镜头校正及去燥处理等，最终输出YUV或者RGB格式的图像数据。

本发明实施例提供的摄像头，利用双层柱面取景镜片、反光镜片组和六棱镜构成主摄像头的成像镜头，并在副摄像头上集成频率传感器模块。频率传感器模块通过实时计算副摄像头收集的目标对象所反射的光线的频率，并基于该频率控制反光镜片组动态旋转，以便反光镜片组对双层柱面取景镜片收集到的目标对象所反射的光线进行反射，使反射后的光线在到达六棱镜之前呈现为多个角度的频率不同的光线。六棱镜对接收到的多个角度的频率不同的光线进行折射形成光学图像，由此形成的光学图像具有裸眼4D视觉效果，然后通过主摄像头的图像处理模块对该光学图像进行处理，生成预设格式的图像数据，后续只需终端处理器对预设格式的图像数据进行处理即可得到4D图像。

实施例二

图3是本实施例二提供的一种拍摄4D图像的终端的结构示意图。如图3所示，该终端包括处理器4、4D显示屏5以及上述实施例所述的摄像头3，其中摄像头3包括主摄像头1和副摄像头2。

所述处理器4接收主摄像头1生成的预设格式的图像数据，示例性的，处理器4可通过I/O接口接收主摄像头1生成的预设格式的图像数据，其中，预设格式的图像数据是带有裸眼4D视觉效果的图像数据。处理器4可根据预设格式的图像数据生成对应的4D图像，例如，从预设格式的图像数据中判断哪些图像数据是同一帧的数据，再根据时间对选出的图像帧数据排序，以合成4D图像。处理器生成4D图像后可以直接存储也可以实时预览，例如将生成的4D图像发送到4D显示屏5进行实时预览，其中4D图像包括4D图片或4D视频。

本实施例提供了一种拍摄4D图像的终端，终端设置有上述实施例提供的摄像头与4D显示屏，通过本终端可实现在不借助第三方应用的情况下，直接拍摄具有4D效果的图像。

实施例三

图4是本发明实施例提供的一种4D图像生成方法，应用于不借助第三方应用直接拍摄4D图像的情况，由拍摄4D图像的终端执行，该终端包括主摄像头、副摄像头及处理器，其中，主摄像头包括成像镜头和图像处理模块，成像镜头包括双层柱面取景镜片、反光镜片组和六棱镜，副摄像头内置频率传感器模块。如图4所示，该方法包括：

S101、所述频率传感器模块实时计算所述副摄像头收集的目标对象所反射的光线的频率，并依据所述频率发出旋转指令，以控制所述反光镜片组动态旋转预设角度，使所述反光镜片组对所述双层柱面取景镜片收集的所述目标对象的光线进行反射。

本实施例中，预先确定副摄像头收集的目标对象所反射的光线的频率与反光镜片组需要旋转角度值之间的对应关系。基于该对应关系，频率传感器模块实时计算副摄像头收集的目标对象所反射的光线的频率后，根据得到的频率值确定反光镜片组需要旋转角度值，进而发出旋转指令，以控制反光镜片组动态旋转预设角度，使反光镜片组对双层柱面取景镜片收集的所述目标对象的光线进行反射，使反射后的光线在到达所述六棱镜之前呈现为多个角度的频率不同的光线。

S102、所述六棱镜对所述反光镜片组反射后的光线进行折射，生成光学图像，并将所述光学图像投射到所述图像处理模块。

其中，反光镜片组反射后的光线即为多个角度的频率不同的光线，经过六棱镜折射与色散后，生成具有裸眼4D视觉效果的光学图像，并将所述光学图像投射到图像处理模块，以便图像处理模块对该光学图像进行处理。

S103、所述图像处理模块用于对所述光学图像进行信号转换与处理，生成预设格式的图像数据并传输给处理器，使所述处理器根据所述图像数据生成对应的4D图像。

其中，图像处理模块包括图像传感器、模数转换器和信号处理器，且图像传感器优选的为CMOS传感器，信号处理器优选的为DSP处理器。由此，图像处理模块对光学图像进行信号转换和处理，生成预设格式的图像数据的步骤，包括：图像传感器将接收到的光学图像转换为对应的电信号，并对所述电信号进行放大后传输给模数转换器；模数转换器放大后的电信号转换成数字图像信号，并将数字图像信号输出到信号处理器；信号处理器对接收到的数字图像信号进行优化处理，生成预设格式的图像数据，例如，对接收到的数字图像信号自动白平衡调整、色彩修正、镜头校正及去燥处理等，最终输出YUV或者RGB格式的图像数据。

针对生成的预设格式的图像数据，只需通过I/O接口发送给终端处理器，处理器1可通过I/O接口接收摄像头3生成的预设格式的图像数据，其中，预设格式的图像数据是带有裸眼4D视觉效果的图像数据。处理器根据预设格式的图像数据对应的生成4D图像，例如，从预设格式的图像数据中判断哪些图像数据是同一帧的数据，再根据时间顺序对选出的图像帧数据排序，以合成4D图像。

进一步的，处理器生成4D图像后可以直接存储也可以实时预览。

针对实时预览4D图像，可按如下步骤进行：

步骤1、处理器利用TextureView控件接收所述4D图像，并对4D图像进行渲染。

由于TextureView控件可以像普通View(视图)实现平移，旋转等各种变换，因此选择TextureView控件可以实现各种4D动画效果。具体的，TextureView控件在硬件加速的环境中运行时，首先获取到TextureView控件的SurfaceTexture实例，通过SurfaceTexture实例对接收的4D图像进行效果渲染。

步骤2、通过预览接口将渲染后的4D图像在终端的4D显示屏上进行实时预览。

针对渲染后的4D图像，可通过专门的预览接口传输到终端的4D显示屏，即可实现4D图像的实时预览。

本发明实施例中，通过频率传感器模块通过实时计算副摄像头收集的目标对象所反射的光线的频率，并基于该频率控制反光镜片组动态旋转，以反射主摄像头采集的目标对象的光线，使反射后的光线在到达所述六棱镜之前呈现为多个角度的频率不同的光线，六棱镜对接收到的多个角度的频率不同的光线进行折射形成具有裸眼4D视觉效果光学图像，然后通过主摄像头的图像处理模块对该光学图像进行处理，生成预设格式的图像数据，终端处理器基于所述图像数据即可生成对应的4D图像。由此实现不借助第三方应用，直接拍摄4D图像，极大地改善用户体验。

实施例四

本发明实施例中提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种4D图像生成方法，该方法包括：

所述频率传感器模块实时计算所述副摄像头收集的目标对象所反射的光线的频率，并依据所述频率发出旋转指令，以控制所述反光镜片组动态旋转预设角度，使所述反光镜片组对所述双层柱面取景镜片收集的所述目标对象的光线进行反射，使反射后的光线在到达所述六棱镜之前呈现为多个角度的频率不同的光线；

所述六棱镜对所述反光镜片组反射后的光线进行折射，生成光学图像，并将所述光学图像投射到所述图像处理模块；

所述图像处理模块用于对所述光学图像进行信号转换与处理，生成预设格式的图像数据并传输给处理器，使所述处理器根据所述图像数据生成对应的4D图像。

当然，本发明实施例中所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例中所提供的4D图像生成方法中的相关操作。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种摄像头，其特征在于，包括主摄像头和副摄像头；

其中，所述主摄像头包括成像镜头和图像处理模块，所述成像镜头包括双层柱面取景镜片、反光镜片组和六棱镜；其中，所述反光镜片组，设置于所述双层柱面取景镜片和所述六棱镜之间，用于通过动态旋转预设角度对所述双层柱面取景镜片收集到的目标对象所反射的光线进行反射，使反射后的光线在到达所述六棱镜之前呈现为多个角度的频率不同的光线；所述六棱镜用于对所述多个角度的频率不同的光线进行折射形成光学图像，并将所述光学图像投射到所述图像处理模块；所述图像处理模块用于对所述光学图像进行信号转换与处理，生成预设格式的图像数据；

所述副摄像头内置有频率传感器模块；其中，所述频率传感器模块用于实时计算所述副摄像头收集的所述目标对象所反射的光线的频率，并基于所述频率发出旋转指令以控制所述反光镜片组动态旋转预设角度。

2.根据权利要求1所述的摄像头，其特征在于，所述主摄像头还包括镜架和电机马达；其中，所述镜架用于固定所述反光镜片组，所述电机马达用于根据接收到的所述旋转指令驱动镜架上的反光镜片组动态旋转。

3.根据权利要求1所述的摄像头，其特征在于，所述图像处理模块包括图像传感器、模数转换器和信号处理器；

其中，所述图像传感器用于将所述光学图像转换为对应的电信号，并对所述电信号进行放大；

所述模数转换器用于将放大后的电信号转换成数字图像信号，并将所述数字图像信号输出到所述信号处理器；

所述信号处理器用于对接收到的数字图像信号进行优化处理，生成预设格式的图像数据。

4.根据权利要求1所述的摄像头，其特征在于，所述双层柱面取景镜片、六棱镜和反光镜片组均为玻璃材质。

5.一种拍摄4D图像的终端，其特征在于，所述终端包括处理器、4D显示屏以及如权利要求1-4任一所述的摄像头；

所述处理器接收所述摄像头生成的预设格式的图像数据，并根据所述预设格式的图像数据生成对应的4D图像；

所述4D显示屏用于对生成的4D图像进行实时预览。

6.一种4D图像生成方法，其特征在于，由拍摄4D图像的终端执行，所述终端包括主摄像头、副摄像头及处理器，其中，所述主摄像头包括成像镜头和图像处理模块，所述成像镜头包括双层柱面取景镜片、反光镜片组和六棱镜，所述副摄像头内置频率传感器模块，所述方法包括：

所述频率传感器模块实时计算所述副摄像头收集的目标对象所反射的光线的频率，并依据所述频率发出旋转指令，以控制所述反光镜片组动态旋转预设角度，使所述反光镜片组对所述双层柱面取景镜片收集的所述目标对象的光线进行反射，使反射后的光线在到达所述六棱镜之前呈现为多个角度的频率不同的光线；

所述六棱镜对所述反光镜片组反射后的光线进行折射，生成光学图像，并将所述光学图像投射到所述图像处理模块；

所述图像处理模块用于对所述光学图像进行信号转换与处理，生成预设格式的图像数据并传输给处理器，使所述处理器根据所述图像数据生成对应的4D图像。

7.根据权利要求6所述的方法，其特征在于，所述图像处理模块包括图像传感器、模数转换器和信号处理器；

相应的，所述图像处理模块对所述光学图像进行信号转换和处理，生成预设格式的图像数据，包括：

所述图像传感器将接收到的光学图像转换为对应的电信号，并对所述电信号进行放大后传输给所述模数转换器；

所述模数转换器放大后的电信号转换成数字图像信号，并将所述数字图像信号输出到所述信号处理器；

所述信号处理器对接收到的数字图像信号进行优化处理，生成预设格式的图像数据。

8.根据权利要求7所述的方法，其特征在于，在生成4D图像后，所述方法还包括：

所述处理器利用TextureView控件接收所述4D图像，并对所述4D图像进行渲染；

通过预览接口将渲染后的4D图像在终端的4D显示屏上进行实时预览。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求6-8中任一所述的4D图像生成方法。

Images