CN112004011A - 一种图像采集的方法、装置及光路转变元件 - Google Patents

一种图像采集的方法、装置及光路转变元件 Download PDF

Info

Publication number
CN112004011A
CN112004011A CN202010880179.XA CN202010880179A CN112004011A CN 112004011 A CN112004011 A CN 112004011A CN 202010880179 A CN202010880179 A CN 202010880179A CN 112004011 A CN112004011 A CN 112004011A
Authority
CN
China
Prior art keywords
lens
image
camera
sensor
optical path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010880179.XA
Other languages
English (en)
Other versions
CN112004011B (zh
Inventor
孙凯
李达
查灿林
徐勇平
李博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202010880179.XA priority Critical patent/CN112004011B/zh
Publication of CN112004011A publication Critical patent/CN112004011A/zh
Application granted granted Critical
Publication of CN112004011B publication Critical patent/CN112004011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本说明书公开了一种图像采集的方法、装置及光路转变元件。本说明书实施例中相机包括传感器、光路转变元件以及至少两个镜头，其中相机的各个镜头上配置有不同颜色的滤光片；该光路转变元件用于针对每个镜头，使从该镜头射入的光线的光路转变，以使转变光路后的光线投射到所述传感器上与该镜头配置的滤光片的颜色相对应的感光元件上。且在采集图像时，根据预设的曝光参数控制相机的至少两个镜头同时曝光，并生成图像；针对每个镜头，提取所述图像中与该镜头配置的滤光片的颜色相对应的颜色分量，并基于所述颜色分量得到该镜头采集的图像。如此可以在同步获取多张图像的同时降低了硬件成本，且通过降低采集的图像的总数据量提高了数据传输效率。

Description

一种图像采集的方法、装置及光路转变元件
技术领域
本说明书涉及无人驾驶技术领域，尤其涉及一种图像采集的方法、装置及光路转变元件。
背景技术
随着智能驾驶和人工智能的快速发展，机器视觉，作为实现无人车感知环境的重要技术，也得到的广泛的关注。
现有技术中，无人车在通过机器视觉技术感知周围环境时，通常是在无人车上的不同位置部署多个相机，获取无人车周围多个方位的图像信息，再将获得的图像信息传输给计算机分析。当无人车处于行驶过程时，需要无人车像人一样实时感知周围环境，并根据感知结果做出相应的操作，如此，就需要无人车上部署的所有相机实时采集无人车周围的图像信息并传送给计算机，由计算机进行分析处理得到对应的操作指令，并依据操作指令进行操作。
这样，当无人车处于行驶过程中时，相机需要将大量的实时采集到的图像数据实时传输给计算机。然而现有技术中，由于相机和计算机间的I/O(input/output，输入/输出)传输口的线宽和线长受到工程设计的限制，因而相机和计算机间的I/O传输口的实时传输总数据量也存在上限。
这样，当无人车处于行驶过程中时，相机向计算机传输采集到的图像数据时，可能出现所要传输的图像数据的数据量过大而导致传输效率较低的问题，进而导致无人车出现无法实时针对环境变化做出相应的操作的问题。
此外，由于部署在无人车上的相机的工作环境复杂多变，且常用于高速拍摄，同时还要求有较长的使用寿命，因而无人驾驶中对相机的要求也比较高，这使得无人驾驶中使用的相机的价格往往比较高，通过部署多个相机实现多方位视觉图像获取时，会使得相机投入成本过高。
更进一步地，在使用多个相机获取多个方位视觉图像时，目前若要实现无人车上多个相机高度同步，则需要付出高昂的成本；故现有技术中，通常是牺牲一定程度的同步精度，以维持较低的生产成本，如此，多个镜头采集图像的时刻间存在一定差异，导致采集的多张图像反映的是无人车多个方位在不同时刻的环境，进而基于这些图像分析处理的结果不能准确的反应无人车周围的环境变化，最终导致无人车出现无法实时准确地针对环境变化做出相应的操作的问题。
综上所述，现有无人驾驶方案中，在获取多个方位视觉图像时，存在成本高，无法在维持低成本的同时实现相机的高度同步，以及可能出现所要传输的图像数据的数据量过大而导致传输效率较低的问题。
发明内容
本说明书实施例提供一种图像采集的方法、装置及光路转变元件，以部分解决上述现有技术存在的问题。
本说明书实施例采用下述技术方案：
本说明书提供的一种图像采集的方法，包括：相机包括传感器、光路转变元件以及至少两个镜头；其中，所述相机的各个镜头上配置有不同颜色的滤光片；
所述光路转变元件用于针对每个镜头，使从该镜头射入的光线的光路转变，以使转变光路后的光线投射到所述传感器上与该镜头配置的滤光片的颜色相对应的感光元件上；
所述方法包括：
根据预设的曝光参数控制所述相机的至少两个镜头同时曝光；
根据投射到所述传感器上各感光元件上的光线，生成图像；
针对每个镜头，提取所述图像中与该镜头配置的滤光片的颜色相对应的颜色分量，并基于所述颜色分量得到该镜头采集的图像。
可选地，所述相机包括的镜头的数量小于或等于所述传感器上的感光元件的种类数量。
可选地，该方法还包括：
从第一镜头采集的第一图像中确定第一感兴趣区域ROI(region of interest，感兴趣区域)以及所述第一ROI中的第一目标物；
根据第一镜头与第二镜头的相对位姿，确定所述第一ROI在第二图像上的第一位置，其中所述第二图像为第二镜头采集的图像；
从确定出的所述第一ROI在第二图像上的第一位置上确定第二目标物；
若所述第一目标物与所述第二目标物为同一目标物，则确定所述第一ROI为目标ROI。
可选地，该方法还包括：
针对每个镜头采集的图像，根据镜头的内参对该镜头采集的图像进行畸变矫正；
从每个矫正后的图像中提取出关键点；
对各个图像中的关键点进行特征匹配，并基于特征匹配结果进行图像拼接。
本说明书提供的一种光路转变元件，所述光路转变元件用于转变从相机的各个镜头射入的光线的光路；所述相机的各镜头上配置有不同颜色的滤光片；
所述光路转变元件包括：设置在镜头焦深范围内的微透镜阵列；
所述微透镜阵列用于针对每个镜头，使从该镜头射入的光线的光路转变，以使转变光路后的光线投射到所述传感器上与该镜头配置的滤光片的颜色相对应的感光元件上。
可选地，所述微透镜阵列包括若干个微透镜；
针对每个镜头，该镜头对应的微透镜所在的平面和传感器上与该镜头对应的感光元件所在的平面间具有夹角；其中，所述传感器上与该镜头对应的感光元件为：与该镜头配置的滤光片的颜色相对应的感光元件；
不同镜头对应的微透镜所在的平面与感光元件所在的平面间的夹角不同。
可选地，所述光路转变元件还包括电控开关；
所述电控开关用于针对每个镜头，改变该镜头对应的微透镜所在的平面和传感器上与该镜头对应的感光元件所在的平面间的夹角。
可选地，所述光路转变元件还包括：至少一个中间透镜；
针对每个镜头，所述中间透镜位于所述微透镜阵列与所述传感器之间，用于使经过微透镜阵列的光线的光路转变，以使转变光路后的光线投射到所述传感器上与该镜头配置的滤光片的颜色相对应的感光元件上。
可选地，所述光路转变元件中的每个微透镜上镀有透膜；
其中，各个镜头对应的微透镜上的透膜的颜色与该镜头配置的滤光片的颜色相对应。
本说明书提供的一种图像采集的装置，所述装置用于控制相机采集图像；所述相机包括传感器、光路转变元件以及至少两个镜头；其中，所述相机的各个镜头上配置有不同颜色的滤光片；
所述光路转变元件用于针对每个镜头，使从该镜头射入的光线的光路转变，以使转变光路后的光线投射到所述传感器上与该镜头配置的滤光片的颜色相对应的感光元件上；
该装置包括：
曝光模块，用于根据预设的曝光参数控制所述相机的至少两个镜头同时曝光；
图像生成模块，用于根据投射到所述传感器上各感光元件上的光线，生成图像；
图像分离模块，用于针对每个镜头，提取所述图像中与该镜头配置的滤光片的颜色相对应的颜色分量，并基于所述颜色分量得到该镜头采集的图像。
本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像采集的方法。
本说明书提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的图像采集的方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
本说明书实施例中利用相机采集图像时，在根据预设的曝光参数控制相机的至少两个镜头同时曝光后，根据投射到相机传感器上的光线生成多个镜头采集的重叠图像，随后针对每个镜头，从生成的重叠图像中提取出该镜头采集的图像。如此，将通过多个镜头采集的图像重叠为一个图像，使得需要向计算机传输的图像数据的总数据量大大减少，这样在相机与计算机间传输接口的传输速度不变的情况下，提高了图像数据的传输效率，降低无人车出现无法实时针对环境变化做出相应的操作的情况出现。另外，由于多个镜头共用一个机背，因而不仅减少了相机的硬件成本，而且一个机背控制多个镜头一次曝光的曝光参数也完全一致，故而在基于采集的多个不同方位的图像可以有更高的同步性。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为现有机器视觉中采用的相机的结构示意图；
图2为现有的在无人车上部署多个相机实现获取多个方位图像的示意图；
图3为本说明书实施例提供的相机的结构示意图；
图4为本说明书实施例提供的图像采集的方法的流程示意图；
图5为本说明书实施例提供的重叠图像分离示意图；
图6(A)为现有相机的成像原理的示意图；
图6(B)为现有相机成像时光线的光路示意图；
图6(C)为本说明书实施例提供的光路转换元件的结构示意图；
图7(A)本说明书实施例中的针对每个镜头，该镜头射入的光线投射到对应的微透镜上的光路示意图；
图7(B)为本说明书实施例中的针对每个镜头，与该镜头对应的微透镜所在的平面和与该镜头对应的感光元件所在的平面间具有的夹角的示意图；
图7(C)为本说明书实施例针对每个镜头设置对应的微透镜阵列时光线光路转变示意图；
图7(D)为本说明书实施例多个镜头共用一个微透镜阵列时光线光路转变示意图；
图8(A)为本说明书实施例仅通过设置的微透镜阵列进行光路转换时光线的光路的示意图；
图8(B)为本说明书实施例提供的利用中间透镜转变光线的光路的示意图；
图9为本说明书实施例提供的ROI识别的方法流程示意图；
图10为本说明书实施例提供的一种ROI识别应用场景示意图；
图11为本说明书实施例提供的图像拼接的方法流程示意图；
图12为本说明书实施例提供的一种图像拼接应用场景示意图；
图13为本说明书实施例提供的图像采集的装置结构示意图；
图14为本说明书实施例提供的电子设备的结构示意图。
具体实施方式
现有技术中应用于无人驾驶的机器视觉系统通常如图1所示，该系统中常采用的相机主要由镜头、传感器、ISP(Image Signal Processor，图像信号处理器)以及传输接口板着四个部分构成。其中，为了达到高度集成减小相机体积的目的，现有的工业生产中通常将传感器、ISP以及传输接口板集成到一块PCB(Printed Circuit Board，印制电路板)板上，再进行封装构成相机的机背。这样现有相机从外表看主要包括镜头和机背两部分。
如图2所示在无人车前端部署三个相机采集不同方位的三张图像时，存在成本高，无法在维持低成本的同时实现相机的高度同步，以及可能出现所要传输的图像数据的数据量过大而导致传输效率低的问题。
为解决上述问题，本说明书实施例中提出一种图像采集的方案，其中一个相机配置多个镜头，并使从相机的多个镜头射入的光都投射到相机的传感器上，以实现使用一个相机同步获取多个方位的图像，并且进一步地避免由于所要传输的图像数据的数据量过大而导致传输效率低的情况出现。
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
如图3所示，本说明书实施例中提出了一种相机30，所述相机30适用于本说明书实施例中图像采集的方案，所述相机包括传感器300、光路转变元件301以及至少两个镜头302；其中，所述相机的各个镜头302上配置有不同颜色的滤光片303；
所述光路转变元件301用于针对每个镜头302，使从该镜头302射入的光线的光路转变，以使转变光路后的光线投射到所述传感器300上与该镜头302配置的滤光片303的颜色相对应的感光元件3000上。
需要说明的是，根据相机中传感器上的感光元件的种类可以将传感器分为多种类型的传感器，例如RGB(红绿蓝)、RGBY(红绿蓝黄)等。本说明书实施例中不对相机的传感器的类型进行限制，但本说明书实施例中相机的镜头上配置滤光片需要根据传感器的类型设置。
需要说明的是，本说明书实施例中在相机的镜头上配置滤光片时，该滤光片可以配置在镜头前面，也可以配置在镜头后面，两者实现相同的效果，本说明书实施例中对此不做具体限定。
进一步地，本说明书实施例后续进行举例说明时均以滤光片设置在镜头前面进行举例说明。
参见图4，在利用上述相机实现同步获取多个方位的图像时，本说明书实施例还提出了一种图像采集的方法，该方法中利用上述相机采集图像，该方法包括：
步骤S400，相机根据预设的曝光参数控制所述相机的至少两个镜头同时曝光。
步骤S400中，通过计算机编程设置镜头的曝光参数并将设定的曝光参数传送到相机的ISP中存储；在需要采集图像时，相机的ISP根据存储的曝光参数指示镜头进行曝光；相机的各镜头按照ISP指示的曝光参数开启/关闭快门完成曝光操作。这样，由于相机的各个镜头由同一个ISP控制曝光，所以相机在采集图像时能够实现高度同步，且采集的图像的曝光参数完全一致。
步骤S402，相机根据投射到所述传感器上各感光元件上的光线，生成图像。
在步骤S402中，从相机的各个镜头射入的光线经过光路转变元件后，光路发生转变，并最终投射到相机的传感器上；随后，传感器上的感光元件受到从相机的各个镜头射入的光线的照射，产生模拟电信号；接着对该模拟电信号进行模数转化生成图像并将所述图像传送给计算机。这样，从相机的每一个镜头射入的光线最终都投射到传感器上，并触使与该镜头上配置的滤光片的颜色相对应的感光元件发生电位变化，这样传感器将根据投射到所有感光元件上的光线生成一张重叠图像，该重叠图像中包括多个镜头采集的图像。
步骤S404，计算机针对每个镜头，提取所述图像中与该镜头配置的滤光片的颜色相对应的颜色分量，并基于所述颜色分量得到该镜头采集的图像。
步骤S404中，为了获得各个镜头采集的图像，计算机在接收到相机传送过来的图像后，还需要从接收的图像中提取出每个镜头对应的图像。具体实施中，针对每个镜头，计算机从相机传送过来的图像中提取出与该镜头配置的滤光片的颜色相对应的颜色分量，并基于所述颜色分量得到该镜头采集的图像。
例如，参见图5，假设相机配置有三个镜头，镜头1配置有红色(R)滤光片，镜头2配置有绿色(G)滤光片，镜头3配置有蓝色(B)滤光片；且相机传输给计算机的是如图5中(A)所示的R/G/B格式的图像；
此时，计算机在提取镜头1采集的图像时，将相机传送过来的图像的G颜色通道和B颜色通道的数值都调为0，得到该图像R颜色通道上的R颜色分量，并基于该R颜色分量终得到如图5中(B)所示的镜头1采集的图像；
计算机在提取镜头2采集的图像时，将相机传送过来的图像的R颜色通道和B颜色通道的数值都调为0，得到该图像G颜色通道上的G颜色分量，并在基于该G颜色分量得到如图5中(C)所示的镜头2采集的图像；
计算机在提取镜头3采集的图像时，将相机传送过来的图像的R颜色通道和G颜色通道的数值都调为0，得到该图像B颜色通道上的B颜色分量，并在基于该B颜色分量得到如图5中(D)所示的镜头3采集的图像。
本说明书实施例中，利用相机采集图像时，在根据预设的曝光参数控制相机的至少两个镜头同时曝光后，根据投射到相机传感器上的光线生成多个镜头采集的重叠图像，随后针对每个镜头，从生成的重叠图像中提取出该镜头采集的图像。其中，生成的重叠图像的格式与现有技术中一个镜头采集的图像的格式完全一致；如此，将通过多个镜头采集的图像重叠为一个图像，使得需要向计算机传输的图像数据的总数据量大大减少，在传输速度不变的情况下，提升了图像数据的传输效率，降低无人车出现无法实时针对环境变化做出相应的操作的情况出现。另外，由于多个镜头共用一个机背，因而不仅减少了相机的硬件成本，而且一个机背控制多个镜头一次曝光的曝光参数也完全一致，故而在基于采集的多个不同方位的图像可以有更高的同步性。
作为一种可能的实施方式，相机包括的镜头的数量小于或等于传感器上的感光元件的种类数量。
本说明书实施例中，相机包括的镜头的数量小于或等于所述传感器上的感光元件的种类数量时，可以保证相机根据从相机的每一个镜头射入的并投射到传感器上光线生成图像后，能够从生成的图像中提取出独立的与该镜头唯一对应的图像，进而保证相机的每一个镜头采集的图像信息都能被传感器感应到。
例如，相机的传感器上有红色(R)感光元件、蓝色(B)感光元件以及绿色(G)感光元件这三种感光元件；
情况1、假设相机配置有三个镜头，镜头1配置有红色(R)滤光片，镜头2配置有绿色(G)滤光片，镜头3配置有蓝色(B)滤光片；
从相机的每个镜头射入的不同颜色的光线在经过光路转变元件后，都将投射到传感器上，并分别触发传感器上的红色(R)感光元件、蓝色(B)感光元件以及绿色(G)感光元件产生模拟电位变化；
如此，针对每个镜头，最终生成的图像中与该镜头对应的颜色分量仅包含该镜头采集的图像信息。
情况2、假设相机配置有四个镜头，镜头1配置有红色(R)滤光片，镜头2配置有绿色(G)滤光片，镜头3配置有蓝色(B)滤光片、镜头4配置有黄色(Y)滤光片；
从相机的镜头1、镜头2以及镜头3射入的不同颜色的光线在经过光路转变元件后，都将投射到传感器上并分别触发传感器上的红色(R)感光元件、蓝色(B)感光元件以及绿色(G)感光元件产生模拟电位变化；
而对于镜头4来说，从镜头4射入的光线为黄光，由于传感器上没有与之相对应的感光元件，故即使从镜头4射入的黄光在经过光路转变元件转变光路后能够投射到传感器上，也无法触发传感器上的感光元件产生能够反映镜头4采集的图像的模拟电位变化，故而镜头4采集的图像无法被有效的收集到。
基于上述举例说明可以明确知道，当相机包括的镜头的数量小于或等于所述传感器上的感光元件的种类数量时，针对相机的每一个镜头，都能从传感器生成的图像中提取出独立的与该镜头唯一对应的图像。最终实现一次曝光得到曝光参数完全相同且相互独立的多张图像。
进一步地，本说明书实施例中需要使用一个相机的多个镜头同时采集图像，由于现有相机无法实现这个功能，本说明书实施例中针对相机内部的结构也做出了相应的改进。
下面将以现有相机作为参照对象，对本说明书实施例中的相机的内部结构改进进行详细的解释说明。
如图6(A)所示，目前相机成像通常是利用凸透镜成像原理。具体的，在相机拍摄物体时，镜头针对拍摄物体完成对焦后，将在镜头焦点所在的垂直于主光轴的平面(即焦平面)上形成被摄物体的最清晰的倒像。
沿镜头主光轴方向，从焦点处向镜头方向移动或者向远离镜头方向移动时，光线逐渐发散，对应形成的像随之逐渐变得模糊，并最终形成一个逐步扩大的圆，这个圆叫做弥散圆。
这样，在镜头焦点两侧的一段非常短的距离内形成的图像已经开始变得模糊，但人眼和传感器均无法感知这一变化，因而可以将这个区间形成的图像也看作是清晰的。基于此，焦深这一概念被提出，用于表征人眼不能识别的最大弥散圆之间的距离，且认定在镜头焦深范围内形成的图像均也是清晰的像。
如图6(B)所示，现有相机中镜头与传感器平行设置，其中传感器中包括感光元件以及设置在每个感光元件的入光面一侧的若干微透镜，其中一个感光元件对应一个微透镜。其中，设置在每个感光元件的入光面一侧的若干微透镜构成微透镜阵列，所述微透镜阵列用于使从镜头射入的光线的光路发生转变，以使转变光路后的光线为平行光线并垂直投射到传感器上。
这样，由于微透镜阵列设置在镜头焦深范围内，因而从镜头射入的光线在微透镜阵列所在平面上形成的像即是被摄物体的清晰像；进一步地，由于投射到微透镜阵列上的光线经过微透镜阵列地折射后转变成平行光线，因此光线在微透镜阵列和传感器之间的空间传播时不再发散，最终在传感器上形成的被摄物体的清晰像。
由于本说明书实施例中使用配置多个镜头的相机同时采集多个不同方位图像时，该相机硬件部分至少要满足以下两个条件：
条件一：从相机的各个镜头射入的光线都能投射到传感器上；
条件二：在传感器上能生成的被摄物体的像。
基于此，本说明书实施例中还提出了一种光路转换元件，用于转变从相机的各个镜头射入的光线的光路，并使得转变光路后的光线最终投射到相机的传感器上。
参见图6(C)，本说明书实施例提供一种光路转换元件301，该光路转变元件301包括：设置在镜头焦深范围内的微透镜阵列3010；
所述微透镜阵列3010用于针对每个镜头302，使从该镜头302射入的光线的光路转变，以使转变光路后的光线投射到所述传感器300上与该镜头302配置的滤光片303的颜色相对应的感光元件3000上。
本说明书实施例中光路转变元件可以包括设置在镜头与传感器的感光元件之间的微透镜阵列。在采集图像时，由于微透镜阵列设置在镜头焦深范围内，故而在微透镜阵列所在平面内所形成的像是清晰的像；进一步地，从相机的各个镜头射入的光线投射到微透镜阵列上后，从各个镜头射入的光线经过微透镜阵列的折射后光路发生转变，成为平行光线后投射到相机的传感器上，如此光线在微透镜阵列和传感器之间的空间传播时不再发散，最终在传感器上形成的被摄物体的清晰像。
作为一种可能的实施方式，所述微透镜阵列的中心与镜头的焦点重合，这样，在微透镜阵列所在位置将得到最清晰的重叠图像，进而使得传感器生成的重叠图像最清晰。
作为一种可能的实施方式，所述微透镜阵列包括若干个微透镜；
针对每个镜头，该镜头对应的微透镜所在的平面和传感器上与该镜头对应的感光元件所在的平面间具有夹角；其中，所述传感器上与该镜头对应的感光元件为：与该镜头配置的滤光片的颜色相对应的感光元件；不同镜头对应的微透镜所在的平面与感光元件所在的平面间的夹角不同。
如图7(A)，具体实施中，光路转变元件包括微透镜阵列时，该微透镜阵列由若干个微透镜阵列排布构成。进一步地，针对每个镜头，与该镜头对应的微透镜所在的平面，和传感器上与该镜头对应的感光元件所在的平面间具有夹角，且不同镜头对应的微透镜所在的平面与感光元件所在的平面间的夹角不同。
例如，参见图7(B)，设相机配置有三个镜头，镜头1配置有红色(R)滤光片，镜头2配置绿色(G)滤光片，镜头3配置有蓝色(B)滤光片；
这样构成微透镜阵列的若干个微透镜将分为三组，分别是对应于镜头1的微透镜、对应于镜头2的微透镜、对应于镜头3的微透镜；
其中，对应于镜头1的微透镜所在的平面和传感器上与镜头1对应的红色(R)感光元件所在的平面间具有夹角α；
对应于镜头2的微透镜所在的平面和传感器上与镜头2对应的绿色(G)感光元件所在的平面间具有夹角β；
对应于镜头3的微透镜所在的平面和传感器上与镜头3对应的蓝色(B)感光元件所在的平面间具有夹角θ；
其中，夹角α、夹角β以及夹角θ间两两互不相同。
本说明实施例中可以针对每个镜头单独设置与之对应的微透镜阵列，也可以使多个镜头共用一个微透镜阵列。
针对每个镜头单独设置与之对应的微透镜阵列时，如图7(C)所示，针对每个镜头，与该镜头对应的微透镜阵列和该镜头平行，且所述微透镜阵列设置在镜头焦深范围内，用于使从与之对应的镜头射入的光线的光路转变，形成平行光线，并投射到传感器上。优选的，针对每个镜头，该镜头的焦点与微透镜阵列的中心点重合。
多个镜头共用一个微透镜阵列时，如图7(D)所示，此时要求该微透镜阵列放置位置不能超出任意一个镜头的焦深范围，以保证每一个镜头采集的图像在该微透镜阵列处形成的像的都是清晰的。优选的，针对每个镜头，该镜头的焦点与微透镜阵列的中心点重合。
进一步地，多个镜头共用一个微透镜阵列时，本说明书实施例中的微透镜阵列主要有两种实现方式，下面将分别进行简要说明。
方式一：基于现有的传感器的结构，将传感器上的感光元件的入光面一侧的微透镜阵列作为光路转换元件中的微透镜阵列。
具体实现时，针对每个镜头，在制备与该镜头对应的微透镜时，直接制备在传感器上的感光元件的入光面一侧上，每一个微透镜覆盖一个感光元件；且该微透镜所在平面与该感光元件所在的平面间具有夹角，不同镜头对应的微透镜所在的平面与感光元件所在的平面间的夹角不同。这样制备完成后的每个微透镜可以使从与之对应的镜头射入的光线的光路转变，并投射到与该镜头对应的感光元件上。
上述实现方式中，针对每个镜头，与镜头对应的微透镜所在的平面和传感器上与该镜头对应的感光元件所在的平面间的夹角是固定，因而仅用于使从特定方向射入的光线的光路转变，以使转变光路后的光线投射到传感器上。相应的，相机的每个镜头的位置是固定的。
方式二：在镜头与传感器之间设置独立存在的微透镜阵列，作为光路转换元件中的微透镜阵列。
上述实现方式中，构成光路转变元件的微透镜阵列是独立于传感器设置的微透镜阵列；针对每个镜头，该微透镜阵列中与该镜头对应的微透镜所在的平面，和传感器上与该镜头对应的感光元件所在的平面间具有夹角；且不同镜头对应的微透镜所在的平面与感光元件所在的平面间的夹角不同。
其中，针对每个镜头，该镜头对应的微透镜所在的平面和传感器上与该镜头对应的感光元件所在的平面间的夹角可以是固定，也可以是可调控的。
当该夹角为固定夹角时，该微透镜可用于使从特定方向射入的光线的光路转变，以使转变光路后的光线投射到传感器上；相应的，相机的每个镜头的位置是固定的。
当该夹角为可调控夹角时，通过调整该夹角，使得该微透镜可用于使从设定区域射入的光线的光路转变，且转变光路后的光线投射到传感器上，这样只要将镜头布置在该设定区域内，从该镜头射入的光都可以在经过已对应调整后的微透镜后投射到相机的传感器上，这使得相机上镜头部署可以更灵活。
作为一种可能的实施方式，所述光路转变元件还包括电控开关；
所述电控开关用于针对每个镜头，改变该镜头对应的微透镜所在的平面和传感器上与该镜头对应的感光元件所在的平面间的夹角。
本说明书具体实施中，针对每个镜头，可以通过电控开关调整微透镜阵列中的与该镜头对应的每个微透镜的旋转角度，进而改变该镜头对应的微透镜所在的平面和传感器上与该镜头对应的感光元件所在的平面间的夹角。这样在相机上部署多个镜头时，可选择的安装镜头的位置增加，进而可以实现根据实际需求将镜头灵活地布置在相机上。
在使用方式二实现微透镜阵列时，可以移除传感器中的微透镜阵列，也可以保留传感器中的微透镜阵列。
当保留传感器中的微透镜阵列时，需要在感光元件的入光面一侧上对应设置凹透镜，来抵消传感器中的微透镜阵列对光线的会聚作用，以使从各个镜头射入的光线在经过传感器中的微透镜阵列和对应设置的凹透镜的共同作用后转变为平行光线，并投射到传感器上形成清晰的像。
进一步的，如图8(A)所示，本说明书实施例中，一个传感器对应多个镜头，且从各个镜头射入的光线都要投射到传感器上，由于传感器与镜头间不平行，且传感器中微透镜的所在平面与对应的感光元件所在平面间的具有夹角，导致能够在微透镜阵列处形成清晰的像的光线投射到传感器上时，由于成像区域变大，导致在图像分离后得到的该镜头采集的图像的质量差，出现人眼可见的模糊现象。
为解决上述问题，本说明书实施例中提出了针对相机的每个镜头，在该镜头与微透镜阵列放置至少一个中间透镜的方案，用于进一步转变经过微透镜阵列后的光线的光路，使该光线在经过至少一次中间透镜的折射后投射到传感器上，并在传感器上形成清晰的像。
作为一种可能的实施方式，所述光路转变元件还包括：至少一个中间透镜；
针对每个镜头，所述中间透镜位于所述微透镜阵列与所述传感器之间，用于使经过微透镜阵列后射入的光线的光路转变，以使转变光路后的光线投射到所述传感器上。
如图8(B)所示，图中在镜头与微透镜阵列之间设置有一个中间透镜；该镜头曝光后，从该镜头射入的光线经过微透镜阵列后平行射出并投射到中间透镜上；随后平行光线经过中间透镜后投射到传感器上。由图示可以看出，经过微透镜阵列后射出的平行光线在经过中间透镜的折射后，投射到传感器上的成像区域比未设置中间透镜的情况下的成像区域小。这样，在经过有限次的中间透镜折射后，可以使得从各个镜头射入的光线最终能在传感器上形成清晰的像，进而使得根据传感器生成的图像进行分离后得到的与该镜头对应的图像的能够有足够的清晰度。
进一步地，经过精确设计的中间透镜的多次折射后，可以使得从各个镜头射入的光线以垂直于传感器所在平面的方向投射到传感器上，这样，在传感器上形成的像和在微透镜阵列处所成的像可以看作是完全相同的。如此，传感器生成的图像的清晰度最好，所得的各个镜头采集的图像的质量最佳。
本说明书实施例中光路转换元件是由微透镜阵列和中间透镜共同构成的。在转换光线光路时，只需要保证从各个镜头射入的光线经过微透镜阵列和中间透镜的共同作用后能够在传感器上形成清晰的像即可，因此本说明书实施例中不对中间透镜的数量做出限定。
具体实施中，光路转变元件中的中间透镜可以是由若干微透镜构成的微透镜阵列，也可以是一块完整的透镜。
作为一种可能的实施方式，当中间透镜为微透镜阵列时，光路转变元件中的微透镜阵列与中间透镜可以整合在一起，作为一个相机构件，以使从各个镜头射入的光线在经过微透镜阵列后，随即投射到中间透镜上。如此，可以简化设置中间透镜的过程。
进一步地，针对任意一种感光元件，该感光元件被特定颜色的光源照射时，该感光元件将产生比较大的电位变化；当该感光元件被除特定颜色光源外的其他光源照射时，该感光元件也会产生比较小的电位变化。
现有技术中，一个相机仅采集一张图片，感光元件被除特定颜色光源外的其他光源照射时产生的电位变化不影响图像质量。
而本说明书实施例中一个镜头采集的图像对应一种感光元件。这样，针对每个镜头，投射到与该镜头对应的感光元件上的光线不仅有从该镜头射入光线，还会有从其它镜头射入的光线，如此，传感器基于该镜头对应的感光元件生成的图像受到其它镜头射入的光线的干扰，进而导致图像分离后得到的与该镜头对应的图像质量差。
为解决上述问题，本说明书实施例中提出了相应的解决方案。
作为一种可能的实施方式，所述光路转变元件中的每个微透镜上镀有透膜；
其中，各个镜头对应的微透镜上的透膜的颜色与该镜头配置的滤光片的颜色相对应。
具体实施中，光路转变元件中的每个微透镜上镀有透膜；且各个镜头对应的微透镜上的透膜的颜色与该镜头配置的滤光片的颜色相对应。这样，针对每个镜头，在光线投射到传感器上之前，对投射到传感器上的光线进行过滤，以减少从其它镜头射入并投射到与该镜头对应的感应元件上的光线，进而提高了图像质量。
进一步地，本说明书实施例还提供了两种应用本说明书实施例中的图像采集的方法的应用场景，分别为ROI识别和图像拼接。
场景一：ROI识别
如图9所示，本说明书实施例提供一种图像采集的方法，该方法包括：
步骤S900，ISP根据计算机设定的曝光参数指示镜头进行曝光。
步骤S902，镜头按照指示的曝光参数开启/关闭快门进行曝光。
步骤S900和步骤S902中，相机的各个镜头同时曝光，因而从各个镜头采集到图像拥有相同的曝光参数，这样在计算机基于这些图像进行后期处理时，由于各个镜头采集的图像的曝光参数完全一致，进而减小了由于图像的曝光参数不一致而带来的误差。
步骤S904，相机的传感器根据从各个镜头射入并投射到传感器上的光线生成图像，其中，所述光线是经过光路转变元件后投射到相机传感器上的感光元件上的。
步骤S906，相机将生成的图像传输给计算机。
步骤S908，计算机针对每个镜头，提取所述图像中与该镜头配置的滤光片的颜色相对应的颜色分量，并基于所述颜色分量得到该镜头采集的图像。
步骤S910，计算机从第一镜头采集的第一图像中确定第一感兴趣区域ROI以及所述第一ROI中的第一目标物，其中，第一镜头是相机包括的至少两个镜头中一个镜头。
此步骤中，计算机首先针对该镜头采集的图像进行特征提取，得到该图像对应的特征图；随后利用设定的多个锚点以及每个锚点对应的多个锚框从得到的特征图中提取候选ROI；接着从所有的候选ROI中随机选取出设定数目的候选ROI进行目标物识别，确定该图像中的ROI以及ROI中的目标物。
步骤S912，计算机根据第一镜头与第二镜头的相对位姿，确定所述第一ROI在第二图像上的第一位置，其中所述第二图像为第二镜头采集的图像。
步骤S914，计算机从确定出的所述第一ROI在第二图像上的第一位置上确定第二目标物。
步骤S916，计算机判断第一目标物和第二目标物是否为同一目标物，若是，执行步骤S918；否则执行步骤S920。
步骤S918，计算机确定从第一镜头采集到图像中识别出的第一ROI是目标ROI。
步骤S920，计算机确定从第一镜头采集到图像中识别出的第一ROI不是目标ROI。
作为一种可能的实施方式，相机的第一镜头和第二镜头可以是焦距不同的两个镜头，也可以是焦距相同的两个镜头。
作为一种可能的实施方式，若所述相机的第一镜头的焦距和第二镜头的焦距不相等，则所述第一镜头的焦距小于所述第二镜头的焦距；且在所述第一镜头采集的图像上使用的识别模型的精度低于在所述第二镜头采集的图像上使用的识别模型精度。
例如，如图10所示，所述相机配置有三个镜头，分别为镜头1——广角镜头，镜头2——中焦镜头、镜头3——长焦镜头；
在使用该相机采集目标物时，首先生成如图10中的(A)所示的重叠图像，随后在对该重叠图像进行图像分离后，得到与镜头1、镜头2、以及镜头3分别对应的图10中的(B)、图10中的(C)以及图10中的(D)三张图像；
在进行ROI识别时，首先使用精度较低的目标物识别模型在图10中的(B)图像中进行ROI识别，初步确定图10中的(B)中的ROI1以及该ROI1中的目标物1；
随后根据镜头1和镜头2的相对位姿，确定ROI1在镜头2采集的图像上的位置，并在确定出的镜头2采集的图像上的ROI1所在的位置上进行ROI识别，确定出目标物2；若目标物1和目标物2为同一目标物，则确定ROI1是目标ROI；
或者，根据镜头1和镜头3的相对位姿，确定ROI1在镜头3采集的图像上的位置，并在确定出的镜头3采集的图像上的ROI1所在的位置上进行ROI识别，确定出目标物3，若目标物1和目标物3为同一目标物，则确定ROI1是目标ROI；
或者，同时根据镜头1和镜头2的相对位姿，以及镜头1和镜头3的相对位姿，确定出ROI1在镜头2采集的图像上的位置以及ROI1在镜头3采集的图像上的位置，并在确定出的镜头2采集的图像上的ROI1所在的位置上进行ROI识别，确定出目标物2，且在确定出的镜头3采集的图像上的ROI1所在的位置上进行ROI识别，确定出目标物3；若目标物1、目标物2以及目标物3为同一目标物，则确定ROI1是目标ROI。
这样，在进行ROI识别过程中，当相机的第一镜头和第二镜头是焦距不同的两个镜头时，可以先使用焦距不同的镜头同时采集图像，然后先在焦距短的镜头采集图像中以较低精度的识别模型快速筛选出第一ROI，随后确定出该第一ROI在焦距长的镜头采集的图像中的位置，并在焦距长的镜头采集的图像中使用高精度的识别模型识别该第一ROI，随后根据精确识别的结果确定从焦距短的镜头中确定出的ROI是否是目标ROI。这样，在进行ROI识别时，可以先粗略筛选出ROI，再有针对性的对粗选出的ROI进行精确识别，如此可以提高ROI识别的速度，同时通过第二次的ROI精确识别提高了ROI识别精度。
场景二：图像拼接
如图11所示，本说明书实施例提供一种图像采集的方法，该方法包括：
步骤S1100，ISP根据计算机设定的曝光参数指示镜头进行曝光。
步骤S1102，镜头按照指示的曝光参数开启/关闭快门进行曝光。
步骤S1100和步骤S1102中，相机的各个镜头同时曝光，因而从各个镜头采集到图像拥有相同的曝光参数，这样在计算机基于这些图像进行后期处理时，由于各个镜头采集的图像的曝光参数完全一致，进而减小了由于图像的曝光参数不一致而带来的误差。
步骤S1104，相机的传感器根据从各个镜头射入并投射到传感器上的光线生成图像，其中，所述光线是经过光路转变元件后投射到相机传感器上的感光元件上的。
步骤S1106，相机将生成的图像传输给计算机。
步骤S1108，计算机针对每个镜头，提取所述图像中与该镜头配置的滤光片的颜色相对应的颜色分量，并基于所述颜色分量得到该镜头采集的图像。
步骤S1110，针对每个镜头采集的图像，根据镜头的内参对该镜头采集的图像进行畸变矫正。
此步骤中，在对相机的各个镜头采集的图像进行畸变矫正时，该相机的每一个镜头的内参都可以直接获取；
在矫正图像时，首先根据图像失真原因，建立相应的数学模型；随后从畸变的图像中提取出进行畸变矫正时所需要的信息；最后基于建立的数学模型以及提取出进行畸变矫正时所需要的信息对发生畸变的图像进行矫正。
步骤S1112，从每个矫正后的图像中提取出关键点。
其中，图像中的关键点是经过特征算子处理后能够保持特征不变的位置点。
步骤S1114，对各个图像中的关键点进行特征匹配，并基于特征匹配结果进行图像拼接。
例如，如图12所示，所述相机配置有三个镜头，分别为镜头1，镜头2以及镜头3；
在使用该相机采集目标物时，在对生成重叠图像进行图像分离后，将得到与镜头1、镜头2、以及镜头3分别对应的图10中的(A)、图10中的(B)以及图10中的(C)三张图像；
随后，根据镜头1、镜头2、以及镜头3的内参分别对各个镜头采集的图像进行畸变矫正；
接着，从每个矫正后的图像中提取出关键点，并针对各个图像中的关键点进行特征匹配，且基于特征匹配结果进行图像拼接，得到如图10中的(D)所示的超广角图像。
本说明书实施例中在基于相机一次曝光采集的多张图像进行图像拼接时，由于采集的所有图像的曝光参数完全一致，因而拼接后的图像能够有更好的观看体验。
作为一种可能的实施方式，所述相机的每个镜头具有相同的焦距。
这样，在基于上述相机的多个镜头采集的图像进行图像拼接后，能够得到匹配度更高的拼接图像。
当相机的一个镜头不能实现全景拍摄时，本说明书实施例中可以通过合理布置该相机的多个镜头的位置，使得根据该相机一次拍摄采集的多张图像就能拼接出全景图。这样，本说明书实施例中可以实现全景图像的快速获取。
应当注意，尽管在上述实施例中，以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，上述实施例中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
以上为本说明书实施例提供的图像采集的方法，基于同样的思路，本说明书还提供了相应的装置、存储介质和电子设备。
图13为本说明书实施例提供的一种图像采集的结构示意图，所述装置用于控制相机采集图像；所述相机包括传感器、光路转变元件以及至少两个镜头；其中，所述相机的各个镜头上配置有不同颜色的滤光片；
所述光路转变元件用于针对每个镜头，使从该镜头射入的光线的光路转变，以使转变光路后的光线投射到所述传感器上与该镜头配置的滤光片的颜色相对应的感光元件上；
所述装置包括：
曝光模块1300，用于根据预设的曝光参数控制所述相机的至少两个镜头同时曝光；
图像生成模块1301，用于根据投射到所述传感器上各感光元件上的光线，生成图像；
图像分离模块1302，用于针对每个镜头，提取所述图像中与该镜头配置的滤光片的颜色相对应的颜色分量，并基于所述颜色分量得到该镜头采集的图像。
可选地，所述相机包括的镜头的数量小于或等于所述传感器上的感光元件的种类数量。
可选地，该装置还包括：
第一目标物确定模块，用于从第一镜头采集的第一图像中确定第一感兴趣区域ROI以及所述第一ROI中的第一目标物；
ROI位置确定模块，用于根据第一镜头与第二镜头的相对位姿，确定所述第一ROI在第二图像上的第一位置，其中所述第二图像为第二镜头采集的图像；
第二目标物确定模块，用于从确定出的所述第一ROI在第二图像上的第一位置上确定第二目标物；
目标ROI确定模块，用于若所述第一目标物与所述第二目标物为同一目标物，则确定所述第一ROI为目标ROI。
可选地，该装置还包括：
图像畸变矫正模块，用于针对每个镜头采集的图像，根据镜头的内参对该镜头采集的图像进行畸变矫正；
关键点提取模块，用于从每个矫正后的图像中提取出关键点；
图像拼接模块，用于对各个图像中的关键点进行特征匹配，并基于特征匹配结果进行图像拼接。
本说明书还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可用于执行上述图1提供的图像采集的方法。
基于图14所示的图像采集的方法，本说明书实施例还提供了图14所示的电子设备的结构示意图。如图14，在硬件层面，该无人设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图4所述的图像采集的方法。
当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (12)

1.一种图像采集的方法，其特征在于，相机包括传感器、光路转变元件以及至少两个镜头；其中，所述相机的各个镜头上配置有不同颜色的滤光片；
所述光路转变元件用于针对每个镜头，使从该镜头射入的光线的光路转变，以使转变光路后的光线投射到所述传感器上与该镜头配置的滤光片的颜色相对应的感光元件上；
所述方法包括：
根据预设的曝光参数控制所述相机的至少两个镜头同时曝光；
根据投射到所述传感器上各感光元件上的光线，生成图像；
针对每个镜头，提取所述图像中与该镜头配置的滤光片的颜色相对应的颜色分量，并基于所述颜色分量得到该镜头采集的图像。
2.如权利要求1所述的方法，其特征在于，所述相机包括的镜头的数量小于或等于所述传感器上的感光元件的种类数量。
3.如权利要求1所述的方法，其特征在于，该方法还包括：
从第一镜头采集的第一图像中确定第一感兴趣区域ROI以及所述第一ROI中的第一目标物；
根据第一镜头与第二镜头的相对位姿，确定所述第一ROI在第二图像上的第一位置，其中所述第二图像为第二镜头采集的图像；
从确定出的所述第一ROI在第二图像上的第一位置上确定第二目标物；
若所述第一目标物与所述第二目标物为同一目标物，则确定所述第一ROI为目标ROI。
4.如权利要求1所述的方法，其特征在于，该方法还包括：
针对每个镜头采集的图像，根据镜头的内参对该镜头采集的图像进行畸变矫正；
从每个矫正后的图像中提取出关键点；
对各个图像中的关键点进行特征匹配，并基于特征匹配结果进行图像拼接。
5.一种光路转变元件，其特征在于，所述光路转变元件用于转变从相机的各个镜头射入的光线的光路；所述相机的各镜头上配置有不同颜色的滤光片；
所述光路转变元件包括：设置在镜头焦深范围内的微透镜阵列；
所述微透镜阵列用于针对每个镜头，使从该镜头射入的光线的光路转变，以使转变光路后的光线投射到所述传感器上与该镜头配置的滤光片的颜色相对应的感光元件上。
6.如权利要求5所述的光路转变元件，其特征在于，所述微透镜阵列包括若干个微透镜；
针对每个镜头，该镜头对应的微透镜所在的平面和传感器上与该镜头对应的感光元件所在的平面间具有夹角；其中，所述传感器上与该镜头对应的感光元件为：与该镜头配置的滤光片的颜色相对应的感光元件；
不同镜头对应的微透镜所在的平面与感光元件所在的平面间的夹角不同。
7.如权利要求6所述的光路转变元件，其特征在于，所述光路转变元件还包括电控开关；
所述电控开关用于针对每个镜头，改变该镜头对应的微透镜所在的平面和传感器上与该镜头对应的感光元件所在的平面间的夹角。
8.如权利要求5所述的光路转变元件，其特征在于，所述光路转变元件还包括：至少一个中间透镜；
针对每个镜头，所述中间透镜位于所述微透镜阵列与所述传感器之间，用于使经过微透镜阵列后的光线的光路转变，以使转变光路后的光线投射到所述传感器上与该镜头配置的滤光片的颜色相对应的感光元件上。
9.如权利要求5～8任一所述的光路转变元件，其特征在于，所述光路转变元件中的每个微透镜上镀有透膜；
其中，各个镜头对应的微透镜上的透膜的颜色与该镜头配置的滤光片的颜色相对应。
10.一种图像采集的装置，其特征在于，所述装置用于控制相机采集图像；所述相机包括传感器、光路转变元件以及至少两个镜头；其中，所述相机的各个镜头上配置有不同颜色的滤光片；
所述光路转变元件用于针对每个镜头，使从该镜头射入的光线的光路转变，以使转变光路后的光线投射到所述传感器上与该镜头配置的滤光片的颜色相对应的感光元件上；
该装置包括：
曝光模块，用于根据预设的曝光参数控制所述相机的至少两个镜头同时曝光；
图像生成模块，用于根据投射到所述传感器上各感光元件上的光线，生成图像；
图像分离模块，用于针对每个镜头，提取所述图像中与该镜头配置的滤光片的颜色相对应的颜色分量，并基于所述颜色分量得到该镜头采集的图像。
11.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-4任一项所述的方法。
12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-4任一项所述的方法。
CN202010880179.XA 2020-08-27 2020-08-27 一种图像采集的方法、装置及光路转变元件 Active CN112004011B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010880179.XA CN112004011B (zh) 2020-08-27 2020-08-27 一种图像采集的方法、装置及光路转变元件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010880179.XA CN112004011B (zh) 2020-08-27 2020-08-27 一种图像采集的方法、装置及光路转变元件

Publications (2)

Publication Number Publication Date
CN112004011A true CN112004011A (zh) 2020-11-27
CN112004011B CN112004011B (zh) 2022-02-01

Family

ID=73471858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010880179.XA Active CN112004011B (zh) 2020-08-27 2020-08-27 一种图像采集的方法、装置及光路转变元件

Country Status (1)

Country Link
CN (1) CN112004011B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113766128A (zh) * 2021-09-09 2021-12-07 苏州华兴源创科技股份有限公司 图像处理装置、方法和成像设备
CN114913202A (zh) * 2022-04-07 2022-08-16 北京拙河科技有限公司 一种微透镜阵列的目标追踪方法及系统
CN115209033A (zh) * 2021-04-12 2022-10-18 华为技术有限公司 摄像装置、显示控制方法、显示控制装置及电子设备
CN117233874A (zh) * 2023-11-16 2023-12-15 西安信飞特信息科技有限公司 图像采集器件及图像采集设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2681352Y (zh) * 2003-12-05 2005-02-23 鸿富锦精密工业（深圳）有限公司 图像传感器
US20060108505A1 (en) * 2004-11-19 2006-05-25 Gruhlke Russell W Imaging systems and methods
WO2007068189A1 (fr) * 2005-12-13 2007-06-21 Shilin Deng Dispositif d'imagerie optique pour souris optique
US20110164166A1 (en) * 2008-10-30 2011-07-07 Canon Kabushiki Kaisha Image capturing apparatus
CN105302160A (zh) * 2013-09-10 2016-02-03 蒋春花 一种采用处理器控制的仿复眼感知成像信息采集系统
CN105390515A (zh) * 2015-10-13 2016-03-09 青岛中科软件股份有限公司 一种图像传感器
CN106210466A (zh) * 2016-06-30 2016-12-07 联想(北京)有限公司 电子设备及其摄像头
US9699379B1 (en) * 2012-09-17 2017-07-04 Amazon Technologies, Inc. Camera arrangements for wide-angle imaging
US9854164B1 (en) * 2013-12-31 2017-12-26 Ic Real Tech, Inc. Single sensor multiple lens camera arrangement
CN210129913U (zh) * 2019-09-18 2020-03-06 深圳市合飞科技有限公司 一种多镜头光谱相机
US10585344B1 (en) * 2008-05-19 2020-03-10 Spatial Cam Llc Camera system with a plurality of image sensors

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2681352Y (zh) * 2003-12-05 2005-02-23 鸿富锦精密工业（深圳）有限公司 图像传感器
US20060108505A1 (en) * 2004-11-19 2006-05-25 Gruhlke Russell W Imaging systems and methods
WO2007068189A1 (fr) * 2005-12-13 2007-06-21 Shilin Deng Dispositif d'imagerie optique pour souris optique
US10585344B1 (en) * 2008-05-19 2020-03-10 Spatial Cam Llc Camera system with a plurality of image sensors
US20110164166A1 (en) * 2008-10-30 2011-07-07 Canon Kabushiki Kaisha Image capturing apparatus
US9699379B1 (en) * 2012-09-17 2017-07-04 Amazon Technologies, Inc. Camera arrangements for wide-angle imaging
CN105302160A (zh) * 2013-09-10 2016-02-03 蒋春花 一种采用处理器控制的仿复眼感知成像信息采集系统
US9854164B1 (en) * 2013-12-31 2017-12-26 Ic Real Tech, Inc. Single sensor multiple lens camera arrangement
CN105390515A (zh) * 2015-10-13 2016-03-09 青岛中科软件股份有限公司 一种图像传感器
CN106210466A (zh) * 2016-06-30 2016-12-07 联想(北京)有限公司 电子设备及其摄像头
CN210129913U (zh) * 2019-09-18 2020-03-06 深圳市合飞科技有限公司 一种多镜头光谱相机

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115209033A (zh) * 2021-04-12 2022-10-18 华为技术有限公司 摄像装置、显示控制方法、显示控制装置及电子设备
CN113766128A (zh) * 2021-09-09 2021-12-07 苏州华兴源创科技股份有限公司 图像处理装置、方法和成像设备
CN113766128B (zh) * 2021-09-09 2023-08-01 苏州华兴源创科技股份有限公司 图像处理装置、方法和成像设备
CN114913202A (zh) * 2022-04-07 2022-08-16 北京拙河科技有限公司 一种微透镜阵列的目标追踪方法及系统
CN114913202B (zh) * 2022-04-07 2022-11-29 北京拙河科技有限公司 一种微透镜阵列的目标追踪方法及系统
CN117233874A (zh) * 2023-11-16 2023-12-15 西安信飞特信息科技有限公司 图像采集器件及图像采集设备
CN117233874B (zh) * 2023-11-16 2024-02-09 西安信飞特信息科技有限公司 图像采集器件及图像采集设备

Also Published As

Publication number Publication date
CN112004011B (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN112004011B (zh) 一种图像采集的方法、装置及光路转变元件
CN105611124B (zh) 图像传感器、成像方法、成像装置及终端
JP6029380B2 (ja) 画像処理装置、画像処理装置を具備する撮像装置、画像処理方法、及びプログラム
US8773549B2 (en) Image processing apparatus, image processing method, image pickup apparatus, and display device
EP2693756B1 (en) Image pickup apparatus, image pickup device, image processing method, aperture control method, and program
US9036072B2 (en) Image processing apparatus and image processing method
KR102229811B1 (ko) 단말기를 위한 촬영 방법 및 단말기
CN103370943B (zh) 成像装置和成像方法
CN112866549B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
KR20200031169A (ko) 이미지 처리 방법 및 장치
JP6003578B2 (ja) 画像生成方法及び装置
CN107490842A (zh) 摄像模组、成像设备和图像处理方法
US9071828B2 (en) Imaging apparatus
KR102429361B1 (ko) 카메라 및 그 제어 방법
US11962901B2 (en) Systems and methods for obtaining a super macro image
JP6168220B2 (ja) 画像生成装置、画像処理装置、画像生成方法及び画像処理プログラム
JP2014137567A (ja) 撮像装置
CN105847658A (zh) 一种多点对焦方法、装置及智能终端
CN108432233A (zh) 摄像装置及图像数据生成方法
JP6330955B2 (ja) 撮像装置及び撮像方法
US20160316148A1 (en) Image processing device, imaging device, image processing method, and image processing program
CN112104796B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN111258166B (zh) 摄像模组及其潜望式摄像模组和图像获取方法及工作方法
JP6569769B2 (ja) 任意視点画像合成方法及び画像処理装置
EP4346199A1 (en) Imaging method and device for autofocusing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant