CN112866512B - 复眼摄像装置及复眼系统 - Google Patents

复眼摄像装置及复眼系统 Download PDF

Info

Publication number
CN112866512B
CN112866512B CN201911173889.2A CN201911173889A CN112866512B CN 112866512 B CN112866512 B CN 112866512B CN 201911173889 A CN201911173889 A CN 201911173889A CN 112866512 B CN112866512 B CN 112866512B
Authority
CN
China
Prior art keywords
eye
ommatidium
compound
small
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911173889.2A
Other languages
English (en)
Other versions
CN112866512A (zh
Inventor
张晓林
徐越
谷宇章
郭爱克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Microsystem and Information Technology of CAS
Original Assignee
Shanghai Institute of Microsystem and Information Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Microsystem and Information Technology of CAS filed Critical Shanghai Institute of Microsystem and Information Technology of CAS
Priority to CN201911173889.2A priority Critical patent/CN112866512B/zh
Priority to JP2022528046A priority patent/JP7393542B2/ja
Priority to EP20893641.9A priority patent/EP4068747A4/en
Priority to US17/777,403 priority patent/US12041331B2/en
Priority to PCT/CN2020/071734 priority patent/WO2021103297A1/zh
Publication of CN112866512A publication Critical patent/CN112866512A/zh
Application granted granted Critical
Publication of CN112866512B publication Critical patent/CN112866512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Measurement Of Optical Distance (AREA)
  • Exposure Control For Cameras (AREA)
  • Cameras In General (AREA)
  • Studio Devices (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

本发明涉及一种复眼摄像装置及一种复眼系统。所述复眼摄像装置包括排成一行或一列的复数个小眼，每个所述小眼均包括光学元件和对应的感光单元，每个所述小眼列至少对应于一个小眼列视平面，小眼列视平面通过小眼列中各小眼的光心以及各小眼的至少一个感光单元的中心附近，每个感光单元至少与一个小眼列视平面相交，每个感光单元的视线通过感光单元的中心与所在小眼的光心，处理器被配置为基于感光单元接收的信息生成图像，并对图像进行处理来获得有关被摄对象的信息。所述复眼系统可以包括上述复眼摄像装置。利用上述复眼摄像装置可以从不同方向进行二维平面或者立体探测，有利于获取准确的二维和三维空间信息。

Description

复眼摄像装置及复眼系统
技术领域
本发明涉及光学成像领域，尤其涉及一种复眼摄像装置和一种复眼系 统。
背景技术
动物界中，复眼指的是一种由大量的单眼组成的视觉器官，主要在昆 虫及甲壳类等节肢动物身上出现，以复眼类昆虫为例，其复眼中每个单眼 均具有晶状体(类似于微透镜)以及对应于晶状体设置的感光细胞，这些 感光细胞会将感光信息传递到昆虫的脑神经系统，从而有效地计算自身与 所观察物体的方位和距离，即实现立体视觉，这有利于复眼类昆虫进行快 速判断和反应。
人工复眼技术是受动物的独特复眼结构启发而发展起来的技术。同传 统光学系统相比，人工复眼具有体积小、重量轻、视场大以及灵敏度高等 优点，因而具有广泛的应用前景。关于人工复眼技术的研究涉及雷达系统、 导弹的导引装置、微型飞行器、舰艇搜索与跟踪系统、夜视设备、微型复 眼相机、机器人等领域。例如，人工复眼技术可以用在智能机器人的视觉 系统中，系统通过对人工复眼探测器收集到的外界信息进行处理，可以实 现对目标的识别、跟踪、测速等等。
但是，目前公开的人工复眼通常采用复数台相机或者相机阵列，利用 不同相机获得对称图像，再通过算法进行立体匹配，以获得立体视觉。这 与动物的复眼的原理不同，并不能算是真正意义上的复眼，不仅体积大， 需要的计算成本也很大。
发明内容
本发明提供一种复眼摄像装置，采用了仿生结构设计，目的是获取准 确的三维空间信息，实现更佳的立体视觉功能。本发明另外提供了一种包 括所述复眼摄像装置的复眼系统。
一方面，本发明提供的一种复眼摄像装置包括小眼列和处理器，所述 小眼列，所述小眼列包括复数个光学上互不干涉且排成一列的小眼，每个 所述小眼均包括光学元件和设置在所述光学元件的焦平面附近的至少一个 感光单元，所述光学元件用来朝向被摄对象并接收视野内入射的光束，其 中，每个所述小眼列至少对应于一个小眼列视平面，所述小眼列视平面通 过所述小眼列中各小眼的光心以及每个小眼的至少一个感光单元的中心附 近，每个所述感光单元至少与一个所述小眼列视平面相交，每个所述感光 单元的视线通过所述感光单元的中心与所在小眼的光心；所述处理器被配 置为基于所述小眼中的感光单元接收的信息生成图像，并对所述图像进行 处理来获得有关被摄对象的信息。
可选的，所述小眼列中，每个小眼包括一个所述感光单元，且各个所 述感光单元的视线在所述小眼列的视野内互不交叉。
可选的，所述小眼列中，每个小眼包括一个或两个以上的所述感光单 元，且至少一个所述感光单元的视线在所述小眼列的视野内与其它所述感 光单元的视线交叉。
可选的，所述复眼摄像装置包括两个以上的所述小眼列，不同所述小 眼列的小眼列视平面之间形成一夹角，每个所述小眼属于一个或两个以上 的所述小眼列。
可选的，多个所述小眼列中依次邻接构成小眼阵列，所述小眼阵列中 的各个所述小眼的光学元件在蜂窝形曲面内排布或者在二维平面内排布。
可选的，所述处理器包括单复眼像成像单元，所述单复眼像成像单元 被配置为在获得各个所述小眼中的所述感光单元的信息后，将视线互不交 叉的全部或部分所述感光单元的信息进行处理并组成图像，以得到至少一 幅单复眼像。
可选的，所述处理器还包括匹配复眼像单元、视差计算单元以及位置 分析单元，所述匹配复眼像单元被配置为将属于同一所述小眼列视平面、 且其中至少部分所述感光单元的视线相互交叉的两幅以上的所述单复眼像 进行匹配，以得到一组匹配复眼像，所述匹配复眼像中的各幅所述单复眼 像均包括根据视线交叉处的被摄对象的信息而形成于单复眼图像中的像素 点，所述视差计算单元被配置为获取所述匹配复眼像中根据视线交叉处的 被摄对象的信息而生成的像素点之间的视差信息，所述位置分析单元被配 置为基于所述小眼列的信息以及所述视差信息获取位于视线交叉处的被摄 对象的信息。
可选的，所述匹配复眼像中的单复眼像均根据同一时刻或同一时间段 获得的各个所述小眼中的所述感光单元的信息得到。
可选的，所述位置分析单元还被配置为通过多个时刻或同一时间段的 所述被摄对象的信息，获取所述被摄对象在视野内的运动信息。
可选的，所述复眼摄像装置还包括存储单元和显示单元，所述存储单 元被配置为存储所述单复眼像、所述匹配复眼像以及所述被摄对象的信息， 所述显示单元被配置为输出所述单复眼像并显示，或者，所述显示单元被 配置为基于所述位置分析单元获取的被摄对象的信息，将所述被摄对象的 纹理颜色、三维位姿及形状中的至少一种输出并显示。
可选的，同一所述小眼列包括至少一个子小眼列，每个所述子小眼列 包括复数个依次邻接的小眼，相邻两个所述子小眼列之间具有设定间距。
可选的，相邻两个所述子小眼列之间设置有与所述子小眼列不属于同 一所述小眼列的小眼。
可选的，每个所述子小眼列中的小眼的光心的连线为直线段或者弧线 段。
可选的，每个所述感光单元的视线具有与所述感光单元的感光面积关 联的扩散角，所述扩散角小于或等于同一所述小眼列视平面中相邻的两个 所述感光单元的视线的夹角。
可选的，当所述子小眼列的各个所述小眼的光心的连线为弧线段时， 所述扩散角还小于或等于位于所述弧线段中的相邻两个所述小眼的轴线之 间的夹角。
可选的，所述小眼列中，各个所述小眼中的所述光学元件均为微透镜， 各个所述微透镜的直径相同或不全部相同，焦距相同或不全部相同。
可选的，所述小眼列中，各个所述小眼的微透镜垂直于所述小眼列视 平面的截面为圆形、椭圆形或者多边形。
可选的，同一所述小眼列中，各个所述小眼中的所述感光单元的数量 相同。
可选的，所述感光单元接收的信息包括对应视线上的入射光束的强度 信息和色彩信息。
可选的，所述小眼列中的各个所述小眼集成在同一半导体衬底上，各 个所述小眼之间通过介质隔离。
一方面，本发明还提供一种复眼系统，所述复眼系统包括以设定间距 排布的复数个上述的复眼摄像装置。
可选的，复数个所述复眼摄像装置相对于一中心线对称。
可选的，所述复眼系统还包括控制装置，用以控制所述小眼列的位姿， 所述控制装置与每个所述复眼摄像装置的处理器连接。
本发明提供的复眼摄像装置，包括至少一个小眼列以及处理器，所述 小眼列包括复数个光学上互不干涉且排成一列的小眼，每个所述小眼均包 括光学元件和设置在所述光学元件的焦平面附近的至少两个感光单元。所 述复眼摄像装置与复眼类动物的复眼功能相似，具体而言，小眼列中的每 个小眼可具有如动物复眼中的单眼的作用，每个所述小眼列至少对应于一 个小眼列视平面，所述小眼列视平面通过所述小眼列中各小眼的光心以及 每个小眼的至少一个感光单元的中心附近，每个所述感光单元至少与一个 所述小眼列视平面相交，每个所述感光单元的视线通过所述感光单元的中 心与所在小眼的光心，在同一小眼列视平面的不同感光单元的视线可以交 叉或不交叉，对应的，通过感光单元可以获得视野中的图像，清晰度较高， 本发明提供的复眼摄像装置具有与动物复眼非常接近的仿生设计，有利于 获取准确的三维空间信息，实现更佳的立体视觉。
本发明提供的复眼系统，包括以设定间距排布的复数个上述的复眼摄 像装置，利用上述复眼摄像装置可以从不同方向进行二维平面或者立体探 测，有利于获取准确的二维和三维空间信息，实现更佳的立体视觉，可以 用在机器人视觉、飞行器等领域，具有广泛的应用前景。
附图说明
图1是本发明一实施例的复眼摄像装置的结构示意图。
图2(a)是本发明一实施例中小眼列的成像示意图。
图2(b)是图2(a)中的一个小眼的成像示意图。
图2(c)是图2(a)中的一个感光单元所对应的光心锥和像素面感光 束的示意图。
图3是本发明一实施例中的小眼列的示意图。
图4是本发明一实施例中的小眼列的示意图。
图5是本发明一实施例中的小眼列的示意图。
图6是本发明一实施例中的小眼列的示意图。
图7是本发明一实施例中的小眼列的示意图。
图8是本发明一实施例的复眼摄像装置中小眼排列为六角形的示意图。
图9是本发明一实施例中复眼摄像装置的可视范围的示意图。
图10为本发明一实施例中复眼摄像装置的可视范围的示意图。
图11为本发明一实施例中复眼摄像装置的可视范围的示意图。
图12为本发明一实施例中小眼列的光心锥和像素面感光束的示意图。
图13是本发明一实施例中小眼阵列的平面示意图。
图14为本发明一实施例的复眼摄像装置的测距示意图。
图15是本发明一实施例中复眼摄像装置的测距示意图。
附图标记说明：
100、200、300、400-小眼阵列；
10、20、30、40-小眼；
21、31-感光单元；
10a-焦平面。
具体实施方式
目前关于人工复眼技术虽然已经有很多研究和成果，但是，像复眼类 昆虫那样，直接通过复眼来获取立体视觉信息的人工复眼技术仍未出现， 主要原因在于缺乏更接近动物复眼的高仿生复眼结构以及基于高仿生复眼 结构实现立体视觉功能的计算机技术开发。显然，通过高仿生复眼结构来 实现立体视觉功能，对人工复眼的发展极具开创意义，采用相关技术的复 眼摄像装置有利于获取准确的三维空间信息，相较于通过普通复数台相机 分别拍摄图像再进行处理的方法可以实现更佳的立体视觉功能。
基于上述目的，本发明提出了一种复眼摄像装置以及一种复眼系统。 其中，本发明提出的复眼摄像装置包括小眼列和处理器，所述小眼阵列包 括复数个光学上互不干涉且排成一列的小眼，每个所述小眼均包括光学元 件和设置在所述光学元件的焦平面附近的至少一个感光单元，所述光学元 件用来朝向被摄对象并接收视野内入射的光束，其中，每个所述小眼列至 少对应于一个小眼列视平面，所述小眼列视平面通过所述小眼列中各小眼 的光心以及每个小眼的至少一个感光单元的中心附近，每个所述感光单元 至少与一个所述小眼列视平面相交，每个所述感光单元的视线通过所述感 光单元的中心与所在小眼的光心；所述处理器被配置为基于所述小眼中的 感光单元接收的信息生成图像，并对所述图像进行处理来获得有关被摄对 象的信息。本发明提出的复眼系统包括所述复眼摄像装置。
本发明提出的复眼摄像装置从仿生意义上来看，类似于复眼类动物的 复眼，而复眼系统类似于复眼类动物的视觉系统。在所述复眼摄像装置中， 小眼列中的小眼可以根据需要设置足够的数量，此处“列”也可以用“行” 代替。小眼列中每个小眼的光学元件用于接收光线，因而在小眼列的同一 侧设置，用于在摄像时朝向被摄对象。沿感光单元的视线方向，入射光线 通过光学元件并到达对应的感光单元而被感应，转换为图像信息。对于复 眼摄像装置“看到”的被摄对象，其可以是空间中的任何物体或生物，被 摄对象可以看作具有一定纹理颜色、三维位姿及形状的空间点的组合。在 拍摄时，光入射到小眼列中的小眼，通过小眼中的感光单元，可以根据测 到的光强、颜色等生成有关视线上的被摄对象的图像。复眼摄像装置具有 与动物复眼非常接近的仿生设计，有利于获取准确的二维或三维空间信息， 有助于实现较佳的立体视觉。
以下结合附图和多个具体的实施例对本发明的复眼摄像装置和复眼系 统作进一步详细说明。根据下面的说明，本发明的优点和特征将更清楚。 应当理解，各个实施例仅是制造和应用实施例的示例性的具体实施方式， 并不构成在制造和应用本发明时的范围限制。并且，对多个实施例分别进 行描述仅是为了更清晰地阐释本发明的内涵，但每个实施例中的技术特征 并不属于该实施例所独有的特征，各个实施例的全部特征也可以作为一个 总的实施例的特征。在某些实施方式下，下述多个实施例中的技术特征也 可以相互关联、启发，以构成新的实施例。
实施例一
本实施例介绍本发明的复眼摄像装置的主要结构和功能。
图1是本发明一实施例的复眼摄像装置的结构示意图。参照图1，一 实施例中，复眼摄像装置包括上述的小眼列和处理器。
具体的，所述复眼摄像装置可以包括一个或两个以上的所述小眼列， 多个小眼列可以构成小眼阵列，不同所述小眼列的小眼列视平面之间形成 一夹角，每个所述小眼属于一个或两个以上的所述小眼列。对于同一所述 小眼列，每个小眼可以包括一个或两个以上(包括两个)的感光单元，各 个感光单元的视线均在一个平面，因而可以形成为交叉或者不交叉的两条 线。此处，是否交叉指的是在小眼列的正面即光学元件和感光单元的接收 入射光的一侧视线是否相交于一个点，即在小眼列的视野内交叉。
所述处理器被配置为基于接收的所述小眼中感光单元的信息生成图像， 并对所述图像进行处理来获得有关被摄对象的信息。进一步的，为了对感 光单元的信息进行处理并获得有关被摄对象的信息，所述处理器可选地包 括如下组件或模块：单复眼像成像单元、匹配复眼像单元、视差计算单元 以及位置分析单元。具体功能说明如下。
所述单复眼像成像单元被配置为在获得所述小眼列中来自各个所述小 眼的所述感光单元的信息后，将视线互不交叉的全部或部分所述感光单元 的信息进行处理并组成图像，以得到至少一幅单复眼像。所述单复眼像由 于仅根据分离的感光单元获取不同视线方向的被摄对象信息，虽然不具有 立体视觉效果，但由于没有对焦问题，相对于普通的2D相机，不需要再设 置专门的镜头对焦，因而可以实现清晰度较佳的平面视觉。
本实施例的复眼摄像装置中，小眼列是由多个小眼组成的结构，所以 在各个感光单元的视线发生交叉(此处指的是在小眼列的视野内交叉，不 包括同一小眼的感光单元的视线在光心相交的情况)时，由于交叉处的被 摄对象与感光单元的距离不同，对于视线交叉的两个感光单元，其所获得 的交叉点的图像会发生视差，该视差可以通过对视线交叉的两个感光单元 所在的两幅单复眼像进行处理获得，可选的计算视差的方法如块匹配(block matching)法、深度神经网络学习法以及特征匹配法等，此外可以采用关于 双目视觉传感器的视差的公开计算方法。
本实施例中，利用视线交叉的感光单元的信息以获得交叉点的位置， 从而使复眼摄像装置能够产生立体视觉。
具体的，所述处理器除了单复眼像成像单元外，还包括匹配复眼像单 元、视差计算单元以及位置分析单元。所述匹配复眼像单元被配置为将属 于同一所述小眼列视平面、且其中至少部分感光单元的视线相互交叉的所 述单复眼像进行匹配，以得到一组匹配复眼像，所述匹配复眼像中的各幅 所述单复眼像均包括对应于视线交叉处的被摄对象的信息而形成于图像中 的像素点。所述视差计算单元被配置为获取所述匹配复眼像中对应于视线 交叉处的被摄对象的信息而生成的像素点之间的视差信息。所述位置分析 单元被配置为基于所述小眼列的信息以及所述视差信息获取位于视线交叉 处的被摄对象的信息。
此外，参照图1，所述复眼摄像装置还可包括存储单元以及显示单元， 所述存储单元被配置为存储所述单复眼像、所述匹配复眼像以及所述被摄 对象的信息。所述存储单元可以通过随机存取存储器(RAM)、随机只读 存储器(ROM)、硬盘、磁碟、光盘、中央处理单元(CPU)中的寄存器等 介质进行存储。
所述显示单元被配置为输出所述单复眼像并显示，或者，基于所述位 置分析单元获取的被摄对象的信息，将所述被摄对象的纹理颜色、三维位 姿及形状中的至少一种输出并显示。所述显示单元可以包括一显示器，所 述显示器可以是平面图像显示器或者三维图像显示器。
上述的处理器的各个组件(单复眼像成像单元、匹配复眼像单元、视 差计算单元以及位置分析单元等)可以合并在一个模块中实现，或者其中 的任意一个装置可以被拆分成多个模块，或者，这些装置中的一个或多个 装置的至少部分功能可以与其它装置的至少部分功能相结合，并在一个模 块中实现。根据本发明的实施例，单复眼像成像单元、匹配复眼像单元、 视差计算单元以及位置分析单元中的至少一个可以至少被部分地实现为硬 件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系 统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以以对电 路进行集成或封装的任何其它的合理方式等硬件或固件来实现，或以软件、 硬件以及固件三种实现方式的适当组合来实现。或者，信号处理单元、图 像处理单元、位置分析单元、存储单元和输出单元中的至少一个可以至少 被部分地实现为计算机程序模块，当该程序被计算机运行时，可以执行相 应模块的功能。所述复眼摄像装置可以利用集成电路制作工艺制作，一实 施例中，所述复眼摄像装置为芯片级装置。所述复眼摄像装置的各个小眼 列中的小眼可以均集成在同一半导体衬底上，所述半导体衬底例如硅(Si) 衬底、锗(Ge)衬底等半导体衬底，也可以是氧化铝等材料的陶瓷基底、石 英或玻璃基底等。为避免相邻小眼之间的内部光线发生干扰，各个小眼之间通过介质隔离，所述介质优选为阻光材料。
根据上述说明可知，利用本发明实施例的复眼摄像装置，可以实现平 面视觉(或2D视觉)及立体视觉(或3D视觉)。
实施例二
本实施例主要介绍本发明复眼摄像装置的小眼列。
图2(a)是本发明一实施例中小眼列的成像示意图。图2(b)是图2 (a)中的一个小眼的成像示意图。图2(c)是图2(a)中的一个感光单 元所对应的光心锥和像素面感光束的示意图。
参照图2(a)和图2(b)，入射光束L1、L2及L3入射到小眼列100， 并沿各小眼中感光单元的视线方向投射到每个小眼10中。平行光束经过小 眼10的光心C(更具体的为小眼中光学元件的光心)入射后，在焦平面10a 聚焦，即任意一个焦点对应于该点与光心C连线方向上的平行光束在焦平 面10a的汇聚点。根据小眼10中光学元件的具体结构的选择不同，其焦平 面10a可以是平面，也可以是具有一定曲率。如图2(a)中示意出了每个 小眼10的焦平面10a上的三个点，这三个点分别与光心C连线而确定的直 线为对应光入射方向上的光束的光轴。如图2(b)所示，图2(a)中单个 小眼10的焦平面10a上的三个点对应于不同方向的入射光束。参照图2(c)， 可以通过在小眼10的光学元件的焦平面10a附近设置感光元件来获取入射 光束的强度(或亮度、色彩)的信息，通过将感光元件中像素的感光面11a 设置在对应光学元件的焦平面10a上，所述感光面11a与对应光学元件的 光心C形成的椎体通过光心C的反方向延伸的椎体称为光心锥(图2(c) 中以点横线表示)，光心锥表示的是对应感光面范围内的所有点通过光心的 光轴形成的椎体。而感光面11a范围的感光元件接受的入射光束是对应的 光心锥加粗到光学元件透光面积范围的台型光柱，该台型光柱可以称为与 感光面对应的像素面感光束(图2(c)中以长短横线表示)。
本发明的复眼摄像装置利用了上述光学原理，一实施例中，复眼摄像 装置包括复数个小眼，每个小眼至少与其它两个以上小眼排成一列(或行) 并称之为小眼列。每个小眼均包括光学元件和设置在所述光学元件的焦平 面附近的至少一个感光单元，所述光学元件用来朝向被摄对象并接收入射 的光束。各个小眼在光学上互不干涉，因而进入各个小眼的光线仅可以在 该小眼的焦平面上感光。
入射光束经小眼列中小眼10的光学元件入射后汇聚在焦平面上，小眼 阵列100的各个小眼10包括光学元件以及设置在光学元件的焦平面一侧的 感光元件，所述感光元件可以包括一个或两个以上的感光单元(或称为感 光像素)。参照图2(a)，可以在各个小眼的焦平面10a上的三个汇聚点分 别设置三个感光单元，由感光单元的中心与光心C而确定的光轴为该感光 单元的视线。在同一小眼中设置多个感光单元的情况下，不同方向的入射光束经所述光学元件汇聚后即可以被设置在焦平面附近的不同感光单元感 应，因而，入射光束的方向与感光单元的位置相关。将同一小眼中的不同 感光单元的位置对应于不同的光束入射方向设置，通过不同感光单元来检 测从不同方向入射所述光学元件的光束，则可以根据感光单元检测的信号 获得其视线方向上的光线信息。在某些情况下(如图2(a))，一感光单元 的视线在小眼列100的视野内会与其它小眼中的部分感光单元的视线交叉， 因而通过视线交叉的感光单元生成的图像具有视差，该视差可以通过计算 获得。
每个所述小眼列至少对应于一个小眼列视平面(如图2(a)中平行于 纸面的平面)，所述小眼列视平面通过所述小眼列中各小眼的光心以及每个 小眼的至少一个感光单元的中心附近，每个所述感光单元至少与一个所述 小眼列视平面相交，该感光单元的视线在对应的所述小眼列视平面内。对 于同一小眼内的不同感光单元，其可以属于同一小眼列视平面，也可以属 于不同的小眼列视平面。属于同一小眼列视平面内的各个小眼的感光单元， 其视线均在该小眼列视平面内。
所述复眼摄像装置可以包括一个或大于一个的上述小眼列，两个以上 的小眼列可以按照一定排列构成小眼阵列。对于不同的小眼列，它们不具 有共同的小眼列视平面，即各自的小眼列视平面之间会形成一夹角(此处 指大于0的角度)。但对于小眼列中的小眼，根据通过其光心和感光单元的 小眼列视平面的分布，每个所述小眼可以属于一个或两个以上的所述小眼 列。
对于小眼列中的各个小眼，通常可以设置为如图2所示的紧凑排列的 形式，即其中复数个小眼依次邻接排列，但不限于此，对于满足上述条件 的小眼列，其中各个小眼之间也可以设置有间隔。并且，在间隔位置，可 以设置另一小眼列的小眼。此外，对于同一小眼列，也可以包括至少一个 子小眼列，每个所述子小眼列包括复数个依次邻接的小眼，相邻所述子小 眼列之间保持设定间距。对于同一子小眼列，各个小眼的光心之间的连线 可以是直线段，也可以是弧线段，优选方案中，为了扩大视角，各个小眼 的光心之间的连线为弧线段。
图3是本发明一实施例中的小眼列的示意图。参照图3，一实施例中， 小眼列中的每个小眼均包括一个所述感光单元，且各个所述感光单元的视 线在所述小眼列的视野内互不交叉。在获得各个小眼列的感光单元的信息 后，可以根据各个感光单元的信息得到一幅单复眼像。该单复眼像为小眼 列的视野内被摄对象的二维图像，即该结构的小眼列可以被用于二维视觉， 例如可用于2D像机，虽然没有立体视觉效果，但是可以达到具有镜头的普 通摄像机的效果，相对于普通2D像机，该结构因为有了小透镜，不需要专 门的镜头，更为便利。而且，该种类的相机没有对焦问题，也就是说多远 的物体都能够看清，只是随着距离增加，远处的物体分辨率会降低。另一 实施例中，多个如图3所示的小眼列排列为球面，利用各个感光单元在同 一时刻或同一时间段拍摄的图像信息，可以获得一张相应的单复眼像，因 而也可以作为2D相机。
图4是本发明一实施例中的小眼列的示意图。图5是本发明一实施例 中的小眼列的示意图。参照图4和图5，在一些实施例中，小眼列中的每 个小眼均包括一个所述感光单元，但通过对小眼之间的相互位置以及感光 单元的位置设计，相对于图3，图4和图5中各个所述感光单元的视线在 所述小眼列的视野内是存在交叉的。因而，可以根据两个以上的单复眼像 组成一组匹配复眼像，可以实现立体视觉效果。图4和图5中，小眼列中 各个小眼的光心连线为直线段。随着离小眼列的距离的增加，小眼列在视 野深度上的可测距精度基本保持不变。
图6是本发明一实施例中的小眼列的示意图。参照图6，一实施例中， 小眼列包括两个子小眼列，每个所述子小眼列包括复数个依次邻接的小眼， 并且每个子小眼列中，每个小眼仅包括一个感光单元，感光单元的视线彼 此不交叉。相邻的两个所述子小眼列之间保持一定的间距。该实施例中， 小眼列中的感光单元的视线至少部分是存在交叉的，因而由这两个子小眼 列或者更多的子小眼列构成的小眼列也可以用来实现立体视觉。
图7是本发明一实施例中的小眼列的示意图。参照图7，一实施例中， 小眼列包括两个子小眼列，每个所述子小眼列包括复数个依次邻接的小眼， 且每个小眼中均设置有不止一个感光单元，对于该小眼列，每个子小眼列 中感光单元的视线在视野内存在交叉，并且，不同子小眼列中的感光单元 的视线在视野内也存在交叉，相对于图6所示的小眼列，图7中由两个子 小眼列的视线相交部分产生的立体视觉的精度更高，由每个子小眼列算出的立体视觉再通过两个子小眼列的组合重新测量，不仅具有单个子小眼列 的低错误率，而且精度会大幅提高。
需要说明的是，上述图3至图7仅示出了小眼列在一个小眼列视平面 上的排列，但各个实施例中在每个小眼列的位置也可以设置有不止一个小 眼列，即各个小眼的光心可以排列为平面或者平面，而仍然可以实现上述 的二维视觉及三维视觉。每个小眼列可以作为复眼摄像装置的一个复眼， 或者，每个子小眼列可以作为复眼摄像装置的一个复眼，以实现二维和/或 三维视觉。
此外，考虑到每个感光单元的尺寸，其可以检测的是由与感光单元的 感光面积有关对应的像素面感光束的图像信号，实施例中，每个所述感光 单元检测的入射光束具有与所述感光单元的感光面积关联的扩散角。为了 使每个感光单元检测的入射光束与相邻感光单元检测的入射光束能够清晰 分辨，提高复眼摄像装置的分辨率，所述扩散角优选小于或等于同一所述 小眼列视平面中彼此相邻的两个所述感光单元的视线的夹角。在包括弧线 段形状的子小眼列时，所述扩散角还小于或等于位于所述弧线段中的相邻 两个所述小眼的轴线之间的夹角。这里小眼的轴线指的是垂直于小眼的光 学元件的入射面且穿过光心的直线。
根据上述说明可知，本发明实施例的小眼列中小眼的排列以及感光单 元的数量均可以根据需要设置，并且根据感光单元视线是否交叉的情况， 使包括所述小眼列的复眼摄像装置具备二维平面及立体视觉。
实施例三
本实施例主要介绍本发明实施例的复眼摄像装置的具体结构。
本发明复眼摄像装置中的小眼列，每个小眼中的光学元件可以是微透 镜，此处微透镜为凸透镜，其焦平面与被摄对象位于相反侧，以下描述的 小眼即以微透镜为光学元件来描述。但本发明不限于此，在另一实施例中， 至少一个小眼的光学元件还可以是包括多个光学组件(诸如一个或多个透 镜、滤光片和/或孔径)的复合成像物镜。从仿生意义上理解，小眼中光学 元件的功能与复眼类动物的单眼中的晶状体的功能类似。上述小眼中与同一个光学元件对应的感光单元可以看作设置在光学元件的焦平面上的像素， 与同一光学元件对应的至少两个感光单元构成的阵列可称为像素阵列。从 仿生意义上理解，多个感光单元用于执行类似于动物复眼中每个单眼下的 感光细胞的功能。
所述像素阵列中，每个感光单元可包括一个光电二极管和多个用作驱 动电路的MOS晶体管，所述光电二极管可以将入射的光信号转换为电信号， 为了获得感光单元的电信号，每个小眼还可包括电连接每个感光单元的外 围电路，以便于将感光单元针对入射光束生成的图像信号传输给处理器。 此处将感光单元设置在光学元件的焦平面附近，目的是使每个感光单元的 感光面(例如光电二极管中的PN结层)位于光学元件的焦平面上以检测对应视线上的光线信息。感光单元形成的像素阵列的结构可以按照公开技 术实施，只要能实现上述功能即可。结合实施例一可知，通过设置小眼列， 可以通过每个小眼中的不同位置的感光单元检测不同方向的入射光束的强 度信息。更佳的，通过对小眼中感光单元或者由感光单元组成的像素阵列 的功能和结构进行优化，例如在光学元件和感光单元之间增加滤光层，通 过每个小眼中的感光单元还可以对获取接收的入射光束的色彩信息，有利于更全面地获取被摄对象的信息。
可以采用类似普通相机或者显示器中的像素那样设置小眼的形状。例 如，可将每个小眼的入射面形状设置为四边形并横竖排列，也可以像蜂窝 那样将每个小眼的入射面形状设置为六角(六边)形等等，可选的，对于 多个小眼列形成的小眼阵列，各个所述小眼的光学元件可以在蜂窝形曲面 内排布或者在二维平面内排布。工业上四角形小眼的横竖排列比较容易生 产和运算，而从扩大视野的角度或者更贴近仿生应用的角度，利用六角形的小眼进行蜂窝型排列更具优势。图8是本发明一实施例的复眼摄像装置 中小眼排列为六角形的示意图，参照图8，一实施例中，各个小眼20的平 面形状为三角形，且六个小眼排列为六角形结构。出于紧凑排列的目的， 对于蜂窝形结构的小眼阵列，可以设置光学元件的透光面为六边形，对于 四角形排列的小眼阵列，可以设置光学元件的透光面为四边形。图2至图 7所示的实施例以小眼为圆柱形为例进行说明，其中示意的每个小眼的光 学元件为圆形的微透镜。但本发明不限于此，在另一实施例中，小眼阵列 中的各个小眼的光学组件的结构可以相同，也可以不同。可实施的小眼列 中光学组件可以不完全相同，具体可以根据复眼摄像装置的整体结构要求， 选择同种结构或者两种以上的不同结构的光学元件进行排布形成小眼列以 及小眼阵列，例如，一实施例中，小眼阵列为曲面结构，其中大部分区域 采用的是第一结构的小眼，第一结构的小眼均包括同种形状和尺寸的微透 镜的感光单元，而在一些特殊位置，采用的是第二结构的小眼，第二结构 的小眼包括不同于第一结构的小眼的形状和尺寸的微透镜或其它种类的光 学元件，并且，第二结构的小眼可以按照一定规律穿插分布在小眼阵列的 范围内。同一小眼列中，对应于小眼的光学元件设置的感光元件的结构也 可以相同或不同。例如，一实施例中，同一小眼列中的部分小眼采用的是 第一类型的感光元件，第一类型的感光元件包括相同数量和排布方式(包 括感光面大小、间距等)的感光单元，而另外一部分小眼采用的是第二类 型的感光元件，第二类型感光元件的感光单元的数量和/或排布方式与第一 类型的感光元件不同。此外，在以微透镜作为小眼的光学元件的示例中， 各个微透镜的直径可以均相同，也可以不全部相同，而它们的焦距也可以 均相同或不全部相同。各个小眼的结构可以根据需要设置。总的来说，微 透镜的直径越大，则感光能力越强，但在感光单元的数量不变的情况下， 微透镜的直径越小，感光元件对光入射方向的变化更加敏感，即视觉的分 辨率越高。
小眼列中，各个小眼的排列方式有复数种，为了在不影响感光能力的 条件下缩小复眼摄像装置的体积，提高视觉的分辨率，优选小眼列尤其是 每个子小眼列中的各个小眼入射面彼此靠近。作为示例，每个子小眼列中， 相邻两个小眼的微透镜邻接排布，在入射面所在面内，各个小眼的微透镜 紧密排布。各个所述小眼的微透镜平行于入射面的截面可以为圆形、椭圆 形或者多边形(如四边形、五边形、六边形、七边形、八边形)等。
对于实施例的复眼摄像装置，小眼阵列中对应每个小眼设置的感光单 元的总数可以相同也可以不同，具体的，小眼阵列中各个小眼中的感光单 元可以是对应的，即全部所述小眼中均设置有位置对应以检测同一方向视 线的感光单元，对应于同一视线方向的感光单元，其视线未发生交叉，各 自获取的信息可以用来生成一幅单复眼像。而对于在小眼视野内视线相交 的感光单元，各自获取的信息分别体现在不同的单复眼像中，并且，由于 均包含位于视线交叉处的被摄对象的信息，因此可以将属于同一所述小眼 列视平面、且其中至少部分感光单元的视线相互交叉的所述单复眼像进行 匹配，以得到一组匹配复眼像，所述匹配复眼像中的各幅所述单复眼像均 包括一个对应于视线交叉处的被摄对象的信息而生成的像素点。因此，本 实施例中，同一小眼里的感光单元的视线若在小眼的视场内与其它小眼的 视线交叉而产生多个交叉点，则每个交叉点均对应于至少两幅单复眼像组 成的一组匹配复眼像，与同一小眼相关的一组匹配复眼像，涉及该小眼中 的各个感光单元所形成的单复眼像。
实施例四
本实施例主要介绍有关本发明实施例的复眼摄像装置的视场角以及测 距精度。
对于图3所示的无视线交叉的小眼列，其视野及视场角由两端小眼和 感光单元的位置决定。而对于存在视线交叉的小眼列(如图2(a)、图4、 图5、图6、图7)，可以获得的单复眼像不止一幅，对应可以得到一组匹 配复眼像，为了确定视线交叉处被摄对象的位置，需要根据匹配复眼像计 算视差来获得，此处对于存在视线交叉的小眼列，通过获得小眼列最外侧 小眼的可与其它小眼的视线相交的最外侧视线的位置和方向，即可以获得 复眼摄像装置的立体可视范围。
图9是本发明一实施例中复眼摄像装置的可视范围的示意图。参照图 9，作为本发明的一个示例，从小眼列200的小眼列视平面来看，每个小眼 20均具有位于焦平面的两个感光单元21，这两个感光单元21的中心与对 应小眼20的光心F的连线确定的两个视线方向为所属的小眼列200可获取 的光束的两个入射方向，也即，对应于这两个视线方向所确定的光束才能 被所有小眼20中的感光单元21获取，而小眼列200中全部小眼20的光轴 的交叉点为通过这两个方向的光束可测量距离的空间点，可测量距离的空 间点在小眼列200的法线方向的间距为该小眼列在空间深度方向上的测距 精度D1。此处测距精度体现了同一感光单元21可分辨的相邻两个空间点 之间在上述法线方向上的距离精度。图4、图5及图9所示的实施例中测 距精度D1随着空间深度方向的变化基本保持不变。
根据小眼列200的可视范围，可以获得小眼列200的视场角(FOV)。 由于小眼列200中感光单元21的中心与对应小眼的光心C的连线确定了可 测量的视线方向，因而小眼列200的视场角与每个小眼20中的感光单元组 成的像素阵列的宽度有关。本文中小眼列的视场角体现了立体可视范围相 对于法线方向向外侧偏离的角度，也称为立体视场角。图9所示的实施例 中，两条粗线限定的可视范围为复眼摄像装置的视场。由于立体可视范围 相对于直线段的小眼列没有向外偏离，因而图9所示的小眼列的视场角小 于0。
当小眼中感光单元的数量增加时，视场角会发生变化。图10为本发明 一实施例中复眼摄像装置的可视范围的示意图。参照图10，作为示例，该 小眼列300中，每个小眼30均具有位于焦平面的四个感光单元31，这四 个感光单元31的中心与对应小眼的光心F的连线确定的视线方向为该小眼 列300可测量的四个视线方向，该实施例中，通过最外侧小眼的可与其它 小眼的视线相交的最外侧视线确定的立体视场角大于0(如图10中两条粗 线限定的范围)，较图9所示的实施例中小眼列200的视场角增大。但是， 图10中视场外围区域的测距精度D2'较视场靠中心区域的测距精度D2明 显变小。因此，若需要在二维平面内均保持较佳的测距精度，直线段排布 的小眼列的视野相对较窄，换言之，利用本发明实施例的小眼列制作复眼 摄像装置时，如果在某个方向小眼列的长度不是足够长，为了避免可测距范围太窄，优选考虑设置将小眼设置为弧线段排布。进一步通过实施例说 明如下。
图11为本发明一实施例中复眼摄像装置的可视范围的示意图。参照图 11，作为示例，小眼列400的各个小眼40排布为弧线段(光心的连线为弧 线)。每个小眼40均具有位于焦平面的两个感光单元，这两个感光单元与 对应小眼40的光心的连线确定的光轴方向为小眼列400可测量的视线方向。 图10另外示意了根据最外侧小眼的可与其它小眼视线相交的最外侧视线 确定的小眼列400的立体可视范围(如图11中两条粗线限定的范围)。显 然，弧线段结构的小眼列400的视场角较具有相同感光单元数量的图8所 示的直线段结构的小眼列200的视场角增大。此外，如图11所示，对于弧 线段结构的小眼列400，在法线方向上距离小眼列400由近及远的方向， 小眼列的测距精度D3逐渐降低。
本实施例中，小眼列的测距精度越高，复眼摄像装置的分辨率则越高。 并且，最大分辨率主要与相邻小眼之间的间隔和最外侧的感光单元的位置 有关，因此可以根据需要调整小眼间隔和感光单元的位置来提高复眼摄像 装置的分辨率。
本发明的小眼列中的复数个小眼的排布方式、间距可以根据针对视场 角、测距精度等要求进行设置。优选方案中，可以通过增加小眼中感光单 元的数量或者使各个小眼排列为弧线段来增大视场角，并且，从效果和工 艺难度来看，相对于增加感光单元的数量，更佳地是采用弧线段(或球面) 的小眼排列。视场角越大，复眼摄像装置可以“看”的越远，并且越远的 被摄对象，图像越小。对于直线段结构的小眼列及二维平面的小眼阵列， 其空间分辨率基本不会随着距离变化而变化，但是视角范围受限于小眼列 的二维面积，体现为一个柱状空间。因此，在利用本发明实施例的小眼列 制作复眼摄像装置时，优选采用如图11所示的弧线段(或球面)排列的小 眼，一方面视野更广，另一方面越远的物体，图像就越小，具有更佳的仿 生效果。
实施例五
本实施例主要介绍小眼列产生的视差。
根据前述实施例对复眼摄像装置的说明可知，利用本发明复眼摄像装 置的小眼列，处理器可以分别通过单复眼像成像单元和匹配复眼像单元分 别获得单复眼像和包括至少两幅单复眼像的一组匹配复眼像。所述匹配复 眼像中的各幅单复眼像存在视差。
图12为本发明一实施例中小眼列的光心锥和像素面感光束的示意图。 图12中的左半部分示意了光心锥的分布情况，右半部分示意了像素面感光 束的分布情况。如图12所示的小眼列中，每个小眼具有在感光面内设置的 两个感光单元，并且，每个小眼中处于一个对应位置的感光单元的视线在 小眼列的视野内不交叉，每个小眼中处于另一个对应位置的感光单元的视 线在小眼列的视野内也不交叉，因而根据各个小眼中对应的这两个感光单 元的信号，可以获得两幅单复眼像。对于不是同一对应位置的感光单元， 它们的视线在小眼列的视野内交叉，因而这两幅单复眼像中体现同一交叉 点的像素点具有视差，构成一组匹配复眼像。
作为示例，以小眼A的图像作为基准图像，第一检测区域S1是小眼A 内部的两个感光单元(或像素)可同时侦测到的区域，因而视差为0，第 二检测区域S2是小眼A的左侧感光单元和小眼B的右侧感光单元可同时 侦测到的区域，视差为1(此处示例地以小眼为单位，在另外的实施例中， 也可以按照感光单元为单位)，依据同样的方法，可以得到第三检测区域 S3是小眼A的左侧感光单元和小眼C的右侧感光单元可同时侦测到的区域， 对应的视差为2，第四检测区域S4是小眼A的左侧感光单元和小眼D的 右侧感光单元可同时侦测到的区域，对应的视差为3，依次类推，可以得 到不同检测区域的像素面感光束在入射各个小眼后产生的视差。可见，在 获得的小眼列的结构数据如小眼的排布方式、小眼的间距、感光单元的大 小以及间距等后，在对上述匹配复眼像进行计算后得到视差，可以进一步 计算推导获得被摄对象或空间点在三维空间中的具体位置。
在获得连续多个时刻的被摄对象的三维空间信息后，进一步可以得到 被摄对象在三维空间的运动信息。被摄对象的三维空间信息和运动信息可 以通过立体坐标系表示并输出，另外还可以通过VR、AR、MR等三维立 体技术演示。
实施例六
图13是本发明一实施例中小眼阵列的平面示意图。参照图13，一实 施例中，多个小眼列按照横竖整齐排列在二维平面，每个小眼对应设置有 横纵排列的若干感光单元。图13中，每个小眼的光心位置与对应的感光单 元组成的像素阵列的中心位置相同。
每个小眼的光学元件例如是微透镜，微透镜阵列即小眼阵列，以X×Y 表示，X和Y均为大于1的整数，如图13所示，一实施例中，X＝8，Y＝7； 另外，每个小眼中的感光单元构成的像素阵列以I×J表示，I和J均为大于 1的整数，一实施例中，I＝3，J＝3。即，图13所示的是一个8×7的小眼阵 列，每个小眼包括3×3个像素。本实施例中，处理器获取空间点的位置(或 深度)可包括如下过程。
首先，在获得全部所述小眼的感光单元生成的图像信号后，将来自各 个小眼且视线互不交叉的感光单元的图像信号处理为一幅单复眼像，以获 得至少两幅单复眼像。所述小眼的感光单元的图像信号优选是同一时刻或 同一时间段获得的信号，通过对先后多个时刻或同一时间段的被摄对象的 位置进行跟踪，可以捕捉动态的被摄对象，从而可以实现动态摄像能力。
对于上述X×Y的小眼阵列，可以获取I×J张X×Y大小的单复眼像。 即图13的示例中可获得九幅单复眼像，每幅单复眼像中，共有8×7个像 素点，可以认为每张单复眼像的大小为8×7，此处像素点指的是由感光单 元生成的图像信号体现在对应的单复眼像中的图像。需要说明的是，图13 所示的小眼的具体数量仅为了说明，本发明其它实施例中用于构造复眼摄 像装置的小眼的数量和小眼中感光单元的数量可以是不同于图13所示的 其它数，例如，在一实施例中，小眼的数量可以远大于每个小眼对应的像 素阵列中的感光单元的数量。
参照图13，设定相邻两个微透镜的间距即相邻两个小眼之间的间距为 l，每个小眼中相邻两个感光单元之间的间距为h，每个微透镜的光心到感 光单元的感光面之间的距离为f(图14)。图13所示的小眼阵列中，小眼 阵列所在平面的坐标系为小眼阵列坐标系∑XY，其原点O设置在左下角的 小眼的中央，根据在小眼阵列坐标系∑XY的坐标可以确定每个小眼的位置， 小眼阵列坐标系∑XY中的单位为l；另外，每个小眼中的感光单元所在的坐标系为像素阵列坐标系∑IJ，其原点O'设置在每个小眼的中心感光单元的中 央，从而根据在像素阵列坐标系∑IJ的坐标可以确定小眼中每个感光单元的 位置，像素阵列坐标系∑IJ中的单位为h。如图13所示的感光单元E对应 的是小眼阵列坐标系∑XY中坐标为(5，2)的微透镜在像素阵列坐标系∑ IJ的原点。
图14为本发明一实施例的复眼摄像装置的测距示意图。图14可以看 作在图13中小眼阵列坐标系∑XY的基础上增加了深度坐标轴Z，因而可以 示意出位于立体空间的被摄对象(此处以空间点R代表)。以下将图13的 坐标系称为复眼坐标系∑XYZ，复眼坐标系∑XYZ中的原点设置在如图12中 左下角小眼的光心上。作为示例，小眼阵列的阵列面为二维平面，每个小 眼的结构相同，可直接以每个小眼所在的阵列来表示对应小眼的位置，可 以设定小眼阵列的平面和像素阵列的平面平行，且每个小眼的光心和小眼 像素阵列的中心连线垂直于像素阵列的平面。需要说明的是，图14中的上 述设定仅是为了方便说明，而不构成对本发明复眼摄像装置的限制。在本 发明另一实施例中，每个小眼的像素阵列也可以是具有一定曲率，每个小 眼的光心和对应像素阵列中心的连线也可以不与小眼阵列的平面垂直。
参照图14，小眼阵列中的两个小眼均检测到了空间点R的图像信号。 空间点R在复眼坐标系中的坐标为(x,y,z)。具体的，第一个小眼的光心A (为了描述方便，该小眼称为小眼A)在复眼坐标系∑XYZ中的坐标为(xA， yA，f)，对于小眼A，生成空间点R的图像信号的感光单元c在像素阵列坐 标系∑IJ中的坐标为(i,j)，感光单元c的光束强度(或亮度)表示为ui,j(x,y)， 将同一时刻t每个小眼内与感光单元c的视线不交叉的的感光单元的信息按 照小眼的位置顺序排列组成一幅单复眼像，称之为时刻t的第一复眼图像 Ui,j。同理，对于检测到空间点R图像信号的另一只小眼，其光心B(为了 描述方便，该小眼称为小眼B)在复眼坐标系∑XYZ中的坐标为(xB，yB，f)， 对于小眼B，生成空间点R的图像信号的感光单元d在像素阵列坐标系∑ IJ中的坐标为(m,n)，感光单元c和感光单元d视线在视野内交叉，它们均检测到了同一空间点R的图像信息。将同一时刻t每个小眼内与感光单元d 的视线不交叉的感光单元的信息按照小眼的位置顺序排列也可以组成一幅 单复眼像，称之为时刻t的第二复眼图像Um,n。
参照图14，当cABd这四个点在同一个小眼列视平面上时，视线cA 与视线dB在空间上可以交于空间点R。空间点R通过小眼A中的感光单 元c生成图像信号，并体现为第一复眼图像Ui,j中的一个像素点，记为像 素点c，空间点R还通过小眼B中的感光单元d生成图像信号，并体现为 第二复眼图像Um,n中的一个像素点，记为像素点d。设定像素点c在第一 复眼图像Ui,j中的坐标为(xc,yc)，像素点d在第二复眼图像Um,n的坐标为(xd, yd)，像素点c和d均体现了空间点R的信息，因而它们为一组对应的像素 点，像素点c与d代表的是在真实空间上的同一空间点R在两幅单复眼图 像中的映射，这两幅单复眼像可以组成一组匹配复眼像。
对于从单复眼像中获得属于同一空间点的映射而具有对应关系的像素 点(如上述像素点c和d)的方法，可以采用本领域公开的立体匹配算法例 如sift算法、surf算法、全局立体匹配算法或局部立体匹配算法获得，以局 部立体匹配算法为例，其又称为基于窗口的方法或基于支持区域的方法， 局部立体匹配算法对参考图像中的每个像素计算一个合适大小、形状和权 重的窗口，然后对这个窗口内的视差值进行加权平均。理想的支持窗口可 以完全覆盖弱纹理区域，并在窗口内深度连续。与全局立体匹配算法相似， 通过优化一个代价函数的方法计算最佳视差。具体过程可以参考本领域的 公开技术，此处不再赘述。
以下对获得空间点R的空间深度信息(即Z方向的坐标)的过程进行 说明。
参照图14，由各透镜内像素位置(i,j)组成的第一复眼图像Ui,j与各 透镜内像素位置(m,n)组成的第二复眼图像Um,n在第一复眼图像Ui,j中 的像素点(x,y)产生的视差表示为e(i,j)(m,n)(x,y)。具体的，以第一复眼图像 Ui,j为基准图像，像素点d在X轴方向与像素点c的距离为像素点d在X 方向的视差，在此表示为e(i,j)(m,n)(x)；像素点d在Y轴方向与像素点c的 距离为像素点d在Y方向的视差，在此表示为e(i,j)(m,n)(y)；像素点d与像 素点c的直线距离即像素点d的视差可表示为e(i,j)(m,n)(x,y)。
在微透镜的焦距足够小时，可以认为AB≈cd，因此，e(i,j)(m,n)(x,y)也 可以代表两个小眼的光心A和B两点的距离，即AB的长度。根据两个小 眼的位置，可以得到像素点d在X方向的视差e(i,j)(m,n)(x)与对应的两个小 眼在X方向的距离之间的关系，以及像素点d在Y方向的视差e(i,j)(m,n)(y) 与对应的两个小眼在Y方向的距离之间的关系。但上述视差及小眼A和小 眼B之间的距离之间的关系仅是本发明的一个示例，在另一实施例中，也 可以通过更加精确的运算过程获得了两个小眼中对应感光单元的视差与小 眼距离之间的关系，如另一实施例中，经过计算得到的
Figure BDA0002289461850000231
(cd为感光单元c和感光单元d之间的距离)。 总之，可以通过对第一复眼图像Ui,j和第二复眼图像Um,n的处理，得到两 个小眼检测同一空间点R时的视差。
本实施例中，像素点d基于基准图像的视差满足如下关系式(1)：
Figure BDA0002289461850000232
直线AR与小眼A的像素阵列所在平面之间的夹角α满足如下关系式(2)：
Figure BDA0002289461850000233
直线BR与小眼B的像素阵列所在平面的夹角β满足如下关系式(3)：
Figure BDA0002289461850000234
基于上述关系，可得到R的空间深度即R在复眼坐标系∑XYZ中的坐 标z为：
z＝e(i,j)tanα
＝(e(i,j)(m,n)(x,y)-e(i,j))tanβ
＝e(i,j)(m,n)(x,y)tanβ-e(i,j)tanβ
进而，得到
Figure BDA0002289461850000235
所以z满足下述关系式(4)，
Figure BDA0002289461850000236
因此x和y分别满足下述关系式(5)和(6)，
Figure BDA0002289461850000241
Figure BDA0002289461850000242
可见，空间点R的坐标(x,y,z)与小眼的结构和视差有关，可以通过 两个小眼在小眼阵列坐标系中的坐标信息、对应的具体检测到空间点图像 信息的两个感光单元在像素阵列坐标系中的坐标信息以及两幅图像上相应 像素点的视差获得。如果被摄对象为多个空间点的组合，则可以通过获得 每个空间点的在视野中的深度而得到被摄对象的立体信息。
对于如图6和图7所示的由相距设定距离的子小眼列中的非交叉视线 确定的空间交叉点，在计算视差时需要将两个子小眼列之间的设定距离也 考虑进去，空间点的坐标还与该设定距离有关。
上述实施例以小眼阵列及像素阵列为二维平面进行计算。但可以理解， 若小眼阵列中各小眼在空间上的分布不是平面(例如是图11所示的球面)， 只要各小眼的相对位置固定，即各小眼的相对位置数据已知或可测，也可 以通过对小眼获得的图像信号进行处理得到单复眼像，并可以通过两幅以 上的单复眼像得到匹配复眼像，并通过对匹配复眼像进行视觉处理，得到 一组匹配复眼像中的对应像素点的视差信息，进一步通过小眼阵列的结构 信息、小眼中像素阵列的结构信息、视线信息以及视差信息获取被摄对象 的三维空间信息，从而实现立体视觉。
实施例七
如果小眼在空间上的分布不是平面，但是是任意固定形状并固定在某 个装置(如头部)上时，每个小眼在该装置坐标系中的坐标是固定的。本 实施例主要介绍通过任意位姿的两个小眼获得空间点的三维空间信息的过 程。
图15是本发明一实施例中复眼摄像装置的测距示意图。参照图15， 任意位姿的两个小眼P、Q可以检测空间点R发出的光束，从而获得了相 应的图像信号。这里设定小眼P的光心坐标为(xp,yp,zp)，小眼P的中心 光轴(穿过微透镜光心且垂直于入射面的直线)的方向以欧拉角(αp,βp,γp) 表示，可用(xp,yp,zp,αp,βp,γp)来表示小眼P的位姿参数。类似的，可 以设定小眼Q的光心坐标为(xq,yq,zq)，小眼Q的中心光轴的方向以欧拉 角(αq,βq,γq)表示，可用(xq,yq,zq,αq,βq,γq)来表示小眼Q的位姿参 数。根据小眼P和小眼Q中视线不交叉的两组感光单元的检测信号可以生 成两幅单复眼像，其中第一复眼图像Ui,j的ui,j(xp,yp)像素点对应真实空间的 空间点R在小眼P上的成像，第二复眼图像Um,n的um,n(xq,yq)像素点对应空 间点R在小眼Q上的成像，因而第一复眼图像Ui,j和第二复眼图像Um,n为 一组匹配复眼像，因而，R的坐标(x,y,z)可以根据(xp,yp,zp,ap,βp,γp)、 (xq,yq,zq,αq,βq,γq)以及(i,j)、(m,n)计算得到。具体说明如下。
三维空间中，以向量p表示小眼P的光心的坐标，向量p与小眼P的 坐标有关，可表示为p＝OP＝(xp,yp,zp)，O为小眼坐标系的原点。小眼P中 对应于空间点R的感光单元在像素阵列(原点记为o)中的坐标为(i,j)，对 应于三维空间中的坐标为(xi,yi,zi)，由小眼P中的对应感光单元(i,j)得出的 光线方向d1＝OP-oi＝(xp-xi,yp-yi,zp-zi)，则光线PR的参数方程可以表示为 p+k1d1，其中k1为系数。
同理，小眼Q的光心的坐标可以用向量q表示，向量q与小眼Q的坐 标有关，可表示为q＝OQ＝(xq,yq,zq)，小眼Q中对应于空间点发出光束的 感光单元在像素阵列(原点记为o)中的坐标为(m,n),对应于三维空间中的 坐标为(xm,ym,zm)，由小眼Q中的对应感光单元(m,n)得出的光线方向 d2＝(xq-xm,yq-ym,zq-zm)。光线QR的参数方程可以表示为q+k2d2，其中k2为 系数。
由于光线PR和光线QR相交于空间点R，可以设定k2＝k时，光线QR 取到空间点R，则空间点R的矢量R＝q+kd2。此时
Figure BDA0002289461850000251
即 (q+kd2-p)×d1＝0，因此，可以得到
Figure BDA0002289461850000252
空间点R的坐标为
Figure BDA0002289461850000253
Figure BDA0002289461850000254
这为理想情况，考虑到实际应用中可能存在误差，向量相除不 便计算，可用
Figure BDA0002289461850000255
代替。因此，空间点R的坐标为
Figure BDA0002289461850000256
Figure BDA0002289461850000257
结合前述实施例中对复眼摄像装置描述可知，具体而言，处理器通过 信号处理单元、图像处理单元以及位置分析单元，可以在获得全部所述小 眼生成的图像信号后，通过形成至少一幅单复眼像，可以视线清晰度较高 的二维视觉，并且，对于存在视线交叉的任意两幅单复眼像，可以作为匹 配复眼像，获取其中对应像素点的视差信息，并通过小眼阵列的结构信息 如小眼的距离信息、有关感光单元的视线的信息以及所述视差信息等计算得到被摄对象的三维空间信息。可见，所述复眼摄像装置通过上述仿生结 构设计的小眼阵列和处理器，具备了三维立体图像采集功能，可以用来对 被摄对象的位置进行探测以及获得被摄对象的三维图像，有利于获取准确 的三维空间信息，实现更佳的立体视觉。
实施例八
本实施例主要介绍一种复眼系统。所述复眼系统包括间隔排布的复数 个所述复眼摄像装置。从仿生角度看，这里的复眼系统的功能与复眼类动 物的一组复眼(如蜻蜓的两只复眼)功能类似。
上述复眼系统中的复数个复眼摄像装置可以根据设计需要分别设置在 功能主体的不同位置，以从不同方向进行三维立体测量，或者，复数个复 眼摄像装置还可以相对于一中心点或者中心线对称分布。从仿生角度看， 许多复眼类动物通过两只沿中心线对称的复眼工作(虽然人的眼睛不是复 眼，但也是沿中心线对称的)，因而本实施例的复眼系统可以应用于智能机 器人的视觉系统设计，但不限于此，在另外的实施例中，上述复眼系统还可以应用于雷达系统、导弹的导引装置、微型飞行器、舰艇搜索与跟踪系 统、夜视设备、微型复眼相机等方面，根据具体的三维侦测需要，同时采 用的两个以上的复眼摄像装置尤其是小眼阵列可以以一中心线为周线左右 或上下对称，也可以是以一中心部位(或中心点)对称，或者也可以是非 对称状分布。
上述复眼系统除了复眼摄像装置外，还可包括控制装置，用于控制所 述复眼摄像装置中的小眼列的位姿。此处小眼列的位姿主要指的是小眼列 的拍摄方向。控制器可以通过计算机的CPU实现。控制装置与每个复眼摄 像装置的处理器相连接，除了小眼列的位姿之外，控制装置还可以对每个 处理器获得被摄对象的二维和/或三维空间信息的过程进行控制，例如控制 对应部分小眼阵列的处理器进行工作等，控制装置还可以对每个处理器输出的被摄对象的三维空间信息进行统一分析和处理，例如消除两个复眼摄 像装置之间的测量误差，并最终获得更准确的被摄对象的三维空间信息。 从仿生角度来看，控制装置的功能类似于复眼类动物的大脑，对复眼系统 的运作起到总指挥的作用。
由于每个复眼摄像装置均可以获取视野范围内的摄像对象的二维和/ 或三维空间信息，因而构造成的复眼系统的视野范围更大，有利于实现更 佳的立体视觉功能。
上述描述仅是对本发明较佳实施例的描述，并非对本发明权利范围的 任何限定，任何本领域技术人员在不脱离本发明的精神和范围内，都可以 利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改， 因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上 实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的 保护范围。

Claims (22)

1.一种复眼摄像装置，其特征在于，包括：
小眼列，所述小眼列包括复数个光学上互不干涉且排成一列的小眼，每个所述小眼均包括光学元件和设置在所述光学元件的焦平面附近的至少一个感光单元，所述光学元件用来朝向被摄对象并接收视野内入射的光束，其中，每个所述小眼列至少对应于一个小眼列视平面，所述小眼列视平面通过所述小眼列中各小眼的光心以及每个小眼的至少一个感光单元的中心附近，每个所述感光单元至少与一个所述小眼列视平面相交，每个所述感光单元的视线通过所述感光单元的中心与所在小眼的光心从而位于所相交的所述小眼列视平面内，同一所述小眼列视平面内来自不同小眼的所述感光单元的视线存在交叉点；以及，
处理器，被配置为基于所述小眼中的感光单元接收的信息生成图像，并对所述图像进行处理来获得有关被摄对象的信息，其中，利用所述交叉点的视差信息测量距离。
2.如权利要求1所述的复眼摄像装置，其特征在于，所述小眼列中，每个小眼包括两个以上的所述感光单元，且至少一个所述感光单元的视线在所述小眼列的视野内与同一所述小眼列视平面内其它所述感光单元的视线交叉。
3.如权利要求1所述的复眼摄像装置，其特征在于，所述复眼摄像装置包括两个以上的所述小眼列，不同所述小眼列的小眼列视平面之间形成一夹角，每个所述小眼属于一个或两个以上的所述小眼列。
4.如权利要求3所述的复眼摄像装置，其特征在于，多个所述小眼列中依次邻接构成小眼阵列，所述小眼阵列中的各个所述小眼的光学元件在蜂窝形曲面内排布或者在二维平面内排布。
5.如权利要求1所述的复眼摄像装置，其特征在于，所述处理器包括：
单复眼像成像单元，被配置为在获得各个所述小眼中的所述感光单元的信息后，将视线互不交叉的全部或部分所述感光单元的信息进行处理并组成图像，以得到至少一幅单复眼像。
6.如权利要求5所述的复眼摄像装置，其特征在于，所述处理器还包括：
匹配复眼像单元，被配置为将属于同一所述小眼列视平面、且其中至少部分所述感光单元的视线相互交叉的两幅以上的所述单复眼像进行匹配，以得到一组匹配复眼像，所述匹配复眼像中的各幅所述单复眼像均包括根据视线交叉处的被摄对象的信息而形成于单复眼图像中的像素点；
视差计算单元，被配置为获取所述匹配复眼像中根据视线交叉处的被摄对象的信息而生成的像素点之间的视差信息；以及，
位置分析单元，被配置为基于所述小眼列的信息以及所述视差信息获取位于视线交叉处的被摄对象的信息。
7.如权利要求6所述的复眼摄像装置，其特征在于，所述匹配复眼像中的单复眼像均根据同一时刻或同一时间段获得的各个所述小眼中的所述感光单元的信息得到。
8.如权利要求7所述的复眼摄像装置，其特征在于，所述位置分析单元还被配置为通过先后多个时刻或同一时间段的所述被摄对象的信息，获取所述被摄对象在视野内的运动信息。
9.如权利要求6所述的复眼摄像装置，其特征在于，所述复眼摄像装置还包括：
存储单元，被配置为存储所述单复眼像、所述匹配复眼像以及所述被摄对象的信息；以及，
显示单元，被配置为输出所述单复眼像并显示，或者，基于所述位置分析单元获取的被摄对象的信息，将所述被摄对象的纹理颜色、三维位姿及形状中的至少一种输出并显示。
10.如权利要求1所述的复眼摄像装置，其特征在于，同一所述小眼列包括至少一个子小眼列，每个所述子小眼列包括复数个依次邻接的小眼，相邻两个所述子小眼列之间具有设定间距。
11.如权利要求10所述的复眼摄像装置，其特征在于，相邻两个所述子小眼列之间设置有与所述子小眼列不属于同一所述小眼列的小眼。
12.如权利要求10所述的复眼摄像装置，其特征在于，每个所述子小眼列中的小眼的光心的连线为直线段或者弧线段。
13.如权利要求12所述的复眼摄像装置，其特征在于，每个所述感光单元的视线具有与所述感光单元的感光面积关联的扩散角，所述扩散角小于或等于同一所述小眼列视平面中相邻的两个所述感光单元的视线的夹角。
14.如权利要求13所述的复眼摄像装置，其特征在于，当所述子小眼列的各个所述小眼的光心的连线为弧线段时，所述扩散角还小于或等于位于所述弧线段中的相邻两个所述小眼的轴线之间的夹角。
15.如权利要求1所述的复眼摄像装置，其特征在于，所述小眼列中，各个所述小眼中的所述光学元件均为微透镜，各个所述微透镜的直径相同或不全部相同，焦距相同或不全部相同。
16.如权利要求15所述的复眼摄像装置，其特征在于，所述小眼列中，各个所述小眼的微透镜垂直于所述小眼列视平面的截面为圆形、椭圆形或者多边形。
17.如权利要求1所述的复眼摄像装置，其特征在于，同一所述小眼列中，各个所述小眼中的所述感光单元的数量相同。
18.如权利要求1所述的复眼摄像装置，其特征在于，所述感光单元接收的信息包括对应视线上的入射光束的强度信息和色彩信息。
19.如权利要求1所述的复眼摄像装置，其特征在于，所述小眼列中的各个所述小眼集成在同一半导体衬底上，各个所述小眼之间通过介质隔离。
20.一种复眼系统，其特征在于，包括以设定间距排布的复数个如权利要求1所述的复眼摄像装置。
21.如权利要求20所述的复眼系统，其特征在于，复数个所述复眼摄像装置相对于一中心线对称。
22.如权利要求20所述的复眼系统，其特征在于，所述复眼系统还包括控制装置，用以控制所述复眼摄像装置中的小眼列的位姿，所述控制装置与每个所述复眼摄像装置的处理器连接。
CN201911173889.2A 2019-11-26 2019-11-26 复眼摄像装置及复眼系统 Active CN112866512B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201911173889.2A CN112866512B (zh) 2019-11-26 2019-11-26 复眼摄像装置及复眼系统
JP2022528046A JP7393542B2 (ja) 2019-11-26 2020-01-13 複眼カメラ装置および複眼システム
EP20893641.9A EP4068747A4 (en) 2019-11-26 2020-01-13 COMPOUND EYE CAMERA DEVICE AND COMPOUND EYE SYSTEM
US17/777,403 US12041331B2 (en) 2019-11-26 2020-01-13 Compound eye camera device and compound eye system
PCT/CN2020/071734 WO2021103297A1 (zh) 2019-11-26 2020-01-13 复眼摄像装置及复眼系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911173889.2A CN112866512B (zh) 2019-11-26 2019-11-26 复眼摄像装置及复眼系统

Publications (2)

Publication Number Publication Date
CN112866512A CN112866512A (zh) 2021-05-28
CN112866512B true CN112866512B (zh) 2022-03-22

Family

ID=75985715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911173889.2A Active CN112866512B (zh) 2019-11-26 2019-11-26 复眼摄像装置及复眼系统

Country Status (4)

Country Link
EP (1) EP4068747A4 (zh)
JP (1) JP7393542B2 (zh)
CN (1) CN112866512B (zh)
WO (1) WO2021103297A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113917579A (zh) * 2021-09-28 2022-01-11 屏丽科技成都有限责任公司 一种复眼透镜和液晶显示器背光模组

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015133226A1 (ja) * 2014-03-05 2015-09-11 コニカミノルタ株式会社 複眼撮像光学系、レンズユニット、撮像装置及び携帯端末
CN106537890A (zh) * 2014-07-16 2017-03-22 索尼公司 复眼摄像装置
CN107613177A (zh) * 2017-10-16 2018-01-19 上海斐讯数据通信技术有限公司 基于复眼透镜的摄像头、成像方法及移动终端

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5517019A (en) * 1995-03-07 1996-05-14 Lopez; Luis R. Optical compound eye sensor with ommatidium sensor and related methods
JP3622367B2 (ja) * 1996-10-01 2005-02-23 松下電器産業株式会社 画像入力装置
JP2003143459A (ja) * 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
CN1304878C (zh) * 2005-02-28 2007-03-14 北京理工大学 复眼立体视觉装置
CN101548154B (zh) * 2007-07-23 2012-05-02 松下电器产业株式会社 具有测距功能的复眼式摄像装置
CN101753849A (zh) * 2008-12-01 2010-06-23 厦门市罗普特科技有限公司 复眼全景摄像机
JP2011109630A (ja) * 2009-11-20 2011-06-02 Advas Co Ltd カメラ装置用雲台
WO2015182488A1 (ja) * 2014-05-26 2015-12-03 コニカミノルタ株式会社 複眼撮像光学系及び複眼撮像装置
CN104597599A (zh) * 2015-02-16 2015-05-06 杭州清渠科技有限公司 一种基于可调控微镜阵列的成像装置
CN107809610B (zh) * 2016-09-08 2021-06-11 松下知识产权经营株式会社 摄像头参数集算出装置、摄像头参数集算出方法以及记录介质
JP2018045464A (ja) * 2016-09-14 2018-03-22 株式会社東芝 画像処理装置、画像処理方法、およびプログラム
CN109360238B (zh) * 2018-09-25 2020-05-12 广东国地规划科技股份有限公司 一种基于双目测距的外业数据采集方法及系统
CN109934854B (zh) * 2019-03-28 2022-09-02 南京邮电大学 一种利用多目摄像头检测运动目标的装置及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015133226A1 (ja) * 2014-03-05 2015-09-11 コニカミノルタ株式会社 複眼撮像光学系、レンズユニット、撮像装置及び携帯端末
CN106537890A (zh) * 2014-07-16 2017-03-22 索尼公司 复眼摄像装置
CN107613177A (zh) * 2017-10-16 2018-01-19 上海斐讯数据通信技术有限公司 基于复眼透镜的摄像头、成像方法及移动终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
仿生曲面复眼系统设计及其图像处理研究;史成勇;《中国博士学位论文全文数据库》;20180415;第8，19，21，25-31，36，44，51，56页 *
史成勇.仿生曲面复眼系统设计及其图像处理研究.《中国博士学位论文全文数据库》.2018, *

Also Published As

Publication number Publication date
CN112866512A (zh) 2021-05-28
EP4068747A4 (en) 2023-12-27
EP4068747A1 (en) 2022-10-05
JP7393542B2 (ja) 2023-12-06
US20220407994A1 (en) 2022-12-22
WO2021103297A1 (zh) 2021-06-03
JP2023502942A (ja) 2023-01-26

Similar Documents

Publication Publication Date Title
CN110044300A (zh) 基于激光器的两栖三维视觉探测装置及探测方法
US10582188B2 (en) System and method for adjusting a baseline of an imaging system with microlens array
US9048153B2 (en) Three-dimensional image sensor
JP2009300268A (ja) ３次元情報検出装置
CN109496316B (zh) 图像识别系统
CN102438111A (zh) 一种基于双阵列图像传感器的三维测量芯片及系统
US11781913B2 (en) Polarimetric imaging camera
CN202406199U (zh) 一种基于双阵列图像传感器的三维测量芯片及系统
CA2998676A1 (en) An apparatus and a method for calibrating an optical acquisition system
CN112866512B (zh) 复眼摄像装置及复眼系统
CN106597469B (zh) 主动成像的激光摄像头的成像方法
CN103033166B (zh) 一种基于合成孔径聚焦图像的目标测距方法
Neumann et al. Compound eye sensor for 3D ego motion estimation
US10872442B2 (en) Apparatus and a method for encoding an image captured by an optical acquisition system
JP2002191060A (ja) ３次元撮像装量
US20200128188A1 (en) Image pickup device and image pickup system
US12041331B2 (en) Compound eye camera device and compound eye system
US20230421872A1 (en) A multiperspective photography camera device
US10902624B2 (en) Apparatus and a method for generating data representing a pixel beam
KR102184210B1 (ko) 3차원 카메라 시스템
US11422264B2 (en) Optical remote sensing
US11092820B2 (en) Apparatus and a method for generating data representative of a pixel beam
JP6055595B2 (ja) 立体画像撮影装置および立体画像表示装置
EP3145195A1 (en) An apparatus and a method for encoding an image captured by an optical acquisition system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant