CN108633329A - 用于3d图像采集的光学系统 - Google Patents

用于3d图像采集的光学系统 Download PDF

Info

Publication number
CN108633329A
CN108633329A CN201480080829.5A CN201480080829A CN108633329A CN 108633329 A CN108633329 A CN 108633329A CN 201480080829 A CN201480080829 A CN 201480080829A CN 108633329 A CN108633329 A CN 108633329A
Authority
CN
China
Prior art keywords
receiving matrix
image set
map image
optical channel
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480080829.5A
Other languages
English (en)
Other versions
CN108633329B (zh
Inventor
安吉拉·柳得维戈夫娜·斯托洛日娃
尼古拉·伊万诺维奇·彼得洛夫
弗拉迪斯拉夫·根纳蒂耶维奇·尼基京
马克西姆·尼古列维奇·克洛莫夫
尤里·米哈伊洛维奇·索科洛夫
阿历桑德罗·特切蒂宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN108633329A publication Critical patent/CN108633329A/zh
Application granted granted Critical
Publication of CN108633329B publication Critical patent/CN108633329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种用于3D图像采集的光学系统(100)，其中，所述光学系统(100)包括：多个光通道(100a、100b)，其中，每个光通道包括主透镜(109a、109b)、透镜阵列(103a、103b)以及一个接收矩阵(101a、101b)，其中，所述接收矩阵(101a、101b)用于基于经过所述主透镜(109a、109b)和所述透镜阵列(103a、103b)的光线创建基本图像集(300a、300b)，其中，所述接收矩阵(101a、101b)的填充度是基于经过所述主透镜(109a、109b)和所述透镜阵列(103a、103b)的所述光线的强度的；图像处理器(300)，用于基于接收矩阵(101a、101b)的所述填充度将所述多个光通道(100a、100b)的所述基本图像集(300a、300b)进行组合，从而提供组合的基本图像集(303)。

Description

用于3D图像采集的光学系统
技术领域
本发明涉及一种用于3D图像采集的光学系统以及3D图像采集的方法，尤其涉及采用整体成像技术实时采集3D物体以实现视频会议和3D图像显示。
背景技术
目前，可通过多种方式采集3D图像。在第一种实现方式中，同时采用多个摄像头采集3D物体，例如，采用立体视觉或多视点。这种实现方式需要采用大量摄像头，与视点数量对应的摄像头数量决定了物体视点的数量，且各摄像头之间的距离决定了运动视差。进行立体采集时，即采用两个摄像头时，没有足够的信息可用于重现完整的3D图像。采用立体采集时，在图像处理阶段要对额外的视点进行计算。如此一来，对于适时的视频会议而言，这种操作需要花费大量的时间，且无法完全恢复额外的视点。运动视差越大，无法恢复的图像的比例也就越大。在第二种实现方式中，采用整体成像技术采集3D物体。这种实现方式需要采用一个大尺寸的摄像头。在第三种实现方式中，基于飞行时间(Time of Flight，简称TOF)方法采集3D物体，该方法采用极其复杂和昂贵的基于微光机电系统(Micro-Opto-Electro-Mechanical System，简称MOEMS)的高速光调制器。
为了保证用于视频会议的3D图像有一个合适的观察角度，相应地，进行图像采集时就需要有不同的视点，也称为不同的物体视点或视角。从不同的视点拍摄人物或人脸时，例如，不同的视点之间要相隔一定的距离，该距离等于人眼间的平均距离，大约为65mm。如此一来，进行立体采集时，需要大量的视点。类似地，在正在聊天的人转头这一场景下，也需要很多视点。一个摄像头的主透镜的直径大约为200mm。额外的视点，即运动视差，提供了必要的3D场景视角的感知集，并拥有“环顾”物体的属性。运动视差越高，或者3D物体的观察角度越大，那么边缘视点之间的距离也就越大。在视频会议应用中，相较于人头部的平均尺寸而言，接收的光学系统的尺寸更大。
发明内容
本发明的目的在于提供一种简易的3D物体采集技术。
该目的通过独立权利要求中的特征来实现。通过结合从属权利要求、说明书和附图，进一步的实现方式将会变得更加清楚。
本发明提供了一种多光通道3D物体采集的简易方案。该3D图像采集技术可包括：采用两个或更多光电通道采集3D图像，并对采集到的数据进行后续图像处理，从而获得来自所有光电通道的组合的3D场景信息。每个通道可包括主透镜、微透镜阵列以及接收矩阵。可以将暗平面置于两个不同光通道的旁边或之间，从而通过消除如下所述的周围杂光效应提高方案性能。基于整体成像技术，每个通道可以用作3D图像采集的系统。物体的全部区域可包括每个通道分别采集的数据以及来自后续相互组合的邻近通道的数据。采用整体成像技术，即3D摄像头，弥补了信息缺乏这一缺点。小3D摄像头数量的减少避免了大尺寸系统这一缺点。采用3D摄像头以及简易图像处理，避免了信息缺乏、摄像头尺寸大以及摄像头数量大的缺点，其中，摄像头的数量等于视角的数量。本发明的优势在于有大量的真正的3D物体视角、较少的摄像头、更小的尺寸以及简易的图像处理。
下面描述的基本场景包括光学系统，其包括主透镜、柱面微透镜阵列以及接收矩阵。在这样的系统中传播的光线在接收矩阵创建了基本图像集。所述微透镜阵列的每一个透镜都可以在全角2ω下接收光线。所述主透镜用于采用其光圈保证全角2ω，因此，3D采集场景的尺寸限于2ω和主透镜的光圈。所述光圈以及所述主透镜的2ω越大，视角也就越多，所述光学系统的尺寸也就越多。本发明各方面提供了在不增加主透镜尺寸的前提下增加视角数量的技术。
为了对本发明进行详细描述，将采用下面的术语、缩写以及符号。
TOF： 飞行时间
MOEMS： 微光机电系统
3D： 三维
EIS： 基本图像集
根据第一方面，本发明涉及一种用于3D图像采集的光学系统，其中，所述光学系统包括：多个光通道，其中，每个光通道包括主透镜、透镜阵列以及接收矩阵，其中，所述接收矩阵用于基于经过所述主透镜和所述透镜阵列的光线创建基本图像集，其中，所述接收矩阵的填充度是基于经过所述主透镜和所述透镜阵列的光线的强度的；图像处理器，用于基于接收矩阵的填充度将所述多个光通道的基本图像集进行组合，从而生成组合的基本图像集。
基于接收矩阵的填充度将所述多个光通道的基本图像集进行组合，使得在不增加所述光学系统的尺寸的前提下，增加3D采集场景的全景角度以及所述场景的尺寸。主透镜采用同一光圈时，两个通道的3D采集场景比一个通道的场景大4倍。因此，所述光学系统实现了简易3D物体采集技术。
根据第一方面，在光学系统的第一种可能的实现方式中，所述多个光通道的每个透镜阵列包括多个微透镜；特定光通道的特定接收矩阵的填充度是基于经过所述特定光通道的所述透镜阵列的所述微透镜的光线累积强度的。采用包括多个微透镜的透镜阵列可减小所述透镜阵列的尺寸。可以采用简洁和空间高效利用的方式实现所述光学系统。
根据第一方面的第一种实现方式，在光学系统的第二种可能的实现方式中，所述特定接收矩阵的第一部分是完全填充了有用信息的，所述特定接收矩阵的第二部分仅仅是部分填充了有用信息的。当所述接收矩阵的第一部分完全填充了有用信息，且第二部分仅仅是部分填充了有用信息时，通过将不同接收矩阵的第二部分进行组合，可以提高所述光学系统的效率，使得生成的部分完全填充或几乎完全填充了有用信息。因此，可减少所述光学系统的尺寸，而不会造成信息丢失；或者可在采用相同大小的光学系统时增加信息量。
根据第一方面的第一或第二种实现方式，在光学系统的第三种可能的实现方式中，所述特定接收矩阵的所述填充度是基于所述特定光通道的所述透镜阵列的所述微透镜的光圈角度的。这有利于增加所述微透镜的光圈角度，以提高所述接收矩阵的填充度，这也意味着可以采集更多光线，即收集更多信息。
根据第一方面的第三种实现方式，在光学系统的第四种可能的实现方式中，所述光圈角度是基于所述主透镜的光圈的。由于所述光线首先经过所述主透镜，再经过所述微透镜，这有利于增加了所述主透镜的光圈，从而采集更多光线。
根据第一方面的第三或第四种实现方式，在光学系统的第五种可能的实现方式中，所述光圈角度从所述特定光通道的所述透镜阵列的边界区域到中心区域是递增的。此特征可用于将一个透镜阵列的边界区域与另一透镜阵列的边界区域进行组合，从而将有用信息进行集中起来。
根据第一方面的第三至第五种实现方式中的任一实现方式，在光学系统的第六种可能的实现方式中，所述特定光通道的所述透镜阵列的特定微透镜的光圈角度是基于所述特定光通道的所述透镜阵列内的所述特定微透镜位置的。该位置可用于指示所述特定光通道的所述接收矩阵的填充度。可以基于所述位置信息将不同的接收矩阵进行组合或重叠。
根据第一方面或第一方面的上述任一实现方式，在光学系统的第七种可能的实现方式中，所述光学系统包括置于所述光通道旁边或之间的多个暗平面，其中，所述暗平面用于消除周围的杂光效应。采用暗平面时可消除周围的杂光效应，从而改进所述采集图像的的对比度。
根据第一方面或第一方面的上述任一实现方式，在光学系统的第八种可能的实现方式中，所述图像处理器用于通过将接收矩阵的竖列进行组合，将所述多个基本图像集进行组合。当将所述接收矩阵的竖列进行组合时，容易执行所述组合方案。
根据第一方面或第一方面的上述任一实现方式，在光学系统的第九种可能的实现方式中，所述图像处理器用于基于与所述第一基本图像集相关的第一接收矩阵以及与所述第二基本图像集相关的第二接收矩阵的竖列排列，将所述多个光通道的第一光通道的第一基本图像集与所述多个光通道的第二光通道的第二基本图像集进行组合，从而提供所述组合的基本图像集。可以在通用处理器上有效地实现所述第一接收矩阵的竖列排列以及所述第二接收矩阵的竖列排列。类似地，可以很简单地将所述组合的基本图像集再转变为所述第一和所述第二基本图像集。
根据第一方面的第九种实现方式，在光学系统的第十种可能的实现方式中，所述组合的基本图像集得尺寸小于所述第一和第二基本图像集的尺寸之和。当所述组合的基本图像集小于所述第一和第二基本图像集的尺寸之和时，可在不增加所述光学系统的尺寸的前提下，增加所述3D采集场景的全景角度以及所述场景的尺寸。
根据第一方面的第九或第十种实现方式，在光学系统的第十一种可能的实现方式中，所述图像处理器用于仅仅将携带有用信息的所述第一和第二接收矩阵的竖列进行组合。当仅仅将携带有用信息的竖列进行组合时，可以将信息的总量精减为有用部分。如此一来，减小了所述光学系统的尺寸。类似地，在没有增加所述光学系统的尺寸的前提下，可以收集更多的信息。
根据第一方面的第十一种实现方式，在光学系统的第十二种可能的实现方式中，携带有用信息的所述第一接收矩阵的竖列数量是基于所述第一光通道的光参数的，携带有用信息的所述第二接收矩阵的竖列数量是基于所述第二光通道的光参数的。其优势在于通过优化所述第一和第二光通道的光参数，可以增加有用的信息量。
根据第一方面的第十二种实现方式，在光学系统的第十三种可能的实现方式中，所述图像处理器用于将未携带有用信息的所述第一接收矩阵的竖列与携带有用信息的所述第二接收矩阵的竖列进行合并，使得与所述组合的基本图像集相关的组合的接收矩阵的竖列数量小于所述第一和第二接收矩阵的竖列之和。
当所述合并例如为与所述组合的接收矩阵的竖列数量小于所述第一和第二接收矩阵的竖列之和时，在不增加所述光学系统的尺寸的前提下，可以增加所述3D采集场景的所述全景角度以及所述场景的尺寸。
根据第二方面，本发明涉及一种3D图像采集的方法，其中，所述方法包括：提供多个光通道，其中，每个光通道包括主透镜、透镜阵列以及接收矩阵；每个光通道采用所述接收矩阵基于经过所述光通道的所述主透镜和所述透镜阵列的光线创建基本图像集，其中，所述接收矩阵的填充度是基于经过所述主透镜和所述透镜阵列的光线强度的；基于接收矩阵的填充度将所述多个光通道的基本图像集进行组合，从而生成组合的基本图像集。
基于接收矩阵的填充度将所述多个光通道的基本图像集进行组合，使得在不增加所述光学系统的尺寸的前提下，增加所述3D采集场景的所述全景角度以及所述场景的尺寸。因此，所述光学系统实现了简易3D物体采集技术。
根据第三方面，本发明涉及计算机程序产品，其包括可读存储介质，该可读存储介质中存储有执行第二方面中所述的方法的计算机所用的程序代码。
该计算机程序可以灵活设计，因此很容易实现需求更新。该计算机程序产品可以运行在多个不同的处理器上。
本发明各方面提供了生成3D图像采集技术，该技术可包括：采用两个或更多光电通道以及后续采集数据的图像处理，采集3D图像，从而获得来自所有光电通道的组合的3D场景信息。每个通道可包括主透镜、微透镜阵列以及接收矩阵。可以将暗平面置于两个不同光通道的旁边或之间，从而通过消除周围的杂光效应提高方案性能。基于整体成像技术，每个通道可以用作3D图像采集的系统。物体的全部区域可包括每个通道分别采集的数据以及来自后续相互组合的邻近通道的数据。
本发明各方面提供了多通道采集系统，其包括主透镜、微透镜阵列、接收矩阵，以及对每个通道分别采集的数据以及来自后续相互组合的邻近通道的数据进行的数字处理。
附图说明
本发明的具体实施方式将结合以下附图进行描述，其中：
图1示出了一种实施方式提供的用于3D图像采集的光学系统100的示意图。
图2示出了一种实施方式提供的用于3D图像采集的光学系统200的示意图。
图3示出了一种实施方式提供的3D图像采集的图像处理器300的示意图。
图4示出了一种实施方式提供的3D图像采集的图像处理技术400的示意图。
图5示出了一种实施方式提供的3D图像采集的方法500的示意图。
具体实施方式
以下结合附图进行详细描述，所述附图是描述的一部分，并通过图解说明的方式示出可以实施本发明的具体方面。可以理解的是，在不脱离本发明范围的情况下，可以利用其他方面，并可以做出结构上或逻辑上的改变。因此，以下详细的描述并不当作限定，本发明的范围由所附权利要求书界定。
本文描述的设备和方法可以是基于3D图像采集的。应该理解的是，关于所述方法所做出评论也适用于用于执行所述方法的对应设备或系统，反之亦然。例如，如果描述了一个特定的方法步骤，对应的设备可包括执行所述方法步骤的单元，即使在图中没有对该单元进行明确描述。进一步地，应该理解的是，如无特别说明，本文描述的各个示例方面的特征可以相互组合。
本文描述的方法和设备可以在3D摄像头中得以实现。所述设备和系统可包括软件单元和硬件单元。所述设备和系统可包括集成电路和/或无源电路，并且可以根据各种技术进行制造。例如，所述电路可以作为逻辑集成电路、模拟集成电路、混合信号集成电路、光电路、记忆电路和/或集成无源电路。
图1示出了一种实施方式提供的用于3D图像采集的光学系统100的示意图。该光学系统100包括多个光通道100a、100b(图1中，为了简化附图，只描述了两个光通道)。每个光通道100a、100b分别包括主透镜109a、109b、透镜阵列103a、103b以及接收矩阵101a、101b。如图3、4所述，所述接收矩阵101a、101b分别基于经过主透镜109a、109b和透镜阵列103a、103b的光线创建基本图像集300a、300b。所述接收矩阵101a、101b的填充度是分别基于经过主透镜109a、109b和所述透镜阵列103a、103b的光线的强度的。所述光学系统100还包括图像处理器300，其用于分别基于接收矩阵101a、101b的填充度将所述多个光通道100a、100b的基本图像集300a、300b进行组合，从而生成图3、4所述的组合的基本图像集303。
每个透镜阵列103a、103b可分别包括多个微透镜。特定光通道100a的特定接收矩阵101a的填充度可以是基于经过所述特定光通道100a的所述透镜阵列103a的所述微透镜的光线累积强度的。所述特定接收矩阵101a的第一部分120可以是完全填充了有用信息的，所述特定接收矩阵101a的第二部分122、124可以是仅仅部分填充了有用信息的。图1中，所述第一部分120对应所述基本图像集的100％填充区域，所述第二部分122和124对应所述基本图像集的50％填充区域122和0％填充区域124。基本图像集平面记为参考标记101；微透镜阵列平面记为参考标记103；图像表面记为参考标记105；所述主透镜的第一焦平面记为参考标记107；主透镜平面记为参考标记109；所述主透镜的第二焦平面记为参考标记111；参考表面记为参考标记113，物体空间记为参考标记119；该物体的高度H记为参考标记121；微透镜的光圈记为参考标记2ω；所述主透镜的光圈记为参考标记115；所述基本图像集的100％填充区域对应的第一部分120的长度记为参考标记2γ'full；100％填充区域120对应的参考表面113上的区域的长度记为参考标记2γfull。
如图1所示，光通道100a、100b可以是近似的相互平行。因此，可以将图1所示的光学系统100的平面101、103、105、107、109、111、113设计为平行平面。类似地，边界处的暗平面117和光通道100a、100b之间的暗平面117可以是相互平行的。可以将暗平面117置于光通道100a、100b旁边和/或之间，暗平面117可以用于消除周围的杂光效应。图1中只示出了光通道100a、100b边界处的暗平面。然而，在其他实现方式中，另一暗平面117可以位于第一光通道100a和第二光通道100b之间。
所述特定接收矩阵101a的填充度可以是基于所述特定光通道100a的所述透镜阵列103a的所述微透镜的光圈角度2ω的。所述光圈角度2ω可以是基于所述主透镜109a的光圈115的。所述光圈角度2ω从所述特定光通道100a的所述透镜阵列103a的边界区域到中心区域可以是递增的。图1中仅示出了所述100％填充区域120的光圈角度2ω。50％填充区域122的光圈角度小于2ω，0％填充区域124的光圈角度小于50％填充区域122的光圈角度。这意味着所述透镜阵列103a的特定微透镜的光圈角度可以是基于所述透镜阵列103a内的所述特定微透镜位置的。
就所述微透镜阵列103a的一个微透镜而言，2ω的角度保证了该微透镜下的所述接收矩阵的完全(即100％)填充区域。从图1可以看出，到达所述主透镜109a的光线的第一部分在大于或小于2ω的角度下的主透镜109a中传输，其后续会到达所述微透镜并在100％填充区域120中完全填充所述接收矩阵；到达所述主透镜109a的光线的第二部分在大于或小于ω的角度下的主透镜109a中传输，其后续会到达所述微透镜并在50％填充区域122中部分填充接收矩阵；到达所述主透镜109a的光线的第三部分在大于或小于0度的角度下的主透镜109a中传输，其后续会到达所述微透镜并在0％填充区域124中稀疏填充接收矩阵。因此，所述接收矩阵可以组成成所述基本图像集，其中，所述微透镜下的所述接收矩阵的一部分区域可以由100％经过所述主透镜的光线填满，所述接收矩阵的其他部分区域可以由从100％到0％经过所述主透镜109a的光线填充。
图2示出了一种实施方式提供的用于3D图像采集的光学系统200的示意图。该光学系统200包括多个光通道200a、200b(图2中，为了简化附图，只描述了两个光通道)。每个光通道200a、200b分别包括主透镜209a、209b、透镜阵列203a、203b以及接收矩阵201a、201b。如图3、4所述，所述接收矩阵201a、201b分别基于经过主透镜209a、209b和透镜阵列203a、203b的光线创建基本图像集300a、300b。所述接收矩阵201a、201b的填充度是分别基于经过所述主透镜209a、209b和所述透镜阵列203a、203b的光线的强度的。所述光学系统200还包括图像处理器300，其用于分别基于接收矩阵201a、201b的填充度将所述多个光通道200a、200b的基本图像集300a、300b进行组合，从而生成图3、4所述的组合的基本图像集303。
每个透镜阵列203a、203b可分别包括多个微透镜。特定光通道200a的特定接收矩阵201a的填充度可以是基于经过所述特定光通道200a的所述透镜阵列203a的所述微透镜的光线累积强度的。所述特定接收矩阵201a的第一部分220可以是完全填充了有用信息的，所述特定接收矩阵201a的第二部分222、224可以是仅仅部分填充了有用信息的。图2中，所述第一部分220对应所述基本图像集的100％填充区域，所述第二部分222和224对应所述基本图像集的50％填充区域222和0％填充区域224。
参考表面记为参考标记213；物体空间记为参考标记219；该物体的高度H记为参考标记221。如图2所述，光通道200a、200b的光线轴都可以是不相互平行的。光通道200a、200b的光线轴的共同交集可以位于主透镜209a、209b和参考表面213之间。可以将暗平面217置于光通道200a、200b旁边或之间，所述暗平面217可以用于消除周围的杂光效应。图2中仅示出了位于光通道200a、200b之间的暗平面。然而，在其他实现方式中，其他暗平面117可以位于第一光通道200a和第二光通道200b的边界处。
需要将两个或更多光通道200a、200b对齐，使得邻近通道采集的3D场景同时落入接收矩阵上的区域220、222、224。其中，一个光通道200a的填充度从区域220到区域222再到区域224由100％下降到0％。相应地，当从左往右看时，另一个光通道200b的填充度从区域224到区域222再到区域220从0％增加到100％。暗平面217可以用于提高方案性能。
图3示出了一种实施方式提供的3D图像采集的图像处理器300的示意图。该图像处理器300可以用于通过将图1、2所述的接收矩阵101a、101b、201a、201b的竖列进行组合，将基本图像集300a、300b进行组合。基于与所述第一基本图像集300a相关的第一接收矩阵101a、201a以及与所述第二基本图像集300b相关的第二接收矩阵101b、201b的竖列排列，该图像处理器300可以将所述第一光通道100a的第一基本图像集300a以及所述第二光通道100b的第二基本图像集300b进行组合，从而提供组合的基本图像集303。所述组合的基本图像集303的尺寸小于所述第一和第二基本图像集300a、300b的尺寸之和。该图像处理器300可以仅仅将携带有用信息的所述第一和第二接收矩阵101a、101b、201a、201b的竖列进行组合。携带有用信息的第一接收矩阵101a、201a的竖列数量可以是分别基于第一光通道100a、200a的光参数的。携带有用信息的第二接收矩阵101b、201b的竖列数量可以是分别基于第二光通道100b、200b的光参数的。该图像处理器300可以分别将未携带有用信息的第一接收矩阵101a、201a的竖列与携带有用信息的第二接收矩阵101b、201b的竖列进行合并，使得与所述组合的基本图像集303相关的组合的接收矩阵的竖列数量小于第一和第二接收矩阵101a、101b、201a、201b的竖列之和。接收矩阵的间距尺寸可以记为参考标记310。
该图像处理器300可以将第二基本图像集300b置于第一基本图像集300a之上(302)，使得完全填充区域位于稀疏少填充区域之上，反之亦然。例如，在第一基本图像集300a中，完全填充区域2γ'full位于左边，稀疏填充区域位于右边。在第二基本图像集300b中，完全填充区域2γ'full位于右边，稀疏少填充区域位于左边。通过将完全填充区域2γ'full的竖列与稀疏填充区域的竖列进行组合，该图像处理器300可以生成组合的基本图像集303。在组合的基本图像集303中，可以将这些完全填充区域2γ'full与稀疏填充区域的行数进行合并，使得组合的基本图像集303显示出光线的统一分配。
根据填充度，采用图3所示的图像处理流程将来自不同的光通道对应的接收矩阵的基本图像集(Elementary Image Set，简称EIS)300a、300b进行组合。如此一来，可在不增加所述光学系统的尺寸的前提下，增加3D采集场景的全景角度以及所述场景的尺寸。例如，主透镜采用同一光圈时，两个通道的3D采集场景比一个通道的场景大4倍。
图4示出了一种实现方式提供的3D图像采集的图像处理技术400的示意图。该图像处理技术400可以由图3所述的图像处理器300执行。
该图像处理技术400可包括通道数据的组合，即图1、图2所述的光通道100、200生成的基本图像集300a、300b的组合。例如，所述光通道的接收矩阵的阵列可以称为data1300a和data2 300b，全部的最终数据阵列可以称为data 303，其可对应于图1至图3所述的组合的基本图像集303。通过竖列排列，可以将数据进行组合。排列规则可以如下：从位置n至位置k，仅仅排列了信息竖列，该排列在同一位置执行。位置n记为与第一基本图像集300a相关的第一接收矩阵data1中的完全填充区域120之后的第一位置；位置k记为与第一基本图像集300a相关的第一接收矩阵data1中的最后位置。所述第一接收矩阵data1与所述第二接收矩阵data2重叠，使得n还记为与所述第二基本图像集300b相关的所述第二接收矩阵data2中的第一位置，k还记为与所述第二基本图像集300b相关的所述第二接收矩阵data2中的完全填充区域120之前的最后位置。所述完全填充区域120排列在所述第一接收矩阵data1的左边，排列在所述第二接收矩阵data2的右边。特别地，n记为100％完全填充区域120末端的矩阵data1的像素的竖列数量，k记为矩阵data1的像素的最后竖列的数量，m记为一个微透镜下的矩阵data1的像素竖列的数量。参数n、m和k可以由光学方案的光参数所确定。从图4中可以看出，矩阵的竖列排列可以运行在所述组合的基本图像集303对应的矩阵data1至矩阵data。因此，正如矩阵data中的100％填充区域120所述，矩阵data是完全填充的。
图5示出了一种实现方式提供的3D图像采集的方法500的示意图。该方法500包括：提供(501)多个光通道，其中，每个光通道包括图1至图4所述的主透镜、透镜阵列以及接收矩阵。该方法500还包括：每个光通道采用(503)所述接收矩阵基于经过所述光通道的所述主透镜和所述透镜阵列的光线创建基本图像集，其中所述接收矩阵的填充度是基于诸如图1至图4所述的经过所述主透镜和所述透镜阵列的所述光线的强度的。该方法500还包括：基于接收矩阵的填充度，将所述多个光通道的所述基本图像集进行组合(505)，从而生成图1至图4所述的组合的基本图像集。
本文描述的方法、系统以及设备可以用作数字信号处理器(Digital SignalProcessor，简称DSP)、微控制器或其他端处理器中的软件，也可以用作数字信号处理器(Digital Signal Processor，简称DSP)的专用集成电路(Application-SpecificIntegrated Circuit，简称ASIC)内中的硬件电路。
本发明可以在数字电子电路中实现，或者可以在计算机硬件、固件、软件中实现，或者可以在这两者的组合中实现，例如，传统的整体成像处理设备以及摄像头的可用硬件，或者专门用于处理本文描述的方法的新硬件。
本发明也支持计算机程序产品，其包括计算机可执行代码或计算机可执行指令，所述代码或指令在执行时，其使得至少一个计算机执行本文描述的执行和计算步骤，尤其是图5所述的方法500以及图1至图4所述的技术。这样的计算机程序产品可包括可读存储介质，其存储有计算机所要用的程序代码。该程序代码可以执行如图5所述的方法500。
尽管本发明的特定特征或方面可能已经仅结合几种实现方式中的一种进行公开，但此类特征或方面可以和其他实现方式中的一个或多个特征或方面相结合，只要对于任何给定或特定的应用是有需要或有利。而且，在一定程度上，术语“包括”、“有”、“具有”或这些词的其他变形在详细的说明书或权利要求书中使用，这类术语和所述术语“包含”是类似的，都是表示包括的含义。同样，术语“示例性地”，“例如”仅表示为示例，而不是最好或最佳的。
尽管此处已经对具体方面进行了描述，但是本领域的普通技术人员应该知道，各个替代的和/或等价的实现方式可以由所述的具体方面所取代，并且不离开本发明的范围。该申请旨在涵盖本文描述的具体方面的任何修改或变更。
尽管以下权利要求书中的各元素是借助对应的标签按照特定顺序列举的，除非对权利要求的阐述另有暗示用于实现部分或所有这些元素的特定顺序，否则这些元素并不一定限于以所述特定顺序来实现。
通过以上启示，对于本领域技术人员来说，许多替代产品、修改及变体是显而易见的。当然，所属领域的技术人员容易意识到除本文所述的应用之外，还存在本发明的众多其它应用。虽然已参考一个或多个特定实施例描述了本发明，但所属领域的技术人员将认识到在不偏离本发明的范围的前提下，仍可对本发明作出许多改变。因此，应理解，只要是在所附权利要求书及其等效文句的范围内，可以用不同于本文具体描述的方式来实践本发明。

Claims (15)

1.一种用于3D图像采集的光学系统(100)，其特征在于，所述光学系统(100)包括：
多个光通道(100a、100b)，其中，每个光通道包括主透镜(109a、109b)、透镜阵列(103a、103b)以及接收矩阵(101a、101b)，其中所述接收矩阵(101a、101b)用于基于经过所述主透镜(109a、109b)和所述透镜阵列(103a、103b)的光线创建基本图像集(300a、300b)，其中，所述接收矩阵(101a、101b)的填充度是基于经过所述主透镜(109a、109b)和所述透镜阵列(103a、103b)的光线的强度的；
图像处理器(300)，用于基于所述接收矩阵(101a、101b)的填充度将所述多个光通道(100a、100b)的基本图像集(300a、300b)进行组合，从而生成组合的基本图像集(303)。
2.根据权利要求1所述的光学系统(100)，其特征在于：
所述多个光通道(100a、100b)的每个透镜阵列(103a、103b)包括多个微透镜；其中
特定光通道(100a)的特定接收矩阵(101a)的填充度是基于经过所述特定光通道(100a)的所述透镜阵列(103a)的所述微透镜的光线累积强度的。
3.根据权利要求2所述的光学系统(100)，其特征在于：
所述特定接收矩阵(101a)的第一部分(120)是完全填充了有用信息的，所述特定接收矩阵(101a)的第二部分(122、124)仅仅是部分填充了有用信息的。
4.根据权利要求2或3所述的光学系统(100)，其特征在于：
所述特定接收矩阵(101a)的所述填充度是基于所述特定光通道(100a)的所述透镜阵列(103a)的所述微透镜的光圈角度的。
5.根据权利要求4所述的光学系统(100)，其特征在于：
所述光圈角度是基于所述主透镜(109a)的光圈(115)的。
6.根据权利要求4或5所述的光学系统(100)，其特征在于：
所述光圈角度从所述特定光通道(100a)的所述透镜阵列(103a)的边界区域到中心区域是递增的。
7.根据权利要求4至6任一项所述的光学系统(100)，其特征在于：
所述特定光通道(100a)的所述透镜阵列(103a)的特定微透镜的光圈角度是基于所述特定光通道(100a)的所述透镜阵列(103a)内的所述特定微透镜位置的。
8.根据上述权利要求中的任一项所述的光学系统(100)，其特征在于，包括：
置于所述光通道(100a、100b)旁边和/或之间的多个暗平面(117)，其中，所述暗平面(117)用于消除周围的杂光效果。
9.根据上述权利要求中的任一项所述的光学系统(100)，其特征在于：
所述图像处理器(300)用于通过将接收矩阵(101a、101b)的竖列进行组合，将所述多个基本图像集(300a、300b)进行组合。
10.根据上述权利要求中的任一项所述的光学系统(100)，其特征在于：
所述图像处理器(300)用于基于与所述第一基本图像集(300a)相关的第一接收矩阵(101a)以及与所述第二基本图像集(300b)相关的第二接收矩阵(101b)的竖列排列，将所述多个光通道的第一光通道(100a)的第一基本图像集(300a)与所述多个光通道的第二光通道(100b)的第二基本图像集(300b)进行组合，从而提供所述组合的基本图像集(303)。
11.根据权利要求10所述的光学系统(100)，其特征在于：
所述组合的基本图像集(303)的尺寸小于所述第一和第二基本图像集(300a、300b)的尺寸之和。
12.根据权利要求10或11所述的光学系统(100)，其特征在于：
所述图像处理器(300)用于仅仅将携带有用信息的所述第一和第二接收矩阵(101a、101b)的竖列进行组合。
13.根据权利要求12所述的光学系统(100)，其特征在于：
携带有用信息的所述第一接收矩阵(101a)的竖列数量是基于所述第一光通道(100a)的光参数的；
携带有用信息的所述第二接收矩阵(101b)的竖列数量是基于所述第二光通道(100b)的光参数的。
14.根据权利要求10至13任一项所述的光学系统(100)，其特征在于：
所述图像处理器(300)用于将未携带有用信息的所述第一接收矩阵(101a)的竖列与携带有用信息的第二接收矩阵(101b)的竖列进行合并，使得与所述组合的基本图像集(303)相关的组合的接收矩阵的竖列数量小于所述第一和第二接收矩阵(101a、101b)的竖列之和。
15.一种3D图像采集的方法(500)，其特征在于，所述方法(500)包括：
提供(501)多个光通道，其中，每个光通道包括主透镜、透镜阵列以及接收矩阵；
每个光通道采用(503)所述接收矩阵，基于经过所述光通道的所述主透镜和所述透镜阵列的光线创建基本图像集，其中所述接收矩阵的填充度是基于经过主透镜和所述透镜阵列的所述光线的强度的；
基于接收矩阵的填充度将所述多个光通道的所述基本图像集进行组合(505)，从而生成组合的基本图像集。
CN201480080829.5A 2014-09-30 2014-09-30 用于3d图像采集的光学系统 Active CN108633329B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2014/000736 WO2016053129A1 (en) 2014-09-30 2014-09-30 Optical system for capturing 3d images

Publications (2)

Publication Number Publication Date
CN108633329A true CN108633329A (zh) 2018-10-09
CN108633329B CN108633329B (zh) 2020-09-25

Family

ID=53016734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480080829.5A Active CN108633329B (zh) 2014-09-30 2014-09-30 用于3d图像采集的光学系统

Country Status (4)

Country Link
US (1) US20170150121A1 (zh)
EP (1) EP3132599A1 (zh)
CN (1) CN108633329B (zh)
WO (1) WO2016053129A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101017234A (zh) * 2006-02-08 2007-08-15 株式会社理光 透镜单元,镜筒,光学装置,图像读取单元,扫描仪和图像形成设备
US20090185801A1 (en) * 2008-01-23 2009-07-23 Georgiev Todor G Methods and Apparatus for Full-Resolution Light-Field Capture and Rendering
US20100328471A1 (en) * 2009-06-24 2010-12-30 Justin Boland Wearable Multi-Channel Camera
CN102439979A (zh) * 2009-04-22 2012-05-02 雷特利克斯股份有限公司 数字成像系统，全光照光学设备及图像数据处理方法
US20130010106A1 (en) * 2009-10-19 2013-01-10 Soichiro Yokota Ranging camera apparatus
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101017234A (zh) * 2006-02-08 2007-08-15 株式会社理光 透镜单元,镜筒,光学装置,图像读取单元,扫描仪和图像形成设备
US20090185801A1 (en) * 2008-01-23 2009-07-23 Georgiev Todor G Methods and Apparatus for Full-Resolution Light-Field Capture and Rendering
CN102439979A (zh) * 2009-04-22 2012-05-02 雷特利克斯股份有限公司 数字成像系统，全光照光学设备及图像数据处理方法
US20100328471A1 (en) * 2009-06-24 2010-12-30 Justin Boland Wearable Multi-Channel Camera
US20130010106A1 (en) * 2009-10-19 2013-01-10 Soichiro Yokota Ranging camera apparatus
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same

Also Published As

Publication number Publication date
US20170150121A1 (en) 2017-05-25
WO2016053129A1 (en) 2016-04-07
CN108633329B (zh) 2020-09-25
EP3132599A1 (en) 2017-02-22

Similar Documents

Publication Publication Date Title
US10764552B2 (en) Near-eye display with sparse sampling super-resolution
CN106454307B (zh) 针对多个用户的光场渲染的方法和设备
CN106170084B (zh) 多视点图像显示设备及其控制方法及多视点图像产生方法
CN107402453B (zh) 一种3d显示装置
KR102121389B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
CN105324984A (zh) 用于生成多投影图像的方法和系统
US9857603B2 (en) 2D/3D switchable display device
CN103297796A (zh) 一种基于集成成像的双视3d显示方法
EP3631559A1 (en) Near-eye display with sparse sampling super-resolution
BR112016005219B1 (pt) Dispositivo de visualização de imagem de múltiplos pontos de visualização, e método de controlar um dispositivo de visualização de imagem com múltiplos pontos de visualização
CN103345068B (zh) 一种立体显示装置
CN101888481A (zh) 成像设备
JP6913441B2 (ja) 画像表示装置
US9197877B2 (en) Smart pseudoscopic-to-orthoscopic conversion (SPOC) protocol for three-dimensional (3D) display
CN103605210A (zh) 一种虚模式集成成像3d显示装置
CN107274474B (zh) 三维场景立体画面绘制中的间接光照复用方法
EP3182702B1 (en) Multiview image display device and control method therefor
JP2020514810A5 (zh)
CN102566250A (zh) 一种裸眼自由立体显示的投影系统及显示器
KR102479029B1 (ko) 플렌옵틱 셀룰러 이미징 시스템
CN112505942B (zh) 一种基于后置投影光源的多分辨率立体显示装置
KR101606539B1 (ko) 360도 원형 디스플레이의 3차원 영상 렌더링 방법
CN111308704A (zh) 三维显示设备和方法
CN108633329A (zh) 用于3d图像采集的光学系统
KR102458379B1 (ko) 입체 영상을 표시하는 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant