CN108093240A - 3d深度图获取方法及装置 - Google Patents

3d深度图获取方法及装置 Download PDF

Info

Publication number
CN108093240A
CN108093240A CN201711407809.6A CN201711407809A CN108093240A CN 108093240 A CN108093240 A CN 108093240A CN 201711407809 A CN201711407809 A CN 201711407809A CN 108093240 A CN108093240 A CN 108093240A
Authority
CN
China
Prior art keywords
images
nir
vis
depth
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711407809.6A
Other languages
English (en)
Inventor
刘浩哲
林刘毓
翁良志
程子桓
吴振兴
刘健群
黃乾燿
丘立安
吴绍懋
戴体贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Pioneer Materials Inc
Original Assignee
Chengdu Pioneer Materials Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Pioneer Materials Inc filed Critical Chengdu Pioneer Materials Inc
Priority to CN201711407809.6A priority Critical patent/CN108093240A/zh
Publication of CN108093240A publication Critical patent/CN108093240A/zh
Priority to EP18202134.5A priority patent/EP3502613B1/en
Priority to US16/200,737 priority patent/US10880540B2/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects

Abstract

本发明提供一种3D深度图获取方法及装置。所述方法应用于图像采集设备。所述设备包括VIS‑NIR影像传感器及红外线结构光投影组件。VIS‑NIR影像传感器上包括多个点阵单元，每个点阵单元上分布有蓝光感光组件、绿光感光组件、红光感光组件及NIR感光组件。所述方法包括：控制蓝光感光组件、绿光感光组件、红光感光组件及NIR感光组件及红外线结构光投影组件的工作状态，以获得最佳NIR图像及最佳VIS图像；对最佳VIS图像及利用3D深度模式运算最佳NIR图像得到的深度图像进行处理，得到3D深度图。由此，不需要单独配置红外摄像头，就可以获得NIR图像，进而得到3D深度图。

Description

3D深度图获取方法及装置
技术领域
本发明涉及影像信息处理技术领域，具体而言，涉及一种3D深度图获取方法及装置。
背景技术
Apple iPhone X利用3D深度感测系统(True Depth Camera System)开发Face ID功能。3D深度感测技术通过红外光雷射结构光投影组件(Dot projector-Structuredlight transmitter)投影3万个红外光雷射光点至脸部，再由红外线相机(Infraredcamera-Structured light receiver)摘取脸部红外线光点影像，进而利用算法建立3D深度脸像图谱。
上述算法必须有NIR(近红外光)图像作为依据，才能利用光点大小、形状、光点结构群进行数学空间解构。因此，3D深度感测系统必须有独立的红外线摄像头及彩色摄像头，红外线摄像头用于获取NIR图像，彩色摄像头用于获取一般影像。
通过上述方式虽然可以建立3D深度脸像图谱，但是单独设置的红外线摄像头会占用图像采集设备的空间资源。
发明内容
为了克服现有技术中的上述不足，本发明所要解决的技术问题是提供一种3D深度图获取方法及装置，其能够不需要在图像采集设备中单独设置红外摄像头，即可获得NIR图像，避免了单独的红外摄像头占用图像采集设备的空间资源，同时将获得的最佳NIR图像及最佳VIS图像进行处理可得到3D深度图以满足用户需求。
本发明实施例提供一种3D深度图获取方法，应用于图像采集设备，所述设备包括可见光及红外光VIS-NIR影像传感器及红外线结构光投影组件，所述VIS-NIR影像传感器上包括多个点阵单元，每个所述点阵单元上分布有蓝光感光组件、绿光感光组件、红光感光组件及NIR感光组件，所述方法包括：
控制NIR感光组件及红外线结构光投影组件的工作状态获得多个NIR图像，从多个所述NIR图像中获得最佳NIR图像；
控制所述蓝光感光组件、绿光感光组件及红光感光组件的工作状态获得多个VIS图像，从多个所述VIS图像中获得最佳VIS图像；
利用3D深度模式运算所述最佳NIR图像，得到深度图像；
对所述深度图像及所述最佳VIS图像进行处理，得到3D深度图。
本发明实施例还提供一种3D深度图获取装置，应用于图像采集设备，所述设备包括VIS-NIR影像传感器及红外线结构光投影组件，所述VIS-NIR影像传感器上包括多个点阵单元，每个所述点阵单元上分布有蓝光感光组件、绿光感光组件、红光感光组件及NIR感光组件，所述装置包括：
获得模块，用于控制NIR感光组件及红外线结构光投影组件的工作状态获得多个NIR图像，从多个所述NIR图像中获得最佳NIR图像；
获得模块，还用于控制所述蓝光感光组件、绿光感光组件及红光感光组件的工作状态获得多个VIS图像，从多个所述VIS图像中获得最佳VIS图像；
运算模块，用于利用3D深度模式运算所述最佳NIR图像，得到深度图像；
处理模块，用于对所述深度图像及所述最佳VIS图像进行处理，得到3D深度图。
相对于现有技术而言，本发明具有以下有益效果：
本发明提供一种3D深度图获取方法及装置。所述方法应用于图像采集设备，所述设备包括VIS-NIR影像传感器及红外线结构光投影组件，所述VIS-NIR影像传感器上包括多个点阵单元，每个所述点阵单元上分布有蓝光感光组件、绿光感光组件、红光感光组件及NIR感光组件。控制NIR感光组件及红外线结构光投影组件的工作状态可获得多个NIR图像，进而从多个所述NIR图像中选择得到最佳NIR图像。通过3D深度模式对所述最佳NIR图像进行运算，得到深度图像。控制所述蓝光感光组件、绿光感光组件及红光感光组件的工作状态可获得多个VIS图像，进而从多个所述VIS图像中选择得到最佳VIS图像。处理所述深度图像及所述最佳VIS图像得到3D深度图。由此，不需要在图像采集设备中单独设置红外摄像头，即可获得NIR图像，避免了单独的红外摄像头占用图像采集设备的空间资源，同时将获得的最佳NIR图像及最佳VIS图像进行处理可得到3D深度图以满足用户需求。
为使发明的上述目的、特征和优点能更明显易懂，下文特举本发明较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例提供的图像采集设备的方框示意图。
图2是图1中VIS-NIR影像传感器的结构示意图。
图3是本发明实施例提供的图像采集设备的应用示意图。
图4是本发明实施例提供的3D深度图获取方法的流程示意图。
图5是图4中步骤S110包括的子步骤的流程示意图。
图6是本发明实施例提供的VIS-NIR摄像头的结构示意图。
图7是图5中子步骤S112包括的子步骤的流程示意图。
图8是亮度对比图的示意图。
图9是图4中步骤S120包括的子步骤的流程示意图。
图10是本发明实施例提供的3D深度图获取装置的方框示意图。
图标：100-图像采集设备；101-存储器；102-存储控制器；103-处理器；110-VIS-NIR影像传感器；112-点阵单元；120-红外线结构光投影组件；130-镜头；151-光学滤片；153-固定座；154-保护盖；200-3D深度图获取装置；210-获得模块；211-控制子模块；212-选择子模块；230-运算模块；240-处理模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，图1是本发明实施例提供的图像采集设备100的方框示意图。在本发明实施例中，所述图像采集设备100可以是，但不限于，智能手机、平板电脑等。所述图像采集设备100包括：存储器101、存储控制器102、处理器103、VIS-NIR摄像头、红外线结构光投影组件120及3D深度图获取装置200。其中，所述VIS-NIR摄像头包括VIS-NIR影像传感器110。
所述存储器101、存储控制器102、处理器103、VIS-NIR影像传感器110及红外线结构光投影组件120各元件之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101中存储有3D深度图获取装置200，所述3D深度图获取装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中的软件功能模块。所述处理器103通过运行存储在存储器101内的软件程序以及模块，如本发明实施例中的3D深度图获取装置200，从而执行各种功能应用以及数据处理，即实现本发明实施例中的3D深度图获取方法。
其中，所述存储器101可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器101用于存储程序，所述处理器103在接收到执行指令后，执行所述程序。所述处理器103以及其他可能的组件对存储器101的访问可在所述存储控制器102的控制下进行。
所述处理器103可能是一种集成电路芯片，具有信号的处理能力。上述的处理器103可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参照图2，图2是图1中VIS-NIR影像传感器110的结构示意图。所述VIS-NIR影像传感器110可以是CCD(Charge-coupled Device，电荷耦合元件)影像传感器，也可以是CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)影像传感器。所述VIS-NIR影像传感器110上包括多个点阵单元112。每个所述点阵单元112上分布有蓝光感光组件、绿光感光组件、红光感光组件及NIR感光组件。其中，感光组件可采用硅基组件、铜铟镓硒半导体(CuInGaSe2)组件、低带隙(Energy Gap＜1eV，比如，三五族的砷化镓GaAs、InGaAS、PbS、SixGey混合化合物及HgTe等等材料)及有机感光组件(OrganicPhotoconductive Film)等。通过各点阵单元112中的感光组件可获得被摄物图像。
所述红外线结构光投影组件120用于向被摄物投射结构光，以便通过所述NIR感光组件获得NIR图像。其中，已知空间方向的投影光线的集合称为结构光。
可以理解，图1所示的结构仅为示意，图像采集设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图3，图3是本发明实施例提供的图像采集设备100的应用示意图。所述图像采集设备100还包括镜头130。所述红外线结构光投影组件120向被摄物投射结构光，所述VIS-NIR影像传感器110通过所述镜头130由被摄物反射的结构光获得被摄物的影像。其中，图3中的结构光投射FOV(instantaneous Field of View，镜头视角)指以红外线结构光投影组件120视角获得的被摄物图像，VIS-NIR相机FOV指以VIS-NIR影像传感器110视角获得的被摄物图像。
请参照图4，图4是本发明实施例提供的3D深度图获取方法的流程示意图。所述方法应用于所述图像采集设备100。下面对3D深度图获取方法的具体流程进行详细阐述。
步骤S110，控制NIR感光组件及红外线结构光投影组件120的工作状态获得多个NIR图像，从多个所述NIR图像中获得最佳NIR图像。
请参照图5及图6，图5是图4中步骤S110包括的子步骤的流程示意图，图6是本发明实施例提供的VIS-NIR摄像头的结构示意图。所述图像采集设备100还包括对焦马达，所述对焦马达与所述处理器103电性连接。步骤S110可以包括子步骤S111及子步骤S112。
子步骤S111，控制所述NIR感光组件及红外线结构光投影组件120工作，同时通过控制对焦马达的位置调整所述VIS-NIR影像传感器110与所述镜头130之间的距离，以获得不同焦距下的多个所述NIR图像。
在本实施例中，控制所述NIR感光组件及红外线结构光投影组件120进入工作状态，同时通过自动化对焦获得多个所述NIR图像。具体地，通过控制所述对焦马达的位置从而调整所述VIS-NIR影像传感器110与所述镜头130之间的距离，进而获得在不同焦距下的多个所述NIR图像。
其中，可以控制所述对焦马达转动一个对焦行程以获得多个所述NIR图像。如6所示，在所述镜头130移动一个对焦部件行程的过程中，获得多个所述NIR图像。
如图6所示，所述VIS-NIR摄像头可以包括VIS-NIR影像传感器110、光学滤片151、固定座153及保护盖154。光线依次经保护盖154、镜头130、光学滤片151投射至所述VIS-NIR影像传感器110上。其中，所述光学滤片151是用来选取所需辐射波段的光学器件，滤光片都会吸收某些波长，从而使物体变得更暗。
子步骤S112，从多个所述NIR图像中选择出所述最佳NIR图像。
可以通过反差对焦、相位对焦等方式获得所述最佳NIR图像。下面对通过反差对焦获得所述最佳NIR图像进行阐述。
其中，反差对焦是通过图像的对比度来进行对焦，一般来说，对比度越大，图像越清晰。反差对焦需要对焦马达转动一个对焦行程，在与对焦行程对应的多个图像中根据图像的亮度对比值选择出最佳图像。
请参照图7，图7是图5中子步骤S112包括的子步骤的流程示意图。子步骤S112可以包括子步骤S1121及子步骤S1122。
子步骤S1121，根据每个所述NIR图像的亮度对比值及对焦马达的位置获得亮度对比图。
在本实施例中，在获取所述NIR图像时，同时获得与所述NIR图像对应的对焦马达的位置。根据每个所述NIR图像的亮度对比值及对焦马达的位置获得亮度对比图。其中，亮度对比值是指预设对焦区中的最亮亮度值与最暗亮度值的差值，预设对焦区可以是区块、点或线。对焦马达的位置表示镜头130与VIS-NIR影像传感器110之间的距离。
子步骤S1122，将所述亮度对比图中的极值对应的所述NIR图像作为所述最佳NIR图像。
在本实施例中，在最佳成像时，在一个对焦行程中获得的多个所述NIR图像的亮度对比值会最大或最小，也就是说，在一个对焦行程中只有一个最佳成像面。在获得所述亮度对比图后，既可根据图中亮度对比值的变化趋势获得极值，并将与极值对应的所述NIR图像作为所述最佳NIR图像。其中，该极值可以是亮度对比值的最大值，也可以是亮度对比值的最小值。
请参照图8，图8是亮度对比图的示意图。图中横坐标为亮度对比值，纵坐标为对焦马达的位置，根据上述设置及各NIR图像的亮度对比值及对焦马达的位置获得亮度对比图。由图8可知，该亮度对比值的极值对应波峰点A，进而由点A获得最佳NIR图像。
在本实施例中，还可以通过相位对焦从多个所述NIR图像中选择出最佳NIR图像。接下来对相位对焦进行阐述。
在通过相位对焦获得最佳NIR图像时，所述对焦马达不一定转动一个对焦行程。相位对焦通过相位检测的线性信号来判断当前的焦点位置是靠前还是靠后，进而控制对焦马达的转动，并且在准确焦点位置时，VIS-NIR摄像头可准确得知当前已经处于合焦位置，控制对焦马达停止转动，并将与合焦位置对应的图像作为最佳NIR图像。
步骤S120，控制所述蓝光感光组件、绿光感光组件及红光感光组件的工作状态获得多个VIS图像，从多个所述VIS图像中获得最佳VIS图像。
请参照图9，图9是图4中步骤S120包括的子步骤的流程示意图。步骤S120可以包括子步骤S121及子步骤S122。
子步骤S121，控制所述蓝光感光组件、绿光感光组件及红光感光组件工作，同时通过控制对焦马达的位置调整所述VIS-NIR影像传感器110与所述镜头130之间的距离，以获得不同焦距下的多个所述VIS图像。
子步骤S122，从多个所述VIS图像中选择出最佳VIS图像。
在本实施例中，控制所述蓝光感光组件、绿光感光组件及红光感光组件进入工作状态，同时通过自动化对焦调整对焦马达的位置，从而调整所述VIS-NIR影像传感器110与所述镜头130之间的距离，以获得不同焦距下的多个所述VIS(可见光)图像。
在本实施例中，可以通过反差对焦、相位对焦等方式获得所述最佳VIS图像。其中，反差对焦是根据每个VIS图像的亮度对比值及对焦马达的位置得到VIS图像的亮度对比图，从VIS图像的亮度对比图中选择极值对应的VIS图像作为最佳VIS图像。相对对焦是根据每个VIS图像的相位控制对焦马达的转动，在合焦位置控制对焦马达停止转动，并将与合焦位置对应的VIS图像作为最佳VIS图像。
在本实施例中的实施方式中，还可以预先设定点阵单元112输出VIS图像信号或输出NIR图像信号。
关于步骤S120的具体描述可以参照上文对步骤S110的描述。
在本实施例中，可以在一个对焦行程中同时获得NIR图像及VIS图像，也可以在多个对焦行程中获得NIR图像及VIS图像(比如，在一个对焦行程中获得多个NIR图像，在另一个对焦行程中获得多个VIS图像)，还可以交叉进行。在此不对获得NIR图像及VIS图像的具体顺序进行限定。
步骤S130，利用3D深度模式运算所述最佳NIR图像，得到深度图像。
在本实施例中，红外线结构光投影组件120投影的结构光，投影数万个特制化NIR光点，再通过VIS-NIR影像传感器110获得多个NIR图像。在选择出最佳NIR图像后，分析出各组结构光组，根据各组结构光组及图像采集设备100中预先存储的数据库得到x、y坐标，再利用各结构光组中的点-点距离变化、亮度等计算得到z，从而组合成(x、y、z)，得到所述深度图像。其中，每组结构光组的结构不同。深度图像也被成为距离图像，是指VIS-NIR影像传感器110到被摄物各点的距离(深度)作为像素值的图像，深度图像反映了被摄物可见表面的几何数据。
步骤S140，对所述深度图像及所述最佳VIS图像进行处理，得到3D深度图。
在本实施例中，所述VIS-NIR影像传感器110包括蓝光感光组件、绿光感光组件、红光感光组件及NIR感光组件，因此，所述深度图像与所述最佳VIS图像在同一轴面上，可以对所述深度图像及最佳VIS图像进行图像嵌合或卷积神经网络嵌合(Convolutional neuralnetwork，CNN)得到所述3D深度图。
其中，由于所述深度图像的成像轴与所述最佳VIS图像的成像轴在同一轴面上，无被摄物旋转、倾斜等问题，可相对容易由所述深度图像及最佳VIS图像合成所述3D深度图。
请再次参照图2，i表示行地址值，j表示列地址值。所述VIS-NIR影像传感器110可以获得NIR图像及VIS图像，在只获取NIR图像时，可以将输出的NIR信号表示为S(i,j,nir)；在只获取VIS图像时，可以将输出的VIS信号表示为S(i,j,b,g,r)。其中，b表示蓝光测量值，g表示绿光测量值，r表示红光测量值，nir表示红外光测量值。从多个S(i,j,nir)选择出最佳NIR图像M(i,j,nir)，从多个S(i,j,b,g,r)选择出最佳VIS图像M(i,j,b,g,r)。经3D深度模式对M(i,j,nir)进行运算，得到深度图像(i,j,d)。对深度图像及最佳VIS图像进行影响嵌合或卷积神经网络嵌合得到3D深度图，即M(i,j,b,g,r)×M(i,j,d)＝M(i,j,b,g,r,d)。
通过上述方法，只需要一颗VIS-NIR摄像头即可替代目前的两颗摄像头，节省了开支，同时避免单独设置的红外摄像头占用图像采集设备100的空间资源。此外，VIS-NIR摄像头包括了蓝光感光组件、绿光感光组件、红光感光组件及NIR感光组件，由此获得的深度图像及最佳VIS图像更便于合成3D深度图。
请参照图10，图10是本发明实施例提供的3D深度图获取装置200的方框示意图。所述3D深度图获取装置200应用于图像采集设备100。所述图像采集设备100包括VIS-NIR影像传感器110及红外线结构光投影组件120。所述VIS-NIR影像传感器110上包括多个点阵单元112，每个所述点阵单元112上分布有蓝光感光组件、绿光感光组件、红光感光组件及NIR感光组件。所述3D深度图获取装置200可以包括获得模块210、运算模块230及处理模块240。
获得模块210，用于控制NIR感光组件及红外线结构光投影组件120的工作状态获得多个NIR图像，从多个所述NIR图像中获得最佳NIR图像。
所述图像采集设备100还包括对焦马达和镜头130。所述获得模块210包括控制子模块211及选择子模块212。
控制子模块211，用于控制所述NIR感光组件及结构光投影组件工作，同时通过控制对焦马达的位置调整所述VIS-NIR影像传感器110与所述镜头130之间的距离，以获得不同焦距下的多个所述NIR图像。
选择子模块212，用于从多个所述NIR图像中选择出所述最佳NIR图像。
在本实施例的一种实施方式中，选择子模块212从多个所述NIR图像中选择出所述最佳NIR图像的方式包括：
根据每个所述NIR图像的亮度对比值及对焦马达的位置获得亮度对比图；
将所述亮度对比图中的极值对应的所述NIR图像作为所述最佳NIR图像。
在上述实施方式中，所述控制子模块211通过控制对焦马达的位置调整所述VIS-NIR影像传感器110与所述镜头130之间的距离，以获得不同焦距下的多个所述NIR图像的方式包括：
控制所述对焦马达转动一个对焦行程以获得多个所述NIR图像。
在本实施例的另一种实施方式中，选择子模块212从多个NIR图像中选择出所述最佳NIR图像的方式包括：
通过相位对焦从多个所述NIR图像中选择出所述最佳NIR图像。
在本实施例中，所述获得模块210用于执行图3中的步骤S110，关于所述获得模块210的具体描述可以参照图3中步骤S110的详细描述。
获得模块210，还用于控制所述蓝光感光组件、绿光感光组件及红光感光组件的工作状态获得多个VIS图像，从多个所述VIS图像中获得最佳VIS图像。
获得模块210控制所述蓝光感光组件、绿光感光组件及红光感光组件的工作状态获得多个VIS图像，从多个所述VIS图像中获得最佳VIS图像的方式包括：
控制所述蓝光感光组件、绿光感光组件及红光感光组件工作，同时通过控制对焦马达的位置调整所述VIS-NIR影像传感器110与所述镜头130之间的距离，以获得不同焦距下的多个所述VIS图像；
从多个所述VIS图像中选择出最佳VIS图像。
在本实施例中，所述获得模块210还用于执行图3中的步骤S120，关于所述获得模块210的具体描述还可以参照图3中步骤S120的详细描述。
运算模块230，用于利用3D深度模式运算所述最佳NIR图像，得到深度图像。
在本实施例中，所述运算模块230还用于执行图3中的步骤S130，关于所述运算模块230的具体描述还可以参照图3中步骤S130的详细描述。
处理模块240，用于对所述深度图像及所述最佳VIS图像进行处理，得到3D深度图。
所述处理模块240对所述深度图像及所述最佳VIS图像进行处理，得到3D深度图的方式包括：
对所述深度图像及最佳VIS图像进行图像嵌合或卷积神经网络嵌合得到所述3D深度图。
在本实施例中，所述处理模块240还用于执行图3中的步骤S140，关于所述处理模块240的具体描述还可以参照图3中步骤S140的详细描述。
综上所述，本发明实施例提供一种3D深度图获取方法及装置。所述方法应用于图像采集设备，所述设备包括VIS-NIR影像传感器及红外线结构光投影组件，所述VIS-NIR影像传感器上包括多个点阵单元，每个所述点阵单元上分布有蓝光感光组件、绿光感光组件、红光感光组件及NIR感光组件。控制NIR感光组件及红外线结构光投影组件的工作状态可获得多个NIR图像，进而从多个所述NIR图像中选择得到最佳NIR图像。通过3D深度模式对所述最佳NIR图像进行运算，得到深度图像。控制所述蓝光感光组件、绿光感光组件及红光感光组件的工作状态可获得多个VIS图像，进而从多个所述VIS图像中选择得到最佳VIS图像。处理所述深度图像及所述最佳VIS图像得到3D深度图。由此，不需要在图像采集设备中单独设置红外摄像头，即可获得NIR图像，避免了单独的红外摄像头占用图像采集设备的空间资源，同时将获得的最佳NIR图像及最佳VIS图像进行处理可得到3D深度图以满足用户需求。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种3D深度图获取方法，其特征在于，应用于图像采集设备，所述设备包括可见光及红外光VIS-NIR影像传感器及红外线结构光投影组件，所述VIS-NIR影像传感器上包括多个点阵单元，每个所述点阵单元上分布有蓝光感光组件、绿光感光组件、红光感光组件及NIR感光组件，所述方法包括：
控制NIR感光组件及红外线结构光投影组件的工作状态获得多个NIR图像，从多个所述NIR图像中获得最佳NIR图像；
控制所述蓝光感光组件、绿光感光组件及红光感光组件的工作状态获得多个VIS图像，从多个所述VIS图像中获得最佳VIS图像；
利用3D深度模式运算所述最佳NIR图像，得到深度图像；
对所述深度图像及所述最佳VIS图像进行处理，得到3D深度图。
2.根据权利要求1所述的方法，其特征在于，所述图像采集设备还包括对焦马达和镜头，所述控制NIR感光组件及红外线结构光投影组件的工作状态获得多个NIR图像，从多个所述NIR图像中获得最佳NIR图像的步骤包括：
控制所述NIR感光组件及红外线结构光投影组件工作，同时通过控制对焦马达的位置调整所述VIS-NIR影像传感器与所述镜头之间的距离，以获得不同焦距下的多个所述NIR图像；
从多个所述NIR图像中选择出所述最佳NIR图像。
3.根据权利要求2所述的方法，其特征在于，所述通过控制对焦马达的位置调整所述VIS-NIR影像传感器与所述镜头之间的距离，以获得不同焦距下的多个所述NIR图像的步骤包括：
控制所述对焦马达转动一个对焦行程以获得多个所述NIR图像。
4.根据权利要求3所述的方法，其特征在于，所述从多个所述NIR图像中选择出所述最佳NIR图像的步骤包括：
根据每个所述NIR图像的亮度对比值及对焦马达的位置获得亮度对比图；
将所述亮度对比图中的极值对应的所述NIR图像作为所述最佳NIR图像。
5.根据权利要求2所述的方法，其特征在于，所述从多个所述NIR图像中选择出所述最佳NIR图像的步骤包括：
通过相位对焦从多个所述NIR图像中选择出所述最佳NIR图像。
6.根据权利要求2所述的方法，其特征在于，所述控制所述蓝光感光组件、绿光感光组件及红光感光组件的工作状态获得多个VIS图像，从多个所述VIS图像中获得最佳VIS图像的步骤包括：
控制所述蓝光感光组件、绿光感光组件及红光感光组件工作，同时通过控制对焦马达的位置调整所述VIS-NIR影像传感器与所述镜头之间的距离，以获得不同焦距下的多个所述VIS图像；
从多个所述VIS图像中选择出最佳VIS图像。
7.根据权利要求1所述的方法，其特征在于，所述对所述深度图像及所述最佳VIS图像进行处理，得到3D深度图的步骤包括：
对所述深度图像及最佳VIS图像进行图像嵌合或卷积神经网络嵌合得到所述3D深度图。
8.一种3D深度图获取装置，其特征在于，应用于图像采集设备，所述设备包括VIS-NIR影像传感器及红外线结构光投影组件，所述VIS-NIR影像传感器上包括多个点阵单元，每个所述点阵单元上分布有蓝光感光组件、绿光感光组件、红光感光组件及NIR感光组件，所述装置包括：
获得模块，用于控制NIR感光组件及红外线结构光投影组件的工作状态获得多个NIR图像，从多个所述NIR图像中获得最佳NIR图像；
获得模块，还用于控制所述蓝光感光组件、绿光感光组件及红光感光组件的工作状态获得多个VIS图像，从多个所述VIS图像中获得最佳VIS图像；
运算模块，用于利用3D深度模式运算所述最佳NIR图像，得到深度图像；
处理模块，用于对所述深度图像及所述最佳VIS图像进行处理，得到3D深度图。
9.根据权利要求8所述的装置，其特征在于，所述图像采集设备还包括对焦马达和镜头，所述获得模块包括：
控制子模块，用于控制所述NIR感光组件及结构光投影组件工作，同时通过控制对焦马达的位置调整所述VIS-NIR影像传感器与所述镜头之间的距离，以获得不同焦距下的多个所述NIR图像；
选择子模块，用于从多个所述NIR图像中选择出所述最佳NIR图像。
10.根据权利要求8所述的装置，其特征在于，所述处理模块对所述深度图像及所述最佳VIS图像进行处理，得到3D深度图的方式包括：
对所述深度图像及最佳VIS图像进行图像嵌合或卷积神经网络嵌合得到所述3D深度图。
CN201711407809.6A 2017-12-22 2017-12-22 3d深度图获取方法及装置 Pending CN108093240A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201711407809.6A CN108093240A (zh) 2017-12-22 2017-12-22 3d深度图获取方法及装置
EP18202134.5A EP3502613B1 (en) 2017-12-22 2018-10-23 3d depth image acquiring method and apparatus
US16/200,737 US10880540B2 (en) 2017-12-22 2018-11-27 3D depth image acquiring method and apparatus, and image acquisition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711407809.6A CN108093240A (zh) 2017-12-22 2017-12-22 3d深度图获取方法及装置

Publications (1)

Publication Number Publication Date
CN108093240A true CN108093240A (zh) 2018-05-29

Family

ID=62178858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711407809.6A Pending CN108093240A (zh) 2017-12-22 2017-12-22 3d深度图获取方法及装置

Country Status (3)

Country Link
US (1) US10880540B2 (zh)
EP (1) EP3502613B1 (zh)
CN (1) CN108093240A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111156900A (zh) * 2018-11-08 2020-05-15 中国科学院沈阳自动化研究所 一种枪弹底火装配深度线结构光测量方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111256589B (zh) * 2020-02-14 2020-12-01 长飞光纤光缆股份有限公司 一种基于丢帧检测的图像法尺寸测量补偿方法及装置
WO2021237493A1 (zh) * 2020-05-27 2021-12-02 北京小米移动软件有限公司南京分公司 图像处理方法及装置、相机组件、电子设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104604220A (zh) * 2012-09-03 2015-05-06 Lg伊诺特有限公司 图像处理系统
CN104918034A (zh) * 2015-05-29 2015-09-16 深圳奥比中光科技有限公司 一种3d图像捕获装置、捕获方法及3d图像系统
CN106412433A (zh) * 2016-10-09 2017-02-15 深圳奥比中光科技有限公司 基于rgb‑ir深度相机的自动对焦方法及系统
CN107172407A (zh) * 2016-03-08 2017-09-15 聚晶半导体股份有限公司 适于产生深度图的电子装置与方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101966975B1 (ko) * 2012-09-03 2019-04-08 엘지이노텍 주식회사 스테레오 매칭장치
US9407837B2 (en) * 2013-02-28 2016-08-02 Google Inc. Depth sensor using modulated light projector and image sensor with color and IR sensing
KR20150021353A (ko) * 2013-08-20 2015-03-02 삼성테크윈 주식회사 영상 융합 시스템 및 그 방법
CN106165398B (zh) * 2014-04-04 2019-07-02 株式会社尼康 摄像元件、摄像装置以及图像处理装置
US9516295B2 (en) * 2014-06-30 2016-12-06 Aquifi, Inc. Systems and methods for multi-channel imaging based on multiple exposure settings
US10334216B2 (en) * 2014-11-06 2019-06-25 Sony Corporation Imaging system including lens with longitudinal chromatic aberration, endoscope and imaging method
WO2016192437A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种3d图像捕获装置、捕获方法及3d图像系统
KR101672669B1 (ko) * 2015-11-23 2016-11-03 재단법인 다차원 스마트 아이티 융합시스템 연구단 시차를 이용하는 멀티 애퍼처 카메라 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104604220A (zh) * 2012-09-03 2015-05-06 Lg伊诺特有限公司 图像处理系统
CN104918034A (zh) * 2015-05-29 2015-09-16 深圳奥比中光科技有限公司 一种3d图像捕获装置、捕获方法及3d图像系统
CN107172407A (zh) * 2016-03-08 2017-09-15 聚晶半导体股份有限公司 适于产生深度图的电子装置与方法
CN106412433A (zh) * 2016-10-09 2017-02-15 深圳奥比中光科技有限公司 基于rgb‑ir深度相机的自动对焦方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111156900A (zh) * 2018-11-08 2020-05-15 中国科学院沈阳自动化研究所 一种枪弹底火装配深度线结构光测量方法
CN111156900B (zh) * 2018-11-08 2021-07-13 中国科学院沈阳自动化研究所 一种枪弹底火装配深度线结构光测量方法

Also Published As

Publication number Publication date
EP3502613A1 (en) 2019-06-26
US20190200002A1 (en) 2019-06-27
EP3502613B1 (en) 2021-07-21
US10880540B2 (en) 2020-12-29

Similar Documents

Publication Publication Date Title
EP3396942B1 (en) Image sensor, imaging method and electronic device
CN108141571B (zh) 无掩模相位检测自动聚焦
US10009540B2 (en) Image processing device, image capturing device, and image processing method for setting a combination parameter for combining a plurality of image data
US9025060B2 (en) Solid-state image sensor having a shielding unit for shielding some of photo-electric converters and image capturing apparatus including the solid-state image sensor
US11483467B2 (en) Imaging device, image processing device, and electronic apparatus
CN108141531B (zh) 摄像装置
US10638037B2 (en) Image-capturing device and image processing device
CN110959285B (zh) 成像系统、成像方法和非瞬时性机器可读存储介质
US10571246B2 (en) Imaging processing apparatus, distance measuring apparatus and processing system
US20080151079A1 (en) Imaging Device and Manufacturing Method Thereof
KR20120068655A (ko) 무선통신장치를 이용하여 양질의 홍채 및 피사체 영상을 편리하게 촬영하기 위한 방법 및 한 개의 밴드패스필터로 가시광선과 근적외선 일부영역을 투과시키는 카메라 장치
CN108093240A (zh) 3d深度图获取方法及装置
CN112839215B (zh) 摄像模组、摄像头、终端设备、图像信息确定方法及存储介质
EP4044577A1 (en) Light path switching method and monitoring module
WO2023279289A1 (en) Processing image data using multi-point depth sensing system information
KR20200139567A (ko) 카메라 장치 및 이의 이미지 합성 방법
Pham et al. Analysis of the smartphone camera exposure effect on laser extraction
CN112866552B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
WO2017170726A1 (ja) 撮像装置および電子機器
CN114845017A (zh) 成像模组、电子设备、成像方法和存储介质
WO2017170725A1 (ja) 撮像装置、被写体検出装置、および電子機器
JPWO2017170724A1 (ja) 撮像装置、レンズ調節装置、および電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination