CN110493587B - 图像获取装置和方法、电子设备、计算机可读存储介质 - Google Patents
图像获取装置和方法、电子设备、计算机可读存储介质 Download PDFInfo
- Publication number
- CN110493587B CN110493587B CN201910713220.1A CN201910713220A CN110493587B CN 110493587 B CN110493587 B CN 110493587B CN 201910713220 A CN201910713220 A CN 201910713220A CN 110493587 B CN110493587 B CN 110493587B
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional image
- module
- dimensional
- acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 94
- 238000013507 mapping Methods 0.000 claims abstract description 52
- 238000005070 sampling Methods 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 230000003068 static effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000007499 fusion processing Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种图像获取装置和方法、电子设备、计算机可读存储介质。图像获取装置包括采集模块、配准模块、融合模块以及上采样模块，采集模块对场景进行采集以获得具有不同分辨率和不同图像信息的第一二维图像、第二二维图像以及三维图像，配准模块对存在差异的图像进行相关配准，获取不同图像间的映射关系，以使融合模块根据映射关系将具有不同分辨率及不同图像信息的图像进行融合，并通过上采样模块将融合图像的分辨率进一步提高，使图像获取装置获得高分辨的三维深度图像，同时实现了图像的颜色信息、灰度信息以及深度信息等不同特征信息的融合，提高图像信息的完整性。
Description
技术领域
本发明涉及成像技术领域，特别是涉及一种图像获取装置和方法、电子设 备、计算机可读存储介质。
背景技术
随着数码技术、半导体制造技术以及网络的迅速发展，传统图像传感器的 二维成像技术日益成熟，其采集到的图像可以是色彩模式也可以是灰度模式， 且具有很高的分辨率。但是，其采集到的图像信息在一定程度上并不完整，比 如缺乏深度信息。
而随着科学技术的发展，越来越多的行业领域已不再满足二维显示提供的 平面信息，要求真实的反映三维的实际世界。因而既能输出三维图像信息，又 能输出二维图像信息的深度传感器的应用越来越多。但是，相较于传统图像传 感器，深度传感器采集的图像，图像的分辨率低、色彩模式受限，并不能满足 用户的需求。
因此，示例性的图像获取方式满足不了用户高分辨图像同时图像信息完整 的需求。
发明内容
基于此，有必要提供一种能够同时提高图像分辨率及图像信息完整性的图 像获取装置和方法、电子设备、计算机可读存储介质。
为了实现本发明的目的，本发明采用如下技术方案：
一种图像获取装置，包括：
采集模块，被配置为采集场景的第一二维图像、第二二维图像以及三维图 像；所述第一二维图像的分辨率高于所述第二二维图像的分辨率；
配准模块，连接所述采集模块，被配置为将所述第一二维图像和所述第二 二维图像进行图像配准，获取所述第一二维图像和所述第二二维图像的映射关 系；
融合模块，连接所述采集模块和所述配准模块，被配置为根据所述映射关 系将所述三维图像和所述第一二维图像进行图像融合，获得融合图像；
上采样模块，连接所述融合模块，被配置为将所述融合图像进行上采样， 获得高分辨率三维深度图像。
在其中一种实施例中，所述采集模块包括：
第一采集单元，分别连接所述配准模块和所述融合模块，被配置为采集场 景反射的图像光形成第一二维图像；
第二采集单元，分别连接所述配准模块和所述融合模块，被配置为采集场 景的第二二维图像并输出至所述配准模块，采集场景的三维图像并输出至所述 融合模块。
在其中一种实施例中，所述第二采集单元包括：
控制电路，被配置为控制光源向场景发射第一脉冲光；
探测电路，连接所述控制电路，被配置为接收场景反射回的第二脉冲光， 根据第一脉冲光和第二脉冲光探测二维灰度值和/或深度信息；
读出电路，分别所述探测电路、所述配准模块以及所述融合模块，被配置 为根据所述二维灰度值读出第二二维图像信息，根据所述深度信息读出三维图 像信息。
在其中一种实施例中，所述探测电路包括：
光电探测器，连接所述控制电路，被配置为探测场景反射的第二脉冲光并 生成触发信号；
转换电路，连接所述光电探测器和所述读出电路，被配置为在二维模式下 根据触发信号探测二维灰度值，在三维模式下根据所述第一脉冲光和所述第二 脉冲光获取距离信息。
在其中一种实施例中，所述转换电路包括：
第一开关、第二开关、计数器、振荡器以及译码器；
所述第一开关的静态触点连接所述计数器的输入端，所述第一开关的第一 动态触点、所述振荡器的第一端以及所述光电探测器的输出端共接，所述第一 开关的第二动态触点、所述振荡器的第二端、所述译码器的第一端共接，所述 译码器的第二端连接第二开关的静态触点，所述第二开关的动态触点与计数器 的输出端共接于所述读出电路的输入端。
在其中一种实施例中，所述采集模块还包括：
滤光单元，设置在场景和所述第一采集单元之间，和/或设置在场景和所述 第二采集单元之间，被配置为对场景反射光进行光谱滤波。
在其中一种实施例中，所述采集模块还包括：
调光单元，设置在场景和所述第一采集单元之间，和/或设置在场景和所述 第二采集单元之间，被配置为对场景反射光进行光强度调整。
在其中一种实施例中，所述采集模块还包括：
开关单元，分别连接所述第二采集单元、所述配准模块以及所述融合模块， 被配置为控制所述第二采集单元与所述配准模块的连接状态，控制所述第二采 集单元与所述融合模块的连接状态。
在其中一种实施例中，所述配准模块包括：
提取单元，连接所述采集模块，被配置为分别提取所述第一二维图像和所 述第二二维图像相对应的特征点组；
映射单元，连接所述提取单元和所述融合模块，被配置为根据特征点组获 取所述第一二维图像和所述第二二维图像的映射关系。
在其中一种实施例中，所述融合模块包括：
变换单元，连接所述采集模块和所述配准模块，被配置为根据所述三维图 像和所述映射关系获取投影变换图像；
图像融合单元，连接所述变换单元和所述上采样模块，被配置为将所述投 影变换图像和所述第一二维图像进行融合，获得融合图像。
一种图像获取方法，包括：
采集场景的第一二维图像、第二二维图像以及三维图像；所述第一二维图 像的分辨率高于所述第二二维图像的分辨率；
将所述第一二维图像和所述第二二维图像进行图像配准，获取所述第一二 维图像和所述第二二维图像的映射关系；
根据所述映射关系将所述三维图像和所述第一二维图像进行图像融合，获 得融合图像；
将所述融合图像进行上采样，获得高分辨率三维深度图像。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序， 所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述的图像获 取方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处 理器执行时实现如上所述的图像获取方法的步骤。
上述图像获取装置和图像获取方法，通过对场景进行采集以获得具有不同 分辨率和不同图像信息的第一二维图像、第二二维图像以及三维图像，继而对 存在差异的图像进行相关配准，获取不同图像间的映射关系，根据映射关系将 具有不同分辨率及不同图像信息的图像进行融合，并通过上采样进一步提高融 合图像的分辨率，从而获得高分辨的三维深度图像，同时实现图像的颜色信息、 灰度信息以及深度信息等不同特征信息的融合，提高图像信息的完整性。
附图说明
图1为一实施例中图像获取装置的结构示意图；
图2为一实施例中配准模块的结构示意图；
图3为一实施例中融合模块的结构示意图；
图4为一实施例中采集模块的结构示意图；
图5为一实施例中第二采集单元的结构示意图；
图6为一实施例中探测电路的结构示意图；
图7为一实施例中转换电路的电路示意图；
图8a-图8d为另一实施例中采集模块的结构示意图；
图9为另一实施例中采集模块的结构示意图；
图10为一实施例中开关单元的电路示意图；
图11为一实施例中的图像获取方法的流程图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。 附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来 实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对 本发明的公开内容的理解更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术 领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术 语只是为了描述具体地实施例的目的，不是旨在于限制本发明。
参见图1，图1为一实施例中的图像获取装置的结构示意图。
在本实施例中，图像获取装置包括采集模块100、配准模块200、融合模块 300以及上采样模块400。
采集模块100，被配置为采集场景的第一二维图像、第二二维图像以及三维 图像，第一二维图像的分辨率高于第二二维图像的分辨率。
配准模块200，连接采集模块100，被配置为将第一二维图像和第二二维图 像进行图像配准，获取第一二维图像和第二二维图像的映射关系。
融合模块300，连接采集模块100和配准模块200，被配置为根据映射关系 将三维图像和第一二维图像进行图像融合，获得融合图像。
上采样模块400，连接融合模块300，被配置为将融合图像信息进行上采样， 获得高分辨率三维深度图像。
在本实施例中，采集模块100融合多种采集单元，可以不同的采集方式从 同一位置或者不同位置对场景进行采集，从而获得第一二维图像、第二二维图 像以及三维图像，获得多源信道的图像。
其中，场景为目标采集物，由一个或者多个对象组成，对场景进行采集可 以获取与场景对应的图像。
其中，第一二维图像是仅有场景二维平面信息而没有深度方向信息的图像； 第一二维图像可以是RGB色彩模式图像，也可以是灰度模式图像。第一二维图 像具有高的分辨率。第二二维图像是指场景的二维灰度图像信息，分辨率低于 第一二维图像；三维图像是指具有场景深度方向信息的图像，分辨率低于第一 二维图像。三维深度图像是指具有高分辨率图像信息及深度方向信息的图像。 其中，第一二维图像、第二二维图像以及三维图像可以分别对应有多幅图像； 且第一二维图像、第二二维图像以及三维图像可以同时对应同一场景；或者第 二二维图像和某一第一二维图像对应同一场景，三维图像和另外某一第一二维 图像对应同一场景。
其中，不同的采集方式包括传统的图像传感采集方式和深度传感采集方式。 对同一场景进行采集时，采集的视角存在重叠区域，即公共区域，在重叠区域 内，第一二维图像、第二二维图像以及三位深度图像具有对应点，例如相对应 的特征点。
其中，采集模块100在采集同一场景的不同图像时，可以在不同时刻对第 一二维图像、第二二维图像以及三维图像进行采集，例如，可以先采集第一二 维图像和第二二维图像，由配准模块200获取映射关系后，再采集第一二维图 像和三维图像以进行融合处理；也可以同时采集第一二维图像、第二二维图像 以及三维图像，由配准模块200获取映射关系，再由融合模块300对第一二维 图像和三维图像进行融合处理；或者，在图像获取装置已存储有映射关系时， 后续图像处理过程中，采集模块100可以只采集第一二维图像和三维图像，继 而直接通过融合模块300对第一二维图像和三维图像进行融合处理，避免第二 二维图像重复采集，降低采集图像产生的功耗。
在本实施例中，由于采集模块100融合多种采集单元，获取的第一二维图 像、第二二维图像由于被采集的方式、位置、视场角以及分辨率等方面存在差 异而使得图像间的信息存在一定程度的区别，配准模块200作为融合模块300 的前期处理模块，能够对存在差异的图像进行相关配准，获取不同图像间的映 射关系，以使后续图像根据映射关系进行对齐融合。
在一实施例中，配准模块200可以通过图像处理及现有的算法运算，获取 第一二维图像和第二二维图像的公共区域，在公共区域中提取两图像间的对应 区域或者对应特征点并建立坐标系，根据对应区域或者对应特征点的位置坐标 计算图像间的映射关系。其中，现有的算法运算包括Homography矩阵(H矩 阵)、插值算法及两者的结合。具体地，请辅助参见图2，配准模块200包括提 取单元201和映射单元202。
其中，提取单元201连接采集模块100，被配置为分别提取第一二维图像和 第二二维图像相对应的特征点组。可选地，特征点包括边缘、轮廓、曲面上的 交叉点和高曲率的点。在一实施例中，提取单元201可以通过现有的算法分别 在第一二维图像和第二二维图像的公共区域上提取不同图像间相对应的特征点 组。
进一步地，提取单元201可以直接提取两公共区域中各自的高频分量图像， 在高频分量图像中提取对应的特征点组，获取映射关系，从而降低计算的复杂 度，提高配准速率。具体地，提取单元201包括滤波器和处理器。滤波器被配 置为分别将第一二维图像和第二二维图像进行滤波处理，获取第一二维图像高 频分量和第二二维图像高频分量；处理器连接滤波器，被配置为分别提取第一 二维图像高频分量和第二二维图像高频分量的特征点组。
其中，映射单元202连接提取单元201和融合模块300，被配置为根据特征 点组获取第一二维图像和第二二维图像的映射关系。在一实施例中，映射单元 202首先根据离散的特征点组计算出离散的坐标映射表，继而根据离散的坐标映 射表以及差值运算生成完整的坐标映射表，获得图像间的映射关系。映射单元 202可以是连接提取单元201的数据处理芯片。
需要说明的是，当配准模块200获取映射关系后，可以将映射关系进行存 储，以便于后续图像获取装置再次使用时直接利用映射关系进行图像对齐融合。
在本实施例中，融合模块300能够将采集模块100采集的多个不同的图像 进行融合，从而获得融合不同分辨率及不同图像信息的融合图像。其中，融合 图像既包括了三维图像信息也包括二维图像信息。因此，通过融合图像300可 以提高原有采集图像的分辨率，同时实现图像的颜色信息、灰度信息以及深度 信息等不同特征信息的融合，提高图像信息的完整性。
在一实施例中，请辅助参见图3，融合模块300包括变换单元301和图像融 合单元302。
其中，变换单元301连接采集模块100和配准模块200，被配置为根据三维 图像和映射关系获取投影变换图像。例如，变换单元301利用插值算法及映射 关系对三维图像进行变换，形成投影变换图像。其中，投影变换图像与三维图 像具有公共区域图像，其各点的位置坐标与三维图像对应点的位置坐标相同。 变换单元301可以是图像处理器。
其中，图像融合单元302连接变换单元301和上采样模块400，被配置为将 投影变换图像和第一二维图像进行融合，获得融合图像。可选地，图像融合单 元302分别获取投影变换图像与三维图像的公共区域，将公共区域两者相加取 平均，或者根据需要分区域用不同的权值进行加权合成，得到融合图像；或者 通过多分辨塔式图像融合、小波变换以及卡尔曼滤波等算法对投影变换图像和 第一二位图像进行融合。图像融合单元302可以是图像融合器、图像处理器或 者融合控制器等。
在本实施例中，上采样模块400能够将上述实施例中获取的融合图像进行 上采样，进一步提高图像显示的分辨率，生成高分辨率的三维深度图像。具体 地，上采样模块400可以通过插值算法对融合图像进行放大，提高图像放大效 果。其中，插值算法包括但不限于最近邻插法、双线性内插法、三次内插法。
需要说明的是，为了方便查看或评价上述实施例获取的三维深度图像，图 像获取装置还可以设置图像显示模块以对三维深度图像进行直观显示，或者直 接在融合模块300或上采样模块400中加入显示单元，在融合或上采样过程同 时对图像进行显示。
需要说明的是，上述图像获取装置中各个模块的划分仅用于举例说明，在 其他实施例中，可将图像获取装置按照需要划分为不同的模块，以完成上述图 像获取装置的全部或部分功能。
上述图像获取装置中的各个模块可全部或部分通过软件、硬件及其组合来 实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也 可以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各 个模块对应的操作。例如，上述的配准模块、融合模块以及上采样模块以硬件 形式内嵌于或独立于计算机设备中的处理器中。
本实施例提供的图像获取装置，包括采集模块、配准模块、融合模块以及 上采样模块，采集模块对场景进行采集以获得具有不同分辨率和不同图像信息 的第一二维图像、第二二维图像以及三维图像，配准模块对存在差异的图像进 行相关配准，获取不同图像间的映射关系，以使融合模块根据映射关系将具有 不同分辨率及不同图像信息的图像进行融合，并通过上采样模块进一步提高融 合图像的分辨率，使图像获取装置获得高分辨的三维深度图像，同时实现了图 像的颜色信息、灰度信息以及深度信息等不同特征信息的融合，提高图像信息 的完整性。
参见图4，图4为一实施例中的采集模块的结构示意图。
在本实施例中，采集模块100包括第一采集单元101和第二采集单元102。
第一采集单元101，分别连接配准模块200和融合模块300，被配置为采集 场景反射的图像光形成第一二维图像。
第二采集单元102，分别连接配准模块200和融合模块300，被配置为采集 场景的第二二维图像并输出至所述配准模块，采集场景的三维图像并输出至所 述融合模块。
在一实施例中，第一采集单元101包括图像传感器，图像传感器的输出端 分别连接配准模块200和融合模块300，将场景反射的图像光转换为电信号，获 得的电信号可以直接由图像传感器独立进行数据读取和处理，也可以通过辅助 其他电子元件进行数据读取和处理，形成第一二维图像。可选地，图像传感器 可以是pn结二极管，CCD(Charge CoupledDevice，电荷耦合器件)，CMOS (Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)图像传 感器。
需要说明的是，第一采集单元101采集的图像光，其光源可以是单元的内 置光源，也可以是环境光源或者其他外置光源。光源不限于可见光RGB或者红 外光。
在一实施例中，请辅助参见图5，第二采集单元102包括控制电路1021、 探测电路1022以及读出电路1023。
控制电路1021被配置为控制光源向场景发射第一脉冲光。
探测电路1022连接控制电路1021，被配置为接收场景反射回的第二脉冲光， 根据第一脉冲光和第二脉冲光探测二维灰度值和/或深度信息。
读出电路1023分别连接探测电路1022、配准模块200以及融合模块300， 被配置为根据二维灰度值读出第二二维图像信息，根据深度信息读出三维图像 信息。
在本实施例中，控制电路1021根据启动指令控制光源向场景发射第一脉冲 光，同时控制探测电路1022启动工作并使探测电路1022按照预设方式进行探 测。其中，第一脉冲光可以是近红外的连续脉冲。控制电路1021控制光源的发 射方向、发射时间和发射强度。在一实施例中，控制电路1021包括一个或多个 处理器和存储器，以及光源。
在本实施例中，探测电路1022接收场景发射回的第二脉冲光，将光信号转 换为电信号，从而根据电信号记录第一脉冲光的发射时间、第二脉冲光的接收 时间以及接收脉冲中的光子个数，根据第二脉冲光的光子数量计算获取图像的 二维灰度值，根据发射时间和接收时间获取时间间隔，继而获取深度信息。需 要说明的是，探测电路1022还可以通过探测环境光获取二维灰度值。
可选地，探测电路1022被配置为具有两种可切换的工作模式，在二维模式 下根据第二脉冲光的光子数量计算获取图像的二维灰度值，在三维模式下根据 发射时间和接收时间获取时间间隔，获取深度信息，从而根据实际需要切换模 式，获得对应的信息。
在一实施例中，探测电路1022包括光电探测器和转换电路。
具体地，光电探测器被配置为探测场景反射的第二脉冲光并生成触发信号。 光电探测器包括SPAD(单光子雪崩二极管，Single-Photon Avalanche Diode)， 或其它光电探测器。
具体地，转换电路连接光电探测器，被配置为在二维模式下根据触发信号 探测二维灰度值，在三维模式下根据第一脉冲光和第二脉冲光获取距离信息。 通过转换电路可以选取不同的模式对应获取灰度信息或者深度信息，实现内部 电路的共用，节省电路成本。
其中，光电探测器的数量可以是一个或者多个。当光电探测器的数量为一 个时，转换电路对应为一个，则探测电路逐点扫描探测二维灰度值或深度信息， 多点探测后获取平面的二维灰度值或深度信息。当光电探测器为阵列式分布时， 转换电路对应也呈阵列式分布且一个转换电路对应一个光电探测器(参见图6， 以光电探测器为SPAD为例，其中，光电探测器为601，转换电路为602)，探 测电路同时探测多个点获取平面的二维灰度值或深度信息。
在一实施例中，请辅助参见图7(以光电探测器包括SPAD且数量为一个为 例)，转换电路包括第一开关K1、第二开关K2、计数器J1、振荡器Z1以及译 码器Y1，第一开关K1的静态触点0连接计数器J1的输入端，第一开关K1的 第一动态触点2D、振荡器Z1的第一端以及光电探测器SPAD的输出端共接， 第一开关K1的第二动态触点3D、振荡器Z1的第二端、译码器Y1的第一端共 接，译码器Y1的第二端连接第二开关K2的静态触点1，第二开关K2的动态触 点2与计数器J1的输出端共接于读出电路1023的输入端。
在二维模式时，第一开关K1的第一动态触点2D闭合，第一开关K1的第 二动态触点3D断开，第二开关K2断开，计数器J1受SPAD驱动记录SPAD被 触发的次数，从而采集单点二维灰度值，进而通过扫描的方式逐点获取其他点 的二维灰度值，最后获取面的图像信息。其中，扫描的方式包括机械扫描、MEMS 扫描以及光学相控阵扫描。
在三维模式时，第一开关K1的第一动态触点2D断开，第一开关K1的第 二动态触点3D闭合，第二开关K2闭合，计数器J1、振荡器Z1以及译码器Y1 组合形成TDC(Time-to-Digital Converter，时间数字转化器)，计数器J1和译码 器Y1受振荡器Z1驱动记录光子的飞行时间，从而获取单点的距离信息，进而 通过扫描的方式逐点获取其他点的距离信息，最后获取面的深度信息。
在另一实施例中，探测电路1022也可以被配置为同时采集两种信息的功能， 即根据触发信号探测二维灰度值，同时根据所述第一脉冲光和所述第二脉冲光 获取距离信息。从而能够同时获取二维灰度值和深度信息，使读出电路1023同 时获取第二二维图像信息和三维图像信息。
在本实施例中，读出电路1023根据二维灰度值读出第二二维图像信息，根 据深度信息读出三维图像信息。当探测电路1022被配置为具有两种可切换的工 作模式时，相应地，读出电路1023在二维模式下读出第二二维图像信息，在三 维模式下读出三维图像信息。当探测电路1022被配置为同时采集两种信息时， 相应地，读出电路1023同时读出第二二维图像信息和三维图像信息。其中，读 出电路1023的具体器件不受限制，只要能够实现数据读取功能即可，例如可以 包括电阻、电容、放大器及采样器等器件的组合。
从而，通过控制电路1021、探测电路1022以及读出电路1023，可以实现 第二采集单元102在二维模式下采集第二二维图像、在三维模式下采集三维图 像的功能，或者实现第二采集单元102同时采集第二二维图像和三维图像的功 能。其中，当第二采集单元102为模式切换功能时，采集模块100可以在配准 模块200需要配准时，切换为二维模式，只输出第一二维图像和第二二维图像； 在融合模块300需要融合时，切换为三维模式，只输出第一二维图像和三维图 像，从而可以同时带来功耗、芯片面积以及成本的优化。
需要说明的是，上述实施例的第一采集单元101和第二采集单元102可以 集成在一多传感器的相机中，例如集成具有图像传感器和深度传感器的相机中； 也可以分别设置在两个具有独立传感器及辅助电路的相机中。
参见图8a-图8d，图8a-图8d为另一实施例中的采集模块的结构示意图。
进一步地，在上述实施例的基础上，为了实现光谱滤波功能，采集模块100 还包括滤光单元103，滤光单元103设置在场景和第一采集单元101之间，和/ 或设置在场景和第二采集单元102之间(图8a以设置在场景与第一采集单元101 之间，和设置在场景与第二采集单元102之间为例)，被配置为对场景反射的光 进行光谱滤波。从而可以对图像光的波长进行选择，实现单一波长成像，或者 实现对场景颜色信息的获取。
滤光单元103可以包括一个或多个滤光片，也可以分别根据第一采集单元 101中图像传感器的数量和第二采集单元102中光电探测器的数量设置为滤色器 阵列。其中，滤色器阵列分别与图像传感器阵列、光电探测器阵列配准，使得 每个滤色器覆盖至少一个图像传感器和/或一个光电探测器，不同器件对应的滤 色器的颜色可以相同或不同；或者，每个滤色器可以光学耦合到至少两个图像 传感器和/或两个光电探测器。
进一步地，为了提高图像信息采集的准确度，采集模块100还包括调光单 元104，调光单元104设置在场景和第一采集单元101之间，和/或设置在场景 和第二采集单元102之间(图8b以设置在场景与第一采集单元101之间，和设 置在场景与第二采集单元102之间为例)，被配置为对场景反射的光的强度进行 调节，从而使采集的信息更加准确。在一实施例中，调光单元104包括一个或 者多个闪光灯；或者包括光强调制器。
需要说明的是，采集模块100包括滤光单元103和调光单元104中的一种 或两种，当采集模块100同时包括滤光单元103和调光单元104时，滤光单元 103和调光单元104的相对位置不受限定，可以根据实际情况进行调整。
以第一采集单元101为例进行说明，例如，当滤光单元103和调光单元104 处于同一光轴上时，参见图8c，滤光单元103可以设置在调光单元104和第一 采集单元101之间，先进行调光再进行滤光；或者参见图8d，调光单元104设 置在滤光单元103和第一采集单元101之间，先进行滤光再进行调光。当滤光 单元103和调光单元104不需要处于同一光轴上时，例如调光单元104为闪光 灯，则闪光灯可以设置在场景和第一采集单元101之间的任意位置，与滤光单 元103的设置位置可以不相关。
参见图9，图9为另一实施例中的采集模块的结构示意图。
进一步地，在上述实施例的基础上，为了实现图像输出类型的选择功能， 进而选择图像处理阶段，采集模块100还包括开关单元105，开关单元105分别 连接第二采集单元102、配准模块200以及融合模块300，被配置为控制第二采 集单元102与配准模块200的连接状态，控制第二采集单元102与融合模块300 的连接状态。
当装置需要进行配准处理时，开关单元105导通第二采集单元102与配准 模块200的连接，第二采集单元102向配准模块200输出第二二维图像；当装 置需要进行融合处理时，开关单元105导通第二采集单元102与融合模块300 的连接，第二采集单元102向融合模块300输出三维图像；当装置需要同时进 行配准处理和融合处理时，同时导通第二采集单元102与配准模块200、融合模 块300的连接。
在一实施例中，请辅助参见图10，开关单元105包括双向开关K3。
双向开关K3的静触点连接第二采集单元102，双向开关K3的第一动触点 连接配准模块200的输入端，双向开关K3的第二动触点连接融合模块300的输 入端。在二维模式时，双向开关K3的第一动触点闭合，第二采集单元102向配 准模块200输出第二二维图像；在三维模式时，双向开关K3的第二动触点闭合， 第二采集单元102向融合模块300输出三维图像。
对应于上述实施例所提供的图像获取装置，图11示出了本实施例提供的图 像获取方法的流程图。
在本实施例中，该图像获取方法包括步骤S100、S200、S300以及S400。 详述如下：
步骤S100，采集场景的第一二维图像、第二二维图像以及三维图像；第一 二维图像的分辨率高于第二二维图像的分辨率。
步骤S200，将第一二维图像和第二二维图像进行图像配准，获取第一二维 图像和第二二维图像的映射关系。
步骤S300，根据映射关系将三维图像和第一二维图像进行图像融合，获得 融合图像。
步骤S400，将融合图像进行上采样，获得高分辨率三维深度图像。
在本实施例中，步骤S100由上述实施例中采集模块执行，能够获得多源信 道的图像，步骤S100的具体描述参见上述实施例中的采集模块的相关描述。在 一个实施例中，步骤S100包括：步骤S101和步骤S102。
步骤S101，采集场景反射的图像光形成第一二维图像。
步骤S102，在二维模式下采集场景的第二二维图像，在三维模式下采集场 景的三维图像。具体地，步骤S102控制光源向场景发射第一脉冲光，并接收场 景反射回的第二脉冲光，根据环境光，第一脉冲光和第二脉冲光探测二维灰度 值或深度信息，继而根据二维灰度值读出第二二维图像信息，根据深度信息读 出三维图像信息。
在另一实施例中，在步骤S102之前，步骤S100还包括：步骤S103和步骤 S104。
步骤S103，对场景反射的图像光进行光谱滤波，从而可以对图像光的波长 进行选择，实现单一波长成像，或者实现对场景颜色信息的获取。
步骤S104，对场景反射的图像光的强度进行调节，从而使采集的信息更加 准确。
其中，步骤S101由上述实施例的第一采集单元执行，步骤S102由上述实 施例的第二采集单元执行，步骤S103由上述实施例的滤光单元执行，步骤S104 由上述实施例的调光单元执行，在此不再赘述。
在本实施例中，步骤S200由上述实施例中配准模块执行，能够对存在差异 的图像进行相关配准，获取不同图像间的映射关系，以使后续图像根据映射关 系进行对齐融合；步骤S200的具体描述参见上述实施例中的配准模块的相关描 述。在一个实施例中，步骤S100包括：步骤S201和步骤S202。
步骤S201，分别提取第一二维图像和第二二维图像相对应的特征点组。
步骤S202，根据特征点组获取第一二维图像和第二二维图像的映射关系。
其中，步骤S201由上述实施例的提取单元执行，步骤S102由上述实施例 的映射单元执行，在此不再赘述。
在本实施例中，步骤S300由上述实施例中融合模块执行，能够使具有不同 分辨率及不同图像信息的图像融合成一三维深度图像，提高原有采集图像的分 辨率，同时实现不同特征信息的融合，提高图像信息的完整性；步骤S300的具 体描述参见上述实施例中的融合模块的相关描述。在一个实施例中，步骤S300 包括：步骤S301和步骤S302。
步骤S301，根据三维图像和映射关系获取投影变换图像。
步骤S302，将投影变换图像和第一二维图像进行融合，获得融合图像。
其中，步骤S301由上述实施例的变换单元执行，步骤S302由上述实施例 的图像融合单元执行，在此不再赘述。
在本实施例中，步骤S400由上述实施例中上采样模块执行，能够进一步提 高图像显示的分辨率，生成高分辨率的三维深度图像；步骤S400的具体描述参 见上述实施例中的上采样模块的相关描述，在此不再赘述。
需要说明的是，为了方便查看或评价上述实施例获取的三维深度图像，图 像获取方法还可以包括步骤500，对三维深度图像进行直观显示，步骤S500可 以在步骤S300或者步骤S400之后，或者与步骤S300或步骤S400同时执行。
上述图像获取方法，通过对场景进行采集以获得具有不同分辨率和不同图 像信息的第一二维图像、第二二维图像以及三维图像，对存在差异的图像进行 相关配准，获取不同图像间的映射关系，继而根据映射关系将具有不同分辨率 及不同图像信息的图像进行融合，并通过上采样进一步提高融合图像的分辨率， 最终获得高分辨的三维深度图像，同时实现了图像的颜色信息、灰度信息以及 深度信息等不同特征信息的融合，提高图像信息的完整性。
应该理解的是，虽然图11的流程图中的各个步骤按照箭头的指示依次显示， 但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的 说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执 行。而且，图11中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些 子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行， 这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或 者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本申请实施例还提供了一种电子设备，包括存储器及处理器，存储器中储 存有计算机程序，计算机程序被所述处理器执行时，使得所述处理器执行如上 实施例所述的图像获取方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机 可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多 个处理器执行时，使得处理器执行上述任一实施例中的图像获取方法的步骤。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非 易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程 ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪 存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。 作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM (DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线 (Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存 储器总线动态RAM(RDRAM)。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对 上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技 术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细， 但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的 普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改 进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权 利要求为准。
Claims (9)
1.一种图像获取装置，其特征在于，包括：
采集模块，被配置为基于图像传感采集方式采集场景的第一二维图像、基于深度传感采集方式采集第二二维图像以及三维图像；所述第一二维图像的分辨率高于所述第二二维图像的分辨率；所述第一二维图像的分辨率高于所述三维图像的分辨率；所述第一二维图像是RGB色彩模式图像；所述第二二维图像是二维灰度图像；所述三维图像是有场景深度方向信息的图像；
配准模块，连接所述采集模块，被配置为将所述第一二维图像和所述第二二维图像进行图像配准，获取所述第一二维图像和所述第二二维图像的映射关系；
融合模块，连接所述采集模块和所述配准模块，被配置为根据所述映射关系将所述三维图像和所述第一二维图像进行图像融合，获得融合图像；
上采样模块，连接所述融合模块，被配置为将所述融合图像进行上采样，获得高分辨率三维深度图像；
其中，所述采集模块包括：
第一采集单元，分别连接所述配准模块和所述融合模块，被配置为采集场景反射的图像光形成第一二维图像；
第二采集单元，分别连接所述配准模块和所述融合模块，被配置为采集场景的第二二维图像并输出至所述配准模块，采集场景的三维图像并输出至所述融合模块；
所述第二采集单元包括：
控制电路，被配置为控制光源向场景发射第一脉冲光；
探测电路，连接所述控制电路，被配置为接收场景反射回的第二脉冲光，根据第一脉冲光和第二脉冲光探测二维灰度值和深度信息；
读出电路，分别连接所述探测电路、所述配准模块以及所述融合模块，被配置为根据所述二维灰度值读出第二二维图像信息，根据所述深度信息读出三维图像信息；
所述探测电路包括：
光电探测器，连接所述控制电路，被配置为探测场景反射的第二脉冲光并生成触发信号；
转换电路，连接所述光电探测器和所述读出电路，被配置为在二维模式下根据触发信号探测二维灰度值，在三维模式下根据所述第一脉冲光和所述第二脉冲光获取距离信息；
所述转换电路包括：
第一开关、第二开关、计数器、振荡器以及译码器；
所述第一开关的静态触点连接所述计数器的输入端，所述第一开关的第一动态触点、所述振荡器的第一端以及所述光电探测器的输出端共接，所述第一开关的第二动态触点、所述振荡器的第二端、所述译码器的第一端共接，所述译码器的第二端连接第二开关的静态触点，所述第二开关的动态触点与计数器的输出端共接于所述读出电路的输入端。
2.根据权利要求1所述的图像获取装置，其特征在于，所述采集模块还包括：
滤光单元，设置在场景和所述第一采集单元之间，和/或设置在场景和所述第二采集单元之间，被配置为对场景反射的光进行光谱滤波。
3.根据权利要求1所述的图像获取装置，其特征在于，所述采集模块还包括：
调光单元，设置在场景和所述第一采集单元之间，和/或设置在场景和所述第二采集单元之间，被配置为对场景反射的光进行光强度调节。
4.根据权利要求1所述的图像获取装置，其特征在于，所述采集模块还包括：
开关单元，分别连接所述第二采集单元、所述配准模块以及所述融合模块，被配置为控制所述第二采集单元与所述配准模块的连接状态，控制所述第二采集单元与所述融合模块的连接状态。
5.根据权利要求1-4任一项所述的图像获取装置，其特征在于，所述配准模块包括：
提取单元，连接所述采集模块，被配置为分别提取所述第一二维图像和所述第二二维图像相对应的特征点组；
映射单元，连接所述提取单元和所述融合模块，被配置为根据特征点组获取所述第一二维图像和所述第二二维图像的映射关系。
6.根据权利要求1-4任一项所述的图像获取装置，其特征在于，所述融合模块包括：
变换单元，连接所述采集模块和所述配准模块，被配置为根据所述三维图像和所述映射关系获取投影变换图像；
图像融合单元，连接所述变换单元和所述上采样模块，被配置为将所述投影变换图像和所述第一二维图像进行融合，获得融合图像。
7.一种图像获取方法，其特征在于，包括：
基于采集模块的图像传感采集方式采集场景的第一二维图像、基于采集模块的深度传感采集方式采集第二二维图像以及三维图像；所述第一二维图像的分辨率高于所述第二二维图像的分辨率；所述第一二维图像的分辨率高于所述三维图像的分辨率；所述第一二维图像是RGB色彩模式图像；所述第二二维图像是二维灰度图像；所述三维图像是有场景深度方向信息的图像；
控制配准模块将所述第一二维图像和所述第二二维图像进行图像配准，获取所述第一二维图像和所述第二二维图像的映射关系；
控制融合模块根据所述映射关系将所述三维图像和所述第一二维图像进行图像融合，获得融合图像；
控制上采样模块将所述融合图像进行上采样，获得高分辨率三维深度图像；
其中，所述配准模块与所述采集模块连接，所述融合模块与所述采集模块、所述配准模块连接，所述上采样模块与所述融合模块连接；
所述采集模块包括：
第一采集单元，分别连接所述配准模块和所述融合模块，被配置为采集场景反射的图像光形成第一二维图像；
第二采集单元，分别连接所述配准模块和所述融合模块，被配置为采集场景的第二二维图像并输出至所述配准模块，采集场景的三维图像并输出至所述融合模块；
所述第二采集单元包括：
控制电路，被配置为控制光源向场景发射第一脉冲光；
探测电路，连接所述控制电路，被配置为接收场景反射回的第二脉冲光，根据第一脉冲光和第二脉冲光探测二维灰度值和深度信息；
读出电路，分别连接所述探测电路、所述配准模块以及所述融合模块，被配置为根据所述二维灰度值读出第二二维图像信息，根据所述深度信息读出三维图像信息；
所述探测电路包括：
光电探测器，连接所述控制电路，被配置为探测场景反射的第二脉冲光并生成触发信号；
转换电路，连接所述光电探测器和所述读出电路，被配置为在二维模式下根据触发信号探测二维灰度值，在三维模式下根据所述第一脉冲光和所述第二脉冲光获取距离信息；
所述转换电路包括：
第一开关、第二开关、计数器、振荡器以及译码器；
所述第一开关的静态触点连接所述计数器的输入端，所述第一开关的第一动态触点、所述振荡器的第一端以及所述光电探测器的输出端共接，所述第一开关的第二动态触点、所述振荡器的第二端、所述译码器的第一端共接，所述译码器的第二端连接第二开关的静态触点，所述第二开关的动态触点与计数器的输出端共接于所述读出电路的输入端。
8.一种电子设备，包括存储器及处理器，其特征在于，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求7所述的图像获取方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求7所述的图像获取方法的步骤。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310817262.6A CN117156114A (zh) | 2019-08-02 | 2019-08-02 | 图像获取装置和方法、电子设备、计算机可读存储介质 |
| CN201910713220.1A CN110493587B (zh) | 2019-08-02 | 2019-08-02 | 图像获取装置和方法、电子设备、计算机可读存储介质 |
| PCT/CN2019/116308 WO2021022696A1 (zh) | 2019-08-02 | 2019-11-07 | 图像获取装置和方法、电子设备、计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910713220.1A CN110493587B (zh) | 2019-08-02 | 2019-08-02 | 图像获取装置和方法、电子设备、计算机可读存储介质 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310817262.6A Division CN117156114A (zh) | 2019-08-02 | 2019-08-02 | 图像获取装置和方法、电子设备、计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110493587A CN110493587A (zh) | 2019-11-22 |
| CN110493587B true CN110493587B (zh) | 2023-08-11 |
Family
ID=68549288
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310817262.6A Pending CN117156114A (zh) | 2019-08-02 | 2019-08-02 | 图像获取装置和方法、电子设备、计算机可读存储介质 |
| CN201910713220.1A Active CN110493587B (zh) | 2019-08-02 | 2019-08-02 | 图像获取装置和方法、电子设备、计算机可读存储介质 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310817262.6A Pending CN117156114A (zh) | 2019-08-02 | 2019-08-02 | 图像获取装置和方法、电子设备、计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (2) | CN117156114A (zh) |
| WO (1) | WO2021022696A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110996090B (zh) * | 2019-12-23 | 2020-12-22 | 上海晨驭信息科技有限公司 | 一种2d-3d图像混合拼接系统 |
| CN114355384B (zh) * | 2020-07-07 | 2024-01-02 | 柳州阜民科技有限公司 | 飞行时间tof系统和电子设备 |
| US11657529B2 (en) * | 2020-10-12 | 2023-05-23 | Black Sesame Technologies Inc. | Multiple camera system with flash for depth map generation |
| US11946733B2 (en) | 2020-10-14 | 2024-04-02 | Eys3D Microelectronics Co. | Image rendering device and image rendering method |
| CN115601274B (zh) * | 2021-07-07 | 2024-06-14 | 荣耀终端有限公司 | 图像处理方法、装置和电子设备 |
| CN115641635B (zh) * | 2022-11-08 | 2023-04-28 | 北京万里红科技有限公司 | 确定虹膜图像采集模块对焦参数的方法及虹膜对焦设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102222331A (zh) * | 2011-05-16 | 2011-10-19 | 付东山 | 一种基于双平板的二维-三维医学图像配准方法及系统 |
| CN103065322A (zh) * | 2013-01-10 | 2013-04-24 | 合肥超安医疗科技有限公司 | 一种基于双x射线成像的2d和3d医学图像配准方法 |
| CN104021548A (zh) * | 2014-05-16 | 2014-09-03 | 中国科学院西安光学精密机械研究所 | 一种获取场景4d信息的方法 |
| CN108875565A (zh) * | 2018-05-02 | 2018-11-23 | 淘然视界(杭州)科技有限公司 | 铁路立柱识别方法、存储介质、电子设备、系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8134637B2 (en) * | 2004-01-28 | 2012-03-13 | Microsoft Corporation | Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing |
| US20070100223A1 (en) * | 2005-10-14 | 2007-05-03 | Rui Liao | Method and system for cardiac imaging and catheter guidance for radio frequency (RF) ablation |
| JP6034310B2 (ja) * | 2011-03-04 | 2016-11-30 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | ２ｄ／３ｄ画像レジストレーション |
| CN106934807B (zh) * | 2015-12-31 | 2022-03-01 | 深圳迈瑞生物医疗电子股份有限公司 | 一种医学影像分析方法、系统及医疗设备 |
| EP3676807A1 (en) * | 2017-08-31 | 2020-07-08 | SONY Corporation | Methods, devices and computer program products for generating 3d images |
-
2019
- 2019-08-02 CN CN202310817262.6A patent/CN117156114A/zh active Pending
- 2019-08-02 CN CN201910713220.1A patent/CN110493587B/zh active Active
- 2019-11-07 WO PCT/CN2019/116308 patent/WO2021022696A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102222331A (zh) * | 2011-05-16 | 2011-10-19 | 付东山 | 一种基于双平板的二维-三维医学图像配准方法及系统 |
| CN103065322A (zh) * | 2013-01-10 | 2013-04-24 | 合肥超安医疗科技有限公司 | 一种基于双x射线成像的2d和3d医学图像配准方法 |
| CN104021548A (zh) * | 2014-05-16 | 2014-09-03 | 中国科学院西安光学精密机械研究所 | 一种获取场景4d信息的方法 |
| CN108875565A (zh) * | 2018-05-02 | 2018-11-23 | 淘然视界(杭州)科技有限公司 | 铁路立柱识别方法、存储介质、电子设备、系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021022696A1 (zh) | 2021-02-11 |
| CN110493587A (zh) | 2019-11-22 |
| CN117156114A (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110493587B (zh) | 图像获取装置和方法、电子设备、计算机可读存储介质 | |
| CN108307180B (zh) | 图像传感器中的像素、成像单元、用于测距的系统及方法 | |
| EP3683762B1 (en) | Edge enhancement for combined thermal and visible images with corresponding cameras | |
| US9807369B2 (en) | 3D imaging apparatus | |
| US10057510B2 (en) | Systems and methods for enhanced infrared imaging | |
| KR102532487B1 (ko) | 포인트 스캔으로 삼각 측량을 이용한 깊이 측정을 위한 씨모스 이미지 센서 | |
| KR101499081B1 (ko) | 열화상 카메라 모듈 및 스마트폰 | |
| CN112235522B (zh) | 成像方法和成像系统 | |
| CN111758047B (zh) | 单芯片rgb-d相机 | |
| JP5762211B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
| EP3338447B1 (en) | Image photographing apparatus and method for controlling the same | |
| Beraldin et al. | Optimized position sensors for flying-spot active triangulation systems | |
| CN102494771A (zh) | 一种衍射光学成像系统及包含该衍射光学成像系统的成像光谱仪 | |
| WO2020163742A1 (en) | Integrated spatial phase imaging | |
| JP4985264B2 (ja) | 物体識別装置 | |
| CN108551541B (zh) | 一种低成本高灵敏度的成像系统及其成像方法 | |
| CN202420674U (zh) | 一种衍射光学成像系统及包含该衍射光学成像系统的成像光谱仪 | |
| CN112866546B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
| CN110708443B (zh) | 一种单光轴摄像装置及电子设备 | |
| KR20150021350A (ko) | 영상 처리 장치 및 방법 | |
| JP4370855B2 (ja) | 固体撮像デバイス、この固体撮像デバイスを用いた撮像方法および装置並びに距離計測方法およびシステム | |
| KR20220122317A (ko) | 오토 줌 및 오토 포커스를 수행하는 이미지 시그널 프로세서, 이미지 시그널 프로세서의 이미지 프로세싱 방법 및 이미지 프로세싱 시스템 | |
| CN116982071A (zh) | 图像处理方法、处理装置、电子设备和存储介质 | |
| Karaca et al. | Ground-based panoramic stereo hyperspectral imaging system with multiband stereo matching | |
| CN112862880A (zh) | 深度信息获取方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |