CN110913098A - 高清深度信息获取系统、系统制备方法及系统测距方法 - Google Patents

高清深度信息获取系统、系统制备方法及系统测距方法 Download PDF

Info

Publication number
CN110913098A
CN110913098A CN201911030992.1A CN201911030992A CN110913098A CN 110913098 A CN110913098 A CN 110913098A CN 201911030992 A CN201911030992 A CN 201911030992A CN 110913098 A CN110913098 A CN 110913098A
Authority
CN
China
Prior art keywords
dimensional image
depth
image sensor
lens
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911030992.1A
Other languages
English (en)
Inventor
李莉华
张昆霭
陈建良
吴文祥
余宁辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HKUST Shenzhen Research Institute
Original Assignee
HKUST Shenzhen Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HKUST Shenzhen Research Institute filed Critical HKUST Shenzhen Research Institute
Priority to CN201911030992.1A priority Critical patent/CN110913098A/zh
Publication of CN110913098A publication Critical patent/CN110913098A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于高清三维图像深度信息获取系统、制备所述系统的方法以及利用所述系统测定距离的方法；包括图像捕捉部件和透镜组，其中透镜组包含物镜和镜筒透镜；图像捕捉部件包括分光镜、由复眼透镜与第一图像传感器组成的光场相机组件，以及由普通透镜与第二图像传感器组成的高清相机组件；所述第一图像传感器和第二图像传感器互相垂直放置；所述分光镜为半反半透镜，其与所述第一图像传感器和第二图像传感器的垂线交点所呈角度的范围可以在40－50度之间，本发明提供的三维图像获取系统经过深度图插值得到高清深度图后，利用语义分割得到的测量目标的掩膜，在掩膜区域取深度的平均值作为测量目标的深度值，可以有效减小深度误差。

Description

高清深度信息获取系统、系统制备方法及系统测距方法
技术领域
本发明属于超精密加工和光场成像领域，特别设计一种高清三维图像深度信息获取系统、制备所述系统的方法以及利用所述系统测定距离的方法。
背景技术
光场相机一般采用微透镜阵列获得三维图像以及其深度图，但是一般来说，所获得的三维图像清晰度相对较低。光场相机中的微透镜尺寸越大，光场图像的角度分辨率越高，得到的深度图的深度层次越多。但在这种情况下，所得到的深度图空间分辨率就越小。也就是说利用光场相机获得三维图像清晰度较低。现有技术中，能够通过使用超分辨率技术恢复部分损失掉的分辨率，但是超分辨率技术的计算量巨大，恢复出来的分辨率仍比原图像要小。
因此，需要一种包含深度信息的分辨率高(即高清)的三维图像的获取系统，以便获得高清并充分包含深度信息的三维图像，以及制备所述系统和运用所述系统对物体距离进行测量的方法。
发明内容
本发明的目的在于提供一种三维图像获取系统，获得包含深度信息的高清三维图像，并在利用所述系统的过程中对图像中的物体进行距离测量。
本发明提供一种三维图像获取系统，包括图像捕捉部件和透镜组，其中透镜组包含物镜和镜筒透镜；图像捕捉部件包括分光镜、由复眼透镜与第一图像传感器组成的光场相机组件，以及由普通透镜与第二图像传感器组成的高清相机组件；所述第一图像传感器和第二图像传感器互相垂直放置；所述分光镜为半反半透镜，其与所述第一图像传感器和第二图像传感器的垂线交点所呈角度的范围可以在40－50度之间。
本发明的一个方面中，所述分光镜的反射和折射部分的光线比例可以为在3/7至7/3之间的范围内。优选地，所述分光镜的反射和折射部分的光线比例为1。
本发明的另一个方面中，其与所述第一图像传感器和第二图像传感器的垂线交点所呈角度为45°。
本发明的再一个方面中，被摄物体的光线经过分光镜反射后到达所述第二图像传感器的光程与被摄物体的光线经过分光镜透射后到达第一图像传感器的光程距离相等。
本发明提供另一种三维图像获取系统，包括图像捕捉部件和透镜组，其中透镜组包含物镜和镜筒透镜；图像捕捉部件包括分光镜、由复眼透镜与第一图像传感器组成的光场相机组件，以及由平面镜、普通透镜与第二图像传感器组成的高清相机组件；所述第一图像传感器和第二图像传感器互相平行放置；所述分光镜为半反半透镜，其与所述第一图像传感器和第二图像传感器的平行线所呈角度的范围可以在40－50度之间。
本发明的进一步方面中，被摄物体的光线经过分光镜反射后到达平面镜的光程与被摄物体的光线经过平面镜反射至第二图像传感器的光程之和与被摄物体的光线经过分光镜透射后到达第一图像传感器的光程距离相等。
本发明的其他方面中，所述光场相机组件还包括计算单元、存储器，用来计算、存储所获得包含深度信息的三维图像；所述高清相机组件还包括计算单元、存储器，用来计算、存储清晰的二维图像。
本发明提供制备三维图像获取系统的方法，包括如下步骤：提供一个圆柱形夹具，将该圆柱形夹具安装于超精密机床的主轴端部；在圆柱形夹具的外部提供一个金属片，金属片弯曲并与圆柱形夹具的外表面可拆卸地紧密贴合；通过精密机床控制被所述金属片包裹的所述圆柱形夹具沿加工路径运动，所述加工路径为连续的“S”型首尾相连的多个圆弧；控制刀具运动，使刀具沿着刀具移动路径运动，所述刀具移动路径为连续的“S”型首尾相连的多个圆弧，所述刀具移动路径与所述加工路径共同组成多个圆。
本发明提供利用三维图像获取系统测定距离的方法，包括如下步骤：通过第二图像传感获得高分辨率二维图像；通过第一图像传感器获得包含深度信息的三维图像，并通过计算获得所述三维图像的深度图；所获得的三维图像和二维图像具有相同的视场；利用语义分割将所述高分辨率二维图像中的每个独立的测量目标进行标识；通过双线性插值方式将所述深度图的分辨率放大至与高分辨率二维图像一致，使所述深度图和语义分割后被标识的测量目标像素一一对应，并计算被测量目标的距离。
本发明提供的三维图像获取系统经过深度图插值得到高清深度图后，利用语义分割得到的测量目标的掩膜，在掩膜区域取深度的平均值作为测量目标的深度值，可以有效减小深度误差。
在基于深度信息的三维测量中，深度误差的减小可以提高测量的准确度和分辨率，将在机器人视觉、自动驾驶、工业检测等需要进行距离测量的领域中得到应用，也能给虚拟现实(VR)、增强现实(AR)、3D打印等技术提供一种可靠的深度信息获取方法,本发明提供的系统不仅能够准确识别照片和/或视频的物体，还能利用本发明提供的系统通过计算的深度图准确确定所述物体的位置。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实例，对于本领域普通技术人员来讲，在不付出创新性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的三维图像获取系统一个实施方式的结构示意图。
图2为本发明的三维图像获取系统另一个实施方式的结构示意图。
图3为制备本发明的三维图像获取系统的方法示意图。
图4(a)－(c)为利用本发明的三维图像获取系统获得高清三维图像的具体示例。
图5示意性地示出了用于执行根据本发明的方法的服务器的框图；以及
图6示意性地示出了用于保持或者携带实现根据本发明的方法的程序代码的存储单元。
具体实施方式
现结合相应的附图，对本发明的具体实施例进行描述。然而，本发明可以以多种不同的形式实施，而不应被解释为局限于此处展示的实施例。提供这些实施例只是为了本发明可以详尽和全面，从而可以将本发明的范围完全地描述给本领域的技术人员。附图中说明的实施例的详细描述中使用的措辞不应对本发明造成限制。
图1为本发明的三维图像获取系统一个实施方式的结构示意图。在该实施方式中，本发明的三维图像获取系统包括图像捕捉部件100和透镜组。其中透镜组包含物镜106和镜筒透镜105，被拍摄样品107的光线经过物镜106和镜筒透镜105，进入图像捕捉部件100。图像捕捉部件100包括分光镜102，由复眼透镜101和第一图像传感器104，例如电荷耦合器件CCD，组成的光场相机组件，以及由普通透镜(图中未示出)和第二图像传感器103，例如电荷耦合器件CCD，组成的高清相机组件。所述光场相机组件还包括计算单元、存储器和相关电路等元件，用来计算、存储所获得包含深度信息的三维图像；所述高清相机组件也包括计算单元、存储器和相关电路等元件，用来计算、存储清晰的二维图像。以进入图像捕捉部件100的光线110为例，光线110经过分光镜102，一部分光线110’被分光镜102反射进入普通透镜，并在第二图像传感器103上成像，另一部分光线110”穿过分光镜102透射进入复眼透镜101，并在第一图像传感器104上成像。图1中的箭头a表示光线经过分光镜反射后到达第二图像传感器的光程；箭头b表示光线经过分光镜透射后到达第一图像传感器的光程。其中光程a和光程b距离相等。优选地，图像捕捉部件100中的第一图像传感器104和第二图像传感器103互相垂直放置；在一个实施方式中，所述分光镜102与所述第一图像传感器104和第二图像传感器103的垂线交点分别呈45度；或者，在另外的实施方式中，所述分光镜102可以与所述第一图像传感器104和第二图像传感器103的垂线交点所呈角度的范围可以在40－50度之间；所述分光镜102为半反半透镜，例如可采用立方体分光镜，其中一个分光镜示例边长可选择30毫米，反射和折射部分的光线比例可以为在3/7至7/3之间的范围内；优选地为1:1。
图2为本发明的三维图像获取系统另一个实施方式的结构示意图。在该实施方式中，本发明的三维图像获取系统包括图像捕捉部件200和透镜组。其中透镜组包含物镜206和镜筒透镜205，被拍摄样品207的光线经过物镜206和镜筒透镜205，进入图像捕捉部件200。图像捕捉部件200包括分光镜202，由复眼透镜201和第一图像传感器204，例如电荷耦合器件CCD，组成的光场相机组件，以及由平面镜208，普通透镜(图中未示出)和第二图像传感器203，例如电荷耦合器件CCD，组成的高清相机组件。所述光场相机组件还包括计算单元、存储器和相关电路等元件，用来计算、存储所获得包含深度信息的三维图像；所述高清相机组件也包括计算单元、存储器和相关电路等元件，用来计算、存储清晰的二维图像。以进入图像捕捉部件200的光线210为例，光线210经过分光镜202，一部分光线210’被分光镜102反射进入平面镜208，经过平面镜208的反射后，光线210’反射成光线210”，光线210”经过普通透镜，并在第二图像传感器203上成像，另一部分光线210”'穿过分光镜202透射进入复眼透镜201，并在第一图像传感器203上成像。图2中的箭头b’表示光线经过分光镜反射后到达平面镜的光程，a’表示光线经过平面镜反射至第二图像传感器的光程；箭头c’表示光线经过分光镜透射后到达第一图像传感器的光程。其中光程a’、b’、c’的关系为光程a’+b’＝c’。优选地，图像捕捉部件200中的第一图像传感器204和第二图像传感器203互相平行放置；在一个实施方式中，所述分光镜202与所述第一图像传感器204和第二图像传感器203的平行线呈45度；或者，在另外的实施方式中，所述分光镜202可以与所述第一图像传感器204和第二图像传感器203的平行线所呈角度的范围可以在40－50度之间；所述分光镜202为半反半透镜，例如可采用立方体分光镜，其中一个分光镜示例边长可选择30毫米，反射和折射部分的光线比例可以为在3/7至7/3之间的范围内；优选地为1:1。在上述两个实施方式中，所获得的三维图像和二维图像具有相同的视场。
图3为制备本发明的三维图像获取系统的方法示意图。其中，刀具301安装于超精密机床，用于加工复眼透镜101。所述刀具可以为具有圆弧切削刃的单点金刚石刀具。
提供一个圆柱形夹具(图中未示出)，将该圆柱形夹具安装于超精密机床的主轴端部，进而在圆柱形夹具的外部提供一个金属片，所述金属片可以为黄铜片或者铝片，在一个实施例中，所述金属片的厚度为0.2毫米－0.4毫米，圆柱形夹具的直径为100－200毫米。所述金属片弯曲并与圆柱形夹具的外表面可拆卸地紧密贴合，即在所述圆柱形夹具侧面外部形成一个与主轴同轴的金属筒。
所述金属片用于制备复眼透镜101的微透镜阵列模芯，加工的目的在于在金属片上加工出作为微透镜阵列模芯的凹窝阵列，加工出的凹窝阵列各个凹窝的排列形式与微透镜阵列中各个透镜的排列形式一致；每个凹窝的形状与微透镜阵列中的每个微透镜形状吻合。二者为凹凸配合关系。
现有的刀具移动路径为沿着精密机床的主轴直线往复运动，然而这种直线运动于圆弧首尾相连的地方突然转向，此转向会带来刀具的震动，加工精度较低。本发明为了实现更好的具有深度图的高清三维图像的目的，提供一种刀具301沿S路径运动的加工方法。然而这种直线运动会带来刀具的震动，加工精度较低。本发明为了实现更好的具有深度图的高清三维图像的目的，提供一种刀具301沿S路径运动的加工方法。这种方法的主要步骤为：一、通过精密机床控制被金属片包裹的圆柱形夹具303沿加工路径304运动，其中箭头302的方向为被金属片包裹的圆柱形夹具沿轴线移动的方向；所述加工路径为连续的“S”型首尾相连的多个圆弧；二、通过控制刀具301运动，使刀具301沿着刀具移动路径305运动，所述刀具移动路径为连续的“S”型首尾相连的多个圆弧，所述刀具移动路径与所述加工路径共同组成多个圆。关于微透镜阵列模芯制备方法的其他细节，可参照本申请人的中国专利申请201510902888.2所公开的具体细节。
图4(a)－(c)为利用本发明的三维图像获取系统获得高清三维图像的具体示例。图4(a)为包括了三个杯子的高分辨率图像，通过第二图像传感器103、203获得。其中每个杯子可以被看作独立的测量目标。图4(b)为将图4(a)中的每个独立测试目标通过语义分割进行标识。所采用的语义分割方式可以采用但不限于Mask－RCNN。从图4(b)中可以看出，三个杯子分别被识别并其对一个的像素块均被相应的掩膜(mask)标识。掩膜是一种二值化图像，其分辨率与原图像一致，属于目标的像素值为1，不属于目标的像素值为0.假设某个目标的掩模记为M，掩膜中的某个像素(i,j)的值表示为：
Figure BDA0002250138910000071
图4(c)为所述包括了三个杯子深度信息的深度图，为通过第一图像传感器104、204获得三维图像，通过计算获得的深度图。深度图是一种灰度图，用灰度值记录了每个像素的深度，灰度值越大表示该像素在空间中距离相机越近。由于深度图的分辨率比原图像小，因此需要经过双线性插值后放大至原图像大小，才能够和掩膜的像素一一对应。假设放大后的深度图为D，其分辨率与掩膜一致。深度图中某个像素(i,j)的深度值表示为D(i,j)，某个测量目标的掩膜为Mt，则该目标的平均深度应为其掩膜区域的平均深度：
Figure BDA0002250138910000081
其中，
Figure BDA0002250138910000082
把深度换算成距离，即可得到测量目标的距离。假设该次拍摄的景深范围为[m,n]，把灰度取值范围[0,255]归一化到景深范围，即可计算出测量目标的距离
Figure BDA0002250138910000083
若直接将低分辨的深度图向上插值到高清深度图，测量目标的深度值会产生较大偏差深度会出现多个深度值。本方案在经过深度图插值得到高清深度图后，利用语义分割得到的测量目标的掩膜，在掩膜区域取深度的平均值作为测量目标的深度值，可以有效减小深度误差。
图5为本发明的利用高清深度信息获取系统测定距离的结构图。例如测定距离的服务器501。该测定距离的服务器包括处理器510，此处的处理器可以为通用或专用芯片(ASIC/eASIC)或FPGA或NPU等，和以存储器520形式的计算机程序产品或者计算机可读介质。存储器520可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器520具有用于执行上述方法中的任何方法步骤的程序代码的存储空间530。例如，用于程序代码的存储空间530可以包括分别用于实现上面的方法中的各种步骤的各个程序代码531。这些程序代码可以被读出或者写入到所述处理器510中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为如参考图6所述的便携式或者固定存储单元。该存储单元可以具有与图5的服务器中的存储器520类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元包括计算机可读代码531’，即可以由例如诸如510之类的处理器读取的代码，这些代码当由服务器运行时，导致该服务器执行上面所描述的方法中的各个步骤。这些代码当由服务器运行时，导致该服务器执行上面所描述的方法中的各个步骤。
本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着，结合实施例描述的特定特征、结构或者特性包括在本发明的至少一个实施例中。此外，请注意，这里“在一个实施例中”的词语例子不一定全指同一个实施例。
以上所述仅用于说明本发明的技术方案，任何本领域普通技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围应视权利要求范围为准。本发明已结合例子在上面进行了阐述。然而，在本发明公开范围以内的上述实施例以外的其它实施例也同样可行。本发明的不同的特点和步骤可以以不同于所描述的其它方法进行组合。本发明的范围仅受限于所附的权利要求书。更一般地，本领域普通技术人员可以轻易地理解此处描述的所有的参数，尺寸，材料和配置是为示范目的而实际的参数，尺寸，材料和/或配置将取决于特定应用或本发明教导所用于的应用。

Claims (21)

1.一种三维图像获取系统，包括图像捕捉部件和透镜组，其中透镜组包含物镜和镜筒透镜；图像捕捉部件包括分光镜、由复眼透镜与第一图像传感器组成的光场相机组件，以及由普通透镜与第二图像传感器组成的高清相机组件；所述第一图像传感器和第二图像传感器互相垂直放置；所述分光镜为半反半透镜，其与所述第一图像传感器和第二图像传感器的垂线交点所呈角度的范围可以在40－50度之间。
2.如权利要求1所述的三维图像获取系统，所述分光镜的反射和折射部分的光线比例可以为在3/7至7/3之间的范围内。
3.如权利要求2所述的三维图像获取系统，所述分光镜的反射和折射部分的光线比例为1。
4.如权利要求1所述的三维图像获取系统，其与所述第一图像传感器和第二图像传感器的垂线交点所呈角度为45°。
5.如权利要求1－4所述的三维图像获取系统，被摄物体的光线经过分光镜反射后到达所述第二图像传感器的光程与被摄物体的光线经过分光镜透射后到达第一图像传感器的光程距离相等。
6.一种三维图像获取系统，包括图像捕捉部件和透镜组，其中透镜组包含物镜和镜筒透镜；图像捕捉部件包括分光镜、由复眼透镜与第一图像传感器组成的光场相机组件，以及由平面镜、普通透镜与第二图像传感器组成的高清相机组件；所述第一图像传感器和第二图像传感器互相平行放置；所述分光镜为半反半透镜，其与所述第一图像传感器和第二图像传感器的平行线所呈角度的范围可以在40－50度之间。
7.如权利要求6所述的三维图像获取系统，所述分光镜的反射和折射部分的光线比例可以为在3/7至7/3之间的范围内。
8.如权利要求7所述的三维图像获取系统，所述分光镜的反射和折射部分的光线比例为1。
9.如权利要求6所述的三维图像获取系统，其与所述第一图像传感器和第二图像传感器的垂线交点所呈角度为45°。
10.如权利要求1－9所述的三维图像获取系统，被摄物体的光线经过分光镜反射后到达平面镜的光程与被摄物体的光线经过平面镜反射至第二图像传感器的光程之和与被摄物体的光线经过分光镜透射后到达第一图像传感器的光程距离相等。
11.如权利要求1－9所述的三维图像获取系统，所述光场相机组件还包括计算单元、存储器，用来计算、存储所获得包含深度信息的三维图像；所述高清相机组件还包括计算单元、存储器，用来计算、存储清晰的二维图像。
12.一种制备如权利要求1－11所述的三维图像获取系统的方法，包括如下步骤：
提供一个圆柱形夹具，将该圆柱形夹具安装于超精密机床的主轴端部；
在圆柱形夹具的外部提供一个金属片，金属片弯曲并与圆柱形夹具的外表面可拆卸地紧密贴合；
通过精密机床控制被所述金属片包裹的所述圆柱形夹具沿加工路径运动，所述加工路径为连续的“S”型首尾相连的多个圆弧；控制刀具运动，使刀具沿着刀具移动路径运动，所述刀具移动路径为连续的“S”型首尾相连的多个圆弧，所述刀具移动路径与所述加工路径共同组成多个圆。
13.如权利要求12所述的制备方法，其中所述金属片为黄铜片或者铝片，所述金属片的厚度为0.2毫米－0.4毫米，所述圆柱形夹具的直径为100－200毫米。
14.如权利要求12所述的制备方法，所述金属片用于制备所述复眼透镜的微透镜阵列模芯，在金属片上加工出作为微透镜阵列模芯的凹窝阵列，加工出的凹窝阵列各个凹窝的排列形式与微透镜阵列中各个透镜的排列形式一致；且每个凹窝的形状与微透镜阵列中的每个微透镜形状吻合，二者为凹凸配合关系。
15.如权利要求12所述的制备方法，所述刀具为具有圆弧切削刃的单点金刚石刀具。
16.利用如权利要求1－11所述的三维图像获取系统测定距离的方法，包括如下步骤：
通过第二图像传感获得高分辨率二维图像；
通过第一图像传感器获得包含深度信息的三维图像，并通过计算获得所述三维图像的深度图；
所获得的三维图像和二维图像具有相同的视场；
利用语义分割将所述高分辨率二维图像中的每个独立的测量目标进行标识；
通过双线性插值方式将所述深度图的分辨率放大至与高分辨率二维图像一致，使所述深度图和语义分割后被标识的测量目标像素一一对应，并计算被测量目标的距离。
17.如权利要求16所述的测定距离的方法，其中所述的语义分割方法为掩膜区域卷积神经网络(“Mask－RCNN”)，所述二维图像的每个像素块均被相应的掩膜(mask)标识；所述掩膜是一种二值化图像，其分辨率与原图像一致，属于目标的像素值为1，不属于目标的像素值为0.假设某个目标的掩模记为M，掩膜中的某个像素(i,j)的值表示为：
Figure FDA0002250138900000041
18.如权利要求17所述的测定距离的方法，其中测量目标的步骤为：将放大后的深度图设定为D，深度图中某个像素(i,j)的深度值表示为D(i,j)，某个测量目标的掩膜为Mt，则该目标的平均深度应为其掩膜区域的平均深度：
Figure FDA0002250138900000042
其中，
Figure FDA0002250138900000043
把深度换算成距离，得到测量目标的距离；拍摄的景深范围为[m,n]，将灰度取值范围[0,255]归一化到景深范围，通过下列公式计算出测量目标的距离：
Figure FDA0002250138900000044
19.利用如权利要求1－11所述的三维图像获取系统测定距离的系统，包括如下模块：
高清二维图像获取模块，通过第二图像传感获得高分辨率二维图像；三维图像获取模块，通过第一图像传感器获得包含深度信息的三图像，并通过计算获得所述三维图像的深度图；
所获得的三维图像和二维图像具有相同的视场；
标识模块，利用语义分割将所述高分辨率二维图像中的每个独立的测量目标进行标识；
对应和测距模块，通过双线性插值方式将所述深度图的分辨率放大至与高分辨率二维图像一致，使所述深度图和语义分割后被标识的测量目标像素一一对应，并计算被测量目标的距离。
20.如权利要求19所述的测定距离的系统，其中所述的标识模块采用为掩膜区域卷积神经网络(“Mask－RCNN”)模块，所述二维图像的每个像素块均被相应的掩膜(mask)标识；所述掩膜是一种二值化图像，其分辨率与原图像一致，属于目标的像素值为1，不属于目标的像素值为0.假设某个目标的掩模记为M，掩膜中的某个像素(i,j)的值表示为：
Figure FDA0002250138900000051
21.如权利要求20所述的测定距离的系统，其中对应和测距模块为：将放大后的深度图设定为D，深度图中某个像素(i,j)的深度值表示为D(i,j)，某个测量目标的掩膜为Mt，则该目标的平均深度应为其掩膜区域的平均深度：
Figure FDA0002250138900000052
其中，
Figure FDA0002250138900000053
把深度换算成距离，得到测量目标的距离；拍摄的景深范围为[m,n]，将灰度取值范围[0,255]归一化到景深范围，通过下列公式计算出测量目标的距离：
Figure FDA0002250138900000054
CN201911030992.1A 2019-10-28 2019-10-28 高清深度信息获取系统、系统制备方法及系统测距方法 Pending CN110913098A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911030992.1A CN110913098A (zh) 2019-10-28 2019-10-28 高清深度信息获取系统、系统制备方法及系统测距方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911030992.1A CN110913098A (zh) 2019-10-28 2019-10-28 高清深度信息获取系统、系统制备方法及系统测距方法

Publications (1)

Publication Number Publication Date
CN110913098A true CN110913098A (zh) 2020-03-24

Family

ID=69815797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911030992.1A Pending CN110913098A (zh) 2019-10-28 2019-10-28 高清深度信息获取系统、系统制备方法及系统测距方法

Country Status (1)

Country Link
CN (1) CN110913098A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066116A (zh) * 2021-03-08 2021-07-02 郭洪志 一种至少具有两个感光器的图像成像深度处理方法
CN114051087A (zh) * 2021-11-11 2022-02-15 中汽创智科技有限公司 一种多传感器相机
CN114290683A (zh) * 2022-01-07 2022-04-08 宁波智造数字科技有限公司 利用圆柱体的光固化3d打印均匀度调整流程方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931190A (zh) * 2016-06-14 2016-09-07 西北工业大学 高角度分辨率光场获取装置与图像生成方法
CN106853546A (zh) * 2015-12-09 2017-06-16 香港理工大学 微透镜阵列模芯及其制作方法、微透镜阵列及其制作方法
CN107347133A (zh) * 2017-08-25 2017-11-14 合肥芯福传感器技术有限公司 一种双传感器相机
CN107563971A (zh) * 2017-08-12 2018-01-09 四川精视科技有限公司 一种真彩高清夜视成像方法
CN108107003A (zh) * 2017-12-15 2018-06-01 哈尔滨工业大学 基于微透镜阵列的快照式光场-偏振成像仪及成像方法
CN207995235U (zh) * 2018-04-13 2018-10-19 甘肃智呈网络科技有限公司 一种分光成像装置
KR20180130378A (ko) * 2017-05-29 2018-12-07 (주)큐미스 산란매질 신호처리 기능이 탑재된 라이트필드 카메라 어뎁터
CN208299901U (zh) * 2018-06-22 2018-12-28 深圳奥比中光科技有限公司 红外光场相机及包含其的终端
CN109828267A (zh) * 2019-02-25 2019-05-31 国电南瑞科技股份有限公司 基于实例分割和深度摄像头的变电站巡检机器人障碍物检测和测距方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106853546A (zh) * 2015-12-09 2017-06-16 香港理工大学 微透镜阵列模芯及其制作方法、微透镜阵列及其制作方法
CN105931190A (zh) * 2016-06-14 2016-09-07 西北工业大学 高角度分辨率光场获取装置与图像生成方法
KR20180130378A (ko) * 2017-05-29 2018-12-07 (주)큐미스 산란매질 신호처리 기능이 탑재된 라이트필드 카메라 어뎁터
CN107563971A (zh) * 2017-08-12 2018-01-09 四川精视科技有限公司 一种真彩高清夜视成像方法
CN107347133A (zh) * 2017-08-25 2017-11-14 合肥芯福传感器技术有限公司 一种双传感器相机
CN108107003A (zh) * 2017-12-15 2018-06-01 哈尔滨工业大学 基于微透镜阵列的快照式光场-偏振成像仪及成像方法
CN207995235U (zh) * 2018-04-13 2018-10-19 甘肃智呈网络科技有限公司 一种分光成像装置
CN208299901U (zh) * 2018-06-22 2018-12-28 深圳奥比中光科技有限公司 红外光场相机及包含其的终端
CN109828267A (zh) * 2019-02-25 2019-05-31 国电南瑞科技股份有限公司 基于实例分割和深度摄像头的变电站巡检机器人障碍物检测和测距方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066116A (zh) * 2021-03-08 2021-07-02 郭洪志 一种至少具有两个感光器的图像成像深度处理方法
CN114051087A (zh) * 2021-11-11 2022-02-15 中汽创智科技有限公司 一种多传感器相机
CN114290683A (zh) * 2022-01-07 2022-04-08 宁波智造数字科技有限公司 利用圆柱体的光固化3d打印均匀度调整流程方法

Similar Documents

Publication Publication Date Title
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN110276808B (zh) 一种单相机结合二维码测量玻璃板不平度的方法
CN109767476B (zh) 一种自动对焦双目摄像头标定及深度计算方法
CN110913098A (zh) 高清深度信息获取系统、系统制备方法及系统测距方法
CN110108283B (zh) 一种基于多二维码视觉的高精度定位方法
JP6192853B2 (ja) 超音波深度検出を使用するオプティカルフロー画像化システム及び方法
US8705846B2 (en) Position measuring apparatus, position measuring method, image processing apparatus and image processing method
US20090324009A1 (en) Method and system for the determination of object positions in a volume
CN112365585A (zh) 一种基于事件相机的双目结构光三维成像方法
CN109373912B (zh) 一种基于双目视觉的非接触式六自由度位移测量方法
CN110889829A (zh) 一种基于鱼眼镜头的单目测距方法
CN111080705B (zh) 一种自动对焦双目摄像头标定方法及装置
CN109084688B (zh) 一种基于可变焦相机的双目视觉测距方法
CN110419208B (zh) 成像系统、成像控制方法、图像处理设备和计算机可读介质
Percoco et al. Preliminary study on the 3D digitization of millimeter scale products by means of photogrammetry
CN113506336B (zh) 一种基于卷积神经网络和注意力机制的光场深度预测方法
CN111829439B (zh) 一种高精度平移测量方法及装置
CN108596960B (zh) 一种光场相机的子孔径图像对齐方法
Nagy et al. SFM and semantic information based online targetless camera-LIDAR self-calibration
CN113963067B (zh) 一种采用小靶标对大视场视觉传感器进行标定的标定方法
CN106323165A (zh) 物体的至少一个尺寸的测量方法
JP4734630B2 (ja) 透明板に映る２重像を用いた距離計測方法
CN113624158A (zh) 一种视觉尺寸检测系统及方法
WO2014171438A1 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
CN112819935A (zh) 基于双目立体视觉实现工件三维重建的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200324