CN114037801B - 一种基于高动态范围成像的点云融合系统及方法 - Google Patents
一种基于高动态范围成像的点云融合系统及方法 Download PDFInfo
- Publication number
- CN114037801B CN114037801B CN202111375739.7A CN202111375739A CN114037801B CN 114037801 B CN114037801 B CN 114037801B CN 202111375739 A CN202111375739 A CN 202111375739A CN 114037801 B CN114037801 B CN 114037801B
- Authority
- CN
- China
- Prior art keywords
- image
- point cloud
- quality evaluation
- images
- marking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000004927 fusion Effects 0.000 title claims abstract description 27
- 238000011156 evaluation Methods 0.000 claims abstract description 68
- 238000004364 calculation method Methods 0.000 claims abstract description 28
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 13
- 238000013441 quality evaluation Methods 0.000 claims description 145
- 238000010606 normalization Methods 0.000 claims description 53
- 238000012545 processing Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 238000001303 quality assessment method Methods 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000010287 polarization Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种基于高动态范围成像的点云融合系统及方法，系统包括投影设备、采集设备和计算单元，计算单元用于控制投影设备按照不同预设亮度控制参数向被测物体投射投射结构光；获取采集设备在不同预设亮度控制参数下采集的被测物体的至少两组2D图像；创建与每组2D图像对应的预定义图像；标记预定义图像中的码值状态，得到标记图像；对标记图像的码值状态标记区域进行点云重建，得到与标记图像对应的点云图像；计算每一个点云图像的评价权重，将符合预设范围的评价权重所对应的点云图像作为输出点云。本申请通过标记码值状态是否有效，并根据码值状态引导融合点云图像中的有效点云，得到的点云图像完整性更高。
Description
技术领域
本申请涉及点云重建、融合技术领域，尤其涉及一种基于高动态范围成像的点云融合系统及方法。
背景技术
在机器视觉领域中，由于采集到的被测物体的2D图像中所包含的动态范围有限，即2D图像中能用于重建点云的数据只是被测物体数据的一部分。因此，需要通过重建、融合等图像处理方法计算并降低采集到的2D图像与被测物体本身的动态范围差异，即提高被测物体的点云数据完整性，一般采用基于结构光的3D点云重建技术重建被测物体的表面轮廓点云。
现有技术中，重建被测物体表面轮廓点云通常采用如图1所示的一种重建被测物体表面轮廓点云的系统，图1所示的系统包括偏振片、CCD相机、投影仪和计算单元，其中，偏振片设置在CCD相机的下方，CCD相机与计算单元通信连接，投影仪与计算单元通信连接。采用上述系统重建被测物体表面轮廓点云时，首先，将被测物体放置于偏振片的正下方，通过计算单元控制投影仪向被测物体投射编码结构光。结构光在被测物体表面经过漫反射后得到反射光，偏振片在接收到反射光后对其进行分解，即将反射光中的强反射光进行分离，实现对过曝光区域的去除。然后，通过CCD相机采集不同亮度下，经过偏振处理后被测物体的2D图像，并将其通过CCD相机内部的图像传感器传输至计算单元，其中，亮度通过投影仪向被测物体投射不同曝光条件的结构光进行改变。最后，采用计算单元对不同亮度下经过偏振处理后的多张2D图像采用3D点云重建技术重建被测物体表面轮廓点云。
然而，通过上述系统对被测物体的表面轮廓点云进行重建，由于对经过偏振处理后的多张2D图像进行处理的过程较复杂，并且2D图像中所包含的动态范围也较有限，因此，最终得到的被测物体表面轮廓点云中一般还会包含无效点云，导致重建得到被测物体表面轮廓点云中仍然存在部分点云信息缺失，即被测物体表面轮廓点云的动态范围远低于真实场景中所包含的动态范围。
发明内容
本申请提供了一种基于高动态范围成像的点云融合系统及方法，以解决现有技术中存在的由于对经过偏振处理后的多张2D图像进行处理的过程较复杂，并且2D图像中所包含的动态范围也较有限，因此，最终得到的被测物体表面轮廓点云中一般还会包含无效点云，导致重建得到被测物体表面轮廓点云中仍然存在部分点云信息缺失，即被测物体表面轮廓点云的动态范围远低于真实场景中所包含的动态范围的问题。
第一方面，本申请提供一种基于高动态范围成像的点云融合系统，包括：投影设备、采集设备和计算单元，投影设备与计算单元通信连接，采集设备与计算单元通信连接；
其中，计算单元被配置为：
控制投影设备向被测物体投射结构光，所述投影设备按照计算单元设置的预设亮度控制参数向被测物体投射结构光；
控制采集设备在不同预设亮度控制参数下采集被测物体的至少两组2D图像，且每组2D图像包括至少一张2D图像；
接收所述采集设备采集的被测物体的至少两组2D图像；
创建与每组2D图像对应的预定义图像；
根据预设阈值参数标记所述预定义图像中的码值状态，得到标记图像；
对所述标记图像中的码值状态标记区域进行3D点云重建，得到与所述标记图像对应的点云图像；
计算每一个所述点云图像的评价权重，所述评价权重通过对不同预设亮度控制参数下得到的所述2D图像质量评价指标和所述点云质量评价指标进行计算得到，所述2D图像质量评价指标通过对每组2D图像进行质量评价获得，所述点云质量评价指标通过对每一个所述点云图像进行质量评价获得；
将符合预设范围的评价权重所对应的点云图像作为输出点云。
在上述技术方案中，所述预定义图像与每组2D图像的图像分辨率相同，即预定义图像与构成每组2D图像的每一张2D图像的图像分辨率均相同，同一个像素点在预定义图像中的位置与该像素点在每一张2D图像中的位置相同。另外，所述码值状态与每组2D图像中像素点状态相对应，即码值状态与构成每组2D图像中的每一张2D图像中像素点状态相对应，若同一个像素点在每一张2D图像中均为有效，则该像素点在标记图像中属于码值状态标记为有效的码值状态标记区域；若同一个像素点在某一张2D图像中为过曝光或欠曝光，则该像素点在标记图像中属于码值状态标记为无效的码值状态标记区域。
第二方面，本申请提供一种基于高动态范围成像的点云融合方法，包括：
获取采集设备在不同结构光下采集得到的被测物体的至少两组2D图像，且每组2D图像中包括至少一张2D图像，不同结构光通过投影设备按照计算单元设置的不同预设亮度控制参数向被测物体投射；
创建与每组2D图像对应的预定义图像；
根据预设阈值参数标记所述预定义图像中的码值状态，得到标记图像；
对所述标记图像中的码值状态标记区域进行3D点云重建，得到与所述标记图像对应的点云图像；
计算每一个所述点云图像的评价权重，所述评价权重通过对不同预设亮度控制参数下得到的所述2D图像质量评价指标和所述点云质量评价指标进行计算得到，所述2D图像质量评价指标通过对每组2D图像进行质量评价获得，所述点云质量评价指标通过对每一个所述点云图像进行质量评价获得；
将符合预设范围的评价权重所对应的点云图像作为输出点云。
在本申请的较佳实施例中，计算每一个所述点云图像的评价权重，包括以下步骤：
计算2D图像质量评价归一值；
计算点云质量评价归一值；
将所述2D图像质量评价归一值和所述点云质量评价归一值进行加权处理，得到评价权重。
在本申请的较佳实施例中，计算2D图像质量评价归一值，包括：
计算2D图像质量评价指标，所述2D图像质量评价指标通过对有效像素点进行质量评价得到，所述有效像素点是每组2D图像中像素点状态均为正常曝光的像素点；
对不同预设亮度控制参数下得到的2D图像质量评价指标进行归一化处理，得到2D图像质量评价归一值。
在本申请的较佳实施例中，计算点云质量评价归一值，包括：
计算点云质量评价指标，所述点云质量评价指标通过对每一个所述点云图像中的有效点云进行质量评价得到，所述有效点云通过对有效区域进行3D点云重建得到，所述有效区域是标记图像中码值状态标记为有效的区域；
对不同预设亮度控制参数下得到的点云质量评价指标进行归一化处理，得到点云质量评价归一值。
在本申请的较佳实施例中，根据预设阈值参数标记所述预定义图像中的码值状态，得到标记图像，包括：
若所述每组2D图像中像素点的灰度值小于第一预设阈值，则在所述预定义图像中将该像素点对应的码值状态标记为过曝光，码值状态标记区域在所述标记图像中为过曝光区域；
若所述每组2D图像中像素点的灰度值大于第二预设阈值，则在所述预定义图像中将该像素点对应的码值状态标记为欠曝光，码值状态标记区域在所述标记图像中为欠曝光区域；
若所述每组2D图像中像素点的灰度值大于第一预设阈值，且小于第二预设阈值，则在所述预定义图像中将该像素点对应的码值状态标记为有效，码值状态标记区域在所述标记图像中为有效区域。
在本申请的较佳实施例中，根据预设阈值参数标记预定义图像中的码值状态，公式如下：
其中，mask(i,j)表示预定义标记值，即掩码标记值，i表示像素点的横坐标，j表示像素点的纵坐标，gray(i,j)表示像素点在2D图像中所对应的灰度值，threshold1表示第一预设阈值，threshold2表示第二预设阈值。
上述技术方案中，第一预设阈值表示欠曝光阈值，第二预设阈值表示过曝光阈值，若灰度值小于欠曝光阈值，则预定义标记值，即掩码标记值为0，在标记图像中为欠曝光区域；若灰度值大于过曝光阈值，则预定义标记值，即掩码标记值为1，在标记图像中为过曝光区域；若灰度值大于欠曝光阈值，且小于过曝光阈值，则预定义标记值，即掩码标记值为2，在标记图像中为有效区域。
在本申请的较佳实施例中，通过比较2D图像的灰度信息与预设阈值参数，对所述2D图像进行质量评价。
在本申请的较佳实施例中，通过比较2D图像的灰度信息与预设阈值参数，对所述2D图像进行质量评价，包括：
若所述2D图像中像素点的灰度信息大于第三预设阈值，且小于第四预设阈值，则2D图像质量评价指标通过该像素点的灰度信息与255的比值得到；
若所述2D图像中像素点的灰度信息小于第三预设阈值，或大于第四预设阈值，则2D图像质量评价指标为0。
在本申请的较佳实施例中，通过比较2D图像的灰度信息与预设阈值参数，对所述2D图像进行质量评价，公式如下：
其中，w1(i,j)表示2D图像质量评价指标，i表示像素点的横坐标，j表示像素点的纵坐标，gray(i,j)表示像素点在2D图像中所对应的灰度值，threshold3表示第三预设阈值，threshold4表示第四预设阈值。
上述技术方案中，第三预设阈值表示欠曝光阈值，若灰度值低于欠曝光阈值，则权重为0；第四预设阈值表示过曝光阈值，若灰度值高于过曝光阈值，则权重也为0；若灰度值大于欠曝光阈值且小于过曝光阈值，则权重通过灰度值除以饱和度得到。
在本申请的较佳实施例中，将符合预设范围的评价权重所对应的点云图像作为输出点云，包括：
将所述预设范围内的最大评价权重所对应的点云图像直接作为输出点云；
将所述预设范围内的至少两个评价权重所对应的点云图像进行融合后，将融合后的点云图像作为输出点云。
第三方面，本申请提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现一种基于高动态范围成像的点云融合方法的步骤。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现一种基于高动态范围成像的点云融合方法的步骤。
本申请提供的一种基于高动态范围成像的点云融合系统及方法，相较于现有技术而言，具有以下有益效果：
本申请通过在预定义图像对欠曝光像素点、过曝光像素点和有效像素点分别进行标记，得到标记图像，并使用标记码值状态后的标记图像进行引导融合点云图像中的有效点云，其中，融合采用分别对2D图像和根据标记图像重建后的点云图像进行质量评价，最后，采用2D图像质量评价指标和点云图像质量评价指标计算最终的评价权重，输出评价权重最高的点云图像。本申请采用了2D图像质量评价指标和点云图像评价指标进行综合质量评价，相较于现有技术中只采用2D图像作为权重因子进行质量评价，融合效果更好，得到的点云图像完整性更高；并且，采用本申请的方案仅需要2次曝光或3次曝光就可以得到高完整性的点云图像，不需要采用偏振片进行分离强反射光，避免出现过曝光区域，也不需要对经过偏振处理后的2D图像进行一系列复杂的处理，节约了计算单元处理的时间，对被测物体表面轮廓点云的融合过程更简单。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是现有的点云融合系统结构示意框图；
图2是本申请实施例1的一种基于高动态范围成像的点云融合系统结构示意框图；
图3a是本申请实施例2的一种基于高动态范围成像的点云融合方法流程图；
图3b是本申请实施例2的一种基于高动态范围成像的点云融合方法实现原理图；
图4是本申请应用例中融合不同预设亮度控制参数下有效点云的原理示意图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
为便于对申请的技术方案进行，以下首先在对本申请所涉及到的一些概念进行说明。
动态范围：是场景中最亮部分与最暗部分，即最大值与最小值的比值，可以用以10为底的对数或者以2为底的对数表示。低动态范围(LDR)图像的动态范围一般在102左右，高动态范围(HDR)图像的动态范围可达到106。动态范围越低，场景中包含的亮度级越少；动态范围越高，场景中包含的亮度级越多。因此，真实场景中较暗或较亮的区域在2D图像中将呈现饱和现象，即全黑(欠曝光)或全白(过曝光)，导致较暗或较亮的区域存在图像信息丢失，最终造成基于2D图像重建得到的被测物体的表面轮廓点云中部分点云信息丢失，即被测物体的表面轮廓点云的动态范围较低。然而可以通过多次采集不同亮度下的2D图像弥补较暗或较亮区域的图像信息缺失；用较高亮度下采集到的2D图像弥补低亮度下采集到的2D图像中欠曝光造成的部分图像信息缺失；用较低亮度下采集到的2D图像弥补高亮度下采集到的2D图像中过曝光造成的部分图像信息缺失。
高动态范围成像技术的原理是通过不断改变相机的曝光时间，获得不同亮度范围的场景信息，再将不同亮度范围的场景信息加以结合，使得2D图像的动态范围更加接近人眼所观察到的真实场景中被测物体所包含的动态范围。高动态范围成像技术采集被测物体的2D图像的方法有两种，一种是基于硬件的单次曝光采集2D图像，该方法在单个成像传感器上实现包围曝光，但是会牺牲图像的空间分辨率，采集的2D图像中所包含的动态范围远达不到人眼视觉系统可感知的被测物体实际包含的动态范围。另一种是不同时的连续多次曝光采集2D图像，该方法通过控制相机的快门时间，控制场景亮度信息进入相机的光通量，拍摄不同曝光条件下的2D图像，使其包含被测物体不同亮度范围的细节信息，融合被测物体不同亮度范围的细节信息，得到HDR图像。
图1和图2中为了描述方便，将被测物体也一起放入图中说明，但是系统并不包括被测物体，图1和图2中的双箭头表示通信连接，图1和图2的大的单向箭头，表示一个设备向另一个设备传输信息，但两个设备之间并无连接关系。例如，图1中投影仪向被测物体投射编码结构光，被测物体将反射光反射入偏振片，CCD相机采集经过偏振片处理的被测物体的2D图像，并通过图像传感器(图1中未示出)将采集到的2D图像传输至计算单元。图2中投影设备向被测物体投射结构光，被测物体将反射光直接反射到采集设备的镜头(图2中未示出)上，采集设备采集被测物体的2D图像，并通过图像传感器(图2中未示出)将采集到的2D图像传输至计算单元。
实施例1
参见图2，本申请提供一种基于高动态范围成像的点云融合系统，包括：投影设备、采集设备和计算单元，投影设备和计算单元通信连接(在图2中用双箭头表示)，采集设备和计算单元通信连接(在图2中用双箭头表示)；
其中，计算单元控制投影设备向被测物体投射结构光，所述投影设备按照计算单元设置的预设亮度控制参数向被测物体投射结构光，预设亮度控制参数包括投影设备的曝光时间、曝光增益、曝光功率等；
投影设备向被测物体投射结构光的同时，计算单元控制采集设备在不同预设亮度控制参数，即不同曝光条件的结构光照亮下，分别采集被测物体的至少两组2D图像；
采集设备通过内部的图像传感器将采集到的至少两组2D图像传输至计算单元，每组2D图像中包括至少一张2D图像；需要说明的是，每组2D图像中2D图像的具体数量根据后续重建被测物体的表面轮廓一帧点云采用的重建算法而定；
计算单元对每组2D图像分别创建一张对应的预定义图像；预定义图像的图像分辨率和组成每组2D图像的每一张2D图像的图像分辨率均相同，即同一个像素点在每一张2D图像中的坐标位置与该像素点预定义图像中的坐标位置相同，预定义图像由计算单元根据算法自动生成；
根据预设阈值参数标记所述预定义图像中的码值状态，得到标记图像；所述码值状态与每组2D图像中像素点状态相对应，即当每组2D图像中每一张2D图像中同一坐标位置的像素点均为有效像素点时，该像素点对应的码值状态为有效，该像素点在标记图像中属于码值状态标记有效区域；若每组2D图像中的任何一张2D图像中同一坐标位置的像素点属于过曝光像素点或欠曝光像素点，则该像素点对应的码值状态为过曝光或欠曝光，并且码值状态标记为过曝光或欠曝光均为无效，该像素点在标记图像中属于码值状态标记无效区域；
对所述标记图像中的码值状态标记区域进行3D点云重建，得到与所述标记图像对应的点云图像；即对码值状态标记区域为有效(正常)、过曝光及欠曝光的区域进行3D点云重建，得到对应的点云图像，在点云图像中，码值状态标记区域为有效(正常)的区域对应得到有效点云，码值状态标记区域为过曝光或欠曝光的区域对应得到无效点云；
计算每一个所述点云图像的评价权重，所述评价权重通过对不同预设亮度控制参数下得到的所述2D图像质量评价指标和所述点云质量评价指标进行计算得到，所述2D图像质量评价指标通过对每组2D图像进行质量评价获得，即每一张2D图像分别进行质量评价，所述点云质量评价指标通过对每一个所述点云图像进行质量评价获得，即对每一个所述点云图像中的每个有效点云分别进行质量评价；
将符合预设范围的评价权重所对应的点云图像作为输出点云，具体地，若不同预设亮度控制参数下得到的点云图像中存在至少两张点云图像中包含有效点云，则根据步骤S105中评价权重的计算方法计算并判断评价权重最高的点云图像进行输出；若不同预设亮度控制参数下得到的点云图像中只有一张点云图像中包括有效点云，则直接将该点云图像作为输出点云；若不同预设亮度控制参数下得到的点云图像中不存在任何一张点云图像中包括有效点云，则不输出。
进一步地，在本实施例1中，将符合预设范围的评价权重所对应的点云图像作为输出点云，还包括：
将所述预设范围内的最大评价权重所对应的点云图像直接作为输出点云；
将所述预设范围内的至少两个评价权重所对应的点云图像进行融合后，将融合后的点云图像作为输出点云。本领域技术人员可以根据实际情况需要，选择输出点云的方式，是输出最大评价权重所对应的点云图像，还是将多个预设范围内的评价权重所对应的点云图像融合后作为输出点云，其中，预设范围指的是点云动态范围较大的评价权重的数值范围，本领域技术人员也可根据具体需求或实际使用经验，进行相应的设置，本申请对其不做限制。
实施例2
与前述一种基于高动态范围成像的点云融合系统的实施例相对应，本申请还提供了一种基于高动态范围成像的点云融合方法的实施例。如图3a所示，该方法包括以下步骤：
S101，获取采集设备在不同结构光下采集得到的被测物体的至少两组2D图像，且每组2D图像中包括至少一张2D图像，不同结构光通过投影设备按照计算单元设置的不同预设亮度控制参数向被测物体投射。
在步骤S101中，预设亮度控制参数可以是投影设备的曝光时间、曝光增益、曝光功率的一种，本领域技术人员可根据实际需要选择一种参数，并改变其具体数值，得到若干组2D图像，在本实施例2中对预设亮度控制参数的选取不做任何限制。
S102，创建与每组2D图像对应的预定义图像。
在步骤S102中，预定义图像的图像分辨率和每组2D图像的图像分辨率均相同，即与每组2D图像中的每一张2D图像的图像分辨率均相同。因此，同一个像素点在每组2D图像的每一张2D图像中的坐标位置与该像素点在预定义图像中的坐标位置相同。其中，预定义图像由计算单元根据算法自动生成，在本申请中对其不做具体阐述，本领域技术人员可根据本领域的常规技术手段创建与每组2D图像相对应的预定义图像。
S103，根据预设阈值参数标记所述预定义图像中的码值状态，得到标记图像。
在步骤S103中，标记图像为在计算单元创建的预定义图像中，根据每组2D图像中像素点的状态在预定义图像中标记码值状态后得到的图像，码值状态与每组2D图像中像素点状态相对应指的是当每组2D图像中每一张2D图像中同一坐标位置的像素点均为有效像素点时，该像素点在标记图像中对应的码值状态为有效，属于码值状态标记有效区域；若每组2D图像中的任何一张2D图像中同一坐标位置的像素点属于过曝光像素点或欠曝光像素点，则该像素点在标记图像中所对应的码值状态为过曝光或欠曝光，属于码值状态标记无效区域。
在本实施例2的一种具体实施方式中，步骤S103包括以下标记过程：
若所述每组2D图像中像素点的灰度值小于第一预设阈值，则在所述预定义图像中将该像素点对应的码值状态标记为过曝光，码值状态标记区域在所述标记图像中为过曝光区域；
若所述每组2D图像中像素点的灰度值大于第二预设阈值，则在所述预定义图像中将该像素点对应的码值状态标记为欠曝光，码值状态标记区域在所述标记图像中为欠曝光区域；
若所述每组2D图像中像素点的灰度值大于第一预设阈值，且小于第二预设阈值，则在所述预定义图像中将该像素点对应的码值状态标记为有效(正常)，码值状态标记区域在所述标记图像中为有效(正常)区域。
进一步地，在本实施例2的一种具体实施方式中，步骤S103中根据预设阈值参数标记预定义图像中的码值状态，具体公式如下：
其中，mask(i,j)表示预定义标记值，即掩码标记值，i表示像素点的横坐标，j表示像素点的纵坐标，gray(i,j)表示像素点在2D图像中所对应的灰度值，threshold1表示第一预设阈值，threshold2表示第二预设阈值；即在预定义图像中，mask标记为0，则表示欠曝光区域，mask标记为1，则表示过曝光区域，mask标记为2，则表示有效(正常)区域，标记完码值状态后的预定义图像，称为标记图像。
需要特别说明的是，上述第一预设阈值表示欠曝光阈值，第二预设阈值表示过曝光阈值，且第一预设阈值和第二预设阈值属于预设阈值参数。若灰度值小于欠曝光阈值，则预定义标记值，即掩码标记值为0，在标记图像中为欠曝光区域；若灰度值大于过曝光阈值，则预定义标记值，即掩码标记值为1，在标记图像中为过曝光区域；若灰度值大于欠曝光阈值，且小于过曝光阈值，则预定义标记值，即掩码标记值为2，在标记图像中为有效区域。并且，第一预设阈值和第二预设阈值的具体数值可以是默认参数数值，也可以是用户自行设定的数值，具体的数值由本领域技术人员在实际使用情况中根据经验或本领域常规技术手段进行设置。在本实施例2中对其不做具体限制。
S104，对所述标记图像中的码值状态标记区域进行3D点云重建，得到与所述标记图像对应的点云图像。
在本实施例2的一种具体实施方式中，可以采用相移法、格雷码法等对码值状态标记后的预定义图像，即标记图像进行3D点云重建，且是对于标记图像中码值状态标记为有效(正常)的像素点所在的码值状态标记有效区域进行3D点云重建，对应得到在点云图像中的有效点云，还包括对标记图像中码值状态标记为过曝光和欠曝光的像素点所在的码值状态标记无效区域进行3D点云重建，对应得到在点云图像中的无效点云。
S105，计算每一个所述点云图像的评价权重，所述评价权重通过对不同预设亮度控制参数下得到的所述2D图像质量评价指标和所述点云质量评价指标进行计算得到，所述2D图像质量评价指标通过对每组2D图像进行质量评价获得，所述点云质量评价指标通过对每一个所述点云图像进行质量评价获得。
在本实施例2的一种具体实施方式中，步骤S015中计算每一个所述点云图像的评价权重的过程如下：
计算2D图像质量评价归一值；
计算点云质量评价归一值；
将所述2D图像质量评价归一值和所述点云质量评价归一值进行加权处理，得到评价权重。
进一步地，在本实施例2的一种具体实施方式中，计算2D图像质量评价归一值，包括：
计算2D图像质量评价指标，所述2D图像质量评价指标通过对有效像素点进行质量评价得到，所述有效像素点是每组2D图像中像素点状态均为正常曝光的像素点；
对不同预设亮度控制参数下得到的2D图像质量评价指标进行归一化处理，得到2D图像质量评价归一值。
进一步地，在本实施例2的一种具体实施方式中，计算点云质量评价归一值，包括：
计算点云质量评价指标，所述点云质量评价指标通过对每一个所述点云图像中的有效点云进行质量评价得到，所述有效点云通过对有效区域进行3D点云重建得到，所述有效区域是标记图像中码值状态标记为有效的区域；
对不同预设亮度控制参数下得到的点云质量评价指标进行归一化处理，得到点云质量评价归一值。
另外，需要特别说明的是，在上述计算每一个所述点云图像的评价权重的过程中，计算点云质量评价指标w2可以通过对每个点云与周围点云的距离进行评价得到，如若周围点云距离该点云的距离较远，则该点云的可靠性较低，若周围点云距离该点云的距离较近，则该点云的可靠性较高；还可根据其他评价方式计算点云质量评价指标。对2D图像质量评价归一值和点云质量评价归一值采用加权算法进行处理。加权算法包括线性权重、非线性权重等，在本实施例2中，采用线性权重进行评价，即将同一预设亮度控制参数下的2D图像质量评价归一值和点云质量评价归一值进行相乘，得到该预设亮度控制参数下点云图像的评价权重。
进一步地，在本实施例2中，通过比较2D图像的灰度信息与预设阈值参数，对所述2D图像进行质量评价，即计算2D图像质量评价指标w1(i,j)，包括：
若所述2D图像中像素点的灰度信息大于第三预设阈值，且小于第四预设阈值，则2D图像质量评价指标通过该像素点的灰度信息与255的比值得到；
若所述2D图像中像素点的灰度信息小于第三预设阈值，或大于第四预设阈值，则2D图像质量评价指标为0；2D图像质量评价指标w1(i,j)具体计算公式如下：
其中，w1(i,j)表示2D图像质量评价指标，i表示像素点的横坐标，j表示像素点的纵坐标，gray(i,j)表示像素点在2D图像中所对应的灰度值，threshold3表示第三预设阈值，threshold4表示第四预设阈值。
需要特别说明的是，在本实施例2中，上述2D图像质量评价指标采用的是每组2D图像中所有的2D图像的灰度信息进行质量评价。并且，只列出了计算2D图像质量评价指标的一种方式，即通过2D图像的灰度信息进行质量评价，但是在实际应用时，本领域技术人员还可根据本领域的常规技术手段，使用其他可以计算2D图像质量评价指标的方式，本申请对其不做具体限制。
进一步要说明的是，上述第三预设阈值表示欠曝光阈值，若灰度值低于欠曝光阈值，则权重为0；第四预设阈值表示过曝光阈值，若灰度值高于过曝光阈值，则权重也为0；若灰度值大于欠曝光阈值且小于过曝光阈值，则权重通过灰度值除以饱和度得到。另外，且第三预设阈值和第四预设阈值也属于预设阈值参数，第三预设阈值和第四预设阈值的具体数值可以是默认参数数值，也可以是用户自行设定的数值，也可与码值状态标记中第一预设阈值和第二预设阈值设置为相同的数值，具体的数值由本领域技术人员在实际使用情况中根据经验或本领域常规技术手段进行设置。在本实施例2中对其不做具体限制。
更进一步地，在本实施例2中，对不同预设亮度控制参数下得到的2D图像质量评价指标和点云质量评价指标进行归一化处理，均采用每次曝光得到的评价参数除以N次曝光评价参数的总和，不同预设亮度控制参数下得到的归一化值也不同，其中，评价参数包括2D图像质量评价指标和点云质量评价指标，具体公式为：
其中，Normal_Wt表示评价参数归一值，包括2D图像质量评价归一值和点云质量评价归一值；W表示评价参数，既可以是2D图像质量评价指标w1，也可以是点云质量评价指标w2；t表示某次曝光，即某一个预设亮度控制参数对应的曝光条件；N表示N次曝光，即N个预设亮度控制参数所对应的N次曝光。
此外，在本实施例2中，对2D图像质量评价归一值和点云质量评价归一值的具体计算过程并未体现，但是本领域技术人员可根据本申请记载的技术方案结合实际应用场景对其进行计算，不会导致计算过程不清楚，出现不同计算结果的问题。
S106，将符合预设范围的评价权重所对应的点云图像作为输出点云。
在本实施例2的一种具体实施方式中，步骤S106还包括：
将所述预设范围内的最大评价权重所对应的点云图像直接作为输出点云；
将所述预设范围内的至少两个评价权重所对应的点云图像进行融合后，将融合后的点云图像作为输出点云。
若不同预设亮度控制参数下得到的点云图像中存在至少两张点云图像中包含有效点云，则根据步骤S105中评价权重的计算方法计算并判断评价权重最高的点云图像进行输出；若不同预设亮度控制参数下得到的点云图像中只有一张点云图像中包括有效点云，则直接将该点云图像作为输出点云；若不同预设亮度控制参数下得到的点云图像中不存在任何一张点云图像中包括有效点云，则不输出。
如图3b所示，为本实施例2的实现原理示意图，首先设置不同亮度控制参数，并在不同亮度控制参数下采集被测物体的2D图像，每一个亮度控制参数下对应采集一组2D图像，一共采集N组，即设置几个不同的亮度控制参数就采集几组2D图像，计算单元创建与每组2D图像对应的预定义图像，获取2D权重因子，即图3a所示步骤中的计算2D图像质量评价指标，并标记预定义图像中码值状态，对码值状态标记为有效的区域进行点云重建，获取点云权重因子，即图3a所示步骤中的计算点云图像质量评价指标，并对同一亮度控制参数下的2D权重因子和点云权重因子进行归一化和加权处理，得到评价权重，计算N次不同亮度控制参数下的N组评价权重，输出N组评价权重中最大评价权重对应的点云图像，或者将多个预设范围内的评价权重所对应的点云图像融合后作为输出点云(图3b未示出，仅示出了评价权重最大的一种情况)，其中，预设范围指的是点云动态范围较大的评价权重的数值范围，本领域技术人员也可根据具体需求或实际使用经验，进行相应的设置，本申请对其不做限制。
在本申请的实施例1和实施例2中，投影设备按照计算单元预先设置好的不同预设亮度控制参数进行投射结构光，可以按照计算单元中预设的不同曝光时间进行投射结构光，例如曝光时间可以设置为500us、1000us和5000us等；还可以按照计算单元中预设的不同曝光功率进行投射结构光，例如曝光功率可以设置为100和200等。因此，在本申请的实施例1和实施例2中，可以选取计算单元中多个预设亮度控制参数的某一个参数，设置不同的参数值，以使得投影设备在不同曝光条件下投射结构光。
需要特别说明的是，在本申请的实施例1和实施例2中，投影设备不限于投影仪、基于DMD的投影设备或基于LCOS的投影设备；投影设备投射的结构光可以是基于MEMS的可调制结构光，也可以是散斑结构光。采集设备可以是线阵扫描相机，也可以是其他采集图像的器件。在实现本实施例技术方案的基础上，本申请对其均不做限制，本领域技术人员可以根据实际需要进行设备的选择。
此外，在本申请的实施例1和实施例2中，采集设备采集到的每组2D图像中，2D图像的数量是完成一帧点云重建所需要的图像数量，但是当选择的重建算法不同时，每组图像中2D图像的数量会相应地改变，例如，采用三步相移算法作为重建算法时，则每组2D图像中包括3张2D图像。本申请中不限制重建算法的种类，每组2D图像的数量也根据本领域技术人员实际采用的重建算法进行改变。
本申请提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例2中一种基于高动态范围成像的点云融合方法的步骤。
本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现实施例2中一种基于高动态范围成像的点云融合方法的步骤。
应用例
采用本申请实施例1的系统和实施例2的方法对硬币进行表面轮廓点云重建、融合的具体过程如下：
采用投影设备向硬币投射结构光，采集设备采集硬币在结构光下的2D图像；然后，重建硬币的表面轮廓点云，得到欠曝光条件下存在很多由于曝光不足导致无法重建点云的黑色孔洞；中曝光条件下存在些许由于过曝光导致无法重建点云的白色孔洞；过曝光条件下存在由于过曝光导致无法重建点云的白色孔洞；其中，黑色孔洞和白色空洞属于预定义图像，即掩码图像中码值状态(mask)标记为无效的像素点，即如图4所示的采用mask对每一个预定义图像，即掩码图像进行标记，得到各个标记图像(图4中的mask图像)，以及每一个标记图像中对应的欠曝区域、正常(有效)区域和过曝区域位置。进一步，对码值状态标记后的标记图像(图4中的mask图像)中码值状态标记为正常(有效)的区域进行3D点云重建，分别得到与欠曝光图像对应的欠曝光点云，与中曝光图像对应的中曝光点云，与过曝光图像对应的过曝光点云，上述三个点云图像中均包括无效点云区域和有效点云区域。最后，如图4所示，在标记图像(图4中的mask图像)引导下，将不同预设亮度控制参数下得到的有效点云进行融合，融合过程包括判断不同预设亮度控制参数下得到的点云图像中是否包含有效点云，若不同预设亮度控制参数下得到的点云图像中存在至少两张点云图像中包含有效点云，则根据评价权重计算方法计算并判断评价权重最高的点云图像进行输出；若不同预设亮度控制参数下得到的点云图像中只有一张点云图像中包括有效点云，则输出该点云图像；图4中得到的点云图像中欠曝光点云和过曝光点云中均存在有效点云区域，因此，对其进行评价权重计算判断，并将不同预设亮度控制参数下的有效点云区域进行融合，得到融合后的图像中包含有效点云区域最多。经过本申请实施例1的系统和实施例2的方法最终输出的融合点云图像中基本没有孔洞，硬币表面轮廓点云数据的完整性大幅度提高。
灰度图像跟彩色图像效果可能存在较小的误差，但不影响对本申请技术方案效果的对比说明。因此，硬币真实图像与融合后的点云图像还原度较高，可以清晰地显示硬币的所有部分，经过本申请技术方案的处理，得到的硬币表面轮廓点云更加完整。
需要说明的是，在应用例中，仅是为了说明本申请的技术方案实现的原理及主要过程，仅示出了融合的一种方案，但是需要说明的是本领域技术人员不付出创造性的劳动基于本申请的技术方案，均属于本申请的保护范围。另外，对各个参数及每组2D图像的具体数量并未做具体限制，但其并不影响本申请技术方案的实施，因此，不存在本申请技术方案不清楚的问题。
Claims (15)
1.一种基于高动态范围成像的点云融合系统，其特征在于，包括：投影设备、采集设备和计算单元，投影设备与计算单元通信连接，采集设备与计算单元通信连接；
其中，计算单元被配置为：
控制投影设备向被测物体投射结构光，所述投影设备按照计算单元设置的预设亮度控制参数向被测物体投射结构光；
控制采集设备在不同预设亮度控制参数下采集被测物体的至少两组2D图像，且每组2D图像包括至少一张2D图像；
接收所述采集设备采集的被测物体的至少两组2D图像；
创建与每组2D图像对应的预定义图像；
根据预设阈值参数标记所述预定义图像中的码值状态，得到标记图像；
所述码值状态与每组2D图像中像素点状态相对应，即码值状态与构成每组2D图像中的每一张2D图像中像素点状态相对应，若同一个像素点在每一张2D图像中均为有效，则该像素点在标记图像中属于码值状态标记为有效的码值状态标记区域；若同一个像素点在某一张2D图像中为过曝光或欠曝光，则该像素点在标记图像中属于码值状态标记为无效的码值状态标记区域；
对所述标记图像中的码值状态标记区域进行3D点云重建，得到与所述标记图像对应的点云图像；
计算每一个所述点云图像的评价权重，所述评价权重通过对不同预设亮度控制参数下得到的所述2D图像质量评价指标和所述点云质量评价指标进行计算得到，所述2D图像质量评价指标通过对每组2D图像进行质量评价获得，所述点云质量评价指标通过对每一个所述点云图像进行质量评价获得；
将符合预设范围的评价权重所对应的点云图像作为输出点云。
2.根据权利要求1所述的一种基于高动态范围成像的点云融合系统，其特征在于，计算每一个所述点云图像的评价权重，包括：
计算2D图像质量评价归一值；
计算点云质量评价归一值；
将所述2D图像质量评价归一值和所述点云质量评价归一值进行加权处理，得到评价权重。
3.根据权利要求2所述的一种基于高动态范围成像的点云融合系统，其特征在于，计算2D图像质量评价归一值，包括：
计算2D图像质量评价指标，所述2D图像质量评价指标通过对有效像素点进行质量评价得到，所述有效像素点是每组2D图像中像素点状态均为正常曝光的像素点；
对不同预设亮度控制参数下得到的2D图像质量评价指标进行归一化处理，得到2D图像质量评价归一值。
4.根据权利要求2所述的一种基于高动态范围成像的点云融合系统，其特征在于，计算点云质量评价归一值，包括：
计算点云质量评价指标，所述点云质量评价指标通过对每一个所述点云图像中的有效点云进行质量评价得到，所述有效点云通过对有效区域进行3D点云重建得到，所述有效区域是标记图像中码值状态标记为有效的区域；
预设亮度控制参数对不同预设亮度控制参数下得到的点云质量评价指标进行归一化处理，得到点云质量评价归一值。
5.根据权利要求1所述的一种基于高动态范围成像的点云融合系统，其特征在于，根据预设阈值参数标记所述预定义图像中的码值状态，得到标记图像，包括：
若所述每组2D图像中像素点的灰度值小于第一预设阈值，则在所述预定义图像中将该像素点对应的码值状态标记为过曝光，码值状态标记区域在所述标记图像中为过曝光区域；
若所述每组2D图像中像素点的灰度值大于第二预设阈值，则在所述预定义图像中将该像素点对应的码值状态标记为欠曝光，码值状态标记区域在所述标记图像中为欠曝光区域；
若所述每组2D图像中像素点的灰度值大于第一预设阈值，且小于第二预设阈值，则在所述预定义图像中将该像素点对应的码值状态标记为有效，码值状态标记区域在所述标记图像中为有效区域。
6.根据权利要求3所述的一种基于高动态范围成像的点云融合系统，其特征在于，计算2D图像质量评价指标，包括：
通过比较2D图像的灰度信息与预设阈值参数，对所述2D图像进行质量评价。
7.根据权利要求6所述的一种基于高动态范围成像的点云融合系统，其特征在于，通过比较2D图像的灰度信息与预设阈值参数，对所述2D图像进行质量评价，包括：
若所述2D图像中像素点的灰度信息大于第三预设阈值，且小于第四预设阈值，则2D图像质量评价指标通过该像素点的灰度信息与255的比值得到；
若所述2D图像中像素点的灰度信息小于第三预设阈值，或大于第四预设阈值，则2D图像质量评价指标为0。
8.根据权利要求1-7任意一项所述的一种基于高动态范围成像的点云融合系统，其特征在于，将符合预设范围的评价权重所对应的点云图像作为输出点云，包括：
将所述预设范围内的最大评价权重所对应的点云图像直接作为输出点云；
将所述预设范围内的至少两个评价权重所对应的点云图像进行融合后，将融合后的点云图像作为输出点云。
9.一种基于高动态范围成像的点云融合方法，其特征在于，包括：
接收采集设备在不同结构光下采集得到的被测物体的至少两组2D图像，且每组2D图像中包括至少一张2D图像，不同结构光通过投影设备按照计算单元设置的不同预设亮度控制参数向被测物体投射；
创建与每组2D图像对应的预定义图像；
根据预设阈值参数标记所述预定义图像中的码值状态，得到标记图像；
所述码值状态与每组2D图像中像素点状态相对应，即码值状态与构成每组2D图像中的每一张2D图像中像素点状态相对应，若同一个像素点在每一张2D图像中均为有效，则该像素点在标记图像中属于码值状态标记为有效的码值状态标记区域；若同一个像素点在某一张2D图像中为过曝光或欠曝光，则该像素点在标记图像中属于码值状态标记为无效的码值状态标记区域；
对所述标记图像中的码值状态标记区域进行3D点云重建，得到与所述标记图像对应的点云图像；
计算每一个所述点云图像的评价权重，所述评价权重通过对不同预设亮度控制参数下得到的所述2D图像质量评价指标和所述点云质量评价指标进行计算得到，所述2D图像质量评价指标通过对每组2D图像进行质量评价获得，所述点云质量评价指标通过对每一个所述点云图像进行质量评价获得；
将符合预设范围的评价权重所对应的点云图像作为输出点云。
10.根据权利要求9所述的一种基于高动态范围成像的点云融合方法，其特征在于，计算每一个所述点云图像的评价权重，包括：
计算2D图像质量评价归一值；
计算点云质量评价归一值；
将所述2D图像质量评价归一值和所述点云质量评价归一值进行加权处理，得到评价权重。
11.根据权利要求10所述的一种基于高动态范围成像的点云融合方法，其特征在于，计算2D图像质量评价归一值，包括：
计算2D图像质量评价指标，所述2D图像质量评价指标通过对有效像素点进行质量评价得到，所述有效像素点是每组2D图像中像素点状态均为正常曝光的像素点；
对不同预设亮度控制参数下得到的2D图像质量评价指标进行归一化处理，得到2D图像质量评价归一值。
12.根据权利要求10所述的一种基于高动态范围成像的点云融合方法，其特征在于，计算点云质量评价归一值，包括：
计算点云质量评价指标，所述点云质量评价指标通过对每一个所述点云图像中的有效点云进行质量评价得到，所述有效点云通过对有效区域进行3D点云重建得到，所述有效区域是标记图像中码值状态标记为有效的区域；
对不同预设亮度控制参数下得到的点云质量评价指标进行归一化处理，得到点云质量评价归一值。
13.根据权利要求9所述的一种基于高动态范围成像的点云融合方法，其特征在于，根据预设阈值参数标记所述预定义图像中的码值状态，得到标记图像，包括：
若所述每组2D图像中像素点的灰度值小于第一预设阈值，则在所述预定义图像中将该像素点对应的码值状态标记为过曝光，码值状态标记区域在所述标记图像中为过曝光区域；
若所述每组2D图像中像素点的灰度值大于第二预设阈值，则在所述预定义图像中将该像素点对应的码值状态标记为欠曝光，码值状态标记区域在所述标记图像中为欠曝光区域；
若所述每组2D图像中像素点的灰度值大于第一预设阈值，且小于第二预设阈值，则在所述预定义图像中将该像素点对应的码值状态标记为有效，码值状态标记区域在所述标记图像中为有效区域。
14.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求9-13任意一项所述一种基于高动态范围成像的点云融合方法的步骤。
15.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求9-13任意一项所述一种基于高动态范围成像的点云融合方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111375739.7A CN114037801B (zh) | 2021-11-19 | 2021-11-19 | 一种基于高动态范围成像的点云融合系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111375739.7A CN114037801B (zh) | 2021-11-19 | 2021-11-19 | 一种基于高动态范围成像的点云融合系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114037801A CN114037801A (zh) | 2022-02-11 |
| CN114037801B true CN114037801B (zh) | 2024-04-05 |
Family
ID=80138364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111375739.7A Active CN114037801B (zh) | 2021-11-19 | 2021-11-19 | 一种基于高动态范围成像的点云融合系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114037801B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113205593A (zh) * | 2021-05-17 | 2021-08-03 | 湖北工业大学 | 一种基于点云自适应修复的高反光表面结构光场三维重建方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2569656B (en) * | 2017-12-22 | 2020-07-22 | Zivid Labs As | Method and system for generating a three-dimensional image of an object |
| US11906660B2 (en) * | 2019-08-30 | 2024-02-20 | Nvidia Corporation | Object detection and classification using LiDAR range images for autonomous machine applications |
-
2021
- 2021-11-19 CN CN202111375739.7A patent/CN114037801B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113205593A (zh) * | 2021-05-17 | 2021-08-03 | 湖北工业大学 | 一种基于点云自适应修复的高反光表面结构光场三维重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于数字微镜器件的高光面物体三维测量方法;邢威;张福民;冯维;曲兴华;;光学学报;20171210(12);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114037801A (zh) | 2022-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3496383A1 (en) | Image processing method, apparatus and device | |
| US8896625B2 (en) | Method and system for fusing images | |
| CN107977940B (zh) | 背景虚化处理方法、装置及设备 | |
| CN108174118B (zh) | 图像处理方法、装置和电子设备 | |
| CN108055452B (zh) | 图像处理方法、装置及设备 | |
| CN105208281B (zh) | 一种夜景拍摄方法及装置 | |
| CN108111749B (zh) | 图像处理方法和装置 | |
| CN110619593B (zh) | 一种基于动态场景的双曝光视频成像系统 | |
| CN110766639B (zh) | 图像增强方法、装置、移动设备及计算机可读存储介质 | |
| CN110248105B (zh) | 一种图像处理方法、摄像机及计算机存储介质 | |
| JP6218389B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2016134919A (ja) | 輝度分布と動きとの間のトレードオフに基づいてシーンのｈｄｒ画像を生成する方法 | |
| CN108024057B (zh) | 背景虚化处理方法、装置及设备 | |
| CN111742545A (zh) | 曝光控制方法、装置与可移动平台 | |
| CN104052933A (zh) | 动态范围模式的判定方法及其图像获取装置 | |
| CN108616700B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN107800971B (zh) | 全景拍摄的自动曝光控制处理方法、装置及设备 | |
| CN110809146A (zh) | 一种图像对比度调整方法、装置、终端设备及存储介质 | |
| JP2016086246A (ja) | 画像処理装置及び方法、及び撮像装置 | |
| CN110047060A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN112188175A (zh) | 拍摄设备及图像处理方法 | |
| CN111127367A (zh) | 人脸图像处理的方法、装置及系统 | |
| CN109325905B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| CN114037801B (zh) | 一种基于高动态范围成像的点云融合系统及方法 | |
| JP2020102059A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |