CN112927154B - ToF装置、深度相机以及灰度图像增强方法 - Google Patents
ToF装置、深度相机以及灰度图像增强方法 Download PDFInfo
- Publication number
- CN112927154B CN112927154B CN202110245458.3A CN202110245458A CN112927154B CN 112927154 B CN112927154 B CN 112927154B CN 202110245458 A CN202110245458 A CN 202110245458A CN 112927154 B CN112927154 B CN 112927154B
- Authority
- CN
- China
- Prior art keywords
- value
- image
- gray
- pixel point
- enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000002310 reflectometry Methods 0.000 claims abstract description 26
- 238000010606 normalization Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开一种ToF装置、深度相机及灰度图像增强方法，其中灰度图像增强方法包括以下步骤：提供待增强的灰度图像，以及与所述灰度图像对应的深度图像；根据所述深度图像以及灰度图像获取各个像素点对应的相对反射率；根据所述相对反射率获取各个像素点的相对亮度值；根据所述相对亮度值获取增强值；根据所述增强值对所述灰度图像进行图像增强。
Description
技术领域
本申请涉及ToF领域，具体涉及ToF装置、深度相机以及灰度图像增强方法。
背景技术
飞行时间(ToF，Time of Flight)相机通过传感器发出的脉冲信号从发射到接收的时间间隔或激光往返被测物体一次所产生的相位来实现对被测物体的距离、三维结构或三维轮廓的测量。ToF装置可同时获得灰度图像和距离图像，广泛应用在体感控制、行为分析、监控、自动驾驶、人工智能、机器视觉和自动3D建模等诸多领域。
人们使用ToF装置摄制目标区域的图像时，经常需要对获取到的灰度图像进行图像分析，然而，获取到的图像很有可能出现对比度低的情况，因此，对图像进行增强处理，以调节对比度，使得对比度更适应人们的观看或者后续分析，是本领域亟待解决的问题。
发明内容
鉴于此，本申请提供一种ToF装置、深度相机以及灰度图像增强方法，能够对图像进行增强处理，以调节对比度，使得对比度更适应人们的观看或者后续分析。
本申请提供一种灰度图像增强方法，包括以下步骤：提供待增强的灰度图像，以及与所述灰度图像对应的深度图像；根据所述深度图像以及灰度图像获取各个像素点对应的相对反射率；根据所述相对反射率获取各个像素点的相对亮度值；根据所述相对亮度值获取增强值；根据所述增强值对所述灰度图像进行图像增强。
可选的，依照以下等式获取所述相对反射率：
IR_COR1＝IR*depth2；
其中IR_COR 1为所述相对反射率，IR为所述像素点的灰度值，depth为所述像素点的深度值。
可选的，根据所述相对反射率获取各个像素点的相对亮度值时，包括以下步骤：获取所述灰度图像中所有像素点的相对反射率的平均值；获取所述灰度图像中所有像素点的相对反射率与所述平均值的比值，作为所述像素点的相对亮度值。
可选的，根据所述相对亮度值获取增强值时，包括以下步骤：比较所有像素点的相对亮度值与预设阈值，并获取像素点集，所述像素点集内的像素点的相对亮度值均大于所述预设阈值；获取所述像素点集内的像素点的相对亮度值与预设阈值的差值和，并将所述像素点集内的像素点的相对亮度值替换为所述预设阈值；根据所述差值和获取增强值。
可选的，根据所述差值和，获取所述增强值时，包括以下步骤：获取所述像素点集内的像素点的个数；根据所述个数获取所述差值和的均值，并以所述均值作为所述像素点的增强值。
可选的，根据所述增强值对所述灰度图像进行图像增强时，包括以下步骤：获取所述相对亮度值与所述增强值的和值，并将该和值赋给所述图像中的相应像素点，作为所述像素点的灰度值。
可选的，还包括以下步骤：对增强后的图像进行归一化处理。
可选的，所述归一化处理包括以下步骤：获取增强后的图像中像素点的最大灰度值；获取各个增强后的图像中像素点的灰度值与所述最大灰度值的比值，将该比值转换为灰度值后赋给对应的像素点，作为所述像素点的灰度值。
本申请还提供了一种ToF装置，包括：ToF发射器件，用于发射检测光信号；传感阵列，用于接收外界反射的反射光信号；控制器，连接至所述ToF发射器件以及传感阵列，用于根据所述检测光信号以及所述反射光信号获取待测区域的深度信息和灰度信息，以及用于执行计算机程序；存储器，连接至所述控制器，所述存储器存储有能够被所述控制器执行的计算机程序，且所述计算机程序被所述控制器执行时，能够执行如权利要求1至8中任一项所述的灰度图像增强方法。
本申请还提供了一种深度相机，包括如所述的ToF装置。
本申请的ToF装置、深度相机以及灰度图像增强方法能够对深度相机获取到的灰度图像进行增强，使得灰度图像的各个像素点的亮度得到加强，更适应人们的观看或者后续分析。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一实施例中所述ToF装置的结构示意图。
图2为一实施例中所述灰度图像增强方法的步骤流程示意图。
图3为一实施例中所述灰度图像增强方法的步骤流程示意图。
图4为一实施例中所述灰度图像增强方法的步骤流程示意图。
具体实施方式
为了克服上述问题，本申请提出了一种ToF装置、深度相机以及灰度图像增强方法。以下结合附图和实施例，对本申请中的ToF装置、深度相机以及灰度图像增强方法进行进一步的说明。
请参阅图1，为一实施例中所述ToF装置的结构示意图。
本申请还提供了一种ToF装置，所述ToF装置包括ToF发射器件1、传感阵列2、控制器3以及存储器4。
其中，所述ToF发射器件1用于发射检测光信号，该检测光信号能够用于检测待测区域的深度值。
所述传感阵列2包括多个传感器阵元，所述多个传感器阵元排布成阵元，从而构成所述传感阵列2，以接收外界反射的反射光信号。所述传感器阵元包括光电传感器，将接收到的光信号转换为电信号。
所述控制器3连接至所述ToF发射器件1以及传感阵列2，用于根据所述检测光信号以及所述反射光信号获取待测区域的深度信息和灰度信息，以及用于执行计算机程序。
所述控制器3包括可编程逻辑器件、微控制器3、单片机等至少一种。实际上，也可根据需要设置所述控制器3。
所述存储器4存储有可供所述控制器3执行的计算机程序，且所述计算机程序被所述控制器3执行时，能够执行灰度图像增强方法，实现灰度图像增强。
本实施例中的ToF装置能够对深度相机获取到的灰度图像进行增强，使得灰度图像的各像素间具有更高的对比度，从而降低基于所述灰度图像进行后续分析时的分析难度。
本申请还提供了一种深度相机，包括如所述的ToF装置，因此，所述深度相机能够根据所述深度图像以及灰度图像，对拍摄的灰度图像进行增强，使最终获取到的灰度图像具有更高的对比度，以便进行后续分析。
本申请的实施例中还提供了一种灰度图像增强方法。
请参阅图2，为本申请的一实施例中所述灰度图像增强方法的步骤流程示意图。
在该实施例中，所述灰度图像增强方法包括以下步骤：
步骤S101：提供待增强的灰度图像，以及与所述灰度图像对应的深度图像。
该待增强的灰度图像以及与所述灰度图像对应的深度图像均可由所述深度相机摄制得到。所述深度相机具有图1所述的实施例中的ToF装置，ToF装置的ToF发射器件朝向目标区域发射检测光信号，并通过所述传感阵列接受该目标区域反射回来的反射光信号，由所述控制器分析所述传感阵列接收到的反射光信号形成所述灰度图像以及所述深度图像。
所述传感阵列中的每一个传感器阵元对应至所述灰度图像以及所述深度图像的一个像素点，因此所述灰度图像以及所述深度图像的分辨率与所述传感阵列中传感器阵元的密度相关。
步骤S102：根据所述深度图像以及灰度图像获取各个像素点对应的相对反射率。
研究发现，对深度相机而言，其获取到的灰度值跟距离的平方成反比。当深度相机与目标点的距离越远时，灰度值越低，而距离又与深度值直接相关，因此，可以等效为灰度值与深度值的平方呈反比，因此，对所述深度相机而言，空间中某一点的灰度值与所述深度值的平方的乘积为定值，该定值可用来表示该点的相对反射率。
当某白点A被拍摄时，对应至灰度图像中的第一像素点，该第一像素点的灰度值为IR1。该白点A还对应至深度图像中的第二像素点，且该第二像素点的深度值为depth1。该点A的相对反射率为IR1*depth12。
当改变所述点A与所述深度相机的距离，使得所述深度值变大为depth2时，所述灰度值会跟随变小至IR2，并且仍等于IR1*depth12。
在一种实施例中，可依照以下等式获取所述相对反射率：
IR_COR1＝IR*depth2；
其中IR_COR 1为所述相对反射率，IR为所述像素点的灰度值，depth为所述像素点的深度值。
步骤S103：根据所述相对反射率获取各个像素点的相对亮度值。
具体的，在图3所示的实施例中，根据所述相对反射率获取各个像素点的相对亮度值时，包括以下步骤：
步骤S1031：获取所述灰度图像中所有像素点的相对反射率的平均值。
在一些实施例中，获取所述灰度图像中所有像素点的相对反射率的平均值时，先获取所述灰度图像中所有像素点的相对反射率的加和，之后将所述加和与所述像素点的个数相除，从而获取所述灰度图像中所有像素点的相对反射率的平均值。
步骤S1032：获取所述灰度图像中所有像素点的相对反射率与所述平均值的比值，作为所述像素点的相对亮度值。
这样，所述灰度图像中的每一个像素点至少具有四个参数，包括该像素点的灰度值、深度值、相对反射率以及所述相对亮度值。
步骤S104：根据所述相对亮度值获取增强值。
具体的，在图4所示的实施例中，根据所述相对亮度值获取增强值时，包括以下步骤：
步骤S1041：比较所有像素点的相对亮度值与预设阈值，并获取像素点集，所述像素点集内的像素点的相对亮度值均大于所述预设阈值。
本领域的技术人员可以根据需要设置所述预设阈值。设置所述预设阈值，是为了防止所述灰度图像的像素点中，出现过高的相对亮度值，不便于后续处理。
在图4所示的实施例中，先将所述灰度图像中所有的像素点的相对亮度值与所述预设阈值进行比较，并将相对亮度值均大于所述预设阈值的像素点分离出来，形成一个像素点集以方便之后的处理，实际上，在其他的实施例中，也可不将这些像素点形成所述像素点集，而是直接对其进行运算处理，以节省运算步骤。
步骤S1042：获取所述像素点集内的像素点的相对亮度值与预设阈值的差值和，并将所述像素点集内的像素点的相对亮度值替换为所述预设阈值。
在图4所述的实施例中，被摄制的目标区域为漫反射状态，若所述目标区域存在镜面反射，则会存在部分像素点的相对亮度值过高，此处设置所述预设阈值，将镜面反射的区域对应的像素点的相对亮度值拉低，以防止像素点高亮造成图片亮度差值过大。
步骤S1043：根据所述差值和获取增强值。
具体的，根据所述差值和获取所述增强值时，包括以下步骤：
获取所述像素点集内的像素点的个数；
根据所述个数获取所述差值和的均值，并以所述均值作为所述像素点的增强值。
步骤S105：根据所述增强值对所述灰度图像进行图像增强。
根据所述增强值对所述灰度图像进行图像增强时，包括以下步骤：
获取所述相对亮度值与所述增强值的和值，并将该和值赋给所述图像中的相应像素点，作为所述像素点的灰度值。
在所述灰度图像进行图像增强后，各个像素点的灰度值相较于原始的灰度值更加趋同，因此最终呈现出来的增强后的灰度图像中，各个像素点之间的灰度值差较小，可能会影响后续的观察分析，因此在一些其他的实施例中，可以通过归一化处理，加大各个像素点之间的灰度值差，从而在增强所述灰度图像后，增大各个像素点间的对比度。
因此，在这些做归一化处理的实施例中，在进行灰度图像的增强时，还包括以下步骤：对增强后的图像进行归一化处理。这里的归一化处理有助于所述灰度图像的呈现。
在这些可以进行归一化处理的实施例中，所述归一化处理包括以下步骤：获取增强后的图像中像素点的最大灰度值；获取各个增强后的图像中像素点的灰度值与所述最大灰度值的比值，将该比值转换为灰度值后赋给对应的像素点，作为所述像素点的灰度值。
具体的，归一化处理后，获得的比值为小于等于1的正数，将该比值乘以255，即可将该比值转换为0至255的灰度值，加大各个像素点之间的灰度值差，增大各个像素点间的对比度。
所述灰度图像增强方法能够根据所述深度图像以及灰度图像，对拍摄的灰度图像进行增强，使最终获取到的灰度图像具有更高的对比度，以便进行后续分析。
以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，例如各实施例之间技术特征的相互结合，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (8)
1.一种灰度图像增强方法，其特征在于，包括以下步骤：
提供待增强的灰度图像，以及与所述灰度图像对应的深度图像；根据所述深度图像以及灰度图像获取各个像素点对应的相对反射率；依照以下等式获取所述相对反射率：IR_COR1＝IR*depth2；其中IR_COR 1为所述相对反射率，IR为所述像素点的灰度值，depth为所述像素点的深度值；
根据所述相对反射率获取各个像素点的相对亮度值；
根据所述相对亮度值获取增强值；根据所述相对亮度值获取增强值时，包括以下步骤：比较所有像素点的相对亮度值与预设阈值，并获取像素点集，所述像素点集内的像素点的相对亮度值均大于所述预设阈值；获取所述像素点集内的像素点的相对亮度值与预设阈值的差值和，并将所述像素点集内的像素点的相对亮度值替换为所述预设阈值；根据所述差值和获取增强值；
根据所述增强值对所述灰度图像进行图像增强。
2.根据权利要求1所述的灰度图像增强方法，其特征在于，根据所述相对反射率获取各个像素点的相对亮度值时，包括以下步骤：
获取所述灰度图像中所有像素点的相对反射率的平均值；
获取所述灰度图像中所有像素点的相对反射率与所述平均值的比值，作为所述像素点的相对亮度值。
3.根据权利要求1所述的灰度图像增强方法，其特征在于，根据所述差值和，获取所述增强值时，包括以下步骤：
获取所述像素点集内的像素点的个数；
根据所述个数获取所述差值和的均值，并以所述均值作为所述像素点的增强值。
4.根据权利要求1所述的灰度图像增强方法，其特征在于，根据所述增强值对所述灰度图像进行图像增强时，包括以下步骤：
获取所述相对亮度值与所述增强值的和值，并将该和值赋给所述图像中的相应像素点，作为所述像素点的灰度值。
5.根据权利要求1所述的灰度图像增强方法，其特征在于，还包括以下步骤：
对增强后的图像进行归一化处理。
6.根据权利要求5所述的灰度图像增强方法，其特征在于，所述归一化处理包括以下步骤：
获取增强后的图像中像素点的最大灰度值；
获取各个增强后的图像中像素点的灰度值与所述最大灰度值的比值，将该比值转换为灰度值后赋给对应的像素点，作为所述像素点的灰度值。
7.一种ToF装置，其特征在于，包括：
ToF发射器件，用于发射检测光信号；
传感阵列，用于接收外界反射的反射光信号；
控制器，连接至所述ToF发射器件以及传感阵列，用于根据所述检测光信号以及所述反射光信号获取待测区域的深度信息和灰度信息，以及用于执行计算机程序；
存储器，连接至所述控制器，所述存储器存储有能够被所述控制器执行的计算机程序，且所述计算机程序被所述控制器执行时，能够执行如权利要求1至6中任一项所述的灰度图像增强方法。
8.一种深度相机，其特征在于，包括如权利要求7所述的ToF装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110245458.3A CN112927154B (zh) | 2021-03-05 | 2021-03-05 | ToF装置、深度相机以及灰度图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110245458.3A CN112927154B (zh) | 2021-03-05 | 2021-03-05 | ToF装置、深度相机以及灰度图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112927154A CN112927154A (zh) | 2021-06-08 |
| CN112927154B true CN112927154B (zh) | 2023-06-02 |
Family
ID=76173464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110245458.3A Active CN112927154B (zh) | 2021-03-05 | 2021-03-05 | ToF装置、深度相机以及灰度图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112927154B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7840066B1 (en) * | 2005-11-15 | 2010-11-23 | University Of Tennessee Research Foundation | Method of enhancing a digital image by gray-level grouping |
| CN102034230A (zh) * | 2010-12-17 | 2011-04-27 | 清华大学 | 增强图像可见性的方法 |
| CN104992416A (zh) * | 2015-06-30 | 2015-10-21 | 小米科技有限责任公司 | 图像增强方法和装置、智能设备 |
| CN106951905A (zh) * | 2017-02-16 | 2017-07-14 | 江苏大学 | 一种基于tof相机的树上苹果识别与定位方法 |
| CN110211061A (zh) * | 2019-05-20 | 2019-09-06 | 清华大学 | 基于神经网络的单深度相机深度图实时增强方法及装置 |
| CN112130155A (zh) * | 2020-09-29 | 2020-12-25 | 中国船舶重工集团公司第七二四研究所 | 一种导航声纳灰度图像时变增强方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6112879B2 (ja) * | 2013-01-28 | 2017-04-12 | オリンパス株式会社 | 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム |
| RU2013106513A (ru) * | 2013-02-14 | 2014-08-20 | ЭлЭсАй Корпорейшн | Способ и устройство для улучшения изображения и подтверждения границ с использованием по меньшей мере одного дополнительного изображения |
-
2021
- 2021-03-05 CN CN202110245458.3A patent/CN112927154B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7840066B1 (en) * | 2005-11-15 | 2010-11-23 | University Of Tennessee Research Foundation | Method of enhancing a digital image by gray-level grouping |
| CN102034230A (zh) * | 2010-12-17 | 2011-04-27 | 清华大学 | 增强图像可见性的方法 |
| CN104992416A (zh) * | 2015-06-30 | 2015-10-21 | 小米科技有限责任公司 | 图像增强方法和装置、智能设备 |
| CN106951905A (zh) * | 2017-02-16 | 2017-07-14 | 江苏大学 | 一种基于tof相机的树上苹果识别与定位方法 |
| CN110211061A (zh) * | 2019-05-20 | 2019-09-06 | 清华大学 | 基于神经网络的单深度相机深度图实时增强方法及装置 |
| CN112130155A (zh) * | 2020-09-29 | 2020-12-25 | 中国船舶重工集团公司第七二四研究所 | 一种导航声纳灰度图像时变增强方法 |
Non-Patent Citations (1)
| Title |
|---|
| NOVEL GRAY SCALE CONVERSION TECHNIQUES BASED ON PIXEL DEPTH;Debasish Biswas，et al.;《 Journal of Global Research in Computer Science》;20110630;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112927154A (zh) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10824906B2 (en) | Image processing device, non-transitory computer readable storage medium, and image processing system | |
| CN107111872B (zh) | 信息处理装置、信息处理方法、及存储介质 | |
| US20170256036A1 (en) | Automatic microlens array artifact correction for light-field images | |
| US10489928B2 (en) | Image processing system for inspecting object distance and dimensions using a hand-held camera with a collimated laser | |
| CN106650614B (zh) | 一种动态校准方法和装置 | |
| US20200382760A1 (en) | Method and System for Automatic Exposure Determination for High-Resolution Structured Light 3D Imaging | |
| US20190128806A1 (en) | Reflection characteristic measurement apparatus, machining system, reflection characteristic measurement method, object machining method, and non-transitory computer-readable storage medium | |
| CN112927154B (zh) | ToF装置、深度相机以及灰度图像增强方法 | |
| US10628951B2 (en) | Distance measurement system applicable to different reflecting surfaces and computer system | |
| US10748019B2 (en) | Image processing method and electronic apparatus for foreground image extraction | |
| KR20150068884A (ko) | 반도체 검사 방법, 반도체 검사 장치 및 반도체 제조 방법 | |
| EP4010873B1 (en) | Use of an hdr image in a visual inspection process | |
| KR102064695B1 (ko) | 불균일 평가 방법 및 불균일 평가 장치 | |
| JP2019148940A5 (ja) | 学習処理方法 | |
| CN109661683B (zh) | 基于图像内容的投射结构光方法、深度检测方法及结构光投射装置 | |
| US9060114B2 (en) | Image processing device and image processing method for executing image processing to detect object in image | |
| US4984075A (en) | Contour detecting apparatus | |
| JP6412372B2 (ja) | 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム | |
| US20160284068A1 (en) | Method for correcting an image of at least one object presented at a distance in front of an imaging device and illuminated by a lighting system and an image pickup system for implementing said method | |
| JP2009017158A (ja) | カメラ検査装置 | |
| JP6482589B2 (ja) | カメラ校正装置 | |
| US20180152649A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and storage medium | |
| CN111536895B (zh) | 外形识别装置、外形识别系统以及外形识别方法 | |
| CA2996173C (en) | Image processing system for inspecting object distance and dimensions using a hand-held camera with a collimated laser | |
| TWI655412B (zh) | 發光源檢測系統與方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |