CN115174774A - 一种深度图像的压缩方法、装置、设备及存储介质 - Google Patents

一种深度图像的压缩方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115174774A
CN115174774A CN202210758543.4A CN202210758543A CN115174774A CN 115174774 A CN115174774 A CN 115174774A CN 202210758543 A CN202210758543 A CN 202210758543A CN 115174774 A CN115174774 A CN 115174774A
Authority
CN
China
Prior art keywords
pixel
depth image
target depth
dimensional
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210758543.4A
Other languages
English (en)
Other versions
CN115174774B (zh
Inventor
陈冉
陈智超
陈苗
查文陆
庞微
刘猛
韩超众
范荣
杜培栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shangfei Intelligent Technology Co ltd
Original Assignee
Shanghai Aircraft Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Aircraft Manufacturing Co Ltd filed Critical Shanghai Aircraft Manufacturing Co Ltd
Priority to CN202210758543.4A priority Critical patent/CN115174774B/zh
Publication of CN115174774A publication Critical patent/CN115174774A/zh
Application granted granted Critical
Publication of CN115174774B publication Critical patent/CN115174774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种深度图像的压缩方法、装置、设备及存储介质。该方法包括获取目标深度图像，并获取目标深度图像中每个像素点的深度值和二维像素坐标；获取目标深度图像中每个像素点在世界空间中的三维世界坐标；进而根据世界空间中的预设限制区域，对目标深度图像进行像素清零处理，得到处理后目标深度图像；逐行遍历处理后目标深度图像中的像素点，根据每一行像素点中的各像素点与相邻后序像素点之间的深度差，对满足压缩条件的多个像素点进行压缩，得到压缩后目标深度图像。本发明实施例的技术方案提供一种深度图像的压缩方法，实现了单帧数据发送，具有很好的实时性，实现深度图像数据在三维实时重建场景中快速传输。

Description

一种深度图像的压缩方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种深度图像的压缩方法、装置、设备及存储介质。
背景技术
随着RGBD相机和计算机视觉技术的发展，三维重建技术展现了广阔的应用前景。其中，三维实时重建场景将会在消费娱乐、远程协作等领域实现创新应用。
一种三维实时重建的实现过程是，利用RGBD相机进行彩色图像(RGB)和深度图像(D)的采集，然后通过压缩、传输、解压、点云生成和渲染等过程，完成对三维物体或环境的逆向恢复和重构。目前深度图像数据传输方案不能满足三维实时重建场景的超低延迟的要求(从开始处理图像到展示给用户的延迟100ms左右)。
发明内容
本发明提供了一种深度图像的压缩方法、装置、设备及存储介质，以提供一种深度图像的压缩方法，实现了单帧数据发送，具有很好的实时性，实现深度图像数据在三维实时重建场景中快速传输。
根据本发明的一方面，提供了一种深度图像的压缩方法，该方法包括：
获取相机针对目标场景所采集的目标深度图像，并获取所述目标深度图像中每个像素点的深度值和二维像素坐标；
根据所述深度值、所述二维像素坐标、相机的内参矩阵以及相机的坐标变换矩阵，获取所述目标深度图像中每个像素点在世界空间中的三维世界坐标；
根据所述世界空间中的预设限制区域以及各像素点的三维世界坐标，对所述目标深度图像进行像素清零处理，得到处理后目标深度图像；
逐行遍历所述处理后目标深度图像中的像素点，根据每一行像素点中的各像素点与相邻后序像素点之间的深度差，对满足压缩条件的多个像素点进行压缩，得到压缩后目标深度图像。
根据本发明的另一方面，提供了一种深度图像的压缩装置，该装置包括：
目标深度图像信息获取模块，用于获取相机针对目标场景所采集的目标深度图像，并获取所述目标深度图像中每个像素点的深度值和二维像素坐标；
三维世界坐标获取模块，用于根据所述深度值、所述二维像素坐标、相机的内参矩阵以及相机的坐标变换矩阵，获取所述目标深度图像中每个像素点在世界空间中的三维世界坐标；
处理后目标深度图像获取模块，用于根据所述世界空间中的预设限制区域以及各像素点的三维世界坐标，对所述目标深度图像进行像素清零处理，得到处理后目标深度图像；
压缩后目标深度图像获取模块，用于逐行遍历所述处理后目标深度图像中的像素点，根据每一行像素点中的各像素点与相邻后序像素点之间的深度差，对满足压缩条件的多个像素点进行压缩，得到压缩后目标深度图像。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的深度图像的压缩方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的深度图像的压缩方法。
本发明实施例的技术方案，通过获取相机针对目标场景所采集的目标深度图像，并获取目标深度图像中每个像素点的深度值和二维像素坐标；根据深度值、二维像素坐标、相机的内参矩阵以及相机的坐标变换矩阵，获取目标深度图像中每个像素点在世界空间中的三维世界坐标；根据世界空间中的预设限制区域以及各像素点的三维世界坐标，对目标深度图像进行像素清零处理，得到处理后目标深度图像；逐行遍历处理后目标深度图像中的像素点，根据每一行像素点中的各像素点与相邻后序像素点之间的深度差，对满足压缩条件的多个像素点进行压缩，得到压缩后目标深度图像的技术手段，解决了现有深度图像数据传输方案在三维实时重建场景中不能满足超低延迟的问题，提供一种深度图像的压缩方法，实现了单帧数据发送，具有很好的实时性，实现深度图像数据在三维实时重建场景中快速传输。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供了一种深度图像的压缩方法的流程图；
图2为本发明实施例二提供的一种深度图像的压缩装置的结构示意图；
图3是实现本发明实施例的深度图像的压缩方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供了一种深度图像的压缩方法的流程图，本实施例可适用于对三维实时重建场景的深度图像数据进行传输的情况，该方法可以由深度图像的压缩装置来执行，该装置可以采用硬件和/或软件的形式实现，该装置可配置于具有图像处理功能的处理器或服务器中。如图1所示，该方法包括：
S110、获取相机针对目标场景所采集的目标深度图像，并获取所述目标深度图像中每个像素点的深度值和二维像素坐标。
其中，相机可以是能够采集深度图像的相机，典型的，例如RGBD相机。目标深度图像可以是一帧待处理的深度图像。
在本实施例中，可以获取RGBD相机针对目标场景的录像，从中获取一帧待处理的深度图像作为目标深度图像，并获取目标深度图像中每个像素点的深度值和像素坐标值。
S120、根据所述深度值、所述二维像素坐标、相机的内参矩阵以及相机的坐标变换矩阵，获取所述目标深度图像中每个像素点在世界空间中的三维世界坐标。
在本实施例中，根据目标深度图像中每个像素点的深度值和二维像素坐标，通过相机的内参矩阵以及从相机坐标系到世界坐标系的坐标变换矩阵，得到目标深度图像中每个像素点在世界空间中的三维世界坐标。
在本实施例的一个可选实施方式中，具体可以根据所述深度值、所述二维像素坐标以及相机的内参矩阵，获取所述目标深度图像中每个像素点在相机空间中的三维像素坐标；根据所述三维像素坐标以及相机的坐标变换矩阵，获取所述目标深度图像中每个像素点在世界空间中的三维世界坐标。
示例性的，根据目标深度图像中的某个像素点深度值Zd，二维像素坐标(Xd，Yd)，相机的内参矩阵C，通过
Figure BDA0003720348200000051
反推出像素点在相机空间的三维像素坐标(Xc，Yc，Zc)。进一步地，利用相机的坐标变换矩阵M，通过
Figure BDA0003720348200000052
将像素点在相机空间的三维像素坐标变换为在世界空间中的坐标(Xw，Yw，Zw)。
S130、根据所述世界空间中的预设限制区域以及各像素点的三维世界坐标，对所述目标深度图像进行像素清零处理，得到处理后目标深度图像。
其中，预设限制区域可以指一个世界空间的范围。
在本实施例中，可以将各像素点的三维世界坐标与在世界空间中预设的限制区域进行匹配，从而对目标深度图像进行像素清零处理，得到处理后的目标深度图像。
在本实施例的一个可选实施方式中，根据所述世界空间中的预设限制区域以及各像素点的三维世界坐标，对所述目标深度图像进行像素清零处理，具体可以根据所述目标深度图像中各像素点的三维世界坐标，将所述目标深度图像与预设限制区域进行匹配，对目标深度图像中不位于预设限制区域外的像素点进行第一次像素清零，获取目标深度图像的第一清零结果。
示例性的，在世界空间中预设限制区域T＝({Tx}，{Ty}，{Tz})，将目标深度图像中各像素点的三维世界坐标与T匹配，对目标深度图像中不在区域内的背景像素点进行像素清零，具体的：
Figure BDA0003720348200000061
则Xd＝0，Yd＝0。
在上述实施方式的基础上，在获取目标深度图像的第一清零结果之后，还可以包括：根据与所述目标深度图像对应的B帧图像及第一深度差门限值，对所述第一清零结果进行第二次像素清零，获取第二清零结果。
其中，第一深度差门限值可以是目标深度图像与对应B帧图像中各像素点对之间深度差的门限值。在本实施例中，第一深度差门限值可以是3mm。
可选的，根据与所述目标深度图像对应的B帧图像及第一深度差门限值，对所述第一清零结果进行第二次像素清零，具体可以根据所述目标深度图像与所述B帧图像中各像素点的对应关系，获取在预设限制区域内，第一清零结果与B帧图像中每对像素点的深度差值；根据所述第一深度差门限值，从各深度差值中筛选出未超过第一深度差门限值的目标深度差值；对所述目标深度差值对应的第一清零结果中的像素点进行第二次像素清零。
在本实施例中，可以根据目标深度图像与对应B帧图像之间像素点的对应关系，在预设限制区域内，获取目标深度图像的第一清零结果与B帧图像之间每对像素点的深度差值，从而根据第一深度差门限值，将各深度差值中未超过第一深度差门限值的深度差作为目标深度差值，进一步将目标深度差值在第一清零结果中对应的像素点进行第二次像素清零处理，从而得到第二清零结果。
进一步的，在获取第二清零结果之后，还可以包括：遍历所述第二清零结果中位于预设限制区域内的像素点，通过预设滤波算法，获取与第二清零结果中位于预设限制区域内的像素点分别对应的输出像素值，实现对所述第二清零结果的去噪处理。
其中，预设滤波算法可以是双边滤波算法。具体实现原理为
Figure BDA0003720348200000071
Figure BDA0003720348200000072
其中，q代表输入像素点，p代表中心像素点；I(q)和I(p)分别代表输入像素点和中心像素点的像素值；
Figure BDA0003720348200000073
代表中心像素点的输出像素值；
Figure BDA0003720348200000074
为空间域核，Gσr为图像像素域核。
在本实施例中，可以遍历第二清零结果中位于预设限制区域内的像素点，对每个像素点，通过预设滤波算法，获取与第二清零结果中位于预设限制区域内的像素点分别对应的输出像素值，从而实现对所述第二清零结果的去噪处理。
S140、逐行遍历所述处理后目标深度图像中的像素点，根据每一行像素点中的各像素点与相邻后序像素点之间的深度差，对满足压缩条件的多个像素点进行压缩，得到压缩后目标深度图像。
在本实施例的一个可选实施方式中，根据每一行像素点中的初始像素点分别与各后续像素点之间的深度差，对满足压缩条件的像素点进行压缩，可以包括：
获取当前处理像素行，并在所述当前处理像素行中逐个遍历各像素点，检测所述当前处理像素行中是否存在可压缩连续像素序列；其中，可压缩连续像素序列中的首个像素点与每个后序像素点的深度差均小于或者等于第二深度差门限值，且所述可压缩连续像素序列中的像素点总量小于或等于数量门限值；若是，则根据可压缩连续像素序列中的像素点总量、最小深度值和各像素点与最小深度值间的差异值，形成与可压缩连续像素序列对应的压缩序列；在所述处理后目标深度图像中，使用压缩序列替换当前处理像素行中的可压缩连续像素序列进行替换。
其中，第二深度差门限值可以是16mm。可压缩连续像素序列可以指包含相似深度的像素序列。可压缩连续像素序列中的首个像素点可以是一个非零的像素点或者与前一个像素点的深度差值超过16的像素点，在当前处理像素行中确定该首个像素点后，根据首个像素点与后序像素点的深度差，以确定可压缩连续像素序列。
在本实施例中，在对目标深度图像完成像素清零及去噪处理后，可以逐行扫描处理后目标深度图像中的像素点，根据第二深度差门限值检测当前处理像素行中是否存在可压缩连续像素序列，如果存在，可以根据可压缩连续像素序列中的像素点总量、最小深度值和各像素点与最小深度值间的差异值，形成与可压缩连续像素序列对应的压缩序列；在所述处理后目标深度图像中，使用压缩序列替换当前处理像素行中的可压缩连续像素序列进行替换。
示例性的，对于一个可压缩连续像素序列(16位深度、14字节的原始数据)：2000、2010、1998、2003、2000、2001、2005，其中，最小深度值为1998，将该序列中各像素点深度值和最小深度值之间的差值、像素点总量、和最小深度值形成压缩后的序列为：7、1998、2、12、0、5、2、3、7。
本发明实施例的技术方案，通过获取相机针对目标场景所采集的目标深度图像，并获取目标深度图像中每个像素点的深度值和二维像素坐标；根据深度值、二维像素坐标、相机的内参矩阵以及相机的坐标变换矩阵，获取目标深度图像中每个像素点在世界空间中的三维世界坐标；根据世界空间中的预设限制区域以及各像素点的三维世界坐标，对目标深度图像进行像素清零处理，得到处理后目标深度图像；逐行遍历处理后目标深度图像中的像素点，根据每一行像素点中的各像素点与相邻后序像素点之间的深度差，对满足压缩条件的多个像素点进行压缩，得到压缩后目标深度图像的技术手段，解决了现有深度图像数据传输方案在三维实时重建场景中不能满足超低延迟的问题，提供一种深度图像的压缩方法，实现了单帧数据发送，具有很好的实时性，实现深度图像数据在三维实时重建场景中快速传输。
实施例二
图2为本发明实施例二提供的一种深度图像的压缩装置的结构示意图。如图2所示，该装置包括：目标深度图像信息获取模块210、三维世界坐标获取模块220、处理后目标深度图像获取模块230和压缩后目标深度图像获取模块240。其中：
目标深度图像信息获取模块210，用于获取相机针对目标场景所采集的目标深度图像，并获取所述目标深度图像中每个像素点的深度值和二维像素坐标；
三维世界坐标获取模块220，用于根据所述深度值、所述二维像素坐标、相机的内参矩阵以及相机的坐标变换矩阵，获取所述目标深度图像中每个像素点在世界空间中的三维世界坐标；
处理后目标深度图像获取模块230，用于根据所述世界空间中的预设限制区域以及各像素点的三维世界坐标，对所述目标深度图像进行像素清零处理，得到处理后目标深度图像；
压缩后目标深度图像获取模块240，用于逐行遍历所述处理后目标深度图像中的像素点，根据每一行像素点中的各像素点与相邻后序像素点之间的深度差，对满足压缩条件的多个像素点进行压缩，得到压缩后目标深度图像。
本发明实施例的技术方案，通过获取相机针对目标场景所采集的目标深度图像，并获取目标深度图像中每个像素点的深度值和二维像素坐标；根据深度值、二维像素坐标、相机的内参矩阵以及相机的坐标变换矩阵，获取目标深度图像中每个像素点在世界空间中的三维世界坐标；根据世界空间中的预设限制区域以及各像素点的三维世界坐标，对目标深度图像进行像素清零处理，得到处理后目标深度图像；逐行遍历处理后目标深度图像中的像素点，根据每一行像素点中的各像素点与相邻后序像素点之间的深度差，对满足压缩条件的多个像素点进行压缩，得到压缩后目标深度图像的技术手段，解决了现有深度图像数据传输方案在三维实时重建场景中不能满足超低延迟的问题，提供一种深度图像的压缩方法，实现了单帧数据发送，具有很好的实时性，实现深度图像数据在三维实时重建场景中快速传输。
可选的，三维世界坐标获取模块220，具体可以用于：
根据所述深度值、所述二维像素坐标以及相机的内参矩阵，获取所述目标深度图像中每个像素点在相机空间中的三维像素坐标；
根据所述三维像素坐标以及相机的坐标变换矩阵，获取所述目标深度图像中每个像素点在世界空间中的三维世界坐标。
可选的，处理后目标深度图像获取模块230，具体可以用于：
根据所述目标深度图像中各像素点的三维世界坐标，将所述目标深度图像与预设限制区域进行匹配，对目标深度图像中不位于预设限制区域外的像素点进行第一次像素清零，获取目标深度图像的第一清零结果。
可选的，还包括，第二清零结果获取模块，用于在获取目标深度图像的第一清零结果之后：
根据与所述目标深度图像对应的B帧图像及第一深度差门限值，对所述第一清零结果进行第二次像素清零，获取第二清零结果。
可选的，第二清零结果获取模块，具体可以用于：
根据所述目标深度图像与所述B帧图像中各像素点的对应关系，获取在预设限制区域内，第一清零结果与B帧图像中每对像素点的深度差值；
根据所述第一深度差门限值，从各深度差值中筛选出未超过第一深度差门限值的目标深度差值；
对所述目标深度差值对应的第一清零结果中的像素点进行第二次像素清零。
可选的，还包括，去噪处理模块，用于在获取第二清零结果之后：
遍历所述第二清零结果中位于预设限制区域内的像素点，通过预设滤波算法，获取与第二清零结果中位于预设限制区域内的像素点分别对应的输出像素值，实现对所述第二清零结果的去噪处理。
可选的，压缩后目标深度图像获取模块240，具体可以用于：
获取当前处理像素行，并在所述当前处理像素行中逐个遍历各像素点，检测所述当前处理像素行中是否存在可压缩连续像素序列；
其中，可压缩连续像素序列中的首个像素点与每个后序像素点的深度差均小于或者等于第二深度差门限值，且所述可压缩连续像素序列中的像素点总量小于或等于数量门限值；
若是，则根据可压缩连续像素序列中的像素点总量、最小深度值和各像素点与最小深度值间的差异值，形成与可压缩连续像素序列对应的压缩序列；
在所述处理后目标深度图像中，使用压缩序列替换当前处理像素行中的可压缩连续像素序列进行替换。
本发明实施例所提供的深度图像的压缩装置可执行本发明任意实施例所提供的深度图像的压缩方法，具备执行方法相应的功能模块和有益效果。
实施例三
图3示出了可以用来实施本发明的实施例的电子设备300的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图3所示，电子设备300包括至少一个处理器301，以及与至少一个处理器301通信连接的存储器，如只读存储器(ROM)302、随机访问存储器(RAM)303等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器301可以根据存储在只读存储器(ROM)302中的计算机程序或者从存储单元308加载到随机访问存储器(RAM)303中的计算机程序，来执行各种适当的动作和处理。在RAM 303中，还可存储电子设备300操作所需的各种程序和数据。处理器301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
电子设备300中的多个部件连接至I/O接口305，包括：输入单元306，例如键盘、鼠标等；输出单元307，例如各种类型的显示器、扬声器等；存储单元308，例如磁盘、光盘等；以及通信单元309，例如网卡、调制解调器、无线通信收发机等。通信单元309允许电子设备300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器301可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器301的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器301执行上文所描述的各个方法和处理，例如深度图像的压缩方法。
在一些实施例中，深度图像的压缩方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元308。在一些实施例中，计算机程序的部分或者全部可以经由ROM 302和/或通信单元309而被载入和/或安装到电子设备300上。当计算机程序加载到RAM 303并由处理器301执行时，可以执行上文描述的深度图像的压缩方法的一个或多个步骤。备选地，在其他实施例中，处理器301可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行深度图像的压缩方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种深度图像的压缩方法，其特征在于，包括：
获取相机针对目标场景所采集的目标深度图像，并获取所述目标深度图像中每个像素点的深度值和二维像素坐标；
根据所述深度值、所述二维像素坐标、相机的内参矩阵以及相机的坐标变换矩阵，获取所述目标深度图像中每个像素点在世界空间中的三维世界坐标；
根据所述世界空间中的预设限制区域以及各像素点的三维世界坐标，对所述目标深度图像进行像素清零处理，得到处理后目标深度图像；
逐行遍历所述处理后目标深度图像中的像素点，根据每一行像素点中的各像素点与相邻后序像素点之间的深度差，对满足压缩条件的多个像素点进行压缩，得到压缩后目标深度图像。
2.根据权利要求1所述的方法，其特征在于，根据所述深度值、所述二维像素坐标、相机的内参矩阵以及相机的坐标变换矩阵，获取所述目标深度图像中每个像素点在世界空间中的三维世界坐标，包括：
根据所述深度值、所述二维像素坐标以及相机的内参矩阵，获取所述目标深度图像中每个像素点在相机空间中的三维像素坐标；
根据所述三维像素坐标以及相机的坐标变换矩阵，获取所述目标深度图像中每个像素点在世界空间中的三维世界坐标。
3.根据权利要求1所述的方法，其特征在于，根据所述世界空间中的预设限制区域以及各像素点的三维世界坐标，对所述目标深度图像进行像素清零处理，包括：
根据所述目标深度图像中各像素点的三维世界坐标，将所述目标深度图像与预设限制区域进行匹配，对目标深度图像中不位于预设限制区域外的像素点进行第一次像素清零，获取目标深度图像的第一清零结果。
4.根据权利要求3所述的方法，其特征在于，在获取目标深度图像的第一清零结果之后，还包括：
根据与所述目标深度图像对应的B帧图像及第一深度差门限值，对所述第一清零结果进行第二次像素清零，获取第二清零结果。
5.根据权利要求4所述的方法，其特征在于，根据与所述目标深度图像对应的B帧图像及第一深度差门限值，对所述第一清零结果进行第二次像素清零，包括：
根据所述目标深度图像与所述B帧图像中各像素点的对应关系，获取在预设限制区域内，第一清零结果与B帧图像中每对像素点的深度差值；
根据所述第一深度差门限值，从各深度差值中筛选出未超过第一深度差门限值的目标深度差值；
对所述目标深度差值对应的第一清零结果中的像素点进行第二次像素清零。
6.根据权利要求4所述的方法，其特征在于，在获取第二清零结果之后，还包括：
遍历所述第二清零结果中位于预设限制区域内的像素点，通过预设滤波算法，获取与第二清零结果中位于预设限制区域内的像素点分别对应的输出像素值，实现对所述第二清零结果的去噪处理。
7.根据权利要求1所述的方法，其特征在于，根据每一行像素点中的初始像素点分别与各后续像素点之间的深度差，对满足压缩条件的像素点进行压缩，包括：
获取当前处理像素行，并在所述当前处理像素行中逐个遍历各像素点，检测所述当前处理像素行中是否存在可压缩连续像素序列；
其中，可压缩连续像素序列中的首个像素点与每个后序像素点的深度差均小于或者等于第二深度差门限值，且所述可压缩连续像素序列中的像素点总量小于或等于数量门限值；
若是，则根据可压缩连续像素序列中的像素点总量、最小深度值和各像素点与最小深度值间的差异值，形成与可压缩连续像素序列对应的压缩序列；
在所述处理后目标深度图像中，使用压缩序列替换当前处理像素行中的可压缩连续像素序列进行替换。
8.一种深度图像的压缩装置，其特征在于，包括：
目标深度图像信息获取模块，用于获取相机针对目标场景所采集的目标深度图像，并获取所述目标深度图像中每个像素点的深度值和二维像素坐标；
三维世界坐标获取模块，用于根据所述深度值、所述二维像素坐标、相机的内参矩阵以及相机的坐标变换矩阵，获取所述目标深度图像中每个像素点在世界空间中的三维世界坐标；
处理后目标深度图像获取模块，用于根据所述世界空间中的预设限制区域以及各像素点的三维世界坐标，对所述目标深度图像进行像素清零处理，得到处理后目标深度图像；
压缩后目标深度图像获取模块，用于逐行遍历所述处理后目标深度图像中的像素点，根据每一行像素点中的各像素点与相邻后序像素点之间的深度差，对满足压缩条件的多个像素点进行压缩，得到压缩后目标深度图像。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的深度图像的压缩方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的深度图像的压缩方法。
CN202210758543.4A 2022-06-29 2022-06-29 一种深度图像的压缩方法、装置、设备及存储介质 Active CN115174774B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210758543.4A CN115174774B (zh) 2022-06-29 2022-06-29 一种深度图像的压缩方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210758543.4A CN115174774B (zh) 2022-06-29 2022-06-29 一种深度图像的压缩方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115174774A true CN115174774A (zh) 2022-10-11
CN115174774B CN115174774B (zh) 2024-01-26

Family

ID=83488587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210758543.4A Active CN115174774B (zh) 2022-06-29 2022-06-29 一种深度图像的压缩方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115174774B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883998A (zh) * 2023-06-20 2023-10-13 珠海微度芯创科技有限责任公司 基于毫米波图像的物品标注方法、装置、电子设备

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208006A (zh) * 2012-01-17 2013-07-17 株式会社理光 基于深度图像序列的对象运动模式识别方法和设备
US20140055560A1 (en) * 2012-08-24 2014-02-27 Microsoft Corporation Depth Data Processing and Compression
AU2015271981A1 (en) * 2015-12-21 2017-07-06 Canon Kabushiki Kaisha Method, system and apparatus for modifying a perceptual attribute for at least a part of an image
CN108259722A (zh) * 2018-02-27 2018-07-06 厦门美图移动科技有限公司 成像方法、装置及电子设备
WO2018127629A1 (en) * 2017-01-09 2018-07-12 Nokia Technologies Oy Method and apparatus for video depth map coding and decoding
US20190197735A1 (en) * 2017-12-25 2019-06-27 Ubtech Robotics Corp Method and apparatus for image processing, and robot using the same
CN110191341A (zh) * 2018-05-31 2019-08-30 杭州艾芯智能科技有限公司 一种深度数据的编码方法和解码方法
CN112822495A (zh) * 2020-12-31 2021-05-18 广州科易光电技术有限公司 红外图像压缩方法及装置、电子设备、存储介质
CN113012210A (zh) * 2021-03-25 2021-06-22 北京百度网讯科技有限公司 深度图的生成方法、装置、电子设备和存储介质
CN113313658A (zh) * 2021-07-29 2021-08-27 南昌虚拟现实研究院股份有限公司 图像处理方法、装置、电子设备及存储介质
WO2021218201A1 (zh) * 2020-04-27 2021-11-04 北京达佳互联信息技术有限公司 一种图像处理方法及装置
CN113850747A (zh) * 2021-09-29 2021-12-28 重庆理工大学 一种基于光衰减和深度估计的水下图像清晰化处理方法
CN113902785A (zh) * 2021-09-15 2022-01-07 珠海视熙科技有限公司 一种深度图像的处理方法、系统、装置及计算机存储介质
CN114092535A (zh) * 2020-08-24 2022-02-25 阿里巴巴集团控股有限公司 深度图的重建方法、系统、装置、存储介质和处理器
WO2022048054A1 (zh) * 2020-09-02 2022-03-10 烟台艾睿光电科技有限公司 一种红外数据压缩方法、装置及设备
CN114531598A (zh) * 2020-11-06 2022-05-24 深圳Tcl数字技术有限公司 图像的压缩方法、装置、智能终端及计算机可读存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208006A (zh) * 2012-01-17 2013-07-17 株式会社理光 基于深度图像序列的对象运动模式识别方法和设备
US20140055560A1 (en) * 2012-08-24 2014-02-27 Microsoft Corporation Depth Data Processing and Compression
AU2015271981A1 (en) * 2015-12-21 2017-07-06 Canon Kabushiki Kaisha Method, system and apparatus for modifying a perceptual attribute for at least a part of an image
WO2018127629A1 (en) * 2017-01-09 2018-07-12 Nokia Technologies Oy Method and apparatus for video depth map coding and decoding
US20190197735A1 (en) * 2017-12-25 2019-06-27 Ubtech Robotics Corp Method and apparatus for image processing, and robot using the same
CN108259722A (zh) * 2018-02-27 2018-07-06 厦门美图移动科技有限公司 成像方法、装置及电子设备
CN110191341A (zh) * 2018-05-31 2019-08-30 杭州艾芯智能科技有限公司 一种深度数据的编码方法和解码方法
WO2021218201A1 (zh) * 2020-04-27 2021-11-04 北京达佳互联信息技术有限公司 一种图像处理方法及装置
CN114092535A (zh) * 2020-08-24 2022-02-25 阿里巴巴集团控股有限公司 深度图的重建方法、系统、装置、存储介质和处理器
WO2022048054A1 (zh) * 2020-09-02 2022-03-10 烟台艾睿光电科技有限公司 一种红外数据压缩方法、装置及设备
CN114531598A (zh) * 2020-11-06 2022-05-24 深圳Tcl数字技术有限公司 图像的压缩方法、装置、智能终端及计算机可读存储介质
CN112822495A (zh) * 2020-12-31 2021-05-18 广州科易光电技术有限公司 红外图像压缩方法及装置、电子设备、存储介质
CN113012210A (zh) * 2021-03-25 2021-06-22 北京百度网讯科技有限公司 深度图的生成方法、装置、电子设备和存储介质
CN113313658A (zh) * 2021-07-29 2021-08-27 南昌虚拟现实研究院股份有限公司 图像处理方法、装置、电子设备及存储介质
CN113902785A (zh) * 2021-09-15 2022-01-07 珠海视熙科技有限公司 一种深度图像的处理方法、系统、装置及计算机存储介质
CN113850747A (zh) * 2021-09-29 2021-12-28 重庆理工大学 一种基于光衰减和深度估计的水下图像清晰化处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883998A (zh) * 2023-06-20 2023-10-13 珠海微度芯创科技有限责任公司 基于毫米波图像的物品标注方法、装置、电子设备
CN116883998B (zh) * 2023-06-20 2024-04-05 珠海微度芯创科技有限责任公司 基于毫米波图像的物品标注方法、装置、电子设备

Also Published As

Publication number Publication date
CN115174774B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN112634343A (zh) 图像深度估计模型的训练方法、图像深度信息的处理方法
CN112802037A (zh) 人像提取方法、装置、电子设备及存储介质
CN114067051A (zh) 三维重建处理方法、装置、电子设备以及存储介质
CN115345968B (zh) 虚拟对象驱动方法、深度学习网络的训练方法及装置
CN115861131A (zh) 基于图像生成视频、模型的训练方法、装置及电子设备
CN112785492A (zh) 图像处理方法、装置、电子设备和存储介质
CN114792355A (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN115174774B (zh) 一种深度图像的压缩方法、装置、设备及存储介质
CN115100337A (zh) 一种基于卷积神经网络的全身人像视频重照明方法和装置
CN114078097A (zh) 图像去雾模型的获取方法、装置和电子设备
US20230260211A1 (en) Three-Dimensional Point Cloud Generation Method, Apparatus and Electronic Device
CN115205163B (zh) 一种标识图像的处理方法、装置、设备及存储介质
CN115018730A (zh) 一种图像条纹噪声的去除方法、装置、设备及介质
CN115082624A (zh) 一种人体模型构建方法、装置、电子设备及存储介质
CN114842066A (zh) 图像深度识别模型训练方法、图像深度识别方法及装置
KR20240006667A (ko) 점군 속성 정보 부호화 방법, 복호화 방법, 장치 및 관련 기기
CN113887435A (zh) 人脸图像处理方法、装置、设备、存储介质及程序产品
CN115035605A (zh) 基于深度学习的动作识别方法、装置、设备及存储介质
CN113556575A (zh) 用于压缩数据的方法、装置、设备、介质和产品
CN113610731A (zh) 用于生成画质提升模型的方法、装置及计算机程序产品
CN115118989B (zh) 一种图像压缩方法及装置
CN113099231B (zh) 确定亚像素插值位置的方法、装置、电子设备和存储介质
CN117615137B (zh) 一种视频处理方法、装置、设备以及存储介质
CN116260973B (zh) 一种时域滤波方法、装置、电子设备及存储介质
CN117278765B (zh) 一种视频压缩方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240621

Address after: 201203 Shanghai Pudong New Area China (Shanghai) Pilot Free Trade Zone 366 Shangke Road, Lane 55 Chuanhe Road, 3rd, 4th, 5th, and 6th floors

Patentee after: Shangfei Intelligent Technology Co.,Ltd.

Country or region after: China

Address before: 919 Shangfei Road, Pudong New Area, Shanghai, 201324

Patentee before: SHANGHAI AIRCRAFT MANUFACTURING Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right