CN110855997B - 一种图像处理方法及装置、存储介质 - Google Patents

一种图像处理方法及装置、存储介质 Download PDF

Info

Publication number
CN110855997B
CN110855997B CN201911075481.1A CN201911075481A CN110855997B CN 110855997 B CN110855997 B CN 110855997B CN 201911075481 A CN201911075481 A CN 201911075481A CN 110855997 B CN110855997 B CN 110855997B
Authority
CN
China
Prior art keywords
information
image
structured light
decoder
light information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911075481.1A
Other languages
English (en)
Other versions
CN110855997A (zh
Inventor
贾玉虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911075481.1A priority Critical patent/CN110855997B/zh
Publication of CN110855997A publication Critical patent/CN110855997A/zh
Application granted granted Critical
Publication of CN110855997B publication Critical patent/CN110855997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例公开了一种图像处理方法及装置、存储介质，包括：在对目标物体进行图像预览或图像拍摄时，获取目标物体对应的结构光信息和二维图像；对结构光信息和二维图像进行合并或独立编码，得到编码信息，编码信息包括合并编码信息或独立编码信息；当对编码信息进行解码后，利用结构光信息对二维图像进行处理，得到二维图像对应的目标图像。

Description

一种图像处理方法及装置、存储介质
技术领域
本发明涉及图像处理领域，尤其涉及一种图像处理方法及装置、存储介质。
背景技术时
近年来，随着消费电子产业的不断发展，电子产品的图像处理方面的需求也逐渐提高。目前，结构光广泛应用于图像处理领域中，通过获取拍摄目标的结构光信息，得到拍摄目标的深度图像，利用该深度图像对获取到的拍摄目标的二维图像进行处理，从而得到拍摄目标的立体图像。
现有技术是对该深度图像和二维图像进行编码，解码后可得到深度图像和二维图像，当图像传感器获取到的图像信息量较少时，终端处理该图像信息后得到的二维图像的清晰度较低。
发明内容
为解决上述技术问题，本发明实施例期望提供一种图像处理方法及装置、存储介质，能够提高二维图像的清晰度。
本发明的技术方案是这样实现的：
本申请实施例提供了一种图像处理方法，图像处理方法包括：
在对目标物体进行图像预览或图像拍摄时，获取目标物体对应的结构光信息和二维图像；
对所述结构光信息和所述二维图像进行合并或独立编码，得到编码信息，所述编码信息包括合并编码信息或独立编码信息；
当对所述编码信息进行解码后，利用所述结构光信息对所述二维图像进行处理，得到所述二维图像对应的目标图像。
在上述方案中，所述获取目标物体对应的结构光信息，包括：
获取所述目标物体的第一结构光信息；
将所述第一结构光信息和结构光距离映射关系信息，作为所述结构光信息，所述结构光距离映射关系信息为所述第一结构光信息与物距之间的映射关系信息。
在上述方案中，所述将所述第一结构光信息和结构光距离映射关系信息，作为所述结构光信息，包括：
根据所述第一结构光信息和所述结构光距离映射关系信息，得到第一深度图像和第一辅助信息，所述第一辅助信息为辅助所述二维图像得到所述目标图像的信息；
将所述第一深度图像和所述第一辅助信息，作为所述结构光信息。
在上述方案中，所述将所述第一结构光信息和结构光距离映射关系信息，作为所述结构光信息，包括：
对所述第一结构光信息进行预处理，得到预处理后的第一结构光信息；
将所述预处理后的第一结构光信息和所述结构光距离映射关系信息，作为所述结构光信息。
在上述方案中，所述将所述预处理后的第一结构光信息和所述结构光距离映射关系信息，作为所述结构光信息，包括：
根据所述预处理后的第一结构光信息和所述结构光距离映射关系信息，得到第二深度图像和第二辅助信息，所述第二辅助信息为辅助所述二维图像得到所述目标图像的图像；
将所述第二深度图像和所述第二辅助信息，作为所述结构光信息。
在上述方案中，所述对所述结构光信息和所述二维图像进行合并或独立编码，得到编码信息，包括：
利用所述结构光信息之间的相关性或场景敏感的深度去除所述结构光信息中的冗余信息，得到去冗余后的结构光信息；
对所述二维图像和所述去冗余后的结构光信息进行信息合并，得到合并信息；
对所述合并信息进行编码，得到所述合并编码信息。
在上述方案中，所述利用所述结构光信息之间的相关性或场景敏感的深度去除所述结构光信息中的冗余信息，得到去冗余后的结构光信息之后，所述方法还包括：
对所述去冗余后的结构光信息进行编码，得到第一编码信息；
对所述二维图像进行编码，得到第二编码信息；
将所述第一编码信息和所述第二编码信息，作为所述独立编码信息。
在上述方案中，所述对所述编码信息进行解码之后，所述方法还包括：
根据所述结构光信息，得到所述目标物体的深度图像。
本申请实施例提供了一种图像处理装置，装置包括：
结构光模组，用于在对目标物体进行图像预览或图像拍摄时，获取目标物体对应的结构光信息；
图像传感器，用于在对目标物体进行图像预览或图像拍摄时，获取目标物体对应的二维图像；
编码器，用于对所述结构光信息和所述二维图像进行合并或独立编码，得到编码信息，所述编码信息包括合并编码信息或独立编码信息；
图像处理器，用于当解码器对所述编码信息进行解码后，利用所述结构光信息对所述二维图像进行处理，得到所述二维图像对应的目标图像。
在上述方案中，所述结构光模组包括结构光传感器；
所述结构光传感器，用于获取所述目标物体的第一结构光信息；
所述结构光模组，具体用于将所述第一结构光信息和结构光距离映射关系信息，作为所述结构光信息，所述结构光距离映射关系信息为所述第一结构光信息与物距之间的映射关系信息。
在上述方案中，所述结构光模组，具体用于根据所述第一结构光信息和所述结构光距离映射关系信息，得到第一深度图像和第一辅助信息，所述第一辅助信息为辅助所述二维图像得到所述目标图像的信息；将所述第一深度图像和所述第一辅助信息，作为所述结构光信息。
在上述方案中，所述结构光模组，具体用于对所述第一结构光信息进行预处理，得到预处理后的第一结构光信息；将所述预处理后的第一结构光信息和所述结构光距离映射关系信息，作为所述结构光信息。
在上述方案中，所述结构光模组，具体用于根据所述预处理后的第一结构光信息和所述结构光距离映射关系信息，得到第二深度图像和第二辅助信息，所述第二辅助信息为辅助所述二维图像得到所述目标图像的图像；将所述第二深度图像和所述第二辅助信息，作为所述结构光信息。
在上述方案中，所述编码器包括图像编码器；
所述结构光模组，还用于利用所述结构光信息之间的相关性或场景敏感的深度去除所述结构光信息中的冗余信息，得到去冗余后的结构光信息；对所述二维图像和所述去冗余后的结构光信息进行信息合并，得到合并信息；
所述图像编码器，用于对所述合并信息进行编码，得到所述合并编码信息。
在上述方案中，所述编码器还包括结构光编码器；
所述结构光编码器，用于对所述去冗余后的结构光信息进行编码，得到第一编码信息；
所述图像编码器，用于对所述二维图像进行编码，得到第二编码信息；
所述编码器，用于将所述第一编码信息和所述第二编码信息，作为所述独立编码信息。
在上述方案中，所述装置还包括深度图像生成器；
所述深度图像生成器，用于根据所述结构光信息，得到所述目标物体的深度图像。
在上述方案中，所述解码器包括：图像解码器；
所述深度图像生成器和所述图像处理器可以都集成于所述图像解码器中；所述深度图像生成器和所述图像处理器也可以都独立于图像解码器，与所述图像解码器进行连接；所述深度图像生成器可以集成在所述图像解码器中，所述图像处理器可以独立于所述图像解码器，与所述图像解码器进行连接；所述图像处理器可以集成在所述图像解码器中，所述深度图像生成器可以独立于所述图像解码器，与所述图像解码器进行连接。
在上述方案中，所述解码器包括：结构光解码器；
所述深度图像生成器可以集成于所述结构光解码器中，所述深度图像生成器还可以独立于结构光解码器，与所述结构光解码器进行连接；
所述图像处理器可以集成在所述图像解码器中，所述图像处理器还可以独立于所述图像解码器，与所述图像解码器进行连接。
本申请实施例提供一种存储介质，其上存储有计算机程序，应用于图像处理装置，该计算机程序被处理器执行时实现如上述任一项的方法。
本发明实施例提供了一种图像处理方法及装置、存储介质，结构图像处理方法包括：在对目标物体进行图像预览或图像拍摄时，获取目标物体对应的结构光信息和二维图像；对结构光信息和二维图像进行合并或独立编码，得到编码信息，编码信息包括合并编码信息或独立编码信息；当对编码信息进行解码后，利用结构光信息对二维图像进行处理，得到二维图像对应的目标图像。采用上述图像处理方法，通过获取目标物体对应的结构光信息和二维图像，在对该结构光信息和二维图像进行合并或独立编码传输后，使得图像处理装置在解码后可得到结构光信息，并利用该结构光信息对二维图像进行处理，以增加二维图像中的图像信息量，使得图像处理装置可以得到清晰度较高的目标图像。
附图说明
图1为本申请实施例提供的一种图像处理方法流程图一；
图2为本申请实施例提供的一种图像处理装置的组成结构示意图一；
图3为本申请实施例提供的一种图像处理装置的组成结构示意图二；
图4为本申请实施例提供的一种图像处理装置的组成结构示意图三；
图5为本申请实施例提供的一种图像处理装置的组成结构示意图四；
图6为本申请实施例提供的一种图像处理装置的组成结构示意图五；
图7为本申请实施例提供的一种图像处理装置的组成结构示意图六；
图8为本申请实施例提供的一种图像处理装置的组成结构示意图七；
图9为本申请实施例提供的一种图像处理装置的组成结构示意图八；
图10为本申请实施例提供的一种图像处理装置的组成结构示意图九。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例一
本申请实施例提供了一种图像处理方法，图1为本申请实施例提供的一种图像处理方法流程图一，如图1所示，图像处理方法可以包括：
S101、在对目标物体进行图像预览或图像拍摄时，获取目标物体对应的结构光信息和二维图像。
本申请实施例提供的一种图像处理方法适用于在利用目标物体对应的结构光信息对获取到的二维图像进行图像处理，得到与二维图像对应的目标图像的场景下。
需要说明的是，二维图像可以为图像处理装置获取到的彩色图像，二维图像还可以为图像处理装置获取到的黑白图像，具体的二维图像可根据实际情况确定，本申请实施例对此不做限定。
在本申请实施例中，图像处理装置中设置有结构光模组，当图像处理装置目标物体进行图像预览，并启动结构光模组时，图像处理装置就开始获取目标物体对应的结构光信息。
在本申请实施例中，图像处理装置获取目标物体的第一结构光信息。
需要说明的是，第一结构光信息可以为图像处理装置利用结构光模组获取到的目标物体对应的初始结构光信息。
示例性地，第一结构光信息可以为结构光模组获取到的目标物体对应散斑、激光条纹、格雷码、正弦条纹等相位编码信息，具体的第一结构光信息可根据实际情况确定，本申请实施例对此不做限定。
在本申请实施例中，当图像处理装置的获取到目标物体对应的第一结构光信息时，图像处理装置就将第一结构光信息和结构光距离映射关系信息，作为结构光信息。
需要说明的是，结构光距离映射关系信息为第一结构光信息与物距之间的映射关系信息。
在本申请实施例中，图像处理装置在得到目标物体对应的第一结构光信息和结构光距离映射关系信息时，图像处理装置就可以将第一结构光信息和结构光距离映射关系信息进行信息匹配，从而得到第一深度图像和第一辅助信息。
需要说明的是，第一深度图像可以为预览图像中目标物体对应的深度图像信息；第一辅助信息可以为辅助二维图像得到目标图像的信息。
需要说明的是，当图像处理装置得到第一深度图像和第一辅助信息时，图像处理装置就可以将第一深度图像和第一辅助信息作为结构光信息。
在本申请实施例中，当图像处理装置得到第一结构光信息时，图像处理装置可以先对该第一结构光信息进行预处理，得到预处理后的第一结构光信息。
需要说明的是，预处理可以为滤波、去噪、信号放大、相位校准等方式中的一种处理方式，还可以为滤波、去噪、信号放大、相位校准等方式中的至少两种处理方式，具体的预处理可根据实际情况确定，本申请实施例对此不做限定。
示例性地，当预处理为滤波时，当图像处理装置得到第一结构光信息时，图像处理装置就对该第一结构光信息进行预处理，即，图像处理装置就对第一结构光信息进行滤波处理，得到的预处理后的第一结构光信息就为滤波后的结构光信息。
示例性地，当预处理为去噪和信号放大时，当图像处理装置得到第一结构光信息时，图像处理装置就对该第一结构光信息进行预处理，即，图像处理装置就对第一结构光信息进行去噪和信号放大处理，得到的预处理后的第一结构光信息就为去噪和信号放大后的结构光信息。
在本申请实施例中，当图像处理装置对第一结构光信息进行预处理，得到预处理后的第一结构光信息时，图像处理装置就将预处理后的第一结构光信息和结构光距离映射关系信息，作为结构光信息。
在本申请实施例中，当图像处理装置得到预处理后的第一结构光信息和结构光距离映射关系信息时，图像处理装置可以将预处理后的第一结构光信息和结构光距离映射关系信息进行匹配，得到第二深度信息和第二辅助信息。
需要说明的是，第二深度图像可以为预览图像中目标物体对应的预处理后的深度图像信息；第二辅助信息可以为辅助二维图像得到目标图像的信息。
在本申请实施例中，当图像处理装置得到第二深度信息和第二辅助信息时，图像处理装置就将该第二深度信息和第二辅助信息，作为结构光信息。
S102、对结构光信息和二维图像进行合并或独立编码，得到编码信息，编码信息包括合并编码信息或独立编码信息。
在本申请实施例中，当图像处理装置获取到目标物体对应的结构光信息时，图像处理装置就可以对该结构光信息进行编码，得到编码信息。
在本申请实施例中，当图像处理装置对结构光信息进行编码之前，图像处理装置会先获取到目标物体对应的二维图像，并利用结构光信息之间的相关性或场景敏感的深度去除结构光信息中的冗余信息，得到去冗余后的结构光信息。
需要说明的是，编码信息包括合并编码信息或独立编码信息。
还需要说明的是，当图像处理装置对结构光信息和二维图像进行合并编码时，得到的编码信息为合并编码信息；当图像处理装置对结构光信息和二维图像进行独立编码时，得到的编码信息为独立编码信息。其中独立编码信息包括结构光编码信息和二维图像编码信息。
需要说明的是，当结构光信息为多个相位图像时，图像处理装置可根据多个相位图像之间的相关性去除多个相位图像之间的冗余信息；当结构光信息为其他数据时，图像处理装置可根据数据间的空间相关性的方式来去除结构光信息中的冗余信息；图像处理装置还可以利用场景敏感的深度或者是编码二进制数据之间的相关性来去除冗余信息；图像处理装置还可以将结构光信息转化为频域信息，利用频域相关性来去除结构光信息中的冗余信息；具体的去除结构光信息中的冗余信息的方式可根据实际情况确定，本申请实施例对此不做限定。
在本申请实施例中，当图像处理装置对结构光信息进行编码时，图像处理装置会先根据图像编码标准的可扩展性，对结构光信息进行不同方式的编码，当图像编码标准为可扩展的图像编码标准时，图像处理装置就可以对结构光信息和二维图像进行合并编码。
在本申请实施例中，图像处理装置对结构光信息和二维图像进行合并编码可以为：当图像处理装置得到二维图像和去冗余后的结构光信息时，图像处理装置就可以利用二维图像和去冗余后的结构光信息之间的相关性，将二维图像和去冗余后的结构光信息进行合并，得到合并信息。
在本申请实施例中，当图像处理装置得到合并信息后，图像处理装置就可以对合并信息进行编码，从而得到合并信息对应的合并编码信息。
需要说明的是，合并编码信息可以存储在附加参数集或者是其他存储位置，具体的编码信息存储位置可根据实际情况确定，本申请实施例对此不做限定。
在本申请实施例中，当图像编码标准为不可扩展的图像编码标准时，图像处理装置就可以对结构光信息和二维图像进行独立编码。
在本申请实施例中，图像处理装置对结构光信息和二维图像进行独立编码可以为：图像处理装置得到去冗余后的结构光信息时，图像处理装置就可以对冗余后的结构光信息进行编码，得到第一编码信息；当图像处理装置得到二维图像时，图像处理装置就可以对二维图像进行编码，得到第二编码信息；当图像处理装置得到第一编码信息和第二编码信息时，图像处理装置就可以将第一编码信息和第二编码信息，作为独立编码信息了。
需要说明的是，当图像处理装置对结构光信息和二维图像进行独立编码时，二维图像的编码标准可以为图像编解码标准，如联合摄影专家组(Joint PhotographicExperts Group，JPEG)，高性能图像编码(High Efficiency Image Coding，HEIC)等，结构光信息的编码标准可以为预设的结构光编解码标准，具体的可根据实际情况进行确定，本申请实施例对此不做限定。
在本申请实施例中，图像处理装置中设置有结构光编码器，当图像处理装置对结构光信息和二维图像进行独立编码时，图像处理装置可以利用结构光编码器将结构光信息编码得到多个结构光编码信息，图像处理装置还可以利用多个结构光编码器将结构光信息编码成多个结构光编码信息，并将该多个结构光编码信息作为第一编码信息，具体的可根据实际情况确定，本申请实施例对此不做限定。
需要说明的是，图像处理装置中还设置有结构光解码器，当图像处理装置利用结构光编码器将结构光信息编码得到多个结构光编码信息时，图像处理装置可以利用结构光解码器对该多个结构光编码信息解码，得到结构光信息；当图像处理装置利用多个结构光编码器将结构光信息编码成多个结构光编码信息时，图像处理装置可以利用多个结构光解码器分被对该多个结构光编码信息进行解码，得到结构光信息，具体的可根据实际情况确定，本申请实施例对此不做限定。
需要说明的是，当图像处理装置对机构光信息进行编码时，图像处理装置可以对结构光信息中的部分信息进行编码，图像处理装置还可以对结构光信息中的全部信息进行编码，图像处理装置还可以对结构光信息中的指定信息进行编码，具体的可根据实际情况确定，本申请实施例对此不做限定。
示例性地，可扩展的图像编码标准可以为HEIC，不可扩展的图像编码标准可以为JPEG。
S103、当对编码信息进行解码后，利用结构光信息对二维图像进行处理，得到二维图像对应的目标图像。
在本申请实施例中，当图像处理装置对编码信息进行解码，得到结构光信息后，图像处理装置就可以利用结构光信息对二维图像进行处理，从而就得到二维图像对应的目标图像了。
需要说明的是，利用结构光信息对二维图像进行处理的方式可以为利用结构光信息对二维图形进行背景虚化，还可以为利用结构光信息提高二维图形的对比度，还可以为利用结构光信息提高二维图形的清晰度，以及利用结构光信息对二维图形进行抠图的处理方式，具体的处理方式可根据实际情况确定，本申请实施例对此不作限定。
示例性地，当启动图像处理装置中的结构光组模块，并拍摄目标物体的高动态范围图像(High-Dynamic Range，HDR)时，图像处理装置可以得到目标物体对应的结构光信息和两幅目标物体对应的HDR图像，图像处理装置通过对结构光信息和两幅HDR图像进行编解码传输，当图像处理装置在解码端接收到两幅模糊的HDR图像时，图像处理装置就可以利用解码后得到的结构光信息对两幅HDR图像进行去模糊处理，从而得到两幅清晰的HDR图像。
在本申请实施例中，当图像处理装置对编码信息进行解码，得到结构光信息后，图像处理装置就可以根据结构光信息，得到目标物体的深度图像。
可以理解的是，图像处理装置通过获取目标物体对应的结构光信息和二维图像，在对该结构光信息和二维图像进行合并或独立编码传输后，使得图像处理装置在解码后可得到结构光信息，并利用该结构光信息对二维图像进行处理，增加了二维图像中的图像信息量，提高了目标图像的清晰度。
实施例二
基于实施例一同一发明构思，本申请实施例提供了一种图像处理装置1，对应于一种图像处理方法；图2为本申请实施例提供的一种图像处理装置的组成结构示意图一，该图像处理装置1可以包括：
结构光模组11，用于在对目标物体进行图像预览或图像拍摄时，获取目标物体对应的结构光信息；
图像传感器15，用于在对目标物体进行图像预览或图像拍摄时，获取目标物体对应的二维图像；
编码器12，用于对所述结构光信息和所述二维图像进行合并或独立编码，得到编码信息，所述编码信息包括合并编码信息或独立编码信息；
图像处理器13，用于当解码器14对所述编码信息进行解码后，利用所述结构光信息对所述二维图像进行处理，得到所述二维图像对应的目标图像。
在本申请的一些实施例中，所述结构光模组包括结构光传感器111；
所述结构光传感器111，用于获取所述目标物体的第一结构光信息；
所述结构光模组11，具体用于将所述第一结构光信息和结构光距离映射关系信息，作为所述结构光信息，所述结构光距离映射关系信息为所述第一结构光信息与物距之间的映射关系信息。
在本申请的一些实施例中，所述结构光模组11，具体用于根据所述第一结构光信息和所述结构光距离映射关系信息，得到第一深度图像和第一辅助信息，所述第一辅助信息为辅助所述二维图像得到所述目标图像的信息；将所述第一深度图像和所述第一辅助信息，作为所述结构光信息。
在本申请的一些实施例中，所述结构光模组11，具体用于对所述第一结构光信息进行预处理，得到预处理后的第一结构光信息；将所述预处理后的第一结构光信息和所述结构光距离映射关系信息，作为所述结构光信息。
在本申请的一些实施例中，所述结构光模组11，具体用于根据所述预处理后的第一结构光信息和所述结构光距离映射关系信息，得到第二深度图像和第二辅助信息，所述第二辅助信息为辅助所述二维图像得到所述目标图像的图像；将所述第二深度图像和所述第二辅助信息，作为所述结构光信息。
在本申请的一些实施例中，所述编码器12包括图像编码器121；
所述结构光模组11，还用于去除所述结构光信息中的冗余信息，得到去冗余后的结构光信息；对所述二维图像和所述去冗余后的结构光信息进行信息合并，得到合并信息；
所述图像编码器121，用于对所述合并信息进行编码，得到所述合并编码信息。
在本申请的一些实施例中，所述编码器12还包括结构光编码器122；
所述结构光编码器122，用于对所述去冗余后的结构光信息进行编码，得到第一编码信息；
所述图像编码器121，用于对所述二维图像进行编码，得到第二编码信息；
所述编码器12，用于将所述第一编码信息和所述第二编码信息，作为所述独立编码信息。
在本申请的一些实施例中，所述装置1还包括深度图像生成器16；
所述深度图像生成器16，用于根据所述结构光信息，得到所述目标物体的深度图像。
在本申请的一些实施例中，所述解码器14包括：图像解码器141；
所述深度图像生成器16和所述图像处理器13可以都集成于所述图像解码器141中；所述深度图像生成器16和所述图像处理器13也可以都独立于图像解码器141，与所述图像解码器141进行连接；所述深度图像生成器16可以集成在所述图像解码器141中，所述图像处理器13可以独立于所述图像解码器141，与所述图像解码器141进行连接；所述图像处理器13可以集成在所述图像解码器141中，所述深度图像生成器16可以独立于所述图像解码器141，与所述图像解码器141进行连接。
在本申请实施例中，如图3所示，将深度图像生成器16和图像处理器13都集成于图像解码器141中，当图像解码器141对编码信息解码后，可得到结构光信息和二维图像，图像解码器141将结构光信息分别传输至深度图像传感器16和图像处理器13中，图像解码器141将二维图像传输至图像处理器13中，深度图像传感器16根据结构光信息得到深度图像；图像处理器13利用结构光信息对二维图像进行处理，得到二维图像对应的目标图像，深度图像传感器16将深度图像传输至图像解码器141，图像处理器13也将目标图像传输至图像解码器141，图像解码器141输出深度图像和目标图像。
如图4所示，深度图像生成器16和图像处理器13都独立于图像解码器141，与图像解码器141进行连接，当图像解码器141对编码信息解码后，可得到结构光信息和二维图像，图像解码器141将结构光信息分别传输至深度图像传感器16和图像处理器13中，图像解码器141将二维图像传输至图像处理器13中，深度图像传感器16根据结构光信息得到深度图像并输出；图像处理器13利用结构光信息对二维图像进行处理，得到二维图像对应的目标图像并输出。
如图5所示，深度图像生成器16集成在图像解码器141中，图像处理器13独立于图像解码器141，与图像解码器141进行连接，当图像解码器141对编码信息解码后，可得到结构光信息和二维图像，图像解码器141将结构光信息分别传输至深度图像传感器16和图像处理器13中，图像解码器141将二维图像传输至图像处理器13中，深度图像传感器16根据结构光信息得到深度图像，深度图像传感器16将深度图像传输至图像解码器141，图像解码器141输出该深度图像；图像处理器13利用结构光信息对二维图像进行处理，得到二维图像对应的目标图像并输出。
如图6所示，图像处理器13集成在图像解码器141中，深度图像生成器16独立于图像解码器141，与图像解码器141进行连接，当图像解码器141对编码信息解码后，可得到结构光信息和二维图像，图像解码器141将结构光信息分别传输至深度图像传感器16和图像处理器13中，图像解码器141将二维图像传输至图像处理器13中，图像处理器13利用结构光信息对二维图像进行处理，得到二维图像对应的目标图像，图像处理器13将该目标图像传输至图像解码器141，图像解码器141输出该目标图像，深度图像传感器16根据结构光信息得到深度图像并输出。
在本申请的一些实施例中，所述解码器包括：结构光解码器142；
所述深度图像生成器16可以集成于所述结构光解码器142中，所述深度图像生成器16还可以独立于结构光解码器142，与所述结构光解码器142进行连接；
所述图像处理器13可以集成在所述图像解码器141中，所述图像处理器13还可以独立于所述图像解码器141，与所述图像解码器141进行连接。
在本申请实施例中，如图7所示，深度图像生成器16独立于结构光解码器142，与结构光解码器142进行连接，图像处理器13独立于图像解码器141，与图像解码器141进行连接，当图像解码器141对第二编码信息解码后，可得到二维图像，图像解码器142对第一编码信息解码后，可得到结构光信息，图像解码器142将结构光信息分别传输至深度图像生成器16和图像处理器13中，图像解码器141将二维图像传输至图像处理器13中，图像处理器13利用结构光信息对二维图像进行处理，得到二维图像对应的目标图像并输出，深度图像传感器16根据结构光信息得到深度图像并输出。
如图8所示，深度图像生成器16集成于结构光解码器142中，图像处理器13独立于图像解码器141，与图像解码器141进行连接，当图像解码器141对第二编码信息解码后，可得到二维图像，图像解码器142对第一编码信息解码后，可得到结构光信息，图像解码器142将结构光信息分别传输至深度图像生成器16和图像处理器13中，图像解码器141将二维图像传输至图像处理器13中，图像处理器13利用结构光信息对二维图像进行处理，得到二维图像对应的目标图像并输出，深度图像传感器16根据结构光信息得到深度图像，深度图像传感器16将该深度图像传输至图像解码器142，图像解码器142输出深度图像。
如图9所示，深度图像生成器16独立于结构光解码器142，与结构光解码器142进行连接，图像处理器13集成在图像解码器141中，当图像解码器141对第二编码信息解码后，可得到二维图像，图像解码器142对第一编码信息解码后，可得到结构光信息，图像解码器142将结构光信息分别传输至深度图像生成器16和图像处理器13中，图像解码器141将二维图像传输至图像处理器13中，图像处理器13利用结构光信息对二维图像进行处理，得到二维图像对应的目标图像，图像处理器13将目标图像传输至图像解码器141，图像解码器141输出目标图像，深度图像传感器16根据结构光信息得到深度图像并输出。
如图10所示，深度图像生成器16集成于结构光解码器142中，图像处理器13集成在图像解码器141中，当图像解码器141对第二编码信息解码后，可得到二维图像，图像解码器142对第一编码信息解码后，可得到结构光信息，图像解码器142将结构光信息分别传输至深度图像生成器16和图像处理器13中，图像解码器141将二维图像传输至图像处理器13中，图像处理器13利用结构光信息对二维图像进行处理，得到二维图像对应的目标图像，图像处理器13将目标图像传输至图像解码器141，图像解码器141输出目标图像，深度图像传感器16根据结构光信息得到深度图像，深度图像传感器16将深度图像传输至图像解码器142，利用图像解码器142输出深度图像。
本申请实施例提供了一种存储介质，其上存储有计算机程序，应用于图像处理装置，该计算机程序被处理器执行时实现如上述任一项所述的方法。
可以理解的是，图像处理装置通过获取目标物体对应的结构光信息和二维图像，在对该结构光信息和二维图像进行合并或独立编码传输后，使得图像处理装置在解码后可得到结构光信息，并利用该结构光信息对二维图像进行处理，增加了二维图像中的图像信息量，提高了目标图像的清晰度。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
在对目标物体进行图像预览或图像拍摄时，获取目标物体对应的结构光信息和二维图像；
对所述结构光信息和所述二维图像进行合并或独立编码，得到编码信息，所述编码信息包括合并编码信息或独立编码信息；
对所述编码信息进行解码，利用所述结构光信息对所述二维图像进行处理，得到所述二维图像对应的目标图像；
其中，所述获取目标物体对应的结构光信息，包括：
获取所述目标物体的第一结构光信息；
将所述第一结构光信息和结构光距离映射关系信息，作为所述结构光信息，所述结构光距离映射关系信息为所述第一结构光信息与物距之间的映射关系信息；
其中，所述将所述第一结构光信息和结构光距离映射关系信息，作为所述结构光信息，包括：
根据所述第一结构光信息和所述结构光距离映射关系信息，得到第一深度图像和第一辅助信息，所述第一辅助信息为辅助所述二维图像得到所述目标图像的信息；
将所述第一深度图像和所述第一辅助信息，作为所述结构光信息。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一结构光信息和结构光距离映射关系信息，作为所述结构光信息，包括：
对所述第一结构光信息进行预处理，得到预处理后的第一结构光信息；
将所述预处理后的第一结构光信息和所述结构光距离映射关系信息，作为所述结构光信息。
3.根据权利要求2所述的方法，其特征在于，所述将所述预处理后的第一结构光信息和所述结构光距离映射关系信息，作为所述结构光信息，包括：
根据所述预处理后的第一结构光信息和所述结构光距离映射关系信息，得到第二深度图像和第二辅助信息，所述第二辅助信息为辅助所述二维图像得到所述目标图像的图像；
将所述第二深度图像和所述第二辅助信息，作为所述结构光信息。
4.根据权利要求1所述的方法，其特征在于，所述对所述结构光信息和所述二维图像进行合并或独立编码，得到编码信息，包括：
利用所述结构光信息之间的相关性或场景敏感的深度去除所述结构光信息中的冗余信息，得到去冗余后的结构光信息；
对所述二维图像和所述去冗余后的结构光信息进行信息合并，得到合并信息；
对所述合并信息进行编码，得到所述合并编码信息。
5.根据权利要求4所述的方法，其特征在于，所述利用所述结构光信息之间的相关性或场景敏感的深度去除所述结构光信息中的冗余信息，得到去冗余后的结构光信息之后，所述方法还包括：
对所述去冗余后的结构光信息进行编码，得到第一编码信息；
对所述二维图像进行编码，得到第二编码信息；
将所述第一编码信息和所述第二编码信息，作为所述独立编码信息。
6.根据权利要求1所述的方法，其特征在于，所述对所述编码信息进行解码之后，所述方法还包括：
根据所述结构光信息，得到所述目标物体的深度图像。
7.一种图像处理装置，其特征在于，所述装置包括：
结构光模组，用于在对目标物体进行图像预览或图像拍摄时，获取目标物体对应的结构光信息；
图像传感器，用于在对目标物体进行图像预览或图像拍摄时，获取目标物体对应的二维图像；
编码器，用于对所述结构光信息和所述二维图像进行合并或独立编码，得到编码信息，所述编码信息包括合并编码信息或独立编码信息；
图像处理器，用于当解码器对所述编码信息进行解码后，利用所述结构光信息对所述二维图像进行处理，得到所述二维图像对应的目标图像；
其中，所述结构光模组包括结构光传感器；
所述结构光传感器，用于获取所述目标物体的第一结构光信息；
所述结构光模组，具体用于将所述第一结构光信息和结构光距离映射关系信息，作为所述结构光信息，所述结构光距离映射关系信息为所述第一结构光信息与物距之间的映射关系信息；
其中，所述结构光模组，具体用于根据所述第一结构光信息和所述结构光距离映射关系信息，得到第一深度图像和第一辅助信息，所述第一辅助信息为辅助所述二维图像得到所述目标图像的信息；将所述第一深度图像和所述第一辅助信息，作为所述结构光信息。
8.根据权利要求7所述的装置，其特征在于，
所述结构光模组，具体用于对所述第一结构光信息进行预处理，得到预处理后的第一结构光信息；将所述预处理后的第一结构光信息和所述结构光距离映射关系信息，作为所述结构光信息。
9.根据权利要求8所述的装置，其特征在于，
所述结构光模组，具体用于根据所述预处理后的第一结构光信息和所述结构光距离映射关系信息，得到第二深度图像和第二辅助信息，所述第二辅助信息为辅助所述二维图像得到所述目标图像的图像；将所述第二深度图像和所述第二辅助信息，作为所述结构光信息。
10.根据权利要求7所述的装置，其特征在于，所述编码器包括图像编码器；
所述结构光模组，还用于利用所述结构光信息之间的相关性或场景敏感的深度去除所述结构光信息中的冗余信息，得到去冗余后的结构光信息；对所述二维图像和所述去冗余后的结构光信息进行信息合并，得到合并信息；
所述图像编码器，用于对所述合并信息进行编码，得到所述合并编码信息。
11.根据权利要求10所述的装置，其特征在于，所述编码器还包括结构光编码器；
所述结构光编码器，用于对所述去冗余后的结构光信息进行编码，得到第一编码信息；
所述图像编码器，用于对所述二维图像进行编码，得到第二编码信息；
所述编码器，用于将所述第一编码信息和所述第二编码信息，作为所述独立编码信息。
12.根据权利要求7所述的装置，其特征在于，所述装置还包括深度图像生成器；
所述深度图像生成器，用于根据所述结构光信息，得到所述目标物体的深度图像。
13.根据权利要求12所述的装置，其特征在于，所述解码器包括：图像解码器；
所述深度图像生成器和所述图像处理器分别集成于所述图像解码器中；
或者，所述深度图像生成器和所述图像处理器分别独立于图像解码器，且分别与所述图像解码器进行连接；
或者，所述深度图像生成器集成在所述图像解码器中，所述图像处理器独立于所述图像解码器，与所述图像解码器进行连接；
或者，所述图像处理器集成在所述图像解码器中，所述深度图像生成器独立于所述图像解码器，与所述图像解码器进行连接。
14.根据权利要求12所述的装置，其特征在于，所述解码器包括：结构光解码器；
所述深度图像生成器集成于所述结构光解码器中；
或者，所述深度图像生成器独立于结构光解码器，与所述结构光解码器进行连接；
所述图像处理器集成在图像解码器中；
或者，所述图像处理器独立于所述图像解码器，与所述图像解码器进行连接。
15.一种存储介质，其上存储有计算机程序，应用于图像处理装置，其特征在于，该计算机程序被处理器执行时实现权利要求1至6任一项所述的方法。
CN201911075481.1A 2019-11-06 2019-11-06 一种图像处理方法及装置、存储介质 Active CN110855997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911075481.1A CN110855997B (zh) 2019-11-06 2019-11-06 一种图像处理方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911075481.1A CN110855997B (zh) 2019-11-06 2019-11-06 一种图像处理方法及装置、存储介质

Publications (2)

Publication Number Publication Date
CN110855997A CN110855997A (zh) 2020-02-28
CN110855997B true CN110855997B (zh) 2023-03-28

Family

ID=69599992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911075481.1A Active CN110855997B (zh) 2019-11-06 2019-11-06 一种图像处理方法及装置、存储介质

Country Status (1)

Country Link
CN (1) CN110855997B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109862275A (zh) * 2019-03-28 2019-06-07 Oppo广东移动通信有限公司 电子设备和移动平台

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222639B (zh) * 2007-01-09 2010-04-21 华为技术有限公司 多视点视频技术中的视间预测方法、编码器和解码器
CN101616322A (zh) * 2008-06-24 2009-12-30 深圳华为通信技术有限公司 立体视频编解码方法、装置及系统
EP2197217A1 (en) * 2008-12-15 2010-06-16 Koninklijke Philips Electronics N.V. Image based 3D video format
CN102792699A (zh) * 2009-11-23 2012-11-21 通用仪表公司 作为到视频序列的附加通道的深度代码化
US10768692B2 (en) * 2018-02-21 2020-09-08 Fuji Xerox Co., Ltd. Systems and methods for capturing and rendering hand skeletons over documents images for telepresence

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109862275A (zh) * 2019-03-28 2019-06-07 Oppo广东移动通信有限公司 电子设备和移动平台

Also Published As

Publication number Publication date
CN110855997A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
US10453163B2 (en) Detection from two chrominance directions
EP3471395B1 (en) Method and electronic device for processing raw image acquired through camera by using external electronic device
CN112543347B (zh) 基于机器视觉编解码的视频超分辨率方法、装置、系统和介质
KR101993945B1 (ko) Ｌｄｒ 비디오와 함께 ｈｄｒ 비디오를 인코딩하는 방법 및 장치, 함께 코딩된 ｈｄｒ 비디오 및 ｌｄｒ 비디오 중의 하나를 재구성하는 방법 및 장치 및 비일시적 저장 매체
KR101885633B1 (ko) 블록 기반 혼합 해상도의 데이터 프루닝을 사용하는 비디오 인코딩
CN110855997B (zh) 一种图像处理方法及装置、存储介质
WO2015023318A2 (en) Depth image compression and decompression utilizing depth and amplitude data
CN112788325B (zh) 一种图像处理方法、编码装置、解码装置及存储介质
CN110784722B (zh) 编解码方法、编解码装置、编解码系统及存储介质
WO2015198983A1 (ja) 画像処理装置
CN110809152A (zh) 信息处理方法、编码装置、解码装置、系统及存储介质
CN112806015B (zh) 全向视频的编码和解码
JP2022069398A (ja) ビデオコーディング装置及び方法、ビデオデコーディング装置及び方法、並びにコーデックシステム
US8306344B2 (en) Image processor with an encoder in a predictive coding system that reduces an amount of encoded data
JP2017011499A (ja) 画像処理装置及び画像復号装置及びそれらの制御方法
US20220230361A1 (en) Information processing method, and encoding device
US8229239B2 (en) Image processor
JPWO2006003873A1 (ja) 画像符号化方法および画像復号化方法
CN111225218A (zh) 信息处理方法、编码装置、解码装置、系统及存储介质
US20240137486A1 (en) Method for determining an image coding mode
CN110661975B (zh) 一种图像编解码方法、装置、电子设备及存储介质
US20230037566A1 (en) Client-server reading of machine-readable indicia
CN114391259B (zh) 信息处理方法、终端设备及存储介质
CN114391259A (zh) 信息处理方法、终端设备及存储介质
WO2021087810A1 (zh) 信息处理方法和系统、编码装置、解码装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant