CN115442634A - 图像压缩方法、装置、存储介质、电子设备及产品 - Google Patents

图像压缩方法、装置、存储介质、电子设备及产品 Download PDF

Info

Publication number
CN115442634A
CN115442634A CN202210940085.6A CN202210940085A CN115442634A CN 115442634 A CN115442634 A CN 115442634A CN 202210940085 A CN202210940085 A CN 202210940085A CN 115442634 A CN115442634 A CN 115442634A
Authority
CN
China
Prior art keywords
processor
processing unit
format data
compressed image
raw format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210940085.6A
Other languages
English (en)
Inventor
孙伟
李红一
张煜
邵志兢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Prometheus Vision Technology Co ltd
Original Assignee
Zhuhai Prometheus Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Prometheus Vision Technology Co ltd filed Critical Zhuhai Prometheus Vision Technology Co ltd
Priority to CN202210940085.6A priority Critical patent/CN115442634A/zh
Publication of CN115442634A publication Critical patent/CN115442634A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种图像压缩方法、装置、存储介质、电子设备及产品,涉及计算机技术领域,该方法包括:通过中央处理器获得相机raw格式数据;通过所述中央处理器将所述相机raw格式数据上传至图形处理器;通过所述图形处理器对所述相机raw格式数据进行图像压缩处理,得到压缩图像。本申请可以有效提升图像压缩的效率。

Description

图像压缩方法、装置、存储介质、电子设备及产品
技术领域
本申请涉及人工智能技术领域,具体涉及一种图像压缩方法、装置、存储介质、电子设备及产品。
背景技术
图像压缩即对图像进行压缩的工作,在非常多的场景下都需要进行图像压缩,例如,在制作体积视频的场景下,通常需要拍摄大量图像来制作体积视频,对于采集的图像进行压缩可以有效便于进行数据传输。
目前,在进行图像压缩时,存在将拍摄的彩色图像从中央处理器(CPU)传输到图形处理器(GPU)进行压缩的方案,目前的方案下,由于彩色图像本身的数据量较大,特别在彩色图像数目很多时,总的数据量则会非常大,导致从中央处理器(CPU)到图形处理器(GPU)的带宽会存在明显瓶颈,进而导致图像压缩效率较低。
发明内容
本申请实施例提供一种图像压缩方法及相关装置,可以有效提升图像压缩的效率。
为解决上述技术问题,本申请实施例提供以下技术方案:
根据本申请的一个实施例,一种图像压缩方法,该方法包括:通过中央处理器获得相机raw格式数据;通过所述中央处理器将所述相机raw格式数据上传至图形处理器;通过所述图形处理器对所述相机raw格式数据进行图像压缩处理,得到压缩图像。
在本申请的一些实施例中,所述通过所述中央处理器将所述相机raw格式数据上传至图形处理器,包括:通过所述中央处理器将所述相机raw格式数据从普通内存转移到页锁定内存;将所述相机raw格式数据从所述页锁定内存上传至所述图形处理器。
在本申请的一些实施例中,所述通过所述中央处理器将所述相机raw格式数据上传至图形处理器,包括:通过所述中央处理器将所述相机raw格式数据从普通内存上传至所述图形处理器。
在本申请的一些实施例中,所述通过所述图形处理器对所述相机raw格式数据进行图像压缩处理,得到压缩图像,包括:通过所述图形处理器将所述相机raw格式数据转换为彩色图片;将所述彩色图片进行压缩处理,得到所述压缩图像。
在本申请的一些实施例中,在所述通过所述图形处理器对所述相机raw格式数据进行图像压缩处理,得到压缩图像之后,所述方法还包括:通过所述图形处理器将所述压缩图像发送至所述中央处理器;通过所述中央处理器将所述压缩图像存储至预定存储位置。
在本申请的一些实施例中,所述通过所述图形处理器将所述压缩图像发送至所述中央处理器,包括:通过所述图形处理器将所述压缩图像发送至所述中央处理器的页锁定内存;所述通过所述中央处理器将所述压缩图像存储至预定存储位置,包括:通过所述中央处理器将所述压缩图像从所述页锁定内存转移至普通内存,并从所述普通内存将所述压缩图像存储至所述预定存储位置。
在本申请的一些实施例中,所述通过所述图形处理器将所述压缩图像发送至所述中央处理器,包括:通过所述图形处理器将所述压缩图像发送至所述中央处理器的普通内存;所述通过所述中央处理器将所述压缩图像存储至预定存储位置,包括:通过所述中央处理器将所述压缩图像从所述普通内存传输至所述预定存储位置。
在本申请的一些实施例中,在所述通过所述中央处理器将所述压缩图像存储至预定存储位置之后,所述方法还包括:从所述预定存储位置获取待重建对象对应的多个所述压缩图像;基于多个所述压缩图像进行三维重建处理,得到三维模型。
根据本申请的一个实施例,一种图像压缩装置,其包括:获取模块,用于所述中央处理器获得相机raw格式数据;上传模块,用于所述中央处理器将所述相机raw格式数据上传至图形处理器;压缩模块,用于所述图形处理器对所述相机raw格式数据进行图像压缩处理,得到压缩图像。
在本申请的一些实施例中,所述上传模块,包括第一上传单元,用于:所述中央处理器将所述相机raw格式数据从普通内存转移到页锁定内存;并将所述相机raw格式数据从所述页锁定内存上传至所述图形处理器。
在本申请的一些实施例中,所述上传模块,包括第二上传单元,用于:所述中央处理器将所述相机raw格式数据从普通内存上传至所述图形处理器。
在本申请的一些实施例中,所述压缩模块,用于:通过所述图形处理器将所述相机raw格式数据转换为彩色图片;将所述彩色图片进行压缩处理,得到所述压缩图像。
在本申请的一些实施例中,所述装置还包括下发模块,用于:所述图形处理器将所述压缩图像发送至所述中央处理器;以及,存储模块,用于所述中央处理器将所述压缩图像存储至预定存储位置。
在本申请的一些实施例中,所述下发模块,用于:所述图形处理器将所述压缩图像发送至所述中央处理器的页锁定内存;所述存储模块,用于:所述中央处理器将所述压缩图像从所述页锁定内存转移至普通内存,并从所述普通内存将所述压缩图像存储至所述预定存储位置。
在本申请的一些实施例中,所述下发模块,用于:所述图形处理器将所述压缩图像发送至所述中央处理器的普通内存;所述存储模块,用于:通过所述中央处理器将所述压缩图像从所述普通内存传输至所述预定存储位置。
在本申请的一些实施例中,所述装置还包括三维重建模块,用于:从所述预定存储位置获取待重建对象对应的多个所述压缩图像;基于多个所述压缩图像进行三维重建处理,得到三维模型。
根据本申请的另一实施例,一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被计算机的处理器执行时,使计算机执行本申请实施例所述的方法。
根据本申请的另一实施例,一种电子设备,包括:存储器,存储有计算机程序;处理器,读取存储器存储的计算机程序,以执行本申请实施例所述的方法。
根据本申请的另一实施例,一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例所述的各种可选实现方式中提供的方法。
本申请实施例的图像压缩方案中,通过中央处理器获得相机raw格式数据;通过所述中央处理器将所述相机raw格式数据上传至图形处理器;通过所述图形处理器对所述相机raw格式数据进行图像压缩处理,得到压缩图像。
以这种方式,中央处理器(CPU)通过上传相机raw格式数据至图形处理器(GPU)进行图像压缩,相较于中央处理器(CPU)直接上传彩色图像的方式,从中央处理器(CPU)到图形处理器(GPU)的传输带宽瓶颈小,进而,整体上提升图像压缩效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本申请的一个实施例的图像压缩方法的流程图。
图2示出了根据本申请的一个实施例的数据传输的流程图。
图3示出了根据本申请的一个实施例的图像压缩装置的框图。
图4示出了根据本申请的一个实施例的电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1示意性示出了根据本申请的一个实施例的图像压缩方法的流程图。该图像压缩方法的执行主体可以是任意的设备,包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、VR/AR设备、智能手表以及计算机等等。
如图1所示,该图像压缩方法可以包括步骤S110至步骤S130。
步骤S110,通过中央处理器获得相机raw格式数据;
步骤S120,通过所述中央处理器将所述相机raw格式数据上传至图形处理器;
步骤S130,通过所述图形处理器对所述相机raw格式数据进行图像压缩处理,得到压缩图像。
相机raw格式数据即原始图像编码数据,相机raw格式数据记录了数码相机传感器的原始信息,同时记录了由相机拍摄所产生的一些元数据,包括ISO的设置、快门速度、光圈值、白平衡等。相机raw格式数据是bayer RGGB格式,其中,每个像素1个字节。相机拍摄时记录的相机raw格式数据可以转换为彩色图像,相机raw格式数据转换为彩色图像后的数据量大小扩大至少3倍。
通过中央处理器(CPU)可以主动获取或者被动接收而获得相机的相机raw格式数据,然后,中央处理器(CPU)可以将相机raw格式数据快捷地上传至图形处理器(GPU),图形处理器(GPU)可以对相机raw格式数据进行图像压缩处理,得到压缩图像。
以这种方式,基于步骤S110至步骤S130,中央处理器(CPU)通过上传相机raw格式数据至图形处理器(GPU)进行图像压缩,相较于中央处理器(CPU)直接上传彩色图像的方式,从中央处理器(CPU)到图形处理器(GPU)的传输带宽瓶颈小,进而,整体上提升图像压缩效率。
下面描述图1中实施例进行图像压缩时,所进行的各步骤下其他具体可选实施例。
一种实施例中,参阅图2,步骤S120,所述通过所述中央处理器将所述相机raw格式数据上传至图形处理器,包括:
步骤S210,通过所述中央处理器将所述相机raw格式数据从普通内存转移到页锁定内存;步骤S220,将所述相机raw格式数据从所述页锁定内存上传至所述图形处理器。
中央处理器对应的CPU内存可以分为页锁定内存(page-lock/pinned memory)以及页锁定内存之外的普通内存,普通内存可以是可分页内存(pageable memory)。可分页内存是由操作系统API malloc()在CPU内存上分配的,页锁定内存(page-lock/pinnedmemory)是由CUDA函数cudaHostAlloc()在CPU内存上分配的。
主机的操作系统将不会对页锁定内存进行分页和交换操作,该页锁定内存始终驻留在物理内存中,图形处理器(GPU)知道页锁定内存的物理地址,在页锁定内存和图形处理器(GPU)之间可以通过“直接内存访问(Direct Memory Access,DMA)”技术高效地复制数据。
相机raw格式数据通常会位于普通内存,中央处理器将相机raw格式数据从普通内存转移到页锁定内存,然后,中央处理器可以将相机raw格式数据从页锁定内存通过“直接内存访问(Direct Memory Access,DMA)”技术高效地复制到图形处理器,进而高效地上传至图形处理器,相较于从普通内存上传至中央处理器的方式,进一步提升相机raw格式数据的传输效率,进一步提升图像压缩效率。
一种实施例中,步骤S120,所述通过所述中央处理器将所述相机raw格式数据上传至图形处理器,包括:通过所述中央处理器将所述相机raw格式数据从普通内存上传至所述图形处理器。
由于相机raw格式数据的数据量较小,中央处理器将相机raw格式数据从普通内存上传至图形处理器进行图像压缩,相较于中央处理器将彩色图像从普通内存上传至图形处理器进行图像压缩的方式,也可以提升图像压缩过程的图像数据传输效率,提升图像压缩效率。
一种实施例中,步骤S130,所述通过所述图形处理器对所述相机raw格式数据进行图像压缩处理,得到压缩图像,包括:
通过所述图形处理器将所述相机raw格式数据转换为彩色图片;将所述彩色图片进行压缩处理,得到所述压缩图像。
在图形处理器中将相机raw格式数据转换为彩色图片,从而根据预定压缩方式将彩色图片进行压缩处理,得到压缩图像,基于图形处理器代替中央处理器进行图像压缩,可以提高图像压缩的效率。
一种实施例中,在步骤S130,所述通过所述图形处理器对所述相机raw格式数据进行图像压缩处理,得到压缩图像之后,所述方法还包括:
通过所述图形处理器将所述压缩图像发送至所述中央处理器;通过所述中央处理器将所述压缩图像存储至预定存储位置。
图形处理器进行图形压缩处理得到压缩图像后,图形处理器将图形压缩处理得到压缩图像发送至中央处理器,然后,中央处理器可以将压缩图像传输至预定存储位置进行存储,在需要使用时预定存储位置获取即可,高效完成基于图形处理器代替中央处理器进行图像压缩的全流程,其中,预定存储位置可以设备中硬盘或者预设服务器等。
一种实施例中,所述通过所述图形处理器将所述压缩图像发送至所述中央处理器,包括:通过所述图形处理器将所述压缩图像发送至所述中央处理器的页锁定内存;所述通过所述中央处理器将所述压缩图像存储至预定存储位置,包括:通过所述中央处理器将所述压缩图像从所述页锁定内存转移至普通内存,并从所述普通内存将所述压缩图像存储至所述预定存储位置。
图形处理器可以将压缩图像通过“直接内存访问(Direct Memory Access,DMA)”技术高效地复制到中央处理器的页锁定内存,中央处理器将压缩图像从页锁定内存转移至普通内存,并从普通内存将压缩图像存储至预定存储位置,相较于,图形处理器可以将压缩图像传输至普通内存的方式,可以进一步高效地将压缩图像传输至中央处理器,进一步高效地完成图形处理器代理中央处理器进行图像压缩全流程。
一种实施例中,所述通过所述图形处理器将所述压缩图像发送至所述中央处理器,包括:通过所述图形处理器将所述压缩图像发送至所述中央处理器的普通内存;所述通过所述中央处理器将所述压缩图像存储至预定存储位置,包括:通过所述中央处理器将所述压缩图像从所述普通内存传输至所述预定存储位置。
该实施例下,图形处理器将压缩图像传输至中央处理器的普通内存,中央处理器将压缩图像从普通内存传输至预定存储位置,完成基于图形处理器代替中央处理器进行图像压缩的全流程,相较于基于中央处理器直接进行图像压缩的方式也可以提升图像压缩效率。
一种实施例中,在所述通过所述中央处理器将所述压缩图像存储至预定存储位置之后,所述方法还包括:
从所述预定存储位置获取待重建对象对应的多个所述压缩图像;基于多个所述压缩图像进行三维重建处理,得到三维模型。
采用相机针对待重建对象(例如动物或建筑等对象)进行拍摄,每次拍摄可以产生待重建对象对应的相机raw格式数据,针对待重建对象对应的每个相机raw格式数据进行图像压缩处理,可以得到待重建对象对应的多个压缩图像。
对多个压缩图像可以在解压缩后通过计算机视觉技术(例如视觉几何三维重建以及基于深度学习的三维重建)进行三维重建处理,可以将待重建对象的真实世界3D信息复现到虚拟空间中,进而离线构建出待重建对象对应的三维模型。
进一步的,解压缩后的图像可以包括对象的不同视角的彩色图像,还可以获取对象不同视角的深度图像,基于对象的不同视角的彩色图像和深度图像进行三维重建处理,可以得到用于构建体积视频的三维模型。
其中,基于对象的不同视角的彩色图像和深度图像进行三维重建处理,得到用于构建体积视频的三维模型,可以包括:
先获取拍摄对象的不同视角的彩色图像和深度图像,以及彩色图像对应的相机参数;然后根据获取到的彩色图像及其对应的深度图像和相机参数,训练隐式表达拍摄对象三维模型的神经网络模型,并基于训练的神经网络模型进行等值面提取,实现对拍摄对象的三维重建,得到拍摄对象的三维模型。
应当说明的是,本申请实施例中对采用何种架构的神经网络模型不作具体限制,可由本领域技术人员根据实际需要选取。比如,可以选取不带归一化层的多层感知机(Multilayer Perceptron,MLP)作为模型训练的基础模型。
下面将对本申请提供的三维模型重建方法进行详细描述。
需要说明的是,对象可以是任意物体,包括但不限于人物、动物以及植物等生命物体,或者机械、家具、玩偶等非生命物体。对象在不同视角的彩色图像均具备对应的深度图像。每一彩色图像对应的彩色相机的相机参数。其中,相机参数包括彩色相机的内外参,可以通过标定确定,相机内参为与彩色相机自身特性相关的参数,包括但不限于彩色相机的焦距、像素等数据,相机外参为彩色相机在世界坐标系中的参数,包括但不限于彩色相机的位置(坐标)和相机的旋转方向等数据。
区别于相关技术中将深度信息转换为点云进行三维重建的方式,本申请训练一神经网络模型用以实现对目标物体的三维模型的隐式表达,从而基于该神经网络模型实现对目标物体的三维重建。
可选地,本申请选用一不包括归一化层的多层感知机(Multilayer Perceptron,MLP)作为基础模型,按照如下方式进行训练:
基于对应的相机参数将每一彩色图像中的像素点转化为射线;
在射线上采样多个采样点,并确定每一采样点的第一坐标信息以及每一采样点距离像素点的SDF值;
将采样点的第一坐标信息输入基础模型,得到基础模型输出的每一采样点的预测SDF值以及预测RGB颜色值;
基于预测SDF值与SDF值之间的第一差异,以及预测RGB颜色值与像素点的RGB颜色值之间的第二差异,对基础模型的参数进行调整,直至满足预设停止条件;
将满足预设停止条件的基础模型作为隐式表达目标物体的三维模型的神经网络模型。
首先,基于彩色图像对应的相机参数将彩色图像中的一像素点转化为一条射线,该射线可以为经过像素点且垂直于彩色图像面的射线;然后,在该射线上采样多个采样点,采样点的采样过程可以分两步执行,可以先均匀采样部分采样点,然后再在基于像素点的深度值在关键处进一步采样多个采样点,以保证在模型表面附近可以采样到尽量多的采样点;然后,根据相机参数和像素点的深度值计算出采样得到的每一采样点在世界坐标系中的第一坐标信息以及每一采样点的有向距离(Signed Distance Field,SDF)值,其中,SDF值可以为像素点的深度值与采样点距离相机成像面的距离之间的差值,该差值为有符号的值,当差值为正值时,表示采样点在三维模型的外部,当差值为负值时,表示采样点在三维模型的内部,当差值为零时,表示采样点在三维模型的表面;然后,在完成采样点的采样并计算得到每一采样点对应的SDF值之后,进一步将采样点在世界坐标系的第一坐标信息输入基础模型(该基础模型被配置为将输入的坐标信息映射为SDF值和RGB颜色值后输出),将基础模型输出的SDF值记为预测SDF值,将基础模型输出的RGB颜色值记为预测RGB颜色值;然后,基于预测SDF值与采样点对应的SDF值之间的第一差异,以及预测RGB颜色值与采样点所对应像素点的RGB颜色值之间的第二差异,对基础模型的参数进行调整。
此外,对于彩色图像中的其它像素点,同样按照上述方式进行采样点采样,然后将采样点在世界坐标系的坐标信息输入至基础模型以得到对应的预测SDF值和预测RGB颜色值,用于对基础模型的参数进行调整,直至满足预设停止条件,比如,可以配置预设停止条件为对基础模型的迭代次数达到预设次数,或者配置预设停止条件为基础模型收敛。在对基础模型的迭代满足预设停止条件时,即得到能够对拍摄对象的三维模型进行准确地隐式表达的神经网络模型。最后,可以采用等值面提取算法对该神经网络模型进行三维模型表面的提取,从而得到拍摄对象的三维模型。
可选地,在一些实施例中,根据相机参数确定彩色图像的成像面;确定经过彩色图像中像素点且垂直于成像面的射线为像素点对应的射线。
其中,可以根据彩色图像对应的彩色相机的相机参数,确定该彩色图像在世界坐标系中的坐标信息,即确定成像面。然后,可以确定经过彩色图像中像素点且垂直于该成像面的射线为该像素点对应的射线。
可选地,在一些实施例中,根据相机参数确定彩色相机在世界坐标系中的第二坐标信息及旋转角度;根据第二坐标信息和旋转角度确定彩色图像的成像面。
可选地,在一些实施例中,在射线上等间距采样第一数量个第一采样点;根据像素点的深度值确定多个关键采样点,并根据关键采样点采样第二数量个第二采样点;将第一数量个的第一采样点与第二数量个的第二采样点确定为在射线上采样得到的多个采样点。
其中,先在射线上均匀采样n(即第一数量)个第一采样点,n为大于2的正整数;然后,再根据前述像素点的深度值,从n个第一采样点中确定出距离前述像素点最近的预设数量个关键采样点,或者从n个第一采样点中确定出距离前述像素点小于距离阈值的关键采样点;然后,根据确定出的关键采样点再采样m个第二采样点,m为大于1的正整数;最后,将采样得到的n+m个采样点确定为在射线上采样得到的多个采样点。其中,在关键采样点处再多采样m个采样点,可以使得模型的训练效果在三维模型表面处更为精确,从而提升三维模型的重建精度。
可选地,在一些实施例中,根据彩色图像对应的深度图像确定像素点对应的深度值;基于深度值计算每一采样点距离像素点的SDF值;根据相机参数与深度值计算每一采样点的坐标信息。
其中,在每一像素点对应的射线上采样了多个采样点后,对于每一采样点,根据相机参数、像素点的深度值确定彩色相机的拍摄位置与目标物体上对应点之间的距离,然后基于该距离逐一计算每一采样点的SDF值以及计算出每一采样点的坐标信息。
需要说明的是,在完成对基础模型的训练之后,对于给定的任意一个点的坐标信息,即可由完成训练的基础模型预测其对应的SDF值,该预测的SDF值即表示了该点与目标物体的三维模型的位置关系(内部、外部或者表面),实现对目标物体的三维模型的隐式表达,得到用于隐式表达目标物体的三维模型的神经网络模型。
最后,对以上神经网络模型进行等值面提取,比如可以采用等值面提取算法(Marching cubes,MC)绘制出三维模型的表面,得到三维模型表面,进而根据该三维模型表面得到目标物体的三维模型。
本申请提供的三维重建方案,通过神经网络去隐式建模目标物体的三维模型,并加入深度信息提高模型训练的速度和精度。采用本申请提供的三维重建方案,在时序上持续的对拍摄对象进行三维重建,即可得到拍摄对象在不同时刻的三维模型,这些不同时刻的三维模型按时序构成的三维模型序列即为对拍摄对象所拍摄得到的体积视频。以此,可以针对任意拍摄对象进行“体积视频拍摄”,得到特定内容呈现的体积视频。比如,可以对跳舞的拍摄对象进行体积视频拍摄,得到可以在任意角度观看拍摄对象舞蹈的体积视频,可以对教学的拍摄对象进行体积视频拍摄,得到可以在任意角度观看拍摄对象教学的体积视频,等等。
体积视频(Volumetric Video,又称容积视频、空间视频、体三维视频或6自由度视频等)是一种通过捕获三维空间中信息(如深度信息和色彩信息等)并生成三维模型序列的技术。相对于传统的视频,体积视频将空间的概念加入到视频中,用三维模型来更好的还原真实三维世界,而不是以二维的平面视频加上运镜来模拟真实三维世界的空间感。由于体积视频实质为三维模型序列,使得用户可以随自己喜好调整到任意视角进行观看,较二维平面视频具有更高的还原度和沉浸感。
为便于更好的实施本申请实施例提供的图像压缩方法,本申请实施例还提供一种基于上述图像压缩方法的图像压缩装置。其中名词的含义与上述图像压缩方法中相同,具体实现细节可以参考方法实施例中的说明。图3示出了根据本申请的一个实施例的图像压缩装置的框图。
如图3所示,图像压缩装置300中可以包括获取模块310、上传模块320及压缩模块330。
获取模块310可以用于所述中央处理器获得相机raw格式数据;上传模块320可以用于所述中央处理器将所述相机raw格式数据上传至图形处理器;压缩模块330可以用于所述图形处理器对所述相机raw格式数据进行图像压缩处理,得到压缩图像。
在本申请的一些实施例中,所述上传模块,包括第一上传单元,用于:所述中央处理器将所述相机raw格式数据从普通内存转移到页锁定内存;并将所述相机raw格式数据从所述页锁定内存上传至所述图形处理器。
在本申请的一些实施例中,所述上传模块,包括第二上传单元,用于:所述中央处理器将所述相机raw格式数据从普通内存上传至所述图形处理器。
在本申请的一些实施例中,所述压缩模块,用于:通过所述图形处理器将所述相机raw格式数据转换为彩色图片;将所述彩色图片进行压缩处理,得到所述压缩图像。
在本申请的一些实施例中,所述装置还包括下发模块,用于:所述图形处理器将所述压缩图像发送至所述中央处理器;以及,存储模块,用于所述中央处理器将所述压缩图像存储至预定存储位置。
在本申请的一些实施例中,所述下发模块,用于:所述图形处理器将所述压缩图像发送至所述中央处理器的页锁定内存;所述存储模块,用于:所述中央处理器将所述压缩图像从所述页锁定内存转移至普通内存,并从所述普通内存将所述压缩图像存储至所述预定存储位置。
在本申请的一些实施例中,所述下发模块,用于:所述图形处理器将所述压缩图像发送至所述中央处理器的普通内存;所述存储模块,用于:通过所述中央处理器将所述压缩图像从所述普通内存传输至所述预定存储位置。
在本申请的一些实施例中,所述装置还包括三维重建模块,用于:从所述预定存储位置获取待重建对象对应的多个所述压缩图像;基于多个所述压缩图像进行三维重建处理,得到三维模型。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,本申请实施例还提供一种电子设备,该电子设备可以为终端或者服务器,如图4所示,其示出了本申请实施例所涉及的电子设备的结构示意图,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图4中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该电子设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行计算机设备的各种功能和处理数据,从而对电子设备进行检测。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户页面和应用程序等,调制解调处理器主要处理无线通讯。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器401会按照如下的指令,将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的计算机程序,从而实现本申请前述实施例的各种功能。
如处理器401可以执行:通过中央处理器获得相机raw格式数据;通过所述中央处理器将所述相机raw格式数据上传至图形处理器;通过所述图形处理器对所述相机raw格式数据进行图像压缩处理,得到压缩图像。
在本申请的一些实施例中,所述通过所述中央处理器将所述相机raw格式数据上传至图形处理器,包括:通过所述中央处理器将所述相机raw格式数据从普通内存转移到页锁定内存;将所述相机raw格式数据从所述页锁定内存上传至所述图形处理器。
在本申请的一些实施例中,所述通过所述中央处理器将所述相机raw格式数据上传至图形处理器,包括:通过所述中央处理器将所述相机raw格式数据从普通内存上传至所述图形处理器。
在本申请的一些实施例中,所述通过所述图形处理器对所述相机raw格式数据进行图像压缩处理,得到压缩图像,包括:通过所述图形处理器将所述相机raw格式数据转换为彩色图片;将所述彩色图片进行压缩处理,得到所述压缩图像。
在本申请的一些实施例中,在所述通过所述图形处理器对所述相机raw格式数据进行图像压缩处理,得到压缩图像之后,还包括:通过所述图形处理器将所述压缩图像发送至所述中央处理器;通过所述中央处理器将所述压缩图像存储至预定存储位置。
在本申请的一些实施例中,所述通过所述图形处理器将所述压缩图像发送至所述中央处理器,包括:通过所述图形处理器将所述压缩图像发送至所述中央处理器的页锁定内存;所述通过所述中央处理器将所述压缩图像存储至预定存储位置,包括:通过所述中央处理器将所述压缩图像从所述页锁定内存转移至普通内存,并从所述普通内存将所述压缩图像存储至所述预定存储位置。
在本申请的一些实施例中,所述通过所述图形处理器将所述压缩图像发送至所述中央处理器,包括:通过所述图形处理器将所述压缩图像发送至所述中央处理器的普通内存;所述通过所述中央处理器将所述压缩图像存储至预定存储位置,包括:通过所述中央处理器将所述压缩图像从所述普通内存传输至所述预定存储位置。
在本申请的一些实施例中,在所述通过所述中央处理器将所述压缩图像存储至预定存储位置之后,还包括:从所述预定存储位置获取待重建对象对应的多个所述压缩图像;基于多个所述压缩图像进行三维重建处理,得到三维模型。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成,或通过计算机程序控制相关的硬件来完成,该计算机程序可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例还提供一种计算机可读存储介质,其中存储有计算机程序,该计算机程序能够被处理器进行加载,以执行本申请实施例所提供的任一种方法中的步骤。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的计算机程序,可以执行本申请实施例所提供的任一种方法中的步骤,因此,可以实现本申请实施例所提供的方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请上述实施例中各种可选实现方式中提供的方法。
本领域技术人员在考虑说明书及实践这里公开的实施方式后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的实施例,而可以在不脱离其范围的情况下进行各种修改和改变。

Claims (12)

1.一种图像压缩方法,其特征在于,包括:
通过中央处理器获得相机raw格式数据;
通过所述中央处理器将所述相机raw格式数据上传至图形处理器;
通过所述图形处理器对所述相机raw格式数据进行图像压缩处理,得到压缩图像。
2.根据权利要求1所述的方法,其特征在于,所述通过所述中央处理器将所述相机raw格式数据上传至图形处理器,包括:
通过所述中央处理器将所述相机raw格式数据从普通内存转移到页锁定内存;
将所述相机raw格式数据从所述页锁定内存上传至所述图形处理器。
3.根据权利要求1所述的方法,其特征在于,所述通过所述中央处理器将所述相机raw格式数据上传至图形处理器,包括:
通过所述中央处理器将所述相机raw格式数据从普通内存上传至所述图形处理器。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述通过所述图形处理器对所述相机raw格式数据进行图像压缩处理,得到压缩图像,包括:
通过所述图形处理器将所述相机raw格式数据转换为彩色图片;
将所述彩色图片进行压缩处理,得到所述压缩图像。
5.根据权利要求1至3任一项所述的方法,其特征在于,在所述通过所述图形处理器对所述相机raw格式数据进行图像压缩处理,得到压缩图像之后,所述方法还包括:
通过所述图形处理器将所述压缩图像发送至所述中央处理器;
通过所述中央处理器将所述压缩图像存储至预定存储位置。
6.根据权利要求5所述的方法,其特征在于,所述通过所述图形处理器将所述压缩图像发送至所述中央处理器,包括:
通过所述图形处理器将所述压缩图像发送至所述中央处理器的页锁定内存;
所述通过所述中央处理器将所述压缩图像存储至预定存储位置,包括:
通过所述中央处理器将所述压缩图像从所述页锁定内存转移至普通内存,并从所述普通内存将所述压缩图像存储至所述预定存储位置。
7.根据权利要求5所述的方法,其特征在于,所述通过所述图形处理器将所述压缩图像发送至所述中央处理器,包括:
通过所述图形处理器将所述压缩图像发送至所述中央处理器的普通内存;
所述通过所述中央处理器将所述压缩图像存储至预定存储位置,包括:
通过所述中央处理器将所述压缩图像从所述普通内存传输至所述预定存储位置。
8.根据权利要求5所述的方法,其特征在于,在所述通过所述中央处理器将所述压缩图像存储至预定存储位置之后,所述方法还包括:
从所述预定存储位置获取待重建对象对应的多个所述压缩图像;
基于多个所述压缩图像进行三维重建处理,得到三维模型。
9.一种图像压缩装置,其特征在于,包括:
获取模块,用于所述中央处理器获得相机raw格式数据;
上传模块,用于所述中央处理器将所述相机raw格式数据上传至图形处理器;
压缩模块,用于所述图形处理器对所述相机raw格式数据进行图像压缩处理,得到压缩图像。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,当所述计算机程序被计算机的处理器执行时,使计算机执行权利要求1至8任一项所述的方法。
11.一种电子设备,其特征在于,包括:存储器,存储有计算机程序;处理器,读取存储器存储的计算机程序,以执行权利要求1至8任一项所述的方法。
12.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现权利要求1至8任一项的方法。
CN202210940085.6A 2022-08-05 2022-08-05 图像压缩方法、装置、存储介质、电子设备及产品 Pending CN115442634A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210940085.6A CN115442634A (zh) 2022-08-05 2022-08-05 图像压缩方法、装置、存储介质、电子设备及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210940085.6A CN115442634A (zh) 2022-08-05 2022-08-05 图像压缩方法、装置、存储介质、电子设备及产品

Publications (1)

Publication Number Publication Date
CN115442634A true CN115442634A (zh) 2022-12-06

Family

ID=84243144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210940085.6A Pending CN115442634A (zh) 2022-08-05 2022-08-05 图像压缩方法、装置、存储介质、电子设备及产品

Country Status (1)

Country Link
CN (1) CN115442634A (zh)

Similar Documents

Publication Publication Date Title
CN114119849B (zh) 三维场景渲染方法、设备以及存储介质
CN110998659B (zh) 图像处理系统、图像处理方法、及程序
CN110557625A (zh) 虚拟形象直播方法、终端、计算机设备及存储介质
US20240046557A1 (en) Method, device, and non-transitory computer-readable storage medium for reconstructing a three-dimensional model
US11354774B2 (en) Facial model mapping with a neural network trained on varying levels of detail of facial scans
CN112927362A (zh) 地图重建方法及装置、计算机可读介质和电子设备
CN111612878B (zh) 将静态照片制作成三维效果视频的方法及装置
CN115690382A (zh) 深度学习模型的训练方法、生成全景图的方法和装置
CN112598780A (zh) 实例对象模型构建方法及装置、可读介质和电子设备
CN111612898B (zh) 图像处理方法、装置、存储介质及电子设备
CN115100337A (zh) 一种基于卷积神经网络的全身人像视频重照明方法和装置
CN106651759A (zh) 基于固定位置相机的vr场景优化方法及装置
CN115442658B (zh) 直播方法、装置、存储介质、电子设备及产品
CN116245989A (zh) 体积视频的处理方法、装置、存储介质及计算机设备
CN116095353A (zh) 基于体积视频的直播方法、装置、电子设备及存储介质
CN115546408A (zh) 模型简化方法、装置、存储介质、电子设备及产品
CN116109974A (zh) 体积视频展示方法以及相关设备
WO2024031882A1 (zh) 视频处理方法、装置及计算机可读存储介质
CN115442634A (zh) 图像压缩方法、装置、存储介质、电子设备及产品
CN115830227A (zh) 三维建模方法、装置、存储介质、电子设备及产品
CN116132653A (zh) 三维模型的处理方法、装置、存储介质及计算机设备
WO2024124664A1 (zh) 视频处理方法、装置、计算机设备及计算机可读存储介质
CN116310245A (zh) 体积视频上挂载道具的方法、装置、介质、设备及产品
CN116095338A (zh) 体积视频的解码方法、装置、介质、设备及产品
CN116017083A (zh) 视频回放控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination