图像处理方法、智能终端及具有存储功能的装置
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像处理方法、智能终端及具有存储功能的装置。
背景技术
运动恢复结构和多视图立体视觉是传统的三维重建方法,用于从多张二维图像中计算三维信息。在传统基于视觉的三维重建中,当需要重建出高精度的三维模型时,对拍摄环境和拍摄图像的质量都有较高要求,往往需要从多个不同角度拍摄大量高清的图像以及需要干净的背景,准备这些图像需要花费大量时间,而且大量高分辨率的图像会导致三维重建过程极其缓慢,对计算资源要求很高。
目前,有一些场景迫切需要简单、快速的三维重建方法。比如,电商平台希望能够在其网页上展示商品的三维模型供用户浏览,这时如果使用传统的多目立体视觉来重建该商品的高质量三维模型,需要较为专业的摄影棚进行拍摄以及较好的计算平台进行三维重建,需要付出较大的代价而不利于技术的推广应用。故,有必要提出一种用于三维重建的图像处理方法以解决上述技术问题。
发明内容
本发明的目的是提供一种图像处理方法、智能终端及具有存储功能的装置,能够实现获取包括目标对象全部信息的最小尺寸图像,且同时提高图像的质量,进而大幅降低三维重建的计算量。
为了解决上述技术问题,本发明采用的第一个技术方案是提供一种图像处理方法,该图像处理方法包括:获取原始图像,从原始图像中获取目标对象的掩码信息;其中,掩码信息包括目标对象的前景和背景的分类信息;
对原始图像进行去噪处理,得到原始图像的去噪图像;
根据目标对象的掩码信息从去噪图像中获取目标图像。
为了解决上述技术问题,本发明采用的第二个技术方案是提供一种智能终端,该智能终端包括相互耦接的处理器和人机交互设备,处理器在工作时配合人机交互设备实现如上所述的任一方法中的步骤。
为了解决上述技术问题,本发明采用的第三个技术方案是提供一种具有存储功能的装置,存储有程序数据,程序数据能够被执行以实现如上所述任一方法中的步骤。
本发明的有益效果是:区别于现有技术的情况,本发明的图像处理方法包括获取原始图像,从原始图像中获取目标对象的掩码信息;其中,掩码信息包括前景和背景的分类信息;对原始图像进行去噪处理,得到原始图像的去噪图像;根据目标对象的掩码信息从去噪图像中获取目标图像。本发明通过对原始图像进行去噪处理能提高图像的质量,并根据掩码信息从去噪图像中获取目标图像能够实现获取包括目标对象全部信息的最小尺寸图像,在不丢失有效信息的前提下降低图像的尺寸,进而能大幅降低三维合成的计算量。
附图说明
图1是本发明提供的图像处理方法一实施例的流程示意图;
图2是图1图像处理方法一具体实施方式的图像处理示意图;
图3是本发明提供的智能终端一实施例的结构示意图;
图4是本发明提供的具有存储功能的装置一实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,均属于本发明保护的范围。
本发明为了获取目标对象的目标图像,对原始图像进行去噪处理,并从原始图像中获取包括前景和背景分类信息的掩码信息,进而根据掩码信息从去噪图像中获取目标图像。本发明的目标图像为包括目标对象全部信息的最小尺寸图像,且目标图像的质量相比于原始图像得到了提高。以下,结合图1-图2详细说明本发明图像处理方法的具体过程。
请参阅图1,图1是本发明提供的图像处理方法一实施例的流程示意图,主要包括三个步骤。
S101:获取原始图像,从原始图像中获取目标对象的掩码信息;其中,掩码信息包括目标对象的前景和背景的分类信息。
原始图像为对目标对象进行不同角度拍摄得到的可能包含目标对象和背景的原始二维图像,智能终端对目标对象进行多个不同角度的拍摄得到目标对象的多幅原始图像。本实施例中的智能终端为智能相机,在其他实施例中,智能终端还可以为智能手机、平板电脑、手提电脑等。
具体地,智能终端从原始图像中获取目标对象的初始掩码信息,在一个可选的实施方式中,初始掩码信息包括目标对象初始的前景和背景的分类信息,判断初始的前景和背景的分类信息是否准确,大多数情况下都会存在分类不准类的信息,将初始掩码信息与原始图像进行融合计算,以原始图像为依据对分类不准类的信息进行修正,进而得到前景和背景分类信息准确的掩码信息。
为了清楚说明上述实施方式,在一具体实施方式中,如图2所示,图2是图1图像处理方法一具体实施方式的图像处理示意图。在本实施方式中,以目标对象为一朵花为例来说明,用智能相机或其他智能设备拍摄得到包含目标对象花和背景的原始图像A,原始图像A中的花为前景,除开目标对象花以外的部分为背景。从原始图像A中提取目标对象花的特征信息,其中,可以通过使用基于图像识别数据库ImageNet上预训练的模型或者使用图像识别数据库ImageNet训练自定义的基础网络来提取特征信息,特征信息包括目标对象花的颜色、前景与背景的分类信息以及背景的纹理信息,在其他实施方式中还包括目标对象的其他特征信息,如形状等。根据提取的特征信息通过反卷积层等网络层进行图像空间结构推断对原始图像中的每个像素进行前景和背景分类,判断原始图像A中每个像素所属的类别,其中,属于花的像素为前景部分,除开花以外的像素属于背景部分,从而获取目标对象花的初始掩码信息B,在初始掩码信息B中存在前景和背景分类不准确的像素,将初始掩码信息B与原始图像A进行融合计算,以原始图像A为依据对前景和背景分类不准确的像素进行修正进而得到分类准确的掩码信息C。其中,初始掩码信息B和掩码信息C中的填充区域代表背景部分。
在其他实施例中,也可以通过原始图像A直接得到掩码信息C,在此不做具体限定。
S102:对原始图像进行去噪处理,得到原始图像的去噪图像。
图像在数字化和传输过程中经常会受到成像设备与外部环境噪声干扰的影响,这些图像成为噪声图像。原始图像中含有噪声,这些噪声会影响图像的质量,为了提高图像的质量需要将这些噪声去除掉。本实施例中通过神经网络计算方式对原始图像进行去噪处理,得到原始图像的去噪图像,去噪图像的尺寸和原始图像的尺寸大小相同。在其他实施例中也可以通过其他方式进行去噪处理,比如通过滤波器去除噪声。具体地,本实施例通过网络参数训练进行去噪处理,其中,训练数据集可以采用仿真的方式获得。
在一具体实施方式中,进一步地如图2所示,原始图像A中含有噪声,图2中的小圆圈代表噪声,通过神经网络计算方式对原始图像A进行去噪处理,得到原始图像A的去噪图像D,由图2可以看出,去噪图像D相比于原始图像A的质量得到了提高。
S103:根据目标对象的掩码信息从去噪图像中获取目标图像。
在S101和S102中分别得到了掩码信息和去噪图像,S103根据掩码信息中前景和背景的分类信息从去噪图像中去除背景进而得到目标图像,其中,目标图像的尺寸不大于原始图像的尺寸。具体地,对背景去除部分进行训练,背景去除的训练数据可以采用公开的数据集,也可以自行拍摄图片进行标注。
在一具体实施方式中,进一步地如图2所示,掩码信息C中的前景部分为目标对象花,前景部分和背景部分的像素值分别为1和0,像素值为0的背景部分代表不需要的信息,像素值为1代表需要的有效信息,依据掩码信息C在去噪图像D中将不需要的背景部分去除掉,进而得到目标图像E,目标图像E的尺寸一般小于原始图像A。
在另一个实施方式中,重复上述步骤得到目标对象的多幅不同角度的二维目标图像,进而根据得到的多幅二维目标图像合成目标对象的三维图像。
区别于现有技术的情况,本发明的图像处理方法包括获取原始图像,从原始图像中获取目标对象的掩码信息;其中,掩码信息包括目标对象的前景和背景的分类信息;对原始图像进行去噪处理,得到原始图像的去噪图像;根据目标对象的掩码信息从去噪图像中获取目标图像。本发明通过对原始图像进行去噪处理能提高图像的质量,并根据掩码信息从去噪图像中获取目标图像能够实现获取包括目标对象全部信息的最小尺寸图像,在不丢失有效信息的前提下降低目标图像的尺寸,进而能大幅降低三维合成的计算量。
请参阅图3,图3是本发明提供的智能终端一实施例的结构示意图。智能终端30包括处理器301和人机交互设备302,处理器301耦接人机交互设备302。人机交互设备302用于与用户进行人机交互,处理器301用于根据人机交互设备302感知到的用户选择做出响应和处理,并控制人机交互设备302通知用户已完成处理或者目前的处理状态。
原始图像为对目标对象进行不同角度拍摄得到的可能包含目标对象和背景的原始二维图像,智能终端30对目标对象进行多个不同角度的拍摄得到目标对象的多幅原始图像。本实施例中的智能终端30为智能相机,在其他实施例中,智能终端30还可以为智能手机、平板电脑、手提电脑等。
具体地,处理器301用于从原始图像中获取目标对象的初始掩码信息,在一个可选的实施方式中,初始掩码信息包括前景和背景的分类信息;处理器301判断初始掩码信息中包含的前景与背景的分类信息是否准确,大多数情况下都会存在不准确的分类信息,处理器301将初始的前景和背景的分类信息与原始图像进行融合计算,并以原始图像为依据对不准确的分类信息进行修正,进而得到前景和背景分类信息准确的掩码信息。
在一具体实施方式中,进一步如图2所示,目标对象为一朵花,用智能相机或其他智能设备拍摄得到包含目标对象花和背景的原始图像A,原始图像A中的花为前景部分,除开花以外的部分为背景。处理器301用于从原始图像A中提取目标对象花的特征信息,其中,可以通过使用基于图像识别数据库ImageNet上预训练的模型或者使用图像识别数据库ImageNet训练自定义的基础网络来提取特征信息,特征信息包括目标对象花的颜色、前景和背景的分类信息以及背景的纹理信息,在其他实施方式中还包括目标对象的其他特征信息,如形状等。处理器301根据提取的特征信息通过反卷积层等网络层进行图像空间结构推断对前景和背景进行分类从而获取包含初始的前景和背景分类信息的初始掩码信息B,在初始掩码信息B中存在前景和背景分类不准确的信息,将初始掩码信息B与原始图像A进行融合计算,以原始图像A为依据对初始掩码信息中不准确的分类信息进行修正进而得到分类信息准确的掩码信息C。图2中初始掩码信息B和掩码信息C中的填充区域代表背景部分。
在其他实施例中,处理器301也可以由原始图像A直接得到掩码信息C,在此不做具体限定。
图像在数字化和传输过程中经常会受到成像设备与外部环境噪声干扰的影响,这些图像成为噪声图像。原始图像中含有噪声,这些噪声会影响图像的质量,为了提高图像的质量需要将这些噪声去除掉。本实施例中的处理器301通过神经网络计算方式对原始图像进行去噪处理,得到原始图像的去噪图像,去噪图像的尺寸和原始图像的尺寸大小相同。在其他实施例中也可以通过其他方式进行去噪处理,比如通过滤波器去除噪声。具体地,本实施例通过网络参数训练进行去噪处理,其中,训练数据集可以采用仿真的方式获得。
在一具体实施方式中,进一步地如图2所示,原始图像A中含有噪声,图2中的小圆圈代表噪声,处理器301通过神经网络计算方式对原始图像A进行去噪处理,得到原始图像A的去噪图像D,由图2可以看出,去噪图像D相比于原始图像A的质量得到了提高。
处理器301根据掩码信息中前景和背景的分类信息从去噪图像中去除背景进而得到目标图像,其中,目标图像的尺寸不大于原始图像的尺寸。具体地,处理器301对背景去除部分进行训练,背景去除的训练数据可以采用公开的数据集,也可以自行拍摄图片进行标注。
在一具体实施方式中,进一步地如图2所示,掩码信息C中的前景部分为目标对象花,前景部分和背景部分的像素值分别为1和0,像素值为0的背景部分代表不需要的信息,像素值为1代表需要的有效信息,处理器301依据掩码信息C在去噪图像D中将不需要的背景部分去除掉,进而得到目标图像E,目标图像E的尺寸一般小于原始图像A。
在另一实施方式中,人机交互设备302接收到合成三维图像的指令,则处理器301重复上述步骤得到目标对象的多幅不同角度的二维目标图像,进而根据得到的多幅二维目标图像合成目标对象的三维图像。
区别于现有技术的情况,本发明的图像处理方法包括获取原始图像,从原始图像中获取目标对象的掩码信息;其中,掩码信息包括前景和背景的分类信息;对原始图像进行去噪处理,得到原始图像的去噪图像;根据目标对象的掩码信息从去噪图像中获取目标图像。本发明通过对原始图像进行去噪处理能提高图像的质量,并根据掩码信息从去噪图像中获取目标图像能够实现获取包括目标对象全部信息的最小尺寸图像,在不丢失有效信息的前提下降低目标图像的尺寸,进而能大幅降低三维合成的计算量。
请参阅图4,图4是本发明提供的具有存储功能的装置一实施例的结构示意图。具有存储功能的装置40中存储有至少一个程序或指令401,程序或指令401用于执行上述任一一种处理信息方法。在一个实施例中,具有存储功能的装置可以是移动设备中的存储设备。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明的有益效果是:区别于现有技术的情况,本发明的图像处理方法包括获取原始图像,从原始图像中获取目标对象的掩码信息;其中,掩码信息包括前景和背景的分类信息;对原始图像进行去噪处理,得到原始图像的去噪图像;根据目标对象的掩码信息从去噪图像中获取目标图像。本发明通过对原始图像进行去噪处理能提高图像的质量,并根据掩码信息从去噪图像中获取目标图像能够实现获取包括目标对象全部信息的最小尺寸图像,在不丢失有效信息的前提下降低目标图像的尺寸,进而能大幅降低三维合成的计算量。
以上仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。