CN110458749B - 图像处理方法、装置及终端设备 - Google Patents
图像处理方法、装置及终端设备 Download PDFInfo
- Publication number
- CN110458749B CN110458749B CN201810430332.1A CN201810430332A CN110458749B CN 110458749 B CN110458749 B CN 110458749B CN 201810430332 A CN201810430332 A CN 201810430332A CN 110458749 B CN110458749 B CN 110458749B
- Authority
- CN
- China
- Prior art keywords
- image
- coefficient matrix
- value
- fusion
- fusion coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims abstract description 197
- 230000004927 fusion Effects 0.000 claims abstract description 190
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000001914 filtration Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 18
- 238000013461 design Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 238000010606 normalization Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000020411 cell activation Effects 0.000 description 3
- 229910044991 metal oxide Inorganic materials 0.000 description 3
- 150000004706 metal oxides Chemical class 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 229910000577 Silicon-germanium Inorganic materials 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- JBRZTFJDHDCESZ-UHFFFAOYSA-N AsGa Chemical compound [As]#[Ga] JBRZTFJDHDCESZ-UHFFFAOYSA-N 0.000 description 1
- LEVVHYCKPQWKOP-UHFFFAOYSA-N [Si].[Ge] Chemical compound [Si].[Ge] LEVVHYCKPQWKOP-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G06T3/04—
Abstract
本申请实施例提供一种图像处理方法、装置及终端设备，该方法包括：获取第一图像和该第一图像对应的深度图；根据该第一图像和该深度图，确定非二值化融合系数矩阵；根据该非二值化融合系数矩阵，对该第一图像和该第一图像对应的风格化图进行融合得到结果图。通过第一图像中背景部分的深度值与该背景部分在该非二值化融合系数矩阵中对应于的系数值相关，使得结果图中离该主体部分越近的背景部分被风格化的程度越小，离该主体部分越远的背景部分被风格化的程度越大，从而使得结果图中的主体部分边缘与背景部分融合的更加自然。
Description
技术领域
本申请涉及通信技术领域，特别涉及图像处理方法、装置及终端设备。
背景技术
风格化是指在保持图片内容不变的情况下对其风格进行变换的技术。在现有技术中，可对目标图像进行全局风格化得到该目标图像的风格化图，进一步采用二值化融合系数矩阵对目标图像和该目标图像对应的风格化图进行融合得到结果图，使得该结果图中的主体部分保持不变、背景部分被完全风格化。
但是，结果图中的主体部分边缘和背景部分融合的并不自然。
发明内容
本申请提供了一种图像处理方法、装置及终端设备，以对目标图像进行局部风格化处理后得到的结果图中的主体部分边缘和背景部分可以自然融合。
第一方面，本申请提供了一种图像处理方法，该方法包括：获取第一图像和该第一图像对应的深度图；根据该第一图像和该深度图，确定非二值化融合系数矩阵；根据该非二值化融合系数矩阵，对该第一图像和该第一图像对应的风格化图进行融合得到结果图，其中，非二值化融合系数矩阵是相对于二值化融合系数矩阵而言的，二值化融合系数矩阵的每个系数值为0或1，非二值化融合系数矩阵的每个系数值是0到1之间的值，0到1之间的值是指大于或等于0且小于或等于1的值,可以理解的是,非二值化融合系数矩阵中可以有一个或多个系数值等于1或0,但非二值化融合系数矩阵中至少有一个系数值的取值范围为大于0且小于1。通过本实施例提供的方案，可使得结果图中的主体部分边缘与背景部分融合的更加自然。
在一种可能的设计中，该根据该第一图像和该深度图，确定非二值化融合系数矩阵，包括：根据该第一图像，确定第一融合系数矩阵，该第一融合系数矩阵包括第一系数值和第二系数值，该第一系数值用于标识该第一图像中的主体部分，该第二系数值用于标识该第一图像中除该主体部分之外的部分；对该深度图进行预处理得到第二图像；根据该第二图像和该第一融合系数矩阵，确定该非二值化融合系数矩阵。其中，该主体部分是指该第一图像中的显著性区域,该显著性区域为通过显著性主体检测算法处理得到的,该显著性主体检测算法可以参考现有技术中的算法,此处不再赘述。
在一种可能的设计中，该根据该第二图像和该第一融合系数矩阵，确定该非二值化融合系数矩阵，包括：根据该第一融合系数矩阵，对该第二图像的深度值进行调整得到第三图像；根据该第三图像，确定该非二值化融合系数矩阵。可选的，根据所述第一融合系数矩阵，对所述第二图像的深度值进行调整得到第三图像，并不是根据所述第一融合系数矩阵对所述第二图像的全部深度值进行调整得到第三图像，而是对所述第二图像的部分深度值进行调整得到第三图像。
在一种可能的设计中，该根据该第一融合系数矩阵，对该第二图像的深度值进行调整得到第三图像，包括：根据该第一融合系数矩阵中该第一系数值对应的第一位置，确定该第二图像中与该第一位置对应的第二位置；根据该第一融合系数矩阵中的该第一系数值，对该第二图像中该第二位置对应的深度值进行调整得到该第三图像。
在一种可能的设计中，该根据该第一融合系数矩阵，对该第二图像的深度值进行调整得到第三图像，包括：对该第一融合系数矩阵中相邻的该第一系数值和该第二系数值进行滤波处理得到第二融合系数矩阵；根据该第二融合系数矩阵中除该第二系数值之外的其他系数值对应的第一位置，确定该第二图像中与该第一位置对应的第二位置；根据该第二融合系数矩阵中除该第二系数值之外的其他系数值，对该第二图像中该第二位置对应的深度值进行调整得到该第三图像。通过本实施例提供的方案，可使得结果图中的主体部分可以与背景部分更加自然的融合。
在一种可能的设计中，该第三图像中与该第二位置对应的第三位置的深度值小于或等于预设值。可选的，该预设值为大于或等于0.05且小于或等于0.2范围内的有理小数；可选的，该预设值为0.1。
在一种可能的设计中，该第三图像中与该第二位置对应的第三位置的深度值全部相同。
在一种可能的设计中，该第三图像中与该第二位置对应的第三位置的深度值部分相同。
在一种可能的设计中，该根据该非二值化融合系数矩阵，对该第一图像和该第一图像对应的风格化图进行融合得到结果图之前，还包括：通过风格化前向网络对该第一图像进行风格化处理得到该第一图像对应的风格化图。
在一种可能的设计中，该风格化前向网络包括至少一个Fire模块。通过本实施例提供的方案，可减小该风格化前向网络所需的存储空间、提高该风格化前向网络的运算速度。
在一种可能的设计中，该风格化前向网络还包括第一卷积层、第二卷积层、第三卷积层、第一反卷积层、第二反卷积层、第四卷积层；该通过风格化前向网络对该第一图像进行风格化处理得到该第一图像对应的风格化图，包括：通过该第一卷积层、该第二卷积层、该第三卷积层、该至少一个Fire模块、该第一反卷积层、该第二反卷积层、该第四卷积层依次对该第一图像进行风格化处理得到该第一图像对应的风格化图；其中，该第一卷积层、该第二卷积层、该第三卷积层分别对应的卷积核个数依次增大，该第一卷积层、该第二卷积层、该第三卷积层分别对应的卷积核大小依次减小；该第一反卷积层、该第二反卷积层分别对应的卷积核个数依次减小，该第一反卷积层、该第二反卷积层分别对应的卷积核大小依次增大。
第二方面，本申请提供一种图像处理装置，包括用于实现上述第一方面的图像处理方法的模块，部件或者电路。
第三方面，本申请提供一种终端设备，包括：
存储器和处理器，所述存储器和所述处理器耦合；
所述处理器用于执行如第一方面所述的方法。
在一种可能的设计中，第二方面中的图像处理装置可以为终端设备，也可以为终端设备的部件(例如芯片或者电路)。
第四方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如第一方面所述的方法。
第五方面，本申请提供一种计算机程序，当所述计算机程序被计算机执行时，用于执行第一方面所述的方法。
在一种可能的设计中，第五方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。
可见，在以上各个方面，通过获取第一图像和该第一图像的深度图，根据该第一图像和该深度图确定出非二值化融合系数矩阵，根据该非二值化融合系数矩阵对第一图像和该第一图像的风格化图进行融合得到结果图，该非二值化融合系数矩阵中某一位置上系数值的大小与结果图中同一位置被风格化的程度相关，因此，通过该第一图像中的主体部分在该非二值化融合系数矩阵中对应于较小的系数值，可使得结果图中的主体部分没有被风格化或被风格化的程度很小，从而保留下该主体部分；该第一图像中背景部分的深度值与该背景部分在该非二值化融合系数矩阵中对应于的系数值相关，使得结果图中离该主体部分越近的背景部分被风格化的程度越小，离该主体部分越远的背景部分被风格化的程度越大，从而使得结果图中的主体部分边缘与背景部分融合的更加自然。
附图说明
图1为本申请实施例提供的一种应用场景示意图；
图2为本申请提供的一种图像处理方法示意图；
图3为本申请提供的一种图像处理方法示意图；
图4为本申请提供的一种图像处理方法示意图；
图5为本申请提供的一种第一图像的示意图；
图6为本申请提供的一种第一融合系数矩阵的示意图；
图7为本申请提供的一种第一图像的示意图；
图8为本申请提供的一种第二图像的示意图；
图9为本申请提供的一种根据第一融合系数矩阵和第二图像得到非二值化融合系数矩阵的示意图；
图10为本申请提供的一种黑白图的示意图；
图11为本申请提供的一种对第一融合系数矩阵的部分系数值进行过滤的示意图；
图12为本申请提供的另一种根据第一融合系数矩阵和第二图像得到非二值化融合系数矩阵的示意图；
图13为本申请实施例提供的再一种根据第一融合系数矩阵和第二图像得到非二值化融合系数矩阵的示意图；
图14为本申请实施例提供的一种Fire模块的结构示意图；
图15为本申请实施例提供的一种通过风格化前向网络对第一图像进行处理的示意图；
图16为本申请实施例提供的另一种Fire模块的结构示意图；
图17为本申请实施例提供的一种终端设备的结构示意图；
图18为本申请实施例提供的一种图像处理装置的结构示意图；
图19为本申请实施例提供的一种通信装置的结构示意图。
具体实施方式
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。
本申请实施例可应用于各种类型的通信系统。图1为本申请实施例提供的一种应用场景示意图。如图1所示的通信系统，主要包括网络设备11和终端设备12。
其中，1)网络设备11可以是接入网设备，是一种为终端设备提供无线通信功能的设备。接入网设备可以包括基站，例如，无线保真(Wireless-Fidelity，WIFI)的接入点AP、下一代通信的基站，如5G的gNB或小站、微站，TRP，还可以是中继站、接入点、车载设备、可穿戴设备等。在本实施例中，不同通信制式的通信系统中的基站不同。为了区别起见，将4G通信系统的基站称为LTE eNB，5G通信系统的基站称为NR gNB，既支持4G通信系统又支持5G通信系统的基站称为eLTE eNB,这些名称仅为了方便区别，并不具有限制意义。
2)终端设备12，是一种向用户提供语音和/或数据连通性的设备，例如，可以是用户设备(User Equipment，UE)、具有无线连接功能的手持式设备、车载设备等。常见的终端设备例如包括：手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobile internetdevice，MID)、可穿戴设备，例如智能手表、智能手环、计步器等。
3)“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
需要说明的是，图1所示的通信系统中所包含的终端设备12的数量和类型仅仅是一种距离，本申请实施例病不限制于此。例如，还可以包括更多的与网络设备11进行通信的终端设备12，为简明描述，不在附图中一一描述。此外，在如图1所示的通信系统中，尽管示出了网络设备11和终端设备12，但是该通信系统可以并不限于包括网络设备11和终端设备12，例如还可以包括核心网设备或用于承载虚拟化网络功能的设备等，这些对于本领域技术人员而言是显而易见的，在此不一一赘述。
另外，本申请实施例不仅可应用于下一代无线通信系统,即5G通信系统，还可应用于未来可能出现的其他系统,例如下一代的wifi网络、5G车联网等。
下面对本申请实施例所涉及的网元及功能进行解释：
终端设备，例如可以是用户设备：包括全球用户识别卡(Universal SubscriberIdentity Module，USIM)卡和移动设备(Mobile Equipment，ME)，用于发送或接收数据，在初次使用时向网络发送注册请求消息。
gNB：5G网络中的无线基站，功能与4G中的eNB功能相同。接收UE发送的注册请求消息，识别AMF下发的指示信息，在接入层(Access Stratum，AS)安全模式命令(SecurityMode Command,SMC)消息中加入选择的密钥长度指示消息。
图像风格化：是指将风格图的风格迁移到内容图上得到结果图。它所展示出来的效果是结果图在风格上与风格图相似，在内容上与内容图相同，保留了内容图的空间结构。
需要说明的是，随着通信系统的不断演进，未来可能出现的其他系统中，上述各个网元的名称可能会发生变化，在这种情况下，本申请实施例提供的方案同样适用。
图2为本申请提供的一种图像处理方法示意图。如图2所示，目标图像可以是终端设备拍摄的图像，也可以是该终端设备从其他设备例如服务器、其他终端设备获取的图像。该目标图像作为风格化前向网络的输入经过该风格化前向网络处理后得到风格化图，该风格化前向网络可以根据图像分类模型训练得到，该风格化前向网络的作用是对输入的图像进行图像风格化，可以理解，该风格化图是该风格化前向网络对该目标图像进行全局风格化后得到的图像。如果该目标图像中包括主体部分例如人物时，对该目标图像进行全局风格化后，可能会导致该风格化图中的主体部分发生扭曲或变形。因此，针对该问题，提出了对该目标图像进行局部风格化的图像处理方法，如图2所示，该目标图像经过全卷积神经网络处理后得到二值化融合系数矩阵，该二值化融合系数矩阵由0和1组成，可选的，0对应于该目标图像中的主体部分，1对应于该目标图像中除主体部分之外的部分例如背景部分。进一步，采用该二值化融合系数矩阵对目标图像和该目标图像对应的风格化图进行融合得到结果图，在该结果图中，主体部分保持不变、背景部分被完全风格化。但是，结果图中的主体部分边缘和背景部分融合的并不自然。为了解决该问题，本申请提出了一种图像处理方法。该图像处理方法通过非二值化融合系数矩阵对目标图像和该目标图像对应的风格化图进行融合得到结果图。其中，非二值化融合系数矩阵是相对于二值化融合系数矩阵而言的，二值化融合系数矩阵的每个系数值为0或1，非二值化融合系数矩阵的每个系数值是0到1之间的值，0到1之间的值是指大于或等于0且小于或等于1的值。下面结合实施例对该图像处理方法进行详细的描述。
图3为本申请提供的一种图像处理方法示意图。如图3所示，本实施例所述的图像处理方法包括如下步骤：
步骤S301、获取第一图像和所述第一图像对应的深度图。
在本实施例中，第一图像具体可以是图2中的目标图像。该第一图像可以是终端设备拍摄的图像，也可以是该终端设备从其他设备例如服务器、其他终端设备获取的图像，如果该第一图像是该终端设备从其他设备例如服务器、其他终端设备获取的图像，则该终端设备可根据该第一图像确定出该第一图像对应的深度图。如果该第一图像是该终端设备拍摄的图像，则该终端设备获取该第一图像和该第一图像对应的深度图可以有如下几种可行的实现方式：
一种可行的实现方式是：该终端设备设置有一个摄像头，该摄像头为三原色(RedGreen Blue,RGB)摄像头。当该终端设备接收到用户的拍摄指令后，拍摄获得RGB图，该RGB图为第一图像，进一步，该终端设备将该RGB图转换为深度图。
另一种可行的实现方式是：该终端设备设置有两个摄像头，其中一个摄像头为RGB摄像头，另一个摄像头为灰度摄像头。当该终端设备接收到用户的拍摄指令后，同时生成RGB图和灰度图，该RGB图为第一图像；进一步，该终端设备根据该RGB图和该灰度图生成深度图。
再一种可行的实现方式是：该终端设备设置有两个摄像头，其中一个摄像头为RGB摄像头，另一个摄像头为深度摄像头。当该终端设备接收到用户的拍摄指令后，同时生成RGB图和深度图，该RGB图为第一图像。
又一种可行的实现方式是：该终端设备设置有三个摄像头，其中一个摄像头为RGB摄像头，另外两个摄像头均为红外摄像头。当该终端设备接收到用户的拍摄指令后，同时生成RGB图和两张红外图，该RGB图为第一图像。
另外，终端设备获取该第一图像和该第一图像对应的深度图不限于上述几种可行的实现方式，还可以有其他的获取方式，此处只是示意性说明，并不对获取方式做具体限定。
步骤S302、根据所述第一图像和所述深度图，确定非二值化融合系数矩阵。
在本实施例中，根据所述第一图像和所述深度图，确定非二值化融合系数矩阵的一种可实现方式是：根据所述第一图像，确定第一融合系数矩阵，所述第一融合系数矩阵包括第一系数值和第二系数值，所述第一系数值用于标识所述第一图像中的主体部分，所述第二系数值用于标识所述第一图像中除所述主体部分之外的部分；对所述深度图进行预处理得到第二图像；根据所述第二图像和所述第一融合系数矩阵，确定所述非二值化融合系数矩阵。其中，该主体部分是指该第一图像中的显著性区域。
如图4所示，采用显著性主体检测算法对第一图像中的主体部分进行检测，根据检测出的主体部分可确定出该第一图像中除主体部分之外的部分例如背景部分，根据主体部分和背景部分可得到第一融合系数矩阵，具体的，该第一融合系数矩阵可以是二值化融合系数矩阵，该二值化融合系数矩阵的大小与该第一图像的大小相等，该二值化融合系数矩阵包括0和1，在本实施例中，将0记为第一系数值，将1记为第二系数值。在该二值化融合系数矩阵中，0的部分对应于该第一图像中的主体部分，1的部分对应于该第一图像中的背景部分。另外，根据第一图像得到第一融合系统矩阵所采用的算法可以不限于显著性主体检测算法，还可以是其他的算法。
如图4所示，该第一图像对应的深度图经过预处理后得到第二图像，该第二图像具体为预处理后的深度图。可以理解，深度图的每个像素值表示拍摄设备距离物体的实际距离，当物体距离拍摄设备越远时，该物体在深度图中对应的像素值越大。在本实施例中，该拍摄设备可以是具有拍摄功能的终端设备。为了区别于第一图像的像素值，本实施例将深度图的像素值记为深度值。
在本实施例中，对深度图进行预处理得到第二图像包括如下几种可行的实现方式：
一种可行的实现方式是：对深度图中的每一个深度值进行归一化处理得到该第二图像，例如，深度图中的每一个深度值表示一个实际距离，该深度图中不同位置的深度值可能是不同的，对深度图中的每一个深度值进行归一化处理后，可以将每一个深度值表示的实际距离归一化为0到1之间的值，从而使得第二图像的每一个深度值均为0到1之间的值。例如，将该深度图中最大的深度值记为max,将该深度图中最小的深度值记为min,该深度图中某一位置的深度值记为x，则对该深度值x归一化的方法如下公式(1)所示：
Y＝(x-min)/(max-min) (1)
其中，Y表示该第二图像中的深度值，深度值Y在该第二图像中的位置与该深度值x在该深度图中的位置对应。
另一种可行的实现方式是：对深度图进行归一化处理后再进行直方图均衡得到第二图像。可以理解，该第二图像的每一个深度值还是0到1之间的值。可以理解，对深度图进行预处理后得到的第二图像的大小和该深度图的大小相等。
如图4所示，根据该第二图像和该第一融合系数矩阵可确定出非二值化融合系数矩阵，具体的，根据所述第一融合系数矩阵，对所述第二图像的深度值进行调整得到第三图像；根据所述第三图像，确定所述非二值化融合系数矩阵。此处，根据所述第一融合系数矩阵，对所述第二图像的深度值进行调整得到第三图像，并不是根据所述第一融合系数矩阵对所述第二图像的全部深度值进行调整得到第三图像，而是对所述第二图像的部分深度值进行调整得到第三图像。可选的，该非二值化融合系数矩阵的大小与第二图像的大小相等，也与第一融合系数矩阵的大小相等。可选的，该第三图像对应的深度值为该非二值化融合系数矩阵的系数值，例如，该非二值化融合系数矩阵中任一位置上的系数值可以是该第三图像中同一位置上的深度值。由于第一融合系数矩阵中任一位置上的系数值为0或1、第二图像的每个深度值为0到1之间的值，可以理解，该非二值化融合系数矩阵的每个系数值也是0到1之间的值，在本实施例中，0到1之间的值具体是指大于或等于0且小于或等于1的值。
如图5所示，50表示第一图像，51表示该第一图像中的主体部分例如人物，第一图像50中除主体部分51之外的部分为背景部分，52表示该第一图像的一个像素点。此处只是示意性说明，并不限定第一图像的大小、分辨率、主体部分的形状、背景部分的内容等，此外，主体部分不限于是人物，还可以是其他目标物体。具体的，采用如图4所示的显著性主体检测算法可识别出该第一图像50中的主体部分51，进一步，将该第一图像50中主体部分对应的像素值设置为0，将该第一图像50中背景部分对应的像素值设置为1，以得到第一融合系数矩阵即二值化融合系数矩阵，该第一融合系数矩阵具体如图6所示的60，其中，虚线61内部对应于第一图像50中的主体部分51，虚线61之外的部分对应于第一图像50中的背景部分。
如图7所示，在图5所示的基础上，假设第一图像50是终端设备拍摄获得的图像，当该终端设备进行拍摄时，虚线70内对应的物体距离该终端设备较近，虚线70之外剩余部分对应的物体距离该终端设备较远，可以理解，在第一图像50对应的深度图中，虚线70内对应的深度值较小，剩余部分对应的深度值较大，进一步，对该深度图进行预处理得到第二图像，使得该第二图像中每个像素点上的深度值在0到1之间。另外，在第二图像中，虚线70内不同位置的深度值可能不同，虚线70之外的剩余部分中不同位置的深度值也有可能不同。可选的，该第二图像如图8所示的80，第二图像80中每个像素点的深度值均在0到1之间，虚线70内的深度值是0到1之间较小的值，虚线70之外剩余部分的深度值是0到1之间较大的值，此处只是示意性说明，并不对第二图像的大小以及每个位置的深度值具体限定。
在本实施例中，根据所述第一融合系数矩阵，对所述第二图像的部分深度值进行调整得到第三图像的一种可实现方式是：根据所述第一融合系数矩阵中所述第一系数值对应的第一位置，确定所述第二图像中与所述第一位置对应的第二位置；根据所述第一融合系数矩阵中的所述第一系数值，对所述第二图像中所述第二位置对应的深度值进行调整得到第三图像。
如图9所示，该第一融合系数矩阵60中第一系数值即0对应的第一位置在虚线61内，第二图像80中与该第一位置对应的第二位置在虚线90内。根据第一融合系数矩阵60中的第一系数值即0调整第二图像80中虚线90内的深度值，一种可行的实现方式是：将第二图像80中虚线90内的深度值全部调整为0，在本实施例中，将对第二图像80中部分深度值进行调整后得到的图像记为第三图像，如图9所示，91表示第三图像，第三图像91中与第二图像80中的第二位置对应的第三位置在虚线92内，虚线92内的深度值均为0。作为另一种可行的实现方式是：将第二图像80中虚线90内的深度值调整为小于或等于预设值的深度值，例如，该预设值为0.1，则图9中虚线92内的深度值还可以小于或等于0.1，作为一种可能的情况，图9中虚线92内的深度值可以均为0或均为0.1；作为另一种可能的情况，图9中虚线92内的深度值可以部分为0部分为0.1。进一步，根据第三图像91确定出非二值化融合系数矩阵，可选的，将该第三图像91中每个位置的深度值作为该非二值化融合系数矩阵中同一位置的系数值。
步骤S303、根据所述非二值化融合系数矩阵，对所述第一图像和所述第一图像对应的风格化图进行融合得到结果图。
在本实施例中，将非二值化融合系数矩阵记为α，第一图像记为P，第一图像对应的风格化图记为S，对第一图像P和第一图像对应的风格化图S进行融合得到的结果图记为R。
假设非二值化融合系数矩阵α的大小为L*K，即非二值化融合系数矩阵α内的系数值为L行、K列，将非二值化融合系数矩阵α中第i行第j列的系数值记为αi,j，1≤i≤L，1≤j≤K。可以理解，非二值化融合系数矩阵、第一图像和第一图像对应的风格化图的大小相等。同理，将第一图像P中第i行第j列的像素值记为Pi,j，将第一图像对应的风格化图S中第i行第j列的像素值记为Si,j，将结果图R中第i行第j列的像素值记为Ri,j，1≤i≤L，1≤j≤K。具体的，αi,j、Si,j、Pi,j、Ri,j之间的关系如下公式(2)所示：
Ri,j＝(1-αi,j)*Pi,j+αi,j*Si,j (2)
根据公式(2)可计算出结果图R的每个像素值，进一步根据结果图R的L*K个像素值可确定出结果图R。非二值化融合系数矩阵α中的每个系数值都在0到1之间，即0≤αi,j≤1，当αi,j＝0时，Ri,j＝Pi,j；当αi,j＝1时，Ri,j＝Si,j。具体的，αi,j越大，Ri,j越接近于Si,j，Ri,j被风格化的程度越大；αi,j越小，Ri,j越接近于Pi,j，Ri,j被风格化的程度越小。
如图9所示，第三图像91中每个位置的深度值为该非二值化融合系数矩阵中同一位置的系数值。虚线92内的深度值均为0，虚线92内部分对应于如图5所示的主体部分51，虚线92外剩余部分对应于图5中的背景部分，可见，在该非二值化融合系数矩阵中与主体部分51对应的系数值均为0，根据该非二值化融合系数矩阵对如图5所示的第一图像和第一图像对应的风格化图进行融合后，结果图中的主体部分和第一图像中的主体部分一致，即第一图像中的主体部分被保留，没有被风格化。在该非二值化融合系数矩阵中与背景部分对应的系数值大于0且小于1，且离主体部分较近的背景部分对应的系数值较小，离主体部分较远的背景部分对应的系数值较大，使得根据该非二值化融合系数矩阵对如图5所示的第一图像和第一图像对应的风格化图进行融合后，结果图中离主体部分较近的背景部分被风格化的程度较小，离主体部分较远的背景部分被风格化的程度较大。
本实施例通过获取第一图像和该第一图像的深度图，根据该第一图像和该深度图确定出非二值化融合系数矩阵，根据该非二值化融合系数矩阵对第一图像和该第一图像的风格化图进行融合得到结果图，该非二值化融合系数矩阵中某一位置上系数值的大小与结果图中同一位置被风格化的程度相关，因此，通过该第一图像中的主体部分在该非二值化融合系数矩阵中对应于较小的系数值，可使得结果图中的主体部分没有被风格化或被风格化的程度很小，从而保留下该主体部分；该第一图像中背景部分的深度值与该背景部分在该非二值化融合系数矩阵中对应于的系数值相关，使得结果图中离该主体部分越近的背景部分被风格化的程度越小，离该主体部分越远的背景部分被风格化的程度越大，从而使得结果图中的主体部分边缘与背景部分融合的更加自然。
在上述实施例的基础上，根据所述第一融合系数矩阵，对所述第二图像的部分深度值进行调整得到第三图像的另一种可实现方式是：对所述第一融合系数矩阵中相邻的所述第一系数值和所述第二系数值进行滤波处理得到第二融合系数矩阵；根据所述第二融合系数矩阵中除所述第二系数值之外的其他系数值对应的第一位置，确定所述第二图像中与所述第一位置对应的第二位置；根据所述第二融合系数矩阵中除所述第二系数值之外的其他系数值，对所述第二图像中所述第二位置对应的深度值进行调整得到第三图像。
如图6所示，由于第一融合系数矩阵60为二值化融合系数矩阵，二值化融合系数矩阵对应的图像是黑白图，当二值化融合系数矩阵中相邻的0和1较多时，该二值化融合系数矩阵对应的黑白图中将会出现毛刺。如图10所示，假设图10中的像素点个数远大于图6中第一融合系数矩阵60的系数值个数，假设白色区域对应的像素值为0，黑色区域对应的像素值为1，在图10中大量相邻的0和1导致了人物边缘出现了很多毛刺。可以理解，图10所示的人物边缘的毛刺是因为人物边缘内外侧相邻像素点的像素值例如0和1相差较大导致的，因此，若要将人物边缘的毛刺去除，一种可行的实现方式是：对人物边缘内外侧相邻像素点的像素值进行滤波，以减小人物边缘内外侧相邻像素点的像素值的差值。
如图11所示，在第一融合系数矩阵60中虚线61对应于主体部分的边缘，第一融合系数矩阵60中相邻的第一系数值0和第二系数值1如阴影部分所示，阴影部分中的第一系数值0在虚线61的内边界，阴影部分中的第二系数值1在虚线61的外边界。对第一融合系数矩阵60中相邻的第一系数值0和第二系数值1进行滤波处理得到第二融合系数矩阵。例如,第一融合系数矩阵60中阴影部分的第一系数值0经过滤波处理后变成了0.6，第一融合系数矩阵60中阴影部分的第二系数值1经过滤波处理后变成了0.7。如图11所示，110表示第二融合系数矩阵，虚线111对应于主体部分的边缘，可见，相比于虚线61外边界的系数值1与虚线61内边界的系数值0的差值，虚线111外边界的系数值0.7与虚线111内边界的系数值0.6的差值减小了。此处只是示意性说明，并不限定具体的滤波方法，也不限定滤波后的系数值。在其他实施例中，虚线111内边界的系数值可以不同，虚线111外边界的系数值也可以不同，但是虚线111内边界的系数值小于虚线111外边界的系数值。如图11所示，第一融合系数矩阵60中的系数值包括0和1，第二融合系数矩阵110中的系数值包括0、0.6、0.7、1，也就是说，第二融合系数矩阵110已不是二值化融合系数矩阵。
如图12所示，在第二融合系数矩阵110中，1为前述的第二系数值，0为前述的第一系数值，0.6和0.7为滤波处理后生成的系数值，可以理解，0、0.6、0.7为除第二系数值之外的其他系数值，该第二融合系数矩阵110中0、0.6、0.7对应的第一位置在虚线121内，第二图像80中与该第一位置对应的第二位置在虚线122内。进一步，根据第二融合系数矩阵110中虚线121内的系数值，调整第二图像80中虚线122内的深度值，一种可行的实现方式是：将第二融合系数矩阵110中虚线121内的系数值覆盖到第二图像80中虚线122内，从而得到第三图像，该第三图像具体如图12所示的123，在第三图像123中与第二位置对应的第三位置在虚线124内。相比于第二图像80，第三图像123中虚线124之外的深度值保持不变，虚线124内的深度值为第二融合系数矩阵110中虚线121内的系数值。进一步，根据第三图像123确定非二值化融合系数矩阵，可选的，将第三图像123中虚线124内的每个深度值乘以经验值例如0.1之后的结果和第三图像123中虚线124之外的深度值作为该非二值化融合系数矩阵的系数值，该非二值化融合系数矩阵如图12所示的125。
如图12所示，虚线124内系数值为0和0.06的位置对应于如图5所示的主体部分51，虚线124内系数值为0.07的位置对应于与主体部分51的边缘相邻的背景部分，根据非二值化融合系数矩阵125对如图5所示的第一图像和第一图像对应的风格化图进行融合后，结果图中主体部分以及与主体部分边缘相邻的背景部分被风格化的程度较小，离主体部分较远的背景部分被风格化的程度较大。
另外，根据第二融合系数矩阵110中虚线121内的系数值，调整第二图像80中虚线122内的深度值的另一种可行的实现方式是：如图13所示，将第二融合系数矩阵110的每个系数值乘以经验值例如0.1之后得到第三融合系数矩阵130，进一步，将第三融合系数矩阵130中虚线121内的系数值覆盖到第二图像80中虚线122内，从而得到第三图像，该第三图像具体如图13所示的131。进一步，根据第三图像131确定非二值化融合系数矩阵，可选的，将第三图像131中每个位置的深度值作为该非二值化融合系数矩阵中同一位置的系数值。
在图13中，根据由第三图像131确定的非二值化融合系数矩阵对第一图像和该第一图像的风格化图进入融合后得到的结果图与根据非二值化融合系数矩阵125对第一图像和该第一图像的风格化图进行融合后得到的结果图一致，此处不再赘述。
本实施例通过对第一融合系数矩阵中相邻的第一系数值和第二系数值进行滤波处理得到第二融合系数矩阵，使得该第二融合系数矩阵中主体部分边缘内外侧相邻的系数值的差值减小，有效去除了主体部分边缘的毛刺，使该主体部分边缘变得平滑，从而使得结果图中的主体部分可以与背景部分更加自然的融合。
在上述实施例的基础上，如图4所示，风格化前向网络具体可以看做是一层滤镜，在终端设备中可预先存储有多个滤镜，使得该终端设备可根据用户选择的不同滤镜对该第一图像进行不同的风格化处理。但是，风格化前向网络需要占用较大的存储空间，运算速度较慢，使得该风格化前向网络不便于在终端设备中部署，为了解决该问题，本实施例提成了一种对风格化前向网络结构进行改进的方法。具体的，将该风格化前向网络中的部分卷积层替换为Fire模块，Fire模块主要用于将该卷积层变成两层：squeeze层和expand层，并且squeeze层和expand层均带有线性修正单元，具体的，squeeze层包括1*1的卷积核，该squeeze层中1*1的卷积核的数量记为s1*1；expand层包括1*1的卷积核和3*3的卷积核，该expand层中1*1的卷积核的数量记为e1*1，该expand层中3*3的卷积核的数量记为e3*3，s1*1、e1*1、e3*3需要满足的条件是s1*1小于(e1*1+e3*3)。在本实施例中，该Fire模块的结构具体如图14所示的140，该Fire模块140中squeeze层的输出是16通道的结果，squeeze层的输出结果被复制为两份，分别经过expand层中64通道的1*1的卷积核和64通道的3*3的卷积核，在expand层之后，将1*1的卷积核输出的特征图和3*3的卷积核输出的特征图在通道这个维度上进行拼接，得到128通道的输出结果。
在本实施例中，风格化前向网络可包括至少一个如图14所示的Fire模块，例如，该风格化前向网络包括两个Fire模块，另外，该风格化前向网络还包括第一卷积层、第二卷积层、第三卷积层、第一反卷积层、第二反卷积层、第四卷积层，具体的，该风格化前向网络对第一图像进行风格化处理得到该第一图像对应的风格化图的过程为：该第一图像作为该风格化前向网络的输入，依次经过该第一卷积层、该第二卷积层、该第三卷积层、该两个Fire模块、该第一反卷积层、该第二反卷积层、该第四卷积层处理得到该第一图像对应的风格化图；其中，该第一卷积层、该第二卷积层、该第三卷积层分别对应的卷积核个数依次增大，该第一卷积层、该第二卷积层、该第三卷积层分别对应的卷积核大小依次减小；该第一反卷积层、该第二反卷积层分别对应的卷积核个数依次减小，该第一反卷积层、该第二反卷积层分别对应的卷积核大小依次增大。该风格化前向网络的结构具体如表1所示：
表1
| 层 | 输出大小 |
| 输入(第一图像) | 3*1021*1021 |
| 16*9*9卷积层 | 16*1021*1021 |
| 32*3*3卷积层 | 32*511*511 |
| 64*3*3卷积层 | 64*256*256 |
| Fire模块，128滤波器 | 128*256*256 |
| Fire模块，128滤波器 | 128*256*256 |
| 64*3*3反卷积层 | 64*511*511 |
| 32*3*3反卷积层 | 32*1021*1021 |
| 3*9*9卷积层 | 3*1021*1021 |
如表1所示，第一卷积层具体为16*9*9卷积层，第二卷积层具体为32*3*3卷积层，第三卷积层具体为64*3*3卷积层，第一反卷积层具体为64*3*3反卷积层，第二反卷积层具体为32*3*3反卷积层，第四卷积层具体为3*9*9卷积层。
在本实施例中，将第一图像作为该风格化前向网络的输入，依次经过16*9*9卷积层、32*3*3卷积层、64*3*3卷积层、两个Fire模块、64*3*3反卷积层、32*3*3反卷积层、3*9*9卷积层处理得到风格化图的过程如图15所示，该过程具体包括如下步骤：
步骤S1501、将3通道、1021*1021大小的第一图像输入到16*9*9卷积层中得到16通道、1021*1021大小的中间结果，将该16通道、1021*1021大小的中间结果依次经过批量规范化层(Batch Normalization，BN)和修正线性单元激活层(Rectified Linear Unit，ReLU)处理。
在本实施例中，该风格化前向网络的输入即第一图像之所以采用1021*1021的大小，是因为该风格化前向网络会造成额外的条状纹理。假设第一图像的大小为1024*1024，该第一图像经过该风格化前向网络处理后得到风格化图，该风格化前向网络可能会给该风格化图造成2～3个像素宽的额外条状纹理，使得该风格化图的大小大于1024*1024，需要对该风格化图进行裁剪。在本实施例中直接采用1021*1021大小的第一图像作为该风格化前向网络的输入，可使得从该风格化前向网络输出的风格化图的大小接近于1024*1024，无需对风格化图进行裁剪。
步骤S1502、将16通道、1021*1021大小的中间结果输入到32*3*3卷积层得到32通道、511*511大小的中间结果，将该32通道、511*511大小的中间结果依次经过批量规范化层和修正线性单元激活层处理。
步骤S1503、将32通道、511*511大小的中间结果输入到64*3*3卷积层得到64通道、256*256大小的中间结果，将该32通道、511*511大小的中间结果依次经过批量规范化层和修正线性单元激活层处理。
步骤S1504、将该32通道、511*511大小的中间结果输入到第一个Fire模块得到128通道、256*256大小的中间结果。
步骤S1505、将第一个Fire模块输出的128通道、256*256大小的中间结果输入到第二个Fire模块得到128通道、256*256大小的中间结果。
步骤S1506、将第二个Fire模块输出的128通道、256*256大小的中间结果输入到64*3*3反卷积层得到64通道、511*511大小的中间结果，将该64通道、511*511大小的中间结果依次经过批量规范化层和修正线性单元激活层处理。
步骤S1507、将该64通道、511*511大小的中间结果输入到32*3*3反卷积层得到32通道、1021*1021大小的中间结果，将该32通道、1021*1021大小的中间结果依次经过批量规范化层和修正线性单元激活层处理。
步骤S1508、将该32通道、1021*1021大小的中间结果输入到3*9*9卷积层得到3通道、1021*1021大小的风格化图。
根据步骤S1501-步骤S1508可知，第一图像和该第一图像的风格化图大小相等、通道数相等。也就是说，第一图像经过风格化前向网络处理后不会改变该第一图像的大小和通道数量。
在本实施例中，可通过对损失函数进行优化得到风格化前向网络。具体的，将训练样本图片作为该风格化前向网络的初始模型的输入，根据该初始模型的输出结果与预先设定的目标风格图片计算损失函数，对该损失函数进行求导，反向传播梯度对该风格化前向网络的初始模型的参数进行优化调整，不断的迭代以优化该初始模型的参数，直到该损失函数达到局部最小值，此时优化过程结束，对该初始模型的训练过程也结束。
可选的，该损失函数包括三个部分，分别是深度损失部分、风格损失部分和内容损失部分。该损失函数可以是深度损失部分、风格损失部分和内容损失部分的加权和，本实施例不限定深度损失部分、风格损失部分和内容损失部分各自对应的加权系数。在其他实施例中，也可以采用深度损失部分、风格损失部分和内容损失部分中的两个部分确定该损失函数，或者，采用比该三个部分更多的损失部分来确定该损失函数。
在本实施例中，对图像的局部风格化处理不仅适用于由终端设备拍摄完成的图像，也适用于用户当前在该终端设备上拍照预览的图像，也就是说，当用户在拍照预览时，该终端设备可采用本申请所述的图像处理方法对该用户预览的拍摄画面进行实时处理，使得用户在预览拍摄画面时即可看到该拍摄画面被局部风格化后的效果。相比于该终端设备对拍摄完成的图像进行图像处理，该终端设备对该用户预览的拍摄画面进行处理时实时性要求更高，本实施例可通过对Fire模块的进一步改进来提高风格化前向网络的运算速度，可选的，在图14所示的Fire模块基础上，将16通道变为8通道，将64通道变为32通道，相应的，128通道变为64通道，得到如图16所示的Fire模块160。
本实施例通过将风格化前向网络中的部分卷积层替换为Fire模块，该Fire模块可在保证风格化质量的同时减小该风格化前向网络所需的存储空间、提高该风格化前向网络的运算速度。另外，当用户在拍照预览时，该终端设备还可对该用户预览的拍摄画面进行实时处理，使得用户在预览拍摄画面时即可看到该拍摄画面被局部风格化后的效果。
可以理解的是，上述实施例中的部分或全部步骤骤或操作仅是示例，本申请实施例还可以执行其它操作或者各种操作的变形。此外，各个步骤可以按照上述实施例呈现的不同的顺序来执行，并且有可能并非要执行上述实施例中的全部操作。
可以理解的是，以上各个实施例中，由终端设备实现的操作或者步骤，也可以由终端设备的部件(例如芯片或者电路)实现。
图17为本申请实施例提供的一种终端设备的结构示意图。该终端设备可用于实现上述方法实施例中描述的终端设备对应部分的方法，具体参见上述方法实施例中的说明。
所述终端设备170可以包括一个或多个处理器171，所述处理器171也可以称为处理单元，可以实现一定的控制功能。所述处理器171可以是通用处理器或者专用处理器等。
在一种可选地设计中，处理器171也可以存有指令173，所述指令可以被所述处理器运行，使得所述终端设备170执行上述方法实施例中描述的对应于终端设备的方法。
在又一种可能的设计中，终端设备170可以包括电路，所述电路可以实现前述方法实施例中发送或接收或者通信的功能。
可选地，所述终端设备170中可以包括一个或多个存储器172，其上存有指令174或者中间数据，所述指令174可在所述处理器上被运行，使得所述终端设备170执行上述方法实施例中描述的方法。可选地，所述存储器中还可以存储有其他相关数据。可选地处理器中也可以存储指令和/或数据。所述处理器和存储器可以单独设置，也可以集成在一起。
可选地，所述终端设备170还可以包括收发器175。
所述处理器171可以称为处理单元。所述收发器175可以称为收发单元、收发机、收发电路、或者收发器等，用于实现终端设备的收发功能。
本申请中描述的处理器和收发器可实现在集成电路(integrated circuit，IC)、模拟IC、射频集成电路RFIC、混合信号IC、专用集成电路(application specificintegrated circuit，ASIC)、印刷电路板(printed circuit board，PCB)、电子设备等上。该处理器和收发器也可以用各种1C工艺技术来制造，例如互补金属氧化物半导体(complementary metal oxide semiconductor,CMOS)、N型金属氧化物半导体(nMetal-oxide-semiconductor，NMOS)、P型金属氧化物半导体(positive channel metal oxidesemiconductor,PMOS)、双极结型晶体管(Bipolar Junction Transistor，BJT)、双极CMOS(BiCMOS)、硅锗(SiGe)、砷化镓(GaAs)等。
可选的，终端设备可以是独立的设备或者可以是较大设备的一部分。例如所述设备可以是：
(1)独立的集成电路IC，或芯片，或，芯片系统或子系统；
(2)具有一个或多个IC的集合，可选地，该IC集合也可以包括用于存储数据和/或指令的存储部件；
(3)ASIC，例如调制解调器(MSM)；
(4)可嵌入在其他设备内的模块；
(5)接收机、终端、蜂窝电话、无线设备、手持机、移动单元，网络设备等等；
(6)其他等等。
图18为本申请实施例提供的一种图像处理装置的结构示意图。如图18所示，该图像处理装置180包括：获取模块181、确定模块182、融合模块183；其中，获取模块181用于获取第一图像和所述第一图像对应的深度图；确定模块182用于根据所述第一图像和所述深度图，确定非二值化融合系数矩阵；融合模块183用于根据所述非二值化融合系数矩阵，对所述第一图像和所述第一图像对应的风格化图进行融合得到结果图。
在图18中，进一步地，确定模块182包括：第一确定单元1821、预处理单元1822和第二确定单元1823；其中，第一确定单元1821用于根据所述第一图像，确定第一融合系数矩阵，所述第一融合系数矩阵包括第一系数值和第二系数值，所述第一系数值用于标识所述第一图像中的主体部分，所述第二系数值用于标识所述第一图像中除所述主体部分之外的部分；预处理单元1822用于对所述深度图进行预处理得到第二图像；第二确定单元1823用于根据所述第二图像和所述第一融合系数矩阵，确定所述非二值化融合系数矩阵。
可选的，第二确定单元1823具体用于：根据所述第一融合系数矩阵，对所述第二图像的深度值进行调整得到第三图像；根据所述第三图像，确定所述非二值化融合系数矩阵。
一种可能的方式中，第二确定单元1823根据所述第一融合系数矩阵，对所述第二图像的深度值进行调整得到第三图像时，具体用于：根据所述第一融合系数矩阵中所述第一系数值对应的第一位置，确定所述第二图像中与所述第一位置对应的第二位置；根据所述第一融合系数矩阵中的所述第一系数值，对所述第二图像中所述第二位置对应的深度值进行调整得到第三图像。
另一种可能的方式中，第二确定单元1823根据所述第一融合系数矩阵，对所述第二图像的深度值进行调整得到第三图像时，具体用于：对所述第一融合系数矩阵中相邻的所述第一系数值和所述第二系数值进行滤波处理得到第二融合系数矩阵；根据所述第二融合系数矩阵中除所述第二系数值之外的其他系数值对应的第一位置，确定所述第二图像中与所述第一位置对应的第二位置；根据所述第二融合系数矩阵中除所述第二系数值之外的其他系数值，对所述第二图像中所述第二位置对应的深度值进行调整得到第三图像。
可选的，所述第三图像中与所述第二位置对应的第三位置的深度值小于或等于预设值。
可选的，所述第三图像中与所述第二位置对应的第三位置的深度值全部相同。
可选的，所述第三图像中与所述第二位置对应的第三位置的深度值部分相同。
图18所示实施例的图像处理装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述，可选的，该图像处理装置可以是终端设备，也可以是终端设备的部件(例如芯片或者电路)。
应理解以上图18所示图像处理装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块以软件通过处理元件调用的形式实现，部分模块通过硬件的形式实现。例如，确定模块可以为单独设立的处理元件，也可以集成在通信装置，例如终端设备的某一个芯片中实现，此外，也可以以程序的形式存储于通信装置的存储器中，由通信装置的某一个处理元件调用并执行以上各个模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，ASIC)，或，一个或多个微处理器(digital singnal processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)等。再如，当以上某个模块通过处理元件调度程序的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central ProcessingUnit，CPU)或其它可以调用程序的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。
图19为本申请实施例提供的一种通信装置的结构示意图。如图19所示，通信装置190包括：处理器192和收发装置193，收发装置193从网络设备接收第一图像；处理器132根据所述第一图像确定所述第一图像对应的深度图；根据所述第一图像和所述深度图，确定非二值化融合系数矩阵；根据所述非二值化融合系数矩阵，对所述第一图像和所述第一图像的风格化图进行融合得到结果图。进一步的，还包括存储器191，用于存储计算机程序或者指令，处理器192用于调用所述程序或者指令。
图19所示实施例的通信装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述，此处不再赘述，该通信装置可以是终端设备，也可以是终端设备的部件(例如芯片或者电路)。
在图19中，收发装置193可以与天线连接。在下行方向上，收发装置193通过天线接收基站发送的信息，并将信息发送给处理器192进行处理。在上行方向上，处理器192对终端的数据进行处理，并通过收发装置193发送给基站。
可选的，处理器192可以用于实现如图18所示的图像处理装置的确定模块182中的相应功能。或者，以上各个模块的部分或全部也可以通过集成电路的形式内嵌于该终端的某一个芯片上来实现。且它们可以单独实现，也可以集成在一起。即以上这些模块可以被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(ApplicationSpecific Integrated Circuit，ASIC)，或，一个或多个微处理器(digital singnalprocessor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)等。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述实施例所述的图像处理方法。
此外，本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，当其在计算机上运行时，使得计算机执行上述实施例所述的图像处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid StateDisk)等。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取第一图像和所述第一图像对应的深度图；
根据所述第一图像和所述深度图，确定非二值化融合系数矩阵；
根据所述非二值化融合系数矩阵，对所述第一图像和所述第一图像对应的风格化图进行融合得到结果图；
所述根据所述第一图像和所述深度图，确定非二值化融合系数矩阵，包括：
根据所述第一图像，确定第一融合系数矩阵，所述第一融合系数矩阵包括第一系数值和第二系数值，所述第一系数值用于标识所述第一图像中的主体部分，所述第二系数值用于标识所述第一图像中除所述主体部分之外的部分；
对所述深度图进行预处理得到第二图像；
根据所述第二图像和所述第一融合系数矩阵，确定所述非二值化融合系数矩阵；
所述根据所述第二图像和所述第一融合系数矩阵，确定所述非二值化融合系数矩阵，包括：
根据所述第一融合系数矩阵，对所述第二图像的深度值进行调整得到第三图像；
根据所述第三图像，确定所述非二值化融合系数矩阵；
所述根据所述第一融合系数矩阵，对所述第二图像的深度值进行调整得到第三图像，包括：
对所述第一融合系数矩阵中相邻的所述第一系数值和所述第二系数值进行滤波处理得到第二融合系数矩阵；
根据所述第二融合系数矩阵中除所述第二系数值之外的其他系数值对应的第一位置，确定所述第二图像中与所述第一位置对应的第二位置；
根据所述第二融合系数矩阵中除所述第二系数值之外的其他系数值，对所述第二图像中所述第二位置对应的深度值进行调整得到所述第三图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一融合系数矩阵，对所述第二图像的深度值进行调整得到第三图像，包括：
根据所述第一融合系数矩阵中所述第一系数值对应的第一位置，确定所述第二图像中与所述第一位置对应的第二位置；
根据所述第一融合系数矩阵中的所述第一系数值，对所述第二图像中所述第二位置对应的深度值进行调整得到所述第三图像。
3.根据权利要求1或2所述的方法，其特征在于，所述第三图像中与所述第二位置对应的第三位置的深度值小于或等于预设值。
4.根据权利要求1或2所述的方法，其特征在于，所述第三图像中与所述第二位置对应的第三位置的深度值全部相同。
5.一种图像处理装置，其特征在于，包括：
获取模块，用于获取第一图像和所述第一图像对应的深度图；
确定模块，用于根据所述第一图像和所述深度图，确定非二值化融合系数矩阵；
融合模块，用于根据所述非二值化融合系数矩阵，对所述第一图像和所述第一图像对应的风格化图进行融合得到结果图；
所述确定模块包括：第一确定单元、预处理单元和第二确定单元；其中；
所述第一确定单元用于根据所述第一图像，确定第一融合系数矩阵，所述第一融合系数矩阵包括第一系数值和第二系数值，所述第一系数值用于标识所述第一图像中的主体部分，所述第二系数值用于标识所述第一图像中除所述主体部分之外的部分；
所述预处理单元用于对所述深度图进行预处理得到第二图像；
所述第二确定单元用于根据所述第二图像和所述第一融合系数矩阵，确定所述非二值化融合系数矩阵；
所述第二确定单元具体用于：
根据所述第一融合系数矩阵，对所述第二图像的深度值进行调整得到第三图像；
根据所述第三图像，确定所述非二值化融合系数矩阵；
所述第二确定单元根据所述第一融合系数矩阵，对所述第二图像的深度值进行调整得到第三图像时，具体用于：
对所述第一融合系数矩阵中相邻的所述第一系数值和所述第二系数值进行滤波处理得到第二融合系数矩阵；
根据所述第二融合系数矩阵中除所述第二系数值之外的其他系数值对应的第一位置，确定所述第二图像中与所述第一位置对应的第二位置；
根据所述第二融合系数矩阵中除所述第二系数值之外的其他系数值，对所述第二图像中所述第二位置对应的深度值进行调整得到所述第三图像。
6.根据权利要求5所述的图像处理装置，其特征在于，所述第二确定单元根据所述第一融合系数矩阵，对所述第二图像的深度值进行调整得到第三图像时，具体用于：
根据所述第一融合系数矩阵中所述第一系数值对应的第一位置，确定所述第二图像中与所述第一位置对应的第二位置；
根据所述第一融合系数矩阵中的所述第一系数值，对所述第二图像中所述第二位置对应的深度值进行调整得到所述第三图像。
7.根据权利要求5或6所述的图像处理装置，其特征在于，所述第三图像中与所述第二位置对应的第三位置的深度值小于或等于预设值。
8.根据权利要求5或6所述的图像处理装置，其特征在于，所述第三图像中与所述第二位置对应的第三位置的深度值全部相同。
9.一种终端设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器耦合；
所述处理器用于执行权利要求1-4任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如权利要求1-4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810430332.1A CN110458749B (zh) | 2018-05-08 | 2018-05-08 | 图像处理方法、装置及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810430332.1A CN110458749B (zh) | 2018-05-08 | 2018-05-08 | 图像处理方法、装置及终端设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110458749A CN110458749A (zh) | 2019-11-15 |
| CN110458749B true CN110458749B (zh) | 2021-12-28 |
Family
ID=68472074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810430332.1A Active CN110458749B (zh) | 2018-05-08 | 2018-05-08 | 图像处理方法、装置及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110458749B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113642466B (zh) * | 2019-11-27 | 2022-11-01 | 马上消费金融股份有限公司 | 活体检测和模型训练方法、设备及介质 |
| CN111145088B (zh) * | 2020-01-07 | 2023-11-24 | 中国传媒大学 | 适用于观演空间的投影风格渲染方法及渲染系统 |
| CN112016548B (zh) * | 2020-10-15 | 2021-02-09 | 腾讯科技（深圳）有限公司 | 一种封面图展示方法及相关装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101339653A (zh) * | 2008-01-30 | 2009-01-07 | 西安电子科技大学 | 基于彩色传递及熵信息的红外与彩色可见光图像融合方法 |
| CN106067163A (zh) * | 2016-05-24 | 2016-11-02 | 中国科学院深圳先进技术研究院 | 一种基于小波分析的图像去雨方法及系统 |
| CN106981044A (zh) * | 2017-03-20 | 2017-07-25 | 成都通甲优博科技有限责任公司 | 一种图像虚化方法及系统 |
| CN107358586A (zh) * | 2017-07-06 | 2017-11-17 | 中山大学 | 一种图像增强方法、装置及设备 |
-
2018
- 2018-05-08 CN CN201810430332.1A patent/CN110458749B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101339653A (zh) * | 2008-01-30 | 2009-01-07 | 西安电子科技大学 | 基于彩色传递及熵信息的红外与彩色可见光图像融合方法 |
| CN106067163A (zh) * | 2016-05-24 | 2016-11-02 | 中国科学院深圳先进技术研究院 | 一种基于小波分析的图像去雨方法及系统 |
| CN106981044A (zh) * | 2017-03-20 | 2017-07-25 | 成都通甲优博科技有限责任公司 | 一种图像虚化方法及系统 |
| CN107358586A (zh) * | 2017-07-06 | 2017-11-17 | 中山大学 | 一种图像增强方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110458749A (zh) | 2019-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3537378B1 (en) | Image processing apparatus and method for object boundary stabilization in an image of a sequence of images | |
| US20210118111A1 (en) | Image Processing Method and Device | |
| CN113424223B (zh) | 彩色图像帧序列中的基于多个神经网络的对象分割 | |
| US10827140B2 (en) | Photographing method for terminal and terminal | |
| US9451173B2 (en) | Electronic device and control method of the same | |
| EP3762899B1 (en) | Object segmentation in a sequence of color image frames based on adaptive foreground mask upsampling | |
| CN110458749B (zh) | 图像处理方法、装置及终端设备 | |
| US10033918B2 (en) | Method and system for image processing to detect salient objects in image | |
| EP3762898B1 (en) | Object segmentation in a sequence of color image frames by background image and background depth correction | |
| CN105744159A (zh) | 一种图像合成方法及装置 | |
| CN112602088B (zh) | 提高弱光图像的质量的方法、系统和计算机可读介质 | |
| KR20150077646A (ko) | 이미지 처리 장치 및 방법 | |
| US20210342632A1 (en) | Image processing method and apparatus, electronic device, and storage medium | |
| US9977998B2 (en) | Method and system for processing one or more multi-channel images | |
| CN111724448A (zh) | 一种图像超分辨重建方法、装置和终端设备 | |
| US9953448B2 (en) | Method and system for image processing | |
| CN113096022A (zh) | 图像虚化处理方法、装置、存储介质与电子设备 | |
| CN111160240A (zh) | 图像对象的识别处理方法、装置及智能设备、存储介质 | |
| CN114143471B (zh) | 图像处理方法、系统、移动终端及计算机可读存储介质 | |
| US20170061586A1 (en) | Method, apparatus and computer program product for motion deblurring of image frames | |
| KR102594099B1 (ko) | 업로드된 이미지를 편집하기 위한 방법 및 이를 위한 장치 | |
| CN106341610A (zh) | 拍照方法及移动终端 | |
| US11838641B2 (en) | Network for correcting overexposed and underexposed images | |
| US10440255B2 (en) | Controlling the focus of a camera using focus statistics | |
| CN115953315A (zh) | 图像处理方法、智能终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |