CN108876726A - 图像处理的方法、装置、系统及计算机存储介质 - Google Patents
图像处理的方法、装置、系统及计算机存储介质 Download PDFInfo
- Publication number
- CN108876726A CN108876726A CN201711319056.3A CN201711319056A CN108876726A CN 108876726 A CN108876726 A CN 108876726A CN 201711319056 A CN201711319056 A CN 201711319056A CN 108876726 A CN108876726 A CN 108876726A
- Authority
- CN
- China
- Prior art keywords
- image
- transformation model
- processing
- user
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 82
- 230000009466 transformation Effects 0.000 claims abstract description 78
- 238000012549 training Methods 0.000 claims abstract description 38
- 230000006870 function Effects 0.000 claims description 38
- 239000013598 vector Substances 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 16
- 238000003475 lamination Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 11
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种图像处理的方法、装置、系统及计算机存储介质。该方法包括：获取根据用户的处理图像所训练得到的转换模型；将移动终端拍摄的第一图像输入至所述转换模型，得到第二图像，其中，所述第二图像与所述第一图像具有相同的尺寸。由此可见，本发明实施例能够基于用户的历史操作训练得到转换模型，从而用于对拍摄的第一图像进行处理得到第二图像。该过程可以考虑用户的历史操作，这样训练得到的转换模型针对用户的个人喜好，使得基于该转换模型得到的第二图像更倾向于用户的手动处理风格，因而能够减少用户对图像的繁琐费时的操作。
Description
技术领域
本发明涉及图像处理领域，更具体地涉及一种图像处理的方法、装置、系统及计算机存储介质。
背景技术
图像处理与照片调节在用户的移动终端使用的越来越广泛。用户可以通过各种相关的应用程序(APP)来修复图像的光照、对比度、色调、风格等，使照片看上去更好看，更好玩。然而，由于不同的用户具有不同的喜好，其各自对图像的处理方式会存在较大的差异。另外，由于移动终端的屏幕大小限制，用户无法进行非常复杂的操作，而且面对海量图像时重复操作是一件非常费时的事情。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种图像处理的方法、装置、系统及计算机存储介质，能够考虑用户的历史操作训练得到的转换模型，使得基于该转换模型得到的第二图像更倾向于用户的手动处理风格，因而能够减少用户对图像的繁琐费时的操作。
根据本发明的一方面，提供了一种图像处理的方法，所述方法包括：
获取根据用户的处理图像所训练得到的转换模型；
将移动终端拍摄的第一图像输入至所述转换模型，得到第二图像，其中，所述第二图像与所述第一图像具有相同的尺寸。
在本发明的一个实施例中，所述获取转换模型，包括：从云端获取所述转换模型，其中所述转换模型是由所述云端训练得到的。
在本发明的一个实施例中，所述转换模型是通过如下所示方式训练得到的：
获取由所述移动终端拍摄的原始图像以及与所述原始图像对应的所述处理图像，其中，所述处理图像是所述用户对所述原始图像进行历史处理后得到的；
基于所述原始图像和所述处理图像对所述转换模型进行训练。
在本发明的一个实施例中，在所述基于所述原始图像和所述处理图像对所述转换模型进行训练之前，包括：对所述原始图像和所述处理图像进行缩放，以使得所述原始图像和所述处理图像具有相同的尺寸。
在本发明的一个实施例中，所述基于所述原始图像和所述处理图像对所述转换模型进行训练，包括：
将所述原始图像输入至所述转换模型得到生成图像；
根据所述原始图像、所述处理图像和所述生成图像构建损失函数；
根据所述损失函数判断所述转换模型是否收敛。
在本发明的一个实施例中，所述根据所述原始图像、所述处理图像和所述生成图像构建损失函数，包括：
将所述原始图像、所述处理图像和所述生成图像输入至特征提取模型，分别得到第一特征向量、第二特征向量和第三特征向量；
计算所述第一特征向量与所述第三特征向量之间的第一距离，并计算所述第二特征向量与所述第三特征向量之间的第二距离；
根据所述第一距离和所述第二距离构建所述损失函数。
在本发明的一个实施例中，所述损失函数等于所述第一距离与所述第二距离之和。
在本发明的一个实施例中，在训练所述转换模型的过程中，所述特征提取模型的参数是固定的。
在本发明的一个实施例中，所述转换模型包括多个卷积层、多个池化层以及反卷积层，将移动终端拍摄的第一图像输入至所述转换模型，得到第二图像，包括：
通过所述多个卷积层和所述多个池化层，将所述第一图像转换为结果图像，其中所述结果图像的尺寸小于所述第一图像的尺寸；
通过所述反卷积层，将所述结果图像放大为所述第二图像，其中，所述第二图像的尺寸等于所述第一图像的尺寸。
根据本发明的另一方面，提供了一种图像处理的装置，所述装置用于实现前述方面或各个实施例所述方法的步骤，所述装置包括：
获取模块，用于获取根据用户的处理图像所训练得到的转换模型；
生成模块，用于将移动终端拍摄的第一图像输入至所述转换模型，得到第二图像，其中，所述第二图像与所述第一图像具有相同的尺寸。
在本发明的一个实施例中，所述装置为移动终端。
根据本发明的又一方面，提供了一种图像处理的系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述方面及各个示例所述的图像处理的方法的步骤。
根据本发明的再一方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方面及各个示例所述的图像处理的方法的步骤。
由此可见，本发明实施例能够基于用户的历史操作训练得到转换模型，从而用于对拍摄的第一图像进行处理得到第二图像。该过程可以考虑用户的历史操作，这样训练得到的转换模型针对用户的个人喜好，使得基于该转换模型得到的第二图像更倾向于用户的手动处理风格，因而能够减少用户对图像的繁琐费时的操作。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本发明实施例的电子设备的一个示意性框图；
图2是本发明实施例的图像处理的方法的一个示意性流程图；
图3是本发明实施例的确定损失函数的一个示意图；
图4是本发明实施例的图像处理的装置的一个示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
本发明实施例可以应用于电子设备，图1所示为本发明实施例的电子设备的一个示意性框图。图1所示的电子设备10包括一个或更多个处理器102、一个或更多个存储装置104、输入装置106、输出装置108、图像传感器110以及一个或更多个非图像传感器114，这些组件通过总线系统112和/或其它形式互连。应当注意，图1所示的电子设备10的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以包括中央处理单元(Central Processing Unit，CPU)1021和图形处理单元(Graphics Processing Unit，GPU)1022或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，例如现场可编程门阵列(Field－Programmable GateArray，FPGA)或进阶精简指令集机器(Advanced RISC(Reduced Instruction SetComputer)Machine，ARM)等，并且处理器102可以控制所述电子设备10中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或更多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器1041和/或非易失性存储器1042。所述易失性存储器1041例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器1042例如可以包括只读存储器(Read-Only Memory，ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或更多个计算机程序指令，处理器102可以运行所述程序指令，以实现各种期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或更多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或更多个。
所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
当注意，图1所示的电子设备10的组件和结构只是示例性的，尽管图1示出的电子设备10包括多个不同的装置，但是根据需要，其中的一些装置可以不是必须的，其中的一些装置的数量可以更多等等，本发明对此不限定。
图2是本发明实施例的图像处理的方法的一个示意性流程图。图2所示的方法可以包括：
S101，获取根据用户的处理图像所训练得到的转换模型。
S102，将移动终端拍摄的第一图像输入至所述转换模型，得到第二图像，其中，所述第二图像与所述第一图像具有相同的尺寸。
所述第二图像与所述第一图像具有相同或相似的内容(如纹理特征)，但是具有不同的处理风格。所述第二图像与所述处理图像具有相同或相似的处理风格，例如第二图像与所述处理图像具有相同或相似的对比度、色调、亮度、饱和度、滤镜或贴纸等。
本发明实施例中，图2所示的方法可以由移动终端执行，例如，移动终端可以为用户的智能电话、平板电脑、可穿戴设备等。且该移动终端具有图像采集装置，可以拍摄图片或视频等。
示例性地，可以在移动终端从相册中打开该第一图像后执行图2所示的方法，也可以在移动终端拍摄第一图像后执行图2所示的方法。作为一例，可以在移动终端拍摄第一图像后立即执行图2所示的方法。或者，可以在移动终端拍摄第一图像的一段时间(例如2s或10s等)之后再执行图2所示的方法，举例来说，在移动终端拍摄第一图像的一段时间之内，如果未检测到用户的删除操作，则可以执行图2所示的方法；如果在移动终端拍摄第一图像的一段时间之内用户将该第一图像删除，则无需再执行图2所示的方法。可选地，可以针对由移动终端拍摄的第一图像，接收用户的转换指令，并根据该转换指令执行图2所示的方法。例如，在所显示的第一图像的下方或其他位置处，呈现“转换”按钮，用户通过点击该按钮输入转换指令，进而移动终端可以执行图2所示的方法。这样，用户可以通过一键操作来处理图像。
示例性地，在S101之前，图2所示方法还可以包括：
提示用户是否自动处理第一图像；
其中，在接收到用于指示自动处理第一图像的指令的情况下，继续执行S101。
例如，在移动终端拍摄了第一图像或打开预先存储的第一图像之后，可以提示用户是否自动处理该第一图像。示例性地，可以通过显示屏显示文字信息提示用户是否自动处理该第一图像，例如，显示屏上可以显示分别指示放弃自动处理(如手动处理或暂不处理)和自动处理的两个按钮，用户通过点击其中的一个按钮来发送相应的指令。示例性地，还可以通过扬声器输出语音消息提示用户是否自动处理该第一图像，用户可以回复语音消息来发送相应的指令。若移动终端接收到的指令指示用户选择自动处理该第一图像，则继续执行图2所示的方法；若移动终端接收到的指令指示用户选择手动处理该第一图像，则可以在显示屏上显示图像编辑界面，以便用户在该图像编辑界面上编辑该第一图像；若移动终端接收到的指令指示用户暂不处理该第一图像，则继续拍摄下一图像或继续执行其他操作。这样通过额外的用户交互，有利于提高用户体验。
示例性地，在图2之后，可以将第二图像显示在该终端设备的显示屏上。作为一例，可以将第一图像和第二图像同时呈现在显示屏上，以便用户对比并判断对第二图像是否满意。
可选地，在图2之后，用户可以通过点击“接受”或“确认”按钮等输入确定指令，表示用户对第二图像满意。或者，在图2之后，用户不执行任何操作，移动终端在预设时长后确定用户对第二图像满意。可选地，在图2之后，用户可以对第二图像进行编辑操作，例如调节亮度、对比度、色度；添加滤镜等，也就是说用户对第二图像部分满意时可以通过对第二图像进行修正从而得到与该第一图像对应的处理图像。可选地，在图2之后，可以接收用户的删除操作，将第二图像删除，并重新呈现第一图像或呈现相册或拍摄界面。例如，用户对该第二图像不满意时，可以通过点击“删除”或“取消”等按钮，取消对第一图像生成第二图像的操作。
示例性地，在图2所示的方法之前，可以通过训练得到该转换模型，该转换模型可以由神经网络实现。并且，该转换模型可以在移动终端处训练得到，或者可以在云端训练得到。
示例性地，所述转换模型是通过如下所示方式训练得到的：获取由所述移动终端拍摄的原始图像以及与所述原始图像对应的处理图像，其中，所述处理图像是所述用户对所述原始图像进行历史处理后得到的；基于所述原始图像和所述处理图像对所述转换模型进行训练。
作为一例，可以在移动终端处进行训练。作为另一例，可以在云端进行训练，此时S101可以包括从云端获取训练好的转换模型。
示例性地，可以从移动终端的存储器中获取原始图像以及对应的处理图像；和/或，可以从云端的存储器中获取原始图像以及对应的处理图像。举例来说，可以获取M张原始图像以及对应的M张处理图像，且它们可以部分或全部从移动终端或云端的储存器中获取。
其中，处理图像是用户按照自己的喜欢对原始图像进行编辑等操作后得到的。作为一例，针对某一张原始图像(如图像A)如果用户历史处理操作为多次，即用户对图像A执行多次编辑得到了多张图像，则可以将这多张图像中的最后一张图像确定为与图像A对应的处理图像。这里的最后一张图像可以是用户执行最后一次历史处理得到的图像，可以根据多张图像的存储时间或最后一次编辑时间来判断哪一张是最后一张图像。
由于用户的历史处理，处理图像与原始图像可能具有不同的尺寸，如用户对原始图像执行裁剪得到处理图像，则处理图像的尺寸可能小于原始图像的尺寸。如用户在原始图像的四周增加了装饰边框，则处理图像的尺寸可能大于原始图像的尺寸。因此，在训练过程中，在基于所述原始图像和所述处理图像对所述转换模型进行训练之前，可以包括：对所述原始图像和所述处理图像进行缩放，以使得所述原始图像和所述处理图像具有相同的尺寸。也就是说，在对转换模型进行训练时，其训练的数据集中包括M张原始图像和对应的M张处理图像，可以通过缩放，将该数据集中的所有图像的尺寸统一。示例性地，为了达到更好的效果，可以使用较高的分辨率，例如为128×128以上。作为一例，可以将M张原始图像和对应的M张处理图像均缩放至128×128的尺寸。可理解，用于训练的原始图像和对应的处理图像也可以具有其他的尺寸，本发明实施例对此不限定。
示例性地，基于所述原始图像和所述处理图像对所述转换模型进行训练，可以包括：将所述原始图像输入至所述转换模型得到生成图像；根据所述原始图像、所述处理图像和所述生成图像构建损失函数；根据所述损失函数判断所述转换模型是否收敛。
作为一种实现方式，损失函数可以包括两部分：第一部分损失函数表示生成图像与原始图像的相似度，第二部分损失函数表示生成图像与处理图像的相似度。通过调整模型参数，使得损失函数表示的两种相似度达到最高，即可得到训练好的转换模型。具体地，可以通过计算生成图像的特征向量与原始图像的特征向量之间的距离从而得到生成图像与原始图像的相似度，可以通过计算生成图像的特征向量与处理图像的特征向量之间的距离从而得到生成图像与处理图像的相似度。
示例性地，根据所述原始图像、所述处理图像和所述生成图像构建损失函数，可以包括：将所述原始图像、所述处理图像和所述生成图像输入至特征提取模型，分别得到第一特征向量、第二特征向量和第三特征向量；计算所述第一特征向量与所述第三特征向量之间的第一距离，并计算所述第二特征向量与所述第三特征向量之间的第二距离；根据所述第一距离和所述第二距离构建所述损失函数。该过程可以如图3所示。可理解，第一距离和第二距离可以为欧式距离、余弦距离、马氏距离等中的任一种，本发明实施例对此不限定。
作为一例，损失函数可以等于第一距离与第二距离之和。其中，特征提取模型也可以被称为特征提取网络，其可以是一种卷积神经网络。特征提取模型可以用于抽取图像的底层特征，例如可以为LeNet、VGG、ResNet、GoogleNet等网络模型中的任一种。可以预先获取该特征提取模型以便用户确定损失函数。可选地，特征提取模型可以是在其他的场景(如人脸识别等)中经过训练得到的，其不限于是在移动终端或云端得到，也可以是在其他的服务器端训练得到的。并且，在训练转换模型的过程中，该特征提取模型的参数是固定的。也就是说，在本发明实施例训练转换模型时，要对转换模型的参数进行迭代，但是特征提取模型的参数不参与迭代。
转换模型可以是一种卷积神经网络，其可以包括多个卷积层、多个池化层和反卷积层。原始图像经过多层卷积与池化后，可以经过反卷积层逐渐放大图像至与原始图像相同的尺寸。具体地，可以通过所述多个卷积层和所述多个池化层，将所述第一图像转换为结果图像，其中所述结果图像的尺寸小于所述第一图像的尺寸；通过所述反卷积层，将所述结果图像放大为所述第二图像，其中，所述第二图像的尺寸等于所述第一图像的尺寸。
在训练转换模型的过程中，可以在迭代过程中调整模型的参数，并逐步优化损失函数，最终得到转换模型。示例性地，以梯度下降的方法优化该损失函数，使得该损失函数不断变小，并在该损失函数收敛时确定该转换模型训练完成。
其中，可以采用梯度下降法，通过不断迭代模型参数对其进行训练，直到损失函数收敛。这样能够加快收敛的速度，减少训练的时长，从而使得该训练过程在移动终端上也能够在较短时间内完成。具体地，损失函数在连续多次(如几百或几千)迭代的结果两两之间的差值均小于某设定值(如10-6)，则可以确定损失函数收敛。
经过以上训练，转换模型能够将输入图像自动转换为具有用户的历史处理效果的图像，而无需用户手动处理图像。
作为一种实现方式，在S102之后，用户可以接受该第二图像作为对第一图像的处理图像；或者，用户可以对该第二图像进行编辑后生成对第一图像的处理图像。进一步地，可以将第一图像作为原始图像和处理图像增加至用于训练转换模型的数据库中，并对该转换模型进行更新。
举例来说，可以定期对转换模型进行更新，例如更新周期可以为1周或1月等。举例来说，可以在数据库中的数据增加一定数量后进行更新，例如，上一次训练之后增加至数据库中的原始图像和处理图像的数量达到100或500时，对转换模型进行更新。
由此可见，本发明实施例可以基于用户的历史操作训练得到转换模型，从而用于对拍摄的第一图像进行处理，得到第二图像。该过程可以针对不同的移动终端独立执行，即可以独立考虑用户的历史操作，这样训练得到的转换模型针对用户的个人喜好，使得基于该转换模型得到的第二图像更倾向于用户的手动处理风格，因而能够减少用户对图像的繁琐费时的操作，提高了图像处理的自动性和处理效率，提升用户体验。
图4是本发明实施例的图像处理的装置的一个示意性框图。图4所示的装置40包括：获取模块410和生成模块420。
获取模块410，用于获取根据用户的处理图像所训练得到的转换模型；
生成模块420，用于将移动终端拍摄的第一图像输入至所述转换模型，得到第二图像，其中，所述第二图像与所述第一图像具有相同的尺寸。
作为一种实现方式，获取模块410可以从云端获取转换模型，该转换模型是由所述云端训练得到的。
作为另一种实现方式，装置40还可以包括训练模块，用于训练得到该转换模型。
示例性地，训练模块包括获取子模块和训练子模块。获取子模块用于获取由所述移动终端拍摄的原始图像以及与所述原始图像对应的处理图像，其中，所述处理图像是所述用户对所述原始图像进行历史处理后得到的。训练子模块用于基于所述原始图像和所述处理图像对所述转换模型进行训练。
示例性地，训练模块还可以包括缩放子模块，用于对所述原始图像和所述处理图像进行缩放，以使得所述原始图像和所述处理图像具有相同的尺寸。
示例性地，训练子模块可以具体用于：将所述原始图像输入至所述转换模型得到生成图像；根据所述原始图像、所述处理图像和所述生成图像构建损失函数；根据所述损失函数判断所述转换模型是否收敛。
示例性地，训练子模块可以具体用于：将所述原始图像、所述处理图像和所述生成图像输入至特征提取模型，分别得到第一特征向量、第二特征向量和第三特征向量；计算所述第一特征向量与所述第三特征向量之间的第一距离，并计算所述第二特征向量与所述第三特征向量之间的第二距离；根据所述第一距离和所述第二距离构建所述损失函数。
其中，所述损失函数等于所述第一距离与所述第二距离之和。
其中，在训练所述转换模型的过程中，所述特征提取模型的参数是固定的。
示例性地，所述转换模型包括多个卷积层、多个池化层以及反卷积层，则生成模块420可以用于：通过所述多个卷积层和所述多个池化层，将所述第一图像转换为结果图像，其中所述结果图像的尺寸小于所述第一图像的尺寸；通过所述反卷积层，将所述结果图像放大为所述第二图像，其中，所述第二图像的尺寸等于所述第一图像的尺寸。
作为一种实现方式，装置40可以为移动终端。
例如，获取模块410、生成模块420和训练模块可以由图1所示电子设备中的处理器102运行存储装置104中存储的程序指令实现。
图4所示的装置40能够实现前述图2所示的图像处理的方法，为避免重复，这里不再赘述。
另外，本发明实施例还提供了另一种图像处理的系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，处理器执行所述程序时实现前述图2所示的图像处理的方法的步骤。
另外，本发明实施例还提供了一种电子设备，该电子设备可以包括图4所示的装置40。该电子设备可以实现前述图2所示的图像处理的方法。
另外，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序。当所述计算机程序由处理器执行时，可以实现前述图2所示的图像处理的方法的步骤。例如，该计算机存储介质为计算机可读存储介质。
本发明实施例提供了一种图像处理的方法、装置、系统、电子设备和计算机存储介质，能够基于用户的历史操作训练得到转换模型，从而用于对拍摄的第一图像进行处理，得到第二图像。该过程可以针对不同的移动终端独立执行，即可以独立考虑用户的历史操作，这样训练得到的转换模型针对用户的个人喜好，使得基于该转换模型得到的第二图像更倾向于用户的手动处理风格，因而能够减少用户对图像的繁琐费时的操作，提高了图像处理的自动性和处理效率，提升用户体验。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(Digital Signal Processing，DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。
Claims (13)
1.一种图像处理的方法，其特征在于，所述方法包括：
获取根据用户的处理图像所训练得到的转换模型；
将移动终端拍摄的第一图像输入至所述转换模型，得到第二图像，其中，所述第二图像与所述第一图像具有相同的尺寸。
2.根据权利要求1所述的方法，其特征在于，所述获取转换模型，包括：
从云端获取所述转换模型，其中所述转换模型是由所述云端训练得到的。
3.根据权利要求1或2所述的方法，其特征在于，所述转换模型是通过如下所示方式训练得到的：
获取由所述移动终端拍摄的原始图像以及与所述原始图像对应的所述处理图像，其中，所述处理图像是所述用户对所述原始图像进行历史处理后得到的；
基于所述原始图像和所述处理图像对所述转换模型进行训练。
4.根据权利要求3所述的方法，其特征在于，在所述基于所述原始图像和所述处理图像对所述转换模型进行训练之前，包括：
对所述原始图像和所述处理图像进行缩放，以使得所述原始图像和所述处理图像具有相同的尺寸。
5.根据权利要求3所述的方法，其特征在于，所述基于所述原始图像和所述处理图像对所述转换模型进行训练，包括：
将所述原始图像输入至所述转换模型得到生成图像；
根据所述原始图像、所述处理图像和所述生成图像构建损失函数；
根据所述损失函数判断所述转换模型是否收敛。
6.根据权利要求5所述的方法，其特征在于，所述根据所述原始图像、所述处理图像和所述生成图像构建损失函数，包括：
将所述原始图像、所述处理图像和所述生成图像输入至特征提取模型，分别得到第一特征向量、第二特征向量和第三特征向量；
计算所述第一特征向量与所述第三特征向量之间的第一距离，并计算所述第二特征向量与所述第三特征向量之间的第二距离；
根据所述第一距离和所述第二距离构建所述损失函数。
7.根据权利要求6所述的方法，其特征在于，所述损失函数等于所述第一距离与所述第二距离之和。
8.根据权利要求6所述的方法，其特征在于，在训练所述转换模型的过程中，所述特征提取模型的参数是固定的。
9.根据权利要求1所述的方法，其特征在于，所述转换模型包括多个卷积层、多个池化层以及反卷积层，
将移动终端拍摄的第一图像输入至所述转换模型，得到第二图像，包括：
通过所述多个卷积层和所述多个池化层，将所述第一图像转换为结果图像，其中所述结果图像的尺寸小于所述第一图像的尺寸；
通过所述反卷积层，将所述结果图像放大为所述第二图像，其中，所述第二图像的尺寸等于所述第一图像的尺寸。
10.一种图像处理的装置，其特征在于，所述装置用于实现权利要求1至9中任一项所述方法的步骤，所述装置包括：
获取模块，用于获取根据用户的处理图像所训练得到的转换模型；
生成模块，用于将移动终端拍摄的第一图像输入至所述转换模型，得到第二图像，其中，所述第二图像与所述第一图像具有相同的尺寸。
11.根据权利要求10所述的装置，其特征在于，所述装置为移动终端。
12.一种图像处理的系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述方法的步骤。
13.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711319056.3A CN108876726A (zh) | 2017-12-12 | 2017-12-12 | 图像处理的方法、装置、系统及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711319056.3A CN108876726A (zh) | 2017-12-12 | 2017-12-12 | 图像处理的方法、装置、系统及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108876726A true CN108876726A (zh) | 2018-11-23 |
Family
ID=64325601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711319056.3A Pending CN108876726A (zh) | 2017-12-12 | 2017-12-12 | 图像处理的方法、装置、系统及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108876726A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109951635A (zh) * | 2019-03-18 | 2019-06-28 | Oppo广东移动通信有限公司 | 拍照处理方法、装置、移动终端以及存储介质 |
| CN109948525A (zh) * | 2019-03-18 | 2019-06-28 | Oppo广东移动通信有限公司 | 拍照处理方法、装置、移动终端以及存储介质 |
| CN109978805A (zh) * | 2019-03-18 | 2019-07-05 | Oppo广东移动通信有限公司 | 拍照处理方法、装置、移动终端以及存储介质 |
| CN112241740A (zh) * | 2019-07-19 | 2021-01-19 | 新华三技术有限公司 | 一种特征提取方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106530227A (zh) * | 2016-10-27 | 2017-03-22 | 北京小米移动软件有限公司 | 图像复原方法及装置 |
| CN106709532A (zh) * | 2017-01-25 | 2017-05-24 | 京东方科技集团股份有限公司 | 图像处理方法和装置 |
| CN106778928A (zh) * | 2016-12-21 | 2017-05-31 | 广州华多网络科技有限公司 | 图像处理方法及装置 |
| CN107025629A (zh) * | 2017-04-27 | 2017-08-08 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| CN107171932A (zh) * | 2017-04-27 | 2017-09-15 | 腾讯科技（深圳）有限公司 | 一种图片风格转换方法、装置及系统 |
| CN107220667A (zh) * | 2017-05-24 | 2017-09-29 | 北京小米移动软件有限公司 | 图像分类方法、装置及计算机可读存储介质 |
| CN107277391A (zh) * | 2017-06-30 | 2017-10-20 | 北京奇虎科技有限公司 | 图像转换网络处理方法、服务器、计算设备及存储介质 |
| AU2017101166A4 (en) * | 2017-08-25 | 2017-11-02 | Lai, Haodong MR | A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks |
-
2017
- 2017-12-12 CN CN201711319056.3A patent/CN108876726A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106530227A (zh) * | 2016-10-27 | 2017-03-22 | 北京小米移动软件有限公司 | 图像复原方法及装置 |
| CN106778928A (zh) * | 2016-12-21 | 2017-05-31 | 广州华多网络科技有限公司 | 图像处理方法及装置 |
| CN106709532A (zh) * | 2017-01-25 | 2017-05-24 | 京东方科技集团股份有限公司 | 图像处理方法和装置 |
| CN107025629A (zh) * | 2017-04-27 | 2017-08-08 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| CN107171932A (zh) * | 2017-04-27 | 2017-09-15 | 腾讯科技（深圳）有限公司 | 一种图片风格转换方法、装置及系统 |
| CN107220667A (zh) * | 2017-05-24 | 2017-09-29 | 北京小米移动软件有限公司 | 图像分类方法、装置及计算机可读存储介质 |
| CN107277391A (zh) * | 2017-06-30 | 2017-10-20 | 北京奇虎科技有限公司 | 图像转换网络处理方法、服务器、计算设备及存储介质 |
| AU2017101166A4 (en) * | 2017-08-25 | 2017-11-02 | Lai, Haodong MR | A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks |
Non-Patent Citations (1)
| Title |
|---|
| 操江峰: "基于深度学习的图像与视频风格化研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109951635A (zh) * | 2019-03-18 | 2019-06-28 | Oppo广东移动通信有限公司 | 拍照处理方法、装置、移动终端以及存储介质 |
| CN109948525A (zh) * | 2019-03-18 | 2019-06-28 | Oppo广东移动通信有限公司 | 拍照处理方法、装置、移动终端以及存储介质 |
| CN109978805A (zh) * | 2019-03-18 | 2019-07-05 | Oppo广东移动通信有限公司 | 拍照处理方法、装置、移动终端以及存储介质 |
| CN109951635B (zh) * | 2019-03-18 | 2021-01-12 | Oppo广东移动通信有限公司 | 拍照处理方法、装置、移动终端以及存储介质 |
| CN112241740A (zh) * | 2019-07-19 | 2021-01-19 | 新华三技术有限公司 | 一种特征提取方法及装置 |
| CN112241740B (zh) * | 2019-07-19 | 2024-03-26 | 新华三技术有限公司 | 一种特征提取方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108876726A (zh) | 图像处理的方法、装置、系统及计算机存储介质 | |
| US10147459B2 (en) | Artistic style transfer for videos | |
| US20180082407A1 (en) | Style transfer-based image content correction | |
| US10776981B1 (en) | Entertaining mobile application for animating a single image of a human body and applying effects | |
| US20160139761A1 (en) | Automatic target box in methods and systems for editing content-rich layouts in media-based projects | |
| CN108961303A (zh) | 一种图像处理方法、装置、电子设备和计算机可读介质 | |
| CN110473141A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN107277615B (zh) | 直播风格化处理方法、装置、计算设备及存储介质 | |
| CN107277391B (zh) | 图像转换网络处理方法、服务器、计算设备及存储介质 | |
| CN109584179A (zh) | 一种卷积神经网络模型生成方法及图像质量优化方法 | |
| CN109327737A (zh) | 电视节目推荐方法、终端、系统及存储介质 | |
| WO2010101850A1 (en) | Image transformation systems and methods | |
| CN108924440A (zh) | 贴纸显示方法、装置、终端及计算机可读存储介质 | |
| AU2014203258B2 (en) | System and method for generating a design template based on graphical input | |
| CN113630557B (zh) | 图像处理方法、装置、设备、存储介质及计算机程序产品 | |
| CN109558892A (zh) | 一种基于神经网络的目标识别方法及系统 | |
| CN107122727A (zh) | 用于脸部整形的方法、装置及系统 | |
| CN106663340A (zh) | 用于编辑面部图像的方法和设备 | |
| CN108205409A (zh) | 用于调整虚拟场景的方法和装置以及设备 | |
| CN108574823A (zh) | 油烟机及其控制方法和控制系统 | |
| CN108156385A (zh) | 图像获取方法及图像获取装置 | |
| CN109685750A (zh) | 图像增强方法及计算设备 | |
| CN115362474A (zh) | 自定义多媒体消息应用的能够修改的视频中的配乐和发型 | |
| WO2019073267A1 (en) | AUTOMATED IMAGE HANDLING USING ARTIFICIAL INTELLIGENCE | |
| CN107766803A (zh) | 基于场景分割的视频人物装扮方法、装置及计算设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181123 |
|
| RJ01 | Rejection of invention patent application after publication |