CN106340047B - 图像生成方法、装置和系统 - Google Patents

图像生成方法、装置和系统 Download PDF

Info

Publication number
CN106340047B
CN106340047B CN201610809489.6A CN201610809489A CN106340047B CN 106340047 B CN106340047 B CN 106340047B CN 201610809489 A CN201610809489 A CN 201610809489A CN 106340047 B CN106340047 B CN 106340047B
Authority
CN
China
Prior art keywords
pixel
route
pixel value
grid
along
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610809489.6A
Other languages
English (en)
Other versions
CN106340047A (zh
Inventor
武智融
林达华
汤晓鸥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201610809489.6A priority Critical patent/CN106340047B/zh
Publication of CN106340047A publication Critical patent/CN106340047A/zh
Application granted granted Critical
Publication of CN106340047B publication Critical patent/CN106340047B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology

Abstract

本申请实施例提供了一种图像生成方法、装置和系统。图像生成方法可包括:构建具有多个像素的像素网格;沿在像素网格上确定出的第一路线生成每个像素的像素值;以及沿在像素网格上确定出的第二路线更新每个像素的像素值,其中,第二路线的方向与第一路线的方向相反。本申请提供的技术方案改善了所生成的图像的协调性和一致性。

Description

图像生成方法、装置和系统
技术领域
本申请涉及计算机视觉(CV)领域,具体涉及图像生成方法、装置和系统。
背景技术
图像生成在图像处理领域和CV领域具有重要意义。例如,图像生成可在图像降噪处理、图像超分辨率处理、图像补全、图像渲染等应用中扮演重要的角色。
现有的图像生成方法大多一次性生成全部像素点的像素值,在图像的像素信息关联方面考虑欠妥,因而所生成的图像协调性和一致性欠佳。
发明内容
本申请提供了图像生成的技术方案。
本申请实施例的一方面提供了一种图像生成方法,该方法可包括:构建具有多个像素的像素网格;沿在像素网格上确定出的第一路线,基于在所述第一路线上的一个或多个在先相邻像素的像素值生成当前像素的像素值,第一路线遍布像素网格中的全部像素;以及沿在像素网格上确定出的第二路线,基于在所述第二路线上的一个或多个在先相邻像素的像素值更新当前像素的像素值,其中,第二路线的方向与第一路线的方向相反。
根据本申请的实施例,所述第一路线可从所述像素网格的第一顶点沿之字形迂回行进至与所述第一顶点对角的第二顶点;以及所述第二路线可从所述像素网格的所述第二顶点沿之字形迂回行进至所述第一顶点。
根据本申请的实施例,所述沿在所述像素网格上确定出的第一路线,基于在所述第一路线上的一个或多个在先相邻像素的像素值生成当前像素的像素值还可包括:根据预定特征或随机地生成第一个像素的像素值。
根据本申请的实施例,所述第一路线可包括沿第一方向的旁路连接。
根据本申请的实施例,所述第二路线可包括沿与所述第一方向相反的第二方向的旁路连接。
根据本申请的实施例,所述沿在所述像素网格上确定出的第二路线,基于在所述第二路线上的一个或多个在先相邻像素的像素值更新当前像素的像素值之后,所述图像生成方法还可包括:沿在所述像素网格上确定出的所述第一路线更新每个像素的像素值。
根据本申请的实施例,所述沿在所述像素网格上确定出的所述第一路线更新每个像素的像素值之后,所述图像生成方法还可包括:沿在所述像素网格上确定出的所述第二路线更新每个像素的像素值。
根据本申请的实施例,所述像素网格可构成循环神经网络,所述多个像素中的每个均可包括隐含层,所述多个像素中的相邻像素的隐含层可彼此全连接。
根据本申请的实施例,所述图像生成方法还可包括训练所述循环神经网络,该训练可包括:将生成的图像与从训练集中选出的参考图像比较从而确定训练误差;以及反向传播所述训练误差从而调节所述循环神经网络的参数直至训练结果满足预定收敛条件。
根据本申请的实施例,构建具有多个像素的像素网格可包括:根据预先训练好的循环神经网络构建具有多个像素的像素网格,其中,所述多个像素中的每个均包括隐含层,所述多个像素中的相邻像素的隐含层彼此全连接。
本申请实施例的另一方面提供了一种图像生成装置,该装置可包括:像素网格生成单元,构建具有多个像素的像素网格;像素值生成单元,沿在像素网格上确定出的第一路线,基于在所述第一路线上的一个或多个在先相邻像素的像素值生成当前像素的像素值,第一路线遍布像素网格中的全部像素;以及像素值更新单元,沿在像素网格上确定出的第二路线,基于在所述第二路线上的一个或多个在先相邻像素的像素值更新当前像素的像素值,其中,第二路线的方向与第一路线的方向相反。
根据本申请的实施例,所述第一路线可从所述像素网格的第一顶点沿之字形迂回行进至与所述第一顶点对角的第二顶点;以及所述第二路线可从所述像素网格的所述第二顶点沿之字形迂回行进至所述第一顶点。
根据本申请的实施例,所述像素值生成单元还可包括:初始化单元,根据预定特征或随机地生成第一个像素的像素值。
根据本申请的实施例,所述第一路线可包括沿第一方向的旁路连接。
根据本申请的实施例,所述第二路线可包括沿与所述第一方向相反的第二方向的旁路连接。
根据本申请的实施例,在所述像素值更新单元沿在所述像素网格上确定出的第二路线,基于在所述第二路线上的一个或多个在先相邻像素的像素值更新当前像素的像素值之后,所述像素值生成单元可沿在所述像素网格上确定出的所述第一路线更新每个像素的像素值。
根据本申请的实施例,在所述像素值生成单元沿在所述像素网格上确定出的所述第一路线更新每个像素的像素值之后,所述像素值更新单元可沿在所述像素网格上确定出的所述第二路线更新每个像素的像素值。
根据本申请的实施例,所述像素网格可构成循环神经网络,所述多个像素中的每个均可包括隐含层,所述多个像素中的相邻像素的隐含层可彼此全连接。
根据本申请的实施例,所述图像生成装置还可包括训练所述循环神经网络的训练单元,所述训练单元可包括:比较单元,将生成的图像与从训练集中选出的参考图像比较从而确定训练误差;以及修正单元,反向传播所述训练误差从而调节所述循环神经网络的参数直至训练结果满足预定收敛条件。
根据本申请的实施例,所述像素网格生成单元可根据预先训练好的循环神经网络构建具有多个像素的像素网格,其中,所述多个像素中的每个均可包括隐含层,所述多个像素中的相邻像素的隐含层可彼此全连接。
本申请实施例的另一方面提供了一种图像生成系统,该系统可包括:存储器,存储可执行指令;一个或多个处理器,与存储器通信以执行可执行指令从而完成以下操作:构建具有多个像素的像素网格;沿在像素网格上确定出的第一路线,基于在所述第一路线上的一个或多个在先相邻像素的像素值生成当前像素的像素值,第一路线遍布像素网格中的全部像素;以及沿在像素网格上确定出的第二路线,基于在所述第二路线上的一个或多个在先相邻像素的像素值更新当前像素的像素值,其中,第二路线的方向与第一路线的方向相反。
本申请实施例的另一方面提供了一种非暂时性计算机存储介质,该介质能够存储计算机可读指令,当这些指令被执行时可使处理器执行以下操作:构建具有多个像素的像素网格;沿在像素网格上确定出的第一路线,基于在所述第一路线上的一个或多个在先相邻像素的像素值生成当前像素的像素值;以及沿在像素网格上确定出的第二路线,基于在所述第二路线上的一个或多个在先相邻像素的像素值更新当前像素的像素值,其中,第二路线的方向与第一路线的方向相反。
通过沿存在一定关联的第一路线和第二路线依次生成和/或更新各像素的像素值,能够保证每个生成的像素值能够利用之前已经生成的相邻像素的像素值,从而建立起图像像素信息的全局关联,进而改善了所生成的图像不同像素之间的协调性和一致性。
附图说明
通过阅读参照附图所作出的以下详细描述,本申请的其它特征、目的和有益效果将会变得更明显,在附图中:
图1是根据本申请实施例的图像生成方法的流程图;
图2是根据本申请实施例的第一路线和第二路线的示意图;
图3是根据本申请另一实施例的第一路线和第二路线的示意图;
图4是根据本申请实施例的循环神经网路训练方法的流程图;
图5是根据本申请实施例的图像生成装置的示意图;以及
图6是根据本申请实施例的计算机系统的示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,在本文中所描述的具体实施例仅仅用于解释本申请,而非对本申请进行限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分。下面将参照附图并结合实施例来详细说明本申请。
图1示例性地示出了根据本申请实施例的图像生成方法1000的流程图。方法1000从在步骤S1010开始,在该步骤中可构建具有多个像素的像素网格。像素网格的形状和像素数量可根据图像形状、大小和分辨率而决定。下文中,以矩形像素网格为例对图像生成方法进行进一步的描述。在步骤S1030中,可沿在像素网格上确定出的第一路线生成每个像素的像素值。第一路线可被确定为遍布像素网格中的全部像素。每个像素的像素值可沿第一路线顺继地生成。在步骤S1050中,可沿在像素网格上确定出的第二路线更新每个像素的像素值,其中,第二路线的方向可被确定为与第一路线的方向相反。第二路线也可被确定为遍布像素网格中的全部像素。每个像素的像素值可沿第二路线顺继地更新。当全部像素的像素值更新完成之后,相当于生成了所需的图像。通过沿存在一定关联的第一路线和第二路线依次生成和/或更新各像素的像素值,能够保证每个生成的像素值能够利用之前已经生成的相邻像素的像素值从而建立起图像像素信息的全局关联,进而改善了所生成的图像不同像素之间的协调性和一致性。
图2示例性地示出了根据本申请实施例的第一路线和第二路线。在图2中第一路线和第二路线分别用标号2100和2200表示。第一路线2100可从像素网格2000的第一顶点(例如,像素2010)沿之字形迂回行进至与第一顶点对角的第二顶点(例如,像素2020);以及第二路线2200可从像素网格2000的第二顶点沿之字形迂回行进至第一顶点。通过设置这样的第一路线和第二路线,既保证了每个像素均与相邻的像素产生关联从而确保了像素值信息传递的连续性和近邻关联性,又保证了第一路线和第二路线遍及了图像的全部像素从而确保了图像信息的全局性。
在本申请的一个实施例中,沿在像素网格上确定出的第一路线生成每个像素的像素值可包括:随机地生成第一个像素2010的像素值;以及根据沿第一路线2100的一个或多个在先相邻像素的像素值生成当前像素的像素值。本文中所提及的“在先相邻像素”意为沿第一路线或第二路线的顺序先经过且与当前像素紧密相邻(如网格位置相邻)的像素。例如,可根据像素2010的像素值生成像素2030的像素值。通过这种方式,保证了在生成当前的像素值时充分考虑了沿第一路线的前一像素的像素信息,从而确保了像素信息的连续性和近邻关联性。该实施例可适用于简单图案的生成应用中,包括但不限于,纹理图案的生成应用。
在本申请的另一个实施例中,沿在像素网格上确定出的第一路线2100生成每个像素的像素值可包括:根据预定特征生成第一个像素2010的像素值;以及根据沿第一路线2100的一个或多个在先相邻像素的像素值生成当前像素的像素值。例如,可根据像素2010的像素值生成像素2030的像素值。预定特征可以是从预定图像提取的特征矢量,通过该预定特征可重建或修饰该预定图像。根据预定特征生成第一个像素2010的像素值,相当于设定图像的预定背景,从而在此预定背景上进行衍生图像的生成。该实施例可适用于复杂图案的生成应用中,包括但不限于,图像渲染。另外,通过这种方式,保证了在生成当前的像素值时充分考虑了沿第一路线的前一像素的像素信息,从而确保了像素信息的连续性和近邻关联性。
在本申请的一个实施例中,沿在像素网格上确定出的第二路线2200更新每个像素的像素值可包括根据沿第二路线2200的一个或多个在先相邻像素的像素值更新当前像素的像素值。例如,可根据像素2020的像素值更新像素2040的像素值。更新表示利用一个或多个在先相邻像素的像素值修正当前像素的像素值。通过这种方式,保证了在生成当前的像素值时充分考虑了沿第二路线的前一像素的像素信息,从而确保了像素信息的双向连续性和近邻关联性。
图3示例性地示出了根据本申请另一实施例的第一路线和第二路线。在该实施例中,第一路线和第二路线分别用标号3100和3200表示。如图所示,第一路线3100可包括沿第一方向(例如,竖直向下方向)的旁路连接3110。沿在像素网格3000上确定出的第一路线3100生成每个像素的像素值可包括:根据预定特征或随机地生成第一个像素的像素值;以及根据沿第一路线3100的一个或多个在先相邻像素的像素值生成当前像素的像素值。如上所述,本文中所提及的“在先相邻像素”意为沿第一路线或第二路线的顺序先经过且与当前像素紧密相邻(如网格位置相邻)的像素。例如,在本实施例的情况下,在生成像素3101的像素值时(即,当前像素为像素3101),在先相邻像素为像素3102和3103。因此,可同时参照第一路线3100的在先相邻像素3102和3103的像素值。通过这种方式,像素3101可更直接地获取像素3103的像素信息,而无需经之字形路线间接地获取像素3103的像素信息,从而增强了像素信息的连续性和近邻关联性。
第二路线3200可包括沿与第一方向相反的第二方向(例如,竖直向上方向)的旁路连接3210。沿在像素网格3000上确定出的第二路线3200更新每个像素的像素值可包括根据沿第二路线3200的一个或多个在先相邻像素的像素值更新当前像素的像素值。例如,在更新像素3101的像素值时,可同时参照第一路线3100的在先相邻像素3104和3105的像素值。通过这种方式,像素3101可更直接地获取像素3105的像素信息,而无需经之字形路线间接地获取像素3105的像素信息。经过更新后的像素3101的像素值同时利用了像素3102、3103、3104和3105的像素值,从而增强了像素信息的连续性和近邻关联性。虽然上述实施例仅公开了每个图像生成过程仅实施一次更新像素值的操作,但是本领域技术人员应理解,更新像素值的操作可实施多次。例如,在沿第二路线更新像素值之后,可沿第一路线再次更新像素值。同样地,在沿第一路线再次更新像素值之后,可继续沿第二路线更新像素值。以上步骤重复的次数可根据实际应用的需要而确定。
在本申请的一个实施例中,像素网格可构成循环神经网络,多个像素中的每个均可包括隐含层,多个像素中的相邻像素的隐含层彼此全连接。通过这种方式,可增强循环神经网络的表达能力,从而可通过该循环神经网络生成复杂的图像。例如,在本申请的一个实施例中,可构建具有多个像素的像素网格,包括:根据预先训练好的循环神经网络构建具有多个像素的像素网格,其中,所述多个像素中的每个均可包括隐含层,所述多个像素中的相邻像素的隐含层可彼此全连接。
在本申请的一个实施例中,图2和图3所示的像素网格可构成循环神经网络。
图4示例性地示出了根据本申请实施例的循环神经网络的训练方法4000的流程图。如图4所示,参照图1至图3描述的图像生成方法还可包括训练该循环神经网络,训练过程可包括:在步骤S4010中,将生成的图像与从训练集中选出的参考图像比较从而确定训练误差;以及在步骤S4030中,反向传播所述训练误差从而调节所述循环神经网络的参数直至训练结果满足预定收敛条件。例如,所述训练误差小于一定阈值、所述训练误差落入某容差范围内、训练过程迭代预定次数,等等。通过训练,循环神经网络的参数能够适配训练集中的参考图像,从而可在图像生成过程中适于生成与训练集中的图像类型相符的图像。
参照图1至图4描述的图像生成方法可通过计算机系统来实施。该计算机系统包括存储有可执行指令的存储器以及处理器。处理器与存储器通信以执行可执行指令从而实施参照图1至图4描述的方法。可替代地或附加地,参照图1至图4描述的图像生成方法可通过非暂时性计算机存储介质来实施。该介质存储计算机可读指令,当这些指令被执行时使处理器执行参照图1至图4描述的方法。
图5示例性地示出了根据本申请实施例的图像生成装置的示意图5000。图像生成装置5000可包括:像素网格生成单元5100,构建具有多个像素的像素网格;像素值生成单元5200,沿在像素网格上确定出的第一路线生成每个像素的像素值;以及像素值更新单元5300,沿在像素网格上确定出的第二路线更新每个像素的像素值,其中,第二路线的方向与第一路线的方向相反。
在本申请的一个实施例中,第一路线可从像素网格的第一顶点沿之字形迂回行进至与第一顶点对角的第二顶点;以及第二路线可从像素网格的第二顶点沿之字形迂回行进至第一顶点。
在本申请的一个实施例中,像素值生成单元5200可包括:初始化单元,根据预定特征或随机地生成第一个像素的像素值;以及循迹单元,根据沿第一路线的一个或多个在先相邻像素的像素值生成当前像素的像素值。
在本申请的一个实施例中,第一路线可包括沿第一方向的旁路连接,以及像素值生成单元5200可包括:初始化单元,根据预定特征或随机地生成第一个像素的像素值;以及循迹单元,根据沿第一路线的一个或多个在先相邻像素的像素值生成当前像素的像素值。
在本申请的一个实施例中,像素值更新单元5300可根据沿第二路线的一个或多个在先相邻像素的像素值更新当前像素的像素值。
在本申请的一个实施例中,第二路线可包括沿与第一方向相反的第二方向的旁路连接,以及像素值更新单元5300可根据沿第二路线的一个或多个在先相邻像素的像素值更新当前像素的像素值。本领域技术人员应理解,更新像素值的操作可实施多次。例如,在沿第二路线更新像素值之后,可沿第一路线再次更新像素值。同样地,在沿第一路线再次更新像素值之后,可继续沿第二路线更新像素值。以上步骤重复的次数可根据实际应用的需要而确定。
在本申请的一个实施例中,像素网格可构成循环神经网络,多个像素中的每个均可包括隐含层,多个像素中的相邻像素的隐含层可彼此全连接。
在本申请的一个实施例中,图像生成装置5000还可包括训练循环神经网络的训练单元,训练单元可包括:比较单元,将生成的图像与从训练集中选出的参考图像比较从而确定训练误差;以及修正单元,反向传播训练误差从而调节循环神经网络的参数直至训练结果满足预定收敛条件。
在本申请的一个实施例中,像素网格生成单元5100可根据预先训练好的循环神经网络构建具有多个像素的像素网格,其中,该多个像素中的每个均可包括隐含层,该多个像素中的相邻像素的隐含层可彼此全连接。
参照图5描述的图像生成装置可通过计算机系统来实施。该计算机系统可包括存储有可执行指令的存储器以及处理器。处理器与存储器通信以执行可执行指令从而实施参照图5描述的图像生成装置。可替代地或附加地,参照图5描述的图像生成装置可通过非暂时性计算机存储介质来实施。该介质存储计算机可读指令,当这些指令被执行时使处理器实施参照图5描述的图像生成装置。
现参照图6,该图示出了适合实施本申请实施例的计算机系统6000的结构示意图。
如图6所示,计算机系统6000包括处理单元(如中央处理单元(CPU)6001、或图像处理单元GPU等),其可根据存储在只读存储器(ROM)6002中的程序或从存储部分6008加载至随机存取存储器(RAM)6003中的程序而执行各种适当的动作和过程。在RAM 6003中,还存储有系统6000操作所需要的各种程序和数据。CPU 6001、ROM 6002和RAM 6003通过总线6004彼此连接。输入/输出I/O接口6005也与总线6004连接。
以下为与I/O接口6005连接的部件:包括键盘、鼠标等的输入部分6006;包括阴极射线管CRT、液晶显示设备LCD和扬声器等的输出部分6007;包括硬盘等的存储部分6008;以及包括网络接口卡(如LAN卡和调制解调器等)的通信部分6009。通信部分6009通过诸如因特网等网络执行通信处理。根据需要,驱动器6010也与I/O接口6005连接。如磁盘、光盘、磁光盘、半导体存储器等的可拆卸介质6011可安装在驱动器6010上,以便于从其上读出的计算机程序根据需要被安装入存储部分6008。
具体地,根据本公开的实施例,以上参照图1至图4描述的方法可实施为计算机软件程序。例如,本公开的实施例包括计算机程序产品,该产品包括有形地体现在机器可读介质中的计算机程序。该计算机程序包括用于执行图1至图4的方法的程序代码。在这种实施例中,计算机程序可通过通信部分6009从网络上下载并进行安装,和/或可从可拆卸介质6011安装。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本申请的实施例所涉及的单元或模块可通过软件或硬件实施。所描述的单元或模块也可设置在处理器中。这些单元或模块的名称不应被视为限制这些单元或模块。
在另一方面,本申请还提供计算机可读存储介质。计算机可读存储介质可以是包括在上述实施例的装置中的计算机可读存储介质,其也可以是未装配在上述装置中的计算机可读存储介质。计算机可读存储介质存储一个或多个程序,一个或多个处理器使用上述程序来执行本申请中所描述的估计方法。
上文仅仅是对本申请的优选实施例以及所应用的技术原理的描述。本领域的技术人员应理解,本申请的发明范围并不限于由上述技术特征的特定组合构成的技术方案。在不脱离本发明的构思的情况下,本发明的范围还应覆盖由上述技术特征及其等同特征的任意组合构成的其他技术方案。例如,通过将以上公开的特征替换为具有相似功能的技术特征而构成的技术方案也落入本发明的范围内。

Claims (21)

1.一种图像生成方法,其特征在于,包括:
构建具有多个像素的像素网格;
沿在所述像素网格上确定出的第一路线,基于在所述第一路线上的一个或多个在先相邻像素的像素值生成当前像素的像素值,所述第一路线遍布所述像素网格中的全部像素;以及
沿在所述像素网格上确定出的第二路线,基于在所述第二路线上的一个或多个在先相邻像素的像素值更新当前像素的像素值,其中,所述第二路线的方向与所述第一路线的方向相反。
2.根据权利要求1所述的图像生成方法,其特征在于:
所述第一路线从所述像素网格的第一顶点沿之字形迂回行进至与所述第一顶点对角的第二顶点;以及
所述第二路线从所述像素网格的所述第二顶点沿之字形迂回行进至所述第一顶点。
3.根据权利要求1所述的图像生成方法,其特征在于,所述沿在所述像素网格上确定出的第一路线,基于在所述第一路线上的一个或多个在先相邻像素的像素值生成当前像素的像素值还包括:
根据预定特征或随机地生成第一个像素的像素值。
4.根据权利要求1所述的图像生成方法,其特征在于,所述第一路线包括沿第一方向的旁路连接。
5.根据权利要求4所述的图像生成方法,其特征在于,所述第二路线包括沿与所述第一方向相反的第二方向的旁路连接。
6.根据权利要求1所述的图像生成方法,其特征在于,所述沿在所述像素网格上确定出的第二路线,基于在所述第二路线上的一个或多个在先相邻像素的像素值更新当前像素的像素值之后,所述图像生成方法还包括:沿在所述像素网格上确定出的所述第一路线更新每个像素的像素值。
7.根据权利要求6所述的图像生成方法,其特征在于,所述沿在所述像素网格上确定出的所述第一路线更新每个像素的像素值之后,所述图像生成方法还包括:沿在所述像素网格上确定出的所述第二路线更新每个像素的像素值。
8.根据权利要求1至7中任一项所述的图像生成方法,其特征在于,所述像素网格构成循环神经网络,所述多个像素中的每个均包括隐含层,所述多个像素中的相邻像素的隐含层彼此全连接。
9.根据权利要求8所述的图像生成方法,其特征在于,所述图像生成方法还包括训练所述循环神经网络,包括:
将生成的图像与从训练集中选出的参考图像比较从而确定训练误差;以及
反向传播所述训练误差从而调节所述循环神经网络的参数直至训练结果满足预定收敛条件。
10.根据权利要求1至7中任一项所述的图像生成方法,其特征在于,构建具有多个像素的像素网格,包括:
根据预先训练好的循环神经网络构建具有多个像素的像素网格,其中,所述多个像素中的每个均包括隐含层,所述多个像素中的相邻像素的隐含层彼此全连接。
11.图像生成装置,其特征在于,包括:
像素网格生成单元,构建具有多个像素的像素网格;
像素值生成单元,沿在所述像素网格上确定出的第一路线,基于在所述第一路线上的一个或多个在先相邻像素的像素值生成当前像素的像素值,所述第一路线遍布所述像素网格中的全部像素;以及
像素值更新单元,沿在所述像素网格上确定出的第二路线,基于在所述第二路线上的一个或多个在先相邻像素的像素值更新当前像素的像素值,其中,所述第二路线的方向与所述第一路线的方向相反。
12.根据权利要求11所述的图像生成装置,其特征在于:
所述第一路线从所述像素网格的第一顶点沿之字形迂回行进至与所述第一顶点对角的第二顶点;以及
所述第二路线从所述像素网格的所述第二顶点沿之字形迂回行进至所述第一顶点。
13.根据权利要求11所述的图像生成装置,其特征在于,所述像素值生成单元还包括:
初始化单元,根据预定特征或随机地生成第一个像素的像素值。
14.根据权利要求11所述的图像生成装置,其特征在于,所述第一路线包括沿第一方向的旁路连接。
15.根据权利要求14所述的图像生成装置,其特征在于,所述第二路线包括沿与所述第一方向相反的第二方向的旁路连接。
16.根据权利要求11所述的图像生成装置,其特征在于,在所述像素值更新单元沿在所述像素网格上确定出的第二路线,基于在所述第二路线上的一个或多个在先相邻像素的像素值更新当前像素的像素值之后,所述像素值生成单元沿在所述像素网格上确定出的所述第一路线更新每个像素的像素值。
17.根据权利要求16所述的图像生成装置,其特征在于,在所述像素值生成单元沿在所述像素网格上确定出的所述第一路线更新每个像素的像素值之后,所述像素值更新单元沿在所述像素网格上确定出的所述第二路线更新每个像素的像素值。
18.根据权利要求11至17中任一项所述的图像生成装置,其特征在于,所述像素网格构成循环神经网络,所述多个像素中的每个均包括隐含层,所述多个像素中的相邻像素的隐含层彼此全连接。
19.根据权利要求18所述的图像生成装置,其特征在于,所述图像生成装置还包括训练所述循环神经网络的训练单元,所述训练单元包括:
比较单元,将生成的图像与从训练集中选出的参考图像比较从而确定训练误差;以及
修正单元,反向传播所述训练误差从而调节所述循环神经网络的参数直至训练结果满足预定收敛条件。
20.根据权利要求11至17中任一项所述的图像生成装置,其特征在于,所述像素网格生成单元根据预先训练好的循环神经网络构建具有多个像素的像素网格,其中,所述多个像素中的每个均包括隐含层,所述多个像素中的相邻像素的隐含层彼此全连接。
21.图像生成系统,其特征在于,包括:
存储器,存储可执行指令;
一个或多个处理器,与所述存储器通信以执行可执行指令从而完成以下操作:构建具有多个像素的像素网格;沿在所述像素网格上确定出的第一路线,基于在所述第一路线上的一个或多个在先相邻像素的像素值生成当前像素的像素值,所述第一路线遍布所述像素网格中的全部像素;以及沿在所述像素网格上确定出的第二路线,基于在所述第二路线上的一个或多个在先相邻像素的像素值更新当前像素的像素值,其中,所述第二路线的方向与所述第一路线的方向相反。
CN201610809489.6A 2016-09-07 2016-09-07 图像生成方法、装置和系统 Active CN106340047B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610809489.6A CN106340047B (zh) 2016-09-07 2016-09-07 图像生成方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610809489.6A CN106340047B (zh) 2016-09-07 2016-09-07 图像生成方法、装置和系统

Publications (2)

Publication Number Publication Date
CN106340047A CN106340047A (zh) 2017-01-18
CN106340047B true CN106340047B (zh) 2018-07-27

Family

ID=57823481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610809489.6A Active CN106340047B (zh) 2016-09-07 2016-09-07 图像生成方法、装置和系统

Country Status (1)

Country Link
CN (1) CN106340047B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5561534A (en) * 1991-07-12 1996-10-01 Canon Kabushiki Kaisha Image processing method and apparatus
CN1667650A (zh) * 2005-04-08 2005-09-14 杭州国芯科技有限公司 基于边缘检测的图像缩放的方法
CN101340581A (zh) * 2008-08-15 2009-01-07 上海富瀚微电子有限公司 一种基于m算法的帧内预测模式选择装置
CN101366279A (zh) * 2005-09-16 2009-02-11 索尼电子有限公司 自适应的运动搜索范围
CN101902548A (zh) * 2009-05-27 2010-12-01 索尼公司 图像处理设备、成像设备及图像处理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4015890B2 (ja) * 2002-06-28 2007-11-28 松下電器産業株式会社 画素ブロックデータ生成装置および画素ブロックデータ生成方法
GB2431802A (en) * 2005-10-31 2007-05-02 Sony Uk Ltd Interpolating pixels
JP4861114B2 (ja) * 2006-09-27 2012-01-25 株式会社東芝 映像信号処理装置
CN101589328A (zh) * 2007-11-20 2009-11-25 松下电器产业株式会社 图像显示装置及其显示方法、程序、集成电路、眼镜式头戴式显示器、汽车、双筒望远镜和台式显示器
CN102740065B (zh) * 2011-03-31 2015-11-25 富士通株式会社 图像编码方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5561534A (en) * 1991-07-12 1996-10-01 Canon Kabushiki Kaisha Image processing method and apparatus
CN1667650A (zh) * 2005-04-08 2005-09-14 杭州国芯科技有限公司 基于边缘检测的图像缩放的方法
CN101366279A (zh) * 2005-09-16 2009-02-11 索尼电子有限公司 自适应的运动搜索范围
CN101340581A (zh) * 2008-08-15 2009-01-07 上海富瀚微电子有限公司 一种基于m算法的帧内预测模式选择装置
CN101902548A (zh) * 2009-05-27 2010-12-01 索尼公司 图像处理设备、成像设备及图像处理方法

Also Published As

Publication number Publication date
CN106340047A (zh) 2017-01-18

Similar Documents

Publication Publication Date Title
CN110084874B (zh) 对于三维模型的图像风格迁移
Shan et al. Fast image/video upsampling
CN103853812B (zh) 用于提供网页的方法和系统
US20180240257A1 (en) Deep high-resolution style synthesis
CN102835119B (zh) 支持自动立体显示器上的实时3d图像渲染的多核心处理器
CN105469363B (zh) 基于模糊图像生成清晰图像的方法和装置
CN106095437B (zh) 用户界面从右到左rtl的布局方式的实现方法及装置
US8233739B1 (en) Patch jittering for visual artifact correction
CN108229496A (zh) 服饰关键点的检测方法和装置、电子设备、存储介质和程序
US20220138500A1 (en) Unsupervised super-resolution training data construction
US10438317B2 (en) Method and apparatus for rendering
CN106056529A (zh) 一种对用于图片识别的卷积神经网络训练的方法与设备
CN104980518B (zh) 多学习主体并行训练模型的方法、装置和系统
CN115735227A (zh) 反转用于姿态估计的神经辐射场
CN110070555A (zh) 图像处理方法、装置、硬件装置
CN110222726A (zh) 图像处理方法、装置及电子设备
CN110047122A (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN108765295A (zh) 图像处理方法、图像处理装置及存储介质
CN110058936A (zh) 用于确定专用处理资源的资源量的方法、设备和计算机程序产品
Günther et al. Hierarchical opacity optimization for sets of 3D line fields
CN108763551A (zh) 页面渲染方法、装置、服务器及计算机可读存储介质
CN111275173B (zh) 一种神经网络训练方法、装置及其设备
CN108196943B (zh) 虚拟机管理方法和装置
CN110297718A (zh) 界面元素联动处理方法、装置和设备
CN110070554A (zh) 图像处理方法、装置、硬件装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant