CN110223363A - 图像生成方法及装置 - Google Patents

Abstract

本发明实施例公开了一种图像生成方法，包括：选定期望场景；调用与所述期望场景匹配的换算关系，所述换算关系是通过计算标准品在白光下的第一高光谱图像和所述标准品在所述期望场景下的第二高光谱图像之间的关系而确定的；利用所述换算关系，结合待渲染物品在白光下的第三高光谱图像推演出所述待渲染物品在所述期望场景下的第四高光谱图像；将所述第四高光谱图像进行融合，获得RGB图像。本发明实施例能够高效且低成本地获得物品在不同场景下的真实渲染效果图像。

Description

图像生成方法及装置

技术领域

本发明涉及信息处理技术领域，尤其涉及一种图像生成方法及装置。

背景技术

通常，物体对不同光的吸收和反射的分布是不同的，自然界中的光谱十分多样化，因此，物体在不同环境光下所展现出的颜色不尽相同。

在设计行业中，绘制设计效果图是很重要的一部分，是对设计师设计内容最为直观的展示，能够帮助客户理解成品的预期效果。因此，在绘制效果图时需要展现出物体在某种环境光下最真实的颜色效果。在绘制设计图时，一般的步骤为：搭建模型、导入贴图样本给模型贴图，包括颜色和材质等、最后进行图像的渲染，将粗糙的模型场景变为更加真实的场景。目前在设计师绘制设计图时，需要从数据库中的贴图样本中找到需要的材质和颜色，并且在渲染过程中设置灯光等各种参数，利用电脑逐像素点地对光线和效果进行计算，以获得最佳的渲染效果。然而，这样的参数调整目前都是通过设计师个人的经验来进行，并且渲染花费的时间多、设备高昂，调参的风险大。另外，数据库中的材质和颜色数据都比较有限，很多情况下不能找到某些特定环境光下该材质的颜色，而单纯依赖渲染展现出的效果不稳定，因而导致颜色失真的情况有很多。

目前常用的解决方法为，对于每种设计场景中所需要的真实光源，通过对物体在该场景中拍照获得贴图数据再将该数据传入建模数据库中。但是实际操作中，每次拍摄只能拍某一种环境光下的物体，下次需要同样的材料物体在不同的环境光下的效果时又需要拍摄新的照片，这样的做法效率较低，不具有广泛性，并且需要硬件设备的支持，成本较高。

发明内容

基于此，为了高效且低成本地获得物品在不同场景下的真实渲染效果图像，特提出了一种图像生成方法。

一种图像生成方法，包括：

选定期望场景；

调用与所述期望场景匹配的换算关系，所述换算关系是通过计算标准品在白光下的第一高光谱图像和所述标准品在所述期望场景下的第二高光谱图像之间的关系而确定的；

利用所述换算关系，结合待渲染物品在白光下的第三高光谱图像推演出所述待渲染物品在所述期望场景下的第四高光谱图像；

将所述第四高光谱图像进行融合，获得RGB图像。

作为一种具体的实施例，所述待渲染物品包括多个物品个体；所述利用所述换算关系，结合所述待渲染物品在白光下的第三高光谱图像推算出所述待渲染物品在所述期望场景下的第四高光谱图像包括：

依据所述多个物品个体，对所述第三高光谱图像进行图像语义分割，获得多个高光谱子图像；

利用所述换算关系，结合所述高光谱子图像推演出个体高光谱图像；

将所有的所述个体高光谱图像进行合成，获得所述第四高光谱图像。

作为对上述实施例的改进，在对任一所述高光谱子图像进行推演时，保留该高光谱子图像的像素点数值，以及将其他像素点数值归零处理。

此外，为解决现有技术所存在的技术问题，特提出了一种图像生成装置。

一种图像生成装置，包括：

接收模块，用于接收输入的图像渲染指令，其中，所述图像渲染指令包括待渲染物品在白光下的第三高光谱图像以及期望场景；

储存模块，用于存储与所述期望场景匹配的换算关系，所述换算关系是通过计算标准品在白光下的第一高光谱图像和所述标准品在所述期望场景下的第二高光谱图像之间的关系而确定的；

调用模块，用于调用所述换算关系；

推演模块，利用所述换算关系，结合所述第三高光谱图像推演出所述待渲染物品在所述期望场景下的第四高光谱图像；

融合模块，用于将所述第四高光谱图像进行融合，获得RGB图像。

作为一种具体的实施例，所述待渲染物品包括多个物品个体；所述利用所述换算关系，结合所述待渲染物品在白光下的第三高光谱图像推算出所述待渲染物品在所述期望场景下的第四高光谱图像的方式具体为：依据所述多个物品个体，对所述第三高光谱图像进行图像语义分割，获得多个高光谱子图像；利用所述换算关系，结合所述高光谱子图像推演出个体高光谱图像；将所有的所述个体高光谱图像进行合成，获得所述第四高光谱图像。

作为对上述实施例的改进，所述图像生成装置还包括：保留模块，用于在对任一所述高光谱子图像进行推演时，保留该高光谱子图像的像素点数值；归零模块，用于将其他像素点数值归零处理。

实施本发明实施例，将具有如下有益效果：

采用了上述图像生成方法及装置之后，可以接收输入的图像渲染指令，其中，所述图像渲染指令包括待渲染物品在白光下的第三高光谱图像以及期望场景；进一步地，可以调用与所述期望场景匹配的换算关系，所述换算关系是通过计算标准品在白光下的第一高光谱图像和所述标准品在所述期望场景下的第二高光谱图像之间的关系而确定的；更进一步地，可以使用所述换算关系，对所述待渲染物品在白光下的第三高光谱物品图像进行推演，获得第四高光谱图像，再将所述第四高光谱图像进行融合，获得RGB图像。可见，本发明中，事先建立了与不同场景所匹配的换算关系的数据库，通过这些换算关系，就可以利用由白光照射下待渲染品的高光谱图像推演不同场景下环境光照射待渲染品后的效果，再通过图像的融合，即可获得真实显色图像，也即RGB图像，这种方式，能够高效且低成本地获得物品在不同场景下的真实渲染效果图像。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例公开的一种图像生成方法的流程示意图；

图2为一个实施例公开的一种图像生成方法的实际应用示意图；

图3为一个实施例公开的另一种图像生成方法的流程示意图；

图4为一个实施例公开的一种场景图像语义分割的示意图；

图5为一个实施例公开的一种图像生成装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明公开了一种图像生成方法及装置，可以事先建立与不同场景相匹配的换算关系的数据库，其中，换算关系是通过计算标准品在白光下的高光谱图像和标准品在期望场景下的高光谱图像之间的关系而确定的。通过这些换算关系，利用由白光照射下产品的高光谱图像推演不同环境光照射下产品的高光谱图像，再通过图像的融合，即可获得真实场景渲染图像，这种方式，能够高效且低成本地获得物品在不同场景下的真实渲染效果图像。

在一些应用场景中，本发明提出的图像生成方法可以被运用于辅助室内设计效果图中，提供在不同室内灯光下家具、壁纸等颜色的真实显色效果，保证最终设计图颜色效果的不失真。

在一些应用场景中，本发明提出的图像生成方法可以被运用于辅助工业设计效果图中，能够获得不同自然环境光条件下产品颜色的真实显色，以确保设计效果符合最终产品效果。

在一些应用场景中，本发明提出的图像生成方法可以被运用于实时场景渲染中。在游戏等应用场景中，在玩家操纵的游戏人物在游戏地图中移动的同时，根据游戏中环境设置的不同环境光会发生改变。在环境光发生改变的情况下游戏人物形象也应该同步进行改变。通过运用本专利的方法，通过随时图像立方体的变化基准，达到实时显色辅助的功能。

实施例1

请参阅图1，图1为一个实施例公开的一种图像生成方法的流程示意图。如图1所示，该图像生成方法可以包括以下步骤：

步骤S101、电子设备接收输入的图像渲染指令。

其中，所述图像渲染指令包括物品在白光下的第三高光谱物品图像以及期望场景。其中，该期望场景可以包括但不限于夕阳下、湖边、山顶、草地以及公路。

其中，电子设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的终端，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器、嵌入式设备等。所述电子设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。

本发明实施例中，当需要进行图像渲染时，用户可以向电子设备中输入待渲染物品的在白光下的高光谱图像，并从电子设备备选的多个场景中选择期望场景，以触发生成图像渲染指令。

步骤S102、电子设备根据图像渲染指令调用与所述期望场景匹配的换算关系。

其中，通过计算标准品在白光下的第一高光谱图像和所述标准品在所述期望场景下的第二高光谱图像之间的关系而确定的。所述换算关系可以通过单纯的数学推算获得，也可利用神经网络等其他方法，此外，所述换算关系可以是一个矩阵，还可以是其他表示变化的方式。不同的场景，相应的换算关系是不同的。

本发明实施例中，可以预先挑选一个标准品，对于该标准品，可以拍摄其在白光下的第一高光谱图像，以及拍摄标准品在其他场景(比如湖边，夕阳下)下的第二高光谱图像。

对于与各种场景相匹配的换算关系，可以存储在电子设备内，便于调用。

步骤S103、电子设备使用所述换算关系，对所述第三高光谱图像进行推演，得到所述待渲染物品在所述期望场景下的第四高光谱图像。

请一并参见图2，图2为一个实施例公开的一种图像生成方法实际应用示意图。如图2所示，高光谱数据库中存储有标准品在不同场景下的高光谱图像，如图2中所示的标准品在白光下的高光谱图像，标准品在夕阳下的高光谱图像以及标准品在湖边的高光谱图像。用户在选择出期望场景(如图2中的场景2：夕阳下)后，可以先计算标准品在白光下的第一高光谱图像与所述标准品在所述夕阳场景下的第二高光谱图像的换算关系(如图2所示的变化矩阵A)；进一步地，使用所述换算关系，对白光下的物体(墙壁)的第三高光谱图像进行变换，即可获得墙壁在夕阳场景下的第四高光谱图像。

步骤S104、电子设备将所述第四高光谱图像进行融合，获得RGB图像。

其中，实施图1所描述的方法，可以接收输入的图像渲染指令，其中，所述图像渲染指令包括物品在白光下的高光谱物品图像以及期望场景；进一步地，可以从高光谱数据库中，选择标准品在白光下的第一高光谱图像与所述标准品在所述期望场景下的第二高光谱图像，并根据高光谱数据库中标准品在所述白光下的第一高光谱图像和所述标准品在所述期望场景下的第二高光谱图像，确定与所述期望场景匹配的换算关系，其中，所述换算关系是基于预先建立的不同场景下标准品的高光谱数据库得到的；更进一步地，可以使用所述换算关系，对所述物品在白光下的第三高光谱图像进行推演，获得所述期望场景下的第四高光谱图像，并将所述第三高光谱图像进行融合，获得RGB图像。可见，本方式只需要待渲染物品在白光下的高光谱图像，即可生成预期场景下的真实渲染图像，高效且成本低廉。

实施例2

请参阅图3，图3为一个实施例公开的另一种图像生成方法的流程示意图。如图3所示，该图像生成方法可以包括以下步骤：

步骤S301、电子设备接收输入的图像渲染指令。

其中，所述图像渲染指令包括待渲染物品在白光下的第三高光谱物品图像以及期望场景。其中，该期望场景可以包括但不限于夕阳下、湖边、山顶、草地以及公路。

其中，电子设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的终端，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器、嵌入式设备等。所述电子设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。

本发明实施例中，当需要进行图像渲染时，用户可以向电子设备中输入待渲染物品的在白光下的高光谱图像，并从电子设备备选的多个场景中选择期望场景，以触发生成图像渲染指令。

步骤S302、电子设备根据图像渲染指令调用与所述期望场景匹配的换算关系。

其中，通过计算标准品在白光下的第一高光谱图像和所述标准品在所述期望场景下的第二高光谱图像之间的关系而确定的。所述换算关系可以通过单纯的数学推算获得，也可利用神经网络等其他方法，此外，所述换算关系可以是一个矩阵，还可以是其他表示变化的方式。不同的场景，相应的换算关系是不同的。

本发明实施例中，可以预先挑选一个标准品，对于该标准品，可以拍摄其在白光下的第一高光谱图像，以及拍摄标准品在其他场景(比如湖边，夕阳下)下的第二高光谱图像。

对于与各种场景相匹配的换算关系，可以存储在电子设备内，便于调用。

步骤S303、电子设备依据所述第三高光谱图像中多个物品个体，对所述第三高光谱图像进行图像语义分割，获得多个高光谱子图像。

其中，图像语义分割即机器自动分割并识别出图像中的内容，图像是由许多像素(Pixel)组成，而“语义分割”顾名思义就是将像素按照图像中表达语义含义的不同进行分组(Grouping)/分割(Segmentation)。

请一并参见图4，图4为一个实施例公开的一种场景图像语义分割的示意图。如图4所示，该待渲染物品包括三个物品个体，即墙壁、窗帘以及电视机，将第三高光谱通过神经网络进行像素点分类进而完成图像语义分割后，可以获得3个高光谱子图像，即墙壁的高光谱子图像、窗帘的高光谱子图像以及电视机的高光谱子图像。

步骤S304、针对每个所述高光谱子图像，电子设备使用所述换算关系，对所述高光谱子图像进行推演，获得个体高光谱图像。

如此，能够减少由于输入图像大小的不同导致模型无法达到普适性的问题，同时降低了后续重构回与原图相同大小的高光谱图像的困难。

步骤S305、电子设备将多个所述个体高光谱图像进行合成，获得待渲染物品在预期场景下的第四高光谱图像。

作为一种可选的实施方式，所述方法还包括：

在对某一所述高光谱子图像进行推演时，保留该高光谱子图像的像素点数值，以及将其他像素点数值归零处理。

对期望场景中的每一个物品个体都执行这样的操作，最后将所有个体高光谱图像进行合成，得到第四高光谱图像。

步骤S306、电子设备将所述第四高光谱图像进行融合，获得RGB图像。

请参阅图5，图5为一个实施例公开的一种图像生成装置的结构示意图。如图5所示，其中，图5所描述的图像生成装置可以用于执行图1或图3所描述的图像生成方法中的部分或全部步骤，具体可以参见图1或图3中的相关描述，在此不再赘述。如图5所示，该图像生成装置可以包括：

接收模块501，用于接收输入的图像渲染指令，其中，所述图像渲染指令包括待渲染物品在白光下的第三高光谱图像以及期望场景；

储存模块502，用于存储与所述期望场景匹配的换算关系，所述换算关系是通过计算标准品在白光下的第一高光谱图像和所述标准品在所述期望场景下的第二高光谱图像之间的关系而确定的；

调用模块503，用于调用所述换算关系；

推演模块504，利用所述换算关系，结合所述第三高光谱图像推演出所述待渲染物品在所述期望场景下的第四高光谱图像；

融合模块505，用于将所述第四高光谱图像进行融合，获得RGB图像。

其中，当所述待渲染物品包括多个物品个体时；所述利用所述换算关系，结合所述待渲染物品在白光下的第三高光谱图像推算出所述待渲染物品在所述期望场景下的第四高光谱图像的方式具体为：依据所述多个物品个体，对所述第三高光谱图像进行图像语义分割，获得多个高光谱子图像；利用所述换算关系，结合所述高光谱子图像推演出个体高光谱图像；将所有的所述个体高光谱图像进行合成，获得所述第四高光谱图像。

进一步地，所述图像生成装置还包括：保留模块，用于在对任一所述高光谱子图像进行推演时，保留该高光谱子图像的像素点数值；归零模块，用于将其他像素点数值归零处理。

通过本装置，指令性输入待渲染物品在白光下的高光谱图像和预期场景，即可输出待渲染物品在预期场景下的真实渲染图像，高效且成本低廉。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读存储介质中。其中，该计算机可读存储介质可以存储计算机程序，该计算机程序在被处理器执行时，可实现上述各个方法实施例中的步骤。其中，该计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random-Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本发明实施例公开的一种图像生成方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种图像生成方法，其特征在于，包括：

选定期望场景；

调用与所述期望场景匹配的换算关系，所述换算关系是通过计算标准品在白光下的第一高光谱图像和所述标准品在所述期望场景下的第二高光谱图像之间的关系而确定的；

利用所述换算关系，结合待渲染物品在白光下的第三高光谱图像推演出所述待渲染物品在所述期望场景下的第四高光谱图像；

将所述第四高光谱图像进行融合，获得RGB图像。

2.根据权利要求1所述的方法，其特征在于，所述待渲染物品包括多个物品个体；所述利用所述换算关系，结合所述待渲染物品在白光下的第三高光谱图像推算出所述待渲染物品在所述期望场景下的第四高光谱图像包括：

依据所述多个物品个体，对所述第三高光谱图像进行图像语义分割，获得多个高光谱子图像；

利用所述换算关系，结合所述高光谱子图像推演出个体高光谱图像；

将所有的所述个体高光谱图像进行合成，获得所述第四高光谱图像。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在对任一所述高光谱子图像进行推演时，保留该高光谱子图像的像素点数值，以及将其他像素点数值归零处理。

4.一种图像生成装置，其特征在于，包括：

接收模块，用于接收输入的图像渲染指令，其中，所述图像渲染指令包括待渲染物品在白光下的第三高光谱图像以及期望场景；

储存模块，用于存储与所述期望场景匹配的换算关系，所述换算关系是通过计算标准品在白光下的第一高光谱图像和所述标准品在所述期望场景下的第二高光谱图像之间的关系而确定的；

调用模块，用于调用所述换算关系；

推演模块，利用所述换算关系，结合所述第三高光谱图像推演出所述待渲染物品在所述期望场景下的第四高光谱图像；

融合模块，用于将所述第四高光谱图像进行融合，获得RGB图像。

5.根据权利要求4所述的图像生成装置，其特征在于，所述待渲染物品包括多个物品个体；所述利用所述换算关系，结合所述待渲染物品在白光下的第三高光谱图像推算出所述待渲染物品在所述期望场景下的第四高光谱图像的方式具体为：

依据所述多个物品个体，对所述第三高光谱图像进行图像语义分割，获得多个高光谱子图像；

利用所述换算关系，结合所述高光谱子图像推演出个体高光谱图像；

将所有的所述个体高光谱图像进行合成，获得所述第四高光谱图像。

6.根据权利要求5所述的图像生成装置，其特征在于，所述图像生成装置还包括：

保留模块，用于在对任一所述高光谱子图像进行推演时，保留该高光谱子图像的像素点数值；

归零模块，用于将其他像素点数值归零处理。