CN101529465B - 图像合成装置、方法、集成电路 - Google Patents

Abstract

在对合成了数据格式不同的多个图像数据来生成的合成图像数据进行加工时，对全体合成图像数据，利用同一算法进行加工，但对于合成图像数据的一部分来说，有时上述算法未必是最优算法。在本发明中，格式转换部(142)在进行成为合成对象的图像数据的格式转换的同时，在各像素数据中附加表示转换前的数据格式的标志来进行输出。合成引擎(144)合成从格式转换部(142)输出的图像数据。

Description

图像合成装置、方法、集成电路

技术领域

本发明涉及将多个图像合成为1个图像的技术。特别是涉及将分别以不同格式描述的图像数据进行合成的技术。 

背景技术

以利用数值表示各象素的颜色的数据为基础，生成在电视机和个人计算机的显示器中显示的图像。 

用数值表现颜色的方法中存在RGB格式、YUV格式、HSV格式等各种各样格式。 

作为一例，RGB格式关于各象素，用数值表示光的三原色的红(Red)、绿(Green)、蓝(Blue)的各自强度。随着各色的数值变大来表现接近白色的颜色，随着数值变小来表现接近黑色的颜色。在个人计算机的显示器中一般使用该RGB格式。从而，用RGB格式描述利用个人计算机等生成的文本图像数据和图形图像。 

此外，在YUV格式中，用示出亮度(明亮度)的变量Y、示出亮度与蓝色成分之差的色差U、以及示出亮度与红色成分之差的色差V来表现1个象素的颜色。在YUV格式中，有在相邻的4个像素(pixel)中进行共用1组色差数据的间歇剔除来削减数据量的YUV422格式和YUV420格式等。它们都利用了人眼对亮度比对色调更敏感的特性，适于像自然图像(例如风景照片、人物照片)这样的色调逐渐变化的图像，在JPEG、MPEG等中使用得较多，也使用在数字电视广播中。 

在这样对用各种各样数据格式描述的图像加以放大、缩小、旋转等加工的情况和修整画质的情况下，认为最优的加工算法当然根据数据格式不同而不同。 

例如，在放大已用RGB格式描述的文本图像数据和/或图形图像的情况下，考虑对相邻像素的数据进行复制并放大(零级保持法)、并且对变为阶 梯形的边缘进行修整的(直线补充法等)方法。 

在对用YUV格式描述的照片数据等进行放大的情况下，认为不仅需要拷贝相邻数据并进行边缘修整，而且还需要色调变化的调整等更复杂的加工。关于图像数据的加工，在非专利文献1有详细介绍。 

可是，如上所述，有时将用各种各样格式描述的图像数据进行合成来制成表示1个画面的图像数据。例如，有在主页中登载RGB格式的图形图像数据和YUV格式的照片数据的情况等。 

即使原来是不同的格式，在合成为1个图像时，也需要用单一格式来描述全部的像素数据。在这样统一了全部像素的数据格式之后，就不能够判断在合成前是用何种格式表现了各像素。 

专利文献1：日本特开昭61-156091号公报 

非专利文献1：贵家仁志著“ょくゎかる(精通的)动态图像和静止图像的处理技术”2004年9月1日CQ出版 

非专利文献2：田村秀行著“コンピュ-タ(计算机)图像处理”2002年12月20日ォ-ム公司 

发明内容

可是，在要加工合成后的图像数据的情况下，如上所述，在原来是RGB格式的部分和是YUV格式的部分中，最优的加工算法不同。但是，由于利用单一的显示格式描述合成后的图像数据，因此，对于所有要加工的部分，不得不使用同一算法进行加工。因此就有可能利用了不合适的加工算法进行加工而画质变得粗糙。 

本发明考虑上述可能性，其目的在于提供一种即使在加工合成后的图像时，也能够选择最优的加工算法的图像合成装置、图像合成系统、图像合成方法、图像合成程序和集成电路。 

为了解决上述问题，本发明的合成多个对象图像数据来生成合成图像数据，其特征在于，具有：取得单元，取得属性信息和成为合成对象的上述多个对象图像数据，该属性信息与生成各对象图像数据时的代码化有关；合成单元，合成所取得的多个上述对象图像数据，生成上述合成图像数据； 以及对应关系建立单元，将各属性信息与上述合成图像数据中对应于各对象图像数据的部分对应起来，在上述合成图像数据中，与2个以上的对象图像数据对应的部分的至少一部分重复的情况下，将重复部分和对应于如下的部分图像的对象图像数据的属性信息对应起来：在根据上述合成图像数据形成的合成图像上，在相当于上述重复部分的区域的最前面显示的部分图像。 

此外，本发明的图像数据利用系统，包括图像合成装置和加工装置，该图像合成装置合成多个对象图像数据来生成合成图像数据，该加工装置对合成图像数据进行加工来生成加工图像数据，其特征在于，上述图像合成装置具有：取得单元，取得属性信息和成为合成对象的上述多个对象图像数据，该属性信息与生成各对象图像数据时的代码化有关；合成单元，合成所取得的多个上述对象图像数据，生成上述合成图像数据；以及对应关系建立单元，将各属性信息与上述合成图像数据中对应于各对象图像数据的部分对应起来，在上述合成图像数据中，与2个以上的对象图像数据对应的部分的至少一部分重复的情况下，将重复部分和对应于如下的部分图像的对象图像数据的属性信息对应起来：在根据上述合成图像数据形成的合成图像上，在相当于上述重复部分的区域的最前面显示的部分图像，上述加工装置具有：数据取得单元，取得上述合成图像数据；接受单元，接受对于上述合成图像数据的加工指示；选择单元，根据与上述合成图像数据中成为上述加工指示的对象的部分对应的上述属性信息，选择加工算法；以及加工单元，按照被选择的加工算法，加工上述合成图像数据。 

在此，关于上述的“取得单元”，在下述实施方式1中，合成控制部141和格式转换部142承担其功能。关于“合成单元”和“对应关系建立单元”，合成引擎143、合成缓冲器144和存储器101承担其功能。 

发明效果 

根据上述结构，上述对应关系建立单元将上述属性信息与上述合成图像数据中对应于各对象图像数据的部分对应起来。并且，在上述合成图像数据中，与2个以上的对象图像数据对应的部分的至少一部分重复的情况下，将重复部分和对应于如下的部分图像的对象图像数据的属性信息对应 起来：在根据上述合成图像数据形成的合成图像上，在相当于上述重复部分的区域的最前面显示的部分图像因此，在进一步加工合成图像数据的情况下，能够根据上述属性信息，选择最优的加工算法，利用最优的加工算法对各个部分实施加工。 

此外，在本发明中，也可以分别将不同数据格式的输入图像数据统一成某一个数据格式，来生成上述多个对象图像数据，上述取得单元取得表示与各对象图像数据对应的输入图像数据的数据格式的上述属性信息。 

根据该结构，上述对应关系建立单元将各输入图像数据的数据格式表示的上述属性信息，与上述合成图像数据中对应于各对象图像数据的部分对应起来。从而，关于合成图像数据的各部分，能够知道格式转换前的数据格式。 

此外，也可以是上述多个对象图像数据中的某一个是对输入图像数据进行加工来生成的，上述取得单元取得表示各对象图像数据的加工履历的上述属性信息。 

在此，上述“加工”除了下述实施例中的放大、缩小、翻转等加工处理之外，还包括画质修整处理。 

根据该结构，由于上述取得单元取得表示对于各输入图像数据的加工履历的上述属性信息，因此，关于合成图像数据的各部分，能够知道在合成前是否已实施了加工。 

此外，也可以是上述合成图像数据由多个像素数据构成，构成上述图像合成装置的上述对应关系建立单元将构成上述合成图像数据中与各对象图像数据对应的部分的各像素数据，分别和相应的属性信息对应起来。 

根据该结构，上述对应关系建立单元对构成上述合成图像数据的每个像素数据建立一个上述属性信息的对应关系。在要利用上述合成图像数据的一部分的情况下，能够准确地检测出与成为利用对象的部分中包含的各像素数据对应的属性信息。 

此外，也可以在上述图像合成装置中，上述对应关系建立单元包括：存储部，将16位的偶数倍的位数作为1个单位来存储数据；补充部，生成补充数据，该补充数据的位长度中1个像素数据的位长度和上述属性信息 的位长度之和成为16位的偶数倍；以及写入部，将构成上述合成图像数据的各像素数据、与构成上述合成图像数据的各像素数据对应的属性信息以及上述补充数据连续地写入到上述存储部中。 

当前已有的存储器多数是将16位或者其偶数倍作为1个单位进行地址管理。考虑由这样的存储器来实现上述存储部。 

根据上述结构，1个像素数据的位长度和上述属性信息的位长度补充数据的位长度之和是16位的偶数倍，上述写入部连续地写入构成上述合成图像数据的各像素数据和与该像素数据对应的属性信息。因此，各像素数据和属性数据的地址管理变得容易，在要利用上述合成图像数据的一部分的情况下，能够迅速地读出要利用的一部分中包含的像素数据和对应于各像素数据的属性信息。 

此外，也可以在上述图像合成装置中，上述属性信息是表示与生成对应的对象图像数据时的代码化有关的特性的最小位数的数据，上述对应关系建立单元包括：存储部，存储数据；以及写入部，将像素数据群和属性信息群写入到上述存储部中，该像素数据群构成上述合成图像数据，该属性信息群对应于各像素数据。 

上述属性信息是表示与生成对应的对象图像数据时的代码化有关的特性的最小位数的数据，上述写入部个别地写入上述合成图像数据和上述属性信息群。从而，能够缩小总数据量到必要的下限。 

此外，也可以是一种具有下述特征的图像合成装置，上述对应关系建立单元包括：存储部，存储数据；生成部，生成部分信息，该部分信息表示上述合成图像数据中对应于各对象图像数据的部分；以及写入部，将各部分信息和对应的属性信息写入到上述存储部中。 

根据该结构，上述写入部将各部分信息和对应于各部分信息的属性信息写入到上述存储部中。从而，与对每个像素保持一个属性信息的情况相比，能够大幅度地削减数据量。 

此外，在上述图像合成装置中，上述合成单元也可以包括：选择部，根据各属性信息选择加工算法；加工部，根据被选择的加工算法，加工与各属性信息对应的对象图像数据；以及合成部，将加工后的对象图像数据群进行合成。 

根据该结构，在合成前需要对各对象图像数据实施加工的情况下，能够根据上述属性信息，迅速地选择加工算法实施加工。 

上述图像合成装置也可以还具有：接受单元，接受对于上述合成图像数据的加工指示；选择单元，根据与上述合成图像数据中成为上述加工指示对象的部分对应的上述属性信息，选择加工算法；以及加工单元，按照被选择的加工算法，加工上述合成图像数据。 

根据该结构，上述选择单元根据与成为上述加工指示对象的部分中包含的像素数据对应的上述属性信息群，选择最优的加工算法，上述加工单元能够对成为上述加工指示的对象的部分实施最优的加工处理。 

附图说明

图1是示出实施方式1中的图像合成装置100的功能结构的框图。 

图2示出详细的合成指示表112。 

图3可视地示出了存储在图像存储区域121中的图像数据。 

图4示出合成图像127和放大了合成图像127的一部分的加工图像。 

图5可视地示出了构成合成图像数据127的各像素数据中所包含的格式标志P的值的配置。 

图6是示出图像合成处理中的图像合成装置100的动作的流程图。 

图7是示出图像合成处理中的图像合成装置100的动作的流程图，接图6的步骤S114。 

图8是示出图像合成处理中的图像合成装置100的动作的流程图，接图6的步骤S116。 

图9是示出合成图像数据的加工处理中的图像合成装置100的动作的流程图。 

图10是示出合成图像数据的加工处理中的图像合成装置100的动作的流程图，接图9。 

图11是示出实施方式2中的图像合成装置200的功能结构的框图。 

图12示出详细的合成指示表212。 

图13是以按照合成指示表212生成的合成图像数据为基础显示的合成图像。 

图14是示出图像合成处理中的图像合成装置200的动作的流程图。 

图15是示出图像合成处理中的图像合成装置200的动作的流程图，接图14的步骤S213。 

图16是示出图像合成处理中的图像合成装置200的动作的流程图，接图15的步骤S226。 

图17是示出合成图像数据的加工处理中的图像合成装置200的动作的流程图。 

图18是示出合成图像数据的加工处理中的图像合成装置200的动作的流程图，接图17。 

图19是示出实施方式3中的图像合成装置300的功能结构的框图。 

图20是示出图像合成处理中的图像合成装置300的动作的流程图。 

图21是示出图像合成处理中的图像合成装置300的动作的流程图，接图20的步骤S312。 

图22是示出图像合成处理中的图像合成装置300的动作的流程图，接图21的步骤S322。 

图23是示出合成图像数据的加工处理中的图像合成装置300的动作的流程图。 

图24是示出合成图像数据的加工处理中的图像合成装置300的动作的流程图，接图23。 

图25是示出实施方式4中的图像合成装置400的功能结构的框图。 

图26是示出图像合成处理中的图像合成装置400的动作的流程图。 

图27是示出图像合成处理中的图像合成装置400的动作的流程图，接图26。 

图28是示出图像合成处理中的图像合成装置400的动作的流程图，接图27。 

附图标志的说明 

100图像合成装置 

101存储器 

102显示部 

103输入部 

104主控制部 

105图像处理部 

141合成控制部 

142格式转换部 

143合成引擎 

144合成缓冲器 

146变形用存储器 

147变形引擎 

148修整用存储器 

149修整引擎 

具体实施方式

1.实施方式1 

以下，使用附图，关于本发明的实施方式1涉及的图像合成装置进行说明。 

1.1概要 

实施方式1中的图像合成装置合成多个图像数据来生成1个合成图像数据。在此，在本说明书中，将显示在监视器中的影像表现为“图像”，将用于生成上述影像的数据表现为“图像数据”。 

在成为合成对象的图像数据中混合有使用计算机生成的RGB格式的图像数据和用数字照相机等摄影风景和人物来生成的YUV格式的图像数据。 

在合成过程中，图像合成装置将各图像数据统一成RGB格式。在本实施方式中，用8位长度表现各色。以下，在RGB格式的图像数据中，在为了表现各象素的红、蓝、绿而分配的数据长度是a、b、c(整数、单位是位)时，将上述图像数据的格式表现为RaGbBc格式。此外，将为了使数据长度成为规定长度而附加的无意义的n位长度的数据(以下称作空白位)表现为Xn。此外，将相当于1个象素的数据称作像素数据。 

本发明的图像合成装置将各图像数据转换成用8位长度的数据表现各色的X8R8G8B8格式，将空白位的起始1位置换成示出转换前的图像数据是RGB格式和YUV格式中哪一种的标志P，从而统一成P1X7R8G8B8格 式。 

接着，将P1X7R8G8B8格式的图像数据配置在规定位置上，生成合成图像数据。 

再有，将各像素数据调整成了32位长度，这是因为，根据已有的存储器的物理结构，若1个像素数据的数据长度是16位或者16位的偶数倍，则容易进行地址管理。因此，不一定必须是32位长度。 

1.2图像合成装置100的结构 

图像合成装置100是具有合成多个图像数据来生成合成图像数据的功能和生成用于显示加工图像的加工图像数据的功能的装置，加工图像是对合成图像的一部分或全部进行加工(放大、缩小、旋转、翻转等)来得到的。 

图1是示出图像合成装置100的功能结构的框图，图中箭头示出了图像数据的合成处理和合成图像数据的加工处理中的数据流。 

如图1所示，图像合成装置100由存储器101、显示部102、输入部103、主控制部104和图像处理部105构成，图像处理部105包括合成控制部141、格式转换部142、合成引擎143、合成缓冲器144、变形用存储器146、变形引擎147、修整用存储器148和修整引擎149。 

具体地说，图像合成装置100是由微处理器、ROM和RAM构成的计算机系统，在RAM和ROM中存储着计算机程序。通过微处理器按照上述计算机程序进行动作，图像合成装置100实现其功能的一部分。在此，为了实现规定功能，组合了多个表示对计算机的指令的指令码来构成计算机程序。 

以下，关于各结构进行详细的说明。 

(1)存储器101 

存储器101的结构包括硬盘单元，其内部由普通区域111和图像存储区域121构成。 

作为一例，如图1所示，普通区域111存储着合成指示表112、放大用数据A113、缩小用数据A114、翻转用数据115、旋转用数据A116、修整用数据A117和修整用数据B118。除此以外还存储着由主控制部104使用的各种程序、图像数据(启动画面、菜单显示等)、函数、运算参数等。 

图像存储区域121存储着根据利用者的操作而保存的图像数据。作为一例，存储着绘画(paint)图像数据122、文字图像数据123、照片图像数据124、126、合成图像数据127和加工图像数据128。 

再有，在此示出了图像合成和合成图像数据的加工结束时存储器101存储着的信息的一例。 

(1-1)合成指示表112 

合成指示表112是示出为了执行合成而必要的信息的表。 

图2示出了详细的合成指示表112。如图2所示，合成指示表112由多个合成信息131、132、133和134构成。各合成信息分别与后述的绘画图像数据122、文字图像数据123、照片图像数据124和126相对应。此外，还与以这些图像数据为基础生成并显示的图像相对应。 

各合成信息的结构包括输入图像数据、数据格式、重叠顺序、输出坐标和透过率。 

输入图像数据是示出成为合成对象的图像数据的信息，在图2中记载着图像数据的名称，但不限于此，也可以是图像数据的标识符、存储的起始地址等。 

数据格式示出了对应的图像数据的数据格式。“X8R8G8B8”如上所述地示出了对应的图像数据是RGB格式，用空白位8位和用8位长度的数据表现红、绿、蓝的强度来示出对应于1个象素的像素数据。 

“R5G6B5”示出了对应的图像数据是RGB格式，用5位长度表现红，用6位长度表现绿，用5位长度表现蓝来示出对应于1个像素的数据。 

“YUV422”和“YUV420”如以上所述，是由亮度和色差表现像素数据的YUV方式，在“YUV422”和“YUV420”中，色差数据的间歇剔除方式不同。 

重叠顺序是示出在画面上显示对应的图像的顺序的信息，越是数值大的越显示在上面(前面)，越是数值小的越显示在下面(后面)。在本实施方式中，由于成为合成对象的图像在画面上不重复，因此，全部的重叠顺序成为“1”。 

输出坐标示出了显示对应的图像的坐标的开始点。 

关于透过率，用数值0～1示出了在显示了对应的图像时使下面的图像透过何种程度。 

作为一例，合成信息132示出了如下内容：与文字图像数据123相对应；成为合成对象的文字图像数据123的数据格式是“R5G6B6”；以及显示时的重叠顺序是最前，显示位置的开始坐标是(50，150)。此外，透过率“0”示出了以文字图像数据123为基础显示的文字图像不让后面的图像透过。 

在此记载的合成指示表112的结构是一例，各合成信息除了这些数据以外，还可以包括各输入图像数据的数据尺寸和图像尺寸(例如横50×纵150个象素)等。 

(1-2)加工用数据 

以下，根据需要，将在所谓放大、缩小、旋转、翻转的加工中使用的数据总称为加工用数据。 

存储在普通区域111中的加工用数据有放大用数据A113、缩小用数据A114、翻转用数据115、旋转用数据A116...。 

放大用数据A113、缩小用数据A114、翻转用数据115、旋转用数据A116的结构分别包括为了放大、缩小、翻转、旋转R8G8B8格式图像数据而必要的参数群、函数、程序，特别适于图形图像、文本图像等由计算机生成的图像数据的加工。 

此外，未图示，但存储器101的普通区域111也与它们同样地存储着适于加工自然图像(风景、人物等)的图像数据的加工用数据(放大用数据B、缩小用数据B、翻转用数据B、旋转用数据B...)。 

(1-3)修整用数据A117和修整用数据B118 

修整用数据A117包括为了对RGB格式的图像数据实施画质修整而必要的函数、参数和程序。由于RGB格式的图像很大可能是由计算机使用描绘软件等生成的，因此，修整用数据A117包括例如伴随着排除中间色而去掉轮廓的模糊或增强对比度的算法的函数和参数。 

修整用数据B118包括为了对RGB格式的自然图像(风景照片、人物照片等)图像数据实施画质修整而必要的函数、参数和程序。具体地说，例如包括伴随着将轮廓线修整为平滑曲线，使色调变化(灰度变化)平滑的算法的函数和参数。 

此外，在此仅记载为修整用数据，但更详细地说也可以存储着用于进行伴随着放大处理的画质修整处理的修整用数据、用于进行伴随着缩小处 理的画质修整的修整用数据、用于进行伴随着旋转处理的画质修整的修整用数据等。 

(1-4)图像数据 

图像存储区域121存储着绘画图像数据122、文字图像数据123、照片图像数据124、126、合成图像数据127和加工图像数据128。 

绘画图像数据122是使用描绘软件等制作的图像数据，数据格式是X8R8G8B8。 

文字图像数据123是使用文件制作软件或者描绘软件的文本描绘功能制作的图像数据，数据格式是R5Y6G5。 

照片图像数据124和126是将使用数字照相机拍摄到的自然图像变成数值而生成的图像数据，数据格式分别是YUV422和YUV420。 

合成图像数据127是以合成指示表112为基础，将上述4个图像数据合成而生成的图像数据，数据格式是P1X7R8G8B8. 

图3示出了以绘画图像数据122、文字图像数据123、照片图像数据124、126和合成图像数据127为基础显示的绘画图形122g、文字图像123g、照片图像124g、126g和合成图像127g。 

加工图像数据128是对合成图像数据的一部分实施放大处理而生成的图像数据。 

图4示出了以合成图像数据127为基础生成的合成图像127g和以加工图像数据128为基础生成的加工图像128g。在图4的合成图像127g上显示着指示器161，以指示器161所指的点为中心放大了100×100个象素区域的图像是加工图像128g。 

(2)输入部103 

输入部103与键盘和鼠标等连接，接受利用者的指示和数据输入，向主控制部104输出接受到的指示和数据。 

此外，还具有连接外部设备和可移动记录介质的接口，在主控制部104的控制下，从这些设备读出数据，向主控制部104输出所读出的数据。 

(3)合成控制部141 

未图示，但合成控制部141具有在图像合成的过程中向各功能部输出控制信号并控制动作的功能。 

合成控制部141从主控制部104接收图像合成的指示。一收到图像合成的指示，就初始化合成缓冲器144。具体地说，例如写入P1X7R8G8B8格式的背景数据(蓝背景、利用者指定的背景图像数据等)。在此，假设构成背景图像数据的各像素数据中包含的格式标志P＝0。 

接着，合成控制部141对存储在存储器101的普通区域111的规定地址中的合成指示表112进行检索，读出重叠顺序的值最小的合成信息。在此，由于合成指示表112中包含的全部重叠顺序都相同，因此读出起始的合成信息131。 

接着，合成控制部141向格式转换部142(后述)输出所读出的合成信息131中包含的数据格式。接着，从存储器101的图像存储区域121读出合成信息131的输入图像数据，并向格式转换部142输出，指示转换格式。 

接着，合成控制部141向合成引擎143(后述)输出读出的合成信息131中包含的透过率和输出坐标、与读出的合成信息131对应的绘画图像122g的图像尺寸。也可以由合成控制部141计算图像尺寸，也可以预先包含在合成指示表112的各合成信息中。 

接着，合成控制部141监视合成引擎143的动作，合成引擎143一将合成中途图像数据写回到合成缓冲器144中，就从合成指示表112读出下一个合成信息。 

合成控制部141关于构成合成指示表112的全部合成信息反复进行同样的处理。 

关于全部合成信息的同样的处理一结束，合成控制部141就向存储器101的图像存储区域121写入合成缓冲器144保持的合成中途图像数据，作为合成图像数据。 

此外，向主控制部104通知图像合成处理已结束。 

(4)格式转换部142 

格式转换部142从合成控制部141接收数据格式，然后接收输入图像数据。若接收到的数据格式是RGB格式，就生成1位长度的格式标志P＝0，若是YUV格式，就生成格式标志P＝1，暂时存储生成的格式标志。 

接着，若接收到的数据格式是X8R8G8B8，格式转换部142就将接收到的输入图像数据的各像素数据的起始1位重写为存储着的格式标志P，生 成P1X7R8G8B8格式的转换完图像数据，并向合成引擎输出所生成的转换完图像数据。 

在接收到的数据格式是RGB格式，但不是X8R8G8B8格式的情况下，关于各像素数据，将空白位和各色的位长度调整为8位，将空白位的起始位重写为存储着的格式标志P，生成P1X7R8G8B8格式的转换完图像数据，并向合成引擎143输出。 

在接收到的数据格式是YUV格式的情况下，根据以下的式子，将各像素数据转换成R8G8B8格式。 

R＝Y+1.40200×V 

G＝Y-0.34414×U-0.71414×V 

B＝Y+1.77200×U 

再有，上述转换式是依照ITU-R BT.601的转换式的一例。关于YUV格式，例如也可以详细地规定为ITU-R BT.601、ITU-R BT.709等，根据输入的图像数据和转换后的图像数据的种类(模拟、数字、位比例(bitscale))、依照的标准的种类、参数的选择方法，使用其他转换式。 

接着，关于各像素数据，在开头附加格式标志P，在接下来的7位中附加空白位，生成P1X7R8G8B8格式的转换完图像数据，并向合成引擎143输出。 

(5)合成引擎143 

合成引擎143从合成控制部141接收透过率、输出坐标和图像尺寸(纵a×横b个象素)。此外，从格式转换部142接收转换完图像数据。 

一接收到这些，合成引擎143就从合成缓冲器144读出P1X7R8G8B8格式的合成中途图像数据。将接收到的转换完图像数据与读出的合成中途图像数据进行合成，更新合成中途图像数据。具体地说，使用以下式子，将构成转换中途图像数据的像素数据群中的、在画面上以输出位置作为基点(左上的象素)与属于配置输入图像的纵a×横b个象素范围(以下称作合成对象范围)内的各象素对应的像素数据的各色成分(在以下式子中记载为D(b))，和构成转换后输入图像数据的像素数据群中的对应的像素数据的各色成分(在以下式子中记载为D(f))进行合成。 

D(com)←D(f)+D(b)×透过率 

P(com)←P(f) 

D(com)：合成后的合成对象范围内的各像素数据的各色成分的值 

D(f)：转换完图像数据的各像素数据的各色成分的值 

D(b)：从合成缓冲器读出的合成中途图像数据的合成对象范围内的各像素数据的各色成分的值 

P(com)：合成后的合成对象范围内的各像素数据的第1位 

P(f)：转换完图像数据的各像素数据的第1位 

再有，读出的合成中途图像数据中的、合成对象范围外的像素数据不进行重写。 

接着，合成引擎143向合成缓冲器144写回更新后的合成中途图像数据。 

(6)合成缓冲器144 

合成缓冲器144由RAM构成，在起动时或初始化之后写入P1X7R8G8B8格式的背景数据(蓝背景、利用者指定的背景图像数据等)，作为合成中途图像数据。这时，各像素数据的格式标志P＝0。 

合成缓冲器144暂时存储合成引擎143的图像合成处理中途的合成中途图像数据。 

合成引擎143的合成处理结束时的合成中图像数据与合成图像数据127相同。 

构成合成图像数据127的各像素数据的第1位是格式标志P。图5在从合成图像数据127生成的合成图像127g中，在视觉上表现了各象素和各像素数据中包含的格式标志P的值。与合成图像127g上的显示着绘画图像122a的区域151a和显示着文字图像123a的区域152a中包含的象素对应的格式标志P＝0。 

与显示着照片图像124a的区域153a和显示着照片图像126a的区域154a中包含的象素对应的格式标志P＝0。 

此外，未图示，但与其他区域156中包含的象素对应的格式标志P＝0。 

(7)变形用存储器146和变形引擎147 

变形引擎147在主控制部104的控制下，使用存储在变形用存储器146 中的函数和参数等，对P1X7R8G8B8格式的合成图像数据127的一部分或者全部实施加工。具体地说，在主控制部104的指示下，按照从合成图像127g中的成为加工对象的范围(称作加工对象范围)的起始行的左端象素向最尾行的右端象素的顺序，每次读出1个与各象素对应的像素数据，使用存储在变形用存储器146中的数据，对读出的像素数据实施加工。此外，根据需要，还读出与成为加工对象的象素的周边象素对应的像素数据来用于加工。加工一结束，就向修整引擎输出加工后的像素数据。 

在此，所述加工是例如放大、缩小、翻转、旋转等处理。 

此外，变形引擎147有时被主控制部104指示暂时停止。该情况下，读出与加工对象范围对应的像素数据，原样向修整引擎149输出。 

作为一例，变形用存储器146由RAM构成，暂时存储变形引擎147必要的函数和参数等。 

(8)修整用存储器148和修整引擎149 

修整引擎149接收由变形引擎147生成的加工后的图像数据，对接收到的图像数据实施画质修整处理，并生成加工图像数据，将生成的加工图像数据写入到存储器101的图像存储区域121中。 

具体地说，依次从变形引擎147接收加工后的像素数据，暂时存储接收到的加工后的像素数据群。接着，使用存储在修整用存储器148中的画质修整用的函数和参数，对存储着的像素数据群实施画质修整处理，生成加工图像数据。 

在此，所述画质修整处理主要是增强轮廓、消除噪声、图像失真的修整。此外，在不需要修整的情况下，修整引擎149从主控制部104接收停止动作的指示。在收到了停止动作的指示时，修整引擎149将从变形引擎147接收到的加工后的图像数据作为加工图像数据，原样地向存储器101的图像存储区域121中写入。 

作为一例，修整用存储器148由RAM构成，暂时存储用于画质修整的函数和参数等。 

(9)主控制部104 

主控制部104未具体图示，其向构成图像合成装置100的各结构要素输出控制信号，控制它们的动作。 

主控制部104通过输入部103接受利用者的操作，读出存储在外部设备或记录介质中的图像数据，写入到存储器101的图像存储区域121中。 

此外，主控制部104通过输入部103接受合成图像的生成请求。另外，还接受利用者的合成图像的加工请求。 

(9-1)图像合成处理的控制 

通过利用者的操作一请求制作合成图像，就生成示出存储在图像存储区域121中的图像数据的一览表或者缩略图画面，接受成为合成对象的图像的选择、显示位置、透过率的输入。 

一接受这些输入，主控制部104就以输入的信息为基础，生成如图2所示的合成指示表112，将生成的合成指示表112写入到存储器101的普通区域111的规定地址中。有关数据格式，可以由利用者输入，也可以检索利用者指定的图像数据，由主控制部104生成。例如，考虑如下方法等：在各图像数据的起始16或32位中包含示出数据格式的信息，抽出该信息来生成各合成信息。 

接着，向合成控制部141输出图像合成的指示。 

接着，从合成控制部141接收图像合成结束的通知。一收到该通知，主控制部104就读出合成图像数据127，以读出的合成图像数据为基础生成合成图像127g，并显示在显示部102中。 

(9-2)合成图像的加工处理的控制 

在显示部102中显示了以合成图像数据127为基础生成的合成图像127g的状态下，利用者操作鼠标等指定指示器161的位置。一接受利用者的位置指定，主控制部104就显示加工菜单画面，所述加工菜单画面包括“放大”、“缩小”、“翻转”、“旋转”等的、表示能够对合成图像实施的加工处理的选项。或者，也可以在指示器161的位置上滚动显示上述选项。 

接着，主控制部104接受利用者选择所显示的选项中的某一个的操作。一接受选择操作，主控制部104就按照被选择的选项所示出的加工处理，决定合成图像127g中的成为加工对象的范围。例如，若被选择的选项是放大处理，就以指示器161的位置为中心，将100×100个象素的范围决定为放大处理的对象范围。若被选择的选项示出了翻转，就以指示器161的位置为中心，将200×200个象素的范围决定为翻转处理的对象范围。 

接着，主控制部104按照从决定的加工对象范围的起始行的左端象素向最尾行的右端象素的顺序，关于与各象素对应的像素数据反复进行以下处理。 

首先，主控制部104对变形用存储器146和修整用存储器448进行初始化。接着读出像素数据的起始1位。在读出的1位数据是“0”的情况下，主控制部104读出存储在普通区域111中的加工用数据中的、适于加工图形图像的加工用数据，将读出的加工用数据写入到变形用存储器146中。此外，同样地读出适于图形标志图像的画质修整的修整用数据A117，并向修整用存储器148写入。 

接着，向变形引擎通知存储着像素数据的地址，指示加工处理。 

在读出的1位数据是“1”的情况下，主控制部104读出存储在普通区域111中的加工用数据中的、适于加工自然图像的加工用数据，将读出的加工用数据写入到变形用存储器146中。此外，同样地读出适于自然图像的画质修整的修整用数据B118，并向修整用存储器148写入所读出的修整用数据B118。 

接着，向变形引擎通知存储着像素数据的地址，指示加工处理。 

对各像素数据，反复进行以上处理。 

再有，在根据被选择的加工处理的不同而不需要画质修整的情况下，将修整用存储器初始化，并对修整引擎指示停止动作。 

(10)显示部102 

显示部102的结构包括监视器和图像缓冲器，在主控制部104的控制下，在监视器上显示各种画面。 

1.3动作 

以下，使用附图，关于本发明的图像合成装置100的动作进行说明。 

(1)图像合成处理 

图6～图8是示出有关图像合成处理的图像合成装置100的动作的流程图。以下，使用图6～图8，对图像合成处理中的图像合成装置100的动作进行说明。 

通过利用者的操作一请求图像合成，主控制部104就使规定的输入画面显示在显示部102中，接受利用者的输入图像数据的选择和显示位置等 的输入(步骤S101)。接着，以接受到的信息为基础生成合成指示表，将生成的合成指示表写入到存储器101的普通区域111中，并向合成控制部141指示图像合成(步骤S102)。 

图像处理部105内的合成控制部141被主控制部104指示进行图像合成。一被指示图像合成，就从存储在存储器101的普通区域111中的合成指示表112中读出合成信息(步骤S103)。 

在此，若读完了全部的合成信息(步骤S106的“是”)，合成控制部141就从合成缓冲器144读出合成中途图像数据，将读出的合成中途图像数据作为合成图像数据，写入到存储器101的图像存储区域121中(步骤S107)。 

若未读完全部的合成信息(步骤S106的”否”)，合成控制部141就向格式转换部142输出所读出的合成信息中包含的数据格式(步骤S111)。接着，合成控制部141读出与所读出的合成信息对应的图像数据，将读出的图像数据输出到格式转换部142(步骤S112)。 

若从合成控制部141接收到的数据格式是RGB格式，格式转换部142就生成1位长度的格式标志P＝0，并暂时存储起来(步骤S114)。 

接着，格式转换部142对构成接收到的图像数据的各像素数据，将数据长度调整成X8R8G8B8(步骤S117)。接着，将各像素数据的第1位置换成存储着的格式标志P(＝0)，生成P1X7R8G8B8格式的转换完图像数据(步骤S118)，每次向合成引擎143输出一个所生成的转换完图像数据(步骤S119)。 

合成控制部141向合成引擎143输出所读出的合成信息中包含的输出坐标和透过率、与所读出的合成信息对应的图像的图像尺寸(纵a×横b个象素)(步骤S120)。 

合成引擎143从合成控制部141接收透过率、输出坐标和图像尺寸。此外，还从格式转换部142接收转换完图像数据。一接收到这些，合成引擎143就从合成缓冲器144读出合成中途图像数据(步骤S121)。将读出的合成中途图像数据中的与包含在以输出坐标为起点、图像尺寸所表示的范围(合成对象范围)内的各象素对应的像素数据，和转换完图像数据内的对应的像素数据进行合成，来更新合成中途图像数据(步骤S122)。 

接着，合成引擎143将更新后的合成中途图像数据写回到合成缓冲器 中(步骤S123)。 

在从合成控制部141接收到的数据格式是YUV格式的情况下，格式转换部142生成合成标志P＝1，并暂时存储起来(步骤S116)。 

此外，格式转换部142从合成控制部141接收输入图像数据。格式转换部142将接收到的YUV格式的图像数据转换成R8G8B8格式(步骤S126)。 

接着，在各像素数据的开头附加存储着的格式标志P＝1和7位长度的空白位，生成P1X7R8G8B8格式的转换完图像数据(步骤S127)。 

接着，格式转换部142向步骤S119转移处理。 

(2)合成图像的加工处理 

图9～图10是示出图像合成装置100的合成图像数据的加工处理中的动作的流程图。以下，使用图9～图10，关于合成图像数据的加工处理中的动作进行说明。再有，在此作为一例，关于放大合成图像的一部分的加工处理进行说明。 

主控制部104按照利用者的操作，在显示部102中显示合成图像127g(步骤S131)。 

利用者操作鼠标和光标等移动合成图像127g上的指示器161，指定任意的位置。 

主控制部104接受利用者操作的位置的指定(步骤S132)。一接受位置的指定，就显示菜单(步骤S133)。在菜单中列举有“放大”、“缩小”...等能够对加工图像实施的加工处理的名称。 

接着，主控制部104接受利用者的“放大”的选择操作(步骤S144)。 

一选择“放大”，就在步骤S146～162间，对合成图像127g上的以被指定的位置为中心的100×100个象素范围(以下称作二次利用范围)的各像素数据，反复进行步骤S147～步骤S161的处理，从而生成对合成图像127g上的以被指定的位置为中心的100×100个象素范围的图像进行放大了的加工图像(放大图像)。 

主控制部104读出像素数据的起始位(P)(步骤S147)。 

若读出的起始位P＝1(步骤S148的“是”)，主控制部104就读出存储在存储器101的普通区域111中的放大用数据B(未图示)，将读出的放大 用数据B输出到变形用存储器146中(步骤S151)。放大用数据B包含有伴随着适于放大P1X7R8G8B8格式的自然图像的算法的函数和参数。 

接着，主控制部104读出修整用数据B118，向修整用存储器148输出所读出的修整用数据B118(步骤S152)。如上所述，修整用数据B118包含有伴随着适于放大P1X7R8G8B8格式的自然图像的算法的函数和参数。接着，主控制部104向步骤S158转移处理。 

若读出的起始位P＝0(步骤S148的“否”)，主控制部104就从存储器101的普通区域111中读出放大用数据A113，向变形用存储器146输出所读出的放大用数据A113(步骤S156)。放大用数据A113包含有伴随着适于放大P1X7R8G8B8格式的图形图像的算法的函数和参数。 

接着，主控制部104从存储器101读出修整用数据A117，向修整用存储器148输出所读出的修整用数据A117(步骤S 157)。修整用数据A117包含有伴随着适于对计算机生成的P1X7R8G8B8格式的图形图像进行画质修整的算法的函数和参数。 

接着，主控制部104指定当前成为加工对象的像素数据存储在存储器101上的地址，向变形引擎指示加工(在此是放大)(步骤S158)。 

变形引擎147从主控制部104接收成为加工对象的像素数据的地址和加工指示。一收到加工指示，就读出被指定的地址中存储着的像素数据，使用变形用存储器146保持的函数和参数，对读出的像素数据实施放大处理，并向修整引擎149输出(步骤S159)。在此，通过放大处理，认为根据1个像素数据输出多个像素数据。以下，将对1个像素数据实施放大处理而生成的多个像素数据记载为像素数据(群)。 

修整引擎149接收由变形引擎147实施了放大处理后的像素数据(群)，使用存储在修整用存储器148中的函数和参数，对接收到的像素数据(群)实施画质修整处理。 

关于二次利用范围的全部像素数据的反复处理一结束(步骤S162)，修整引擎149就将由放大和修整处理后的像素数据群构成的加工图像数据，写入到存储器101的图像存储区域121中。 

此外，主控制部104还从存储器101的图像存储区域121中读出加工图像数据128，以读出的加工图像数据128为基础生成加工图像128g，并 显示在显示部102中(步骤S163)。 

1.4总结 

以上，如上述说明，在本发明的图像合成装置100中，在图像合成处理中，在构成合成图像数据的各像素数据中嵌入表示合成前的图像数据是RGB格式还是YUV格式的格式标志。 

RGB格式的数据很多情况下是使用计算机生成的文本数据和图形图像，YUV格式的图像数据很多情况下是以数字照相机等拍摄到的自然图像为基础而生成的图像数据。 

因此，在合成图像之中，在以RGB格式的图像数据为基础生成的部分和以YUV格式的图像数据为基础生成的部分中，最优的加工方法和画质修整方法都不同。 

通过如本发明所述在合成图像数据的各像素数据中嵌入格式标志，就能够在对合成图像数据实施放大和画质修整等加工时，用最优的方法对各部分实施加工和修整。 

2.实施方式2 

以下，使用附图，关于本发明的实施方式2涉及的图像合成装置200进行说明。 

2.1概要 

本实施方式的图像合成装置200在根据利用者的指示而对合成对象的图像数据实施了放大、缩小等加工之后，将各图像的格式转换成R8G8B8。此外，相对于转换后的图像数据，个别地生成表示转换前的图像数据的格式的1位长度的格式标志。 

图像合成装置200使用实施方式1中示出的式子，对转换后的图像数据进行合成，生成R8G8B8格式的合成图像数据。 

与图像数据的合成并行地生成由与合成图像的各像素对应的格式标志构成的格式标志群。例如，在合成图像是n×m个象素(n、m是整数)的情况下，格式标志群是按照从左上向右下的顺序排列了各象素的格式标志的n×m位长度的数据。 

由于与实施方式1不同，不包含空白位，因此能够削减合成后的总数 据量。 

2.2结构 

图11是示出了图像合成装置200的功能结构的框图。图中的箭头示出了有关图像合成处理(后述)的数据流，粗线箭头示出有关合成图像的加工处理(后述)的数据流。 

如图11所示，图像合成装置200由存储器201、显示部202、输入部203、主控制部204和图像处理部205构成，图像处理部205包括合成控制部241、格式转换部242、合成引擎243、合成缓冲器244、变形用存储器246、变形引擎247、修整用存储器248和修整引擎249。 

具体地说，图像合成装置200是由微处理器、RAM和ROM构成的计算机系统，在RAM和ROM中存储着计算机程序。通过微处理器按照上述计算机程序进行动作，图像合成装置200实现其功能的一部分。在此，为了实现规定功能，组合了多个表示对计算机的指令的指令码来构成计算机程序。 

以下关于各结构要素进行说明。再有，输入部203、显示部202、变形用存储器246和修整用存储器248的结构和动作与实施方式1的输入部103、显示部102、变形用存储器146和修整用存储器148相同，故省略说明。 

此外，变形引擎247和修整引擎249是除了三种情况以外，与实施方式1的变形引擎147和修整引擎149同样，是使用对应的存储器所保持的函数和参数对所输入的数据进行加工的功能部。上述除外的三种情况包括：不仅根据主控制部204，还根据来自合成控制部241的指示进行动作；一被指示暂时停止，就原样地向下一个功能部输出接收到的像素数据；修整引擎249的数据的输出目的地是格式转换部242。因此，在此省略详细的说明。 

(1)存储器201 

存储器201的结构包括硬盘单元，其内部被分为普通区域211和用于按照利用者的操作存储图像数据的图像存储区域221。 

作为一例，在普通区域211中存储着合成指示表212、RGB放大用数据213、RGB缩小用数据214、YUV放大用数据215、YUV二次放大用数据216、RGB修整用数据217、YUV修整用数据218和针对自然图像的修整用数据219，在图像存储区域211中存储着绘画图像数据122、文字图像 数据123、照片图像数据124、照片图像数据126、合成图像数据227、格式标志群228和加工图像数据229等。 

在此，图示了在按照利用者的操作生成合成图像数据227，并生成了对合成图像数据进一步加以加工的加工图像数据229时的存储器201内的状态。 

(1-1)合成指示表212 

图12示出了详细的合成指示表212。如图12所示，合成指示表212由多个(在此是4个)合成信息231、232、233和234构成。各合成信息分别与后述的绘画图像数据122、文字图像数据123、照片图像数据124和126相对应。 

各合成信息由输入图像数据、数据格式、重叠顺序、输出坐标、变形信息、画质修整信息和透过率构成。关于输入图像数据、数据格式、重叠顺序、输出坐标和透过率，与实施方式1的合成指示表112中包含的输入图像数据、数据格式、重叠顺序、输出坐标和透过率相同，故省略说明。 

变形信息是示出是否在合成对应的图像数据之前进行加工处理、以及进行加工处理时进行什么样的加工处理的信息。在合成前不进行加工处理的情况下，合成信息也可以不包含变形信息。 

画质修整信息是表示在合成对应的图像数据之前是否进行画质修整处理的信息，画质修整信息“需要”表示需要进行画质修整处理，画质修整信息“不需要”表示不需要进行画质修整处理。 

作为一例，合成信息231对应于绘画图像数据122，由输入图像数据“绘画图像数据”、数据格式“X8R8G8”、重叠顺序“3”、输出坐标“(100，100)”、变形信息“1.4倍”和画质修整“需要”构成。这示出了如下情况：在X8R8G8格式的绘画图像数据122的合成处理之前，对绘画图像数据122实施倍率1.4倍的放大处理和画质修整。此外还示出了如下情况：在合成处理后的合成图像内，以放大处理和画质修整后的图像数据为基础而生成的图像被显示在以坐标(100，100)为起点的规定范围内，在重叠显示多个图像的情况下，显示在从后面数第3个面上。 

此外，作为另外一例，合成信息233对应于照片图像数据124，包括：输入图像数据“照片图像数据”、数据格式“YUV422”、重叠顺序“3”、输出坐 标“(400，150)”、变形信息“左右翻转”和画质修整“不需要”。这示出了如下情况：需要在合成处理之前，对YUV422格式的照片图像数据124实施左右翻转加工，不需要实施画质修整处理。此外还示出了如下情况：由左右翻转加工后的图像数据生成的图像，在合成图像内显示在以坐标(400，150)为起点的范围内，在重叠显示多个图像的情况下，显示在第1个后面的面上，其一部分隐藏在其他图像的后面。 

(1-2)加工用数据 

与实施方式1同样，将暂时传送到变形用存储器246中并在变形引擎247的加工处理中使用的数据总称为加工用数据。 

RGB放大用数据213的结构包括为了放大RGB格式的图像数据而必要的函数和参数。 

RGB缩小用数据的结构包括为了对RGB格式的图像数据实施缩小处理而必要的函数和参数。 

YUV放大用数据215的结构包括为了对YUV格式的图像数据实施放大处理而必要的函数和参数。 

YUV二次放大用数据216的结构包括适用于如下处理的函数和参数：为了对合成各种图像数据来生成的合成图像数据227(后述)中的、合成前的数据格式是YUV格式的部分实施放大处理。 

此外，未图示，但加工用数据除了这些以外，还包括在RGB格式的图像数据的翻转处理中使用的RGB翻转用数据、在旋转处理中使用的RGB旋转用数据、同样地在YUV格式的图像数据的翻转处理和旋转处理中使用的YUV翻转用数据和YUV旋转用数据。此外，还可以存储着在其他加工中使用的加工用数据。 

另外，未图示，但不仅YUV二次放大用数据216，还存储着许多YUV二次缩小用数据、YUV二次翻转用数据等与合成前的图像数据的数据格式相应的加工用数据(称作二次加工用数据)，在对合成图像数据实施加工时适当地分别使用它们。 

(1-3)修整用数据 

RGB修整用数据217的结构包括适于RGB格式的图像数据的画质修整的函数和参数。 

YUV修整用数据218的结构包括适于YUV格式的图像数据的画质修整的函数和参数。 

针对自然图像的修整用数据219是RGB格式的图像数据，包括适于构成自然图像的图像数据的画质修整的函数和参数。更正确地说，在合成图像数据中，在合成前的数据格式是YUV格式的情况下，预测显示的图像多数是自然图像。从而，在本实施方式中，在R8G8B8格式的合成图像数据227中的、合成前的数据格式是YUV格式的部分的画质修整中，使用针对自然图像的修整用数据219。 

在此，仅记载了上述3个修整用数据，但除此以外还可以存储着针对旋转处理的画质修整数据、针对放大处理的画质修整数据等能够在每个加工处理中实现最优的画质修整的许多修整用数据。 

(1-4)图像数据 

关于绘画图像数据122、文字图像数据123、照片图像数据124和照片图像数据126，分别与实施方式1相同，故省略说明。 

合成图像数据227是按照合成指示表212合成绘画图像数据122、文字图像数据123、照片图像数据124和照片图像数据126而生成的图像数据。图13示出以合成图像数据227为基础进行显示的合成图像227g。合成图像227g中包含把绘画图像122g放大1.4倍的绘画图像122G、把文字图像123g放大1.2倍的文字图像123G、左右翻转了照片图像124g的照片图像124G和把照片图像126g缩小0.8倍的照片图像126G。所述文字图像123G、照片图像124G和照片图像126G的一部分重复，但在最前面的面上显示照片图像126G，在第2个面上显示文字图像123G，在最后的面上显示照片图像124G。 

格式标志群228按照从图像上的左上象素向右下象素的顺序排列了1位长度的格式标志，所述格式标志示出与合成图像227g的各象素对应的像素数据在合成前是RGB格式还是YUV格式。 

再有，与合成图像227g中的、绘画图像122G、文字图像123G、照片图像124G和照片图像126G中任一个都未描绘的区域的象素对应的格式标志，是表示RGB格式的“0”。 

加工图像数据229是对R8G8B8格式的合成图像数据227的一部分或 者全部进一步加以放大、缩小等加工而生成的图像数据。 

(2)合成控制部241 

合成控制部241在合成图像数据的生成中未图示，但具有向各功能部输出控制信号来控制其动作的功能。 

合成控制部241从主控制部204接收图像合成的指示。一收到图像合成的指示，就将合成缓冲器144进行初始化。关于初始化之后的合成中途图像数据和格式标记群以后叙述。 

接着，合成控制部241从存储在存储器201的普通区域211的规定地址中的合成指示表212中读出合成信息。这时，从重叠顺序小的开始依次读出。 

接着，合成控制部241从存储器201的普通区域211中读出所读出的合成信息中包含的符合变形信息的加工用数据，并向变形用存储器246写入。再有，在放大、缩小和旋转时，将所读出的合成信息中包含的作为变形信息而包含的倍率和旋转角度，也一起写入到变形用存储器246中。 

再有，在变形信息是“不需要”的情况下，合成控制部241对变形引擎247指示暂时停止。 

同样地，若读出的合成信息中包含的画质修整信息是表示需要画质修整的“需要”，合成控制部241就以所读出的合成信息中包含的数据格式为基础，从存储器中读出最优的修整用数据，并向修整用存储器248输出所读出的修整用数据。在画质修整信息是“不需要”的情况下，对修整引擎249指示暂时停止。 

接着，合成控制部241向格式转换部242输出所读出的合成信息中包含的数据格式。此外，向合成引擎243输出所读出的合成信息中包含的透过率和输出坐标。检测与所读出的合成信息对应的图像尺寸(横a×纵b个象素)，并向合成引擎243输出检测到的图像尺寸。 

再有，在读出的合成信息中包含的变形信息是“放大”或“缩小”的情况下，合成控制部241对纵横的各个象素数乘以倍率，计算a←a×倍率和b←b×倍率，输出横a×纵b个象素作为图像尺寸。 

此外，在读出的合成信息中包含的变形信息是旋转(旋转角r)的情况下，输出横a×纵b个象素和旋转角r作为图像尺寸。 

合成控制部241从重叠顺序小的开始对全部合成信息依次进行以上处理。在图12中示出的合成指示表212的情况下，合成控制部241按照合成信息233、232、231、234的顺序读出各合成信息，并进行上述处理。 

若读完了全部的合成信息，合成控制部241就读出存储在合成缓冲器244中的合成中途图像数据，作为合成图像数据277，写入到存储器201的图像存储区域221中。此外，从合成缓冲器244中读出格式标志群，将读出的格式标志群与合成图像数据227对应起来来写入到存储器201的图像存储区域221中。 

写入一结束，合成控制部241就向主控制部204通知图像合成处理已结束。 

(3)格式转换部242 

格式转换部242从合成控制部241接收成为格式转换对象的图像数据的数据格式。若接收到的数据格式是RGB格式，就生成1位长度的格式标志P＝0，若接收到的数据格式是YUV格式，就生成格式标志P＝1，暂时存储所生成的格式标志P。 

接着，从修整引擎249接收已根据需要施加了加工和画质修整的图像数据(以下称作修整完图像数据)。在此，接收的修整完图像数据的数据格式与从合成控制部241接收的数据格式相同。 

格式转换部242将从修整引擎249接收到的图像数据转换成R8G8B8格式，生成合成用图像数据，向合成引擎243输出所生成的合成用图像数据和存储着的格式标志。 

具体地说，若从合成控制部241接收到的数据格式是R8G8B8格式，格式转换部242就将从修整引擎249接收到的图像数据作为合成用图像数据，原样地向合成引擎243输出。与此同时，向合成引擎243输出格式标志P＝0。 

此外，若接收到的数据格式是X8R8G8B8格式，格式转换部242就删除各像素数据的起始8位，生成R8G8B8格式的合成用图像数据。 

此外，若从合成控制部241接收到的数据格式是YUV420，就使用下述3个式子，将其转换成RGB格式，使各色的数据长度与8位长度一致，生成R8G8B8格式的合成用图像数据。 

R＝Y+1.40200×V 

G＝Y-0.34414×U-0.71414×V 

B＝Y+1.77200×U 

(4)合成缓冲器244 

合成缓冲器244存储着合成引擎243的合成处理中途的图像数据(合成中途图像数据)和格式标志群。 

按照从画面上的左上向右下的顺序，排列与显示部202所具有的监视器的各个象素(n×m个象素)对应的像素数据，从而构成合成中途图像数据。 

格式标志群是列举了与构成合成中途图像数据的像素数据对应的格式标志的n×m位长度的数据。 

在起动时或者初始化之后，合成缓冲器244存储着规定的背景图像数据来作为合成中途图像数据。此外，这时，全部用“0”来对构成格式标志群的格式标志进行初始化。 

(5)合成引擎243 

合成引擎243从合成控制部241接收透过率、输出坐标和图像尺寸。 

此外，合成引擎243还从格式转换部242接收R8G8B8格式的合成用图像数据和格式标志P。 

一接收这些，合成引擎243就从合成缓冲器244读出合成中途图像数据。为了方便说明，在合成图像227g上，以接收到的输出位置为起点，将由图像尺寸定义的范围称作合成对象范围。 

对读出的合成中途图像数据中的与合成对象范围对应的部分，合成所接收到的合成用图像数据。具体地说，根据以下运算，将所读出的合成中途图像数据中的、合成对象范围内所包含的各象素的像素数据的各色成分(标记为D(b))和所接收到的图像数据中的、对应的像素数据的各色成分(标记为D(f))进行合成，计算新的像素数据的各色成分(标记为D(com))，通过将合成中途图像数据上的像素数据的各色成分D(b)置换为计算出的新的像素数据的色成分D(com)，来更新合成中途图像数据。 

D(com)＝D(f)+D(b)×透过率 

接着，合成引擎243读出格式标志群，将格式标志群中的、与合成对 象范围内的各象素对应的部分，全部重写为接收到的格式标志P。 

合成引擎243将按照以上过程更新后的合成中途图像数据和格式标志群，写回到合成缓冲器244中。 

(6)主控制部204 

主控制部204通过输入部203接受利用者的操作，按照接受到的操作控制构成图像合成装置200的各部分的动作。 

主控制部204通过输入部203接受图像合成的请求。 

此外，在显示部202中显示合成图像227g，接受合成图像中的特定位置的指定。 

(6-1)图像合成的控制 

一接受利用者操作的合成图像的请求，主控制部204就显示规定的输入画面，接受所要合成的图像数据的选择、已选择的各图像的显示位置、重叠顺序、是否需要加工和画质修整、透过率的输入。接着，主控制部204以输入的信息为基础，生成合成指示表212，写入到存储器101的普通区域211的规定区域中，并对合成控制部241指示图像合成。 

接着，从合成控制部241接收示出图像合成的处理已结束的结束通知和示出已生成的合成图像数据的信息(例如，标识符、地址等)。 

一收到这些，就从存储器201的图像存储区域221中读出合成图像数据227，根据所读出的合成图像数据227生成合成图像，并在显示部202中显示所生成的合成图像227g。 

(6-2)合成图像的加工控制 

在显示部202中显示了合成图像227g的状态下，主控制部通过输入部203接受合成图像227g上的位置(象素)的指定。 

一接受位置的选择，就在被指定的位置附近显示菜单。或者，也可以另外生成并显示菜单画面。 

在菜单中列举着能够对合成图像实施的加工的名称(例如，放大、缩小、翻转...)。接着，接受利用者操作的菜单的选择。 

一接受菜单的选择，就按照合成图像227g中的接受到的菜单，决定作为加工对象的范围(以下称作二次利用范围)。例如，在选择了“放大”时，以被选择的位置为中心，决定100×100个象素的范围，在选择了“缩小”时， 以被选择的位置为中心，决定300×300个象素的范围，在选择了“旋转”时，将整个画面作为二次利用范围。 

或者，也可以显示催促利用者选择成为加工对象的范围的画面，并决定二次利用范围。 

接着，主控制部204依次读出格式标志群228中的与二次利用范围对应的部分，每次读出1位。从存储器201的普通区域211中读出与读出的格式标志和被选择的加工种类相应的加工用数据，向变形用存储器246输出。此外，根据读出的格式标志和被选择的加工，根据需要，从存储器201的普通区域211中读出修整用数据，向修整用存储器248输出所读出的修整用数据。 

另外，在由利用者选择了“放大”，所读出的格式标志P＝1的情况下，主控制部204从存储器201的普通区域211中读出YUV二次放大用数据216，将所读出的YUV二次放大用数据输出到变形用存储器246中。接着，读出针对自然图像的修整用数据，并向修整用存储器248输出。 

接着，指示合成图像数据中的、与读出的格式标志对应的像素数据的位置，并向变形引擎247指示加工。 

主控制部204关于二次利用范围中包含的全部象素反复进行同样的处理，通过控制变形引擎247和修整引擎249来生成加工图像数据，将生成的加工图像数据229写入到存储器201的图像存储区域中。 

接着，读出加工图像数据229来生成加工图像，并显示在显示部202中。 

2.3动作 

以下，使用附图，关于本实施方式的图像合成装置200的动作进行说明。 

(1)图像合成中的动作 

图14～图16是示出图像合成装置200涉及的图像合成处理中的动作的流程图。以下，使用图14～图16，关于图像合成涉及到的图像合成装置200的动作进行说明。 

一接受利用者操作的合成图像的请求，主控制部204就显示规定的输入画面，接受进行合成的图像数据的选择、已选择的各图像的显示位置、 重叠顺序、是否需要加工和画质修整、透过率的输入(步骤S201)。接着，以输入的信息为基础，主控制部204生成合成指示表212，写入到存储器101的普通区域211的规定区域中，对合成控制部241指示图像合成(步骤S202)。 

从主控制部204一接收图像合成的指示，合成控制部241就从存储在存储器201的普通区域211内的规定区域中的合成指示表212中，读出还未读出的合成信息中的、重叠顺序最小的合成信息(步骤S203)。这时，若已经读完了全部合成信息(步骤S206的“是”)，就向步骤S207转移处理。 

若未读完全部的合成信息(步骤S206的“否”)，合成控制部241就以读出的合成信息中包含的数据格式、变形信息、画质修整信息为基础，从存储器201中读出最适于数据格式的加工用数据和修整用数据(步骤S211)。接着，向变形用存储器246写入读出的加工用数据，向修整用存储器248写入所读出的修整用数据(步骤S212)。 

接着，合成控制部241从存储器201的图像存储区域221中读出与合成信息对应的图像数据，向变形引擎247输出(步骤S213)。 

接着，合成控制部241向格式转换部242通知所读出的合成信息中包含的数据格式(步骤S216)。 

变形引擎247接收图像数据，使用存储在变形用存储器246中的函数和参数，对接收到的图像数据实施加工(放大、缩小、旋转等)，生成变形完图像数据。接着，变形引擎247向修整引擎249输出所生成的变形完图像数据(步骤S217)。 

修整引擎249从变形引擎247接收变形完图像数据，使用修整用存储器248保持的函数和参数，对接收到的变形完图像数据实施画质修整处理，生成修整完图像数据(步骤S218)。接着，修整引擎249向格式转换部242输出所生成的修整完图像数据(步骤S219)。 

格式转换部242从修整引擎249接收修整完图像数据，从合成控制部241接收数据格式。在此，从修整引擎249接收的修整完图像数据的数据格式与从合成控制部241接收的数据格式一致。 

一接收到这些，格式转换部242就以从合成控制部241接收到的数据格式为基础，将接收到的图像数据的数据格式转换为R8G8B8格式，生成 合成用图像数据(步骤S221)。 

接着，若从合成控制部241接收到的数据格式是RGB格式，格式转换部242就生成1位长度的格式标志“0”(步骤S223)。若接收到的数据格式是YUV格式，格式转换部242就生成格式标志“1”(步骤S224)。 

接着，格式转换部242向合成引擎243输出所生成的合成用图像数据和1位长度的格式标志P(步骤S226)。 

合成控制部241接着向合成引擎243输出所读出的合成信息中包含的透过率和输出坐标以及与读出的合成信息对应的图像尺寸(步骤S231)。 

合成引擎243从合成控制部241接收透过率、输出坐标和图像尺寸。此外，还从格式转换部242接收合成用图像数据和格式标志P。 

一接收到这些，合成引擎243就从合成缓冲器244中读出合成中途图像数据和格式标志群(步骤S232)。 

根据以下式子，将读出的合成中途图像数据中的、以输出坐标为起点由图像尺寸定义的合成对象范围的各像素数据和对应于合成对象数据的像素数据进行合成，通过用合成后的像素数据置换合成前的像素数据，来更新合成中途图像数据(步骤S234)。 

D(com)＝D(f)+D(b)×透过率 

D(f)：合成对象数据对应的像素数据的各色成分 

D(b)：合成中途图像数据中的合成对象范围对应的像素数据的色成分 

D(com)：合成后的像素数据的各色成分 

此外，将读出的格式标志群中的、所有与合成对象范围对应的部分，重写为接收到的格式标志P，以更新格式标志群(步骤S236)。 

接着，向合成缓冲器244写入更新后的合成中途图像数据和格式标志群(步骤S237)。写入之后，图像合成装置200返回步骤S203，转移到下一个合成信息的处理。 

若读完了全部的合成信息(步骤S206的“是”)，合成控制部241就读出合成缓冲器244保持的合成中途图像数据，将读出的合成中途图像数据作为合成图像数据，向存储器201的图像存储区域221写入。此外，从合成缓冲器244读出格式标志群，同样地写入到存储器201的图像存储区域中(步骤S207)。 

接着，主控制部204根据所生成的合成图像数据生成合成图像，并在显示部202中显示所生成的合成图像(步骤S208)。 

(2)加工合成图像数据的动作 

图17～图18是示出了合成图像数据227的加工(二次利用)处理中的图像合成装置200的动作的流程图。以下，使用图17～图18，关于合成图像数据的加工处理中的动作进行说明。 

主控制部204根据合成图像数据227生成合成图像并向显示部202进行显示(步骤S241)。 

接着，主控制部204通过输入部203接受利用者操作的位置(象素)的选择(步骤S242)。一接受位置选择，主控制部204就在显示部202中显示菜单(步骤S243)。菜单中包含有“放大”、“缩小”、“旋转”...，但在此关于选择了“放大”的情况进行叙述(步骤S244)。在选择了“放大”的情况下，以合成图像中的被指定的位置为中心的100×100个象素的范围是二次利用范围。 

以下，在步骤S246～步骤S262中，关于与二次利用范围中包含的各象素对应的像素数据，通过反复进行步骤S247～步骤S261的处理来生成加工图像数据。 

首先，主控制部204从格式标志群228中读出与二次利用范围内的1个象素对应的格式标志P(步骤S247)。 

在读出的格式标志P＝1的情况下(步骤S249的“是”)，主控制部204从存储器201的普通区域211中读出YUV二次放大用数据216，写入到变形用存储器246中(步骤S251)。接着，读出针对自然图像的修整用数据219，输出到修整用存储器248中(步骤S252)。 

若读出的格式标志P＝0(步骤S249的“否”)，主控制部204就从存储器201的普通区域211中读出RGB放大用数据213，向变形用存储器246写入所读出的RGB放大用数据(步骤S254)。接着，主控制部204读出RGB修整用数据217，向修整用存储器248写入所读出的RGB修整用数据217(步骤S256)。 

接着，主控制部204指定与读出的格式标志对应的像素数据被存储的地址，并向变形引擎247指示放大处理(步骤S257)。 

变形引擎247按照主控制部204的指示，从被指定的地址读出像素数据，使用存储在变形用存储器246中的函数和参数，对读出的像素数据实施放大处理。向修整引擎249输出放大处理后的像素数据(群)(步骤S258)。 

修整引擎249从变形引擎247接收像素数据(群)，使用存储在修整用存储器248中的函数和参数，对接收到的像素数据(群)实施画质修整处理(步骤S259)。 

接着，修整引擎249将修整处理后的像素数据群依次写入到存储器201的图像存储区域221中(步骤S261)。 

若关于二次利用范围的各像素数据的反复循环结束(步骤S262)，主控制部204就读出由被修整引擎249写入的像素数据(群)构成的加工(放大)图像数据229，根据读出的加工图像数据229生成加工(放大)图像，并显示在显示部202中(步骤S263)。 

2.4总结 

如以上所述，本实施方式的图像合成装置200在以原来的数据格式原样地对合成前的图像数据实施了放大等加工之后，进行格式转换和合成处理，生成合成图像数据。 

此外，与构成合成图像数据的各像素数据分开另外生成格式标志群。因此，由于在合成图像数据中不存在空白位，因此，能够削减总数据量。 

再有，在此将合成图像数据的数据格式设为R8G8B8格式，但也可以如上所述地调整像素数据的数据长度，使各像素数据变为16位(例如R5G6B5)或者16位的偶数倍，从而使地址管理变得容易。 

3.实施方式3 

以下，使用附图，关于本发明的实施方式3进行说明。 

3.1概要 

在本实施方式中，构成合成图像数据的各像素数据，在合成前包含有属性标志，该属性标志表示是否已实施了放大等加工处理和画质修整处理。 

考虑对在合成前实施了加工和/或画质修整后生成的合成图像数据进一步进行加工的情况。若对已实施了加工和/或画质修整的图像数据，使用基 于同一算法的函数和参数，再次实施加工或者画质修整，有时就变成不自然的图像。例如，若对于在合成前通过实施画质修整而对比度变得清晰的部分再次实施基于相同算法的画质修整，对比度就变得比需要的大，成为不自然的图像。此外，若对于在合成前已实施了放大处理的部分用相同的算法进一步实施放大处理，轮廓线就变得不清晰，画质有可能变得粗糙。 

在本发明的图像合成装置300中，在构成合成图像数据的各像素数据中附加属性标志，该属性标志表示合成前有无加工和修整。接着，在对合成图像数据中的、合成前已实施了加工和修整的部分，进一步实施加工和/或修整(以下，称作多重加工、多重修整)的情况下，使用包含有不同于第一次的最优的函数和参数的多重加工用数据。 

通过这样做，能够实现多重加工和多重修整后的部分的画质最优化。再有，考虑加工处理中有放大、缩小、旋转等各种各样种类的加工处理，为了简单说明，假设本实施方式中的图像合成装置是如下的装置：用1以上倍率放大利用者选择的1个以上的图像数据，并根据需要实施画质修整处理后进行合成。 

3.2结构 

图19是示出本实施方式的图像合成装置300的功能结构的框图。图中的箭头示出了有关生成合成图像数据314时的数据流，粗线箭头示出了有关生成加工图像数据时的数据流。 

如图19所示，图像合成装置300由存储器301、显示部302、输入部303、主控制部304和图像处理部305构成，图像处理部305包括合成控制部341、变形用存储器346、变形引擎347、修整用存储器348、修整引擎349、格式转换部342、合成引擎343、合成缓冲器344和属性标志附加部351。 

在附图中，在与上述实施方式重复的结构和数据上标记相同的参照符号。 

具体地说，图像合成装置300是由微处理器、ROM和RAM构成的计算机系统，在RAM和ROM中存储着计算机程序。通过微处理器按照上述计算机程序进行动作，图像合成装置300实现其功能的一部分。在此，为了实现规定功能，组合了多个表示对计算机的指令的指令码来构成计算机 程序。 

以下关于各结构进行说明。再有，输入部303、显示部302和格式转换部342的结构和动作与实施方式2相同，故省略说明。此外，变形用存储器346、变形引擎347、修整用存储器348和修整引擎349的结构和动作与实施方式2相同，使用各存储器所保持的函数和参数，对输入的像素数据实施处理。从而，省略详细的说明。 

(1)存储器301 

存储器301的结构包括硬盘单元，包括普通区域311和图像存储区域321。 

普通区域311存储着合成指示表312、RGB放大用数据213、YUV放大用数据215、RGB修整用数据217、YUV修整用数据218、多重放大用数据313和多重修整用数据315。以下，根据需要，将RGB放大用数据213、YUV放大用数据215、RGB修整用数据217和YUV修整用数据218称作通常加工用数据群，将多重放大用数据313和多重修整用数据315称作多重加工用数据群。 

此外，未图示，但在普通区域311中，除此以外还存储着由主控制部304使用的各种程序、参数和图像数据等。 

在图像存储区域321中存储着绘画图像数据122、照片图像数据124...等根据利用者的操作而保存的图像数据、以及由该图像合成装置生成的合成图像数据314、加工图像数据316。 

(1-1)合成指示表312 

合成指示表312与实施方式2中说明的合成指示表212的结构相同，由多个合成信息构成。但是，在此，变形信息仅是“不需要”或者“n倍”(n≥1)。 

其他详细结构与实施方式2的合成指示表212相同，故省略说明。 

(1-2)通常加工用数据群 

RGB放大用数据213、YUV放大用数据215、RGB修整用数据217和YUV修整用数据218如实施方式2中说明，故省略说明。 

(1-3)多重加工用数据群 

多重放大用数据313包含有适于如下处理的算法的函数和参数：对合 成图像数据314中的、在合成前已实施了放大处理的部分进一步进行放大。 

多重修整用数据315包含有用于如下处理的算法的函数和参数：对合成图像数据314中的、在合成前已实施了画质修整处理的部分进一步进行画质修整。 

画质修整处理大体上包含有消除噪声、增强轮廓和失真修整的处理。在此，设想依照相同算法进行多次画质修整处理的情况。有可能在第2次以后的画质修整处理中，将在第1次画质修整中为了增强轮廓而生成的数据误认为是噪声。 

此外，在轮廓增强处理中，检测各色浓度急剧变化的部分(轮廓)，进一步对检测出的部分的高频(高浓度)成分进行增强。在这样的处理中，作为一例，使用输入图像数据的二次微分(关于使用了二次微分的轮廓增强处理，已在非专利文献2中详细地说明)。在进行第2次以后的画质修整时，有可能将上述二次微分的加法成分误认为是新的轮廓。 

从而，例如RGB修整用数据217和YUV修整用数据218分别包含着有关消除噪声、增强轮廓和失真修整的函数和参数，但在多重修整用数据315中仅包含有关失真修整的函数和参数。 

或者，也可以将RGB修整用数据217、YUV修整用数据218和多重修整用数据315中包含的用于增强轮廓的系数都设定为很小。 

(1-4)图像数据 

关于绘画图像数据122和照片图像数据124等成为合成对象的图像数据，已在实施方式1中描述，故省略说明。 

合成图像数据314是根据需要放大绘画图像数据122和照片图像数据124等并实施画质修整处理而生成的图像数据，数据格式是P2X6R8G8B8格式。各像素数据的起始1位示出了在合成过程中是否已对该位数据实施了放大处理，“1”示出已实施了放大处理，“0”示出未实施。各像素数据的第2位示出在合成过程中是否已对该像素数据实施了画质修整处理，“1”示出已实施了画质修整处理，“0”示出未实施。以下，将各像素数据的起始2位称作属性位，用变量P表示。 

加工图像数据316是对合成图像数据314的一部分或者全部进一步实施加工而生成的图像数据。 

(2)合成控制部341 

合成控制部341在合成图像数据的生成处理中未图示，但具有向各功能部输出控制信号来控制其动作的功能。 

合成控制部341从主控制部304接收图像合成的指示。一收到该指示，就将合成缓冲器344初始化。具体地说是写入背景图像数据(蓝背景、利用者指定的背景图像数据)。在此，假设写入的背景图像数据是P2X6R8G8B8格式，各像素数据的属性位是“00”。 

接着，合成控制部341从存储在存储器301的规定区域中的合成指示表中包含的合成信息中的、重叠顺序小的开始依次进行读出。 

通过关于全部合成信息反复进行以下处理，生成合成图像数据314。 

首先，若读出的合成信息中包含的变形信息是“不需要”，就对变形引擎347指示暂时停止。在不是“不需要”的情况下，以读出的合成信息中包含的数据格式为基础，读出RGB放大用数据213或者YUV放大用数据215中的某一个，并向变形用存储器346写入。这时还同时写入放大的倍率n。 

接着，若读出的合成信息中包含的画质修整信息是“不需要”，就对修整引擎349指示暂时停止。在不是“不需要”的情况下，就以读出的合成信息中包含的数据格式为基础，读出RGB修整用数据217或者YUV修整用数据218中的某一个，并向变形用存储器346写入。 

接着，合成控制部341向格式转换部342输出读出的合成信息中包含的数据格式。 

接着，根据读出的合成信息中包含的变形信息，计算图像尺寸，向合成引擎343输出计算出的图像尺寸、输出坐标和透过率。 

接着，合成控制部341以合成信息中包含的变形信息和画质信息为基础，生成2位长度的属性标志P。具体地说，若变形信息是“不需要”，就生成第1位“0”，若是“不需要”以外，就生成第1位“1”，若画质修整信息是“不需要”，就生成第2位“0”，若是“不需要”以外，就生成第2位“1”。接着，向属性标志附加部351输出所生成的2位长度的属性标志。 

接着，合成控制部341向变形引擎347输出与读出的合成信息对应的图像数据。 

属性标志附加部351一向合成缓冲器344中写回合成中途图像数据， 就关于下一个合成信息反复进行同样的处理。 

(3)合成缓冲器344 

合成缓冲器344由RAM构成，存储合成引擎343和属性标志附加部351的图像合成处理中途的合成中途图像数据。 

(4)格式转换部342 

格式转换部342从合成控制部341接收数据格式。此外，格式转换部342从修整引擎349接收修整完图像数据。在此接收的修整完图像数据的数据格式与从合成控制部341接收的数据格式一致。 

格式转换部342将接收到的修整完图像数据的数据格式转换成X8R8G8B8格式，生成转换完图像数据。转换的详细方法与实施方式1相同，故省略说明。 

接着，格式转换部342向合成引擎输出所生成的转换完图像数据。 

(5)合成引擎343 

合成引擎343从合成控制部341接收输出坐标、透过率和图像尺寸。 

此外，合成引擎343从格式转换部342接收转换完图像数据。在此，以接收的转换完图像数据为基础而生成的转换完图像的图像尺寸，与从合成控制部341接收到的图像尺寸一致。 

一接收这些，合成引擎343就从合成缓冲器344中读出合成中途图像数据，以读出的合成中途图像数据中的、接收到的输出坐标为起点，将图像尺寸示出的范围(称作合成对象范围)的图像数据，与接收到的转换完图像数据进行合成。关于合成运算，如实施方式1所述，故在此省略。这时，合成对象范围的各像素数据的格式是X8R8G8B8格式。 

接着，合成引擎343向属性标志附加部351输出合成后的图像数据。 

(6)属性标志附加部351 

属性标志附加部351从合成控制部341接收2位长度的属性标志P并暂时存储起来。 

接着，属性标志附加部351从合成引擎343接收合成处理后的图像数据。属性标志附加部351将接收到的图像数据中的、合成对象范围中包含的各像素数据的起始2位，重写为存储着的属性标志P。重写一结束，就根据重写后的图像数据更新合成缓冲器344保持的合成中途图像数据。 

(7)主控制部304 

未图示，但主控制部204具有向构成图像合成装置300的各部分输出控制信号来控制各部分的动作的功能。 

主控制部304通过输入部303接受利用者的操作，读出外部设备或者记录介质中记录着的图像数据，并写入到存储器301的图像存储区域中。 

此外，主控制部304通过输入部303接受合成图像的制作请求。另外，还接受利用者的合成图像的加工请求的输入。 

一接受合成图像的制作请求，就按照利用者的操作生成合成指示表312，向合成控制部341指示图像合成。关于生成合成图像的控制，与实施方式1相同，故在此省略说明。 

(合成图像的加工) 

在显示部中显示着以合成图像数据314为基础而生成的合成图像的状态下，主控制部304接受利用者使用输入部303产生的位置的指定。一接受位置的指定，就在显示部302中显示倍率m(≥1)的输入画面，接受倍率的输入。 

接着，主控制部304以指定的位置为中心，将例如纵100×横100个象素的范围(称作放大对象范围)的图像放大被输入的倍率，生成加工图像数据316。 

以下，关于具体的放大处理的控制进行说明。 

主控制部304关于放大对象范围中包含的各像素数据反复进行以下处理。 

若像素数据的第1位是“1”，主控制部304就从存储器301读出多重放大用数据313，向变形用存储器346写入所读出的多重放大用数据313。 

若第1位是“0”，主控制部304就读出RGB放大用数据213，将读出的RGB放大用数据213写入到变形用存储器346中。 

接着，若像素数据的第2位是“1”，主控制部304就读出多重修整用数据315，将读出的多重修整用数据315写入到修整用存储器348中。 

若第2位是“0”，主控制部304就读出RGB修整用数据217，将读出的RGB修整用数据217写入到修整用存储器348中。 

接着，监视修整引擎349的动作，修整引擎349的修整处理一结束， 就对修整引擎349指示向存储器301的图像存储区域321写入修整处理后的像素数据。 

对放大对象范围的全部像素数据的放大和修整一结束，主控制部304就读出加工图像数据316，并以读出的加工图像数据316为基础生成加工图像，并在显示部302中显示所生成的加工图像。 

3.3动作 

以下，关于本实施方式的图像合成装置300的动作进行说明。 

(1)图像合成的动作 

通过利用者的操作一指示图像合成，图像合成装置300就开始图像合成处理。 

图20～图22是示出图像合成处理中的图像合成装置300的动作的流程图。以下，使用图20～图22，对图像合成装置300的动作进行说明。 

主控制部304显示规定的选择画面和输入画面等，接受利用者的成为合成对象的图像的选择、显示位置、重叠顺序、是否需要加工(放大)、是否需要画质修整的输入(步骤S301)。 

一接受这些输入，就以接受到的数据为基础生成合成指示表312，将生成的合成指示表312写入到存储器301的规定区域中(步骤S302)。 

接着，主控制部304向合成控制部341指示图像数据的合成(步骤S303)。 

合成控制部341从主控制部304接收图像合成的指示。一收到指示，就对存储在存储器301的规定区域中的合成指示表312进行检索，从重叠顺序小的开始依次读出构成合成指示表312的合成信息(步骤S306)。 

这时，若已经读完了全部合成信息(步骤S307的“是”)，合成控制部341就向步骤S308转移处理。 

若未读完全部的合成信息(步骤S307的“否”)，合成控制部341就以读出的合成信息中包含的变形信息、画质修整信息和数据格式为基础，从存储器301中读出最优的加工用数据，将读出的加工用数据和倍率写入到变形用存储器346中，从存储器301中读出最优的修整用数据后向修整用存储器348写入(步骤S311)。但是，在读出的合成信息中包含的变形信息是“不需要”的情况下，向变形引擎347指示暂时停止。此外，在画质修整信 息是“不需要”的情况下，向修整引擎349指示暂时停止。 

接着，合成控制部341向格式转换部342输出所读出的合成信息中包含的数据格式(步骤S312)。 

接着，合成控制部341读出与所读出的合成信息对应的图像数据，并向变形引擎347输出(步骤S313)。 

变形引擎347使用变形用存储器346保持的参数和函数等，加工(放大)所接收到的图像数据，生成变形完图像数据，并向修整引擎349输出所生成的变形完图像数据(步骤S314)。但是，在从合成控制部341指示了暂时停止的情况下，原样向修整引擎349输出所接收到的图像数据。 

修整引擎349从变形引擎347接收变形完图像数据。一接收变形完图像数据，修整引擎349就使用存储在修整用存储器348中的函数和参数，对接收到的变形完图像数据实施画质修整处理，生成修整完图像数据(步骤S316)。接着，修整引擎349向格式转换部342输出所生成的修整完图像数据(步骤S317)。再有，这时，在被合成控制部341指示了暂时停止的情况下，原样向格式转换部342输出所接收到的变形完图像数据。 

格式转换部342一接收修整完图像数据，就参照从合成控制部341通知的数据格式，将接收到的修整完图像数据的数据格式转换成X8R8G8B8格式，来生成转换完图像数据。接着，向合成引擎343输出所生成的转换完图像数据(步骤S318)。 

合成控制部341接着向合成引擎343输出所读出的合成信息中包含的输出位置、透过率和图像尺寸(步骤S321)。 

合成引擎343一接收转换完图像数据，就从合成缓冲器344中读出合成中途图像数据(步骤S322)。 

合成引擎343将读出的合成中途图像数据中的、合成对象范围的各像素数据和对应的转换完图像数据的像素数据进行合成(步骤S323)。 

合成控制部341以读出的合成信息中包含的变形信息和画质修整信息为基础，生成2位长度的属性标志P，向属性标志附加部351输出所生成的属性标志P(步骤S326)。 

属性标志附加部351从合成控制部341接收属性标志P，并暂时存储起来。接着，属性标志附加部351将从合成引擎343接收到的图像数据中的、 合成对象范围中包含的请求的像素数据的空白位中的起始2位，重写为接收到的属性标志，更新合成中途图像数据(步骤S327)。 

接着，属性标志附加部351向合成缓冲器344写回更新后的合成图像数据(步骤S328)。 

接着，图像合成装置300返回步骤S306，对全部的合成信息反复进行同样的处理。 

在步骤S307中若读完了全部合成信息(步骤S307的“是”)，合成控制部341就读出合成缓冲器344存储着的合成中途图像数据，将它作为合成图像数据写入到存储器301中(步骤S308)。接着，向主控制部304通知合成图像的生成已结束。 

主控制部304从存储器301中读出合成图像数据314，以读出的合成图像数据314为基础生成合成图像并显示在显示部302中(步骤S309)。 

(2)合成图像数据的加工处理 

图23～图24是示出合成图像数据的加工(放大)处理涉及的图像合成装置300的动作的流程图。以下，使用图23～图24，对合成图像数据的放大处理中的图像合成装置300的动作进行说明。 

主控制部304按照利用者的操作，以合成图像数据314为基础生成合成图像，在显示部302中显示所生成的合成图像(步骤S341)。接着，通过输入部303接受利用者操作的位置(象素)指定(步骤S342)。接着，主控制部304接受利用者的倍率输入(步骤S343)。 

接着，在步骤S346～步骤S358间，对合成图像数据中的、二次利用范围中包含的各像素数据反复进行步骤S347～步骤S357的处理，生成加工(放大)图像数据。 

若像素数据的第1位是“1”(步骤S347的“是”)，主控制部304就从存储器301读出多重放大用数据313，并向变形用存储器346写入(步骤S348)。 

若像素数据的第1位是“0”(步骤S347的“否”)，主控制部304就从存储器301中读出RGB放大用数据213，并写入到变形用存储器346中(步骤S349)。 

接着，主控制部304向变形用存储器346写入接受到的倍率(步骤 S351)。 

接着，若像素数据的第2位是“1”(步骤S352的“是”)，主控制部304就从存储器301中读出多重修整用数据315，并向修整用存储器348写入(步骤S353)。 

若像素数据的第2位是“0”(步骤S352的“否”)，主控制部304就从存储器301中读出RGB修整用数据217，并写入到修整用存储器348中(步骤S354)。 

接着，主控制部304向变形引擎347输出像素数据，变形引擎347使用变形用存储器346保持的倍率、函数和参数，对接收到的像素数据的下位24位(即R8G8B8)实施放大处理，之后向修整引擎349输出(步骤S356)。 

修整引擎349使用修整用存储器348保持的函数和参数，对从变形引擎347接收到的像素数据实施画质修整处理，然后写入到存储器301的图像存储区域321中(步骤S357)。 

对二次利用范围中包含的全部像素数据的反复处理一结束(步骤S358)，主控制部304就从存储器301中读出由从修整引擎349写入的像素数据群构成的加工图像数据316(步骤S359)。接着，根据读出的加工图像数据生成加工图像，并显示在显示部302中(步骤S361)。 

3.4总结 

以上，如上述说明，本实施方式的图像合成装置300生成属性标志P(该属性标志P表示合成前有无放大加工和有无画质修整)，并将生成的属性标志填充到构成合成图像数据的各像素数据中。 

在进一步放大合成图像的一部分(二次利用范围)的情况下，参照嵌入于二次利用范围的各像素数据中的属性标志，在合成过程中根据是否已进行了放大和画质修整，选择在进行放大和画质修整时所使用的数据。 

通过这样做，能够缓和由于反复进行同一处理而产生的图像的不自然程度。 

4.实施方式4 

以下，使用附图，关于本发明的实施方式4涉及的图像合成装置400进行说明。 

4.1概要 

在本实施方式中，在合成多个图像数据来生成1个合成图像数据时，首先，将成为合成对象的图像数据的数据格式转换成RGB格式，并且生成表示转换前的图像数据的数据格式的1位长度的格式标志P。 

执行所谓放大、缩小的加工处理的变形引擎，以和图像数据一同接收到的格式标志P为基础，选择使用最优的加工用数据。 

进行画质修整的修整引擎也同样地以格式标志P为基础选择使用最优的修整用数据。 

由于各执行引擎这样地以格式标志P为基础，从附带的存储器中选择最优数据来执行处理，因此，能够实现生成合成图像数据的高速化。 

4.2结构 

图25是示出图像合成装置400的功能结构的功能框图。图中的箭头示出了图像合成处理中的数据流。 

如图25所示，图像合成装置400由存储器401、显示部402、输入部403、主控制部404和图像处理部405构成，图像处理部405包括合成控制部441、格式转换部442、变形用存储器446、变形引擎447、修整用存储器448、修整引擎449、合成引擎443和合成缓冲器444。 

具体地说，图像合成装置400是由微处理器、ROM和RAM构成的计算机系统，在RAM和ROM中存储着计算机程序。通过上述微处理器按照上述计算机程序进行动作，图像合成装置400实现其功能的一部分。在此，为了实现规定功能，组合了多个表示对计算机的指令的指令码来构成计算机程序。 

以下关于各结构进行说明。再有，输入部403和显示部402的结构和动作与实施方式1相同，故省略说明。 

此外，存储器401的结构与实施方式1相同，存储器401存储着的合成指示表212、绘画图像122、照片图像124...分别与实施方式2和实施方式1中的说明相同，故省略说明。此外，合成图像数据414的生成过程不同，但数据的结构与实施方式1中说明的合成图像数据127相同，故省略说明。关于加工用数据群453和修整用数据群454以后进行叙述。 

(1)合成控制部441 

合成控制部441在合成图像数据的生成过程中未图示，但具有向各功能部输出控制信号来控制其动作的功能。 

合成控制部441从主控制部404接收图像合成的指示。一被指示图像合成，合成控制部441就从构成合成指示表212的合成信息中的、重叠顺序小的开始依次读出合成信息，关于全部的合成信息反复进行以下处理。 

首先，合成控制部441向格式转换部442输出所读出的合成信息中包含的数据格式。接着，分别向变形引擎447和修整引擎449输出变形信息和画质修整信息。接着，向合成引擎443输出输出位置、透过率和图像尺寸。 

接着，合成控制部441向格式转换部442输出与读出的合成信息对应的图像数据。 

对全部合成信息的上述处理一结束，合成控制部441就监视合成引擎443的动作，合成引擎443写回合成中途图像数据的动作一结束，就读出合成缓冲器444中存储着的合成中途图像数据，将读出的合成中途图像数据作为合成图像数据414写入存储器401。 

(2)格式转换部442 

格式转换部442从合成控制部441接收数据格式和图像数据。 

一接收这些，就按照接收到的数据格式生成1位长度的格式标志P。格式标志P＝1表示RGB格式，P＝0表示YUV格式。 

接着，格式转换部442将接收到的图像数据的数据格式转换成R8G8B8格式，生成转换完图像数据。转换的详细过程已在实施方式1中描述，故在此省略说明。接着，向变形引擎447输出所生成的格式标志P和转换完图像数据。 

(3)变形用存储器446 

变形用存储器446由RAM构成，在此存储着加工用数据群451。这与存储器401中存储着的加工用数据群453相同。 

加工用数据群451中包含有在所谓放大、缩小、旋转、翻转的加工中使用的多个数据。具体地说，包含有在实施方式1中说明的、针对图形的放大用数据A113、缩小用数据A114、翻转用数据115、旋转用数据A116...、针对自然图像的放大用数据B、缩小用数据B、翻转用数据B、旋转用数据 B...。 

(4)变形引擎447 

变形引擎447从合成控制部441接收变形信息，从格式转换部442接收格式标志P和转换完图像数据。 

一接收这些，变形引擎447就以接收到的格式标志P和变形信息为基础，从存储在变形用存储器446中的加工用数据群中读出最优的加工用数据。使用读出的加工用数据加工所接收到的转换完图像数据，生成变形完图像数据。 

例如，一接收格式标志P＝1和变形信息“0.8倍”，就读出针对自然图像的缩小用数据B，使用所读出的缩小用数据B和变形信息中包含的倍率“0.8”，对接收到的转换完图像数据实施缩小处理，生成变形完图像数据。 

接着，变形引擎447向修整引擎449输出所生成的变形完图像数据和所接收到的格式标志P。 

再有，在从合成控制部441接收到的合成信息是“不需要”的情况下，将接收到的转换完图像数据作为变形完图像数据而原样输出。 

(5)修整用存储器448 

修整用存储器448由RAM构成，在此，存储着修整用数据群452。这与存储器401中存储着的修整用数据群454相同。 

修整用数据群452中包含有在画质修整中使用的多个数据。具体地说，包含有在实施方式1中说明的、针对图形的修整用数据A117和针对自然图像的修整用数据B118。 

(6)修整引擎449 

修整引擎449从合成控制部441接收画质修整信息。此外，从变形引擎447接收变形完图像数据和格式标志P。 

一接收这些，修整引擎449就以画质修整信息和格式标志P为基础，从修整用数据群452中选择最优的修整用数据，读出所选择的修整用数据。 

接着，修整引擎449使用所读出的修整用数据，对接收到的变形完图像数据实施画质修整处理，生成修整完图像数据。 

例如，一接收格式标志P＝1和变形信息“需要”，就读出针对自然图像的修整用数据B，使用读出的修整用数据B，对转换完图像数据实施画质修 整处理，生成修整完图像数据。 

接着，修整引擎449向合成引擎443输出所生成的修整完图像数据和接收到的格式标志P。 

再有，若从合成控制部441接收到的画质修整信息是“不需要”，就不进行上述处理，而将接收到的转换完图像数据作为修整完图像数据而原样输出。 

(7)合成缓冲器444 

合成缓冲器444由RAM构成，存储合成引擎343的合成中途的图像数据。合成缓冲器444中存储的合成中途图像数据的数据格式是P1X7R8G8B8格式。 

此外，关于起动时和初始化后的合成缓冲器444中存储着的数据，与上述实施方式1中的说明相同。 

(8)合成引擎443 

合成引擎443从合成控制部441接收输出位置、透过率和图像尺寸。此外，合成引擎443从修整引擎449接收修整完图像数据和格式标志P。在此，接收的图像尺寸与根据修整完图像数据生成的修整完图像的数据尺寸一致。 

为了便于说明，在基于合成中途图像数据生成的合成中途图像中，以输出位置为起点，将由图像尺寸规定的范围称作合成对象范围。 

一接收这些数据，合成引擎443就从合成缓冲器444中读出合成中途图像数据。将读出的合成图像数据中的、与合成对象范围对应的部分和修整完图像数据进行合成。关于详细的合成，与实施方式1中的说明相同，使用各色的数据和透过率进行计算。 

接着，将合成对象范围的各像素数据的第1位重写为接收到的格式标志P，更新合成中途图像数据。 

然后，合成引擎443将更新后的合成中途图像数据写回到合成缓冲器444中。 

(9)主控制部404 

主控制部204具有向各功能部输出附图上未图示的控制信号来控制其动作的功能。 

主控制部404通过输入部403接受利用者的合成图像的生成请求。一接受合成图像的生成请求，主控制部404就对变形用存储器446和修整用存储器448进行初始化。接着，从存储器401中读出加工用数据群453，向变形用存储器446写入。接着，从存储器301中读出修整用数据群454，并向修整用存储器448写入。再有，这些数据的写入定时不限于此，可以是图像合成装置400的起动时，也可以在图像合成的指示时(后述)之后由合成控制部441写入。 

接着，主控制部404在显示部402中显示规定的选择画面和输入画面，接受成为合成对象的图像的选择、是否需要加工和是否需要画质修整的输入。以接受到的数据为基础生成合成指示表212，将生成的合成指示表212写入到存储器401中。接着，向合成控制部441指示图像合成。 

此外，主控制部404按照利用者的操作，以合成图像数据414为基础生成合成图像，并显示在显示部402中。这时，由利用者一指定合成图像中的位置(象素)，就进行合成图像数据的加工控制。关于合成图像数据的加工控制，与实施方式1相同，故在此省略说明。 

4.3动作 

以下，使用附图，关于本发明的图像合成装置400的动作进行说明。再有，合成图像数据的加工处理中的、图像合成装置400的动作与实施方式1相同，故在此省略说明。 

(1)图像合成的动作 

一接受利用者请求图像合成的操作，图像合成装置400就开始图像合成的处理。 

图26～图28是示出图像合成处理中的图像合成装置400的动作的流程图。以下，使用图26～图28，关于图像合成处理中的图像合成装置400的动作进行说明。 

通过利用者的操作一请求图像合成，主控制部404就对变形用存储器446和修整用存储器448进行初始化，从存储器401中读出加工用数据群453，将读出的加工用数据群453写入到变形用存储器446中。此外，从存储器401中读出修整用数据群454，将读出的修整用数据群454写入到修整用存储器448中(步骤S401)。 

接着，主控制部404通过输入部403接受成为合成对象的图像的选择、显示位置、重叠顺序、是否需要加工和是否需要画质修整的输入(步骤S402)。主控制部404以接受到的数据为基础生成合成指示表212，并写入到存储器301中，对合成控制部441指示图像合成(步骤S404)。 

合成控制部441从重叠顺序最小的开始依次读出合成指示表212中包含的合成信息(步骤S406)。这时，若已经读完了全部合成信息(步骤S407的“是”)，主控制部404就向步骤S408转移处理。 

若未读完全部的合成信息(步骤S407的“否”)，合成控制部441就向格式转换部442输出所读出的合成信息中包含的数据格式(步骤S411)。 

接着，合成控制部441向变形引擎447输出所读出的合成信息中包含的变形信息(步骤S412)。接着，合成控制部441向修整引擎449输出所读出的合成信息中包含的画质修整信息(步骤S413)。 

接着，合成控制部441向合成引擎443输出所读出的合成信息中包含的输出位置、透过率和图像尺寸(步骤S414)。 

接着，合成控制部441从存储器401中读出与所读出的合成信息对应的图像数据，向格式转换部442输出所读出的图像数据(步骤S416)。 

格式转换部442接收数据格式和图像数据。若接收到的数据格式表示是RGB格式(步骤S417的“RGB”)，格式转换部442就生成格式标志P＝1(步骤S418)。若接收到的数据格式表示是YUV格式(步骤S417的YUV)，就生成格式标志P＝0(步骤S419)。 

接着，格式转换部442基于接收到的数据格式，将接收到的图像数据转换为R8G8B8格式，生成转换完图像数据(步骤S421)。接着，向变形引擎447输出所生成的转换完图像数据和格式标志P(步骤S422)。 

变形引擎447接收变形信息和格式标志P及转换完图像数据。若接收到的变形信息是“不需要”(步骤S424的“否”)，变形引擎447就以接收到的格式标志P和变形信息为基础，从加工用数据群451中选择最优的加工用数据，从变形用存储器446中读出所选择的加工用数据(步骤S426)。 

接着，变形引擎447使用所读出的加工用数据，对接收到的变形完图像数据进行加工，生成变形完图像数据(步骤S427)。接着，变形引擎447向修整引擎449输出所生成的变形完图像数据和接收到的格式标志P(步骤 S428)。 

若接收到的变形信息是“不需要”(步骤S424的“是”)，就将接收到的变形完图像数据作为变形完图像数据，原样地向修整引擎449输出(步骤S431)。接着，向修整引擎449输出所接收到的格式标志P(步骤S432)。 

修整引擎449接收修整信息、格式标志P和变形完图像数据。若接收到的修整信息是“不需要”(步骤S433的“否”)，修整引擎449就以接收到的格式标志P为基础，从修整用数据群452中选择最优的修整用数据，从修整用存储器448中读出所选择的修整用数据(步骤S434)。接着，修整引擎449使用所读出的修整用数据，对接收到的变形完图像数据实施画质修整处理，生成修整完图像数据(步骤S436)。 

接着，修整引擎449向合成引擎443输出所接收到的格式标志P和生成的修整完图像数据(步骤S437)。 

若接收到的修整信息是“不需要”(步骤S433的“是”)，修整引擎449就将接收到的变形完图像数据作为修整完图像数据，原样地向合成引擎443输出(步骤S441)。接着，向合成引擎443输出所接收到的格式标志P(步骤S442)。 

合成引擎443接收输出位置、透过率、图像尺寸、修整完图像数据和格式标志。一接收这些，合成引擎443就从合成缓冲器444中读出合成中途图像数据(步骤S443)。将读出的合成图像数据中的、与合成对象范围对应的部分和修整图像数据进行合成(步骤S444)。接着，合成引擎443将与合成对象范围对应的部分的各像素数据的第1位重写为接收到的格式标志P，更新合成中途图像数据(步骤S446)。 

接着，合成引擎443将更新后的合成中途图像数据写回到合成缓冲器444中(步骤S447)。 

对全部合成信息的这些处理一结束(步骤S407的“是”)，合成控制部441就读出合成缓冲器444中保持着的合成中途图像数据，并作为合成图像数据写入存储器401(步骤S408)。接着，主控制部404从存储器401中读出合成图像数据414，以读出的合成图像数据为基础，生成合成图像并向显示部402显示(步骤S409)。 

4.4总结 

如以上说明，在本实施方式中，首先，格式转换部将成为合成对象的图像数据的数据格式转换成RGB格式，并且生成格式标志，该格式标志表示转换前的图像数据的格式。在合成前对各图像数据实施加工和/或画质修整时，各引擎能够从各自附带的变形用存储器或者修整用存储器中，以格式标志为基础，迅速地选择并读出最优的加工用数据或者修整用数据。 

5.其他变形例 

基于上述实施方式说明了本发明，但本发明当然不限定于上述实施方式。如下情况也包含在本发明中。 

(1)在上述各实施方式中，对每个像素数据生成了一个格式标志(实施方式3中是属性标志)P，但不限定于此，只要是在合成图像数据中能够确定与合成前的图像数据对应的部分以及对应于该部分的标志P就可以。 

以实施方式1为例，格式转换部142从合成控制部141接收数据格式，按照接收到的数据格式，生成1位长度的格式标志P。 

接着，格式转换部142接收输入图像数据，将接收到的输入数据的数据格式转换成例如R8G8B8格式，生成转换完图像数据。 

然后，格式转换部142向合成引擎输出所生成的格式标志P和转换完图像数据。 

在此，假设合成缓冲器144保持的合成中途图像数据和存储器101中存储的合成图像数据都是R8G8B8格式。 

合成引擎143从合成控制部141接收透过率、重叠顺序、输出坐标和图像尺寸。此外，从格式转换部142接收格式标志P和转换完图像数据。一接收这些，就从合成缓冲器144读出合成中途图像数据。使用接收到的透过率，将读出的合成中途图像数据和转换完图像数据进行合成。接着，生成由接收到的格式标志P、重叠顺序、输出坐标和图像尺寸构成的属性信息。然后，用合成后的图像数据对合成缓冲器144保持的合成中途图像数据进行更新。然后，将生成的属性信息写入到合成缓冲器144中。 

合成引擎143每次接收透过率、输出坐标、图像尺寸、格式标志P和转换完图像数据时，都同样地反复进行合成中途图像数据的更新、属性信息的生成和写入。 

在此生成的属性信息分别表示与合成图像中的区域151a、152a、153a 和154a各区域中包含的象素对应的格式标志。 

接着，通过利用者的操作一接受以指示器161示出的位置为中心的放大请求，主控制部104就决定成为放大对象的二次利用范围。 

接着，主控制部104与实施方式1同样，对二次利用范围中包含的各象素实施放大处理。这时，主控制部104检测出属性信息(该属性信息表示包含有成为处理对象的象素的区域)，使用检测到的属性信息中包含的格式标志P。在检测到多个包含有成为处理对象的象素的属性信息的情况下，主控制部104比较检测到的属性信息中包含的重叠顺序，采用包含最大重叠顺序的属性信息。 

若不能够检测出包含有成为处理对象的象素的属性信息，主控制部104就使用与背景图像对应的格式标志(在此P＝0)进行放大处理。 

其他实施方式中也可以同样地存储着由表示各图像在合成图像上所占的区域的信息、格式标志(或者属性标志)和重叠顺序构成的属性信息。通过这样做，不需要每个象素存储有一个格式标志，能够削减总数据量。 

(3)在实施方式1中，主控制部104根据合成图像数据中的二次利用范围的各像素数据中包含的格式标志P的值，选择加工用数据和修整用数据，分别写入到变形用存储器146和修整用存储器中。 

但是这是一例，例如，也可以是如下的结构：主控制部104将根据与利用者指定的位置(象素)对应的像素数据中包含的格式标志的值来选择的加工用数据和修整用数据，一次写入变形用存储器146和修整用存储器148中；变形引擎147和修整引擎149分别使用写入到变形用存储器146和修整用存储器148中的数据，进行与二次利用范围对应的全部像素数据的加工和修整。 

在实施方式2、3中也同样，可以以与利用者选择的象素对应的格式标志P(实施方式3中是属性标志P)为基础，一次选择出在二次利用范围的加工和修整中使用的数据，并分别写入到变形用存储器和修整用存储器。 

或者，也可以将与二次利用范围中包含的各象素对应的P值中的、值是1的总数和值是0的总数进行比较，按照值大的那个的P值，选择加工和修整中使用的数据，并一次写入到各存储器中。 

再有，在实施方式3的情况下，对P值中的第1位和第2位分别进行 总数的比较。 

(4)在各实施方式中，合成引擎从合成缓冲器中读出合成中途图像数据(实施方式2中加之还有格式标志群)，并进行合成处理，但也可以是如下结构：在从合成控制部接收到的透过率是“0”的情况下，不进行读出，而是用接收到的图像数据，对合成中途图像数据中的与合成对象范围对应的部分进行重写。 

(5)在实施方式1中，假设示出合成前的图像数据的格式的标志是1位长度，“0”是RGB格式，“1”是YUV格式，但不限定于此。 

例如，在YUV格式中，有数据的归纳方法不同的压缩方式和平面(planar)方式的2种方式。另外，根据数据的间歇剔除方式，有YUV420、YUV422等多种形式。 

格式标志P也可以是表示还包含有它们的差别的格式的多位长度的数据。具体地说，也可以假设第1位表示是RGB格式还是YUV格式，第2位表示是压缩方式还是平面方式，第3位(或者第3位以后的几位)表示YUV格式中的数据的间歇剔除方式。 

(6)在实施方式2中，格式转换部242将输入的修整完图像数据的数据格式转换成R8G8B8格式，但不限定于此。 

例如，也可以是通过使其成为R5G6B5格式来容易进行所生成的合成图像数据的地址管理的结构。 

(7)在实施方式3中，为了容易说明，假设图像合成装置300是原样或者放大多个图像数据后进行合成的装置，进行了说明。但是，也可以与其他实施方式同样，在除了放大以外，实施了缩小、翻转、旋转等加工之后进行合成。该情况下，属性位是8位以下的数据，各位表示有无各个处理。 

具体地说，也可以是第1位示出有无放大，第2位示出有无缩小，第3位示出有无翻转...的结构。 

(8)在上述实施方式1、2、4中，P的值表示合成前的图像数据的数据格式，在实施方式3中表示有无合成前的加工和画质修整处理，但不限定于此。 

例如，考虑生成了各图像数据的软件的种类。具体地说，绘画图像软 件和生成照片图像数据的软件适合。此外，在实施方式中假设合成多个图像数据，但不限于图像数据，也可以是把用文件制作软件制作的文本数据和用表计算软件制作的表等进行合成的结构。 

该情况下，格式转换部在将各数据转换成RGB格式的图像数据的同时，生成表示转换前的数据的种类和格式的几位长度的格式标志。 

(9)在上述实施方式1～4和变形例中，各图像数据存储在图像合成装置内的存储器中，但不限定于此。 

例如，也可以是如下的结构：输入部具有装有可移动型存储介质的机构和连接记录装置的机构，利用者从图像合成装置内的存储器、外部记录介质和记录装置中存储着的图像数据中，选择成为合成对象的图像数据。 

此外，假设将生成的合成图像数据和加工图像数据写入到内部的存储器中，但不限定于此，也可以是向外部记录介质和记录装置等进行输出的结构。 

此外，在上述实施方式和变形例中，图像合成装置生成合成图像数据，并进一步生成了加工图像数据，但也可以向外部设备或者记录介质等输出加工图像数据，外部设备以合成图像数据为基础生成加工图像数据。 

(10)上述的各装置具体地说是由微处理器、ROM、RAM、硬盘单元、显示单元、键盘、鼠标等构成的计算机系统。在上述RAM、ROM或上述硬盘单元中存储着计算机程序。通过上述微处理器按照上述计算机程序进行动作，上述装置就实现其功能。在此，为了达到规定的功能，组合了多个表示对计算机的指令的指令码来构成计算机程序。 

(11)构成上述各装置的结构要素的一部分或全部也可以由1个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是在1个芯片上集成多个结构部来制造的超多功能LSI，具体地说是由微处理器、ROM、RAM等构成的计算机系统。在上述RAM中存储着计算机程序。通过上述微处理器按照上述计算机程序进行动作，系统LSI实现其功能。 

(12)构成上述各装置的结构要素的一部分或全部也可以由可拆装在装置上的IC卡或单体模块构成。上述IC卡或上述模块是由微处理器、ROM、RAM等构成的计算机系统。上述IC卡或上述模块也可以包括上述超多功能LSI。通过微处理器按照计算机程序进行动作，上述IC卡或上述模块实 现其功能。该IC卡或该模块也可以具有抗窜改性。 

(13)本发明也可以是上述所示的方法。此外，也可以是利用计算机实现这些方法的计算机程序，也可以是由上述计算机程序构成的数字信号。 

此外，本发明也可以将上述计算机程序或上述数字信号记录在计算机可读取的记录介质中，例如软磁盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc)、半导体存储器等中。此外，也可以是这些记录介质中记录着的上述计算机程序或者上述数字信号。 

此外，本发明也可以经由电气通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等，来传输上述计算机程序或上述数字信号。 

此外，本发明也可以是具有微处理器和存储器的计算机系统，上述存储器存储着上述计算机程序，上述微处理器按照上述计算机程序进行动作。在此，为了实现规定功能，组合了多个表示对计算机的指令的指令码来构成计算机程序。 

此外，也可以通过把上述程序或上述数字信号记录在上述记录介质中来移送，或者通过经由上述网络等移送上述程序或者上述数字信号，从而利用独立的其他计算机系统予以实施。 

(14)此外，将上述实施例中的存储卡、SIM卡的全部功能块作为集成电路的LSI来实现的情况也包含在本发明中。此外，不限于全部功能块而是一部分作为LSI来实现的情况也包含在本发明中。可以将它们个别地集成为1个芯片，也可以包含其中一部分或全部集成为1个芯片。在此设定为LSI，但有时也根据集成度的不同，称作IC、系统LSI、超大LSI、超级LSI。 

此外，电路集成化的方法不限于LSI，也可以用专用电路或通用处理器来实现。也可以在LSI制造后，利用可编程的FPGA(Field Programmable GateArray：现场可编程门阵列)和可以对LSI内部的电路单元的连接和设定进行重构的可重构处理器。 

另外，若出现了利用半导体技术的进步或派生的其他技术置换为LSI的集成电路化的技术，当然也可以使用该技术进行功能块的集成化。也能有适应生物技术等的可能性。 

(15)也可以分别组合上述实施方式和上述变形例。 

工业实用性 

本发明可以经营性和反复地利用在制造和销售合成图像数据来输出的装置和压缩已合成的图像数据的装置的工业、以及使用这些装置提供各种服务的工业中。 

Claims (11)

1.一种图像合成装置，合成多个对象图像数据来生成合成图像数据，其特征在于，具有：

取得单元，取得属性信息和成为合成对象的上述多个对象图像数据，该属性信息与生成各对象图像数据时的代码化有关；

合成单元，合成所取得的多个上述对象图像数据，生成上述合成图像数据；以及

对应关系建立单元，将各属性信息与上述合成图像数据中对应于各对象图像数据的部分对应起来，在上述合成图像数据中，2个以上的与对象图像数据对应的部分的至少一部分重复的情况下，将重复部分和对应于如下的部分图像的对象图像数据的属性信息对应起来：在根据上述合成图像数据形成的合成图像上，在相当于上述重复部分的区域的最前面显示的部分图像，

分别将不同数据格式的输入图像数据统一成某一个数据格式，来生成上述多个对象图像数据，

上述取得单元取得表示与各对象图像数据对应的输入图像数据的数据格式的上述属性信息。

2.一种图像合成装置，合成多个对象图像数据来生成合成图像数据，其特征在于，具有：

取得单元，取得属性信息和成为合成对象的上述多个对象图像数据，该属性信息与生成各对象图像数据时的代码化有关；

合成单元，合成所取得的多个上述对象图像数据，生成上述合成图像数据；以及

对应关系建立单元，将各属性信息与上述合成图像数据中对应于各对象图像数据的部分对应起来，在上述合成图像数据中，2个以上的与对象图像数据对应的部分的至少一部分重复的情况下，将重复部分和对应于如下的部分图像的对象图像数据的属性信息对应起来：在根据上述合成图像数据形成的合成图像上，在相当于上述重复部分的区域的最前面显示的部分图像，

上述多个对象图像数据中的某一个是对输入图像数据进行加工来生成的，

上述取得单元取得表示各对象图像数据的加工履历的上述属性信息。

3.一种图像合成装置，合成多个对象图像数据来生成合成图像数据，其特征在于，具有：

取得单元，取得属性信息和成为合成对象的上述多个对象图像数据，该属性信息与生成各对象图像数据时的代码化有关；

合成单元，合成所取得的多个上述对象图像数据，生成上述合成图像数据；以及

对应关系建立单元，将各属性信息与上述合成图像数据中对应于各对象图像数据的部分对应起来，在上述合成图像数据中，2个以上的与对象图像数据对应的部分的至少一部分重复的情况下，将重复部分和对应于如下的部分图像的对象图像数据的属性信息对应起来：在根据上述合成图像数据形成的合成图像上，在相当于上述重复部分的区域的最前面显示的部分图像，

上述合成图像数据由多个像素数据构成，

上述对应关系建立单元将构成上述合成图像数据中与各对象图像数据对应的部分的各像素数据，分别和相应的属性信息对应起来，

上述对应关系建立单元包括：

存储部，将16位的偶数倍的位数作为1个单位来存储数据；

补充部，生成补充数据，该补充数据的位长度中1个像素数据的位长度和上述属性信息的位长度之和成为16位的偶数倍；以及

写入部，将构成上述合成图像数据的各像素数据、与构成上述合成图像数据的各像素数据对应的属性信息以及上述补充数据连续地写入到上述存储部中。

4.一种图像合成装置，合成多个对象图像数据来生成合成图像数据，其特征在于，具有：

取得单元，取得属性信息和成为合成对象的上述多个对象图像数据，该属性信息与生成各对象图像数据时的代码化有关；

合成单元，合成所取得的多个上述对象图像数据，生成上述合成图像数据；以及

对应关系建立单元，将各属性信息与上述合成图像数据中对应于各对象图像数据的部分对应起来，在上述合成图像数据中，2个以上的与对象图像数据对应的部分的至少一部分重复的情况下，将重复部分和对应于如下的部分图像的对象图像数据的属性信息对应起来：在根据上述合成图像数据形成的合成图像上，在相当于上述重复部分的区域的最前面显示的部分图像，

上述合成图像数据由多个像素数据构成，

上述对应关系建立单元将构成上述合成图像数据中与各对象图像数据对应的部分的各像素数据，分别和相应的属性信息对应起来，

上述属性信息是表示与生成对应的对象图像数据时的代码化有关的特性的最小位数的数据，

上述对应关系建立单元包括：

存储部，存储数据；以及

写入部，将像素数据群和属性信息群写入到上述存储部中，该像素数据群构成上述合成图像数据，该属性信息群对应于各像素数据。

5.一种图像合成装置，合成多个对象图像数据来生成合成图像数据，其特征在于，具有：

取得单元，取得属性信息和成为合成对象的上述多个对象图像数据，该属性信息与生成各对象图像数据时的代码化有关；

合成单元，合成所取得的多个上述对象图像数据，生成上述合成图像数据；

对应关系建立单元，将各属性信息与上述合成图像数据中对应于各对象图像数据的部分对应起来，在上述合成图像数据中，2个以上的与对象图像数据对应的部分的至少一部分重复的情况下，将重复部分和对应于如下的部分图像的对象图像数据的属性信息对应起来：在根据上述合成图像数据形成的合成图像上，在相当于上述重复部分的区域的最前面显示的部分图像；

接受单元，接受对于上述合成图像数据的加工指示；

选择单元，根据与上述合成图像数据中成为上述加工指示的对象的部分对应的上述属性信息，选择加工算法；以及

加工单元，按照被选择的加工算法，加工上述合成图像数据，

上述选择单元包括：

检测部，检测出与成为上述加工指示的对象的范围内的1个像素数据对应的上述属性信息；

选择部，选择与检测出的属性信息对应的加工算法；以及

反复控制部，指示对成为上述加工指示的对象的范围内的全部像素数据反复进行上述检测和选择，

上述加工单元按照被选择的加工算法，对成为上述加工指示的对象的范围内的各像素数据进行加工。

6.一种图像合成装置，合成多个对象图像数据来生成合成图像数据，其特征在于，具有：

取得单元，取得属性信息和成为合成对象的上述多个对象图像数据，该属性信息与生成各对象图像数据时的代码化有关；

合成单元，合成所取得的多个上述对象图像数据，生成上述合成图像数据；

对应关系建立单元，将各属性信息与上述合成图像数据中对应于各对象图像数据的部分对应起来，在上述合成图像数据中，2个以上的与对象图像数据对应的部分的至少一部分重复的情况下，将重复部分和对应于如下的部分图像的对象图像数据的属性信息对应起来：在根据上述合成图像数据形成的合成图像上，在相当于上述重复部分的区域的最前面显示的部分图像；

接受单元，接受对于上述合成图像数据的加工指示；

选择单元，根据与上述合成图像数据中成为上述加工指示的对象的部分对应的上述属性信息，选择加工算法；以及

加工单元，按照被选择的加工算法，加工上述合成图像数据，

上述选择单元检测出与成为上述加工指示的对象的部分的全部像素数据对应的上述属性信息，并根据检测出的属性信息群中占最多数的属性信息，选择上述加工算法。

7.一种图像数据利用系统，包括图像合成装置和加工装置，该图像合成装置合成多个对象图像数据来生成合成图像数据，该加工装置对合成图像数据进行加工来生成加工图像数据，其特征在于，

上述图像合成装置具有：

取得单元，取得属性信息和成为合成对象的上述多个对象图像数据，该属性信息与生成各对象图像数据时的代码化有关；

合成单元，合成所取得的多个上述对象图像数据，生成上述合成图像数据；以及

对应关系建立单元，将各属性信息与上述合成图像数据中对应于各对象图像数据的部分对应起来，在上述合成图像数据中，2个以上的与对象图像数据对应的部分的至少一部分重复的情况下，将重复部分和对应于如下的部分图像的对象图像数据的属性信息对应起来：在根据上述合成图像数据形成的合成图像上，在相当于上述重复部分的区域的最前面显示的部分图像，

上述加工装置具有：

数据取得单元，取得上述合成图像数据；

接受单元，接受对于上述合成图像数据的加工指示；

选择单元，根据与上述合成图像数据中成为上述加工指示的对象的部分对应的上述属性信息，选择加工算法；以及

加工单元，按照被选择的加工算法，加工上述合成图像数据，

分别将不同数据格式的输入图像数据统一成某一个数据格式，来生成上述多个对象图像数据，

上述取得单元取得表示与各对象图像数据对应的输入图像数据的数据格式的上述属性信息。

8.一种图像合成方法，是在合成多个图像数据来生成合成图像数据的图像合成装置中使用，其特征在于，包括：

取得步骤，取得属性信息和成为合成对象的上述多个对象图像数据，该属性信息与生成各对象图像数据时的代码化有关；

合成步骤，合成所取得的多个上述对象图像数据，生成上述合成图像数据；以及

对应关系建立步骤，将各属性信息与上述合成图像数据中对应于各对象图像数据的部分对应起来，在上述合成图像数据中，2个以上的与对象图像数据对应的部分的至少一部分重复的情况下，将重复部分和对应于如下的部分图像的对象图像数据的属性信息对应起来：在根据上述合成图像数据形成的合成图像上，在相当于上述重复部分的区域的最前面显示的部分图像，

分别将不同数据格式的输入图像数据统一成某一个数据格式，来生成上述多个对象图像数据，

上述取得步骤中，取得表示与各对象图像数据对应的输入图像数据的数据格式的上述属性信息。

9.一种集成电路，搭载在图像合成装置中，该图像合成装置合成多个对象图像数据来生成合成图像数据，其特征在于，该集成电路具有：

取得单元，取得属性信息和成为合成对象的上述多个对象图像数据，该属性信息与生成各对象图像数据时的代码化有关；

合成单元，合成所取得的多个上述对象图像数据，生成上述合成图像数据；以及

对应关系建立单元，将各属性信息与上述合成图像数据中对应于各对象图像数据的部分对应起来，在上述合成图像数据中，2个以上的与对象图像数据对应的部分的至少一部分重复的情况下，将重复部分和对应于如下的部分图像的对象图像数据的属性信息对应起来：在根据上述合成图像数据形成的合成图像上，在相当于上述重复部分的区域的最前面显示的部分图像，

分别将不同数据格式的输入图像数据统一成某一个数据格式，来生成上述多个对象图像数据，

上述取得单元取得表示与各对象图像数据对应的输入图像数据的数据格式的上述属性信息。

10.一种图像合成装置，合成多个图像数据来生成合成图像数据，其特征在于，具有：

取得单元，取得属性信息和成为合成对象的多个对象图像数据，该属性信息与生成各对象图像数据时的代码化有关；

合成单元，合成所取得的多个上述对象图像数据，生成上述合成图像数据；

对应关系建立单元，将各属性信息与上述合成图像数据中对应于各对象图像数据的部分对应起来；

接受单元，接受对于上述合成图像数据的加工指示；

选择单元，根据与上述合成图像数据中成为上述加工指示的对象的部分对应的上述属性信息，选择加工算法；

加工单元，按照被选择的加工算法，加工上述合成图像数据，

上述加工指示包括表示规定的象素的位置信息，

上述选择单元根据与上述合成图像数据中上述位置信息表示的象素所显示的像素数据对应的上述属性信息，选择上述加工算法，

分别将不同数据格式的输入图像数据统一成某一个数据格式，来生成上述多个对象图像数据，

上述取得单元取得表示与各对象图像数据对应的输入图像数据的数据格式的上述属性信息。

11.一种图像合成装置，合成多个图像数据来生成合成图像数据，其特征在于，具有：

取得单元，取得属性信息和成为合成对象的多个对象图像数据，该属性信息与生成各对象图像数据时的代码化有关；

合成单元，合成所取得的多个上述对象图像数据，生成上述合成图像数据；

对应关系建立单元，将各属性信息与上述合成图像数据中对应于各对象图像数据的部分对应起来；

接受单元，接受对于上述合成图像数据的加工指示；

选择单元，根据上述合成图像数据中成为上述加工指示的对象的部分对应的上述属性信息，选择加工算法；

加工单元，按照被选择的加工算法，加工上述合成图像数据，

上述选择单元检测出与成为上述加工指示的对象的部分的全部像素数据对应的上述属性信息，根据检测出的属性信息群中占最多数的属性信息，选择上述加工算法。

Images