CN103309557A - 图像处理装置以及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置以及图像处理方法，图像处理装置具备：第1取得单元(6a)，其取得规定的图像；确定单元(5)，其确定基于用户在显示单元(3)的显示区域进行的操作单元的规定操作而描绘的至少2个轨迹；以及控制单元(6d)，其以由所述确定单元确定的所述至少2个轨迹的形状为基准，来使沿着该轨迹被移动显示、且被重叠显示于背景图像上的所述规定的图像的显示形态变化。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及图像处理装置以及图像处理方法。

背景技术

现有技术中，已知以任意形状的轨迹为输入，使规定的角色沿着该轨迹在显示部上进行移动显示的电子设备(日本特开2009-199622号公报)。

但是，在上述专利文献中，仅使规定的角色等的图像沿着所输入的轨迹移动显示，难以提高所生成的动态图像的趣味性。

发明内容

本发明目的在于提供能使前景的图像的显示形态变化来谋求动态图像的趣味性的提高的图像处理装置以及图像处理方法。

本发明的一个形态是一种图像处理装置，其特征在于，具备：第1取得单元(6a)，其取得规定的图像；确定单元(5)，其确定基于用户在显示单元(3)的显示区域进行的操作单元的规定操作而描绘的至少2个轨迹；和控制单元(6d)，其以由所述确定单元确定的所述至少2个轨迹的形状为基准，来使沿着该轨迹被移动显示、且被重叠显示于背景图像上的所述规定的图像的显示形态变化。

本发明的一个形态是一种图像处理方法，是使用了图像处理装置的图像处理方法，其特征在于，包括：取得规定的图像的处理；确定基于用户在显示单元的显示区域进行的操作单元的规定操作而描绘的至少2个轨迹的处理；和以所确定的所述至少2个轨迹的形状为基准，来使沿着该轨迹被移动显示、且被重叠显示于背景图像上的所述规定的图像的显示形态变化的处理。

附图说明

图1是表示应用本发明的一个实施方式的便携式终端的概略构成的框图。

图2是表示图1的便携式终端进行的合成图像生成处理所涉及的动作的一例的流程图。

图3是表示图2的合成图像生成处理中的图像合成处理所涉及的动作的一例的流程图。

图4是示意地表示图2的合成图像生成处理所涉及的前景图像的一例的图。

图5是示意地表示图2的合成图像生成处理所涉及的背景图像的一例的图。

图6是示意性地表示图2的合成图像生成处理所涉及的合成动态图像的一例的图。

具体实施方式

下面，使用附图来说明具体的形态。但是，发明的范围并不限定于图示例。

图1是表示应用本发明的一个实施方式的便携式终端100的概略构成的框图。

如图1所示，本实施方式的便携式终端100具备：中央控制部1、存储器2、显示部3、操作输入部4、轨迹确定部5、图像处理部6、图像记录部7、送话受话部8、和通信控制部9。

另外，便携式终端100例如由具备通信功能的摄像装置、便携式电话或PHS(Personal Handy-phone System，个人手持电话系统)等的移动体通信网使用的移动站、PDA(Personal Data Assistants，个人数据助手)等构成。

中央控制部1控制便携式终端100的各部。具体地，虽省略图示，但中央控制部1具备CPU(Central Processing Unit，中央处理单元)、RAM(Random Access Memory，随机存取存储器)、ROM(Read Only memory，只读存储器)，按照便携式终端100用的各种处理程序(图示略)来进行各种控制动作。

存储器2例如由DRAM(Dynamic Random Access Memory，动态随机存取存储器)等构成，暂时存储由中央控制部1、图像处理部6等的各部处理的数据。

显示部3具备显示面板3a和显示控制部3b。

显示面板3a在显示区域内显示图像(例如背景图像P2等，参照图5A)。另外，作为显示面板3a，例如能举出液晶显示面板、有机EL显示面板等，但这只是一例，本发明并不限于此。

显示控制部3b基于从图像记录部7读出的由图像处理部6解码得到的规定尺寸的图像数据来进行使规定的图像显示于显示面板3a的显示画面上的控制。具体地，显示控制部3b具备VRAM(Video Random AccessMemory，视频随机存取存储器)、VRAM控制器、数字视频编码器等。然后，数字视频编码器以规定的再现帧速率(例如10fps)介由VRAM控制器从VRAM中读出由图像处理部6解码并存储在VRAM(图示略)中的亮度信号Y以及色差信号Cb、Cr，以这些数据为基础来产生视频信号，并输出给显示部3。

操作输入部4用于对便携式终端100的主体输入各种指示。

具体地，操作输入部4具备模式和功能等的选择指示所涉及的上下左右的光标按钮和决定按钮、电话的发出接收呼叫和电子邮件的收发等的执行指示所涉及的通信关联按钮、文本的输入指示所涉及的数字按钮和记号按钮等的各种按钮(均未图示)。

并且，在用户操作各种按钮时，操作输入部4将与所操作的按钮相应的操作指示输出给中央控制部1。中央控制部1按照从操作输入部4输出而被输入的操作指示来使各部执行规定的动作(例如，被摄体的摄像、电话的发出接收呼叫、电子邮件的收发等。

另外，操作输入部4具有与显示部3的显示面板3a成为一体而设置的触控面板4a。

触控面板4a检测直接或间接接触在构成显示面板3a的显示区域的显示画面上的用户的手指(手)或接触笔等的接触位置。即，触控面板4a例如设于显示画面上或该显示画面的内侧，通过电阻膜方式、超声波表面弹性波方式、静电容方式等的各种方式，来检测显示画面上的接触位置的XY坐标。并且，将与接触位置的XY坐标所涉及的位置信号输出给中央控制部1。

另外，触控面板4a进行的显示画面上的接触位置的检测精度能适宜地变更，例如既可以严密地将1个像素作为接触位置，也可以将以1个像素为中心的规定范围内的多个像素作为接触位置。

轨迹确定部5确定与用户进行的规定的描绘操作对应的操作轨迹(参照图5B)。

即，轨迹确定部5确定基于用户在显示面板3a的显示区域进行的操作输入部4的规定操作而描绘的至少2个操作轨迹L、L。具体地，轨迹确定部5在被输入由操作输入部4的触控面板4a连续检测出的接触位置的XY坐标所涉及的位置信号时，将该触控面板4a的每一个接触位置确定为显示面板3a的显示区域中的每一个操作点。然后，轨迹确定部5通过将所确定的多个操作点彼此进行连线，来分别确定与用户进行的各描绘操作对应的操作轨迹L。

另外，利用了操作输入部4的规定操作的各操作轨迹L的描绘可以在显示面板3a的显示区域中显示有背景图像P2的状态下进行。即，由于如后述那样，利用操作轨迹L来指定前景图像P1在背景图像P2内的合成位置，因此，用户能在显示于显示区域的背景图像P2内掌握前景图像P1的合成显示的位置。

另外，各操作部件L的描绘所涉及的用户在操作输入部4进行的规定操作可以是例如进行所谓的多点触摸来在大致相同的定时描绘多个操作轨迹L…这样的操作，也可以是在时间轴错开而在不同的定时描绘各操作轨迹L这样的操作。

另外，在图5B中，示意性地在显示面板3a的显示区域上示出2个操作轨迹L、L的一例，但关于是否能视觉辨识地显示该操作轨迹L能进行适当变更。

另外，各操作轨迹L的形状和条数是一例，并不限于此，能进行适当的变更。在此，在确定3条以上的操作轨迹L的情况下，也可以构成为用户基于操作输入部4的规定操作来选择期望的2个操作轨迹L。

图像处理部6按照对应的规定的编码格式(例如JPEG格式、动态JPEG格式、MPEG格式等)，对从图像记录部7读出的与显示对象相关的静止图像或动态图像的图像数据进行解码，并输出给显示控制部3b。此时，图像处理部6例如基于显示面板3a的显示分辨率将从图像记录部7读出的图像数据缩小为规定尺寸(例如VGA或QVGA尺寸)，并输出给显示控制部3b。

另外，显示控制部6具备：第1图像取得部6a、第2图像取得部6b、图像合成部6c、和合成控制部6d。

另外，图像处理部6的各部例如由规定的逻辑电路构成，但该构成为一例，并不限于此。

第1图像取得部6a取得在合成图像生成处理(后述)中使用的前景图像P1。

即，第1图像取得部6a取得用户期望的图像作为前景图像P1。具体地，第1图像取得部6a在记录于图像记录部7的至少1个前景图像P1中，取得基于用户进行的操作输入部4的规定操作而指定的用户期望的前景图像P1(参照图4)的图像数据。

第2图像取得部6b取得在合成图像生成处理中所使用的背景图像P2。

即，第2图像取得部6b取得用户期望的图像作为背景图像P2。具体地，第2图像取得部6b在记录于图像记录部7的至少1个背景图像P2中，取得基于用户进行的操作输入部4的规定操作而指定的用户期望的背景图像P2(参照图5A等)的图像数据。

图像合成部6c进行合成背景图像P2和前景图像P1的图像合成处理。

即，图像合成部6c合成由第1图像取得部6a取得的前景图像P1和由第2图像取得部6b取得的背景图像P2来生成合成图像。具体地，图像合成部6c在背景图像P2的各像素中使对应的前景图像P1的像素的阿尔法值为0的像素透过背景图像P2，对于对应的前景图像P1的像素的阿尔法值为1的像素，用前景图像P1的对应的像素的像素值来改写背景图像P2的像素，进而，对于背景图像P2的各像素中的对应的前景图像P1的阿尔法值为0＜α＜1的像素，在使用1的补数(1-α)来生成剪取了前景图像P1的被摄体区域G的图像(背景图像×(1-α)))后，在使用阿尔法映射(map)中的1的补数(1-α)来生成前景图像P1时计算与单一背景色混合后的值，从前景图像P1中减去该值，并将由此得到的像素与剪取了被摄体区域G的图像(背景图像×(1-α)))进行合成。

另外，在生成动态图像作为合成图像的情况下，图像合成部6按每个构成动态图像的各帧图像进行上述的各处理。另外，关于在各帧图像的生成中所使用的前景图像P1以及背景图像P2，在后面叙述。

合成控制部6控制与背景图像P2合成的前景图像P1的显示形态的变化。

即，合成控制部6d以由轨迹确定部5确定的至少2个操作轨迹L、L的形状为基准，使沿着该操作轨迹被移动显示、且被重叠显示于背景图像P2上的前景图像P1(规定的图像)的显示形态发生变化。另外，合成控制部6d控制图像合成部6c所执行的图像合成处理，在由图像合成部6c来合成背景图像P2和前景图像P1时，使前景图像P1的显示形态发生变化。即，合成控制部6d通过使图像合成部6c以规定的间隔(例如距离间隔或时间间隔等)合成使被摄体区域G的合成位置、大小等发生变化的多个前景图像的每一个与背景图像P2，从而生成合成动态图像M。

具体地，合成控制部6d按照使前景图像P1的被摄体区域G在由轨迹确定部5确定的2个操作轨迹L、L间沿着该操作轨迹L移动的方式，使相对于背景图像P2重叠显示的被摄体区域G的合成位置空开规定的像素间隔而变化。

此时，合成控制部6d也可以按照前景图像P1的合成位置中的2个操作轨迹L、L的间隔来使该前景图像P1的被摄体区域G的大小变化。被摄体区域G的大小的变化例如按照不使被摄体区域G的水平方向(规定方向)以及垂直方向(与规定方向正交的方向)的像素数(大小)的比率变化的方式来进行。具体地，合成控制部6d在根据被摄体区域G的合成位置上的2个操作轨迹L、L的间隔来使被摄体区域G的规定方向(例如水平方向)的像素数增加的情况下，按照与该规定方向的像素数的增减程度相应地使该被摄体区域G的与规定方向正交的方向(例如垂直方向等)的像素数也增减的方式，来对前景图像P1(参照图4)的图像尺寸进行大小调整。在此，被摄体区域G的水平方向以及垂直方向的像素数可以包含围绕该被摄体区域G的规定形状(例如矩形)的框的像素数。

另外，合成控制部6d也可以根据2个操作轨迹L、L的朝向来使对前景图像P1的被摄体区域G进行合成的朝向变化。具体地，合成控制部6d例如设定经过在2个操作轨迹L、L间离该各操作轨迹L为等距离的位置的基准线(图示略)，通过按照使经过被摄体区域G的中心(规定位置)的基准线段(图示略)与该基准线大致正交的方式来使前景图像P1以该被摄体区域G的规定位置为中心向规定方向旋转，来进行被摄体区域G的朝向的改变。

另外，合成控制部6d也可以按照使前景图像P1的被摄体区域G的显示位置从描绘2个操作轨迹L、L中的任一者的操作轨迹L时的起点侧向终点侧移动的方式，来使相对于背景图像P2重叠显示的被摄体区域G的合成位置空开规定的像素间隔来变化。在此，被摄体区域G的合成位置的变化例如可以以经过2个操作轨迹L、L间的规定位置(例如等距离的位置)的基准线(图示略)为基准来进行，也可以以任一个操作轨迹L为基准来进行。另外，在各操作轨迹L的长度不同的情况下，对于各操作轨迹L，也可以按照它们相对于全长的比率大致相等的方式来进行被摄体区域G的合成位置的变化。

另外，也可以使前景图像P1的被摄体区域G的显示位置从描绘任一者的操作轨迹L时的终点侧起向起点侧移动。

例如，合成控制部6d在使前景图像P1沿着操作轨迹L在规定方向上(例如X轴方向)上每隔规定像素数进行移动显示的情况下，按照被摄体区域G在2个操作轨迹L、L中的任一者的操作轨迹L的起点侧的规定位置位于该2个操作轨迹L、L间的方式，来设定该前景图像P1的被摄体区域G的合成位置、大小以及朝向。然后，通过图像合成部6c将前景图像P1的被摄体区域G与背景图像P2合成来生成最初的帧图像F1(参照图6A)。之后，合成控制部6d按照被摄体区域G在沿着操作轨迹L向终点侧移动了规定像素数的位置位于2个操作轨迹L、L之间的方式，来设定该前景图像P1的被摄体区域G的合成位置、大小以及朝向。然后，通过图像合成部6c将前景图像P1的被摄体区域G与背景图像P2合成，来生成第2的帧图像F2(参照图6B)。

合成控制部6d对于第3个起以后的帧图像(图示略)也依次同样地进行上述的处理，最终，按照被摄体区域G在操作轨迹L的终点侧位置位于2个操作轨迹L、L之间的方式，来设定该前景图像P1的被摄体区域G的合成位置、大小以及朝向。然后，通过图像合成部6c将前景图像P1的被摄体区域G与背景图像P2合成，从而生成最后的帧图像Fn(参照图6C)。

由此，生成由多个帧图像F、…构成的合成动态图像M，作为合成图像。

图像记录部7例如由非易失性存储器(闪速存储器)等构成。另外，图像记录部7记录由图像处理部6的编码部(图示略)以规定的编码方式进行编码的各种图像(例如前景图像P1、背景图像P2等)的图像数据。

前景图像P1例如是静止图像，能举出通过被摄体剪取处理生成的被摄体剪取图像的静止图像(参照图4)，在被摄体剪取处理中，从在规定的背景内存在被摄体的被摄体存在图像中提取被摄体区域G(例如鸟等)。另外，前景图像P1的图像数据与通过被摄体剪取处理生成的阿尔法映射建立了对应。

在此，所谓阿尔法映射，是针对前景图像P1的各像素，示出该前景图像P1的被摄体区域G(参照图4)相对于规定的背景进行阿尔法混合时的权重，作为阿尔法值(0≤α≤1)。

背景图像P2例如是静止图像，是显示于前景图像P1的背景的图像。另外，背景图像P2的图像数据以规定的编码方式(例如JPEG格式等)进行编码。

另外，前景图像P1、背景图像P2例如也可以是由多个帧图像构成的动态图像。具体地，作为前景图像P1、背景图像P2，例如能举出由以规定的摄像帧速率而拍摄的连续的多个帧图像构成的图像数据、以规定的快门速度连拍的连拍图像数据等。

送话受话部8与介由通信网络N而连接的外部设备的外部用户进行通话。

具体地，送话受话部8具备扩音器8a、扬声器8b、数据变换部8c等。并且，送话受话部8通过数据变换部8c对从扩音器8a输入的用户的送话声音进行A/D变换处理，将送话声音数据输出给中央控制部1，并在中央控制部1的控制下，通过数据变换部8c对从通信控制部9输出而被输入的受话声音数据等的声音数据进行D/A变换处理，并从扬声器8b输出。

通信控制部9介由通信网络N以及通信天线9a来进行数据的收发。

即，通信天线9a是能进行与在该便携式终端100和无线基站(图示略)的通信中采用的规定的通信方式(例如W-CDMA(Wideband CodeDivision Multiple Access，宽带码分多址)、CDMA2000方式、GSM(GlobalSystem for Mobile Communication，全球移动通信系统)方式等)对应的数据的收发的天线。然后，通信控制部9遵照与规定的通信方式对应的通信协议，通过在该通信方式中设定的通信信道，在与无线基站间介由通信天线9a进行数据的收发。

即，通信控制部9基于从中央控制部1输出而被输入的指示信号来对通信对方的外部设备进行与该外部设备的外部用户的通话中的声音的收发、电子邮件的数据的收发。

另外，通信控制部9的构成为一例，并不限于此，能进行适当变更，例如，虽省略图示，但也可以是搭载无线LAN模块、能介由接入点(AccessPoint)来接入到通信网络N的构成。

通信网络N介由无线基站、网关服务器(图示略)等来连接便携式终端100。通信网络N是利用专用线路或已有的一般的公众线路而构筑的通信网络，能应用LAN(Local Area Network，局域网)、WAN(Wide AreaNetwork广域网)等的各种的线路形态。

另外，在通信网络N中例如包含电话线路网、ISDN线路网、专用线路、移动通信网、通信卫星线路、CATV线路网等的各种通信网络网、IP网络、VoIP(Voice over Internet Protocol，因特网协议语音)网关、因特网服务提供商等。

接下来，参照图2～图6来说明由便携式终端100进行的合成图像生成处理。

图2是表示合成图像生成处理所涉及的动作的一例的流程图。

下面说明的合成图像生成处理是基于用户进行的操作输入部4的规定操作而从显示于菜单画面的多个动作模式中选择指示了图像合成模式的情况下执行的处理。

<合成图像生成处理>

如图2所示，首先，显示控制部3b使指示背景图像P2的指定的规定的消息显示于显示面板3a的显示画面中，中央控制部1基于用户进行的操作输入部4的规定操作，来判定是否在显示于显示面板3a的至少1个背景图像P2中指定了用户期望的背景图像P2(步骤S1)。

在此，在判定为指定了期望的背景图像P2(参照图5A等)时(步骤S1：是)，图像处理部6的第2图像取得部6b读出并取得在记录于图像记录部7中的至少1个背景图像P2中基于用户进行的操作输入部4的规定操作而指定的用户期望的背景图像P2的图像数据(步骤S2)。

另外，在步骤S1中判定为未指定背景图像P2时(步骤S1：否)，中央控制部1将处理返回至步骤S1，直到判定为指定了背景图像P2为止(步骤S1：是)，都以将与背景图像P2的指定相关的规定的消息显示于显示面板3a的显示画面上的状态使处理待机。

接下来，中央控制部1判定是否在规定的期间内有用户进行的显示面板3a的显示区域中的操作点的输入指示(步骤S3)。具体地，中央控制部1根据通过触控面板4a检测用户的手指(手)或接触笔等的对显示面板3a的显示画面的接触而从该触控面板4a输出的接触位置的XY坐标所涉及的位置信号是否被输入，来判定是否有用户进行的操作点的输入。

在步骤S3中判定为没有用户进行的操作点的输入时(步骤S3：否)，中央控制部1将处理返回至步骤S3，在规定的定时反复执行上述的判定处理(步骤S3)。

另一方面，在步骤S3中判定为有用户进行的操作点的输入时(步骤S3：是)，轨迹确定部5根据多个操作点来确定与用户进行的各描绘操作对应的操作轨迹L(步骤S4，参照图5B)。

接下来，图像处理部6判定是否由轨迹确定部5确定了2个操作轨迹L、L(步骤S5)。

在此，在判定为未由轨迹确定部5确定了2个操作轨迹L、L时(步骤S5：否)，中央控制部1将处理返回至步骤S3，受理显示面板3a的显示区域中的下一操作点的输入指示。

然后，在步骤S5判定为由轨迹确定部5确定了2个操作轨迹L、L时(步骤S5：是)，显示控制部3b使指示前景图像P1的指定的规定的消息显示于显示面板3a的显示画面中，中央控制部1基于用户进行的操作输入部4的规定操作来判定是否在显示于显示面板3a的至少1个前景图像P1中指定了用户期望的前景图像P1(步骤S6)。

在此，在判定为指定了期望的前景图像P1(参照图4)时(步骤S6：是)，图像处理部6的第1图像取得部6a读出并取得在记录于图像记录部7的至少1个前景图像P1中基于用户进行的操作输入部4的规定操作而指定的用户期望的前景图像P1的图像数据(步骤S7)。

另外，在步骤S6中判定为未指定前景图像P1时(步骤S6：否)，中央控制部1将处理返回至步骤S6，直到判定为指定前景图像P1为止(步骤S6：是)，都以在显示面板3a的显示画面上显示前景图像P1的指定所涉及的规定的消息的状态使处理待机。

接下来，中央控制部1基于用户进行的操作输入部4的规定操作来判定是否输入了背景图像P2和前景图像P1的合成的开始指示(步骤S8)。

在此，在判定为未输入合成开始指示时(步骤S8：否)，中央控制部1将处理返回至步骤S8，直到判定为输入了合成开始指示为止(步骤S8：是)，使处理待机。

在步骤S8中判定为输入了合成开始指示时(步骤S8：是)，图像合成部6c在合成控制部6d的控制下，进行合成背景图像P2和前景图像P1的被摄体区域G的图像合成处理(参照图3)(步骤S9)。

在此，参照图3来详细说明图像合成处理。图3是表示图像合成处理所涉及的动作的一例的流程图。

<图像合成处理>

如图3所示，首先，合成控制部6d指定“1”作为成为处理对象的最初的帧图像F1的帧编号(步骤S21)。

接下来，图像合成部6c读出与前景图像P1建立对应地保存了的阿尔法映射，并将其展开在存储器2上(步骤S22)。

接下来，合成控制部6d在背景图像P2内确定前景图像P1的被摄体区域G的合成的基准位置、大小以及朝向(步骤S23)。具体地，例如，合成控制部6d以由轨迹确定部5确定的2个操作轨迹L、L为基准，按照被摄体区域G分别与该2个操作轨迹L、L的各自的一端部(例如右端部)接触的方式来确定合成的基准位置，并按照被摄体区域G位于2个操作轨迹L、L间的方式来确定该被摄体区域G的大小以及朝向。

另外，在步骤S23中，在决定了被摄体区域G的合成位置时，关于相对于背景图像P2而阿尔法映射偏离的成为阿尔法映射的范围外的区域，设为α＝0，从而使得不产生阿尔法值不存在的区域。

接下来，图像合成部6c指定背景图像P2的任一个像素(例如左上角部的像素)(步骤S24)，对于该像素，基于阿尔法映射的阿尔法值来使处理分支(步骤S25)。具体地，图像合成部6c对背景图像P2的任一个像素中的阿尔法值为1的像素(步骤S25：α＝1)，用前景图像P1的对应的像素的像素值来改写背景图像P2的像素值(步骤S26)，对阿尔法为0＜α＜1的像素(步骤S25：0＜α＜1)，在使用1的补数(1-α)而生成剪取了被摄体区域G的图像(背景图像×(1-α))后，在使用阿尔法映射中的1的补数(1-α)来生成前景图像P1时计算与单一背景色混合后的值，从前景图像P1中减去该值，并将由此得到的像素与剪取了被摄体区域G的图像(背景图像×(1-α)))进行合成(步骤S27)，对阿尔法值为0的像素(步骤S25：α＝0)，不进行任何处理地使背景图像P2透过。

接下来，图像合成部6c判定是否对背景图像P2的全部像素都进行了处理(步骤S28)。

在此，在判定为未对全部的像素进行处理时(步骤S28：否)，图像合成部6c指定下一像素作为处理对象，并使处理对象移动至该像素(步骤S29)，使处理移转到步骤S25)。

直到在步骤S28判定为对全部的像素都进行了上述的处理为止(步骤S28：是)，都反复上述的处理，由此，图像合成部6c生成构成合成了前景图像P1和背景图像P2的合成动态图像M的最初的帧图像F1(参照图6A)。

然后，在步骤S28中判定为对全部的像素都进行了处理时(步骤S28：是)，合成控制部6d判定被摄体区域G的合成位置是否到达了与操作轨迹L的基准位置相反侧的端部(步骤S30)。

在此，在判定为被摄体区域G的合成位置未到达操作轨迹L的端部时(步骤S30：否)，合成控制部6d使构成合成动态图像M的多个帧图像F、…中的成为处理对象的下一帧图像(例如第2的帧图像F2)所涉及的帧编号进行+1递增来予以指定(步骤S31)。由此，合成动态图像M的第2的帧图像F2成为图像合成处理的处理对象。

接下来，合成控制部6d以2个操作轨迹L、L的形状为基准，设定合成动态图像M的第2的帧图像F2中的被摄体区域G的合成位置、大小以及朝向等(步骤S32)。具体地，合成控制部6d按照被摄体区域G在沿着2个操作轨迹L、L向终点侧移动了规定像素数后的位置位于2个操作轨迹L、L间的方式，来设定该前景图像P1的被摄体区域G的合成位置、大小以及朝向。此时，合成控制部6d与使合成位置、大小以及朝向变化了前景图像P1的被摄体区域G相应地来修正阿尔法映射中的被摄体区域部分(α＝1)以及被摄体区域以外的部分(α＝0)。

接下来，图像合成部6c使处理移转到步骤S24，从背景图像P2的例如左上角部的像素起依次执行步骤S25～S29的各处理，由此生成构成合成了前景图像P1和背景图像P2的合成动态图像M的第2的帧图像F2。由此，以2个操作轨迹L、L的形状为基准，来生成使前景图像P1的被摄体区域G的合成位置、大小以及朝向等变化了的第2的帧图像F2(参照图6B)。

然后，在通过完成第2的帧图像F2的生成而在步骤S29判定为对全部像素进行了合成处理时(步骤S29：是)，合成控制部6d使处理移转到步骤S30，与上述同样地判定被摄体区域G的合成位置是否到达了与操作轨迹L的基准位置相反侧的端部(步骤S30)。

另外，在步骤S32中，在沿着2个操作轨迹L、L向终点侧移动了规定像素数后的合成位置成为超出操作轨迹L的终点(与基准位置相反侧的端部)的位置的情况下，按照被摄体区域G分别与2个操作轨迹L、L的终点接触的方式来设定被摄体区域G的合成位置。即，在构成动态图像的最后的帧图像Fn中，成为被摄体区域G和与操作轨迹L的基准位置相反侧的端部接触的状态。

直到在步骤S30中判定为被摄体区域G的合成位置到达操作轨迹L的端部为止(步骤S30：是)，都反复上述的合成处理，由此，图像合成部6c生成构成合成动态图像的全部的帧图像(参照图6A～图6C)。

由此，结束图像合成处理。

接下来，如图2所示，显示控制部3b基于由图像合成部6c生成的多个帧图像F、…构成的合成动态图像M的图像数据，来以规定的再现帧速率来切换各帧图像F、…，来使其显示于显示面板3a的显示画面，由此，在以2个操作轨迹L、L的形状为基准使显示形态变化的同时，再现显示前景图像P1的被摄体区域G移动的合成动态图像M(步骤S10)。

之后，中央控制部1基于用户进行的操作输入部4的规定操作，判定是否输入了将合成动态图像M保存于图像记录部7的指示(步骤S11)。

在此，在判定为输入了合成动态图像M的保存指示时(步骤S11：是)，中央控制部1将由多个帧图像F、…构成的合成动态图像M的图像数据保存在图像记录部7的规定的记录区域中(步骤S12)，并结束合成图像生成处理。

另一方面，在步骤S11中判定为未输入合成动态图像M的保存指示时(步骤S11：否)，中央控制部1跳过步骤S11的处理，结束合成图像生成处理。

如上述那样，根据本实施方式的便携式终端100，由于以基于用户进行的操作输入部4的规定操作而描绘的2个操作轨迹L、L的形状为基准，使沿着该操作轨迹L被移动显示、且被重叠显示于背景图像P2上的前景图像P1的显示形态变化，因此，能生成对应于2个操作轨迹L、L的形状的变化来使显示形态变化的前景图像P1重叠于背景图像P2后的合成动态图像M。因此，与使前景图像P1仅沿着操作轨迹L进行移动显示相比，能谋求提高合成动态图像M的趣味性。

具体地，由于对应于2个操作轨迹L、L的间隔来使前景图像P1的大小变化，因此，能生成对应于2个操作轨迹L、L的间隔来放大缩小了前景图像P1的被摄体区域G后的合成动态图像M。

此时，通过按照不使前景图像P1的被摄体区域G的水平方向(规定方向)以及垂直方向(与规定方向正交的方向)的像素数(大小)的比率不发生变化的方式来改变该被摄体区域G的大小，能减轻在对前景图像P1的被摄体区域G进行放大缩小时的不适感，从而生成看上去更自然的合成动态图像M。

进而，通过按照使经过前景图像P1的规定位置的基准线段与设定于2个操作轨迹L、L间的基准线大致正交的方式来使沿着该移动轨迹L进行移动显示的前景图像P1的被摄体区域G旋转，能使前景图像P1的被摄体区域G的显示形态的变化更多彩，能谋求合成动态图像M的趣味性的提高。

另外，由于使前景图像P1的显示位置从2个操作轨迹L、L中的任一者的操作轨迹L的起点侧起向终点侧移动，因此，能适当地进行前景图像P1的被摄体区域G的沿着操作轨迹L的移动显示，由此，能适当地进行合成动态图像M的生成。

另外，由于在合成背景图像P2和前景图像P1的图像合成处理中，以至少2个操作轨迹L、L的形状为基准来使前景图像P1的显示形态变化，因此，仅进行图像合成处理就能自动生成随着2个操作轨迹L、L的变化而使前景图像P1的显示形态变化了的合成动态图像M。

另外，本发明并不限于上述实施方式，也可以在不脱离本发明的主旨的范围内进行各种改良和设计的变更。

例如，尽管在上述实施方式中，便携式终端100在通过图像合成部6c来合成前景图像P1和背景图像P2时，使该前景图像P1的显示形态变化，但关于是否具备图像合成部6c，能适当地进行变更，只要是在使重叠显示于背景图像P2的前景图像P1的被摄体区域G沿着2个操作轨迹L、L移动显示时使该被摄体区域G的显示形态变化的构成，则不管怎样的构成均可。

另外，尽管在上述合成图像生成处理中，将合成动态图像M保存在图像记录部7中，但是否保存该合成动态图像M能进行适当的变更，也可以是仅将所生成的合成动态图像M进行再现显示的构成。

进而，在例如应用由多个帧图像构成的动态图像作为前景图像P1的情况下，也可以例如考虑操作轨迹L的长度、粗度等来变更该前景图像P1的移动速度和再现帧速率。

另外，便携式终端100的构成是在上述实施方式中例示的一例，并不限于此。进而，作为图像处理装置而例示了便携式终端100，但并不限于此。

此外，在上述实施方式中，构成为通过在中央控制部1的控制下，通过第1图像取得部6a、轨迹确定部5、合成控制部6d进行驱动来实现作为第1取得单元、确定单元、控制单元的功能，但并不限于此，也可以构成为通过中央控制部1的CPU执行规定的程序等来实现。

即，在存储程序的程序存储器(未图示)存储包含第1取得处理例程、确定处理例程、控制处理例程在内的程序。然后，通过第1取得处理例程使中央控制部1的CPU作为取得规定的图像的单元发挥功能。另外，通过确定处理例程使中央控制部1的CPU作为确定基于用户在显示单元的显示区域进行的操作输入单元的规定操作而描绘的至少2个轨迹的单元发挥功能。另外，通过控制处理例程使中央控制部1的CPU作为以所确定的至少2个轨迹的形状为基准、使沿着该轨迹被移动显示且被重叠显示于背景图像P2的规定的图像的显示形态变化的单元发挥功能。

同样地，关于第2取得单元、合成单元，也可以构成为通过中央控制部1的CPU来执行规定的程序等来实现。

进而，作为容纳用于执行上述的各处理的程序的计算机可读的介质，除了ROM、硬盘等以外，还能应用闪速存储器等的非易失性存储器、CD-ROM等的可移动记录介质。另外，作为将程序的数据介由规定的通信线路来进行提供的介质，还能应用载波(carrier wave)。

尽管说明了本发明的几个实施方式，但本发明的范围并不限定于上述的实施方式，还包含记载于权利要求的范围内的发明的范围和与其等同的范围。

下面，附记在该申请的申请书中所添附的权利要求的范围中所记载的发明。在附记中所记载的权利要求的编号如该申请的申请书最初添附的权利要求的范围那样。

Claims (8)

1.一种图像处理装置，其特征在于，具备：

第1取得单元(6a)，其取得规定的图像；

确定单元(5)，其确定基于用户在显示单元(3)的显示区域进行的操作单元的规定操作而描绘的至少2个轨迹；和

控制单元(6d)，其以由所述确定单元确定的所述至少2个轨迹的形状为基准，来使沿着该轨迹被移动显示、且被重叠显示于背景图像上的所述规定的图像的显示形态变化。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述控制单元还对应于所述至少2个轨迹的间隔来使所述规定的图像的大小变化。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述控制单元进一步按照不使所述规定的图像的规定方向以及与所述规定方向正交的方向的大小的比率变化的方式来使该规定的图像的大小变化。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述控制单元进一步按照经过所述规定的图像的规定位置的基准线段与设定于所述至少2个轨迹间的基准线大致正交的方式，来使沿着该轨迹被移动显示的所述规定的图像旋转。

5.根据权利要求1所述的图像处理装置，其特征在于，

所述控制单元进一步使所述规定的图像的显示位置从所述至少2个轨迹中的任一者的轨迹的起点侧起向终点侧移动。

6.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置还具备：

第2取得单元(6b)，其取得背景图像；和

合成单元(6c)，其合成所述规定的图像和所述背景图像，

所述控制单元在通过所述合成单元来合成所述规定的图像和所述背景图像时，使该规定的图像的显示形态变化。

7.根据权利要求1所述的图像处理装置，其特征在于，

所述确定单元进一步以所述背景图像显示于所述显示单元的显示区域的状态来确定基于用户进行的操作单元的规定操作而描绘的至少2个轨迹。

8.一种图像处理方法，是使用了图像处理装置的图像处理方法，其特征在于，包括：

取得规定的图像的处理；

确定基于用户在显示单元的显示区域进行的操作单元的规定操作而描绘的至少2个轨迹的处理；和

以所确定的所述至少2个轨迹的形状为基准，来使沿着该轨迹被移动显示、且被重叠显示于背景图像上的所述规定的图像的显示形态变化的处理。

Images