CN1698350A - 影像合成设备 - Google Patents

Abstract

本发明的一种影像合成设备可自动地显示对用户来说重要的影像，而且，可将该重要的影像合成为视觉上容易观看的画面构成并显示该重要的影像。在本设备中，影像输入部分(102)将构成影像的图像逐图输入，而影像累积部分(110)累积输入的影像。触发器产生部分(104)产生表示影像重要性的触发器，合成触发器计算部分(106)使用该触发器而计算为了计算画面合成参数的合成触发器。画面构成计算部分(108)使用合成触发器来判定画面合成是否存在并计算画面构成(具体地说，是画面合成参数)。子图像创建部分(112)基于画面构成计算结果而创建用于与输入图像(主图像)的合成的图像(子图像)，而图像信息添加部分(114)将该子图像的图像信息添加至子图像。画面合成部分(116)将多张图像(主图像和子图像)合成为1屏画面。

Description

影像合成设备

技术领域

本发明涉及将多张影像合成为1屏画面的影像合成设备，并特别地涉及这种方法：即选择对用户来说重要的影像以供合成用，并在画面内配置重要的影像以致从视觉上容易观看。

背景技术

由于近年来信息通信技术的发达和相关基础设施的完备，故例如通过传输路径接收由异地配置的照相机摄像的影像，从而即使从远离该照相机的场所也有可能进行异地的监视或察看。对于多张影像，也有可能在1台影像接收终端处进行监视或察看。

然而，为了毫无遗漏地监视全部影像，需要与照相机影像的数量相同数量的显示画面，使得影像接收终端不但复杂而且高价。而且，作为接收来自多部照相机的影像的影像接收终端，与其希望高价的专用终端，不如更希望廉价的仅拥有1屏显示画面的通用显示终端。

当前，作为使来自多部照相机的监视影像在仅拥有1屏显示画面的影像接收终端处再现的常见的监视系统，它使用时间分割而顺序地在1屏画面上显示来自多部照相机的影像。由于不同影像按一定时间间隔顺序地在1屏画面上显示，故这种系统的问题在于：所显示的影像和给影像摄像的照相机间的对应难以把握，并且很难观看显示。而且，由于多部照相机的影像是在时间分割基础上显示的，故可能损失某些照相机的重要场景。

将来自多部照相机的影像合成为1屏画面并同时地显示多张影像的监视系统揭示于待审日本专利公开平4-280594号公报。

如图1所示，这一系统具有多(这里是3)台监视照相机1-1、1-2和1-3，连接至监视照相机1-1～1-3的A/D转换部3-1、3-2和3-3，存储图像数据的存储器5-1、5-2和5-3，处理图像信号的信号处理电路7，控制信号处理电路7的控制部9，D/A转换部分11，和显示影像的监视器13。信号处理电路7含有选择图像信号的选择电路15和缩小多个图像尺寸并将它们合成为1屏画面的画面缩小合成电路17。

在这一系统中，来自各监视照相机1-1～1-3的影像经A/D转换部3-1～3-3而输出至存储器5-1～5-3。画面缩小合成电路17缩小全部影像并将它们合成为1张图像，再将其输出至选择电路15。当信号处理电路7从控制部9接收影像选择信号时，选择电路15根据影像选择信号而选择来自多台监视照相机的影像之一或是被缩小合成的影像，并将其输出至D/A转换部分11。D/A转换部分11将影像信号输出至监视器13。

这样，在本系统中，多张影像可显示在只有1屏显示画面的终端，用户可使用多张影像而容易地把握全体影像。而且，由于可由用户来切换影像，故使用户可选择并观看1张影像。

然而，在上述现有的系统中，由于多张影像被单纯地按相同尺寸缩小合成，故用户想观看的影像和用户不想观看的影像被按相同尺寸合成，使得难以观看对用户来说重要的影像。

还有问题在于：当用户切换至想观看的影像并显示时，用户未选择的影像中重要的场景无法显示。特别地，在监视应用中，强烈要求能够显示异常或紧急事件等的重要场景，但在现有的系统中，重要场景被遗漏了，有必要由用户自己来选择并显示异常或紧急情况时拍摄到重要场景的影像。

发明内容

本发明的目的在于提供一种影像合成设备，其将多张影像合成为1屏画面，并可自动地显示对用户来说重要的影像，而且，可将该重要的影像合成为从视觉上容易观看的画面构成并显示该重要的影像。

根据本发明的一方面，将多张影像合成为1屏画面的影像合成设备具有输入影像的影像输入装置；触发器生成部分，其生成指示影像的重要性的触发器；画面构成计算部分，其与所生成的触发器的重要性对应而计算画面构成；图像创建装置，其基于计算的画面构成、从输入的影像创建欲合成的图像；和画面合成装置，其将含所创建的图像的多个图像合成为1屏画面。

附图说明

图1是示出现有的监视系统的一例的图；

图2是示出根据本发明一实施例的影像合成设备的构成的框图；

图3是为了说明根据本实施例的影像合成设备的工作的流程图；

图4是示出图3中的画面合成参数计算处理的工作例1处的内容的流程图；

图5是示出由工作例1处的静止图像合成来实行的画面合成的概览的说明图；

图6是示出图3中的画面合成参数计算处理的工作例2处的内容的流程图；

图7是工作例2处的切出区域计算方法的说明图；

图8是示出由工作例2处的切出合成来实行的画面合成的概览的说明图；

图9是示出图3中的画面合成参数计算处理的工作例3处的内容的流程图；

图10是示出图3中的影像累积处理的工作例3处的内容的流程图；

图11是由工作例3处的循环合成来实行的画面合成的概览的说明图；

图12是示出图3中的画面合成参数计算处理的工作例4处的内容的流程图；

图13是示出图3中的画面合成参数计算处理的工作例5处的内容的流程图；和

图14是示出图3中的画面合成参数计算处理的工作例6处的内容的流程图。

具体实施方式

本发明的主旨在于：当将多张影像合成为1屏画面时，使用指示影像的重要性的触发器而计算画面构成(具体地说，是计算画面合成参数)，并基于这一计算结果来进行画面合成。例如，有将触发器发生时刻的影像作为静止图像而进行画面合成的情形(后面称作“静止图像合成”)，放大触发器发生位置的影像而进行画面合成的情形(后面称作“切出合成”)，或为了以慢动作再现触发器发生前后的场景而进行画面合成的情形(后面称作“循环合成”)。

而且，此时，根据触发器的大小来控制画面合成参数。例如，根据触发器的大小来控制显示时间(“静止图像合成”的情形)、控制放大率(“切出合成”的情形)、或控制再现速度、循环区间长度或循环次数(“循环合成”的情形)。具体地说，触发器越大，则显示时间越长、放大率越大、再现速度愈慢、循环区间越长、或循环次数愈多。

而且，此时，根据触发器的大小来控制触发器所作用的影像的显示尺寸。例如，触发器越大，则影像的显示尺寸越大。

而且，此时，使用图像来表现画面合成的种类。例如，由图像的显示区域外缘的色彩或形状，可表现画面合成的种类。

这里，“多张影像”一语除了基于多部照相机的输出的情形以外，还含有从1部照相机的输出生成多个影像数据的情形。

而且，在本说明书中，将构成输入影像的每张图像定义为输入图像，将输入图像中由画面全体构成的部分定义为“主图像”，将是由输入图像的一部分区域构成的图像、并与主图像合成的项定义为“子图像”。

以下，参照附图来详细说明本发明的实施例。

图2是示出根据本发明一实施例的影像合成设备的构成的框图。

这一影像合成设备100具有将多张影像合成为1屏画面的功能，并具有将构成影像的图像逐图地输入的影像输入部分102，触发器产生部分104、其产生指示影像的重要性的触发器，合成触发器计算部分106、其使用来自触发器产生部分104的触发器而计算用于计算后述的画面合成参数的合成触发器，画面构成计算部分108、其使用合成触发器来确定画面合成是否存在并计算画面构成(具体地说，是画面合成参数)，累积影像的影像累积部分110，子图像创建部分112、其创建用于与输入图像(主图像)的合成的图像(子图像)，将该子图像的图像信息添加至子图像的图像信息添加部分114，和将多个图像(主图像和子图像)合成为1屏画面的画面合成部分116。产生影像信号的影像信号产生部分200和给合成后的影像(图像)编码的影像编码部分300连接至影像合成设备100。

尽管未图示，不过影像信号产生部分200可由例如照相机和A/D转换部构成。照相机(和A/D转换部)的数量没有特别地限定。从影像信号产生部分200输出的1张或以上影像被传送给影像合成设备100内的影像输入部分102。

影像输入部分102对从影像信号产生部分200输出的影像信号逐张影像地进行输入处理。具体地说，从输入的影像信号中检测同步信号，并将构成影像的图像逐画面地输出至画面构成计算部分108和影像累积部分110。此时，影像输入部分102将每张图像固有的、其值随时间前进而单调增加的图像编号添加至各张图像。

触发器产生部分104产生指示影像的重要性的触发器，并将该触发器输出至合成触发器计算部分106。更具体地，这里，触发器是当输入影像合成设备100的影像内含有被确定为对用户来说重要的图像时发出的、并含有指示重要性的程度的值(以下称作“触发值”)的信号。

具体地说，例如假定在监视异常状态是否存在的监视系统中使用此影像合成设备100，则触发器产生部分104由例如至少1个以下的传感器构成：

(1)运动检测传感器

(2)运动识别传感器

(3)图像识别传感器

运动检测传感器当检测到在被摄像影像内发生例如侵入者的出现等突然运动的区域时输出触发器。在此情形中，运动越大则触发值越大，而重要性的程度也越大。这一运动检测传感器可由例如红外线传感器等构成。从而，在此情形中，触发器可以是例如警报信息，其经由外接至监视照相机的传感器或设置在监视照相机附近的传感器来指示异常状态等预先设定的特定状态的存在。

运动识别传感器当在输入影像内存在这样的物体(包含人物)：其具有预先登记的正常的运动以外的运动时，输出触发器。在此情形中，异常的运动越大则触发值越大，而重要性的程度也越大。这一运动识别传感器可由例如照相机等构成。从而，在此情形中，触发器可以是例如通过检测影像中的物体的运动而得的、指示物体运动的大小的运动检测信息。

图像识别传感器当在输入影像内存在预先登记的物体时输出触发器。在此情形中，识别结果愈高则触发值越大，而重要性的程度也越大。这一图像识别传感器可由例如图像处理设备等构成。从而，在此情形中，触发器是由影像中特定物体的图像识别(例如由模式匹配等方法)而得的、指示特定物体存在于影像中的图像识别结果。

当在输入影像内给被确定为重要的场景摄像时，触发器产生部分104不仅将触发器输出至合成触发器计算部分106，还将指示影像中触发器发生位置的触发位置信息与触发器共同输出。

触发器产生部分104不限于上述的运动检测传感器、运动识别传感器和图像识别传感器。例如，它可以是接收来自用户的画面合成请求的设备。在此情形中，触发器是来自用户的画面合成请求。

而且，由于在输入影像内确定重要性的基准随系统的用途而变，故触发器不一定是由传感器或用户要求而触发的，只要其含有影像中的触发器发生位置(触发位置)和指示影像的重要性的程度的值(触发值)，则不管用什么手段来输出都可以。

而且，触发器产生源(上述各种传感器或用户要求)可单独使用或多个一起组合使用。

合成触发器计算部分106使用来自触发器产生部分104的触发器而计算合成触发器，并将该合成触发器输出至画面构成计算部分108。这里，合成触发器是具有用来计算画面合成参数的两个值的信号：即指示输入影像的重要性种类的触发类别和指示该重要性程度的触发值这两个值。

具体地说，合成触发器计算部分106根据从触发器产生部分104输入的触发器的种类(或系统的用途)而确定合成触发器的触发类别为例如下列中的任一个：

(1)重要抓拍(意味着在输入影像的特定时刻包括重要的图像)

(2)重要区域(意味着在输入影像的特定区域包括重要的区域)

(3)重要场景(意味着在输入影像的特定部分包括重要的图像)

就合成触发器的触发值的大小而言，由于从触发器产生部分104输入的触发器的大小，即触发值，指示重要性的程度，故原样直接使用输入的触发器的大小。

例如，假定系统是监视系统，合成触发器计算部分106如下确定合成触发器的触发类别：

1.当触发器是由运动检测传感器产生时，可疑的侵入者出现时刻的图像很重要，为了防止该图像被漏看，而确定触发类别为“重要抓拍”，

2.当触发器是由图像识别传感器产生时，预先登记的可疑物、可疑人等很重要，为了进行放大以便容易观看，而确定触发类别为“重要区域”，

3.当触发器是由运动识别传感器产生时，包含存在异常运动的物体或人物的场景很重要，为此确定触发类别为“重要场景”。

结果，在监控异常状态是否存在的监视系统中，由各种传感器产生的触发器可被转换成明确指示影像内重要性意义的触发类别。因此，根据指示影像的重要性的触发类别，能够为了使重要的场景变得容易观看而确定画面合成参数。这一确定方法将在后面详述。

合成触发器计算部分106将来自触发器产生部分104的触发位置原样直接输出至画面构成计算部分108。

画面构成计算部分108使用来自合成触发器计算部分106的合成触发器(和必要时的触发位置信息)来判定画面合成是否存在、并计算画面构成。即，使用合成触发器，画面构成计算部分108确定是否进行画面合成，而若进行画面合成则画面构成计算部分108计算画面合成参数并将它们输出至影像累积部分110、子图像创建部分112、图像信息添加部分114和画面合成部分116。来自影像输入部分102的输入图像不论画面合成是否存在的确定结果如何、都输出至画面合成部分116。

例如，当从影像输入部分102输入图像时，画面构成计算部分108接收来自合成触发器计算部分106的合成触发器和触发位置信息，并将合成触发器的触发类别和触发值存储于内部存储器(未示出)。若从合成触发器计算部分106未输出合成触发器，则将合成触发器的触发值作为零(0)而存储于内部存储器。

这里由画面构成计算部分108计算的画面合成参数之一是合成类别。合成类别是表示画面的合成方法的参数，并可表示下列之一：

(1)不合成(将输入图像原样直接输出)

(2)静止图像合成(在输入图像的一部分区域合成静止图像子图像)

(3)切出合成(在输入图像的一部分区域合成切出子图像)

(4)循环合成(在输入图像的一部分区域合成特定场景作为子图像)

例如，当合成触发器的触发值非零，即当输入了合成触发器时，如下确定合成类别：

1.当合成触发器的触发类别为“重要抓拍”时，由于在输入影像内触发器输出的时刻包括重要的图像，故确定合成类别为“静止图像合成”，

2.当合成触发器的触发类别为“重要区域”时，由于在输入影像内触发器输出的区域包括重要的物体等，故确定合成类别为“切出合成”，

3.当合成触发器的触发类别为“重要场景”时，由于在输入影像内触发器输出的时刻前后包括重要的场景等，故确定合成类别为“循环合成”。

通过像这样由合成触发器的触发类别来确定合成类别，有可能在监视系统中容易看见地合成对用户来说重要的影像。

其余的画面合成参数随每一合成类别而异。

例如，当合成类别为静止图像合成时，由画面构成计算部分108计算的画面合成参数除了合成类别之外还可以是：例如，目标子图像(参数，其指示用于子图像创建的图像的图像编号)和子图像显示时间(参数，其指示合成子图像时连续显示子图像的时间)(合计3个参数)。

当合成类别为切出合成时，由画面构成计算部分108计算的画面合成参数除了合成类别之外还可以是：例如，切出中心坐标(参数，其指示作为子图像而切出的图像的输入图像处的中心坐标)和切出尺寸(参数，其指示作为子图像的切出的图像的尺寸)(合计3个参数)。

当合成类别为循环合成时，由画面构成计算部分108计算的画面合成参数除了合成类别之外，例如，在第1模式(以下称作“模式1”)中还可以是：合成场景中心时刻(参数，其指示位于欲合成的场景的中心时刻处的图像的图像编号)和再现速度(参数，其指示作为子图像而反复再现的场景的再现速度)(合计3个参数)；在第2模式(以下称作“模式2”)中还可以是：合成场景中心时刻和循环区间长度(参数，其指示构成作为子图像而反复再现的场景的图像张数)(合计3个参数)；在第3模式(以下称作“模式3”)中还可以是：合成场景中心时刻、循环次数(参数，其指示作为子图像而反复再现的场景的反复次数)和帧计数器(参数，其指示要合成为子图像的剩余的图像数量)(合计4个参数)。

而且，当根据触发值而变更子图像的尺寸时，在各合成类别中添加子图像尺寸(表示子图像的合成尺寸的参数)作为画面合成参数。

对于画面合成参数的实际的计算方法，将在后面逐个合成类别地详细地说明。

影像累积部分110将从影像输入部分102输出的图像存储于内部存储器。当存储影像时，影像累积部分110基于从画面构成计算部分108输出的画面合成参数而确定是否要重写内部存储器。

例如，当画面合成参数的“合成类别”为“不合成”时，使用输入图像来进行内部存储器的重写。

当合成类别为“静止图像合成”时，若画面合成参数的“目标子图像”的编号与输入图像的图像编号不同则不进行内部存储器的重写。反之，当合成类别为“静止图像合成”时，若画面合成参数的“目标子图像”的编号与输入图像的图像编号相同则使用输入图像来进行内部存储器的重写。

当合成类别为“不合成”以外的类别，即“静止图像合成”、“切出合成”或“循环合成”时，影像累积部分110将存储于内部存储器的图像输出至子图像创建部分112。

当“循环合成”可被当作合成类别处理时，特别地，影像累积部分110具有可存储多个图像的内部存储器，并可将从影像输入部分102输出的多个图像存储于内部存储器。在此情形中，内部存储器除了具有多个影像存储所用的存储器区域以外，还具有指示图像的存储位置的存储计数器和指示图像的读出位置的读出计数器。各计数器能保留的最大值是可存储于内部存储器的图像数量，并当更新后计数器的值超过最大值时，计数器的值回到1。即，内部存储器具有这样的构造：其每当进行图像的存储和读出时即更新计数器，从而可存储并读出周期性的图像数据。

子图像创建部分112基于从画面构成计算部分108输出的画面合成参数、使用从影像累积部分110输出的图像而创建子图像。

具体地说，例如，当画面合成参数的“合成类别”为“静止图像合成”时，从影像累积部分110输出的、成为子图像的目标的图像被缩小至子图像的尺寸并输出至图像信息添加部分114。这里，假定子图像的尺寸是预先确定的、且不超过输入图像的尺寸。但是子图像的尺寸可根据影像的内容而变更。

当合成类别为“切出合成”时，使用从影像累积部分110输出的子图像目标的图像来进行子图像的切出和尺寸的缩小，并将结果图像输出至图像信息添加部分114。子图像的切出是例如通过在子图像目标的图像中、将画面合成参数的“切出中心坐标”作为中心并切出由水平和垂直方向的切出尺寸定义的切出区域(参照后述的图7)而进行的。这里，子图像的尺寸也是预先确定的、且不超过输入图像的尺寸。但是，子图像的尺寸可根据影像的内容而变更。

对于子图像创建处理的具体内容，将在后面逐个合成类别地详细地说明。

图像信息添加部分114根据从画面构成计算部分108输出的画面合成参数的“合成类别”而变更从子图像创建部分112输出的子图像的外缘的色彩。具体地说，例如，当“合成类别”为“静止图像合成”时，子图像的外缘的色彩可变更为红色，当“切出合成”时可变更为蓝色，当“循环合成”时可变更为黄色。但是，对应于合成类别的外缘的色彩不局限于上述的例子，只要能使子图像标识为静止图像、切出图像或循环再现图像，则不管用什么色彩都可以。外缘被着色以指示合成类别的子图像被输出至画面合成部分116。

作为表现子图像的合成类别的另一方法、除了变更子图像的外缘以外,还有可能例如变更子图像的形状。这一方法将在后面详述。

画面合成部分116将从画面构成计算部分108输出的图像(主图像)和从图像信息添加部分114输出的子图像合成为1屏画面，并将合成后的图像(合成图像)输出至影像编码部分300。这里假定：当进行画面合成时，将子图像与主图像合成的位置是预先确定的，并通过将子图像重叠于在主图像中合成子图像的位置处而创建合成图像。假定子图像的合成位置可根据输入影像的特性而变更，不管什么位置都可以。

下面说明具有上述构成的影像合成设备100的工作的多个实际例子。以下为了说明简单起见，假定影像信号产生部分200由1部照相机和A/D转换部构成，并仅有1个影像输入影像合成设备100。必要时，本说明书假定将本影像合成设备100用于例如监控异常状态是否存在的监视系统。

(工作例1)

在工作例1中，说明了这种情形：即当进行画面合成作为使用合成触发器的画面合成的确定结果时，将触发器发生时刻的图像作为静止图像，在输入图像的一部分区域将该静止图像合成为子图像，就是说，进行“静止图像合成”的情形。这里假定触发器的大小越大则显示时间设定越长。

图3是为了说明根据本实施例的影像合成设备100的工作的流程图。

首先，在步骤S1000处，影像输入部分102进行输入影像信号的影像输入处理。具体地说，在从影像信号产生部分200输入的影像信号中检测同步信号，并将构成影像的图像逐画面地输出至画面构成计算部分108和影像累积部分11O。此时，将每张图像固有的、其值随时间前进而单调增加的图像编号添加至从影像输入部分102输出的各张图像。

接着，在步骤S2000处，确定是否由触发器产生部分104产生了触发器(含指示重要程度的触发值)。这一确定是根据例如，来自触发器产生部分104(触发器)的信号是否输入合成触发器计算部分106而做出的。例如在监视系统的情形中，如上述，由运动检测传感器、运动识别传感器和图像识别传感器等的传感器而输出触发器。若这一确定的结果是已产生了触发器(S2000：YES)，则处理流程前进至步骤S3000，而若确定未发生触发器(S2000：NO)，则处理流程前进至步骤S4000。

在步骤S3000，合成触发器计算部分106进行输入触发器并计算合成触发器的合成触发器计算处理。具体地说，合成触发器计算部分106使用来自触发器产生部分104的触发器而计算合成触发器(含触发类别和触发值)，并将该合成触发器输出至画面构成计算部分108。如上述，合成触发器计算部分106根据输入的触发器的种类(或系统的用途)而确定合成触发器的触发类别为例如下列任何之一：(1)重要抓拍、(2)重要区域和(3)重要场景。原样直接使用输入的触发器的大小作为合成触发器的触发值的大小。

例如，在监视系统的情形中，如上述，如下确定合成触发器的触发类别：

1.当触发器是由运动检测传感器产生时，可疑的侵入者出现时刻的图像很重要，为了防止该图像被漏看，而确定触发类别为“重要抓拍”，

2.当触发器是由图像识别传感器产生时，预先登记的可疑物、可疑人等很重要，为了进行放大以便看得更清楚，而确定触发类别为“重要区域”，

3.当触发器是由运动识别传感器产生时，含存在异常运动的物体、人物的场景很重要，为此确定触发类别为“重要场景”。

在本工作例中，由于进行了“静止图像合成”，故确定触发类别为“重要抓拍”。

接着，在步骤S4000处，画面构成计算部分108进行计算画面合成的参数的画面合成参数计算处理。具体地说，使用来自合成触发器计算部分106的合成触发器，首先确定是否进行画面合成，若这一确定结果是进行画面合成，则画面构成计算部分108计算画面合成参数并将它们输出至影像累积部分110、子图像创建部分112、图像信息添加部分114和画面合成部分116。另一方面，来自影像输入部分102的输入图像不论画面合成是否存在的确定结果如何、都输出至画面合成部分116。

例如，如上述，当从影像输入部分102输入图像时，接收来自合成触发器计算部分106的合成触发器，并将合成触发器的触发类别和触发值存储于内部存储器。若从合成触发器计算部分106未输出合成触发器，则将合成触发器的触发值作为零(0)而存储于内部存储器。接着，画面合成的确定是根据合成触发器的触发值是否为零，即是否有合成触发器的输入，而进行的。而且，基于合成触发器的触发类别而确定诸如合成类别等的画面合成参数。

在本工作例中，由于进行了“静止图像合成”，故计算合成类别(这里是“静止图像合成”)、目标子图像和子图像显示时间这3项作为画面合成参数。这里，“目标子图像”参数如上述指示用于子图像创建的图像的图像编号，而“子图像显示时间”参数如上述指示合成子图像时连续显示子图像的时间。

图4是示出图3中的画面合成参数计算处理的工作例1处的内容的流程图。

首先，在步骤S4100处，确定合成触发器的触发值是否为零，即合成触发器的输入是否存在。若这一确定的结果是合成触发器的触发值非零，即有合成触发器的输入(S4100：NO)，则处理流程前进至步骤S4110，而若确定合成触发器的触发值为零，即没有合成触发器的输入(S4100：YES)，则处理流程前进至步骤S4140。

在步骤S4110处，由于合成触发器的触发值非零，即有合成触发器的输入，故根据预定的基准来确定合成类别。例如，如上述：

1.当合成触发器的触发类别为“重要抓拍”时，由于在输入影像内触发器输出的时刻包括重要的图像，故确定合成类别为“静止图像合成”，

2.当合成触发器的触发类别为“重要区域”时，由于在输入影像内触发器输出的区域包括重要的物体等，故确定合成类别为“切出合成”，

3.当合成触发器的触发类别为“重要场景”时，由于在输入影像内触发器输出的时刻前后包括重要的场景，故确定合成类别为“循环合成”。

在本工作例中，由于触发类别为“重要抓拍”，故确定合成类别为“静止图像合成”。

接着，在步骤S4120处，确定目标子图像。这里，将目标子图像确定为现在的输入图像。

接着，在步骤S4130处，确定子图像显示时间。具体地说，基于触发值的大小而计算子图像的连续显示时间。例如，子图像显示时间time_disp(t)使用以下(式1)来计算。

$\mathrm{time}\_\mathrm{disp}\left(t\right)=\frac{\mathrm{Trigger}\left(t\right)}{\mathrm{MAX}\_\mathrm{Trigger}}*\mathrm{MAX}\_\mathrm{time}$ …(式1)

time_disp(t)：时刻t处的子图像的显示时间

Trigger(t)：时刻t处的触发值

MAX_Trigger：作为触发值的最大可能值

MAX_time：子图像显示时间的最大设定值

如(式1)所示，子图像的连续显示时间随触发值的大小增大而增大。

(式1)仅是计算方法的一例，而计算不限定于这一方法。只要显示时间随触发值的大小增大而增大，则不管什么子图像显示时间的计算方法都可以。

另一方面，在步骤S4140处，由于合成触发器的触发值为零，即没有合成触发器的输入，故将画面合成参数设定为上次计算时使用的参数。

接着，在步骤S4150处，更新子图像的连续显示时间。例如，子图像显示时间time_disp(t)使用以下(式2)来更新。

time_disp(T)＝time_dusp(t)-(T-t)    …(式2)

T：现在的时刻

t：计算上次画面合成参数的时刻

即，如(式2)所示，子图像显示时间是通过从上次计算时的子图像显示时间中减去从计算上次画面合成参数的时刻到现在的经过时间而更新的。

接着，在步骤S4160处，进行合成类别的更新。具体地说，作为在步骤S4150处的子图像显示时间更新处理的结果、若子图像显示时间成为零或以下，则将合成类别变更为“不合成”。

在步骤S4170处，由步骤S4100～步骤S4160计算的3个画面合成参数(合成类别、目标子图像和子图像显示时间)被输出至影像累积部分110、子图像创建部分112、图像信息添加部分114和画面合成部分116，输入图像(来自影像输入部分102的输入图像)被输出至画面合成部分116，然后处理返回图3的主流程。

接着，在步骤S5000处，影像累积部分110进行累积影像的影像累积处理。具体地说，将从影像输入部分102输出的图像存储于内部存储器。此时，基于从画面构成计算部分108输出的画面合成参数而确定是否要重写内部存储器。例如，当画面合成参数的“合成类别”为“不合成”时，使用输入图像来进行内部存储器的重写。当合成类别为“静止图像合成”时，若画面合成参数的“目标子图像”的编号与输入图像的图像编号不同则不进行内部存储器的重写。然而当合成类别为“静止图像合成”时，若画面合成参数的“目标子图像”的编号与输入图像的图像编号相同则使用输入图像来进行内部存储器的重写。

在本工作例中，由于进行了“静止图像合成”，故将存储于内部存储器的图像输出至子图像创建部分112。

接着，在步骤S6000处，子图像创建部分112进行创建用于画面合成的图像的图像创建处理。具体地说，基于从画面构成计算部分108输出的画面合成参数、使用从影像累积部分110输出的图像而创建子图像，并将创建的子图像输出至图像信息添加部分114。

例如，当像本工作例那样进行“静止图像合成”时，从影像累积部分110输出的、成为子图像的目标的图像被缩小至子图像的尺寸并输出至图像信息添加部分114。这里，如上述，假定子图像的尺寸是预先确定的、且不超过输入图像的尺寸。但是，子图像的尺寸可根据影像的内容而变更。

接着，在步骤S7000处，图像信息添加部分114进行附加子图像的影像信息的图像信息附加处理。具体地说，例如，根据从画面构成计算部分108输出的画面合成参数的“合成类别”而变更从子图像创建部分112输出的子图像的外缘的色彩，而外缘的色彩被变更的子图像被输出至画面合成部分116。

例如，当像本工作例那样“合成类别”为“静止图像合成”时，子图像的外缘的色彩变更为红色。但是，外缘的色彩不限定于红色，只要能使子图像标识为静止图像，则不管用什么色彩都可以。

接着，在步骤S8000处，画面合成部分116进行将图像合成为1屏画面的画面合成处理。具体地说，画面合成部分116将从画面构成计算部分108输出的图像(主图像)和从图像信息添加部分114输出的子图像合成为1屏画面，并将合成后的图像(合成图像)输出至影像编码部分300。如上述，当进行画面合成时，将子图像与主图像合成的位置是预先确定的，并通过将子图像重叠于在主图像中合成子图像的位置处而创建合成图像。子图像的合成位置可根据输入影像的特性而变更。

接着，在步骤S9000处，确定步骤S1000～步骤S8000的一系列的影像合成处理是否终止。这一确定是根据例如，是否超过了预先设定的时间或帧数、或是否由用户做出了终止请求而进行的。若确定超过了预先设定的时间或帧数、或由用户做出了终止请求(S9000：YES)，则上述一系列的影像合成处理终止，而若确定不是(S9000：NO)，则处理流程返回步骤S1000。

图5是示出由上述“静止图像合成”来实行的画面合成的概览的说明图。

在图5中，附图标记401表示现在的输入图像，403表示欲缩小的目标子图像，405表示通过缩小目标子图像403而创建的子图像，407表示以外缘的色彩来表现子图像405的图像信息(合成类别)的子图像，而409表示这样的合成图像：其中输入图像401和外缘变更后的子图像407是通过重叠而合成的。

通过这种方式，当进行“静止图像合成”时，如图5所示，在合成图像409内可同时显示输入图像和触发器发生时刻的图像(缩小图像)。而且，子图像的状态(类别：这里是“静止图像合成”)可由该子图像的外缘的色彩来表示。

于是，根据本工作例，指示影像的重要性的触发值越大、则以越长的时间将触发器发生时刻的影像作为静止图像而显示，为此执行控制而进行图像合成，因此，通过给合成后的影像编码、经由传输路径传送并在接收终端上显示，用户在只有1屏画面的接收终端上不仅可观看现在的影像，还可将重要的时刻的影像作为静止图像而同时观看，而且重要性愈高可观看该影像越长时间。

而且，若外缘的色彩和子图像的内容之间的对应是已知的，则用户不发送或接收合成图像以外的信息、也可由子图像的外缘的色彩来确定子图像的内容。即，在现有的系统中，由于多张影像仅被单纯地缩小合成，故单纯地缩小合成的影像不包括指示各影像的状态等的附加信息，从而，为了得知各影像的附加信息，除影像以外还有必要进行附加信息的收发和显示，使得系统复杂了；而本发明则能消除这一不利。

在本工作例中，示出了这样一例：即将输入图像显示成主图像而将静止图像显示成子图像，但并不限定于此，也有可能将静止图像显示成主图像而将输入图像显示成子图像。

而且，输入图像的数量不限于1张，在多张输入图像的情形中，静止图像合成也有可能。

(工作例2)

在工作例2中，说明了这种情形：即当进行画面合成作为使用合成触发器的画面合成的确定结果时，切出这样的区域：其将图像区域中发生触发器的位置作为中心，并将该切出区域的图像在输入图像的一部分区域合成为子图像，就是说，进行“切出合成”的情形。这里假定触发器的大小越大则切出尺寸设定得越小。

这里参照图3、以与工作例1的处理不同的部分为重点来进行说明。

由于步骤S1000～S3000的处理与工作例1是同样的，因此这里省略了其说明。但是，在工作例1中未言及的是：当给输入影像内认为重要的场景摄像时，如上述，从触发器产生部分104与触发器(含指示重要程度的触发值)共同将指示画面中的触发器发生位置的触发位置的信息输出至合成触发器计算部分106。输入合成触发器计算部分106的触发位置信息与合成触发器共同输出至画面构成计算部分108。

在本工作例中，由于进行了“切出合成”，故在步骤S3000的合成触发器计算处理中确定触发类别为“重要区域”。

接着，在步骤S4000处，与工作例1同样，进行画面合成参数处理。但是这里，当从影像输入部分102输入图像时，接收来自合成触发器计算部分106的合成触发器和触发位置信息，并将合成触发器的触发类别和触发值、以及触发器的触发位置存储于内部存储器。

在本工作例中，由于进行了“切出合成”，故计算合成类别(这里是“切出合成”)、切出中心坐标和切出尺寸这3项作为画面合成参数。这里，“切出中心坐标”参数如上述表示作为子图像而切出的图像的输入图像处的中心坐标，而“切出尺寸”参数如上述表示作为子图像而切出的图像的尺寸。

图6是示出图3中的画面合成参数计算处理的工作例2处的内容的流程图。将就与图4所示的工作例共同的处理而言做简单的说明。

首先，在步骤S4200处，与工作例1同样(参见图4中的步骤S4100)，确定合成触发器的触发值是否为零，即合成触发器的输入是否存在。若这一确定的结果是合成触发器的触发值非零，即有合成触发器的输入(S4200：NO)，则处理流程前进至步骤S4210，而若确定合成触发器的触发值为零，即没有合成触发器的输入(S4200：YES)，则处理流程前进至步骤S4240。

在步骤S4210处，与工作例1同样(参见图4中的步骤S4110)，由于合成触发器的触发值非零，即有合成触发器的输入，故根据预定的基准来确定合成类别。例如，在本工作例中，由于触发类别为“重要区域”并在输入影像内触发器输出的区域包括重要的物体等，故确定合成类别为“切出合成”。

接着，在步骤S4220处，确定切出中心坐标。这里将切出中心坐标确定为触发位置。

接着，在步骤S4230处，确定切出尺寸。具体地说，基于触发值的大小而计算子图像的切出尺寸。例如，子图像的水平方向的切出尺寸cut_size_h(t)和垂直方向的切出尺寸cut_size_v(t)分别使用以下(式3)和(式4)计算。

$\mathrm{cut}\_\mathrm{size}\_h\left(t\right)=\frac{\mathrm{MAX}\_\mathrm{Trigger}}{\mathrm{Trigger}\left(t\right)}*\mathrm{MIN}\_\mathrm{size}\_h$ …(式3)

$\mathrm{cut}\_\mathrm{size}\_v\left(t\right)=\frac{\mathrm{MAX}\_\mathrm{Trigger}}{\mathrm{Trigger}\left(t\right)}*\mathrm{MIN}\_\mathrm{size}\_v$ …(式4)

cut_size_h(t)：时刻t处的子图像的水平方向的切出尺寸

cut_size_v(t)：时刻t处的子图像的垂直方向的切出尺寸

Trigger(t)：时刻t处的触发值

MAX_Trigger：作为触发值的可能最大值

MIN_size_h：子图像切出尺寸的水平方向的设定最小值

MIN_size_v：子图像切出尺寸的垂直方向的设定最小值

如(式3)和(式4)所示，子图像的切出尺寸随触发值的大小增大而减小。假定切出尺寸不超过输入图像的尺寸。

图7是这一切出区域计算方法的说明图。在图7中，附图标记503表示子图像目标的输入图像，505表示触发位置(这里等于切出中心坐标)，507表示由基于触发值而计算的切出尺寸定义的切出区域。

(式3)和(式4)仅是计算方法的一例，而不限定于这一方法。只要切出尺寸随触发值的大小增大而减小，则不管什么切出尺寸的计算方法都可以使用。

另一方面，在步骤S4240处，由于合成触发器的触发值为零，即没有合成触发器的输入，故将画面合成参数设定为上次计算时使用的参数。

在步骤S4250处，由步骤S4200～步骤S4240计算的3个画面合成参数(合成类别、切出中心坐标和切出尺寸)被输出至影像累积部分110、子图像创建部分112、图像信息添加部分114和画面合成部分116，输入图像(来自影像输入部分102的输入图像)被输出至画面合成部分116，然后处理返回图3的主流程。

接着，在步骤S5000处，与工作例1同样，将从影像输入部分102输出的图像存储于内部存储器。在本工作例中，由于进行了“切出合成”，故将存储于内部存储器的图像输出至子图像创建部分112。

接着，在步骤S6000处，与工作例1同样，基于从画面构成计算部分108输出的画面合成参数、使用从影像累积部分110输出的图像而创建子图像，并将创建的子图像输出至图像信息添加部分114。

当像本工作例中那样进行“切出合成”时，使用从影像累积部分110输出的、成为子图像的目标的图像进行子图像的切出和尺寸的放大/缩小，并将结果输出至图像信息添加部分114。如图7所示，子图像的切出是通过在子图像目标的输入图像503中以画面合成参数的“切出中心坐标”G(CX，CY)(等于切出中心坐标505)为中心、切出由水平垂直方向的切出尺寸cut_size_h(t)和cut_size_v(t)定义的切出区域507而进行的。

这里，如上述，假定子图像的尺寸是预先确定的、且不超过输入图像的尺寸。但是，子图像的尺寸可根据影像的内容而变更。

接着，在步骤S7000处，与工作例1同样，根据从画面构成计算部分108输出的画面合成参数的“合成类别”而变更从子图像创建部分112输出的子图像的外缘的色彩，而外缘的色彩被变更的子图像被输出至画面合成部分116。

例如，当像本工作例那样“合成类别”为“切出合成”时，子图像的外缘的色彩变更为蓝色。但是，外缘的色彩不限定于蓝色，只要能使子图像标识为切出图像，则不管用什么色彩都可以。

由于步骤S8000和S9000的处理与工作例1是同样的，因此这里省略了其说明。

图8是示出由上述“切出合成”来实行的画面合成的概览的说明图。

在图8中，附图标记501表示现在的输入图像，503表示欲切出的目标子图像，505表示触发器产生的图像中的触发位置，507是表示欲切出的区域的切出区域，509表示通过切出目标子图像503并缩小其尺寸而创建的子图像，511表示以外缘的色彩来表现子图像509的图像信息(合成类别)的子图像，而513表示这样的合成图像：其中输入图像501和外缘变更后的子图像511是通过重叠而合成的。

通过这种方式，当进行“切出合成”时，如图8所示，在合成图像513内可同时显示输入图像和以触发器发生的位置为中心而切出的放大/缩小图像。而且，子图像的状态(类别：这里是“切出合成”)可由该子图像的外缘的色彩来指示。

于是，根据本工作例，指示影像的重要性的触发值越大、则以触发器发生的位置为中心的区域的切出尺寸越小，为此执行控制而进行图像合成，因此，通过给合成后的影像编码、经传输路径传送并在接收终端上显示，用户在只有1屏画面的接收终端上不仅可观看现在的影像，还可对切出并放大/缩小重要的位置的影像同时观看，而且影像重要性越高则可越放大地观看重要的位置的图像。

而且，若外缘的色彩和子图像的内容之间的对应是已知的，则用户不发送或接收合成图像以外的信息、也可由子图像的外缘的色彩来确定子图像的内容。

在本工作例中，示出了这样一例：即将输入图像显示成主图像而将切出图像显示成子图像，但并不限定于此，也有可能将切出图像显示成主图像而将输入图像显示成子图像。

而且，输入图像的数量不限于1张，在多张输入图像的情形中，切出合成也有可能。

(工作例3)

在工作例3中，说明了这种情形：即当进行画面合成作为使用合成触发器的画面合成的确定结果时，为了使由以触发器发生的时刻为中心的前后的图像构成的场景被反复再现、而将此场景在输入图像的一部分区域合成为子图像，就是说，进行“循环合成”的情形。这里假定，在“循环合成”中，触发器的大小越大则反复再现的场景的再现速度设定得越小(模式1)。

这里参照图3、以与工作例1的处理不同的部分为重点来进行说明。

由于步骤S1000～S3000的处理与工作例1是同样的，因此这里省略了其说明。但是，在本工作例中，由于进行了“循环合成”，故在步骤S3000的合成触发器计算处理中确定触发类别为“重要场景”。

接着，在步骤S4000处，与工作例1同样，使用合成触发器、进行画面合成的确定和画面构成的计算，并计算画面合成参数。但是，在本工作例中，由于进行了“循环合成”，故计算合成类别(这里是“循环合成”)、合成场景中心时刻和再现速度这3项作为画面合成参数。这里，“合成场景中心时刻”参数如上述指示位于欲合成的场景的中心时刻处的图像的图像编号，而“再现速度”参数如上述指示作为子图像而反复再现的场景的再现速度。

图9是示出图3中的画面合成参数计算处理的工作例3处的内容的流程图。将就与图4所示的工作例共同的处理而言做简单的说明。

首先，在步骤S4300处，与工作例1同样(参见图4中的步骤S4100)，确定合成触发器的触发值是否为零，即合成触发器的输入是否存在。若这一确定的结果是合成触发器的触发值非零，即有合成触发器的输入(S4300：NO)，则处理流程前进至步骤S4310，而若确定合成触发器的触发值为零，即没有合成触发器的输入(S4300：YES)，则处理流程前进至步骤S4340。

在步骤S4310处，与工作例1同样(参见图4中的步骤S4110)，由于合成触发器的触发值非零，即有合成触发器的输入，故根据预定的基准来确定合成类别。例如，在本工作例中，由于触发类别为“重要场景”并在输入影像内触发器输出的时刻前后含有重要的场景，故确定合成类别为“循环合成”。

接着，在步骤S4320处，确定合成场景中心时刻。这里将合成场景中心时刻确定为现在的输入帧的图像编号。

接着，在步骤S4330处，确定再现速度。具体地说，基于触发值的大小而计算子图像的再现速度。例如，子图像的再现速度fps(t)使用以下(式5)而计算。

$\mathrm{fps}\left(t\right)=\frac{\mathrm{MAX}\_\mathrm{Trigger}}{\mathrm{Trigger}\left(t\right)}*\mathrm{MIN}\_\mathrm{fps}$ …(式5)

fps(t)：时刻t处的子图像的再现速度

Trigger(t)：时刻t处的触发值

MAX_Trigger：作为触发值的可能最大值

MIN_fps：子图像的再现速度的设定最小值

如(式5)所示，子图像的再现速度随触发值的大小增大而减小。

(式5)仅是计算方法的一例，而不限定于这一方法。只要触发器的大小越大而再现速度愈减小，则不管什么再现速度的计算方法都可以使用。

另一方面，在步骤S4340处，由于合成触发器的触发值为零，即没有合成触发器的输入，故将画面合成参数设定为上次计算时使用的参数。

在步骤S4350处，由步骤S4300～步骤S4340计算的3个画面合成参数(合成类别、合成场景中心时刻和再现速度)被输出至影像累积部分110、子图像创建部分112、图像信息添加部分114和画面合成部分116，输入图像(来自影像输入部分102的输入图像)被输出至画面合成部分116，然后处理返回图3的主流程。

接着，在步骤S5000处，影像累积部分110进行影像累积处理。但是，在工作例1中未言及的是：影像累积部分110如上述具有可存储多个图像的内部存储器，并可将从影像输入部分102输出的多个图像存储于内部存储器。这一内部存储器除了具有多张影像存储用的存储器区域以外，还具有指示图像的存储位置的存储计数器和指示图像的读出位置的读出计数器，并具有这样的构造：其每当进行图像的保存和读出时即更新计数器，从而可存储并读出周期性的图像数据。

图10是示出图3中的影像累积处理的工作例3处的内容的流程图。

首先，在步骤S5100处进行存储器的初始化。具体地说，将画面合成参数的“合成场景中心时刻”和上次输入的合成场景中心时刻做比较，若两者不同，则进行内部存储器内的图像数据和各计数器的初始化。在初始化时，将内部存储器内的图像数据清除，将各计数器的值重置为1，并将现在的合成场景中心时刻保存于内部存储器。

接着，在步骤S5110处，确定合成类别是“循环合成”还是“不合成”。若确定合成类别是“循环合成”，则处理流程前进至步骤S5120。若确定合成类别是“不合成”，则处理流程前进至步骤S5170。

在步骤S5120处，确定场景的存储是否完成了。若确定场景的存储已完成了(S5120：YES)，则处理流程原样直接前进至步骤S5150。若确定场景的存储未完成(S5120：NO)，则处理流程前进至步骤S5130。

这里，使用以下(式6)来确定场景的存储是否完成了：

if(count_write(t)＞center_position+roop_mergin)  …(式6)

count_write(t)：时刻t处的存储计数器值

center_position：表示合成场景中央时刻的图像存储于内部存储器的位置的计数器值

roop_mergin：从合成场景中央时刻到紧接着欲存储场景后的图像的计数器值的差

具体地说，若(式6)的命题为真，则确定场景存储已完成了。

在本工作例中，假定，作为欲存储的场景内的图像的构成、触发器发生时刻的以前和以后的图像数的比率是预先确定的。即，从合成场景中央时刻到欲存储场景的最后的图像数是预先确定的，并随欲存储场景内的图像数而确定内部存储器的大小。因而，内部存储器的大小确定了欲反复再现的场景的图像数，即，场景的区间长度。

在步骤S5130处，进行图像的存储。具体地说，将输入图像存储于内部存储器中的存储计数器所示的位置。

接着，在步骤S5140处，进行存储计数器的更新。具体地说，通过给存储计数器的值加1来进行更新处理。若存储计数器的值超过最大值，则计数器的值设定为1。

接着，在步骤S5150处，进行影像的读出。具体地说，读出内部存储器的读出计数器位置处的图像，并输出至子图像创建部分112。

接着，在步骤S5160处，进行读出计数器的更新。具体地说，例如使用以下(式7)或(式8)来更新读出计数器的值。

if(fps≥fps(t))

$\mathrm{count}\_\mathrm{read}\left(t\right)=\mathrm{count}\_\mathrm{read}(t-1)+1\mathrm{if}((t\mathrm{mod}\left(\frac{\mathrm{fps}}{\mathrm{fps}\left(t\right)}\right)=0)$ …(式7)

count_read(t)＝count_read(t-1)  else

if(fps＜fps(t))

$\mathrm{count}\_\mathrm{read}\left(t\right)=\mathrm{count}\_\mathrm{read}(t-1)+\left(\frac{\mathrm{fps}\left(t\right)}{\mathrm{fps}}\right)$ …(式8)

t：现在的时刻

count_read(t)：时刻t处的读出计数器值

fps：主图像的再现速度

A mod B：A除以B时的余数

若读出计数器的值超过最大值，则计数器的值设定为1。

如(式7)或(式8)所示，根据子图像的再现速度和主图像的再现速度之间的比率而确定读出计数器的更新方法。即，由(式7)，子图像的再现速度越小，则增加读出计数器的值的增加频繁度也越小，结果再现越慢。反之，按(式8)，子图像的再现速度越大，则读出计数器的值的增加频繁度越大，结果再现越高速。

于是，通过控制读出计数器的更新方法可变更子图像的再现速度。当此读出计数器的更新方法结束时，返回图3的主流程。

另一方面，在步骤S5170处，进行影像的存储。具体地说，将输入图像存储于内部存储器中的存储计数器所示的位置。

接着，在步骤S5180处，进行存储计数器的更新。具体地说，通过给存储计数器的值加1来进行更新处理。若存储计数器的值超过最大值，则计数器的值设定为1。当此存储计数器的更新方法结束时，返回图3的主流程。

接着，在步骤S6000处，与工作例1同样，基于从画面构成计算部分108输出的画面合成参数、使用从影像累积部分110输出的图像而创建子图像，并将创建的子图像输出至图像信息添加部分114。

当像本工作例那样进行“循环合成”的模式1时，从影像累积部分110输出的并根据再现速度而控制的读出计数器而取得的、成为子图像的目标的图像被缩小尺寸以创建子图像。

接着，在步骤S7000处，与工作例1同样，根据从画面构成计算部分108输出的画面合成参数的“合成类别”而变更从子图像创建部分112输出的子图像的外缘的色彩，而外缘的色彩被变更的子图像被输出至画面合成部分116。

当像本工作例那样“合成类别”为“循环合成”时，子图像的外缘的色彩变更为黄色。但是，外缘的色彩不限定于黄色，只要能使子图像标识为循环再现图像，则不管用什么色彩都可以。

由于步骤S8000～S9000的处理与工作例1是同样的，因此这里省略了其说明。

图11是由上述循环合成来实行的画面合成的概览的说明图。

在图11中，附图标记601表示图像编号如右下的编号所示的输入图像，603表示存储于内部存储器的场景的图像，605表示由根据再现速度来控制的读出计数器而取得的图像被缩小而创建的子图像，607表示以子图像605的外缘色彩来表现子图像605的类别的子图像，而609表示这样的合成图像：其中输入图像601和外缘变更后的子图像607被合成。在图11中说明了这种情形：其中子图像的循环再现速度成为主图像的再现速度的1/2，而合成图像中的子图像与主图像相比、图像的更新间隔更长，并缓慢地再现。

于是，根据本工作例，指示影像的重要性的触发值越大、则当由触发器发生时刻前后的图像构成的场景被反复再现时的再现速度越小，为此执行控制而进行图像合成，因此，通过给合成后的影像编码、经传输路径传送并在接收终端上显示，用户在只有1屏画面的接收终端上不仅可观看现在的影像，还可将重要的时刻前后的场景作为合成画面而同时观看，而且场景重要性愈高则以越小的再现速度和以越长的时间地来观看场景。

而且，若外缘的色彩和子图像的内容之间的对应是已知的，则用户不发送或接收合成图像以外的信息、也可由子图像的外缘的色彩来确定子图像的内容。

在本工作例中，示出了这样一例：即将输入图像显示成主图像而将重要场景显示成子图像，但并不限定于此，也有可能将重要场景显示成主图像而将输入图像显示成子图像。

而且，输入图像的数量不限于1张，在多张输入图像的情形中，循环合成也有可能。

(工作例4)

在工作例4中，说明了这种情形：即当进行画面合成作为使用合成触发器的画面合成的确定结果时，为了使由触发器发生时刻前后的图像群构成的场景被反复再现、而将此场景在输入图像的一部分区域合成为子图像，就是说，进行“循环合成”的情形。这里假定，与工作例3不同，在“循环合成”中，触发器的大小越大、则反复再现的场景内的图像数量设定得越大(模式2)。

这里参照图3、以与工作例1的处理不同的部分为重点来进行说明。

由于步骤S1000～S3000的处理与工作例1是同样的，因此这里省略了其说明。但是，在本工作例中，由于进行了“循环合成”，故在步骤S3000的合成触发器计算处理中确定触发类别为“重要场景”。

接着，在步骤S4000处，与工作例1同样，使用合成触发器、进行画面合成的确定和画面构成的计算，并计算画面合成参数。但是，在本工作例中，由于进行了“循环合成”的模式2，故计算合成类别(这里是“循环合成”)、合成场景中心时刻和循环区间长度这3项作为画面合成参数。这里“合成场景中心时刻”参数如上述表示位于欲合成的场景的中心时刻处的图像的图像编号，而“循环区间长度”参数如上述表示构成作为子图像而反复再现的场景的图像张数。

图12是示出图3中的画面合成参数计算处理的工作例4处的内容的流程图。对于与图9所示的工作例3共同的处理，这里省略了其说明。

由于步骤S4300～S4320的处理与工作例3是同样的，因此这里省略了其说明。

接着，在步骤S4332处，确定循环区间长度。具体地说，基于触发值的大小而计算子图像的循环区间长度。例如，子图像的循环区间长度frame_num.(t)使用以下(式9)而计算。

$\mathrm{frame}\_\mathrm{num}\left(t\right)=\frac{\mathrm{Trigger}\left(t\right)}{\mathrm{MAX}\_\mathrm{Trigger}}*\mathrm{MAX}\_\mathrm{frame}\_\mathrm{num}$ …(式9)

frame_num.(t)：时刻t处的子图像循环区间长度

Trigger(t)：时刻t处的触发值

MAX_Trigger：作为触发值的可能最大值

MAX_frame_num.：子图像循环区间长度的设定最大值

如(式9)所示，子图像的循环区间长度随触发值的大小增大而增大。

(式9)仅是计算方法的一例，而不限定于这一方法。只要子图像的循环区间长度随触发值的大小增大而增大，则不管什么循环区间长度的计算方法都可以使用。

由于步骤S4340～S4350的处理与工作例3是同样的，因此这里省略了其说明。

接着，在步骤S5000处，影像累积部分110进行影像累积处理。如在工作例3处说明的，影像累积部分110具有可存储多个图像的内部存储器，并可将从影像输入部分102输出的多个图像存储于内部存储器。这一内部存储器具有指示图像的存储位置的存储计数器和指示图像的读出位置的读出计数器。各计数器所取得的最大值是可存储于内部存储器的图像数量，并当更新计数器的值而超过最大值时，计数器的值回到1。即，内部存储器具有这样的构造：其每当进行图像的保存和读出时即更新计数器，从而可存储并读出周期性的图像数据。在本工作例中，为了使可存储于内部存储器的图像数量等于由合成参数的“循环区间长度”所示的值而进行控制。

这里参照图10、以与工作例1的处理不同的部分为重点来进行说明。

首先，在步骤S5100处进行存储器的初始化。具体地说，将画面合成参数的“合成场景中心时刻”和上次输入的合成场景中心时刻做比较，若两者不同，则进行内部存储器内的图像数据和各计数器以及可存储于内部存储器的图像数量的初始化。在初始化时，将内部存储器内的图像数据清除，将各计数器的值重置为1，并将可存储于内部存储器的图像数量设定为画面合成参数的“循环区间长度”。而且，将现在的合成场景中心时刻保存于内部存储器。

由于步骤S5110～S5150的处理与工作例3是同样的，因此这里省略了其说明。

接着，在步骤S5160处，进行读出计数器的更新。具体地说，与工作例3不同，例如使用以下(式10)来更新读出计数器的值：

count_read(t)＝count_read(t-1)+1    …(式10)

t：现在的时刻

count_read(t)：时刻t处的读出计数器值

若读出计数器的值超过最大值，则计数器的值设定为1。

在步骤S5100的存储器初始化处理中，存储于内部存储器的图像数量根据画面合成参数而变更。这样一来，有可能控制合成为子图像的场景内的图像数量，即场景的区间的大小。即，由于触发值越大则循环再现的场景的区间的大小设定得越大，故能够再现以触发器发生时刻为中心的前后的较长区间的场景。

这样一来，通过控制存储于内部存储器的图像的最大数量，可变更合成为子图像的场景的区间长度。

由于步骤S5170～S5180的处理与工作例3是同样的，因此这里省略了其说明。

接着，在步骤S6000处，与工作例1同样，基于从画面构成计算部分108输出的画面合成参数、使用从影像累积部分110输出的图像而创建子图像，并将创建的子图像输出至图像信息添加部分114。

当像本工作例那样进行“循环合成”的模式2时，从影像累积部分110输出的并由读出计数器而取得的、成为子图像的目标的图像被缩小尺寸以创建子图像。

接着，在步骤S7000处，与工作例1同样，根据从画面构成计算部分108输出的画面合成参数的“合成类别”而变更从子图像创建部分112输出的子图像的外缘的色彩，而外缘的色彩被变更的子图像被输出至画面合成部分116。

当像本工作例那样“合成类别”为“循环合成”时，子图像的外缘的色彩变更为黄色。但是，外缘的色彩不限定于黄色，只要能使子图像标识为循环再现图像，则不管用什么色彩都可以。

由于步骤S8000～S9000的处理与工作例1是同样的，因此这里省略了其说明。

于是，根据本工作例，指示影像的重要性的触发值越大、则由触发器发生时刻前后的图像群构成的场景的区间长度越大，为此执行控制而进行图像合成，因此，通过给合成后的影像编码、经传输路径传送并在接收终端上显示，用户在只有1屏画面的接收终端上不仅可观看现在的影像，还可将重要的时刻前后的影像作为合成画面而同时观看，而且场景重要性愈高则场景的区间越长，并可观看到愈多数量的重要时刻的前后的图像。

而且，若外缘的色彩和子图像的内容之间的对应是已知的，则用户不发送或接收合成图像以外的信息、也可由子图像的外缘的色彩来确定子图像的内容。

在本工作例中，示出了这样一例：即将输入图像显示成主图像而将重要场景显示成子图像，但并不限定于此，也有可能将重要场景显示成主图像而将输入图像显示成子图像。

而且，输入图像的数量不限于1张，在多张输入图像的情形中，循环合成也有可能。

(工作例5)

在工作例5中，说明了这种情形：即当进行画面合成作为使用合成触发器的画面合成的确定结果时，为了使由触发器发生时刻前后的图像群构成的场景被反复再现、而将此场景在输入图像的一部分区域合成为子图像，就是说，进行“循环合成”的情形。这里假定，与工作例3和工作例4不同，触发器的大小越大、则反复再现的场景的循环再现次数设定得越大(模式3)。

这里参照图3、以与工作例1的处理不同的部分为重点来进行说明。

由于步骤S1000～S3000的处理与工作例1是同样的，因此这里省略了其说明。但是，在本工作例中，由于进行了“循环合成”，故在步骤S3000的合成触发器计算处理中确定触发类别为“重要场景”。

接着，在步骤S4000处，与工作例1同样，使用合成触发器、进行画面合成的确定和画面构成的计算，并计算画面合成参数。但是，在本工作例中，由于进行了“循环合成”的模式3，故计算合成类别(这里是“循环合成”)、合成场景中心时刻、循环次数和帧计数器这4项作为画面合成参数。这里，“合成场景中心时刻”参数如上述指示位于欲合成的场景的中心时刻处的图像的图像编号，循环次数参数如上述指示作为子图像而反复再现的场景的反复次数，而帧计数器参数如上述指示作为子图像而合成的其余的图像数量。

图13是示出图3中的画面合成参数计算处理的工作例5处的内容的流程图。对于与图9所示的工作例3共同的处理，这里省略了其说明。

由于步骤S4300～S4320的处理与工作例3是同样的，因此这里省略了其说明。

接着，在步骤S4334处，确定循环次数。具体地说，基于触发值的大小而计算子图像的循环次数，并使用循环计数器来进行帧计数器的设定。

例如，子图像的循环次数loop_num.(t)使用以下(式11)而计算。

$\mathrm{loop}\_\mathrm{num}\left(t\right)=\frac{\mathrm{Trigger}\left(t\right)}{\mathrm{MAX}\_\mathrm{Trigger}}*\mathrm{MAX}\_\mathrm{loop}\_\mathrm{num}$ …(式11)

loop_num.(t)：时刻t处的子图像的循环次数

Trigger(t)：时刻t处的触发值

MAX_Trigger：作为触发值的可能最大值

MAX_loop_num.：子图像的循环次数的设定最大值

如(式11)所示，子图像的循环次数随触发值的大小增大而增大。

(式11)仅是计算方法的一例，而不限定于这一方法。只要循环次数随触发值的大小增大而增大，则不管什么循环次数的计算方法都可以使用。

在使用(式11)确定循环次数后，设定帧计数器。帧计数器的值frame_count(t)例如使用以下(式12)而计算。

frame_count(t)＝loop_num(t)*MAX_frame_num  …(式12)

frame_count(t)：时刻t处的帧计数器值

loop_num.(t)：时刻t处的子图像的循环次数

MAX_frame_num.：使用可存储于影像累积部分110的内部存储器的图像数量来计算

另一方面，在步骤S4345处，由于合成触发器的触发值为零，即没有合成触发器的输入，与工作例3不同，故进行合成参数的更新。具体地说，在上次的画面合成参数内，进行帧计数器和合成方法的更新处理。

例如，帧计数器由以下(式13)来更新：

frame_count(t)＝frame_count(t-1)-1  …(式13)

如(式13)所示，帧计数器是通过将该逐次减1而更新的。若当值被更新时帧计数器的值成为0或以下，则帧计数器的值设定为0。

其次，与被更新的帧计数器的值对应而进行合成类别的更新处理。合成类别的更新可根据例如以下规则来进行：

(1)当帧计数器的值为0时，将合成类别变更为“不合成”，

(2)当帧计数器的值非0时，不变更合成类别。

通过像这样进行画面合成参数的更新，有可能将由帧计数器指定的帧的合成类别设定为“循环合成”。通过使影像累积部分110将图像累积于内部存储器、并同时地根据合成类别将循环再现用的图像输出至子图像创建部分112，可控制循环再现的次数。

在步骤S4350处，由步骤S4300～步骤S4345计算的4个画面合成参数(合成类别、合成场景中心时刻、循环次数和帧计数器)被输出至影像累积部分110、子图像创建部分112、图像信息添加部分114和画面合成部分116，输入图像(来自影像输入部分102的输入图像)被输出至画面合成部分116，然后处理返回图3的主流程。

由于步骤S5000～S9000的处理与工作例3是同样的，因此这里省略了其说明。

于是，根据本工作例，指示影像的重要性的触发值越大、则使由触发器发生时刻前后的图像群构成的场景被反复再现的循环次数越大，为此执行控制而进行图像合成，因此，通过给合成后的影像编码、经传输路径传送并在接收终端上显示，用户在只有1屏画面的接收终端上不仅可观看现在的影像，还可将重要的时刻前后的影像作为合成画面而同时观看，而且场景重要性愈高则场景的循环次数越大、重要时刻的前后的图像的反复次数也愈多。

而且，若外缘的色彩和子图像的内容之间的对应是已知的，则用户不发送或接收合成图像以外的信息、也可由子图像的外缘的色彩来确定子图像的内容。

在本工作例中，示出了这样一例：即将输入图像显示成主图像而将重要场景显示成子图像，但并不限定于此，也有可能将重要场景显示成主图像而将输入图像显示成子图像。

而且，输入图像的数量不限于1张，在多张输入图像的情形中，循环合成也有可能。

(工作例6)

工作例6说明了这种情形：即与触发器的大小对应而变更子图像的尺寸。这里，作为一例，当进行画面合成作为使用合成触发器的画面合成的确定结果时，将触发器发生时刻的图像作为静止图像，在输入图像的一部分区域将该静止图像合成为子图像，就是说，进行“静止图像合成”的情形。这里假定触发器的大小越大则子图像的尺寸设定得越大。

与触发器的大小对应的子图像尺寸的变更不仅适用于“静止图像合成”的情形，也适用于“切出合成”和“循环合成”等其它的合成类别。

这里参照图3、以与工作例1的处理不同的部分为重点来进行说明。

由于步骤S1000～S3000的处理与工作例1是同样的，因此这里省略了其说明。

接着，在步骤S4000处，与工作例1同样，使用合成触发器、进行画面合成的确定和画面构成的计算，并计算画面合成参数。但是，在本工作例中，在计算“静止图像合成”的画面合成参数以外还要计算子图像尺寸，即，计算合成类别(这里是“静止图像合成”)、目标子图像、子图像显示时间和子图像尺寸这4项作为画面合成参数。这里，“目标子图像”参数如上达指示用于子图像创建的图像的图像编号，“子图像显示时间”参数如上述指示合成子图像时连续显示子图像的时间，而“子图像尺寸”参数指示子图像的合成尺寸。

图14是示出图3中的画面合成参数计算处理的工作例6处的内容的流程图。对于与图4所示的工作例1共同的处理，这里省略了其说明。

由于步骤S4100～S4130的处理与工作例1是同样的，因此这里省略了其说明。

接着，在步骤S4135处，确定子图像尺寸。例如，子图像的水平方向尺寸sub_size_h(t)和垂直方向尺寸sub_size_v(t)分别使用以下(式14)和(式15)而计算。

$\mathrm{sub}\_\mathrm{size}\_h\left(t\right)=\frac{\mathrm{Trigger}\left(t\right)}{\mathrm{MAX}\_\mathrm{Trigger}}*\mathrm{MAX}\_\mathrm{size}\_h$ …(式14)

$\mathrm{sub}\_\mathrm{size}\_v\left(t\right)=\frac{\mathrm{Trigger}\left(t\right)}{\mathrm{MAX}\_\mathrm{Trigger}}*\mathrm{MAX}\_\mathrm{size}\_v$ …(式15)

sub_size_v(t)：时刻t处的子图像的垂直方向尺寸

Trigger(t)：时刻t处的触发值

MAX_Trigger：作为触发值的可能最大值

MIN_size_h：子图像水平方向尺寸的设定最小值

MIN_size_v：子图像垂直方向尺寸的设定最小值

如(式14)和(式15)所示，子图像的尺寸随触发值的大小增大而增大。

(式14)和(式15)仅是计算方法的一例，而不限定于这一方法。只要子图像的尺寸随触发值的大小增大而增大，则不管什么子图像尺寸的计算方法都可以使用。

由于步骤S4140～S4170的处理与工作例1是同样的，因此这里省略了其说明。

而且，在图3的主流程图中，由于步骤S5000～S9000的处理与工作例1是同样的，因此这里省略了其说明。但是，在步骤S6000处创建子图像时，通过将从影像累积部分110输出的子图像目标影像缩小至从画面构成计算部分108输出的子图像尺寸、而进行子图像的创建。通过像这样使用子图像尺寸而创建子图像，有可能根据触发值而控制子图像的尺寸。

于是，根据本工作例，指示影像的重要性的触发值越大、则将触发器发生时刻的图像合成为静止图像时的子图像尺寸越大，为此执行控制而进行图像合成，因此，通过给合成后的影像编码、经传输路径传送并在接收终端上显示，用户在只有1屏画面的接收终端上不仅可观看现在的影像，还可将重要的时刻的影像作为合成画面而同时观看，而且图像重要性愈大则图像的尺寸越大、在1屏画面上愈可详细地观看该图像。

而且，若外缘的色彩和子图像的内容之间的对应是已知的，则用户不发送或接收合成图像以外的信息、也可由子图像的外缘的色彩来确定子图像的内容。

在本工作例中，示出了这样一例：即将输入图像显示成主图像而将重要的静止图像显示成子图像，但并不限定于此，也有可能将重要的静止图像显示成主图像而将输入图像显示成子图像。

而且，输入图像的数量不限于1张，在多张输入图像的情形中，静止图像合成也有可能。

(工作例7)

工作例7说明了这种情形：使用表示影像的重要性的合成触发器来计算画面的构成，并由欲合成的画面的形状来表现合成信息。

这里，假定画面构成计算部分108由工作例1至工作例6的任一方法计算画面合成参数，而以下对于图像信息添加部分114做特别的说明。

图像信息添加部分114根据从画面构成计算部分108输出的画面合成参数的“合成类别”而变更从子图像创建部分112输出的子图像的形状。例如，当合成类别为“静止图像合成”时，子图像的形状变更为圆形。但是，外缘的形状不限定于圆形，只要能使子图像标识为静止图像，则不管用什么形状都可以。而且，有可能通过像当合成类别为“切出合成”时使用四边形而当合成类别为“循环合成”时使用三角形那样的子图像的形状来表现合成类别。图像信息添加部分114将变更为表示合成类别的形状的子图像输出至画面合成部分116。

于是，根据本工作例，根据触发器而进行画面的合成，并根据子图像的合成类别而变更子图像的形状，为此执行控制而进行图像合成，因此，通过给合成后的影像编码、经传输路径传送并在接收终端上显示，用户在只有1屏画面的接收终端上不仅可观看现在的影像，还可同时地观看重要的位置的影像。

由于子图像的合成类别是由子图像的形状来表现的，故若子图像的形状和子图像的内容之间的对应是已知的，则用户不发送或接收合成影像以外的信息、也可由子图像的形状来确定子图像的合成类别。

如上所述，根据本发明，一种影像合成设备将多张影像合成为1屏画面，并可自动地显示对用户来说重要的影像，而且，可将该重要的影像合成为从视觉上容易观看的画面构成并显示该重要的影像。

本申请书基于2003年2月25日申请的日本专利申请2003-047354。其内容全部包含于此。

产业上的可利用性

本发明具有这种效果：即自动地显示对用户来说重要的影像、而且将该重要的影像合成为从视觉上容易观看的画面构成并显示该重要的影像。并在将多张影像合成为1屏画面的影像合成设备中很有用。

权利要求书

(按照条约第19条的修改)

1.一种将多张影像合成为1屏画面的影像合成设备，所述影像合成设备包括：

输入影像的影像输入装置；

触发器产生部分，其产生指示影像的重要性的触发器；

画面构成计算部分，其与所产生的触发器的重要性对应而计算画面构成；

图像创建装置，其基于计算的画面构成、从输入的影像创建欲合成的图像；和

画面合成装置，其将含所创建的图像的多个图像合成为1屏画面。

2.根据权利要求1所述的影像合成设备，其中

所述触发器生成部分具有这样的运动检测传感器：其检测影像内的运动、并根据检测到的运动的大小输出一个信号；而

所述重要性是根据所述运动检测传感器输出的信号的大小而计算的。

3.根据权利要求1所述的影像合成设备，其中

所述触发器生成部分具有这样的运动识别传感器：其识别影像内特定的运动、并根据所识别的运动的大小输出一个信号；而

所述重要性是根据所述运动识别传感器输出的信号的大小而计算的。

4.根据权利要求1所述的影像合成设备，其中

所述触发器生成部分具有这样的图像识别传感器：其对影像内特定的物体做图像识别、并根据该图像识别结果的确定性输出一个信号；而

所述重要性是根据所述图像识别传感器输出的图像识别结果的确定性的高低而计算的。

5.根据权利要求1所述的影像合成设备，其中

所述触发器生成部分具有接收来自用户的画面合成请求的设备；而

所述重要性是与所述来自用户的画面合成请求对应的。

6.根据权利要求1所述的影像合成设备，其中

所述触发器生成部分还输出触发器的生成时刻；而

所述画面构成计算部分计算这样的画面构成：其中将所述触发器生成时刻的影像作为静止图像与另一个图像进行合成。

7.根据权利要求6所述的影像合成设备，其中

所述画面构成计算部分根据触发器的重要性的大小而控制当将触发器生成时刻的影像显示成静止图像时的显示时间。

8.根据权利要求7所述的影像合成设备，其中

所述画面构成计算部分为较大的触发器的重要性设置较长的显示时间。

9.根据权利要求1所述的影像合成设备，其中

所述触发器生成部分还输出所述触发器生成的位置；而

所述画面构成计算部分计算这样的画面构成：其中切出了以所述触发器生成位置为中心的区域的图像、并将该图像与另一个图像合成。

10.根据权利要求9所述的影像合成设备，其中

所述画面构成计算部分根据触发器的重要性的大小而控制当在影像内切出了以所述触发器生成位置为中心的区域的图像时的切出尺寸。

11.根据权利要求10所述的影像合成设备，其中

所述画面构成计算部分为较大的触发器的重要性设置较小的切出尺寸。

12.根据权利要求1所述的影像合成设备，其中

所述触发器生成部分还输出触发器被生成的时刻；而

所述画面构成计算部分计算这样的画面构成：其中由所述触发器生成时刻的前后的图像群构成的场景在被反复显示的同时与另一个图像合成。

13.根据权利要求12所述的影像合成设备，其中

所述画面构成计算部分根据触发器的重要性的大小而控制当在影像内反复显示由所述触发器生成时刻的前后的图像群构成的场景时的再现速度。

14.根据权利要求13所述的影像合成设备，其中

所述画面构成计算部分为较大的触发器重要性而将所述再现速度设置得较慢。

15.根据权利要求12所述的影像合成设备，其中

所述画面构成计算部分根据触发器的重要性的大小而控制这样的多个图像的数量：其构成当在影像内反复显示由所述触发器生成时刻的前后的图像群构成的场景。

16.根据权利要求15所述的影像合成设备，其中

所述画面构成计算部分随触发器的重要性越大而将构成所述场景的图像的数量设定为越大。

17.根据权利要求12所述的影像合成设备，其中

所述画面构成计算部分根据触发器的重要性的大小而控制当在影像内反复显示由所述触发器生成时刻的前后的图像群构成的场景时的反复次数。

18.根据权利要求17所述的影像合成设备，其中

所述画面构成计算部分随触发器的重要性越大而将所述反复次数设定得越大。

19.根据权利要求1所述的影像合成设备，还包括图像信息添加部分：其以图像形式对由所述图像创建装置创建的图像添加该图像的信息。

20.根据权利要求19所述的影像合成设备，其中

由所述图像创建装置创建的图像的分类被所述图像信息添加部分以该图像的外缘的色彩来表现。

21.根据权利要求19所述的影像合成设备，其中

由所述图像创建装置创建的图像的分类被所述图像信息添加部分由该图像的形状来表现。

22.根据权利要求19所述的影像合成设备，其中

所述图像合成装置执行静止图像合成、切出合成或循环合成之一；而

所述图像信息添加部分将根据所述静止图像合成、所述切出合成或所述循环合成之一的图像类别信息添加至所述图像。

Claims (23)

1.一种将多张影像合成为1屏画面的影像合成设备，所述影像合成设备包括：

输入影像的影像输入装置；

触发器产生部分，其产生指示影像的重要性的触发器；

画面构成计算部分，其与所产生的触发器的重要性对应而计算画面构成；

图像创建装置，其基于计算的画面构成、从输入的影像创建欲合成的图像；和

画面合成装置，其将含所创建的图像的多个图像合成为1屏画面。

2.根据权利要求1所述的影像合成设备，其中

所述触发器生成部分具有这样的运动检测传感器：其检测影像内的运动、并根据检测到的运动的大小输出一个信号；而

所述重要性是根据所述运动检测传感器输出的信号的大小而计算的。

3.根据权利要求1所述的影像合成设备，其中

所述触发器生成部分具有这样的运动识别传感器：其识别影像内特定的运动、并根据所识别的运动的大小输出一个信号；而

所述重要性是根据所述运动识别传感器输出的信号的大小而计算的。

4.根据权利要求1所述的影像合成设备，其中

所述触发器生成部分具有这样的图像识别传感器：其对影像内特定的物体做图像识别、并根据该图像识别结果的确定性输出一个信号；而

所述重要性是根据所述图像识别传感器输出的图像识别结果的确定性的高低而计算的。

5.根据权利要求1所述的影像合成设备，其中

所述触发器生成部分具有接收来自用户的画面合成请求的设备；而

所述重要性是与所述来自用户的画面合成请求对应的。

6.根据权利要求1所述的影像合成设备，其中

所述触发器生成部分还输出触发器的生成时刻；而

所述画面构成计算部分计算这样的画面构成：其中将所述触发器生成时刻的影像作为静止图像与另一个图像进行合成。

7.根据权利要求6所述的影像合成设备，其中

所述画面构成计算部分根据触发器的重要性的大小而控制当将触发器生成时刻的影像显示成静止图像时的显示时间。

8.根据权利要求7所述的影像合成设备，其中

所述画面构成计算部分为较大的触发器的重要性设置较长的显示时间。

9.根据权利要求1所述的影像合成设备，其中

所述触发器生成部分还输出所述触发器生成的位置；而

所述画面构成计算部分计算这样的画面构成：其中切出了以所述触发器生成位置为中心的区域的图像、并将该图像与另一个图像合成。

10.根据权利要求9所述的影像合成设备，其中

所述画面构成计算部分根据触发器的重要性的大小而控制当在影像内切出了以所述触发器生成位置为中心的区域的图像时的切出尺寸。

11.根据权利要求10所述的影像合成设备，其中

所述画面构成计算部分为较大的触发器的重要性设置较小的切出尺寸。

12.根据权利要求1所述的影像合成设备，其中

所述触发器生成部分还输出触发器被生成的时刻；而

所述画面构成计算部分计算这样的画面构成：其中由所述触发器生成时刻的前后的图像群构成的场景在被反复显示的同时与另一个图像合成。

13.根据权利要求12所述的影像合成设备，其中

所述画面构成计算部分根据触发器的重要性的大小而控制当在影像内反复显示由所述触发器生成时刻的前后的图像群构成的场景时的再现速度。

14.根据权利要求13所述的影像合成设备，其中

所述画面构成计算部分为较大的触发器重要性而将所述再现速度设置得较慢。

15.根据权利要求12所述的影像合成设备，其中

所述画面构成计算部分根据触发器的重要性的大小而控制这样的多个图像的数量：其构成当在影像内反复显示由所述触发器生成时刻的前后的图像群构成的场景。

16.根据权利要求15所述的影像合成设备，其中

所述画面构成计算部分随触发器的重要性越大而将构成所述场景的图像的数量设定为越大。

17.根据权利要求12所述的影像合成设备，其中

所述画面构成计算部分根据触发器的重要性的大小而控制当在影像内反复显示由所述触发器生成时刻的前后的图像群构成的场景时的反复次数。

18.根据权利要求17所述的影像合成设备，其中

所述画面构成计算部分随触发器的重要性越大而将所述反复次数设定得越大。

19.根据权利要求1所述的影像合成设备，其中

所述画面构成计算部分根据触发器的重要性的大小而控制由所述图像创建装置创建的图像的大小。

20.根据权利要求19所述的影像合成设备，其中

所述画面构成计算部分随触发器的重要性越大而将由所述图像创建装置创建的图像的大小设定得越大。

21.根据权利要求1所述的影像合成设备，还包括图像信息添加部分：其以图像形式对由所述图像创建装置创建的图像添加该图像的信息。

22.根据权利要求21所述的影像合成设备，其中

由所述图像创建装置创建的图像的分类被所述图像信息添加部分以该图像的外缘的色彩来表现。

23.根据权利要求21所述的影像合成设备，其中

由所述图像创建装置创建的图像的分类被所述图像信息添加部分由该图像的形状来表现。

Images