CN101193249A

CN101193249A - 影像处理装置

Info

Publication number: CN101193249A
Application number: CNA2007101693661A
Authority: CN
Inventors: 西田寿雄; 千叶浩
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2006-11-27
Filing date: 2007-11-26
Publication date: 2008-06-04
Also published as: US20080123966A1; JP2008131617A

Abstract

本发明涉及影像处理装置。根据本发明，从帧间的动态矢量进行捕捉到被拍摄体的场景的判定，对动态图像进行自动编辑，从而提高影像自动编辑装置的使用方便性。对帧间的动态矢量进行解析，其结果是通过将相同方向、相同大小的动态矢量聚集的区域判定为追随中的被拍摄体，能够自动地对捕捉到被拍摄体的场景进行抽取、编辑。此外，编辑影像由多个场景构成，但是并不是仅仅将各场景按照编辑顺序排列，而是根据重要程度进行排列更换，使得类似的场景联合并汇集，从而能够提高视听者的使用的方便性。

Description

影像处理装置

优先权主张

本发明主张2006年11月27日提交的日本专利申请JP2006-317955号为优先权，本发明援用其内容。

技术领域

本发明涉及具有动态图像的自动编辑功能的影像处理装置。

背景技术

作为该技术领域的背景技术，提出有各种方案。

例如，有日本专利特开2002-176613号公报。在该公报中，作为课题记载有“提供自动编辑动态图像的装置”。此外，作为解决手段公开有“在固定盘104中存储有多个动态图像文件142的动态图像处理装置中，设置判定部21、抽取部22和合成部23。判定部21对图像信号或声音信号满足规定的基准的动态图像中的部分进行特定。例如，特定放映出特定的人物的面孔的部分、摄影时进行放大(zoom up)的部分、音量超过规定的值的部分等。抽取部22从动态图像文件142中抽取包含被特定部分的部分动态图像。合成部23结合部分动态图像，生成编辑完成文件143。由此实现动态图像的自动编辑”。

此外，有日本专利特开2005-318180号公报。在该公报中，作为课题记载有“在复制(dubbing)时不进行任何操作，也能够在用户所希望的位置自动地设定章节(chapter)”。此外，作为解决手段公开有“在用数码摄像机进行摄影的情况下，在想要设定章节的位置摄影插入静止图像。在将摄影的图像从照相机向硬盘记录器复制时，在记录器中通过MPEG编码器以可变位速率对影像数据进行压缩处理，并记录在硬盘中。将该位速率的值与阈值进行比较，如果不足阈值的状态在一定区间以上连续，则判断影像为静止图像，在该静止图像的部分设定章节”。

发明内容

近年来，随着记录介质的大容量化，由摄像机等进行动态图像的长时间记录成为可能。此外，还存在有通过个人电脑等取得这些动态图像，通过编辑而进行生成、记录新的动态图像的软件。但是，在编辑操作中，为了决定想要保留的场景，在视听影像和声音的同时进行操作是不可或缺的，所以在对长时间的动态图像进行编辑的操作中，需要极大的劳力与时间。

因此，提出有能够进行动态图像的自动编辑的技术。

例如，有在影像的记录时，记录下照相机的倾斜、曝光数据、变焦(zoom)倍率数据、被拍摄体距离数据等摄影环境信息，基于这些信息进行自动编辑的技术。此外，还有对于记录的影像，抽取拍摄到特定的人物的面孔的场景、音量超过规定的基准的场景等的技术，和高速摇摄(パン)、倾斜、变焦的场景作为带给视听者不舒服的感觉，而自动地进行删除的技术等。另一方面，在摄像机的情况下，作为用于使编辑变得容易的方法，有在想要设定章节的位置摄影好静止图像，在编辑时以影像的位速率为基础对章节进行自动设定的技术。

通过使用这些自动编辑技术，能够仅保留必要的场景。但是，在编辑前的影像数据为庞大的量的情况下，导致编辑影像本身的量也增多。因此，例如对于视听者，不是将编辑影像简单地按照编辑的顺序排列，而是按照考虑影像的重要程度的顺序重新排列而提供，由此提高使用的方便性。

本发明的目的在于，提高影像自动编辑装置的使用方便性。

本发明代表性的一个方面的概要是，为了达成上述目的，从帧间的动态矢量进行捕捉到被拍摄体的场景的判定，对动态图像进行自动编辑的结构。详细而言，上述目的能够通过本发明所述技术的范围中记载的发明而达成。

根据本发明，影像自动编辑装置的使用方便性提高。

其中，上述以外的课题、手段、效果可以在以下说明的实施方式中得到更好的理解。

附图说明

图1是表示本发明第一实施例的影像处理系统的框图。

图2A、2B是表示应用本发明第一实施例的影像处理系统，进行影像解析时的处理结果的一个例子的图。

图3是表示本发明第二实施例的影像处理系统的框图。

图4A、4B是表示应用本发明第二实施例的影像处理系统，进行影像解析时的处理结果的一个例子的图。

图5是表示本发明第三实施例的影像处理系统的框图。

图6是表示本发明第三实施例的影像处理系统的框图。

图7是表示本发明第四实施例的影像处理系统的框图。

图8是表示本发明第四实施例的影像处理系统的框图。

具体实施方式

以下使用附图详细说明本发明的一个实施方式。

[实施例1]

图1是表示本发明的动态图像的自动编辑方法的第一实施例的影像处理系统的框图。这里表示的是将本影像处理系统应用于摄像机时的一个例子。在图1中，1表示摄像部，2表示记录介质，3表示记录在记录介质2中的摄影影像，4表示通过自动编辑摄影影像3而生成的编辑影像，5表示影像解析部，6表示影像抽取部，7表示影像编辑部，8表示显示部。其中，摄影影像3中的摄影影像A～C，表示各个摄影影像文件。这些影像文件可以按文件单位进行访问。同样地，编辑影像4中的编辑影像A-1、A-2、…C-2，表示各个编辑影像文件。对于这些编辑影像文件，也可以按文件单位进行访问。这里所谓访问是指对记录介质的记录和/或再现。此外，对记录介质的访问是在未图示的记录再现部进行，以下的说明中予以省略。

用摄像机所摄影的影像被作为摄影影像3而存储在记录介质2中。在对摄影的影像进行自动编辑的情况下，首先，对摄影影像3的各摄影影像文件，用影像解析部5进行影像解析。接着，在影像抽取部6，基于该解析结果，从摄影影像3的各摄影影像文件中，抽取实际编辑并保留的场景。抽取的场景通过影像编辑部7作为编辑影像4而再次存储在记录介质2中。存储的编辑影像4在显示部8中进行再现。其中，编辑影像4中的编辑影像A-1、A-2，表示从摄影影像3中的摄影影像A中抽取的场景1和场景2。

在此，对影像解析部5中的处理进行表示。在影像解析部5中，对于摄影影像3，通过进行帧间的动态信息的解析，由此求出动态矢量。以下，列举具体的例子，更为详细地进行说明。

图2A、2B是简易地表示将摄影到的行驶中的汽车的影像在影像解析部5中处理后的结果的图。在图2中，9表示被拍摄体的车辆、10表示动态矢量。图2A是从远离的位置对被拍摄体9进行摄影的情况，图2B是按照将被拍摄体9放大，移动照相机并追随的方式进行摄影的情况。在图2A的情况下，由于摄影影像中移动的是被拍摄体9，所以在其周围出现动态矢量。如果被拍摄体9是刚性体，则在其周围出现相同方向、相同大小的动态矢量。与之相对，在图2B的情况下，由于追随被拍摄体9并同时进行摄影，所以并非被拍摄体9，而是在其背景区域出现动态矢量。在这种情况下，在被拍摄体9的周围，几乎不出现动态矢量。这是由于动态矢量的大小大致为“0”的原因，与图2A的情况相同，在被拍摄体9的周围出现相同方向、相同大小的动态矢量。因此，对摄影的影像的动态矢量进行解析，其结果是，将存在有相同方向、相同大小的动态矢量聚集的区域的影像部分作为抽取场景，由此能够抽取摄影到被拍摄体9的场景。

其中，抽取场景是以规定大小以上拍摄到被拍摄体9的场景。这是由于优选编辑影像4由良好拍摄到被拍摄体的场景所构成，防止抽取拍摄到被拍摄体过小的场景等。该判定基准设置在摄影影像3中的每个摄影影像文件。作为判定基准的决定方法，可以列举以下方法等：例如，检测最大地拍摄到被拍摄体9的帧，计测该帧中被拍摄体的尺寸，仅将以该大小的一半以上的尺寸拍摄到被拍摄体9的场景作为抽取对象。

虽然在本实施例中表示的是在将摄影的影像存储在记录介质之后进行影像解析的结构，但也可以是在摄影的同时进行影像解析，将该解析结果与摄影影像一起记录，在影像抽取时使用该信息的结构。此外，虽然在本实施例中表示的是在将编辑影像存储在记录介质之后向显示部输出的结构，但也可以是将编辑影像直接向显示部输出的结构。其中，影像抽取部6是以影像解析部5的解析结果为基础来决定抽取场景，但此时也可以进行在抽取场景的前后附加有一定的边框(margin)的抽取。在未附加边框进行抽取的情况下，编辑影像4仅为被拍摄体9被收在照相机的视角中的场景。但是，在附加边框进行抽取的情况下，编辑影像4为被拍摄体9从进入屏幕至离开屏幕的场景。

[实施例2]

图3是表示本发明的动态图像自动编辑方法的第二实施例的影像处理系统的框图。图3是与作为本发明的第一实施例的框图的图1相比，编辑影像4中的编辑影像文件的存储顺序发生变化的图。

在摄影影像3为庞大的量的情况下，仅抽取必要的场景进行编辑后的编辑影像4自身的量也增大。在变成这种状况的情况下，对观看编辑影像4的视听者带来负担。因此，在影像编辑部7中，不是简单地按照编辑顺序存储编辑影像4，而是根据影像的重要程度进行存储顺序的更换，使之为视听者容易观看的结构。

例如，图2A和2B虽然都是对车辆摄影的影像的解析结果，但图2A是从远方摄影的情况，图2B是进行放大摄影的情况。所谓进行放大摄影的影像是指摄影者注视被拍摄体而摄影的场景。因此，在影像的重要程度的含义中，可认为放大的程度越大则为越重要的场景。因此，在影像解析部5中，除了解析处理之外，还进行考虑变焦率的加权。而且，以该加权的信息为基础，决定影像编辑部7的存储顺序，向记录介质2进行存储。在对存储的编辑影像4进行再现的情况下，也可以在显示部8中对编辑影像文件一览进行缩略图(thumbnail)显示。以下对其一个例子进行说明。

图4A和图4B是表示对编辑影像文件一览进行缩略图显示时的一个例子的图。图4A是按照加权的信息所决定的存储顺序而进行缩略图显示的情况。图4B虽然也是与图4A相同的存储顺序进行缩略图显示的情况，但对于重要程度高的内容，与其它缩略图相比，是以大的影像显示的情况。这里为了简化，表示的是影像文件名的缩略图显示，但实际上进行的是使用各编辑影像的顶头帧图像的缩略图显示。

这里对变焦率的取得方法进行表示。从影像解析部5所解析的动态矢量信息中，能够判断相同方向、相同大小的动态矢量聚集的区域是被拍摄体的区域。因此，对于画面整体，该区域所占的比例越大，则可认为是放大的影像。此外，也可以预先取得摄影中的变焦率的信息并使用。

在本实施例中，表示的是通过更换编辑影像4的存储顺序，能够提高视听者的使用方便性的方法。但是，也并非必须更换存储顺序。例如，在存储编辑影像时，可以将影像的重要程度作为附加信息一并存储。由此，在实际对记录影像进行再现时参照附加信息，配合其重要程度决定再现顺序即可。此外，虽然表示的是在影像的重要程度加权中使用变焦率的例子，但是也可以进行特定的人物、动物、车辆等被拍摄体的种类的加权，或捕捉到被拍摄体的时间的长度的加权。

[实施例3]

图5和图6是表示本发明的动态图像自动编辑方法的第三实施例的影像处理系统的框图。图5和图6与作为本发明的第一实施例的框图的图1相比，编辑影像4中的编辑影像文件的结构发生变化。

如实施例2所示，在摄影影像3为庞大的量的情况下，仅抽取必要的场景进行编辑的编辑影像4自身的量也增大。若变成这种状况，对视听者带来负担。因此，在影像编辑部7中，通过将多个场景联合为一个影像而进行编辑影像4的整理，实现视听者容易观看的结构。

例如，可以列举出利用摄影的影像的变焦率的整理方法。所谓进行放大摄影的影像是指摄影者注视被拍摄体而摄影的场景。与之相对，存在有虽捕捉到被拍摄体但未进行放大的影像。这是同时对成为被拍摄体背景的风景进行摄影的情况等。因此，通过使用该变焦率的信息，如被拍摄体特殊化的场景集，或收有被拍摄体的周围的风景场景集等，能够进行根据摄影内容的分组化。此外，从摄影时刻的信息，月单位、周单位、日单位等，也能够按照不同时刻进行分组化。图5和图6是表示进行过这种编辑的一个例子。

首先，图5是表示将影像抽取部6中抽取的全部场景，在影像编辑部7中联合作为一个影像而进行存储的情况。其中，联合的顺序可以不是编辑顺序。此外，图6表示判断从摄影影像文件A～D中抽取的影像为相同种类的场景，并将其联合作为一个影像的情况。其中，从摄影影像文件E抽取的E-1和E-2这两个场景，作为不同种类的场景，均不与其它影像联合存储。这样，以被联合的影像与未联合的影像混合存在的状态进行存储也可以。

[实施例4]

图7和图8是表示本发明的动态图像自动编辑方法的第四实施例的影像处理系统的框图。图7和图8与作为本发明的第一实施例的框图的图1相比，是将影像编辑部7所编辑的编辑影像存储在外部记录介质12中的结构。图7表示的是先将在影像编辑部7中编辑的编辑影像临时存储在记录介质2中，再将其复制或移动到外部记录介质12时的结构。此外，图8表示的是将在影像编辑部7中编辑的编辑影像直接存储在外部记录介质12的结构。例如，在摄像机的情况下，通过这种结构，能够对记录在内置的HDD、DVD驱动器等的影像数据进行自动编辑，向内置的HDD、DVD驱动器、或外置的记录器、个人电脑等外部记录介质进行复制或移动。

其中，在上述各实施例中，影像解析部5、影像抽取部6、影像编辑部7可以分别个别地以按照上述方式进行动作的LSI构成，或者，也可以一部分或全部以共同的LSI构成。或者，也可以通过使CPU等硬件与实现上述动作的软件的协作而构成。其中，该软件存储于存储器中。

此外，在上述各实施例中，对影像解析部5通过进行帧间的动态信息的解析而求出动态矢量进行了说明，但本发明并不限于此。例如，摄影影像3以例如MPEG方式压缩编码，也可以使用在该压缩编码时求得的、附随各帧而存储的动态矢量。这里，关于摄像影像的压缩编码，在摄像部1与记录介质2之间设置压缩编码部，在该未图示的压缩编码部对摄像部1所摄像的摄像影像进行压缩编码，将压缩编码后的摄像影像通过未图示的记录再现部记录在记录介质2中。而且，即使不是MPEG方式，如果是利用帧相关，使用动态矢量的压缩编码方式也可以。

虽然以上描述了几种基于本发明的实施方式，但是必须知道只要在不脱离本发明的范围内就可以对以上实施方式进行各种变形和变更。因此，本发明并不限定于以上详细的描述，在不脱离其主旨的情况下的各种变形和变更，均属于本发明权利要求的范围之内。

本发明可以利用于例如摄像机、记录器、监视系统等处理庞大的量的影像数据的系统。

Claims

1.一种影像处理装置，其特征在于，包括：

将一个以上的动态图像记录在记录介质的记录模块；

对该动态图像进行解析的影像解析模块；

基于该影像解析模块的解析结果，抽取特定场景的影像抽取模块；

对用该影像抽取模块抽取的场景进行编辑的影像编辑模块；和

对用该影像编辑模块编辑的编辑影像进行显示的显示部，其中，

该影像抽取模块对以规定大小以上捕捉到被拍摄体的场景进行抽取。

2.根据权利要求1所述的影像处理装置，其特征在于：

该影像解析模块使用动态矢量，对以规定大小以上捕捉到被拍摄体的场景进行抽取。

3.根据权利要求1所述的影像处理装置，其特征在于：

该影像抽取模块具有在抽取的场景的前后附加一定的边框的模块。

4.根据权利要求1所述的影像处理装置，其特征在于：

该影像编辑模块具有，对于用该影像抽取模块抽取的一个以上的场景，按照能够将各场景作为分别不同的编辑影像进行访问的方式进行编辑的模块。

5.根据权利要求1所述的影像处理装置，其特征在于：

该影像编辑模块具有，对于用该影像抽取模块抽取的二个以上的场景，按照能够将多个场景接合并将其作为一个编辑影像进行访问的方式进行编辑的模块。

6.根据权利要求4或5所述的影像处理装置，其特征在于：

该影像编辑模块具有，对于用该影像抽取模块所抽取的场景，进行基于放大程度的加权，按照能够优先访问加权大的场景的方式进行编辑的模块。

7.根据权利要求4或5所述的影像处理装置，其特征在于：

该显示部具有根据用该影像编辑模块编辑的编辑影像的重要度对菜单的显示方法进行改变的模块。

8.根据权利要求4或5所述的影像处理装置，其特征在于：

该影像编辑模块具有，对于用该影像抽取模块抽取的场景，进行基于场景内容的分配，按照能够对各分配后的组进行访问的方式进行编辑的模块。

9.根据权利要求4或5所述的影像处理装置，其特征在于：

该影像编辑模块具有，对于用该影像抽取模块所抽取的场景，进行基于场景记录时刻的分配，按照能够对各分配后的组进行访问的方式进行编辑的模块。

10.根据权利要求4或5所述的影像处理装置，其特征在于：

将用该影像编辑模块编辑的编辑影像，记录在该记录介质或外部记录介质。

11.一种摄像装置，其特征在于，包括：

摄像部，其对被拍摄体进行摄像并输出摄像影像；

压缩编码部，其按照使用利用帧相关值而求得的动态矢量的压缩编码方式，对该摄像影像进行压缩编码；

记录再现部，其将通过该压缩编码部压缩编码后的摄像影像记录在记录介质中并进行再现；

CPU；和

存储器，其存储有使该CPU动作以便控制该记录再现部的程序，其中，控制该记录再现部以便对记录在该记录介质中的摄像影像进行再现，并且，控制该记录再现部以便解析该摄像影像的动态矢量，对相互差异在规定范围以内的动态矢量于画面内具有规定数以上的部分进行抽取，将该抽取的部分作为编辑影像并记录于该记录介质。