CN101827202A - 图像处理设备、图像处理方法和程序 - Google Patents

Abstract

本发明公开了一种对由多个图像数据项组成的第一视频流和不同于第一视频流的第二视频流进行同步的图像处理设备，所述图像处理设备包括计算部件和检测部件。所述计算部件基于组成第一视频流的多个图像数据项中每个的数据大小以及组成第二视频流的图像数据项中每个的数据大小计算相关值，所述相关值表示组成第一视频流的多个图像数据项和组成第二视频流的图像数据项之间的相似度。所述检测部件基于相关值对组成第二视频流并且对应于组成第一视频流的多个图像数据项的图像数据项进行检测。

Description

图像处理设备、图像处理方法和程序

技术领域

本发明涉及一种图像处理设备、图像处理方法以及程序，并且更具体地，涉及例如在帧(域)基础上使同时捕获的多个视频流彼此同步的图像处理设备、图像处理方法以及程序。

背景技术

过去，已存在例如用于记录同时捕获的多个视频流并且然后对所记录的视频流进行同步和再现的记录/再现设备。

图1示出了记录系统1的结构示例，其中，同时捕获的多个视频流被记录在现有技术的记录/再现设备中。

例如，记录系统1同时开始记录第一视频流和第二视频流。使用从预定方向捕获对象的图像的第一摄像机(视频摄像机)来捕获第一视频流，并且使用从不同于预定方向的方向捕获同一对象的图像的第二摄像机来捕获第二视频流。

记录系统1包括：用于记录第一视频流的输入部件21、编码器22、缓冲器23以及HDD(硬盘驱动器)24；用于记录第二视频流的输入部件25、编码器26、缓冲器27以及HDD 28；以及用于同时记录第一和第二视频流的同步部件29、系统控制器30以及写控制部件31。

例如，输入部件21接收使用第一摄像机捕获的第一视频流的输入。为了同步输入的第一视频流，输入部件21产生垂直同步信号、水平同步信号、时钟信号等作为同步信号，并且将它们提供到编码器22和同步部件29。

此外，输入部件21将第一视频流提供到编码器22。

应注意的是，第一视频流由表示多个帧的图像数据项组成，所述图像数据项通过使用第一摄像机而被捕获。

根据同步部件29的指令，编码器22通过在使用从输入部件21传送的同步信号的同时执行帧内编码来对组成从输入部件21输入的第一视频流的一系列图像数据项进行编码(压缩)，并且获取由因为所述编码而获得的多个编码数据项组成的第一编码流。

此外，编码器22检测组成所获取的第一编码流的编码数据项中的每个编码数据项的数据大小。

编码器22将包括通过所述检测而获得的编码数据项的数据大小的报头添加到所获取的第一编码流，并且在所述添加之后将第一编码流提供到缓冲器23，以使得缓冲器23暂时保留它。

缓冲器23暂时保留从编码器22提供的第一编码流。

HDD 24将保留在缓冲器23中的第一编码流记录在内置硬盘(未示出)中。

应注意的是，由于输入部件25、编码器26、缓冲器27、以及HDD 28被构造成为与上述的输入部件21、编码器22、缓冲器23、以及HDD 24相同，因此省略其描述。

在输入部件25、编码器26、缓冲器27、以及HDD 28中，输入到输入部件25的第二视频流被编码成第二编码流并且被记录在HDD 28中。

同步部件29基于是否从输入部件21和输入部件25提供了同步信号来判断视频流是否输入到输入部件21和输入部件25两者。

然后，当判断视频流输入到输入部件21和输入部件25两者时，同步部件29控制输入部件21、编码器22、输入部件25以及编码器26，以与视频流被输入到输入部件21和输入部件25的相同的时刻来同步被输入到输入部件21和输入部件25的视频流，以便执行诸如编码的处理。

系统控制器30控制同步部件29和写控制部件31。

根据系统控制器30的指令，写控制部件31控制HDD 24来记录保留在缓冲器23中的第一编码流。

此外，根据系统控制器30的指令，写控制部件31控制HDD 28来记录保留在缓冲器27中的第二编码流。

根据记录系统1，有可能记录由多个图像数据项组成的第一视频流和第二视频流，所述图像数据项通过捕获在分别与第一编码流和第二编码流相同的时刻处的图像来获得。

接下来，图2示出了再现系统51的结构示例，在再现系统51中，由记录系统1记录的第一和第二编码流中的每一个在相关技术的记录/再现设备中被解码并且再现(输出)。

再现系统51对分别在HDD 24和HDD 28中的、由记录系统1记录的第一编码流和第二编码流进行同步和再现，并且将因而获得的第一和第二视频流输出到后一级。在所输出的第一和第二视频流中，图像数据项被组合并且因此生成立体可视的图像。

再现系统51包括用于再现记录在HDD 24中的第一编码流的缓冲器71、解码器72和输出部件73、以及用于再现记录在HDD 28中的第二编码流的缓冲器74、解码器75和输出部件76、以及用于控制第一和第二视频流的同步再现的读控制部件77、系统控制器78和同步部件79。

缓冲器71暂时保留从HDD 24提供的第一编码流。

解码器72对从缓冲器71提供的第一编码流(组成第一编码流的编码数据项)进行解码，并且将因而获得的第一视频流提供到输出部件73。

输出部件73向组成从解码器72提供的第一视频流的图像数据项添加同步信号等，并且输出与已输入到记录系统1的输入部件21的第一视频流相同的视频流。

由于缓冲器74、解码器75以及输出部件76被构造成与上述缓冲器71、解码器72以及输出部件73相同，因此省略其描述。

在缓冲器74、解码器75以及输出部件76中，记录在HDD 28中的第二编码流被解码成第二视频流并且被输出。

根据系统控制器78的指令，读控制部件77控制HDD 24来读取第一编码流并且将其提供到缓冲器71。

此外，根据系统控制器78的指令，读控制部件77控制HDD 28来读取第二编码流并且将其提供到缓冲器74。

系统控制器78控制读控制部件77和同步部件79。

同步部件79控制解码器72对来自组成第一编码流的多个编码数据项的第x个编码数据项进行解码，并且将因而获得的第x个图像数据项提供到输出部件73。

此外，同步部件79控制解码器75对来自组成第二编码流的多个编码数据项的第x个编码数据项进行解码，并且将因而获得的第x个图像数据项提供到输出部件76。

此外，同步部件79控制输出部件73和输出部件76将从解码器72提供到输出部件73的第x项图像数据项以及从解码器75提供到输出部件76的第x项图像数据项在同一时刻输出到后一级。

接下来，图3示出了在记录系统1中开始对输入到输入部件21的第一视频流和输入到输入部件25的第二视频流中的每一个进行编码和记录的时刻，以及在再现系统51中开始对记录在HDD 24中的第一编码流和记录在HDD 28中的第二编码流中的每一个进行解码和再现的时刻。

应注意的是，在图3A和3B中，水平轴表示同一时间。

此外，在图3A和3B中，矩形表示组成编码流的编码数据项。另外，矩形内的数字表示当从组成编码流的编码数据项的头开始计数时编码数据项的位置编号。

对于图3C和3D也是如此。

如图3A所示，例如，记录系统1从来自组成输入到输入部件21的第一视频流的多个图像数据项的、通过在t0时刻捕获图像而获得的图像数据项开始编码。然后，记录系统1使HDD 24记录由通过该编码获得的多个编码数据项组成的第一编码流101。

此外，如图3B所示，记录系统1从来自组成输入到输入部件25的第二视频流的多个图像数据项的、通过在与图3A所示的时刻t0相同的时刻t0捕获图像而获得的图像数据项开始编码。然后，记录系统1使HDD28记录由通过该编码获得的多个编码数据项组成的第二编码流102。

再现系统51对记录在HDD 24中的第一编码流101进行解码，并且获取因而获得的第一视频流101′。

此外，再现系统51对记录在HDD 28中的第二编码流102进行解码，并且获取因而获得的第二视频流102′。

然后，再现系统51在同一时刻输出来自组成第一视频流101′的多个图像数据项的第x项图像数据项以及来自组成第二视频流102′的多个图像数据项的第x项图像数据项。

如上所述，在记录系统1中，从通过在同一时刻t0捕获图像而获得的图像数据项开始编码，并且记录因而获得的第一编码流101和第二编码流102。

此外，在再现系统51中，同时输出(再现)来自作为通过对第一编码流101进行解码而获得的解码结果的第一视频流101′以及作为通过对第二编码流102进行解码而获得的解码结果的第二视频流102′中的头的第x项图像数据项。

接下来，图4示出了记录系统121的结构示例，其中因为没有提供同步部件29(图1)，所以开始记录第一视频流的时间和开始记录第二视频流的时间彼此偏移。

应注意的是，在记录系统121中，被构造成与记录系统1的那些部分相同的部分由相同的附图标记来指示，因此省略其描述。

即，除了取代同步部件29和系统控制器30而提供系统控制器141之外，记录系统121被构造成与记录系统1相同。

系统控制器141控制输入部件21、编码器22、输入部件25以及编码器26对输入到输入部件21和输入部件25的视频流执行诸如编码的处理。

此外，系统控制器141控制写控制部件31。

接下来，图5示出了在记录系统121中开始对输入到输入部件21的第一视频流和输入到输入部件25的第二视频流中的每一个进行编码和记录的时刻，以及在再现系统51中开始对由记录系统121记录在HDD 24中的第一编码流和由记录系统121记录在HDD 28中的第二编码流中的每一个进行解码和输出的时刻。

应注意的是，图5A至5D所示的水平轴和矩形与图3A至3D所示的相同。

如图5A所示，例如，记录系统121从来自组成输入到输入部件21的第一视频流的多个图像数据项的、通过在时刻t0捕获图像而获得的图像数据项开始编码，然后使HDD 24记录因而获得的第一编码流171。

此外，如图5B所示，记录系统121从来自组成输入到输入部件25的第二视频流的、通过在与时刻t0不同的时刻t1捕获图像而获得的图像数据项开始编码，然后使HDD 28记录因而获得的第二编码流172。

由于记录系统121没有装备同步部件29，因此难以使开始编码和记录的时刻彼此同步。

因此，在记录系统121中，开始对输入到输入部件21的第一视频流进行编码和记录的时刻t0以及开始对输入到输入部件25的第二视频流进行编码和记录的时刻t1偏移了相当于9个帧的时间(t1-t0)。

再现系统51对记录在HDD 24中的第一编码流171进行解码，并且获取因而获得的第一视频流171′。

此外，再现系统51对记录在HDD 28中的第二编码流172进行解码，并且获取因而获得的第二视频流172′。

然后，再现系统51同时输出第一视频流171′和第二视频流172′的第x项图像数据项。

如上所述，开始对输入到输入部件21的第一视频流进行编码和记录的时刻t0以及开始对输入到输入部件25的第二视频流进行编码和记录的时刻t1偏移了相当于9个帧的时间(t1-t0)。

因此，组成第一编码流171的第(x+9)项编码数据项(x是自然数)以及组成第二编码流172的第X项编码数据项被假定通过在同一时刻捕获图像来获得。

因此，再现系统51同时输出通过捕获在第一视频流171′和第二视频流172′中偏移了相当于9个帧的时间(t1-t0)的不同时刻处的图像获得的图像数据项。

如上所述，当再现系统51开始对由记录系统121记录的第一编码流171和第二编码流172中的每一个进行解码和输出时，通过在偏移了相当于9个帧的时间(t1-t0)的时刻捕获图像而获得的图像数据项可在相同的时刻被输出。

因此，在再现系统51中，难以对第一视频流171′和第二视频流172′进行同步，以便同时再现(输出)通过在同一时刻捕获由记录系统121记录的第一编码流171和第二编码流172中的图像而获得的图像数据项。

为了处理上述情形，存在如下第一相关技术：在该第一相关技术中，对与图像数据项对应的音频数据项彼此进行比较，对通过使用所述音频数据项表示时间偏移的时间差进行检测，并且基于所检测到的时间差使通过在同一时刻捕获图像而获得的图像数据项彼此同步(例如，参见日本专利申请公开第2007-288269号)。

另外，存在如下第二相关技术：在该第二相关技术中，同步控制信号被同步传送到两个摄像机，并且这两个摄像机根据同步控制信号同步摄像，以便输出视频流(例如，参见日本专利申请公开第2003-304442号)。

另外，存在如下第三相关技术：在该第三相关技术中，基于由遵照MPEG(运动图像专家组)方法进行编码的画面组成的视频流的系统时钟基准对系统时钟的计数输出彼此进行比较，并且根据所述比较结果控制再现速度(例如，参见日本专利申请公开第11-150727号)。

发明内容

然而，在使用音频的以上第一相关技术中，在通过使用摄像机捕获的图像而获得的图像数据项以及与其对应的音频数据项在时间上偏移的情况下，降低了在通过在同一时刻捕获图像而获得的图像数据项之间的同步的精度。

此外，在以上使用同步控制信号的第二相关技术中，摄像机需要对应于同步控制信号，并且因此难以使得使用任意摄像机捕获的视频流彼此同步。

另外，使用相关技术中的系统时钟基准的第三相关技术难以应用于除由遵照MPEG方法进行编码的画面组成的视频流之外的视频流。

考虑到上述环境，例如，期望基于通过捕获单个对象的图像获得的多个视频流的数据大小使多个视频流彼此精确同步。

根据本发明的实施例，提供了一种对由多个图像数据项组成的第一视频流以及不同于第一视频流的第二视频流进行同步的图像处理设备，该图像处理设备包括：计算装置，用于基于组成第一视频流的多个图像数据项中的每一个的数据大小以及组成第二视频流的每个图像数据项的数据大小计算相关值，所述相关值表示在组成第一视频流的多个图像数据项和组成第二视频流的图像数据项之间的相似度；以及检测装置，用于基于所述相关值对组成第二视频流并且对应于组成第一视频流的多个图像数据项的图像数据项进行检测。

有可能还包括编码装置，用于通过可变比特率控制对第一视频流和第二视频流进行帧内编码，在可变比特率控制中，根据图像数据项的图像内容改变编码后的数据大小，并且在计算装置中，基于组成编码的第一视频流的多个图像数据项中的每一个的数据大小以及组成编码的第二视频流的图像数据项中的每一个的数据大小计算相关值。

有可能还包括解码装置，用于对通过不同于帧内编码的编码进行编码的第一视频流和第二视频流进行解码，所述帧内编码通过可变比特率控制来进行，并且在编码装置中，通过可变比特率控制对解码的第一视频流和解码的第二视频流进行帧内编码。

在计算装置中，可以基于具有组成第一视频流的多个图像数据项的GOP(画面组)的数据大小以及具有组成第二视频流的图像数据项的GOP的数据大小来计算相关值，所述相关值表示在组成第一视频流的多个图像数据项和组成第二视频流的图像数据项之间的GOP的相似度。在检测装置中，可以基于所述相关值对在GOP中组成第二视频流并且对应于组成第一视频流的多个图像数据项的图像数据项进行检测。

在计算装置中，可以计算在组成第一视频流的多个图像数据项中的每一个的数据大小和组成第二视频流的图像数据项中的每一个的数据大小之间的差值的平方和作为相关值。在检测装置中，可以在组成第一视频流的多个图像数据项和组成第二视频流的图像数据项之间的相关值等于或者小于预定阈值时检测组成第二视频流的图像数据项。

组成第一视频流和第二视频流中的每一个的图像数据项可以根据所述图像数据项的图像内容而在数据大小方面彼此不同。

根据本发明的另一实施例，提供了一种用于对由多个图像数据项组成的第一视频流以及不同于第一视频流的第二视频流进行同步的图像处理设备的图像处理方法，该图像处理设备包括计算装置和检测装置，该图像处理方法包括：由计算装置基于组成第一视频流的多个图像数据项中的每个图像数据项的数据大小以及组成第二视频流的每个图像数据项的数据大小计算相关值，该相关值表示在组成第一视频流的预定图像数据项和组成第二视频流的图像数据项之间的相似度；以及由检测装置基于所述相关值对组成第二视频流并且对应于组成第一视频流的多个图像数据项的图像数据项进行检测。

根据本发明的另一实施例，提供了一种记录使图像处理设备的计算机用作如下装置的程序的记录介质，该图像处理设备对由多个图像数据项组成的第一视频流以及不同于第一视频流的第二视频流进行同步：计算装置，用于基于组成第一视频流的多个图像数据项中的每个图像数据项的数据大小以及组成第二视频流的每个图像数据项的数据大小计算相关值，该相关值表示在组成第一视频流的预定图像数据项和组成第二视频流的图像数据项之间的相似度；以及检测装置，用于基于所述相关值对组成第二视频流并且对应于组成第一视频流的多个图像数据项的图像数据项进行检测。

根据本发明的另一实施例，提供了一种对由多个图像数据项组成的第一视频流以及不同于第一视频流的第二视频流进行同步的图像处理设备，该图像处理设备包括：计算部件，用于基于组成第一视频流的多个图像数据项中的每个图像数据项的数据大小以及组成第二视频流的每个图像数据项的数据大小计算相关值，该相关值表示在组成第一视频流的多个图像数据项和组成第二视频流的图像数据项之间的相似度；以及检测部件，用于基于所述相关值对组成第二视频流并且对应于组成第一视频流的多个图像数据项的图像数据项进行检测。

根据本发明的实施例，基于组成第一视频流的多个图像数据项中的每个图像数据项的数据大小以及组成第二视频流的每个图像数据项的数据大小，计算表示在组成第一视频流的多个图像数据项和组成第二视频流的图像数据项之间的相似度的相关值，并且基于所述相关值对组成第二视频流的图像数据项进行检测，该图像数据项对应于组成第一视频流的多个图像数据项。

根据本发明的实施例，例如，有可能对通过捕获单个对象的图像而获得的多个视频流进行精确同步。

如在附图中示出的那样，根据本发明最佳实施例的以下详细描述，本发明的这些和其它目标、特征和优点将变得更加明显。

附图说明

图1是示出相关技术的记录/再现设备中的记录系统的示例的框图；

图2是示出相关技术的记录/再现设备中的再现系统的示例的框图；

图3是示出记录定时和再现定时的图；

图4是示出相关技术的记录/再现设备中的另一记录系统的示例的框图；

图5是示出记录定时和再现定时的图；

图6是示出向其应用本发明实施例的再现设备的结构示例的框图；

图7是示出在本发明的实施例中的再现定时的图；

图8是示出帧控制器的结构示例的框图；

图9是用于说明相关位置检测处理的流程图；

图10是用于说明以GOP(画面组)作为目标来执行本发明实施例的情况的图；

图11是示出重构被分割的视频流的状态的图；

图12是示出向其应用本发明的实施例的记录/再现设备的结构示例的框图；以及

图13是示出个人计算机的结构示例的框图。

具体实施方式

在下文中，将描述用于实现本发明的模式(在下文中，被称作本发明的实施例或者该实施例)。应注意的是，将按以下顺序进行说明。

1.本发明的实施例(其中对编码的数据项的数据大小进行相互进行比较的示例)

2.经修改的示例

(1.本发明的实施例)

(再现设备191的结构示例)

图6示出了该实施例的再现设备191的结构示例。

应注意的是，由于再现设备191和再现系统51中对应的部分由相同的附图标记来指示，因此在下文中省略其描述。

具体地，除了系统控制器78包括帧控制器78a之外，再现设备191被构造成与再现系统51相同。

此外，在再现设备191中，第一编码流171被预先记录在HDD 24中，而第二编码流172被预先记录在HDD 28中。

应注意的是，第一编码流171和第二编码流172在开始对第一视频流和第二视频流中的每个进行编码和记录的不同定时被分别记录在HDD 24和HDD 28中。

经由缓冲器71向帧控制器78a提供来自HDD 24的第一编码流171，并且经由缓冲器74向帧控制器78a提供来自HDD 28的第二编码流172。

基于组成从缓冲器71提供的第一编码流171的编码数据项的数据大小以及组成从缓冲器74提供的第二编码流172的编码数据项的数据大小，帧控制器78a计算表示相应的编码数据项的数据大小之间的相关性的相关值。

然后，基于所计算的相关值，帧控制器78a控制同步部件79，以使得第一视频流171′和第二视频流172′彼此同步。

应注意的是，参照稍后描述的图8描述关于帧控制器78a的细节。

(关于记录和再现的定时的描述)

图7示出了在再现设备191中开始对预先记录在HDD 24中的第一编码流171和预先记录在HDD 28中的第二编码流172中的每个进行解码和输出的定时。

应注意的是，图7A至7D所示的水平轴和矩形与图5A至5D中的相同。

基于组成记录在HDD 24中的第一编码数据流171的编码数据项的数据大小以及组成记录在HDD 28中的第二编码数据流172的编码数据项的数据大小，再现设备191对第一视频流171′和第二视频流172′彼此同步的图像数据项的位置进行检测。

换言之，例如，基于第一编码流171和第二编码流172的数据大小，再现设备191对来自组成第一编码流171的编码数据项的第10个编码数据项的位置以及来自组成第二编码流172的编码数据项的第一编码数据项的位置进行检测，作为存在通过在同一时刻捕获图像而获得的图像数据项的位置。

此外，再现设备191对记录在HDD 24中的第一编码流171进行解码并且获取因而获得的第一视频流171′。

此外，再现设备191对记录在HDD 28中的第二编码流172进行解码并且获取因而获得的第二视频流172′。

然后，再现设备191在第一视频流171′的对应于第一编码流171中的第10个编码数据项的位置的位置处以及在第二视频流172′的对应于第二编码流172中的第一编码数据项的位置的位置处对第一视频流171′和第二视频流172′进行同步，并且输出第一视频流171′和第二视频流172′。

换言之，例如，再现设备191对来自组成第一视频流171′的图像数据项的、位于跳过(跳越)第一至第9图像数据项之后的第10图像数据项、以及来自组成第二视频流172′的图像数据项的第一图像数据项进行同步，以便同时输出那些图像数据项。

另外，再现设备191类似地使来自组成第一视频流171′的多个图像数据项的第11个和随后的图像数据项以及来自组成第二视频流172′的多个图像数据项的第二和随后的图像数据项彼此同步。

(帧控制器78a的结构示例)

图8示出了帧控制器78a的详细结构示例。

帧控制器78a包括获取部件251、获取部件252、相关值计算部件253、相关位置检测部件254以及同步控制部件255。

获取部件251读取添加到保留在缓冲器71中的第一编码流171的报头。

然后，获取部件252从所读取的报头获取组成第一编码流171的第x项编码数据项的数据大小f(x)(x＝1，2，...)，并且将该数据大小提供到相关值计算部件253。

获取部件252读取添加到保留在缓冲器74中的第二编码流172的报头。

然后，获取部件252从所读取的报头获取组成第二编码流172的第y项编码数据项的数据大小g(y)(y＝1，2，...)，并且将该数据大小提供到相关值计算部件253。

相关值计算部件253将从获取部件251提供的数据大小f(x)和从获取部件252提供的数据大小g(y)应用于以下方程(1)，并且计算差值的平方和作为f(x)和g(y)的相关值。

(方程1)

$Z(j,k)=\underset{i}{\mathrm{\Σ}}{\{f(i+j)-g(i+k)\}}^2...\left(1\right)$

应注意的是，在方程(1)中，数字下标i是从0到N的值(N是0或者大于0的整数)。

另外，数字下标j表示从第一编码流171中的头开始的第j个位置，数字下标k表示从第二编码流172中的头开始的第k个位置。数字下标j和k是自然数。

相关值z(j，k)由第一编码流171中的第(i+j)项编码数据项的数据大小f(i+j)和第二编码流172中第(i+k)项编码数据项的数据大小g(i+k)之间的差{f(i+j)-g(i+k)}的平方{f(i+j)-g(i+k)}²的和来表示。

顺便地，通过捕获作为目标的单个对象的图像获得第一视频流171′和第二视频流172′，并且组成第一和第二视频流的多个图像数据项通过恒定比特率控制而具有相同的数据大小，通过所述恒定比特率控制使得图像数据项的数据大小恒定。

此外，通过对图像数据项进行帧内编码获得第一编码流171和第二编码流172。

应注意的是，在帧内编码中，执行通过其使得图像数据的数据大小可变的可变比特率控制，以便根据内容(诸如显示在对应于图像数据的图像中的对象)使得图像数据的数据大小适当。

具体地，例如，在图像数据表示存在较少改变的单调图像(如蓝天)的情况下，图像数据以较大压缩率被压缩并且通过帧内编码变成较小数据大小的编码数据。

此外，例如，在图像数据表示复杂图像(如多个人和建筑)的情况下，图像数据以较低压缩率进行压缩并且通过帧内编码变成大数据大小的编码数据。

另外，如上所述，通过捕获具有作为目标的单一对象的图像获得第一视频流171′和第二视频流172′。

因此，随着编码数据项的数据大小之间的差的平方{f(x)-g(y)}²变小，很有可能在相应的图像数据项之间，由图像数据项显示的内容(表示的图像)彼此相似。因此，图像数据项很有可能通过捕获同一时刻的图像来获得。

因此，随着相关值z(j，k)变小，表示对应于组成第一编码流171的第j项到第(N+j)项编码数据项的图像数据项和对应于组成第二编码流172的第k项到第(N+k)项编码数据项的图像数据项之间的相似度的相关性变高。

应注意的是，不将在执行编码之前的图像数据项之间的数据大小直接相互比较的原因是每个图像数据项通过恒定比特率控制而具有相同的数据大小，通过所述恒定比特率控制使得图像数据项的数据大小恒定。

因此，在图像数据项的数据大小根据图像内容(诸如使用图像数据项显示的对象)而彼此不同的情况下，有可能通过帧内编码计算相关值z(j，k)而无需改变数据大小。

相关值计算部件253将根据方程(1)计算的相关值z(j，k)连同数字下标j和k(表示数字下标j和k的数据)一起提供到相关位置检测部件254。

相关位置检测部件254判断从相关值计算部件253提供的相关值z(j，k)是否等于或者小于预定阈值，即，组成第一编码流171的第j项编码数据项和组成第二编码流172的第k项编码数据项是否很有可能对应于通过捕获同一时刻的图像而获得的图像数据项。

然后，当判断从相关值计算部件253提供的相关值z(j，k)等于或者小于预定阈值时，相关位置检测部件254将相应的数字下标j和k提供到同步控制部件255。

响应于从相关位置检测部件254提供数字下标j和k，同步控制部件255使对应于组成第一编码流171的第j项编码数据项的图像数据项以及对应于组成第二编码流172的第k项编码数据项的图像数据项彼此同步。

换言之，例如，同步控制部件255控制同步部件79从第j项编码数据项开始对第一编码流171进行解码，并且从第k项编码数据项开始对第二编码流172进行解码。然后，同步控制部件255控制同步部件79同时输出通过解码而获得的图像数据项。

(关于帧控制器78a的操作的描述)

接下来，参照图9的流程图，将给出关于相关位置检测处理的细节的描述，在相关位置检测处理中，从第一编码流171中的位置j和第二编码流172中的位置k的组合(j，k)中检测相关值z(j，k)等于或者小于预定阈值时获得的组合(j，k)。

在步骤S21中，获取部件251读取添加到记录在HDD 24中的第一编码流171的报头。然后，获取部件251从所读取的报头获取组成第一编码流171的编码数据项的数据大小f(x)(x＝1，2，...)，并且将该数据大小f(x)提供到相关值计算部件253。

此外，获取部件252读取添加到记录在HDD 28中的第二编码流172的报头。然后，获取部件252从所读取的报头获取组成第二编码流172的编码数据项的数据大小g(y)(y＝1，2，...)，并且将该数据大小g(y)提供到相关值计算部件253。

在步骤S22中，相关值计算部件253对数字下标j和k中的每个进行初始化(设置为0)。

在步骤S23中，相关值计算部件253将从获取部件251提供的数据大小f(x)和从获取部件252提供的数据大小g(y)应用于方程(1)，并且计算相关值z(j，k)。

然后，相关值计算部件253将根据方程(1)计算的相关值z(j，k)连同数字下标j和k一起提供到相关位置检测部件254。

在步骤S24中，相关位置检测部件254判断从相关值计算部件253提供的相关值z(j，k)是否等于或者小于预定阈值，即，组成第一编码流171的第j项编码数据项和组成第二编码流172的第k项编码数据项是否很有可能对应于通过捕获同一时刻的图像获得的图像数据项。

然后，当判断从相关值计算部件253提供的相关值z(j，k)等于或者小于预定阈值时，相关位置检测部件254将数字下标j和k提供到同步控制部件255，并且处理继续到步骤S25。

在步骤S25中，响应于从相关位置检测部件254提供数字下标j和k，同步控制部件255使组成第一视频流171′的第j项图像数据项和组成第二视频流172′的第k项图像数据项彼此同步。

此外，同步控制部件255类似地使来自组成第一视频流171′的图像数据项的第(j+1)项和随后的图像数据项以及来自组成第二视频流172′的图像数据项的第(k+1)项和随后的图像数据项彼此同步，以便同时输出，所述处理结束。

此外，当相关位置检测部件254判断从相关值计算部件253提供的相关值z(j，k)不等于或者小于预定阈值时，处理继续到步骤S26。

在步骤S26中，相关值计算部件253将数字下标j加1，并且将增加之后的数字下标j设置为新的数字下标j。

在步骤S27中，相关值计算部件253判断数字下标j是否大于组成第一编码流171的编码数据项的数量，该数量由j_max表示。当相关值计算部件253判断数字下标j不大于数字j_max时，处理返回到步骤S23，并且随后重复同一处理。

此外，在步骤S27中，当相关值计算部件253判断数字下标j大于数字j_max时，处理继续到步骤S28。

在步骤S28中，相关值计算部件253对数字下标j进行初始化(设置为0)。

在步骤S29中，相关值计算部件253将数字下标k加1，并且将增加后的数字下标k设置为新的数字下标k。

在步骤S30中，相关值计算部件253判断数字下标k是否大于组成第二编码流172的编码数据项的数量，该数量由k_max来表示。当相关值计算部件253判断数字下标k不大于数字k_max时，处理返回到步骤S23，并且随后重复同一处理。

另一方面，当相关值计算部件253在步骤S30中判断数字下标k大于数字k_max时，处理结束。

使用该处理，相关位置检测处理结束。

如上所述，在相关位置检测处理中，基于第一编码流171和第二编码流172的数据大小计算相关值z(j，k)，并且当所计算的相关值z(j，k)等于或者小于预定阈值时，第一视频流171′中的第j项图像数据项和第二视频流172′中的第k项图像数据项彼此同步。

因此，在相关位置检测处理中，即使如在第一相关技术中一样在图像数据项及其相应的音频数据项之间引起了时间偏移时，也可能基于根据数据大小计算的相关值z(j，k)来精确地同步第一视频流171′和第二视频流172′。

另外，在相关位置检测处理中，使用根据数据大小计算的相关值z(j，k)使第一视频流171′和第二视频流172′彼此同步。因此，两个流可以彼此同步而无需执行特殊处理(诸如记录表示获取图像数据的时间的时间印记)，以便使视频流彼此同步。

换言之，例如，甚至对于使用不记录时间印记的摄像机捕获的视频流或者由其中开始记录视频流的时刻偏移的记录系统121等记录的视频流，也有可能通过比较视频流的数据大小来使视频流彼此同步。

应注意的是，在相关位置检测处理中，在步骤S25中使组成第一视频流171′的第j项图像数据项和组成第二视频流172′的第k项图像数据项彼此同步。

然而，在步骤S25的处理之后的情况下，用户通过查看在显示器等上的同步图像数据项判断组成第一视频流171′的第j项图像数据项和组成第二视频流172′的第k项图像数据项不是通过捕获同一时刻的图像获得的图像数据项，处理可根据用户操作从步骤S26开始。

此外，在难以通过相关位置检测处理使通过捕获同一时刻的图像获得的图像数据项彼此同步的情况下，用户可参照通过相关位置检测处理的处理结果，对第一视频流171′和第二视频流172′进行同步，同时检查对应于图像数据项的图像，该图像显示在显示器等上。

在该情况下，通过用户仅检查对应于所述图像数据项的图像，所述图像显示在显示器等上，与通过用户手动操作来使第一视频流171′和第二视频流172′彼此同步的情况相比，有可能更迅速地同步第一视频流171′和第二视频流172′。

(2.经修改的示例)

在该实施例中，使用通过对图像数据项执行可变比特率控制而获得的编码数据项的数据大小f(x)和g(y)来计算相关值z(j，k)，并且在所计算的相关值z(j，k)等于或者小于预定阈值的情况下，组成第一视频流171′的第j项图像数据项和组成第二视频流172′的第k项图像数据项彼此同步。

然而，在该实施例中，在通过使用通过恒定比特率控制执行的帧内编码以同一压缩率对图像数据项进行编码(压缩)获得、或者通过诸如MPEG编码方法(其中图像数据项之间的相关性用于编码)的编码方法对图像数据项进行压缩获得编码流的情况下，难以利用编码的数据项的数据大小之间的差别来计算所述编码数据项之间的相关值z(j，k)。

在该情况下，在再现设备191中，有可能提供用于对通过与通过恒定比特率控制执行的帧内编码或者MPEG编码方法对应的编码等获得的编码流进行解码的新解码器，以及用于通过可变比特率控制对通过由前一个前述新解码器执行的解码获得的视频流进行帧内编码的新解码器。

即，再现设备191使用所述前一个新解码器对编码流进行解码并且使用后一个解码器对由通过可变比特率控制的以上获得的视频流进行帧内编码，并且获取作为以上结果而获得的新编码流。然后，再现设备191可以实现本发明的实施例，其中所获取的新编码流作为目标。

此外，在该实施例中，对在相关值z(j，k)等于或者小于预定阈值时获得的图像数据项进行检测。然而，在编码流由每个包括多个通过MPEG编码方法进行编码的画面的GOP(画面组)组成的情况下，有可能检测在相关值z(j，k)等于或者小于预定阈值时获得的GOP。

图10示出了检测在相关值z(j，k)等于或者小于预定阈值时获得的GOP的方法。

应注意的是，在图10A和图10B中水平轴表示同一时间。

例如，如图10A所示，由每个包括多个画面(例如，15个画面)的GOP组成的第一编码流281被记录在再现设备191的HDD 24中。

此外，例如，如图10B所示，由GOP组成的第二编码流282被记录在再现设备191的HDD 28中，其中所述GOP每个包括的画面数量与组成第一编码流281的GOP的相同。

再现设备191基于组成记录在HDD 24中的第一编码流281的每个GOP的数据大小以及组成记录在HDD 28中的第二编码流282的每个GOP的数据大小计算相关值z(j，k)。

当所计算的相关值z(j，k)等于或者小于预定阈值时，再现设备191对组成第一编码流281的第j项GOP和组成第二编码流282的第k项GOP进行检测。

然后，再现设备191通过MPEG解码方法对所检测的GOP进行解码，并且获取包括通过所述解码而获得的多个图像数据项的视频流。再现设备191通过可变比特率控制对所获取的两个视频流进行帧内编码，并且对因而获得的两个编码流执行上述相关位置检测处理。

这样，与对组成第一编码流281和第二编码流282中的每个的所有GOP进行解码并且对通过可变比特率控制执行帧内编码而获得的结果执行相关位置检测处理的情况相比，有可能更迅速地检测两个视频流彼此同步的位置。

在再现设备191中，可对所检测的两个GOP进行解码，并且然后作为解码结果的视频流可顺次显示在显示器等上并且通过用户手动操作而彼此同步。

应注意的是，在该实施例中，基于根据数据大小计算的相关值z(j，k)使第一视频流171′和第二视频流172′彼此同步。例如，有可能对彼此同步的第一视频流171′和第二视频流172′的图像数据项进行组合，并且生成立体可视的图像，或者在两个不同的显示器上显示同一时刻的图像数据项。

此外，如图11所示，有可能将输出视频流的帧速率设置为较高的帧速率，以使得第一视频流171′和第二视频流172′彼此同步。

图11示出了将输出视频流的帧速率设置为较高帧速率的方法。

应注意的是，在图11A中，第三视频流311表示高帧速率的视频流，该视频流从第一视频流171′和第二视频流172′生成并且被输出。

此外，在图11B中，第一视频流171′由被采用作为在输出的第三视频流311中的奇数图像数据项的图像数据项组成。

在图11C中，第二视频流172′由被采用作为在输出的第三视频流311中的偶数图像数据项的图像数据项组成。

应注意的是，在图11中，通过在(基本上)同一方向上捕获同一对象的图像来获得第一视频流171′和第二视频流172′。

再现设备191使第一视频流171′和第二视频流172′彼此同步，并且将组成第一视频流171′的图像数据项和组成第二视频流172′的图像数据项分别设置为奇数图像数据项和偶数图像数据项，从而输出通过交替排列那些图像数据项而获得的第三视频流311。

因此，例如，与第一视频流171′和第二视频流172′中的任何一个被输出的情况相比，再现设备191可以将所输出的第三视频流311的帧速率设置为双倍。

此外，如图12所示，本发明的实施例可以应用于例如除具有再现设备191的功能之外还具有记录系统121的功能的记录/再现设备341。

图12示出了具有向其应用本发明的实施例的再现设备191的功能以及相关技术中的记录系统121的功能两者的记录/再现设备341。

记录/再现设备341包括：与图4的从输入部件21到HDD 24相同构造的从输入部件371到HDD 374；与图6的从缓冲器71到输出部件73相同构造的从缓冲器375到输出部件377；与同步部件79相同构造的同步部件378；与系统控制器78和系统控制器141相同构造的系统控制器379；与帧控制器78a相同构造的帧控制器379a；与写控制部件31和读控制部件77相同构造的读/写控制部件380；与从输入部件25到HDD 28相同构造的从输入部件381到HDD 384；以及与从缓冲器74到输出部件76相同构造的从缓冲器385到输出部件387。

应注意的是，在该实施例中，方程(1)被用作用于计算相关值z(j，k)的方程，但是本发明不限于此。只要计算表示与组成第一编码流171的编码数据对应的图像数据和与组成第二编码流172的编码数据对应的图像数据之间的相似度的值，可使用任何方程。

因此，例如，有可能采用∑{f(j-i)-g(k-1)}²、∑{f(2i+j)-g(2i+k)}²、∑{f(2i+1+j)-g(2i+1+k)}²、数据大小f(i+j)和数据大小g(i+k)之间的绝对差|f(i+j)-g(i+k)|的和∑|f(i+j)-g(i+k)|等作为用于计算相关值z(j，k)的方程。

顺便地，在硬盘视频记录器中，如要记录的图像数据的图像质量从正常图像质量转换为高图像质量或者屏幕分辨率从SD(标准清晰度)转换为HD(高清晰度)的情况一样，近来已经对帧速率执行了从正常帧速率到高帧速率的转换。

因此，在硬盘视频记录器中，在某些情况下，每单位时间记录在内置硬盘中的编码数据的数据大小变大并且需要花费大量时间来执行对图像数据进行编码的编码处理。

在该情况下，设想硬盘视频解码器装备有多个用于执行编码处理的处理部件，并且由要被记录的图像数据组成的记录视频流被分成多个视频流(例如，由来自记录视频流的图像数据项的偶数图像数据项组成的视频流、以及由来自记录视频流的图像数据项的奇数图像数据项组成的视频流)，并且由多个处理部件对多个视频流执行编码处理，从而缩短编码处理所需的时间。

当如上所述地构造硬盘视频解码器时，有必要对通过分割记录视频流获得的多个视频流进行同步并且将它们恢复为原始记录视频流。还是在该情况下，可以应用本发明的实施例以便同步多个视频流。

顺便地，上述系列处理可以由专用硬件或者软件来执行。在所述系列处理由软件来执行的情况下，组成该软件的程序被从记录介质安装在所谓的内置计算机中，所述内置计算机为能够通过安装各种类型的程序来执行各种类型的功能的通用计算机等。

图13示出了通过程序执行上述系列处理的个人计算机的结构示例。

CPU(中央处理单元)411根据存储在ROM(只读存储器)412或者存储部件418中的程序执行各种类型的处理。RAM(随机存取存储器)413适当地存储由CPU 411执行的程序、数据等。那些CPU 411、ROM 412以及RAM 413经由总线414彼此连接。

输入/输出接口415也经由总线414连接到CPU 411。由键盘、鼠标、麦克风等组成的输入部件416以及由显示器、扬声器等组成的输出部件417连接到输入/输出接口415。CPU 411根据从输入部件416输入的指令执行各种类型的处理。然后，CPU 411将所述处理的结果输出到输出部件417。

连接到输入/输出接口415的存储部件418由例如硬盘组成，并且存储由CPU 411执行的程序以及各种类型的数据。通信部件419经由网络(诸如互联网和局域网)与外部设备进行通信。

此外，程序可经由通信部件419来获取并且可被存储在存储部件418中。

连接到输入/输出接口415的驱动器420驱动可拆卸介质421(诸如磁盘、光盘、磁光盘以及它们被安装到的半导体存储器)，并且获取记录在其上的程序、数据等。所获取的程序或者数据被适当地传送到存储部件418并且被存储在其中。

如图13所示，安装在计算机中并且记录(存储)可由计算机执行的程序的记录介质的示例包括作为由磁盘(包括软盘)、光盘(包括CD-ROM(致密盘一只读存储器)和DVD(数字多功能盘))、磁光盘(包括MD(迷你盘))以及半导体存储器组成的封装介质的可拆卸介质421、程序暂时或者永久地被存储在其中的ROM 412、以及组成存储部件418的硬盘。程序适当地经由用作接口(诸如路由器和调制解调器)的通信部件419通过无线或者有线传送介质(诸如局域网、互联网以及数字广播)而被记录在记录介质上。

应注意的是，在这里，描述相关位置检测处理的步骤包括沿着这里所描述的顺序以时间顺序执行的过程处理以及尽管不以时间顺序执行处理但是并行地或者单独地执行的处理。

本申请包含与在2009年3月4日向日本专利局提交的日本优先权专利申请JP 2009-050452中公开的主题内容相关的主题内容，在此通过引用将其全文合并于此。

本领域的技术人员应该理解，可以取决于设计要求和其它因素进行各种修改、组合、子组合和变更，只要它们在所附权利要求或者其等同内容的范围内。

Claims (9)

1.一种对由多个图像数据项组成的第一视频流和不同于所述第一视频流的第二视频流进行同步的图像处理设备，所述图像处理设备包括：

计算装置，用于基于组成所述第一视频流的多个图像数据项中的每一个的数据大小以及组成所述第二视频流的每个图像数据项的数据大小计算相关值，所述相关值表示组成所述第一视频流的多个图像数据项和组成所述第二视频流的图像数据项之间的相似度；以及

检测装置，用于基于所述相关值对组成所述第二视频流且对应于组成所述第一视频流的多个图像数据项的图像数据项进行检测。

2.根据权利要求1所述的图像处理设备，还包括：

编码装置，用于通过可变比特率控制对所述第一视频流和所述第二视频流进行帧内编码，在所述可变比特率控制中，根据图像数据项的图像内容而改变经所述编码后的数据大小，

其中所述计算装置基于组成编码的第一视频流的多个图像数据项中的每一个的数据大小以及组成编码的第二视频流的每个图像数据项的数据大小计算所述相关值。

3.根据权利要求2所述的图像处理设备，还包括：

解码装置，用于对已被编码的第一视频流和第二视频流进行解码，其中对所述第一视频流和所述第二视频流所进行的编码不同于通过所述可变比特率控制而进行的帧内编码，

其中所述编码装置通过所述可变比特率控制对解码的第一视频流和解码的第二视频流进行帧内编码。

4.根据权利要求1所述的图像处理设备，

其中所述计算装置基于具有组成所述第一视频流的多个图像数据项的GOP(画面组)的数据大小以及具有组成所述第二视频流的图像数据项的GOP的数据大小计算所述相关值，所述相关值表示组成所述第一视频流的多个图像数据项和组成所述第二视频流的图像数据项之间的GOP的相似度，并且

其中所述检测装置基于所述相关值对GOP中组成所述第二视频流且对应于组成所述第一视频流的多个图像数据项的图像数据项进行检测。

5.根据权利要求1所述的图像处理设备，

其中所述计算装置计算组成所述第一视频流的多个图像数据项中的每一个的数据大小和组成所述第二视频流的每个图像数据项的数据大小之间的差值的平方和作为所述相关值，并且

其中，所述检测装置检测在组成所述第一视频流的多个图像数据项和组成所述第二视频流的图像数据项之间的所述相关值等于或者小于预定阈值时组成所述第二视频流的图像数据项。

6.根据权利要求1所述的图像处理设备，

其中组成所述第一视频流和所述第二视频流中的每一个的图像数据项基于所述图像数据项的图像内容而在数据大小方面彼此不同。

7.一种用于对由多个图像数据项组成的第一视频流和不同于所述第一视频流的第二视频流进行同步的图像处理设备的图像处理方法，所述图像处理设备包括计算装置和检测装置，

所述图像处理方法包括：

由所述计算装置基于组成所述第一视频流的多个图像数据项中的每一个的数据大小以及组成所述第二视频流的每个图像数据项的数据大小计算相关值，所述相关值表示组成所述第一视频流的预定图像数据项和组成所述第二视频流的图像数据项之间的相似度；以及

由所述检测装置基于所述相关值对组成所述第二视频流且对应于组成所述第一视频流的多个图像数据项的图像数据项进行检测。

8.一种记录使图像处理设备的计算机用作以下装置的程序的记录介质，所述图像处理设备对由多个图像数据项组成的第一视频流和不同于所述第一视频流的第二视频流进行同步：

计算装置，用于基于组成所述第一视频流的多个图像数据项中的每一个的数据大小以及组成所述第二视频流的每个图像数据项的数据大小计算相关值，所述相关值表示组成所述第一视频流的预定图像数据项和组成所述第二视频流的图像数据项之间的相似度；以及

检测装置，用于基于所述相关值对组成所述第二视频流且对应于组成所述第一视频流的多个图像数据项的图像数据项进行检测。

9.一种对由多个图像数据项组成的第一视频流和不同于所述第一视频流的第二视频流进行同步的图像处理设备，所述图像处理设备包括：

计算部件，用于基于组成所述第一视频流的多个图像数据项中的每一个的数据大小以及组成所述第二视频流的每个图像数据项的数据大小计算相关值，所述相关值表示组成所述第一视频流的多个图像数据项和组成所述第二视频流的图像数据项之间的相似度；以及

检测部件，用于基于所述相关值对组成所述第二视频流且对应于组成所述第一视频流的多个图像数据项的图像数据项进行检测。

Images