CN101262584B - 视频服务器、视频编辑系统以及视频服务器的图像数据记录再现方法 - Google Patents

Abstract

本发明涉及视频服务器、具备可变速预览功能的视频编辑系统、以及视频服务器的图像数据记录再现方法。在视频服务器(2)中，将表示对来自收录线(1)的输入图像数据进行编码时的比特率的速率信息和编码数据一同记录到记录介质中，在预览再现时按照速率信息控制再现速度，以使比特率越高再现速度就变得越低。

Description

视频服务器、视频编辑系统以及视频服务器的图像数据记录再现方法

本申请基于并请求2007年3月9日提交的申请号为2007-060663的日本专利申请的优先权，其全部内容通过引入而包含于此。

技术领域

本发明涉及视频服务器、具备可变速预览功能的视频编辑系统、以及视频服务器的图像数据记录再现方法。

背景技术

一般在电视广播的节目输出系统中，通过线路发送来的图像以及来自监控摄像机的图像等的接收图像被暂时保存在视频服务器中。视频服务器中保存的图像在由操作人员编辑之后，从视频服务器适当输出。操作人员对在视频服务器中所保存的图像，通过预览监视器进行再现的同时对其进行编辑。

在编辑时的预览时，从效率方面考虑，最好对于图像的变化较大的区间，用等倍速或低速进行再现，对于图像的变化较小的区间，采用倍速再现等的高速再现。特别是，从中继现场通过线路发送来的收录图像，多是变化较少或几乎没有变化的单调的图像，在这种单调的图像的区间最好高速进行再现。因此，在过去，对于因往复操作而发生图像变化的点进行手动搜索，并基于这种方式对单调的图像区间进行高速再现，对于这以外的区间，采用进行等倍速再现和低速再现的方法。

另一方面，已知如下的图像系统，在该图像系统中，通过摄像时的帧速(framerate)可变的摄像机，仅采用比标准帧速稍微高速或稍微低速的帧速进行摄像，并在记录介质中记录图像，在再现时，以标准帧速进行再现，从而获得动人的慢动作图像和高速动态图像。

日本特开2002-320203号公报中示出的技术，在上述图像系统中，将直接或间接地表示摄像机的帧速的速率信息与图像一起记录在记录介质上，在再现时，在用与标准帧速不同的速率进行再现时，可根据速率信息自动调整再现速度。

日本特开2004-180289号公报中示出的技术，在与日本特开2002-320203号公报中公开的相同的系统中，先将表示摄像时的帧速的信息与图像信号一同记录下来，在编辑时识别摄像时的帧速来调整再现时的帧速。

但是，在日本特开2002-320203号公报以及日本特开2004-180289号公报中，没有公开对应于图像变化来自动调整再现时的帧速的技术。

在如上所述将存储在视频服务器中的图像通过预览监视器再现的同时进行编辑时，最好对于图像变化剧烈的区间，进行较低速的再现，对于变化少的区间，进行高速再现。这种情况下，过去，采用了对于因往复操作而产生图像变化的点进行手动搜索、并基于此手动调整再现速度的方法，因此，存在着操作人员的编辑的工作效率低下的问题。

发明内容

本发明的目的是要提供一种不必进行手动操作，就可进行对应于图像变化的可变速预览的视频服务器、视频编辑系统以及视频服务器的图像数据记录再现方法。

本发明的第1方面的视频服务器视频编码器，将输入图像数据以可变比特率进行编码，并输出编码数据；速率控制部，控制所述比特率，并且输出表示所述比特率的速率信息；记录部，将所述编码数据及所述速率信息记录到记录介质中；再现部，将在所述记录介质中记录的编码数据以可变再现速度进行再现，并输出再现编码数据，并且，将在所述记录介质中记录的速率信息进行再现，并输出再现速率信息；视频解码器，将所述再现编码数据进行解码，并输出再现图像数据；以及再现控制部，根据所述再现速率信息控制所述再现速度，以使所述彼特率越高所述再现速度就变得越低，在预先指定的对象存在于图像中的情况下，所述再现控制部(27)将所述再现速度控制为不论所述比特率如何都降低所述再现速度。

本发明的第2方面的视频服务器包括：视频编码器，将输入图像数据以可变比特率进行编码，并输出编码数据；速率控制部，控制所述比特率，并且将表示所述比特率的速率信息存储到数据库中；记录部，将所述编码数据记录到记录介质中；再现部，将记录在所述记录介质中的编码数据以可变再现速度进行再现，并输出再现编码数据；视频解码器，将所述再现编码数据进行解码，并输出再现图像数据；以及再现控制部，根据存储在所述数据库(18)中的速率信息控制所述再现速度，以使所述比特率越高所述再现速度就变得越低，在预先指定的对象存在于图像中的情况下，所述再现控制部(27)将所述再现速度控制为不论所述比特率如何都降低所述再现速度。

本发明的第3方面的视频编辑系统包括：所述第1和第2方面的视频服务器；再现控制器，对所述视频服务器指定记录在所述记录部中的图像数据，使所述视频服务器有选择地执行再现；以及预览监视器，按照由所述视频服务器再现的图像数据，显示图像。

本发明的第4方面的视频服务器的图像数据记录再现方法，将输入图像数据以可变比特率进行编码，将用该编码数据和表示所述编码时的比特率的速率信息记录到记录介质中，将所述记录介质中记录的编码数据以可变再现速度进行再现，并输出再现编码数据，将所述记录介质中记录的速率信息进行再现，并输出再现速率信息，将所述再现编码数据进行解码，并输出再现图像数据，以及根据所述再现速率信息控制所述再现速度，以使所述比特率越高所述再现速度就变得越低，在预先指定的对象存在于图像中的情况下，将所述再现速度控制为不论所述比特率如何都降低所述再现速度。

本发明的第5方面的视频服务器的图像数据记录再现方法，将输入图像数据以可变比特率进行编码，将该编码数据记录到记录介质中，将表示所述编码时的比特率的速率信息存储到数据库中，将记录在所述记录介质中的编码数据以可变再现速度进行再现，并输出再现编码数据，将所述再现编码数据进行解码，并输出再现图像数据，以及根据在所述数据库中存储的速率信息，控制所述再现速度，以使所述比特率越高所述再现速度就变得越低，在预先指定的对象存在于图像中的情况下，将所述再现速度控制为不论所述比特率如何都降低所述再现速度。

本发明的优点将在以下的说明书中进行说明，并且从说明书中来看这些优点在部分上是很明显的，或者可以通过本发明的实施而明了。尤其是借助于下面所提出的手段和结合将使本发明的优点得以被认识和获知。

附图说明

被引入且构成说明书一部分的附图示出了本发明的实施方式，并与上而所做的一般描述和下面所给出的详细描述一起用于阐明本发明原理。

图1是示出本发明的一实施方式的包含视频服务器的视频编辑系统的结构的框图。

图2是示出同一实施方式的视频服务器的记录侧的结构的框图。

图3是示出同一实施方式的视频服务器的再现侧的结构的框图。

具体实施方式

下面，参照附图对本发明的一实施方式进行说明。

如图1所示，在本发明的一实施方式的包含视频服务器的视频编辑系统中，经收录线1输入输入图像数据10。输入图像数据10例如是从中继现场或其他服务器等通过线路发送来的图像数据，或者是由监控摄像机拍摄的图像数据。输入图像数据10存储到视频服务器2中。在视频服务器2中存储的图像数据被适当发送到发送线3。在视频服务器2中，通过预览线4与预览监视器5连接，并且还通过控制线7与再现控制器6连接。

视频服务器2基本上具有如下的功能：将来自收录线1的输入图像数据进行压缩并存储在记录介质中，并且将存储的图像数据再现后向发送线3送出。此外，视频服务器2具有根据图像的变化以再现速度进行预览再现的功能，由此再现的图像数据被预览监视器5显示为图像。

接下来，对视频服务器2进行详细说明。

图2示出了视频服务器2的记录侧的结构，来自收录线1的输入图像数据10被输入到视频编码器11以及图像变化判断部12。视频编码器11按照例如称作MPEG-2和H.264的动态图像编码方法，通过对输入图像数据10进行编码来进行压缩，并输出编码数据14。

图像变化判断部12根据输入图像数据10判断图像的时间变化程度，并输出表示变化程度的信息(以下称为变化程度判断信息)。判断图像的变化程度的方法有多种。例如，能够使用运动向量(通常的块单位的运动向量)、全局运动向量(帧整体的运动向量)或者是帧间差分等反映图像的运动和/或时间变化的参数，来判断图像的变化程度。

另外，还能利用判断图像的画面内的静区域和动区域的动静判定技术，判断例如动区域的比例大以及图像的变化程度大的图像。此外，也可以利用各种公知技术对图像的变化程度进行判断。

从图像变化判断部12输出的变化程度判断信息被输入到速率控制部13。速率控制部13基本上具有如下的功能：根据视频编码器11的生成编码量和输入图像数据10的图像的运动，控制视频编码器11编码时的比特率(编码数据14的比特率)。本实施方式的速率控制部13增加了这样的基本功能，具有根据来自图像变化判断部12的变化程度判断信息控制比特率的功能。

也就是说，速率控制部13根据变化程度判断信息，若图像的变化程度小，则使比特率变低，若图像的变化程度大，则使比特率变高，这样与根据视频编码器11的生成编码量和图像的运动进行的比特率控制不同，而根据图像的变化程度来进行比特率控制。速率控制部13还输出速率信息15，该速率信息15表示速率控制部13对视频编码器11设定的比特率。

速率控制部13进行的比特率的控制，例如在视频编码器11采用基于MPEG-2和H.264的动态图像编码方式那样的动态补偿预测、DCT(离散余弦变换)正交变换、量化以及熵编码的情况下，通过对正交变换系数控制量化参数(量化幅度)。如果生成编码量较大，则使量化幅度较大(降低比特率)，反之，如果生成编码量较小，则减小量化幅度(提高比特率)。

从视频编码器11输出的编码数据14，经由记录电路16记录到记录介质17中。另一方面，从速率控制部13输出的速率信息15，经由记录电路16记录到记录介质17的附加区域(记录编码数据14的区域以外的辅助区域)。在记录介质17中可以采用可高速访问的大容量存储装置，例如优选的是闪存。

在这种视频服务器2的记录侧，将通过视频编码器11对输入图像数据10进行编码而得的编码数据14记录在记录介质17中，并且将表示视频编码器11中的比特率的速率信息15记录在记录介质17的附加区域中。在视频服务器2的再现侧，根据从记录介质17再现的速率信息，控制图像数据的再现速度。

图3示出来视频编码器11的再现侧的结构。在记录介质17中记录的编码数据被再现电路21再现，被再现的编码数据22输入到视频解码器23中。在视频编码器23中，通过对编码数据22进行解码而生成再现图像数据24。再现图像数据24被发送到发送线3，并且在预览再现时，通过预览线4提供给预览监视器5。

另一方面，在记录介质17的附加区域中记录的速率信息也通过再现电路21进行再现，并从再现电路21输出再现速率信息25。再现速率信息25输入到图像变化判断部26。在图像变化判断部26中，根据再现速率信息25判断再现图像数据24的图像变化程度，并将变化程度信息赋予预览再现控制部27。

预览再现控制部27当通过控制线7从再现控制器6接收到指定图像编码数据的预览命令信号时，向再现电路21给出编码数据的选择指示，从记录介质17中读出相应的编码数据。然后，根据图像变化判断部26给出的变化程度信息，控制再现电路21的预览再现时的再现速度。即，如果图像的变化程度小，就相对地提高再现速度(例如高速再现)，如果变化程度大，就相对地降低再现速度(等倍速再现或者是低速再现)。

结果，操作人员在监视监视器5上的图像的同时进行图像编辑的情况下，通过对变化程度小的图像例如来自中继现场的收录图像那样的单调的图像以高速进行再现，并仅对变化程度大的图像以相对低速进行再现，由此提高编辑时的工作效率。即，能够免去如过去那样对于因往复操作而产生图像变化的点进行手动查找、并基于此来调整再现速度的工作，能够实现手动操作的自动化。

本发明也可以实施如下的各种变形。例如，虽然上述的说明中，将速率信息15记录在记录介质17中，但也可以如图2所示那样，将速率信息17存储在预先准备于视频系统中的数据库18中。在预览再现时，如图3所示，从预览再现控制部27向数据库18给出指示待预览的编码数据，从数据库18中读出相应的速率信息25并给与图像变化判断部26。

此外，视频编码器11的编码时的比特率，即使在仅进行过去的基于发生编码量和/或运动的速率控制时，也反映某种程度的图像变化程度。即，如果图像的变化程度大，则例如由于帧间差分和/或视频编码器11的运动补偿预测时的预测误差变大，所以生成编码量增大，结果进行速率控制，以使比特率降低，从而抑制生成编码量。

因此，即使速率控制部13仅进行基于生成编码量和/或运动来进行的过去的速率控制，但由于比特率及速率信息15因图像的变化程度而产生某种程度的变化，所以也可以省略图像变化判断部12。另一方面，也可以在再现侧省略图像变化判断部26。也就是说，预览再现控制部27也可以根据再现速率信息25进行控制再现速度，以便编码数据的比特率越大再现速度越低。

另外，还可以增加如下功能：在预览时，由再现控制器6经由控制线7指定确定的对象(例如，人物和物体)，对于包含该指定的对象的图像，控制再现速度，以便与图像的变化程度和比特率无关地以低速进行预览再现。具体而言，例如，在记录时，利用MPEG-4所规定的任意形状对象编码技术进行图像数据的编码，并在再现时，根据判断编码数据所指定的对象是否包含在图像中，如果该对象包含在图像中，只要降低再现速度并进行等倍速再现或低速再现就可以。

此外，本发明不限于上述实施方式，在实施阶段，在不偏离本发明的原则的范围内可对构成要素进行变形来具体化。而且，通过将上述实施方式所展示的多种构成要素适当地组合在一起，能够形成各种发明。例如，可以从实施方式所示出的全部构成要素中去掉几个构成要素。并且，也可以将涉及不同实施方式的构成要素适当地组合在一起。

对于本领域技术人员而言可以预见其他的优点和改进。因此，本发明在其较宽泛的范围内不限于此处所显示和描述的特定细节和代表性实施方式。因此，在不脱离所附权利要求及其等价体所定义的一般创造性原理的精神和范围下可做出各种改进。

Claims (9)

1.一种视频服务器，其特征在于，包括：

视频编码器(11)，将输入图像数据以可变比特率进行编码，并输出编码数据；

速率控制部(13)，控制所述比特率，并且输出表示所述比特率的速率信息；

记录部(16)，将所述编码数据及所述速率信息记录到记录介质(17)中；

再现部(21)，将在所述记录介质(17)中记录的编码数据以可变再现速度进行再现，并输出再现编码数据，并且，将在所述记录介质(17)中记录的速率信息进行再现，并输出再现速率信息；

视频解码器(23)，将所述再现编码数据进行解码，并输出再现图像数据；以及

再现控制部(27)，根据所述再现速率信息控制所述再现速度，以使所述比特率越高所述再现速度就变得越低，

在预先指定的对象存在于图像中的情况下，所述再现控制部(27)将所述再现速度控制为不论所述比特率如何都降低所述再现速度。

2.一种视频服务器，其特征在于，包括：

视频编码器(11)，将输入图像数据以可变比特率进行编码，并输出编码数据；

速率控制部(13)，控制所述比特率，并且将表示所述比特率的速率信息存储到数据库(18)中；

记录部(16)，将所述编码数据记录到记录介质(17)中；

再现部(21)，将记录在所述记录介质(17)中的编码数据以可变再现速度进行再现，并输出再现编码数据；

视频解码器(23)，将所述再现编码数据进行解码，并输出再现图像数据；以及

再现控制部(27)，根据存储在所述数据库(18)中的速率信息控制所述再现速度，以使所述比特率越高所述再现速度就变得越低，

在预先指定的对象存在于图像中的情况下，所述再现控制部(27)将所述再现速度控制为不论所述比特率如何都降低所述再现速度。

3.如权利要求1或2记载的视频服务器，其特征在于，

进一步具有判断部(12)，该判断部(12)根据所述输入图像数据判断图像的变化程度，

所述速率控制部(13)控制所述比特率，以使所述图像的变化程度越大所述比特率就变得越高。

4.如权利要求1记载的视频服务器，其特征在于，所述再现控制部(27)按照所述再现速率信息控制所述再现速度，以使图像的变化程度越大所述再现速度就变得越低。

5.如权利要求2记载的视频服务器，其特征在于，所述再现控制部(27)按照所述数据库(18)中存储的速率信息控制所述再现速度，以使图像的变化程度越大所述再现速度就变得越低。

6.如权利要求1记载的视频服务器，其特征在于，在图像中产生部分运动的情况下，所述再现控制部(27)将所述再现速度控制为不论所述比特率如何都降低所述再现速度。

7.一种视频编辑系统，其特征在于，包括：

如权利要求1-6中任一项所述的视频服务器(2)；

再现控制器(6)，对所述视频服务器(2)指定记录在所述记录部(16)中的图像数据，使所述视频服务器(2)有选择地执行再现；以及

预览监视器(5)，按照由所述视频服务器(2)再现的图像数据，显示图像。

8.一种视频服务器的图像数据记录再现方法，其特征在于，

将输入图像数据以可变比特率进行编码，

将用该编码数据和表示所述编码时的比特率的速率信息记录到记录介质(17)中，

将所述记录介质(17)中记录的编码数据以可变再现速度进行再现，并输出再现编码数据，

将所述记录介质(17)中记录的速率信息进行再现，并输出再现速率信息，

将所述再现编码数据进行解码，并输出再现图像数据，

根据所述再现速率信息控制所述再现速度，以使所述比特率越高所述再现速度就变得越低，

在预先指定的对象存在于图像中的情况下，将所述再现速度控制为不论所述比特率如何都降低所述再现速度。

9.一种视频服务器的图像数据记录再现方法，其特征在于，

将输入图像数据以可变比特率进行编码，

将该编码数据记录到记录介质(17)中，

将表示所述编码时的比特率的速率信息存储到数据库(18)中，

将记录在所述记录介质(17)中的编码数据以可变再现速度进行再现，并输出再现编码数据，

将所述再现编码数据进行解码，并输出再现图像数据，根据在所述数据库(18)中存储的速率信息，控制所述再现速度，以使所述比特率越高所述再现速度就变得越低，

在预先指定的对象存在于图像中的情况下，将所述再现速度控制为不论所述比特率如何都降低所述再现速度。

Images