CN102111635A - 视频信号处理设备和视频信号处理方法 - Google Patents

Abstract

本发明涉及视频信号处理设备和视频信号处理方法。其中公开的视频信号处理设备包括图像输出部分、操纵部分以及视频信号提取部分。

Description

视频信号处理设备和视频信号处理方法

技术领域

本发明涉及视频信号处理设备和视频信号处理方法，它们各自例如适用于被应用到由利用两个相机捕获的图像来产生三维(3D)图像的情况。

背景技术

以往已经使用了将使用两个相机捕获的图像混合从而获得三维图像的3D相机系统。该3D相机系统使用了这样的系统：在该系统中，两个相机被安装在具有机械微调功能的平台(Rig)中，利用这两个相机分别捕获的图像被混合，从而对应于这两个相机的光轴。另外，还已知这样的系统：其中，作为后处理，光轴之间发生偏移的图像被从所拍摄的素材中切割出来，以放大成原始视频信号格式。

图15示出了现有的3D相机系统100的构造示例。

该3D相机系统100包括两个相机101a和101b、相机控制单元102a和102b、3D图像算术运算单元103、控制面板104a和104b。在这种情况下，相机控制单元102a和102b分别控制相机101a和101b的操作。3D图像算术运算单元103算术地从两片图像运算出3D图像。另外，控制面板104a和104b分别对相机101a和101b的操作进行控制。参考信号被直接输入各个相机控制单元102a和102b。这样，相机101a和101b直接将关于所捕获的图像的数据不仅输出到相机控制单元102a和102b，而且通过3D图像算术运算单元103输出到外部设备。

日本专利早期公开No.2002-77947公开了一种用于对具有视差(parallax)的两个或更多个图像中产生的图像间位置偏移和旋转偏移进行调节、从而获得三维图像的技术。

发明内容

现在，即使使用了用于将光轴混合的系统或用于放大成原始视频信号格式的系统中的任何一种，也要为构建和配置该3D相机系统损失事件和金钱。另外，在将图像的一部分进行切割以放大时，在用这些相机拍摄图像的时候具有高分辨率的原始图像可能不能得到有效利用，从而只获得低分辨率的图像。但是，如果没有用这些系统校正图像的光轴之间的偏移，则3D图像的质量下降。另外，即使改变两个相机的方向或高度以校正这些光轴之间的偏移，也容易由于变焦(zoom)而再次产生光轴之间的偏移，因而没有减少将这些图像混合所需的劳动。

作出本发明以解决上述问题，因此希望提供一种视频信号处理设备和视频信号处理方法，它们各自能够使得对用两个相机捕获的图像中产生的光轴之间的偏移进行校正所需的工作容易执行，从而使对图像的混合容易执行。

为了实现上述希望，根据本发明的一种实施例，提供了一种视频信号处理设备，包括：图像输出部分，用于当第一相机和第二相机按照对标准视频信号和放大区域视频信号进行传送的预定传输格式传送所述标准视频信号、并将所述放大区域视频信号叠加在所述预定传输格式的垂直消隐期和水平消隐期中的每一者上从而传送所得的放大区域视频信号时向显示部分输出所述标准视频信号和所述放大区域视频信号，所述显示部分用于在其上显示图像，所述第一相机和所述第二相机各自具有图像拾取元件，所述图像拾取元件包括用于输出所述标准视频信号的有效图像区域以及在水平和垂直方向上比所述有效图像区域更宽的放大区域并从所述有效图像区域输出所述标准图像信号以及从所述放大区域输出所述放大区域视频信号；操纵部分，用于输出操纵信号，根据所述操纵信号，基于所述显示部分上按照所述标准视频信号显示的图像，来分别调节用所述第一相机和所述第二相机捕获的图像的光轴之间的偏移；视频信号提取部分，用于：在按照所述操纵信号对所述光轴之间的偏移进行调节时使所述标准视频信号的区域在所述放大区域视频信号的范围内移动以对应于所述光轴之间的偏移，从移动的范围中包含的放大区域视频信号提取与所述移动对应的所述标准视频信号，并输出这样提取的所述标准视频信号。

根据本发明的另一实施例，提供了一种视频信号处理方法，包括下列步骤：在第一相机和第二相机按照传送标准视频信号和放大区域视频信号的预定传输格式传送所述标准视频信号、并将所述放大区域视频信号叠加在所述预定传输格式的垂直消隐期和水平消隐期中的每一者上从而传送所得的放大区域视频信号时，向显示部分输出所述标准视频信号和所述放大区域视频信号，所述显示部分用于在其上显示图像，所述第一相机和所述第二相机各自具有图像拾取元件，所述图像拾取元件包括用于输出所述标准视频信号的有效图像区域以及在水平和垂直方向上比所述有效图像区域更宽的放大区域并从所述有效图像区域输出所述标准视频信号以及从所述放大区域输出所述放大区域视频信号；输出操纵信号，根据所述操纵信号，基于所述显示部分上按照所述标准视频信号显示的图像，来分别调节用所述第一相机和所述第二相机捕获的图像的光轴之间的偏移；在按照所述操纵信号对所述光轴之间的偏移进行调节时使所述标准视频信号的区域在所述放大区域视频信号的范围内移动以对应于所述光轴之间的偏移，从移动的范围中包含的放大区域视频信号提取与所述移动对应的所述标准视频信号，并输出这样提取的所述标准视频信号。

通过采用这样的构造，可以在不对使用相机分别捕获的图像的分辨率进行任何减小的情况下，使两片图像的光轴彼此对准。

如上所述，根据本发明，这些相机中的每一者传送有效图像区域和放大区域中各自采集的视频信号，对光轴之间的偏移的混合可以用所接收的视频信号来执行。此时，有效图像区域中光轴之间的偏移被伸展到放大区域，从而执行该混合。因此，在图像的调节期间，不需要对各个相机进行机械调节。另外，成像区域的图像区域被移动，从而对图像进行调节。因此，由于可以用两个相机使镜头光轴的位置彼此对准，并且图像不被放大，所以在校正之前和之后，图像的分辨率可以相等。

附图说明

图1的示意图示出了根据本发明第一实施例的相机系统的外部构造和配置；

图2A和图2B分别是示出本发明的第一实施例中安装有两个相机的安装平台(Rig)的示意图；

图3的框图示出了根据本发明第一实施例的相机系统的内部构造；

图4A和图4B分别是示出本发明第一实施例中视频处理器内部构造的框图；

图5的示意图示出了本发明的第一实施例中按照1,920个样本×1,080条线的像素格式的示例；

图6的示意图示出了本发明的第一实施例中数字式信号的传输格式的示例；

图7的示意图示出了本发明的第一实施例中数字式信号的传输格式的示例，对于该传输格式，图像区域被放大以进行传输；

图8A、8B和8C分别是示出了本发明的第一实施例中像素内插示例的示意图；

图9的示意图示出了本发明的第一实施例中根据光轴之间是否存在偏移而显示的图像的示例；

图10A、10B和10C分别是示出本发明的第一实施例中分别在取景器上显示的图像的显示示例；

图11A、11B和11C分别是示出本发明的第一实施例中分别在取景器上显示的图像的显示示例；

图12的示意图示出了根据本发明第二实施例的相机系统的外部构造；

图13的示意图示出了根据本发明第二实施例的相机系统的内部构造；

图14的示意图示出了根据本发明第三实施例的相机系统的内部构造；

图15的示意图示出了现有相机系统的外部构造和配置的示例。

具体实施方式

下面将参考附图对本发明的优选实施例进行说明。注意，说明将根据以下顺序来进行。

1.第一实施例(对图像的光轴之间的偏移的校正：使用通过放大图像区域而捕获的图像来由相机适配器盒和相机头彼此相结合对光轴之间的偏移进行校正的情形)

2.第二实施例(对图像的光轴之间的偏移的校正：由相机控制单元和3D图像算术运算单元使用通过放大图像区域而捕获的图像对光轴之间的偏移进行的校正)

3.改变

4.第三实施例(视频信号处理方法)

1.第一实施例

3D相机系统的构造

下文将参考图1至图11A-11C对本发明的第一实施例进行说明。在第一实施例中，对于将本发明应用到3D相机系统10的情形进行说明，该3D相机系统10包括相机适配器盒(CAB)2，相机适配器盒2指示两个相机头1a和1b执行图像捕获操作，并把与分别用相机头1a和1b捕获的图像有关的数据输出到外部设备。

图1示出了3D相机系统10的构造。

3D相机系统10包括相机头1a和1b，以及相机适配器盒2。相机适配器盒2包括取景器部分6，该部分用于在其上显示从相机头1a和1b将分别通过取景器信号而接收的图像。

相机适配器盒2和该外部设备(未示出)通过相机电缆5彼此连接。另外，相机适配器盒2收集分别从相机头1a和1b向其输入的关于图像的视频数据，并将所得的视频数据传送到该外部设备(未示出)。相机电缆5中使用了宽带数字光学传输路径，该路径能够传送大容量光学数字信号。在这种情形下，已有的数据率是1.5Gbps，而以3.7Gbps的数据率进行的光学传输也被允许。但是，也可以使视频数据受到压缩，并在窄带中传送经过压缩的视频数据(像过去的情形一样)。

根据可能的需要，相机适配器盒2执行用于将从相机头1a和1b向其输入的图像进行翻转的处理，或者执行延迟以使输出信号彼此同相。另外，相机适配器盒2的操作是用由工程师操纵的控制面板7来控制的。

图2A和图2B示出了平台8的构造，相机头1a和1b都安装在该平台中。

基本上，已知当相机头1a和1b各自的变焦被设定在1倍放大率时从图像获得三维图像，相机头1a和1b被布置成使得镜头的间距对应于自然看上去的人类眼睛。但是，由于相机头1a和1b的机架(chassis)各自尺寸较大，如果这些机架像本来那样横向布置，则捕获的对象图像具有比人的视差更宽的视差。因而在三维图像中造成不适感。因此，平台8设有半反射镜9。另外，相机头1a被布置在这样的位置：对象的图像光经过半反射镜9透射到该位置以造成直接入射。另外，相机头1b被布置在这样的位置：对象的图像光由半反射镜9反射到该位置以进行入射。结果，相机头1a和1b被安装成使得这些相机头所分别设置的镜头的光轴彼此垂直相交。

图2B示出了当从由图2A的箭头所示方向目视观察时，半反射镜9的可视性示例。

相机头1a和1b以从人类的视差获得的宽度在横向上偏移以安装在平台8中。因此，图2B示出相机头1a的镜头与相机头1b的镜头在横向上有偏移，其中，对象的图像光经过半反射镜9透射以反射到相机头1a的镜头上，而对象的图像光由半反射镜9反射以反射到相机头1b的镜头上。半反射镜9以下述方式设置该平台8：通过该方式，相机头1a和1b能够安装成与人类的视差对应。因而，在所得的三维图像中不会造成不适感。

图3示出了3D相机系统10的内部构造。

相机头1a设有用于输出视频信号的传感器部分11。传感器部分11由图像拾取元件(例如电荷耦合器件(CCD)成像器或互补金属氧化物半导体(CMOS)成像器)组成。该图像拾取元件包括有效图像区域和放大区域，有效图像区域输出标准视频信号，放大区域在水平方向和垂直方向上比有效图像区域更宽。另外，图像拾取元件还从有效图像区域输出标准视频信号，并从放大区域输出放大区域视频信号。

另外，相机头1a还包括相机视频处理器12和视频处理器13。在此情形下，相机视频处理器12使从相机部分11输出的视频信号受到预定的处理，从而在完成该预定处理后向相机适配器盒2输出视频信号。另外，相机处理器13将传输区域放大并将该视频信号重叠在该放大区域上。视频处理器13包括水平/垂直滤波器15，用于使向其输入的视频信号在水平方向和垂直方向受到滤波处理。另外，相机头1a还包括串行器(serializer)14，用于将从视频处理器13输出的并行视频信号转换成串行视频信号，并将所得的串行视频信号输出。在相机头1a与相机适配器盒2之间传送的视频信号根据SDI传输格式而被叠加在有效图像区域和放大区域中的每一者上。

注意，由于相机头1b具有与相机头1a的构造相同的构造，因此与相机头1a的处理框对应的那些处理框分别由相同的标号表示，这里为简化起见而略去其详细说明。

相机头1a和1b包括图像捕获条件信息输出部分16。在此情形下，相机捕获条件信息输出部分16通过下文将要说明的状态接口部分24而向视频处理器发送捕获对象图像时相机头1a和1b各自中设定的图像捕获条件信息。镜头状态以及与平台8的倾斜等有关的信息被包含在该图像捕获条件信息中。图像捕获条件信息还从视频处理器22向相机头1a和1b分别所包含的视频处理器13发送。

相机适配器盒2包括两个解串行器(deserial)21，并包括视频处理器22和串行器23。在此情形下，这两个解串行器21分别把从相机头1a和1b向其输入的串行图形信号转换成并行视频信号。视频处理器22根据从解串行器21输入的相机头1a和1b的并行视频信号而将这些图像的光轴对准。另外，解串行器23还将执行过光轴对准的视频信号转换成串行视频信号，从而输出所得的串行视频信号。另外，相机适配器盒2还包括状态接口部分24，用于从图像捕获条件信息输出部分16接收该图像捕获条件信息。这样，水平/垂直滤波器25(或水平/垂直滤波器15)根据经过状态接口部分24而向其输入的图像捕获条件信息，来提取标准视频信号。

下面将详细说明3D相机系统10的各个部分的操作。

相机头1a、1b按照预定的传输格式(标准视频信号和放大区域视频信号都利用所述格式来传送)向相机适配器盒2传送标准视频信号，并将放大区域视频信号叠加在该预定传输格式的垂直消隐期(blanking interval)和水平消隐期中的每一者上，从而传送所得的视频信号。用于将标准视频信号和放大区域视频信号各自叠加在预定传输格式上的处理是由相机视频处理器12执行的。另外，视频处理器13或视频处理器22可以用作图像输出部分，用于向取景器部分6输出标准视频信号和放大区域视频信号。

另外，水平/垂直滤波器15、25按照从控制面板7接收的操纵信号，对两片图像的光轴之间的偏移进行调节。此时，水平/垂直滤波器15、25用作视频信号提取部分。在此情形下，视频信号提取部分使标准视频信号的区域在放大区域视频信号的范围内移动以与光轴之间的偏移相对应，从对于该移动量的所需范围中所包含的放大区域视频信号提取该范围中的标准视频信号，并将这样提取的标准视频信号输出。另外，水平/垂直滤波器15、25还具有下述功能：在相对于有效视频区域的垂直方向、水平方向或旋转方向切割出所包含的放大区域视频信号，从而提取该标准视频信号。

这里，在相机头1a、1b所设置的视频处理器13的水平/垂直滤波器15对于光轴之间的偏移执行该调节时，视频处理器22所设置的水平/垂直滤波器25被绕过(bypass)。另一方面，在视频处理器22所设置的水平/垂直滤波器25对于光轴之间的偏移执行该调节时，相机头1a、1b所设置的视频处理器13的水平/垂直滤波器15被绕过。如前所述，水平/垂直滤波器15和25具有这样的关系：当这些水平/垂直滤波器15和25中的一者执行该滤波操作时，另一者绕过该操作。另外，水平/垂直滤波器15、25还具有在水平和垂直方向对视频信号进行滤波的偏置(offset)功能，从而将采样阶段转换成像素单位或更小。

从相机头1a、1b输出的视频信号经过视频处理器13和串行器14而被转换成串行视频信号，从而输入到相机适配器盒2。这里，视频处理器13所设置的水平/垂直滤波器15使向器输入的并行视频信号受到水平/垂直滤波，并通过串行器14将所得的具有任意相位的视频信号转换成串行视频信号，从而输出所得的串行视频信号。

相机适配器盒2通过解串行器21把从相机头1a、1b接收的串行视频信号转换成并行视频信号。视频处理器22向取景器部分6输出该并行视频信号。另外，取景器部分6在其上显示用相机头1a和1b分别捕获的图像。工程师在观看取景器6上显示的图像的同时操纵控制面板7，从而对于这些图像的光轴执行对准。此时，控制面板7输出操纵信号，用相机头1a和1b分别捕获的图像的光轴之间的偏移按照该操纵信号、基于取景器部分6上按照从相机头1a和1b分别输出的标准视频信号而显示的图像而受到调节。

另外，图像捕获条件信息通过状态接口部分24从各个相机头1a和1b输入到视频处理器22。因此，工程师可以知道相机头1a和1b分别是在何种条件下捕获对象的图像。另外，视频处理器22还通过串行器23将与执行光轴之间的对准所针对的图像有关的数据转换成串行视频信号，并将所得的串行视频信号输出到外部设备。注意，在执行这些光轴之间的对准时，但是取景器部分6上正在显示的图像的倾斜、水平位置等被合适地改变。另外，由于取景器部分6上如下文所述显示各种图像(例如差异图像)，所以工程师能够容易地执行两片图像之间的对准。

如前所述，控制面板7在图像的光轴之间指定对准所依据的指令也可以被直接发送到相机头1a、1b所设置的视频处理器13。在此情况下，从相机视频处理器12输入的视频信号的相位由视频处理器13所设置的水平/垂直滤波器15所改变。另外，具有经改变的相位的视频信号被输入到相机适配器盒2，取景器部分6上显示下述图像：相机头1a和1b已经针对所述图像执行了图像光轴之间的对准。

相机头1a、1b和相机适配器盒2分别设有水平/垂直滤波器15和25。因此，具有在传感器部分11中决定的宽效果图像区域的视频数据可以被重构，而从传感器部分11接收的视频信号的分辨率可以维持。另外，视频处理器13、22在图像中心发生偏移的情况下切割信号格式的有效图像区域，从而使得可以对两片图像的光轴之间的偏移进行校正。

另外，在如图2所示平台8的构造使用了要求图像翻转的平台系统时，需要使相机头1a、1b的图像捕获时机和图像输出时机都彼此相符。因此，相机适配器盒2不仅具有图像翻转功能，而且具有图像延迟功能。但是，相机头1a、1b或相机适配器盒2中任一者都可以不仅具有图像翻转功能，而且具有图像延迟功能。

另外，当传感器部分11使用像CMOS传感器那样的线扫描图像捕获(CCD成像器使用图像面扫描系统)时，相机头1a、1b中安装有在图像垂直翻转时对垂直扫描顺序进行改变的功能。因此，相机适配器盒2可以对由于卷帘(rulling shutter)效果造成的图像扭曲方向进行对准。

此时，视频处理器22使从相机头1a和1b之一接收的图像对应于从相机头1a和1b中另一者接收的图像，并在此状态下对图像执行垂直翻转，从而输出关于所得图像的数据。另外，视频处理器22还使针对一个图片的图像捕获时机相对于另一相机延迟，从而输出图像捕获时机信号。

图4A和图4B分别示出了水平/垂直滤波器15、25的内部构造。

图4A示出了当水平滤波器系数为a而垂直滤波器系数为A时，水平/垂直滤波器15、25的操作。

水平/垂直滤波器15和25分别包括水平/垂直滤波器15和25。这里，水平/垂直滤波器15、25由水平滤波器26、存储器27和垂直滤波器28组成。

水平滤波器系数a被输入到水平滤波器26。这样，利用水平滤波器26，向器输入的视频信号受到水平滤波，然后被写入存储器27。另外，垂直滤波器系数A被输入到垂直滤波器28。这样，从存储器27读出的视频信号受到垂直滤波，然后被输出。

这里，水平/垂直滤波器15、25可以使向其输入的视频信号的采样相位改变。在模拟图像方面考虑的话，者对应于在滤波处理时给出群延迟的情况。另外，水平/垂直滤波器15、26所执行的处理成为这样的滤波处理：所述处理用于给出等于或小于时钟单位的相位改变。

具体而言，水平/垂直滤波器15、25执行多重过度采样(multi-oversampling)，并只从其提取与所需的样本相位所对应的数据。因此，对样本相位的位置进行的调节可以在一个点或更小。

实际上，水平/垂直滤波器15、25不提取过度采样处理，而是根据滤波计算来直接计算从样本相位偏移的样本相位的点位置。

下面将对由现有的相机适配器盒所执行的、用于切割出视频信号的处理进行说明。

现有的相机适配器盒改变滤波器系数，从而对所接收的视频信号给予任意相位。但是，现有的相机适配器盒只接收从相机头的常规效果图像区域输出的视频信号。因此，视频处理器13、22对于有效图像区域范围内光轴之间的偏移执行校正。

为了切割出图像区域，例如使用下述方法。

·将图像放大，然后切割出来。

·使角部图像渐变(gradate)。

·执行切割以对应于没有图像的部分。

这里，在使用第一实施例中的相机头1a、1b所设置的视频处理器13或相机适配器盒2所设置的视频处理器22中的任一者时，可以灵活地设定有效图像区域的调节范围。但是，在标准视频信号和放大区域视频信号分别叠加在有效图像区域和放大区域(传感器部分11和相机视频处理器12将视频信号输入到这些区域然后输出)上时，视频处理器13、22在不对图像进行放大并执行切割的情况下将这些图像的光轴对准。因此，如果执行的校正超出了放大区域，则图像的角部被切割。在此情况下，例如，通过使角部图像渐变来执行使可视性不受影响的处理。

图4B示出了当水平滤波器系数为z、而垂直滤波器系数为Z时，水平/垂直滤波器15、25的操作。

图4B所示水平/垂直滤波器15、25与图4A所示水平/垂直滤波器15、25在结构上相同，只是滤波器系数z和Z不同于滤波器系数a和A。

水平滤波器系数z被输入到水平滤波器26。这样，利用水平滤波器26，向其输出的视频信号受到水平滤波，然后被写入存储器27。另外，垂直滤波器系数Z被输入垂直滤波器28。这样，从存储器27读出的视频信号受到垂直滤波，然后被输出。

图5示出了一种像素格式示例，1920个样本×1080条线的视频信号按照该格式而受到调节。

对于用于从传感器部分11和相机视频处理器12输出的视频信号的像素格式，现有区域(该区域包含1920个样本×1080条线的视频信号)被设定为有效图像区域。另外，通过将有效图像区域的尺寸放大若干个样本而获得的区域被设定为放大区域。在这种示例中，放大区域的尺寸本设定为1960个样本×1100条线。总之，放大区域的水平尺寸是通过将有效图像区域的右侧和左侧个放大20个样本而获得的。另外，放大区域的垂直尺寸是通过将有效图像区域的上侧和下侧个放大10条线而获得的。

图6示出了传输格式的一种示例，视频信号按照该格式而传送。

用于对有效图像区域中的1920个样本×1080条线的视频信号进行传输的区域以这种传输格式来设置。另外，用于对放大区域中的视频信号进行传输的区域设在有效图像区域的周边。

图7示出了数字式信号的传输格式示例。

例如SDI格式被用作该数字式信号的传输格式。该传输格式中提供了用于对1920个样本×1080条线的视频信号进行传输的区域以及对时间参考码(timing reference code，例如SAV或EVA)、音频数据和AUX数据进行传输的区域。在这种情况下，后一区域设在前一区域的右侧和左侧。当相机头1a、1b输出数字式视频信号时，不向V消隐期施加消隐。另一方面，H消隐期中的数据以叠加在补充数据区域上的状态而被传输，从而不使时间参考码(例如SAV或EAV)和音频数据变形。在这种示例中，与放大区域之间的差对应的视频信号叠加在图7中由灰色填充的补充数据区域中，然后被传送。

图8A、图8B和图8C分别示出了光轴之间的偏移示例。

图8A示出了相机头1a和1b对对象51至53的图像进行捕获的情形示例。

所示的是略去了平台8而布置的相机头1a和1b被分别赋予视差，并且在光轴方面彼此不同。这里，对象51至53上绘有预定的标记和图形。另外，相对于各个相机头1a和1b，对象51至53在安装位置方面彼此不同。

图8B示出了在光轴之间存在偏移的情况下图像的显示示例。

相机头1a和1b不仅在水平方向、而且在垂直方向发生彼此偏移。因此，在合成图像中，两个图像不仅在水平方向、而且在垂直方向发生彼此偏移。这样，难以将合成图像作为3D图像来观看。

图8C示出了在光轴之间不存在偏移的情况下图像的显示示例。

用相机头1a捕获的右侧通道图像以及用相机头1b捕获的左侧通道图像彼此在水平方向上略微偏移，因为相机头1a和1b彼此在视差方面不同。另外，可以理解，当右侧通道图像和左侧通道图像被合成时，对象52(光轴在该对象中交叉)上绘制的标记的图像之间的偏移以及距离较短那侧的对象51上绘制的标记的图像之间的偏移比距离较长那侧的对象53上绘制的标记的图像之间的偏移更大。在此情况下，可以输出适于作为3D图像的图像。对于光轴之间偏移的校正例如是在工程师观看合成图像的同时通过使左侧通道移动以对应于固定的右侧通道图像来执行的。

图9示出了由视频处理器13、22所设置的水平滤波器26对图像的光轴之间的偏移进行校正的滤波处理的示例。

水平滤波器26对于以相等间隔输入的视频信号执行水平滤波处理，以对应于传感器部分11的图像捕获像素的布置，从而改变各个像素中视频信号的相位。通过执行该水平滤波处理，从水平方向布置的这些像素输出的视频信号被转换成相位彼此不同的像素位置的视频信号。因此，工程师能够执行图像微调，在该微调中，图像在垂直方向和水平方向所移动的距离各自被设定在比单位像素更短的长度。

图10A至图10C和图11A至图11C分别示出了取景器部分6上显示的图像的示例。

相机适配器盒2可以从相机头1a的输出图像、相机头1b的输出图像、相机头1a和1b的输出图像的混合图像、相机头1a和1b的输出图像之间的差异图像等中选择合适的图像作为取景器信号，从而在取景器部分6上显示这样选择的图像。

另外，工程师可以从下列项选择合适的一者：对取景器部分6上显示的菜单界面进行操纵，使用安装到相机适配器盒2的旋转开关执行选择，根据按压开关的分配来执行选择，或者通过使用按压开关依次执行发送，从而对取景器部分6上显示的图像进行选择。另外，要在取景器部分6上显示的图像可以按照从相机控制单元(未示出)接收的请求等而转变成返回信号(参考图13)，从而输出该返回信号。此外，如果取景器部分6能在其上显示三维图像，则从右侧通道和左侧通道输出的用于两个通道的图像也可以被显示，还可以添加用于者两个通道的图像的选择菜单。

图10A示出了从相机头1a输出的右侧通道图像的示例。

图10B示出了从相机头1b输出的左侧通道图像的示例。

所示的是由于相机头1a和1b布置在平台8中以对应于用户的视差，所以右侧图像与左侧图像之间在水平方向产生了偏移。

图10C示出了混合图像的示例，该混合图像是通过将分别从相机头1a和1b输出的图像混合地显示而显示的。

混合图像是通过将来自相机头1b(左侧通道)的亮度信号和色差信号(Lch_Y、Lch_CB、Lch_CR)以及来自相机头1a(右侧通道)的亮度信号和色差信号(Rch_Y、Rch_CB、Rch_CR)彼此相加而获得的。颜色被赋予该混合图像。

图11A示出了差异图像的示例。

该差异图像是通过从相机头1b输出的视频信号减去相机头1a输出的视频信号而获得的灰度图像。图11A显示了在捕获视频图表时的差异图像。此时，按照用相机头1a捕获的图像的亮度信号或色差信号与用相机头1b捕获的图像的亮度信号或色差信号之间的差异，取景器部分6上显示差异图像。

该差异图像是通过从来自相机头1b(左侧通道)的亮度信号(Lch_Video)减去来自相机头1a(右侧通道)的亮度信号(Rch_Video)而获得的。注意，也可以通过从来自相机头1a(右侧通道)的亮度信号减去来自相机头1b(左侧通道)的亮度信号而获得该差异图像。此后，差异值除以“2”或者合适的数字以获得偏置，具有合适的值的图像水平(50_video-Level)被加到该偏置。

上述内容以表达式(1)的形式表示如下：

(Lch_Video-Rch_Video)/2+50_Video_Level…(1)

结果，可以在取景器部分6上显示差异图像，该差异图像中只有亮度受到关注。

同样，也可以按照色差数据来创建差异数据。此时，通过从来自相机头1b(左侧通道)的色差信号(Lch_CB、Lch_CR)减去来自相机头1a(右侧通道)的色差信号(Rch_CB、Rch_CR)来获得该差异。

这种关系由表达式(2)表示如下：

(Lch_CB-Rch_CB)/2或者(Lch_CR-Rch_CB)/2…(2)

但是，由于在色差数据的情况下，零点是中间点，所以不需要增加偏置值。另外，为了执行增强式显示(intensified display)，来自相机头1a的色差与来自相机头1b的色差之间的差异不被除以“2”，而是可以乘以合适的数字，从而执行增强。根据上文，取景器部分6上可以显示单色模式和彩色模式中的任一者，在单色模式下只有亮度作为差异图像而被显示，而在彩色模式下添加了色差数据。

当相机头1a和1b在变焦和方向方面被合适地布置时，由于图像之间不产生偏移，所以提供了相同状态，在该状态下，差异图像中没有轮廓(outline)被显示。但是，当相机头1a和1b的布置分别不同于合适的布置时，两片图像之间产生了偏移。因此，如图11A左侧所示，对象的轮廓被强调性地显示。因此，在对平台8中安装的相机头1a和1b合适地设置变焦和方向时，这成为有效的信息。

图11B示出了立体照片(anaglyph)图像的示例。

该立体照片图像是这样的图像：该图像以传统方式被使用，以观看三维图像。例如，用户佩戴专用的眼镜，在该眼镜中，红色玻璃纸被粘附到左侧镜片而蓝色玻璃纸被粘附到右侧晶片，从而可以确认该三维图像。

图11C示出了分段(segmented)图像的示例。

在此情况下，以分段状态预备从相机头1a输出的图像的右侧那一半、以及从相机头1b输出的图像的左侧那一半，这些分段图像一起被结合在中心以进行显示。结果，工程师掌握相机头1a和1b的安装位置的扭曲等，因而容易对相机头1a和1b的水平扭曲进行调节。注意，尽管未示出，但是也可以以分段状态预备从相机头1a输出的图像的上侧那一半以及从相机头1b输出的图像的下侧那一半，并可以将这些分段图像一起结合在中心以进行显示。在此情况下，容易对相机头1a和1b的垂直扭曲进行调节。

根据上述第一实施例的3D相机系统10，在用两个相机捕获3D图像中，使用相机头1a和1b，每个相机头用传感器部分11对全部像素执行相机信息处理，其中，使图像拾取元件的有效图像区域比信号格式更宽。此时，视频处理器13和22从相机头1a和1b接收视频信号，每个相机头从包括有效图像区域和放大区域的图像拾取元件既输出标准视频信号又输出放大区域视频信号。此时，放大区域视频信号被叠加在垂直消隐间隔和水平消隐间隔中的每一者中，然后在此状态下被传送。另外，视频处理器13、22向取景器部分6既输出标准视频信号又输出放大区域视频信号，并使取景器部分6在其上显示图像。此时，工程师在观看显示在取景器部分6上的图像的同时对控制面板7进行操纵，从而指令相机头1a、1b或相机适配器盒2对光轴之间的偏移进行调节。按照该指令，视频处理器13、22所设有的水平/垂直滤波器15、25使标准视频信号的区域在放大区域视频信号的范围内移动，以对应于光轴的偏移。另外，水平/垂直滤波器15、25从该移动量范围内包含的放大区域视频信号提取与移动量对应的标准视频信号，并输出这样提取的标准视频信号，从而使相机头1a、1b或相机适配器盒2将图像混合。

因此，有效图像区域和放大区域被彼此切换，从而使得可以对相机头1a和1b之间造成的镜头光程的误差量进行校正。这样，即使工程师不对安装了相机头1a和1b的平台8的高度、相机头1a和1b的方向等进行调节，他/她也能在观看显示在取景器部分6上的图像的同时对光轴之间的偏移进行校正。因此，即使3D相机系统10具有用放大区域中储存的视频信号对光轴之间的偏移进行校正、从而切割出对于光轴之间的偏移进行了校正的区域的功能，也可以减小成本和劳动量。

另外，视频处理器22将图像捕获条件信息嵌入状态信息中，所述状态信息例如相机头1a、1b所设有的镜头(未示出)的变焦。另外，由于视频处理器22执行与图像捕获条件信息相对应的图像输出，所以可以执行对于两片图像的reg.中心校正，以对应于该图像捕获条件信息(例如镜头的状态)。

另外，还可以相对于显示在取景器部分6上的有效图像区域沿垂直方向、水平方向或旋转方向来由控制面板7作出将图像混合的指令。此时，水平/垂直滤波器15、25切割出该指令方向所包含的放大区域视频信号，从而提取该放大区域视频信号作为标准视频信号。因此，获得了工程师能够将放大区域范围内的任意距离处的图像混合的效果，因此增强了reg.中心校正的自由度。

另外，水平/垂直滤波器15、25既在有效图像区域的垂直方向也在水平方向执行滤波处理。这样，可以使标准视频信号沿垂直方向和水平方向的移动距离各自在长度上比图像拾取元件的单位像素更短。因此，reg.中心校正的精度得以增强，因此可以获得具有更号质量的3D图像，该图像不会给用户带来不适感。

2.第二实施例

下面将参考图12和图13说明本发明的第二实施例。在第二实施例中，对于将本发明应用到3D相机系统40的情形进行说明。

在下面的说明中，第一实施例中已经描述过的部分将分别由相同的标号表示，并且为了简化起见而在此略去其详细说明。

3D相机系统40包括相机头1a和1b、相机适配器盒2、相机控制单元(CCU)3以及3D图像算术运算单元4。在此情形下，相机控制单元3执行两片图像的光轴之间的对准。相机控制单元3经过相机电缆5连接到相机适配器盒2，3D图像算术运算单元4连接到相机控制单元3。

相机电缆5被用作相机适配器盒2与相机控制单元3之间具有宽带(宽度是现有的频带的两倍或更多)的通信接口。这样，与分别从相机头1a和1b输出的图像有关的数据可以以包含标准视频信号和放大区域视频信号的状态同时传送。另外，相机控制单元3例如包括与3G-HDI对应的通信接口，并能够经过该通信接口以高速向3D图像算术运算单元4传输视频信号。相机控制单元3把从操纵部分35向其输入的控制信号向相机适配器盒2输出，从而对相机头1a和1b的操作进行控制。另外，相机控制单元3把从相机适配器盒2接收的视频信号向显示装置(未示出)输出。同样，3D图像算术运算单元4的操作也由工程师对操纵部分46进行操纵来控制。3D图像算术运算单元4的操作例如包括如上所述对两片图像的光轴之间的偏移进行校正的reg.中心校正处理。

另外，相机适配器盒2设在相机头1a、1b中的每一者与相机控制单元3之间。因此，相机适配器盒2看起来使一个相机的操作是针对相机适配器盒2而受到控制。

两片图像(关于这些图像的数据是从相机适配器盒2接收的)被显示在监视器部分(未示出)上，该监视器部分连接到相机控制单元3或3D图像算术运算单元4。因此，工程师能够在观看监视器部分的同时确认这些图像，并在观看显示在监视器部分上的图像的同时通过对操纵部分35和46进行操纵来将这些图像混合。

图13是假定捕获3D图像时的应用的框图。

在3D相机系统40中，相机控制单元3和3D图像算术运算单元4对应于根据本发明那些实施例的放大传输系统，用于既使用标准视频信号又使用放大区域视频信号来对光轴之间的偏移进行调节。此时，相机适配器盒2指令各个相机头1a和1b执行图像捕获操作，而相机适配器盒2经过其传送标准视频信号和放大区域视频信号二者，以向随后的相机控制单元3既输出标准视频信号又输出放大区域视频信号。

相机控制单元3包括解串行器31、视频处理器32和串行器33。在此情况下，解串行器31把从相机适配器盒2向其输入的串行视频信号转换成并行视频信号。视频处理器32使从解串行器31向其输入的并行视频信号受到预定的处理。另外，串行器33还将完成该预定处理之后的并行视频信号转换成串行视频信号，从而输出所得的串行视频信号。叠加在放大区域上的视频信号按照SDI传输格式在相机控制单元3与3D图像算术运算单元4之间传输。另外，相机控制单元3还包括连接到视频处理器32的操纵部分35。操纵部分35输出操纵信号，用相机头1a和1b捕获的那些图像的光轴之间的偏移按照该操纵信号、基于显示部分上按照标准视频信号显示的图像而受到调节。这样，工程师能够通过对操纵部分35进行操纵，来将监视器部分(未示出)上显示的图像进行混合。

3D算术运算单元4包括解串行器41和CPU 42。在此情形下，解串行器41把从相机控制单元3向其输入的串行视频信号转换成并行视频信号。另外，CPU 42按照从相机控制单元3向其输入的镜头状态以及一同输入的串行视频信号来执行预定的算术运算处理。另外，3D图像算术运算单元4还包括视频处理器43和串行器45。在此情形下，视频处理器将这些图像混合。另外，串行器45还将这样混合的图像的并行图像信号转换成串行视频信号，并输出所得的串行视频信号。串行器45按照SDI传输格式将串行视频信号叠加在标准区域上，并输出所得的串行视频信号。另外，3D图像算术运算单元4包括连接到视频处理器43的操纵部分46。这样，工程师能够通过对操纵部分46进行操纵，来将监视器部分(未示出)上显示的图像混合。

这里，当相机控制单元3所设置的视频处理器32的水平/垂直滤波器34对光轴之间的偏移进行调节时，视频处理器43所设置的水平/垂直滤波器44被绕过。另一方面，当视频处理器43所设置的水平/垂直滤波器44对光轴之间的偏移进行调节时，相机控制单元3所设置的视频处理器32的水平/垂直滤波器34被绕过，因此相机视频信号和放大区域视频信号二者都经过相机控制单元3。以此方式，水平/垂直滤波器34和44具有这样的关系：当水平/垂直滤波器34和44中的一者执行滤波操作时，另一者绕过该操作。由水平/垂直滤波器34、44所执行的滤波操作的示例与由上述第一实施例中的水平/垂直滤波器15、25所执行的处理相同。即，水平/垂直滤波器34、44用作视频信号提取部分，在按照操纵信号来对光轴之间的偏移进行调节时，该部分使标准视频信号的区域在放大区域视频信号的区域内移动以对应于光轴之间的偏移，从该移动量范围中包含的放大区域视频信号提取与移动量对应的标准视频信号，并输出这样提取的标准视频信号。

根据上述本发明第二实施例的3D相机系统40，当用多个相机头1a和1b执行系统操作时，或者当希望把相机与控制面板或用于接收视频信号的设备之间的距离加长到较长距离时，3D相机系统40可以具有包括相机控制单元3和3D图像算术运算单元4的系统配置。这里，相机控制单元3和3D系统算术运算单元4按照从操纵部分35和46发出的指令，用标准视频信号和放大区域视频信号二者来对两片图像的光轴之间的偏移进行校正，从而将这两片图像混合，其中，所述标准视频信号和放大区域视频信号是被叠加在传输格式的放大区域上并由相机头1a和1b接收的。因此，可以减小对相机那方(相机头1a和1b、相机适配器盒2)进行布线的导线数目。这样，在使用多个相机(例如实时系统相机)的协作图像捕获中，可以更灵活地执行操作。这使得即使在3D相机系统中，系统相机配置也可以与已有的2D图像捕获类似。

另外，相机头1a和1b、相机适配器盒2、相机控制单元3和3D图像算术运算单元4经过信号线彼此连接。例如，当相机头1a和1b、相机适配器盒2、相机控制单元3和3D图像算术运算单元4彼此连接时，使用各种通信介质或通信系统(例如同轴电缆、三线(triax)电缆、光纤光缆和无线通信)。因此，可以执行富有灵活性的系统操作。

3.改变

如上所述，由各个单元所设置的视频处理器中的每一者来实现reg.中心校正处理。这里，能够执行对每个AUX区域的记录的记录单元可以被布置在相机控制单元3与3D视频算术运算单元4之间。

图14示出了3D相机系统50的配置示例，该系统包括相机控制单元3与3D视频算术运算单元4之间的大容量记录单元55。

记录单元55既记录标准视频信号又记录包含放大区域并原样经过相机控制单元3的放大区域视频信号。例如，硬盘驱动器(HDD)被用作记录单元55。另外，3D视频算术运算单元4从记录单元55既读出标准视频信号又读出放大区域视频信号，并向监视器部分既输出标准视频信号又输出放大区域视频信号。这样，3D视频算术运算单元4能够从记录单元55读出包含了放大区域的视频信号。结果，3D视频算术运算单元4能够使用从记录单元55读出的视频信号来执行用于reg.校正的后处理。在此情形下，用于reg.校正的处理不一定要对应于相机头1a、1b对对象的图像进行捕获的时机。这样，这种情形适用于对无需实时特性的对象的图像进行捕获和编辑。

另外，相机头1a、1b可以以一体的形式使用。在此情形下，以一体形式使用的相机头1a、1b可以用作能够传送宽图像区域的3D相机系统。此时，对于对镜头的光轴之间的偏移进行校正以及对像素数目进行转换的阶段的滤波处理，放大区域视频信号可以用在用于粘贴的标签(tab)中。

另外，上述第一和第二实施例各自中的一系列处理可以由软件、也可以由硬件执行。当由软件执行一系列处理时，可以由在专用硬件中包含组成有关软件的程序的计算机来执行一系列处理，也可以由安装有用于执行各种功能的程序的计算机来执行。例如，组成所需程序的程序可以安装在通用个人计算机等中，以执行一系列处理。

另外，记录了软件的程序代码(该程序代码用于实现上述第一实施例和第二实施例中每一者)的记录介质可以被提供给系统或设备。另外，无需多言，该系统或该设备的计算机(或控制单元，例如CPU)也可以读出并执行该记录介质中储存的程序代码，从而实现该功能。

在此情形下，例如软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡、ROM等可以被用作记录介质，以提供该程序代码。

另外，由计算机读出的程序代码被执行，从而实现上述第一实施例和第二实施例的功能中的每一者。除此织物，计算机上运行的OS等按照该程序代码的指令而执行实际处理的一部分或全部。本申请中也包含了通过有关处理来实现上述第一实施例和第二实施例的功能中的每一者的情形。

4.第三实施例

根据本发明第三实施例的视频信号处理方法包括下述步骤：在各自具有图像拾取元件的相机头1a和1b按照传送标准视频信号和放大区域视频信号的预定传输格式传送标准视频信号、并将放大区域视频信号叠加在所述预定传输格式的垂直消隐期和水平消隐期中的每一者上从而传送所得的放大区域视频信号时，向用于显示图像的显示部分输出标准视频信号和放大区域视频信号，所述图像拾取元件包括用于输出标准视频信号的有效图像区域以及在水平和垂直方向上比有效图像区域更宽的放大区域并从有效图像区域输出标准视频信号以及从放大区域输出放大区域视频信号；输出操纵信号，分别用相机头1a和1b捕获的图像的光轴之间的偏移按照所述操纵信号、基于显示部分上按照标准视频信号显示的图像而受到调节；在按照操纵信号对光轴之间的偏移进行调节时使标准视频信号的区域在放大区域视频信号的范围内移动以对应于光轴之间的偏移，从移动的范围中包含的放大区域视频信号提取与移动量对应的标准视频信号，并输出这样提取的标准视频信号。

注意，3D相机系统中实际包含的本发明各种实施例的视频信号处理设备是如3D相机系统的第一、第二实施例或其改变中所述那样实现的。

另外，应当理解，本发明决不应限制为上述实施例，在不脱离本发明实质的情况下可以作出各种应用示例和改变。

本申请包含与2009年12月28日向日本特许厅递交的日本在先专利申请JP 2009-297929中公开的主题有关的主题，该申请的全部内容通过引用方式结合于此。

本领域技术人员应当理解，在所附权利要求或其等同含义的范围内，取决于设计要求和其他因素，可以产生各种变更、组合、子组合和替换形式。

Claims (6)

1.一种视频信号处理设备，包括：

图像输出部分，用于当第一相机和第二相机按照对标准视频信号和放大区域视频信号进行传送的预定传输格式传送所述标准视频信号、并将所述放大区域视频信号叠加在所述预定传输格式的垂直消隐期和水平消隐期中的每一者上从而传送所得的放大区域视频信号时向显示部分输出所述标准视频信号和所述放大区域视频信号，所述显示部分用于在其上显示图像，所述第一相机和所述第二相机各自具有图像拾取元件，所述图像拾取元件包括用于输出所述标准视频信号的有效图像区域以及在水平和垂直方向上比所述有效图像区域更宽的放大区域并从所述有效图像区域输出所述标准图像信号以及从所述放大区域输出所述放大区域视频信号；

操纵部分，用于输出操纵信号，根据所述操纵信号，基于所述显示部分上按照所述标准视频信号显示的图像，来分别调节用所述第一相机和所述第二相机捕获的图像的光轴之间的偏移，以及

视频信号提取部分，用于：在按照所述操纵信号对所述光轴之间的偏移进行调节时使所述标准视频信号的区域在所述放大区域视频信号的范围内移动以对应于所述光轴之间的偏移，从移动的范围中包含的放大区域视频信号提取与所述移动对应的所述标准视频信号，并输出这样提取的所述标准视频信号。

2.根据权利要求1所述的视频信号处理设备，其中，在对象的图像被捕获时，所述第一相机和所述第二相机向所述视频信号提取部分发送所述第一相机和所述第二相机中设定的图像捕获条件信息；并且

所述视频信号提取部分按照所述图像捕获条件信息提取所述标准视频信号，以对应于所述第一相机和所述第二相机的光轴之间的偏移。

3.根据权利要求1所述的视频信号处理设备，其中，所述视频信号提取部分相对于所述有效图像区域在垂直方向、水平方向或旋转方向中的任一者上切割出所包含的所述放大区域视频信号，从而提取所述标准视频信号。

4.根据权利要求1所述的视频信号处理设备，其中，所述视频信号提取部分在所述有效图像区域的垂直方向和水平方向上都执行滤波处理，所述标准视频信号在所述垂直方向和所述水平方向上的移动距离各自被设定成比所述图像拾取元件的单位像素更短的长度。

5.一种视频信号处理方法，包括下列步骤：

在第一相机和第二相机按照传送标准视频信号和放大区域视频信号的预定传输格式传送所述标准视频信号、并将所述放大区域视频信号叠加在所述预定传输格式的垂直消隐期和水平消隐期中的每一者上从而传送所得的放大区域视频信号时，向显示部分输出所述标准视频信号和所述放大区域视频信号，所述显示部分用于在其上显示图像，所述第一相机和所述第二相机各自具有图像拾取元件，所述图像拾取元件包括用于输出所述标准视频信号的有效图像区域以及在水平和垂直方向上比所述有效图像区域更宽的放大区域并从所述有效图像区域输出所述标准视频信号以及从所述放大区域输出所述放大区域视频信号；

输出操纵信号，根据所述操纵信号，基于所述显示部分上按照所述标准视频信号显示的图像，来分别调节用所述第一相机和所述第二相机捕获的图像的光轴之间的偏移；以及

在按照所述操纵信号对所述光轴之间的偏移进行调节时使所述标准视频信号的区域在所述放大区域视频信号的范围内移动以对应于所述光轴之间的偏移，从移动的范围中包含的放大区域视频信号提取与所述移动对应的所述标准视频信号，并输出这样提取的所述标准视频信号。

6.一种视频信号处理设备，包括：

图像输出装置，用于在第一相机和第二相机按照对标准视频信号和放大区域视频信号进行传送的预定传输格式传送所述标准视频信号、并将所述放大区域视频信号叠加在所述预定传输格式的垂直消隐期和水平消隐期中的每一者上从而传送所得的放大区域视频信号时，向显示部分输出所述标准视频信号和所述放大区域视频信号，所述显示部分在其上显示图像，所述第一相机和所述第二相机各自具有图像拾取元件，所述图像拾取元件包括用于输出所述标准视频信号的有效图像区域以及在水平和垂直方向上比所述有效图像区域更宽的放大区域并从所述有效图像区域输出所述标准图像信号以及从所述放大区域输出所述放大区域视频信号；

操纵装置，用于输出操纵信号，根据所述操纵信号，基于所述显示部分上按照所述标准视频信号显示的图像，来分别调节用所述第一相机和所述第二相机捕获的图像的光轴之间的偏移；以及

视频信号提取装置，用于：在按照所述操纵信号对所述光轴之间的偏移进行调节时使所述标准视频信号的区域在所述放大区域视频信号的范围内移动以对应于所述光轴之间的偏移，从移动的范围中包含的放大区域视频信号提取与移动对应的所述标准视频信号，并输出这样提取的所述标准视频信号。

Images