CN102984534A - 视频信号处理设备和视频信号处理方法 - Google Patents

Abstract

公开了一种视频信号处理设备和视频信号处理方法。一种视频信号处理设备包括：边缘提取信息生成部，被配置为生成指示关注像素是否为边缘部分的边缘提取信息；警告图像生成部，被配置为基于视频信号，计算由左眼视频信号形成的左眼捕捉图像与由右眼视频信号形成的右眼捕捉图像之间的视差，并通过在像素之一上叠加多种警告颜色中的与计算出的视差量相关联的一种警告颜色生成警告图像；以及输出信号控制器，被配置为基于边缘提取信息，在关注像素为边缘部分的情况下输出警告图像，以及在关注像素不是边缘部分的情况下输出左眼视频信号或右眼视频信号。

Description

视频信号处理设备和视频信号处理方法

技术领域

本公开涉及一种视频信号处理设备和一种视频信号处理方法，该设备和方法适用于捕捉立体图像的立体图像拾取设备。

背景技术

近年来，捕捉左眼图像和右眼图像的立体图像拾取设备已被大众所熟知。立体图像的立体效果通过左眼图像和右眼图像之间的偏差量，即视差来体现。在视差被设置为零的情况下，立体图像的再现位置与显示器等的显示屏重合。在左眼图像相对于右眼图像在右方向上具有视差的情况下，立体图像朝向显示器的前侧被再现。反过来，在左眼图像相对于右眼图像在左方向上具有视差的情况下，立体图像被再现为具有深度的图像。

立体图像的前向突出量或立体图像在深度方向的深度量可通过改变视差量来调整。然而，过度的视差会让观众无法将立体图像融合起来，或者会引起视觉疲劳并让观众产生不适感。因此，在立体图像拾取设备中，以及在输入来自立体图像拾取设备的左、右视差图像来执行图像处理的视频信号处理设备等中，实施了各种用于避免使观众产生不适感的视频被捕捉和/或记录的方法。例如，日本专利申请早期公开No.2011-28053公开了在左图像拾取系统和右图像拾取系统中防止焦点位置偏差从而使得获得很容易被立体观看且较少引起眼睛疲劳的立体图像成为可能。

发明内容

另外，还知道有这样一种技术，在左和右视差图像的视差过大且有可能提供过度的3D效果的情况下，可告知(警告)用户有可能产生过度3D效果。过度的3D效果是否有可能被提供给某个部分是由，例如，从左和右视差图像中提取的特征点之间的距离量决定的。在特征点之间的距离太大的情况下，可确定立体图像的突出量和深度量易于过量。显示屏上的警告是通过在提取的特征点上叠加根据左和右视差图像的特征点之间的距离而变化的警告颜色并显示该颜色来执行的。可选择地，警告也由例如，直方图来表示，在直方图中，横轴代表特征点之间的距离，纵轴代表具有该距离的像素的总数。

然而，在这种技术中，仅在屏幕上的特定部分检测左和右视差图像之间的视差量，因此警告颜色也只在经受视差检测的该特定部分显示。在警告由直方图表示的情况下，警告颜色被显示在与图像没有关系的图表上。因此，存在一个问题，即用户很难从直觉上把握显示屏上有可能被提供过度3D效果的部分。

鉴于如上所述的情况，希望通过使用直觉上很容易被用户把握的用户接口为用户提供有可能被提供过度3D效果的部分。

根据本发明的一个实施例，提供了一种视频信号处理设备，其包括边缘提取信息生成部、警告图像生成部、和输出信号控制器。这些部件具有如下结构和功能。边缘提取信息生成部被配置为利用被用作为输入信号的左眼视频信号和右眼视频信号之一生成指示关注像素是否为边缘部分的边缘提取信息，其中，左眼视频信号被捕捉用于左眼，右眼视频信号被捕捉用于右眼。警告图像生成部被配置为基于左眼视频信号和右眼视频信号，计算由左眼视频信号形成的左眼捕捉图像和由右眼视频信号形成的右眼捕捉图像之间的视差。进一步地，警告图像生成部被配置为通过在像素之一上叠加多种警告颜色中的与计算出的视差量相关联的一种警告颜色来生成警告图像。输出信号控制器被配置为基于由边缘提取信息生成部生成的边缘提取信息，在关注像素为边缘部分的情况下输出由警告图像生成部生成的警告图像，并且在关注像素不是边缘部分的情况下输出左眼视频信号和右眼视频信号之一。

另外，根据本发明的另一个实施例，提供了一种视频信号处理方法，其包括：利用被用作为输入信号的左眼视频信号和右眼视频信号之一生成指示关注像素是否为边缘部分的边缘提取信息，其中左眼视频信号被捕捉用于左眼，右眼视频信号被捕捉用于右眼；基于左眼视频信号和右眼视频信号，计算由左眼视频信号形成的左眼捕捉图像与由右眼视频信号形成的右眼捕捉图像之间的视差，并且通过在像素之一上叠加多种警告颜色中的与计算出的视差量相关联的一种警告颜色生成警告图像；以及基于边缘提取信息，在关注像素为边缘部分的情况下输出警告图像，并且在关注像素不是边缘部分的情况下输出左眼视频信号和右眼视频信号之一。

利用这样的结构和处理，左和右视差图像之间的视差量，即相对于显示屏而言的立体图像在其深度方向的深度通过在检测到边缘提取信息的像素上叠加不同的警告颜色被显示出来。换句话说，边缘部分作为有可能被提供以过度3D效果的部分通过在其上叠加根据其深度变化而变化的警告颜色而被显示出来。

利用根据本发明实施例的视频信号处理设备和视频信号处理方法，可以通过使用直觉上很容易被用户把握的用户接口，将有可能被提供过度3D效果的部分提供给用户。

通过以下对附图中所示的最佳实施例的详细描述，本发明的这些以及其它目的、特征和优点将变得更明显。

附图说明

图1是示出根据本发明实施例的立体图像拾取设备的结构示例的框图；

图2是示出根据本发明实施例的警告图像生成处理部的结构示例的框图；

图3A和3B是示出本发明实施例中的边缘提取处理的示例的说明性示图，图3A示出了用于在垂直方向提取边缘的滤波器的示例，图3B示出了用于在水平方向提取边缘的滤波器的示例；

图4A和4B是示出根据本发明实施例的边缘提取处理和二值化(binarizationi)处理的示例的说明性示图，图4A示出了执行边缘提取处理前的原始图像的示例，图4B示出了执行边缘提取处理后的图像的示例，图4C示出了二值化图像的示例；

图5是示出根据本发明实施例的延时电路的结构示例的框图；

图6A和6B是示出根据本发明实施例的分辨率降低处理的示例的说明性示图，图6A示出了执行分辨率降低处理前的原始图像的示例，图6B示出了分辨率已被降低的图像的示例；

图7是示出根据本发明实施例的视差计算处理的示例的说明性示图，其中图7中左侧的图像示出了将经受视差计算处理的左眼图像的示例，图7中右侧的图像示了将经受视差计算处理的右眼图像的示例；

图8是示出根据本发明实施例的颜色编码处理示例的说明性示图；

图9是示出根据本发明实施例的通过开关进行的切换处理的示例的流程图；

图10是示出根据本发明实施例的已叠加警告图像的图像的示例的示图；以及

图11是示出根据本发明的修改示例的视频信号处理设备的结构示例的框图。

具体实施方式

以下，将结合附图按以下顺序对根据本发明实施例的视频信号处理设备的具体示例进行详细描述。

1.视频信号处理设备被应用于立体图像拾取设备时的结构示例

2.警告图像生成处理部的结构和处理的示例

3.各种修改示例

(1.视频信号处理设备的结构示例)

首先，将对根据本发明实施例的视频信号处理设备的结构示例进行描述。在本实施例中，将描述当视频信号处理设备被应用于立体图像拾取设备的情况，该立体图像拾取设备包括用于左眼图像的图像拾取系统和用于右眼图像的图像拾取系统。图1是示出立体图像拾取设备100的内部结构示例的框图。

立体图像拾取设备100包括镜头10R、图像拾取装置20R、信号处理部40R、以及记录和再现处理部50R，作为用于右眼图像的处理系统。另外，立体图像拾取设备100包括镜头10L、图像拾取装置20L、信号处理部40L、以及记录和再现处理部50L，作为用于左眼图像的处理系统。形成用于右眼图像的处理系统的部件和形成用于左眼图像的处理系统的部件具有相同的功能，因此只针对用于右眼图像的处理系统来描述各个部件的功能。

镜头10R是用于捕捉右眼图像的镜头，其由许多透镜和透镜组、滤波器、光圈(diaphragm，快门)、镜头驱动机构等构成。除此之外，还具有变焦功能、聚焦功能以及其它功能。图像拾取装置20R由诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)之类的器件构成。图像拾取装置20R包括多个二维地排列在其光接收表面上的光电转换元件。每一个光电转换元件构成一个像素，且每一个光电转换元件在成像表面的位置与像素位置对应。每一个光电转换元件累积与光接收表面上形成的来自对象的光量对应的信号电荷。每一个光电转换元件中累积的信号电荷在由CPU(中央处理器)等构成的控制器30的控制下被读出并被输出到信号处理部40R。

信号处理部40R包括CDS(相关双采样)电路和AGC(自动增益控制)电路。CDS电路去除从图像拾取装置20R读出的信号电荷中包含的噪音。AGC电路控制已去除噪音的信号的电平保持恒定。信号处理部40R还包括A/D(模拟-数字)转换器，其将经受上述处理的模拟视频信号转换为数字视频信号。应注意，在图像拾取装置20R由CMOS器件构成的情况下，那些处理在图像拾取装置20R中执行。

记录和再现处理部50R基于控制器30的控制，执行以预定格式压缩视频信号的处理(该视频信号已经受由信号处理部40R进行的信号处理)，以及执行对输入的已压缩图像进行扩展的处理。已压缩的视频信号被记录在记录部60内，记录部60由录像带、HDD(硬盘驱动器)、存储卡等构成。从记录部60读出、且被压缩的视频信号被输出到显示处理部70。显示处理部70执行使由LCD(液晶显示器)等构成的显示器80显示视频信号的处理。显示器80被构成为取景器。

警告图像生成处理部90基于从信号处理部40R输入的右眼视频信号、以及从信号处理部40L输入的左眼视频信号计算右和左视差图像之间的视差，并在对象(subject)的边缘部分叠加用于输出的警告颜色。警告颜色根据视差量而变化。警告颜色叠加在其上的警告图像被提供到显示处理部70，然后通过显示处理部70显示在显示器80上。

应注意，虽然未在图1中示出，但是立体图像拾取设备100包括用于通过控制镜头等的定向来从光学上调整会聚(会聚角)的机构，或通过旋转或移动整个透镜从机械上调整会聚的会聚角控制器。当用户调整会聚或变焦以使在屏幕上显示的警告颜色不被显示时，所捕捉的图像内的视差落入适当的范围内。换句话说，就是防止了给立体图像提供过度的3D效果。

(2.警告图像生成处理部的结构和处理的示例)

(2-1.警告图像生成处理部的结构的示例)

图2是示出警告图像生成处理部90的结构示例的框图。警告图像生成处理部90包括边缘提取信息生成部910、分辨率降低部920L和920R、警告图像生成部930、分辨率恢复部940、延时电路950和作为输出信号控制器的开关960。

边缘提取信息生成部910包括边缘检测部911、二值化处理部912和延时电路913。边缘检测部911基于从信号处理部40L输出的左眼图像(见图1)，提取图像中像素的光强发生急剧变化的边缘部分。为了提取边缘，例如，可使用诸如索贝尔(sobel)滤波器之类的滤波器。

图3A和3B是示出索贝尔滤波器的结构示例的示图。图3A示出了用于提取垂直方向上的边缘的滤波器，图3B是用于提取水平方向上的边缘的滤波器。图3A中所示的用于提取垂直边缘的滤波器提取关注像素(pixel of interest)与该关注像素的左侧竖行(vertical row)以及右侧竖行上每一个像素之间的差值。图3B中所示的用于提取水平边缘的滤波器提取关注像素与该关注像素的上侧水平行和下侧水平行上每一个像素之间的差值。通过累加这些滤波器的提取结果，图像的垂直和水平方向上的边缘被提取。

应注意的是，在本实施例中描述了使用索贝尔滤波器的示例，但是可使用诸如差分滤波器和高通滤波器之类的其他原件来执行边缘提取。

回到图2，二值化处理部912在从边缘检测部911输出的图像上执行阈值处理，以将图像的区域划分为边缘区域和非边缘区域。换句话说，例如，在所有被检测为边缘部分的像素中，像素值超过预定阈值的像素被设置为″1″，而像素值等于或小于该阈值的像素被设置为″0″。例如，阈值的大小是基于设计者根据经验计算出的值而试探性地设置的。

可选地，用户可在一定范围内的阈值中选择任意一个值。由于将要被提取的边缘的厚度根据阈值的大小而改变，所以在边缘上叠加的警告颜色如何表现也根据阈值的大小而改变。结果，可允许用户选择阈值、和其上叠加了警告颜色的线(边缘)的厚度的结构可根据用户想要的厚度来调整。图4A是示出将被输入到边缘提取信息生成部910的原始图像的示图。边缘检测部911提取边缘，然后生成已从其提取了边缘部分的图像，如图4B所示。在二值化处理部912在图4B所示的图像上执行阈值处理后，图像的图案以黑白两种颜色表示，如图4C所示。换句话说，即基于每一个像素是否是边缘部分，以二值化形式来表示像素。二值化处理部912将通过阈值处理获得的二值信息作为边缘提取信息与垂直同步信号和行同步信号一起输出到延时电路913。

再回到图2，延时电路913将从二值化处理部912输出的边缘提取信息延迟预定的时间段，然后输出该信息。基于从左眼图像和右眼图像被输入到分辨率降低部920L和920R(下文中将加以描述)到生成警告颜色图像的时间段与生成边缘提取信息期间的时间段之间的差值来计算由延时电路913添加的延迟量。由于直到警告颜色图像生成为止的时间段比生成边缘提取信息期间的时间段要长，因此向边缘提取信息提供延时，以便使输出警告颜色图像的定时与输出边缘提取信息的定时相匹配。

图5示出了延时电路913的结构示例。延时电路913包括写入地址管理部913a、由双端口RAM(随机存取存储器)等构成的数据保持部913b、和读取地址管理部913c。写入地址管理部913a在控制器30(见图1)的控制下，循环地对数据保持部913b的地址空间内的地址进行计数。然后，计数得出的地址作为写入地址被应用于数据保持部913b。读取地址管理部913c在控制器30的控制下，循环地对数据保持部913b的地址空间内的地址进行计数。然后，计数得出的地址作为读取地址被应用于数据保持部913b。

具体地，在数据保持部913b中，在写入地址被应用时，数据被写入由写入地址管理部913a所应用的写入地址。另外，在读取地址被应用时，写入数据保持部913b中的数据被从由读取地址管理部913c应用的读取地址读出。当读取地址和写入地址之间的差值变大时，从数据被写入数据保持部913b到数据从数据保持部913b被读出的时间段变长。也就是说，该差值被设置为将要添加到边缘提取信息的延迟量。

再回到图2，分辨率降低部920L将从信号处理部40L(见图1)输入的左眼图像转换为具有较低分辨率的图像，然后输出此图像。分辨率降低部920R将从信号处理部40R输入的右眼图像转换为具有较低分辨率的图像，然后输出此图像。为了降低输入图像的分辨率，例如，使像素稀疏(thinning-out)或取像素平均值的技术被执行。如果使垂直像素和水平像素分别稀疏1/4，则分辨率可被降低至1/16。经分辨率降低部920L和分辨率降低部920R执行的如此处理后，图6A中所示的原始图像被转换为图6B中所示的分辨率降低的图像。相应地，在后续步骤中(见图2)输入到警告图像生成部930的数据量将大大降低。

警告图像生成部930包括视差计算部931、颜色编码处理部932和滤波处理部933。视差计算部931利用输入的左眼图像和右眼图像在每一个像素处计算左眼图像和右眼图像的像素之间的视差，其中这里的左眼图像和右眼图像的分辨率被分辨率降低部920L和分辨率降低部920R降低了。图7是示出视差计算部931所执行的视差计算处理的示例的示图。在图7中，左侧图像示出了左眼图像，右侧图像示出了右眼图像。每一个图像都是由m*n个像素(n个水平像素*m个垂直像素)构成的。

通过对左眼和右眼图像逐像素地进行匹配并计算左眼和右眼图像的匹配像素的像素值之间的差值来计算视差。假设图7中所示的左眼图像的像素PxL1是关注像素，则图7中所示的右眼图像的第180行内的所有像素(这些像素与像素PxL1位于同一水平行内)从左到右被依次扫描。接着，每一个像素的相似度被转换为分数，并被记录下来。当对第180行内的所有像素的扫描完成时，得分最高的位置上的像素被提取。然后，计算所提取的像素在水平方向上的坐标与作为比较源的左眼图像的像素PxL1在水平方向上的坐标之间的差值。

在图7所示的示例中，右眼图像中与关注像素PxL1最相似的像素是PxR1。关注像素PxL1在水平方向上的坐标是″250″，相对应的像素PxR1在水平方向上的坐标是″253″，因此二者之间的差值为″3″。该差值″3″是指示右眼和左眼图像之间在水平方向上的偏差量，即视差的值。

视差量代表对象距立体图像拾取设备100的距离。在捕捉图像时设置大会聚且会聚点被形成在立体图像拾取设备100侧(近侧)的情况下，将要计算的视差很小。反过来，在会聚点是在对象侧(深度侧)形成的情况下，将要计算的视差很大。换句话说，对于立体图像拾取设备100，视差量表示对象在深度方向的深度。视差计算部931计算将左眼和右眼图像作为输入图像时的视差，并将计算出的视差量作为深度信息与有关像素的信息一起输出到颜色编码处理部932(见图2)。

应注意，在本实施例中描述了对左眼和右眼图像进行逐像素的匹配的示例，但是本发明并不限于此。也可提取特征点且在特征点上进行匹配。然而，在匹配特征点的情况下，有关不同于那些位于特征点周围的像素的像素的深度信息很难获得。因此，为了在分辨率已降低的整个屏幕上获取深度信息，可在不被认为是经受了深度检测的特征点的像素上单独进行诸如描绘(painting)之类的处理。

颜色编码处理部932首先在从视差计算部931输入的深度信息上执行阈值处理。图8是示出由颜色编码处理部932执行的颜色编码处理的示例的示图。纵轴代表深度，横轴代表像素坐标。具有不同值的阈值Th1和阈值Th2被作为阈值提供。基于那些阈值，深度被划分为：第一区域Da1，其深度等于或大于0且小于阈值Th1；第二区域Da2，其深度等于或大于阈值Th1且小于阈值Th2；和第三区域Da3，其深度等于或大于阈值Th2。对于这三个区域Da中的每个区域，事先分配与其相对应的警告颜色。在图8所示的示例中，给第一区域Da1分配警告颜色Wc1，给第二区域Da2不分配警告颜色，给第三区域Da3分配警告颜色Wc2。颜色编码处理部932确定从视差计算部931输入的像素深度落在以上描述的区域Da中的哪个区域内，并在输入像素上叠加与相应的区域Da相关联的警告颜色以供输出。

在输入像素的深度落入第二区域Da2的情况下，没有警告颜色被叠加。换句话说，第二区域Da2被设置为没必要显示警告颜色的区域。可事先设置确定第二区域Da2的阈值Th1和阈值Th2的固定值，且用户可从显示器80上显示的菜单屏幕等选择任意值(见图1)。

在用户可选择值的情况下，例如，可构思一种技术，其允许用户选择这样的值(其中视差与图像在水平方向上的宽度的比例用百分比来表示)，而非允许用户选择阈值Th1和阈值Th2。当视差与图像的横向宽度的比例被指定时，第二区域Da2的范围也可被限定。可基于在用于捕捉立体视频的指南中被指示为“实现可舒适地观看屏幕的视差范围”的信息来设置“视差与图像横向宽度的比例”。

可选地，可为每一种尺寸的显示屏(其上最终输出图像(未显示))事先准备各种阈值Th1和阈值Th2，以允许用户选择屏幕的尺寸从而使得阈值Th1和阈值Th2被唯一地确定。

应注意，在本实施例中描述了提供两个阈值Th以将深度划分为三个区域的示例，但是本发明并不局限于此示例。可根据深度到更细区域的划分，来阶梯式地划分警告级别。例如，构思了以下技术。红色警告颜色被叠加在落入最可能出现问题的区域(被提供过度3D效果的区域)内的像素上，黄色警告颜色被叠加在落入可能出现问题的区域内的像素上，而绿色警告颜色被叠加在出现问题的可能性很小的区域内的像素上。可选地，可以只提供一个阈值Th，以便只在落入深度很小(或很大)的区域内的像素上叠加警告颜色。

另外，在以上描述的实施例中，已经描述了在深度过大或过小的像素上叠加警告颜色来警告用户的示例。然而，本发明并不局限于此。替代颜色，可将不同的纹理(texture)分配给通过划分深度得到的各个区域Da。可选地，具有不同闪烁间隙的图案可被分配到各个区域Da。

再回到图2，滤波处理部933累积与预定数量的帧相对应的从颜色编码处理部932输入的警告颜色图像，并获得其累积结果(product)，从而对相同像素在时间轴方向上进行滤波。例如，累积与数帧对应的输入像素，以得出累积结果。在单个警告颜色从所述几帧中被连续地输出的情况下，采用该警告颜色。在单一的警告颜色未从数帧(其累积结果已被获得)中被连续地输出的情况下，不叠加警告颜色且输出像素。通过这样的处理，噪音被混合到输出图像中的可能性被进一步地降低。累积像素的帧的数量可基于有关设置噪音去除效果的等级之类的信息被设置为任意值。已经受滤波处理部933滤波的警告颜色图像被输出到分辨率恢复部940。分辨率恢复部940将输入的警告颜色图像的分辨率恢复至原始分辨率。在分辨率降低部920L和920R将分辨率降低至原始分辨率的1/16的情况下，例如，通过排列16个相同的像素然后将其简单地放大来将分辨率恢复到原始分辨率。可选地，可使用其它方法来恢复分辨率。分辨率已被分辨率恢复部940恢复的警告颜色图像被提供给开关960。

延时电路950将从信号处理部40L(见图1)输出的左眼图像延迟预定的时间段，然后输出该图像。具体地，用于消除提供给开关960的警告颜色图像的相位与从信号处理部40L输出的左眼图像的相位之间的差的延迟量被添加到作为原始图像输出的左眼图像。延时电路950的结构与参考图5所描述的延时电路913的结构相同，因此将省略对延时电路950的结构的描述。

分辨率已被恢复的高分辨率警告颜色图像和相位被延时电路950调整为与警告颜色图像的相位相同的原始图像被提供到开关960。然后，可选择任意一个图像用于输出。开关960对连接源的切换是基于边缘提取信息生成部910提供的边缘提取信息被执行的。

(2-2.警告图像生成处理部的处理的示例)

图9是示出开关960所执行的切换处理的示例的流程图。首先，基于由边缘提取信息生成部910提供的边缘提取信息来确定是否检测到了边缘(步骤S11)。换句话说，确定关注像素是否为边缘部分的像素。在检测到边缘的情况下，开关960的连接目标被切换到分辨率恢复部940侧，并且警告颜色图像被输出(步骤S12)。在未检测到边缘的情况下，开关960的连接目标被切换到延时电路950侧，并且原始图像被输出(步骤S13)。随后，确定信号是否被输入(步骤S14)。在信号被输入的情况下，处理返回步骤S11中继续进行。在没有信号输入的情况下，处理终止。

通过这样的处理，如图10中所示，警告颜色分别被叠加在作为对象的边缘部分且被提供以大视差的部分上(即，具有极大的突出量或深度量的部分)，然后被显示。在图10中，警告颜色Wc1被叠加在被划分到区域Da1内且有极大的突出量的像素上，而警告颜色Wc2被叠加在被划分到区域Da3内且有极大的深度量的像素上。

根据以上描述的实施例，在捕捉的图像有可能被提供以过度3D效果的情况下，警告颜色被叠加在捕捉的图像的整个边缘部分上以便显示。结果，用户可从直觉上把握有可能被提供以过度3D效果的部分。然后，看到显示为带有警告颜色的边缘的警告指示的用户调整会聚和/或变焦，以使警告颜色不被显示，从而使得左眼和右眼视差图像之间的视差落入适当的范围内。

另外，边缘提取信息生成部910基于分辨率被保持为原始的高分辨率的图像来提取边缘，并将警告颜色叠加在从该高分辨率图像中提取的边缘部分上。换句话说，警告颜色图像被以高分辨率显示。这样的机制确保了警告颜色图像以高分辨率被显示，并且因此警告图像可基于分辨率被降低的图像而被生成。

然后，由于作为生成警告图像的来源的深度信息是使用分辨率被分辨率降低部920L和920R降低的图像计算出来的，因此用于计算深度信息的视差计算处理的处理量被显著地降低。因此，构成视差计算部931的诸如CPU和FPGA(现场可编程门阵列)的资源的数量可大幅减少。因此，同样在由电池驱动的视频摄录机中，例如，可通过根据本发明实施例的视频信号处理方法来生成具有高分辨率的警告图像。换句话说，只有作为整体的商品才能在捕捉立体图像的过程中确保记录材料的安全，并通过容易被用户从直觉上把握的方法来显示警告图像。

另外，在以上描述的实施例中，视差是通过使用分辨率被分辨率降低部920L和920R降低的图像计算出来的，因此用于视差计算处理的时间段会变短。因此，警告颜色能以与视频信号相同的帧率被显示。此外，由于警告颜色被针对每一帧显示，因此叠加有警告颜色的部分的可见性也被提高。

此外，在以上描述的实施例中，由于警告颜色被叠加在边缘部分上，因此对象的原始形状并未由于警告颜色的显示而丢失。换句话说，有可能被提供过度3D效果的部分能够更正确地被表示出来。

(3.各种修改示例)

应注意，在以上描述的实施例中，颜色编码处理部932(见图2)生成警告图像，之后分辨率恢复部940恢复分辨率，但是操作顺序可以反过来以便首先恢复分辨率，然后生成警告图像。

另外，在以上描述的实施例中，滤波处理部933执行滤波处理，但是也可不执行滤波处理。

另外，在以上描述的实施例中，描述了基于左眼图像提取边缘的示例，但是基于右眼图像也可提取边缘。在这种情况下，输入到图2所示的警告图像生成部930的左眼图像和右眼图像被互换，然后右眼图像被输入延时电路950。可选地，可并行地提供基于左眼图像生成警告图像的模块和基于右眼图像生成警告图像的模块。

另外，在以上描述的实施例中，描述了警告图像生成处理部90基于从信号处理部40R和40L(见图1)输出的视频信号生成警告图像的示例。然而，本发明并不局限于此示例。警告图像生成处理部90可被配置为基于从记录和再现处理部50R和50L输出的视频信号生成警告图像。

另外，在以上描述的实施例中，描述了根据本发明实施例的视频信号处理设备被应用于立体图像拾取设备(其中，用于左眼和右眼图像的图像拾取系统被存储在一个外壳中)的示例，但是本发明并不局限于此。根据本发明实施例的视频信号处理设备可被应用于这样的立体图像拾取设备，该立体图像拾取设备使用两个图像拾取设备，即用于捕捉右眼图像的图像拾取设备和用于捕捉左眼图像的图像拾取设备来捕捉立体图像。在这种情况下，可在用于左眼和右眼图像的图像拾取设备之一中设置警告图像生成处理部90，而视频信号可从另一个图像拾取设备被引入该图像拾取设备，以被输入到警告图像生成处理部90。可选地，用于左眼图像的图像拾取设备和用于右眼图像的图像拾取设备均可设置警告图像生成处理部90以交换用于输入的视频信号。

可选地，根据本发明实施例的视频信号处理设备可被应用于不包括图像拾取系统的视频信号处理设备。图11是示出这种视频信号处理设备200的结构示例的示图。视频信号处理设备200包括，例如，控制器210和输出信号控制器220。控制器210基于从用于右眼图像的图像拾取设备100R和用于左眼图像的图像拾取设备100L输入的视频信号执行校正对准偏差或颜色偏差等的处理。控制器210还包括警告图像生成处理部90。输出信号控制器220将视频信号的格式转换为符合将与输出端(未显示)连接的监控器的格式，以供输出。

同样，在根据本发明实施例的视频信号处理设备被应用于如上所述的立体图像拾取设备或视频信号处理设备的情况下，可获得与以上描述的实施例产生的效果相同的效果。

应注意，本发明可采用以下结构。

(1)一种视频信号处理设备，包括：

边缘提取信息生成部，其被配置为利用被用作为输入信号的左眼视频信号和右眼视频信号之一生成指示关注像素是否为边缘部分的边缘提取信息，其中左眼视频信号被捕捉用于左眼，右眼视频信号被捕捉用于右眼；警告图像生成部，其被配置为基于左眼视频信号和右眼视频信号计算由左眼视频信号形成的左眼捕捉图像和由右眼视频信号形成的右眼捕捉图像之间的视差，并通过在像素之一上叠加多种警告颜色中的与计算出的视差量相关联的一种警告颜色来生成警告图像；和

输出信号控制器，其被配置为基于由边缘提取信息生成部生成的边缘提取信息，在关注像素为边缘部分的情况下输出由警告图像生成部生成的警告图像，并且在关注像素不是边缘部分的情况下输出左眼视频信号和右眼视频信号之一。

(2)根据(1)的视频信号处理设备，进一步包括：

分辨率降低部，其被配置为将左眼视频信号的分辨率和右眼视频信号的分辨率转换为预定的低分辨率，以输出到警告图像生成部；和

分辨率恢复部，其被配置为在视差已被计算出的阶段将警告图像的分辨率和视频信号的分辨率之一恢复至分辨率降低部执行分辨率降低之前的分辨率。

(3)根据(1)或(2)的视频信号处理设备，其中

警告图像生成部使用第一阈值将被表示为计算出的视差量的深度，即对象与图像拾取设备在深度方向的距离划分为至少两个区域，且不分配警告颜色给具有等于或大于第一阈值的值的区域和具有小于第一阈值的值的区域之一。

(4)根据(1)至(3)中任意一项的视频信号处理设备，进一步包括：

滤波处理部，其被配置为通过累积与预定数量的帧相对应的警告图像获得其累积结果来对警告图像在时间轴方向上进行滤波。

(5)根据(1)至(4)中任意一项的视频信号处理设备，进一步包括：

右眼图像拾取装置和左眼图像拾取装置，它们均被配置为对对象光(subject light)进行光电转换以生成视频信号。

(6)根据(1)至(5)中任意一项的视频信号处理设备，其中

第一阈值包括与显示设备的尺寸相对应地设置的多个值，其中从输出信号控制器输出的视频信号被输入该显示设备。

(7)一种视频信号处理方法，包括：

利用被用作为输入信号的左眼视频信号和右眼视频信号之一生成指示关注像素是否为边缘部分的边缘提取信息，其中左眼视频信号被捕捉用于左眼，右眼视频信号被捕捉用于右眼；

基于左眼视频信号和右眼视频信号计算由左眼视频信号形成的左眼捕捉图像与由右眼视频信号形成的右眼捕捉图像之间的视差，并通过在像素之一上叠加多种警告颜色中的与计算出的视差量相关联的一种警告颜色来生成警告图像；和

基于边缘提取信息，在关注像素为边缘部分的情况下输出警告图像，以及在关注像素不是边缘部分的情况下输出左眼视频信号和右眼视频信号之一。

(8)一种视频信号处理设备，其被配置为通过在被确定为边缘部分且具有超过了预定范围的视差的像素上叠加警告颜色来生成显示的视频信号，该视差为捕捉到的右眼图像与捕捉到的左眼图像之间在显示屏上的距离，所述警告颜色基于视差量而变化。

本公开包含与2011年9月6日在日本专利局提交的日本优先权专利申请JP2011-193493所公开的主题相关的主题，因此其全部内容通过引用结合到本文中。

本领域中的技术人员应理解由于设计需要以及其他因素，各种修改、组合、子组合和改变都可能发生，只要它们在附加的权利要求书或其相当的范围内。

Claims (8)

1.一种视频信号处理设备，包括：

边缘提取信息生成部，其被配置为利用被用作为输入信号的左眼视频信号和右眼视频信号之一生成指示关注像素是否为边缘部分的边缘提取信息，所述左眼视频信号被捕捉用于左眼，所述右眼视频信号被捕捉用于右眼；

警告图像生成部，其被配置为基于所述左眼视频信号和所述右眼视频信号，计算由所述左眼视频信号形成的左眼捕捉图像与由所述右眼视频信号形成的右眼捕捉图像之间的视差，并通过在像素之一上叠加多种警告颜色中的与所计算出的视差量相关联的一种警告颜色生成警告图像；和

输出信号控制器，其被配置为基于由所述边缘提取信息生成部生成的所述边缘提取信息，在所述关注像素为所述边缘部分的情况下输出由所述警告图像生成部生成的所述警告图像，并且在所述关注像素不是所述边缘部分的情况下输出所述左眼视频信号和所述右眼视频信号之一。

2.根据权利要求1的视频信号处理设备，进一步包括：

分辨率降低部，其被配置为将所述左眼视频信号的分辨率和所述右眼视频信号的分辨率转换为预定的低分辨率，以供输出到所述警告图像生成部；和

分辨率恢复部，其被配置为在所述视差被计算出来的阶段将所述警告图像的分辨率和所述视频信号的分辨率之一恢复至所述分辨率降低部执行分辨率降低之前的分辨率。

3.根据权利要求2的视频信号处理设备，其中，

所述警告图像生成部通过使用第一阈值将表示为所计算出的视差量的深度，即对象与图像拾取设备在深度方向的距离划分为至少两个区域，且不分配警告颜色给具有等于或大于所述第一阈值的值的区域和具有小于所述第一阈值的值的区域之一。

4.根据权利要求3的视频信号处理设备，进一步包括：

滤波处理部，其被配置为通过累积与预定数量的帧相对应的警告图像获得累计结果，来在时间轴方向上对所述警告图像进行滤波。

5.根据权利要求3的视频信号处理设备，进一步包括：

右眼图像拾取装置和左眼图像拾取装置，它们均被配置为对对象光进行光电转换以生成视频信号。

6.根据权利要求3的视频信号处理设备，其中，

所述第一阈值包括与显示设备的尺寸相对应地设置的多个值，其中从所述输出信号控制器输出的所述视频信号被输入到所述显示设备。

7.一种视频信号处理方法，包括：

利用被用作为输入信号的左眼视频信号和右眼视频信号之一生成指示关注像素是否为边缘部分的边缘提取信息，所述左眼视频信号被捕捉用于左眼，所述右眼视频信号被捕捉用于右眼；

基于所述左眼视频信号和所述右眼视频信号，计算由所述左眼视频信号形成的左眼捕捉图像与由所述右眼视频信号形成的右眼捕捉图像之间的视差，并通过在像素之一上叠加多种警告颜色中的与所计算出的视差量相关联的一种警告颜色生成警告图像；和

基于所述边缘提取信息，在所述关注像素为所述边缘部分的情况下输出所述警告图像，并且在所述关注像素不是边缘部分的情况下输出所述左眼视频信号和所述右眼视频信号之一。

8.一种视频信号处理设备，其被配置为通过在被确定为边缘部分且具有超过了预定范围的视差的像素上叠加警告颜色来生成显示的视频信号，其中所述视差是右眼捕捉图像和左眼捕捉图像之间在显示屏上的距离，所述警告颜色基于视差量而变化。

Images