CN102577374A - 视频图像转换装置和摄像装置 - Google Patents

Abstract

公开了一种转换输入到其的视频图像的视点的摄像装置(100)，摄像装置(100)包括：视点参数存储单元(30)，存储分别对应于多个视点的多个视点参数，以便转换视频图像的视点；视点选择单元(501)，从存储在视点参数存储单元(30)中的多个视点参数中选择任意起始视点和任意终止视点的视点参数；视点参数内插单元(502)，通过在由所述视点选择单元选择的起始视点的视点参数和终止视点的视点参数之间进行内插，并生成内插的视点参数；以及视点转换单元(503)，通过基于由所述视点参数内插单元(502)顺序地生成的内插的视点参数，顺序地转换所述输入视频图像的视点，并输出具有如此转换的视点的视频图像，由此使得将视点从所述起始视点逐渐切换至所述终止视点的具有转换的视点的视频图像。因此，可以在不需要更多存储容量的情况下平滑地切换视点。

Description

视频图像转换装置和摄像装置

对相关申请的交叉引用

本申请要求于2009年10月21日提交的日本专利申请No.2009-242191的优先权权益，通过引用将其内容合并在此。

技术领域

本发明涉及一种将输入的视频图像转换为期望视点(viewpoint)的视频图像的视频图像转换装置、以及包括该视频图像转换装置的摄像装置。

背景技术

近年来，拍摄车辆的周围区域的图像的车载相机已经广泛被使用。为了帮助汽车的安全驾驶，车载相机拍摄驾驶员无法看见的区域的图像。由相机拍摄的视频图像显示在车辆中的监视器上，使得驾驶员可以在检查车辆的周围的同时驾驶车辆。对从相机输入的视频图像执行视点转换，以生成从期望视点观看的车辆周围区域的视频图像。而且，每次向驾驶员呈现(present)驾驶员在每个驾驶情形中所要求的视点的视频图像。

在用于车辆的传统视频图像呈现装置中，根据诸如向后停车、向前停车和进入交叉口等驾驶情形，通过修改并合成从多于一个的相机输入的视频图像，生成从多于一个视点观看的视频图像(例如，参考专利文献1)。以此方式，在每个驾驶情形中呈现驾驶员所要求的适当合成的视频图像。在视频图像呈现装置中，查找表用于合成视频图像，并且根据视点切换查找表。通过选择由驾驶员执行的操作的开关来识别每个驾驶情形。

[引用列表]

[专利文献]

[专利文献1]日本专利国内公表公报特表(Laid-Open)No.H11-078692

发明内容

本发明要解决的问题

然而，在传统的视频图像呈现装置中，当改变所呈现的视频图像的视点时，立即切换视点。因此，驾驶员经常无法跟进视频图像中正显示车辆的哪个周围区域，并困惑。此外，因为通过选择由驾驶员执行的操作的开关来识别每个驾驶情形，所以驾驶员需要执行除了驾驶以外的操作。这对安全驾驶造成阻碍。

已经做出本发明以解决传统技术的问题，并且其目的是提供一种视频图像转换装置和摄像装置，其可以通过平滑地改变视频图像的视点而使驾驶员知晓视点的移动。本发明的另一个目的是提供一种视频图像转换装置和摄像装置，其可以将视频图像的视点自动改变至最佳点，而不对驾驶员造成任何麻烦。

解决问题的手段

本发明的一个方面是一种转换输入视频图像的视点的视频图像转换装置。此视频图像转换装置包括：视点选择单元，选择用于将输入视频图像的视点改变为起始视点的视点参数、以及用于将输入视频图像的视点改变为终止视点的视点参数，所述视点参数是从对应于多个视点的多个视点参数中选择的，所述多个视点参数被预先存储并用于改变视频图像的视点；视点参数内插单元，通过对由视点选择单元选择的起始视点的视点参数和终止视点的视点参数进行内插，生成内插的视点参数；以及视点转换单元，通过基于由视点参数内插单元生成的内插的视点参数，对输入视频图像执行视点转换，而生成经视点转换的视频图像，所述视点转换单元呈现在起始视点与终止视点之间逐渐切换视点的经视点转换的视频图像。

本发明的另一方面是一种摄像装置。此摄像装置包括：输入视频图像生成装置，通过用相机拍摄车辆的周围区域的图像，而生成输入视频图像；以及上述视频图像转换装置。

本发明的又一方面是一种视频图像转换程序，用于使得计算机执行转换输入视频图像的视点的操作。此视频图像转换程序使得计算机：从对应于视点的视点参数中选择起始视点的视点参数和终止视点的视点参数，所述视点参数被预先存储并用于改变视频图像的视点；以及通过对所选择的起始视点的视点参数和所选择的终止视点的视点参数进行内插，生成内插的视点参数，并且，通过基于所内插的视点参数，对输入视频图像执行视点转换，而生成并输出经视点转换的视频图像，所述视点转换提供在起始视点与终止视点之间逐渐切换视点的经视点转换的视频图像。

本发明的另一方面是一种记录上述视频图像转换程序的计算机可读记录介质。

本发明的另一方面是一种用于转换输入视频图像的视点的视频图像转换方法。此视频图像转换方法包括：选择用于将输入视频图像的视点改变为起始视点的视点参数、以及用于将输入视频图像的视点改变为终止视点的视点参数，所述视点参数是从对应于视点的视点参数中选择的，所述视点参数被预先存储并用于改变视频图像的视点；以及通过对所选择的起始视点的视点参数和所选择的终止视点的视点参数进行内插，生成内插的视点参数，并且，通过基于所内插的视点参数，对输入视频图像执行视点转换，而生成并输出经视点转换的视频图像，所述视点转换提供在起始视点与终止视点之间逐渐切换视点的经视点转换的视频图像。

如稍后将描述的，本发明具有其它方面。因此，进行本发明的此公开仅为了公开本发明的一些方面，而不是限制这里主张的本发明的范围。

本发明的优点

根据本发明，可以执行平滑视点切换。因此，可以向驾驶员呈现好像用移动的相机拍摄的视频图像，并且驾驶员可以正确辨识视频图像的视点。

附图说明

图1是示意性地示出本发明第一实施例中的视频图像转换装置的结构的框图。

图2(a)是示出原始视频图像的图。

图2(b)是示出经视点转换的视频图像的图。

图2(c)是示出坐标表的图。

图3是示出车辆信息与要呈现的视频图像的视点之间的对应关系的示例的图。

图4(a)示出对应于起始视点的坐标表。

图4(b)示出对应于终止视点的坐标表。

图4(c)示出对应于存在于起始视点与终止视点之间的视点的内插坐标表。

图4(d)示出对应于存在于起始视点与终止视点之间的视点的另一内插坐标表。

图5是示出本发明第一实施例中的视频图像视点转换单元的操作的流程图。

图6是示意性地示出本发明第二实施例中的视频图像转换装置的结构的框图。

图7是示出本发明第二实施例中的视点参数内插单元的结构的框图。

图8是用于说明本发明第二实施例中的视点参数内插单元的操作定时的图。

图9是示出相机坐标系与视频图像坐标系之间的关系的图。

图10是示出本发明第二实施例中的视频图像视点转换单元的操作的流程图。

图11是示意性地示出本发明第三实施例中的视频图像转换装置的结构的框图。

图12(a)是示出相机附装至车辆的位置的图。

图12(b)是示出由相机形成的合成的视频图像的图。

图13是示出与图12(b)中示出的合成的视频图像对应的描画数据的图。

图14是示出描画数据的数据格式的示例的图。

图15(a)是示出在不存在障碍物的情况下所形成的视频图像的示例的图。

图15(b)是示出车辆与障碍物之间的位置关系的图。

图15(c)是示出在存在障碍物的情况下的障碍物视点的图。

图16(a)是示出在车辆与障碍物之间的距离短的情况下、车辆与障碍物之间的位置关系的图。

图16(b)是示出在车辆与障碍物之间的距离短的情况下的障碍物视点的图。

图16(c)是示出在车辆与障碍物之间的距离长的情况下、车辆与障碍物之间的位置关系的图。

图16(d)是示出在车辆与障碍物之间的距离长的情况下的障碍物视点的图。

图17是具体示出选择单元与周围区域之间的连接的框图。

具体实施方式

下面是对本发明的详细描述。然而，下面的详细描述和附图不限制本发明。而是，本发明的范围由权利要求书限定。

本发明的实施例的视频图像转换装置是一种转换输入视频图像的视点的视频图像转换装置，并具有包括如下的结构：视点选择单元，选择用于将输入视频图像的视点改变为起始视点的视点参数、以及用于将输入视频图像的视点改变为终止视点的视点参数，所述视点参数是从对应于视点的视点参数中选择的，所述视点参数被预先存储并用于改变视频图像的视点；视点参数内插单元，通过对由视点选择单元选择的起始视点的视点参数和终止视点的视点参数进行内插，生成内插的视点参数；以及视点转换单元，通过基于由视点参数内插单元生成的内插的视点参数，对输入视频图像执行视点转换，而生成并输出经视点转换的视频图像，所述视点转换单元由此呈现在起始视点与终止视点之间逐渐切换视点的经视点转换的视频图像。

通过此结构，当向驾驶员呈现从预先准备的多于一个的视点观看的视频图像时，并非立即切换视点，而是在起始视点与终止视点之间逐渐切换视点。因此，可以执行连续平滑的视点切换。而且，当平滑地切换经视点转换的视频图像时，不需要存储用于在视点转变(transition)期间生成经视点转换的视频图像的视点参数。因此，可以防止必要的存储容量增加。当在视点参数与终止视点的视点参数之间生成内插的视点参数时，通过从最靠近起始视点的内插的视点参数向着终止视点顺序地使用内插的视点参数，而生成经视点转换的视频图像。以此方式，可以提供将视点从起始视点逐渐切换至终止视点的经视点转换的视频图像。

本发明实施例的视频图像转换装置还可以包括视点参数存储单元，其存储对应于代表性视点的视点参数。在此视频图像转换装置中，视点选择单元可以从存储在视点参数存储单元中的代表性视点的视点参数中选择起始视点的视点参数和终止视点的视点参数。

通过此结构，可以在事先准备的代表性视点之间平滑地切换视点。

在本发明实施例的视频图像转换装置中，视点参数可以是这样的坐标表即，在该坐标表中，关于经视点转换的视频图像的各个坐标，写入将被视点转换单元参考以生成经视点转换的视频图像的输入视频图像的坐标；并且，视点转换单元可以通过根据该坐标表，参考关于经视点转换的视频图像的各个坐标的输入视频图像的像素值，而生成经视点转换的视频图像。

在此结构中，坐标表用作视点参数，并且，在视点转变期间，在内插操作中直接内插此坐标表。因此，可以在不需要任何复杂计算的情况下执行内插。

在本发明实施例的视频图像转换装置中，视点参数可以是参数集，其包含在从输入视频图像的视点起改变视点的操作中的视点的旋转角度和平行移动量。视频图像转换装置还可以包括坐标转换单元，其基于视点参数，关于经视点转换的视频图像的各个坐标而确定将被视点转换单元参考以生成经视点转换的视频图像的输入视频图像的坐标。视点转换单元可以通过关于经视点转换的视频图像的各个坐标而参考由坐标转换单元确定的输入视频图像的坐标的像素值，来生成经视点转换的视频图像。

在此结构中，视点参数存储单元仅必须存储参数集作为视点参数。因此，可以防止为存储视点参数而需要的存储容量的增加。当参数集用作视点参数时，在经视点转换的视频图像中，在起始视点与终止视点之间不产生由于内插而导致的图像变形。

在本发明实施例的视频图像转换装置中，视点参数可以是投影转换系数。

在此结构中，可以通过设置投影转换公式的系数值来指定真实空间中相机的移动。

在本发明实施例的视频图像转换装置中，输入视频图像可以是从相机获得的视频图像、或通过将从两个或多个相机获得的视频图像合成而形成的合成视频图像。通过此结构，可以对从相机获得的视频图像执行视点转换，或者可以对通过将从两个或多个相机获得的视频图像合成而形成的合成视频图像执行视点转换。

在本发明实施例的视频图像转换装置中，视点选择单元可以与包含档位、车速、方向指示器和/或转向角的车辆信息关联选择起始视点的视点参数和终止视点的视点参数。

通过此结构，驾驶员不需要做任何事来切换视点。因此，可以在每个驾驶情形中向驾驶员自动呈现从最佳视点观看的视频图像，而不干扰驾驶。

本发明实施例的视频图像转换装置还可以包括：描画(drawing)数据存储单元，其存储将要叠加到输入视频图像上的描画数据；描画数据视点转换单元，其通过使用起始视点的视点参数、内插的视点参数、和终止视点的视点参数对描画数据执行视点转换，而生成经视点转换的描画数据；以及描画叠加单元，其将经视点转换的描画数据叠加在经视点转换的视频图像上，经视点转换的描画数据对应于经视点转换的视频图像。

通过此结构，即使在描画数据将要被叠加在输入视频图像的情况下，当视点从起始视点移动至终止视点时，也可以通过将经视点转换的描画数据叠加在经视点转换的视频图像上而平滑地移动视点。

本发明实施例的视频图像转换装置还可以包括图像处理单元，其对经视点转换的视频图像执行图像处理。在此视频图像转换装置中，描画叠加单元可以将经视点转换的描画数据叠加在经受了由图像处理单元执行的图像处理的经视点转换的视频图像上，经视点转换的描画数据对应于经视点转换的视频图像。

通过此结构，可以防止经视点转换的描画数据由于图像处理而变模糊或改变色调。

在本发明实施例的视频图像转换装置中，当基于包含指示在车辆附近是否存在障碍物的信息的障碍物信息而检测到车辆附近的障碍物时，视点选择单元可以选择当前的视点参数作为起始视点的视点参数，并选择障碍物视点参数作为终止视点的视点参数，障碍物视点参数用于生成可辨识障碍物与车辆之间的位置关系的经视点转换的视频图像。

通过此结构，当在车辆附近存在障碍物时，可以将常规视点切换为可辨识障碍物与车辆之间的位置关系的视点，并且也可以平滑地执行此视点切换。

在本发明实施例的视频图像转换装置中，障碍物信息还可以包含指示障碍物的方向和从车辆到障碍物的距离的信息。视频图像转换装置还可以包括障碍物视点参数生成单元，其基于指示障碍物的方向和从车辆到障碍物的距离的信息而生成障碍物视点参数，并且，障碍物视点参数可以是用于生成放大靠近区域的图像的经视点转换的视频图像的视点参数，其中车辆和障碍物在该靠近区域中彼此靠近。

通过此结构，可以向驾驶员呈现自动放大处于与车辆碰撞的危险之中的障碍物的周围区域的图像的视频图像，同时将在放大的显示之前使用的视点平滑地切换至放大的视频图像的视点。

在本发明实施例的视频图像转换装置中，障碍物视点参数生成单元可以生成障碍物视点参数，使得在车辆与障碍物之间的距离较短时生成具有较高放大率的经视点转换的视频图像。

通过此结构，以较高放大率放大车辆与障碍物之间的接触可能性较高的危险区域的图像。因此，可以向驾驶员呈现可以容易地辨识每个危险接触区域的视频图像。

在本发明实施例的视频图像转换装置中，视点转换单元可以呈现在时间段T中将视点从起始视点逐渐切换至终止视点的经视点转换的视频图像。这里，时间段T可以等于将要显示的视频图像的帧数目，并且可以是2或更大。视点参数内插单元可以生成(T-1)个内插的视点参数。

通过此结构，可以在等于指定的帧数目的时间段中，在起始视点和终止视点之间平滑地切换视点。

本发明的另一实施例是一种摄像装置，其具有包括如下的结构：输入视频图像生成装置，其通过用相机拍摄车辆的周围区域的图像而生成输入视频图像；以及上述视频图像转换装置之一。通过此结构，还可以实现上述本发明的优点。

本发明的又一实施例是一种视频图像转换程序，用于使得计算机执行转换输入视频图像的视点的操作。此视频图像转换程序使得计算机：从对应于视点的视点参数中选择起始视点的视点参数和终止视点的视点参数，所述视点参数被预先存储并用于改变视频图像的视点；以及通过对所选择的起始视点的视点参数和所选择的终止视点的视点参数进行内插，生成内插的视点参数，并且，通过基于所内插的视点参数，对输入视频图像执行视点转换，而生成并输出经视点转换的视频图像，所述视点转换提供在起始视点与终止视点之间逐渐切换视点的经视点转换的视频图像。

本发明的另一实施例是一种记录上述视频图像转换程序的计算机可读记录介质。

本发明的另一实施例是一种用于转换输入视频图像的视点的视频图像转换方法。此视频图像转换方法包括：选择用于将输入视频图像的视点改变为起始视点的视点参数、以及用于将输入视频图像的视点改变为终止视点的视点参数，所述视点参数是从对应于视点的视点参数中选择的，所述视点参数被预先存储并用于改变视频图像的视点；以及通过对所选择的起始视点的视点参数和所选择的终止视点的视点参数进行内插，生成内插的视点参数，并且，通过基于所内插的视点参数，对输入视频图像执行视点转换，而生成并输出经视点转换的视频图像，所述视点转换提供在起始视点与终止视点之间逐渐切换视点的经视点转换的视频图像。

下面是参考附图对摄像装置的描述，每个摄像装置包括本发明实施例的视频图像转换装置。本发明涉及将输入视频图像转换为期望视点的视频图像的视频图像转换装置、以及包括该视频图像转换装置的摄像装置。在此说明书中，视频图像的“视点”还可以指在使用相机拍摄视频图像时相机的位置和角度，并且还可以指相机的视角(或者视频图像的放大率或缩小率)。

(第一实施例)

图1是示意性地示出第一实施例的摄像装置的结构的框图。摄像装置100包括相机10、帧存储单元20、视点参数存储单元30、车辆信息发送单元40、视频图像视点转换单元50、以及图像处理电路60。相机10以预定角度附装至车辆上的预定点。相机10包括透镜11、成像元件12、A-D转换单元13和视频信号处理电路14。相机10拍摄在车辆附近存在的物体的图像，并生成视频信号。透镜11利用来自物体的光在成像元件12上形成图像。成像元件12对所形成的图像进行光电变换，并输出模拟信号。A-D转换单元13将从成像元件12输出的模拟信号转换为数字信号。视频信号处理电路14对经A-D转换的视频信号执行OB减法、白平衡调节和噪声减小。

帧存储单元20存储经受相机10的视频信号处理电路14的视频信号处理的一帧视频信号，并将该视频信号输出至稍后描述的视点转换单元503。视点参数存储单元30存储用于将由相机10拍摄并获得的视频图像转换为从代表性视点的视频图像的视点参数。将对应于各个代表性视点的视点参数存储在用于代表性视点的视点参数存储单元30中。车辆信息发送单元40发送将用于自动切换视频图像的视点的车辆信息。基于从车辆信息发送单元40接收的车辆信息，视频图像视点转换单元50对存储在帧存储单元20中的视频图像执行视点转换。图像处理电路60将在视频图像视点转换单元50处经受视点转换的每个视频图像中的亮度信号与色彩信号分离，并对视频图像执行亮度和色彩校正。

视频图像视点转换单元50使用视点参数执行视频图像视点转换，并生成经视点转换的视频图像。视频图像视点转换单元50也生成这样的经视点转换的视频图像以使得视点在两点之间平滑移动。也就是，视频图像视点转换单元50并非将视点从一视点(视点1)直接改变至另一视点(视点2)，而是在视点1与视点2之间的几个视点处顺序地执行视频图像视点转换，使得视点在视点1与视点2之间平滑地移动。视频图像视点转换单元50然后输出经视点转换的视频图像。为了实现这样的视点平滑移动，视点参数存储单元30可以存储关于视点1与视点2之间的所有视点的视点参数，并且，视频图像视点转换单元50可以使用视点参数以顺序地生成经视点转换的视频图像，使得视点顺序地移动。然而，如果将视点1与视点2之间的所有视点的视点参数存储在视点参数存储单元30中，则视点参数存储单元30所需的容量将变得极大。为了应对此问题，在如上所述的此实施例中，仅仅将几个代表性视点的视点参数存储在视点参数存储单元30中，并且，在每个操作中生成一代表性视点与下一个代表性视点之间的中间视点的视点参数。下面，描述这样的操作的结构。

在此实施例中，视点参数存储单元30存储代表性视点坐标表作为代表性视点的视点参数。坐标表描述：当对由相机10拍摄且在帧存储单元20中存储的视频图像(在下文中还称为“原始视频图像”)进行坐标转换以生成经视点转换的视频图像时，关于经视点转换的视频图像的各个坐标(像素)，应当参考原始视频图像的哪些坐标的哪些像素值。

首先，描述使用坐标表的视点转换。图2是用于说明使用坐标表的视点转换的图。图2(a)示出原始视频图像，图2(b)示出经视点转换的视频图像，而图2(c)示出坐标表。在图2(c)中所示的坐标表中，对于图2(b)中所示的经视点转换的视频图像的各个坐标，写入关于图2(a)中所示的原始视频图像的参照坐标值。在使用图2中所示的坐标表的视点转换中，基于存储在图2(c)中所示的坐标表中的(0，0)处的坐标值(3，10)，通过参考图2(a)中所示的原始视频图像的坐标(3，10)的像素值，确定图2(b)中所示的经视点转换的视频图像的左上坐标(0，0)的像素值。同样，通过参考原始视频图像的坐标(4，11)，确定经视点转换的视频图像的坐标(0，1)。以此方式，可以通过使用坐标表作为视点参数，对视频图像执行视点转换。

应当注意，坐标表不需要包含与图2中所示的经视点转换的视频图像中的所有像素对应的参照坐标值。例如，坐标表可以仅仅包含在水平方向上每八个像素和垂直方向上每八个像素的代表点的参照坐标值，并且可以通过内插来确定这些像素之间的参照坐标值。替代地，参照坐标值不一定是整数，而可以是小数。如果参照坐标值是小数，则在经视点转换的视频图像中使用通过参考存储在帧存储单元中的视频图像中的像素而对参照像素的像素值进行内插而获得的值。例如，如果经视点转换的视频图像中的一些坐标的参照坐标值是(1，1.7)，则经视点转换的视频图像中的这些坐标的像素值k是k＝(原始视频图像中的坐标(1，1)的像素值×0.3+(原始视频图像中的坐标(1，2)的像素值)×0.7)。

车辆信息发送单元40将车辆信息发送至视频图像视点转换单元50。这里，车辆信息用于识别每个驾驶情形，并且例如可以包含指示档位、车速、方向指示器和转向角的信息。为了发送该信息，使用诸如LIN(本地互联网络)或CAN(控制器区域网络)的车上网络。

视频图像视点转换单元50包括视点选择单元501、视点参数内插单元502、以及视点转换单元503。首先，描述视频图像视点转换单元50的概况。在视频图像视点转换单元50中，视点选择单元501从车辆信息发送单元40接收车辆信息，并且，基于该车辆信息，从视点参数存储单元30中存储的坐标表中选择用作视点转变中的起始点的视点(起始视点)的坐标表、以及用作视点转变中的终止点的视点(终止视点)的坐标表。

视点参数内插单元502对由视点选择单元501选择的两个坐标表进行内插，使得从起始视点到终止视点的视点转变所需的时间变为T。具体地，视点参数内插单元502在时刻t输出起始视点的坐标表，并在时刻t+T输出终止视点的坐标表。在时刻t+1与时刻t+T-1之间，视点参数内插单元502生成并输出从起始视点的坐标表逐渐改变至终止视点的坐标表的转变坐标表。这里，时间段T是从起始视点到终止视点的视点转变所需的时间段。时间段T等于从起始视点到终止视点的视点转变所需的视频图像的帧数目。

使用从视点参数内插单元502输出的坐标表，视点转换单元503对从帧存储单元20获得的视频图像顺序地执行视点转换，并生成经视点转换的视频图像。从视点转换单元503将经视点转换的视频图像输出至图像处理电路60。上述视频图像视点转换单元50的各个组件可以通过包括算术处理电路、ROM、RAM、存储装置等的LSI来实现，或者可以通过执行计算机程序的计算机装置来实现。

接下来，详细描述用于移动视点的结构。为了移动视点，视点选择单元501基于从车辆信息发送单元40接收的车辆信息，自动判定应当向驾驶员呈现哪个视点视频图像，并从视点参数存储单元30中存储的代表性视点坐标表中选择两个坐标表。在这两个坐标表中，一个是起始视点的坐标表，而另一个是终止视点的坐标表。当不需要移动视点时，视点选择单元501从视点参数存储单元30中存储的代表性视点坐标表中仅选择一个坐标表。

下面，描述视点选择单元501如何基于车辆信息确定起始视点和终止视点。图3是示出在车辆信息与将要呈现的视频图像的视点之间的对应关系的示例的图。下面，描述车辆在道路的左侧行驶的示例情况。在图3中示出的示例中，基于三条车辆信息而切换视点：档位、车速、以及方向指示器。进行第一检查以判定档位是否为倒档位置，并且，当档位为倒档位置时，不断地呈现车辆的后方区域(VP1)的视频图像。如果档位不是倒档位置，则基于车速进行第二检查。在车速为15km/h或更高的情况下，当方向指示器指示“左”时呈现车辆的左后方区域(VP2)的视频图像，而当方向指示器指示“右”时呈现车辆的右后方区域(VP3)的视频图像。车辆的左后方区域(VP2)和车辆的右后方区域(VP3)的视频图像主要被呈现来在改变车道时确认侧后方区域的安全性。当车速为15km/h或更高并且未使用方向指示器时，呈现车辆的后方区域(VP1)的视频图像。在车速低于15km/h的情况下，当方向指示器指示“左”时呈现车辆的左后方区域(VP4)的视频图像，而当方向指示器未指示“左”时呈现车辆的后方区域(VP1)的视频图像。呈现车辆的左侧区域(VP4)的视频图像主要用于左转时防止纠纷。应当注意，图3仅示出使用车辆信息的视点选择的示例，实际的组合和条件不限于图3中所示的这些。

在上述视点选择中，视点选择单元501从视点参数存储单元30中选择一个或两个视点参数。当存在图3中所示的VP1至VP4的视频图像之间的转变时，视点选择单元501选择两个坐标表。这里，视点选择单元501从视点参数存储单元30中选择与转变之前的视点对应的坐标表作为起始视点的坐标表，并选择与转变之后的视点对应的坐标表作为终止视点的坐标表。当不存在视频图像之间的转变时，视点选择单元501选择与正输出的视频图像对应的一个坐标表。

例如，在档位不是倒档位置、并且车辆以15km/h或更高的车速行驶的情况下，当连续地不使用方向指示器时，视点选择单元501从视点参数存储单元30中选择与图3的车辆后方区域(VP1)的视点对应的视点参数。如果方向指示器然后在其左部分闪烁，则视点选择单元501从视点参数存储单元30选择与车辆的后方区域(VP1)对应的坐标表作为起始视点、以及与车辆的左后方区域(VP2)对应的坐标表作为终止视点，以将视点从图3的车辆的后方区域(VP1)切换至车辆的左后方区域(VP2)。当仅选择一个坐标表时，认为为起始视点和终止视点两者选择相同的坐标表。

通过使用由视点选择单元501选择的两个视点参数而执行平滑的视点转变。然而，如果在短时间段中多次切换视频图像转变，则在视点转变期间可能将视点立即改变至另一视点。例如，当在车辆以15km/h或更高的车速行驶的同时、方向指示器从未使用状态切换至左指示状态时，视点选择单元501选择车辆的后方区域(VP1)的坐标表作为起始视点、以及车辆的左后方区域(VP2)的坐标表作为终止视点。当在利用两个坐标表执行平滑的视点切换的同时，方向指示器从左指示状态切换至右指示状态时，选择车辆的左后方区域(VP2)和车辆的右后方区域(VP3)的两个坐标表。结果，当视频图像正从车辆的后方区域(VP1)的视频图像切换至车辆的左后方区域(VP2)的视频图像时，正呈现给驾驶员的视频图像突然从车辆的左后方区域(VP2)的视频图像改变至车辆的右后方区域(VP3)的视频图像，并导致混淆。因此，即使存在新的视频图像切换，视点选择单元501也在视频图像切换操作中维持所选择的起始视点和终止视点一定时间段。

视点参数内插单元502对由视点选择单元501选择的两个坐标表执行内插操作，并生成与两个坐标表的视点之间存在的视点对应的坐标表。图4示出在时间段T(T＝3)中对与起始视点和终止视点对应的两个坐标表执行的平滑内插操作的示例。图4(a)示出与起始视点对应的坐标表。图4(a)示出与终止视点对应的坐标表。图4(c)和图4(d)示出与起始视点和终止视点之间存在的视点对应的内插坐标表。在时刻0，执行使用图4(a)中所示的坐标表的视点转换。在时刻1，执行使用图4(c)中所示的坐标表的视点转换。在时刻2，执行使用图4(d)中所示的坐标表的视点转换。在时刻3，执行使用图4(b)中所示的坐标表的视点转换。以此方式，在时间段3中，将视点从起始视点平滑地改变至终止视点。

将图4(a)和图4(b)中所示的坐标表作为代表性视点的坐标表预先存储在视点参数存储单元30中，并且由视点选择单元501选择所述坐标表。使用下面的数学公式(1)，视点参数内插单元502确定图4(c)和图4(d)中所示的内插坐标表。

[公式1]

$\left.\begin{array}{c}{x}_n=x_0+(x_T-x_0)\×\frac{n}{T}\\ y_n=y_0+(y_T-y_0)\×\frac{n}{T}\end{array}\right\}\·\·\·\left(1\right)$

这里，xn和yn表示在时间段T中、在平滑的内插操作中、在时刻n的各个像素的x坐标和y坐标。也就是，x0和y0表示在时刻0或在视点移动的起始时每个像素的坐标，而xT和yT表示在时刻T或在视点移动的终止时每个像素的坐标。

使用从视点参数内插单元502发送的坐标表，视点转换单元503通过对从帧存储单元20获得的视频图像(原始视频图像)执行坐标转换来转换视频图像。具体地，如上参考图2所述，视点转换单元503通过参考与写入坐标表中的坐标对应的原始图像的坐标，生成经视点转换的视频图像。

现在参考图5，描述具有以上结构的视频图像视点转换单元50的操作。首先，视点选择单元501从车辆信息发送单元40获得车辆信息(步骤S51)。基于车辆信息，视点选择单元501然后从视点参数存储单元30中选择起始视点和终止视点的坐标表，并在视点参数内插单元502中设置所选择的坐标表(步骤S52)。视点参数内插单元502首先将起始视点的坐标表传递至视点转换单元503，并且，视点转换单元503使用起始视点的坐标表对原始视频图像执行视点转换(步骤S53)。

在那之后，将帧计数值n设置为1(步骤S54)，并且进行检查以判定n是否等于T(步骤S55)。当n不等于T时(步骤S55中的“否”)，视点参数内插单元502将n赋值给数学公式(1)，并生成内插坐标表(步骤S56)。使用所生成的内插坐标表，视点转换单元503对从帧存储单元20获得的视频图像执行视点转换(步骤S57)。在那之后，n递增(步骤S58)，并且操作返回至步骤S55。重复步骤S55至S58的循环。当n变为等于T时(步骤S55中的“是”)，视点转换单元503使用在视点参数内插单元502中设置的终止视点的坐标表，对从帧存储单元20获得的视频图像执行视点转换(步骤S59)。

在上述第一实施例的摄像装置中，在时间段T中平滑地切换两个视点参数。因此，可以平滑地切换经视点转换的视频图像，并且可以使得在将一视点的视频图像直接切换至另一视点的视频图像时驾驶员丢失他的/她的视点的概率更低。

而且，根据第一实施例的摄像装置，在平滑地切换经视点转换的视频图像时，不需要存储用于在视点转变期间生成经视点转换的视频图像的视点参数。因此，可以防止必要的存储容量的增加。

此外，在第一实施例的摄像装置中，使用用于生成经视点转换的视频图像的坐标表作为视点参数，并且，在每个视点转变期间，在内插操作中直接内插这些坐标表。因此，可以在不需要任何复杂计算的情况下执行内插。

此外，在第一实施例的摄像装置中，可以通过使用车辆信息来自动切换视点参数。因此，驾驶员的驾驶不被干扰，并且，可以不断地呈现每个驾驶情形的最佳视频图像。

(第二实施例)

接下来，描述本发明的第二实施例的摄像装置。在第一实施例的摄像装置100中，视点参数存储单元30存储坐标表作为视点参数。另一方面，在此实施例中，视点参数存储单元31存储作为参数集的视点参数，每个参数集由视点转换的旋转角度、平行移动量、以及放大和缩小率组成。此实施例的视频图像视点转换单元51使用这样的参数集执行视点转换。

图6是示意性地示出本发明第二实施例的摄像装置的结构的框图。在图6中，用与第一实施例相同的标号标注与第一实施例相同的组件，并且将不重复对它们的说明。此实施例的摄像装置200包括相机10、帧存储单元20、视点参数存储单元31、车辆信息发送单元40、视频图像视点转换单元51、以及图像处理电路60。相机10、帧存储单元20、车辆信息发送单元40、以及图像处理电路60的结构与第一实施例相同。

在视点参数存储单元31中，存储参数集作为视点参数，每个参数集由用于将原始视频图像变换为从代表性视点的视频图像的、原始视频图像的关于X轴、Y轴和Z轴的旋转角度θx、θy和θz、平行移动量mx和my、以及放大和缩小率R组成。

下面，主要描述本实施例的视频图像视点转换单元51与第一实施例的视频图像视点转换单元50不同的方面。视频图像视点转换单元51包括视点选择单元511、视点参数内插单元512、坐标转换单元514、以及视点转换单元513。如在第一实施例中那样，上述视频图像视点转换单元51的各个组件可以通过包括算术处理电路、ROM、RAM、存储装置等的LSI来实现，或者可以通过执行计算机程序的计算机装置来实现。

像第一实施例的视点选择单元501那样，视点选择单元511基于从车辆信息发送单元40发送的车辆信息，选择存储在视点参数存储单元31中的一个或两个视点参数。然而，在此实施例中，视点选择单元511不选择坐标表，而选择参数集，每个参数集由用于转换原始视频图像的视点的旋转角度、平行移动量、以及放大和缩小率组成。

视点参数内插单元512对由视点选择单元511选择的两个视点参数进行内插。图7是示出视点参数内插单元512的结构的框图。图8是视点选择单元511和视点参数内插单元512的操作时序图。如图7中所示，视点参数内插单元512包括：视点保持单元5121，其保持起始视点的视点参数和终止视点的视点参数；计算单元5122，其对所保持的两个视点进行内插；以及帧计数单元5123，其控制保持视点参数的定时以及内插的加权。帧计数单元5123从0至时刻T进行计数。视点保持单元5121在计数值FC为0时更新视点参数，而在计数值FC不为0时保持视点参数。在视点保持单元5121中，起始视点保持单元SVP保持在视点切换之前(起始视点)的视点参数，而终止视点保持单元EVP保持在视点切换之后(终止视点)的视点参数。

图8示出当档位不为倒档位置、车辆以15km/h或更高的车速行驶、并且方向指示器指示“左”时获得的时序图。首先，当未使用方向指示器时，视点选择单元511的输出是车辆的后方区域(VP1)的视点参数，并且视点参数内插单元512的输出也是车辆的后方区域(VP1)的视点参数。这些输出处于稳定状态。当输出处于稳定状态时，帧计数单元5123的计数值FC为0。当方向指示器从此状态切换至左指示状态时，视点选择单元511从视点参数存储单元31中选择车辆的后方区域(VP1)和车辆的左后方区域(VP2)的两个视点参数，并将所选择的视点参数输出至视点参数内插单元512。因为在这点上，帧计数单元5123的计数值FC为0，所以视点参数内插单元512的视点保持单元5121将起始视点SVP更新至车辆的后方区域(VP1)的视点参数，并将终止视点EVP更新至车辆的左后方区域(VP2)的视点参数。帧计数单元5123开始递增计数值。

当帧计数单元5123对计数值进行计数时，起始视点SVP和终止视点EVP处于保持状态，并且，通过利用帧计数单元对车辆的后方区域(VP1)和车辆的左后方区域(VP2)的两个视点参数进行内插和加权来计算视点参数。将内插表示为下面的数学公式(2)：

[公式2]

在数学公式(2)中，FC表示帧计数单元的计数值，而T表示平滑地切换视点所需的时间段。如数学公式(2)所指示的，在加权的内插中，当帧计数单元5123的计数值FC接近0时，用大值对起始视点的视点参数进行加权。随着帧计数单元5123的计数值逼近T，用更大的值对终止视点的视点参数进行加权。应当注意，当对视点参数进行内插时，通过将数学公式(2)应用至视点参数的旋转角度θx、θy和θz、平行移动量mx和my、以及放大和缩小率R中的每一个，彼此独立地对构成视点参数的各个参数进行内插。

上述方法是这样的方法：在视点选择单元511中选择起始视点和终止视点的视点参数；以及在视点参数内插单元512中基于所选择的视点参数，对用于平滑地移动视点的视点参数(参数集，每个参数集由旋转角度θx、θy和θz、平行移动量mx和my、以及放大和缩小率R组成)进行内插。为了使用如上获得的视点参数来转换视频图像视点，视频图像视点转换单元51还包括坐标转换单元514和视点转换单元513。

下面，描述使用由原始视频图像的旋转角度、平行移动量、以及放大和缩小率组成的参数集的视点转换。图9是示出相机坐标系与视频图像坐标系之间的关系的图。为了将相机坐标系的点P(Xw，Yw，Zw)投影到视频图像坐标(x，y)上，使用下面的数学公式(3)：

[公式3]

$\left.\begin{array}{c}x=f\×\frac{X_w}{Z_w}\\ y=f\×\frac{Y_w}{Z_w}\end{array}\right\}\·\·\·\left(3\right)$

这里，f表示相机的焦距。

在将相机坐标系中的点P围绕X轴旋转θx之后获得的P(Xw’，Yw’，Zw’)可以由下面的使用旋转矩阵的数学公式(4)来表示：

[公式4]

$\left(\begin{array}{c}{X}_w^{\′}\\ Y_w^{\′}\\ Z_w^{\′}\end{array}\right)=\left(\begin{array}{ccc}1& 0& 0\\ 0& \cos {\mathrm{\θ}}_x& -\sin {\mathrm{\θ}}_x\\ 0& \sin {\mathrm{\θ}}_x& \cos {\mathrm{\θ}}_x\end{array}\right)\×\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right)=\left(\begin{array}{c}{X}_w\\ Y_w\cos {\mathrm{\θ}}_x-Z_w\sin {\mathrm{\θ}}_x\\ Y_w\sin {\mathrm{\θ}}_x+Z_w\cos {\mathrm{\θ}}_x\end{array}\right)\·\·\·\left(4\right)$

在对应于由上述数学公式表示的在旋转之后的点P(Xw’，Yw’，Zw’)的视频图像坐标上的点(xx，yx)由下面的使用视频图像坐标(x，y)的数学公式(5)表示：

[公式5]

$\left.\begin{array}{c}{x}_x=\frac{x}{\frac{1}{f}y\sin {\mathrm{\θ}}_x+\cos {\mathrm{\θ}}_x}\\ y_x=f\×\frac{\frac{1}{f}y\cos {\mathrm{\θ}}_x-\sin {\mathrm{\θ}}_x}{\frac{1}{f}y\sin {\mathrm{\θ}}_x+\cos {\mathrm{\θ}}_x}\end{array}\right\}\·\·\·\left(5\right)$

同样，在与在将相机坐标系上的点P围绕Y轴旋转θy之后获得的点对应的视频图像坐标上的点(xy，yy)由下面的使用视频图像坐标(x，y)的数学公式(6)来表示：

[公式6]

$\left.\begin{array}{c}{x}_y=f\×\frac{\frac{1}{f}x\cos {\mathrm{\θ}}_y+\sin {\mathrm{\θ}}_y}{-\frac{1}{f}x\sin {\mathrm{\θ}}_y+\cos {\mathrm{\θ}}_y}\\ y_y=\frac{y}{-\frac{1}{f}x\sin {\mathrm{\θ}}_y+\cos {\mathrm{\θ}}_y}\end{array}\right\}\·\·\·\left(6\right)$

同样，在与在将相机坐标系上的点P围绕Z轴旋转θz之后获得的点对应的视频图像坐标上的点(xz，yz)由下面的使用视频图像坐标(x，y)的数学公式(7)来表示：

[公式7]

$\left.\begin{array}{c}{x}_z=x\cos {\mathrm{\θ}}_z-y\sin {\mathrm{\θ}}_z\\ y_z=x\sin {\mathrm{\θ}}_z+y\cos {\mathrm{\θ}}_z\end{array}\right\}\·\·\·\left(7\right)$

通过使用上述数学公式(5)、(6)和(7)，在与在将相机坐标系上的点P围绕X轴、Y轴和Z轴旋转之后获得的点对应的视频图像坐标上的点(xxyz，yxyz)由下面的使用视频图像坐标(x，y)的数学公式(8)来表示：

[公式8]

$\left.\begin{array}{c}{x}_{\mathrm{xyz}}=\frac{\mathrm{xf}\cos {\mathrm{\θ}}_y\cos {\mathrm{\θ}}_z+\mathrm{yf}(\sin {\mathrm{\θ}}_x\sin {\mathrm{\θ}}_y\cos {\mathrm{\θ}}_z-\cos {\mathrm{\θ}}_x\sin {\mathrm{\θ}}_z)+f^2(\sin {\mathrm{\θ}}_x\sin {\mathrm{\θ}}_z+\cos {\mathrm{\θ}}_x\sin {\mathrm{\θ}}_y\cos {\mathrm{\θ}}_z)}{-x\sin {\mathrm{\θ}}_y+y\sin {\mathrm{\θ}}_x\cos {\mathrm{\θ}}_y+f\cos {\mathrm{\θ}}_x\cos {\mathrm{\θ}}_y}\\ y_{\mathrm{xyz}}=\frac{\mathrm{xf}\cos {\mathrm{\θ}}_y\sin {\mathrm{\θ}}_z+\mathrm{yf}(\sin {\mathrm{\θ}}_x\sin {\mathrm{\θ}}_y\sin {\mathrm{\θ}}_z+\cos {\mathrm{\θ}}_x\cos {\mathrm{\θ}}_z)+f^2(\cos {\mathrm{\θ}}_x\sin {\mathrm{\θ}}_y\sin {\mathrm{\θ}}_z-\sin {\mathrm{\θ}}_x\cos {\mathrm{\θ}}_z)}{-x\sin {\mathrm{\θ}}_y+y\sin {\mathrm{\θ}}_x\cos {\mathrm{\θ}}_y+f\cos {\mathrm{\θ}}_x\cos {\mathrm{\θ}}_y}\end{array}\right\}\·\·\·\left(8\right)$

接下来，描述平行移动量、以及放大或缩小。在视频图像坐标上的平行移动量为(mx，my)、并且放大和缩小率为R的情况下，在旋转、平行移动、以及放大或缩小之后的视频坐标上的点(x’，y’)由下面的数学公式(9)表示：

[公式9]

$\left.\begin{array}{c}{x}^{\′}=R\×x_{\mathrm{xyz}}+\mathrm{mx}\\ y^{\′}=R\×y_{\mathrm{xyz}}+\mathrm{my}\end{array}\right\}\·\·\·\left(9\right)$

如上所述，通过使用关于相机坐标系上的X轴、Y轴和Z轴的旋转角度θx、θy和θz、视频坐标系上的平行移动量mx和my、以及放大和缩小率R的总共六个参数，可以在视频图像坐标上表现相机在相机坐标系上的三维移动。

基于从视点参数内插单元512输出的视点参数(θx、θy、θz、mx、my和R)，坐标转换单元514使用数学公式(9)，确定从视频图像坐标轴上的对象(subject)坐标值(x，y)转换的经转换的坐标(x’，y’)。经转换的坐标(x’，y’)是表示帧存储单元20中存储的视频图像的像素之中、要在经视点转换的视频图像中参考的像素的坐标。也就是，从坐标(x，y)转换的经转换的坐标(x’，y’)指示在经视点转换的视频图像的坐标(x，y)中参考帧存储单元20中存储的视频图像的坐标(x’，y’)的像素值。

视点转换单元513使用经转换的坐标(x’，y’)来执行视点转换。也就是，参考帧存储单元20中存储的视频图像的坐标(x’，y’)的像素值，并输出所述像素值作为对象坐标(x，y)，以生成将原始视频图像的视点进行转换的经视点转换的视频图像。应当注意，(x，y)是将要输出的视频图像的坐标，因此，应该顺序地对整个屏幕进行扫描以生成经视点转换的视频图像。而且，如果经转换的坐标(x’，y’)为小数值，则应当输出通过对两个或多个像素进行内插而获得的结果，如第一实施例中所述的。视点转换单元513将经视点转换的视频图像输出至图像处理电路60。

现在参考图10，描述具有以上结构的视频图像视点转换单元51的操作。首先，视点选择单元511从车辆信息发送单元40获得车辆信息(步骤S101)。基于车辆信息，视点选择单元511然后从视点参数存储单元31中选择起始视点和终止视点的视点参数，并在视点参数内插单元512中设置所选择的视点参数(步骤S102)。视点参数内插单元512首先通过将帧计数值FC赋值给数学公式(2)而确定内插的视点参数(步骤S103)。如从数学公式(2)显然的，第一个内插的视点参数(在FC为0的情况下)是从视点参数存储单元31选择的起始视点的视点参数。在视点参数内插单元512将所获得视点参数传递至坐标转换单元514之后，坐标转换单元514使用数学公式(9)将视点参数转换为经转换的坐标(步骤S104)。使用经转换的坐标，视点转换单元513然后转换原始视频图像以生成经视点转换的视频图像(步骤S105)。

在那之后，进行检查以判定帧计数单元5123的计数值FC是否为T(步骤S106)。如果FC不等于T(步骤S106中的“否”)，将计数值FC递增1(步骤S107)，并且操作返回至步骤S103。重复步骤S103至S107的循环，直到计数值FC变为等于T为止。当FC变为等于T时(步骤S106中的“是”)，操作结束。如从数学公式(9)显然的，循环中最后一次(在FC等于T的情况下)在步骤S103中获得的视点参数是从视点参数存储单元31选择的终止视点的视点参数。

通过第二实施例的摄像装置，实现下面的效果、以及与通过第一实施例的摄像装置实现的效果相同的效果。在第二实施例的摄像装置中，应当仅定义由与对象视点对应的六个参数组成的一个参数集，以表达对象视点。因此，应当在视点参数存储单元31中存储各自由六个参数组成的参数集，作为各个代表性视点的视点参数。因此，可以使得视点参数存储单元需要具有的存储容量比将坐标表存储为代表性视点的视点参数的情况下的存储容量小得多。

而且，在起始视点与终止视点之间，对构成每个视点参数的各个参数(旋转角度θx、θy和θz、平行移动量mx和my、以及放大和缩小率R)执行内插操作。因此，与直接对坐标表进行内插的情况相比，在经视点转换的视频图像中，在起始视点与终止视点之间产生较少的变形。因此，可以呈现更自然且更平滑的经视点转换的视频图像。

在上述实施例中，使用参数集作为视点参数，每个参数集由旋转角度θx、θy和θz、平行移动量mx和my、以及放大和缩小率R的六个参数组成。然而，视点参数不限于这些参数集。例如，数学公式(8)可以是由下面的数学公式(10)表示的投影变换公式：

[公式10]

$\left.\begin{array}{c}{x}^{\′}=\frac{R_{x1}x+R_{x2}y+R_{x3}}{R_{x4}x+R_{x5}y+R_{x6}}\\ y^{\′}=\frac{R_{y1}x+R_{y2}y+R_{y3}}{R_{y4}x+R_{y5}y+R_{y6}}\end{array}\right\}\·\·\·\left(10\right)$

这里，可以使用数学公式(10)的投影变换系数Rx1至Rx6和Ry1至Ry6作为视点参数。在此情况下，要由视点参数内插单元502进行内插的对象增加至Rx1至Rx6和Ry1至Ry2的总共12个系数。然而，坐标转换单元514仅需要根据数学公式(10)执行计算，因此，可以使得计算量小于视点参数为旋转角度θx、θy和θz、平行移动量mx和my、以及放大和缩小率R的情况下的计算量。

在上述实施例中，视点以如由数学公式(2)所指示的恒定速率改变，该数学公式(2)用于视点参数内插单元512执行加权的内插。然而，加权的内插不限于其。例如，可以执行加权以使得视点移动表现为快速地开始并缓慢地结束。此情况下的加权的变化轨迹具有与对数函数同样的形状。

(第三实施例)

下面是参考附图对本发明第三实施例的摄像装置的描述。

图11是示意性地示出第三实施例的摄像装置的结构的框图。本实施例的摄像装置300包括相机10a至10d、视频图像合成单元15、帧存储单元20、视点参数存储单元31、描画数据存储单元70、车辆信息发送单元40、障碍物信息发送单元80、视频图像描画视点转换单元52、图像处理电路60、以及描画叠加电路61。

相机10a至10d被附装至车辆周围的各个位置，并且拍摄存在于车辆周围的物体的图像以生成视频信号。相机10a至10d的每个的具体结构与第一实施例的相机10相同。视频图像合成单元15将从相机10a至10d输入的视频图像进行合成。帧存储单元20存储由视频图像合成单元15形成的合成视频图像的一帧视频信号。视点参数存储单元31存储用于对视频图像执行视点转换的视点参数。这里存储的视点参数是参数集，每个参数集由旋转角度、平行移动量、以及放大和缩小率R组成，如第二实施例中那样。然而，可以将坐标表作为视点参数存储在视点参数存储单元31中，如第一实施例中那样。描画数据存储单元70存储要被叠加在由视频图像合成单元15形成的合成视频图像上的描画数据。车辆信息发送单元40发送将要用于自动切换视频图像视点的车辆信息，如第一实施例中那样。

障碍物信息发送单元80根据在车辆周围是否存在障碍物，发送将要用于自动切换视频图像视点的障碍物信息。使用从视点参数存储单元31选择的视点参数、以及用于缩放障碍物的周围区域的障碍物视点参数，视频图像描画视点转换单元52对存储在帧存储单元20中的视频图像和存储在描画数据存储单元70中的描画数据执行视点转换。这里，基于从车辆信息发送单元40接收的指示档位和车速的信息而选择视点参数，如第一实施例中那样。基于指示是否存在障碍物、障碍物的方向、以及距障碍物的距离的信息，生成障碍物视点参数。从障碍物信息发送单元80接收这样的信息。图像处理电路60将在视频图像描画视点转换单元52中经受了视点转换的每个视频图像中的亮度信号与色彩信号分离，并对视频信号执行亮度和色彩校正。描画叠加电路61将在视频图像描画视点转换单元52中经受了视点转换的描画数据叠加在从图像处理电路60输出的每个视频图像上。

视频图像描画视点转换单元52包括视点选择单元521、障碍物视点参数生成单元526、选择单元525、视点参数内插单元522、坐标转换单元524、以及视点转换单元523。如上述实施例中那样，上述视频图像描画视点转换单元52的各个组件可以通过包括算术处理电路、ROM、RAM、存储装置等的LSI来实现，或者可以通过执行计算机程序的计算机装置来实现。视点选择单元521基于从车辆信息发送单元40发送的车辆信息，从存储在视点参数存储单元31中的视点参数选择两个视点参数。然而，在不需要改变视点的情况下，视点选择单元521仅选择一个视点参数。

障碍物视点参数生成单元526从障碍物信息发送单元80接收指示车辆周围是否存在障碍物、障碍物的方向、以及到障碍物的距离的信息，并且，如果存在一个障碍物，则生成用于呈现障碍物的周围区域的视频图像的障碍物视点参数。选择单元525从障碍物信息发送单元80接收指示是否存在障碍物的信息。如果不存在障碍物，则选择单元525将由视点选择单元521选择的一个或两个视点参数发送至视点参数内插单元522。如果存在障碍物，则即使在视点切换操作的期间，选择单元525也将从视点参数内插单元522输出的视点参数以及由障碍物视点参数生成单元526生成的障碍物视点参数的两个视点参数发送至视点参数内插单元522。应当注意，视点参数内插单元522的输出是与当前显示的视点对应的视点参数。

视点参数内插单元522执行内插以使得在时间段T中逐渐切换由选择单元525选择的两个视点参数。基于从视点参数内插单元522输出的视点参数，坐标转换单元524确定从视频图像坐标轴上的对象坐标值(x，y)转换的经转换的坐标(x’，y’)。经转换的坐标(x’，y’)是经视点转换的视频图像和经视点转换的描画数据(稍后描述)中的参考帧存储单元20中存储的视频图像和描画数据存储单元70中存储的描画数据的坐标。

使用经转换的坐标(x’，y’)，视点转换单元523对帧存储单元20中存储的视频图像(原始视频图像)和描画数据存储单元70中存储的描画数据(原始描画数据)中的每一个执行视点转换。为了对原始视频图像执行视点转换，视点转换单元523参考关于经视点转换的视频图像的对象坐标(x，y)的视频图像坐标(x’，y’)的像素值，如第二实施例中那样。为了对描画数据执行视点转换，视点转换单元523参考关于经视点转换的描画数据的对象坐标(x，y)的原始描画数据的坐标(x’，y’)的像素值。视点转换单元523将经视点转换的视频图像输出至图像处理电路60，并将经视点转换的描画数据输出至描画叠加电路61。

下面，更详细描述与第一和第二实施例相比的、此实施例的摄像装置300的特征。与第一和第二实施例相比，此实施例的特征在于：将相机视频图像进行合成，将描画数据叠加在相机视频图像上，并且根据障碍物切换视点。下面，逐一地描述这些特征。

首先，描述相机视频图像的合成。如上所述，此实施例的摄像装置300包括相机10a至10d，并且视频图像合成单元15将由这些相机拍摄的视频图像进行合成以生成合成视频图像。图12(a)是示出相机10a至10d附装至车辆C的位置的图。图12(b)是通过将由这些相机拍摄的视频图像进行合成而生成的合成视频图像。如图12(a)中所示，在车辆的前、后、左、右的四个位置提供相机10a至10d。视频图像合成单元15将从相机10a至10d提供的视频图像进行合成以生成视频图像，仿佛车辆的图像是从鸟瞰的视点拍摄的一样，如图12(b)中所示。通过使用各自指示指定的相机和坐标的集合的坐标表，正常地将从相机提供的视频图像进行合成。

接下来，描述将描画数据叠加在相机视频图像上。首先，描述描画数据。将与由视频图像合成单元15形成的合成视频图像对应的描画数据存储在描画数据存储单元70中。图13示出了与图12(b)中示出的合成视频图像对应的描画数据的示例。描画数据包含指示车辆的前面和侧面宽度的指示线、指示用于帮助向后停车的距离的指示线、指示方向的轨迹、标记等。通过之后阶段中的视点转换，根据视频图像自动转换描画数据。

图14是示出描画数据的数据格式的示例的图。描画数据的最简单数据格式是图14(a)中所示的视频图像数据。在此情况下，通过使用对于每个像素的描画像素来表达描画形状。此数据格式具有可以任意设置描画形状的优点。然而，描画数据存储单元70需要将描画数据存储为视频图像数据。因此，此数据格式具有需要特定存储容量的缺点。而且，在描画数据为视频图像数据的形式的情况下，描画数据通常不是非常复杂，因此，可以通过诸如游程(run-length)方法的简单视频图像压缩方法来有效地减小存储容量。

而且，可以通过函数来表现描画数据，如图14(b)中所示。函数f(x)可以是x的n次函数，如由下面的数学公式(11)所示：

[公式11]

f(x)＝axⁿ+bx^n-1+…+z    …(11)

当f(x)是x的线性函数时，描画形状仅仅是直线。当f(x)是等于或高于二次函数的高次函数时，可以描画曲线。通过二次或三次函数，可以充分地应付包含上述指示线等的描画数据。在描画数据为函数的形式时，可以使得描画数据存储单元70的存储容量小于在描画数据为视频图像数据的形式的情况下的存储容量。而且，通过改变函数的系数，可以容易地改变描画形状。因为这些优点，例如，如果使得用于描画轨迹线的函数的系数随着车辆的转向角改变，则可以根据转向角描画轨迹。在这样的情况下，可以从车辆信息发送单元40获得指示转向角的信息。

将描画数据读取到视点转换单元523中。使用从坐标转换单元524接收的经转换的坐标(x’，y’)，视点转换单元523对描画数据执行视点转换。在这一点上，与用于从帧存储单元20读取的合成视频图像(作为对应于描画数据的合成视频图像)的经转换的坐标相同的经转换的坐标也用于该描画数据。通过使用经转换的坐标(x’，y’)对描画数据执行的视点转换与对视频图像执行的视点转换相同。也就是说，作为经视点转换的描画数据的对象坐标(x，y)，参考与参照坐标(x’，y’)对应的原始描画数据的像素值。将通过视点转换而生成的经视点转换的描画数据从视点转换单元523输出至描画叠加电路61。同时，将在视点转换单元523中经受了视点转换的合成视频图像输出至图像处理电路60，如第二实施例中那样。在描画叠加电路61中，将经视点转换的描画数据叠加在经视点转换的视频图像上。

如上所述，在此实施例中，不对通过将描画数据叠加在合成视频图像上而获得的叠加数据执行视点转换。而是，对合成视频图像执行使用经转换的坐标(x’，y’)的视点转换，并且对描画数据执行使用相同的经转换的坐标(x’，y’)的视点转换。然后在图像处理电路60中仅仅对经视点转换的视频图像执行图像处理，并且将经视点转换的描画数据叠加在经视点转换的视频图像上。以此方式，可以使得描画数据的描画的质量更高。也就是说，诸如轨迹的线通常较细，并且通常为这些线指定色彩。因此，如果对描画数据和视频图像同时执行图像处理，则所述线或许由于降噪或色彩校正等而变模糊或改变色调，并且，输出的描画数据不同于最初指定的描画数据。为了避免这种不利情形，可以分别标注和处理描画数据。然而，处理变得复杂。因此，仅仅将视频图像的像素输入至图像处理电路60，并且描画叠加电路61将描画数据叠加在经受了图像处理的视频图像上。

接下来，描述根据障碍物信息的视点切换。障碍物信息是关于在车辆周围存在且处于与车辆碰撞的危险之中的物体的信息。障碍物信息包含指示是否存在障碍物、障碍物的方向、以及在障碍物与车辆之间的距离的信息。障碍物信息发送单元80将该信息发送至障碍物视点参数生成单元526和选择单元525。为了发送该信息，使用诸如LIN或CAN的车上网络。根据公知的方法，可以通过在车辆周围提供的声波定位仪(sonar)来检测障碍物，或者可以使用车辆周围提供的相机通过视频图像识别来检测障碍物。这里，可以使用检测障碍物的任何方法，只要可以以一定精度获得上述障碍物信息即可。

障碍物视点参数生成单元526从障碍物信息发送单元80接收障碍物信息(指示是否存在障碍物、障碍物的方向、以及到障碍物的距离的信息)。如果存在障碍物，则障碍物视点参数生成单元526基于指示障碍物的方向以及到障碍物的距离的信息，生成用于向驾驶员呈现障碍物的周围区域的视频图像的障碍物视点参数。具体地，如果存在障碍物，则障碍物视点参数生成单元526生成障碍物视点参数，其用于将鸟瞰视点设置为将要向驾驶员呈现的视频图像的视点、并且放大障碍物的周围区域的显示图像。通过此布置，驾驶员可以容易地辨识障碍物与车辆之间的位置关系、以及到障碍物的距离。

图15是用于说明在存在障碍物的情况下的视点的示例的图。图15(a)示出在不存在障碍物的情形中的视频图像，并且，视频图像的视点是作为可以均衡地看到车辆的前、后、左、右的常规视点的鸟瞰视点。图15(b)示出车辆与障碍物之间的位置关系的示例。在此示例中，障碍物O存在于车辆C的右后方。图15(c)是示出在如图15(b)中所示存在障碍物O的情况下的障碍物视点VW的图。在如图15(b)中所示存在障碍物O的情况下，放大车辆的一部分与障碍物彼此靠近的区域，作为用于示出车辆C的一部分与障碍物O的障碍物视点VW。

障碍物视点的缩放率随着车辆与障碍物之间的距离而改变。图16示出在从车辆到障碍物的距离与示例显示之间的关系。图16(a)是示出车辆与障碍物之间的位置关系的图，并且图示了车辆C与障碍物O之间的距离较短的情况。图16(b)示出在图16(a)中图示的情况下的障碍物视点VW。图16(c)是示出车辆与障碍物之间的位置关系的图，并且图示了车辆C与障碍物O之间的距离较长的情况。图16(d)示出在图16(c)中图示的情况下的障碍物视点VW。如图16(a)至图16(d)中所示，当车辆C较靠近障碍物O时执行放大，而当车辆C进一步远离障碍物O时执行缩小。当从车辆C到障碍物O的距离变为等于或长于预定距离时，视点从障碍物视点返回至常规视点。

视频图像描画视点转换单元52在时间段T中将视点从常规视点平滑地切换至障碍物视点。下面，描述用于此操作的结构。图17是具体示出选择单元525与周围区域之间的连接的框图。选择单元525从障碍物信息发送单元80接收指示是否存在障碍物的信息，并且，根据障碍物的存在，切换将要传递至视点参数内插单元522的参数。选择单元525切换从视点选择单元521、障碍物视点参数生成单元526和视点参数内插单元522输入的视点参数，并将视点参数输出至视点参数内插单元522。

当根据从障碍物信息发送单元80接收的障碍物信息而不存在障碍物时，选择单元525输出从视点选择单元521输入的两个视点参数。在此情况下，执行与第一和第二实施例中相同的视点切换操作。当存在障碍物时，选择单元525输出从视点参数内插单元522输入的视点参数作为起始视点的视点参数，并输出从障碍物视点参数生成单元526输入的障碍物视点参数作为终止视点的视点参数。如果当前正在移动视点，则在此时从视点参数内插单元522输入的视点参数是正被切换的视点参数。如果视点未被移动，而是固定的，则视点参数是固定的视点参数。因此，当存在障碍物时，可以将当前显示的视点立即切换至障碍物视点。视点参数内插单元522和坐标转换单元524以与第一和第二实施例中相同的方式对视点参数进行内插以执行坐标转换。

通过第三实施例的摄像装置，实现下面的效果、以及与第一和第二实施例中实现的效果相同的效果。也就是说，通过第三实施例的摄像装置，即使在将描画数据叠加在相机视频图像的情况下，也可以将视点从一个视点平滑地移动至另一视点。在平滑地移动视点的同时，将描画数据正确地叠加在相机视频图像上。

而且，在第三实施例的摄像装置中，仅仅将与由视频图像合成单元15形成的合成视频图像对应的描画数据存储在描画数据存储单元70中，并且，通过转换事先存储的描画数据的视点，确定视点移动操作期间的描画数据。因此，不需要事先存储用于各个视点参数的所有描画数据，并且，可以使得描画数据存储单元70的存储容量较小。

此外，在第三实施例的摄像装置中，当在车辆的周围存在障碍物时，将视点从常规视点切换至以鸟瞰的视野放大障碍物周围的区域的图像的障碍物视点，使得障碍物与车辆之间的位置关系变得显然。也可以平滑地执行此情况下的视点切换。

在上述第三实施例中，视点转换单元523使用经转换的坐标(x’，y’)对合成视频图像执行视点转换。视点转换单元523还使用经转换的坐标(x’，y’)对描画数据执行视点转换。图像处理电路60仅仅对经视点转换的视频图像执行图像处理，并且描画叠加电路61将经视点转换的描画数据叠加在经受了图像处理的经视点转换的视频图像上。然而，本发明不限于此操作。例如，如果在描画数据存储单元70中存储的描画数据的坐标(x’，y’)中存在描画像素，则视点转换单元523参考描画数据的坐标(x’，y’)的像素值，并将像素值输出至描画叠加电路61。如果在描画数据坐标(x’，y’)中不存在描画数据，则视点转换单元523可以参考帧存储单元20中存储的合成视频图像的坐标(x’，y’)的像素值，并将像素值输出至图像处理电路60。

在上述第一至第三实施例中，时间段T等于3。然而，可以将时间段T调节为每个使用者的喜好。随着T变大，视点切换变得更平滑。然而，需要较长时间段来达到终止视点。另一方面，随着T变小，视点切换逼近瞬时(sudden)切换，但是达到终止视点所需的时间段变短。当T等于1时，视点切换变为瞬时切换。

在上述第一至第三实施例中，要由视频信号处理电路14执行的操作包括OB减法、白平衡调节和噪声减小。然而，可以不执行这三个操作，或者可以由视频信号处理电路执行除了这三个之外的操作。例如，视频信号处理操作可以包括黑点校正和伽马校正。

虽然到目前为止已经描述了当前可想到的本发明的优选实施例，但是应当理解，可以对这些实施例进行各种修改，并且在本发明的精神和范围内的所有这些修改都包括在权利要求书中。

工业适用性

如上所述，根据本发明的视频图像转换装置和包括该视频图像转换装置的摄像装置可以执行平滑的视点切换操作。因此，可以将仿佛用移动的相机拍摄的视频图像呈现给驾驶员，并且，驾驶员可以正确地辨识视频图像的视点。因此，作为将输入视频图像转换为期望视点的视频图像的视频图像转换装置、以及包括这样的视频图像转换装置的摄像装置，根据本发明的视频图像转换装置和摄像装置是有益的。

标号说明

10 相机

15 视频图像合成单元

20 帧存储单元

30、31 视点参数存储单元

40 车辆信息发送单元

50、51 视频图像视点转换单元

52 视频图像描画视点转换单元

501、511、521 视点选择单元

502、512、522 视点参数内插单元

503、513、523 视点转换单元

514、524 坐标转换单元

525 选择单元

526 障碍物视点参数生成单元

60 图像处理电路

61 描画叠加电路

70 描画数据存储单元

80 障碍物信息发送单元

100、200、300 摄像装置

Claims (17)

1.一种转换输入视频图像的视点的视频图像转换装置，包括：

视点选择单元，选择用于将所述输入视频图像的视点改变为起始视点的视点参数、以及用于将所述输入视频图像的视点改变为终止视点的视点参数，所述视点参数是从对应于多个视点的多个视点参数中选择的，所述多个视点参数被预先存储并用于改变视频图像的视点；

视点参数内插单元，通过对由所述视点选择单元选择的起始视点的视点参数和终止视点的视点参数进行内插，生成内插的视点参数；以及

视点转换单元，通过基于由所述视点参数内插单元生成的内插的视点参数，对所述输入视频图像执行视点转换，而生成经视点转换的视频图像，所述视点转换单元呈现在所述起始视点与所述终止视点之间逐渐切换视点的所述经视点转换的视频图像。

2.如权利要求1所述的视频图像转换装置，还包括视点参数存储单元，存储对应于多个代表性视点的多个视点参数，

其中，所述视点选择单元从存储在所述视点参数存储单元中的多个代表性视点的视点参数中选择所述起始视点的视点参数和所述终止视点的视点参数。

3.如权利要求1或2所述的视频图像转换装置，其中

所述视点参数是坐标表，在所述坐标表中，关于所述经视点转换的视频图像的各个坐标，写入将被所述视点转换单元参考以生成所述经视点转换的视频图像的、所述输入视频图像的坐标，并且

所述视点转换单元通过根据所述坐标表，关于所述经视点转换的视频图像的各个坐标而参考所述输入视频图像的像素值，来生成所述经视点转换的视频图像。

4.如权利要求1或2所述的视频图像转换装置，其中

所述视点参数是参数集，所述参数集包含在将所述视点从所述输入视频图像的视点改变的操作中所述视点的旋转角度和平行移动量，

所述视频图像转换装置还包括坐标转换单元，基于所述视点参数，关于所述经视点转换的视频图像的各个坐标而确定将被所述视点转换单元参考以生成所述经视点转换的视频图像的、所述输入视频图像的坐标，并且

所述视点转换单元通过关于所述经视点转换的视频图像的各个坐标而参考由所述坐标转换单元确定的、所述输入视频图像的坐标的像素值，生成所述经视点转换的视频图像。

5.如权利要求1或2所述的视频图像转换装置，其中，所述视点参数是投影转换系数。

6.如权利要求1至5中任何一项所述的视频图像转换装置，其中，所述输入视频图像是以下两者之一：从相机获得的视频图像、以及通过将从多个相机获得的多个视频图像合成而形成的合成视频图像。

7.如权利要求2至6中任何一项所述的视频图像转换装置，其中，所述视点选择单元与包含档位、车速、方向指示器和/或转向角的车辆信息关联地选择所述起始视点的视点参数和所述终止视点的视点参数。

8.如权利要求1至7中任何一项所述的视频图像转换装置，还包括：

描画数据存储单元，存储将要叠加到所述输入视频图像上的描画数据；

描画数据视点转换单元，通过使用所述起始视点的视点参数、所内插的视点参数、和所述终止视点的视点参数，对所述描画数据执行视点转换，而生成经视点转换的描画数据；以及

描画叠加单元，将所述经视点转换的描画数据叠加在所述经视点转换的视频图像上，所述经视点转换的描画数据对应于所述经视点转换的视频图像。

9.如权利要求8所述的视频图像转换装置，还包括图像处理单元，对所述经视点转换的视频图像执行图像处理，

其中，所述描画叠加单元将所述经视点转换的描画数据叠加在经受了由所述图像处理单元执行的图像处理的所述经视点转换的视频图像上，所述经视点转换的描画数据对应于所述经视点转换的视频图像。

10.如权利要求1所述的视频图像转换装置，其中，当基于包含指示在车辆附近是否存在障碍物的信息的障碍物信息而检测到车辆附近的障碍物时，所述视点选择单元选择当前的视点参数作为所述起始视点的视点参数，并选择障碍物视点参数作为所述终止视点的视点参数，所述障碍物视点参数用于生成可辨识所述障碍物与所述车辆之间的位置关系的经视点转换的视频图像。

11.如权利要求10所述的视频图像转换装置，其中

所述障碍物信息还包含指示所述障碍物的方向以及从所述车辆到所述障碍物的距离的信息，

所述视频图像转换装置还包括障碍物视点参数生成单元，所述障碍物视点参数生成单元基于指示所述障碍物的方向和从所述车辆到所述障碍物的距离的信息而生成所述障碍物视点参数，并且

所述障碍物视点参数是用于生成靠近区域的图像被放大的经视点转换的视频图像的视点参数，所述车辆和所述障碍物在所述靠近区域中彼此靠近。

12.如权利要求11所述的视频图像转换装置，其中，所述障碍物视点参数生成单元生成所述障碍物视点参数，使得在所述车辆与所述障碍物之间的距离较短时生成具有较高放大率的经视点转换的视频图像。

13.如权利要求1至12中任何一项所述的视频图像转换装置，其中

所述视点转换单元呈现在时间段T中将所述视点从所述起始视点逐渐切换至所述终止视点的经视点转换的视频图像，所述时间段T是2或更大，所述时间段T等于将要显示的视频图像的帧数目，并且

所述视点参数内插单元生成(T-1)个内插的视点参数，所述(T-1)个内插的视点参数中的每个是所述内插的视点参数。

14.一种摄像装置，包括：

输入视频图像生成装置，通过用相机拍摄车辆的周围区域的图像而生成输入视频图像；以及

如权利要求1至13中的任何一项所述的视频图像转换装置。

15.一种视频图像转换程序，用于使得计算机执行转换输入视频图像的视点的操作，所述程序使得计算机：

从对应于多个视点的多个视点参数中选择起始视点的视点参数和终止视点的视点参数，所述多个视点参数被预先存储并用于改变视频图像的视点；以及

通过对所选择的起始视点的视点参数和所选择的终止视点的视点参数进行内插，生成内插的视点参数，并且，通过基于所内插的视点参数，对所述输入视频图像执行视点转换，而生成并输出经视点转换的视频图像，

其中，所述视点转换提供在所述起始视点与所述终止视点之间逐渐切换视点的所述经视点转换的视频图像。

16.一种计算机可读记录介质，存储如权利要求15所述的视频图像转换程序。

17.一种用于转换输入视频图像的视点的视频图像转换方法，所述视频图像转换方法包括：

选择用于将所述输入视频图像的视点改变为起始视点的视点参数、以及用于将所述输入视频图像的视点改变为终止视点的视点参数，所述视点参数是从对应于多个视点的多个视点参数中选择的，所述多个视点参数被预先存储并用于改变视频图像的视点；以及

通过对所选择的起始视点的视点参数和所选择的终止视点的视点参数进行内插，生成内插的视点参数，并且，通过基于所内插的视点参数，对所述输入视频图像执行视点转换，而生成并输出经视点转换的视频图像，

其中，所述视点转换提供在所述起始视点与所述终止视点之间逐渐切换视点的所述经视点转换的视频图像。

Images