CN101795901A - 驾驶辅助系统及汽车列车 - Google Patents

Abstract

本发明提供一种驾驶辅助系统及汽车列车，在由牵引车和挂车构成的汽车列车的挂车侧设置有探头。探头拍摄挂车的后方。驾驶辅助系统通过将各拍摄图像投影到与路面平行的俯视图坐标上而将各拍摄图像变换为俯视图图像，并在俯视图坐标上导出由多个拍摄图像构成的动态图像的光流。根据该光流和牵引车的移动信息推定牵引车和挂车的连接角，进而根据连接角和牵引车的移动信息导出挂车的移动预计轨迹。然后，对显示装置输出将该移动预计轨迹叠加在俯视图图像上而形成的图像。

Description

驾驶辅助系统及汽车列车

技术领域

本发明涉及一种用于辅助汽车列车的驾驶的驾驶辅助系统。并且，本发明涉及利用该驾驶辅助系统的汽车列车。

背景技术

随着近年来安全意识的提高，多在车辆上搭载探头。该趋势不仅适于普通轿车，而且适于产业用车辆。特别是由牵引车及被该牵引车牵引的挂车构成的汽车列车的驾驶比较困难，利用探头的驾驶辅助是有益的。在这种汽车列车中，挂车以连接部作为支点弯折，但驾驶者很难认识到在牵引车运动时挂车的后端部如何运动的。

考虑到这种情况，提案有多种利用探头来辅助汽车列车的驾驶的技术。例如，在下述专利文献1中揭示有以下技术：在牵引车的后方和被牵引车的后方各设置1台探头，求出被牵引车的预计移动轨迹，并将其与被牵引车的后方的图像叠加显示。但是，在该技术中，由于必须有2台探头，因此系统整体的成本增加。

专利文献1：日本特开2006-256544号公报

发明内容

本发明的目的在于，提供一种低成本且能够良好地辅助车辆驾驶的驾驶辅助系统。并且，本发明的另一目的在于提供一种利用该驾驶辅助系统的汽车列车。

为达到上述目的，本发明所涉及的第一驾驶辅助系统具有探头，该探头设置在由第一车辆和连接于该第一车辆的第二车辆构成的汽车列车中的所述第二车辆上，且拍摄所述第二车辆的后方，从所述探头获得按时间序列排列的多个拍摄图像，并对显示装置输出由各拍摄图像生成的显示用图像，所述驾驶辅助系统的特征在于，具有：运动检测机构，其导出由所述多个拍摄图像形成的动态图像的光流；连接角推定机构，其根据所述光流及所输入的所述第一车辆的移动信息，推定所述第一车辆和所述第二车辆的连接角；移动轨迹推定机构，其根据所述连接角及所述第一车辆的移动信息，导出所述第二车辆的预计移动轨迹，通过将与所述预计移动轨迹对应的指示标识叠加在基于所述拍摄图像得到的图像上而生成所述显示用图像。

由此，能够通过影像确认第二车辆的预计移动轨迹，辅助驾驶者的驾驶操作。并且，因为只要在第二车辆侧设置探头就足够，所以成本低。

具体地说，例如，第一驾驶辅助系统还具有坐标变换机构，其通过将各拍摄图像投影到规定的俯视图坐标上而将所述多个拍摄图像变换为多个俯视图图像，由所述运动检测机构导出的所述光流为所述俯视图坐标上的光流。

另外，具体地说，例如在第一驾驶辅助系统中，所述第一车辆的移动信息包括表示所述第一车辆的移动方向及移动速度的信息，所述连接角推定机构基于所述第一车辆的移动信息导出所述俯视图坐标上的表示所述第一车辆的移动方向及移动量的向量，并基于所述向量和所述光流推定所述连接角。

并且，例如第一驾驶辅助系统还具有报告机构，其基于所推定的所述连接角与规定的阈值角度的比较结果对外部进行报告。

为达到上述目的，本发明所涉及的第二驾驶辅助系统具有探头，该探头设置在由第一车辆和连接于该第一车辆的第二车辆构成的汽车列车中的所述第二车辆侧，且拍摄所述第二车辆的后方，从所述探头获得按时间序列排列的多个拍摄图像，并对显示装置输出由各拍摄图像生成的显示用图像，所述驾驶辅助系统的特征在于，具有：运动检测机构，其导出由所述多个拍摄图像形成的动态图像的光流；移动方向推定机构，其根据所述光流推定所述第二车辆的移动方向，该驾驶辅助系统使该推定结果反映到所述显示用图像上。

由此，能够通过影像确认第二车辆的移动方向，辅助驾驶者的驾驶操作。并且，因为只要在第二车辆侧设置探头就足够，所以成本低。

具体地说，例如第二驾驶辅助系统还具有坐标变换机构，其通过将各拍摄图像投影到规定的俯视图坐标上而将所述多个拍摄图像变换为多个俯视图图像，由所述运动检测机构导出的所述光流为所述俯视图坐标上的光流。

并且，例如第二驾驶辅助系统还具有连接角推定机构，其根据所述光流及所输入的所述第一车辆的移动信息，推定所述第一车辆和所述第二车辆的连接角，使所述连接角的推定结果反映到所述显示用图像上。

另外，例如在第二驾驶辅助系统中，所述第一车辆的移动信息包括表示所述第一车辆的移动方向及移动速度的信息，所述连接角推定机构基于所述第一车辆的移动信息导出所述俯视图坐标上的表示所述第一车辆的移动方向及移动量的向量，并基于所述向量和所述光流推定所述连接角。

并且，例如第二驾驶辅助系统还具有报告机构，其基于所推定的所述连接角与规定的阈值角度的比较结果对外部进行报告。

为达到上述目的，本发明所涉及的汽车列车的特征在于，由第一车辆和连接于该第一车辆的第二车辆构成，所述汽车列车设置有上述的任一项所述的驾驶辅助系统。

发明效果

根据本发明，能够以低成本良好地辅助车辆驾驶。

本发明的意义或效果通过以下所示的实施方式的说明能够进一步明确。但是，以下的实施方式仅为本发明的一个实施方式，本发明乃至各结构要件的用语的意义并不限制于以下实施方式中的记载。

附图说明

图1为本发明的实施方式所涉及的驾驶辅助系统的结构模块图。

图2为设置有图1的驾驶辅助系统的汽车列车的外观侧视图。

图3为设置有图1的驾驶辅助系统的汽车列车的外观侧视图。

图4为从上方观察图2的汽车列车的俯视图(连接角为0°的情况)。

图5为从上方观察图2的汽车列车的俯视图(连接角不为0°的情况)。

图6为示出本发明实施方式中的探头坐标系XYZ、探头的拍摄面S的坐标系X_buY_bu和世界坐标系X_wY_wZ_w的关系的图。

图7为涉及本发明第一实施例且表示用于生成显示用图像的动作流程的流程图。

图8为涉及本发明第一实施例且从上方观察汽车列车及其周边路面的俯视图。

图9(a)及(b)为涉及本发明第一实施例且示出时刻t1及t2的拍摄图像的图。

图10(a)及(b)为涉及本发明第一实施例且示出时刻t1及t2的俯视图图像的图。

图11为涉及本发明的第一实施例且示出将图10(a)及(b)的2个俯视图图像重合的图像的图。

图12为涉及本发明的第一实施例且示出与牵引车的移动信息对应的向量(V_A)和与挂车的移动信息对应的向量(V_B)的关系的图。

图13为涉及本发明的第一实施例且示出显示用图像的示例的图。

图14为涉及本发明的第三实施例且示出显示用图像的示例的图。

图15为涉及本发明的第四实施例且示出显示用图像的示例的图。

图16为涉及本发明的第四实施例且示出显示用图像的另一示例的图。

图17为涉及本发明的第五实施例且用于说明挂车的预计移动轨迹的导出手法的图。

图18为涉及本发明的第五实施例且用于说明挂车的预计移动轨迹的导出手法的图。

图19为涉及本发明的第六实施例的图1的图像处理装置的功能模块图。

图20为涉及本发明的第六实施例且示出图19的功能模块图的变形例的图。

图中：1-探头；2-图像处理装置；3-显示装置；10-汽车列车；11-牵引车；12-挂车；14-连接部；121、122、131、132-车辆引导线。

具体实施方式

以下，参照附图详细说明本发明的实施方式。在参照的各图中，对同一部分标注同一符号，原则上省略关于同一部分的重复说明。在后面会说明第一～第六实施例，但首先对于在各实施例中通用的事项和在各实施例中被参照的事项进行说明。

在图1中示出本发明的实施方式所涉及的驾驶辅助系统的结构模块图。图1的驾驶辅助系统包括：探头1、图像处理装置2和显示装置3。探头1进行拍摄，并将表示由拍摄所得的图像的信号输出到图像处理装置2。图像处理装置2根据从探头1得到的图像生成显示用图像。图像处理装置2将表示生成后的显示用图像的影像信号输出到显示装置3，显示装置3根据被施与的影像信号将显示用图像作为影像显示。

由探头1的拍摄所得的图像本身多受镜头变形的影响。因此，图像处理装置2对通过探头1的拍摄所得的图像本身进行镜头变形补正，根据镜头变形补正后的图像进行显示用图像的生成。以下将该镜头变形补正后的图像称为拍摄图像。在不需要进行镜头变形处理时，通过探头1的拍摄所得的图像本身为拍摄图像。并且，拍摄图像也可以另称为探头图像。

图2为设置有图1的驾驶辅助系统的汽车列车10的外观侧视图。汽车列车10由牵引车11及连接于牵引车11且由牵引车11牵引的挂车12构成。符号13表示设置于挂车12上的车轮。一般将车轮13称为挂车12的后轮。车轮13设置有2个，一个车轮13设置在挂车12的左侧，另一个车轮13设置在挂车12的右侧。并且，在挂车12的后方上端部设置有探头1，探头1对挂车12的周边进行拍摄。

汽车列车10配置在路面上，在路面上行驶。以下，将路面假定为与水平面平行。并且，仅说“高度”时，其表示以路面为基准的高度。在本实施方式中，地面和路面为同义。另外，与对车辆的一般解释同样，将从挂车12观察牵引车11的方向设定为前方向，将从牵引车11观察挂车12的方向设定为后方向。

作为探头1可以使用例如使用CCD(Charge Coupled Devices)的探头或使用CMOS(Complementary Metal Oxide Semiconductor)图像传感器的探头。图像处理装置2由例如集成电路形成。显示装置3由液晶显示板等形成。也可以将包含于汽车导航系统等中的显示装置移用来作为驾驶辅助系统中的显示装置3。并且，图像处理装置2可以作为汽车导航系统的一部分进行组装。图像处理装置2及显示装置3设置在例如牵引车11内部的驾驶位附近。

图3与图2同样，为汽车列车10的外观侧视图。但是，为明示探头1的倾斜角度，在图3中，将探头1放大图示且使挂车12的形态与图2的形态有所变化。探头1朝挂车12的斜后方设置，位于挂车12后方的路面和立体物被收在探头1的视野内。水平面与探头1的光轴所成的角度有图3中θ所表示的角度和θ₂所表示的角度2种。角度θ₂一般被称为下视角或俯角。现在，捕捉角度θ作为探头1相对于水平面的倾斜角度。90°＜θ＜180°且θ+θ₂＝180°成立。

图4及图5分别为从上方观察汽车列车10的俯视图。在图4及图5中，为使图示简略化，仅用四边形表示牵引车11及挂车12。图4为牵引车11和挂车12所成的角度(以下称“连接角”)为0°时的俯视图，图5为连接角不为0°时的俯视图。连接角为0°时，牵引车11和挂车12在同一直线上排列(牵引车11和挂车12各车体在同一直线上排列)。

符号14为牵引车11和挂车12的连接部。挂车12通过连接部14与牵引车11连接。挂车12以连接部14为支点相对于牵引车11弯折。在将牵引车11及挂车12投影到水平面上而形成的二维平面中，牵引车11的车体的中心线21和挂车12的车体的中心线22所成的角度相当于上述的连接角，该连接角用θ_CN表示。并且，中心线21及中心线22为与汽车列车10笔直前进时的汽车列车10的行进方向平行的中心线。

在从上方观察牵引车11及挂车12时，将挂车12以连接部14为支点逆时针方向弯折时所呈现的连接角θ_CN设为正。从而，将汽车列车10从直行状态右转时所呈现的连接角θ_CN设为正。

[俯视图图像的生成方法]

图1的图像处理装置2具有利用坐标变换而将拍摄图像变换为俯视图图像的功能。用于从拍摄图像生成俯视图图像的坐标变换称为“俯视变换”。对于该俯视变换的手法进行说明。

图6表示探头坐标系XYZ、探头1的拍摄面S的坐标系X_buY_bu和包含二维地面坐标系X_wZ_w的世界坐标系X_wY_wZ_w的关系。坐标系X_buY_bu为定义拍摄图像的坐标系。

探头坐标系XYZ为将X轴、Y轴及Z轴设为坐标轴的三维坐标系。拍摄面S的坐标系X_buY_bu为将X_bu轴及Y_bu轴设为坐标轴的二维坐标系。二维地面坐标系X_wZ_w为将X_w轴及Z_w轴设为坐标轴的二维坐标系。世界坐标系X_wY_wZ_w为将X_w轴、Y_w轴及Z_w轴设为坐标轴的三维坐标系。

以下，将探头坐标系XYZ、拍摄面S的坐标系X_buY_bu、二维地面坐标系X_wZ_w及世界坐标系X_wY_wZ_w分别简单记为探头坐标系、拍摄面S的坐标系、二维地面坐标系及世界坐标系。

在探头坐标系XYZ中，将探头1的光学中心取为原点O，将光轴方向取为Z轴，将与Z轴正交且与地面平行的方向取为X轴，将与Z轴及X轴正交的方向取为Y轴。在拍摄面S的坐标系X_buY_bu中，将拍摄面S的中心取为原点，将拍摄面S的横向取为X_bu轴，将拍摄面S的纵向取为Y_bu轴。

在世界坐标系X_wY_wZ_w中，将通过探头坐标系XYZ的原点O的铅直线与地面的交点取为原点O_w，将与地面垂直的方向取为Y_w轴，将与探头坐标系XYZ的X轴平行的方向取为X_w轴，将与X_w轴及Y_w轴正交的方向取为Z_w轴。

X_w轴与X轴之间的平行移动量为h，该平行移动的方向为铅直线方向。Z_w轴与Z轴所成的钝角的角度与倾斜角度θ一致，预先设定h及θ的值，并将其提供给图像处理装置2。

将在探头坐标系XYZ中的像素的坐标值记为(x，y，z)。x、y及z分别为在探头坐标系XYZ中的X轴成分、Y轴成分及Z轴成分。

将在世界坐标系X_wY_wZ_w中的像素的坐标值记为(x_w，y_w，z_w)。x_w、y_w及z_w分别为在世界坐标系X_wY_wZ_w中的X_w轴成分、Y_w轴成分及Z_w轴成分。

将在二维地面坐标系X_wZ_w中的像素的坐标值记为(x_w，z_w)。x_w及z_w分别为在二维地面坐标系X_wZ_w中的X_w轴成分及Z_w轴成分，它们与在世界坐标系X_wY_wZ_w中的X_w轴成分及Z_w轴成分一致。

将在拍摄面S的坐标系X_buY_bu中的像素的坐标值记为(x_bu，y_bu)。x_bu及y_bu分别为在拍摄面S的坐标系X_buY_bu中的X_bu轴成分及Y_bu轴成分。

探头坐标系XYZ的坐标值(x，y，z)和世界坐标系X_wY_wZ_w的坐标值(x_w，y_w，z_w)之间的变换式由下式(1)表示。

[数1]

$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ 0& \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left\{\begin{array}{c}\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right]\end{array}+\left[\begin{array}{c}0\\ h\\ 0\end{array}\right]\right\}...\left(1\right)$

在此，将探头1的焦点距离设为f。这样，拍摄面S的坐标系X_buY_bu的坐标值(x_bu，y_bu)和探头坐标系XYZ的坐标值(x，y，z)之间的变换式由下式(2)表示。

[数2]

$\left[\begin{array}{c}{x}_{\mathrm{bu}}\\ y_{\mathrm{bu}}\end{array}\right]=\left[\begin{array}{c}f\frac{x}{z}\\ f\frac{y}{z}\end{array}\right]...\left(2\right)$

由上述式(1)及(2)能够得到拍摄面S的坐标系X_buY_bu的坐标值(x_bu，y_bu)和二维地面坐标系X_wZ_w的坐标值(x_w，z_w)之间的变换式(3)。

[数3]

$\left[\begin{array}{c}{x}_{\mathrm{bu}}\\ y_{\mathrm{bu}}\end{array}\right]=\left[\begin{array}{c}\frac{{\mathrm{fx}}_w}{h\sin \mathrm{\θ}+z_w\cos \mathrm{\θ}}\\ \frac{(h\cos \mathrm{\θ}-z_w\sin \mathrm{\θ})f}{h\sin \mathrm{\θ}+z_w\cos \mathrm{\θ}}\end{array}\right]...\left(3\right)$

并且，虽在图6中未示出，但定义关于俯视图图像的坐标系即俯视图坐标系X_auY_au。俯视图坐标系X_auY_au为将X_au轴及Y_au轴设为坐标轴的二维坐标系。将俯视图坐标系X_auY_au中的像素的坐标值记为(x_au，y_au)。俯视图图像由二维排列的多个像素的像素信号来表示，俯视图图像上的各像素的位置由坐标值(x_au，y_au)表示。x_au及y_au分别为俯视图坐标系X_auY_au中的X_au轴成分及Y_au轴成分。

俯视图图像是将通过实际的探头1的拍摄得到的拍摄图像变换为从假想探头的视点(以下称假想视点)观察到的图像而形成的图像。更具体地说，俯视图图像为将拍摄图像变换为沿铅直方向俯视地面看到的图像所形成的。这种图像变换一般称为视点变换。

与地面一致的被定义了二维地面坐标系X_wZ_w的平面与被定义了俯视图坐标系X_auY_au的平面平行。由此，通过平面投影进行从二维地面坐标系X_wZ_w向假想探头的俯视图坐标系X_auY_au的投影。若将假想探头的高度(即假想视点的高度)设为H，则二维地面坐标系X_wZ_w的坐标值(x_w，z_w)和俯视图坐标系X_auY_au的坐标值(x_au，y_au)之间的变换式由下式(4)表示。假想探头的高度H被预先设定。进而，通过式(4)的变形能够得到下式(5)。

[数4]

$\left[\begin{array}{c}{x}_{\mathrm{au}}\\ y_{\mathrm{au}}\end{array}\right]=\frac{f}{H}\left[\begin{array}{c}{x}_w\\ z_w\end{array}\right]...\left(4\right)$

[数5]

$\left[\begin{array}{c}{x}_w\\ z_w\end{array}\right]=\frac{H}{f}\left[\begin{array}{c}{x}_{\mathrm{au}}\\ y_{\mathrm{au}}\end{array}\right]...\left(5\right)$

若将所得的式(5)代入上式(3)则得到下式(6)。

[数6]

$\left[\begin{array}{c}{x}_{\mathrm{bu}}\\ y_{\mathrm{bu}}\end{array}\right]=\left[\begin{array}{c}\frac{{\mathrm{fHx}}_{\mathrm{au}}}{\mathrm{fh}\sin \mathrm{\θ}+H{y}_{\mathrm{au}}\cos \mathrm{\θ}}\\ \frac{f(\mathrm{fh}\cos \mathrm{\θ}-{\mathrm{Hy}}_{\mathrm{au}}\sin \mathrm{\θ})}{\mathrm{fh}\sin \mathrm{\θ}+{\mathrm{Hy}}_{\mathrm{au}}\cos \mathrm{\θ}}\end{array}\right]...\left(6\right)$

由上式(6)能够得到用于将拍摄面S的坐标系X_buY_bu的坐标值(x_bu，y_bu)变换为俯视图坐标系X_auY_au的坐标值(x_au，y_au)的下式(7)。

[数7]

$\left[\begin{array}{c}{x}_{\mathrm{au}}\\ y_{\mathrm{au}}\end{array}\right]=\left[\begin{array}{c}\frac{x_{\mathrm{bu}}(\mathrm{fh}\sin \mathrm{\θ}+{\mathrm{Hy}}_{\mathrm{au}}\cos \mathrm{\θ})}{\mathrm{fH}}\\ \frac{\mathrm{fh}(f\cos \mathrm{\θ}-y_{\mathrm{bu}}\sin \mathrm{\θ})}{H(f\sin \mathrm{\θ}+y_{\mathrm{bu}}\cos \mathrm{\θ})}\end{array}\right]...\left(7\right)$

由于拍摄面S的坐标系X_buY_bu的坐标值(x_bu，y_bu)表示拍摄图像的坐标值，因此可以利用上式(7)将拍摄图像变换为俯视图图像。

即，根据式(7)，通过将拍摄图像的各像素的坐标值(x_bu，y_bu)变换为俯视图坐标系的坐标值(x_au，y_au)，能够生成俯视图图像。俯视图图像由在俯视图坐标系中排列的各像素形成。

实际上，根据式(7)，预先制成表示拍摄图像上的各像素的坐标值(x_bu，y_bu)和俯视图图像上的各像素的坐标值(x_au，y_au)的对应关系的列表数据，并将该列表数据预先存储在未图示的存储器(查找表)中。然后，利用该列表数据将拍摄图像变换为俯视图图像。当然，也可以在每次得到拍摄图像时根据式(7)进行坐标变换运算来生成俯视图图像。

以下，将第一～第六实施例作为详细说明图1的驾驶辅助系统的动作内容的实施例进行说明。只要没有矛盾，则某实施例所记述的事项也可以适用于其他实施例。并且，在以下说明中，有时将俯视图坐标系简称为俯视图坐标，两者同义。

<第一实施例>

首先说明第一实施例。图1的图像处理装置2由探头1以规定的周期获得拍摄图像，由依次获得的拍摄图像依次生成显示用图像，将最新的显示用图像输出到显示装置3。由此，在显示装置3中更新显示最新的显示用图像。

参照图7说明用于生成1个显示用图像的动作流程。图7为表示该动作流程的流程图。图7中所示的步骤S11～S17的各处理由图1的图像处理装置2执行。

为了生成本发明所涉及的特征性的显示用图像，需要在不同的时刻拍摄的多个拍摄图像。因此，图像处理装置2读取不同时刻拍摄的多个拍摄图像，在后级的处理中参照所述多个拍摄图像(步骤S11)。这时，读取的多个拍摄图像设定为包含通过时刻t1的拍摄所得的拍摄图像(以下简称为时刻t1的拍摄图像)和通过时刻t2的拍摄所得的拍摄图像(以下简称为时刻t2的拍摄图像)。时刻t2在时刻t1之后。并且，在时刻t1-t2之间，汽车列车10移动。由此，时刻t1时的探头1的视点和时刻t2时的探头1的视点不同。

在获得时刻t1及t2的拍摄图像后，在步骤S12中，求取时刻t1-t2间的光流。其中，在步骤S12中求得的光流为俯视图坐标上的光流。

具体来说，在步骤S12中进行以下处理。将时刻t1及t2的各拍摄图像通过上述的俯视变换而变换为俯视图图像。基于时刻t1及t2的拍摄图像而得到的俯视图图像分别称为时刻t1及t2的俯视图图像。然后，对比时刻t1的俯视图图像和时刻t2的俯视图图像，并用公知的块匹配法或梯度法求出时刻t1-t2间的俯视图坐标上的光流(换言之，为由时刻t1及t2的俯视图图像构成的动态图像的光流)。

也可以进行以下处理来取代上述方法。即，对比时刻t1的拍摄图像和时刻t2的拍摄图像，并用公知的块匹配法或梯度法首先求出拍摄图像的坐标上的光流。然后，将该拍摄图像的坐标上的光流根据上式(7)匹配到俯视图坐标上，由此最终求出俯视图坐标上的光流。

以下在单称光流时表示的是俯视图坐标上的光流。

为使说明具体化，假想如图8所示的情况。图8表示从上方观察到的汽车列车10及汽车列车10的周边路面。在汽车列车10后方的路面上绘有停车场的长方形形状的停车框30。将形成该长方形的4个顶点中的位于比较接近汽车列车10的路面上的2个顶点设为顶点31及32。在图8中，标注了符号33的虚线三角形表示探头1的视野。假定在时刻t1及t2时，顶点31及32分别包含在视野33内。

在汽车列车10中，根据牵引车11的移动方向和连接角θ_CN确定挂车12的移动方向。设定如下情况进行示例：在时刻t1时，连接角θ_CN为正角，在时刻t1-t2间，牵引车11笔直地向后方行进。这时，在时刻t1-t2间，挂车12向右斜后方移动。在图8中，箭头41及42分别表示时刻t1-t2间的牵引车11及挂车12的行进方向。

图9(a)表示时刻t1的拍摄图像，图9(b)表示时刻t2的拍摄图像，在图9(a)中，符号31a及32a分别表示时刻t1的拍摄图像上的顶点31及32，在图9(b)中，符号31b及32b分别表示时刻t2的拍摄图像上的顶点31及32。

图10(a)表示时刻t1的俯视图图像，图10(b)表示时刻t2的俯视图图像。在图10(a)中，符号31c及32c分别表示时刻t1的俯视图图像上的顶点31及32，在图10(b)中，符号31d及32d分别表示时刻t2的俯视图图像上的顶点31及32。

在图11中表示使图10(a)及(b)所示的2个俯视图图像重合后的图像101。这时，分别捕捉图8的顶点31及32作为第一及第二特征点。图11中的箭头V₃₁表示在时刻t1-t2间的、俯视图坐标上的第一特征点的移动向量，图11中的箭头V₃₂表示在时刻t1-t2间的、俯视图坐标上的第二特征点的移动向量。移动向量与运动向量同义。

移动向量V₃₁用向量表示了从特征点31c向特征点31d的偏移，表示俯视图坐标上的第一特征点在时刻t1-t2间的移动的方向及大小。移动向量V₃₂用向量表示了从特征点32c向特征点32d的偏移，表示俯视图坐标上的第二特征点在时刻t1-t2间的移动的方向及大小。

光流为多个移动向量的集合，在步骤S12中求出的光流中包含移动向量V₃₁及V₃₂。俯视图坐标上的特征点的移动通过实际空间中的挂车12的移动产生，并且，因为被定义了俯视图坐标的平面与路面平行，因此与移动向量V₃₁及V₃₂方向相反的向量表示在时刻t1-t2间的挂车12的移动信息。

在接着步骤S12的步骤S13中，基于光流求出该挂车12的移动信息。该移动信息具体由图11的向量V_B表示。向量V_B由在步骤S12中求得的光流导出。向量V_B的方向及大小表示在时刻t1-t2间的、俯视图坐标上的挂车12的移动方向及移动量。

向量V_B例如基于包含在由步骤S12求出的光流中的、所关注的1个移动向量(例如V₃₁或V₃₂)导出。这时，向量V_B的大小与所关注的1个移动向量的大小相同，且向量V_B的方向与着眼的1个移动向量的方向相反。

或者，例如向量V_B基于包含在由步骤S12求出的光流中的多个移动向量(例如V₃₁及V₃₂)导出。这时，向量V_B的大小与所述多个移动向量的均值向量的大小相同，且向量V_B的方向与所述多个移动向量的均值向量的方向相反。

在接着步骤S13的步骤S14中，图像处理装置2检测在时刻t1-t2间的牵引车11的移动信息。该牵引车11的移动信息由汽车列车10所具有的舵角传感器及速度传感器(未图示)而得。舵角传感器为检测牵引车11的操舵角的传感器。速度传感器为检测牵引车11的移动速度的传感器。

牵引车11的移动信息中包含：通过舵角传感器测出的时刻t1-t2间的牵引车11的操舵角；通过速度传感器测出的时刻t1-t2间的牵引车11的移动速度。基于该牵引车11的移动信息和时刻t1-t2间的时间差Δt，求出时刻t1-t2间的牵引车11在实际空间的移动方向及移动量。牵引车11在实际空间的移动方向是指牵引车11相对于图5的中心线21在实际空间的移动方向。

图像处理装置2将表示该牵引车11在实际空间的移动方向及移动量的向量变换为俯视图坐标上的向量V_A。因为被定义了俯视图坐标的平面与路面平行，且牵引车11在实际空间的移动为路面上的移动，因此，能够根据假想探头的高度H等在几何学上将表示牵引车11在实际空间的移动方向及移动量的向量变换为向量V_A。向量V_A表示在时刻t1-t2间的、牵引车11的俯视图坐标上的移动方向及移动量。

在所关注的任意区间中，若使连接部14的移动方向及移动量与牵引车11的移动方向及移动量一致，且牵引车11的移动方向和移动量以及连接角θ_CN确定，则能够确定在关注区间的挂车12的移动方向及移动量。也就是说，在将牵引车11的移动方向及移动量设为第一变量，将挂车12的移动方向及移动量设为第二变量，将连接角θ_CN设为第三变量时，若第一～第三变量中的2个变量确定，则剩下的1个变量也能够确定。

利用这样的特性，图像处理装置2在接着步骤S14的步骤S15中，基于在步骤S14及S13中所得的牵引车11及挂车12的移动信息而推定此时的连接角θ_CN。此时的连接角θ_CN是指时刻t2的连接角或时刻t1-t2间的连接角。在图12中表示与牵引车11的移动信息对应的向量V_A和与挂车12的移动信息对应的向量V_B(参照图11)的关系。在时刻t1-t2间，当牵引车11笔直地向后方行进时，通过将向量V_A及V_B代入下式(8)来求出连接角θ_CN。

[数8]

|V_B|cosθ_CN＝|V_A|…(8)

详细地说，挂车12的移动方向及移动量不仅依存于牵引车11的移动方向及移动量和连接角θ_CN，而且依存于连接部14与挂车12的车轮13(参照图2)的位置关系以及挂车12的形状。从而，通过考虑上述关系而在几何学上求出连接角θ_CN即可。由于连接部14与车轮13的位置关系以及挂车12的形状为预先确定的，因此，若牵引车11及挂车12的移动信息确定，则能够唯一确定连接角θ_CN。也就是说，连接角θ_CN能够作为牵引车11和挂车12的移动信息(即，向量V_A及V_B)的函数进行表示。因此，例如根据连接部14和车轮13的位置关系以及挂车12的形状等预先制成输入牵引车11及挂车12的移动信息则输出连接角θ_CN的查找表，并将该查找表存储到图像处理装置2中，在步骤S15中利用该查找表推定连接角θ_CN即可。

若确定了某时刻的牵引车11的操舵角和连接角θ_CN，则能够预计其后的挂车12的行进线路。在此，在接着步骤S15的步骤S16中，根据在步骤S14中测出的牵引车11的移动信息和在步骤S15中推定的连接角θ_CN，导出挂车12的预计移动轨迹。在此导出的预计移动轨迹为预计的在俯视图坐标上的、时刻t2以后的挂车12的车体的移动轨迹。

详细地说，挂车12的预计移动轨迹不仅依存于牵引车11的操舵角和连接角θ_CN，而且依存于连接部14与挂车12的车轮13(参照图2)的位置关系以及挂车12的形状。从而，考虑上述关系而在几何学上求出预计移动轨迹即可。由于连接部14与车轮13的位置关系以及挂车12的形状为预先确定的，因此，若各时刻的牵引车11的操舵角和连接角θ_CN确定，则能够唯一确定各时刻的挂车12的车体的位置。其中，需要考虑到即使操舵角保持为固定角度，连接角也是逐渐变化的情况。

具体来说，例如通过以下的处理1～3来导出预计移动轨迹。

处理1：在导出预计移动轨迹时，假定牵引车11保持当前的操舵角及移动速度，在时刻t2以后仍移动。在此基础上，根据当前的牵引车11的操舵角和当前的连接角θ_CN来推定未来各时刻的连接角θ_CN。用于进行该推定的查找表可以根据连接部14与车轮13的位置关系以及挂车12的形状等预先制成。也可以根据实际的汽车列车10的行驶测试结果制成该查找表。通过在该查找表中输入当前的牵引车11的操舵角和当前的连接角θ_CN，能够推定未来各时刻的连接角θ_CN(即，时刻t2以后的各时刻的连接角θ_CN)。

处理2：根据当前的操舵角和通过处理1推定的未来各时刻的连接角θ_CN，推定未来各区间的挂车12在俯视图坐标上的移动方向。用于进行该推定的查找表也根据连接部14与车轮13的位置关系以及挂车12的形状等预先制成。

处理3：根据未来各区间的挂车12在俯视图坐标上的移动方向和在俯视图坐标上的挂车12的车体位置来导出预计移动轨迹。若以时刻t2的俯视图坐标上的挂车12的车体位置作为起点，将未来各区间的挂车12的移动方向连接起来，即求出预计移动轨迹。

在接着步骤S16的步骤S17中，图像处理装置2制作与在步骤S16中求出的预计移动轨迹对应的显示用图像。具体的说，通过将表示挂车12的车体左后端的预计移动轨迹的车辆引导线和表示挂车12的车体右后端的预计移动轨迹的车辆引导线在时刻t2的俯视图图像上叠加而生成显示用图像。这里的显示用图像和俯视图图像同样，也是俯视图坐标上的图像。

在图13中示出显示用图像的示例。在图10(a)及(b)中使俯视图图像的外形形状为矩形，但俯视图图像的外形形状并不局限为矩形。在图13中示出的显示用图像120的外形形状为六边形。虽然图13的显示用图像120与图10(a)和(b)中示出的俯视图图像有很大的不同，但该不同只是为了便于图示而产生的。

在显示用图像120中，斜线区域表示停车框的白线的描绘区域。显示用图像120通过在基于拍摄图像而得到的俯视图图像上叠加车辆引导线121及122而得。点123和点124与俯视图图像上的挂车12的左右后端部对应，点123和点124之间的长度表示在俯视图图像上的挂车12的车宽。车辆引导线121及122以点123及124为起点进行绘制。

在显示用图像120上还叠加有表示距挂车12后端的距离的第一及第二距离线。在显示用图像120中，沿显示用图像120的横向延伸的虚线125及126分别表示第一及第二距离线。第一及第二距离线例如分别表示距挂车12的后端的距离为1m及2m的部分。当然，也可以追加地叠加第三距离线(及第四距离线，……)。由于二维地面坐标系X_wZ_w中的Z_w轴方向的坐标值z_w表示距挂车12的后端的距离，因此，图像处理装置2能够根据上式(4)或(5)求出显示用图像上的第一及第二距离线的位置。并且，通过虚线125和126的各自左端及点123的虚线，以及通过虚线125和126的各自右端及点124的虚线，相当于挂车12的左右端的延长线。

由步骤S17生成的显示用图像显示在显示装置3的显示画面上。当步骤S17的处理结束时，返回步骤S11，将基于最新的拍摄图像而得到的显示用图像更新显示在显示装置3中，并反复执行步骤S11～S17的各处理。

虽然相比于轿车和卡车，汽车列车10的驾驶需要较高的技术且难以直接目视后方进行确认，但通过如本实施例显示的车辆引导线，能够良好地辅助安全驾驶。并且，由于能用1台探头来进行这样的辅助，因此能够以低成本形成驾驶辅助系统。在本实施例中，由于通过向俯视图图像叠加附加信息而生成显示用图像，因此能够将保持了实际距离和影像距离的一致性且容易掌握车辆后方情况的图像提供给驾驶者。

<第二实施例>

应该在图7的步骤S13中求出的挂车12的移动信息由图11的向量V_B表示，若求出移动向量V₃₁及/或V₃₂则能够导出向量V_B。因此，在图7的步骤S12及S13中也可以执行以下的处理。将对于该步骤S12及S13的处理的变形例作为第二实施例进行说明。在第二实施例中，通过特征点的抽取处理和追踪处理导出向量V_B。其中，该导出手法可以认为包含在第一实施例中所述的向量V_B的导出手法中。第二实施例与第一实施例组合实施，第一实施例中记述的事项只要没有矛盾则同样适用于本实施例中。

在第二实施例中，在步骤S11中获得时刻t1及t2的拍摄图像之后，在步骤S12中从时刻t1的拍摄图像中抽取特征点。特征点是指与能够与周围的点相区别且容易追踪的点。这样的特征点可以通过公知的特征点抽取器(未图示)自动抽取，所述特征点抽取器检测水平及垂直方向的浓淡变化量大的像素。特征点抽取器为例如Harris的角检测器、SUSAN的角检测器。应该抽取的特征点例如为路面上描绘的白线的交点或端点、路面上的污垢或龟裂等，假定为路面上的没有高度的不动点。

并且，在第二实施例所涉及的步骤S13中，进行特征点的追踪处理。作为特征点的追踪处理可以采用公知的手法。当将通过某时刻的拍摄所得的拍摄图像作为第一参照图像且将通过该时刻以后的时刻的拍摄所得的拍摄图像作为第二参照图像时，通过对比第一及第二参照图像来进行追踪处理。更具体来说，例如，将第一参照图像中的特征点的位置的附近区域作为特征点搜索区域，通过在第二参照图像的特征点搜索区域内进行图像匹配处理而确定第二参照图像的特征点的位置。在图像匹配处理中，例如，以第一参照图像中的特征点的位置为中心形成矩形区域，由该矩形区域内的图像形成样本，计算该样本和第二参照图像的特征点搜索区域内的图像的相似度。根据计算出的相似度来确定第二参照图像的特征点的位置。

若将时刻t1及t2的拍摄图像分别作为第一及第二参照图像来进行追踪处理，则能够求出时刻t2的拍摄图像中的特征点的位置。

这时，从时刻t1的拍摄图像抽取特征点31a及32a(参照图9(a))，通过追踪处理求得时刻t2的拍摄图像中的特征点31b及32b的位置(参照图9(b))。图像处理装置2将时刻t1及t2的拍摄图像通过俯视变换而变换为时刻t1及t2的俯视图图像，且根据上式(7)将特征点31a、32a、31b及32b在俯视图坐标上匹配，由此确定俯视图坐标上的特征点31c、32c、31d及32d的位置。若进行该确定，则由于自动求出移动向量V₃₁及V₃₂，因此能够根据V₃₁及/或V₃₂导出向量V_B。

另外，虽然例示了抽取及追踪的特征点的个数为2个的情况，但由于求出移动向量V₃₁及V₃₂中的至少一个就能够导出向量V_B，因此，需要抽取及追踪的特征点的个数也可以为1个。

另外，虽然例示了在拍摄图像上进行特征点的抽取处理及追踪处理的情况，但也可以在俯视图图像上进行。即，在将时刻t1及t2的拍摄图像通过俯视变换而变换为时刻t1及t2的俯视图图像后，利用特征点抽取器从时刻t1的俯视图图像抽取特征点31c及32c(参照图10(a))。然后，通过将时刻t1及t2的俯视图图像分别作为第一及第二参照图像而进行追踪处理，也可以确定时刻t2的俯视图图像中的特征点31d及32d的位置(参照图10(b))。

<第三实施例>

在第一实施例中，虽然通过将车辆引导线在俯视图图像上叠加而生成显示用图像，但由于俯视图图像提供从正上方俯视路面的影像，因此存在视野范围狭小的缺点。因此，也可以通过将车辆引导线在俯视图图像以外的图像上叠加而生成显示用图像。将上述方法作为第三实施例进行说明。具体来说，例如，也可以将车辆引导线在作为原图像的拍摄图像上叠加，由此生成显示用图像。由此，能够提供视野广阔的影像。第三实施例与第一或第二实施例组合实施，在第一或第二实施例中记述的事项只要没有矛盾则也适用于本实施例中。

在第三实施例中，将通过图7的步骤S11～S16求出的车辆引导线在拍摄图像的坐标上进行匹配。该匹配通过将拍摄图像变换为俯视图图像的坐标变换的逆变换而实现。例如，将形成俯视图图像上的车辆引导线的各像素的坐标值(x_au，y_au)根据上式(7)逆变换为拍摄图像上的坐标值(x_bu，y_bu)，则能够求出拍摄图像上的车辆引导线的位置。

在图14中示出本实施例所涉及的显示用图像的示例。图14中所示的显示用图像130通过将车辆引导线131及132在时刻t2的拍摄图像上叠加而得。并且，为便于图示，与图14对应的时刻t2的拍摄图像和与图9对应的时刻t2的拍摄图像不同。车辆引导线131及132通过将图13中所示的车辆引导线121及122在拍摄图像的坐标上进行匹配而得。在显示用图像130中，斜线区域表示停车框的白线的描绘区域。点133及134与拍摄图像上的挂车12的左右后端部对应，点133和点134之间的长度表示拍摄图像上的挂车12的宽度。车辆引导线131及132以点133及134为起点进行描绘。

在显示用图像130上还叠加有表示距挂车12的后端的距离的第一及第二距离线。沿显示用图像130的横向延伸的虚线135及136为第一及第二距离线，它们相当于将图13中的虚线125及126在拍摄图像上匹配所得的线。另外，通过虚线135和136的各自左端以及点133的虚线，和通过虚线135和136的各自右端以及点134的虚线，相当于挂车12的左右端的延长线。

<第四实施例>

另外，可以将显示用图像的生成手法进行各种变形。作为说明显示用图像的生成手法的变形例的实施例来说明第四实施例。对于显示用图像的生成手法以外的应用例也会在第四实施例的说明中涉及。第四实施例与第一～三实施例组合实施，第一～三实施例所记述的事项只要没有矛盾则也适用于本实施例。以下，单独说明第一变形处理～第三变形处理，但也可能将多个变形处理组合实施。

[第一变形处理]

可以不将车辆引导线在拍摄图像或俯视图图像中叠加，而是通过将表示挂车12的移动方向(行进方向)的指示标识叠加在拍摄图像或俯视图图像上来生成显示用图像。在图15中示出该显示用图像的示例。图15的显示用图像150是将箭头151作为表示挂车12的移动方向的指示标识叠加在图10(b)所示的时刻t2的俯视图图像上而成的图像。箭头151的方向与图1所示的向量V_B的方向一致。

当通过将表示挂车12的移动方向的指示标识叠加在拍摄图像上而不是叠加在俯视图图像上来生成显示用图像时，采用下述方法生成显示用图像即可：将俯视图坐标上的向量V_B通过第三实施例中所述的逆变换而变换为拍摄图像的坐标上的向量，将方向与所得的向量的方向一致的箭头叠加在图9(b)所示的时刻t2的拍摄图像上。

另外，也可以将表示挂车12的移动方向的指示标识及车辆引导线二者叠加在拍摄图像或俯视图图像上来生成显示用图像。

[第二变形处理]

此外，也可以使图7的步骤S15中的连接角θ_CN的推定结果反映在显示用图像中。该反映的方法为任意。考虑根据时刻t1及t2的拍摄图像推定连接角θ_CN的情况。这时，例如通过将表示连接角θ_CN的数值叠加在时刻t2的拍摄图像或时刻t2的俯视图图像上而生成显示用图像。也可以进而在该显示用图像中叠加表示挂车12的移动方向的指示标识及/或车辆引导线。

并且，例如可以以将时刻t2的拍摄图像或时刻t2的俯视图图像、表示连接角θ_CN的插图在显示画面上排列显示的方式生成显示用图像。在图16中示出该显示用图像的示例。图16的显示用图像160被分割为2个区域161及162。在区域161中，描绘有与图14所示的显示用图像130同样的图像(或者为将显示用图像130在横向上压缩后的图像)，在区域162中，描绘有表示推定的最新的连接角θ_CN的插图。在该插图中包含有由牵引车和挂车构成的汽车列车的图，插图上的牵引车和挂车的连接角与连接角θ_CN相对应地发生变化。

[第三变形处理]

若连接角θ_CN达到一定角度以上，则可能产生翻倒等情况。因此，也可以根据连接角θ_CN来进行报警。具体来说进行如下处理。驾驶辅助系统(例如图像处理装置2)将在图7的步骤S15中推定的连接角θ_CN与规定的阈值角度比较，当前者在后者以上时，进行用于对汽车列车10的驾驶者通知连接角θ_CN过大的报告。该报告可以为通过利用显示装置3的影像的报告，也可以为通过利用未图示的扬声器的报告。另外，由于合适的阈值角度根据牵引车11及挂车12的各车体的大小等而有所不同，因此，该阈值角度可以根据汽车列车10的汽车种类而变更。

<第五实施例>

在第一实施例中说明了导出挂车12的预计移动轨迹的手法，将该导出手法的变形例(即，图7的步骤S16的处理的变形例)作为第五实施例进行说明。第五实施例与第一实施例或第二～第四实施例中的任一例组合实施。对获得时刻t1及t2的拍摄图像并如第一实施例所述执行图7的步骤S11～S15的各处理后的处理进行说明。

图17示出将X_bu轴及Y_bu轴作为坐标轴的俯视图坐标。在图17中，还描绘有将汽车列车10向俯视图坐标投影后的图形。在图17中，符号11a、12a及13a分别为将图2的牵引车11、挂车12及车轮13向俯视图坐标上投影后的图形。用Q表示设置于挂车的2个车轮13的车轴中心。2个车轮13的车轴与图5的中心线22正交，车轴中心Q在中心线22上。

这时，将俯视图坐标上的时刻t2的连接点14的位置设为原点。将俯视图坐标上的时刻t2的牵引车11的中心线21(参照图5)设定在Y_au轴上。进而，假定以时长Δt离散的时刻t1、t2、t3、t4、……。时间以时刻t1、t2、t3、t4、……的顺序经过。俯视图坐标上的时刻ti时的连接点14的位置用k[ti]表示(i为自然数)。

在导出预计移动轨迹时，假定牵引车11保持当前的操舵角及移动速度，在时刻t2后仍移动。这样，表示时刻t2-t3间的牵引车11的俯视图坐标上的移动方向及移动量的向量与第一实施例中所述的时刻t1-t2间的向量V_A一致。从而，能够根据向量V_A确定俯视图坐标上的时刻t3时的连接点14的位置k[t3]。也就是说，当将时刻t2的连接点14的位置k[t2]作为起点而将向量V_A配置在俯视图坐标上时，向量V_A的终点位置确定为位置k[t3]。并且，若时刻t1-t2间的牵引车11的操舵角能够确定，则俯视图坐标上的向量V_A的方向能够确定。

并且，将时刻ti时的连接角θ_CN用θ_CN[ti]表示(i为自然数)。进而，将在俯视图坐标上的、时刻ti的车轴中心Q的位置用Q[ti]表示(i为自然数)。在图7的步骤S15中推定时刻t2时的连接角θ_CN[t2]，图像处理装置2利用该连接角θ_CN[t2]求出位置Q[t2]。更详细地说，根据连接角θ_CN[t2]和位置k[t2]以及已知的挂车12的车体信息求出位置Q[t2]。挂车12的车体信息确定俯视图坐标上的连接点14到车轴中心Q的距离。

然后，图像处理装置2推定俯视图坐标上的、时刻t3的车轴中心Q的位置Q[t3]并使其同时满足以下的第一及第二条件(参照汽车规格(JASOZ 006-92；第18页))。

第一条件为：位置k[t2]与位置Q[t2]的距离和位置k[t3]与位置Q[t3]的距离相同。

第二条件为：位置Q[t3]位于位置k[t2]与位置Q[t2]的连线上。

进而，图像处理装置2根据推定的位置Q[t3]和位置k[t3]推定在时刻t3时的连接角θ_CN[t3]。也就是说，将通过位置k[t3]且与Y_au轴平行的直线和位置k[t3]与位置Q[t3]的连线所成的角度推定为连接角θ_CN[t3]。

如上所述，以“k[t2]、Q[t2]及θ_CN[t2]”为基准导出“k[t3]、Q[t3]及θ_CN[t3]”。若以“k[t3]、Q[t3]及θ_CN[t3]”为基准来应用将该导出手法，则能够确定“k[t4]、Q[t4]及θ_CN[t4]”。通过反复执行该手法，能够接连求出“k[t5]、Q[t5]及θ_CN[t5]”、“k[t6]、Q[t6]及θ_CN[t6]”、……。

图18为将时刻t2～t6的车轴中心Q的位置Q[t2]～Q[t6]连成曲线而成的图。连接Q[t2]～Q[t6]的轨迹为在俯视图坐标上的车轴中心Q的预计移动轨迹。若能够求出各时刻的车轴中心Q的位置，则根据俯视图坐标上的挂车12的车宽也可以求各时刻的挂车12的车体的左右后端的位置。图18中的曲线171及172为时刻t2以后的挂车12的车体的左右后端的预计移动轨迹。在图7的步骤S16中导出所述预计移动轨迹。

例如，图13的显示用图像120通过将沿着所述曲线171及172的车辆引导线121及122叠加在时刻t2的俯视图图像上而生成。

<第六实施例>

接下来说明第六实施例。在第六实施例中，例示图1的图像处理装置2的功能模块图。图19为与第一实施例对应的图像处理装置2的功能模块图。在图19的图像处理装置2中，执行图7所示的各步骤的处理。图19的图像处理装置2具有参照符号201～205的各部位。

在图7的步骤S11中读取的时刻t1及t2的拍摄图像输送到俯视变换部201中。俯视变换部201将t1及t2的拍摄图像通过俯视变换而变换为时刻t1及t2的俯视图图像。运动检测部202通过将由该变换所得的时刻t1及t2的俯视图图像进行对比，导出时刻t1-t2间的俯视图坐标上的光流(步骤S12)。连接角推定部203根据该光流和输入的牵引车11的移动信息推定连接角θ_CN(步骤S15)。并且，图7的步骤S13及S14的处理通过运动检测部202或连接角推定部203，抑或是图像处理装置2中的其他部位来实现。

移动轨迹推定部204根据由连接角推定部203推定的连接角θ_CN和牵引车11的移动信息来执行图7的步骤S16的处理，由此求出挂车12的预计移动轨迹。显示用图像生成部205将基于该推定结果而得到的车辆引导线叠加在时刻t2的俯视图图像上，由此生成时刻t2的显示用图像。

另外，如在上述第四实施例中的第一变形处理，当将表示挂车12的移动方向的指示标识叠加在拍摄图像或俯视图图像上时，图19的功能模块图如图20所示变形。图20所示的挂车移动方向推定部206也与参照符号201～205的各部位一样设置在图像处理装置2内。挂车移动推定部206通过利用来自运动检测部202的光流而执行图7的步骤S13的处理，从而求出表示挂车12的移动方向的图11的向量V_B。这时，显示用图像生成部205利用该向量V_B生成图15的显示用图像150。

<变形等>

作为上述实施方式的变形例或注释事项，以下记述注释1～注释4。各注释中记述的内容只要没有矛盾就能够任意组合。

[注释1]

上述的由拍摄图像生成俯视图图像的坐标变换一般被称为透视投影变换。也可以不采用该透视投影变换，而是通过公知的平面投影变换由拍摄图像生成俯视图图像。当采用平面投影变换时，在探头校正处理阶段预先求出单应性矩阵(坐标变换矩阵)，该单应性矩阵用于将拍摄图像上的各像素的坐标值变换为俯视图图像上的各像素的坐标值。单应性矩阵的求法为公知。并且，在进行图7所示的动作时，根据单应性矩阵将拍摄图像变换为俯视图图像即可。不论采用哪种方法，通过将拍摄图像投影到俯视图坐标上而将拍摄图像变换为俯视图图像。

[注释2]

在上述的实施方式中，将基于从1个探头所得的拍摄图像而得到的显示用图像显示在显示装置3中，但当将多个探头(未图示)设置在汽车列车10上时，可以根据由所述多个探头所得的多个拍摄图像而生成显示用图像。例如，将探头1以外的其他的1台以上的探头安装到汽车列车10上。并且，将基于其他探头的拍摄图像得到的图像和基于探头1的拍摄图像得到的图像进行合成，可以将通过该合成所得的图像最终作为对于显示装置3的显示用图像。该合成图像例如为如日本特开2006-287892号公报所记述的全周俯视图图像。

[注释3]

在上述的实施方式中，将本发明所涉及的驾驶辅助系统适用于由牵引车11和挂车12构成的汽车列车10(参照图2)。但是，能够应用本发明所涉及的驾驶辅助系统的车辆不局限于由牵引车和挂车构成的汽车列车。可对由第一车辆和连接于第一车辆而被牵引的第二车辆构成的任意汽车列车应用本发明所涉及的驾驶辅助系统。在上述的实施方式中，第一车辆相当于牵引车11且第二车辆相当于挂车12。并且，图1的汽车列车10为运输钢材或重物的大型汽车列车，但本发明不依存于汽车列车的大小。

能够适用本发明的汽车列车包括一般被称为牵引汽车的车辆(或汽车列车本身为牵引汽车)。进而，例如，能够适用本发明的汽车列车由第一车辆和第二车辆构成，包括通道式公共汽车(铰接公共汽车)、铰接式公共汽车及无轨电车。例如，在铰接公共汽车中适用本发明所涉及的驾驶辅助系统时，将铰接公共汽车中的第一车辆及第二车辆看作上述的牵引车11及挂车12来实施上述处理即可。另外，被分类为SUV(Sports UtilityVehicle)的汽车列车也能够适用本发明。

[注释4]

图1的图像处理装置2能够通过硬件、软件或硬件和软件的组合来实现。也可以将在图1的图像处理装置2中实现的功能的全部或一部分作为程序记载，通过在计算机上执行该程序来实现所述功能的全部或一部分。

Claims (10)

1.一种驾驶辅助系统，具有探头，该探头设置在由第一车辆和连接于该第一车辆的第二车辆构成的汽车列车中的所述第二车辆上，且拍摄所述第二车辆的后方，

从所述探头获得按时间序列排列的多个拍摄图像，并对显示装置输出由各拍摄图像生成的显示用图像，

所述驾驶辅助系统的特征在于，具有：

运动检测机构，其导出由所述多个拍摄图像形成的动态图像的光流；

连接角推定机构，其根据所述光流及所输入的所述第一车辆的移动信息，推定所述第一车辆和所述第二车辆的连接角；

移动轨迹推定机构，其根据所述连接角及所述第一车辆的移动信息，导出所述第二车辆的预计移动轨迹，

通过将与所述预计移动轨迹对应的指示标识叠加在基于所述拍摄图像得到的图像上而生成所述显示用图像。

2.根据权利要求1所述的驾驶辅助系统，其特征在于，

还具有坐标变换机构，其通过将各拍摄图像投影到规定的俯视图坐标上而将所述多个拍摄图像变换为多个俯视图图像，

由所述运动检测机构导出的所述光流为所述俯视图坐标上的光流。

3.根据权利要求2所述的驾驶辅助系统，其特征在于，

所述第一车辆的移动信息包括表示所述第一车辆的移动方向及移动速度的信息，

所述连接角推定机构基于所述第一车辆的移动信息导出所述俯视图坐标上的表示所述第一车辆的移动方向及移动量的向量，并基于所述向量和所述光流推定所述连接角。

4.根据权利要求1所述的驾驶辅助系统，其特征在于，

还具有报告机构，其基于所推定的所述连接角与规定的阈值角度的比较结果对外部进行报告。

5.一种驾驶辅助系统，具有探头，该探头设置在由第一车辆和连接于该第一车辆的第二车辆构成的汽车列车中的所述第二车辆上，且拍摄所述第二车辆的后方，

从所述探头获得按时间序列排列的多个拍摄图像，并对显示装置输出由各拍摄图像生成的显示用图像，

所述驾驶辅助系统的特征在于，具有：

运动检测机构，其导出由所述多个拍摄图像形成的动态图像的光流；

移动方向推定机构，其根据所述光流推定所述第二车辆的移动方向，

该驾驶辅助系统使该推定结果反映到所述显示用图像上。

6.根据权利要求5所述的驾驶辅助系统，其特征在于，

还具有坐标变换机构，其通过将各拍摄图像投影到规定的俯视图坐标上而将所述多个拍摄图像变换为多个俯视图图像，

由所述运动检测机构导出的所述光流为所述俯视图坐标上的光流。

7.根据权利要求6所述的驾驶辅助系统，其特征在于，

还具有连接角推定机构，其根据所述光流及所输入的所述第一车辆的移动信息，推定所述第一车辆和所述第二车辆的连接角，

使所述连接角的推定结果反映到所述显示用图像上。

8.根据权利要求7所述的驾驶辅助系统，其特征在于，

所述第一车辆的移动信息包括表示所述第一车辆的移动方向及移动速度的信息，

所述连接角推定机构基于所述第一车辆的移动信息导出所述俯视图坐标上的表示所述第一车辆的移动方向及移动量的向量，并基于所述向量和所述光流推定所述连接角。

9.根据权利要求7所述的驾驶辅助系统，其特征在于，

还具有报告机构，其基于所推定的所述连接角与规定的阈值角度的比较结果对外部进行报告。

10.一种汽车列车，其特征在于，

由第一车辆和连接于该第一车辆的第二车辆构成，

所述汽车列车设置有权利要求1～9中任一项所述的驾驶辅助系统。

Images