CN108621938B - 用于车辆的观察装置 - Google Patents

Abstract

一种用于车辆的观察装置，包括：成像范围不同的多个成像设备；图像生成设备，其基于由一个或多个所述成像设备成像的图像来生成观察图像，所述观察图像由下列图像合成：车辆后方的图像、车辆构造物的半透明的图像、和在后座椅上的车辆乘员的图像；以及显示所述观察图像的显示装置。

Description

用于车辆的观察装置

技术领域

优选实施例涉及一种用于车辆的观察装置，其显示成像有车辆周围环境的拍摄图像。

背景技术

日本专利申请公开(JP-A)第2013-141120号公开了一种图像显示器(已知为电子后视镜)，其配备有对车辆后方进行成像的后方摄像头以及对车辆的后侧方成像的后侧方左摄像头和后侧方右摄像头。在该图像显示器中，由后方摄像头成像的图像与由后侧方左摄像头和后侧方右摄像头成像的图像合成，以生成连续的后方图像。由此，能够显示布置在车辆后方的对象。

JP-A第2014-199546号公开了一种驾驶辅助装置，该驾驶辅助装置将从车辆的上部成像的车辆周围的图像与从车厢内部的上部成像的车厢内部图像进行合成，并且在显示装置处显示合成图像。

然而，尽管JP-A第2013-141120号的图像显示设备具有在由多个摄像头合成的广角后方图像中不受到后座椅车辆乘员、车辆构造物等的阻碍而提供跨越后方周围环境的视野的优点，但是与传统光学内部后视镜(以下简称为光学后视镜)的显示的不同可能会引起违和感。

特别是，由于后座位上的车辆乘员和车辆构造物不被该图像显示器显示，所以可能不能了解车辆后方的状况、车辆内部的状况等。

采用JP-A第2014-199546号的驾驶辅助装置，可以了解车辆周围和车厢内部的状况。然而，由于所观察的图像是从车辆上部俯视，因此不能用对传统光学后视镜的类似感觉看到车辆后方。

发明内容

考虑到上述情况，示例性实施例提供了一种用于车辆的观察装置，其可以减轻观察期间的违和感，并且使得能够了解在车辆后方和车厢的内部的状况。

根据第一方案的用于车辆的观察装置包括：多个成像设备，所述多个成像设备在成像范围上不同；图像生成设备，其基于由一个或多个所述成像设备成像的图像来生成观察图像，所述观察图像由下列图像合成：车辆后方的图像、车辆构造物的图像，该图像是半透明的、以及后座椅上的车辆乘员的图像；以及显示装置，其显示所述观察图像。

根据第一方案的用于车辆的观察装置设置有具有不同成像范围的多个成像设备。在显示装置处显示了基于由一个或多个成像设备成像的图像生成的观察图像。该观察图像是通过将车辆后方的图像与车辆构造物的图像和后座椅上的车辆乘员的图像合成来生成的。这里，术语“车辆构造物”的含义包括，例如，诸如车柱、车顶等结构对象。在上述用于车辆的观察装置中，车辆构造物的图像以半透明状态被合成。合成的观察图像显示在显示装置处，并由驾驶员观察。

根据第一方案的用于车辆的观察装置，可以提供如在电子后视镜中那样去除盲点的观察图像、具有接近于传统光学后视镜的视角的观察图像等。可以在这些观察图像中显示半透明的车辆构造物以及后座椅上的车辆乘员。因此，可以缓和熟悉光学后视镜的驾驶员对电子后视镜的违和感，并且可以了解车辆后方的状况和车厢的内部的状况。由于使后座椅上的车辆乘员可见，所以可以查看车辆乘员的状况并且可以便于交流。

在根据第二方案的用于车辆的观察装置中，所述图像生成设备生成所述观察图像以使得所述车辆构造物的透明度朝向车辆上侧增大。

根据第二方案的用于车辆的观察装置，因为透明度远离车身朝上地增大，所以甚至在缓和与电子后视镜相关联的违和感的同时还可以容易地观察车辆周围环境的对象。

在根据第三方案的用于车辆的观察装置中，所提供的所述多个成像设备包括：从车辆后部向后方成像的后方摄像头、从车辆侧部向后方成像的后侧方摄像头、以及车厢内部摄像头，其在车厢中向后方成像，包括对后座椅进行成像；并且所述图像生成设备对下列图像进行合成：由所述后方摄像头成像的图像和由所述后侧方摄像头成像的图像所合成的所述车辆后方的图像，来自所述车厢内部摄像头的所述车辆构造物的图像、以及来自所述车厢内部摄像头的所述后座椅上的所述车辆乘员的图像。

根据第三方案的用于车辆的观察装置，既可以去除盲点又可以通过设置在车辆中的多个成像设备观察后座椅上的车辆乘员。

根据优选的实施例，可以缓和观察期间的违和感，并且可以了解车辆后方以及车厢的内部的状况。

附图说明

将基于以下附图详细描述示例性实施例，其中：

图1是示意性示出根据第一示例性实施例的用于车辆的观察装置的车辆安装位置的图示；

图2是示出根据第一示例性实施例的用于车辆的观察装置的显示器和切换开关的立体图；

图3是示出根据第一示例性实施例的用于车辆的观察装置的示意性结构的框图；

图4A是示出根据第一示例性实施例的由用于车辆的观察装置的摄像头生成的常规图像的视图；

图4B是示出基于图4A的常规图像形成的盲点完善图像的视图；

图4C是示出基于图4B形成的车厢内部观察图像的合成状态的视图；

图5A是示出根据第一示例性实施例的在用于车辆的观察装置的显示器处显示的常规图像的视图；

图5B是示出根据第一示例性实施例的在用于车辆的观察装置的显示器处显示的盲点完善图像的视图；

图5C是示出根据第一示例性实施例的在用于车辆的观察装置的显示器处显示的车厢内部观察图像的视图；

图6A是描述根据第一示例性实施例的用于车辆的观察装置的常规图像的图示；

图6B是描述根据第一示例性实施例的用于车辆的观察装置的盲点完善图像的图示；

图6C是描述根据第一示例性实施例的用于车辆的观察装置的车厢内部观察图像的虚拟视角和虚拟视点的图示；

图7是示出根据第一示例性实施例的用于车辆的观察装置的切换处理和图像生成处理的流程图；

图8是根据第一示例性实施例的用于车辆的观察装置的切换处理的时序图；

图9是示出根据第二示例性实施例的用于车辆的观察装置的示意性结构的框图；

图10是示出根据第三示例性实施例的用于车辆的观察装置的示意性结构的框图。

具体实施例

-第一示例性实施例-

以下，参照附图详细说明第一实施例。图1是示出采用了根据本示例性实施例的用于车辆的观察装置10的车辆12的图示。根据本示例性实施例的车辆12是沿车辆前后方向布置三排座椅的车辆，诸如小型货车、旅行车等。但是，应注意的是，图1以及图4A至图6C示出了驾驶员D就座并且乘客P落座于后座椅16C(第二排)的左侧处的示例。

-结构-

如图1至图3所示，根据本示例性实施例的用于车辆的观察装置10包括多个摄像头20、显示器40、切换开关50和控制装置30。下面描述这些结构。

根据本示例性实施例的用于车辆的观察装置10配备有多个摄像头20，多个摄像头20是相对于车辆12具有不同成像范围的摄像装置。如图1所示，根据本示例性实施例的摄像头20包括后方摄像头22、后侧方摄像头24(右后侧方摄像头24R和左后侧方摄像头24L)以及车厢内部摄像头26。

后方摄像头22设置在车辆12的后方的车辆宽度方向中央。例如，如果车辆12是轿车，则后方摄像头22布置在行李箱门的上端或后方车号牌上方，而如果车辆12是具有后门的车辆，则后方摄像头22布置在后门的上部等。后方摄像头22是能够从车辆的后端附近向后方宽范围地拍摄的广角摄像头。后方摄像头22具有类似于普通的先前已知的倒车监视摄像头的布置和成像角度。根据本示例性实施例的后方摄像头22的布置点P1位于后方车号牌的上方，并且后方摄像头22的成像角度A1被设定为至少跨越车辆后方的范围。如果成像角度A1比所需要的宽，则从成像范围裁剪生成观察图像所需的范围即足够。因此，在配备有倒车监视器的车辆中，倒车监视器也可以用作后方摄像头22，而如果在成像范围上存在差异，则可以将成像范围裁剪到所需的范围。

后侧方摄像头24包括右后侧方摄像头24R和左后侧方摄像头24L，其布置点P2位于车辆宽度方向的两端处的外后视镜14R和14L处。具体地，根据本示例性实施例的后侧方摄像头24各自以在设置在外后视镜14R或14L的下部处的风罩内的透镜朝后取向的状态下被附接。每个后侧方摄像头24的成像角度A2被设定为至少相对于车身14跨越车辆宽度方向外侧和车辆后方的范围。如果成像角度A2比所需要的宽，则从成像范围剪裁生成观察图像所需的范围。

后侧方摄像头24可以独立布置来代替布置在外后视镜14R和14L处。在这种情况下，每个后侧方摄像头24也可以用作“电子外后视镜”的摄像头。也就是说，由后侧方摄像头24成像的图像显示在专用显示器处，专用显示器未在图中示出，设置在前柱下部、仪表板、门饰板等处。另外，不在车辆12的车身14的侧部设置突起，而是车身14的在车辆宽度方向的两侧的一般表面设置的鱼眼摄像头可以作为后侧方摄像头24。后侧方图像可以从鱼眼摄像头成像的图像中裁剪。

车厢内部摄像头26的布置点P3是在图中未示出的车顶饰件的车辆下方侧的车辆宽度方向中央的面上的具有跨越后座椅16C的视野的位置。车厢内部摄像头26的成像角度A3被设定为至少跨越后座椅16C的范围。如果成像角度A3比所需要的宽，则从成像范围裁剪生成观察图像所需的范围即足够。车厢内部摄像头26具有跨越包括后座椅16C的后方的视野即足够；车厢内部摄像头26可以设置在例如现有光学后视镜的支撑件附近、靠近前座椅乘客的头部附近的车辆宽度方向中央、等。

根据本示例性实施例的用于车辆的观察装置10设置有液晶型显示器40，该液晶型显示器40用作显示下面描述的基于由一个或多个摄像头20成像的图像生成的观察图像的显示装置。如图2所示，显示器40包括液晶面板42和支撑液晶面板42的主体部分44。根据本示例性实施例的显示器40被设置为用作代替之前的光学后视镜的“电子后视镜”，其中镜面自身由液晶面板42代替。显示器40的臂46从主体部分44的上部延伸。显示器40通过固定到车顶头部控制台、前挡风玻璃等的臂46来支撑。尽管根据本示例性实施例的显示器40是液晶显示器，但这不是限制性的。例如，可以使用有机发光二极管型(OLED)显示器、配备有投影仪和屏幕的显示器等。

作为上述的替代方案，显示器40可以布置在车顶头部控制台、前挡风玻璃的中央的下部附近(仪表板的中央的上部)等。此外，显示器40可以在前挡风玻璃附近与现有导航显示器组合。显示器40的布置位置不必限于车辆宽度方向中央附近，而是也可以位于驾驶员前方的拨盘附近或其上部，或者在遮阳板附近。显示器40也可以是以前挡风玻璃、专用组合器(反射板)等处的反射用作投影方法的“平视显示器”的形式的远距离显示器。但是，从对传统的光学后视镜的熟悉度方面，希望在布置传统的后视镜位置附近的区域中布置。

切换开关50设置在显示器40的主体部分44的下部，在车辆宽度方向左右中央处。切换开关50用作下面描述的用于在多个观察图像之间切换的操作部件。切换开关50设置在与用于切换传统光学后视镜的防眩光的杆相对应的区域中。根据本示例性实施例的切换开关50可以在前后方向上操作；期望采用瞬时的拨动开关，当从手中释放时，该拨动开关返回到中间位置。

现在描述根据本示例性实施例的用于车辆的观察装置10的控制系统。

如图3所示，根据本示例性实施例的控制系统主要由控制装置30构成。控制装置30设置在例如车辆12的前座椅侧的地板附近(参见图1)。控制装置30包括CPU、ROM和RAM。控制装置30与后方摄像头22、右后侧方摄像头24R、左后侧方摄像头24L、车厢内部摄像头26、显示器40以及切换开关50连接。控制装置30主要被划分成车厢内部图像处理部32和主控制部34。主控制部34执行观察图像生成处理、切换处理等。主控制部34包括图像生成部36和切换控制部38。

车厢内部图像处理部32被设置为执行用于提取车辆构造物16、后座椅16C上的乘客P等的图像的处理的单元。具体地，由车厢内部摄像头26成像的图像被输入到车厢内部图像处理部32中，并且车厢内部图像处理部32执行提取车辆构造物16和后座椅16C上的乘客P的图像的处理，车辆构造物16和后座椅16C上的乘客P的图像是来自车厢内部摄像头26成像的图像的车厢内部图像。根据本示例性实施例的车辆构造物16包括车柱16A、车顶16B、后座椅16C(第二排)、第三排的座椅等。换句话说，根据本示例性实施例的车辆构造物16对应于在之前的光学后视镜中示出的车辆的结构。

车辆构造物16基本上具有固定的图案。因此，根据本示例性实施例的车厢内部图像处理部32基于图像帧之间的差异或当事先已经成像的不存在乘客P时的图像图案或者或根据聚焦差异的距离差异等来分离出车辆构造物16和乘客P。对于由车厢内部摄像头26成像的图像中的窗口区域(侧窗)，与车辆构造物16类似，车厢内部图像处理部32可以基于固定图案分离出从内侧看到的车辆外侧(窗外)的场景。也就是说，从车辆内侧看到的车辆外侧(窗外)的场景被描绘为与由后方摄像头22、右后侧方摄像头24R和左后侧方摄像头24L成像的图像重叠，并且通过车厢内部图像处理部32的处理而被预先删除。

已经由车厢内部图像处理部32提取的车辆构造物16的图像信息和后座椅16C上的乘客P的图像信息被输出到下面描述的主控制部34的图像生成部36。根据本示例性实施例的车厢内部图像处理部32在控制装置30中与图像生成部36分开设置，但是这不是限制性的；可以将车厢内部图像处理部32并入图像生成部36中。另外，可以将车厢内部图像处理部32的功能设置给车厢内部摄像头26的嵌入软件(固件)；也就是说，车厢内部图像处理部32的功能可以被嵌入到车厢内部摄像头26中。

图像生成部36被设置为用作图像生成设备，该图像生成设备基于由一个或多个摄像头20成像的图像来生成在视点和视角中的一者或两者上不同的多个观察图像。具体地，由后方摄像头22、右后侧方摄像头24R、左后侧方摄像头24L和车厢内部摄像头26成像的图像被输入到图像生成部36中。对于由车厢内部摄像头26成像的图像，输入了如上所述的已由车厢内部图像处理部32提取的车辆构造物16的图像信息和后座椅16C上的乘客P的图像信息。如图4A至图4C以及图5A至图5C所示，可以生成常规图像、盲点完善图像和车厢内部视图图像作为观察图像。

首先，图像生成部36基于由后方摄像头22成像的图像生成如图5A所示的常规图像。如图4A所示，该常规图像是由后方摄像头22成像的未变更图像或者是修剪到适合运行的成像范围的普通的电子后视镜显示。如图6A所示，常规图像在车身14的后端具有虚拟视点V1以及跨越车辆12的后方的范围的虚拟视角W1。在图5A的示例中，车辆C被显示为沿着车辆(车辆12)的后方处的相邻车道行驶。

图像生成部36还基于由后方摄像头22和后侧方摄像头24成像的图像生成如图5B所示的盲点完善图像。如图4B所示，除了由后方摄像头22成像的图像之外，盲点完善图像还使用从由右后侧方摄像头24R和左后侧方摄像头24L成像的各图像中的图像，将这三个图像变换并合成为连续接合的广角图像。在下面的描述中，由后方摄像头22和左右后侧方摄像头24成像的变换合成图像被称为“后方合成图像”。如图6B所示，盲点完善图像具有靠近车辆12的车辆前后中央的虚拟视点V2和具有跨越车辆12的后方和侧部的范围的虚拟视角W2。在盲点完善图像中，虚拟视点向前移动，而虚拟视角相对于常规图像变宽。在图4B的示例中，沿着相邻车道行驶的车辆C被显示在车辆(车辆12)的后方，并且显示了在常规图像中不显示的车辆12的后侧方。在盲点完善图像中，将车辆12的出现在从虚拟视点V2观察的范围内的一部分显示为遮蔽区域S。该遮蔽区域S由车辆12投影到路面的范围被遮挡而像阴影一样出现而形成。遮蔽区域S的范围实际上是对应于车辆12下方的不可见的区域，并且不进入三个摄像头20中的每一个的任何成像角度A1和A2。遮蔽区域S区域被遮挡的表现的目的是修正不可见的区域，并且使图像彼此相容。另外，由于车辆所占据的路面范围被显示在屏幕上，因此具有可以容易地了解与周围车辆的关系的效果。

此外，图像生成部36基于由后方摄像头22、后侧方摄像头24以及车厢内部摄像头26成像的图像生成如图5C所示的车厢内部视图图像。如图4C所示，除了后方合成图像之外，该车厢内部视图图像合成了由车厢内部摄像头26成像的图像。如图6C所示，车厢内部视图图像具有靠近显示器40的布置位置的虚拟视点V3和观察跨过后座椅16C上的乘客P和车辆12的后方和侧部的范围的虚拟视角W3。在车厢内部视图图像中，虚拟视点进一步向前移动，并且虚拟视角相对于盲点完善图像变宽。因此，在车厢内部视图图像中，与盲点完善图像中的后方合成图像相比，扩展了基于后方摄像头22、右后侧方摄像头24R以及左后方侧摄像头24L的后方合成图像的显示范围。相应地，车厢内部视图图像中的遮蔽区域S大于盲点完善图像中的遮蔽区域S，并且周围环境的图像被进一步移动到图像的外部。

后座椅16C上的乘客P和车辆构造物16出现在由车厢内部摄像头26成像的图像中。然而，如上所述，后座椅16C上的乘客P和车辆构造物16被车厢内部图像处理部32预先处理以从周围图像中分离出来。图像生成部36将由车厢内部图像处理部32分离出的车辆构造物16的图像和后座椅16C上的乘客P的图像与基于由后方摄像头22、右后侧方摄像头24R和左后侧方摄像头24L成像的图像的后方合成图像合成。具体地，图像生成部36将与盲点完善图像相比被放大的遮蔽区域S与遮蔽区域S周围的区域中的车辆构造物16的图像合成，然后合成位于相对于车辆构造物16的近侧的后座椅16C上的乘客P的图像。

对于车厢内部视图图像，图像生成部36生成使车辆构造物16的图像半透明的观察图像。这样做是为了不完全遮蔽在基于后方摄像头22、右后侧方摄像头24R以及左后侧方摄像头24L的后方合成图像中与车辆构造物16一致的区域。车辆构造物16的透明度朝向车辆上侧而增大。越接近车辆上侧，则透明度越大，也就是说，车辆12的后方显示得越清楚。车辆构造物16的透明形式不受此限制。透明度可以是均匀的，并且透明度可以从完全遮蔽到完全透明之间任意地调整。

另外，图像生成部36生成后座椅16C上的乘客P被合成的观察图像。后座椅16C上的乘客P的该图像以不透明状态被合成。在图5C的示例中，后座椅16C和坐在后座椅16C上的乘客P显示为不透明，使作为车辆构造物16的车柱16A的一部分为透明，并且车顶16B以完全透明的状态显示。因此，即使在与车柱16A重叠的情况下，沿车辆(车辆12)的后方的相邻车道行驶的车辆C也可视地显示。

切换控制部38被设置为用作能够将在显示器40处显示的观察图像切换到其他观察图像的切换单元。基于当切换开关50被操作时的信号，根据本示例性实施例的切换控制部38执行切换处理，以命令图像生成部36生成新的观察图像。

例如，如果切换开关50朝向布置有驾驶员D的一侧(图2中的箭头B的一侧)被操作，则切换控制部38切换到其虚拟视点更接近车辆前方的观察图像或其虚拟视角更宽的观察图像。具体地，当观察图像为常规图像时，切换控制部38切换到盲点完善图像，而当观察图像为盲点完善图像时，切换控制部38切换到车厢内部视图图像。如果观察图像是车厢内部视图图像，则切换控制部38维持车厢内部视图图像；也就是说，切换开关50的操作被取消。因为配备有切换开关50的显示器40位于驾驶员D前方，所以朝着布置有驾驶员D的一侧操作切换开关50意味着切换开关50被操作到驾驶员D的视角的附近侧(图2中的箭头B侧)。根据当前实施例的切换控制部38被配置为使得当观察图像是车厢内部视图图像时如果切换开关50朝近侧被操作，则来自切换开关50的信号的输入被忽略，但是取消方法不因此受限制。例如，切换控制部38可以被配置为使得当观察图像是车厢内部视图图像同时切换开关50朝近侧被操作时禁止信号的输入。

作为另一个示例，如果切换开关50被操作为朝向与布置有驾驶员D的一侧相反的一侧，即，从驾驶员D的视角(图2中的箭头F一侧)的远侧，则切换控制部38切换到虚拟视点更靠近车辆后方的观察图像或切换到虚拟视角更窄的观察图像。具体地，当观察图像是车厢内部视图图像时，切换控制部38切换到盲点完善图像，而当观察图像为盲点完善图像时，切换控制部38切换到常规图像。如果观察图像是常规图像，则切换控制部38维持常规图像；也就是说，切换开关50的操作被取消。根据本实施例的切换控制部38被配置为使得当观察图像是常规图像时如果切换开关50被操作向远侧，则来自切换开关50的信号的输入被忽略，但是取消方法不因此受限制。例如，切换控制部38可以被配置为使得当观察图像是常规图像同时切换开关50被朝远侧操作时禁止信号的输入。

根据本示例性实施例的切换控制部38被配置为如果常规图像以外的观察图像经过了预定持续时间则返回到常规图像。即，如果盲点完善图像经过了预定持续时间，则切换控制部38切换到常规图像，而如果车厢内部视图图像经过了预定持续时间，则切换控制部38切换到盲点完善图像，然后切换到常规图像。

-切换处理和图像生成处理-

使用图7的流程图描述由切换控制部38执行的切换处理和由图像生成部36执行的图像生成处理。

当车辆12的点火开启时，用于车辆的观察装置10起动。在步骤S100中，图像生成部36生成常规图像，并在显示器40处显示常规图像。主控制部34然后进行到步骤S101。

在步骤S101中，切换控制部38对切换开关50的操作状态进行判定。如果判定切换开关50正被操作(拉动)到朝驾驶员D的近侧(图2中的箭头B侧)，则主控制部34进行到步骤S102。当切换开关50被操作到近侧时，切换控制部38命令图像生成部36从常规图像切换到盲点完善图像。另一方面，如果判定切换开关50未被操作，或者如果判定切换开关50正被操作(推动)到远离驾驶员D的远侧(图2中的箭头F侧)，则主控制部34再次执行步骤S101。也就是说，重复步骤S101，并且继续显示常规图像的状态，直到切换开关50被操作到朝向驾驶员D的近侧。

在步骤S102中，图像生成部36生成从常规图像到盲点完善图像的过渡动画图像序列，并且在显示器40处显示过渡动画。在过渡动画中，显示被缩小，将观察图像的虚拟视角从W1逐渐变为W2，并且显示滑动，将虚拟视点从V1逐渐变为V2。然后，主控制部34进行到步骤S103。

在步骤S103中，在过渡动画已经完成之后，图像生成部36生成虚拟视角固定在W2并且虚拟视点固定在V2的盲点完善图像，并且在显示器40处显示盲点完善图像。然后，主控制部34进行到步骤S104。

在步骤S104中，主控制部34对是否经过了预定持续时间进行判定。该预定持续时间是从观察图像被切换后已经经过的时间。作为一个示例，在本示例性实施例中，持续时间被设置为30秒。如果判定预定持续时间还未经过，则主控制部34进行到步骤S105。另一方面，如果判定已经经过了预定持续时间，则主控制部34进行到步骤S106。

在步骤S105中，切换控制部38对切换开关50的操作状态进行判定。如果判定切换开关50被操作(推动)到远离驾驶员D的远侧(图2中的箭头F侧)，则主控制部34进行到步骤S106。如果判定切换开关50被操作(拉动)到朝驾驶员D的近侧(图2中的箭头B侧)，则主控制部34进行到步骤S107。如果判定切换开关50未正被操作，则主控制部34返回到步骤S104。当切换开关50朝远侧或近侧操作时，切换控制部38命令图像生成部36将观察图像从盲点完善图像切换到根据切换开关50正被操作的方向的观察图像。

如果在步骤S104中判定已经经过了预定持续时间，或者如果在步骤S105中判定切换开关50正在朝向远侧操作(图2中的箭头F侧)，则主控制部34进行到步骤S106。在步骤S106中，图像生成部36生成从盲点完善图像到常规图像的过渡动画图像序列，并且在显示器40处显示过渡动画。在该过渡动画中，显示被放大，将观察图像的虚拟视角从W2逐渐变为W1，并且显示滑动，将虚拟视点从V2逐渐变为V1。然后，主控制部34返回到步骤S100。

可选地，如果在步骤S105中判定切换开关50正在向近侧(图2中的箭头B侧)操作，则在步骤S107中，图像生成部36生成从盲点完善图像到车厢内部视图图像的过渡动画图像序列，并将过渡动画显示在显示器40处。在该过渡动画中，显示被缩小，将观察图像的虚拟视角从W2逐渐改变为W3，并且显示滑动，将虚拟视点从V2逐渐改变为V3。另外，在这个过渡动画中，车厢内部图像被淡入显示。然后，主控制部34进入到步骤S108。

在步骤S108中，在过渡动画已经完成后，图像生成部36生成虚拟视角被固定在W3并且虚拟视点被固定在V3的车厢内部视图图像，并且将该车厢内部视图图像显示在显示器40处。然后，主控制部34进行到步骤S109。

在步骤S109中，主控制部34对是否经过了预定持续时间进行判定。该预定持续时间是从观察图像如上所述被切换起已经经过的时间。如果判定尚未经过预定持续时间，则主控制部34进行到步骤S111。另一方面，如果判定经过了预定持续时间，则主控制部34进行到步骤S110。

在步骤S110中，图像生成部36生成从车厢内部视图图像到盲点完善图像的过渡动画图像序列，并且该过渡动画被显示在显示器40处。在该过渡动画中，显示被放大，将观察图像的虚拟视角从W3逐渐改变为W2，并且显示滑动，将虚拟视点从V3逐渐变为V2。此外，在该过渡动画中，车厢内部图像淡出显示。然后，主控制部34进行到步骤S106。也就是说，在从车厢内部视图图像的显示起经过了预定持续时间之后，实现从车厢内部视图图像到常规图像的渐进过渡动画。之后，主控制部34返回到步骤S100，并且在显示器40处显示常规图像。

如果在步骤S109中判定还没有经过预定持续时间，则在步骤S111中，开关控制部38对切换开关50的操作状态进行判定。如果判定切换开关50正被操作(被推动)到远离驾驶员D的远侧(图2中的箭头F侧)，则主控制部34进行到步骤S112。当切换开关50朝向远侧操作时，切换控制部38命令图像生成部36将观察图像从车厢内部视图图像切换到盲点完善图像。可选地，如果判定切换开关50没有正被操作，或者判定切换开关50正被操作(拉动)到朝向驾驶员D的近侧(图2中的箭头B侧)，则主控制部34返回到步骤S109。

在步骤S112中，图像生成部36生成从车厢内部视图图像到盲点完善图像的过渡动画图像序列，并且在显示器40处显示该过渡动画。在该过渡动画中，显示被放大，将观察图像的虚拟视角从W3逐渐改变为W2，并且显示滑动，将虚拟视点从V3逐渐变为V2。此外，在该过渡动画中，车厢内部图像淡出显示。然后，主控制部34返回到步骤S103。因此，在过渡动画已经完成之后，图像生成部36生成虚拟视角被固定在W2并且虚拟视点被固定在V2的盲点完善图像，并且在显示器40处显示盲点完善图像。

继续执行上述的由切换控制部38执行的切换处理和由图像生成部36执行的图像生成处理，直到点火关闭。

-过渡动画-

使用图8所示的时序图描述当执行过渡动画时图像的改变状态。在图8中，作为示例，观察图像从常规图像顺序地改变到盲点完善图像，然后到车厢内部视图图像，然后经由盲点完善图像变回到观察图像。

首先，如图5A所示，从显示器40处的显示常规图像的状态起，当在时间T1从切换控制部38接收到切换到盲点完善图像的命令时，观察图像发生变化如下。从时间T1到时间T2，执行从常规图像到盲点完善图像的过渡动画。更具体地，图像生成部36生成过渡动画图像序列，并在显示器40处显示过渡动画。在该过渡动画中，显示被缩小，将观察图像的虚拟视角从W1逐渐改变为W2，并且显示滑动，将虚拟视点从V1逐渐改变为V2。在此期间，生成了后方合成图像，使得成像对象在由后方摄像头22成像的图像与由后侧方摄像头24成像的图像之间重叠的范围内是连续的(参见图4B)。另外，后方摄像头22和后侧方摄像头24未成像的范围，即，投影到路面上的车辆12的范围作为遮蔽区域S以阴影状态生成(参见图4B和图5B)。

然后，如图5B所示，从在显示器40处显示盲点完善图像的状态起，当在时间T3从切换控制部38接收到切换到车厢内部视图图像的命令时，观察图像变化如下。从时间T3到时间T4，执行从盲点完善图像到车厢内部视图图像的过渡动画。更具体地，图像生成部36生成过渡动画图像序列，并在显示器40处显示过渡动画。在该过渡动画中，显示被缩小，将观察图像的虚拟视角从W2逐渐改变为W3，并且显示滑动，将虚拟视点从V2逐渐改变为V3。在此期间，在基于由后方摄像头22成像的图像和由后侧方摄像头24成像的图像的后侧合成图像中，显示范围减小，并且相应地放大了遮蔽区域S的尺寸(参见图4C)。

在车厢内部视图图像中，如上所述的已扩展的遮盖区域S和作为遮盖区域S的周围环境中的车辆构造物16的图像的车厢内部图像被淡入。同时，作为车厢内部图像的乘客P的图像相对于车辆构造物16的图像以不透明状态在近侧淡入。显示在遮蔽区域S的周围环境中的车辆构造物16的图像被处理为半透明的。车辆构造物16的这些半透明图像被指定为使得透明度朝向车辆上侧而增大。显示在遮蔽区域S中的车辆构造物16的图像可以是半透明的或者可以是不透明的。

然后，如图5C所示，从在显示器40处显示车厢内部视图图像的状态起，当在时间T5从切换控制部38接收到切换到盲点完善图像的命令时，观察图像变化如下。从时间T5到时间T6，执行从车厢内部视图图像到盲点完善图像的过渡动画。更具体地，图像生成部36生成过渡动画图像序列，并在显示器40处显示过渡动画。在该过渡动画中，显示被放大，将观察图像的虚拟视角从W3逐渐改变为W2，并且显示滑动，将虚拟视点从V3逐渐改变为V2。在此期间，在基于由后方摄像头22成像的图像和由后侧方摄像头24成像的图像的后方合成图像中，显示范围被放大，并且遮蔽区域S的尺寸相应地减小(参见图4B)。

在车厢内部视图图像中，遮蔽区域S和在遮蔽区域S的周围环境中显示的车厢内部图像淡出(参见图5B)。

然后，如图5B所示，从在显示器40处显示盲点完善图像的状态起，当在时间T7从切换控制部38接收到切换到常规图像的命令时，观察图像变化如下。从时间T7到时间T8，执行从盲点完善图像到常规图像的过渡动画。更具体地，图像生成部36生成过渡动画图像序列，并在显示器40处显示过渡动画。在该过渡动画中，显示被放大，将观察图像的虚拟视角从W2逐渐改变为W1，并且显示滑动，将虚拟视点从V2逐渐改变为V1。由后侧方摄像头24成像的图像被去除；最后，仅使用由后方摄像头22成像的图像。相应地，去除遮蔽区域S并显示常规图像(参见图4A和图5A)。

-第一示例性实施例的总结-

下面总结根据本示例性实施例的用于车辆的观察装置10的特征。

在本示例性实施例中，提供了具有不同成像范围的多个摄像头20，并且基于由一个或多个摄像头20成像的图像，在显示器40处生成并显示观察图像。提供了多种类型的观察图像，分别具有不同的视角和成像角度。例如，在本示例性实施例中，提供了显示车辆12的后方的三种类型的观察图像：常规图像、盲点完善图像和车厢内部视图图像。如图6A至图6C所示，这些观察图像被配置为使得虚拟视角随着虚拟视点向前移动而变宽。

根据本示例性实施例的观察图像具有以下特征。在常规图像中，视场不会被后座椅16C上的乘客P或车辆构造物16阻碍，并且清晰地显示车辆12的正后方的路面。因此，后方的状况很容易观察。在盲点完善图像中，可以以从靠近车辆中央的虚拟视点穿过透明车身看去的广角摄像头的图像的方式来示出倾向于发生在左后方侧和后右方侧的盲点和靠近车辆侧附近的对象。以与先前的光学后视镜的视点和视角非常靠近的视点和视角显示车厢内部视图图像。当选择车厢内部视图图像时，可以抑制电子后视镜与光学后视镜的成像角度的差异引起的违和感，可以查看后座椅车辆乘员的状况，并且车厢内部视图图像可以起到促进交流的作用。

根据本示例性实施例的用于车辆的观察装置10，用于车辆的观察装置10具有被配置为使得切换控制部38可以在多个观察图像之间切换的特征。也就是说，根据本示例性实施例的用于车辆的观察装置10，除驾驶员可以在这些观察图像之间自由切换之外，还可以提供如在电子后视镜中那样去除盲点的盲点完善图像和视角接近传统的光学后视镜的视角的车厢内部视图图像。因此，对于熟悉光学后视镜的驾驶员来说电子后视镜的违和感可以缓和，并且显示范围可以根据需要而改变。

根据本示例性实施例的图像生成部36具有以下特征：当观察图像被切换时，在显示器40处显示从切换之前的观察图像逐渐变为切换之后的观察图像。具体地，执行过渡动画。因此，虚拟视角被示出为逐渐地缩放，并且虚拟视点被示出为逐渐地滑动，并且车厢内部图像淡入或淡出。因此，根据本示例性实施例的用于车辆的观察装置10，由于当正在切换观察图像时图像逐渐改变，所以可以容易地了解在切换之前和之后的观察图像的观察范围之间的关系。特别地，由于视角总是以动态的方式以物理视点逐渐改变的方式改变，因此无论用户切换到哪个观察图像，用户都可以直观地了解显示状态而不会有违和感，并且可以及时了解周围环境中的状况。

在本示例性实施例的过渡动画中，所有要素-虚拟视角、虚拟视点和车厢内部图像-被组合并同时改变。但是，并不是所有这些要素都需要同时改变。

在虚拟视角和虚拟视点中，优先考虑改变两者，这是最有效的。然而，可以固定一个而仅改变另一个。例如，虚拟视点可以固定在适合于车厢内部视图图像的视点V3，而仅将虚拟视角从用于最远观察状态的W1通过中间角度W2改变到最宽角度W3，如图6A至图6C所示。这相当于固定摄像头的位置并更改变焦镜头的f数。作为另一示例，变焦(f数)可以保持固定在适合于车厢内部视图图像的视角W3，而仅将虚拟视点从对应于车辆后端的V1通过中间V2改变到V3，其为最前面并且为可以俯视后座椅16C的状态。这相当于带有广角定焦镜头的摄像头向前和向后移动。

在过渡动画中，尽管同时改变要素使得能够在最短时间内直观地了解图像变化的重要性，但并不一定限制同时改变这些要素。例如，可以执行连续的处理，其中首先实现虚拟视角的变化和虚拟视点的变化中的一个，然后实现另一个。此外，在从盲点完善图像到车厢内部视图图像的过渡动画中，可以首先同时实现虚拟视角和虚拟视点的变化，然后可以合成车厢内部图像。相反，车厢内部图像可以首先淡入，然后实现虚拟视角和虚拟视点的变化。

动画效果可能被替代为具有相似内涵的效果。例如，在显示车厢内部图像的动画中，当车厢内部图像被引入到图像中时，淡入可以用类似地提供诸如随机条纹进入(randomstripe-in)、溶入(dissolve-in)等温和印象的效果替代。

根据本示例性实施例的图像生成部36具有生成合成了车辆构造物16的半透明图像的观察图像的特性。具体地，在车厢内部视图图像中，可以从车厢内部摄像头26成像的图像中提取诸如车柱16A和车顶16B的车辆构造物16，并且可以使车辆构造物16透明并与后方合成图像合成。特别地，通过以从车辆下侧朝向上侧透明度增大的方式显示车辆构造物16，可以描绘出从车身14的下侧朝向上侧延伸的车柱仿佛逐渐消失。

因此，根据本示例性实施例的用于车辆的观察装置10，即使在显示作为与传统光学后视镜类似的观察图像的车厢内部图像时，也使妨碍视野的车辆构造物16透明。因此，甚至在缓和与电子后视镜相关联的违和感的同时，还可以容易地看到车辆周围环境中的对象。因此，由于可以以接近光学后视镜的感觉看到周围环境中的车辆的图像，所以可以提供光学后视镜和由于车辆构造物16的半透明处理导致视野障碍物很少的电子后视镜的双重优点。

根据本示例性实施例的图像生成部36具有生成观察图像的特性，在该观察图像中，后座椅16C上的乘客P的图像被合成。具体地，在车厢内部视图图像中，坐在后座椅16C上的乘客P可以从由车厢内部摄像头26成像的图像中提取，并且乘客P可以保持不透明并且与后方合成图片合成。

因此，根据本示例性实施例的用于车辆的观察装置10，因为可以观察到坐在后座椅16C上的乘客P，所以可以查看乘客的状况。例如，可以查看坐在后座椅16C上或者坐在附接到后座椅16C上的儿童座椅上的儿童的状况。另外，用于车辆的观察装置10可以促进交流。例如，在与后座椅16C上的乘客P的对话期间，即使由于驾驶员D正在驾驶而使驾驶员D难以从前方移动他们的视线，驾驶员D也可以查看后座椅16C上的乘客P的面部表情。因此，本示例性实施例可以提供“交流后视镜”的功能以及电子后视镜的首要功能。

根据本示例性实施例的用于车辆的观察装置10具有如下特征：可以向前和向后操作的切换开关50被设置在显示器40的主体部分44处，并且当朝向布置有驾驶员D的一侧操作切换开关50时，切换控制部38切换到虚拟视点在车辆中更朝前的观察图像或者具有较宽虚拟视角的观察图像。

在本示例性实施例中，在朝向驾驶员D的靠近方向上操作的切换开关50被指定为将观察图像从常规图像改变为盲点完善图像，或从盲点完善图像改变为车厢内部视图图像，即，在虚拟视角加宽并且虚拟视点向前移动的方向上改变。其原因在于，当切换开关50的操作方向和观察图像的切换方向被实验地评估时，结果是十个测试参与者全部都发现当切换开关50被操作到近侧时将观察图像从常规图像改变到盲点完善图像以及从盲点完善图像改变到车厢内部视图图像是最直观的。这与驾驶员的直觉匹配，因为当驾驶员注意到观察图像中的显示对象时，改变加宽方向上的虚拟视角或在前进方向上的虚拟视点在图像中引入了新的可见的对象，该对象更靠近车辆前进方向。因此，根据本示例性实施例，驾驶员可以直观地切换观察图像。

操作切换开关50的方式不限于此方向。可以考虑当引起相对于车辆12的虚拟视点的前方或后方的关注时，使得切换开关50的操作方向与虚拟视点在车辆前后方向上移动的方向匹配。即，可以将切换开关50向远离驾驶员D的远方向(车辆前方)的操作指定为将观察图像从常规图像改变为盲点完善图像，以及从盲点完善图像改变为车厢内部视图图像。

在本示例性实施例中，为了便于输入信号并从任何状态向前和向后移动，采用了当从手中释放时返回到中间位置的瞬时拨动开关。然而，如果使用三位置固定(锁定)型开关，则提供了开关的方位与正显示的图像的状态相匹配的优点。

用作操作部件的切换开关50不限于附接在显示器40的主体部分44下方的拨动开关。例如，安装位置不限于显示器40的附近，并且可以布置在仪表盘、转向盘的轮辐等处。此外，开关的类型不限于拨动开关，并且可以是例如检测放置手指的位置、手指移动的动作等并且相应地切换的静电触摸传感器等。此外，显示器40处的图形用户界面(GUI)可以被用作操作部件。

开关的替代位置可以指定为四阶段、五阶段等，使用动画中的观察图像的中间状态来实现连续缩放显示。可以采用在沿着开关的路径间隔的位置处指定个人偏好的位置的模拟型操作模式。

以上，本示例性实施例假设在三个具有不同优点的代表位置之间进行切换，以直观地适应作为驾驶员的用户的感觉。但是，不一定要有三个位置。可以省略一个位置而设置两个位置，可以有三个位置之间利用中间状态的多个位置，或可以使用连续切换等。

类似于车厢内部视图图像，车厢内部图像—车辆构造物16的图像和乘客P的图像—可以被合成作为在常规图像和车厢内部视图图像之间的中间的盲点完善图像中。也就是说，可以基于车厢内部视图图像和盲点完善图像来生成车厢内部区域与车辆12周围区域之间具有不同尺寸比率的图像。

根据本示例性实施例的用于车辆的观察装置10被配置为当车辆起动时点火启动时在显示器40处显示常规图像。期望每次启动车辆时重新设置并显示常规图像。然而，驾驶员偏好的替代观察图像可以被设定为初始状态，或者可以采用保留了先前正在使用的观察图像的最后模式。

在本示例性实施例中，如图7所示，当除了常规图像之外的观察图像被保持不变时，观察图像在预定持续时间之后自动返回到常规图像。但是，这不是限制性的。已经切换到的观察图像的显示可以继续。这相当于图7中的流程图的步骤S104和步骤S109中的预定持续时间被设定为无限值。也可以使驾驶员自身自定义并从上述最后模式选择用于恢复的选项。

-第二示例性实施例-

在根据第一示例性实施例的用于车辆的观察装置10中，根据切换开关50的操作来切换观察图像。相反，在根据第二示例性实施例的用于车辆的观察装置10中，控制部38可以根据关于在摄像头20的观察范围中存在的对象的信息来切换观察图像。具体地，在本示例性实施例中，设置对象检测传感器52来代替根据第一示例性实施例的切换开关50，并且来自对象检测传感器52的信号被输入到切换控制部38。

根据本示例性实施例的对象检测传感器52是毫米波雷达、超声波声纳等，其可以检测车辆12的周围环境中的诸如道路上的车辆、行人、障碍物等对象的位置和运动速度。对象检测传感器52布置在后保险杠、侧门等处。期望对象检测传感器52的检测范围在后方摄像头22以及左右后侧方摄像头24的观察范围内。

在根据本示例性实施例的切换处理中，当例如在常规图像的显示期间摩托车接近车辆12的侧方并且该接近由对象检测传感器52检测到时，切换控制部38将观察图像从常规图像切换到盲点完善图像，并且图像生成部36显示位于车辆12的侧方的摩托车。作为另一示例，如果在显示车厢内部视图图像期间另一车辆从车辆12正后方接近并且对象检测传感器52检测到该接近，则切换控制部38将观察图像从车厢内部视图图像切换到常规图像，并且图像生成部36显示来自后方摄像头22的车辆后方的放大图像。

根据本示例性实施例的用于车辆的观察装置10，根据车辆12的周围环境中的状况，可以根据状况酌情自动切换观察图像。在本示例性实施例中，关于道路上的车辆、行人、障碍物等的接近信息用作用于切换观察图像的信息，但这不是限制性的。例如，观察图像可以基于诸如大声的噪音、语音等声音信息来切换。如果例如声音信息用于切换，则当坐在后座椅16C上的小孩哭泣时观察图像可以从常规图像切换到车厢内部视图图像。

-第三示例性实施例-

根据第一示例性实施例的用于车辆的观察装置10根据切换开关50的操作切换观察图像，并且根据第二示例性实施例的用于车辆的观察装置10根据来自对象检测传感器52的信息切换观察图像。相反，在根据第三示例性实施例的用于车辆的观察装置10中，切换控制部38可以根据驾驶员D的视线切换观察图像。具体地，在本实施例中，代替第一实施例的切换开关50设置眼动追踪器56，并且来自眼动追踪器56的信号被输入到切换控制部38。

根据本示例性实施例的眼动追踪器56被配置为能够根据瞳孔的转动运动和角膜的反射率的变化来检测驾驶员D的视线方向。

在根据本示例性实施例的切换处理中，例如，如果在常规图像的显示期间由眼动追踪器56确定视线指向显示器40的那侧，则切换控制部38将观察图像从常规图像切换到盲点完善图像。因此，图像生成部36显示视线相对于常规图像指向的范围。作为另一示例，如果在盲点完善图像的显示期间由眼动追踪器56判定正在注意遮蔽区域S，则切换控制部38将观察图像从盲点完善图像切换为车厢内部视图图像。由此，图像生成部36显示后座椅16C的增大显示。

根据本示例性实施例的用于车辆的观察装置10，可自动切换观察图像以最佳地显示驾驶员D正在观察的对象。此外，当正在注视显示器40内的特定区域时，可以切换观察图像。此外，当故意的闪烁等被检测到时，可以切换观察图像。

-补充说明-

以上描述了示例性实施例，但是优选实施例可以通过第一至第三示例性实施例的组合来体现。因此，切换控制部38可以连接到对象检测传感器52和眼动追踪器56等以及连接到切换开关50，并且利用酌情选择的这些传感器来切换观察图像。

作为示例性实施例的摄像头20的变型例，除了车厢内部摄像头26—后方摄像头22和左右后侧方摄像头24—之外的三个摄像头可以用布置在车辆12的车顶16B上设置的突起中的360°摄像头(例如，从前后两个鱼眼镜头生成合成图像的摄像头)来替代。在这种情况下，来自360°摄像头的成像角度可以被裁剪成适合于相应的观察图像的观察角度，并且可以生成观察图像。

在示例性实施例中，用于车辆的观察装置10用于观察车辆12的后方，但是观察方向不受此限制。例如，观察图像可以是车辆12的前方图像或侧方图像。当观察图像是前方图像时，可以提供对前方成像的多个摄像头20作为成像设备，并且导航显示器等可以用作显示装置。

附图标记的说明

10 用于车辆的观察装置

12 车辆

16 车辆构造物

18A 后座椅

20 摄像头(成像设备)

22 后方摄像头(成像设备)

24 后侧方摄像头(成像设备)

24L 左后侧方摄像头(成像设备)

24R 右后侧方摄像头(成像设备)

26 车厢内部摄像头(成像设备)

36 图像生成部(图像生成设备)

38 切换控制部(切换单元)

40 显示器(显示装置)

44 主体部分

50 切换开关(操作部件)

D 驾驶员

P 乘客

Claims (2)

1.一种用于车辆的观察装置，包括：

多个成像设备，所述多个成像设备在成像范围上不同；

图像生成设备，其基于由一个或多个所述成像设备成像的图像来生成观察图像，所述观察图像由下列图像合成：

车辆后方的图像，

车辆构造物的图像，该图像为半透明的，以及

后座椅上的车辆乘员的图像；以及

显示装置，其显示所述观察图像，

其中，所述图像生成设备生成所述观察图像以使得所述车辆构造物的透明度从车辆下侧朝向车辆上侧增大，并且越接近所述车辆上侧，所述透明度越大，所述车辆构造物为所述车辆的结构对象并且包括车柱。

2.根据权利要求1所述的用于车辆的观察装置，其中：

所述多个成像设备包括：

后方摄像头，其从车辆后部向后方成像，

后侧方摄像头，其从车辆侧部向后方成像，以及

车厢内部摄像头，其在车厢中向后方成像，包括对后座椅进行成像；并且

所述图像生成设备对下列图像进行合成：

由所述后方摄像头成像的图像和由所述后侧方摄像头成像的图像所合成的所述车辆后方的图像，

来自所述车厢内部摄像头的所述车辆构造物的图像，以及

来自所述车厢内部摄像头的所述后座椅上的车辆乘员的图像。

Images