CN111634232A

CN111634232A - 控制装置

Info

Publication number: CN111634232A
Application number: CN202010082321.6A
Authority: CN
Inventors: 广木大介
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2019-03-01
Filing date: 2020-02-07
Publication date: 2020-09-08
Also published as: US20200278743A1; JP7215228B2; JP2020138701A

Abstract

控制装置具备：乘员摄像部；姿势辨别部，其基于乘员摄像部拍摄的图像，辨别乘员的姿势或者姿势的变化；车辆状态获取部，其获取表示车辆的状态或者车辆的周围状态的信号；车辆状态辨别部，其基于获取的信号，辨别车辆的状态或者车辆的周围状态；控制内容确定部，其基于姿势辨别部以及车辆状态辨别部的辨别结果，确定作为控制对象的显示器以及使上述显示器显示的显示内容；以及控制部，其基于上述确定的结果对作为控制对象的显示器的显示变更进行控制。

Description

控制装置

技术领域

本发明涉及搭载在车辆中的显示器的控制装置。

背景技术

用车载照相机拍摄车辆周围、车内的情况并且将其显示在电子侧镜、电子内部后视镜、汽车导航装置等显示器中的技术已经普及。在显示器中可以显示拍摄图像的全部，或者有选择地显示一部分，另外，在搭载有多个的显示器、车载照相机的情况下，通过对进行拍摄的车载照相机与显示拍摄图像的显示器进行切换，可以适宜地变更显示在显示器中的图像。此时，需要在显示器适当地显示驾驶员想要的图像，例如，在日本特开2017-196913号以及特开2017-196911号文献中公开了如下技术：根据驾驶员眼睛的位置和视线的朝向推测驾驶员想要的图像，使拍摄图像之中要显示在显示器的图像的范围变化。

发明内容

然而，日本特开2017-196913号以及特开2017-196911号文献中记载的技术需要用照相机等准确地识别眼睛的位置和视线，例如，因驾驶员配带了遮阳镜而无法准确识别其眼睛的情况下不能实现适宜的显示。另外，驾驶员想要的图像会根据车辆的状态和车辆的周围状态而变化。例如，同样是右电子侧镜中显示的图像，当车辆正常行驶时，驾驶员希望显示车辆右侧后方的图像，当车辆倒车时，希望显示车辆右下侧的广角图像。然而，由于日本特开2017-196913号以及特开2017-196911号文献中记载的方法没有将车辆和车辆的周围状态考虑在内，所以有改善的余地。

鉴于上述问题，本发明的目的在于提供一种控制装置，其可以将驾驶员想要的图像更适宜地显示在显示器中。

为了解决上述问题，本发明的一个方式是一种控制装置，其搭载于具备多个车载照相机以及多个显示器的车辆，进行在多个显示器的其中任意的显示器显示多个车载照相机的其中任意的车载照相机拍摄的图像的至少一部分的控制，控制装置具备：乘员摄像部，其拍摄所述车辆的乘员；姿势辨别部，其基于乘员摄像部拍摄的图像，辨别乘员的姿势或者姿势的变化；车辆状态获取部，其获取表示车辆的状态或者车辆的周围状态的信号；车辆状态辨别部，其基于车辆状态获取部获取的信号，辨别车辆的状态或者车辆的周围状态；控制内容确定部，其基于姿势辨别部以及车辆状态辨别部的辨别结果，确定作为控制对象的显示器以及使上述显示器显示的显示内容；以及控制部，其基于控制内容确定部确定的结果，对作为控制对象的显示器的显示变更进行控制。

根据本发明，可以提供一种控制装置，其可以将驾驶员想要的图像更适宜地显示在显示器中。

附图说明

参考附图对本发明的示例性实施例的特征、优点、以及技术上和工业上的意义进行说明，附图中相同符号表示相同部件，其中：

图1是示出本发明的一个实施方式所涉及的控制装置的构成的功能框图；

图2是用于遴选控制对象以及控制内容的数据示例；

图3是说明控制装置的控制处理步骤的流程图；

图4是说明用于辨别姿势的处理的流程图；

图5是示出本发明的其他实施方式所涉及的控制装置的功能框图。

具体实施方式

本发明的一个实施方式所涉及的控制装置基于乘员的姿势或者姿势的变化、以及车辆的状态或者车辆的周围状态，控制显示器的显示变更。由此，可以将驾驶员想要的图像更适宜地显示在显示器中。

实施方式

以下，参照附图对本发明的实施方式进行详细说明。

<构成>图1是示出本发明的一个实施方式所涉及的控制装置的构成的功能框图。控制装置1包括乘员摄像部2、姿势辨别部3、车辆状态获取部4、车辆状态辨别部5、控制内容确定部6、以及控制部7。控制装置1搭载于具备了多个车载照相机20以及多个显示器30的车辆中，进行在多个显示器30的其中任意的显示器显示多个车载照相机20的其中任意的车载照相机拍摄的图像的至少一部分的控制。另外，控制装置1预先存有辨别信息，该辨别信息用于确定作为控制对象的显示器30(控制对象)、以及使作为控制对象的显示器30显示的显示内容(控制类型)。辨别信息是如下述的信息：将乘员的姿势以及姿势的变化与作为控制对象的显示器30进行关联而存储，并将车辆的状态以及车辆的周围状态与控制类型进行关联而存储，通过在搜索关键词中使用乘员的姿势或者姿势的变化、以及车辆的状态或者车辆的周围状态，可以确定对作为控制对象的显示器30实施的控制类型的信息。辨别信息可以用例如图2所示的表来表示。

车载照相机20是例如电子侧镜用照相机、电子内部后视镜用照相机、前方死角照相机、多地形监控用照相机。电子侧镜用照相机是对车辆的左侧部及左后方进行拍摄的左侧照相机、和对车辆的右侧部及右后方进行拍摄的右侧照相机，设置于例如一般的光学侧镜被安装的位置。电子内部后视镜用照相机是对车辆的后方进行拍摄的照相机，设置于例如车辆后部的后备箱盖、尾门等。前方死角照相机是对车辆的前方的死角部分进行拍摄的照相机，可以分别设置于例如一般的左右光学侧镜被安装的位置，在照相机的视角广的情况下也可以在车辆前方的车牌或者车标附近仅设置一个。多地形监控用照相机是例如对路面进行拍摄的照相机，设置于例如前保险杠、一般的光学侧镜被安装的位置。

显示器30是例如电子侧镜、电子内部后视镜、在配置于仪表板的大致中央部的汽车导航等中使用的屏幕。电子侧镜分别设置于例如仪表板的左右两端部。电子内部后视镜设置于例如一般的光学内部后视镜被安装的位置。在这些显示器30中，可以显示车载照相机20的拍摄图像，基本上是，在电子侧镜中显示电子侧镜用照相机的图像，在电子内部后视镜中显示电子内部后视镜用照相机的图像，在汽车导航等所使用的画面中显示前方死角照相机以及多地形监控用照相机的影像，也可以根据需要在任意的显示器30中显示任意的车载照相机20的拍摄图像。

乘员摄像部2是对驾驶员等乘员进行拍摄的照相机，配置于例如电子内部后视镜的位置。该照相机是在车载照相机20之外另行设置的。

姿势辨别部3基于乘员摄像部2拍摄到的图像，辨别乘员的姿势或者姿势的变化。在本实施方式中，姿势是指脸部的朝向、头部位置、身体姿势等。另外，辨别姿势的变化，等同于对乘员想要做什么的动作进行辨别。作为姿势或者姿势的变化的具体示例，可以列举例如图2的“作为选定的理由的姿势/姿势的变化”一列中记载的内容。

车辆状态获取部4获取表示车辆的状态或者车辆的周围状态的信号。表示车辆的状态以及车辆的周围状态的信号，可以由搭载于车辆的各种传感器、照相机(可以包括车载照相机20)、GPS(Global Positioning System，全球定位系统)等得到。

车辆状态辨别部5基于车辆状态获取部4获取的信号，辨别车辆的状态或者车辆的周围状态。车辆的状态是指，例如车速、档位、车门的开闭状态、方向指示器有无指示、有无后方接近警报等车辆自身的状态。车辆的周围状态是指，例如车辆位置、车辆周围的道路的宽度、能见度以及交通量、有无后方接近车辆及其距离、位置以及接近速度、外部光强度等车辆所处的状态。作为车辆的状态以及车辆的周围状态的具体示例，可以列举例如图2的“车辆状态/车辆状态预测”一列中记载的内容。此外，关于车辆状态预测，在后面进行说明。

控制内容确定部6基于姿势辨别部3以及车辆状态辨别部5的辨别结果，确定作为控制对象的显示器30、以及使作为控制对象的显示器30显示的显示内容。具体地，控制内容确定部6将姿势辨别部3辨别的乘员的姿势或者姿势的变化、以及车辆状态辨别部5辨别的车辆的状态或者车辆的周围状态作为搜索关键词，通过对如图2的辨别信息进行搜索，能够确定控制对象和控制类型。此外，控制内容确定部6也可以基于车辆状态辨别部5辨别的结果，对将来的车辆的状态或者车辆的周围状态进行预测后，确定作为控制对象的显示器30以及使作为控制对象的显示器30显示的显示内容。

控制部7进行基于由控制内容确定部6确定的结果而对作为控制对象的显示器30的显示进行变更的控制。具体地，控制部7对已确定的作为控制对象的显示器30执行用已确定的控制类型定义的控制。

<控制处理>参照图2～图3，说明控制装置1进行的控制。图3是说明控制装置1的控制处理步骤的流程图。图3的流程在车辆的点火开关被接通(IG-ON)时开始，反复执行直到IG-OFF(点火开关断开)为止。

步骤S101：乘员摄像部2拍摄乘员。拍摄时间、帧数等设定为能够辨别想辨别的乘员的姿势或者乘员的姿势的变化即可。然后，处理前进至步骤S102。

步骤S102：姿势辨别部3基于用乘员摄像部2拍摄到的图像，辨别乘员的姿势或者姿势的变化。可以由头部、肩部、肘部、手部等身体的构成部位的位置关系而辨别乘员的姿势。例如，可以对乘员摄像部2的拍摄图像上的坐标进行定义，基于乘员的骨骼点的位置坐标的组合而辨别姿势。另外，可以将乘员摄像部2的拍摄图像分割为格子状的区域，基于该分割区域之中乘员的剪影所交叠的区域所构成的形状而辨别姿势。格子状的区域的分割方法可以是乘员摄像部2透过格子状的框进行拍摄的方法，也可以是对乘员摄像部2拍摄的图像进行图像处理的方法。另外，姿势的变化可以通过连续观测乘员的姿势而得到。例如，姿势辨别部3可以基于乘员的视线、脸部的朝向和/或头部的位置变化，对乘员看向了左右某一边的电子侧镜、死角方向、路面方向的动作进行辨别。然后，处理前进至步骤S103。

步骤S103：控制内容确定部6基于在步骤S102中辨别的乘员的姿势或者姿势的变化，从事先预备的辨别信息所定义的作为显示控制对象的显示器30中，选定作为控制候选的显示器30。然后，处理前进至步骤S104。

步骤S104：车辆状态获取部4从搭载于车辆的各种传感器、照相机(可以包括车载照相机20)、GPS等，获取表示车辆的状态或者车辆的周围状态的信号。然后，处理前进至步骤S105。

步骤S105：车辆状态辨别部5基于车辆状态获取部4获取的信号，辨别车辆的状态或者车辆的周围状态。车辆的状态是例如前进、倒退、右转或者左转、超车等，可以基于车速、档位、方向指示器的开关的输出等而辨别。车辆的周围状态是例如行驶中的道路状态、有无车辆接近、外部光强度、天气等，可以基于位置信息、汽车导航的地图信息、照相机的拍摄图像、照度传感器、超声波传感器、雷达等输出信号而辨别。然后，处理前进至步骤S106。

步骤S106：控制内容确定部6基于车辆状态辨别部5辨别出的车辆的状态或者车辆的周围状态，预测将来的车辆的状态或者车辆的周围状态。然后，处理前进至步骤S107。

步骤S107：控制内容确定部6从对在步骤S103中选定的控制候选分配的一个以上的控制类型中，确定与在步骤S105的辨别结果和/或在步骤S106的预测结果对应的控制类型。如此一来，作为控制对象的显示器30也被确定。然后，处理前进至步骤S108。

步骤S108：控制内容确定部6判断是否处于使在步骤S107中确定的显示器30显示已确定的控制类型所决定的显示内容的控制为可行的状况。具体地，在本步骤中，车辆状态获取部4再次获取表示车辆的状态或者车辆的周围状态的信号，车辆状态辨别部5辨别车辆的状态或者车辆的周围状态，从而判断在步骤S106中预测的将来的车辆的状态或者车辆的周围状态是否在步骤S107后实现了。在步骤S106中预测的将来的车辆的状态或者车辆的周围状态与在步骤S107后的车辆的状态或者车辆的周围状态一致的情况下，控制内容确定部6判断为作为控制对象的显示器30的控制为可行的状况(S108中为“是”)，处理前进至步骤S109，其他情况下(S108中为“否”)，处理前进至步骤S101。

步骤S109：控制部7基于在步骤S107确定的控制类型，对作为控制对象的显示器30进行显示变更的控制。然后，处理前进至步骤S101。

接着，说明图3的步骤S101～S109的具体示例。这里，示出乘员想要倒车的情况下的示例。另外，用于确定作为控制对象的显示器30以及对作为控制对象的显示器30实施的控制类型的辨别信息，使用图2。

首先，基于乘员的图像，辨别出乘员的脸部朝向右方，从通常的驾驶姿势变化为看向车辆的右侧的身体姿势(步骤S101～S102)。接着，基于辨别信息，乘员的姿势以及姿势的变化被判断为属于图2的“作为选定的理由的姿势/姿势的变化：脸部的朝向(右方)、姿势(看向车辆右侧)”，由此，控制对象被限为“控制对象：电子侧镜(右)”(步骤S103)。接着，车辆状态获取部4获取表示档位进入了R档范围的信号，基于该信号，车辆的状态被辨别为档位进入了R档范围的状态(步骤S104～S105)。由此，车辆被预测为将来要倒车(步骤S106)。该预测结果属于与图2的“控制对象：电子侧镜(右)”对应的“车辆状态/车辆状态预测”之中的“车辆状态/车辆状态预测：R档范围”，所以作为控制对象的显示器30是电子侧镜(右)，控制类型被确定为显示下方广角(S107)。然后，车辆实际开始倒车时，判断为可以对已确定的控制对象执行已确定的控制类型的状况，电子侧镜(右)被执行显示下方广角的控制(步骤S108～S109)。

另外，说明图3的步骤S101～S109的其他具体示例。这里，示出乘员想要使车辆右转或者移动到右道的情况下的示例。

首先，基于乘员的图像，辨别出乘员的脸部朝向右方，从通常的驾驶姿势变化为看向车辆的右侧的身体姿势(步骤S101～S102)。接着，基于辨别信息，乘员的姿势以及姿势的变化被判断为属于图2的“作为选定的理由的姿势/姿势的变化：脸部的朝向(右方)、姿势(看向车辆右侧)”，由此，控制对象被限为“控制对象：电子侧镜(右)”(步骤S103)。接着，车辆状态获取部4获取表示右转方向指示器点亮的信号，基于该信号，车辆的状态被辨别为右转方向指示器点亮的状态(步骤S104～S105)。由此，车辆被预测为将来要右转(步骤S106)。该预测结果属于与图2的“控制对象：电子侧镜(右)”对应的“车辆状态/车辆状态预测”之中的“车辆状态/车辆状态预测：右转(方向指示器)指示”，所以作为控制对象的显示器30是电子侧镜(右)，控制类型被确定为右转/向右道移动时显示右侧(S107)。然后，实际上转向装置开始被切换为右时，判断为可以对已确定的控制对象执行已确定的控制类型的状况，电子侧镜(右)被执行显示右侧的控制(步骤S108～S109)。另外，虽然示出了显示右侧的示例作为右转或者移动到右道的情况下的控制类型，不过除了显示右侧以外，也可以广角显示右侧，当右侧存在自行车、摩托车或者步行者等障碍物时，也可以重点显示上述障碍物。

以上，说明了图3的步骤S101～S109的处理，可以省略步骤S106、步骤S108的处理。不过，通过进行步骤S106中对将来的车辆的状态或者车辆的周围状态的预测，提高了控制装置1能够在需要对显示器30进行控制之前完成确定控制内容的处理的可能性。因此，需要进行控制时，能够更可靠地开始控制，能够抑制显示器30的显示变更的定时比乘员想要的定时延迟这一现象。省略了步骤S106的情况下，在步骤S107中，控制内容确定部6从分配给在步骤S103中选定的控制候选的一个以上的控制类型中，确定与在步骤S105的辨别结果对应的控制类型。

另外，即使省略步骤S106，通过在步骤S108中进行的是否为控制可行的状况的判断，从而能够抑制基于瞬间发生的车辆状态而对显示器30进行司机不想要的控制。具体地，在步骤S105中辨别出的车辆状态如果在步骤S108的阶段还在继续，则判断为显示器30的控制为可行的状况(相当于S108中为“是”)。由此，例如换挡时档位瞬间进入R档范围，即使基于该一瞬间的车辆状态在步骤S107中控制内容被确定了的情况下，如果在步骤S108中无法确认档位在R档范围(相当于S108中为“否”)，也不执行步骤S109的控制。

另外，通过既执行步骤S106又执行步骤S108，从而能够抑制在乘员误操作等实际上无需实施显示器30的控制的情况下对显示器30进行控制这一现象。例如，假设没有右转计划而乘员错误地打出右方向指示器，基于该车辆状态在步骤S107中控制内容被确定了的情况。此时，如果根据右方向指示器被打出而在步骤S106中预测车辆的将来状态为“右转”，只要在步骤S108中实际上车辆并未变为右转状态，就不执行步骤S109的控制。

接着，使用图4，说明用于在图3的步骤S102中进行的辨别姿势的处理的具体示例。图4是说明用于辨别姿势的处理的流程图。在此，说明基于乘员的骨骼点来辨别姿势的方法作为一个示例。图4的流程在图3的步骤S101后即开始。

步骤S201：姿势辨别部3基于乘员摄像部2拍摄到的图像，识别乘员的骨骼点。可以使用已知的骨骼点识别技术识别骨骼点。然后，处理前进至步骤S202。

步骤S202：姿势辨别部3分别用坐标表示在步骤S201中识别的骨骼点的位置，计算各个骨骼点间的位置关系。然后，处理前进至步骤S203。

步骤S203：姿势辨别部3判断乘员的姿势是否是对显示器30进行控制的姿势。对显示器30进行控制的姿势可以是辨别信息的“作为选定的理由的姿势/姿势的变化”中预先设定的姿势。乘员的姿势可以利用各个骨骼点间的位置关系进行表示，事先定义即可。乘员的姿势是对显示器30进行控制的姿势的情况下(S203中为“是”)，处理前进至步骤S204，其余情况下(S203中为“否”)，处理前进至步骤S201。

步骤S204：姿势辨别部3判断乘员的姿势的持续时间是否在规定的阈值以上。这样，通过对姿势是否持续了一定时间进行确认，能够抑制将瞬间发生的特定姿势识别为对显示器30进行控制的姿势。持续时间的阈值例如设定为能够判断出乘员正在注视显示器30、车外的确定位置的时间即可。姿势的持续时间为规定的阈值以上的情况下(S204中为“是”)，处理前进至步骤S205，其余情况下(S204中为“否”)，处理前进至步骤S201。

步骤S205：姿势辨别部3进行姿势的辨别。之后，结束处理。

(其他实施方式)图5是示出本发明的其他实施方式所涉及的控制装置的功能框图。其他实施方式所涉及的控制装置11的构成，是向控制装置1的构成中添加后座乘员摄像部8以及后座状况辨别部9的构成。下面，围绕该添加的构成进行说明。

后座乘员摄像部8是对车辆的后部座席的乘员(后座乘员)进行拍摄的照相机，配置于例如电子镜的位置、车内顶部。该照相机是在车载照相机20之外另行设置的。只要能对后部座席进行拍摄，也可以与乘员摄像部2通用。

后座状况辨别部9基于后座乘员摄像部8拍摄的图像，辨别例如有无后座乘员、后座乘员的姿势、落座状况等后部座席的状况。可以使用步骤S102的辨别姿势以及姿势的变化的方法辨别上述后部座席的状况。此外，可以结合图像信息以及落座传感器等其他设备的信息来判断有无后座乘员、落座状况。

利用后座乘员摄像部8进行的后座乘员的拍摄以及利用后座状况辨别部9进行的后部座席的状况的辨别，在例如图3的流程的步骤S102与步骤S103之间进行。由此，在步骤S103中，控制内容确定部6基于乘员的姿势或者姿势的变化、以及后部座席的状况，从辨别信息所定义的作为显示控制对象的显示器30中，选定作为控制候选的显示器30。

以图2的辨别信息的记载为例，说明例如后座乘员上下车时乘员(前座乘员)用电子内部后视镜确认后座的状况的情况下进行的控制。乘员坐入后座、并且前座乘员的脸部朝向电子内部后视镜方向和/或姿势为看向电子内部后视镜的情况下，判断为属于图2的“作为选定的理由的姿势/姿势的变化：脸部的朝向(电子内部后视镜方向)、姿势(看向电子内部后视镜)、后座乘员姿势”，控制对象为“控制对象：电子内部后视镜”。然后，后座的门正在被开闭的情况下判断为属于“车辆状态/车辆状态预测：开闭后座门”，“控制类型：显示后座”被确定。由此，前座乘员能够用电子内部后视镜确认后座乘员上下车的情况。此外，在显示器30显示后座的情况下，出于安全层面的考虑，在具有车速的情况下、以及档位为P以外的情况下，优选在步骤S108中判断为在电子内部后视镜显示后座的控制不可实施(相当于步骤S108中为“否”)，不实施该控制。

<作用、效果等>如上所述，根据本发明的一个实施方式涉及的控制装置1，基于乘员的姿势或者姿势的变化、以及车辆的状态或者车辆的周围状态，控制显示器30的显示。

由此，控制装置1能够不仅考虑乘员的姿势或者姿势的变化，还考虑车辆的状态以及车辆的周围状态而进行显示器30的控制，可以将驾驶员想要的图像更适宜地显示在显示器30中。

基于车辆状态辨别部5辨别车辆的状态或者车辆的周围状态的结果，控制内容确定部6预测将来的车辆的状态或者车辆的周围状态。

由此，对于乘员来说，能够在其想要的定时执行控制。

在判断为控制内容确定部6预测的将来的车辆的状态或者车辆的周围状态实现了的情况下，控制内容确定部6允许由控制部7进行被确定为控制对象的显示器30的显示变更。

由此，在乘员瞬间地错误操作设备等实际上无需进行显示器30的控制的情况下，能够抑制进行显示器30的控制。

本发明的控制装置1可以被解释为控制装置、控制装置的计算机执行的显示控制方法、显示控制程序以及对其进行存储的计算机可读取的非易失性存储介质、显示控制系统、车辆等。

本发明在对搭载于车辆等的显示器的显示变更进行控制的控制装置中是有用的。

Claims

1.一种控制装置，其搭载于具备多个车载照相机以及多个显示器的车辆，进行在所述多个显示器的其中任意的显示器显示所述多个车载照相机的其中任意的车载照相机拍摄的图像的至少一部分的控制，其具备：

乘员摄像部，其拍摄所述车辆的乘员；

姿势辨别部，其基于所述乘员摄像部拍摄的图像，辨别乘员的姿势或者姿势的变化；

车辆状态获取部，其获取表示所述车辆的状态或者所述车辆的周围状态的信号；

车辆状态辨别部，其基于所述车辆状态获取部获取的信号，辨别所述车辆的状态或者所述车辆的周围状态；

控制内容确定部，其基于所述姿势辨别部以及所述车辆状态辨别部的辨别结果，确定作为控制对象的显示器以及使所述显示器显示的显示内容；以及

控制部，其基于所述控制内容确定部确定的结果，对作为所述控制对象的所述显示器的显示变更进行控制。

2.根据权利要求1所述的控制装置，其中，

所述控制内容确定部基于所述车辆状态辨别部辨别出的所述车辆的状态或者所述车辆的周围状态，预测将来的所述车辆的状态或者所述车辆的周围状态，基于预测结果，确定作为所述控制对象的所述显示器以及使所述显示器显示的显示内容。

3.根据权利要求2所述的控制装置，其中，

所述控制内容确定部在对将来的所述车辆的状态或者所述车辆的周围状态进行了预测后，如果判断出将来的所述车辆的状态或者所述车辆的周围状态与所述车辆状态辨别部辨别出的所述车辆的状态或者所述车辆的周围状态一致，则许可已被确定作为控制对象的显示器的显示变更。