CN116824552A - 车室内监视系统 - Google Patents

Abstract

本发明提供一种车室内监视系统。车室内监视系统(10)根据由相机(12)拍摄的车室内的图像来监视乘客的举动。处理器(30)的遮蔽部(30‑5)对由相机(12)拍摄的图像中相当于车室外的部分进行遮蔽处理。

Description

车室内监视系统

相关申请的交叉引用

本申请要求基于2022年3月28日提出申请的日本专利申请第2022-51120号的优先权，并通过引用将其包括说明书、权利要求书、附图及摘要在内的全文并入本文。

技术领域

本公开涉及根据由相机拍摄的车室内的图像来监视乘客的举动的车室内监视系统。

背景技术

在自动驾驶的合乘公共汽车等中，从实现乘客的安全的观点出发，提出了利用相机拍摄车室内，并进行监视的方案。例如，在日本特开2020-003936号公报中，提出了如下的控制方法：判定跌倒风险高的乘客，在避免该乘客的跌倒的同时，实现顺畅的运行。

这里，在用相机拍摄人的情况下，需要保护成为被摄体的人的隐私。在取得合乘公共汽车的车室内的图像的情况下，考虑对取得相机图像等、将所取得的图像等用于运行的安全维持等进行说明，预先得到乘客的同意。

但是，在合乘公共汽车等车辆上有车窗，乘客可以从车窗眺望外部的风景。在对车室内进行了拍摄的情况下，在该图像中也会映现出位于车窗外的人等，但难以得到这些人的拍摄的同意。因此，有必要应对不是乘客而是在车辆外被拍摄到的人们。

发明内容

本公开所涉及的车室内监视系统是根据由相机拍摄的车室内的图像来监视乘客的举动的车室内监视系统，对由所述相机拍摄的图像中相当于车室外的部分进行遮蔽处理。

能够通过图像的深度推定来进行是否是相当于所述车室外的部分的判定。

能够限定于车窗的部分来进行是否是相当于所述车室外的部分的判定。

能够自动地废弃与相当于所述车室外的部分相关的图像。

通过对在车窗外映现在相机图像中的人、物实施遮蔽处理，能够应对与车室外的人们相关的隐私政策。

附图说明

图1是表示车室内监视系统10的整体结构的框图。

图2是表示处理器30中的由相机12取得的图像的图像处理的一例的流程图。

图3是表示遮蔽前的图像和遮蔽后的图像的图。

具体实施方式

以下，基于附图对本公开的实施方式进行说明。另外，本公开不限于在此记载的实施方式。

「整体结构」

首先，搭载有实施方式所涉及的车室内监视系统的车辆是使利用者作为乘客乘坐并在预先确定的路径上行驶的合乘公共汽车，设想自动地进行加减速、转向等的自动驾驶车辆，但也可以适用于半自动驾驶车辆、乘员驾驶的通常的车辆。另外，在行驶路径上，除了起点、终点之外，还设置停靠站，也可以自动地进行停靠站处的停车、起步等。

在这样的车辆中，需要在运行管理中心等监视车室内的状况。例如，在车门的开闭中，掌握车门附近的乘客，确认乘客从车门离开规定距离后对车门进行开闭。另外，在乘客乘入的情况下，在乘客的移动结束并稳定后发车。此时，自动进行“车辆起步。”等广播。另外，在行驶中乘客从座位站立起来的情况下，敦促其注意，或进行减速。

本实施方式所涉及的车室内监视系统10搭载于自动驾驶车辆，将车室内的相机图像发送到运行管理中心。在运行管理中心，监视发送来的车室内的图像(通常是动态图像)，控制自动驾驶车辆的行驶。

图1是表示车室内监视系统10的整体结构的框图。相机12是对车室内进行拍摄并得到图像的设备，也可以设置有多个。这里，由相机12得到的图像数据是动态图像数据，但也可以一并取得分辨率高的静态图像数据。通信部14能够利用无线通信(包括近距离的直接的无线通信)、互联网等通信线路的通信与管理车辆的运行的运行管理中心20、利用者的便携终端等进行通信。如上所述，关于车辆的自动行驶，可以由运行管理中心20管理。

相机12、通信部14与处理器30连接。处理器30控制由相机12拍摄的图像的处理、与运行管理中心20的必要的信息的交换等。

处理器30由计算机形成并进行各种数据处理，但作为其功能，包括图像识别部30-1、车窗识别部30-2、运动体识别部30-3、车室内外分离部30-4及遮蔽部30-5。

图像识别部30-1根据由相机12得到的图像进行边缘识别等的处理，进行各种物体的轮廓的识别等。

车窗识别部30-2在将相机12设置于车辆时、运行前等，将车室内图像作为默认图像进行存储，并且针对车室内图像中的车窗区域的位置进行存储。因此，根据来自车窗识别部30-2的数据，能够识别运行时得到的图像中的车窗区域。另外，也能够根据默认图像预先识别窗框部分等。此外，也有在车窗上拉窗帘的情况，针对这种情况也可以预先存储图像，用于窗帘的识别。

运动体识别部30-3根据连续的图像等识别运动体，并追踪该运动体。在该情况下，也能够利用原本得到的车室内图像。例如，能够根据时间上不同的图像的差分图像来识别运动体，能够通过这样的运动体识别来识别乘客等。

车室内外分离部30-4针对关于车窗区域得到的图像，判定是车室内还是车室外。此外，在车辆行驶过程中，由于车室外的静止物体也相对地移动，因此被识别为运动体。

图像的车室内外的判定基本上通过深度推定来进行。虽然能够根据由相机12得到的图像进行深度推定，但不一定限定于由相机12得到的图像，也能够通过其他方法进行深度推定。

此外，由车窗反射的车室内图像能够根据其距离判定为反射图像。对于该反射图像，可以直接显示，也可以删除。也可以对车窗的内侧面实施防止反射的处理。

遮蔽部30-5在车窗区域中对车室内的物体以外的区域实施遮蔽，并排除该区域的图像。可以采用马赛克、涂白、涂黑等处理，可以利用各种遮蔽软件。

这里，对于来自相机12的图像，能够按每个像素识别车室内物体图像和车室外图像，对车室外部分进行遮蔽。也可以暂时遮蔽车窗区域，覆盖车室内物体，也可以遮蔽车室内部分以外的车室外部分。

此外，对于包含遮蔽前的车室外图像的图像，在遮蔽处理完成的情况下，可以废弃而不存储。

另外，在上述说明中，在搭载于车辆的处理器30中，对来自相机12的图像进行处理而得到遮蔽处理后的图像，但也可以将在相机12中得到图像发送到外部的服务器计算机、例如运行管理中心20的服务器计算机，在外部的服务器计算机中实施图像处理而得到遮蔽后的图像。

＜深度推定(来自相机12、其他传感器的距离推定)＞

该深度推定中可以采用以下的方法。

·使用动作捕捉，仅对室内的人进行聚焦

让乘客佩戴某种传感器，根据来自该传感器的信号来判断乘客的动作等，识别车室内的乘客。虽然能够进行可靠的识别，但需要让乘客佩戴传感器。也可以在车票、智能手机上预先搭载传感器，在乘入车辆时，车室内监视系统10识别乘客及该传感器。

·TOF相机(Time-of-Flight Camera：飞行时间相机)

使用激光测定到物体的距离。由此，能够识别车室外的物体。由TOF相机得到的数据是关于距离的信号，为了进行基于人的远程监视，另外需要相机。

·利用立体相机进行深度推定

如果能够得到来自2台以上的相机的图像，则容易检测到被摄体的距离，能够进行最可靠的深度推定。但是，需要多台相机，系统昂贵。

·利用单眼相机进行深度推定

在单眼相机中，关于通过进行机器学习来进行深度推定，有各种提案。精度与立体相机相比差，但具有成本方面的优点。

机器学习中例如可以使用板校准这样的方法。在板校准中，使用棋盘格那样的外观的部件来决定相机图像的各种参数，能够检测大小等。另外，用语义分割这样的方法，对于图像的每一个pixel(像素)，关联拍摄到了什么这样的标签、类别，对于图像中的物体，能够识别乘员、乘客。

利用这样的方法，能够根据单眼相机的图像来学习乘员、乘客、车窗外的风景等，分别识别乘员、乘客。

此外，基本上以根据车窗内的图像来识别车室外物体和车室内物体为目的，因此在一个物体连到车窗外的情况下，能够判定为车室内物体。这样的判定也可以一起利用。

另外，乘降口是确定的，乘客从这里出入。因此，从乘车时开始，通过识别运动体，并对其进行追踪，也能够识别车窗内物体是车室内物体(乘客、乘员)。

“关于遮蔽的步骤”

图2是表示处理器30中的与相机12取得图像相关的处理的一例的流程图。

首先，从相机12取得相机图像(S11)。车窗识别部30-2读取预先存储的车窗位置，识别图像中的车窗位置(S12)。然后，车室内外分离部30-4针对车窗内的图像实施深度推定(S13)。这样，通过将深度推定限定在车窗内区域，能够限定数据处理量。通过处理车窗内的图像，对于位于图像内的物体，分别推定深度。即，通过上述的各种方法，对于车窗内的图像，检测到该被摄体的距离。基本上推定车窗内图像的各像素的距离。另外，通过利用在运动体识别部30-3中得到的是否是运动体的判定结果，也能够进行乘客的举动的识别。

此外，车室外的图像中的天空的部分是不存在物体的部分，另外，行人等是车室外的物体，距离有很大不同。这里，由于只要识别位于车窗外的物体和位于车窗内的物体即可，因此不需要准确地识别各物体的距离，对于成为不是室内物体的深度的区域，只要判定为车室外即可。即，能够判定车窗区域整体的深度，仅提取深度为规定以下的部分，识别为车室内物体。

另外，在使用机器学习模型来判定单眼相机的图像的情况下，如果能够形成进行了良好的学习的模型，则能够瞬时地进行车室内外的正确的判定。

在距离检测的情况下，也知道车窗的位置，通过深度推定，能够判别车室外物体、车室内物体。

然后，在能够进行车室内外的判定的情况下，遮蔽部30-5除了车室内物体之外，遮蔽图像中的车窗区域(S14)。

如上所述，遮蔽可以通过对除了车室内物体的区域以外的区域进行遮蔽处理来进行，也可以提取出车室内物体，在遮蔽了车窗区域的基础上，将车室内物体覆盖。

然后，将得到的进行了对车室外物体的遮蔽的图像发送到外部的运行管理中心20(S15)。另外，在操作者乘车的情况下，可以显示在车室内的显示器40上。此外，在操作者没有乘车的情况下，也可以进行显示。

对于所发送的图像数据，在运行管理中心中进行存储，但可以在车室内监视系统10中也进行存储。另一方面，对于从相机12得到的遮蔽前的图像数据，在该阶段自动地废弃(S16)。这样，通过自动地废弃在隐私政策上可能成为问题的与车室外相当的部分的图像数据，能够适当地应对隐私政策。

“遮蔽的状态”

图3中示出遮蔽前的图像和遮蔽后的图像。在遮蔽前的图像中，存在车窗W跟前的车室内I的乘客P和从车窗W看到的车室外的景色O。对于这样的图像，针对车窗W的区域，除了车室内的乘客P的部分之外，进行遮蔽。在图中，用砂点表示遮蔽区域。此外，在该例子中，对于作为车室内物体的比乘客的部分稍广的区域，变更了遮蔽的方法。这是为了简单地进行遮蔽的处理，由此更容易识别乘客P的部分。另外，对于该区域，也可以省略遮蔽而保留车室外的图像。这是因为只要是小的区域，就不会产生隐私上的问题。当然，不需要设置这样的包围车室内物体的区域，也可以在遮蔽区域上直接显示车室内物体的图像。

Claims (4)

1.一种车室内监视系统，根据由相机拍摄的车室内的图像来监视乘客的举动，其中，

对由所述相机拍摄的图像中相当于车室外的部分进行遮蔽处理。

2.根据权利要求1所述的车室内监视系统，其中，

通过图像的深度推定来进行是否是相当于所述车室外的部分的判定。

3.根据权利要求1所述的车室内监视系统，其中，

限定于车窗的部分来进行是否是相当于所述车室外的部分的判定。

4.根据权利要求1～3中任一项所述的车室内监视系统，其中，

自动地废弃与相当于所述车室外的部分相关的图像。