CN110682913B - 监视系统 - Google Patents

Abstract

本发明的目的是提供一种能够正确地掌握监视对象者的动作的监视系统。监视系统(1)的特征在于，具备：拍摄部(3)，其拍摄包含车辆的室内的到监视对象者为止的距离在内的深度图像；推定部(83)，其从由拍摄部(3)拍摄到的深度图像来推定监视对象者的三维人体模型；以及监视部(84)，其基于由推定部(83)推定出的人体模型，来监视该人体模型的监视对象部位向与室内的门操作相关的监视坐标靠近的动作，从而检测监视对象者的下车动作。

Description

监视系统

技术领域

本发明涉及一种监视系统。

背景技术

作为在车辆的车室内使用的现有的监视系统，例如专利文献1公开了如下内容：在基于拍摄数据来识别乘员的手臂向门方向移动，并且在继该手臂的移动之后，识别到乘员的身体向门方向倾斜时，判定为乘员的下车动作。

现有技术文献

专利文献

专利文献1：日本特开2014-203317号公报

发明内容

发明欲解决的技术问题

然而，上述专利文献1中记载的监视方法例如仅由于乘员为了纠正姿势的坐直、座席的移动、转身等而将手臂向门方向移动继而姿势倾斜，就有可能被判定为乘员的下车动作。

本发明是鉴于上述情况完成的，目的是提供一种能够正确地掌握监视对象者的动作的监视系统。

用于解决问题的技术手段

为了实现上述目的，本发明所涉及的监视系统的特征在于，具备：拍摄部，所述拍摄部拍摄包含车辆的室内的到监视对象者为止的距离在内的深度图像；推定部，所述推定部从由所述拍摄部拍摄到的所述深度图像来推定所述监视对象者的三维的人体模型；以及监视部，所述监视部基于由所述推定部推定出的所述人体模型，来监视该人体模型的监视对象部位向与所述室内的门操作相关的监视坐标靠近的动作，从而检测所述监视对象者的下车动作。

另外，在上述监视系统中，可以是，所述监视部对位于以所述监视坐标为基准的所述室内的监视区域内的所述监视对象部位向所述监视坐标靠近的动作进行监视，从而检测所述下车动作，并且不会将位于所述监视区域外的所述监视对象部位向所述监视坐标靠近的动作检测为所述下车动作。

另外，在上述监视系统中，可以是，所述监视坐标是门把手在所述室内中的三维坐标，所述监视对象部位是所述监视对象者的手。

另外，在上述监视系统中，可以是，所述监视系统还具备动作控制部，在基于所述监视部的监视结果而检测出所述下车动作的情况下，所述动作控制部进行与所述下车动作对应的处理。

另外，在上述监视系统中，可以是，在基于所述监视部的监视结果而检测出所述下车动作并且所述车辆为停车状态的情况下，所述动作控制部进行与所述下车动作对应的处理。

另外，在上述监视系统中，可以是，所述监视系统还具备警报部，所述警报部被设置在所述室内并且对所述监视对象者进行警报，在基于所述监视部的监视结果而检测出所述下车动作并且其他车辆正在靠近所述车辆的情况下，所述动作控制部进行使所述警报部警报所述其他车辆的靠近的所述处理。

另外，在上述监视系统中，可以是，所述监视系统还具备框体，所述框体被设置在所述车辆的顶棚的所述室内侧的表面并且被组装有所述拍摄部和所述监视部。

发明效果

本发明所涉及的监视系统中，推定部根据由拍摄部拍摄到的深度图像来推定监视对象者的三维人体模型，并监视该人体模型的监视对象部位向与室内的门操作相关的监视坐标靠近的动作，从而对监视对象者的下车动作进行监视。其结果，监视系统由于能够监视三维人体模型的监视对象部位向室内的监视坐标靠近的动作，所以起到能够正确掌握监视对象者的下车动作的效果。

附图说明

图1是表示应用实施方式所涉及的监视系统的车辆的室内的概要构成的示意图。

图2是表示应用实施方式所涉及的监视系统的车辆的室内的示意图。

图3是表示实施方式所涉及的监视系统的概要构成的框图。

图4是表示实施方式所涉及的监视系统的外观的立体图。

图5是表示实施方式所涉及的监视系统所推定的人体模型的一例的图。

图6是表示实施方式所涉及的监视系统所监视的室内的一例的示意图。

图7是实施方式所涉及的监视系统的监视下车动作的一例的图。

图8是表示实施方式所涉及的监视系统的控制部的控制的一例的流程图。

图9是表示实施方式所涉及的监视系统的人体模型的推定处理的一例的流程图。

图10是表示实施方式所涉及的监视系统的控制部的控制的另外一例的流程图。

符号说明

1 监视系统

2 框体

3 拍摄部

4 输出部

5 照明部

6 操作部

7 外部连接部

8 控制部

81 存储部

81a 条件信息

81b 监视结果信息

82 处理部

83 推定部

84 监视部

85 动作控制部

9 警报部

100 车辆

101 室内

110 门

120 门把手

107 后部座席

OB 监视对象者

OBM 人体模型

P1、P2 监视坐标

TG 监视对象部位

具体实施方式

以下，基于附图对本发明所涉及的的实施方式进行详细说明。此外，本发明不限于该实施方式。另外，在下述实施方式的构成要素中，包含本领域技术人员能够容易置换的要素或实质上相同的要素。

[实施方式]

参照图1至图5来对实施方式进行说明。图1是表示应用实施方式所涉及的监视系统的车辆的室内的概要构成的示意图。图2是表示应用实施方式所涉及的监视系统的车辆的室内的示意图。图3是表示实施方式所涉及的监视系统的概要构成的框图。图4是表示实施方式所涉及的监视系统的外观的立体图。图5是表示实施方式所涉及的监视系统所推定的人体模型的一例的图。需要说明的是，图1、图2所示的箭头X方向是车辆100的车宽方向。如图1、图2所示的箭头Y方向是车辆100的高度方向。图1、图2所示的箭头Z方向是车辆100的长度方向(前后方向)。箭头Z方向是车辆100的进深方向。在以下的说明中，有时将车辆100记为“本车辆”。

图1所示的本实施方式所涉及的监视系统1被搭载于车辆100，是监视该车辆100的室内101的监视对象者OB并进行对监视对象者OB的各种处理的车载系统(车室内监视系统)。监视对象者OB是利用监视系统1进行的监视的对象者。监视对象者OB是乘坐在车辆100的室内101的乘员，包含车辆100的驾驶员、驾驶员以外的同乘者。

在图1、图2所示的一例中，车辆100具备驾驶席105、副驾驶席106、第2列的后部座席107以及第3列的后部座席108。车辆100作为一个例子是能够行走的车辆。换言之，对于车辆100，能够在不放倒座席的情况下在室内101的第2列的后部座席107和第3列的后部座席108之间移动。本实施方式的监视对象者OB以是车辆100的后部座席107、108的同乘者情况为例进行说明。需要说明的是，在本实施方式中，车辆100以是汽车的情况进行说明，但是也可以是例如公交车、电车等。

在图2所示的一例中，车辆100具备供监视对象者OB上下车的后部的门110。车辆100的门110在室内侧设置有室内的监视对象者OB下车时所使用的门把手120。而且，本实施方式的监视系统1整体设置在车辆100的顶棚102的室内101侧的表面，并构成整合了各种功能的顶置模块(OHM：Over-Head Module)。

以下，参照图1、图2、图3、图4、图5对监视系统1的构成进行详细说明。

监视系统1具备：框体2、拍摄部3、输出部4、照明部5、操作部6、外部连接部7、控制部8以及警报部9。需要说明的是，构成顶置模块的监视系统1除此之外还可以具备无线通信部、天线、电源分配部等。

框体2是容纳构成监视系统1的各部的部件。框体2由多个部件组合而整体形成为中空箱状。框体2利用具有绝缘性的合成树脂来形成。此处，框体2在内部组装拍摄部3、输出部4、照明部5、操作部6、外部连接部7以及控制部8并容纳这些部件，并且单元化为顶置部件。对于框体2，容纳在内部的拍摄部3、输出部4、照明部5、操作部6、外部连接部7的一部分露出到外表面。而且，本实施方式的框体2被设置在车辆100的顶棚(车顶板)102的室内101侧的表面。顶棚102是经由柱等与车体主体连结并被支承在该车体主体的铅垂方向上侧的结构体。车辆100以顶棚102的铅垂方向上侧作为边界，被区分为室内101和室外。此处，框体2例如被设置在顶棚102和挡风玻璃103的交叉部分且车辆100的车宽方向的大致中央位置。

拍摄部3包含：测量车辆100的室内101的到监视对象者OB为止的距离的三维TOF(Time of Flight，飞行时间)摄像机、距离图像传感器等。拍摄部3拍摄包含到监视对象者OB为止的距离的深度图像。本实施方式的由拍摄部3拍摄的深度图像例如相当于表示室内101的三维坐标(XYZ坐标)中的各点的距离(坐标)的三维点组数据。三维点组数据是将拍摄部3拍摄到的对象立体地表示的数据。三维点组数据包含表示各点的XYZ坐标中的坐标的坐标值。本实施方式的拍摄部3具有拍摄深度图像的功能，该深度图像能够测量室内101的监视对象者OB的监视对象部位TG的三维位置。监视对象部位TG例如包括乘员的手、手和前臂、手和手臂等。在本实施方式中，拍摄部3使用TOF摄像机，从而即使在阴暗的环境下也能够拍摄监视对象者OB。

拍摄部3例如以镜头露出框体2的外表面且光轴朝向室内101的驾驶席105、后部座席107侧的方式设置在该框体2。拍摄部3与控制部8电连接，能够相互授受电信号，并利用该控制部8控制各部的工作。例如，拍摄部3将拍摄到的深度图像向控制部8输出。

输出部4是向车辆100的室内101输出各种信息的部件。此处，输出部4被构成为包含显示部41和扬声器42。显示部41是输出视觉信息(图形信息、文字信息)的显示装置。显示部41例如由薄型的液晶显示器、等离子显示器、有机EL显示器等构成。扬声器42是输出听觉信息(语音信息、声音信息)的部件。构成输出部4的显示部41、扬声器42分别与控制部8电连接，能够相互授受电信号，且各部的工作被该控制部8控制。

照明部5是对车辆100的室内101进行照明的部件，例如是地图灯等。照明部5与控制部8电连接，并能够相互授受电信号，并利用该控制部8控制各部的工作。

操作部6是能够从车辆100的室内101侧输入各种操作的操作设备。操作部6例如由按钮或电容式触摸开关、红外传感器等非接触式传感器等构成。操作部6与控制部8电连接，并能够相互授受电信号，并利用该控制部8控制各部的工作。

外部连接部7是与框体2外部的电气设备电连接的部分。外部连接部7由各种形式的连接器、接口部构成。外部连接部7与警报部9电连接。警报部9与室内101的门110对应地设置。警报部9例如对想要打开门110的监视对象者OB进行警报。警报部9例如具有灯、扬声器等。警报部9优选设置在门110、门110附近，以提醒想要打开门110的监视对象者OB注意。例如，警报部9在利用光来警报有其他车辆靠近本车辆的情况下，也可以根据其他车辆到本车辆的距离、靠近状况来点亮红灯。例如，警报部9在利用声音来警报有其他车辆靠近的情况下，也可以以“车辆正在靠近”等声音数据、蜂鸣器的模式鸣叫。需要说明的是其他车辆例如包含汽车、摩托车、自行车等。

外部连接部7与综合控制车辆100各部的ECU(Electronic Control Unit、电子控制单元)、在车辆100的顶棚102的室内101侧的表面的后部座席侧的位置设置的后部模块等电连接。外部连接部7与控制部8以及框体2的外部的电气设备电连接，并能够相互授受电信号。

在图3所示的一例中，外部连接部7例如与制动ECU 201以及高级驾驶辅助系统(ADAS：Advanced Driver Assistance System)ECU 202电连接。制动ECU 201输出与车辆100的制动相关的车辆信息。车辆信息例如包含表示车辆是否为停止状态的信息。高级驾驶辅助系统ECU 202输出与车辆100的周边状况相关的周边状况信息。周边状况信息可以例如包含：拍摄到车辆100周边环境或车辆100周边人物、其他车辆、障碍物等外部物体的周边图像信息、表示外部物体的有无或与该外部物体的相对距离、相对速度、TTC(Time-To-Collision：碰撞时间)等外部物体信息等。

控制部8是综合控制监视系统1各部的部分。控制部8执行监视对象者OB的状态监视、与各种辅助相关的各种计算处理。控制部8被构成为包含以公知的微型计算机为主体的电子电路，该微型计算机包含：CPU(中央处理器：Central Processing Unit)、MPU(微处理单元：Micro Processing Unit)、ASIC(专用集成电路：Application Specific IntegratedCircuit)、FPGA(现场可编程门阵列：Field Programmable Gate Array)等中央计算处理装置、ROM(只读存储器：Read Only Memory)、RAM(随机存取存储器：Random Access Memory)以及接口。控制部8与拍摄部3、输出部4、照明部5、操作部6以及外部连接部7电连接。控制部8能够将与由拍摄部3拍摄到的深度图像对应的图像信号、用于驱动各部的驱动信号等各种信号在其与各部之间进行相互授受。

具体而言，控制部8在功能概念上被构成为包含储存部81以及处理部82。储存部81以及处理部82能够在与电连接的各种设备之间授受各种信息。储存部81是存储器等储存装置。储存部81存储有在控制部8中的各种处理所需要信息、在控制部8中执行的各种程序等。而且，储存部81也储存有显示部41显示的一部分图像等视觉信息、用扬声器42输出的声音等听觉信息。另外，储存部81也可以暂时储存与拍摄部3拍摄到的深度图像相关的信息、经由外部连接部7获取到的各种信息。储存部81能够被处理部82根据需要读取各种信息。处理部82基于各种输入信号等来执行储存在储存部81的各种程序，并且通过该程序的工作来执行用于向各部输出输出信号并实现各种功能的各种处理。

在图3所示的一例中，储存部81能够储存条件信息81a和监视结果信息81b。条件信息81a包含判定监视对象者OB的下车动作所必须的条件、信息。后文说明条件信息81a的一个例子。监视结果信息81b包含表示监视对象者的下车动作的监视结果的信息，该监视结果通过基于拍摄部3拍摄到的深度图像来对监视对象者OB的监视对象部位靠近与室内的门操作相关的监视坐标的动作进行监视而得到。监视结果信息81b包含监视对象者OB的监视对象部位的随着时间推移的三维坐标和监视结果。

更详细而言，处理部82在功能概念上被构成为包含推定部83、监视部84以及动作控制部85。处理部82通过执行程序，从而实现推定部83、监视部84、以及动作控制部85。

推定部83根据由拍摄部3拍摄到的深度图像来推定监视对象者OB的三维人体模型。例如，推定部83利用背景差分法、Random Forest(随机森林)法、Mean Shift(均值漂移)法、模式匹配法等来从深度图像提取监视对象者OB，并基于该监视对象者OB的轮廓等来推定人体模型。图5所示的人体模型OBM是表示监视对象者OB的骨骼位置的模型。在图5所示的一例中，人体模型OBM特征地示出监视对象者OB的头、肩、肘、手、腰、膝以及脚的人体部位。并且，推定部83基于深度图像的三维点组数据所表示的各点的坐标值来从深度图像提取监视对象者OB，并着眼于该监视对象者OB的骨骼位置来推定人体模型OBM。需要说明的是，后文说明人体模型OBM的推定处理的一例。推定部83从推定出的人体模型OBM的各人体部位来确定监视对象部位TG，并计算出室内101的三维空间中的监视对象部位TG的三维坐标。在监视对象部位TG是监视对象者OB的手的情况下，推定部83从人体模型OBM的人体部位计算出左右手的三维坐标。手的三维坐标例如包含手的中心坐标、手的任意1个或多个点的坐标等。推定部83将计算出的监视对象部位TG的三维坐标与深度图像的帧建立关联并储存在储存部81。另外，例如，在由拍摄部3拍摄到的深度图像中未写入监视对象者OB的手的情况下，推定部83能够着眼于监视对象者OB的肩、肘等人体部位的位置和监视对象者OB的尺寸和姿势，从所着眼的人体部位来推测监视对象者OB的手的三维坐标。

监视部84基于由推定部83推定出的监视对象者OB的人体模型OBM，来监视该人体模型OBM的监视对象部位TG向室内101的监视坐标靠近的动作。例如，监视对象者OB在从车辆100下车的情况下，操作门110的门把手120来打开门110。因此，监视系统1在对监视对象者OB的下车动作进行监视时，将门把手120在室内101的三维空间中的三维坐标作为与门110相关的监视坐标。监视坐标例如包含与门把手120的轮廓对应的三维坐标的范围、与门把手120的任意点对应的三维坐标等。之后，监视部84基于监视对象部位TG的时间序列的三维坐标来对监视对象部位TG向监视坐标靠近的动作进行监视。例如，监视部84推定监视对象部件TG的光流，并基于该光流来对监视对象部位TG向监视坐标靠近的动作进行监视。需要说明的是，推定监视对象部位TG的光流的手法例如可以使用Lucas Kanade法、Hom-Schunk法等。在人体模型OBM的监视对象部位TG的三维坐标与门把手120的监视坐标的距离变得比判定阈值小的情况下，监视部84将监视对象部位TG向监视坐标靠近的动作检测为下车动作。需要说明的是，监视部84也可以将人体模型OBM的监视对象部位TG的三维坐标已到达门把手120的监视坐标的情况检测为监视对象部位TG的下车动作。监视部84将表示检测出监视对象部位TG靠近监视坐标的下车动作的信息储存在监视结果信息81b。监视部84可以将在检测监视对象部位TG靠近监视坐标的下车动作的检测中使用的三维坐标与监视结果建立关联并存储在监视结果信息81b中。

动作控制部85是能够执行动作控制处理的部分。动作控制处理是指控制拍摄部3、输出部4、照明部5、操作部6以及警报部9等监视系统1的各部的动作的处理。动作控制部85与拍摄部3、输出部4(显示部41、扬声器42)、照明部5、操作部6、外部连接部7以及储存部81电连接。动作控制部85可以通过向拍摄部3输出驱动信号来控制拍摄部3的动作，并使其开始对包含监视对象者OB在内的深度图像的拍摄或者结束该拍摄。另外，动作控制部85可以通过向输出部4(显示部41、扬声器42)输出驱动信号来控制输出部4的动作，并使显示部41显示视觉信息或者使扬声器42输出听觉信息。另外，动作控制部85可以通过向照明部5输出驱动信号来控制照明部5的动作，并使照明部5点亮或使照明部5熄灭。进而，动作控制部85能够基于从操作部6输入的操作信号来接收对操作部6的操作输出，从而切换照明部5的点亮、熄灭，或者切换利用显示部41进行的显示内容，或者进行各种设定。动作控制部85能够经由外部连接部7而向制动ECU 201、高级驾驶辅助系统ECU 202等输出请求辅助信号，从而获取上述车辆信息、周边状况信息等。动作控制部85经由外部连接部7向警报部9输出驱动信号，从而能够控制警报部9的动作。

在利用监视部84检测出监视对象部位TG靠近监视坐标的下车动作时，动作控制部85进行与该下车动作对应的处理。作为与监视对象部位TG靠近监视坐标的下车动作对应的处理，动作控制部85能够执行使警报部9进行监视对象部位TG已朝向监视坐标的警报的处理。作为与监视对象部位TG朝向监视坐标的动作对应的处理，动作控制部85能够执行使警报信息从输出部4输出的处理，该警报信息对驾驶员等进行监视对象部位TG已朝向监视坐标的警报。

在对监视对象部位TG靠近监视坐标的下车动作进行监视的情况下，动作控制部85能够经由外部连接部7而获取上述车辆信息、周边状况信息等。动作控制部85具有基于已获取的车辆信息来判定车辆100是否为停车状态的功能。动作控制部85具有基于已获取的周边状况信息来判定其他车辆是否正在靠近车辆100的功能。

在车辆100为停车状态、且在其他车辆正靠近车辆100、并且监视部84检测到监视对象部位TG靠近监视坐标的下车动作的情况下，动作控制部85能够使警报部9进行其他车辆正靠近本车辆的警报。

接着，参照图6来说明监视系统1监视的室内101的三维空间的一例。图6是表示实施方式所涉及的监视系统1监视的室内的一例的示意图。

如图6所示，监视系统1将室内101作为监视对象的三维空间来进行监视。监视系统1对想要从车辆100的后部的门110下车的监视对象者OB的下车动作进行监视。该情况下，监视系统1将包含监视坐标P1、P2在内的条件信息81a预先存储在储存部81，该监视坐标P1、P2表示监视对象的三维空间中的门把手120的位置。在本实施方式中，条件信息81a包含表示与监视坐标P1、P2分别对应的三维的监视区域E1、E2的信息。监视区域E1例如是作为针对车辆100的右侧的门110的下车动作的判定对象的室内101的区域。监视区域E2例如是作为针对车辆100的左侧的门110的下车动作的判定对象的室内101的区域。在图6所示的一个例子中，监视区域E1是以室内101的右侧的门110的门把手120的监视坐标P1为基准并包含后部座席107和门把手120的区域。而且，监视区域E2是以室内101的左侧的门110的门把手120的监视坐标P2为基准并包含室内101的左侧的后部座席107和门把手120的区域。

在本实施方式中，条件信息81a以对右侧和左侧的后部座席107设定监视区域E1、E2的情况进行说明，但是并不限定于此。例如，条件信息81a也可以将包含监视坐标P1、P2和室内101的第2列的2个后部座席107这两者的三维区域作为监视区域。换言之，监视信息810的监视区域可以根据室内101的座位和车辆100的门110的配置关系来适当设定。

接着，参照图7来说明本实施方式所涉及的监视系统1对下车动作进行监视的一例。图7是实施方式所涉及的监视系统1对下车动作进行监视的一例的图。

在图7所示的步骤S1的情景下，监视对象者OB以朝向车辆100的前进方向的姿势就座在室内101的右侧的后部座席107。需要说明的是，以车辆100是行驶状态为前提。

在步骤S1所示的情景下，监视系统1的拍摄部3拍摄包含就座在右侧的后部座席107的监视对象者OB在内的深度图像。监视系统1的推定部83从该深度图像推定就座在后部座席107的状态的监视对象者OB的人体模型OBM。而且，推定部83从推定出的人体模型OBM来确定监视对象部位TG，并计算该监视对象部位的TG的室内101中的三维坐标，将计算出的监视对象部位TG的三维坐标按时间序列储存在储存部81。而且，监视部84基于由推定部83推定出的人体模型OBM，来监视人体模型OBM的监视对象部位TG靠近室内101的监视坐标P1的动作。该情况下，根据监视对象部位TG的时间序列的三维坐标，监视对象部位TG留在监视区域E1内且未朝向监视坐标P1，所以监视部84将表示未检测出下车动作的监视结果存储在监视结果信息81b。然后，监视部84继续对监视对象部位TG的下车动作进行监视。

接着，在图7所示的步骤S2的情形下，监视对象者OB进行使监视对象的手从右侧的后部座席107向右侧的门110的门把手120移动的动作。该情况下，车辆100从行驶状态进入到停车状态。而且，其他车辆例如从后向停车状态的车辆100靠近。

在步骤S2所示的例子中，监视系统1的拍摄部3拍摄包含监视对象者OB在内的深度图像，该监视对象者OB在右侧的后部座席107使姿势变化，并使手向门把手120移动。监视系统1的推定部83从该深度图像来推定就座在后部座席107并移动手的监视对象者OB的人体模型OBM。而且，推定部83从推定出的人体模型OBM确定监视对象部位TG，并计算该监视对象部位TG的三维坐标，将计算出的监视对象部位TG的三维坐标按时间序列存储在储存部81。而且，在基于由推定部83推定出的人体模型BOM来检测出人体模型OBM的监视对象部位TG靠近室内101的监视坐标P1的监视动作时，将表示检测到下车动作的监视结果存储在监视结果信息81b。详细而言，监视部84基于监视对象部位TG的时间序列的三维坐标，将监视对象部位TG留在监视区域E1内，而且将监视坐标P1与监视对象部位TG的三维坐标的距离变的比判定阈值小的情况检测为下车动作。而且，动作控制部85经由外部连接部7获取上述车辆信息，当该车辆信息示出停车状态时，检测出车辆为停车状态。动作控制部85当经由外部连接部7获取上述的周边状况信息时，检测出其他车辆正靠近车辆100。该情况下，动作控制部85在基于监视部84的监视结果而检测到下车动作的情况下，检测到车辆100的停车状态并且检测到其他车辆对车辆100的靠近，所以执行使警报部9进行其他车辆靠近车辆100的警报的处理。由此，监视系统1能够利用警报部9对想要操作门110的门把手120的监视对象者OB警报其他车辆的靠近。也就是说，监视系统1能够在监视对象者OB从车辆100下车前，利用警报部9警报其他车辆的靠近。

例如，在图6所示的室内101中，已就座在右侧的第3列的后部座席108的监视对象者OB在监视领域E1的外面，为了下车而开始向着右侧的门110的门把手120移动。

该情况下，监视系统1的拍摄部3拍摄包含已从右侧的后部座席108开始移动的监视对象者OB在内的深度图像。监视系统1的推定部83从该深度图像推定该监视对象者OB的人体模型OBM。而且，推定部83从推定出的人体模型OBM来确定监视对象部位TG，并计算该监视对象部位TG的室内101中的三维坐标，将计算出的监视对象部位TG的三维坐标按时间序列存储在储存部81。而且，监视部84基于由推定部83推定出的人体模型OBM，来对人体模型OBM的监视对象部位TG靠近室内101的监视坐标P1的动作进行监视。但是，根据监视对象部位TG的时间序列的三维坐标，监视对象部位TG位于监视区域E1之外，而且与监视坐标P1的距离比判定阈值大，所以监视部84将表示未检测到下车动作的监视结果存储在监视结果信息81b。随后，监视部84继续对监视对象部位TG的动作进行监视。

之后，监视系统1的监视部84在监视对象部位TG位于监视区域E1的状态下，且该监视对象部位TG与监视坐标P1的距离变得比判定阈值小的情况下，将表示已检测到下车动作的监视结果存储在监视结果信息81b。

以上说明的监视系统1中，推定部83从由拍摄部3拍摄到的深度图像来推定监视对象者OB的三维人体模型OBM，并监视该人体模型OBM的监视对象部位TG向室内101的监视坐标P1靠近的动作。其结果，监视系统1能够监视三维人体模型OBM的监视对象部位TG靠近室内101的监视坐标P1的动作，所以能正确掌握监视对象者OB的下车动作。

监视系统1的监视部84对位于以监视坐标P1为基准的室内101的监视区域E1内的监视对象部位TG向监视坐标P1靠近的动作进行监视。而且，监视系统1不会将位于监视区域E1外的监视对象部位TG靠近监视坐标P1的动作检测为下车动作。其结果，监视系统1能够将监视对象部件TG在监视区域E1的外部靠近监视区域E1的监视坐标P1的动作从下车动作中排除，所以能够更正确地对监视对象的动作进行监视。

监视系统1中，监视坐标P1是室内101的门把手120的三维坐标，监视对象部件TG是监视对象者OB的手。其结果，监视系统1能够基于已推测出的监视对象者OB的三维的人体模型OBM来对监视对象者OB的手靠近门把手120的动作进行监视，所以能够更正确地对监视对象者OB想要打开门把手110的下车动作进行监视。

在动作控制部85基于监视部84的监视结果而检测出下车动作的情况下，监视系统1进行与该下车动作对应的处理。其结果，在检测出监视对象部位TG靠近监视坐标P1的动作的情况下，监视系统1能够执行与下车动作相对应的处理，所以能够提供与该下车动作相对应的服务，提升便利性。

在动作控制部85基于监视部84的监视结果而检测到下车动作、并且在车辆100为停车状态的情况下，监视系统1进行与该下车动作对应的处理。其结果，在车辆100为停车状态时，监视系统1能够执行与下车动作相对应的处理，所以能够提供与车辆100停车时的下车动作相适应的服务，进一步提升便利性。

在动作控制部85基于监视部84的监视结果而检测出下车动作、且其他车辆正在靠近车辆100的情况下，监视系统1使警报部9进行其他车辆在靠近的警报的处理。其结果，在检测到下车动作的情况下，监视系统1能够向监视对象者OB警报其他车辆的靠近，所以能够防止门110打开时的事故于未然，提高监视对象者OB的安全性。

监视系统1中，由于包含拍摄部3、控制部8在内的各部被设置在框体2，所以能够将该监视系统1整体单元化为顶置模块。根据该构成，监视系统1能够提升对车辆100的搭载性。需要说明的是，监视系统1将警报部9设置在框体2外部的监视坐标P1、P2的附近，从而能够快速地识别对监视对象者OB的警报。

接着，参照图8的流程图，说明控制部8的处理部82的控制的一例。图8是表示实施方式所涉及的监视系统的控制部的控制的一例的流程图。图8所示的流程图表示与监视对象者OB的下车动作的监视相关的处理步骤的一例。图8所示的处理步骤通过处理部82执行程序从而实现。图8所示的处理步骤利用处理部82被反复执行。

首先，监视系统1的控制部8的处理部82获取由拍摄部3拍摄到的深度图像(步骤S101)。随后，处理部82执行从已获取的深度图像推定三维的人体模型OBM的推定处理(步骤S102)。例如，处理部82通过执行推定处理，从而基于深度图像的三维点组数据所表示的各点的坐标值来提取监视对象者OB，并着眼于该监视对象者OB的骨骼位置来推定人体模型OBM，从该人体模型OBM提取监视对象部位TG。此外，后文说明推定处理的详细内容。处理部82通过执行步骤S102的处理，从而作为上述的推定部83而发挥功能。处理部82在推定处理结束后，使处理进入步骤S103。

处理部82基于已提取的人体模型OBM来对监视对象部位TG靠近监视坐标的动作进行监视，并检测监视对象者OB的下车动作(步骤S103)。例如，处理部82判定监视对象部位TG的三维坐标与条件信息81a的监视坐标P1、P2的距离是否比预定阈值小。需要说明的是，处理部82也可以判定监视对象部位TG的三维坐标是否已到达门把手120的监视坐标。例如处理部82判定为监视对象部位TG的三维坐标与条件信息81a的监视坐标P1的距离比预定阈值小。该情况下，由于是监视对象部位TG靠近监视坐标P1的动作，所以处理部82将表示检测出监视对象者OB的下车动作的监视结果存储在监视结果信息81b。例如处理部82判定为监视对象部位TG的三维坐标与条件信息81a的监视坐标P1的距离不小于预定阈值。该情况下，由于不是监视对象部位TG靠近监视坐标P1的动作，所以处理部82将表示未检测出监视对象者OB的下车动作的监视结果存储在监视结果信息81b。处理部82通过执行步骤S103的处理，从而作为上述的监视部84而发挥功能。处理部82在提取出监视对象部位TG后，使处理进入步骤S104。

处理部82经由外部连接部7而获取车辆信息以及周边状况信息(步骤S104)。处理部82在将已获取的车辆信息和周边状况信息暂时存储在储存部81后，使处理进入步骤S105。

处理部82判定车辆100是否为停车状态(步骤S105)。例如，在步骤S105已获取的车辆信息表示停车状态的情况下，处理部82判定车辆100为停车状态。处理部82在判定为车辆100不是停车状态的情况下(步骤S105中，否)，结束如8所示的处理步骤。处理部82在判定为车辆100是停车状态的情况下)(步骤S105中，是)，使处理进入步骤S106。

处理部82判定是否已检测到监视对象者OB的下车动作(步骤S106)。例如，在监视结果信息81b的监视结果表示检测出监视对象者OB的下车动作的情况下，处理部82判定为已检测到监视对象者OB的下车动作。在判定为未检测出监视对象者OB的下车动作的情况下(步骤S106中，否)，处理部82结束图8所示的处理步骤。在判定为已检测到监视对象者OB的下车动作的情况下(步骤S106中，是)，处理部82使处理进入步骤S107。

处理部82判定其他车辆是否正在靠近(步骤S107)。例如，在步骤S104已获取的周边状况信息表示车辆100周边的其他车辆的情况下，处理部82判定为其他车辆正在靠近。处理部82在判定为其他车辆不是正在靠近的情况下(步骤S107中，否)，结束图8所示的处理步骤。处理部82在判定为其他车辆正在靠近的情况下(步骤S107中，是)，使处理进入步骤S108。

处理部82利用警报部9警报其他车辆的靠近(步骤S108)。例如，处理部82确定设置在监视坐标附近的警报部9，并经由外部连接部7使该警报部9警报其他车辆的靠近。其结果，被设置在监视坐标的附近的警报部9例如利用警报部9的发光来对监视对象者OB警报其他车辆的靠近。处理部82通过执行步骤S105到步骤S108的一连串的处理，从而作为动作控制部85而发挥功能。而且，处理部82在使警报部9警报后，结束图8所示的处理步骤。

接着，参照图9的流程图，说明利用控制部8的处理部82进行的人体模型OBM的推定处理的一例。图9是表示实施方式所涉及的监视系统1的人体模型OBM的推定处理的一例的流程图。图9所示的流程图表示与人体模型OBM的推定方向相关的处理步骤的一例。图9所示的处理步骤通过处理部82执行程序从而实现。图9所示的处理步骤通过处理部82执行图8所示的步骤S102从而启动。

首先，监视系统1的控制部8的处理部82从深度图像提取监视对象者OB的人体部分(步骤S201)。例如，处理部82使用公知的背景差分法对由拍摄部3拍摄到的深度图像的三维点组数据和事先准备的室内101的三维点组数据进行比较，将室内101的三维点组数据中不存在的三维点组作为人体部分而提取。处理部82在提取出人体部分后，使处理进入步骤S202。

处理部82从已提取的人体部分确定各人体部位(步骤S202)。例如，处理部82使用公知的随机森林来从人体部分确定头、肩、肘、手、腰、膝以及脚的人体部位。在无法通过监视对象者OB的朝向、姿势等来确定全部的人体部位的情况下，处理部82确定能够确定的人体部位。处理部82在结束确定后，使处理进入步骤S203。

处理部82计算出室内101的三维空间中的各人体部位的三维坐标(步骤S203)。例如，处理部82使用公知的Mean Shift法来计算各人体部位的重心，并基于计算出的重心的坐标值和深度图像的三维点组数据所表示的各点的坐标值，来计算出人体部位的三维坐标。处理部82在计算出各人体部位的三维坐标后，使处理进入步骤S204。

处理部82将各人体部位合并考虑来推定人体模型OBM(步骤S204)。处理部82在将表示已推定出的室内101的三维空间中的人体模型OBM的信息存储在储存部81后，结束图9所示的处理步骤。

需要说明的是，上述的本发明的实施方式所涉及的监视系统1不限定于上述实施方式，能够在专利权利要求的范围所记载的范围内进行各种变更。

[实施方式的变形例]

对实施方式的变形例进行说明。针对实施方式所涉及的监视系统1的控制部8的处理部82的控制的另一个例子，参照图10的流程图进行说明。在以下的说明中，有时对与监视系统1相同的处理步骤标记相同的附图标记。并且，有时省略重复的说明。

图10是表示实施方式所涉及的监视系统的控制部的控制的另外一例的流程图。图10所示的流程图表示与监视对象者OB的下车动作的监视相关的处理步骤的另外一例。图10所示的处理步骤通过处理部82执行程序从而实现。图10所示的处理步骤被处理部82被反复执行。

首先，监视系统1的控制部8的处理部82获取由拍摄部3拍摄到的深度图像(步骤S101)。随后，处理部82执行从获取到的深度图像推定三维人体模型OBM的推定处理(步骤S102)。处理部82基于已提取的人体模型OBM来对监视对象部位TG靠近监视坐标的动作进行监视，并检测监视对象者OB的下车动作(步骤S103)。处理部82经由外部连接部7而获取车辆信息以及周边状况信息(步骤S104)。处理部82在将已获取的车辆信息和周边状况信息暂时存储在储存部81后，使处理进入步骤S106。

处理部82判定是否检测出监视对象者OB的下车动作(步骤S106)。在判定为未检测出监视对象者OB的下车动作的情况下(步骤S106中，否)，处理部82结束图10所示的处理步骤。在判定为已检测到监视对象者OB的下车动作的情况下(步骤S106中，是)，处理部82使处理进入步骤S105。

处理部82判定车辆100是否为停车状态(步骤S105)。处理部82在判定为车辆100是停车状态的情况下(步骤S105中，是)，使处理进入步骤S107。处理部82判定其他车辆是否正在靠近(步骤S107)。处理部82在判定为其他车辆不是正在靠近的情况下(步骤S107中，否)，结束10所示的处理步骤。处理部82在判定为其他车辆正在靠近的情况下(步骤S107中，是)，使处理进入步骤S108。而且，处理部82利用警报部9警报其他车辆的靠近(步骤S108)。处理部82在使警报部9警报后，使图10所示的处理步骤结束。

另外，在判定为车辆100不是停车状态的情况下(步骤S105中，否)，由于车辆100是行驶状态，所以处理部82使处理进入步骤S111。处理部82利用输出部4进行已检测到监视对象者OB的下车动作的警报(步骤S111)。例如，处理部82使输出部4的显示部41显示进行已检测出监视对象部者OB的下车动作的警报的警报信号，并且从扬声器42输出警报声。其结果，输出部4能够使驾驶员、其他同乘者等掌握监视对象者OB的下车动作。处理部82通过执行步骤S106、步骤S105以及步骤S111的一连串的处理，从而作为动作控制部85而发挥功能。而且，处理部82在使输出部4警报后，使图10所示的处理步骤结束。

根据以上内容，在动作控制部85基于监视部84的监视结果而检测出监视对象部者OB的下车动作并且在车辆100为行驶状态的情况下，监视系统1进行警报监视对象者OB的下车动作的处理。其结果，监视系统1能够在车辆100为行驶状态时执行警报监视对象者OB的下车动作的处理，所以能够事先防止同乘者在车辆100的行驶中误将门100打开的情况。

在以上的说明中，对于监视部84对监视区域E1、E2的监视对象部位TG的移动进行监视的情况进行了说明，但是并不限定于此。例如，监视部84也可以不设定监视区域E1、E2，而构成为对监视对象部位TG朝向监视坐标P1、P2的动作进行监视。

在以上的说明中，作为一个例子，以监视部84对作为车辆100的室内101的监视对象者OB的后部空间的乘员的动作进行监视的情况进行了说明，但是并不限定于此。监视对象者也可以是副驾驶席106这样的同乘者。另外，以监视对象部位TG是监视对象者OB的手的情形进行说明，但是并不限定于此，例如也可以是手臂等。

在以上的说明中，以监视系统1的整体被设置在车辆100的顶棚102的室内101侧的表面并且构成顶置模块的情形进行说明，但是并不限定于此。监视系统1例如也可以是控制部8被设置在框体2的外部并且经由布线材料而与各部电连接的构成，例如控制部8也可以由综合地控制车辆100的各部的车辆ECU来兼任从而构成。另外，警报部9例如也可以是被搭载在车辆100的室内101的后部空间的显示器、扬声器等兼任。监视系统1也可以将输出部4兼用作警报部。

Claims (11)

1.一种监视系统，其特征在于，具备：

拍摄部，所述拍摄部拍摄包含车辆的室内的到监视对象者为止的距离在内的深度图像；

推定部，所述推定部从由所述拍摄部拍摄到的所述深度图像来推定所述监视对象者的三维的人体模型；以及

监视部，所述监视部基于由所述推定部推定出的所述人体模型，来监视所述人体模型的监视对象部位向与所述室内的门操作相关的监视坐标靠近的动作，从而检测所述监视对象者的下车动作，

所述监视部对位于以所述监视坐标为基准的所述室内的监视区域内的所述监视对象部位向所述监视坐标靠近的动作进行监视从而检测所述下车动作，并且不会将位于所述监视区域外的所述监视对象部位向所述监视坐标靠近的动作检测为所述下车动作。

2.如权利要求1所述的监视系统，其中，

所述监视坐标是门把手在所述室内中的三维坐标，

所述监视对象部位是所述监视对象者的手。

3.如权利要求1或2所述的监视系统，其中，

所述监视系统还具备动作控制部，在基于所述监视部的监视结果而检测出所述下车动作的情况下，所述动作控制部进行与所述下车动作对应的处理。

4.如权利要求3所述的监视系统，其中，

在基于所述监视部的监视结果而检测出所述下车动作并且所述车辆为停车状态的情况下，所述动作控制部进行与所述下车动作对应的处理。

5.如权利要求3所述的监视系统，其中，

所述监视系统还具备警报部，所述警报部被设置在所述室内并且对所述监视对象者进行警报，

在基于所述监视部的监视结果而检测出所述下车动作并且其他车辆正在靠近所述车辆的情况下，所述动作控制部进行使所述警报部警报所述其他车辆的靠近的所述处理。

6.如权利要求4所述的监视系统，其中，

所述监视系统还具备警报部，所述警报部被设置在所述室内并且对所述监视对象者进行警报，

在基于所述监视部的监视结果而检测出所述下车动作并且其他车辆正在靠近所述车辆的情况下，所述动作控制部进行使所述警报部警报所述其他车辆的靠近的所述处理。

7.如权利要求1或2所述的监视系统，其中，

所述监视系统还具备框体，所述框体被设置在所述车辆的顶棚的所述室内侧的表面并且被组装有所述拍摄部和所述监视部。

8.如权利要求3所述的监视系统，其中，

所述监视系统还具备框体，所述框体被设置在所述车辆的顶棚的所述室内侧的表面并且被组装有所述拍摄部和所述监视部。

9.如权利要求4所述的监视系统，其中，

所述监视系统还具备框体，所述框体被设置在所述车辆的顶棚的所述室内侧的表面并且被组装有所述拍摄部和所述监视部。

10.如权利要求5所述的监视系统，其中，

所述监视系统还具备框体，所述框体被设置在所述车辆的顶棚的所述室内侧的表面并且被组装有所述拍摄部和所述监视部。

11.如权利要求6所述的监视系统，其中，

所述监视系统还具备框体，所述框体被设置在所述车辆的顶棚的所述室内侧的表面并且被组装有所述拍摄部和所述监视部。

Images