CN110633615B - 乘车人数监视系统 - Google Patents

乘车人数监视系统 Download PDF

Info

Publication number
CN110633615B
CN110633615B CN201910531654.XA CN201910531654A CN110633615B CN 110633615 B CN110633615 B CN 110633615B CN 201910531654 A CN201910531654 A CN 201910531654A CN 110633615 B CN110633615 B CN 110633615B
Authority
CN
China
Prior art keywords
unit
upper body
coordinate
face
monitoring system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910531654.XA
Other languages
English (en)
Other versions
CN110633615A (zh
Inventor
胜又健一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Publication of CN110633615A publication Critical patent/CN110633615A/zh
Application granted granted Critical
Publication of CN110633615B publication Critical patent/CN110633615B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明的目的是提供一种能够提高对乘车人数进行计数的准确度的乘车人数监视系统。乘车人数监视系统(1)的特征在于，包括：拍摄部(3)，拍摄包含到车辆室内的搭乘者为止的距离在内的深度图像；面部识别部(83)，从由拍摄部(3)拍摄到的深度图像识别搭乘者的面部；上半身识别部(84)，从由拍摄部(3)拍摄到的深度图像识别搭乘者的上半身；以及计数部(85)，将由面部识别部(83)得到的面部的识别结果和由上半身识别部(84)得到的上半身的识别结果组合而对搭乘者的人数进行计数。

Description

乘车人数监视系统
技术领域
本发明涉及乘车人数监视系统。
背景技术
作为对搭乘车辆的人数进行监视的技术，例如已公开有一种自主行驶车辆，对用摄像机拍摄全体乘员而得到的图像进行面部识别，并根据面部识别到的人的数量来计数乘车人数。另外，在专利文献2中记载了一种监视装置，将图像分割成多个识别块，并判断该识别块中是否有人而对人数进行计数。
现有技术文献
专利文献
专利文献1：特开2015-200933号公报
专利文献2：特开2015-007953号公报
发明内容
发明欲解决的技术问题
然而，在对搭乘车辆的人数进行计数的现有的计数方法中，存在想要提高对乘车人数进行计数的准确度的需求。
本发明是鉴于上述情况而完成的，其目的在于提供一种能够提高对乘车人数进行计数的准确度的乘车人数监视系统。
用于解决问题的技术手段
为了达成上述目的，本发明涉及的乘车人数监视系统的特征在于，包括：拍摄部，其拍摄包含到车辆的室内的搭乘者为止的距离在内的深度图像；面部识别部，其从由所述拍摄部拍摄到的所述深度图像识别所述搭乘者的面部；上半身识别部，其从由所述拍摄部拍摄到的所述深度图像识别所述搭乘者的上半身；以及计数部，其将由所述面部识别部得到的所述面部的识别结果和由所述上半身识别部得到的所述上半身的识别结果组合而对所述搭乘者的人数进行计数。
另外，在上述乘车人数监视系统中，也可以是，所述计数部将由所述面部识别部识别出的所述面部在所述室内的三维的第1坐标和由所述上半身识别部识别出的所述上半身的头部在所述室内的三维的第2坐标组合而对所述人数进行计数。
另外，在上述乘车人数监视系统中，也可以是，在所述第1坐标与所述第2坐标的距离小于预先设定的阈值的情况下，所述计数部将由所述面部识别部识别出的所述面部和由所述上半身识别部识别出的所述上半身组合而计数为1人，在所述第1坐标与所述第2坐标的距离为所述阈值以上的情况下，所述计数部不将由所述面部识别部识别出的所述面部和由所述上半身识别部识别出的所述上半身组合，而是分别计数为1人。
另外，在上述乘车人数监视系统中，也可以是，在相对于所述第1坐标和所述第2坐标中的任一者存在多个所述距离小于所述阈值的另一者坐标的情况下，所述计数部将所述距离近的坐标彼此组合而计数为1人，并将其余坐标分别计数为1人。
另外，在上述乘车人数监视系统中，也可以是，所述乘车人数监视系统还具有动作控制部，所述动作控制部进行在由所述计数部计数出的所述人数超过预先设定的所述车辆的定员数的情况下进行警报的处理。
另外，在上述乘车人数监视系统中，也可以是，所述乘车人数监视系统还具有框体，所述框体被设置在所述车辆的顶棚的所述室内侧的面，所述拍摄部、所述面部识别部、所述上半身识别部和所述计数部中的至少一个组装在该框体内。
发明效果
本发明涉及的乘车人数监视系统将面部识别部从深度图像识别出的面部的第1坐标和上半身识别部从深度图像识别出的上半身的第2坐标组合，而对搭乘者的人数进行计数。其结果，乘车人数监视系统1只要能够在深度图像中识别面部和上半身中的至少一者，就能够对搭乘者的人数进行计数，因此能够实现能够提高对乘车人数进行计数的准确度这样的效果。
附图说明
图1是示出适用实施方式涉及的乘车人数监视系统的车辆的室内的概略结构的示意图。
图2是示出实施方式涉及的乘车人数监视系统的概略结构的框图。
图3是示出实施方式涉及的乘车人数监视系统的外观的立体图。
图4是示出实施方式涉及的乘车人数监视系统的拍摄例的图。
图5是示出实施方式涉及的乘车人数监视系统的计数动作的一个例子的图。
图6是示出实施方式涉及的乘车人数监视系统的处理部的控制的一个例子的流程图。
图7是示出实施方式涉及的乘车人数监视系统的面部识别处理的一个例子的流程图。
图8是示出实施方式涉及的乘车人数监视系统的上半身识别处理的一个例子的流程图。
图9是示出实施方式涉及的乘车人数监视系统的计数处理的一个例子的流程图。
符号说明
1 乘车人数监视系统
2 框体
3 拍摄部
4 输出部
5 照明部
6 操作部
7 外部连接部
8 控制部
81 存储部
81a 必要信息
81b 人数信息
82 处理部
83 面部识别部
84 上半身识别部
85 计数部
86 动作控制部
9 警报装置
100 车辆
101 室内
105 驾驶席
106 副驾驶席
107 后部座席
C1、C3 第1坐标
D1、D2、D3、D4 第2坐标
G 深度图像
G1 二维图像
G2 距离图像
OB 搭乘者
具体实施方式
以下，参照附图，对本发明涉及的实施方式进行说明。需要说明的是，本发明不限于本实施方式。另外，在下述实施方式的构成要素中包含本领域技术人员能够且容易置换的要素或者实质上相同的要素。
[实施方式]
参照图1至图5，对实施方式进行说明。图1是示出使用实施方式涉及的乘车人数监视系统的车辆室内的概略结构的示意图。图2是示出实施方式涉及的乘车人数监视系统的概略结构的框图。图3是示出实施方式涉及的乘车人数监视系统的外观的立体图。图4是示出实施方式涉及的乘车人数监视系统的拍摄例的图。需要说明的是，图1中示出的箭头X方向作为车辆100的车宽方向。图1中示出的箭头Y方向作为车辆100的长度方向(前后方向)。图1中示出的箭头Z方向作为车辆100的高度方向。
图1示出的本实施方式涉及的乘车人数监视系统1被搭载于车辆100，是监视该车辆100的室内101的搭乘者OB，并进行针对搭乘者OB的各种各样的处理的车载系统(车室内监视系统)。搭乘者OB是利用乘车人数监视系统1进行监视的对象。搭乘者OB是在车辆100的室内101乘车的搭乘者，包括车辆100的驾驶员、驾驶员以外的同乘者。
在图1示出的一个例子中，车辆100具有：驾驶席105和后部座席107。需要说明的是，在本实施方式中，虽然对车辆100是汽车的情况进行说明，但是例如也可以是公交车、电车等。而且，本实施方式的乘车人数监视系统1整体设置在车辆100的顶棚102的室内101侧的面，并且构成集成了各种功能的顶置模块(OHM：Over-Head Module)。
以下，参照图1、图2、图3、图4，对乘车人数监视系统1的结构进行详细说明。
乘车人数监视系统1具有：框体2、拍摄部3、输出部4、照明部5、操作部6、外部连接部7和控制部8。需要说明的是，除此之外，构成顶置模块的乘车人数监视系统1例如也可以具有无线通信部、天线、电源分配部等。
框体2是收容构成乘车人数监视系统1的各部的部件。框体2由多个部件组合而成，整体上形成为中空箱状。框体2由具有绝缘性的合成树脂形成。此处，框体2在内部组装有拍摄部3、输出部4、照明部5、操作部6、外部连接部7以及控制部8，将它们收容并作为顶置模块而单元化。框体2使在内部收容的拍摄部3、输出部4、照明部5、操作部6、外部连接部7的一部分在外表面露出。而且，本实施方式的框体2设置在车辆100的顶棚(车顶板)102的室内101侧的面。顶棚102是经由支柱等而与车辆车身主体连结并且被支承在该车辆车身主体的铅垂方向上侧的结构体。车辆100以顶棚102为铅垂方向上侧的边界而划分为室内101和室外的区域。此处，框体2例如设置在顶棚102与挡风玻璃103交叉部分且车辆100的车宽方向的大致中央位置。
拍摄部3包括对到车辆100的室内101的搭乘者OB为止的距离进行测量的三维的TOF(Time of Flight(飞行时间))摄像机、距离图像传感器等。拍摄部3对包含将距搭乘者OB的距离与像素值之间建立了关联的像素的深度图像进行拍摄。本实施方式的拍摄部3具有对能够测量室内101的搭乘者OB的面部和上半身的三维位置的深度图像进行拍摄的功能。在本实施方式中，拍摄部3通过使用TOF摄像机，从而即使在暗的环境下也能够对搭乘者OB进行拍摄。
拍摄部3例如以镜头露出在框体2的外表面且光轴朝向室内101的驾驶席105、后部座席107侧的方式设置在该框体2。拍摄部3与控制部8电连接，能够互相授受电信号，并且通过该控制部8来控制各部的动作。例如，拍摄部3将拍摄到的深度图像向控制部8输出。需要说明的是，在本实施方式中，虽然针对拍摄部3被设置在框体2的情况进行说明，但是例如也可以是分开地设置在车辆100的前列和后列的结构。
例如，图4示出的深度图像G是利用拍摄部3对包含坐在驾驶席105上且朝向前方的搭乘者OB1和坐在副驾驶席106上且朝向下方的搭乘者OB2在内的室内101进行拍摄而得到的图像。这种情况下，深度图像G包含二维图像G1和作为三维信息的距离图像G2。二维图像G1是示出搭乘者OB1和搭乘者OB2以及作为其背景的室内101的图像。二维图像G1被用于搭乘者OB1和搭乘者OB2的面部识别。距离图像G2是示出到室内101的物体为止的进深、高度、宽、形状的图像。距离图像G2被用于搭乘者OB1和搭乘者OB2的上半身识别。需要说明的是，在图4示出的一个例子中，距离图像G2仅示出与搭乘者OB1和搭乘者OB2对应的部分，省略了与背景对应的部分。
输出部4朝向车辆100的室内101输出各种信息。此处，输出部4被构成为包含显示部41和扬声器42。显示部41是输出视觉信息(图形信息、文字信息)的显示装置。显示部41例如由薄型的液晶显示器、等离子体显示器、有机EL显示器等构成。扬声器42是输出听觉信息(语音信息、声音信息)的输出装置。构成输出部4的显示部41、扬声器42分别与控制部8电连接，并能够互相授受电信号，通过该控制部8来控制各部的动作。
照明部5对车辆100的室内101进行照明，例如是地图灯等。照明部5与控制部8电连接，并能够互相授受电信号，通过该控制部8来控制各部的动作。
操作部6是能够从车辆100的室内101侧输入各种操作的操作设备。操作部6例如由按钮、电容式触摸开关、红外线传感器等非接触式传感器等构成。操作部6与控制部8电连接，并能够互相授受电信号，通过该控制部8来控制各部的动作。
外部连接部7是与框体2外部的电气设备电连接的部分。外部连接部7由各种形式的连接器、接口部构成。外部连接部7电连接有警报装置9。警报装置9能够向搭乘者OB发出超过定员数的警告。
外部连接部7用于电连接对车辆100的各部统一地进行控制的ECU(ElectronicControl Unit)、在车辆100的顶棚102的室内101侧的面的后部座席侧的位置设置的后模块等。外部连接部7与控制部8以及框体2外部的电气设备电连接，并且能够互相授受电信号。
在图2示出的一个例子中，外部连接部7例如电连接有仪表单元201、高级驾驶辅助系统(ADAS：Advanced Driver Assistance System)ECU 202。仪表单元201被设置在车辆100的驾驶席105的前方，该车辆100的驾驶员、搭乘者等能够目视。仪表单元201例如使用车辆100的组合仪表、平视显示器、电视机等。
高级驾驶辅助系统ECU 202输出与车辆100的周边状况相关的周边状况信息。周边状况信息例如也可以包含：拍摄了车辆100的周边环境、车辆100周边的人物、其他车辆、障碍物等外部物体而得到的周边图像信息、表示有无外部物体、与该外部物体的相对距离、相对速度、TTC(Time-To-Collision：碰撞时间)等的外部物体信息等。
控制部8是对乘车人数监视系统1的各部统一地进行控制的部分。控制部8执行与搭乘者OB的状态监视、各种各样的辅助相关的各种运算处理。控制部8被构成为包含以周知的微型计算机为主体的電子回路，该微型计算机包含：CPU(Central Processing Unit，中央处理器)、MPU(Micro Processing Unit，微处理单元)、ASIC(Application SpecificIntegrated Circuit，专用集成电路)、FPGA(Field Programmable Gate Array，现场可编程门阵列)等中央运算处理装置、ROM(Read Only Memory，只读存储器)、RAM(RandomAccess Memory，随机存取存储器)以及接口。控制部8与拍摄部3、输出部4、照明部5、操作部6以及外部连接部7电连接。控制部8能够将与由拍摄部3拍摄到的深度图像对应后的图像信号、用于驱动各部的驱动信号等各种电信号在其与各部之间互相授受。
具体而言，在功能概念上，控制部8被构成为包括：存储部81以及处理部82。存储部81以及处理部82能够在它们和与其电连接的各种设备之间授受各种信息。存储部81是存储器等存储装置。存储部81存储有控制部8中的各种处理所必须的条件、信息、由控制部8执行的各种程序等。而且，存储部81也存储有在显示部41中显示的一部分图像等视觉信息、由扬声器42输出的语音等听觉信息。另外，存储部81也可以暂时地存储与拍摄部3拍摄到的深度图像相关的信息、经由外部连接部7而获取到的各种信息。存储部81利用处理部82，根据需要而读取各种信息。处理部82根据各种输入信号等，来执行存储在存储部81中的各种程序，并且通过该程序的运行来执行用于向各部输出输出信号并实现各种功能的各种处理。
在图2示出的一个例子中，存储部81能够存储必要信息81a和人数信息81b。必要信息81a包括在搭乘者OB的面部和上半身的识别、人数的计数等中所必要的条件、信息。例如，必要信息81a包括在搭乘者OB的面部和上半身的识别中使用的学习词典、表示车辆100的定员数等的信息。需要说明的是，对于学习词典的一个例子，将后述。人数信息81b包括表示对室内101的搭乘者OB的人数进行计数而得到的结果的信息。
更详细而言，处理部82在功能概念上构成为包含：面部识别部83、上半身识别部84、计数部85以及动作控制部86。处理部82通过执行程序，从而实现面部识别部83、上半身识别部84、计数部85以及动作控制部86。
面部识别部83从由拍摄部3拍摄到的深度图像G对搭乘者OB的面部进行识别。面部识别部83例如使用各种公知的人工智能(Artificial Intelligence)技术、深度学习(DeepLearning)技术，根据对深度图像G的二维图像G1进行扫描而得到的像素值，对搭乘者OB的面部进行识别。例如，面部识别部83对在存储部81的必要信息81a中存储的学习词典等与由拍摄部3拍摄到的深度图像G的二维图像G1进行对照，对搭乘者OB的面部进行识别。需要说明的是，学习词典是利用使用了人工智能技术、深层学习技术的各种各样的手法而将面部的特征量等进行数据库化而得到的信息。学习词典例如也可以经由外部连接部7而从其他电子设备获取。另外，面部识别部83例如也可以利用背景差分法、随机森林(RandomForest)法、均值漂移(Mean Shift)法、模式匹配法等根据深度图像G的像素值来对搭乘者OB的面部进行识别。例如，面部识别部83也可以对由拍摄部3拍摄到的深度图像G的二维图像G1与事先拍摄到的室内101的室内图像的像素值的信息进行比较，并将与室内图像不同的像素值的像素部分作为搭乘者OB的人体部分进行提取，且从该人体部分识别面部的部分。面部识别部83识别在室内101中朝向车辆100前方的搭乘者OB的面部。而且，面部识别部83对识别出的搭乘者OB的面部的特定点进行检测，算出该特定点的室内101中的三维的第1坐标。特定点例如包括面部的中心、眼、鼻、口等点。面部识别部83将已算出的第1坐标与深度图像建立关联并存储在存储部81。
例如，面部识别部83在从图4中示出的深度图像G的二维图像G1识别搭乘者OB的面部的情况下，能够识别朝向前方的搭乘者OB1的面部，但无法识别朝向下方的搭乘者OB2的面部。其结果，面部识别部83算出能够识别的搭乘者OB1的面部的中心即第1坐标C1。
上半身识别部84从由拍摄部3拍摄到的深度图像G识别搭乘者OB的上半身。上半身识别部84例如使用各种公知的人工智能技术、深层学习技术，根据对深度图像G的距离图像G2进行扫描而得到的像素所示出的距离的信息，识别搭乘者OB的上半身。例如，上半身识别部84将在存储部81的必要信息81a中存储的学习词典等与由拍摄部3拍摄到的深度图像G的距离图像G2进行对照，识别搭乘者OB的上半身。需要说明的是，学习词典是利用使用了人工智能技术、深层学习技术的各种各样的手法将上半身的特征量等进行数据库化而得到的信息。另外，上半身识别部84也可以将由拍摄部3拍摄到的深度图像G的距离图像G2与事先拍摄到的室内101的室内距离图像的像素所示的距离的信息进行比较，并且将与室内图像不同距离的像素部提取为搭乘者OB的人体部分，从该人体部分识别上半身。而且，上半身识别部84对识别出的搭乘者OB的上半身进行识别时，算出该上半身的头部在室内101中的三维的第2坐标。上半身识别部84将已算出的第2坐标与深度图像建立关联并存储在存储部81。
例如，上半身识别部84在从图4示出的深度图像G的距离图像G2识别搭乘者OB的上半身的情况下，能够识别朝向前方的搭乘者OB1的上半身以及朝向下方的搭乘者OB2的上半身双方。其结果，上半身识别部84算出能够识别的搭乘者OB1、OB2各自的上半身的头部的中心即第2坐标D1、D2。
计数部85将由面部识别部83得到的搭乘者OB的面部的识别结果与由上半身识别部84得到的搭乘者OB的上半身的识别结果组合而对搭乘者OB的人数进行计数。换言之，计数部85将由面部识别部83识别出的搭乘者OB的面部与由上半身识别部84识别出的搭乘者OB的上半身组合而对搭乘者OB的人数进行计数。在本实施方式中，计数部85对由面部识别部83识别出的面部的室内101中的三维的第1坐标与由上半身识别部84识别出的上半身的室内101中的三维的第2坐标进行组合而对搭乘者OB的人数进行计数。计数部85将计数得到的搭乘者OB的人数存储在人数信息81b中。计数部85具有根据第1坐标与第2坐标的组合结果而对人数进行计数的功能。计数部85在第1坐标与第2坐标的距离比预先确定的必要信息81b的判定阈值小的情况下，将由面部识别部83识别出的面部与由上半身识别部84识别出的上半身组合而计数为1人。换言之，计数部85在第1坐标与第2坐标的距离小于必要信息81b的判定阈值的情况下，将第1坐标与第2坐标的1个组合计数为1人。即，计数部85判定为距离小于必要信息81b的判定阈值的第1坐标和第2坐标是同一搭乘者OB的三维坐标，并将第1坐标与第2坐标组合，从而避免三维坐标重复。另外，计数部85在第1坐标与第2坐标的距离为必要信息81b的判定阈值以上的情况下，不对由面部识别部83识别出的面部和由上半身识别部84识别出的上半身进行组合，而是分别计数为1人。换言之，计数部85在第1坐标与第2坐标的距离为必要信息81b的判定阈值以上的情况下，不对第1坐标和第2坐标进行组合，而是对第1坐标和第2坐标分别的数量进行计数。需要说明的是，必要信息81b的判定阈值是用于判定第1坐标和第2坐标是否为同一搭乘者OB的阈值。例如，在第1坐标是表示面部的中心的三维坐标、第2坐标是表示头部的中心的三维坐标的情况下，必要信息81b的判定阈值一般是针对面部的中心位置和头部的中心位置对距离进行学习而确定的阈值。另外，计数部85具有以下功能，即：在相对于第1坐标和第2坐标中的任一者而存在多个距离比判定阈值小的另一者的情况下，将距离近者彼此组合而计数为1人，并将其余分别计数为1人。
在图4示出的一个例子中，计数部85根据由二维图像G1算出的搭乘者OB1的第1坐标C1与距离图像G2的搭乘者OB1的第2坐标D1和搭乘者OB2的第2坐标D2的组合，对人数进行计数。这种情况下，由于在室内101中第1坐标C1与第2坐标D1的距离比判定阈值小，因此计数部85将第1坐标C1与第2坐标D1组合，并将该组合计数为1人。而且，由于在室内101中在第2坐标D2的周围不存在第1坐标，因此计数部85将第2坐标D2计数为1人。即，计数部85由于第1坐标C1与第2坐标D1的组合为1个、第2坐标D2为1个，因此将室内101的搭乘者的人数计数为2人。这样，计数部85避免了由于搭乘者OB1的第1坐标C1与第2坐标D1重复而造成重复的三维坐标的计数。
动作控制部86是能够执行动作控制处理的部分。动作控制处理是指对拍摄部3、输出部4、照明部5以及操作部6等乘车人数监视系统1的各部的动作进行控制的处理。动作控制部86与拍摄部3、输出部4(显示部41、扬声器42)、照明部5、操作部6、外部连接部7、存储部81电连接。动作控制部86能够通过向拍摄部3输出驱动信号，来控制拍摄部3的动作，开始拍摄包含搭乘者OB在内的深度图像G、或者结束该拍摄。另外，动作控制部86能够通过向输出部4(显示部41、扬声器42)输出驱动信号，来控制输出部4的动作，使显示部41显示视觉信息、或者使扬声器42输出听觉信息。另外，动作控制部86能够通过向照明部5输出驱动信号，来控制照明部5的动作，点亮照明部5、或者熄灭照明部5。进一步地，动作控制部86能够根据从操作部6输入的操作信号，来接受对操作部6的操作输入，而切换照明部5的点亮、熄灭、或者切换显示部41的显示内容、或者进行各种设定。动作控制部86经由外部连接部7而向仪表单元201输出显示要求，从而能够使仪表单元201显示信息。动作控制部86能够经由外部连接部7而向高级驾驶辅助系统ECU 202输出辅助要求信号，并获取上述的车辆信息、周边状况信息等。动作控制部86经由外部连接部7而向警报装置9输出驱动信号，从而能够控制警报装置9的动作。
而且，动作控制部86在由计数部85计数得到的人数超过车辆100的定员数的情况下，进行警报处理。动作控制部86通过执行该警报处理，从而能够向输出部4输出表示超过定员数的警报信息、或者经由外部连接部7而向警报装置9进行超过定员数的警报。
接下来，参照图5，说明利用乘车人数监视系统1对乘车人数进行计数的动作的一个例子。图5是示出实施方式涉及的乘车人数监视系统1的计数动作的一个例子的图。
在图5示出的步骤S1中，在车辆100的室内101，乘坐有搭乘者OB1、OB2、OB3、OB4。具体而言，搭乘者OB1坐在车辆100的驾驶席105，并将面部朝向车辆100的行进方向M。搭乘者OB2坐在车辆100的副驾驶席106，面部朝向与行进方向M不同的方向。搭乘者OB3坐在车辆100的后部座席107，将面部朝向行进方向M。搭乘者OB4是搭乘者OB3的孩子，以被搭乘者OB3抱着的状态位于车辆100的后部座席107，将面部朝向与行进方向M相反的方向。
在步骤S1中，乘车人数监视系统1的拍摄部3拍摄包括搭乘者OB1、OB2、OB3、OB4在内的室内101的深度图像G。拍摄部3将拍摄到的深度图像G存储在存储部81中。
在步骤S2中，乘车人数监视系统1的面部识别部83从由拍摄部3拍摄到的深度图像G的二维图像G1，识别驾驶席105的搭乘者OB1的面部和后部座席107的搭乘者OB3的面部。即，面部识别部83无法从该深度图像G的二维图像G1识别副驾驶席106的搭乘者OB2的面部和后部座席107的搭乘者OB4的面部。其结果，面部识别部83算出驾驶席105附近的第1坐标C1和后部座席107附近的第1坐标C3。
另外，在步骤S2中，乘车人数监视系统1的上半身识别部84从由拍摄部3拍摄到的深度图像G的距离图像G2识别驾驶席105的搭乘者OB1的上半身、副驾驶席106的搭乘者OB2的上半身、后部座席107的搭乘者OB3的上半身、后部座席107的搭乘者OB4的上半身。其结果，上半身识别部84算出驾驶席105附近的第2坐标D1、副驾驶席106附近的第2坐标D2、后部座席107附近的2个坐标即第2坐标D3、D4。
在步骤S2中，乘车人数监视系统1的计数部85对由面部识别部83算出的第1坐标C1、C3与由上半身识别部84算出的第2坐标D1、D2、D3、D4的组合进行判别。例如，计数部85求出第1坐标C1、C3与第2坐标D1、D2、D3、D4的距离小于判定阈值的组合。其结果，驾驶席105中，计数部85判别为第1坐标C1与第2坐标D1为1对1的组合。在副驾驶席106中，计数部85判断为不存在与第2坐标D1成组的第1坐标。在后部座席107中，计数部85判断为第1坐标C3与第2坐标D3、D4为1对2的组合。需要说明的是，在图5示出的一个例子中，第1坐标C3与第2坐标D3的距离L1小于第1坐标C3与第2坐标D4的距离L2。
在步骤S3中，计数部85根据组合结果，将驾驶席105中的第2坐标D1、后部座席107中的第1坐标C3分别无效。其结果，计数部85将驾驶席105中的第1坐标C1、副驾驶席106中的第2坐标D2、后部座席107中的第2坐标D3、D4分别标准化。而且，计数部85对标准化后的4个坐标即第1坐标C1、第2坐标D2、第2坐标D3、第2坐标D4的数量进行计数，将室内101的搭乘者OB1、OB2、OB3、OB4的人数计数为4人。计数部85将计数而得到的人数存储在人数信息81b中。即，计数部85由于存在与第1坐标C3的距离小于判定阈值的第2坐标D3、D4，因此将该距离近的第1坐标C3与第2坐标D3组合而计数为1人，并将其余的第2坐标D4计数为1人。
另外，例如，当在就坐的搭乘者OB的前方放有高度从该搭乘者OB的脚下到胸前的行李的情况，乘车人数监视系统1即使从由拍摄部3拍摄到的深度图像G的二维图像G1识别出搭乘者OB的面部，也有可能由于该行李的影响而无法从距离图像G2识别搭乘者OB的上半身。这种情况下，由于乘车人数监视系统1能够从深度图像G的二维图像G1识别搭乘者OB的面部，因此能够将无法从距离图像G2识别上半身的搭乘者OB也计数为室内101的人数。
以上说明的乘车人数监视系统1将面部识别部83从深度图像G识别出的搭乘者OB的面部与上半身识别部84从深度图像G识别出的搭乘者OB的上半身组合而对搭乘者OB的人数进行计数。例如，在搭乘者OB以朝向下方的状态睡着的情况下，有可能长时间无法识别搭乘者OB的面部。这种情况下，乘车人数监视系统1可以根据搭乘者OB的上半身对睡着的搭乘者OB进行计数。其结果，乘车人数监视系统1只要能够从深度图像G识别出面部和上半身中的至少一者，就能够对搭乘者OB的人数进行计数，因此能够提高对乘车人数进行计数的准确度。
乘车人数监视系统1中，计数部85将由面部识别部83识别出的面部的三维的第1坐标与由上半身识别部84识别出的上半身的头部的三维的第2坐标组合而对搭乘者OB的人数进行计数。其结果，乘车人数监视系统1由于对搭乘者OB的面部和头部之类接近的人体的部位的三维坐标的组合进行确认，因此能够提高组合的判定准确度。
乘车人数监视系统1在第1坐标与第2坐标的距离小于预先设定的必要信息81a的判定阈值的情况下，计数部85将由面部识别部83识别出的面部与由上半身识别部84识别出的上半身组合而计数为1人，在第1坐标与第2坐标的距离为判定阈值以上的情况下，计数部85不对由面部识别部83识别出的面部和由上半身识别部84识别出的上半身进行组合而是分别计数为1人。其结果，乘车人数监视系统1能够防止将分开的位置上的第1坐标和第2坐标组合，并且能够将接近的多个搭乘者OB的三维坐标用于计数，因此能够进一步提高对乘车人数进行计数的准确度。
乘车人数监视系统1中，计数部85在相对于第1坐标和第2坐标中的任一方存在多个距离小于必要信息81a的判定阈值的另一方坐标的情况下，将第1坐标与第2坐标的距离近者彼此组合而计数为1人，其余分别计数为1人。其结果，即使多个搭乘者OB的面部、头部等接近，乘车人数监视系统1也能够算出该多个搭乘者OB的人数，因此能够进一步提高对乘车人数进行计数的准确度。
乘车人数监视系统1中，由于包括拍摄部3、控制部8在内的各部被设置在框体2，因此能够将该乘车人数监视系统1整体单元化为顶置模块。利用该结构，乘车人数监视系统1能够提高相对于车辆100的搭载性。
接着，参照图6的流程图，对控制部8的处理部82的控制的一个例子进行说明。图6是示出实施方式涉及的乘车人数监视系统1的处理部82的控制的一个例子的流程图。图6示出的流程图表示与车辆100的乘车人数的监视相关的处理步骤的一个例子。图6中示出的处理步骤是通过处理部82执行程序来实现的。图6示出的处理步骤通过处理部82而被重复执行。
首先，乘车人数监视系统1的控制部8的处理部82获取由拍摄部3拍摄到的深度图像G(步骤S101)。然后，处理部82执行面部识别处理(步骤S102)。面部识别处理例如是从在步骤S1中获取到的深度图像G的二维图像G1识别搭乘者OB的面部，并算出已识别的面部的三维坐标的处理。需要说明的是，面部识别处理的详细情况将后述。处理部82通过执行步骤S102的处理来作为上述的面部识别部83而发挥作用。而且，面部识别处理结束后，处理部82使处理进入步骤S103。
处理部82执行上半身识别处理(步骤S103)。上半身识别处理例如是从步骤S1中获取到的深度图像G的距离图像G2识别搭乘者OB的上半身，并且算出已识别的上半身的头部的三维坐标的处理。需要说明的是，上半身识别处理的详细情况将后述。处理部82通过执行步骤S103的处理从而作为上述的上半身识别部84而发挥作用。而且，上半身识别处理结束后，处理部82使处理进入步骤S104。
处理部82执行乘车人数的计数处理(步骤S104)。计数处理例如是将步骤S2中算出的第1坐标和步骤S3中算出的第2坐标组合而对乘车人数进行计数的处理。需要说明的是，计数处理的详细情况将后述。处理部82通过执行步骤S104的处理，来作为上述的计数部85而发挥作用。而且，计数处理结束后，处理部82使处理进入步骤S105。
处理部82判定乘车人数是否超过车辆100的定员数(步骤S105)。例如，处理部82在步骤S104中计数出的人数超过必要信息81a所示的车辆100的定员数的情况下，判定为乘车人数超过车辆100的定员数。处理部82在判定为乘车人数超过车辆100的定员数的情况下(步骤S105中，是)，使处理进入步骤S106。
处理部82进行乘车人数超过定员数的警报(步骤S106)。例如，处理部82向输出部4输出表示超过定员数的警报信息。其结果，输出部4向搭乘者OB输出警报信息，从而进行超过定员数的警报。需要说明的是，处理部82也可以经由外部连接部7而向警报装置9、仪表单元201等要求利用警报信息进行的警报。其结果，警报装置9、仪表单元201等能够根据警报信息来进行超过定员数的警报。处理部82通过执行步骤S106的处理，从而作为上述的动作控制部86而发挥作用。处理部82进行警报后，使图6所示的处理步骤结束。
处理部82在判定为乘车人数超过车辆100的定员数的情况下(步骤S105中，否)，使处理进入步骤S107。处理部82输出人数(步骤S107)。例如，处理部82向输出部4输出表示在步骤S104中计数出的人数的信息。其结果，输出部4能够向搭乘者OB输出人数。需要说明的是，处理部82也可以经由外部连接部7而向仪表单元201输出表示人数的信息。处理部82输出人数后，使图6所示的处理步骤结束。
虽然对图6所示的处理步骤以如果乘车人数超过车辆100的定员数则在步骤S107中输出人数的情况进行说明，但不限于此。例如，图6所示的处理步骤也可以删除步骤S107的处理，修改成在乘车人数超过车辆100的定员数时不进行处理的处理步骤。
以上说明的乘车人数监视系统1中，动作控制部86进行在由计数部85计数得到的人数超过车辆100的定员数的情况下进行警报处理。其结果，乘车人数监视系统1由于提高了计数的准确度，因此通过进行表示该人数已超过车辆100定员数的警报，从而能够提高警报的准确度。特别是，即使是多个搭乘者OB的面部靠近的状态，乘车人数监视系统1由于能够正确地对人数进行计数，因此也能够提高超过定员数的警报准确度。
接下来，参照图7的流程图，来说明控制部8的处理部82进行的面部识别处理的一个例子。图7是表示实施方式涉及的乘车人数监视系统1的面部识别处理的一个例子的流程图。图7所示的处理步骤是通过处理部82执行程序而实现的。图7所示的处理步骤是通过处理部82执行图6所示的步骤S102来启动。
首先，乘车人数监视系统1的控制部8的处理部82从深度图像G的二维图像G1识别搭乘者OB的面部(步骤S201)。例如，处理部82将扫描深度图像G的二维图像G1而得到的结果和学习词典的面部的特征量进行对照，从二维图像G1识别搭乘者OB的面部。处理部82如果将面部的识别结果存储在存储部81，则使处理进入步骤S202。
处理部82根据步骤S201的识别结果，判定是否识别出了面部(步骤S202)。处理部82在判定为未识别出面部的情况下(步骤S202中，否)，使图7所示的处理步骤结束，并重回图6所示的处理步骤。处理部82在判定为识别出了面部的情况下(步骤S202中，是)，使处理进行步骤S203。
处理部82算出表示面部中心的二维坐标(步骤S203)。例如，处理部82算出表示已识别出面部的二维图像G1中的面部中心的二维坐标(x,y)。而且，处理部82将已算出的二维坐标(x,y)转换为三维的第1坐标(步骤S204)。例如，处理部82将表示面部中心的二维坐标(x,y)投影到距离图像G2上，即，将与面部中心对应的在距离图像G2中的三维坐标(x,y,z)作为第1坐标而求出。另外，处理部82也可以计算以表示面部中心的三维坐标(x,y,z)为中心而预先确定的半径的球范围的修剪平均值，而求出第1坐标。而且，处理部82将转换后的第1坐标储存在存储部81(步骤S205)。然后，处理部82使图7所示的处理步骤结束，重回图6所示的处理步骤。
需要说明的是，对于图7所示的处理步骤，虽然以在从深度图像G的二维图像G1识别了多个面部的情况下、步骤S203至步骤S205对多个面部的全部进行各自的处理为前提，但是不限于此。例如，图7所示的处理步骤也可以设定为以下的处理步骤：使步骤S203至步骤S205这一系列处理以所识别出的面部的数进行重复。
接下来，参照图8的流程图，对利用控制部8的处理部82进行的上半身识别处理的一个例子进行说明。图8是表示实施方式涉及的乘车人数监视系统1的上半身识别处理的一个例子的流程图。图8示出的处理步骤是通过处理部82执行程序来实现的。图8所示的处理步骤是通过处理部82执行图6所示的步骤S103来启动。
首先，乘车人数监视系统1的控制部8的处理部82从深度图像G的距离图像G2识别搭乘者OB的上半身(步骤S301)。例如，处理部82将扫描了深度图像G的距离图像G2而得到的结果和学习词典的上半身的特征量进行对照，从距离图像G2识别搭乘者OB的上半身。处理部82将上半身的识别结果存储在存储部81后，使处理进入步骤S302。
处理部82根据步骤S301的识别结果来判定是否识别出了上半身(步骤S302)。处理部82在判定为未识别出上半身的情况下(步骤S302中，否)，使图8所示的处理步骤结束，重回图6所示的处理步骤。处理部82在判定为已识别出上半身的情况下(步骤S302中，是)，使处理进入步骤S303。
处理部82推定上半身的头部(步骤S303)。例如，处理部82将在距离图像G2中识别出的上半身和学习词典的头部的特征量进行对照，推定上半身的头部。而且，处理部82算出表示已推定的头部中心的三维的第2坐标(步骤S304)。例如，处理部82算出表示在已识别出上半身的距离图像G2中的上半身的头部中心的三维坐标(x,y,z)。需要说明的是，处理部82也可以算出距离图像G2中的头部区域的修剪平均值，而算出第2坐标。而且，处理部82将已算出的第2坐标存储在存储部81中(步骤S305)。然后，处理部82使图8所示的处理步骤结束，重回图6示出的处理步骤。
需要说明的是，图8所示的处理步骤以在从深度图像的距离图像G2识别了多个上半身的情况下、步骤S303至步骤S305对多个上半身的全部进行各自的处理为前提，但不限于此。例如，图8所示的处理步骤也可以设定为以下的处理步骤：将步骤S303至步骤S305的一系列处理以所识别出的上半身的数进行重复。
接下来，参照图9的流程图，对利用控制部8的处理部82进行的计数处理的一个例子进行说明。图9是表示实施方式涉及的乘车人数监视系统1的计数处理的一个例子的流程图。图9所示的处理步骤是通过处理部82执行程序来实现。图9所示的处理步骤是通过处理部82执行图6所示的步骤S104来启动。
首先，乘车人数监视系统1的控制部8的处理部82对第1坐标和第2坐标进行统一(步骤S401)。例如，处理部82将由面部识别处理算出的第1坐标和由上半身识别处理算出的第2坐标绘制在室内101的三维空间。而且，处理部82对第1坐标与第2坐标的距离小于判定阈值的组合进行检测(步骤S402)。例如，在图5示出的一个例子的情况下，处理部82将检测到第1坐标C1与第2坐标D1的1对1组合、第1坐标C3与第2坐标D3、D4的1对2组合这2个。
处理部82根据步骤S402的检测结果，判定是否已对组合进行检测(步骤S403)。处理部82在判定为未对组合进行检测的情况下(步骤S403中，否)，使处理进入后述的步骤S409。处理部82在判定为已对组合进行检测的情况下(步骤S403中，是)，使处理进入步骤S404。
处理部82根据步骤S402的检测结果，判定是否存在1对1的组合模式(步骤S404)。处理部82在判定为不存在1对1的组合模式的情况下(步骤S404中，否)，使处理进入后述的步骤S406。处理部82在判定为存在1对1的组合模式的情况下(步骤S404中，是)，使处理进入步骤S405。
处理部82将第1坐标与第2坐标的1对1组合建立关联(步骤S405)。例如，在图5所示的一个例子的情况下，处理部82将第1坐标C1与第2坐标D1建立关联。需要说明的是，处理部82在存在多个第1坐标与第2坐标的1对1组合的情况下，对所有组合进行关联处理。处理部82在结束步骤S405的处理后，使处理进入步骤S406。
处理部82根据步骤S402的检测结果，判定是否存在与1对1不同的组合模式(步骤S406)。处理部82在判定为不存在与1对1不同的组合模式的情况下(步骤S406中，否)，使处理进入后述的步骤S408。处理部82在判定为存在与1对1不同的组合模式的情况下(步骤S406中，是)，使处理进入步骤S407。
处理部82从多个组合模式中，对距离最小的第1坐标与第2坐标的组合进行关联(步骤S407)。例如，在图5所示的一个例子的情况下，多个组合模式包括：第1坐标C3与第2坐标D3的组合模式、第1坐标C3与第2坐标D4的组合模式。这种情况下，处理部82求出第1坐标C3与第2坐标D3的距离L1、第1坐标C3与第2坐标D4的距离L2。而且，由于距离L1小于距离L2，所以处理部82将第1坐标C3与第2坐标D3建立关联。即，处理部82未将第1坐标C3与第2坐标D4建立关联。处理部82在结束步骤S407的处理后，使处理进入步骤S408。
处理部82对已建立关联的第1坐标与第2坐标中的一者进行标准化(步骤S408)。例如，处理部82根据指定第1坐标和第2坐标中的进行删除的三维坐标的信息等，将已关联的第1坐标和第2坐标中的一者标准化，并将另一者删除。而且，处理部82将标准化后的三维坐标存储在存储部81后，使处理进入步骤S409。
处理部82对未建立关联的第1坐标和第2坐标进行标准化(步骤S409)。即，处理部82在从深度图像G对搭乘者OB仅算出第1坐标或第2坐标中的一者的情况下，对该已算出的三维坐标进行标准化。而且，处理部82将标准化后的三维坐标存储在存储部81中后，使处理进入步骤S410。需要说明的是，处理部82在未建立关联的第1坐标和第2坐标未存储在存储部81的情况下，不进行步骤S409的处理，而是使处理进入步骤S410。
处理部82将标准化后的三维坐标的数量作为人数进行计数(步骤S410)。例如，处理部82在标准化后的三维坐标的数量为4个的情况下，将人数计数为4人。而且，处理部82将已计数的人数存储在人数信息81b后，使图9示出的处理步骤结束，重回图6所示的处理步骤。
在以上的说明中，对乘车人数监视系统1根据计数出的乘员人数来监视超过定员数的情况进行了说明，但是不限于此。例如，乘车人数监视系统1也可以将计数出的乘员人数作为车辆100的乘车记录而存储在存储部81、或者经由外部连接部7而向监视车辆100的外部装置输出。
在以上的说明中，说明了乘车人数监视系统1整体设置在车辆100的顶棚102的室内101侧的面且构成顶置模块的情况，但是不限于此。乘车人数监视系统1例如也可以是将控制部8设置在框体2的外部并且经由布线材料而与各部电连接的结构，例如也可以构成为，控制部8由对车辆100的各部进行统一控制的车辆ECU兼任。另外，乘车人数监视系统1例如也可以通过组装在车辆100中搭载的行车记录仪、仪表单元、导航装置、汽车音响装置等其他车载设备中来实现。

Claims (5)

1.一种乘车人数监视系统，其特征在于，包括：
拍摄部，其拍摄包含到车辆的室内的搭乘者为止的距离在内的深度图像；
面部识别部，其从由所述拍摄部拍摄到的所述深度图像识别所述搭乘者的面部；
上半身识别部，其从由所述拍摄部拍摄到的所述深度图像识别所述搭乘者的上半身；以及
计数部，其将由所述面部识别部得到的所述面部的识别结果和由所述上半身识别部得到的所述上半身的识别结果组合而对所述搭乘者的人数进行计数，其中，
所述计数部将由所述面部识别部识别出的所述面部在所述室内的三维的第1坐标和由所述上半身识别部识别出的所述上半身的头部在所述室内的三维的第2坐标组合而对所述人数进行计数，并且其中，
在所述第1坐标与所述第2坐标的距离小于预先设定的阈值的情况下，所述计数部将由所述面部识别部识别出的所述面部和由所述上半身识别部识别出的所述上半身组合而计数为1人，
在所述第1坐标与所述第2坐标的距离为所述阈值以上的情况下，所述计数部不将由所述面部识别部识别出的所述面部和由所述上半身识别部识别出的所述上半身组合，而是分别计数为1人。
2.根据权利要求1所述的乘车人数监视系统，其中，
在相对于所述第1坐标和所述第2坐标中的任一者存在多个所述距离小于所述阈值的另一者坐标的情况下，所述计数部将所述距离近的第1坐标和第2坐标彼此组合而计数为1人，并将其余坐标分别计数为1人。
3.根据权利要求1或2所述的乘车人数监视系统，其中，
所述乘车人数监视系统还具有动作控制部，
所述动作控制部进行在由所述计数部计数出的所述人数超过预先设定的所述车辆的定员数的情况下进行警报的处理。
4.根据权利要求1或2所述的乘车人数监视系统，其中，
所述乘车人数监视系统还具有框体，
所述框体被设置在所述车辆的顶棚的所述室内侧的面，且所述拍摄部、所述面部识别部、所述上半身识别部和所述计数部中的至少一个组装在该框体内。
5.根据权利要求3所述的乘车人数监视系统，其中，
所述乘车人数监视系统还具有框体，
所述框体被设置在所述车辆的顶棚的所述室内侧的面，且所述拍摄部、所述面部识别部、所述上半身识别部和所述计数部中的至少一个组装在该框体内。
CN201910531654.XA 2018-06-20 2019-06-19 乘车人数监视系统 Active CN110633615B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-116649 2018-06-20
JP2018116649A JP7161318B2 (ja) 2018-06-20 2018-06-20 乗車人数監視システム

Publications (2)

Publication Number Publication Date
CN110633615A CN110633615A (zh) 2019-12-31
CN110633615B true CN110633615B (zh) 2023-04-25

Family

ID=66630207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910531654.XA Active CN110633615B (zh) 2018-06-20 2019-06-19 乘车人数监视系统

Country Status (4)

Country Link
US (1) US11256936B2 (zh)
EP (1) EP3584746B1 (zh)
JP (1) JP7161318B2 (zh)
CN (1) CN110633615B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021044566A1 (ja) * 2019-09-05 2021-03-11 三菱電機株式会社 体格判定装置および体格判定方法
JP7143836B2 (ja) * 2019-12-25 2022-09-29 株式会社デンソー 解析処理装置、解析処理方法、及び解析処理プログラム
CN111369394B (zh) * 2020-02-27 2021-05-14 浙江力石科技股份有限公司 基于大数据的景区客流量统计评估系统及方法
JP7419122B2 (ja) * 2020-03-18 2024-01-22 本田技研工業株式会社 車両制御装置、車両制御方法、及び車両制御用プログラム
US11091166B1 (en) 2020-04-21 2021-08-17 Micron Technology, Inc. Driver screening
US11494865B2 (en) * 2020-04-21 2022-11-08 Micron Technology, Inc. Passenger screening
CN112185143A (zh) * 2020-09-21 2021-01-05 成都三维大川新材料科技有限公司 一种城市智能化公交系统
US20230308612A1 (en) * 2020-09-30 2023-09-28 Nec Corporation Image processing system, communication apparatus, and image processing method
WO2022097260A1 (ja) * 2020-11-06 2022-05-12 日本電気株式会社 情報処理装置、情報処理方法、情報処理システム、及びコンピュータ読み取り可能な記憶媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092396A (ja) * 2004-09-27 2006-04-06 Oki Electric Ind Co Ltd 単独行動者及びグループ行動者検知装置
JP2011192220A (ja) * 2010-03-16 2011-09-29 Glory Ltd 同一人判定装置、同一人判定方法および同一人判定プログラム
WO2013039062A1 (ja) * 2011-09-15 2013-03-21 国立大学法人大阪教育大学 顔分析装置、顔分析方法、及び記録媒体
JP2014006586A (ja) * 2012-06-21 2014-01-16 Canon Inc 情報処理装置及びその制御方法、コンピュータプログラム
JP2017054349A (ja) * 2015-09-10 2017-03-16 株式会社東芝 改札監視システム

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2861699A (en) * 1950-10-16 1958-11-25 Gen Mills Inc Method and apparatus for performing operations at a remote point
US7650212B2 (en) * 1995-06-07 2010-01-19 Automotive Technologies International, Inc. Pedal adjustment system and method
US5983147A (en) * 1997-02-06 1999-11-09 Sandia Corporation Video occupant detection and classification
US6771818B1 (en) * 2000-04-04 2004-08-03 Microsoft Corporation System and process for identifying and locating people or objects in a scene by selectively clustering three-dimensional regions
US7110570B1 (en) * 2000-07-21 2006-09-19 Trw Inc. Application of human facial features recognition to automobile security and convenience
EP1650085A1 (en) * 2004-10-22 2006-04-26 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Occupant-sensing imaging system
CA2540404A1 (en) * 2005-03-21 2006-09-21 Magna International Inc. Image-based vehicle occupant classification system
US20130314536A1 (en) * 2009-03-02 2013-11-28 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US11935281B2 (en) * 2010-06-07 2024-03-19 Affectiva, Inc. Vehicular in-cabin facial tracking using machine learning
CN103210332B (zh) * 2011-04-18 2015-09-30 松下电器（美国）知识产权公司 摄像装置、摄像装置的对焦控制方法及集成电路
WO2013008427A1 (ja) * 2011-07-13 2013-01-17 パナソニック株式会社 画像評価装置、画像評価方法、プログラム、および集積回路
US8620088B2 (en) * 2011-08-31 2013-12-31 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US9964643B2 (en) * 2011-12-08 2018-05-08 Conduent Business Services, Llc Vehicle occupancy detection using time-of-flight sensor
US9195883B2 (en) * 2012-04-09 2015-11-24 Avigilon Fortress Corporation Object tracking and best shot detection system
US9321173B2 (en) * 2012-06-22 2016-04-26 Microsoft Technology Licensing, Llc Tracking and following people with a mobile robotic device
US20140074566A1 (en) * 2012-09-11 2014-03-13 James K. McCoy Remote Sensing of Vehicle Occupancy
JP6354585B2 (ja) * 2012-10-19 2018-07-11 日本電気株式会社 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム
CA2834877A1 (en) * 2012-11-28 2014-05-28 Henry Leung System and method for event monitoring and detection
US9020189B2 (en) * 2012-12-07 2015-04-28 The Nielsen Company (Us), Llc Methods and apparatus to monitor environments
US9292923B2 (en) * 2013-03-06 2016-03-22 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to monitor environments
US9866900B2 (en) * 2013-03-12 2018-01-09 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to detect shapes
TWI532620B (zh) 2013-06-24 2016-05-11 Utechzone Co Ltd Vehicle occupancy number monitor and vehicle occupancy monitoring method and computer readable record media
US9552374B2 (en) * 2013-08-19 2017-01-24 Kodak Alaris, Inc. Imaging workflow using facial and non-facial features
JP2015200933A (ja) * 2014-04-04 2015-11-12 株式会社ニコン 自律走行車両
US9547085B2 (en) * 2014-05-16 2017-01-17 Palo Alto Research Center Incorporated Computer-implemented system and method for detecting vehicle occupancy
US9609385B2 (en) * 2014-08-28 2017-03-28 The Nielsen Company (Us), Llc Methods and apparatus to detect people
WO2016046212A1 (en) * 2014-09-22 2016-03-31 Foundation For Research And Technology - Hellas (Forth) Apparatuses, method and systems for recovering a 3-dimensional skeletal model of the human body
JP2016177393A (ja) * 2015-03-19 2016-10-06 カシオ計算機株式会社 情報処理装置、顔認識方法、及びプログラム
CN204791055U (zh) * 2015-07-07 2015-11-18 都伊林 一种基于双目视觉的监狱人数统计装置
JP6664163B2 (ja) * 2015-08-05 2020-03-13 キヤノン株式会社 画像識別方法、画像識別装置及びプログラム
US20170068863A1 (en) * 2015-09-04 2017-03-09 Qualcomm Incorporated Occupancy detection using computer vision
US10318829B2 (en) * 2016-03-17 2019-06-11 Nec Corporation Passenger counting device, system, method and program, and vehicle movement amount calculation device, method and program
JP6458792B2 (ja) * 2016-11-04 2019-01-30 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
WO2019010557A1 (en) * 2017-07-13 2019-01-17 Tempo Analytics Inc. SYSTEM AND METHOD FOR COLLECTING DATA RELATING TO QUALITY OF SERVICE IN A CLIENT SERVICE ENVIRONMENT
US11919531B2 (en) * 2018-01-31 2024-03-05 Direct Current Capital LLC Method for customizing motion characteristics of an autonomous vehicle for a user
US11295139B2 (en) * 2018-02-19 2022-04-05 Intellivision Technologies Corp. Human presence detection in edge devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092396A (ja) * 2004-09-27 2006-04-06 Oki Electric Ind Co Ltd 単独行動者及びグループ行動者検知装置
JP2011192220A (ja) * 2010-03-16 2011-09-29 Glory Ltd 同一人判定装置、同一人判定方法および同一人判定プログラム
WO2013039062A1 (ja) * 2011-09-15 2013-03-21 国立大学法人大阪教育大学 顔分析装置、顔分析方法、及び記録媒体
JP2014006586A (ja) * 2012-06-21 2014-01-16 Canon Inc 情報処理装置及びその制御方法、コンピュータプログラム
JP2017054349A (ja) * 2015-09-10 2017-03-16 株式会社東芝 改札監視システム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Tsong-Yi Chen等.A People Counting System Based on Face-Detection.《2010 Fourth International Conference on Genetic and Evolutionary Computing》.2011,699-702. *
吴坤喜.图书馆监控视频人数统计的研究与开发.《中国优秀硕士学位论文全文数据库 信息科技辑》.2015,(第10期),I136-155. *
王红梅.基于视频的人体检测与计数技术研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2012,(第5期),I138-1385. *

Also Published As

Publication number Publication date
JP7161318B2 (ja) 2022-10-26
EP3584746A1 (en) 2019-12-25
US11256936B2 (en) 2022-02-22
EP3584746B1 (en) 2023-06-28
JP2019219899A (ja) 2019-12-26
CN110633615A (zh) 2019-12-31
US20190392233A1 (en) 2019-12-26

Similar Documents

Publication Publication Date Title
CN110633615B (zh) 乘车人数监视系统
CN106463065B (zh) 驾驶员的驾驶不能状态检测装置
CN110682913B (zh) 监视系统
CN106471556B (zh) 驾驶员的驾驶不能状态检测装置
EP2352136B1 (en) System for monitoring the area around a vehicle
US7983475B2 (en) Vehicular actuation system
US8593519B2 (en) Field watch apparatus
KR101950476B1 (ko) 운전자 상태 감지 시스템, 운전자 상태 감지 방법 및 운전자 감지 시스템을 장착한 차량
CN113232659A (zh) 死角信息取得装置及方法、车辆及记录了程序的记录介质
CN109878535B (zh) 驾驶辅助系统和方法
WO2018066456A1 (ja) 車載記憶装置
US11564073B2 (en) System and method for emotion detection and inter-vehicle communication
KR100571038B1 (ko) 스테레오 카메라를 이용한 탑승자 인식 시스템
JP7331632B2 (ja) 運転支援装置、運転支援方法、及び運転支援プログラム
JP7139324B2 (ja) コネクタ装置、車載カメラ装置、及びコネクタシステム
KR20180031146A (ko) 차량 및 장애물 검출 방법
KR102296213B1 (ko) 영상 기록 장치 및 그 동작 방법
CN114175110A (zh) 信息处理设备、信息处理方法及信息处理程序
CN104192065A (zh) 一种可辨监控对象的汽车四周监控装置
CN117440902A (zh) 车辆用报告控制装置以及车辆用报告控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant