CN110892446A - 分析装置、分析方法和程序 - Google Patents
分析装置、分析方法和程序 Download PDFInfo
- Publication number
- CN110892446A CN110892446A CN201780093095.8A CN201780093095A CN110892446A CN 110892446 A CN110892446 A CN 110892446A CN 201780093095 A CN201780093095 A CN 201780093095A CN 110892446 A CN110892446 A CN 110892446A
- Authority
- CN
- China
- Prior art keywords
- image
- vehicle
- occupants
- camera
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 89
- 238000001514 detection method Methods 0.000 claims abstract description 187
- 238000010191 image analysis Methods 0.000 claims abstract description 81
- 238000003384 imaging method Methods 0.000 claims description 74
- 230000004044 response Effects 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 12
- 210000000887 face Anatomy 0.000 description 11
- 238000009434 installation Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/593—Recognising seat occupancy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种分析装置,包括:第一图像分析单元,从由第一摄像机生成的第一图像检测人,该第一摄像机用于拍摄通过道路的车辆;第一检测单元,检测在第一图像中拍摄的车辆中的乘员数量(S10);第二图像分析单元,从由第二摄像机生成的第二图像检测人,该第二摄像机用于拍摄通过所述道路的车辆;第二检测单元,检测在第二图像中拍摄的车辆中的乘员数量(S11);判定单元,判定第一图像和第二图像是否满足预定条件(S12);以及确定单元,在第一图像和第二图像满足预定条件的情况下,利用在第一图像中拍摄的车辆中的乘员数量和在第二图像中拍摄的车辆中的乘员数量,来确定车辆中的乘员数量(S13)。
Description
技术领域
本发明涉及分析装置、分析方法和程序。
背景技术
专利文献1和2公开了检测车辆上的人数的装置。
专利文献1公开了一种通过分析从车辆侧面拍摄的图像来检测人的侧面面部,并基于检测结果来确定车辆上的人数的装置。此外,专利文献1公开了:将侧面面部检测单元基于由第一成像装置拍摄的图像获得的侧面面部的数量和正面面部检测单元基于由第二成像装置拍摄的图像获得的正面面部的数量的最大值、平均值或总和确定为车辆中存在的人数。
专利文献2公开了一种装置,该装置通过分析连续拍摄车辆所获得的多个图像中的每个图像来检测人,基于每个图像中车辆的外观来推断每个检测到的人坐在车辆中的哪个座位上,并基于确定被坐的座位数来确定车辆上的人数。
相关文献
专利文献
[专利文献1]国际公开第WO2014/061195号小册子
[专利文献2]国际公开第WO2014/064898号小册子
发明内容
技术问题
本发明的目的是提供一种用于检测车辆上的人数的新技术。
问题的解决方案
根据本发明,提供了一种分析装置,包括:第一图像分析单元,从由第一摄像机生成的第一图像检测人,所述第一摄像机用于拍摄通过道路的车辆;第一检测单元,基于第一图像分析单元的检测结果,检测在第一图像中拍摄的车辆中的乘员数量;第二图像分析单元,从由第二摄像机生成的第二图像检测人,所述第二摄像机用于拍摄通过道路的车辆;第二检测单元,基于第二图像分析单元的检测结果,检测在第二图像中拍摄的车辆中的乘员数量;判定单元,判定第一图像和第二图像是否满足预定条件;以及确定单元,在第一图像和第二图像满足预定条件的情况下,利用由第一检测单元检测到的在第一图像中拍摄的车辆中的乘员数量和由第二检测单元检测到的在第二图像中拍摄的车辆中的乘员数量,来确定车辆中的乘员数量。
此外,根据本发明,提供了一种由计算机执行的分析方法,该方法包括:第一图像分析步骤,从由第一摄像机生成的第一图像检测人,所述第一摄像机用于拍摄通过道路的车辆;第一检测步骤,基于来自第一图像分析步骤的检测结果,检测在第一图像中拍摄的车辆中的乘员数量;第二图像分析步骤,从由第二摄像机生成的第二图像检测人,所述第二摄像机用于拍摄通过道路的车辆;第二检测步骤,基于来自第二图像分析步骤的检测结果,检测在第二图像中拍摄的车辆中的乘员数量;判定步骤,判定第一图像和第二图像是否满足预定条件;以及确定步骤,在第一图像和第二图像满足预定条件的情况下,利用在第一检测步骤中检测到的在第一图像中拍摄的车辆中的乘员数量和在第二检测步骤中检测到的在第二图像中拍摄的车辆中的乘员数量,来确定车辆中的乘员数量。
此外,根据本发明,提供了一种程序,所述程序使计算机用作:第一图像分析单元,从由第一摄像机生成的第一图像检测人,所述第一摄像机用于拍摄通过道路的车辆;第一检测单元,基于第一图像分析单元的检测结果,检测在第一图像中拍摄的车辆中的乘员数量;第二图像分析单元,从由第二摄像机生成的第二图像检测人,所述第二摄像机用于拍摄通过道路的车辆;第二检测单元,基于第二图像分析单元的检测结果,检测在第二图像中拍摄的车辆中的乘员数量;判定单元,判定第一图像和第二图像是否满足预定条件;以及确定单元,在第一图像和第二图像满足预定条件的情况下,利用由第一检测单元检测到的在第一图像中拍摄的车辆中的乘员数量和由第二检测单元检测到的在第二图像中拍摄的车辆中的乘员数量,来确定车辆中的乘员数量。
发明的有利效果
根据本发明,实现了一种用于检测车辆上的人数的新技术。
附图说明
通过以下对优选示例实施例的描述和附图,上述目的和其他目的、特征和优点将变得更加显而易见。
图1是示出本示例实施例的分析装置的硬件配置的示例的图。
图2是本示例实施例的分析装置的功能框图的示例。
图3是用于说明本示例实施例的图像拍摄方法的示例的图。
图4是用于说明本示例实施例的图像拍摄方法的示例的图。
图5是用于说明将描述的本示例实施例的车辆坐标系的示例的图。
图6是示出本示例实施例的分析装置的处理流程的示例的流程图。
图7是本示例实施例的分析装置的功能框图的示例。
图8是用于说明本示例实施例的图像拍摄方法的示例的图。
图9是用于说明本示例实施例的图像拍摄方法的示例的图。
图10是用于说明本示例实施例的图像拍摄方法的示例的图。
具体实施方式
<第一示例实施例>
首先,将描述本示例实施例的分析装置的概述。分析装置基于由多个摄像机拍摄的多个图像的分析结果来检测车辆上的人数。
首先,分析装置从由第一摄像机拍摄的多个第一图像(在下文中,可以称为“第一图像组”)中的每个图像检测人的面部,其中该第一摄像机响应于第一传感器检测到车辆而执行成像。然后,分析装置基于检测结果,检测多个第一图像中共同包括的车辆上的人数(从第一图像组检测到的人数)。
另外,分析装置从由第二摄像机拍摄的多个第二图像(在下文中,可以称为“第二图像组”)中的每个图像检测人的面部,其中该第二摄像机响应于第二传感器检测到车辆而执行成像。然后,分析装置基于检测结果,检测多个第二图像中共同包括的车辆上的人数(从第二图像组检测到的人数)。
此外,分析装置确定第一图像组和第二图像组是否满足预定条件。满足预定条件的第一图像组和第二图像组被推断为在图像中包括相同的车辆。预定条件由例如成像时间等确定(在下面描述细节)。
在第一图像组和第二图像组满足预定条件的情况下,分析装置使用从第一图像组检测到的第一图像组中拍摄的车辆中的乘员数量和从第二图像组检测到的第二图像组中拍摄的车辆中的乘员数量,来确定在这些图像中拍摄的车辆中的乘员数量。
根据本示例实施例的分析装置,实现了用于检测车辆上的人数的新技术。
根据其中多个摄像机拍摄图像的本示例实施例的分析装置,可以从多个方向拍摄一辆车辆。然后,可以通过分析通过从多个方向拍摄车辆而获得的多个图像来检测车辆上的人数。例如,即使当在从某个方向拍摄的图像中至少一个乘员隐藏在物体后面并且不能被检测到时,也可以在从另一方向拍摄的图像中检测到所有乘员。本示例实施例的分析装置基于通过从多个方向拍摄车辆而获得的多个图像的分析结果来检测车辆上的人数,根据该分析装置,改善了乘员数量的检测精确度。
另外,根据本示例实施例的分析装置可以通过判定是否满足由成像时间等定义的预定条件,来检测推断为包括同一车辆的一对第一图像组和第二图像组。与通过图像分析等检测图像中包括的车辆的特性并且检测包括具有相似特性的车辆的一对第一图像组和第二图像组的情况相比,可以减少计算机上的处理负荷。
在下文中,将详细描述分析装置的配置。首先,将描述分析装置的硬件配置的示例。本示例实施例的分析装置中包括的每个功能单元通过硬件和软件的任何组合来实现,主要使用任意计算机的中央处理单元(CPU)、存储器、加载到存储器中的程序、存储程序的诸如硬盘之类的存储单元(可以存储在装置出厂时预先存储的程序,还可以存储从诸如光盘(CD)之类的存储介质或互联网上的服务器下载的程序)以及网络连接接口。本领域技术人员将理解,在实现方法和装置上有各种修改。
图1是示出了本示例实施例的分析装置的硬件配置的方框图。如图1中所示,分析装置包括处理器1A、存储器2A、输入和输出接口3A、外围电路4A和总线5A。外围电路4A包括各种模块。应注意,分析装置可以由物理上和/或逻辑上分离的多个装置来配置。在这种情况下,多个装置中的每一个包括处理器1A、存储器2A、输入和输出接口3A、外围电路4A和总线5A。
总线5A是处理器1A、存储器2A、外围电路4A以及输入和输出接口3A相互传输和接收数据的数据传输路径。处理器1A例如是诸如中央处理单元(CPU)或图形处理单元(GPU)之类的算术处理装置。存储器2A例如是诸如随机存取存储器(RAM)或只读存储器(ROM)之类的存储器。输入和输出接口3A包括用于从输入设备(例如,键盘、鼠标、麦克风、物理键、触摸面板显示器和码读取器)、外部装置、外部服务器、外部传感器等获取信息的接口,以及用于将信息输出到输出设备(例如,显示器、扬声器、打印机和电子邮件收发器)、外部装置、外部服务器等的接口。处理器1A可以向每个模块发出命令并基于计算结果执行计算。
接着,将描述分析装置的功能配置。图2示出了分析装置10的功能框图的示例。如图所示,分析装置10包括第一图像分析单元11、第一检测单元12、第二图像分析单元13、第二检测单元14、判定单元15和确定单元16。
第一图像分析单元11从由第一摄像机拍摄的第一图像检测人(例如,人的面部),该第一摄像机拍摄通过道路的车辆。然后,第一检测单元12基于第一图像分析单元11的检测结果,检测在第一图像中拍摄的车辆中的乘员数量。在本示例实施例中,第一图像分析单元11从由第一摄像机拍摄的多个第一图像(第一图像组)中的每个图像检测人的面部,该第一摄像机响应于第一传感器检测到车辆而执行成像。然后,第一检测单元12基于第一图像分析单元11的检测结果,检测多个第一图像中共同包括的车辆上的人数。
第二图像分析单元13从由第二摄像机生成的第二图像中检测人(例如,人的面部),该第二图像拍摄通过道路的车辆。然后,第二检测单元14基于第二图像分析单元13的检测结果,检测在第二图像中拍摄的车辆中的乘员数量。在本示例实施例中,第二图像分析单元13从由第二摄像机拍摄的多个第二图像(第二图像组)中的每一个检测人的面部,该第二摄像机响应于第二传感器检测到车辆来执行成像。然后,第二检测单元14基于第二图像分析单元13的检测结果,检测多个第二图像中共同包括的车辆上的人数。
此处,参照图3至图4描述传感器和摄像机的安装示例。
第一传感器101沿着道路安装,并且从侧面检测通过道路的车辆。第一摄像机102沿着道路安装,并且从侧面拍摄通过道路的车辆。在示出的示例中,第一传感器101沿着具有两个或更多个车道的道路安装,并且从侧面检测通过当从第一传感器101观看时的远侧车道的车辆。第一摄像机102沿着具有两个或更多个车道的道路安装,并且从侧面拍摄通过当从第一摄像机102观看时的远侧车道的车辆。
第二传感器201安装在道路上方,并且从前方检测通过道路的车辆。第二摄像机202安装在道路上方,并且从前方拍摄通过道路的车辆。在所示示例的情况下,第二传感器201安装在当从第一传感器101和第一摄像机102观看时的远侧车道的上方,并且从前方检测通过远侧车道的车辆。第二摄像机202被安装在当从第一传感器101和第一摄像机102观看时的远侧车道的上方,并且从前方拍摄通过远侧车道的车辆。
例如,第二传感器201和第二摄像机202可以附接到设置为跨过道路的立交桥或龙门,可以附接到设置在道路上方的标志或路牌,或者可以附接到其他装置。另外,可以在道路上新设置用于安装第二传感器201和第二摄像机202的结构。
第一传感器101和第二传感器201检测以下事实:车辆已经通过了道路上的预定位置。第一传感器101和第二传感器201的细节不作限制,只要能够执行这种检测即可。例如,第一传感器101和第二传感器201可以包括沿预定方向(例如,图中的箭头方向)发射光(例如,激光)的装置以及接收反射光的装置。然后,可以通过基于反射光的光接收状态而检测阻碍所发射的光的行进的障碍物的存在,来检测车辆的通过。
另外,第一传感器101和第二传感器201中的至少一个可以具有测量与检测到的障碍物之间的距离的装置。例如,可以基于从反射光的光发射定时到光接收定时的时间差,来计算与对光进行反射的障碍物之间的距离。
当检测到车辆的通过时,第一传感器101将指示该事实的信号输入到第一摄像机102。应注意,第一传感器101可以检测车辆的通过,并且当检测到的车辆满足距离条件时,第一传感器101可以将指示该事实的信号输入到第一摄像机102。例如,距离条件可以是“从第一传感器101到车辆的距离在基准范围内”。通过将基准范围设置为可以假设为在远侧的车道上行驶的车辆与第一传感器101之间的距离的范围,图3和图4中所示的第一传感器101能够仅准确地检测通过当从第一传感器101观看时的远侧车道的车辆(即,不检测通过近侧车道的车辆)。
当检测到车辆的通过时,第二传感器201将指示该事实的信号输入到第二摄像机202。应注意,第二传感器201可以检测车辆的通过,并且当检测到的车辆满足距离条件时,第二传感器201可以将指示该事实的信号输入到第二摄像机202。例如,距离条件可以是“从第二传感器201到车辆的距离在基准范围内”。通过将基准范围设置为可以假设为在远侧的车道上行驶的车辆与第二传感器201之间的距离的范围,图3和图4中所示的第二传感器201能够准确地检测通过当从第一传感器101观看时的远侧车道的车辆(即,不检测其他障碍物)。
第一摄像机102和第二摄像机202分别响应于第一传感器101和第二传感器201检测到车辆通过而执行成像。
例如,第一摄像机102可以响应于第一传感器101的检测而连续拍摄预定数量的静止图像(例如,每秒约几十次到一百次),以生成多个静止图像文件。可以根据第一摄像机102的性能、车辆的移动速度等预先任意确定该预定数量。通过适当地设置预定数量,可以将第一传感器101检测到的车辆包括在响应于第一传感器101的检测而连续拍摄的多个图像中。
例如,第二摄像机202可以响应于第二传感器201的检测而连续拍摄预定数量的静止图像(例如,每秒约几十次到一百次),以生成多个静止图像文件。可以根据第二摄像机202的性能、车辆的移动速度等预先任意确定该预定数量。通过适当地设置预定数量,可以将第二传感器201检测到的车辆包括在响应于第二传感器201的检测而连续拍摄的多个图像中。
另外,第一摄像机102可以响应于第一传感器101的检测而在预定成像时间段内拍摄运动图像,以生成由多个帧组成的运动图像文件。可以根据第一摄像机102的性能、车辆的移动速度等预先任意确定该预定成像时间段。通过适当地设置预定成像时间段,可以将第一传感器101检测到的车辆包括在响应于第一传感器101的检测而拍摄的运动图像中。
另外,第二摄像机202可以响应于第二传感器201的检测而在预定成像时间段内拍摄运动图像,以生成由多个帧组成的运动图像文件。可以根据第二摄像机202的性能、车辆的移动速度等预先任意确定该预定成像时间段。通过适当地设置预定成像时间段,可以将第二传感器201检测到的车辆包括在响应于第二传感器201的检测而拍摄的运动图像中。
设置第一摄像机102的位置和取向,以便通过响应于第一传感器101的检测而执行成像来拍摄由第一传感器101检测到的车辆。设置第二摄像机202的位置和取向,以便通过响应于第二传感器201的检测而执行成像来拍摄由第二传感器201检测到的车辆。
由第一摄像机102和第二摄像机202生成的图像文件通过实时处理或批处理被输入到分析装置10。图像文件与生成日期和时间(生成定时)或成像日期和时间(成像定时)相关联。分析装置10、第一摄像机102和第二摄像机202可以被配置成能够通过任何通信手段彼此通信。
在图3的示例的情况下,作为由第一传感器101检测到的车辆的位置的第一检测位置和作为由第二传感器201检测到的车辆的位置的第二检测位置相同,或者它们之间的差异足够小。因此,第一摄像机102拍摄图像的第一成像位置和第二摄像机202拍摄图像的第二成像位置相同,或者它们之间的差异足够小。在这种情况下,第一传感器101和第二传感器201同时或略有时间差地检测到任何一个车辆,并且第一摄像机102和第二摄像机202同时或略有时间差地进行拍摄。
在图4的示例的情况下,第一检测位置和第二检测位置不同,并且它们之间的差异足够大。因此,第一成像位置不同于第二成像位置,并且它们之间的差异足够大。具体地,第一检测位置和第一成像位置在车辆的行驶方向上的近侧,而第二检测位置和第二成像位置在远侧。尽管未示出,但是第二检测位置和第二成像位置可以在车辆的行驶方向上的近侧,而第一检测位置和第一成像位置可以在远侧。在这种情况下,第一传感器101和第二传感器201以特定的大的时间差来检测任何一个车辆,并且第一摄像机102和第二摄像机202以特定的大的时间差来拍摄任何一个车辆。
考虑到检测通过拍摄同一车辆而获得的一对第一图像(由第一摄像机102拍摄的图像)和第二图像(由第二摄像机202拍摄的图像),优选如图3的示例中那样安装传感器和摄像机。然而,由于安装环境的限制,可能传感器和摄像机无法如图3中所示进行安装,而如图4的示例中所示进行安装。
返回图2,在将多个第一图像(第一图像组)作为待处理对象的情况下,第一图像分析单元11从作为待处理对象的多个第一图像中的每个图像检测车辆和人的面部,其中,该多个第一图像(第一图像组)是第一摄像机102响应于第一传感器101的一次检测而拍摄的预定数量的静止图像或预定成像时间段内的运动图像(多个帧图像)。
可以通过模板匹配来实现对车辆和人的面部的检测。此外,可以通过检测器来执行检测,该检测器由使用大量图像的机器学习来构造。例如,可以将支持向量机(SVM)、线性判别分析(LDA)、广义学习向量化(GLVQ)、神经网络等用作检测器。第一图像中包括的车辆是侧视图。因此,优选将侧视图中的车辆图像用作模板或训练数据。此外,尽管认为第一图像中包括的大多数人的面部是侧面面部,但是不能排除正面面部的可能性。因此,优选将从各个方向拍摄的人的面部的图像用作模板或训练数据。
应注意,待检测的人的面部可以是被检测车辆中的人的面部,即被检测车辆轮廓内的人的面部。以此方式,可以仅检测车辆上的人的面部,并且可以将车辆外部的人(诸如路人或交通向导员)的面部从检测目标中排除。
第一检测单元12基于第一图像分析单元11针对待处理的多个第一图像中的每个图像的分析结果,来检测多个第一图像中共同包括的车辆上的人数。
例如,第一检测单元12可以使用专利文献2中描述的技术来检测多个第一图像中共同包括的车辆上的人数。即,第一检测单元12可以基于通过连续拍摄车辆而获得的多个第一图像中的每个图像中的车辆的外观,来推断从多个第一图像中的每个图像检测到的人坐在车辆中的哪个座位上,并通过对推断结果进行综合来确定车辆上的人数。
另外,可以通过以下单元检测多个第一图像中共同包括的车辆上的人数。首先,第一图像分析单元11可以检测从多个第一图像中的每个图像检测到的车辆的基准点和基准方向,并且对于每个第一图像,设置以检测到的基准点为原点,以检测到的基准方向为x轴方向和y轴方向的二维坐标系(车辆坐标系)。
将描述基准点和基准方向的示例,但是不限于此。图5示出了针对一个第一图像F设置的车辆坐标系的示例。在图示的示例中,将安装在车身后方的保险杠的后端部用作基准点,并且将车辆的纵向方向和高度方向用作基准方向。设置车辆坐标系,其中保险杠的后端部为原点,车辆的纵向方向为x轴,而高度方向为y轴。
在针对每个第一图像设置车辆坐标系之后,第一图像分析单元11可以针对每个第一图像,检测所检测到的人的面部在车辆坐标系中的坐标。
例如,在人的面部的检测处理中,如图5中所示,在检测到存在人的面部的区域B的情况下,可以获得该区域B的代表点(例如,中心、右上、左上、右下、左下等)作为区域B中存在的面部的坐标。此外,在人的面部的检测处理中,在检测到人的眼睛、鼻子、嘴巴等的情况下,可以获得眼睛、鼻子、嘴巴的坐标(例如,眼睛、鼻子、嘴巴占据的区域的代表坐标)作为具有该眼睛、鼻子、嘴巴的面部的坐标。
然后,第一检测单元12通过将车辆坐标系中的坐标彼此靠近的面部聚集在一起,来对从多个第一图像检测到的多个面部进行分组。即,第一检测单元12对存在于多个第一图像中的同一个人的面部进行分组。例如,第一检测单元12可以检测组的数目,以作为多个第一图像中共同包括的车辆上的人数。
返回图2,在将多个第二图像(第二图像组)作为待处理对象的情况下,第二图像分析单元13从多个第二图像中的每个图像检测车辆和人的面部,其中,该多个第二图像(第二图像组)是第二摄像机202响应于第二传感器201的一次检测而拍摄的预定数量的静止图像或预定成像时间段内的运动图像。
可以通过与第一图像分析单元11相同的单元来执行对车辆和人的面部的检测。应注意,第二图像中包括的车辆是正视图。因此,优选地将正视图中的车辆图像(从上方观看时的车辆图像)用作模板或训练数据。此外,尽管认为第二图像中包括的大多数人的面部是正面面部,但是不能排除侧面面部的可能性。因此,优选地将从各个方向拍摄的人的面部的图像用作模板或训练数据。
应注意,所检测的人的面部可以是检测到的车辆中的人的面部,即检测到的车辆轮廓内的面部。以此方式,可以仅检测车辆上的人的面部,并且可以将车辆外部的人(例如路人或交通向导员)的面部从检测目标中排除。
第二检测单元14基于第二图像分析单元13针对要处理的多个第二图像中的每个图像的分析结果,来检测多个第二图像中共同包括的车辆上的人数。第二检测单元14可以使用与第一检测单元12相同的技术来检测多个第二图像中共同包括的车辆上的人数。
判定单元15判定第一图像(第一图像组)和第二图像(第二图像组)是否满足预定条件。判定单元15判定是否满足“预定条件:生成第一图像的时间和生成第二图像的时间具有预定关系”。满足预定条件的第一图像和第二图像被推断为在图像中包括同一车辆。
在图3的示例的情况下,即,在第一检测位置(第一成像位置)和第二检测位置(第二成像位置)相同或者它们之间的差足够小的情况下,判定单元15判定是否满足“预定条件:生成第一图像的时间与生成第二图像的时间之间的差在基准值(足够小的值)内”。
在图4的示例的情况下,即,在第一检测位置(第一成像位置)和第二检测位置(第二成像位置)不同并且它们之间的差足够大的情况下,判定单元15判定是否满足“预定条件:生成第一图像的时间与生成第二图像的时间之间的差在基准范围内”。
基准范围可以预先确定并且存储在任何存储设备中。然后,判定单元15可以基于存储在存储设备中的基准范围来进行判定(示例1)。另外,可以通过图像分析为每个车辆确定基准范围(示例2)。将在下面描述每个示例。
“示例1”
在该示例中,基于车辆在第一检测位置和第二检测位置之间移动所需的时间来确定基准范围,其中,基于第一检测位置和第二检测位置之间的距离D1[km]以及车辆的基准速度来确定该所需的时间。应注意,可以通过将第一检测位置替换为第一成像位置并且将第二检测位置替换为第二成像位置来执行相同的处理。
基准速度可以是本示例实施例的分析装置10所应用的道路的法定速度、在该道路上行驶的车辆的一般速度等。例如,可以将范围设为大于或等于V1[km/h],且小于或等于V2[km/h]。在这种情况下,基准范围是大于或等于D1/V2[h],且小于或等于D1/V1[h]。
“示例2”
在该示例中,也同样基于车辆在第一检测位置和第二检测位置之间移动所需的时间来确定基准范围,其中,基于第一检测位置和第二检测位置之间的距离D1[km]以及车辆的基准速度来确定该所需的时间。然而,车辆的基准速度与示例1不同。应注意,可以通过将第一检测位置替换为第一成像位置并且将第二检测位置替换为第二成像位置来执行相同的处理。
在该示例中,第一图像分析单元11和第二图像分析单元13中的至少一个单元分析图像并计算图像中包括的车辆的速度V3[km/h]。然后,确定车辆的基准速度,以使其包括计算出的车辆的速度V3[km/h]。例如,可以给出范围使得基准速度大于或等于V4[km/h]且小于或等于V5[km/h]。应注意,V4<V3<V5。在这种情况下,基准范围大于或等于D1/V5[h]且小于或等于D1/V4[h]。
第一图像分析单元11可以分析连续拍摄的多个时间序列的第一图像(第一图像组),并且计算在多个第一图像中共同包括的车辆的速度。可以基于例如两个第一图像之间的车辆图像的移动距离、预先保持的图像的比例尺、以及两个第一图像之间的成像定时的时间差来计算车辆的速度。
此外,第二图像分析单元13可以分析连续拍摄的多个时间序列的第二图像,并且计算在多个第二图像中共同包括的车辆的速度。可以基于例如两个第二图像之间的车辆图像的移动距离、预先保持的图像的比例尺、以及两个第二图像之间的成像定时的时间差来计算车辆的速度。
在示例2的情况下,例如,在检测与所处理的第一图像组满足预定条件的第二图像组的处理中,计算第一图像组中包括的车辆的速度以设置基准速度。接着,基于基准速度来确定基准范围。然后,与第一图像组之间的成像时间的时间差(例如,成像开始时间的时间差)在所确定的基准范围内的第二图像组被判定为与第一图像组满足预定条件。应注意,成像日期和时间与每个图像相关联地存储,并且可以读取成像日期和时间以计算时间差。
另外,例如,在检测与所处理的第二图像组满足预定条件的第一图像组的处理中,计算第二图像组中包括的车辆的速度以设置基准速度。接着,基于基准速度来确定基准范围。然后,与第二图像组之间的成像时间的时间差(例如,成像开始时间的时间差)在所确定的基准范围内的第一图像组被判定为与第二图像组满足预定条件。应注意,成像日期和时间与每个图像相关联地存储,并且可以读取成像日期和时间以计算时间差。
应注意,预定条件可以是通过进一步考虑第一检测位置(第一成像位置)和第二检测位置(第二成像位置)相对于车辆行驶方向的前后关系而获得的内容。例如,在第一检测位置(第一成像位置)相对于车辆行驶方向位于第二检测位置(第二成像位置)之前的情况下,预定条件可以为“生成第一图像的时间和生成第二图像的时间的差在基准范围内,并且生成第一图像的时间早于生成第二图像的时间”。相反,在第二检测位置(第二成像位置)相对于车辆行驶方向位于第一检测位置(第一成像位置)之前的情况下,预定条件可以为“生成第一图像的时间和生成第二图像的时间的差在基准范围内,并且生成第二图像的时间早于生成第一图像的时间”。
在示例2中,代替通过图像分析来检测车辆速度的处理,可以通过速度传感器来检测在每个车道中行驶的车辆的速度(例如,平均速度)。
在第一图像(第一图像组)和第二图像(第二图像组)满足预定条件的情况下,确定单元16使用由第一检测单元12检测到的在第一图像组中拍摄的车辆中的乘员数量和由第二检测单元14检测到的在第二图像组中拍摄的车辆中的乘员数量,来确定在这些图像中被共同拍摄的车辆中的乘员数量。
确定单元16可以将由第一检测单元12检测到的在第一图像组中拍摄的车辆中的乘员数量和由第二检测单元14检测到的在第二图像组中拍摄的车辆中的乘员中的较大一个,确定为在这些图像中共同拍摄的车辆中的乘员数量。
应注意,在第一图像组与任何第二图像组都不满足预定条件的情况下,确定单元16可以使用由第一检测单元12检测到的在第一图像组中拍摄的车辆中的乘员数量,来确定在第一图像组中拍摄的车辆中的乘员数量。在这种情况下,确定单元16可以将由第一检测单元12检测到的在第一图像组中拍摄的车辆中的乘员数量确定为在第一图像组中拍摄的车辆中的乘员数量。
另外,在第一图像组与任何第二图像组都不满足预定条件的情况下,确定单元16可以不确定在第一图像组中拍摄的车辆中的乘员数量,并且可以输出错误。
另外,在第二图像组与任何第一图像组都不满足预定条件的情况下,确定单元16可以利用由第二检测单元14检测到的在第二图像组中拍摄的车辆中的乘员数量,来确定在第二图像组中拍摄的车辆中的乘员数量。在这种情况下,确定单元16可以将由第二检测单元14检测到的在第二图像组中拍摄的车辆中的乘员数量确定为在第二图像组中拍摄的车辆中的乘员数量。
另外,在第二图像组与任何第一图像组都不满足预定条件的情况下,确定单元16可以不确定第二图像组中拍摄的车辆中的乘员数量,并且可以输出错误。
接着,使用图6的流程图描述分析装置10的处理流程的示例。
在S10中,第一图像分析单元11从由第一摄像机生成的第一图像组检测人的面部,该第一摄像机用于拍摄通过道路的车辆。然后,第一检测单元12基于第一图像分析单元11的检测结果,检测在第一图像组中拍摄的车辆中的乘员数量。
在S11中,第二图像分析单元13从由第二摄像机生成的第二图像组检测人的面部,该第二摄像机用于拍摄通过道路的车辆。然后,第二检测单元14基于第二图像分析单元13的检测结果,检测在第二图像组中拍摄的车辆中的乘员数量。
在S12中,判定单元15判定第一图像组和第二图像组是否满足预定条件。例如,判定单元15将任何第一图像组设置为要处理的对象,并且判定第一图像组和第二图像组是否满足预定条件,从而检测与第一图像组满足预定条件的第二图像组。可选地,判定单元15将任何第二图像组设置为要处理的对象,并且判定第二图像组和第一图像组是否满足预定条件,从而检测与第二图像组满足预定条件的第一图像组。
应注意,S10、S11和S12的处理顺序不限于图6所示的顺序,可以是其他顺序。这些处理可以并行执行。
在S13中,在第一图像组和第二图像组满足预定条件的情况下,确定单元16使用由第一检测单元12检测到的在第一图像组中拍摄的车辆中的乘员数量和由第二检测单元14检测到的在第二图像组中拍摄的车辆中的乘员数量,来确定车辆中的乘员数量。例如,确定单元16将由第一检测单元12检测到的在第一图像组中拍摄的车辆中的乘员数量和由第二检测单元14检测到的在第二图像组中拍摄的车辆中的乘员数量中较大的一个,确定为在这些图像组中拍摄的车辆中的乘员数量。
这里,将描述本示例实施例的修改示例。在上述示例中,由两对传感器和摄像机从两个方向拍摄图像,并且基于图像来确定乘员数量。然而,可以由三对或更多对传感器和摄像机从三个或更多个方向拍摄图像,并且可以基于图像来确定乘员数量。在这种情况下,也可以以相同的方式检测满足预定条件的图像组的组合,并且可以将从多个图像组中的每一个检测出的车辆中的乘员数量的最大值确定为在这些图像组中拍摄的车辆中的乘员数量。
此外,如在图3的示例中,在第一检测位置和第二检测位置相同或者它们之间的差异足够小的情况下,可以省略第一传感器101和第二传感器201中的一个。因此,第一摄像机102和第二摄像机202可以响应于由剩下的传感器检测到车辆来执行成像。
在上述示例中,第一摄像机102和第二摄像机202拍摄多个静止图像或运动图像。然而,第一摄像机102和第二摄像机202可以响应于第一传感器101和第一摄像机102的检测来拍摄一个静止图像以生成一个静止图像文件。在这种情况下,第一检测单元12将从第一图像检测到的人数检测为包括在第一图像中的车辆上的人数。并且,第二检测单元14将从第二图像检测到的人数检测为包括在第二图像中的车辆上的人数。其他配置与上述配置相同。
另外,第一摄像机102和第二摄像机202可以不响应于第一传感器101和第二传感器201的检测而执行成像,而是可以一直持续成像。
根据上述本示例实施例的分析装置10,实现了用于检测车辆上的人数的新技术。
根据用多个摄像机拍摄图像的本示例实施例的分析装置10,可以从多个方向拍摄一辆车辆。然后,可以通过分析通过从多个方向拍摄车辆而获得的多个图像来检测车辆上的人数。例如,即使在从某个方向拍摄的图像中至少一个乘员隐藏在物体后面并且不能被检测到时,也可以在从另一方向拍摄的图像中检测所有乘员。本示例实施例的分析装置10基于通过从多个方向拍摄车辆而获得的多个图像的分析结果来检测车辆上的人数,根据该分析装置10,改善了乘员数量的检测精确度。随着拍摄方向的增加,检测精确度提高。
另外,根据本示例实施例的分析装置10可以通过判定是否满足由成像时间等定义的预定条件,来检测推断为包括同一车辆的一对第一图像组和第二图像组。与通过图像分析等检测图像中包括的车辆的特性并且检测包括具有相似特性的车辆的一对第一图像组和第二图像组的情况相比,可以减少计算机的处理负担。
此外,由于如上所述可以检测到这种对,所以增加了安装传感器和摄像机的自由度。例如,如图3中所示,第一传感器101对车辆进行检测的位置可以接近第二传感器201对车辆进行检测的位置,或者如图4中所示,第一传感器101对车辆进行检测的位置可以与第二传感器201对车辆进行检测的位置分开。在任何情况下,都可以通过判定第一图像组和第二图像组是否满足由成像时间等定义的预定条件,来检测被推断为包括同一车辆的一对第一图像组和第二图像组。
此外,通过如上述示例1中那样将车辆的基准速度设置为固定值,可以减轻分析装置10的处理负担。
此外,通过如上述示例2中那样利用图像分析等计算每个车辆的车辆基准速度,来改善用于使包括同一车辆的图像相关联的处理的精确度。
此外,根据本示例实施例的分析装置10,在存在与任何第二图像组都不满足预定条件的第一图像组的情况下,可以将基于第一图像组检测到的乘员数量确定为在该图像组中拍摄的车辆中的乘员数量。类似地,在存在与任何第一图像组都不满足预定条件的第二图像组的情况下,可以将基于第二图像组检测到的乘员数量确定为在该图像组中拍摄的车辆中的乘员数量。
例如,在图4所示的安装示例的情况下,可能发生以下情况:在第一检测位置处检测并拍摄到的车辆并未在第二检测位置处检测并拍摄到。例如,上述情况可能是由于车辆的车道变化以及车辆的行驶速度低于基准速度(基于法定速度等确定的固定值的情况(上述示例1))引起的。此外,在图3和图4的两个安装示例中,可能出现这样的情况:从一个方向检测和拍摄到的车辆由于存在障碍物等而并未从另一个方向检测和拍摄到。
在这种情况下,尽管检测精确度低于对从第一图像组和第二图像组中的每一个检测到的乘员数量进行综合的处理,但是基于从一个图像组检测到的乘员数量来确定在该图像组中拍摄的车辆中的乘员数量,因此可以避免不能获得所检测到的车辆的检测结果(乘员数量)而带来的不便之处。
应注意,根据本示例实施例的分析装置10,在存在与任何第二图像组都不满足预定条件的第一图像组的情况下,可以不对在第一图像组中拍摄的车辆中的乘员数量进行确定,而是输出错误。类似地,在存在与任何第一图像组都不满足预定条件的第二图像组的情况下,可以不对在第二图像组中拍摄的车辆中的乘员数量进行确定,而是输出错误。在这种情况下,由于不生成可靠性低的检测结果(乘员数量),因此提高了检测结果(乘员数量)的可靠性。
另外,根据本示例实施例的分析装置10,可以使用由从侧面拍摄车辆的第一摄像机和从前方拍摄车辆的第二摄像机生成的图像来检测车辆中的乘员数量。与仅使用由从前方拍摄车辆的摄像机生成的图像的情况相比,可以检测到后排座位上的人的可能性更高。此外,与仅使用由从侧面拍摄车辆的摄像机生成的图像的情况相比,即使在目标车辆被通过近侧车道的另一车辆等阻挡的情况下,通过使用由从前方拍摄车辆的摄像机生成的图像,也提高了检测结果(乘员数量)的精确度。
<第二示例实施例>
首先,描述本示例实施例的分析装置10的概述。根据本示例实施例的分析装置10执行用于针对具有两个或更多个车道的道路的所有车道检测车辆上的人数的处理。一个车道采用分析从一个方向拍摄的图像的单元,而其他车道采用分析从多个方向拍摄的图像的单元。即,根据车道不同,采用不同的单元。分析装置10的其他配置与第一示例实施例相同。关于本示例实施例,可以采用在第一示例实施例中描述的修改示例。
分析装置10的硬件配置与第一示例实施例中的相同。
接着,参照图8和图9描述本示例实施例的传感器和摄像机的安装示例。
图8中的安装示例与图3中的安装示例的不同之处在于,新设置了第三传感器301和第三摄像机302。第一传感器101、第一摄像机102、第二传感器201和第二摄像机202的安装方法与图3的安装示例相同。
图9中的安装示例与图4中的安装示例的不同之处在于,新设置了第三传感器301和第三摄像机302。第一传感器101、第一摄像机102、第二传感器201和第二摄像机202的安装方法与图4的安装示例相同。
第三传感器301沿着道路安装,并且从侧面检测通过道路的车辆。第三传感器301检测通过从第三传感器301观看时的近侧车道的车辆。第三摄像机302沿着道路安装,并且从侧面拍摄通过道路的车辆。第三摄像机302拍摄通过从第三摄像机302观看时的近侧车道的车辆。
第三传感器301检测以下事实:车辆已经通过了道路上的预定位置。第三传感器301的细节不作限制,只要能够实现这种检测即可。例如,第三传感器301可以包括沿预定方向(例如,图中的箭头方向)发射光(例如,激光)的装置以及接收其反射光的装置。然后,可以基于反射光的光接收状态,通过检测阻碍所发射的光的行进的障碍物的存在来检测车辆的通过。
此外,第三传感器301可以具有测量与检测到的障碍物之间的距离的装置。例如,可以基于从反射光的光发射定时到光接收定时的时间差来计算与对光进行反射的障碍物之间的距离。
当检测到车辆的通过时,第三传感器301将指示该事实的信号输入到第三摄像机302。应注意,第三传感器301可以检测车辆的通过,并且当检测到的车辆满足距离条件时,第三传感器301可以将指示该事实的信号输入到第三摄像机302。例如,距离条件可以是“从第三传感器301到车辆的距离在基准范围内”。通过将基准范围设置为可以假设为在近侧车道上行驶的车辆与第三传感器301之间的距离的范围,图8和图9中所示的第三传感器301能够仅准确地检测通过当从第三传感器301观看时的近侧车道的车辆(即,不检测通过远侧车道的车辆)。
第三摄像机302响应于第三传感器301检测到车辆通过而执行成像。例如,第三摄像机302可以响应于第三传感器301的检测而连续拍摄预定数量的静止图像(例如,每秒大约数十到一百张图像),以生成多个静止图像文件。可以根据第三摄像机302的性能、车辆的移动速度等预先任意确定该预定数量。通过适当地设置预定数量,可以将第三传感器301检测到的车辆包括在响应于第三传感器301的检测而连续拍摄的多个图像中。
另外,第三摄像机302可以响应于第三传感器301的检测而在预定成像时间段内拍摄运动图像,以生成由多个帧组成的运动图像文件。可以根据第三摄像机302的性能、车辆的移动速度等预先任意确定该预定成像时间段。通过适当地设置预定成像时间段,可以将第三传感器301检测到的车辆包括在响应于第三传感器301的检测而拍摄的运动图像中。
另外,第三摄像机302可以响应于第三传感器301的检测来拍摄一个静止图像并且生成一个静止图像文件。
设置第三摄像机302的位置和取向,以便通过响应于第三传感器301的检测而拍摄,来拍摄由第三传感器301检测到的车辆。
由第三摄像机302生成的图像文件通过实时处理或批处理被输入到分析装置10。图像文件与生成日期和时间(生成定时)或成像日期和时间(成像定时)相关联。分析装置10和第三摄像机302可以被配置成能够通过任何通信单元彼此通信。
图7示出了本示例实施例的分析装置10的功能框图的示例。如图所示,分析装置10包括第一图像分析单元11、第一检测单元12、第二图像分析单元13、第二检测单元14、判定单元15、确定单元16、第三图像分析单元17和第三检测单元18。第一图像分析单元11、第一检测单元12、第二图像分析单元13、第二检测单元14和判定单元15的配置与第一示例实施例中的配置相同。
第三图像分析单元17利用与第一图像分析单元11相似的单元,从一个或多个第三图像检测车辆和人的面部。
第三检测单元18利用与第一检测单元12相同的单元,检测一个或多个第三图像中包括的车辆上的人数。
确定单元16将从第三图像检测到的人数确定为第三图像中包括的车辆上的人数。从第三图像检测到的人数是由第三检测单元18检测到的一个或多个第三图像中包括的车辆上的人数。确定单元16的其他配置与第一示例实施例中的配置相同。
接着,描述本示例实施例的修改示例。尽管上面描述了两个车道的示例,但是在三个或更多个车道的情况下也可以采用相同的单元。例如,对于从安装了传感器和摄像机的侧面观看时的近侧车道,可以采用分析从一个方向拍摄的图像的单元(由确定单元16、第三图像分析单元17和第三检测单元18实现的单元),而对于其他车道,可以采用分析从多个方向拍摄的图像的单元(由第一图像分析单元11、第一检测单元12、第二图像分析单元13、第二检测单元14、关联单元15和确定单元16实现的单元)。
在这种情况下,第一摄像机102可以沿着具有两个或更多个车道的道路安装,并且可以从侧面拍摄通过两个或更多个车道中除最靠近第一摄像机102的车道之外的一个或多个车道的车辆。第二摄像机202可以安装在具有两个或更多个车道的道路上方,并且可以从前方拍摄通过两个或更多个车道中除最靠近第一摄像机102的车道之外的一个或多个车道的车辆。
此外,如图10中所示,第一传感器101可以检测通过多个车道中的每个车道的车辆。在这种情况下,基于由距离传感器检测到的与车辆之间的距离,可以判定检测到车辆行驶在哪个车道上。然后,在检测到通过当从第一传感器101观看时的近侧车道的车辆的情况下,第三摄像机302执行成像。另一方面,在检测到通过当从第一传感器101观看时的远侧车道的车辆的情况下,第一摄像机102和第二摄像机202执行成像。
应注意,第二摄像机202可以被配置成拍摄两个车道。即使在这种情况下,如上所述,第二摄像机202也可以仅在检测到通过当从第一传感器101观看时的远侧车道的车辆的情况下执行成像,而在检测到通过当从第一传感器101观看时的近侧车道的车辆的情况下不执行成像。另外,即使在检测到通过任何车道的车辆的情况下,第二摄像机202也执行成像,并且由第二摄像机202生成的图像可以仅用于检测通过从第一传感器101观看时的远侧车道的车辆中的乘员数量。
另外,如下所述,分析装置10可以包括检测以下事实的单元:通过当从第一传感器101观看时的远侧车道(下文中称为“远车道”)的车辆被通过当从第一传感器101观看时的近侧车道(下文中称为“近车道”)的车辆(下文中称为“车辆遮挡”)挡住。
例如,分析装置10可以利用传感器来检测车辆遮挡。具体地,可以响应于在预定时间内检测到在近车道上行驶的车辆和在远车道上行驶的车辆,来检测车辆遮挡。另外,可以响应于在不再检测到在远车道上行驶的车辆之前检测到在近车道上行驶的车辆,来检测车辆遮挡(通过一个传感器检测两个车道的情况)。另外,可以响应于在检测到在近车道上行驶的车辆直至尾部之后无空缺地检测到在远车道上行驶的车辆,来检测车辆遮挡(通过一个传感器检测两个车道的情况)。
另外,分析装置10可以通过图像处理来检测车辆遮挡。例如,可以通过利用图像处理检测两个车辆重叠来检测车辆遮挡。
应注意,在远车道中的车辆被近车道中的车辆阻挡的情况下,可以启用从前方拍摄远车道的第二摄像机202。另外,在远车道的车辆被近车道的车辆遮住的情况下,也可以使用由第二摄像机202生成的图像来检测乘员数量,该图像通过从前方拍摄远车道而获得。在这种情况下,基于由从侧面拍摄远车道的第一摄像机102生成的图像来检测乘员数量的精确度变得不足。因此,使用由第二摄像机202生成的图像来检测乘员数量。
另一方面,在远车道中的车辆没有被近车道中的车辆遮住的情况下,即使检测到在远车道中行驶的车辆,也可以不启用从前方拍摄远车道的第二摄像机202。另外,在远车道上的车辆没有被近车道上的车辆遮住的情况下,也可以不使用由第二摄像机202生成的图像来检测乘员的数量,该图像通过从前方拍摄远车道而获得。在这种情况下,基于由从侧面拍摄远车道的第一摄像机102生成的图像来检测乘员数量的精确度在某种程度上变高。因此,仅使用由第一摄像机102生成的图像而不使用由第二摄像机202生成的图像来检测乘员数量。在这种情况下,可以减少由第二摄像机202执行的成像的数量,因此可以减少第二摄像机202的负担。此外,由于可以减少用于检测乘员数量的图像的数量,因此可以减少分析装置10的处理负担。
根据上述本示例实施例的分析装置10,可以实现与第一示例实施例相同的有利效果。
根据本示例实施例的分析装置10,可以针对具有两个或更多个车道的道路的每个车道,通过适当的方法来检测乘员数量。
例如,当从车辆的侧面拍摄图像时,通过远车道的车辆上的人可能被通过近侧的车辆遮蔽,并可能不包括在图像中。因此,对于远车道,采用分析由两个或更多个摄像机从多个方向拍摄的图像并对其结果进行综合的单元(由第一图像分析单元11、第一检测单元12、第二图像分析单元13、第二检测单元14、关联单元15和确定单元16实现的单元)。
另一方面,在从车辆的侧面拍摄图像的情况下,通过近车道的车辆上的人不太可能被其他车辆遮蔽。因此,对于近车道,采用分析从侧面拍摄的图像的单元(由确定单元16、第三图像分析单元17和第三检测单元18实现的单元)。
通过针对每个车道以适当的方法检测乘员的数量,可以在保持高检测精确度的同时,避免系统的规格过高,并降低成本负担。
下面附上参考方面的示例。
1.一种分析装置,包括:
第一图像分析单元,从由第一摄像机生成的第一图像检测人,所述第一摄像机用于拍摄通过道路的车辆;
第一检测单元,基于所述第一图像分析单元的检测结果,检测在所述第一图像中拍摄的车辆中的乘员数量;
第二图像分析单元,从由第二摄像机生成的第二图像检测人,所述第二摄像机用于拍摄通过所述道路的车辆;
第二检测单元,基于所述第二图像分析单元的检测结果,检测在所述第二图像中拍摄的车辆中的乘员数量;
判定单元,判定所述第一图像和所述第二图像是否满足预定条件;以及
确定单元,在所述第一图像和所述第二图像满足所述预定条件的情况下,利用由所述第一检测单元检测到的在所述第一图像中拍摄的车辆中的乘员数量和由所述第二检测单元检测到的在所述第二图像中拍摄的车辆中的乘员数量,来确定车辆中的乘员数量。
2.根据1所述的分析装置,
其中所述第一摄像机响应于第一传感器检测到车辆而生成所述第一图像,
其中所述第二摄像机响应于第二传感器检测到车辆而生成所述第二图像,
其中所述第一传感器从侧面检测通过所述道路的车辆,
其中所述第一摄像机从侧面拍摄所述车辆,
其中所述第二传感器从前方检测所述车辆,并且
其中所述第二摄像机从前方拍摄所述车辆。
3.根据1或2所述的分析装置,
其中所述第一摄像机沿着具有两个或更多个车道的道路安装,并且从侧面拍摄通过所述两个或更多个车道中除最靠近所述第一摄像机的车道之外的车道的车辆,并且
其中所述第二摄像机安装在所述具有两个或更多个车道的道路的上方,并且从前方拍摄通过所述两个或更多个车道中除最靠近所述第一摄像机的车道之外的车道的车辆。
4.根据1至3中任一项所述的分析装置,
其中所述判定单元判定生成所述第一图像的时间和生成所述第二图像的时间是否满足预定关系。
5.根据4所述的分析装置,
其中所述判定单元基于作为所述第一摄像机拍摄图像的位置的第一成像位置和作为所述第二摄像机拍摄图像的位置的第二成像位置之间的距离、以及所述车辆的速度,来计算车辆在所述第一成像位置和所述第二成像位置之间移动所需要的所需时间,并判定生成所述第一图像的时间和生成所述第二图像的时间之间的差是否满足基于所述所需时间确定的条件。
6.根据1至5中任一项所述的分析装置,
其中所述确定单元将由所述第一检测单元检测到的在所述第一图像中拍摄的车辆中的乘员数量和由所述第二检测单元检测到的在所述第二图像中拍摄的车辆中的乘员数量中的较大一个,确定为车辆中的乘员数量。
7.根据1至6中任一项所述的分析装置,
其中在所述第一图像与任何第二图像都不满足所述预定条件的情况下,所述确定单元利用由所述第一检测单元检测到的在所述第一图像中拍摄的车辆中的乘员数量,来确定所述车辆中的乘员数量。
8.根据1至6中任一项所述的分析装置,
其中在所述第一图像与任何第二图像都不满足所述预定条件的情况下,所述确定单元不对在所述第一图像中拍摄的车辆中的乘员数量进行确定,并且输出错误。
9.根据1至8中任一项所述的分析装置,
其中在所述第二图像与任何第一图像都不满足所述预定条件的情况下,利用由所述第二检测单元检测到的在所述第二图像中拍摄的车辆中的乘员数量来确定车辆中的乘员数量。
10.根据1至8中任一项所述的分析装置,
其中在所述第二图像与任何第一图像都不满足所述预定条件的情况下,所述确定单元不对在所述第二图像中拍摄的车辆中的乘员数量进行确定,并且输出错误。
11.一种由计算机执行的分析方法,所述方法包括:
第一图像分析步骤,从由第一摄像机生成的第一图像检测人,所述第一摄像机用于拍摄通过道路的车辆;
第一检测步骤,基于来自所述第一图像分析步骤的检测结果,检测在所述第一图像中拍摄的车辆中的乘员数量;
第二图像分析步骤,从由第二摄像机生成的第二图像检测人,所述第二摄像机用于拍摄通过所述道路的车辆;
第二检测步骤,基于来自所述第二图像分析步骤的检测结果,检测在所述第二图像中拍摄的车辆中的乘员数量;
判定步骤,判定所述第一图像和所述第二图像是否满足预定条件;以及
确定步骤,在所述第一图像和所述第二图像满足所述预定条件的情况下,利用在所述第一检测步骤中检测到的在所述第一图像中拍摄的车辆中的乘员数量和在所述第二检测步骤中检测到的在所述第二图像中拍摄的车辆中的乘员数量,来确定车辆中的乘员数量。
12.一种程序,使计算机用作:
第一图像分析单元,从由第一摄像机生成的第一图像检测人,所述第一摄像机用于拍摄通过道路的车辆;
第一检测单元,基于所述第一图像分析单元的检测结果,检测在所述第一图像中拍摄的车辆中的乘员数量;
第二图像分析单元,从由第二摄像机生成的第二图像检测人,所述第二摄像机用于拍摄通过所述道路的车辆;
第二检测单元,基于所述第二图像分析单元的检测结果,检测在所述第二图像中拍摄的车辆中的乘员数量;
判定单元,判定所述第一图像和所述第二图像是否满足预定条件;以及
确定单元,在所述第一图像和所述第二图像满足所述预定条件的情况下,利用由所述第一检测单元检测到的在所述第一图像中拍摄的车辆中的乘员数量和由所述第二检测单元检测到的在所述第二图像中拍摄的车辆中的乘员数量,来确定车辆中的乘员数量。
本申请要求基于2017年7月13日提交的日本专利申请第2017-136952号的优先权,并且其全部公开内容以引用方式并入本文中。
Claims (12)
1.一种分析装置,包括:
第一图像分析单元,从由第一摄像机生成的第一图像检测人,所述第一摄像机用于拍摄通过道路的车辆;
第一检测单元,基于所述第一图像分析单元的检测结果,检测在所述第一图像中拍摄的车辆中的乘员数量;
第二图像分析单元,从由第二摄像机生成的第二图像检测人,所述第二摄像机用于拍摄通过所述道路的车辆;
第二检测单元,基于所述第二图像分析单元的检测结果,检测在所述第二图像中拍摄的车辆中的乘员数量;
判定单元,判定所述第一图像和所述第二图像是否满足预定条件;以及
确定单元,在所述第一图像和所述第二图像满足所述预定条件的情况下,利用由所述第一检测单元检测到的在所述第一图像中拍摄的车辆中的乘员数量和由所述第二检测单元检测到的在所述第二图像中拍摄的车辆中的乘员数量,来确定车辆中的乘员数量。
2.根据权利要求1所述的分析装置,
其中所述第一摄像机响应于第一传感器检测到车辆而生成所述第一图像,
其中所述第二摄像机响应于第二传感器检测到车辆而生成所述第二图像,
其中所述第一传感器从侧面检测通过所述道路的车辆,
其中所述第一摄像机从侧面拍摄所述车辆,
其中所述第二传感器从前方检测所述车辆,并且
其中所述第二摄像机从前方拍摄所述车辆。
3.根据权利要求1或2所述的分析装置,
其中所述第一摄像机沿着具有两个或更多个车道的道路安装,并且从侧面拍摄通过所述两个或更多个车道中除最靠近所述第一摄像机的车道之外的车道的车辆,并且
其中所述第二摄像机安装在所述具有两个或更多个车道的道路的上方,并且从前方拍摄通过所述两个或更多个车道中除最靠近所述第一摄像机的车道之外的车道的车辆。
4.根据权利要求1至3中任一项所述的分析装置,
其中所述判定单元判定生成所述第一图像的时间和生成所述第二图像的时间是否满足预定关系。
5.根据权利要求4所述的分析装置,
其中所述判定单元基于作为所述第一摄像机拍摄图像的位置的第一成像位置和作为所述第二摄像机拍摄图像的位置的第二成像位置之间的距离、以及所述车辆的速度,来计算车辆在所述第一成像位置和所述第二成像位置之间移动所需要的所需时间,并判定生成所述第一图像的时间和生成所述第二图像的时间之间的差是否满足基于所述所需时间确定的条件。
6.根据权利要求1至5中任一项所述的分析装置,
其中所述确定单元将由所述第一检测单元检测到的在所述第一图像中拍摄的车辆中的乘员数量和由所述第二检测单元检测到的在所述第二图像中拍摄的车辆中的乘员数量中的较大一个,确定为车辆中的乘员数量。
7.根据权利要求1至6中任一项所述的分析装置,
其中在所述第一图像与任何第二图像都不满足所述预定条件的情况下,所述确定单元利用由所述第一检测单元检测到的在所述第一图像中拍摄的车辆中的乘员数量,来确定车辆中的乘员数量。
8.根据权利要求1至6中任一项所述的分析装置,
其中在所述第一图像与任何第二图像都不满足所述预定条件的情况下,所述确定单元不对在所述第一图像中拍摄的车辆中的乘员数量进行确定,并且输出错误。
9.根据权利要求1至8中任一项所述的分析装置,
其中在所述第二图像与任何第一图像都不满足所述预定条件的情况下,利用由所述第二检测单元检测到的在所述第二图像中拍摄的车辆中的乘员数量来确定车辆中的乘员数量。
10.根据权利要求1至8中任一项所述的分析装置,
其中在所述第二图像与任何第一图像都不满足所述预定条件的情况下,所述确定单元不对在所述第二图像中拍摄的车辆中的乘员数量进行确定,并且输出错误。
11.一种由计算机执行的分析方法,所述方法包括:
第一图像分析步骤,从由第一摄像机生成的第一图像检测人,所述第一摄像机用于拍摄通过道路的车辆;
第一检测步骤,基于来自所述第一图像分析步骤的检测结果,检测在所述第一图像中拍摄的车辆中的乘员数量;
第二图像分析步骤,从由第二摄像机生成的第二图像检测人,所述第二摄像机用于拍摄通过所述道路的车辆;
第二检测步骤,基于来自所述第二图像分析步骤的检测结果,检测在所述第二图像中拍摄的车辆中的乘员数量;
判定步骤,判定所述第一图像和所述第二图像是否满足预定条件;以及
确定步骤,在所述第一图像和所述第二图像满足所述预定条件的情况下,利用在所述第一检测步骤中检测到的在所述第一图像中拍摄的车辆中的乘员数量和在所述第二检测步骤中检测到的在所述第二图像中拍摄的车辆中的乘员数量,来确定车辆中的乘员数量。
12.一种程序,使计算机用作:
第一图像分析单元,从由第一摄像机生成的第一图像检测人,所述第一摄像机用于拍摄通过道路的车辆;
第一检测单元,基于所述第一图像分析单元的检测结果,检测在所述第一图像中拍摄的车辆中的乘员数量;
第二图像分析单元,从由第二摄像机生成的第二图像检测人,所述第二摄像机用于拍摄通过所述道路的车辆;
第二检测单元,基于所述第二图像分析单元的检测结果,检测在所述第二图像中拍摄的车辆中的乘员数量;
判定单元,判定所述第一图像和所述第二图像是否满足预定条件;以及
确定单元,在所述第一图像和所述第二图像满足所述预定条件的情况下,利用由所述第一检测单元检测到的在所述第一图像中拍摄的车辆中的乘员数量和由所述第二检测单元检测到的在所述第二图像中拍摄的车辆中的乘员数量,来确定车辆中的乘员数量。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017136952 | 2017-07-13 | ||
JP2017-136952 | 2017-07-13 | ||
PCT/JP2017/038455 WO2019012710A1 (ja) | 2017-07-13 | 2017-10-25 | 解析装置、解析方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110892446A true CN110892446A (zh) | 2020-03-17 |
Family
ID=65002505
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780093095.8A Pending CN110892446A (zh) | 2017-07-13 | 2017-10-25 | 分析装置、分析方法和程序 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11538258B2 (zh) |
EP (1) | EP3654276B1 (zh) |
JP (1) | JP7048157B2 (zh) |
CN (1) | CN110892446A (zh) |
AU (1) | AU2017423460A1 (zh) |
WO (1) | WO2019012710A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210065543A1 (en) * | 2017-12-31 | 2021-03-04 | Axilion Ltd. | Method, Device, and System of Traffic Light Control Utilizing Virtual Detectors |
WO2021186505A1 (ja) * | 2020-03-16 | 2021-09-23 | 日本電気株式会社 | 状況通知装置、状況通知システム、状況通知方法およびプログラム記憶媒体 |
FR3111449B1 (fr) | 2020-06-15 | 2023-04-07 | Fareco | Systèmes et méthodes de détermination d’un nombre de personnes dans un véhicule |
EP4365858A1 (de) * | 2022-11-07 | 2024-05-08 | Yunex Traffic Austria GmbH | Verfahren und vorrichtung zum ermitteln einer anzahl von personen in einem fahrenden fahrzeug |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130278768A1 (en) * | 2012-04-24 | 2013-10-24 | Xerox Corporation | System and method for vehicle occupancy detection using smart illumination |
US20150278617A1 (en) * | 2012-10-26 | 2015-10-01 | Nec Corporation | Device, method and program for measuring number of passengers |
US20150294144A1 (en) * | 2012-10-19 | 2015-10-15 | Nec Corporation | Passenger counting system, passenger counting method and passenger counting program |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004348469A (ja) | 2003-05-22 | 2004-12-09 | Mitsubishi Heavy Ind Ltd | 信号無視検知システム |
US20090309974A1 (en) * | 2008-05-22 | 2009-12-17 | Shreekant Agrawal | Electronic Surveillance Network System |
US20100169007A1 (en) * | 2008-12-30 | 2010-07-01 | Shashikumar Kaushik | Method and apparatus for navigation system for detecting and warning traffic rule violation |
US20120033123A1 (en) * | 2010-08-06 | 2012-02-09 | Nikon Corporation | Information control apparatus, data analyzing apparatus, signal, server, information control system, signal control apparatus, and program |
US8811664B2 (en) * | 2011-12-06 | 2014-08-19 | Xerox Corporation | Vehicle occupancy detection via single band infrared imaging |
US20140334684A1 (en) * | 2012-08-20 | 2014-11-13 | Jonathan Strimling | System and method for neighborhood-scale vehicle monitoring |
US10453084B2 (en) * | 2012-12-21 | 2019-10-22 | Intel Corporation | Systems and methods for generating and validating incentives based on multi-person vehicle occupancy |
WO2014172320A1 (en) * | 2013-04-15 | 2014-10-23 | Flextronics Ap, Llc | Vehicle location-based home automation triggers |
US20150062340A1 (en) * | 2013-09-03 | 2015-03-05 | International Business Machines Corporation | High Occupancy Toll Lane Compliance |
JP6458734B2 (ja) | 2013-10-09 | 2019-01-30 | 日本電気株式会社 | 乗車人数計測装置、乗車人数計測方法および乗車人数計測プログラム |
US9652851B2 (en) * | 2014-04-01 | 2017-05-16 | Conduent Business Services, Llc | Side window detection in near-infrared images utilizing machine learning |
JP6482852B2 (ja) * | 2014-12-22 | 2019-03-13 | セコム株式会社 | 追跡処理装置 |
US20170017846A1 (en) * | 2015-07-15 | 2017-01-19 | Umm Al-Qura University | Crowd and traffic monitoring apparatus and method |
JP2017136952A (ja) | 2016-02-03 | 2017-08-10 | 日立金属株式会社 | トロリ線及びシンプルカテナリー式架線 |
US9928424B2 (en) * | 2016-02-22 | 2018-03-27 | Conduent Business Services, Llc | Side window detection through use of spatial probability maps |
-
2017
- 2017-10-25 CN CN201780093095.8A patent/CN110892446A/zh active Pending
- 2017-10-25 EP EP17917502.1A patent/EP3654276B1/en active Active
- 2017-10-25 US US16/629,091 patent/US11538258B2/en active Active
- 2017-10-25 AU AU2017423460A patent/AU2017423460A1/en not_active Abandoned
- 2017-10-25 JP JP2019529433A patent/JP7048157B2/ja active Active
- 2017-10-25 WO PCT/JP2017/038455 patent/WO2019012710A1/ja unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130278768A1 (en) * | 2012-04-24 | 2013-10-24 | Xerox Corporation | System and method for vehicle occupancy detection using smart illumination |
US20150294144A1 (en) * | 2012-10-19 | 2015-10-15 | Nec Corporation | Passenger counting system, passenger counting method and passenger counting program |
US20150278617A1 (en) * | 2012-10-26 | 2015-10-01 | Nec Corporation | Device, method and program for measuring number of passengers |
Also Published As
Publication number | Publication date |
---|---|
EP3654276B1 (en) | 2023-09-13 |
EP3654276A1 (en) | 2020-05-20 |
US20200210732A1 (en) | 2020-07-02 |
AU2017423460A1 (en) | 2020-01-16 |
EP3654276A4 (en) | 2020-06-24 |
US11538258B2 (en) | 2022-12-27 |
JPWO2019012710A1 (ja) | 2020-03-19 |
JP7048157B2 (ja) | 2022-04-05 |
WO2019012710A1 (ja) | 2019-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7216672B2 (ja) | 統合撮像装置を使用しての視覚的データ、深さデータ、および微小振動データの抽出 | |
Liang et al. | Real-time detection of driver cognitive distraction using support vector machines | |
US10373024B2 (en) | Image processing device, object detection device, image processing method | |
CN110892446A (zh) | 分析装置、分析方法和程序 | |
US10922565B2 (en) | Passenger counting device, system, method and program | |
CN108116408A (zh) | 多传感器概率对象和自动制动 | |
WO2019097595A1 (ja) | 車外コミュニケーション装置、車外コミュニケーション方法、情報処理装置、及び車外コミュニケーションプログラム | |
WO2019016971A1 (ja) | 乗員数検知システム、乗員数検知方法、およびプログラム | |
JP6820075B2 (ja) | 乗員数検知システム、乗員数検知方法、およびプログラム | |
KR20120067890A (ko) | 영상분석장치 및 그 방법 | |
WO2023093306A1 (zh) | 车辆换道的控制方法和装置、电子设备和存储介质 | |
US11138755B2 (en) | Analysis apparatus, analysis method, and non transitory storage medium | |
JP2022095079A (ja) | 物体識別装置、および、物体識別方法 | |
JP4719605B2 (ja) | 対象物検出用データ生成装置、方法及びプログラム並びに対象物検出装置、方法及びプログラム | |
CN112304293A (zh) | 道路高度检测方法、装置、可读存储介质和电子设备 | |
CN116152790B (zh) | 一种安全带检测方法及装置 | |
Sugiharto et al. | Automated Detection of Driver and Passenger Without Seat Belt using YOLOv8. | |
JP2024020838A (ja) | 表示制御装置 | |
JP2024029977A (ja) | 表示制御装置 | |
KR20230096530A (ko) | 주행 제어 장치 및 방법 | |
JP2024059261A (ja) | 道路標示検出装置 | |
CN117121061A (zh) | 用于生成注意区域的计算机实现的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200317 |
|
WD01 | Invention patent application deemed withdrawn after publication |