CN116704447A - 交通工具中出入行为的识别方法、装置、设备及存储介质 - Google Patents

交通工具中出入行为的识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116704447A
CN116704447A CN202310988122.5A CN202310988122A CN116704447A CN 116704447 A CN116704447 A CN 116704447A CN 202310988122 A CN202310988122 A CN 202310988122A CN 116704447 A CN116704447 A CN 116704447A
Authority
CN
China
Prior art keywords
vehicle
target
width
head
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310988122.5A
Other languages
English (en)
Other versions
CN116704447B (zh
Inventor
袁施薇
李发成
张如高
虞正华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Moshi Intelligent Technology Co ltd
Original Assignee
Jiangsu Moshi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Moshi Intelligent Technology Co ltd filed Critical Jiangsu Moshi Intelligent Technology Co ltd
Priority to CN202310988122.5A priority Critical patent/CN116704447B/zh
Publication of CN116704447A publication Critical patent/CN116704447A/zh
Application granted granted Critical
Publication of CN116704447B publication Critical patent/CN116704447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本申请是关于一种交通工具中出入行为的识别方法、装置、设备及存储介质，具体涉及计算机视觉技术领域。方法包括：获取跟踪图片序列中的目标跟踪图片，跟踪图片序列包括由单目相机拍摄得到的多张目标乘客对应的跟踪图片，单目相机对准于交通工具的门口位置，目标跟踪图片包括初始跟踪图片、结束跟踪图片；结合交通工具的台阶高度，对目标跟踪图片中的头部检测框分别进行交通工具坐标系下交通工具内部、外部情况下的宽度计算；基于头部检测框在交通工具内外部情况下的宽度计算结果，对目标跟踪图片中目标乘客进行交通工具内外部的判定；根据目标跟踪图片中目标乘客的交通工具内外部的判定结果，确定目标乘客在交通工具的出入行为。

Description

交通工具中出入行为的识别方法、装置、设备及存储介质
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种交通工具中出入行为的识别方法、装置、设备及存储介质。
背景技术
为了更好地对交通工具进行调度，需对交通工具的客流进行统计。
相关技术中，可以设置单目相机，利用视觉技术识别出乘客在交通工具的出入行为，以进行交通工具的客流统计：由单目相机对交通工具的门口位置进行拍摄，识别乘客的头部检测框在图片中的图像坐标，将此图像坐标与一个图像坐标阈值比较，图像坐标阈值可以表征门口的位置，根据比较结果识别乘客在交通工具的出入行为。
在实际应用场景中，由于单目相机在交通工具中安装时，可能安装在不同的高度以及角度，对于不同的交通工具，难以使用相同的图像坐标阈值对乘客的出入行为进行判断，因此，需要提供一种适用性更好的解决方案。
发明内容
本申请提供了一种交通工具中出入行为的识别方法、装置、设备及存储介质，该技术方案如下。
一方面，提供了交通工具中出入行为的识别方法，所述方法包括：
获取跟踪图片序列中的目标跟踪图片，所述跟踪图片序列包括由单目相机拍摄得到的多张目标乘客对应的跟踪图片，所述单目相机对准于所述交通工具的门口位置，所述目标跟踪图片包括初始跟踪图片、结束跟踪图片；
结合所述交通工具的台阶高度，对所述目标跟踪图片中的头部检测框分别进行交通工具坐标系下交通工具内部情况下的宽度计算、交通工具坐标系下交通工具外部情况下的宽度计算，所述头部检测框用于检测并框中所述目标乘客在跟踪图片中的头部；
基于所述头部检测框在交通工具内外部情况下的宽度计算结果，对所述目标跟踪图片中所述目标乘客进行交通工具内外部的判定；
根据所述目标跟踪图片中所述目标乘客的交通工具内外部的判定结果，确定所述目标乘客在所述交通工具中的出入行为。
又一方面，提供了一种交通工具中出入行为的识别装置，所述装置包括：
图片获取模块，用于获取跟踪图片序列中的目标跟踪图片，所述跟踪图片序列包括由单目相机拍摄得到的多张目标乘客对应的跟踪图片，所述单目相机对准于所述交通工具的门口位置，所述目标跟踪图片包括初始跟踪图片、结束跟踪图片；
宽度计算模块，用于结合所述交通工具的台阶高度，对所述目标跟踪图片中的头部检测框分别进行交通工具坐标系下交通工具内部情况下的宽度计算、交通工具坐标系下交通工具外部情况下的宽度计算，所述头部检测框用于检测并框中所述目标乘客在跟踪图片中的头部；
内外部判定模块，用于基于所述头部检测框在交通工具内外部情况下的宽度计算结果，对所述目标跟踪图片中所述目标乘客进行交通工具内外部的判定；
出入行为确定模块，用于根据所述目标跟踪图片中所述目标乘客的交通工具内外部的判定结果，确定所述目标乘客在所述交通工具中的出入行为。
又一方面，提供了一种计算机设备，其特征在于，所述计算机设备中包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现上述的交通工具中出入行为的识别方法。
又一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述的交通工具中出入行为的识别方法。
再一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的交通工具中出入行为的识别方法。
本申请提供的技术方案可以包括以下有益效果：
在通过单目相机拍摄得到目标乘客对应的跟踪图片序列后，对跟踪图片序列中目标跟踪图片中的目标乘客进行交通工具内外部的判定，且目标跟踪图片包括初始跟踪图片、结束跟踪图片：结合交通工具的台阶高度，对目标跟踪图片中的头部检测框分别进行交通工具坐标系下交通工具内部、外部情况下的宽度计算，得到头部检测框在交通工具内外部情况下的宽度计算结果，基于上述宽度计算结果，确定目标跟踪图片中目标乘客的交通工具内外部的判定结果，进而确定目标乘客在交通工具中的出入行为，从而可以在单目相机的各种安装高度以及安装角度任意的情况下，均能准确地识别出目标乘客在交通工具中的出入行为。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的台阶对单目相机识别交通工具中出入行为的影响的示意图。
图2是根据一示例性实施例示出的交通工具中出入行为的识别方法的方法流程图。
图3是根据一示例性实施例示出的交通工具中出入行为的识别方法的方法流程图。
图4是根据一示例性实施例示出的交通工具坐标系的示意图。
图5是根据一示例性实施例示出的头部检测框的示意图。
图6是根据一示例性实施例示出的一种交通工具中出入行为的识别装置的结构方框图。
图7是根据一示例性实施例提供的一种计算机设备的示意图。
具体实施方式
下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应理解，在本申请的实施例中提到的“指示”可以是直接指示，也可以是间接指示，还可以是表示具有关联关系。举例说明，A指示B，可以表示A直接指示B，例如B可以通过A获取；也可以表示A间接指示B，例如A指示C，B可以通过C获取；还可以表示A和B之间具有关联关系。
在本申请实施例的描述中，术语“对应”可表示两者之间具有直接对应或间接对应的关系，也可以表示两者之间具有关联关系，也可以是指示与被指示、配置与被配置等关系。
本申请实施例中，“预定义”可以通过在设备（例如，包括终端设备和网络设备）中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本申请对于其具体的实现方式不做限定。
对于单目相机设置下的乘客在交通工具的出入行为的识别，一般经验性地使用图像坐标阈值，根据乘客在图像上的位置与图像坐标阈值的比较，判断乘客是进入还是离开交通工具。
而在实际使用中，不同型号的交通工具可以安装镜头的角度、高度是受限的，这使得不能使用相同的图像坐标阈值对这些交通工具进行单目相机设置下的乘客的出入行为的识别。
此外，由于交通工具的台阶高低不同，会出现交通工具外的乘客和交通工具内的乘客的头部检测框出现在相同的图像坐标，如图1所示，导致无法正确地根据图像坐标阈值识别乘客的出入行为，此问题也亟需解决。
基于此，本申请提供了一种单目相机设置下的交通工具中出入行为的识别方法，可以避免不同镜头安装角度、不同镜头安装高度、不同台阶高度对识别准确性的影响。
可以理解的是，本申请得到的交通工具中出入行为的识别结果可以应用于交通工具的客流统计中，客流统计是指检测交通工具开门期间，统计上车和下车的人数。从商业运营角度，统计各个时间段不同交通工具的客流可以更好地改善交通工具调度系统，缓解乘客拥堵和等待问题，或者，从公交安全角度，是否超载、是否人员到齐，都需要准确的客流人数统计。本申请对得到的交通工具中出入行为的识别结果的具体应用并不加以限制。
下面，对本申请提供的技术方案进行进一步说明。
图2是根据一示例性实施例示出的交通工具中出入行为的识别方法的方法流程图。该方法应用于计算机设备中。如图2所示，该交通工具中出入行为的识别方法可以包括如下步骤：
步骤210：获取跟踪图片序列中的目标跟踪图片，跟踪图片序列包括由单目相机拍摄得到的多张目标乘客对应的跟踪图片，单目相机对准于交通工具的门口位置，目标跟踪图片包括初始跟踪图片、结束跟踪图片。
在本申请实施例中，在交通工具中设置有单目相机，其对准于交通工具的门口位置，单目相机拍摄得到门口位置的图片，对这些图片进行目标乘客的跟踪检测，得到多张目标乘客对应的跟踪图片，构成跟踪图片序列。
其中，目标跟踪图片中包括：跟踪图片序列中时间处于最先的初始跟踪图片、跟踪图片序列中时间处于最后的结束跟踪图片。
示例性的，单目相机对对准于交通工具的门口位置，拍摄得到图片1至图片10，且图片1至图片10按照时间顺序由先到后排列，其中，图片1至图片5中有拍摄到目标乘客，则图片1至图片5组成目标乘客对应的跟踪图片序列，且图片1是初始跟踪图片，图片5是结束跟踪图片，初始跟踪图片与结束跟踪图片认为是目标跟踪图片，需要对目标跟踪图片执行下面的步骤。
步骤220：结合交通工具的台阶高度，对目标跟踪图片中的头部检测框分别进行交通工具坐标系下交通工具内部情况下的宽度计算、交通工具坐标系下交通工具外部情况下的宽度计算，头部检测框用于检测并框中目标乘客在跟踪图片中的头部。
在本申请实施例中，交通工具的门口位置具备台阶，台阶之下可以认为与地面齐平、处于交通工具外部，台阶之上可以认为高于地面、处于交通工具内部，若乘客进入该交通工具，则需要从外部上台阶，若乘客离开该交通工具，则需要从内部下台阶。
在本申请实施例中，对交通工具建立有交通工具坐标系，对目标跟踪图片检测得到头部检测框，头部检测框用于检测并框中目标乘客在跟踪图片中的头部，因此，可以结合交通工具的台阶高度，根据目标跟踪图片中的头部检测框进行交通工具坐标系下的宽度计算，宽度计算分为两个场景：一是假设目标乘客处于交通工具内部的情况下，头部检测框在交通工具坐标系下的宽度；二是假设目标乘客处于交通工具外部的情况下，头部检测框在交通工具坐标系下的宽度。最终分别得到初始跟踪图片中头部检测框在交通工具坐标系下交通工具内部情况下的宽度计算结果、交通工具坐标系下交通工具外部情况下的宽度计算结果；结束跟踪图片中头部检测框在交通工具坐标系下交通工具外部情况下的宽度计算结果、交通工具坐标系下交通工具外部情况下的宽度计算结果。
可以理解的是，由于宽度计算结果是头部检测框在交通工具坐标系下所计算得到的，且头部检测框是框中目标乘客的头部，因此，宽度计算结果可以认为是根据头部检测框计算得到的目标乘客的头部在现实中的宽度。
步骤230：基于头部检测框的宽度计算结果，对目标跟踪图片中目标乘客进行交通工具内外部的判定。
在本申请实施例中，根据初始跟踪图片中头部检测框在交通工具内外部情况下的宽度计算结果，判定初始跟踪图片中目标乘客的交通工具内外部情况；根据结束跟踪图片中头部检测框在交通工具内外部情况下的宽度计算结果，判定结束跟踪图片中目标乘客的交通工具内外部情况。
步骤240：根据目标跟踪图片中目标乘客的交通工具内外部的判定结果，确定目标乘客在交通工具中的出入行为。
在本申请实施例中，根据初始跟踪图片中目标乘客的交通工具内外部的判定结果、结束跟踪图片中目标乘客的交通工具内外部的判定结果，确定目标乘客在交通工具的出入行为。
综上所述，本实施例提供的交通工具中出入行为的识别方法，在通过单目相机拍摄得到目标乘客对应的跟踪图片序列后，对跟踪图片序列中目标跟踪图片中的目标乘客进行交通工具内外部的判定，目标跟踪图片包括初始跟踪图片、结束跟踪图片：结合交通工具的台阶高度，对目标跟踪图片中的头部检测框分别进行交通工具坐标系下交通工具内部、外部情况下的宽度计算，得到头部检测框在交通工具内外部情况下的宽度计算结果，基于上述宽度计算结果，确定目标跟踪图片中目标乘客的交通工具内外部的判定结果，进而确定目标乘客在交通工具中的出入行为，从而可以在单目相机的各种安装高度以及安装角度任意的情况下，均能准确地识别出目标乘客在交通工具中的出入行为。
在示意性实施例中，通过预设交通工具坐标系下，目标跟踪图片中的头部检测框在交通工具内外部场景下的不同的Z轴数值，可以计算得到头部检测框在交通工具内外部场景下的所表征的不同的人头宽度，进而通过人头宽度筛选出合理的目标乘客的交通工具内外部情况的判定结果。
图3是根据一示例性实施例示出的交通工具中出入行为的识别方法的方法流程图。该方法应用于计算机设备中。如图3所示，该交通工具中出入行为的识别方法可以包括如下步骤：
步骤310：获取跟踪图片序列中的目标跟踪图片，跟踪图片序列包括由单目相机拍摄得到的多张目标乘客对应的跟踪图片，单目相机对准于交通工具的门口位置，目标跟踪图片包括初始跟踪图片、结束跟踪图片。
在一种可能的实现方式中，通过头部检测框的跟踪匹配，获取目标乘客对应的跟踪图片序列。
示例性的，将单目相机拍摄得到的图片送入一个检测模型，得到头部检测框，例如faster-rcnn等；对头部检测框进行前后帧检测框进行匹配，例如最近邻匹配、匈牙利匹配；根据匹配的头部检测框进行跟踪，得到目标乘客对应的跟踪图片序列，进而将跟踪图片序列送入下面的步骤进行验证，例如卡尔曼滤波。
步骤320：在预设目标跟踪图片中的头部检测框在交通工具坐标系下的Z轴数值为H的情况下，计算第一人头宽度，第一人头宽度是在目标乘客在交通工具内部的情况下，目标跟踪图片中的头部检测框所表征的人头宽度，H为乘客身高。
步骤330：在预设目标跟踪图片中的头部检测框在交通工具坐标系下的Z轴数值为H-Hstep的情况下，计算第二人头宽度，第二人头宽度是在目标乘客在交通工具外部的情况下，目标跟踪图片中的头部检测框所表征的人头宽度，Hstep为台阶高度。
其中，交通工具坐标系以交通工具的门口的左侧角点为坐标原点，朝右为X轴，朝外为Y轴，朝上为Z轴。
在一种可能的实现方式中，交通工具坐标系的建模过程如下：
（1）获取单目相机拍摄得到的交通工具的无人状态照片。
其中，无人状态照片指的是单目相机所拍摄的交通工具的照片中不包含乘客。
（2）对交通工具的无人状态照片进行关键点识别，得到交通工具的角点，角点包括：车门框的角点、站立禁止区的角点。
其中，角点指的是局部曲率最大点。在本申请实施例中，检测车门框的两个角点，以及公交车的站立禁区内部的两个角点，得到对应的像素坐标。站立禁止区指的是交通工具的门口位置处提示乘客禁止站立的区域，本申请实施例对该站立禁止区的形状不加以限制。
在一种可能的实现方式中，使用分割网络从无人状态照片的热力图上进行关键点识别，得到角点。
（3）基于交通工具的角点，建立交通工具坐标系。
在交通工具的型号已知的情况下，可以得到车门框的角点、站立禁止区的角点的三维位置，从而建立交通工具坐标系。
示例性的，结合参考图4，在得到车门框角点位置、站立禁止区角点位置之后，以交通工具的门口的左侧角点为坐标原点，朝右为X轴，朝外为Y轴，朝上为Z轴，建立交通工具坐标系。
可以理解的是，在获知角点在无人状态照片中的像素坐标、以及在交通工具坐标系下的三维坐标的情况下，通过多点透视成像（Perspective-n-Point，PnP），可以得到相机外参R、t。
结合参考图1，交通工具的门口位置存在台阶，当乘客处于交通工具外部时，交通工具坐标系下的乘客高度应该等于乘客自身高度减去台阶高度，当乘客处于交通工具内部时，交通工具坐标系下的乘客高度应该等于乘客自身高度。
因此，在本申请实施例中，对目标跟踪图片中头部检测框在交通工具坐标系下的Z轴数值进行不同场景下的预设，如：目标乘客在交通工具内部的情况下，Z轴数值为乘客身高H，目标乘客在交通工具外部的情况下，Z轴数值为乘客身高H与台阶高度之间的差值，在上述预设下，可以计算得到目标跟踪图片中的头部检测框在不同场景下所表征的人头宽度。
在一种可能的实现方式中，通过如下过程具体计算出第一人头宽度、第二人头宽度：
（1）将目标跟踪图片中的人脸检测框在图片坐标系下的坐标（x，y）转换为相机坐标系下的三维坐标，X、Y、Z为相机坐标系下的三维坐标，K为相机内参，u、v为相机坐标系下人脸检测框的Z轴坐标归一化后对应的X轴数值、Y轴数值，k为相机坐标系下Z轴坐标归一化前后的比例系数。
可以理解的是，对于人脸检测框在图片坐标系下的坐标（x，y），其与人脸检测框在相机坐标系下的三维坐标（X，Y，Z）存在如下关联：
其中，c为坐标系归一化系数，K为相机内参。
因此，对上述公式进行变化，可以得到正比于/>的关系，再对相机坐标系下人脸检测框的Z轴坐标归一化，假设/>，则可以根据上述正比于的关系，计算得到u、v的具体数值。
（2）将目标跟踪图片中的人脸检测框在相机坐标系下的坐标转换为交通工具坐标系下的三维坐标/>，R、t为相机外参，为交通工具坐标系下人脸检测框的三维坐标。
（3）将。
可以理解的是，K、R、t均为已知值，在下述步骤中为给定值，通过给定/>，可以计算出上述公式中的k，进而计算出/>的数值。
（4）在为H的情况下，分别计算/>、，将上述两个三维坐标之间的距离作为第一人头宽度，H为乘客身高。
为H的情况对应的是目标乘客处于交通工具内部的场景，因此，基于此数值计算出的第一人头宽度是在目标乘客在交通工具内部的情况下，目标跟踪图片中的头部检测框所表征的人头宽度。
（5）在为H-Hstep的情况下，分别计算/>、，将上述两个三维坐标之间的距离作为第二人头宽度，Hstep为台阶高度。
为H-Hstep的情况对应的是目标乘客处于交通工具外部的场景，因此，基于此数值计算出的第二人头宽度是在目标乘客在交通工具外部的情况下，目标跟踪图片中的头部检测框所表征的人头宽度。
其中，x1、y1为头部检测框在图片坐标系下的左上点坐标，x2、y2为头部检测框在图片坐标系下的右下点坐标。
示例性的，结合参考图5，人脸检测框如图5所示，其左上点坐标为（x1，y1），右下点坐标为（x2，y2），将图片坐标系下的（）变换到交通工具坐标系下，得到变换后的表达式/>，类似地，将图片坐标系下的（）变换到交通工具坐标系下，得到变换后的表达式，上述两个交通工具坐标系下的三维位置之间的距离可以理解为目标乘客在现实世界的人头宽度。
在一种可能的实现方式中，在满足宽度计算条件的情况下，执行计算交通工具坐标系下的第一人头宽度、第二人头宽度的步骤；其中，宽度计算条件包括：为H时，计算得到的/>小于0；/>为H-Hstep时，计算得到的/>大于0。
可以理解的是，单目相机的一些安装角度可能会避免台阶的影响，比如，单目相机固定在交通工具的门口，且相机垂直向下，此时，针对人脸检测框没有必要进行人头宽度的计算，且，计算人脸检测框在交通工具坐标系下的交通工具内外部的三维坐标时也会存在错误，因此，设置宽度计算条件，仅在满足宽度计算条件的两个条件的情况下，才执行后续的计算交通工具坐标系下的第一人头宽度、第二人头宽度的步骤。
步骤340：对第一人头宽度、第二人头宽度进行合理性判断，以确定目标跟踪图片中目标乘客的交通工具内外部的判定结果。
可以理解的是，上述得到的第一人头宽度、第二人头宽度是在分别假设目标乘客处于交通工具内部、外部的场景下所计算得到的，而目标乘客当前实际上只可能处于其中的一种场景下，因此，仅有一种场景下计算出的人头宽度是合理的，可以将具备合理性的人头宽度对应的场景作为目标跟踪图片中目标乘客的交通工具内外部的判定结果。
在一种可能的实现方式中，计算第一宽度差值、第二宽度差值，第一宽度差值是第一人头宽度与人头平均宽度之间的差值，第二宽度差值是第二宽度差值与人头平均宽度之间的差值；确定第一宽度差值、第二宽度差值中的较小值，将较小值对应的交通工具内外部情况作为目标跟踪图片的判定结果。
其中，人头平均宽度是现实世界中，人头宽度的一个平均值。通过与人头平均宽度的比较，可以确定第一人头宽度、第二人头宽度的合理性。
示例性的，人头平均宽度为18cm，若第一人头宽度为19cm，第二人头宽度为10cm，则第一宽度差值为1cm，第二宽度差值为8cm，第一宽度差值小于第二宽度差值，第一人头宽度更具合理性，目标跟踪图片中目标乘客处于交通工具内部。
步骤350：根据目标跟踪图片中目标乘客的交通工具内外部的判定结果，确定目标乘客在交通工具的出入行为。
在一种可能的实现方式中，在初始跟踪图片表示目标乘客在交通工具外部、结束跟踪图片表示目标乘客在交通工具内部的情况下，确定目标乘客进入交通工具。
在一种可能的实现方式中，在初始跟踪图片表示目标乘客在交通工具内部、结束跟踪图片表示目标乘客在交通工具外部的情况下，确定目标乘客离开交通工具。
此外，若初始跟踪图片表示目标乘客在交通工具内部、结束跟踪图片也表示目标乘客在交通工具内部，或者，初始跟踪图片表示目标乘客在交通工具外部、结束跟踪图片也表示目标乘客在交通工具外部，则排除该目标乘客，认为该目标乘客没有出入交通工具。
综上所述，本实施例提供的交通工具中出入行为的识别方法，通过预设交通工具坐标系下，目标跟踪图片中的头部检测框在交通工具内外部场景下的不同的Z轴数值，可以计算得到头部检测框在交通工具内外部场景下的所表征的不同的人头宽度，进而通过人头宽度筛选出目标乘客的交通工具内外部情况的判定结果，保障目标乘客的交通工具内外部情况的判定结果的准确性。
需要说明的是，上述方法实施例中仅以交通工具中存在一个台阶进行说明，基于上述技术方案，可以想到多个台阶的场景下，可以类似地分别计算：（1）在目标乘客在交通工具外部的情况下，目标跟踪图片中的头部检测框所表征的人头宽度；（2）在目标乘客在交通工具内部第一个台阶的情况下，目标跟踪图片中的头部检测框所表征的人头宽度；……；(n) 在目标乘客在交通工具内部第n-1个台阶的情况下，目标跟踪图片中的头部检测框所表征的人头宽度，通过人头宽度筛选出目标乘客的交通工具内外部情况以及台阶情况的判定结果，进而识别出目标乘客在交通工具中的出入行为。上述过程也在本申请的保护范围之内。
需要说明的是，上述方法实施例可以单独实施例，也可以组合实施，本申请对此不加以限制。
图6是根据一示例性实施例示出的一种交通工具中出入行为的识别装置的结构方框图。所述装置包括：
图片获取模块601，用于获取跟踪图片序列中的目标跟踪图片，所述跟踪图片序列包括由单目相机拍摄得到的多张目标乘客对应的跟踪图片，所述单目相机对准于所述交通工具的门口位置，所述目标跟踪图片包括初始跟踪图片、结束跟踪图片；
宽度计算模块602，用于结合所述交通工具的台阶高度，对所述目标跟踪图片中的头部检测框分别进行交通工具坐标系下交通工具内部情况下的宽度计算、交通工具坐标系下交通工具外部情况下的宽度计算，所述头部检测框用于检测并框中所述目标乘客在跟踪图片中的头部；
内外部判定模块603，用于基于所述头部检测框在交通工具内外部情况下的宽度计算结果，对所述目标跟踪图片中所述目标乘客进行交通工具内外部的判定；
出入行为确定模块604，用于根据所述目标跟踪图片中所述目标乘客的交通工具内外部的判定结果，确定所述目标乘客在所述交通工具中的出入行为。
在一种可能的实现方式中，所述交通工具坐标系以交通工具的门口的左侧角点为坐标原点，朝右为X轴，朝外为Y轴，朝上为Z轴；
所述宽度计算模块602，用于：
在预设所述目标跟踪图片中的头部检测框在交通工具坐标系下的Z轴数值为H的情况下，计算第一人头宽度，所述第一人头宽度是在所述目标乘客在交通工具内部的情况下，所述目标跟踪图片中的头部检测框所表征的人头宽度，H为乘客身高；
在预设所述目标跟踪图片中的头部检测框在交通工具坐标系下的Z轴数值为H-Hstep的情况下，计算第二人头宽度，所述第二人头宽度是在所述目标乘客在交通工具外部的情况下，所述目标跟踪图片中的头部检测框所表征的人头宽度，Hstep为台阶高度；
所述内外部判定模块603，用于：
对所述第一人头宽度、所述第二人头宽度进行合理性判断，确定所述目标跟踪图片中所述目标乘客的交通工具内外部的判定结果。
在一种可能的实现方式中，所述宽度计算模块602，用于：
将所述目标跟踪图片中的人脸检测框在图片坐标系下的坐标（x，y）转换为相机坐标系下的三维坐标，X、Y、Z为相机坐标系下的三维坐标，K为相机内参，u、v为相机坐标系下人脸检测框的Z轴坐标归一化后对应的X轴数值、Y轴数值，k为相机坐标系下Z轴坐标归一化前后的比例系数；
将所述目标跟踪图片中的人脸检测框在相机坐标系下的坐标转换为交通工具坐标系下的三维坐标/>，R、t为相机外参，为交通工具坐标系下人脸检测框的三维坐标；
将；
在为H的情况下，分别计算/>、，将上述两个三维坐标之间的距离作为所述第一人头宽度；
在为H-Hstep的情况下，分别计算/>、，将上述两个三维坐标之间的距离作为所述第二人头宽度；
其中，x1、y1为头部检测框在图片坐标系下的左上点坐标，x2、y2为头部检测框在图片坐标系下的右下点坐标。
在一种可能的实现方式中，所述宽度计算模块602，用于：
在满足宽度计算条件的情况下，执行计算交通工具坐标系下的第一人头宽度、第二人头宽度的步骤；
其中，所述宽度计算条件包括：为H时，计算得到的/>小于0；/>为H-Hstep时，计算得到的/>大于0。
在一种可能的实现方式中，所述装置还包括：交通工具坐标系建立模块；所述交通工具坐标系建立模块，用于：
获取所述单目相机拍摄得到的交通工具的无人状态照片；
对所述交通工具的无人状态照片进行关键点识别，得到所述交通工具的角点，所述角点包括：车门框的角点、站立禁止区的角点；
基于所述交通工具的角点，建立所述交通工具坐标系。
在一种可能的实现方式中，内外部判定模块603，用于：
计算第一宽度差值、第二宽度差值，所述第一宽度差值是所述第一人头宽度与人头平均宽度之间的差值，所述第二宽度差值是所述第二宽度差值与所述人头平均宽度之间的差值；
确定所述第一宽度差值、所述第二宽度差值中的较小值，将所述较小值对应的交通工具内外部情况作为所述目标跟踪图片中所述目标乘客的交通工具内外部的判定结果。
在一种可能的实现方式中，所述出入行为确定模块604，用于：
在所述初始跟踪图片表示所述目标乘客在交通工具外部、所述结束跟踪图片表示所述目标乘客在交通工具内部的情况下，确定所述目标乘客进入所述交通工具；
在所述初始跟踪图片表示所述目标乘客在交通工具内部、所述结束跟踪图片表示所述目标乘客在交通工具外部的情况下，确定所述目标乘客离开所述交通工具。
在一种可能的实现方式中，所述图片获取模块601，用于：
通过头部检测框的跟踪匹配，获取所述目标乘客对应的所述跟踪图片序列。
需要说明的是：上述实施例提供的交通工具中出入行为的识别装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参阅图7，其是根据本申请一示例性实施例提供的一种计算机设备的示意图，所述计算机设备包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的交通工具中出入行为的识别方法。
其中，处理器可以为中央处理器（Central Processing Unit，CPU）。处理器还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在一示例性实施例中，还提供了一种计算机可读存储介质，用于存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现上述方法中的全部或部分步骤。例如，该计算机可读存储介质可以是只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、只读光盘（Compact Disc Read-Only Memory，CD-ROM）、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (11)

1.一种交通工具中出入行为的识别方法，其特征在于，所述方法包括：
获取跟踪图片序列中的目标跟踪图片，所述跟踪图片序列包括由单目相机拍摄得到的多张目标乘客对应的跟踪图片，所述单目相机对准于所述交通工具的门口位置，所述目标跟踪图片包括初始跟踪图片、结束跟踪图片；
结合所述交通工具的台阶高度，对所述目标跟踪图片中的头部检测框分别进行交通工具坐标系下交通工具内部情况下的宽度计算、交通工具坐标系下交通工具外部情况下的宽度计算，所述头部检测框用于检测并框中所述目标乘客在跟踪图片中的头部；
基于所述头部检测框在交通工具内外部情况下的宽度计算结果，对所述目标跟踪图片中所述目标乘客进行交通工具内外部的判定；
根据所述目标跟踪图片中所述目标乘客的交通工具内外部的判定结果，确定所述目标乘客在所述交通工具中的出入行为。
2.根据权利要求1所述的方法，其特征在于，所述交通工具坐标系以交通工具的门口的左侧角点为坐标原点，朝右为X轴，朝外为Y轴，朝上为Z轴；
所述结合所述交通工具的台阶高度，对所述目标跟踪图片中的头部检测框分别进行交通工具坐标系下交通工具内部情况下的宽度计算、交通工具坐标系下交通工具外部情况下的宽度计算，包括：
在预设所述目标跟踪图片中的头部检测框在交通工具坐标系下的Z轴数值为H的情况下，计算第一人头宽度，所述第一人头宽度是在所述目标乘客在交通工具内部的情况下，所述目标跟踪图片中的头部检测框所表征的人头宽度，H为乘客身高；
在预设所述目标跟踪图片中的头部检测框在交通工具坐标系下的Z轴数值为H-Hstep的情况下，计算第二人头宽度，所述第二人头宽度是在所述目标乘客在交通工具外部的情况下，所述目标跟踪图片中的头部检测框所表征的人头宽度，Hstep为台阶高度；
所述基于所述头部检测框在交通工具内外部情况下的宽度计算结果，对所述目标跟踪图片中所述目标乘客进行交通工具内外部的判定，包括：
对所述第一人头宽度、所述第二人头宽度进行合理性判断，确定所述目标跟踪图片中所述目标乘客的交通工具内外部的判定结果。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将所述目标跟踪图片中的人脸检测框在图片坐标系下的坐标（x，y）转换为相机坐标系下的三维坐标，X、Y、Z为相机坐标系下的三维坐标，K为相机内参，u、v为相机坐标系下人脸检测框的Z轴坐标归一化后对应的X轴数值、Y轴数值，k为相机坐标系下Z轴坐标归一化前后的比例系数；
将所述目标跟踪图片中的人脸检测框在相机坐标系下的坐标转换为交通工具坐标系下的三维坐标/>，R、t为相机外参，为交通工具坐标系下人脸检测框的三维坐标；
将；
所述在预设所述目标跟踪图片中的头部检测框在交通工具坐标系下的Z轴数值为H的情况下，计算第一人头宽度，包括：
在为H的情况下，分别计算/>、，将上述两个三维坐标之间的距离作为所述第一人头宽度；
所述在预设所述目标跟踪图片中的头部检测框在交通工具坐标系下的Z轴数值为H-Hstep的情况下，计算第二人头宽度，包括：
在为H-Hstep的情况下，分别计算/>、，将上述两个三维坐标之间的距离作为所述第二人头宽度；
其中，x1、y1为头部检测框在图片坐标系下的左上点坐标，x2、y2为头部检测框在图片坐标系下的右下点坐标。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在满足宽度计算条件的情况下，执行计算交通工具坐标系下的第一人头宽度、第二人头宽度的步骤；
其中，所述宽度计算条件包括：为H时，计算得到的/>小于0；/>为H-Hstep时，计算得到的/>大于0。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取所述单目相机拍摄得到的交通工具的无人状态照片；
对所述交通工具的无人状态照片进行关键点识别，得到所述交通工具的角点，所述角点包括：车门框的角点、站立禁止区的角点；
基于所述交通工具的角点，建立所述交通工具坐标系。
6.根据权利要求2所述的方法，其特征在于，所述对所述第一人头宽度、所述第二人头宽度进行合理性判断，以确定所述目标跟踪图片中所述目标乘客的交通工具内外部的判定结果，包括：
计算第一宽度差值、第二宽度差值，所述第一宽度差值是所述第一人头宽度与人头平均宽度之间的差值，所述第二宽度差值是所述第二宽度差值与所述人头平均宽度之间的差值；
确定所述第一宽度差值、所述第二宽度差值中的较小值，将所述较小值对应的交通工具内外部情况作为所述目标跟踪图片中所述目标乘客的交通工具内外部的判定结果。
7.根据权利要求1所述的方法，其特征在于，所述根据所述目标跟踪图片的交通工具内外部的判定结果，确定所述目标乘客在所述交通工具中的出入行为，包括：
在所述初始跟踪图片表示所述目标乘客在交通工具外部、所述结束跟踪图片表示所述目标乘客在交通工具内部的情况下，确定所述目标乘客进入所述交通工具；
在所述初始跟踪图片表示所述目标乘客在交通工具内部、所述结束跟踪图片表示所述目标乘客在交通工具外部的情况下，确定所述目标乘客离开所述交通工具。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过头部检测框的跟踪匹配，获取所述目标乘客对应的所述跟踪图片序列。
9.一种交通工具中出入行为的识别装置，其特征在于，所述装置包括：
图片获取模块，用于获取跟踪图片序列中的目标跟踪图片，所述跟踪图片序列包括由单目相机拍摄得到的多张目标乘客对应的跟踪图片，所述单目相机对准于所述交通工具的门口位置，所述目标跟踪图片包括初始跟踪图片、结束跟踪图片；
宽度计算模块，用于结合所述交通工具的台阶高度，对所述目标跟踪图片中的头部检测框分别进行交通工具坐标系下交通工具内部情况下的宽度计算、交通工具坐标系下交通工具外部情况下的宽度计算，所述头部检测框用于检测并框中所述目标乘客在跟踪图片中的头部；
内外部判定模块，用于基于所述头部检测框在交通工具内外部情况下的宽度计算结果，对所述目标跟踪图片中所述目标乘客进行交通工具内外部的判定；
出入行为确定模块，用于根据所述目标跟踪图片中所述目标乘客的交通工具内外部的判定结果，确定所述目标乘客在所述交通工具中的出入行为。
10.一种计算机设备，其特征在于，所述计算机设备中包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现如权利要求1至8任一所述的交通工具中出入行为的识别方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如权利要求1至8任一所述的交通工具中出入行为的识别方法。
CN202310988122.5A 2023-08-08 2023-08-08 交通工具中出入行为的识别方法、装置、设备及存储介质 Active CN116704447B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310988122.5A CN116704447B (zh) 2023-08-08 2023-08-08 交通工具中出入行为的识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310988122.5A CN116704447B (zh) 2023-08-08 2023-08-08 交通工具中出入行为的识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116704447A true CN116704447A (zh) 2023-09-05
CN116704447B CN116704447B (zh) 2023-12-08

Family

ID=87837920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310988122.5A Active CN116704447B (zh) 2023-08-08 2023-08-08 交通工具中出入行为的识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116704447B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1731456A (zh) * 2005-08-04 2006-02-08 浙江大学 基于立体视觉的公交客流统计方法及其系统
CN106127137A (zh) * 2016-06-21 2016-11-16 长安大学 一种基于3d轨迹分析的目标检测识别算法
CN108280402A (zh) * 2017-12-27 2018-07-13 武汉长江通信智联技术有限公司 一种基于双目视觉的客流量统计方法及系统
CN114140498A (zh) * 2021-11-22 2022-03-04 深圳市巴视通技术有限公司 一种双目视觉的多目标跟踪计数方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1731456A (zh) * 2005-08-04 2006-02-08 浙江大学 基于立体视觉的公交客流统计方法及其系统
CN106127137A (zh) * 2016-06-21 2016-11-16 长安大学 一种基于3d轨迹分析的目标检测识别算法
CN108280402A (zh) * 2017-12-27 2018-07-13 武汉长江通信智联技术有限公司 一种基于双目视觉的客流量统计方法及系统
CN114140498A (zh) * 2021-11-22 2022-03-04 深圳市巴视通技术有限公司 一种双目视觉的多目标跟踪计数方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PAVOL KUCHÁR, 等: "Passenger Occupancy Estimation in Vehicles: A Review of Current Methods and Research Challenges", SUSTAINABLITY, vol. 15, no. 2, pages 1 - 27 *
于海滨 等: "视觉客流检测中的动态轮廓匹配方法", 浙江大学学报(工学版), no. 3, pages 412 - 417 *

Also Published As

Publication number Publication date
CN116704447B (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
US10757395B2 (en) Camera parameter set calculation method, recording medium, and camera parameter set calculation apparatus
CN109484935B (zh) 一种电梯轿厢监控方法、装置及系统
US20210110188A1 (en) Stereo imaging device
US10229588B2 (en) Method and device for obtaining evidences for illegal parking of a vehicle
US7321386B2 (en) Robust stereo-driven video-based surveillance
US10484665B2 (en) Camera parameter set calculation method, recording medium, and camera parameter set calculation apparatus
JP6222948B2 (ja) 特徴点抽出装置
JP5127531B2 (ja) 画像監視装置
US10602125B2 (en) Camera-parameter-set calculation apparatus, camera-parameter-set calculation method, and recording medium
CN110602446A (zh) 垃圾回收提醒方法、系统及存储介质
CN112053397A (zh) 图像处理方法、装置、电子设备及存储介质
US20220366570A1 (en) Object tracking device and object tracking method
US11663844B2 (en) Head-counter device and method for processing digital images
JP2002342762A (ja) 物体追跡方法
CN116704447B (zh) 交通工具中出入行为的识别方法、装置、设备及存储介质
CN110087039B (zh) 监控方法、装置、设备、系统及存储介质
CN112292847B (zh) 图像处理设备、移动设备、方法和存储介质
CN116824552A (zh) 车室内监视系统
CN111639642B (zh) 一种图像处理方法、设备及装置
CN110400329B (zh) 人流计数方法及其系统
CN112364693A (zh) 基于双目视觉的障碍识别方法、装置、设备及存储介质
CN113206994B (zh) 摄像机自动工勘方法、装置、电子设备、芯片及存储介质
CN114943954B (zh) 一种车位检测方法、装置和系统
EP4246464A1 (en) Static privacy masking
CN109993143B (zh) 图像采集设备的安装方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant