CN111507156B - 利用乘客的关键点检测车辆占有的方法及装置 - Google Patents

利用乘客的关键点检测车辆占有的方法及装置 Download PDF

Info

Publication number
CN111507156B
CN111507156B CN202010057857.2A CN202010057857A CN111507156B CN 111507156 B CN111507156 B CN 111507156B CN 202010057857 A CN202010057857 A CN 202010057857A CN 111507156 B CN111507156 B CN 111507156B
Authority
CN
China
Prior art keywords
learning
keypoint
keypoints
feature
heat map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010057857.2A
Other languages
English (en)
Other versions
CN111507156A (zh
Inventor
金桂贤
金镕重
金鹤京
南云铉
夫硕焄
成明哲
申东洙
吕东勳
柳宇宙
李明春
李炯树
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111507156A publication Critical patent/CN111507156A/zh
Application granted granted Critical
Publication of CN111507156B publication Critical patent/CN111507156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种方法，基于车辆的室内图像的分析，利用乘客的关键点检测车辆占有，包括：步骤(a)，若获取到室内图像，车辆占有检测装置(i)向特征提取网络输入室内图像，对室内图像进行卷积运算，生成特征张量，(ii)向关键点热图及部分亲和字段提取器输入特征张量，生成关键点热图及部分亲和字段，(iii)向关键点检测装置输入关键点热图及部分亲和字段，从各个关键点热图提取关键点，(iv)基于部分亲和字段，对关键点进行分组，由此检测各个乘客的关键点；以及步骤(b)，向座位占有匹配器输入各个乘客的关键点，参照所输入的关键点及座位的预设的感兴趣区域，对座位匹配乘客，从而检测车辆占有。

Description

利用乘客的关键点检测车辆占有的方法及装置
技术领域
本发明涉及利用通过用于识别人的状态的图像分析检测的至少一个乘客的一个以上关键点检测车辆占有(vehicle occupancy)的方法，更详细地涉及，分析车辆的至少一个室内图像，利用用于检测乘客的人体关键点检测装置来检测与上述乘客相对应的关键点，确认所检测的乘客与车辆的哪个座位匹配，由此检测车辆占有的上述方法及利用其的上述装置。
背景技术
通常，车辆的车厢内设置有能够使乘客就座的多个座位。设置在驾驶席或副驾驶席的座位包括多种乘客识别装置，以便起到在乘客就座时区分乘客的类型、判断有无乘客、告知是否系好安全带等功能。
其中，最常用的是图案识别方式、压力识别方式、重量识别方式。图案识别方式中，在车辆的座位内部设置传感器垫，传感器垫上以矩阵形状排列压力传感器，对座位上就座的乘客的重量及骨盆图案进行识别来识别乘客。
压力识别方式中，由液体填充的薄的囊(bladder)和压力传感器安装于坐垫下侧，当乘客座在座位时，压力传感器感测从囊中流出的液体来识别乘客。
重量识别方式中，设置于座位的内部的座位框架所固定的位置安装应变力传感器，感测乘客的重量来识别坐在座位的乘客。
然而，即使设置如上所述的多种乘客识别装置也会发生各种识别错误。作为一例，乘客的就座状态倾向于一侧或者就座状态不良时识别为无人就座，或者将低体重的成人乘客识别成儿童乘客。
因这种识别错误而将低体重的成人乘客错误识别成儿童乘客的情况下，若发生车辆事故，则安全气囊以与儿童乘客的体型相对应的方式展开，无法安全保护成人乘客，导致二次伤害等问题。
并且，若识别为乘客未坐在座位的情况下，安全气囊不会展开，而乘客受到很大伤害，可见，乘客识别错误会带来各种问题。
进而，需要在车辆的每个座位都附着传感器而费用增加，而且需要处理的信息量增加而处理速度下降。
因此，最近提出利用通过摄像头拍摄的图像检测车辆内乘客或乘客数量的技术。
即，参照图1，在车辆的外部，即，行驶中的马路边和周边的构造物上设置摄像头，并分析由此获取的图像来测定车辆内乘坐的乘客数量。通过构造物上的摄像头确认车辆的前座位，并通过马路边的摄像头确认车辆的后座位。
然而，利用这种马路边和构造物上的摄像头的情况下，周边环境阴暗或因雪、雨、车辆玻璃的涂色(tinting)等难以看清车辆内部的情况下，无法确认车辆内乘客数量。
发明内容
技术问题
本发明的目的在于，解决以上提及的所有问题。
本发明的再一目的在于，无需增加费用也可检测车辆占有(vehicle occupancy)。
本发明的另一目的在于，以不受周边环境的影响的状态检测车辆占有。
本发明的又一目的在于，以处理的信息量最小化的方式检测车辆占有。
解决问题的手段
为了达成如上所述的本发明的目的，并带来后述的本发明的特征性效果，本发明的特性性结构如下：
根据本发明的一方面，提供一种方法，基于车辆的室内图像的分析，利用乘客的关键点检测车辆占有(vehicle occupancy)，其特征在于，包括：步骤(a)，若获取到上述车辆的上述室内图像，则车辆占有检测装置(i)向特征提取网络输入上述室内图像，使得上述特征提取网络对上述室内图像进行卷积运算，从而生成一个以上特征张量(tensor)，(ii)向关键点热图及部分亲和字段(PAF，part affinity field)提取器输入上述特征张量，使得上述关键点热图及部分亲和字段提取器生成对于各个上述特征张量的关键点热图及部分亲和字段，(iii)向关键点检测装置输入上述关键点热图及上述部分亲和字段，使得上述关键点检测装置从各个上述关键点热图提取关键点，(iv)参照各个上述部分亲和字段，对提取的上述关键点进行分组(grouping)，从而检测与上述室内图像内的各个乘客相对应的各个乘客的关键点；以及步骤(b)，上述车辆占有检测装置向座位占有匹配器(matcher)输入上述各个乘客的关键点，使得上述座位占有匹配器参照上述车辆的各个座位的预设的感兴趣区域(ROI，Region Of Interest)及上述各个乘客的关键点，对各个上述座位匹配(matching)各个上述乘客，从而检测上述车辆占有。
一实施例中，在上述步骤(a)中，上述车辆占有检测装置向上述特征提取网络输入上述室内图像，使得上述特征提取网络利用包括执行多重卷积运算的一个以上卷积层的卷积块，对上述室内图像进行上述多重卷积运算。
一实施例中，在上述步骤(a)中，上述车辆占有检测装置向上述关键点热图及部分亲和字段提取器输入上述特征张量，使得上述关键点热图及部分亲和字段提取器对上述特征张量进行基于全卷积网络(fully convolutional network)或1X1卷积层的卷积运算，针对各个上述特征张量生成上述关键点热图及上述部分亲和字段。
一实施例中，在上述步骤(a)中，上述车辆占有检测装置向上述关键点检测装置输入上述关键点热图及上述部分亲和字段，使得上述关键点检测装置提取各个上述关键点热图上的各个最高位置作为与各个上述关键点热图相对应的各个上述关键点。
一实施例中，上述车辆占有检测装置使得上述关键点检测装置参照上述部分亲和字段，对提取的上述关键点中连接概率最高的关键点进行成对方式连接，由此对提取的上述关键点进行分组。
一实施例中，在上述步骤(b)中，上述车辆占有检测装置使得上述座位占有匹配器计算上述各个乘客的关键点的各个平均点以及上述各个乘客的关键点的各个分散，针对各个上述座位的各个上述预设的感兴趣区域确认(i)上述各个乘客的关键点、(ii)上述各个乘客的关键点的各个上述平均点以及(iii)上述各个乘客的关键点的各个分散是否满足至少一个预设的条件，从而对各个上述座位匹配各个上述乘客。
一实施例中，上述车辆占有检测装置使得上述座位占有匹配器针对特定座位的特定感兴趣区域，(i)与特定乘客相对应的特定平均点位于上述特定感兴趣区域，(ii)与上述特定乘客相对应的特定分散为预设的第一临界值以下，(iii)位于上述特定感兴趣区域内的与上述特定乘客相对应的特定关键点的数量为预设的第二临界值以上的情况下，对上述特定座位匹配上述特定乘客。
一实施例中，上述特征提取网络和上述关键点热图及部分亲和字段提取器处于由学习装置学习的状态，上述学习装置若获取到包括一个以上学习用对象的至少一个训练图像，则处于执行如下步骤的状态：步骤(i)，向上述特征提取网络输入上述训练图像，使得上述特征提取网络对上述训练图像进行卷积运算，从而生成一个以上学习用特征张量；步骤(ii)，向上述关键点热图及部分亲和字段提取器输入上述学习用特征张量，使得上述关键点热图及部分亲和字段提取器生成对于各个上述学习用特征张量的学习用关键点热图及学习用部分亲和字段；步骤(iii)，向上述关键点检测装置输入上述学习用关键点热图及上述学习用部分亲和字段，使得上述关键点检测装置从各个上述学习用关键点热图提取学习用关键点，参照各个上述学习用部分亲和字段对提取的上述学习用关键点进行分组，检测与上述训练图像内的各个上述学习用对象相对应的各学习用对象的关键点；以及步骤(iv)，使得损失层参照上述各学习用对象的关键点及与其相对应的真实数据(GT，groundtruth)计算一个以上损失，基于利用上述损失的反向传播调整上述特征提取网络和上述关键点热图及部分亲和字段提取器的一个以上参数，使得上述损失最小化。
根据本发明的另一方面，提供一种车辆占有检测装置，基于车辆的室内图像的分析，利用乘客的关键点检测车辆占有，其特征在于，包括：至少一个存储器，用于存储指令；以及至少一个处理器，执行上述指令来执行步骤(I)及步骤(II)，步骤(I)中，若获取到上述车辆的上述室内图像，(i)向特征提取网络输入上述室内图像，使得上述特征提取网络对上述室内图像进行卷积运算，从而生成一个以上特征张量，(ii)向关键点热图及部分亲和字段(PAF，part affinity field)提取器输入上述特征张量，使得上述关键点热图及部分亲和字段提取器生成对于各个上述特征张量的关键点热图及部分亲和字段，(iii)向关键点检测装置输入上述关键点热图及上述部分亲和字段，使得上述关键点检测装置从各个上述关键点热图提取关键点，(iv)参照各个上述部分亲和字段，对提取的上述关键点进行分组(grouping)，从而检测与上述室内图像内的各个乘客相对应的各个乘客的关键点，步骤(II)中，向座位占有匹配器(matcher)输入上述各个乘客的关键点，使得上述座位占有匹配器参照上述车辆的各个座位的预设的感兴趣区域及上述各个乘客的关键点，对各个上述座位匹配各个上述乘客进行匹配(matching)，由此检测上述车辆占有。
一实施例中，在上述步骤(I)中，上述处理器向上述特征提取网络输入上述室内图像，使得上述特征提取网络利用包括执行多重卷积运算的一个以上卷积层的卷积块，对上述室内图像进行上述多重卷积运算。
一实施例中，在上述步骤(I)中，上述处理器向上述关键点热图及部分亲和字段提取器输入上述特征张量，使得上述关键点热图及部分亲和字段提取器对上述特征张量进行基于全卷积网络(fully convolutional network)或1X1卷积层的卷积运算，针对各个上述特征张量生成上述关键点热图及上述部分亲和字段。
一实施例中，在上述步骤(I)中，上述处理器向上述关键点检测装置输入上述关键点热图及上述部分亲和字段，使得上述关键点检测装置提取各个上述关键点热图上的各个最高位置作为与各个上述关键点热图相对应的各个上述关键点。
一实施例中，上述处理器使得上述关键点检测装置参照上述部分亲和字段，对提取的上述关键点中连接概率最高的关键点进行成对方式连接，由此对提取的上述关键点进行分组。
一实施例中，在上述步骤(II)中，上述处理器使得上述座位占有匹配器计算上述各个乘客的关键点的各个平均点以及上述各个乘客的关键点的各个分散，针对各个上述座位的各个上述预设的感兴趣区域确认(i)上述各个乘客的关键点、(ii)上述各个乘客的关键点的各个上述平均点以及(iii)上述各个乘客的关键点的各个分散是否满足至少一个预设的条件，从而对各个上述座位匹配各个上述乘客。
一实施例中，上述处理器使得上述座位占有匹配器针对特定座位的特定感兴趣区域，(i)与特定乘客相对应的特定平均点位于上述特定感兴趣区域，(ii)与上述特定乘客相对应的特定分散为预设的第一临界值以下，(iii)位于上述特定感兴趣区域内的与上述特定乘客相对应的特定关键点的数量为预设的第二临界值以上的情况下，对上述特定座位匹配上述特定乘客。
一实施例中，上述特征提取网络和上述关键点热图及部分亲和字段提取器处于由学习装置学习的状态，上述学习装置若获取到包括一个以上学习用对象的至少一个训练图像，则处于执行如下步骤的状态：步骤(i)，向上述特征提取网络输入上述训练图像，使得上述特征提取网络对上述训练图像进行卷积运算，从而生成一个以上学习用特征张量；步骤(ii)，向上述关键点热图及部分亲和字段提取器输入上述学习用特征张量，使得上述关键点热图及部分亲和字段提取器生成对于各个上述学习用特征张量的学习用关键点热图及学习用部分亲和字段；步骤(iii)，向上述关键点检测装置输入上述学习用关键点热图及上述学习用部分亲和字段，使得上述关键点检测装置从各个上述学习用关键点热图提取学习用关键点，参照各个上述学习用部分亲和字段对提取的上述学习用关键点进行分组，检测与上述训练图像内的各个上述学习用对象相对应的各学习用对象的关键点；以及步骤(iv)，使得损失层参照上述各学习用对象的关键点及与其相对应的真实数据(GT，groundtruth)计算一个以上损失，基于利用上述损失的反向传播调整上述特征提取网络和上述关键点热图及部分亲和字段提取器的一个以上参数，使得上述损失最小化。
此外，还提供用于存储执行本发明的方法的计算机程序的计算机可读存储介质。
发明的效果
根据本发明，对利用摄像头拍摄的车辆的室内图像进行分析来检测车辆占有(vehicle occupancy)，与以往的传感器方式相比具有能够降低费用的效果。
并且，根据本发明，对利用摄像头拍摄的车辆的室内图像进行分析来检测车辆占有，具有以不受周边环境的影响的状态检测车辆占有的效果。
并且，根据本发明，对利用摄像头拍摄的车辆的室内图像进行分析来检测车辆占有，与以往的传感器方式相比需处理的信息量更少，因此与以往的传感器方式具有提高处理速度的效果。
附图说明
为了说明本发明的实施例而所附的以下附图只是本发明的实施例中的一部分，本发明所属领域的普通技术人员(以下，“普通技术人员”)可以在不付出创造性劳动的情况下通过该附图得出其他附图。
图1简要示出对设置于车辆外部的摄像头获取的图像进行分析来测定上述车辆内乘客数量的现有技术。
图2简要示出根据本发明一实施例的利用通过图像分析检测的至少一个乘客的一个以上关键点检测车辆占有(vehicle occupancy)的车辆占有检测装置。
图3简要示出根据本发明一实施例的利用通过上述图像分析检测的上述乘客的上述关键点检测上述车辆占有的方法。
图4简要示出根据本发明一实施例的利用通过上述图像分析检测的上述乘客的上述关键点检测上述车辆占有的方法中检测上述乘客的上述关键点的步骤。
图5简要示出根据本发明一实施例的利用通过上述图像分析检测的上述乘客的上述关键点检测上述车辆占有的方法中对上述车辆的座位匹配上述乘客的上述关键点的步骤。
图6简要示出根据本发明一实施例的利用通过上述图像分析检测的上述乘客的上述关键点检测上述车辆占有的特征提取网络和关键点热图及部分亲和字段(PAF，PartAffinity Field)提取器的学习步骤.
具体实施方式
以下，本发明能够实施的特定实施例为例，参照附图对本发明进行详细说明，本发明的目的、技术手段及优点将更加明确。普通技术人员可以参照对这些实施例的详细说明充分实施这些实施例。
并且，本发明的详细说明及权利要求书中，术语“包括”及其变形不排除其他技术特征、附加物、结构要素或步骤等。对普通技术人员而言，本发明的其他目的、优点及特性的一部分可以从本说明书得知，一部分可以在实施本发明的过程中得知。以下例示及附图只是实例，本发明并不局限于此。
进而，本发明包括本说明书中提供的多个实施例的所有组合。本发明的各种实施例虽然不同但不必相互排斥。例如，本文所记载的特定形状、结构及特性，在一实施例中不脱离本发明的思想及范围的情况下还可体现为另一实施例。并且，所公开的各个实施例内的个别结构要素的位置或配置可以在不脱离本发明的思想及范围的情况下进行变更。因此，后述的详细说明并不是限定的意思，只要能适当说明，本发明的范围应根据与权利要求书的范围等同的所有范围和所附的权利要求书而定。附图中类似的附图标记在多个方面指类似的功能。
本发明中提及的各种图像可以包括柏油马路或非柏油马路的相关图像，这种情况下可以假设包括马路环境中可以出现的物体(假如车辆、人、动物、植物、物体、建筑物、飞机或无人机等飞行物、其他障碍物)，但并不局限于此。本发明中提及的各种图像还可以为与马路无关的图像(假如非柏油马路、胡同、空地、海、湖、河、山、树林、沙漠、天空、与室内相关的图像)，这种情况下可以假设包括非柏油马路、胡同、空地、海、湖、河、山、树林、沙漠、天空、室内环境中可以出现的物体(假如车辆、人、动物、植物、物体、建筑物、飞机或无人机等飞行物、其他障碍物)，但并不局限于此。
本申请的说明书中提供的本发明的发明名称及摘要只是用于方便起见，并不用于限定实施例的范围或解释实施例的意思。
以下，为了使本发明所属领域的普通技术人员容易实施本发明，参照附图对本发明的优选实施例进行详细说明。
图2简要示出根据本发明一实施例的利用通过图像分析检测的至少一个乘客的一个以上关键点检测车辆占有(vehicle occupancy)的车辆占有检测装置。参照图2，上述车辆占有检测装置100可以包括：存储器110，存储用于利用通过上述图像分析检测的上述乘客的上述关键点检测上述车辆占有的指令；以及处理器120，执行与存储在上述存储器110的上述指令相对应的步骤。
具体地，上述车辆占有检测装置100典型地利用至少一个计算装置(例如，计算机处理器、存储器、内存、输入装置及输出装置、其他现有的计算装置的结构要素；路由器、开关等电子通信装置；网络附属存储(NAS)及存储区域网络(SAN)等电子信息存储系统)和至少一个计算机软件(即，使得上述计算装置以特定方式运行的指令)的组合来实现所需的系统性能。
上述计算装置的处理器可以包括MPU(Micro Processing Unit)或CPU(CentralProcessing Unit)、缓存存储器(Cache Memory)、数据总线(Data Bus)等硬件构成。并且，上述计算装置还可包括操作系统(OS)及执行特定目的的程序的软件构成。
然而，不排除上述计算装置包括用于实施本发明的介质、处理器、存储器或其他计算用结构要素整合的形态的整合处理器的情况。
参照图3，对通过如上所述的本发明一实施例的上述车辆占有检测装置100，利用通过上述图像分析检测的上述乘客的上述关键点检测上述车辆占有的方法进行说明。
首先，若获取到由拍摄车辆的室内的摄像头生成的至少一个室内图像，则上述车辆占有检测装置100可以向特征提取网络输入上述室内图像，使得上述特征提取网络对上述室内图像进行卷积运算，生成与上述室内图像相对应的特征张量。
此时，上述特征提取网络可以使得包括执行至少一个卷积运算的一个以上卷积层的一个以上卷积块，对上述室内图像进行多重卷积运算。
之后，上述车辆占有检测装置100向关键点热图及部分亲和字段(PAF，partaffinity field)提取器输入上述特征张量，使得上述关键点热图及部分亲和字段提取器生成对于各个上述特征张量的关键点热图及部分亲和字段。
此时，上述关键点热图及部分亲和字段提取器可以包括全卷积网络(fullyconvolutional network)。
并且，上述关键点热图及部分亲和字段提取器可以包括对上述特征张量进行至少一个1x1卷积运算的一个以上1X1卷积层。
另一方面，参照图4，上述“关键点热图(heatmap)”是由指热量的热(heat)和指地图的图(map)组合而成，在图像上以热分布形态图形示出可以用颜色表示的各种信息。
并且，上述部分亲和字段可以为用于表示上述关键点之间的关系的矢量图(vector map)的一种。即，上述部分亲和字段可以为表示特定关键点与其他关键点之间的连接的图，可以为表示各个关键点热图对(pair)内的各个上述关键点可以连接的各个概率的图。
此时，上述关键点热图及部分亲和字段提取器可以利用二分匹配(bipartitematching)检测上述关键点之间的关系，从而生成上述部分亲和字段。即，可以利用二分匹配确认关键点分别属于哪个乘客以及上述关键点之间存在何种关系。
之后，上述车辆占有检测装置100可以向关键点检测装置输入上述关键点热图及上述部分亲和字段，使得上述关键点检测装置从各个上述关键点热图提取上述关键点，参照上述部分亲和字段对提取的上述关键点进行分组(grouping)，从而检测与上述室内图像内的各个上述乘客相对应的各个乘客的关键点。
此时，上述关键点检测装置可以提取与各通道相对应的各个上述关键点热图内的各个最高位置，即，具有最高热值的各个关键点作为与各个上述关键点热图相对应的各个上述关键点，参照上述部分亲和字段，对提取的上述关键点中连接概率最高的关键点进行成对方式连接，由此对提取的上述关键点进行分组。作为一例，对所提取的所有关键点执行如下过程，即，对提取的上述关键点中任一关键点和与其连接概率最高的另一关键点进行成对方式连接的过程，从而对关键点进行分组，由此可以形成与位于图像内的乘客的数量相对应的关键点组。
并且，所检测的上述各乘客的关键点可以表示成对于上述室内图像内上述关键点的位置的坐标信息。
另一方面，利用设置于上述车辆的室内的上述摄像头拍摄的视频或图像中，身体被遮挡(occlusion)的部分较多。即，前座位的情况下只能看到大部分乘客的上半身，后座位的情况下可能被前座位挡住。这种情况下以往的对象检测装置因遮挡部分较多而无法检测上述乘客，但根据本发明，所检测的上述关键点充分可以确定上述乘客的存在与否，上述车辆内的上述乘客与行人相比姿势(pose)变化大，因此利用本发明的上述乘客的关键点检测上述乘客更有利。
接着参照图5，上述车辆占有检测装置100向座位占有匹配器(matcher)输出从上述关键点检测装置获取的上述各个乘客的关键点，使得上述座位占有匹配器参照上述车辆的各个座位的预设的感兴趣区域(Region Of Interest)及上述各个乘客的关键点，对各个上述座位匹配(matching)各个上述乘客，从而上述车辆占有。
作为一例，上述车辆占有检测装置100可以向上述座位占有匹配器输出从上述关键点检测装置获取的对于各个上述乘客的上述关键点，即，上述关键点的坐标。
之后，上述座位占有匹配器可以计算与各个上述乘客相对应的上述关键点，例如头部和身躯的各个上述关键点组的各个平均点以及各个分散。
并且，上述座位占有匹配器可以针对各个上述座位的各个上述预设的感兴趣区域确认(i)上述各个乘客的关键点、(ii)上述各个乘客的关键点的各个上述平均点以及(iii)上述各个乘客的关键点的各个分散是否满足至少一个预设的条件，从而对各个上述座位匹配各个上述乘客。
即，假设对于各个上述乘客的上述关键点属于各个上述乘客的各个关键组，则针对与特定座位相对应的预设的特定感兴趣区域，可以确定与特定乘客相对应的特定关键点组的特定平均点是否位于上述特定感兴趣区域内。此时，若确定为上述特定平均点不位于上述特定感兴趣区域，则可以确定上述特定乘客不与上述特定座位匹配。
并且，可以确定上述特定关键点组的特定分散是否为预设的第一临界值以下。此时，上述预设的第一临界值可以用于排除检测错误的关键点，上述特定分散超过上述预设的第一临界值的情况下，可以确定上述特定乘客不与上述特定座位匹配。
并且，可以确定上述特定感兴趣区域内上述特定关键点组的上述特定关键点的数量是否为预设的第二临界值以上。此时，上述预设的第二临界值可以用于排除检测错误的关键点，上述特定感兴趣区域内上述特定关键点组的上述特定关键点的数量小于上述预设的第二临界值的情况下，可以确定上述特定乘客不与上述特定座位匹配。
因此，上述特定平均点位于上述特定感兴趣区域内、上述特定分散为上述预设的第一临界值以下、上述特定感兴趣区域内上述特定关键点组的上述特定关键点的数量为上述预设的第二临界值以上的情况下，上述座位占有匹配器可以确定上述特定乘客与上述特定座位匹配。
由此，上述座位占有匹配器可以对上述车辆的各个上述座位匹配各个上述乘客，上述车辆占有检测装置100可以检测上述车辆占有。
另一方面，上述车辆占有检测装置100的上述特征提取网络和上述关键点热图及部分亲和字段提取器可以处于由学习装置学习的状态。
参照图6简单说明上述特征提取网络和上述关键点热图及部分亲和字段提取器的学习方法。在下面说明中，将省略可以从图1至图5的说明的容易理解的部分的详细说明。
首先，若获取到包括至少一个学习用对象的至少一个训练图像，上述学习装置200向上述特征提取网络输入上述训练图像，使得上述特征提取网络对上述训练图像进行其卷积运算，从而生成学习用特征张量。
之后，上述学习装置200向上述关键点热图及部分亲和字段提取器输入上述学习用特征张量，使得上述关键点热图及部分亲和字段提取器生成对于各个上述学习用特征张量的学习用关键点热图及学习用部分亲和字段。
之后，上述学习装置200可以向上述关键点检测装置输入上述学习用关键点热图及上述学习用部分亲和字段，使得上述关键点检测装置从各个上述学习用关键点热图提取学习用关键点，参照各个上述学习用部分亲和字段对所提取的上述学习用关键点分组进行分组，检测与上述训练图像内的上述学习用对象相对应的各学习用对象的关键点。
之后，上述学习装置200可以使得损失层参照上述各学习用对象的关键点及与其相对应的真实数据(GT，ground truth)计算一个以上损失，基于利用上述损失的反向传播调整上述特征提取网络和上述关键点热图及部分亲和字段提取器的一个以上参数，使得上述损失最小化。
并且，以上说明的本发明的实施例能够以通过各种计算机结构要素执行的程序命令的形态体现并存储在计算机可读存储介质。上述计算机可读存储介质可以包括程序命令、数据文件、数据结构等或它们的组合。上述计算机可读存储介质中存储的程序命令可以是为本发明特殊设计并构成的，或者可以是由计算机软件领域的普通技术人员公知使用的。计算机可读存储介质的例包括硬盘、软盘及磁带等磁介质、CD-ROM、DVD等光存储介质、光磁软盘(floptical disk)等磁光介质(magneto-optical media)、以及ROM、RAM、快闪存储器等为了存储并执行程序命令而特殊构成的硬件装置。程序命令的例包括由编译器制成的机器语言代码以及利用解析器等可由计算机执行的高级语言代码。上述硬件装置能够以一个以上软件模块运行，以便执行本发明的处理，相反情况也一样。
以上，通过限定的实施例及附图对本发明的具体结构要素等特定事项进行了说明，但这仅仅用于提供对本发明的更全面的理解，本发明并不局限于上述实施例，本发明所属领域的普通技术人员可以在这些记载的基础上进行各种修改及变形。
因此，本发明的思想并不局限于所说明的上述实施例，权利要求书及其等同或等价变换的所有内容均属于本发明的思想范畴。

Claims (8)

1.一种方法，其特征在于，基于车辆的室内图像的分析，利用乘客的关键点检测车辆占有，包括：
步骤(a)，若获取到所述车辆的所述室内图像，则车辆占有检测装置(i)向特征提取网络输入所述室内图像，使得所述特征提取网络对所述室内图像进行卷积运算，生成特征张量，(ii)向关键点热图及部分亲和字段提取器输入所述特征张量，使得所述关键点热图及部分亲和字段提取器对所述特征张量进行基于全卷积网络或1X1卷积层的卷积运算，生成所述特征张量的关键点热图及部分亲和字段，(iii)向关键点检测装置输入所述关键点热图及所述部分亲和字段，使得所述关键点检测装置从各个所述关键点热图提取关键点，并且参照各个所述部分亲和字段，对提取的所述关键点中连接概率最高的关键点进行成对方式连接，由此对提取的所述关键点进行分组，从而检测与所述室内图像内的各个乘客相对应的各个乘客的关键点；以及
步骤(b)，所述车辆占有检测装置向座位占有匹配器输入所述各个乘客的关键点，使得所述座位占有匹配器参照所述车辆的各个座位的预设的感兴趣区域及所述各个乘客的关键点，对各个所述座位匹配各个所述乘客，从而检测所述车辆占有，
其中，在所述步骤(b)中，所述车辆占有检测装置使得所述座位占有匹配器计算所述各个乘客的关键点的各个平均点以及所述各个乘客的关键点的各个分散，针对各个所述座位的各个所述预设的感兴趣区域确认(i)所述各个乘客的关键点、(ii)所述各个乘客的关键点的各个所述平均点以及(iii)所述各个乘客的关键点的各个分散是否满足至少一个预设的条件，从而对各个所述座位匹配各个所述乘客，并且
所述车辆占有检测装置使得所述座位占有匹配器针对特定座位的特定感兴趣区域，(i)与特定乘客相对应的特定平均点位于所述特定感兴趣区域，(ii)与所述特定乘客相对应的特定分散为预设的第一临界值以下，(iii)位于所述特定感兴趣区域内的与所述特定乘客相对应的特定关键点的数量为预设的第二临界值以上的情况下，对所述特定座位匹配所述特定乘客。
2.根据权利要求1所述的方法，其特征在于，在所述步骤(a)中，所述车辆占有检测装置向所述特征提取网络输入所述室内图像，使得所述特征提取网络利用包括执行多重卷积运算的一个以上卷积层的卷积块，对所述室内图像进行所述多重卷积运算。
3.根据权利要求1所述的方法，其特征在于，在所述步骤(a)中，所述车辆占有检测装置向所述关键点检测装置输入所述关键点热图及所述部分亲和字段，使得所述关键点检测装置提取各个所述关键点热图上的各个最高位置作为与各个所述关键点热图相对应的各个所述关键点。
4.根据权利要求1所述的方法，其特征在于，
所述特征提取网络和所述关键点热图及部分亲和字段提取器处于由学习装置学习的状态，所述学习装置若获取到包括一个以上学习用对象的至少一个训练图像，则处于执行如下步骤的状态：
步骤(i)，向所述特征提取网络输入所述训练图像，使得所述特征提取网络对所述训练图像进行卷积运算，从而生成一个以上学习用特征张量；
步骤(ii)，向所述关键点热图及部分亲和字段提取器输入所述学习用特征张量，使得所述关键点热图及部分亲和字段提取器生成对于各个所述学习用特征张量的学习用关键点热图及学习用部分亲和字段；
步骤(iii)，向所述关键点检测装置输入所述学习用关键点热图及所述学习用部分亲和字段，使得所述关键点检测装置从各个所述学习用关键点热图提取学习用关键点，参照各个所述学习用部分亲和字段对提取的所述学习用关键点进行分组，检测与所述训练图像内的各个所述学习用对象相对应的各学习用对象的关键点；以及
步骤(iv)，使得损失层参照所述各学习用对象的关键点及与其相对应的真实数据计算一个以上损失，基于利用所述损失的反向传播调整所述特征提取网络和所述关键点热图及部分亲和字段提取器的一个以上参数，使得所述损失最小化。
5.一种车辆占有检测装置，其特征在于，基于车辆的室内图像的分析，利用乘客的关键点检测车辆占有，
包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，执行所述指令来执行步骤(I)及步骤(II)，
步骤(I)中，若获取到所述车辆的所述室内图像，(i)向特征提取网络输入所述室内图像，使得所述特征提取网络对所述室内图像进行卷积运算，从而生成特征张量，(ii)向关键点热图及部分亲和字段提取器输入所述特征张量，使得所述关键点热图及部分亲和字段提取器对所述特征张量进行基于全卷积网络或1X1卷积层的卷积运算，生成所述特征张量的关键点热图及部分亲和字段，(iii)向关键点检测装置输入所述关键点热图及所述部分亲和字段，使得所述关键点检测装置从各个所述关键点热图提取关键点，并且参照各个所述部分亲和字段，对提取的所述关键点中连接概率最高的关键点进行成对方式连接，由此对提取的所述关键点进行分组，从而检测与所述室内图像内的各个乘客相对应的各个乘客的关键点，
步骤(II)中，向座位占有匹配器输入所述各个乘客的关键点，使得所述座位占有匹配器参照所述车辆的各个座位的预设的感兴趣区域及所述各个乘客的关键点，对各个所述座位匹配各个所述乘客进行匹配，由此检测所述车辆占有，
在所述步骤(II)中，所述处理器使得所述座位占有匹配器计算所述各个乘客的关键点的各个平均点以及所述各个乘客的关键点的各个分散，针对各个所述座位的各个所述预设的感兴趣区域确认(i)所述各个乘客的关键点、(ii)所述各个乘客的关键点的各个所述平均点以及(iii)所述各个乘客的关键点的各个分散是否满足至少一个预设的条件，从而对各个所述座位匹配各个所述乘客，
所述处理器使得所述座位占有匹配器针对特定座位的特定感兴趣区域，(i)与特定乘客相对应的特定平均点位于所述特定感兴趣区域，(ii)与所述特定乘客相对应的特定分散为预设的第一临界值以下，(iii)位于所述特定感兴趣区域内的与所述特定乘客相对应的特定关键点的数量为预设的第二临界值以上的情况下，对所述特定座位匹配所述特定乘客。
6.根据权利要求5所述的车辆占有检测装置，其特征在于，在所述步骤(I)中，所述处理器向所述特征提取网络输入所述室内图像，使得所述特征提取网络利用包括执行多重卷积运算的一个以上卷积层的卷积块，对所述室内图像进行所述多重卷积运算。
7.根据权利要求5所述的车辆占有检测装置，其特征在于，在所述步骤(I)中，所述处理器向所述关键点检测装置输入所述关键点热图及所述部分亲和字段，使得所述关键点检测装置提取各个所述关键点热图上的各个最高位置作为与各个所述关键点热图相对应的各个所述关键点。
8.根据权利要求5所述的车辆占有检测装置，其特征在于，
所述特征提取网络和所述关键点热图及部分亲和字段提取器处于由学习装置学习的状态，所述学习装置若获取到包括一个以上学习用对象的至少一个训练图像，则处于执行如下步骤的状态：
步骤(i)，向所述特征提取网络输入所述训练图像，使得所述特征提取网络对所述训练图像进行卷积运算，从而生成一个以上学习用特征张量；
步骤(ii)，向所述关键点热图及部分亲和字段提取器输入所述学习用特征张量，使得所述关键点热图及部分亲和字段提取器生成对于各个所述学习用特征张量的学习用关键点热图及学习用部分亲和字段；
步骤(iii)，向所述关键点检测装置输入所述学习用关键点热图及所述学习用部分亲和字段，使得所述关键点检测装置从各个所述学习用关键点热图提取学习用关键点，参照各个所述学习用部分亲和字段对提取的所述学习用关键点进行分组，检测与所述训练图像内的各个所述学习用对象相对应的各学习用对象的关键点；以及
步骤(iv)，使得损失层参照所述各学习用对象的关键点及与其相对应的真实数据计算一个以上损失，基于利用所述损失的反向传播调整所述特征提取网络和所述关键点热图及部分亲和字段提取器的一个以上参数，使得所述损失最小化。
CN202010057857.2A 2019-01-30 2020-01-19 利用乘客的关键点检测车辆占有的方法及装置 Active CN111507156B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798981P 2019-01-30 2019-01-30
US62/798,981 2019-01-30
US16/721,957 US10635917B1 (en) 2019-01-30 2019-12-20 Method and device for detecting vehicle occupancy using passenger's keypoint detected through image analysis for humans' status recognition
US16/721,957 2019-12-20

Publications (2)

Publication Number Publication Date
CN111507156A CN111507156A (zh) 2020-08-07
CN111507156B true CN111507156B (zh) 2023-09-15

Family

ID=70332658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010057857.2A Active CN111507156B (zh) 2019-01-30 2020-01-19 利用乘客的关键点检测车辆占有的方法及装置

Country Status (5)

Country Link
US (1) US10635917B1 (zh)
EP (1) EP3690713A1 (zh)
JP (1) JP6815613B2 (zh)
KR (1) KR102313123B1 (zh)
CN (1) CN111507156B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102510881B1 (ko) * 2020-07-01 2023-03-16 주식회사 딥브레인에이아이 신경망 기반의 특징점 학습 장치 및 방법
CN113763467A (zh) * 2021-01-04 2021-12-07 北京沃东天骏信息技术有限公司 图像处理方法、装置、计算设备及介质
CN112699861B (zh) * 2021-03-24 2021-06-22 杭州学谷智能科技有限公司 一种基于神经网络热点图的自然场景票据矫正方法
EP4125063A1 (en) * 2021-07-29 2023-02-01 Aptiv Technologies Limited Methods and systems for occupancy class prediction and methods and systems for occlusion value determination
CN116796021B (zh) * 2023-08-28 2023-12-05 上海任意门科技有限公司 图像检索方法、系统、电子设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3019926A1 (fr) * 2014-04-15 2015-10-16 Esii Procede et dispositif pour la detection d'occupation d'une zone, et procede et systeme de gestion de file d'attente mettant en œuvre de tels procede et dispositif
JP2018083589A (ja) * 2016-11-25 2018-05-31 アイシン精機株式会社 乗員検知装置および乗員検知プログラム
CN108229488A (zh) * 2016-12-27 2018-06-29 北京市商汤科技开发有限公司 用于检测物体关键点的方法、装置及电子设备
JP2018149990A (ja) * 2017-03-14 2018-09-27 オムロン株式会社 運転者の着座判定装置
CN109190662A (zh) * 2018-07-26 2019-01-11 北京纵目安驰智能科技有限公司 一种基于关键点回归的车辆三维检测方法、系统、终端和存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4075345B2 (ja) * 2001-10-11 2008-04-16 日産自動車株式会社 自動巡航制御装置
CA2397389A1 (en) * 2002-08-09 2004-02-09 Djemel Ziou Image model based on n-pixels and defined in algebraic topology, and applications thereof
JP2005014690A (ja) * 2003-06-24 2005-01-20 Ntt Data Corp 車両状況推定方法、車両状況推定支援方法、車両状況推定装置および車両状況推定システム
US20050036691A1 (en) * 2003-08-13 2005-02-17 Pascal Cathier Method and system for using structure tensors to detect lung nodules and colon polyps
US9363483B2 (en) * 2013-06-19 2016-06-07 Xerox Corporation Method for available parking distance estimation via vehicle side detection
JP2015219892A (ja) * 2014-05-21 2015-12-07 大日本印刷株式会社 視線分析システムおよび視線分析装置
US9436895B1 (en) * 2015-04-03 2016-09-06 Mitsubishi Electric Research Laboratories, Inc. Method for determining similarity of objects represented in images
JP6661398B2 (ja) * 2016-02-03 2020-03-11 キヤノン株式会社 情報処理装置および情報処理方法
JP7290567B2 (ja) * 2016-11-07 2023-06-13 ナウト，インコーポレイテッド 運転者の注意散漫決定のためのシステム及び方法
US10068140B2 (en) * 2016-12-02 2018-09-04 Bayerische Motoren Werke Aktiengesellschaft System and method for estimating vehicular motion based on monocular video data
JP6977337B2 (ja) * 2017-07-03 2021-12-08 富士通株式会社 部位認識方法、装置、プログラム、及び撮像制御システム
JP2019040465A (ja) * 2017-08-25 2019-03-14 トヨタ自動車株式会社 行動認識装置，学習装置，並びに方法およびプログラム
US10322728B1 (en) * 2018-02-22 2019-06-18 Futurewei Technologies, Inc. Method for distress and road rage detection
JP6392478B1 (ja) * 2018-04-26 2018-09-19 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3019926A1 (fr) * 2014-04-15 2015-10-16 Esii Procede et dispositif pour la detection d'occupation d'une zone, et procede et systeme de gestion de file d'attente mettant en œuvre de tels procede et dispositif
JP2018083589A (ja) * 2016-11-25 2018-05-31 アイシン精機株式会社 乗員検知装置および乗員検知プログラム
CN108229488A (zh) * 2016-12-27 2018-06-29 北京市商汤科技开发有限公司 用于检测物体关键点的方法、装置及电子设备
JP2018149990A (ja) * 2017-03-14 2018-09-27 オムロン株式会社 運転者の着座判定装置
CN109190662A (zh) * 2018-07-26 2019-01-11 北京纵目安驰智能科技有限公司 一种基于关键点回归的车辆三维检测方法、系统、终端和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields;ZHE CAO et al.;《IEEE Conference on Computer Vision and Pattern Recognition (CVPR2017)》;20170414;第2卷;第1-9页 *
Robust Vehicle Occupant Detection based on RGB-Depth-Thermal Camera;CHANGHO SONG et al.;《JOURNAL OF KOREA ROBOTICS SOCIETY》;20180331;第13卷(第1期);第1-7页 *

Also Published As

Publication number Publication date
EP3690713A1 (en) 2020-08-05
CN111507156A (zh) 2020-08-07
JP2020121713A (ja) 2020-08-13
US10635917B1 (en) 2020-04-28
JP6815613B2 (ja) 2021-01-20
KR102313123B1 (ko) 2021-10-18
KR20200094642A (ko) 2020-08-07

Similar Documents

Publication Publication Date Title
CN111507174B (zh) 预测乘客的身高及体重的方法及装置
CN111507156B (zh) 利用乘客的关键点检测车辆占有的方法及装置
CN104573646B (zh) 基于激光雷达和双目相机的车前行人检测方法及系统
US7715591B2 (en) High-performance sensor fusion architecture
CN111507171B (zh) 根据驾驶员状态自动调整驾驶员辅助装置的方法和装置
US10474930B1 (en) Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
US20070127824A1 (en) Method and apparatus for classifying a vehicle occupant via a non-parametric learning algorithm
US7483866B2 (en) Subclass partitioning in a pattern recognition classifier for controlling deployment of an occupant restraint system
CN111507168B (zh) 通过二维摄像估计乘客状态的方法以及装置
JP2004131078A (ja) 乗員の上部胴体を識別するための乗員ラベリングシステム、その方法、並びにそれらを使用した乗員追跡およびエアバッグ展開システム
Kashevnik et al. Seat belt fastness detection based on image analysis from vehicle in-abin camera
US20080059027A1 (en) Methods and apparatus for classification of occupancy using wavelet transforms
US20060030988A1 (en) Vehicle occupant classification method and apparatus for use in a vision-based sensing system
KR102349906B1 (ko) 자동차의 블라인드 스팟 모니터링을 위한 학습 방법과 테스팅 방법, 및 이를 이용한 학습 장치와 테스팅 장치
EP3690720B1 (en) Method and device for estimating height and weight of passengers using body part length and face information based on human's status recognition
CN113366493A (zh) 信息处理方法、以及信息处理系统
US20230406250A1 (en) Vehicle for protecting occupant and operating method thereof
Verma et al. Development of Lane Departure Warning System and SiL Testing for AV Systems in India
CN116438582A (zh) 用于操作停车辅助的方法、计算机程序产品、停车辅助系统、车辆和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant