CN111867466A - 体格估计装置及体格估计方法 - Google Patents

体格估计装置及体格估计方法 Download PDF

Info

Publication number
CN111867466A
CN111867466A CN201880091339.3A CN201880091339A CN111867466A CN 111867466 A CN111867466 A CN 111867466A CN 201880091339 A CN201880091339 A CN 201880091339A CN 111867466 A CN111867466 A CN 111867466A
Authority
CN
China
Prior art keywords
passenger
physique
face
seat
physique estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880091339.3A
Other languages
English (en)
Inventor
工藤大树
大塚贵弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN111867466A publication Critical patent/CN111867466A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01554—Seat position sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01556—Child-seat detection systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
    • B60R2021/006—Type of passenger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Air Bags (AREA)

Abstract

体格估计装置(1)基于从拍摄车室内而得到的图像中检测到的乘客的面部信息，判定乘客就座的座席，使用判定出的座席的基准位置与面部的位置的差分，计算乘客的坐高，基于乘客的坐高，估计乘客的体格。

Description

体格估计装置及体格估计方法
技术领域
本发明涉及一种对车辆的乘客的体格进行估计的体格估计装置及体格估计方法。
背景技术
在汽车中，在发生了事故时为了防止乘客的负伤或者减轻负伤而搭载有安全气囊。安全气囊控制装置根据发生了汽车的事故时的乘客的有无来变更安全气囊的工作可否，根据乘客的体格来变更安全气囊工作时的压力(展开膨胀力)。
作为对汽车的乘客的体格进行估计的现有技术，例如，在专利文献1中，记载了一种基于由搭载于汽车的立体照相机拍摄到的图像来估计乘客的体格的系统。
现有技术文献
专利文献
专利文献1：日本特开2008-2838号公报
发明内容
发明要解决的问题
立体照相机的价格比单眼照相机高，图像处理所需的计算量也多。因此，在专利文献1所记载的系统中，存在需要高价且计算能力高的计算装置这样的问题。
本发明用于解决上述问题，其目的在于，得到一种能够使用由单眼照相机拍摄到的图像来估计车辆的乘客的体格的体格估计装置及体格估计方法。
用于解决问题的手段
本发明的体格估计装置具备面部检测部及体格估计部。面部检测部输入拍摄车室内而得到的图像，从输入的图像中检测乘客的面部信息。体格估计部基于由面部检测部检测到的面部信息，判定乘客就座的座席，使用针对判定出的座席的基准位置与面部的位置的差分，计算乘客的坐高，基于计算出的乘客的坐高，估计乘客的体格。
发明的效果
根据本发明，体格估计装置基于从拍摄车室内而得到的图像中检测到的乘客的面部信息，判定乘客就座的座席，使用判定出的座席的基准位置与面部的位置的差分，计算乘客的坐高，基于乘客的坐高，估计乘客的体格。
由于只要能够根据从图像中检测到的乘客的面部信息来确定面部的位置即可，因此，面部信息的检测对象的图像也可以是由单眼照相机拍摄到的图像。由此，体格估计装置能够使用由单眼照相机拍摄到的图像，估计车辆的乘客的体格。
附图说明
图1是示出本发明的实施方式1的体格估计装置的结构例的框图。
图2是示出实施方式1的体格估计方法的流程图。
图3是示出实施方式1中的体格估计处理的详细的流程图。
图4是示出拍摄车室内而得到的图像中的每个座席的判定区域的图。
图5A是示出实现实施方式1的体格估计装置的功能的硬件结构的框图。图5B是示出执行用于实现实施方式1的体格估计装置的功能的软件的硬件结构的框图。
图6是示出本发明的实施方式2的体格估计装置的结构例的框图。
图7是示出实施方式2中的体格估计处理的详细的流程图。
图8是示出本发明的实施方式3的体格估计装置的结构例的框图。
图9是示出实施方式3中的体格估计处理的详细的流程图。
图10是示出肩宽的计算概要的图。
图11是示出与座席的滑动位置对应的面部的位置及大小的变化的图。
具体实施方式
以下，为了更加详细地说明本发明，按照附图对其具体实施方式进行说明。
实施方式1.
图1是示出本发明的实施方式1的体格估计装置1的结构例的框图。体格估计装置1输入由照相机2拍摄到的车室内的图像，从输入的图像中检测乘客的面部信息，基于检测到的面部信息，判定乘客就座的座席。然后，体格估计装置1使用针对判定出的座席的基准位置与面部的位置的差分，计算乘客的坐高，基于计算出的乘客的坐高来估计乘客的体格。
在实施方式1中，设想体格估计装置1为车载装置，但也可以设置于车辆外部。例如，也可以由存在于车辆外部的服务器装置实现体格估计装置1。在该情况下，服务器装置从车载通信设备接收车室内的拍摄图像，将基于接收到的拍摄图像而估计出的乘客的体格估计结果向车载通信设备返回。车载通信设备将接收到的乘客的体格估计结果向安全气囊控制装置3输出。
照相机2是将车室内作为拍摄范围的单眼照相机。例如，对于照相机2，也可以使用能够在暗处进行拍摄的红外线照相机。此外，照相机2也可以使用CCD照相机或CMOS照相机这样的可见光区域的照相机。
照相机2的台数及安装位置被调整为，拍摄车室内的全部乘客。例如，安装于车室内的室内镜附近的照相机2能够通过1台来拍摄车室内的宽范围。另外，照相机2也可以为2台以上。例如，也可以使用按照每个座席而设置的、将对应的座席包含在拍摄范围内的照相机2。
通过体格估计装置1按照每个就座位置而得到的乘客的体格估计结果被输出到安全气囊控制装置3。安全气囊控制装置3基于从体格估计装置1输入的乘客的体格估计结果来控制安全气囊的工作。例如，安全气囊控制装置3根据乘客的体格，变更安全气囊工作时的压力。
体格估计装置1构成为具备面部检测部10及体格估计部11。
面部检测部10输入拍摄车室内而得到的图像，从输入的图像中检测乘客的面部信息。体格估计部11基于由面部检测部10检测到的面部信息，判定乘客就座的座席，使用针对判定出的座席的基准位置与面部的位置的差分来计算乘客的坐高，基于计算出的乘客的坐高来估计乘客的体格。
接着对动作进行说明。
图2是示出实施方式1的体格估计方法的流程图，示出从输入拍摄车室内而得到的图像开始到估计乘客的体格为止的一系列的处理。
面部检测部10从照相机2输入拍摄车室内而得到的图像，从输入的图像中检测乘客的面部信息(步骤ST1)。在面部信息的检测处理中，例如可以使用利用了haar-like特征量的图像识别方法，也可以使用除此以外的已知的图像识别方法。此外，面部检测部10也可以不将图像整体作为面部检测对象，而是将面部检测对象缩小到后述的就座位置的判定区域。由此，能够降低面部检测所需的计算量。
面部信息是表示图像内的面部的区域的信息，包括表示面部的位置及面部的大小的坐标。面部的区域可以是面部整体的区域，但如果是能够确定面部的位置及面部的大小的范围，则也可以是面部的一部分区域。
作为表示面部的位置及面部的大小的坐标，例如，也可以是供面部的区域内切的矩形上的对角的2点的坐标。对角的2点例如是上述矩形的左上点和右下点。此外，也可以是上述矩形上的点中的面部的宽度方向的2点及高度方向的2点中的任意一方或两方。在面部信息中也可以包括面部的器官(眼、鼻、嘴、耳)的坐标。面部检测部10将包括这些面部信息的面部检测结果向体格估计部11输出。
接着，体格估计部11基于乘客的面部信息来判定乘客就座的座席，使用针对判定出的座席的基准位置与面部的位置的差分来计算乘客的坐高，基于计算出的乘客的坐高，估计乘客的体格(步骤ST2)。
例如，体格估计部11根据由面部检测部10检测到的面部信息，确定乘客的面部的位置及面部的大小，基于确定出的面部的位置及面部的大小，判定乘客就座的座席。体格估计部11使用与判定出的座席相应的换算值，将基准位置与面部的位置的差分换算为乘客的坐高。体格估计部11基于换算上述差分而得到的乘客的坐高，参照包括坐高的身体计测数据与人的体格的对应数据，估计与坐高值对应的乘客的体格。
接着，对体格估计处理详细进行说明。
图3是示出实施方式1中的体格估计处理的详细的流程图，示出图2的步骤ST2的具体处理。
在步骤ST1a中，体格估计部11根据从面部检测部10输入的面部检测结果，判定乘客就座的座席。例如，体格估计部11基于根据面部检测结果而确定出的面部的位置的坐标，判定在每个座席的判定区域是否包括面部的位置。
图4是示出拍摄车室内而得到的图像2a中的每个座席的判定区域的图。
图像2a是由照相机2拍摄车室内而得到的图像。判定区域20～24是按照每个座席而设定的判定区域，示出在乘客就座时面部所处的图像范围。判定区域20～24事先通过实验而决定。
另外，判定区域20～24是以如下方式被调整的图像范围：除了就座于对应的座席的乘客朝向正面的情况之外，在乘客朝向旁边时或者乘客朝下或朝上时也包括乘客的面部。
判定区域20是就座于驾驶席的乘客的面部所处的图像范围，判定区域21是就座于助手席的乘客的面部所处的图像范围。判定区域22是就座于驾驶席的后部座席的乘客的面部所处的图像范围，判定区域23是就座于助手席的后部座席的乘客的面部所处的图像范围。判定区域24是就座于中央的后部座席的乘客的面部所处的图像范围。
体格估计部11在面部的位置在判定区域20～24中的多个判定区域重复的情况下，基于根据面部检测结果而确定出的面部的大小，判定乘客就座的座席。例如，在与驾驶席对应的判定区域20和与驾驶席的后部座席对应的判定区域22中，如图4所示，区域的一部分重复。体格估计部11在判定为在该重复的区域包括面部的位置的情况下，根据面部检测结果来确定面部的大小，如果确定出的面部的大小比阈值大，则判定为乘客就座于驾驶席(接近照相机2的一侧的座席)。在面部的大小为阈值以下的情况下，体格估计部11判定为乘客就座于后部座席(位于远离照相机2的一侧的座席)。另外，用于判定面部的大小的阈值事先通过实验来决定。
返回图3的说明。
在判定为在判定区域包括面部的位置的情况下(步骤ST1a；是)，体格估计部11判定为乘客就座于与该判定区域对应的座席，计算针对判定出的座席的基准位置与面部的位置的差分(步骤ST2a)。作为计算上述差分的面部的位置，可以是面部的区域的上端位置、下端位置及中央位置中的任意位置，也可以是面部器官(眼、鼻、嘴、耳)中的任意器官的位置。
基准位置例如是座席的座面的高度位置，由通过照相机2拍摄到的图像的二维坐标系的坐标值表示。在图像中映出座席的座面的情况下，图像内的座面的高度位置的坐标成为基准位置。在图像中未映出座席的座面的情况下，如下的位置坐标成为基准位置，该位置坐标是在将图像的二维坐标系扩展至图像外的二维坐标系中被估计为座席的座面的高度位置的位置坐标。基准位置事先通过实验来决定。
接着，体格估计部11使用换算值，将基准位置与面部的位置的差分换算为乘客的坐高(步骤ST3a)。换算值是将图像的二维坐标系的点之间的距离换算为实际空间的铅垂方向的距离的值。换算值事先通过实验来决定。
基准位置及换算值可以是按照每个座席而不同的值，也可以是根据座席而共同的值。例如，由于驾驶席的座面的高度与助手席的座面的高度通常相同，因此，使用共同的基准值，由于图4所示的3个后部座席的高度也相同，因此，使用共同的基准值。
体格估计部11基于乘客的坐高来估计乘客的体格类别(步骤ST4a)。例如，体格估计部11对在步骤ST3a中计算出的乘客的坐高与分类用阈值进行比较，根据比较的结果来估计乘客的体格类别。体格类别是对乘客的大小进行了分类的类别，例如，根据变更安全气囊的压力的判断基准来决定。体格类别的分类用的上述阈值事先通过实验来决定。
由体格估计部11估计的乘客的体格估计结果(例如，体格类别)从体格估计装置1被输出到安全气囊控制装置3。安全气囊控制装置3基于从体格估计装置1输入的乘客的体格估计结果，变更安全气囊工作时的压力。
另外，在判定为在判定区域不包括面部的位置的情况下(步骤ST1a；否)，体格估计部11判定为乘客未就座于与该判定区域对应的座席(步骤ST5a)。之后，体格估计部11结束与该座席相关的处理。
坐高是从座面到人的头顶部的距离。但是，在实施方式1中，如上所述，作为表示面部的位置的坐标，例如，有时检测面部的下端位置的坐标或者面部的中央位置的坐标。在该情况下，体格估计部11在检测面部的下端位置的坐标作为面部的位置的坐标时，计算从座面到面部的下端位置的距离，将计算出的值加上面部的高度的标准值来计算坐高。同样，在检测面部的中央位置的坐标作为面部的位置的坐标时，体格估计部11计算从座面到面部的中央位置的距离，将计算出的值加上面部的高度的标准值的1/2倍的值来计算坐高。
以下，对实现体格估计装置1的硬件结构进行说明。
图5A是示出实现体格估计装置1的功能的硬件结构的框图。图5B是示出执行用于实现体格估计装置1的功能的软件的硬件结构的框图。在图5A及图5B中，照相机接口100是体格估计装置1与图1所示的照相机2之间的接口，对从照相机2向体格估计装置1输出的图像信息进行中继。安全气囊控制接口101是体格估计装置1与图1所示的安全气囊控制装置3之间的接口，对从体格估计装置1向安全气囊控制装置3输出的体格估计结果进行中继。
非易失性存储装置102是存储通过由体格估计装置1进行的乘客的体格估计处理而得到的信息的存储装置。在非易失性存储装置102中存储有从照相机2输入的图像信息、由面部检测部10检测到的面部信息、用于各种判定的阈值信息、基准值、换算值及体格估计结果。非易失性存储装置102也可以是独立于体格估计装置1而设置的存储装置。例如，作为非易失性存储装置102，也可以使用存在于云端上的存储装置。
体格估计装置1中的面部检测部10及体格估计部11的功能由处理电路实现。即，体格估计装置1具备用于执行图2所示的步骤ST1至步骤ST2的处理的处理电路。该处理电路可以是专用的硬件，但也可以是执行存储器所存储的程序的CPU(Central ProcessingUnit)。
在处理电路是图5A所示的专用的硬件的处理电路103的情况下，处理电路103例如对应于单一电路、复合电路、程序化的处理器、并行程序化的处理器、ASIC(ApplicationSpecific Integrated Circuit)、FPGA(Field-Programmable Gate Array)或者它们的组合。可以通过不同的处理电路来实现面部检测部10及体格估计部11的功能，也可以将这些功能统一由1个处理电路实现。
在处理电路为图5B所示的处理器104的情况下，面部检测部10及体格估计部11的功能通过软件、固件或者软件与固件的组合来实现。软件或固件被记述为程序而存储于存储器105。
处理器104通过读出并执行存储器105所存储的程序而实现面部检测部10及体格估计部11的功能。即，体格估计装置1具备存储如下程序的存储器105，在由处理器104执行该程序时，结果上执行图2所示的步骤ST1至步骤ST2的处理。这些程序使计算机执行面部检测部10及体格估计部11的步骤或方法。存储器105也可以是存储有用于使计算机作为面部检测部10及体格估计部11发挥功能的程序的计算机可读存储介质。
存储器105例如对应于RAM(Random Access Memory)、ROM(Read Only Memory)、闪存、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically-EPROM)等非易失性或易失性的半导体存储器、磁盘、软盘、光盘、高密度盘、迷你盘、DVD等。
此外，关于面部检测部10及体格估计部11的功能，也可以由专用的硬件实现一部分，由软件或固件实现一部分。例如，面部检测部10通过作为专用的硬件的处理电路来实现功能。关于体格估计部11，处理器104通过读出并执行存储器105所存储的程序来实现功能。这样，处理电路能够通过硬件、软件、固件或者它们的组合来分别实现上述功能。
如以上那样，实施方式1的体格估计装置1基于从图像中检测到的乘客的面部信息来判定乘客就座的座席，使用判定出的座席的基准位置与面部的位置的差分，计算乘客的坐高，基于乘客的坐高，估计乘客的体格。尤其是体格估计部11基于从图像中检测到的乘客的面部的位置及面部的大小来判定乘客就座的座席，使用与判定出的座席相应的换算值，将基准位置与面部的位置的差分换算为乘客的坐高。由于只要能够根据从图像中检测到的乘客的面部信息来确定面部的位置即可，因此，面部信息的检测对象的图像也可以是由单眼照相机拍摄到的图像。由此，体格估计装置1能够使用由单眼照相机拍摄到的图像来估计车辆的乘客的体格。
实施方式2.
图6是示出本发明的实施方式2的体格估计装置1A的结构的框图。在图6中，与图1相同的结构要素标注相同的标号并省略说明。体格估计装置1A与实施方式1同样地估计乘客的体格，并且当检测到儿童座椅时，将就座于儿童座椅的乘客的体格估计为是被分类为孩子的体格，而不进行实施方式1所说明的体格估计处理。
体格估计装置1A具备面部检测部10、体格估计部11A及儿童座椅检测部12。体格估计部11A与实施方式1同样，基于由面部检测部10检测到的面部信息来判定乘客就座的座席，使用针对判定出的座席的基准位置与面部的位置的差分，计算乘客的坐高，基于乘客的坐高，估计乘客的体格。此外，体格估计部11A基于从儿童座椅检测部12输入的儿童座椅检测结果，判定就座于儿童座椅的乘客，将判定出的乘客的体格估计为是被分类为孩子的体格。
儿童座椅检测部12输入由照相机2拍摄车室内而得到的图像，从输入的图像中检测儿童座椅信息。在儿童座椅信息的检测处理中，例如可以使用利用了HOG(Histogram ofOriented Gradient)特征量的图像识别方法，也可以使用除此以外的已知的图像识别方法。儿童座椅检测结果例如是图像内的儿童座椅的位置坐标。此外，儿童座椅的位置坐标例如可以是图像内的儿童座椅的区域所包含的点的位置坐标，也可以是供该区域内切的矩形上的点的位置坐标。
实现面部检测部10、体格估计部11A及儿童座椅检测部12的功能的处理电路也可以是图5A所示的作为专用的硬件的处理电路103。此外，实现面部检测部10、体格估计部11A及儿童座椅检测部12的功能的处理电路也可以是图5B所示的执行存储器105所存储的程序的处理器104。
此外，关于面部检测部10、体格估计部11A及儿童座椅检测部12的功能，可以由专用的硬件实现一部，由软件或固件实现一部分。
接着，对动作进行说明。
面部检测部10所进行的动作与实施方式1同样，因此省略说明。
图7是示出实施方式2中的体格估计处理的详细的流程图。图7的步骤ST1b的处理、步骤ST3b至步骤ST5b的处理、以及步骤ST7b的处理与图3所示的步骤ST1a至步骤ST5a的处理相同，因此省略说明。
在判定为判定区域包括面部的位置的情况下(步骤ST1b；是)，体格估计部11A将与该判定区域对应的座席判定为乘客的就座位置。
接下来，体格估计部11A基于从儿童座椅检测部12输入的儿童座椅检测结果，判定乘客就座的座席是否为儿童座椅(步骤ST2b)。例如，体格估计部11A在儿童座椅的位置坐标包含于判定为乘客就座的座席的图像区域的情况下，判定为被判定为乘客就座的座席是儿童座椅。
在判定为乘客就座的座席不是儿童座椅的情况下(步骤ST2b；否)，体格估计部11A执行从步骤ST3b起的一系列的处理。
在通过儿童座椅检测部12未从图像中检测到儿童座椅信息的情况下，体格估计部11A针对乘客就座的全部的座席判定为不是儿童座椅，因此，同样执行从步骤ST3b起的一系列的处理。
在判定为乘客就座的座席是儿童座椅的情况下(步骤ST2b；是)，体格估计部11A将就座于该座席的乘客的体格估计为是被分类为孩子的体格(步骤ST6b)。由体格估计部11A估计的乘客的体格估计结果从体格估计装置1A被输出到安全气囊控制装置3。安全气囊控制装置3将儿童座椅的安全气囊的压力(展开膨胀力)变更为与孩子对应的压力。
如以上那样，实施方式2的体格估计装置1A具备儿童座椅检测部12。体格估计部11A基于由儿童座椅检测部12检测到的儿童座椅信息，判定就座于儿童座椅的乘客，将判定出的乘客的体格估计为是被分类为孩子的体格。体格估计部11A将就座于儿童座椅的乘客的体格估计为是被分类为孩子的体格，而不计算乘客的坐高。由此，能够降低体格估计处理所需的计算量。
实施方式3.
图8是示出本发明的实施方式3的体格估计装置1B的结构的框图。在图8中，针对与图1相同的结构要素标注相同的标号并省略说明。体格估计装置1B从车室内的图像中检测乘客的面部信息及肩信息，基于检测到的面部信息，判定乘客就座的座席。体格估计装置1B根据乘客就座的座席和面部信息，计算乘客的坐高，根据肩信息，计算乘客的肩宽，基于乘客的肩宽和坐高，估计乘客的体格。
体格估计装置1B具备面部检测部10、体格估计部11B及肩检测部13。
体格估计部11B与实施方式1同样，基于由面部检测部10检测到的面部信息，判定乘客就座的座席，使用针对判定出的座席的基准位置与面部的位置的差分，计算乘客的坐高。此外，体格估计部11B基于肩检测部13的肩检测结果，计算乘客的肩宽，基于乘客的肩宽及坐高，估计乘客的体格。
肩检测部13输入拍摄车室内而得到的图像，从输入的图像中检测乘客的肩信息。在肩信息的检测处理中，例如，也可以使用利用了HOG特征量的图像识别方法。此外，也可以通过使用了肩图像的模板的模板匹配，从图像中检测肩的区域。其中，也可以使用除此以外的已知的图像识别方法。
肩检测结果例如是图像内的肩部分的位置坐标。肩部分的位置坐标可以是图像内的肩部分的区域所包含的点的位置坐标，也可以是供肩部分的区域内切的矩形上的点的位置坐标。
例如，在右方向盘的车辆中，就座于驾驶席的后部座席的乘客有时从照相机2观察时右肩被驾驶席隐藏。在该情况下，肩检测部13只能检测到乘客的左肩的肩信息。另一方面，就座于助手席的后部座席的乘客有时从照相机2观察时左肩被助手席隐藏，在该情况下，肩检测部13只能检测到乘客的右肩的肩信息。
对此，肩检测部13也可以根据座席，分开使用左肩用的图像特征量和右肩用的图像特征量来检测肩的区域。此外，肩检测部13也可以根据座席，分开使用左肩用和右肩用的模板来检测肩的区域。
实现面部检测部10、体格估计部11B及肩检测部13的功能的处理电路也可以是图5A所示的作为专用的硬件的处理电路103。此外，实现面部检测部10、体格估计部11B及肩检测部13的功能的处理电路也可以是图5B所示的执行存储器105所存储的程序的处理器104。也可以由专用的硬件实现面部检测部10、体格估计部11B及肩检测部13的功能的一部分，由软件或固件实现一部分。
接着，对动作进行说明。
由面部检测部10进行的动作与实施方式1同样，因此省略说明。
图9是示出实施方式3中的体格估计处理的详细的流程图。图9的步骤ST1c至步骤ST3c的处理及步骤ST6c的处理与图3所示的步骤ST1a至步骤ST3a的处理及步骤ST5a的处理相同，因此省略说明。
体格估计部11B基于肩检测结果所包含的肩部分的位置来计算乘客的肩宽(步骤ST4c)。例如，体格估计部11B在得到左右两方的肩部分的位置坐标的情况下，计算左右的肩部分的位置坐标的差分，使用换算值，将差分换算为肩宽。换算值是将图像的二维坐标系的点之间的距离换算为实际空间的水平方向的距离的值。换算值事先通过实验来决定。
图10是示出肩宽的计算的概要的图。如图10所示，体格估计部11B根据面部检测结果来计算乘客A的面部的中心位置的坐标P1，根据肩检测结果来计算乘客A的肩的端位置的坐标P2。在通过肩检测部13只能检测乘客A的单侧的肩的情况下，体格估计部11B计算面部的中心位置的坐标P1与肩的端位置的坐标P2的差分ΔP，将该差分ΔP的2倍的值换算为肩宽。
接着，体格估计部11B使用乘客的坐高及肩宽，根据混合高斯分布模型来估计乘客的体格类别(步骤ST5c)。
例如，体格估计部11B基于身体计测统计数据所包含的人的体重、坐高及肩宽，取得混合数为4(成人男性、成人女性、未成年男性、未成年女性)的混合高斯分布参数。接下来，体格估计部11B使用从图像中得到的坐高及肩宽，根据由上述混合高斯分布参数规定的混合高斯分布模型，估计乘客的体格类别。上述混合高斯分布模型是包括坐高及肩宽的身体计测数据与人的体格的对应数据。
在体格的估计中使用了混合高斯分布，但体格估计部11B也可以将作为数据聚类方法的SVM(Support Vector Machine)用于体格的估计。此外，在体格类别的分类中，可以将体重以外作为基准，也可以改变混合高斯分布参数的混合数。
如以上那样，实施方式3的体格估计装置1B具备肩检测部13。体格估计部11B基于由肩检测部13检测到的肩信息来计算乘客的肩宽，基于计算出的乘客的肩宽及坐高，估计乘客的体格。
尤其是体格估计部11B参照包括坐高及肩宽的身体计测数据与人的体格的对应数据，根据乘客的肩宽及坐高来估计乘客的体格。
这样，只要能够根据从图像中检测到的乘客的面部信息来确定面部的位置，且能够根据肩信息来确定肩的位置即可，因此，面部信息及肩信息的检测对象的图像也可以是由单眼照相机拍摄到的图像。由此，体格估计装置1B能够使用由单眼照相机拍摄到的图像，估计车辆的乘客的体格。
实施方式4.
车辆的座席通常能够滑动或倾斜。
在照相机2从车辆前方朝向后方的情况下，当使座席滑动或倾斜时，从照相机2观察时，就座于该座席的乘客远离或接近。通过座席的滑动或倾斜，从照相机2观察时远离状态下的乘客的面部的位置在由照相机2拍摄到的图像内向上侧移动。通过座席的滑动或倾斜，从照相机2观察时接近状态下的乘客的面部的位置在图像内向下侧移动。因此，有时通过座席的滑动或倾斜而使面部的位置从判定区域脱离。
另一方面，通过座席的滑动或倾斜，从照相机2观察时远离状态下的乘客的面部的大小在由照相机2拍摄到的图像内变小。
此外，通过座席的滑动或倾斜，从照相机2观察时接近状态下的乘客的面部的大小在上述图像内变大。
对此，实施方式1～3中的任意一个实施方式的体格估计部也可以参照表示与座席的滑动位置或倾斜位置对应的面部的位置范围及面部的大小的范围的数据，判定乘客就座的座席。
图11是示出与座席的滑动位置对应的乘客的面部的位置的变化的图，示出通过从车辆前方朝向后方的照相机2拍摄车室内而得到的图像2a。
在驾驶席向前滑动的情况下，就座于驾驶席的乘客的面部的位置向图像2a内的外侧且下侧移动，并且，面部的大小变大。在驾驶席向后滑动的情况下，就座于驾驶席的乘客的面部的位置向图像2a内的中央且上侧移动，并且，面部的大小变小。
为了反映与座席的滑动相伴的图像2a内的面部的位置及面部的大小的变化，如图11所示，预先将与座席的滑动位置对应的判定区域Pa、Pb、Pc设定于体格估计部。判定区域Pa示出就座于滑动到最前方的驾驶席的乘客的面部所处的图像范围。判定区域Pb示出就座于滑动到通常位置的驾驶席的乘客的面部所处的图像范围。判定区域Pc示出就座于滑动到最后方的驾驶席的乘客的面部所处的图像范围。
就座于滑动到前方的驾驶席的乘客的面部的大小在图像2a内变大，因此，在体格估计部中设定作为最宽的图像范围的判定区域Pa。
就座于滑动到后方的驾驶席的乘客的面部的大小在图像2a内变小，因此，在体格估计部中设定作为最窄的图像范围的判定区域Pc。
与驾驶席的通常的滑动位置对应的中间宽度的图像范围是判定区域Pb。
另外，判定区域Pa、Pb、Pc事先通过实验来决定。无论根据面部检测结果而确定出的面部的位置包含于判定区域Pa、Pb、Pc中的哪个区域，体格估计部都判定为乘客就座于驾驶席。
在图11中，举出了使座席滑动的情况的例子，但使座席倾斜的情况也同样，将与倾斜位置对应的判定区域用于座席的判定。
此外，关于为了计算乘客的坐高而使用的基准位置及换算值，根据座席的滑动位置或倾斜位置也成为不同的值。
对此，在体格估计部中设定与滑动位置或倾斜位置对应的基准位置及换算值。体格估计部在判定乘客就座的座席时，使用与滑动位置或倾斜位置对应的换算值及基准位置，计算乘客的坐高。由此，即便在座席滑动或倾斜的情况下，体格估计部也能够准确地判定乘客就座的座席，能够计算准确的坐高。
另外，本发明不限于上述实施方式，在本发明的范围内，能够进行各个实施方式的自由组合或各个实施方式的任意的结构要素的变形、或者在各个实施方式中能够省略任意的结构要素。
产业利用性
本发明的体格估计装置能够使用由单眼照相机拍摄到的图像来估计车辆的乘客的体格，因此，例如能够用于安全气囊的控制。
标号说明
1、1A、1B体格估计装置，2照相机，2a图像，3安全气囊控制装置，10面部检测部，11、11A、11B体格估计部，12儿童座椅检测部，13肩检测部，20～24判定区域，100照相机接口，101安全气囊控制接口，102非易失性存储装置，103处理电路，104处理器，105存储器。

Claims (7)

1.一种体格估计装置，其特征在于，
所述体格估计装置具备：
面部检测部，其输入拍摄车室内而得到的图像，从输入的图像中检测乘客的面部信息；以及
体格估计部，其基于由所述面部检测部检测到的面部信息，判定所述乘客就座的座席，使用针对判定出的座席的基准位置与面部的位置的差分，计算所述乘客的坐高，基于计算出的所述乘客的坐高，估计所述乘客的体格。
2.根据权利要求1所述的体格估计装置，其特征在于，
所述体格估计部基于从拍摄车室内而得到的图像中检测到的所述乘客的面部的位置及面部的大小，判定所述乘客就座的座席，使用换算值，将所述基准位置与面部的位置的差分换算为所述乘客的坐高。
3.根据权利要求1或2所述的体格估计装置，其特征在于，
所述体格估计装置具备儿童座椅检测部，该儿童座椅检测部输入拍摄车室内而得到的图像，从输入的图像中检测儿童座椅信息，
所述体格估计部基于由所述儿童座椅检测部检测到的儿童座椅信息，确定就座于儿童座椅的所述乘客，将确定出的所述乘客的体格估计为是被分类为孩子的体格。
4.根据权利要求1或2所述的体格估计装置，其特征在于，
所述体格估计装置具备肩检测部，该肩检测部输入拍摄车室内而得到的图像，从输入的图像中检测所述乘客的肩信息，
所述体格估计部基于由所述肩检测部检测到的肩信息，计算所述乘客的肩宽，基于计算出的所述乘客的肩宽及坐高，估计所述乘客的体格。
5.根据权利要求4所述的体格估计装置，其特征在于，
所述体格估计部参照包括坐高及肩宽的身体计测数据与人的体格的对应数据，根据所述乘客的肩宽及坐高来估计所述乘客的体格。
6.根据权利要求2所述的体格估计装置，其特征在于，
所述体格估计部参照表示与座席的滑动位置或倾斜位置对应的面部的位置范围及面部的大小的范围的数据，基于由所述面部检测部检测到的面部信息，判定所述乘客就座的座席，使用与滑动位置或倾斜位置对应的所述换算值及所述基准位置，计算所述乘客的坐高。
7.一种体格估计方法，其特征在于，
所述体格估计方法具备如下步骤：
面部检测部输入拍摄车室内而得到的图像，从输入的图像中检测乘客的面部信息；以及
体格估计部基于由所述面部检测部检测到的面部信息，判定所述乘客就座的座席，使用针对判定出的座席的基准位置与面部的位置的差分，计算所述乘客的坐高，基于计算出的所述乘客的坐高，估计所述乘客的体格。
CN201880091339.3A 2018-03-22 2018-03-22 体格估计装置及体格估计方法 Pending CN111867466A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/011415 WO2019180876A1 (ja) 2018-03-22 2018-03-22 体格推定装置および体格推定方法

Publications (1)

Publication Number Publication Date
CN111867466A true CN111867466A (zh) 2020-10-30

Family

ID=67986055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880091339.3A Pending CN111867466A (zh) 2018-03-22 2018-03-22 体格估计装置及体格估计方法

Country Status (5)

Country Link
US (1) US20210001796A1 (zh)
JP (1) JP6739672B2 (zh)
CN (1) CN111867466A (zh)
DE (1) DE112018007120B4 (zh)
WO (1) WO2019180876A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7285155B2 (ja) * 2019-07-16 2023-06-01 株式会社Subaru 車両の乗員保護システム
JP7287239B2 (ja) * 2019-10-18 2023-06-06 株式会社デンソー 乗員体格判定装置
JP7401338B2 (ja) 2020-02-20 2023-12-19 フォルシアクラリオン・エレクトロニクス株式会社 情報処理装置、プログラム及び情報処理方法
CN111439170B (zh) * 2020-03-30 2021-09-17 上海商汤临港智能科技有限公司 儿童状态检测方法及装置、电子设备、存储介质
US11148628B1 (en) * 2020-03-31 2021-10-19 GM Global Technology Operations LLC System and method for occupant classification and the regulation of airbag deployment based thereon
JP2022053216A (ja) * 2020-09-24 2022-04-05 豊田合成株式会社 車両内状態検知装置
JP2022086070A (ja) 2020-11-30 2022-06-09 フォルシアクラリオン・エレクトロニクス株式会社 情報処理装置、及びプログラム
WO2023095297A1 (ja) * 2021-11-26 2023-06-01 日本電気株式会社 乗車位置判定装置、システム、方法、及びコンピュータ可読媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1821714A (zh) * 2005-02-18 2006-08-23 高田株式会社 检测系统、报知装置、驱动装置、车辆
CN1899890A (zh) * 2005-07-19 2007-01-24 高田株式会社 乘员信息检测系统、乘员约束装置和车辆
CN101086604A (zh) * 2006-06-09 2007-12-12 索尼株式会社 成像设备、成像设备的控制方法以及计算机程序
JP2010203837A (ja) * 2009-03-02 2010-09-16 Mazda Motor Corp 車室内状態の認識装置
CN105054936A (zh) * 2015-07-16 2015-11-18 河海大学常州校区 基于Kinect景深图像的快速身高和体重测量方法
CN107798685A (zh) * 2017-11-03 2018-03-13 北京旷视科技有限公司 行人身高确定方法、装置及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3838794B2 (ja) * 1998-10-20 2006-10-25 タカタ株式会社 乗員拘束装置
US7607509B2 (en) 2002-04-19 2009-10-27 Iee International Electronics & Engineering S.A. Safety device for a vehicle
JP3906741B2 (ja) * 2002-05-22 2007-04-18 タカタ株式会社 乗員保護装置
US20040024507A1 (en) * 2002-07-31 2004-02-05 Hein David A. Vehicle restraint system for dynamically classifying an occupant and method of using same
JP2008002838A (ja) 2006-06-20 2008-01-10 Takata Corp 車両乗員検出システム、作動装置制御システム、車両
US20100182425A1 (en) 2009-01-21 2010-07-22 Mazda Motor Corporation Vehicle interior state recognition device
JP2010203836A (ja) * 2009-03-02 2010-09-16 Mazda Motor Corp 車室内状態の認識装置
JP2011164063A (ja) * 2010-02-15 2011-08-25 Stanley Electric Co Ltd 車載装置の受付制御装置および受付制御方法
JP2014201174A (ja) * 2013-04-03 2014-10-27 本田技研工業株式会社 車両制御システム
JP6458734B2 (ja) * 2013-10-09 2019-01-30 日本電気株式会社 乗車人数計測装置、乗車人数計測方法および乗車人数計測プログラム
JP2015231121A (ja) * 2014-06-04 2015-12-21 シャープ株式会社 撮像装置、生体計測ブース、撮像装置の制御方法、プログラム、記録媒体
EP3165408B1 (en) 2015-11-08 2018-10-03 Thunder Power New Energy Vehicle Development Company Limited Automatic passenger airbag switch
CN105632104B (zh) * 2016-03-18 2019-03-01 内蒙古大学 一种疲劳驾驶检测系统和方法
US10112505B2 (en) 2016-09-21 2018-10-30 Intel Corporation Occupant profiling system
JP6870294B2 (ja) 2016-11-25 2021-05-12 株式会社アイシン 乗員情報検出装置およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1821714A (zh) * 2005-02-18 2006-08-23 高田株式会社 检测系统、报知装置、驱动装置、车辆
CN1899890A (zh) * 2005-07-19 2007-01-24 高田株式会社 乘员信息检测系统、乘员约束装置和车辆
CN101086604A (zh) * 2006-06-09 2007-12-12 索尼株式会社 成像设备、成像设备的控制方法以及计算机程序
JP2010203837A (ja) * 2009-03-02 2010-09-16 Mazda Motor Corp 車室内状態の認識装置
CN105054936A (zh) * 2015-07-16 2015-11-18 河海大学常州校区 基于Kinect景深图像的快速身高和体重测量方法
CN107798685A (zh) * 2017-11-03 2018-03-13 北京旷视科技有限公司 行人身高确定方法、装置及系统

Also Published As

Publication number Publication date
JPWO2019180876A1 (ja) 2020-04-30
WO2019180876A1 (ja) 2019-09-26
DE112018007120B4 (de) 2022-03-10
US20210001796A1 (en) 2021-01-07
DE112018007120T5 (de) 2020-11-05
JP6739672B2 (ja) 2020-08-12

Similar Documents

Publication Publication Date Title
CN111867466A (zh) 体格估计装置及体格估计方法
US6493620B2 (en) Motor vehicle occupant detection system employing ellipse shape models and bayesian classification
CN113147664B (zh) 检测车辆中是否使用了安全带的方法和系统
US7630804B2 (en) Occupant information detection system, occupant restraint system, and vehicle
EP3179445A1 (en) Outside environment recognition device for vehicles and vehicle behavior control device using same
US10417511B2 (en) Image processor, detection apparatus, learning apparatus, image processing method, and computer program storage medium
CN110537207B (zh) 脸部朝向推定装置及脸部朝向推定方法
JP2010113506A (ja) 乗員位置検出装置、乗員位置検出方法及び乗員位置検出プログラム
CN111601736B (zh) 乘客检测装置、乘客检测系统以及乘客检测方法
JP2020135616A (ja) 物体検出装置
JP7134364B2 (ja) 体格判定装置および体格判定方法
EP3650267B1 (en) Control device for vehicle, system, method and storage medium
CN115923607A (zh) 座椅参数调节方法、设备、存储介质及装置
CN114475511B (zh) 基于视觉的气囊启动
CN112611360B (zh) 物体检测装置、车辆及物体检测处理方法
KR20150067679A (ko) 차량용 제스처 인식 시스템 및 그 방법
US11138755B2 (en) Analysis apparatus, analysis method, and non transitory storage medium
JP7240193B2 (ja) 顔方向判別装置、コンピュータプログラム、および記憶媒体
CN117710946A (zh) 基于车载摄像头的安全带使用识别方法、装置和存储介质
JP2018156212A (ja) 体格判定装置、体格判定方法およびプログラム
CN117087588A (zh) 保护乘坐者的车辆及其操作方法
JP2020135034A (ja) 頭部判別装置、コンピュータプログラム、および記憶媒体
JP2020135035A (ja) 頭部判別装置、コンピュータプログラム、および記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201030

RJ01 Rejection of invention patent application after publication