JP2012127811A - Occupant detection device - Google Patents
Occupant detection device Download PDFInfo
- Publication number
- JP2012127811A JP2012127811A JP2010279651A JP2010279651A JP2012127811A JP 2012127811 A JP2012127811 A JP 2012127811A JP 2010279651 A JP2010279651 A JP 2010279651A JP 2010279651 A JP2010279651 A JP 2010279651A JP 2012127811 A JP2012127811 A JP 2012127811A
- Authority
- JP
- Japan
- Prior art keywords
- occupant
- region
- area
- image
- seat
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Seats For Vehicles (AREA)
- Image Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
Description
この発明は、乗員検知装置に関する。 The present invention relates to an occupant detection device.
従来、例えば撮像装置の撮像により得られた画像から乗員の左肩と右肩の端部エッジを抽出し、これらの距離から乗員の体格の指標として肩幅を算出する装置が知られている（例えば、特許文献１参照）。 2. Description of the Related Art Conventionally, for example, an apparatus that extracts the left and right shoulder edges of an occupant from an image obtained by imaging with an imaging device and calculates the shoulder width as an index of the occupant's physique from these distances (for example, Patent Document 1).
ところで、上記従来技術に係る装置によれば、例えば撮像装置の撮像方向に応じた隠蔽などによって、少なくとも一方の肩部の検出が困難な場合には、肩幅を算出することができず、乗員の体格を判定することができないという問題が生じる。
また、上記従来技術に係る装置によれば、チャイルドシートが存在する場合には、乗員が存在しないと判断されることから、チャイルドシートに着座した子供の存在を検知することができないという問題が生じる。
By the way, according to the device according to the above prior art, when it is difficult to detect at least one shoulder due to concealment according to the imaging direction of the imaging device, for example, the shoulder width cannot be calculated, The problem arises that physique cannot be determined.
Further, according to the above-described prior art device, when a child seat is present, it is determined that no occupant is present, and thus there is a problem that the presence of a child seated on the child seat cannot be detected.
本発明は上記事情に鑑みてなされたもので、乗員とチャイルドシートとの存在を精度良く判定することが可能な乗員検知装置を提供することを目的としている。 The present invention has been made in view of the above circumstances, and an object thereof is to provide an occupant detection device capable of accurately determining the presence of an occupant and a child seat.
上記課題を解決して係る目的を達成するために、本発明の第１態様に係る乗員検知装置は、車室内の撮像領域を撮像して撮像結果を出力する撮像手段（例えば、実施の形態での受光部２２）と、前記撮像手段から出力された撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段（例えば、実施の形態での処理部２３）と、前記距離画像に基づき、前記車室内の乗員の頭部領域を検知する頭部領域検知手段（例えば、実施の形態での頭部領域検知部５２）および前記車室内のシートの領域を検知するシート領域検知手段（例えば、実施の形態でのシート領域検知部５３）と、前記シートの領域を前記距離画像から除去して得られるシート領域除去画像に基づき、前記頭部領域を有する乗員領域の体積を推定し、該体積が所定体積範囲内であるか否かを判定する体積判定手段（例えば、実施の形態での体積判定部５４）と、前記体積判定手段により前記乗員領域の体積が前記所定体積範囲内であると判定された場合に、車両上下方向に直交する平面に平行な断面画像として前記頭部領域の断面画像および前記乗員領域の断面画像を前記距離画像に基づき生成する断面画像生成手段（例えば、実施の形態でのステップＳ１３）と、前記頭部領域の断面画像と前記乗員領域の断面画像とを比較し、該比較結果に基づいて前記乗員の肩部の有無を判定する肩部判定手段（例えば、実施の形態でのステップＳ１１〜Ｓ１５、Ｓ１７）と、前記肩部判定手段により前記乗員の肩部が存在すると判定された場合には前記乗員領域には大人が存在すると判定し、前記肩部判定手段により前記乗員の肩部が存在しないと判定された場合には前記乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定する乗員判定手段（例えば、実施の形態での乗員判定部５６）とを備える。 In order to solve the above-described problems and achieve the object, the occupant detection device according to the first aspect of the present invention captures an imaging region in the passenger compartment and outputs an imaging result (for example, in the embodiment). A distance image generating means (for example, in the embodiment) that generates a distance image having distance information of the imaging region in a three-dimensional space based on the imaging result output from the imaging means. A processing unit 23), a head region detection means (for example, a head region detection unit 52 in the embodiment) for detecting a head region of an occupant in the vehicle interior based on the distance image, and a seat in the vehicle interior The head region based on a sheet region detection unit (for example, a sheet region detection unit 53 in the embodiment) and a sheet region removal image obtained by removing the sheet region from the distance image. Occupant with Volume determination means for estimating the volume of the area and determining whether the volume is within a predetermined volume range (for example, the volume determination section 54 in the embodiment), and the volume of the occupant area by the volume determination means Is determined to be within the predetermined volume range, a cross-sectional image of the head region and a cross-sectional image of the occupant region are generated based on the distance image as a cross-sectional image parallel to a plane orthogonal to the vehicle vertical direction. Cross-sectional image generation means (for example, step S13 in the embodiment) is compared with the cross-sectional image of the head region and the cross-sectional image of the occupant region, and the presence or absence of the shoulder portion of the occupant is determined based on the comparison result. When the shoulder determination means for determining (for example, steps S11 to S15, S17 in the embodiment) and the shoulder determination means determine that the shoulder of the occupant is present, an adult is present in the occupant area. Existence If the shoulder determination means determines that the occupant's shoulder does not exist, an occupant determination means that determines that a child seat and a child seated on the child seat exist in the occupant area (for example, And an occupant determination unit 56) in the embodiment.
さらに、本発明の第２態様に係る乗員検知装置は、車室内の撮像領域を撮像して撮像結果を出力する撮像手段（例えば、実施の形態での受光部２２）と、前記撮像手段から出力された撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段（例えば、実施の形態での処理部２３）と、前記距離画像に基づき、前記車室内の乗員の頭部領域を検知する頭部領域検知手段（例えば、実施の形態での頭部領域検知部５２）および前記車室内のシートの領域を検知するシート領域検知手段（例えば、実施の形態でのシート領域検知部５３）と、前記シートの領域を前記距離画像から除去して得られるシート領域除去画像に基づき、前記頭部領域を有する乗員領域の体積を推定し、該体積が所定体積範囲内であるか否かを判定する体積判定手段（例えば、実施の形態での体積判定部５４）と、前記体積判定手段により前記乗員領域の体積が前記所定体積範囲内であると判定された場合に、チャイルドシートのサイドクッションが存在するか否かを判定するサイドクッション判定手段（例えば、実施の形態でのステップＳ２１〜Ｓ２９）と、前記サイドクッション判定手段により前記サイドクッションが存在すると判定された場合には前記乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定し、前記サイドクッション判定手段により前記サイドクッションが存在しないと判定された場合には前記乗員領域には大人が存在すると判定する乗員判定手段（例えば、実施の形態での乗員判定部５６）とを備える。 Furthermore, the occupant detection device according to the second aspect of the present invention includes an imaging unit (for example, the light receiving unit 22 in the embodiment) that images an imaging region in the vehicle interior and outputs an imaging result, and an output from the imaging unit. Based on the obtained imaging result, based on the distance image generating means (for example, the processing unit 23 in the embodiment) that generates a distance image having information on the distance of the imaging region in a three-dimensional space, Head region detection means (for example, the head region detection unit 52 in the embodiment) for detecting the head region of an occupant in the vehicle interior and seat region detection means (for example, for detecting a seat region in the vehicle interior) The volume of the occupant area having the head area is estimated based on the sheet area detection unit 53) in the embodiment and a sheet area removal image obtained by removing the sheet area from the distance image. Is a predetermined volume When the volume determination means (for example, the volume determination unit 54 in the embodiment) for determining whether or not the vehicle is in the surroundings and the volume determination means determine that the volume of the occupant region is within the predetermined volume range If the side cushion is determined to be present by the side cushion determining means (for example, steps S21 to S29 in the embodiment) for determining whether or not the side cushion of the child seat is present, and the side cushion determining means. It is determined that there is a child seat and a child seated on the child seat in the occupant area, and it is determined that there is an adult in the occupant area when the side cushion determination means determines that the side cushion does not exist Occupant determination means (for example, occupant determination unit 56 in the embodiment) .
さらに、本発明の第３態様に係る乗員検知装置では、前記サイドクッション判定手段は、前記シート領域除去画像において凸形状の領域を抽出する凸形状領域抽出手段（例えば、実施の形態でのステップＳ２１）と、前記凸形状の領域の長さが所定長さ範囲内かつ前記凸形状の領域が車両上下方向に直交する平面に対してなす角度が所定角度範囲内であるか否かを判定する形状判定手段（例えば、実施の形態でのステップＳ２３）と、前記凸形状の領域と、車両左右方向で前記凸形状の領域に隣接する領域との間に、所定の段差が存在するか否かを判定する段差有無判定手段（例えば、実施の形態でのステップＳ２４）と、前記形状判定手段により前記長さが前記所定長さ範囲内かつ前記角度が前記所定角度範囲内であると判定された前記凸形状の領域と、前記段差有無判定手段により前記所定の段差が存在すると判定された前記凸形状の領域とのうちから、最も長い形状の前記凸形状の領域を選択する選択手段（例えば、実施の形態でのステップＳ２６）と、前記選択手段により選択された前記凸形状の領域の車両上下方向の最大高さが、前記頭部領域の車両上下方向の高さ範囲内に含まれるか否かを判定する高さ判定手段（例えば、実施の形態でのステップＳ２７）とを備え、前記高さ判定手段により前記最大高さが前記高さ範囲内に含まれていると判定された場合に、前記サイドクッションが存在すると判定する。 Further, in the occupant detection device according to the third aspect of the present invention, the side cushion determination means is a convex area extraction means (for example, step S21 in the embodiment) for extracting a convex area in the seat area removal image. ) And a shape that determines whether the length of the convex region is within a predetermined length range and the angle formed by the convex region with respect to a plane perpendicular to the vehicle vertical direction is within the predetermined angle range. Whether there is a predetermined step between the determination means (for example, step S23 in the embodiment) and the convex region and a region adjacent to the convex region in the left-right direction of the vehicle. Step determining presence / absence determining means (for example, step S24 in the embodiment) and the shape determining means determine that the length is within the predetermined length range and the angle is within the predetermined angle range. Convex Selection means (for example, implementation) for selecting the longest shape of the convex region from the convex region and the convex region determined to have the predetermined step by the step difference determination unit Step S26) in the form, and whether or not the maximum height in the vehicle vertical direction of the convex region selected by the selection means is included in the height range in the vehicle vertical direction of the head region. A height determining means (for example, step S27 in the embodiment) for determining, and when the height determining means determines that the maximum height is included in the height range, It is determined that a side cushion exists.
本発明の第１態様に係る乗員検知装置によれば、乗員（つまり大人や子供）の頭部領域の断面画像と、乗員領域の断面画像（例えば、乗員領域の重心位置を含む断面での画像など）とを比較することにより、体積が同程度である大人とチャイルドシートとを精度良く判別することができる。
すなわち、大人が存在する場合には、頭部領域の断面画像と乗員領域の断面画像との比較から肩部が検出され、大人の代わりにチャイルドシートが存在する場合には、頭部領域の断面画像と乗員領域の断面画像との比較から肩部は検出されない。
これにより、乗員の頭部領域が検知された場合に、大人が存在するのか、あるいは、チャイルドシートに着座した子供が存在するのかを、的確に判定することができる。
According to the occupant detection device according to the first aspect of the present invention, a cross-sectional image of the head region of an occupant (that is, an adult or a child) and a cross-sectional image of the occupant region (for example, an image at a cross section including the center of gravity position of the occupant region) Etc.) can be accurately discriminated between an adult and a child seat having the same volume.
That is, when there is an adult, the shoulder is detected from a comparison between the cross-sectional image of the head region and the cross-sectional image of the occupant region, and when a child seat is present instead of the adult, the cross-sectional image of the head region And the shoulder portion is not detected from the comparison with the cross-sectional image of the passenger area.
Thereby, when an occupant's head region is detected, it is possible to accurately determine whether there is an adult or a child seated on a child seat.
さらに、本発明の第２態様に係る乗員検知装置によれば、車室内において撮像が容易であってチャイルドシートに特有の形状を有するサイドクッションの有無を判定することにより、乗員の頭部領域が検知された場合に、大人が存在するのか、あるいは、チャイルドシートに着座した子供が存在するのかを、的確に判定することができる。 Furthermore, according to the occupant detection device according to the second aspect of the present invention, it is possible to detect the occupant's head region by determining the presence or absence of a side cushion that is easy to image in the passenger compartment and has a shape specific to the child seat. If it is, it can be accurately determined whether there is an adult or a child seated on a child seat.
さらに、本発明の第３態様に係る乗員検知装置によれば、サイドクッションの特徴として、凸形状（例えば、筒型の形状）の領域の有無と、凸形状の領域が所定形状を有するか否かと、子供とサイドクッションとの間の段差の有無と、子供の頭部領域に対する相対的な高さの関係とを判定することにより、サイドクッションの有無およびチャイルドシートの有無を精度良く判定することができる。 Furthermore, according to the occupant detection device according to the third aspect of the present invention, the side cushion is characterized by the presence or absence of a convex (for example, a cylindrical shape) region and whether the convex region has a predetermined shape. It is possible to accurately determine the presence or absence of a side cushion and the presence or absence of a child seat by determining the presence or absence of a step between the child and the side cushion and the relationship of the relative height to the child's head region. it can.
以下、本発明の一実施形態に係る乗員検知装置について添付図面を参照しながら説明する。 Hereinafter, an occupant detection device according to an embodiment of the present invention will be described with reference to the accompanying drawings.
本実施の形態による乗員検知装置１０は、例えば図１、図２に示すように、単眼距離画像センサ１１と、制御装置１２とを備えて構成され、例えば車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御するエアバッグシステム１５の一部を構成している。 The occupant detection device 10 according to the present embodiment includes a monocular distance image sensor 11 and a control device 12 as shown in FIGS. 1 and 2, for example, and is an airbag (for example, mounted on a vehicle 13). , A front airbag) 14 constitutes a part of an airbag system 15 that controls the deployment of the airbag.
単眼距離画像センサ１１は単眼の撮像装置であって、例えば、車両１３のルーフ前部の中央部（例えば、左右のサンバイザー間の位置など）に配置され、少なくとも車室内のシート１６（例えば、助手席）およびシート１６に着座した乗員やシート１６に設置されたチャイルドシートなどを撮像対象として含み、これらの撮像対象を斜め上方の前方側から撮像するように設定されている。 The monocular distance image sensor 11 is a monocular imaging device, and is disposed, for example, in the center of the front portion of the roof of the vehicle 13 (for example, the position between the left and right sun visors), and at least the seat 16 (for example, the interior of the vehicle interior). A passenger seat), a passenger seated on the seat 16, a child seat installed on the seat 16, and the like are set as imaging targets, and these imaging targets are set to be imaged from the front side obliquely upward.
単眼距離画像センサ１１は、例えば、発光部２１と、受光部２２と、処理部２３とを備えて構成されている。 The monocular distance image sensor 11 includes a light emitting unit 21, a light receiving unit 22, and a processing unit 23, for example.
発光部２１は、例えば、赤外線領域の光を発光するＬＥＤなどの発光体３１と、発光体３１の発光を制御する駆動回路３２と、発光体３１の発光による光を撮像対象に向けて拡散させる散乱板３３とを備えて構成されている。 For example, the light emitting unit 21 diffuses light emitted from the light emitter 31 toward the imaging target, such as a light emitter 31 such as an LED that emits light in the infrared region, a drive circuit 32 that controls the light emission of the light emitter 31. A scattering plate 33 is provided.
駆動回路３２は、例えば、受光部２２から出力される発光制御の指令信号と、処理部２３から出力される光量制御の指令信号とに応じて制御される。 The drive circuit 32 is controlled according to, for example, a light emission control command signal output from the light receiving unit 22 and a light amount control command signal output from the processing unit 23.
受光部２２から出力される発光制御の指令信号は、発光部２１の動作と受光部２２の動作との同期をとって、発光部２１から出力された発光パルスと、この発光パルスが撮像対象で反射されて受光部２２に入力されて成る受光パルスとの位相差（時間差）を検知可能にするために、発光パルスの発光タイミングを指示する。
処理部２３から出力される光量制御の指令信号は、発光部２１から出力される発光パルスの発光量を指示する。
The light emission control command signal output from the light receiving unit 22 synchronizes the operation of the light emitting unit 21 and the operation of the light receiving unit 22, and the light emission pulse output from the light emitting unit 21 and the light emission pulse is an object to be imaged. In order to be able to detect the phase difference (time difference) from the received light pulse that is reflected and input to the light receiving unit 22, the light emission timing of the light emission pulse is instructed.
The light amount control command signal output from the processing unit 23 instructs the light emission amount of the light emission pulse output from the light emitting unit 21.
受光部２２は、例えば、発光部２１から撮像対象に向けて照射された発光パルスが撮像対象で反射されてなる受光パルスを受けるレンズ３６と、フィルター３７と、レンズ３６およびフィルター３７を透過した受光パルスを検出するＣＭＯＳセンサなどの受光素子３８とを備えて構成されている。 For example, the light receiving unit 22 receives a light receiving pulse formed by reflecting a light emission pulse emitted from the light emitting unit 21 toward the imaging target, reflected by the imaging target, a filter 37, and the light received through the lens 36 and the filter 37. And a light receiving element 38 such as a CMOS sensor for detecting a pulse.
受光部２２は、処理部２３から出力される制御信号に応じて発光部２１に発光制御の指令信号を出力すると共に、受光素子３８による受光パルスの検出結果として画像データを出力する。
この画像データは、受光素子３８において受光パルスが検出された位置（つまり、撮像対象での発光パルスの反射点の位置）に対応する二次元配列の画素から構成され、各画素は、受光素子３８で検出された受光パルスの光量（つまり、パルス数）の情報と、発光パルスと受光パルスとの位相差（時間差）の情報とを有している。
The light receiving unit 22 outputs a light emission control command signal to the light emitting unit 21 in accordance with the control signal output from the processing unit 23, and outputs image data as a detection result of the light reception pulse by the light receiving element 38.
This image data is composed of pixels in a two-dimensional array corresponding to the position at which the light receiving pulse is detected in the light receiving element 38 (that is, the position of the reflection point of the light emission pulse on the imaging target). Information on the amount of light (that is, the number of pulses) of the received light pulse detected in step 1 and information on the phase difference (time difference) between the light emission pulse and the light reception pulse.
処理部２３は、発光部２１に光量制御の指令信号を出力すると共に、受光部２２に各種動作を指示する制御信号を出力しており、例えば、距離画像生成部４１と、輝度画像生成部４２とを備えて構成されている。 The processing unit 23 outputs a light amount control command signal to the light emitting unit 21 and also outputs control signals to instruct the light receiving unit 22 to perform various operations. For example, the distance image generating unit 41 and the luminance image generating unit 42. And is configured.
距離画像生成部４１は、受光部２２から出力された画像データに基づき、各画素毎に、発光パルスと受光パルスとの位相差（時間差）の情報と発光パルスおよび受光パルスの速度（つまり光の速度）とから、３次元空間での単眼距離画像センサ１１から撮像対象の反射点までの距離の情報を生成する。そして、二次元配列の各画素毎に単眼距離画像センサ１１から撮像対象までの距離を示す距離画像を生成して、この距離画像を制御装置１２に出力する。 The distance image generation unit 41 is based on the image data output from the light receiving unit 22, and information on the phase difference (time difference) between the light emission pulse and the light reception pulse and the speed of the light emission pulse and the light reception pulse (that is, the light intensity) for each pixel. Speed), information on the distance from the monocular distance image sensor 11 to the reflection point to be imaged in a three-dimensional space is generated. Then, a distance image indicating the distance from the monocular distance image sensor 11 to the imaging target is generated for each pixel of the two-dimensional array, and this distance image is output to the control device 12.
輝度画像生成部４２は、受光部２２から出力される画像データに基づき、二次元配列の各画素毎に受光素子３８により検出された受光パルスの光量（つまり、パルス数）を示す輝度画像を生成して、この輝度画像を制御装置１２に出力する。 The luminance image generation unit 42 generates a luminance image indicating the light amount (that is, the number of pulses) of the received light pulse detected by the light receiving element 38 for each pixel of the two-dimensional array based on the image data output from the light receiving unit 22. Then, this luminance image is output to the control device 12.
制御装置１２は、例えば、画像処理部５１と、頭部領域検知部５２と、シート領域検知部５３と、体積判定部５４と、ブースターシート判定部５５と、乗員判定部５６と、駆動制御部５７とを備えて構成されている。 The control device 12 includes, for example, an image processing unit 51, a head region detection unit 52, a seat region detection unit 53, a volume determination unit 54, a booster seat determination unit 55, an occupant determination unit 56, and a drive control unit. 57.
画像処理部５１は、先ず、単眼距離画像センサ１１から出力された距離画像に基づき、二次元配列の各画素毎の距離の情報に対応する３次元空間での撮像対象の反射点の位置をカメラ座標系で記述し、このカメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）を、二次元配列の各画素毎に対応させて示す３つのＸ画像およびＹ画像およびＺ画像（ＸＹＺ画像）を生成する。 First, based on the distance image output from the monocular distance image sensor 11, the image processing unit 51 determines the position of the reflection point of the imaging target in the three-dimensional space corresponding to the distance information for each pixel of the two-dimensional array. Three X images, Y images, and Z images (X coordinate, Y coordinate, Z coordinate) described in the coordinate system and corresponding to each pixel of the two-dimensional array are shown in the camera coordinate system. XYZ image) is generated.
なお、カメラ座標系は、例えば単眼距離画像センサ１１の受光素子３８の撮像面に直交する受光軸をＺ軸とするＸＹＺ座標系である。
そして、これらのＸＹＺ画像に対して、輝度画像を参照して平滑化およびノイズ除去などの画像処理を行なう。
The camera coordinate system is, for example, an XYZ coordinate system in which the light receiving axis orthogonal to the imaging surface of the light receiving element 38 of the monocular distance image sensor 11 is the Z axis.
These XYZ images are subjected to image processing such as smoothing and noise removal with reference to the luminance image.
さらに、画像処理部５１は、カメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）を、シート座標系つまり車両前後方向をＴ方向かつ車両左右方向をＢ方向かつ車両上下方向をＨ方向とするＴＢＨ座標系での各軸成分（Ｔ座標、Ｂ座標、Ｈ座標）に変換して、予め記憶している車室内の所定の構造物（例えば、ピラー、ドア、ダッシュボード、センターコンソールなど）に関連するデータを除去する。
そして、このデータ除去後のシート座標系での各軸成分（Ｔ座標、Ｂ座標、Ｈ座標）をカメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）に変換して、この変換後の各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）による３つのＸ画像およびＹ画像およびＺ画像（ＸＹＺ画像）を出力する。
Further, the image processing unit 51 converts each axis component (X coordinate, Y coordinate, Z coordinate) in the camera coordinate system into the seat coordinate system, that is, the vehicle longitudinal direction in the T direction, the vehicle lateral direction in the B direction, and the vehicle vertical direction. Converted into each axis component (T coordinate, B coordinate, H coordinate) in the TBH coordinate system in the H direction, a predetermined structure (for example, pillar, door, dashboard, center) stored in advance in the vehicle interior Data associated with the console).
Then, each axis component (T coordinate, B coordinate, H coordinate) in the sheet coordinate system after this data removal is converted into each axis component (X coordinate, Y coordinate, Z coordinate) in the camera coordinate system, and this Three X images, Y images, and Z images (XYZ images) based on the converted axis components (X coordinate, Y coordinate, Z coordinate) are output.
頭部領域検知部５２は、例えば、ＸＹＺ画像あるいは距離画像に対して、適宜の特徴量抽出や、テンプレートマッチングや、人体モデルとの比較などの各種の処理を行なうことによって、乗員の頭部が存在する頭部領域を検知する。 For example, the head region detection unit 52 performs various processes such as appropriate feature amount extraction, template matching, and comparison with a human body model on the XYZ image or the distance image, so that the head of the passenger is detected. Detect existing head area.
例えば、頭部領域検知部５２は、所定の大きさの球形状の領域を頭部領域として距離画像から抽出する処理では、先ず、距離画像を構成する複数の画素（ｖ，ｕ）毎に３次元空間での法線ベクトルＮ（ｖ，ｕ）の逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される３次元空間での位置座標を内部座標とする。 For example, in the process of extracting a spherical region of a predetermined size from the distance image as a head region, the head region detection unit 52 first calculates 3 for each of a plurality of pixels (v, u) constituting the distance image. A fixed-length inverse vector is calculated in the reverse direction of the normal vector N (v, u) in the dimensional space, and the position coordinate in the three-dimensional space specified by the inverse vector is used as the internal coordinate.
そして、頭部領域検知部５２は、３次元空間を構成する複数の単位空間、例えば所定長（５０ｍｍなど）を一辺の長さとする複数の立方体（ボクセル空間Ｖ）毎に該単位空間内に含まれる内部座標の総数に係るスコア値を算出する。
そして、複数の画素（ｖ，ｕ）毎に対応する内部座標が含まれる単位空間のスコア値を、所定の大きさの球形状の指標として、複数の画素（ｖ，ｕ）毎の画素値に対応させて示すスコア画像を生成する。
The head region detection unit 52 includes a plurality of unit spaces constituting a three-dimensional space, for example, a plurality of cubes (voxel spaces V) each having a predetermined length (such as 50 mm) in the unit space. A score value related to the total number of internal coordinates is calculated.
Then, the score value of the unit space including the internal coordinates corresponding to each of the plurality of pixels (v, u) is used as the pixel value for each of the plurality of pixels (v, u) as a spherical index having a predetermined size. A score image shown in correspondence is generated.
そして、頭部領域検知部５２は、３次元空間での複数の内部座標の分布に対してエッジを抽出し、該エッジに応じて複数に分割された画像領域により構成される内部エッジ画像を生成する。
そして、複数の画像領域のうち内部座標の平均値の差が所定差以下の画像領域同士を単一の結合領域に結合した後に、スコア値の平均値が閾平均値以下の画像領域と、体積が上限体積値以上または下限体積値以下の画像領域と、所定方向の幅寸法（例えば、Ｂ方向幅など）が所定閾値以上の画像領域とを、頭部領域の候補から除外する。
そして、これらの処理を実行した後に、頭部領域の候補として残っている複数の画像領域のうち、スコア値の平均値が最も高い画像領域を、乗員の頭部が存在する頭部領域であると判定する。
Then, the head region detection unit 52 extracts an edge from the distribution of a plurality of internal coordinates in the three-dimensional space, and generates an internal edge image composed of a plurality of image regions divided according to the edge. To do.
Then, after combining the image areas in which the difference between the average values of the internal coordinates among the plurality of image areas is a predetermined difference or less into a single combined area, the image area having an average score value equal to or less than the threshold average value, and the volume Are excluded from the candidates for the head region, and image regions whose width dimension in the predetermined direction (for example, the width in the B direction, for example) is equal to or greater than a predetermined threshold value.
And after performing these processes, among the plurality of image regions remaining as head region candidates, the image region having the highest average score value is the head region where the occupant's head exists. Is determined.
シート領域検知部５３は、例えば、ＸＹＺ画像あるいは距離画像に対して、適宜の特徴量抽出や、テンプレートマッチングや、シートモデルとの比較などの各種の処理を行なうことによって、シート１６が存在する領域を検知する。
例えば、シート領域検知部５３は、法線ベクトルＮ（ｖ，ｕ）が車両左右方向（Ｂ方向）に傾く角度が所定閾角度以下である領域を正面領域として距離画像から抽出する。
The sheet region detection unit 53 performs, for example, appropriate feature amount extraction, template matching, and comparison with a sheet model on the XYZ image or the distance image, thereby the region where the sheet 16 exists. Is detected.
For example, the seat area detection unit 53 extracts an area where the normal vector N (v, u) is tilted in the left-right direction of the vehicle (B direction) as a front area, from the distance image.
そして、シート領域検知部５３は、頭部領域検知部５２によって複数の画像領域に分割された内部エッジ画像を参照しつつ、正面領域が抽出された画像領域毎に対して、正面領域のシート座標系でのＢ軸の最大値および最小値から、車両左右方向（Ｂ方向）の位置（例えば、中心位置など）および長さ（Ｂ方向幅）を算出する。
そして、Ｂ方向の位置が所定位置範囲内かつＢ方向の長さ（Ｂ方向幅）が所定長さ範囲内である正面領域を、シート１６のヘッドレスト１６ａが存在するヘッドレスト領域であると検知し、該ヘッドレスト領域に基づきヘッドレスト１６ａの位置を算出する。
Then, the sheet area detection unit 53 refers to the internal edge image divided into a plurality of image areas by the head area detection unit 52, and for each image area from which the front area is extracted, the sheet coordinates of the front area From the maximum and minimum values of the B-axis in the system, the position (for example, the center position) and the length (B-direction width) in the vehicle left-right direction (B direction) are calculated.
Then, the front area where the position in the B direction is within the predetermined position range and the length in the B direction (B direction width) is within the predetermined length range is detected as the headrest area where the headrest 16a of the seat 16 exists, The position of the headrest 16a is calculated based on the headrest area.
そして、シート領域検知部５３は、シート座標系でのＴＨ画像（つまり、単眼距離画像センサ１１の撮像領域を車両左右方向から見たサイドビュー画像）などにおいて、ヘッドレスト１６ａの位置を中心とする２つの異なる円弧間においてシート１６の腰部の領域を探索する。
そして、腰部の領域の厚さから、予め記憶している所定シート厚さを車両後方側から差し引いて、あるいは、予め記憶している所定人体厚さを車両前方側から差し引いて腰部の位置を算出し、ヘッドレスト１６ａの位置および腰部の位置に基づきシート１６の前面形状を算出する。
そして、算出した前面形状よりも車両後方側の領域をシート１６の領域であると検知し、このシート１６の領域をＸＹＺ画像（あるいはＸＹＺ画像に対応する距離画像）から除去する。
Then, the seat region detection unit 53 is centered on the position of the headrest 16a in a TH image in the seat coordinate system (that is, a side view image when the imaging region of the monocular distance image sensor 11 is viewed from the vehicle left-right direction). The waist region of the seat 16 is searched between two different arcs.
Then, from the thickness of the waist region, the predetermined seat thickness stored in advance is subtracted from the vehicle rear side, or the predetermined human body thickness stored in advance is subtracted from the vehicle front side to calculate the position of the waist. Then, the front shape of the seat 16 is calculated based on the position of the headrest 16a and the position of the waist.
Then, the area on the vehicle rear side of the calculated frontal shape is detected as the area of the seat 16, and the area of the seat 16 is removed from the XYZ image (or the distance image corresponding to the XYZ image).
体積判定部５４は、シート領域検知部５３によってＸＹＺ画像（あるいはＸＹＺ画像に対応する距離画像）からシート１６の領域が除去されて得られるシート領域除去画像に基づき、例えばシート領域除去画像を構成する複数の単位空間（例えば、ボクセル空間Ｖ）のうち少なくとも一点以上のデータ点を含む単位空間の総数などに基づき、頭部領域検知部５２により検知された頭部領域を含む領域（乗員領域）の体積を推定する。
そして、推定した乗員領域の体積が所定体積範囲内であるか否かを判定し、この判定結果を出力する。
なお、乗員領域の体積に対する所定体積範囲は、例えば成人女性の体積あるいはチャイルドシートなどの補助シート及び補助シートに着座した子供の体積が含まれる体積範囲に設定されている。
The volume determination unit 54 configures, for example, a sheet region removal image based on the sheet region removal image obtained by removing the region of the sheet 16 from the XYZ image (or the distance image corresponding to the XYZ image) by the sheet region detection unit 53. A region (occupant region) including a head region detected by the head region detection unit 52 based on the total number of unit spaces including at least one data point among a plurality of unit spaces (for example, voxel space V). Estimate volume.
Then, it is determined whether or not the estimated volume of the occupant region is within a predetermined volume range, and the determination result is output.
The predetermined volume range with respect to the volume of the passenger area is set to a volume range including, for example, the volume of an adult female or an auxiliary seat such as a child seat and the volume of a child seated on the auxiliary seat.
ブースターシート判定部５５は、体積判定部５４によって乗員領域の体積が所定体積範囲内であると判定された場合に、シート領域除去画像に基づいて、乗員領域を上体および下肢に区分し、乗員領域の全体積に対する上体の体積の比率が所定比率以下であるか否かを判定する。 When the volume determination unit 54 determines that the volume of the occupant region is within the predetermined volume range, the booster seat determination unit 55 classifies the occupant region into an upper body and a lower limb based on the seat region removal image. It is determined whether the ratio of the volume of the upper body with respect to the total volume of the area is equal to or less than a predetermined ratio.
例えば、ブースターシート判定部５５は、シート領域除去画像に基づき、シート座標系でのＴＨ画像（つまり、単眼距離画像センサ１１の撮像領域を車両左右方向から見たサイドビュー画像）を生成し、このＴＨ画像に対して２値化および細線化の処理を行ない、上体と下肢との境界位置である腰位置を検知する。
そして、乗員領域の全体積に対する上体の体積の比率が所定比率以下である場合には、乗員領域がブースターシート及びブースターシートに着座した子供であると判定する。
For example, the booster seat determination unit 55 generates a TH image in the seat coordinate system (that is, a side view image when the imaging region of the monocular distance image sensor 11 is viewed from the left-right direction of the vehicle) based on the seat region removal image. The TH image is binarized and thinned, and the waist position, which is the boundary position between the upper body and the lower limbs, is detected.
And when the ratio of the volume of the upper body with respect to the total volume of a passenger | crew area | region is below a predetermined ratio, it determines with a passenger | crew area | region being the child seated on the booster seat and the booster seat.
乗員判定部５６は、ブースターシート判定部５５において乗員領域の全体積に対する上体の体積の比率が所定比率よりも大きいと判定された場合に、シート領域除去画像に基づき、乗員の肩部が検知されるか否かを判定する。
そして、この判定結果において乗員の肩部が検知された場合には、乗員領域には大人が存在すると判定し、一方、乗員の肩部が検知されない場合には、乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定する。
The occupant determination unit 56 detects the occupant's shoulder based on the seat area removal image when the booster seat determination unit 55 determines that the ratio of the upper body volume to the total volume of the occupant area is greater than a predetermined ratio. It is determined whether or not.
If the passenger's shoulder is detected in the determination result, it is determined that there is an adult in the passenger area. On the other hand, if the passenger's shoulder is not detected, the child seat and the child seat are included in the passenger area. It is determined that there is a child seated on.
例えば、乗員判定部５６は、先ず、図３に示すように、シート領域除去画像に基づいて、頭部領域検知部５２によって検知された頭部領域の重心位置Ｃ１と、乗員領域の重心位置Ｃ２とを算出する。
そして、例えば図４（Ａ），（Ｂ）に示すように、車両上下方向に直交する平面に平行な断面つまりシート座標系でのＴ軸およびＢ軸によるＴＢ面として、頭部領域の重心位置Ｃ１を含む頭部領域断面Ｄ１と、乗員領域の重心位置Ｃ２を含む乗員領域断面Ｄ２とを設定する。
For example, as shown in FIG. 3, the occupant determination unit 56 first, based on the seat region removal image, the centroid position C1 of the head region detected by the head region detection unit 52 and the centroid position C2 of the occupant region. And calculate.
For example, as shown in FIGS. 4 (A) and 4 (B), the position of the center of gravity of the head region as a cross section parallel to a plane orthogonal to the vehicle vertical direction, that is, a TB plane by the T axis and B axis in the seat coordinate system A head region cross section D1 including C1 and an occupant region cross section D2 including a centroid position C2 of the occupant region are set.
そして、乗員判定部５６は、例えば図５（Ａ），（Ｂ），図６（Ａ），（Ｂ）に示すように、シート領域除去画像を各頭部領域断面Ｄ１および乗員領域断面Ｄ２によって破断してなる頭部領域の断面画像と乗員領域の断面画像とを生成する。
そして、頭部領域の断面画像における車両左右方向（例えば、Ｂ方向のセンターコンソール側）の端点つまりＢ座標が最小となるデータ点と、乗員領域の断面画像における車両左右方向（例えば、Ｂ方向のセンターコンソール側）の端点つまりＢ座標が最小となるデータ点との間のＢ方向距離ＢＷを算出する。
Then, the occupant determination unit 56 converts the seat area removal image into the head area cross section D1 and the occupant area cross section D2, as shown in FIGS. 5A, 5B, 6A, and 6B, for example. A sectional image of the broken head region and a sectional image of the passenger region are generated.
And the end point of the vehicle left-right direction (for example, the center console side in the B direction) in the cross-sectional image of the head region, that is, the data point that minimizes the B coordinate, and the vehicle left-right direction (for example, B direction in the cross-sectional image of the passenger region) The B-direction distance BW between the end point on the center console side, that is, the data point having the minimum B coordinate is calculated.
そして、例えば図５（Ａ），（Ｂ）に示すように、Ｂ方向距離ＢＷが所定の閾値未満である場合には、乗員の頭部領域周辺に存在するチャイルドシートのサイドクッションなどに起因して乗員の肩部が検知されないと判断して、乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定する。
一方、例えば図６（Ａ），（Ｂ）に示すように、乗員の肩部が検知されたと判断して、乗員領域には大人が存在すると判定する。
For example, as shown in FIGS. 5 (A) and 5 (B), when the B-direction distance BW is less than a predetermined threshold, the child seat side cushions around the head region of the occupant are used. It is determined that the passenger's shoulder is not detected, and it is determined that a child seat and a child seated on the child seat exist in the passenger area.
On the other hand, for example, as shown in FIGS. 6 (A) and 6 (B), it is determined that an occupant's shoulder has been detected, and it is determined that an adult exists in the occupant area.
駆動制御部５７は、乗員判定部５６による判定結果と、例えば車両１３の急減速を検出する加速度センサなどの衝突センサ７０から出力される検出結果の信号とに基づき、車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御する。 The drive control unit 57 detects the air mounted on the vehicle 13 based on the determination result by the occupant determination unit 56 and a detection result signal output from a collision sensor 70 such as an acceleration sensor that detects sudden deceleration of the vehicle 13, for example. Controls the deployment of the bag (eg, front airbag) 14.
本実施の形態による乗員検知装置１０は上記構成を備えており、次に、この乗員検知装置１０の動作について説明する。 The occupant detection device 10 according to the present embodiment has the above-described configuration. Next, the operation of the occupant detection device 10 will be described.
先ず、例えば図７に示すステップＳ０１においては、単眼距離画像センサ１１から出力された距離画像に対する前処理として、カメラ座標系でのＸＹＺ画像を生成し、これらのＸＹＺ画像に対して輝度画像を参照して平滑化およびノイズ除去などの画像処理を行なう。
そして、画像処理後のＸＹＺ画像を、一時的にシート座標系の画像に変換して車室内の所定の構造物（例えば、ピラー、ドア、ダッシュボード、センターコンソールなど）に関連するデータを除去し、この除去後の画像を、再びカメラ座標系でのＸＹＺ画像に変換する。
First, for example, in step S01 shown in FIG. 7, as preprocessing for the distance image output from the monocular distance image sensor 11, an XYZ image in the camera coordinate system is generated, and a luminance image is referred to these XYZ images. Then, image processing such as smoothing and noise removal is performed.
Then, the image-processed XYZ image is temporarily converted into an image in the seat coordinate system to remove data related to a predetermined structure (eg, pillar, door, dashboard, center console, etc.) in the passenger compartment. The image after the removal is converted again into an XYZ image in the camera coordinate system.
次に、ステップＳ０２においては、距離画像を構成する複数の画素（ｖ，ｕ）毎に３次元空間での法線ベクトルＮ（ｖ，ｕ）の逆方向に固定長の逆ベクトルにより指定される内部座標を算出する。
そして、３次元空間を構成する複数の単位空間（ボクセル空間Ｖ）毎に該単位空間内に含まれる内部座標の総数に係るスコア値を算出し、スコア値が所定の大きさの球形状の指標となることに応じて、乗員の頭部領域を抽出する。
Next, in step S02, a plurality of pixels (v, u) constituting the distance image are specified by a fixed-length inverse vector in the reverse direction of the normal vector N (v, u) in the three-dimensional space. Calculate internal coordinates.
Then, for each of a plurality of unit spaces (voxel space V) constituting the three-dimensional space, a score value relating to the total number of internal coordinates included in the unit space is calculated, and a spherical index with a predetermined score value The head area of the occupant is extracted according to the above.
次に、ステップＳ０３においては、法線ベクトルＮ（ｖ，ｕ）が車両左右方向（Ｂ方向）に傾く角度が所定閾角度以下である領域を正面領域として、Ｂ方向の位置が所定位置範囲内かつＢ方向の長さ（Ｂ方向幅）が所定長さ範囲内である正面領域をシート１６のヘッドレスト１６ａが存在するヘッドレスト領域であると検知する。
そして、シート１６はシートバック１６ｂの角度が変化した場合であっても、ヘッドレスト１６ａの位置と腰部の位置との相対的な位置関係は不変であることに応じて、ヘッドレスト１６ａの位置から腰部の位置を算出し、ヘッドレスト１６ａの位置および腰部の位置に基づきシート１６の前面形状を算出する。
そして、算出した前面形状よりも車両後方側の領域をシート１６の領域であると検知し、このシート１６の領域をＸＹＺ画像（あるいはＸＹＺ画像に対応する距離画像）から除去する。
Next, in step S03, a region in which the normal vector N (v, u) is inclined in the vehicle left-right direction (B direction) is equal to or smaller than a predetermined threshold angle, and the position in the B direction is within the predetermined position range. And the front area | region where the length (B direction width) of a B direction is in a predetermined length range is detected as a headrest area | region where the headrest 16a of the sheet | seat 16 exists.
And even if the angle of the seat back 16b changes, the seat 16 changes the position of the waist from the position of the headrest 16a according to the relative positional relationship between the position of the headrest 16a and the position of the waist. The position is calculated, and the front shape of the seat 16 is calculated based on the position of the headrest 16a and the position of the waist.
Then, the area on the vehicle rear side of the calculated frontal shape is detected as the area of the seat 16, and the area of the seat 16 is removed from the XYZ image (or the distance image corresponding to the XYZ image).
次に、ステップＳ０４においては、ＸＹＺ画像（あるいはＸＹＺ画像に対応する距離画像）からシート１６の領域が除去されて得られるシート領域除去画像に基づき、頭部領域検知部５２により検知された頭部領域を含む領域（乗員領域）の体積を推定する。
そして、推定した乗員領域の体積が所定体積範囲内であるか否かを判定する。
Next, in step S04, the head detected by the head region detection unit 52 based on the sheet region removal image obtained by removing the region of the sheet 16 from the XYZ image (or the distance image corresponding to the XYZ image). The volume of the area (occupant area) including the area is estimated.
Then, it is determined whether or not the estimated volume of the passenger area is within a predetermined volume range.
次に、ステップＳ０５においては、乗員領域の体積が所定体積範囲内であると判定された場合に、シート領域除去画像に基づいて、乗員領域を上体および下肢に区分し、乗員領域の全体積に対する上体の体積の比率が所定比率以下であるか否かを判定する。 Next, in step S05, when it is determined that the volume of the occupant area is within the predetermined volume range, the occupant area is divided into an upper body and a lower limb based on the seat area removal image, and the entire volume of the occupant area is determined. It is determined whether the ratio of the volume of the upper body with respect to is equal to or less than a predetermined ratio.
次に、ステップＳ０６においては、ブースターシート判定部５５において乗員領域の全体積に対する上体の体積の比率が所定比率よりも大きいと判定された場合に、シート領域除去画像に基づき、乗員の肩部が検知されるか否かを判定する。
そして、この判定結果において乗員の肩部が検知された場合には、乗員領域には大人が存在すると判定し、一方、乗員の肩部が検知されない場合には、乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定する。
Next, in step S06, when the booster seat determination unit 55 determines that the ratio of the volume of the upper body to the total volume of the occupant region is larger than a predetermined ratio, the shoulder portion of the occupant is based on the seat region removal image. It is determined whether or not is detected.
If the passenger's shoulder is detected in the determination result, it is determined that there is an adult in the passenger area. On the other hand, if the passenger's shoulder is not detected, the child seat and the child seat are included in the passenger area. It is determined that there is a child seated on.
次に、ステップＳ０７においては、乗員判定の処理による判定結果と、例えば車両１３の急減速を検出する加速度センサなどの衝突センサ７０から出力される検出結果の信号とに基づき、車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御し、エンドに進む。 Next, in step S07, the vehicle is mounted on the vehicle 13 based on the determination result obtained by the occupant determination process and the detection result signal output from the collision sensor 70 such as an acceleration sensor that detects sudden deceleration of the vehicle 13, for example. Control the deployment of the airbag 14 (for example, the front airbag) and proceed to the end.
以下に、上述したステップＳ０６での乗員判定の処理について説明する。
先ず、例えば図８に示すステップＳ１１においては、シート領域除去画像に基づいて、頭部領域検知部５２によって検知された頭部領域の重心位置Ｃ１を算出する。
次に、ステップＳ１２においては、シート領域除去画像に基づいて、乗員領域の重心位置Ｃ２を算出する。
Hereinafter, the occupant determination process in step S06 described above will be described.
First, for example, in step S11 shown in FIG. 8, the center-of-gravity position C1 of the head region detected by the head region detection unit 52 is calculated based on the sheet region removal image.
Next, in step S12, the center-of-gravity position C2 of the passenger area is calculated based on the seat area removal image.
次に、ステップＳ１３においては、車両上下方向に直交する平面に平行な断面として、頭部領域の重心位置Ｃ１を含む頭部領域断面Ｄ１と、乗員領域の重心位置Ｃ２を含む乗員領域断面Ｄ２とを設定し、シート領域除去画像を各頭部領域断面Ｄ１および乗員領域断面Ｄ２によって破断してなる頭部領域の断面画像と乗員領域の断面画像とを生成する。 Next, in step S13, as a cross section parallel to a plane orthogonal to the vehicle vertical direction, a head area cross section D1 including the center of gravity position C1 of the head area, and an occupant area cross section D2 including the centroid position C2 of the occupant area; Are set, and a cross-sectional image of the head region and a cross-sectional image of the occupant region are generated by breaking the seat region removal image by each head region cross-section D1 and the occupant region cross-section D2.
次に、ステップＳ１４においては、頭部領域の断面画像における車両左右方向（Ｂ方向）の端点つまりＢ軸成分が最小となるデータ点と、乗員領域の断面画像における車両左右方向（Ｂ方向）の端点つまりＢ軸成分が最小となるデータ点との間のＢ方向距離ＢＷを算出し、このＢ方向距離ＢＷが所定の閾値以上であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ１５に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１７に進む。
Next, in step S14, the vehicle left-right direction (B direction) end point in the cross-sectional image of the head region, that is, the data point that minimizes the B-axis component, and the vehicle left-right direction (B direction) in the cross-sectional image of the passenger region. A B-direction distance BW between the end point, that is, the data point having the minimum B-axis component is calculated, and it is determined whether the B-direction distance BW is equal to or greater than a predetermined threshold.
If this determination is “YES”, the flow proceeds to step S15.
On the other hand, if this determination is “NO”, the flow proceeds to step S 17.
そして、ステップＳ１５においては、乗員の肩部が検知されたと判断して、ステップＳ１６に進み、このステップＳ１６においては、乗員領域には大人が存在すると判定し、リターンに進む。 In step S15, it is determined that the occupant's shoulder has been detected, and the process proceeds to step S16. In step S16, it is determined that there is an adult in the occupant area, and the process proceeds to return.
また、ステップＳ１７においては、乗員の肩部が検知されないと判断して、ステップＳ１８に進み、このステップＳ１８においては、乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定し、リターンに進む。 In step S17, it is determined that the occupant's shoulder is not detected, and the process proceeds to step S18. In step S18, it is determined that the child seat and the child seated on the child seat exist in the occupant area, and the process returns. move on.
上述したように、本実施の形態による乗員検知装置１０によれば、乗員（つまり大人や子供）の頭部領域の断面画像と、乗員領域の断面画像とを比較することにより、体積が同程度である大人とチャイルドシートとを精度良く判別することができる。
すなわち、大人が存在する場合には、頭部領域の断面画像と乗員領域の断面画像との比較から乗員の肩部が検出され、大人の代わりにチャイルドシートが存在する場合には、頭部領域の断面画像と乗員領域の断面画像との比較から乗員の肩部は検出されない。
これにより、乗員の頭部領域が検知された場合に、大人が存在するのか、あるいは、チャイルドシートに着座した子供が存在するのかを、的確に判定することができる。
As described above, according to the occupant detection device 10 according to the present embodiment, the volume is comparable by comparing the cross-sectional image of the head region of the occupant (that is, the adult or child) with the cross-sectional image of the occupant region. It is possible to accurately discriminate between adults and child seats.
That is, when there is an adult, the shoulder portion of the occupant is detected from a comparison between the cross-sectional image of the head region and the cross-sectional image of the occupant region, and when the child seat is present instead of the adult, From the comparison between the cross-sectional image and the cross-sectional image of the occupant area, the shoulder of the occupant is not detected.
Thereby, when an occupant's head region is detected, it is possible to accurately determine whether there is an adult or a child seated on a child seat.
しかも、Ｂ方向のセンターコンソール側のみで肩部の有無を判定するだけでよく、左右の肩部の一方が単眼距離画像センサ１１に対して隠蔽されている場合であっても、大人とチャイルドシートとを精度良く判別することができる。 Moreover, it is only necessary to determine the presence or absence of the shoulder on the center console side in the B direction, and even if one of the left and right shoulders is concealed from the monocular distance image sensor 11, Can be determined with high accuracy.
なお、上述した実施の形態において、乗員判定部５６は乗員の肩部が検出されるか否かに応じて大人とチャイルドシートとを判別するとしたが、これに限定されず、例えば図９に示す上述した実施の形態の変形例のように、サイドクッションの有無に応じて大人とチャイルドシートとを判別してもよい。 In the above-described embodiment, the occupant determination unit 56 determines an adult and a child seat depending on whether or not the shoulder of the occupant is detected. However, the present invention is not limited to this. As in the modified example of the embodiment described above, an adult and a child seat may be discriminated according to the presence or absence of a side cushion.
この変形例において、乗員判定部５６は、先ず、例えば図９に示すようなシート領域除去画像に対して、例えば図１０に示すような所定のモデルパターンを用いた畳み込み積分の演算などによりパターンマッチングの処理を行ない、単眼距離画像センサ１１に向かい突出する凸型形状の領域を抽出する。
図１０に示すモデルパターンは、例えば所定サイズの円錐形状であり、底面から頂点に向かうことに伴い、単眼距離画像センサ１１に対する距離が短くなる（単眼距離画像センサ１１に近づく）ように設定されている。
In this modification, the occupant determination unit 56 first performs pattern matching, for example, on a sheet area removal image as shown in FIG. 9 by, for example, convolution integration calculation using a predetermined model pattern as shown in FIG. Then, a convex-shaped region protruding toward the monocular distance image sensor 11 is extracted.
The model pattern shown in FIG. 10 is, for example, a conical shape having a predetermined size, and is set so that the distance to the monocular distance image sensor 11 becomes shorter (closer to the monocular distance image sensor 11) as it goes from the bottom surface to the apex. Yes.
そして、乗員判定部５６は、例えば図１１（Ａ），（Ｂ）に示すように、モデルパターンに対する類似度に関して所定の閾値を用いた閾値処理を行ない、類似度が閾値以上の領域のみを抽出して、凸形状検出領域Ｇとして設定する。 Then, for example, as shown in FIGS. 11A and 11B, the occupant determination unit 56 performs threshold processing using a predetermined threshold regarding the similarity to the model pattern, and extracts only regions where the similarity is equal to or higher than the threshold. Thus, the convex shape detection region G is set.
次に、乗員判定部５６は、シート座標系においてＢ方向のセンターコンソール（図示略）側の領域（Ｂ方向センター領域）にチャイルドシートの左右のサイドクッションのうちの一方（単眼距離画像センサ１１側のサイドクッション）が含まれるとして、このＢ方向センター領域以外の領域を除去するための境界面ＳＳを設定する。
この境界面ＳＳは、例えばシート座標系においてＢ方向に直交する平面（つまり、Ｔ軸およびＨ軸によるＴＨ平面）などであって、例えば図１２（Ａ），（Ｂ）に示すように、凸形状検出領域ＧのうちからＢ方向センター領域以外の領域が境界面ＳＳによって除去される。
Next, the occupant determination unit 56 has one of the left and right side cushions of the child seat (on the monocular distance image sensor 11 side) in a region (B direction center region) on the B center console (not shown) side in the seat coordinate system. A boundary surface SS for removing an area other than the B-direction center area is set.
The boundary surface SS is, for example, a plane orthogonal to the B direction in the sheet coordinate system (that is, a TH plane by the T axis and the H axis), and is convex as shown in FIGS. 12A and 12B, for example. A region other than the B-direction center region is removed from the shape detection region G by the boundary surface SS.
次に、乗員判定部５６は、凸形状検出領域Ｇが所定形状範囲であるか否かを判定し、この所定形状範囲から逸脱する凸形状検出領域Ｇを除去する。
この所定形状範囲は、チャイルドシートのサイドクッションの形状が一般的に含まれる形状範囲に設定されている。
Next, the occupant determination unit 56 determines whether or not the convex shape detection region G is within a predetermined shape range, and removes the convex shape detection region G that deviates from the predetermined shape range.
This predetermined shape range is set to a shape range that generally includes the shape of the side cushion of the child seat.
例えば図１３に示すように、乗員判定部５６は、ＴＨ画像（つまり、単眼距離画像センサ１１の撮像領域を車両左右方向から見たサイドビュー画像）において、凸形状検出領域ＧのＴ方向での幅ＸＴとＨ方向での幅ＹＨとに基づき、下記数式（１），（２）を用いて、凸形状検出領域Ｇの長さＬとＴ方向に対する傾斜角度θＧとを算出する。 For example, as shown in FIG. 13, the occupant determination unit 56 in the TH direction (that is, a side view image obtained by viewing the imaging region of the monocular distance image sensor 11 from the left-right direction of the vehicle) in the T direction of the convex shape detection region G. Based on the width XT and the width YH in the H direction, the length L of the convex shape detection region G and the inclination angle θG with respect to the T direction are calculated using the following formulas (1) and (2).
そして、乗員判定部５６は、凸形状検出領域Ｇの長さＬが所定長さ範囲（例えば、２０ｃｍ＜Ｌ＜１００ｃｍなど）、かつ、傾斜角度θＧが所定角度範囲（例えば、２０°＜θＧ＜７０°など）であるか否かを判定し、この判定結果が「ＮＯ」となる凸形状検出領域Ｇを除去する。 The occupant determination unit 56 then determines that the length L of the convex shape detection region G is within a predetermined length range (for example, 20 cm <L <100 cm) and the inclination angle θG is within a predetermined angle range (for example, 20 ° <θG < And the convex shape detection region G in which the determination result is “NO” is removed.
さらに、乗員判定部５６は、例えば図９に示すようなシート領域除去画像に基づき、乗員領域のＢ方向に、例えばチャイルドシートのサイドクッションと乗員（子供）とに起因する所定段差が存在するか否かを判定する。 Further, the occupant determination unit 56 determines whether or not there is a predetermined level difference caused by, for example, the side cushion of the child seat and the occupant (child) in the B direction of the occupant area based on the seat area removal image as shown in FIG. Determine whether.
先ず、乗員判定部５６は、例えば図１４（Ａ）に示すように、シート座標系においてＴ方向に対して傾斜角度θＧｓで傾斜すると共にＢ方向に平行な所定の基準面Ｄを設定する。
この傾斜角度θＧｓは、例えば下記数式（３）に示すように、シート座標系においてＨ方向から見た乗員領域の面積Ｓｔと、Ｔ方向から見た乗員領域の面積Ｓｆとの比率に応じて設定される。
First, for example, as shown in FIG. 14A, the occupant determination unit 56 sets a predetermined reference plane D that is inclined at an inclination angle θGs with respect to the T direction and parallel to the B direction in the seat coordinate system.
This inclination angle θGs is set according to the ratio of the area St of the occupant region viewed from the H direction and the area Sf of the occupant region viewed from the T direction in the seat coordinate system, for example, as shown in the following mathematical formula (3). Is done.
そして、乗員判定部５６は、例えば図１４（Ｂ）に示すように、シート領域除去画像の乗員領域において、凸形状検出領域ＧにＢ方向で隣接する所定幅（例えば、５ｃｍなど）の近傍領域Ｆを設定する。
なお、所定の基準面Ｄは、少なくとも凸形状検出領域Ｇおよび近傍領域Ｆよりも車両後方側に配置され、この基準面Ｄから車両前方側に凸形状検出領域Ｇおよび近傍領域Ｆが突出するように設定されている。
Then, for example, as shown in FIG. 14B, the occupant determination unit 56, in the occupant area of the seat area removal image, a neighboring area of a predetermined width (for example, 5 cm, etc.) adjacent to the convex shape detection area G in the B direction. Set F.
The predetermined reference surface D is disposed at least on the vehicle rear side with respect to the convex shape detection region G and the vicinity region F, and the convex shape detection region G and the vicinity region F protrude from the reference surface D to the vehicle front side. Is set to
そして、乗員判定部５６は、例えば図１４（Ｃ）に示すように、Ｂ方向に直交すると共に基準面Ｄに含まれる軸線ＤＬの軸線方向に所定間隔（例えば、２ｃｍなど）をおいた位置Ｌ１，Ｌ２，…毎に、基準面Ｄに直交する平面内において基準面Ｄから突出する凸形状検出領域Ｇの高さｈおよび近傍領域Ｆの高さｈｋを算出する。
そして、各位置Ｌ１，Ｌ２，…毎に、凸形状検出領域Ｇの高さｈが近傍領域Ｆの高さｈｋよりも高いか否かを判定し、この判定結果が「ＹＥＳ」となる位置数が所定数以上の場合には、所定段差が存在すると判定する。一方、この判定結果が「ＹＥＳ」となる位置数が所定数未満の場合には、所定段差が存在しないと判定する。
Then, for example, as shown in FIG. 14C, the occupant determination unit 56 is positioned at a position L1 that is orthogonal to the B direction and has a predetermined interval (for example, 2 cm) in the axial direction of the axis DL included in the reference plane D. , L2,..., The height h of the convex shape detection region G protruding from the reference surface D and the height hk of the neighboring region F in a plane orthogonal to the reference surface D are calculated.
For each position L1, L2,..., It is determined whether or not the height h of the convex shape detection area G is higher than the height hk of the neighboring area F, and the number of positions at which the determination result is “YES”. Is greater than or equal to a predetermined number, it is determined that a predetermined level difference exists. On the other hand, when the number of positions at which the determination result is “YES” is less than the predetermined number, it is determined that there is no predetermined step.
そして、乗員判定部５６は、例えば所定形状範囲の形状を有すると判定された凸形状検出領域Ｇが複数存在する場合、あるいは、所定段差が存在すると判定された凸形状検出領域Ｇが複数存在する場合には、複数の凸形状検出領域Ｇのうちから最も長い長さを有する凸形状検出領域Ｇをサイドクッションの候補として選択する。 The occupant determination unit 56 includes, for example, a plurality of convex shape detection regions G determined to have a shape within a predetermined shape range, or a plurality of convex shape detection regions G determined to have a predetermined step. In this case, the convex shape detection region G having the longest length is selected from among the plurality of convex shape detection regions G as a side cushion candidate.
例えば図１５に示すように、２つの凸形状検出領域Ｇ１，Ｇ２が存在し、凸形状検出領域Ｇ１の長さＬ１が凸形状検出領域Ｇ２の長さＬ２よりも長い場合には、凸形状検出領域Ｇ１がサイドクッションの候補として選択される。 For example, as shown in FIG. 15, when there are two convex shape detection regions G1 and G2, and the length L1 of the convex shape detection region G1 is longer than the length L2 of the convex shape detection region G2, the convex shape detection is performed. The region G1 is selected as a side cushion candidate.
そして、乗員判定部５６は、凸形状検出領域Ｇが頭部領域検知部５２により検知された頭部領域に対して所定位置範囲内に存在するか否かを判定し、所定位置範囲内に存在する場合には、凸形状検出領域Ｇがサイドクッションであると判定し、所定位置範囲内に存在しない場合には、凸形状検出領域Ｇがサイドクッションではない（つまり、サイドクッションを検知できない）と判定する。 Then, the occupant determination unit 56 determines whether or not the convex shape detection region G exists within a predetermined position range with respect to the head region detected by the head region detection unit 52, and exists within the predetermined position range. When it does, it judges with convex shape detection field G being a side cushion, and when it does not exist in a predetermined position range, convex shape detection field G is not a side cushion (that is, a side cushion cannot be detected). judge.
例えば図１６に示すように、乗員判定部５６は、頭部領域検知部５２により検知された頭部領域ＨＡのＨ座標範囲（つまり、Ｈ座標の最小値ＨＤ＿ＭＩＮと最大値ＨＤ＿ＭＡＸとの間の範囲）内に凸形状検出領域ＧのＨ座標の最大値ＳＤ＿ＭＡＸが含まれるか否かを判定する。
そして、頭部領域ＨＡのＨ座標範囲内に凸形状検出領域ＧのＨ座標の最大値ＳＤ＿ＭＡＸが含まれる場合には、凸形状検出領域Ｇがサイドクッションであると判定し、一方、頭部領域ＨＡのＨ座標範囲内に凸形状検出領域ＧのＨ座標の最大値ＳＤ＿ＭＡＸが含まれない場合には、凸形状検出領域Ｇがサイドクッションではない（つまり、サイドクッションを検知できない）と判定する。
For example, as shown in FIG. 16, the occupant determination unit 56 detects the H coordinate range of the head region HA detected by the head region detection unit 52 (that is, the range between the minimum value HD_MIN and the maximum value HD_MAX of the H coordinate). ) Whether or not the maximum value SD_MAX of the H coordinate of the convex shape detection region G is included.
When the H coordinate maximum value SD_MAX of the convex shape detection region G is included in the H coordinate range of the head region HA, it is determined that the convex shape detection region G is a side cushion. When the H coordinate maximum value SD_MAX of the convex shape detection region G is not included in the H coordinate range of HA, it is determined that the convex shape detection region G is not a side cushion (that is, the side cushion cannot be detected).
そして、乗員判定部５６は、サイドクッションが検知された場合には、乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定し、一方、サイドクッションが検知されない場合には、乗員領域には大人が存在すると判定する。 When the side cushion is detected, the occupant determination unit 56 determines that the child seat and the child seated on the child seat are present in the occupant region, while when the side cushion is not detected, the occupant determination unit 56 Determines that there is an adult.
以下に、この変形例での乗員判定の処理について説明する。
先ず、例えば図１７に示すステップＳ２１においては、シート領域除去画像に対して所定のモデルパターンを用いた畳み込み積分の演算などによりパターンマッチングの処理を行ない、単眼距離画像センサ１１に向かい突出する凸型形状の領域を抽出する。
そして、モデルパターンに対する類似度に関して所定の閾値を用いた閾値処理を行ない、類似度が閾値以上の領域のみを抽出して、凸形状検出領域Ｇとして設定する。
Hereinafter, the occupant determination process in this modification will be described.
First, in step S21 shown in FIG. 17, for example, a pattern matching process is performed on the sheet area removed image by a convolution integral calculation using a predetermined model pattern, and the convex shape protruding toward the monocular distance image sensor 11 is obtained. Extract shape regions.
Then, threshold processing using a predetermined threshold is performed with respect to the similarity to the model pattern, and only a region where the similarity is equal to or higher than the threshold is extracted and set as the convex shape detection region G.
次に、ステップＳ２２においては、凸形状検出領域ＧのうちからＢ方向センター領域以外の領域を除去する。
次に、ステップＳ２３においては、所定形状範囲、つまり長さＬが所定長さ範囲（例えば、２０ｃｍ＜Ｌ＜１００ｃｍなど）、かつ、Ｔ方向に対する傾斜角度θＧが所定角度範囲（例えば、２０°＜θＧ＜７０°など）の凸形状検出領域Ｇが存在するか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、所定形状範囲から逸脱する凸形状検出領域Ｇを除去して、後述するステップＳ２６に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ２４に進む。
Next, in step S22, regions other than the B-direction center region are removed from the convex shape detection region G.
Next, in step S23, the predetermined shape range, that is, the length L is a predetermined length range (for example, 20 cm <L <100 cm), and the inclination angle θG with respect to the T direction is a predetermined angle range (for example, 20 ° <for example). It is determined whether or not the convex shape detection region G of θG <70 ° or the like exists.
If this determination is “YES”, the convex shape detection region G that deviates from the predetermined shape range is removed, and the process proceeds to Step S 26 described later.
On the other hand, if this determination is “NO”, the flow proceeds to step S24.
次に、ステップＳ２４においては、シート領域除去画像に基づき、乗員領域のＢ方向にチャイルドシートのサイドクッションに起因する所定段差が存在するか否かを判定する。
このステップＳ２４では、Ｂ方向に直交すると共に基準面Ｄに含まれる軸線ＤＬの軸線方向に所定間隔（例えば、２ｃｍなど）をおいた位置Ｌ１，Ｌ２，…毎に、基準面Ｄから突出する凸形状検出領域Ｇの高さｈが近傍領域Ｆの高さｈｋよりも高いか否かを判定する。そして、この判定結果が「ＹＥＳ」となる位置数が所定数以上の場合には、所定段差が存在すると判定する。一方、この判定結果が「ＹＥＳ」となる位置数が所定数未満の場合には、所定段差が存在しないと判定する。
そして、ステップＳ２４での判定結果が「ＮＯ」の場合には、ステップＳ２５に進み、このステップＳ２５においては、乗員領域には大人が存在すると判定して、リターンに進む。
一方、ステップＳ２４での判定結果が「ＹＥＳ」の場合には、ステップＳ２６に進む。
Next, in step S24, based on the seat area removal image, it is determined whether or not a predetermined step due to the side cushion of the child seat exists in the B direction of the passenger area.
In this step S24, the projections protruding from the reference plane D at every position L1, L2,... Perpendicular to the B direction and at a predetermined interval (for example, 2 cm) in the axial direction of the axis DL included in the reference plane D. It is determined whether or not the height h of the shape detection region G is higher than the height hk of the neighboring region F. If the number of positions at which the determination result is “YES” is greater than or equal to a predetermined number, it is determined that a predetermined step exists. On the other hand, when the number of positions at which the determination result is “YES” is less than the predetermined number, it is determined that there is no predetermined step.
If the determination result in step S24 is “NO”, the process proceeds to step S25. In this step S25, it is determined that there is an adult in the passenger area, and the process proceeds to return.
On the other hand, if the decision result in the step S24 is “YES”, the process advances to a step S26.
そして、ステップＳ２６においては、所定形状範囲の形状を有すると判定された凸形状検出領域Ｇが複数存在する場合、あるいは、所定段差が存在すると判定された凸形状検出領域Ｇが複数存在する場合には、複数の凸形状検出領域Ｇのうちから最も長い長さを有する凸形状検出領域Ｇをサイドクッションの候補として選択する。 In step S26, when there are a plurality of convex shape detection regions G determined to have a shape in the predetermined shape range, or when there are a plurality of convex shape detection regions G determined to have a predetermined level difference. Selects the convex shape detection region G having the longest length among the plurality of convex shape detection regions G as a candidate for the side cushion.
次に、ステップＳ２７においては、頭部領域ＨＡのＨ座標範囲（つまり、Ｈ座標の最小値ＨＤ＿ＭＩＮと最大値ＨＤ＿ＭＡＸとの間の範囲）内に凸形状検出領域ＧのＨ座標の最大値ＳＤ＿ＭＡＸが含まれるか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ２８に進み、このステップＳ２８においては、凸形状検出領域Ｇがサイドクッションではない（つまり、サイドクッションを検知できない）と判定して、上述したステップＳ２５に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２９に進み、このステップＳ２９においては、凸形状検出領域Ｇがサイドクッションであると判定する。
Next, in step S27, the H coordinate maximum value SD_MAX of the convex shape detection region G is within the H coordinate range of the head region HA (that is, the range between the minimum value HD_MIN and the maximum value HD_MAX of the H coordinate). It is determined whether or not it is included.
If this determination is “NO”, the flow proceeds to step S 28, in which it is determined that the convex shape detection region G is not a side cushion (that is, the side cushion cannot be detected), and the above-described step. Proceed to S25.
On the other hand, if this determination result is "YES", the process proceeds to step S29, and in this step S29, it is determined that the convex shape detection region G is a side cushion.
次に、ステップＳ３０においては、乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定して、リターンに進む。 Next, in step S30, it is determined that there is a child seat and a child seated on the child seat in the passenger area, and the process proceeds to return.
この変形例によれば、車室内において撮像が容易であってチャイルドシートに特有の形状を有するサイドクッションの有無を判定することにより、乗員の頭部領域が検知された場合に、大人が存在するのか、あるいは、チャイルドシートに着座した子供が存在するのかを、的確に判定することができる。 According to this modification, whether there is an adult when the head region of the occupant is detected by determining the presence or absence of a side cushion that is easy to capture in the passenger compartment and has a shape specific to the child seat Alternatively, it is possible to accurately determine whether there is a child seated on the child seat.
さらに、サイドクッションの特徴として、凸型形状（例えば、筒型などの形状）の領域（凸形状検出領域Ｇ）の有無と、凸形状検出領域Ｇが所定形状を有するか否かと、子供とサイドクッションとの間の所定段差の有無と、子供の頭部領域に対する凸形状検出領域Ｇの相対的な高さの関係とを判定することにより、サイドクッションの有無およびチャイルドシートの有無を容易かつ精度良く判定することができる。 Further, as a feature of the side cushion, the presence or absence of a convex shape (for example, a cylindrical shape) region (convex shape detection region G), whether the convex shape detection region G has a predetermined shape, the child and the side The presence / absence of a side cushion and the presence / absence of a child seat can be easily and accurately determined by determining the presence / absence of a predetermined step between the cushion and the relative height relationship of the convex shape detection region G with respect to the child's head region. Can be determined.
しかも、Ｂ方向のセンターコンソール側のみでサイドクッションの有無を判定するだけでよく、左右のサイドクッションの一方が単眼距離画像センサ１１に対して隠蔽されている場合であっても、大人とチャイルドシートとを精度良く判別することができる。 Moreover, it is only necessary to determine the presence or absence of the side cushion only on the center console side in the B direction. Even when one of the left and right side cushions is concealed from the monocular distance image sensor 11, Can be determined with high accuracy.
１０ 乗員検知装置
１１ 単眼距離画像センサ
１２ 制御装置
２２ 受光部（撮像手段）
２３ 処理部（距離画像生成手段）
５１ 画像処理部
５２ 頭部領域検知部（頭部領域検知手段）
５３ シート領域検知部（シート領域検知手段）
５４ 体積判定部（体積判定手段）
５５ ブースターシート判定部
５６ 乗員判定部（乗員判定手段）
５７ 駆動制御部
ステップＳ１１〜Ｓ１５、Ｓ１７ 肩部判定手段
ステップＳ１３ 断面画像生成手段
ステップＳ２１〜Ｓ２９ サイドクッション判定手段
ステップＳ２１ 凸形状領域抽出手段
ステップＳ２３ 形状判定手段
ステップＳ２４ 段差有無判定手段
ステップＳ２６ 選択手段
ステップＳ２７ 高さ判定手段
DESCRIPTION OF SYMBOLS 10 Occupant detection apparatus 11 Monocular distance image sensor 12 Control apparatus 22 Light-receiving part (imaging means)
23 processing unit (distance image generating means)
51 Image Processing Unit 52 Head Area Detection Unit (Head Area Detection Unit)
53 Sheet area detection unit (sheet area detection means)
54 Volume determination unit (volume determination means)
55 Booster seat determination unit 56 Occupant determination unit (occupant determination means)
57 Drive control unit steps S11 to S15, S17 Shoulder determination unit step S13 Cross-sectional image generation unit steps S21 to S29 Side cushion determination unit step S21 Convex shape region extraction unit step S23 Shape determination unit step S24 Step presence / absence determination unit step S26 Selection unit Step S27 Height determination means
Claims (3)
前記撮像手段から出力された撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段と、
前記距離画像に基づき、前記車室内の乗員の頭部領域を検知する頭部領域検知手段および前記車室内のシートの領域を検知するシート領域検知手段と、
前記シートの領域を前記距離画像から除去して得られるシート領域除去画像に基づき、前記頭部領域を有する乗員領域の体積を推定し、該体積が所定体積範囲内であるか否かを判定する体積判定手段と、
前記体積判定手段により前記乗員領域の体積が前記所定体積範囲内であると判定された場合に、車両上下方向に直交する平面に平行な断面画像として前記頭部領域の断面画像および前記乗員領域の断面画像を前記距離画像に基づき生成する断面画像生成手段と、
前記頭部領域の断面画像と前記乗員領域の断面画像とを比較し、該比較結果に基づいて前記乗員の肩部の有無を判定する肩部判定手段と、
前記肩部判定手段により前記乗員の肩部が存在すると判定された場合には前記乗員領域には大人が存在すると判定し、前記肩部判定手段により前記乗員の肩部が存在しないと判定された場合には前記乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定する乗員判定手段と
を備えることを特徴とする乗員検知装置。 Imaging means for imaging an imaging area in the passenger compartment and outputting an imaging result;
A distance image generating means for generating a distance image having information on the distance of the imaging region in a three-dimensional space based on the imaging result output from the imaging means;
Based on the distance image, a head region detecting means for detecting a head region of an occupant in the vehicle interior and a seat region detecting means for detecting a region of a seat in the vehicle interior;
Based on the sheet area removal image obtained by removing the area of the seat from the distance image, the volume of the occupant area having the head area is estimated, and it is determined whether or not the volume is within a predetermined volume range. Volume determination means;
When the volume determination means determines that the volume of the occupant area is within the predetermined volume range, the cross-sectional image of the head area and the occupant area of the occupant area are taken as a cross-sectional image parallel to a plane perpendicular to the vehicle vertical direction. A cross-sectional image generating means for generating a cross-sectional image based on the distance image;
Shoulder determination means for comparing the cross-sectional image of the head region and the cross-sectional image of the occupant region, and determining the presence or absence of the shoulder of the occupant based on the comparison result;
When it is determined by the shoulder determining means that the occupant's shoulder exists, it is determined that there is an adult in the occupant area, and the shoulder determining means determines that the occupant's shoulder does not exist. In this case, the occupant detection apparatus includes a child seat and an occupant determination unit that determines that there is a child seated on the child seat.
前記撮像手段から出力された撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段と、
前記距離画像に基づき、前記車室内の乗員の頭部領域を検知する頭部領域検知手段および前記車室内のシートの領域を検知するシート領域検知手段と、
前記シートの領域を前記距離画像から除去して得られるシート領域除去画像に基づき、前記頭部領域を有する乗員領域の体積を推定し、該体積が所定体積範囲内であるか否かを判定する体積判定手段と、
前記体積判定手段により前記乗員領域の体積が前記所定体積範囲内であると判定された場合に、チャイルドシートのサイドクッションが存在するか否かを判定するサイドクッション判定手段と、
前記サイドクッション判定手段により前記サイドクッションが存在すると判定された場合には前記乗員領域にはチャイルドシートおよび該チャイルドシートに着座した子供が存在すると判定し、前記サイドクッション判定手段により前記サイドクッションが存在しないと判定された場合には前記乗員領域には大人が存在すると判定する乗員判定手段とを備えることを特徴とする乗員検知装置。 Imaging means for imaging an imaging area in the passenger compartment and outputting an imaging result;
A distance image generating means for generating a distance image having information on the distance of the imaging region in a three-dimensional space based on the imaging result output from the imaging means;
Based on the distance image, a head region detecting means for detecting a head region of an occupant in the vehicle interior and a seat region detecting means for detecting a region of a seat in the vehicle interior;
Based on the sheet area removal image obtained by removing the area of the seat from the distance image, the volume of the occupant area having the head area is estimated, and it is determined whether or not the volume is within a predetermined volume range. Volume determination means;
Side cushion determining means for determining whether or not a side cushion of the child seat exists when the volume determining means determines that the volume of the passenger area is within the predetermined volume range;
When the side cushion determining means determines that the side cushion exists, it is determined that a child seat and a child seated on the child seat exist in the occupant area, and the side cushion determining means determines that the side cushion does not exist. An occupant detection device comprising: an occupant determination unit that determines that an adult exists in the occupant area when the determination is made.
前記シート領域除去画像において凸形状の領域を抽出する凸形状領域抽出手段と、
前記凸形状の領域の長さが所定長さ範囲内かつ前記凸形状の領域が車両上下方向に直交する平面に対してなす角度が所定角度範囲内であるか否かを判定する形状判定手段と、
前記凸形状の領域と、車両左右方向で前記凸形状の領域に隣接する領域との間に、所定の段差が存在するか否かを判定する段差有無判定手段と、
前記形状判定手段により前記長さが前記所定長さ範囲内かつ前記角度が前記所定角度範囲内であると判定された前記凸形状の領域と、前記段差有無判定手段により前記所定の段差が存在すると判定された前記凸形状の領域とのうちから、最も長い形状の前記凸形状の領域を選択する選択手段と、
前記選択手段により選択された前記凸形状の領域の車両上下方向の最大高さが、前記頭部領域の車両上下方向の高さ範囲内に含まれるか否かを判定する高さ判定手段とを備え、
前記高さ判定手段により前記最大高さが前記高さ範囲内に含まれていると判定された場合に、前記サイドクッションが存在すると判定することを特徴とする請求項２に記載の乗員検知装置。 The side cushion determination means includes
A convex region extracting means for extracting a convex region in the sheet region removal image;
Shape determining means for determining whether the length of the convex region is within a predetermined length range and the angle formed by the convex region with respect to a plane perpendicular to the vehicle vertical direction is within the predetermined angle range; ,
A step presence / absence determining means for determining whether or not a predetermined step is present between the convex region and a region adjacent to the convex region in the left-right direction of the vehicle;
The convex region where the length is determined to be within the predetermined length range and the angle is within the predetermined angle range by the shape determining unit, and the predetermined step is present by the step presence / absence determining unit. A selection means for selecting the longest convex region from the determined convex regions;
Height determination means for determining whether or not the maximum height in the vehicle vertical direction of the convex region selected by the selection means is included in the height range of the head region in the vehicle vertical direction; Prepared,
3. The occupant detection device according to claim 2, wherein the side cushion is determined to exist when the height determination unit determines that the maximum height is included in the height range. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010279651A JP5453230B2 (en) | 2010-12-15 | 2010-12-15 | Occupant detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010279651A JP5453230B2 (en) | 2010-12-15 | 2010-12-15 | Occupant detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012127811A true JP2012127811A (en) | 2012-07-05 |
| JP5453230B2 JP5453230B2 (en) | 2014-03-26 |
Family
ID=46645019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010279651A Expired - Fee Related JP5453230B2 (en) | 2010-12-15 | 2010-12-15 | Occupant detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5453230B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018109997A1 (en) * | 2016-12-16 | 2018-06-21 | アイシン精機株式会社 | Passenger detection device |
| JP2019179287A (en) * | 2018-03-30 | 2019-10-17 | 株式会社東海理化電機製作所 | Processing device and program |
| JP2019179288A (en) * | 2018-03-30 | 2019-10-17 | 株式会社東海理化電機製作所 | Processing device and program |
| JP2019179289A (en) * | 2018-03-30 | 2019-10-17 | 株式会社東海理化電機製作所 | Processing device and program |
| JP2019179290A (en) * | 2018-03-30 | 2019-10-17 | 株式会社東海理化電機製作所 | Processing device and program |
| JP2020050090A (en) * | 2018-09-26 | 2020-04-02 | アイシン精機株式会社 | Indoor monitoring device |
| JP2020135034A (en) * | 2019-02-13 | 2020-08-31 | 株式会社東海理化電機製作所 | Head determination device, computer program, and storage medium |
| JP2021066276A (en) * | 2019-10-18 | 2021-04-30 | 株式会社デンソー | Device for determining physique of occupant |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200117492A (en) * | 2019-04-04 | 2020-10-14 | 주식회사 만도 | Vehicle control system and vehicle contorl method |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002500367A (en) * | 1997-12-23 | 2002-01-08 | シーメンス アクチエンゲゼルシヤフト | Method and apparatus for capturing a three-dimensional range image |
| JP2004503759A (en) * | 2000-06-15 | 2004-02-05 | オートモーティブ システムズ ラボラトリー インコーポレーテッド | Occupant sensor |
| JP2006176075A (en) * | 2004-12-24 | 2006-07-06 | Tkj Kk | Detection system, occupant protection device, vehicle and detection method |
| JP2006224856A (en) * | 2005-02-18 | 2006-08-31 | Takata Corp | Detection system, informing device, drive device and vehicle |
| JP2007518970A (en) * | 2003-11-21 | 2007-07-12 | シーメンス コーポレイト リサーチ インコーポレイテツド | System and method for detecting occupant and head poses using a stereo detector |
| JP2007198929A (en) * | 2006-01-27 | 2007-08-09 | Hitachi Ltd | In-vehicle situation detection system, in-vehicle situation detector, and in-vehicle situation detection method |
| JP2007213353A (en) * | 2006-02-09 | 2007-08-23 | Honda Motor Co Ltd | Apparatus for detecting three-dimensional object |
| JP2008002838A (en) * | 2006-06-20 | 2008-01-10 | Takata Corp | System for detecting vehicle occupant, actuator control system, and vehicle |
-
2010
- 2010-12-15 JP JP2010279651A patent/JP5453230B2/en not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002500367A (en) * | 1997-12-23 | 2002-01-08 | シーメンス アクチエンゲゼルシヤフト | Method and apparatus for capturing a three-dimensional range image |
| JP2004503759A (en) * | 2000-06-15 | 2004-02-05 | オートモーティブ システムズ ラボラトリー インコーポレーテッド | Occupant sensor |
| JP2007518970A (en) * | 2003-11-21 | 2007-07-12 | シーメンス コーポレイト リサーチ インコーポレイテツド | System and method for detecting occupant and head poses using a stereo detector |
| JP2006176075A (en) * | 2004-12-24 | 2006-07-06 | Tkj Kk | Detection system, occupant protection device, vehicle and detection method |
| JP2006224856A (en) * | 2005-02-18 | 2006-08-31 | Takata Corp | Detection system, informing device, drive device and vehicle |
| JP2007198929A (en) * | 2006-01-27 | 2007-08-09 | Hitachi Ltd | In-vehicle situation detection system, in-vehicle situation detector, and in-vehicle situation detection method |
| JP2007213353A (en) * | 2006-02-09 | 2007-08-23 | Honda Motor Co Ltd | Apparatus for detecting three-dimensional object |
| JP2008002838A (en) * | 2006-06-20 | 2008-01-10 | Takata Corp | System for detecting vehicle occupant, actuator control system, and vehicle |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018109997A1 (en) * | 2016-12-16 | 2018-06-21 | アイシン精機株式会社 | Passenger detection device |
| JP2018096946A (en) * | 2016-12-16 | 2018-06-21 | アイシン精機株式会社 | Occupant detection device |
| US11037006B2 (en) | 2016-12-16 | 2021-06-15 | Aisin Seiki Kabushiki Kaisha | Occupant detection device |
| JP2019179288A (en) * | 2018-03-30 | 2019-10-17 | 株式会社東海理化電機製作所 | Processing device and program |
| JP2019179289A (en) * | 2018-03-30 | 2019-10-17 | 株式会社東海理化電機製作所 | Processing device and program |
| JP2019179290A (en) * | 2018-03-30 | 2019-10-17 | 株式会社東海理化電機製作所 | Processing device and program |
| JP2019179287A (en) * | 2018-03-30 | 2019-10-17 | 株式会社東海理化電機製作所 | Processing device and program |
| JP7053342B2 (en) | 2018-03-30 | 2022-04-12 | 株式会社東海理化電機製作所 | Processing equipment and programs |
| JP7053341B2 (en) | 2018-03-30 | 2022-04-12 | 株式会社東海理化電機製作所 | Processing equipment and programs |
| JP7117878B2 (en) | 2018-03-30 | 2022-08-15 | 株式会社東海理化電機製作所 | processor and program |
| JP2020050090A (en) * | 2018-09-26 | 2020-04-02 | アイシン精機株式会社 | Indoor monitoring device |
| JP7210965B2 (en) | 2018-09-26 | 2023-01-24 | 株式会社アイシン | indoor monitoring device |
| JP2020135034A (en) * | 2019-02-13 | 2020-08-31 | 株式会社東海理化電機製作所 | Head determination device, computer program, and storage medium |
| JP2021066276A (en) * | 2019-10-18 | 2021-04-30 | 株式会社デンソー | Device for determining physique of occupant |
| JP7287239B2 (en) | 2019-10-18 | 2023-06-06 | 株式会社デンソー | Occupant physique determination device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5453230B2 (en) | 2014-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5453230B2 (en) | Occupant detection device | |
| JP5401440B2 (en) | Crew head detection device | |
| US7607509B2 (en) | Safety device for a vehicle | |
| EP1693254B1 (en) | Detection system, informing system, actuation system and vehicle | |
| EP1816589B1 (en) | Detection device of vehicle interior condition | |
| JP4810052B2 (en) | Occupant sensor | |
| EP1870296B1 (en) | Vehicle seat detecting system, operation device controlling system, and vehicle | |
| US20060291697A1 (en) | Method and apparatus for detecting the presence of an occupant within a vehicle | |
| KR100630842B1 (en) | Passenger attitude discrimination system and the method which use stereo video junction in vehicle | |
| JP2008518195A (en) | Occupant detection system | |
| EP1759933A3 (en) | Vison-Based occupant classification method and system for controlling airbag deployment in a vehicle restraint system | |
| US20060149426A1 (en) | Detecting an eye of a user and determining location and blinking state of the user | |
| JP2010195139A (en) | Occupant restraint control device and occupant restraint control method | |
| JP2013252863A (en) | Occupant restriction control device and occupant restriction control method | |
| EP1800964B1 (en) | Method of depth estimation from a single camera | |
| JP5396377B2 (en) | Vacant seat determination device and vacant seat determination method | |
| JP5298111B2 (en) | Occupant detection device | |
| JP5548111B2 (en) | Sheet detection device | |
| GB2568669A (en) | Vehicle controller | |
| JP2022188651A (en) | Occupant detection device, method, and program | |
| JP2018156212A (en) | Physique determination device, physique determination method and program | |
| JP5453229B2 (en) | Occupant discrimination device and occupant discrimination method | |
| JP2021103092A (en) | Seat posture detection device | |
| JP2012141281A (en) | Volume detection device and volume detection method | |
| JP7079188B2 (en) | Crew discriminator, computer program, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121128 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130912 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130924 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131210 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140106 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |