JP2020077178A - Occupant determination device, computer program, and storage medium - Google Patents

Occupant determination device, computer program, and storage medium Download PDF

Info

Publication number
JP2020077178A
JP2020077178A JP2018209803A JP2018209803A JP2020077178A JP 2020077178 A JP2020077178 A JP 2020077178A JP 2018209803 A JP2018209803 A JP 2018209803A JP 2018209803 A JP2018209803 A JP 2018209803A JP 2020077178 A JP2020077178 A JP 2020077178A
Authority
JP
Japan
Prior art keywords
data
data subset
occupant
subsets
data subsets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018209803A
Other languages
Japanese (ja)
Other versions
JP7079187B2 (en
Inventor
佑記 名和
Yuki Nawa
佑記 名和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokai Rika Co Ltd
Original Assignee
Tokai Rika Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokai Rika Co Ltd filed Critical Tokai Rika Co Ltd
Priority to JP2018209803A priority Critical patent/JP7079187B2/en
Publication of JP2020077178A publication Critical patent/JP2020077178A/en
Application granted granted Critical
Publication of JP7079187B2 publication Critical patent/JP7079187B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

To determine, with high accuracy, the attitude or movement of an occupant in a vehicle interior through detection of a body part not limited to the hands.SOLUTION: A pixel data set PD is divided into a plurality of data subsets DS, and thereby the data subsets DS are associated to one of a plurality of vehicle interior space areas. Based on the number of pixels corresponding to a driver included in the data subsets DS, a high-likelihood data subset LDS is specified which corresponds to one of a plurality of space areas where the head 51 is highly likely to be present. Based on the high-likelihood data subset LDS, processing of determining the head 51 is performed. The plurality of data subsets DS include a plurality of first data subsets DS1 and a plurality of second data subsets DS2. One of the plurality of vehicle interior space areas corresponding to one of the plurality of first data subsets DS1 partially overlaps one of the plurality of vehicle interior space areas corresponding to one of the plurality of second data subsets DS2.SELECTED DRAWING: Figure 5

Description

本発明は、車室内の乗員の身体部位を判別する装置に関連する。本発明は、当該装置が備えているプロセッサにより実行されるコンピュータプログラム、および当該コンピュータプログラムが記憶された記憶媒体にも関連する。   The present invention relates to an apparatus for discriminating a body part of an occupant in a vehicle compartment. The present invention also relates to a computer program executed by a processor included in the device, and a storage medium storing the computer program.

特許文献１に記載された装置は、乗員の手の画像を光電変換撮像素子で取得する。当該装置は、当該画像に基づいて手の動きを検出することにより、車載機器を操作している乗員を判別する。   The device described in Patent Document 1 acquires an image of an occupant's hand with a photoelectric conversion image sensor. The apparatus determines the occupant operating the in-vehicle device by detecting the movement of the hand based on the image.

特開２００９−２９４８４３号公報JP, 2009-294843, A

本発明の目的は、手に限られない身体部位の検出を通じて車室内の乗員の姿勢や動作を高い精度で判別することである。   An object of the present invention is to accurately determine the posture and motion of an occupant in a vehicle compartment by detecting body parts not limited to hands.

上記の目的を達成するための一態様は、乗員判別装置であって、
それぞれが三次元位置情報を有する複数の点要素を含むデータセットを受け付ける入力インターフェースと、
前記データセットに基づいて車室内の乗員の身体部位を判別するプロセッサと、
を備えており、
前記プロセッサは、
前記データセットを複数のデータサブセットに分割することにより、前記車室の少なくとも一部を構成する複数の空間領域の一つに各データサブセットを対応付け、
前記各データサブセットに含まれる前記乗員に対応する前記複数の点要素の数に基づいて、前記身体部位が存在する可能性が高い前記複数の空間領域の一つに対応する高尤度データサブセットを特定し、
前記高尤度データサブセットに基づいて前記身体部位を判別する処理を行ない、
前記複数のデータサブセットは、複数の第一データサブセットと複数の第二データサブセットを含んでおり、
前記複数の第一データサブセットの一つに対応する前記複数の空間領域の一つは、前記複数の第二データサブセットの一つに対応する前記複数の空間領域の一つと部分的に重なっている。 One aspect for achieving the above object is an occupant discrimination device,
An input interface that accepts a dataset that includes a plurality of point elements each having three-dimensional position information
A processor that determines a body part of an occupant based on the data set,
Is equipped with
The processor is
By dividing the data set into a plurality of data subsets, each data subset is associated with one of a plurality of spatial regions forming at least a part of the vehicle interior,
Based on the number of the plurality of point elements corresponding to the occupant included in each of the data subset, a high likelihood data subset corresponding to one of the plurality of spatial regions in which the body part is highly likely to exist, Identify,
Performing a process of determining the body part based on the high likelihood data subset,
The plurality of data subsets includes a plurality of first data subsets and a plurality of second data subsets,
One of the plurality of spatial regions corresponding to one of the plurality of first data subsets partially overlaps one of the plurality of spatial regions corresponding to one of the plurality of second data subsets. ..

複数の第一データサブセットの一つに対応する複数の空間領域の一つと複数の第二データサブセットの一つに対応する複数の空間領域の一つが部分的に重なるように複数のデータサブセットへの分割が行なわれることにより、乗員の身体部位の大きさの個人差や位置によらず、当該身体部位がいずれかのデータサブセットに対応する空間領域に収まる確率が上がる。これにより、後続する当該身体部位の判別処理の精度を向上できる。したがって、手に限られない身体部位の検出を通じて、車室内の乗員の姿勢や動作を高い精度で判別できる。   To multiple data subsets such that one of the multiple spatial regions corresponding to one of the multiple first data subsets and one of the multiple spatial regions corresponding to one of the multiple second data subsets partially overlap By performing the division, the probability that the body part fits into the spatial region corresponding to any of the data subsets is increased regardless of the individual difference in the size or position of the body part of the occupant. As a result, the accuracy of the subsequent discrimination processing of the body part can be improved. Therefore, the posture and movement of the occupant in the vehicle compartment can be determined with high accuracy by detecting body parts not limited to the hands.

上記の乗員判別装置は、以下のように構成されうる。
前記プロセッサは、前記複数の空間領域の各々が前記身体部位に対応する幅を有するように前記複数のデータサブセットへの分割を行なう。 The occupant discrimination device described above may be configured as follows.
The processor divides into the plurality of data subsets such that each of the plurality of spatial regions has a width corresponding to the body part.

このような構成によれば、各データサブセットに対応する空間領域と判別対象としての身体部位との対応性が維持されつつ、第一データサブセットに対応する空間領域と第二データサブセットに対応する空間領域が部分的に重なるように複数のデータサブセットへの分割がなされることにより、当該身体部位に対する見かけ上の検出分解能を高めることができる。   According to such a configuration, the spatial region corresponding to the first data subset and the spatial region corresponding to the second data subset are maintained while maintaining the correspondence between the spatial region corresponding to each data subset and the body part to be determined. By dividing the data into a plurality of data subsets so that the regions partially overlap, the apparent detection resolution for the body part can be increased.

上記の乗員判別装置は、以下のように構成されうる。
前記プロセッサは、
前記車室内の三次元位置を特定可能な三つの座標軸のうち第一の座標軸に沿って前記データセットを第一座標データサブセットに分割し、
前記三つの座標軸のうち第二の座標軸に沿って前記データセットを第二座標データサブセットに分割し、
前記第一座標データサブセットと前記第二座標データサブセットに基づいて、前記高尤度データサブセットを特定する。 The occupant discrimination device described above may be configured as follows.
The processor is
Of the three coordinate axes capable of specifying the three-dimensional position in the vehicle compartment, the dataset is divided into a first coordinate data subset along a first coordinate axis,
Dividing the dataset into a second coordinate data subset along a second coordinate axis of the three coordinate axes,
The high likelihood data subset is specified based on the first coordinate data subset and the second coordinate data subset.

三次元情報を有する複数の点要素に対して、当該三次元情報を特定可能な三つの座標軸のうち二つに基づいて複数のデータサブセットへの分割が行なわれることにより、高尤度データサブセットの特定精度を高めることができる。これにより、身体部位の判別に係る後続の処理の精度を高めることができる。   For a plurality of point elements having three-dimensional information, by dividing into a plurality of data subsets based on two of the three coordinate axes that can specify the three-dimensional information, the high likelihood data subset The identification accuracy can be improved. As a result, the accuracy of the subsequent processing relating to the determination of the body part can be improved.

上記の乗員判別装置は、以下のように構成されうる。
前記身体部位は、頭部である。 The occupant discrimination device described above may be configured as follows.
The body part is the head.

頭部の位置や動きからは、様々な情報が得られることが知られている。例えば、運転中における運転者の脇見、居眠り、発作による異常挙動などに係る情報が、頭部の位置や動きから取得されうる。上記の構成によって頭部の判別精度が向上することにより、車室内の乗員についてより多彩な情報が取得されうる。   It is known that various information can be obtained from the position and movement of the head. For example, information on the driver's looking aside, drowsiness, abnormal behavior due to seizures, etc. during driving can be acquired from the position and movement of the head. Since the accuracy of head discrimination is improved by the above-described configuration, more diverse information can be acquired regarding the occupant in the vehicle compartment.

上記の乗員判別装置は、以下のように構成されうる。
前記複数の点要素の各々は、ＴＯＦカメラの画素に対応している。 The occupant discrimination device described above may be configured as follows.
Each of the plurality of point elements corresponds to a pixel of the TOF camera.

このような構成によれば、画像処理を用いる判別処理との統合が比較的容易である。   With such a configuration, the integration with the determination process using the image processing is relatively easy.

上記の目的を達成するための一態様は、それぞれが三次元位置情報を有する複数の点要素を含むデータセットに基づいて、車室内の乗員の身体部位をプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されることにより、当該プロセッサは、
前記データセットを複数のデータサブセットに分割することにより、各データサブセットを前記車室の少なくとも一部を構成する複数の空間領域の一つに対応付け、
前記各データサブセットに含まれる前記乗員に対応する前記複数の点要素の数に基づいて、前記身体部位が存在する可能性が高い前記複数の空間領域の一つに対応する高尤度データサブセットを特定し、
前記高尤度データサブセットに基づいて前記身体部位を判別する処理を行ない、
前記複数のデータサブセットは、複数の第一データサブセットと複数の第二データサブセットを含んでおり、
前記複数の第一データサブセットの一つに対応する前記複数の空間領域の一つは、前記複数の第二データサブセットの一つに対応する前記複数の空間領域の一つと部分的に重なっている。 One aspect for achieving the above object is a computer program for causing a processor to determine a body part of an occupant in a vehicle compartment based on a data set including a plurality of point elements each having three-dimensional position information,
Execution of the computer program causes the processor to
By dividing the data set into a plurality of data subsets, each data subset is associated with one of a plurality of spatial regions forming at least a part of the passenger compartment,
Based on the number of the plurality of point elements corresponding to the occupant included in each of the data subset, a high likelihood data subset corresponding to one of the plurality of spatial regions in which the body part is highly likely to exist, Identify,
Performing a process of determining the body part based on the high likelihood data subset,
The plurality of data subsets includes a plurality of first data subsets and a plurality of second data subsets,
One of the plurality of spatial regions corresponding to one of the plurality of first data subsets partially overlaps one of the plurality of spatial regions corresponding to one of the plurality of second data subsets. ..

上記の目的を達成するための一態様は、上記のコンピュータプログラムを記憶している記憶媒体である。   One aspect for achieving the above object is a storage medium storing the above computer program.

本発明によれば、手に限られない身体部位の検出を通じて車室内の乗員の姿勢や動作を高い精度で判別できる。   According to the present invention, the posture and movement of the occupant in the vehicle compartment can be determined with high accuracy by detecting body parts not limited to the hands.

一実施形態に係る乗員判別システムの構成を示している。1 shows a configuration of an occupant discrimination system according to an embodiment. 図１の乗員判別システムが搭載される車両の一部を示している。2 shows a part of a vehicle in which the occupant discrimination system of FIG. 1 is mounted. 図１の乗員判別装置により実行される処理の流れを示している。3 shows a flow of processing executed by the occupant discrimination device in FIG. 1. 図１の乗員判別装置により実行される処理を説明するための図である。It is a figure for demonstrating the process performed by the occupant discrimination device of FIG. 図１の乗員判別装置により実行される処理を説明するための図である。It is a figure for demonstrating the process performed by the occupant discrimination device of FIG. 図１の乗員判別装置により実行される処理を説明するための図である。It is a figure for demonstrating the process performed by the occupant discrimination device of FIG. 図１の乗員判別装置により実行される処理を説明するための図である。It is a figure for demonstrating the process performed by the occupant discrimination device of FIG. 図１の乗員判別装置により実行される処理を説明するための図である。It is a figure for demonstrating the process performed by the occupant discrimination device of FIG. 図１の乗員判別装置により実行される処理を説明するための図である。It is a figure for demonstrating the process performed by the occupant discrimination device of FIG.

添付の図面を参照しつつ、実施形態例について以下詳細に説明する。以下の説明に用いる各図面では、各部材を認識可能な大きさとするために縮尺を適宜変更している。   Exemplary embodiments are described in detail below with reference to the accompanying drawings. In each of the drawings used in the following description, the scale is appropriately changed in order to make each member recognizable.

図１は、一実施形態に係る乗員判別システム１の構成を模式的に示している。乗員判別システム１は、ＴＯＦ（Time of Flight）カメラユニット２と乗員判別装置３を含んでいる。図２は、乗員判別システム１が搭載される車両４の一部を示している。   FIG. 1 schematically shows the configuration of an occupant discrimination system 1 according to an embodiment. The occupant discrimination system 1 includes a TOF (Time of Flight) camera unit 2 and an occupant discrimination device 3. FIG. 2 shows a part of a vehicle 4 in which the occupant discrimination system 1 is mounted.

ＴＯＦカメラユニット２は、図２に示される車両４の車室４１内における適宜の位置に配置され、運転者５を含む車室４１の少なくとも一部の画像を取得する。   The TOF camera unit 2 is arranged at an appropriate position in the vehicle interior 41 of the vehicle 4 shown in FIG. 2 and acquires an image of at least a part of the vehicle interior 41 including the driver 5.

ＴＯＦカメラユニット２は、発光素子と受光素子を備えている。発光素子は、検出光として例えば赤外光を出射する。出射された検出光は、対象物によって反射され、戻り光として受光素子に入射する。検出光が発光素子より出射されてから戻り光が受光素子に入射するまでの時間が測定されることにより、戻り光を生じた対象物までの距離が算出される。ＴＯＦカメラユニット２により取得される画像を構成する複数の画素の各々について当該距離が算出されることにより、各画素は、画像における二次元的な位置座標（Ｕ，Ｖ）に加えて、当該画素に対応する対象物の一部までの距離（奥行き）を示す距離情報ｄ（Ｕ，Ｖ）を含む。   The TOF camera unit 2 includes a light emitting element and a light receiving element. The light emitting element emits, for example, infrared light as detection light. The emitted detection light is reflected by the object and enters the light receiving element as return light. By measuring the time from the emission of the detection light from the light emitting element to the incidence of the return light on the light receiving element, the distance to the object generating the return light is calculated. By calculating the distance for each of a plurality of pixels forming the image acquired by the TOF camera unit 2, each pixel is added to the pixel in addition to the two-dimensional position coordinates (U, V) in the image. The distance information d (U, V) indicating the distance (depth) to a part of the object corresponding to is included.

ＴＯＦカメラユニット２は、取得された画像に対応する画像データセットを出力する。画像データセットは、複数の画素データセットを含んでいる。複数の画素データセットの各々は、取得された画像を構成する複数の画素の対応する一つに関連づけられている。複数の画素データセットの各々は、位置座標（Ｕ，Ｖ）と距離情報ｄ（Ｕ，Ｖ）を含んでいる。すなわち、複数の画素データセットの各々は、三次元位置情報を有している。画像データセットは、データセットの一例である。複数の画素データセットは、複数の点要素の一例である。   The TOF camera unit 2 outputs an image data set corresponding to the acquired image. The image data set includes a plurality of pixel data sets. Each of the plurality of pixel data sets is associated with a corresponding one of the plurality of pixels that make up the acquired image. Each of the plurality of pixel data sets includes position coordinates (U, V) and distance information d (U, V). That is, each of the plurality of pixel data sets has three-dimensional position information. The image dataset is an example of a dataset. Pixel data sets are an example of a plurality of point elements.

乗員判別装置３は、車両４における適宜の位置に搭載される。乗員判別装置３は、ＴＯＦカメラユニット２から提供される画像データセットに基づいて、車室４１内の運転者５の頭部５１を判別するための装置である。運転者５は、乗員の一例である。頭部５１は、乗員の身体部位の一例である。   The occupant determination device 3 is mounted at an appropriate position on the vehicle 4. The occupant discrimination device 3 is a device for discriminating the head 51 of the driver 5 in the vehicle interior 41 based on the image data set provided from the TOF camera unit 2. The driver 5 is an example of an occupant. The head 51 is an example of a body part of an occupant.

図１に示されるように、乗員判別装置３は、入力インターフェース３１を備えている。入力インターフェース３１は、ＴＯＦカメラユニット２から出力された画像データセットを受け付ける。   As shown in FIG. 1, the occupant determination device 3 includes an input interface 31. The input interface 31 receives the image data set output from the TOF camera unit 2.

乗員判別装置３は、プロセッサ３２を備えている。プロセッサ３２は、入力インターフェース３１に入力された画像データセットに基づいて、運転者５の頭部５１を判別する処理を実行する。   The occupant determination device 3 includes a processor 32. The processor 32 executes a process of determining the head 51 of the driver 5 based on the image data set input to the input interface 31.

図３を参照しつつ、プロセッサ３２によって行なわれる処理の流れを説明する。プロセッサ３２は、まず画像データセットに対して予備処理を実行する（ＳＴＥＰ１）。   The flow of processing performed by the processor 32 will be described with reference to FIG. The processor 32 first executes a preliminary process on the image data set (STEP 1).

各画素データサブセットに含まれる位置座標（Ｕ，Ｖ）と距離情報ｄ（Ｕ，Ｖ）は、画像中心座標が（ｃX，ｃY）と定義された場合、次式を用いてカメラ座標系における三次元空間上の点（Ｘ，Ｙ，Ｚ）に変換されうる。ｆは、ＴＯＦカメラユニット２が備えるレンズの焦点距離を表している。 The position coordinates (U, V) and the distance information d (U, V) included in each pixel data subset are defined by the following formula when the image center coordinates are defined as (c X , c Y ). Can be transformed into a point (X, Y, Z) in the three-dimensional space at. f represents the focal length of the lens included in the TOF camera unit 2.

Figure 2020077178
Figure 2020077178

プロセッサ３２は、上式に基づいて、位置座標（Ｕ，Ｖ）と距離情報ｄ（Ｕ，Ｖ）からカメラ座標系における三次元空間上の点（Ｘ，Ｙ，Ｚ）への変換を行なう。なお、位置座標（Ｕ，Ｖ）と距離情報ｄ（Ｕ，Ｖ）からカメラ座標系における三次元空間上の点（Ｘ，Ｙ，Ｚ）への変換は、ＴＯＦカメラユニット２に内蔵されたプロセッサによって行なわれてもよい。この場合、ＴＯＦカメラユニット２から出力される画像データセットに含まれる複数の画素データセットの各々は、位置座標（Ｘ，Ｙ，Ｚ）を含む。位置座標（Ｘ，Ｙ，Ｚ）は、三次元位置情報の一例である。各画素データセットは、点要素の一例である。   The processor 32 converts the position coordinates (U, V) and the distance information d (U, V) into points (X, Y, Z) on the three-dimensional space in the camera coordinate system based on the above equation. The conversion from the position coordinates (U, V) and the distance information d (U, V) to the point (X, Y, Z) in the three-dimensional space in the camera coordinate system is performed by the processor incorporated in the TOF camera unit 2. May be performed by. In this case, each of the plurality of pixel data sets included in the image data set output from the TOF camera unit 2 includes position coordinates (X, Y, Z). The position coordinates (X, Y, Z) are an example of three-dimensional position information. Each pixel data set is an example of a point element.

カメラ座標系における位置座標（Ｘ，Ｙ，Ｚ）は、運転者５を原点とする車両座標系における位置座標（Ｌ，Ｗ，Ｈ）に変換されうる。Ｗ軸は、車両４の左右方向に延びる座標軸である。例えば、Ｗ軸の座標値は、運転者５から見て原点よりも右方において正の値をとり、原点よりも左方において負の値をとる。Ｌ軸は、車両４の前後方向に延びる座標軸である。例えば、Ｌ軸の座標値は、原点よりも前方において正の値をとり、原点よりも後方において負の値をとる。Ｈ軸は、車両４の上下方向に延びる座標軸である。例えば、Ｈ軸の座標値は、原点よりも上方において正の値をとり、原点よりも下方において負の値をとる。   The position coordinate (X, Y, Z) in the camera coordinate system can be converted into the position coordinate (L, W, H) in the vehicle coordinate system with the driver 5 as the origin. The W axis is a coordinate axis extending in the left-right direction of the vehicle 4. For example, the coordinate value of the W axis takes a positive value to the right of the origin as viewed from the driver 5 and a negative value to the left of the origin. The L axis is a coordinate axis extending in the front-rear direction of the vehicle 4. For example, the coordinate value of the L axis has a positive value in front of the origin and a negative value in the rear of the origin. The H axis is a coordinate axis that extends in the vertical direction of the vehicle 4. For example, the coordinate value of the H-axis has a positive value above the origin and a negative value below the origin.

プロセッサ３２は、各画素データセットについてカメラ座標系における位置座標（Ｘ，Ｙ，Ｚ）から車両座標系における位置座標（Ｌ，Ｗ，Ｈ）への変換を行なう。原点は、例えば運転者５の腰骨に対応する位置として選ばれる。車両座標系への座標変換は、周知の座標回転変換、平行移動変換、スケール変換などを用いて行なわれうる。   The processor 32 performs conversion from the position coordinate (X, Y, Z) in the camera coordinate system to the position coordinate (L, W, H) in the vehicle coordinate system for each pixel data set. The origin is selected as a position corresponding to the hip bone of the driver 5, for example. Coordinate conversion to the vehicle coordinate system can be performed using well-known coordinate rotation conversion, parallel movement conversion, scale conversion, or the like.

続いてプロセッサ３２は、処理対象とされる空間領域を限定する処理を行なう。具体的には、ＴＯＦカメラユニット２から取得された画像データセットから、限定された空間領域に対応する複数の画素データセットが抽出される。   Subsequently, the processor 32 performs a process of limiting the spatial area to be processed. Specifically, a plurality of pixel data sets corresponding to the limited spatial region are extracted from the image data set acquired from the TOF camera unit 2.

図４の（Ａ）は、ＴＯＦカメラユニット２から取得された画像データセットＩＤの一例を示している。図２に示されるように、運転席に着座した運転者５の頭部５１は、車室４１の上部に位置している蓋然性が高い。したがって、処理対象とされる空間領域が当該車室４１の上部に限定される。例えば、限定された空間領域は、Ｗ軸の座標値が−５１０ｍｍ〜３６０ｍｍ、Ｌ軸の座標値が−２８０ｍｍ〜７００ｍｍ、Ｈ軸の座標値が４３０ｍｍ〜７５０ｍｍの範囲である空間領域として定義されうる。図４の（Ｂ）は、限定された空間領域に対応する複数の画素データセットＰＤの一例を示している。抽出された複数の画素データセットＰＤもまた、データセットの一例である。   FIG. 4A shows an example of the image data set ID acquired from the TOF camera unit 2. As shown in FIG. 2, the head 51 of the driver 5 seated in the driver's seat has a high probability of being located in the upper portion of the passenger compartment 41. Therefore, the space area to be processed is limited to the upper part of the vehicle interior 41. For example, the limited spatial area may be defined as a spatial area having a W-axis coordinate value of −510 mm to 360 mm, an L-axis coordinate value of −280 mm to 700 mm, and an H-axis coordinate value of 430 mm to 750 mm. .. FIG. 4B shows an example of a plurality of pixel data sets PD corresponding to the limited spatial area. The extracted plurality of pixel data sets PD is also an example of the data set.

空間領域を限定する処理が行なわれることにより、後述する頭部５１の判別処理の負荷が軽減されうる。しかしながら、この処理は省略されてもよい。   By performing the process of limiting the spatial region, the load of the determination process of the head 51 described later can be reduced. However, this process may be omitted.

次に、図３に示されるように、プロセッサ３２は、ＴＯＦカメラユニット２から取得された画像データセットＩＤまたは上記のように抽出された複数の画素データセットＰＤを複数のデータサブセットＤＳに分割する（ＳＴＥＰ２）。   Next, as shown in FIG. 3, the processor 32 divides the image data set ID acquired from the TOF camera unit 2 or the plurality of pixel data sets PD extracted as described above into a plurality of data subsets DS. (STEP 2).

図５の（Ａ）は、Ｌ軸とＨ軸により形成されるＬＨ座標平面に射影された複数の画素データセットＰＤを示している。プロセッサ３２は、ＬＨ座標平面に射影された複数の画素データセットＰＤを複数のデータサブセットＤＳに分割することにより、車室４１の一部を構成する複数の空間領域（車室空間領域）の一つに各データサブセットＤＳを対応付ける。   FIG. 5A shows a plurality of pixel data sets PD projected on the LH coordinate plane formed by the L axis and the H axis. The processor 32 divides the plurality of pixel data sets PD projected on the LH coordinate plane into a plurality of data subsets DS, thereby making one of a plurality of space regions (vehicle interior space regions) forming a part of the vehicle interior 41. Each data subset DS is associated with one.

各データサブセットＤＳに対応する車室空間領域は、Ｌ軸に沿う所定の幅ｄＬを有している。複数のデータサブセットＤＳは、複数の第一データサブセットＤＳ１と複数の第二データサブセットＤＳ２を含んでいる。複数の第一データサブセットＤＳ１の一つに対応する複数の車室空間領域の一つは、複数の第二データサブセットＤＳ２の一つに対応する複数の車室空間領域の一つと部分的に重なっている。   The vehicle interior space region corresponding to each data subset DS has a predetermined width dL along the L axis. The plurality of data subsets DS include a plurality of first data subsets DS1 and a plurality of second data subsets DS2. One of the plurality of vehicle compartment space areas corresponding to one of the plurality of first data subsets DS1 partially overlaps one of the plurality of vehicle compartment space areas corresponding to one of the plurality of second data subsets DS2. ing.

次に、図３に示されるように、プロセッサ３２は、高尤度データサブセットＬＤＳを特定する（ＳＴＥＰ３）。高尤度データサブセットＬＤＳは、運転者５の頭部５１が存在する可能性が高い車室空間領域に対応するデータサブセットＤＳである。   Next, as shown in FIG. 3, the processor 32 identifies the high likelihood data subset LDS (STEP 3). The high likelihood data subset LDS is a data subset DS corresponding to the vehicle interior space area in which the head 51 of the driver 5 is likely to exist.

具体的には、プロセッサ３２は、各データサブセットＤＳに含まれる有意な画素データセットの数を計数する。「有意な画素データセット」とは、運転者５によって検出光が反射されたことにより取得された可能性が高い距離情報Ｄ（Ｕ，Ｖ）を有している画素データセットを意味する。そのような距離情報Ｄの数値範囲は、ＴＯＦカメラユニット２と運転者５との位置関係に基づいて適宜に定められうる。   Specifically, the processor 32 counts the number of significant pixel data sets included in each data subset DS. The “significant pixel data set” means a pixel data set having the distance information D (U, V) that is likely to be acquired by the driver 5 reflecting the detection light. The numerical range of such distance information D can be appropriately determined based on the positional relationship between the TOF camera unit 2 and the driver 5.

ＬＨ座標平面に射影された複数の画素データセットＰＤの場合、有意な画素データセットを最も多く含むデータサブセットＤＳに対応する車室空間領域には、運転者５の頭部５１と胴体５２が含まれている可能性が高い。   In the case of the plurality of pixel data sets PD projected on the LH coordinate plane, the head space 51 and the body 52 of the driver 5 are included in the vehicle interior space region corresponding to the data subset DS containing the most significant pixel data sets. It is highly possible that

したがって、図５の（Ｂ）に示されるように、プロセッサ３２は、有意な画素データセットを最も多く含むデータサブセットＤＳを、高尤度データサブセットＬＤＳとして特定する。換言すると、プロセッサ３２は、各データサブセットＤＳに含まれる運転者５に対応する画素データセットの数に基づいて、頭部５１が存在する可能性が高い複数の車室空間領域の少なくとも一つに対応する高尤度データサブセットＬＤＳを特定する。   Therefore, as shown in FIG. 5B, the processor 32 identifies the data subset DS containing the most significant pixel data sets as the high likelihood data subset LDS. In other words, the processor 32 determines at least one of the plurality of vehicle interior space regions in which the head 51 is likely to be present, based on the number of pixel data sets corresponding to the driver 5 included in each data subset DS. Identify the corresponding high likelihood data subset LDS.

次に、図３に示されるように、プロセッサ３２は、特定された高尤度データサブセットＬＤＳに基づいて、頭部の判別を行なう（ＳＴＥＰ４）。   Next, as shown in FIG. 3, the processor 32 determines the head based on the identified high likelihood data subset LDS (STEP 4).

まず、図５の（Ｂ）に示されるように、プロセッサ３２は、運転者５の頭頂部５１ａを特定する。具体的には、高尤度データサブセットＬＤＳに含まれる有意な画素データセットのうち、最も高い位置にあるものが、頭頂部５１ａであると特定される。換言すると、高尤度データサブセットＬＤＳに含まれる有意な画素データセットのうち、最も大きなＨ軸座標値を有するものが、頭頂部５１ａであると特定される。   First, as shown in FIG. 5B, the processor 32 identifies the crown 51a of the driver 5. Specifically, among the significant pixel data sets included in the high likelihood data subset LDS, the one at the highest position is identified as the crown 51a. In other words, of the significant pixel data sets included in the high likelihood data subset LDS, the one having the largest H-axis coordinate value is identified as the crown 51a.

続いて、図６の（Ａ）と（Ｂ）に示されるように、プロセッサ３２は、運転者５の頭部５１が含まれる蓋然性の高い頭部空間領域ＨＳＲを定義する。頭部空間領域ＨＳＲは、特定された頭頂部５１ａの座標に基づいて定められる。具体的には、国立研究開発法人産業技術総合研究所の人体寸法データベースや独立行政法人製品評価技術基盤機構の人間特性データベースなどに公開されている頭部の大きさに係る情報に基づいて、頭部空間領域ＨＳＲのＬ軸に沿う方向の寸法ｈｄＬ、Ｈ軸に沿う方向の寸法ｈｄＨ、およびＷ軸に沿う方向の寸法ｈｄＷが定められる。   Subsequently, as shown in FIGS. 6A and 6B, the processor 32 defines a highly probable head space region HSR including the head 51 of the driver 5. The head space region HSR is determined based on the coordinates of the identified crown 51a. Specifically, based on the information related to the size of the head, which is disclosed in the human body size database of the National Institute of Advanced Industrial Science and Technology and the human characteristic database of the National Institute of Technology for Product Evaluation, etc. A dimension hdL of the partial space region HSR along the L axis, a dimension hdH along the H axis, and a dimension hdW along the W axis are defined.

例えば、寸法ｈｄＬは、頭頂部５１ａの座標を中心として１７６ｍｍの値をとるように定められる。寸法ｈｄＨは、頭頂部５１ａの座標から下方へ１４６ｍｍの値をとるように定められる。寸法ｈｄＷは、頭頂部５１ａの座標を中心として１７６ｍｍの値をとるように定められる。   For example, the dimension hdL is set to have a value of 176 mm with the coordinates of the crown 51a as the center. The dimension hdH is determined so as to take a value of 146 mm downward from the coordinates of the crown 51a. The dimension hdW is determined so as to take a value of 176 mm with the coordinates of the crown 51a as the center.

続いて、図７の（Ａ）に示されるように、プロセッサ３２は、上記のように定められた頭部空間領域ＨＳＲに対応する頭部データサブセットＨＳＤを、複数の画素データセットＰＤから抽出する。   Subsequently, as shown in FIG. 7A, the processor 32 extracts the head data subset HSD corresponding to the head space region HSR defined as described above from the plurality of pixel data sets PD. ..

さらに、図７の（Ｂ）に示されるように、プロセッサ３２は、頭部データサブセットＨＳＤのうち、上記のように定められた頭部空間領域ＨＳＲの重心位置Ｇに対応する画素データセットを、運転者５の頭部５１の位置を示すデータとして特定する。   Further, as shown in FIG. 7B, the processor 32 sets the pixel data set corresponding to the center of gravity position G of the head space region HSR defined as described above in the head data subset HSD, It is specified as data indicating the position of the head 51 of the driver 5.

図１に示されるように、乗員判別装置３は、出力インターフェース３３を備えている。出力インターフェース３３は、特定された運転者５の頭部５１の位置を示すデータを出力する。出力されたデータは、後段の認識処理において利用される。例えば、当該データが示す頭部５１の位置の経時変化がモニタされることにより、運転者５の頭部５１の向き、傾き、動きなどが認識されうる。これにより、運転中における運転者５の脇見、居眠り、発作による異常挙動などが検知されうる。   As shown in FIG. 1, the occupant determination device 3 includes an output interface 33. The output interface 33 outputs data indicating the position of the specified head 51 of the driver 5. The output data is used in the subsequent recognition process. For example, the direction, inclination, movement, etc. of the head 51 of the driver 5 can be recognized by monitoring the change over time in the position of the head 51 indicated by the data. As a result, the driver's looking aside, drowsiness, abnormal behavior due to seizure, etc. during driving can be detected.

後段の認識処理は、プロセッサ３２によって行なわれてもよいし、プロセッサ３２とは別のプロセッサによって行なわれてもよい。すなわち、出力インターフェース３３は、物理的なインターフェースであってもよいし、論理的なインターフェースであってもよい。   The recognition processing in the latter stage may be performed by the processor 32 or may be performed by a processor other than the processor 32. That is, the output interface 33 may be a physical interface or a logical interface.

図５の（Ａ）を参照して説明した複数の第一データサブセットＤＳ１と複数の第二データサブセットＤＳ２への分割を行なうことの利点について、図８を参照しつつ説明する。   The advantage of performing the division into the plurality of first data subsets DS1 and the plurality of second data subsets DS2 described with reference to FIG. 5A will be described with reference to FIG.

仮に複数の第一データサブセットＤＳ１のみを用いる場合、上記のような高尤度データサブセットＬＤＳを正確に特定できない虞がある。図示された例においては、運転者５の頭部５１は、左の第一データサブセットＤＳ１と中央の第一データサブセットＤＳ１に対応する車室空間領域に跨って位置している。他方、車両４のヘッドレスト４２は、右の第一データサブセットＤＳ１に対応する車室空間領域内に位置している。この場合、右の第一データサブセットＤＳ１が高尤度データサブセットＬＤＳと特定され、ヘッドレスト４２が運転者の頭部であると判別されてしまう虞がある。   If only a plurality of first data subsets DS1 are used, there is a possibility that the above high likelihood data subset LDS cannot be accurately specified. In the illustrated example, the head 51 of the driver 5 is located across the vehicle interior space region corresponding to the left first data subset DS1 and the center first data subset DS1. On the other hand, the headrest 42 of the vehicle 4 is located in the vehicle interior space area corresponding to the first data subset DS1 on the right. In this case, the right first data subset DS1 may be identified as the high likelihood data subset LDS, and the headrest 42 may be determined to be the driver's head.

しかしながら、複数の第二データサブセットＤＳ２を加えることにより、左の第二データサブセットＤＳ２に対応する車室空間領域に運転者５の頭部５１が収まることが判る。したがって、左の第二データサブセットＤＳ２が高尤度データサブセットＬＤＳとして特定されうる。   However, by adding a plurality of second data subsets DS2, it can be seen that the head 51 of the driver 5 fits in the vehicle interior space region corresponding to the second data subset DS2 on the left. Therefore, the left second data subset DS2 can be identified as the high likelihood data subset LDS.

すなわち、第一データサブセットＤＳ１に対応する車室空間領域と第二データサブセットＤＳ２に対応する車室空間領域が部分的に重なるように複数のデータサブセットＤＳへの分割が行なわれることにより、運転者５の頭部５１の大きさの個人差や位置によらず、頭部５１がいずれかのデータサブセットＤＳに対応する車室空間領域に収まる確率が上がる。これにより、後続する頭部５１の判別処理の精度を向上できる。したがって、手に限られない身体部位の検出を通じて、車室４１内の運転者５の姿勢や動作を高い精度で判別できる。   That is, the driver is divided into a plurality of data subsets DS such that the vehicle interior space area corresponding to the first data subset DS1 and the vehicle interior space area corresponding to the second data subset DS2 partially overlap each other. The probability that the head 51 will fit in the vehicle interior space region corresponding to any of the data subsets DS is increased regardless of the individual difference in the size or position of the head 51 of FIG. As a result, the accuracy of the subsequent discrimination process of the head 51 can be improved. Therefore, the posture and motion of the driver 5 in the vehicle interior 41 can be determined with high accuracy by detecting body parts not limited to hands.

なお、偏りなく頭部５１をいずれかのデータサブセットＤＳに対応する車室空間領域に収めるために、第一データサブセットＤＳ１に対応する車室空間領域と第二データサブセットＤＳ２に対応する車室空間領域の重なり量は、当該車室空間領域の幅の半分であることが好ましい。図５の（Ａ）に示される例においては、重なり量は、ｄＬ／２とされる。   In order to fit the head 51 in the vehicle interior space area corresponding to any one of the data subsets DS without any bias, the vehicle interior space area corresponding to the first data subset DS1 and the vehicle interior space corresponding to the second data subset DS2 The overlapping amount of the regions is preferably half the width of the vehicle interior space region. In the example shown in FIG. 5A, the overlapping amount is dL / 2.

図５の（Ａ）に示される分割された車室空間領域の幅ｄＬは、人の頭部に対応する寸法として予め定められうる。「人の頭部に対応する寸法」は、例えば国立研究開発法人産業技術総合研究所の人体寸法データベースや独立行政法人製品評価技術基盤機構の人間特性データベースなどに公開されている頭部の大きさに係る情報に基づいて定められうる。換言すると、プロセッサ３２は、分割された複数の車室空間領域の各々が判別対象としての頭部に対応する幅ｄＬを有するように、ＴＯＦカメラユニット２から取得された画像データセットＩＤまたは抽出された複数の画素データセットＰＤを、複数のデータサブセットＤＳに分割する。   The width dL of the divided vehicle interior space area shown in FIG. 5A can be predetermined as a dimension corresponding to the human head. "Dimension corresponding to the human head" is, for example, the size of the head disclosed in the human body size database of the National Institute of Advanced Industrial Science and Technology and the human characteristic database of the National Institute of Technology for Product Evaluation. Can be determined based on the information related to. In other words, the processor 32 acquires the image data set ID acquired from the TOF camera unit 2 or extracted so that each of the plurality of divided vehicle compartment space areas has the width dL corresponding to the head as the determination target. The plurality of pixel data sets PD are divided into a plurality of data subsets DS.

このような構成によれば、各データサブセットＤＳに対応する車室空間領域と判別対象としての頭部５１との対応性が維持されつつ、第一データサブセットＤＳ１に対応する車室空間領域と第二データサブセットＤＳ２に対応する車室空間領域が部分的に重なるように複数のデータサブセットＤＳへの分割がなされることにより、頭部５１に対する見かけ上の検出分解能を高めることができる。   With such a configuration, the correspondence between the vehicle interior space area corresponding to each data subset DS and the head 51 as the determination target is maintained, and the vehicle interior space area corresponding to the first data subset DS1 and the first data subset DS1. Division into a plurality of data subsets DS such that the vehicle interior space regions corresponding to the two data subsets DS2 partially overlap can improve the apparent detection resolution for the head 51.

図３に示されるように、複数のデータサブセットＤＳへの分割処理（ＳＴＥＰ２）は、複数の第一座標データサブセットへの分割処理（ＳＴＥＰ２１）と複数の第二座標データサブセットへの分割処理（ＳＴＥＰ２２）を含みうる。第一座標データサブセットは、車室４１内の三次元位置を特定可能な三つの座標軸のうち第一の座標軸に基づくデータサブセットである。第二座標データサブセットは、当該三つの座標軸のうち第二の座標軸に基づくデータサブセットである。   As shown in FIG. 3, the division process (STEP 2) into a plurality of data subsets DS is divided into a plurality of first coordinate data subsets (STEP 21) and a plurality of second coordinate data subsets (STEP 22). ) Can be included. The first coordinate data subset is a data subset based on the first coordinate axis of the three coordinate axes that can specify the three-dimensional position in the vehicle interior 41. The second coordinate data subset is a data subset based on the second coordinate axis of the three coordinate axes.

図５の（Ａ）を参照して説明されたデータサブセットＤＳは、第一座標データサブセットの一例である。すなわち、Ｌ軸は、第一の座標軸の一例である。   The data subset DS described with reference to FIG. 5A is an example of the first coordinate data subset. That is, the L axis is an example of the first coordinate axis.

図９の（Ａ）は、Ｗ軸とＨ軸により形成されるＷＨ座標平面に射影された複数の画素データセットＰＤを示している。プロセッサ３２は、ＷＨ座標平面に射影された複数の画素データセットＰＤを複数のデータサブセットＤＳに分割することにより、車室４１の一部を構成する複数の空間領域（車室空間領域）の一つに各データサブセットＤＳを対応付ける。このように分割された複数のデータサブセットは、第二座標データサブセットの一例である。Ｗ軸は、第二の座標軸の一例である。   FIG. 9A shows a plurality of pixel data sets PD projected on the WH coordinate plane formed by the W axis and the H axis. The processor 32 divides the plurality of pixel data sets PD projected on the WH coordinate plane into a plurality of data subsets DS, thereby making one of a plurality of space regions (vehicle interior space regions) forming a part of the vehicle interior 41. Each data subset DS is associated with one. The plurality of data subsets thus divided is an example of the second coordinate data subset. The W axis is an example of the second coordinate axis.

各データサブセットＤＳに対応する車室空間領域は、Ｗ軸に沿う所定の幅ｄＷを有している。幅ｄＷは、人の頭部に対応する寸法として予め定められることが好ましい。複数のデータサブセットＤＳは、複数の第一データサブセットＤＳ１と複数の第二データサブセットＤＳ２を含んでいる。複数の第一データサブセットＤＳ１の一つに対応する複数の車室空間領域の一つは、複数の第二データサブセットＤＳ２の一つに対応する複数の車室空間領域の一つと部分的に重なっている。   The vehicle interior space area corresponding to each data subset DS has a predetermined width dW along the W axis. The width dW is preferably predetermined as a dimension corresponding to the human head. The plurality of data subsets DS include a plurality of first data subsets DS1 and a plurality of second data subsets DS2. One of the plurality of vehicle compartment space areas corresponding to one of the plurality of first data subsets DS1 partially overlaps one of the plurality of vehicle compartment space areas corresponding to one of the plurality of second data subsets DS2. ing.

なお、偏りなく頭部５１をいずれかのデータサブセットＤＳに対応する車室空間領域に収めるために、第一データサブセットＤＳ１に対応する車室空間領域と第二データサブセットＤＳ２に対応する車室空間領域の重なり量は、当該車室空間領域の幅の半分であることが好ましい。図９の（Ａ）に示される例においては、重なり量は、ｄＷ／２とされる。   In order to fit the head 51 in the vehicle interior space area corresponding to any one of the data subsets DS without any bias, the vehicle interior space area corresponding to the first data subset DS1 and the vehicle interior space corresponding to the second data subset DS2 The overlapping amount of the regions is preferably half the width of the vehicle interior space region. In the example shown in FIG. 9A, the overlapping amount is dW / 2.

Ｗ軸に基づいて分割された複数のデータサブセットＤＳに対しても、図３に示されるように、プロセッサ３２は、高尤度データサブセットＬＤＳを特定する（ＳＴＥＰ３）。前述のように、高尤度データサブセットＬＤＳは、運転者５の頭部５１が存在する可能性が高い車室空間領域に対応するデータサブセットＤＳである。   As shown in FIG. 3, the processor 32 also specifies the high likelihood data subset LDS for the plurality of data subsets DS divided based on the W axis (STEP 3). As described above, the high likelihood data subset LDS is the data subset DS corresponding to the vehicle interior space area in which the head 51 of the driver 5 is likely to exist.

ＷＨ座標平面に射影された複数の画素データセットＰＤの場合、有意な画素データセットを最も多く含むデータサブセットＤＳに対応する車室空間領域には、運転者５の頭頂部５１ａが含まれている可能性が高い。   In the case of the plurality of pixel data sets PD projected on the WH coordinate plane, the head space 51a of the driver 5 is included in the vehicle interior space region corresponding to the data subset DS containing the most significant pixel data sets. Probability is high.

したがって、図９の（Ｂ）に示されるように、プロセッサ３２は、有意な画素データセットを最も多く含むデータサブセットＤＳを、高尤度データサブセットＬＤＳとして特定する。換言すると、プロセッサ３２は、各データサブセットＤＳに含まれる運転者５に対応する画素データセットの数に基づいて、頭部５１が存在する可能性が高い複数の車室空間領域の少なくとも一つに対応する高尤度データサブセットＬＤＳを特定する。   Therefore, as shown in FIG. 9B, the processor 32 identifies the data subset DS containing the most significant pixel data sets as the high likelihood data subset LDS. In other words, the processor 32 determines at least one of the plurality of vehicle interior space regions in which the head 51 is likely to be present, based on the number of pixel data sets corresponding to the driver 5 included in each data subset DS. Identify the corresponding high likelihood data subset LDS.

三次元情報を有する複数の画素データセットに対して、当該三次元情報を特定可能な三つの座標軸のうち二つに基づいて複数のデータサブセットＤＳへの分割が行なわれることにより、高尤度データサブセットＬＤＳの特定精度を高めることができる。これにより、例えば頭頂部５１ａの特定に基づく頭部５１の判別に係る後続の処理の精度を高めることができる。   High likelihood data is obtained by dividing a plurality of pixel data sets having three-dimensional information into a plurality of data subsets DS based on two of three coordinate axes that can specify the three-dimensional information. The identification accuracy of the subset LDS can be improved. Thereby, for example, the accuracy of the subsequent process relating to the discrimination of the head 51 based on the specification of the crown 51a can be improved.

三つの座標軸のうち一つを用いて高尤度データサブセットＬＤＳの特定が行なわれる場合、前述したＬＨ座標平面に射影された複数の画素データセットＰＤに対する分割処理に代えて、ＷＨ座標平面に射影された複数の画素データセットＰＤに対する分割処理のみがおこなわれてもよい。   When the high-likelihood data subset LDS is specified using one of the three coordinate axes, instead of the division processing for the plurality of pixel data sets PD projected on the LH coordinate plane, the high likelihood data subset LDS is projected on the WH coordinate plane. Only the division process may be performed on the generated plurality of pixel data sets PD.

上述したプロセッサ３２の機能は、図１に示される汎用メモリ３４と協働して動作する汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、ＣＰＵやＭＰＵが例示されうる。汎用メモリ３４としては、ＲＯＭやＲＡＭが例示されうる。この場合、ＲＯＭには、上述した処理を実行するコンピュータプログラムが記憶されうる。ＲＯＭは、コンピュータプログラムを記憶している記憶媒体の一例である。プロセッサ３２は、ＲＯＭ上に記憶されたプログラムの少なくとも一部を指定してＲＡＭ上に展開し、ＲＡＭと協働して上述した処理を実行する。プロセッサ３２は、上述した処理を実現するコンピュータプログラムを実行可能なマイクロコントローラ、ＡＳＩＣ、ＦＰＧＡなどの専用集積回路によって実現されてもよい。プロセッサ３２は、汎用マイクロプロセッサと専用集積回路の組合せによって実現されてもよい。   The functions of the processor 32 described above can be realized by a general-purpose microprocessor that operates in cooperation with the general-purpose memory 34 shown in FIG. A CPU or MPU can be exemplified as the general-purpose microprocessor. The general-purpose memory 34 may be exemplified by ROM and RAM. In this case, the ROM may store a computer program that executes the above-described processing. The ROM is an example of a storage medium that stores a computer program. The processor 32 specifies at least a part of the program stored in the ROM, expands it on the RAM, and cooperates with the RAM to execute the above-described processing. The processor 32 may be implemented by a dedicated integrated circuit such as a microcontroller, ASIC, or FPGA that can execute a computer program that implements the above-described processing. The processor 32 may be realized by a combination of a general-purpose microprocessor and a dedicated integrated circuit.

図１に示されるように、乗員判別装置３は、ネットワーク６を介して外部サーバ７と通信可能に構成されうる。この場合、上述した処理を実行するプログラムは、外部サーバ７からネットワーク６を介してダウンロードされうる。外部サーバ７は、コンピュータプログラムを記憶している記憶媒体の一例である。   As shown in FIG. 1, the occupant determination device 3 may be configured to be communicable with the external server 7 via the network 6. In this case, the program that executes the above-described processing can be downloaded from the external server 7 via the network 6. The external server 7 is an example of a storage medium that stores a computer program.

上記の実施形態は、本発明の理解を容易にするための例示にすぎない。上記の実施形態に係る構成は、本発明の趣旨を逸脱しなければ、適宜に変更・改良されうる。   The above embodiments are merely examples for facilitating the understanding of the present invention. The configurations according to the above-described embodiments can be appropriately changed and improved without departing from the spirit of the present invention.

上記の実施形態においては、乗員判別装置３は、運転者５の頭部５１を判別するように構成されている。これに加えてあるいは代えて、乗員判別装置３は、運転者以外の乗員の頭部を判別するように構成されうる。これに加えてあるいは代えて、乗員判別装置３は、乗員の頭部以外の身体部位（胴体、腕、脚、手など）を判別するように構成されうる。その場合、分割された各データサブセットＤＳに対応する車室空間領域の幅（例えばＬ軸に沿う方向の幅ｄＬ、Ｗ軸に沿う方向の幅ｄＷ）は、判別対象としての当該身体部位に対応する寸法を有することが好ましい。   In the above-described embodiment, the occupant determination device 3 is configured to determine the head 51 of the driver 5. Additionally or alternatively, the occupant determination device 3 may be configured to determine the heads of occupants other than the driver. Additionally or alternatively, the occupant determination device 3 may be configured to determine a body part other than the occupant's head (body, arm, leg, hand, etc.). In that case, the width (for example, the width dL in the direction along the L axis and the width dW in the direction along the W axis) of the vehicle interior space region corresponding to each of the divided data subsets DS corresponds to the body part as a determination target. It is preferable to have a size that

上記の実施形態においては、乗員判別装置３は、ＴＯＦカメラユニット２から三次元情報を有する複数の画素データセットを取得している。この場合、画像処理を用いる判別処理との統合が比較的容易である。しかしながら、三次元情報を有する複数の点要素を含むデータセットを乗員判別装置３に提供可能であれば、ＴＯＦカメラユニット２に代えて、ＬｉＤＡＲ（Light Detection and Ranging）センサユニットなどが使用されうる。   In the above-described embodiment, the occupant discrimination device 3 acquires a plurality of pixel data sets having three-dimensional information from the TOF camera unit 2. In this case, it is relatively easy to integrate with the discrimination processing using image processing. However, if a data set including a plurality of point elements having three-dimensional information can be provided to the occupant discrimination device 3, a LiDAR (Light Detection and Ranging) sensor unit or the like can be used instead of the TOF camera unit 2.

２：ＴＯＦカメラユニット、３：乗員判別装置、３１：入力インターフェース、３２：プロセッサ、４１：車室、５：運転者、５１：頭部、ＩＤ：画像データセット、ＰＤ：画素データセット、ＤＳ：データサブセット、ＤＳ１：第一データサブセット、ＤＳ２：第二データサブセット、ＬＤＳ：高尤度データサブセット、Ｈ：Ｈ軸、Ｌ：Ｌ軸、Ｗ：Ｗ軸、ｄＬ、ｄＷ：人の頭部に対応する幅   2: TOF camera unit, 3: occupant discrimination device, 31: input interface, 32: processor, 41: vehicle interior, 5: driver, 51: head, ID: image data set, PD: pixel data set, DS: Data subset, DS1: first data subset, DS2: second data subset, LDS: high likelihood data subset, H: H axis, L: L axis, W: W axis, dL, dW: corresponding to human head Width

Claims (7)

それぞれが三次元位置情報を有する複数の点要素を含むデータセットを受け付ける入力インターフェースと、
前記データセットに基づいて車室内の乗員の身体部位を判別するプロセッサと、
を備えており、
前記プロセッサは、
前記データセットを複数のデータサブセットに分割することにより、前記車室の少なくとも一部を構成する複数の空間領域の一つに各データサブセットを対応付け、
前記各データサブセットに含まれる前記乗員に対応する前記複数の点要素の数に基づいて、前記身体部位が存在する可能性が高い前記複数の空間領域の一つに対応する高尤度データサブセットを特定し、
前記高尤度データサブセットに基づいて前記身体部位を判別する処理を行ない、
前記複数のデータサブセットは、複数の第一データサブセットと複数の第二データサブセットを含んでおり、
前記複数の第一データサブセットの一つに対応する前記複数の空間領域の一つは、前記複数の第二データサブセットの一つに対応する前記複数の空間領域の一つと部分的に重なっている、
乗員判別装置。 An input interface that accepts a dataset that includes a plurality of point elements each having three-dimensional position information
A processor that determines a body part of an occupant based on the data set,
Is equipped with
The processor is
By dividing the data set into a plurality of data subsets, each data subset is associated with one of a plurality of spatial regions forming at least a part of the vehicle interior,
Based on the number of the plurality of point elements corresponding to the occupant included in each of the data subset, a high likelihood data subset corresponding to one of the plurality of spatial regions in which the body part is highly likely to exist, Identify,
Performing a process of determining the body part based on the high likelihood data subset,
The plurality of data subsets includes a plurality of first data subsets and a plurality of second data subsets,
One of the plurality of spatial regions corresponding to one of the plurality of first data subsets partially overlaps one of the plurality of spatial regions corresponding to one of the plurality of second data subsets. ,
Occupant discrimination device. 前記プロセッサは、前記複数の空間領域の各々が前記身体部位に対応する幅を有するように前記複数のデータサブセットへの分割を行なう、
請求項１に記載の乗員判別装置。 The processor divides into the plurality of data subsets such that each of the plurality of spatial regions has a width corresponding to the body part.
The occupant discrimination device according to claim 1. 前記プロセッサは、
前記車室内の三次元位置を特定可能な三つの座標軸のうち第一の座標軸に沿って前記データセットを第一座標データサブセットに分割し、
前記三つの座標軸のうち第二の座標軸に沿って前記データセットを第二座標データサブセットに分割し、
前記第一座標データサブセットと前記第二座標データサブセットに基づいて、前記高尤度データサブセットを特定する、
請求項１または２に記載の乗員判別装置。 The processor is
Of the three coordinate axes capable of specifying the three-dimensional position in the vehicle compartment, the dataset is divided into a first coordinate data subset along a first coordinate axis,
Dividing the dataset into a second coordinate data subset along a second coordinate axis of the three coordinate axes,
Specifying the high likelihood data subset based on the first coordinate data subset and the second coordinate data subset,
The occupant discrimination device according to claim 1 or 2. 前記身体部位は、頭部である、
請求項１から３のいずれか一項に記載の乗員判別装置。 The body part is the head,
The occupant discrimination device according to any one of claims 1 to 3. 前記複数の点要素の各々は、ＴＯＦカメラの画素に対応している、
請求項１から４のいずれか一項に記載の乗員判別装置。 Each of the plurality of point elements corresponds to a pixel of the TOF camera,
The occupant discrimination device according to any one of claims 1 to 4. それぞれが三次元位置情報を有する複数の点要素を含むデータセットに基づいて、車室内の乗員の身体部位をプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されることにより、当該プロセッサは、
前記データセットを複数のデータサブセットに分割することにより、各データサブセットを前記車室の少なくとも一部を構成する複数の空間領域の一つに対応付け、
前記各データサブセットに含まれる前記乗員に対応する前記複数の点要素の数に基づいて、前記身体部位が存在する可能性が高い前記複数の空間領域の一つに対応する高尤度データサブセットを特定し、
前記高尤度データサブセットに基づいて前記身体部位を判別する処理を行ない、
前記複数のデータサブセットは、複数の第一データサブセットと複数の第二データサブセットを含んでおり、
前記複数の第一データサブセットの一つに対応する前記複数の空間領域の一つは、前記複数の第二データサブセットの一つに対応する前記複数の空間領域の一つと部分的に重なっている、
コンピュータプログラム。 A computer program for causing a processor to determine a body part of an occupant in a vehicle, based on a data set including a plurality of point elements each having three-dimensional position information,
Execution of the computer program causes the processor to
By dividing the data set into a plurality of data subsets, each data subset is associated with one of a plurality of spatial regions forming at least a part of the passenger compartment,
Based on the number of the plurality of point elements corresponding to the occupant included in each of the data subset, a high likelihood data subset corresponding to one of the plurality of spatial regions in which the body part is highly likely to exist, Identify,
Performing a process of determining the body part based on the high likelihood data subset,
The plurality of data subsets includes a plurality of first data subsets and a plurality of second data subsets,
One of the plurality of spatial regions corresponding to one of the plurality of first data subsets partially overlaps one of the plurality of spatial regions corresponding to one of the plurality of second data subsets. ,
Computer program. 請求項６に記載のコンピュータプログラムを記憶している記憶媒体。   A storage medium storing the computer program according to claim 6.
JP2018209803A 2018-11-07 2018-11-07 Crew discriminator, computer program, and storage medium Active JP7079187B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018209803A JP7079187B2 (en) 2018-11-07 2018-11-07 Crew discriminator, computer program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018209803A JP7079187B2 (en) 2018-11-07 2018-11-07 Crew discriminator, computer program, and storage medium

Publications (2)

Publication Number Publication Date
JP2020077178A true JP2020077178A (en) 2020-05-21
JP7079187B2 JP7079187B2 (en) 2022-06-01

Family

ID=70725118

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018209803A Active JP7079187B2 (en) 2018-11-07 2018-11-07 Crew discriminator, computer program, and storage medium

Country Status (1)

Country Link
JP (1) JP7079187B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009048305A (en) * 2007-08-15 2009-03-05 Nara Institute Of Science & Technology Shape analysis program and shape analysis apparatus
JP2012128592A (en) * 2010-12-14 2012-07-05 Honda Motor Co Ltd Crew member head detection device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009048305A (en) * 2007-08-15 2009-03-05 Nara Institute Of Science & Technology Shape analysis program and shape analysis apparatus
JP2012128592A (en) * 2010-12-14 2012-07-05 Honda Motor Co Ltd Crew member head detection device

Also Published As

Publication number Publication date
JP7079187B2 (en) 2022-06-01

Similar Documents

Publication Publication Date Title
CN113556975B (en) System, apparatus and method for detecting object in vehicle and obtaining object information
JP7216672B2 (en) Visual, Depth, and Microvibration Data Extraction Using an Integrated Imager
US7379195B2 (en) Device for the detection of an object on a vehicle seat
JP5753509B2 (en) Device information acquisition device
JP2002059796A (en) Method and apparatus for classification by detecting road user and obstacle based on camera image and detecting distance to observer
JP2008518195A (en) Occupant detection system
JP6782433B2 (en) Image recognition device
US10417782B2 (en) Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program
CN114144814A (en) System, device and method for measuring the mass of an object in a vehicle
JP7290930B2 (en) Occupant modeling device, occupant modeling method and occupant modeling program
JP2014137762A (en) Object detector
JP6458577B2 (en) Image ranging device
JP2020077178A (en) Occupant determination device, computer program, and storage medium
JP7079188B2 (en) Crew discriminator, computer program, and storage medium
JP7212531B2 (en) Motion discrimination device, computer program, and storage medium
JP7288309B2 (en) Head identification device, computer program, and storage medium
JP7195963B2 (en) Head identification device, computer program, and storage medium
JP7240193B2 (en) Face orientation determination device, computer program, and storage medium
CN115131752A (en) Learning method, learning device, and program recording medium
JP7053341B2 (en) Processing equipment and programs
JP7265873B2 (en) Motion discrimination device, computer program, and storage medium
EP2290582B1 (en) Image classification system and method thereof
JP2013246009A (en) Object detection apparatus
KR20180031146A (en) Vehicle and Method for detecting obstacle
JP7564611B2 (en) Head discrimination device, computer program, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210528

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220425

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220520

R150 Certificate of patent or registration of utility model

Ref document number: 7079187

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150