JP2005182452A - Device for detecting direction of face - Google Patents
Device for detecting direction of face Download PDFInfo
- Publication number
- JP2005182452A JP2005182452A JP2003422244A JP2003422244A JP2005182452A JP 2005182452 A JP2005182452 A JP 2005182452A JP 2003422244 A JP2003422244 A JP 2003422244A JP 2003422244 A JP2003422244 A JP 2003422244A JP 2005182452 A JP2005182452 A JP 2005182452A
- Authority
- JP
- Japan
- Prior art keywords
- face
- angle
- image
- orientation
- left eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、例えば車両の運転者等の脇見を撮像画像に基づいて検知する顔の向き検知装置に関する。 The present invention relates to a face orientation detection device that detects an aside of a driver of a vehicle, for example, based on a captured image.
例えば、自動車等の車両の安全性を向上させるために、脇見状態を検知して警報装置を作動させることが考えられており、この脇見状態の検出に画像処理術を利用する技術が知られている。 For example, in order to improve the safety of vehicles such as automobiles, it is considered to detect an aside condition and activate an alarm device, and a technique using an image processing technique for detecting the aside condition is known. Yes.
このような技術として、パターンマッチング技術を利用した顔の向き検知方法が知られている。この技術について図5に基づいて説明する。この顔の向き検知方法(装置)では、辞書画像として、顔の向きがそれぞれ異なる複数の画像Pdi(1≦i≦n)を予め作成し記憶しておく。また、各画像Pdiに対応する顔の向き(角度θi)を予め記憶しておく。そして、撮像装置にて撮像した撮像画像Pと辞書画像Pdの各画像Pdiとの類似度から顔の向きを検知する。すなわち、撮像画像Pを各画像Pdiと比較し、最も類似する画像Pdiに対応する角度θiが、撮像画像Pにおける角度θすなわち被測定者の顔の向きとされる。 As such a technique, a face orientation detection method using a pattern matching technique is known. This technique will be described with reference to FIG. In this face orientation detection method (apparatus), a plurality of images Pdi (1 ≦ i ≦ n) having different face orientations are created and stored in advance as dictionary images. Further, the face orientation (angle θi) corresponding to each image Pdi is stored in advance. Then, the orientation of the face is detected from the similarity between the captured image P captured by the imaging device and each image Pdi of the dictionary image Pd. That is, the captured image P is compared with each image Pdi, and the angle θi corresponding to the most similar image Pdi is the angle θ in the captured image P, that is, the face of the measurement subject.
このため、この顔の向き検知方法では、辞書画像Pd(各画像Pdi)を作成する際の被測定者と撮像装置との位置関係と、顔の向き検知時(測定時)における被測定者と撮像装置との位置関係とが一定でなければならない。したがって例えば、この顔の向き検知装置を自動車等の運転者の顔の向きを検知する用途に適用する場合、車両に固定された撮像装置に対し運転席を固定しておかなければならず、異なる運転者(体格や運転姿勢が異なり、運転席の位置が互いに異なる複数の運転者)の顔の向きを検知することが困難である。また、この顔の向き検知装置では、検知したい顔の向きの分解能を高く設定すると、多数の画像Pdiを記憶しておき、撮像画像Pを多数の画像Pdiとそれぞれ比較しなければならず、処理負荷が大きくなってしまう。 Therefore, in this face orientation detection method, the positional relationship between the person to be measured and the imaging device when creating the dictionary image Pd (each image Pdi), and the person to be measured at the time of face orientation detection (measurement) The positional relationship with the imaging device must be constant. Therefore, for example, when this face direction detection device is applied to an application for detecting the face direction of a driver such as an automobile, the driver's seat must be fixed with respect to the imaging device fixed to the vehicle, which is different. It is difficult to detect the face orientation of the driver (a plurality of drivers having different physiques and driving postures and different driver seat positions). Further, in this face direction detection device, if the resolution of the face direction to be detected is set high, a large number of images Pdi must be stored, and the captured image P must be compared with each of the large number of images Pdi. The load will increase.
また、被測定者の両眼の間隔に基づいて顔の向きを検知する顔の向き検知方法が知られている。(例えば、非特許文献1参照)。この技術について図6に基づいて説明する。この顔の向き検知方法(装置)では、図6(A)に示す如く顔が正面を向いている場合の左右の眼E1、E2の間隔De0を予め記憶しておく。そして、撮像画像上における(正面に投影した)左右の眼E1、E2の間隔をDe、顔の向きの角度をθとすると、θ=cos-1(De/De0)として顔の向きを算出する。また、図6(B)に示す如く撮像画像から右眼E2と鼻頭Nとの水平面に沿う距離DR、及び左眼E1と鼻頭Nとの水平面に沿う距離DLとを検出し、DR>RLであれば顔が左向きであり、DR<DLであれば顔が右向きであることが検知される。 There is also known a face orientation detection method for detecting the face orientation based on the distance between both eyes of the measurement subject. (For example, refer nonpatent literature 1). This technique will be described with reference to FIG. In this face orientation detection method (apparatus), the distance De0 between the left and right eyes E1, E2 when the face is facing the front as shown in FIG. Then, when the distance between the left and right eyes E1 and E2 (projected in front) on the captured image is De and the angle of the face direction is θ, the face direction is calculated as θ = cos −1 (De / De0). . Further, as shown in FIG. 6B, a distance DR along the horizontal plane between the right eye E2 and the nasal head N and a distance DL along the horizontal plane between the left eye E1 and the nasal head N are detected from the captured image, and DR> RL. If there is, it is detected that the face is facing left, and if DR <DL, the face is facing right.
しかしながら、この顔の向き検知方法では、両眼Eの間隔Deを用いて顔の角度を算出するため、撮像画像が常に被測定者の両眼を含んでいなければならない。このため、両眼を撮像できる範囲に撮像装置を配置しなければらず、撮像装置の設置位置の自由度が小さい。また、両眼が撮像される範囲でしか顔の向きを検知することができないため、検知できる顔の向き(角度θ)の範囲が小さい。さらに、この顔の向き検知方法においても、両眼E1、E2の間隔Deを記憶する際の被測定者と撮像装置との位置関係と、顔の向き検知時(測定時)における被測定者と撮像装置との位置関係とが一定でなければならず、上記特許文献1記載の技術と同様に自動車等の車両への適用が困難である。
以上説明したように、画像処理技術を用いた顔の向き検出については、種々の問題があり、改善の余地がある。 As described above, there are various problems in the face orientation detection using the image processing technique, and there is room for improvement.
本発明は、上記事実を考慮して、撮像手段の撮像画像に基づいて、簡単かつ広範囲に亘り顔の向きを検知することができる顔の向き検知装置を得ることが目的である。 In view of the above facts, an object of the present invention is to obtain a face orientation detection device that can easily and widely detect the orientation of a face based on a captured image of an imaging means.
上記目的を達成するために請求項1記載の発明に係る顔の向き検知装置は、顔の一特徴部分を含む範囲を撮像する撮像手段と、前記撮像手段にて撮像した画像に基づいて、顔向きが変化する際の前記一特徴部分の回転半径を推定する半径推定手段と、前記画像に基づいて、顔向きが変化する際の回転中心及び前記撮像手段を通る仮想直線と前記一特徴部分との離間距離を算出する距離算出手段と、前記回転半径と前記離間距離とを用いて前記仮想直線に対する前記一特徴部分の回転角度を算出する角度算出手段と、を備えている。
In order to achieve the above object, a face orientation detection apparatus according to the invention described in
請求項1記載の顔の向き検知装置では、顔の向きが変化する際に顔の一特徴部分が仮想回転軸廻りに回転し、この回転角が画像上における位置特徴部分の位置から得ることができるとの知見に基づいて顔の向きを検知する。具体的には、撮像手段が顔における一特徴部分を含む画像を撮像すると、この画像に基づいて、半径推定手段が顔向きが変化する際の一特徴部分の回転半径を推定する。また、この画像に基づいて、距離算出手段が、画像から抽出された上記一特徴部分と、該一特徴部分の回転中心と前記撮像手段とを通る仮想直線との離間距離を算出する。そして、角度算出手段が、上記仮想半径と離間距離とを用いて、仮想直線に対する位置特徴部分の回転角度すなわち顔の向きを算出する。具体的には、回転中心を通る仮想直線と、一特徴部分と回転中心とを結ぶ直線との成す角が、該仮想直線に対する一特徴部分の回転角度すなわち顔の向きであり、かつ、仮想直線と離間距離の方向とが互いに直交することから、例えば、離間距離を回転半径で除した値の逆正弦関数によって、仮想直線に対する一特徴部分の回転角度が算出される。
In the face orientation detection device according to
ここで、本顔の向き検知装置では、撮像画像に基づいて得た回転半径と離間距離とから仮想直線に対する顔の向きを検知するため、従来の如く撮像画像をそれぞれ異なる顔の向きに対応する膨大な辞書データと比較する必要がなく、顔の向き検出処理が容易で、処理負荷が小さい(分解能に依存して増大することがない)。また、顔における一特徴部分を用いて顔の向きを検知するため、従来の如く両眼を撮像画像に含む必要がなく、検知することができる顔の向きの範囲(検知範囲)が広い。さらに、撮像画像には一特徴部位を含めば良いため、撮像手段の撮像位置すなわち設置位置の自由度が高い。 Here, in this face orientation detection device, the orientation of the face with respect to the virtual straight line is detected from the rotation radius and the separation distance obtained based on the captured image. There is no need to compare with a huge amount of dictionary data, the face orientation detection process is easy, and the processing load is small (there is no increase depending on the resolution). Further, since the orientation of the face is detected using one characteristic part of the face, it is not necessary to include both eyes in the captured image as in the conventional case, and the range of the orientation of the face that can be detected (detection range) is wide. Furthermore, since one characteristic part should just be included in a captured image, the freedom degree of the imaging position of an imaging means, ie, installation position, is high.
このように、請求項1記載の顔の向き検知装置では、撮像手段の撮像画像に基づいて、簡単かつ広範囲に亘り顔の向きを検知することができる。なお、一特徴部分としては、例えば、左右何れか一方の眼、鼻の穴、唇、眉毛等を採用することができる。 Thus, in the face direction detection device according to the first aspect, the face direction can be detected easily and over a wide range based on the captured image of the imaging means. As one characteristic part, for example, one of the left and right eyes, nostrils, lips, eyebrows and the like can be employed.
請求項2記載の発明に係る顔の向き検知装置は、請求項1記載の顔の向き検知装置において、顔が所定方向を向いている場合の前記一特徴部分の前記仮想直線に対する角度を基準角度とし、該基準角度を前記角度算出手段の算出結果から差し引いて、該所定方向に対する顔の向きを算出する顔の向き算出手段をさらに備えた、ことを特徴としている。 A face direction detecting device according to a second aspect of the present invention is the face direction detecting device according to the first aspect, wherein an angle of the one characteristic portion with respect to the virtual straight line when the face is facing a predetermined direction is a reference angle. And a face orientation calculating means for subtracting the reference angle from the calculation result of the angle calculating means to calculate the face orientation with respect to the predetermined direction.
請求項2記載の顔の向き検知装置では、角度算出手段が仮想直線に対する一特徴部分の角度(顔の向き)を算出すると、顔の向き算出手段が、この算出結果から顔が所定方向を向いている場合の一特徴部分の前記仮想直線に対する基準角度を差し引いて、該所定方向に対する現実の顔の向きを算出する。すなわち、顔の向き算出手段の上記演算によって、上記仮想直線に対する角度が相殺され、撮像手段の画角とは無関係に所定の方向に対する顔の向きを検知することができる。 According to another aspect of the face orientation detection device of the present invention, when the angle calculation means calculates an angle of one characteristic portion (face orientation) with respect to the virtual straight line, the face orientation calculation means determines that the face is directed in a predetermined direction from the calculation result. In this case, a reference angle with respect to the virtual straight line of one characteristic portion is subtracted to calculate the actual face orientation with respect to the predetermined direction. In other words, the angle with respect to the virtual straight line is canceled by the calculation of the face direction calculation means, and the face direction with respect to a predetermined direction can be detected regardless of the angle of view of the imaging means.
請求項3記載の発明に係る顔の向き検知装置は、請求項2記載の顔の向き検知装置において、前記所定方向は、顔が正面を向いているとき、または顔が正面を向いていると推定される方向であり、その撮像画像に基づく前記角度算出手段の算出結果を、前記基準角度として設定する、ことを特徴としている。 According to a third aspect of the present invention, there is provided the face direction detecting device according to the second aspect, wherein the predetermined direction is when the face is facing the front or when the face is facing the front. It is an estimated direction, and the calculation result of the angle calculation means based on the captured image is set as the reference angle.
請求項3記載の顔の向き検知装置では、顔が正面を向いているとき、または顔が正面を向いていると推定されるときに撮像手段が撮像した一画像に基づく角度算出手段の算出結果を、基準角度として設定する。したがって、一画像に基づいて迅速に基準角度を設定することができ、また、検知対象者の顔が正面を向いている状態に対する顔の向きを検知することができる。 4. The face direction detection device according to claim 3, wherein the calculation result of the angle calculation means based on one image picked up by the image pickup means when the face is facing the front or when it is estimated that the face faces the front. Is set as the reference angle. Therefore, the reference angle can be quickly set based on one image, and the orientation of the face relative to the state where the face of the person to be detected is facing the front can be detected.
また、角度算出手段の算出結果を用いて基準角度を設定するため、例えば、基準角度設定時の上記仮想直線と顔の向き検知時の上記仮想直線とを確実に一致させることができる。このため、例えば、撮像手段に対する顔の位置が変化する毎に新たに基準角度を設定することで、撮像手段に対し検知対象者(被測定者)の顔が任意の位置関係にあっても、該検知対象者の所定方向に対する顔の向きを確実に検知することができる。したがって、例えば、自動車等のスライド機能やリクライニング機能を有する運転席等に着座する、異なる乗員の顔の向きをそれぞれ検知することが可能となる。 In addition, since the reference angle is set using the calculation result of the angle calculation means, for example, the virtual straight line at the time of setting the reference angle and the virtual straight line at the time of detecting the face direction can be reliably matched. For this reason, for example, by setting a new reference angle each time the position of the face relative to the imaging means changes, even if the face of the person to be detected (measured person) is in an arbitrary positional relationship with respect to the imaging means, It is possible to reliably detect the orientation of the face relative to the predetermined direction of the detection target person. Therefore, for example, it is possible to detect the orientations of different occupant faces sitting in a driver's seat or the like having a slide function or a reclining function, such as an automobile.
請求項4記載の発明に係る顔の向き検知装置は、請求項1乃至請求項3の何れか1項記載の顔の向き検知装置において、車両に搭載されると共に該車両室内の後方視認用インナミラーに前記撮像手段を配置し、前記一特徴部分を前記撮像手段に近い方の眼とした、ことを特徴としている。 A face direction detection device according to a fourth aspect of the present invention is the face direction detection device according to any one of the first to third aspects, wherein the face direction detection device is mounted on a vehicle and is an inner part for visually recognizing the rear in the vehicle compartment. The imaging means is arranged on a mirror, and the one characteristic portion is an eye closer to the imaging means.
請求項4記載の顔の向き検知装置では、撮像手段が車両のインナミラーに配置され、該撮像手段に近い方の眼が一特徴部分として撮像画像に含まれる。また、眼は、顔の他の部分に対し画像処理による抽出が比較的容易である。このため、例えばステアリングホイールや顔の向きの検知対象となる乗員の腕等の撮像画像に対する影響が小さく(画像上の眼に対応する部分がステアリングホイールや腕等によって遮蔽されることがなく)、該乗員の撮像手段に近い方の眼を確実に撮像・抽出することができる。換言すれば、画像不良による顔の向きの検知(判定)不能時間が大幅に削減される。 According to another aspect of the present invention, the imaging means is disposed on the inner mirror of the vehicle, and the eye closer to the imaging means is included in the captured image as one characteristic part. In addition, the eye can be relatively easily extracted by image processing for other parts of the face. For this reason, for example, the influence on the captured image of the steering wheel or the arm of the occupant who is the detection target of the face direction is small (the portion corresponding to the eye on the image is not shielded by the steering wheel or the arm), The eye closer to the occupant's imaging means can be reliably imaged and extracted. In other words, the time during which face orientation cannot be detected (determined) due to image defects is greatly reduced.
以上説明したように本発明に係る顔の向き検知装置は、撮像手段の撮像画像に基づいて、簡単かつ広範囲に亘り顔の向きを検知することができるという優れた効果を有する。 As described above, the face direction detection device according to the present invention has an excellent effect that the face direction can be detected easily and over a wide range based on the captured image of the imaging means.
本発明の実施の形態に係る顔の向き検知装置が適用された脇見モニタ警報装置10について、図1乃至図4に基づいて説明する。 A side-view monitor alarm device 10 to which a face orientation detection device according to an embodiment of the present invention is applied will be described with reference to FIGS. 1 to 4.
図4には、本発明の実施の形態に係る脇見モニタ警報装置10を搭載した車両Sの一部が斜視図及びブロック図によって示されている。脇見モニタ警報装置10は、車両Sの運転席上における運転者(図示省略)の顔の向き、すなわち視線方向を検知し、該運転者が脇見をしていると判定した場合に警報を発するものである。 FIG. 4 is a perspective view and a block diagram showing a part of the vehicle S on which the armpit monitor alarm device 10 according to the embodiment of the present invention is mounted. The armpit monitor alarm device 10 detects the direction of the face of the driver (not shown) on the driver's seat of the vehicle S, that is, the direction of the line of sight, and issues an alarm when it is determined that the driver is looking aside. It is.
この脇見モニタ警報装置10は、撮像手段としてのCCDカメラ12を備えている。CCDカメラ12は、車両Sのルーフ14の前端部(近傍)の左右方向中央部に設けられた後方視認用のインナミラー16に一体に組み込まれている。すなわち、インナミラー16は、カメラ内蔵インナミラーであり、全体としてコンパクトに形成されて運転者を含む乗員に違和感を与えないようになっている。
The side-view monitor alarm device 10 includes a
これにより、CCDカメラ12は運転席(図4におけるステアリングホイール18が設けられた側の前席)を斜め上前方から撮像するようになっている。そして、CCDカメラ12の画角は、少なくとも運転者の一方の眼(運転席が車両Sの右側に位置する本実施の形態では左眼)Eを含む運転者の顔(の一部)が撮像範囲内に収まるように決められている。
Thereby, the
また、CCDカメラ12は、半径推定手段、離間距離算出手段、角度算出手段、基準設定手段、及び顔の向き算出手段を含んで構成された脇見検知コンピュータ20と電気的に接続されている。これにより、CCDカメラ12で撮像された画像が画像データとして脇見検知コンピュータ20へ伝送される構成となっている。この脇見検知コンピュータ20は、車両Sの適宜位置に配置され、図示しない記憶装置(ROM)を有している。このROMには、顔の向き検知プログラム22(図3参照)が記憶されている。
The
顔の向き検知プログラム22は、CCDカメラ12を制御する(作動させる)と共に該CCDカメラ12が撮像した画像(画像データ)を読み込むようになっており、かつ、この画像から左眼Eに相当する部分を抽出する左眼抽出プログラム24と、顔の向きが変化する際の左眼Eの回転半径Rを推定する半径推定プログラム26と、顔の向きが変化する際の回転中心Cを通る仮想直線L1(後述)から左眼Eまでの離間距離Yを算出する離間距離算出プログラム28と、回転半径Rと離間距離Yとから左眼Eの仮想直線L1に対する角度θe2を算出する角度算出プログラム30と、角度θe2と基準角度θe1とから顔の向きを算出する顔の向き算出プログラム32と、基準角度θe1を設定して記憶する基準角度設定プログラム34とを含んで構成されている。そして、脇見検知コンピュータ20は、顔の向き検知プログラム22を実行するためのCPU(図示省略)を備えている。なお、顔の向き検知プログラム22の機能については後述する。
The face
また、脇見モニタ警報装置10は、警報装置36を備えている。警報装置36は、車両Sの適宜位置に配置され、脇見検知コンピュータ20と電気的に接続されている。そして、警報装置36は、脇見検知コンピュータ20の記憶装置に顔の向き検知プログラム22とは別途記憶された脇見検知プログラムから作動信号が入力されると、警報音や音声、表示装置への文字等の表示によって運転者に注意を促すようになっている。
Further, the armpit monitor alarm device 10 includes an alarm device 36. The alarm device 36 is disposed at an appropriate position of the vehicle S and is electrically connected to the aside
ところで、図2に示される如く、画角が固定された画像P上では、運転者の顔Fの向きによって、該運転者の顔Fに対する左眼Eの位置が変化する。具体的には、上記の通り顔Fを左上方から撮像するCCDカメラ12の画像Pでは、例えば顔Fがほぼ正面を向いている場合には、図2(A)に示す如く左眼Eは顔Fの左側に位置し、また例えば顔Fが左側(CCDカメラ12に対しほぼ正面)を向いている場合には、図2(B)に示す如く左眼Eは顔Fの右側に位置する。
By the way, as shown in FIG. 2, on the image P with a fixed angle of view, the position of the left eye E with respect to the driver's face F changes depending on the direction of the driver's face F. Specifically, in the image P of the
したがって、顔FがCCDカメラ12に対する位置が一定の上記回転中心C廻りに回転して向きを変えると仮定すれば、画像P上における顔Fに対する左眼Eの位置から、例えばCCDカメラ12と回転中心Cとを結ぶ仮想直線L1に対する顔Fの角度θe2を得ることができ、また顔Fが正面を向いている場合の仮想直線L1に対する顔Fの角度を基準角度θe1として設定しておけば、角度θe2と基準角度θe1との関係から正面向きに対する顔Fの角度θfを得ることができる。
Therefore, if it is assumed that the face F is rotated around the rotation center C having a certain position relative to the
そして、本実施の形態では、上記知見に基づいて、顔Fが正面を向いているときのCCDカメラ12の画像Pから基準角度θe1を算出し、顔の向き検知用の画像Pに基づいて算出した顔の角度θe2から基準角度θe1を差し引くことで、正面向きに対する顔Fの角度θf(θe2−θe1)を得る構成とされている。すなわち、基準角度θe1と任意の顔向き角度θe2とは、全く同様に算出される構成である。以下、具体的に説明するが、基準角度θe1と任意の顔向き角度θe2とを区別しないときはこれらを角度θeということとする。
In this embodiment, based on the above knowledge, the reference angle θe1 is calculated from the image P of the
図1(A)に示される如く、角度θeは、CCDカメラ12に対する角度が固定されると共に顔Fの向きに依らず常に回転中心CとCCDカメラ12とを通る仮想直線L1と、左眼Eと回転中心Cとを通る仮想直線L2とが成す角として算出されるようになっている。左眼Eの回転半径Rと、左眼Eと仮想直線L1との離間距離Y(仮想直線L1に直交する方向の距離)とを、上記顔の向き検知プログラム22の角度算出プログラム30に実行可能に記憶された以下の演算式(1)に代入することで、角度θeを得ることができる。
As shown in FIG. 1A, the angle θe is fixed with respect to the
θe=sin-1(Y/R) … (1)
そして、本実施の形態では、顔Fにおける左眼Eの高位の水平面に沿う部分(以下、頭という場合がある)の外形状が円形であり、かつこの円形である頭の中心が回転中心Cに一致すると仮定して、CCDカメラ12が撮像した画像Pに基づいて回転半径R及び離間距離Yを得るようになっている。
θe = sin −1 (Y / R) (1)
In the present embodiment, the outer shape of the portion (hereinafter sometimes referred to as the head) along the high horizontal plane of the left eye E in the face F is circular, and the center of the circular head is the rotation center C. As a result, the rotation radius R and the separation distance Y are obtained based on the image P captured by the
回転半径Rは、顔Fの向き、毛髪、耳等の影響により、画像Pから直接的に計測することが困難であるため、半径推定プログラム26によって推定(算出)されるようになっている。具体的には、CCDカメラ12が撮像した画像Pにおける顔Fの代表長さDを算出し、顔Fが大きい場合すなわち回転半径Rが大きい場合には代表長さDが長く、顔Fが小さい場合すなわち回転半径Rが小さい場合には代表長さDが短いことに基づいて予め設定された演算式(R=f(D)、例えばaを係数としてR=a×D)から、回転半径Rを算出するようになっている。
The rotation radius R is estimated (calculated) by the
本実施の形態では、CCDカメラ12が撮像した画像Pから抽出された左眼Eと、顔Fにおける左眼Eとは異なる特徴部分として抽出した唇Lとの上下方向の距離を、これらの間の画素数に基づき代表長さD(以下、距離Dという)として検出するようになっている。距離Dの検出に左眼Eと左眼Eの下方に位置する唇Lとを用いることで、左眼Eを抽出(撮像)可能な顔向きのほぼ全範囲に亘って、距離Dすなわち回転半径Rを算出することができる構成とされている。
In the present embodiment, the distance in the vertical direction between the left eye E extracted from the image P captured by the
なお、左眼Eの抽出は左眼抽出プログラム24にて行なわれるが、この左眼Eの抽出には、例えば、パターンマッチング、微分エッジ(エッジ処理)、ハフ変換等の公知の方法が用いられる。また、半径推定プログラム26によって行なわれる唇Lの抽出には、例えば、パターンマッチング、微分エッジ等の公知の方法が用いられる。
The left eye E is extracted by the left
一方、左眼Eと仮想直線L1との離間距離Yは、離間距離算出プログラム28にて算出されるようになっている。具体的には、上記仮定の下では、顔Fの左右何れか一方の縁部(本実施の形態では右縁部。以下、顔隅FEという)から仮想直線L1までの仮想距離が回転半径Rに一致することから、画像Pから抽出した顔隅FEと左眼Eとの画像P上における距離X(画像Pに投影された距離)を、これらの間の画素数に基づいて検出し、この距離Xを回転半径Rから差し引いて離間距離Y(=R−X)を得る構成とされている。
On the other hand, the separation distance Y between the left eye E and the virtual straight line L1 is calculated by the separation
したがって、顔FとCCDカメラ12とが図1に示される配置関係にある場合において、図1(A)及び図2(A)に示すように顔Fがほぼ正面を向いている場合には、離間距離Yは正の値となり、図1(B)及び図2(B)に示すように顔Fが比較的大きく左(CCDカメラ12の正面)を向いている場合には、離間距離Yは負の値となる。この離間距離算出プログラム28における顔隅FEの抽出には、例えば、微分エッジを用いる方法、顔の肌色を利用する方法(カラーの場合)等、公知の方法が用いられる。
Therefore, in the case where the face F and the
以上説明したように、回転中心C、仮想直線L1、L2は、それぞれ角度θeの算出原理を説明するために概念的に用いられるものであって、実際の角度θeの算出にあたってCCDカメラ12の撮像画像Pから特定されることはない。なお、仮想直線L1が本発明における仮想直線に相当する。
As described above, the center of rotation C and the virtual straight lines L1 and L2 are conceptually used for explaining the calculation principle of the angle θe, and the imaging of the
そして、基準角度設定プログラム34は、図1(A)に示される如く顔Fが正面を向いているときの角度θeを、基準角度θe1として設定して記憶するものである。本実施の形態では、基準角度設定プログラム34は、所定の基準設定条件を満足している場合に顔Fが正面を向いていると推定し、この条件を満足しているときに撮像された画像Pに基づいて算出された角度θeを基準角度θe1として設定・記憶するようになっている。したがって、基準角度θe1は、顔Fが正面を向いているときの離間距離をY1として、θe1=sin-1(Y1/R)として算出される。
Then, the reference
なお、基準設定条件としては、例えば、運転者が顔Fを正面に向けつつ手元スイッチを操作したことに対応した信号が入力されたか否か、車両Sの車速が一定以上でかつ舵角が所定範囲内である(運転者の顔Fが正面を向いていると推定される)ことに対応する信号が入力されたか否か等を採用することができる。 The reference setting condition includes, for example, whether or not a signal corresponding to the driver operating the hand switch with the face F facing forward is input, whether the vehicle speed of the vehicle S is equal to or greater than a predetermined value, and the steering angle is predetermined. It is possible to adopt whether or not a signal corresponding to being within the range (it is estimated that the driver's face F is facing the front) is input.
また、図1(B)または図1(C)に例示される如く、顔向き角度θe2は仮想直線L1と仮想直線L2との成す角、すなわち左眼Eの仮想直線L1に対する回転中心C廻りの角位置として算出されるから、顔Fが任意の方向を向いているときの離間距離YをY2に置き換えて表すと、θe2=sin-1(Y2/R)となる。そして、顔の向き算出プログラム32は、仮想直線L1に対する顔向き角度θe2から基準角度θe1を差し引くことで、仮想直線L1に対する角度を相殺した正面向きに対する顔Fの角度θf(=θe2−θe1)を得るようになっている。本実施の形態では、図1(B)に示すように顔Fが左向きの場合はθfが負の値となり、図1(C)に示すように顔Fの向きが右向きの場合はθfが正の値となる構成とされている。これにより、単にθfを算出することで顔Fが左向きであるか右向きであるかまで検知することができる構成である。
Further, as illustrated in FIG. 1B or 1C, the face orientation angle θe2 is an angle formed by the virtual straight line L1 and the virtual straight line L2, that is, about the rotation center C of the left eye E around the virtual straight line L1. Since it is calculated as the angular position, θe2 = sin −1 (Y2 / R) is obtained by replacing the separation distance Y when the face F faces in an arbitrary direction with Y2. Then, the face
次に本実施の形態の作用について図3に示されるフローチャートを用いて説明する。 Next, the operation of this embodiment will be described using the flowchart shown in FIG.
上記構成の脇見モニタ警報装置10では、例えば、イグニッションキーをキーシリンダへ挿入し、車両Sのアクセサリ(例えば、オーディオやパワーウインド)が作動可能な状態、若しくは、エンジンが始動した状態となると、脇見検知コンピュータ20が起動し、脇見検知コンピュータ20に予め記憶された顔の向き検知プログラム22が起動されると共に該顔の向き検知プログラム22がCCDカメラ12を作動させる。
In the armpit monitor alarm device 10 having the above configuration, for example, when an ignition key is inserted into the key cylinder and an accessory (for example, an audio or power window) of the vehicle S is operable or the engine is started, The
顔の向き検知プログラム22が起動している脇見検知コンピュータ20では、先ず、ステップ40でCCDカメラ12に運転者の左眼Eを含む顔Fの画像Pを撮像させ、この画像Pを画像データとして読み込む。ステップ40で画像データが入力されると左眼抽出プログラム24であるステップ42へ進み、該ステップ42では、画像データから画像P上における左眼に相当する部分を抽出する。
First, in
次いで、ステップ44乃至ステップ48にて構成される半径推定プログラム26にて、頭(顔F)の回転半径Rを算出する。具体的には、ステップ44で画像P上における唇Lに相当する部分を抽出する。唇Lを抽出するとステップ46へ進み、ステップ46では、画像P上における左眼Eと唇Lとの鉛直線に沿う距離Dを、左眼Eと唇Lとの間の上下方向の画素数として算出(検出)する。
Next, the radius (R) of the head (face F) is calculated by the
左眼Eと唇Lとの距離Dを算出するとステップ48へ進み、距離Dに基づいて左眼Eの回転半径Rを算出する。具体的には、半径推定プログラム26には、回転半径Rを距離Dの関数とした演算式R=f(D)が実行可能に記憶されており、該演算式に距離Dを代入することで回転半径Rを算出する。すなわち、予め設定された上記演算式が示す関係から頭の回転半径Rが推定される。
When the distance D between the left eye E and the lips L is calculated, the process proceeds to step 48, and the rotation radius R of the left eye E is calculated based on the distance D. Specifically, in the
頭の回転半径Rが推定されると、ステップ50乃至ステップ54にて構成される離間距離算出プログラム28にて、仮想直線L1と左眼Eとの離間距離Yを算出する。具体的には、ステップ50で画像P上の顔Fの顔隅FEを抽出する。顔隅FEを抽出するとステップ52へ進み、ステップ52では、顔隅FEと左眼Eとの水平線に沿う画像P上における距離Xを、顔隅FEと左眼Eとの間の左右方向の画素数として算出(検出)する。
When the rotational radius R of the head is estimated, a separation distance Y between the virtual straight line L1 and the left eye E is calculated by the separation
顔隅FEと左眼Eとの距離Xを算出するとステップ54へ進み、ステップ54では、頭の回転半径Rから距離Xを差し引いて画像P上における仮想直線L1と左眼Eとの離間距離Yを算出する。すなわち、離間距離算出プログラム28には、Y=R−Xなる演算式が実行可能に記憶されており、ステップ48(半径推定プログラム26)にて算出された回転半径R及びステップ52で算出された距離Xを上記演算式に代入して離間距離Yを得る。
When the distance X between the face corner FE and the left eye E is calculated, the process proceeds to step 54. In
画像P上における回転中心C(仮想直線L1)と左眼Eとの離間距離Yを算出すると、角度算出プログラム30であるステップ56へ進み、CCDカメラ12に対する顔Fの角度θe2を算出する。すなわち、角度算出プログラム30にはθe2=sin-1(Y/R)で表される上記演算式(1)が実行可能に記憶されており、この演算式(1)に、ステップ48(半径推定プログラム26)にて算出された回転半径R及びステップ54で算出された離間距離Yを代入して角度θe2を得る。
When the separation distance Y between the rotation center C (virtual straight line L1) on the image P and the left eye E is calculated, the process proceeds to step 56, which is the
角度θe2を算出すると、ステップ58へ進む。ステップ58では、基準角度θe1が設定(記憶)されているか否かを判断する。ステップ58で基準角度θe1が設定されていると判断された場合には、顔の向き算出プログラム32であるステップ60へ進み、ステップ60では、ステップ56(角度算出プログラム30)にて算出した角度θe2と基準角度θe1との関係から、正面向きに対する顔Fの向きθfを算出する。具体的には、顔の向き算出プログラム32には、演算式θf=θe2−θe1が実行可能に記憶されており、この演算式に、ステップ56に算出された角度θe2及び記憶されている基準角度θe1を代入して、正面向きに対する顔Fの向きθfを得る。
When the angle θe2 is calculated, the process proceeds to step 58. In
顔Fの向きθfを算出するとステップ62へ進み、ステップ62では、脇見検知コンピュータ20の脇見検知プログラムに顔Fの向きθfを出力する。この脇見検知プログラムは、例えば、顔Fの向きθfが所定の閾値以上である場合や、顔Fの向きθfが閾値以上である頻度または時間が所定頻度または所定時間以上である場合等に、警報装置36を作動させる。これにより、脇見モニタ警報装置10は、脇見をしていると推定される運転者に注意を喚起する。ステップ62で顔向き角度θfを出力すると、ステップ40へ戻り、新たな画像Pに基づいてステップ40乃至ステップ60を実行して顔Fの向きθfを算出し、ステップ62でこれを出力する。すなわち、顔向き角度θfの検知、出力を繰り返す。
When the orientation θf of the face F is calculated, the process proceeds to step 62. In
一方、ステップ58で基準角度θe1が設定されていないと判断された場合は、基準角度設定プログラム34を構成するステップ64へ進む。ステップ64では、基準角度θe1を設定するための条件が満足されているか否かを判断する。そして、ステップ40で読み込んだ画像Pが、運転者の顔Fが正面を向いているいか正面を向いていると推定されるときに撮像されたものであるときに、基準角度θe1を設定するための条件が満足されていると判断される。
On the other hand, if it is determined in
基準角度θe1を設定するための条件が満足されていると判断された場合はステップ66へ進み、ステップ66では、基準角度θe1が設定され記憶される。基準角度θe1を設定すると、ステップ40へ戻り、新たな画像Pに基づいてステップ40乃至ステップ60を実行して顔Fの向きθfを算出する。このとき、基準角度θe1がステップ60で参照される。
If it is determined that the condition for setting the reference angle θe1 is satisfied, the process proceeds to step 66, where the reference angle θe1 is set and stored. When the reference angle θe1 is set, the process returns to Step 40, and
一方、ステップ64で基準角度θe1を設定するための条件が満足されていないと判断された場合はステップ40へ戻り、基準角度θe1を設定するための条件を満足するまでステップ40乃至ステップ56を繰り返す。 On the other hand, if it is determined in step 64 that the condition for setting the reference angle θe1 is not satisfied, the process returns to step 40, and steps 40 to 56 are repeated until the condition for setting the reference angle θe1 is satisfied. .
また、図示は省略するが、顔の向き検知プログラム22は、例えば、シート位置調整スイッチが操作されたことに対応する信号が入力されるか、画像P上における顔Fの位置(重心位置等)が変化すると、設定されている基準角度θe1、及び記憶されている回転半径Rを共に消去する。そして、顔の向き検知プログラム22は、シート位置調整後または画像P上における顔Fの位置の変化後に撮像された新たな画像Pに基づいて回転半径Rを推定すると共に、この回転半径Rを用いて算出した角度θeを、ステップ64の条件を満足していることを条件に、新たな基準角度θe1として設定する。その後、これらの回転半径R及び基準角度θe1を参照して顔向き角度θfを算出する。なお、シート位置調整後すなわち運転者の顔FがCCDカメラ12に対し主に前後方向(上記光軸方向に交差する方向)に移動した後には、CCDカメラ12と頭の中心である回転中心Cとを結ぶ仮想直線L1の角度も、図1に示す状態(CCDカメラ12の光軸に一致する状態)から変化する。
Although illustration is omitted, the face
ここで、脇見検知コンピュータ20(顔の向き検知プログラム22)では、CCDカメラ12の撮像画像Pに基づいて得た回転半径Rと離間距離Yとから仮想直線L1に対する顔Fの向きである角度θe2を検知するため、従来の如く撮像画像Pをそれぞれ異なる顔Fの向きに対応する膨大な辞書データと比較する必要がなく、顔Fの向き検出処理が容易で処理負荷が小さい。すなわち、分解能に依存して処理負荷が増大してしまうことがない。また、顔Fにおける一特徴部分である左眼Eを用いて顔Fの向きを検知するため、従来の如く両眼を撮像画像Pに含む必要がなく、検知することができる顔Fの向きの範囲(検知範囲)が広い。さらに、撮像画像Pには左眼Eを含めば足りるため、CCDカメラ12の撮像位置すなわち設置位置の自由度が高い。なお、回転半径Rを推定するために撮像範囲に含む唇Lは、画像P上で左眼Eの下側に位置するため、例えば左眼Eに対する右眼のように検出範囲を狭めてしまうことがない。
Here, in the look-ahead detection computer 20 (face orientation detection program 22), an angle θe2 which is the orientation of the face F with respect to the virtual straight line L1 from the rotation radius R and the separation distance Y obtained based on the captured image P of the
このように、本実施の形態に係る顔の向き検知装置が適用された脇見モニタ警報装置10では、CCDカメラ12の撮像画像Pに基づいて、簡単かつ広範囲に亘り顔Fの向きを検知することができる。
As described above, in the armpit monitor alarm device 10 to which the face orientation detection device according to the present embodiment is applied, the orientation of the face F can be easily and widely detected based on the captured image P of the
また、脇見検知コンピュータ20(顔の向き検知プログラム22)では、顔Fが正面を向いている(と推定される)ときの仮想直線L1に対する顔Fの向きである基準角度θe1を、上記任意の方向を向いている顔Fの角度θe2から差し引くため、仮想直線L1に対する角度が相殺された正面に対する顔Fの向きを検知することができる。このため、CCDカメラ12に対する運転者の顔Fの位置が変化することで仮想直線L1の角度が変化する場合であっても、該変化し得る仮想直線L1に対する相対的な顔Fの向きではなく、正面(所定の方向)に対する絶対的な顔Fの向きであるθfを検知することができる。
In addition, in the look-ahead detection computer 20 (face orientation detection program 22), the reference angle θe1 that is the orientation of the face F with respect to the virtual straight line L1 when the face F faces the front (estimated) is set to the above-mentioned arbitrary Since it is subtracted from the angle θe2 of the face F facing the direction, it is possible to detect the direction of the face F with respect to the front where the angle with respect to the virtual straight line L1 is offset. For this reason, even if the angle of the virtual straight line L1 changes due to the change of the position of the driver's face F with respect to the
しかも、脇見検知コンピュータ20は、CCDカメラ12の撮像画像Pに基づいて基準角度θe1を設定する基準角度設定プログラム34を有するため、CCDカメラ12に対する顔Fの位置(仮想直線L1の角度)が変化した場合には新たに基準角度θe1を設定することで、基準角度θe1設定時の仮想直線L1と顔Fの向きθf検知時の仮想直線L1とを確実に一致させることができる。そして、脇見検知コンピュータ20は、運転席のシート位置調整スイッチが操作された場合等、CCDカメラ12に対する顔Fの位置が変更された(と推定される)場合には、新たに基準角度θe1を設定するため、CCDカメラ12に対する位置が異なる運転者(検知対象者)について、それぞれ正面向きに対する顔Fの向きθfを検知することができる。すなわち、運転者毎に基準角度θe1を設定するため、CCDカメラ12に対し任意の位置関係にある検知対象者の顔Fの向きを検知することができる。
Moreover, since the aside
また、基準角度設定プログラム34が、顔Fが正面を向いているとき、または顔Fが正面を向いていると推定されるときにCCDカメラ12が撮像した一画像Pに基づく角度算出プログラム30(ステップ56)の算出結果を、基準角度θe1として設定するため、一画像Pに基づいて迅速に基準角度θe1を設定することができる。
Further, the reference
さらに、脇見モニタ警報装置10では、CCDカメラ12が車両Sのインナミラー16に内蔵して設けられているため、例えばステアリングホイール18や運転者の腕等の影響によって該運転者の左眼Eを含む顔F(の部分)を撮像できなくなる可能性が低く、左眼Eを含む顔Fを確実に撮像することができる。本実施の形態では、CCDカメラ12の撮像した画像データが運転席に着座している運転者の左眼Eを捉えなかった時間は、全撮像時間の1.7%とわずかであった。そして、脇見検知コンピュータ20(顔の向き検知プログラム22)は、上記の通り運転者の左眼Eを一特徴部分として顔Fの向きを検知するため、インナミラー16に内蔵され斜め上前方から顔Fを撮像するCCDカメラ12と好適に組み合わされる。
Further, since the
なお、上記の実施の形態では、本発明に係る顔の向き検知装置が車両Sの脇見モニタ警報装置10に適用された例を示したが、本発明はこれに限定されず、例えば、プラントのオペレータや航空機・船舶等の操縦者等の脇見を監視するモニタ装置等に適用されても良い。また、本発明に係る顔の向き検知装置は、警報装置36と接続されて脇見モニタ警報装置10を構成するのに限定されることはない。 In the above-described embodiment, the example in which the face direction detection device according to the present invention is applied to the armpit monitor alarm device 10 of the vehicle S is shown, but the present invention is not limited to this. The present invention may be applied to a monitor device or the like that monitors an aside of an operator, an operator such as an aircraft or a ship. In addition, the face direction detection device according to the present invention is not limited to the configuration of the armpit monitor alarm device 10 connected to the alarm device 36.
また、上記の実施の形態では、顔の向き検知プログラム22が脇見検知コンピュータ20に記憶された構成としたが、本発明はこれに限定されず、例えば、車両Sを総合的に制御する運転支援システムの一部を構成するコンピュータに顔の向き検知プログラム22を記憶、実行させても良い。
In the above-described embodiment, the face
さらに、上記の実施の形態では、顔Fの向きを検出するための該顔Fにおける一特徴部分として左眼Eを用いた好ましい例を示したが、本発明はこれに限定されず、例えば、CCDカメラ12の設置位置等に応じ、左眼Eに代えて、例えば、右眼、左右何れ一方の鼻の穴、唇L、または眉毛等を一特徴部分として顔向き角度θfを算出するようにしても良い。
Furthermore, in the above embodiment, a preferable example using the left eye E as one characteristic part in the face F for detecting the orientation of the face F has been shown, but the present invention is not limited to this, for example, Depending on the installation position of the
さらにまた、上記の実施の形態では、頭の回転半径Rを推定するために左眼Eと唇Lとの距離Dを顔Fの代表長さとする例を示したが、本発明はこれに限定されず、顔Fにおける如何なる部分間の距離も、回転半径Rを推定するための顔Fの代表長さとすることができる。したがって、例えば、左眼Eまたは眉毛等と、顎または鼻の穴等との距離から回転半径Rを推定するようにすることが可能である。但し、代表長さの一端を規定する顔Fの特徴部分は、画像Pから抽出する特徴部分の削減(すなわち処理負荷低減)の観点から、顔向き角度θfを算出するための本発明における「一特徴部分」とすることが好ましい。 Furthermore, in the above-described embodiment, the example in which the distance D between the left eye E and the lips L is the representative length of the face F in order to estimate the rotation radius R of the head has been shown, but the present invention is not limited to this. Instead, the distance between any part of the face F can be the representative length of the face F for estimating the turning radius R. Therefore, for example, it is possible to estimate the rotation radius R from the distance between the left eye E or eyebrows and the jaw or the nostril. However, the feature portion of the face F that defines one end of the representative length is “one” in the present invention for calculating the face orientation angle θf from the viewpoint of reducing the feature portion extracted from the image P (that is, reducing the processing load). The “characteristic portion” is preferable.
また、上記の実施の形態では、運転者の顔Fが正面を向いている(と推定される)場合の画像Pに基づいて算出されたCCDカメラ12に対する角度θeを、基準角度θe1として設定する構成としたが、本発明はこれに限定されず、例えば、車両運転中のように運転者の顔Fが正面を向いている時間が長い場合(用途)には、所定期間に撮像した複数の画像Pにそれぞれ基づく複数の角度θeの移動平均として、基準角度θe1を常時更新しつつ設定するようにしても良い。さらに例えば、移動平均を取る複数の角度θeとして、車両Sの車速が一定以上でかつ舵角が所定範囲内であるときの撮像画像Pに基づく角度θeのみを抽出するようにしても良い。
In the above embodiment, the angle θe with respect to the
さらに、上記の実施の形態では、顔の向き検知装置が車両Sに適用された場合においてCCDカメラ12がインナミラー16に内蔵された好ましい構成としたが、本発明はこれに限定されず、例えば、CCDカメラ12が、ルーフ14に設けられたマップランプ装置38(図4参照)に内蔵されたり、インストルメントパネル上(顔Fを正面から撮像するよう位置)等に配置されたりしても良い。また、本発明における撮像手段がCCDカメラ12に限定されないことは言うまでもない。
Furthermore, in the above embodiment, the
さらにまた、上記の実施の形態では、図3に示すフローチャートに基づいて顔の向き検知プログラム22の作用を説明したが、本発明における顔の向き検知装置による顔Fの向きを検知するための各工程の順序やプログラムの構成は、図3に示すフローチャートに限定されることはなく、適宜変更可能であることは言うまでもない。
Furthermore, in the above embodiment, the operation of the face
10 脇見モニタ警報装置(顔の向き検知装置)
12 CCDカメラ(撮像手段)
16 インナミラー
20 脇見検知コンピュータ(半径推定手段、距離算出手段、角度算出手段、顔の向き算出手段)
22 顔の向き検知プログラム(半径推定手段、距離算出手段、角度算出手段、顔の向き算出手段)
26 半径推定プログラム(半径推定手段)
28 離間距離算出プログラム(距離算出手段)
30 角度算出プログラム(角度算出手段)
32 顔の向き算出プログラム(顔の向き算出手段)
34 基準角度設定プログラム
S 車両
10 Wakimi monitor alarm device (face orientation detection device)
12 CCD camera (imaging means)
16
22 Face orientation detection program (radius estimation means, distance calculation means, angle calculation means, face orientation calculation means)
26 Radius estimation program (radius estimation means)
28 Separation distance calculation program (distance calculation means)
30 Angle calculation program (angle calculation means)
32 Face orientation calculation program (face orientation calculation means)
34 Reference angle setting program
S vehicle
Claims (4)
前記撮像手段にて撮像した画像に基づいて、顔向きが変化する際の前記一特徴部分の回転半径を推定する半径推定手段と、
前記画像に基づいて、顔向きが変化する際の回転中心及び前記撮像手段を通る仮想直線と前記一特徴部分との離間距離を算出する距離算出手段と、
前記回転半径と前記離間距離とを用いて前記仮想直線に対する前記一特徴部分の回転角度を算出する角度算出手段と、
を備えた顔の向き検知装置。 Imaging means for imaging a range including one characteristic part of the face;
Radius estimation means for estimating a rotation radius of the one characteristic portion when a face orientation changes based on an image captured by the imaging means;
Based on the image, distance calculation means for calculating a separation distance between the rotation center when the face direction changes and a virtual straight line passing through the imaging means and the one characteristic part;
Angle calculating means for calculating a rotation angle of the one characteristic portion with respect to the virtual straight line using the rotation radius and the separation distance;
A face orientation detection device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003422244A JP4319535B2 (en) | 2003-12-19 | 2003-12-19 | Face orientation detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003422244A JP4319535B2 (en) | 2003-12-19 | 2003-12-19 | Face orientation detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005182452A true JP2005182452A (en) | 2005-07-07 |
JP4319535B2 JP4319535B2 (en) | 2009-08-26 |
Family
ID=34783181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003422244A Expired - Fee Related JP4319535B2 (en) | 2003-12-19 | 2003-12-19 | Face orientation detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4319535B2 (en) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007181071A (en) * | 2005-12-28 | 2007-07-12 | Shunkosha:Kk | Apparatus and method for evaluating attention paid to contents |
JP2007219603A (en) * | 2006-02-14 | 2007-08-30 | Matsushita Electric Ind Co Ltd | Person tracking device, person tracking method and person tracking program |
JP2007249352A (en) * | 2006-03-14 | 2007-09-27 | Omron Corp | Information processing device and method, recording medium, and program |
JP2007280375A (en) * | 2006-03-14 | 2007-10-25 | Omron Corp | Detector, detection method, storage medium, and program |
JP2009009244A (en) * | 2007-06-26 | 2009-01-15 | Toyota Motor Corp | Looking away judgment device |
US8098887B2 (en) | 2007-02-08 | 2012-01-17 | Denso Corporation | Face tracking device |
DE102012222519A1 (en) | 2011-12-09 | 2013-06-13 | Denso Corporation | DRIVING STATE DETERMINATION DEVICE |
DE102012112625A1 (en) | 2011-12-26 | 2013-06-27 | Denso Corporation | Mirror control and computer-readable storage medium |
KR101767922B1 (en) * | 2011-09-26 | 2017-08-17 | 한화테크윈 주식회사 | Vehicle monitoring system |
CN108263380A (en) * | 2016-12-30 | 2018-07-10 | 现代自动车株式会社 | Consider that pedestrian watches the pedestrian impact preventing mean and method of mode attentively |
KR20180078974A (en) * | 2016-12-30 | 2018-07-10 | 기아자동차주식회사 | Posture information based pedestrian detection and pedestrian collision prevention apparatus and method |
KR20180078983A (en) * | 2016-12-30 | 2018-07-10 | 기아자동차주식회사 | Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method |
JP2018163561A (en) * | 2017-03-27 | 2018-10-18 | 日産自動車株式会社 | Driver monitoring method and driver monitoring apparatus |
JP2020149507A (en) * | 2019-03-14 | 2020-09-17 | 本田技研工業株式会社 | Occupant observation device |
JP2022096793A (en) * | 2020-12-18 | 2022-06-30 | トヨタ自動車株式会社 | Vehicle door leaning detection system |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102620686B (en) * | 2012-02-27 | 2014-04-02 | 西北工业大学 | Two-step image detection method of vehicle steering angle movement |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002274265A (en) * | 2001-03-22 | 2002-09-25 | Honda Motor Co Ltd | Mirror adjusting device |
JP2003015816A (en) * | 2001-06-29 | 2003-01-17 | Honda Motor Co Ltd | Face/visual line recognizing device using stereo camera |
-
2003
- 2003-12-19 JP JP2003422244A patent/JP4319535B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002274265A (en) * | 2001-03-22 | 2002-09-25 | Honda Motor Co Ltd | Mirror adjusting device |
JP2003015816A (en) * | 2001-06-29 | 2003-01-17 | Honda Motor Co Ltd | Face/visual line recognizing device using stereo camera |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007181071A (en) * | 2005-12-28 | 2007-07-12 | Shunkosha:Kk | Apparatus and method for evaluating attention paid to contents |
JP4603975B2 (en) * | 2005-12-28 | 2010-12-22 | 株式会社春光社 | Content attention evaluation apparatus and evaluation method |
JP2007219603A (en) * | 2006-02-14 | 2007-08-30 | Matsushita Electric Ind Co Ltd | Person tracking device, person tracking method and person tracking program |
JP2007249352A (en) * | 2006-03-14 | 2007-09-27 | Omron Corp | Information processing device and method, recording medium, and program |
JP2007280375A (en) * | 2006-03-14 | 2007-10-25 | Omron Corp | Detector, detection method, storage medium, and program |
US8098887B2 (en) | 2007-02-08 | 2012-01-17 | Denso Corporation | Face tracking device |
JP2009009244A (en) * | 2007-06-26 | 2009-01-15 | Toyota Motor Corp | Looking away judgment device |
KR101767922B1 (en) * | 2011-09-26 | 2017-08-17 | 한화테크윈 주식회사 | Vehicle monitoring system |
DE102012222519A1 (en) | 2011-12-09 | 2013-06-13 | Denso Corporation | DRIVING STATE DETERMINATION DEVICE |
DE102012112625A1 (en) | 2011-12-26 | 2013-06-27 | Denso Corporation | Mirror control and computer-readable storage medium |
KR20180078974A (en) * | 2016-12-30 | 2018-07-10 | 기아자동차주식회사 | Posture information based pedestrian detection and pedestrian collision prevention apparatus and method |
US10814840B2 (en) | 2016-12-30 | 2020-10-27 | Hyundai Motor Company | Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method |
CN108263380A (en) * | 2016-12-30 | 2018-07-10 | 现代自动车株式会社 | Consider that pedestrian watches the pedestrian impact preventing mean and method of mode attentively |
KR20180078983A (en) * | 2016-12-30 | 2018-07-10 | 기아자동차주식회사 | Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method |
US11584340B2 (en) | 2016-12-30 | 2023-02-21 | Hyundai Motor Company | Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method |
KR101996415B1 (en) * | 2016-12-30 | 2019-07-04 | 현대자동차주식회사 | Posture information based pedestrian detection and pedestrian collision prevention apparatus and method |
KR101996414B1 (en) * | 2016-12-30 | 2019-07-04 | 현대자동차주식회사 | Pedestrian collision prevention apparatus and method considering pedestrian gaze |
KR101996418B1 (en) * | 2016-12-30 | 2019-07-04 | 현대자동차주식회사 | Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method |
US10435018B2 (en) | 2016-12-30 | 2019-10-08 | Hyundai Motor Company | Posture information based pedestrian detection and pedestrian collision prevention apparatus and method |
US10922975B2 (en) | 2016-12-30 | 2021-02-16 | Hyundai Motor Company | Pedestrian collision prevention apparatus and method considering pedestrian gaze |
KR20180078972A (en) * | 2016-12-30 | 2018-07-10 | 기아자동차주식회사 | Pedestrian collision prevention apparatus and method considering pedestrian gaze |
US10870429B2 (en) | 2016-12-30 | 2020-12-22 | Hyundai Motor Company | Posture information based pedestrian detection and pedestrian collision prevention apparatus and method |
JP2018163561A (en) * | 2017-03-27 | 2018-10-18 | 日産自動車株式会社 | Driver monitoring method and driver monitoring apparatus |
JP2020149507A (en) * | 2019-03-14 | 2020-09-17 | 本田技研工業株式会社 | Occupant observation device |
JP2022096793A (en) * | 2020-12-18 | 2022-06-30 | トヨタ自動車株式会社 | Vehicle door leaning detection system |
JP7452402B2 (en) | 2020-12-18 | 2024-03-19 | トヨタ自動車株式会社 | Vehicle door leaning detection system |
Also Published As
Publication number | Publication date |
---|---|
JP4319535B2 (en) | 2009-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4319535B2 (en) | Face orientation detection device | |
JP5092776B2 (en) | Gaze direction detection device and gaze direction detection method | |
JP6197814B2 (en) | Vehicle display device | |
CN112714720B (en) | Rearview mirror control method and related equipment | |
JP2008269496A (en) | Occupant information detection system, occupant restraint system and vehicle | |
JP2008002838A (en) | System for detecting vehicle occupant, actuator control system, and vehicle | |
JP3228086B2 (en) | Driving operation assist device | |
JP2010130646A (en) | Vehicle periphery checking system | |
JP2008230296A (en) | Vehicle drive supporting system | |
US11455810B2 (en) | Driver attention state estimation | |
US20190340451A1 (en) | Occupant detection device | |
JP6187155B2 (en) | Gaze target estimation device | |
JP3990619B2 (en) | Face orientation detection device | |
JP6669182B2 (en) | Occupant monitoring device | |
WO2018167995A1 (en) | Driver state estimation device and driver state estimation method | |
JP2018022958A (en) | Vehicle display controller and vehicle monitor system | |
JP2013047019A (en) | Vehicle mirror control device | |
JP7267467B2 (en) | ATTENTION DIRECTION DETERMINATION DEVICE AND ATTENTION DIRECTION DETERMINATION METHOD | |
JP2012116400A (en) | Corner pole projection device | |
WO2013114871A1 (en) | Driving assistance device and driving assistance method | |
JP2004330873A (en) | Vehicular rear side check supporting device | |
JP4935387B2 (en) | Information display device | |
JP2007072774A (en) | System for monitoring drivers | |
JP4696825B2 (en) | Blind spot image display device for vehicles | |
JP2018113622A (en) | Image processing apparatus, image processing system, and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090224 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090407 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090526 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090528 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120605 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130605 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130605 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140605 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |