JP2008171108A - Face condition determining device and imaging device - Google Patents

Face condition determining device and imaging device Download PDF

Info

Publication number
JP2008171108A
JP2008171108A JP2007002231A JP2007002231A JP2008171108A JP 2008171108 A JP2008171108 A JP 2008171108A JP 2007002231 A JP2007002231 A JP 2007002231A JP 2007002231 A JP2007002231 A JP 2007002231A JP 2008171108 A JP2008171108 A JP 2008171108A
Authority
JP
Japan
Prior art keywords
face
information
area
determination processing
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007002231A
Other languages
Japanese (ja)
Inventor
Toshinobu Hatano
敏信 秦野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2007002231A priority Critical patent/JP2008171108A/en
Priority to US11/970,122 priority patent/US20080166052A1/en
Publication of JP2008171108A publication Critical patent/JP2008171108A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a face condition determining device capable of accurately detecting a face zone and a blink of an eye in a camera system which monitors and images a driver of a vehicle with an on-vehicle camera. <P>SOLUTION: The face condition determining device includes a memory control section 2 for storing input image data into a memory 18, a resizing section 5 for resizing by scaling-down the image data read out from the memory in order to detect a face zone, a face zone detection section 6 for creating face zone information by detecting the face zone on the basis of the resized image data, a motion vector detection section 4 for creating motion vector information by detecting motion vectors per a basic block in the image data or resized image data in updating a motion frame, a specific part motion information calculating means (17) for sampling changes of motion vectors per a frame from the motion vector information per the basic block and outputting calculated results as specific part motion information, and face condition determining means (17) for determining the face condition on the basis of the face zone information and specific part motion information. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、車両事故を未然に防ぐフェイルセーフのための画像処理技術の一環として、車載カメラで車両運転者を監視撮影し、運転中の居眠りなどを検出する顔状況判定処理装置および撮像装置に関する。   The present invention relates to a face condition determination processing apparatus and an imaging apparatus that monitor and photograph a vehicle driver with an in-vehicle camera and detect a drowse while driving as part of an image processing technique for fail-safe that prevents a vehicle accident beforehand. .

近年、車両事故を未然に防ぐために車両運転者を監視するカメラの技術が具体化してきている。これには、デジタルカメラの高速化と高画質化の技術向上が寄与している。   In recent years, in order to prevent a vehicle accident, a camera technology for monitoring a vehicle driver has been realized. This is due to the improvement in the speed and digital image quality of digital cameras.

運転者等の眼の状態を検出する画像処理装置として、例えば特許文献１に記載されたものがある。その基本構成を図５に示す。図５において、３１は運転者の顔部分を照射する赤外ストロボ、３２は運転者の顔部分を撮影するＴＶカメラ、３３は赤外ストロボ３１の発光とＴＶカメラ３２の画像入力のタイミングを合わせるタイミング指令回路、３４はＴＶカメラ３２が撮影した入力画像をデジタル量に変換するＡ／Ｄ変換器、３５は画像データを格納する画像メモリ、３６は画像メモリ３５から読み出した画像データにおいて眼球の存在位置領域を規定する眼球存在位置規定回路、３７は眼球存在位置規定回路３６で規定された領域において画像メモリ３５内の画像データを処理して眼の虹彩部分を検出する虹彩検出回路、３８は虹彩検出結果から運転者の居眠りやわき見の有無等の状態を判定する居眠りわき見判定回路である。この装置においては、運転者の顔の画像データをＡ／Ｄ変換器３４において２値化し、眼球存在位置規定回路３６によって画像データの水平・垂直方向への白画素または黒画素の連続性で顔幅検出および運転者の眼の位置の検出を行う。さらに、虹彩検出回路３７によって眼の虹彩部を検出し、居眠りわき見判定回路３８において虹彩の検出結果から運転者の開眼、閉眼（眼の開閉状態）の判定を通じて運転者の居眠りや脇見などの状態を判別する。この技術は、居眠り運転や脇見運転の警報に利用される。
特開平４−１７４３０９号公報（第３−９頁、第１−１２図） As an image processing apparatus for detecting the eye state of a driver or the like, for example, there is one described in Patent Document 1. The basic configuration is shown in FIG. In FIG. 5, 31 is an infrared strobe that irradiates the driver's face, 32 is a TV camera that captures the driver's face, and 33 is a timing for the light emission of the infrared strobe 31 and the image input timing of the TV camera 32. A timing command circuit 34 is an A / D converter that converts an input image captured by the TV camera 32 into a digital quantity, 35 is an image memory that stores image data, and 36 is the presence of an eyeball in the image data read from the image memory 35. An eyeball presence position defining circuit for defining a position area, 37 is an iris detection circuit for processing the image data in the image memory 35 in the area defined by the eyeball presence position defining circuit 36, and detecting an iris portion of the eye, and 38 is an iris. It is a dozing and side-by-side determination circuit that determines a state such as the presence or absence of a driver's dozing and aside from the detection result. In this apparatus, the image data of the driver's face is binarized by the A / D converter 34, and the face is determined by the continuity of white pixels or black pixels in the horizontal and vertical directions of the image data by the eyeball presence position defining circuit 36. Width detection and driver eye position detection are performed. Further, the iris detection circuit 37 detects the iris portion of the eye, and the dozing and looking-aside determination circuit 38 determines the driver's eye-opening and eye-closing (eye open / closed state) based on the iris detection result. Is determined. This technology is used for alarms of drowsy driving and aside driving.
JP-A-4-174309 (pages 3-9, FIG. 1-12)

上記従来の画像処理装置は、撮像した画像において顔がまっすぐになっていることを前提としている。しかし、実際の運転においては、長時間同じ姿勢をとった結果、疲れや眠気等が進むと、顔の位置や角度が変化し、その結果、顔幅検出や眼の位置検出の精度が劣化するという問題がある。   The conventional image processing apparatus is premised on that the face is straight in the captured image. However, in actual driving, as a result of taking the same posture for a long time, when fatigue or sleepiness progresses, the face position and angle change, and as a result, the accuracy of face width detection and eye position detection deteriorates. There is a problem.

本発明は、このような事情に鑑みて創作したものであり、顔領域検出や眼の瞬き検出を精度良く行える顔状況判定処理装置を提供することを目的としている。   The present invention has been created in view of such circumstances, and an object of the present invention is to provide a face situation determination processing apparatus that can accurately detect a face area and a blink of an eye.

本発明による顔状況判定処理装置は、
２次元イメージセンサより入力されてくる画像データをメモリに格納するメモリ制御部と、
前記メモリ制御部を介して前記メモリから読み出された前記画像データに対して顔領域検出の規定サイズに縮小リサイズし、リサイズ画像データを前記メモリに格納するリサイズ処理部と、
前記メモリ制御部を介して前記メモリから読み出された前記リサイズ画像データに基づいて顔領域検出を行って顔領域情報を生成する顔領域検出部と、
動画フレーム更新の処理において、前記メモリ制御部を介して前記メモリから読み出された前記画像データまたは前記リサイズ画像データにおいて基本ブロック単位の動きベクトルを検出して動きベクトル情報を生成する動きベクトル検出部と、
前記顔領域検出部による前記顔領域情報が示す顔領域内の特定部位について、前記動きベクトル検出部による前記基本ブロック単位の動きベクトル情報から、前記特定部位についてのフレーム単位の動きベクトルの変化を抽出し特定部位動き情報として出力する特定部位動き情報演算手段と、
前記顔領域検出部による前記顔領域情報と前記特定部位動き情報演算手段による前記特定部位動き情報とに基づいて顔状況の判定を行う顔状況判定処理手段とを備えたものである。 The face situation determination processing apparatus according to the present invention
A memory control unit for storing image data input from the two-dimensional image sensor in a memory;
A resize processing unit for reducing and resizing the image data read from the memory via the memory control unit to a prescribed size for face area detection, and storing the resized image data in the memory;
A face area detection unit that generates face area information by performing face area detection based on the resized image data read from the memory via the memory control unit;
A motion vector detection unit for generating motion vector information by detecting a motion vector in units of basic blocks in the image data or the resized image data read from the memory via the memory control unit in the moving image frame update process When,
For a specific part in the face area indicated by the face area information by the face area detection unit, a change in a motion vector in frame unit for the specific part is extracted from the motion vector information in the basic block unit by the motion vector detection unit. Specific part movement information calculating means for outputting as specific part movement information;
And face condition determination processing means for determining a face condition based on the face area information by the face area detection unit and the specific part movement information by the specific part movement information calculation means.

この構成においては、フレームごとに顔領域と特定部位（眼や口）の動きベクトルとを同時に検出し、顔状況判定処理手段が顔領域情報と特定部位動き情報とに基づいて顔状況の判定を行うので、特定部位の状況を精度良く判定することが可能となる。その結果、居眠り状態の判定を安定良く行う上で有利な展開が期待される。   In this configuration, a face area and a motion vector of a specific part (eye or mouth) are simultaneously detected for each frame, and the face state determination processing means determines the face state based on the face area information and the specific part motion information. As a result, it is possible to accurately determine the state of the specific part. As a result, an advantageous development is expected for stable determination of a dozing state.

上記構成の顔状況判定処理装置において、前記２次元イメージセンサによる撮像信号として、カラー情報配列ＲＧＢのベイヤー配列における４画素の配置を基本配置とする信号と、カラー情報配列が水平方向にＲＧＢの３画素の配置を基本配置とする信号を対象とし、前記リサイズ処理部はローパスフィルタ処理により色キャリア情報と高周波情報を除去するという態様がある。   In the face state determination processing apparatus having the above-described configuration, as an image pickup signal by the two-dimensional image sensor, a signal having a basic arrangement of four pixels in the Bayer arrangement of the color information array RGB, and a color information array of 3 in RGB in the horizontal direction. There is a mode in which the resize processing unit removes the color carrier information and the high frequency information by low-pass filter processing for a signal whose pixel layout is a basic layout.

また、上記の構成の顔状況判定処理装置において、前記リサイズ処理部は、元画像における顔領域のトリミング処理または部分拡大処理により前記動きベクトル検出部における動きベクトル抽出用の画像データを生成するという態様がある。動きベクトル検出部が基本ブロック単位の動きベクトルを抽出する際に、顔領域の大きさを基本ブロック処理のサイズに対して十分大きなサイズにすることが可能となる。   In the face situation determination processing apparatus having the above configuration, the resizing processing unit generates image data for motion vector extraction in the motion vector detection unit by trimming processing or partial enlargement processing of a face area in the original image. There is. When the motion vector detection unit extracts a motion vector in units of basic blocks, it is possible to make the size of the face area sufficiently larger than the size of the basic block processing.

また、上記の構成の顔状況判定処理装置において、前記特定部位動き情報演算手段は、前記リサイズ処理部におけるリサイズ比率を利用して前記顔領域内の前記特定部位の推定を行うという態様がある。   In the face situation determination processing apparatus having the above-described configuration, the specific part motion information calculation unit may estimate the specific part in the face region using a resizing ratio in the resizing processing unit.

また、上記の構成の顔状況判定処理装置において、前記特定部位は、両目を含む両目エリア、鼻と頬を含む鼻頬エリア、口を含む口エリアのいずれかまたはすべてであるという態様がある。   In the face situation determination processing device having the above configuration, the specific part may be any or all of a binocular area including both eyes, a nasal cheek area including a nose and a cheek, and a mouth area including a mouth.

また、上記の構成の顔状況判定処理装置において、前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の動き情報の値が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記両目エリアでの時間軸上の動き情報の値が所定の閾値以上であれば眼が瞬いていると判断するという態様がある。   Further, in the face situation determination processing device having the above configuration, the face situation determination processing means fixes the face area in the frame when the value of motion information on the time axis in the nose cheek area is equal to or less than a predetermined threshold value. There is a mode in which it is determined that the eye is blinking if it is determined to be in a position, and the value of the motion information on the time axis in the area of both eyes at that time is equal to or greater than a predetermined threshold.

また、上記の構成の顔状況判定処理装置において、前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の動き情報の値が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記両目エリアでの時間軸上の動き情報の値が所定の閾値以上のときのパルス数をカウントすることにより、単位時間当たりの眼の瞬き回数情報を抽出するという態様がある。   Further, in the face situation determination processing device having the above configuration, the face situation determination processing means fixes the face area in the frame when the value of motion information on the time axis in the nose cheek area is equal to or less than a predetermined threshold value. Information on the number of blinks of the eye per unit time by counting the number of pulses when the value of motion information on the time axis in the area of both eyes at that time is equal to or greater than a predetermined threshold is determined Is extracted.

また、上記の構成の顔状況判定処理装置において、前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の動き情報の値が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記両目エリアでの時間軸上の動き情報の絶対値の単位時間当たりの積算値についてフレーム単位の変化量に着目し、その積算値についてのフレーム単位の変化量が減少してきた場合は、眼の瞬きの速度が落ちてきていると判断するという態様がある。   Further, in the face situation determination processing device having the above configuration, the face situation determination processing means fixes the face area in the frame when the value of motion information on the time axis in the nose cheek area is equal to or less than a predetermined threshold value. Focusing on the amount of change in frame units for the integrated value per unit time of the absolute value of the motion information on the time axis in the area of both eyes at that time, and determining the frame unit for the integrated value In the case where the amount of change decreases, it is determined that the blinking speed of the eye is decreasing.

また、上記の構成の顔状況判定処理装置において、前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の動き情報の値が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記口エリアでの時間軸上の動きベクトル情報の値が不定期に変化しているときは、被写体人物が話しをしていると判断するという態様がある。   Further, in the face situation determination processing device having the above configuration, the face situation determination processing means fixes the face area in the frame when the value of motion information on the time axis in the nose cheek area is equal to or less than a predetermined threshold value. A mode in which it is determined that the subject person is speaking when it is determined that the subject person is in a position and the value of motion vector information on the time axis in the mouth area at that time changes irregularly. There is.

また、上記の構成の顔状況判定処理装置において、前記顔状況判定処理手段は、前記フレーム内の顔領域が固定位置にあると判断する場合に、前記鼻頬エリアでの時間軸上の動き情報の値を用いる代わりに、前記顔領域検出部による前記顔領域情報の変動量が所定の閾値以下にあるときに、前記顔領域が固定位置にあると判断するという態様がある。   Further, in the face situation determination processing device having the above configuration, when the face situation determination processing unit determines that the face area in the frame is at a fixed position, motion information on the time axis in the nose cheek area There is a mode in which the face area is determined to be at a fixed position when the amount of change in the face area information by the face area detection unit is equal to or less than a predetermined threshold value.

また、上記の構成の顔状況判定処理装置において、前記顔状況判定処理手段は、前記眼の瞬きの回数が減ってきていると判断したときに、さらに、前記単位時間当たりの積算値についてのフレーム単位の変化量が減少して眼の瞬きの速度が落ちてきていると判断したときは、被写体人物が居眠り状態にあると推定するという態様がある。   In the face situation determination processing device having the above configuration, when the face situation determination processing unit determines that the number of blinks of the eyes is decreasing, the frame for the integrated value per unit time is further added. When it is determined that the amount of change in the unit has decreased and the blinking speed of the eyes has decreased, there is an aspect in which it is estimated that the subject person is in a doze state.

また、上記の構成の顔状況判定処理装置において、前記顔状況判定処理手段は、前記眼の瞬きの回数が減ってきていると判断したときに、さらに、前記口エリアでの時間軸上の動き情報の絶対値の単位時間当たりの積算値が減少して口数が少なくなってきていると判断したときは、被写体人物が居眠り状態にあると推定するという態様がある。   In the face situation determination processing apparatus having the above configuration, when the face situation determination processing unit determines that the number of blinks of the eyes is decreasing, the movement on the time axis in the mouth area is further performed. When it is determined that the integrated value per unit time of the absolute value of information is decreasing and the number of units is decreasing, it is estimated that the subject person is in a doze state.

本発明による撮像装置は、上記のいずれかの顔状況判定処理装置を搭載したものである。   An imaging apparatus according to the present invention includes any one of the above-described face situation determination processing devices.

本発明によれば、車載カメラで車両運転者を監視撮影しながら顔領域と特定部位（眼や口）の動きベクトルとを同時に検出し、目の動きや口の動きなどの判断を通じて運転中の居眠りなどを安定して検出することができ、事故を未然に防ぐフェイルセーフ技術として利用できる車両運転者の監視カメラシステムを提供することができる。   According to the present invention, while a vehicle driver is monitored and photographed by an in-vehicle camera, a motion vector of a face region and a specific part (eye or mouth) is detected at the same time, and driving is performed through judgment of eye movement or mouth movement. It is possible to provide a vehicle driver's surveillance camera system that can stably detect a snooze or the like and can be used as a fail-safe technique for preventing an accident.

以下、本発明にかかわる顔状況判定処理装置の実施の形態を図面を用いて詳細に説明する。   Embodiments of a face situation determination processing apparatus according to the present invention will be described below in detail with reference to the drawings.

図１は本発明の実施の形態における顔状況判定処理装置の構成を示すブロック図、図２は撮像装置の構成を示すブロック図である。   FIG. 1 is a block diagram illustrating a configuration of a face situation determination processing apparatus according to an embodiment of the present invention, and FIG. 2 is a block diagram illustrating a configuration of an imaging apparatus.

まず図２に基づいて撮像装置を説明する。図２において、１１は撮影レンズを含むレンズユニット、１２は２次元のイメージセンサ、１３はイメージセンサ１２の駆動パルスを発生するタイミングジェネレータ（ＴＧ）、１４はイメージセンサ１２から出力される撮像映像信号のノイズを除去し、ゲインをコントロールするＣＤＳ／ＡＧＣ回路、１５はアナログの映像信号をデジタルの画像データに変換するＡ／Ｄ変換器（ＡＤＣ）、１６は所定のプログラムが実行されることによって各種の処理（顔領域検出、動き検出処理を含む）を実行するＤＳＰ（デジタル信号処理回路）、１７は制御プログラムにより撮像装置の全体のシステム動作を制御するＣＰＵ（マイクロコンピュータ）、１８は画像データおよび各種データを保存するメモリ、１９は表示装置、２０は記録媒体である。本発明の実施の形態における顔状況判定処理装置は、ＤＳＰ１６とＣＰＵ１７とで構成される。   First, the imaging apparatus will be described with reference to FIG. In FIG. 2, 11 is a lens unit including a photographic lens, 12 is a two-dimensional image sensor, 13 is a timing generator (TG) that generates a driving pulse of the image sensor 12, and 14 is a captured video signal output from the image sensor 12. A CDS / AGC circuit that removes noise and controls gain, 15 is an A / D converter (ADC) that converts an analog video signal into digital image data, and 16 is variously executed by executing a predetermined program. DSP (digital signal processing circuit) that executes the processing (including face area detection and motion detection processing), 17 is a CPU (microcomputer) that controls the entire system operation of the imaging apparatus by a control program, 18 is image data and A memory for storing various data, 19 is a display device, and 20 is a recording medium.The face situation determination processing device according to the embodiment of the present invention includes a DSP 16 and a CPU 17.

次に、上記のように構成された撮像装置の動作について説明する。   Next, the operation of the imaging apparatus configured as described above will be described.

まず代表的な撮像記録動作として、撮像光がレンズユニット１１におけるレンズを介してイメージセンサ１２に入射すると、被写体像はフォトダイオードなどにより電気信号に変換され、タイミングジェネレータ１３からの駆動パルスに同期する垂直駆動および水平駆動により、アナログ連続信号である撮像映像信号がイメージセンサ１２から出力される。イメージセンサ１２から出力された撮像映像信号は、ＣＤＳ／ＡＧＣ回路１４のサンプルホールド回路（ＣＤＳ）によって１／ｆノイズが適切に低減された後、自動ゲインコントロールされ、Ａ／Ｄ変換器１５に入力されて、デジタルの画像データ（ＲＧＢデータ）に変換される。得られた画像データはＤＳＰ１６に入力され、メモリ１８を介して、輝度信号処理、色分離、カラーマトリクス処理、リサイズ処理、動きベクトル検出処理を含むデータ圧縮処理、顔領域検出処理などの各種の処理が行われる。上記の処理を１シーケンス処理とする。そして、動画出力として連続的に出力されるフレームデータに対して、上記の各処理の並列処理が行われる。生成された画像データは表示装置１９に表示されるとともに、記録操作によって記録媒体２０に記録される。   First, as a typical imaging recording operation, when imaging light is incident on the image sensor 12 via the lens in the lens unit 11, the subject image is converted into an electrical signal by a photodiode or the like, and is synchronized with a drive pulse from the timing generator 13. The image sensor 12 outputs an imaged video signal that is an analog continuous signal by vertical driving and horizontal driving. The captured video signal output from the image sensor 12 is subjected to automatic gain control after the 1 / f noise is appropriately reduced by the sample hold circuit (CDS) of the CDS / AGC circuit 14 and input to the A / D converter 15. Then, it is converted into digital image data (RGB data). The obtained image data is input to the DSP 16, and various processes such as luminance signal processing, color separation, color matrix processing, resizing processing, data compression processing including motion vector detection processing, and face area detection processing are performed via the memory 18. Is done. The above processing is assumed to be one sequence processing. Then, the parallel processing of each of the above processes is performed on the frame data continuously output as the moving image output. The generated image data is displayed on the display device 19 and recorded on the recording medium 20 by a recording operation.

記録データを再生する場合は、記録媒体２０から画像データを読み出し、圧縮データの場合は伸張処理を行い、表示サイズにリサイズした後、表示装置１９に出力する。   When reproducing the recorded data, the image data is read from the recording medium 20, and when the data is compressed, the decompression process is performed, the image is resized to the display size, and then output to the display device 19.

ＤＳＰ１６の詳細を示す図１において、１はＡ／Ｄ変換器１５からＤＳＰ１６に取り込まれた画像データに対して黒レベル調整、ゲイン調整などの前処理を行う前処理部、２は各処理部とメモリ１８との間で画像データの書き込み・読み出しを制御するメモリ制御部、３はメモリ制御部２を介してメモリ１８から読み出された画像データに対して輝度信号処理、色信号処理を行い、輝度データと色差データ（またはＲＧＢデータ）としてメモリ１８に書き戻す画像データ処理部、４は輝度データと色差データの動画圧縮とその逆動作としての伸張を行うとともに、基本ブロック単位で動きベクトル情報を出力する圧縮伸張・動きベクトル検出部である。動きベクトルの検出は、動画圧縮処理の内部機能として実行される。５はメモリ制御部２を介してメモリ１８から読み出された元画像データ（輝度データと色差データ（またはＲＧＢデータ））に対して水平垂直方向のリサイズ処理とゲイン調整を行い、処理後のリサイズ画像データをメモリ１８に書き戻すリサイズ処理部である。６はメモリ１８から読み出された画像データから顔領域検出を行う顔領域検出部、７はメモリ制御部２から受け取った表示処理用の画像データを表示装置１９に転送する表示処理部である。ＣＰＵ１７は、顔領域検出部６による顔領域情報が示す顔領域内の特定部位について、圧縮伸張・動きベクトル検出部４による基本ブロック単位の動きベクトル情報から、特定部位についてのフレーム単位の動きベクトルの変化を抽出し特定部位動き情報として出力する特定部位動き情報演算手段と、顔領域検出部６による顔領域情報と前記の特定部位動き情報演算手段による特定部位動き情報とに基づいて顔状況の判定を行う顔状況判定処理手段とを構成している。   In FIG. 1 showing the details of the DSP 16, reference numeral 1 denotes a preprocessing unit for performing preprocessing such as black level adjustment and gain adjustment on image data taken into the DSP 16 from the A / D converter 15, and 2 denotes each processing unit. A memory control unit 3 that controls writing / reading of image data to / from the memory 18, performs luminance signal processing and color signal processing on the image data read from the memory 18 via the memory control unit 2, The image data processing unit 4 writes back to the memory 18 as luminance data and color difference data (or RGB data), 4 performs moving image compression of the luminance data and color difference data, and decompression as the reverse operation, and motion vector information in units of basic blocks. It is a compression / expansion / motion vector detection unit to output. The detection of the motion vector is executed as an internal function of the moving image compression process. 5 performs resizing processing and gain adjustment in the horizontal and vertical directions on the original image data (luminance data and color difference data (or RGB data)) read from the memory 18 via the memory control unit 2, and resizing after processing A resizing processing unit that writes image data back to the memory 18. Reference numeral 6 denotes a face area detection unit that detects a face area from image data read from the memory 18, and reference numeral 7 denotes a display processing unit that transfers image data for display processing received from the memory control unit 2 to the display device 19. For the specific part in the face area indicated by the face area information by the face area detection unit 6, the CPU 17 determines the motion vector of the frame unit for the specific part from the motion vector information of the basic block unit by the compression / expansion / motion vector detection unit 4. Face condition determination based on specific part movement information calculation means for extracting changes and outputting as specific part movement information, face area information by the face area detector 6 and specific part movement information by the specific part movement information calculation means And a face situation determination processing means for performing the above.

次に、上記のように構成された本実施の形態の顔状況判定処理装置の動作を説明する。   Next, the operation of the face situation determination processing apparatus of the present embodiment configured as described above will be described.

ＤＳＰ１６に取り込まれた画像データは、前処理部１の前処理によって黒レベル調整、ゲイン調整などの前処理がなされ、次いで、メモリ制御部２を介してメモリ１８に書き込まれる。画像データ処理部３は、メモリ１８に書き込まれた画像データをメモリ制御部２を介して読み出し、輝度信号処理、色信号処理を行い、輝度データと色差データ（またはＲＧＢデータ）としてメモリ制御部２を介してメモリ１８に書き戻す。   The image data captured by the DSP 16 is subjected to preprocessing such as black level adjustment and gain adjustment by preprocessing of the preprocessing unit 1, and then written to the memory 18 via the memory control unit 2. The image data processing unit 3 reads out the image data written in the memory 18 via the memory control unit 2 and performs luminance signal processing and color signal processing, and the memory control unit 2 as luminance data and color difference data (or RGB data). Is written back to the memory 18 via

リサイズ処理部５は、メモリ制御部２を介してメモリ１８から元画像データを読み出し、水平と垂直方向にリサイズ処理し、得られたリサイズ済みの画像データをメモリ１８に書き戻す。   The resizing processing unit 5 reads the original image data from the memory 18 via the memory control unit 2, performs resizing processing in the horizontal and vertical directions, and writes the obtained resized image data back to the memory 18.

そして、顔領域検出部６は、メモリ１８からメモリ制御部２を介して顔領域検出用のリサイズ画像データを読み出し、顔領域、大きさ、傾きなどの情報を検出する。また、並行処理にて、圧縮伸張・動きベクトル検出部４は、メモリ制御部２を介してメモリ１８からリサイズ画像データまたはリサイズ前のフル画像データを周期的に読み出し、入力される動画フレームデータの圧縮を行った後、メモリ１８に書き戻すことにより、圧縮画像データをメモリ空間内に格納する。その際、動画圧縮の中間処理として動きベクトル検出が行われるが、この動きベクトル検出の結果得られた基本ブロック単位の動きベクトルも合わせて出力する。得られた動きベクトルは、メモリ制御部２を介してメモリ１８に格納される場合と、圧縮伸張・動きベクトル検出部４の内部のレジスタに格納される場合がある。   Then, the face area detection unit 6 reads the resized image data for detecting the face area from the memory 18 via the memory control unit 2 and detects information such as the face area, the size, and the inclination. In parallel processing, the compression / expansion / motion vector detection unit 4 periodically reads the resized image data or the pre-resized full image data from the memory 18 via the memory control unit 2, and After compression, the compressed image data is stored in the memory space by writing back to the memory 18. At this time, motion vector detection is performed as an intermediate process of moving image compression, and a motion vector in units of basic blocks obtained as a result of this motion vector detection is also output. The obtained motion vector may be stored in the memory 18 via the memory control unit 2 or may be stored in a register inside the compression / expansion / motion vector detection unit 4.

上記の各処理部は、ＣＰＵ１７で実行される制御プログラムにより、フレーム単位のシーケンス動作を行う。   Each of the processing units performs a sequence operation in units of frames by a control program executed by the CPU 17.

なお、リサイズ処理部５は、表示処理用に画像データを生成する場合には、画像データの全面に対して表示処理に最適なサイズとなるように水平・垂直ともにリサイズ処理を実施し、得られた表示処理用の画像データを表示処理部７に出力する。   Note that when the image data is generated for display processing, the resizing processing unit 5 performs resizing processing in both horizontal and vertical directions so that the entire size of the image data has an optimum size for display processing. The display processing image data is output to the display processing unit 7.

上記の過程において、ＣＰＵ１７による顔状況判定処理は次のように行われる。   In the above process, the face situation determination process by the CPU 17 is performed as follows.

ＣＰＵ１７は、所定の制御プログラムを実行することによって、圧縮伸張・動きベクトル検出部４による基本ブロック単位の動きベクトル情報から、顔の眼、鼻、口、頬などの特定部位についてのフレーム単位の動きベクトルの変化を抽出し特定部位動き情報を生成するとともに、顔領域検出部６による顔領域情報と前記特定部位動き情報演算手段による特定部位動き情報とに基づいて居眠り等の顔状況の判定を行う。これらは、ＣＰＵ１７による特定部位動き情報演算手段と顔状況判定処理手段の機能である。詳しくは次のとおりである。   The CPU 17 executes a predetermined control program, so that the motion in frame units for specific parts such as the eyes, nose, mouth, and cheeks of the face is obtained from the motion vector information in basic blocks by the compression / expansion / motion vector detection unit 4. A change in the vector is extracted to generate specific part movement information, and a facial condition such as doze is determined based on the face area information by the face area detection unit 6 and the specific part movement information by the specific part movement information calculation means. . These are functions of the specific part movement information calculation means and the face situation determination processing means by the CPU 17. Details are as follows.

ＣＰＵ１７は、顔領域検出部６によって得られた顔領域、大きさ、傾きなどの情報を入力し、リサイズ処理部５におけるリサイズ比率より推定して元画像上の顔の眼、鼻、口、頬などの特定部位を割り出し、さらにその特定部位について圧縮伸張・動きベクトル検出部４による基本ブロック単位の動きベクトル情報をメモリ１８または圧縮伸張・動きベクトル検出部４のレジスタより読み出し、特定部位についてのフレーム単位の動きベクトルの変化を抽出し、特定部位動き情報を生成する（特定部位動き情報演算手段）。そして、顔領域検出部６による顔領域情報と前記の特定部位動き情報演算手段による特定部位動き情報とに基づいて居眠り等の顔状況の判定を行う（顔状況判定処理手段）。   The CPU 17 inputs information such as the face area, size, and inclination obtained by the face area detection unit 6 and estimates it from the resizing ratio in the resizing processing unit 5 to face eyes, nose, mouth, and cheeks on the original image. Further, the motion vector information of the basic block unit by the compression / expansion / motion vector detection unit 4 is read from the memory 18 or the register of the compression / expansion / motion vector detection unit 4 for the specific part, and the frame for the specific part A change in the unit motion vector is extracted to generate specific part motion information (specific part motion information calculation means). Then, based on the face area information by the face area detection unit 6 and the specific part movement information by the specific part movement information calculation means, a face condition such as dozing is determined (face condition determination processing means).

上記のシーケンス動作により、例えば図３（ａ）に示すような画像データが得られたとする。そして、この画像データについて、顔領域検出部６の顔領域検出処理により顔領域情報Ａ０が得られたとする。さらに、図３（ｂ）に示すようにＣＰＵ１７における推定演算により顔領域情報Ａ０を基に両目を含む両目エリアＡ１、鼻と頬を含む鼻頬エリアＡ２、口を含む口エリアＡ３を生成する。このときの推定演算には、リサイズ処理部５におけるリサイズ比率が用いられる。圧縮伸張・動きベクトル検出部４は、両目エリアＡ１、鼻頬エリアＡ２、口エリアＡ３の画像部分に対して、図３（ｃ）の元画像内のＢで示す基本ブロック単位で動きベクトル情報を抽出する。さらに、ＣＰＵ１７による特定部位動き情報演算手段は、抽出された動きベクトル情報から特定部位についてのフレーム単位の動きベクトルの変化を抽出し、特定部位動き情報を生成する。そして、ＣＰＵ１７による顔状況判定処理手段は、顔領域検出部６による顔領域情報と前記の特定部位動き情報とに基づいて、顔領域情報Ａ０の変動量が所定の閾値以下にあるときに、フレーム内の顔領域が固定位置にあると判断する。さらに、ＣＰＵ１７による顔状況判定処理手段は、顔領域が固定位置にあると判断したときに、図４に示すように、両目エリアＡ１での時間軸上の動き情報の値が所定の閾値以上であれば、眼が瞬いていると判断する。   It is assumed that image data as shown in FIG. 3A is obtained by the above sequence operation, for example. Then, it is assumed that face area information A0 is obtained for the image data by the face area detection process of the face area detection unit 6. Further, as shown in FIG. 3B, the CPU 17 generates an eye area A1 including both eyes, a nose cheek area A2 including the nose and cheeks, and a mouth area A3 including the mouth based on the face area information A0 by the estimation calculation in the CPU 17. The resizing ratio in the resizing processing unit 5 is used for the estimation calculation at this time. The compression / decompression / motion vector detection unit 4 applies motion vector information in units of basic blocks indicated by B in the original image of FIG. 3C to the image portions of the both-eye area A1, nose cheek area A2, and mouth area A3. Extract. Furthermore, the specific part motion information calculating means by the CPU 17 extracts a motion vector change in frame units for the specific part from the extracted motion vector information, and generates specific part motion information. Then, the face condition determination processing means by the CPU 17 is configured to display the frame when the variation amount of the face area information A0 is equal to or less than a predetermined threshold based on the face area information by the face area detection unit 6 and the specific part movement information. It is determined that the inside face area is at a fixed position. Further, when the face state determination processing means by the CPU 17 determines that the face area is at the fixed position, as shown in FIG. 4, the value of the motion information on the time axis in the both-eye area A1 is equal to or greater than a predetermined threshold value. If there is, it is determined that the eyes are blinking.

あるいは加えて、そのときの両目エリアＡ１での時間軸上の動き情報の値が所定の閾値以上のときのパルス数をカウントすることにより、単位時間当たりの眼の瞬きの回数情報を抽出する。   Alternatively, in addition, by counting the number of pulses when the value of the motion information on the time axis in the both-eye area A1 at that time is equal to or greater than a predetermined threshold, the number of eye blinks per unit time is extracted.

あるいは加えて、そのときの両目エリアＡ１での時間軸上の動き情報の絶対値の単位時間当たりの積算値に着目し、その積算値が過去履歴の積算値より減少した場合は、眼の瞬きの回数が減ってきていると判断する。   Alternatively, in addition, when attention is paid to the integrated value per unit time of the absolute value of the motion information on the time axis in the both-eye area A1 at that time, if the integrated value decreases from the integrated value of the past history, It is judged that the number of times is decreasing.

あるいは加えて、そのときの前記の単位時間当たりの積算値についてフレーム単位の変化量に着目し、その積算値についてのフレーム単位の変化量が減少してきた場合は、眼の瞬きの速度が落ちてきていると判断する。   Or, in addition, if the amount of change in units of frames for the integrated value per unit time at that time is focused and the amount of change in units of frames for the integrated value has decreased, the blinking speed of the eyes decreases. Judge that

あるいは加えて、そのときの口エリアＡ３での時間軸上の動き情報の値が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの口エリアＡ３での時間軸上の動き情報の値が不定期に変化しているときは、被写体人物が話しをしていると判断する。   Alternatively, in addition, when the value of motion information on the time axis in the mouth area A3 at that time is equal to or less than a predetermined threshold, it is determined that the face area in the frame is at a fixed position, and the mouth area A3 at that time When the value of the motion information on the time axis at is changed irregularly, it is determined that the subject person is talking.

あるいは加えて、そのときの口エリアＡ３での時間軸上の動き情報の値が不定期に変化しているときに、口エリアＡ３での時間軸上の動き情報の絶対値の単位時間当たりの積算値に着目し、前記積算値が過去履歴の積算値より減少した場合は、口数が少なくなってきていると判断する。   Alternatively, in addition, when the value of the motion information on the time axis in the mouth area A3 at that time changes irregularly, the absolute value of the motion information on the time axis in the mouth area A3 per unit time Focusing on the integrated value, if the integrated value is smaller than the integrated value of the past history, it is determined that the number is decreasing.

そして、ＣＰＵ１７による顔状況判定処理手段は、眼の瞬きの回数が減ってきていると同時に眼の瞬きの速度が落ちてきているとの判断と口数が少なくなってきているとの判断のいずれか一方または組み合わせに基づいて、人物が居眠り状態にあると推定する。   Then, the face condition determination processing means by the CPU 17 determines either that the number of blinks of eyes is decreasing and at the same time that the blinking speed of eyes is decreasing or that the number of eyes is decreasing. Based on one or the combination, it is estimated that the person is dozing.

上記のように本実施の形態によれば、任意の１つの画像に対して顔領域の検出と顔領域内の特定部位（眼や口）の動きベクトル検出を同時に行えるように構成し、特定部位の状況を精度良く判定することができ、その結果として、運転中の居眠りなどを安定して検出することができる。また、実際の運転において、長時間同じ姿勢をとった結果、疲れや眠気等が進んで、顔が傾くようなことがあっても、顔領域の検出と眼の瞬きや口の動きを精度良く検出することができる。   As described above, according to the present embodiment, the configuration is such that the detection of the face area and the motion vector detection of the specific part (eye or mouth) in the face area can be performed simultaneously for any one image. Can be accurately determined, and as a result, it is possible to stably detect a nap during driving. In addition, even if the face is tilted as a result of taking the same posture for a long time in actual driving, the face is inclined and the face is tilted, the detection of the face area and the blinking of the eyes and the movement of the mouth are accurate. Can be detected.

本発明の顔状況判定処理装置は、車載カメラなどで車両運転者を監視撮影しながら顔領域検出処理と同時処理にて目の動きや口の動きの変化を推定することにより、運転中の居眠りなどを安定して検出することができ、事故を未然に防ぐフェイルセーフ技術として利用できる車両運転者の監視カメラシステム用に有用である。   The face situation determination processing device of the present invention makes a doze while driving by estimating changes in eye movement and mouth movement by simultaneous processing with face area detection processing while monitoring and photographing a vehicle driver with an in-vehicle camera or the like. It is useful for a vehicle driver's surveillance camera system that can be used as a fail-safe technique that can detect accidents and the like and prevent accidents.

本発明の実施の形態における顔状況判定処理装置の構成を示すブロック図The block diagram which shows the structure of the face condition determination processing apparatus in embodiment of this invention 本発明の実施の形態における撮像装置の構成を示すブロック図The block diagram which shows the structure of the imaging device in embodiment of this invention 本発明の車両運転者を想定した人物の画像に対する顔の分割エリア概念図Conceptual diagram of face division area for human image assuming vehicle driver of the present invention 本発明の実施の形態における顔状況判定処理装置の動作を示す波形図The wave form diagram which shows operation | movement of the face condition determination processing apparatus in embodiment of this invention 従来の技術における顔状況判定処理装置の構成を示すブロック図The block diagram which shows the structure of the face condition determination processing apparatus in a prior art

符号の説明Explanation of symbols

１ 前処理部
２ メモリ制御部
３ 画像データ処理部
４ 圧縮伸張・動きベクトル検出部
５ リサイズ処理部
６ 顔領域検出部
７ 表示処理部
１１ レンズユニット
１２ イメージセンサ
１３ タイミングジェネレータ
１４ ＣＤＳ／ＡＧＣ回路
１５ Ａ／Ｄ変換器
１６ ＤＳＰ（デジタル信号処理回路）
１７ ＣＰＵ（特定部位動き情報演算手段、顔状況判定処理手段）
１８ メモリ
１９ 表示装置
２０ 記録媒体 DESCRIPTION OF SYMBOLS 1 Pre-processing part 2 Memory control part 3 Image data processing part 4 Compression / decompression / motion vector detection part 5 Resize processing part 6 Face area detection part 7 Display processing part 11 Lens unit 12 Image sensor 13 Timing generator 14 CDS / AGC circuit 15 A / D converter 16 DSP (digital signal processing circuit)
17 CPU (specific part movement information calculation means, face situation determination processing means)
18 Memory 19 Display device 20 Recording medium

Claims (13)

２次元イメージセンサより入力されてくる画像データをメモリに格納するメモリ制御部と、
前記メモリ制御部を介して前記メモリから読み出された前記画像データに対して顔領域検出の規定サイズに縮小リサイズし、リサイズ画像データを前記メモリに格納するリサイズ処理部と、
前記メモリ制御部を介して前記メモリから読み出された前記リサイズ画像データに基づいて顔領域検出を行って顔領域情報を生成する顔領域検出部と、
動画フレーム更新の処理において、前記メモリ制御部を介して前記メモリから読み出された前記画像データまたは前記リサイズ画像データにおいて基本ブロック単位の動きベクトルを検出して動きベクトル情報を生成する動きベクトル検出部と、
前記顔領域検出部による前記顔領域情報が示す顔領域内の特定部位について、前記動きベクトル検出部による前記基本ブロック単位の動きベクトル情報から、前記特定部位についてのフレーム単位の動きベクトルの変化を抽出し特定部位動き情報として出力する特定部位動き情報演算手段と、
前記顔領域検出部による前記顔領域情報と前記特定部位動き情報演算手段による前記特定部位動き情報とに基づいて顔状況の判定を行う顔状況判定処理手段とを備えた顔状況判定処理装置。 A memory control unit for storing image data input from the two-dimensional image sensor in a memory;
A resize processing unit for reducing and resizing the image data read from the memory via the memory control unit to a prescribed size for face area detection, and storing the resized image data in the memory;
A face area detection unit that generates face area information by performing face area detection based on the resized image data read from the memory via the memory control unit;
A motion vector detection unit for generating motion vector information by detecting a motion vector in units of basic blocks in the image data or the resized image data read from the memory via the memory control unit in the moving image frame update process When,
For a specific part in the face area indicated by the face area information by the face area detection unit, a change in a motion vector in frame unit for the specific part is extracted from the motion vector information in the basic block unit by the motion vector detection unit. Specific part movement information calculating means for outputting as specific part movement information;
A face condition determination processing device comprising: a face condition determination processing unit configured to determine a face condition based on the face region information by the face region detection unit and the specific part movement information by the specific part movement information calculation unit. 前記２次元イメージセンサによる撮像信号として、カラー情報配列ＲＧＢのベイヤー配列における４画素の配置を基本配置とする信号と、カラー情報配列が水平方向にＲＧＢの３画素の配置を基本配置とする信号を対象とし、前記リサイズ処理部はローパスフィルタ処理により色キャリア情報と高周波情報を除去する請求項１に記載の顔状況判定処理装置。   As an image pickup signal by the two-dimensional image sensor, a signal having a basic arrangement of four pixels in the Bayer arrangement of the color information array RGB and a signal having a basic arrangement of the arrangement of three pixels of RGB in the horizontal direction of the color information array are used. The face state determination processing device according to claim 1, wherein the resize processing unit removes color carrier information and high frequency information by low-pass filter processing. 前記リサイズ処理部は、元画像における顔領域のトリミング処理または部分拡大処理により前記動きベクトル検出部における動きベクトル抽出用の画像データを生成する請求項１または請求項２に記載の顔状況判定処理装置。   The face condition determination processing device according to claim 1, wherein the resizing processing unit generates image data for motion vector extraction in the motion vector detection unit by trimming processing or partial enlargement processing of a face area in the original image. . 前記特定部位動き情報演算手段は、前記リサイズ処理部におけるリサイズ比率を利用して前記顔領域内の前記特定部位の推定を行う請求項１から請求項３までのいずれかに記載の顔状況判定処理装置。   The face condition determination process according to any one of claims 1 to 3, wherein the specific part movement information calculation unit estimates the specific part in the face region using a resizing ratio in the resizing processing unit. apparatus. 前記特定部位は、両目を含む両目エリア、鼻と頬を含む鼻頬エリア、口を含む口エリアのいずれかまたはすべてである請求項１から請求項４までのいずれかに記載の顔状況判定処理装置。   The face condition determination process according to any one of claims 1 to 4, wherein the specific part is any or all of a binocular area including both eyes, a nasal cheek area including a nose and a cheek, and a mouth area including a mouth. apparatus. 前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の動き情報の値が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記両目エリアでの時間軸上の動き情報の値が所定の閾値以上であれば眼が瞬いていると判断する請求項５に記載の顔状況判定処理装置。   The face situation determination processing unit determines that the face area in the frame is at a fixed position when the value of the motion information on the time axis in the nose cheek area is equal to or less than a predetermined threshold, and The face situation determination processing apparatus according to claim 5, wherein if the value of motion information on the time axis in both eye areas is equal to or greater than a predetermined threshold, it is determined that the eyes are blinking. 前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の動き情報の値が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記両目エリアでの時間軸上の動き情報の値が所定の閾値以上のときのパルス数をカウントすることにより、単位時間当たりの眼の瞬き回数情報を抽出する請求項６に記載の顔状況判定処理装置。   The face situation determination processing unit determines that the face area in the frame is at a fixed position when the value of the motion information on the time axis in the nose cheek area is equal to or less than a predetermined threshold, and The facial condition determination process according to claim 6, wherein eye blink count information per unit time is extracted by counting the number of pulses when the value of motion information on the time axis in both eye areas is equal to or greater than a predetermined threshold. apparatus. 前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の動き情報の値が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記両目エリアでの時間軸上の動き情報の絶対値の単位時間当たりの積算値についてフレーム単位の変化量に着目し、その積算値についてのフレーム単位の変化量が減少してきた場合は、眼の瞬きの速度が落ちてきていると判断する請求項５に記載の顔状況判定処理装置。   The face situation determination processing unit determines that the face area in the frame is at a fixed position when the value of the motion information on the time axis in the nose cheek area is equal to or less than a predetermined threshold, and Pay attention to the amount of change in frame units for the integrated value per unit time of the absolute value of motion information on the time axis in both eyes area, and if the amount of change in frame units for that integrated value has decreased, The face condition determination processing apparatus according to claim 5, wherein the determination is made that the speed of the face is decreasing. 前記顔状況判定処理手段は、前記鼻頬エリアでの時間軸上の動き情報の値が所定の閾値以下のときにフレーム内の顔領域が固定位置にあると判断し、かつ、そのときの前記口エリアでの時間軸上の動きベクトル情報の値が不定期に変化しているときは、被写体人物が話しをしていると判断する請求項５に記載の顔状況判定処理装置。   The face situation determination processing unit determines that the face area in the frame is at a fixed position when the value of the motion information on the time axis in the nose cheek area is equal to or less than a predetermined threshold, and 6. The face state determination processing apparatus according to claim 5, wherein when the value of motion vector information on the time axis in the mouth area changes irregularly, it is determined that the subject person is talking. 前記顔状況判定処理手段は、前記フレーム内の顔領域が固定位置にあると判断する場合に、前記鼻頬エリアでの時間軸上の動き情報の値を用いる代わりに、前記顔領域検出部による前記顔領域情報の変動量が所定の閾値以下にあるときに、前記顔領域が固定位置にあると判断する請求項６から請求項９までのいずれかに記載の顔状況判定処理装置。   When the face condition determination processing unit determines that the face area in the frame is at a fixed position, instead of using the value of motion information on the time axis in the nasal cheek area, the face area detection unit The face situation determination processing apparatus according to claim 6, wherein when the amount of change in the face area information is equal to or less than a predetermined threshold, the face area is determined to be at a fixed position. 前記顔状況判定処理手段は、前記眼の瞬きの回数が減ってきていると判断したときに、さらに、前記単位時間当たりの積算値についてのフレーム単位の変化量が減少して眼の瞬きの速度が落ちてきていると判断したときは、被写体人物が居眠り状態にあると推定する請求項７に記載の顔状況判定処理装置。   When the face condition determination processing unit determines that the number of blinks of the eye is decreasing, the amount of change in the frame unit with respect to the integrated value per unit time is further decreased, and the blink rate of the eyes The face condition determination processing apparatus according to claim 7, wherein when it is determined that the subject has fallen, the subject person is estimated to be dozing. 前記顔状況判定処理手段は、前記眼の瞬きの回数が減ってきていると判断したときに、さらに、前記口エリアでの時間軸上の動き情報の絶対値の単位時間当たりの積算値が減少して口数が少なくなってきていると判断したときは、被写体人物が居眠り状態にあると推定する請求項７に記載の顔状況判定処理装置。   When the facial condition determination processing unit determines that the number of blinks of the eye is decreasing, the integrated value per unit time of the absolute value of the motion information on the time axis in the mouth area is further decreased. The face condition determination processing device according to claim 7, wherein when it is determined that the number of the number is decreasing, the subject person is estimated to be in a dozing state. 請求項１から請求項１２までのいずれかに記載の顔状況判定処理装置を搭載している撮像装置。   An imaging device equipped with the face situation determination processing device according to any one of claims 1 to 12.
JP2007002231A 2007-01-10 2007-01-10 Face condition determining device and imaging device Pending JP2008171108A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007002231A JP2008171108A (en) 2007-01-10 2007-01-10 Face condition determining device and imaging device
US11/970,122 US20080166052A1 (en) 2007-01-10 2008-01-07 Face condition determining device and imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007002231A JP2008171108A (en) 2007-01-10 2007-01-10 Face condition determining device and imaging device

Publications (1)

Publication Number Publication Date
JP2008171108A true JP2008171108A (en) 2008-07-24

Family

ID=39699155

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007002231A Pending JP2008171108A (en) 2007-01-10 2007-01-10 Face condition determining device and imaging device

Country Status (1)

Country Link
JP (1) JP2008171108A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014048962A (en) * 2012-08-31 2014-03-17 Fujitsu Ltd Image processor, image processing method and program
JP2014198202A (en) * 2013-03-29 2014-10-23 富士通株式会社 Pulse wave detection device, pulse wave detection method, and pulse wave detection program
WO2015170720A1 (en) * 2014-05-07 2015-11-12 ヤマハ株式会社 Image recognition device and image recognition method
JP2016066127A (en) * 2014-09-22 2016-04-28 カシオ計算機株式会社 Image processing device, image processing method, and program
JP2016092513A (en) * 2014-10-31 2016-05-23 カシオ計算機株式会社 Image acquisition device, shake reduction method and program
KR20160129984A (en) * 2015-04-30 2016-11-10 주식회사 엔알피시스템 Drowsiness detection apparatus and method
KR101795188B1 (en) * 2015-12-18 2017-11-07 현대자동차주식회사 Apparatus for detecting drowsy using vibration sensing in the eye region and Method thereof
KR20180119258A (en) * 2017-04-25 2018-11-02 만도헬라일렉트로닉스(주) Driver state sensing system, driver state sensing method, and vehicle including thereof
CN113317792A (en) * 2021-06-02 2021-08-31 樊天放 Attention detection system and method based on binocular eye vector analysis

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0563906A (en) * 1991-06-21 1993-03-12 Ricoh Co Ltd Picture reader
JPH10960A (en) * 1996-06-12 1998-01-06 Yazaki Corp Driver monitoring device
JP2000040148A (en) * 1998-07-24 2000-02-08 Multi Media System Jigyo Kyodo Kumiai Device for preventing dozing while driving
JP2002511620A (en) * 1998-04-13 2002-04-16 アイマティック・インターフェイシズ・インコーポレイテッド Capturing Face Movements Based on Wavelets for Animating Human Shapes
JP2004334786A (en) * 2003-05-12 2004-11-25 Nissan Motor Co Ltd State detection device and state detection system
JP2005084979A (en) * 2003-09-09 2005-03-31 Fuji Photo Film Co Ltd Face authentication system, method and program
JP2005136766A (en) * 2003-10-31 2005-05-26 Sony Corp Image processor and image processing method
WO2005114576A1 (en) * 2004-05-21 2005-12-01 Asahi Kasei Kabushiki Kaisha Operation content judgment device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0563906A (en) * 1991-06-21 1993-03-12 Ricoh Co Ltd Picture reader
JPH10960A (en) * 1996-06-12 1998-01-06 Yazaki Corp Driver monitoring device
JP2002511620A (en) * 1998-04-13 2002-04-16 アイマティック・インターフェイシズ・インコーポレイテッド Capturing Face Movements Based on Wavelets for Animating Human Shapes
JP2000040148A (en) * 1998-07-24 2000-02-08 Multi Media System Jigyo Kyodo Kumiai Device for preventing dozing while driving
JP2004334786A (en) * 2003-05-12 2004-11-25 Nissan Motor Co Ltd State detection device and state detection system
JP2005084979A (en) * 2003-09-09 2005-03-31 Fuji Photo Film Co Ltd Face authentication system, method and program
JP2005136766A (en) * 2003-10-31 2005-05-26 Sony Corp Image processor and image processing method
WO2005114576A1 (en) * 2004-05-21 2005-12-01 Asahi Kasei Kabushiki Kaisha Operation content judgment device

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014048962A (en) * 2012-08-31 2014-03-17 Fujitsu Ltd Image processor, image processing method and program
US9690988B2 (en) 2012-08-31 2017-06-27 Fujitsu Limited Image processing apparatus and image processing method for blink detection in an image
JP2014198202A (en) * 2013-03-29 2014-10-23 富士通株式会社 Pulse wave detection device, pulse wave detection method, and pulse wave detection program
WO2015170720A1 (en) * 2014-05-07 2015-11-12 ヤマハ株式会社 Image recognition device and image recognition method
JP2016066127A (en) * 2014-09-22 2016-04-28 カシオ計算機株式会社 Image processing device, image processing method, and program
JP2016092513A (en) * 2014-10-31 2016-05-23 カシオ計算機株式会社 Image acquisition device, shake reduction method and program
KR101692532B1 (en) 2015-04-30 2017-01-18 주식회사 엔알피시스템 Drowsiness detection apparatus and method
KR20160129984A (en) * 2015-04-30 2016-11-10 주식회사 엔알피시스템 Drowsiness detection apparatus and method
KR101795188B1 (en) * 2015-12-18 2017-11-07 현대자동차주식회사 Apparatus for detecting drowsy using vibration sensing in the eye region and Method thereof
KR20180119258A (en) * 2017-04-25 2018-11-02 만도헬라일렉트로닉스(주) Driver state sensing system, driver state sensing method, and vehicle including thereof
KR101950476B1 (en) 2017-04-25 2019-04-29 만도헬라일렉트로닉스(주) Driver state sensing system, driver state sensing method, and vehicle including thereof
DE102017214353B4 (en) 2017-04-25 2023-12-07 Hl Klemove Corp. DRIVER CONDITION DETECTION SYSTEM, DRIVER CONDITION DETECTION METHOD AND VEHICLE CONTAINING THE SAME
CN113317792A (en) * 2021-06-02 2021-08-31 樊天放 Attention detection system and method based on binocular eye vector analysis

Similar Documents

Publication Publication Date Title
US20080166052A1 (en) Face condition determining device and imaging device
JP2008171108A (en) Face condition determining device and imaging device
TWI425826B (en) Image selection device and method for selecting image
US8068639B2 (en) Image pickup apparatus, control method therefor, and computer program for detecting image blur according to movement speed and change in size of face area
JP4431547B2 (en) Image display control device, control method therefor, and control program therefor
JP5388774B2 (en) Image processing apparatus and image processing apparatus control method
US8350918B2 (en) Image capturing apparatus and control method therefor
KR101537948B1 (en) Photographing method and apparatus using pose estimation of face
US8208035B2 (en) Image sensing apparatus, image capturing method, and program related to face detection
JP2006318364A (en) Image processing device
JP2007025758A (en) Face image extracting method for person, and device therefor
JP4127521B2 (en) Digital camera and control method thereof
US7936385B2 (en) Image pickup apparatus and imaging method for automatic monitoring of an image
JP2007049631A (en) Imaging apparatus
JP2009105559A (en) Method of detecting and processing object to be recognized from taken image, and portable electronic device with camera
JP2008131572A (en) Monitoring camera apparatus and photographing method of same
JP2009244944A (en) Image-recovering apparatus and photographing apparatus
JP5200820B2 (en) Imaging apparatus, imaging method, and image processing program
JP4702015B2 (en) Image display apparatus and program
JP6087615B2 (en) Image processing apparatus and control method therefor, imaging apparatus, and display apparatus
JP2011066790A (en) Image recording device and image reproduction device
JP4468419B2 (en) Image capturing apparatus and image capturing apparatus control method
JP2008171107A (en) Face condition determining device and imaging device
JP2010093451A (en) Imaging apparatus and program for imaging apparatus
JP2008167028A (en) Imaging apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120321