JP2007199766A - Face image recording device - Google Patents

Face image recording device Download PDF

Info

Publication number
JP2007199766A
JP2007199766A JP2006014148A JP2006014148A JP2007199766A JP 2007199766 A JP2007199766 A JP 2007199766A JP 2006014148 A JP2006014148 A JP 2006014148A JP 2006014148 A JP2006014148 A JP 2006014148A JP 2007199766 A JP2007199766 A JP 2007199766A
Authority
JP
Japan
Prior art keywords
image
vertex
face
face image
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006014148A
Other languages
Japanese (ja)
Inventor
Toshikazu Wada
俊和 和田
Satoru Sato
哲 佐藤
Moldovan Daniel
ダニエル・モルドバン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR Advanced Telecommunications Research Institute International
Original Assignee
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR Advanced Telecommunications Research Institute International filed Critical ATR Advanced Telecommunications Research Institute International
Priority to JP2006014148A priority Critical patent/JP2007199766A/en
Publication of JP2007199766A publication Critical patent/JP2007199766A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a face image recording device for easily recording the face image of a human body passing a specific position. <P>SOLUTION: A stereo-camera 14 photographs a region E1 where a person passes from the upper part, and a front camera 16 photographs a region E2 as an arbitrary portion of the region E1 from the direction of movement of the person. Therefore, a three-dimensional image looking down at the whole region E1 and an image catching a portion of the region E1 from the front are stored in an RAM 20. A CPU 26 detects a vertex Ht of an object based on the three-dimensional image, and calculates the moving speed of a detection result, and judges whether or not height conditions and moving speed conditions are respectively satisfied by the detection result and the calculation result. When it is judged that the both height conditions and moving speed conditions are satisfied, the face position Hc of the human body is estimated from the vertex Ht, and the attitude of the front camera 16 is controlled so that the region E2 including the face position Hc can be photographed. Then, the image photographed by the front camera 16 after control processing is recorded in a hard disk 24d. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

この発明は、顔画像記録装置に関し、特にたとえば、ゲートを通過する人体を撮影してその顔画像を記録する、顔画像記録装置に関する。   The present invention relates to a face image recording apparatus, and more particularly to a face image recording apparatus that photographs a human body passing through a gate and records the face image.

この種の顔画像記録装置では一般に、ゲートの近傍を繰り返し撮影して、得られた画像から顔の存在する可能性の高い領域を検出し、検出された領域内の画像を顔画像として記録する。ところが、ゲートの近傍に人が存在するかどうかは不確定なので、画像から顔の存在する可能性の高い領域を効率的にかつ精度よく検出しなければならない。   In general, this type of face image recording apparatus repeatedly captures the vicinity of a gate, detects an area where a face is likely to exist from the obtained image, and records the image in the detected area as a face image. . However, since it is uncertain whether or not there is a person near the gate, an area where a face is likely to exist must be detected efficiently and accurately from the image.

人体の存否が不確定な被写界を撮影した画像から顔の存在する領域を検出する従来技術としては、特許文献1に開示されたものが知られている。この従来技術は、画像を複数のブロックに分割して圧縮し、人体の特徴を示す特徴ベクトルをブロック毎に算出し、そして算出結果に基づいて顔の存在する可能性の高い領域を検出するものである。
特開2005−190400号公報
As a conventional technique for detecting a region where a face exists from an image obtained by photographing an object scene in which the existence of a human body is indeterminate, a technique disclosed in Patent Document 1 is known. This conventional technique divides an image into a plurality of blocks, compresses them, calculates a feature vector indicating the characteristics of the human body for each block, and detects a region where a face is likely to exist based on the calculation result It is.
JP-A-2005-190400

しかし、この従来技術を顔画像記録装置に適用したとしても、圧縮するとはいえ画像の全体に渡って、しかも撮影の度に、特徴計算(パターンマッチング)を行う必要があるため、膨大な計算量が要求される。     However, even if this conventional technology is applied to a face image recording apparatus, it is necessary to perform feature calculation (pattern matching) over the entire image, but every time it is taken, even though it is compressed, so a huge amount of calculation is required. Is required.

それゆえに、この発明の主たる目的は、ゲートなどの特定位置を通過する人体の顔画像を簡単に記録できる、顔画像記録装置を提供することである。   Therefore, a main object of the present invention is to provide a face image recording apparatus capable of easily recording a face image of a human body passing through a specific position such as a gate.

請求項1の発明に従う顔画像記録装置は、特定領域(E1)を特定方向(y)に通過する人体の顔画像を記録する顔画像記録装置であって、特定領域(E1)を当該特定領域の上方から三次元的に撮影する第1撮影手段(14) 、特定領域の一部である任意の部分領域(E2)を特定方向から撮影する第2撮影手段(16)、第1撮影手段によって撮影された三次元画像に基づいて特定領域内の被写体の頂点(Ht)を検出する頂点検出手段(S47)、頂点検出手段の検出結果が高さ条件を満足するか否かを判別する第1判別手段(S9)、第1判別手段によって高さ条件を満足すると判別されたとき頂点検出手段の検出結果から人体の顔位置(Hc)を推定する推定手段(S11)、推定手段によって推定された顔位置を含む部分領域を撮影するように第2撮影手段の姿勢を制御する制御手段(S13)、および制御手段の制御処理の後に第2撮影手段によって撮影された画像を記録する記録手段(S29)を備える。   The face image recording apparatus according to the first aspect of the present invention is a face image recording apparatus for recording a face image of a human body passing through a specific area (E1) in a specific direction (y), wherein the specific area (E1) is the specific area. A first photographing means (14) for photographing three-dimensionally from above, a second photographing means (16) for photographing an arbitrary partial area (E2) which is a part of the specific area from a specific direction, and a first photographing means. Vertex detection means (S47) for detecting the vertex (Ht) of the subject in the specific area based on the photographed three-dimensional image, and first to determine whether or not the detection result of the vertex detection means satisfies the height condition When the discrimination means (S9) and the first discrimination means determine that the height condition is satisfied, the estimation means (S11) for estimating the face position (Hc) of the human body from the detection result of the vertex detection means is estimated by the estimation means. Control means (S13) for controlling the posture of the second photographing means so as to photograph the partial region including the face position; and Recording means for recording images captured by the second imaging means after the control process of the control means comprises a (S29).

請求項1の発明では、特定領域は、第1撮影手段によって当該特定領域の上方から三次元的に撮影される。特定領域の一部である任意の部分領域は、第2撮影手段によって特定方向から撮影される。頂点検出手段は、第1撮影手段によって撮影された三次元画像に基づいて、特定領域内の被写体の頂点を検出する。頂点検出手段の検出結果が高さ条件を満足するか否かは、第1判別手段によって判別される。第1判別手段によって高さ条件を満足すると判別されると、推定手段が頂点検出手段の検出結果から人体の顔位置を推定し、制御手段は推定手段によって推定された顔位置を含む部分領域を撮影するように第2撮影手段の姿勢を制御する。そして、かかる制御処理の後に第2撮影手段によって撮影された画像が、記録手段によって記録される。   In the first aspect of the invention, the specific area is imaged three-dimensionally from above the specific area by the first imaging means. An arbitrary partial area that is a part of the specific area is imaged from the specific direction by the second imaging means. The vertex detecting means detects the vertex of the subject in the specific area based on the three-dimensional image photographed by the first photographing means. Whether the detection result of the vertex detection means satisfies the height condition is determined by the first determination means. When it is determined by the first determining means that the height condition is satisfied, the estimating means estimates the face position of the human body from the detection result of the vertex detecting means, and the control means determines a partial region including the face position estimated by the estimating means. The posture of the second photographing means is controlled so as to photograph. Then, after such control processing, an image photographed by the second photographing means is recorded by the recording means.

請求項1の発明に従えば、人体の通過する特定領域を第1撮影手段で上方から三次元的に撮影する一方、その一部つまり任意の部分領域を第2撮影手段で特定方向つまり人体の正面から撮影する。従って、第1撮影手段からは、特定領域の全体を俯瞰する三次元画像が得られ、第2撮影手段からは、特定領域の一部を正面から捉えた画像が得られる。   According to the first aspect of the present invention, the specific region through which the human body passes is photographed three-dimensionally from above with the first photographing means, while a part thereof, that is, an arbitrary partial region is photographed in the specific direction, that is, the human body. Shoot from the front. Accordingly, a three-dimensional image overlooking the entire specific area is obtained from the first photographing means, and an image in which a part of the specific area is captured from the front is obtained from the second photographing means.

第1撮影手段による三次元画像に基づいて被写体の頂点を検出し、検出結果が高さ条件を満足するか否かを判別する。従って、人体に適合する高さ条件を設定することで、人体とそれ以外の被写体とを弁別できる。   The vertex of the subject is detected based on the three-dimensional image by the first photographing means, and it is determined whether or not the detection result satisfies the height condition. Accordingly, by setting a height condition suitable for the human body, it is possible to distinguish the human body from other subjects.

高さ条件を満足すると判別されると、検出結果つまり頂点から人体の顔位置を推定し、推定結果を含む部分領域を撮影するように第2撮影手段の姿勢を制御し、そして制御処理の後に第2撮影手段によって撮影された画像を記録する。従って、部分領域つまり第2記録手段の被写界を人の顔に適合する大きさに設定することで、特定領域を通過する人体の顔画像が記録される。   If it is determined that the height condition is satisfied, the face position of the human body is estimated from the detection result, that is, the apex, the posture of the second photographing means is controlled so as to photograph the partial region including the estimation result, and after the control process An image photographed by the second photographing means is recorded. Therefore, by setting the partial area, that is, the field of view of the second recording means to a size suitable for the human face, a human face image passing through the specific area is recorded.

請求項1の発明によれば、パターンマッチングのような複雑な計算を行うことなく、特定位置を通過する人体の顔画像を記録できる。   According to the first aspect of the present invention, the face image of the human body passing through the specific position can be recorded without performing complicated calculation such as pattern matching.

なお、好ましい実施例では、第1撮影手段は第1被写界を互いに異なる方向から同時に撮影する複数のカメラ(14a,14b,…)を含み、三次元画像は複数のカメラによってそれぞれ撮影された複数の画像で構成され、頂点検出手段は複数の画像の間の視差に基づいて検出を行う。   In a preferred embodiment, the first photographing means includes a plurality of cameras (14a, 14b,...) That simultaneously photograph the first object scene from different directions, and the three-dimensional images are respectively photographed by the plurality of cameras. The vertex detection means is configured to perform detection based on parallax between the plurality of images.

すなわち、特定領域は、複数のカメラによって互いに異なる方向から同時に撮影される。従って、三次元画像は、複数のカメラによってそれぞれ撮影された複数の画像で構成され、頂点検出手段は、かかる複数の画像の間の視差に基づいて検出を行う。これにより、特定領域内の被写体の頂点つまり人体の頭頂部を容易に検出できる。   That is, the specific area is simultaneously photographed from different directions by a plurality of cameras. Therefore, the three-dimensional image is composed of a plurality of images respectively captured by a plurality of cameras, and the vertex detection means performs detection based on the parallax between the plurality of images. Thereby, the vertex of the subject in the specific region, that is, the top of the human body can be easily detected.

また、推定手段は、頂点検出手段の検出結果に所定の演算を施すことによって顔位置に対応する三次元座標を算出する三次元座標算出手段(S63)を含む。すなわち、頂点検出手段の検出結果に所定の演算を施すことで、顔位置に対応する三次元座標を算出する。なお、簡単な演算としては、例えば、頂点の座標(Xt,Yt,Zt)に平均的な顔の形状および大きさから計算された定数(α,β,γ)を加算して顔の中心座標(Xc,Yc,Zc)を求める演算がある。そして、かかる三次元座標を推定結果として利用する。   The estimation means includes three-dimensional coordinate calculation means (S63) for calculating three-dimensional coordinates corresponding to the face position by performing a predetermined calculation on the detection result of the vertex detection means. That is, the three-dimensional coordinates corresponding to the face position are calculated by performing a predetermined calculation on the detection result of the vertex detection means. As a simple calculation, for example, by adding a constant (α, β, γ) calculated from the average face shape and size to the vertex coordinates (Xt, Yt, Zt), the center coordinates of the face There is an operation for obtaining (Xc, Yc, Zc). Then, such three-dimensional coordinates are used as an estimation result.

請求項2の発明に従う顔画像記録装置は、請求項1に従属し、第1撮影手段は撮影を繰り返し行い、頂点検出手段は検出を撮影の度に行う。   The face image recording apparatus according to the invention of claim 2 is dependent on claim 1, wherein the first photographing means repeats photographing, and the vertex detecting means performs detection every time photographing is performed.

請求項2の発明によれば、頂点検出を繰り返すことで、被写体の動きを検知するためのセンサを特別に設けなくても、的確な頂点検出が行える。   According to the second aspect of the present invention, by repeating vertex detection, accurate vertex detection can be performed without a special sensor for detecting the movement of the subject.

請求項3の発明に従う顔画像記録装置は、請求項2に従属し、頂点検出手段の複数の検出結果に基づいて頂点の移動速度を算出する移動速度算出手段をさらに備え、第1判別手段は移動速度算出手段の算出結果が移動速度条件を満足するか否かをさらに判別し、推定手段は第1判別手段によって高さ条件および移動速度条件のいずれも満足すると判別されたとき推定を行う。   The face image recording apparatus according to the invention of claim 3 is dependent on claim 2, and further comprises a movement speed calculation means for calculating a movement speed of the vertex based on a plurality of detection results of the vertex detection means, wherein the first determination means is It is further determined whether or not the calculation result of the moving speed calculating means satisfies the moving speed condition, and the estimating means performs estimation when it is determined by the first determining means that both the height condition and the moving speed condition are satisfied.

請求項3の発明では、移動速度算出手段が、頂点検出手段の複数の検出結果に基づいて頂点の移動速度を算出する。なお、頂点の移動速度は、簡単には、前回検出された頂点と今回検出された頂点との距離を求め、この距離を撮影周期で除することにより得られる。この算出結果が移動速度条件を満足するか否かが第1判別手段によってさらに判別され、推定手段の推定処理は、高さ条件および移動速度条件のいずれも満足すると判別されたとき実行される。   In the invention of claim 3, the moving speed calculating means calculates the moving speed of the vertex based on a plurality of detection results of the vertex detecting means. The vertex moving speed can be obtained simply by obtaining the distance between the vertex detected last time and the vertex detected this time and dividing this distance by the imaging period. Whether or not the calculation result satisfies the moving speed condition is further determined by the first determining means, and the estimation process of the estimating means is executed when it is determined that both the height condition and the moving speed condition are satisfied.

請求項3の発明によれば、頂点の高さに加えてその移動速度も考慮するので、人体とそれ以外の被写体との弁別の精度が高まる。   According to the invention of claim 3, since the moving speed is taken into consideration in addition to the height of the apex, the discrimination accuracy between the human body and the other subjects is increased.

請求項4の発明に従う顔画像記録装置は、請求項1ないし3のいずれかに従属し、第2撮影手段によって撮影された画像から輪郭線を検出する輪郭線検出手段(S17)、および輪郭線検出手段によって検出された輪郭線および当該輪郭線で囲まれた領域内の画像が大きさ条件および色条件をそれぞれ満足するか否かを判別する第2判別手段(S21)をさらに備え、記録手段は第2判別手段によって大きさ条件および色条件がいずれも満足されると判別されたとき記録処理を実行する。   A face image recording apparatus according to a fourth aspect of the present invention is dependent on any one of the first to third aspects, and includes a contour line detecting means (S17) for detecting a contour line from an image photographed by the second photographing means, and a contour line. And a second discriminating unit (S21) for discriminating whether or not the contour line detected by the detecting unit and the image in the region surrounded by the contour line satisfy the size condition and the color condition, respectively, and the recording unit When the second determining means determines that both the size condition and the color condition are satisfied, the recording process is executed.

請求項4の発明では、第2撮影手段によって撮影された画像から輪郭線が輪郭線検出手段によって検出される。第2判別手段は、検出された輪郭線および当該輪郭線で囲まれた領域内の画像が大きさ条件および色条件をそれぞれ満足するか否かを判別する。従って、人の顔に適合する大きさ条件および色条件を設定することで、人の顔とそれ以外の被写体とを弁別できる。   In the invention according to claim 4, the contour line is detected by the contour line detection unit from the image photographed by the second photographing unit. The second discriminating unit discriminates whether or not the detected contour line and the image in the region surrounded by the contour line satisfy the size condition and the color condition, respectively. Therefore, by setting a size condition and a color condition suitable for a human face, it is possible to discriminate the human face from other subjects.

記録処理は、大きさ条件および色条件のいずれも満足すると判別されたときに実行される。従って、より高い精度で人の顔画像を記録できる。   The recording process is executed when it is determined that both the size condition and the color condition are satisfied. Therefore, a human face image can be recorded with higher accuracy.

請求項5の発明に従う顔画像記録装置は、請求項4に従属し、輪郭線検出手段によって検出された輪郭線で囲まれた領域内の画像が記録済みか否かを判別する第3判別手段(S25)をさらに備え、記録手段は第3判別手段によって記録済みでないと判別されたとき記録処理を実行する。   A face image recording apparatus according to the invention of claim 5 is dependent on claim 4 and third determination means for determining whether or not an image in an area surrounded by the contour detected by the contour detection means has been recorded. (S25) is further provided, and the recording means executes the recording process when it is determined by the third determining means that recording has not been completed.

請求項5の発明では、輪郭線内の画像が記録済みか否かは、第3判別手段判別によって判別される。記録処理は、輪郭線内の画像が記録済みでないと判別されたとき実行される。   According to the fifth aspect of the present invention, whether or not the image within the contour line has been recorded is determined by the third determination means determination. The recording process is executed when it is determined that the image within the contour line has not been recorded.

請求項5の発明によれば、未記録の顔画像だけを効率よく記録できる。   According to the invention of claim 5, only the unrecorded face image can be recorded efficiently.

なお、好ましい実施例では、記録手段は輪郭線検出手段によって検出された輪郭線で囲まれた領域内の画像だけを記録する。つまり、背景が除去された顔画像を記録するので、記録される顔画像のデータ量を抑制でき、また記録済みか否かの判別が容易になる。   In the preferred embodiment, the recording means records only the image in the area surrounded by the contour detected by the contour detecting means. That is, since the face image from which the background has been removed is recorded, the data amount of the recorded face image can be suppressed, and it is easy to determine whether or not it has been recorded.

この発明によれば、特定位置を通過する人体の顔画像を簡単に記録することができる。   According to the present invention, it is possible to easily record a face image of a human body passing through a specific position.

この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。   The above object, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.

図1を参照して、この実施例の入室管理システム10は、ゲートGの鉛直上方に固定的に設置されるステレオカメラ14と、ゲートGの正面に回動可能に設置される正面カメラ16と、両カメラを制御して入室管理を行うサーバ12と含む。   Referring to FIG. 1, an entrance management system 10 of this embodiment includes a stereo camera 14 that is fixedly installed vertically above a gate G, and a front camera 16 that is rotatably installed in front of the gate G. And a server 12 that controls both cameras and manages room entry.

ステレオカメラ14は、複数ここでは2つのカメラ14aおよび14bで構成され、これら2つのカメラ14aおよび14bで同一の被写界を撮影し、同一の被写界の対応する2つの画像(以下“2つの画像”)を出力する。従って、ステレオカメラ14から出力される2つの画像の間には視差が存在する。   The stereo camera 14 is composed of a plurality of cameras, here two cameras 14a and 14b. The two cameras 14a and 14b capture the same scene, and two corresponding images of the same scene (hereinafter “2”). Two images "). Accordingly, there is a parallax between the two images output from the stereo camera 14.

サーバ12は、かかる2つの画像に基づいて、ゲートGから入室する人物の顔Hの位置を三次元的に特定し、特定された位置に被写界の中心が重なるように正面カメラ16の姿勢を制御する。   The server 12 three-dimensionally identifies the position of the face H of the person entering the room from the gate G based on the two images, and the posture of the front camera 16 so that the center of the object scene overlaps the identified position. To control.

また、サーバ12は、過去に入室し登録された人物の顔画像を登録済み顔画像として記憶しており、正面カメラ16によって顔画像が撮影される度に、撮影された顔画像を登録済み顔画像と照合し、未登録であればこれを登録する。一方、撮影された顔画像が登録済みであれば、その顔画像に対応する人物の氏名(ないしは識別子)を入室時刻と共に記録する。なお、入室者の顔画像を登録したり氏名等を記録する際に、その人物に告知すべき情報を出力したり、係員に対する警告メッセージを出力してもよい。   The server 12 stores face images of persons who have entered and registered in the past as registered face images, and each time a face image is captured by the front camera 16, the captured face image is registered as a registered face image. Check the image and register it if it is not registered. On the other hand, if the photographed face image has been registered, the name (or identifier) of the person corresponding to the face image is recorded together with the entry time. In addition, when registering a face image of a room occupant or recording a name or the like, information to be notified to the person may be output, or a warning message for an attendant may be output.

詳しくは、サーバ12は、ハードディスクドライブ(HDD)24を含む。登録済み顔画像は、HDD24内のハードディスク24d内に記憶される(図3(B)参照)。図2も併せて参照して、ステレオカメラ14は、ゲートGの近傍に割り当てられた領域E1を撮像領域とする。ここで領域E1は、ゲートGの面をy方向に一定距離平行移動して得られる直方体領域であって、例えば横1m×奥行き1m×高さ2m程度の大きさを有する。   Specifically, the server 12 includes a hard disk drive (HDD) 24. The registered face image is stored in the hard disk 24d in the HDD 24 (see FIG. 3B). Referring also to FIG. 2, the stereo camera 14 uses an area E1 allocated in the vicinity of the gate G as an imaging area. Here, the region E1 is a rectangular parallelepiped region obtained by translating the surface of the gate G by a certain distance in the y direction, and has a size of about 1 m wide × 1 m deep × 2 m high, for example.

なお、この実施例では、図1,図2に示すように、ステレオカメラ14を原点として、鉛直下向きをz軸とし、ゲートGの面に垂直で室外から室内に向かう向きをy軸とし、そしてz軸およびy軸に垂直な向きをx軸としている。   In this embodiment, as shown in FIGS. 1 and 2, the stereo camera 14 is the origin, the vertical downward direction is the z axis, the direction perpendicular to the plane of the gate G and going from the outdoor to the indoor is the y axis, and The direction perpendicular to the z-axis and the y-axis is taken as the x-axis.

また、正面カメラ16は、領域E1内の任意の領域E2を撮像領域とする。領域E2は、例えば0.4m×0.3m×0.4m程度の大きさを有する。サーバ12が正面カメラ16の姿勢を制御することで、この領域E2の中心点が人物の顔Hの中心点Hcと一致する。従って、領域E1が固定領域であるのに対し、領域E2は人物に従って移動する移動領域である。   Further, the front camera 16 sets an arbitrary area E2 in the area E1 as an imaging area. The region E2 has a size of about 0.4 m × 0.3 m × 0.4 m, for example. The server 12 controls the posture of the front camera 16 so that the center point of the area E2 matches the center point Hc of the human face H. Accordingly, the area E1 is a fixed area, while the area E2 is a moving area that moves according to a person.

ステレオカメラ14から出力される2つの画像は、メモリコントローラ22を通してRAM20のステレオカメラ画像記憶領域20aに別々に一時記憶される(図3(A)参照)。一方、正面カメラ16によって撮影された画像は、同じくメモリコントローラ22を通してRAM20の正面カメラ画像記憶領域20bに一時記憶される(図3(A)参照)。   The two images output from the stereo camera 14 are temporarily stored separately in the stereo camera image storage area 20a of the RAM 20 through the memory controller 22 (see FIG. 3A). On the other hand, an image photographed by the front camera 16 is temporarily stored in the front camera image storage area 20b of the RAM 20 through the memory controller 22 (see FIG. 3A).

CPU26は、メモリコントローラ22を通してステレオカメラ画像記憶領域20aから2つの画像を読み出し、読み出された2つの画像の間の視差に基づいて人物の顔位置を推定する。   The CPU 26 reads two images from the stereo camera image storage area 20a through the memory controller 22, and estimates the face position of the person based on the parallax between the two read images.

すなわち、CPU26は、ステレオカメラ画像記憶領域20aから2つの画像を読み出し、読み出された2つの画像の少なくとも一方に基づいて、まず被写界に背景以外の被写体が含まれるか否かを判別する。ここで背景以外の被写体ありと判別されると、読み出された2つの画像の間の視差に基づいて被写体の頂点を検出する。   That is, the CPU 26 reads two images from the stereo camera image storage area 20a, and first determines whether or not a subject other than the background is included in the scene based on at least one of the two read images. . If it is determined that there is a subject other than the background, the vertex of the subject is detected based on the parallax between the two read images.

頂点検出は、具体的には次の手順で行う。最初、領域E1を所定数(例えば50×100)の領域に分割する。次に、2つの画像の間の視差を領域毎に求め、そして視差に基づいて被写体までの距離を領域毎に算出する。これにより、被写体までの距離を領域毎に示した距離分布情報が得られる。そして、この距離分布情報から、被写体の頂点を検出する。検出された頂点の座標(Xt,Yt,Zt)は、RAM20の頂点座標記憶領域20c(図3(A)参照)に記憶される。   Specifically, vertex detection is performed according to the following procedure. First, the area E1 is divided into a predetermined number (for example, 50 × 100) of areas. Next, the parallax between the two images is obtained for each region, and the distance to the subject is calculated for each region based on the parallax. Thereby, distance distribution information indicating the distance to the subject for each region is obtained. Then, the vertex of the subject is detected from this distance distribution information. The detected vertex coordinates (Xt, Yt, Zt) are stored in the vertex coordinate storage area 20c of the RAM 20 (see FIG. 3A).

続いてCPU26は、頂点座標記憶領域20c内の複数の座標から頂点の移動速度を算出する。そして、頂点の高さおよび移動速度がそれぞれ所定の範囲内にあるか否かを判別する。高さおよび移動速度がいずれも所定の範囲内にあれば、被写体は人体であると見なされる。   Subsequently, the CPU 26 calculates the moving speed of the vertex from the plurality of coordinates in the vertex coordinate storage area 20c. And it is discriminate | determined whether the height and moving speed of a vertex are in the predetermined range, respectively. If both the height and the moving speed are within a predetermined range, the subject is regarded as a human body.

そこでCPU26は、頂点つまり頭頂部の座標(Xt,Yt,Zt)から顔Hの中心位置Hcを推定する。推定結果は、顔中心座標記憶領域20dに記憶される。なお、顔Hの中心座標(Xc,Yc,Zc)は、簡単には、頭頂部の座標(Xt,Yt,Zt)に、平均的な顔の形状および大きさから計算された定数(α,β,γ)をそれぞれ加算することにより求めることができる。   Therefore, the CPU 26 estimates the center position Hc of the face H from the coordinates (Xt, Yt, Zt) of the vertex, that is, the top of the head. The estimation result is stored in the face center coordinate storage area 20d. The center coordinates (Xc, Yc, Zc) of the face H are simply constants (α, Yt, Zt) calculated from the average face shape and size to the coordinates (Xt, Yt, Zt) of the top of the head. β, γ) can be obtained by adding them respectively.

そしてCPU26は、顔中心座標を参照して、正面カメラ16の撮像領域E2の中心が顔Hの中心と一致するように正面カメラ16の姿勢を制御する。そして姿勢制御の完了後に、正面カメラ画像記憶領域20b内の正面カメラ画像から輪郭線を検出する。   Then, the CPU 26 refers to the face center coordinates and controls the posture of the front camera 16 so that the center of the imaging area E2 of the front camera 16 matches the center of the face H. Then, after the posture control is completed, a contour line is detected from the front camera image in the front camera image storage area 20b.

輪郭線検出は、例えば、次の手順で行われる。最初、領域E2を所定数(例えば400×400)の領域に分割する。次に、正面カメラ画像に含まれる輝度情報を参照して、互いに隣接する2つの領域の間の輝度差を算出する。そして、算出結果を閾値と比較して、閾値を超えていればその2つの領域の位置に境界線が存在すると判定する。かかる処理を繰り返すことで、輪郭線が検出される。   The contour line detection is performed by the following procedure, for example. First, the area E2 is divided into a predetermined number of areas (for example, 400 × 400). Next, with reference to the luminance information included in the front camera image, the luminance difference between two adjacent areas is calculated. Then, the calculation result is compared with a threshold value, and if the threshold value is exceeded, it is determined that a boundary line exists at the position of the two regions. By repeating this process, a contour line is detected.

続いてCPU26は、検出された輪郭線の大きさと、この輪郭線で囲まれた領域内の色情報とに基づいて、輪郭線で囲まれた画像が人の顔であるかどうかを判別する。大きさおよび色がいずれも所定の範囲内にあれば、輪郭線で囲まれた画像は人の顔であると判別し、正面カメラ画像から輪郭線で囲まれた画像を抽出する。抽出された画像は、入室しようとしている人物の顔画像として、顔画像記憶領域20e(図3(A)参照)に記憶される。   Subsequently, the CPU 26 determines whether or not the image surrounded by the contour line is a human face, based on the detected size of the contour line and the color information in the region surrounded by the contour line. If both the size and the color are within a predetermined range, it is determined that the image surrounded by the contour line is a human face, and the image surrounded by the contour line is extracted from the front camera image. The extracted image is stored in the face image storage area 20e (see FIG. 3A) as a face image of the person who is about to enter the room.

次に、CPU26は、顔画像記憶領域20eの顔画像をハードディスク24d内の登録済み顔画像と照合し、未登録であれば新規登録を行う。新規登録処理では、顔画像記憶領域20eから顔画像を読み出し、読み出された顔画像をHDD24を介してハードディスク24dに記録する。また、キーボード等(図示せず)を介して性別,年齢その他の個人情報を入力する操作を受け付け、受け付けられた個人情報をデータベース(図示せず)に追加する。一方、顔画像が登録済みであれば、この顔画像に対応する人物の個人情報をデータベースから取得し、その人物つまり入室者の氏名,入室時刻等をハードディスク24dに記録する。   Next, the CPU 26 compares the face image in the face image storage area 20e with the registered face image in the hard disk 24d, and performs new registration if it is not registered. In the new registration process, a face image is read from the face image storage area 20e, and the read face image is recorded on the hard disk 24d via the HDD 24. In addition, an operation for inputting gender, age and other personal information via a keyboard or the like (not shown) is accepted, and the accepted personal information is added to a database (not shown). On the other hand, if the face image has been registered, the personal information of the person corresponding to the face image is acquired from the database, and the name of the person, that is, the person entering the room, the room entry time, etc. are recorded on the hard disk 24d.

より具体的には、サーバ12のCPU26は、図4〜図7のフローチャートに従って動作する。なお、これらのフロー図に対応するプログラムは、ROM28に記憶されている。   More specifically, the CPU 26 of the server 12 operates according to the flowcharts of FIGS. Note that programs corresponding to these flowcharts are stored in the ROM 28.

図4を参照して、電源が投入されると、まずステップS1で、ステレオカメラ14および正面カメラ16からの画像の取り込みをメモリコントローラ22に命令する。それに応じてメモリコントローラ22は、ステレオカメラ14および正面カメラ16からそれぞれ画像を取得し、取得された画像をRAM20内のステレオカメラ画像記憶領域20aおよび正面カメラ画像記憶領域20bにそれぞれ書き込む。   Referring to FIG. 4, when the power is turned on, first, in step S1, the memory controller 22 is instructed to capture images from the stereo camera 14 and the front camera 16. In response to this, the memory controller 22 acquires images from the stereo camera 14 and the front camera 16, respectively, and writes the acquired images in the stereo camera image storage area 20a and the front camera image storage area 20b in the RAM 20, respectively.

続いて、ステップS3でステレオカメラ画像記憶領域20aの画像を参照し、ステップS5では背景のみか否かを判別する。ステレオカメラ画像記憶領域20aの画像と予め記憶された背景画像とが一致条件を満足すれば、ステップS5でYESと判別し、ステップS3に戻る。なお、判別は、ステレオカメラ画像記憶領域20a内の2つの画像で構成される三次元画像に基づいても、2つの画像のいずれか一方つまり平面画像に基づいてもよい。   Subsequently, in step S3, the image in the stereo camera image storage area 20a is referred to, and in step S5, it is determined whether or not only the background is present. If the image in the stereo camera image storage area 20a and the background image stored in advance satisfy the matching condition, “YES” is determined in the step S5, and the process returns to the step S3. Note that the determination may be based on a three-dimensional image composed of two images in the stereo camera image storage area 20a or based on one of the two images, that is, a planar image.

ステップS5でNOであれば、ステップS7に移って、ステレオカメラ画像記憶領域20aの2つの画像に基づいて、被写体の頂点を検出し、かつ頂点の移動速度を算出する(後述)。検出された頂点の座標(Xt,Yt,Zt)は、頂点座標記憶領域20cに記憶される(図3(A)参照)。   If “NO” in the step S5, the process shifts to a step S7 to detect the vertex of the subject and calculate the moving speed of the vertex based on the two images in the stereo camera image storage area 20a (described later). The coordinates (Xt, Yt, Zt) of the detected vertex are stored in the vertex coordinate storage area 20c (see FIG. 3A).

続くステップS9では、検出された頂点の高さおよび算出された移動速度が人体の値として適当か否かを判別する。ここでNOであればステップS3に戻り、YESであればステップS11に移る。より具体的には、高さおよび移動速度が高さ条件および移動速度条件を満足するか否かを判別し、高さ条件および移動速度条件を共に満足すれば人体と判別する。いずれか一方でも満足しなければ、人体でないと判別する。   In a succeeding step S9, it is determined whether or not the detected vertex height and the calculated moving speed are appropriate as a human body value. If “NO” here, the process returns to the step S3, and if “YES”, the process proceeds to the step S11. More specifically, it is determined whether or not the height and the moving speed satisfy the height condition and the moving speed condition. If both the height condition and the moving speed condition are satisfied, the human body is determined. If either one is not satisfied, it is determined that it is not a human body.

ステップS11では、頂点すなわち頭頂部の座標(Xt,Yt,Zt)に基づいて、顔Hの中心位置を推定する(後述)。そしてステップS13で、領域E2の中心が顔Hの中心Hcと一致するように正面カメラ16の姿勢を制御する(図1,図2参照)。姿勢制御が完了すると、ステップS15に移る。   In step S11, the center position of the face H is estimated based on the coordinates (Xt, Yt, Zt) of the vertex, that is, the top of the head (described later). In step S13, the posture of the front camera 16 is controlled so that the center of the region E2 coincides with the center Hc of the face H (see FIGS. 1 and 2). When the posture control is completed, the process proceeds to step S15.

次に、ステップS15で正面カメラ画像記憶領域20bの画像を参照し、ステップS17ではこの正面カメラ画像から輪郭線を検出する(後述)。ステップS19では、輪郭線の大きさと、輪郭線で囲まれた領域内の色とをそれぞれ評価する。ステップS21では、評価結果が人の顔の値として適当かを判別する。大きさおよび色がそれぞれ所定範囲内にあれば、ステップS21でYESと判別され、ステップS23に移る。ここでNOであればステップS3に戻る。   Next, in step S15, an image in the front camera image storage area 20b is referred to, and in step S17, a contour line is detected from the front camera image (described later). In step S19, the size of the contour line and the color in the region surrounded by the contour line are each evaluated. In step S21, it is determined whether the evaluation result is appropriate as a human face value. If the size and the color are within the predetermined ranges, YES is determined in step S21, and the process proceeds to step S23. If “NO” here, the process returns to the step S3.

ステップS23では、正面カメラ画像から輪郭線で囲まれた領域内の画像を抽出する。抽出された画像は、顔画像として顔画像記憶領域20e(図3(A)参照)に記憶される。続くステップS25では、ハードディスク24d内の登録済み顔画像と照合することで、顔画像記憶領域20eの顔画像が登録済みか否かを判別する。この顔画像との間で一致条件を満足する登録済み顔画像があれば、ステップS25でYESと判別され、ステップS27に移る。一致条件を満足する登録済み顔画像がなければ、ステップS29に移る。   In step S23, an image in the region surrounded by the contour line is extracted from the front camera image. The extracted image is stored in the face image storage area 20e (see FIG. 3A) as a face image. In a succeeding step S25, it is determined whether or not the face image in the face image storage area 20e has been registered by collating with the registered face image in the hard disk 24d. If there is a registered face image that satisfies the matching condition with this face image, YES is determined in the step S25, and the process proceeds to a step S27. If there is no registered face image satisfying the matching condition, the process proceeds to step S29.

ステップS27では、入室記録処理を実行する。入室記録処理では、この顔画像に該当する人物の個人情報をデータベース(図示せず)から取得し、その氏名および入室時刻をハードディスク24dに記録する。その後、ステップS3に戻る。   In step S27, a room entry recording process is executed. In the room entry recording process, personal information of a person corresponding to the face image is acquired from a database (not shown), and the name and room entry time are recorded on the hard disk 24d. Then, it returns to step S3.

一方、ステップS29では、顔画像の新規登録を行う。新規登録処理では、この顔画像をハードディスク24dに記録し、また、この顔画像に該当する個人情報をデータベースに追加する。その後、ステップS3に戻る。なお、ステップS27ないしはS29で、必要に応じて本人への告知,係員への警告等を行ってもよい。   On the other hand, in step S29, a new face image is registered. In the new registration process, this face image is recorded in the hard disk 24d, and personal information corresponding to this face image is added to the database. Then, it returns to step S3. In steps S27 to S29, a notice to the person, a warning to a staff member, or the like may be performed as necessary.

次に、上記ステップS7の頂点検出および移動速度算出処理は、図5のサブルーチンに従う。図5を参照して、まずステップS41で、ステレオカメラ14の被写界つまり領域E1を所定数(例えば50×100)の領域に分割する。続いて、ステップS43でステレオカメラ画像記憶領域20aに記憶された2つの画像の間の視差を領域毎に算出し、ステップS45では視差に基づいて被写体までの距離を領域毎に算出する。これにより、被写体までの距離を領域毎に示す距離分布情報が得られる。   Next, the vertex detection and movement speed calculation processing in step S7 follows the subroutine of FIG. Referring to FIG. 5, first, in step S41, the object scene of stereo camera 14, that is, area E1, is divided into a predetermined number (for example, 50 × 100) of areas. Subsequently, in step S43, the parallax between the two images stored in the stereo camera image storage area 20a is calculated for each area, and in step S45, the distance to the subject is calculated for each area based on the parallax. Thereby, distance distribution information indicating the distance to the subject for each region is obtained.

次に、ステップS47で距離分布情報に基づいて被写体の頂点を検出し、ステップS49では、検出された頂点の三次元座標を頂点座標記憶領域20cに記憶する。そしてステップS51で、頂点座標記憶領域20cを参照して、頂点の移動速度を算出する。算出後、上位層のルーチンに復帰する。   In step S47, the vertex of the subject is detected based on the distance distribution information. In step S49, the three-dimensional coordinates of the detected vertex are stored in the vertex coordinate storage area 20c. In step S51, the vertex moving speed is calculated with reference to the vertex coordinate storage area 20c. After the calculation, the process returns to the upper layer routine.

一方、上記ステップS11の顔位中心推定処理は、図6のサブルーチンに従う。図6を参照して、ステップS61で頂点座標記憶領域20cの座標(Xt,Yt,Zt)を参照し、ステップS63では、顔中心座標(Xc,Yc,Zc)を次の近似式により算出する。   On the other hand, the face center estimation process in step S11 follows the subroutine of FIG. Referring to FIG. 6, the coordinates (Xt, Yt, Zt) of the vertex coordinate storage area 20c are referred to in step S61, and the face center coordinates (Xc, Yc, Zc) are calculated by the following approximate expression in step S63. .

Xc=Xt+α,Yc=Yt+β,Zc=Zt+γ
ここで(α,β,γ)は、平均的な顔の形状および大きさから計算された定数である。
Xc = Xt + α, Yc = Yt + β, Zc = Zt + γ
Here, (α, β, γ) are constants calculated from the average face shape and size.

ステップS65では、算出結果を顔中心座標記憶領域20dに記憶する。記憶後、上位層のルーチンに復帰する。   In step S65, the calculation result is stored in the face center coordinate storage area 20d. After storing, return to the upper layer routine.

また、上記ステップS17の輪郭線検出処理は、図7のサブルーチンに従う。図7を参照して、まずステップS71で、正面カメラ16の被写界(領域E2)を所定数(例えば400×400)の領域に分割する。続いて、ステップS73で正面カメラ画像に含まれる輝度情報を参照し、ステップS75では、隣接領域間の輝度差に基づいて輪郭線を検出する。   Further, the contour detection processing in step S17 follows the subroutine of FIG. Referring to FIG. 7, first, in step S71, the object scene (area E2) of front camera 16 is divided into a predetermined number (for example, 400 × 400). Subsequently, in step S73, the luminance information included in the front camera image is referred to, and in step S75, a contour line is detected based on the luminance difference between adjacent regions.

この輪郭線検出の具体的な処理としては、例えば、隣接する2つの領域の間の輝度差を算出し、算出結果が閾値を超えていれば当該2つの領域の境界線を輪郭線の一部と判定する。このような判定処理を正面カメラ画像の全体に渡って実行することで、正面カメラ画像に含まれる顔画像の輪郭線を検出できる。または、最初に境界線の一部が検出されるまでは逐次判定を行い、検出後は輪郭線の方向に沿って進みつつ輪郭線の近傍領域のみについて判定を行えば、効率よく輪郭線を検出することができる。検出後、上位層のルーチンに復帰する。   As specific processing of this contour line detection, for example, a luminance difference between two adjacent regions is calculated, and if the calculation result exceeds a threshold value, the boundary line between the two regions is part of the contour line. Is determined. By executing such determination processing over the entire front camera image, it is possible to detect the contour line of the face image included in the front camera image. Alternatively, it is possible to detect the outline efficiently by performing sequential determination until a part of the boundary line is detected for the first time, and determining only the region near the outline while proceeding along the direction of the outline after detection. can do. After detection, return to the upper layer routine.

以上から明らかなように、この実施例の顔画像記録装置10は、人の通過する領域E1をステレオカメラ14で上方から撮影する一方、領域E1の任意の一部である領域E2を正面カメラ16で撮影する。従って、RAM20には、領域E1の全体を俯瞰する三次元画像と、領域E1の一部を正面から捉えた画像とが記憶される。   As is apparent from the above, the face image recording apparatus 10 of this embodiment photographs the area E1 through which a person passes from above with the stereo camera 14, while the front camera 16 captures an area E2 that is an arbitrary part of the area E1. Shoot with. Therefore, the RAM 20 stores a three-dimensional image overlooking the entire area E1 and an image capturing a part of the area E1 from the front.

CPU26は、RAM20に記憶された三次元画像に基づいて被写体の頂点Htを検出し(S47)、検出結果の移動速度を算出し(S51)、検出結果および算出結果が高さ条件および移動速度条件をそれぞれ満足するか否かを判別する(S9)。従って、人体に適合する高さ条件および移動速度条件を設定することで、人体とそれ以外の被写体とを弁別できる。   The CPU 26 detects the vertex Ht of the subject based on the three-dimensional image stored in the RAM 20 (S47), calculates the movement speed of the detection result (S51), the detection result and the calculation result are the height condition and the movement speed condition. Are determined (S9). Therefore, by setting the height condition and the moving speed condition suitable for the human body, it is possible to discriminate the human body from other subjects.

高さ条件および移動速度条件のいずれも満足すると判別されると、頂点Htから顔中心位置Hcを推定して(S11)、顔中心位置Hcを中心に含む領域E2を撮影するように正面カメラ16の姿勢を制御する(S13)。そして、制御処理の後に正面カメラ16で撮影された画像から輪郭線を検出し(S17)、検出された輪郭線および当該輪郭線で囲まれた領域内の画像が大きさ条件および色条件をそれぞれ満足するか否かを判別する(S21)。従って、人の顔に適合する大きさ条件および色条件を設定することで、人の顔とそれ以外の被写体とを弁別できる。   If it is determined that both the height condition and the moving speed condition are satisfied, the face center position Hc is estimated from the vertex Ht (S11), and the front camera 16 so as to photograph the region E2 including the face center position Hc as the center. Is controlled (S13). Then, a contour line is detected from the image photographed by the front camera 16 after the control process (S17), and the detected contour line and the image in the region surrounded by the contour line have the size condition and the color condition, respectively. It is determined whether or not satisfied (S21). Therefore, by setting a size condition and a color condition suitable for a human face, it is possible to discriminate the human face from other subjects.

そして、大きさ条件および色条件のいずれも満足すると判別されると、正面カメラ画像から輪郭線で囲まれた領域内の画像を抽出し(S23)、抽出された画像が記録済みか否かを判別し(S25)、未記録であればこれをハードディスク24dに記録する(S29)。従って、領域E2つまり正面カメラ16の被写界を人の顔に適合する大きさに設定することで、領域E1を通過する未登録の人体の顔画像がハードディスク24dに記録される。   If it is determined that both the size condition and the color condition are satisfied, an image in the area surrounded by the outline is extracted from the front camera image (S23), and whether or not the extracted image has been recorded is determined. If it is not recorded, it is recorded on the hard disk 24d (S29). Therefore, by setting the area E2, that is, the field of view of the front camera 16, to a size suitable for the human face, an unregistered human face image passing through the area E1 is recorded on the hard disk 24d.

これにより、パターンマッチングのような複雑な計算を行うことなく、ゲートGから入室する未登録の人体の顔画像を記録することができる。   Thereby, an unregistered human face image entering from the gate G can be recorded without performing complicated calculation such as pattern matching.

なお、この実施例では、ステレオカメラ14の画像に人体が含まれると判別されたとき、顔の位置を推定して正面カメラ16の姿勢を制御し、その後、正面カメラ16の画像に顔が含まれるか否かをさらに判別して、顔が含まれると判別された時点で画像を記録しているが、後者の判別を省略して、姿勢制御の後すぐに正面カメラ16の画像を記録してもよい。ただし、後者の判別を行うことで、記録精度が向上する。   In this embodiment, when it is determined that the human body is included in the image of the stereo camera 14, the position of the face is estimated to control the posture of the front camera 16, and then the face is included in the image of the front camera 16. The image is recorded when it is determined that the face is included, but the latter determination is omitted and the image of the front camera 16 is recorded immediately after the posture control. May be. However, the recording accuracy is improved by performing the latter determination.

また、輪郭線で囲まれた領域内の画像だけを記録したが、正面カメラ画像をそのまま記録してもよい。ただし、輪郭線内の画像だけを記録することで、記録する画像のデータ量を削減でき、また記録済みか否かの判別が容易になる。   Further, although only the image in the region surrounded by the contour line is recorded, the front camera image may be recorded as it is. However, by recording only the image within the contour line, the data amount of the image to be recorded can be reduced, and it becomes easy to determine whether or not the image has been recorded.

この発明の一実施例の構成を示すブロック図である。It is a block diagram which shows the structure of one Example of this invention. 図1実施例の動作例を示す図解図である。It is an illustration figure which shows the operation example of FIG. 1 Example. (A)は図1実施例に適用されるメモリマップの一部を示すブロック図であり、(B)は図1実施例に適用されるメモリマップの他の一部を示すブロック図である。(A) is a block diagram showing a part of a memory map applied to the embodiment of FIG. 1, and (B) is a block diagram showing another part of the memory map applied to the embodiment of FIG. 図1実施例に適用されるCPU動作の一部を示すフロー図である。It is a flowchart which shows a part of CPU operation | movement applied to FIG. 1 Example. 図1実施例に適用されるCPU動作の他の一部を示すフロー図である。It is a flowchart which shows a part of other CPU operation | movement applied to FIG. 1 Example. 図1実施例に適用されるCPU動作のその他の一部を示すフロー図である。It is a flowchart which shows a part of other CPU operation | movement applied to FIG. 1 Example. 図1実施例に適用されるCPU動作のさらにその他の一部を示すフロー図である。FIG. 12 is a flowchart showing yet another portion of the CPU operation applied to the embodiment in FIG. 1.

符号の説明Explanation of symbols

10…入室管理システム
12…サーバ
14…ステレオカメラ
16…正面カメラ
20…RAM
24d…ハードディスク
26…CPU
G…ゲート
H…顔(頭部)
Hc…顔中心
Ht…頭頂部
10 ... Room management system 12 ... Server 14 ... Stereo camera 16 ... Front camera 20 ... RAM
24d ... Hard disk 26 ... CPU
G ... Gate H ... Face (head)
Hc ... Center of face Ht ... Top of head

Claims (5)

特定領域を特定方向に通過する人体の顔画像を記録する顔画像記録装置であって、
前記特定領域を当該特定領域の上方から三次元的に撮影する第1撮影手段、
前記特定領域の一部である任意の部分領域を前記特定方向から撮影する第2撮影手段、
前記第1撮影手段によって撮影された三次元画像に基づいて前記特定領域内の被写体の頂点を検出する頂点検出手段、
前記頂点検出手段の検出結果が高さ条件を満足するか否かを判別する第1判別手段、
前記第1判別手段によって高さ条件を満足すると判別されたとき前記頂点検出手段の検出結果から前記人体の顔位置を推定する推定手段、
前記推定手段によって推定された顔位置を含む部分領域を撮影するように前記第2撮影手段の姿勢を制御する制御手段、および
前記制御手段の制御処理の後に前記第2撮影手段によって撮影された画像を記録する記録手段を備える、顔画像記録装置。
A face image recording apparatus for recording a face image of a human body passing through a specific area in a specific direction,
First imaging means for imaging the specific area three-dimensionally from above the specific area;
A second imaging means for imaging an arbitrary partial area that is a part of the specific area from the specific direction;
Vertex detecting means for detecting the vertex of the subject in the specific area based on the three-dimensional image photographed by the first photographing means;
First discrimination means for discriminating whether or not the detection result of the vertex detection means satisfies a height condition;
Estimating means for estimating the face position of the human body from the detection result of the vertex detecting means when the first determining means determines that the height condition is satisfied;
Control means for controlling the posture of the second photographing means so as to photograph a partial region including the face position estimated by the estimating means, and an image photographed by the second photographing means after the control processing of the control means A face image recording apparatus comprising recording means for recording the image.
前記第1撮影手段は撮影を繰り返し行い、
前記頂点検出手段は検出を撮影の度に行う、請求項1記載の顔画像記録装置。
The first photographing means repeatedly performs photographing,
The face image recording apparatus according to claim 1, wherein the vertex detection unit performs detection every time photographing is performed.
前記頂点検出手段の複数の検出結果に基づいて前記頂点の移動速度を算出する移動速度算出手段をさらに備え、
第1判別手段は前記移動速度算出手段の算出結果が移動速度条件を満足するか否かをさらに判別し、
前記推定手段は前記第1判別手段によって高さ条件および移動速度条件のいずれも満足すると判別されたとき推定を行う、請求項2記載の顔画像記録装置。
A moving speed calculating means for calculating a moving speed of the vertex based on a plurality of detection results of the vertex detecting means;
The first determining means further determines whether or not the calculation result of the moving speed calculating means satisfies a moving speed condition;
The face image recording apparatus according to claim 2, wherein the estimation unit performs estimation when the first determination unit determines that both a height condition and a movement speed condition are satisfied.
前記第2撮影手段によって撮影された画像から輪郭線を検出する輪郭線検出手段、および
前記輪郭線検出手段によって検出された輪郭線および当該輪郭線で囲まれた領域内の画像が大きさ条件および色条件をそれぞれ満足するか否かを判別する第2判別手段をさらに備え、
前記記録手段は前記第2判別手段によって大きさ条件および色条件がいずれも満足されると判別されたとき記録処理を実行する、請求項1ないし3のいずれかに記載の顔画像記録装置。
A contour detection unit that detects a contour line from an image photographed by the second photographing unit; and a contour condition detected by the contour detection unit and an image in an area surrounded by the contour line A second discriminating unit for discriminating whether or not each of the color conditions is satisfied;
4. The face image recording apparatus according to claim 1, wherein the recording unit performs a recording process when it is determined by the second determination unit that both the size condition and the color condition are satisfied. 5.
前記輪郭線検出手段によって検出された輪郭線で囲まれた領域内の画像が記録済みか否かを判別する第3判別手段をさらに備え、
前記記録手段は前記第3判別手段によって記録済みでないと判別されたとき記録処理を実行する、請求項4記載の顔画像記録装置。
A third determination unit for determining whether or not an image in the region surrounded by the contour detected by the contour detection unit has been recorded;
The face image recording apparatus according to claim 4, wherein the recording unit executes a recording process when it is determined by the third determination unit that recording has not been completed.
JP2006014148A 2006-01-23 2006-01-23 Face image recording device Withdrawn JP2007199766A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006014148A JP2007199766A (en) 2006-01-23 2006-01-23 Face image recording device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006014148A JP2007199766A (en) 2006-01-23 2006-01-23 Face image recording device

Publications (1)

Publication Number Publication Date
JP2007199766A true JP2007199766A (en) 2007-08-09

Family

ID=38454377

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006014148A Withdrawn JP2007199766A (en) 2006-01-23 2006-01-23 Face image recording device

Country Status (1)

Country Link
JP (1) JP2007199766A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011229044A (en) * 2010-04-22 2011-11-10 Mitsubishi Electric Corp Image monitoring and recording device
JP2012128557A (en) * 2010-12-14 2012-07-05 Fujitsu Ltd Subject position measuring apparatus, display system and subject position measuring method
KR101510129B1 (en) 2013-07-10 2015-04-08 주식회사 디에보 Three-dimensional positioning ceiling system
US10776637B2 (en) 2015-12-14 2020-09-15 Ricoh Company, Ltd. Image processing device, object recognizing device, device control system, image processing method, and computer-readable medium

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011229044A (en) * 2010-04-22 2011-11-10 Mitsubishi Electric Corp Image monitoring and recording device
JP2012128557A (en) * 2010-12-14 2012-07-05 Fujitsu Ltd Subject position measuring apparatus, display system and subject position measuring method
KR101510129B1 (en) 2013-07-10 2015-04-08 주식회사 디에보 Three-dimensional positioning ceiling system
US10776637B2 (en) 2015-12-14 2020-09-15 Ricoh Company, Ltd. Image processing device, object recognizing device, device control system, image processing method, and computer-readable medium

Similar Documents

Publication Publication Date Title
JP4929828B2 (en) Three-dimensional authentication method, three-dimensional authentication device, and three-dimensional authentication program
CN109934848B (en) Method for accurately positioning moving object based on deep learning
US10212324B2 (en) Position detection device, position detection method, and storage medium
JP5035467B2 (en) Three-dimensional authentication method, three-dimensional authentication device, and three-dimensional authentication program
JP4341564B2 (en) Object judgment device
TW200947356A (en) Composition determination device, composition determination method, and program
JP2011198161A (en) Object recognition system, and monitoring system and watching system using the same
CN109035330A (en) Cabinet approximating method, equipment and computer readable storage medium
JP6221390B2 (en) Image processing apparatus, program, and image processing method
JP6780641B2 (en) Image analysis device, image analysis method, and image analysis program
US20120020523A1 (en) Information creation device for estimating object position and information creation method and program for estimating object position
JP2009009413A (en) Operation detector and operation detection program, and operation basic model generator and operation basic model generation program
JP3734793B2 (en) Human detection device
EP2309454A2 (en) Apparatus and method for detecting motion
JP6779410B2 (en) Video analyzer, video analysis method, and program
JP5300694B2 (en) Detection device
JP2008226109A (en) Video image analysis system and method
JP2011209794A (en) Object recognition system, monitoring system using the same, and watching system
JP2007199766A (en) Face image recording device
JP3732757B2 (en) Image recognition method and image recognition apparatus
JP2011198244A (en) Object recognition system, monitoring system using the same, and watching system
JP2010262527A (en) Passing person counting device, passing person counting method and passing person counting program
KR101990823B1 (en) Method, program, and apparatus for estimating location and managing identification of target using facial information
JP7383435B2 (en) Image processing device, image processing method, and program
JP2009301242A (en) Head candidate extraction method, head candidate extraction device, head candidate extraction program and recording medium recording the program

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20090407