JP2006215947A - Face image photographing method and device - Google Patents
Face image photographing method and device Download PDFInfo
- Publication number
- JP2006215947A JP2006215947A JP2005030188A JP2005030188A JP2006215947A JP 2006215947 A JP2006215947 A JP 2006215947A JP 2005030188 A JP2005030188 A JP 2005030188A JP 2005030188 A JP2005030188 A JP 2005030188A JP 2006215947 A JP2006215947 A JP 2006215947A
- Authority
- JP
- Japan
- Prior art keywords
- face
- subject
- obstacle
- image
- covered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、被撮影者の顔が入った写真を撮影する顔画像撮影方法および顔画像撮影装置に関する。 The present invention relates to a face image capturing method and a face image capturing apparatus for capturing a photograph containing a face of a subject.
例えば、無人撮影ボックスで、被撮影者の顔が入った写真を撮影する場合に、モニター画面を見ながら撮影するといった方法をとっていた。ところが、証明写真等の規定に適さない目つぶりなどの顔画像の画像出力(プリント)の場合、再度撮り直しをする必要がある。 For example, when taking a picture with the face of the person to be photographed in an unmanned photography box, the photograph was taken while looking at the monitor screen. However, in the case of image output (printing) of a face image such as blinking that is not suitable for the specification of the ID photo or the like, it is necessary to take a picture again.
そこで、最近、このような問題を解決するために、被撮影者の顔画像を撮影し、この撮影した顔画像から目の位置を抽出し、この抽出した目の位置に基づき目の状態を認識し、目が正常に開いて入るかどうか判定して、この判定により目が正常に開いていないと判断した場合に自動的に再度撮影を行う技術が開示されている(特許文献1)。 Therefore, recently, in order to solve such a problem, the face image of the subject is photographed, the eye position is extracted from the photographed face image, and the eye state is recognized based on the extracted eye position. However, a technique is disclosed in which it is determined whether or not the eyes are normally opened, and when it is determined that the eyes are not normally opened by this determination, photographing is automatically performed again (Patent Document 1).
また、被撮影者の目の開閉、口の開閉、眼鏡での反射などを随時判定して、規定枚数の画像を蓄積することなく、2フレーム目以降で、被撮影者の希望とする顔状態になった時点で撮影を完了することができる技術が開示されている(特許文献2)。
しかしながら、この顔画像撮影方法では被撮影者の顔が被撮影者の手で顔が覆われたり、また、目が前髪で覆われたり、さらに被撮影者の衣服の一部で覆われたりといった、所謂障害物で覆われている場合、判定ができないといった問題が生じ、特に、所定の規定条件を満たす必要のある身分証明用顔画像、各種免許証用顔画像にはふさわしくないことがあった。 However, in this face image photographing method, the face of the photographed person is covered with the hand of the photographed person, the eyes are covered with bangs, and further covered with a part of the clothes of the photographed person. When covered with so-called obstacles, there is a problem that the judgment cannot be made, and in particular, it may not be suitable for identification face images and various license face images that need to satisfy predetermined prescribed conditions. .
そこで、本発明は上記の課題に鑑みなされたもので、本発明の目的は、被撮影者の顔を撮影する時に、被撮影者の顔が障害物で覆われていないことを判定し、良好な顔の状態で撮影できる顔画像撮影方法および顔画像撮影装置を提供することにある。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to determine that the subject's face is not covered with an obstacle when photographing the subject's face. It is an object to provide a face image photographing method and a face image photographing device capable of photographing in a state of a simple face.
上記の目的は下記の手段のいずれかにより達成される。
(請求項1)被撮影者を対象とした撮影を行う撮影工程と、前記撮影工程により撮影された被撮影者の顔画像を含む画像をフレーム画像中に存在する被撮影者の顔領域を抽出する顔領域抽出工程と、前記顔領域抽出工程により抽出された顔領域に対し、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定する判定工程と、前記判定工程によって被撮影者の顔の状態が障害物で覆われていない状態であると判断された場合、当該判定に用いたフレーム画像を顔画像として出力する画像出力工程と、を具備したことを特徴とする顔画像撮影方法。
(請求項2)前記判定工程が、前記顔領域抽出工程により抽出された顔領域の中の肌色領域と予め定めた基準肌色領域との比較に基づき、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定することを特徴とする請求項1に記載の顔画像撮影方法。
(請求項3)前記判定工程が、前記顔領域抽出工程により抽出された顔領域内の顔の部位単位で、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定することを特徴とする請求項1に記載の顔画像撮影方法。
(請求項4)前記判定工程により被撮影者の顔の状態が障害物で覆われている状態であると判断された場合、当該判定内容を表示する表示工程を具備したことを特徴とする請求項1、2または3に記載の顔画像撮影方法。
(請求項5)被撮影者を対象とした撮影を行う撮影手段と、前記撮影手段により撮影された被撮影者の顔画像を含む画像をフレーム画像中に存在する被撮影者の顔領域を抽出する顔領域抽出手段と、前記顔領域抽出手段により抽出された顔領域に対し、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定する判定手段と、前記判定手段によって被撮影者の顔の状態が障害物で覆われていない状態であると判断された場合、当該判定に用いたフレーム画像を顔画像として出力する画像出力手段と、を具備したことを特徴とする顔画像撮影装置。
(請求項6)前記判定手段は、前記顔領域抽出手段により抽出された顔領域の中の肌色領域と予め定めた基準肌色領域との比較に基づき、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定することを特徴とする請求項5に記載の顔画像撮影装置。
(請求項7)前記判定手段は、複数の基準肌色領域より抽出された肌色領域に最も合致した基準肌色領域を用いて比較することを特徴とする請求項6に記載の顔画像撮影装置。
(請求項8)前記判定手段は、前記顔領域抽出手段により抽出された顔領域内の顔の部位単位で、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定することを特徴とする請求項5に記載の顔画像撮影装置。
(請求項9)前記部位単位が、少なくとも、目、口、鼻孔の1つであることを特徴とする請求項8に記載の顔画像撮影装置。
(請求項10)前記障害物は、少なくとも被撮影者の手、被撮影者の目を覆う前髪、被撮影者が付けたマスク、被撮影者の衣服のいずれか1つであることを特徴とする請求項5から8のいずれか1項に記載の顔画像撮影装置。
(請求項11)前記判定手段により被撮影者の顔の状態が障害物で覆われている状態であると判断された場合、当該判定内容を表示する表示手段を具備したことを特徴とする請求項5から10のいずれか1項に記載の顔画像撮影装置。
(請求項12)前記表示手段は、障害物で覆われている顔領域の位置を表示することを特徴とする請求項11に記載の顔画像撮影装置。
The above object can be achieved by any of the following means.
(Claim 1) A photographing step for photographing a subject and a face region of the subject existing in a frame image of an image including the face image of the subject photographed by the photographing step is extracted. And a determination step of determining whether or not the face state of the subject is not covered with an obstacle with respect to the face region extracted by the face region extraction step; An image output step of outputting the frame image used for the determination as a face image when the determination step determines that the face state of the subject is not covered by an obstacle. A featured face image capturing method.
(Claim 2) Based on a comparison between the skin color area in the face area extracted by the face area extraction step and a predetermined reference skin color area, the determination step is performed when the face state of the subject is an obstacle The face image capturing method according to claim 1, wherein it is determined whether or not the image is uncovered.
(Claim 3) Whether or not the determination step is a state in which the face state of the subject is not covered with an obstacle in units of face parts in the face region extracted by the face region extraction step. The face image capturing method according to claim 1, wherein:
(Claim 4) When it is determined by the determination step that the face state of the subject is covered with an obstacle, a display step for displaying the determination content is provided. Item 4. The face image photographing method according to
(Claim 5) Extracting the face area of the subject existing in the frame image from the photographing means for photographing the subject and the image including the face image of the subject photographed by the photographing means A face area extracting means for determining whether or not the face area extracted by the face area extracting means is a state in which the face of the subject is not covered with an obstacle, An image output means for outputting the frame image used for the determination as a face image when the determination means determines that the face state of the subject is not covered by an obstacle. A featured face image photographing device.
(Claim 6) The determination means, based on a comparison between the skin color area in the face area extracted by the face area extraction means and a predetermined reference skin color area, the face state of the subject is an obstacle. 6. The face image capturing apparatus according to
(7) The face image photographing device according to (6), wherein the determination means performs comparison using a reference skin color region that most closely matches a skin color region extracted from a plurality of reference skin color regions.
(Claim 8) Whether the determination unit is a state in which the face state of the person to be photographed is not covered with an obstacle in units of face parts in the face region extracted by the face region extraction unit The face image photographing device according to
(Claim 9) The face image photographing apparatus according to claim 8, wherein the part unit is at least one of an eye, a mouth and a nostril.
(10) The obstacle is at least one of a subject's hand, a bangs covering the subject's eyes, a mask attached by the subject, and clothes of the subject. The face image photographing device according to any one of
(11) When the determination means determines that the face state of the subject is covered with an obstacle, the determination means includes a display means for displaying the determination contents. Item 11. The face image photographing device according to any one of
(Claim 12) The face image photographing apparatus according to claim 11, wherein the display means displays a position of a face area covered with an obstacle.
上記の目的は下記の手段のいずれかにより達成される。 The above object can be achieved by any of the following means.
請求項1および5に記載の発明によれば、被撮影者を対象とした撮影を行い、撮影されたフレーム画像に対し、そのフレーム画像中に存在する被撮影者の顔領域を抽出し、抽出された顔領域に対し、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定し、被撮影者の顔の状態が障害物で覆われいない状態であると判断された場合、当該判定に用いたフレーム画像を顔画像として出力するようにしたので、被撮影者の顔が例えば、手、前髪、衣服といった所謂障害物で覆われていな良好な顔画像を含む撮影ができるようになった。 According to the first and fifth aspects of the present invention, photographing is performed on the subject, and the face region of the subject existing in the frame image is extracted and extracted from the photographed frame image. It is determined whether or not the face state of the photographed person is not covered with an obstacle with respect to the face area thus determined, and the face state of the photographed person is not covered with the obstacle. When the determination is made, the frame image used for the determination is output as a face image, so that a good face image in which the face of the photographed person is not covered with so-called obstacles such as hands, bangs, clothes, etc. It became possible to shoot including.
請求項2に記載の発明によれば、顔領域抽出工程により抽出された顔領域の中の肌色領域と予め定めた基準肌色領域との比較に基づき、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定するので、簡易で確実に、被撮影者の顔が障害物で覆われているか否かを判定できるようになった。 According to the second aspect of the present invention, based on the comparison between the skin color area in the face area extracted by the face area extraction step and the predetermined reference skin color area, the face state of the subject is an obstacle. Since it is determined whether or not it is in an uncovered state, it is possible to easily and reliably determine whether or not the face of the subject is covered with an obstacle.
請求項3に記載の発明によれば、顔領域抽出工程により抽出された顔領域内の顔の部位単位で、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定するので、簡易で確実に、被撮影者の顔が障害物で覆われているか否かを判定できるようになった。 According to the third aspect of the present invention, whether or not the face state of the subject is not covered with an obstacle in units of faces in the face area extracted by the face area extraction step. Therefore, it is possible to easily and reliably determine whether or not the face of the subject is covered with an obstacle.
請求項4に記載の発明によれば、判定工程により被撮影者の顔の状態が障害物で覆われている状態であると判断された場合、当該判定内容を表示するので、障害物で覆われている内容が分かるようになった。 According to the fourth aspect of the present invention, when it is determined in the determination step that the face of the subject is covered with an obstacle, the determination content is displayed. I came to understand the contents.
請求項6に記載の発明によれば、判定手段は、顔領域抽出手段により抽出された顔領域の中の肌色領域と予め定めた基準肌色領域との比較に基づき、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定するので、簡易で確実に、被撮影者の顔が障害物で覆われているか否かを判定できるようになった。 According to the sixth aspect of the present invention, the determination means is based on a comparison between the skin color area in the face area extracted by the face area extraction means and a predetermined reference skin color area, and the state of the face of the subject It is possible to determine whether or not the face of the subject is covered with an obstacle in a simple and reliable manner.
請求項7に記載の発明によれば、判定手段は、複数の基準肌色領域より抽出された肌色領域に最も合致した基準肌色領域を用いるので、簡易で確実に、被撮影者の顔が障害物で覆われているか否かを判定できるようになった。 According to the seventh aspect of the present invention, the determination means uses the reference skin color area that most closely matches the skin color area extracted from the plurality of reference skin color areas, so that the face of the subject can be obstructed easily and reliably. It is now possible to determine whether or not it is covered with.
請求項8に記載の発明によれば、判定手段は、顔領域抽出手段により抽出された顔領域内の顔の部位単位で、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定するので、簡易で確実に、被撮影者の顔が障害物で覆われているか否かを判定できるようになった。 According to the invention described in claim 8, the determination means is a unit of face in the face area extracted by the face area extraction means, and the face state of the subject is not covered with an obstacle. Since it is determined whether or not there is, it is possible to easily and reliably determine whether or not the face of the subject is covered with an obstacle.
請求項9に記載の発明によれば、部位単位が、少なくとも、目、口、鼻孔の1つであるので、簡易で確実に、被撮影者の少なくとも、目、口、鼻孔の1つが障害物で覆われているか否かを判定できるようになった。 According to the ninth aspect of the invention, since the site unit is at least one of the eyes, mouth, and nostrils, it is simple and sure that at least one of the eyes, mouth, and nostrils of the subject is an obstacle. It is now possible to determine whether or not it is covered with.
請求項10に記載の発明によれば、障害物は、少なくとも、被撮影者の手、被撮影者の目を覆う前髪、被撮影者ら付けたマスク、被撮影者の衣服のいずれか1つであるので、被撮影者の少なくとも、手、目を覆う前髪、マスク、衣服の1つが障害物で覆われているか否かを判定できるようになった。
According to the invention described in
請求項11、12に記載の発明によれば、被撮影者の顔の状態が障害物で覆われている状態であると判断された場合、当該判定内容を表示するので、障害物で覆われている判定内容が表示で分かるようになった。 According to the eleventh and twelfth aspects of the present invention, when it is determined that the face state of the subject is covered with an obstacle, the determination content is displayed. The judgment contents are now shown on the display.
最初に、実施の形態1および2に共通な顔画像撮影装置の概略の構成について説明する。図1は、本実施の形態に係わる顔画像撮影装置の概略の構成を示すものである。 First, a schematic configuration of the face image capturing apparatus common to the first and second embodiments will be described. FIG. 1 shows a schematic configuration of a face image photographing apparatus according to the present embodiment.
この顔画像撮影装置である無人撮影ボックス1は、被撮影者が撮影の際に着座する椅子5、撮影の際に被撮影者の背景となる背景板6、撮影時の各種操作を行う操作部8、被撮影者Pを照明する照明器2、被撮影者Pの少なくとも顔画像を撮影する撮影手段3、顔領域を抽出する顔領域抽出手段9、被撮影者の顔の状態が障害物で覆われている状態であるどうか判定する判定手段10、被撮影者の顔の状態が障害物で覆われている場合に表示する表示手段4、および、被写体の顔画像を画像出力(プリント)する画像出力手段7等から構成されている。
This unmanned shooting box 1 which is a face image photographing device includes a
ここで障害物とは、被撮影者の顔領域を覆うすべての障害物を意味し、例えば、被撮影者の手、被撮影者の目を覆う前髪、マスク、被撮影者の衣服の一部、被撮影者が身につけ顔領域を覆うイヤリングや帽子などをいう。 Here, the obstacle means all obstacles covering the subject's face area, for example, the subject's hand, the bangs covering the subject's eyes, a mask, and a part of the subject's clothes. An earring or a hat worn by the subject to cover the face area.
図2は、図1に示した顔画像撮影装置の制御関係の概略構成を示すブロックを示すものである。この顔画像撮影装置は、被撮影者を撮影する撮影手段としての撮影部16と、入力された画像をメモリする画像メモリ17、被撮影者の顔画像を含む画像をフレーム画像中に存在する顔領域を抽出する顔領域抽出手段としての顔画像抽出部18、被撮影者の顔の状態が障害物で覆われている状態であるどうか判定する判定手段としての判定部19、被撮影者の顔の状態が障害物で覆われている状態であると判断された場合に判定内容を表示する表示手段としての表示部21、および被撮影者の顔画像を出力(プリント)する画像出力手段としての画像出力部20によって構成されている。
FIG. 2 is a block diagram showing a schematic configuration of the control relationship of the face image photographing apparatus shown in FIG. This face image photographing device includes a photographing
(実施の形態1)
以下、本発明の実施の形態1に係わる顔画像撮影方法および顔画像撮影装置ついて図面を参照して説明する。
(Embodiment 1)
Hereinafter, a face image capturing method and a face image capturing apparatus according to Embodiment 1 of the present invention will be described with reference to the drawings.
この実施の形態に係わる顔画像撮影装置である無人撮影ボックスは、被撮影者の顔を撮影する時に、被撮影者の顔が手、前髪、衣服等の所謂障害物で覆われていないことを確認して良好な顔状態で撮影できる装置である。 The unmanned shooting box, which is a face image shooting device according to this embodiment, indicates that when shooting the face of the subject, the face of the subject is not covered with so-called obstacles such as hands, bangs, and clothes. This is a device that can be confirmed and photographed with a good face condition.
次に、顔画像撮影装置における主要な動作の流れを、図3の顔画像撮影装置の制御フローチャートを主にして、前述の図1、図2も参照して顔画像撮影装置の動作の流れを最初に簡単に説明する。 Next, the flow of main operations in the face image photographing apparatus will be described mainly with reference to the control flowchart of the face image photographing apparatus in FIG. A brief explanation will be given first.
まず、ステップS11にて、撮影部16で被撮影者の顔を含む顔画像を撮影する(撮影工程)。ステップS12にて、撮影部16で取得した画像入力からデジタイズされた被撮影者の画像を画像メモリ17にメモリする。次に、ステップS13にて、顔領域抽出部18で入力された画像内に存在する被撮影者の顔画像を抽出する(顔領域抽出工程)。次に、ステップS14にて、顔領域より被撮影者の肌色領域を抽出し、ステップS15にて、予め定めた複数の基準肌色領域の中から、最も被撮影者の肌色領域に合致するものを選択し、ステップS16にて、被撮影者の肌色領域と、選択した基準肌色領域とを比較して、被撮影者の顔が手、前髪等である障害物で覆われている状態であるか否かを判定手段で判定する(判定工程)。次に、ステップS17にて、被撮影者の顔の状態が障害物で覆われている場合には、表示部21で警告表示する(表示工程)。また、ステップS18にて、被撮影者の顔の状態が障害物で覆われていない場合は、画像出力部20で被撮影者の顔を含む顔画像を出力する(画像出力工程)。以上が顔画像撮影装置における動作の流れの簡単な説明である。
First, in step S11, a face image including the face of the subject is photographed by the photographing unit 16 (imaging process). In step S 12, the image of the subject digitized from the image input acquired by the
次に、図3で説明した各ステップS11からスッテプS18までの各内容について、図1〜図5を参照して詳細に説明する。図4は被撮影者の顔の状態が障害物で覆われているかどうかを抽出する方法の説明図、図5は被撮影者の顔の状態が障害物で覆われている場合の警告表示に関する説明図である。 Next, each content from step S11 to step S18 described in FIG. 3 will be described in detail with reference to FIGS. FIG. 4 is an explanatory diagram of a method for extracting whether or not the face state of the photographed person is covered with an obstacle, and FIG. 5 relates to a warning display when the face state of the photographed person is covered with an obstacle. It is explanatory drawing.
ステップS11の顔画像の撮影工程について説明する。図1に示す撮影手段3(図2、撮影部16)により顔を含む被撮影者を撮影する。なお、図4(a)に顔画像を示す。 The face image capturing process in step S11 will be described. The subject including the face is photographed by the photographing means 3 (FIG. 2, photographing unit 16) shown in FIG. FIG. 4A shows a face image.
ステップS12の画像入力処理について説明する。撮影された被撮影者Pの顔画像を含む画像データをデジタイズして画像メモリ17(図2)にメモリする。 The image input process in step S12 will be described. Image data including the face image of the photographed person P is digitized and stored in the image memory 17 (FIG. 2).
ステップS13の顔領域抽出工程について説明する。図1に示す顔領域抽出手段9(図2、顔領域抽出部18)において、顔領域として、顔の上下側は額からあご付近、左右側は両端の耳付近に位置する領域として定め、被撮影者の顔領域を抽出する。顔領域の抽出は公知技術の種々の方法により行うことができる。その一例を説明する。予め、複数の画像を利用して平均画像を作成し、顔検索用の辞書で様々な画像を評価し、顔辞書と類似度の高い領域で顔でないと得られたら非顔辞書として画像を収集し、また、入力された画像に対して顔の大きさの影響をなくするために複数段階での拡大、縮小画像を作成し、それぞれの画像に対し、例えば複合類似法もしくはテンプレートマッチング法を利用して顔領域の探索を行い、顔領域は顔辞書と類似度が高く、非顔辞書と類似度が低い評価を行い顔画像領域を求めるようにするが、これに限定されるものではない。なお、図4(b)に抽出した顔領域F1を例を示す。 The face area extraction process in step S13 will be described. In the face area extracting means 9 (FIG. 2, face area extracting unit 18) shown in FIG. 1, the upper and lower sides of the face are determined as areas located near the chin from the forehead and the left and right sides near the ears at both ends. The face area of the photographer is extracted. The face area can be extracted by various methods known in the art. One example will be described. Create an average image using multiple images in advance, evaluate various images using a face search dictionary, and collect images as non-face dictionaries if it is determined that a face is not a face in an area similar to the face dictionary In addition, in order to eliminate the influence of the size of the face on the input image, multiple enlarged and reduced images are created, and for example, a composite similarity method or a template matching method is used for each image. Then, the face area is searched, and the face area is evaluated with high similarity to the face dictionary and low similarity to the non-face dictionary, but the face image area is obtained. However, the present invention is not limited to this. FIG. 4B shows an example of the extracted face area F1.
ステップS14の肌色領域の抽出について説明する(判定工程)。図1に示す判定手段10(図2、判定部19)において、抽出した顔領域F1に存在する被撮影者の肌色が存在する領域を抽出する。肌色領域の抽出は種々の方法により行う。ここでは、その一例の単純領域拡張法につて説明する。単純領域拡張法とは、画素間のデータ差が閾値以下の互いに隣接する画素を同一画像領域に属するものとして当該領域を拡張していくことにより画像領域の抽出を行う画像処理方法である。即ち、指定された特定の条件に合致する初期画素から出発し、当該初期画素に対して隣接する画素のデータ差が閾値以下である場合に当該隣接画素と初期画素とを同一画素に属するものとし、さらに、当該同一画像領域に属するとした画素に対し隣接する画素についても同様の判定手段で判定を行っていき、初期画素から出発して同一領域を徐々に拡張させることによって画像領域を抽出を行う方法である。 The skin color area extraction in step S14 will be described (determination step). In the determination means 10 (FIG. 2, determination unit 19) shown in FIG. 1, a region where the skin color of the subject exists in the extracted face region F1 is extracted. The skin color area is extracted by various methods. Here, an example of the simple region expansion method will be described. The simple region expansion method is an image processing method for extracting an image region by expanding adjacent regions with pixels adjacent to each other whose data difference between pixels is equal to or less than a threshold value belonging to the same image region. That is, starting from an initial pixel that meets a specified specific condition, if the data difference between adjacent pixels is less than or equal to a threshold value, the adjacent pixel and the initial pixel belong to the same pixel. In addition, the pixel adjacent to the pixel that belongs to the same image area is also determined by the same determination means, and the image area is extracted by gradually expanding the same area starting from the initial pixel. How to do it.
次に、この単純領域拡張法をさらに発展させ確実なものとした他の単純領域拡張法について説明する。先ず、カメラで被撮影者を撮影し顔画像データを取得し、顔画像データのエッジを抽出する。次に、顔画像データの低周波画像を作成する。ここで、当該初期画素から単純領域拡張を開始し、隣接画素間の画像信号の差を順次比較しながら肌色領域を抽出するための単純領域拡張を行う。次に、隣接画素の画像信号の画像信号が抽出条件を満たしている場合には、当該、隣接画素がエッジであるか否かさらに判定し、当該隣接画素がエッジでない場合には、当該隣接画素を肌色領域に含めて行く。ここで、肌色領域に含められた画素は、それぞれの位置を表す情報(画素を識別するための情報)がデータ蓄積メモリに順次蓄積されて行く。最後に、当該隣接画素がエッジと判断される部分に至ると、単純領域拡張を用いた肌色領域の抽出処理を終了する。なお、目や口等は肌色領域の閉領域として検出できる。なお、図4(c)に顔領域より抽出した肌色領域F2を示す。 Next, another simple area expansion method that has been further developed and ensured will be described. First, a person to be photographed is photographed with a camera to acquire face image data, and an edge of the face image data is extracted. Next, a low frequency image of the face image data is created. Here, simple area expansion is started from the initial pixel, and simple area expansion for extracting a skin color area is performed while sequentially comparing image signal differences between adjacent pixels. Next, when the image signal of the image signal of the adjacent pixel satisfies the extraction condition, it is further determined whether or not the adjacent pixel is an edge. If the adjacent pixel is not an edge, the adjacent pixel Include in the skin color area. Here, for the pixels included in the flesh color region, information indicating the respective positions (information for identifying the pixels) is sequentially stored in the data storage memory. Finally, when the adjacent pixel reaches a portion determined to be an edge, the skin color region extraction processing using simple region expansion is terminated. In addition, eyes, mouths, etc. can be detected as a closed region of the skin color region. FIG. 4C shows a skin color area F2 extracted from the face area.
ステップS15の基準肌色領域の選択について説明する(判定工程)。基準となる複数の基準肌色領域を予め準備しておき、その中より、先に求めた被撮影者の肌色領域F2(図4(c)参照)と、最も肌色領域の外枠が最も合致する基準肌色領域S2を選択する(図4(d)参照)。 The selection of the reference skin color region in step S15 will be described (determination step). A plurality of reference skin color areas as a reference are prepared in advance, and the skin color area F2 (see FIG. 4 (c)) of the subject to be obtained first matches the outer frame of the skin color area most closely. A reference skin color region S2 is selected (see FIG. 4D).
ステップS16の顔を障害物で覆われていないかの判定について説明する(判定工程)。被撮影者の肌色領域F2と、選択した基準肌色領域S2を比較して、被撮影者の肌色領域に、障害物である手Wで覆われて欠落した部分を抽出する。抽出方法の一例を説明すると、被撮影者の肌色領域と基準肌色領域とを画像処理により重ね合わせ、重複していない部分を抽出するようにする。図4(e)に抽出した障害物を示し、斜線の部分W3が障害物である手で覆われて欠落した部分である。別な方法として、被撮影者の肌色領域F2(図4(c))と、選択した基準肌色領域S2(図4(d))の面積を比較して求めることもできる。 The determination of whether the face in step S16 is not covered with an obstacle will be described (determination step). The skin color area F2 of the person to be photographed is compared with the selected reference skin color area S2, and the part of the skin color area of the person to be photographed covered with the hand W that is an obstacle is extracted. An example of the extraction method will be described. The skin color area of the subject and the reference skin color area are overlapped by image processing to extract a non-overlapping portion. FIG. 4 (e) shows the extracted obstacle, and the shaded portion W3 is a missing portion covered with an obstacle hand. As another method, the area of the skin color area F2 (FIG. 4C) of the subject can be obtained by comparing the area of the selected reference skin color area S2 (FIG. 4D).
ステップS17の警告の表示工程について説明する。図1に示す表示手段4(図2、表示部21)において、顔領域に障害物である手Wで口を覆っている場合には図5に示すような警告内容を表示するようにする。 The warning display process in step S17 will be described. In the display means 4 (FIG. 2, display unit 21) shown in FIG. 1, when the mouth is covered with the hand W which is an obstacle in the face area, the warning content as shown in FIG. 5 is displayed.
ステップS18の画像出力工程について説明する。図1に示す画像出力手段7(図2、画像出力部20)において、顔領域が障害物で覆われていないことを確認して画像出力する。 The image output process in step S18 will be described. In the image output means 7 (FIG. 2, image output unit 20) shown in FIG. 1, it is confirmed that the face area is not covered with an obstacle, and the image is output.
このように、上記実施の形態によれば、顔画像撮影装置などで、被撮影者を対象とした撮影を行うときに、被撮影者の顔に障害物が無いかどうかを自動判定を行い良好な顔画像が作成することができる。また、障害物がある場合は、警告表示して障害物が取り除かれた後に撮影して、良好な顔画像が作成できるようになる。 As described above, according to the above-described embodiment, when a face image photographing device or the like performs photographing for a subject, it is preferable to automatically determine whether there is an obstacle on the subject's face. A simple face image can be created. If there is an obstacle, a warning image is displayed and the image is taken after the obstacle is removed, so that a good face image can be created.
なお、実施の形態では、被撮影者が手で口を覆った場合について説明したが、本発明はこれに限定されるものではなく、例えば、前髪で目を覆った場合等についても、同様である。 In the embodiment, the case where the subject covers the mouth with the hand has been described. However, the present invention is not limited to this, and the same applies to the case where the eye is covered with bangs, for example. is there.
(実施の形態2)
以下、本発明の実施の形態2に係わる顔画像撮影方法および顔画像撮影装置ついて図面を参照して説明する。
(Embodiment 2)
Hereinafter, a face image capturing method and a face image capturing apparatus according to
実施の形態の顔画像撮影装置は、被撮影者の顔を撮影する時に、被撮影者の顔が障害物で覆われていないか判定手段で判定して良好な顔状態で撮影できる他の装置である。 The face image photographing device according to the embodiment is another device capable of photographing in a good face state by judging whether the subject's face is covered with an obstacle when photographing the subject's face. It is.
次に、顔画像撮影装置における動作の流れを、図6の顔画像撮影装置の他の制御フローチャートを主にして、前述の図1、図2も参照として、顔画像撮影装置の動作の流れを最初に簡単に説明する。 Next, the flow of operations in the face image photographing apparatus will be described with reference to FIGS. 1 and 2 described above, mainly referring to the other control flowchart of the face image photographing apparatus in FIG. A brief explanation will be given first.
まず、ステップS21にて、撮影部16で被撮影者の顔を含む顔画像を撮影する(撮影工程)。ステップS22にて、撮影部16で取得した画像入力からデジタイズされた被撮影者の画像を画像メモリ17にメモリする。次に、ステップS23にて、顔領域抽出部18で入力された画像内に存在する被撮影者の顔画像を抽出する(顔領域抽出工程)。
First, in step S21, a face image including the face of the subject is photographed by the photographing unit 16 (imaging process). In step S 22, the image of the subject digitized from the image input acquired by the
次に、ステップS24aにて、顔領域抽出部で抽出された顔領域において、被撮影者の顔の部位単位である目領域を抽出し、ステップS24bにて、被撮影者の目領域が障害物で覆われていない状態であるか否かを判定手段で判定する(判定工程)。覆われていない状態であればステップS25bに進み、覆われている状態であればステップS27で警告表示する(表示工程)。 Next, in step S24a, an eye area that is a part of the face of the subject is extracted from the face area extracted by the face area extraction unit. In step S24b, the eye area of the subject is obstruction. It is determined by a determination means whether it is in the state which is not covered with (determination process). If it is not covered, the process proceeds to step S25b. If it is covered, a warning is displayed in step S27 (display process).
次に、ステップS25aにて、顔領域抽出部で抽出された顔領域において、被撮影者の顔の部位単位である鼻孔領域を抽出し、ステップS25bにて、鼻孔領域が障害物で覆われていない状態であるか否かを判定手段で判定する(判定工程)。被撮影者の鼻孔領域が障害物で覆われていない状態であればステップS25cに進み、覆われている状態であればステップS27で警告表示する(表示工程)。 Next, in step S25a, a nostril region, which is a part of the face of the subject, is extracted from the face region extracted by the face region extraction unit. In step S25b, the nostril region is covered with an obstacle. It is determined by a determination means whether or not there is no state (determination step). If the subject's nostril region is not covered with an obstacle, the process proceeds to step S25c, and if it is covered, a warning is displayed in step S27 (display process).
次に、ステップS26aにて、顔領域抽出部で抽出された顔領域において被撮影者の顔の部位単位である口領域を抽出し、ステップS26bにて、被撮影者の口領域が障害物で覆われていない状態であるか否かを判定手段で判定する(判定工程)。覆われていない状態であればステップS27に進み、覆われている状態であればステップS27で警告表示する(表示工程)。最後に、ステップS28にて、被撮影者の顔を含む顔画像を画像出力部20で画像出力する(画像出力工程)。 Next, in step S26a, a mouth area, which is a part of the face of the photographed person, is extracted from the face area extracted by the face area extracting unit. In step S26b, the mouth area of the photographed person is an obstacle. It is determined by a determination means whether or not the state is not covered (determination step). If it is not covered, the process proceeds to step S27, and if it is covered, a warning is displayed in step S27 (display process). Finally, in step S28, a face image including the face of the subject is output by the image output unit 20 (image output step).
次に、図6で説明した各ステップS21からスッテプS27までの各内容について、図1、図2および、図6〜図8を参照して詳細に説明する。図7は被撮影者の目が障害物で覆われているかどうかの抽出方法の説明図、図8は被撮影者の鼻孔が障害物で覆われているかどうかの抽出方法の説明図、図9は被撮影者の口が障害物で覆われているかどうかを抽出する方法の説明図である。 Next, the contents from step S21 to step S27 described in FIG. 6 will be described in detail with reference to FIG. 1, FIG. 2, and FIGS. 7 is an explanatory diagram of an extraction method for determining whether the subject's eyes are covered with an obstacle, FIG. 8 is an explanatory diagram of an extraction method for determining whether the subject's nostril is covered with an obstacle, FIG. FIG. 5 is an explanatory diagram of a method for extracting whether or not the mouth of the subject is covered with an obstacle.
ステップS21からS23は前述のステップS11からS13と同じにつき説明を省略する。 Steps S21 to S23 are the same as steps S11 to S13 described above, and a description thereof will be omitted.
ステップS24aの目領域の抽出工程について説明する。図7(a)において、被撮影者の顔領域F1の顔輪郭F3より目領域F4aを抽出する。例えば、顔輪郭F3に対す目領域F4aの相対位置を予め決めておき画像処理により求める。 The eye region extraction process in step S24a will be described. In FIG. 7A, an eye region F4a is extracted from the face contour F3 of the face region F1 of the subject. For example, the relative position of the eye region F4a with respect to the face contour F3 is determined in advance and obtained by image processing.
ステップS24bの目を障害物で覆われていないかの判定について説明する(判定工程)。図7(a)、(b)で、障害物として前髪で覆われている場合について説明すると、被撮影者の目領域F4aにける肌色領域F4bと、基準の目領域S4aの基準目肌色領域(単に肌色領域ともいう)S4bとを比較して、被撮影者の目領域が障害物で覆われている部分W4を検知する。詳しくは、被撮影者の目領域の肌色領域F4bと、基準の目領域の肌色領域S4bとを画像処理により重ね合わせ、重複していない部分W4を抽出することにより抽出する。また、別な方法として、被撮影者の肌色領域F4bの面積と、基準の肌色領域S4bの面積を比較して差があるかどうかで抽出することもできる。 The determination of whether or not the eye of step S24b is covered with an obstacle will be described (determination step). 7A and 7B, the case where the object is covered with bangs as an obstacle will be described. The skin color area F4b in the subject eye area F4a and the reference eye skin color area (reference eye area S4a) Compared with S4b (also simply referred to as a skin color region), a portion W4 in which the eye region of the subject is covered with an obstacle is detected. Specifically, the skin color area F4b of the subject eye area and the skin color area S4b of the reference eye area are overlapped by image processing, and the non-overlapping portion W4 is extracted. As another method, the area of the subject skin color area F4b and the area of the reference skin color area S4b can be compared and extracted based on whether or not there is a difference.
ステップS25aの鼻孔領域の抽出工程について説明する。図8(a)で、被撮影者の顔領域F1の顔輪郭F3より鼻孔領域F5aを抽出する。例えば、顔輪郭F3に対す鼻孔領域F5aの相対位置を予め決めておき画像処理により求める。 The nostril region extracting step in step S25a will be described. In FIG. 8A, the nostril region F5a is extracted from the face contour F3 of the face region F1 of the subject. For example, the relative position of the nostril region F5a with respect to the face contour F3 is determined in advance and obtained by image processing.
ステップS25bの鼻孔を障害物で覆われていないかの判定について説明する(判定工程)。図8(a)、(b)で、障害物で覆われている場合について説明すると、被撮影者の鼻孔領域F5aにける肌色領域F5bと、基準の鼻孔領域S5aの基準鼻孔肌色領域(単に肌色領域ともいう)S5bとを比較して、被撮影者の鼻孔領域が障害物で覆われている部分W5を検知する。詳しくは、被撮影者の鼻孔領域の肌色領域F5bと、基準鼻孔肌色領域S5bとを画像処理により重ね合わせ、重複していない部分W5を抽出することにより抽出する。また別な方法として、被撮影者の肌色領域F5bの面積と、基準の肌色領域S5bの面積を比較してその差で検知することもできる。 The determination of whether the nostril of step S25b is not covered with an obstacle will be described (determination step). 8A and 8B, the case where the subject is covered with an obstacle will be described. The skin color region F5b in the nostril region F5a of the subject and the reference nostril skin color region (simply the skin color) of the reference nostril region S5a. Compared with S5b), a portion W5 where the nostril region of the subject is covered with an obstacle is detected. Specifically, the skin color area F5b of the subject's nostril area and the reference nostril skin color area S5b are overlapped by image processing and extracted by extracting a non-overlapping portion W5. As another method, the area of the skin color region F5b of the subject can be compared with the area of the reference skin color region S5b, and the difference can be detected.
ステップS26aの口領域の抽出工程について説明する。図9(a)で、被撮影者の顔領域F1の顔輪郭F3より口領域F6aを抽出する。例えば、顔輪郭F3に対す口領域F6aの相対位置を予め決めておき画像処理により求める。 The mouth region extraction process in step S26a will be described. In FIG. 9A, the mouth area F6a is extracted from the face contour F3 of the face area F1 of the subject. For example, the relative position of the mouth area F6a with respect to the face outline F3 is determined in advance and obtained by image processing.
ステップS26bの口を障害物で覆われていないかの判定について説明する(判定工程)。図9(a)、(b)で、障害物で覆われている場合について説明すると、被撮影者の口領域F6aにける肌色領域F6bと、基準の口領域S6aの基準口肌色領域(単に肌色領域ともいう)S6bとを比較して、被撮影者の口領域が障害物で覆われている部分W6を検知する。詳しくは、被撮影者の口領域の肌色領域F6bと、基準の口領域の肌色領域S6bとを画像処理により重ね合わせ、重複していない部分W6を抽出することにより抽出する。なお、別な方法として、被撮影者の肌色領域F6bの面積と、基準の肌色領域S6bの面積を比較して、その差から検知することもできる。 Determination of whether the mouth of step S26b is not covered with an obstacle will be described (determination step). 9A and 9B, the case where the subject is covered with an obstacle will be described. The skin color area F6b in the subject mouth area F6a and the reference mouth skin color area (simply the skin color) of the reference mouth area S6a. Compared with S6b), a portion W6 where the mouth area of the subject is covered with an obstacle is detected. Specifically, the skin color area F6b of the mouth area of the subject and the skin color area S6b of the reference mouth area are overlapped by image processing, and the non-overlapping portion W6 is extracted. As another method, the area of the skin color region F6b of the subject can be compared with the area of the reference skin color region S6b, and the difference can be detected.
ステップS27の警告の表示工程について説明する。図1に示す表示手段4(図2、表示部21)において、ステップS24b、S25b、S26bの判断で顔の部位(目、鼻孔、口)が障害物で覆われている場合に表示する。表示の一例を図5に示す。図5のG1は表示画面である。 The warning display process in step S27 will be described. In the display means 4 shown in FIG. 1 (FIG. 2, display unit 21), the display is performed when the facial part (eyes, nostril, mouth) is covered with an obstacle as determined in steps S24b, S25b, and S26b. An example of the display is shown in FIG. G1 in FIG. 5 is a display screen.
ステップS28の画像出力工程について説明する。図1に示す画像出力手段7(図2、画像出力部20)において、顔領域が障害物で覆われていないことを確認して画像出力する。 The image output process in step S28 will be described. In the image output means 7 (FIG. 2, image output unit 20) shown in FIG. 1, it is confirmed that the face area is not covered with an obstacle, and the image is output.
このように、上記実施の形態によれば、顔画像撮影装置などで、被撮影者を対象とした撮影を行うときに、被撮影者の顔に障害物が無いかどうかを自動判定を行い良好な顔画像が作成することができる。また、障害物がある場合は。警告表示して、障害物が取り除かれた後に撮影して良好な顔画像が作成することができる。 As described above, according to the above-described embodiment, when a face image photographing device or the like performs photographing for a subject, it is preferable to automatically determine whether there is an obstacle on the subject's face. A simple face image can be created. Also, if there are obstacles. A warning is displayed, and a good face image can be created by shooting after the obstacle is removed.
3 撮影手段
4 表示手段
7 画像出力手段
9 顔領域抽出手段
10 判定手段
16 撮影部(撮影工程)
17 画像メモリ
18 顔領域抽出部(顔領域抽出工程)
19 判定部(判断工程)
20 画像出力部(画像出力工程)
21 表示部(表示工程)
P 被撮影者
F1 顔領域
F2 肌色領域
F4a 目領域
F5a 鼻孔領域
F6a 口領域
W 障害物
DESCRIPTION OF SYMBOLS 3 Image | photographing means 4 Display means 7 Image output means 9 Face area extraction means 10 Judgment means 16 Imaging | photography part (imaging process)
17
19 Judgment part (judgment process)
20 Image output unit (image output process)
21 Display section (display process)
P Subject F1 Face area F2 Skin color area F4a Eye area F5a Nostril area F6a Mouth area W Obstacle
Claims (12)
前記撮影工程により撮影された被撮影者の顔画像を含む画像をフレーム画像中に存在する被撮影者の顔領域を抽出する顔領域抽出工程と、
前記顔領域抽出工程により抽出された顔領域に対し、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定する判定工程と、
前記判定工程によって被撮影者の顔の状態が障害物で覆われていない状態であると判断された場合、当該判定に用いたフレーム画像を顔画像として出力する画像出力工程と、
を具備したことを特徴とする顔画像撮影方法。 A shooting process for shooting a subject,
A face area extracting step of extracting a face area of the subject existing in the frame image of the image including the face image of the subject photographed by the photographing step;
A determination step of determining whether or not the face state of the subject is not covered by an obstacle with respect to the face region extracted by the face region extraction step;
An image output step of outputting the frame image used for the determination as a face image when the determination step determines that the face state of the subject is not covered by an obstacle;
A face image photographing method characterized by comprising:
前記撮影手段により撮影された被撮影者の顔画像を含む画像をフレーム画像中に存在する被撮影者の顔領域を抽出する顔領域抽出手段と、
前記顔領域抽出手段により抽出された顔領域に対し、被撮影者の顔の状態が障害物で覆われていない状態であるか否かを判定する判定手段と、
前記判定手段によって被撮影者の顔の状態が障害物で覆われていない状態であると判断された場合、当該判定に用いたフレーム画像を顔画像として出力する画像出力手段と、
を具備したことを特徴とする顔画像撮影装置。 Photographing means for photographing a subject,
A face area extracting means for extracting a face area of the photographed person existing in a frame image of the image including the face image of the photographed person photographed by the photographing means;
A determination unit that determines whether or not the face state of the subject is not covered by an obstacle with respect to the face region extracted by the face region extraction unit;
An image output means for outputting the frame image used for the determination as a face image when the determination means determines that the face state of the subject is not covered by an obstacle;
A face image photographing apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005030188A JP2006215947A (en) | 2005-02-07 | 2005-02-07 | Face image photographing method and device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005030188A JP2006215947A (en) | 2005-02-07 | 2005-02-07 | Face image photographing method and device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006215947A true JP2006215947A (en) | 2006-08-17 |
Family
ID=36979123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005030188A Pending JP2006215947A (en) | 2005-02-07 | 2005-02-07 | Face image photographing method and device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006215947A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010142553A (en) * | 2008-12-22 | 2010-07-01 | Nintendo Co Ltd | Game program and game apparatus |
-
2005
- 2005-02-07 JP JP2005030188A patent/JP2006215947A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010142553A (en) * | 2008-12-22 | 2010-07-01 | Nintendo Co Ltd | Game program and game apparatus |
US8852003B2 (en) | 2008-12-22 | 2014-10-07 | Nintendo Co., Ltd. | Storage medium storing a game program, game apparatus and game controlling method |
US9421462B2 (en) | 2008-12-22 | 2016-08-23 | Nintendo Co., Ltd. | Storage medium storing a game program, game apparatus and game controlling method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101159830B1 (en) | Red eye false positive filtering using face location and orientation | |
JP4898532B2 (en) | Image processing apparatus, photographing system, blink state detection method, blink state detection program, and recording medium on which the program is recorded | |
US9323979B2 (en) | Face recognition performance using additional image features | |
JP4085959B2 (en) | Object detection device, object detection method, and recording medium | |
US7659923B1 (en) | Elimination of blink-related closed eyes in portrait photography | |
CN107368806B (en) | Image rectification method, image rectification device, computer-readable storage medium and computer equipment | |
CN105303161A (en) | Method and device for shooting multiple people | |
US20060078224A1 (en) | Image combination device, image combination method, image combination program, and recording medium containing the image combination program | |
JP6564271B2 (en) | Imaging apparatus, image processing method, program, and storage medium | |
JP2009527983A (en) | Method and apparatus for selectively disqualifying digital images | |
JP2007317062A (en) | Person recognition apparatus and method | |
JP6443842B2 (en) | Face detection device, face detection system, and face detection method | |
JP2008530701A (en) | Face feature detection method | |
US20050041111A1 (en) | Frame adjustment device and image-taking device and printing device | |
JP2001067459A (en) | Method and device for face image processing | |
US11315360B2 (en) | Live facial recognition system and method | |
CN108280919A (en) | The testimony of a witness veritifies speed passage through customs gate and its control method | |
US20060269128A1 (en) | Image correction method and apparatus | |
JP2011135527A (en) | Digital camera | |
TWI466070B (en) | Method for searching eyes, and eyes condition determining device and eyes searching device using the method | |
JP2006215947A (en) | Face image photographing method and device | |
JPH08106519A (en) | Face direction discriminating device and picture display device using this device | |
TW201339986A (en) | Method and device for capturing image | |
JP5242827B2 (en) | Face image processing apparatus, face image processing method, electronic still camera, digital image processing apparatus, and digital image processing method | |
JP4888111B2 (en) | Subject recognition device, image search method, and subject recognition program |