JP2014016912A - Image processor, image processing method, and, image processing program - Google Patents
Image processor, image processing method, and, image processing program Download PDFInfo
- Publication number
- JP2014016912A JP2014016912A JP2012155148A JP2012155148A JP2014016912A JP 2014016912 A JP2014016912 A JP 2014016912A JP 2012155148 A JP2012155148 A JP 2012155148A JP 2012155148 A JP2012155148 A JP 2012155148A JP 2014016912 A JP2014016912 A JP 2014016912A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frequency component
- frequency
- separation
- filtering processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000000926 separation method Methods 0.000 claims abstract description 67
- 238000001914 filtration Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims description 23
- 238000003384 imaging method Methods 0.000 claims description 21
- 238000005286 illumination Methods 0.000 description 13
- 230000001815 facial effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 230000002265 prevention Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Abstract
Description
この発明は、対象エリアを撮像したフレーム画像を処理し、照明等の外乱光の照射により生じた陰影を除去した補正画像を生成する画像処理装置、画像処理方法、および、画像処理プログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and an image processing program that process a frame image obtained by imaging a target area and generate a corrected image in which a shadow generated by irradiation of ambient light such as illumination is removed.
従来、ビデオカメラやディジタルスチルカメラ等の撮像装置で撮像したフレーム画像を処理し、このフレーム画像に撮像されている人物（以下、認証対象者と言う。）の認証を顔認証で行う顔認証装置がある。顔認証装置は、登録者毎に、その登録者の顔の特徴量（目、鼻、口、輪郭等の顔部品の特徴量）を予め登録している。顔認証装置は、入力されたフレーム画像に撮像されている認証対象者の顔画像から、顔の特徴量を抽出し、予め登録している各登録者の特徴量と照合し、認証対象者を特定する。 2. Description of the Related Art Conventionally, a face authentication apparatus that processes a frame image captured by an imaging apparatus such as a video camera or a digital still camera and performs authentication of a person (hereinafter referred to as an authentication target person) captured in the frame image by face authentication. There is. For each registrant, the face authentication apparatus has registered in advance the facial feature amount (feature amount of facial parts such as eyes, nose, mouth, and contour) of the registrant. The face authentication device extracts a facial feature quantity from the face image of the person to be authenticated captured in the input frame image, compares it with the feature quantity of each registrant registered in advance, and identifies the person to be authenticated. Identify.
この種の顔認証装置は、例えば、セキュリティルームの入退室者を管理するシステムや、多くの人が集まる駅や繁華街等で通行人の中から指名手配中の人物等を検出する防犯システムにおいて使用されている。 This type of face authentication device is used in, for example, a system for managing security room entry / exit persons and a crime prevention system for detecting a person who is making a nomination from passers-by in a station or a busy area where many people gather. It is used.
顔認証装置は、顔認証の精度を低下させる要因の１つとして、照明等の外乱光の照射による影がある。このため、認証対象者を撮像するときに、比較的強い照明光をあてれば、ある程度影を抑えることはできるが、このような撮像は、認証対象者が顔画像の撮像を了解していることが前提になる。したがって、上述した防犯システム等では、比較的強い照明光をあてて、認証対象者（一般の通行人）を撮像することは適当でない。 In the face authentication device, there is a shadow due to irradiation of ambient light such as illumination as one of the factors that reduce the accuracy of face authentication. For this reason, shadowing can be suppressed to some extent if a relatively strong illumination light is applied when imaging the person to be authenticated, but such imaging requires that the person to be authenticated understands to capture a face image. Is a prerequisite. Therefore, in the above-described crime prevention system or the like, it is not appropriate to image a person to be authenticated (general passerby) by applying relatively strong illumination light.
また、フレーム画像に撮像されている影を、撮像されている物体の３次元形状のモデルを利用して除去するものもある（特許文献１参照）。 In addition, there is a technique that removes a shadow captured in a frame image using a three-dimensional model of the object being captured (see Patent Document 1).
しかしながら、特許文献１に記載された技術は、フレーム画像に撮像されている物体の実際の３次元形状と、影を除去するのに用いる物体の３次元形状のモデルと、の相違が大きくなるにつれて、フレーム画像に対する影の除去が不適正になる。人の顔の凹凸（３次元形状）は、様々である。 However, in the technique described in Patent Document 1, as the difference between the actual three-dimensional shape of the object captured in the frame image and the three-dimensional shape model of the object used to remove the shadow increases. The removal of the shadow from the frame image becomes inappropriate. The unevenness (three-dimensional shape) of the human face varies.
したがって、実際の顔の３次元形状が、フレーム画像の影を除去するのに用いる物体の３次元形状のモデルに近い認証対象者については、その認証対象者を撮像したフレーム画像に対する影の除去がある程度適正に行えるが、実際の顔の３次元形状が、フレーム画像の影を除去するのに用いる物体の３次元形状のモデルとの相違が大きい認証対象者については、その認証対象者を撮像したフレーム画像に対する影の除去がある適正に行えない。すなわち、実際の顔の３次元形状が、フレーム画像の影を除去するのに用いる物体の３次元形状のモデルとの相違が大きい認証対象者については、認証精度を十分に確保することができない。 Accordingly, for an authentication target person whose actual face three-dimensional shape is close to the model of the three-dimensional shape of the object used to remove the shadow of the frame image, shadow removal from the frame image obtained by imaging the authentication target person is performed. Although it can be performed to some extent properly, an authentication target person was imaged for an authentication target person whose actual 3D shape of the face is significantly different from the model of the 3D shape of the object used to remove the shadow of the frame image. Shadow removal cannot be performed properly on the frame image. That is, the authentication accuracy cannot be sufficiently ensured for a person to be authenticated whose actual three-dimensional shape of the face is largely different from the model of the three-dimensional shape of the object used to remove the shadow of the frame image.
この発明の目的は、簡単な構成で、認証対象者等のオブジェクトが撮像されているフレーム画像に対する影の除去が精度よく行える画像処理装置、画像処理方法、および、画像処理プログラムを提供することにある。 An object of the present invention is to provide an image processing apparatus, an image processing method, and an image processing program capable of accurately removing a shadow from a frame image in which an object such as an authentication subject is captured with a simple configuration. is there.
この発明の画像処理装置は、上記課題を解決し、その目的を達するために、以下のように構成している。 The image processing apparatus of the present invention is configured as follows in order to solve the above-described problems and achieve the object.
画像入力部には、対象エリアを撮像したフレーム画像が入力される。対象エリアを撮像する撮像装置は、動画を撮像するビデオカメラであってもよいし、静止画を撮像するディジタルスチルカメラであってもよい。撮像装置は、対象エリアが撮像エリア内に収まるように設置している。 A frame image obtained by imaging the target area is input to the image input unit. The imaging device that captures the target area may be a video camera that captures a moving image or a digital still camera that captures a still image. The imaging device is installed so that the target area is within the imaging area.
分離周波数記憶部は、段階的に定めた複数の分離周波数を記憶する。具体的には、ａ１〜ａｎのｎ個の分離周波数（ａ１＞ａ２＞・・・＞ａ（ｎ−１）＞ａｎ）を記憶する。隣あう２つの分離周波数（ａｓとａ（ｓ＋１）（ｓは、整数））の差は、一定であってもよいし、異なっていてもよい。 The separation frequency storage unit stores a plurality of separation frequencies determined in stages. Specifically, n separation frequencies (a1> a2>...> A (n-1)> an) of a1 to an are stored. The difference between two adjacent separation frequencies (as and a (s + 1) (s is an integer)) may be constant or different.
フィルタリング処理部は、ｎ個の分離周波数毎に、画像入力部に入力されたフレーム画像を、その分離周波数よりも低い低周波成分画像、または、この分離周波数よりも高い高周波成分画像の少なくとも一方を得るフィルタリング処理を行う。一般に、撮像装置で撮像したフレーム画像において、照明等の外乱光により生じた影の成分は、周波数が低いほうに多く含まれており、撮像されている人や物等のオブジェクトの３次元形状にかかる成分は、周波数が高いほうに多く含まれている。 The filtering processing unit obtains at least one of a low-frequency component image lower than the separation frequency or a high-frequency component image higher than the separation frequency from the frame image input to the image input unit for every n separation frequencies. To obtain the filtering process. In general, in a frame image captured by an image capturing apparatus, shadow components generated by disturbance light such as illumination are included in a lower frequency, and the three-dimensional shape of an object such as a person or an object being captured is included. Many of such components are contained at higher frequencies.
なお、照明等の外乱光により生じた影の成分は、周波数が高いものもある。また、撮像されている人や物等のオブジェクトの３次元形状にかかる成分は、周波数が低いものもある。 Note that some shadow components generated by ambient light such as illumination have a high frequency. In addition, some components related to the three-dimensional shape of an object such as a person or an object being imaged have a low frequency.
補正画像生成部は、フィルタリング処理部におけるフィルタリング処理で得た複数の高周波成分画像、または複数の低周波成分画像の一方を合成して、補正画像を生成する。このとき、補正画像生成部は、周波数が高い成分ほど含有率を大きくした補正画像（言い換えれば、周波数が低い成分ほど含有率を小さくした補正画像）を生成すればよい。 The corrected image generation unit synthesizes one of a plurality of high frequency component images or a plurality of low frequency component images obtained by the filtering process in the filtering processing unit to generate a corrected image. At this time, the corrected image generation unit may generate a corrected image having a higher content rate as the component has a higher frequency (in other words, a corrected image having a lower content rate as the component has a lower frequency).
これにより、比較的低い周波数領域に含まれているオブジェクトの３次元形状にかかる成分を完全に除去することなく、且つ、比較的高い周波数領域に含まれている照明等の外乱光により生じた影の成分をある程度除去することができる。したがって、補正画像生成部が生成した補正画像から、撮像されているオブジェクトの特徴を精度よく検出できる。 As a result, shadows caused by ambient light such as illumination included in the relatively high frequency region without completely removing the components related to the three-dimensional shape of the object included in the relatively low frequency region. Can be removed to some extent. Therefore, it is possible to accurately detect the characteristics of the object being captured from the corrected image generated by the corrected image generation unit.
また、分離周波数記憶部を、記憶している分離周波数毎に、重み係数を対応付けて記憶する構成とし、補正画像生成部は、フィルタリング処理部におけるフィルタリング処理で得た複数の高周波成分画像、または複数の低周波成分画像の一方を、画像毎に、その画像の分離周波数に対応付けられている重み係数に基づく重みで合成した補正画像を生成するようにしてもよい。この場合、数百〜数千程度のサンプル画像を用い、公知のFisher separability criterion等に基づく学習で、各分離周波数に対する重みを決定すればよい。 Further, the separation frequency storage unit is configured to store the weighting coefficient in association with each stored separation frequency, and the correction image generation unit includes a plurality of high frequency component images obtained by filtering processing in the filtering processing unit, or You may make it produce | generate the correction | amendment image which synthesize | combined one of several low frequency component images with the weight based on the weighting coefficient matched with the separation frequency of the image for every image. In this case, a weight for each separation frequency may be determined by learning based on a known Fisher separability criterion using several hundred to several thousand sample images.
さらに、フィルタリング処理部におけるフィルタリング処理で得た複数の高周波成分画像、または複数の低周波成分画像の一方について、分離周波数が隣り合う２つの画像毎に、その差分画像を生成する差分画像生成部を設けるとともに、補正画像生成部を、差分画像生成部が生成した差分画像を合成して補正画像を生成する構成としてもよい。このようにすれば、分離周波数が隣り合う２つの周波数を上限、および下限とする帯域毎に画像に重みをつけて合成することができる。 Further, a difference image generation unit that generates a difference image for each of two adjacent images having separated frequencies for one of a plurality of high-frequency component images or a plurality of low-frequency component images obtained by filtering processing in the filtering processing unit. The correction image generation unit may be configured to generate a correction image by combining the difference images generated by the difference image generation unit. In this way, it is possible to synthesize an image with a weight added to each band in which two frequencies adjacent to each other have an upper limit and a lower limit.
なお、上述したように、撮像されている人や物等のオブジェクトの３次元形状にかかる成分は、周波数が高いほうに多く含まれているので、分離周波数ａ１よりも高い周波数をカットしない構成が望ましい。したがって、フィルタリング処理部は、少なくとも高周波成分画像を生成し、補正画像生成部は、高周波成分画像を用いて補正画像を生成するのが好ましい。 Note that, as described above, since the components related to the three-dimensional shape of an object such as a person or an object being imaged are included in a higher frequency, a configuration that does not cut a frequency higher than the separation frequency a1. desirable. Therefore, it is preferable that the filtering processing unit generates at least a high-frequency component image, and the correction image generation unit generates a correction image using the high-frequency component image.
この発明によれば、簡単な構成で、認証対象者等のオブジェクトが撮像されているフレーム画像に対する影の除去が精度よく行える。 According to the present invention, with a simple configuration, it is possible to accurately remove a shadow from a frame image in which an object such as an authentication subject is captured.
以下、この発明の実施形態である画像処理装置について説明する。 Hereinafter, an image processing apparatus according to an embodiment of the present invention will be described.
図１は、画像処理装置の主要部の構成を示すブロック図である。この画像処理装置１は、制御部１１と、画像入力部１２と、画像処理部１３と、分離周波数記憶部１４と、出力部１５と、を備えている。 FIG. 1 is a block diagram illustrating a configuration of a main part of the image processing apparatus. The image processing apparatus 1 includes a control unit 11, an image input unit 12, an image processing unit 13, a separation frequency storage unit 14, and an output unit 15.
この画像処理装置１は、撮像装置２が撮像したフレーム画像を処理し、撮像されている人（以下、認識対象者と言う。）の顔の特徴量を検出する。画像処理装置１は、検出した認識対象者の顔の特徴量を図示していない認証装置に出力する。この認証装置は、登録者毎に、その登録者の顔の特徴量を記憶した登録者データベースを備え、画像処理装置１から入力された認証対象者の顔の特徴量と、登録者データベースに記憶している各登録者の顔の特徴量と、を照合し、認証対象者を特定する顔認証処理を行う。登録者データベースに登録されている登録者は、例えばセキュリティルームにおける入退室が許可されている許可者や、指名手配されている容疑者等、認証装置の使用用途に応じて定められている。 The image processing apparatus 1 processes a frame image captured by the imaging apparatus 2 and detects a feature amount of a face of a person who is captured (hereinafter referred to as a recognition target person). The image processing apparatus 1 outputs the detected facial feature amount of the person to be recognized to an authentication apparatus (not shown). The authentication apparatus includes a registrant database that stores the facial feature amount of the registrant for each registrant, and stores the facial feature amount of the authentication target person input from the image processing apparatus 1 in the registrant database. The face feature of each registrant who has been collated is collated, and face authentication processing for specifying the person to be authenticated is performed. The registrant registered in the registrant database is determined according to the usage of the authentication device, such as a permitter permitted to enter or leave the security room or a suspect who has been appointed.
なお、この認証装置は、画像処理装置１に一体的に組み込んで構成してもよい。 Note that this authentication apparatus may be configured integrally with the image processing apparatus 1.
制御部１１は、画像処理装置１本体各部の動作を制御する。 The control unit 11 controls the operation of each part of the main body of the image processing apparatus 1.
画像入力部１２は、接続されている撮像装置２が撮像した対象エリアのフレーム画像の入力を受け付ける。撮像装置２は、対象エリアが撮像エリア内に収まるように設置している。この撮像装置２は、動画像を撮像するビデオカメラであってもよいし、静止画像を撮像するディジタルスチルカメラであってもよい。 The image input unit 12 receives an input of a frame image of the target area captured by the connected imaging device 2. The imaging device 2 is installed so that the target area is within the imaging area. The imaging device 2 may be a video camera that captures a moving image or a digital still camera that captures a still image.
分離周波数記憶部１４は、図２に示すように、分離周波数ａ１〜ａｎ（ａ１＞ａ２＞・・・＞ａ（ｎ−１）＞ａｎ）毎に、重み係数ω１〜ωｎを対応付けて記憶する。 As shown in FIG. 2, the separation frequency storage unit 14 stores weight coefficients ω1 to ωn in association with each of the separation frequencies a1 to an (a1> a2>...> A (n−1)> an). To do.
画像処理部１３は、分離周波数記憶部１４が記憶する分離周波数ａ１〜ａｎ、および重み係数ω１〜ωｎを用いて、画像入力部１２に入力されたフレーム画像を処理し、補正画像を生成する。画像処理部１３は、生成した補正画像から、撮像されている認識対象者の顔の特徴量を検出する。この画像処理部１３における処理の詳細については、後述する。 The image processing unit 13 processes the frame image input to the image input unit 12 using the separation frequencies a1 to an and the weighting coefficients ω1 to ωn stored in the separation frequency storage unit 14, and generates a corrected image. The image processing unit 13 detects the feature amount of the face of the recognition target person being captured from the generated corrected image. Details of the processing in the image processing unit 13 will be described later.
出力部１５は、画像処理部１３が検出した認識対象者の顔の特徴量を図示していない認証装置に出力する。 The output unit 15 outputs the facial feature amount of the person to be recognized detected by the image processing unit 13 to an authentication device (not shown).
一般に、撮像装置２が撮像したフレーム画像は、反射モデルと照射モデルとの２つが合成されたものである。反射モデルは、撮像されている人や物等の３次元形状にかかる成分の画像である。照射モデルは、照明等の外乱光の照射によって生じた影にかかる成分の画像である。撮像装置２が撮像したフレーム画像Ｉ、このフレーム画像Ｉの反射モデルＲ、このフレーム画像Ｉの照射モデルＬとすると、これらの関係は、
Ｉ＝Ｒ×Ｌ
で表せる。そして、この式は、
ｌｏｇＩ＝ｌｏｇＲ＋ｌｏｇＬ
に変換できる。照射モデルＬにかかる成分は、比較的低い周波数の領域に多く含まれ、反射モデルＲにかかる成分は、比較的高い周波数の領域に多く含まれている。
In general, the frame image captured by the imaging device 2 is a combination of two of a reflection model and an irradiation model. The reflection model is an image of components relating to a three-dimensional shape of a person or an object being imaged. The irradiation model is an image of a component related to a shadow caused by irradiation of disturbance light such as illumination. When the frame image I captured by the imaging device 2, the reflection model R of the frame image I, and the irradiation model L of the frame image I, these relationships are
I = R × L
It can be expressed as And this formula is
logI = logR + logL
Can be converted to Many components related to the irradiation model L are included in a relatively low frequency region, and many components related to the reflection model R are included in a relatively high frequency region.
なお、上記は、反射モデルＲにかかる成分が、比較的低い周波数の領域に含まれていないという意味ではない。また、照射モデルＲにかかる成分が、比較的高い周波数の領域に含まれていないという意味でもない。 Note that the above does not mean that the component related to the reflection model R is not included in a relatively low frequency region. Moreover, it does not mean that the component related to the irradiation model R is not included in the relatively high frequency region.
画像処理装置１は、撮像装置２が撮像したフレーム画像Ｉから、照射モデルＬを取り除いた補正画像Ｃを生成する補正画像生成処理を行う。画像処理装置１は、この補正画像生成処理において、比較的低い周波数の領域に含まれている反射モデルＲにかかる成分を完全に除去することなく、且つ、比較的高い周波数領域に含まれている照明等の外乱光により生じた影の成分をある程度除去した補正画像Ｃを生成する。以下、この画像処理装置１の動作について説明する。 The image processing apparatus 1 performs a corrected image generation process for generating a corrected image C in which the irradiation model L is removed from the frame image I captured by the imaging apparatus 2. In this corrected image generation process, the image processing apparatus 1 is included in the relatively high frequency region without completely removing the component related to the reflection model R included in the relatively low frequency region. A corrected image C in which a shadow component generated by disturbance light such as illumination is removed to some extent is generated. Hereinafter, the operation of the image processing apparatus 1 will be described.
図３は、画像処理装置における補正画像生成処理の動作を示すフローチャートである。ここでは、認識対象者が撮像されているフレーム画像を例にして補正画像を生成する処理を説明する。 FIG. 3 is a flowchart showing the operation of the corrected image generation process in the image processing apparatus. Here, a process of generating a corrected image will be described using a frame image in which the recognition target person is captured as an example.
画像処理装置１は、画像入力部１２に入力されたフレーム画像を、分離周波数記憶部１４に記憶している分離周波数ａ１〜ａｎ毎に、その分離周波数よりも低い低周波成分画像μ１〜μｎと、この分離周波数よりも高い高周波成分画像ν１〜νｎを生成する分離処理を行う（ｓ１）。ｓ１では、ｎ個の低周波成分画像μ１〜μｎと、ｎ個の高周波成分画像ν１〜νｎと、が生成される。このｓ１にかかる処理は、画像処理部１３が行う。 The image processing apparatus 1 includes, for each of the separation frequencies a1 to an stored in the separation frequency storage unit 14, the low frequency component images μ1 to μn that are lower than the separation frequency. Then, separation processing for generating high-frequency component images ν1 to νn higher than the separation frequency is performed (s1). In s1, n low-frequency component images μ1 to μn and n high-frequency component images ν1 to νn are generated. The processing related to s1 is performed by the image processing unit 13.
例えば、画像処理装置１は、図４に示すフレーム画像が画像入力部１２に入力された場合を、分離周波数ａ１よりも低い低周波成分画像μ１（図５（Ａ）参照）、分離周波数ａ２よりも低い低周波成分画像μ２（図５（Ｂ）参照）、・・・、分離周波数ａｎよりも低い低周波成分画像μｎ（図５（Ｃ）参照）を生成する。また、このとき、画像処理装置１は、分離周波数ａ１よりも高い高周波成分画像ν１（図６（Ａ）参照）、分離周波数ａ２よりも高い高周波成分画像ν２（図６（Ｂ）参照）、・・・、分離周波数ａｎよりも高い高周波成分画像νｎ（図６（Ｃ）参照）を生成する。 For example, when the frame image shown in FIG. 4 is input to the image input unit 12, the image processing apparatus 1 uses a low-frequency component image μ1 (see FIG. 5A) lower than the separation frequency a1 and the separation frequency a2. Low frequency component image μ2 (see FIG. 5B),..., A low frequency component image μn lower than the separation frequency an (see FIG. 5C) is generated. At this time, the image processing apparatus 1 also includes a high-frequency component image ν1 higher than the separation frequency a1 (see FIG. 6A), a high-frequency component image ν2 higher than the separation frequency a2 (see FIG. 6B), ... Generate a high-frequency component image νn (see FIG. 6C) higher than the separation frequency an.
なお、画像処理装置１は、ｓ１で、ｎ個の低周波成分画像μ１〜μｎ、またはｎ個の高周波成分画像ν１〜νｎの一方のみを生成してもよい。ここでは、ｓ１で、少なくとも図６に示したｎ個の高周波成分画像ν１〜νｎが生成されているものとする。 Note that the image processing apparatus 1 may generate only one of the n low-frequency component images μ1 to μn or the n high-frequency component images ν1 to νn at s1. Here, it is assumed that at least n high-frequency component images ν1 to νn illustrated in FIG. 6 are generated at s1.
画像処理装置１は、図６に示したｎ個の高周波成分画像ν１〜νｎを、その高周波成分画像ν１〜νｎの分離周波数ａ１〜ａｎに対応付けられている重み係数ω１〜ωｎに基づく重みで合成し、補正画像Ｃを生成する（ｓ２）。重み係数ω１〜ωｎは、数百〜数千程度のサンプル画像（フレーム画像）を用い、公知のFisher separability criterion等に基づく学習で、フレーム画像から照明等の外乱光により生じた影の成分を適正に除去できる値を、各分離周波数ａ１〜ａｎについて決定している。重み係数ω１〜ωｎの総和は、１である。また、各重み係数ω１〜ωｎは、０よりも大きい。 The image processing apparatus 1 uses the weights based on the weighting coefficients ω1 to ωn associated with the separation frequencies a1 to an of the n high frequency component images ν1 to νn illustrated in FIG. The corrected image C is generated by combining (s2). The weighting coefficients ω1 to ωn are based on the well-known Fisher separability criterion using hundreds to thousands of sample images (frame images), and the shadow components generated by the ambient light such as lighting are properly detected from the frame images. The values that can be removed are determined for the separation frequencies a1 to an. The sum of the weighting coefficients ω1 to ωn is 1. Further, each of the weighting coefficients ω1 to ωn is larger than 0.
ｓ２では、画像処理部１３が、
補正画像Ｃ＝ν１×ω１＋ν２×ω２＋・・・＋νｎ×ωｎ
により生成する。図７は、ｓ２で生成された補正画像Ｃを示す図である。
In s2, the image processing unit 13
Corrected image C = ν1 × ω1 + ν2 × ω2 +... + Νn × ωn
Generate by. FIG. 7 is a diagram illustrating the corrected image C generated in s2.
上記の説明から明らかなように、ｓ２で生成した補正画像Ｃは、入力されたフレーム画像に含まれている、分離周波数ａ１よりも高い周波数の成分を全て含んだ画像である。また、ｓ２で生成した補正画像Ｃは、入力されたフレーム画像に含まれている、分離周波数ａｎよりも低い周波数の成分を完全に除去した画像である。 As is clear from the above description, the corrected image C generated in s2 is an image including all components having a frequency higher than the separation frequency a1 included in the input frame image. The corrected image C generated in s2 is an image obtained by completely removing a component having a frequency lower than the separation frequency an included in the input frame image.
画像処理装置１は、ｓ２で生成した補正画像Ｃから、認証対象者の顔の特徴量を検出する（ｓ３）。画像処理装置１は、ｓ３で検出した認証対象者の顔の特徴量を認証装置に出力する（ｓ４）。 The image processing apparatus 1 detects the facial feature amount of the person to be authenticated from the corrected image C generated in s2 (s3). The image processing apparatus 1 outputs the feature amount of the face of the person to be authenticated detected in s3 to the authentication apparatus (s4).
このように、画像処理装置１は、ｓ２で、比較的低い周波数領域に含まれている認証対象者の顔の３次元形状にかかる成分を完全に除去することなく、且つ、比較的高い周波数領域に含まれている照明等の外乱光により生じた影の成分をある程度除去した補正画像Ｃを生成することができる。したがって、画像処理装置１は、ｓ２で生成した補正画像から、撮像されている認証対象者の顔の特徴量を精度よく検出できる。これにより、検出された認証対象者の顔の特徴量を用いて行う顔認証処理の精度も向上できる。 As described above, the image processing apparatus 1 does not completely remove the component related to the three-dimensional shape of the face of the person to be authenticated included in the relatively low frequency region at s2, and the relatively high frequency region. It is possible to generate a corrected image C in which a shadow component generated by disturbance light such as illumination included in the image is removed to some extent. Therefore, the image processing apparatus 1 can accurately detect the feature amount of the face of the authentication target person who is captured from the corrected image generated in s2. Thereby, the precision of the face authentication process performed using the detected face feature amount of the person to be authenticated can also be improved.
なお、上記の例では、ｓ１で生成した、高周波成分画像ν１〜νｎを用いて補正画像Ｃを生成するとしたが、低周波成分画像μ１〜μｎを用いて補正画像Ｃを生成してもよい。この場合には、ｓ２で生成した補正画像Ｃは、入力されたフレーム画像に含まれている、分離周波数ａ１よりも高い周波数の成分を完全に除去した画像になるので、上述した高周波成分画像ν１〜νｎを用いる場合よりも、若干認証対象者の顔の３次元形状にかかる成分を除去した補正画像Ｃを生成することになる。 In the above example, the corrected image C is generated using the high frequency component images ν1 to νn generated in s1, but the corrected image C may be generated using the low frequency component images μ1 to μn. In this case, the corrected image C generated in s2 is an image in which a component having a frequency higher than the separation frequency a1 included in the input frame image is completely removed, and thus the above-described high-frequency component image ν1. Compared to the case where .about..nu.n is used, a corrected image C is generated in which components related to the three-dimensional shape of the face of the person to be authenticated are slightly removed.
次に、この発明の別の例について説明する。この例にかかる画像処理装置１も、図１に示した構成である。図８は、この例にかかる画像処理装置の動作を示すフローチャートである。 Next, another example of the present invention will be described. The image processing apparatus 1 according to this example also has the configuration shown in FIG. FIG. 8 is a flowchart showing the operation of the image processing apparatus according to this example.
この例にかかる画像処理装置１も、上述した例と同様に、分離処理を行い低周波成分画像μ１〜μｎと、高周波成分画像ν１〜νｎと、を生成する（ｓ１１）。この画像処理装置１も、ｓ１１で、ｎ個の低周波成分画像μ１〜μｎ、またはｎ個の高周波成分画像ν１〜νｎの一方のみを生成してもよい。ここでは、ｓ１１で、少なくとも図６に示したｎ個の高周波成分画像ν１〜νｎが生成されているものとする。 Similarly to the example described above, the image processing apparatus 1 according to this example performs the separation process to generate the low-frequency component images μ1 to μn and the high-frequency component images ν1 to νn (s11). The image processing apparatus 1 may also generate only one of the n low frequency component images μ1 to μn or the n high frequency component images ν1 to νn in s11. Here, it is assumed that at least n high-frequency component images ν1 to νn illustrated in FIG. 6 are generated in s11.
画像処理装置１は、分離周波数ａ１〜ａｎが隣り合う、２つの高周波成分画像ν１〜νｎの組合せ毎に、差分画像ｘ２〜ｘｎを生成する（ｓ１２）。ｓ１２では、（ｎ−１）個の差分画像ｘ１〜ｘｎ−１が生成される。また、ここでは、ｓ１１で生成した高周波成分画像ν１を差分画像ｘ１とする。 The image processing apparatus 1 generates difference images x2 to xn for each combination of two high frequency component images ν1 to νn adjacent to the separation frequencies a1 to an (s12). In s12, (n−1) difference images x1 to xn−1 are generated. Here, the high-frequency component image ν1 generated in s11 is referred to as a difference image x1.
図９（Ａ）は、図６（Ａ）に示す高周波成分画像ν１である。また、図９（Ｂ）は、図６（Ａ）に示す高周波成分画像ν１と、図６（Ｂ）に示す高周波成分画像ν２との差分画像ｘ２である。また、図９（Ｃ）は、図示していない高周波成分画像νｎ−１と、図６（Ｃ）に示す高周波成分画像νｎとの差分画像ｘｎである。 FIG. 9A is the high-frequency component image ν1 shown in FIG. FIG. 9B is a difference image x2 between the high frequency component image ν1 shown in FIG. 6A and the high frequency component image ν2 shown in FIG. 6B. FIG. 9C is a difference image xn between the high frequency component image νn−1 (not shown) and the high frequency component image νn shown in FIG.
各差分画像ｘ２〜ｘｎは、隣り合う２つの分離周波数の帯域に属する成分の画像である。すなわち、図９（Ｂ）は、分離周波数ａ２から、分離周波数ａ１までの周波数範囲に属する成分の画像であり、図９（Ｃ）は、分離周波数ａｎから、分離周波数ａ（ｎ−１）までの周波数範囲に属する成分の画像である。なお、図９（Ａ）は、上述したように、分離周波数ａ１よりも高い周波数の範囲に属する成分の画像である。 Each difference image x2 to xn is an image of a component belonging to two adjacent separation frequency bands. That is, FIG. 9B is an image of components belonging to the frequency range from the separation frequency a2 to the separation frequency a1, and FIG. 9C is a diagram from the separation frequency an to the separation frequency a (n−1). It is the image of the component which belongs to the frequency range. Note that FIG. 9A is an image of components belonging to a frequency range higher than the separation frequency a1 as described above.
このように、ｓ１２では、隣り合う２つの分離周波数ａ１〜ａｎで区切った帯域毎に、その帯域に属する周波数成分の画像を生成している。 Thus, in s12, the image of the frequency component which belongs to the zone is generated for every zone divided by two adjacent separation frequencies a1 to an.
画像処理装置１は、図９に示した高周波成分画像ν１（図９では、差分画像ｘ１）と、ｎ−１個の差分画像（差分画像ｘ２〜ｘｎ）と、を、分離周波数記憶部１４に記憶している重み係数ω１〜ωｎに基づく重みで合成し、補正画像Ｃを生成する（ｓ１３）。 The image processing apparatus 1 stores the high frequency component image ν1 (difference image x1 in FIG. 9) and n−1 difference images (difference images x2 to xn) shown in FIG. A corrected image C is generated by combining with weights based on the stored weighting coefficients ω1 to ωn (s13).
なお、重み係数ω１〜ωｎは、上記の例と同様に、公知のFisher separability criterion等に基づく学習で、フレーム画像から照明等の外乱光により生じた影の成分を適正に除去できる値を、各分離周波数ａ１〜ａｎについて決定している。ただし、補正画像Ｃを生成する手法が異なるので、その値については、使用する手法に応じて決定しており、上述した例と同じ値ではない。 As in the above example, the weighting coefficients ω1 to ωn are values based on learning based on a known Fisher separability criterion, etc., and values that can appropriately remove shadow components caused by disturbance light such as illumination from the frame image. The separation frequencies a1 to an are determined. However, since the method for generating the corrected image C is different, the value is determined according to the method to be used, and is not the same value as the above-described example.
ｓ１３では、画像処理部１３は、
補正画像Ｃ＝ｘ１×ω１＋ｘ２×ω２＋・・・＋ｘｎ−１×ωｎ−１＋ｘｎ×ωｎ
により生成する。
In s13, the image processing unit 13
Corrected image C = x1 × ω1 + x2 × ω2 +... + Xn−1 × ωn−1 + xn × ωn
Generate by.
画像処理装置１は、ｓ１３で生成した補正画像Ｃから、認証対象者の顔の特徴量を検出する（ｓ１４）。画像処理装置１は、ｓ１４で検出した認証対象者の顔の特徴量を認証装置に出力する（ｓ１５）。ｓ１４、およびｓ１５は、上述した例にかかるｓ３、およびｓ４と同様の処理である。 The image processing apparatus 1 detects the facial feature amount of the person to be authenticated from the corrected image C generated in s13 (s14). The image processing apparatus 1 outputs the feature amount of the face of the person to be authenticated detected in s14 to the authentication apparatus (s15). s14 and s15 are the same processes as s3 and s4 according to the above-described example.
このように、この画像処理装置１は、隣り合う２つの分離周波数ａ１〜ａｎで区切った帯域毎に、その帯域に属する周波数成分の画像に対して重み付けを行って合成するので、各帯域の重みを調整することで、比較的低い周波数領域に含まれている認証対象者の顔の３次元形状にかかる成分をある程度残し、且つ、比較的高い周波数領域に含まれている照明等の外乱光により生じた影の成分をある程度除去した補正画像Ｃを生成することができる。したがって、この画像処理装置１は、上記の例と同様に、ｓ１３で生成した補正画像から、撮像されている認証対象者の顔の特徴量を精度よく検出できる。これにより、検出された認証対象者の顔の特徴量を用いて行う顔認証処理の精度も向上できる。 In this way, the image processing apparatus 1 performs synthesis by weighting and synthesizing the frequency component images belonging to each band for each band divided by two adjacent separation frequencies a1 to an. Is adjusted so that a component related to the three-dimensional shape of the face of the person to be authenticated included in the relatively low frequency region remains to some extent, and due to disturbance light such as illumination included in the relatively high frequency region. It is possible to generate a corrected image C in which the generated shadow component is removed to some extent. Accordingly, the image processing apparatus 1 can accurately detect the feature amount of the face of the person to be authenticated that has been captured from the corrected image generated in s13, as in the above example. Thereby, the precision of the face authentication process performed using the detected face feature amount of the person to be authenticated can also be improved.
なお、上記の例では、ｓ１１で生成した、高周波成分画像ν１〜νｎを用いて差分画像ｘ２〜ｘｎを生成するとしたが、低周波成分画像μ１〜μｎを用いても差分画像ｘ２〜ｘｎを生成することはできる。この場合、差分画像ｘ１は、低周波成分画像μ１を用いてもよいし、低周波成分画像μｎを用いてもよいし、さらには、差分画像ｘ１を用いない構成としてもよい。いずれの場合も、ｓ２で生成した補正画像Ｃは、入力されたフレーム画像に含まれている、分離周波数ａ１よりも高い周波数の成分を完全に除去した画像になるので、上述した高周波成分画像ν１〜νｎを用いる場合よりも、若干認証対象者の顔の３次元形状にかかる成分を除去した補正画像を生成することになる。 In the above example, the difference images x2 to xn are generated using the high frequency component images ν1 to νn generated in s11. However, the difference images x2 to xn are also generated using the low frequency component images μ1 to μn. Can do. In this case, the low-frequency component image μ1 may be used as the differential image x1, the low-frequency component image μn may be used, and the differential image x1 may not be used. In any case, the corrected image C generated in s2 is an image in which a component having a frequency higher than the separation frequency a1 included in the input frame image is completely removed, and thus the above-described high-frequency component image ν1. Compared to the case of using ~ νn, a corrected image is generated by slightly removing components related to the three-dimensional shape of the face of the person to be authenticated.
なお、画像入力部１２に入力されるフレーム画像は、上述した認証対象者以外に、車両等の物体が撮像されていてもよい。この発明は、入力されたフレーム画像に対して、照明等の外乱光による陰影を適正に除去した補正画像Ｃを生成するものである。すなわち、この発明は、生成した補正画像Ｃを用いる用途については、特に限定されない。 The frame image input to the image input unit 12 may be an image of an object such as a vehicle other than the authentication target person described above. The present invention generates a corrected image C in which a shadow due to disturbance light such as illumination is appropriately removed from an input frame image. That is, the present invention is not particularly limited with respect to the use of the generated corrected image C.
１…画像処理装置
２…撮像装置
１１…制御部
１２…画像入力部
１３…画像処理部
１４…分離周波数記憶部
１５…出力部
DESCRIPTION OF SYMBOLS 1 ... Image processing apparatus 2 ... Imaging device 11 ... Control part 12 ... Image input part 13 ... Image processing part 14 ... Separation frequency memory | storage part 15 ... Output part
Claims (6)
段階的に定めた複数の分離周波数を記憶する分離周波数記憶部と、
前記分離周波数記憶部が記憶する分離周波数毎に、前記画像入力部に入力されたフレーム画像を、その分離周波数よりも低い低周波成分画像、または、この分離周波数よりも高い高周波成分画像の少なくとも一方を得るフィルタリング処理を行うフィルタリング処理部と、
前記フィルタリング処理部における前記フィルタリング処理で得た複数の高周波成分画像、または複数の低周波成分画像の一方を合成して、補正画像を生成する補正画像生成部と、を備えた画像処理装置。 An image input unit for inputting a frame image obtained by imaging the target area;
A separation frequency storage unit that stores a plurality of separation frequencies determined in stages;
For each separation frequency stored in the separation frequency storage unit, the frame image input to the image input unit is at least one of a low frequency component image lower than the separation frequency or a high frequency component image higher than the separation frequency. A filtering processing unit for performing filtering processing to obtain,
An image processing apparatus comprising: a correction image generation unit that generates a correction image by combining one of a plurality of high-frequency component images or a plurality of low-frequency component images obtained by the filtering processing in the filtering processing unit.
前記補正画像生成部は、前記フィルタリング処理部におけるフィルタリング処理で得た複数の高周波成分画像、または複数の低周波成分画像の一方を、画像毎に、その画像の分離周波数に対応付けられている重み係数に基づく重みで合成した補正画像を生成する、請求項１に記載の画像処理装置。 The separation frequency storage unit stores a weighting coefficient in association with each stored separation frequency,
The correction image generation unit, for each image, assigns one of a plurality of high-frequency component images or a plurality of low-frequency component images obtained by the filtering processing in the filtering processing unit to a weight associated with the separation frequency of the image. The image processing apparatus according to claim 1, wherein a corrected image synthesized with a weight based on a coefficient is generated.
前記補正画像生成部は、前記差分画像生成部が生成した差分画像を合成して、補正画像を生成する、請求項１、または２に記載の画像処理装置。 A difference image generation unit that generates a difference image for each of two adjacent images having separated frequencies for one of a plurality of high-frequency component images or a plurality of low-frequency component images obtained by the filtering process in the filtering processing unit. ,
The image processing apparatus according to claim 1, wherein the correction image generation unit generates a correction image by combining the difference images generated by the difference image generation unit.
前記補正画像生成部は、前記フィルタリング処理部における前記フィルタリング処理で得た複数の高周波成分画像を合成して、補正画像を生成する、請求項１〜３のいずれかに記載の画像処理装置。 The filtering processing unit performs a filtering process to obtain at least a plurality of high frequency component images,
The image processing apparatus according to claim 1, wherein the correction image generation unit generates a correction image by combining a plurality of high-frequency component images obtained by the filtering processing in the filtering processing unit.
前記フィルタリング処理ステップにおける前記フィルタリング処理で得た複数の高周波成分画像、または複数の低周波成分画像の一方を合成して、補正画像を生成する補正画像生成ステップと、コンピュータが実行する画像処理方法。 For each separation frequency stored in the separation frequency storage unit, a frame image obtained by imaging the target area input to the image input unit is converted into a low-frequency component image lower than the separation frequency or a high-frequency component image higher than the separation frequency. A filtering process step for performing a filtering process to obtain at least one of the following:
A corrected image generating step for generating a corrected image by combining one of a plurality of high frequency component images or a plurality of low frequency component images obtained by the filtering processing in the filtering processing step, and an image processing method executed by a computer.
前記フィルタリング処理ステップにおける前記フィルタリング処理で得た複数の高周波成分画像、または複数の低周波成分画像の一方を合成して、補正画像を生成する補正画像生成ステップと、をコンピュータに実行させる画像処理プログラム。 For each separation frequency stored in the separation frequency storage unit, a frame image obtained by imaging the target area input to the image input unit is converted into a low-frequency component image lower than the separation frequency or a high-frequency component image higher than the separation frequency. A filtering process step for performing a filtering process to obtain at least one of the following:
An image processing program that causes a computer to execute a corrected image generation step of generating one of a plurality of high frequency component images or a plurality of low frequency component images obtained by the filtering processing in the filtering processing step and generating a corrected image .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012155148A JP2014016912A (en) | 2012-07-11 | 2012-07-11 | Image processor, image processing method, and, image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012155148A JP2014016912A (en) | 2012-07-11 | 2012-07-11 | Image processor, image processing method, and, image processing program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014016912A true JP2014016912A (en) | 2014-01-30 |
Family
ID=50111509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012155148A Pending JP2014016912A (en) | 2012-07-11 | 2012-07-11 | Image processor, image processing method, and, image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014016912A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016170872A1 (en) * | 2015-04-20 | 2016-10-27 | 三菱電機株式会社 | Information display device and information display method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000516796A (en) * | 1997-06-06 | 2000-12-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Image noise compression method |
| JP2009516882A (en) * | 2005-11-23 | 2009-04-23 | セダラ ソフトウェア コーポレイション | Method and system for enhancing digital images |
-
2012
- 2012-07-11 JP JP2012155148A patent/JP2014016912A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000516796A (en) * | 1997-06-06 | 2000-12-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Image noise compression method |
| JP2009516882A (en) * | 2005-11-23 | 2009-04-23 | セダラ ソフトウェア コーポレイション | Method and system for enhancing digital images |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016170872A1 (en) * | 2015-04-20 | 2016-10-27 | 三菱電機株式会社 | Information display device and information display method |
| JP6062123B1 (en) * | 2015-04-20 | 2017-01-18 | 三菱電機株式会社 | Information display device and information display method |
| CN107533366A (en) * | 2015-04-20 | 2018-01-02 | 三菱电机株式会社 | Information display device and method for information display |
| CN107533366B (en) * | 2015-04-20 | 2020-07-03 | 三菱电机株式会社 | Information display device and information display method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108875732B (en) | Model training and instance segmentation method, device and system and storage medium | |
| CN107220942B (en) | Method and apparatus for image representation and processing of dynamic vision sensors | |
| CN110147721B (en) | Three-dimensional face recognition method, model training method and device | |
| CN108345818B (en) | Face living body detection method and device | |
| JP5567853B2 (en) | Image recognition apparatus and method | |
| JP7180710B2 (en) | Image processing device, image processing method and program | |
| Naveenkumar et al. | OpenCV for computer vision applications | |
| KR20190001066A (en) | Face verifying method and apparatus | |
| US20170109912A1 (en) | Creating a composite image from multi-frame raw image data | |
| WO2010122721A1 (en) | Matching device, matching method, and matching program | |
| JP5127067B2 (en) | Image search apparatus and image search method | |
| WO2014080613A1 (en) | Color correction device, method, and program | |
| WO2017016515A1 (en) | Key frame acquisition method for human image video system | |
| Jeeva et al. | Survey on background modeling and foreground detection for real time video surveillance | |
| CN107330916A (en) | A kind of Mobile object detection method and system | |
| Visentini-Scarzanella et al. | Video jitter analysis for automatic bootleg detection | |
| JP2012103742A (en) | Image processing apparatus, image processing method, and recording medium with recorded image processing program | |
| CN111652242B (en) | Image processing method, device, electronic equipment and storage medium | |
| JP2019148980A (en) | Image conversion apparatus and image conversion method | |
| JP2014016912A (en) | Image processor, image processing method, and, image processing program | |
| JP2013101558A (en) | Image processing method, image processing apparatus and image processing program | |
| JP2014186497A (en) | Image analysis device, image analysis method, and image analysis program | |
| Dharavath et al. | Impact of image preprocessing on face recognition: A comparative analysis | |
| Bonetto et al. | Image processing issues in a social assistive system for the blind | |
| KR20200049936A (en) | Biometric device and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150309 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160126 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160830 |