JP2008129864A - Image processor, image processing method and image processing program - Google Patents
Image processor, image processing method and image processing program Download PDFInfo
- Publication number
- JP2008129864A JP2008129864A JP2006314485A JP2006314485A JP2008129864A JP 2008129864 A JP2008129864 A JP 2008129864A JP 2006314485 A JP2006314485 A JP 2006314485A JP 2006314485 A JP2006314485 A JP 2006314485A JP 2008129864 A JP2008129864 A JP 2008129864A
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- background
- foreground
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、背景及び前景を含む動画像から前景を構成する対象物の領域である前景領域を抽出する画像処理装置、画像処理方法及び画像処理プログラムに関するものである。 The present invention relates to an image processing apparatus, an image processing method, and an image processing program for extracting a foreground area, which is an area of an object constituting a foreground, from a moving image including a background and a foreground.
動画像から所望する対象物を抽出することは、監視カメラ、遠隔会議、画像編集、人とコンピュータとのインタフェース等の応用を含む画像処理分野の一つの重要な課題である。従来の対象物抽出アルゴリズムは、主要な区分基準に基づいて、以下の二つのアプローチに大別することができる。 Extracting a desired object from a moving image is one important issue in the field of image processing including applications such as surveillance cameras, remote conferences, image editing, and human-computer interfaces. Conventional object extraction algorithms can be broadly divided into the following two approaches based on main classification criteria.
第１のアプローチは、基準として、空間的均一性を用いるものであり、形態的フィルタが画像を単純化するために使用され、Ｗａｔｅｒｓｈｅｄアルゴリズムが領域境界決定に適用される。このアルゴリズムによる抽出結果は、Ｗａｔｅｒｓｈｅｄアルゴリズムを用いているため、対象物の境界を他の方法より正確に追跡することができる。 The first approach uses spatial uniformity as a criterion, morphological filters are used to simplify the image, and a Watershed algorithm is applied to region boundary determination. Since the extraction result by this algorithm uses the Watershed algorithm, the boundary of the object can be tracked more accurately than other methods.
第２のアプローチは、動画像における変化の検出を利用するものである。このアプローチに基づくいくつかのアルゴリズムでは、フレーム差分が使用され、ある期間の複数の画像から先行して取得された静的な背景画像を現在の画像から減算する背景差分が、最も一般的に使用される。このアルゴリズムは非常に高速に動作し、静的な背景から意味のある対象物の領域を抽出することができるので、多くの視覚システムに使用されている。 The second approach uses detection of changes in moving images. Some algorithms based on this approach use frame differences, and most commonly used are background differences that subtract a static background image previously obtained from multiple images over a period of time from the current image. Is done. This algorithm works very fast and is used in many visual systems because it can extract meaningful object regions from a static background.
例えば、非特許文献１には、オリジナルな背景の領域、影のある背景及び影の領域、ハイライトされた背景の領域、前景の動いている対象物の領域の４つの領域に画像を区分して対象物を抽出する頑強な背景差分及び影抽出方法が開示されている。
（例えば、非特許文献１参照）。
(For example, refer nonpatent literature 1).
しかしながら、上記の従来の背景差分及び影抽出方法では、予め固定された４つの領域に画像を区分しているため、背景領域における対象物の陰及び照明のハイライトにより間違った領域を前景領域として抽出する場合があり、前景領域を正確に抽出することができない。 However, in the above-described conventional background difference and shadow extraction method, the image is divided into four fixed areas, so that the wrong area is defined as the foreground area by the shadow of the object in the background area and the highlight of the illumination. In some cases, the foreground area cannot be accurately extracted.
本発明の目的は、背景及び前景を含む動画像から前景領域を高精度に且つ高速に抽出することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することである。 An object of the present invention is to provide an image processing apparatus, an image processing method, and an image processing program capable of extracting a foreground region from a moving image including a background and a foreground with high accuracy and at high speed.
本発明に係る画像処理装置は、背景及び前景を含む動画像から前景を構成する対象物の領域である前景領域を抽出する画像処理装置であって、処理対象画像となる動画像を取得する取得手段と、前記取得手段により取得された処理対象画像から、前景を含まず、背景を含む背景モデル画像の輝度成分からなる輝度背景画像を差分して差分画像を作成する背景差分手段と、前記差分画像の輝度成分を基に、前記処理対象画像を、当該領域が前景でなく背景である信頼性が高い第１の領域と、当該領域が前景でなく背景である信頼性が前記第１の領域より低い第２の領域と、当該領域が背景でなく前景である信頼性が低い第３の領域と、当該領域が背景でなく前景である信頼性が前記第３の領域より高い第４の領域とに区分する領域区分手段と、前記第３領域の色成分と前記背景モデル画像の色成分との差分に基づいて、前記第３領域から対象物の陰の領域を抽出し、抽出した陰の領域を前記第２の領域に変更することにより、影の領域を除去する影除去手段と、前記影除去手段により影の領域が除去された第１乃至４の領域を基に、前記処理対象画像から前記前景領域を抽出する抽出手段とを備えるものである。 An image processing apparatus according to the present invention is an image processing apparatus that extracts a foreground region, which is a region of an object constituting a foreground, from a moving image including a background and a foreground, and acquires a moving image that is a processing target image And a background difference unit that creates a difference image by subtracting a luminance background image including a luminance component of a background model image including a background from a processing target image acquired by the acquisition unit, and the difference Based on the luminance component of the image, the processing target image is divided into a first region having a high reliability in which the region is not a foreground but a background, and a reliability in which the region is not a foreground but a background. A lower second region, a third region with low reliability where the region is not the background but the foreground, and a fourth region with higher reliability than the third region where the region is not the background but the foreground Area classification means for classifying into, and Based on the difference between the color component of the third area and the color component of the background model image, the shadow area of the object is extracted from the third area, and the extracted shadow area is changed to the second area. A shadow removing unit that removes the shadow region, and an extraction unit that extracts the foreground region from the processing target image based on the first to fourth regions from which the shadow region has been removed by the shadow removing unit. Are provided.
本発明に係る画像処理装置において、処理対象画像となる動画像が取得され、取得された処理対象画像から背景モデル画像の輝度成分が差分されて差分画像が作成され、この差分画像の輝度成分を基に、当該領域が前景でなく背景である信頼性が高い第１の領域と、当該領域が前景でなく背景である信頼性が前記第１の領域より低い第２の領域と、当該領域が背景でなく前景である信頼性が低い第３の領域と、当該領域が背景でなく前景である信頼性が前記第３の領域より高い第４の領域とに区分され、区分された第３領域の色成分と背景モデル画像の色成分との差に基づいて、第３領域から対象物の陰の領域が抽出され、抽出された陰の領域が第２の領域に変更されて影の領域が除去される。ここで、色成分は、輝度成分と異なり、対象物の陰及び照明のハイライトの影響を受けにくいため、対象物の陰の領域をに正確に検出し、当該領域を第２の領域に変更して前景領域から確実に排除することができる。このように、影の領域が前景領域から確実に除去された第１乃至４の領域を基に、処理対象画像から前景領域を抽出しているので、背景及び前景を含む動画像から前景領域を高精度に抽出することができるとともに、処理が高速な差分処理を基本にして上記の各処理を構成しているので、動画像から前景領域を高速に抽出することができる。 In the image processing apparatus according to the present invention, a moving image that is a processing target image is acquired, a luminance component of a background model image is subtracted from the acquired processing target image, and a difference image is created. First, a highly reliable first region in which the region is not the foreground but the background, a second region in which the region is not the foreground and the background is less reliable than the first region, and the region is A third region that is divided into a third region that is not a background and is a foreground and has low reliability and a fourth region that is not a background and is a foreground that has a higher reliability than the third region. The shadow area of the object is extracted from the third area based on the difference between the color component of the image and the color component of the background model image, and the extracted shadow area is changed to the second area so that the shadow area is changed. Removed. Here, unlike the luminance component, the color component is not easily affected by the shadow of the object and the highlight of the illumination, so the area behind the object is accurately detected and the area is changed to the second area. Thus, it can be reliably excluded from the foreground area. As described above, since the foreground area is extracted from the processing target image based on the first to fourth areas in which the shadow area is surely removed from the foreground area, the foreground area is extracted from the moving image including the background and the foreground. In addition to extraction with high accuracy, the above-described processes are configured based on high-speed differential processing, so that a foreground region can be extracted from a moving image at high speed.
前記抽出手段は、前記影除去手段により変更されていない第３の領域と、前記４の領域とに対して、各領域により表される対象物を特定するためのラベリングを行うラベリング手段と、前記ラベリング手段によりラベリングされた各領域の輪郭を抽出する輪郭抽出手段と、前記輪郭抽出手段により輪郭が抽出された領域において、前記１の領域、前記第２の領域、前記第３の領域、前記第４の領域の順に領域成長法を適用して、各領域を成長させる領域成長手段と、前記領域成長手段により成長された各領域のうち前記第３及び第４の領域を前記前景領域として抽出する前景抽出手段とを含むことが好ましい。 The extraction means includes a labeling means for performing labeling for identifying an object represented by each area with respect to the third area that has not been changed by the shadow removing means and the 4 area, and A contour extracting unit that extracts a contour of each region labeled by the labeling unit; and a region in which the contour is extracted by the contour extracting unit, the first region, the second region, the third region, and the first region. The region growth method is applied in the order of the four regions, and the region growth means for growing each region and the third and fourth regions among the regions grown by the region growth means are extracted as the foreground region. And foreground extraction means.
この場合、変更されていない第３の領域と４の領域とに対して、各領域により表される対象物を特定するためのラベリングが行われ、ラベリングされた各領域の輪郭が抽出され、輪郭が抽出された領域において、１の領域、第２の領域、第３の領域、第４の領域の順に領域成長法を適用して各領域が成長されるので、前景領域である第３及び４の領域の内部に本来あるべきホール、例えば、二人の人間が手を繋ぐことにより形成されるホールを背景領域として確実に復元することができる。このように、本来あるべきホールが確実に復元された後の第３及び第４の領域を前景領域として抽出しているので、前景に位置する対象物の形態を高精度に抽出することができる。 In this case, labeling for specifying the object represented by each region is performed on the third region and the fourth region that have not been changed, and the contours of the labeled regions are extracted, and the contours are extracted. In the extracted region, each region is grown in the order of 1 region, 2nd region, 3rd region, and 4th region, so that the 3rd and 4th foreground regions are grown. It is possible to reliably restore, as a background area, a hole that should originally exist inside the area, for example, a hole formed by connecting two people together. As described above, since the third and fourth regions after the holes that should have been properly restored are extracted as the foreground region, the form of the object located in the foreground can be extracted with high accuracy. .
前記ラベリング手段は、前記影除去手段により変更されていない第３の領域と、前記４の領域との中から所定の大きさより小さい領域を除去し、残りの領域に対してラベリングを行うことが好ましい。 Preferably, the labeling unit removes a region smaller than a predetermined size from the third region that has not been changed by the shadow removing unit and the fourth region, and performs labeling on the remaining region. .
この場合、変更されていない第３の領域と４の領域との中から所定の大きさより小さい領域を除去し、残りの領域に対してラベリングを行っているので、前景領域から小さなノイズ領域を確実に排除することができる。 In this case, a region smaller than a predetermined size is removed from the third region and the fourth region that have not been changed, and the remaining regions are labeled, so that a small noise region can be reliably detected from the foreground region. Can be eliminated.
前記領域区分手段は、前記背景モデル画像の輝度成分の標準偏差を基に、前記１乃至前記第４の領域を区分することが好ましい。 It is preferable that the area classification unit classifies the first to fourth areas based on a standard deviation of luminance components of the background model image.
ここで、背景差分の分布は、ガウス分布ではなく、ゼロで非常にシャープなピークを有する零平均ラプラシアン分布であるため、背景モデル画像の輝度成分の標準偏差を基準に１乃至前記第４の領域を区分することにより、各領域を高精度に区分することができる。 Here, the background difference distribution is not a Gaussian distribution but a zero average Laplacian distribution having a very sharp peak at zero, and therefore, the first to fourth regions are based on the standard deviation of the luminance component of the background model image. By segmenting, each region can be segmented with high accuracy.
前記影除去手段は、前記背景モデル画像の色成分の標準偏差を基に、前記第３領域から対象物の陰の領域を抽出することが好ましい。 Preferably, the shadow removing unit extracts a shadow area of the object from the third area based on a standard deviation of color components of the background model image.
ここで、背景差分の分布は、ガウス分布ではなく、ゼロで非常にシャープなピークを有する零平均ラプラシアン分布であるため、背景モデル画像の色成分の標準偏差を基準に第３領域から対象物の陰の領域を抽出することにより、対象物の陰を前景から確実に除去することができる。 Here, the background difference distribution is not a Gaussian distribution but a zero-average Laplacian distribution having a very sharp peak at zero. Therefore, the distribution of the object from the third region is based on the standard deviation of the color components of the background model image. By extracting the shadow area, the shadow of the object can be reliably removed from the foreground.
本発明に係る画像処理方法は、取得手段と、背景差分手段と、領域区分手段と、影除去手段と、抽出手段とを備える画像処理装置を用いて、背景及び前景を含む動画像から前景を構成する対象物の領域である前景領域を抽出する画像処理方法であって、前記取得手段が、処理対象画像となる動画像を取得する第１のステップと、前記背景差分手段が、前記第１のステップにおいて取得された処理対象画像から、前景を含まず、背景を含む背景モデル画像の輝度成分からなる輝度背景画像を差分して差分画像を作成する第２のステップと、前記領域区分手段が、前記差分画像の輝度成分を基に、前記処理対象画像を、当該領域が前景でなく背景である信頼性が高い第１の領域と、当該領域が前景でなく背景である信頼性が前記第１の領域より低い第２の領域と、当該領域が背景でなく前景である信頼性が低い第３の領域と、当該領域が背景でなく前景である信頼性が前記第３の領域より高い第４の領域とに区分する第３のステップと、前記影除去手段が、前記第３領域の色成分と、前記背景モデル画像の色成分との差分に基づいて、前記第３領域から対象物の陰の領域を抽出し、抽出した陰の領域を前記第２の領域に変更することにより、影の領域を除去する第４のステップと、前記抽出手段が、前記第４のステップにおいて影の領域が除去された第１乃至４の領域を基に、前記処理対象画像から前記前景領域を抽出する第５のステップとを含むものである。 An image processing method according to the present invention uses an image processing apparatus including an acquisition unit, a background difference unit, a region segmentation unit, a shadow removal unit, and an extraction unit to extract a foreground from a moving image including a background and a foreground. An image processing method for extracting a foreground region that is a region of an object to be configured, wherein the acquisition unit acquires a moving image that is a processing target image, and the background difference unit includes the first difference A second step of creating a differential image by subtracting a luminance background image composed of luminance components of a background model image including a background from a processing target image acquired in the step; and the region dividing means Based on the luminance component of the difference image, the processing target image is divided into a first region having a high reliability in which the region is not a foreground but a background, and a reliability in which the region is not a foreground but a background. Lower than 1 area A second region, a third region having a low reliability in which the region is not a background and a foreground, and a fourth region having a higher reliability than the third region in which the region is not a background and a foreground And a shadow removing unit that extracts a shadow area of the object from the third area based on a difference between the color component of the third area and the color component of the background model image. Then, a fourth step of removing the shadow region by changing the extracted shadow region to the second region, and the extracting means includes a step of removing the shadow region in the fourth step. And a fifth step of extracting the foreground area from the processing target image based on areas 1 to 4.
本発明に係る画像処理プログラムは、背景及び前景を含む動画像から前景を構成する対象物の領域である前景領域を抽出するための画像処理プログラムであって、処理対象画像となる動画像を取得する取得手段と、前記取得手段により取得された処理対象画像から、前景を含まず、背景を含む背景モデル画像の輝度成分からなる輝度背景画像を差分して差分画像を作成する背景差分手段と、前記差分画像の輝度成分を基に、前記処理対象画像を、当該領域が前景でなく背景である信頼性が高い第１の領域と、当該領域が前景でなく背景である信頼性が前記第１の領域より低い第２の領域と、当該領域が背景でなく前景である信頼性が低い第３の領域と、当該領域が背景でなく前景である信頼性が前記第３の領域より高い第４の領域とに区分する領域区分手段と、前記第３領域の色成分と前記背景モデル画像の色成分との差分に基づいて、前記第３領域から対象物の陰の領域を抽出し、抽出した陰の領域を前記第２の領域に変更することにより、影の領域を除去する影除去手段と、前記影除去手段により影の領域が除去された第１乃至４の領域を基に、前記処理対象画像から前記前景領域を抽出する抽出手段としてコンピュータを機能させるものである。 An image processing program according to the present invention is an image processing program for extracting a foreground region, which is a region of an object constituting a foreground, from a moving image including a background and a foreground, and acquires a moving image as a processing target image A background difference unit that creates a difference image by subtracting a luminance background image that includes a luminance component of a background model image including a background from a processing target image acquired by the acquisition unit; Based on the luminance component of the difference image, the processing target image is divided into a first region having high reliability in which the region is not a foreground but a background, and reliability in which the region is not a foreground but a background. A second region that is lower than the third region, a third region that is less reliable that the region is not the background but the foreground, and a fourth region that is more reliable than the third region that the region is not the background but the foreground. Into areas Based on the difference between the color classification component and the color component of the third region and the color component of the background model image, the shadow region of the object is extracted from the third region, and the extracted shadow region is extracted from the third region. Based on the first to fourth areas from which the shadow area has been removed by the shadow removing means, the foreground area is changed from the processing target image. The computer is made to function as extraction means for extracting.
本発明によれば、差分画像の輝度成分を基に処理対象画像を信頼性に応じた２種類の背景領域（第１及び第２の領域）及び２種類の前景領域（第３及び第４の領域）に正確に区分し、この第３領域の色成分と背景モデル画像の色成分との差に基づいて、第３領域から対象物の陰の領域が抽出されて除去され、影の領域が確実に除去された第１乃至４の領域を基に処理対象画像から前景領域を抽出しているので、背景及び前景を含む動画像から前景領域を高精度且つ高速に抽出することができる。 According to the present invention, two types of background regions (first and second regions) and two types of foreground regions (third and fourth regions) corresponding to the reliability of the processing target image based on the luminance component of the difference image. Area), and the shadow area of the object is extracted and removed from the third area based on the difference between the color component of the third area and the color component of the background model image. Since the foreground area is extracted from the processing target image based on the first to fourth areas that have been reliably removed, the foreground area can be extracted from the moving image including the background and the foreground with high accuracy and at high speed.
以下、本発明の一実施の形態による画像処理装置について図面を参照しながら説明する。図１は、本発明の一実施の形態による画像処理装置の構成を示すブロック図である。 An image processing apparatus according to an embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to an embodiment of the present invention.
図１に示す画像処理装置は、複数のビデオカメラ１１〜１ｎ（ｎは任意の整数）、背景モデル記憶部１２、画像取得部１３、背景差分部１４、領域区分部１５、影除去部１６、ラベリング部１７、輪郭抽出部１８、領域成長部１９、及び前景領域抽出部２０を備える。 The image processing apparatus shown in FIG. 1 includes a plurality of video cameras 11 to 1n (n is an arbitrary integer), a background model storage unit 12, an image acquisition unit 13, a background difference unit 14, a region segmentation unit 15, a shadow removal unit 16, A labeling unit 17, a contour extracting unit 18, a region growing unit 19, and a foreground region extracting unit 20 are provided.
ｎ台（ｎは１以上の整数）のビデオカメラ１１〜１ｎは、撮影空間の所定箇所に固定され、前景となる対象物、例えば、人物をその背後に位置する背景、例えば、室内の壁、調度品等を含めて撮影し、撮影したカラー動画像を処理対象画像として画像取得部１３へ出力する。例えば、ビデオカメラ１１〜１ｎとして、７台のビデオカメラを用い、１０２４×７６８画素のＲＧＢストリームが３０フレーム／秒で撮影される。 The n (n is an integer equal to or greater than 1) video cameras 11 to 1n are fixed at predetermined positions in the shooting space, and an object as a foreground, for example, a background behind a person, for example, an indoor wall, The image including the furnishings is photographed, and the photographed color moving image is output to the image acquisition unit 13 as a processing target image. For example, seven video cameras are used as the video cameras 11 to 1n, and an RGB stream of 1024 × 768 pixels is captured at 30 frames / second.
背景モデル記憶部１２、画像取得部１３、背景差分部１４、領域区分部１５、影除去部１６、ラベリング部１７、輪郭抽出部１８、領域成長部１９、及び前景領域抽出部２０は、入力装置、表示装置、ＲＯＭ（リードオンリメモリ）、ＣＰＵ（中央演算処理装置）、ＲＡＭ（ランダムアクセスメモリ）、画像Ｉ／Ｆ（インターフェース）部及び外部記憶装置等を備えるコンピュータを用いて、ＲＯＭ又は外部記憶装置に予め記憶されている、後述する各処理を行うための画像処理プログラムをＣＰＵ等で実行することにより実現される。なお、背景モデル記憶部１２、画像取得部１３、背景差分部１４、領域区分部１５、影除去部１６、ラベリング部１７、輪郭抽出部１８、領域成長部１９、及び前景領域抽出部２０の構成例は、本例に特に限定されず、各ブロックを専用のハードウエアから構成したり、一部のブロック又はブロック内の一部の処理のみを専用のハードウエアで構成したりする等の種々の変更が可能である。 The background model storage unit 12, the image acquisition unit 13, the background difference unit 14, the region segmentation unit 15, the shadow removal unit 16, the labeling unit 17, the contour extraction unit 18, the region growth unit 19, and the foreground region extraction unit 20 are input devices. ROM or external storage using a computer having a display device, ROM (read only memory), CPU (central processing unit), RAM (random access memory), image I / F (interface) unit, external storage device, etc. This is realized by executing an image processing program, which is stored in advance in the apparatus, for performing each process described later, using a CPU or the like. The configuration of the background model storage unit 12, the image acquisition unit 13, the background difference unit 14, the region segmentation unit 15, the shadow removal unit 16, the labeling unit 17, the contour extraction unit 18, the region growth unit 19, and the foreground region extraction unit 20 The example is not particularly limited to this example, and various blocks are configured such that each block is configured by dedicated hardware, or only a part of blocks or only a part of processing in the block is configured by dedicated hardware. It can be changed.
背景モデル記憶部１２は、前景を含まず、背景を含む背景モデル画像の、輝度成分からなる輝度背景画像データ及び色成分からなる色背景画像データと、領域区分及び陰除去の基準となる複数の閾値とを予め記憶している。すなわち、背景モデル画像は、２つの識別可能な部分、輝度モデル画像と色モデル画像とにモデル化され、輝度背景画像データが輝度モデル画像となり、色背景画像データが色モデル画像となる。 The background model storage unit 12 does not include a foreground, but includes a background model image including a background, luminance background image data including a luminance component, and color background image data including a color component, and a plurality of regions serving as a criterion for area division and shadow removal. The threshold value is stored in advance. That is, the background model image is modeled into two identifiable parts, a luminance model image and a color model image, the luminance background image data becomes the luminance model image, and the color background image data becomes the color model image.
ビデオカメラ１１〜１ｎから入力されるビデオストリームは、ＲＧＢ成分の３チャンネルを有しているが、それらはノイズ及び照明条件に対して敏感であるため、本実施の形態では、初期的な対象物すなわち前景の区分にカラー画像の輝度成分を使用している。背景モデル画像の輝度すなわち輝度背景画像データは、下記式で計算される。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ …（１）
Although the video stream input from the video cameras 11 to 1n has three channels of RGB components, they are sensitive to noise and lighting conditions. That is, the luminance component of the color image is used for the foreground segment. The luminance of the background model image, that is, the luminance background image data is calculated by the following equation.
Y = 0.299 × R + 0.587 × G + 0.114 × B (1)
しかしながら、輝度成分は、背景領域の影及び前景領域の照明の反射により急激に変化する。本実施の形態では、間違った前景の区分を防止するために、画像の色成分を用いた色背景画像データを用いる。背景モデル画像の色成分Ｈすなわち色背景画像データは、下記のようにしてＨＳＩモデルを基に算出される。なお、本発明に使用可能なモデルは、この例に特に限定されず、ＨＳＶモデルを用いても差し支えない。 However, the luminance component changes rapidly due to the shadow of the background area and the reflection of the illumination of the foreground area. In this embodiment, color background image data using the color components of the image is used to prevent erroneous foreground classification. The color component H of the background model image, that is, the color background image data is calculated based on the HSI model as follows. The model that can be used in the present invention is not particularly limited to this example, and an HSV model may be used.
ここで、ノイズ、背景の素材の特性及び照明条件の変化等により、静的なシーンにおいてさえ、フレーム間の変化が発生する。図２は、連続した１５０フレームから計算された各画素の平均からの偏差の分布（ノイズ分布）を示す図であり、（ａ）は輝度成分を示し、（ｂ）は色成分を示している。 Here, changes between frames occur even in a static scene due to noise, characteristics of background materials, changes in lighting conditions, and the like. FIG. 2 is a diagram showing a distribution (noise distribution) of deviation from the average of each pixel calculated from 150 consecutive frames, where (a) shows a luminance component and (b) shows a color component. .
ビデオカメラ１１〜１ｎが所定期間同一シーンを観測し続けている場合、ノイズは、キャンセル又は抑圧され、零平均ラプラシアン分布として表現することができる。したがって、本実施の形態では、ビデオカメラ１１〜１ｎにより連続的に、例えば、１５０フレーム間撮影された背景モデル画像の平均及び標準偏差を算出し、算出した各画素のＲＧＢ成分の平均値から、式（１）及び式（２）を用いて、輝度背景画像データ及び色背景画像データを予め計算し、これらの輝度背景画像データ及び色背景画像データと、輝度背景画像データの標準偏差に所定の重み係数を乗算した３つの閾値及び色背景画像データの標準偏差に所定の重み係数を乗算した１つの閾値とが背景モデル記憶部１２に予め記憶されている。 When the video cameras 11 to 1n continue to observe the same scene for a predetermined period, the noise is canceled or suppressed and can be expressed as a zero average Laplacian distribution. Therefore, in the present embodiment, the average and standard deviation of the background model images photographed for 150 frames, for example, are continuously calculated by the video cameras 11 to 1n, and the calculated average value of the RGB components of each pixel is calculated. The luminance background image data and the color background image data are calculated in advance using the equations (1) and (2), and the luminance background image data, the color background image data, and the standard deviation of the luminance background image data are set to a predetermined value. Three threshold values multiplied by the weighting factor and one threshold value obtained by multiplying the standard deviation of the color background image data by a predetermined weighting factor are stored in the background model storage unit 12 in advance.
画像取得部１３は、ビデオカメラ１１〜１ｎから処理対象画像となる動画像を取得して背景差分部１４へ出力する。背景差分部１４は、背景モデル記憶部１２から輝度背景画像データを読み出し、処理対象画像データから輝度背景画像データを差分して差分画像データを作成して領域区分部１５へ出力する。 The image acquisition unit 13 acquires a moving image as a processing target image from the video cameras 11 to 1n and outputs the moving image to the background difference unit 14. The background difference unit 14 reads the luminance background image data from the background model storage unit 12, creates the difference image data by subtracting the luminance background image data from the processing target image data, and outputs the difference image data to the region classification unit 15.
領域区分部１５は、輝度背景画像データの標準偏差に所定の重み係数を乗算した３つの閾値を背景モデル記憶部１２から読み出し、差分画像データの輝度成分と３つの閾値とを比較する。領域区分部１５は、比較結果に応じて、処理対象画像を、当該領域が前景でなく背景である信頼性が高い第１の領域と、当該領域が前景でなく背景である信頼性が第１の領域より低い第２の領域と、当該領域が背景でなく前景である信頼性が低い第３の領域と、当該領域が背景でなく前景である信頼性が前記第３の領域より高い第４の領域とに区分し、影除去部１６へ出力する。 The area classification unit 15 reads three threshold values obtained by multiplying the standard deviation of the luminance background image data by a predetermined weight coefficient from the background model storage unit 12, and compares the luminance component of the difference image data with the three threshold values. In accordance with the comparison result, the region classification unit 15 determines that the processing target image is a first region having a high reliability in which the region is not the foreground but the background, and a reliability in which the region is not the foreground but the background. A second region that is lower than the third region, a third region that is less reliable that the region is not the background but the foreground, and a fourth region that is more reliable than the third region that the region is not the background but the foreground. And output to the shadow removal unit 16.
影除去部１６は、背景モデル記憶部１２から色背景画像データ及び色背景画像データの標準偏差に所定の重み係数を乗算した１つの閾値を読み出し、第３領域の色成分と背景モデル画像の色成分すなわち色背景画像データとの差分と閾値とを比較する。影除去部１６は、比較結果に応じて、第３領域から対象物の陰の領域を抽出し、抽出した陰の領域を第２の領域に変更することにより、影の領域を除去してラベリング部１７へ出力する。 The shadow removal unit 16 reads one threshold value obtained by multiplying the color background image data and the standard deviation of the color background image data by a predetermined weight coefficient from the background model storage unit 12, and the color components of the third region and the color of the background model image The difference between the component, that is, the color background image data is compared with the threshold value. The shadow removal unit 16 extracts the shadow area of the object from the third area according to the comparison result, and changes the extracted shadow area to the second area, thereby removing the shadow area and labeling. To the unit 17.
ラベリング部１７は、影除去部１６により第２の領域に変更されていない第３の領域と、４の領域とに対して、各領域により表される対象物を特定するためのラベリングを行い、輪郭抽出部１８へ出力する。 The labeling unit 17 performs labeling for specifying the object represented by each region with respect to the third region and the four regions that have not been changed to the second region by the shadow removing unit 16, The data is output to the contour extraction unit 18.
輪郭抽出部１８は、ラベリングされた各領域の輪郭を抽出して領域成長部１９へ出力する。領域成長部１９は、輪郭が抽出された領域において、１の領域、第２の領域、第３の領域、第４の領域の順に領域成長法を適用して各領域を成長させ、対象物の輪郭の内側に実際に存在するホールを復元し、前景領域抽出部２０へ出力する。 The contour extracting unit 18 extracts the contour of each labeled region and outputs the extracted region to the region growing unit 19. In the region where the contour is extracted, the region growing unit 19 applies the region growing method in the order of the first region, the second region, the third region, and the fourth region, and grows each region. A hole that actually exists inside the contour is restored and output to the foreground region extraction unit 20.
前景領域抽出部２０は、実際に存在するホールが復元された第３及び第４の領域を前景領域として抽出し、その他の領域をマスクする前景マスクを生成して動画像をマスクすることにより、動画像から前景領域すなわち対象物を抽出して表示する。 The foreground area extraction unit 20 extracts the third and fourth areas in which holes that are actually present are restored as the foreground area, generates a foreground mask that masks the other areas, and masks the moving image. A foreground region, that is, an object is extracted from the moving image and displayed.
上記の構成により、本実施の形態では、複数閾値を用いた背景差分により、処理対象画像がそれらの信頼性に基づいて４つの領域に区分され、対象物の影の領域が色成分を用いて除去される。また、各対象物が自身の識別番号でラベリングされ、シルエット抽出技術により前景領域の境界がスムージング処理されて前景領域内の不要なホールが除去され、、領域成長技術により前景領域内に実際に存在するホールが復元される。このように、不要なホール及び影が除去されるとともに、実際に存在するホールが復元された前景領域を用いて前景マスクが生成され、動画像から対象物が確実に且つ正確に、さらに高速に抽出される。 With the above configuration, in the present embodiment, the processing target image is divided into four regions based on the reliability based on the background difference using a plurality of threshold values, and the shadow region of the target object uses the color component. Removed. In addition, each object is labeled with its own identification number, the boundary of the foreground area is smoothed by silhouette extraction technology to remove unnecessary holes in the foreground area, and actually exist in the foreground area by area growth technology The hole to be restored. In this way, unnecessary holes and shadows are removed, and the foreground mask is generated using the foreground region in which the actually existing holes are restored, so that the object can be reliably and accurately extracted from the moving image at a higher speed. Extracted.
本実施の形態では、画像取得部１３が取得手段の一例に相当し、背景差分部１４が背景差分手段の一例に相当し、領域区分部１５が領域区分手段の一例に相当し、影除去部１６が影除去手段の一例に相当し、ラベリング部１７、輪郭抽出部１８、領域成長部１９及び前景領域抽出部２０が抽出手段の一例に相当する。また、ラベリング部１７がラベリング手段の一例に相当し、輪郭抽出部１８が輪郭抽出手段の一例に相当し、領域成長部１９が領域成長手段の一例に相当し、前景領域抽出部２０が前景抽出手段の一例に相当する。 In the present embodiment, the image acquisition unit 13 corresponds to an example of an acquisition unit, the background difference unit 14 corresponds to an example of a background difference unit, the region division unit 15 corresponds to an example of a region division unit, and a shadow removal unit 16 corresponds to an example of a shadow removing unit, and the labeling unit 17, the contour extracting unit 18, the region growing unit 19, and the foreground region extracting unit 20 correspond to an example of an extracting unit. In addition, the labeling unit 17 corresponds to an example of a labeling unit, the contour extraction unit 18 corresponds to an example of a contour extraction unit, the region growing unit 19 corresponds to an example of a region growing unit, and the foreground region extracting unit 20 extracts a foreground. It corresponds to an example of means.
次に、上記のように構成された画像処理装置により、背景及び前景を含む動画像から前景を構成する対象物の領域である前景領域を抽出する画像処理である前景領域抽出処理について説明する。図３は、図１に示す画像処理装置による前景領域抽出処理を説明するためのフローチャートである。 Next, foreground region extraction processing, which is image processing for extracting a foreground region that is a region of an object constituting a foreground from a moving image including a background and a foreground by the image processing apparatus configured as described above, will be described. FIG. 3 is a flowchart for explaining foreground region extraction processing by the image processing apparatus shown in FIG.
まず、ステップＳ１１において、ビデオカメラ１１〜１ｎは、前景となる人物をその背後に位置する背景を含めて撮影し、画像取得部１３は、撮影された動画像を処理対象画像として取得する。 First, in step S11, the video cameras 11 to 1n photograph a person who is a foreground including a background behind them, and the image acquisition unit 13 acquires the captured moving image as a processing target image.
次に、ステップＳ１２において、背景差分部１４は、背景モデル記憶部１２から輝度背景画像データを読み出し、画像取得部１３から出力される処理対象画像データから輝度背景画像データを差分して差分画像データを作成して領域区分部１５へ出力する。 Next, in step S12, the background difference unit 14 reads the luminance background image data from the background model storage unit 12, and subtracts the luminance background image data from the processing target image data output from the image acquisition unit 13 to obtain difference image data. Is generated and output to the area sorting unit 15.
次に、ステップＳ１３において、下記の式（３）に従い、領域区分部１５は、輝度背景画像データの標準偏差に所定の重み係数を乗算した３つの閾値を背景モデル記憶部１２から読み出し、差分画像データの輝度成分と３つの閾値とを比較して、処理対象画像を、（ａ）当該領域が前景でなく背景である信頼性が高い第１の領域（信頼できる背景）と、（ｂ）当該領域が前景でなく背景である信頼性が第１の領域より低い第２の領域（疑わしい背景）と、（ｃ）当該領域が背景でなく前景である信頼性が低い第３の領域（疑わしい前景）と、（ｄ）当該領域が背景でなく前景である信頼性が前記第３の領域より高い第４の領域（信頼できる前景）とに区分し、影除去部１６へ出力する。なお、下式において、ＬＩ及びＬＢは、現在のフレーム及び背景モデル画像の輝度成分を示し、σは、背景モデル画像の輝度成分の標準偏差を示し、Ｋ１〜Ｋ３は、重み係数を示す。 Next, in step S13, according to the following equation (3), the region segmentation unit 15 reads three threshold values obtained by multiplying the standard deviation of the luminance background image data by a predetermined weighting factor from the background model storage unit 12, and calculates the difference image. The luminance component of the data and the three threshold values are compared, and the image to be processed is: (a) a highly reliable first region (reliable background) in which the region is not the foreground but the background; A second region (suspicious background) in which the region is not a foreground but a background is less reliable than the first region, and (c) a third region (a suspect foreground) in which the region is not a background but a foreground. ) And (d) a fourth area (reliable foreground) in which the area is not a background but a foreground and has a higher reliability than the third area, and outputs to the shadow removal unit 16. In the following equation, L I and L B indicate the luminance components of the current frame and the background model image, σ indicates the standard deviation of the luminance components of the background model image, and K 1 to K 3 are weighting factors. Indicates.
ここで、上記の背景差分処理及び領域区分処理について詳細に説明する。図４は、７台のビデオカメラのうちの２台のカメラを用いて生成した背景モデル画像の輝度成分の一例を示す図であり、図５は、図４に示す背景モデル画像の色成分の一例を示す図であり、図６は、本実施の形態に使用した処理対象画像の一例を示す図であり、図７は、図６に示す処理対象画像の差分後の輝度成分を示す図である。なお、図５において、０〜３６０°範囲で記述される色成分は、０〜２５５のグレースケール値にマッピングされている。 Here, the background difference process and the area division process will be described in detail. FIG. 4 is a diagram illustrating an example of the luminance component of the background model image generated using two of the seven video cameras. FIG. 5 is a diagram illustrating the color components of the background model image illustrated in FIG. FIG. 6 is a diagram illustrating an example of a processing target image used in the present embodiment, and FIG. 7 is a diagram illustrating a luminance component after the difference of the processing target image illustrated in FIG. is there. In FIG. 5, the color components described in the range of 0 to 360 ° are mapped to gray scale values of 0 to 255.
上記の各画像を用いて、現在のフレームの輝度成分から背景モデル画像を減算することにより、初期の背景差分が実行される。このとき、背景と同様の明るさを有する影及び前景領域のような多くの曖昧な領域を、固定されたシンプルな閾値を用いて区分するために、上記の式（３）に示すように、それらの信頼性に基づく複数の閾値を用いて、処理対象領域が４つのカテゴリーに分類される。 An initial background difference is performed by subtracting the background model image from the luminance component of the current frame using each of the above images. At this time, in order to classify many ambiguous areas such as shadows and foreground areas having the same brightness as the background using a fixed simple threshold, as shown in the above equation (3), Using a plurality of threshold values based on their reliability, the processing target area is classified into four categories.
背景差分の分布がガウス分布であると仮定すると、所望の検出比を達成するように、背景差分の標準偏差によって閾値を決定することができるが、図２に示したように、背景差分の分布は、ガウス分布ではなく、ゼロで非常にシャープなピークを有する零平均ラプラシアン分布である。このため、本実施の形態では、背景モデル画像の標準偏差を用いて閾値を決定する。画像の各画素の偏差は、背景を構成する素材の特性及び照明条件に基づいて異なるため、背景を長時間撮影することにより、各画素の標準偏差を閾値として使用することができる。 Assuming that the background difference distribution is a Gaussian distribution, the threshold can be determined by the standard deviation of the background difference so as to achieve a desired detection ratio. As shown in FIG. Is not a Gaussian distribution but a zero-mean Laplacian distribution with zero and very sharp peaks. For this reason, in this embodiment, the threshold value is determined using the standard deviation of the background model image. Since the deviation of each pixel of the image differs based on the characteristics of the material constituting the background and the illumination conditions, the standard deviation of each pixel can be used as a threshold by photographing the background for a long time.
図８は、図６及び図７に示す画像を用いた分類結果を示す図である。図８に示す例では、式（３）に用いられる重み係数Ｋ１〜Ｋ３として、５、１２、６０を用いている。図８に示す黒、濃い灰色、薄い灰色、白の各領域が、第１の領域（信頼できる背景）、第２の領域（疑わしい背景）、第３の領域（疑わしい前景）、第４の領域（信頼できる前景）を示している。 FIG. 8 is a diagram illustrating a classification result using the images illustrated in FIGS. 6 and 7. In the example shown in FIG. 8, 5, 12, 60 are used as the weighting factors K 1 to K 3 used in Expression (3). The black, dark gray, light gray, and white areas shown in FIG. 8 are the first area (reliable background), the second area (suspicious background), the third area (suspicious foreground), and the fourth area. (Reliable foreground).
次に、ステップＳ１４において、下記の式（４）に従い、影除去部１６は、背景モデル記憶部１２から色背景画像データ及び色背景画像データの標準偏差に所定の重み係数を乗算した１つの閾値を読み出し、第３領域の色成分と色背景画像データとの差分と閾値とを比較して第３領域から対象物の陰の領域を抽出し、抽出した陰の領域を第２の領域に変更することにより、影の領域を除去してラベリング部１７へ出力する。なお、下式において、ＨＩ及びＨＢは、現在のフレーム及び背景モデル画像の色成分を示し、σＨは、背景モデル画像の色成分の標準偏差を示す。 Next, in step S14, according to the following equation (4), the shadow removal unit 16 multiplies the standard deviation of the color background image data and color background image data from the background model storage unit 12 by a predetermined weight coefficient. Is read out, the difference between the color component of the third area and the color background image data is compared with the threshold value, the shadow area of the object is extracted from the third area, and the extracted shadow area is changed to the second area. As a result, the shadow area is removed and output to the labeling unit 17. In the following equation, H I and H B indicate the color components of the current frame and the background model image, and σ H indicates the standard deviation of the color components of the background model image.
ここで、上記の影除去処理について詳細に説明する。図８に示す結果から、対象物の影が背景の明るさを変化させ、フロア上の背景の多くの部分が、第３の領域（疑わしい前景）に組み込まれていることがわかる。このため、本実施の形態では、影が背景の色特性を変化させることなく、輝度のみを変化させることに着目し、式（４）に示すように、色成分を用いて、第３の領域（疑わしい前景）の影を第２の領域（疑わしい背景）にマージし、第３の領域から影を除去する。図９は、影除去処理後の結果の一例を示す図である。 Here, the shadow removal process will be described in detail. From the results shown in FIG. 8, it can be seen that the shadow of the object changes the brightness of the background, and many parts of the background on the floor are incorporated in the third region (suspicious foreground). For this reason, in the present embodiment, focusing on the fact that the shadow changes only the luminance without changing the color characteristics of the background, and using the color component as shown in Expression (4), the third region Merge the shadow of (suspected foreground) into the second area (suspect background) and remove the shadow from the third area. FIG. 9 is a diagram illustrating an example of a result after the shadow removal process.
次に、ステップＳ１５において、ラベリング部１７は、影除去部１６による影除去処理後の第３の領域と、４の領域とに対して、各領域により表される対象物を特定するためのラベリングを行い、輪郭抽出部１８へ出力する。 Next, in step S15, the labeling unit 17 performs labeling for specifying the object represented by each region with respect to the third region and the four regions after the shadow removal processing by the shadow removing unit 16. And output to the contour extraction unit 18.
ここで、上記のラベリング処理について詳細に説明する。このラベリング処理においては、式（３）におけるすべての前景領域である第３の領域と４の領域が、自身の識別番号でラベリングされる。このとき、４近傍規則を用いて連結されたすべての前景画素が、領域成長技術を用いて同じラベルを割り付けられる。しかしながら、初期対象物領域である第３の領域と４の領域には、小さなノイズ領域が存在する場合がある。 Here, the labeling process will be described in detail. In this labeling process, the third area and the fourth area, which are all foreground areas in Expression (3), are labeled with their own identification numbers. At this time, all foreground pixels connected using the 4-neighbor rule are assigned the same label using the region growing technique. However, a small noise region may exist in the third region and the fourth region, which are the initial object regions.
このため、従来のノイズ領域除去方法では、形態的操作を用いて小さいノイズ領域をフィルタリングしていたが、本実施の形態では、閉鎖及び開口処理による初期マスクを改良している。すなわち、ラベリング部１７は、各領域の大きさに基づく降順ですべてのラベリングされた領域をソート及び再ラベリングし、再ラベリング処理において、所定の閾値ＴＨＲＧより小さい領域を除去している。図１０は、ラベリング処理の結果の一例を示す図である。図１０に示すように、右側の画像では、二人の人間がシーン内に存在しているが、手を繋いでいるので、一つの対象物としてラベリングされている。 For this reason, in the conventional noise region removal method, a small noise region is filtered using a morphological operation, but in this embodiment, the initial mask by the closing and opening process is improved. That is, the labeling unit 17, all of the labeled regions in descending order based on the size of each area are sorted and re-labeling, the re-labeling process, and removing a predetermined threshold value TH RG smaller area. FIG. 10 is a diagram illustrating an example of a result of the labeling process. As shown in FIG. 10, in the image on the right side, two people are present in the scene, but since they are holding hands, they are labeled as one object.
次に、ステップＳ１６において、輪郭抽出部１８は、ラベリングされた各前景領域の輪郭を抽出して領域成長部１９へ出力する。ここで、図１０に示す状態では、背景として間違って区分されたり、対象物の内部に間違ってラベリングされた多くの間違った領域が存在する。このため、本実施の形態では、前景領域の境界をスムージングし、領域内のホールを除去するために、カーマープロファイル抽出技術を改良したシルエット抽出技術を用いて、各領域の輪郭を抽出している。 Next, in step S <b> 16, the contour extracting unit 18 extracts the contours of the labeled foreground regions and outputs them to the region growing unit 19. Here, in the state shown in FIG. 10, there are many wrong regions that are wrongly classified as backgrounds or wrongly labeled inside the object. For this reason, in this embodiment, in order to smooth the boundary of the foreground region and remove holes in the region, the contour extraction of each region is extracted using a silhouette extraction technology improved from the carmer profile extraction technology. Yes.
図１１は、初期対象物に適用される輪郭抽出処理を説明するための模式図である。図１１の（ａ）〜（ｄ）に示すように、輪郭抽出部１８は、重み付けされた一画素の厚いドレープＤ１〜Ｄ４を初期対象物ＲＡに対して順次一方側から反対側へ移動させ、４つのドレープＤ１〜Ｄ４によって包まれた領域ＳＩが最終的に前景領域を示すこととなる。なお、ドレープＤ１〜Ｄ４の隣接画素は、その幅が所定の閾値Ｍより小さい浸潤ギャップのない対象物を覆う弾性バネによって連結されている。 FIG. 11 is a schematic diagram for explaining the contour extraction process applied to the initial object. As shown in (a) to (d) of FIG. 11, the contour extracting unit 18 moves the weighted one pixel thick drapes D1 to D4 sequentially from one side to the opposite side with respect to the initial object RA, The area SI surrounded by the four drapes D1 to D4 will finally indicate the foreground area. The adjacent pixels of the drapes D1 to D4 are connected by an elastic spring that covers an object having no infiltration gap whose width is smaller than a predetermined threshold M.
次に、ステップＳ１７において、領域成長部１９は、輪郭が抽出された領域において、１の領域、第２の領域、第３の領域、第４の領域の順に領域成長法を適用して、各領域を成長させ、対象物の輪郭の内側に実際に存在するホールを復元して前景領域抽出部２０へ出力する。 Next, in step S17, the region growing unit 19 applies the region growing method in the order of one region, second region, third region, and fourth region in the region where the contour is extracted, The region is grown, and a hole that actually exists inside the contour of the object is restored and output to the foreground region extraction unit 20.
ここで、上記のシルエット抽出技術では、複数の対象物が撮影シーン中に存在するときに、対象物の内部に実際に存在するホールをも覆う可能性があり、対象物間の領域に重大なエラーを引き起こすという欠点を有している。このため、本実施の形態では、第１の問題を避けるために、各ラベリングされた領域に対してシルエット抽出技術を独立に適用し、第２の問題に対して、閾値ＴＨＲＧより大きい領域に対して、シルエット内の信頼性が高い背景領域から領域成長技術を順次実行している。 Here, in the silhouette extraction technique described above, when a plurality of objects exist in the shooting scene, there is a possibility that a hole that actually exists inside the object may be covered, and it is serious in an area between the objects. Has the disadvantage of causing errors. Therefore, in this embodiment, in order to avoid the first problem, it applied independently silhouette extraction techniques for each labeled region, the second problem, the threshold value TH RG larger area On the other hand, the area growth technique is sequentially executed from the background area with high reliability in the silhouette.
図１２は、輪郭抽出処理の結果の一例を示す図であり、図１３は、内部ホール復元処理の結果の一例を示す図である。図１２の（ａ）及び図１３の（ａ）に示すように、一人の人間が前景に位置する場合、輪郭抽出処理の結果と内部ホール復元処理の結果とで大きな差はないが、図１２の（ｂ）及び図１３の（ｂ）に示すように、二人の人間が手を繋いだ状態で前景に位置する場合、図１２の（ｂ）において喪失していた、二人の人間によって作られたホールが、図１３の（ｂ）では、領域成長処理によって第４の領域（信頼できる前景）から復元されていることがわかる。 FIG. 12 is a diagram illustrating an example of the result of the contour extraction process, and FIG. 13 is a diagram illustrating an example of the result of the internal hole restoration process. As shown in FIGS. 12A and 13A, when one person is located in the foreground, there is no significant difference between the result of the contour extraction process and the result of the internal hole restoration process. As shown in (b) of FIG. 13 and (b) of FIG. 13, when two people are located in the foreground with their hands held together, they are lost in FIG. In FIG. 13B, it can be seen that the created hole is restored from the fourth region (reliable foreground) by the region growing process.
最後に、ステップＳ１８において、前景領域抽出部２０は、実際に存在するホールが復元された第３及び第４の領域を前景領域として抽出し、その他の領域をマスクする前景マスクを生成して動画像をマスクすることにより、動画像から対象物を抽出して表示する。その後、ステップＳ１１に戻って、次の処理対象画像に対して上記の処理が繰り返される。 Finally, in step S18, the foreground area extraction unit 20 extracts the third and fourth areas in which holes that are actually present are restored as foreground areas, generates a foreground mask that masks the other areas, and creates a moving image. By masking the image, the object is extracted from the moving image and displayed. Then, it returns to step S11 and said process is repeated with respect to the next process target image.
次に、上記の前景領域抽出処理を実際に実行した結果について詳細に説明する。ビデオカメラ１１〜１ｎは、７台の同期型ＩＥＥＥ−１３９４カメラ（カメラ１〜７）から構成され、撮影空間の中心方向に向けられ、ほぼ同一シーンを撮影した。各カメラは、１０２４×７６８画素のＲＧＢストリームを３０フレーム／秒で撮影し、通常のパーソナルコンピュータを用いて上記の前景領域抽出処理を実行した。このとき、背景モデル画像のフレーム数として、Ｎ＝１５０、領域区分に使用した標準偏差σの各重み係数として、Ｋ１＝５、Ｋ２＝１２、Ｋ３＝６０、最小有効領域サイズ（画素）として、ＴＨＲＧ＝３００、輪郭抽出処理に用いる最大ギャップとして、Ｍ＝１２を用いた。 Next, a result of actually executing the above foreground area extraction process will be described in detail. The video cameras 11 to 1n are composed of seven synchronous IEEE-1394 cameras (cameras 1 to 7). The video cameras 11 to 1n are directed toward the center of the photographing space and photograph almost the same scene. Each camera shot an RGB stream of 1024 × 768 pixels at 30 frames / second, and performed the above foreground region extraction processing using a normal personal computer. At this time, N = 150 as the number of frames of the background model image, K 1 = 5, K 2 = 12, K 3 = 60, and the minimum effective area size (pixels) as the respective weight coefficients of the standard deviation σ used for the area division. ), TH RG = 300, and M = 12 was used as the maximum gap used in the contour extraction process.
図１４は、各カメラにより撮影された処理対象画像に対する前景領域抽出処理の抽出結果を示す図であり、図１５〜図２１は、カメラ１〜７の撮影画像及び区分された前景を示す図である。 FIG. 14 is a diagram illustrating the extraction results of the foreground region extraction process for the processing target images captured by each camera, and FIGS. 15 to 21 are diagrams illustrating captured images of the cameras 1 to 7 and partitioned foregrounds. is there.
本例では、照明器具及び背景の操作のような特別な条件なしに、典型的な室内環境において、映像が撮影され、図１５〜図２１の（ａ）及び（ｃ）の各画像は、７台のカメラ１〜７により撮影された同一フレームの画像を示しており、図１５〜図２１の（ｂ）及び（ｄ）の画像の外側は、詳細な境界を示すためにカットされている。 In this example, an image is taken in a typical indoor environment without special conditions such as lighting equipment and background operation, and each of the images in FIGS. The images of the same frame photographed by the cameras 1 to 7 are shown, and the outside of the images of FIGS. 15 to 21 (b) and (d) is cut to show detailed boundaries.
図１５〜図２１から、本例では、対象物である人物が素早く動いたにもかかわらず、また、すべてのカメラが異なる方向に向いて異なる背景を撮影しているにもかかわらず、前景を非常に高精度に区分することができ、本画像処理装置が種々の条件下で十分に機能することがわかった。 From FIG. 15 to FIG. 21, in this example, the foreground is displayed despite the fact that the person who is the object has moved quickly and all the cameras are shooting in different directions and facing different backgrounds. It was possible to classify with very high accuracy, and it was found that the image processing apparatus functions satisfactorily under various conditions.
また、図１４に示す評価結果は、手動区分によって生成されたグランド・トルース区分マスクによる区分結果と、本実施の形態による区分結果とを比較し、各マスクにおけるエラー画素の割合を計算したものであり、ＦＢは、背景領域として間違って分類された前景領域を意味し、ＦＦは、前景領域として間違って分類された背景領域を意味する。 Further, the evaluation results shown in FIG. 14 are obtained by calculating the ratio of error pixels in each mask by comparing the result of classification by the ground-truth classification mask generated by manual classification with the result of classification by this embodiment. Yes, FB means a foreground area incorrectly classified as a background area, and FF means a background area incorrectly classified as a foreground area.
一般に、ＦＦのエラーは、ＦＢのエラーより人間の目にとって不快であり、多くの視覚システムにとって受け入れがたい。しかしながら、図１４に示す結果では、素早い動き及び対象物の境界からのボケのために、ＦＦのエラーがＦＢのエラーより大きくなっているが、前景の対象物の速度及び大きさに確実に依存するため、すべてのシーンにおいる平均エラーレートは、１．２５％より低かった。 In general, FF errors are more unpleasant for the human eye than FB errors and are unacceptable for many visual systems. However, in the results shown in FIG. 14, the FF error is larger than the FB error due to fast movement and blurring from the object boundary, but certainly depends on the speed and size of the foreground object. Therefore, the average error rate in all scenes was lower than 1.25%.
さらに、上記の前景領域抽出処理のランタイム分析を行った結果、背景差分処理（ステップＳ１１〜Ｓ１３）は１５ｍｓｅｃ、影除去処理（ステップＳ１４）は４７ｍｓｅｃ、ラベリング処理（ステップＳ１５）は１２５ｍｓｅｃ、輪郭抽出処理（ステップＳ１６）は２３５ｍｓｅｃ、ホール復元処理（ステップＳ１７、Ｓ１８）は１２５ｍｓｅｃであり、合計は５４７ｍｓｅｃであった。これらの時間は、一人の人間が撮影空間を動いたときの平均処理時間であり、本例の画像解像度では、リアルタイムに処理することはできなかったが、処理の複雑さは画像サイズの自乗に比例するため、ＶＧＡ又はＱＶＧＡのような低解像度で撮影した画像の場合、リアルタイムに動作させることができることがわかった。また、ＧＰＵのようなハードウエアアクセラレータを用いたり、さらに処理を最適化することによって、ＸＧＡ動画に対してもリアルタイムに動作させることができることがわかった。 Further, as a result of the runtime analysis of the foreground region extraction process described above, the background difference process (steps S11 to S13) is 15 msec, the shadow removal process (step S14) is 47 msec, the labeling process (step S15) is 125 msec, and the contour extraction process (Step S16) was 235 msec, hole restoration processing (Steps S17 and S18) was 125 msec, and the total was 547 msec. These times are the average processing time when one person moves in the shooting space, and with the image resolution of this example, it could not be processed in real time, but the complexity of the processing is the square of the image size Since it is proportional, it has been found that an image taken at a low resolution such as VGA or QVGA can be operated in real time. In addition, it has been found that by using a hardware accelerator such as a GPU or by further optimizing the processing, it can be operated in real time on an XGA moving image.
上記のように、本実施の形態では、差分画像の輝度成分を背景モデル画像の輝度成分の標準偏差に基づく複数の閾値と比較して処理対象画像を信頼性に応じた２種類の背景領域（第１及び第２の領域）及び２種類の前景領域（第３及び第４の領域）に正確に区分し、この第３領域の色成分と背景モデル画像の色成分との差を背景モデル画像の色成分の標準偏差に基づく閾値と比較して第３領域から対象物の陰の領域を抽出して除去し、影の領域が確実に除去された第３及び第４の領域を前景領域として抽出しているので、背景及び前景を含むカラー動画像から前景領域を高精度且つ高速に抽出することができる。 As described above, in the present embodiment, the luminance component of the difference image is compared with a plurality of threshold values based on the standard deviation of the luminance component of the background model image, and the processing target image is classified into two types of background regions according to reliability ( 1st and 2nd area) and 2 types of foreground areas (3rd and 4th area), and the difference between the color component of this 3rd area and the color component of the background model image is the background model image The shadow area of the object is extracted and removed from the third area in comparison with the threshold value based on the standard deviation of the color component of the image, and the third and fourth areas in which the shadow area is reliably removed are used as the foreground area. Since the extraction is performed, the foreground region can be extracted with high accuracy and high speed from the color moving image including the background and the foreground.
なお、上記の説明では、抽出される対象物として、人間を例に説明したが、他の動物、他の物体等にも同様に適用することができ、同様の効果を得ることができる。 In the above description, a human is described as an example of an object to be extracted. However, the present invention can be similarly applied to other animals, other objects, and the like, and similar effects can be obtained.
１１〜１ｎ ビデオカメラ
１２ 背景モデル記憶部
１３ 画像取得部
１４ 背景差分部
１５ 領域区分部
１６ 影除去部
１７ ラベリング部
１８ 輪郭抽出部
１９ 領域成長部
２０ 前景領域抽出部
11 to 1n video camera 12 background model storage unit 13 image acquisition unit 14 background difference unit 15 region segmentation unit 16 shadow removal unit 17 labeling unit 18 contour extraction unit 19 region growth unit 20 foreground region extraction unit
Claims (7)
処理対象画像となる動画像を取得する取得手段と、
前記取得手段により取得された処理対象画像から、前景を含まず、背景を含む背景モデル画像の輝度成分からなる輝度背景画像を差分して差分画像を作成する背景差分手段と、
前記差分画像の輝度成分を基に、前記処理対象画像を、当該領域が前景でなく背景である信頼性が高い第１の領域と、当該領域が前景でなく背景である信頼性が前記第１の領域より低い第２の領域と、当該領域が背景でなく前景である信頼性が低い第３の領域と、当該領域が背景でなく前景である信頼性が前記第３の領域より高い第４の領域とに区分する領域区分手段と、
前記第３領域の色成分と前記背景モデル画像の色成分との差分に基づいて、前記第３領域から対象物の陰の領域を抽出し、抽出した陰の領域を前記第２の領域に変更することにより、影の領域を除去する影除去手段と、
前記影除去手段により影の領域が除去された第１乃至４の領域を基に、前記処理対象画像から前記前景領域を抽出する抽出手段とを備えることを特徴とする画像処理装置。 An image processing apparatus for extracting a foreground area, which is an area of an object constituting a foreground, from a moving image including a background and a foreground,
An acquisition means for acquiring a moving image to be processed;
A background difference unit that creates a difference image by subtracting a luminance background image including a luminance component of a background model image including a background from a processing target image acquired by the acquisition unit;
Based on the luminance component of the difference image, the processing target image is divided into a first region having high reliability in which the region is not a foreground but a background, and reliability in which the region is not a foreground but a background. A second region that is lower than the third region, a third region that is less reliable that the region is not the background but the foreground, and a fourth region that is more reliable than the third region that the region is not the background but the foreground. Area dividing means for dividing the area into
Based on the difference between the color component of the third area and the color component of the background model image, the shadow area of the object is extracted from the third area, and the extracted shadow area is changed to the second area. Shadow removing means for removing the shadow area by
An image processing apparatus comprising: extraction means for extracting the foreground area from the processing target image based on the first to fourth areas from which shadow areas have been removed by the shadow removing means.
前記影除去手段により変更されていない第３の領域と、前記４の領域とに対して、各領域により表される対象物を特定するためのラベリングを行うラベリング手段と、
前記ラベリング手段によりラベリングされた各領域の輪郭を抽出する輪郭抽出手段と、
前記輪郭抽出手段により輪郭が抽出された領域において、前記１の領域、前記第２の領域、前記第３の領域、前記第４の領域の順に領域成長法を適用して、各領域を成長させる領域成長手段と、
前記領域成長手段により成長された各領域のうち前記第３及び第４の領域を前記前景領域として抽出する前景抽出手段とを含むことを特徴とする請求項１記載の画像処理装置。 The extraction means includes
Labeling means for performing labeling for identifying the object represented by each area with respect to the third area that has not been changed by the shadow removing means and the fourth area;
Contour extracting means for extracting the contour of each area labeled by the labeling means;
In the region where the contour is extracted by the contour extraction means, each region is grown by applying a region growing method in the order of the first region, the second region, the third region, and the fourth region. Area growth means,
The image processing apparatus according to claim 1, further comprising: a foreground extracting unit that extracts the third and fourth regions as the foreground region among the regions grown by the region growing unit.
前記取得手段が、処理対象画像となる動画像を取得する第１のステップと、
前記背景差分手段が、前記第１のステップにおいて取得された処理対象画像から、前景を含まず、背景を含む背景モデル画像の輝度成分からなる輝度背景画像を差分して差分画像を作成する第２のステップと、
前記領域区分手段が、前記差分画像の輝度成分を基に、前記処理対象画像を、当該領域が前景でなく背景である信頼性が高い第１の領域と、当該領域が前景でなく背景である信頼性が前記第１の領域より低い第２の領域と、当該領域が背景でなく前景である信頼性が低い第３の領域と、当該領域が背景でなく前景である信頼性が前記第３の領域より高い第４の領域とに区分する第３のステップと、
前記影除去手段が、前記第３領域の色成分と、前記背景モデル画像の色成分との差分に基づいて、前記第３領域から対象物の陰の領域を抽出し、抽出した陰の領域を前記第２の領域に変更することにより、影の領域を除去する第４のステップと、
前記抽出手段が、前記第４のステップにおいて影の領域が除去された第１乃至４の領域を基に、前記処理対象画像から前記前景領域を抽出する第５のステップとを含むことを特徴とする画像処理方法。 A foreground that is a region of an object that constitutes a foreground from a moving image including a background and a foreground using an image processing apparatus that includes an acquisition unit, a background difference unit, a region segmentation unit, a shadow removal unit, and an extraction unit An image processing method for extracting a region,
A first step in which the acquisition means acquires a moving image to be processed;
The background difference means creates a difference image by subtracting a luminance background image composed of luminance components of a background model image not including a foreground and including a background from the processing target image acquired in the first step. And the steps
Based on the luminance component of the difference image, the region segmenting means determines that the processing target image is a highly reliable first region in which the region is not the foreground but the background, and the region is not the foreground but the background. A second region having a lower reliability than the first region, a third region having a low reliability in which the region is not a background but a foreground, and a reliability in which the region is a foreground but not a background. A third step of dividing into a fourth region higher than the region of
The shadow removing means extracts a shadow area of the object from the third area based on a difference between the color component of the third area and the color component of the background model image, and extracts the shadow area extracted A fourth step of removing the shadow region by changing to the second region;
The extraction means includes a fifth step of extracting the foreground region from the processing target image based on the first to fourth regions from which shadow regions have been removed in the fourth step. Image processing method.
処理対象画像となる動画像を取得する取得手段と、
前記取得手段により取得された処理対象画像から、前景を含まず、背景を含む背景モデル画像の輝度成分からなる輝度背景画像を差分して差分画像を作成する背景差分手段と、
前記差分画像の輝度成分を基に、前記処理対象画像を、当該領域が前景でなく背景である信頼性が高い第１の領域と、当該領域が前景でなく背景である信頼性が前記第１の領域より低い第２の領域と、当該領域が背景でなく前景である信頼性が低い第３の領域と、当該領域が背景でなく前景である信頼性が前記第３の領域より高い第４の領域とに区分する領域区分手段と、
前記第３領域の色成分と前記背景モデル画像の色成分との差分に基づいて、前記第３領域から対象物の陰の領域を抽出し、抽出した陰の領域を前記第２の領域に変更することにより、影の領域を除去する影除去手段と、
前記影除去手段により影の領域が除去された第１乃至４の領域を基に、前記処理対象画像から前記前景領域を抽出する抽出手段としてコンピュータを機能させることを特徴とする画像処理プログラム。 An image processing program for extracting a foreground area that is an area of an object constituting a foreground from a moving image including a background and a foreground,
An acquisition means for acquiring a moving image to be processed;
A background difference unit that creates a difference image by subtracting a luminance background image including a luminance component of a background model image including a background from a processing target image acquired by the acquisition unit;
Based on the luminance component of the difference image, the processing target image is divided into a first region having high reliability in which the region is not a foreground but a background, and reliability in which the region is not a foreground but a background. A second region that is lower than the third region, a third region that is less reliable that the region is not the background but the foreground, and a fourth region that is more reliable than the third region that the region is not the background but the foreground. Area dividing means for dividing the area into
Based on the difference between the color component of the third area and the color component of the background model image, the shadow area of the object is extracted from the third area, and the extracted shadow area is changed to the second area. Shadow removing means for removing the shadow area by
An image processing program that causes a computer to function as an extracting unit that extracts the foreground region from the processing target image based on the first to fourth regions from which the shadow region has been removed by the shadow removing unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006314485A JP4780564B2 (en) | 2006-11-21 | 2006-11-21 | Image processing apparatus, image processing method, and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006314485A JP4780564B2 (en) | 2006-11-21 | 2006-11-21 | Image processing apparatus, image processing method, and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008129864A true JP2008129864A (en) | 2008-06-05 |
| JP4780564B2 JP4780564B2 (en) | 2011-09-28 |
Family
ID=39555610
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006314485A Expired - Fee Related JP4780564B2 (en) | 2006-11-21 | 2006-11-21 | Image processing apparatus, image processing method, and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4780564B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012506589A (en) * | 2008-10-24 | 2012-03-15 | エクストリーム リアリティー エルティーディー． | Method, system and related modules, and software components for providing an image sensor human machine interface |
| US8498498B2 (en) | 2008-09-30 | 2013-07-30 | Samsung Electronics Co., Ltd. | Apparatus and method of obtaining high resolution image |
| KR101468267B1 (en) * | 2008-10-02 | 2014-12-15 | 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 | Intermediate view synthesis and multi-view data signal extraction |
| JP2018026068A (en) * | 2016-08-12 | 2018-02-15 | 日本電信電話株式会社 | Foreground region extraction device, method, and program |
| US11379999B2 (en) | 2018-02-20 | 2022-07-05 | Nec Corporation | Feature extraction method, comparison system, and storage medium |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1021408A (en) * | 1996-07-04 | 1998-01-23 | Canon Inc | Device and method for extracting image |
| JPH10247247A (en) * | 1997-03-04 | 1998-09-14 | Oki Electric Ind Co Ltd | Moving object extracting device |
-
2006
- 2006-11-21 JP JP2006314485A patent/JP4780564B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1021408A (en) * | 1996-07-04 | 1998-01-23 | Canon Inc | Device and method for extracting image |
| JPH10247247A (en) * | 1997-03-04 | 1998-09-14 | Oki Electric Ind Co Ltd | Moving object extracting device |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8498498B2 (en) | 2008-09-30 | 2013-07-30 | Samsung Electronics Co., Ltd. | Apparatus and method of obtaining high resolution image |
| KR101468267B1 (en) * | 2008-10-02 | 2014-12-15 | 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 | Intermediate view synthesis and multi-view data signal extraction |
| US9214040B2 (en) | 2008-10-02 | 2015-12-15 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Intermediate view synthesis and multi-view data signal extraction |
| JP2012506589A (en) * | 2008-10-24 | 2012-03-15 | エクストリーム リアリティー エルティーディー． | Method, system and related modules, and software components for providing an image sensor human machine interface |
| JP2018026068A (en) * | 2016-08-12 | 2018-02-15 | 日本電信電話株式会社 | Foreground region extraction device, method, and program |
| US11379999B2 (en) | 2018-02-20 | 2022-07-05 | Nec Corporation | Feature extraction method, comparison system, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4780564B2 (en) | 2011-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dorj et al. | An yield estimation in citrus orchards via fruit detection and counting using image processing | |
| Appana et al. | A video-based smoke detection using smoke flow pattern and spatial-temporal energy analyses for alarm systems | |
| JP2009031939A (en) | Image processing apparatus, method and program | |
| Salvador et al. | Cast shadow segmentation using invariant color features | |
| JP2009074836A (en) | Image processing device, image processing method, and image processing program | |
| JP2008192131A (en) | System and method for performing feature level segmentation | |
| Mohan et al. | Video image processing for moving object detection and segmentation using background subtraction | |
| KR20120090491A (en) | Image segmentation device and method based on sequential frame imagery of a static scene | |
| Spagnolo et al. | An abandoned/removed objects detection algorithm and its evaluation on pets datasets | |
| Huerta et al. | Chromatic shadow detection and tracking for moving foreground segmentation | |
| Ng et al. | Background subtraction using a pixel-wise adaptive learning rate for object tracking initialization | |
| JP4780564B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| Abdusalomov et al. | An improvement for the foreground recognition method using shadow removal technique for indoor environments | |
| KR101243294B1 (en) | Method and apparatus for extracting and tracking moving objects | |
| Kim et al. | Robust foreground extraction technique using Gaussian family model and multiple thresholds | |
| Angelo | A novel approach on object detection and tracking using adaptive background subtraction method | |
| Izadi et al. | Robust region-based background subtraction and shadow removing using color and gradient information | |
| Kim et al. | Robust foreground segmentation from color video sequences using background subtraction with multiple thresholds | |
| KR20110121261A (en) | Method for removing a moving cast shadow in gray level video data | |
| Kim et al. | Robust silhouette extraction technique using background subtraction | |
| Malavika et al. | Moving object detection and velocity estimation using MATLAB | |
| JP6618438B2 (en) | Foreground region extraction apparatus, method, and program | |
| Vincent et al. | Shadow detection: A review of various approaches to enhance image quality | |
| KR20150055481A (en) | Background-based method for removing shadow pixels in an image | |
| Sun et al. | Retinex theory‐based shadow detection and removal in single outdoor image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091023 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100526 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110523 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110531 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110627 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140715 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4780564 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |