JPH11120331A - Method and device for marker area acquisition and area dividing device - Google Patents
Method and device for marker area acquisition and area dividing deviceInfo
- Publication number
- JPH11120331A JPH11120331A JP9291660A JP29166097A JPH11120331A JP H11120331 A JPH11120331 A JP H11120331A JP 9291660 A JP9291660 A JP 9291660A JP 29166097 A JP29166097 A JP 29166097A JP H11120331 A JPH11120331 A JP H11120331A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- area
- color
- luminance
- marker area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、マーカー領域の獲
得方法と獲得装置、及び獲得したマーカー領域を用いて
対象画像を領域分割する領域分割装置に関する。本発明
は、例えば、画像内から必要な領域のみを抽出する画像
切り取り装置や、画像内からオブジェクト領域を抽出す
るためのマスク生成装置等に利用することができる。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and an apparatus for acquiring a marker area, and an apparatus for dividing an object image into areas using the acquired marker area. INDUSTRIAL APPLICABILITY The present invention can be used, for example, in an image clipping device that extracts only a necessary region from an image, a mask generation device that extracts an object region from an image, and the like.
【０００２】[0002]
【従来の技術】対象画像から得られる輝度データの極小
値をマーカーとして獲得し、各マーカーに対してウォー
ターシェッド等の公知のアルゴリズムを適用して領域拡
張することにより対象画像を領域分割し、これにより、
必要な領域を切り出したり、オブジェクト抽出用のマス
クを生成する方法が知られている。2. Description of the Related Art A minimum value of luminance data obtained from a target image is acquired as a marker, and a region is extended by applying a known algorithm such as a watershed to each marker, thereby dividing the target image into regions. By
There are known methods for cutting out a necessary area and generating a mask for extracting an object.
【０００３】[0003]
【発明が解決しようとする課題】図４の（１）（２）
（６）を用いて説明する。原画像（１）から、輝度デー
タが均質な領域をマーカー領域として獲得した状態が
（２）である。これらのマーカー領域を、ウォーターシ
ェッドアルゴリズム等を用いて拡張して、さらに、輝度
が類似している（＝輝度距離が所定の閾値以下である）
隣接マーカー領域を統合することにより（６）を得る。Problems to be Solved by the Invention (1) and (2) of FIG.
This will be described using (6). (2) is a state in which an area with uniform luminance data is obtained as a marker area from the original image (1). These marker areas are expanded by using a watershed algorithm or the like, and are further similar in luminance (= luminance distance is equal to or less than a predetermined threshold).
(6) is obtained by integrating the adjacent marker regions.
【０００４】（１）と（６）の比較から明らかなよう
に、輝度データに基づいてマーカー領域を獲得し、該マ
ーカー領域を領域拡張することにより領域分割を行う
と、輝度は類似しているが色は全く相違している領域ま
でもが、均質な領域として統合されてしまうという不具
合がある。本発明は、これらの不具合を無くすことを目
的とする。As is apparent from a comparison between (1) and (6), when a marker area is obtained based on luminance data and area division is performed by expanding the marker area, the luminance is similar. However, there is a problem in that even areas having completely different colors are integrated as homogeneous areas. An object of the present invention is to eliminate these disadvantages.
【０００５】[0005]
【課題を解決するための手段】本発明は、色に関して均
質な画素数が所定の閾値以上である色マーカー領域を対
象画面から抽出するとともに、輝度に関して均質な画素
数が所定の閾値以上である輝度マーカー領域を対象画面
から抽出し、色マーカー領域と輝度マーカー領域の重な
りの有無を調べ、色マーカー領域と輝度マーカー領域が
重なる領域の画素数が所定の閾値以上である重なり領域
をマーカー領域として採用するとともに、色マーカー領
域と輝度マーカー領域の重なりが無い色又は輝度の各マ
ーカー領域を各々マーカー領域として採用する、マーカ
ー領域獲得方法である。According to the present invention, a color marker area in which the number of pixels having a uniform color is equal to or more than a predetermined threshold value is extracted from a target screen, and the number of pixels having a uniform brightness is equal to or more than a predetermined threshold value. The luminance marker area is extracted from the target screen, and the presence / absence of overlap between the color marker area and the luminance marker area is checked. The overlap area where the number of pixels of the area where the color marker area and the luminance marker area overlap with each other is equal to or more than a predetermined threshold is defined as the marker area. This is a marker area acquisition method that employs each color or luminance marker area that does not overlap the color marker area and the luminance marker area as the marker area.
【０００６】本発明は、量子化した色データが均質な画
素数が所定の閾値以上である色マーカー領域を対象画面
から抽出するとともに、モフォロジカルフィルターを用
いて輝度データの極大値付近及び極小値付近を平坦化
し、該平坦化した輝度データが均質な画素数が所定の閾
値以上である輝度マーカー領域を対象画面から抽出し、
色マーカー領域と輝度マーカー領域の重なりの有無を調
べ、色マーカー領域と輝度マーカー領域が重なる領域の
画素数が所定の閾値以上である重なり領域をマーカー領
域として採用するとともに、色マーカー領域と輝度マー
カー領域の重なりが無い色又は輝度の各マーカー領域を
各々マーカー領域として採用する、マーカー領域獲得方
法である。According to the present invention, a color marker area in which the number of pixels having uniform quantized color data is equal to or larger than a predetermined threshold value is extracted from a target screen, and the vicinity of the maximum value and the minimum value of the luminance data are determined using a morphological filter. The vicinity is flattened, and the flattened brightness data is extracted from the target screen as a brightness marker region in which the number of uniform pixels is equal to or greater than a predetermined threshold,
The color marker area and the luminance marker area are checked for overlap. The overlapping area in which the number of pixels of the area where the color marker area and the luminance marker area overlap is equal to or larger than a predetermined threshold is adopted as the marker area. This is a marker area acquisition method in which each marker area of color or luminance having no overlapping area is adopted as a marker area.
【０００７】本発明は、領域拡張処理に供するためのマ
ーカー領域を獲得するマーカー領域獲得装置であって、
色に関して均質な画素数が所定の閾値以上である色マー
カー領域を対象画面から抽出する色マーカー抽出手段
と、輝度に関して均質な画素数が所定の閾値以上である
輝度マーカー領域を対象画面から抽出する輝度マーカー
抽出手段と、色マーカー領域と輝度マーカー領域の重な
りの有無を調べる検査手段と、色マーカー領域と輝度マ
ーカー領域が重なる領域の画素数が所定の閾値以上であ
る重なり領域をマーカー領域として採用するとともに色
マーカー領域と輝度マーカー領域の重なりが無い色又は
輝度の各マーカー領域を各々マーカー領域として採用す
るマーカー結合手段と、を有するマーカー領域獲得装置
である。[0007] The present invention is a marker region obtaining apparatus for obtaining a marker region for use in a region expanding process,
A color marker extracting means for extracting, from the target screen, a color marker area in which the number of uniform pixels with respect to the color is equal to or more than a predetermined threshold, and extracting, from the target screen, a luminance marker area in which the number of uniform pixels with respect to the luminance is equal to or more than a predetermined threshold. Luminance marker extraction means, inspection means for checking for the presence or absence of overlap between the color marker area and the luminance marker area, and an overlap area in which the number of pixels of the area where the color marker area and the luminance marker area overlap is equal to or greater than a predetermined threshold value is adopted as the marker area. And a marker combining unit that employs each of the color or luminance marker regions having no overlap between the color marker region and the luminance marker region as the marker regions.
【０００８】また、本発明は、上記マーカー領域獲得装
置と、上記マーカー結合器から出力されるマーカー領域
を輝度差及び色差の両者を考慮したウォーターシェッド
アルゴリズムを用いて拡張する領域拡張手段と、を有す
る領域分割装置である。Further, the present invention provides the marker region acquiring apparatus and region extending means for extending a marker region output from the marker combiner by using a watershed algorithm in consideration of both a luminance difference and a color difference. Is an area dividing device.
【０００９】本発明は、図７に示すように、領域拡張処
理に供するためのマーカー領域を獲得するマーカー領域
獲得装置であって、対象画面内の各画素の色データを量
子化する量子化器３２と、前記量子化器３２の出力を入
力して色データが均質な画素数が所定の閾値以上である
色マーカー領域を抽出する色マーカー抽出器３３と、対
象画面内の各画素の輝度データを入力して極大値付近及
び極小値付近を平坦化して出力するモフォロジカルフィ
ルター３５と、前記モフォロジカルフィルター３５の出
力を入力して輝度データが均質な画素数が所定の閾値以
上である輝度マーカー領域を抽出する輝度マーカー抽出
器３６と、前記色マーカー抽出器３３と前記輝度マーカ
ー抽出器３６の出力を入力して色マーカー領域と輝度マ
ーカー領域が重なる領域を有する色及び輝度マーカー領
域と重なる領域を有しない色又は輝度マーカー領域に分
類して出力する分類器３４と、前記分類器３４から出力
される色及び輝度マーカー領域が重なる領域の中で画素
数が所定の閾値以上である重なり領域を重なりマーカー
領域として抽出する重なりマーカー抽出器３７と、前記
分類器３４から出力される色マーカー領域又は輝度マー
カー領域と前記重なりマーカー抽出器３７から出力され
る重なりマーカー領域をマーカー領域として出力するマ
ーカー結合器３８と、を有するマーカー領域獲得装置で
ある。As shown in FIG. 7, the present invention relates to a marker area acquiring apparatus for acquiring a marker area for use in an area expanding process, and a quantizer for quantizing color data of each pixel in a target screen. 32, a color marker extractor 33 that receives an output of the quantizer 32 and extracts a color marker region in which the number of pixels with uniform color data is equal to or greater than a predetermined threshold, and luminance data of each pixel in the target screen. A morphological filter 35 for flattening the vicinity of the maximum value and the vicinity of the minimum value and outputting the same, and a luminance marker which receives the output of the morphological filter 35 and has a uniform number of pixels whose luminance data is equal to or greater than a predetermined threshold. The luminance marker extractor 36 for extracting the area, the outputs of the color marker extractor 33 and the luminance marker extractor 36 are input, and the color marker area and the luminance marker area overlap. A classifier 34 that classifies and outputs a color or luminance marker region that does not have a region overlapping a color and luminance marker region having a region, and a pixel in a region where the color and luminance marker region output from the classifier 34 overlaps. An overlap marker extractor 37 for extracting an overlap region whose number is equal to or greater than a predetermined threshold value as an overlap marker region; a color marker region or a luminance marker region output from the classifier 34 and output from the overlap marker extractor 37 A marker combiner that outputs the overlapping marker region as a marker region.
【００１０】また、本発明は、上記構成に於いて、量子
化器３２が、ＨＳＶ（色相（Ｈｕｅ）、彩度（Ｓａｔｕ
ｒａｔｉｏｎ）、明度（Ｖａｌｕｅ））変換器３１によ
りＨＳＶ色空間のデータに変換された色データを量子化
する、マーカー領域獲得装置である。Further, according to the present invention, in the above-mentioned configuration, the quantizer 32 includes an HSV (Hue, Saturation (Satu)
This is a marker area acquisition device that quantizes the color data converted into data in the HSV color space by the ratio / value converter 31.
【００１１】また、本発明は、上記マーカー領域獲得装
置と、上記マーカー結合器３８から出力されるマーカー
領域を輝度差及び色差の両者を考慮したウォーターシェ
ッドアルゴリズムを用いて拡張する領域拡張手段４１
と、を有する領域分割装置である。The present invention also provides a marker region acquiring device and a region extending means 41 for extending a marker region outputted from the marker combiner 38 by using a watershed algorithm in consideration of both luminance difference and color difference.
And a region dividing device having:
【００１２】また、本発明は、上記領域拡張手段４１
が、上記マーカー結合器３８から出力されるマーカー領
域を着目マーカー領域からの輝度差及び色差の両者を考
慮した距離が所定の閾値以下である隣接画素を当該着目
マーカー領域に組み入れる第１の領域拡張手段と、該第
１の領域拡張手段によっては何れのマーカー領域にも属
しなかった未決定画素を該未決定画素に隣接するマーカ
ー領域の中で前記距離が最短のマーカー領域に組み入れ
る第２の領域拡張手段と、から成る領域分割装置であ
る。The present invention also relates to the area expanding means 41.
However, a first area expansion is performed in which a marker area output from the marker combiner 38 is combined with an adjacent pixel whose distance in consideration of both the luminance difference and the color difference from the target marker area is equal to or less than a predetermined threshold value in the target marker area. Means, and a second area for incorporating an undetermined pixel which did not belong to any marker area by the first area expanding means into a marker area having the shortest distance among marker areas adjacent to the undetermined pixel. And an extension means.
【００１３】また、本発明は、上記構成に於いて、さら
に、上記第２の領域拡張手段により拡張された隣接する
マーカー領域の平均色を比較してその色距離が所定の閾
値以下である領域を統合する統合手段４２を有する領域
分割装置である。According to the present invention, the average color of the adjacent marker areas expanded by the second area expansion means is compared with the average color of the adjacent marker areas, and the color distance between the adjacent marker areas is equal to or less than a predetermined threshold value. Is an area dividing device having an integrating means 42 for integrating the two.
【００１４】本発明は、領域拡張処理に供するためのマ
ーカー領域を獲得するマーカー領域獲得装置であって、
対象画面内の各画素の色データを量子化されたＨＳＶ空
間の量子化色データに変換する変換量子化手段と、前記
量子化色データが均質な画素数が所定の閾値以上である
色マーカー領域を抽出する色マーカー抽出手段と、モフ
ォロジカルフィルターを用いて極大値付近及び極小値付
近を平坦化した対象画面内の各画素の輝度データが均質
な画素数が所定の閾値以上である輝度マーカー領域を抽
出する輝度マーカー抽出手段と、前記色マーカー領域と
前記輝度マーカー領域が重なる領域を有する色及び輝度
マーカー領域と、前記色マーカー領域と前記輝度マーカ
ー領域が重なる領域を有しない色又は輝度マーカー領域
に分類する分類手段と、前記色及び輝度マーカー領域の
色マーカー領域と輝度マーカー領域が重なる領域の中で
画素数が所定の閾値以上である重なり領域をマーカー領
域として採用するとともに、前記色又は輝度マーカー領
域をマーカー領域として採用するマーカー結合手段と、
を有するマーカー領域獲得装置である。The present invention relates to a marker region obtaining apparatus for obtaining a marker region for use in a region expanding process,
Transform quantization means for converting the color data of each pixel in the target screen into quantized color data in the HSV space; and a color marker region in which the number of pixels having uniform quantized color data is equal to or greater than a predetermined threshold value. A color marker extracting means for extracting the luminance marker area in which the luminance data of each pixel in the target screen in which the vicinity of the maximum value and the vicinity of the minimum value are flattened using a morphological filter is equal to or more than a predetermined threshold value A color and luminance marker area having an area where the color marker area and the luminance marker area overlap each other, and a color or luminance marker area having no area where the color marker area and the luminance marker area overlap each other. Classification means for classifying the color and luminance marker areas, wherein the number of pixels is within a predetermined threshold While adopting the in which the overlap region or as a marker region, a marker-binding means employing the color or luminance marker area as a marker region,
It is a marker area | region acquisition apparatus which has a.
【００１５】[0015]
【発明の実施の形態】図１は、本発明の一実施の形態に
かかるマスク作成装置を示す。図１（ａ）に於いて、画
像入力部１１は、スキャナ、カメラ、画像ファイル等で
ある。ユーザー入力部１２は、マウス、ペン等である。
演算処理部１３は、パソコン、ワークステーション等で
ある。記憶部１４は、メモリ、ハードディスク等であ
る。表示部１５は、ディスプレイ等である。出力部１６
は、プリンタ、ネットワークへのインターフェース等で
ある。FIG. 1 shows a mask making apparatus according to an embodiment of the present invention. In FIG. 1A, an image input unit 11 is a scanner, a camera, an image file, and the like. The user input unit 12 is a mouse, a pen, or the like.
The arithmetic processing unit 13 is a personal computer, a workstation, or the like. The storage unit 14 is a memory, a hard disk, or the like. The display unit 15 is a display or the like. Output unit 16
Is a printer, an interface to a network, and the like.
【００１６】図１（ｂ）に示すように、画像入力手段２
１から入力された画像データは、メモリ２４に取り込ま
れる（図２のステップＳ１参照）。この画像データは、
色量子化手段２５と色空間変換手段２６を用いて、量子
化されたＨＳＶ色空間の色データに変換される（図２の
ステップＳ４参照）。As shown in FIG. 1B, the image input means 2
The image data input from 1 is taken into the memory 24 (see step S1 in FIG. 2). This image data is
The data is converted into quantized color data in the HSV color space by using the color quantization means 25 and the color space conversion means 26 (see step S4 in FIG. 2).
【００１７】ＨＳＶ色空間の２色の距離（色距離）ＣＤ
（ｉ，ｊ）は、ここでは、この項目内の最後に示す〔数
１〕で定義される。即ち、本例では、ＨＳＶ空間を、２
色間の色距離を測定するのに適した円錐形の空間で近似
している。このＨＳＶ空間では、Ｖ値が小さくなるにつ
れて、Ｈ値やＳ値に関係なく、色は視覚的に黒に近づ
く。なお、（Ｈi ，Ｓi ，Ｖi ）は、ＨＳＶ空間の画素
ｉの値を示す。また、量子化は、ここでは、Ｈについて
は２０度単位で１８レベルにし、ＳとＶは各々４レベル
にして、合計２８８レベルとした。The distance (color distance) CD of two colors in the HSV color space
Here, (i, j) is defined by [Equation 1] shown last in this item. That is, in this example, the HSV space is 2
It is approximated by a conical space suitable for measuring the color distance between colors. In this HSV space, as the V value decreases, the color visually approaches black, regardless of the H value or S value. Note that (H i , S i , V i ) indicates the value of the pixel i in the HSV space. In the quantization, here, H is set to 18 levels in units of 20 degrees, and S and V are set to 4 levels, respectively, for a total of 288 levels.
【００１８】また、上記メモリ２４に取り込まれた画像
データは、モフォロジカルフィルター２７を用いて、極
大値付近と極小値付近を平坦化される（図２のステップ
Ｓ２参照）。モフォロジカルフィルターは、エッジを保
存しつつ、画像内に平坦な領域（＝輝度値が一定の領
域）を形成する特性を有する。The image data fetched into the memory 24 is flattened near a local maximum value and a local minimum value using a morphological filter 27 (see step S2 in FIG. 2). The morphological filter has the property of forming a flat area (= area having a constant luminance value) in an image while preserving edges.
【００１９】ＨＳＶ空間で量子化された色データから、
量子化値が同じで隣接する画素が結合され、その結合さ
れた領域内の画素数が所定の閾値を越えた領域が、色マ
ーカー領域として獲得される（図２のステップＳ５，図
４（３）参照）。また、モフォロジカルフィルター２７
により平坦領域を形成された輝度データから、輝度値が
同じで隣接する画素が結合され、その結合された領域内
の画素数が所定の閾値を越えた領域が、輝度マーカー領
域として獲得される（図２のステップＳ３，図４（２）
参照）。From the color data quantized in the HSV space,
Adjacent pixels having the same quantization value are combined, and a region in which the number of pixels in the combined region exceeds a predetermined threshold is obtained as a color marker region (steps S5 in FIG. 2 and (3) in FIG. )reference). Also, the morphological filter 27
From the luminance data in which a flat area is formed, adjacent pixels having the same luminance value are combined, and an area in which the number of pixels in the combined area exceeds a predetermined threshold is obtained as a luminance marker area ( Step S3 in FIG. 2, FIG. 4 (2)
reference).
【００２０】次に、上記のように獲得された色マーカー
領域と輝度マーカー領域から、マーカー領域が獲得され
る（図２のステップＳ６）。Next, a marker area is obtained from the color marker area and the luminance marker area obtained as described above (step S6 in FIG. 2).
【００２１】まず、輝度マーカー領域が、色マーカー領
域と交わり（重なり）が有る領域ＭＹo （ｘ）と、交わ
り（重なり）が無い領域ＭＹn （ｘ）に分類される（図
３のステップＳ６０，図５参照）。また、色マーカー領
域が、輝度マーカー領域との交わり（重なり）が有る領
域ＭＣo （ｘ）と、交わり（重なり）が無い領域ＭＣn
（ｘ）に分類される（図３のステップＳ６１，図５参
照）。First, the luminance marker area is classified into an area MY o (x) having an intersection (overlap) with the color marker area and an area MYn (x) having no intersection (overlap) (step S60 in FIG. 3). (See FIG. 5). Further, the color marker area has an intersection (overlap) with the luminance marker area MC o (x), and the area MCn has no intersection (overlap).
(X) (see step S61 in FIG. 3, FIG. 5).
【００２２】次に、上記の交わりが無い各輝度マーカー
領域ＭＹn （ｘ）と、上記の交わりが無い各色マーカー
領域ＭＣn （ｘ）が、マーカー領域（ジョイントマーカ
ー領域）として採用される（図３のステップＳ６２，図
５参照）。Next, the above-mentioned non-intersecting luminance marker areas MYn (x) and the non-intersecting color marker areas MCn (x) are adopted as marker areas (joint marker areas) (FIG. 3). Step S62, see FIG. 5).
【００２３】次に、上記の交わりが有る各輝度マーカー
領域ＭＹo （ｘ）と、上記の交わりが有る各色マーカー
領域ＭＣo （ｘ）の各交わり部分の領域（論理積に相当
する領域）が各々取り出され、該取り出された各領域中
の画素数が所定の閾値を越えているか否か各々判定さ
れ、その結果、越えている場合は、その領域がマーカー
領域（ジョイントマーカー領域）として採用される（図
３のステップＳ６３〜Ｓ６９，図５参照）。Next, an area (an area corresponding to a logical product) of each intersection of each luminance marker area MY o (x) having the above intersection and each color marker area MC o (x) having the above intersection exists. It is respectively determined whether or not the number of pixels in each of the extracted areas exceeds a predetermined threshold value. If the number of pixels exceeds the predetermined threshold, the area is adopted as a marker area (joint marker area). (Steps S63 to S69 in FIG. 3, see FIG. 5).
【００２４】こうして、マーカー領域（ジョイントマー
カー領域）が獲得されると、領域拡張処理（図２のステ
ップＳ７）が行われる。When the marker area (joint marker area) is obtained in this way, area expansion processing (step S7 in FIG. 2) is performed.
【００２５】まず、全てのマーカー領域（ジョイントマ
ーカー領域）が取り出されて、サイズの大きな順にソー
トされてキューに並べられる（図６のステップＳ７
１）。First, all marker areas (joint marker areas) are extracted, sorted in descending order of size, and arranged in a queue (step S7 in FIG. 6).
1).
【００２６】次に、先頭のマーカー領域が取り出され
て、簡略化した領域拡張処理が施される（図６のステッ
プＳ７２）。ここでは、当該マーカー領域に隣接する画
素の中で、この項目内の最後に示す〔数３〕の条件を満
たす画素が当該マーカー領域に組み入れられる。なお、
Ｒy ，Ｒc ，ｐy ，ｐc は、各々、領域Ｒの輝度の平均
値、色の平均値、処理中の画素の輝度、色を示し、Ｔt
とＴc は、各々、輝度と色の閾値を示す。ステップＳ６
の処理は、組み入れられる隣接画素が無くなるまで繰り
返して行われる。Next, the leading marker area is extracted and subjected to a simplified area expansion process (step S72 in FIG. 6). Here, among the pixels adjacent to the marker area, the pixel that satisfies the condition of [Equation 3] shown last in this item is incorporated into the marker area. In addition,
R y, R c, p y , p c , respectively, show the average value of the luminance of the region R, the average value of the color, the luminance of the pixel being processed, the color, T t
And T c denote the luminance and color thresholds, respectively. Step S6
Is repeated until there are no adjacent pixels to be included.
【００２７】上記の処理の結果、他のマーカー領域に交
わるようになったキュー内のマーカー領域が削除される
（図６のステップＳ７３）。As a result of the above processing, the marker area in the queue that intersects another marker area is deleted (step S73 in FIG. 6).
【００２８】以上の処理が、キュー内の全てのマーカー
領域について完了すると（図６のステップＳ７４：ＹＥ
Ｓ）、全てのマーカー領域について、ウォーターシェッ
ドアルゴリズムを用いて、全ての画素が何れかのマーカ
ー領域に属するようになるまで、領域拡張が行われる
（図６のステップＳ７５）。ここで、画素の該画素に隣
接するマーカー領域との距離の計算には、この項目内の
最後に示す〔数２〕が用いられる。即ち、輝度差と色差
の両者を用いて、画素と該画素に隣接するマーカー領域
との類似度が判定される。When the above processing is completed for all marker areas in the queue (step S74 in FIG. 6: YE
S) For all the marker areas, area expansion is performed using the watershed algorithm until all pixels belong to any of the marker areas (step S75 in FIG. 6). Here, when calculating the distance between a pixel and a marker area adjacent to the pixel, [Equation 2] shown last in this item is used. That is, the similarity between a pixel and a marker area adjacent to the pixel is determined using both the luminance difference and the color difference.
【００２９】こうして、領域拡張処理（図２のステップ
Ｓ７）が終了すると、次に、領域統合処理（図２のステ
ップＳ８）が行われる。なお、領域統合処理は、上述の
領域拡張処理に於いて、その一部が実現されている。つ
まり、上述の領域拡張処理中に、或るマーカー領域が別
のマーカー領域と接すると、両者の距離（〔数２〕に基
づく距離）が所定の閾値より小さいか否か判定され、小
さい場合には、両者が単一のマーカー領域に統合され
る。これは、大きな領域の方が周辺のノイズに強く、適
切な境界が得られる傾向があるためである。When the area expansion processing (step S7 in FIG. 2) is completed, an area integration processing (step S8 in FIG. 2) is performed. The area integration processing is partially implemented in the area expansion processing described above. That is, if a certain marker area comes into contact with another marker area during the above-described area expansion processing, it is determined whether or not the distance between them (the distance based on [Equation 2]) is smaller than a predetermined threshold. Are integrated into a single marker region. This is because a large area is more resistant to peripheral noise and tends to provide an appropriate boundary.
【００３０】一方、図２のステップＳ８の領域統合処理
では、隣接する各領域の平均色が各々計算され、その結
果を用いて、前述の〔数１〕により両領域の色距離が計
算され、その色距離が小さい場合に両領域が統合され
る。このように、色情報を用いた統合を行うことで、意
味の有る境界情報を保持しつつ、隣接した同質の領域を
統合することができる。On the other hand, in the area integration processing of step S8 in FIG. 2, the average color of each adjacent area is calculated, and the color distance of both areas is calculated by the above-mentioned [Equation 1] using the result. When the color distance is small, both areas are integrated. In this manner, by performing integration using color information, adjacent homogeneous regions can be integrated while retaining meaningful boundary information.
【００３１】最後に、画素数が或る所定値より少ない領
域が、周囲の領域の中で最も近い領域に統合される。こ
れにより、領域数が減少される。Finally, a region where the number of pixels is smaller than a certain predetermined value is integrated with a region closest to the surrounding regions. Thereby, the number of regions is reduced.
【００３２】こうして、領域分割が行われると、その結
果を用いて、オブジェクトのマスクがマスク作成手段２
１２（図１（ｂ）参照）によって生成される。その際、
必要に応じてユーザ入力手段２１３を介してユーザによ
る修正が適宜に行われる。また、その結果は、必要に応
じて、出力手段２３を介して、画像圧縮装置や画像編集
装置等へ出力される。When the area is divided in this manner, the mask of the object is created by using the result of the division by the mask creating means 2.
12 (see FIG. 1B). that time,
Correction by the user is appropriately performed via the user input means 213 as necessary. The result is output to an image compression device, an image editing device, or the like via the output unit 23 as necessary.
【００３３】[0033]
【数１】 (Equation 1)
【数２】 (Equation 2)
【数３】 (Equation 3)
【００３４】[0034]
【発明の効果】本発明では、領域拡張処理に供するマー
カー領域として、色マーカー領域と輝度マーカー領域を
用い、両者が重なる場合には重なる領域であって画素数
が所定の閾値以上の領域をマーカー領域として採用し、
両者が重ならない場合には輝度マーカー領域と色マーカ
ー領域の各々をマーカー領域として採用するため、輝度
は類似するが色が相違する領域や色は類似するが輝度が
相違する領域が均質な領域として統合されてしまうとい
う不具合を無くすことができる。According to the present invention, a color marker area and a luminance marker area are used as marker areas to be subjected to area expansion processing, and when they overlap, the overlapping area having the number of pixels equal to or greater than a predetermined threshold value is marked. Adopted as an area,
When the two do not overlap, each of the luminance marker area and the color marker area is adopted as a marker area, so that areas having similar luminance but different colors or areas having similar colors but different luminance are regarded as homogeneous areas. The disadvantage of being integrated can be eliminated.
【００３５】また、輝度データをモフォロジカルフィル
ターで処理した後に輝度マーカー領域を獲得する発明で
は、領域エッジの切り出し精度を向上できる効果があ
る。また、色データをＨＳＶ空間に変換して量子化した
後に色マーカー領域を獲得する発明では、２色間の色距
離の測定が容易となり、色マーカー領域を比較的短時間
で獲得できる効果がある。In the invention in which the luminance marker area is obtained after the luminance data is processed by the morphological filter, there is an effect that the accuracy of extracting the area edge can be improved. In the invention in which the color data is converted into the HSV space and quantized after being converted to the HSV space, the measurement of the color distance between the two colors becomes easy, and the color marker region can be obtained in a relatively short time. .
【００３６】また、輝度差及び色差を考慮したウォータ
ーシェッドアルゴリズムを用いてマーカー領域を拡張す
る発明や、拡張したマーカー領域を輝度差及び色差を考
慮して統合する発明では、より良い領域分割結果を得ら
れる効果がある。Further, in the invention in which the marker area is extended by using the watershed algorithm in consideration of the luminance difference and the color difference, and in the invention in which the extended marker area is integrated in consideration of the luminance difference and the color difference, a better area division result is obtained. There is an effect that can be obtained.
【図１】実施の形態の装置の構成を示すブロック図
（ａ）と、（ａ）の機能を示す機能ブロック図（ｂ）。FIG. 1A is a block diagram showing the configuration of an apparatus according to an embodiment, and FIG. 1B is a functional block diagram showing the function of FIG.
【図２】図１の装置での処理手順を示す流れ図。FIG. 2 is a flowchart showing a processing procedure in the apparatus of FIG. 1;
【図３】図２のジョイントマーカー獲得処理の手順を示
す流れ図。FIG. 3 is a flowchart showing a procedure of a joint marker acquisition process in FIG. 2;
【図４】本発明の概念を従来例と比較して示す説明図。FIG. 4 is an explanatory diagram showing the concept of the present invention in comparison with a conventional example.
【図５】図２のジョイントマーカー獲得処理の説明図。FIG. 5 is an explanatory diagram of the joint marker acquisition processing of FIG. 2;
【図６】領域拡張・統合処理の手順を示す流れ図。FIG. 6 is a flowchart showing a procedure of an area extension / integration process.
【図７】本発明の構成を示すブロック図。FIG. 7 is a block diagram showing a configuration of the present invention.
１１ 画像入力部（スキャナ，カメラ，画像ファイル
等） １２ ユーザー入力部（マウス，ペン等） １３ 演算処理部（パソコン，ワークステーション等） １４ 記憶部（メモリ，ハードディスク等） １５ 表示部（ディスプレイ等） １６ 出力部（プリンタ，ネットワークへのインターフ
ェース等）11 Image input unit (scanner, camera, image file, etc.) 12 User input unit (mouse, pen, etc.) 13 Operation processing unit (PC, workstation, etc.) 14 Storage unit (memory, hard disk, etc.) 15 Display unit (display, etc.) 16. Output unit (printer, network interface, etc.)
Claims (10)
上である色マーカー領域を対象画面から抽出するととも
に、 輝度に関して均質な画素数が所定の閾値以上である輝度
マーカー領域を対象画面から抽出し、 色マーカー領域と輝度マーカー領域の重なりの有無を調
べ、 色マーカー領域と輝度マーカー領域が重なる領域の画素
数が所定の閾値以上である重なり領域をマーカー領域と
して採用するとともに、 色マーカー領域と輝度マーカー領域の重なりが無い色又
は輝度の各マーカー領域を各々マーカー領域として採用
する、 マーカー領域獲得方法。1. A color marker area in which the number of uniform pixels with respect to color is equal to or more than a predetermined threshold is extracted from the target screen, and a luminance marker area in which the number of uniform pixels with respect to luminance is equal to or more than a predetermined threshold is extracted from the target screen. Then, the presence or absence of the overlap between the color marker region and the luminance marker region is checked, and the overlap region in which the number of pixels of the region where the color marker region and the luminance marker region overlap is equal to or larger than a predetermined threshold is adopted as the marker region. A marker area obtaining method, wherein each marker area of a color or luminance having no overlapping of the luminance marker areas is adopted as a marker area.
定の閾値以上である色マーカー領域を対象画面から抽出
するとともに、 モフォロジカルフィルターを用いて輝度データの極大値
付近又は極小値付近又はその両方を平坦化し、該平坦化
した輝度データが均質な画素数が所定の閾値以上である
輝度マーカー領域を対象画面から抽出し、 色マーカー領域と輝度マーカー領域の重なりの有無を調
べ、 色マーカー領域と輝度マーカー領域が重なる領域の画素
数が所定の閾値以上である重なり領域をマーカー領域と
して採用するとともに、 色マーカー領域と輝度マーカー領域の重なりが無い色又
は輝度の各マーカー領域を各々マーカー領域として採用
する、 マーカー領域獲得方法。2. A method according to claim 1, wherein a color marker area in which the number of pixels having uniform quantized color data is equal to or greater than a predetermined threshold value is extracted from the target screen, and a morphological filter is used to extract a luminance data near a local maximum value or a local minimum value. Both of them are flattened, a brightness marker area in which the number of pixels with the flattened brightness data is uniform is equal to or more than a predetermined threshold is extracted from the target screen, and whether or not the color marker area and the brightness marker area overlap is checked. The overlap area in which the number of pixels of the area where the area and the luminance marker area overlap each other is equal to or greater than a predetermined threshold value is adopted as the marker area, and each color or luminance marker area where the color marker area and the luminance marker area do not overlap is defined as the marker area. Adopted as a marker area acquisition method.
域を獲得するマーカー領域獲得装置であって、 色に関して均質な画素数が所定の閾値以上である色マー
カー領域を対象画面から抽出する色マーカー抽出手段
と、 輝度に関して均質な画素数が所定の閾値以上である輝度
マーカー領域を対象画面から抽出する輝度マーカー抽出
手段と、 色マーカー領域と輝度マーカー領域の重なりの有無を調
べる検査手段と、 色マーカー領域と輝度マーカー領域が重なる領域の画素
数が所定の閾値以上である重なり領域をマーカー領域と
して採用するとともに、色マーカー領域と輝度マーカー
領域の重なりが無い色又は輝度の各マーカー領域を各々
マーカー領域として採用する、マーカー結合手段と、 を有するマーカー領域獲得装置。3. A marker area acquiring apparatus for acquiring a marker area for use in an area expanding process, wherein a color marker area having a uniform number of pixels with respect to color is equal to or more than a predetermined threshold value is extracted from a target screen. Means, a luminance marker extracting means for extracting, from the target screen, a luminance marker area in which the number of pixels having a uniform luminance is equal to or more than a predetermined threshold value; an inspection means for examining whether or not the color marker area overlaps the luminance marker area; The overlap area in which the number of pixels of the area where the area overlaps the luminance marker area is equal to or greater than a predetermined threshold value is adopted as the marker area, and each color or luminance marker area having no overlap between the color marker area and the luminance marker area is defined as a marker area. And a marker combining means.
度差及び色差の両者を考慮したウォーターシェッドアル
ゴリズムを用いて拡張する領域拡張手段と、 を有する領域分割装置。4. A marker region acquiring apparatus according to claim 3, wherein: a marker region output from the marker combiner is extended by using a watershed algorithm that considers both a luminance difference and a color difference. Segmentation device having
域を獲得するマーカー領域獲得装置であって、 対象画面内の各画素の色データを量子化する量子化器
と、 前記量子化器の出力を入力して色データが均質な画素数
が所定の閾値以上である色マーカー領域を抽出する色マ
ーカー抽出器と、 対象画面内の各画素の輝度データを入力して極大値付近
又は極小値付近又はその両方を平坦化して出力するモフ
ォロジカルフィルターと、 前記モフォロジカルフィルターの出力を入力して輝度デ
ータが均質な画素数が所定の閾値以上である輝度マーカ
ー領域を抽出する輝度マーカー抽出器と、 前記色マーカー抽出器と前記輝度マーカー抽出器の出力
を入力して色マーカー領域と輝度マーカー領域が重なる
領域を有する色及び輝度マーカー領域と、重なる領域を
有しない色又は輝度マーカー領域に分類して出力する分
類器と、 前記分類器から出力される色及び輝度マーカー領域が重
なる領域の中で画素数が所定の閾値以上である重なり領
域を重なりマーカー領域として抽出する重なりマーカー
抽出器と、 前記分類器から出力される色マーカー領域又は輝度マー
カー領域と前記重なりマーカー抽出器から出力される重
なりマーカー領域をマーカー領域として出力するマーカ
ー結合器と、 を有するマーカー領域獲得装置。5. A marker area obtaining apparatus for obtaining a marker area for use in an area expanding process, comprising: a quantizer for quantizing color data of each pixel in a target screen; and an output of the quantizer. A color marker extractor that inputs and extracts a color marker area in which the number of pixels with uniform color data is equal to or greater than a predetermined threshold value; and inputting luminance data of each pixel in the target screen and inputting a value near a local maximum value or a local minimum value or A morphological filter for flattening and outputting both, and a luminance marker extractor for inputting the output of the morphological filter and extracting a luminance marker region in which the number of pixels with uniform luminance data is equal to or greater than a predetermined threshold value, The color and luminance marker areas having an area where the color marker area and the luminance marker area overlap each other by inputting the outputs of the color marker extractor and the luminance marker extractor, A classifier that classifies and outputs a color or luminance marker region having no region, and an overlap region in which the number of pixels is equal to or greater than a predetermined threshold in the region where the color and luminance marker regions output from the classifier overlap. An overlap marker extractor to be extracted as a marker area; and a color combiner area or a luminance marker area output from the classifier and a marker combiner that outputs the overlap marker area output from the overlap marker extractor as a marker area. Device for obtaining a marker area.
子化する、 マーカー領域獲得装置。6. The marker area acquisition device according to claim 5, wherein the quantizer quantizes the color data converted into the HSV space.
獲得装置と、 前記マーカー結合器から出力されるマーカー領域を、輝
度差及び色差の両者を考慮したウォーターシェッドアル
ゴリズムを用いて拡張する領域拡張手段と、 を有する領域分割装置。7. The marker area acquisition device according to claim 5, wherein the marker area output from the marker combiner is extended using a watershed algorithm considering both luminance difference and color difference. An area dividing device comprising: an expansion unit.
目マーカー領域からの輝度差及び色差の両者を考慮した
距離が所定の閾値以下である隣接画素を当該着目マーカ
ー領域に組み入れる第１の領域拡張手段と、 前記第１の領域拡張手段によっては何れのマーカー領域
にも属しなかった未決定画素を該未決定画素に隣接する
マーカー領域の中で前記距離が最短のマーカー領域に組
み入れる第２の領域拡張手段と、 から成る領域分割装置。8. The image processing apparatus according to claim 4, wherein the area expanding unit sets the marker area output from the marker coupler to a distance in consideration of both a luminance difference and a color difference from the target marker area. A first area extending unit that incorporates an adjacent pixel whose value is equal to or less than a predetermined threshold value into the marker area of interest, and an undetermined pixel that did not belong to any marker area depending on the first area extending unit. And a second area extending unit that incorporates the marker area having the shortest distance among the marker areas adjacent to the area.
カー領域の平均色を比較して、その色距離が所定の閾値
以下である領域を統合する統合手段、 を有する領域分割装置。9. The image processing method according to claim 8, further comprising: comparing average colors of adjacent marker areas expanded by the second area expansion unit, and integrating areas whose color distances are equal to or less than a predetermined threshold. An area dividing device comprising:
領域を獲得するマーカー領域獲得装置であって、 対象画面内の各画素の色データを量子化されたＨＳＶ空
間の量子化色データに変換する変換量子化手段と、 前記量子化色データが均質な画素数が所定の閾値以上で
ある色マーカー領域を抽出する色マーカー抽出手段と、 モフォロジカルフィルターを用いて極大値付近及び極小
値付近を平坦化した対象画面内の各画素の輝度データが
均質な画素数が所定の閾値以上である輝度マーカー領域
を抽出する輝度マーカー抽出手段と、 前記色マーカー領域と前記輝度マーカー領域が重なる領
域を有する色及び輝度マーカー領域と、前記色マーカー
領域と前記輝度マーカー領域が重なる領域を有しない色
又は輝度マーカー領域に分類する分類手段と、 前記色及び輝度マーカー領域の色マーカー領域と輝度マ
ーカー領域が重なる領域の中で画素数が所定の閾値以上
である重なり領域をマーカー領域として採用するととも
に、前記色又は輝度マーカー領域をマーカー領域として
採用するマーカー結合手段と、 を有するマーカー領域獲得装置。10. A marker area obtaining apparatus for obtaining a marker area for use in an area expansion process, wherein the conversion is performed to convert color data of each pixel in a target screen into quantized color data in an HSV space. Quantizing means; Color marker extracting means for extracting a color marker area in which the number of pixels with uniform quantized color data is equal to or greater than a predetermined threshold; Flattening near the maximum value and near the minimum value using a morphological filter Brightness marker extraction means for extracting a brightness marker region in which the number of pixels in which the brightness data of each pixel in the target screen is uniform is equal to or greater than a predetermined threshold, and a color having a region where the color marker region and the brightness marker region overlap each other; A luminance marker area, a classification unit that classifies the color marker area and the luminance marker area into colors or luminance marker areas that do not have an overlapping area; In the area where the color marker area and the luminance marker area of the color and luminance marker area overlap each other, an overlapping area in which the number of pixels is equal to or more than a predetermined threshold is employed as the marker area, and the color or luminance marker area is employed as the marker area. A marker region acquiring device comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29166097A JP3342373B2 (en) | 1997-10-08 | 1997-10-08 | Marker area obtaining method and apparatus, and area dividing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29166097A JP3342373B2 (en) | 1997-10-08 | 1997-10-08 | Marker area obtaining method and apparatus, and area dividing apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11120331A true JPH11120331A (en) | 1999-04-30 |
| JP3342373B2 JP3342373B2 (en) | 2002-11-05 |
Family
ID=17771814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29166097A Expired - Fee Related JP3342373B2 (en) | 1997-10-08 | 1997-10-08 | Marker area obtaining method and apparatus, and area dividing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3342373B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006285310A (en) * | 2005-03-31 | 2006-10-19 | Kanazawa Univ | Evaluation method of canopy of forest, and its canopy evaluation program |
| US7672022B1 (en) | 2000-04-07 | 2010-03-02 | Hewlett-Packard Development Company, L.P. | Methods and apparatus for analyzing an image |
| JP2010538258A (en) * | 2007-09-03 | 2010-12-09 | コリア エクスプレスウェイ コーポレイション | Steel bridge coating film inspection system using image processing method and processing method thereof |
| WO2011074671A1 (en) * | 2009-12-18 | 2011-06-23 | 株式会社日立ハイテクノロジーズ | Image processing device, measuring/testing system, and program |
| JP2012186785A (en) * | 2011-02-15 | 2012-09-27 | Ricoh Co Ltd | Print data preparation device, print data preparation method, program, and recording medium |
| US8310692B2 (en) | 2008-07-10 | 2012-11-13 | Fuji Xerox Co., Ltd. | Image processing apparatus, image processing method, computer-readable medium and computer data signal |
| US8331692B2 (en) | 2008-07-10 | 2012-12-11 | Fuji Xerox Co., Ltd. | Image processing system and computer readable medium |
| JP2013048405A (en) * | 2011-07-22 | 2013-03-07 | Nikon Corp | Area extraction device, imaging device, and area extraction program |
-
1997
- 1997-10-08 JP JP29166097A patent/JP3342373B2/en not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7672022B1 (en) | 2000-04-07 | 2010-03-02 | Hewlett-Packard Development Company, L.P. | Methods and apparatus for analyzing an image |
| JP2006285310A (en) * | 2005-03-31 | 2006-10-19 | Kanazawa Univ | Evaluation method of canopy of forest, and its canopy evaluation program |
| JP2010538258A (en) * | 2007-09-03 | 2010-12-09 | コリア エクスプレスウェイ コーポレイション | Steel bridge coating film inspection system using image processing method and processing method thereof |
| US8310692B2 (en) | 2008-07-10 | 2012-11-13 | Fuji Xerox Co., Ltd. | Image processing apparatus, image processing method, computer-readable medium and computer data signal |
| US8331692B2 (en) | 2008-07-10 | 2012-12-11 | Fuji Xerox Co., Ltd. | Image processing system and computer readable medium |
| WO2011074671A1 (en) * | 2009-12-18 | 2011-06-23 | 株式会社日立ハイテクノロジーズ | Image processing device, measuring/testing system, and program |
| JP2011128070A (en) * | 2009-12-18 | 2011-06-30 | Hitachi High-Technologies Corp | Image processing device, measuring/testing system, and program |
| US9013571B2 (en) | 2009-12-18 | 2015-04-21 | Hitachi High-Technologies Corporation | Image processing device, measuring/testing system, and program |
| JP2012186785A (en) * | 2011-02-15 | 2012-09-27 | Ricoh Co Ltd | Print data preparation device, print data preparation method, program, and recording medium |
| JP2013048405A (en) * | 2011-07-22 | 2013-03-07 | Nikon Corp | Area extraction device, imaging device, and area extraction program |
| JP2017201818A (en) * | 2011-07-22 | 2017-11-09 | 株式会社ニコン | Area extraction device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3342373B2 (en) | 2002-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4667062B2 (en) | Image analysis apparatus, image analysis method, and blob identification apparatus | |
| JP3769487B2 (en) | Blond Pixel Removal Method for Image Skin Color Detection | |
| JP4745297B2 (en) | Method and system for identifying regions of uniform color in digital images | |
| US20070091106A1 (en) | Adaptive lexical classification system | |
| EP2381414A1 (en) | Image processing device, method, and program | |
| US6961477B2 (en) | Image-based selection of gamut mapping | |
| US6360002B2 (en) | Object extracting method using motion picture | |
| JP4480958B2 (en) | Digital image creation method | |
| US8488190B2 (en) | Image processing apparatus, image processing apparatus control method, and storage medium storing program | |
| US8620081B2 (en) | Image processing apparatus, method, and storage medium for determining attributes | |
| JP3634266B2 (en) | Color video processing method and apparatus | |
| US20210248729A1 (en) | Superpixel merging | |
| JP3342373B2 (en) | Marker area obtaining method and apparatus, and area dividing apparatus | |
| US6360006B1 (en) | Color block selection | |
| US8810877B2 (en) | Image processing apparatus, image processing method, and storage medium for eliminating blurring of scanned image | |
| WO2018151043A1 (en) | Image processing method and computer program | |
| JP2003162718A (en) | Image processing method and its program | |
| US20110187721A1 (en) | Line drawing processing apparatus, storage medium storing a computer-readable program, and line drawing processing method | |
| JP2004199622A (en) | Apparatus and method for image processing, recording media, and program | |
| JP4248947B2 (en) | Image color reduction device, image color reduction method, and image color reduction program | |
| JP2754937B2 (en) | Schematic image creation method and device | |
| JP5903315B2 (en) | Image processing apparatus and image processing program | |
| Tribuzy et al. | Vehicle License Plate Preprocessing Techniques Using Graphical Interface | |
| Komati et al. | Fractal-JSEG: JSEG using an homogeneity measurement based on local fractal descriptor | |
| JP4228905B2 (en) | Image processing apparatus and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |