JP2010029958A - Apparatus, method and program for extracting contour - Google Patents

Apparatus, method and program for extracting contour Download PDF

Info

Publication number
JP2010029958A
JP2010029958A JP2008192363A JP2008192363A JP2010029958A JP 2010029958 A JP2010029958 A JP 2010029958A JP 2008192363 A JP2008192363 A JP 2008192363A JP 2008192363 A JP2008192363 A JP 2008192363A JP 2010029958 A JP2010029958 A JP 2010029958A
Authority
JP
Japan
Prior art keywords
contour
wrinkle
sheet material
contour line
ranking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008192363A
Other languages
Japanese (ja)
Other versions
JP5197205B2 (en
Inventor
Shinji Morimoto
眞司 森本
Takahiko Tamura
孝彦 田村
Toshiyuki Doi
稔之 土井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shima Seiki Mfg Ltd
Original Assignee
Shima Seiki Mfg Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shima Seiki Mfg Ltd filed Critical Shima Seiki Mfg Ltd
Priority to JP2008192363A priority Critical patent/JP5197205B2/en
Priority to CN 200910160926 priority patent/CN101635055B/en
Publication of JP2010029958A publication Critical patent/JP2010029958A/en
Application granted granted Critical
Publication of JP5197205B2 publication Critical patent/JP5197205B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

<P>PROBLEM TO BE SOLVED: To know a shape of a wrinkle and also make effective use of a wrinkled part. <P>SOLUTION: Contour points are extracted from an image of a sheet material imaged by a camera, and an outer contour exhibiting an outline of the sheet material and an inner contour inside it are found. An area between the inner and outer contours is recognized as a wrinkle. A ratio of a longer diameter and a shorter diameter of the found wrinkle shape is calculated. A wrinkle with a large ratio is specified as a strong wrinkle, while a wrinkle with a small ratio is specified as a weak wrinkle. Parts to be cut are assigned on the sheet material depending on the rank of the wrinkles. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

この発明は、皮革や布地等のシート材から、輪郭を抽出することに関する。   The present invention relates to extracting a contour from a sheet material such as leather or fabric.

出願人はシート材の裁断装置を開発している。特許文献1:WO2004/010807では、シート材に対して裁断すべきパーツを最適に配置することを検討した。特許文献2:WO2006/051764では、皮革などの不規則な形状のシート材に対して、裁断目的のパーツをどのように配置するかを検討した。   The applicant has developed a sheet material cutting device. Patent document 1: In WO2004 / 010807, it was examined to optimally arrange parts to be cut with respect to a sheet material. Patent Document 2: WO 2006/051764 examined how to arrange parts for cutting on an irregularly shaped sheet material such as leather.

発明者はシート材のしわについて検討した。図18に皮革のしわの例を示し、102は強いしわでテープ104によりマーキングしてあり、106,108は弱いしわである。しわが生じるのは、元々3次元の形状であった皮革を裁断し、2次元のテーブル上に展開するからで、例えば風船やボールのような立体形状のものを裁断してテーブル上に配置すると、どこかが盛り上がるのと同じことである。しわのある箇所では皮革の性質が他の部分と異なることもあるが、それよりもしわによって皮革が盛り上がるため、正確な形状に裁断し難くなる方が問題である。発明者はしわの形状を求めると共に、しわの程度を評価することにより、しわの部分もパーツとして利用できるようにすることを検討して、この発明に到った。
WO2004/010807 WO2006/051764
The inventor examined wrinkles of the sheet material. FIG. 18 shows an example of leather wrinkles, where 102 is a strong wrinkle and marked with tape 104, and 106 and 108 are weak wrinkles. Wrinkles occur because the original three-dimensional leather is cut and deployed on a two-dimensional table. For example, when a three-dimensional object such as a balloon or ball is cut and placed on the table It ’s the same as somewhere. Although the nature of the leather may be different from other parts in the wrinkled part, the leather is raised by the wrinkle rather than that, and it is more difficult to cut into an accurate shape. The inventor obtained the shape of the wrinkle and evaluated the degree of the wrinkle so that the wrinkle portion could be used as a part.
WO2004 / 010807 WO2006 / 051764

この発明の課題は、しわの形状としわの程度を求めることにより、シート材のしわのある部分も利用できるようにすることにある。
この発明での追加の課題は、しわの形状を効率的に求めることができるようにすることにある。
この発明の追加の課題は、しわのある部分をより有効に利用できるようにすることにある。
An object of the present invention is to obtain a wrinkled portion of a sheet material by obtaining a wrinkle shape and a wrinkle degree.
An additional problem of the present invention is to enable the wrinkle shape to be obtained efficiently.
An additional object of the present invention is to make it possible to use the wrinkled portion more effectively.

この発明は、カメラで撮像したシート材の画像から、フィルタリングにより輪郭点を抽出し、抽出した輪郭点を連結してシート材の輪郭線として出力する装置において、
シート材の外形を表す外側の輪郭線と、前記外側の輪郭線の内部にある内側の輪郭線、とを求めるための輪郭抽出手段と、
前記外側の輪郭線と前記内側の輪郭線とから、シート材のしわの形状を求めるための手段と、
求めたしわの形状の長径と短径との比を表す量を求めるためのしわ形状評価手段と、
前記比を表す量が大きいしわを強いしわとし、比を表す量が小さいしわを弱いしわとするように、しわをランキングするためのランキング手段と、
シート材から裁断するパーツを、しわのランキングに応じてシート材に割り当てるための割り当て手段、とを設けたことを特徴とする。
The present invention is an apparatus for extracting contour points by filtering from an image of a sheet material imaged by a camera, connecting the extracted contour points and outputting them as a contour line of a sheet material,
Contour extracting means for obtaining an outer contour line representing the outer shape of the sheet material and an inner contour line inside the outer contour line;
Means for determining the wrinkle shape of the sheet material from the outer contour line and the inner contour line;
A wrinkle shape evaluation means for obtaining an amount representing a ratio between a major axis and a minor axis of the obtained wrinkle shape;
Ranking means for ranking the wrinkles so that the amount representing the ratio is a large wrinkle, and the amount representing the ratio is a weak wrinkle;
An assigning means for assigning parts to be cut from the sheet material to the sheet material in accordance with the wrinkle ranking is provided.

さらにこの発明は、カメラで撮像したシート材の画像から、フィルタリングにより輪郭点を抽出し、抽出した輪郭点を連結してシート材の輪郭線として出力する、輪郭抽出装置のためのプログラムにおいて、
前記輪郭抽出装置に読み込まれた際に、輪郭抽出装置を、
シート材の外形を表す外側の輪郭線と、前記外側の輪郭線の内部にある内側の輪郭線、とを求めるための輪郭抽出手段と、
前記外側の輪郭線と前記内側の輪郭線とから、シート材のしわの形状を求めるための手段と、
求めたしわの形状の長径と短径との比を表す量を求めるためのしわ形状評価手段と、
前記比を表す量が大きいしわを強いしわとし、比を表す量が小さいしわを弱いしわとするように、しわをランキングするためのランキング手段と、
シート材から裁断するパーツを、しわのランキングに応じてシート材に割り当てるための割り当て手段、として機能させることを特徴とする。
Furthermore, the present invention relates to a program for an outline extraction device that extracts an outline point by filtering from an image of a sheet material imaged by a camera, outputs the outline point by connecting the extracted outline points,
When read into the contour extraction device, the contour extraction device is
Contour extracting means for obtaining an outer contour line representing the outer shape of the sheet material and an inner contour line inside the outer contour line;
Means for determining the wrinkle shape of the sheet material from the outer contour line and the inner contour line;
A wrinkle shape evaluation means for obtaining an amount representing a ratio between a major axis and a minor axis of the obtained wrinkle shape;
Ranking means for ranking the wrinkles so that the amount representing the ratio is a large wrinkle, and the amount representing the ratio is a weak wrinkle;
It is characterized by functioning as an assigning means for assigning parts to be cut from the sheet material to the sheet material in accordance with the wrinkle ranking.

またこの発明は、カメラで撮像したシート材の画像から、フィルタリングにより輪郭点を抽出し、抽出した輪郭点を連結してシート材の輪郭線として出力する方法において、
輪郭抽出手段により、シート材の外形を表す外側の輪郭線と、前記外側の輪郭線の内部にある内側の輪郭線、とを求め、
しわの形状を求めるための手段により、前記外側の輪郭線と前記内側の輪郭線とから、シート材のしわの形状を求め、
しわ形状評価手段により、求めたしわの形状の長径と短径との比を表す量を求め、
ランキング手段により、前記比を表す量が大きいしわを強いしわとし、比を表す量が小さいしわを弱いしわとするように、しわをランキングし、
割り当て手段により、シート材から裁断するパーツを、しわのランキングに応じてシート材に割り当てることを特徴とする。
なおこの明細書において、輪郭抽出装置に関する記載はそのまま輪郭抽出方法や輪郭抽出プログラムにも当てはまり、輪郭抽出方法に関する記載は輪郭抽出装置や輪郭抽出プログラムにも当てはまる。
Further, the present invention is a method for extracting a contour point by filtering from an image of a sheet material imaged by a camera, and connecting the extracted contour points to output as a contour line of the sheet material.
By the contour extracting means, an outer contour line representing the outer shape of the sheet material and an inner contour line inside the outer contour line are obtained,
By means for obtaining the wrinkle shape, the wrinkle shape of the sheet material is obtained from the outer contour line and the inner contour line,
By using the wrinkle shape evaluation means, an amount representing the ratio between the major axis and the minor axis of the obtained wrinkle shape is obtained,
The ranking means ranks the wrinkles so that the amount representing the ratio is a large wrinkle and the amount representing the ratio is a weak wrinkle,
The assigning means assigns parts to be cut from the sheet material to the sheet material according to the wrinkle ranking.
In this specification, the description regarding the contour extracting apparatus also applies to the contour extracting method and the contour extracting program as it is, and the description regarding the contour extracting method also applies to the contour extracting apparatus and the contour extracting program.

この発明では、シート材の外側の輪郭線と内側の輪郭線とから、しわの形状を求める。しわがシート材本来の輪郭線に接している場合、外側の輪郭線と内側の輪郭線とに囲まれたエリアがしわで、外側の輪郭線がシート材本来の輪郭線である。またしわがシート材の内部に孤立して存在する場合、内側の輪郭線は閉じており、その内側がしわである。   In the present invention, the wrinkle shape is obtained from the outer contour line and the inner contour line of the sheet material. When the wrinkle is in contact with the original outline of the sheet material, the area surrounded by the outer outline and the inner outline is wrinkled, and the outer outline is the original outline of the sheet material. When wrinkles are present in isolation within the sheet material, the inner contour line is closed and the inner side is wrinkled.

しわの形状からしわの程度、即ちしわの強弱が求まる。細長いしわは一般に鋭く強いしわで、例えば図18のしわ102のようなしわである。幅広の円形に近いしわは、起伏の小さな緩やかな弱いしわで、図18のしわ106,108のようなしわである。しわの長径と短径との比、あるいはこれと同等のデータ、例えばしわの長径としわの周長との比や、しわの長径としわの短径の1/2乗との比、などからしわの程度が求まる。長径としわの周長との比は円形のしわでは円周率πの逆数で、細長いしわでは1/2に近づく。しわの長径としわの短径の1/2乗との比では、細長いしわを強いしわとすると共に、しわの形状が相似な場合、大きなしわをより強いしわとする。以上のようにしてしわをランキングすると、ランキングに応じた範囲でしわをパーツに用いることができる。従ってこの発明では、しわの形状を求めると共に、しわの部分もパーツに割り当てて有効利用できる。   From the shape of the wrinkle, the degree of wrinkle, that is, the strength of the wrinkle is obtained. The elongated wrinkles are generally sharp and strong wrinkles, such as the wrinkles 102 in FIG. Wrinkles close to a wide circle are gentle wrinkles with small undulations, such as wrinkles 106 and 108 in FIG. From the ratio of the major axis of the wrinkle to the minor axis, or equivalent data, such as the ratio of the major axis of the wrinkle to the circumference of the wrinkle, the ratio of the major axis of the wrinkle to the half power of the minor axis of the wrinkle The degree of wrinkles is obtained. The ratio of the major axis to the circumference of the wrinkles is the reciprocal of the circumference ratio π for circular wrinkles and approaches 1/2 for elongated wrinkles. In the ratio of the major axis of the wrinkle to the 1/2 power of the minor axis of the wrinkle, the long wrinkle is a strong wrinkle, and when the shape of the wrinkle is similar, the larger wrinkle is made a stronger wrinkle. When wrinkles are ranked as described above, wrinkles can be used for parts within a range corresponding to the ranking. Therefore, in the present invention, the shape of the wrinkle can be obtained, and the wrinkle portion can be allocated to the part and effectively used.

好ましくは、前記輪郭抽出手段では、シート材の内部から外側へ向けて輪郭線を抽出し、輪郭線の内外での色度の差が所定の条件以下の輪郭線を前記内側の輪郭線とすると共に、内側の輪郭線のさらに外側にある輪郭線を前記外側の輪郭線とする。
輪郭線の抽出は、例えばシート材の外から内へ向けて行い、例えば最初に抽出した閉じた輪郭線を外側の輪郭線とし、その内側に輪郭線が存在するかどうか探索することにより、内側の輪郭線を抽出しても良い。しかしこの場合、シート材の内外を問わず、例えばシート材を展開したテーブル全面に対して、輪郭線の抽出が必要になる。
Preferably, the contour extracting means extracts a contour line from the inside to the outside of the sheet material, and a contour line whose chromaticity difference between the inside and outside of the contour line is equal to or less than a predetermined condition is set as the inside contour line. At the same time, a contour line further outside the inner contour line is defined as the outer contour line.
The contour line is extracted, for example, from the outside to the inside of the sheet material. For example, the closed contour line extracted first is set as the outer contour line, and the inner side is searched by searching for the inner contour line. The contour line may be extracted. However, in this case, it is necessary to extract a contour line, for example, on the entire table surface where the sheet material is developed, regardless of whether the sheet material is inside or outside.

これに対して、シート材の内部から輪郭線を抽出すると、最初に抽出した輪郭線は内側の輪郭線で、その外側に外側の輪郭線があるか、最初から外側の輪郭線を抽出したか、のいずれかである。次にしわに対応する内側の輪郭線では、明度の変化は大きいが、色相などの色度の差は小さい。これに対しシート材の外形に対応する外側の輪郭線では、シート材の内部から外部へ移動するので、色度の差も大きい。そこで内外での色度の差が所定の条件以下の輪郭線を、前記内側の輪郭線の候補とする。そしてその外側を探索して外側の輪郭線を抽出すると、輪郭線を探索する範囲を制限すると共に、内側の輪郭線か外側の輪郭線かを外側の輪郭線を抽出する前に予測できるので、効率的に内外の輪郭線を抽出できる。   On the other hand, when the contour line is extracted from the inside of the sheet material, the first extracted contour line is the inner contour line, and whether there is an outer contour line outside or whether the outer contour line is extracted from the beginning. , Either. Next, in the inner contour line corresponding to the wrinkle, the change in brightness is large, but the difference in chromaticity such as hue is small. On the other hand, since the outer contour line corresponding to the outer shape of the sheet material moves from the inside of the sheet material to the outside, the difference in chromaticity is also large. Therefore, a contour line whose chromaticity difference between the inside and outside is equal to or less than a predetermined condition is set as a candidate for the inside contour line. And if you search the outside and extract the outer contour line, you can limit the search range of the contour line and predict whether the inner contour line or the outer contour line before extracting the outer contour line, The contour lines inside and outside can be extracted efficiently.

より好ましくは、輪郭点の密度が高い領域ではサイズが小さく、密度が低い領域ではサイズが大きな複数の多角形を、前記輪郭点に基づいて発生させることにより、該複数の多角形の画像を発生するための空間分割手段をさらに設けると共に、
前記輪郭抽出手段では、前記多角形の画像を、シート材の内部の点から始めて、前記多角形の辺へ向けて探索し、所定長未満の長さの辺に接触すると、該辺を越えた探索を中止すると共に該辺を記憶し、所定長以上の長さの辺に接触すると、該所定長以上の長さの辺を越えて探索を続行する。
More preferably, a plurality of polygons are generated based on the contour points by generating a plurality of polygons having a small size in a region having a high density of contour points and a large size in a region having a low density. And further providing a space dividing means for
In the contour extraction means, the polygon image is searched from the point inside the sheet material toward the side of the polygon, and when the side touches a side having a length less than a predetermined length, the side is exceeded. When the search is stopped and the side is stored and a side having a predetermined length or longer is touched, the search is continued beyond the side having a predetermined length or longer.

単純に、フィルタリングで抽出した輪郭点を連結して輪郭線を発生させても良いが、輪郭線が曖昧な場合には、的確な輪郭線が抽出される保証がない。例えば図10のR1は皮革、R2はテーブルのバックグラウンドで、L1,L2は輪郭で、皮革R1の厚みのため、皮革の上面のエッジが輪郭L1を、底面側のエッジが輪郭L2を構成している。ここで輪郭L1と輪郭L2とを識別し、輪郭L1を選択することは人間の目には簡単であるが、コンピュータにより画像認識を用いて自動的に実行することは容易ではない。   Simply, contour points extracted by filtering may be connected to generate a contour line. However, when the contour line is ambiguous, there is no guarantee that an accurate contour line will be extracted. For example, in FIG. 10, R1 is leather, R2 is table background, L1 and L2 are contours, and because of the thickness of leather R1, the top edge of the leather constitutes contour L1, and the bottom edge constitutes contour L2. ing. Here, it is easy for the human eye to distinguish between the contour L1 and the contour L2 and select the contour L1, but it is not easy to automatically execute the image recognition using a computer.

そこで好ましくは、物体の内部から開始して、輪郭点に基づいて生成した多角形の辺へ向けて探索する。輪郭線の周囲では輪郭点が密に分布するので多角形のサイズは小さく、所定長未満の長さの辺に衝突すると、その辺を越えての探索を中止し、所定長未満の長さの辺を記憶する。所定長以上の長さの辺に到達すると、その辺を越えて探索を続行する。このため輪郭線に分布する多数の小さな多角形の辺まで探索すると探索が中止され、抽出した辺を連結すると物体の最初の輪郭線が得られる。この輪郭線は外側の輪郭線か内側の輪郭線かである。そして前記のようにして、色度の差が所定の条件以下の輪郭線を内側の輪郭線の候補とし、その外側を探索すると、外側の輪郭線を抽出できる。   Therefore, it is preferable to start from the inside of the object and search toward the sides of the polygon generated based on the contour points. Since the contour points are densely distributed around the contour line, the size of the polygon is small, and if it collides with an edge with a length less than the predetermined length, the search beyond that edge is stopped, and the length of the polygon less than the predetermined length is stopped. Memorize the edges. When an edge longer than a predetermined length is reached, the search is continued beyond that edge. For this reason, the search is stopped when searching for many small polygon sides distributed in the contour, and the first contour of the object is obtained when the extracted sides are connected. This contour line is either the outer contour line or the inner contour line. Then, as described above, if the contour line having a chromaticity difference equal to or less than a predetermined condition is set as a candidate for the inner contour line and the outside is searched, the outer contour line can be extracted.

また好ましくは、前記パーツあるいはパーツ内のエリアにはしわの許容度が割り当てられ、前記割り当て手段は、前記ランキングと前記許容度とに応じて、しわ内にパーツを割り当てる。
パーツにはデザイン上重要なパーツと重要でないパーツとがあり、形状精度等に対する許容度、即ちしわへの許容度もパーツによって異なる。そこでしわをランキングすると共に、パーツにしわへの許容度を割り当てると、許容度の範囲でしわをパーツに用いることができ、シート材を有効利用できる。
パーツに縫い代などがある場合、パーツの形状精度や品質への要求は、パーツ内のエリアにより異なる。そこでパーツ内のエリアに応じてしわへの許容度を指定すると、しわの部分をより有効に利用できる。
Preferably, a wrinkle tolerance is assigned to the part or an area within the part, and the assigning unit assigns the part to the wrinkle according to the ranking and the tolerance.
There are parts that are important in design and parts that are not important in design, and the tolerance for the shape accuracy, that is, the tolerance for wrinkles also varies depending on the part. Therefore, when wrinkles are ranked and tolerances for wrinkles are assigned to the parts, wrinkles can be used for the parts within the tolerance range, and the sheet material can be used effectively.
When a part has a seam allowance or the like, the shape accuracy and quality requirements of the part differ depending on the area in the part. If wrinkle tolerance is specified according to the area in the part, the wrinkle portion can be used more effectively.

以下に本発明を実施するための最適実施例を示す。また実施例では、輪郭線を単に輪郭という。   In the following, an optimum embodiment for carrying out the present invention will be shown. In the embodiment, the contour line is simply referred to as a contour.

図1〜図17に、裁断装置2を例に、輪郭抽出装置18と輪郭抽出プログラム、及び輪郭抽出方法の実施例を示す。図1において、4は裁断テーブルで、6は裁断ヘッドであり、カラーカメラ8により皮革15のカラー画像を撮像すると共に、例えば円形の刃物10を回転させて皮革15を裁断する。裁断ヘッド6はX軸ドライブ12とY軸ドライブ14とにより、裁断テーブル4上をXYの双方向に移動する。そしてカラーカメラ8は、裁断ヘッド6により皮革15上を走査して、皮革15の画像を複数枚に分割して撮像する。   1 to 17 show an embodiment of a contour extracting device 18, a contour extracting program, and a contour extracting method, taking the cutting device 2 as an example. In FIG. 1, 4 is a cutting table, and 6 is a cutting head. The color camera 8 captures a color image of the leather 15, and the leather 15 is cut by rotating, for example, a circular blade 10. The cutting head 6 is moved on the cutting table 4 in both directions XY by the X-axis drive 12 and the Y-axis drive 14. The color camera 8 scans the leather 15 with the cutting head 6 and divides the image of the leather 15 into a plurality of images.

輪郭抽出装置18は、裁断装置2と一体に、あるいは裁断装置2とは別体に設けられている。20はバスで、21はカラーモニタ、22はマニュアル入力で、キーボードやスタイラス、マウス、トラックボール、ジョイスティックなどである。ディスクドライブ23はCD−ROMなどのディスクとの間で入出力を行い、ネットワークインターフェース24はLANやインターネットとの間のインターフェースとなる。輪郭抽出装置18を制御するための輪郭抽出プログラムは、例えばCD−ROMなどの記憶媒体に記憶させ、ディスクドライブ23からプログラムメモリ32に記憶する。あるいは輪郭抽出プログラムを、搬送波によりネットワークインターフェース24から入力しても良い。26は入出力で、裁断テーブル4との間でデータを交換し、裁断テーブル4側へ供給するデータは裁断ヘッド6のX方向やY方向への運動、刃物10の制御、カメラ8の撮像制御などのデータである。これに対して裁断テーブル4側からは、カメラ8で撮像した皮革15のカラー画像が、入出力26へ供給される。   The contour extracting device 18 is provided integrally with the cutting device 2 or separately from the cutting device 2. 20 is a bus, 21 is a color monitor, 22 is a manual input, and includes a keyboard, stylus, mouse, trackball, joystick, and the like. The disk drive 23 performs input / output with a disk such as a CD-ROM, and the network interface 24 is an interface with a LAN or the Internet. The contour extraction program for controlling the contour extraction device 18 is stored in a storage medium such as a CD-ROM and stored in the program memory 32 from the disk drive 23. Alternatively, the contour extraction program may be input from the network interface 24 using a carrier wave. An input / output 26 exchanges data with the cutting table 4. Data supplied to the cutting table 4 side includes movement of the cutting head 6 in the X and Y directions, control of the blade 10, and imaging control of the camera 8. It is data such as. On the other hand, the color image of the leather 15 captured by the camera 8 is supplied to the input / output 26 from the cutting table 4 side.

28はプロセッサで、30は汎用のメモリ、32はプログラムメモリで、輪郭抽出プログラムなどの、裁断装置2の制御プログラムを記憶する。プロセッサ28やメモリ30,32などにより、輪郭抽出装置18は図2のように機能する。カメラ画像校正部34はカメラ8からの画像の歪みを補正する。カメラ画像などのラスター画像は画像メモリ36に記憶し、フィルタ38は1枚分のカメラ画像に対し、あるいは複数枚のカメラ画像を合成した皮革全体の画像に対して、フィルタリングを施し、輪郭点を抽出する。ファイルメモリ40は抽出された輪郭点を記憶し、データの内容は輪郭点の座標である。併合処理部42は例えばフィルタ38で個々のカメラ画像毎に抽出した輪郭点を併合し、皮革1枚分の輪郭点のデータとする。   28 is a processor, 30 is a general-purpose memory, and 32 is a program memory, which stores a control program for the cutting apparatus 2 such as a contour extraction program. The contour extracting device 18 functions as shown in FIG. 2 by the processor 28 and the memories 30 and 32. The camera image calibration unit 34 corrects image distortion from the camera 8. Raster images such as camera images are stored in the image memory 36, and the filter 38 applies filtering to the entire leather image obtained by synthesizing a single camera image or a plurality of camera images, and contour points are obtained. Extract. The file memory 40 stores the extracted contour points, and the data content is the coordinates of the contour points. For example, the merge processing unit 42 merges the contour points extracted for each individual camera image by the filter 38 to obtain contour point data for one piece of leather.

多角形分割部44は、輪郭点を用いてシート材の画像を多角形に分割する。多角形分割の手法は例えばドロネー分割とし、多角形の種類は輪郭点を3頂点とする三角形である。内部輪郭抽出部46は、多角形により分割された画像を用いて、皮革15などのシート材の内側の輪郭を抽出し、抽出した多角形の辺を連結し、シート材の閉じた輪郭を発生させる。仮に辺の抽出が不完全な場合、最近接した辺を互いに連結することにより、閉じた輪郭を抽出する。   The polygon dividing unit 44 divides the sheet material image into polygons using contour points. The polygon division method is, for example, Delaunay division, and the type of polygon is a triangle with three contour points. The inner contour extraction unit 46 extracts the inner contour of the sheet material such as leather 15 using the image divided by the polygon, and connects the extracted polygon sides to generate a closed contour of the sheet material. Let If the edge extraction is incomplete, the closed edges are extracted by connecting the closest edges to each other.

外部輪郭抽出部48は、内側の輪郭の外側にある輪郭を抽出する。内側の輪郭の内外で色度、例えば色相と彩度、あるいはY,Cb,Crの映像信号でのCb信号及びCr信号の2つの信号が、所定の条件以上異なるかどうかを、外部輪郭抽出部48で評価する。所定の条件としては、例えばCb信号の差の絶対値とCr信号の差の絶対値の和、あるいはこれらの差の絶対値の大きな方の値、などが所定の値以上かどうかなどを用いる。Cb信号とCr信号に代えて,HLS信号でのH信号とS信号などを用いても良い。またCb信号とCr信号などの色度差に代えて、RGB空間などでの色差、即ちRGB空間での距離、を用いても良い。そして内側の輪郭の内外で色度の変化が所定の条件以下の場合、しわの輪郭を抽出したものと推定して、外側の輪郭を探索する。色度の変化が所定の条件以上の場合、外側の輪郭を抽出したものとして、例えばそれ以上の外側への探索を行わない。輪郭抽出部46,48は抽出したシート材の輪郭となる辺のベクトルを例えば連結し、ベクトルデータの列を内外の輪郭として記憶する。   The outer contour extraction unit 48 extracts a contour outside the inner contour. An external contour extraction unit that determines whether the chromaticity, for example, hue and saturation, or the Cb signal and the Cr signal in the Y, Cb, and Cr video signals are different from each other by a predetermined condition. Evaluate at 48. As the predetermined condition, for example, the sum of the absolute value of the difference between the Cb signals and the absolute value of the difference between the Cr signals, or the larger value of the absolute values of these differences, or the like is used. Instead of the Cb signal and the Cr signal, the H signal and the S signal in the HLS signal may be used. Further, instead of the chromaticity difference between the Cb signal and the Cr signal, a color difference in the RGB space or the like, that is, a distance in the RGB space may be used. If the change in chromaticity inside or outside the inner contour is equal to or less than a predetermined condition, it is estimated that the wrinkle contour has been extracted, and the outer contour is searched. When the change in chromaticity is equal to or greater than a predetermined condition, for example, no further outward search is performed assuming that the outer contour is extracted. The contour extraction units 46 and 48 connect, for example, the vectors of the sides that are the contours of the extracted sheet material, and store a vector data row as inner and outer contours.

しわランキング部50は、しわの形状、特にしわの縦横比(アスペクト比)からしわの程度をランキングして記憶する。パーツ記憶部52は、皮革15から裁断により取り出すべきパーツの形状としわへの許容度を記憶し、しわへの許容度はパーツ単位で記憶しても、パーツを分割したエリア毎に記憶しても良い。パーツマッチング部54は、シート材の内外の輪郭で定まる形状、及びしわの部分のランキングと、取り出すべきパーツの形状及びしわへの許容度とを比較して、最適な裁断パターンを発生させる。ヘッドデータ発生部56は、パーツマッチング部54で発生させた裁断パターンに従って、裁断ヘッドの制御データを発生させる。   The wrinkle ranking unit 50 ranks and stores the wrinkle shape, particularly the wrinkle degree based on the aspect ratio (aspect ratio) of the wrinkles. The parts storage unit 52 stores the shape of the parts to be taken out from the leather 15 by cutting and the tolerance to wrinkles. Even if the tolerance to wrinkles is stored in units of parts, the parts are stored for each divided area. Also good. The part matching unit 54 generates an optimum cutting pattern by comparing the shape determined by the inner and outer contours of the sheet material and the ranking of the wrinkle portion with the shape of the part to be taken out and the tolerance to the wrinkle. The head data generator 56 generates control data for the cutting head according to the cutting pattern generated by the parts matching unit 54.

図3に、フィルタ38の例を示す。60はラプラシアンフィルタで、周囲の画素とデータが異なる画素を抽出し、61,62は微分フィルタで、画像が変化する向きを抽出するのに適している。またカメラ画像のノイズが著しい場合、フィルタ60〜62で処理する前に、メディアンフィルタなどで処理して、ノイズを除去しても良い。用いるフィルタの種類自体は任意で、カメラ画像にフィルタリングを施し、2値化して輪郭点を抽出する。輪郭点の抽出では明度あるいは色度が急変する画素を輪郭点とするが、明度が急変する画素のみを抽出しても良い。   FIG. 3 shows an example of the filter 38. Reference numeral 60 denotes a Laplacian filter that extracts pixels having different data from surrounding pixels, and 61 and 62 denote differential filters, which are suitable for extracting the direction in which the image changes. Further, when the noise of the camera image is significant, the noise may be removed by processing with a median filter or the like before processing with the filters 60 to 62. The type of filter to be used is arbitrary, and the camera image is filtered and binarized to extract contour points. In the extraction of the contour point, the pixel whose brightness or chromaticity changes suddenly is used as the contour point, but only the pixel whose brightness changes suddenly may be extracted.

図4に、内外の輪郭の抽出アルゴリズムを示す。裁断ヘッド6に皮革15をセットし、必要であれば皮革上の疵にカラーテープ16を貼り付ける。そして裁断ヘッド6をXY方向に運動させて、皮革15の画像を例えば数十枚に分割して撮像する(S1)。カメラ画像校正部34で、撮像した画像に対する歪みを補正し(S2)、明度と色度の各々に対して輪郭点を抽出する。輪郭点の抽出では、例えば図3のフィルタによりカメラ画像を処理し、処理後の画像を二値化し、所定値以上の値のものを輪郭点とする(S3)。明度と色度の各々に対して輪郭点が得られ、明度の輪郭点と色度の輪郭点を共に輪郭点として抽出するが、色度の輪郭点を抽出しなくてもよい。そして撮像した各画像に対して以上の処理を繰り返す(S4)。   FIG. 4 shows an inner and outer contour extraction algorithm. A leather 15 is set on the cutting head 6 and, if necessary, a color tape 16 is attached to a ridge on the leather. Then, the cutting head 6 is moved in the XY directions to divide the image of the leather 15 into, for example, several tens of images (S1). The camera image calibration unit 34 corrects distortion of the captured image (S2), and extracts contour points for each of brightness and chromaticity. In the extraction of the contour point, for example, the camera image is processed by the filter of FIG. 3, the processed image is binarized, and a value of a predetermined value or more is set as the contour point (S 3). Contour points are obtained for each of lightness and chromaticity, and both the lightness contour points and the chromaticity contour points are extracted as contour points, but the chromaticity contour points need not be extracted. The above processing is repeated for each captured image (S4).

輪郭点を皮革1枚分集め(S5)、輪郭点を頂点とする三角形によりシート材の画像を分割する(S6)。ここでの画像は実際には輪郭点のみから成るデータである。三角形の生成では、近傍にある頂点を遠方の頂点よりも優先して結合することにより、三角形の辺を構成する。また小さな内角を持つ三角形を避けるように、どの頂点を連結するかを決定する。言い換えると三角形の3つの内角の中で最も小さな内角に着目し、この内角が小さなものを避け、例えば所定値以下の内角を持つ三角形を避けるようにする。   Contour points are collected for one piece of leather (S5), and the sheet material image is divided by triangles having the contour points as vertices (S6). The image here is actually data consisting only of contour points. In the generation of a triangle, the sides of the triangle are formed by combining the vertices in the vicinity with priority over the vertices in the distance. It also decides which vertices to connect to avoid triangles with small interior angles. In other words, paying attention to the smallest interior angle among the three interior angles of the triangle, avoid those having a small interior angle, for example, avoid triangles having an interior angle that is less than or equal to a predetermined value.

以上のアルゴリズムを単純化すると次のように言える。1つの頂点に着目し、周囲の所定の角度範囲の中で近接した頂点と連結する。この処理を着目した頂点の周囲360°分繰り返すと、頂点は周囲の複数個の頂点と連結される。以上の処理を各頂点に対して繰り返すと、画像は三角形により分割される。そして三角形の頂点は輪郭点である。   The above algorithm can be simplified as follows. Paying attention to one vertex, it is connected to nearby vertices within a predetermined range of surrounding angles. If this process is repeated 360 ° around the focused vertex, the vertex is connected to a plurality of surrounding vertices. When the above process is repeated for each vertex, the image is divided into triangles. The vertex of the triangle is a contour point.

次に皮革内の1点を指定する(S7)。この点はマニュアル入力で指定しても良く、あるいは地色、即ち裁断テーブル4の色、とは異なる色で、大きな三角形の内部の点をコンピュータ抽出しても良い。指定された1点から三角形の辺を越えて伝搬するように探索する。そして所定長以上の長さの辺に接触すると、その辺を越えて三角形の残る2辺を探索する。以上のようにして、シート材の内部に対応する領域を拡大していく(S8)。   Next, one point in the leather is designated (S7). This point may be designated by manual input, or a point inside the large triangle may be computer-extracted with a color different from the ground color, that is, the color of the cutting table 4. Searches to propagate from one specified point across the triangle side. When a side having a length longer than a predetermined length is touched, two sides of the triangle that are beyond that side are searched. As described above, the area corresponding to the inside of the sheet material is expanded (S8).

三角形の短い辺に衝突すると、その辺を越える探索を打ち切る。もちろん他の辺に対しては探索を続行する(S9)。探索を続行するか打ち切るかのいき値は実施例では一定であるが、可変としても良い。そして探索する辺が無くなるまで探索を続行する(S10)。以上の過程で、短い辺に衝突し探索を打ち切った場合、該当する辺を記憶する。辺のデータはベクトルデータなので、辺の始点と終点の座標を記憶する。記憶した辺を連結すると、皮革の閉じた輪郭が得られ、これは皮革の内側の輪郭である(S11)。   If it collides with a short side of the triangle, the search beyond that side is aborted. Of course, the search is continued for other sides (S9). The threshold value for continuing or aborting the search is constant in the embodiment, but may be variable. The search is continued until there are no more sides to search (S10). In the above process, if the search is terminated due to collision with a short side, the corresponding side is stored. Since the edge data is vector data, the coordinates of the start and end points of the edge are stored. When the memorized sides are connected, a closed contour of the leather is obtained, which is the inner contour of the leather (S11).

内側の輪郭の内外で、色度の変化が所定の条件以上であるか否かをチェックし(S12)、色度の変化が所定の条件未満の場合、内側の輪郭を越えて、さらに外側の輪郭を抽出する(S13)。この処理は、S9〜S11と同様である。そして外側の輪郭と内側の輪郭で囲まれたエリア、及び内側の輪郭が、それ自体として、単独で閉じている場合、内側の輪郭の内側をしわとする(S14)。   It is checked whether the change in chromaticity is greater than or equal to a predetermined condition inside and outside the inner contour (S12), and if the change in chromaticity is less than the predetermined condition, An outline is extracted (S13). This process is the same as S9 to S11. When the area surrounded by the outer contour and the inner contour, and the inner contour are closed as such, the inside of the inner contour is wrinkled (S14).

図7にドロネー三角形での探索の例を示す。図の三角形の頂点は輪郭点で、人の目で見た場合、L1,L2の2つの輪郭と、孤立した輪郭点P1,P2が存在するように見える。しかしながら自動的にこのような認識を行うことは困難である。図7で左上側から探索を開始するものとする。図の二重線は探索を中止する短い辺を示し、短い辺に衝突すると辺を越えての探索を打ち切る。そして探索を打ち切った短い辺を連結すると、輪郭が得られる。輪郭を確実に抽出するには、
・ 近接した輪郭点を互いに接続し、
・ 小さな内角を持つ三角形を避ける、
ことが重要である。そして上記の条件を充たしながら、三角形により空間を分割するアルゴリズムとして、ドロネー分割が知られている。
FIG. 7 shows an example of searching with Delaunay triangles. The vertices of the triangle in the figure are contour points, and when viewed with the human eye, there appear to be two contours L1 and L2 and isolated contour points P1 and P2. However, it is difficult to perform such recognition automatically. It is assumed that the search starts from the upper left side in FIG. The double line in the figure indicates a short side where the search is stopped, and if it collides with a short side, the search beyond the side is terminated. Then, by connecting the short sides where the search is terminated, an outline is obtained. To ensure that the contour is extracted,
・ Connect adjacent contour points to each other,
Avoid triangles with small interior angles,
This is very important. Delaunay division is known as an algorithm for dividing a space by triangles while satisfying the above conditions.

図8はボロノイ多角形による空間分割を示す。例えば輪郭点P1に対して、周囲の輪郭点と結ぶ辺に対する垂直二等分線を発生させ、垂直二等分線を互いに接続して多角形とする。図8では六角形を表示してあるが、ボロノイ多角形の辺の数は不定である。ボロノイ多角形は輪郭点の集合から成る画像に対し、どの輪郭点に最も近いかにより画像を分割したものと言うことができる。そして輪郭点が密に集合している領域では、ボロノイ多角形のサイズは小さくなり、粗な領域では輪郭点のサイズは大きくなる。このことはドロネー三角形の場合も同様である。また辺の探索を効率的に行うには、ボロノイ多角形でも、ドロネー三角形でも、各辺の両端を記憶すると共に、探索済みかどうかを示すビットを付加すると良い。   FIG. 8 shows space division by Voronoi polygons. For example, with respect to the contour point P1, a perpendicular bisector for the side connecting to the surrounding contour points is generated, and the perpendicular bisectors are connected to each other to form a polygon. Although a hexagon is displayed in FIG. 8, the number of sides of the Voronoi polygon is indefinite. It can be said that the Voronoi polygon is obtained by dividing an image according to which contour point is closest to an image composed of a set of contour points. In the region where the contour points are densely gathered, the size of the Voronoi polygon is reduced, and in the rough region, the size of the contour point is increased. The same applies to the Delaunay triangle. In order to efficiently search for an edge, it is preferable to store both ends of each edge of a Voronoi polygon or Delaunay triangle and add a bit indicating whether or not the search has been completed.

図9〜図11に、皮革に対する輪郭の抽出結果を示す。図9は皮革全体の2値化画像で、画像の内部に4枚のカラーテープが貼ってある。図10は皮革の一部に対する輪郭点の画像を示し、R1は皮革の領域、R2はバックグラウンドの領域、R3は汚れの領域で、皮革は厚さがあるため、2本の平行な輪郭L1,L2があるように見える。ここから例えば輪郭L1のみを自動的に抽出することは、コンピュータにとっては必ずしも容易なことではない。   9 to 11 show the contour extraction results for leather. FIG. 9 is a binarized image of the entire leather, and four color tapes are pasted inside the image. FIG. 10 shows an image of contour points for a portion of leather, where R1 is the leather region, R2 is the background region, R3 is the soil region, and the leather is thick, so the two parallel contours L1 , L2 seems to be there. For example, it is not always easy for the computer to automatically extract only the contour L1 from here.

図11は皮革全体に対するドロネー分割を示す。マニュアルで、あるいはバックグラウンドとは異なる色で大きな三角形の内部にスタート点を選び、ここからドロネー三角形の辺へ向けて探索を実行する。辺に衝突するとその長さを調べ、所定長以上であれば辺を越えて探索を続行し、所定長未満の辺に衝突すると辺を越えず、検出した辺を記憶する。以上の処理を行うと、皮革の輪郭には小さなドロネー三角形が大量に存在するので、輪郭を抽出できる。またカラーテープと皮革との境界にも微細なドロネー三角形が大量に存在するので、カラーテープを抽出できる。以上のようにして図9の皮革の輪郭を抽出できる。   FIG. 11 shows Delaunay division for the entire leather. Select a start point inside a large triangle, either manually or in a different color from the background, and perform a search from here toward the edge of the Delaunay triangle. When a collision occurs with the side, the length is checked. If the length exceeds the predetermined length, the search is continued beyond the side. If the side collides with a side shorter than the predetermined length, the detected side is not stored. When the above processing is performed, a large amount of small Delaunay triangles are present in the leather contour, so that the contour can be extracted. In addition, since there are a large number of fine Delaunay triangles at the boundary between the color tape and leather, the color tape can be extracted. The leather contour in FIG. 9 can be extracted as described above.

次に抽出したしわの処理を説明する。図5に示すように、しわの長径aと短径bとを求め、それらの比a/bをアスペクト比とする(S21)。なおa/bに代えて、長径aとしわの周長との比、あるいは長径aと短径bの1/2乗根の比、即ちa/b1/2などを用いてもよい。次にアスペクト比が大きい程強いしわとし、アスペクト比が小さい程弱いしわとするように、しわにランクを付ける(S22)。そしてしわのランクにフィットし、かつ皮革の外側の輪郭からはみ出さないようにパーツを皮革内に割り当てる(S23)。そしてパーツの裁断を実行する(S24)。 Next, the extracted wrinkle process will be described. As shown in FIG. 5, the major axis a and the minor axis b of the wrinkle are obtained, and the ratio a / b is set as the aspect ratio (S21). Instead of a / b, a ratio between the major axis a and the circumference of the wrinkle, or a ratio of a half root of the major axis a and the minor axis b, that is, a / b 1/2 may be used. Next, the wrinkles are ranked so that the wrinkles are stronger as the aspect ratio is larger and weaker as the aspect ratio is smaller (S22). Then, parts are allocated in the leather so as to fit the wrinkle rank and not to protrude from the outer contour of the leather (S23). Then, the parts are cut (S24).

図12に、しわ88に関する処理を示す。皮革80に対し、その内側から外側に向けて輪郭を抽出し、輪郭81,82が得られたとする。輪郭81,82は短いベクトルを連結したもので、それらのベクトルに沿って例えばエリア83〜87を発生させる。ここではエリア83〜87は飛び飛びに発生させたが、これらを連結するように発生しても良い。エリア83〜87の幅は、図10に示した輪郭L1,L2の間隔よりも大きなものとし、具体的には、皮革の上面のエッジと下面のエッジとの間隔の例えば2倍以上とする。そしてエリア83〜87に対し、輪郭81,82の内外での色度の差を求める。色度は例えばY,Cb,Cr系でのCb及びCr信号や、HLS系でのH信号やS信号などである。そして色度の変化が大きい場合は外側には他の輪郭が無いものとし、色度の変化が小さい場合は内側の輪郭とする。なお輪郭点の周囲での色度の変化は、図3のフィルタで処理する段階で、輪郭点毎に求めておいても良い。   FIG. 12 shows processing related to the wrinkle 88. It is assumed that the contour is extracted from the inner side to the outer side of the leather 80 and the contours 81 and 82 are obtained. The contours 81 and 82 are obtained by connecting short vectors, and areas 83 to 87 are generated along these vectors, for example. Here, the areas 83 to 87 are generated in a jumping manner, but may be generated so as to connect them. The widths of the areas 83 to 87 are larger than the interval between the contours L1 and L2 shown in FIG. 10, and specifically, for example, twice or more the interval between the upper surface edge and the lower surface edge of the leather. Then, for the areas 83 to 87, the difference in chromaticity inside and outside the contours 81 and 82 is obtained. The chromaticity is, for example, Cb and Cr signals in the Y, Cb, and Cr systems, and H and S signals in the HLS system. When the change in chromaticity is large, there is no other contour on the outside, and when the change in chromaticity is small, the contour is on the inside. The change in chromaticity around the contour point may be obtained for each contour point at the stage of processing by the filter of FIG.

図12の場合、輪郭82は内側の輪郭で、輪郭81は外側の輪郭である。そこで内側の輪郭82を越えるように、図7などに示した手法により、外側の輪郭89を求める。そして内外の輪郭81,89に囲まれるエリアがしわ88である。しわ88に対し長径aと短径bとを求めることができ、例えばこの比からしわの程度を求めることができる。   In the case of FIG. 12, the contour 82 is an inner contour, and the contour 81 is an outer contour. Therefore, the outer contour 89 is obtained so as to exceed the inner contour 82 by the method shown in FIG. An area surrounded by the inner and outer contours 81 and 89 is a wrinkle 88. The major axis a and the minor axis b can be obtained for the wrinkle 88. For example, the degree of wrinkle can be obtained from this ratio.

図13にアスペクト比としわのランクとの関係を示し、アスペクト比が大きい程しわのランクが高くなる。なおアスペクト比としては、長径aと短径bとの比の他に、適宜の値を用いることができる。   FIG. 13 shows the relationship between the aspect ratio and the wrinkle rank. The larger the aspect ratio, the higher the wrinkle rank. As the aspect ratio, an appropriate value can be used in addition to the ratio between the major axis a and the minor axis b.

しわは皮革の外側の輪郭に接してあるものには限らない。このような例を図14に示す。90は皮革で、91は内側の輪郭、92は外側の輪郭で、これは皮革の内部に孤立したしわがある例である。   Wrinkles are not limited to those that touch the outer contour of the leather. Such an example is shown in FIG. 90 is leather, 91 is an inner contour, and 92 is an outer contour, which is an example of an isolated wrinkle inside the leather.

図15に、しわのパーツの裁断精度への影響を示し、102,108は図18に示したしわで、しわ102は細く鋭いしわで、しわ108は幅広の緩やかなしわである。また鎖線110でしわ102,108の輪郭、即ち内側の輪郭を示す。しわ102,108は裁断テーブルから盛り上がっているので、これを裁断するとパーツ112,114のようになり、正確な形状に裁断するのが難しくなる。なおしわ102,108のランクが分かると、しわが裁断テーブルから持ち上がっている高さも推定可能なので、しわによる形状精度の低下を補正することができる。即ちランクの高いしわのエリアを裁断すると、しわの短径方向に沿ってパーツのサイズが大きくなる。サイズが大きくなる程度は、しわのランク並びにしわの短径方向にパーツが入り込んでいる距離に依存する。そこでしわのランクと前記の距離とにより、パーツのサイズが受ける影響を経験則として記憶すると、しわによる形状精度の低下を補うことができる。   FIG. 15 shows the influence of the wrinkle parts on the cutting accuracy. 102 and 108 are wrinkles shown in FIG. 18, the wrinkles 102 are thin and sharp wrinkles, and the wrinkles 108 are wide and gentle wrinkles. A chain line 110 indicates the contours of the wrinkles 102 and 108, that is, the inner contour. Since the wrinkles 102 and 108 are raised from the cutting table, when the wrinkles are cut, they become parts 112 and 114, which are difficult to cut into an accurate shape. If the ranks of the wrinkles 102 and 108 are known, it is possible to estimate the height at which the wrinkles are lifted from the cutting table, so that it is possible to correct a decrease in shape accuracy due to wrinkles. That is, when a wrinkle area with a high rank is cut, the size of the part increases along the minor axis direction of the wrinkle. The extent to which the size increases depends on the wrinkle rank and the distance that the part enters in the minor axis direction of the wrinkle. Therefore, if the influence of the size of the part is stored as an empirical rule based on the wrinkle rank and the distance, it is possible to compensate for a decrease in shape accuracy due to wrinkles.

しわにランクを設けることに対応して、パーツあるいはパーツのエリアに対してもしわへの許容度を定めておき、どのしわに対しどのパーツを配置しても良いか、あるいはどのパーツのどの部分を配置しても良いかを、判断できるようにする。図16のパーツ120は、周囲に縫い代のエリアと、その内側に2つのエリアがあり、記号I−Aはしわが全く許されないことを、記号I−Bは、ごく緩やかなしわであれば許されることを、記号IIは図13の例えばランク2のしわまでが許されることを意味する。   Corresponding to the ranking of wrinkles, the tolerance of wrinkles is determined for parts or parts areas, and which parts can be placed for which wrinkles, or which part of which parts To be able to determine whether or not The part 120 in FIG. 16 has a seam allowance area around it and two areas inside it, and the symbol IA allows no wrinkles at all, and the symbol IB allows only a moderate wrinkle. The symbol II means that up to, for example, a wrinkle of rank 2 in FIG. 13 is allowed.

図6にパーツのデザインを示し、裁断装置2でデザインしても、別の装置でデザインしても良い。パーツの形状をデザインし(S31)、パーツ全体に対しあるいはパーツのエリア毎にしわの許容レベルを指定し(S32)、パーツの必要数を入力する(S33)。   FIG. 6 shows a part design, which may be designed by the cutting device 2 or by another device. The shape of the part is designed (S31), the wrinkle tolerance level is designated for the entire part or for each part area (S32), and the required number of parts is input (S33).

実施例では皮革の内側から外側に向けて輪郭を抽出した。この逆に皮革の外側から内側に向けて輪郭を抽出しても良い。このような例を図17に示し、130は皮革で、132,133はしわである。皮革130の外側から輪郭を抽出すると、外側の輪郭134が得られ、さらに輪郭の抽出を続行すると内側の輪郭136が得られる。この場合、外側の輪郭134からスタートして、別の輪郭に衝突するまで輪郭の抽出を続行するので、実質的に皮革130の内外側全体に対し、輪郭の抽出を行う必要がある。このため輪郭の抽出範囲が広くなる。   In the examples, contours were extracted from the inside to the outside of the leather. Conversely, the contour may be extracted from the outside to the inside of the leather. Such an example is shown in FIG. 17, where 130 is leather and 132, 133 are wrinkles. When the contour is extracted from the outside of the leather 130, the outer contour 134 is obtained, and when the contour extraction is further continued, the inner contour 136 is obtained. In this case, since the extraction of the contour starts from the outer contour 134 until it collides with another contour, it is necessary to extract the contour substantially for the entire inner and outer sides of the leather 130. For this reason, the contour extraction range is widened.

実施例では以下の効果が得られる。
(1) 皮革のしわを検出できる。このため皮革のどの部分にしわがあるかが分かり、かつしわを除いた部分の面積や、皮革の総面積を求めることができる。
(2) しわをランキングできるので、パーツへの許容範囲内で、しわ内にパーツを配置できる。従って皮革の利用効率が向上する。
(3) 皮革の内側から輪郭を抽出し、色度の変化の小さな輪郭に達すると、この輪郭を越えてさらに輪郭を探索する。このため簡単に内側の輪郭と外側の輪郭とを求めることができる。また探索範囲を皮革の内側及びしわの周囲に限定できる。
(4) しわにランキングを施すと共に、パーツあるいはパーツ内のエリアに対し、しわへの許容度を定めておくと、簡単にパーツを配置できる。
(5) ドロネー分割やボロノイ分割を用いると、輪郭を的確に抽出できる。
In the embodiment, the following effects can be obtained.
(1) Can detect wrinkles in leather. For this reason, it can be understood which part of the leather has wrinkles, and the area of the part excluding the wrinkles and the total area of the leather can be obtained.
(2) Since wrinkles can be ranked, parts can be placed in the wrinkles within the allowable range for the parts. Therefore, the utilization efficiency of leather improves.
(3) The contour is extracted from the inside of the leather, and when a contour with a small change in chromaticity is reached, the contour is searched beyond this contour. For this reason, the inner contour and the outer contour can be easily obtained. In addition, the search range can be limited to the inside of leather and around wrinkles.
(4) By ranking wrinkles and setting tolerances for wrinkles for parts or areas within parts, parts can be placed easily.
(5) Using Delaunay division or Voronoi division, the contour can be extracted accurately.

実施例の裁断装置のハードウェア構成を示すブロック図The block diagram which shows the hardware constitutions of the cutting device of an Example 図1の裁断装置を、輪郭抽出に関する機能ブロックで示す図The figure which shows the cutting device of FIG. 1 with the functional block regarding outline extraction 輪郭抽出用のフィルタの例を示す図The figure which shows the example of the filter for outline extraction 実施例での輪郭としわの抽出アルゴリズムを示す図The figure which shows the outline and wrinkle extraction algorithm in an Example 実施例でのしわのランク付けアルゴリズムを示す図The figure which shows the wrinkle ranking algorithm in the Example 実施例でのパーツのランク付けアルゴリズムを示す図The figure which shows the part ranking algorithm in the Example ドロネー分割(Delaunay division)を模式的に示す図Diagram showing Delaunay division ボロノイ図(Voronoi diagram)を模式的に示す図A diagram schematically showing the Voronoi diagram 皮革の2値画像を示す図Figure showing a binary image of leather 輪郭点の画像を示す図Diagram showing contour point image 図9に対応するドロネー分割を示す図Diagram showing Delaunay division corresponding to FIG. 実施例でのしわの抽出を模式的に示す図The figure which shows typically the extraction of wrinkles in an Example 実施例でのしわのアスペクト比としわのランクとの関係を模式的に示す図The figure which shows typically the relationship between the wrinkle aspect ratio and wrinkle rank in an Example. 内側にしわがある皮革を模式的に示す図A diagram schematically showing leather with wrinkles on the inside しわを裁断したパーツでは形状精度が低下することを模式的に示す図A diagram that schematically shows that the shape accuracy of a wrinkled part decreases. パーツ内のエリア毎のランキングを模式的に示す図The figure which shows the ranking for every area in the part typically 皮革の外側から輪郭としわとを探索する変形例を模式的に示す図The figure which shows typically the modification which searches an outline and a wrinkle from the outer side of leather しわのある皮革を示す写真Photo showing wrinkled leather

符号の説明Explanation of symbols

2 裁断装置
4 裁断テーブル
6 裁断ヘッド
8 カラーカメラ
10 刃物
12 X軸ドライブ
14 Y軸ドライブ
15 皮革
16 カラーテープ
18 輪郭抽出装置
20 バス
21 カラーモニタ
22 マニュアル入力
23 ディスクドライブ
24 ネットワークインターフェース
26 入出力
28 プロセッサ
30 メモリ
32 プログラムメモリ
34 カメラ画像校正部
36 画像メモリ
38 フィルタ
40 ファイルメモリ
42 併合処理部
44 多角形分割部
46 内部輪郭抽出部
48 外部輪郭抽出部
50 しわランキング部
52 パーツ記憶部
54 パーツマッチング部
56 ヘッドデータ発生部
60 ラプラシアンフィルタ
61,62 微分フィルタ
80,90 皮革
81 輪郭
82,91 内側の輪郭
83〜87 エリア
88 しわ
89,92 外側の輪郭
110 内側の輪郭
112,114 パーツ
120 パーツ
130 皮革
132,133 しわ
134 外側の輪郭
136 内側の輪郭

L1,L2 輪郭
P1〜P6 頂点
R1 皮革
R2 バックグラウンド
R3 汚れ
a 長径
b 短径
2 Cutting device 4 Cutting table 6 Cutting head 8 Color camera 10 Blade 12 X-axis drive 14 Y-axis drive 15 Leather 16 Color tape 18 Contour extraction device 20 Bus 21 Color monitor 22 Manual input 23 Disk drive 24 Network interface 26 Input / output 28 Processor 30 Memory 32 Program Memory 34 Camera Image Calibration Unit 36 Image Memory 38 Filter 40 File Memory 42 Merge Processing Unit 44 Polygon Dividing Unit 46 Internal Contour Extracting Unit 48 External Contour Extracting Unit 50 Wrinkle Ranking Unit 52 Parts Storage Unit 54 Parts Matching Unit 56 Head data generator 60 Laplacian filter 61, 62 Differential filter 80, 90 Leather 81 Contour 82, 91 Inner contour 83-87 Area 88 Wrinkle
89,92 outer contour 110 inner contour 112,114 parts 120 parts 130 leather 132,133 wrinkle 134 outer contour 136 inner contour

L1, L2 contour
P1 ~ P6 Vertex R1 Leather R2 Background R3 Dirt a Major axis b Minor axis

Claims (9)

カメラで撮像したシート材の画像から、フィルタリングにより輪郭点を抽出し、抽出した輪郭点を連結してシート材の輪郭線として出力する装置において、
シート材の外形を表す外側の輪郭線と、前記外側の輪郭線の内部にある内側の輪郭線、とを求めるための輪郭抽出手段と、
前記外側の輪郭線と前記内側の輪郭線とから、シート材のしわの形状を求めるための手段と、
求めたしわの形状の長径と短径との比を表す量を求めるためのしわ形状評価手段と、
前記比を表す量が大きいしわを強いしわとし、比を表す量が小さいしわを弱いしわとするように、しわをランキングするためのランキング手段と、
シート材から裁断するパーツを、しわのランキングに応じてシート材に割り当てるための割り当て手段、とを設けたことを特徴とする、輪郭抽出装置。
In the device that extracts the contour point by filtering from the image of the sheet material imaged by the camera, connects the extracted contour points, and outputs it as the contour line of the sheet material,
Contour extracting means for obtaining an outer contour line representing the outer shape of the sheet material and an inner contour line inside the outer contour line;
Means for determining the wrinkle shape of the sheet material from the outer contour line and the inner contour line;
A wrinkle shape evaluation means for obtaining an amount representing a ratio between a major axis and a minor axis of the obtained wrinkle shape;
Ranking means for ranking the wrinkles so that the amount representing the ratio is a large wrinkle, and the amount representing the ratio is a weak wrinkle;
An outline extracting apparatus comprising: an assigning unit for assigning parts to be cut from a sheet material to the sheet material in accordance with a wrinkle ranking.
前記輪郭抽出手段では、シート材の内部から外側へ向けて輪郭線を抽出し、輪郭線の内外での色度の差が所定の条件以下の輪郭線を前記内側の輪郭線とすると共に、内側の輪郭線のさらに外側にある輪郭線を前記外側の輪郭線とすることを特徴とする、請求項1の輪郭抽出装置。 In the contour extracting means, a contour line is extracted from the inside to the outside of the sheet material, and a contour line whose chromaticity difference between the inside and outside of the contour line is a predetermined condition or less is set as the inside contour line, and the inside The contour extracting apparatus according to claim 1, wherein a contour line further outside the contour line is defined as the outer contour line. 輪郭点の密度が高い領域ではサイズが小さく、密度が低い領域ではサイズが大きな複数の多角形を、前記輪郭点に基づいて発生させることにより、該複数の多角形の画像を発生するための空間分割手段をさらに設けると共に、
前記輪郭抽出手段では、前記多角形の画像を、シート材の内部の点から始めて、前記多角形の辺へ向けて探索し、所定長未満の長さの辺に接触すると、該辺を越えた探索を中止すると共に該辺を記憶し、所定長以上の長さの辺に接触すると、該所定長以上の長さの辺を越えて探索を続行することを特徴とする、請求項2の輪郭抽出装置。
A space for generating a plurality of polygon images by generating a plurality of polygons having a small size in a region having a high density of contour points and a large size in a region having a low density based on the contour points. Further providing a dividing means;
In the contour extraction means, the polygon image is searched from the point inside the sheet material toward the side of the polygon, and when the side touches a side having a length less than a predetermined length, the side is exceeded. 3. The contour according to claim 2, wherein the search is stopped and the side is memorized, and when the side touches the side having a length longer than a predetermined length, the search is continued beyond the side having a length longer than the predetermined length. Extraction device.
前記パーツあるいはパーツ内のエリアにはしわの許容度が割り当てられ、 前記割り当て手段は、前記ランキングと前記許容度とに応じて、しわ内にパーツを割り当てることを特徴とする、請求項1〜3のいずれかの輪郭抽出装置。 The wrinkle tolerance is assigned to the part or an area within the part, and the assigning unit assigns the part to the wrinkle according to the ranking and the tolerance. Any contour extraction device. カメラで撮像したシート材の画像から、フィルタリングにより輪郭点を抽出し、抽出した輪郭点を連結してシート材の輪郭線として出力する、輪郭抽出装置のためのプログラムにおいて、
前記輪郭抽出装置に読み込まれた際に、輪郭抽出装置を、
シート材の外形を表す外側の輪郭線と、前記外側の輪郭線の内部にある内側の輪郭線、とを求めるための輪郭抽出手段と、
前記外側の輪郭線と前記内側の輪郭線とから、シート材のしわの形状を求めるための手段と、
求めたしわの形状の長径と短径との比を表す量を求めるためのしわ形状評価手段と、
前記比を表す量が大きいしわを強いしわとし、比を表す量が小さいしわを弱いしわとするように、しわをランキングするためのランキング手段と、
シート材から裁断するパーツを、しわのランキングに応じてシート材に割り当てるための割り当て手段、として機能させることを特徴とする輪郭抽出プログラム。
In the program for the contour extraction device, which extracts the contour point by filtering from the image of the sheet material captured by the camera, and outputs the contour point by connecting the extracted contour points,
When read into the contour extraction device, the contour extraction device is
Contour extracting means for obtaining an outer contour line representing the outer shape of the sheet material and an inner contour line inside the outer contour line;
Means for determining the wrinkle shape of the sheet material from the outer contour line and the inner contour line;
A wrinkle shape evaluation means for obtaining an amount representing a ratio between a major axis and a minor axis of the obtained wrinkle shape;
Ranking means for ranking the wrinkles so that the amount representing the ratio is a large wrinkle, and the amount representing the ratio is a weak wrinkle;
An outline extraction program for causing a part to be cut from a sheet material to function as an assigning means for assigning a part to a sheet material according to a wrinkle ranking.
前記輪郭抽出手段では、シート材の内部から外側へ向けて輪郭線を抽出し、輪郭線の内外での色度の差が所定の条件以下の輪郭線を前記内側の輪郭線とすると共に、内側の輪郭線のさらに外側にある輪郭線を前記外側の輪郭線とすることを特徴とする、請求項5の輪郭抽出プログラム。 In the contour extracting means, a contour line is extracted from the inside to the outside of the sheet material, and a contour line whose chromaticity difference between the inside and outside of the contour line is a predetermined condition or less is set as the inside contour line, and the inside The contour extraction program according to claim 5, wherein a contour line further outside the contour line is defined as the outer contour line. 輪郭点の密度が高い領域ではサイズが小さく、密度が低い領域ではサイズが大きな複数の多角形を、前記輪郭点に基づいて発生させることにより、該複数の多角形の画像を発生するための空間分割手段をさらに設けると共に、
前記輪郭抽出手段では、前記多角形の画像を、シート材の内部の点から始めて、前記多角形の辺へ向けて探索し、所定長未満の長さの辺に接触すると、該辺を越えた探索を中止すると共に該辺を記憶し、所定長以上の長さの辺に接触すると、該所定長以上の長さの辺を越えて探索を続行することを特徴とする、請求項6の輪郭抽出プログラム。
A space for generating a plurality of polygon images by generating a plurality of polygons having a small size in a region having a high density of contour points and a large size in a region having a low density based on the contour points. Further providing a dividing means;
In the contour extraction means, the polygon image is searched from the point inside the sheet material toward the side of the polygon, and when the side touches a side having a length less than a predetermined length, the side is exceeded. 7. The contour of claim 6, wherein the search is stopped and the side is memorized, and when the side touches the side having a length longer than a predetermined length, the search is continued beyond the side having a length longer than the predetermined length. Extraction program.
前記パーツあるいはパーツ内のエリアにはしわの許容度が割り当てられ、 前記割り当て手段は、前記ランキングと前記許容度とに応じて、しわ内にパーツを割り当てることを特徴とする、請求項5〜7のいずれかの輪郭抽出プログラム。 The wrinkle tolerance is assigned to the part or an area within the part, and the assigning unit assigns the part to the wrinkle according to the ranking and the tolerance. Any contour extraction program. カメラで撮像したシート材の画像から、フィルタリングにより輪郭点を抽出し、抽出した輪郭点を連結してシート材の輪郭線として出力する方法において、
輪郭抽出手段により、シート材の外形を表す外側の輪郭線と、前記外側の輪郭線の内部にある内側の輪郭線、とを求め、
しわの形状を求めるための手段により、前記外側の輪郭線と前記内側の輪郭線とから、シート材のしわの形状を求め、
しわ形状評価手段により、求めたしわの形状の長径と短径との比を表す量を求め、
ランキング手段により、前記比を表す量が大きいしわを強いしわとし、比を表す量が小さいしわを弱いしわとするように、しわをランキングし、
割り当て手段により、シート材から裁断するパーツを、しわのランキングに応じてシート材に割り当てることを特徴とする、輪郭抽出方法。
In the method of extracting the contour point by filtering from the image of the sheet material captured by the camera, connecting the extracted contour points and outputting as the contour line of the sheet material,
By the contour extracting means, an outer contour line representing the outer shape of the sheet material and an inner contour line inside the outer contour line are obtained,
By means for obtaining the wrinkle shape, the wrinkle shape of the sheet material is obtained from the outer contour line and the inner contour line,
By using the wrinkle shape evaluation means, an amount representing the ratio between the major axis and the minor axis of the obtained wrinkle shape is obtained,
The ranking means ranks the wrinkles so that the amount representing the ratio is a large wrinkle and the amount representing the ratio is a weak wrinkle,
A contour extracting method, wherein an allocating unit allocates parts to be cut from a sheet material to the sheet material according to a wrinkle ranking.
JP2008192363A 2008-07-25 2008-07-25 Outline extraction apparatus, outline extraction method, and outline extraction program Expired - Fee Related JP5197205B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008192363A JP5197205B2 (en) 2008-07-25 2008-07-25 Outline extraction apparatus, outline extraction method, and outline extraction program
CN 200910160926 CN101635055B (en) 2008-07-25 2009-07-24 Contour extraction device and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008192363A JP5197205B2 (en) 2008-07-25 2008-07-25 Outline extraction apparatus, outline extraction method, and outline extraction program

Publications (2)

Publication Number Publication Date
JP2010029958A true JP2010029958A (en) 2010-02-12
JP5197205B2 JP5197205B2 (en) 2013-05-15

Family

ID=41594236

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008192363A Expired - Fee Related JP5197205B2 (en) 2008-07-25 2008-07-25 Outline extraction apparatus, outline extraction method, and outline extraction program

Country Status (2)

Country Link
JP (1) JP5197205B2 (en)
CN (1) CN101635055B (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106157369A (en) * 2016-07-22 2016-11-23 中国石油集团川庆钻探工程有限公司地球物理勘探公司 Geological surface triangulation methodology based on sparse structure interpretation data
CN112935575A (en) * 2021-01-12 2021-06-11 大族激光科技产业集团股份有限公司 Cutting path optimization method and device and computer readable storage medium

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5620990B2 (en) * 2010-06-29 2014-11-05 富士フイルム株式会社 Shape extraction method and apparatus, and dimension measuring apparatus and distance measuring apparatus
CN108287506B (en) * 2018-01-30 2020-09-11 嵊州市万智网络科技有限公司 Smart home device based on image processing
CN110006915A (en) * 2018-08-30 2019-07-12 永康市缘匠贸易有限公司 Glass blocks bar detection mechanism
CN112750099A (en) * 2019-10-16 2021-05-04 深圳市理邦精密仪器股份有限公司 Follicle measurement method, ultrasound apparatus, and computer-readable storage medium
CN111192250B (en) * 2019-12-30 2022-02-08 合肥联宝信息技术有限公司 Computer B-side frame detection method and device, computer storage medium and computer

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06155381A (en) * 1992-11-16 1994-06-03 Shima Seiki Mfg Ltd Abnormality detector for cut material in a cutter
JP2005111596A (en) * 2003-10-07 2005-04-28 Atelier Sooken:Kk Device for stacking object to be cut
JP2006139348A (en) * 2004-11-10 2006-06-01 Shima Seiki Mfg Ltd Patterning apparatus and method of sheet material and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5831857A (en) * 1995-09-08 1998-11-03 Gerber Garment Technology, Inc. Pattern alignment and cutting system
US6836695B1 (en) * 1998-08-17 2004-12-28 Soft Sight Inc. Automatically generating embroidery designs from a scanned image
WO2004010807A1 (en) * 2002-07-26 2004-02-05 Shima Seiki Manufacturing, Ltd. Automatic cutting machine teaching device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06155381A (en) * 1992-11-16 1994-06-03 Shima Seiki Mfg Ltd Abnormality detector for cut material in a cutter
JP2005111596A (en) * 2003-10-07 2005-04-28 Atelier Sooken:Kk Device for stacking object to be cut
JP2006139348A (en) * 2004-11-10 2006-06-01 Shima Seiki Mfg Ltd Patterning apparatus and method of sheet material and program

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200401824014; 阿部正英 外2名: '遺伝的アルゴリズムを用いた2値画像からの任意形状の輪郭線抽出' 電子情報通信学会論文誌 第J86-D-II巻 第7号, 20030701, 第1036〜1048頁, 社団法人電子情報通信学会 *
JPN6011051621; 阿部正英 外2名: '遺伝的アルゴリズムを用いた2値画像からの任意形状の輪郭線抽出' 電子情報通信学会論文誌 第J86-D-II巻 第7号, 20030701, 第1036〜1048頁, 社団法人電子情報通信学会 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106157369A (en) * 2016-07-22 2016-11-23 中国石油集团川庆钻探工程有限公司地球物理勘探公司 Geological surface triangulation methodology based on sparse structure interpretation data
CN112935575A (en) * 2021-01-12 2021-06-11 大族激光科技产业集团股份有限公司 Cutting path optimization method and device and computer readable storage medium

Also Published As

Publication number Publication date
JP5197205B2 (en) 2013-05-15
CN101635055B (en) 2013-08-07
CN101635055A (en) 2010-01-27

Similar Documents

Publication Publication Date Title
JP5197205B2 (en) Outline extraction apparatus, outline extraction method, and outline extraction program
US8879847B2 (en) Image processing device, method of controlling image processing device, and program for enabling computer to execute same method
EP2430588B1 (en) Object recognition method, object recognition apparatus, and autonomous mobile robot
JP5514918B2 (en) Head recognition method
JP4944007B2 (en) Outline extraction apparatus, outline extraction method, and outline extraction program
US9020251B2 (en) Image processing apparatus and method
JP6539303B2 (en) Transforming 3D objects to segment objects in 3D medical images
JP2012118698A (en) Image processing system
CN102834845A (en) Method and arrangement for multi-camera calibration
US20210150288A1 (en) Methods and apparatus for testing multiple fields for machine vision
JP2013089252A (en) Video processing method and device
WO2012100225A1 (en) Systems and methods for generating a three-dimensional shape from stereo color images
WO2015092904A1 (en) Image-processing apparatus, image-processing method, and image-processing program
JP2007198934A (en) Region of interest extraction method for image data, computer program using the same and region of interest extracting system
Yogeswaran et al. 3d surface analysis for automated detection of deformations on automotive body panels
Ozbay et al. A hybrid method for skeleton extraction on Kinect sensor data: Combination of L1-Median and Laplacian shrinking algorithms
KR102255148B1 (en) Image processing apparatus, image processing method, storage medium, and program
Pound et al. Surface reconstruction of plant shoots from multiple views
JP6132485B2 (en) Image processing apparatus, operation method of image processing apparatus, and image processing program
JP2020173584A (en) Object detection device
KR101715266B1 (en) Line drawing method for 3d model using graphic accelerator and computer-readable recording medium storing for processing program using the same
CN113658153B (en) Contour data feature point detection method and device
KR101749029B1 (en) Apparatus and Method of Body Part Detection in Image
CN113592976A (en) Map data processing method and device, household appliance and readable storage medium
JP2011170554A (en) Object recognition device, object recognition method, and object recognition program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees