JP2021074075A - Image processing device, sewing machine and image processing method - Google Patents
Image processing device, sewing machine and image processing method Download PDFInfo
- Publication number
- JP2021074075A JP2021074075A JP2019201419A JP2019201419A JP2021074075A JP 2021074075 A JP2021074075 A JP 2021074075A JP 2019201419 A JP2019201419 A JP 2019201419A JP 2019201419 A JP2019201419 A JP 2019201419A JP 2021074075 A JP2021074075 A JP 2021074075A
- Authority
- JP
- Japan
- Prior art keywords
- sewing
- region
- image
- stitch
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009958 sewing Methods 0.000 title claims abstract description 357
- 238000012545 processing Methods 0.000 title claims abstract description 34
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000000034 method Methods 0.000 description 195
- 238000012937 correction Methods 0.000 description 110
- 239000013256 coordination polymer Substances 0.000 description 61
- 239000013598 vector Substances 0.000 description 52
- 238000004364 calculation method Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 29
- 238000003384 imaging method Methods 0.000 description 27
- 238000003825 pressing Methods 0.000 description 23
- 239000000463 material Substances 0.000 description 20
- 238000013461 design Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 12
- 238000006073 displacement reaction Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 11
- 238000013500 data storage Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 238000012805 post-processing Methods 0.000 description 4
- 102100031854 60S ribosomal protein L14 Human genes 0.000 description 3
- 101000704267 Homo sapiens 60S ribosomal protein L14 Proteins 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000011960 computer-aided design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000010985 leather Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000004745 nonwoven fabric Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000002759 woven fabric Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229920002803 thermoplastic polyurethane Polymers 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- D—TEXTILES; PAPER
- D05—SEWING; EMBROIDERING; TUFTING
- D05B—SEWING
- D05B19/00—Programme-controlled sewing machines
- D05B19/02—Sewing machines having electronic memory or microprocessor control unit
- D05B19/04—Sewing machines having electronic memory or microprocessor control unit characterised by memory aspects
- D05B19/10—Arrangements for selecting combinations of stitch or pattern data from memory ; Handling data in order to control stitch format, e.g. size, direction, mirror image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Textile Engineering (AREA)
- Sewing Machines And Sewing (AREA)
Abstract
Description
本発明は、画像処理装置、ミシン、及び画像処理方法に関する。 The present invention relates to an image processing apparatus, a sewing machine, and an image processing method.
縫製対象物の意匠性を高めるために、縫製対象物にステッチが形成される場合がある。特許文献１には、車両用シートに使用される表皮材にステッチを形成する技術が開示されている。 Stitches may be formed on the sewing object in order to enhance the design of the sewing object. Patent Document 1 discloses a technique for forming stitches on a skin material used for a vehicle seat.
車両用シートに使用される表皮材に孔が設けられる。孔が模様を形成することにより、車両用シートの意匠性がより高められる。ステッチは、孔の模様が設けられていない領域に形成される。ステッチを形成する場合、孔の模様が設けられている領域と孔の模様が設けられていない領域とを識別する必要がある。 Holes are provided in the skin material used for vehicle seats. By forming the pattern of the holes, the design of the vehicle seat is further enhanced. Stitches are formed in areas where there is no pattern of holes. When forming a stitch, it is necessary to distinguish between the area where the hole pattern is provided and the area where the hole pattern is not provided.
本発明の態様は、孔の模様が設けられている領域と孔の模様が設けられていない領域とを識別することを目的とする。 An aspect of the present invention is to distinguish between a region where a hole pattern is provided and a region where the hole pattern is not provided.
本発明の態様に従えば、縫製対象物に係る画像を示す対象物画像を取得する対象物画像取得部と、前記対象物画像を規定のサーチ領域で走査して、注目画素が規定色画素か否かを判定する走査部と、判定結果に基づいて、前記縫製対象物の表面をテクスチャ領域とステッチ領域とに分割して、前記テクスチャ領域と前記ステッチ領域との境界線を算出する領域分割部と、を備える、画像処理装置が提供される。 According to the aspect of the present invention, the object image acquisition unit that acquires the object image showing the image related to the sewing object and the object image are scanned in the specified search area to determine whether the pixel of interest is the specified color pixel. A scanning unit that determines whether or not the image is used, and an area dividing unit that divides the surface of the sewing object into a texture area and a stitch area based on the determination result, and calculates a boundary line between the texture area and the stitch area. And, an image processing apparatus is provided.
本発明の態様によれば、孔の模様が設けられている領域と孔の模様が設けられていない領域とを識別することを識別することができる。 According to the aspect of the present invention, it is possible to distinguish between the region where the hole pattern is provided and the region where the hole pattern is not provided.
以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。 Hereinafter, embodiments according to the present invention will be described with reference to the drawings, but the present invention is not limited thereto. The components of the embodiments described below can be combined as appropriate. In addition, some components may not be used.
本実施形態においては、ミシン１についてローカル座標系が規定される。以下の説明においては、ミシン１について規定されるローカル座標系を適宜、ミシン座標系、と称する。ミシン座標系は、ＸＹＺ直交座標系により規定される。本実施形態においては、ミシン座標系に基づいて各部の位置関係について説明する。所定面内のＸ軸と平行な方向をＸ軸方向とする。Ｘ軸と直交する所定面内のＹ軸と平行な方向をＹ軸方向とする。所定面と直交するＺ軸と平行な方向をＺ軸方向とする。また、Ｘ軸を中心とする回転方向又は傾斜方向をθＸ方向とする。Ｙ軸を中心とする回転方向又は傾斜方向をθＹ方向とする。Ｚ軸を中心とする回転方向又は傾斜方向をθＺ方向とする。また、本実施形態においては、Ｘ軸及びＹ軸を含む平面を適宜、ＸＹ平面、と称する。Ｘ軸及びＺ軸を含む平面を適宜、ＸＺ平面、と称する。Ｙ軸及びＺ軸を含む平面を適宜、ＹＺ平面、と称する。ＸＹ平面は、所定面と平行である。ＸＹ平面とＸＺ平面とＹＺ平面とは直交する。また、本実施形態においては、ＸＹ平面と水平面とが平行であることとする。Ｚ軸方向は上下方向である。＋Ｚ方向は上方向であり−Ｚ方向は下方向である。なお、ＸＹ平面が水平面に対して傾斜していてもよい。 In this embodiment, a local coordinate system is defined for the sewing machine 1. In the following description, the local coordinate system defined for the sewing machine 1 is appropriately referred to as a sewing machine coordinate system. The sewing machine coordinate system is defined by the XYZ Cartesian coordinate system. In this embodiment, the positional relationship of each part will be described based on the sewing machine coordinate system. The direction parallel to the X-axis in the predetermined plane is defined as the X-axis direction. The direction parallel to the Y-axis in a predetermined plane orthogonal to the X-axis is defined as the Y-axis direction. The direction parallel to the Z-axis orthogonal to the predetermined surface is defined as the Z-axis direction. Further, the rotation direction or the inclination direction about the X axis is defined as the θX direction. The rotation direction or inclination direction centered on the Y axis is defined as the θY direction. The direction of rotation or inclination about the Z axis is defined as the θZ direction. Further, in the present embodiment, the plane including the X-axis and the Y-axis is appropriately referred to as an XY plane. The plane including the X-axis and the Z-axis is appropriately referred to as an XZ plane. The plane including the Y-axis and the Z-axis is appropriately referred to as a YZ plane. The XY plane is parallel to the predetermined plane. The XY plane, the XZ plane, and the YZ plane are orthogonal to each other. Further, in the present embodiment, it is assumed that the XY plane and the horizontal plane are parallel. The Z-axis direction is the vertical direction. The + Z direction is upward and the −Z direction is downward. The XY plane may be inclined with respect to the horizontal plane.
［ミシン］
図１は、本実施形態に係るミシン１を示す斜視図である。図２は、本実施形態に係るミシン１の一部を示す斜視図である。本実施形態において、ミシン１は、電子サイクルミシンである。ミシン１は、ミシン本体１０と、作業者によって操作される操作装置２０と、縫製対象物Ｓを撮像可能な撮像装置３０とを備える。
[sewing machine]
FIG. 1 is a perspective view showing a sewing machine 1 according to the present embodiment. FIG. 2 is a perspective view showing a part of the sewing machine 1 according to the present embodiment. In the present embodiment, the sewing machine 1 is an electronic cycle sewing machine. The sewing machine 1 includes a sewing machine
ミシン本体１０は、テーブル２の上面に搭載される。ミシン本体１０は、ミシンフレーム１１と、ミシンフレーム１１に支持される針棒１２と、ミシンフレーム１１に支持される針板１３と、支持部材１４を介してミシンフレーム１１に支持される保持部材１５と、針棒１２を移動させる動力を発生するアクチュエータ１６と、保持部材１５を移動させる動力を発生するアクチュエータ１７と、保持部材１５の少なくとも一部を移動させる動力を発生するアクチュエータ１８とを有する。
The
ミシンフレーム１１は、Ｙ軸方向に延在する水平アーム１１Ａと、水平アーム１１Ａよりも下方に配置されたベッド１１Ｂと、水平アーム１１Ａの＋Ｙ側の端部とベッド１１Ｂとを繋ぐ垂直アーム１１Ｃと、水平アーム１１Ａの−Ｙ側に配置されたヘッド１１Ｄとを有する。
The
針棒１２は、ミシン針３を保持する。針棒１２は、ミシン針３とＺ軸とが平行になるようにミシン針３を保持する。針棒１２は、Ｚ軸方向に移動可能にヘッド１１Ｄに支持される。
The
針板１３は、縫製対象物Ｓを支持する。針板１３は、保持部材１５を支持する。針板１３は、ベッド１１Ｂに支持される。針板１３は、保持部材１５よりも下方に配置される。
The
保持部材１５は、縫製対象物Ｓを保持する。保持部材１５は、ミシン針３の直下の縫製位置Ｐｓを含むＸＹ平面内において縫製対象物Ｓを保持して移動可能である。保持部材１５は、撮像装置３０の直下の撮像位置Ｐｆを含むＸＹ平面内において縫製対象物Ｓを保持して移動可能である。保持部材１５が縫製対象物Ｓを保持した状態で、縫製データに基づいて縫製位置Ｐｓを含むＸＹ平面内において移動することにより、縫製対象物ＳにステッチＣＨが形成される。保持部材１５は、支持部材１４を介して水平アーム１１Ａに支持される。
The holding
保持部材１５は、押え部材１５Ａと、押え部材１５Ａに対向する下板１５Ｂとを有する。押え部材１５Ａは、枠状の部材である。押え部材１５Ａは、Ｚ軸方向に移動可能である。下板１５Ｂは、押え部材１５Ａの下方に配置される。保持部材１５は、押え部材１５Ａと下板１５Ｂとで縫製対象物Ｓを挟むことによって縫製対象物Ｓを保持する。
The holding
押え部材１５Ａが＋Ｚ方向に移動すると、押え部材１５Ａと下板１５Ｂとが離れる。これにより、作業者は、押え部材１５Ａと下板１５Ｂとの間に縫製対象物Ｓを配置することができる。押え部材１５Ａと下板１５Ｂとの間に縫製対象物Ｓが配置された状態で押え部材１５Ａが−Ｚ方向に移動すると、縫製対象物Ｓは押え部材１５Ａと下板１５Ｂとで挟まれる。これにより、縫製対象物Ｓは保持部材１５によって保持される。また、押え部材１５Ａが＋Ｚ方向に移動することにより、保持部材１５による縫製対象物Ｓの保持が解除される。これにより、作業者は、押え部材１５Ａと下板１５Ｂとの間から縫製対象物Ｓを取り出すことができる。
When the
アクチュエータ１６は、針棒１２をＺ軸方向に移動させる動力を発生する。アクチュエータ１６は、パルスモータを含む。アクチュエータ１６は、水平アーム１１Ａに配置される。
The
水平アーム１１Ａの内部には、Ｙ軸方向に延在する水平アームシャフトが配置される。アクチュエータ１６は、水平アームシャフトの＋Ｙ側の端部に連結される。水平アームシャフトの−Ｙ側の端部は、ヘッド１１Ｄの内部に配置されている動力伝達機構を介して針棒１２に連結される。アクチュエータ１６の作動により、水平アームシャフトが回転する。アクチュエータ１６で発生した動力は、水平アームシャフト及び動力伝達機構を介して針棒１２に伝達される。これにより、針棒１２に保持されているミシン針３は、Ｚ軸方向に往復移動する。
Inside the
垂直アーム１１Ｃの内部には、Ｚ軸方向に延在するタイミングベルトが配置される。また、ベッド１１Ｂの内部には、Ｙ軸方向に延在するベッドシャフトが配置される。水平アームシャフト及びベッドシャフトのそれぞれにプーリが配置される。タイミングベルトは、水平アームシャフトに配置されているプーリ及びベッドシャフトに配置されているプーリのそれぞれに架けられる。水平アームシャフトとベッドシャフトとは、タイミングベルトを含む動力伝達機構を介して連結される。
Inside the vertical arm 11C, a timing belt extending in the Z-axis direction is arranged. Further, inside the
ベッド１１Ｂの内部には、釜が配置される。釜には、ボビンケースに入れられたボビンが収容される。アクチュエータ１６の作動により、水平アームシャフト及びベッドシャフトのそれぞれが回転する。アクチュエータ１６で発生した動力は、水平アームシャフト、タイミングベルト、及びベッドシャフトを介して釜に伝達される。これにより、釜は、針棒１２のＺ軸方向の往復移動と同期して回転する。
A kettle is arranged inside the
アクチュエータ１７は、保持部材１５をＸＹ平面内で移動させる動力を発生する。アクチュエータ１７は、パルスモータを含む。アクチュエータ１７は、保持部材１５をＸ軸方向に移動させる動力を発生するＸ軸モータ１７Ｘと、保持部材１５をＹ軸方向に移動させる動力を発生するＹ軸モータ１７Ｙとを含む。アクチュエータ１７は、ベッド１１Ｂの内部に配置される。
The
アクチュエータ１７で発生した動力は、支持部材１４を介して保持部材１５に伝達される。これにより、保持部材１５は、ミシン針３と針板１３との間においてＸ軸方向及びＹ軸方向のそれぞれに移動可能である。アクチュエータ１７の作動により、保持部材１５は、ミシン針３の直下の縫製位置Ｐｓを含むＸＹ平面内において縫製対象物Ｓを保持して移動可能である。
The power generated by the
アクチュエータ１８は、保持部材１５の押え部材１５ＡをＺ軸方向に移動させる動力を発生する。アクチュエータ１８は、パルスモータを含む。押え部材１５Ａが＋Ｚ方向に移動することにより、押え部材１５Ａと下板１５Ｂとが離れる。押え部材１５Ａが−Ｚ方向に移動することにより、押え部材１５Ａと下板１５Ｂとで縫製対象物Ｓが挟まれる。
The
図２に示すように、ミシン本体１０は、ミシン針３の周囲に配置される中押え部材１９を有する。中押え部材１９は、ミシン針３の周囲の縫製対象物Ｓを押える。中押え部材１９は、Ｚ軸方向に移動可能にヘッド１１Ｄに支持される。ヘッド１１Ｄの内部には、中押え部材１９をＺ軸方向に移動させる動力を発生する中押えモータが配置される。中押えモータの作動により、中押え部材１９は、針棒１２と同期してＺ軸方向に移動する。中押え部材１９により、ミシン針３の移動による縫製対象物Ｓの浮き上がりが抑制される。
As shown in FIG. 2, the sewing machine
操作装置２０は、作業者に操作される。操作装置２０が操作されることにより、ミシン１が作動する。本実施形態において、操作装置２０は、操作パネル２１と、操作ペダル２２とを含む。操作パネル２１は、テーブル２の上面に搭載される。操作ペダル２２は、テーブル２の下方に配置される。作業者は、足で操作ペダル２２を操作する。作業者により操作パネル２１及び操作ペダル２２の少なくとも一方が操作されることにより、ミシン１は作動する。
The operating
撮像装置３０は、保持部材１５に保持されている縫製対象物Ｓを撮像する。撮像装置３０は、光学系と、光学系を介して入射する光を受光するイメージセンサとを有する。イメージセンサは、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。
The
撮像装置３０は、針板１３及び保持部材１５よりも上方に配置される。撮像位置Ｐｆは、撮像装置３０の光学系の光軸ＡＸの位置を含む。撮像装置３０に撮像領域ＦＡが規定される。撮像領域ＦＡは、撮像装置３０の光学系の視野領域を含む。撮像領域ＦＡは、撮像位置Ｐｆを含む。撮像装置３０は、撮像領域ＦＡに配置された縫製対象物Ｓの少なくとも一部の画像を取得する。撮像装置３０は、押え部材１５Ａの内側に配置されている縫製対象物Ｓの少なくとも一部を上方から撮像する。
The
撮像装置３０の位置は、固定される。撮像装置３０とミシンフレーム１１との相対位置は、固定される。ＸＹ平面内における撮像装置３０の光学系の光軸ＡＸとミシン針３との相対位置は、固定される。ＸＹ平面内における撮像装置３０の光学系の光軸ＡＸとミシン針３との相対位置を示す相対位置データは、ミシン１の設計データから導出可能な既知データである。
The position of the
撮像装置３０により取得される画像の位置は、カメラ座標系において規定される。規定の変換式又は変換行列により、カメラ座標系において規定される画像の位置がミシン座標系において規定される画像の位置に変換される。
The position of the image acquired by the
なお、撮像装置３０の取付け誤差に起因して、撮像装置３０の実際の位置と設計データにおける位置とに差異が生じる場合、撮像装置３０の取付け後において、ＸＹ平面内におけるミシン針３の位置を計測し、計測されたミシン針３の位置を撮像装置３０に向かって既知データ分だけ移動し、ＸＹ平面内における撮像装置３０の実際の位置と移動後のミシン針３の位置との差分を算出することにより、その差分に基づいて、撮像装置３０の光学系の光軸ＡＸとミシン針３との正確な相対位置を算出することができる。
If there is a difference between the actual position of the
［縫製対象物］
図３は、本実施形態に係る縫製対象物Ｓの一部を示す断面図である。図４は、本実施形態に係る縫製対象物Ｓを示す平面図である。図３及び図４は、縫製処理前の縫製対象物Ｓを示す。本実施形態において、縫製対象物Ｓは、車両用シートに使用される表皮材である。
[Items to be sewn]
FIG. 3 is a cross-sectional view showing a part of the sewing object S according to the present embodiment. FIG. 4 is a plan view showing the sewing object S according to the present embodiment. 3 and 4 show the sewing object S before the sewing process. In the present embodiment, the sewing object S is a skin material used for a vehicle seat.
図３に示すように、縫製対象物Ｓは、表材４と、パッド材５と、裏材６とを有する。表材４に孔７が設けられる。
As shown in FIG. 3, the sewing object S has a
表材４の表面は、車両用シートに搭乗者が着座したときに搭乗者と接触する着座面である。表材４は、織布、不織布、及び皮革の少なくとも一つを含む。パッド材５は、弾力性を有する。パッド材５は、例えばウレタン樹脂を含む。裏材６は、織布、不織布、及び皮革の少なくとも一つを含む。
The surface of the
図４に示すように、孔７は、表材４に複数設けられる。孔７は、規定パターンＲＳで配置される。規定パターンＲＳは、複数の基準パターンＵＳを含む。複数の孔７により、基準パターンＵＳが形成される。本実施形態において、基準パターンＵＳは、２５個の孔７で構成される。
As shown in FIG. 4, a plurality of
図４に示すように、基準パターンＵＳは、間隔をあけて表材４に配置される。基準パターンＵＳは、Ｘ軸方向及びＹ軸方向のそれぞれに等間隔で配置される。Ｘ軸方向に隣り合う基準パターンＵＳの間に、Ｙ軸方向の位置が異なる基準パターンＵＳが配置される。隣り合う基準パターンＵＳの間に孔７は形成されない。
As shown in FIG. 4, the reference pattern US is arranged on the
以下の説明においては、表材４の表面において基準パターンＵＳが設けられる領域を適宜、テクスチャ領域ＴＡ、と称し、表材４の表面において基準パターンＵＳの間の基準パターンＵＳが設けられない領域を適宜、ステッチ領域ＳＡ、と称する。
In the following description, the region where the reference pattern US is provided on the surface of the
ステッチ領域ＳＡには、縫製対象物Ｓに形成されるステッチＣＨの目標ステッチラインＲＬが規定される。 The target stitch line RL of the stitch CH formed on the sewing object S is defined in the stitch region SA.
［縫製対象物の表面の変位］
図５は、本実施形態に係る縫製対象物Ｓの一部を示す断面図である。図５は、縫製処理後の縫製対象物Ｓを示す。縫製対象物Ｓは、厚みがあり弾力性を有する。厚みがあり弾力性を有する縫製対象物ＳにステッチＣＨが形成されることにより、図５に示すように、縫製対象物Ｓが縮む。
[Displacement of the surface of the object to be sewn]
FIG. 5 is a cross-sectional view showing a part of the sewing object S according to the present embodiment. FIG. 5 shows the sewing object S after the sewing process. The sewing object S is thick and has elasticity. As the stitch CH is formed on the sewn object S having thickness and elasticity, the sewn object S shrinks as shown in FIG.
図６及び図７のそれぞれは、本実施形態に係る縫製対象物Ｓの一部を示す平面図である。図６は、縫製処理前の縫製対象物Ｓを示す。図７は、縫製処理後の縫製対象物Ｓを示す。 Each of FIG. 6 and FIG. 7 is a plan view showing a part of the sewing object S according to the present embodiment. FIG. 6 shows the sewing object S before the sewing process. FIG. 7 shows the sewing object S after the sewing process.
図６に示すように、ステッチ領域ＳＡに目標ステッチラインＲＬが規定される。縫製対象物ＳにステッチＣＨが形成されると、縫製対象物Ｓが縮む。縫製対象物Ｓが縮むと、縫製対象物Ｓの表面が変位する。図７に示すように、縫製対象物ＳにステッチＣＨが形成されると、目標ステッチラインＲＬに対して縫製対象物Ｓの表面がＸＹ平面内において変位する。 As shown in FIG. 6, a target stitch line RL is defined in the stitch region SA. When the stitch CH is formed on the sewing object S, the sewing object S shrinks. When the sewing object S shrinks, the surface of the sewing object S is displaced. As shown in FIG. 7, when the stitch CH is formed on the sewing object S, the surface of the sewing object S is displaced with respect to the target stitch line RL in the XY plane.
目標ステッチラインＲＬに対して縫製対象物Ｓの表面がＸＹ平面内において変位した場合、目標ステッチラインＲＬに従って保持部材１５を移動させると、ステッチＣＨを縫製対象物Ｓの表面の所望位置に形成することが困難となる。
When the surface of the sewing object S is displaced with respect to the target stitch line RL in the XY plane, when the holding
本実施形態においては、ステッチＣＨの形成により縫製対象物Ｓが縮んで縫製対象物Ｓの表面が変位した場合、縫製対象物Ｓの表面の変位量に基づいて、目標ステッチラインＲＬの位置が補正される。保持部材１５は、補正された目標ステッチラインＲＬに基づいて移動される。
In the present embodiment, when the sewing object S shrinks due to the formation of the stitch CH and the surface of the sewing object S is displaced, the position of the target stitch line RL is corrected based on the displacement amount of the surface of the sewing object S. Will be done. The holding
［画像処理装置］
図８は、本実施形態に係るミシン１を示す機能ブロック図である。ミシン１は、画像処理装置４０と、制御装置５０と、記憶装置６０とを備える。
[Image processing device]
FIG. 8 is a functional block diagram showing the sewing machine 1 according to the present embodiment. The sewing machine 1 includes an
画像処理装置４０は、コンピュータシステムを含む。図８に示すように、画像処理装置４０は、撮像装置３０、制御装置５０、記憶装置６０、入力装置７０、及び出力装置８０のそれぞれと接続される。画像処理装置４０は、縫製対象物Ｓに係る画像を処理する。
The
入力装置７０は、作業者に操作されることにより入力データを生成する。入力装置７０として、コンピュータ用キーボード、マウス、及びタッチパネルが例示される。
The
出力装置８０は、出力データを出力する。出力装置８０として、表示装置及び印刷装置が例示される。表示装置は、出力データとして表示データを出力する。印刷装置は、出力データとして印刷データを出力する。表示装置として、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）のようなフラットパネルディスプレイが例示される。印刷装置として、インクジェットプリンタが例示される。
The
制御装置５０は、コンピュータシステムを含む。図８に示すように、制御装置５０は、ミシン針３をＺ軸方向に移動させるアクチュエータ１６、保持部材１５をＸＹ平面内において移動させるアクチュエータ１７、保持部材１５の押え部材１５ＡをＺ軸方向に移動させるアクチュエータ１８、操作装置２０、画像処理装置４０、及び記憶装置６０のそれぞれと接続される。制御装置５０は、画像処理装置４０の処理結果に基づいて、保持部材１５を移動させるアクチュエータ１７を制御する制御指令を出力する。
The
また、制御装置５０は、アクチュエータ１６の駆動量を検出する駆動量センサ３１、及びアクチュエータ１７の駆動量を検出する駆動量センサ３２と接続される。
Further, the
駆動量センサ３１は、アクチュエータ１６であるパルスモータの回転量を検出するエンコーダを含む。駆動量センサ３１の検出データは、制御装置５０に出力される。
The
駆動量センサ３２は、Ｘ軸モータ１７Ｘの回転量を検出するＸ軸センサ３２Ｘと、Ｙ軸モータ１７Ｙの回転量を検出するＹ軸センサ３２Ｙとを含む。Ｘ軸センサ３２Ｘは、Ｘ軸モータ１７Ｘの回転量を検出するエンコーダを含む。Ｙ軸センサ３２Ｙは、Ｙ軸モータ１７Ｙの回転量を検出するエンコーダを含む。駆動量センサ３２の検出データは、制御装置５０に出力される。
The drive amount sensor 32 includes an
駆動量センサ３２は、ＸＹ平面内における保持部材１５の位置を検出する位置センサとして機能する。アクチュエータ１７の駆動量と保持部材１５の移動量とは１対１で対応する。
The drive amount sensor 32 functions as a position sensor that detects the position of the holding
Ｘ軸センサ３２Ｘは、Ｘ軸モータ１７Ｘの回転量を検出することにより、ミシン座標系における原点からの保持部材１５のＸ軸方向の移動量を検出可能である。Ｙ軸センサ３２Ｙは、Ｙ軸モータ１７Ｙの回転量を検出することにより、ミシン座標系における原点からの保持部材１５のＹ軸方向の移動量を検出可能である。
The
制御装置５０は、駆動量センサ３１の検出データに基づいて、アクチュエータ１６を制御する。制御装置５０は、駆動量センサ３１の検出データに基づいて、例えばアクチュエータ１６の作動タイミングを決定する。
The
制御装置５０は、駆動量センサ３２の検出データに基づいて、アクチュエータ１７を制御する。制御装置５０は、駆動量センサ３２の検出データに基づいて、保持部材１５が所望位置に移動するようにアクチュエータ１７をフィードバック制御する。
The
制御装置５０は、駆動量センサ３２の検出データに基づいて、ＸＹ平面内における保持部材１５の位置を算出する。駆動量センサ３２の検出データに基づいて、ＸＹ平面内における原点からの保持部材１５の移動量が検出される。制御装置５０は、検出された保持部材１５の移動量に基づいて、ＸＹ平面内における保持部材１５の位置を算出する。
The
記憶装置６０は、ＲＯＭ（Read Only Memory）又はストレージのような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含む。図８に示すように、記憶装置６０は、画像処理装置４０及び制御装置５０のそれぞれと接続される。
The
記憶装置６０は、縫製データ記憶部６１と、設計データ記憶部６２と、プログラム記憶部６３とを有する。
The
縫製データ記憶部６１は、縫製処理において参照される縫製データを記憶する。
The sewing
縫製処理とは、縫製対象物ＳにステッチＣＨを形成する処理をいう。本実施形態において、縫製処理は、第１ステッチＣＨ１を形成するための第１縫製処理、及び第２ステッチＣＨ２を形成するための第２縫製処理を含む。同様に、縫製処理は、第３ステッチＣＨ３から第１４ステッチＣＨ１４のそれぞれを形成するための第３縫製処理から第１４縫製処理を含む。 The sewing process refers to a process of forming a stitch CH on the sewing object S. In the present embodiment, the sewing process includes a first sewing process for forming the first stitch CH1 and a second sewing process for forming the second stitch CH2. Similarly, the sewing process includes a third sewing process to a 14th sewing process for forming each of the third stitch CH3 to the 14th stitch CH14.
縫製データは、縫製対象物Ｓに形成されるステッチＣＨの目標ステッチラインＲＬ、及び保持部材１５の移動条件を含む。
The sewing data includes the target stitch line RL of the stitch CH formed on the sewing object S and the movement condition of the holding
目標ステッチラインＲＬは、縫製対象物Ｓに形成されるステッチＣＨの目標形状及びミシン座標系におけるステッチＣＨの目標位置を規定する。 The target stitch line RL defines the target shape of the stitch CH formed on the sewing object S and the target position of the stitch CH in the sewing machine coordinate system.
図４に示すように、目標ステッチラインＲＬは、第１ステッチＣＨ１を形成するための第１目標ステッチラインＲＬ１、及び第２ステッチＣＨ２を形成するための第２目標ステッチラインＲＬ２を含む。同様に、目標ステッチラインＲＬは、第３ステッチＣＨ３から第１４ステッチＣＨ１４のそれぞれを形成するための第３目標ステッチラインＲＬ３から第１４目標ステッチラインＲＬ１４を含む。 As shown in FIG. 4, the target stitch line RL includes a first target stitch line RL1 for forming the first stitch CH1 and a second target stitch line RL2 for forming the second stitch CH2. Similarly, the target stitch line RL includes a third target stitch line RL3 to a 14th target stitch line RL14 for forming each of the third stitch CH3 to the 14th stitch CH14.
保持部材１５の移動条件は、ミシン座標系において規定される保持部材１５の移動軌跡を含む。保持部材１５の移動軌跡は、ＸＹ平面内における保持部材１５の移動軌跡を含む。保持部材１５の移動条件は、目標ステッチラインＲＬに基づいて定められる。
The movement condition of the holding
第１縫製処理は、第１目標ステッチラインＲＬ１に基づいて縫製対象物Ｓに第１ステッチＣＨ１を形成する処理を含む。第１縫製処理は、縫製対象物Ｓが保持部材１５に保持された後に最初に実施される。
The first sewing process includes a process of forming the first stitch CH1 on the sewing object S based on the first target stitch line RL1. The first sewing process is performed first after the sewing object S is held by the holding
第２縫製処理は、第２目標ステッチラインＲＬ２に基づいて縫製対象物Ｓに第２ステッチＣＨ２を形成する処理を含む。第２縫製処理は、第１縫製処理の次に実施される。 The second sewing process includes a process of forming the second stitch CH2 on the sewing object S based on the second target stitch line RL2. The second sewing process is performed after the first sewing process.
同様に、第３縫製処理から第１４縫製処理のそれぞれは、第３目標ステッチラインＲＬ３から第１４目標ステッチラインＲＬ１４のそれぞれに基づいて縫製対象物Ｓに第３ステッチＣＨ３から第１４ステッチＣＨ１４のそれぞれを形成する処理を含む。第３縫製処理から第１４縫製処理は、順次実施される。 Similarly, each of the third sewing process to the 14th sewing process has the third stitch CH3 to the 14th stitch CH14 on the sewing object S based on each of the third target stitch line RL3 to the 14th target stitch line RL14. Includes processing to form. The third sewing process to the 14th sewing process are sequentially carried out.
設計データ記憶部６２は、縫製対象物Ｓの設計データを記憶する。縫製対象物Ｓの設計データは、縫製対象物Ｓの表面におけるテクスチャ領域ＴＡの位置及び範囲と、ステッチ領域ＳＡの位置及び範囲と、基準パターンＵＳの形状及び寸法とを含む。縫製対象物ＳがＣＡＤ（Computer Aided Design）により設計される場合、縫製対象物Ｓの設計データは、ＣＡＤデータを含む。
The design
縫製対象物Ｓの設計データは、初期状態における縫製対象物Ｓの設計データである。縫製対象物Ｓの初期状態とは、第１縫製処理前の状態をいう。すなわち、縫製対象物Ｓの初期状態とは、縫製対象物ＳにステッチＣＨが未だ形成されていない状態をいう。 The design data of the sewing object S is the design data of the sewing object S in the initial state. The initial state of the sewing object S means a state before the first sewing process. That is, the initial state of the sewing object S means a state in which the stitch CH is not yet formed on the sewing object S.
プログラム記憶部６３は、ミシン１を制御するためのコンピュータプログラムを記憶する。コンピュータプログラムは、制御装置５０に読み込まれる。制御装置５０は、プログラム記憶部６３に記憶されているコンピュータプログラムに従ってミシン１を制御する。
The
画像処理装置４０は、対象物画像取得部４１と、走査部４２と、領域分割部４３と、補正点設定部４４と、特徴点抽出部４５と、基準ベクトル算出部４６と、基準ベクトル記憶部４７と、補正量算出部４８と、領域分割画像出力部４９とを有する。
The
対象物画像取得部４１は、縫製対象物Ｓに係る画像を示す対象物画像ＳＭを取得する。撮像装置３０は、縫製対象物Ｓを撮像して、対象物画像ＳＭを画像処理装置４０に出力する。対象物画像取得部４１は、撮像装置３０から対象物画像ＳＭを取得する。
The object
図９は、本実施形態に係る撮像装置３０の動作を説明するための図である。撮像装置３０は、保持部材１５に保持されている縫製対象物Ｓを撮像する。図９に示すように、撮像装置３０の撮像領域ＦＡは、縫製対象物Ｓよりも小さい。縫製対象物Ｓと撮像装置３０の撮像領域ＦＡとの相対移動により、対象物画像ＳＭが複数取得される。縫製対象物Ｓを保持した保持部材１５は、撮像装置３０の撮像位置Ｐｆを含むＸＹ平面内において移動する。撮像装置３０は、撮像領域ＦＡに配置された縫製対象物Ｓの一部を撮像する。ＸＹ平面内における保持部材１５の移動と撮像領域ＦＡに配置された縫製対象物Ｓの一部の撮像処理とが繰り返されることにより、複数の対象物画像ＳＭが順次取得される。
FIG. 9 is a diagram for explaining the operation of the
図９に示すように、撮像装置３０の第１の撮像処理における撮像領域ＦＡと第２の撮像処理における撮像領域ＦＡの一部とが重複するように、縫製対象物Ｓと撮像装置３０とが相対移動しながら、複数の対象物画像ＳＭが順次取得される。複数の撮像処理のそれぞれにおいて取得された対象物画像ＳＭが繋ぎ合わせられることにより、縫製対象物Ｓ全体の対象物画像ＳＭが生成される。
As shown in FIG. 9, the sewing object S and the
撮像装置３０は、縫製処理前において、縫製対象物Ｓを撮像する。すなわち、撮像装置３０は、第１縫製処理前及び第２縫製処理前のそれぞれにおいて、縫製対象物Ｓを撮像する。同様に、撮像装置３０は、第３縫製処理前から第１４縫製処理前のそれぞれにおいて、縫製対象物Ｓを撮像する。対象物画像取得部４１は、第１縫製処理前から第１４縫製処理前のそれぞれにおいて撮像された縫製対象物Ｓの対象物画像ＳＭを撮像装置３０から取得する。
The
なお、第１縫製処理前において撮像装置３０により取得される対象物画像ＳＭと、設計データ記憶部６２に記憶されている初期状態における縫製対象物Ｓの設計データとが同一である場合、対象物画像取得部４１は、第１縫製処理前の対象物画像ＳＭとして、初期状態における縫製対象物Ｓの設計データ記憶部６２から取得してもよい。
When the object image SM acquired by the
走査部４２は、対象物画像ＳＭを規定のサーチ領域ＨＡで走査して、対象物画像ＳＭを構成する複数の画素のそれぞれの状態を判定する。
The
領域分割部４３は、対象物画像ＳＭに基づいて、縫製対象物Ｓの表面をテクスチャ領域ＴＡとステッチ領域ＳＡとに分割して、テクスチャ領域ＴＡとステッチ領域ＳＡとの境界線ＢＬを算出する。
Based on the object image SM, the
図１０は、本実施形態に係る境界線ＢＬの算出方法を説明するための図である。図１０に示すように、走査部４２は、対象物画像ＳＭを規定のサーチ領域ＨＡで走査して、対象物画像ＳＭを構成する複数の画素のそれぞれの状態を取得する。
FIG. 10 is a diagram for explaining a method of calculating the boundary line BL according to the present embodiment. As shown in FIG. 10, the
なお、対象物画像ＳＭを走査する前に、対象物画像ＳＭの前処理が実施されてもよい。前処理として、平滑化フィルタ処理及び最大値フィルタ処理が例示される。前処理が実施されることにより、画素の状態の判定が円滑に実施される。 Before scanning the object image SM, preprocessing of the object image SM may be performed. Examples of preprocessing include smoothing filtering and maximum value filtering. By performing the preprocessing, the determination of the pixel state is smoothly performed.
走査部４２は、複数の画素のそれぞれが規定色画素か否かを判定する。本実施形態において、規定色が黒色であり、規定色画素が黒画素であることとする。走査部４２は、複数の画素のそれぞれが黒画素か否かを判定する。以下の説明においては、黒画素か否かの判定対象の画素を適宜、注目画素ＡＰ、と称する。
The
図１０に示すように、走査部４２は、孔７の画像を構成する注目画素ＡＰｂは黒画素であると判定する。走査部４２は、表材４の画像を構成する注目画素ＡＰｔ及び注目画素ＡＰｓは黒画素でないと判定する。
As shown in FIG. 10, the
領域分割部４３は、走査部４２の判定結果に基づいて、縫製対象物Ｓの表面をテクスチャ領域ＴＡとステッチ領域ＳＡとに分割する。
The
領域分割部４３は、黒画素であると判定された注目画素ＡＰをテクスチャ領域ＴＡに分類する。図１０に示す例において、領域分割部４３は、黒画素であると判定された注目画素ＡＰｂをテクスチャ領域ＴＡに分類する。
The
領域分割部４３は、黒画素でないと判定された注目画素ＡＰとその注目画素ＡＰの周囲の黒画素との相対位置が規定条件を満足するか否かを判定する。規定条件は、注目画素ＡＰと黒画素との相対距離が予め定められた閾値以下である条件を含む。閾値は、テクスチャ領域ＴＡにおいて隣り合う孔７の間隔と、ステッチ領域ＳＡの寸法（幅）とに基づいて定められる。
The
図１０に示す例において、注目画素ＡＰｔは、表材４の画像を構成するものの、テクスチャ領域ＴＡの画像を構成する。注目画素ＡＰｓは、ステッチ領域ＳＡの画像を構成する。テクスチャ領域ＴＡの画像を構成する注目画素ＡＰｔとその注目画素ＡＰｔの周囲の孔７の画像を構成する黒画素との距離は、短い。一方、ステッチ領域ＳＡの画像を構成する注目画素ＡＰｓとその注目画素ＡＰｓの周囲の孔７の画像を構成する黒画素との距離は、長い。注目画素ＡＰｔとその注目画素ＡＰｔの周囲の黒画素との距離は、閾値以下である。注目画素ＡＰｓとその注目画素ＡＰｓの周囲の黒画素との距離は、閾値よりも長い。
In the example shown in FIG. 10, the pixel of interest Apt constitutes the image of the
領域分割部４３は、黒画素でないと判定された注目画素ＡＰｔと注目画素ＡＰｔの周囲の黒画素との距離が閾値以下であると判定した場合、注目画素ＡＰｔをテクスチャ領域ＴＡに分類する。領域分割部４３は、黒画素でないと判定された注目画素ＡＰｓと注目画素ＡＰｓの周囲の黒画素との距離が閾値よりも長いと判定した場合、注目画素ＡＰｓをステッチ領域ＳＡに分類する。
When the
領域分割部４３は、対象物画像ＳＭの全ての画素をテクスチャ領域ＴＡとステッチ領域ＳＡとに分類する。領域分割部４３は、対象物画像ＳＭの複数の画素をテクスチャ領域ＴＡとステッチ領域ＳＡとに分類することにより、テクスチャ領域ＴＡとステッチ領域ＳＡとの境界線ＢＬを算出することができる。
The
なお、注目画素ＡＰの分類が終了した後、対象物画像ＳＭの後処理が実施されてもよい。対象物画像ＳＭの後処理が実施された後に、境界線ＢＬが算出されてもよい。後処理として、オープニング処理、クロージング処理、ノイズ除去処理、及び穴埋め処理が例示される。後処理が実施された後、ラベリング処理、及び輪郭トレース処理が実施されることにより、テクスチャ領域ＴＡとステッチ領域ＳＡとの境界を示す複数の基準点が算出される。領域分割部４３は、複数の基準点から最小二乗曲線を算出する。領域分割部４３は、算出した最小二乗曲線を境界線ＢＬとしてもよい。
After the classification of the pixel of interest AP is completed, the post-processing of the object image SM may be performed. The boundary line BL may be calculated after the post-processing of the object image SM is performed. Examples of the post-processing include an opening process, a closing process, a noise removal process, and a fill-in-the-blank process. After the post-processing is performed, the labeling process and the contour tracing process are performed to calculate a plurality of reference points indicating the boundary between the texture region TA and the stitch region SA. The
図１１は、本実施形態に係る境界線ＢＬを説明するための図である。図１１に示すように、境界線ＢＬは、テクスチャ領域ＴＡのエッジを通る線である。テクスチャ領域ＴＡが孔７を含む場合、境界線ＢＬは、テクスチャ領域ＴＡにおいて最も外側に配置されている孔７の外側のエッジを結ぶように生成される。
FIG. 11 is a diagram for explaining the boundary line BL according to the present embodiment. As shown in FIG. 11, the boundary line BL is a line passing through the edge of the texture region TA. When the texture region TA includes the
補正点設定部４４は、ステッチ領域ＳＡに規定された目標ステッチラインＲＬを補正するための補正点ＣＰを設定する。第１縫製処理前に、第１目標ステッチラインＲＬ１から第１４目標ステッチラインＲＬ１４のそれぞれを補正するための補正点ＣＰが設定される。
The correction
図１２は、本実施形態に係る補正点ＣＰを説明するための図である。図１２に示すように、縫製対象物Ｓに補正点ＣＰが設定される。補正点ＣＰは、目標ステッチラインＲＬの補正に使用される。補正点ＣＰは、作業者により任意の位置に設定される。作業者は、入力装置７０を操作して、縫製対象物Ｓの任意の位置に補正点ＣＰを設定することができる。補正点設定部４４は、入力装置７０の操作により生成された入力データに基づいて、補正点ＣＰを設定する。図１２に示す例では、補正点ＣＰは、ステッチ領域ＳＡにおいて、補正対象の目標ステッチラインＲＬに重複するように設定される。なお、補正点ＣＰは、補正対象の目標ステッチラインＲＬの近傍に設定されていればよく、目標ステッチラインＲＬから外れた位置に設定されてもよいし、テクスチャ領域ＴＡに設定されてもよい。補正点ＣＰの位置は、ミシン座標系において規定される。
FIG. 12 is a diagram for explaining the correction point CP according to the present embodiment. As shown in FIG. 12, a correction point CP is set on the sewing object S. The correction point CP is used to correct the target stitch line RL. The correction point CP is set at an arbitrary position by the operator. The operator can operate the
ステッチＣＨが形成されると、補正点ＣＰ及び目標ステッチラインＲＬに対して縫製対象物Ｓの表面が変位する。 When the stitch CH is formed, the surface of the sewing object S is displaced with respect to the correction point CP and the target stitch line RL.
特徴点抽出部４５は、領域分割部４３により算出された境界線ＢＬに基づいて、テクスチャ領域ＴＡの特徴点ＦＰを抽出する。特徴点ＦＰとは、境界線ＢＬにおいて特徴的な形状を有する部分をいう。縫製対象物Ｓの表面が変位しても、特徴点ＦＰの特徴的な形状は実質的に維持される。特徴点ＦＰとして、境界線ＢＬの角点、極大点、極小点、及び変曲点が例示される。
The feature
図１３は、本実施形態に係る特徴点ＦＰの算出方法の一例を説明するための図である。図１３に示すように、特徴点抽出部４５は、例えば基準線ＸＬを規定し、基準線ＸＬと境界線ＢＬの複数の境界点ＢＰのそれぞれとの距離を算出する。距離は、基準線ＸＬと直交する方向の距離である。特徴点抽出部４５は、基準線ＸＬからの距離が最も長い境界点ＢＰを特徴点ＦＰと決定することができる。
FIG. 13 is a diagram for explaining an example of a method of calculating the feature point FP according to the present embodiment. As shown in FIG. 13, the feature
なお、角点、極大点、極小点、及び変曲点のような明確な特徴点ＦＰが境界線ＢＬに存在しない場合がある。特徴点ＦＰは基準線ＸＬを用いずに算出することができる。 In some cases, clear feature points FP such as corner points, maximum points, minimum points, and inflection points do not exist at the boundary line BL. The feature point FP can be calculated without using the reference line XL.
図１４は、本実施形態に係る特徴点ＦＰの算出方法の一例を説明するための図である。図１４に示すように、角点、極大点、極小点、及び変曲点のような明確な特徴点ＦＰが境界線ＢＬに存在しない場合、特徴点抽出部４５は、複数の境界線ＢＬの相対距離に基づいて、特徴点ＦＰを抽出する。図１４に示すように、一対の境界線ＢＬが対向するように規定された場合、特徴点抽出部４５は、一方の境界線ＢＬの境界点ＢＰと、他方の境界線ＢＬの境界点ＢＰとの距離を算出する。図１４に示す例において、Ｘ軸方向における一方の境界線ＢＬの境界点ＢＰの位置と他方の境界線ＢＬの境界点ＢＰの位置とは同一である。特徴点抽出部４５は、境界線ＢＬの複数の境界点ＢＰのそれぞれについて距離を算出する。特徴点抽出部４５は、距離が最も長い境界線ＢＬの境界点ＢＰを特徴点ＦＰと決定することができる。
FIG. 14 is a diagram for explaining an example of a method of calculating the feature point FP according to the present embodiment. As shown in FIG. 14, when a clear feature point FP such as a corner point, a maximum point, a minimum point, and an inflection point does not exist in the boundary line BL, the feature
図９を参照して説明したように、複数の撮像処理のそれぞれにおける撮像領域ＦＡの一部を重複させながら複数の対象物画像ＳＭが取得される。複数の対象物画像ＳＭが繋ぎ合わせられることにより、縫製対象物Ｓ全体の対象物画像ＳＭが生成される。そのため、明確な特徴点ＦＰが無くても、特徴点抽出部４５は、繋ぎ合わせられた複数の対象物画像ＳＭから、図１４に示したような対向する一対の境界線ＢＬを探索することができる。
As described with reference to FIG. 9, a plurality of object image SMs are acquired while overlapping a part of the imaging region FA in each of the plurality of imaging processes. By joining the plurality of object image SMs, the object image SM of the entire sewing object S is generated. Therefore, even if there is no clear feature point FP, the feature
なお、撮像装置３０は、撮像領域ＦＡを拡大して、縫製対象物Ｓ全体の対象物画像ＳＭを一括して取得してもよい。縫製対象物Ｓ全体の対象物画像ＳＭを一括して取得された場合においても、明確な特徴点ＦＰが無くても、図１４に示したような対向する一対の境界線ＢＬを探索することができる。
The
基準ベクトル算出部４６は、補正点設定部４４により設定された補正点ＣＰと境界線ＢＬに設定された境界点ＢＰとの相対位置を示す基準ベクトルＲＶを算出する。
The reference
図１５及び図１６のそれぞれは、本実施形態に係る基準ベクトルＲＶを説明するための図である。図１６は、図１５の一部を拡大した図である。縫製処理前の縫製対象物Ｓに補正点ＣＰが設定される。図１５及び図１６において、補正点ＣＰは、第１縫製処理前の初期状態の縫製対象物Ｓに設定される。境界点ＢＰは、境界線ＢＬに設定される。境界点ＢＰは、複数の孔７のそれぞれの近傍に設定される。境界点ＢＰは、補正点ＣＰの近傍に設定される。基準ベクトルＲＶは、第１縫製処理前の縫製対象物Ｓにおける、境界点ＢＰに対する補正点ＣＰの方位、及び境界点ＢＰと補正点ＣＰとの距離を示す。基準ベクトルＲＶは、ミシン座標系において規定される。
Each of FIGS. 15 and 16 is a diagram for explaining the reference vector RV according to the present embodiment. FIG. 16 is an enlarged view of a part of FIG. A correction point CP is set on the sewing object S before the sewing process. In FIGS. 15 and 16, the correction point CP is set to the sewing object S in the initial state before the first sewing process. The boundary point BP is set to the boundary line BL. The boundary point BP is set in the vicinity of each of the plurality of
境界点ＢＰは、境界線ＢＬに複数設定される。境界点ＢＰは、特徴点ＦＰを含む。図１５及び図１６に示す例において、特徴点ＦＰは、境界線ＢＬの角点（角部）である。図１５に示すように、基準ベクトル算出部４６は、補正点ＣＰと特徴点ＦＰを含む複数の境界点ＢＰのそれぞれとの基準ベクトルＲＶを算出する。基準ベクトルＲＶは、複数算出される。境界点ＢＰの数と基準ベクトルＲＶの数とは等しい。
A plurality of boundary points BP are set on the boundary line BL. The boundary point BP includes the feature point FP. In the examples shown in FIGS. 15 and 16, the feature point FP is a corner point (corner portion) of the boundary line BL. As shown in FIG. 15, the reference
基準ベクトル記憶部４７は、基準ベクトル算出部４６により算出された基準ベクトルＲＶによって示される境界点ＢＰと補正点ＣＰとの相対位置データを記憶する。
The reference
補正量算出部４８は、第１縫製処理後の縫製対象物Ｓの境界点ＢＰと基準ベクトル記憶部４７に記憶されている基準ベクトルＲＶとに基づいて、第１縫製処理後の補正点ＣＰを算出する。縫製処理により、補正点ＣＰに対して縫製対象物Ｓの表面が変位する可能性がある。そのため、縫製対象物Ｓの表面の変位量に基づいて、第１縫製処理後の補正点ＣＰの位置が補正される。補正量算出部４８は、第１縫製処理後の縫製対象物Ｓの境界点ＢＰと基準ベクトルＲＶとに基づいて、第１縫製処理後の補正点ＣＰを算出する。
The correction amount calculation unit 48 sets the correction point CP after the first sewing process based on the boundary point BP of the sewing object S after the first sewing process and the reference vector RV stored in the reference
図１７は、本実施形態に係る補正点ＣＰの算出方法の一例を説明するための図である。第１縫製処理後の縫製対象物Ｓの対象物画像ＳＭが撮像装置３０により取得される。第１縫製処理後の対象物画像ＳＭに基づいて境界線ＢＬが算出され、境界線ＢＬに複数の境界点ＢＰが設定される。境界点ＢＰは、孔７の近傍に設定される。第１縫製処理後の複数の境界点ＢＰと第１縫製処理前の複数の境界点ＢＰとは、１対１で対応する。
FIG. 17 is a diagram for explaining an example of a method of calculating the correction point CP according to the present embodiment. The object image SM of the sewing object S after the first sewing process is acquired by the
補正量算出部４８は、第１縫製処理後の縫製対象物Ｓの複数の境界点ＢＰと第１縫製処理前に算出された複数の基準ベクトルＲＶとに基づいて、補正点ＣＰに係る複数の候補点ＫＰを算出する。補正量算出部４８は、複数の候補点ＫＰに基づいて、第１縫製処理後の補正点ＣＰを算出する。 The correction amount calculation unit 48 has a plurality of correction points CP related to the correction point CP based on the plurality of boundary points BP of the sewing object S after the first sewing process and the plurality of reference vectors RV calculated before the first sewing process. Calculate the candidate point KP. The correction amount calculation unit 48 calculates the correction point CP after the first sewing process based on the plurality of candidate points KP.
すなわち、補正量算出部４８は、第１縫製処理後の境界点ＢＰに、第１縫製処理前に算出された基準ベクトルＲＶを付加する。縫製処理後の境界点ＢＰに基準ベクトルＲＶを付加するとは、境界点ＢＰから基準ベクトルＲＶで示される方位に基準ベクトルＲＶで示される距離だけ離れた点を示す候補点ＫＰを算出することをいう。 That is, the correction amount calculation unit 48 adds the reference vector RV calculated before the first sewing process to the boundary point BP after the first sewing process. Adding the reference vector RV to the boundary point BP after the sewing process means calculating a candidate point KP indicating a point separated from the boundary point BP by the distance indicated by the reference vector RV in the direction indicated by the reference vector RV. ..
補正量算出部４８は、第１縫製処理前の境界点ＢＰについて算出された基準ベクトルＲＶを、第１縫製処理後の境界点ＢＰに付加する。例えば、第１縫製処理前の第１境界点ＢＰ１について第１基準ベクトルＲＶ１が算出された場合、補正量算出部４８は、第１縫製処理前の第１境界点ＢＰ１に対応する第１縫製処理後の第１境界点ＢＰ１に第１基準ベクトルＲＶ１を付加する。第１縫製処理前の第２境界点ＢＰ２について第２基準ベクトルＲＶ２が算出された場合、補正量算出部４８は、第１縫製処理前の第２境界点ＢＰ２に対応する第１縫製処理後の第２境界点ＢＰ２に第２基準ベクトルＲＶ２を付加する。同様に、第１縫製処理前の規定の境界点ＢＰについて規定の基準ベクトルＲＶが算出された場合、補正量算出部４８は、第１縫製処理前の規定の境界点ＢＰに対応する第１縫製処理後の境界点ＢＰに規定の基準ベクトルＲＶを付加する。 The correction amount calculation unit 48 adds the reference vector RV calculated for the boundary point BP before the first sewing process to the boundary point BP after the first sewing process. For example, when the first reference vector RV1 is calculated for the first boundary point BP1 before the first sewing process, the correction amount calculation unit 48 performs the first sewing process corresponding to the first boundary point BP1 before the first sewing process. The first reference vector RV1 is added to the first boundary point BP1 later. When the second reference vector RV2 is calculated for the second boundary point BP2 before the first sewing process, the correction amount calculation unit 48 after the first sewing process corresponding to the second boundary point BP2 before the first sewing process. The second reference vector RV2 is added to the second boundary point BP2. Similarly, when the specified reference vector RV is calculated for the specified boundary point BP before the first sewing process, the correction amount calculation unit 48 performs the first sewing corresponding to the specified boundary point BP before the first sewing process. A specified reference vector RV is added to the boundary point BP after processing.
補正量算出部４８は、１つの境界線ＢＬに設定された複数の境界点ＢＰのそれぞれに付加された基準ベクトルＲＶの先端部の交点を候補点ＫＰとする。図１７に示す例では、テクスチャ領域ＴＡが４つあり、境界線ＢＬは４つある。１つの境界線ＢＬに境界点ＢＰは３つ設定される。４つの候補点ＫＰが算出される。 The correction amount calculation unit 48 uses the intersection of the tip ends of the reference vector RV added to each of the plurality of boundary points BP set on one boundary line BL as the candidate point KP. In the example shown in FIG. 17, there are four texture regions TA and four boundary lines BL. Three boundary points BP are set in one boundary line BL. Four candidate points KP are calculated.
補正量算出部４８は、ステッチ領域ＳＡのうち４つの候補点ＫＰで囲まれた一部の領域に補正点ＣＰを設定する。本実施形態において、補正量算出部４８は、ＸＹ平面内における４つの候補点ＫＰの重心点（中心点）を算出し、重心点を補正点ＣＰに設定する。 The correction amount calculation unit 48 sets the correction point CP in a part of the stitch area SA surrounded by the four candidate points KP. In the present embodiment, the correction amount calculation unit 48 calculates the center of gravity points (center points) of the four candidate points KP in the XY plane, and sets the center of gravity points as the correction point CP.
なお、複数の候補点ＫＰの少なくとも一つに重みが設けられてもよい。例えば、補正点ＣＰに最も近い特徴点ＦＰの基準ベクトルＲＶに基づいて算出された候補点ＫＰに重みが付加されてもよい。 A weight may be provided to at least one of the plurality of candidate points KP. For example, a weight may be added to the candidate point KP calculated based on the reference vector RV of the feature point FP closest to the correction point CP.
なお、候補点ＫＰの算出において、特徴点ＦＰのみが考慮され、特徴点ＦＰではない境界点ＢＰは考慮されなくてもよい。すなわち、特徴点ＦＰに付加された基準ベクトルＲＶのみに基づいて、候補点ＫＰが算出されてもよい。 In the calculation of the candidate point KP, only the feature point FP is considered, and the boundary point BP that is not the feature point FP may not be considered. That is, the candidate point KP may be calculated based only on the reference vector RV added to the feature point FP.
なお、ここでは、第１縫製処理前の初期状態において基準ベクトルＲＶが算出され、第１縫製処理後の境界点ＢＰと基準ベクトルＲＶとに基づいて、候補点ＫＰが算出され、候補点ＫＰに基づいて補正点ＣＰが算出されることとした。第２縫製処理前において基準ベクトルＲＶが算出され、第２縫製処理後の境界点ＢＰと基準ベクトルＲＶとに基づいて、候補点ＫＰが算出され、候補点ＫＰに基づいて第２縫製処理後の補正点ＣＰが算出されてもよい。第３縫製処理から第１４縫製処理のそれぞれの間においても、同様の処理が実施される。 Here, the reference vector RV is calculated in the initial state before the first sewing process, and the candidate point KP is calculated based on the boundary point BP and the reference vector RV after the first sewing process, and becomes the candidate point KP. It was decided that the correction point CP would be calculated based on this. The reference vector RV is calculated before the second sewing process, the candidate point KP is calculated based on the boundary point BP and the reference vector RV after the second sewing process, and the candidate point KP is calculated based on the candidate point KP after the second sewing process. The correction point CP may be calculated. The same process is carried out between each of the third sewing process to the 14th sewing process.
なお、縫製処理後の補正点ＣＰの位置は、基準ベクトルＲＶを用いずに算出されてもよい。 The position of the correction point CP after the sewing process may be calculated without using the reference vector RV.
図１８は、本実施形態に係る補正点ＣＰの算出方法の一例を説明するための図である。図１８（Ａ）は、撮像領域ＦＡに配置された縫製処理前の縫製対象物Ｓの一部を示す図である。図１８（Ｂ）は、撮像領域ＦＡに配置された縫製処理後の縫製対象物Ｓの一部を示す図である。図１８（Ａ）に示すように、一対の境界線ＢＬが対向する。境界線ＢＬは、Ｙ軸方向に延伸する。境界線ＢＬに明確な特徴点ＦＰは存在しない。図１８（Ｂ）に示すように、縫製処理により、境界線ＢＬが−Ｘ方向に移動した場合、補正点ＣＰは、境界線ＢＬの移動量と同様の移動量で−Ｘ方向に移動したと推定することができる。このように、境界線ＢＬに明確な特徴点ＦＰが存在しない場合、境界線ＢＬの移動量に基づいて、縫製処理後の補正点ＣＰの位置が算出されてもよい。境界線ＢＬが＋Ｘ方向に移動した場合も同様である。また、一対の境界線ＢＬがＹ軸方向に延伸し、＋Ｙ方向又は−Ｙ方向に移動した場合も同様である。 FIG. 18 is a diagram for explaining an example of a method of calculating the correction point CP according to the present embodiment. FIG. 18A is a diagram showing a part of the sewing object S before the sewing process arranged in the imaging region FA. FIG. 18B is a diagram showing a part of the sewing object S after the sewing process, which is arranged in the imaging region FA. As shown in FIG. 18A, a pair of boundary lines BL face each other. The boundary line BL extends in the Y-axis direction. There is no clear feature point FP at the boundary line BL. As shown in FIG. 18B, when the boundary line BL moves in the −X direction due to the sewing process, the correction point CP moves in the −X direction with the same movement amount as the movement amount of the boundary line BL. Can be estimated. As described above, when there is no clear feature point FP on the boundary line BL, the position of the correction point CP after the sewing process may be calculated based on the movement amount of the boundary line BL. The same applies when the boundary line BL moves in the + X direction. The same applies when the pair of boundary lines BL extend in the Y-axis direction and move in the + Y direction or the −Y direction.
図１９は、本実施形態に係る補正点ＣＰの算出方法の一例を説明するための図である。図１９（Ａ）は、撮像領域ＦＡに配置された縫製処理前の縫製対象物Ｓの一部を示す図である。図１９（Ｂ）は、撮像領域ＦＡに配置された縫製処理後の縫製対象物Ｓの一部を示す図である。図１９（Ａ）に示すように、一対の境界線ＢＬが対向する。境界線ＢＬは、Ｘ軸方向及びＹ軸方向のそれぞれと傾斜する方向に延伸する。境界線ＢＬに明確な特徴点ＦＰは存在しない。図１９（Ｂ）に示すように、縫製処理により、境界線ＢＬが移動した場合において、境界線ＢＬはＸ軸方向及びＹ軸方向のそれぞれと傾斜する方向に延伸しているので、撮像領域ＦＡにおいて縫製対象物ＳがＸ軸方向に移動したのかＹ軸方向に移動したのかを判定することが困難である。このような場合、撮像装置３０は、撮像領域ＦＡを拡大して、例えば図１４を参照して説明したように、特徴点ＦＰを算出可能な一対の境界線ＢＬを探索してもよい。また、撮像領域ＦＡにおいて縫製対象物ＳがＸ軸方向に移動したのかＹ軸方向に移動したのかを判定することが困難である場合、出力装置８０が警告を出力してもよい。
FIG. 19 is a diagram for explaining an example of a method of calculating the correction point CP according to the present embodiment. FIG. 19A is a diagram showing a part of the sewing object S before the sewing process arranged in the imaging region FA. FIG. 19B is a diagram showing a part of the sewing object S after the sewing process, which is arranged in the imaging region FA. As shown in FIG. 19A, a pair of boundary lines BL face each other. The boundary line BL extends in a direction inclined with each of the X-axis direction and the Y-axis direction. There is no clear feature point FP at the boundary line BL. As shown in FIG. 19B, when the boundary line BL is moved by the sewing process, the boundary line BL is extended in the direction in which it is inclined with each of the X-axis direction and the Y-axis direction. It is difficult to determine whether the sewing object S has moved in the X-axis direction or the Y-axis direction. In such a case, the
領域分割画像出力部４９は、領域分割画像ＤＭを出力装置８０に出力する。本実施形態において、領域分割部４３は、縫製対象物Ｓの表面をテクスチャ領域ＴＡとステッチ領域ＳＡとに分割した後、テクスチャ領域ＴＡとステッチ領域ＳＡとを含む画像を示す領域分割画像ＤＭを生成する。領域分割画像出力部４９は、領域分割部４３により分割されたテクスチャ領域ＴＡ及びステッチ領域ＳＡを含む領域分割画像ＤＭを出力装置８０に出力する。
The area-divided
［縫製方法］
図２０は、本実施形態に係る縫製方法を示すフローチャートである。本実施形態において、縫製方法は、アライメント処理Ｓ０と、対象物画像取得処理Ｓ１と、領域分割処理Ｓ２と、補正点算出処理Ｓ３と、目標ステッチライン補正処理Ｓ４と、縫製処理Ｓ５と、終了判定処理Ｓ６とを含む。
[Sewing method]
FIG. 20 is a flowchart showing a sewing method according to the present embodiment. In the present embodiment, the sewing method includes alignment processing S0, object image acquisition processing S1, area division processing S2, correction point calculation processing S3, target stitch line correction processing S4, sewing processing S5, and end determination. Includes process S6.
アライメント処理Ｓ０は、保持部材１５に保持された縫製対象物Ｓのテクスチャ領域ＴＡ及びステッチ領域ＳＡをミシン座標系に関連付ける処理である。縫製処理前の縫製対象物Ｓが保持部材１５に保持された後、撮像装置３０は、縫製対象物Ｓを撮像する。撮像装置３０は、例えば縫製対象物Ｓの複数の特徴点ＦＰを撮像する。なお、縫製対象物Ｓにアライメントマークが設けられている場合、撮像装置３０は、アライメントマークを撮像してもよい。撮像装置３０で撮像された縫製対象物Ｓの画像の位置は、カメラ座標系において規定される。規定の変換式又は変換行列により、カメラ座標系において規定される画像の位置がミシン座標系において規定される画像の位置に変換される。これにより、縫製対象物Ｓのテクスチャ領域ＴＡの位置及びステッチ領域ＳＡの位置がミシン座標系において規定される。
The alignment process S0 is a process of associating the texture region TA and the stitch region SA of the sewing object S held by the holding
対象物画像取得処理Ｓ１は、対象物画像ＳＭを取得する処理である。第１縫製処理前においては、対象物画像取得部４１は、撮像装置３０から初期状態の対象物画像ＳＭを取得してもよいし、設計データ記憶部６２から初期状態の対象物画像ＳＭを取得してもよい。
The object image acquisition process S1 is a process for acquiring the object image SM. Before the first sewing process, the object
第１縫製処理後においては、対象物画像ＳＭは、撮像装置３０により取得される。撮像装置３０は、第１縫製処理後であって第２縫製処理前の対象物画像ＳＭ、及び第２縫製処理後であって第３縫製処理前の対象物画像ＳＭを取得する。同様に、撮像装置３０は、第３縫製処理から第１４縫製処理のそれぞれの間において、対象物画像ＳＭを取得する。
After the first sewing process, the object image SM is acquired by the
領域分割処理Ｓ２は、対象物画像ＳＭに基づいて、縫製対象物Ｓの表面をテクスチャ領域ＴＡとステッチ領域ＳＡとに分割して、テクスチャ領域ＴＡとステッチ領域ＳＡとの境界線ＢＬを算出する処理である。領域分割処理Ｓ２は、第１縫製処理前、及び第１縫製処理後であって第２縫製処理前のそれぞれに実施される。同様に、領域分割処理Ｓ２は、第２縫製処理から第１４縫製処理のそれぞれの間において実施される。 The area division process S2 divides the surface of the sewing object S into a texture area TA and a stitch area SA based on the object image SM, and calculates a boundary line BL between the texture area TA and the stitch area SA. Is. The area division process S2 is performed before the first sewing process and after the first sewing process and before the second sewing process, respectively. Similarly, the area division process S2 is performed between each of the second sewing process and the 14th sewing process.
図２１は、本実施形態に係る領域分割処理を示すフローチャートである。走査部４２は、対象物画像ＳＭを規定のサーチ領域ＨＡで走査する（ステップＳ２１）。
FIG. 21 is a flowchart showing the area division process according to the present embodiment. The
走査部４２は、対象物画像ＳＭの注目画素ＡＰが黒画素か否かを判定する（ステップＳ２２）。
The
ステップＳ２２において、注目画素ＡＰが黒画素であると判定された場合（ステップＳ２２：Ｙｅｓ）、領域分割部４３は、黒画素であると判定された注目画素ＡＰをテクスチャ領域ＴＡに分類する（ステップＳ２３）。
When it is determined in step S22 that the attention pixel AP is a black pixel (step S22: Yes), the
ステップＳ２２において、注目画素ＡＰが黒画素でないと判定された場合（ステップＳ２２：Ｙｅｓ）、領域分割部４３は、黒画素でないと判定された注目画素ＡＰとその注目画素ＡＰの周囲の黒画素との相対位置が規定条件を満足するか否かを判定する（ステップＳ２４）。
When it is determined in step S22 that the attention pixel AP is not a black pixel (step S22: Yes), the
ステップＳ２４において、注目画素ＡＰが規定条件を満足すると判定された場合（ステップＳ２４：Ｙｅｓ）、領域分割部４３は、規定条件を満足すると判定された注目画素ＡＰをテクスチャ領域ＴＡに分類する（ステップＳ２３）。
When it is determined in step S24 that the attention pixel AP satisfies the specified condition (step S24: Yes), the
ステップＳ２４において、注目画素ＡＰが規定条件を満足しないと判定された場合（ステップＳ２４：Ｎｏ）、領域分割部４３は、規定条件を満足しないと判定された注目画素ＡＰをステッチ領域ＳＡに分類する（ステップＳ２５）。
When it is determined in step S24 that the attention pixel AP does not satisfy the specified condition (step S24: No), the
領域分割部４３は、テクスチャ領域ＴＡに分類された画素とステッチ領域ＳＡに分類された画素とに基づいて、テクスチャ領域ＴＡとステッチ領域ＳＡとの境界線ＢＬを算出する（ステップＳ２６）。
The
補正点算出処理Ｓ３は、縫製処理前の縫製対象物Ｓに設定された補正点ＣＰと境界線ＢＬに設定された境界点ＢＰとの相対位置を示す基準ベクトルＲＶを算出し、縫製処理後の縫製対象物Ｓの境界点ＢＰと基準ベクトルＲＶとに基づいて、縫製処理後の補正点ＣＰを算出する処理である。第１縫製処理前の初期状態においては、補正点ＣＰは、作業者により設定される。作業者は、補正点ＣＰを設定するために、入力装置７０を操作する。補正点設定部４４は、入力装置７０の入力データに基づいて、初期状態における補正点ＣＰを設定する。補正点算出処理Ｓ３は、第１縫製処理前には実施されない。補正点算出処理Ｓ３は、第１縫製処理後、及び第２縫製処理後であって第３縫製処理前のそれぞれに実施される。同様に、補正点算出処理Ｓ３は、第４縫製処理から第１４縫製処理のそれぞれの間において実施される。
The correction point calculation process S3 calculates a reference vector RV indicating the relative position between the correction point CP set in the sewing object S before the sewing process and the boundary point BP set in the boundary line BL, and after the sewing process, the correction point calculation process S3 calculates the reference vector RV. This is a process of calculating the correction point CP after the sewing process based on the boundary point BP of the sewing object S and the reference vector RV. In the initial state before the first sewing process, the correction point CP is set by the operator. The operator operates the
図２２は、本実施形態に係る補正点算出処理Ｓ３を示すフローチャートである。領域分割部４３は、境界線ＢＬに境界点ＢＰを設定する。領域分割部４３は、補正点ＣＰの周囲に境界点ＢＰを設定する。換言すれば、領域分割部４３は、補正点ＣＰの近傍に境界点ＢＰを設定する（ステップＳ３１）。
FIG. 22 is a flowchart showing the correction point calculation process S3 according to the present embodiment. The
特徴点抽出部４５は、境界線ＢＬに基づいて、特徴点ＦＰを抽出する（ステップＳ３２）。
The feature
特徴点ＦＰは、境界線ＢＬに存在する。境界点ＢＰは、特徴点ＦＰを含む。 The feature point FP exists at the boundary line BL. The boundary point BP includes the feature point FP.
補正量算出部４８は、基準ベクトル記憶部４７から複数の基準ベクトルＲＶを取得する（ステップＳ３３）。 The correction amount calculation unit 48 acquires a plurality of reference vectors RV from the reference vector storage unit 47 (step S33).
図１５及び図１６を参照して説明したように、補正点算出処理前（縫製処理前）において、基準ベクトル算出部４６により基準ベクトルＲＶが算出され、基準ベクトル記憶部４７に記憶される。したがって、補正量算出部４８は、基準ベクトル記憶部４７から縫製処理前に算出された複数の基準ベクトルＲＶを取得することができる。
As described with reference to FIGS. 15 and 16, the reference vector RV is calculated by the reference
補正量算出部４８は、ステップＳ３２において抽出された特徴点ＦＰを含む複数の境界点ＢＰと、ステップＳ３３において取得された複数の基準ベクトルＲＶとに基づいて、複数の候補点ＫＰを算出する（ステップＳ３４）。 The correction amount calculation unit 48 calculates a plurality of candidate points KP based on the plurality of boundary point BPs including the feature point FP extracted in step S32 and the plurality of reference vectors RV acquired in step S33. Step S34).
補正量算出部４８は、ステップＳ３４において算出された複数の候補点ＫＰに基づいて、縫製処理後の補正点ＣＰを算出する（ステップＳ３５）。 The correction amount calculation unit 48 calculates the correction point CP after the sewing process based on the plurality of candidate points KP calculated in step S34 (step S35).
補正量算出部４８は、複数の候補点ＫＰの重心点を、縫製処理後の補正点ＣＰに設定する。 The correction amount calculation unit 48 sets the center of gravity points of the plurality of candidate points KP to the correction points CP after the sewing process.
縫製処理後の補正点ＣＰは、縫製処理前の補正点ＣＰから変位している。補正量算出部４８は、ステップＳ３５において算出された補正点ＣＰの位置に基づいて、縫製処理前から縫製処理後の補正点ＣＰの変位量を算出する（ステップＳ３６）。 The correction point CP after the sewing process is displaced from the correction point CP before the sewing process. The correction amount calculation unit 48 calculates the displacement amount of the correction point CP from before the sewing process to after the sewing process based on the position of the correction point CP calculated in step S35 (step S36).
補正点ＣＰは、複数存在する。補正量算出部４８は、複数の補正点ＣＰのそれぞれの変位量を算出する。 There are a plurality of correction point CPs. The correction amount calculation unit 48 calculates the displacement amount of each of the plurality of correction point CPs.
目標ステッチライン補正処理Ｓ４は、補正点算出処理Ｓ３により算出された補正点ＣＰに基づいて、目標ステッチラインＲＬを補正する処理である。縫製処理により縫製対象物Ｓの表面の変位に起因して、作業者により設定された補正点ＣＰ及び縫製データにより規定されている目標ステッチラインＲＬは、変位する。補正点ＣＰの変位量は、補正点算出処理Ｓ３により算出される。制御装置５０は、補正量算出部４８により算出された補正点ＣＰの変位量に基づいて、目標ステッチラインＲＬを補正する。制御装置５０は、例えば補正点ＣＰの変位量と同じ変位量だけ目標ステッチラインＲＬを変位させる。
The target stitch line correction process S4 is a process of correcting the target stitch line RL based on the correction point CP calculated by the correction point calculation process S3. Due to the displacement of the surface of the sewing object S by the sewing process, the correction point CP set by the operator and the target stitch line RL defined by the sewing data are displaced. The displacement amount of the correction point CP is calculated by the correction point calculation process S3. The
目標ステッチラインＲＬについて、複数の補正点ＣＰが設定される。目標ステッチラインＲＬは、複数の補正点ＣＰのそれぞれの変位量に基づいて補正される。ミシン座標系における目標ステッチラインＲＬの位置が補正される。 A plurality of correction points CP are set for the target stitch line RL. The target stitch line RL is corrected based on the displacement amount of each of the plurality of correction points CP. The position of the target stitch line RL in the sewing machine coordinate system is corrected.
目標ステッチライン補正処理Ｓ４は、第１縫製処理前には実施されない。第１縫製処理は、縫製データにより規定される初期状態の目標ステッチラインＲＬに基づいて実施される。目標ステッチライン補正処理Ｓ４は、第１縫製処理後、及び第２縫製処理後であって第３縫製処理前のそれぞれに実施される。同様に、目標ステッチライン補正処理Ｓ４は、第４縫製処理から第１４縫製処理のそれぞれの間において実施される。 The target stitch line correction process S4 is not performed before the first sewing process. The first sewing process is performed based on the target stitch line RL in the initial state defined by the sewing data. The target stitch line correction process S4 is performed after the first sewing process and after the second sewing process and before the third sewing process, respectively. Similarly, the target stitch line correction process S4 is performed between each of the fourth sewing process to the fourteenth sewing process.
縫製処理Ｓ５は、目標ステッチラインＲＬに基づいてステッチＣＨを形成する処理である。縫製処理は、第１縫製処理から第１４縫製処理を含む。第１縫製処理は、縫製データにより規定される初期状態の目標ステッチラインＲＬに基づいて実施される。第２縫製処理から第１４縫製処理は、目標ステッチライン補正処理Ｓ４により補正された後の目標ステッチラインＲＬに基づいて実施される。制御装置５０は、目標ステッチラインＲＬに従ってステッチＣＨが形成されるように、アクチュエータ１７に制御指令を出力する。
The sewing process S5 is a process of forming a stitch CH based on the target stitch line RL. The sewing process includes the first sewing process to the 14th sewing process. The first sewing process is performed based on the target stitch line RL in the initial state defined by the sewing data. The second sewing process to the 14th sewing process are performed based on the target stitch line RL after being corrected by the target stitch line correction process S4. The
終了判定処理Ｓ６は、縫製対象物Ｓの縫製処理が終了したか否かを判定する処理である。制御装置５０は、縫製データに基づいて、縫製対象物Ｓの縫製処理が終了したか否かを判定する。第１縫製処理から第１３縫製処理が終了した状態においては、制御装置５０は、終了判定処理Ｓ６において、縫製処理は終了していないと判定する。第１４縫製処理が終了した状態において、制御装置５０は、終了判定処理Ｓ６において、縫製処理は終了したと判定する。
The end determination process S6 is a process for determining whether or not the sewing process of the sewing object S has been completed. The
［コンピュータシステム］
図２３は、コンピュータシステム１０００の一例を示すブロック図である。上述の画像処理装置４０及び制御装置５０のそれぞれは、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。画像処理装置４０の機能及び制御装置５０の機能のそれぞれは、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、コンピュータプログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。
[Computer system]
FIG. 23 is a block diagram showing an example of the
コンピュータプログラムは、上述の実施形態に従って、縫製対象物Ｓに係る画像を示す対象物画像ＳＭを規定のサーチ領域ＨＡで走査して、注目画素ＡＰが規定色画素か否かを判定することと、判定結果に基づいて、縫製対象物Ｓの表面をテクスチャ領域ＴＡとステッチ領域ＳＡとに分割して、テクスチャ領域ＴＡとステッチ領域ＳＡとの境界線ＲＬを算出することと、を実行することができる。 According to the above-described embodiment, the computer program scans the object image SM showing the image related to the sewing object S in the specified search area HA to determine whether or not the pixel of interest AP is a specified color pixel. Based on the determination result, the surface of the sewing object S can be divided into the texture region TA and the stitch region SA, and the boundary line RL between the texture region TA and the stitch region SA can be calculated. ..
［効果］
以上説明したように、本実施形態によれば、対象物画像ＳＭが走査され、対象物画素ＳＭの複数の画素のそれぞれが黒画素か否かが判定される。これにより、孔７が設けられたテクスチャ領域ＴＡと孔７が設けられていないステッチ領域ＳＡとが識別される。また、ステッチＣＨの形成により縫製対象物Ｓの表面が変位しても、注目画素ＡＰが黒画素か否かが判定されることにより、テクスチャ領域ＴＡとステッチ領域ＳＡとが識別される。
[effect]
As described above, according to the present embodiment, the object image SM is scanned, and it is determined whether or not each of the plurality of pixels of the object pixel SM is a black pixel. As a result, the texture region TA provided with the
また、黒画素でないと判定された注目画素ＡＰは、周囲の黒画素との相対位置が規定条件を満足する場合、テクスチャ領域ＴＡに分類され、周囲の黒画素との相対位置が規定条件を満足しない場合、ステッチ領域ＳＡに分類される。これにより、黒画素でなくても、注目画素ＡＰは、テクスチャ領域ＴＡ及びステッチ領域ＳＡの一方に適切に分類される。 Further, the attention pixel AP determined to be not a black pixel is classified into the texture area TA when the relative position with the surrounding black pixels satisfies the specified condition, and the relative position with the surrounding black pixels satisfies the specified condition. If not, it is classified as a stitch area SA. As a result, the pixel of interest AP is appropriately classified into one of the texture region TA and the stitch region SA even if it is not a black pixel.
［その他の実施形態］
上述の実施形態においては、撮像装置３０により対象物画像ＳＭを取得するとき、撮像装置３０の位置が固定された状態で、縫製対象物Ｓを保持する保持部材１５がＸＹ平面内において移動することとした。縫製対象物Ｓの位置が固定された状態で、撮像装置３０の撮像領域ＦＡがＸＹ平面内において移動してもよいし、撮像領域ＦＡ及び縫製対象物Ｓの両方がＸＹ平面内において移動してもよい。
[Other Embodiments]
In the above-described embodiment, when the
上述の実施形態において、境界線ＢＬは、テクスチャ領域ＴＡにおいて最も外側に配置されている孔７の外側のエッジを通るように生成されることとした。境界線ＢＬは、テクスチャ領域ＴＡにおいて最も外側に配置されている孔７を通るように生成されてもよい。境界点ＢＰは、孔７に設定されてもよい。
In the above embodiment, the boundary line BL is generated so as to pass through the outer edge of the
１…ミシン、２…テーブル、３…ミシン針、４…表材、５…パッド材、６…裏材、７…孔、１０…ミシン本体、１１…ミシンフレーム、１１Ａ…水平アーム、１１Ｂ…ベッド、１１Ｃ…垂直アーム、１１Ｄ…ヘッド、１２…針棒、１３…針板、１４…支持部材、１５…保持部材、１５Ａ…押え部材、１５Ｂ…下板、１６…アクチュエータ、１７…アクチュエータ、１７Ｘ…Ｘ軸モータ、１７Ｙ…Ｙ軸モータ、１８…アクチュエータ、１９…中押え部材、２０…操作装置、２１…操作パネル、２２…操作ペダル、３０…撮像装置、３１…駆動量センサ、３２…駆動量センサ、３２Ｘ…Ｘ軸センサ、３２Ｙ…Ｙ軸センサ、４０…画像処理装置、４１…対象物画像取得部、４２…走査部、４３…領域分割部、４４…補正点設定部、４５…特徴点抽出部、４６…基準ベクトル算出部、４７…基準ベクトル記憶部、４８…補正量算出部、４９…領域分割画像出力部、５０…制御装置、６０…記憶装置、６１…縫製データ記憶部、６２…設計データ記憶部、６３…プログラム記憶部、７０…入力装置、８０…出力装置、１０００…コンピュータシステム、１００１…プロセッサ、１００２…メインメモリ、１００３…ストレージ、１００４…インターフェース、ＡＰ…注目画素、ＡＰｂ…注目画素、ＡＰｓ…注目画素、ＡＰｔ…注目画素、ＡＸ…光軸、ＢＰ…境界点、ＣＰ…補正点、ＣＨ…ステッチ、ＤＭ…領域分割画像、ＦＡ…撮像領域、ＦＰ…特徴点、ＨＡ…サーチ領域、ＫＰ…候補点、Ｐｆ…撮像位置、Ｐｓ…縫製位置、ＲＬ…目標ステッチライン、ＲＳ…規定パターン、Ｓ…縫製対象物、ＳＭ…対象物画像、ＳＡ…ステッチ領域、ＴＡ…テクスチャ領域、ＵＳ…基準パターン。 1 ... sewing machine, 2 ... table, 3 ... sewing needle, 4 ... surface material, 5 ... pad material, 6 ... backing material, 7 ... hole, 10 ... sewing machine body, 11 ... sewing frame, 11A ... horizontal arm, 11B ... bed , 11C ... vertical arm, 11D ... head, 12 ... needle bar, 13 ... needle plate, 14 ... support member, 15 ... holding member, 15A ... pressing member, 15B ... lower plate, 16 ... actuator, 17 ... actuator, 17X ... X-axis motor, 17Y ... Y-axis motor, 18 ... actuator, 19 ... middle presser member, 20 ... operation device, 21 ... operation panel, 22 ... operation pedal, 30 ... image pickup device, 31 ... drive amount sensor, 32 ... drive amount Sensor, 32X ... X-axis sensor, 32Y ... Y-axis sensor, 40 ... Image processing device, 41 ... Object image acquisition unit, 42 ... Scanning unit, 43 ... Area division unit, 44 ... Correction point setting unit, 45 ... Feature points Extraction unit, 46 ... Reference vector calculation unit, 47 ... Reference vector storage unit, 48 ... Correction amount calculation unit, 49 ... Area division image output unit, 50 ... Control device, 60 ... Storage device, 61 ... Sewing data storage unit, 62 ... Design data storage unit, 63 ... Program storage unit, 70 ... Input device, 80 ... Output device, 1000 ... Computer system, 1001 ... Processor, 1002 ... Main memory, 1003 ... Storage, 1004 ... Interface, AP ... Featured pixel, APb ... Attention pixel, APs ... Attention pixel, APt ... Attention pixel, AX ... Optical axis, BP ... Boundary point, CP ... Correction point, CH ... Stitch, DM ... Area division image, FA ... Imaging area, FP ... Feature point, HA ... Search area, KP ... Candidate point, Pf ... Imaging position, Ps ... Sewing position, RL ... Target stitch line, RS ... Specified pattern, S ... Sewing object, SM ... Object image, SA ... Stitch area, TA ... Texture Area, US ... Reference pattern.
Claims (5)
前記対象物画像を規定のサーチ領域で走査して、注目画素が規定色画素か否かを判定する走査部と、
判定結果に基づいて、前記縫製対象物の表面をテクスチャ領域とステッチ領域とに分割して、前記テクスチャ領域と前記ステッチ領域との境界線を算出する領域分割部と、を備える、
画像処理装置。 An object image acquisition unit that acquires an object image showing an image related to a sewing object,
A scanning unit that scans the object image in a specified search area to determine whether or not the pixel of interest is a specified color pixel.
Based on the determination result, the surface of the sewing object is divided into a texture region and a stitch region, and a region division portion for calculating a boundary line between the texture region and the stitch region is provided.
Image processing device.
請求項１に記載の画像処理装置。 The region division portion classifies the attention pixel determined to be the specified color pixel into the texture region.
The image processing apparatus according to claim 1.
請求項２に記載の画像処理装置。 When the relative position between the attention pixel determined not to be the specified color pixel and the specified color pixel around the attention pixel satisfies the specified condition, the area division portion classifies the attention pixel into the texture region. If the relative position does not satisfy the specified condition, the pixel of interest is classified into the stitch region.
The image processing apparatus according to claim 2.
保持部材を移動させる動力を発生するアクチュエータと、
請求項１から請求項３のいずれか一項に記載の画像処理装置と、
前記画像処理装置の処理結果に基づいて、前記アクチュエータを制御する制御指令を出力する制御装置と、を備える、
ミシン。 A holding member that can hold and move the object to be sewn within a predetermined surface including the sewing position directly under the sewing machine needle.
An actuator that generates power to move the holding member,
The image processing apparatus according to any one of claims 1 to 3,
A control device that outputs a control command for controlling the actuator based on the processing result of the image processing device is provided.
sewing machine.
判定結果に基づいて、前記縫製対象物の表面をテクスチャ領域とステッチ領域とに分割して、前記テクスチャ領域と前記ステッチ領域との境界線を算出することと、を含む、
画像処理方法。 By scanning the object image showing the image related to the sewing object in the specified search area to determine whether or not the pixel of interest is a specified color pixel,
Based on the determination result, the surface of the sewing object is divided into a texture area and a stitch area, and a boundary line between the texture area and the stitch area is calculated.
Image processing method.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019201419A JP7405565B2 (en) | 2019-11-06 | 2019-11-06 | Image processing device, sewing machine, and image processing method |
| CN202011224095.7A CN112779679B (en) | 2019-11-06 | 2020-11-05 | Image processing device, sewing machine, and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019201419A JP7405565B2 (en) | 2019-11-06 | 2019-11-06 | Image processing device, sewing machine, and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021074075A true JP2021074075A (en) | 2021-05-20 |
| JP7405565B2 JP7405565B2 (en) | 2023-12-26 |
Family
ID=75750370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019201419A Active JP7405565B2 (en) | 2019-11-06 | 2019-11-06 | Image processing device, sewing machine, and image processing method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7405565B2 (en) |
| CN (1) | CN112779679B (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH105465A (en) * | 1996-06-24 | 1998-01-13 | Japan Small Corp | Quilting method |
| JP2016063894A (en) * | 2014-09-24 | 2016-04-28 | Juki株式会社 | Shape recognition device and sewing machine |
| JP2018183576A (en) * | 2017-04-21 | 2018-11-22 | Juki株式会社 | Sewing machine and sewing method |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3457388B2 (en) * | 1994-07-27 | 2003-10-14 | ブラザー工業株式会社 | Embroidery data creation device |
| JPH08218266A (en) * | 1995-02-15 | 1996-08-27 | Janome Sewing Mach Co Ltd | Embroidery pattern-making device for machine capable of embroidery sewing and its method |
| JPH11123289A (en) * | 1997-10-22 | 1999-05-11 | Brother Ind Ltd | Embroidery data processing device, embroidering machine, and recording medium |
| JP3383567B2 (en) * | 1998-01-19 | 2003-03-04 | 株式会社ダン | Method and apparatus for detecting overlock of circular knitted fabric |
| JP4080157B2 (en) * | 2000-12-27 | 2008-04-23 | 富士フイルム株式会社 | Image processing apparatus, image processing method, and recording medium |
| WO2009085005A1 (en) * | 2007-12-27 | 2009-07-09 | Vsm Group Ab | Sewing machine having a camera for forming images of a sewing area |
| JP5906781B2 (en) * | 2012-02-13 | 2016-04-20 | トヨタ紡織株式会社 | Vehicle components |
| JP6184277B2 (en) * | 2013-09-27 | 2017-08-23 | オリンパス株式会社 | Image processing device |
| JP6414386B2 (en) * | 2014-03-20 | 2018-10-31 | 株式会社島津製作所 | Image processing apparatus and image processing program |
| JP6587390B2 (en) * | 2015-01-23 | 2019-10-09 | 蛇の目ミシン工業株式会社 | Embroidery pattern placement system, embroidery pattern placement device, embroidery pattern placement device embroidery pattern placement method, embroidery pattern placement device program, sewing machine |
| CN108729036B (en) * | 2017-04-21 | 2021-10-19 | Juki株式会社 | Sewing machine and sewing method |
-
2019
- 2019-11-06 JP JP2019201419A patent/JP7405565B2/en active Active
-
2020
- 2020-11-05 CN CN202011224095.7A patent/CN112779679B/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH105465A (en) * | 1996-06-24 | 1998-01-13 | Japan Small Corp | Quilting method |
| JP2016063894A (en) * | 2014-09-24 | 2016-04-28 | Juki株式会社 | Shape recognition device and sewing machine |
| JP2018183576A (en) * | 2017-04-21 | 2018-11-22 | Juki株式会社 | Sewing machine and sewing method |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112779679B (en) | 2024-02-02 |
| CN112779679A (en) | 2021-05-11 |
| JP7405565B2 (en) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5315705B2 (en) | sewing machine | |
| EP2366824B1 (en) | Sewing machine and sewing machine control program | |
| JP2016032596A (en) | Sewing machine and program recorded recording medium | |
| JP5665333B2 (en) | Information processing apparatus and information processing apparatus control method | |
| JP2011194042A (en) | Sewing machine | |
| US20110146553A1 (en) | Sewing machine having a camera for forming images of a sewing area | |
| CN112941733B (en) | Image processing device, sewing machine and image processing method | |
| JP2014042706A (en) | Sewing machine | |
| US10597806B2 (en) | Sewing machine and non-transitory computer-readable storage medium | |
| EP2386673A1 (en) | Sewing machine and non-transitory computer-readable medium storing sewing machine control program | |
| KR20120107483A (en) | Textile article identification device and textile article gripping system | |
| JP7405564B2 (en) | Image processing device, sewing machine, and image processing method | |
| US20180057985A1 (en) | Sewing machine and non-transitory computer-readable medium | |
| WO2018078958A1 (en) | Sewing machine and holding member | |
| JP7079132B2 (en) | Sewing machine and sewing method | |
| JP7405565B2 (en) | Image processing device, sewing machine, and image processing method | |
| JP7075246B2 (en) | Seam inspection device | |
| US11286597B2 (en) | Sewing machine and sewing method | |
| JP7156832B2 (en) | Sewing machine and sewing method | |
| JP2011005180A (en) | Sewing machine | |
| JP7316420B2 (en) | Sewing machine and sewing method | |
| US11869215B2 (en) | Computer-readable storage medium, image processing apparatus, and method for image processing | |
| US11473228B2 (en) | Non-transitory computer-readable medium and embroidery data generation method | |
| CN103572512A (en) | Sewing machine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221013 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230609 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230821 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231214 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7405565 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |