JP2015167780A

JP2015167780A - ミシン

Info

Publication number: JP2015167780A
Application number: JP2014046187A
Authority: JP
Inventors: 仁東倉; Hitoshi Higashikura
Original assignee: Brother Industries Ltd
Current assignee: Brother Industries Ltd
Priority date: 2014-03-10
Filing date: 2014-03-10
Publication date: 2015-09-28
Also published as: US20150252503A1; US9169588B2

Abstract

【課題】被縫製物の色又は柄に影響されることなく、撮影手段により生成された撮影画像データに基づき、撮影手段の撮影可能な領域に照射された光の位置を安定して特定可能なミシンを提供する。【解決手段】ミシンは、レーザ装置と撮像装置とを備える。レーザ装置は、ミシンのミシンベッド上に配置された被縫製物にレーザ光を間欠的に照射する（Ｓ１３）。撮像装置は、レーザ光が照射される被縫製物の画像を撮影し、撮影画像データを生成する（Ｓ１５）。撮影画像データに基づいて、レーザ光が照射される位置である被照射位置の座標が特定される（Ｓ３１）。【選択図】図４

Description

本発明は撮影手段を備えたミシンに関する。

従来、投影手段と撮影手段とを備えたミシンが知られている（例えば、特許文献１参照）。特許文献１に開示のミシンでは、作成された投影画像データに基づき、投影手段が被縫製物に投影光を照射し模様を映出する。撮影手段は、被縫製物に映出された模様を撮影した撮影画像データを生成する。ミシンは撮影画像データから模様の位置を特定する。特定された模様の位置は、被縫製物の厚さの算出に用いられる。

特開２０１１−１９４０４３号公報

しかしながら、色又は柄がある被縫製物の場合、投影光によって映出された模様は、被縫製物の色又は柄と重なる。この場合、被縫製物の色又は柄によっては、ミシンは模様の位置を特定できない可能性がある。

本発明の目的は、被縫製物の色又は柄に影響されることなく、撮影手段により生成された撮影画像データに基づき、撮影手段の撮影可能な領域に照射された光の位置を安定して特定可能なミシンを提供することである。

本発明の一態様に係るミシンは、ミシンベッドと、前記ミシンベッド上の所定位置にレーザ光を照射可能に設置された照射手段と、前記照射手段を制御して、前記レーザ光を間欠的に前記所定位置に照射させる照射制御手段と、前記ミシンベッド上の前記所定位置を含む領域を撮影可能に設置され、撮影された画像のデータである撮影画像データを生成する撮影手段と、前記照射制御手段による前記照射手段の前記所定位置への照射に合わせて、前記撮影手段に前記領域を撮影させ、前記撮影画像データを取得する撮影制御手段と、前記照射手段が前記レーザ光を前記領域内に照射する位置の、前記撮影された画像における座標データである被照射座標を、前記撮影画像データに基づいて、特定する第一特定手段とを備えたことを特徴とする。

本態様のミシンにおいて、被縫製物が所定位置を覆いながらミシンベッドに載置された場合、照射手段は、撮影手段の撮影可能な領域内の位置であって、被縫製物上の特定の位置に、レーザ光を間欠的に照射する。レーザ光を間欠的に照射することで、レーザ光の出力を適切に上げることができる。これより、レーザ光が照射される位置と照射されない領域とのコントラストが大きくなり、第一特定手段は撮影画像データに基づいて被照射座標を安定して特定できる。よって、ミシンは、被縫製物の色又は柄に影響されることなく、撮影手段により生成された撮影画像データに基づき、撮影手段の撮影可能な領域に照射された光の位置を安定して特定可能である。

ミシン１の斜視図である。撮像装置３５周辺の構成を示す説明図である。ミシン１の電気的構成を示すブロック図である。厚さ特定処理のフローチャートである。撮影領域２０に配置され、レーザ光が照射される被縫製物１０を示す平面図である。レーザ装置５３のパルス発光と撮像装置３５の露光のタイミングを示す説明図である。第二実施形態に係る撮像装置１３５周辺の構成を示す説明図である。第二実施形態に係る厚さ特定処理のフローチャートである。レーザ装置５３のパルス発光と撮像装置１３５の露光のタイミングを示す説明図である。

以下、実施形態について、図面を参照して説明する。図１及び図２を参照して、ミシン１の物理的構成について説明する。図１の上下方向、右下側、左上側、左下側、右上側が、各々、ミシン１の上下方向、前方、後方、左方、右方である。ミシンベッド１１及びアーム部１３の長手方向がミシン１の左右方向であり、脚柱部１２が配置されている側が右側である。脚柱部１２の伸長方向がミシン１の上下方向である。

図１に示すように、ミシン１は、ミシンベッド１１、脚柱部１２、アーム部１３、及び頭部１４を備える。ミシンベッド１１は、左右方向に延びるミシン１の土台部である。脚柱部１２は、ミシンベッド１１の右端部から上方へ立設されている。アーム部１３は、ミシンベッド１１に対向して脚柱部１２の上端から左方へ延びる。頭部１４は、アーム部１３の左先端部に連結する部位である。

ミシンベッド１１は、ミシンベッド１１の上面に針板２１を備える。針板２１は、針穴（図示略）を有する。ミシン１は、針板２１の下側（つまり、ミシンベッド１１内）に、図示しない送り歯、送り機構、及び釜機構等を備える。送り歯は、刺繍縫製ではない通常の縫製時に、送り機構によって駆動され、加工布等の被縫製物１０（図５参照）を所定の移送量で移送する。釜機構は、針板２１の下方において上糸（図示略）を下糸（図示略）に絡ませる。

脚柱部１２の前面には、液晶ディスプレイ（以下、ＬＣＤという）１５が設けられている。ＬＣＤ１５には、コマンド、イラスト、設定値、及びメッセージ等の様々な項目を含む画像が表示される。ＬＣＤ１５の前面側には、押圧された位置を検知可能なタッチパネル２６が設けられている。ユーザが、指又はスタイラスペン（図示略）を用いてタッチパネル２６の押圧操作を行うと、タッチパネル２６によって、押圧された位置が検知される。ミシン１のＣＰＵ６１（図３参照）は、検知された押圧位置に基づき、画像中で選択された項目を認識する。以下、ユーザによるタッチパネル２６の押圧操作を、パネル操作と言う。ユーザは、パネル操作によって、縫製したい模様及び実行すべきコマンド等を選択できる。脚柱部１２は、内部にミシンモータ８１（図３参照）を備える。

アーム部１３の上部には、開閉可能なカバー１６が設けられている。カバー１６の下方、つまりアーム部１３の内部には、糸収容部（図示略）が設けられている。糸収容部は、上糸（図示略）が巻回された糸駒（図示略）を収容可能である。アーム部１３内部には、左右方向に延びる主軸（図示略）が設けられている。主軸は、ミシンモータ８１により回転駆動される。アーム部１３の前面左下部には、スタート／ストップスイッチ２９を含む各種スイッチが設けられている。スタート／ストップスイッチ２９は、ミシン１の運転を開始又は停止させる、即ち、縫製開始又は停止の指示を入力するのに使用される。

図２に示すように、頭部１４には、針棒６、押え棒８、針棒上下動機構３４、レーザ装置５３（図１参照）等が設けられている。針棒６及び押え棒８は、頭部１４の下端部から下方に延びる。針棒６の下端には、縫針７が着脱可能に装着される。押え棒８の下端部には、押え足９が着脱可能に取り付けられている。針棒上下動機構３４は、主軸の回転により針棒６を上下方向に駆動させる。ミシン１は、縫製部３３として、針棒６、針棒上下動機構３４、及びミシンモータ８１（図３参照）を備える。

図１に示すように、レーザ装置５３は、頭部１４の左前部に設置されている。レーザ装置５３は、針板２１上（つまりミシンベッド１１上）の所定位置２４に、赤色のレーザ光を間欠的に照射可能な装置である。より具体的には、レーザ装置５３は、内部に備える光源（図示略）を一定の周期で点滅させることで、一秒間の間に複数回に亘ってレーザ光を所定位置２４に照射する。以下、レーザ装置５３が光源を点滅させる動作を「パルス発光する」という。本実施形態では、レーザ装置５３のパルス発光の周期Ｔは６０Ｈｚである。即ち、レーザ装置５３は、１／１２０秒に亘る光源の点灯と、１／１２０秒に亘る光源の消灯とを交互に繰り返すことでパルス発光する。本実施形態におけるレーザ装置５３のレーザ光の出力は１５ｍＷである。これにより、ミシン１は、レーザ製品の安全基準（例えば、ＪＩＳ規格Ｃ６８０２及びＩＥＣ６０８２５−１）で定められる規格を満たしたレーザ装置５３を採用できる。

図２に示すように、頭部１４の内部には、撮影手段としての撮像装置３５が設けられている。撮像装置３５は、例えば、周知のＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを備えたローリングシャッタ方式の撮像装置である。ＣＭＯＳイメーセンサには、撮像装置３５のフレーム画像（以下、第一フレーム画像という）の各画素に対応したフォトトランジスタ（図示略）が設けられる。各フォトトランジスタは、電荷を蓄積可能なキャパシタ（図示略）と接続している。撮像装置３５の露光が行われる場合、各フォトトランジスタには受光量に応じた電流が発生し、これにより各フォトトランジスタに対応するキャパシタには電荷が蓄積される。本実施形態における撮像装置３５のフレームレートは、６０ｆｐｓ（１秒間に６０フレーム）である。撮像装置３５の露光が行われる場合、各キャパシタは、１／６０秒に亘る電荷の蓄積を行う。

撮像装置３５は、ミシンベッド１１上の所定位置２４を含む領域（以下、撮影領域という）２０の画像を撮影し（図５参照）、撮影された画像のデータである撮影画像データを生成する。以下、撮像装置３５によって撮影された画像を撮影画像という。

撮像装置３５は、例えば、絞り及び感度等を切り替えることで、撮影モードを、第一モードと第二モードの何れかに切り替えることが可能な構成となっている。第一モードは、レーザ光が間欠的に照射される場合に設定される撮影モードである。第二モードは、レーザ光の照射が停止される場合（即ちレーザ光は照射されない場合）に設定される撮影モードである。第一モードにおける撮像装置３５が撮影時に取得する光量は、第二モードにおける場合に取得する光量と比べて少なくなる。つまり、第一モードで撮像装置３５が撮影する場合の撮影画像は、第二モードで撮像装置３５が撮影する場合の撮影画像と比較して暗くなる。

図１及び図２を参照し、ミシン１に設定される主な座標系について説明する。ミシン１には、ワールド座標系１００(図１参照)、カメラ座標系２００(図２参照)、及びレーザ装置座標系３００(図１参照)が設定されている。これらの座標系は図１及び図２で模式的に図示される。ワールド座標系１００は空間全体を示す三次元座標系である。本実施形態では、ワールド座標系１００の原点は所定位置２４に定められ、Ｘｗ軸方向は左右方向に定められ、Ｙｗ軸方向は前後方向に定められ、Ｚｗ軸方向は上下方向に定められる。

カメラ座標系２００は、撮像装置３５の三次元座標系である。カメラ座標系２００のＺｃ軸方向は撮像装置３５の光軸方向に定められ、Ｘｃ軸方向及びＹｃ軸方向は、Ｚｃ軸と直交する面内において互いに直交する方向に定められる。レーザ装置座標系３００は、レーザ装置５３の三次元座標系である。レーザ装置座標系３００のＺａ軸方向はレーザ装置５３の光軸方向に定められ、Ｘａ軸方向及びＹａ軸方向は、Ｚａ軸と直交する面内において互いに直交する方向に定められる。

ミシン１の動作を簡単に説明する。所定位置２４を覆うようにミシンベッド１１上に配置された被縫製物１０(図５参照)を、押え足９で上方から押圧した状態で、針棒上下動機構３４、送り機構、及び釜機構が駆動される。送り歯（図示略）によって移送される被縫製物１０に、縫針７が釜機構と協働して縫目を形成することで、縫製が行われる。

図３を参照して、ミシン１の電気的構成について説明する。ミシン１は、ＣＰＵ６１と、バス６５によって各々ＣＰＵ６１に接続されたＲＯＭ６２、ＲＡＭ６３、フラッシュメモリ６４、及び入出力インターフェイス（Ｉ／Ｏ）６６とを備えている。

ＣＰＵ６１は、ミシン１の主制御を司り、ＲＯＭ６２に記憶された各種プログラムに従って、縫製に関わる各種演算及び処理を実行する。ＲＯＭ６２は、図示しないが、プログラム記憶エリア、設定記憶エリア、内部変数記憶エリア、外部変数記憶エリア、及び算出式記憶エリアを含む複数の記憶エリアを備える。プログラム記憶エリアには、ミシン１を動作させるための各種プログラムが記憶されている。記憶されたプログラムには、例えば、後述する厚さ特定処理をミシン１に実行させるためのプログラムが含まれる。設定記憶エリアには、撮像装置３５の撮影モードが切り替えられる場合に使用される設定値等が記憶されている。内部変数記憶エリア、外部変数記憶エリア、及び算出式記憶エリアについては後述する。

ＲＡＭ６３には、ＣＰＵ６１が演算処理した演算結果等を収容する記憶エリアが必要に応じて設けられる。フラッシュメモリ６４には、ミシン１が各種処理を実行するための各種パラメータ等が記憶されている。パラメータには、撮影画像における座標系とワールド座標系１００とを関連付けるパラメータが含まれる。Ｉ／Ｏ６６には、駆動回路７１〜７４、タッチパネル２６、及びスタート／ストップスイッチ２９が接続されている。

駆動回路７１には、ミシンモータ８１が接続されている。駆動回路７１は、ＣＰＵ６１からの制御信号に従って、ミシンモータ８１を駆動する。ミシンモータ８１の駆動に伴い、ミシン１の主軸（図示略）を介して針棒上下動機構３４（図２参照）が駆動され、針棒６が上下動される。駆動回路７２には、ＬＣＤ１５が接続されている。駆動回路７２は、ＣＰＵ６１からの制御信号に従ってＬＣＤ１５を駆動することで、ＬＣＤ１５に画像を表示させる。駆動回路７３には、レーザ装置５３が接続されている。駆動回路７３は、ＣＰＵ６１からの制御信号に従って、レーザ装置５３にパルス発光をさせる。

駆動回路７４には、撮像装置３５が接続されている。駆動回路７４は、ＣＰＵ６１からの制御信号に従って、撮像装置３５の撮影モードを第一モード又は第二モードに設定し、撮影をさせる。撮像装置３５が生成した撮影画像データは、ＲＡＭ６３（図３参照）の所定の記憶エリアに記憶される。

ＲＯＭ６２の内部記憶エリアについて説明する。内部変数記憶エリアには、撮像装置３５のカメラ内部行列であるＡ_ｃと、レーザ装置５３のカメラ内部行列であるＡ_ｐとがデータとして記憶されている。Ａ_ｃは、３行３列の行列であり、撮像装置３５の内部変数が含まれる。撮像装置３５の内部変数は、撮像装置３５の特性に基づいて定まる焦点距離、主点座標のずれ、及び撮影した画像の歪みを各々補正するためのパラメータであり、具体的には撮像装置３５のＸ軸焦点距離、Ｙ軸焦点距離、Ｘ軸主点座標、Ｙ軸主点座標、第一歪み係数、及び第二歪み係数である。Ｘ軸焦点距離は、撮像装置３５のＸｃ軸方向の焦点距離のずれを示す。Ｙ軸焦点距離は、Ｙｃ軸方向の焦点距離のずれを示す。Ｘ軸主点座標は、Ｘｃ軸方向の主点のずれを示す。Ｙ軸主点座標は、Ｙｃ軸方向の主点のずれを示す。第一歪み係数及び第二歪み係数は、各々、撮像装置３５のレンズの傾きによる歪みを示す。Ａ_ｃは、例えば、撮像装置３５が撮影した画像を正規化画像に変換する処理と、被縫製物１０上でレーザ光が照射される位置を特定する処理とで用いられる。正規化画像は、正規化カメラで撮影した画像である。正規化カメラとは、光学中心からスクリーン面までの距離が単位長であるようなカメラである。

Ａ_ｐは、３行３列の行列であり、レーザ装置５３の内部変数が含まれるものとして扱われる内部行列である。レーザ装置５３はカメラ内部変数を有さない。Ａ_ｐは、被縫製物１０の厚さを求める算出式（後述）にて用いられるよう、単位行列として便宜上設定されている。

ＲＯＭ６２の外部記憶エリアについて説明する。外部変数記憶エリアには、撮像装置３５の回転行列であるＲ_ｃ、撮像装置３５の並進ベクトルであるｔ_ｃ、レーザ装置５３の回転行列であるＲ_ｐ、及びレーザ装置５３の並進ベクトルであるｔ_ｐがデータとして記憶されている。Ｒ_ｃ及びｔ_ｃは撮像装置３５の外部変数によって定まり、Ｒ_ｐ及びｔ_ｐはレーザ装置５３の外部変数によって定まる。撮像装置３５の外部変数は、ワールド座標系１００に対する撮像装置３５の設置状態（位置及び向き）を示すパラメータであり、カメラ座標系２００とワールド座標系１００とのずれを示す。レーザ装置５３の外部変数は、ワールド座標系１００に対するレーザ装置５３の設置状態（位置及び向き）を示すパラメータであり、レーザ装置座標系３００とワールド座標系１００とのずれを示すパラメータである。以下、Ｒ_ｃ、ｔ_ｃ、Ｒ_ｐ、及びｔ_ｐについて説明する。

Ｒ_ｃは、カメラ座標系２００の三次元座標をワールド座標系１００の三次元座標にミシン１が変換するための３×３の回転行列である。Ｒ_ｃは、撮像装置３５の外部変数であるＸ軸回転ベクトル、Ｙ軸回転ベクトル、及びＺ軸回転ベクトルに基づいて定まる。Ｘ軸回転ベクトルは、カメラ座標系２００のワールド座標系１００に対するＸｗ軸周りの回転を示す。同様に、Ｙ軸回転ベクトルはＹｗ軸周りの回転を、Ｚ軸回転ベクトルはＺｗ軸周りの回転を示す。Ｘ軸回転ベクトル、Ｙ軸回転ベクトル、及びＺ軸回転ベクトルは、ミシン１がカメラ座標系２００の三次元座標をワールド座標系１００の三次元座標へ変換する転換行列及び、ワールド座標系１００の三次元座標をカメラ座標系２００の三次元座標へ変換する転換行列を決定する場合に用いられる。

ｔ_ｃは、カメラ座標系２００の三次元座標をワールド座標系１００の三次元座標にミシン１が変換するための３×１の並進ベクトルである。ｔ_ｃは、撮像装置３５の外部変数であるＸ軸並進ベクトル、Ｙ軸並進ベクトル、及びＺ軸並進ベクトルに基づいて定まる。Ｘ軸並進ベクトルはワールド座標系１００に対するカメラ座標系２００のＸｗ軸方向のずれを示す。同様に、Ｙ軸並進ベクトルはＹｗ軸方向のずれを，Ｚ軸並進ベクトルはＺｗ軸方向のずれを示す。Ｘ軸並進ベクトル、Ｙ軸並進ベクトル、及びＺ軸並進ベクトルは、ミシン１がワールド座標系１００の三次元座標をカメラ座標系２００の三次元座標へ変換する並進ベクトル及び、カメラ座標系２００の三次元座標をワールド座標系１００の三次元座標へ変換する並進ベクトルを決定する場合に用いられる。

Ｒ_ｐは、レーザ装置座標系３００の三次元座標をワールド座標系１００の三次元座標にミシン１が変換するための３×３の回転行列である。Ｒ_ｐは、レーザ装置５３の外部変数であるＸ軸回転ベクトル、Ｙ軸回転ベクトル、及びＺ軸回転ベクトルに基づいて定まる。Ｘ軸回転ベクトルは、レーザ装置座標系３００のワールド座標系１００に対するＸｗ軸周りの回転を示す。同様に、Ｙ軸回転ベクトルはＹｗ軸周りの回転を、Ｚ軸回転ベクトルはＺｗ軸周りの回転を示す。Ｘ軸回転ベクトル、Ｙ軸回転ベクトル、及びＺ軸回転ベクトルは、ミシン１がレーザ装置座標系３００の三次元座標をワールド座標系１００の三次元座標へ変換する転換行列及び、ワールド座標系１００の三次元座標をレーザ装置座標系３００の三次元座標へ変換する転換行列を決定する場合に用いられる。

ｔ_ｐは、レーザ装置座標系３００の三次元座標をワールド座標系１００の三次元座標にミシン１が変換するための３×１の並進ベクトルである。ｔ_ｐは、レーザ装置５３の外部変数であるＸ軸並進ベクトル、Ｙ軸並進ベクトル、及びＺ軸並進ベクトルに基づいて定まる。Ｘ軸並進ベクトルはワールド座標系１００に対するレーザ装置座標系３００のＸｗ軸方向のずれを示す。同様に、Ｙ軸並進ベクトルはＹｗ軸方向のずれを，Ｚ軸並進ベクトルはＺｗ軸方向のずれを示す。Ｘ軸並進ベクトル、Ｙ軸並進ベクトル、及びＺ軸並進ベクトルは、ミシン１がワールド座標系１００の三次元座標をレーザ装置座標系３００の三次元座標へ変換する並進ベクトル及び、レーザ装置座標系３００の三次元座標をワールド座標系１００の三次元座標へ変換する並進ベクトルを決定する場合に用いられる。

ＲＯＭ６２の算出式記憶エリアについて説明する。算出式記憶エリアには被縫製物１０（図５参照）の厚さを特定するための算出式が記憶されている。被縫製物１０の厚さとは、ミシンベッド１１上に載置される被縫製物１０のＺｗ軸方向の寸法である。つまり、被縫製物１０の厚さは、ミシンベッド１１上面から被縫製物１０の上面までのＺｗ方向における距離である。なお、被縫製物１０の厚さが特定されるための算出式は、ミシンベッド１１上に載置された被縫製物１０の位置が変更されないことを前提としている。

レーザ装置５３が被縫製物１０にレーザ光を照射する位置（以下、被照射位置２５という）の撮影画像上の座標データである被照射座標が特定され、その被照射座標がワールド座標系１００における三次元座標に変換されることで、被縫製物１０の厚さが特定される。被照射位置２５は被縫製物１０上の特定の位置である。レーザ装置５３がレーザ光を照射する位置は、ミシンベッド１１上に被縫製物１０が載置されていない場合には所定位置２４であり、被縫製物１０が載置されている場合には被照射位置２５である。

算出式記憶エリアに記憶される算出式について説明する。被照射座標のワールド座標系１００における三次元座標は、２つの異なる位置に配置されたカメラによって撮影された対応点の三次元座標を、２つのカメラ間の視差を利用して算出する方法を応用することで算出される。視差を利用した算出方法では、以下のようにカメラ座標系の三次元座標が算出される。異なる位置に配置された２つのカメラによって撮影された対応点の画像座標ｍ＝（ｕ，ｖ）^Ｔと、ｍ′＝（ｕ′，ｖ′）^Ｔとが既知であれば、方程式（１）と、方程式（２）とが得られる。
ｓｍ_ａｖ＝ＰＭｗ_ａｖ・・・・式（１）
ｓ′ｍ_ａｖ′＝Ｐ′Ｍｗ_ａｖ・・・・式（２）

式（１）と式（２）とにおいて、Ｐは、画像座標ｍ＝（ｕ，ｖ）^Ｔを得たカメラの射影行列であり、Ｐ′は、画像座標ｍ′＝（ｕ′，ｖ′）^Ｔを得たカメラの射影行列である。射影行列は、カメラの内部変数と、外部変数とを含む行列である。ｍ_ａｖは、ｍの拡張ベクトルである。ｍ_ａｖ′は、ｍ′の拡張ベクトルである。Ｍｗ_ａｖは、Ｍｗの拡張ベクトルである。Ｍｗは、ワールド座標系１００の三次元座標である。拡張ベクトルは、与えられたベクトルに対して要素１を加えたものである。例えば、ｍ＝（ｕ，ｖ）^Ｔの拡張ベクトルは、ｍ_ａｖ＝（ｕ，ｖ，１）^Ｔである。ｓと、ｓ′とは、スカラーを表す。

式（１）と式（２）とから、式（３）が導かれる。
ＢＭｗ＝ｂ・・・・式（３）
式（３）において、Ｂは４行３列の行列であり、Ｂのｉ行ｊ列の要素Ｂｉｊは式（４）で示される。ｂは式（５）で示される。
（Ｂ_１１，Ｂ_２１，Ｂ_３１，Ｂ_４１，Ｂ_１２，Ｂ_２２，Ｂ_３２，Ｂ_４２，Ｂ_１３，Ｂ_２３，Ｂ_３３，Ｂ_４３）＝（ｕｐ_３１−ｐ_１１，ｖｐ_３１−ｐ_２１，ｕ′ｐ_３１′−ｐ_１１′，ｖ′ｐ_３１′−ｐ_２１′，ｕｐ_３２−ｐ_１２，ｖｐ_３２−ｐ_２２，ｕ′ｐ_３２′−ｐ_１２′，ｖ′ｐ_３２′−ｐ_２２′，ｕｐ_３３−ｐ_１３，ｖｐ_３３−ｐ_２３，ｕ′ｐ_３３′−ｐ_１３′，ｖ′ｐ_３３′−ｐ_２３′）・・・・式（４）
ｂ＝［ｐ_１４−ｕｐ_３４，ｐ_２４−ｖｐ_３４，ｐ_１４′−ｕ′ｐ_３４′，ｐ_２４′−ｖ′ｐ_３４′］^Ｔ・・・・式（５）
式（４）と式（５）とについて、ｐ_ｉｊは、Ｐのｉ行ｊ列の要素であり、ｐ_ｉｊ′は、Ｐ′のｉ行ｊ列の要素である。［ｐ_１４−ｕｐ_３４，ｐ_２４−ｖｐ_３４，ｐ_１４′−ｕ′ｐ_３４′，ｐ_２４′−ｖ′ｐ_３４′］^Ｔは、［ｐ_１４−ｕｐ_３４，ｐ_２４−ｖｐ_３４，ｐ_１４′−ｕ′ｐ_３４′，ｐ_２４′−ｖ′ｐ_３４′］の転置行列である。
よってＭｗは、式（６）で表される。
Ｍｗ＝Ｂ^＋ｂ・・・・式（６）
式（６）において、Ｂ^＋は、行列Ｂの擬似逆行列を表す。

ここで、上記２つのカメラのうちの一方を撮像装置３５とし、他方をレーザ装置５３とする。被照射位置２５を対応点とし、撮像装置３５が撮影した画像における被照射位置２５の画像座標をｍ＝（ｕ，ｖ）^Ｔとする。また、レーザ装置座標系３００の被照射位置２５の座標をｍ′＝（ｕ′，ｖ′）^Ｔとする。式（１）のＰに、撮像装置３５の射影行列を設定する。撮像装置３５の射影行列は、式（７）で表される。同様に、式（２）のＰ′に、レーザ装置５３の射影行列を設定する。レーザ装置５３の射影行列は、式（８）で表される。
Ｐ＝Ａ_ｃ［Ｒ_ｃ，ｔ_ｃ］・・・・式（７）
Ｐ′＝Ａ_ｐ［Ｒ_ｐ，ｔ_ｐ］・・・・式（８）
Ａ_ｐは単位行列であるので、式（８）は式（９）に置き換えることができる。
Ｐ′＝［Ｒ_ｐ，ｔ_ｐ］・・・・式（９）

以上から得られたｍ、ｍ′、Ｐ、及びＰ′を用いた、式（６）に基づきワールド座標系１００の三次元座標Ｍｗが算出される。被照射位置２５のワールド座標系１００の三次元座標Ｍｗ（Ｘｗ，Ｙｗ，Ｚｗ）のうち、Ｚｗは被縫製物１０の厚みを表す。上記の算出式（以下、厚さ算出式という）が、被照射座標とミシンベッド１１の上面からの距離とが対応づけられたデータとして、算出式記憶エリアに記憶されている。

次に図４〜図６を参照し、ミシン１で実行される厚さ特定処理について説明する。厚さ特定処理は、ユーザがミシンベッド１１上に被縫製物１０（図５参照）を配置しパネル操作によって開始の指示を入力した場合に実行される。ミシンベッド１１上に配置される被縫製物１０は、所定位置２４を覆う。本実施形態においては、被縫製物１０のうち撮影領域２０に配置される部分には、花柄の模様が形成されているとする（図５参照）。

ＣＰＵ６１は、パネル操作による開始の指示を検知すると、ＲＯＭ６２のプログラム記憶エリアを参照し、厚さ特定処理を実行するためのプログラムをＲＡＭ６３に読出し、プログラムに含まれる指示に従って、以下に説明する各ステップの処理を実行する。処理の過程で得られた各種データは、適宜ＲＡＭ６３に記憶される。

ＣＰＵ６１は、駆動回路７４を制御して、撮像装置３５の撮影モードを第一モードに設定する（Ｓ１１）。ＣＰＵ６１は、レーザ装置５３を制御して、レーザ光を間欠的に被照射位置２５に照射させる（Ｓ１３）。レーザ装置５３はパルス発光を開始する。図５に示すように、本実施形態では被照射位置２５は被縫製物１０上の模様と重なっており、所定位置２４の略上方に位置する。

図４に示すように、ＣＰＵ６１は、駆動回路７４を制御することで、レーザ装置５３の被照射位置２５への照射に合わせて撮像装置３５に撮影領域２０の撮影をさせ、生成された撮影画像データを取得する（Ｓ１５）。

ＣＰＵ６１は、レーザ装置５３がパルス発光を開始するのと同時に、撮像装置３５に撮影を開始させる。撮像装置３５の撮影が開始されると、第一フレーム画像の各画素に対応した露光が行われる。具体的には、各画素における露光開始のタイミングが互いに異なり、且つ露光時間が互いに略同一になるようにして、撮像装置３５の露光は行われる。各画素に対応するフォトトランジスタには受光量に応じた電流が発生し、これにより各フォトトランジスタに対応するキャパシタには電荷が蓄積される。蓄積された電荷はＣＰＵ６１によって読み出される。

ここで、第一フレーム画像を構成する画素が全部でＮ個あるとする。これらＮ個の画素に対して順番に番号を付し、第ｎ番目の画素（以下、第ｎ画素という）に被照射位置２５が含まれるとする。第ｎ画素は複数の画素であってもよい。図６においては、これらＮ個の画素において露光が開始されるタミングと、レーザ装置５３がパルス発光するタイミングとを示している。第ｎ画素における露光が開始されたときに、レーザ光が被照射位置２５に照射されていない（光源が消灯されている）場合であっても、露光は１／６０秒に亘って行われる。従って、２回目のパルス発光においてレーザ光が被照射位置２５に照射されている（光源が点灯している）時間の少なくとも一部は、第ｎ画素における露光がなされる時間と重なる。撮像装置３５の露光が開始されるタイミングが、１回目のパルス発光が開始されるタイミングとずれて設定される場合であっても、第ｎ画素における露光時間と、レーザ光が被照射位置２５に照射される時間とは確実に重なる。従って、レーザ光が被照射位置２５へ照射されるタイミングに関わらず、撮像装置３５は、被照射位置２５に照射されるレーザ光を撮影できる。よって、ミシン１は撮像装置３５の露光が開始されるタイミングを柔軟に設定できる。

図４に示すように、ＣＰＵ６１は、Ｓ１５で取得した撮影画像データに基づいて、被照射座標を特定する（Ｓ３１）。被照射座標は、公知技術の画像処理が行われることにより、特定される。例えば、撮影された画像にハフ変換が施され、ハフ変換画像が作成される。次に、ハフ変換画像に対して非極大抑制処理が行われ、ハフ変換画像のうち局所的に（マスク内で）明るい点が抽出される。結果、被照射座標が特定される。

ここで、レーザ装置５３は、レーザ光を間欠的に照射するので、レーザ光の出力の平均値を低減することができる。結果、レーザ装置５３は、レーザ製品の安全基準に定められる規格を満たしつつ、撮像装置３５が被照射位置２５を認識し易い程度までレーザ光の出力を適切に上げることができる。また、レーザ装置５３は被照射位置２５のみをレーザ光で照射する。被照射位置２５が被縫製物１０の模様と重なる場合であっても、撮影領域２０内において、被照射位置２５と、レーザ光が照射されない領域とのコントラストが大きくなるので、被照射位置２５は特定され易い。さらに、第一撮影モードの撮像装置３５が撮影する撮影画像は暗くなるので、レーザ光はより認識され易くなる。よって、撮影画像における被照射位置２５はさらに特定され易くなる。

ＣＰＵ６１は、ＲＯＭ６２を参照し、厚さ算出式を取得する（Ｓ３２）。ＣＰＵ６１は、Ｓ３１で取得した被照射座標、Ｓ３２で取得した厚さ算出式と、ＲＯＭ６２を参照することで取得したＡ_ｃ、Ａ_ｐ、Ｒ_ｃ、ｔ_ｃ、Ｒ_ｐ、及びｔ_ｐとに基づいて、被縫製物１０の厚さを算出する（Ｓ３３）。

ＣＰＵ６１は、駆動回路７３を制御して、レーザ装置５３のパルス発光を終了させる（Ｓ３５）。ＣＰＵ６１は、駆動回路７４を制御して、撮像装置３５の撮影モードを第二モードに設定する（Ｓ３７）。これにより、撮像装置３５が撮影時に取得する光量は増大する。ＣＰＵ６１は、駆動回路７４を制御して、第二モードに設定された撮像装置３５に撮影領域２０の撮影をさせ、生成された撮影画像データを取得する（Ｓ３９）。

ＣＰＵ６１は、Ｓ３９で取得した撮影画像データに基づいて、駆動回路７２を制御して撮影画像をＬＣＤ１５に表示させる（Ｓ４１）。その後、ＣＰＵ６１は厚さ特定処理を終了させる。第二モードで撮影した撮像装置３５の撮影画像は、第一モードにおける撮影画像よりも明るくなる。従って、ＬＣＤ１５に表示される撮影画像を明るくすることができる。

ミシン１において、レーザ装置５３は本発明の照射手段に相当し、撮影領域２０は本発明の領域に相当し、被照射位置２５が本発明の照射する位置に相当し、厚さ算出式が対応データに相当する。図４のＳ１１，Ｓ３７を実行するＣＰＵ６１は、本発明の撮影設定手段として機能する。Ｓ１３を実行するＣＰＵ６１は、本発明の照射制御手段として機能する。Ｓ１５、Ｓ３９を実行するＣＰＵ６１は、本発明の撮影制御手段として機能する。Ｓ３１を実行するＣＰＵ６１は、本発明の第一特定手段として機能する。Ｓ３２を実行するＣＰＵ６１は、本発明の第三取得手段として機能する。Ｓ３３を実行するＣＰＵ６１は、本発明の第二特定手段として機能する。

以上説明したように、ミシン１においては、被照射位置２５の撮影画像における座標データである被照射座標が特定される（Ｓ３１）。即ち、ミシン１は、被縫製物１０の色や柄に影響されることなく、撮影画像データに基づき、被照射座標を安定して特定可能である。

また、撮像装置３５は、ローリングシャッタ方式の撮像装置であるので、レーザ光が照射されるタイミングに関わらず、照射されるレーザ光を撮影できる。そのため、被照射座標を特定するための撮影画像が撮影される場合に、撮像装置３５の露光が開始されるタイミングを比較的自由に設定できる。

また、ミシン１は、レーザ光が被照射位置２５に間欠的に照射される第一モードと、レーザ光の被照射位置２５への照射が停止される（つまり、照射されない）第二モードとの何れかに、撮像装置３５の撮影モードを切り替えることができる（Ｓ１１，Ｓ３７）。従って、ミシン１は、被縫製物１０の厚さを特定する場合と、被縫製物１０を撮影してＬＣＤ１５に表示させる場合の夫々に適した撮影を撮像装置３５にさせることができる。

また、ミシン１は、Ｓ３１で特定された被照射座標と、Ｓ３２で取得された算出式とに基づいて、被縫製物１０の厚さを特定する（Ｓ３３）。従って、ミシン１は、被縫製物１０の色や柄に影響されることなく、撮影画像データに基づき、被縫製物１０の厚さを安定して特定可能である。

次に、図７及び図８を参照し、ミシン１の変形例に係るミシン２について説明する。ミシン２は、撮像装置３５に代えて撮像装置１３５を備える。撮像装置１３５は、グローバルシャッタ方式の撮像装置である。撮像装置１３５は、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサを備え、所定位置２４が含まれる撮影画像のデータである撮影画像データを生成する。本実施形態における撮像装置１３５のシャッタスピードは１／１２０秒であり、レーザ装置５３が１周期あたりにレーザ光を照射する時間と同じである。撮像装置１３５の露光が行われる場合、撮像装置１３５のＣＣＤイメージセンサが備える各フォトトランジスタは、同時に１／１２０秒に亘る受光を行う。

撮像装置１３５は、撮像装置３５と同様に撮影モードを第一モード又は第二モードに切替えることが可能な構成となっている。フラッシュメモリ６４が有する記憶エリア(図示略)には、レーザ装置５３がレーザ光を照射する周期Ｔ（１／６０秒）及び撮像装置３５のシャッタスピード（１／１２０秒）が記憶されている。

図示しないが、撮像装置１３５には、ＣＰＵ６１からの制御信号に従って撮像装置１３５の撮影モードを第一モード又は第二モードに設定し、撮影をさせる駆動回路が接続されている。また、ミシン２は、ＣＰＵ６１と接続するタイマ（図示略）を備える。

図８を参照し、ミシン２が実行する厚さ特定処理について説明する。なお、ミシン１が実行する厚さ特定処理（図４参照）と同様のステップについては、同じステップ番号を付し、説明を簡略化する。ＣＰＵ６１は、撮像装置１３５と接続する駆動回路（図示略）を制御して、撮像装置１３５の撮影モードを第一モードに設定する（Ｓ１１）。ＣＰＵ６１は、レーザ装置５３にパルス発光をさせる（Ｓ１３）。パルス発光のタイミングと同時にＣＰＵ６１は、タイマに計時を開始させる。

ＣＰＵ６１は、フラッシュメモリ６４を参照することで、周期Ｔを取得する（Ｓ２１）。ＣＰＵ６１は、パルス発光するレーザ装置５３が被照射位置２５（図５参照）への照射を開始するタイミング（以下、発光開始タイミングという）を取得する（Ｓ２３）。ＣＰＵ６１は、Ｓ２１で取得した周期Ｔ（１／６０秒）に０以上の整数を乗じることによって発光開始タイミングを取得する。例えば、発光開始タイミングは、タイマが０秒、１／６０秒、２／６０秒、３／６０秒を計時したときである。

ＣＰＵ６１は、Ｓ２１で取得した周期Ｔと、Ｓ２３で取得した発光開始タイミングに基づいて、撮像装置１３５が撮影を開始するタイミング（以下、撮影開始タイミングという）を決定する（Ｓ２５）。ＣＰＵ６１は、被照射位置２５への照射がなされている間に撮像装置１３５の露光が開始されるように、撮影開始タイミングを決定する。例えば、ＣＰＵ６１は、タイマが３／６０秒を計時したとき（４回目のパルス発光が開始されたとき）に撮影を開始することを決定する。

ＣＰＵ６１は、駆動回路（図示略）を制御して、撮像装置１３５に撮影を開始させ、生成された撮影画像データを取得する（Ｓ２７）。例えば、ＣＰＵ６１は、タイマが３／６０秒を計時したときに、撮像装置１３５に撮影を開始させる。撮像装置１３５は、撮像装置１３５のフレーム画像（以下、「第二フレーム画像」という）における画素間での露光開始のタイミング及び露光時間を、互いに略同一にしつつ、撮影を行う。

シャッタスピードと、１周期当たりにレーザ光が被照射位置２５に照射されている時間とは同じである。従って、４回目のパルス発光において、レーザ光の被照射位置２５への照射が停止されるのと同時に、撮像装置１３５の露光は終了する。ここで、第二フレーム画像を構成する画素が全部でＮ'個であるとする。これらＮ'個の画素に対して順番に番号を付し、第ｎ'番目の画素（以下、第ｎ'画素という）に被照射位置２５が含まれるとする。図９においては、これらＮ'個の画素において露光が開始されるタミングと、レーザ装置５３がパルス発光するタイミングとを示している。Ｎ'個の画素全てにおける露光が同時に開始されるので、タイマが３／６０秒から７／１２０秒（＝３／６０秒＋１／１２０秒）までを計時するまでの間に、第ｎ'画素に対応するフォトトランジスタは、レーザ光の光を受光する。

撮像装置１３５の露光がなされる間において、つまり、撮影領域２０（図５参照）が撮影されている間において、レーザ光が被照射位置２５へ照射されている時間（本実施形態では１／１２０秒）が、被照射位置２５への照射が一時的に停止されている時間（本実施形態では０秒）を上回る条件で、ＣＰＵ６１は撮像装置１３５に撮影をさせる。このため、撮像装置１３５が撮影する場合に取得するレーザ光の光量は多くなる。

図８に示すように、ＣＰＵ６１は、第一実施形態に係るミシン１の厚さ特定処理と同様に、Ｓ３１からＳ３７までのステップを実行した後、Ｓ３９と同様に撮像装置１３５に撮影をさせ（Ｓ４０）、ＬＣＤ１５に撮影画像を表示させ（Ｓ４１）、ミシン２の厚さ特定処理を終了させる。

ミシン２において、図８のＳ１１，Ｓ３７を実行するＣＰＵ６１は本発明の撮影設定手段として機能する。Ｓ２１を実行するＣＰＵ６１は、本発明の第二取得手段として機能する。Ｓ２３を実行するＣＰＵ６１は、本発明の第一取得手段として機能する。Ｓ２７，Ｓ４０を実行するＣＰＵ６１は、本発明の撮影制御手段として機能する。

以上、説明したように、第二実施形態に係るミシン２においては、レーザ装置５３がレーザ光を被照射位置２５に照射している間に、撮像装置１３５の露光は開始される。撮像装置１３５は被照射位置２５に照射されたレーザ光の光を取得し易くなる。よって、ミシン２はレーザ光の位置を安定して特定可能である。

また、撮影領域２０が撮影されている間において、レーザ光が被照射位置２５へ照射されている時間が、レーザ光の被照射位置２５への照射が一時的に停止されている時間を上回る条件で、撮像装置１３５による撮影は実行される。このため、撮像装置１３５が撮影する場合に取得するレーザ光の光量が多くなる。よって、ミシン２はレーザ光の位置をより安定して特定可能である。

本発明のミシンは、上記した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更が加えられてもよい。撮像装置３５，１３５は、レーザ光が照射される被縫製物１０に対しての撮影に適した単一の撮影モードのみが設定されていてもよい。この場合、厚さ特定処理において、撮像装置３５は、第一モード又は第二モードに設定されることなく、単一の撮影モードのみで撮影した撮影画像を生成する。

また、撮像装置３５，１３５は、レーザ光が照射される被縫製物１０を複数回に亘って撮影してもよい。この場合、撮像装置３５，１３５が撮影した複数の撮影画像のうち、取得されたレーザ光の光量が最も多い撮影画像をＣＰＵ６１が選択し、選択された撮影画像に基づき被照射座標が特定されてもよい。

また、ミシン１，２は、ネットワークを介して外部の情報端末と通信可能な通信手段を備えていてもよい。この場合、ＣＰＵ６１は、通信手段が受信した厚さ算出式に関するデータを参照することで、厚さ算出式を取得する。また、厚さ算出式は、被縫製物１０の厚さを算出するための一例としての算出式である。例えば、被照射座標と、所定位置２４の撮影画像における座標データとから被縫製物１０の厚さを算出可能である。つまり、ＣＰＵ６１は、所定位置２４の座標データと、被照射座標とを特定し、さらにこれら２点の座標と被縫製物１０の厚さとが予め対応付けられたデータテーブルを参照することで、被縫製物１０の厚さを特定してもよい。

また、撮像装置３５，１３５は、レーザ装置５３がレーザ光の照射を一時的に停止している間に撮影を開始してもよい。この場合であっても、撮像装置３５，１３５の露光がなされている時間と、レーザ装置５３の照射がなされている時間の一部とが互いに重なるのであれば、撮像装置３５，１３５は、被照射位置２５に照射されるレーザ光を含んだ撮影画像の撮影画像データを生成できる。

また、上記実施形態のミシン１においては、撮像装置３５のフレームレートは、６０ｆｐｓとは異なる値であってもよい。この場合、第ｎ画素における１回目の露光が行われる間、レーザ光が被照射位置２５に照射されなかったときには、ＣＰＵ６１は第ｎ画素に対応するキャパシタに蓄積された電荷をリセットし、再び電荷を蓄積させればよい。これにより、第ｎ画素における２回目以降の露光が行われる時間と、レーザ光が被照射位置２５に照射される時間の少なくとも一部が重なるので、撮像装置３５は、被照射位置２５に照射されるレーザ光を確実に撮影できる。

また、上記実施形態のミシン２においては、ＣＰＵ６１は、発光開始タイミングに代えて、レーザ光の照射が一時的に停止されるタイミング（以下、発光停止タイミング）を取得してもよい。この場合、ＣＰＵ６１は、発光停止タイミングと周期Ｔとに基づいて、撮影開始タイミングを決定できる。

また、上記実施形態のミシン２においては、ＣＰＵ６１はフラッシュメモリ６４を参照することで、周期Ｔを取得するが、これに限られない。これに代えて、ＣＰＵ６１は、タイマの出力信号に基づいて、レーザ光の照射が開始されてから、照射が一時的に停止されるまでの時間を計測することで、周期Ｔを取得してもよい。

上述の厚さ特定処理（図４、図８参照）は、ＣＰＵによって実行される例に限定されず、他の電子部品（例えば、ＡＳＩＣ）によって実行されてもよい。また、厚さ特定処理は、複数の電子機器（つまり、複数のＣＰＵ）によって分散処理されてもよい。例えば、厚さ特定処理の一部は、パーソナルコンピュータに接続されているサーバで実行されてもよい。

１，２ミシン
１１ミシンベッド
２０撮影領域
２４所定位置
２５被照射位置
３５，１３５撮像装置
５３レーザ装置
６１ＣＰＵ

Claims

ミシンベッドと、
前記ミシンベッド上の所定位置にレーザ光を照射可能に設置された照射手段と、
前記照射手段を制御して、前記レーザ光を間欠的に前記所定位置に照射させる照射制御手段と、
前記ミシンベッド上の前記所定位置を含む領域を撮影可能に設置され、撮影された画像のデータである撮影画像データを生成する撮影手段と、
前記照射制御手段による前記照射手段の前記所定位置への照射に合わせて、前記撮影手段に前記領域を撮影させ、前記撮影画像データを取得する撮影制御手段と、
前記照射手段が前記レーザ光を前記領域内に照射する位置の、前記撮影された画像における座標データである被照射座標を、前記撮影画像データに基づいて、特定する第一特定手段と
を備えたことを特徴とするミシン。
前記撮影手段は、ローリングシャッタ方式の撮像装置であることを特徴とする請求項１に記載のミシン。
前記撮影手段は、グローバルシャッタ方式の撮像装置であり、
前記照射制御手段が前記所定位置への前記照射を前記照射手段に開始させるタイミング及び前記所定位置への前記照射を一時的に停止させるタイミングのうち少なくとも一方のタイミングを取得する第一取得手段と、
前記照射手段が前記所定位置へ照射する周期を取得する第二取得手段と、
前記撮影制御手段は、前記第一取得手段が取得した前記タイミングと、前記第二取得手段が取得した前記周期とに基づいて、前記所定位置への前記照射がなされている間に前記撮影手段の露光を開始させることを特徴とする請求項１に記載のミシン。
前記領域が撮影される間において、前記レーザ光が前記所定位置へ照射されている時間が、前記所定位置への前記照射が一時的に停止されている時間を上回る条件で、前記撮影制御手段は、前記撮影手段に撮影させることを特徴とする請求項３に記載のミシン。
前記撮影制御手段は、前記照射制御手段が前記照射手段に前記照射をさせる場合に、前記撮影手段の撮影モードを第一モードに設定し、且つ前記照射制御手段が前記照射手段に前記照射をさせない場合に、前記撮影手段の前記撮影モードを前記第一モードとは異なる第二モードに設定する撮影設定手段を備えたことを特徴とする請求項１から４の何れかに記載のミシン。
前記被照射座標と前記ミシンベッドからの距離とが対応付けられたデータである対応データを取得する第三取得手段と、
前記第一特定手段が特定した前記被照射座標と、前記第三取得手段が取得した前記対応データとに基づいて、前記ミシンベッド上の前記所定位置に配置された被縫製物の厚さを特定する第二特定手段とを備えたことを特徴とする請求項１から５の何れかに記載のミシン。