JP2008190912A - 画像認識方法および把持装置 - Google Patents

Abstract

【課題】分岐点を有するワークの形状を、迅速、且つ、簡易に認識することのできる画像認識方法および把持装置の提供。
【解決手段】分岐点を有するワークを撮像し、二値化し、二値化画像からワークの下端を検出し、ワークの下端からワークの輪郭を追い、輪郭線が急に方向変化する点を分岐点と判断する画像認識方法において、二値化画像から、Ｘ方向の最大値、Ｘ方向の最小値、Ｙ方向の最大値、およびＹ方向の最小値を抽出し、これらを辺に有する方形領域を定め、方形領域に属する端点を候補点とし、候補点からワークの下端を判定することを特徴とする画像認識方法および当該方法を実施するための把持装置。
【選択図】図１２

Description

本発明は、分岐点を有するワークの画像認識方法および把持装置に関し、例えば、枝部を有する棒状物やリード線が延出された半導体チップ等のワークの画像認識方法および把持装置に関する。なお、分岐点とは、ワークの輪郭線が急に方向変化する点をいう。また、枝部を有する棒状物とは、棒状部分とその幅方向に枝部を有する有体物のことであり、例えば、葉の付いた苗やＬ字型の工業部品もこれに含まれる。

近年園芸作物や樹木の苗の生産においてこれまで行われてきた実生苗や挿し木苗での生産以外にマイクロプロパゲーションで優秀個体の無菌化クローンを大量増殖し、発根させて苗製品にする手法が広く普及してきている。
一般的な手法としては、成長組織点を無菌環境内で植物個体から切出してインビトロ（無菌透明容器内）で培養環境を与え、多芽体に成長させ、さらに継体培養により大量増殖させ、そして大量増殖させたそれぞれの幼芽を最適な大きさまでインビトロで成長させた後に、再び無菌環境で幼芽を分離し、発根用の容器に移し替え、再びインビトロで培養し発根完了後に無菌クローン苗製品とするものがある。感染した苗であっても、植物体成長の元になる成長点組織にはウィルスが侵入しないことを利用した手法である。

しかしながら、幼芽は柔らかく脆弱であり、過剰な把持力を与えた場合、茎の導管を破壊しその後の生育が順調にいかないという問題がある。このため幼芽の移植を自動的に行うためには正確な形状認識微が不可欠であった。そこで、出願人は、葉と茎境界の認識は、撮像した画像データを２値化したものに輪郭線追跡（チェーンコード）を適用することで輪郭を抽出し、葉のエッジ探索を行って葉の端部を検出する手法を提言した（特許文献１）。
また、前記ロボットハンドをＸＹＺ方向に移動可能に連結したマニピュレータと、前記ロボットハンドから受け取った苗を植込工程に受け渡す受渡用ハンドとを備える苗の移植補助ステーションを提言した（特許文献３）。

ロボットによる植え付け作業の自動化に関する研究としては、例えば、視覚部の把持位置検出アルゴリズムによって検出された挿し穂の主茎下部をロボットハンドが把持して整形装置に移動し、葉を離脱しものを植え付け装置に供給するシステムが発表されている（非特許文献１〜３）。

また、線材把持装置としては、例えば、相対的に接近・離間して閉じ状態と開き状態とに切り換えられる第１および第２のハンド部材を有し、開き状態では第１のハンド部材と第２のハンド部材との間にたるみ状態にあるフレキシブルな線材を側方から差し入れる差し入れ口と、この差し入れ口から差し入れられた線材を位置させる線材把持用領域とを有し、前記第１および第２のハンド部材の相対的接近に伴って前記線材把持用領域を縮小し最終的に線材を前記両ハンド部材により両ハンド部材の所定位置において挟持固定することを特徴とするものがある（特許文献２）。
特開２００６−１８０８６２号公報 特開２００６−１８０８６３号公報 特開平８−５７７１８号公報 農業機械学会誌、VOL.60,NO.4，p.37-44 M.Takatsuji, Handbook of Plant Factory,Tokai University Press, pp. 123{159, 1997. 東海大学出版会編：「植物工場ハンドブック」， 東海大学出版会(1997), pp123-159 高山眞策シーエムシー出版 種苗生産システム （1992 初版2002 普及版pp180）

分岐点を有するワークを把持することができるロボットハンドは種々のものが知られるが、ワークの形状を認識して把持位置を検出する処理を迅速に行うことは難しかった。
また、分岐点を有するワークの形状を認識するための手法が簡易であることが、迅速処理の要請を満たすためには好ましい。

本発明は、分岐点を有するワークの形状を、迅速、且つ、簡易に認識することのできる分岐点を有するワークの画像認識方法および把持装置を提供することを目的とする。

第１の発明は、分岐点を有するワークを撮像し、二値化し、二値化画像からワークの下端を検出し、ワークの下端からワークの輪郭を追い、輪郭線が急に方向変化する点を分岐点と判断する画像認識方法において、二値化画像から、Ｘ方向の最大値、Ｘ方向の最小値、Ｙ方向の最大値、およびＹ方向の最小値を抽出し、これらを辺に有する方形領域を定め、方形領域に属する端点を候補点とし、候補点からワークの下端を判定することを特徴とする画像認識方法である。
第２の発明は、第１の発明において、下記（イ）〜（ハ）の条件を多く具備する候補点から順にワークの下端であるかの判定を行うことを特徴とする。
（イ）方形領域の短辺に属する候補点
（ロ）方形領域の同一辺上に属する他の候補点が少ない候補点
（ハ）ワークの重心から各辺に垂線を引き最遠となる辺に属する候補点
第３の発明は、第１または２の発明において、一の角から隣接する他の角まで方形領域の辺上をトレースし、辺上の端点を検出する処理において、一定距離以上端点が連続する場合には、当該一定距離をスキップして端点の検出を行うことを特徴とする。
第４の発明は、第１ないし３のいずれかの発明において、選択された候補点に基づきワークの両側面において分岐点を検出し、両側面で検出した各々の分岐点位置のワークの幅が、ワークの幅の規定値範囲から外れる場合には当該部位は目的とする部位とは異なるとの判断から、当該候補点をワークの下端と判定しないことを特徴とする。
第５の発明は、第１ないし４のいずれかの発明において、ワークの下端に最も近い分岐点から、ワークの下端側に所定値オフセットした位置を把持位置とすることを特徴とする。
第６の発明は、第１ないし５のいずれかの発明において、ワークが棒状部分を有する自然物であることを特徴とする。

第７の発明は、分岐点を有するワークを搬送するコンベアと、コンベア上のワークを撮像する撮像手段と、コンベア上を搬送されるワークを把持するロボットハンドと、ロボットハンドの移動手段と、撮像手段による撮像画像を二値化し、二値化画像からワークの把持位置を算出する画像認識手段を備えた把持装置であって、前記画像認識手段は、二値化画像から、Ｘ方向の最大値、Ｘ方向の最小値、Ｙ方向の最大値、およびＹ方向の最小値を抽出し、これらを辺に有する方形領域を定め、方形領域に属する端点を候補点とし、候補点からワークの下端を判定することを特徴とする把持装置である。
第８の発明は、第７の発明において、下記（イ）〜（ハ）の条件を多く具備する候補点から順にワークの下端であるかの判定を行うことを特徴とする。
（イ）方形領域の短辺に属する候補点
（ロ）方形領域の同一辺上に属する他の候補点が少ない候補点
（ハ）ワークの重心から各辺に垂線を引き最遠となる辺に属する候補点
第９の発明は、第７または８の発明において、一定距離以上端点が連続する場合には、当該一定距離をスキップして端点の検出を行うことを特徴とする。
第１０の発明は、第７ないし９のいずれかの発明において、前記画像認識手段が、選択された候補点に基づきワークの両側面において分岐点を検出し、両側面で検出した各々の分岐点位置のワークの幅が、ワークの幅の規定値範囲から外れる場合には当該部位は目的とする部位とは異なるとの判断から、当該候補点をワークの下端と判定しないことを特徴とする。
第１１の発明は、第７ないし１０のいずれかの発明において、前記画像認識手段が、ワークの下端に最も近い分岐点から、ワークの下端側に所定値オフセットした位置を把持位置とすることを特徴とする。
第１２の発明は、第７ないし１１のいずれかの発明において、ワークが棒状部分を有する自然物であることを特徴とする。

本発明によれば、分岐点を有するワークの形状を、迅速、且つ、簡易に認識することが可能となる。

本発明を実施するための最良の形態の把持装置は、分岐点を有するワークを搬送するコンベアと、コンベア上のワークを撮像する撮像手段と、コンベア上を搬送されるワークを把持するロボットハンドと、ロボットハンドの移動手段と、撮像手段による撮像画像を二値化し、二値化画像からワークの把持位置を算出する画像認識手段を備えた把持装置であって、前記画像認識手段は、二値化画像から、Ｘ方向の最大値、Ｘ方向の最小値、Ｙ方向の最大値、およびＹ方向の最小値を抽出し、これらを辺に有する方形領域を定め、方形領域に属する端点を候補点とし、候補点からワークの下端を判定することを特徴とする。なお、本明細書における方形領域とは、正方形または長方形のことをいうものとする。

好ましくは、下記（イ）〜（ハ）の条件を多く具備する候補点から順にワークの下端であるかの判定を行うことを特徴とする。
（イ）方形領域の短辺に属する候補点
（ロ）方形領域の同一辺上に属する他の候補点が少ない候補点
（ハ）ワークの重心から各辺に垂線を引き最遠となる辺に属する候補点

ワークの重心の算出は、公知の手法により行うことができるが、例えば、下記数式に基づいて算出することができる。
Ｘ方向重心＝Σ（有効画素のＸ座標）／（有効画素総数）
Ｙ方向重心＝Σ（有効画素のＹ座標）／（有効画素総数）
ここでいう有効画素とは、ラベリングで求まった方形領域の長方形の内側に存在する二値化されたワークを示す画素のことをいう。方形領域四角形中のワーク部分のＸ，Ｙの各座標について、それぞれ座標位置を積算し、その値を画素数で割った座標位置の平均値である。上記により求められたＸ座標とＹ座標の画像上の交点をワークの重心として使用することができる。

また、前記画像認識手段が、選択された候補点に基づきワークの両側面において分岐点を検出し、左右の両側面で検出した各々の分岐点位置のワークの幅が、ワークの規定値範囲から外れる場合には、当該候補点をワークの下端と判定しないことが好ましい。
ここで、ワークの幅の判定を左右の分岐点の幅として判定を行うことが考えられる。しかし、分岐点が互い違いである場合や一方しか分岐点が無い場合においては、ワークの上端が分岐点扱いとされることが考えられ、そうすると、算出された幅の値はワーク形状の幅よりも必ず大きくなってしまい、幅チェックで無用なエラー判断がされるおそれがあるからである。そのため、ワーク幅による判定は、左右の分岐点の位置でワーク輪郭線に直交する方向の幅を夫々行うのが好ましい。ワーク輪郭線が直線でない場合には、分岐点を中心として、上下方向に一定量オフセットした位置の輪郭線上の点を結んだ線を近似的な輪郭線（直線）として処理すればよい。
なお、ワーク規定値範囲は、最大値と最小値の両方を指定するものとする。

ワークの種別等によっては、方形領域の同一辺内において複数の端点が検出され、ワークの下端の判定に時間がかかったり、不正確な判定がなされるおそれがある。かかる場合には、方形領域の同一辺内において複数の端点が検出された場合において、一定距離以上端点が連続する場合には、当該一定距離をスキップして端点の検出を行う。
ロボットハンドの移動手段は、特定のものに限定されず、直交座標形、円筒座標形、極座標形、多関節形などで構成することができる。
上記のワークは、自然物、人工物のいずれかに限定されるものではないが、特に細部の形状が非定型である棒状部分を有する自然物（加工が施されたものも含む）に好適であり、枝部を有する自然物においては特に顕著な効果を奏する。

分岐点から、ワークの下端側に所定値オフセットした位置を把持位置とする。この際、ワークの下端に最も近い分岐点から所定値オフセットすることが好ましい。
なお、分岐点の無い全くのワークでも把持位置を検出することは可能である。この場合は検出点がワーク先端になるのでワーク全長が把持可能領域となり、把持位置のオフセット設定値により全長の任意の位置を把持位置とする。
作業の性質としては、精度が最優先される作業よりは、一定程度の精度と処理速度が要求される作業に適している。具体例としては、植物の苗の姿勢および幅方向の把持位置を補正して下流工程に受け渡す作業に好適である。

以下では、本発明の詳細を実施例により説明するが、本発明は何ら実施例に限定されるものではない。

本実施例の画像認識方法は、例えば図１に示すような、投入装置１０１、受渡装置１０２および植込装置１０３からなる苗自動植込システムに適用される。
投入装置１０１は、苗コンベアで搬送される苗について、カメラの撮影画像に基づいて本実施例の画像認識方法により、把持位置を検出し、投入ハンド１により把持し、受渡装置１０２に受け渡す。受渡装置１０２は、垂直状態で把持した苗を、植え込みに最適な角度となるよう回転させる。植込装置１０３は、受渡装置１０２から苗を受け取り、植え込み領域に順次一本ずつ苗を植え込む。

本発実施例のシステムは、次の機能を有する。
１）外部トリガのタイミングによる撮影画像情報の入力
２）撮影画像から設備が自動処理するのに必要な座標、角度などの情報算出
３）設備制御装置が処理できる情報単位への変換
４）設備の自動処理可否判断と結果の情報化
５）設備制御装置への情報伝送および読み取り要求トリガ出力
６）必要な各種システム設定値のＧＵＩによる登録と保存
７）オフラインで解析可能な内容・形式による処理イベントのログ作成と保存
８）その他デバッグなどに必要な表示とＧＵＩ処理

本実施例で扱う苗サイズの規定値は、図２および下記に示すとおりである。
全長 Ａ：２０．０ｍｍ以上
葉領域 Ｂ： ５．０ｍｍ以上
把持領域Ｃ：１０．０ｍｍ以上
植込領域Ｄ： ５．０ｍｍ以上
茎直径 Ｅ： １．０〜２．０ｍｍ
苗幅 Ｆ：１０．０〜２０．０ｍｍ

《光電センサの配置と機能》
本実施例のシステムが有する光電センサは次の類型のものがある。
（１）撮像トリガ（投入装置１０１に配備）
ライン投入された苗を画像認識センサが撮像するためのタイミング検出用センサ。苗が撮像範囲に入る位置に設置され、センサ反応タイミングで撮像、認識処理を行う。
（２）苗有無判定（投入装置１０１に配備）
投入ハンド１が正常に苗を把持したこと（苗有無）の検出用センサ。投入ハンド１が把持、上昇した後に判断を行い、センサ未反応の場合は「苗無し（＝失敗）」と見なし、後工程への動作を行わず即時に次苗処理（ピックアップ）を行う。
（３）葉方向検出（受渡装置１０２に配備）
無作為に受け渡しされた苗の方向を検出し、一定方向で植込ハンドに受け渡しするための検出用センサ。この際、チャックが１回転（＝３６０度）してもセンサが未検出の場合は「苗無し」と判断して植込ハンドへの受取要求は行わず待機状態に即時復帰する。
（４）苗有無判定（受渡装置１０２に配備）
植込ハンドが正常に苗を把持したこと（苗有無）の検出用センサ。植込ハンドが回転チャックから受け取り、後退する途中に判断を行い、センサ未反応の場合は「苗無し（＝失敗）」と見なし、植込処理を行わず即時に待機状態に復帰する。当然、その際の植込苗数のカウンタは現状維持とし、必ず植込欠損を発生させない。
（５）植込容器到着確認（植込装置１０３に配備）
植込容器が準備されていることの確認用センサ。植込容器コンベア横に設置され、規定位置に到達した時点でコンベアを停止させる。容器交換時に一定時間コンベアを動作させてもセンサが未検出（＝容器未到達）の際はコンベアを停止させるとともに、ブザー音によるユーザガイダンスを行い次容器の準備を作業者に知らせる。

《投入装置１０１》
本実施例の画像認識方法が用いられる投入装置１０１について、図３を参照しながら、詳しく説明する。
投入装置１０１は、苗投入口から投入された苗を、苗コンベアによりＹ軸方向に搬送する。撮像エリアに苗が進入し、光電センサが苗の存在を検知すると、撮影画像に基づいて把持位置の認識処理が行われる。ピックアップ位置まで苗が搬送されると、苗コンベアは苗の把持が終了するまでの間、停止される。なお、苗コンベアは、ピックアップ時にのみ停止され、それ以外は（撮影時においても）常時運転状態にある。
また、苗コンベアのベルト色は、撮影背景となることから、ワークの色とはっきり区別でき、二値化時にワークの輪郭が明確となる色であることが望ましい。本実施例では、ベルト色を白色とした。
カメラは苗コンベア進行方向が画像の長辺方向となるよう、正規状態（横長）から９０度回転させた状態（縦長）での取り付けとする。なお、カメラを回転取り付けするにあたり、表示画像は苗コンベア進行が画面左から右に向かう方向で表示するものとする。本実施例では、モノクロＶＧＡのＣＭＯＳカメラ（Firefly MV [POINT GREY RESERCH]）を使用した。

投入ハンド１は、図４および図５に示すとおりに構成され、筐体２に配設された一対の把持爪３と、把持爪３と直交して配設された一対の補正板４を主たる構成要素とする。
把持爪３は、ピンセット状に構成された２枚の長材であり、長手方向の中央部近辺に屈曲部３１を有している。駆動部材１１は、弾性部材６により付勢されており、ワイヤ７からの動力を受けないときは、屈曲部３１が駆動部材１１により押圧された状態となり、把持爪３は閉じた状態となっている。
補正板４は、把持した苗の姿勢および幅方向の把持位置を補正するためのものであって、把持爪３を挟んで平行に設けられた２枚の板状部材により構成される。補正板４の先端部は、投入ハンド１の取付角度に応じ、進出時に苗が垂直状態となるよう２枚の板の先端の位置がそれぞれ調整される。補正板４の後端部は、長孔５１を有するガイド部５を構成しており、軸材９と長孔５１の作用により、補正板４をスライド可能としている。また、補正板４は、駆動部材１１とも連結されている。
駆動部材１１には、ねじ部材８が固設されており、ねじ部材８にはワイヤ７が接続される。ワイヤ７の他端は、図示しないアクチュエータに接続されている。アクチュエータの作動により、ワイヤ７が後ろ側に引っ張られ、駆動部材１１が後ろ側に移動すると屈曲部３１が開放され、把持爪３が開いた状態となる。また、ワイヤ７の作動とともに駆動部材１１と連結した補正板４もスライド動する。このように、投入ハンド１は、一本のワイヤにより、駆動部材１１を動作させることで、把持爪３と補正板４を同時に動作させることが可能である。駆動系を簡易な構成とするとともに、把持爪３と補正板４の動作を同期させることを可能としている。
以上のハンド１を構成する各部材は、オートクレーブ滅菌するときに容易に分解できるようになっている。
なお、ハンド１後部の把持爪３の固定具を外すだけで、把持爪３のみを容易に交換することも可能である。これにより把持爪３のみを取り外して滅菌したり、対象物に最適な強度、弾性、材質のものに交換することも容易に行うことができる。

投入ハンド１は、Ｒ軸モータとともにＺ軸移動手段に接続される。Ｚ軸移動手段は、Ｘ軸移動手段に接続されており、Ｘ軸方向に移動自在である。制御部から把持命令を受けると、Ｘ軸移動手段は、投入ハンド１を把持位置Ｘ座標の上方まで移動し、Ｒ軸モータにより投入ハンド１をθ回転し、Ｚ軸移動手段により降下させ、図示しないアクチュエータにより把持爪３を開閉させて苗を把持し、再びＺ軸移動手段により上昇する。続いて、図示しないアクチュエータにより補正板４を進出動させて把持した苗を垂直状態とする。
図６ａは苗を把持した直後の投入ハンド１の写真であり、図６ｂが苗を垂直状態に補正した後の投入ハンド１の写真である。投入ハンド１は、対向する一対の把持爪３と、把持爪３と直交し、把持爪３を挟むよう配設された対向する一対の補正板４と、これらにアクチュエータの動力を伝達する伝達部材を備え、把持爪３が把持した苗に、補正板４を進出動して当接させることで苗の姿勢を垂直状態に補正し、幅方向の把持位置を補正することができる。苗を垂直状態にした後、Ｘ軸移動手段により受渡装置１０２の位置まで苗を把持した投入ハンド１は移動され、受渡装置１０２に苗の受け渡しを行う。
投入ハンド１は、２枚の補正板４を用いて姿勢等補正機構を構成したため、数ｍｍのスライド移動で苗の姿勢を変化させることができるので姿勢等の補正処理速度が格段に速い（約０．１秒）。また、投入ハンド１による一連の処理のサイクルタイムは僅か５秒程度である。

投入装置１０１の制御系におけるインターフェース構成は、図７に示すとおりである。センサコントローラは、苗コンベア上に投入された苗が自動処理でピックアップ可能となる座標、回転角などの情報を制御装置に送信する。センサコントローラは、制御装置からのトリガ信号に応じて撮影・計測を行い、算出した苗コンベア停止位置を苗が通過しない間に、上記情報の送信を行う。
カメラ撮影の外部トリガについては、必要性に応じて信号を送信する。ここで、必要性は、苗コンベア移動中の撮影タイミングに苗が撮像エリアで撮影されるか否かで判断する。
センサコントローラは、作業者によりライン投入された苗の不規則な苗姿勢および方向を自動処理する。ここで、センサコントローラは計測器としての利用を主たる目的とするものではないので、オーバースペックとなる精度追求はせず、実用化に必要な処理速度を優先している。本実施例では、Windows（登録商標）をプラットホームとするパーソナルコンピュータで構成した。

センサコントローラは、苗コンベア進行方向を基準とし、画像中心を座標原点（Ｘ、Ｙ座標）として座標を算出する。すなわち、図８に示すように、苗コンベア進行方向がＹ軸の正方向であり、苗コンベア進行方向に向かって右手をＸ軸の正方向とする。Ｚ軸は、上方から苗コンベア表面に向かう方向（下降方向）を正方向とする。ただし、本実施例におけるセンサコントローラは、単眼カメラで計測を行うため、Ｚ軸方向の情報は規定値とする。なお、Ｚ軸方向の情報を計測する必要がある場合には、出願人の特許出願に係る特許文献１に開示されるあおり光学系を用いて撮像手段を構成してもよい。
回転角のＲ軸は設備上方から見て「６時」の位置を０度、「１２時」の位置を１８０度とし、０度基準の時計回り（ＣＷ）を正方向、反時計回り（ＣＣＷ）を負方向とする。図９に苗角度の計測例を示す。
なお、カメラは９０度回転させた方向で取り付けしているので、撮影画像から算出した移動量、角度等の各情報はセンサコントローラ内部で座標および角度変換し、制御装置には上記座標および角度の考え方に応じた情報として送信することとする。

センサコントローラが認識、計測を行う内容を図１０に示す。センサコントローラは、制御装置の計測要求が発生した時点で次の処理を行う。
１）把持位置検出
２）上下方向検出
３）茎角度検出
４）苗全長検出
５）把持可能長検出
上記の計測項目の内、１）〜３）はピックアップに必要な設備動作情報であり、４）〜５）は自動処理可否の判断情報である。

センサコントローラから制御装置への送信制御情報は次のとおりである。
ア）Ｘ軸スライダ移動量
イ）Ｙ軸苗コンベア移動量
ウ）Ｚ軸スライダ移動量
エ）Ｒ軸モータ回転角度
オ）自動処理可否判定結果コード［０＝可（実行）／１＝否（ラインアウト）］
ただし、制御装置への情報送信において、Ｘ，Ｙ，Ｚ軸方向の移動量は０．１ミリメートル単位での精度が必要と考えるが、制御装置のメモリ領域であるリンクレジスタ（ＬＷ）が整数型であるために小数点以下の精度を必要とする移動量情報ア）〜ウ）については、×１０倍の整数型として送信する。また、送信情報の書き換え(消去)は次回の情報書込み時とし、デバッグ等で制御装置が送信情報を動作後でも確認できるよう配慮する。送信情報の制御装置への読込要求はリンクリレー（ＬＢ）へのビット出力を使用する。出力方法は予め設定された時間（例えば、１秒）のパルス出力とし、出力要求信号が残存しないこととする。なお、送信情報の制御装置への読込要求はＤＩ／Ｏなど他の情報手段を用いてもよい。

センサコントローラから制御情報を受信した制御装置は、センサカメラ、投入ハンド１、苗コンベアやスライダ等の機器類の作動を制御する。センサコントローラおよび制御装置の機能を図１１に開示する。

《ピックアップ動作の概要》
基本思想は、撮影する画像中心と投入ハンド待機原点を基準位置として同一線上に合わせ、画像認識で得た把持位置の基準位置からのズレ量および角度情報で投入ハンド１の位置決めを行うというものである。投入ハンド１による苗のピックアップ時には、苗コンベアは一時的に停止されており、投入ハンド１は次の手順で苗コンベア上の苗をピックアップする。
１）Ｙ軸（苗コンベア）移動
Ｙ軸方向の移動は苗コンベアで行い、実移動量は苗把持位置と画像中心のズレ量（＝ｙ）で決定される。
２）Ｘ軸（スライダ）移動
Ｘ軸方向の移動はスライダで行い、実移動量は苗把持位置と画像中心のズレ量（＝ｘ）で決定される。
３）Ｒ軸（モータ）回転
Ｒ軸の回転はＺ軸スライダ上のＲ軸モータで行い、実回転量は画像認識による苗上下方向判断で決定される。
４）Ｚ軸（スライダ）移動
Ｚ軸方向の移動はＸ軸スライダ上のＺ軸スライダで行い、下降量は一定（苗コンベア面）とする。苗姿勢等による認識失敗の場合、画像認識センサは制御装置にピックアップ指示を出さず、苗コンベアを停止しないで次苗処理を継続させる。（当該苗はラインアウト処理となる。）ラインアウトした苗は苗コンベア端の容器に落下し、作業者が再投入を行うことで苗を無駄にしない。

《画像認識処理》
苗のピックアップの前工程として、センサコントローラは、計測した情報に基づいて画像認識処理を行い、把持位置を決定する。光電センサにのみでは、コンベア上に非整然と載置された苗の把持位置を検出することは不可能だからである。画像認識処理のアルゴリズには種々のものがあるが、例えば、出願人の特許出願に係る特許文献１に開示される。
従来の画像認識処理は、図１２の左側に示すとおりの手順で行われていた。本実施例は、図１２の点線で囲んだ茎下端を検出するアルゴリズムの部分で、従来の画像処理認識と相違する。すなわち、従来は二値化画像で苗と想定する部分の全ての端点を検出し、最も重心から遠い位置の端点を茎下端と見なして計測処理を行っていたが、本実施例では苗と想定する部分について上下左右の最遠点を囲む方形領域（苗領域）を形成し、これらの端点の中から最も茎である確率の高いものを検出する。図１３に、苗の形状および姿勢と端点の組み合わせ例を示す（なお、自動処理「否」のパターンも含む。）。

《茎下端の検出》
把持位置を検出するためには、検出処理の起点となる茎下端を検出しなくてはならない。茎下端は、方形領域（苗領域）に属する端点を候補点とし、候補点をソートし、ソート順に候補点を判定することにより行う。方形領域は以下の手順で設定する。
（１）撮影画像を二値化
（２）画像内のラベリング処理（塊の抽出：ノイズ等も含めて複数存在する場合有り）
（３）ラベリングされた領域（塊）中で最大のものを「苗」とみなす。なお、領域が1つの場合は最大検査を行わない。
（４）苗と見なした領域（塊）の画像座標上のＸ最大値、Ｘ最小値、Ｙ最大値、Ｙ最小値を求める。
（５）求めたＸ最大値、Ｘ最小値、Ｙ最大値、Ｙ最小値を辺とする方形領域を設定し、以後は方形領域のみ処理対象とする。
ここで、コンベア上の苗の位置、方向等は都度変化するので、方形領域の位置、大きさ等は毎回変化する。

方形領域を設定したら、方形領域の辺に属する端点から茎下端を検出する。茎下端である確率が最も高いと判断されるのは、次の条件に適合する候補点である。
（イ）方形領域の短辺に属する候補点
（ロ）方形領域の同一辺上に属する他の候補点が少ない候補点
（ハ）苗の重心から各辺に垂線を引き最遠となる辺に属する候補点
なお、候補点が選定された際に、選定された端点を茎下端とした場合に、後述するように茎直径最大値（＝Ｅ最大値）以下となるかどうかをチェックすることが好ましい。

候補点の検出は、一の角から隣接する他の角まで方形領域の辺上をトレースすることにより行う。候補点の検出に際し、二値化画像の輪郭線の荒さから方形領域の辺との接点が微小範囲内に複数発生する場合がある。実際には１点と判断するべき候補点が数ピクセルの間隔で数点検出されるような場合、これらの全てを正直に候補点として扱うと、（あ）「茎端らしさ」判断の障害、（い）処理時間が無駄となる。そこで、方形領域の同一辺内において一定距離（連続許容範囲）以上端点が連続する場合には、当該一定距離の範囲はマスクし、一定距離外で最初に検出された端点を候補点として扱うこととした。すなわち、方形領域の辺上にワークが面で接する部分（＝端点が連続する部分）がある場合、一定距離内で連続する部分はスキップするが、たとえ１ドットであっても一定距離内で連続が途切れた場合、次に検出されたドットは異なる端点と見なして有効としている。実際の茎端の横に葉やノイズが接近して撮影された場合に、単に一定距離スキップするだけでは本当の茎端をとばしてしまう可能性があるからである。
この一定距離の値はシステム設定ファイルで固定とし、ＧＵＩによる設定変更は不可とする。本実施例では、連続許容範囲のデフォルト値は５(pixel)とした。
なお、実際の茎端とノイズや葉が連続してしまった場合は、実際の茎端は検出できず、ラインアウトされることとなる。

図２０は、端点検出時の連続許容範囲を５pixelとした場合の具体的な処理の説明図面である。図２０では、説明のために方形領域の辺のみのドットを明記しているが、実際にはそれ以外のドットも存在する。
方形領域の辺に広範囲で接する物体（例えば葉やノイズ）が存在する場合、これを除外することが必要である。そのため、本来は、連続許容範囲の幅の設定は「茎直径＋α」が望ましい。斜めに切断された茎端が辺に接する場合、二値化変換時に多少の輪郭の拡大が発生する場合、影などの影響で撮影画像が実際の茎直径より太く見える場合などがあるからである。しかし、連続許容範囲の設定は、「茎直径＋α」ではなく、より大きい値を設定するのが好ましい。その理由は、明らかに茎でない物体に対して、多くの端点処理を行うことなく「１つの塊」として捉え、分岐点の幅チェックで「茎ではない」と判断することで誤認識を防止するとともに、処理速度を向上することができるからである。図２０において、例えば、連続許容範囲を「２０pixel」に設定すると、端点（３）〜（６）は１つの端点として扱える（端点（７）が端点（４）となる）ので、検出処理の対象となる端点数は減少する。

ところで、候補点が方形領域の角となった場合、実際には１点しかないのに、隣接する２辺で各々に候補点として検出されてしまう。一定距離以内であっても同一辺内ではないため、上記手法で除外されない。しかし、上記（イ）〜（ハ）の条件で絞り込みをした際に、隣接する２辺の順序に影響はないことから、そのまま隣接する２辺で各々に１候補点として扱うこととする。

以上をまとめると、候補点から茎下端を検出するための好ましい手順例は次のとおりとなる。
（１）方形領域を構成する短辺であり、かつ、属する候補点が少ない辺を選択する（イandロ）。
（２）上記１）の条件を満たす辺が複数ある場合には、苗の重心から遠い方の辺を選択する（条件ハ）。
（３）選択した辺上の候補点が１点である場合には、この点を茎下端の第１候補点とする。候補点が複数ある場合には、座標値の小さい方から順に、茎下端かどうかの判定を行うものとする。
（４）判定処理の対象となる候補点から、茎の左右において、分岐点を検出する（チェーンコード作成）。
（５）茎両側面で検出した各々の分岐点位置のワークの幅が、茎直径（＝Ｅ）範囲外の場合には、対象外(＝葉)として他の候補点を選択し、（３）〜（５）の判定処理を行う。茎両側面で検出した各々の分岐点位置のワークの幅が、茎直径（＝Ｅ）範囲内の場合には、当該候補点を茎下端と判定し、把持位置の検出処理を行う。
（６）選択した辺に属する候補点が全て対象外と判断された場合には、他の短辺に属する候補点について上記（３）〜（５）の判定処理を行う。
（７）両方の短辺の全ての候補点が対象外と判断された場合には、候補点の少ない長辺に属する候補点について上記（３）〜（５）の判定処理を行う。
（８）選択した長辺の候補点が全て対象外と判断された場合には、残る長辺について上記（３）〜（５）の判定処理を行う。
（９）全ての候補点が対象外と判断された場合には、リトライまたはラインアウト処理とする。
なお、上記の流れは全ての候補点を確認する場合の処理であり、処理時間を考慮していずれかの処理を省略してもよい。

《把持位置検出》
把持位置検出においては、茎下端から茎輪郭を追い、輪郭線が急に方向変化する点を「分岐点」と呼び、分岐点のうち最も茎下端に近い点を「検出点」と呼ぶものとする。葉が茎両側で段違いの場合もあることから、茎両側を計測し、茎下端に近い（条件の悪い）側を検出点として採用することで、把持失敗率を低減する。
分岐点は、葉の根本であることから、検出点が茎下端から見て把持できる最上位置と考えられる。しかし、検出点を把持位置とすると、葉に接触してピックアップを失敗する可能性が非常に高い。そこで、検出点から茎下端側に所定値オフセットした値を把持位置とするものとする。すなわち、センサコントローラは、検出点より茎下端側にオフセットした位置を指示する把持位置情報を制御装置に送信する。この把持位置オフセット量（例えば、０〜５．０ｍｍ）はセンサコントローラのＧＵＩで設定される項目とする。

分岐点を検出するための好ましい手順例は次のとおりとなる。
（１）検出した茎下端から輪郭のチェーンコードを作成する。
（２）輪郭線が急に変化する点を分岐点として判断する（図１４参照）。本実施例では、急な変化率の判断基準を、検出角が３０度以上である場合とした。
なお、急な変化率の最適値はワークにより異なるので、実験により求めるのが好ましい。例えば、ユーカリの場合は３０度以上とするのが好ましいが、茶木苗の場合は１５度以上とするのが好ましい。
（３）上記の処理を茎の左右で行う。茎両側で分岐点が段違いで存在する可能性があるためである。
（４）左右に分岐点がある場合、茎端から近い側の分岐点、すなわち、把持条件の悪い側を検出点とする。

チェーンコード作成時に行う輪郭線の傾き検出処理について、図１５を参照しながら説明する。
（１）チェーンコード作成の現在位置をＣ点とする。
（２）Ｎピクセル遡った位置をＢ点とする。
（３）Ｂ点から更にＮピクセル遡った位置をＡ点とする。
（４）Ａ点〜Ｂ点を結ぶ直線と、Ｂ点〜Ｃ点を結ぶ直線の傾きを算出する。
（５）算出した傾きが上記「急な変化率」以上となるＢ点を検出点とする。
以上の手順において、傾き算出の基準となる直線部分のピクセル数（＝Ｎ）の値を小さくとれば検出精度が高くなるが、二値化画像輪郭の小さな凹凸を検出して実際の葉分岐点と異なる位置を検出する可能性が高くなる。逆にＮを大きくとれば二値化画像輪郭の小さな凹凸は除外できるが、必要範囲が長くなり、検出範囲が狭くなる。本実施例においては、Ｎ値は、実験により適正と判断する値を算出する。

分岐点の検出処理において、葉の付け根形状によっては、変化率の基準に満たない緩やかな傾斜となっている場合が想定される。この場合においては、画像認識では判断ができないので、苗サイズの規定値に従い、茎端からの長さの設定最大値（＝Ｃ最大値＋Ｄ最大値）を以て分岐点とみなす。分岐点の正確な座標を把握することが重要なのではなく、投入ハンド１が茎を把持するという実用的な目的が達成できればよいからである。検出点が決まれば、把持位置は予め設定されたオフセット量だけ茎下端に向けて茎の輪郭を下がった位置として決定できる。
茎下端の検出と把持位置の検出を完了することで、茎角度が算出可能となる。検出した茎下端および把持位置の座標に基づき、茎下端と把持位置を直線で結び、これと苗コンベア進行方向の垂線との角度を近似した茎角度（＝Ｒ軸モータ回転角度）とする。なお、角度の表現は図８の考え方に従うものとする。

以上に述べた、本実施例の画像認識処理のアルゴリズムにおいては、方形領域に接する候補点中から「最も茎端らしい」１点を正確に選択することが重要である。このことは同時に、候補点中に茎端が含まれず姿勢・形状不良によるリトライ（またはラインアウト）を早期に判断することができることを意味し、次苗処理待機への移行が正確かつ早くすることができる。
本実施例のアルゴリズムによるメリットは次のとおりである。
（１）方形領域を形成した時点で明らかなサイズ異常を早期に発見できる。
（２）検出する端点の数が少ないので処理速度の向上が見込める。
（３）方形領域を構成する４辺から条件により茎下端の可能性の高いものから順に処理を行えるので処理速度と認識精度の向上が見込める。
（４）限られた方形領域（苗領域）の範囲内だけを処理するので処理速度の向上が見込める。
（５）方形領域を構成する４辺に接する全ての点が茎でないと判断できれば苗が逆立ち状態などの姿勢異常と判断でき処理速度と認識精度の向上が見込める。

《自動処理可否の判断》
計測した情報に基づいて、センサコントローラは、自動処理可否の判断を行う。
自動処理可否の判定については、（あ）把持できない、（い）姿勢補正できない、（う）植え込みできない等の理由により自動処理不可と判断し、結果を「否」として制御装置へ送信する。
一）画像認識処理による例外処理としては、次のものが想定される（符号は図２参照）。
（１）茎下端〜検出点（オフセット演算前)の長さが苗サイズ規定値（Ｃ＋Ｄ）未満
（２）苗全長が苗サイズ規定値（Ａ）未満
（３）茎下端〜把持位置(オフセット演算後)の長さが苗サイズ規定値（Ｄ）未満
（４）苗上下方向の判別が不可能（＝移動量算出不可能）
二）センサコントローラ機能による例外処理としては、次のものが想定される。
（１）苗無し（光電センサの誤検出など）
（２）苗の上下方向判定ができない（逆立ち姿勢など）
（３）葉が茎の上に重なり検出点が極端に茎下部に近い位置で検出された
（４）葉が茎の上に重なり検出点が見つからず極端に茎上部に近い位置で判断された
（５）葉の分岐角度が極端に緩やかで検出点が見つからない
（６）制御装置に送信する移動量情報の範囲が適正でない

センサコントローラは、図１７に示す手順で自動処理可否の判断を行う。すなわち、撮影・認識処理を行い（ＳＴＥＰ１）、上記の理由等で自動処理の可否を判断し（ＳＴＥＰ２）、自動処理を不可と判断した場合には、前回もリトライ処理したかを判断する（ＳＴＥＰ３）。リトライ処理が連続した場合には、自動処理を可と判断した場合と同様に、ＳＴＥＰ６へ進む。リトライ処理が連続しない場合には、制御装置にリトライ要求を送信し（ＳＴＥＰ４）、通常の待機状態に戻る（ＳＴＥＰ５）。ここで、表現上は「リトライ」としているが、実際は「認識リトライ装置」により苗を撮像の上流に戻し、トリガ入力から再認識することを意味する。ただし、センサコントローラは設備動作について関知する必要はなく、撮像トリガ入力に対して処理を進行するのみとする。
上記ＳＴＥＰ３では、リトライ処理が２回連続することを回避しているのは、同一苗のリトライ処理が繰り返されることにより生産が停滞することを防止するためである。ここでは、物理的なリトライ処理の失敗により次苗をリトライと判断しないよう、リトライ要求後予め設定された時間（例えば、３秒）以内にトリガ要求が発生しない場合は、内部フラグをクリアし、次苗をリトライ処理と判断しない。

例外処理は実行速度とトレードオフとなることから、その発生頻度を考慮して対応処理の追加を検討する必要があり、実用上で問題とならないレベルのものについては通常処理範囲で対応する。例外処理が想定される代表的な類型を以下に示す。
一）撮影対象無しの類型
何らかの原因により、撮影画像に何も写っていない場合の処理は以下とする。
（１）撮影画像が「完全な黒画面（＝全面に真黒の物体が写っている）」となる場合
この場合は苗領域の方形領域が認識可能の全領域となり、苗領域サイズが最大値を超過することを理由に認識失敗の判断を行い、通常のリトライまたはラインアウト処理を行う。
（２）撮影画像が「完全な白画面（＝苗無し）」となる場合
この場合はラベリング処理が方形領域（苗領域）そのものを定義することができず、エラー判断するためにラベリング処理失敗を理由に認識失敗の判断を行い、通常のリトライまたはラインアウト処理を行う。
二）複数の苗が撮影される類型
図１８に示すように、何らかの原因により、撮影画像に複数の苗が写っている場合の処理は以下とする。
（１）苗自体は重ならず、かつ各方形領域が重ならない場合
苗と判断されたラベリング領域の最も大きいものをターゲットとして通常処理を行う。この場合、ラベリング領域最大となった苗部分において、姿勢不良等による認識失敗が発生しても、他の候補を再検出して処理することはしない。
（２）苗自体は重ならず、かつ各方形領域が重なる場合
この場合は上記（１）と同様の処理とする。ただし、方形領域上に選択されなかった苗が重なる場合、重なった部分も端点候補として認識することになる。（チェーンコード作成時にエラーとなるはずなので実害は無いと判断する。）
（３）苗自体が重なっている場合
苗の重なり具合にもよるが、方形領域が最大値を超過する場合は、苗領域の最大値超過の判断により認識エラーとして通常のリトライまたはラインアウト処理を行う。苗領域が最大値を超過しない場合は通常の処理を行うが、大抵の場合においては苗形状不良の判断により認識エラーとして通常のリトライまたはラインアウト処理を行うと考えられる。

本実施例のシステムを、利用するに際しては、事前にキャリブレーションが必要となる。本実施例のシステムにおいては、センサカメラは単眼（２Ｄ）かつレーザを使用しないことから、３次元センサカメラのようにカメラを取り外して専用治具を使用するようなキャリブレーション方法を用いない。好ましい、キャリブレーション方法の条件は以下のとおりである。
・カメラが設備に固定された状態で行える
・専用の治具、測定器などは不要
・簡単な方法で行える（ユーザでも実施可能）
なお、センサコントローラはオンライン/オフラインの状態監視を行っていないので、ＧＵＩによる作業者の要求が発生すれば、その時点でオンライン処理を停止してキャリブレーションモードに移行する。
なお、キャリブレーションモード中は、制御装置からの撮像トリガ要求があっても、認識処理および制御装置への情報送信は行わないようにしている。情報送信が行われないことで設備側が動作することは無く、作業者の安全が確保される。ただし、システムの安全上、ヒューマンエラー防止などの目的でオンライン中のキャリブレーションモード移行を停止することも可能である。この場合は、制御装置からオンライン/オフラインの状態監視信号をＤＩ/Ｏなどでセンサコントローラに入力してキャリブレーションモード移行要求をキャンセルする。

上記を踏まえた、本実施例のシステムにおける具体的なキャリブレーション方法は、図１９および以下に示すとおりである。
（１）キャリブレーションモードに切替
（２）画面上の計測補助線の長さを定規で測定
（３）測定した長さを画面上で登録
キャリブレーションモードでは、作業者が画面を見ながら補助線に定規をあてて測定する必要があるので、撮影は「連続モード」とする。画面での測定値設定範囲は０．０〜９９９．９ｍｍとする。

センサコントローラには設定された数値の確からしさを確認する手段は無いので、設定値に対する範囲チェック等の評価は行わない。ただし、タイプミスと思われる明らかな入力値異常（記号、アルファベットなど）は検査し、異常の場合はエラーガイダンスを表示して作業者に再設定を促す。
システム設定値を変更した際は直ちに変更値を反映する（ＧＵＩ による「設定反映」ボタンを使用することも可）こととし、ソフトウェアの再起動等を必要としない方式とする。なお、システム設定値の保存はハードディスクにテキストファイル形式で保存し、システム起動時に毎回読み込むようにしてもよい。
システム設定ファイルをテキストエディタ等で直接編集してもよい。ただし、ファイル直接編集の場合はソフトウェアが設定値の変更を確認する手段が無い為にソフトウェアの再起動を条件とする。
計測補助線は撮影画像の原点を表示していることから、キャリブレーション画面を見ながら苗コンベア上の画像認識（Ｘ，Ｙ 軸）原点を確認することができる。従って、キャリブレーション機能を利用することで、苗コンベア停止状態で画像を見て苗コンベア上に画像原点位置をマーキングすれば以下の正確な調整も可能である。
・苗コンベア移動量の確認／調整
・ピックアップ機構ハンド原点(＝機械原点)の確認／調整
なお、苗コンベア上にマーキングする場合はテープ、シールなどの取り外し可能な方法とし、画像処理のノイズとなる消せないマーキングはしないことが好ましい。

《受渡装置１０２》
受渡装置１０２は、回転チャックおよび光電センサを主たる構成要素とする。苗を把持した投入ハンド１は、開状態の回転チャックに苗を投入し、投入された苗を受け取った回転チャックは、苗の葉方向を揃えて植込ハンドに苗を受け渡す。苗の葉方向を揃える理由は、植え込んだ全ての苗に光が当たるようにすること、植込密度を高めること、培養容器の蓋を閉めやすくすることなどが挙げられる。

受渡装置１０２は、回転チャックの回転中心軸上ないしは回転中心軸上から僅かにずれた位置における物の存在を検知する複数の葉方向検出用光電センサを有する。光電センサによる検知領域は、被検出物の形状等にもとづいて予め設定されている。かかる構成により、葉方向を検出し、苗を一定方向に揃えるよう位置決め制御を行うことができる。以上の受渡装置１０２の装置による一連の処理のサイクルタイムは、約４秒である。

《植込装置１０３》
植込装置１０３は、一対の把持爪を有する植込ハンドと、植込ハンドをＸ方向に移動自在とするＸ軸スライダと、植込ハンドをＹ方向に移動自在とするＹ軸スライダと、植込ハンドをＺ方向に移動自在とするＸ軸スライダと、植込容器コンベアから構成される。回転チャックから受け渡される苗は、既に適正な姿勢となっているため、植込ハンドに姿勢等補正機構は不要である。
待機状態にある植込ハンドは、Ｘ軸スライダにより固定位置に移動して回転チャックから苗を受け取り、植込容器コンベア上に載置された培養容器に盛られた土に苗を植え込む。苗を植え込む座標は、予め設定されており、本実施例では培養容器の９地点において苗が植え込まれるよう設定されている。培養容器に９つの苗が植え込まれると、作業が完了した培養容器が植込容器コンベアにより搬出され、空の培養容器が作業位置に搬入される。
なお、投入装置１０１、受渡装置１０２および植込装置１０３による動作は、最適に並行処理されるようプログラムされている。

以上に述べた本実施例の苗自動植込システムは、次の特徴を有する。
（１）省スペース：約Ｗ８００×Ｄ８００(ｍｍ)、ただし操作ボックスは含まない。
（２）省エネルギー：消費電力約２５０Ｗ
（３）付帯設備不要：ＡＣ１００Ｖ電源のみ要
（４）ユーザーフレンドリー：タッチパネル式のインターフェースによる調整設定
（５）処理速度：１容器あたり約４５秒、（９苗／容器）
（６）画像認識：約３０〜４０ミリ秒（上下方向・把持位置・角度検出）

本発明は、観賞用植物、食用植物を問わず「茎挿し」の種類の作業に利用することができる。特に、種子を形成しない植物、種子繁殖が経済的・技術的理由で適さない植物（種子からより短サイクルで成長可能）、交配による品種特性の変化を嫌う植物において好適である。
他分野への技術転用も可能であり、主に工業分野で機械化が困難な作業に有効である。特に、非定型ワークのハンドリング、「柔弱脆小」ワークのハンドリング、狭小範囲でのハンドリング、棒状小型軽量ワークの姿勢および幅方向の把持位置の補正ハンドリングに好適である。具体例としては、電気基板への電機部品の組込作業や電気配線用コネクターの端子組込作業が挙げられる。

また、次のような用途にも用いることができる。
・釘、ボルトなど工業製品のピックアップおよび移送・整列処理
・カプセル薬、菓子など食品・薬品類のピックアップおよび移送・整列処理
・試験管、ガラス管など取扱注意品類のピックアップおよび移送・整列処理
・棒状食品の弁当などへの詰め込み処理
・狭閉（例えば１面が開口されたサイコロ状）箇所への微小部品（例えばリベット）挿入
・種子、食品など完全な棒状でない（近似的棒状）物のピックアップおよび移送・整列処理

実施例１に係る苗自動植込システムの概要構成図である。 苗サイズの規定値の説明図である。 苗自動植込システムを構成する投入装置の概要構成図である。 実施例１に係る投入ハンドの外観図である。 実施例１に係る投入ハンドの要部透過図である。 苗を把持した直後の投入ハンドの写真である。 苗を垂直状態に補正した後の投入ハンドの写真である。 投入装置におけるインターフェース構成の概念図である。 座標系の考え方の説明図である。 苗角度の計測例である。 センサコントローラにおける認識、計測の説明図である。 センサコントローラおよび制御装置の機能説明図である。 認識処理手順の説明図である。 苗の形状および姿勢と端点の組み合わせ例の説明図である。 輪郭の急な変化点を説明するための図面である。 チェーンコード作成時に行う輪郭線の傾き検出処理の説明図である。 茎角度の算出方法の説明図である。 センサコントローラにおける例外処理手順の説明図である。 画像中に複数の苗が撮影された状態の説明図である。 実施例１におけるキャリブレーション方法の説明図である。 スキップ処理を説明するための図面である。

符号の説明

１ 投入ハンド
２ 筐体
３ 把持爪
４ 補正板
５ ガイド部
６ 弾性部材
７ ワイヤ
８ ねじ部材
９ 軸材
１１ 駆動部材
２１ 茎
３１ 屈曲部
３２ 当接部
５１ 長孔
１０１ 投入装置
１０２ 受渡装置
１０３ 植込装置

Claims (12)

1. 分岐点を有するワークを撮像し、二値化し、二値化画像からワークの下端を検出し、ワークの下端からワークの輪郭を追い、輪郭線が急に方向変化する点を分岐点と判断する画像認識方法において、
   二値化画像から、Ｘ方向の最大値、Ｘ方向の最小値、Ｙ方向の最大値、およびＹ方向の最小値を抽出し、これらを辺に有する方形領域を定め、方形領域に属する端点を候補点とし、候補点からワークの下端を判定することを特徴とする画像認識方法。
2. 下記（イ）〜（ハ）の条件を多く具備する候補点から順にワークの下端であるかの判定を行うことを特徴とする請求項１の画像認識方法。
   （イ）方形領域の短辺に属する候補点
   （ロ）方形領域の同一辺上に属する他の候補点が少ない候補点
   （ハ）ワークの重心から各辺に垂線を引き最遠となる辺に属する候補点
3. 一の角から隣接する他の角まで方形領域の辺上をトレースし、辺上の端点を検出する処理において、一定距離以上端点が連続する場合には、当該一定距離をスキップして端点の検出を行うことを特徴とする請求項１または２の画像認識方法。
4. 選択された候補点に基づきワークの両側面において分岐点を検出し、左右の両側面で検出した各々の分岐点位置のワークの幅が、ワークの規定値範囲から外れる場合には、当該候補点をワークの下端と判定しないことを特徴とする請求項１ないし３のいずれかの画像認識方法。
5. ワークの下端に最も近い分岐点から、ワークの下端側に所定値オフセットした位置を把持位置とすることを特徴とする請求項１ないし４のいずれかの画像認識方法。
6. ワークが棒状部分を有する自然物であることを特徴とする請求項１ないし５のいずれかの画像認識方法。
7. 分岐点を有するワークを搬送するコンベアと、コンベア上のワークを撮像する撮像手段と、コンベア上を搬送されるワークを把持するロボットハンドと、ロボットハンドの移動手段と、撮像手段による撮像画像を二値化し、二値化画像からワークの把持位置を算出する画像認識手段を備えた把持装置であって、
   前記画像認識手段は、二値化画像から、Ｘ方向の最大値、Ｘ方向の最小値、Ｙ方向の最大値、およびＹ方向の最小値を抽出し、これらを辺に有する方形領域を定め、方形領域に属する端点を候補点とし、候補点からワークの下端を判定することを特徴とする把持装置。
8. 下記（イ）〜（ハ）の条件を多く具備する候補点から順にワークの下端であるかの判定を行うことを特徴とする請求項７の把持装置。
   （イ）方形領域の短辺に属する候補点
   （ロ）方形領域の同一辺上に属する他の候補点が少ない候補点
   （ハ）ワークの重心から各辺に垂線を引き最遠となる辺に属する候補点
9. 前記画像認識手段が、一の角から隣接する他の角まで方形領域の辺上をトレースし、辺上の端点を検出する処理において、一定距離以上端点が連続する場合には、当該一定距離をスキップして端点の検出を行うことを特徴とする請求項７または８の把持装置。
10. 前記画像認識手段が、選択された候補点に基づきワークの両側面において分岐点を検出し、左右の両側面で検出した各々の分岐点位置のワークの幅が、ワークの規定値範囲から外れる場合には、当該候補点をワークの下端と判定しないことを特徴とする請求項７ないし９のいずれかの把持装置。
11. 前記画像認識手段が、ワークの下端に最も近い分岐点から、ワークの下端側に所定値オフセットした位置を把持位置とすることを特徴とする請求項７ないし１０のいずれかの画像認識装置。
12. ワークが棒状部分を有する自然物であることを特徴とする請求項７ないし１１のいずれかの把持装置。