JP2001519661A - 動物の部位の位置を認識して決定するための装置と方法 - Google Patents

動物の部位の位置を認識して決定するための装置と方法

Info

Publication number
JP2001519661A
JP2001519661A JP54265398A JP54265398A JP2001519661A JP 2001519661 A JP2001519661 A JP 2001519661A JP 54265398 A JP54265398 A JP 54265398A JP 54265398 A JP54265398 A JP 54265398A JP 2001519661 A JP2001519661 A JP 2001519661A
Authority
JP
Japan
Prior art keywords
image
lines
light
light emitting
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP54265398A
Other languages
English (en)
Other versions
JP3919825B2 (ja
Inventor
ビルク、ウジ
Original Assignee
アルファ ラバル アグリ エイビー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=20406431&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2001519661(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by アルファ ラバル アグリ エイビー filed Critical アルファ ラバル アグリ エイビー
Publication of JP2001519661A publication Critical patent/JP2001519661A/ja
Application granted granted Critical
Publication of JP3919825B2 publication Critical patent/JP3919825B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01JMANUFACTURE OF DAIRY PRODUCTS
    • A01J5/00Milking machines or devices
    • A01J5/017Automatic attaching or detaching of clusters
    • A01J5/0175Attaching of clusters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813Housing arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • G01S17/875Combinations of systems using electromagnetic waves other than radio waves for determining attitude
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications

Abstract

(57)【要約】 本発明は、動物の部位の位置を認識して決定するための装置と方法に関する。本装置は、少なくとも1つの前記部位を含むことが予測される区域を、構造化された光(12)によって同時に或いは別々に照射される対象が少なくとも2つの照射領域に分割され、2つの照射領域の各々が非照射領域によって分離されるような方法で照射するための構造化された光(12)のソース(31)と、前記光(12)によって形成される少なくとも1つの画像を捕捉して画像信号を供給するように配置された画像捕捉手段(32)とを備え、本装置はさらに、前記捕捉された画像信号に応答する画像信号処理手段(35)と、照射された対象の画像を異なる対象を定義した参照基準と比較して照射された対象が前記部位であるかどうかを決定し、前記照射された対象が動物の前記部位であることが確定されればその位置を確定する制御手段(39)と、動物関連装置と、前記動物関連装置を前記部位の位置へと案内する手段とを備えている。

Description

【発明の詳細な説明】 動物の部位の位置を認識して決定するための装置と方法発明の属する技術分野 本発明は、動物の部位の位置を認識して決定するための装置に関する。本発明 はまた、動物の部位の位置を認識して決定するための方法に関する。関連技術の説明 約20から30年間に渡り、搾乳器に接続された乳頭カップと、乳頭クリーニ ング装置と、乳頭検査装置とを含む構成の搾乳装置を、牛等の乳汁を分泌する動 物の乳頭に自動的に装着することが可能であって、動物の搾乳手順を通じて作業 者による介在の必要性をなくするような技術に関して多くの提案がなされてきた 。 その他の搾乳手順に関してはかなり長い間自動技術が利用可能となっているこ とから、人による常時介在が不要であって、いわゆる「オンデマンド式搾乳」体 制を可能にする乳頭カップの装着段階の自動化が搾乳手順の完全自動化の開発に おける主たる障害となっている。 動物側の安全性及び快適さ、乳汁の衛生状態及び経済効果といった多くの理由 から、装着段階は極めて高信頼性でなければならない。即ち、動物が搾乳のため に存在するあらゆる状況において、乳頭カップは乳頭に迅速かつ正確に装着され なければならない。また、装着段階を実行する器具は、困難な状況においても作 動しなければならず、頑丈であることが要求され、同時にあまり高価でないもの でなければならない。 欧州特許公開第306579号公報は、全体センサと局部センサとの組み合わ せによって乳頭カップを乳頭に案内することを開示している。全体センサは畜舎 に沿って取り付けられ、レーザからの光のシートを畜舎内の搾乳用の動物の乳房 及び乳頭が存在していると思われる区域に向けて投射する。光のシートは乳房及 び乳頭が存在すればその上に投じ、乳房及び乳頭上に光の線を生成する。光のシ ートは、その区域を通って任意の位置にまで至ることが可能である。センサには その一部としてカメラが取り付けられており、光線による画像を形成する。画像 は、光シートに照射された乳頭の不連続線を含んでいる。こうした線は制御装置 において解析され、(1つ又は複数の)乳頭の位置が発見されて、三角法により 縦軸及び横軸の座標が算出される。制御装置に記憶されている座標の基準値は、 探索及び計算時間を制限して解析を支援する。算出された座標は、局部センサを 乳頭の区域へ持っていくために使用される。基準座標の認識を使用すれば、画像 解析を画像において乳頭の発見が予測される部分に限定することが可能であるた め、計算時間が短縮される。 欧州特許公開第647393号公報は、牛等の動物を搾乳するための器具を開 示している。本器具は、乳頭カップを運搬可能なロボットアームと、レーザ送信 機要素と受信機要素とを含んでいる。受信機要素はダイオード検出器を含み、ダ イオード検出器は、3つのパラメータ、即ちセンサ手段から対象物までの距離d 、各々対象物に沿って移動するレーザビームの初期角度と最終角度を示す角度α1 及びα2によって決定される信号を供給する。この器具は、従来型の動物認識デ ータソースを使用して搾乳場に到達した動物を識別する。動物が認識されれば、 各動物に関してその動物の固定点に対する乳房の乳頭の位置が分かるため、本器 具にとって動物の認識は重要である。 第1の開示(欧州特許公開第306579号公報)は、2つのセンサが必要で ある、またそのうちの1つは畜舎に沿った露呈された位置に取り付けられなけれ ばならない、という欠点を有している。 上述の開示は全て、動物に関するいわゆる経歴データ、即ち前回の搾乳時には 乳頭が乳房のどこに位置していたかに関するデータを使用しなければならない。 これらはまた、動物が入る畜舎を使用しなければならない。発明の要約 本発明の目的は、自動搾乳手順のための改善された乳頭配置技術を提供するこ とにある。 本発明によれば、動物の少なくとも1つの部位の位置を認識して決定するため の装置が提供される。本装置は構造化された光のソースを含み、前記光によって 同時に或いは別々に照射される対象が少なくとも2つの照射領域に分割され、照 射される2つの領域が各々非照射領域によって分離されるような方法で前記少な くとも1つの部位を含むことが予測される区域を照射する。本装置はまた、前記 光によって形成される少なくとも1つの画像を捕捉して画像信号を供給するよう に配置された画像捕捉手段と、前記捕捉された画像信号に応答する画像信号処理 手段と、照射された対象の画像を異なる対象を定義した参照基準と比較して照射 された対象が前記部位であるかどうかを決定し、前記照射された対象が動物の前 記部位であることが確定されればその位置を確定する制御手段とを備えている。 本装置はさらに、動物関連装置と、前記動物関連装置を決定された前記部位の位 置へと案内する手段とを備えている。本発明による装置の主たる利点は、それが 動物に関するいわゆる経歴データの使用を必要としないことにある。動物は特別 の畜舎に入る必要がなく、勝手に歩き回ることができる。他の利点としては、動 物の異なる部位の識別が容易であることがある。 構造化された光のソースは発光装置であり、前記少なくとも2つの照射された 領域の各々は線又は点の形式であり、線又は点の数は制御手段が照射された対象 を識別できるようなものとするのが有利である。これにより、照射された対象の 容易な識別が達成される。 本発明の装置の他の実施形態によれば、構造化された光のソースは少なくとも 2つの発光装置であって、各発光装置は発光ビームを発生させ、2つの連続する 発光ビームはそれぞれ角度αによって分離され、また前記少なくとも2つの照射 された領域の各々は線又は点の形式であり、線又は点の数は制御手段が照射され た対象を識別できるようなものである。 本発明の装置のさらに他の実施形態によれば、構造化された光のソースは少な くとも2つの発光装置であって、各発光装置は発光面を発生させ、垂直面におけ る2つの連続する発光面はそれぞれ角度αによって分離され、また前記少なくと も2つの照射された領域の各々は線の形式であり、線の数は制御手段が照射され た対象を識別できるようなものである。 好適には、垂直面において、最下位の発光ビーム又は発光面は支持された乳頭 カップの口部の中心より僅かに距離dだけ上を通るように配置される。 発光ビーム又は発光面の数は2つであり、前記角度αは好適には8°であり、 また前記距離dは好適には8.5mmであるのが有利である。 本装置はまた発光ビームの走査動作のために供給された支持手段を備えていれ ば好適である。 本発明の装置の第1の実施形態によれば、発光ビームは、前記支持手段によっ て実質的な水平面において走査動作を実行する。 本発明の装置の第2の実施形態によれば、発光ビームは、前記支持手段によっ て実質的な垂直面において走査動作を実行する。 本発明の装置の第3の実施形態によれば、発光ビームは、前記支持手段によっ て実質的な傾斜面において走査動作を実行する。 本発明の装置の第4の実施形態によれば、支持手段は主としてジグザグ式に動 作する。 1つ又は複数の走査面又は発光面は、連続する2つの走査面又は発光面間の距 離が発光ビームの幅よりも大きくなるような方法で順次移動する。これにより、 線の供給が達成される。 好適には、対象の照射時に異なる走査面又は発光面から取得される画像信号は 、完成画像内に平行線を発生させる。 対象の照射時に異なる走査面又は発光面から取得される画像信号は、完成画像 内に発散する線を発生させるのが有利である。 本発明の第3の実施形態によれば、上記装置はまた、発光装置の前に配置され たスリット又はラスターを有するスクリーンを備えている。このため、可動部品 なしに、即ち走査動作なしに線が供給される。 好適には、対象の照射時にスリットを有するスクリーン又はラスターから取得 される画像信号は、画像に複数の線又は発散する線もしくは複数の傾斜線を発生 させる。 本発明の装置の他の実施形態では、効果的には、本装置はまた、予め決められ たパターンで配置された複数の貫通穴を有する、発光装置の前に配置されたスク リーンを備えている。これにより、点の供給が達成される。 好適には、対象の照射時に予め決められたパターンで配置された貫通穴を有す るスクリーンから取得される画像信号は、画像内に配置される複数の点を発生さ せる。 好適には、画像処理手段は異なる画像信号を処理して関係のある線又は点と関 係のない線又は点とを区別し、これにより関係のある線は2cm〜7cmの長さ を有する線として限定され、関係のある点は2cm〜7cmの長さを有する虚線 上に配置された点として限定されて照射された対象の完成画像が供給され、完成 画像は制御手段によって完成画像と異なる対象を定義する参照基準との比較に使 用される。本装置はまた、画像信号を濾波して関係のない線又は点を除去するた めのフィルタ手段を備えている。これにより、動物の部位の位置の認識及び決定 におけるより高い品質が達成される。 制御手段は、前記線又は点を各線又は点の平面における位置、及び前記平面に おける各線又は点の前記平面における長さに依存して異なるグループに纏めるの が有利である。 好適には、制御手段は各グループの位置を計算するが、この位置は前記グルー プ内の各線又は点の位置の平均値であり、各グループは1つの対象を表している 。これにより、動物が移動している場合であっても、動物の探索されている部位 の位置の認識及び決定がより高い品質で達成される。 好適には、支持手段は前記グループの位置動作に対応して動かされる。 動物関連装置は乳頭搾乳カップ、乳頭クリーニング装置及び乳頭検査装置のう ちの1つであり、部位は乳汁を分泌する動物の乳頭であるのが有利である。 部位はまた、乳汁を分泌する動物の臀部である場合もある。 構造化された光のソースは支持された乳頭カップの口部より上を通るように配 置されており、画像捕捉手段は構造化された光を通じてカップの口部を見渡すよ うに配置されたビデオカメラである。 好適には、ビデオカメラはCCD(電荷結合素子)タイプのカメラである。 画像処理手段は、捕捉された画像信号から乳頭画像信号である可能性のあるも のを含む部分を選択し、選択された部分のみを処理する手段を含むのが有利であ り、これにより乳頭画像信号の連続処理間の時間が短縮される。 好適には、画像信号処理手段は、選択された乳頭の乳頭カップ入口点の位置を 前記捕捉された画像信号に供給する。 画像信号処理手段は、乳頭画像である可能性のある信号及び乳頭カップ入口点 信号を含む選択された部分によって表される空間離隔距離を定量化し、前記ガイ ド手段に適正な制御情報を提供する手段を含んでいれば有利である。 好適には、前記空間離隔距離が大きいほど、制御情報はガイド手段をより高速 で動作させる。これにより、本発明の装置によるより高速の作動が達成される。 支持手段は、ロボットアームと、ロボットアーム上に配置された少なくとも1 つの発光装置とを備えているのが有利である。 他の実施形態によれば、支持手段は、ロボットアームと、ロボットアーム上に 配置された少なくとも1つの発光装置と、(1つ又は複数の)発光ビームに走査 動作を行わせるピボット手段とを備えている。 好適には、線の数は2つである。 発光装置はレーザ発射装置であるのが有利である。 他の実施形態によれば、発光装置は赤外線発射装置である。 さらなる実施形態によれば、発光装置は電球であり、本発明装置はまた電球か らの光を分散させる1つ又は複数のレンズを備えている。 さらに他の実施形態によれば、各発光装置はレーザ発射装置であり、本発明装 置はまたレーザ発射ビームを各レーザ発射装置からレーザ発射面へと分散させる 1つ又は複数のレンズを備えており、最下位のレーザ発射面を使用して前記部位 の先端の位置が決定される。 本発明の他の目的は、動物の少なくとも1つの部位の位置を認識して決定する ための方法を提供することにある。本方法は、以下のような段階を含んでいる。 即ち、 − 前記光によって同時に或いは別々に照射される対象が少なくとも2つの照射 領域に分割され、2つの照射領域が各々非照射領域によって分離されるような方 法で、前記少なくとも1つの部位を含むことが予測される区域を構造化された光 によって照射する段階と、 − 前記光によって形成される少なくとも1つの画像を捕捉して画像信号を供給 する段階と、 − 前記画像信号を処理し、照射された対象の画像を異なる対象を定義した参照 基準と比較することによって照射された対象が前記部位であるかどうかを決定し 、前記照射された対象が動物の前記部位であることが確定されればその位置を確 定する段階と、 − 動物関連装置を前記部位の決定された位置へと案内するための情報を提供す る段階とを含んでいる。本発明による方法の主たる優位点は、それが動物に関す るいわゆる経歴データの使用を必要としないことにある。動物は特別の畜舎に入 る必要がなく、勝手に歩き回ることができる。他の優位点としては、動物の異な る部位の識別が容易であることがある。 上記方法は、 − 前記対象を発光ビームによって照射する段階を含み、前記少なくとも2つの 照射領域はそれぞれ線又は点の形式であり、また、 − 線又は点の数は、それが照射される対象の識別を可能にするようなものであ ればさらに有利である。これにより、照射された対象の容易な識別が達成される 。 本発明の他の実施形態によれば、上記方法は、 − 前記対象を少なくとも2つの発光ビームによって照射する段階を含み、垂直 面における2つの連続する発光ビームはそれぞれ角度αによって分離され、前記 少なくとも2つの照射された領域の各々は線又は点の形式であり、また、 − 線又は点の数は照射された対象の識別を可能にするようなものである。 本発明のさらに他の実施形態によれば、上記方法は、 − 前記対象を少なくとも2つの発光面によって照射する段階を含み、垂直面に おける2つの連続する発光面はそれぞれ角度αによって分離され、前記少なくと も2つの照射された領域の各々は線の形式であり、また、 − 線の数は照射された対象の識別を可能にするようなものである。 好適には、上記方法はまた、 − 垂直面において、支持された乳頭カップの口部の中心より僅かに距離dだけ 上を最下位として発光ビーム又は発光面を通す段階を含んでいる。 発光ビーム又は発光面の数は2つであるのが有利である。 好適には、上記方法はまた、 − 発光ビームを主としてジグザク式の動作を行うように動かす段階を含んでい る。 上記方法はまた、 − 実質的な水平面において走査動作を行うように発光ビームを旋回させる段階 と、 − 走査中、走査面を部位より下の位置から部位の位置として決定可能な位置へ と上向きに移動させる段階とを含んでいると有利である。 本発明の他の実施形態によれば、上記方法は、 − 実質的な垂直面において走査動作を行うように発光ビームを旋回させる段階 を含んでいる。上記方法はまた、 − 1つ又は複数の走査面又は発光面を、連続する走査面又は発光面間の距離が 発光ビームの幅より大きくなるように順次移動させる段階を含んでいる。これに より、線の供給が達成される。 好適には、上記方法は、 − 対象の照射時に異なる走査面又は発光面から完成画像内に平行線又は発散す る線を発生させる画像信号を取得する段階を含んでいる。 本発明の有利な第2の実施形態では、上記方法はまた、 − 発光ビームの前にスリットを有するスクリーン又はラスターを配置する段階 と、 − 対象の照射時に画像内に複数の線又は発散する線もしくは複数の傾斜線を発 生させる画像信号を取得する段階とを含んでいる。これにより、線を供給する他 の方法が達成される。 好適には、上記方法は、 − 予め決められたパターンで配置された複数の貫通穴を有するスクリーンを発 光ビームの前に配置する段階と、 − 対象の照射時に画像内に配置される複数の点を発生させる画像信号を取得す る段階とを含んでいる。これにより、点の供給が達成される。 好適には、上記方法はまた、 − 異なる画像信号を処理して関係のある線又は点と関係のない線又は点とを区 別し、これにより関係のある線は2cm〜7cmの長さを有する線として限定さ れ、関係のある点は2cm〜7cmの長さを有する虚線上に配置された点として 限定されて照射された対象の完成画像が供給される段階と、また、 − 画像信号を濾波して関係のない線又は点を除去し、完成画像は異なる対象を 定義する参照基準と完成画像との比較に使用される段階とを含んでいる。これに より、動物の部位の位置の認識及び決定におけるより高い品質が達成される。 上記方法はまた、 − 前記線又は点を、各線又は点の平面における位置、及び前記平面における各 線又は点の前記平面における長さに依存して異なるグループに纏める段階を含ん でいるの有利である。 好適には、上記方法はまた、 − 各グループの位置を計算する段階を含み、この位置は前記グループ内の各線 又は点の位置の平均値であり、各グループは1つの対象を表している。これによ り、動物が移動している場合であっても、動物の探索されている部位の位置の認 識及び決定がより高い品質で達成される。 好適には、上記方法はまた、 − 1グループの前記位置の動きに依存して発光ビーム又は発光面を移動させる 段階を含んでいる。 本方法はまた、 − 捕捉された画像信号から部位である可能性のある画像信号を含む部分を選択 する段階と、 − 選択された部分のみを処理する段階と、 − 選択された乳頭の乳頭カップ入口点の位置を前記捕捉された画像信号に供給 する段階とを含み、前記部位は乳頭であり、 − 乳頭である可能性のある画像信号及び乳頭カップ入口点信号を含む選択され た部位によって表される空間離隔距離を定量化する段階と、 − 前記離隔距離の量を基礎として前記ガイド情報を供給する段階と、 − 離隔距離が大きいほど、より高速で動作させるためのガイド情報を供給する 段階とを含んでいるのが有利である。これにより、本発明の方法によるより高速 の作動が達成される。 好適には、上記方法は、 − ビデオカメラで区域を見ることによって画像を捕捉する段階を含んでいる。 有利には、上記方法はまた、 − ビデオカメラを観察軸に沿って下から構造化された光へと方向付ける段階を 含んでいる。 好適には、線の数は2つである。 有利には、上記方法は、 − 前記対象をレーザ発射ビームで照射する段階を含んでいる。 他の実施形態によれば、上記方法は、 − 前記対象を赤外線ビームで照射する段階を含んでいる。 さらなる実施形態によれば、本発明は、 − 前記対象を電球で照射する段階を含み、電球からの光は1つ又は複数のレン ズによって回折される。 他の実施形態によれば、上記方法は、 − 前記対象を少なくとも2つのレーザ発射ビームで照射する段階を含み、各レ ーザ発射ビームは1つ又は複数のレンズによってレーザ発射面へと回折され、ま た、 − 垂直面における最下位のレーザ発射面を使用して前記部位の先端の位置を決 定する段階を含んでいる。 本発明の基本は、対象を一瞬或いはしばらくの間照射して対象上に数本の水平 のレーザ線等をつけるように、レーザビーム等を使って異なる対象を「仮想塗装 」することにある。この技術を使用すれば、異なる対象の輪郭を容易に識別する ことができる。こうして識別された対象の輪郭と乳頭等を定義する参照基準とを 使用して、照射された対象が乳頭であるかどうかが決定される。次いで、確定さ れた乳頭の位置が決定される。 次に、添付の図面を参照しながら本発明について説明する。図面の簡単な説明 図1は、乳頭識別画像を形成する装置の略図である。 図2は、走査動作を実行する第1の方法の略図である。 図3は、走査動作を実行する第2の方法の略図である。 図4は、画像処理ハードウェアのブロック図である。 図5a、b、cは、本発明の装置に接続して使用される異なる動物関連装置を 示している。 図6aは、カメラによって捉えられた画像の第1の例である。 図6bは、カメラによって捉えられた画像の一例であり、線の数は2つである 。 図7は、カメラによって捉えられた画像の第2の例である。 図8aは、カメラによって捉えられた画像の第3の例である。 図8bは、カメラによって捉えられた画像の一例であり、線の数は2つである 。 図9は、本発明の方法のフローチャートである。 図10は、キャリアを有するロボットアームの動作の線図である。 図11は、照射される対象とカメラによって捉えられる画像との関係を示す線 図である。 図12は、牛の識別された乳頭の位置を示す図である。 図13は、乳頭識別画像を形成する装置の第2の実施形態の一部を示す斜視図 である。 図14は、図13に開示された装置の側面図である。 図15は、照射される対象と乳頭カップの口部との関係を示す線図である。 図16は、対象が傾斜している場合の照射される対象と乳頭カップの口部との 関係を示す線図である。 図17は、図13及び14に開示された装置を使用している場合の照射される 対象と乳頭カップの口部との関係を示す線図である。実施形態の詳細な説明 図1は、乳頭識別画像を形成する装置の略図である。本装置は、開光角度が約 60°〜80°で照度が均一な光のシート12を供給する、本例ではレンズ11 の付いたイギリスのベクトルテクノロジー社製の5ミリワット装置等の小型レー ザ10である構造化された光12のソース10を備えている。この種のレーザは 極めて薄い接続ケーブルを有する直径約12ミリメートル、長さ75ミリメート ルの管であるため、ロボットアーム13の外端に取り付けられたとしても乳頭カ ップキャリアのロボットアーム13にとってさほど苛酷な追加負荷とはならない 。レーザ10は、ロボットアーム13のキャリア16内にある場合の乳頭カップ 15の口部14より少し上に光のシート12を当てるように配置されている。ロ ボットアーム13のキャリア16はまた、図5a、b及びcのような他の異なる 動物関連装置を載せることができる。 動物関連装置キャリア16上には、小型のソリッドステートカメラ17等の画 像捕捉手段17もまた取り付けられている。このカメラ17は、レンズ18の付 いた1/2インチ(12mm)の電荷結合素子カメラ(CCDカメラ)であり、 垂直面において100°の画角を供給する。カメラ17は、画角の一方の最端が 例えば乳頭カップ15の口部14の上又はその下、従って光のシート12よりも 下となり、もう一方の最端が光のシート12の面の垂線よりも後側にくるように 、光のシート12に対して一定角度を成して配置されている。カメラの画角のこ うした配置は、カメラ17から異なる距離にある対象間の識別を促進する。 本装置はまた支持手段を備えており、(レーザ発射ビームの形式である)光の シート12はこの支持手段によって実質的な水平面において走査動作を実行する 。本発明の装置の他の実施形態によれば、本装置はまた支持手段を備えており、 (レーザ発射ビームの形式である)光のシート12はこの支持手段によって実質 的な垂直面において走査動作を実行する。図2及び3は、走査動作の異なる実行 方法を示している。図2には、構造化された光12は1つ又は複数の線の形式で あり、走査動作はロボットアーム13の昇降によって、つまり結果的にはレーザ 発射装置等である構造化された光12のソース10の昇降によって実行されるよ うな状況が開示されている。図3には、構造化された光12が点形状のビームの 形式であるような状況が開示されている。走査動作は、2つの段階によって実行 される。まず第1に、レーザ発射装置10が軸Aの回りを回転され、レーザ発射 装置10の回転が十分に高速で実行されれば直線が発生する。第2に、ロボット アーム13、延てはレーザ発射装置10を昇降させてこの直線に走査動作を実行 させる。 図1にはまた、レーザ発射装置10の前に配置されたスクリーン6又はラスタ ー6が点線によって示されている。スクリーン6には、スリット又は複数の貫通 穴を供給することができる(図6及び7参照)。 レーザ10を生かすための接続は20で示され、カメラ17の信号接続及び加 圧接続は21で、また乳頭カップ15用の真空ラインは22で示されている。ロ ボットアーム13は、英国特許第2,226,941号又は英国特許第2,25 8,382号に示されているタイプ又は他の適正タイプのものとすることができ る。ロボットアームの制御指示は、ビデオカメラ情報からもたらされる。 図4は、画像捕捉ユニット及び処理装置ユニットのブロック図である。図4で は、レーザストライプ発生器が31で指示され、レーザストライプによって生成 される画像を見るカメラが32で指示されている。これらは共に、一部が36で 示されているロボットアーム上に存在している。電源ユニット33は、電子回路 ユニット34及び35、及び必要であればカメラ32を加圧する。ユニット35 は、カメラ32からの画像情報を処理して画像位置情報をユニット34に供給し 、ユニット34は、制御情報をロボット(全体は示されていない)への出力37 に供給する。電力ケーブルと信号ケーブルは、ロボットアーム上の38に纏めて 保持されている。 図4にはまた、乳頭等を定義した参照基準を使用して照射された対象が例えば 乳頭であるかどうかを決定するように配置された制御手段39が開示されており 、ここでは、照射された対象の画像が前記動物の異なる部位を定義した参照基準 と比較される。 図5a、b、cは、本発明の装置に接続して使用される異なる動物関連装置を 示している。図5aは、乳房及び/又は乳頭上の傷の検査に使用可能なビデオカ メラ40を示している。図5bは、クリーニング等のために乳房及び乳頭にスプ レーするスプレー装置42を示している。図5cが示すカップ44にはある程度 までヨウ素が充填されており、搾乳が終了するとこの中に乳頭が浸される。 動物の部位の位置を認識して決定するための本発明の装置はまた、異なる画像 信号を記憶するためのメモリ装置(図示されていない)を備えることができる。 メモリ装置は例えば画像信号処理ユニット35内に包含されることが可能であり 、画像信号処理ユニット35は、異なる画像信号を処理して関係のある線又は点 と 関係のない線又は点とを区別し、これにより関係のある線は2cm〜7cmの長 さを有する線として限定され、関係のある点は2cm〜7cmの長さを有する虚 線上に配置された点として限定されて照射された対象の完成画像が供給される。 本装置はさらに、画像信号を濾波して関係のない線又は点を除去するフィルタ手 段(図示されていない)を備えている。フィルタ手段もまた、例えば画像信号処 理ユニット35内にメモリ装置より前に接続配置して包含されることが可能であ る。本装置にはまたピボット手段が供給されることが可能であり、レーザ発射ビ ームはこのピボット手段によって実質的な水平面又は実質的な垂直面において走 査動作を実行する。ピボット手段は、例えば双方向制御式のステッパモータによ って構成することができる。本装置はまた、走査中に走査面を乳頭より下の位置 から乳頭の位置を決定可能な位置まで上向きに移動させる手段を備えることがで きる。走査面は、連続する2つの走査面間の距離がレーザ発射ビームの幅よりも 大きくなるように順次移動される。 図6aは、カメラ17、32によって捉えられた画像の第1の例である。図6 aは、照射された対象が乳頭50である場合の一例を示している。図6aは、画 像信号処理手段35における処理の後の完成画像を示している。この場合、本発 明による装置はピボット手段と走査面を移動させる手段とを備えており、レーザ 発射ビームは実質的な水平面において走査動作を実行する。第1の走査面では、 レーザ発射装置10、31は第1の線521で乳頭50を照射する。この線521 の画像信号はカメラ17、32によって捕捉され、メモリ装置に記憶される。次 いで走査面は上へと移動され、レーザ発射装置10、31が第2の線522で乳 頭50を照射する。この第2の線522の画像信号もカメラ17、32によって 捕捉され、メモリ装置に記憶される。この工程は、対象が例えば乳頭として識別 可能になるまで継続される。この場合、乳頭50はn本の線によって照射される 。但し、n≧2である。異なる線521,...,52nの画像信号はメモリ装置 に記憶され、画像信号処理手段35において完成画像へと「バッファ」される。 異なる画像信号はまた、外乱による関係のない線541,...,54nも含んで いる。こうした関係のない線541,...,54nはフィルタ手段によって除去 されるため、実際には完成画像から除去されている。これらは、図4において単 に工程 の説明上示されているだけである。完成画像においては、異なる線521,.. .,52nは照射されていない領域561,...,56n-1によって隔絶されて いる。完成画像は明白なコントラストを有しており、異なる対象は制御手段39 によって容易に識別が可能である。制御手段39は、例えば乳頭を定義する参照 基準を使用して対象が乳頭であるかどうかを決定する。次いで、画像信号処理手 段35が確定された乳頭の位置を決定する。 図6aでは、乳頭50が、この場合は少なくとも6本であるn本の線によって 照射されている。しかしながら、僅か2本であっても、十分な結果を達成可能で あること、即ち対象の乳頭等としての識別が可能であることが経験によって証明 されている。図6bには、こうした状況及び好適な実施形態が開示されている。 図6a又は6bの完成画像はまた、ピボット手段の代わりにレーザ発射装置の 前に配置されたスリット付きのスクリーン6又はラスター6を備えた装置を使用 して達成することができる。こうした場合、レーザ発射ビームは走査動作を実行 しない。 図6a又は6bに開示されている線521,...,52nは、発散する線(図 示されていない)ともすることができる。これは、スリット付きのスクリーン又 はラスター、もしくはピボット手段の双方によって達成することができる。 図7は、カメラ17、32によって捉えられた画像の第2の例である。図7は 、照射された対象が乳頭60である場合の一例を示している。図7は、画像信号 処理手段35における処理の後の完成画像を示している。この場合、本発明によ る装置は、予め決められたパターンで配置された複数の貫通穴を有する、レーザ 発射装置10、31の前に配置されたスクリーンを備えている。レーザ発射ビー ム12によって乳頭60が照射されると、複数の点621,...,62nが画像 内に配置されて発生する。 以後の工程は、図6a及び6bに関連して記述したものと同様である。 図8aは、カメラ17、32によって捉えられた画像の第3の例である。図8 aは、照射された対象が牛の臀部51である場合の一例を示している。図8aは 、画像処理手段35における処理の後の完成画像を示している。この場合、牛の 臀部51はn本の線によって照射される。但し、n≧2である。異なる線521 ,..., 52nの画像信号はメモリ装置に記憶され、画像信号処理手段35において完成 画像へと「バッファ」される。この場合の参照基準は、図6a及び6bによる場 合よりも線が長い。以後の工程は、図6a及び6bに関連して記述したものと同 様である。 図8bには、線が2本である場合の好適な実施形態が開示されている。経験上 、僅か2本であっても十分な結果を達成可能であること、即ち対象を臀部51と して識別可能であることが証明されている。 図9は、本発明の方法のフローチャートである。本方法は、ブロック70で開 始される。続くブロック72で、本方法は、構造化された光によって少なくとも 1つの乳頭を含むことが予測される区域を、前記光によって同時に或いは別々に 照射される対象が少なくとも2つの照射領域に分割され、2つの照射領域の各々 が非照射領域によって隔絶されるような方法で照射する。レーザを使用する文脈 における「領域」という表現は、ここでは極めて明確な輪郭を有する十分に限定 された区域を意味するものとして使用されている。レーザによって供給される点 及び線は極めて明確であり、十分に限定されている。続いて本方法は、ブロック 74で、前記光によって形成された少なくとも1つの画像を捕捉し、画像信号を 供給する。次の段階であるブロック76は、前記画像信号を処理し、乳頭等を定 義した参照基準を使用することにより照射された対象が前記部位であるかどうか を決定することで構成される。照射された対象の画像は制御手段39によって異 なる対象を定義した参照基準と比較され、前記照射された対象が動物の部位であ ればその位置が確定される。参照基準は、画像信号処理装置35に記憶されるこ とが可能である。続くブロック78で、本方法は確定された部位の位置を決定す る。次のブロック80は、動物関連装置を前記部位の決定された位置へと案内す るための情報を提供することで構成される。本方法は、ブロック82で完了する 。 図10は、キャリアを有するロボットアームの動作の線図である。図10には 、一頭の牛の4つの乳頭90、92、94、96が示されている。キャリア16 を有するロボットアーム13(図1参照)及び延てはレーザ発射装置10及びカ メラ17は、矢印Cが示すように図の向かって右から左へと、実質的にジグザク であるパターン98を描いて移動している。ロボットアーム13によるこのジグ ザ グ動作と同時に、レーザ発射装置10は走査動作等を実行する。 図11は、照射される対象とカメラによって捉えられる画像との関係を示す線 図である。100は、カメラ及びレーザ発射装置を示している。この場合、レー ザ発射装置100は2つの乳頭A、Bを照射している。光は乳頭A、Bからカメ ラ100へと反射されて戻り、これによって線A’、B’(図11の右側)の位 置及び線A’、B’の幅を測定することができる。図11から明らかなように、 カメラ100によって捉えられた画像102では線A’が線B’より上に位置し ている。これは、乳頭Aの方が乳頭Bよりカメラ100に近いことを意味してい る。カメラ100が画像を捉える場合、画像は多くの線を包含する。その各線が x、y位置及び長さdを有している。これらの線は全て、制御手段により、面に おける各線の位置及び前記面における各線の長さに依存して異なるグループに纏 められる。既存のグループに近い線はそのグループに加えられ、当該グループの 新規位置は、加えられた線の位置と当該グループの旧位置との平均値位置に移動 される。制御手段は、各グループのこの平均値位置の計算を実行する。但し、各 グループは1つの対象を表す。各グループのこの平均値位置の計算は、牛等が動 けば各グループの位置が移動することを意味している。各グループは、探索され る部位に依存して許容範囲を有している。この許容範囲の中にある線は全てその グループに加えられ、この許容範囲の外にある線は新規グループを限定する。線 が複数のグループに帰属可能である場合、その線は最近のグループに加えられる 。 図12は、識別された牛の乳頭の位置を示す図である。この図には、異なる数 の線を含む4つの異なるグループ104、106、108、110が示されてい る。この場合、各グループが1つの乳頭を表している。 図13は、乳頭識別画像を形成する装置の第2の実施形態の一部を示す斜視図 である。本装置は、開光角度が約60°〜80°で照度が均一な光のシート又は 光の面(図示されていない)を供給する、本例では各々1つ又は複数のレンズの 付いた2つの小型レーザ101、102である構造化された光のソース10を備え ている。本装置はまた、構造化された光のソース10を運ぶためのロボットアー ム13と、口部14の付いた乳頭カップ15を運ぶロボットアーム13のキャリ ア16とを備えている。キャリア16上には、小型のソリッドステートカメラ1 7等である画像捕捉手段17も、この場合は2つのレーザ101、102と同じハ ウジング内に入って取り付けられている。2つのレーザ101、102は、光の面 を僅かに異なる方向に当てる(図14参照)。 図14には、図13に開示された装置の側面図が示されている。この図では、 第1のレーザ101が第1の光の面121を供給し、第2のレーザ102が第2の 光の面122を供給していることが分かる。垂直面では、こうした2つの光の面 121、122は角度αだけずれている。第2のレーザ102は、第2の光の面1 22が乳頭カップ15の口部14より僅か距離dだけ上を通るように配置されて いる。α及びdの値は、装置の形状によって決定される。αの一例は8°であり 、dの一例は8.5mmである。この第2の光の面122を使用する本実施形態 は、かえって乳頭上への口部14の配置をより迅速かつ安全にする。但し、本実 施形態は単に2つのレーザには限定されない。垂直面において最下位の光の面1 2Nが口部14の中心より僅か距離dだけ上を通るように配置される限り、本装 置はN個、但しN≧2、のレーザを備えることができる。各レーザに1つ又は複 数のレンズを供給する必要はない。この場合、121及び122はレーザビームを 示しており、本装置は支持手段を備え、レーザビームはこの支持手段によって実 質的な水平面において走査動作を実行する。以下、図15−17に関連してさら に説明を行う。 図15は、照射される対象と乳頭カップの口部との関係を示す線図である。向 かって左の状況では、乳頭50は第1の光の面121によって照射されているの みであり、線501が発生している。本装置は、既に乳頭カップの口部14を明 示された位置まで案内している。これについては図1−12に関して説明されて おり、説明は繰り返さない。右側の状況では、ソース10(図13及び14参照 )が既に上に移動し、乳頭50は第2の光の面122によっても照射されて線5 02が発生している。この第2の線502は、乳頭50の先端の正確な位置の決定 をより容易にする。 図16は、対象が傾斜している場合の照射される対象と乳頭カップの口部との 関係を示した線図である。この図から明白なように、乳頭50はかなり傾斜して いる。乳頭50が線501を発生させる第1の光の面121によって照射されるだ けであれば、状況は左側の口部14のようなものであって、口部14は乳頭50 の先端から離れるように案内される。反対に乳頭50が第2の線502を発生さ せる第2の光の面122によっても照射されれば、右側の口部の位置から明らか なように、口部14は乳頭50の先端の方に案内される。 図17は、図13及び14に開示された装置を使用している場合の照射される 対象と乳頭カップの口部との関係を示した線図である。この図では、第1の光の 面121は上側に移動していて第1の線501が乳頭50ではなく乳房に配置され て発生している。第1の線501は、乳頭50の先端から既に移動している。乳 頭50上に配置された第2の線502のために、口部14は図が示すように案内 されて配置される。 説明で言及されている構造化された光は、これまでのところ図中ではレーザ光 としてしか開示されていないが、構造化された光は、線又は点等の任意の形状を 有する赤外線又は操作された光の形式でもあり得る。操作は、光が例えばレンズ とスクリーンとの組合せを通過するということを包含することができる。 本発明は、これまでに記述した実施形態に限定されるものではなく、添付の請 求項の範囲内で多くの異なる修正が可能であることは明白である。さらに、説明 された装置及び方法が動物の経歴データの使用を必要としない場合でも、前記装 置及び方法の性能を強化する可能性があるため、こうした使用は除外されていな いことに留意しなければならない。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,DE, DK,ES,FI,FR,GB,GR,IE,IT,L U,MC,NL,PT,SE),OA(BF,BJ,CF ,CG,CI,CM,GA,GN,ML,MR,NE, SN,TD,TG),AP(GH,GM,KE,LS,M W,SD,SZ,UG,ZW),EA(AM,AZ,BY ,KG,KZ,MD,RU,TJ,TM),AL,AM ,AT,AU,AZ,BA,BB,BG,BR,BY, CA,CH,CN,CU,CZ,DE,DK,EE,E S,FI,GB,GE,GH,GM,GW,HU,ID ,IL,IS,JP,KE,KG,KP,KR,KZ, LC,LK,LR,LS,LT,LU,LV,MD,M G,MK,MN,MW,MX,NO,NZ,PL,PT ,RO,RU,SD,SE,SG,SI,SK,SL, TJ,TM,TR,TT,UA,UG,US,UZ,V N,YU,ZW

Claims (1)

  1. 【特許請求の範囲】 1. 動物の少なくとも1つの部位の位置を認識して決定するための装置であっ て、前記装置は、前記少なくとも1つの部位を含むことが予測される区域を照射 するための構造化された光(12)のソース(10;31)を備え、前記光(1 2)によって同時に或いは別々に照射される対象は少なくとも2つの照射領域( 521,522;621,622)に分割され、2つの照射領域(521,522;6 21,622)は各々非照射領域(561)によって分離され、画像捕捉手段(1 7;32)は少なくとも1つの画像を捕捉して画像信号を供給するように配置さ れ、本装置はさらに、前記捕捉された画像信号に応答する画像信号処理手段(3 5)と、照射された対象の画像を異なる対象を定義した参照基準と比較して照射 された対象が前記部位であるかどうかを決定し、前記照射された対象が動物の前 記部位であることが確定されればその位置を確定する制御手段(39)と、動物 関連装置(15;40;42,44)と、前記動物関連装置(15;40;42, 44)を前記部位の決定された位置に向かって案内する手段とを備えることを特 徴とする装置。 2. 前記画像捕捉手段(17;32)によって捕捉される前記少なくとも1つ の画像は、前記光(12)によって形成されることを特徴とする請求項1に記載 の装置。 3. 構造化された光(12)のソース(10;31)は発光装置(10;31 )であることと、前記少なくとも2つの照射領域(521,522;621,622 )の各領域は線又は点の形式であり、線又は点の数は制御手段による照射された 対象の識別を可能にするようなものであることを特徴とする請求項2に記載の装 置。 4. 構造化された光(12)のソース( )は少なくとも2つの発光装置( )であって、各発光装置は発光ビームを発生させ、2つの連続する発光ビームは 各々垂直面において角度αで分離されることと、前記少なくとも2つの照射領域 (521,522;621,622)は各々線又は点の形式であり、線又は点の数は 制御手段による照射された対象の識別を可能にするようなものであることを特徴 とする請求項2に記載の装置。 5. 構造化された光(12)のソース( )は少なくとも2つの発光装置( )であって、各発光装置は発光面を発生させ、2つの連続する発光面は各々垂直 面において角度αで分離されることと、前記少なくとも2つの照射領域(521 ,522)は線の形式であり、線の数は制御手段による照射された対象の識別を 可能にするようなものであることを特徴とする請求項2に記載の装置。 6. 垂直面において、最下位の発光ビーム又は発光面は支持された乳頭カップ (15)の口部(14)の中心より僅かに距離dだけ上を通るように配置される ことを特徴とする請求項4又は5に記載の装置。 7. 発光ビーム又は発光面の数は2であることと、前記角度αは好適には8° であり、前記距離dは好適には8.5mmであることを特徴とする請求項6に記 載の装置。 8. 前記装置はまた、少なくとも1つの発光ビームの走査動作のために供給さ れた支持手段を備えることを特徴とする請求項3又は4記載の装置。 9. 発光ビームは実質的な水平面において前記支持手段によって走査動作を行 うことを特徴とする請求項8に記載の装置。 10. 発光ビームは実質的な垂直面において前記支持手段によって走査動作を 行うことを特徴とする請求項7に記載の装置。 11. 発光ビームは実質的な傾斜面において前記支持手段によって走査動作を 行うことを特徴とする請求項7に記載の装置。 12. 支持手段は主としてジグザグ形に動作することを特徴とする請求項8に 記載の装置。 13. 1つ又は複数の走査面又は発光面は、2つの連続する走査面又は発光面 間の距離が発光ビームの幅より大きくなるように順次移動されることを特徴とす る請求項5〜12の何れか1つに記載の装置。 14. 対象の照射時に異なる走査面から取得される画像信号は、完成画像内に 平行線(521,...,522)を発生させることを特徴とする請求項13に記 載の装置。 15. 対象の照射時に異なる走査面又は発光面から取得される画像信号は、完 成画像内に発散する線を発生させることを特徴とする請求項13に記載の装置。 16. 前記装置はまた、発光装置(10;31)の前に配置されたスリットを 有するスクリーン(6)又はラスターを備えることを特徴とする請求項3に記載 の装置。 17. 対象の照射時にスリットを有するスクリーン(6)又はラスター(6) から取得される画像信号は、画像内に複数の線(521,...,52n)を発生 させることを特徴とする請求項16に記載の装置。 18. 対象の照射時にスリットを有するスクリーン又はラスター(6)から取 得される画像信号は、画像内に発散する線を発生させることを特徴とする請求項 16に記載の装置。 19. 対象の照射時にスリットを有するスクリーン(6)又はラスター(6) から取得される画像信号は、画像内に複数の傾斜線を発生させることを特徴とす る請求項16に記載の装置。 20. 前記装置はまた、予め決められたパターンで配置された複数の貫通穴を 有する、発光装置(10;31)の前に配置されたスクリーン(6)を備えるこ とを特徴とする請求項3に記載の装置。 21. 対象の照射時に予め決められたパターンで配置された貫通穴を有するス クリーン(6)から取得される画像信号は、画像内に配置される複数の点(621 ,...,62n)を発生させることを特徴とする請求項20に記載の装置。 22. 画像信号処理手段(35)は異なる画像信号を処理して関係のある線又 は点と関係のない線又は点とを区別し、これにより関係のある線は2cm〜7c mの長さを有する線として限定され、関係のある点は2cm〜7cmの長さを有 する虚線上に配置された点として限定されて照射された対象の完成画像が供給さ れ、完成画像は、制御手段(39)によって完成画像と異なる対象を定義した参 照基準との比較に使用されることを特徴とする請求項3〜21の何れか1つに記 載の装置。 23. 前記装置はまた、画像信号を濾波して関係のない線又は点を除去するフ ィルタ手段を備えることを特徴とする請求項22に記載の装置。 24. 制御手段(39)は、各線又は点の平面における位置、及び前記平面に おける各線又は点の前記平面における長さに依存して、前記線又は点を異なるグ ループに纏めることを特徴とする請求項1〜23の何れか1つに記載の装置。 25. 制御手段2(39)は各グループの位置を計算し、前記位置は前記グル ープにおける各線又は点の位置の平均値であり、各グループは1つの対象を表す ことを特徴とする請求項24に記載の装置。 26. グループの前記位置が移動すると、これに対応して前記支持手段が移動 することを特徴とする請求項25に記載の装置。 27. 部位は乳汁を分泌する動物の乳頭であることと、動物関連装置(15; 40;42,42)は乳頭搾乳カップ(15)、乳頭クリーニング装置(42) 及び乳頭検査装置(40)のうちの1つであることを特徴とする請求項1〜26 の何れか1つに記載の装置。 28. 部位は乳汁を分泌する動物の臀部であることを特徴とする請求項1〜2 6の何れか1つに記載の装置。 29. 構造化された光(12)のソース(10;31)は支持された乳頭カッ プ(15)の口部(14)より上を通るように配置され、画像捕捉手段(17; 32)は構造化された光(12)を通してカップ(15)の口部全体を観るよう に配置されたビデオカメラ(17;32)であることを特徴とする請求項1〜2 8の何れか1つに記載の装置。 30. ビデオカメラ(16;32)はCCD(電荷結合素子)タイプのカメラ であることを特徴とする請求項1〜29の何れか1つに記載の装置。 31. 画像信号処理手段(35)は捕捉された画像信号から乳頭である可能性 のある画像信号を含む部位を選択し、その選択された部位のみを処理する手段を 含み、これにより乳頭画像信号の後続処理間の時間が短縮されることを特徴とす る請求項27〜30の何れか1つに記載の装置。 32. 画像信号処理手段(35)は前記捕捉された画像信号内に選択された乳 頭の乳頭カップ(15)の入口点の位置を供給することを特徴とする請求項31 に記載の装置。 33. 画像信号処理手段(35)は、乳頭である可能性のある画像信号及び乳 頭カップ入口点信号を含む選択された部位によって表された空間離隔距離を定量 化して前記ガイド手段に適切な制御情報を供給する手段を含むことを特徴とする 請求項31又は32に記載の装置。 34. 制御情報は、前記離隔距離が大きいほどガイド手段をより迅速に動作さ せることを特徴とする請求項33に記載の装置。 35. 前記支持手段は、ロボットアーム(13)と、ロボットアーム(13) 上に配置された発光装置(10;31)とを備えることを特徴とする請求項8〜 34の何れか1つに記載の装置。 36. 前記支持手段は、ロボットアーム(13)と、ロボットアーム(13) 上に配置された発光装置(10;31)と、レーザ発射ビームが走査動作を行う 際の手段であるピボット手段とを備えることを特徴とする請求項8〜34の何れ か1つに記載の装置。 37. 線の数は2であることを特徴とする請求項3〜36の何れか1つに記載 の装置。 38. 発光装置(10;31)はレーザ発射装置(10;31)であることを 特徴とする請求項3〜37の何れか1つに記載の装置。 39. 発光装置(10;31)は赤外線発射装置であることを特徴とする請求 項3〜37の何れか1つに記載の装置。 40. 発光装置(10;31)は電球であることと、前記装置はまた電球から の光を回折させる1つ又は複数のレンズを備えることを特徴とする請求項3〜3 7の何れか1つに記載の装置。 41. 各発光装置はレーザ発射装置であることと、前記装置はまた、レーザ発 射ビームを各レーザ発射装置からレーザ発射面へと回折させる1つ又は複数のレ ンズを備え、最下位のレーザ発射面は前記部位の先端の位置を決定するために使 用されることを特徴とする請求項5〜7、13〜15、22〜35の何れか1つ に記載の装置。 42. 動物の少なくとも1つの部位の位置を認識して決定するための方法であ って、 − 前記光によって同時に或いは別々に照射される対象が少なくとも2つの照射 領域に分割され、2つの照射領域が各々非照射領域によって分離されるような方 法で、前記少なくとも1つの部位を含むことが予測される区域を構造化された光 によって照射する段階と、 − 少なくとも1つの画像を捕捉して画像信号を供給する段階と、 − 前記画像信号を処理し、照射された対象の画像を異なる対象を定義した参照 基準と比較することによって照射された対象が前記部位であるかどうかを決定し 、前記照射された対象が動物の前記部位であることが確定されればその位置を確 定する段階と、 − 動物関連装置を前記部位の決定された位置へと案内するための情報を提供す る段階とを特徴とする方法。 43. 前記光によって形成された少なくとも1つの画像を捕捉することを特徴 とする請求項42に記載の方法。 44. − 前記対象を少なくとも1つの発光ビームによって照射し、前記少な くとも2つの照射領域は各々線又は点の形式であり、また、 − 線又は点の数は、照射された対象の識別を可能にするようなものであること を特徴とする請求項43に記載の方法。 45. − 前記対象を少なくとも1つの発光ビームによって照射し、連続する 2つの発光ビームは各々垂直面において角度αで分離され、前記少なくとも2つ の照射領域は各々線又は点の形式であり、 − 線又は点の数は、照射された対象の識別を可能にするようなものであること を特徴とする請求項43に記載の方法。 46. − 前記対象を少なくとも1つの発光面によって照射し、連続する2つ の発光面は各々垂直面において角度αで分離され、前記少なくとも2つの照射領 域は各々線の形式であり、 − 線の数は、照射された対象の識別を可能にするようなものであることを特徴 とする請求項43に記載の方法。 47. 乳頭カップ(15)の口部(14)の中心より僅かに距離dだけ上を垂 直面における最下位として発光ビーム又は発光面を通すことを特徴とする請求項 45又は46に記載の方法。 48. 発光ビーム又は発光面の数は2であることを特徴とする請求項47に記 載の方法。 49. − 発光ビームを主としてジグザグ式の動作を行うように移動させるこ とを特徴とする請求項44又は45に記載の方法。 50. − 実質的な水平面において走査動作を行うように発光ビームを旋回さ せることと、 − 走査中、走査面を部位より下の位置から部位の位置として決定可能な位置へ と上向きに移動させること、を特徴とする請求項49に記載の方法。 51. − 発光ビームを実質的な垂直面において走査動作を行うように旋回さ せることを特徴とする請求項49に記載の方法。 52. 1つ又は複数の走査面又は発光面を、連続する2つの走査面又は発光面 間の距離が発光ビームの幅より大きくなるように順次移動させることを特徴とす る請求項46、50又は51に記載の装置。 53. 対象の照射時に異なる走査面又は発光面から完成画像内に平行線を発生 させる画像信号を取得することを特徴とする請求項52に記載の装置。 54. 対象の照射時に異なる走査面又は発光面から完成画像内に発散する線を 発生させる画像信号を取得することを特徴とする請求項52に記載の装置。 55. − 発光ビームの前にスリットを有するスクリーン又はラスターを配置 することと、 − 対象の照射時に画像内に複数の線を発生させる画像信号を取得することと、 − 対象の照射時に画像内に発散する線を発生させる画像信号を取得することと 、 − 対象の照射時に画像内に複数の線である傾斜線を発生させる画像信号を取得 することを特徴とする請求項44に記載の方法。 56. − 予め決められたパターンで配置された複数の貫通穴を有するスクリ ーンを発光ビームの前に配置することと、 − 対象の照射時に画像内に配置される複数の点を発生させる画像信号を取得 することを特徴とする請求項44に記載の方法。 57. − 異なる画像信号を処理して関係のある線又は点と関係のない線又は 点とを区別し、これにより関係のある線は2cm〜7cmの長さを有する線とし て限定され、関係のある点は2cm〜7cmの長さを有する虚線上に配置された 点として限定されて照射された対象の完成画像が供給されることと、 − 画像信号を濾波して関係のない線又は点を除去し、完成画像は異なる対象を 定義した参照基準と完成画像との比較に使用されることを特徴とする請求項43 〜56の何れか1つに記載の方法。 58. − 前記線又は点を、各線又は点の平面における位置、及び前記平面に おける各線又は点の前記平面における長さに依存して異なるグループに纏めるこ とを特徴とする請求項43〜57の何れか1つに記載の方法。 59. 各グループの位置を計算することを特徴とし、前記位置は前記グループ 内の各線又は点の位置の平均値であり、各グループは1つの対象を表す請求項5 8に記載の方法。 60. 1グループの前記位置の動きに依存して発光ビーム又は発光面を移動さ せることを特徴とする請求項59に記載の方法。 61. − 捕捉された画像信号から部位である可能性のある画像信号を含む部 分を選択することと、 − 選択された部位のみを処理することを特徴とする請求項43〜60の何れか 1つに記載の方法。 62. 選択された乳頭の乳頭カップ入口点の位置を前記捕捉された画像信号に 供給することを特徴とし、当該部位は乳頭である請求項61に記載の方法。 63. − 乳頭である可能性のある画像信号及び乳頭カップ入口点信号を含む 選択された部位によって表される空間離隔距離を定量化することと、 − 前記離隔距離の量を基礎として前記ガイド情報を供給することを特徴とする 請求項62に記載の方法。 64. − 離隔距離が大きいほど、より高速で移動させるためのガイド情報を 供給することを特徴とする請求項63に記載の方法。 65. − ビデオカメラで区域を観ることによって画像を捕捉することを特徴 とする請求項43〜64の何れか1つに記載の方法。 66. ビデオカメラを観察軸に沿って下から構造化された光へと方向付けるこ とを特徴とする請求項43〜65の何れか1つに記載の方法。 67. 線の数は2であることを特徴とする請求項44〜66の何れか1つに記 載の方法。 68. 前記対象を発光ビームで照射することを特徴とする請求項44〜67の 何れか1つに記載の方法。 69. 前記対象を赤外線ビームで照射することを特徴とする請求項44〜67 の何れか1つに記載の方法。 70. 前記対象を電球で照射することを特徴とし、電球からの光は1つ又は複 数のレンズによって回折される請求項44〜67の何れか1つに記載の方法。 71. − 前記対象を少なくとも2つのレーザ発射ビームで照射し、各レーザ 発射ビームは1つ又は複数のレンズによってレーザ発射面へと回折されることと 、 − 垂直面における最下位のレーザ発射面を使用して前記部位の先端の位置を決 定することを特徴とする請求項45〜48、52〜54、57〜66の何れか1 つに記載の方法。
JP54265398A 1997-04-04 1997-12-19 動物の部位の位置を認識して決定するための装置と方法 Expired - Fee Related JP3919825B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE9701231A SE9701231D0 (sv) 1997-04-04 1997-04-04 Apparatus and method for recognising and determining the position of part of an animal
SE9701231-4 1997-04-04
PCT/SE1997/002194 WO1998044782A1 (en) 1997-04-04 1997-12-19 Apparatus and method for recognising and determining the position of a part of an animal

Publications (2)

Publication Number Publication Date
JP2001519661A true JP2001519661A (ja) 2001-10-23
JP3919825B2 JP3919825B2 (ja) 2007-05-30

Family

ID=20406431

Family Applications (1)

Application Number Title Priority Date Filing Date
JP54265398A Expired - Fee Related JP3919825B2 (ja) 1997-04-04 1997-12-19 動物の部位の位置を認識して決定するための装置と方法

Country Status (8)

Country Link
US (1) US6227142B1 (ja)
EP (1) EP0975211B2 (ja)
JP (1) JP3919825B2 (ja)
AU (1) AU5506298A (ja)
DE (1) DE69720798T3 (ja)
IL (1) IL132194A (ja)
SE (1) SE9701231D0 (ja)
WO (1) WO1998044782A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE9704779D0 (sv) * 1997-12-19 1997-12-19 Alfa Laval Agri Ab A device for gripping an animal related means
SE517179C2 (sv) * 1998-07-24 2002-04-23 Alfa Laval Agri Ab Anordning och förfarande för att fastställa en plats för ett djurrelaterat organ
SE517285C2 (sv) * 1998-07-24 2002-05-21 Delaval Holding Ab Anordning för automatisk mjölkning av ett djur
NL1010829C2 (nl) * 1998-12-16 2000-06-19 Prolion Bv Inrichting en werkwijze voor het melken van dieren en een vervuilingsmeter.
SE517052C2 (sv) * 1999-09-15 2002-04-09 Alfa Laval Agri Ab Apparat och metod för spenkoppsapplicering med hjälp av två alternerande ljuskällor och en kamera
DE29919989U1 (de) * 1999-11-15 2000-02-17 Leuze Electronic Gmbh & Co Optoelektronische Vorrichtung
SE0002720D0 (sv) * 2000-07-19 2000-07-19 Delaval Holding Ab A method and an apparatus for examination of milking animals
DE602004000749T2 (de) * 2003-09-30 2007-02-08 Lely Enterprises Ag Vorrichtung und Verfahren zum Melken eines milchgebenden Tieres
NL1024522C2 (nl) * 2003-10-13 2005-04-14 Lely Entpr Ag Melkbekerdrager.
CA2539645C (en) 2006-03-15 2020-04-28 Lmi Technologies Inc. Time of flight teat location system
SE530339C2 (sv) 2006-07-13 2008-05-06 Delaval Holding Ab En apparat och förfarande för att igenkänna och bestämma en position
NL1034502C2 (nl) * 2007-10-12 2009-04-15 Lely Patent Nv Melkinrichting.
US9161511B2 (en) 2010-07-06 2015-10-20 Technologies Holdings Corp. Automated rotary milking system
US8720382B2 (en) 2010-08-31 2014-05-13 Technologies Holdings Corp. Vision system for facilitating the automated application of disinfectant to the teats of dairy livestock
US10111401B2 (en) 2010-08-31 2018-10-30 Technologies Holdings Corp. System and method for determining whether to operate a robot in conjunction with a rotary parlor
US9149018B2 (en) 2010-08-31 2015-10-06 Technologies Holdings Corp. System and method for determining whether to operate a robot in conjunction with a rotary milking platform based on detection of a milking claw
US8800487B2 (en) 2010-08-31 2014-08-12 Technologies Holdings Corp. System and method for controlling the position of a robot carriage based on the position of a milking stall of an adjacent rotary milking platform
WO2012123944A1 (en) 2011-03-17 2012-09-20 Mirobot Ltd. Human assisted milking robot and method
WO2012123948A1 (en) * 2011-03-17 2012-09-20 Mirobot Ltd. System and method for three dimensional teat modeling for use with a milking system
US9058657B2 (en) 2011-04-28 2015-06-16 Technologies Holdings Corp. System and method for filtering data captured by a 3D camera
EP2701494B1 (en) * 2011-04-28 2017-03-29 Technologies Holdings Corp. Milking box with robotic attacher
US8903129B2 (en) 2011-04-28 2014-12-02 Technologies Holdings Corp. System and method for filtering data captured by a 2D camera
US9681634B2 (en) 2011-04-28 2017-06-20 Technologies Holdings Corp. System and method to determine a teat position using edge detection in rear images of a livestock from two cameras
US9043988B2 (en) 2011-04-28 2015-06-02 Technologies Holdings Corp. Milking box with storage area for teat cups
US9049843B2 (en) 2011-04-28 2015-06-09 Technologies Holdings Corp. Milking box with a robotic attacher having a three-dimensional range of motion
US8683946B2 (en) 2011-04-28 2014-04-01 Technologies Holdings Corp. System and method of attaching cups to a dairy animal
US9107378B2 (en) 2011-04-28 2015-08-18 Technologies Holdings Corp. Milking box with robotic attacher
US9215861B2 (en) 2011-04-28 2015-12-22 Technologies Holdings Corp. Milking box with robotic attacher and backplane for tracking movements of a dairy animal
US8671885B2 (en) 2011-04-28 2014-03-18 Technologies Holdings Corp. Vision system for robotic attacher
US9107379B2 (en) 2011-04-28 2015-08-18 Technologies Holdings Corp. Arrangement of milking box stalls
US9258975B2 (en) 2011-04-28 2016-02-16 Technologies Holdings Corp. Milking box with robotic attacher and vision system
US8885891B2 (en) 2011-04-28 2014-11-11 Technologies Holdings Corp. System and method for analyzing data captured by a three-dimensional camera
US10127446B2 (en) 2011-04-28 2018-11-13 Technologies Holdings Corp. System and method for filtering data captured by a 2D camera
US9161512B2 (en) 2011-04-28 2015-10-20 Technologies Holdings Corp. Milking box with robotic attacher comprising an arm that pivots, rotates, and grips
US8746176B2 (en) 2011-04-28 2014-06-10 Technologies Holdings Corp. System and method of attaching a cup to a dairy animal according to a sequence
US10357015B2 (en) 2011-04-28 2019-07-23 Technologies Holdings Corp. Robotic arm with double grabber and method of operation
US9265227B2 (en) 2011-04-28 2016-02-23 Technologies Holdings Corp. System and method for improved attachment of a cup to a dairy animal
US9357744B2 (en) 2011-04-28 2016-06-07 Technologies Holdings Corp. Cleaning system for a milking box stall
US10349614B2 (en) * 2016-08-17 2019-07-16 Technologies Holdings Corp. Vision system for teat detection

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2408300A1 (fr) * 1977-11-12 1979-06-08 Akermann David Procede et appareil pour la traite des vaches
NL8600076A (nl) * 1986-01-16 1987-08-17 Lely Nv C Van Der Werkwijze en inrichting voor het melken van een dier.
EP0306579B1 (fr) 1987-09-08 1992-01-02 Centre National Du Machinisme Agricole, Du Genie Rural, Des Eaux Et Des Forets (Cemagref) Installation de traite automatique
FR2595197B1 (fr) * 1986-03-07 1988-11-18 Cemagref Installation de traite automatique
DE3702465A1 (de) * 1987-01-28 1988-08-11 Duevelsdorf & Sohn Gmbh & Co K Verfahren und vorrichtung zum melken und ggfs. fuettern von freilaufenden, identifizierungsmittel tragenden kuehen
DE68928724T2 (de) * 1988-01-08 1998-11-05 Prolion Bv Verfahren und Robotsystem zum Suchen eines bewegenden Objekts
NL8802332A (nl) * 1988-09-21 1990-04-17 Lely Nv C Van Der Inrichting voor het melken van een dier.
US5046353A (en) 1989-01-26 1991-09-10 Tracer Research Corporation Underground pipe leak detection system
DE4113700A1 (de) * 1991-04-26 1992-10-29 Dieter Dipl Ing Schillingmann Verfahren zum automatischen melken von in melkboxen stehenden milchkuehen, sowie melkbox, roboter und melkmodul zur durchfuehrung dieses verfahrens
IT1247949B (it) * 1991-05-20 1995-01-05 Felice Farina Apparecchiatura per il lavaggio automatico di capezzoli di bovini o altri animali da latte
US5412420A (en) 1992-10-26 1995-05-02 Pheno Imaging, Inc. Three-dimensional phenotypic measuring system for animals
NL9401113A (nl) * 1994-07-04 1996-02-01 Maasland Nv Constructie met een inrichting voor het automatisch melken van dieren.
NL9401681A (nl) * 1994-10-12 1996-05-01 Maasland Nv Werkwijze en inrichting voor het automatisch melken van dieren, zoals koeien.
US5615003A (en) 1994-11-29 1997-03-25 Hermary; Alexander T. Electromagnetic profile scanner
NL9500006A (nl) 1995-01-02 1996-08-01 Gascoigne Melotte Bv Werkwijze en inrichting voor het positioneren van speenbekers.
SE9503792D0 (sv) * 1995-10-27 1995-10-27 Tetra Laval Holdings & Finance Teat location for milking
DE19548347A1 (de) * 1995-12-22 1997-07-03 Westfalia Separator Ag Verfahren zum maschinellen Ansetzen von Melkbechern

Also Published As

Publication number Publication date
JP3919825B2 (ja) 2007-05-30
EP0975211A1 (en) 2000-02-02
DE69720798T3 (de) 2010-07-08
EP0975211B1 (en) 2003-04-09
WO1998044782A1 (en) 1998-10-15
IL132194A0 (en) 2001-03-19
IL132194A (en) 2002-09-12
AU5506298A (en) 1998-10-30
SE9701231D0 (sv) 1997-04-04
US6227142B1 (en) 2001-05-08
EP0975211B2 (en) 2010-01-27
DE69720798T2 (de) 2004-03-11
DE69720798D1 (de) 2003-05-15

Similar Documents

Publication Publication Date Title
JP2001519661A (ja) 動物の部位の位置を認識して決定するための装置と方法
JP2001523095A (ja) 動物の一部位の位置を認識して決定するための装置と方法
JP3916255B2 (ja) 搾乳装置支持体を案内する方法及び装置
EP0993655B1 (en) An animal related apparatus
EP2685811B1 (en) System and method for three dimensional teat modeling for use with a milking system
EP1211928B1 (en) An apparatus and a method for improving teatcup attachment, by using illuminating and image capturing means
EP1170987B1 (en) Method and apparatus for recognising and determining a position and robot including such an apparatus
WO1998045808A1 (en) Method and apparatus for generating image information when carrying out animal related operations
NL1015559C2 (nl) Melksysteem met driedimensionale beeldvorming.
WO2001052633A1 (en) A method and an apparatus for locating the teats of an animal
WO2000011940A1 (en) An apparatus and a method for monitoring an animal related area
WO2010023122A2 (en) Arrangement and method for determining positions of the teats of a milking animal
CN205580380U (zh) 一种适用于测量复杂结构的测量系统
CN205607326U (zh) 一种补光可调且自动装夹的视觉成像测量系统
CN205607339U (zh) 一种补光可调且可自动上下料的视觉成像测量系统
KR102220628B1 (ko) 3d 카메라를 이용한 유두 인식 방법 및 장치
WO2010023121A2 (en) Arrangement and method for determining positions of the teats of a milking animal
JP2001134317A (ja) 検出対象体情報認識装置及び管内移動装置
JP2000004703A (ja) 自動搾乳装置及びその乳頭位置検出方法
SE516384C2 (en) Apparatus for locating the teats of a milk animal using light sources to illuminate two areas on a teat at different angles and an image capture device to supply information to a processor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060516

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060807

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070214

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees