JP2015053942A - 安定化システムを有する不要植物の除去システム - Google Patents

安定化システムを有する不要植物の除去システム Download PDF

Info

Publication number
JP2015053942A
JP2015053942A JP2014178185A JP2014178185A JP2015053942A JP 2015053942 A JP2015053942 A JP 2015053942A JP 2014178185 A JP2014178185 A JP 2014178185A JP 2014178185 A JP2014178185 A JP 2014178185A JP 2015053942 A JP2015053942 A JP 2015053942A
Authority
JP
Japan
Prior art keywords
plant
laser
unwanted
dimensional
imager
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014178185A
Other languages
English (en)
Other versions
JP2015053942A5 (ja
Inventor
ティモシー・デイヴィット・ストウ
David Stowe Timothy
パトリック・ヤスオ・マエダ
Yasuo Maeda Patrick
ティム・カーリー
Curley Tim
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Palo Alto Research Center Inc
Original Assignee
Palo Alto Research Center Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Palo Alto Research Center Inc filed Critical Palo Alto Research Center Inc
Publication of JP2015053942A publication Critical patent/JP2015053942A/ja
Publication of JP2015053942A5 publication Critical patent/JP2015053942A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01MCATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M21/00Apparatus for the destruction of unwanted vegetation, e.g. weeds
    • A01M21/04Apparatus for destruction by steam, chemicals, burning, or electricity
    • A01M21/046Apparatus for destruction by steam, chemicals, burning, or electricity by electricity
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D34/00Mowers; Mowing apparatus of harvesters
    • A01D34/01Mowers; Mowing apparatus of harvesters characterised by features relating to the type of cutting apparatus
    • A01D34/015Cutting mechanisms not covered by another group
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D34/00Mowers; Mowing apparatus of harvesters
    • A01D34/835Mowers; Mowing apparatus of harvesters specially adapted for particular purposes
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01MCATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M15/00Flame-throwers specially adapted for purposes covered by this subclass
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01MCATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M21/00Apparatus for the destruction of unwanted vegetation, e.g. weeds
    • A01M21/04Apparatus for destruction by steam, chemicals, burning, or electricity

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Insects & Arthropods (AREA)
  • Pest Control & Pesticides (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Catching Or Destruction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】農地または芝地等のエリアから不要な植物または雑草を除去するための装置および方法を提供する。
【解決手段】植物の画像を捕捉しかつ植物を位置決めするように構成される三次元イメージャと、捕捉される植物画像を基礎として、必要な植物と不要な植物とを区別するように構成される画像プロセッサと、不要な植物上の標的を損傷するように構成される少なくとも1つの除去デバイスと、少なくとも1つのレーザビームを不要な植物へと方向づけるように構成される誘導システムと、三次元イメージャおよび誘導システムの一方または双方へフィードバック補償を提供するように構成される安定化システムと、三次元イメージャ、レーザデバイス、誘導システムおよび安定化システムを支持するように構成されるシャーシとを含む。シャーシは、エリアに渡って移動されるように構成される。
【選択図】図16

Description

不要な、または望ましくない植物を取り除くための、イメージャ、画像プロセッサ、レーザデバイスおよびレーザビーム・コントローラを含むシステムを具現する。
不要な植物または雑草の除去は、農業および園芸を長い間苦しめている課題である。典型的には、不要な植物または草木は、物理的に例えば鍬または耕運機によって、化学的に例えば除草剤を使って、または生物学的に例えば不要な草木に狙いを定めることができる昆虫または菌類等の生物学的作用物質の導入によって除去されることが可能である。不要な植物または草木を物理的に除去する場合は人手を要し、よって高価となる、または時間がかかる可能性がある。不要な植物または草木を化学的に除去する場合は、飲用水を汚染する可能性があって長く環境に影響を与えかつそうでなくとも環境に優しくないものであり得る化学薬剤を使用しなければならない可能性がある。不要な植物または草木を生物学的に除去する場合は、制御が困難である可能性があり、また必ずしも有効かつ効き目があるとは限らない。
ある態様において、装置の幾つかの実施形態は、植物の画像を捕捉しかつ植物を位置決めするように構成される三次元イメージャと、捕捉される植物画像を基礎として、必要な植物と不要な植物とを区別するように構成される画像プロセッサと、不要な植物上の標的を損傷するように構成される少なくとも1つの除去デバイスと、少なくとも1つの除去デバイスを標的である不要な植物へと方向づけるように構成される誘導システムとを含む。幾つかの具現された装置は、三次元イメージャおよび誘導システムの一方または双方へフィードバック補償を提供するように構成される安定化システムも含む。本装置の幾つかの実施形態は、三次元イメージャ、除去デバイス、誘導デバイスおよび安定化システムを支持するように構成されるシャーシを含む。シャーシは、ある領域に渡って移動されるように構成される。
別の態様において、芝刈りシステムの実施形態は、切削手段を有しかつ不要植物除去装置が設けられた芝刈り機を含む。切削手段は、機械刃およびフレームを含むこと、または電気光学式であることが可能であって、例えば、レーザ・カット・システムを含むことが可能である。実施形態によっては、芝刈り機は、三次元イメージャ、画像プロセッサ、除去デバイス、誘導システムおよび安定化システムのうちの少なくとも1つを駆動するパワーを発生することができる。
さらに別の態様において、不要な植物を除去するための方法の実施形態は、三次元イメージャを用いて植物画像を捕捉することと、植物画像を捕捉した後に、必要な植物と不要な植物とを区別することと、不要な植物に標的を位置決めすることと、除去デバイスを不要な植物へ誘導することと、安定化システムを用いて三次元イメージャおよび除去デバイスの一方または双方へフィードバック補償を提供することと、除去デバイスからの出力を不要な植物上の標的へ方向づけることと、不要な植物上の標的を除去デバイスからの出力で損傷することとを含む。
上述の概要は、開示する個々の実施形態、または本開示の実装を悉く記述しようとするものではない。以下、諸図面および詳細な説明によって、具体的な実施形態を例示として示す。
明細書を通じた添付の図面の参照において、類似の参照数字は類似のエレメントを示す。
図1は、発芽中の実生を示す略図である。 図2は、発芽中の実生の分裂組織に焦点が合わされたレーザを示す略図である。 図3は、葉緑素A、葉緑素Bおよびカロチノイドの吸収と波長(nm)との関係を示すグラフである。 図4は、2つのカメラを含む装置の一実施形態において有用である立体三次元画像形成システムを示す略図である。 図5は、マルチビーム・レーザ・スキャナおよび1つのカメラを含む装置の一実施形態において有用である三次元画像形成システムを示す略図である。 図6は、レーザスキャナおよびステレオカメラを含む装置の一実施形態において有用である立体三次元画像形成システムを示す略図である。 図7は、装置の一実施形態において有用である飛行時間三次元イメージャを示す略図である。 図8Aは、光検出および測距(LIDAR)を示す略図である。 図8Bは、光検出および測距(LIDAR)を示す略図である。 図9Aは、装置の一実施形態において有用である飛行時間三次元イメージャを示す略図である。 図9Bは、装置の一実施形態において有用である飛行時間三次元イメージャを示す略図である。 図10は、装置の一実施形態において有用であるレーザダイオードのアレイを示す略図である。 図11は、装置の一実施形態において有用である、三次元カメラアレイと組み合わされたレーザダイオードのアレイを示す側面図である。 図12は、レーザダイオードのアレイおよび三次元カメラアレイを示す平面図である。 図13は、ダイオード・バー・アレイの非機械的位相アレイ・ビーム・ステアリングを示す。 図14は、レーザポジショニング用フィードバック制御を含む安定化システムを備える装置の一実施形態を示す略図である。 図15は、レーザ除草装置の一実施形態に取り付けられたシャーシの一実施形態を示す略図である。 図16は、ある方法の一実施形態のフロー図である。
本開示において、
「ダイオードバー」は、広域エミッタの一次元アレイを含むハイパワー半導体レーザ(レーザダイオード)、あるいは10〜50本の狭ストライプを含むサブアレイを指し、
「高速」軸は、(楕円形断面の出力を有する)レーザダイオードからの、最も大きい発散角および最も低い有効屈折率を有する楕円軸に沿った放射を指し、他の楕円軸を正常軸または「遅速」軸と呼び、
「加速度計」、「ガルボミラー」または「ガルボスキャナ」は電子信号に応答するデバイスを指し、加速度計は、力(例えば、重力)を検知してこれを電子信号に変換することができ、ミラーは、電子信号を基礎として反射角を変更することができ、かつスキャナは、レーザビームによる掃引を大きい角度に渡って方向づけることができ、
「マイクロ加速器」、「マイクロミラー」または「マイクロスキャナ」は、「ガルボ加速度計」、「ガルボミラー」または「ガルボスキャナ」と交換可能式に使用されるMEMSデバイスであって、このようなMEMSデバイスは、典型的には、遙かに小さいフォームファクタおよびより高いレベルの集積化を有し、
「レイリーレンジ」は、ビームの伝搬方向に沿った、そのくびれまたは最も狭いビーム断面からこの断面積が倍増する場所までの距離を指す。
諸図は、必ずしも一定の縮尺ではない。諸図を通じて使用される類似の数字は、類似のコンポーネントを指す。しかしながら、ある所定の図において、あるコンポーネントを指して数字が使用される場合でも、別の図における同じ数字を付されたコンポーネントを限定する意図のないことは理解されるであろう。
以下の説明では、明細書の一部を形成しかつ幾つかの具体的な実施形態が例示されている添付の図面セットを参照する。本開示の範囲を逸脱することなく他の実施形態が企図され、かつ作成され得ることは理解されるべきである。したがって、以下の詳細な説明は、限定的に理解されるべきではない。
別段の指摘のない限り、明細書およびクレームにおいて、特徴のサイズ、量および物理的特性を表して使用される全ての数字は、何れの場合も「約」という用語により修正されるものとして理解されるべきである。したがって、反対の指摘のない限り、前述の明細書および添付のクレームに記載されている数値パラメータは、当業者が本明細書に開示される教示内容を用いて達成しようとする所望される特性に依存して変わり得る近似値である。端点による数値範囲の使用は、その範囲内の全ての数字(例えば、1から5は、1、1.5、2、2.75、3、3.80、4および5)およびその範囲内の任意の範囲を含む。
典型的には、ある植物が芽生えるときは、地中からまず二葉が現れる。子葉と呼ばれるこれらの葉は、芽生えが成長を開始できるように、エネルギーを蓄積エネルギーおよび光合成開始という形で提供する。図1は、発芽中の実生100の一部を示す略図である。実生100は、分裂組織105によって互いに、かつ現れてくる茎に付着される2つの子葉103を有する。図2は、発芽中の実生の分裂組織に焦点が合わされたレーザを示す略図である。図2は、スタンド215上に取り付けられた、レーザビーム220の焦点を不要な植物203の分裂組織領域205に合わせているレーザ210を示す。
雑草または不要な植物のレーザ破壊の標的として最も効果的なポジションは、小さい分裂組織領域である。分裂組織領域は、雑草または不要な植物のさらなる成長を促進することができる幹細胞を含む。典型的な不要植物または雑草は、成長を止めるためのレーザ破壊に利用可能な約1mm以下の標的分裂組織領域を有する。不要な植物が大きく成長するにつれて、これを有効に枯らすには、より多くのエネルギーを要する。不要な植物をその発芽直後に枯らせば、根の力強い形成を排除して植物を成長しないようにすることができる。COレーザ放射は、植物の炭化水素振動帯域において高い光吸収性を有する。早期成長段階では、COレーザ(波長10.6μm)は、実効線量0.1J/mmで発芽中の実生を枯らすことができる。しかしながら、長い波長に起因して、広視野システムにおいて達成され得る最小スポットサイズには限界がある。実施形態によっては、スポットサイズは、約100μm未満であり、かつコリメーションは、約1mm未満である可能性がある。したがって、COレーザを用いて不要な植物を破壊する実際的なレーザシステムを作製するためには、1mmスポットにおいて植物を枯らすに足る暴露を生成するためのハイパワー(および、これに伴う電力供給)が必要とされる。したがって、COレーザの波長は、市販の装置においてこのレーザが不要な植物に損傷を与える有効性を制限している。
図3は、典型的に植物内に存在する植物色素である、葉緑素A301、葉緑素B302およびカロチノイド303の吸収と波長(nm)との関係を示すグラフである。図3から分かるように、植物色素に関する、可視波長範囲におけるエネルギー吸収の最適波長は、430nm〜475nmの範囲内、または650nm〜675nmの範囲内である可能性がある。赤色および青色のハイパワー・ダイオード・バー、およびシングルモードの半導体ソースは、これらの波長範囲の各々において300mWを超える、500mWを超える、または1ワットを超える出力を有し得るものが商品化されている。さらに、ダイオードバーは、青色範囲(430nm〜475nm)で約5ワットまで、かつ赤色範囲(650nm〜675nm)で約20ワットまでのパワーに達し得るものが利用可能である。
本明細書に開示するデバイスおよび方法は、不要な植物を位置決めして識別するための三次元イメージャと、不要な植物に損傷を与えて枯らす上で有用なレーザデバイスと、レーザデバイスからビームを不要な植物へと方向づけるための誘導システムとを用いる。三次元イメージャ、レーザデバイスおよび誘導システムは、農圃または芝地等のエリアに渡って移動されるように構成され得るシャーシによって支持されることが可能である。
装置の幾つかの実施形態は、植物の画像を捕捉しかつ植物を位置決めするように構成される三次元イメージャと、捕捉される植物画像を基礎として、必要な植物と不要な植物とを区別するように構成される画像プロセッサと、不要な植物上の標的を損傷するように構成される除去デバイスと、除去デバイスを不要な植物上の標的へと方向づけるように構成される誘導システムと、三次元イメージャおよび誘導システムの一方または双方へフィードバック補償を提供するように構成される安定化システムとを含む。本装置の幾つかの実施形態は、三次元イメージャ、除去デバイス、誘導システムおよび安定化システムを支持するように構成されるシャーシも含む。シャーシは、ある領域に渡って移動されるようにも構成される。
除去デバイスの幾つかの実施形態は、除草剤散布機、火炎除草用トーチヘッド、自動耕運機またはレーザデバイスを含むことが可能であるが、この限りではない。除草剤散布機および火炎除草用トーチヘッド(火炎放射器)ならびに耕運機は、不要な植物を損傷する、または除去する、農業および園芸に関わる一般的な当業者には周知の方法である。実施形態によっては、除草剤散布機は、その各々が不要な植物上の標的へ誘導され得る1つまたは複数のノズルを含むことが可能である。同様に、火炎除草も、その各々が誘導システムによって不要な植物上の標的へと方向づけられ得る複数の火炎トーチヘッドを用いて実行されることが可能である。実施形態によっては、除去デバイスは、不要な植物に損傷を与えるに足るパワーを有するレーザビームを放射するように構成されるレーザデバイスを含むことが可能である。不要な植物に致命的な損傷を与えるに足るパワーの量は、衝突する放射線の波長、不要な植物へ送達されるこの放射線の分量、不要な植物の成長段階および衝突する放射線へ暴露される不要な植物の部分(標的または標的に近い部位)に依存する。
視覚システムとして使用される典型的なカメラシステムは、除去デバイスの方向を不要な植物の分裂組織へ集中させるには不適である可能性がある。実施形態によっては、装置は、約10cmから1mまでの間の焦点距離で作動するように構成され得る、かつ提供される装置が植物画像を捕捉しかつ不要な植物の特性を有する植物を位置決めすることを可能にする三次元イメージャを利用する。さらに、三次元イメージャおよび誘導システムは、不要な植物の分裂組織の三次元位置を捕捉することができ、かつこのデータを用いて、レーザビームを、不要な植物の分裂組織によるレーザ吸収の標的精度を高めるべく方向づけることができる。事例によっては、例えば三次元イメージャであるイメージャは、色情報を利用して植物を識別することができる。
別の実施形態では、三次元イメージャは、低い光安定性のための安定化レンズを含むことが可能である。
実装によっては、三次元イメージャは、幾何学的システム(三角測量)または電子システム(飛行時間(TOF)測定値を利用)を用いて、不要な植物等のオブジェクトのポジショニング(ロケーション)、および不要な植物上の標的のロケーションを提供することができる。実施形態によっては、提供される三角測量ベースのイメージャは、既知の距離またはベースラインで分離される2つのカメラを含む三次元ステレオカメラシステムを含むことが可能である。他の実施形態では、提供される三角測量ベースのイメージャは、既知の距離またはベースラインで分離される1つまたは複数のビーム・レーザ・スキャナと1つのカメラとを含むことが可能である。他の幾つかの実施形態では、提供される三角測量ベースのイメージャは、1つまたは複数のビーム・レーザ・スキャナと1つのステレオカメラとを含むことが可能であり、ステレオカメラは、既知の距離またはベースラインで分離される2つのカメラを含む。実施形態によっては、提供される三角測量ベースのイメージャは、既知の距離またはベースラインで分離される構造化された光照射器とカメラとを含むことが可能である。幾つかの実施形態は、光を投射するように構成される、三次元画像形成と共に使用され得るデジタル光プロジェクタ(DLP)を含む。これらの実施形態の全てにおいて、提供される三次元イメージャの深さ(z方向)精度は、ベースライン距離が増大するにつれて高まる。
図4は、既知の距離またはベースラインにより分離される2つのカメラを含む提供する装置の一実施形態において有用である立体三次元画像形成システムを示す略図である。図4では、立体三次元画像形成システム400の平坦な断面が、x、z平面沿いに、x方向に沿って距離bで離隔された2つのステレオカメラと共に示されている。第1のカメラは、x、y平面に存在する二次元センサアレイ414から離れて焦点距離「f」のレンズを有するカメラアパーチャ412によって示されている。二次元センサアレイ414は、例えば、x、y平面に存在する電荷結合デバイスアレイ(CCD)であることが可能である。同様に、第2のカメラは、x、y平面に存在する二次元センサアレイ424から離れた焦点距離「f」のレンズを有するカメラアパーチャ421によって示されている。座標(x,y,z)を有する点またはボクセル401は、図4ではそのx、z平面スライスが示されている円錐形三次元視野430の内部空間に位置決めされる。点またはボクセル401は、二次元センサアレイ414上のロケーション416、および二次元センサアレイ424上のロケーション426へマッピングされる。この情報から、三次元位置(x,y,z)を次式により決定することができる。
x=b(x+x)/2・(x−x
y=b(y+y)/2・(x−x
z=b・f/(x−x
図5は、マルチビーム・レーザ・スキャナおよび1つのカメラを含む装置の一実施形態において有用である三次元画像形成システムを示す略図である。三次元画像形成システム500は、レーザスキャナ520と、x、y平面に存在する二次元センサアレイ514から離れた焦点距離「f」のレンズを有するカメラアパーチャ512によって示される1つのカメラとを含む。レーザスキャナ520は、2つのボクセル501および502の三次元位置を照射することができる。図5における例図では、レーザスキャナ520は、レーザスキャナとボクセルとの間の入射角に依存して、各ボクセル501および502を二次元センサアレイ514上の異なる2つのロケーションへマッピングする。この情報から、ボクセルの位置および大きさを決定することができる。
図6は、レーザスキャナおよびステレオカメラを含む装置の一実施形態において有用である立体三次元画像形成システムを示す略図である。三次元画像形成システム600は、図示されているような範囲の立体角を走査することができるレーザスキャナ620を含む。したがって、点またはボクセル601および602は、2つのカメラ、即ちアパーチャ612および二次元センサアレイ614により描かれている第1のカメラおよびアパーチャ621および二次元センサアレイ624により描かれている第2のカメラ、によって光学的にマッピングされる。レーザスキャナ620により照射される二次元センサアレイ614および624上のボクセル601の画像の相対位置を使用すれば、このボクセルの三次元座標を決定することができる。同様に、レーザスキャナ620により照射される二次元センサアレイ614および624上のボクセル602の画像の相対位置を使用すれば、このボクセルの三次元座標を決定することができる。ボクセル601および602が、例えば不要な植物の基部および高さ等の同じオブジェクト上の異なる点であれば、この植物のロケーションおよび高さを決定することができる。この方法では、三次元オブジェクト上の複数の点をマッピングして、このオブジェクトの三次元空間における数学的ロケーションを求めることができる。
図示されている実施形態の各々におけるカメラは、アレイ状に置かれることが可能であり、これらは次に、画像形成システムの一回通過によって、例えば農圃内の農作物の列全体を画像化すべく使用されることが可能である。レーザ走査(ラスタ走査)は、1つまたは複数の走査ビームを有する光源と、集光光学系および1つまたは複数の検出器との組合せによっても達成されることが可能である。
あるいは、または追加的に、三次元画像形成には、飛行時間(TOF)方法論を用いる電子システムも使用されることが可能である。TOF三次元画像形成は、送信信号と受信信号との間の位相シフトを測定することによる到着時間の間接的推定を基礎とすることが可能である。TOF三次元画像形成システムは、変調された、またはコード化された照射を発することができる光源と、放射される光と画像フィールド内のオブジェクトから後方散乱された後に検出器または検出器アレイにより捕捉される光との間の位相差または時間差を測定することができる検出器または検出器アレイ(二次元センサアレイ)とを含む。TOFセンサは、非コヒーレントな近赤外線振幅変調式連続波光を用いてもよい。信号の位相シフトまたは時間差(および延ては、オブジェクト距離)は、視野内のオブジェクトの三次元マップまたは三次元点クラウドを生成するために使用されることが可能である。実施形態によっては、この情報を生成するためにレーザを使用可能であって、コヒーレントな近赤外線振幅変調式パルス光が使用される。TOF画像形成に使用される光は、周囲光または背景光から弁別されることが可能である。これに起因して、TOF画像形成システムは、例えば遮光、掩蔽、表面のきめおよび色等の照明状態の変動、および望ましくない鏡面反射に対して非感受性である可能性がある。
図7は、提供される装置の一実施形態において有用であるTOF三次元イメージャを示す略図である。TOF三次元イメージャ700は、フォトニック・ミキサ・デバイス(PMD)ベースの距離画像カメラを含む。PMDカメラは、図示されているように、IR光源703を変調して三次元オブジェクト701の各ボクセルへ送信されることが可能な変調IRビームを生成する変調器705を含む。三次元オブジェクト701の各ボクセルは、変調IRビームがその表面から反射されるにつれて位相シフトを生成する。位相シフトされたIRビームは、次に、CCDアレイ707によって捕捉される。位相シフトは、各ボクセル毎に位相シフト信号709との比較によって測定されてデータ710を生成することができ、このデータは次に、オブジェクト701の三次元マップの生成に使用されることが可能である。最近では、コンピュータゲーム用にハンズフリーのジェスチャ認識システムが一般的となり始めるにつれて、TOFカメラのコストが劇的に低減している。このような一例が、ドイツ所在のPMDテクノロジー社により作製されたTOFカメラを搭載するCamboard pico 3Dである。このようなカメラは、背景光を減じることができ、かつ接近距離15cmでオブジェクトを検出する能力によって近被写界深度の検出精度を向上させている。
別の飛行時間三次元測定システムは、レーザ光でオブジェクトを照射し次に後方散乱光を分析することによって標的オブジェクトまでの距離または標的オブジェクトの他の特性を測定できるリモート光検出テクノロジーである光検出および測距(LIDAR)を基礎とする。三次元オブジェクトの形状およびポジションに関する三次元情報は、走査レーザからのパルスの直接的測定、または走査レーザからの位相差の測定から取得されることが可能である。
図8Aおよび図8Bは、LIDARの一実施形態を示す略図である。図8Aは、LIDARスキャナ800Aを示す略図である。LIDARスキャナ800Aは、図8Aにおける矢印が示す方向に空間を掃引しながら、変調された走査スポットまたはレーザスキャナ810からの走査線805を生成する。走査スポットまたは走査線805のうちの幾つかは、反射矢印が示すように、ピクセル(例えば、ピクセル801または802)に当たると反射戻りパルス806として反射し返される。
図8Bは、TOFによりオブジェクトの形状およびポジションを決定するために使用されることが可能な反射戻りパルスを測定できる検出システムの一実施形態を示す。検出システム800Bは、走査エリアに渡って走査線805を放射するレーザスキャナ(レーザ源812および走査ミラー815)を含む。走査線805からの光がピクセル(ピクセル801等)に当たれば、反射戻りパルス806が走査ミラー815からオプションである集束エレメント820を介して検出器830上へ反射し返される可能性がある。信号処理は、ピクセル801の形状およびポジション(例えば、あるオブジェクトの一部、または動きのあるオブジェクトの一時点)を決定することができる。
図9Aおよび図9Bは、提供される装置の一実施形態において有用である、LIDARを基礎とするTOF三次元イメージャを示す略図である。図9Aは、送信モードにおけるTOFイメージャ900のオペレーションを描いている。図9Bは、送信からの後方散乱光を受けたときのTOFイメージャ900のオペレーションを描いている。LIDARコンポーネント(ボックス920内に示されている)は、図9Aに示されているように、オブジェクト910を照明すべく光をビームスプレッダまたはコリメータ909を介して投影することができるレーザ907を含む。後方散乱光は、次に、光を受信機903のアレイへ方向づけるレンズコンポーネント905を通り、次に、前記アレイからデジタル画像プロセッサ901へデータが供給される。オブジェクトの三次元マップまたは点クラウドは、データ902から生成されることが可能である。
不要な植物のみならず発芽中の実生の分裂組織の三次元ポジションを位置決めするための追加的手法は、ライトフィールドカメラまたはプレノプティックカメラの使用であってもよい。プレノプティックカメラは、低コストのマイクロレンズアレイを典型的な低コストCCDデジタルカメラの焦点近くに置くことにより光路情報を包含する。このようなカメラは、方位分解能を限定するが、拡大された被写界深度を有する。プレノプティックカメラは、例えば画像プロセッサにおけるコンピュータ処理を用いて視野内の各ポジション毎に最適な焦点を見出すことにより、三次元画像を生成することができる。プレノプティックカメラの解像度は、視野方向が塞がれていないことを条件として、発芽中の不要な実生の分裂組織を画像化しかつ精確に位置決めするに足るものである。プレノプティックカメラのマイクロレンズアレイにおける符号化された情報から深度(z方向)を抽出することができる画像プロセッサにおけるコンピュータによる画像化計算から、z被写界深度を改良することができ、かつ不要な実生およびその分裂組織のロケーションを推定することができる。プレノプティックカメラは、低解像度の高速三次元画像形成に適する可能性がある。
実施形態によっては、三次元イメージャは、短い捕捉時間の間にフルフレーム画像を収集することができ、または、ラスタ走査を利用することができる。フルフレーム画像の収集は、先に論じたように、撮像レンズおよび二次元センサアレイの使用を必要とする。ラスタ走査は、1つまたは複数の走査ビームを有する光源と、集光光学系および1つまたは複数の検出器との組合せによって達成されることが可能である。ラスタ走査が視野全体をカバーするには、フルフレーム画像収集より多くの時間を要する。
実施形態によっては、装置は、三次元イメージャからの捕捉された植物画像を基礎として必要な植物と不要な植物とを区別するように構成される画像プロセッサを含むことが可能である。画像プロセッサは、三次元イメージャによって集められるデータ(例えば、植物画像および植物のロケーション)を入手し、かつこのデータを用いて不要な植物と必要な植物とを区別することができる。画像プロセッサは、不要な植物上の標的のロケーションをアシストすることもできる。画像プロセッサは、収集されるデジタル植物画像情報と格納された画像情報とのデジタル比較を用いることができる。実施形態によっては、必要な植物と不要な植物とを識別するために、形状認識アルゴリズムを用いることができる。他の幾つかの実施形態では、画像プロセッサは、追加的な植物識別情報を提供するために、例えばマルチスペクトルまたはハイパースペクトル画像スキャナによるマルチスペクトルまたはハイパースペクトル画像を用いることができる。
作物列内で成長する雑草の場合、雑草の弁別は、農作物からの枝葉と雑草が重なって互いに遮り合うにつれてさらに困難になる。画像形成アルゴリズムは、土壌から枝葉を弁別するためにRGBカメラ信号を活用することができ、かつ画像処理アルゴリズムは、葉の形状および表面組織等の植物の特徴を抽出するために使用される。さらに、マルチスペクトル画像またはハイパースペクトル画像も、異なるタイプの植物がこれらのRGBおよび近赤外(NIR)カメラチャネル信号から、これらの様々なスペクトルチャネルの割合を比較することにより区別されることを可能にする。ハイパースペクトル画像およびマルチスペクトル画像は共に、電磁スペクトル全体からの情報を収集して処理する。雑草および農作物のサイズおよび種類を基礎として、画像特徴アルゴリズムと、画像形成、例えば三次元画像形成のためのマルチスペクトルまたはハイパースペクトルアルゴリズムとの様々な組合せが使用されてもよい。
雑草種は、典型的には、主流たる農作物のそれとは異なる成長特性を有する。これらの相違には、成長速度の差、および実生が土壌上層から発育する際の季節的変動が含まれる。したがって、立体光および構造光手法を用いて土壌レベルより上の植物高度特性を測定する三次元画像形成は、葉の形状および他の植物形態学特性に関係なく雑草を農作物から識別するために使用されることが可能である。
実施形態によっては、雑草は、画像形成形態学とマルチスペクトル解像度との組合せを用いて識別されることが可能である。マルチスペクトル画像は、異なる植物は異なる可視吸収率および近赤外線吸収率を有すると思われることから、追加情報を提供する。また、雑草は異なる速度で成長する傾向があることから、三次元カメラで測定される植物高度は弁別の優れた手掛かりとなる。雑草のロケーションも、その識別に使用されることが可能である。
実施形態によっては、少なくとも1つのレーザデバイスは、葉緑素A、葉緑素Bおよび/またはカロチノイド等の植物色素によって吸収され得る光を放射することができるレーザダイオードを含むことが可能である。典型的には、約430nmから約475nmまで、または約650nmから約675nmまでの波長を有するレーザビームを放射するように構成され得ることから、青色放射または赤色放射半導体レーザダイオードを用いることができる。実施形態によっては、除去デバイスは、画像プロセッサからの情報を基礎として、調整可能な波長を有することが可能である。
レーザデバイスは、レーザ・ダイオード・バー内等のアレイ内に個々のレーザダイオードを含むことが可能である。レーザ・ダイオード・バーは、インスタンスによっては、19個の個々のマルチモード・レーザ・エミッタを用いて20ワットもの放射を生成しているソースを生成すべく、FAST軸レンズおよび市販のビームコンバイナと組み合わされることが可能である。FAST軸方向には、単一モードのビーム品質を達成することができる。横側のSLOW軸方向には、回折品質が達成されなくてもよい。複数のレーザダイオードからのレーザビームを結合する場合、レンズレット(マルチレンズ)アレイを用いて各ビームを個々にコリメートすることができる。レーザダイオード・アレイからのこのような結合されたビームからは、結果的に1〜2mm×100μmのスポットサイズを得ることができる。幾つかの異なるレーザ位置およびレーザ角を選択できる限り、このタイプのビーム形状は、不要な植物の分裂組織の近くに切れ目を連接するために有益である可能性がある。レーザ・ダイオード・バーまたはレーザ・ダイオード・アレイを複数のカメラシステムと共に使用すれば、レーザ・ダイオード・バー上に利用可能な多くの異なるレーザダイオードから、特定の不要な植物上へレーザを衝突させるための最良の角度を選ぶことができる。青色および赤色のハイパワーレーザまたはレーザダイオードを使用する場合、コリメートされた光のレイリーレンジは、高いビーム品質を有する、FAST軸沿いの数メートルであることが可能である。ビーム直径が僅か1mmである場合、本明細書に開示する実装には、単軸大角度ガルボスキャナに対するMEMS手法が適切である。
装置の幾つかの実施形態は、除去デバイスを不要な植物の標的へと方向づけるように構成される誘導システムを含む。誘導システムは、画像プロセッサから情報を入手し、かつ除去デバイスからの出力の方向を変えることができるデバイスを用いることが可能である。除去デバイスがレーザダイオードまたはレーザ・ダイオード・アレイである場合、例えばガルボミラー等のビーム方向変更デバイスは、レーザビームを配向し直し、かつ実施形態によっては、これを不要な植物の標的上へ集束させる。実施形態によっては、レーザビームは、植物の特定の一部、例えば植物の分裂組織等へ方向づけられることが可能である。ある実施形態では、誘導システムは、図10に示されているもの等のハイパワー・レーザ・アクチュエータ・アレイを含むことが可能である。実施形態によっては、レーザ・ビーム・コントローラは、二軸MEMSガルボミラーを含むことが可能である。
誘導システムは、除去システムからの出力を不要な植物上の標的へと方向づけることを促進する上で効果的である可能性がある。先に論じたように、誘導システムは、画像プロセッサから情報を入手して必要な植物と不要な植物とを区別することができる。さらに、誘導システムは、画像プロセッサからの情報を使用して、不要な植物上の標的を位置決めすることができる。また、誘導システムは、不要な植物上の標的へ除去システムのどの態様を方向づけるべきかを決定することもできる。例えば、先に述べたように、除去デバイスが、複数のレーザダイオードを含むレーザ・ダイオード・バーのアレイであれば、誘導システムは、不要な各植物の標的に命中し、かつ次に不要な植物がはびこるエリア内の不要な各植物の標的部位に損傷を及ぼすべく適切なレーザダイオードを連続的に発射するにはどのレーザダイオードが最良かを選択することができる。
図10は、提供する装置のためのレーザ誘導システムの一実施形態において有用であるレーザダイオードのアレイを示す略図である。アレイ1000は、レーザ・ダイオード・バーの一部であることが可能なレーザダイオード1001A〜1001Cのアレイを含むレーザデバイスである。図示されているアレイ1000は、3つのレーザダイオードを含んでいるが、これは単に例示のためであって、典型的なレーザ・ダイオード・バーまたはアレイは、図示されているものより遙かに多いレーザダイオードを有することが可能である。アレイ1000は、コリメーション光学系1003A〜1003Cのコレクションを含む。一連のMEMS静電ミラー1005A〜1005Cは、画像プロセッサから情報を入手し、1つまたは複数のビームを標的たる不要な植物へ方向づける。ミラー1005A〜1005Cのポジションを変更することにより、図10に示されているように、複数のビームを不要な各植物へ方向づけること、かつ/または少なくとも1つのビームを2つ以上の不要な植物へ方向づけることが可能である。実施形態によっては、誘導システムは、レーザビームの焦点深度範囲を拡大するために使用されることが可能なMEMS適応光学ミラー等の1つまたは複数の適応光学エレメントを含む。ミラーは、使用されるレーザ、例えば青色または赤色半導体レーザに適合する反射コーティングを有することが可能である。例えば、あるレーザは、ある具体的な標的ロケーションへ方向づけられた後に、指定された衝突角度および/または指定された焦点深度で起動されてもよい。
実施形態によっては、レーザ・ダイオード・アレイは、レーザビームの精確なポインティングおよび最適な角度ポジションを見込むべく三次元イメージャ(カメラ)のアレイと結合されることが可能である。構成によっては、レーザアレイおよび三次元イメージャは、幅スケーラブルな一回通過除草を提供するように適合化されることが可能である。図11には、レーザアレイおよびイメージャの一実施形態が示されている。アレイ1100は、三次元カメラ1110A〜1110Dのアレイと、レーザダイオード1120A〜1120Cのアレイとを含む。カメラ1110A〜1110Dは、図示されているように、重なり合う立体視野をカバーする。これらは、レーザビームを位置決めしかつこれを必要な植物および不要な植物のアレイにおける不要な植物上の標的へ方向づけるべく、レーザダイオードのアレイ(図10に描かれているもの等)を視野1130に渡って方向づけるために使用されることが可能である。実施形態によっては、視野は、約30度またはこれを上回る角度を有し得る錐体を画定する。
レーザ1120A〜1120Cの各々は、互いに関係なく方向づけられ、かつ/または、ポジション、角度、スポットサイズおよび/または焦点距離、他を制御されることが可能である。実装によっては、各レーザのパワー、波長および/またはビームタイプ(連続波(CW)またはパルス式)は、標的植物のタイプを基礎として独立制御されることが可能である。実施形態によっては、レーザビームのスポットサイズは約100μm未満である可能性があり、かつビームのコリメーション直径は約1mm未満である可能性がある。
大きい動眼視野のレーザ走査(例えば、xおよびy両方向に+/−30度)は、MEMSベースのミラースキャナおよび/または適応光学エレメントによって、可変長焦点制御と共に達成されることが可能である。実装の中には、異なる高さの雑草をオンザフライで標的にするために、焦点位置をオンザフライで可変式にリプログラムすることを含むものがある。
レーザサブシステムの動作中の安定性を高めるために、レーザサブシステムおよび/またはそのコンポーネントは、約500Hz未満の周波数では機械的に共振しないように設計されてもよい。例えば、レーザサブシステムおよび/またはそのコンポーネントの最下位の共振機械周波数は、500Hzを上回るものであってもよく、または1kHzを上回るものであってもよい。
実施形態によっては、装置は、農圃または芝地等の広範囲エリアを走査することができ、かつ誘導システムを用いて、必要な植物と不要な植物とを区別し、不要な植物を位置決めし、不要な植物上の標的を位置決めし、少なくとも1つのレーザデバイスから放射されるレーザビームを選択し、レーザビームの光学特性を調整し、特性が調整されたレーザビームを不要な植物の標的へ方向づけ、かつ不要な植物の標的をレーザビームで損傷することができる。レーザデバイスが複数のレーザダイオードを含んでいれば、誘導システムは、植物に致命的損傷を与えるに足る精度およびエネルギーで不要な植物上の標的に当たるレーザビームの能力を高めるように、複数のレーザダイオードのうちの1つまたは複数のレーザダイオードを選択することができる。実施形態によっては、レーザデバイスは、まず標的ロケーションへと方向づけられることが可能であり、次に、標的に命中するように発射されることが可能である。
実施形態によっては、誘導システムは、装置が受け得る環境振動を矯正することができるようにする高い帯域幅を有することが可能である。さらに、誘導システムは、レーザスポット強度を危うくすることなく広いエリアに渡ってスケールする能力を有することが可能である。例えば、レーザデバイスは、不要な植物の標的上に様々な異なる角度で独立して方向づけられかつ集束されることが可能な多くの直接変調式半導体レーザを含んでもよい。誘導システムは、装置があるエリアに渡って移動されるにつれて複数の不要な植物の標的に損傷を与えるために、複数のレーザを有するレーザデバイスにおけるどのレーザが選択され、集束されかつ駆動され得るかを制御することができる。誘導システムは、エリアにおける装置のポジションを基礎として、装置がエリアに渡って移動されるにつれてその操縦により発生する振動、エリアの深さまたはz方向のむら、および画像プロセッサにより決定される不要な各植物の標的の三次元位置を調整することができる。
図12は、半導体レーザダイオードのアレイを調整することができる誘導システムを含む装置の一実施形態を示す略図である。装置1200は、図示されている装置では3つの三次元イメージャ1203A、1203Bおよび1203Cを含んでいるレーザ・ダイオード・バーを含む。三次元イメージャ1203Aは、図示されているような(被写界深度、被写界幅および焦点距離によって画定された)視野1201Aを有する。同様に、三次元イメージャ1203Bおよび1203Cも、各々視野1201Bおよび1201Cを有する。視野1201A、1201Bおよび1201Cは、図12に示されているように重なっている。三次元イメージャ1203A〜Cは、必要な植物と不要な植物とを区別するように構成される。2つの不要な植物1210Aおよび1210Bは、例示のために示されている。装置1200は、必要な植物および不要な植物を含むフィールドを矢印1220が示す方向に移動される。装置1200は、z方向にむらのあるフィールドにより生じるもの等の機械的振動を検出することができる三軸ジャイロ加速度計センサ1215も含む。実施形態によっては、三軸加速度計センサは、約500Hzの帯域幅を有することが可能であり、かつ/または約500Hz未満の周波数を有する低周波数機械振動を検出するように構成されることが可能である。装置1200は、視野1201A〜Cから(画像プロセッサを介して)、および加速度計センサ1215から情報を入手することができる誘導システムを有する。これは、不要な植物1210Aおよび1210Bを検出することができ、かつ、装置1201があるエリアに渡って移動されるにつれてレーザビームが不要な植物1210Aおよび1210Bに方向づけられるように、レーザダイオード1207Aおよび1207Bから各々放射されるレーザビームの方向、被写界深度、被写界幅および焦点距離を制御する適応光学系1205Aおよび1205Bの変更を指示することができる。図12に示されている実施形態では、レーザダイオード1207Aからの2つのレーザビームが不要な植物1210Aおよび1210Bの双方に方向づけられているが、レーザおよび適応光学系の組合せは、装置1200が通り抜けるエリア全体をカバーすべく様々に用いることができる。
図13は、ダイオード・バー・アレイの非機械的位相アレイ・ビーム・ステアリングを含む提供する装置の一実施形態を示す。非機械的位相アレイ・ステアリング・モジュール1300は、コリメート光学系1303により一次元光学位相変調器1305にまずコリメートされる単モード半導体レーザ1301の1つまたは複数のアレイを含む。各位相変調器1305は、個々の位相変調エレメントの位相をリプログラムすることにより、出力光の方向および焦点を一軸に沿って変更するパワーを有する。さらに、一次元位相変調器は、ハイパワーパルスレーザ光が変調器内に熱的加熱問題を引き起こさない程度の低強度を有するように、大きい四角のアパーチャを有する。位相変調器は、位相曲がりを生成することによって光の焦点を動的に調整するために使用されることが可能である。軸に沿った走査角に依存して、位相変調器は、一軸に沿ったフィールド湾曲を矯正することができ、これにより、適応光学系1307を用いて平面上へより広い走査角を再度集束させることができるようになる。位相格子1309は、約600Hzで動作することができ、かつレーザを瞬間自動露出式に配向し直すことができ、連続的な角度走査を要しない。ビームは、トラクタによりy軸沿いに移動されるにつれてx軸1311沿いに配向し直されることが可能であり、かつ異なるzポジション1313へ集束し直されることが可能である。応答時間は、液晶エレメント自体によって制限され、何らかの調整は、速度を約500Hzのリフレッシュ速度まで高めることができる。
典型的には一次回折モードにおける約75%パワーの高効率ステアリングで僅か約10度である位相格子ビームステアリングの範囲を拡大するためには、レーザ光が偏向されれば、離散的な大型アパーチャ透過型偏光格子スイッチを用いてレーザを離散的な大角度を介して瞬間的に切換することができる。これにより、レーザを一次元または二次元沿いに広いフィールドに渡って高精度で操縦できるようになる。位相格子変調器と組み合わせれば、走査角に渡る精度制御を伴なう大きい動眼視野を達成することができる。
非機械的ステアリングモジュール1300は、トラクタの一部であるシャーシ上に搭載されるとy方向に移動されることが可能である。本開示において、トラクタは、ステアリングモジュール1300をy軸方向へ動かすことができる任意の車両である。トラクタシステムは、速度1.5m/秒から2.5m/秒で走行することができる。レーザ射撃イベント間の再プログラミング時間を2ミリ秒であるとすると、トラクタが移動する直線距離は僅か3mmから5mmとなる。この時間中に、レーザは、不要な植物を複数のレーザ発射で激しく損傷することができる。不要な植物の密度が約1植物/cm未満である限り、レーザ・ステアリング・システムは、次の不要な植物の標的へと発射すべく再構成されるに足る時間を有する。このような非機械的位相アレイ・ビーム・ステアリング・モジュールがトラクタ耕運機の長さに沿って存在することにより、広い作物列を一回通過で「除草」することができる。
一次元変調器は、一次元に沿った焦点変動しか補償することができない。非機械的ステアリングモジュールの有効性を高めるためには、円筒形適応光学系微小電気機械システム(MEMS)ミラーエレメント(図13において1307で示されている)を使用可能である。このようなMEMS適応ミラーは、曲率を僅かに変更すべく静電作動される窒化シリコン金スパッタ膜を用いて作製されることが可能である。このようなMEMS構造体は、その小型サイズに起因して、著しく振動非感受性である可能性があり、1kHzを優に超える共振周波数を有する。本明細書に開示するようなレーザシステムは、約500Hzを上回る機械的共振振動数を有するように設計されることが可能である。
実施形態によっては、一次元光学位相変調器は、より高い帯域幅のみならず近位の一次元位相変調エレメントを見込んで二次元変調器の代わりに使用されることが可能であり、より精細でより精確な角度ビームステアリングを可能にする。エレメント間の間隙をより低くした一次元変調エレメントの狭いスペーシングは、向上した光学効率、より少ない回折損失およびより高い角度範囲を提供することができる。プログラム可能な一次元位相変調器格子は、可動パーツを使用することなく、レーザビームが超高速で異なる空間ポジションへ配向し直されかつ集束し直されることを可能にし得る。さらに、位相変調器は、レーザスポットを広い走査スワス上の単一平面に集束させることを困難にする光学場湾曲を補償することができる。線形位相変調器は、一次元位相アレイを制御することができ、かつアナモルフィックプロジェクション光学系を用いて光強度を一方向に沿って圧縮することができる。チップ全体に渡って入射するコヒーレント光は、出力走査線に沿った異なるポジションへ方向づけられることが可能な回折限界に近いスポット内に圧縮されることが可能である。
装置の別の課題は、ミラーまたは他の適応光学系、または不均一な地面を横断する際のシャーシの動きを制御するために使用されることが可能な、例えばガルボ加速度計、ガルボミラーまたはガルボスキャナ等の機械的パーツが機能することに起因する環境的不安定性(例えば、振動不安定性)である。提供する装置にとっては、風、例えば葉を動かす風も、振動不安定性をもたらす可能性がある。除去デバイスがレーザデバイスである事例では、レーザビームの方向がこれらの振動動作によって影響される可能性がある。
したがって、開示する装置の実施形態は、三次元イメージャおよび誘導システムの一方または双方へフィードバック補償を提供するように構成される安定化システムも含む。これらの振動不安定性の大部分は、約1Hzから1000Hzまでの範囲内の周波数を有する。安定化システムの一コンポーネントとして、レーザ配向システムは、機械的振動を矯正するに足る帯域幅を有効化するために1kHzを優に超える機械的共振振動数を有するべきであり、かつ装置が動作可能である間にこれらの振動不安定性を検出しかつそれを矯正することができるものでなければならない。実施形態によっては、安定化システムは、約500Hzを上回る帯域幅を有する、かつ約500Hz未満である低周波数の機械的振動を検出できる動きセンサを有する。例えば、このセンサは、ジャイロスコープ動きセンサまたは三次元加速度計センサを含むことが可能である。
図14は、レーザポジショニング用フィードバック制御を含む安定化システムを備える装置の一実施形態を示す略図である。装置1400は、剛性のシャーシ1405上に搭載される画像安定化カメラ1410と、除去デバイス(レーザ1420)とを含む。画像安定化カメラ1410は、調整可能な光学系1412を含む。画像安定化カメラ1410は、MEMSガルボミラー1430へカメラ・ポジション・フィードバックを提供する。加速度計1440は、画像安定化カメラ1410およびMEMSガルボミラー1430の双方へジャイロフィードバックを提供する。MEMSガルボミラー1430は、ビーム1445を不要な植物1450へ、かつ具体的には、不要な植物1450上の標的領域へ方向づけ、不要な植物1450を損傷させる。図14に示されている実施形態では、カメラ1410およびビーム1445の方向は、風(矢印1460参照)または移動による地面/シャーシの相対的振動(矢印1470参照)によって引き起こされるもの等の振動不安定性に調整される。シャーシと地面との間の相対的振動は、シャーシ上に搭載される加速度計1440および/またはジャイロシステムによって検出されることが可能である。振動の検出に応答して、加速度計は電気的フィードバック信号を生成し、これが画像安定化カメラ1410およびMEMSガルボミラー1430へ提供される。安定化ミラー1410およびMEMSガルボミラー1430のポジションは、フィードバック信号を基礎として調整されることが可能である。
実施形態によっては、風による葉の動きは、画像形成システムを用いて捉えられることが可能であり、かつ雑草の分裂組織のポジションは、葉または分裂組織自体の動きの画像分析から予測されることが可能である。
本装置の幾つかの実施形態は、三次元イメージャ、レーザデバイス、誘導システムおよび安定化システムを支持するように構成されるシャーシを含む。シャーシは、必要な植物および不要な植物を含む農地または芝地等のエリアに渡って動くように構成されることが可能である。シャーシは、その上に三次元イメージャ、少なくとも1つのレーザデバイス、誘導システムおよび安定化システムが搭載される任意のフレームであることが可能である。実施形態によっては、シャーシにより支持される三次元イメージャ、少なくとも1つのレーザデバイス、誘導システムおよび安定化システムは、検出能力を有し、かつ誘導システムを利用して少なくとも1つのレーザデバイスの適応可能な光学系を、垂直を含む全三次元式に調整することができる。実施形態によっては、シャーシは、図14に示されているように、三次元ジャイロ加速度計センサを含むことが可能である。実施形態によっては、シャーシは、電動トラクタまたは電動車両の一部であることが可能である。実施形態によっては、シャーシは、電動トラクタまたは車両から分離したものであってもよく、例えば、電動車両へ取り付けることができるトレーラのフレームであってもよい。実施形態によっては、シャーシは、必要な植物および不要な植物を含むエリア上を飛行するように設計される車両の一部であってもよい。実施形態によっては、車両は、ロボットで制御されることが可能である。実施形態によっては、シャーシ上に画像プロセッサも搭載されることが可能である。他の実施形態では、画像プロセッサは遠隔的に位置決めされることが可能であり、誘導システムと配線を介して、または例えばWi−Fi接続を介して遠隔的に通信することができる。
ここでは、先に述べたような提供する装置を含む芝刈りシステムについて述べる。芝刈りシステムは、芝刈り機も含んでもよい。芝刈り機は、手動式またはトラクタ推進式芝刈り機であること、または自走式電動芝刈り機(ガソリン、ディーゼル、電気、ソーラ、電気式)であることが可能である。芝刈り機が手動式であれば、これは、三次元イメージャ、画像プロセッサ、少なくとも1つのレーザデバイスおよび誘導システムに給電するための電源を含んでもよい。芝刈り機がトラクタ推進式であれば、これは、実施形態によっては、三次元イメージャ、画像プロセッサ、少なくとも1つのレーザデバイスおよび誘導システムのうちの少なくとも1つを駆動するパワーを発生することができる。
実施形態によっては、芝刈り機は、切削手段を含むことが可能である。切削手段は、例えば、回転する横刃リール、回転する単刃またはレーザカッタ(電気光学式)を含むことが可能である。実施形態によっては、切削手段は、複数の回転レーザビームを利用して例えば芝生内で成長する草等の草木を刈ることができるレーザ切削装置等の電気光学式切削手段を含む。実施形態によっては、不要な植物を損傷するに足るパワーを有するレーザビームを放射するように構成される少なくとも1つのレーザデバイスは、芝生における草等の草木を刈るためにも使用され得ることが企図されている。このような一実施形態では、このレーザデバイスは、不要な植物(雑草)と必要な植物(芝草)とを区別することができ、かつ不要な植物の損傷および必要な植物の切削(芝刈り)の双方を行うことができる。この実施形態では、電気光学式切削手段およびレーザビームは、不要な植物の損傷および草木刈りの双方を行い得る十分なパワーを有することが可能である。
図15は、レーザ除草モジュールを含む装置の一実施形態を示す略図である。装置1500は、トレーラ1503が取り付けられるトラクタ1501を含む。トレーラ1503は、三次元イメージャと、レーザデバイスのアレイと、レーザビームコントローラとを含む。また装置1500は、必要な植物と不要な植物とを区別するように構成される画像プロセッサも含むことが可能である。装置1500は、農圃または芝地に渡って移動されることが可能であり、かつ不要な植物を識別して位置決めすることができる。トレーラ1503上のレーザデバイスアレイは、1つまたは複数の不要な植物へ方向づけられることが可能な複数のレーザビーム1505を生成することができる。
別の態様において、不要な植物を除去するための方法は、三次元イメージャを用いて植物画像を捕捉することを含む。このようなプロセスおよび装置については、先に論じた。本方法は、植物画像を捕捉した後に必要な植物と不要な植物とを区別することも含む。本方法は、少なくとも1つのレーザデバイスからのレーザビームを不要な植物へ方向づけることと、不要な植物をレーザビームで損傷することも含む。本方法は、実施形態によっては、少なくとも1つのレーザビームを不要な植物へと方向づけるように構成される誘導システムを提供することも含むことが可能である。実施形態によっては、提供する方法は、三次元イメージャ、少なくとも1つのレーザデバイスおよび誘導システムをシャーシ上へ搭載することを含んでもよい。別の実施形態では、農圃または芝地に渡ってシャーシを移動させることができる。
提供する方法の一実施形態を、図16におけるフロー図様式に示す。プロセス1600は、ステップ1601に示されているように、三次元イメージャを用いて植物画像を捕捉することを含む。捕捉された植物画像は、ステップ1610に示されているように、必要な植物と不要な植物とを区別するために使用される。植物が必要な植物1605であれば、三次元イメージャは、ステップ1603に示されているように、さらなる植物を探索するように構成される。植物が不要な植物であれば、ステップ1620に示されているように、不要な植物上に標的を位置決めすることができる。植物が所望される植物または必要な植物であれば、提供する装置によるさらなるアクションは不要である。植物が、損傷され、破壊され、または除去される必要のある不要な植物であれば、ステップ1620に示されているように、その位置決めが行われる。誘導システムは、ステップ1630に示されているように、少なくとも1つの除去システムを選択しかつこれを不要な植物上に集束させるために使用される。
安定化システムは、1640に示されているように、装置を補償するためのフィードバックを提供することができる。フィードバック補償は、植物をより良く位置決めするように三次元イメージャを配向し直すことができる。さらに、必要であれば、安定化システムは、誘導システムへフィードバックを提供して、除去デバイスの態様を不要な植物の標的へと誘導するためのフィードバック補償を提供することができる。フィードバック補償は、トラクタの横行または装置上の機械的サーボの作動に起因する振動動作を克服する場合がある。装置は、次に、除去デバイスからの出力を不要な植物の標的へと方向づけることができる(ステップ1650)。最後に、ステップ1660に示されているように、不要な植物(標的)は損傷され、望ましくは枯れて壊変する。
本明細書において具体的な実施形態を例示しかつ説明したが、一般的な当業者には、例示しかつ説明した具体的な実施形態が、本開示の範囲を逸脱することなく、様々な代替的かつ/または均等な実装により置換され得ることが認識されるであろう。本明細書は、本明細書において論じている具体的な実施形態の任意の適応または変形を包含することを意図するものである。したがって、本開示は、請求の範囲およびその均等物によってのみ限定されるべきものである。

Claims (10)

  1. 装置であって、
    植物の画像を捕捉するように構成されるイメージャと、
    前記捕捉される植物画像を基礎として、必要な植物と不要な植物とを区別するように構成される画像プロセッサと、
    前記不要な植物上の標的を損傷するように構成される少なくとも1つの除去デバイスと、
    前記少なくとも1つの除去デバイスを前記不要な植物へと方向づけるように構成される誘導システムと、
    前記イメージャおよび前記誘導システムの一方または双方へフィードバック補償を提供するように構成される安定化システムと
    前記三次元イメージャ、前記除去デバイス、前記誘導システムおよび前記安定化システムを支持するように構成されるシャーシと、を備える装置。
  2. 前記イメージャは、低い光画像安定性のための安定化レンズを含むカメラを備える、請求項1に記載の装置。
  3. 前記少なくとも1つの除去デバイスは、不要な植物へとレーザビームを放射するように構成されるレーザデバイスを備える、請求項1に記載の装置。
  4. 前記安定化システムは、三軸加速度計センサを備える、請求項1に記載の装置。
  5. 前記三軸加速度計センサは、約500Hz未満の周波数を有する低周波数機械振動を検出するように構成される、請求項4に記載の装置。
  6. 前記安定化システムは、ジャイロスコープ動きセンサを備える、請求項1に記載の装置。
  7. 前記装置は、非機械的位相アレイ・ビーム・ステアリング・モジュールを備える、請求項1に記載の装置。
  8. 前記除去デバイスは、前記画像プロセッサからの情報を基礎として、調整可能な波長を有するレーザビームを放射することができる、請求項1に記載の装置。
  9. 前記シャーシは、三次元ジャイロ加速度計センサを備える、請求項1に記載の装置。
  10. 不要な植物を除去する方法であって、
    三次元イメージャを用いて植物画像を捕捉することと、
    植物画像を捕捉した後に、必要な植物と不要な植物とを区別することと、
    前記不要な植物上に標的を位置決めすることと、
    除去デバイスを前記不要な植物へ誘導することと、
    安定化システムを用いて、前記三次元イメージャおよび前記除去デバイスの一方または双方へフィードバック補償を提供することと、
    除去デバイスからの出力を前記不要な植物上の標的へ方向づけることと、
    前記不要な植物上の前記標的を前記除去デバイスからの出力で損傷することとを含む方法。
JP2014178185A 2013-09-13 2014-09-02 安定化システムを有する不要植物の除去システム Pending JP2015053942A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/027,120 US9609859B2 (en) 2013-09-13 2013-09-13 Unwanted plant removal system having a stabilization system
US14/027,120 2013-09-13

Publications (2)

Publication Number Publication Date
JP2015053942A true JP2015053942A (ja) 2015-03-23
JP2015053942A5 JP2015053942A5 (ja) 2017-10-12

Family

ID=51494138

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014178185A Pending JP2015053942A (ja) 2013-09-13 2014-09-02 安定化システムを有する不要植物の除去システム

Country Status (3)

Country Link
US (1) US9609859B2 (ja)
EP (1) EP2848121A1 (ja)
JP (1) JP2015053942A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019039913A (ja) * 2018-08-02 2019-03-14 株式会社Zmp モニタリングシステム

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2902409A1 (en) * 2012-03-01 2013-09-06 Thomas JENNER Method and apparatus for selective photomorphogenesis in plants
US9374990B2 (en) * 2013-08-12 2016-06-28 Innovation Consultants, LLC Method and apparatus for laser mosquito control
US9609858B2 (en) 2013-09-13 2017-04-04 Palo Alto Research Center Incorporated Unwanted plant removal system having variable optics
EP4016981A3 (en) 2013-12-24 2022-09-21 Sony Depthsensing Solutions A time-of-flight camera system
US11178823B2 (en) 2014-04-07 2021-11-23 Premier Citrus Apz, Llc Systems and methods for using light energy to facilitate penetration of substances in plants
US9510586B2 (en) * 2014-07-31 2016-12-06 Elwha Llc Systems and methods for deactivating plant material outside of a growing region
DE102015209879A1 (de) * 2015-05-29 2016-12-01 Robert Bosch Gmbh Unkrautregulierungsvorrichtung
US11191278B2 (en) 2016-03-25 2021-12-07 Premier Citrus Apz, Llc Systems and methods for delivering nucleic acids to a plant
US9788770B1 (en) * 2016-04-14 2017-10-17 Verily Life Sciences Llc Continuous monitoring of tumor hypoxia using near-infrared spectroscopy and tomography with a photonic mixer device
DE102017002016A1 (de) * 2016-09-16 2018-03-22 Zasso Gmbh Vorrichtung zum Abtöten und Schwächen von Pflanzen und anderen Organismen
DE112017004655A5 (de) * 2016-09-16 2019-06-13 Zasso Gmbh Vorrichtung für die Elektrokution von Strukturen in der Umwelt und Verwendung dieser Vorrichtung
CN110771265A (zh) * 2017-04-21 2020-02-07 韦尔丹特照明技术公司 发光二极管照明系统
AU2018298391B2 (en) 2017-07-06 2024-05-02 Discovery Purchaser Corporation A weed control apparatus
US11690369B2 (en) * 2017-11-29 2023-07-04 Troy Benjegerdes Method and apparatus for weed control using a high intensity light source
EP3824282A4 (en) * 2018-07-17 2022-03-23 Photonic Detection Systems Pty Ltd DETECTION SYSTEM FOR DETECTING SUBSTANCES AND DISTINGUISHING CERTAIN SUBSTANCES FROM OTHER SUBSTANCES
CN109444937B (zh) * 2018-08-08 2021-04-02 北京木业邦科技有限公司 树木建模及抚育方法、装置、电子设备及存储介质
US10845810B2 (en) 2018-08-13 2020-11-24 FarmWise Labs, Inc. Method for autonomous detection of crop location based on tool depth and location
US20200100491A1 (en) * 2018-09-28 2020-04-02 Vital Vio, Inc. Inactivation of Insects With Light
US11344022B2 (en) * 2018-10-21 2022-05-31 Global Neighbor, Inc. Fast plant eradication using aimed unnatural low energy dual component indigo region and medium wavelength
CN109708578B (zh) * 2019-02-25 2020-07-24 中国农业科学院农业信息研究所 一种植株表型参数测量装置、方法及系统
WO2020182840A1 (fr) * 2019-03-12 2020-09-17 Carbon Bee Dispositif de contrôle de traitement agricole
DE102019219896A1 (de) * 2019-12-17 2021-06-17 Deere & Company Vorrichtung zur Bekämpfung unerwünschter Lebewesen
FR3110743B1 (fr) * 2020-05-20 2022-04-29 Carbon Bee Procede et systeme de controle de traitement agricole
WO2022023913A1 (en) * 2020-07-26 2022-02-03 Ariel Scientific Innovations Ltd. Microwaves for plant and pest control
CN111780676B (zh) * 2020-08-07 2023-04-25 隗海林 一种基于上基准玉米植株高和穗高测量装置
CN111972385A (zh) * 2020-09-07 2020-11-24 吉林省中业光电技术有限公司 一种便于土壤检测的激光除草装置
CN114175914A (zh) * 2020-09-15 2022-03-15 苏州宝时得电动工具有限公司 自动除草装置、方法及存储介质
CN112212801B (zh) * 2020-09-30 2022-05-06 内蒙古师范大学 一种固沙灌木构型数据处理系统
EP4243592A1 (en) 2020-11-12 2023-09-20 Earth Rover Limited Light concentration weeding system
KR102588354B1 (ko) * 2021-03-08 2023-10-13 한국알프스 주식회사 스캔 성능이 향상된 광위상 배열 라이다
US20220299635A1 (en) * 2021-03-17 2022-09-22 Carbon Autonomous Robotic Systems Inc. Systems and methods for point to point object matching and targeting
NL2031403B1 (en) * 2022-03-24 2023-10-09 Odd Bot B V Weeding arrangement and method of using the weeding arrangement
DE102022122512A1 (de) 2022-09-06 2024-03-07 Futonics Laser GmbH Verfahren und Vorrichtung zur energieeffizienten Unkrautbekämpfung mit Laserlicht

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08501385A (ja) * 1992-07-28 1996-02-13 パッチェン・カリフォルニア・インコーポレイテッド ある対象を他の対象から識別するための装置及び方法
JP2001275541A (ja) * 2000-03-31 2001-10-09 Fumakilla Ltd 病害虫防除・除草・殺菌用装置
US6795568B1 (en) * 1998-07-17 2004-09-21 Torsana Laser Technologies A/S Method and an apparatus for severing or damaging unwanted plants
WO2008014553A1 (en) * 2006-08-01 2008-02-07 Photonic Detection Systems Pty Ltd Optical sensing system and optical devices therefor
JP2008089314A (ja) * 2006-09-29 2008-04-17 Topcon Corp 位置測定装置及びその方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3652844A (en) 1970-02-09 1972-03-28 Ralph A Scott Jr Laser plant control
DE4039797A1 (de) 1990-12-13 1991-09-26 Manfred Prof Dr Hoffmann Sensorgesteuerte pflegetechnik und unkrautregulation
WO1992013443A1 (en) 1991-02-01 1992-08-20 Plant Production Systems B.V. A method for use in a multiplication process of plants and a device for carrying out said method
US5278423A (en) 1992-12-30 1994-01-11 Schwartz Electro-Optics, Inc. Object sensor and method for use in controlling an agricultural sprayer
DE4339329C2 (de) 1993-11-19 1996-05-30 Holzapfel Klaus Dipl Ing Fh Vorrichtung zur gezielten Vernichtung bzw. Eindämmung von Unkraut
US5606821A (en) 1994-07-25 1997-03-04 Loral Corporation Smart weed recognition/classification system
WO1997017830A1 (en) 1995-11-13 1997-05-22 The Regents Of The University Of California Method of controlling pests and pathogens in growing media with pulsed electromagnetic energy
EP0801885B1 (en) 1996-04-19 2002-01-09 Carnegie-Mellon University Vision-based crop line tracking for harvesters
US6178253B1 (en) 1997-10-10 2001-01-23 Case Corporation Method of determining and treating the health of a crop
WO1999030133A1 (en) 1997-12-08 1999-06-17 Weed Control Australia Pty. Ltd. Discriminating ground vegetation in agriculture
WO2000003589A1 (en) 1998-07-17 2000-01-27 Ministeriet For Fødevarer, Landbrug Og Fiskeri A method and an apparatus for severing or damaging unwanted plants
US6374584B1 (en) 2000-05-19 2002-04-23 Daniel R. Blanchard Reel type laser lawn mower
US6269617B1 (en) 2000-05-19 2001-08-07 Daniel R. Blanchard Lawn mower with laser cutting apparatus
US6556598B1 (en) 2000-07-21 2003-04-29 Self-Guided Systems, Llc Laser guidance assembly for a vehicle
WO2002017705A1 (de) 2000-08-31 2002-03-07 Wolf-Garten Gmbh & Co. Kg Verfahren und vorrichtung zur garten- und landschaftspflege
US8497450B2 (en) * 2001-02-16 2013-07-30 Electro Scientific Industries, Inc. On-the fly laser beam path dithering for enhancing throughput
US7245412B2 (en) * 2001-02-16 2007-07-17 Electro Scientific Industries, Inc. On-the-fly laser beam path error correction for specimen target location processing
AUPR457401A0 (en) 2001-04-26 2001-05-24 Weed Control Australia Pty Ltd Selective weed discrimination
DE10221948B4 (de) 2001-05-14 2004-03-11 Kümmel, Knut, Dipl., -Ing. Verfahren und System zum volumenspezifischen Beeinflussen von Boden und Pflanzen
BE1014341A3 (fr) 2001-08-13 2003-09-02 Faculte Univ Sciences Agronomiques Gembloux Dispositif de regulation de debit de buses de pulverisation.
US7916898B2 (en) 2003-09-15 2011-03-29 Deere & Company Method and system for identifying an edge of a crop
DE102004011462B4 (de) 2004-03-09 2006-11-23 Michael Schmutzenhofer Vorrichtung zur Beseitigung von Schnee, Eis und Unkraut
DK176273B1 (da) 2004-05-10 2007-05-21 Frank Poulsen Selektiv behandling af planter i række
ITPI20050122A1 (it) 2005-11-14 2007-05-15 Corrado Nuti Macchina diserbatrice ecologica multiuso funzionante per mezzo di un laser
US7919723B2 (en) 2007-04-03 2011-04-05 Renewable Thermodynamics, Llc Apparatus and method for cutting lawns using lasers
DE102007036222A1 (de) 2007-08-02 2009-02-05 Mulag Fahrzeugwerk Heinz Wössner GmbH u. Co KG Mähen mit Laser
US8705017B2 (en) 2009-01-15 2014-04-22 Tokitae Llc Photonic fence
US8150554B2 (en) 2009-04-21 2012-04-03 Deere & Company Resource use management in yards and gardens
DE102009023896B4 (de) 2009-06-04 2015-06-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erfassen einer Pflanze
US20110211733A1 (en) 2009-08-27 2011-09-01 Schwarz Michael W Crop thinning systems
US8666550B2 (en) 2010-01-05 2014-03-04 Deere & Company Autonomous cutting element for sculpting grass
FI20115654L (fi) 2011-06-23 2012-12-24 Laser Growth Ltd Valaistus valoherkkien biologisten prosessien aktivoimiseksi
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US20130182079A1 (en) 2012-01-17 2013-07-18 Ocuspec Motion capture using cross-sections of an object
EP2822380B1 (en) 2012-03-07 2022-12-21 Blue River Technology, Inc. Method and apparatus for automated plant necrosis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08501385A (ja) * 1992-07-28 1996-02-13 パッチェン・カリフォルニア・インコーポレイテッド ある対象を他の対象から識別するための装置及び方法
US6795568B1 (en) * 1998-07-17 2004-09-21 Torsana Laser Technologies A/S Method and an apparatus for severing or damaging unwanted plants
JP2001275541A (ja) * 2000-03-31 2001-10-09 Fumakilla Ltd 病害虫防除・除草・殺菌用装置
WO2008014553A1 (en) * 2006-08-01 2008-02-07 Photonic Detection Systems Pty Ltd Optical sensing system and optical devices therefor
JP2008089314A (ja) * 2006-09-29 2008-04-17 Topcon Corp 位置測定装置及びその方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019039913A (ja) * 2018-08-02 2019-03-14 株式会社Zmp モニタリングシステム

Also Published As

Publication number Publication date
US9609859B2 (en) 2017-04-04
EP2848121A1 (en) 2015-03-18
US20150075067A1 (en) 2015-03-19

Similar Documents

Publication Publication Date Title
JP6230976B2 (ja) 可変光学系を有する不要植物の除去システム
JP6230975B2 (ja) 不要植物の除去システム
US9609859B2 (en) Unwanted plant removal system having a stabilization system
AU696597B2 (en) Apparatus and method for determining a distance to an object in a field
ES2763412T3 (es) Sistema de control de plagas, método de control de plagas y programa de control de plagas
US5793035A (en) Apparatus and method for spraying herbicide on weeds in a cotton field
US20160205918A1 (en) Weed eradication method and apparatus having light redirector
US20240041018A1 (en) Autonomous laser weed eradication
US20160205917A1 (en) Weed eradication method and apparatus
US20220299635A1 (en) Systems and methods for point to point object matching and targeting
CA2193837C (en) Apparatus and method for determining a distance to an object in a field
RU2795590C2 (ru) Аппарат для инсектицидного опрыскивания

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170904

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170904

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170904

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171205

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180731