JP2020529686A - 神経回路網の学習による作物と雑草を識別する装置及び方法 - Google Patents

Abstract

作物熱を抽出するＣＥＤ神経回路網は、作物の映像の入力を受け、入力映像の作物熱に該当する位置にグラフィック線を表示した学習目標映像を学習させることで、作物映像から作物熱を抽出する技術を自ら構築するようにし、作物‐雑草識別用ＣＥＤ神経回路網は、近接撮影した作物の映像の入力を受け、入力映像の作物或は雑草に該当する位置に作物或は雑草の種類ごとに異なる種類（カラー・形状）のシンボルを置いて表示した学習目標映像を学習させることで、作物と雑草とを識別できる技術を自ら構築可能にする。本発明を介して得られた作物熱位置情報及び熱像の雑草位置情報を除草機に転送し、除草機が当該位置に除草器具を送って除草を実行できるようにする。【選択図】図１

Description

本発明は、神経回路網の映像認識分野に属する技術で、ＣＥＤ神経回路網を用いて作物の熱を認識し、熱以外の植物をすべて雑草と見なして一括除去するようにし、熱とその周囲に残留する少数の雑草に対してはもう一つのＣＥＤ神経回路網の学習によって精密に識別し、除草可能にすることを特徴とする雑草識別方法に関する。

環境にやさしい農作物の栽培において、最も労働力が必要な農作業の一つが除草作業である。除草が効果的に行われないと、農作物の成長に致命的な被害を与え得るので、農夫は農作物の生長期間の間に常に除草作業に気を抜けられなくなる。従って、除草作業の自動化は農夫にとっては夢のようで、このための研究が為されて来た。

Ｚｈａｎｇら（１９９５）は、小麦畑で発見される雑草を見分けられる基準を、カラー、形体、質感の三つの側面から分析及び提示している。Ｗｏｅｂｂｅｃｋｅら（１９９５ａ）は、映像から雑草と背景の分離するためのカラー分析を行っている。特に、修正カラー、２ｇ−ｒ−ｂ、緑色クロマ座標（Ｃｈｒｏｍａｔｉｃ ｃｏｏｒｄｉｎａｔｅ）が周囲環境から雑草を効果的に見分けられることを示している。Ｔｉａｎら（１９９７）は、露地で小さいトマトと雑草の位置を把握できる機械視覚システムを開発して試験している。韓国国内でもこの分野の研究を行っていて、チョ・ソインら（１９９９）は、スベリヒユ、メヒシバ、アカザを対象雑草とし、これらの幾何学的特徴を抽出し、露地から雑草を検出できる可能性を示す研究を行っている。しかし、このような植物のカラー、形体、質感のｓｐｅｃｔｒｕｍを介した違いなどによる雑草認識方法は規則に基づいているので、多様に変化した環境、模様などに適応することができず、実用化には不十分である。

様々な環境においても適用可能な雑草認識技術が必要であるが、最近、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ神経回路網の技術の発展に伴い、これを用いた雑草認識への試みがある。Ｃｉｃｃｏら（Ｄｅｃ ２０１６、ＣＶＰＲ）は、グラフィックツールを用いて生成したデータセットをＤｅｅｐ Ｌｅａｒｎｉｎｇ神経回路網の一つであるＳｅｇＮｅｔ（ＣｏＲＲ２０１５）上で学習させて雑草と作物を区別するようにしている。さらに、Ｐｏｔｅｎａら（Ｆｅｂ ２０１７）の作物と雑草との区別（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）のためにＤｅｅｐ Ｌｅａｒｎｉｎｇ神経回路網の技術を用いることで、従来のアルゴリズム的方法に比べると分類の正確性を大きく向上させている。これらの方法では雑草全体の形状を個別的に抽出することを目標としているので、まばらに分布した雑草には適用可能であるが、多くの草と作物が混ざっている環境では植物が互いに重なっていて区別性が無くなるので実用化するのが難しい。他のアプローチとして近距離作物の位置を機械式接触センサーを用いて認識する方法（ＫＲ１０−２０１３−０１１５０５７）も提示されているが、小さい苗に対しては適用するのが難しく、この問題を解決するために小さい苗にも適用可能にレーザセンサーと触覚を用いる方法｛ＫＲ１０―２００９―０１１３９９０｝も開発されているが、風に揺らぐ小さい苗の位置が正確でないので、近距離のみに有効であると言うデメリットがある。

Ｚｈａｎｇ、Ｎ. ａｎｄ Ｃ.Ｃｈａｉｓａｔｔａｐａｇｏｎ、１９９５、Ｅｆｆｅｃｔｉｖｅ ｃｒｉｔｅｒｉａ ｆｏｒ ｗｅｅｄ ｉｄｅｎｔｉｆｙｉｎｇ ｉｎ ｗｈｅａｔ ｆｉｅｌｄｓ ｕｓｉｎｇ ｍａｃｈｉｎｅ ｖｉｓｉｏｎ、Ｔｒａｎｓａｃｔｉｏｎｓ ｏｆ ｔｈｅ ＡＳＡＥ ３８（３）：９６５−９７４。

Ｗｏｅｂｂｅｃｋｅ、Ｄ.Ｍ.、Ｇ.Ｅ.Ｍｅｙｅｒ、Ｋ.Ｖｏｎ Ｂａｒｇｅｎ ａｎｄ Ｄ.Ａ.Ｍｏｒｔｅｎｓｅｎ、１９９５ａ、Ｓｈａｐｅ ｆｅａｔｕｒｅｓ ｆｏｒ ｉｄｅｎｔｉｆｙｉｎｇ ｙｏｕｎｇ ｗｅｅｄｓ ｕｓｉｎｇ ｉｍａｇｅ ａｎａｌｙｓｉｓ、Ｔｒａｎｓａｃｔｉｏｎｓ ｏｆ ｔｈｅ ＡＳＡＷ ３８（１）：２７１−２８１。

Ｔｉａｎ、Ｌ.、Ｄ.Ｃ.Ｓｌａｕｇｈｔｅｒ ａｎｄ Ｒ.Ｆ.Ｎｏｒｒｉｓ、１９９７、Ｏｕｔｄｏｏｒ ｆｉｅｌｄ ｖｉｓｉｏｎ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ ｔｏｍａｔｏ ｓｅｅｄｌｉｎｇｓ ｆｏｒ ａｕｔｏｍａｔｅｄ ｗｅｅｄ ｃｏｎｔｒｏｌ、Ｔｒａｎｓａｃｔｉｏｎｓ ｏｆ ｔｈｅ ＡＳＡＥ ４０（６）：１７６１−１７６８。

チョ・ソンイン、リ・デソン、ベ・ヨンミン、１９９９、機械視覚を用いた雑草の識別、韓国農業機械学会誌 第２４巻 第１号、５９−６６

ａｕｒｉｌｉｏ Ｄｉ Ｃｉｃｃｏ、Ｃｉｒｏ Ｐｏｔｅｎａ、Ｇｉｏｒｇｉｏ Ｇｒｉｓｅｔｔｉ ａｎｄ Ａｌｂｅｒｔｏ Ｐｒｅｔｔｏ、２０１６、Ａｕｔｏｍａｔｉｃ Ｍｏｄｅｌ Ｂａｓｅｄ Ｄａｔａｓｅｔ Ｇｅｎｅｒａｔｉｏｎ ｆｏｒ Ｆａｓｔ ａｎｄ Ａｃｃｕｒａｔｅ Ｃｒｏｐ ａｎｄ Ｗｅｅｄｓ Ｄｅｔｅｃｔｉｏｎ、ＣＶＰＲ、ａｒＸｉｖ：１６１２．０３０１９ｖ１ ［ｃｓ.ＣＶ］９、Ｄｅｃ ２０１６Ｃ。

ｉｒｏ Ｐｏｔｅｎａ、Ｄａｎｉｅｌｅ Ｎａｒｄｉ、ａｎｄ Ａｌｂｅｒｔｏ Ｐｒｅｔｔｏ、２０１７、Ｆａｓｔ ａｎｄ Ａｃｃｕｒａｔｅ Ｃｒｏｐ ａｎｄ Ｗｅｅｄ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ｓｕｍｍａｒｉｚｅｄ Ｔｒａｉｎ Ｓｅｔｓ ｆｏｒ Ｐｒｅｃｉｓｉｏｎ Ａｇｒｉｃｕｌｔｕｒｅ、Ｉｎｔｅｌｌｉｇｅｎｔ Ａｕｔｏｎｏｍｏｕｓ Ｓｙｓｔｅｍｓ、ｖｏｌ １４、１０５−１２１、Ｆｅｂ ２０１７。

本発明は上記に鑑みてなされたものであり、本発明は、人工知能技術を用いて作物の映像から作物熱を抽出する技術と作物と雑草とを識別する技術を開発し、除草作業をする位置まで指定可能な技術の学習を介して自ら構築できるようにする技術を提供することを目的とする。

本発明の少なくとも一つの実施例においては、前記目的を達成するために、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ（ＣＥＤ）神経回路網の技術を用いて作物の熱を抽出し、除草機が熱と熱の間の植物を雑草と見なして除去するようにし、作物熱上に存在する少数の雑草に対しては追加的なＣＥＤ神経回路網を用いて作物から雑草を識別して除去する。

このためのシステム構造は、作物の熱の抽出のために用いるＣＥＤ神経回路網と、作物と雑草との識別に用いるＣＥＤ神経回路網とで構成される。前記ＣＥＤ神経回路網は、入力段から出力段までの間に複数の段で構成され、中間段に行くほど括れた構造を有し、格段にコンボリューション演算を行うＣＥＤ神経回路網で構成される。ＣＥＤ神経回路網には、図１のように基本構造から変形された様々な構造があり、これらの間に性能と特徴の差はあるものの、どのような変形構造のＣＥＤ神経回路網も本発明の目的である作物の熱抽出と作物と雑草との識別に使用可能である。

ＣＥＤ神経回路網に上記のように作物の熱を抽出させるために、作物の映像をＣＥＤ神経回路網の入力映像とし、入力映像での作物の熱の位置をグラフィックで描いて表示した線の映像を学習目標映像とする学習データセットを大量で備え、

前記学習データセットをＣＥＤ神経回路網が繰り返して学習することで、作物の映像から作物熱を抽出する技術を自ら習得できるようにする。

さらに、作物・雑草識別ＣＥＤ神経回路網のために、個別の作物と雑草の形状が識別可能である程度に近接撮影した映像を入力映像とし、入力されて映像に作物または雑草の位置に互いに異なる形状或はカラーのシンボルを表示した映像を学習目標映像とする学習データセットを大量に用意し、

前記学習データセットを繰り返して学習することで、ＣＥＤ神経回路網がたんぼ・畑の映像から作物と雑草とを識別し、その位置まで指定する技術を神経回路網の学習を介して自ら習得できるようにする。

本発明は、作物熱の抽出と作物・雑草を識別する目標を達成するために、従来の映像処理技術によるアルゴリズムに頼らずに、出力映像として現れることを期待する映像を直接グラフィックで作成して学習させる。従って、狙いの映像認識結果を得るために要求される技術をＣＥＤ神経回路網が学習を介して自ら構築できるようにする新しい技術開発方法を開発できる効果がある。さらに、この技術を用いて作物の熱を認識し、作物・雑草を識別することで、除草機が精密で自動に除草できるようにする効果がある。

図１は、本発明に用いるＣｏｎｖｏｌｕｔｉｏｎａｌ Ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ神経回路網の構造であり、

（Ａ）作物（稲）の熱認識に用いるＣｏｎｖｏｌｕｔｉｏｎａｌ Ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ神経回路網の構造

（Ｂ）作物（稲）と雑草（稗草）との識別及び位置認識に用いるＣｏｎｖｏｌｕｔｉｏｎａｌ Ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ神経回路網の構造

（Ｃ）Ｕｎｅｔ（ｓｋｉｐ）ＣＥＤ神経回路網、（Ｄ）Ｄｅｎｓｅ ＣＥＤ神経回路網及びＤｅｎｓＮｅｔブロックを本発明に使用可能な変形されたＣＥＤ神経回路網の構造

図２は、除草のための作物熱と作物・雑草識別及び位置検出システムの構造であり、

図３は、作物熱の抽出のためのＣＥＤ神経回路網の学習データの一部の例示であり、

図４は、学習された作物熱抽出用のＣＥＤ神経回路網のテスト結果の例示であり、

図５は、苗と稗草とを区別するためのＣＥＤ神経回路網の学習データの一つの例示であり、図６は、学習された作物・稗草識別用のＣＥＤ神経回路網のテスト結果の例示である。

１００：ＣＰＵ

１１０：ＧＰＵ

２００：作物・雑草識別システム

２１０：作物熱の位置のグラフィック表示映像制作

２２０：作物映像‐作物熱映像データベース

２３０：作物熱認識用ＣＥＤ神経回路網

２４０：作物‐雑草位置のシンボル表示映像制作

２５０：作物映像‐作物種類位置映像データベース

２６０：作物と雑草の識別及び位置認識用ＣＥＤ神経回路網

２８０：カメラ

２９０：除草機

以下の本発明の実施形態のうち、正確性は図１（Ａ）、（Ｂ）で提示するＣＥＤ神経回路網より図１（Ｃ）のユーネット（Ｕｎｅｔ）を用いたＣＥＤ神経回路網と図１（Ｄ）のデンスネット（ＤｅｎｓＮｅｔ）を用いたＣＥＤ神経回路網が優れていて、ユーネットを用いたＣＥＤ神経回路網よりデンスネットを用いたＣＥＤ神経回路網が多少優れている。しかし、デンスネットを用いたＣＥＤ神経回路網の場合、ユーネットを用いたＣＥＤ神経回路網より必要なパラメーター（ｐａｒａｍｅｔｅｒ）が多く、適切なハイパー・パラメーター（ｈｙｐｅｒ−ｐａｒａｍｅｔｅｒ）の選択も難しいというデメリットがある。さらに、デンスネットを用いたＣＥＤ神経回路網は動作速度がユーネットを用いたＣＥＤ神経回路網より遅いというデメリットがある。

従って、正確性、実現性、及び経済性をすべて考慮した最善の実施形態はユーネットを用いたＣＥＤ神経回路網を含む形態である。

本発明で用いたＣｏｎｖｏｌｕｔｉｏｎａｌ Ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ(ＣＥＤ)神経回路網は、図１に示すように、入力段から出力段までの間に複数の段で構成され、そのサイズが徐々に減少して増加する構造を有する神経回路網である。前半部の徐々に減少する部分をエンコーダー（ｅｎｃｏｄｅｒ）部分と言い、後半部の徐々に増加する部分をデコーダー（ｄｅｃｏｄｅｒ）部分と言う。図１の（Ａ）と（Ｂ）は、本発明で作物熱の認識と作物熱上の雑草の検出にそれぞれ用いたＣＥＤ神経回路網の構造であるが、両方を交換して用いても良い。さらに、図１の（Ｃ）に示すように、エンコーダー部分の各層の出力がデコーダー部分の同一の層の入力にスキップ（ｓｋｉｐ）して合算されるＣＥＤ神経回路網、即ち、ユーネット（Ｕｎｅｔ）またはスキップ（ｓｋｉｐ）構造と呼ばれる変形された構造のＣＥＤ神経回路網も用いることができ、図１の（Ｄ）に示すように、ユーネット（Ｕｎｅｔ）構造の各層をわたって接続を有するＤｅｎｓＮｅｔと呼ばれる変形されたＣＥＤ神経回路網構造も用いることが可能である。さらに、ＣＥＤ神経回路網に基づいて変形された神経回路網を用いても良い。この場合、それぞれの構造毎に異なる数の層、異なる数のフィルターを用いて本発明を実現することが可能であり、本発明の目的を達成することが可能である。

本発明は、上述のＣｏｎｖｏｌｕｔｉｏｎａｌ Ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ(ＣＥＤ)神経回路網の技術を用いて作物の熱を認識する作物熱認識工程と、作物熱上に存在する少数の雑草に対して追加的なＣＥＤ神経回路網を用いて作物から雑草を識別する作物・雑草識別工程で構成される。このためのハードウェアは、図２に示すように、作物の熱を認識する工程で用いられるＣＥＤ神経回路網２３０と作物から雑草を識別する工程で用いられるＣＥＤ神経回路網２６０の二つの神経回路網で構成される。

それぞれのＣＥＤ神経回路網には入力映像と共に出力として得ようとする出力を学習データベース（２２０、２５０）化して印加することで、ＣＥＤ神経回路網に実行すべき任務を提示し、神経回路網は学習を介してその任務を実行する技術を習得する。

このために、まず作物映像を大量で獲得し、それぞれの作物映像に対する作物熱位置のグラフィック表示映像（２１０）と作物・雑草位置のシンボル表示映像（２４０）を大量で制作し、作物映像・作物熱映像データベース２２０と作物映像・作物と雑草の種類及び位置映像データベース２５０を構成してコンピューターのハードディスク装置に格納する。前記作物映像・作物熱映像データベース２２０と作物映像・作物と雑草の種類及び位置映像データベース２５０は、それぞれ作物熱認識用ＣＥＤ神経回路網２３０と作物と雑草の識別及び位置認識用ＣＥＤ神経回路網２６０によって学習する。学習された神経回路網は、予め設計された神経回路網の構造に対する各接続パラメーター値のデータの形態を有する。以下、作物熱認識用ＣＥＤ神経回路網２３０と作物と雑草の識別及び位置認識用ＣＥＤ神経回路網２６０の学習過程に関して詳細に説明する。

作物熱認識のための学習

ＣＥＤ神経回路網に作物熱を認識する技術を開発させるためには、その例となる学習データを映像の形態で多様に大規模で用意する。図３は、作物のうち苗（稲）の場合を例示したもので、左側の映像のような入力映像が認可された場合、ＣＥＤ神経回路網に右側の映像のような作物の熱映像を抽出して提示するように任務を与える例である。より具体的に、学習目標映像は図３の左側の映像のように、苗の各列に該当する位置に沿って図３の右側の映像のようにグラフィックによる線を表示提示する。即ち、左側の映像の上に右側の映像を重ね合わせると、右側の映像の各線は左側の映像での作物熱の中央に位置する学習目標映像を作成する。但し、除草機が作物熱に沿って除草作業を行う際には正面の作物熱に沿って行きながら作業を行うので、学習目標映像の作成時に正面の線に重点を置いて描き、左右両側に向く熱は省略しても良い。さらに、図３の（Ｄ）に示すように途中で苗が無くなっている位置まで延長線を引くことで、神経回路網が延長線を引く技術を習得できるようにする。

このような学習データが準備できたら、これに対する学習の際により多様な形態の学習のために、用意された映像を対象に様々な角度での回転、拡大及び回転、縮小及び回転、左右上下移動などと手法（ａｕｇｍｅｎｔａｔｉｏｎ手法）を介してより多くの数の学習データを追加生成して神経回路網を学習させる。このときに用いる学習は、神経回路網の学習に一般的に用いられるｂａｃｋｐｒｏｐａｇａｔｉｏｎ学習方法を用いてエラーが所定の閾値以下になるまでの反復学習である。

図４は、作物熱を認識するために学習されたＣＥＤ神経回路網をテストした結果の例示であり、左側の入力映像をＣＥＤ神経回路網に印加すると、その出力として中央の映像が得られる。この出力映像上の線が入力映像の作物熱の位置を正確に指定しているか否かを確認するために、このＣＥＤ神経回路網の出力画像を入力映像に重ね合わせた映像が図４の右側の映像である、図４で示すように、ＣＥＤ神経回路網の出力の線の位置が入力映像の作物熱の位置を正確に指定していることが分かる。

個別作物と雑草との識別学習

本発明では、作物と雑草との識別も上記のＣｏｎｖｏｌｕｔｉｏｎａｌ Ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ(ＣＥＤ)と類似した構造の神経回路網を使用している。学習データは、学習目標映像で作物の根元部分を第１種類のシンボルで表示し、雑草の根元部分に第２種類のシンボルで表示した映像を作成して神経回路網がこれを学習するようにする。この根元部分にシンボルを表示する場合、この部分を除草機系によって破砕されるようにすれば、効果的な除草が可能になる。

図５の左側の映像は神経回路網の入力として用いた稲と稗草の映像であり、右側の映像は学習目標映像で、左側の映像で稲の根元部分に該当するところにグレーの円形シンボルで表示し、稗草の根元部分に該当するところに黒の円形シンボルで表示した映像の例である。稲の苗と稗草とを識別するためのＣＥＤ神経回路網の学習データは、左側の映像のような映像を大量で撮影して入力映像として用意し、それぞれの入力映像に対して右側の映像のような学習目標映像を作成する。ここでは学習目標映像は、空（ｂｌａｎｋ）映像に苗や稗草の根元部分の位置にグレーと黒の円形シンボルで表示した映像を作成した例を示しているが、入力映像上に上記のシンボルを重ね合わせて表示しても良い。さらに、表示するシンボルの色や形状も他の色や形状を選択可能である。このような方法で学習データセットを構成し、ｂａｃｋｐｒｏｐａｇａｔｉｏｎ学習方法を用いてエラーが所定の閾値以下になるまで繰り返し学習させる。図６は、作物熱認識用ＣＥＤ神経回路網のテスト結果の一部の例である。図６の左側の映像は入力テスト映像で学習データに含まれてない映像である。図６の中央の映像は神経回路網の出力映像であり、右側の映像は入力映像と出力映像を重ね合わせた映像である。出力映像及び重ね合わせ映像でグレーの円形シンボルは稲の位置を表し、黒の円形シンボルは稗草の位置を表す。これらの映像で示すように、苗と稗草の位置を正確に認識して表示していることが分かる。但し、稲が互いに重なって根元部分が見えない場合は稲を識別できないが、これは根元の形状を基準に識別するように学習させたからである。しかし、形状を確実に確認できる大きさと位置の稗草はほとんど識別されて検出されることが分かる。

このように認識された結果映像は除草ロボットに送られ、苗と稗草の実際の位置を見つけて除草可能になる。

除草システムの頭脳としての役割

本発明を除草システムの頭脳として活用するためには、カメラ２８０を介して映像をリアルタイムで獲得し、獲得した映像を作物熱認識用ＣＥＤ神経回路網２３０と作物と雑草の識別及び位置認識用ＣＥＤ神経回路網２６０に同時に印加して高速に処理する。このような情報の流れを制御して神経回路網をソフトウェア的に構成して実行するためにＣＰＵ１００を用いる。さらに、ＣＰＵ１００は、神経回路網の出力を後処理し、分析し、その結果を用いて外部の除草機の自律運転に必要な制御信号を生成する。この過程でＣＥＤ神経回路網を構成してその動作を実行させるためには高速の信号処理が必要であり、このためにＧＰＵ１１０が補助装置として用いられる。

除草機制御システムの構成

学習されたＣＥＤ神経回路網のパラメーターにはすでに作物映像・作物熱映像データベース２２０と作物映像・作物種類及び位置映像データベース２５０から抽出した作物熱認識及び作物・雑草識別に必要な情報が含まれているので、装置の小型化のためにデータベースを除去し、カメラ２８０と、作物熱認識用ＣＥＤ神経回路網２３０と、雑草の識別及び位置認識用ＣＥＤ神経回路網２６０と、ＣＰＵ１００と、ＧＰＵ１１０のみで簡単に除草機制御システム３００を構成することができる。

上記のように構成された除草機制御システムが除草機２９０に適切な除草作業命令を送るためには、まずカメラ２８０を介して映像リアルタイムで獲得し、獲得した映像を作物熱認識用ＣＥＤ神経回路網２３０と作物と雑草の識別及び位置認識用ＣＥＤ神経回路網２６０に同時に印加して高速で処理する。このような情報の流れを制御して神経回路網をソフトウェア的に構成して実行するためにＣＰＵ１００を用いる。さらに、ＣＰＵ１００は、神経回路網の出力を後処理し、分析し、その結果を用いて外部の除草機２９０の自律除草作業に必要な制御信号を生成する。この過程でＣＥＤ神経回路網を構成してその動作を実行させるためには高速の信号処理が必要であり、このためにＧＰＵ１１０が補助装置として用いられる。

農業において土壌の養分と太陽エネルギーを奪って農作物の生育を妨害する雑草の除去は必要不可欠である。特に、最近の国際的趨勢である環境にやさしい農作物栽培では農薬などの化学製品を使用しないので、除草作業により多くの労働力が必要な状況である。よって、本発明は、農作物の栽培において農夫の労働力の大部分を占める除草作業の自動化と機械化を通じて農作物栽培の効率化と除草作業のための作業員の雇用費用などの生産費用を節減できるようにするためのもので、除草作業が必要な農作物の栽培にはその産業上の利用可能性が大きい。

本発明は、神経回路網の映像認識分野に属する技術で、ＣＥＤ神経回路網を用いて作物の列を認識し、列以外の植物をすべて雑草と見なして一括除去するようにし、列とその周囲に残留する少数の雑草に対してはもう一つのＣＥＤ神経回路網の学習によって精密に識別し、除草可能にすることを特徴とする雑草識別方法に関する。

環境にやさしい農作物の栽培において、最も労働力が必要な農作業の一つが除草作業である。除草が効果的に行われないと、農作物の成長に致命的な被害を与え得るので、農夫は農作物の生長期間の間に常に除草作業に気を抜けられなくなる。従って、除草作業の自動化は農夫にとっては夢のようで、このための研究が為されて来た。

Ｚｈａｎｇら（１９９５）は、小麦畑で発見される雑草を見分けられる基準を、カラー、形体、質感の三つの側面から分析及び提示している。Ｗｏｅｂｂｅｃｋｅら（１９９５ａ）は、映像から雑草と背景の分離するためのカラー分析を行っている。特に、修正カラー、２ｇ−ｒ−ｂ、緑色クロマ座標（Ｃｈｒｏｍａｔｉｃ ｃｏｏｒｄｉｎａｔｅ）が周囲環境から雑草を効果的に見分けられることを示している。Ｔｉａｎら（１９９７）は、露地で小さいトマトと雑草の位置を把握できる機械視覚システムを開発して試験している。韓国国内でもこの分野の研究を行っていて、チョ・ソインら（１９９９）は、スベリヒユ、メヒシバ、アカザを対象雑草とし、これらの幾何学的特徴を抽出し、露地から雑草を検出できる可能性を示す研究を行っている。しかし、このような植物のカラー、形体、質感のｓｐｅｃｔｒｕｍを介した違いなどによる雑草認識方法は規則に基づいているので、多様に変化した環境、模様などに適応することができず、実用化には不十分である。

様々な環境においても適用可能な雑草認識技術が必要であるが、最近、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ神経回路網の技術の発展に伴い、これを用いた雑草認識への試みがある。Ｃｉｃｃｏら（Ｄｅｃ ２０１６、ＣＶＰＲ）は、グラフィックツールを用いて生成したデータセットをＤｅｅｐ Ｌｅａｒｎｉｎｇ神経回路網の一つであるＳｅｇＮｅｔ（ＣｏＲＲ２０１５）上で学習させて雑草と作物を区別するようにしている。さらに、Ｐｏｔｅｎａら（Ｆｅｂ ２０１７）の作物と雑草との区別（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）のためにＤｅｅｐ Ｌｅａｒｎｉｎｇ神経回路網の技術を用いることで、従来のアルゴリズム的方法に比べると分類の正確性を大きく向上させている。これらの方法では雑草全体の形状を個別的に抽出することを目標としているので、まばらに分布した雑草には適用可能であるが、多くの草と作物が混ざっている環境では植物が互いに重なっていて区別性が無くなるので実用化するのが難しい。他のアプローチとして近距離作物の位置を機械式接触センサーを用いて認識する方法（ＫＲ１０−２０１３−０１１５０５７）も提示されているが、小さい苗に対しては適用するのが難しく、この問題を解決するために小さい苗にも適用可能にレーザセンサーと触覚を用いる方法｛ＫＲ１０―２００９―０１１３９９０｝も開発されているが、風に揺らぐ小さい苗の位置が正確でないので、近距離のみに有効であると言うデメリットがある。

参考文献

Ｚｈａｎｇ、Ｎ. ａｎｄ Ｃ.Ｃｈａｉｓａｔｔａｐａｇｏｎ、１９９５、Ｅｆｆｅｃｔｉｖｅ ｃｒｉｔｅｒｉａ ｆｏｒ ｗｅｅｄ ｉｄｅｎｔｉｆｙｉｎｇ ｉｎ ｗｈｅａｔ ｆｉｅｌｄｓ ｕｓｉｎｇ ｍａｃｈｉｎｅ ｖｉｓｉｏｎ、Ｔｒａｎｓａｃｔｉｏｎｓ ｏｆ ｔｈｅ ＡＳＡＥ ３８（３）：９６５−９７４。

Ｗｏｅｂｂｅｃｋｅ、Ｄ.Ｍ.、Ｇ.Ｅ.Ｍｅｙｅｒ、Ｋ.Ｖｏｎ Ｂａｒｇｅｎ ａｎｄ Ｄ.Ａ.Ｍｏｒｔｅｎｓｅｎ、１９９５ａ、Ｓｈａｐｅ ｆｅａｔｕｒｅｓ ｆｏｒ ｉｄｅｎｔｉｆｙｉｎｇ ｙｏｕｎｇ ｗｅｅｄｓ ｕｓｉｎｇ ｉｍａｇｅ ａｎａｌｙｓｉｓ、Ｔｒａｎｓａｃｔｉｏｎｓ ｏｆ ｔｈｅ ＡＳＡＷ ３８（１）：２７１−２８１。

Ｔｉａｎ、Ｌ.、Ｄ.Ｃ.Ｓｌａｕｇｈｔｅｒ ａｎｄ Ｒ.Ｆ.Ｎｏｒｒｉｓ、１９９７、Ｏｕｔｄｏｏｒ ｆｉｅｌｄ ｖｉｓｉｏｎ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ ｔｏｍａｔｏ ｓｅｅｄｌｉｎｇｓ ｆｏｒ ａｕｔｏｍａｔｅｄ ｗｅｅｄ ｃｏｎｔｒｏｌ、Ｔｒａｎｓａｃｔｉｏｎｓ ｏｆ ｔｈｅ ＡＳＡＥ ４０（６）：１７６１−１７６８。

チョ・ソンイン、リ・デソン、ベ・ヨンミン、１９９９、機械視覚を用いた雑草の識別、韓国農業機械学会誌 第２４巻 第１号、５９−６６

ａｕｒｉｌｉｏ Ｄｉ Ｃｉｃｃｏ、Ｃｉｒｏ Ｐｏｔｅｎａ、Ｇｉｏｒｇｉｏ Ｇｒｉｓｅｔｔｉ ａｎｄ Ａｌｂｅｒｔｏ Ｐｒｅｔｔｏ、２０１６、Ａｕｔｏｍａｔｉｃ Ｍｏｄｅｌ Ｂａｓｅｄ Ｄａｔａｓｅｔ Ｇｅｎｅｒａｔｉｏｎ ｆｏｒ Ｆａｓｔ ａｎｄ Ａｃｃｕｒａｔｅ Ｃｒｏｐ ａｎｄ Ｗｅｅｄｓ Ｄｅｔｅｃｔｉｏｎ、ＣＶＰＲ、ａｒＸｉｖ：１６１２．０３０１９ｖ１ ［ｃｓ.ＣＶ］９、Ｄｅｃ ２０１６Ｃ。

ｉｒｏ Ｐｏｔｅｎａ、Ｄａｎｉｅｌｅ Ｎａｒｄｉ、ａｎｄ Ａｌｂｅｒｔｏ Ｐｒｅｔｔｏ、２０１７、Ｆａｓｔ ａｎｄ Ａｃｃｕｒａｔｅ Ｃｒｏｐ ａｎｄ Ｗｅｅｄ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ｓｕｍｍａｒｉｚｅｄ Ｔｒａｉｎ Ｓｅｔｓ ｆｏｒ Ｐｒｅｃｉｓｉｏｎ Ａｇｒｉｃｕｌｔｕｒｅ、Ｉｎｔｅｌｌｉｇｅｎｔ Ａｕｔｏｎｏｍｏｕｓ Ｓｙｓｔｅｍｓ、ｖｏｌ １４、１０５−１２１、Ｆｅｂ ２０１７。

本発明は上記に鑑みてなされたものであり、本発明は、人工知能技術を用いて作物の映像から作物列を抽出する技術と作物と雑草とを識別する技術を開発し、除草作業をする位置まで指定可能な技術の学習を介して自ら構築できるようにする技術を提供することを目的とする。

本発明の少なくとも一つの実施例においては、前記目的を達成するために、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ（ＣＥＤ）神経回路網の技術を用いて作物の列を抽出し、除草機が列と列の間の植物を雑草と見なして除去するようにし、作物列上に存在する少数の雑草に対しては追加的なＣＥＤ神経回路網を用いて作物から雑草を識別して除去する。

このためのシステム構造は、作物の列の抽出のために用いるＣＥＤ神経回路網と、作物と雑草との識別に用いるＣＥＤ神経回路網とで構成される。前記ＣＥＤ神経回路網は、入力段から出力段までの間に複数の段で構成され、中間段に行くほど括れた構造を有し、格段にコンボリューション演算を行うＣＥＤ神経回路網で構成される。ＣＥＤ神経回路網には、図１のように基本構造から変形された様々な構造があり、これらの間に性能と特徴の差はあるものの、どのような変形構造のＣＥＤ神経回路網も本発明の目的である作物の列抽出と作物と雑草との識別に使用可能である。

ＣＥＤ神経回路網に上記のように作物の列を抽出させるために、作物の映像をＣＥＤ神経回路網の入力映像とし、入力映像での作物の列の位置をグラフィックで描いて表示した線の映像を学習目標映像とする学習データセットを大量で備え、

前記学習データセットをＣＥＤ神経回路網が繰り返して学習することで、作物の映像から作物列を抽出する技術を自ら習得できるようにする。

さらに、作物・雑草識別ＣＥＤ神経回路網のために、個別の作物と雑草の形状が識別可能である程度に近接撮影した映像を入力映像とし、入力されて映像に作物または雑草の位置に互いに異なる形状或はカラーのシンボルを表示した映像を学習目標映像とする学習データセットを大量に用意し、

前記学習データセットを繰り返して学習することで、ＣＥＤ神経回路網がたんぼ・畑の映像から作物と雑草とを識別し、その位置まで指定する技術を神経回路網の学習を介して自ら習得できるようにする。

本発明は、作物列の抽出と作物・雑草を識別する目標を達成するために、従来の映像処理技術によるアルゴリズムに頼らずに、出力映像として現れることを期待する映像を直接グラフィックで作成して学習させる。従って、狙いの映像認識結果を得るために要求される技術をＣＥＤ神経回路網が学習を介して自ら構築できるようにする新しい技術開発方法を開発できる効果がある。さらに、この技術を用いて作物の列を認識し、作物・雑草を識別することで、除草機が精密で自動に除草できるようにする効果がある。

図１は、本発明に用いるＣｏｎｖｏｌｕｔｉｏｎａｌ Ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ神経回路網の構造であり、

（Ａ）作物（稲）の列認識に用いるＣｏｎｖｏｌｕｔｉｏｎａｌ Ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ神経回路網の構造

（Ｂ）作物（稲）と雑草（稗草）との識別及び位置認識に用いるＣｏｎｖｏｌｕｔｉｏｎａｌ Ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ神経回路網の構造

（Ｃ）Ｕｎｅｔ（ｓｋｉｐ）ＣＥＤ神経回路網、（Ｄ）Ｄｅｎｓｅ ＣＥＤ神経回路網及びＤｅｎｓＮｅｔブロックを本発明に使用可能な変形されたＣＥＤ神経回路網の構造

図２は、除草のための作物列と作物・雑草識別及び位置検出システムの構造であり、

図３は、作物列の抽出のためのＣＥＤ神経回路網の学習データの一部の例示であり、

図４は、学習された作物列抽出用のＣＥＤ神経回路網のテスト結果の例示であり、

図５は、苗と稗草とを区別するためのＣＥＤ神経回路網の学習データの一つの例示であり、図６は、学習された作物・稗草識別用のＣＥＤ神経回路網のテスト結果の例示である。

１００：ＣＰＵ

１１０：ＧＰＵ

２００：作物・雑草識別システム

２１０：作物列の位置のグラフィック表示映像制作

２２０：作物映像‐作物列映像データベース

２３０：作物列認識用ＣＥＤ神経回路網

２４０：作物‐雑草位置のシンボル表示映像制作

２５０：作物映像‐作物種類位置映像データベース

２６０：作物と雑草の識別及び位置認識用ＣＥＤ神経回路網

２８０：カメラ

２９０：除草機

発明を実施するための最善の形態

以下の本発明の実施形態のうち、正確性は図１（Ａ）、（Ｂ）で提示するＣＥＤ神経回路網より図１（Ｃ）のユーネット（Ｕｎｅｔ）を用いたＣＥＤ神経回路網と図１（Ｄ）のデンスネット（ＤｅｎｓＮｅｔ）を用いたＣＥＤ神経回路網が優れていて、ユーネットを用いたＣＥＤ神経回路網よりデンスネットを用いたＣＥＤ神経回路網が多少優れている。しかし、デンスネットを用いたＣＥＤ神経回路網の場合、ユーネットを用いたＣＥＤ神経回路網より必要なパラメーター（ｐａｒａｍｅｔｅｒ）が多く、適切なハイパー・パラメーター（ｈｙｐｅｒ−ｐａｒａｍｅｔｅｒ）の選択も難しいというデメリットがある。さらに、デンスネットを用いたＣＥＤ神経回路網は動作速度がユーネットを用いたＣＥＤ神経回路網より遅いというデメリットがある。

従って、正確性、実現性、及び経済性をすべて考慮した最善の実施形態はユーネットを用いたＣＥＤ神経回路網を含む形態である。

本発明で用いたＣｏｎｖｏｌｕｔｉｏｎａｌ Ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ(ＣＥＤ)神経回路網は、図１に示すように、入力段から出力段までの間に複数の段で構成され、そのサイズが徐々に減少して増加する構造を有する神経回路網である。前半部の徐々に減少する部分をエンコーダー（ｅｎｃｏｄｅｒ）部分と言い、後半部の徐々に増加する部分をデコーダー（ｄｅｃｏｄｅｒ）部分と言う。図１の（Ａ）と（Ｂ）は、本発明で作物列の認識と作物列上の雑草の検出にそれぞれ用いたＣＥＤ神経回路網の構造であるが、両方を交換して用いても良い。さらに、図１の（Ｃ）に示すように、エンコーダー部分の各層の出力がデコーダー部分の同一の層の入力にスキップ（ｓｋｉｐ）して合算されるＣＥＤ神経回路網、即ち、ユーネット（Ｕｎｅｔ）またはスキップ（ｓｋｉｐ）構造と呼ばれる変形された構造のＣＥＤ神経回路網も用いることができ、図１の（Ｄ）に示すように、ユーネット（Ｕｎｅｔ）構造の各層をわたって接続を有するＤｅｎｓＮｅｔと呼ばれる変形されたＣＥＤ神経回路網構造も用いることが可能である。さらに、ＣＥＤ神経回路網に基づいて変形された神経回路網を用いても良い。この場合、それぞれの構造毎に異なる数の層、異なる数のフィルターを用いて本発明を実現することが可能であり、本発明の目的を達成することが可能である。

本発明は、上述のＣｏｎｖｏｌｕｔｉｏｎａｌ Ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ(ＣＥＤ)神経回路網の技術を用いて作物の列を認識する作物列認識工程と、作物列上に存在する少数の雑草に対して追加的なＣＥＤ神経回路網を用いて作物から雑草を識別する作物・雑草識別工程で構成される。このためのハードウェアは、図２に示すように、作物の列を認識する工程で用いられるＣＥＤ神経回路網２３０と作物から雑草を識別する工程で用いられるＣＥＤ神経回路網２６０の二つの神経回路網で構成される。

それぞれのＣＥＤ神経回路網には入力映像と共に出力として得ようとする出力を学習データベース（２２０、２５０）化して印加することで、ＣＥＤ神経回路網に実行すべき任務を提示し、神経回路網は学習を介してその任務を実行する技術を習得する。

このために、まず作物映像を大量で獲得し、それぞれの作物映像に対する作物列位置のグラフィック表示映像（２１０）と作物・雑草 位置のシンボル表示映像（２４０）を大量で制作し、作物映像・作物列映像データベース２２０と作物映像・作物と雑草の種類及び位置映像データベース２５０を構成してコンピューターのハードディスク装置に格納する。前記作物映像・作物列映像データベース２２０と作物映像・作物と雑草の種類及び位置映像データベース２５０は、それぞれ作物列認識用ＣＥＤ神経回路網２３０と作物と雑草の識別及び位置認識用ＣＥＤ神経回路網２６０によって学習する。学習された神経回路網は、予め設計された神経回路網の構造に対する各接続パラメーター値のデータの形態を有する。以下、作物列認識用ＣＥＤ神経回路網２３０と作物と雑草の識別及び位置認識用ＣＥＤ神経回路網 ２６０の学習過程に関して詳細に説明する。

作物列認識のための学習

ＣＥＤ神経回路網に作物列を認識する技術を開発させるためには、その例となる学習データを映像の形態で多様に大規模で用意する。図３は、作物のうち苗（稲）の場合を例示したもので、左側の映像のような入力映像が認可された場合、ＣＥＤ神経回路網に右側の映像のような作物の列映像を抽出して提示するように任務を与える例である。より具体的に、学習目標映像は図３の左側の映像のように、苗の各列に該当する位置に沿って図３の右側の映像のようにグラフィックによる線を表示提示する。即ち、左側の映像の上に右側の映像を重ね合わせると、右側の映像の各線は左側の映像での作物列の中央に位置する学習目標映像を作成する。但し、除草機が作物列に沿って除草作業を行う際には正面の作物列に沿って行きながら作業を行うので、学習目標映像の作成時に正面の線に重点を置いて描き、左右両側に向く列は省略しても良い。さらに、図３の（Ｄ）に示すように途中で苗が無くなっている位置まで延長線を引くことで、神経回路網が延長線を引く技術を習得できるようにする。

このような学習データが準備できたら、これに対する学習の際により多様な形態の学習のために、用意された映像を対象に様々な角度での回転、拡大及び回転、縮小及び回転、左右上下移動などと手法（ａｕｇｍｅｎｔａｔｉｏｎ手法）を介してより多くの数の学習データを追加生成して神経回路網を学習させる。このときに用いる学習は、神経回路網の学習に一般的に用いられるｂａｃｋｐｒｏｐａｇａｔｉｏｎ学習方法を用いてエラーが所定の閾値以下になるまでの反復学習である。

図４は、作物列を認識するために学習されたＣＥＤ神経回路網をテストした結果の例示であり、左側の入力映像をＣＥＤ神経回路網に印加すると、その出力として中央の映像が得られる。この出力映像上の線が入力映像の作物列の位置を正確に指定しているか否かを確認するために、このＣＥＤ神経回路網の出力画像を入力映像に重ね合わせた映像が図４の右側の映像である、図４で示すように、ＣＥＤ神経回路網の出力の線の位置が入力映像の作物列の位置を正確に指定していることが分かる。

個別作物と雑草との識別学習

本発明では、作物と雑草との識別も上記のＣｏｎｖｏｌｕｔｉｏｎａｌ Ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ(ＣＥＤ)と類似した構造の神経回路網を使用している。学習データは、学習目標映像で作物の根元部分を第１種類のシンボルで表示し、雑草の根元部分に第２種類のシンボルで表示した映像を作成して神経回路網がこれを学習するようにする。この根元部分にシンボルを表示する場合、この部分を除草機系によって破砕されるようにすれば、効果的な除草が可能になる。

図５の左側の映像は神経回路網の入力として用いた稲と稗草の映像であり、右側の映像は学習目標映像で、左側の映像で稲の根元部分に該当するところにグレーの円形シンボルで表示し、稗草の根元部分に該当するところに黒の円形シンボルで表示した映像の例である。稲の苗と稗草とを識別するためのＣＥＤ神経回路網の学習データは、左側の映像のような映像を大量で撮影して入力映像として用意し、それぞれの入力映像に対して右側の映像のような学習目標映像を作成する。ここでは学習目標映像は、空（ｂｌａｎｋ）映像に苗や稗草の根元部分の位置にグレーと黒の円形シンボルで表示した映像を作成した例を示しているが、入力映像上に上記のシンボルを重ね合わせて表示しても良い。さらに、表示するシンボルの色や形状も他の色や形状を選択可能である。このような方法で学習データセットを構成し、ｂａｃｋｐｒｏｐａｇａｔｉｏｎ学習方法を用いてエラーが所定の閾値以下になるまで繰り返し学習させる。図６は、作物列認識用ＣＥＤ神経回路網のテスト結果の一部の例である。図６の左側の映像は入力テスト映像で学習データに含まれてない映像である。図６の中央の映像は神経回路網の出力映像であり、右側の映像は入力映像と出力映像を重ね合わせた映像である。出力映像及び重ね合わせ映像でグレーの円形シンボルは稲の位置を表し、黒の円形シンボルは稗草の位置を表す。これらの映像で示すように、苗と稗草の位置を正確に認識して表示していることが分かる。但し、稲が互いに重なって根元部分が見えない場合は稲を識別できないが、これは根元の形状を基準に識別するように学習させたからである。しかし、形状を確実に確認できる大きさと位置の稗草はほとんど識別されて検出されることが分かる。

このように認識された結果映像は除草ロボットに送られ、苗と稗草の実際の位置を見つけて除草可能になる。

除草システムの頭脳としての役割

本発明を除草システムの頭脳として活用するためには、カメラ２８０を介して映像をリアルタイムで獲得し、獲得した映像を作物列認識用ＣＥＤ神経回路網２３０と作物と雑草の識別及び位置認識用ＣＥＤ神経回路網２６０に同時に印加して高速に処理する。このような情報の流れを制御して神経回路網をソフトウェア的に構成して実行するためにＣＰＵ１００を用いる。さらに、ＣＰＵ１００は、神経回路網の出力を後処理し、分析し、その結果を用いて外部の除草機の自律運転に必要な制御信号を生成する。この過程でＣＥＤ神経回路網を構成してその動作を実行させるためには高速の信号処理が必要であり、このためにＧＰＵ１１０が補助装置として用いられる。

除草機制御システムの構成

学習されたＣＥＤ神経回路網のパラメーターにはすでに作物映像・作物列映像データベース２２０と作物映像・作物種類及び位置映像データベース２５０から抽出した作物列認識及び作物・雑草識別に必要な情報が含まれているので、装置の小型化のためにデータベースを除去し、カメラ２８０と、作物列認識用ＣＥＤ神経回路網２３０と、雑草の識別及び位置認識用ＣＥＤ神経回路網２６０と、ＣＰＵ１００と、ＧＰＵ１１０のみで簡単に除草機制御システム３００を構成することができる。

上記のように構成された除草機制御システムが除草機２９０に適切な除草作業命令を送るためには、まずカメラ２８０を介して映像リアルタイムで獲得し、獲得した映像を作物列認識用ＣＥＤ神経回路網２３０と作物と雑草の識別及び位置認識用ＣＥＤ神経回路網２６０に同時に印加して高速で処理する。このような情報の流れを制御して神経回路網をソフトウェア的に構成して実行するためにＣＰＵ１００を用いる。さらに、ＣＰＵ１００は、神経回路網の出力を後処理し、分析し、その結果を用いて外部の除草機２９０の自律除草作業に必要な制御信号を生成する。この過程でＣＥＤ神経回路網を構成してその動作を実行させるためには高速の信号処理が必要であり、このためにＧＰＵ１１０が補助装置として用いられる。

農業において土壌の養分と太陽エネルギーを奪って農作物の生育を妨害する雑草の除去は必要不可欠である。特に、最近の国際的趨勢である環境にやさしい農作物栽培では農薬などの化学製品を使用しないので、除草作業により多くの労働力が必要な状況である。よって、本発明は、農作物の栽培において農夫の労働力の大部分を占める除草作業の自動化と機械化を通じて農作物栽培の効率化と除草作業のための作業員の雇用費用などの生産費用を節減できるようにするためのもので、除草作業が必要な農作物の栽培にはその産業上の利用可能性が大きい。

Claims (13)

1. たんぼや畑での作物栽培のための除草のため、農作物の熱を神経回路網の学習によって認識することで、前記熱から外れている植物をすべて雑草と見なして除草できるようにする工程と、前記熱とその周囲に残留する雑草に対し、もう一つの神経回路網の学習を介して作物と分離識別する工程で構成されたことを特徴とする神経回路網の学習による作物と雑草を識別する方法。
2. 前記農作物の熱認識工程と作物と雑草との識別工程で用いる神経回路網は、複数のコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）層で構成され、徐々に減少するエンコーダー（ｅｎｃｏｄｅｒ）部分と再び徐々に増加するデコーダー（ｄｅｃｏｄｅｒ）部分が結合した構造のＣＥＤ神経回路網を有することを特徴とする、請求項１に記載の神経回路網の学習による作物と雑草を識別する方法。
3. 前記ＣＥＤ神経回路網には、エンコーダー（ｅｎｃｏｄｅｒ）部分の各層の出力がデコーダー（ｄｅｃｏｄｅｒ）部分の同一の層の入力として合算されるＣＥＤ神経回路網である、ユーネット（Ｕｎｅｔ）構造と呼ばれる変形された構造のＣＥＤ神経回路網も用いられることを特徴とする、請求項２に記載の神経回路網の学習による作物と雑草を識別する方法。
4. 前記ＣＥＤ神経回路網には、ユーネット（Ｕｎｅｔ）構造と呼ばれるＣＥＤ神経回路網を基本構造とし、各層を飛びわたる接続を追加的に有するデンスネット（ＤｅｎｓＮｅｔ）と呼ばれる変形された構造のＣＥＤ神経回路網も用いられることを特徴とする、請求項３に記載の神経回路網の学習による作物と雑草を識別する方法。
5. 前記農作物の熱認識方法は、農作物の映像が前記ＣＥＤ神経回路網への入力として認可された際に、前記ＣＥＤ神経回路網は入力として認可された農作物映像のうち作物熱に該当する位置が前記ＣＥＤ神経回路網の出力段にグラフィック線で描かれて表示されるように前記ＣＥＤ神経回路網を反復的に学習させ、他の複数の作物熱映像に対しても同一の方法で学習させることで、任意のテスト農作物映像が印加された際に、その農作物の熱に該当する位置がグラフィック線で描かれて表示されるようにすることを特徴とする、請求項１に記載の神経回路網の学習による作物と雑草を識別する方法。
6. 作物が稲で雑草が稗草である場合、これらを区別する方法は、稲の苗の場合複数のもみ種を合わせて芽生えさせるので、苗の根元は複数の稲が束ねられて密集しているのに対し、稗草は個別に散らばって芽生えるので株の根元部分の密集度が低いことを用いて、株の根元部分の密集度の視覚的差を用いて区別し、稲と稗草とを識別することを特徴とする、請求項１に記載の神経回路網の学習による作物と雑草を識別する方法。
7. 根元の密集度の視覚的差を用いて稲と稗草とを区別するための学習目標映像データは、入力映像の稲と稗草の根元部分に該当するところに互いに異なるカラーや形状のシンボルで表示することで、稲と稗草とを区別させる稲と稗草の識別のための学習目標映像を作成することを特徴とする、請求項６に記載の神経回路網の学習による作物と雑草を識別する方法。
8. 作物熱認識用神経回路網の学習に必要なデータベースは、除草機が追従しようとする方向で撮影した作物の映像を入力映像とし、前記入力映像でのそれぞれの作物熱に該当する位置にグラフィック線で作成した映像を学習目標映像とし、前記入力映像・学習目標映像が一つのセットで構成された学習データセットを大量で用意した作物熱学習用データベースを備えることを特徴とする、請求項５に記載の神経回路網の学習による作物と雑草を識別する方法。
9. 作物・雑草識別用神経回路網に必要な学習データベースは、作物熱上で作物と雑草が共に含まれた、作物と雑草の形状が明確に区別できるように近接撮影した映像を神経回路網の入力映像とし、それぞれの入力映像での作物と雑草に該当する位置にこれらを区別できるように異なる形状またはカラーのシンボルを用いた映像を作成して学習目標映像とし、前記入力映像・学習目標映像を一つのセットとする学習データセットを大量で備えた作物・雑草識別学習用データベースを作成することを特徴とする、請求項６に記載の神経回路網の学習による作物と雑草を識別する方法。
10. 作物・雑草識別用神経回路網に必要な学習データベースで学習目標映像の作成は、初期に空（ｂｌａｎｋ）映像または入力映像をコピーした映像の上にそれぞれの客体を区別できるように様々なカラーを用いた線、図形、またはシンボルでグラフィック化して作成することを特徴とする、請求項９に記載の神経回路網の学習による作物と雑草を識別する方法。
11. 作物・雑草識別用神経回路網に必要な学習データベースで学習目標映像の作成の際にそれぞれのシンボルの位置と大きさは、入力映像を基準として決定し、シンボル領域内に客体間の区別性が大きい特徴が可能な限り多く含まれるようにシンボル中心点の位置と大きさを決定して学習目標映像に表示することを特徴とする、請求項９に記載の神経回路網の学習による作物と雑草を識別する方法。
12. 請求項５または請求項８に記載の方法で作成した作物熱位置のグラフィック表示映像で作成した作物映像・作物熱映像データベース２２０と、前記映像データベース２２０を用いて請求項１ないし請求項４のうち何れか一項に記載の方法で学習する作物熱認識用ＣＥＤ神経回路網２３０と、請求項６、請求項７、及び請求項９ないし請求項１１のうち何れか一項に記載の方法で作成した作物・雑草種類及び位置のシンボル表示映像で作成した作物映像・作物種類位置映像データベース２５０と、前記映像データベース２５０を用いて請求項１ないし請求項４のうち何れか一項に記載の方法で学習する作物と雑草の種類及び位置認識用ＣＥＤ神経回路網２６０と、作物・雑草映像をリアルタイムで撮影し、前記ＣＥＤ神経回路網２３０、２６０に入力として印加するカメラ２８０と、前記ＣＥＤ神経回路網をソフトウェアとして構成して実行させ、ＣＥＤ神経回路網の結果を分析し、分析した結果を用いて外部の除草機の自律除草作業に必要な制御信号を生成し、生成した制御信号を前記除草機に提供するＣＰＵ１００と、前記ＣＰＵを補助し、ＣＥＤ神経回路網を高速で実行させるＧＰＵ１１０を含むことを特徴とする、神経回路網の学習による作物と雑草を識別する装置。
13. 請求項１２項に記載の学習されたＣＥＤ神経回路網のパラメーターは作物映像・作物熱映像データベース２２０と作物映像・作物の種類及び位置映像データベース２５０から抽出した作物熱の認識及び作物・雑草識別に必要な情報を含み、装置の小型化のために前記データベースを除去し、カメラ２８０と、作物熱認識用ＣＥＤ神経回路網２３０と、雑草の識別及び位置認識用ＣＥＤ神経回路網２６０と、ＣＰＵ１００と、ＧＰＵ１１０のみで除草機の制御システムを構成することを特徴とする、請求項１２に記載の神経回路網の学習による作物と雑草を識別する装置。