JP2018108041A - 情報処理装置、給水システム、情報処理システム及びプログラム - Google Patents

情報処理装置、給水システム、情報処理システム及びプログラム Download PDF

Info

Publication number
JP2018108041A
JP2018108041A JP2016257003A JP2016257003A JP2018108041A JP 2018108041 A JP2018108041 A JP 2018108041A JP 2016257003 A JP2016257003 A JP 2016257003A JP 2016257003 A JP2016257003 A JP 2016257003A JP 2018108041 A JP2018108041 A JP 2018108041A
Authority
JP
Japan
Prior art keywords
unit
plant
turf
water supply
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016257003A
Other languages
English (en)
Other versions
JP6635910B2 (ja
Inventor
里志 羽根田
Satoshi Haneda
里志 羽根田
貴正 宇田川
Takamasa UDAGAWA
貴正 宇田川
誠 山村
Makoto Yamamura
誠 山村
将人 藤原
Masato Fujiwara
将人 藤原
木全 隆一
Ryuichi Kimata
隆一 木全
聖 小野寺
Satoshi Onodera
聖 小野寺
穣 辻
Minoru Tsuji
穣 辻
浩行 伊勢川
Hiroyuki Isekawa
浩行 伊勢川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2016257003A priority Critical patent/JP6635910B2/ja
Priority to EP17826325.7A priority patent/EP3562298B1/en
Priority to PCT/JP2017/045001 priority patent/WO2018123630A1/en
Priority to CN201780076341.9A priority patent/CN110072382A/zh
Publication of JP2018108041A publication Critical patent/JP2018108041A/ja
Priority to US16/455,752 priority patent/US11301992B2/en
Application granted granted Critical
Publication of JP6635910B2 publication Critical patent/JP6635910B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G27/00Self-acting watering devices, e.g. for flower-pots
    • A01G27/003Controls for self-acting watering devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D34/00Mowers; Mowing apparatus of harvesters
    • A01D34/001Accessories not otherwise provided for
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D34/00Mowers; Mowing apparatus of harvesters
    • A01D34/006Control or measuring arrangements
    • A01D34/008Control or measuring arrangements for automated or remotely controlled operation
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G25/00Watering gardens, fields, sports grounds or the like
    • A01G25/09Watering arrangements making use of movable installations on wheels or the like
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G27/00Self-acting watering devices, e.g. for flower-pots
    • A01G27/008Component parts, e.g. dispensing fittings, level indicators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture

Abstract

【課題】 植物を育成する場合、培地の状態を判断したり、給水のタイミングを判断したりすることが難しい。【解決手段】 植物の画像の画像データを取得する画像取得部と、画像取得部が取得した画像データに基づいて、(i)植物の形状及び(ii)植物の先端部分の少なくとも一方を認識する形態認識部と、形態認識部が認識した植物の形状及び植物の先端部分の少なくとも一方の特徴に基づいて、(a)植物の培地の含水の度合い、(b)植物への給水の要否及び(c)植物への給水量の少なくとも1つを決定する決定部とを備える。【選択図】図1

Description

本発明は、情報処理装置、給水システム、情報処理システム及びプログラムに関する。
近年、自律走行して作業する芝刈機、掃除機などが開発されている。(例えば、特許文献1または2を参照されたい)。また、芝生の色合いに基づいて芝生の育成状態を判別し、水、薬液などを注入する装置が知られている(例えば、特許文献3を参照されたい)。
[先行技術文献]
[特許文献]
[特許文献1] 特開2016−185099号公報
[特許文献2] 特開2013−223531号公報
[特許文献3] 特開平07−184402号公報
植物を育成する場合、培地の状態を判断したり、給水のタイミングを判断したりすることが難しい。
本発明の第1の態様においては、情報処理装置が提供される。上記の情報処理装置は、例えば、植物の画像の画像データを取得する画像取得部を備える。上記の情報処理装置は、画像取得部が取得した画像データに基づいて、(i)植物の形状及び(ii)植物の先端部分の少なくとも一方を認識する形態認識部を備えてよい。上記の情報処理装置は、形態認識部が認識した植物の形状及び植物の先端部分の少なくとも一方の特徴に基づいて、(a)植物の培地の含水の度合い、(b)植物への給水の要否及び(c)植物への給水量の少なくとも1つを決定する決定部を備えてよい。
上記の情報処理装置において、決定部は、形態認識部の認識結果に基づいて、植物の形状及び植物の先端部分の少なくとも一方の特徴を認識してよい。決定部は、上記の特徴に基づいて、(a)植物の培地の含水の度合い、(b)植物への給水の要否及び(c)植物への給水量の少なくとも1つを決定してよい。上記の情報処理装置は、画像が撮像された位置を示す位置情報を取得する位置情報取得部を備えてよい。上記の情報処理装置は、(i)位置情報取得部が取得した位置情報と、(ii)形態認識部が認識した、植物の形状及び植物の先端部分の少なくとも一方に関する情報とを対応付けて格納する形態情報格納部を備えてよい。上記の情報処理装置において、決定部は、形態情報格納部に格納された情報を学習データとして利用して、植物の形状及び植物の先端部分の少なくとも一方の特徴を認識してよい。
上記の情報処理装置は、画像が撮像された位置を示す位置情報を取得する位置情報取得部を備えてよい。上記の情報処理装置において、決定部は、位置情報取得部が取得した位置情報と、当該位置情報により示される位置における(a)植物の培地の含水の度合い、(b)植物への給水の要否及び(c)植物への給水量の少なくとも1つとを対応付けて出力してよい。決定部は、(a)植物の培地の含水の度合い、(b)植物への給水の要否及び(c)植物への給水量の少なくとも1つが予め定められた条件を満足する場合に、位置情報取得部が取得した位置情報と、当該位置情報により示される位置における(a)植物の培地の含水の度合い、(b)植物への給水の要否及び(c)植物への給水量の少なくとも1つとを対応付けて出力してよい。上記の情報処理装置において、決定部は、植物の培地の含水の度合いに基づいて、(i)植物への給水の要否及び(ii)給水量の少なくとも一方を決定してよい。
本発明の第2の態様においては、給水システムが提供される。上記の給水システムは、例えば、上記の情報処理装置を備える。上記の給水システムは、上記の決定部の決定に基づいて、植物に水を供給する給水部を備えてよい。
上記の給水システムは、自律移動機能を有する作業機を備えてよい。上記の給水システムにおいて、作業機は、植物を撮像する撮像部を有してよい。上記の給水システムにおいて、情報処理装置の画像取得部は、作業機の撮像部が撮像した植物の画像の画像データを取得してよい。上記の給水システムにおいて、給水部は、作業機に配されてよい。上記の給水システムにおいて、作業機は、植物を切断する切断部を備えてよい。上記の給水システムにおいて、情報処理装置の決定部は、切断部が切断した植物の切断箇所の特徴に基づいて、(a)植物の培地の含水の度合い、(b)植物への給水の要否及び(c)植物への給水量の少なくとも1つを決定してよい。
本発明の第3の態様においては、情報処理システムが提供される。上記の情報処理システムは、例えば、上記の情報処理装置を備える。上記の情報処理システムは、自律移動機能を有する作業機を備えてよい。上記の情報処理システムにおいて、作業機は、植物を撮像する撮像部を有してよい。上記の情報処理システムにおいて、情報処理装置の画像取得部は、作業機の撮像部が撮像した植物の画像の画像データを取得してよい。
本発明の第4の態様においては、情報処理システムが提供される。上記の情報処理システムは、例えば、上記の情報処理装置を備える。上記の情報処理システムは、自律移動機能を有する作業機を備えてよい。上記の情報処理システムにおいて、作業機は、植物を切断する切断部を備えてよい。上記の情報処理システムにおいて、情報処理装置の決定部は、切断部が切断した植物の切断箇所の特徴に基づいて、(a)植物の培地の含水の度合い、(b)植物への給水の要否及び(c)植物への給水量の少なくとも1つを決定してよい。
本発明の第5の態様においては、プログラムが提供される。上記のプログラムを格納する非一時的コンピュータ可読媒体が提供されてもよい。上記のプログラムは、コンピュータを、上記の情報処理装置として機能させるための、プログラムであってよい。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
情報処理装置100の内部構成の一例を概略的に示す。 庭園管理システム200のシステム構成の一例を概略的に示す。 管理サーバ210の内部構成の一例を概略的に示す。 画像解析部320の内部構成の一例を概略的に示す 情報格納部322の内部構成の一例を概略的に示す。 芝刈機230の内部構成の一例を概略的に示す。 制御ユニット680の内部構成の一例を概略的に示す。 制御ユニット680の内部構成の他の例を概略的に示す。 散水装置240のシステム構成の一例を概略的に示す。 散水装置240のシステム構成の他の例を概略的に示す。 画像解析部320における情報処理の一例を概略的に示す。 データテーブル1200の一例を概略的に示す。 データテーブル1300の一例を概略的に示す。 データテーブル1400の一例を概略的に示す。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、図面において、同一または類似の部分には同一の参照番号を付して、重複する説明を省く場合がある。
[情報処理装置100の概要]
図1は、情報処理装置100の内部構成の一例を概略的に示す。本実施形態において、情報処理装置100は、画像取得部110と、形態認識部120と、決定部130とを備える。
本実施形態において、画像取得部110は、画像の画像データを取得する。画像は動画像であってもよく、静止画像であってもよい。画像取得部110は、例えば、植物の画像データを取得する。画像取得部110は、植物の画像データと、当該植物が撮像された位置を示す位置情報とが対応付けられた情報を取得してもよい。植物は、画像の被写体の一例であってよい。
画像取得部110は、画像を撮像する撮像装置であってもよく、撮像装置が撮像した画像の画像データを処理するデータ処理装置であってもよく、撮像装置が撮像した画像の画像データを格納する記憶装置であってもよく、撮像装置が撮像した画像の画像データを受信する通信インタフェースであってもよい。上記の撮像装置は、自律走行又は自律飛行する移動体に搭載された撮像装置であってもよい。
本実施形態において、形態認識部120は、画像取得部110が取得した画像データに基づいて、植物の形態を認識する。例えば、形態認識部120は、(i)植物の形状及び(ii)植物の先端部分の少なくとも一方を認識する。形態認識部120の画像認識処理においては、公知の画像認識技術が利用されてもよく、将来、新たに開発された画像認識技術が利用されてもよい。画像認識処理においては、機械学習を利用した画像認識技術が利用されてよい。
本実施形態において、決定部130は、形態認識部120が認識した植物の形態に基づいて、植物への給水の要否又は当該植物の培地の含水の度合いに関するパラメータ(給水パラメータと称する場合がある。)を決定する。本実施形態において、決定部130は、まず、形態認識部120の認識結果に基づいて、植物の形状及び植物の先端部分の少なくとも一方の特徴を認識する。
一実施形態によれば、決定部130は、形態認識部120が認識した植物の形状を解析して、植物の形状の特徴を認識する。植物の形状の特徴を認識する。植物の形状の特徴としては、太さ、曲率、培地に対する傾斜角、先端部分の形状、先端部分の色、先端部分の光沢、並びに、先端部分とそれ以外の部分との色又は太さの変化の有無、及び、当該変化の内容などを例示することができる。
他の実施形態によれば、決定部130は、形態認識部120の認識結果に基づいて、画像取得部110が取得した画像の中から、植物の先端部分の画像を抽出する。決定部130は、抽出された画像を解析して、植物の先端部分の特徴を認識する。決定部130は、植物の先端部分の特徴と、当該植物の他の部分の特徴との相違を認識してもよい。
植物の先端部分の特徴としては、植物の先端部分の形状、色彩、光沢などを例示することができる。植物が切断されている場合、植物の先端部分の特徴は、切断箇所の特徴であってもよい。切断箇所の特徴としては、切断面の形状、色彩、光沢、バリの有無又は程度、液滴の有無又は程度などを例示することができる。
例えば、水分又は養分が不十分である場合には、植物の先端が曲がる、植物の先端が捻じれる、植物の先端が黄色又は茶色になる、植物の先端の光沢が減少する、植物の先端部分の幅と根本部分の幅との比率が小さくなる、切断面の凹凸が増加する、切断面の液滴の量が減少するなどの特徴が現れる。
次に、決定部130は、認識された特徴に基づいて、給水パラメータを算出する。決定部130は、(i)予め定められた判断基準に基づいて、給水パラメータを決定してもよく、(ii)機械学習により得られた学習モデルを利用して、給水パラメータを決定してもよい。上記の判断基準は、1又は複数の要素(考慮要素と称する場合がある。)と、各考慮要素に関する条件と、給水パラメータとが対応付けられた情報であってもよい。
どのような判断基準に基づいて給水パラメータを決定するかは、ユーザ又は管理者により決定されてもよく、機械学習により決定されてもよい。どのような判断基準に基づいて給水パラメータを決定するかは、植物の種類ごとに決定されてよい。給水パラメータは、植物の切断状態に基づいて決定されてよい。この場合、どのような判断基準に基づいて給水パラメータを決定するかは、植物を切断する装置の仕様ごとに決定されてもよい。
給水パラメータの決定対象が各考慮要素に関する条件に合致するか否かを決定するための閾値は、ユーザ又は管理者により決定されてもよく、機械学習により決定されてもよい。上記の閾値は、植物の種類ごとに決定されてもよく、植物を切断する装置の仕様ごとに決定されてもよい。
決定部130の情報処理において、公知の画像認識技術が利用されてもよく、将来、新たに開発された画像認識技術が利用されてもよい。画像認識処理においては、機械学習を利用した画像認識技術が利用されてよい。決定部130の情報処理において、機械学習が利用されてもよい。機械学習は、教師あり学習であってもよく、教師なし学習であってもよく、強化学習であってもよい。学習処理においては、ニューラルネットワーク技術、ディープラーニング技術などを用いた学習手法が用いられてもよい。
本実施形態によれば、培地の状態又は給水の要否を簡単に調べることができる。本実施形態に係る情報処理装置100は、植物の画像のデータを解析して当該植物の形態を認識し、当該植物の形態に基づいて、培地の状態又は給水の要否に関するパラメータを出力する。具体的には、情報処理装置100は、植物の形態に基づいて、当該植物の形状又は当該植物の先端部分を抽出し、当該形状又は先端部分の特徴に基づいて、培地の状態又は給水の要否に関するパラメータを算出する、これにより、単に画像の色彩を解析することにより培地の状態又は給水の要否を判定する場合と比較して、判定精度が大きく向上する。
植物が芝である場合を例とすると、芝への給水が少しだけ不足しており、一部の芝の先端部分が枯れ始めている場合であっても、枯れ始めた芝の根本部分、及び、他の芝はまだ枯れておらず、全体としては緑色に見えることがある。また、土壌の水はけが悪く、芝が根腐れを起こしている場合であっても、コケが発生して、全体としては緑色に見える場合がる。このような場合において、画像の色彩だけに基づいて、給水の要否を判定すると、給水は不要であると判断される可能性が高い。しかしながら、本実施形態に係る情報処理装置100によれば、芝の画像を解析して、芝の形状又は先端部分を認識し、当該芝の形状又は先端部分の特徴に基づいて、培地の状態又は給水の要否を判定する。そのため、培地の状態又は給水の要否を精度よく判定することができる。また、芝の異常を、早い段階で検出することができる。
[情報処理装置100の各部の具体的な構成]
情報処理装置100の各部は、ハードウェアにより実現されてもよく、ソフトウエアにより実現されてもよく、ハードウェア及びソフトウエアにより実現されてもよい。情報処理装置100の各部は、その少なくとも一部が、単一のサーバによって実現されてもよく、複数のサーバによって実現されてもよい。情報処理装置100の各部は、その少なくとも一部が、仮想サーバ上又はクラウドシステム上で実現されてもよい。情報処理装置100の各部は、その少なくとも一部が、パーソナルコンピュータ又は携帯端末によって実現されてもよい。携帯端末としては、携帯電話、スマートフォン、PDA、タブレット、ノートブック・コンピュータ又はラップトップ・コンピュータ、ウエアラブル・コンピュータなどを例示することができる。情報処理装置100は、ブロックチェーンなどの分散型台帳技術又は分散型ネットワークを利用して、情報を格納してもよい。
情報処理装置100を構成する構成要素の少なくとも一部がソフトウエアにより実現される場合、当該ソフトウエアにより実現される構成要素は、一般的な構成の情報処理装置において、当該構成要素に関する動作を規定したソフトウエア又はプログラムを起動することにより実現されてよい。上記の情報処理装置は、(i)CPU、GPUなどのプロセッサ、ROM、RAM、通信インタフェースなどを有するデータ処理装置と、(ii)キーボード、タッチパネル、カメラ、マイク、各種センサ、GPS受信機などの入力装置と、(iii)表示装置、スピーカ、振動装置などの出力装置と、(iv)メモリ、HDDなどの記憶装置(外部記憶装置を含む。)とを備えてよい。上記の情報処理装置において、上記のデータ処理装置又は記憶装置は、上記のソフトウエア又はプログラムを記憶してよい。上記のソフトウエア又はプログラムは、プロセッサによって実行されることにより、上記の情報処理装置に、当該ソフトウエア又はプログラムによって規定された動作を実行させる。上記のソフトウエア又はプログラムは、非一時的なコンピュータ可読記録媒体に格納されていてもよい。
上記のソフトウエア又はプログラムは、コンピュータを、情報処理装置100として機能させるためのプログラムであってよい。上記のソフトウエア又はプログラムは、コンピュータに、植物の画像データを取得する画像取得手順と、画像取得手順において取得された画像データに基づいて、(i)植物の形状及び(ii)植物の先端部分の少なくとも一方を認識する形態認識手順と、形態認識手順において認識された植物の形状及び前記植物の先端部分の少なくとも一方の特徴に基づいて、(a)植物の培地の含水の度合い、(b)植物への給水の要否及び(c)植物への給水量の少なくとも1つを決定する決定手順とを実行させるためのプログラムであってもよい。
[庭園管理システム200の概要]
図2は、庭園管理システム200のシステム構成の一例を概略的に示す。庭園管理システム200は、庭園30を管理する。例えば、庭園管理システム200は、庭園30の植生状態を管理する。庭園管理システム200は、庭園30で栽培されている植物の生育を管理してもよい。本実施形態において、庭園管理システム200は、管理サーバ210と、監視カメラ220と、芝刈機230と、散水装置240とを備える。散水装置240は、例えば、スプリンクラー242と、給水制御部244とを有する。
庭園管理システム200は、給水システム、情報処理システム又は制御装置の一例であってよい。管理サーバ210は、給水システム、情報処理装置又は制御装置の一例であってよい。監視カメラ220は、撮像部又は画像取得部の一例であってよい。芝刈機230は、作業機、給水システム、情報処理システム、制御装置、撮像部又は画像取得部の一例であってよい。散水装置240は、給水部の一例であってよい。スプリンクラー242は、給水部の一例であってよい。給水制御部244は、給水部の一例であってよい。
本実施形態において、庭園管理システム200の各部は、通信ネットワーク10を介して、相互に情報を送受することができる。庭園管理システム200の各部は、通信ネットワーク10を介して、ユーザ端末20との間で情報を送受してもよい。本実施形態において、監視カメラ220、芝刈機230及び散水装置240は、庭園30の内部または周囲に配される。
本実施形態において、通信ネットワーク10は、有線通信の伝送路であってもよく、無線通信の伝送路であってもよく、無線通信の伝送路及び有線通信の伝送路の組み合わせであってもよい。通信ネットワーク10は、無線パケット通信網、インターネット、P2Pネットワーク、専用回線、VPN、電力線通信回線などを含んでもよい。通信ネットワーク10は、(i)携帯電話回線網などの移動体通信網を含んでもよく、(ii)無線MAN(例えば、WiMAX(登録商標)である。)、無線LAN(例えば、WiFi(登録商標)である。)、Bluetooth(登録商標)、Zigbee(登録商標)、NFC(Near Field Communication)などの無線通信網を含んでもよい。
本実施形態において、ユーザ端末20は、庭園30、庭園管理システム200又は芝刈機230のユーザが利用する通信端末であり、その詳細については特に限定されない。ユーザ端末20としては、パーソナルコンピュータ、携帯端末などを例示することができる。携帯端末としては、携帯電話、スマートフォン、PDA、タブレット、ノートブック・コンピュータ又はラップトップ・コンピュータ、ウエアラブル・コンピュータなどを例示することができる。
本実施形態において、管理サーバ210は、監視カメラ220、芝刈機230及び散水装置240を管理する。例えば、管理サーバ210は、監視カメラ220、芝刈機230及び散水装置240の少なくとも1つから庭園30に関する情報を収集する。管理サーバ210は、庭園30の特徴の地理的分布を示す情報(マップ情報と称する場合がある。)を生成してよい。管理サーバ210は、監視カメラ220、芝刈機230及び散水装置240の少なくとも1つの状態を管理してよい。管理サーバ210は、監視カメラ220、芝刈機230及び散水装置240の少なくとも1つの動作を制御してもよい。
本実施形態において、監視カメラ220は、庭園30を監視する。例えば、監視カメラ220は、芝刈機230の作業エリアを撮像する。監視カメラ220は、作業中の芝刈機230を撮像してよい。監視カメラ220は、芝刈機230の作業対象を撮像してよい。監視カメラ220は、作業中の芝刈機230の周辺に存在する芝を撮像してよい。監視カメラ220は、芝刈機230の進路の前方に存在する芝を撮像してよい。監視カメラ220は、芝刈機230が通過した領域に存在する芝を撮像してよい。芝は、芝刈機230の作業対象の一例であってよい。芝は、画像データの被写体の一例であってよい。
本実施形態において、芝刈機230は、自律移動機能を有する。芝刈機230は、庭園30内を自律走行しながら、芝を切断する。芝の切断(芝刈りと称する場合がある。)は、芝刈機230の作業の一例であってよく、芝は、芝刈機230の作業対象の一例であってよい。芝は、庭園30に生育している植物の一例であってよい。
一実施形態において、芝刈機230は、通信機能を有する。芝刈機230は、例えば、通信ネットワーク10を介して、管理サーバ210、監視カメラ220及び散水装置240の少なくとも1つと情報を送受する。例えば、芝刈機230は、管理サーバ210からの命令に基づいて、庭園30内を移動したり、芝刈りを実施したりする。芝刈機230は、移動中又は作業中に庭園30に関する情報を収集して、管理サーバ210に送信してもよい。庭園30に関する情報は、庭園30の生態系に関する情報であってよい。庭園30に関する情報は、庭園30の植生に関する情報であってよい。庭園30に関する情報は、芝の状態に関する情報であってよい。
他の実施形態において、芝刈機230は、撮像装置を搭載してよい。芝刈機230は、撮像装置を用いて、芝刈機230の周辺に存在する芝を撮像してよい。芝刈機230は、芝刈機230の進路の前方に存在する芝を撮像してよい。これにより、芝刈機230が今から切断する芝を近距離から撮像することができる。芝刈機230は、芝刈機230が通過した領域に存在する芝を撮像してよい。これにより、芝刈機230が切断した芝を近距離から撮像することができる。
芝刈機230は、撮像装置が撮像した芝の画像に基づいて、各種の判定処理を実行してもよい。例えば、芝刈機230は、撮像装置が撮像した芝の画像に基づいて、芝刈機230の状態を判定する。芝刈機230は、撮像装置が撮像した芝の画像に基づいて、芝刈機230の移動及び作業の少なくとも一方を制御してよい。芝刈機230は、撮像装置が撮像した芝の画像に基づいて、庭園30への給水の有無を判定してもよい。
本実施形態において、散水装置240は、庭園30に生育している植物に水を供給する。散水装置240は、管理サーバ210又は芝刈機230の決定に基づいて、植物に水を供給してよい。散水装置240は、庭園30に設置されてもよく、芝刈機230に搭載されてもよい。
本実施形態において、スプリンクラー242は、水を散布する。スプリンクラー242は、肥料成分を含む水を散布してもよい。本実施形態において、給水制御部244は、スプリンクラー242に供給される水の量を制御する。例えば、給水制御部244は、管理サーバ210又は芝刈機230から、給水に関する命令を受信する。給水制御部244は、上記の命令に基づいて、給水の開始又は停止を制御する。給水制御部244は、上記の命令に基づいて、給水量を調整してもよい。
[庭園管理システム200の各部の具体的な構成]
庭園管理システム200の各部は、ハードウェアにより実現されてもよく、ソフトウエアにより実現されてもよく、ハードウェア及びソフトウエアにより実現されてもよい。庭園管理システム200の各部は、その少なくとも一部が、単一のサーバによって実現されてもよく、複数のサーバによって実現されてもよい。庭園管理システム200の各部は、その少なくとも一部が、仮想サーバ上又はクラウドシステム上で実現されてもよい。庭園管理システム200の各部は、その少なくとも一部が、パーソナルコンピュータ又は携帯端末によって実現されてもよい。携帯端末としては、携帯電話、スマートフォン、PDA、タブレット、ノートブック・コンピュータ又はラップトップ・コンピュータ、ウエアラブル・コンピュータなどを例示することができる。庭園管理システム200は、ブロックチェーンなどの分散型台帳技術又は分散型ネットワークを利用して、情報を格納してもよい。
庭園管理システム200を構成する構成要素の少なくとも一部がソフトウエアにより実現される場合、当該ソフトウエアにより実現される構成要素は、一般的な構成の情報処理装置において、当該構成要素に関する動作を規定したソフトウエア又はプログラムを起動することにより実現されてよい。上記の情報処理装置は、(i)CPU、GPUなどのプロセッサ、ROM、RAM、通信インタフェースなどを有するデータ処理装置と、(ii)キーボード、タッチパネル、カメラ、マイク、各種センサ、GPS受信機などの入力装置と、(iii)表示装置、スピーカ、振動装置などの出力装置と、(iv)メモリ、HDDなどの記憶装置(外部記憶装置を含む。)とを備えてよい。上記の情報処理装置において、上記のデータ処理装置又は記憶装置は、上記のソフトウエア又はプログラムを記憶してよい。上記のソフトウエア又はプログラムは、プロセッサによって実行されることにより、上記の情報処理装置に、当該ソフトウエア又はプログラムによって規定された動作を実行させる。上記のソフトウエア又はプログラムは、非一時的なコンピュータ可読記録媒体に格納されていてもよい。
図3は、管理サーバ210の内部構成の一例を概略的に示す。本実施形態において、管理サーバ210は、受信部310と、画像解析部320と、情報格納部322と、命令生成部330と、送信部340とを備える。管理サーバ210の各部は、図中の矢印に限定されることなく、互いに情報を送受してよい。
受信部310は、画像取得部の一例であってよい。画像解析部320は、情報処理装置又は制御装置の一例であってよい。画像解析部320は、画像取得部、位置情報取得部、判定部、形態認識部、決定部又は制御パラメータ決定部の一例であってもよい。命令生成部330は、制御部、移動制御部、作業制御部、決定部又は制御パラメータ決定部の一例であってよい。送信部340は、通知部の一例であってよい。
本実施形態において、受信部310は、ユーザ端末20、監視カメラ220、芝刈機230及び散水装置240の少なくとも1つが送信した情報を取得する。例えば、受信部310は、監視カメラ220及び芝刈機230の少なくとも一方から画像データを受信する。これにより、管理サーバ210は、監視カメラが撮像した画像のデータ、又は、芝刈機230に搭載された撮像装置が撮像した画像のデータを取得することができる。上記の画像は、静止画像であってもよく、動画像であってもよい。上記の画像データは、芝刈機230の作業対象(例えば、芝、雑草などの植物である。)の画像データであってよい。受信部310は、上記の画像データに対応付けられた位置情報を受信してもよい。受信部310は、上記の画像データを画像解析部320に送信する。上記の画像データに位置情報が対応付けられている場合、受信部310は、当該画像データ及び位置情報を画像解析部320に送信してよい。
本実施形態において、画像解析部320は、画像データを解析する。画像解析部320は、画像認識技術を利用して、画像データを解析してよい。上記の画像認識技術は、公知の画像認識技術であってもよく、将来、新たに開発された画像認識技術であってもよい。上記の画像認識技術において、機械学習手法又はディープラーニング手法が利用されてもよい。
例えば、画像解析部320は、受信部310から、解析対象となる画像の画像データを取得する。画像解析部320は、上記の画像データを解析して、(i)芝刈機230又は庭園30に関する各種パラメータ、及び、(ii)庭園30に関する各種のマップ情報の少なくとも一方を生成する。マップ情報としては、庭園30内における各種パラメータの地理的分布、庭園30内における植生分布などを例示することができる。
各種パラメータとしては、(i)芝刈機230の状態を示すパラメータ(状態パラメータと称する場合がある。)、(ii)芝刈機230を制御するためのパラメータ(制御パラメータを称する場合がある。)、(iii)庭園30の植物への給水の要否又は上記植物の培地の含水の度合いに関するパラメータ(給水パラメータと称する場合がある。)などを例示することができる。状態パラメータは、芝を切断するブレードの状態を示すパラメータであってよい。ブレードは、切断部の一例であってよい。
状態パラメータは、(i)芝刈機230のブレードの切断性能、(ii)ブレードの保守又は点検の要否、(iii)ブレードの保守又は点検が推奨される時期、又は、当該時期までの残り時間などを示すパラメータであってよい。保守としては、研磨、修理、交換などを例示することができる。制御パラメータとしては、(i)芝刈機230の移動を制御するためのパラメータ、(ii)芝刈機230の作業を制御するためのパラメータなどを例示することができる。
培地の含水の度合いに関するパラメータは、当該培地の含水率であってよい。給水の要否に関するパラメータとしては、給水が必要であることを示す情報、給水が不要であることを示す情報、培地に供給されるべき水分の量(給水量と称する場合がある。)を示す情報などを例示することができる。給水量は、時間当たりの水分の供給量であってもよく、培地の面積、体積又は重量当たりの水分の供給量であってもよい。給水量が0である場合、又は、給水量が予め定められた値よりも小さい場合、給水が不要であることを示す情報が生成されてもよい。給水量が予め定められた値を超える場合、給水が必要であることを示す情報が生成されてもよい。
画像解析部320は、画像データの解析結果を、命令生成部330又送信部340に出力してよい。一実施形態において、画像解析部320は、状態パラメータ、制御パラメータ及び給水パラメータの少なくとも1つを、命令生成部330に送信する。画像解析部320は、上記のパラメータを、マップ情報の形式で、命令生成部330に送信する。他の実施形態において、画像解析部320は、状態パラメータ、制御パラメータ及び給水パラメータの少なくとも1つが予め定められた条件を満足する場合、その旨をユーザ端末20に通知するためのメッセージを生成する。画像解析部320は、上記のメッセージを送信部340に出力する。
本実施形態において、情報格納部322は、各種の情報を格納する。情報格納部322は、画像解析部320における画像解析処理に利用される情報を格納してよい。情報格納部322は、画像解析部320の解析結果を格納してもよい。例えば、情報格納部322は、画像解析部320の機械学習用の学習データを格納する。また、情報格納部322は、画像解析部320の機械学習により構築された学習モデルを格納する。情報格納部322は、受信部310が取得した画像データ、画像解析部320が生成した各種パラメータ及び各種マップなどを格納してもよい。
本実施形態において、命令生成部330は、芝刈機230及び散水装置240の少なくとも一方に対する命令を生成する。例えば、命令生成部330は、画像解析部320から、画像解析部320の解析結果を示す情報を受信し、当該解析結果に基づいて、芝刈機230及び散水装置240の少なくとも一方に対する命令を生成する。命令生成部330は、少なくとも1つのパラメータに基づいて命令を生成してもよく、少なくとも1つのマップ情報に基づいて命令を生成してもよく、少なくとも1つのパラメータ及び少なくとも1つのマップ情報に基づいて命令を生成してもよい。
一実施形態によれば、上記の解析結果に含まれる状態パラメータが予め定められた条件を満足する場合、命令生成部330は、芝刈機230のユーザインタフェースに、上記の条件に対応するメッセージを表示させるための命令を生成する。例えば、状態パラメータが、ブレードの保守又は点検が必要であることを示している場合、命令生成部330は、芝刈機230のユーザインタフェースに、ブレードの保守又は点検を推奨することを示すメッセージを表示させるための命令を生成する。
他の実施形態によれば、上記の解析結果に制御パラメータが含まれる場合、又は、上記の解析結果に含まれる制御パラメータが予め定められた条件を満足する場合、命令生成部330は、芝刈機230を制御するための命令を生成する。さらに他の実施形態によれば、上記の解析結果に含まれる給水パラメータが予め定められた条件を満足する場合、命令生成部330は、散水装置240を制御するための命令を生成する。
本実施形態において、送信部340は、ユーザ端末20、芝刈機230及び散水装置240の少なくとも1つに、情報を送信する。一実施形態によれば、送信部340は、画像解析部320が生成したメッセージを、ユーザ端末20、芝刈機230及び散水装置240の少なくとも1つに送信する。他の実施形態によれば、送信部340は、命令生成部330が生成した命令を、ユーザ端末20、芝刈機230及び散水装置240の少なくとも1つに送信する。これにより、画像解析部320の解析結果を、ユーザに通知したり、芝刈機230又は散水装置240に送信したりすることができる。
[画像解析部320の構成]
図4は、画像解析部320の内部構成の一例を概略的に示す。画像解析部320は、学習処理部410と、位置算出部420と、芝認識部430と、判定処理部440とを備える。判定処理部440は、例えば、芝状態判定部442と、ブレード状態判定部444と、パラメータ生成部446と、マップ生成部448とを有する。画像解析部320の各部は、図中の矢印に限定されることなく、互いに情報を送受してよい。
位置算出部420は、位置情報取得部の一例であってよい。芝認識部430は、形態認識部の一例であってよい。判定処理部440は、情報処理装置又は制御装置の一例であってよい。判定処理部440は、画像取得部、位置情報取得部、仕様情報取得部、判定部、形態認識部、決定部又は制御パラメータ決定部の一例であってもよい。芝状態判定部442は、特徴認識部の一例であってよい。ブレード状態判定部444は、判定部の一例であってよい。パラメータ生成部446は、決定部又は制御パラメータ決定部の一例であってよい。
本実施形態において、学習処理部410は、機械学習により、画像解析部320において利用される各種の学習モデルを構築する。学習処理部410は、ディープラーニング手法を利用して、学習モデルを構築してもよい。例えば、学習処理部410は、情報格納部322に格納された学習データを利用して、学習モデルを構築する。学習処理部410は、構築された学習モデルを、情報格納部322に格納してよい。これにより、芝認識部430又は判定処理部440は、学習処理部410が構築した学習モデルを利用して画像認識処理を実行することができる。
学習処理部410は、芝刈機230の作業エリアを複数のサブエリアに分けて、サブエリアごとに各種の学習モデルを構築してもよい。例えば、学習処理部410は、各サブエリアにおいて撮像された芝の画像データを利用して、各サブエリアの学習モデルを構築する。学習処理部410は、サブエリアごとに用意された教師データを利用して、各サブエリアの学習モデルを構築してもよい。学習処理部410は、各サブエリアにおいて撮像された芝の画像データから、芝認識部430が抽出した芝の形状に関する特徴を利用して、各サブエリアの学習モデルを構築してもよい。
本実施形態において、位置算出部420は、受信部310から、画像解析部320の解析対象となる画像が撮像された位置を示す位置情報を取得する。位置算出部420は、上記の位置情報に基づいて、上記の画像の被写体の位置を算出する。例えば、位置算出部420は、作業エリア内の芝を撮像した画像の画像データに対応付けられた位置情報に基づいて、芝の位置を算出する。上記の位置情報としては、上記の画像を撮像した監視カメラ220の位置を示す位置情報、芝刈機230が上記の画像を撮像した時の位置を示す位置情報などを例示することができる。位置算出部420は、画像の被写体の位置を示す位置情報を、芝状態判定部442に送信してよい。
一実施形態において、位置算出部420は、解析対象となる画像を撮像した撮像装置と、当該画像の被写体との位置関係を算出する。位置算出部420は、撮像装置の位置と、上記の位置関係とに基づいて、被写体の位置を算出する。例えば、位置算出部420は、画像データに対応付けられた位置情報と、画像の撮像条件と、芝刈機230又は庭園30における撮像装置の幾何学的配置とに基づいて、画像中の被写体の位置を算出する。撮像条件としては、(i)画角、(ii)パン、チルト及びロールの少なくとも1つの角度、(iii)ズーム率などを例示することができる。これにより、被写体の位置を高精度に算出することができる。
他の実施形態において、位置算出部420は、解析対象となる画像の中に、位置及び大きさが既知である物体又は領域が含まれているか否かを判定する。解析対象となる画像の中に、判定処理部440の判定対象となる被写体とともに、位置及び大きさが既知である物体又は領域が含まれている場合、位置算出部420は、上記の被写体と、上記の物体又は領域との位置関係を算出する。位置算出部420は、上記の物体又は領域の位置と、上記の位置関係とに基づいて、被写体の位置を算出する。これにより、被写体の位置を高精度に算出することができる。
本実施形態において、芝認識部430は、受信部310から、画像解析部320の解析対象となる画像の画像データを取得する。芝認識部430は、受信部310から、上記の画像が撮像された位置を示す位置情報を取得してもよい。芝認識部430は、位置算出部420から、上記の画像の被写体の位置を示す位置情報を取得してもよい。本実施形態において、芝認識部430は、画像認識技術を利用して、解析対象となる画像の中に、判定処理部440の判定対象が含まれるか否かを判断する。判定対象は、画像の被写体であってもよく、画像の背景であってもよい。判定対象は、1つであってもよく、複数であってもよい。
解析対象となる画像の中に判定処理部440の判定対象が含まれる場合、芝認識部430は、判定処理部440の判定対象を認識して、解析対象となる画像から、(i)判定対象の画像、(ii)判定対象の輪郭又は形状、及び、(iii)判定対象の特徴の少なくとも1つを抽出する。芝認識部430は、判定処理部440の判定対象の画像、輪郭、形状、特徴などに関する情報を、芝状態判定部442に送信する。芝認識部430は、(i)判定処理部440の判定対象の画像、輪郭、形状、特徴などに関する情報と、(ii)解析対象となる画像が撮像された位置又は当該画像の被写体の位置を示す位置情報とを対応付けて、芝状態判定部442に送信してもよい。
芝認識部430は、受信部310から取得した画像データを、情報格納部322に格納してよい。芝認識部430は、判定処理部440の判定対象の画像、輪郭、形状、特徴などに関する情報を、情報格納部322に格納してよい。芝認識部430は、上記のデータ画像又は上記の情報と、画像が撮像された位置又は当該画像の被写体の位置を示す位置情報と対応付けて、情報格納部322に格納してもよい。芝認識部430は、上記のデータ画像又は上記の情報を、学習処理部410の学習データとして情報格納部322に格納してもよい。
本実施形態において、芝認識部430は、画像中に存在する芝(画像に含まれる芝と称する場合がある。)の形態を認識する。芝認識部430は、画像中に存在する1以上の芝のうち、少なくとも1本の芝の形態を認識する。芝は、判定処理部440の判定対象の一例であってよい。例えば、芝認識部430は、受信部310から取得した画像を解析して、当該画像に含まれる(i)芝の形状、及び、(ii)芝の先端部分の少なくとも一方を認識する。
図1を用いて説明したように、一実施形態において、芝認識部430は、複数の芝のそれぞれの形状を認識する。芝認識部430は、画像全体を対象として、当該画像に含まれる複数の芝のそれぞれの形状を認識してよい。芝認識部430は、画像の一部の領域を対象として、当該領域に含まれる一又は複数の芝のそれぞれの形状を認識してもよい。上記の領域としては、ピントがあっている領域、色に関する条件を満足する領域などを例示することができる。芝認識部430は、認識された芝の形状に基づいて、当該芝の先端部分を認識してもよい。
他の実施形態において、芝認識部430は、画像の中から、複数の芝の先端部分が多く含まれる可能性の高い領域を抽出する。例えば、芝認識部430は、複数の芝が側面から撮像された画像を鉛直方向に分割して得られた複数の画像のうちの1つを、複数の芝の先端部分が多く含まれる可能性の高い領域として抽出する。これにより、芝認識部430は、複数の芝のそれぞれの形状を認識することなく、芝の先端部分を認識することができる。その結果、画像によっては、芝の先端部分の認識に要する時間を大幅に短縮することが出来る。
芝認識部430は、(i)予め定められた判断基準又はアルゴリズムに基づいて、芝の形態を認識してもよく、(ii)機械学習により得られた学習モデルを利用して、芝の形態を認識してもよい。上記の判断基準は、被写体の輪郭を抽出するための一般的な基準であってもよく、芝の形状又は先端部分を抽出するために使用される1又は複数の考慮要素のそれぞれに関する条件を示す情報であってもよい。
どのような判断基準に基づいて芝の形態を判定するかは、ユーザ又は管理者により決定されてもよく、機械学習により決定されてもよい。どのような判断基準に基づいて芝の形態を判定するかは、芝の種類ごとに決定されてもよく、芝刈機230の仕様ごとに決定されてもよい。上記の判断基準に関する閾値は、ユーザ又は管理者により決定されてもよく、機械学習により決定されてもよい。上記の閾値は、芝の種類ごとに決定されてもよく、芝刈機230の仕様ごとに決定されてもよい。
例えば、芝認識部430は、学習処理部410が構築した学習モデルを利用して、芝の形態を認識する。芝認識部430は、芝刈機230の仕様情報を取得して、芝刈機230の仕様に合致する学習モデルを選択してよい。芝認識部430は、芝の種類に合致する学習モデルを選択してよい。例えば、芝認識部430は、庭園30の植生に関するマップ情報を取得して、撮像された芝の種類を推定する。芝認識部430は、解析対象となる画像が撮像された位置又は当該画像の被写体の位置を示す位置情報と、上記のマップ情報とに基づいて、撮像された芝の種類を推定してよい。
芝認識部430は、受信部310が受信した複数の画像データのそれぞれについて、上記の処理を実行してよい。芝認識部430は、芝刈機230の作業エリアを複数のサブエリアに分けて、サブエリアごとに、上記の認識処理を実行してもよい。芝認識部430は、サブエリアごとに、予め定められた数の画像データについて、上記の認識処理を実行してもよい。
[判定処理部440の概要]
本実施形態において、判定処理部440は、各種の判定処理を実行する。判定処理部440は、芝認識部430が認識した芝の形態を示す情報を利用して、判定処理を実行してよい。これにより、判定精度を向上させることができる。一実施形態において、判定処理部440は、予め定められた判断基準に基づいて、判定処理を実行する。他の実施形態において、判定処理部440は、学習処理部410が構築した学習モデルを利用して、判定処理を実行する。判定処理部440は、判定結果を、命令生成部330又は送信部340に送信してよい。
一実施形態によれば、判定処理部440は、まず、芝の状態を判定する。次に、判定処理部440は、芝の判定結果に基づいて、芝刈機230の状態を判定する。判定処理部440は、芝刈機230の状態を示す状態パラメータを生成してもよい。他の実施形態によれば、判定処理部440は、まず、芝の状態を判定する。次に、判定処理部440は、芝の判定結果に基づいて、制御パラメータを生成する。さらに他の実施形態によれば、判定処理部440は、まず、芝の状態を判定する。次に、判定処理部440は、芝の判定結果に基づいて、給水パラメータを生成する。さらに他の実施形態によれば、判定処理部440は、各種のパラメータに関するマップ情報を生成する。判定処理部440は、庭園30における植生のマップ情報を生成してもよい。
[芝状態判定部442の概要]
本実施形態において、芝状態判定部442は、受信部310が取得した芝の画像データに基づいて、当該芝の状態を判定する。例えば、芝状態判定部442は、芝認識部430から、芝認識部430により認識された芝の形態に関する情報を取得する。芝状態判定部442は、芝の形態に関する情報に基づいて、芝の状態を判定する。
芝状態判定部442は、(i)予め定められた判断基準に基づいて、芝の状態を判定してもよく、(ii)機械学習により得られた学習モデルを利用して、芝の状態を判定してもよい。上記の判断基準は、1又は複数の考慮要素と、各考慮要素に関する条件と、芝の状態とが対応付けられた情報であってよい。芝の状態を判定するための考慮要素としては、(i)芝の種類、(ii)芝の数又は密度、(iii)芝の形状、(iv)芝の先端部分の外観、(v)芝刈機230の仕様などを例示することができる。
どのような判断基準に基づいて芝の状態を判定するかは、ユーザ又は管理者により決定されてもよく、機械学習により決定されてもよい。どのような判断基準に基づいて芝の状態を判定するかは、芝の種類ごとに決定されてもよく、芝刈機230の仕様ごとに決定されてもよい。判定対象が各考慮要素に関する条件に合致するか否かを決定するための閾値は、ユーザ又は管理者により決定されてもよく、機械学習により決定されてもよい。上記の閾値は、芝の種類ごとに決定されてもよく、芝刈機230の仕様ごとに決定されてもよい。
芝の状態は、連続的な数値により評価されてもよく、複数の段階により段階的に評価されてもよい。芝の状態としては、芝の切断状態、芝の生育状態などを例示することができる。芝の切断状態は、切断面の状態であってもよい。芝の生育状態としては、芝の種類、芝の密度、生育の良否、芝刈りの過不足、水分の過不足、養分の過不足などを例示することができる。水分の過不足を示すパラメータとしては、(a)芝の培地の含水の度合い、(b)芝への給水の要否及び(c)芝への給水量の少なくとも1つを例示することができる。
芝状態判定部442は、芝の状態に関する判定結果を、例えば、ブレード状態判定部444及びパラメータ生成部446の少なくとも一方に送信する。芝状態判定部442は、芝の状態に関する判定結果と、当該芝の位置情報とを対応付けて、ブレード状態判定部444及びパラメータ生成部446の少なくとも一方に送信してもよい。
一実施形態において、芝状態判定部442は、芝の形態を示す情報を入力され、芝の状態を示す情報を出力する。他の実施形態において、芝状態判定部442は、芝の形態に基づいて芝の特徴を認識し、当該特徴に基づいて芝の状態を判定する。さらに他の実施形態において、芝状態判定部442は、芝の形態に基づいて芝の先端部分の特徴を認識し、当該特徴に基づいて、芝の状態を判定する。
芝状態判定部442は、(i)予め定められた判断基準に基づいて、芝の特徴又は芝の先端部分の特徴を認識してもよく、(ii)機械学習により得られた学習モデルを利用して、芝の特徴又は芝の先端部分の特徴を認識してもよい。上記の判断基準は、1又は複数の考慮要素と、各考慮要素に関する条件と、芝の特徴又は芝の先端部分の特定の特徴とが対応付けられた情報であってよい。芝の特徴又は芝の先端部分の特徴を判定するための考慮要素としては、(i)芝の種類、(ii)芝の数又は密度、(iii)芝の形状、(iv)芝の先端部分の外観、(v)芝刈機230の仕様などを例示することができる。
どのような判断基準に基づいて芝の特徴又は芝の先端部分の特徴を判定するかは、ユーザ又は管理者により決定されてもよく、機械学習により決定されてもよい。どのような判断基準に基づいて芝の特徴又は芝の先端部分の特徴を判定するかは、芝の種類ごとに決定されてもよく、芝刈機230の仕様ごとに決定されてもよい。判定対象が各考慮要素に関する条件に合致するか否かを決定するための閾値は、ユーザ又は管理者により決定されてもよく、機械学習により決定されてもよい。上記の閾値は、芝の種類ごとに決定されてよい。上記の閾値は、芝刈機230の仕様ごとに決定されてもよい。
芝の特徴としては、(i)芝の種類、(ii)芝の数又は密度、(iii)芝の形状、及び、(iv)培地に対する芝の傾きの少なくとも1つを例示することができる。芝の先端部分の特徴としては、(i)芝の先端部分の形状、色彩及び光沢の少なくとも1つ、(ii)芝の先端部分と、当該芝の他の部分との相違などを例示することができる。芝が切断されている場合、芝の先端部分の特徴は、切断箇所の特徴であってもよい。切断箇所の特徴としては、(i)切断面の形状、色彩及び光沢の少なくとも1つ、(ii)バリの有無又は程度、(iii)液滴の有無又は程度などを例示することができる。
芝状態判定部442は、芝刈機230の進路の前方に存在する芝の画像データを解析して、芝の特徴を認識してよい。芝状態判定部442は、芝刈機230が通過した領域に存在する芝の画像データを解析して、芝の特徴を認識してもよい。また、芝状態判定部442は、芝刈機230が通過した領域に存在する芝の画像データを解析して、切断箇所の特徴を認識してもよい。
さらに他の実施形態において、芝状態判定部442は、芝刈機230から、ブレードを回転させるモータの電流値に関する情報を取得してよい。芝状態判定部442は、ブレードを回転させるモータの電流値に基づいて、芝の特徴を認識してもよい。芝刈機230が堅い物質を切断する場合、ブレードを回転させるモータの電流値が増加する。また、芝の硬さは、芝の種類によって異なる。そのため、モータの電流値は、芝の種類を判定するための考慮要素になり得る。芝状態判定部442は、芝刈機230の進路の前方に存在する芝の画像データと、ブレードを回転させるモータの電流値とに基づいて、芝の特徴を認識してもよい。例えば、芝状態判定部442は、画像解析の結果に基づいて芝の密度を決定し、当該芝の密度と、モータの電流値とに基づいて芝の硬さを決定する。
[芝状態判定部442における処理の概要]
例えば、芝状態判定部442は、まず、芝認識部430から、芝認識部430が認識した芝の形態を示す情報を受信する。芝状態判定部442は、芝認識部430から解析対象となる画像の画像データを受信してもよい。芝状態判定部442は、位置算出部420又は芝認識部430から、芝の画像が撮像された位置又は芝の位置を示す位置情報(芝の位置情報と称する場合がある。)を取得してもよい。
次に、芝状態判定部442は、芝の形態を示す情報に基づいて、芝の特徴又は芝の先端部分の特徴を認識する。認識されるべき芝の特徴は、芝状態判定部442における判定処理に利用される特徴であればよく、具体的な内容は特に限定されない。芝状態判定部442は、例えば、学習処理部410が構築した学習モデルを利用して、芝の特徴又は芝の先端部分の特徴を認識する。
一実施形態において、芝状態判定部442は、芝の形状を示す情報を利用して、芝の特徴又は芝の先端部分の特徴を認識する。例えば、芝状態判定部442は、芝の形状を示す情報を利用して、複数の芝が撮像された画像から、各芝の画像を抽出する。そして、芝状態判定部442は、少なくとも1本の芝について、芝の種類ごとに固有の形状の有無、太さ、曲率、培地に対する傾斜角、先端部分の形状、先端部分の色、先端部分の光沢、並びに、先端部分とそれ以外の部分との色の変化の有無、及び、当該変化の内容などを認識する。
他の実施形態において、芝状態判定部442は、芝の先端部分を示す情報を利用して、芝の先端部分の特徴を認識する。例えば、芝状態判定部442は、芝認識部430から、芝の先端部分を示す情報として、芝の先端部分が多く含まれる可能性の高い画像を取得する。芝状態判定部442は、当該画像の特徴を、芝の先端部分の特徴として認識してよい。芝状態判定部442は、芝認識部430から、参照用の画像として、芝の根本部分又は中間部分が多く含まれる可能性の高い画像を取得してもよい。芝状態判定部442は、芝の先端部分が多く含まれる可能性の高い画像の特徴と、参照用の画像の特徴との相違点を、芝の先端部分の特徴として認識してよい。
次に、芝状態判定部442は、芝の状態を判定する。例えば、芝状態判定部442は、芝の先端部分の特徴に基づいて、芝の切断状態を判定する。芝状態判定部442は、芝の特徴及び芝の先端部分の特徴の少なくとも一方に基づいて、芝の生育状態を判定してもよい。芝の切断状態及び生育状態の少なくとも一方に関する判定処理は、学習処理部410が構築した学習モデルを利用して実行されてよい。
次に、芝状態判定部442は、芝の状態に関する判定結果を出力する。芝状態判定部442は、芝の状態に関する判定結果と、当該芝の位置情報とを対応付けて出力してもよい。一実施形態において、芝状態判定部442は、芝の切断状態に関する判定結果をブレード状態判定部444に送信する。これにより、ブレード状態判定部444が、芝の切断状態に関する判定結果を利用して、ブレードの状態を判定することができる。
他の実施形態において、芝状態判定部442は、芝の生育状態に関する判定結果をパラメータ生成部446に送信する。これにより、パラメータ生成部446が、芝の生育状態に関する判定結果を利用して、制御パラメータ及び給水パラメータの少なくとも一方を生成することができる。なお、後述のとおり、パラメータ生成部446は、ブレードの状態に関する判定結果を利用して、制御パラメータを生成してもよい。
芝状態判定部442は、受信部310が受信した複数の画像データのそれぞれについて、上記の処理を実行してよい。芝状態判定部442は、芝刈機230の作業エリアを複数のサブエリアに分けて、サブエリアごとに、上記の判定処理を実行してもよい。芝状態判定部442は、サブエリアごとに、予め定められた数の画像データについて、上記の判定処理を実行してもよい。
[ブレード状態判定部444の概要]
本実施形態において、ブレード状態判定部444は、芝刈機230のブレードの状態を判定する。ブレードの状態としては、(i)ブレードの切断性能、(ii)ブレードの保守又は点検の要否、(iii)ブレードの保守又は点検が推奨される時期、又は、当該時期までの残り時間などを例示することができる。ブレードの状態は、連続的な数値により評価されてもよく、複数の段階により段階的に評価されてもよい。
本実施形態において、ブレード状態判定部444は、受信部310が取得した画像データに基づいて、芝刈機230のブレードの状態を判定する。例えば、ブレード状態判定部444は、芝状態判定部442から、芝の切断状態に関する判定結果を受信し、当該判定結果に基づいて、芝刈機230のブレードの状態を判定する。ブレード状態判定部444は、ブレードの状態に関する判定結果を、例えば、パラメータ生成部446及びマップ生成部448の少なくとも一方に送信する。ブレード状態判定部444は、ブレードの状態に関する判定結果と、判定に利用された芝の位置情報とを対応付けて、パラメータ生成部446及びマップ生成部448の少なくとも一方に送信してもよい。
ブレード状態判定部444は、(i)予め定められた判断基準に基づいて、ブレードの状態を判定してもよく、(ii)機械学習により得られた学習モデルを利用して、ブレードの状態を判定してもよい。上記の判断基準は、1又は複数の考慮要素と、各考慮要素に関する条件と、芝の状態とが対応付けられた情報であってよい。ブレードの状態を判定するための考慮要素としては、(i)芝の種類、(ii)芝の切断面の形状、色彩及び光沢の少なくとも1つ、(iii)ブレードの仕様などを例示することができる。
どのような判断基準に基づいてブレードの状態を判定するかは、ユーザ又は管理者により決定されてもよく、機械学習により決定されてもよい。どのような判断基準に基づいてブレードの状態を判定するかは、芝の種類ごとに決定されてもよく、芝刈機230の仕様ごとに決定されてもよい。判定対象が各考慮要素に関する条件に合致するか否かを決定するための閾値は、ユーザ又は管理者により決定されてもよく、機械学習により決定されてもよい。上記の閾値は、芝の種類ごとに決定されてよい。上記の閾値は、ブレードの仕様ごとに決定されてもよい。
例えば、ブレード状態判定部444は、ブレードの仕様に関する情報を取得して、ブレード状態判定部444は、芝の切断状態に関する判定結果と、ブレードの仕様に関する情報とに基づいて、芝刈機230のブレードの状態を判定する。ブレードの仕様に関する情報は、例えば、芝刈機230の記憶装置、情報格納部322などに格納されている。ブレードの仕様としては、ブレードの種類、ブレードの材質、ブレードの大きさなどを例示することができる。ブレードの種類としては、チップソー、ナイロンカッター、金属刃などを例示することができる。
一実施形態によれば、ブレード状態判定部444は、芝の切断状態に関する判定結果に基づいて、ブレードの保守又は点検の要否を判定する。他の実施形態によれば、芝の切断状態に関する判定結果と、ブレードの仕様に関する情報とに基づいて、ブレードの保守又は点検の要否を判定する。さらに他の実施形態によれば、ブレード状態判定部444は、ブレードの状態に関する判定結果に基づいて、ブレードの保守又は点検の要否を判定してもよい。
本実施形態においては、ブレード状態判定部444は、芝状態判定部442から、芝の切断状態に関する判定結果を受信する場合について説明した。しかしながら、ブレード状態判定部444は、本実施形態に限定されない。他の実施形態において、ブレード状態判定部444は、芝状態判定部442から、芝の切断箇所の特徴を示す情報を受信してよい。芝の切断箇所の特徴は、例えば、芝状態判定部442が、画像データから抽出することで得られる。この場合において、ブレード状態判定部444は、芝の切断箇所の特徴に基づいて、ブレードの状態を判定してもよい。
[パラメータ生成部446の概要]
本実施形態において、パラメータ生成部446は、各種のパラメータを生成する。パラメータ生成部446は、芝状態判定部442及びブレード状態判定部444の少なくとも一方の判定結果に基づいて、状態パラメータ、制御パラメータ、及び、給水パラメータの少なくとも1つを生成する。例えば、パラメータ生成部446は、生成されたパラメータを、マップ生成部448に送信する。パラメータ生成部446は、生成されたパラメータを、命令生成部330又は送信部340に出力してもよい。パラメータ生成部446は、パラメータと、当該パラメータが適用される位置を示す位置情報とを対応付けて出力してよい。
[状態パラメータ]
本実施形態において、例えば、パラメータ生成部446が、ブレード状態判定部444から、ブレードの状態に関する判定結果を受信する。そして、パラメータ生成部446は、ブレードの状態に関する判定結果に基づいて、ブレードの状態を示す状態パラメータを生成する。本実施形態によれば、状態パラメータは、例えば、(i)芝の種類、(ii)芝の数又は密度、(iii)芝の形状、及び、(iv)切断された芝の外観の少なくとも1つに関する特徴に基づいて生成される。切断された芝の外観は、芝の切断箇所の特徴の一例であってよい。状態パラメータは、芝刈機230の仕様、ブレードを回転させるモータの電流値などに基づいて生成されてもよい。
[制御パラメータ]
一実施形態において、パラメータ生成部446が、芝状態判定部442から、芝の生育状態に関する判定結果を受信する。そして、パラメータ生成部446は、芝の生育状態に関する判定結果に基づいて、制御パラメータを生成する。他の実施形態において、パラメータ生成部446が、芝状態判定部442から、芝の切断状態に関する判定結果を受信する。そして、パラメータ生成部446は、芝の切断状態に関する判定結果に基づいて、制御パラメータを生成する。これらの実施形態によれば、制御パラメータは、例えば、(i)芝の種類、(ii)芝の数又は密度、(iii)芝の形状、及び、(iv)切断された芝の外観の少なくとも1つに関する特徴に基づいて生成される。切断された芝の外観は、芝の切断箇所の特徴の一例であってよい。制御パラメータは、芝刈機230の仕様、ブレードを回転させるモータの電流値などに基づいて生成されてもよい。例えば、パラメータ生成部446は、ブレードを回転させるモータの電流値に基づいて、芝刈機230のモータの回転数、芝刈機230の移動速度、芝刈機230の移動方向などに関する制御パラメータを生成する。
さらに他の実施形態において、パラメータ生成部446は、ブレード状態判定部444から、ブレードの状態に関する判定結果を受信する。パラメータ生成部446は、ブレードの状態に関する判定結果に基づいて、制御パラメータを生成する。例えば、パラメータ生成部446は、ブレードの切断性能が予め定められた条件を満たさない場合には、ブレードの切断性能が予め定められた条件を満たす場合と比較して、(i)芝刈機230の移動速度が小さくなる、又は、(ii)ブレードの回転速度が大きくなるように、制御パラメータを決定する。なお、パラメータ生成部446は、芝の生育状態に関する判定結果、芝の切断状態に関する判定結果及びブレードの状態に関する判定結果の任意の組み合わせに基づいて、制御パラメータを生成してもよい。
[給水パラメータ]
例えば、パラメータ生成部446は、芝状態判定部442から、芝の生育状態に関する判定結果を受信する。パラメータ生成部446は、芝の生育状態に関する判定結果に基づいて、給水パラメータを生成する。本実施形態によれば、給水パラメータは、例えば、(i)芝の種類、(ii)芝の数又は密度、(iii)芝の形状、及び、(iv)切断された芝の外観の少なくとも1つに関する特徴に基づいて生成される。切断された芝の外観は、芝の切断箇所の特徴の一例であってよい。これにより、例えば、(a)芝の培地の含水の度合い、(b)芝への給水の要否及び(c)芝への給水量の少なくとも1つを、芝の形状及び芝の先端部分の少なくとも一方の特徴に基づいて決定することができる。給水パラメータは、芝刈機230の仕様、ブレードを回転させるモータの電流値などに基づいて生成されてもよい。
[マップ生成部448の概要]
マップ生成部448は、各種のマップ情報を生成する。各パラメータのマップ情報は、当該パラメータの一例であってよい。マップ生成部448は、マップ情報を、例えば、命令生成部330又は送信部340に出力する。
一実施形態において、マップ生成部448は、パラメータ生成部446から、各種のパラメータと、当該パラメータが適用される位置を示す情報とを受信する。マップ生成部448は、各パラメータと、当該パラメータが適用される位置を示す情報とを対応付けて、各パラメータのマップ情報を生成する。マップ生成部448は、予め定められた条件を満たすパラメータを利用して、マップ情報を生成してもよい。
他の実施形態において、マップ生成部448は、芝状態判定部442及びブレード状態判定部444の少なくとも一方から、(i)判定対象となる画像が撮像された位置を示す位置情報、又は、当該画像の被写体の位置を示す位置情報と、(ii)当該判定対象に関する判定結果を示す情報とを取得してもよい。マップ生成部448は、上記の位置情報と、上記の判定結果を示す情報とを対応付けて、マップ情報を生成してもよい。マップ生成部448は、予め定められた条件を満たす判定結果を利用して、マップ情報を生成してもよい。芝状態判定部442及びブレード状態判定部444の少なくとも一方は、判定結果が予め定められた条件を満たす場合に、上記の情報を448に出力してもよい。
さらに他の実施形態において、マップ生成部448は、芝状態判定部442から、(i)判定対象となる画像が撮像された位置を示す位置情報、又は、当該画像の被写体の位置を示す位置情報と、(ii)各画像に含まれる植物、動物、微生物、土壌及びゴミの少なくとも1つに関する情報とを取得する。植物、動物、微生物、土壌及びゴミの少なくとも1つに関する情報は、植物、動物、微生物、土壌及びゴミの少なくとも1つの種類を示す情報であってよい。マップ生成部448は、上記の位置情報と、上記の判定結果を示す情報とを対応付けて、マップ情報を生成してもよい。土壌は、植物の培地の一例であってよい。
画像解析部320の各部における処理は、図4を用いて説明された実施形態に限定されない。他の実施形態において、画像解析部320の特定の部材における情報処理の少なくとも一部が、他の部材において実行されてもよい。例えば、本実施形態においては、芝認識部430が、芝の形態を認識し、芝状態判定部442が、芝の形態に基づいて芝の状態を判定する場合について説明した。しかしながら、判定処理部440は本実施形態に限定されない。他の実施形態において、芝認識部430における情報処理の少なくとも一部が、芝状態判定部442において実行されてもよい。
また、本実施形態において、パラメータ生成部446が、各種パラメータを生成する場合について説明した。しかしながら、判定処理部440は本実施形態に限定されない。他の実施形態において、芝状態判定部442及びブレード状態判定部444の少なくとも一方が、パラメータを生成してもよい。例えば、本実施形態において、芝状態判定部442が、芝の形態に基づいて芝の生育状態を判定し、パラメータ生成部446が、芝の生育状態に関する判定結果に基づいて給水パラメータを生成する場合について説明した。しかしながら、判定処理部440は本実施形態に限定されない。他の実施形態において、芝状態判定部442が、芝の形態に基づいて、給水パラメータを生成してもよい。例えば、芝状態判定部442が、芝の形態に基づいて、(a)芝の培地の含水の度合い、(b)芝への給水の要否及び(c)芝への給水量の少なくとも1つを決定する。
図5は、情報格納部322の内部構成の一例を概略的に示す。本実施形態において、情報格納部322は、作業機情報格納部510と、学習データ格納部520と、学習モデル格納部530とを備える。学習データ格納部520は、形状情報格納部の一例であってよい。
作業機情報格納部510は、芝刈機230の仕様に関する情報を格納する。学習データ格納部520は、学習処理部410の学習データを格納する。学習モデル格納部530は、様々な条件に対応する学習データを格納する。学習データ格納部520は、(i)位置算出部420が取得した位置情報と、(ii)芝認識部430が認識した芝の形状に関する情報とを対応付けて格納してもよい。学習モデル格納部530は、学習処理部410が構築した学習モデルを格納する。学習モデル格納部530は、様々な条件に対応する学習モデルを格納してよい。
[芝刈機230の概要]
図6、図7及び図8を用いて、芝刈機230の概要を説明する。図6は、芝刈機230の内部構成の一例を概略的に示す。本実施形態において、芝刈機230は、筐体602を備える。本実施形態において、芝刈機230は、筐体602の下部に、一対の前輪612と、一対の後輪614とを備える。芝刈機230は、一対の後輪614のそれぞれを駆動する一対の走行用モータ616を備えてよい。
本実施形態において、芝刈機230は、作業ユニット620を備える。作業ユニット620は、例えば、ブレードディスク622と、カッターブレード624と、作業用モータ626と、シャフト628とを有する。芝刈機230は、作業ユニット620の位置を調整する位置調整部630を備えてもよい。作業ユニット620は、切断部の一例であってよい。ブレードディスク622及びカッターブレード624は、作業対象を切断するための回転体の一例であってよい。
ブレードディスク622は、シャフト628を介して、作業用モータ626に連結される。カッターブレード624は、芝を切断するための刈刃であってよい。カッターブレード624は、ブレードディスク622に取り付けられ、ブレードディスク622と一緒に回転する。作業用モータ626は、ブレードディスク622を回転させる。
本実施形態において、芝刈機230は、筐体602の内部又は筐体602の上に、バッテリユニット640と、ユーザインタフェース650と、撮像ユニット660と、センサユニット670と、制御ユニット680とを備える。撮像ユニット660は、撮像部又は画像取得部の一例であってよい。制御ユニット680は、判定部、情報処理装置又は制御装置の一例であってよい。
本実施形態において、バッテリユニット640は、芝刈機230の各部に電力を供給する。本実施形態において、ユーザインタフェース650は、ユーザの入力を受け付ける。ユーザインタフェース650は、ユーザに情報を出力する。ユーザインタフェース650としては、キーボード、ポインティングデバイス、マイク、タッチパネル、ディスプレイ、スピーカなどを例示することができる。
本実施形態において、撮像ユニット660は、芝刈機230の周囲を撮像する。撮像ユニット660は、芝刈機230の作業対象となる芝を撮像してよい。撮像ユニット660は、芝刈機230が切断した芝を撮像してもよい。撮像ユニット660は、被写体の静止画像を取得してもよく、被写体の動画像を取得してもよい。撮像ユニット660は、複数の撮像素子を有してもよい。撮像ユニット660は、360°カメラであってもよい。
本実施形態において、センサユニット670は、各種センサを備える。センサユニット670は、各種センサの出力を制御ユニット680に送信する。センサとしては、GPS信号受信機、ビーコン受信機、電波強度測定機、加速度センサ、角速度センサ、車輪速センサ、接触センサ、磁気センサ、温度センサ、湿度センサ、土壌水分センサなどを例示することができる。
本実施形態において、制御ユニット680は、芝刈機230の動作を制御する。一実施形態によれば、制御ユニット680は、一対の走行用モータ616を制御して、芝刈機230の移動を制御する。他の実施形態によれば、制御ユニット680は、作業用モータ626を制御して、芝刈機230の作業を制御する。
制御ユニット680は、管理サーバ210の画像解析部320における判定処理の結果に基づいて、芝刈機230を制御してよい。例えば、制御ユニット680は、管理サーバ210の命令生成部330が生成した命令に従って、芝刈機230を制御する。
他の実施形態において、制御ユニット680は、各種の判定処理を実行してもよい。制御ユニット680は、判定処理部440における判定処理の少なくとも1つを実行してもよい。一実施形態において、制御ユニット680は、上記の判定処理の結果に基づいて、芝刈機230を制御してよい。例えば、制御ユニット680は、撮像ユニット660が撮像した画像の画像データに基づいて、作業ユニット620の状態を判定する。作業ユニット620の状態は、カッターブレード624の切断性能であってもよい。
他の実施形態において、制御ユニット680は、上記の判定処理の結果に基づいて、散水装置240を制御してよい。例えば、制御ユニット680は、撮像ユニット660が撮像した画像の画像データに基づいて、芝の形状を認識する。制御ユニット680は、芝の形状に基づいて、給水パラメータを決定する。制御ユニット680は、給水パラメータを散水装置240に送信して、庭園30の特定の位置への給水量を制御する。
図7は、制御ユニット680の内部構成の一例を概略的に示す。本実施形態において、制御ユニット680は、通信制御部710と、走行制御部720と、作業ユニット制御部730と、入出力制御部740とを備える。通信制御部710は、通知部又は画像取得部の一例であってよい。走行制御部720は、移動制御部の一例であってよい。作業ユニット制御部730は、作業制御部の一例であってよい。
本実施形態において、通信制御部710は、芝刈機230の外部の機器との通信を制御する。通信制御部710は、1又は複数の通信方式に対応した通信インタフェースであってもよい。外部の機器としては、ユーザ端末20、管理サーバ210、散水装置240などを例示することができる。通信制御部710は、必要に応じて、監視カメラ220から、監視カメラ220が撮像した画像の画像データを取得してもよい。
本実施形態において、走行制御部720は、走行用モータ616を制御して、芝刈機230の移動を制御する。走行制御部720は、芝刈機230の自律走行を制御する。例えば、走行制御部720は、芝刈機230の移動速度、移動方向、及び、移動ルートの少なくとも1つを制御する。
走行制御部720は、管理サーバ210の画像解析部320における判定結果に基づいて、走行用モータ616を制御してよい。他の実施形態において、走行制御部720は、制御ユニット680における判定処理の結果に基づいて、走行用モータ616を制御してもよい。
本実施形態において、作業ユニット制御部730は、作業ユニット620を制御する。作業ユニット制御部730は、作業ユニット620の作業の種類、作業の強度、及び、作業のスケジュールの少なくとも1つを制御してよい。例えば、作業ユニット制御部730は、作業用モータ626を制御して、作業ユニット620の作業の強度を制御する。作業ユニット制御部730は、位置調整部630を制御して、作業ユニット620の作業の強度を制御してもよい。
作業ユニット制御部730は、管理サーバ210の画像解析部320における判定結果に基づいて、作業用モータ626及び位置調整部630の少なくとも一方を制御してもよい。他の実施形態において、作業ユニット制御部730は、制御ユニット680における判定処理の結果に基づいて、作業用モータ626及び位置調整部630の少なくとも一方を制御してもよい。さらに他の実施形態において、作業ユニット制御部730は、作業用モータ626の電流値を監視してよい。作業ユニット制御部730は、作業用モータ626の電流値を示す情報を、画像解析部320に送信してよい。
本実施形態において、入出力制御部740は、ユーザインタフェース650、撮像ユニット660及びセンサユニット670の少なくとも1つからの入力を受け付ける。入出力制御部740は、ユーザインタフェース650に情報を出力する。入出力制御部740は、ユーザインタフェース650、撮像ユニット660及びセンサユニット670の少なくとも1つを制御してもよい。例えば、入出力制御部740は、ユーザインタフェース650、撮像ユニット660及びセンサユニット670の少なくとも1つの機器の設定を調整することで、当該機器を制御する。
図8は、制御ユニット680の内部構成の他の例を概略的に示す。図7において、管理サーバ210が画像解析部320、情報格納部322及び命令生成部330を有し、各種の判定処理が管理サーバ210において実行される場合について説明した。図7の実施形態において、制御ユニット680は、画像解析部320における判定処理の結果に基づいて、芝刈機230を制御した。
図8の実施形態においては、画像解析部320、情報格納部322及び命令生成部330が、制御ユニット680に配される点で、図7の実施形態と相違する。本実施形態において、走行制御部720及び作業ユニット制御部730は、命令生成部330が生成した命令に基づいて、走行用モータ616、作業用モータ626及び位置調整部630の少なくとも1つを制御する。その他の点については、図7の実施形態と同様の構成を有してよい。
本実施形態においては、制御ユニット680が、画像解析部320、情報格納部322及び命令生成部330を有する場合について説明した。しかしながら、制御ユニット680は本実施形態に限定されない。他の実施形態において、画像解析部320、情報格納部322及び命令生成部330のうちの1つ又は2つが制御ユニット680に配され、残りが管理サーバ210に配されてよい。例えば、制御ユニット680は、情報格納部322を有しなくてもよい。この場合、制御ユニット680に配された画像解析部320は、必要に応じて、管理サーバ210に配された情報格納部322にアクセスすることにより、画像解析処理を実行する。
さらに他の実施形態において、画像解析部320に含まれる複数の構成のうちの一部の構成が制御ユニット680に配され、残りの構成が管理サーバ210に配されてもよい。例えば、画像解析部320に含まれる複数の構成のうち、判定処理部440が制御ユニット680に配され、学習処理部410、位置算出部420及び芝認識部430が管理サーバ210に配される。また、パラメータ生成部446が制御ユニット680に配され、画像解析部320の残りの構成が管理サーバ210に配されてもよい。
図9は、散水装置240のシステム構成の一例を概略的に示す。本実施形態において、散水装置240は、スプリンクラー242と、給水制御部244とを備える。散水装置240は、給水栓902と、給水ライン904とを備えてもよい。給水ライン904は、給水栓902から供給される水を、スプリンクラー242に移送する配管又は給水施設であってよい。給水ライン904の一端は、給水栓902に接続されてよく、給水ライン904の他端は、スプリンクラー242に接続されてよい。
本実施形態において、給水制御部244は、給水ライン904において、スプリンクラー242及び給水栓902の間に配され、スプリンクラー242への給水量を調整する。本実施形態において、給水制御部244は、自動弁910と、通信制御部920と、開閉制御部930とを有する。
本実施形態において、自動弁910は、給水ライン904を流れる水の量を調整する。自動弁910は、開閉制御部930からの制御信号に基づいて、給水ライン904を流れる水の量を調整してよい。自動弁910は、電動弁であってもよい。
本実施形態において、通信制御部920は、管理サーバ210又は芝刈機230との間の通信を制御する。通信制御部920は、管理サーバ210又は芝刈機230から、給水パラメータ又は給水命令を受信する。通信制御部920は、給水パラメータ又は給水命令を、開閉制御部930に送信する。本実施形態において、開閉制御部930は、自動弁910の動作を制御する。例えば、開閉制御部930は、給水パラメータ又は給水命令に基づいて、自動弁910の動作を制御する。
図10は、散水装置240のシステム構成の他の例を概略的に示す。本実施形態において、散水装置240は、スプリンクラー242と、給水制御部244とを備える。散水装置240は、給水ライン904と、貯水槽1002とを備えてよい。本実施形態において、給水制御部244は、ポンプ1010と、通信制御部920と、ポンプ制御部1030とを有する。散水装置240は、芝刈機230に搭載されてもよい。
本実施形態において、給水ライン904の一端は、貯水槽1002に接続され、給水ライン904の他端は、スプリンクラー242に接続される。ポンプ1010は、貯水槽1002の内部の水を移送する。ポンプ制御部1030は、ポンプ制御部1030からの制御信号に基づいて、移送する水の量を調整してよい。ポンプ制御部1030は、ポンプ1010の動作を制御する。例えば、ポンプ制御部1030は、通信制御部920が受信した給水パラメータ又は給水命令に基づいて、ポンプ制御部1030の動作を制御する。
図11は、画像解析部320における情報処理の一例を概略的に示す。本実施形態によれば、ステップ1102(ステップをSと省略する場合がある。)において、芝認識部430が、受信部310から、解析対象となる画像の画像データを取得する。S1104において、芝認識部430は、受信部310から取得した画像が、芝刈り後の画像であるか、芝刈り前の画像であるか否かを判断する。例えば、芝認識部430は、受信部310から取得した画像が、芝刈機230の進路の前方に存在する芝の画像である場合、当該画像が芝刈り前の画像であると判断する。芝認識部430は、受信部310から取得した画像が、芝刈機230が通過した領域に存在する芝の画像である場合、当該画像が芝刈り後の画像であると判断する。
一実施形態において、芝認識部430は、画像を撮像した撮像装置の設置位置及び撮像条件の少なくとも一方に関する情報を取得して、当該情報に基づいて、受信部310から取得した画像が、芝刈機230の進路の前方に存在する芝の画像であるか、芝刈機230が通過した領域に存在する芝の画像であるかを判断してよい。例えば、撮像装置が芝刈機230の前方に搭載されていたり、撮像装置が芝刈機230の前方を撮像するように設定されていたりする場合、芝認識部430は、受信部310から取得した画像が、芝刈機230の進路の前方に存在する芝の画像であると判断する。
他の実施形態において、芝認識部430は、位置算出部420から、画像中の芝の位置を示す位置情報を取得する。位置算出部420は、例えば、画像を撮像した撮像装置の設置位置及び撮像条件の少なくとも一方に基づいて、画像中の芝の位置を決定する。芝認識部430は、芝刈機230の現在位置を示す情報を取得する。芝認識部430は、芝の位置と、芝刈機230の位置とに基づいて、受信部310から取得した画像が、芝刈機230の進路の前方に存在する芝の画像であるか、芝刈機230が通過した領域に存在する芝の画像であるかを判断してよい。
受信部310から取得した画像が芝刈り後の画像であると判断された場合(S1104のYESの場合)、S1112において、芝認識部430が、画像中に存在する1又は複数の芝の先端部分を認識する。芝認識部430は、少なくとも1本の芝の形状を認識した後、当該芝の形状に基づいて当該芝の先端部分を認識してもよい。また、芝状態判定部442が、芝の先端部分の特徴に基づいて、芝の切断状態を判定する。
次に、S1114において、芝状態判定部442は、芝の切断状態を示す情報をブレード状態判定部444に送信する。そして、ブレード状態判定部444が、芝の切断状態に基づいて、ブレードの状態を判定する。また、S1116において、芝状態判定部442は、芝の先端部分の特徴に基づいて、芝の生育状態を判定する。この場合において、芝認識部430が芝の形状を認識し、芝状態判定部442が、芝の形状に基づいて、芝の生育状態を判定してもよい。
その後、S1122において、パラメータ生成部446が、芝の切断状態、芝の生育状態及びブレードの状態の少なくとも1つに基づいて、各種のパラメータを生成する。この場合において、マップ生成部448が、パラメータ生成部446が生成したパラメータを利用して、マップ情報を生成してもよい。
一方、受信部310から取得した画像が芝刈り前の画像であると判断された場合(S1104のNOの場合)、S1116において、芝状態判定部442が、上記と同様の手順により芝の生育状態を判定し、S1122において、パラメータ生成部446が、上記と同様の手順により各種のパラメータを生成する。マップ生成部448が、パラメータ生成部446が生成したパラメータを利用して、マップ情報を生成してもよい。
S1122において生成された各種のパラメータは、命令生成部330に送信される。各種のパラメータは、マップ情報の形式で、命令生成部330に送信されてもよい。これにより、画像解析部320における処理は終了する。画像解析部320は、(i)受信部310から画像データを取得するたびに、一連の処理を実行してもよく、(ii)サブエリアごとに、予め定められた数の画像データについて、一連の処理を実行してもよい。
図12は、データテーブル1200の一例を概略的に示す。データテーブル1200は、芝の種類を判定するための判断基準の一例であってよい。本実施形態において、データテーブル1200は、芝の種類を判定するための考慮要素として、芝の色1202と、芝の硬さ1204とを利用する。データテーブル1200は、芝の色1202に関する条件及び芝の硬さ1204に関する条件と、判定結果1206とを対応付けて格納する。
本実施形態において、芝の色1202に関する条件は、「赤茶色」、「黄緑色」、「緑色」及び「濃い緑色」の4段階の評価区分を用いて評価される。芝の色は、画像解析部320の解析対象となる画像に基づいて、評価されてよい。本実施形態において、芝の硬さ1204に関する条件は、「硬い」、「普通」及び「軟らかい」の3段階の評価区分を用いて評価される。芝の硬さ1204は、例えば、作業用モータ626の電流値に基づいて、評価されてよい。各評価区分に区別するための閾値は、ユーザ又は管理者により決定されてもよく、機械学習により決定されてもよい。
図13は、データテーブル1300の一例を概略的に示す。データテーブル1300は、各種の判定処理において利用される判断基準を決定するための判断基準の一例であってよい。本実施形態において、データテーブル1300は、芝の種類1302と、芝状態の判定処理に利用される判断基準1304と、ブレード状態の判定処理に利用される判断基準1306とを対応付けて格納する。
図14は、データテーブル1400の一例を概略的に示す。データテーブル1400は、芝状態の判定処理において利用される判断基準の一例であってよい。本実施形態において、データテーブル1400は、芝状態を判定するための考慮要素として、切断箇所の形状1402と、切断箇所の色1404とを利用する。データテーブル1400は、切断箇所の形状1402に関する条件及び切断箇所の色1404に関する条件と、判定結果1406とを対応付けて格納する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。また、技術的に矛盾しない範囲において、特定の実施形態について説明した事項を、他の実施形態に適用することができる。例えば、図1の実施形態について説明した事項を、図2〜図14の実施形態に適用することができる。その様な変更または改良を加えた形態もまた、本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
本願明細書には、例えば、下記の事項が記載されている。
[項目A−1]
自律移動機能を有する作業機であって、
前記作業機の作業対象を切断する切断部と、
前記切断部が切断した前記作業対象を撮像する撮像部と、
前記撮像部が撮像した画像に基づいて、前記切断部の状態を判定する判定部と、
を備える、作業機。
[項目A−2]
前記判定部は、前記切断部の状態に関する判定結果に基づいて、前記切断部の保守又は点検の要否を判定する、
項目A−1に記載の作業機。
[項目A−3]
前記切断部の仕様に関する仕様情報を取得する仕様情報取得部をさらに備え、
前記判定部は、前記仕様情報取得部が取得した仕様情報と、前記撮像部が撮像した画像とに基づいて、前記切断部の状態を判定する、
項目A−1又は項目A−2に記載の作業機。
[項目A−4]
前記判定部の判定結果を、前記作業機のユーザに通知する通知部をさらに備える、
項目A−1から項目A−3までの何れか一項に記載の作業機。
[項目A−5]
前記撮像部が前記画像を撮像した位置を示す位置情報を取得する位置情報取得部をさらに備え、
前記判定部は、前記位置情報取得部が取得した位置情報と、当該位置情報により示される位置における判定結果を示す情報とを対応付けて出力する、
項目A−1から項目A−4までの何れか一項に記載の作業機。
[項目A−6]
前記判定部は、前記判定部の判定結果が予め定められた条件を満足する場合に、前記位置情報取得部が取得した位置情報と、当該位置情報により示される位置における前記判定部の判定結果を示す情報とを対応付けて出力する、
項目A−5に記載の作業機。
[項目A−7]
前記判定部の判定結果に基づいて、前記作業機の移動を制御する移動制御部をさらに備える、
項目A−1から項目A−6までの何れか一項に記載の作業機。
[項目A−8]
前記判定部の判定結果に基づいて、前記切断部の動作を制御する作業制御部をさらに備える、
項目A−1から項目A−7までの何れか一項に記載の作業機。
[項目A−9]
自律移動機能を有する作業機を制御する制御装置であって、
前記作業機は、
前記作業機の作業対象を切断する切断部と、
前記切断部が切断した前記作業対象を撮像する撮像部と、
を有し、
前記制御装置は、
前記撮像部が撮像した画像に基づいて、前記切断部の状態を判定する判定部と、
前記判定部の判定結果に基づいて、前記作業機を制御する制御部と、
を備える、
制御装置。
[項目A−10]
自律移動機能を有する作業機を制御するための制御用プログラムであって、
前記作業機は、
前記作業機の作業対象を切断する切断部と、
前記切断部が切断した前記作業対象を撮像する撮像部と、
を有し、
前記制御用プログラムは、コンピュータに、
前記撮像部が撮像した画像に基づいて、前記切断部の状態を判定する判定手順と、
前記判定手順の判定結果に基づいて、前記作業機を制御する制御手順と、
を実行させるためのプログラムである、
制御用プログラム。
[項目A−11]
前記作業機は、プロセッサをさらに有し、
前記コンピュータは、前記作業機の前記プロセッサである、
項目A−10に記載の制御用プログラム。
[項目B−1]
植物の画像の画像データを取得する画像取得部と、
前記画像取得部が取得した画像データに基づいて、(i)前記植物の形状及び(ii)前記植物の先端部分の少なくとも一方を認識する形態認識部と、
前記形態認識部が認識した前記植物の形状及び前記植物の先端部分の少なくとも一方の特徴に基づいて、(a)前記植物の培地の含水の度合い、(b)前記植物への給水の要否及び(c)前記植物への給水量の少なくとも1つを決定する決定部と、
を備える、情報処理装置。
[項目B−2]
前記決定部は、
前記形態認識部の認識結果に基づいて、前記植物の形状及び前記植物の先端部分の少なくとも一方の特徴を認識し、
前記特徴認識部が認識した特徴に基づいて、(a)前記植物の培地の含水の度合い、(b)前記植物への給水の要否及び(c)前記植物への給水量の少なくとも1つを決定する、
項目B−1に記載の情報処理装置。
[項目B−3]
前記画像が撮像された位置を示す位置情報を取得する位置情報取得部と、
(i)前記位置情報取得部が取得した位置情報と、(ii)前記形態認識部が認識した、前記植物の形状及び前記植物の先端部分の少なくとも一方に関する情報とを対応付けて格納する形態情報格納部と、
をさらに備え、
前記決定部は、前記形態情報格納部に格納された情報を学習データとして利用して、前記植物の形状及び前記植物の先端部分の少なくとも一方の特徴を認識する、
項目B−2に記載の情報処理装置。
[項目B−4]
前記画像が撮像された位置を示す位置情報を取得する位置情報取得部をさらに備え、
前記決定部は、前記位置情報取得部が取得した位置情報と、当該位置情報により示される位置における(a)前記植物の培地の含水の度合い、(b)前記植物への給水の要否及び(c)前記植物への給水量の少なくとも1つとを対応付けて出力する、
項目B−1又は項目B−2に記載の情報処理装置。
[項目B−5]
前記決定部は、(a)前記植物の培地の含水の度合い、(b)前記植物への給水の要否及び(c)前記植物への給水量の少なくとも1つが予め定められた条件を満足する場合に、前記位置情報取得部が取得した位置情報と、当該位置情報により示される位置における(a)前記植物の培地の含水の度合い、(b)前記植物への給水の要否及び(c)前記植物への給水量の少なくとも1つとを対応付けて出力する、
項目B−4に記載の情報処理装置。
[項目B−6]
前記決定部は、前記植物の培地の含水の度合いに基づいて、(i)前記植物への給水の要否及び(ii)給水量の少なくとも一方を決定する、
項目B−1から項目B−5までの何れか一項に記載の情報処理装置。
[項目B−7]
項目B−6に記載の情報処理装置と、
前記決定部の決定に基づいて、前記植物に水を供給する給水部と、
を備える、給水システム。
[項目B−8]
自律移動機能を有する作業機をさらに備え、
前記作業機は、前記植物を撮像する撮像部を有し、
前記情報処理装置の画像取得部は、前記作業機の前記撮像部が撮像した前記植物の画像の画像データを取得する、
項目B−7に記載の給水システム。
[項目B−9]
自律移動機能を有する作業機をさらに備え、
前記給水部は、前記作業機に配される、
項目B−7に記載の給水システム。
[項目B−10]
自律移動機能を有する作業機をさらに備え、
前記作業機は、前記植物を切断する切断部を備え、
前記情報処理装置の前記決定部は、前記切断部が切断した前記植物の切断箇所の特徴に基づいて、(a)前記植物の培地の含水の度合い、(b)前記植物への給水の要否及び(c)前記植物への給水量の少なくとも1つを決定する、
項目B−7に記載の給水システム。
[項目B−11]
項目B−1から項目B−6までの何れか一項に記載の情報処理装置と、
自律移動機能を有する作業機と、
を備え、
前記作業機は、前記植物を撮像する撮像部を有し、
前記情報処理装置の画像取得部は、前記作業機の前記撮像部が撮像した前記植物の画像の画像データを取得する、
情報処理システム。
[項目B−12]
項目B−1から項目B−6までの何れか一項に記載の情報処理装置と、
自律移動機能を有する作業機と、
を備え、
前記作業機は、前記植物を切断する切断部を備え、
前記情報処理装置の前記決定部は、前記切断部が切断した前記植物の切断箇所の特徴に基づいて、(a)前記植物の培地の含水の度合い、(b)前記植物への給水の要否及び(c)前記植物への給水量の少なくとも1つを決定する、
情報処理システム。
[項目B−13]
コンピュータを、項目B−1から項目B−6までの何れか一項に記載の情報処理装置として機能させるための、プログラム。
[項目C−1]
自律移動機能を有する作業機を制御する制御装置であって、
前記作業機の作業対象の画像の画像データを取得する画像取得部と、
前記画像取得部が取得した画像データに基づいて、(i)前記作業機の作業対象の種類、(ii)前記作業対象の数又は密度、(iii)前記作業対象の形状、及び、(iv)作業後の作業対象の外観の少なくとも1つに関する特徴を認識する特徴認識部と、
前記特徴認識部が認識した特徴に基づいて、(i)前記作業機の移動を制御するためのパラメータ、及び、(ii)前記作業機の作業を制御するためのパラメータの少なくとも一方を決定する制御パラメータ決定部と、
を備える、制御装置。
[項目C−2]
前記制御パラメータ決定部が決定したパラメータを、前記作業機に送信する送信部をさらに備える、
項目C−1に記載の制御装置。
[項目C−3]
前記作業機は、前記作業対象を切断する切断部を有し、
前記特徴認識部は、前記切断部が切断した前記作業対象の切断箇所の特徴を認識し、
前記制御装置は、前記特徴認識部が認識した、前記作業対象の切断箇所の特徴に基づいて、前記切断部の状態を判定する判定部をさらに備える、
項目C−1又は項目C−2に記載の制御装置。
[項目C−4]
前記制御パラメータ決定部は、前記判定部の判定結果に基づいて、前記パラメータを決定する、
項目C−3に記載の制御装置。
[項目C−5]
前記切断部は、前記作業対象を切断するための回転体を有し、
前記判定部は、前記切断部の切断性能を判定し、
前記制御パラメータ決定部は、前記判定部により判定された前記切断部の切断性能が予め定められた条件を満たさない場合には、前記切断部の切断性能が予め定められた条件を満たす場合と比較して、(i)前記作業機の移動速度が小さくなる、又は、(ii)前記回転体の回転速度が大きくなるように、前記パラメータを決定する、
項目C−3又は項目C−4に記載の制御装置。
[項目C−6]
前記作業機は、前記作業対象を撮像する撮像部を有し、
前記画像取得部は、前記作業機の前記撮像部が撮像した前記作業対象の画像の画像データを取得する、
項目C−1から項目C−5までの何れか一項に記載の制御装置。
[項目C−7]
自律移動機能を有する作業機であって、
項目C−1から項目C−5までの何れか一項に制御装置と、
前記作業対象を撮像する撮像部と、
を備え、
前記制御装置の前記画像取得部は、前記作業機の前記撮像部が撮像した前記作業対象の画像の画像データを取得する、
作業機。
[項目C−8]
コンピュータを、項目C−1から項目C−6までの何れか一項に記載の制御装置として機能させるための、プログラム。
10 通信ネットワーク
20 ユーザ端末
30 庭園
100 情報処理装置
110 画像取得部
120 形態認識部
130 決定部
200 庭園管理システム
210 管理サーバ
220 監視カメラ
230 芝刈機
240 散水装置
242 スプリンクラー
244 給水制御部
310 受信部
320 画像解析部
322 情報格納部
330 命令生成部
340 送信部
410 学習処理部
420 位置算出部
430 芝認識部
440 判定処理部
442 芝状態判定部
444 ブレード状態判定部
446 パラメータ生成部
448 マップ生成部
510 作業機情報格納部
520 学習データ格納部
530 学習モデル格納部
602 筐体
612 前輪
614 後輪
616 走行用モータ
620 作業ユニット
622 ブレードディスク
624 カッターブレード
626 作業用モータ
628 シャフト
630 位置調整部
640 バッテリユニット
650 ユーザインタフェース
660 撮像ユニット
670 センサユニット
680 制御ユニット
710 通信制御部
720 走行制御部
730 作業ユニット制御部
740 入出力制御部
902 給水栓
904 給水ライン
910 自動弁
920 通信制御部
930 開閉制御部
1002 貯水槽
1010 ポンプ
1030 ポンプ制御部
1200 データテーブル
1202 芝の色
1204 芝の硬さ
1206 判定結果
1300 データテーブル
1302 芝の種類
1304 判断基準
1306 判断基準
1400 データテーブル
1402 切断箇所の形状
1404 切断箇所の色
1406 判定結果

Claims (13)

  1. 植物の画像の画像データを取得する画像取得部と、
    前記画像取得部が取得した画像データに基づいて、(i)前記植物の形状及び(ii)前記植物の先端部分の少なくとも一方を認識する形態認識部と、
    前記形態認識部が認識した前記植物の形状及び前記植物の先端部分の少なくとも一方の特徴に基づいて、(a)前記植物の培地の含水の度合い、(b)前記植物への給水の要否及び(c)前記植物への給水量の少なくとも1つを決定する決定部と、
    を備える、情報処理装置。
  2. 前記決定部は、
    前記形態認識部の認識結果に基づいて、前記植物の形状及び前記植物の先端部分の少なくとも一方の特徴を認識し、
    認識された前記特徴に基づいて、(a)前記植物の培地の含水の度合い、(b)前記植物への給水の要否及び(c)前記植物への給水量の少なくとも1つを決定する、
    請求項1に記載の情報処理装置。
  3. 前記画像が撮像された位置を示す位置情報を取得する位置情報取得部と、
    (i)前記位置情報取得部が取得した位置情報と、(ii)前記形態認識部が認識した、前記植物の形状及び前記植物の先端部分の少なくとも一方に関する情報とを対応付けて格納する形態情報格納部と、
    をさらに備え、
    前記決定部は、前記形態情報格納部に格納された情報を学習データとして利用して、前記植物の形状及び前記植物の先端部分の少なくとも一方の特徴を認識する、
    請求項2に記載の情報処理装置。
  4. 前記画像が撮像された位置を示す位置情報を取得する位置情報取得部をさらに備え、
    前記決定部は、前記位置情報取得部が取得した位置情報と、当該位置情報により示される位置における(a)前記植物の培地の含水の度合い、(b)前記植物への給水の要否及び(c)前記植物への給水量の少なくとも1つとを対応付けて出力する、
    請求項1又は請求項2に記載の情報処理装置。
  5. 前記決定部は、(a)前記植物の培地の含水の度合い、(b)前記植物への給水の要否及び(c)前記植物への給水量の少なくとも1つが予め定められた条件を満足する場合に、前記位置情報取得部が取得した位置情報と、当該位置情報により示される位置における(a)前記植物の培地の含水の度合い、(b)前記植物への給水の要否及び(c)前記植物への給水量の少なくとも1つとを対応付けて出力する、
    請求項4に記載の情報処理装置。
  6. 前記決定部は、前記植物の培地の含水の度合いに基づいて、(i)前記植物への給水の要否及び(ii)給水量の少なくとも一方を決定する、
    請求項1から請求項5までの何れか一項に記載の情報処理装置。
  7. 請求項6に記載の情報処理装置と、
    前記決定部の決定に基づいて、前記植物に水を供給する給水部と、
    を備える、給水システム。
  8. 自律移動機能を有する作業機をさらに備え、
    前記作業機は、前記植物を撮像する撮像部を有し、
    前記情報処理装置の画像取得部は、前記作業機の前記撮像部が撮像した前記植物の画像の画像データを取得する、
    請求項7に記載の給水システム。
  9. 自律移動機能を有する作業機をさらに備え、
    前記給水部は、前記作業機に配される、
    請求項7に記載の給水システム。
  10. 自律移動機能を有する作業機をさらに備え、
    前記作業機は、前記植物を切断する切断部を備え、
    前記情報処理装置の前記決定部は、前記切断部が切断した前記植物の切断箇所の特徴に基づいて、(a)前記植物の培地の含水の度合い、(b)前記植物への給水の要否及び(c)前記植物への給水量の少なくとも1つを決定する、
    請求項7に記載の給水システム。
  11. 請求項1から請求項6までの何れか一項に記載の情報処理装置と、
    自律移動機能を有する作業機と、
    を備え、
    前記作業機は、前記植物を撮像する撮像部を有し、
    前記情報処理装置の画像取得部は、前記作業機の前記撮像部が撮像した前記植物の画像の画像データを取得する、
    情報処理システム。
  12. 請求項1から請求項6までの何れか一項に記載の情報処理装置と、
    自律移動機能を有する作業機と、
    を備え、
    前記作業機は、前記植物を切断する切断部を備え、
    前記情報処理装置の前記決定部は、前記切断部が切断した前記植物の切断箇所の特徴に基づいて、(a)前記植物の培地の含水の度合い、(b)前記植物への給水の要否及び(c)前記植物への給水量の少なくとも1つを決定する、
    情報処理システム。
  13. コンピュータを、請求項1から請求項6までの何れか一項に記載の情報処理装置として機能させるための、プログラム。
JP2016257003A 2016-12-28 2016-12-28 情報処理装置、給水システム、情報処理システム及びプログラム Active JP6635910B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016257003A JP6635910B2 (ja) 2016-12-28 2016-12-28 情報処理装置、給水システム、情報処理システム及びプログラム
EP17826325.7A EP3562298B1 (en) 2016-12-28 2017-12-14 Information processing device, water-supply system, information processing system and program
PCT/JP2017/045001 WO2018123630A1 (en) 2016-12-28 2017-12-14 Information processing device, water-supply system, information processing system and program
CN201780076341.9A CN110072382A (zh) 2016-12-28 2017-12-14 信息处理装置、供水系统、信息处理系统和程序
US16/455,752 US11301992B2 (en) 2016-12-28 2019-06-28 Information processing device, water-supply system, information processing system and non-transitory computer readable medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016257003A JP6635910B2 (ja) 2016-12-28 2016-12-28 情報処理装置、給水システム、情報処理システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2018108041A true JP2018108041A (ja) 2018-07-12
JP6635910B2 JP6635910B2 (ja) 2020-01-29

Family

ID=60943079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016257003A Active JP6635910B2 (ja) 2016-12-28 2016-12-28 情報処理装置、給水システム、情報処理システム及びプログラム

Country Status (5)

Country Link
US (1) US11301992B2 (ja)
EP (1) EP3562298B1 (ja)
JP (1) JP6635910B2 (ja)
CN (1) CN110072382A (ja)
WO (1) WO2018123630A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020125618A (ja) * 2019-02-04 2020-08-20 東京電力ホールディングス株式会社 情報処理方法、プログラム、取水制御システム及び学習済みモデルの生成方法
JPWO2020241005A1 (ja) * 2019-05-30 2020-12-03
JP2021153482A (ja) * 2020-03-27 2021-10-07 本田技研工業株式会社 情報提供装置、草刈り車両及び草刈り管理システム
KR20220154374A (ko) * 2021-05-13 2022-11-22 주식회사 광진기업 노지 스마트 팜에서 사용자 장치와 연동되어 관수를 제어하는 방법 및 장치
RU2784489C1 (ru) * 2019-05-30 2022-11-28 Аквасолюшн Корпорэйшн Вспомогательное устройство для выращивания

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020005317A1 (en) * 2018-06-26 2020-01-02 Just Greens, Llc Controlling plant growth conditions
WO2020090038A1 (ja) * 2018-10-31 2020-05-07 本田技研工業株式会社 自律式作業機
US10990875B2 (en) * 2018-11-28 2021-04-27 International Business Machines Corporation Neural network forecasting for tiered hydroponic natural farming configurations
US11151713B2 (en) * 2019-09-18 2021-10-19 Wipro Limited Method and system for detection of anomalies in surfaces
CN111316896B (zh) * 2020-04-17 2022-07-22 天津蓝迪科农业科技有限公司 一种精细化栽培技术的灌溉控制系统
CN113221723B (zh) * 2021-05-08 2024-04-09 余治梅 可溯源的自反馈学习城市植物工厂
CN115336459B (zh) * 2022-07-18 2023-12-29 深圳拓邦股份有限公司 枯草处理方法、系统、计算机可读介质及割草机器人

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008199902A (ja) * 2007-02-16 2008-09-04 Ehime Univ 植物栽培施設における植物栽培装置
US20100268390A1 (en) * 2009-04-21 2010-10-21 Noel Wayne Anderson Method for Providing an Application to Plants
CN102564593A (zh) * 2011-12-30 2012-07-11 河海大学常州校区 基于计算机视觉及物联网的植物生长状况监测系统
JP2016049102A (ja) * 2014-08-29 2016-04-11 株式会社リコー 圃場管理システム、圃場管理方法、プログラム
US20160371830A1 (en) * 2015-06-16 2016-12-22 Growtonix, LLC Autonomous plant growing systems

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2715874B2 (ja) * 1993-12-24 1998-02-18 井関農機株式会社 高圧液体注入装置
US8028470B2 (en) * 2009-04-21 2011-10-04 Deere & Company Robotic watering unit
EP2622425B1 (en) * 2010-10-01 2018-06-20 Husqvarna AB Method and system for guiding a robotic garden tool
WO2013096493A1 (en) * 2011-12-19 2013-06-27 Younis Saed G Remotely sensing and adapting irrigation system
JP2013223531A (ja) 2012-04-19 2013-10-31 Sharp Corp 自走式空気清浄機
US9658201B2 (en) * 2013-03-07 2017-05-23 Blue River Technology Inc. Method for automatic phenotype measurement and selection
KR101578809B1 (ko) * 2013-11-28 2015-12-18 전남대학교산학협력단 변량 시비시스템 및 이를 이용한 시비방법
EP2884364B1 (en) * 2013-12-12 2018-09-26 Hexagon Technology Center GmbH Autonomous gardening vehicle with camera
JP6365668B2 (ja) * 2014-07-16 2018-08-01 株式会社リコー 情報処理装置、機器、情報処理システム、制御信号の生産方法、プログラム
WO2016103071A1 (en) * 2014-12-23 2016-06-30 Husqvarna Ab Lawn monitoring and maintenance via a robotic vehicle
CN105988470A (zh) * 2015-02-15 2016-10-05 苏州宝时得电动工具有限公司 自动割草机
JP6129231B2 (ja) 2015-03-27 2017-05-17 本田技研工業株式会社 芝刈機
WO2017130249A1 (ja) * 2016-01-29 2017-08-03 パナソニックIpマネジメント株式会社 水分量観察装置、水分量観察方法及び栽培装置
CN105612909B (zh) * 2016-02-23 2019-02-05 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于视觉和多传感器融合的智能割草机器人控制系统
US20180035606A1 (en) * 2016-08-05 2018-02-08 Romello Burdoucci Smart Interactive and Autonomous Robotic Property Maintenance Apparatus, System, and Method
JP6726094B2 (ja) * 2016-12-28 2020-07-22 本田技研工業株式会社 制御装置、作業機及びプログラム
JP6687511B2 (ja) * 2016-12-28 2020-04-22 本田技研工業株式会社 制御装置、監視装置及び制御用プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008199902A (ja) * 2007-02-16 2008-09-04 Ehime Univ 植物栽培施設における植物栽培装置
US20100268390A1 (en) * 2009-04-21 2010-10-21 Noel Wayne Anderson Method for Providing an Application to Plants
CN102564593A (zh) * 2011-12-30 2012-07-11 河海大学常州校区 基于计算机视觉及物联网的植物生长状况监测系统
JP2016049102A (ja) * 2014-08-29 2016-04-11 株式会社リコー 圃場管理システム、圃場管理方法、プログラム
US20160371830A1 (en) * 2015-06-16 2016-12-22 Growtonix, LLC Autonomous plant growing systems

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7293687B2 (ja) 2019-02-04 2023-06-20 東京電力ホールディングス株式会社 情報処理方法、プログラム、取水制御システム及び学習済みモデルの生成方法
JP2020125618A (ja) * 2019-02-04 2020-08-20 東京電力ホールディングス株式会社 情報処理方法、プログラム、取水制御システム及び学習済みモデルの生成方法
JPWO2020241005A1 (ja) * 2019-05-30 2020-12-03
WO2020241005A1 (ja) * 2019-05-30 2020-12-03 株式会社アクアソリューション 栽培支援装置、及び栽培支援方法
CN113905609A (zh) * 2019-05-30 2022-01-07 株式会社水改质 栽培辅助装置以及栽培辅助方法
JP7112597B2 (ja) 2019-05-30 2022-08-03 株式会社アクアソリューション 栽培支援装置、及び栽培支援方法
TWI816031B (zh) * 2019-05-30 2023-09-21 日商艾科亞股份有限公司 栽培支援裝置以及栽培支援方法
RU2784489C1 (ru) * 2019-05-30 2022-11-28 Аквасолюшн Корпорэйшн Вспомогательное устройство для выращивания
CN113905609B (zh) * 2019-05-30 2023-01-03 株式会社水改质 栽培辅助装置以及栽培辅助方法
JP2021153482A (ja) * 2020-03-27 2021-10-07 本田技研工業株式会社 情報提供装置、草刈り車両及び草刈り管理システム
JP7433105B2 (ja) 2020-03-27 2024-02-19 本田技研工業株式会社 情報提供装置、草刈り車両及び草刈り管理システム
KR20220154374A (ko) * 2021-05-13 2022-11-22 주식회사 광진기업 노지 스마트 팜에서 사용자 장치와 연동되어 관수를 제어하는 방법 및 장치
KR102630942B1 (ko) * 2021-05-13 2024-01-30 주식회사 광진기업 노지 스마트 팜에서 사용자 장치와 연동되어 관수를 제어하는 방법 및 장치

Also Published As

Publication number Publication date
EP3562298A1 (en) 2019-11-06
WO2018123630A1 (en) 2018-07-05
EP3562298B1 (en) 2023-08-09
US20190333214A1 (en) 2019-10-31
US11301992B2 (en) 2022-04-12
JP6635910B2 (ja) 2020-01-29
CN110072382A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
JP6635910B2 (ja) 情報処理装置、給水システム、情報処理システム及びプログラム
JP6726094B2 (ja) 制御装置、作業機及びプログラム
JP6635909B2 (ja) 作業機、制御装置及び制御用プログラム
US10569875B2 (en) Using unmanned aerial vehicles (UAVs or drones) in forestry imaging and assessment applications
US10869432B2 (en) Lawn monitoring and maintenance via a robotic vehicle
JP6616378B2 (ja) 情報処理システム及びプログラム
EP3729945B1 (en) Control device, work machine and program
JP6560392B1 (ja) 制御装置、警備システム及びプログラム
JP6815557B2 (ja) 位置推定装置、移動体、位置推定方法及びプログラム
JP2014071704A (ja) 農作業情報管理装置及び農作業情報管理システム
EP3731053B1 (en) Management device, management system, moving body and program
US20210298229A1 (en) Information providing device, mowing vehicle and mowing management system
JP6564483B1 (ja) 照明制御システム、照明システム、作業機械、及びプログラム
US20200375098A1 (en) Information processing apparatus, information processing method, and computer readable storage medium
JP6616377B2 (ja) 情報処理システム及びプログラム
JP6616441B2 (ja) 移動制御システム、制御システム、作業機械、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191217

R150 Certificate of patent or registration of utility model

Ref document number: 6635910

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150