JP2019160676A - 照明制御システム、照明システム、作業機械、及びプログラム - Google Patents

照明制御システム、照明システム、作業機械、及びプログラム Download PDF

Info

Publication number
JP2019160676A
JP2019160676A JP2018047841A JP2018047841A JP2019160676A JP 2019160676 A JP2019160676 A JP 2019160676A JP 2018047841 A JP2018047841 A JP 2018047841A JP 2018047841 A JP2018047841 A JP 2018047841A JP 2019160676 A JP2019160676 A JP 2019160676A
Authority
JP
Japan
Prior art keywords
unit
illumination
lighting
imaging
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018047841A
Other languages
English (en)
Other versions
JP6564483B1 (ja
Inventor
秀樹 木通
Hideki Kidooshi
秀樹 木通
翔一朗 今泉
Shoichiro Imaizumi
翔一朗 今泉
友規 各務
Tomonori Kagami
友規 各務
久美子 清水
Kumiko Shimizu
久美子 清水
佳栄 前田
Yoshie Maeda
佳栄 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Research Institute Ltd
Original Assignee
Japan Research Institute Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Research Institute Ltd filed Critical Japan Research Institute Ltd
Priority to JP2018047841A priority Critical patent/JP6564483B1/ja
Application granted granted Critical
Publication of JP6564483B1 publication Critical patent/JP6564483B1/ja
Publication of JP2019160676A publication Critical patent/JP2019160676A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Guiding Agricultural Machines (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

【課題】 被写体に照射される光の具合によって、画像解析の精度が変動する。【解決手段】 1又は複数の照明装置を制御する照明制御システムにおいて、(i)撮像装置の撮像素子が露光されていない期間の少なくとも一部において、第1照明装置を点灯させ、(ii)撮像素子が露光されている期間において、第1照明装置を消灯させる照明制御部を備える。第1照明装置の単位時間当たりの点灯回数は、単位時間当たりの撮像装置のシャッター回数又は撮像装置が撮像する画像のフレーム数のn/m倍であってよい。【選択図】図6

Description

本発明は、照明制御システム、照明システム、作業機械、及びプログラムに関する。
近年、無人農業機械又はセンシング技術を活用して、農業を効率化することが検討されている。例えば、非特許文献1には、無人の小型除草ロボットが開示されている。非特許文献2には、センシング技術を活用した生育状態に合わせた追肥方法が開示されている。
[先行技術文献]
[非特許文献]
[非特許文献1] 近藤直ら、「畦畔除草ロボットの開発」、[on line][2016年8月12日検索]、インターネット<URL:http://www.aptech.kais.kyoto-u.ac.jp/activity/date/grass_cutter_robot.pdf>
[非特許文献2] 地方独立行政法人北海道立総合研究機構、試験研究成果一覧、「成績概要書(2006年1月作成)」[on line][2016年10月20日検索]、インターネット<URL:https://www.hro.or.jp/list/agricultural/center/kenkyuseika/gaiyosho/h18gaiyo/f5/2006508.pdf>
画像解析が実行される場合に、画像の被写体に照射された光の具合によって、画像解析の精度が変動する。
本発明の第1の態様においては、照明制御システムが提供される。上記の照明制御システムは、例えば、1又は複数の照明装置を制御する。上記の照明制御システムは、例えば、(i)撮像装置の撮像素子が露光されていない期間の少なくとも一部において、第1照明装置を点灯させ、(ii)撮像素子が露光されている期間において、第1照明装置を消灯させる照明制御部を備える。
上記の照明制御システムにおいて、第1照明装置の単位時間当たりの点灯回数は、単位時間当たりの撮像装置のシャッター回数又は撮像装置が撮像する画像のフレーム数のn/m倍(nは1以上の整数であり、mは、n以上の整数である。)であってよい。上記の照明制御システムにおいて、照明制御部は、照明装置の移動速度に基づいて、第1照明装置の単位時間当たりの点灯回数を決定してよい。
上記の照明制御システムにおいて、照明制御部は、(i)第1照明装置が第1周期で点灯する期間及び(ii)第1照明装置が連続して消灯する期間の少なくとも一方が周期的に繰り返されるように、第1照明装置を制御してよい。上記の照明制御システムにおいて、照明制御部は、撮像素子が露光されている期間において、第1照明装置とは異なる第2照明装置を点灯させてよい。上記の照明制御システムにおいて、第2照明装置は、予め定められた分光分布を有する色評価用の照明装置であってよい。
本発明の第2の態様においては、照明制御システムが提供される。上記の照明制御システムは、例えば、1又は複数の照明装置を制御する。上記の照明制御システムは、例えば、第1照明装置を周期的に点滅させる照明制御部を備える。上記の照明制御システムは、例えば、撮像装置の撮像素子が露光されている期間に第1照明装置が点灯する場合、第1照明装置の消灯時に撮像されるフレームを特定するフレーム特定部を備える。上記の照明制御システムは、第1照明装置の消灯時に撮像されたフレームを特定するための情報を生成する特定情報生成部を備えてよい。
第1の態様又は第2の態様に係る上記の照明制御システムは、1又は複数の照明装置が出射した光を観察する観察者の視界の範囲と、1又は複数の照明装置の位置との位置関係が予め定められた条件を満足するか否かを判定する判定部を備えてよい。上記の照明制御システムは、位置関係が予め定められた条件を満足しないと判定された場合に、音声メッセージを出力することを決定する音声メッセージ出力部を備えてよい。上記の照明制御システムにおいて、位置関係が予め定められた条件を満足すると判定された場合、照明制御部は、第1照明装置の点灯及び消灯を制御してよい。上記の照明制御システムにおいて、位置関係が予め定められた条件を満足しないと判定された場合、照明制御部は、第1照明装置を消灯させてよい。
第1の態様又は第2の態様に係る上記の照明制御システムは、1又は複数の照明装置が出射した光を観察する観察者からの指示であって、1又は複数の照明装置に、位置報知用の光を出射させるための指示を取得する指示取得部を備えてよい。上記の照明制御システムにおいて、照明制御部は、指示取得部が指示を取得場合と、指示取得部が指示を取得していない場合とで、位置報知用の光の出射態様が異なるように、第1照明装置を制御してよい。
本発明の第3の態様においては、照明制御システムが提供される。上記の照明制御システムは、例えば、1又は複数の照明装置を制御する。上記の照明制御システムは、例えば、(i)撮像装置の被写体、(ii)撮像装置及び(iii)第1照明装置の少なくとも1つの近傍の環境光を測定する測定部を備える。上記の照明制御システムは、例えば、測定部が測定した環境光の分光分布に基づいて、第1照明装置が出射する光の分光分布を決定する分光分布決定部を備える。
上記の照明制御システムは、測定部が測定した環境光及び第1照明装置が出射する光の光束に基づいて、被写体を照明する照明装置であって、第1照明装置とは異なる第2照明装置の光束を決定する光束決定部を備えてよい。上記の照明制御システムにおいて、第2照明装置は、予め定められた分光分布を有する色評価用の照明装置であってよい。
本発明の第4の態様においては、照明システムが提供される。上記の照明システムは、例えば、第1の態様、第2の態様又は第3の態様に係る照明制御システムを備える。上記の照明システムは、例えば、第1照明装置を備える。
本発明の第5の態様においては、作業機械が提供される。上記の作業機械は、例えば、上記の照明システムを備える。上記の作業機械は、例えば、自律移動装置を備える。
本発明の第6の態様においては、プログラムが提供される。上記のプログラムは、コンピュータを、上記の照明制御システムとして機能させるためのプログラムであってよい。上記のプログラムは、コンピュータに、上記の照明制御システムにおける情報処理を実行させるためのプログラムであってもよい。上記のプログラムを格納するコンピュータ可読媒体が提供されてもよい。コンピュータ可読媒体は、非一時的なコンピュータ可読媒体であってもよい。コンピュータ可読媒体は、コンピュータ可読記録媒体であってもよい。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
作業支援システム100のシステム構成の一例を概略的に示す。 農作業ロボット102のシステム構成の一例を概略的に示す。 撮像ユニット134の内部構成の一例を概略的に示す。 センサユニット210の内部構成の一例を概略的に示す。 制御ユニット220の内部構成の一例を概略的に示す。 撮像制御部520の内部構成の一例を概略的に示す。 制御テーブル700の一例を概略的に示す。 制御テーブル800の一例を概略的に示す。 制御テーブル900の一例を概略的に示す。 駆動制御部530の内部構成の一例を概略的に示す。 駆動制御部530における情報処理の一例を概略的に示す。 位置報知のための情報処理の一例を概略的に示す。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、図面において、同一または類似の部分には同一の参照番号を付して、重複する説明を省く場合がある。
[作業支援システム100の概要]
図1は、作業支援システム100のシステム構成の一例を概略的に示す。本実施形態において、作業支援システム100は、作業者12の作業を支援する。本実施形態においては、作業者12が、農産物30を栽培するための農作業を実施する場合を例として、作業支援システム100の詳細について説明する。しかしながら、作業支援システム100は、本実施形態に限定されない。他の実施形態において、作業者12は農作業以外の作業を実施してもよく、作業支援システム100は農作業以外の作業を支援してもよい。なお、農産物30としては、穀類、野菜、果物、茶、キノコ類又は菌糸類などが例示される。
本実施形態において、作業支援システム100は、1又は複数の農作業ロボット102と、管理サーバ150とを備える。作業支援システム100は、1又は複数の通信端末22をさらに備えてもよい。
本実施形態において、農作業ロボット102は、ベースユニット130と、移動ユニット132と、撮像ユニット134と、農作業ユニット138とを備える。撮像ユニット134は、照明部136を有してよい。農作業ロボット102は、複数の移動ユニット132を備えてもよい。農作業ロボット102は、複数の撮像ユニット134を備えてもよい。農作業ロボット102は、複数の農作業ユニット138を備えてもよい。撮像ユニット134は、複数の照明部136を有してもよい。
本実施形態において、1又は複数の撮像ユニット134が、農作業ロボット102に配される場合を例として、作業支援システム100の詳細について説明する。しかしながら、作業支援システム100は、本実施形態に限定されない。他の実施形態において、1又は複数の撮像ユニット134の少なくとも一部は、農産物30が栽培される圃場の任意の場所に設置されてよい。
本実施形態において、管理サーバ150は、要求受信部152と、要求実行部154と、情報格納部156とを備える。作業支援システム100の各部は、通信ネットワーク10を介して、相互に情報を送受してよい。農作業ロボット102は、移動制御システム、照明制御システム、照明システム、及び、作業機械の一例であってよい。撮像ユニット134は、撮像装置、及び、照明制御システムの一例であってよい。照明部136は、照明装置の一例であってよい。管理サーバ150は、移動制御システム、及び、照明制御システムの一例であってよい。
[作業支援システム100の各部の概要]
本実施形態において、通信ネットワーク10は、有線通信の伝送路であってもよく、無線通信の伝送路であってもよく、無線通信の伝送路及び有線通信の伝送路の組み合わせであってもよい。通信ネットワーク10は、無線パケット通信網、インターネット、P2Pネットワーク、専用回線、VPN、電力線通信回線などを含んでもよい。
通信ネットワーク10は、(i)携帯電話回線網などの移動体通信網を含んでもよく、(ii)無線MAN(例えば、WiMAX(登録商標)である。)、無線LAN(例えば、WiFi(登録商標)である。)、Bluetooth(登録商標)、Zigbee(登録商標)、NFC(Near Field Communication)などの無線通信網を含んでもよい。無線LAN、Bluetooth(登録商標)、Zigbee(登録商標)、及び、NFCは、近距離無線通信の一例であってもよい。
本実施形態において、通信端末22は、通信ネットワーク10を介して、農作業ロボット102との間で情報を送受する。通信端末22は、通信ネットワーク10を介して、管理サーバ150との間で情報を送受してもよい。通信端末22は、作業者12が、農作業ロボット102を操作する場合におけるユーザインタフェースとして機能してもよい。通信端末22は、農作業ロボット102による作業者12のユーザ認証処理に利用されてもよい。通信端末22は、作業者12が、管理サーバ150にアクセスする場合におけるユーザインタフェースとして機能してもよい。通信端末22は、管理サーバ150による作業者12のユーザ認証処理に利用されてもよい。
通信端末22は、(i)プロセッサ(例えば、CPU、GPUなどである。)、ROM、RAM、通信インタフェースなどを有するデータ処理装置と、(ii)キーボード、タッチパネル、カメラ、マイク、各種センサ、GPS受信機、音声認識装置、画像認識装置、ジェスチャ認識装置などの入力装置と、(iii)表示装置、プリンタ、スピーカ、超音波出力装置、振動出力装置などの出力装置と、(iv)メモリ、HDDなどの記憶装置(外部記憶装置を含む。)とを備えてよい。通信端末22としては、パーソナルコンピュータ、携帯端末などが例示される。携帯端末としては、携帯電話、スマートフォン、PDA、タブレット、ノートブック・コンピュータ又はラップトップ・コンピュータ、ウエアラブル・コンピュータなどが例示される。
本実施形態において、農作業ロボット102は、任意の作業を実施する作業機械であってよい。農作業ロボット102は、例えば、各種の農作業、監視作業などを実施する。農作業ロボット102は、固定式であってもよく、移動式であってもよい。
農作業ロボット102は、(i)自律走行機能又は自律航行機能を有してもよく、(ii)遠隔操作により操縦されてもよく、(iii)農作業ロボット102に乗り込んだ作業者により操縦されてもよい。農作業ロボット102は、自律型のロボットであることが好ましい。一実施形態において、農作業ロボット102は、任意の測位技術を利用して、少なくとも圃場の境界内を自律移動する。他の実施形態において、農作業ロボット102は、農作業を自律制御により実行する。これにより、ユーザの手間を大きく省略することができる。
農作業ロボット102は、小型のロボットであってよい。例えば、農作業ロボット102の1台当たりの体積は、1m以下であってよく、0.5m以下であってよく、0.25m以下であってもよい。これにより、圃場内を自由に移動することができる。また、人間では難しいアングルからでも農産物30を監視することができる。
農作業ロボット102は、農作業ロボット102に取り付けられた1又は複数のユニットを利用して、各種の作業を実施することができる。例えば、農産物30を生産するためには、土壌のサンプリング、土壌の分析、施肥、畝立、種蒔き又は植え付け、圃場の監視、害虫駆除、除草、間引き又は摘要、追肥、収穫時期の判断、収穫などの作業が発生する。農産物30を生産するための作業は、農作業と称される場合がある。農作業は、作業の一例であってよい。土壌は、農産物30の培地の一例であってよい。培地は、農産物30の周辺環境の一例であってよい。
本実施形態において、管理サーバ150は、1以上の作業者12のそれぞれについて、農産物30の生産に関する情報を管理する。一実施形態において、管理サーバ150は、各作業者の農作業の実施計画及び実績を管理する。他の実施形態において、管理サーバ150は、各作業者の農産物30の生育状態を管理する。
管理サーバ150は、各作業者の通信端末22、農作業ロボット102、圃場の内部又は圃場の周辺に設置された各種のセンサなどから、農作業に関する情報、農産物30の生育状態に関する情報などを収集してよい。例えば、管理サーバ150は、1又は複数の撮像ユニット134が撮像した画像のデータを収集する。管理サーバ150は、作業者12、農作業ロボット102及び農産物30の少なくとも1つが撮像された画像のデータを収集してよい。管理サーバ150は、収取された画像のデータを、当該画像が撮像された位置及び時刻を示す情報と対応づけて格納してよい。
管理サーバ150は、収集された画像のデータを解析して、農作業の実施状況、農産物30の生育状態、農産物30の周辺環境の状態などを判定してよい。画像を解析する場合、画像が撮像された時の照明の状態が、当該画像の解析精度に影響を与えることがある。画像の解析精度を向上させる手法としては、(i)予め定められた分光分布を有する光を出射する、(ii)色評価用の照明装置を使用する、(iii)色見本と同時に被写体を撮像するなどの手法が考えられる。
しかしながら、例えば、農産物30が屋外で栽培されている場合には、撮像時刻、撮像時の天候などにより、環境光の波長分布が変動する。そのため、色評価用の照明装置が使用されたとしても、解析精度の向上には限界がある。(i)農産物30を夜間に撮像したり、(ii)遮光部材を用いて農産物30に到達する環境光の量が削減された状態で、農産物30を撮像したり、(iii)暗室内で農産物30を撮像したりすることで、上記の課題が解決され得る。しかしながら、例えば、夜間の圃場内又は暗室内においては、作業者12などが農作業ロボット102の位置を把握することができるように、農作業ロボット102は、位置報知用の照明装置を点灯することが好ましい。一方で、位置報知用の照明装置が点灯されると、解析精度が低下する。
また、被写体と光源との間に物体が存在する場合、当該物体の影が被写体に写り込む。例えば、農産物30を撮像すると、農産物30の表面の少なくとも一部に、農産物30の周辺の葉、茎などの影が写り込む。そのため、色評価用の照明装置、色見本などが使用されたとしても、解析精度の向上には限界がある。
さらに他の実施形態において、管理サーバ150は、作業者12の農作業の実績データ及び農産物30の生育状態の実績データの少なくとも一方に基づいて、翌日以降の農作業の実施計画を作成してもよい。例えば、管理サーバ150は、作業者12の農作業の実績データと、農産物30の生育状態の実績データとに基づいて、作業者12の農産物30の生育状態をシミュレーションする。管理サーバ150は、シミュレーション結果に基づいて、翌日以降の農作業の実施計画を作成する。管理サーバ150は、(i)今後の気象予報、(ii)農産物30の供給量及び市場価格の予測値などに基づいて、作業者12の収益が最大となるように、翌日以降の実施計画を作成してよい。
農産物30の生育状態としては、農産物30の生育ステージ、農産物30の生育状況などが例示される。農産物30の生育状況に関する情報は、農産物30の生育具合を、生育具合に関する任意の基準と比較した場合の評価を示す情報であってもよい。評価は、連続的な数値により表されてもよく、段階的な区分により表されてもよい。段階的な区分による評価としては、2段階評価、3段階評価、5段階評価、10段階評価などが例示される。各区分は、記号又は文字により区別されてもよく、数字により区別されてもよい。
農産物30の周辺環境の状態を示す情報は、農産物30が栽培されている圃場の土壌に関する情報、農産物30が栽培されている圃場を含むエリアの気象情報などが例示される。管理サーバ150は、各種の気象データを配信する外部の情報配信装置から、上記の気象情報を取得してもよい。気象データは、過去の気象に関する情報であってもよく、将来の気象予測に関する情報であってもよい。
本実施形態において、要求受信部152は、農作業ロボット102又は通信端末22からの要求を受信する。要求実行部154は、要求受信部152が受信した要求に関連する情報処理を実行して、当該要求の送信元に上記の処理の実行結果を送信する。情報格納部156は、管理サーバ150がサービスを提供するために必要となる様々な種類の情報を格納する。例えば、情報格納部156は、気象情報、過去の生産実績のデータなどを格納する。情報格納部156は、農産物の供給量、市場価格などを予測するために必要となる情報を格納してもよい。
[作業支援システム100の各部の具体的な構成]
作業支援システム100の各部は、ハードウェアにより実現されてもよく、ソフトウエアにより実現されてもよく、ハードウェア及びソフトウエアにより実現されてもよい。作業支援システム100の各部は、その少なくとも一部が、単一のサーバによって実現されてもよく、複数のサーバによって実現されてもよい。作業支援システム100の各部は、その少なくとも一部が、仮想マシン上又はクラウドシステム上で実現されてもよい。作業支援システム100の各部は、その少なくとも一部が、パーソナルコンピュータ又は携帯端末によって実現されてもよい。携帯端末としては、携帯電話、スマートフォン、PDA、タブレット、ノートブック・コンピュータ又はラップトップ・コンピュータ、ウエアラブル・コンピュータなどが例示される。作業支援システム100の各部は、ブロックチェーンなどの分散型台帳技術又は分散型ネットワークを利用して、情報を格納してもよい。
作業支援システム100を構成する構成要素の少なくとも一部がソフトウエアにより実現される場合、当該ソフトウエアにより実現される構成要素は、一般的な構成の情報処理装置において、当該構成要素に関する動作を規定したソフトウエア又はプログラムを起動することにより実現されてよい。上記の一般的な構成の情報処理装置は、(i)CPU、GPUなどのプロセッサ、ROM、RAM、通信インタフェースなどを有するデータ処理装置と、(ii)キーボード、ポインティングデバイス、タッチパネル、カメラ、音声入力装置、ジェスチャ入力装置、各種センサ、GPS受信機などの入力装置と、(iii)表示装置、音声出力装置、振動装置などの出力装置と、(iv)メモリ、HDD、SSDなどの記憶装置(外部記憶装置を含む。)とを備えてよい。
上記の一般的な構成の情報処理装置において、上記のデータ処理装置又は記憶装置は、上記のソフトウエア又はプログラムを記憶してよい。上記のソフトウエア又はプログラムは、プロセッサによって実行されることにより、上記の情報処理装置に、当該ソフトウエア又はプログラムによって規定された動作を実行させる。上記のソフトウエア又はプログラムは、非一時的なコンピュータ可読記録媒体に格納されていてもよい。上記のソフトウエア又はプログラムは、コンピュータを、作業支援システム100又はその一部として機能させるためのプログラムであってよい。上記のソフトウエア又はプログラムは、コンピュータに、作業支援システム100又はその一部における情報処理を実行させるためのプログラムであってよい。
[農作業ロボット102の各部の説明]
図2は、農作業ロボット102のシステム構成の一例を概略的に示す。図1に関連して説明したとおり、本実施形態において、農作業ロボット102は、ベースユニット130と、移動ユニット132と、撮像ユニット134と、照明部136、農作業ユニット138とを備える。
図2に示されるとおり、本実施形態において、農作業ロボット102は、センサユニット210と、制御ユニット220と、電源ユニット230と、制振ユニット240と、バランス調整ユニット250とを備える。
農作業ロボット102は、複数のセンサユニット210を備えてもよい。農作業ロボット102は、複数の制御ユニット220を備えてもよい。農作業ロボット102は、複数の電源ユニット230を備えてもよい。農作業ロボット102は、複数の制振ユニット240を備えてもよい。農作業ロボット102は、複数のバランス調整ユニット250を備えてもよい。
本実施形態において、ベースユニット130は、移動ユニット132、撮像ユニット134、農作業ユニット138、センサユニット210、制御ユニット220、電源ユニット230、制振ユニット240、及び、バランス調整ユニット250を保持する。本実施形態において、ベースユニット130は、移動ユニット132、撮像ユニット134、農作業ユニット138、センサユニット210、制振ユニット240及びバランス調整ユニット250の少なくとも1つを着脱可能に保持する。
これにより、農作業ロボット102は、複数の異なる種類の作業に対応することができる。移動ユニット132、撮像ユニット134、農作業ユニット138、センサユニット210、制振ユニット240及びバランス調整ユニット250は、ベースユニット130に対して着脱可能な、農作業用のアタッチメントの一例であってよい。
本実施形態において、ベースユニット130は、制御ユニット220及び電源ユニット230を有する。制御ユニット220及び電源ユニット230は、ベースユニット130に内蔵されてもよい。制御ユニット220及び電源ユニット230の少なくとも一方は、ベースユニット130に着脱可能に配されてもよい。一実施形態において、制御ユニット220及び電源ユニット230の少なくとも一方は、ベースユニット130の内部に着脱可能に配される。他の実施形態において、制御ユニット220及び電源ユニット230の少なくとも一方は、ベースユニット130の外部に着脱可能に配される。制御ユニット220及び電源ユニット230は、ベースユニット130に対して着脱可能な、農作業用のアタッチメントの一例であってよい。
本実施形態において、移動ユニット132は、農作業ロボット102を移動させる。移動ユニット132の動力源は、電動機であってもよく、内燃機関であってもよく、蒸気機関であってもよい。例えば、移動ユニット132は、電源ユニット230から供給された電力を動力に変換して、農作業ロボット102を移動させる。本実施形態において、移動ユニット132は、電源ユニット230から供給された電力を利用して動力を発生させる動力源を内蔵してもよい。動力源としては、モータ、アクチュエータなどが例示される。
一実施形態において、移動ユニット132は、陸上で移動するための車輪と、当該車輪を駆動する動力源とを備える。他の実施形態において、移動ユニット132は、陸上で移動するための無限軌道と、当該無限軌道を駆動する動力源とを備える。さらに他の実施形態において、移動ユニット132は、水上又は水中で移動するためのスクリューと、当該スクリューを駆動する動力源とを備えてよい。移動ユニット132は、浮力を得るための浮力材をさらに備えてもよい。さらに他の実施形態において、移動ユニット132は、空中で移動するためのプロペラと、当該プロペラを駆動する動力源とを備えてよい。移動ユニット132は、空中に浮遊するためのバルーン又は気嚢をさらに備えてもよい。
移動ユニット132は、農作業ロボット102が停止状態から移動状態に移行する場合に生じ得る始動ショックを軽減するための機構を有してもよい。例えば、移動ユニット132は、可変トルクリアクトル始動器、又は、多段式のトルクリアクトルを有する。これにより、移動ユニット132は、初期加速動作において、始動トルク(初動トルクと称されル場合がある。)を小さくし、トルクを徐々に大きくしていくことができる。移動ユニット132は、移動ユニット132は、農作業ロボット102が停止状態から移動状態に移行する時に、始動ショックを軽減するための制御を実行してよい。例えば、移動ユニット132は、初期加速動作において、トルクが徐々に大きくなるように、動力源を動作させてよい。
本実施形態において、撮像ユニット134は、各種の被写体を撮像する。例えば、撮像ユニット134は、(i)作業者12、(ii)農作業ロボット102、(iii)農産物30、及び、(iv)農産物30の周辺環境の少なくとも1つを撮像する。農産物30の周辺環境としては、圃場の内部又は圃場の周辺が例示される。撮像ユニット134は、農産物30の周辺環境として、農産物30が生育している位置の土壌を撮像してよい。
一実施形態において、撮像ユニット134は、ベースユニット130の外部に脱着可能に配される。他の実施形態において、撮像ユニット134は、他のユニットに配される。例えば、撮像ユニット134は、農作業ユニット138に組み込まれる。撮像ユニット134は、制御ユニット220に組み込まれてもよい。
撮像ユニット134は、ベースユニット130の進行方向前方に配されてもよく、ベースユニット130の進行方向後方に配されてもよい。撮像ユニット134は、農作業ロボット102の側面に配されてもよい。撮像ユニット134は、ベースユニット130の上面に配されてもよく、ベースユニット130の下面に配されてもよい。
農作業ロボット102の同一の面に、単一の撮像ユニット134が配されてもよく、複数の撮像ユニット134が配されてもよい。農作業ロボット102の複数の面のうちの少なくとも1つのそれぞれに、1又は複数の撮像ユニット134が配されてもよい。
本実施形態において、撮像ユニット134は、静止画像及び動画像の少なくとも一方を撮像する。撮像ユニット134は、動画像を撮像できることが好ましい。撮像ユニット134は、可視光カメラであってもよく、赤外線カメラであってもよい。
撮像ユニット134は、マニピュレータと、当該マニピュレータの先端に取り付けられた撮像装置とを有してもよい。マニピュレータは、電源ユニット230から供給された電力を利用して、上記の撮像装置を任意の位置及び姿勢に配することができる。
照明部136は、光を出射する。一実施形態において、主に撮像ユニット134の被写体を照明するための光を出射する他の実施形態において、主に農作業ロボット102の位置を報知するための光を出射する。照明部136は、1又は複数の照明装置を有してよい。照明部136は、(i)撮像用の照明装置と、位置報知用の照明装置とを有してもよく、(ii)1台の照明装置により、撮像用の光と、位置報知用の光とを出射してもよい。照明部136は、撮像用の光の一部を、位置報知用の光として利用してもよい。
照明部136は、マニピュレータと、当該マニピュレータの先端に取り付けられた照明装置とを有してもよい。マニピュレータは、電源ユニット230から供給された電力を利用して、上記の照明装置を任意の位置及び姿勢に配することができる。
本実施形態において、農作業ユニット138は、農作業用のアタッチメントであってよい。例えば、用途に応じた農作業ユニット138が、ベースユニット130に取り付けられる。これにより、農作業ロボット102は、複数の異なる種類の農作業を実施することができる。
本実施形態において、農作業ユニット138は、1又は複数の農作業に特化したユニットであってよい。農作業ユニット138としては、害虫駆除用の薬液散布装置、肥料を散布する肥料散布装置、ガスを散布するガス散布装置、畝立て装置、苗投下装置、種蒔き装置、耕うん装置、不要な枝葉を摘要するための治具を有するマニピュレータ、農産物を摘果するための治具を有するマニピュレータ、草刈り装置(例えば、放置された田畑用の草刈り装置である。)、散水装置、鳥獣威嚇装置(例えば、音声、光により鳥獣を威嚇する装置である。)、間引き装置、摘花装置、果樹摘果装置、袋掛け装置(例えば、果樹用の袋掛け装置である。)などが例示される。
本実施形態において、農作業ユニット138は、ベースユニット130に着脱可能に保持される。農作業ユニット138は、電源ユニット230から供給された電力を利用して、農作業ユニット138を駆動するための動力を発生させる動力源を内蔵してもよい。動力源としては、モータ、アクチュエータなどが例示される。
本実施形態において、センサユニット210は、各種の物理量を測定する。例えば、センサユニット210は、作業者12に関する物理量、農作業ロボット102に関する物理量、農産物30に関する物理量、及び、農産物30の周辺環境に関する物理量の少なくとも1つを測定する。これにより、農産物30の生育環境に関する情報を取得することができる。
農産物30に関する物理量としては、農産物30の色、形状、大きさ、組成、特定成分の含有量、硬度などが例示される。農産物30の周辺環境に関する物理量としては、土壌に関する情報、大気に関する情報、光の強度に関する情報などが例示される。土壌に関する情報としては、pH、温度、含水率、粒度分布、硬さ、並びに、土壌に含まれる成分、バクテリア及びウイルスが例示される。土壌に含まれる成分としては、有機物(炭素)、窒素、リン、カリウム、マグネシウム、カルシウム、硫黄、鉄、マンガン、ホウ素、亜鉛、モリブデン、銅、塩素などが例示される。大気に関する情報としては、気温、気圧、湿度、二酸化炭素濃度、窒素濃度、酸素濃度、風向き及び風量などが例示される。
一実施形態において、センサユニット210は、ベースユニット130の外部に脱着可能に配される。他の実施形態において、センサユニット210は、他のユニットに配される。例えば、センサユニット210は、農作業ユニット138に組み込まれる。センサユニット210は、制御ユニット220に組み込まれてもよい。
センサユニット210の測定結果は、農作業ロボット102の記憶装置に記憶されてもよく、管理サーバ150に送信されてもよい。農作業ロボット102は、センサユニット210の測定結果を解析し、解析結果を管理サーバ150に送信してもよい。
本実施形態において、制御ユニット220は、農作業ロボット102を制御する。一実施形態において、制御ユニット220は、各ユニットと通信し、当該ユニットの種類に応じて、当該ユニットの動作を制御する。制御ユニット220は、複数のユニットの組み合わせに応じて、1又は複数のユニットの動作を制御してもよい。
例えば、制御ユニット220は、移動ユニット132、撮像ユニット134、農作業ユニット138、センサユニット210、電源ユニット230、制振ユニット240及びバランス調整ユニット250の少なくとも1つと通信する。通信方式は、有線通信であってもよく、無線通信であってもよい。制御ユニット220及び他のユニットの間の通信方式が有線通信である場合、ベースユニット130は、制御ユニット220と他のユニットとの間で情報を伝送する通信経路(バスと称される場合がある。)を有してよい。
他の実施形態において、制御ユニット220は、管理サーバ150と通信し、農作業ロボット102に関する情報を管理サーバ150に送信する。例えば、制御ユニット220は、農作業ロボット102の位置情報を取得し、当該位置情報を管理サーバ150に送信する。他の例によれば、制御ユニット220は、農作業ロボット102の位置情報と、当該位置情報により示される位置においてセンサユニット210が取得した情報とを対応付けて、管理サーバ150に送信する。
位置情報は、農作業ロボット102の位置を示す情報であればよく、位置情報の内容及び取得方法は特に限定されない。制御ユニット220は、任意の自己位置推定方法により、農作業ロボット102の位置を特定してよい。制御ユニット220は、複数の自己位置推定方法の組み合わせにより、農作業ロボット102の位置を特定してよい。
制御ユニット220は、GPS信号を受信して、当該GPS信号に基づいて、農作業ロボット102の位置を特定してよい。制御ユニット220は、農地の周辺に設置されたビーコン発信機からのビーコン信号を受信して、当該ビーコン信号に基づいて、農作業ロボット102の位置を特定してよい。農作業ロボット102の位置は、無線電波の電波強度に基づいて定められてもよい。制御ユニット220は、撮像ユニット134が撮像した農作業ロボット102の周囲の画像を解析して、位置が既知の複数のランドマークと農作業ロボット102とがなす角から、農作業ロボット102の位置を特定してもよい。制御ユニット220は、(i)車輪の回転数若しくは回転角に基づいて、又は、(ii)車輪の回転数若しくは回転角と、ジャイロセンサ若しくは加速度センサの出力とに基づいて、農作業ロボット102の位置を特定してもよい。
制御ユニット220は、管理サーバ150から、農作業ロボット102を制御するための情報を取得してもよい。農作業ロボット102を制御するための情報は、農作業ロボット102が今から実施すべき作業に関する情報であってもよい。制御ユニット220は、管理サーバ150から取得した情報に基づいて、当該情報に関連するユニットの動作を制御してもよい。
本実施形態において、電源ユニット230は、移動ユニット132、撮像ユニット134、農作業ユニット138、センサユニット210、制御ユニット220、制振ユニット240及びバランス調整ユニット250の少なくとも1つに電力を供給する。電源ユニット230は、ベースユニット130に着脱可能に配されてよい。これにより、農作業ロボット102は、作業に応じた重量及び容量の電源ユニット230を実装することができる。電源ユニット230は、バランス調整ユニット250として利用されてもよい。
本実施形態において、制振ユニット240は、振動を制御する。例えば、制振ユニット240は、撮像ユニット134、センサユニット210及び農作業ユニット138の少なくとも1つの振動を制御する。制振ユニット240は、制御ユニット220からの命令にしたがって、振動を制御してよい。制振ユニット240は、電源ユニット230から供給された電力を利用して、制振ユニット240を駆動するための動力を発生させる動力源を有してよい。動力源としては、モータ、アクチュエータなどが例示される。
本実施形態において、バランス調整ユニット250は、重りを有する。バランス調整ユニット250は、ベースユニット130に着脱可能に保持される。ベースユニット130に装着されるユニットの重さ及びその重心の位置によっては、農作業ロボット102の重量バランスが悪くなり、農作業ロボット102が不安定になる。そこで、ベースユニット130の適切な位置にバランス調整ユニット250を装着することにより、農作業ロボット102の重量バランスを調整することができる。
バランス調整ユニット250は、先端に重りを有するマニピュレータであってもよい。マニピュレータが重りとベースユニット130との相対位置を変化させることにより、農作業ロボット102の重心の位置を変化させることができる。マニピュレータは動力源の一例であってよい。
図3は、撮像ユニット134の内部構成の一例を概略的に示す。本実施形態において、撮像ユニット134は、照明部136と、撮像部320と、粒子噴射部330とを備える。本実施形態において、照明部136は、光特性可変照明312と、色評価用照明314とを備える。
光特性可変照明312は、第1照明装置の一例であってよい。色評価用照明314は、第2照明装置の一例であってよい。撮像部320は、撮像装置の一例であってよい。
本実施形態において、光特性可変照明312は、出射される光の特性を変更することができる。光特性可変照明312は、指向性を有する光を出射してもよい。光の特性としては、分光分布に関する特性、指向性に関する特性などが例示される。分光分布に関する特性としては、ピーク波長、ドミナント波長、色度、スペクトル半値幅などが例示される。指向性に関する特性としては、指向半値角が例示される。
光特性可変照明312は、制御ユニット220からの制御信号を受信してよい。光特性可変照明312は、制御ユニット220からの制御信号により示されるタイミングで光を出射してよい。光特性可変照明312は、制御ユニット220からの制御信号により示される光束の光を出射してよい。光特性可変照明312は、制御ユニット220からの制御信号により示される分光分布の光を出射してよい。光特性可変照明312は、制御ユニット220からの制御信号により示される方向に光を出射してよい。
本実施形態において、色評価用照明314は、予め定められた分光分布を有する光を出射する。色評価用照明314は、予め定められた指向性を有する光を出射してよい。色評価用照明314は、色評価用の照明のための規格又は基準を満足するように構成された色評価用の照明装置であってよい。色評価用照明314は、制御ユニット220からの制御信号を受信する。色評価用照明314は、制御ユニット220からの制御信号により示されるタイミングで光を出射する。色評価用照明314は、制御ユニット220からの制御信号により示される光束の光を出射する。制御ユニット220からの制御信号により示される方向に光を出射する。
本実施形態において、撮像部320は、画像を撮像する。撮像部320は、制御ユニット220からの制御信号を受信する。撮像部320は、制御ユニット220からの制御信号により示されるタイミングでシャッターの動作を制御する。撮像部320は、制御ユニット220からの制御信号により示されるフレームレートの画像を撮像する。制御ユニット220からの制御信号により示される被写体の画像を撮像する。
本実施形態において、粒子噴射部330は、粒子を噴射する。粒子は、光を散乱する物質であればよく、固体であってもよく、液体であってもよい。粒子としては、ドライアイス、水、農薬、肥料、土などが例示される。粒子噴射部330は、冷気を送風することにより、空気中の水分に由来する水滴を噴射してもよい。
粒子噴射部330は、光特性可変照明312から出射される光の光路の少なくとも一部に向かって、粒子を噴射してよい。これにより、光特性可変照明312から出射された光が、粒子噴射部330から噴射された粒子により散乱される。その結果、農作業ロボット102は、効率よく自己位置を報知することができる。
粒子噴射部330は、上方に向かって粒子を噴射してよい。これにより、圃場の周辺における光害の発生を抑制することができる。特に、光特性可変照明312が指向性を有する光を上方に出射する場合、光害の発生を大きく抑制することができる。
図4は、センサユニット210の内部構成の一例を概略的に示す。本実施形態において、センサユニット210は、外界センサ410と、内界センサ420とを備える。本実施形態において、外界センサ410は、測距部412と、接触検知部414と、環境光測定部416とを有する。本実施形態において、内界センサ420は、速度計422と、加速度計424と、電流計426とを有する。
なお、センサユニット210は本実施形態に限定されない。他の実施形態において、外界センサ410及び内界センサ420は、本実施形態には示されていない種類のセンサを備えてもよく、複数個の同種のセンサを有してもよい。外界センサ410の他の例としては、GPS信号受信機、方位センサなどが例示される。内界センサ420の他の例としては、(i)ジャイロセンサ、(ii)車輪の回転数又は回転角を測定するロータリエンコーダなどが例示される。
環境光測定部416は、測定部の一例であってよい。測距部412及び接触検知部414は、接触検知部の一例であってよい。
本実施形態において、外界センサ410は、農作業ロボット102の外部の情報を取得する。外界センサ410は、取得された情報を、他のユニットに送信してよい。例えば、外界センサ410は、取得された情報を、制御ユニット220に送信する。
本実施形態において、環境光測定部416は、環境光に関する情報を取得する。例えば、環境光測定部416は、環境光の分光分布に関する情報を取得する。環境光測定部416は、環境光の光束に関する情報を取得してもよい。
環境光測定部416は、(i)撮像部320の被写体、(ii)撮像部320及び(iii)光特性可変照明312の少なくとも1つの近傍の環境光を測定してよい。環境光測定部416は、(i)撮像部320の被写体、(ii)撮像部320、(iii)光特性可変照明312及び(iv)色評価用照明314の少なくとも1つの近傍の環境光を測定してもよい。
本実施形態において、測距部412は、農作業ロボット102と、他の物体との距離を測定する。一実施形態において、測距部412は、撮像部320が撮像した画像を解析して、上記の距離を測定する。他の実施形態において、測距部412は、電磁波、音波又は超音波を放出し、当該電磁波、音波又は超音波の反射波を解析して、上記の距離を測定する。他の物体は、作業者12であってよい。
本実施形態において、接触検知部414は、農作業ロボット102と、他の物体との接触を検出する。接触検知部414は、農作業ロボット102と、他の物体とが接触する恐れのあることを検出してもよい。他の物体は、作業者12であってよい。
本実施形態において、内界センサ420は、農作業ロボット102の内部の情報を取得する。内界センサ420は、取得された情報を、他のユニットに送信してよい。例えば、内界センサ420は、取得された情報を、制御ユニット220に送信する。
本実施形態において、速度計422は、農作業ロボット102の速度を測定する。本実施形態において、加速度計424は、農作業ロボット102の加速度を測定する。本実施形態において、電流計426は、1又は複数のユニットのそれぞれに供給される電流の電流値を測定する。
図5は、制御ユニット220の内部構成の一例を概略的に示す。本実施形態において、制御ユニット220は、入出力制御部510と、撮像制御部520と、駆動制御部530と、制御情報格納部540とを備える。
入出力制御部510は、音声メッセージ出力部及び指示受付部の一例であってよい。撮像制御部520は、照明制御システムの一例であってよい。駆動制御部530は、移動制御システムの一例であってよい。
本実施形態において、入出力制御部510は、農作業ロボット102の情報の入出力を制御する。入出力制御部510は、農作業ロボット102の位置情報、撮像ユニット134が撮像した画像のデータ、センサユニット210の測定した物理量のデータなどを、農作業ロボット102の各部から取得してよい。
入出力制御部510は、入力装置(図示されていない。)に入力された情報を受け付けてよい。入力装置としては、キーボード、ポインティングデバイス、音声入力装置(例えば、マイクである。)、画像入力装置(例えば、カメラである。)、音声認識装置、画像認識装置などが例示される。入力装置は、農作業ロボット102に配された入力装置であってもよく、通信端末22及び管理サーバ150の少なくとも一方に配された入力装置であってもよい。
入出力制御部510は、出力装置(図示されていない。)に情報を出力してよい。出力装置としては、ディスプレイ、プロジェクタ、プリンタ、スピーカ、超音波出力装置、振動出力装置などが例示される。出力装置は、農作業ロボット102に配された出力装置であってもよく、通信端末22及び管理サーバ150の少なくとも一方に配された出力装置であってもよい。
例えば、入出力制御部510は、音声メッセージを出力するための命令又は要求を受け付ける。入出力制御部510は、上記の命令又は要求に応じて、スピーカを駆動して、音声メッセージを出力する。入出力制御部510は、通信端末22、管理サーバ150、又は、制御ユニット220の各部から、音声メッセージを出力するための命令又は要求を受信してよい。
入出力制御部510は、外部の情報処理装置との間の通信を制御してよい。例えば、入出力制御部510は、通信端末22及び管理サーバ150の少なくとも一方との間で情報を送受する。入出力制御部510は、通信インタフェースであってもよい。入出力制御部510は、1又は複数の通信方式に対応してよい。
一実施形態において、入出力制御部510は、通信端末22の入力装置に入力された情報を、通信端末22から取得してよい。例えば、作業者12は、通信端末22を操作して、農作業ロボット102の位置を作業者12に報知するための指示を入力する。通信端末22は、農作業ロボット102の位置を作業者12に報知するための命令を生成し、当該命令を農作業ロボット102に送信する。入出力制御部510は、上記の命令を受信する。農作業ロボット102の位置を作業者12に報知するための命令は、農作業ロボット102の照明部136に、位置報知用の光又は音を出射又は出力させるための命令であってよい。
農作業ロボット102の位置を作業者12に報知するための命令は、作業者12からの指示の一例であってよい。作業者12は、照明部136が出射した光を観察する観察者の一例であってよい。
入出力制御部510は、通信端末22の出力装置に出力すべき情報を、通信端末22に送信してよい。例えば、入出力制御部510は、農作業ロボット102の位置情報を、通信端末22に送信する。これにより、作業者12は、農作業ロボット102の凡その現在位置を把握することができる。
他の実施形態において、入出力制御部510は、農作業ロボット102を制御するための命令を、管理サーバ150から取得してよい。例えば、作業者12は、通信端末22を操作して、管理サーバ150にアクセスし、農作業ロボット102の位置を作業者12に報知するための指示を入力する。管理サーバ150は、農作業ロボット102の位置を作業者12に報知するための命令を生成し、当該命令を農作業ロボット102に送信する。入出力制御部510は、上記の命令を受信する。農作業ロボット102の位置を作業者12に報知するための命令は、農作業ロボット102の照明部136に、位置報知用の光又は音を出射又は出力させるための命令であってよい。
入出力制御部510は、農作業ロボット102の各部からの情報を、管理サーバ150に送信してよい。例えば、入出力制御部510は、農作業ロボット102の位置情報を、通信端末22に送信する。これにより、作業者12は、農作業ロボット102の凡その現在位置を把握することができる。
本実施形態において、撮像制御部520は、撮像ユニット134を制御する。本実施形態において、駆動制御部530は、移動ユニット132及び農作業ユニット138を制御する。本実施形態において、制御情報格納部540は、農作業ロボット102の制御に用いられる制御情報を格納する。
図6は、撮像制御部520の内部構成の一例を概略的に示す。本実施形態において、撮像制御部520は、撮像条件決定部610と、照明条件決定部620と、噴射制御部630と、制御信号生成部640とを備える。本実施形態において、撮像条件決定部610は、撮像モード決定部612と、フレームレート決定部614と、シャッタースピード決定部616と、被写体決定部618とを有する。本実施形態において、照明条件決定部620は、発光モード決定部622と、分光分布決定部624と、光束決定部626と、位置姿勢決定部628とを有する。
照明条件決定部620は、照明制御システム、照明制御部、フレーム特定部、特定情報生成部、判定部、音声メッセージ出力部及び指示受付部の一例であってよい。発光モード決定部622は、照明制御システム、照明制御部、フレーム特定部、特定情報生成部、判定部、音声メッセージ出力部及び指示受付部の一例であってよい。
本実施形態において、撮像条件決定部610は、撮像部320が画像を撮像するための1以上のパラメータを決定する。撮像条件決定部610は、決定された1以上のパラメータを制御信号生成部640に送信してよい。
本実施形態において、撮像モード決定部612は、撮像部320の撮像モードを決定する。撮像モードは、撮像条件に関するパラメータの設定値、又は、撮像条件に関する複数のパラメータの設定値の組み合わせを規定する。撮像条件としては、ズーム倍率、絞り量、光学フィルタの有無又は要否、光学フィルタの種類、解像度、シャッター速度、フレームレート、撮像感度、画角、焦点距離、レンダリング設定などが例示される。撮像モードとしては、(i)高速で撮像するモード、(ii)高感度で撮像するモード、(iii)色再現性を重視するモードなどが例示される。
本実施形態において、フレームレート決定部614は、撮像部320が撮像する画像のフレームレートを決定する。本実施形態において、シャッタースピード決定部616は、撮像部320のシャッタースピードを決定する。撮像部320のシャッターは、メカニカルシャッターであってもよく、電子シャッターであってもよい。メカニカルシャッターは、機械制御式のメカニカルシャッターであってもよく、電子制御式のメカニカルシャッターであってもよい。本実施形態において、被写体決定部618は、撮像部320が撮像する画像の被写体を決定する。
照明条件決定部620は、照明部136が光を出射するための1以上のパラメータを決定する。照明条件決定部620は、決定された1以上のパラメータを制御信号生成部640に送信してよい。
発光モード決定部622は、照明部136の発光モードを決定する。発光モードは、光が出射されるタイミングを示すパラメータの設定値、又は、光が出射されるタイミングを示す1以上のパラメータの設定値の組み合わせを規定する。発光モードとしては、(i)照明部136の動作と撮像部320の動作とを連動させるモード、(ii)照明部136の動作と撮像部320の動作とを連動させないモードなどが例示される。発光モードの他の例としては、位置報知用の光の出射により消費されるエネルギを節約する省エネモードが例示される。
[照明部136の動作と撮像部320の動作とを連動させるモード]
照明部136の動作と撮像部320の動作とを連動させるモードとしては、(a)撮像部320が画像を撮像する間、色評価用照明314以外の照明を常にOFFにするモード、(b)撮像部320が画像を撮像する間、(i)撮像部320の撮像素子が露光されていない期間の少なくとも一部において、光特性可変照明312を点灯させ、(ii)撮像部320が露光されている期間において、光特性可変照明312を消灯させるモード、
(c)撮像部320が画像を撮像する間、環境光の分光分布を考慮して、撮像部320の被写体に、予め定められた分光分布の光が照射されるように、光特性可変照明312から出射される光の分光分布を制御するモードなどが例示される。上記のモードが組み合わされてもよい。
上記の(b)及び(c)の発光モードにおいて、撮像部320が露光されている期間に、色評価用照明314が点灯していてもよく、色評価用照明314が消灯していてもよい。撮像部320が露光されている期間に、色評価用照明314が点灯している場合において、(i)色評価用照明314は、撮像部320が画像を撮像する間、常に点灯していてもよく、(ii)色評価用照明314は、撮像部320が画像を撮像する間、撮像部320が露光されている期間のみ点灯していてもよい。
上記の(b)の発光モードにおいて、光特性可変照明312の単位時間当たりの点灯回数は、単位時間当たりの撮像部320のシャッター回数のn/m倍(nは1以上の整数であり、mは、n以上の整数である。mは、nより大きな整数であってもよい。)であってよい。光特性可変照明312の単位時間当たりの点灯回数は、撮像部320が撮像する画像の単位時間当たりのフレーム数のn/m倍(nは1以上の整数であり、mは、n以上の整数である。mは、nより大きな整数であってもよい。)であってもよい。
上記の(b)の発光モードにおいて、光特性可変照明312の単位時間当たりの点灯回数は、農作業ロボット102の移動速度に基づいて決定されてよい。農作業ロボット102の移動速度は、照明装置の移動速度の一例であってよい。上記の(b)の発光モードにおいて、(i)光特性可変照明312が第1周期で点灯する期間及び(ii)光特性可変照明312が連続して消灯する期間の少なくとも一方が周期的に繰り返されてもよい。
[照明部136の動作と撮像部320の動作とを連動させないモード]
照明部136の動作と撮像部320の動作とを連動させないモードが選択された場合、発光モード決定部622は、撮像部320の撮像素子が露光されている期間に光特性可変照明312が点灯する場合、光特性可変照明312の消灯時に撮像されるフレームを特定してよい。発光モード決定部622は、光特性可変照明312の点灯時に撮像されるフレームを特定することで、光特性可変照明312の消灯時に撮像されるフレームを特定してもよい。
例えば、発光モード決定部622は、光特性可変照明312の消灯時に撮像されたフレームを特定するための情報を生成してよい。これにより、例えば、管理サーバ150の要求実行部154が、撮像部320の撮像した画像を解析するときに、光特性可変照明312が消灯している間に撮像された画像、又は、光特性可変照明312が点灯している間に撮像された画像を簡単に抽出することができる。
[省エネモード]
省エネモードとしては、(a)(i)作業者12が農作業ロボット102を探している場合には、位置報知用の光を出射し、(ii)作業者12が農作業ロボット102を探していない場合又は(iii)作業者12が農作業ロボット102を探しているか否かが不明な場合には、位置報知用の光を出射しないモード、(b)(i)作業者12が農作業ロボット102を探している場合と、(ii)作業者12が農作業ロボット102を探していない場合又は(iii)作業者12が農作業ロボット102を探しているか否かが不明な場合とで、位置報知用の光を異なる態様で出射するモード、(c)(i)作業者12及び農作業ロボット102の位置関係が予め定められた条件を満足する場合には、位置報知用の光を出射し、(ii)当該位置関係が当該予め定められた条件を満足しない場合には、位置報知用の光を出射しないモード、(d)(i)作業者12及び農作業ロボット102の位置関係が予め定められた条件を満足する場合と、(ii)当該位置関係が当該予め定められた条件を満足しない場合とで、位置報知用の光を異なる態様で出射するモードなどが例示される。上記のモードが組み合わされてもよい。位置報知用の光の出射態様としては、光の強度、光の点滅パターン、光の波長又は色などが例示される。
上記の(a)及び(b)のモードにおいて、一実施形態によれば、例えば、発光モード決定部622は、入出力制御部510を介して、通信端末22又は管理サーバ150からの命令であって、農作業ロボット102の位置を作業者12に報知するための命令を取得する。これにより、発光モード決定部622は、作業者12が農作業ロボット102を探していることを検出する。農作業ロボット102の位置を作業者12に報知するための命令は、作業者12からの指示に基づいて生成された命令であってよい。通信端末22又は管理サーバ150からの命令は、作業者12の位置を示す情報、又は、農作業ロボット102が作業者12の凡その位置を特定するための情報を含んでもよい。
他の実施形態によれば、例えば、入出力制御部510の音声認識装置又は画像認識装置が、作業者12のジェスチャ又は音声を解析して、作業者12が農作業ロボット102を探していることを検出する。発光モード決定部622は、入出力制御部510から、作業者12が農作業ロボット102を探していることを示す情報を取得する。作業者12のジェスチャ又は音声は、作業者12からの指示であって、農作業ロボット102に、位置報知用の光を出射させるための指示の一例であってよい。
上記の(b)のモードにおいて、発光モード決定部622は、(i)作業者12が農作業ロボット102を探している場合には、(ii)作業者12が農作業ロボット102を探していない場合又は(iii)作業者12が農作業ロボット102を探しているか否かが不明な場合と比較して、消費エネルギの多い態様で、位置報知用の光を出射することを決定してよい。発光モード決定部622は、(ii)作業者12が農作業ロボット102を探していない場合又は(iii)作業者12が農作業ロボット102を探しているか否かが不明な場合には、(i)作業者12が農作業ロボット102を探している場合と比較して、消費エネルギの少ない態様で、位置報知用の光を出射することを決定してもよい。
例えば、位置報知用の光の強度が大きいほど、消費エネルギが大きくなる。また、照明部136が位置報知用の光を出射するときに粒子噴射部330を利用する場合、照明部136が位置報知用の光を出射するときに粒子噴射部330を利用しない場合と比較して、消費エネルギが大きくなる。
上記の(c)及び(d)のモードにおいて、予め定められた条件としては、(i)作業者12が、農作業ロボット102を視認できる可能性の高い位置に存在するという条件、(ii)作業者12と、農作業ロボット102との距離が予め定められた距離よりも近いという条件、(iii)特定の作業者12と、農作業ロボット102との距離が予め定められた距離よりも近いという条件などが例示される。作業者12による農作業ロボット102の視認可能性は、作業者12の視界の範囲と、農作業ロボット102の位置との位置関係に基づいて決定されてよい。作業者12による農作業ロボット102の視認可能性は、作業者12の視界の範囲と、農作業ロボット102の位置と、作業者12及び農作業ロボット102の間に配された構造物との位置関係に基づいて決定されてよい。
一実施形態によれば、例えば、入出力制御部510の音声認識装置又は画像認識装置が、作業者12の姿又は音声を解析して、作業者12が農作業ロボット102の方を向いているか否かを判定する。例えば、画像認識装置は、画像中に人の顔を認識した場合に、作業者12が農作業ロボット102の方を向いていると判定してよい。これにより、判定処理の速度が向上する。なお、画像認識装置は、画像中に作業者12の顔を認識した場合に、作業者12が農作業ロボット102の方を向いていると判定してもよい。
発光モード決定部622は、入出力制御部510から、作業者12が農作業ロボット102の方を向いているか否かを示す情報を取得する。作業者12が農作業ロボット102の方を向いているという条件は、作業者12の視界の範囲と、農作業ロボット102の位置との位置関係に関する条件の一例であってよい。
作業者12が農作業ロボット102の方を向いていると判定された場合、発光モード決定部622は、位置報知用の光を出射することを決定する。この場合において、発光モード決定部622は、作業者12が農作業ロボット102の方を向いていない場合と比較して、消費エネルギが大きくなる態様で、位置報知用の光を出射することを決定してもよい。(i)照明部136の動作と撮像部320の動作とを連動させるモード、(ii)照明部136の動作と撮像部320の動作とを連動させないモードなどの他の発光モードが指定されている場合、発光モード決定部622は、当該他の発光モードの設定に基づいて、各種のパラメータの具体的な設定値を決定してよい。
一方、作業者12が農作業ロボット102の方を向いていないと判定された場合、発光モード決定部622は、位置報知用の光を出射しないことを決定する。例えば、発光モード決定部622は、作業者12が農作業ロボット102の方を向いていないと判定されるまで、位置報知用の光を出射するための照明機器を消灯させることを決定する。この場合において、発光モード決定部622は、作業者12に対する音声メッセージを出力することを決定してもよい。作業者12に対する音声メッセージは、作業者12と、農作業ロボット102との位置関係を示す情報を含んでもよい。発光モード決定部622は、例えば、入出力制御部510に対して、作業者12に対する音声メッセージを出力するための命令を送信する。これにより、作業者12が農作業ロボット102の方を向く可能性が高まる。
他の実施形態によれば、例えば、入出力制御部510の音声認識装置又は画像認識装置が、作業者12の姿又は音声を解析して、作業者12及び農作業ロボット102の距離が予め定められた条件を満足するか否かを判定する。例えば、入出力制御部510は、作業者12及び農作業ロボット102の距離が予め定められた値よりも小さいか否かを判定する。入出力制御部510は、農作業ロボット102の周囲に存在する複数の作業者12のうち、特定の作業者12と、農作業ロボット102との距離が予め定められた値よりも小さいか否かを判定してもよい。
作業者12及び農作業ロボット102の距離が予め定められた第1の値よりも小さいと判定された場合、発光モード決定部622は、位置報知用の光を出射することを決定する。この場合において、作業者12及び農作業ロボット102の距離が第2の値よりも大きいときには、発光モード決定部622は、作業者12及び農作業ロボット102の距離が第2の値より小さいときと比較して、消費エネルギが大きくなる態様で位置報知用の光を出射することを決定してよい。第2の値は、第1の値よりも小さな値であってよい。(i)照明部136の動作と撮像部320の動作とを連動させるモード、(ii)照明部136の動作と撮像部320の動作とを連動させないモードなどの他の発光モードが指定されている場合、発光モード決定部622は、当該他の発光モードの設定に基づいて、各種のパラメータの具体的な設定値を決定してよい。
一方、作業者12及び農作業ロボット102の距離が第1の値よりも大きいと判定された場合、発光モード決定部622は、位置報知用の光を出射しないことを決定する。例えば、発光モード決定部622は、作業者12及び農作業ロボット102の距離が予め定められた第1の値よりも小さいと判定されるまで、位置報知用の光を出射するための照明機器を消灯させることを決定する。この場合において、発光モード決定部622は、作業者12に対する音声メッセージを出力することを決定してもよい。作業者12に対する音声メッセージは、作業者12と、農作業ロボット102との位置関係を示す情報を含んでもよい。発光モード決定部622は、例えば、入出力制御部510に対して、作業者12に対する音声メッセージを出力するための命令を送信する。これにより、作業者12が農作業ロボット102に向かって近づいてくる可能性が高まる。
分光分布決定部624は、出射される光の分光分布を示すパラメータを決定する。例えば、分光分布決定部624は、環境光測定部416が測定した環境光の分光分布に基づいて、光特性可変照明312が出射する光の分光分布を決定する。
光束決定部626は、出射される光の光束を示すパラメータを決定する。例えば、光束決定部626は、環境光測定部416が測定した環境光の光束、及び、撮像部320の撮像素子が露光されている期間に光特性可変照明312が出射する光の光束に基づいて、色評価用照明314の光束を決定する。
位置姿勢決定部628は、光が出射される方向を示すパラメータを決定する。位置姿勢決定部628は、出射される光の指向性に関するパラメータを決定してもよい。位置姿勢決定部628は、撮像部320が画像を撮像する期間における、光特性可変照明312の位置及び姿勢を決定してよい。位置姿勢決定部628は、撮像部320が画像を撮像する期間における、農作業ロボット102の位置及び姿勢と、光特性可変照明312の位置及び姿勢とを決定してもよい。位置姿勢決定部628は、撮像部320が画像を撮像する期間における、色評価用照明314の位置及び姿勢を決定してよい。位置姿勢決定部628は、撮像部320が画像を撮像する期間における、農作業ロボット102の位置及び姿勢と、色評価用照明314の位置及び姿勢とを決定してもよい。
本実施形態において、噴射制御部630は、粒子噴射部330が動作するための1以上のパラメータを決定する。粒子噴射部330から粒子が噴射されるタイミングを示すパラメータを決定してよい。粒子噴射部330から粒子が噴射される方向を示すパラメータを決定してよい。粒子噴射部330から噴射される粒子の量を示すパラメータを決定してよい。照明条件決定部620は、決定された1以上のパラメータを制御信号生成部640に送信してよい。
本実施形態において、制御信号生成部640は、撮像ユニット134を制御するための制御信号を生成する。制御信号生成部640は、撮像条件決定部610、照明条件決定部620、及び、噴射制御部630が決定した1以上のパラメータに基づいて、撮像ユニット134を制御するための制御信号を生成してよい。制御信号生成部640は、生成されたパラメータを撮像ユニット134に送信してよい。
図7は、制御テーブル700の一例を概略的に示す。本実施形態において、制御テーブル700は、照明部136の制御に用いられる。例えば、制御信号生成部640は、制御テーブル700を参照して、照明部136を制御するための制御信号を生成する。制御テーブル700は、制御情報格納部540に格納される制御情報の一例であってよい。
本実施形態において、制御テーブル700には、時間No710と、フレームNo720と、制御シーケンス730とが対応付けて格納されている。本実施形態において、制御シーケンス730には、撮像用照明の制御に関する制御シーケンス732と、位置報知用照明の制御に関する制御シーケンス734とが含まれる。時間No710は、タイミングを識別するための情報であってよい。フレームNo720は、撮像部320が撮像する画像のフレームを識別するための情報であってよい。
撮像用照明の制御に関する制御シーケンス732には、例えば、色評価用照明314の動作のタイミングを示す情報と、各動作において満たされるべき条件を示す情報とが含まれる。位置報知用照明の制御に関する制御シーケンス734には、例えば、光特性可変照明312の動作のタイミングを示す情報と、各動作の条件を示す情報とが含まれる。動作の条件としては、出射される光の分光分布、出射される光の光束、出射される光の指向性、出射される光の制御方法などが例示される。
例えば、時間Noがtであるレコードは、(i)時間tにおいて、撮像用照明がON動作すること、又は、撮像用照明がON状態を維持することを示す情報と、(ii)撮像用照明として色評価用照明314が利用されるという条件を示す情報とを含む。同様に、時間Noがtであるレコードは、時間tにおいて、位置報知用照明がOFF動作すること、又は、位置報知用照明がOFF状態を維持することを示す情報を含む。時間Noがtであるレコードは、時間tにおいて位置報知用照明が満たすべき条件を示す情報を含んでもよい。また、本実施形態によれば、tは、フレーム1が撮像されるタイミングであることがわかる。
同様に、時間Noがtであるレコードは、(i)時間tにおいて、撮像用照明がON状態を維持することを示す情報と、(ii)撮像用照明として色評価用照明314が利用されるという条件を示す情報とを含む。時間Noがtであるレコードは、(i)時間tにおいて、位置報知用照明がON動作することを示す情報と、(ii)時間tにおいて位置報知用照明が満たすべき条件を示す情報を含む。また、本実施形態によれば、時間tにおいて撮像されるフレームがないことがわかる。
例えば、制御信号生成部640は、制御テーブル700に従って、撮像ユニット134の制御信号を生成する。これにより、照明部136は、撮像部320が画像を撮像する間、(i)撮像部320の撮像素子が露光されていない期間の少なくとも一部において、光特性可変照明312を点灯させ、(ii)撮像部320が露光されている期間において、光特性可変照明312を消灯させる。
本実施形態においては、撮像用照明として色評価用照明314が利用され、位置報知用照明として、色評価用照明314及び光特性可変照明312が利用される。そして、本実施形態によれば、撮像部320が露光されているタイミングにおいて、色評価用照明314は点灯しており、光特性可変照明312は消灯している。これにより、撮像部320が撮像した画像の解析精度の低下を抑制しつつ、農作業ロボット102の位置を作業者12などに報知することができる。
図8は、制御テーブル800の一例を概略的に示す。本実施形態において、制御テーブル800は、照明部136の制御に用いられる。例えば、制御信号生成部640は、制御テーブル800を参照して、照明部136を制御するための制御信号を生成する。制御テーブル800は、制御情報格納部540に格納される制御情報の一例であってよい。
例えば、時間Noがtであるレコードは、(i)時間tにおいて、撮像用照明がOFF動作すること、又は、撮像用照明がOFF動作を維持することを示す情報と、(ii)位置報知用照明を撮像用照明として利用することを示す情報とを含む。時間Noがtであるレコードは、(i)時間tにおいて、位置報知用照明がON動作すること、又は、位置報知用照明がON動作を維持することを示す情報と、(ii)位置報知用照明の制御において、環境光の測定結果がフィードバックされるという条件を示す情報とを含む。また、本実施形態によれば、時間tは、フレーム1が撮像されるタイミングであることがわかる。
同様に、時間Noがtであるレコードは、(i)時間tにおいて、撮像用照明がOFF動作を維持することを示す情報と、(ii)位置報知用照明を撮像用照明として利用することを示す情報とを含む。時間Noがtであるレコードは、(i)時間tにおいて、位置報知用照明がON動作を維持することを示す情報と、(ii)位置報知用照明の制御において、環境光の測定結果がフィードバックされるという条件を示す情報とを含む。また、本実施形態によれば、時間tにおいて撮像されるフレームがないことがわかる。
例えば、制御信号生成部640は、制御テーブル800に従って、撮像ユニット134の制御信号を生成する。これにより、照明部136は、撮像部320が画像を撮像する間、環境光の分光分布を考慮して、撮像部320の被写体に、予め定められた分光分布の光が照射されるように、光特性可変照明312から出射される光の分光分布を制御する。
本実施形態においては、撮像用照明及び位置報知用照明として、光特性可変照明312が利用される。本実施形態によれば、撮像部320が露光されているタイミングにおいて、光特性可変照明312から出射される光の分光分布が、環境光の分光分布に基づいて制御される。これにより、撮像部320が撮像した画像の解析精度の低下を抑制しつつ、農作業ロボット102の位置を作業者12などに報知することができる。
図9は、制御テーブル900の一例を概略的に示す。本実施形態において、制御テーブル900は、照明部136の制御に用いられる。例えば、制御信号生成部640は、制御テーブル900を参照して、照明部136を制御するための制御信号を生成する。制御テーブル900は、制御情報格納部540に格納される制御情報の一例であってよい。
例えば、時間Noがtであるレコードは、(i)時間tにおいて、撮像用照明がON動作すること、又は、撮像用照明がON動作を維持することを示す情報と、(ii)撮像用照明の制御において、環境光の測定結果がフィードバックされるという条件を示す情報とを含む。時間Noがtであるレコードは、(i)時間tにおいて、位置報知用照明がON動作すること、又は、位置報知用照明がON動作を維持することを示す情報と、(ii)位置報知用照明の制御において、環境光の測定結果がフィードバックされるという条件を示す情報とを含む。また、本実施形態によれば、時間tは、フレーム1が撮像されるタイミングであることがわかる。
同様に、時間Noがtであるレコードは、(i)時間tにおいて、撮像用照明がON動作を維持することを示す情報と、(ii)撮像用照明の制御において、環境光の測定結果がフィードバックされるという条件を示す情報とを含む。時間Noがtであるレコードは、(i)時間tにおいて、位置報知用照明がON動作を維持することを示す情報と、(ii)位置報知用照明の制御において、環境光の測定結果がフィードバックされるという条件を示す情報とを含む。また、本実施形態によれば、時間tにおいて撮像されるフレームがないことがわかる。
例えば、制御信号生成部640は、制御テーブル800に従って、撮像ユニット134の制御信号を生成する。これにより、照明部136は、撮像部320が画像を撮像する間、環境光及び色評価用照明314の分光分布を考慮して、撮像部320の被写体に、予め定められた分光分布の光が照射されるように、光特性可変照明312から出射される光の分光分布を制御する。
本実施形態においては、撮像用照明及び位置報知用照明として、光特性可変照明312及び色評価用照明314の両方が利用される。本実施形態によれば、撮像部320が露光されているタイミングにおいて、光特性可変照明312から出射される光の分光分布が、環境光及び色評価用照明314の分光分布に基づいて制御される。これにより、撮像部320が撮像した画像の解析精度の低下を抑制しつつ、農作業ロボット102の位置を作業者12などに報知することができる。
図10は、駆動制御部530の内部構成の一例を概略的に示す。本実施形態において、駆動制御部530は、農作業ユニット制御部1020と、移動ユニット制御部1040とを備える。本実施形態において、移動ユニット制御部1040は、移動モード決定部1052と、先行イベント検出部1062と、移動イベント検出部1064と、停止イベント検出部1066と、制御信号生成部1072とを有する。
移動ユニット制御部1040は、移動制御システムの一例であってよい。先行イベント検出部1062は、第2イベント検出部の一例であってよい。移動イベント検出部1064は、第1イベント検出部の一例であってよい。停止イベント検出部1066は、第3イベント検出部の一例であってよい。制御信号生成部1072は、移動制御部の一例であってよい。
本実施形態において、農作業ユニット制御部1020は、農作業ユニット138を制御する。農作業ユニット制御部1020は、農作業ユニット138の動作を制御するための1以上のパラメータを決定してよい。農作業ユニット制御部1020は、決定された1以上のパラメータに基づいて、農作業ユニット138の動作を制御するための制御信号を生成してよい。農作業ユニット制御部1020は、生成された制御信号を農作業ユニット138に送信してよい。
本実施形態において、移動ユニット制御部1040は、移動ユニット132を制御する。移動ユニット制御部1040は、移動ユニット132の動作を制御するための1以上のパラメータを決定してよい。移動ユニット制御部1040は、移動ユニット132の移動動作を制御するための1以上のパラメータを決定してよい。移動ユニット制御部1040は、決定された1以上のパラメータに基づいて、移動ユニット132の動作を制御するための制御信号を生成してよい。移動ユニット制御部1040は、生成された制御信号を移動ユニット132に送信してよい。
本実施形態において、移動モード決定部1052は、農作業ロボット102の移動モードを決定する。移動モードとしては、(i)作業者12の進行方向の後方に位置しながら、作業者12の動作に合わせて移動するモード、(ii)作業者12の進行方向の前方に位置しながら、作業者12の動作に合わせて移動するモード、(iii)設定されたエリア内を網羅的に移動するモードなどが例示される。
本実施形態において、先行イベント検出部1062は、作業者の動作又は外観に関するイベントであって、移動イベントに先行して発生する蓋然性の高いイベント(先行イベントと称する場合がある。)が発生したことを検出する。ここで、移動イベントは、作業を実施する作業者の動作又は外観に関するイベントであって、農作業ロボット102に移動動作の開始を要求するイベントを示す。
移動イベントは、例えば、管理サーバ150の要求実行部154が、事前に作業者12の動作を解析して、特定の作業を実施する一連の複数の動作のうち、移動イベントに該当する動作を特定することにより決定される。要求実行部154は、教師あり学習により、移動イベントに該当する動作を特定してもよく、教師なし学習により、移動イベントに該当する動作を特定してもよい。
先行イベントは、例えば、管理サーバ150の要求実行部154が、事前に作業者12の動作を解析して、特定の作業を実施する一連の複数の動作のうち、先行イベントに該当する動作を特定することにより決定される。要求実行部154は、教師あり学習により、先行イベントに該当する動作を特定してもよく、教師なし学習により、先行イベントに該当する動作を特定してもよい。
本実施形態において、移動イベント検出部1064は、移動イベントが発生したことを検出する。本実施形態において、停止イベント検出部1066は、農作業ロボット102に移動動作の中止を要求する、又は、農作業ロボット102に移動動作を禁止する停止イベントが発生したことを検出する。停止イベントは、第3イベントの一例であってよい。
停止イベントは、例えば、(i)先行イベント検出部1062が先行イベントの発生を検出した後、予め定められた期間が経過しても、移動イベント検出部1064が移動イベントの発生を検出しない場合、(ii)作業者12及び農作業ロボット102の距離が第1条件を満足する場合、(iii)農作業ロボット102の接触検知部が接触を検知した場合、(iv)農作業ロボット102の速度が第1閾値を超えた場合、又は、(v)農作業ロボット102が作業者12を見失った場合に発生する。例えば、制御ユニット220は、撮像ユニット134が撮像した画像を解析して、作業者12を認識する。制御ユニット220は、例えば、認識済みの作業者12を認識することができなくなった場合に、制御ユニット220が作業者12を見失ったと判断する。制御ユニット220は、例えば、認識済みの作業者12を、予め定められた期間にわたって認識することができなくなった場合に、制御ユニット220が作業者12を見失ったと判断してよい。
第1条件は、作業者12及び農作業ロボット102の距離が第2閾値よりも小さいという条件を含んでよい。先行イベント検出部1062が先行イベントの発生を検出した場合と、先行イベント検出部1062が先行イベントの発生を検出していない場合とで、第2閾値の大きさが異なってもよい。
また、作業者12及び農作業ロボット102の距離が第1条件を満足する場合であっても、作業者12が農作業ロボット102に接近してくる場合であって、作業者12の進行方向の変更具合が第2条件を満足する場合には、停止イベントが発生しないように設定されてもよい。同様に、作業者12及び農作業ロボット102の距離が第1条件を満足する場合であっても、作業者12が農作業ロボット102に接近してくる場合であって、作業者12の接近速度が第3条件を満足する場合には、停止イベントが発生しないように設定されてもよい。
本実施形態において、制御信号生成部1072は、移動ユニット132を制御するための制御信号を生成する。例えば、制御信号生成部1072は、先行イベント検出部1062が先行イベントの発生を検出した場合に、移動ユニット132に初期加速動作を開始させるための制御信号を生成する。制御信号生成部1072は、停止イベント検出部1066が停止イベントの発生を検出しておらず、且つ、先行イベント検出部1062が先行イベントの発生を検出した場合に、移動ユニット132に初期加速動作を開始させるための制御信号を生成してもよい。
制御信号生成部1072は、先行イベント検出部1062が先行イベントの発生を検出した後、停止イベント検出部1066が停止イベントの発生を検出した場合、移動ユニット132を停止させるための制御信号を生成してもよい。これにより、例えば、先行イベントが発生したものの、実際には移動イベントが発生しなかった場合に、農作業ロボット102が自動的に停止する。
図11は、駆動制御部530における情報処理の一例を概略的に示す。本実施形態によれば、S1102において、移動ユニット制御部1040が、作業者12の動作を観察する。具体的には、移動ユニット制御部1040が、撮像部320が撮像した画像を解析して、作業者12の動作の特徴を抽出する。移動ユニット制御部1040は、抽出された動作の特徴と、1以上のイベントのそれぞれに対応付けて登録された動作の特徴とを比較して、特定のイベントが発生したか否かを判定する。
先行イベント検出部1062が先行イベントの発生を検出した場合(S1104のYESの場合)、制御信号生成部1072は、停止イベント検出部1066が停止イベントの発生を検出しているか否かを判定する。停止イベント検出部1066が停止イベントの発生を検出していない場合(S1112のYESの場合)、S1114において、制御信号生成部1072が、移動ユニット132に初期加速動作を実行させるための制御信号を生成する。制御信号生成部1072は、生成された制御信号を移動ユニット132に送信する。
S1122において、移動ユニット制御部1040は、引き続き、作業者12の動作を観察する。この場合において、停止イベント検出部1066が停止イベントを検出すると(S1124のYES)、S1126において、制御信号生成部1072が、移動ユニット132に停止動作を実行させるための制御信号を生成する。制御信号生成部1072は、生成された制御信号を移動ユニット132に送信する。
一方、移動イベント検出部1064が移動イベントを検出すると(S1132のYES)、S1134において、制御信号生成部1072が、移動ユニット132に移動イベントに応じた動作を実行させるための制御信号を生成する。制御信号生成部1072は、生成された制御信号を移動ユニット132に送信する。
また、例えば、ユーザから、追従モードを終了することを示す信号が入力された場合(S1142のYES)、移動ユニット制御部1040は、追従制御を終了する。本実施形態によれば、例えば、任意の基準と比較して移動イベントの発生する蓋然性が高い場合に、移動ユニット132が初期加速を開始する。これにより、農作業ロボット102の急発進を抑制することができる。また、初期加速の段階で移動イベントの発生する蓋然性が低下した場合には、農作業ロボット102を緩やかに停止させることができる。
図12は、制御ユニット220における位置報知のための情報処理の一例を概略的に示す。本実施形態によれば、S1210において、発光モード決定部622が、省エネモードが指定されているか否かを判定する。省エネモードが指定されていない場合(S1210のNOの場合)、S1244の処理が実行される。S1244の処理の詳細は後述される。
一方、省エネモードが指定されている場合(S1210のYESの場合)、発光モード決定部622は、位置報知用の光を出射するためのイベントが検出されたか否かを判定する。位置報知用の光を出射するためのイベントとしては、(i)通信端末22又は管理サーバ150からの命令であって、農作業ロボット102の位置を作業者12に報知するための命令が取得されたこと、(ii)作業者12のジェスチャ又は音声の解析により、作業者12が農作業ロボット102を探していると判定されたことなどが例示される。
位置報知用の光を出射するためのイベントが検出されなかった場合(S1220のNOの場合)、S1220の処理が繰り返される。一方、位置報知用の光を出射するためのイベントが検出された場合(S1220のYESの場合)、S1230において、発光モード決定部622は、農作業ロボット102が作業者12の視界に入っているか否かを判定する。
農作業ロボット102が作業者12の視界に入っていないと判定された場合(S1230のNOの場合)、S1242において、発光モード決定部622は、位置報知用の光を出射するための照明機器を消灯させることを決定する。また、発光モード決定部622は、作業者12に対する音声メッセージを出力することを決定する。発光モード決定部622は、入出力制御部510に対して、作業者12に対する音声メッセージを出力するための命令を送信する。その後、発光モード決定部622は、S1230の処理を繰り返す。
一方、農作業ロボット102が作業者12の視界に入っていると判定された場合(S1230のYESの場合)、S1244において、発光モード決定部622は、位置報知用の光を出射することを決定する。具体的には、照明条件決定部620が、照明に関する具体的な設定を決定する。制御信号生成部640が、照明部136を制御するための信号を生成し、当該信号を照明部136に送信する。制御信号生成部640は、粒子噴射部330を制御するための信号を生成し、当該信号を粒子噴射部330に送信してもよい。
本実施形態によれば、農作業ロボット102は、(i)作業者12が位置報知用の光を視認する可能性が比較的高い場合に、位置報知用の光を出射し、(ii)作業者12が位置報知用の光を視認する可能性が比較的低い場合には、位置報知用の光を出射しない。これにより、エネルギを節約することができる。また、本実施形態によれば、作業者12が位置報知用の光を視認する可能性が比較的低い場合、農作業ロボット102は、作業者12が位置報知用の光を視認する可能性を向上させるための処理を実行する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。また、技術的に矛盾しない範囲において、特定の実施形態について説明した事項を、他の実施形態に適用することができる。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
本願明細書には、例えば、下記の事項が記載されている。
[項目1−1]
自律移動機能を有する作業機械の移動動作を制御する移動制御システムであって、
作業を実施する作業者の動作又は外観に関するイベントであって、上記作業機械に移動動作の開始を要求する第1イベントが発生したことを検出する第1イベント検出部と、
上記作業者の動作又は外観に関するイベントであって、上記第1イベントに先行して発生する蓋然性の高い第2イベントが発生したことを検出する第2イベント検出部と、
上記第2イベント検出部が上記第2イベントの発生を検出した場合に、上記作業機械に初期加速動作を開始させる移動制御部と、
を備える、移動制御システム。
[項目1−2]
上記作業機械に移動動作の中止を要求する、又は、上記作業機械に移動動作を禁止する第3イベントが発生したことを検出する第3イベント検出部をさらに備え、
上記移動制御部は、上記第3イベント検出部が上記第3イベントの発生を検出しておらず、且つ、上記第2イベント検出部が上記第2イベントの発生を検出した場合に、上記作業機械に初期加速動作を開始させる、
項目1−1に記載の移動制御システム。
[項目1−3]
上記移動制御部は、上記第2イベント検出部が上記第2イベントの発生を検出した後、上記第3イベント検出部が上記第3イベントの発生を検出した場合、上記作業機械を停止させる、
項目1−2に記載の移動制御システム。
[項目1−4]
上記第3イベントは、
(i)上記第2イベント検出部が上記第2イベントの発生を検出した後、予め定められた期間が経過しても、上記第1イベント検出部が上記第1イベントの発生を検出しない場合、
(ii)上記作業者及び上記作業機械の距離が第1条件を満足する場合、
(iii)上記作業機械の接触検知部が接触を検知した場合、
(iv)上記作業機械の速度が第1閾値を超えた場合、又は、
(v)上記作業機械が上記作業者を見失った場合、
に発生する、
項目1−1から項目1−3までの何れか一項に記載の移動制御システム。
[項目1−5]
上記第1条件は、上記作業者及び上記作業機械の距離が第2閾値よりも小さいという条件を含み、
上記第2イベント検出部が上記第2イベントの発生を検出した場合と、上記第2イベント検出部が上記第2イベントの発生を検出していない場合とで、上記第2閾値の大きさが異なる、
項目1−4に記載の移動制御システム。
[項目1−6]
上記作業者及び上記作業機械の距離が上記第1条件を満足する場合であっても、
上記作業者が上記作業機械に接近してくる場合であって、上記作業者の進行方向の変更具合が第2条件を満足する場合には、
上記第3イベントが発生しない、
項目1−4又は項目1−5に記載の移動制御システム。
[項目1−7]
上記作業者及び上記作業機械の距離が上記第1条件を満足する場合であっても、
上記作業者が上記作業機械に接近してくる場合であって、上記作業者の接近速度が第3条件を満足する場合には、
上記第3イベントが発生しない、
項目1−4から項目1−6までの何れか一項に記載の移動制御システム。
[項目1−8]
項目1−1から項目1−7までの何れか一項に記載の移動制御システムと、
上記移動制御部の指示に基づいて、加速動作を実行する駆動部と、
を備えた、作業機械。
[項目1−9]
コンピュータを、項目1−1から項目1−7までの何れか一項に記載の移動制御システムとして機能させるためのプログラム。
[項目2−1]
1又は複数の照明装置を制御する照明制御システムであって、
(i)撮像装置の撮像素子が露光されていない期間の少なくとも一部において、第1照明装置を点灯させ、(ii)上記撮像素子が露光されている期間において、上記第1照明装置を消灯させる照明制御部、
を備える、照明制御システム。
[項目2−2]
上記第1照明装置の単位時間当たりの点灯回数は、上記単位時間当たりの上記撮像装置のシャッター回数又は上記撮像装置が撮像する画像のフレーム数のn/m倍(nは1以上の整数であり、mは、n以上の整数である。)である、
項目2−1に記載の照明制御システム。
[項目2−3]
上記照明制御部は、上記照明装置の移動速度に基づいて、上記第1照明装置の単位時間当たりの点灯回数を決定する、
項目2−1又は項目2−2に記載の照明制御システム。
[項目2−4]
上記照明制御部は、(i)上記第1照明装置が第1周期で点灯する期間及び(ii)上記第1照明装置が連続して消灯する期間の少なくとも一方が周期的に繰り返されるように、上記第1照明装置を制御する、
項目2−1から項目2−3までの何れか一項に記載の照明制御システム。
[項目2−5]
上記照明制御部は、上記撮像素子が露光されている期間において、上記第1照明装置とは異なる第2照明装置を点灯させ、
上記第2照明装置は、予め定められた分光分布を有する色評価用の照明装置である、
項目2−1から項目2−4までの何れか一項に記載の照明制御システム。
[項目2−6]
1又は複数の照明装置を制御する照明制御システムであって、
第1照明装置を周期的に点滅させる照明制御部と、
撮像装置の撮像素子が露光されている期間に上記第1照明装置が点灯する場合、上記第1照明装置の消灯時に撮像されるフレームを特定するフレーム特定部と、
を備える、照明制御システム。
[項目2−7]
上記第1照明装置の消灯時に撮像されたフレームを特定するための情報を生成する特定情報生成部をさらに備える、
項目2−6に記載の照明制御システム。
[項目2−8]
上記1又は複数の照明装置が出射した光を観察する観察者の視界の範囲と、上記1又は複数の照明装置の位置との位置関係が予め定められた条件を満足するか否かを判定する判定部と、
上記位置関係が上記予め定められた条件を満足しないと判定された場合に、音声メッセージを出力することを決定する音声メッセージ出力部と、
をさらに備え、
上記照明制御部は、
上記位置関係が上記予め定められた条件を満足すると判定された場合、上記第1照明装置の点灯及び消灯を制御し、
上記位置関係が上記予め定められた条件を満足しないと判定された場合、上記第1照明装置を消灯させる、
項目2−1から項目2−7までの何れか一項に記載の照明制御システム。
[項目2−9]
上記1又は複数の照明装置が出射した光を観察する観察者からの指示であって、上記1又は複数の照明装置に、位置報知用の光を出射させるための指示を受け付ける指示受付部をさらに備え、
上記照明制御部は、上記指示受付部が上記指示を受け付けた場合と、上記指示受付部が上記指示を受け付けていない場合とで、上記位置報知用の光の出射態様が異なるように、上記第1照明装置を制御する、
項目2−1から項目2−8までの何れか一項に記載の照明制御システム。
[項目2−10]
1又は複数の照明装置を制御する照明制御システムであって、
(i)撮像装置の被写体、(ii)上記撮像装置及び(iii)第1照明装置の少なくとも1つの近傍の環境光を測定する測定部と、
上記測定部が測定した環境光の分光分布に基づいて、上記第1照明装置が出射する光の分光分布を決定する分光分布決定部と、
を備える、
照明制御システム。
[項目2−11]
上記測定部が測定した環境光及び上記第1照明装置が出射する光の光束に基づいて、上記被写体を照明する照明装置であって、上記第1照明装置とは異なる第2照明装置の光束を決定する光束決定部をさらに備え、
上記第2照明装置は、予め定められた分光分布を有する色評価用の照明装置である、
項目2−10に記載の照明制御システム。
[項目2−12]
項目2−1から項目2−11までの何れか一項に記載の照明制御システムと、
上記第1照明装置と、
を備える、照明システム。
[項目2−13]
項目2−12に記載の照明システムと、
自律移動装置と、
を備えた、作業機械。
[項目2−14]
コンピュータを、項目2−1から項目2−11までの何れか一項に記載の照明制御システムとして機能させるためのプログラム。
10 通信ネットワーク、12 作業者、22 通信端末、30 農産物、100 作業支援システム、102 農作業ロボット、130 ベースユニット、132 移動ユニット、134 撮像ユニット、136 照明部、138 農作業ユニット、150 管理サーバ、152 要求受信部、154 要求実行部、156 情報格納部、210 センサユニット、220 制御ユニット、230 電源ユニット、240 制振ユニット、250 バランス調整ユニット、312 光特性可変照明、314 色評価用照明、320 撮像部、330 粒子噴射部、410 外界センサ、412 測距部、414 接触検知部、416 環境光測定部、420 内界センサ、422 速度計、424 加速度計、426 電流計、510 入出力制御部、520 撮像制御部、530 駆動制御部、540 制御情報格納部、610 撮像条件決定部、612 撮像モード決定部、614 フレームレート決定部、616 シャッタースピード決定部、618 被写体決定部、620 照明条件決定部、622 発光モード決定部、624 分光分布決定部、626 光束決定部、628 位置姿勢決定部、630 噴射制御部、640 制御信号生成部、700 制御テーブル、710 時間No、720 フレームNo、730 制御シーケンス、732 制御シーケンス、734 制御シーケンス、800 制御テーブル、900 制御テーブル、1020 農作業ユニット制御部、1040 移動ユニット制御部、1052 移動モード決定部、1062 先行イベント検出部、1064 移動イベント検出部、1066 停止イベント検出部、1072 制御信号生成部

Claims (12)

  1. 1又は複数の照明装置を制御する照明制御システムであって、
    (i)撮像装置の撮像素子が露光されていない期間の少なくとも一部において、第1照明装置を点灯させ、(ii)前記撮像素子が露光されている期間において、前記第1照明装置を消灯させる照明制御部、
    を備える、照明制御システム。
  2. 前記第1照明装置の単位時間当たりの点灯回数は、前記単位時間当たりの前記撮像装置のシャッター回数又は前記撮像装置が撮像する画像のフレーム数のn/m倍である(nは1以上の整数であり、mは、n以上の整数である)、
    請求項1に記載の照明制御システム。
  3. 前記照明制御部は、(i)前記第1照明装置が第1周期で点灯する期間及び(ii)前記第1照明装置が連続して消灯する期間の少なくとも一方が周期的に繰り返されるように、前記第1照明装置を制御する、
    請求項1又は請求項2に記載の照明制御システム。
  4. 前記照明制御部は、前記撮像素子が露光されている期間において、前記第1照明装置とは異なる第2照明装置を点灯させ、
    前記第2照明装置は、予め定められた分光分布を有する色評価用の照明装置である、
    請求項1から請求項3までの何れか一項に記載の照明制御システム。
  5. 1又は複数の照明装置を制御する照明制御システムであって、
    第1照明装置を周期的に点滅させる照明制御部と、
    撮像装置の撮像素子が露光されている期間に前記第1照明装置が点灯する場合、前記第1照明装置の消灯時に撮像されるフレームを特定するフレーム特定部と、
    を備える、照明制御システム。
  6. 前記1又は複数の照明装置が出射した光を観察する観察者の視界の範囲と、前記1又は複数の照明装置の位置との位置関係が予め定められた条件を満足するか否かを判定する判定部と、
    前記位置関係が前記予め定められた条件を満足しないと判定された場合に、音声メッセージを出力することを決定する音声メッセージ出力部と、
    をさらに備え、
    前記照明制御部は、
    前記位置関係が前記予め定められた条件を満足すると判定された場合、前記第1照明装置の点灯及び消灯を制御し、
    前記位置関係が前記予め定められた条件を満足しないと判定された場合、前記第1照明装置を消灯させる、
    請求項1から請求項5までの何れか一項に記載の照明制御システム。
  7. 前記1又は複数の照明装置が出射した光を観察する観察者からの指示であって、前記1又は複数の照明装置に、位置報知用の光を出射させるための指示を取得する指示取得部をさらに備え、
    前記照明制御部は、前記指示取得部が前記指示を取得した場合と、前記指示取得部が前記指示を取得していない場合とで、前記位置報知用の光の出射態様が異なるように、前記第1照明装置を制御する、
    請求項1から請求項6までの何れか一項に記載の照明制御システム。
  8. 1又は複数の照明装置を制御する照明制御システムであって、
    (i)撮像装置の被写体、(ii)前記撮像装置及び(iii)第1照明装置の少なくとも1つの近傍の環境光を測定する測定部と、
    前記測定部が測定した環境光の分光分布に基づいて、前記第1照明装置が出射する光の分光分布を決定する分光分布決定部と、
    を備える、
    照明制御システム。
  9. 前記測定部が測定した環境光及び前記第1照明装置が出射する光の光束に基づいて、前記被写体を照明する照明装置であって、前記第1照明装置とは異なる第2照明装置の光束を決定する光束決定部をさらに備え、
    前記第2照明装置は、予め定められた分光分布を有する色評価用の照明装置である、
    請求項8に記載の照明制御システム。
  10. 請求項1から請求項9までの何れか一項に記載の照明制御システムと、
    前記第1照明装置と、
    を備える、照明システム。
  11. 請求項10に記載の照明システムと、
    自律移動装置と、
    を備えた、作業機械。
  12. コンピュータを、請求項1から請求項9までの何れか一項に記載の照明制御システムとして機能させるためのプログラム。
JP2018047841A 2018-03-15 2018-03-15 照明制御システム、照明システム、作業機械、及びプログラム Active JP6564483B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018047841A JP6564483B1 (ja) 2018-03-15 2018-03-15 照明制御システム、照明システム、作業機械、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018047841A JP6564483B1 (ja) 2018-03-15 2018-03-15 照明制御システム、照明システム、作業機械、及びプログラム

Publications (2)

Publication Number Publication Date
JP6564483B1 JP6564483B1 (ja) 2019-08-21
JP2019160676A true JP2019160676A (ja) 2019-09-19

Family

ID=67692212

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018047841A Active JP6564483B1 (ja) 2018-03-15 2018-03-15 照明制御システム、照明システム、作業機械、及びプログラム

Country Status (1)

Country Link
JP (1) JP6564483B1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019006523A1 (de) * 2019-09-17 2021-03-18 Claas E-Systems Gmbh Fahrzeug, Datenverarbeitungssystem und Betriebsverfahren dafür
WO2023119986A1 (ja) * 2021-12-21 2023-06-29 株式会社クボタ 農業機械、および、農業機械に用いるジェスチャ認識システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008090412A (ja) * 2006-09-29 2008-04-17 Fujitsu Ltd 画像生成装置、画像生成方法および画像生成プログラム
JP2014146862A (ja) * 2013-01-25 2014-08-14 Fujitsu Ltd 撮像方法、撮像装置及び撮像プログラム
JP2016053602A (ja) * 2014-09-02 2016-04-14 キヤノン株式会社 撮影装置及び照明装置
JP2017112433A (ja) * 2015-12-14 2017-06-22 株式会社東芝 画像撮影装置、画像撮影方法、および画像撮影プログラム
JP2018004875A (ja) * 2016-06-30 2018-01-11 キヤノン株式会社 情報処理装置、撮像装置、情報処理方法、プログラムおよび照明装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008090412A (ja) * 2006-09-29 2008-04-17 Fujitsu Ltd 画像生成装置、画像生成方法および画像生成プログラム
JP2014146862A (ja) * 2013-01-25 2014-08-14 Fujitsu Ltd 撮像方法、撮像装置及び撮像プログラム
JP2016053602A (ja) * 2014-09-02 2016-04-14 キヤノン株式会社 撮影装置及び照明装置
JP2017112433A (ja) * 2015-12-14 2017-06-22 株式会社東芝 画像撮影装置、画像撮影方法、および画像撮影プログラム
JP2018004875A (ja) * 2016-06-30 2018-01-11 キヤノン株式会社 情報処理装置、撮像装置、情報処理方法、プログラムおよび照明装置

Also Published As

Publication number Publication date
JP6564483B1 (ja) 2019-08-21

Similar Documents

Publication Publication Date Title
US10716292B1 (en) Drone-enabled wildlife monitoring system
EP3247189B1 (en) Agricultural robot
JP6616378B2 (ja) 情報処理システム及びプログラム
JP2019176844A (ja) 制御装置、警備システム及びプログラム
JP6726094B2 (ja) 制御装置、作業機及びプログラム
JP2018108040A (ja) 作業機、制御装置及び制御用プログラム
US20200347581A1 (en) Control apparatus, work machine, control method, and computer readable storage medium
CN110521716A (zh) 一种有害生物驱赶方法、装置、设备和系统
JP2018108041A (ja) 情報処理装置、給水システム、情報処理システム及びプログラム
CN110235890A (zh) 一种有害生物检测及驱赶方法、装置、设备和系统
JP6564483B1 (ja) 照明制御システム、照明システム、作業機械、及びプログラム
JP6595435B2 (ja) 制御装置及びプログラム
JP6616441B2 (ja) 移動制御システム、制御システム、作業機械、及びプログラム
US20240090395A1 (en) Method and system for pollination
Ashir et al. Internet of Things (IoT) based smart agriculture aiming to achieve sustainable goals
JP2020010715A (ja) 制御装置
JP6407938B2 (ja) 制御装置、プログラム及び農業機械
JP6483072B2 (ja) 農業機械
KR20210115101A (ko) 드론을 이용한 스마트 팜 작물 감시 방법 및 감시 시스템
JP6616377B2 (ja) 情報処理システム及びプログラム
US11991946B2 (en) Adaptively adjusting parameters of equipment operating in unpredictable terrain
US20200375098A1 (en) Information processing apparatus, information processing method, and computer readable storage medium
JP6474773B2 (ja) 培地管理システム、プログラム、農業機械、改質土壌を生産する方法、及び、農産物の生産方法
JP2019194115A (ja) 収容システム
JP6656462B2 (ja) 収容システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190221

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190221

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190726

R150 Certificate of patent or registration of utility model

Ref document number: 6564483

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250