JP2022062294A - System including self-propelled vehicle for farm field, program, or method - Google Patents
System including self-propelled vehicle for farm field, program, or method Download PDFInfo
- Publication number
- JP2022062294A JP2022062294A JP2020162390A JP2020162390A JP2022062294A JP 2022062294 A JP2022062294 A JP 2022062294A JP 2020162390 A JP2020162390 A JP 2020162390A JP 2020162390 A JP2020162390 A JP 2020162390A JP 2022062294 A JP2022062294 A JP 2022062294A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- information processing
- position information
- absolute position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000010365 information processing Effects 0.000 claims abstract description 88
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000010801 machine learning Methods 0.000 claims description 30
- 241000220223 Fragaria Species 0.000 claims description 28
- 238000005259 measurement Methods 0.000 claims description 27
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 claims description 22
- 235000016623 Fragaria vesca Nutrition 0.000 claims description 20
- 235000011363 Fragaria x ananassa Nutrition 0.000 claims description 20
- 229910002092 carbon dioxide Inorganic materials 0.000 claims description 11
- 239000001569 carbon dioxide Substances 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 abstract description 8
- 230000012010 growth Effects 0.000 description 19
- 238000003306 harvesting Methods 0.000 description 14
- 230000008901 benefit Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 235000021012 strawberries Nutrition 0.000 description 8
- 230000001186 cumulative effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000003550 marker Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 240000008067 Cucumis sativus Species 0.000 description 1
- 235000009849 Cucumis sativus Nutrition 0.000 description 1
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 241001590997 Moolgarda engeli Species 0.000 description 1
- 235000014676 Phragmites communis Nutrition 0.000 description 1
- 241000758706 Piperaceae Species 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 244000061458 Solanum melongena Species 0.000 description 1
- 235000002597 Solanum melongena Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- LFYJSSARVMHQJB-QIXNEVBVSA-N bakuchiol Chemical compound CC(C)=CCC[C@@](C)(C=C)\C=C\C1=CC=C(O)C=C1 LFYJSSARVMHQJB-QIXNEVBVSA-N 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Landscapes
- Guiding Agricultural Machines (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
特許法第３０条第２項適用申請有り （１） 公開１ 公開日 ２０１９年１０月１日 公開の場所（又はウェブアドレス）ｈｔｔｐｓ：／／ｓｍａｒｔ．ｇｉｎｚａｆａｒｍ．ｃｏ．ｊｐ／ｆａｒｂｏｔ－２／ 公開者 銀座農園株式会社 公開された内容 上記ウェブサイトにおいて、出願に係る発明に関する「ＦＡＲＢＯＴ」について公開した。Application for application of Article 30,
特許法第３０条第２項適用申請有り （２） 公開２ 公開日 ２０１９年１０月１日 公開の場所（又はウェブアドレス）「第２回次世代農林水産フォーラム」（主催：福島イノベーションコースト構想推進協議会） コラッセふくしま４０１会議室（福島県福島市三河南町１－２０） 公開者 銀座農園株式会社 公開された内容 上記フォーラムにおいて、出願に係る発明に関する「ＦＡＲＢＯＴ」について公開した。Application for application of Article 30,
特許法第３０条第２項適用申請有り （３） 公開３ 公開日 ２０１９年１０月９日 公開の場所（又はウェブアドレス）「第９回農業ＷＥＥＫ」（主催：リードエグジビションジャパン株式会社） 幕張メッセ（千葉県千葉市美浜区中瀬２－１） 公開者 銀座農園株式会社 公開された内容 上記「第９回農業ＷＥＥＫ」において、出願に係る発明に関する「ＦＡＲＢＯＴ」について公開した。Application for application of Article 30,
特許法第３０条第２項適用申請有り （４） 公開４ 公開日 ２０１９年１０月２１日 公開の場所（又はウェブアドレス）「地方創生アライアンス研修会」（主催：三井住友海上火災保険株式会社） 三井住友海上駿河台ビル本館１階（東京都千代田区神田駿河台３－１１－１） 公開者 銀座農園株式会社 公開された内容 上記研修会において、出願に係る発明に関する「ＦＡＲＢＯＴ」について公開した。Application for application of Article 30,
特許法第３０条第２項適用申請有り （５） 公開５ 公開日 ２０１９年１０月２５日 公開の場所（又はウェブアドレス）「会津ＩＴ秋フォーラム２０１９」（主催：公立大学法人会津大学） 会津大学ＬＩＣＴｉＡ内（福島県会津若松市一箕町鶴賀） 公開者 銀座農園株式会社 公開された内容 上記フォーラムにおいて、出願に係る発明に関する「ＦＡＲＢＯＴ」について公開した。Application for application of Article 30,
特許法第３０条第２項適用申請有り （６） 公開６ 公開日 ２０１９年１１月２６日 公開の場所（又はウェブアドレス）「栃木県農業ロボット研究ミーティング」（主催：栃木県） 栃木県庁研修館４０１研修室（宇都宮市塙田１－１－２０） 公開者 銀座農園株式会社 公開された内容 上記ミーティングにおいて、出願に係る発明に関する「ＦＡＲＢＯＴ」について公開した。Application for application of Article 30,
特許法第３０条第２項適用申請有り （７） 公開７ 公開日 ２０１９年１２月１６日 公開の場所（又はウェブアドレス）「農業者シンポジウム」（主催：境町） 茨城県境町役場（茨城県猿島郡境町３９１－１） 公開者 銀座農園株式会社 公開された内容 上記シンポジウムにおいて、出願に係る発明に関する「ＦＡＲＢＯＴ」について公開した。Application for application of Article 30,
特許法第３０条第２項適用申請有り （８） 公開８ 公開日 ２０２０年２月７日 公開の場所（又はウェブアドレス）「企業の農業参入セミナー」（主催：茨城県） 常陽つくばビル１０Ｆ大会議室（つくば市吾妻１－１４－２） 公開者 銀座農園株式会社 公開された内容 上記セミナーにおいて、出願に係る発明に関する「ＦＡＲＢＯＴ」について公開した。Application for application of Article 30,
特許法第３０条第２項適用申請有り （９） 公開９ 公開日 ２０２０年２月１３日 公開の場所（又はウェブアドレス）「野村グローバルフード＆アグリフォーラム２０２０」（主催：野村アグリプランニング＆アドバイザリー株式会社） 神田明神 文化交流館ＥＤＯＣＣＯ（東京都千代田区外神田２－１６－２） 公開者 銀座農園株式会社 公開された内容 上記フォーラムにおいて、出願に係る発明に関する「ＦＡＲＢＯＴ」について公開した。Application for application of Article 30,
特許法第３０条第２項適用申請有り （１０） 公開１０ 公開日 ２０２０年２月１５日 公開の場所（又はウェブアドレス）「福島イノベーションコースト構想シンポジウム」（主催：公益財団法人福島イノベーションコースト推進機構） 小高生涯学習センター「浮舟文化会館」（福島県南相馬市小高区本町２－８９－１） 公開者 銀座農園株式会社 公開された内容 上記シンポジウムにおいて、出願に係る発明に関する「ＦＡＲＢＯＴ」について公開した。Application for application of Article 30,
特許法第３０条第２項適用申請有り （１１） 公開１１ 公開日 ２０２０年２月２１日 公開の場所（又はウェブアドレス）「埼玉県ロボットフォーラム」（主催：公益財団法人埼玉県産業振興公社） 埼玉県産業振興公社会議室Ａ（さいたま市中央区上落合２－３－２） 公開者 銀座農園株式会社 公開された内容 上記フォーラムにおいて、出願に係る発明に関する「ＦＡＲＢＯＴ」について公開した。Application for application of Article 30,
本出願において開示された技術は、農場用自走式車両を含むシステム、プログラム、又は方法に関する。 The techniques disclosed in this application relate to systems, programs, or methods, including self-propelled farm vehicles.
農業関連技術の向上が望まれている。 Improvement of agriculture-related technology is desired.
しかしながら、現在の技術において、農業関連技術が不十分な部分がある。そこで、本発明の様々な実施形態は、上記の課題を解決するために、農場用自走式車両を含むシステム、情報処理システム、情報処理装置、サーバー装置、プログラム、携帯端末装置、又は方法を提供する。 However, in the current technology, there is a part where agriculture-related technology is insufficient. Therefore, various embodiments of the present invention provide a system including a self-propelled vehicle for farms, an information processing system, an information processing device, a server device, a program, a portable terminal device, or a method in order to solve the above problems. offer.
本願の第１の実施形態にかかわるシステムは、
農場用自走式車両及び車両外情報処理装置を含むシステムであって、
前記農場用自走式車両は、
前記車両の進行方向上の対象と前記車両との距離を測定する、距離測定センサーと、
駆動輪と、
前記駆動輪を動作させるホイールモータと、
前記ホイールモータを制御するスピードコントローラと、
前記車両の進行方向に対して直角方向であり地上に対して水平方向を撮像方向とする撮像装置であって、互いに相反する方向を撮像方向として、撮像する、２つの撮像装置と、
車両絶対位置情報を取得するアンテナと、
前記距離測定センサーから得た情報を用いて前記車両の両側に平行な仮想壁を生成し、前記仮想壁と平行に前記車両が走行するように前記スピードコントローラを制御可能であり、かつ、前記撮像装置によって撮像された画像の処理が可能である、車両内情報処理装置と、
前記距離測定センサー、前記駆動輪、前記ホイールモータ、前記スピードコントローラ、前記撮像装置、前記アンテナ、及び、前記車両内情報処理装置、に電源を供給する電源装置と、
を備える農場用自走式車両であって、
前記車両内情報処理装置は、
前記撮像装置によって撮像された画像と、前記撮像された日時と、前記アンテナによって取得された車両絶対位置情報と、を関連付ける関連付け部と、
画像と、画像内の色及び形状で分類可能な農作物の分類及び画像内の農作物の相対位置情報と、の関係を機械学習済みの機械学習部であって、前記撮像された画像に対して、前記画像内の色と形状で分類可能な農作物における分類及び前記画像内の前記農作物の相対位置情報を特定する機械学習部と、
前記車両絶対位置情報と、前記相対位置情報と、を用いて、前記撮像された画像の平面と平行な面における前記農作物の絶対位置情報を特定する絶対位置特定部と、
前記分類と、前記絶対位置情報と、前記撮像された日時と、を関連付けて前記車両外情報処理装置に送信する送信部と、
を備え、
前記車両外情報処理装置は、
前記分類と、前記絶対位置情報と、前記撮像された日時と、を受信する受信部と、
前記絶対位置情報と、前記分類と、前記日時と、を用いて、前記農作物の予想収穫可能時期を生成する生成部と、
を備える、システムであってよい。システムが上述の構成を備える場合、後述のとおり車両が蛇行せずに略農場内通路の略中央を走行し、いわゆるサイドカメラが農作物を再現性高く撮像でき、かかる再現性の高い画像内において過去に撮像した画像内の農作物の位置と現在撮像した画像内の農作物の位置の照合が可能となり、もって、予想収穫可能時期を生成できるという利点を有する。
The system according to the first embodiment of the present application is
A system that includes self-propelled vehicles for farms and information processing equipment outside the vehicle.
The self-propelled vehicle for farms
A distance measurement sensor that measures the distance between the object in the traveling direction of the vehicle and the vehicle,
With the drive wheels
A wheel motor that operates the drive wheels and
The speed controller that controls the wheel motor and
An image pickup device that is perpendicular to the traveling direction of the vehicle and has a horizontal direction as an image pickup direction with respect to the ground, and two image pickup devices that take images with directions opposite to each other as image pickup directions.
An antenna that acquires the absolute position information of the vehicle, and
Using the information obtained from the distance measurement sensor, virtual walls parallel to both sides of the vehicle can be generated, and the speed controller can be controlled so that the vehicle runs parallel to the virtual wall, and the image pickup is performed. An in-vehicle information processing device capable of processing images captured by the device, and
A power supply device that supplies power to the distance measurement sensor, the drive wheel, the wheel motor, the speed controller, the image pickup device, the antenna, and the in-vehicle information processing device.
It is a self-propelled vehicle for farms equipped with
The in-vehicle information processing device is
An association unit that associates the image captured by the image pickup device with the date and time of the image capture and the vehicle absolute position information acquired by the antenna.
The machine learning unit has machine-learned the relationship between the image, the classification of agricultural products that can be classified by the color and shape in the image, and the relative position information of the agricultural products in the image. A machine learning unit that identifies classifications in agricultural products that can be classified by color and shape in the image and relative position information of the agricultural products in the image.
An absolute position specifying unit that specifies the absolute position information of the crop on a plane parallel to the plane of the captured image by using the vehicle absolute position information and the relative position information.
A transmission unit that associates the classification, the absolute position information, and the imaged date and time with each other and transmits the information processing apparatus outside the vehicle to the information processing apparatus outside the vehicle.
Equipped with
The information processing device outside the vehicle is
A receiving unit that receives the classification, the absolute position information, and the date and time when the image was taken.
A generation unit that generates an expected harvestable time of the crop using the absolute position information, the classification, and the date and time.
It may be a system provided with. When the system has the above-mentioned configuration, as described later, the vehicle travels approximately in the center of the passage in the farm without meandering, and the so-called side camera can image the crop with high reproducibility, and the past in such a highly reproducible image. It is possible to collate the position of the crop in the image captured in the image with the position of the crop in the image currently captured, and thus has an advantage that the expected harvestable time can be generated.
ここで、前記車両の進行方向上の対象と前記車両との距離を測定する、距離測定センサーは、車両の前方方向の対象の距離が測定可能であり、特に、車両の前方両側にある農作物との距離を測定可能であって、それらの農作物と車両との距離を測定し、後述の仮想壁の生成に必要な距離情報を収集可能である。
また、前記車両の進行方向に対して直角方向であり地上に対して水平方向を撮像方向とする撮像装置であって、互いに相反する方向を撮像方向として、撮像する、２つの撮像装置は、いわゆる、サイドカメラであり、車両の両側にある農作物を撮像可能とし、これらの農作物を撮像するものである。
車両絶対位置情報を取得するアンテナは、後述するとおり、例えば、GPSなどの絶対位置情報を取得するために使用されるものである。
前記距離測定センサーから得た情報を用いて前記車両の両側に平行な仮想壁を生成し、前記仮想壁と平行に前記車両が走行するように前記スピードコントローラを制御可能であり、かつ、前記撮像装置によって撮像された画像の処理が可能である、車両内情報処理装置は、車両を自走させたり蛇行させたりする技術は従来技術であることに対し、車両の前方両側に平行な仮想壁を生成し、かかる弊酷な仮想壁と平行に車両を進行させるよう制御することを一つの特徴としている。
Here, the distance measuring sensor, which measures the distance between the object in the traveling direction of the vehicle and the vehicle, can measure the distance of the object in the front direction of the vehicle, and in particular, with agricultural products on both sides in front of the vehicle. It is possible to measure the distance between these crops and the vehicle, and collect the distance information necessary for the generation of the virtual wall described later.
Further, the two image pickup devices that are perpendicular to the traveling direction of the vehicle and have the horizontal direction as the image pickup direction with respect to the ground and take images with the directions opposite to each other as the image pickup directions are so-called. , A side camera, which enables images of agricultural products on both sides of a vehicle and images these agricultural products.
As will be described later, the antenna for acquiring the vehicle absolute position information is used for acquiring the absolute position information such as GPS.
Using the information obtained from the distance measurement sensor, virtual walls parallel to both sides of the vehicle can be generated, and the speed controller can be controlled so that the vehicle runs parallel to the virtual wall, and the image pickup is performed. The in-vehicle information processing device, which can process the image captured by the device, has a virtual wall parallel to both sides in front of the vehicle, whereas the technology for making the vehicle self-propelled or meandering is the conventional technology. One of the features is to generate and control the vehicle to move in parallel with such a terrible virtual wall.
本願の第２の実施形態にかかわるシステムは、第１のシステムにおいて、前記車両内情報処理装置は、前記機械学習部による処理と、前記スピードコントローラの制御と、を異なるタイミングで実行する、ものである。 In the system according to the second embodiment of the present application, in the first system, the in-vehicle information processing device executes processing by the machine learning unit and control of the speed controller at different timings. be.
本願の第３の実施形態にかかわるシステムは、第１又は第２のシステムにおいて、
前記予想収穫可能時期を生成する生成部は、前記分類と、過去の分類とを用いて、前記予想収穫可能時期を特定し、
前記過去の分類は、前記絶対位置情報と、過去に受信した絶対位置情報とが照合されることによって判明した、前記過去に受信した絶対位置情報と関連付けられた分類である、
ものである。
The system according to the third embodiment of the present application is in the first or second system.
The generation unit that generates the expected harvestable time identifies the expected harvestable time by using the above classification and the past classification.
The past classification is a classification associated with the absolute position information received in the past, which is found by collating the absolute position information with the absolute position information received in the past.
It is a thing.
本願の第４の実施形態にかかわるシステムは、第１乃至第３のいずれか一のシステムにおいて、
前記農作物は、いちごである、
ものである。
The system according to the fourth embodiment of the present application is in any one of the first to third systems.
The crop is strawberry,
It is a thing.
本願の第５の実施形態にかかわるシステムは、第１乃至第４のいずれか一のシステムにおいて、
前記車両は、温度、湿度、及び二酸化炭素量を測定する環境センサーを備え、
前記送信部は、測定された、前記温度、前記湿度、及び前記二酸化炭素量を、前記車両外情報処理装置に送信し、
前記車両外情報処理装置内の前記受信部は、前記温度、前記湿度、及び前記二酸化炭素量を受信する、
ものである。
The system according to the fifth embodiment of the present application is in any one of the first to fourth systems.
The vehicle is equipped with environmental sensors that measure temperature, humidity, and carbon dioxide content.
The transmission unit transmits the measured temperature, humidity, and carbon dioxide amount to the out-of-vehicle information processing apparatus.
The receiving unit in the information processing device outside the vehicle receives the temperature, the humidity, and the amount of carbon dioxide.
It is a thing.
本願の第６の実施形態にかかわるシステムは、第１乃至第５のいずれか一のシステムにおいて、
前記予想収穫可能時期、前記温度、前記湿度、及び前記二酸化炭素量は、携帯端末から前記車両外情報処理装置にアクセスした場合に、前記車両外情報処理装置から前記携帯端末に送信される、
ものである。
The system according to the sixth embodiment of the present application is in any one of the first to fifth systems.
The expected harvestable time, the temperature, the humidity, and the amount of carbon dioxide are transmitted from the out-of-vehicle information processing device to the mobile terminal when the out-of-vehicle information processing device is accessed from the mobile terminal.
It is a thing.
本願の第７の実施形態にかかわるシステムは、第１乃至第６のいずれか一のシステムにおいて、
前記車両内情報処理装置内の記憶装置は、前記撮像された画像を記憶する、
ものである。
The system according to the seventh embodiment of the present application is in any one of the first to sixth systems.
The storage device in the in-vehicle information processing device stores the captured image.
It is a thing.
本願の第８の実施形態にかかわる方法は、
農場用自走式車両及び車両外情報処理装置を含むシステムを用いた方法であって、
前記農場用自走式車両は、距離測定センサー、駆動輪、ホイールモータ、スピードコントローラ、２つの撮像装置、アンテナ、車両内情報処理装置、電源装置を備え、
前記距離測定センサーが、前記車両の進行方向上の対象と前記車両との距離を測定し、
前記ホイールモータが、前記駆動輪を動作させ、
前記スピードコントローラが、前記ホイールモータを制御し、
前記２つの撮像装置が、前記車両の進行方向に対して直角方向であり地上に対して水平方向であって、互いに相反する方向を撮像方向として、撮像し、
前記アンテナが、車両絶対位置情報を取得し、
前記車両内情報処理装置が、前記距離測定センサーから得た情報を用いて前記車両の両側に平行な仮想壁を生成し、前記仮想壁と平行に前記車両が走行するように前記スピードコントローラを制御可能であり、かつ、前記撮像装置によって撮像された画像の処理が可能であり、
前記電源装置が、前記距離測定センサー、前記駆動輪、前記ホイールモータ、前記スピードコントローラ、前記撮像装置、前記アンテナ、及び、前記車両内情報処理装置、に電源を供給し、
更に、前記車両内情報処理装置は、
関連付け部が、前記撮像装置によって撮像された画像と、前記撮像された日時と、前記アンテナによって取得された車両絶対位置情報と、を関連付けるステップと、
画像と、画像内の色及び形状で分類可能な農作物の分類及び画像内の農作物の相対位置情報と、の関係を機械学習済みの機械学習部が、前記撮像された画像に対して、前記画像内の色と形状で分類可能な農作物における分類及び前記画像内の前記農作物の相対位置情報を特定するステップと、
絶対位置特定部が、前記車両絶対位置情報と、前記相対位置情報と、を用いて、前記撮像された画像の平面と平行な面における前記農作物の絶対位置情報を特定し、
送信部が、前記分類と、前記絶対位置情報と、前記撮像された日時と、を関連付けて前記車両外情報処理装置に送信するステップと、
を実行し、
前記車両外情報処理装置は、
受信部が、前記分類と、前記絶対位置情報と、前記撮像された日時と、を受信するステップと、
生成部が、前記絶対位置情報と、前記分類と、前記日時と、を用いて、前記農作物の予想収穫可能時期を生成するステップと、
を実行する、
ものである。
The method according to the eighth embodiment of the present application is
It is a method using a system including a self-propelled vehicle for farms and an information processing device outside the vehicle.
The self-propelled vehicle for farms includes a distance measurement sensor, a drive wheel, a wheel motor, a speed controller, two image pickup devices, an antenna, an in-vehicle information processing device, and a power supply device.
The distance measurement sensor measures the distance between the object in the traveling direction of the vehicle and the vehicle.
The wheel motor operates the drive wheels,
The speed controller controls the wheel motor,
The two image pickup devices take an image in a direction perpendicular to the traveling direction of the vehicle and a horizontal direction with respect to the ground, with directions opposite to each other as an image pickup direction.
The antenna acquires the vehicle absolute position information and
The in-vehicle information processing device uses information obtained from the distance measurement sensor to generate virtual walls parallel to both sides of the vehicle, and controls the speed controller so that the vehicle runs parallel to the virtual walls. It is possible, and it is possible to process the image captured by the image pickup device.
The power supply device supplies power to the distance measurement sensor, the drive wheel, the wheel motor, the speed controller, the image pickup device, the antenna, and the in-vehicle information processing device.
Further, the in-vehicle information processing device is
A step in which the association unit associates the image captured by the image pickup device with the date and time of the image capture and the vehicle absolute position information acquired by the antenna.
The machine learning unit, which has machine-learned the relationship between the image, the classification of agricultural products that can be classified by the color and shape in the image, and the relative position information of the agricultural products in the image, has the image with respect to the captured image. A step of classifying crops that can be classified by color and shape in the image and specifying relative position information of the crop in the image.
The absolute position specifying unit uses the vehicle absolute position information and the relative position information to specify the absolute position information of the crop on a plane parallel to the plane of the captured image.
A step in which the transmission unit associates the classification, the absolute position information, and the captured date and time with each other and transmits the step to the information processing apparatus outside the vehicle.
And run
The information processing device outside the vehicle is
A step in which the receiving unit receives the classification, the absolute position information, and the date and time when the image was captured.
A step in which the generation unit uses the absolute position information, the classification, and the date and time to generate the expected harvestable time of the crop.
To execute,
It is a thing.
本願の第９の実施形態にかかわる方法は、第８の方法において、
前記農作物はいちごである、
ものである。
The method according to the ninth embodiment of the present application is in the eighth method.
The crop is strawberry,
It is a thing.
本願の第１０の実施形態にかかわる方法は、第８又は９の方法において、
前記車両内情報処理装置内の記憶装置は、前記撮像された画像を記憶する、
ものである。
The method according to the tenth embodiment of the present application is in the eighth or ninth method.
The storage device in the in-vehicle information processing device stores the captured image.
It is a thing.
本願発明の一実施形態により、農業関連技術を高度化できる。 According to one embodiment of the present invention, agriculture-related techniques can be advanced.
本願発明に係る一実施形態のシステムは、農業用自走式車両に関連し、農業に係る情報を収集するものである。 The system of one embodiment according to the present invention is related to a self-propelled vehicle for agriculture and collects information related to agriculture.
図１は、かかる一実施形態のシステムの一態様を図示したものである。本願発明に係る一実施形態のシステムは、農場用自走式車両及び車両外情報処理装置を含むシステムであってよい。本図において、農場用自走式車両と、車両外情報処理装置と、は互いに直接又は間接的に接続可能であってよい。車両外情報処理装置は、車両の外にある情報処理装置であり、記憶装置及び演算装置を備え、他の情報処理装置と直接又は間接的に情報をやり取り可能な一般的なコンピュータであってよく、その態様は、サーバー、クラウド、などであってよい。 FIG. 1 illustrates one aspect of the system of such an embodiment. The system of one embodiment according to the present invention may be a system including a self-propelled vehicle for farms and an information processing device outside the vehicle. In this figure, the self-propelled farm vehicle and the out-of-vehicle information processing device may be directly or indirectly connectable to each other. The information processing device outside the vehicle is an information processing device outside the vehicle, and may be a general computer provided with a storage device and an arithmetic device and capable of directly or indirectly exchanging information with another information processing device. , The embodiment may be a server, cloud, or the like.
図２は、本願発明に係る一実施形態のシステム内の農場用自走式車両の一態様を図示したものである。本願発明に係る一実施形態のシステム内の農場用自走式車両は、前記農場用自走式車両は、前記車両の進行方向上の対象と前記車両との距離を測定する、距離測定センサー（２０１）と、駆動輪と、前記駆動輪を動作させるホイールモータ（２０２）と、前記ホイールモータを制御するスピードコントローラ（２０３）と、前記車両の進行方向に対して直角方向であり地上に対して水平方向を撮像方向とする撮像装置であって、互いに相反する方向を撮像方向として、撮像する、２つの撮像装置（２０４）と、車両絶対位置情報を取得するアンテナ（２０５）と、前記距離測定センサーから得た情報を用いて前記車両の両側に平行な仮想壁を生成し、前記仮想壁と平行に前記車両が走行するように前記スピードコントローラを制御可能であり、かつ、前記撮像装置によって撮像された画像の処理が可能である、車両内情報処理装置（２０７）と、前記距離測定センサー、前記駆動輪、前記ホイールモータ、前記スピードコントローラ、前記撮像装置、前記アンテナ、及び、前記車両内情報処理装置、に電源を供給する電源装置（２０８）と、を備える農場用自走式車両であってよい。 FIG. 2 illustrates an aspect of a self-propelled farm vehicle in the system of one embodiment according to the present invention. The farm self-propelled vehicle in the system of one embodiment according to the present invention is a distance measuring sensor (the farm self-propelled vehicle measures the distance between an object in the traveling direction of the vehicle and the vehicle). 201), the drive wheels, the wheel motor (202) that operates the drive wheels, the speed controller (203) that controls the wheel motors, and the direction perpendicular to the traveling direction of the vehicle and with respect to the ground. Two image pickup devices (204) that take the horizontal direction as the image pickup direction and take images in the directions opposite to each other, the antenna (205) that acquires the absolute position information of the vehicle, and the distance measurement. Using the information obtained from the sensor, virtual walls parallel to both sides of the vehicle can be generated, the speed controller can be controlled so that the vehicle runs parallel to the virtual wall, and the image is captured by the image pickup device. An in-vehicle information processing device (207) capable of processing the image, the distance measurement sensor, the drive wheel, the wheel motor, the speed controller, the image pickup device, the antenna, and the in-vehicle information. It may be a self-propelled farm vehicle equipped with a power supply device (208) for supplying power to the processing device.
ここで、距離測定センサー２０１と、ホイールモータ２０２と、スピードコントローラ２０３と、サイドカメラ（２０４）と、環境センサー（２０６）と、車両内情報処理装置（２０７）と、電源装置（２０８）、の各々の、各構成要素自体は、市場で購入可能なものであってよく、公知の技術であってよい。本願発明は、後述するとおり、これらの各構成要素の組み合わせ及びその制御について特徴があるものである。車両内情報処理装置は、車両に設置されている情報処理装置であり、記憶装置及び演算装置を備える一般的なコンピュータであってよい。
Here, the
また、農場用自走式車両は、農場用自走式車両を支えるキャスター（２０９）を備えてよい。また、農場用自走式車両は、農場用自走式車両外の情報処理装置と、直接又は間接的に情報の送信及び受信が可能な、ネットワークアンテナ２１０を備えてよい。かかるキャスター及びかかるネットワークアンテナは、情報処理装置と情報の送信及び受信が可能な公知の技術が用いられてよい。
In addition, the self-propelled farm vehicle may be provided with casters (209) that support the self-propelled farm vehicle. Further, the self-propelled farm vehicle may include an information processing device outside the self-propelled farm vehicle and a
また、位置情報を取得可能なアンテナ２０５は、GPSを測定可能なGNSSアンテナであってよい。また、その他のアンテナの態様として、RTK（Real TIME Kinematic）を用いたアンテナであってもよい。これらのアンテナを用いて位置情報を取得する機能は、公知の技術を用いてよい。
Further, the
ただし、従来、ほ場では高設架台や作物が視界を遮るため、走行している車体を発見しにくいという課題があった。そこで、自走機構にマーカーが設置されてよい。マーカーは高設架台や作物より高い位置に設置されてよい。例えば、GNSSアンテナを使用する場合、アンテナは高設架台や作物より高い場所にある事が望ましい。また、例えば、高設架台や作物より高い位置に走行位置を示すマーカーと、その上にGNSSアンテナを設置されてよい。 However, in the past, there was a problem that it was difficult to find a running vehicle body because an elevated pedestal and crops obstructed the view in the field. Therefore, a marker may be installed in the self-propelled mechanism. The marker may be placed higher than the elevated pedestal or crop. For example, when using a GNSS antenna, it is desirable that the antenna be higher than the elevated platform or crop. Further, for example, a marker indicating the traveling position at a position higher than the elevated pedestal or the crop, and a GNSS antenna may be installed on the marker.
図３は、本願発明に係る一実施形態のシステム内の自走式車両の走行イメージを図示したものである。本願書類において、自走とは、壁から一定の距離を保ちつつ、障害物の回避などを含めたルート走行を行う機能である。 FIG. 3 illustrates a running image of a self-propelled vehicle in the system of one embodiment according to the present invention. In the document of the present application, self-propelled is a function of performing route traveling including avoidance of obstacles while maintaining a certain distance from the wall.
かかる自走を行うにあたり、従来技術における通路を走行する自走式車両では、深度カメラ等を用い、凹凸の少ない壁からの距離情報を取得し自走式車両と壁との距離、角度を算出するものがあった。その結果、自走式車両は壁から一定の距離と角度を保ちながら走行できる場合もある。 In performing such self-propelling, in a self-propelled vehicle traveling in a passage in the prior art, a depth camera or the like is used to acquire distance information from a wall with few irregularities and calculate the distance and angle between the self-propelled vehicle and the wall. There was something to do. As a result, self-propelled vehicles may be able to travel while maintaining a certain distance and angle from the wall.
しかしながら、従来技術においては、農場用の場合において自走する場合、両側の作物は生育により凹凸が生じうる。そのため、深度カメラから取得される距離データを元に作物との距離と角度を一定に保ちながら走行すると、自走式車両は蛇行しながら走行するという問題が生じる。 However, in the prior art, when self-propelled for farm use, the crops on both sides can grow uneven. Therefore, if the vehicle travels while keeping the distance and angle to the crops constant based on the distance data acquired from the depth camera, the self-propelled vehicle travels while meandering.
そこで、本願発明に係る一実施形態のシステムが、深度カメラ等を用い、進行方向にある物体との距離を計測、計測結果から凹凸の少ない両側の仮想壁を構築し、かかる両側の仮想壁との距離と角度を一定に保ちながら自走式車両を走行させることが可能となる。両側の仮想壁の構築には、進行方向にある物体の凹凸の平均等を用いる。より具体的には、自機と仮想壁との角度を一定に保つため、自機の中心位置から進行方向へ一定間隔で仮想壁との距離を測定し、自機と壁との角度が平行となるようにスピードモーターを制御し、かかるスピードモーターの制御によって、ホイールモータを制御する。なお、壁の間隔が狭い場合や、走行面に障害物がある場合は停止もしくは回避、迂回等の行動を行ってよい。なお、距離測定センサー（深度カメラ）の方向の角度は、進行方向に向いてもよいし多少下方方向を向けてもよい。例えば、深度カメラは、地上に対して水平方向乃至前記水平方向から下方向に２０度の範囲のうちの一の方向に向けられてよい。かかる深度センサーの角度は、かかる深度センサーの垂直視野角に依存してよい。例えば、垂直視野角40°であれば、例えば、好ましくは、地上に対して水平方向から下方向に１０度の方向に向けられてよく、最大で、地上に対して水平方向から下方向に２０度程度まで下方に向けてよい。かかる深度カメラは、仮想壁構築のために必要な水平方向の視野を確保できる範囲で、カメラを斜め下に向けられてよい。 Therefore, the system of one embodiment according to the present invention measures the distance to an object in the traveling direction using a depth camera or the like, constructs virtual walls on both sides with less unevenness from the measurement results, and forms virtual walls on both sides. It is possible to drive a self-propelled vehicle while keeping the distance and angle constant. To construct the virtual walls on both sides, the average of the unevenness of the object in the traveling direction is used. More specifically, in order to keep the angle between the own machine and the virtual wall constant, the distance between the own machine and the virtual wall is measured at regular intervals from the center position of the own machine in the traveling direction, and the angle between the own machine and the wall is parallel. The speed motor is controlled so as to be, and the wheel motor is controlled by the control of the speed motor. If the distance between the walls is narrow or if there is an obstacle on the running surface, actions such as stopping, avoiding, and detouring may be performed. The angle in the direction of the distance measurement sensor (depth camera) may be directed in the traveling direction or slightly downward. For example, the depth camera may be directed in one of a range of 20 degrees horizontally or downward from the horizontal with respect to the ground. The angle of the depth sensor may depend on the vertical viewing angle of the depth sensor. For example, if the vertical viewing angle is 40 °, for example, it may be preferably oriented 10 degrees downward from the horizontal direction with respect to the ground, and 20 degrees downward from the horizontal direction with respect to the ground at the maximum. You may turn it downward to the extent of the degree. Such a depth camera may be directed diagonally downward to the extent that the horizontal field of view required for virtual wall construction can be secured.
このように、本願発明に係る一実施形態のシステムが、上述の構成を備える場合、蛇行走行ではなく、両側の仮想壁に対して平行に走行できるという利点がある。特に、後述のとおり、本願発明に係る一実施形態のシステムが、サイドカメラを備えて農作物を撮像し、かかる農作物の形状等に基づいて位置情報を特定し、その位置情報によって農作物を照合して成長状況のデータを収集する場合、蛇行走行では撮像画像の再現性が向上する、という利点がある。ここで、撮像画像の再現性とは、異なるタイミングで、同一撮像位置から撮像が可能になることを意味する。 As described above, when the system of one embodiment according to the present invention has the above-mentioned configuration, there is an advantage that the system can travel in parallel to the virtual walls on both sides instead of meandering. In particular, as will be described later, the system of the embodiment according to the present invention takes an image of a crop with a side camera, specifies position information based on the shape of the crop, and collates the crop with the position information. When collecting growth status data, there is an advantage that the reproducibility of the captured image is improved in meandering running. Here, the reproducibility of the captured image means that imaging is possible from the same imaging position at different timings.
図４は、本願発明に係る一実施形態のシステムにおけるフローの一態様を図示したものである。開始すると（４０１）、まず時刻を同期させ（４０２）、時刻の同期が成功すると、現在位置の特定（４０３）を行う。現在位置の特定が成功すると、センサー情報を取得する（４０４）。これらのステップにおいては、情報が取得できない場合は、情報を取得できるまで繰り返してよい。次に、日時、位置、センサー情報を記録し（４０５）、移動する（４０６）。移動後に現在位置を特定し（４０７）、現在位置が特定できた場合には、日時、位置、センサー情報を記録し（４０８）、位置が特定できない場合には、日時、センサー情報を記録する（４０９）。終了していない場合には、再度、移動して、上述を繰り返す。このように、移動のたびに、位置の取得を試みつつ、日時、センサー情報を取得して記録することにより、移動後の位置を可能な限り情報として取得し、後述のとおり、かかる位置情報（絶対位置情報）を用いて、車両の撮像装置から撮像された画像内の農作物の相対位置を特定し、これらを用いて、農作物の絶対位置を特定可能となる。なお、図４における現在位置の特定は、上述のGNSSアンテナを用いた位置情報であってよく、GPSを用いた位置情報であってよい。 FIG. 4 illustrates one aspect of the flow in the system of one embodiment according to the present invention. When it starts (401), the time is first synchronized (402), and when the time synchronization is successful, the current position is specified (403). If the current position is successfully identified, sensor information is acquired (404). If the information cannot be obtained, these steps may be repeated until the information can be obtained. Next, the date and time, position, and sensor information are recorded (405) and moved (406). After moving, the current position is specified (407), and if the current position can be specified, the date and time, position, and sensor information are recorded (408), and if the position cannot be specified, the date and time and sensor information are recorded (). 409). If it is not finished, move it again and repeat the above. In this way, by acquiring and recording the date and time and sensor information while trying to acquire the position each time the movement is made, the position after the movement is acquired as much information as possible, and as described later, such position information ( Absolute position information) is used to specify the relative position of the crop in the image captured by the image pickup device of the vehicle, and these can be used to specify the absolute position of the crop. The designation of the current position in FIG. 4 may be position information using the above-mentioned GNSS antenna, or may be position information using GPS.
図５は、本願発明に係る一実施形態のシステム内において利用される農作物（いちご）の分類の一態様を図示したものである。 FIG. 5 illustrates one aspect of classification of agricultural products (strawberry) used in the system of one embodiment according to the present invention.
本願発明に係る一実施形態のシステム内における情報処理装置は、画像の処理が可能であってよい。かかる前記前記撮像された画像の処理が可能な車両内情報処理装置は、
前記撮像装置によって撮像された画像と、前記撮像された日時と、前記アンテナによって取得された車両絶対位置情報と、を関連付ける関連付け部と、
画像と、画像内の色及び形状で分類可能な農作物の分類及び画像内の農作物の相対位置情報と、の関係を機械学習済みの機械学習部であって、前記撮像された画像に対して、前記画像内の色と形状で分類可能な農作物における分類及び前記画像内の前記農作物の相対位置情報を特定する機械学習部と、
前記車両絶対位置情報と、前記相対位置情報と、を用いて、前記撮像された画像の平面と平行な面における前記農作物の絶対位置情報を特定する絶対位置特定部と、
を備えてよい。かかる車両内情報処理装置は、上述のように記憶装置と演算装置とを有する一般的な情報処理装置によって実現されてよい。
The information processing apparatus in the system of one embodiment according to the present invention may be capable of processing images. The in-vehicle information processing device capable of processing the captured image is
An association unit that associates the image captured by the image pickup device with the date and time of the image capture and the vehicle absolute position information acquired by the antenna.
The machine learning unit has machine-learned the relationship between the image, the classification of agricultural products that can be classified by the color and shape in the image, and the relative position information of the agricultural products in the image. A machine learning unit that identifies classifications in agricultural products that can be classified by color and shape in the image and relative position information of the agricultural products in the image.
An absolute position specifying unit that specifies the absolute position information of the crop on a plane parallel to the plane of the captured image by using the vehicle absolute position information and the relative position information.
May be prepared. Such an in-vehicle information processing device may be realized by a general information processing device having a storage device and an arithmetic unit as described above.
まず、かかる車両内情報処理装置は、前記撮像された画像と、前記撮像された日時と、前記アンテナによって取得された位置情報と、を関連付ける関連付け部を有してよい。例えば、かかる車両内情報処理装置は、撮像された画像と、前記撮像された日時と、前記画像が撮像された絶対的位置情報を示す前記アンテナによって取得された位置情報と、を関連付けて記憶装置に記憶してよい。かかるアンテナによって取得された位置情報は、上述のとおり、絶対的な位置を示すものであってよい。 First, the in-vehicle information processing device may have an association unit that associates the captured image with the captured date and time and the position information acquired by the antenna. For example, the in-vehicle information processing device is a storage device that associates the captured image with the date and time when the image was captured and the position information acquired by the antenna indicating the absolute position information on which the image was captured. You may remember it. The position information acquired by such an antenna may indicate an absolute position as described above.
また、かかる車両内情報処理装置は、画像と、画像内の色及び形状で分類可能な農作物の分類及び画像内の前記農作物の位置と、の関係を機械学習済みの機械学習部を有してよい。かかる機械学習が可能である機械学習部自体は、オープンソースなどでインターネット上から入手可能な、公知なソフトウェアによって実現されてよい。機械学習を実現可能なオープンソースとしては、例えば、オープンソースニューラルネットワークのDarknetと物体検出アルゴリズムYOLOが挙げられる。車両内情報処理装置におけるかかる機械学習部は、予め、画像と、画像内の色及び形状で分類可能な農作物の分類及び画像内の前記農作物の位置と、の関係を機械学習しておいてよい。これにより、かかる機械学習部は、画像を入力とすることにより、画像内の画像内の色及び形状で分類可能な農作物の分類及び画像内の前記農作物の位置を出力可能な機能を有する。 Further, the in-vehicle information processing apparatus has a machine learning unit in which the relationship between the image, the classification of the crops that can be classified by the color and shape in the image, and the position of the crop in the image has been machine-learned. good. The machine learning unit itself capable of such machine learning may be realized by known software available on the Internet such as open source. Examples of open sources that can realize machine learning include Darknet, an open source neural network, and YOLO, an object detection algorithm. The machine learning unit in the in-vehicle information processing apparatus may machine-learn the relationship between the image, the classification of agricultural products that can be classified by the color and shape in the image, and the position of the agricultural product in the image. .. Thereby, the machine learning unit has a function of being able to classify the crops that can be classified by the color and shape in the image in the image and output the position of the crop in the image by inputting the image.
色及び形状で分類可能な農作物としては、たとえば、本図のいちごが挙げられる。いちごでは、成長に伴い、緑色から、白、赤、と色が変化し、かつ、形状も、少しずつ大きくなっていく。そこで、これらの成長を、本図の項の２乃至８にあるとおりに、分類することが可能となる。なお、各分類は、成長の日数が実験的に求められていてよい。これにより、あるいちごが、特定の分類に分類された場合、対応して累計日数を、一定の幅で、特定可能である。また、いちごが、成熟して、収穫可能な類型日数も２８日と予め明らかであることから、いちごの分類に応じて、何時頃の収穫が可能であるかという予測も可能となる。 Examples of agricultural products that can be classified by color and shape include strawberries in this figure. As the strawberry grows, the color changes from green to white to red, and the shape gradually increases. Therefore, it is possible to classify these growths as shown in 2 to 8 of the section of this figure. In each classification, the number of days of growth may be determined experimentally. As a result, when a certain strawberry is classified into a specific classification, the cumulative number of days can be specified in a certain range. In addition, since it is clear in advance that the number of varieties of strawberries that can be harvested is 28 days when the strawberries are matured, it is possible to predict when the strawberries can be harvested according to the classification of the strawberries.
以上のとおり、車両内情報処理装置におけるかかる機械学習部が、予め、画像と、画像内の色及び形状で分類可能な農作物の分類及び画像内の前記農作物の位置と、の関係を機械学習しておくことにより、ある撮像された画像がかかる機械学習部に適用されることによって、かかる画像内の色と形状で分類可能な農作物（例えば、いちご）に対応する分類（例えば、本図における「項」の２乃至８のいずれか）及び画像内の前記農作物の位置を特定することが可能となる。
As described above, the machine learning unit in the in-vehicle information processing device machine-learns the relationship between the image, the classification of agricultural products that can be classified by the color and shape in the image, and the position of the agricultural product in the image. By setting, a certain captured image is applied to such a machine learning unit, so that the classification corresponding to the agricultural product (for example, strawberry) that can be classified by the color and shape in the image (for example, "for example," in this figure ".
また、画像内の農作物の位置は、機械学習の物体検出によって、可能である。かかる物体検出の技術自体は、公知技術を用いてよい。 Also, the position of the crop in the image is possible by machine learning object detection. As the object detection technique itself, a known technique may be used.
図６は、本願発明に係る一実施形態のシステムに係る農作物の位置を特定する一態様を図示したものである。 FIG. 6 illustrates an aspect of specifying the position of an agricultural product according to the system of one embodiment according to the present invention.
従来、同一の作物に対し、連続的に生育状況を把握するには、定点（位置を固定した状態）で作物を撮影する必要があった。しかしながら、位置を固定した撮像装置によって撮像可能な範囲は限られるため、広範囲で多数の対象に対して連続的に生育状況を把握することが出来ないという課題があった。 Conventionally, in order to continuously grasp the growth status of the same crop, it was necessary to photograph the crop at a fixed point (fixed position). However, since the range that can be imaged by the image pickup device with a fixed position is limited, there is a problem that it is not possible to continuously grasp the growth situation for a large number of objects in a wide range.
そこで、農作物を撮像する撮像装置に係る絶対座標と、かかる撮像された画像内の農作物の相対座標と、を組み合わせることによって、農作物の絶対座標の位置を特定してよい。 Therefore, the position of the absolute coordinates of the crop may be specified by combining the absolute coordinates of the image pickup device for imaging the crop and the relative coordinates of the crop in the captured image.
まず、本願発明に係る一実施形態のシステムに係る農場用自走式車両に固定した撮像装置によって撮像された場合、撮像された画像（映像）の記録と同時に、記録した映像に以下で述べる位置情報（絶対座標であり、相対座標を含まない）を付加する仕組みを持ってよい。映像は１秒間に３０フレームであってよく、フレームごとに、位置情報を取得し、撮像された画像と、撮像された車両の絶対座標の位置情報とを関連付けて記憶してよい。また、同様に、撮像された日時も、かかる画像及び位置情報と関連付けて、記憶してよい。位置情報は、映像のメタ情報として記録してもよいし、撮影したフレーム番号と関連付けてログデータとして記録しても良い。すなわち、本願発明に係る一実施形態のシステムに係る農場用自走式車両に係る車両内情報処理装置は、撮像された画像と、前記アンテナによって取得された位置情報と、を関連付ける関連付け部を備えてよい。かかる構成により、画像が撮像された場合に、かかる画像が撮像された、絶対座標の位置座標を記憶できる利点がある。 First, when an image is taken by an image pickup device fixed to a self-propelled farm vehicle according to the system of one embodiment according to the present invention, the captured image (video) is recorded and at the same time, the position described in the recorded image is described below. It may have a mechanism to add information (absolute coordinates, not including relative coordinates). The image may be 30 frames per second, and the position information may be acquired for each frame, and the captured image may be stored in association with the position information of the absolute coordinates of the captured vehicle. Similarly, the date and time when the image was taken may be stored in association with the image and the position information. The position information may be recorded as meta information of the video, or may be recorded as log data in association with the captured frame number. That is, the in-vehicle information processing device according to the self-propelled farm vehicle according to the system of one embodiment according to the present invention includes an association unit that associates the captured image with the position information acquired by the antenna. It's okay. With such a configuration, when an image is captured, there is an advantage that the position coordinates of the absolute coordinates in which the image is captured can be stored.
また、撮像された画像内において、物体検出によって特定された農作物（いちご）の相対座標を特定する。図６の上部の破線で囲まれた部分が、撮像された画像を正面から見たものであり、本図の下部の二点鎖線で囲まれた部分が、撮像装置と撮像対象とを上方から見たものであり、互いに関連付けて、図示している。上部の破線内のように、機械学習済み機械学習部の物体検出によって検出されたいちごの位置を、画像内のデカルト座標のＸ、Ｙ座標で特定可能となる。ここで図示されたＹ座標は高さ方向に対応することから、撮像装置の高さとＹ座標とを利用することで、いちごの絶対的な高さの位置が判明する。また、図示されたＸ座標と撮像装置（農場用自走式車両、又はアンテナ）の絶対位置を用いることでかかるＸ座標方向における絶対位置が判明する。なお、かかるＸ座標と直角関係にある方向の座標（要するに画像から見て奥行き方向の座標）は、画像内から特定されなくてもよい。画像内におけるデカルト座標に基づく相対位置座標と、車両に固定された撮像装置（又は定数の距離の際の関係にある農場用自走式車両）の車両絶対位置座標が判明すれば、撮像装置が上述の仮想壁に平行に移動するに伴い撮像する画像の平面と平行な面における各いちごの位置は特定可能であることから、後述のイチゴの位置の照合が可能であるためである。 In addition, the relative coordinates of the crop (strawberry) specified by the object detection are specified in the captured image. The part surrounded by the broken line in the upper part of FIG. 6 is the front view of the captured image, and the part surrounded by the alternate long and short dash line in the lower part of this figure is the part surrounded by the two-dot chain line from above the image pickup device and the image pickup target. It is what you see and is illustrated in relation to each other. As shown in the broken line at the top, the position of the strawberry detected by the object detection of the machine-learned machine learning unit can be specified by the X and Y coordinates of the Cartesian coordinates in the image. Since the Y coordinate shown here corresponds to the height direction, the position of the absolute height of the strawberry can be found by using the height of the image pickup device and the Y coordinate. Further, by using the illustrated X coordinate and the absolute position of the image pickup device (self-propelled vehicle for farm or antenna), the absolute position in the X coordinate direction can be found. It should be noted that the coordinates in the direction perpendicular to the X coordinates (that is, the coordinates in the depth direction when viewed from the image) do not have to be specified from within the image. If the relative position coordinates based on the Cartesian coordinates in the image and the vehicle absolute position coordinates of the image pickup device fixed to the vehicle (or the self-propelled farm vehicle in a relationship at a constant distance) are known, the image pickup device can be used. This is because the position of each strawberry on the plane parallel to the plane of the image to be imaged as it moves parallel to the above-mentioned virtual wall can be specified, so that the position of the strawberry described later can be collated.
また、本願発明に係る一実施形態のシステムに係る車両内情報処理装置は、前記分類と、前記絶対位置情報と、前記撮像された日時と、を関連付けて前記車両外情報処理装置に送信する送信部を有してよい。かかる構成を備える場合、農作物に関する情報などを、車両外情報処理装置に伝達できる利点がある。 Further, the in-vehicle information processing device according to the system of one embodiment according to the present invention transmits the classification, the absolute position information, and the captured date and time to the out-of-vehicle information processing device in association with each other. May have a part. If such a configuration is provided, there is an advantage that information about agricultural products can be transmitted to an information processing device outside the vehicle.
また、本願発明に係る一実施形態のシステムに係る車両内情報処理装置は、前記車両内情報処理装置は、前記機械学習部による処理と、前記スピードコントローラの制御と、を異なるタイミングで実行する機能を有してよい。 Further, the in-vehicle information processing device according to the system of one embodiment according to the present invention has a function of executing the processing by the machine learning unit and the control of the speed controller at different timings. May have.
機械学習部による物体認識の処理は、高い計算能力が必要である。そのため、農場用自走式車両内に備えるような車両内情報処理装置を、機械学習部による処理と、その他の車両の制御と、を同時に行うような高機能の処理を可能とするために、高い電力を提供可能な電源や高機能な情報処理装置を備える必要があるという問題があった。 The processing of object recognition by the machine learning unit requires high computational power. Therefore, in order to enable high-performance processing such that the machine learning unit processes the in-vehicle information processing device provided in the self-propelled vehicle for farms and controls other vehicles at the same time. There is a problem that it is necessary to provide a power source capable of providing high power and a high-performance information processing device.
そこで、本願発明に係る一実施形態のシステムに係る車両内情報処理装置は、前記車両内情報処理装置は、前記機械学習部による処理と、前記スピードコントローラの制御と、を異なるタイミングで実行する機能を有してよい。より具体的には、自走時に撮像した画像を一時的に保存し、自走していない時間帯（アイドルタイム）に、機械学習部による処理を行うよう構成してよい。かかる構成により、ハードウェアの演算資産を効率的に運用する利点がある。すなわち、本願発明に係る一実施形態のシステムに係る車両内情報処理装置は、前記機械学習部による処理を行っている間は、前記スピードコントローラの制御を停止してよく、他方、かかる車両内情報処理装置が、前記スピードコントローラの制御を行っている間は、前記機械学習部による処理を停止してよい。 Therefore, the in-vehicle information processing device according to the system of one embodiment according to the present invention has a function of executing the processing by the machine learning unit and the control of the speed controller at different timings. May have. More specifically, the image captured during self-propelling may be temporarily stored, and processing may be performed by the machine learning unit during a time zone (idle time) during non-self-propelling. Such a configuration has an advantage of efficiently managing the computing assets of the hardware. That is, the in-vehicle information processing device according to the system of one embodiment according to the present invention may stop the control of the speed controller while the processing by the machine learning unit is performed, while the in-vehicle information. While the processing device is controlling the speed controller, the processing by the machine learning unit may be stopped.
本願発明に係る一実施形態のシステムに係る車両外情報処理装置は、
前記分類と、前記絶対位置情報と、前記撮像された日時と、を受信する受信部と、
前記絶対位置情報と、前記分類と、前記日時と、を用いて、前記農作物の予想収穫可能時期を生成する生成部と、を備えてよい。
The information processing apparatus outside the vehicle according to the system of one embodiment according to the present invention is
A receiving unit that receives the classification, the absolute position information, and the date and time when the image was taken.
A generation unit that generates an expected harvestable time of the crop by using the absolute position information, the classification, and the date and time may be provided.
例えば、車両外情報処理装置は、図７のように、各農作物について、IDと、絶対位置座標と、画像の撮像された日時と、を関連付けて、記憶してよい。このように、各農作物の絶対位置座標による絶対位置情報が特定されることから、農場用自走式車両が異なるタイミング（例えば、翌日、２日後、３日後など）において撮像された画像において、成長によって色や形状が変化した場合であっても、各農作物の絶対位置情報を照合し、同一の絶対位置情報におけるものとして、同一の農作物であることを判定することが可能となる。同一の農作物であることが判定できれば、その場合の分類情報を用いて、現在の生育状況を特定することができる。 For example, as shown in FIG. 7, the information processing apparatus outside the vehicle may store the ID, the absolute position coordinates, and the date and time when the image was captured for each crop in association with each other. In this way, since the absolute position information based on the absolute position coordinates of each crop is specified, the self-propelled farm vehicle grows in images taken at different timings (for example, the next day, two days later, three days later, etc.). Even when the color or shape changes due to the above, it is possible to collate the absolute position information of each crop and determine that the crops are the same as those in the same absolute position information. If it can be determined that the crops are the same, the current growth situation can be specified by using the classification information in that case.
これは、例えば、図５のように、色と形状からいちごを分類できるとしても、同一の分類において生育状況にはばらつきがある。例えば、分類２においては7日であるが、次の分類３においては１４日であり、７日の幅がある。そのため、画像内のいちごを、色と形状を用いて分類できたとしても、その分類に対応する経過日数の幅があるため、現在の生育状況を正確に特定できず、将来の収穫時期の予測精度も低下する課題があった。
This is because, for example, as shown in FIG. 5, even if strawberries can be classified by color and shape, the growth conditions vary in the same classification. For example, in
かかる課題に対し、上述のように、農場用自走式車両が異なるタイミング（例えば、翌日、２日後、３日後など）において撮像された画像において、各同一と判定される農作物の分類を特定することにより、分類が変更された日時（例えば、分類２から分類３への変更など）を用いることで、農作物の生育の累計日数をより正確に特定することが可能であり、かかる生育情報に基づいて、かかる農作物の収穫時期を、より正確に特定できる利点がある。すなわち、願発明に係る一実施形態のシステムに係る車両外情報処理装置が、各農作物について、少なくとも、絶対位置座標と、画像の撮像された日時と、を関連付けて記憶し、同一の絶対値座標を有する農作物について、画像の撮像された日時が異なるものを使用することで、かかる農作物の累計日数を、分類の幅内の情報よりもより特定することが可能となり、かかる農作物の収穫予測時期を、より精度を高く、特定できる利点がある。
In response to this problem, as described above, in the images captured by the self-propelled farm vehicles at different timings (for example, the next day, two days later, three days later, etc.), the classification of the crops judged to be the same is specified. Thereby, by using the date and time when the classification was changed (for example, the change from
なお、各農作物についての、各分類、および、各分類に対応付けられる農作物の生育の累計日数、及び、かかる農作物の収穫時期の累計日数は、予め実験などにより特定され、準備され、車両外情報処理装置内の記憶装置内に記憶されてよい。 For each crop, the cumulative number of days of growth of each category, the crops associated with each category, and the cumulative number of days of harvesting of such crops are specified and prepared in advance by experiments, etc., and information outside the vehicle is provided. It may be stored in the storage device in the processing device.
また、車両外情報処理装置は、かかる、各農作物の予測収穫時期を用いて、特定の時期（期間又は日）における、農作物の収穫予測個数を算出可能であってよい。かかる収穫予測個数は、特定の時期に収穫時期となる、一定の農場内の農作物の個数の合計によって算出できてよい。 Further, the information processing apparatus outside the vehicle may be able to calculate the estimated number of crops to be harvested at a specific time (period or day) by using the predicted harvest time of each crop. The estimated number of harvests may be calculated by the total number of crops in a certain farm, which is the harvest time at a specific time.
例えば、図８は、各農作物（例えば、いちごの種類１、いちごの種類２、いちごの種類３など）と関連付けて、各収穫時期と関連付けられた収穫予測個数、を一覧にした一例である。このように収穫予測時期と、対応付けられた、各農作物の、収穫予測個数が判明することにより、農作業の予定が容易になり、また、出荷の予定の計画なども容易になる利点がある。
For example, FIG. 8 is an example in which the predicted number of harvests associated with each harvest time is listed in association with each crop (for example,
上述の一覧の情報は、車両外情報処理装置内に記憶されてよく、また、利用者が、かかる車両外情報処理装置に対してアクセスすることで、閲覧できてよい。例えば、車両外情報処理装置が、サーバー、又は、クラウドであり、かかる車両外情報処理装置に対して、携帯端末からアクセスすることにより、各農作物と関連付けて、各収穫時期と関連付けられた収穫予測個数が、表示されてよい。携帯端末装置は、スマートフォン、アイパッド、携帯電話、などであってよく、かかる構成により、利用者は、気軽にアクセス可能であってよい。また、かかるアクセスは、利用者のＩＤとパスワードの入力によって、可能であってよい。この場合、農場内という一定のプライバシーのある環境内における情報を用いたものであってよい。 The information in the above list may be stored in the information processing device outside the vehicle, and may be viewed by the user by accessing the information processing device outside the vehicle. For example, the out-of-vehicle information processing device is a server or a cloud, and by accessing the out-of-vehicle information processing device from a mobile terminal, it is associated with each crop and the harvest prediction associated with each harvest time. The number may be displayed. The mobile terminal device may be a smartphone, an iPad, a mobile phone, or the like, and the user may be able to easily access it with such a configuration. Further, such access may be possible by inputting the user's ID and password. In this case, information in an environment with a certain degree of privacy, such as in a farm, may be used.
また、本願発明に係る一実施形態のシステムにおいて、自走式車両が収集したセンシングデータや作物数や生育状況は、自走式車両に搭載されたアンテナから、クラウドのサーバーもしくは、ローカルサーバーに送信され、サーバーでデータを整理した後、ユーザー側へ提示されてよい。ユーザーには地点毎のセンサー情報や生育情報が提示されてよい。また、上述のサーバーでは地点毎のセンシングデータと、同地点での作物の生育状況を紐づけて管理されており、地点毎の品質の違いや収穫時期等を把握できるようになってよい。また、天気予報などの外部データと紐づけ、正確な収穫時期の算出することにより、必要な作業量の見通しを立てることが出来るようになってよい。 Further, in the system of one embodiment according to the present invention, the sensing data, the number of crops, and the growth status collected by the self-propelled vehicle are transmitted from the antenna mounted on the self-propelled vehicle to the cloud server or the local server. Then, after organizing the data on the server, it may be presented to the user side. The user may be presented with sensor information and growth information for each point. In addition, the above-mentioned server manages the sensing data for each point in association with the growing condition of the crop at the same point, so that it may be possible to grasp the difference in quality and the harvest time for each point. In addition, by linking with external data such as weather forecasts and calculating an accurate harvest time, it may be possible to make a forecast of the required amount of work.
また、本願発明に係る一実施形態のシステムにおいては、進入禁止サインや方向転換サインを設置することで、自律走行車がサインを認識、指定された行動をとるよう、ユーザーが現場で走行ルートを用意に変更できるようにされてよい。これは、従来のルート走行では、ルート設計を変更する場合、PCによるルートの再設定が必要であったことに対し、簡易に設定できる利点がある。 Further, in the system of one embodiment according to the present invention, by installing an entry prohibition sign and a direction change sign, the user can set a driving route on site so that the autonomous vehicle recognizes the sign and takes a specified action. It may be possible to change it easily. This has the advantage that in conventional route driving, when changing the route design, it is necessary to reset the route by a PC, but it can be easily set.
また、本願発明に係る一実施形態の自走式車両は、駆動輪を動作させるホイールモータと、ホイールモータを制御するスピードコントローラと、車両を支えるキャスターと、位置情報を取得するGNSSアンテナと、障害物を検知する距離測定センサー（深度カメラ）と、作物を撮影するためのサイドカメラと、温度・湿度・二酸化炭素量を測定する環境センサーと、車両のコントロール及び各種センサーのデータを取得する演算装置と、各ユニットの電源となる電源装置と、ネットワーク通信を行うためのアンテナ、で構成されてよい。 Further, the self-propelled vehicle according to the present invention has a wheel motor for operating the drive wheels, a speed controller for controlling the wheel motor, casters for supporting the vehicle, a GNSS antenna for acquiring position information, and obstacles. A distance measurement sensor (depth camera) that detects objects, a side camera for shooting crops, an environment sensor that measures temperature, humidity, and carbon dioxide content, and a computing device that acquires vehicle control and various sensor data. It may be composed of a power supply device that is a power source for each unit and an antenna for performing network communication.
自走式車両は距離センサーから周囲の物体との実距離を測定し、演算装置により障害物との実距離と、目標とする物体との目標距離の差を計算し、実距離が目標距離に近づくようにスピードコントローラに制御命令を送信し、スピードコントローラはホイールモータを駆動させてよい。また、電源装置はスピードコントローラ、ホイールモータ、演算装置に電源を供給してよい。演算装置は、GNSSアンテナ、距離センサー、サイドカメラ、環境センサー、ネットワークアンテナに電源を供給してよい。また、演算装置はGNSSアンテナから位置情報を取得する機能と、距離センサーから周囲の物体までの距離情報と、サイドカメラから作物の映像と、環境センサーから温度、湿度、二酸化炭素などの数値を取得し、それらをネットワークアンテナを通して外部へ取得情報を送信する機能を有してよい。 A self-propelled vehicle measures the actual distance to surrounding objects from a distance sensor, calculates the difference between the actual distance to an obstacle and the target distance to the target object using a computing device, and the actual distance becomes the target distance. A control command may be sent to the speed controller to approach the speed controller, and the speed controller may drive the wheel motor. Further, the power supply device may supply power to the speed controller, the wheel motor, and the arithmetic unit. The arithmetic unit may supply power to the GNSS antenna, the distance sensor, the side camera, the environment sensor, and the network antenna. In addition, the arithmetic unit acquires position information from the GNSS antenna, distance information from the distance sensor to surrounding objects, crop images from the side camera, and numerical values such as temperature, humidity, and carbon dioxide from the environment sensor. However, they may have a function of transmitting acquired information to the outside through a network antenna.
自走式車両からネットワークを介してGNSSアンテナから取得した位置情報を元に、位置情報毎の環境センサーの値と、位置情報毎のサイドカメラから取得した作物数、個体毎の作物の生育情報を外部システムへ送信してよい。外部システムは今後の天気予報等と受信した情報を元に、個体毎に作物の生育予測を行う。生育予測には過去の生育情報（個体毎の生育情報とセンサー値、天気情報等を元にディープラーニングで回帰分析したデータ等）を用いる。生育予測の結果はユーザーに提示されてよい。 Based on the position information acquired from the GNSS antenna from the self-propelled vehicle via the network, the value of the environment sensor for each position information, the number of crops acquired from the side camera for each position information, and the growth information of the crop for each individual are obtained. It may be sent to an external system. The external system predicts the growth of crops for each individual based on future weather forecasts and received information. Past growth information (data obtained by regression analysis based on individual growth information, sensor values, weather information, etc.) is used for growth prediction. The result of growth prediction may be presented to the user.
入力は次のものでよい。
作物A：温度、湿度、二酸化炭素量、生育情報
作物B：温度、湿度、二酸化炭素量、生育情報
作物C：温度、湿度、二酸化炭素量、生育情報
…
The input may be as follows.
Crop A: Temperature, humidity, carbon dioxide amount, growth information Crop B: Temperature, humidity, carbon dioxide amount, growth information Crop C: Temperature, humidity, carbon dioxide amount, growth information ...
分析の結果は次のものでよい。
作物A：3日後
作物B：10日後
作物C：6日後
…
The result of the analysis may be as follows.
Crop A: 3 days later Crop B: 10 days later Crop C: 6 days later ...
出力としては次のものでよい。
1日後：100個
2日後：90個
3日後：80個
4日後：130個
The output may be as follows.
1 day later: 100 pieces
2 days later: 90 pieces
3 days later: 80 pieces
4 days later: 130 pieces
また、本願発明に係る他の一実施形態のシステムにおいては、リモートセンシングの機能を有してよい。ここで、リモートセンシングとは、特定の位置に設置したセンサーから取得したデータを利用者へ提供する機能の事を示してよい。 Further, the system of another embodiment according to the present invention may have a remote sensing function. Here, remote sensing may indicate a function of providing data acquired from a sensor installed at a specific position to a user.
従来技術におけるセンシングは定点で実施されていた。すなわち、複数の地点でセンシングする場合、地点毎にセンサーが必要となるものである。 Sensing in the prior art has been carried out at a fixed point. That is, when sensing at a plurality of points, a sensor is required for each point.
そこで、本願発明に係る他の一実施形態のシステムにおいては、センサーを移動体に搭載し、移動時にデータを取得した位置と時刻を記録してよい。記録する情報には、農作物の状態、数、環境情報などが挙げられる。位置の測定手段は以下の態様のものが想定される。これらは、複合してもよい。 Therefore, in the system of another embodiment according to the present invention, a sensor may be mounted on a moving body to record the position and time at which the data was acquired during the movement. The information to be recorded includes the condition, number, and environmental information of crops. The position measuring means is assumed to have the following aspects. These may be combined.
態様１。GNSSアンテナから取得した位置情報を元に位置情報を特定する。位置情報にはRTK(基準局からの位置情報をもとにした高精度な位置情報データ）等を用いてよい。
態様２。所定の位置からの移動距離（タイヤの回転数や画像から）から現在位置を特定してよい。
態様３。所定のオブジェクトとの関係（QRコード、ID）などから現在位置を特定してよい。1.計測日時、2.計測座標、3.測定したセンサーの設置高、4.気温/湿度/CO2濃度/照度が記録されている。計測日時を合わせるため、計測開始時にはGNSSアンテナから取得した情報に付加されている時刻情報などを元に内部時計を調整し、時刻合わせ完了後、内部時計で計測日時を記録してよい。
本願書類において、システム、という用語は、農業用自走式車両及び前記農業用自走式車両とネットワークを介して直接又は間接的に接続された一又は複数の車両外情報処理装置を含むものであってよい。また、かかる構成に代えて、システム、という用語は、農業用自走式車両のみを含み、ネットワークを介した一又は複数の車両外情報処理装置を含まないものであってもよい。また、かかる構成に代えて、システム、という用語は、農業用自走式車両を含まず、一又は複数の車両外情報処理装置から構成されるものであってもよい。また、各種図面内の〇、△、□などの表示は、各文脈に沿った適宜の値が入ってよく、同じ値でもよいし、異なる値でもよい。 In the documents of the present application, the term system includes an agricultural self-propelled vehicle and one or more out-of-vehicle information processing devices directly or indirectly connected to the agricultural self-propelled vehicle via a network. It may be there. Further, instead of such a configuration, the term system may include only agricultural self-propelled vehicles and may not include one or more out-of-vehicle information processing devices via a network. Further, instead of such a configuration, the term system may not include a self-propelled agricultural vehicle and may be composed of one or a plurality of out-of-vehicle information processing devices. Further, the indications such as 〇, Δ, and □ in various drawings may contain appropriate values according to each context, and may be the same value or different values.
また、本願書類において、農場用自走式車両は、農場内を自走する車両であってよい。特に、農場は、ほ場の上位概念であってよい。ほ場は、農作物を育てる場所であってよい。例えば、ほ場は、農業用ハウス内であってよい。 Further, in the documents of the present application, the self-propelled vehicle for a farm may be a vehicle that self-propells on the farm. In particular, the farm may be a superordinate concept of the field. The field may be a place to grow crops. For example, the field may be in an agricultural house.
また、上述において、農作物としては、いちごを取り上げたが、いちごに限られず、色と形状によって農作物の分類が可能なものであれば、公知の機械学習技術を用いることによって、画像と、画像内の色及び形状で分類可能な農作物の分類及び画像内の農作物の相対位置情報と、の関係を機械学習済みの機械学習部を構成することは可能であり、撮像された画像に対して、前記画像内の色と形状で分類可能な農作物における分類及び前記画像内の前記農作物の相対位置情報を特定する機械学習部を構成することも可能である。なお、色と形状によって農作物の分類が可能なものとしては、例えば、いちごの他、ピーマン、なす、トマト、キュウリなどが挙げられる。 Further, in the above, the crops are strawberry, but the crops are not limited to strawberry, and if the crops can be classified by color and shape, the image and the inside of the image can be used by using a known machine learning technique. It is possible to configure a machine learning unit that has machine-learned the relationship between the classification of crops that can be classified by the color and shape of the crops and the relative position information of the crops in the image. It is also possible to configure a machine learning unit for classifying crops that can be classified by color and shape in the image and specifying relative position information of the crops in the image. Examples of crops that can be classified according to color and shape include peppers, eggplants, tomatoes, and cucumbers in addition to strawberries.
本願書類の実施例において述べた発明例は、本願書類で説明されたものに限らず、その技術的思想の範囲内で、種々の例に適用できることはいうまでもない。 It goes without saying that the examples of the invention described in the examples of the documents of the present application are not limited to those described in the documents of the present application, and can be applied to various examples within the scope of the technical idea.
また、本願書類で説明される処理及び手順は、実施形態において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能なものであってよい。また、本願書類で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、各種のコンピュータに実行させることが可能であってよい。またこれらのコンピュータプログラムは、記憶媒体に記憶されてよい。また、これらのプログラムは、非一過性又は一時的な記憶媒体に記憶されてよい。 Further, the processes and procedures described in the documents of the present application may be feasible not only by those explicitly described in the embodiments but also by software, hardware or a combination thereof. Further, the processes and procedures described in the documents of the present application may be able to be implemented by various computers by implementing the processes and procedures as a computer program. Further, these computer programs may be stored in a storage medium. Also, these programs may be stored on a non-transient or temporary storage medium.
符号の説明
２０１ 距離測定センサー
２０２ ホイールモータ
２０３ スピードコントローラ
２０４ サイドカメラ
２０５ GNSSアンテナ
２０６ 環境センサー
２０７ 演算装置
２０８ 電源装置
２０９ キャスター
２１０ ネットワークアンテナ
Claims (10)
前記農場用自走式車両は、
前記車両の進行方向上の対象と前記車両との距離を測定する、距離測定センサーと、
駆動輪と、
前記駆動輪を動作させるホイールモータと、
前記ホイールモータを制御するスピードコントローラと、
前記車両の進行方向に対して直角方向であり地上に対して水平方向を撮像方向とする撮像装置であって、互いに相反する方向を撮像方向として、撮像する、２つの撮像装置と、
車両絶対位置情報を取得するアンテナと、
前記距離測定センサーから得た情報を用いて前記車両の両側に平行な仮想壁を生成し、前記仮想壁と平行に前記車両が走行するように前記スピードコントローラを制御可能であり、かつ、前記撮像装置によって撮像された画像の処理が可能である、車両内情報処理装置と、
前記距離測定センサー、前記駆動輪、前記ホイールモータ、前記スピードコントローラ、前記撮像装置、前記アンテナ、及び、前記車両内情報処理装置、に電源を供給する電源装置と、
を備える農場用自走式車両であって、
前記車両内情報処理装置は、
前記撮像装置によって撮像された画像と、前記撮像された日時と、前記アンテナによって取得された車両絶対位置情報と、を関連付ける関連付け部と、
画像と、画像内の色及び形状で分類可能な農作物の分類及び画像内の農作物の相対位置情報と、の関係を機械学習済みの機械学習部であって、前記撮像された画像に対して、前記画像内の色と形状で分類可能な農作物における分類及び前記画像内の前記農作物の相対位置情報を特定する機械学習部と、
前記車両絶対位置情報と、前記相対位置情報と、を用いて、前記撮像された画像の平面と平行な面における前記農作物の絶対位置情報を特定する絶対位置特定部と、
前記分類と、前記絶対位置情報と、前記撮像された日時と、を関連付けて前記車両外情報処理装置に送信する送信部と、
を備え、
前記車両外情報処理装置は、
前記分類と、前記絶対位置情報と、前記撮像された日時と、を受信する受信部と、
前記絶対位置情報と、前記分類と、前記日時と、を用いて、前記農作物の予想収穫可能時期を生成する生成部と、
を備える、
システム。 A system that includes self-propelled vehicles for farms and information processing equipment outside the vehicle.
The self-propelled vehicle for farms
A distance measurement sensor that measures the distance between the object in the traveling direction of the vehicle and the vehicle,
With the drive wheels
A wheel motor that operates the drive wheels and
The speed controller that controls the wheel motor and
An image pickup device that is perpendicular to the traveling direction of the vehicle and has a horizontal direction as an image pickup direction with respect to the ground, and two image pickup devices that take images with directions opposite to each other as image pickup directions.
An antenna that acquires the absolute position information of the vehicle, and
Using the information obtained from the distance measurement sensor, virtual walls parallel to both sides of the vehicle can be generated, and the speed controller can be controlled so that the vehicle runs parallel to the virtual wall, and the image pickup is performed. An in-vehicle information processing device capable of processing images captured by the device, and
A power supply device that supplies power to the distance measurement sensor, the drive wheel, the wheel motor, the speed controller, the image pickup device, the antenna, and the information processing device in the vehicle.
It is a self-propelled vehicle for farms equipped with
The in-vehicle information processing device is
An association unit that associates the image captured by the image pickup device with the date and time of the image capture and the vehicle absolute position information acquired by the antenna.
The machine learning unit has machine-learned the relationship between the image, the classification of agricultural products that can be classified by the color and shape in the image, and the relative position information of the agricultural products in the image. A machine learning unit that identifies classifications in agricultural products that can be classified by color and shape in the image and relative position information of the agricultural products in the image.
An absolute position specifying unit that specifies the absolute position information of the crop on a plane parallel to the plane of the captured image by using the vehicle absolute position information and the relative position information.
A transmission unit that associates the classification, the absolute position information, and the imaged date and time with each other and transmits the information processing apparatus outside the vehicle to the information processing apparatus outside the vehicle.
Equipped with
The information processing device outside the vehicle is
A receiving unit that receives the classification, the absolute position information, and the date and time when the image was taken.
A generation unit that generates an expected harvestable time of the crop using the absolute position information, the classification, and the date and time.
To prepare
system.
請求項１に記載のシステム。 The in-vehicle information processing device executes processing by the machine learning unit and control of the speed controller at different timings.
The system according to claim 1.
前記過去の分類は、前記絶対位置情報と、過去に受信した絶対位置情報とが照合されることによって判明した、前記過去に受信した絶対位置情報と関連付けられた分類である、
請求項１乃至２のいずれか１項に記載のシステム。 The generation unit that generates the expected harvestable time identifies the expected harvestable time by using the above classification and the past classification.
The past classification is a classification associated with the absolute position information received in the past, which is found by collating the absolute position information with the absolute position information received in the past.
The system according to any one of claims 1 and 2.
請求項１乃至３のいずれか１項に記載のシステム。 The crop is strawberry,
The system according to any one of claims 1 to 3.
前記送信部は、測定された、前記温度、前記湿度、及び前記二酸化炭素量を、前記車両外情報処理装置に送信し、
前記車両外情報処理装置内の前記受信部は、前記温度、前記湿度、及び前記二酸化炭素量を受信する、
請求項１乃至４のいずれか１項に記載のシステム。 The vehicle is equipped with environmental sensors that measure temperature, humidity, and carbon dioxide content.
The transmission unit transmits the measured temperature, humidity, and carbon dioxide amount to the out-of-vehicle information processing apparatus.
The receiving unit in the information processing device outside the vehicle receives the temperature, the humidity, and the amount of carbon dioxide.
The system according to any one of claims 1 to 4.
請求項５のいずれか１項に記載のシステム。 The expected harvestable time, the temperature, the humidity, and the amount of carbon dioxide are transmitted from the out-of-vehicle information processing device to the mobile terminal when the out-of-vehicle information processing device is accessed from the mobile terminal.
The system according to any one of claims 5.
請求項１乃至６のいずれか１項に記載のシステム。 The storage device in the in-vehicle information processing device stores the captured image.
The system according to any one of claims 1 to 6.
前記農場用自走式車両は、距離測定センサー、駆動輪、ホイールモータ、スピードコントローラ、２つの撮像装置、アンテナ、車両内情報処理装置、電源装置を備え、
前記距離測定センサーが、前記車両の進行方向上の対象と前記車両との距離を測定し、
前記ホイールモータが、前記駆動輪を動作させ、
前記スピードコントローラが、前記ホイールモータを制御し、
前記２つの撮像装置が、前記車両の進行方向に対して直角方向であり地上に対して水平方向であって、互いに相反する方向を撮像方向として、撮像し、
前記アンテナが、車両絶対位置情報を取得し、
前記車両内情報処理装置が、前記距離測定センサーから得た情報を用いて前記車両の両側に平行な仮想壁を生成し、前記仮想壁と平行に前記車両が走行するように前記スピードコントローラを制御可能であり、かつ、前記撮像装置によって撮像された画像の処理が可能であり、
前記電源装置が、前記距離測定センサー、前記駆動輪、前記ホイールモータ、前記スピードコントローラ、前記撮像装置、前記アンテナ、及び、前記車両内情報処理装置、に電源を供給し、
更に、前記車両内情報処理装置は、
関連付け部が、前記撮像装置によって撮像された画像と、前記撮像された日時と、前記アンテナによって取得された車両絶対位置情報と、を関連付けるステップと、
画像と、画像内の色及び形状で分類可能な農作物の分類及び画像内の農作物の相対位置情報と、の関係を機械学習済みの機械学習部が、前記撮像された画像に対して、前記画像内の色と形状で分類可能な農作物における分類及び前記画像内の前記農作物の相対位置情報を特定するステップと、
絶対位置特定部が、前記車両絶対位置情報と、前記相対位置情報と、を用いて、前記撮像された画像の平面と平行な面における前記農作物の絶対位置情報を特定し、
送信部が、前記分類と、前記絶対位置情報と、前記撮像された日時と、を関連付けて前記車両外情報処理装置に送信するステップと、
を実行し、
前記車両外情報処理装置は、
受信部が、前記分類と、前記絶対位置情報と、前記撮像された日時と、を受信するステップと、
生成部が、前記絶対位置情報と、前記分類と、前記日時と、を用いて、前記農作物の予想収穫可能時期を生成するステップと、
を実行する、
方法。 It is a method using a system including a self-propelled vehicle for farms and an information processing device outside the vehicle.
The self-propelled vehicle for farms includes a distance measurement sensor, a drive wheel, a wheel motor, a speed controller, two image pickup devices, an antenna, an in-vehicle information processing device, and a power supply device.
The distance measurement sensor measures the distance between the object in the traveling direction of the vehicle and the vehicle.
The wheel motor operates the drive wheels,
The speed controller controls the wheel motor,
The two image pickup devices take an image in a direction perpendicular to the traveling direction of the vehicle and a horizontal direction with respect to the ground, with directions opposite to each other as an image pickup direction.
The antenna acquires the vehicle absolute position information and
The in-vehicle information processing device uses information obtained from the distance measurement sensor to generate virtual walls parallel to both sides of the vehicle, and controls the speed controller so that the vehicle runs parallel to the virtual walls. It is possible, and it is possible to process the image captured by the image pickup device.
The power supply device supplies power to the distance measurement sensor, the drive wheel, the wheel motor, the speed controller, the image pickup device, the antenna, and the in-vehicle information processing device.
Further, the in-vehicle information processing device is
A step in which the association unit associates the image captured by the image pickup device with the date and time of the image capture and the vehicle absolute position information acquired by the antenna.
The machine learning unit, which has machine-learned the relationship between the image, the classification of agricultural products that can be classified by the color and shape in the image, and the relative position information of the agricultural products in the image, has the image with respect to the captured image. A step of classifying crops that can be classified by color and shape in the image and specifying relative position information of the crop in the image.
The absolute position specifying unit uses the vehicle absolute position information and the relative position information to specify the absolute position information of the crop on a plane parallel to the plane of the captured image.
A step in which the transmission unit associates the classification, the absolute position information, and the captured date and time with each other and transmits the step to the information processing apparatus outside the vehicle.
And run
The information processing device outside the vehicle is
A step in which the receiving unit receives the classification, the absolute position information, and the date and time when the image was captured.
A step in which the generation unit uses the absolute position information, the classification, and the date and time to generate the expected harvestable time of the crop.
To execute,
Method.
請求項８に記載の方法。 The crop is strawberry,
The method according to claim 8.
請求項８又は９に記載の方法。 The storage device in the in-vehicle information processing device stores the captured image.
The method according to claim 8 or 9.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020162390A JP2022062294A (en) | 2020-09-28 | 2020-09-28 | System including self-propelled vehicle for farm field, program, or method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020162390A JP2022062294A (en) | 2020-09-28 | 2020-09-28 | System including self-propelled vehicle for farm field, program, or method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022062294A true JP2022062294A (en) | 2022-04-20 |
Family
ID=81211023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020162390A Pending JP2022062294A (en) | 2020-09-28 | 2020-09-28 | System including self-propelled vehicle for farm field, program, or method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022062294A (en) |
-
2020
- 2020-09-28 JP JP2020162390A patent/JP2022062294A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6370899B2 (en) | System for monitoring and controlling operation of at least one gardening tool in at least one operating area | |
| CN107202571B (en) | For executing the inspection system and method for inspection in storage facility | |
| US20210302973A1 (en) | Horticulture aided by autonomous systems | |
| JP6644729B2 (en) | Information processing apparatus, program, information processing system and data structure | |
| US11730089B2 (en) | Horticulture aided by autonomous systems | |
| Kumar et al. | Smart autonomous gardening rover with plant recognition using neural networks | |
| US20200347581A1 (en) | Control apparatus, work machine, control method, and computer readable storage medium | |
| US11510405B2 (en) | Applying and using fiducial markings on agricultural apparatuses | |
| Petkovic et al. | IoT devices VS. drones for data collection in agriculture | |
| JP7018464B2 (en) | Information processing equipment and programs | |
| WO2021081428A1 (en) | Agricultural systems and platforms | |
| US11185007B1 (en) | Methods and systems for prioritizing management of agricultural fields | |
| JP2022062294A (en) | System including self-propelled vehicle for farm field, program, or method | |
| US20220317691A1 (en) | Systems, methods, and apparatuses for automated crop monitoring | |
| KR102264200B1 (en) | Crop growth information monitoring system | |
| JP2022075366A (en) | Information processing device, information processing method, and program | |
| US20220264793A1 (en) | Robotic lawn mower control | |
| JP6970229B2 (en) | Information processing equipment, information processing methods, and programs | |
| JP6960495B2 (en) | Information processing equipment, information processing methods, and programs | |
| JP6944561B2 (en) | Information processing equipment, information processing methods, and programs | |
| CN113811903A (en) | Workplace equipment path planning | |
| Pincheira et al. | Overcoming Limitations of IoT Installations: Active Sensing UGV for Agricultural Digital Twins | |
| KR20240065384A (en) | Method and apparatus of operating and managing unmanned golf course | |
| den Hartog | Active camera positioning utilizing guarded motion control to obtain a frontal view of a tomato truss enabling ripeness detection | |
| JP2022082066A (en) | Information processing device, information processing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20201008 |