JP2020000170A - Shape estimation method of main stem, setting method of moving route of operation arm, and harvesting device - Google Patents
Shape estimation method of main stem, setting method of moving route of operation arm, and harvesting device Download PDFInfo
- Publication number
- JP2020000170A JP2020000170A JP2018124809A JP2018124809A JP2020000170A JP 2020000170 A JP2020000170 A JP 2020000170A JP 2018124809 A JP2018124809 A JP 2018124809A JP 2018124809 A JP2018124809 A JP 2018124809A JP 2020000170 A JP2020000170 A JP 2020000170A
- Authority
- JP
- Japan
- Prior art keywords
- main stem
- image
- outer edge
- captured image
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Harvesting Machines For Specific Crops (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、果実周囲に植生している主茎の形状を推定する主茎の形状推定方法及び作業アームの移動経路の設定方法に関する。 The present invention relates to a method for estimating the shape of a main stem for estimating the shape of a main stem vegetated around a fruit, and a method for setting a movement route of a working arm.
日本の農業を取り巻く環境は、農業従事者の高齢化が進んでいることによる労働力不足の影響で、非常に厳しい状況にある。農林水産省の基本データによると、基幹的農業従事者は、２０１４年において１６８万人であり、５年間で約２３万人の減少となっている。また、農業従事者の平均年齢が６６．５歳であり、新規就農者も減少傾向と、高齢化による労働力不足が浮き彫りになる数字となっている。このことにより、耕作放棄地も４０万ｈａに達する状況であり、地域の営農環境や生活環境にも悪影響を与える状況である。 The environment surrounding Japan's agriculture is in a very difficult situation due to the labor shortage caused by the aging of the agricultural workers. According to the Ministry of Agriculture, Forestry and Fisheries basic data, the number of key agricultural workers was 1.68 million in 2014 and decreased by about 230,000 in five years. The average age of agricultural workers is 66.5, and the number of new farmers is on the decline and the labor force shortage due to aging is a figure that highlights this. As a result, abandoned cultivated land reaches 400,000 hectares, which has a bad influence on the local farming environment and living environment.
そのような中、農業の自動化による労働力不足への対応は重要な課題である。経済産業省の「２０１２年ロボット産業の市場動向」によれば、２０１８年から２０２４年にかけて農業関連ロボット国内市場は大きく伸び、約２２００億円の規模になると予想されている。果実を対象にした収穫ロボットに関する技術としては、イメージセンサにより、果実と同時にその周囲の植生環境を撮像し、撮像画像から果実だけでなく、主茎といった収穫する際に障害物になる対象を検出し、それらの位置情報を詳細に把握することで、収穫したい果実にアクセスする際のアームの移動経路（以下「アーム経路」という）を決定する技術がある。（例えば特許文献１参照）。 Under such circumstances, addressing the labor shortage by automating agriculture is an important issue. According to the Ministry of Economy, Trade and Industry's "2012 Robot Industry Market Trends", the domestic market for agricultural robots is expected to grow significantly from 2018 to 2024, to a scale of about 220 billion yen. As a technology related to a harvesting robot for fruits, the image sensor captures the surrounding vegetation environment at the same time as the fruits, and detects not only fruits but also targets that become obstacles when harvesting, such as the main stem, from the captured image Then, there is a technique of determining the movement path of the arm (hereinafter referred to as “arm path”) when accessing the fruit to be harvested by grasping the position information in detail. (See, for example, Patent Document 1).
しかしながら、前記従来技術では、アーム経路を決定する際にイメージセンサが撮影した画像を用いて主茎の検出と主茎の位置との把握を行っているが、イメージセンサの画像に収まらない領域の情報は何も考慮してされていない。そのため、決定しうるアーム経路がイメージセンサの画像内に限定されてしまう。また、イメージセンサの画像外をアーム経路とする場合、そこに把握していなかった主茎が存在すると、アームと主茎とが接触してしまう。これにより、アームやアームの先端に取り付けられたエンドエフェクタを破損させたり、主茎を傷つけたりして、安定的な収穫を行えないおそれがある。 However, in the related art, when determining the arm route, the main stem is detected and the position of the main stem is detected using the image captured by the image sensor. No information is taken into account. Therefore, the arm path that can be determined is limited within the image of the image sensor. In addition, when the outside of the image of the image sensor is set as the arm path, if there is a main stem that has not been grasped there, the arm and the main stem come into contact. As a result, the arm or the end effector attached to the tip of the arm may be damaged, or the main stem may be damaged, so that stable harvesting may not be performed.
本発明は、上記課題を解決するものであり、安定的な収穫を可能とした主茎の形状推定方法、作業アームの移動経路の設定方法及び収穫装置の提供を目的とする。 The present invention has been made to solve the above problems, and an object of the present invention is to provide a method for estimating a shape of a main stem, a method for setting a moving path of a working arm, and a harvesting device, which enable stable harvesting.
上記目的を達成するために、本発明の主茎の形状推定方法は、撮像装置が取得した撮像画像を解析して、前記撮像画像内において主茎の画像である主茎画像を抽出するステップと、前記撮像画像内で前記撮像画像の外縁の近傍に設定された外縁近傍領域内に位置する前記主茎画像の一部である外縁近傍部を抽出するステップと、前記外縁近傍部の傾きを推定し、前記傾きに基づいて、前記撮像画像外における前記主径の形状を推定するステップと、を有する。 In order to achieve the above object, the main stem shape estimating method of the present invention analyzes a captured image obtained by an imaging device, and extracts a main stem image that is an image of the main stem in the captured image. Extracting, in the captured image, an outer edge near portion that is a part of the main stem image located in an outer edge near region set near an outer edge of the captured image, and estimating a slope of the outer edge near portion And estimating the shape of the main diameter outside the captured image based on the inclination.
上記目的を達成するために、本発明の作業アームの移動経路の設定方法は、前記主茎の形状推定方法により推定された前記撮像画像外における前記主径の形状に基づいて、果実を収穫するための作業アームの移動経路を設定する。 In order to achieve the above object, a method of setting a movement path of a working arm of the present invention harvests fruits based on the shape of the main diameter outside the captured image estimated by the shape estimating method of the main stem. Of the work arm movement path for
上記目的を達成するために、本発明の収穫装置は、果実を収穫するための作業アームと、撮像装置と、前記作業アームの動作を制御する制御部と、を備え、前記制御部は、前記撮像装置が取得した撮像画像を解析して、前記撮像画像内において主茎の画像である主茎画像を抽出し、前記撮像画像内で前記撮像画像の外縁の近傍に設定された外縁近傍領域内に位置する前記主茎画像の一部である外縁近傍部を抽出し、前記外縁近傍部の傾きを推定し、前記傾きに基づいて、前記撮像画像外における前記主径の形状を推定し、推定された前記撮像画像外における前記主径の形状に基づいて、前記果実を収穫するための作業アームの移動経路を設定する。 In order to achieve the above object, a harvesting device of the present invention includes a working arm for harvesting fruits, an imaging device, and a control unit that controls an operation of the working arm, wherein the control unit includes The captured image obtained by the imaging device is analyzed to extract a main stem image, which is an image of the main stem, in the captured image, and an outer edge vicinity region set near an outer edge of the captured image in the captured image. Extracting a portion near the outer edge, which is a part of the main stem image located at, estimating the inclination of the portion near the outer edge, and estimating the shape of the main diameter outside the captured image based on the inclination, and estimating A movement path of a working arm for harvesting the fruit is set based on the shape of the main diameter outside the captured image.
本発明によれば、安定的な収穫を可能とすることができる。 According to the present invention, stable harvesting can be achieved.
以下、本発明の実施の形態ついて、図面を参照しながら説明する。以下に示す実施の形態はあくまでも例示に過ぎず、以下の実施の形態で明示しない種々の変形や技術の適用を排除するものではない。また、実施の形態の各構成は、それらの趣旨を逸脱しない範囲で種々変形して実施することができる。さらに、実施の形態の各構成は、必要に応じて取捨選択することができ、あるいは適宜組み合わせることができる。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The embodiments described below are merely examples, and do not exclude various modifications and application of techniques not explicitly described in the following embodiments. Further, each configuration of the embodiment can be variously modified and implemented without departing from the gist thereof. Furthermore, each configuration of the embodiment can be selected as needed or can be appropriately combined.
なお、実施の形態を説明するための全図において、同一要素は原則として同一の符号を付し、その説明を省略することもある。 In all the drawings for describing the embodiments, the same elements are denoted by the same reference numerals in principle, and the description thereof may be omitted.
１）トマトの植生環境
本実施形態では、トマトを収穫対象として、本発明の主茎の形状推定方法を、トマトの主茎の形状の推定に適用した例を説明する。そこで、まず、本実施の形態における主茎の形状推定方法の理解を助けるために、収穫対象であるトマトの植生環境について説明する。
1) Vegetation Environment of Tomato In the present embodiment, an example in which the method for estimating the shape of the main stem of the present invention is applied to the estimation of the shape of the main stem of a tomato with the tomato as a harvest target will be described. Therefore, first, a vegetation environment of a tomato to be harvested will be described in order to help understand the method for estimating the shape of the main stem in the present embodiment.
収穫対象であるミニトマトの植生環境について図２を用いて説明する。図２は、ミニトマトの植生環境を示した図（画像）である。 The vegetation environment of the tomato to be harvested will be described with reference to FIG. FIG. 2 is a diagram (image) showing the vegetation environment of the mini tomato.
ミニトマトの果実１００は、図２に示されるように、ぶどうのように房状になっている。それらのミニトマトの果実１００の塊（房）は、果梗１０１と言われる細い茎を中心に構成されている。果梗１０１は主茎１０２と呼ばれる太い茎とつながっている。主茎１０２から果実１００までの果梗１０１の長さは通常それほど長くはないため、果実１００の周囲に主茎１０２が存在する確率は高い。よって、果実１００を収穫する際に障害物となり得る主茎１０２の形状や位置の把握は、収穫ロボット１（収穫装置）において必須の機能となる。 As shown in FIG. 2, the mini tomato fruit 100 is tufted like a grape. The lump (bundle) of the fruit 100 of the mini tomato is composed mainly of a thin stem called a stalk 101. Stem 101 is connected to a thick stem called main stem 102. Since the length of the stem 101 from the main stem 102 to the fruit 100 is usually not so long, the probability that the main stem 102 exists around the fruit 100 is high. Therefore, grasping the shape and position of the main stem 102 that can be an obstacle when harvesting the fruit 100 is an essential function in the harvesting robot 1 (harvesting device).
２）収穫ロボットの構成
以下、図１を参照して本実施の形態の収穫ロボット１の構成を説明する。図１は、本実施の形態の収穫ロボット１の構成を示した模式的な側面図である。
2) Configuration of Harvest Robot Hereinafter, the configuration of the harvest robot 1 of the present embodiment will be described with reference to FIG. FIG. 1 is a schematic side view illustrating a configuration of a harvesting robot 1 according to the present embodiment.
収穫ロボット１は、走行部１０と、作業アーム（以下「アーム」ともいう）２０と、エンドエフェクタ３０と、イメージセンサ４０（撮像装置）と、駆動源（動力源）５０と、制御部６０とを含む。 The harvest robot 1 includes a traveling unit 10, a work arm (hereinafter also referred to as “arm”) 20, an end effector 30, an image sensor 40 (imaging device), a drive source (power source) 50, and a control unit 60. including.
エンドエフェクタ３０は、アーム２０の先端に搭載されており、イメージセンサ４０は収穫ロボット１の前後方向における略中央部に位置している。 The end effector 30 is mounted on the distal end of the arm 20, and the image sensor 40 is located substantially at the center of the harvest robot 1 in the front-rear direction.
走行部１０は、収穫ロボット１を移動させるための機能を有している。走行部１０を備えるので、収穫ロボット１は、農園において、果実１００を栽培するための畝と畝の間を走行することが可能である。走行部１０は、車輪、モータ、モータドライバ、シャフト等の部品で構成される。 The traveling unit 10 has a function for moving the harvest robot 1. Since the traveling unit 10 is provided, the harvest robot 1 can travel between ridges for cultivating the fruit 100 on the farm. The traveling unit 10 includes components such as wheels, a motor, a motor driver, and a shaft.
アーム２０は、根本部分（基部）の上下方向の位置を制御する１つの制御軸（以下「上下方向用制御軸」という）と、アーム先端の水平方向の位置を制御するための３つの制御軸（以下「水平方向用制御軸」という）とを有している。上下方向用制御軸には、アーム２０全体を直線的に移動させる直動ステージが使用される。水平方向用制御軸は２軸あれば収穫作業において、アーム２０に最低限の機能を持たすことは可能だが、収穫方法や主茎１０２を含む周囲の障害物環境を考慮して、１軸冗長化させている。なお、水平方向用制御軸が４軸以上あってもよい。各制御軸はモータによって制御される。モータは、例えば、ステッピングモータやサーボモータである。 The arm 20 has one control axis for controlling the vertical position of the root portion (base) (hereinafter, referred to as “vertical control axis”) and three control axes for controlling the horizontal position of the arm tip. (Hereinafter referred to as “horizontal control axis”). A linear motion stage that linearly moves the entire arm 20 is used for the vertical control shaft. If there are two horizontal control axes, it is possible to provide the arm 20 with a minimum function in the harvesting operation, but one-axis redundancy is taken into account in consideration of the harvesting method and the surrounding obstacle environment including the main stem 102. Let me. Note that there may be four or more horizontal control axes. Each control axis is controlled by a motor. The motor is, for example, a stepping motor or a servo motor.
エンドエフェクタ３０は、果梗１０１から果実１００を切り離す機能を有している。収穫の際は、アーム２０の先端を移動させてエンドエフェクタ３０を果実１００に近接させて収穫を行う。 The end effector 30 has a function of separating the fruit 100 from the stalk 101. At the time of harvesting, the tip of the arm 20 is moved to bring the end effector 30 close to the fruit 100 and harvesting is performed.
イメージセンサ４０は、果実１００の検出や果実１００の周囲の環境を認識するために使用される。イメージセンサ４０は、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ，Ｂｌｕｅ）カラー画像と、ＩＲ（ＩｎｆｒａＲｅｄ）画像と、被写体との距離を表した深度画像とを取得する機能を有しているＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラである。 The image sensor 40 is used for detecting the fruit 100 and recognizing the environment around the fruit 100. The image sensor 40 has a function of acquiring an RGB (Red, Green, Blue) color image, an IR (InfraRed) image, and a depth image representing a distance to a subject, and a TOF (Time Of Flight) camera. It is.
イメージセンサ４０は、内部に赤外光を照射する赤外光源を有しており、撮像する際に略同時に赤外光を照射している。従って、イメージセンサ４０が取得するＩＲ画像（撮像画像）と深度画像とは、イメージセンサ４０の内部に搭載された赤外光源から照射された赤外光の反射光を受け取ることで撮像される。 The image sensor 40 has an infrared light source that irradiates infrared light inside, and irradiates infrared light almost simultaneously with imaging. Therefore, the IR image (captured image) and the depth image acquired by the image sensor 40 are captured by receiving reflected light of infrared light emitted from an infrared light source mounted inside the image sensor 40.
また、イメージセンサ４０のＲＧＢカラー画像は、図示しない白色光源の反射光を用いて撮像される。この白色光源はイメージセンサ４０の内部に搭載された赤外光源と同様のタイミングで発光し、白色光を照射する。なお、この白色光源はイメージセンサ４０に搭載されていてもよいし、イメージセンサ４０の外部に別部品として収穫ロボット１に搭載されていてもよい。 The RGB color image of the image sensor 40 is captured using reflected light of a white light source (not shown). This white light source emits light at the same timing as that of the infrared light source mounted inside the image sensor 40, and emits white light. The white light source may be mounted on the image sensor 40, or may be mounted on the harvesting robot 1 as a separate component outside the image sensor 40.
白色光源をイメージセンサ４０とは別部品する場合は、イメージセンサ４０が取得するＲＧＢカラー画像の水平方向の光量の偏りをなくすため、白色光源は、イメージセンサ４０の上部または下部に搭載されることが望ましい。 When the white light source is provided separately from the image sensor 40, the white light source should be mounted on the upper or lower part of the image sensor 40 in order to eliminate the bias in the horizontal light amount of the RGB color image obtained by the image sensor 40. Is desirable.
この白色光源は、例えば、白色のＬＥＤライトである。 The white light source is, for example, a white LED light.
イメージセンサ４０は、収穫ロボット１が畝間を走行する際に、果実１００やその周囲環境の画像情報を取得する。このため、イメージセンサ４０は、収穫ロボット１の走行方向に対して垂直な水平方向（すなわち左右方向）に位置する果実１００やその周囲環境の画像を撮像できるよう、収穫ロボット１に搭載されている。 The image sensor 40 acquires image information of the fruit 100 and its surrounding environment when the harvest robot 1 travels in the furrow. For this reason, the image sensor 40 is mounted on the harvesting robot 1 so as to capture images of the fruit 100 located in a horizontal direction perpendicular to the traveling direction of the harvesting robot 1 (that is, the horizontal direction) and the surrounding environment. .
なお、収穫ロボット１は、畝間を走行する際に、往路、復路でそれぞれ別方向の畝の果実１００を収穫することが一般的である。従って、イメージセンサ４０は収穫ロボット１の左右それぞれの方向の画像を取得できるよう搭載されることが望ましい。例えば、イメージセンサ４０は、１８０度回転が可能な回転ステージなどを介して収穫ロボット１に固定されることが考えられる。 When traveling in the furrow, the harvest robot 1 generally harvests the fruit 100 in the furrow in different directions on the outward route and the return route. Therefore, it is desirable that the image sensor 40 be mounted so that images in the left and right directions of the harvest robot 1 can be acquired. For example, it is conceivable that the image sensor 40 is fixed to the harvesting robot 1 via a rotation stage or the like that can rotate 180 degrees.
また、イメージセンサ４０は、果実１００を撮像できる高さに位置調整できるように、上下方向に移動可能なステージのような上下方向移動機構に固定されていることが望ましい。この上下方向移動機構は、例えば直動ステージである。また、イメージセンサ４０は、前述の上下方向移動機構に直接固定されていてもよいし、前述した回転ステージなどの回転機構、または別の板金等の部品を介して上下方向移動機構に固定されていてもよい。 Further, it is desirable that the image sensor 40 be fixed to a vertical movement mechanism such as a stage that can be moved vertically so that the position of the image sensor 40 can be adjusted to a height at which the fruit 100 can be imaged. The vertical movement mechanism is, for example, a linear motion stage. Further, the image sensor 40 may be directly fixed to the above-described vertical movement mechanism, or may be fixed to the above-described vertical movement mechanism via a rotation mechanism such as the above-described rotation stage, or another sheet metal or the like. May be.
駆動源５０は、収穫ロボット１の各機器に対して電力を供給する部品（動力源）である。駆動源５０は、例えば、鉛蓄電池やリチウムイオン電池である。その他、駆動源５０は、周囲の環境から独立している必要はない（収穫ロボット１に搭載されている必要はない）。したがって、環境に設置されている外部の電源から収穫ロボット１に有線で電力を供給する構成でもよい。 The drive source 50 is a component (power source) that supplies power to each device of the harvest robot 1. The drive source 50 is, for example, a lead storage battery or a lithium ion battery. In addition, the drive source 50 does not need to be independent from the surrounding environment (it is not necessary to be mounted on the harvesting robot 1). Therefore, a configuration in which electric power is supplied from an external power supply installed in the environment to the harvesting robot 1 in a wired manner may be employed.
制御部６０は、収穫ロボット１の制御を行う。制御部６０は、主に、収穫ロボット１の走行制御や収穫動作を決定する制御端末と、アーム２０を稼働させるための各種モータを制御するモーションコントローラやＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）とを備える。また、制御部６０は、後述の主茎１０２の形状の推定や、先端のエンドエフェクタ３０を果実１００にアクセスさせるまでのアームの移動経路（以下「アーム経路」という）の設定を行う。 The control unit 60 controls the harvest robot 1. The control unit 60 mainly includes a control terminal that determines traveling control and a harvesting operation of the harvest robot 1, a motion controller that controls various motors for operating the arm 20, and a PLC (Programmable Logic Controller). The control unit 60 also estimates the shape of the main stem 102 described later and sets the movement path of the arm (hereinafter, referred to as “arm path”) until the end effector 30 at the tip accesses the fruit 100.
３）収穫の手順
次に、収穫ロボット１による収穫の手順について、図３を用いて説明する。図３は、本実施の形態における収穫までの手順の一例を説明するためのフローチャートである。
3) Harvesting Procedure Next, a harvesting procedure performed by the harvesting robot 1 will be described with reference to FIG. FIG. 3 is a flowchart for explaining an example of a procedure up to harvesting in the present embodiment.
収穫ロボット１の制御部６０は、最初に、ステップＳ１において、果実１００の収穫を予定している方向（収穫方向）に向けて白色光源及び赤外光源をそれぞれ発光させ、収穫方向に白色光と赤外光とを照射する。 First, in step S1, the control unit 60 of the harvesting robot 1 causes the white light source and the infrared light source to emit light in the direction in which the fruit 100 is to be harvested (harvest direction), and to emit white light in the harvest direction. Irradiate with infrared light.
次に、制御部６０は、ステップＳ２において、イメージセンサ４０による、ＲＧＢカラー画像と、ＩＲ画像と、深度画像とをそれぞれ取得する。 Next, in step S2, the control unit 60 acquires an RGB color image, an IR image, and a depth image by the image sensor 40, respectively.
次に、制御部６０は、ステップＳ３において、ＩＲ画像に画像処理を行い、画像内に存在する果実１００を検出する。果実１００の検出は、例えば、略回転楕円体形状の果実１００の表面に、赤外光源により赤外光を照射すると、この赤外光が、果実１００の表面の略中央部で強く反射することを利用して行われる。すなわち、当該表面の略中央部に強く光る輝点が発生するので、制御部６０は、この輝点を検出することで、果実１００の検出を行う。また、制御部６０は、深度画像を用いて、検出した果実１００と同じ座標の画素の値から、果実１００までの距離を判断する。 Next, in step S3, the control unit 60 performs image processing on the IR image, and detects the fruit 100 existing in the image. The fruit 100 is detected, for example, by irradiating the surface of the substantially spheroidal fruit 100 with infrared light from an infrared light source, and this infrared light is strongly reflected at a substantially central portion of the surface of the fruit 100. It is performed using. That is, since a bright spot that shines strongly occurs substantially at the center of the surface, the control unit 60 detects the fruit 100 by detecting the bright spot. In addition, the control unit 60 determines the distance to the fruit 100 from the value of the pixel having the same coordinates as the detected fruit 100 using the depth image.
次に、制御部６０は、ステップＳ４において、ＩＲ画像の画像処理を行い、果実１００が結実している果梗１０１を検出する。果梗１０１も果実１００と同様に赤外光を強く反射する特性を有している。そこで、制御部６０は、ステップＳ３で求めた果実１００の存在する画像領域以外で、線状に発光する画像領域があれば、この画像領域の中で、細い領域を果梗１０１として判断する。線状で細い領域とは、例えば、１〜１０ｍｍ程度の太さでかつ線状の領域である。 Next, in step S4, the control unit 60 performs image processing of the IR image, and detects the fruit stem 101 in which the fruit 100 is fruiting. The stalk 101 also has a characteristic of strongly reflecting infrared light similarly to the fruit 100. Therefore, if there is an image area that emits linear light other than the image area where the fruit 100 found in step S <b> 3 exists, the control unit 60 determines that the thin area in the image area is the stalk 101. The linear thin area is, for example, a linear area having a thickness of about 1 to 10 mm.
次に、ステップＳ５で、制御部６０は主茎１０２を検出する。この主茎１０２の検出については後述する。 Next, in step S5, the control unit 60 detects the main stem 102. The detection of the main stem 102 will be described later.
次に、ステップＳ５ａにおいて、ステップＳ５で主茎１０２が検出されたか否かが判定される。 Next, in step S5a, it is determined whether or not the main stem 102 has been detected in step S5.
ステップＳ５ａで主茎１０２が検出されたと判定された場合は、制御部６０は、ステップＳ８で主茎１０２の形状推定を行った後、ステップＳ６においてアーム経路を算出する。なお、ステップＳ８で行われる主茎１０２の形状推定の詳細については後述する。 If it is determined in step S5a that the main stem 102 has been detected, the control unit 60 estimates the shape of the main stem 102 in step S8, and then calculates an arm path in step S6. The details of the shape estimation of the main stem 102 performed in step S8 will be described later.
ステップＳ５ａで主茎１０２が検出されなかったと判定された場合は、ステップＳ８はバイパスされて主茎１０２の形状推定は行われず、ステップＳ６の処理（アーム経路の算出）が行われる。 If it is determined in step S5a that the main stem 102 has not been detected, step S8 is bypassed and the shape of the main stem 102 is not estimated, and the process of step S6 (calculation of the arm path) is performed.
次に、ステップＳ６ａにおいて、ステップＳ６で算出されたアーム経路上に主茎１０２が存在するか否かが判定される。 Next, in step S6a, it is determined whether or not the main stem 102 exists on the arm path calculated in step S6.
ステップＳ６ａで、アーム経路上に主茎１０２が存在しないと判定された場合は、ステップＳ７で、制御部６０は、アーム２０とエンドエフェクタ３０とを用いて果実１００を収穫するための動作（収穫動作）を行う。その一方、ステップＳ６ａで、アーム経路上に主茎１０２が存在すると判定された場合は、ステップＳ９に進み、主茎１０２が果実１００の収穫の障害になるため、制御部６０は収穫動作を行わない。 If it is determined in step S6a that the main stem 102 does not exist on the arm path, the control unit 60 uses the arm 20 and the end effector 30 to harvest the fruit 100 (harvesting) in step S7. Operation). On the other hand, when it is determined in step S6a that the main stem 102 exists on the arm path, the process proceeds to step S9, where the main stem 102 becomes an obstacle to the harvest of the fruit 100. Absent.
ステップＳ３で複数の果実１００が検出されていた場合において、その中でアーム経路算出が実施されていない果実１００が存在する場合には、次のアーム経路算出が実施されていない果実１００についてステップＳ６以降が繰り返される。ステップＳ３で検出された果実１００の全てに対してステップＳ６以降の処理が行われた後、収穫ロボット１は画像内の房に対する収穫作業を終了する。 If a plurality of fruits 100 have been detected in step S3 and there is a fruit 100 for which arm path calculation has not been performed among them, step S6 is performed for the fruit 100 for which the next arm path calculation has not been performed. The following is repeated. After the processing from step S6 has been performed on all of the fruits 100 detected in step S3, the harvesting robot 1 ends the harvesting work on the bunches in the image.
４）主茎検出処理
次に、収穫ロボット１の制御部６０が行う主茎検出処理（図３のステップＳ５）について図４，図５Ａ，図５Ｂ及び図５Ｃを用いて詳細に説明する。図４は本実施の形態における主茎検出の処理（ステップＳ５）の一例を説明するためのフローチャートである。図５Ａ〜図５Ｃは本実施の形態における主茎検出するための画像処理を説明するための図である。図５Ａは、イメージセンサ４０によって取得したＩＲ画像（以下「元ＩＲ画像」という）である。図５Ｂ及び図５Ｃは元ＩＲ画像にそれぞれ画像処理を施した画像である。
4) Main Stalk Detection Processing Next, the main stem detection processing (step S5 in FIG. 3) performed by the control unit 60 of the harvest robot 1 will be described in detail with reference to FIGS. 4, 5A, 5B, and 5C. FIG. 4 is a flowchart for explaining an example of the main stem detection process (step S5) in the present embodiment. 5A to 5C are diagrams for explaining image processing for detecting a main stem in the present embodiment. FIG. 5A is an IR image acquired by the image sensor 40 (hereinafter, referred to as an “original IR image”). 5B and 5C are images obtained by performing image processing on the original IR image.
図４に示すように、主茎検出の処理（図３のステップＳ５）では、先ずステップＳ５１の処理が行われる。具体的には、図５Ａに示される元ＩＲ画像から、ステップＳ３（図３参照）で検出された果実１００の画像１００Ａと、ステップＳ４（図３参照）で検出された果梗１０１の画像１０１Ａとを、消去する処理が行われる。この処理により図５Ｂに示されるＩＲ画像が得られ、このＩＲ画像では、イメージセンサ４０から比較的近い距離にある主茎１０２の画像１０２Ａ（以下「主茎画像１０２Ａ」という）の画素値のみが高い状態となる。 As shown in FIG. 4, in the main stem detection process (step S5 in FIG. 3), first, the process of step S51 is performed. Specifically, from the original IR image shown in FIG. 5A, an image 100A of the fruit 100 detected in step S3 (see FIG. 3) and an image 101A of the stalk 101 detected in step S4 (see FIG. 3) Are deleted. By this processing, an IR image shown in FIG. 5B is obtained. In this IR image, only the pixel values of the image 102A of the main stem 102 at a relatively short distance from the image sensor 40 (hereinafter, referred to as “main stem image 102A”) are obtained. It will be high.
次にステップＳ５２の処理が行われる。具体的には、ステップＳ５１で処理されたＩＲ画像から、画素値が予め設定された閾値を上回る画素のみ抽出して、当該ＩＲ画像を２値化処理する。この処理によって図５Ｃに示される２値化画像が得られる。すなわち、この処理により、図５Ｂに示される画像より、イメージセンサ４０から近い領域にある主茎画像１０２Ａのみが抽出され、イメージセンサ４０から遠くに存在する他物体の情報（画像）が除去される。この処理により、図５Ｃで示されるような二値化された主茎画像２０２が検出された場合は、次に主茎の形状推定（図３に示されるステップＳ８の処理）が行われる。 Next, the process of step S52 is performed. Specifically, from the IR image processed in step S51, only pixels whose pixel values exceed a preset threshold are extracted, and the IR image is subjected to a binarization process. By this processing, a binarized image shown in FIG. 5C is obtained. That is, by this process, only the main stem image 102A located in a region near the image sensor 40 is extracted from the image shown in FIG. 5B, and information (image) of another object located far from the image sensor 40 is removed. . When the binarized main stem image 202 as shown in FIG. 5C is detected by this process, the main stem shape is estimated (the process of step S8 shown in FIG. 3).
５）主茎の形状推定処理
次に、収穫ロボット１の制御部６０が行う主茎の形状推定処理（図３のステップＳ８）について、図６〜図１１を用いて詳細に説明する。図６は本実施の形態における主茎の形状推定処理の処理一例を説明するためのフローチャートである。図７Ａ，図７Ｂ及び図７Ｃは、本実施の形態における主茎の形状推定処理の画像処理を説明するための図であって、図４のステップＳ５２にて２値化されたＩＲ画像（図５Ｃ参照）に画像処理を施した図である。図８は画像左右最近傍画素を探索する様子を説明するための図である。図９は内側主茎線画素の検出を説明するための図である。図１０は画像の外領域の主茎の推定について説明するための図である。図１１は画像の外領域の主茎を推定する領域の考え方を説明するための図である。
5) Main Stem Shape Estimation Process Next, the main stem shape estimation process (step S8 in FIG. 3) performed by the control unit 60 of the harvest robot 1 will be described in detail with reference to FIGS. FIG. 6 is a flowchart for explaining an example of a main stem shape estimating process according to the present embodiment. FIGS. 7A, 7B, and 7C are views for explaining image processing of the main stem shape estimation processing according to the present embodiment, and are IR images binarized in step S52 of FIG. FIG. 5C is a diagram in which image processing is performed. FIG. 8 is a diagram for explaining how to search for the nearest pixel on the left and right of the image. FIG. 9 is a diagram for explaining detection of an inner main stem line pixel. FIG. 10 is a diagram for describing estimation of the main stem in the outer region of the image. FIG. 11 is a diagram for explaining the concept of a region for estimating the main stem in the outer region of the image.
図６に示すように、主茎の形状推定処理では、先ずステップＳ８１の処理が行われる。具体的には、ステップＳ５２（図４参照）にて抽出した主茎領域（主茎画像２０２）についてラベリング処理が行われる。つまり、図７Ａに示すように、２値化画像である主茎画像２０２を構成する白色の画素に、同じ番号（ここでは「１」）がラベルとして付与される。 As shown in FIG. 6, in the main stem shape estimating process, first, the process of step S81 is performed. Specifically, a labeling process is performed on the main stem region (main stem image 202) extracted in step S52 (see FIG. 4). That is, as shown in FIG. 7A, the same number (here, “1”) is assigned as a label to the white pixels forming the main stem image 202 that is a binarized image.
次に、ステップＳ８２で、主茎画像２０２の細線化処理が行われ、図７Ｂに示される細線化された主茎画像（以下「主茎線２０２Ａ」という）が得られる。この細線化処理の際、ステップＳ８１で主茎画像２０２に付与されたラベルが、主茎線２０２Ａにも承継される。つまり、主茎線２０２Ａを構成する白色の各画素に「１」がラベルとして付与される。 Next, in step S82, thinning processing of the main stem image 202 is performed, and a thinned main stem image (hereinafter, referred to as “main stem line 202A”) shown in FIG. 7B is obtained. In the thinning process, the label assigned to the main stem image 202 in step S81 is also inherited by the main stem line 202A. That is, “1” is assigned as a label to each white pixel constituting the main stem line 202A.
次に、ステップＳ８３において、主茎線２０２Ａの内、画像の左右端部（外縁）に最も近い画素（第一基準画素、以下「画像左右最近傍画素」という）２１０がどの位置に存在するかが検出される。 Next, in step S83, the position of the pixel (first reference pixel, hereinafter referred to as “image left / right nearest pixel”) 210 closest to the left / right end (outer edge) of the image is present in the main stem line 202A. Is detected.
画像左右最近傍画素２１０の検出手順を、図８を用いて説明する。図８は、図７Ｃに示される画像の一部を抽出したものを示す模式図であり、図中の格子は画素を表し、主茎線２０２Ａを構成する画素が黒く塗りつぶされて示されている。 The procedure for detecting the nearest pixel 210 to the left and right of the image will be described with reference to FIG. FIG. 8 is a schematic diagram showing a part of the image shown in FIG. 7C extracted. The grids in the figure represent pixels, and the pixels constituting the main stem line 202A are shown in black. .
まず、図８中に斜線が引かれて示されている領域、すなわち、画像の左端（外縁）で縦一列に並ぶ格子群（以下「格子列」という）と右端（外縁）の格子列とについて探索が行われ、これらの格子列中に主茎線２０２Ａを構成する画素（以下「主茎線画素」という）が存在するか否かが確認される。主茎線画素が存在した場合は、その主茎線画素を画像左右最近傍画素２１０とし、その主茎線画素の位置と主茎線２０２Ａのラベルとを記録する。 First, a region shaded in FIG. 8, that is, a grid group (hereinafter referred to as a “grid row”) arranged in a vertical line at the left end (outer edge) of the image and a grid row at the right end (outer edge) A search is performed, and it is confirmed whether or not a pixel constituting the main stem line 202A (hereinafter referred to as “main stem line pixel”) exists in these lattice columns. When the main stem line pixel exists, the main stem line pixel is set as the left and right nearest pixel 210 in the image, and the position of the main stem line pixel and the label of the main stem line 202A are recorded.
この探索処理は、探索対象となる格子列、左端と右端とからそれぞれ一列ずつ内側（左右中心側）に移動させて行われる。そして、左端の１〜５列の左領域、及び、右端の１〜５列までの右領域についてそれぞれ探索が行われると、探索処理が完了する。この際、右領域に同じラベルが付与された主茎線画素が複数存在した場合は、最初に検出された主茎線画素が、画像左右最近傍画素２１０とされ、その主茎線画素の位置が記録される。同様に、左領域に同じラベルが付与された主茎線画素が複数存在した場合は、最初に検出された主茎線画素が、画像左右最近傍画素２１０とされ、その主茎線画素の位置が記録される。 This search processing is performed by moving one row inward (left / right center side) from the grid row to be searched, the left end and the right end. When the search is performed for the left region of the leftmost 1 to 5 columns and the right region of the rightmost 1 to 5 columns, the search process is completed. At this time, if there are a plurality of main stem line pixels with the same label in the right area, the first detected main stem line pixel is regarded as the left and right nearest pixel 210 in the image, and the position of the main stem line pixel is determined. Is recorded. Similarly, when there are a plurality of main stem line pixels having the same label in the left area, the first detected main stem line pixel is regarded as the left and right nearest pixel 210 in the image, and the position of the main stem line pixel is determined. Is recorded.
なお、主茎線画素が最初に検出された時点で探索を終了するようにしてもよい。具体的には、例えば、右端から１列目で初めて主茎線画素が検出された場合には、右領域における探索を右１列目で終了させ、左端から２列目で初めて主茎線画素が検出された場合には、左領域における探索を左１列目で終了させてもよい。 Note that the search may be terminated when the main stem line pixel is first detected. Specifically, for example, when the main stem line pixel is detected for the first time in the first column from the right end, the search in the right area is terminated in the first column on the right, and the main stem line pixel is first detected in the second column from the left end. May be detected, the search in the left area may be ended in the first column on the left.
次に、ステップＳ８４において、ステップＳ８３の探索処理にて画像左右最近傍画素２１０が検出されたかが判定され、検出されていた場合は、ステップＳ８５に進む。ステップＳ８５で行われる処理を、図９を参照して説明すると、画像内において、画像左右最近傍画素２１０の位置から一定距離ＤＡＢ離れた位置に存在する内側主茎線画素２２０（第二基準画素）が検出される。 Next, in step S84, it is determined whether the left and right nearest pixels 210 of the image have been detected in the search processing in step S83, and if it has been detected, the process proceeds to step S85. The processing performed in step S85 will be described with reference to FIG. 9. In the image, the inner main stem line pixel 220 (second reference line) located at a position separated by a predetermined distance DAB from the position of the left and right nearest pixel 210 in the image Pixel) is detected.
ここで、画像左右最近傍画素２１０の座標をＡ（ｘａ，ｙａ）とし、画像左右最近傍画素２１０から一定距離ＤＡＢにある座標をＢ（ｘｂ，ｙｂ）とすると、円の方程式である下式（１）が成り立つ。 Here, the coordinates of the image left and right nearest pixel 210 A (x a, y a ) and the coordinate in the image left and right nearest pixel 210 at a constant distance D AB B (x b, y b) When, in the circle The following equation (1) holds.
一定距離ＤＡＢは、画素サイズを単位として（画素を単位として）設定されてもよいが、深度画像から得られる被写体までの距離を考慮して、実距離に換算されることが望ましい。すなわち、一定距離ＤＡＢは、画像上の距離ではなく、実際の距離により設定されるのが望ましい。 The fixed distance DAB may be set in units of a pixel size (in units of pixels), but is preferably converted to an actual distance in consideration of a distance to a subject obtained from a depth image. That is, it is desirable that the fixed distance D AB be set based on the actual distance, not the distance on the image.
また、主茎は節の部分でその傾きを大きく変える傾向にあるため、一定距離ＤＡＢは、節を完全に跨がない長さとすることが望ましい。例えば、その果実の主茎の節の植生方向（主茎が伸びている方向）の長さの平均値（すなわち、その品種における、節自体の長さの標準値）よりも短い長さを一定距離ＤＡＢに用いるのが好ましい。 In addition, since the main stem tends to change its inclination largely at the nodes, it is desirable that the fixed distance D AB be a length that does not completely straddle the nodes. For example, a fixed length shorter than the average length of the vegetation direction (the direction in which the main stem extends) of the knot of the main stem of the fruit (that is, the standard value of the length of the knot itself in the variety). It is preferably used for the distance DAB .
次に、ステップＳ８６において、図１０に示されるように、画像の外領域（撮像画像外）における主茎形状線２５０が推定される。つまり、ステップＳ８３で検出された画像左右最近傍画素２１０と、ステップＳ８５で検出された内側主茎線画素２２０とを通る線分の傾きが求められ、画像左右最近傍画素２１０からこの傾きで画像の外領域へと延在する直線が、主茎形状線２５０として推定される。換言すれば、画像の右端（外縁）と円２３０とで取り囲まれる領域内（外縁近傍領域内）に位置する、画素２１０，２２０間の主茎線画素が、主茎画像２０２Ａの外縁近傍部として抽出され、この外縁近傍部の傾きが求められる。そしてこの傾きに基づいて主茎形状線２５０として推定される。 Next, in step S86, as shown in FIG. 10, the main stem shape line 250 in the outer region of the image (outside the captured image) is estimated. That is, the gradient of the line segment passing through the image left-right nearest pixel 210 detected in step S83 and the inner main stem line pixel 220 detected in step S85 is obtained, and the image left-right nearest pixel 210 is used to calculate Is estimated as the main stem shape line 250. In other words, the main stem line pixel between the pixels 210 and 220, which is located in the area (in the area near the outer edge) surrounded by the right end (outer edge) of the image and the circle 230, is defined as the vicinity of the outer edge of the main stem image 202A. It is extracted, and the inclination near the outer edge is obtained. Then, it is estimated as the main stem shape line 250 based on this inclination.
なお、この際、各画素２１０，２２０の奥行位置（深度）も考慮して、画素２１０，２２０を通る直線が想定される。すなわち、主茎形状線２５０が三次元的に推定される。なお、主茎形状線２５０の上下端は、画像の上下の辺を左右方向に延長した線２４０，２４１と交差する位置とされる。 In this case, a straight line passing through the pixels 210 and 220 is assumed in consideration of the depth position (depth) of each of the pixels 210 and 220. That is, the main stem shape line 250 is estimated three-dimensionally. Note that the upper and lower ends of the main stem shape line 250 intersect with lines 240 and 241 that extend the upper and lower sides of the image in the left-right direction.
ここで、画像の外領域における主茎形状線２５０を、画像左右最近傍画素２１０と、内側主茎線画素２２０とを結んで画像の外領域に延長する方法を示したが、他の手法で画像の外領域の主茎形状線を推定してもよい。 Here, the method of extending the main stem shape line 250 in the outer region of the image to the outer region of the image by connecting the left and right nearest pixels 210 to the inner main stem pixel 220 has been described. The main stem shape line in the outer region of the image may be estimated.
例えば、画像左右最近傍画素２１０と内側主茎線画素２２０との間に存在する全ての主茎線画素（画素２１０,２２０を含めてもよい）の分布から、主成分分析によってこれらの画素２１０，２２０の相互間の傾きを求める。そして、画像左右最近傍画素２１０から、その傾きで画像の外領域に延長した線を主茎形状線２５０と推定してもよい。 For example, from the distribution of all the main stem pixels (which may include the pixels 210 and 220) existing between the left and right nearest pixels 210 of the image and the inner main stem pixel 220, these pixels 210 are analyzed by principal component analysis. , 220 are obtained. Then, a line extending from the left and right nearest pixels 210 to the outer region of the image with the inclination may be estimated as the main stem shape line 250.
画像左右最近傍画素２１０と、内側主茎線画素２２０とを単純に結んで延長した直線の傾きは、内側主茎線画素２２０の位置によっては、本来の主茎１０２の傾きとは異なる可能性がある。そこで主成分分析を用いれば、画像左右最近傍画素２１０と、内側主茎線画素２２０との間に存在する主茎線画素の全ての情報を考慮した傾きとなるため、より本来の主茎の形状に沿った傾きを求めることが可能となる。 The inclination of the straight line extended by simply connecting the left and right nearest pixel 210 of the image and the inner main stem line pixel 220 may be different from the original inclination of the main stem 102 depending on the position of the inner main stem line pixel 220. There is. Therefore, if the principal component analysis is used, the inclination takes into account all the information of the main stem line pixels existing between the image left and right nearest neighbor pixels 210 and the inner main stem line pixel 220, so that the more original main stem The inclination along the shape can be obtained.
なお、主成分分析によって主茎１０２の傾きを求める場合には、細線化処理を行う前の主茎画像２０２（図７Ａ参照）に対して主成分分析を行うようにしてもよい。 When the inclination of the main stem 102 is obtained by principal component analysis, principal component analysis may be performed on the main stem image 202 (see FIG. 7A) before performing the thinning process.
再び図６を参照すると、ステップＳ８４にて、画像左右最近傍画素２１０が存在しないと判定された場合は、主茎１０２の形状が推定されることなく、画像内の主茎情報（主茎画像２０２又は主茎線２０２Ａ）のみを障害物として、ステップＳ６へ処理（アーム経路の算出、図３参照）が移行する。 Referring to FIG. 6 again, when it is determined in step S84 that the left and right nearest pixels 210 do not exist in the image, the main stem information (main stem image) in the image is not estimated without estimating the shape of the main stem 102. The process (calculation of the arm path, see FIG. 3) shifts to step S6 with only the main line 202 or the main stalk 202A as the obstacle.
なお、ステップＳ８３にて画像の左右側のみ最近傍画素の探索を行ったのは、図１１に示すように、画像の左側の外領域３００又は右側の３０１にアーム２０、またはエンドエフェクタ３０の稼働領域が存在するためである。 Note that the search for the nearest pixel only on the left and right sides of the image in step S83 is performed by operating the arm 20 or the end effector 30 in the outer region 300 on the left or 301 on the right as shown in FIG. This is because the region exists.
この理由を説明する。アーム２０の高さ調整（Ｚ方向の位置調整）は、直動ステージにより直線的に行われ、この際、アーム２０全体が上下する。そして、アーム先端のエンドエフェクタ３０の果実１００へのアクセスは、３つの水平方向用制御軸を使用してエンドエフェクタ３０の水平位置（ＸＹ方向の位置調整）を細かく調整しながら水平方向から行われる。 The reason will be described. The height adjustment (position adjustment in the Z direction) of the arm 20 is performed linearly by a linear motion stage, and at this time, the entire arm 20 moves up and down. The end effector 30 at the end of the arm accesses the fruit 100 from the horizontal direction while finely adjusting the horizontal position (position adjustment in the XY directions) of the end effector 30 using three horizontal control axes. .
したがって、エンドエフェクタ３０を果実１００へアクセスする際においては、画像の上下の外領域には、アーム２０やエンドエフェクタ３０の稼働領域が存在せず、アーム２０やエンドエフェクタ３０の移動経路であるアーム経路の算出が不要となるためである。このように、主茎１０２の形状が推定される領域が限定されることで、無駄な処理が行われないようにして、主茎形状線２５０の推定や移動経路の算出に伴う処理量が軽減される。 Therefore, when the end effector 30 accesses the fruit 100, the operating area of the arm 20 and the end effector 30 does not exist in the upper and lower outer regions of the image, and the arm that is the movement route of the arm 20 and the end effector 30. This is because the calculation of the route becomes unnecessary. In this way, by limiting the region in which the shape of the main stem 102 is estimated, unnecessary processing is not performed, and the amount of processing involved in estimating the main stem shape line 250 and calculating the movement route is reduced. Is done.
６）作用効果
このように本実施の形態による主茎の形状推定方法を用いることにより、イメージセンサ４０が取得した画像よりも外側の領域における主茎１０２の形状を考慮してアーム経路を算出することができ、アーム２０やエンドエフェクタ３０が、画像の外領域に存在する主茎１０２に接触してしまうことを防止できる。したがって、安定的な収穫を実施することができる。
6) Operation and Effect By using the method for estimating the shape of the main stem according to the present embodiment, the arm path is calculated in consideration of the shape of the main stem 102 in a region outside the image acquired by the image sensor 40. Therefore, it is possible to prevent the arm 20 and the end effector 30 from contacting the main stem 102 existing in a region outside the image. Therefore, stable harvesting can be performed.
７）その他
以上、本発明は上述した実施の形態に限定されるものではない。
ａ）例えば、トマト以外の収穫にも適用できる。
7) Others As described above, the present invention is not limited to the above-described embodiment.
a) For example, it can be applied to harvests other than tomato.
ｂ）上方から又は下方からも果実１００にアクセスできる作業アームを使用する場合には、画像よりも上方又は下方の外領域における主茎１０２を推定するようにしてもよい。 b) When using a work arm that can access the fruit 100 from above or below, the main stem 102 in the outer region above or below the image may be estimated.
本発明は、トマトをはじめとする果実の安定的な収穫を可能とするものであり、その産業上の利用可能性は多大である。 INDUSTRIAL APPLICABILITY The present invention enables stable harvest of fruits including tomatoes, and its industrial applicability is enormous.
１ 収穫ロボット（収穫装置）
１０ 走行部
２０ 作業アーム
３０ エンドエフェクタ
４０ イメージセンサ（撮像装置）
５０ 駆動源
６０ 制御部
１００ 果実
１００Ａ ＩＲ画像上の果実画像
１０１ 果梗
１０１Ａ ＩＲ画像上の果梗画像
１０２ 主茎
１０２Ａ ＩＲ画像上の主茎画像
２０２ 二値化された主茎画像
２１０ 画像左右最近傍画素（第一基準画素）
２２０ 内側主茎線画素（第二基準画素）
２５０ 主茎形状線
1 Harvesting robot (harvesting device)
DESCRIPTION OF SYMBOLS 10 Running part 20 Working arm 30 End effector 40 Image sensor (imaging device)
Reference Signs List 50 driving source 60 control unit 100 fruit 100A fruit image on IR image 101 fruit stem 101A fruit stem image on IR image 102 main stem 102A main stem image on IR image 202 binarized main stem image 210 Side pixel (first reference pixel)
220 Inner main stem line pixel (second reference pixel)
250 main stem shape line
Claims (7)
前記撮像画像内で前記撮像画像の外縁の近傍に設定された外縁近傍領域内に位置する前記主茎画像の一部である外縁近傍部を抽出するステップと、
前記外縁近傍部の傾きを推定し、前記傾きに基づいて、前記撮像画像外における前記主径の形状を推定するステップと、を有する
主茎の形状推定方法。 Analyzing the captured image obtained by the imaging device, extracting a main stem image that is an image of the main stem in the captured image,
Extracting the outer edge near portion that is a part of the main stem image located in the outer edge near region set near the outer edge of the captured image in the captured image,
Estimating the inclination of the vicinity of the outer edge, and estimating the shape of the main diameter outside the captured image based on the inclination.
細線化された前記主茎画像を構成する画素の内、前記外縁に最も近い画素を第一基準画素とし、
前記外縁近傍領域は、前記第一基準画素を中心とした所定長さの半径の円と前記外縁とで取り囲まれる領域である
請求項１記載の主茎の形状推定方法。 Further comprising a step of thinning the main stem image,
Of the pixels constituting the thinned main stem image, a pixel closest to the outer edge is used as a first reference pixel,
The main stem shape estimating method according to claim 1, wherein the outer edge vicinity area is an area surrounded by a circle having a radius of a predetermined length centered on the first reference pixel and the outer edge.
請求項２記載の主茎の形状推定方法。 The method for estimating the shape of a main stem according to claim 2, wherein the predetermined length is shorter than a standard value of a length in a vegetation direction of a node formed on the main stem.
前記第一基準画素から前記傾きで前記撮像画像外へと延在する直線を、前記撮像画像外における前記主径の形状と推定する
請求項２又は３記載の主茎の形状推定方法。 Of the pixels constituting the thinned main stem image, a pixel located on the circle as a second reference pixel, the inclination of a line connecting the second reference pixel and the first reference pixel, Presumed to be the inclination near the outer edge,
The shape estimation method of the main stem according to claim 2, wherein a straight line extending from the first reference pixel to the outside of the captured image with the inclination is estimated as the shape of the main diameter outside the captured image.
細線化された前記主茎画像を構成する画素の内、前記第一基準画素から、前記傾きで前記撮像画像外へと延在する直線を、前記撮像画像外における前記主径の形状と推定する
請求項２又は３記載の主茎の形状推定方法。 With respect to the distribution of pixels constituting the outer edge vicinity of the main stem image before thinning, or the distribution of pixels constituting the outer edge vicinity of the thinned main stem image, the main component Performing an analysis to estimate the slope,
From the pixels constituting the thinned main stem image, a straight line extending from the first reference pixel to the outside of the captured image with the inclination is estimated as the shape of the main diameter outside the captured image. The method for estimating the shape of a main stem according to claim 2 or 3.
作業アームの移動経路の設定方法。 A movement path of a working arm for harvesting fruits is set based on the shape of the main diameter outside the captured image estimated by the main stem shape estimation method according to any one of claims 1 to 5. How to set the movement path of the work arm.
撮像装置と、
前記作業アームの動作を制御する制御部と、を備え、
前記制御部は、
前記撮像装置が取得した撮像画像を解析して、前記撮像画像内において主茎の画像である主茎画像を抽出し、
前記撮像画像内で前記撮像画像の外縁の近傍に設定された外縁近傍領域内に位置する前記主茎画像の一部である外縁近傍部を抽出し、
前記外縁近傍部の傾きを推定し、前記傾きに基づいて、前記撮像画像外における前記主径の形状を推定し、
推定された前記撮像画像外における前記主径の形状に基づいて、前記果実を収穫するための作業アームの移動経路を設定する
収穫装置。 A working arm for harvesting fruits,
An imaging device;
A control unit for controlling the operation of the work arm,
The control unit includes:
Analyze the captured image obtained by the imaging device, to extract a main stem image that is an image of the main stem in the captured image,
In the captured image, to extract the outer edge near portion that is a part of the main stem image located in the outer edge near region set near the outer edge of the captured image,
Estimating the inclination of the outer edge vicinity portion, based on the inclination, to estimate the shape of the main diameter outside the captured image,
A harvesting device that sets a movement path of a working arm for harvesting the fruit based on the shape of the main diameter outside the estimated captured image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018124809A JP2020000170A (en) | 2018-06-29 | 2018-06-29 | Shape estimation method of main stem, setting method of moving route of operation arm, and harvesting device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018124809A JP2020000170A (en) | 2018-06-29 | 2018-06-29 | Shape estimation method of main stem, setting method of moving route of operation arm, and harvesting device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020000170A true JP2020000170A (en) | 2020-01-09 |
Family
ID=69098763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018124809A Pending JP2020000170A (en) | 2018-06-29 | 2018-06-29 | Shape estimation method of main stem, setting method of moving route of operation arm, and harvesting device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020000170A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7550716B2 (en) | 2021-05-14 | 2024-09-13 | 株式会社クボタ | Harvesting Machine |
-
2018
- 2018-06-29 JP JP2018124809A patent/JP2020000170A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7550716B2 (en) | 2021-05-14 | 2024-09-13 | 株式会社クボタ | Harvesting Machine |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | Intelligent robots for fruit harvesting: Recent developments and future challenges | |
| Zhao et al. | A review of key techniques of vision-based control for harvesting robot | |
| Botterill et al. | A robot system for pruning grape vines | |
| Steward et al. | The use of agricultural robots in weed management and control | |
| JP6856411B2 (en) | Fruit stalk position estimation device and fruit stalk position estimation method | |
| WO2023050783A1 (en) | Weeding robot and method and apparatus for planning weeding path thereof, and medium | |
| Miao et al. | Efficient tomato harvesting robot based on image processing and deep learning | |
| Majeed et al. | Development and performance evaluation of a machine vision system and an integrated prototype for automated green shoot thinning in vineyards | |
| Kalampokas et al. | Grape stem detection using regression convolutional neural networks | |
| Cho et al. | Plant growth information measurement based on object detection and image fusion using a smart farm robot | |
| JP7049814B2 (en) | Harvest robot system | |
| Majeed et al. | Estimating the trajectories of vine cordons in full foliage canopies for automated green shoot thinning in vineyards | |
| Xiang et al. | Field‐based robotic leaf angle detection and characterization of maize plants using stereo vision and deep convolutional neural networks | |
| JP2019152924A (en) | Self-position identification system, vehicle, and processing device | |
| JP2021036821A (en) | Harvesting robot | |
| Tejada et al. | Proof-of-concept robot platform for exploring automated harvesting of sugar snap peas | |
| Burusa et al. | Attention-driven active vision for efficient reconstruction of plants and targeted plant parts | |
| Rajendran et al. | Towards autonomous selective harvesting: A review of robot perception, robot design, motion planning and control | |
| Yoshida et al. | A tomato recognition method for harvesting with robots using point clouds | |
| US20240165807A1 (en) | Visual servoing of a robot | |
| Jin et al. | Far-near combined positioning of picking-point based on depth data features for horizontal-trellis cultivated grape | |
| Kim et al. | 2D pose estimation of multiple tomato fruit-bearing systems for robotic harvesting | |
| Kounalakis et al. | Development of a tomato harvesting robot: Peduncle recognition and approaching | |
| Liu et al. | The Vision-Based Target Recognition, Localization, and Control for Harvesting Robots: A Review | |
| Sun et al. | Object localization methodology in occluded agricultural environments through deep learning and active sensing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190718 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20191121 |