JP2023088826A - 画像および点群データ処理に基づく茶摘み方法 - Google Patents

Abstract

【課題】画像および点群データ処理に基づく茶摘み方法を提供する。【解決手段】サーモグラフィによる撮影でカッターと茶樹樹冠の熱画像を得るとともに、レーザーレーダー走査によりカッターと茶樹樹冠の点群情報を得るステップと、熱画像から関心領域Ｓを選択し、関心領域Ｓ内の若芽数ｎを算出するステップと、茶樹樹冠の近似曲線を得て、カッターと茶樹樹冠との間における距離ｄ２を算出するステップと、ｎおよびｄ２に基づいて判断し、さらにカッター位置を調整し、最後に切断するステップとを含む。【効果】サーモグラフィとレーザーレーダーによる茶樹の樹冠情報の処理とともに、カッターと茶樹樹冠との間における相対位置の調整により、茶葉摘み取り精度を効果的に向上できる。【選択図】図１

Description

本発明は、茶葉摘み取りの技術分野に関し、特に画像および点群データ処理に基づく茶摘み方法に関する。

中国は、名実ともに茶葉の栽培・生産大国である。２０２０年、全国の荒茶の生産量と生産額は、それぞれ２９８．６０万トンと２６２６．５８億元に達した。しかし、伝統的な茶葉生産は、家庭単位で行われることが多く、茶葉の摘み取りから加工まですべて手作業が中心であり、労働集約型産業に属する。茶葉の摘み取りという観点からは、人力による摘み取りのコストが高いため、茶葉の生産コストが増加する一方、茶葉の摘み取り時間が短く、人力による摘み取りの効率が低いため、茶葉の生産量が大きく制限される。現在、中国の茶葉の摘み取りと労働者の矛盾は、すでに茶葉産業発展のボトルネックとなっている。そのため、多くの科学技術者は、自動茶摘み装置を研究して上述の問題を解決し始めている。

既存の茶摘み機は、摘み方によって選択的茶摘み機と非選択的茶摘み機の２種類に分けられる。このうち、選択的茶摘み機は、主に名優茶の摘み取りに用いられるが、非選択的茶摘み機は、主に大衆茶の摘み取りに用いられる。現在普及して使用されている茶摘み機の多くは、大衆茶の生葉摘み用に生産されており、機械動力を利用してブレードを動かし、茶葉を迅速に切り取り、収集している。この種の茶摘み機は、摘み取り効率が高く、労働力コストと労働強度を下げることができ、茶摘みの人手不足という矛盾をある程度緩和した。

茶摘み機は、摘み取り効率を高めることができるが、その選択性に乏しく、作業時に老葉と若葉を区別せずに切断することで、芽葉の大きさが異なり、バラツキが大きく、また茶樹に対する機械的損傷が大きく、同時に摘採葉の老葉と若葉が混在し、古茎や老葉と破損した葉の含有量が比較的高く、茶摘み機の普及および使用にある程度影響する。自動化やスマート化された茶摘み機械は、茶葉業界の切実な需要となっている。新梢の摘み取りの完全性と一致性を高め、茶葉全体の品質を高めるため、画像認識を用い、若芽を選択して摘み取るものが発展したが、茶樹の老葉と若葉が交互に重なるため、茶葉の色差が小さく、画像認識だけの方式では依然として摘み取り精度の問題を解決できない。

上記の問題に対して、本発明の目的は、画像および点群データ処理に基づく茶摘み方法を開示し、サーモグラフィとレーザーレーダーによって茶樹の樹冠情報を処理するとともに、カッターと茶樹樹冠との間における相対位置を調整することにより、茶葉の摘み取り精度を効果的に向上することができる。

具体的には、本発明の画像および点群データ処理に基づく茶摘み方法は、以下のステップを含む。
Ｓ１：サーモグラフィによる撮影でカッターと茶樹樹冠の熱画像を得るとともに、レーザーレーダー走査によりカッターと茶樹樹冠の点群情報を得る。
Ｓ２：撮影した茶樹樹冠の熱画像から関心領域Ｓを選択するとともに、関心領域Ｓ内の若芽数ｎを算出する。
Ｓ３：得られたカッターと茶樹樹冠の点群情報に基づいて、茶樹樹冠の近似曲線を得て、カッターと茶樹樹冠との間における距離ｄ２を算出する。
Ｓ４：若芽数ｎおよびカッターと茶樹樹冠との間における距離ｄ２に基づいて判断し、さらにカッター位置を調整し、最後に切断する。

さらに、前記関心領域Ｓは、カッターの長さと同じ幅の矩形領域であり、カッターの真前方に位置し、前記関心領域Ｓは、底部直線が茶樹上へのカッターの投影であり、前端直線と底部直線との間における距離がｄ１である。

さらに、前記ステップＳ２における若芽数は、深層学習における目標検出アルゴリズムＹＯＬＯ－Ｖ５を用いて検出される。

さらに、前記ステップＳ４において、カッターが茶樹樹冠の上にある場合、ｄ２は、正の値であり、かつ距離が遠いほど、値が大きくなり、カッターが茶樹樹冠の下にある場合、ｄ２は、負の値であり、かつ距離が遠いほど、値が小さくなる。

さらに、前記Ｓ４ステップの具体的な判断基準は、以下である。
ｎ＜ｎ１かつｄ２＞０であれば、関心領域Ｓ内の若芽数ｎが低すぎること、かつこの時点ではカッターが若芽の上にあることを示し、この時点では切断が不要であり、カッター位置の調整が不要である。
ｎ＜ｎ１かつｄ２＜０であれば、関心領域Ｓ内の若芽数ｎが低すぎること、かつこの時点ではカッターが若芽の下にあり、カッター位置が低めであることを示し、この時点では切断が不要であり、上に移動するように調整する必要がある。
ｎ＞ｎ１かつｄ２＜－ｒであれば、関心領域Ｓ内の若芽数ｎが十分であり、かつこの時点ではカッターが若芽の下にあり、ただしこの時点ではカッター位置が低すぎることを示し、この時点では切断が必要であり、カッター位置を上に移動させる必要がある。
ｎ＞ｎ１かつ－ｒ＜ｄ２＜０であれば、関心領域Ｓ内の若芽数ｎが十分であり、かつこの時点ではカッターが若芽の下にあり、カッター位置が適切であることを示し、この時点では切断が必要であり、カッター位置の調整が不要である。
ｎ＞ｎ１かつｄ２＞０であれば、関心領域Ｓ内の若芽数ｎが十分であり、かつこの時点ではカッターが若芽の上にあり、カッター位置が高すぎることを示し、この時点では切断が必要であり、カッター位置を下へ調整する必要がある。
ここで、ｒは、カッターの切断時における茶樹の若芽に対する理論差であり、ｎ１は、初期設定の若芽数である。

１）本発明は、画像および点群データ処理に基づく茶摘み方法を開示し、カッター位置と角度の自動制御問題を解決し、乗用式茶摘み機の茶園地形と茶冠の平坦度に対する要求を低減し、茶摘み機の応用範囲を広げた。
２）乗員の長時間の疲労作業によるカッター位置制御ミスの問題を減らし、摘み取りの効率と品質を保証する。

本発明の茶摘み機の概略構成図である。 茶摘み機の支持ステージの底面図である。 図２におけるＡ－Ａ方向の断面図である。 切断時の状態を示す概略図である。

以下、本発明を具体的な実施例に基づいて詳細に説明する。
（実施例）

本発明の画像および点群データ処理に基づく茶摘み方法は、サーモグラフィとレーザーレーダーを利用して茶葉の摘み取りを補助し、茶葉の摘み取り精度を効果的に向上させることができ、図１に示すような、移動ベース１および移動ベース１に取り付けられたフレーム２を含む茶摘み機を用いて実現することができる。フレーム２に茶摘み機構が固定的に取り付けられている。茶摘み機構は、トラックユニットと、トラックユニットに摺動可能に取り付けられた支持ステージ３を含む。トラックユニットは、平行に設置されたボールねじ４とローラートラック５を含む。支持ステージ３は、固定連結されたベース３１と支持板３２を含む。ボールねじ４とローラートラック５は、ベース３１内に穿設される。ボールねじ４の一端は、軸受座６を介してフレーム２に固定して取り付けられ、他端には、回転モータ７が固定的に接続されている。回転モータ７は、フレーム２に固定的に取り付けられている。ローラートラック５の両端は、いずれも軸受座６を介してフレーム２に固定的に取り付けられている。ローラートラック５には、開口が上向きの溝５１が開設されている。支持板３２における溝５１に対応する位置には、対称に設けられた２つの支持耳３３が固定的に取り付けられている。２つの支持耳３３の間に、移動ローラ３４が取り付けられている。移動ローラ３４は、溝５１内に位置し、かつ溝５１の底部に接触している。ボールねじ４とローラートラック５の構造により、支持ステージ３をより円滑に動作させることができる。使用時には、回転モータ７によりボールねじ４が回転駆動され、ボールねじ４が支持ステージ３を水平移動駆動することにより、切断ユニットの位置が調整される。一方、溝５１と移動ローラ３４の配置により、ベース３１とトラックユニットとの間の摩擦力が減少する。移動中、操作がよりスムーズになり、応答がより速くなり、消費電力の低減に有利になる。

支持ステージ３には、２台の直流プッシャーモータ８が関節式に取り付けられている。２台の直流プッシャーモータ８は、支持ステージ３に対称に設置されている。支持ステージ３における２台の直流プッシャーモータ８の中間の位置には、さらにレーザーレーダーセンサ９とサーモグラフィ１０が固定して取り付けられている。本発明の茶摘み機は、さらにＰＬＣコントローラを含む。レーザーレーダーセンサ９、サーモグラフィ１０は、ＰＬＣコントローラの信号入力端と信号接続され、ＰＬＣコントローラの信号出力端は、直流プッシャーモータと信号接続されることで、切断の効率的な進行がある程度保証される。直流プッシャーモータ８のプッシャの自由端には、カッター１１が枢着されている。

前記茶摘み機による茶葉摘みは、具体的には、以下のステップで行われる。
Ｓ１：移動ベースを利用して茶摘み機を一畝の茶樹の端部に移動させ、カッターを茶樹の上方の樹冠位置に対応させ、支持ステージをカッターと一畝の茶樹の端部とが揃った状態に移動させる。カッターの上方に位置する直流プッシャーモータのプッシャーロッドは、いずれも伸長し、カッターの高さを、茶樹に接近しかつ接触しない状態まで下げる。サーモグラフィによる撮影でカッターと茶樹樹冠の熱画像を得るとともに、レーザーレーダー走査によりカッターと茶樹樹冠の点群情報を得る。
Ｓ２：撮影した茶樹樹冠の熱画像から関心領域Ｓを選択する。関心領域Ｓは、カッターの長さと同じ幅の矩形領域であり、カッターの真前方に位置する。関心領域Ｓは、底部直線が茶樹上へのカッターの投影であり、前端直線と底部直線との間における距離がｄ１である。若芽数ｎは、深層学習における目標検出アルゴリズムＹＯＬＯ－Ｖ５を用いて検出されて算出される。
Ｓ３：得られたカッターと茶樹樹冠の点群情報に基づいて、茶樹樹冠の近似曲線を得て、カッターと茶樹樹冠との間における距離ｄ２を算出する。カッターが茶樹樹冠の上にある場合、ｄ２は、正の値であり、かつ距離が遠いほど、値が大きくなる。カッターが茶樹樹冠の下にある場合、ｄ２は、負の値であり、かつ距離が遠いほど、値が小さくなる。
Ｓ４：若芽数ｎおよびカッターと茶樹樹冠との間における距離ｄ２に基づいて判断する。
ｎ＜ｎ１かつｄ２＞０であれば、関心領域Ｓ内の若芽数ｎが低すぎること、かつこの時点ではカッターが若芽の上にあることを示し、この時点では切断が不要であり、カッター位置の調整が不要である。
ｎ＜ｎ１かつｄ２＜０であれば、関心領域Ｓ内の若芽数ｎが低すぎること、かつこの時点ではカッターが若芽の下にあり、カッター位置が低めであることを示し、この時点では切断が不要であり、上に移動するように調整する必要がある。
ｎ＞ｎ１かつｄ２＜－ｒであれば、関心領域Ｓ内の若芽数ｎが十分であり、かつこの時点ではカッターが若芽の下にあり、ただしこの時点ではカッター位置が低すぎることを示し、この時点では切断が必要であり、カッター位置を上へ移動させる必要がある。
ｎ＞ｎ１かつ－ｒ＜ｄ２＜０であれば、関心領域Ｓ内の若芽数ｎが十分であり、かつこの時点ではカッターが若芽の下にあり、カッター位置が適切であることを示し、この時点では切断が必要であり、カッター位置の調整が不要である。
ｎ＞ｎ１かつｄ２＞０であれば、関心領域Ｓ内の若芽数ｎが十分であり、かつこの時点ではカッターが若芽の上にあり、カッター位置が高すぎることを示し、この時点では切断が必要であり、カッター位置を下へ調整する必要がある。
ここで、ｒは、カッターの切断時における茶樹の若芽に対する理論差であり、ｎ１は、初期設定の若芽数である。
カッター位置を適正位置に調整した後、切断を行う。
Ｓ５：移動ベースを利用して茶摘み機を茶畝に沿って走行させ、カッターにより茶葉を切断し続け、切断中にサーモグラフィとレーザーレーダーは、茶樹樹冠の熱画像およびカッターと茶樹樹冠の点群データを継続的に検出し、算出したｎとｄ２がそれぞれｎ＜ｎ１かつ｜ｄ２｜＜ｒに保持されるようにＰＬＣコントローラで処理する。

以上の実施例は、本発明の技術的解決手段を説明するためのものに過ぎず、限定するものではない。本発明は、好ましい実施例を参照して詳細に説明したが、当業者には理解されるように、本発明の技術的解決手段の趣旨および範囲から逸脱することなく、本発明の技術的解決手段を変更または均等に変更することが可能であり、それらはすべて本発明の特許請求の範囲に含まれるものである。本発明において詳細に説明されない技術、形状、構造の部分は、すべて公知技術である。

（付記）
（付記１）
以下のステップを含むことを特徴とする、画像および点群データ処理に基づく茶摘み方法：
Ｓ１：サーモグラフィによる撮影でカッターと茶樹樹冠の熱画像を得るとともに、レーザーレーダー走査によりカッターと茶樹樹冠の点群情報を得る；
Ｓ２：撮影した茶樹樹冠の熱画像から関心領域Ｓを選択するとともに、関心領域Ｓ内の若芽数ｎを算出する；
Ｓ３：得られたカッターと茶樹樹冠の点群情報に基づいて、茶樹樹冠の近似曲線を得て、カッターと茶樹樹冠との間における距離ｄ２を算出する；
Ｓ４：若芽数ｎおよびカッターと茶樹樹冠との間における距離ｄ２に基づいて判断し、さらにカッター位置を調整し、最後に切断する。

（付記２）
前記関心領域Ｓは、カッターの長さと同じ幅の矩形領域であり、カッターの真前方に位置し、
前記関心領域Ｓは、底部直線が茶樹上へのカッターの投影であり、前端直線と底部直線との間における距離がｄ１であることを特徴とする付記１に記載の画像および点群データ処理に基づく茶摘み方法。

（付記３）
前記ステップＳ２における若芽数は、深層学習における目標検出アルゴリズムＹＯＬＯ－Ｖ５を用いて検出されることを特徴とする付記２に記載の画像および点群データ処理に基づく茶摘み方法。

（付記４）
前記ステップＳ４において、カッターが茶樹樹冠の上にある場合、ｄ２は、正の値であり、かつ距離が遠いほど、値が大きくなり、
カッターが茶樹樹冠の下にある場合、ｄ２は、負の値であり、かつ距離が遠いほど、値が小さくなることを特徴とする付記３に記載の画像および点群データ処理に基づく茶摘み方法。

（付記５）
前記Ｓ４ステップの具体的な判断基準は、以下であることを特徴とする付記１～４のいずれか１つに記載の画像および点群データ処理に基づく茶摘み方法：
ｎ＜ｎ１かつｄ２＞０であれば、関心領域Ｓ内の若芽数ｎが低すぎること、かつこの時点ではカッターが若芽の上にあることを示し、この時点では切断が不要であり、カッター位置の調整が不要である；
ｎ＜ｎ１かつｄ２＜０であれば、関心領域Ｓ内の若芽数ｎが低すぎること、かつこの時点ではカッターが若芽の下にあり、カッター位置が低めであることを示し、この時点では切断が不要であり、上へ移動するように調整する必要がある；
ｎ＞ｎ１かつｄ２＜－ｒであれば、関心領域Ｓ内の若芽数ｎが十分であり、かつこの時点ではカッターが若芽の下にあり、ただしこの時点ではカッター位置が低すぎることを示し、この時点では切断が必要であり、カッター位置を上へ移動させる必要がある；
ｎ＞ｎ１かつ－ｒ＜ｄ２＜０であれば、関心領域Ｓ内の若芽数ｎが充分であり、かつこの時点ではカッターが若芽の下にあり、カッター位置が適切であることを示し、この時点では切断が必要であり、カッター位置の調整が不要である；
ｎ＞ｎ１かつｄ２＞０であれば、関心領域Ｓ内の若芽数ｎが充分であり、かつこの時点ではカッターが若芽の上にあり、カッター位置が高すぎることを示し、この時点では切断が必要であり、カッター位置を下へ調整する必要がある；
ここで、ｒは、カッターの切断時における茶樹の若芽に対する理論差であり、ｎ１は、初期設定の若芽数である。

１ 移動ベース
２ フレーム
３ 支持ステージ
４ ボールねじ
５ ローラートラック
６ 軸受台
７ 回転モータ
８ 直流プッシャーモータ
９ レーザーレーダーセンサ
１０ サーモグラフィ
１１ カッター
３１ ベース
３２ 支持板
３３ 支持耳
３４ 移動ローラ
５１ 溝

Claims (5)

1. 以下のステップを含むことを特徴とする、画像および点群データ処理に基づく茶摘み方法：
   Ｓ１：サーモグラフィによる撮影でカッターと茶樹樹冠の熱画像を得るとともに、レーザーレーダー走査によりカッターと茶樹樹冠の点群情報を得る；
   Ｓ２：撮影した茶樹樹冠の熱画像から関心領域Ｓを選択するとともに、関心領域Ｓ内の若芽数ｎを算出する；
   Ｓ３：得られたカッターと茶樹樹冠の点群情報に基づいて、茶樹樹冠の近似曲線を得て、カッターと茶樹樹冠との間における距離ｄ２を算出する；
   Ｓ４：若芽数ｎおよびカッターと茶樹樹冠との間における距離ｄ２に基づいて判断し、さらにカッター位置を調整し、最後に切断する。
2. 前記関心領域Ｓは、カッターの長さと同じ幅の矩形領域であり、カッターの真前方に位置し、
   前記関心領域Ｓは、底部直線が茶樹上へのカッターの投影であり、前端直線と底部直線との間における距離がｄ１であることを特徴とする請求項１に記載の画像および点群データ処理に基づく茶摘み方法。
3. 前記ステップＳ２における若芽数は、深層学習における目標検出アルゴリズムＹＯＬＯ－Ｖ５を用いて検出されることを特徴とする請求項２に記載の画像および点群データ処理に基づく茶摘み方法。
4. 前記ステップＳ４において、カッターが茶樹樹冠の上にある場合、ｄ２は、正の値であり、かつ距離が遠いほど、値が大きくなり、
   カッターが茶樹樹冠の下にある場合、ｄ２は、負の値であり、かつ距離が遠いほど、値が小さくなることを特徴とする請求項３に記載の画像および点群データ処理に基づく茶摘み方法。
5. 前記Ｓ４ステップの具体的な判断基準は、以下であることを特徴とする請求項１～４のいずれか１項に記載の画像および点群データ処理に基づく茶摘み方法：
   ｎ＜ｎ１かつｄ２＞０であれば、関心領域Ｓ内の若芽数ｎが低すぎること、かつこの時点ではカッターが若芽の上にあることを示し、この時点では切断が不要であり、カッター位置の調整が不要である；
   ｎ＜ｎ１かつｄ２＜０であれば、関心領域Ｓ内の若芽数ｎが低すぎること、かつこの時点ではカッターが若芽の下にあり、カッター位置が低めであることを示し、この時点では切断が不要であり、上へ移動するように調整する必要がある；
   ｎ＞ｎ１かつｄ２＜－ｒであれば、関心領域Ｓ内の若芽数ｎが十分であり、かつこの時点ではカッターが若芽の下にあり、ただしこの時点ではカッター位置が低すぎることを示し、この時点では切断が必要であり、カッター位置を上へ移動させる必要がある；
   ｎ＞ｎ１かつ－ｒ＜ｄ２＜０であれば、関心領域Ｓ内の若芽数ｎが十分であり、かつこの時点ではカッターが若芽の下にあり、カッター位置が適切であることを示し、この時点では切断が必要であり、カッター位置の調整が不要である；
   ｎ＞ｎ１かつｄ２＞０であれば、関心領域Ｓ内の若芽数ｎが十分であり、かつこの時点ではカッターが若芽の上にあり、カッター位置が高すぎることを示し、この時点では切断が必要であり、カッター位置を下へ調整する必要がある；
   ここで、ｒは、カッターの切断時における茶樹の若芽に対する理論差であり、ｎ１は、初期設定の若芽数である。

Images