JP2021103977A - コンバイン - Google Patents

コンバイン Download PDF

Info

Publication number
JP2021103977A
JP2021103977A JP2019237130A JP2019237130A JP2021103977A JP 2021103977 A JP2021103977 A JP 2021103977A JP 2019237130 A JP2019237130 A JP 2019237130A JP 2019237130 A JP2019237130 A JP 2019237130A JP 2021103977 A JP2021103977 A JP 2021103977A
Authority
JP
Japan
Prior art keywords
unit
sorting
grains
product
threshing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019237130A
Other languages
English (en)
Other versions
JP7433044B2 (ja
Inventor
純 足立
Jun Adachi
純 足立
佑樹 小田
Yuki Oda
佑樹 小田
敏章 藤田
Toshiaki Fujita
敏章 藤田
雄大 中西
Yuta Nakanishi
雄大 中西
俊介 江戸
Shunsuke EDO
俊介 江戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kubota Corp
Original Assignee
Kubota Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kubota Corp filed Critical Kubota Corp
Priority to JP2019237130A priority Critical patent/JP7433044B2/ja
Priority to CN202080078738.3A priority patent/CN114745944B/zh
Priority to PCT/JP2020/040409 priority patent/WO2021131309A1/ja
Priority to US17/784,967 priority patent/US20230021541A1/en
Publication of JP2021103977A publication Critical patent/JP2021103977A/ja
Application granted granted Critical
Publication of JP7433044B2 publication Critical patent/JP7433044B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Combines (AREA)
  • Threshing Machine Elements (AREA)

Abstract

【課題】穀粒の収穫中に、穀粒を検査することが可能なコンバインを提供する。【解決手段】コンバインは、刈り取られた刈取穀稈を脱穀して脱穀処理物を排出する脱穀ユニット41と、排出された脱穀処理物から穀粒を選別処理物として選別する選別ユニット42と、選別処理物が搬送されて貯留される穀粒タンクと、選別処理物を選別ユニット42から穀粒タンクまで搬送する搬送経路内を撮像した撮像画像を取得する撮影部と、撮像画像に含まれる選別処理物を、画像解析により、所期の品質を満たす正常な穀粒と、選別処理物に混入された正常な穀粒以外の異物とに判別する判別部と、を備える。【選択図】図3

Description

本発明は、刈取穀稈を脱穀する脱穀ユニットと、当該脱穀ユニットにより脱穀された脱穀処理物から穀粒を選別する選別ユニットとを備えたコンバインに関する。
従来、走行中に刈り取られた穀稈を脱穀する脱穀ユニットと、当該脱穀ユニットにより脱穀された穀粒を貯留する穀粒タンクとを備えたコンバインが利用されてきた。このようなコンバインとして例えば特許文献1に記載のものがある。
特許文献1に記載のコンバインは、穀粒タンク内に穀粒を載置する載置板と、載置板の両面の夫々に向かって光を照射する2つの光源と、2つの光源のうちの一方から光を照射した際に載置板上の穀粒を撮像した第1画像と、2つの光源のうちの他方から光を照射した際に載置板上の穀粒を撮像した第2画像とを撮像する撮像部とを備えて構成される。画像処理手段は、この第1画像から異物を示す画像を抽出して異物の数量を算出し、第2画像から損傷した籾の数量及び枝梗の数量を算出する。
特開2013−27340号公報
特許文献1に記載の技術は、穀粒タンクの内側の底面部と側面部との間の傾斜面部に、上述した異物の数量、損傷した籾の数量、及び枝梗の数量を算出する検査装置が設けられている。このため、脱穀処理及び穀粒の選別処理が行われてから検査するまでの間に時間を要し、選別処理後、迅速に検査をできるものではない。また、特許文献1に記載の技術は、穀粒タンクの内部の底部側の傾斜面部に検査装置が設けられるので、穀粒タンクの穀粒の貯留量によっては適切に検査ができなくなる恐れがある。更には、穀粒タンク内で分岐する分岐経路内において検査しているので、異物、損傷した籾、及び枝梗の散らばり具合によっても適切に検査ができなくなる可能性もある。
そこで、穀粒の収穫中において、迅速に、且つ、適切に穀粒を検査することが可能なコンバインが求められる。
本発明に係るコンバインの特徴構成は、刈り取られた刈取穀稈を脱穀して脱穀処理物を排出する脱穀ユニットと、排出された前記脱穀処理物から穀粒を選別処理物として選別する選別ユニットと、前記選別処理物が搬送されて貯留される穀粒タンクと、前記選別処理物を前記選別ユニットから前記穀粒タンクまで搬送する搬送経路内を撮像した撮像画像を取得する撮影部と、前記撮像画像に含まれる選別処理物を、画像解析により、所期の品質を満たす正常な前記穀粒と、前記選別処理物に混入された前記正常な穀粒以外の異物とに判別する判別部と、を備えている点にある。
このような特徴構成とすれば、選別ユニットから穀粒タンクへの搬送中に、正常な穀粒と異物とを選別することができる。したがって、穀粒の収穫中に、迅速に、且つ、適切に穀粒を検査することが可能となる。
また、前記判別部による判別結果に基づいて、前記撮像画像に含まれる前記選別処理物における、前記正常な穀粒と前記異物との割合を算定する算定部を備えると好適である。
このような構成とすれば、オペレータが穀粒タンクに貯留される正常な穀粒と異物との割合を容易に把握することができる。
また、前記正常な穀粒と前記異物との割合に応じて、前記脱穀ユニットにおける脱穀能力を設定可能な脱穀パラメータ及び前記選別ユニットにおける選別能力を設定可能な選別パラメータを変更するパラメータ変更部を備えると好適である。
このような構成とすれば、例えば正常な穀粒と異物との割合が所期の値でない場合に、脱穀ユニットの運転状態や選別ユニットの運転状態を変更することで、正常な穀粒と異物との割合が所期の値に近づけることが可能となる。
また、前記判別部は、前記選別処理物から前記正常な穀粒を判別する学習を行ったニューラルネットワークに前記撮像画像から生成された画像データを入力して判別すると好適である。
このような構成とすれば、判別精度を高めることが可能となる。したがって、より、適切に穀粒を検査することが可能となる。
また、前記ニューラルネットワークは、前記正常な穀粒が含まれる撮像画像から生成された学習用画像データを教師データとして入力した場合に、前記選別処理物に前記正常な穀粒が含まれているとする判別結果を出力するように前記学習が行われ、前記異物が含まれる撮像画像から生成された学習用画像データを教師データとして入力した場合に、前記選別処理物に前記異物が含まれているとする判別結果を出力するように前記学習が行われていると好適である。
このような構成とすれば、判別部のニューラルネットワークに対して、穀粒の判別に適した学習を行わせることができる。
コンバインの側面図である。 コンバインの平面図である。 コンバインが備える脱穀装置の縦断側面図である。 判別に係る処理を行う機能部を示すブロック図である。 撮像画像及びマーキングの例である。
本発明に係るコンバインは、穀粒の収穫中において、穀粒の品質を検査することができるように構成される。以下、本実施形態のコンバイン20について説明する。
図1はコンバイン20の側面図であって、図2はコンバイン20の平面図である。また、図3はコンバイン20が備える脱穀装置1の断面図である。なお、以下では、コンバイン20について所謂普通型コンバインを例に挙げて説明する。もちろん、コンバイン20は自脱型コンバインであっても良い。
ここで、理解を容易にするために、本実施形態では、特に断りがない限り、「前」(図1に示す矢印Fの方向)は機体前後方向(走行方向)における前方を意味し、「後」(図1に示す矢印Bの方向)は機体前後方向(走行方向)における後方を意味するものとする。また、「上」(図1に示す矢印Uの方向)及び「下」(図1に示す矢印Dの方向)は、機体の鉛直方向(垂直方向)での位置関係であり、地上高さにおける関係を示すものとする。更に、左右方向または横方向は、機体前後方向に直交する機体横断方向(機体幅方向)、すなわち、「左」(図2に示す矢印Lの方向)及び「右」(図2に示す矢印Rの方向)は、夫々、機体の左方向及び右方向を意味するものとする。
図1及び図2に示されるように、コンバイン20は、機体フレーム2とクローラ走行装置3とを備えている。走行機体17の前方には、植立穀稈を刈り取る刈取り部4が設けられる。刈取り部4には、植立穀稈を掻き込む掻き込みリール5と、植立穀稈を切断する刈刃6と、刈取穀稈を掻き込むオーガ7とが備えられる。
走行機体17の前部における右側には、運転部8が設けられている。運転部8には、運転者が搭乗するキャビン10が備えられる。キャビン10の下方にはエンジンルームERが設けられ、エンジンルームERにはエンジンEの他、排気浄化装置、冷却ファン、ラジエータ等が収容されている。エンジンEの動力は動力伝達構造(図示しない)によって、クローラ走行装置3や、後述する脱穀ユニット41、選別ユニット42等に伝達される。
刈取り部4の後方には、刈取穀稈を脱穀処理する脱穀装置1が設けられる。刈取り部4と脱穀装置1とに亘って、刈取穀稈を脱穀装置1に向けて搬送するフィーダ11が設けられる。脱穀装置1の側方には、脱穀処理後の穀粒を貯留する穀粒タンク12が設けられる。穀粒タンク12は、作業位置とメンテナンス位置とに亘って、上下方向に延びる軸心周りで揺動開閉可能に構成されている。脱穀装置1の後部には、回転刃13aを備えた排ワラ細断装置13が設けられている。
コンバイン20には、穀粒タンク12内の穀粒を外部に排出する穀粒排出装置14が設けられている。穀粒排出装置14には、穀粒タンク12内の穀粒を上方に向けて搬送する縦搬送部15と、縦搬送部15からの穀粒を機体外側に向けて搬送する横搬送部16とが備えられている。穀粒排出装置14は、縦搬送部15の軸心周りで旋回可能に構成されている。縦搬送部15の下端部は、穀粒タンク12の底部に連通接続されている。横搬送部16のうち縦搬送部15側の端部は、縦搬送部15の上端部に連通接続され、かつ、上下揺動可能に支持されている。
本実施形態では脱穀装置1は走行機体17に設けられる。脱穀装置1は、上述したように脱穀ユニット41と選別ユニット42とを備える。脱穀ユニット41は、刈取り部4により刈り取られた刈取穀稈を脱穀する。脱穀ユニット41により脱穀処理された穀粒は穀処理物として排出される。選別ユニット42は、脱穀ユニット41から排出された脱穀処理物を選別処理物として選別する。したがって、脱穀ユニット41と選別ユニット42とは走行機体17に設けられる。脱穀ユニット41は脱穀装置1における上部に配置され、脱穀ユニット41の下部には受網23が設けられる。選別ユニット42は、脱穀ユニット41の下方に配置され、受網23から漏下してきた脱穀処理物から穀粒を選別するよう構成されている。選別ユニット42は、揺動選別装置24と、一番物回収部26と、二番物回収部27と、二番物還元部32とを備えている。
脱穀ユニット41は、扱室21に扱胴22を収容し、扱胴22の下部に受網23を有する。扱室21は、前側の前壁51と、後側の後壁52と、左右の側壁と、上部を覆う天板53とで取り囲まれる空間として形成される。扱室21のうち前壁51の下部位置には収穫物が供給される供給口54aが形成され、この供給口54aの下側に案内底板59が配置されている。また、扱室21のうち後壁52の下側に排塵口54bが形成されている。
扱胴22は、胴体60と回転支軸55とを有する。図3に示されるように、胴体60は、前端部の掻込部57と、掻込部57の後方位置の扱処理部58とで一体形成される。掻込部57は、扱胴22の前端側ほど小径となる先細り状の基台部57aの外周部に2重螺旋の螺旋羽根57bを備えている。扱処理部58は、複数の棒状の扱歯支持部材58aと複数の扱歯58bとを有する。複数の棒状の扱歯支持部材58aは、夫々、筒状の胴体60の周方向に所定間隔で互いに離間して設けられる。複数の扱歯58bの夫々は、複数の扱歯支持部材58aの夫々の外周部から突設し、前後向き姿勢の回転軸心Xに沿って所定間隔で互いに離間して取り付けられている。
胴体60は、回転軸心Xと同軸芯で、前壁51と後壁52とに対して前後方向に貫通する回転支軸55と一体回転する。つまり、回転支軸55の前端が軸受を介して前壁51に回転自在に支持され、これと同様に回転支軸55の後端が軸受を介して後壁52に回転自在に支持されている。この脱穀ユニット41では、回転支軸55の前端部に対して回転駆動機構56から駆動回転力が伝えられる。
天板53の内面(下面)には、プレート状の複数の送塵弁53aが、前後方向に沿って所定の間隔で設けられている。複数の送塵弁53aは、扱室21において扱胴22と共に回転する処理物に後側に移動させる力を作用させるように平面視で回転軸心Xに対して傾斜する姿勢で設けられている。本実施形態では、送塵弁53aは、天板53に対する取付角度が変更可能に構成される。この角度を変更することで、胴体60内の処理物の送り量が変更可能とされる。
受網23は、扱胴22を下側から両側部に亘る領域を取り囲むように回転軸心X視が円弧状で、前後方向に沿って所定の間隔で配置される複数の縦フレームと、各々の縦フレームに対して支持される前後向き姿勢の横フレームとを組み合わせることにより、処理物の漏下が可能となる間隙を形成した構成を有している。
本実施形態のコンバイン20では扱室21に供給される刈取穀稈を収穫物と称し、この扱室21で扱処理された収穫物を処理物(「脱穀処理物」に相当)と称している。処理物には穀粒と切れワラ等とが含まれる。また、一番物とは、主として穀粒を含む処理物であり、二番物とは、単粒化が不充分な穀粒と、切れワラ等とを含む処理物である。
脱穀ユニット41では、フィーダ11からの収穫物が供給口54aを介して扱室21に供給される。供給された収穫物は、掻込部57の螺旋羽根57bによって案内底板59に沿って扱胴22の後方に掻き込まれ、扱処理部58に供給される。扱処理部58では、扱胴22の回転に伴い収穫物が扱歯58b及び受網23によって扱き処理される結果、脱穀が行われる。
このように脱穀が行われる際には、扱胴22と共に処理物が回転することにより、処理物が送塵弁53aに接触して扱室21の後部に搬送されつつ脱穀処理が行われる。脱穀処理によって得られた穀粒と短い切れワラ等が受網23を漏下して選別ユニット42に落下する。これに対し、受網23を漏下できない処理物(穀稈や、長寸の切れワラ等)は、排塵口54bから扱室21の外に排出される。
図3に示されるように、選別ユニット42は、唐箕25から選別風が供給される環境において揺動作動することで処理物から穀粒(一番物)を選別する揺動選別装置24を備えて構成される。また、揺動選別装置24の下側には一番物回収部26と、二番物回収部27とが配置されている。
唐箕25は、選別ユニット42に設けられ、処理物の搬送方向に沿って選別風を発生させる。唐箕25は、ファンケース25aの内部に複数の回転羽根25bを有する唐箕本体を収容して構成されている。ファンケース25aの上部には、選別風を上部グレンパン61の上面に沿って送り出すための上部吐出口25cと、選別風を後方に送り出すための後吐出口25dとが形成されている。
一番物回収部26は、処理物を一番物として回収する。処理物は、一番物案内部62により一番物回収部26に案内されるように構成される。一番物回収部26は、一番物案内部62により案内された一番物(一番物の穀粒)を横方向に搬送する一番物スクリュとして構成されている。一番物回収部26により回収された一番物は、一番物回収搬送部29により穀粒タンク12に向けて上方に搬送される(揚送される)。したがって、穀粒タンク12には選別ユニット42により選別された選別処理物が搬送されて貯留される。一番物回収搬送部29により搬送された一番物は、貯留スクリュ30により右方に搬送して穀粒タンク12へ供給される。一番物回収搬送部29はバケット式のコンベヤに相当する。
二番物回収部27は、脱穀処理物のうち、選別処理物として選別されなかった処理物を二番物として回収する。選別処理物とは、詳細は後述するが、揺動選別装置24により選別された穀粒である。このため、選別処理物として選別されなかった処理物とは、揺動選別装置24において選別されなかった穀粒や、穀稈や、長寸の切れワラ等が相当し、二番物と称される。このような二番物は、二番物案内部63により二番物回収部27に案内されるように構成される。二番物回収部27は、二番物案内部63により案内された二番物を横方向に搬送する二番物スクリュとして構成されている。二番物回収部27により回収された二番物は、二番物還元部32により前斜め上方に搬送して揺動選別装置24の上側(上流側)に還元される。二番物還元部32は、スクリュ式のコンベヤに相当する。
一番物回収部26及び二番物回収部27は、動力伝達構造(図示しない)によって伝達されるエンジンEの動力によって駆動される。
エンジンEの動力は一番物回収部26に伝達され、一番物回収部26から一番物回収搬送部29に伝達され、一番物回収搬送部29から貯留スクリュ30に伝達される。一番物回収搬送部29は、脱穀装置1の右側の側部(右壁の外部)に設けられる。
エンジンEの動力は二番物回収部27に伝達され、二番物回収部27から二番物還元部32に伝達される。二番物還元部32は、脱穀装置1の右側の側部(右壁の外部)に設けられる。
揺動選別装置24は、処理物から穀粒を選別する。揺動選別装置24は、受網23の下側に配置され、処理物は受網23から漏下する。この揺動選別装置24は、偏心軸等を用いた偏心カム式の揺動駆動機構43により前後方向に揺動作動し、上面視で矩形状に形成された枠状のシーブケース33を備えている。
シーブケース33には、第1グレンパン34、複数の第1篩線35、第2篩線36、第1チャフシーブ38、第2チャフシーブ39、グレンシーブ40、上部グレンパン61、下部グレンパン65が備えられている。
上部グレンパン61より後側に複数のチャフリップ38Aを有する第1チャフシーブ38が配置され、この第1チャフシーブ38より後側に第2チャフシーブ39が配置されている。なお、複数のチャフリップ38Aは処理物が搬送される搬送方向(後方向)に沿って並べられ、複数のチャフリップ38Aの各々は、後端側ほど斜め上方に向かう傾斜姿勢で配置されている。本実施形態では、チャフリップ38Aの夫々の開度が変更可能に構成されている。開度が変更可能とは、傾斜姿勢が変更されることを意味する。具体的には、チャフリップ38Aが前後方向に対して平行に近くなる程、開度が小さくなり、チャフリップ38Aが上下方向に対して平行に近くなる程、開度が大きくなる。下部グレンパン65は、第1チャフシーブ38の前端部の下側に配置され、この後側に連なる位置に網状体でなるグレンシーブ40が配置されている。上述した第2チャフシーブ39は、第1チャフシーブ38の後端部の下側であって、グレンシーブ40の後側に配置される。
シーブケース33には、唐箕25の上部吐出口25cから供給される選別風を上部グレンパン61の上面に沿って供給する風路と、唐箕25の後吐出口25dから供給される選別風を下部グレンパン65の上面に沿って供給する風路とが形成されている。揺動選別装置24の後端部(図3では右端部)と、受網23の後端部とで排出部28が形成されている。
本実施形態の揺動選別装置24では、唐箕25からの選別風が機体前側から機体後側に供給され、揺動駆動機構43によってシーブケース33が揺動することにより、シーブケース33の内部の処理物を機体後方に搬送する。このような理由から、以下の説明では、揺動選別装置24において、処理物の搬送方向の上流側を前端あるいは前側と称し、下流側を後端あるいは後側と称している。
グレンシーブ40は、金属で成る複数の線材を網状に組み合わせた網状体として構成され、網目から穀粒を漏下させるように構成されている。このグレンシーブ40の上方には第1チャフシーブ38が設けられており、第1チャフシーブ38のチャフリップ38A間を流通した穀粒がグレンシーブ40に漏下するように構成されている。
このような構成から、選別ユニット42において受網23から漏下する処理物のうち、上部グレンパン61で受け止められたものは、シーブケース33の揺動に伴い第1チャフシーブ38の前端に供給される。また、シーブケース33は、受網23から漏下する処理物の多くを受け止める。
第1チャフシーブ38は選別風による風選別と、揺動に伴う比重選別とにより処理物を後側に搬送すると同時に、処理物に含まれる穀粒を漏下させる。このような選別が行われた処理物のうち、切れワラ等の茎稈類は第2チャフシーブ39に受け渡され、この第2チャフシーブ39の後端からシーブケース33の後方に送り出され、排出部28から排ワラ細断装置13に向けて排出される。排出部28から排出された茎稈類は、排ワラ細断装置13により細断され、脱穀装置1の外部に排出される。また、受網23を介して第2チャフシーブ39に直接、漏下してくる穀粒は、第2チャフシーブ39で穀粒と切れワラ等の茎稈類とに選別される。
ここで、受網23から漏下する処理物の状態を考えると、扱室21に供給された収穫物のうち、穀粒や単粒化が不充分な穀粒、あるいは、ワラの小片は扱室21の内部で搬送される際に早期に受網23を漏下する。このような理由から受網23のうち搬送方向の上流領域での処理物の漏下量は、搬送方向での下流領域より多くなる傾向がある。また、前述したように第1チャフシーブ38の前端には上部グレンパン61から処理物が供給されるため、この第1チャフシーブ38の前端を漏下する処理物の量は後端側と比較して多い。
また、第1チャフシーブ38のうち前端側を漏下した処理物は、漏下直後に、その一部が選別風により後側に送られることにより取り除かれ、穀粒を多く含む処理物がグレンシーブ40の上面で受け止められる。更に、グレンシーブ40に供給された処理物に選別風の風圧と揺動力とが作用するため、処理物に含まれるワラ等はグレンシーブ40の上面で後方に送られ、グレンシーブ40を漏下する処理物には多くの穀粒が含まれる。グレンシーブ40を漏下した穀粒は、一番物案内部62から一番物回収部26に流下して回収され、一番物回収搬送部29によって穀粒タンク12に貯留される。
また、グレンシーブ40には、第1チャフシーブ38の後側の領域からの処理物が供給されるが、グレンシーブ40で漏下しなかった処理物のうち切れワラ類は、選別風により後方に送られるため、グレンシーブ40の後側の領域での選別効率を大きく低下させることなく選別処理が行われる。
更に、グレンシーブ40の最後端より前側で漏下した一番物(穀粒)は、一番物案内部62から一番物回収部26に流下して回収され、一番物回収搬送部29によって穀粒タンク12に貯留される。
これに対し、グレンシーブ40の最後端の部位を漏下した処理物、あるいは、第2チャフシーブ39から落下した処理物は、二番物案内部63から二番物回収部27に流下して回収され、二番物還元部32によって揺動選別装置24の上流側に戻される。そして、選別処理によって発生した3番処理物としてのワラ屑などの塵埃が揺動選別装置24の後端から後方へ送られ、排出部28から排ワラ細断装置13に排出される。
上述したように、二番物は二番物還元部32により揺動選別装置24の前部である上流側に還元される。具体的には、二番物は、脱穀ユニット41における受網23の側方であって、二番物が受網23を通らない(流通しない)位置に還元される。したがって、二番物還元部32の二番物排出口32Aは、円弧状の受網23における径方向外側の位置に設けられ、この位置において二番物が排出される。
上述したように、扱室21に供給された収穫物のうち、単粒化が不充分な穀粒、あるいは、ワラの小片は扱室21の内部で搬送される際に早期に受網23を漏下し、漏下した処理物の一部は選別風により後側に送られることにより取り除かれる。また、穀粒を多く含む処理物がグレンシーブ40の上面で受け止められ、当該処理物に含まれるワラ等はグレンシーブ40の上面で後方に送られることにより取り除かれる。しかしながら、脱穀装置1に供給される刈取穀稈の量や、脱穀ユニット41や選別ユニット42の各部の能力を設定するパラメータ(例えば、上述した選別風の風量やチャフリップ38Aの開度等)によっては、単粒化が不充分な穀粒やワラ等(以下、「異物」とする)が一番物案内部62を介して一番物回収搬送部29に達することがあり、係る場合、このような異物が穀粒タンク12に貯留されることになる。
このような異物は、脱穀装置1の選別度(あるいは選別効率)を低下することになるため、穀粒タンク12に搬送される異物の量は少ない方が好ましい。そこで、本実施形態のコンバイン20は、穀粒タンク12に搬送される異物の量を判別すると共に、穀粒タンク12に搬送される異物の量を低減することができるように構成される。以下、このような異物の判別、及び低減について図4を用いて説明する。
上記機能を実現するために、選別処理物を選別ユニット42から穀粒タンク12まで搬送する搬送経路内を撮像した撮像画像Gを取得する撮影部70が備えられる。選別処理物とは、揺動選別装置24により選別された穀粒である。このような選別処理物は、一番物回収部26により回収され、一番物回収搬送部29を通って穀粒タンク12に搬送される。したがって、搬送経路とは、一番物回収部26から穀粒タンク12までにおける選別処理物が搬送される経路にあたる。撮影部70は、このような搬送経路における少なくとも一か所に配置され、搬送経路内を撮像した撮像画像Gを取得する。本実施形態では、一番物回収搬送部29により搬送された一番物は、上述したように貯留スクリュ30により右方に搬送して穀粒タンク12へ供給されるが、一番物回収搬送部29が有するバケット式のコンベヤの搬送終端部30Aを撮像するように設けられる。これにより、穀粒タンク12に供給される選別処理物を含む撮像画像Gを取得することが可能となる。図5の(A)には、撮像画像Gの一例が示される。もちろん、撮影部70は、搬送終端部30Aに代えて或いは加えて、一番物回収部26に設けても良いし、貯留スクリュ30における搬送経路に設けても良い。
このような撮影部70は、例えば公知のカメラを用いて構成することが可能である。また、搬送経路内の光量が、撮像画像Gを取得するのに十分でない場合には、暗視カメラを用いたり、撮像画像Gを取得する都度、発光する光源(例えばフラッシュ)を用いても良い。この場合、撮影部70が撮影し易いように、時系列に沿って、順次、互いに異なる方向から光を照射するように構成しても良い。撮影部70により取得された撮像画像Gは、後述する判別部71に伝達される。
判別部71は、撮像画像Gに含まれる選別処理物を、画像解析により、所期の品質を満たす正常な穀粒と、選別処理物に混入された正常な穀粒以外の異物とに判別する。上述したように選別処理物が含まれる撮像画像Gが撮影部70から伝達される。ここで、上述した選別ユニット42から穀粒タンク12に搬送される選別処理物には、穀粒以外に、例えばワラ等の夾雑物、傷や部分的に欠落を含む損傷物、表面が汚れている汚粒、枝分かれをした穂を含む枝梗、中身が空である”ふ”、毛のようなノゲが付いている穀粒が含まれることがある。本実施形態では、所期の品質を満たす正常な穀粒とは、適切に刈取穀稈から脱穀された穀粒であって、上述した夾雑物、損傷物、汚粒、枝梗、ふ、ノゲ付穀粒以外のものを正常な穀粒と称し、夾雑物、損傷物、汚粒、枝梗、ふ、ノゲ付穀粒を異物と称している。判別部71は、撮影部70から伝達される撮像画像Gについて、画像解析を行って正常な穀粒と異物とを判別する。
本実施形態では、判別部71は、選別処理物から正常な穀粒を判別する学習を行ったニューラルネットワークに撮像画像Gから生成された画像データを入力して判別する。判別部71は、まず、撮影部70から伝達された撮像画像Gから上述した判別に利用する画像データを生成する。この画像データは、ニューラルネットワークが画像を認識し易くするための画像データである。具体的には、撮像画像Gに含まれるノイズや歪等を取り除いて、撮像画像Gに含まれるオブジェクト(本実施形態では、選別処理物)の輪郭の強調や、明るさや色合いの調整を行って画像データを生成する。この時、オブジェクト毎に切り出して画像データを生成しても良い。このように生成された画像データをニューラルネットワークに入力する。
ここで、ニューラルネットワークとは、コンピュータに実行させる人間の脳を模したアルゴリズムであって、例えば上述した画像データが入力された場合に、あたかも人間の脳が判別したような結果として、正常な穀粒か異物かの判別結果を出力するに構成されたものである。本実施形態のニューラルネットワークは、正常な穀粒か異物かを判別できるように、予め学習を行っているものが用いられる。
具体的には、本実施形態ではニューラルネットワークは、正常な穀粒が含まれる撮像画像Gから生成された学習用画像データを教師データとして入力した場合に、選別処理物に正常な穀粒が含まれているとする判別結果を出力するように学習が行われ、異物が含まれる撮像画像Gから生成された学習用画像データを教師データとして入力した場合に、選別処理物に異物が含まれているとする判別結果を出力するように学習が行われたものが用いられる。
すなわち、上述した撮像画像Gから生成した画像データをニューラルネットワークに入力する前に、予め、正常な穀粒が含まれる撮像画像Gから生成した学習用画像データとラベル、異物が含まれる撮像画像Gから生成した学習用画像データとラベルを与えて、ラベル毎の画像データの特徴を学習させておく。この時、異物毎の学習用画像データを与えて学習させると良い。
これにより、撮影部70から伝達される撮像画像Gに含まれる選別処理物を、正常な穀粒であるか、あるいは異物であるかを容易に判別することが可能となる。なお、この学習は、コンバイン20において、実際に撮影部70から伝達される撮像画像Gを用いて判別する際に、教師データを用いずに継続して行うことも可能である。このように、判別部71はニューラルネットワークを用いて、撮像画像Gに含まれる選別処理物の夫々について、正常な穀粒であるか異物であるかを判別する。
判別部71による判別結果に基づいて、算定部72が撮像画像Gに含まれる選別処理物における、正常な穀粒と異物との割合を算定するように構成することも可能である。すなわち、判別部71が撮像画像Gに含まれる選別処理物が正常な穀粒であるか異物であるかを判別するが、当該撮像画像Gに含まれる選別処理物の数に対する正常な穀粒の数と異物の数との夫々の割合を算定する良い。もちろん、単に正常な穀粒の数と異物の数と比を算定するだけでも良い。
係る場合、上述した学習として、正常な穀粒のみが含まれる撮像画像Gから生成した学習用画像データとラベル(正常な穀粒と異物との割合が100:0)、所定の割合で正常な穀粒と異物とが含まれる撮像画像Gから生成した学習用画像データとラベル(正常な穀粒と異物との割合が100−N:N(ただし、N=0から100未満の数))を与えて、ラベル毎の画像データの特徴を学習させても良い。これにより、ニューラルネットワークを用いて正常な穀粒と異物との割合を算定することが可能となる。係る場合、算定部72は判別部71と一体で構成することになる。なお、Nは例えば所定の数の倍数(例えば、5の倍数や10の倍数)であっても良い。
算定部72により算定された正常な穀粒と異物との割合を、例えばキャビン10に設けられる表示デバイス74(例えば端末の表示画面)に表示することで、キャビン10のオペレータが穀粒タンク12に搬送される選別処理物が適切なものであるか否かを把握することが可能となる。例えば正常な穀粒の割合に対して異物の割合が多い場合には、オペレータは、異物の割合が低減できるように脱穀ユニット41における脱穀能力を設定可能な脱穀パラメータや、選別ユニット42における選別能力を設定可能な選別パラメータを変更することで、異物の割合を低減することが可能となる。
ここで、脱穀ユニット41における脱穀能力を設定可能な脱穀パラメータとは、扱胴22の回転支軸55の回転速度を設定する設定値や、送塵弁53aの天板53に対する取付角度を設定する設定値が相当する。また、選別ユニット42における選別能力を設定可能な選別パラメータとは、唐箕25からの選別風の風量を設定する設定値や、チャフリップ38Aの開度を設定する設定値や、揺動選別装置24を揺動させる揺動駆動機構43の揺動速度や揺動量を設定する設定値が相当する。オペレータは、このような各種の設定値を変更して、異物の割合を低減し、正常な穀粒の割合を増大させるようにすることが可能である。
また、上記設定値の変更は自動で行うように構成することも可能である。係る場合、正常な穀粒と異物との割合に応じて、脱穀ユニット41における脱穀能力を設定可能な脱穀パラメータ及び前記選別ユニットにおける選別能力を設定可能な選別パラメータを変更するパラメータ変更部73を備えるように構成すると良い。これにより、パラメータ変更部73が、扱胴22の回転支軸55の回転速度を設定する設定値や、送塵弁53aの天板53に対する取付角度を設定する設定値や、唐箕25からの選別風の風量を設定する設定値や、チャフリップ38Aの開度を設定する設定値や、揺動選別装置24を揺動させる揺動駆動機構43の揺動速度や揺動量を設定する設定値を、異物の割合を低減し、正常な穀粒の割合を増大させるように変更することで、選別度を向上させることが可能となる。
もちろん、パラメータ変更部73による設定値の自動変更に代えて、異物の割合を低減し、正常な穀粒の割合を増大させるように変更する設定値を表示デバイス74にアドバイスとして表示するように構成することも可能である。このアドバイスに基づき、オペレータが設定値を変更することで、選別度を向上させることが可能となる。
また、設定値を変更しても、異物の割合が低減せず、正常な穀粒の割合が増大しない場合には、表示デバイス74やスピーカーを用いてオペレータに報知すると良い。更には、コンバイン20が自動走行を行っている場合には、自動走行を停止するように制御しても良い。この場合、異物の種別毎に報知をしても良いし、自動走行を停止するように制御するようにしても良い。すなわち、夾雑物の割合が多い場合にのみ、報知しても良いし、自動走行を停止するように制御しても良い。
また、表示デバイス74に撮像画像Gを表示するように構成しても良いし、係る場合、判別部71による判別結果に基づき、夾雑物、損傷物、汚粒、枝梗、ふ、ノゲ付穀粒の夫々をマーキングしてオペレータに明示する。例えば、図5の(B)に示されるように、表示デバイス74の表示画面に、撮像画像Gのうち、枝梗を所定の形状の枠体80で囲んだり、塗りつぶしたりして表示するように構成しても良い。また、このマーキングは、夾雑物、損傷物、汚粒、枝梗、ふ、ノゲ付穀粒毎に、互いに異なる色を用いて行っても良い。なお、この明示は、撮影部70が撮像画像Gを取得した時点で行っても良いし、撮像画像Gの取得後、所定時間が経過してから表示デバイス74に撮像画像Gを表示して行っても良い。
以上、まとめると、揺動選別装置24は処理物から穀粒を選別処理物として選別するが、本コンバイン20は判別部71の判別結果に応じて選別処理物として選別する選別量が変更可能に構成される。具体的には、夾雑物が多い程、チャフリップ38Aの開度が小さくなるように構成すると良い。すなわち、チャフリップ38Aは、夾雑物が多い程、チャフリップ38Aが上下方向に対して平行に近くなるように構成される。これにより、第1チャフシーブ38における一番物の選別量が増大し、第1チャフシーブ38から漏下する夾雑物の量の増大を抑制することが可能となる。
また、第1チャフシーブ38やグレンシーブ40において夾雑物やふが除かれるように、夾雑物やふが多い程、唐箕25の選別風の風量を増大されるように構成すると好適である。これにより、第1チャフシーブ38やグレンシーブ40において夾雑物やふを除外する能力が向上し、チャフリップ38Aの開度が大きくした場合でも、一番物回収部26における夾雑物やふの混入を低減できる。
また、枝梗が多い程、扱胴22の回転支軸55の回転速度を遅くしたり、送塵弁53aの前後方向に対する傾斜を制御し、胴体60内の作物の送り量が低減されるように構成すると良い。一方、損傷物や汚粒が多い場合には、扱胴22の回転支軸55の回転速度を速くしたり、送塵弁53aの前後方向に対する傾斜を制御し、胴体60内の作物の送り量が増大されるように構成すると良い。
また、穀粒タンク12に貯留された穀粒は、乾燥機により乾燥される(ポストハーベストが行われる)が、穀粒に混入する夾雑物が多いと乾燥機で詰まり易くなったり、穀粒が乾燥にし難くなったりする。そこで、判別部71による判別結果、特に夾雑物の割合を記録しておき、この記録に基づいて、穀粒を乾燥機で乾燥させる前に粗選機により夾雑物を取り除いたり、乾燥機における乾燥条件を変更したりすることにより、適切に穀粒を乾燥させることが可能となる。
なお、上述した制御は、チャフリップ38Aの開度及び唐箕25の選別風の風量の双方を変更しても良い。具体的には、例えば判別結果に応じて、チャフリップ38Aの開度を大きくすると共に唐箕25の選別風の風量を増大するように構成しても良いし、チャフリップ38Aの開度を小さくすると共に唐箕25の選別風の風量を減少するように構成することも可能である。
以上のように本コンバイン20は、判別部71による判別結果に応じて、脱穀ユニット41の脱穀能力や、選別ユニット42の選別能力が制御される。換言すれば、判別部71による判別結果に基づいて、脱穀ユニット41の脱穀量(脱穀ユニット41の脱穀能力)、及び選別ユニット42の選別量(選別ユニット42の選別能力)がフィードバック制御される。したがって、チャフリップ38Aの開度や、唐箕25による選別風の風量や、送塵弁53aの前後方向に対する傾斜や、走行機体17の走行速度が、フィードバック制御におけるゲインの調整パラメータに相当する。
このように本コンバイン20によれば、脱穀機能及び選別機能が低減することを抑制できる。
〔その他の実施形態〕
上記実施形態では、コンバイン20として普通型コンバインを例に挙げて説明したが、自脱型コンバインであっても良い。また、クローラ走行装置3に代えてホイール型の走行装置を備えたコンバインであっても良い。
上記実施形態では、夾雑物、損傷物、汚粒、枝梗、ふ、ノゲ付穀粒を異物と称して説明したが、これらのうちの一部(例えば、汚粒、ノゲ付穀粒)を異物ではなく、正常な穀粒とすることも可能である。
上記実施形態では、算定部72は、正常な穀粒と異物との割合を算定するとして説明したが、算定部72は、異物について種別毎に割合を算定するように構成することも可能である。すなわち、撮像画像Gに含まれる選別処理物における夾雑物の割合(夾雑物率)、損傷物の割合(損傷率)、汚粒の割合(汚粒率)、枝梗の割合(枝梗率)、ふの割合(ふ率)を算定するように構成することも可能である。また、損傷物と汚粒とを区別することなく、一つの区分で算定することも可能である。
上記実施形態では、算定部72が、判別部71による判別結果に基づいて、撮像画像Gに含まれる選別処理物における、正常な穀粒と異物との割合を算定するとして説明したが、コンバイン20は算定部72を備えなくても良い。すなわち、判別部71が選別処理物を、正常な穀粒と異物とに判別するだけでも良いし、その判別結果を他の装置に伝達して利用するように構成することも可能である。
上記実施形態では、パラメータ変更部73が、正常な穀粒と異物との割合に応じて、脱穀ユニット41における脱穀能力を設定可能な脱穀パラメータ及び選別ユニット42における選別能力を設定可能な選別パラメータを変更するとして説明したが、コンバイン20はパラメータ変更部73を備えなくても良い。係る場合、上述したように、変更すると好適である脱穀パラメータや選別パラメータのアドバイスを報知するように構成しても良い。
上記実施形態では、判別部71は、選別処理物から正常な穀粒を判別する学習を行ったニューラルネットワークに撮像画像Gから生成された画像データを入力して判別するとして説明したが、判別部71は、ニューラルネットワークを用いずに選別処理物から正常な穀粒と異物とを判別するように構成することも可能である。
本発明は、刈取穀稈を脱穀する脱穀ユニットと、当該脱穀ユニットにより脱穀された脱穀処理物から穀粒を選別する選別ユニットとを備えたコンバインに用いることが可能である。
12:穀粒タンク
20:コンバイン
41:脱穀ユニット
42:選別ユニット
70:撮影部
71:判別部
72:算定部
73:パラメータ変更部
G:撮像画像

Claims (5)

  1. 刈り取られた刈取穀稈を脱穀して脱穀処理物を排出する脱穀ユニットと、
    排出された前記脱穀処理物から穀粒を選別処理物として選別する選別ユニットと、
    前記選別処理物が搬送されて貯留される穀粒タンクと、
    前記選別処理物を前記選別ユニットから前記穀粒タンクまで搬送する搬送経路内を撮像した撮像画像を取得する撮影部と、
    前記撮像画像に含まれる選別処理物を、画像解析により、所期の品質を満たす正常な前記穀粒と、前記選別処理物に混入された前記正常な穀粒以外の異物とに判別する判別部と、
    を備えるコンバイン。
  2. 前記判別部による判別結果に基づいて、前記撮像画像に含まれる前記選別処理物における、前記正常な穀粒と前記異物との割合を算定する算定部を備える請求項1に記載のコンバイン。
  3. 前記正常な穀粒と前記異物との割合に応じて、前記脱穀ユニットにおける脱穀能力を設定可能な脱穀パラメータ及び前記選別ユニットにおける選別能力を設定可能な選別パラメータを変更するパラメータ変更部を備える請求項2に記載のコンバイン。
  4. 前記判別部は、前記選別処理物から前記正常な穀粒を判別する学習を行ったニューラルネットワークに前記撮像画像から生成された画像データを入力して判別する請求項1から3のいずれか一項に記載のコンバイン。
  5. 前記ニューラルネットワークは、前記正常な穀粒が含まれる撮像画像から生成された学習用画像データを教師データとして入力した場合に、前記選別処理物に前記正常な穀粒が含まれているとする判別結果を出力するように前記学習が行われ、前記異物が含まれる撮像画像から生成された学習用画像データを教師データとして入力した場合に、前記選別処理物に前記異物が含まれているとする判別結果を出力するように前記学習が行われている請求項4に記載のコンバイン。
JP2019237130A 2019-12-26 2019-12-26 コンバイン Active JP7433044B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019237130A JP7433044B2 (ja) 2019-12-26 2019-12-26 コンバイン
CN202080078738.3A CN114745944B (zh) 2019-12-26 2020-10-28 联合收割机、谷粒分选方法、系统、程序及其记录介质
PCT/JP2020/040409 WO2021131309A1 (ja) 2019-12-26 2020-10-28 コンバイン、穀粒選別方法、穀粒選別システム、穀粒選別プログラム、穀粒選別プログラムが記録されている記録媒体、穀粒検査方法、穀粒検査システム、穀粒検査プログラム、及び穀粒検査プログラムが記録されている記録媒体
US17/784,967 US20230021541A1 (en) 2019-12-26 2020-10-28 Combine, Grain Separation Method, Grain Separation System, Grain Separation Program, Recording Medium on Which Grain Separation Program Is Recorded, Grain Inspection Method, Grain Inspection System, Grain Inspection Program, and Recording Medium on Which Grain Inspection Program Is Recorded

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019237130A JP7433044B2 (ja) 2019-12-26 2019-12-26 コンバイン

Publications (2)

Publication Number Publication Date
JP2021103977A true JP2021103977A (ja) 2021-07-26
JP7433044B2 JP7433044B2 (ja) 2024-02-19

Family

ID=76918377

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019237130A Active JP7433044B2 (ja) 2019-12-26 2019-12-26 コンバイン

Country Status (1)

Country Link
JP (1) JP7433044B2 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002312762A (ja) * 2001-04-12 2002-10-25 Seirei Ind Co Ltd ニューラルネットワークを利用した穀粒選別装置
JP2007295932A (ja) * 2007-06-20 2007-11-15 Yanmar Agricult Equip Co Ltd コンバイン
US20090258684A1 (en) * 2004-07-28 2009-10-15 Cnh America Llc Apparatus and method for analysing the composition of crop in a crop-conveying machine
US20090291723A1 (en) * 2008-05-22 2009-11-26 Missotten Bart M A Apparatus for analysing composition of crops in a crop elevator
US20110151952A1 (en) * 2009-12-11 2011-06-23 Georg Kormann Crop sample presentation system
US20120004815A1 (en) * 2010-07-01 2012-01-05 Willi Behnke Device for detection and determination of the composition of bulk material
JP2013027341A (ja) * 2011-07-27 2013-02-07 Yanmar Co Ltd コンバイン
US20150009328A1 (en) * 2013-07-08 2015-01-08 Claas Selbstfahrende Erntemaschinen Gmbh Agricultural harvesting machine
JP2016140281A (ja) * 2015-01-30 2016-08-08 井関農機株式会社 コンバイン
JP2017108652A (ja) * 2015-12-15 2017-06-22 井関農機株式会社 グレンタンクの穀粒貯留重量計測装置
JP2019010075A (ja) * 2017-06-30 2019-01-24 三菱マヒンドラ農機株式会社 コンバイン

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002312762A (ja) * 2001-04-12 2002-10-25 Seirei Ind Co Ltd ニューラルネットワークを利用した穀粒選別装置
US20090258684A1 (en) * 2004-07-28 2009-10-15 Cnh America Llc Apparatus and method for analysing the composition of crop in a crop-conveying machine
JP2007295932A (ja) * 2007-06-20 2007-11-15 Yanmar Agricult Equip Co Ltd コンバイン
US20090291723A1 (en) * 2008-05-22 2009-11-26 Missotten Bart M A Apparatus for analysing composition of crops in a crop elevator
US20110151952A1 (en) * 2009-12-11 2011-06-23 Georg Kormann Crop sample presentation system
US20120004815A1 (en) * 2010-07-01 2012-01-05 Willi Behnke Device for detection and determination of the composition of bulk material
JP2013027341A (ja) * 2011-07-27 2013-02-07 Yanmar Co Ltd コンバイン
US20150009328A1 (en) * 2013-07-08 2015-01-08 Claas Selbstfahrende Erntemaschinen Gmbh Agricultural harvesting machine
JP2016140281A (ja) * 2015-01-30 2016-08-08 井関農機株式会社 コンバイン
JP2017108652A (ja) * 2015-12-15 2017-06-22 井関農機株式会社 グレンタンクの穀粒貯留重量計測装置
JP2019010075A (ja) * 2017-06-30 2019-01-24 三菱マヒンドラ農機株式会社 コンバイン

Also Published As

Publication number Publication date
JP7433044B2 (ja) 2024-02-19

Similar Documents

Publication Publication Date Title
JP6979808B2 (ja) コンバイン
JP6994853B2 (ja) コンバイン
JP7433044B2 (ja) コンバイン
JP2020018198A (ja) 脱穀装置
JP7321086B2 (ja) 脱穀状態管理システム
JP7155069B2 (ja) 脱穀装置
WO2021131309A1 (ja) コンバイン、穀粒選別方法、穀粒選別システム、穀粒選別プログラム、穀粒選別プログラムが記録されている記録媒体、穀粒検査方法、穀粒検査システム、穀粒検査プログラム、及び穀粒検査プログラムが記録されている記録媒体
JP7403313B2 (ja) 管理システム
JP7321088B2 (ja) 作業車
JP2002262645A (ja) 脱穀機の脱穀用側板
JP7321087B2 (ja) 収穫機管理システム、収穫機、及び収穫機管理方法
JP4590612B2 (ja) コンバインの選別装置
JP7241673B2 (ja) コンバイン
JP2019004765A (ja) 脱穀装置
JP2006136337A (ja) コンバインの選別装置
JP2021103981A (ja) コンバイン
JP2022010722A (ja) 脱穀装置
JP2022001018A (ja) 収穫機
JP3635130B2 (ja) コンバイン用脱穀装置
JP2020103056A (ja) 脱穀装置
JP2013132232A (ja) コンバイン
JP2020018196A (ja) コンバイン
JP2006254849A (ja) コンバイン
JP2019208391A (ja) コンバイン
JP2019004763A (ja) 脱穀装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240206

R150 Certificate of patent or registration of utility model

Ref document number: 7433044

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150