JP2021083355A

JP2021083355A - コンバイン

Info

Publication number: JP2021083355A
Application number: JP2019214357A
Authority: JP
Inventors: 伸晃長友; Nobuaki Nagatomo; 小野　弘喜; Hiroyoshi Ono; 弘喜小野
Original assignee: Iseki and Co Ltd; Iseki Agricultural Machinery Mfg Co Ltd
Current assignee: Iseki and Co Ltd; Iseki Agricultural Machinery Mfg Co Ltd
Priority date: 2019-11-27
Filing date: 2019-11-27
Publication date: 2021-06-03
Anticipated expiration: 2039-11-27
Also published as: JP7151694B2

Abstract

【課題】操作機器等を汚さないですむコンバインの実現【解決手段】キャビン２０内部の前方の上方に設置された音入力部１１と、音入力部１１から入力された音から音声を抽出し、外部のクラウド部１３の音声認識データベースを利用して音声認識する検知部１２と、予め登録された指示言葉とそれに対応する動作指令シーケンスを格納する指令データベース部１６と、検知部１２によって音声認識された指示言葉と、指令データベース部１６とを照合し、その指示言葉に対応する動作指令シーケンスを実行させる制御部１５と、指示言葉を表示する表示部１７と、を備えるコンバイン。【選択図】図２

Description

本発明は、稲などを刈り取り収穫するコンバインに関する。

従来、コンバインの操縦操作において、音声認識の技術が使われている。例えば穀粒を機外のトラックなどに搬送するオーガの操作指示をする場合などに用いられている（たとえば、特許文献１参照）。

特許2647063号公報

そのようなコンバインの音声認識は色々な雑音がする中で音声認識をする必要があった。例えば、エンジン音、脱穀音、走行音などである。

従って、その音声認識は難しく、これまでよりもより一層の正確性が求められている。

他方、そのような雑音が作業者の環境を悪くしている課題もあった。

本発明は、従来のそのようなコンバインの課題を考慮し、より一層正確に音声認識が可能なコンバインを提供することを目的とする。

また、本発明は、作業者の環境をより良く出来るコンバインを提供することを目的とする。

第１の本発明は、
キャビン内部の所定の場所に設置された音入力部と、
前記音入力部から入力された音から音声を抽出し、外部のクラウド部の音声認識データベースを利用して音声認識する検知部と、
予め登録された指示言葉とそれに対応する動作指令シーケンスを格納する指令データベース部と、
前記検知部によって音声認識された指示言葉と、前記指令データベースとを照合し、その指示言葉に対応する動作指令シーケンスを実行させる制御部と、
前記指示言葉を表示する表示部と、を備えたことを特徴とするコンバインである。

第２の本発明は、
前記音入力部の設置される前記所定の場所は、前記キャビン内部の前方の上方位置、前記キャビン内部の前方の操作部、または、作業者の頭部であることを特徴とする、第１の本発明のコンバインである。

第３の本発明は、
前記検知部は、入力された音から、前記音声以外に、エンジン雑音だけを抽出する機能も有し、
前記キャビンの内部の所定位置から、前記エンジン雑音と逆位相の音波を出力する音波出力部を備える、第２の本発明のコンバインである。

第４の本発明は、
前記音波出力部は、複数の場所に設置され、
前記入力部は、前記複数の場所に設置された前記音波出力部から出力される逆位相の複数の音波同士が干渉により減衰しない位置に設置されている、第３の本発明のコンバインである。

第５の本発明は、
キャビン内の運転席を備えたコンバインにおいて、
電装コントローラ内の、エンジン雑音の周波数と音量を記録する記録部と、
前記記録された周波数と音量の値に応じて打ち消し音の周波数と音量を調節する調音部と、
前記打ち消し音を発生する発音部とを備えたことを特徴とするコンバインである。

第６の本発明は、
前記発音部は、前記キャビンの運転席の上部に設置され、そこから前記打ち消し音を発生するか、または、作業者の頭部のヘッドホンへ打ち消し音の信号を送信して、そこから前記打ち消し音を発生させる、第５の本発明のコンバインである。

第７の本発明は、
前記記録部のエンジン雑音の周波数と音量データは、コンバインの整備モードの際、更新可能である、第５の本発明のコンバインである。

第８の本発明は、
キャビン内の運転席を備えたコンバインにおいて、
キャビン内部の音を集音する、所定の場所に設置された集音部と、
前記集音部から送信されてくる音信号から、エンジン雑音の周波数と音量の値に応じて打ち消し音の周波数と音量を調節する調音部と、
前記打ち消し音を発生する発音部とを備えたことを特徴とするコンバインである。

第９の本発明は、
前記集音部が設置される所定の場所は、前記キャビン内部に設置され、または、エンジンルーム内に設置される、第８の本発明のコンバインである。

第１０の本発明は、
前記発音部は、前記キャビンの運転席の上部に設置され、そこから前記打ち消し音を発生するか、または、オペレータのヘッドホンへ打ち消し音の信号を送信して、そこから前記打ち消し音を発生させる、第８の本発明のコンバインである。

第１１の本発明は、
前記集音部又は調音部は、集音したエンジン雑音の周波数の異常を検出し、前記キャビンの運転席のモニタにその異常を表示する、第８の本発明のコンバインである。

第１２の本発明は、
前記集音部は、集音した音の周波数の推移を記録しておき、深層学習によってキーオンサイクル中の定型挙動を抽出し、その定型挙動から外れた挙動を異常と判断する、第１１の本発明のコンバインである。

第１の本発明により、音声認識による指示が可能となり、泥汚れなどの多い圃場での機械操作で機械が汚れたり、精密機械が汚損したりしなくて済む。

更に、その音声認識を行う際、外部クラウド部の音声認識データベースを利用出来、一台、一台のコンバインに備える必要がなく、コストを低減できる上、精度も高くなる。

第２の本発明により、作業者の発声を拾いやすい。

第３の本発明により、作業者の発声にエンジン雑音が入らなくなる。すなわちキャビン内部にはエンジン雑音や脱穀音など様々な音が存在するが、脱穀音は脱穀部の異常をいち早く把握させるなどするためには聞こえる必要がある。これに対し、エンジン雑音は正常時でも大きく煩い音であり、常時発生し続けて作業者の発声に混合して音声認識を悪くする音である。このエンジン雑音を軽減して、作業者の発声の音声認識の精度を上げることができる。

第４の本発明により、打ち消し音が音の入力部において干渉して減衰する心配がない。

第５の本発明により、作業者の音環境が改善できる。

第６の本発明により、その打ち消し音がより良く発生出来る。

第７の本発明により、エンジンの経年劣化に対応できる。

第８の本発明により、集音した音から打ち消し音を生成できる。

第９の本発明により、集音がやりやすい場所で集音できる。

第１０の本発明により、打ち消し音はよりよい場所から発生出来る。

第１１の本発明により、エンジンに異常がある場合検知できる。

第１２の本発明により、エンジンの異常をよりよく検知できる。

本発明における実施の形態にかかるコンバインの側面図同コンバインの略示斜視図同コンバインの指令データベースの内容を示す表同コンバインの別の実施例の斜視図同コンバインの別の実施例の斜視図同コンバインの別の実施例の斜視図同コンバインの別の実施例の斜視図同コンバインの別の実施例の斜視図（Ａ）、（Ｂ）同コンバインの音打ち消し状態を説明するための略示平面図と側面図本発明の別の実施の形態に係るコンバインの略示斜視図同コンバインのデータ処理に関するブロック線図同コンバインの別の実施例の斜視図同コンバインのデータ処理に関するブロック線図同コンバインの別の実施例の斜視図同コンバインの別の実施例の斜視図（Ａ）、（Ｂ）、（Ｃ）同コンバインのエンジン異常検知グラフ同コンバインの異常検知の方法を示すブロック線図同コンバインの別の実施例の斜視図同コンバインの別の実施例の斜視図

以下、図面を参照しながら、本発明における実施の形態について詳細に説明する。図１は本発明の実施の形態にかかるコンバインの左側面図である。

本実施の形態のコンバイン１について説明する。このコンバイン１は、操縦部２、刈取部３、脱穀部４、選別部５、貯留部６、排藁処理部７、駆動部８、走行部９を有する。その操縦部２は、キャビン２０と、運転席２１などを備える。

刈取部３は、穀稈を刈り取り、脱穀部４はその穀稈を脱穀し、選別部５で穀粒を選別し、貯留部６に貯える。また、排藁処理部７は脱穀後の排藁を処理する。

その刈取部３は、デバイダと、引起装置と、切断装置とを有する。デバイダは、圃場の穀稈を引起装置へ案内し、引起装置は、デバイダによって案内された穀稈を引き起こす役割を果たす装置である。切断装置は、引起装置によって引き起こされた穀稈を切断し、搬送装置（図示省略）によって、その切断された穀稈を脱穀部４へ搬送する。

脱穀部４は、フィードチェーンと扱胴とを有する装置であって、フィードチェーンは、搬送装置から穀稈を受け継いで排藁処理部７へ搬送する。扱胴は、フィードチェーンによって搬送されている穀稈を脱穀する。

選別部５は、揺動選別部と風選別部と穀粒搬送部と藁屑排出部を備える。

貯留部６は、グレンタンクと排出オーガとを備える。グレンタンクは、選別部５から搬送されてきた穀粒を貯留する。排出オーガは、グレンタンクに貯留されている穀粒を任意の場所に排出できる装置である。

排藁処理部７は、脱穀部４の後方に設けられており、排藁搬送装置及び排藁切断装置を備える。

走行部９は、メインフレームの下方に設けられる左右一対のクローラ式走行装置と、トランスミッションとを備える。

駆動部８は、上述したそれらの走行部２、刈取部３、脱穀部４、選別部５、貯留部６、排藁処理部７に動力を供給する部分である。

図２は本発明の実施の形態にかかるコンバインの略示斜視図である。ここに、１０は作業者、１１は音入力部、１２は検知部、１３は外部クラウド部、１４はＣＮＡ通信、１５は制御部、１６は指令データベース部、１７は表示部である。

作業者１０が例えば「前進」と発声すると、マイクなどの音入力部１１がその音波を受信する。音入力部１１に入力された音信号は、検知部１２において、音声信号が抽出される。更に、その抽出された音声信号を、外部クラウド部１３に備えられた音声認識データベースを利用して、音声認識を行う。例えば「前進」、「後進」、「停止」などの指示言葉として音声認識される。

その検知部１２は、音声認識された結果を、ＣＡＮ通信１４を通じて、キャビン２０内の制御部１５へ送る。また、同時に、作業者１０の目の前にある表示部１７にもその結果が表示され、作業者１０が確認出来るようになっている。

この制御部１５には指令データベース部１６が内蔵されている。この指令データベース部１６は、図３に示すように、「前進」、「後進」などの指示言葉と、それらの指示言葉に対応する「ＨＳＴ開度○○値送信」、「ＨＳＴ開度××値送信」などの動作指令シーケンスがデータベース化されている。

従って、制御部１５は、そのデータベース部１６を参照しながら、送られてきた指示言葉を照合し、対応する動作指令シーケンスを特定し、例えば「前進」の場合は、対応する「ＨＳＴ開度○○値送信」と特定し、ＨＳＴ（図示省略）へ開度を○○値にするように制御信号を送信する。その結果、ＨＳＴの開度が○○となり、コンバイン１は前進することになる。

また、図２の実施例では、その音入力部１１はキャビン２０内部の前方の上方に設置されている。作業者１０の発声を拾いやすい位置に設定している。

図４は別の実施例であって、音入力部１１と検知部１２がキャビン２０の前方にある操作部１８に設けられている。その他の構造は図２の例と同様である。前方の操作部１８に設けられているので、作業者１０は発声しやすい。

図５は更に別の実施例であって、音入力部１１が作業者１０のヘッドセットのマイクに設けられている。その他の構造は図２の例と同様である。作業者１０のヘッドセットのマイクであるので、作業者１０の発声を拾いやすい。

図６は更に別の実施例であって、音入力部１１と検知部１２はキャビン２０内部の前方の上方に設置されている。作業者１０の発声を拾いやすい位置に設定している。検知部１２はその音入力部１１から入力された音から、音声信号以外に、エンジン雑音だけを抽出する機能も有している。そして、キャビン２０の内部の所定位置に、前記エンジン雑音と逆位相の音波を出力する音波出力部１９が更に備えられている。その機能については後述する。

図７は更に別の実施例であって、図６の実施例とは、音入力部１１と検知部１２の位置が異なるだけである。即ち、音入力部１１と検知部１２がキャビン２０の前方にある操作部１８に設けられている。前方の操作部１８に設けられているので、作業者１０は発声しやすい。この検知部１２も音入力部１１から入力された音から、音声信号以外にエンジン雑音だけを抽出する機能も有している。そして、キャビン２０の内部の所定位置に、前記エンジン雑音と逆位相の音波を出力する音波出力部１９が備えられている。その機能については後述する。

図８は更に別の実施例であって、図６の実施例とは、音入力部１１の位置が異なるだけである。すなわち、音入力部１１が作業者１０のヘッドセットのマイクに設けられている。作業者１０のヘッドセットのマイクであるので、作業者１０の発声を拾いやすい。この検知部１２も音入力部１１から入力された音から、音声信号以外に、エンジン雑音だけを抽出する機能も有している。そして、キャビン２０の内部の所定位置に、前記エンジン雑音と逆位相の音波を出力する音波出力部１９が備えられている。

次に、検知部１２のエンジン雑音抽出機能と、音波出力部１９の働きについて説明する。上記図６、図７、図８において、検知部１２は音声信号以外に、エンジン雑音だけを抽出することが出来、その逆位相の音波信号を作成できる。そして、その逆位相の音波信号を、それら４隅の音波出力部１９へ送信し、そこから逆位相の音波信号を出力させる。なお、逆位相の音波信号の作成は、検知部１２ではなく、音波出力部１９側で作成してもよい。

図９（Ａ）はキャビン２０の略示平面図、（Ｂ）はキャビン２０の略示正面図である。音入力部１１はこの場合は、キャビン２０の前方の下方の中央に配置されている例である。

図９（Ａ）、（Ｂ）に示すように、この実施例ではキャビン２０の天井付近の４隅に音波出力部１９を設置している。それら音波の伝達状況によって、音波の山と谷が発生するが、山と谷が重なる干渉する位置で逆位相の音波は減衰してしまう。

そこで、音入力部１１を、効果的にエンジン雑音がキャンセルされるように、逆位相の音波が確実に届く位置に設置する必要がある。例えば、キャビン２０の内部の４隅から逆位相の音を発生させ、キャビン２０の内部でその逆位相の音が減衰しない位置に、例えば図９に示すように音入力部１１を設置することが望ましい。

次に、作業者の音環境を良くする目的の本発明の実施の形態を説明する。図１０はその一実施例であって、３０は電装コントローラ、３１はその中に内装された記録部、３２は調音部、３３は発音部である。図１１は図１０の装置の動作を説明するためのブロック線図である。

図１０、図１１において、あらかじめ得ておいたエンジンの周波数や音量データをパソコン３４から、記録部３１へシリアルバスで送信しておく。記録部３１はＥ^２ＲＯＭなどである。そのデータを記録部３１から調音部３２へシリアルバス又はＣＡＮで送信する。調音部３２もＥ^２ＲＯＭなどである。この調音部３２で、得たエンジンの周波数や音量の値に応じて、そのエンジン音を打ち消す周波数や音量の音信号を調整する。発音部３３はその打ち消し音データを得てキャビン２０内に発生する。なお発音部３３はこの実施例では運転席２１の上部に設置されている。作業者はその結果、エンジン音が打ち消された環境で作業が可能となる。

図１２は別の実施例であって、発音部３３が、運転席２１ではなく、作業者１０の頭部にセットされたヘッドホン３３ａである点が異なる。調音部３２から無線で送信される。図１３はその動作を示すブロック線図である。

なお、図１０〜図１３の実施例において、本機コントローラ３５から、記録部３１や調音部３２のエンジン雑音の周波数と音量データは、例えばコンバインの整備モードの際、更新可能である。これによって、エンジンの経年変化によりそのエンジン音の変化に対応することが出来る。更には、作業者の感覚により微調整も可能である。

次に、エンジン音の周波数や音量をあらかじめ記録しておくのではなく、集音して騒音を軽減する実施例について説明する。

図１４は、その実施例を示す図であって、４０はキャビン２０内部の上方に設置された集音部である。この集音部４０で集音し、その信号は調音部３２へ送信される。そして、調音部３２で、その集音された音から、エンジン雑音だけを抽出し、それに対応する打ち消し音データを作成し、発音部３３へ送る。その発音部３３は図に示すように、運転席２１の上部に設置されている。あるいは、集音部４０において、エンジン雑音を抽出し、エンジン雑音のデータを調音部３２へ送るようにしてもよい。

図１５は別の実施例であって、発音部３３が作業者の頭部のヘッドホン３３ａに設置されている点が異なる。

図１６、図１７は集音部４０において、エンジン雑音を抽出する場合であって、更に異常を検知して警告をする例を示す図である。図１６（Ａ）はエンジンのキーオン時から停止までの、周波数と音量の正常時の変化を記録したものである。それに対して図１６（Ｂ）は異常が発生している場合のグラフである。この現象から、図１６（Ｃ）のように、異常を検知すると、異常信号をモニタへ送信し、警告する。

図１７は、そのような異常の判定を行う一例を示す。正常時における様々な周波数と音量の波形を集め記憶部４１ａに記憶させる。演算部４１ｂにおいてその中から深層学習などの手法により、正常な領域を算出しておく。その正常域データを集音部４０に送っておくことで、集音部４０はエンジン雑音の異常をリアルタイムに判定できる。
なお、調音部３２でエンジン雑音を抽出する場合も同様に異常を検知できる。

図１８は、別の実施例を示し、集音部４０が、エンジンが設置されたエンジンルーム４２に設置された例を示す。また、発音部３３は運転席２１に設けられている。集音部４０をエンジンルーム４２内に設けることで、他の騒音が混じらず、エンジン雑音をより正確に取得できる。

図１９は、図１８とは別の実施例であって、発音部３３を作業者の頭部のヘッドホン３３ａに設置した点が異なる。

なお、本発明の集音部や調音部などは、それらの機能専用のハードウェアの構成手段によっても、汎用コンピューターを利用して一部をソフトウェア的に実現しても構わない。

本発明は、より一層正確に音声認識が可能なコンバインを実現出来、あるいは作業者の環境をより良く出来るコンバインを実現できるので、稲刈りなどのコンバインに有用である。

１コンバイン
２操縦部
２０キャビン
２１運転席
３刈取部
４脱穀部
５選別部
６貯留部
７排藁処理部
８駆動部
９走行部
１０作業者
１１音入力部
１２検知部
１３外部クラウト部
１５制御部
１６指令データベース部
１７表示部
１８操作部
１９音波出力部
３０電装コントローラ
３１記録部
３２調音部
３３発音部
４０集音部
４２エンジンルーム

Claims

キャビン内部の所定の場所に設置された音入力部と、
前記音入力部から入力された音から音声を抽出し、外部のクラウド部の音声認識データベースを利用して音声認識する検知部と、
予め登録された指示言葉とそれに対応する動作指令シーケンスを格納する指令データベース部と、
前記検知部によって音声認識された指示言葉と、前記指令データベースとを照合し、その指示言葉に対応する動作指令シーケンスを実行させる制御部と、
前記指示言葉を表示する表示部と、を備えたことを特徴とするコンバイン。
前記音入力部の設置される前記所定の場所は、前記キャビン内部の前方の上方位置、前記キャビン内部の前方の操作部、または、作業者の頭部であることを特徴とする、請求項１記載のコンバイン。
前記検知部は、入力された音から、前記音声以外に、エンジン雑音だけを抽出する機能も有し、
前記キャビンの内部の所定位置から、前記エンジン雑音と逆位相の音波を出力する音波出力部を備える、請求項２記載のコンバイン。
前記音波出力部は、複数の場所に設置され、
前記入力部は、前記複数の場所に設置された前記音波出力部から出力される逆位相の複数の音波同士が干渉により減衰しない位置に設置されている、請求項３記載のコンバイン。
キャビン内の運転席を備えたコンバインにおいて、
電装コントローラ内の、エンジン雑音の周波数と音量を記録する記録部と、
前記記録された周波数と音量の値に応じて打ち消し音の周波数と音量を調節する調音部と、
前記打ち消し音を発生する発音部と、を備えたことを特徴とするコンバイン。
、
前記発音部は、前記キャビンの運転席の上部に設置され、そこから前記打ち消し音を発生するか、または、作業者の頭部のヘッドホンへ打ち消し音の信号を送信して、そこから前記打ち消し音を発生させる、請求項５記載のコンバイン。
前記記録部のエンジン雑音の周波数と音量データは、コンバインの整備モードの際、更新可能である、請求項５記載のコンバイン。
キャビン内の運転席を備えたコンバインにおいて、
キャビン内部の音を集音する、所定の場所に設置された集音部と、
前記集音部から送信されてくる音信号から、エンジン雑音の周波数と音量の値に応じて打ち消し音の周波数と音量を調節する調音部と、
前記打ち消し音を発生する発音部と、を備えたことを特徴とするコンバイン。
前記集音部が設置される所定の場所は、前記キャビン内部に設置され、または、エンジンルーム内に設置される、請求項８記載のコンバイン。
、
前記発音部は、前記キャビンの運転席の上部に設置され、そこから前記打ち消し音を発生するか、または、オペレータのヘッドホンへ打ち消し音の信号を送信して、そこから前記打ち消し音を発生させる、請求項８記載のコンバイン。
前記集音部又は調音部は、集音したエンジン雑音の周波数の異常を検出し、前記キャビンの運転席のモニタにその異常を表示する、請求項８記載のコンバイン。
前記集音部は、集音した音の周波数の推移を記録しておき、深層学習によってキーオンサイクル中の定型挙動を抽出し、その定型挙動から外れた挙動を異常と判断する、請求項１１記載のコンバイン。