JP2017143832A - 動物音声信号抽出装置、動物生理状態予測装置、動物音声信号抽出プログラム、及び動物生理状態予測プログラム - Google Patents

動物音声信号抽出装置、動物生理状態予測装置、動物音声信号抽出プログラム、及び動物生理状態予測プログラム Download PDF

Info

Publication number
JP2017143832A
JP2017143832A JP2017028545A JP2017028545A JP2017143832A JP 2017143832 A JP2017143832 A JP 2017143832A JP 2017028545 A JP2017028545 A JP 2017028545A JP 2017028545 A JP2017028545 A JP 2017028545A JP 2017143832 A JP2017143832 A JP 2017143832A
Authority
JP
Japan
Prior art keywords
animal
sound
voice
physiological state
sound signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017028545A
Other languages
English (en)
Other versions
JP6620276B2 (ja
Inventor
和裕 高橋
Kazuhiro Takahashi
和裕 高橋
近藤 哲也
Tetsuya Kondo
哲也 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kondo Electronics Ind Co Ltd
KONDO ELECTRONICS INDUSTRY CO Ltd
Kagawa Prefectural Government
Original Assignee
Kondo Electronics Ind Co Ltd
KONDO ELECTRONICS INDUSTRY CO Ltd
Kagawa Prefectural Government
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kondo Electronics Ind Co Ltd, KONDO ELECTRONICS INDUSTRY CO Ltd, Kagawa Prefectural Government filed Critical Kondo Electronics Ind Co Ltd
Publication of JP2017143832A publication Critical patent/JP2017143832A/ja
Application granted granted Critical
Publication of JP6620276B2 publication Critical patent/JP6620276B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】 従来の牛の発情や分娩の状態を予測又は検知する技術は、予測又は検知対象となる牛に接触型のセンサを装着させるものがほとんどで、牛にとって多大なストレスとなっており、動物の音声のみで生理状態を予測可能な技術が求められていた。【解決手段】本発明は、音信号受付手段と、音発生開始点検出手段と、音発生終了点検出手段と、音声パターン探索手段と、動物音声判定手段と、を少なくとも備える動物音声信号抽出装置、動物音声信号抽出装置、動物生理状態予測装置、動物音声信号抽出方法、動物生理状態予測方法、動物音声信号抽出プログラム、及び動物生理状態予測プログラムを提供する。【選択図】図1

Description

本発明は、動物音声信号抽出装置、動物生理状態予測装置、動物音声信号抽出プログラム、及び動物生理状態予測プログラムに関し、畜産・酪農動物等、飼育された動物の生理状態予測に適用することができる。
畜産や酪農においては、飼育動物の生理状態を正確且つ迅速に見極めなければならない。特に、飼育動物を効率的に繁殖させるためには、発情や分娩を的確に予測することが重要である。動物の発情や分娩を予測する従来技術としては、牛の膣温に基づいて発情を検出して通報するシステム(特許文献1参照)、牛の足に装着され、牛の歩数を時系列的に計測して発情時期にあるか否かを把握可能な装置(特許文献2参照)、牛の首に装着したタグに内蔵したモーションセンサの信号から発情開始時期を正確に検知可能な発情検知方法(特許文献3参照)、横臥・起立のパターンから牛の発情を正確に検出可能な発情検出装置(特許文献4参照)、き甲部直後の背骨の真上でベルトにより牛に取り付けられた方位センサにより分娩間近である旨を通知するシステム(特許文献5参照)等が挙げられる。
また、動物の音声を解析する技術として、カーネル関数を用いたパターン認識による分類により、複数の昆虫又は動物が鳴いている場合に昆虫又は動物の分類を識別できる方法(特許文献6参照)や、牛の咆哮音及び行動量から牛の発情の有無を判定するシステム(特許文献7参照)が知られている。
特開2013-179875号公報 特開2012-130253号公報 特開2012-90604号公報 特開2011-45284号公報 特開2010-227161号公報 特開2011-154130号公報 特開2015-89342号公報
従来の牛の発情や分娩の状態を予測又は検知する技術は、予測又は検知対象となる牛に対して接触型のセンサを装着させるものがほとんどで、牛にとって多大なストレスとなっており、センサ装着作業における畜産従事者や酪農従事者の危険も伴っていた。また、特許文献7に記載の従来の牛の咆哮音及び行動量から牛の発情の有無を判定するシステムでは、牛から発せられる音声だけでなく、牛の行動量の検知も必須構成要素となっており、牛の起立・横臥を検知するためには高額のセンサが必要であった。したがって、動物の音声のみで生理状態が予測可能な技術が求められていた。
すなわち、本発明は、音信号の入力を受け付ける音信号受付手段と、音信号受付手段で受け付けられた音信号の所定の周波数帯における振幅強度を所定の閾値と比較し、該閾値よりも大きい振幅強度を検出した場合に音発生開始点と判定する音発生開始点検出手段と、音発生開始点経過後の音信号の所定の周波数帯における振幅強度を所定の閾値と比較し、該閾値よりも小さい振幅強度を検出した場合に音発生終了点と判定する音発生終了点検出手段と、音発生開始点から音発生終了点までの間の音信号に所定音声パターンが含まれるか否かを探索する音声パターン探索手段と、所定音声パターンが検出された場合に、音発生開始点以降の音信号に、動物の音声が含まれていると判定する動物音声判定手段と、を少なくとも備える、動物音声信号抽出装置を提供する。
また、別の本発明は、音信号受付手段が発電部を備え、且つ動物又は動物の装着具に装着せしめられ、発電部が、該動物の動きにより発電する、動物音声信号抽出装置を提供する。
また、別の本発明は、音信号受付手段が、動物の耳、鼻、耳標、鼻輪、又は鼻綱に装着せしめられる、動物音声信号抽出装置を提供する。さらに、別の本発明は、音信号受付手段は、動物に対し非接触の状態で設置される、動物音声信号抽出装置を提供する。
また、別の本発明は、所定音声パターンは、継続時間、振幅強度、及び周波数から選ばれる1又は複数からなる、動物音声信号抽出装置を提供する。
また、別の本発明は、音声パターン探索手段が、複数の周波数帯域における音信号に所定音声パターンが含まれるか否かを探索する、動物音声信号抽出装置を提供する。
また、別の本発明は、所定音声パターンは、音発生点開始点から音発生終了点までの継続時間である、動物音声信号抽出装置を提供する。
また、別の本発明は、音終了発生点検出手段は、閾値よりも小さい振幅強度が所定の時間以上継続した場合に、音発生終了点と判定する、動物音声信号抽出装置を提供する。
また、別の本発明は、音発生開始点検出手段及び音終了発生点検出手段の所定の周波数帯は、100 Hz〜3000 Hzの範囲にある、動物音声信号抽出装置を提供する。
また、別の本発明は、動物が肉用牛や乳用牛等の牛である、動物音声信号抽出装置を提供する。
さらに、本発明は、少なくとも1の動物を飼育する施設内の音声を取得して音信号に変換する音声取得手段と、動物音声信号抽出装置と、を備え、動物音声判定手段において判定された動物音声から、該動物の生理状態を判定する生理状態判定手段を備える、動物生理状態予測装置を提供する。
また、別の本発明は、生理状態予測手段が、動物音声の発生頻度、該発生頻度の移動平均値、及び、所定以上の強度となる周波数帯域の数からなる1又は複数から動物の生理状態を予測する、動物生理状態予測装置を提供する。より具体的には、動物音声の発生頻度、該発生頻度の移動平均値、及び、所定以上の強度となる連続した周波数帯域の数からなる1又は複数について予め設定した設定値と、得られた値とを比較することにより、動物の生理状態を予測する。
また、別の本発明は、動物音声の頻度を閾値と比較することにより、動物生理状態を予測する動物生理状態予測装置であって、生理状態予測手段が、予測対象となる動物の一定時間毎の音声発生頻度を表したグラフ上で得られたピークの面積比から、動物の生理状態の変化を予測する。
また、別の本発明は、施設内で飼育される動物が肉用牛や乳用牛等の牛であり、生理状態が、発情、破水又は娩出である、動物生理状態予測装置を提供する。
さらに、本発明は、コンピュータで実行される動物音声信号抽出方法であって、コンピュータは、処理手段を少なくとも備え、処理手段が音信号の入力を受け付ける音信号受付工程と、音信号受付工程で受け付けられた音信号の所定の周波数帯における振幅強度を所定の閾値と比較し、該閾値よりも大きい振幅強度を検出した場合に音発生開始点と判定する音発生開始点検出工程と、音発生開始点経過後の音信号の所定の周波数帯における振幅強度を所定の閾値と比較し、該閾値よりも小さい振幅強度を検出した場合に音発生終了点と判定する音発生終了点検出工程と、音発生開始点から音発生終了点までの間の音信号に所定音声パターンが含まれるか否かを探索する音声パターン探索工程と、所定音声パターンが検出された場合に、音発生開始点以降の音信号に、動物の音声が含まれていると判定する動物音声判定工程と、を少なくとも含む、動物音声信号抽出方法を提供する。
また、別の本発明は、少なくとも1の動物を飼育する施設内の音声を取得して音信号に変換する音声取得手段と、動物音声信号抽出方法と、を含み、動物音声判定手段において判定された動物音声から、該動物の生理状態を判定する生理状態判定工程を含む、動物生理状態予測方法を提供する。
さらに、本発明は、コンピュータを、音信号の入力を受け付ける音信号受付手段と、音信号受付手段で受け付けられた音信号の所定の周波数帯における振幅強度を所定の閾値と比較し、該閾値よりも大きい振幅強度を検出した場合に音発生開始点と判定する音発生開始点検出手段と、音発生開始点経過後の音信号の所定の周波数帯における振幅強度を所定の閾値と比較し、該閾値よりも小さい振幅強度を検出した場合に音発生終了点と判定する音発生終了点検出手段と、音発生開始点から音発生終了点までの間の音信号に所定音声パターンが含まれるか否かを探索する音声パターン探索手段と、所定音声パターンが検出された場合に、音発生開始点以降の音信号に、動物の音声が含まれていると判定する動物音声判定手段として少なくとも機能させる、動物音声信号抽出プログラムを提供する。
また、別の本発明は、動物音声信号抽出プログラムを含み、さらに、コンピュータを少なくとも1の動物を飼育する施設内の音声を取得して音信号に変換する音声取得手段と、動物音声判定手段において判定された動物音声から、該動物の生理状態を判定する生理状態判定手段をとして機能させる動物生理状態予測プログラムを提供する。
動物を飼育する施設の内部では、動物の発する音声以外にもさまざまな音が発生しており、予測の障害となるだけでなく、全ての音を記録して解析するために、コンピュータが膨大なデータ量を扱う必要があった。本発明により、予測対象となる動物音声を含む音声を高い確率で抽出することで、少ないデータ量で、より正確な生理状態予測が実現される。また、予測対象の動物に対しては、装置の非接触、又は必要最小限の接触で生理状態の予測が可能であり、動物に過剰なストレスを与えない状態で、該動物の生理状態の変化を監視することができる。
本発明の動物音声信号抽出装置における動物音声信号抽出のフローチャートである。 本発明の動物生理状態予測装置における動物生理状態予測のフローチャートである。 本発明の動物生理状態予測装置における予測結果を示す図である。 本発明の動物生理状態予測装置における予測結果を示す図である。 本発明の動物生理状態予測装置における予測結果を示す図である。 本発明の動物生理状態予測装置における予測結果を示す図である。 本発明の動物生理状態予測装置における予測結果を示す図である。 本発明の動物生理状態予測装置における予測結果を示す図である。
本発明は、動物音声信号抽出装置、該動物音声信号抽出装置を含む動物生理状態予測装置、動物音声信号抽出方法、該動物音声信号抽出方法を含む動物生理状態予測方法、動物音声信号抽出プログラム、及び該動物音声信号抽出プログラムを含む動物生理状態予測プログラムを提供する。本発明によれば、入力された音信号が、動物音声を含む音信号であるか、動物音声が含まれない音信号であるかを判別し、その判別結果から動物音声を含む音信号を抽出することが可能となる。さらに、抽出された動物音声を含む音信号から、動物の生理状態を的確に予測することができる。
以下、本発明の動物音声信号抽出装置、該動物音声信号抽出装置を含む動物生理状態予測装置、動物音声信号抽出方法、及び、該動物音声信号抽出方法を含む動物生理状態予測方法について、発明を実施するための形態に基づき詳細に説明する。
本発明で対象となる動物としては、肉用牛又は乳用牛等の牛、肉用豚等の豚、採卵用鶏又は肉用鶏等の鶏、競争用馬又は肉用馬等の馬、肉用羊、乳用羊、又は採毛用羊等の羊、肉用山羊又は乳用山羊等の山羊や、これらの繁殖用動物等が挙げられる。各動物種により発せられる音声の特徴が異なるため、各動物種によって、音信号受付手段、音発生開始点検出手段、音発生終了点検出手段、音声パターン探索手段、及び動物音声判定手段の設定は変更され得る。
1.動物音声信号抽出装置
本発明の動物音声信号抽出装置は、音信号受付手段、音発生開始点検出手段、音発生終了点検出手段、音声パターン探索手段、及び動物音声判定手段から構成される。本発明の動物音声信号抽出装置における動物音声信号抽出のフローチャートの好適な一形態を図1に示す。
音信号受付手段は、音信号の入力を受け付ける。音信号としてはWAV形式の他、MP3形式等の圧縮された形式でも構わないが、周波数帯や振幅強度が、後述する条件で解析可能な分解能を有するファイル形式であることが必要である。音信号の入力を受け付けた後、受け付けられた音信号から、短時間フーリエ変換等の手段を用いて、各周波数帯域の振幅強度が判別できるスペクトログラムが作成されることが好ましい。また、音信号受付手段は、マイクロフォン等の音声取得手段を備えても良い。かかる場合、動物にストレスを与えないように非接触となるように設置されても良く、飼育動物のうちどの個体が発した音声であるかを識別するために動物の体に接触して装着しても良い。動物に装着した場合には、発電部を備えることにより、該発電部が、動物の動きにより発電することで必要な電力を供給することができる。
音発生開始点検出手段は、音信号受付手段で受け付けられた音信号の所定の周波数帯における振幅強度を所定の閾値と比較し、該閾値よりも大きい振幅強度を検出した場合に音発生開始点と判定する。音発生開始点検出手段における閾値は、周波数帯毎に任意の数値に設定することができる。
音発生終了点検出手段は、音発生開始点経過後の音信号の所定の周波数帯における振幅強度を所定の閾値と比較し、該閾値よりも小さい振幅強度を検出した場合に音発生終了点と判定する。音発生終了点検出手段における閾値は、周波数帯毎に任意の数値に設定することができる。
また、音発生終了点検出手段は、閾値よりも小さい振幅強度が所定の時間以上継続した場合に、音発生終了点と判定する。動物音声には、音声が継続している場合であっても、振幅強度が短時間に著しく弱まる周波数帯が含まれるためである。所定の時間とは0.01秒〜0.5秒が好ましい。より具体的には、閾値よりも小さい振幅強度が0.1秒以上継続する場合に、音発生終了点と判定する音発生終了点検出手段が挙げられる。
音発生開始点検出手段及び音発生終了点検出手段は、周波数帯毎の振幅強度を解析し、それらの解析結果を組み合わせて音発生開始点及び音発生終了点を検出してもよい。例えば、1の周波数帯において閾値よりも大きい振幅強度を検出すれば音発生開始点と判定してもよいが、複数の周波数周波数帯全てにおいて閾値よりも大きい振幅強度を検出した場合に音発生開始点と判定してもよく、閾値よりも大きい振幅強度を検出した周波数帯が所定の数を超えた場合に音発生開始点と判定してもよい。音発生開始点検出手段及び音発生終了点検出手段が振幅強度を解析する周波数帯は、100 Hz〜3000 Hzの範囲に含まれる。
音声パターン探索手段は、音発生開始点から音発生終了点までの間の音信号に所定音声パターンが含まれるか否かを探索する。所定音声パターンは、継続時間、振幅強度、及び周波数から選ばれる1又は複数の要素から決定される。また、音声パターン探索手段は、音信号に所定音声パターンが含まれるか否かを複数の周波数帯域において探索することが好ましい。
発明者らは、動物を飼育する施設内で発生する音声のうち、抽出対象である動物音声から得られた音信号の特徴を解析する中で、所定音声パターンの有無によって動物音声であるか、それ以外であるかを判定できることを見出した。所定音声パターンを含む音信号を抽出することで、高い確率で動物音声を抽出することができる。
所定音声パターンの具体例としては、複数の周波数帯における音発生点開始点から音発生終了点までの継続時間、音発生開始点から音発生終了点までの間に、閾値以上の振幅強度が検出される単位時間の数や、それらの組み合わせが挙げられる。
動物音声判定手段は、音声発生開始点から音声発生終了点までの間の音信号について、音声パターン探索手段により、所定音声パターンが検出された場合には、該音信号に動物音声が含まれると判定する。音声パターン探索手段により、所定音声パターンが検出されなかった場合には、該音信号に動物音声が含まれていないと判定する。
本発明の動物音声信号抽出装置は、さらに動物音声が含まれていると判定した音信号を抽出する音信号抽出手段を有し、抽出された音信号は、後述する動物生理状態予測装置によって、音信号に含まれる音声を発した動物の生理状態の予測に使用される。また、音信号抽出の際に、動物音声以外の雑音を除去する雑音除去手段を設けてもよい。
2.動物生理状態予測装置
本発明における動物生理状態予測装置は、上述の動物音声信号抽出装置を含み、該動物音声信号抽出装置によって抽出された動物音声を含む音信号から、動物の生理状態を予測せんとするものである。動物生理状態予測装置は、音声取得手段、動物音声信号抽出装置、及び生理状態判定手段から構成されるが、動物生理状態の予測結果を利用者に通知する利用者通知手段も含み得る。本発明の動物生理状態予測装置における動物生理状態予測のフローチャートの好適な一形態を図2に示す。
音声取得手段は、少なくとも1の動物を飼育する施設内の音声を取得して音信号に変換する。具体的にはマイクロフォン等が用いられる。マイクロフォンが受け付けた音声は、例えばアナログ・デジタル変換回路によりデジタルの音信号に変換される。
音声取得手段は、動物の音声を取得するのに適した位置に設置される。具体的には、飼育動物にストレスを与えないように非接触となるように設置されても良く、飼育動物のうちどの個体が発した音声であるかを識別するためには、音声取得手段を動物の体に装着しても良い。動物音声の発生頻度は、個体毎の変動が大きいため、動物の体に音声取得手段を装着することで、個体毎の音声発生頻度を解析することができ、生理状態の正確な予測が可能となる。
飼育動物が牛である場合には、牛の個体識別番号が印字された耳標に音声取得手段を埋め込む、又は耳に装着された音声取得手段を耳標として用いることで、牛の個体識別と、該個体の生理状態の予測の両方を兼ねることができる。牛に他の接触型のセンサを装着させる必要がなく、必要最小限の接触で牛にかかるストレスを最低限に抑える一方で、生理状態の正確な予測が可能となる。また、同様の理由から、ロープを繋げるために牛に装着される鼻輪に音声取得手段を埋め込むこと、又は鼻に装着された音声取得手段を鼻輪として用いること、鼻綱に音声取得手段を埋め込むこと、又は音声取得手段を鼻綱として用いることもできる。また、音声取得手段を飼育動物に非接触となるように設置する場合には、飼育施設の一部や、給餌機、飲水等に音声取得手段を設置すれば良い。
音声取得手段は、集音部、音信号変換部を備える。さらに、別の音声取得手段は、それらに加えて、さらに蓄電部や発電部を備える。発電部の好適な具体例としては、圧電素子が挙げられる。発電部が、飼育動物の動きで発生する圧力を電力に変換し、蓄電部が発電された電力を蓄電することで、音声取得手段が必要とする電力の一部又は全部が供給される。
音声取得手段によって取得され変換された音信号は、先に説明した動物音声信号抽出装置の音信号受付手段によって受け付けられ、音声開始点と音声終了点との間の所定音声パターンを探索し、所定音声パターンを検出した音声を動物音声が含まれる音声と判定する。さらに、動物音声が含まれると判定された音信号のみを抽出し、抽出した音信号を生理状態判定手段に送る。
生理状態判定手段では、抽出された動物音声が含まれると判定された音信号から、音声を発した動物の生理状態を予測する。動物音声の発生時間や頻度、周波数、振幅、及び/又は継続時間について予め閾値あるいは設定値を定め、該閾値あるいは該設定値を越えた場合に予測対象の生理状態であると判定する。
より具体的には、生理状態判定手段は、動物音声発生時刻、最大振幅強度、最大周波数、音声継続時間、及び音声発生回数、それら数値の所定の時間内の平均値、及びそれらの組み合わせについて、予め定められた閾値あるいは設定値を基に、動物の生理状態を予測する。
発明者らは、生理状態の変化による音声発生回数の変化は個体差が大きいことや、取得された音信号に環境音等の雑音由来の音信号が混入することから、一定時間内の回数だけでは、生理状態の予測が困難であることを見出した。そこで、個体毎に基準を設けるとともに、音声発生回数ではなく、音声発生回数の時系列データから、動物の生理状態を正確に予測する手法を開発した。
本発明の動物生理状態予測装置は、動物音声の頻度を閾値と比較することにより、動物生理状態を予測する動物生理状態予測装置であって、該動物生理状態予測装置の生理状態判定手段は、予測対象となる動物の一定時間毎の音声発生頻度を表したグラフ上で得られたピークの面積比から、該動物の生理状態の変化を予測する。より具体的には、一の生理状態にある動物から得られたピーク面積を基準ピーク面積とし、該基準ピーク面積の概ね2倍以上の面積を有するピークが得られたときに、該動物の生理状態の変化があると予測する。
個体毎に基準ピーク面積を算出することで、個体差に関わらず的確に生理状態を予測することができる。したがって、該動物生理状態予測装置が含む動物音声抽出装置の音声取得手段は、どの個体が発した音声であるかを識別するためには動物の体に装着することが好ましく、飼育動物が牛である場合には、牛の耳又は鼻に装着することがさらに好ましい。牛の耳に装着する場合には、音声取得手段を耳標の一部として、牛の鼻に装着する場合には、音声取得手段を鼻輪又は鼻綱の一部として、装着することができる。また、音声取得手段は、飼育動物にストレスを与えないように非接触となるように設置されても良く、飼育動物が牛である場合には、牛房、給餌機、飲水器やそれらの周辺等に設置することができる。
生理状態判定手段は、動物の個体から音声発生頻度を示すグラフからピークが得られた際には、該ピークの面積を該個体の基準ピーク面積と比較して動物の生理状態の変化を予測する。例えば、動物が牛であり、予測対象となる生理状態が娩出である場合には、陣痛開始時に得られた基準ピーク面積の、概ね2倍の面積を有するピークが得られた場合には生理状態の変化、すなわち破水が起こったと判定し、基準ピーク面積の、概ね4倍の面積を有するピークが得られた場合には生理状態の変化、すなわち娩出が起こったと判定する。
また、基準ピーク面積との比較に加えて、動物の音声発生頻度の移動平均値、及び/又は、所定以上の強度となる連続した周波数帯の数を組み合わせて予測することで、予測の精度を上げることが可能である。例えば、別の動物生理状態予測装置は、得られたピーク面積が、基準ピーク面積の2倍以上であり、且つ音声発生頻度の移動平均値のピークが確認されたときに、動物の生理状態が変化したと判定することが可能である。
音声発生頻度は、好ましくは1分間、2分間、3分間、4分間、5分間、6分間、7分間、8分間、9分間、又は10分間の発生頻度であり、音声発生頻度の移動平均は、好ましくは2区間、3区間、4区間、5区間、6区間、7区間、8区間、9区間、又は10区間の音声発生頻度から求められる。
また、所定以上の強度となる連続した周波数帯の数は、時間及び周波数を軸とした音声信号のスペクトログラムから測定することができるが、フォルマントの数として把握しても良い。発明者らは、さまざまな生理状態にある牛の発生する音声を解析したところ、牛の生理状態によって、所定以上の強度となる連続した周波数帯の数が変化することを明らかにした。例えば、平常時の牛が発した音声信号には、周波数約0 Hz〜約2000 Hzの間で、約100Hz間隔、約200Hz間隔、約300Hz間隔、約400Hz間隔、又は、約500Hz間隔で、略均等に、所定以上の強度となる周波数帯が繰り返される。一方で、陣痛を感じている状態や、破水又は娩出時には、上述のような周波数のパターンが確認されない。したがって、略均等に所定以上の強度となる連続した周波数帯の繰り返しの数の変化から、牛の生理状態の変化を予測することができる。
本発明の動物生理状態予測装置で予測され得る生理状態は、発情、破水、陣痛、又は娩出であるが、空腹や、病気やストレスの有無等の健康に関する生理状態も予測することが可能である。
すなわち、本発明の、動物生理状態予測装置は、所定以上の強度となる連続した周波数帯の数から、音声を発した動物の健康に関する生理状態、すなわち健康状態を予測することができる。所定以上の強度となる連続した周波数帯の数は、時間及び周波数を軸とした音声信号のスペクトログラムから測定することができるが、フォルマントの数として把握しても良い。発明者らは、さまざまな生理状態にある牛の発生する音声を解析したところ、牛の生理状態によって、所定以上の強度となる連続した周波数帯の数が変化することを明らかにした。例えば、平常時の牛が発した音声を含む音信号には、周波数約0 Hz〜約2000 Hzの間で、約100Hz間隔、約200Hz間隔、約300Hz間隔、約400Hz間隔、又は、約500Hz間隔で、略均等に、所定以上の強度となる周波数帯が繰り返される。一方で、健康状態が優れない場合に特有に発せられる咳嗽や噴嚔を主として含む音信号には、上述のような周波数のパターンが確認されない。したがって、略均等に所定以上の強度となる連続した周波数帯の繰り返しの数の変化から、牛の生理状態の変化を予測することができる。
また、動物生理状態予測装置は、動物生理状態の予測結果を利用者に通知する利用者通知手段を設けてもよい。具体的には、予測結果は利用者の携帯電話やコンピュータ等の端末にメールで送付される。また、利用者への通知頻度は、利用者が任意に設定できる機能を有してもよい。
さらに、本発明は、コンピュータが実行する動物音声信号抽出方法、及び動物生理状態予測方法、コンピュータを機能させる動物音声信号抽出プログラム、及び動物生理状態予測プログラムを提供する。本発明が提供する動物音声信号抽出方法、動物生理状態予測方法、動物音声信号抽出プログラム、及び動物生理状態予測プログラムについては、上述の記載から理解できよう。
実施例を参照して本発明をさらに詳細に説明するが、本発明は下記の実施例に限定されない。
(1)動物音声信号抽出装置
1.音信号受付手段
本実施例の動物音声信号抽出装置における音信号受付手段は、肉牛を収容した畜舎に設置されたマイクロフォン内蔵のネットワークカメラにより取得されたWAV形式の音声信号を受け付けた。さらに、音信号受付手段は、受け付けた音声信号を短時間フーリエ変換し、各周波数帯(約23Hz毎)の振幅強度を表すスペクトログラムを作成した。
2.音発生開始点検出手段
音発生開始点検出手段は、受け付けられた音信号を解析し、332Hz帯、483Hz帯、及び805Hz帯において、0.01以上の振幅強度を検出し、検出された時間を音発生開始点であると判定した。
3.音発生終了点検出手段
音信号終了点検出手段は、音発生開始点検出手段で検出された音発生開始点以降で、振幅強度が0.01未満の振幅強度を検出し、0.01未満の振幅強度が0.1秒以上継続した時間を音発生終了点であると判定した。
4.音声パターン探索手段
音声パターン探索手段は、音発生開始点から音発生終了点までの間で、322Hz帯以上、2,944Hz以下の周波数帯で振幅強度0.01以上の周波数帯が10以上30未満となる時間が0.1秒以上継続した音信号を、牛音声が含まれた音信号であると判定した。
畜舎に設置されたネットワークカメラにより取得された動画と照らし合わせたところ、実施例により判定された音信号に、牛の音声が含まれていることが確認された。
(2)動物音声の発生頻度から予測する動物生理状態予測装置(正常な破水及び分娩の場合)
本実施例の動物生理状態予測装置は、実施例1の方法で判定された牛音声が含まれた音信号を抽出し、発生時刻、最大振幅強度、最大周波数、音声継続時間、及び過去1時間の音声発生回数をデータベース化した。また、図3に示すように、縦軸を5分毎の音声発生頻度、横軸を時間とするグラフを作成し、最初に得られたピーク面積を該牛個体の基準ピーク面積とした。
次に、基準ピーク面積の2倍を破水の閾値、破水が起こった後で且つ基準ピーク面積の4倍を娩出の閾値と設定した。図4に示すように、23:10:00〜23:20:00をピークとするピーク面積(図中に丸囲みで3と記載)が基準ピーク面積(図中に丸囲みで1と記載)の2倍、1:40:00〜1:50:00をピークとするピーク面積(図中に丸囲みで4と記載)が基準ピーク面積の4倍となったことから、動物生理状態装置は、音声を発した牛が、23:10:00〜23:20:00に破水が、1:40:00〜1:50:00に娩出が起こったと判定した。ネットワークカメラにより取得された動画と照らし合わせたところ、23:10:00〜23:20:00に破水が、1:40:00〜1:50:00に娩出が起こったことが確認された。
また、本実施例の動物生理状態予測装置には、上記の予測結果をユーザの保有する携帯電話やコンピュータ等の端末にメールで送付する機能、及びメールでの送付頻度をユーザが任意の時間に設定できる機能を付加した。。本実施例の動物生理状態予測装置は、1:40:00〜1:50:00に破水が起こったと判定したこと、、1:40:00〜1:50:00に娩出が起こったと判定したこと、をユーザの保有する端末にメールで送付した。
(3)動物音声の発生頻度から予測する動物生理状態予測装置(異常分娩の場合)
別の個体について、実施例2と同様の方法で、縦軸を5分毎の音声発生頻度、横軸を時間とするグラフを作成し、最初に得られたピーク面積を該牛個体の基準ピーク面積とした。図5に示すように、正常分娩された牛の音声発生頻度を記録した実施例2とは大きく異なった音声発生頻度となっており、本実施例の動物生理状態予測装置は異常分娩と判定し、判定結果をユーザの保有する端末にメールで送付した。
(4)動物音声の発生頻度、及び該発生頻度の移動平均値から予測する動物生理状態予測装置
本実施例の動物生理状態予測装置は、実施例1の方法で判定された牛音声が含まれた音信号を抽出し、発生時刻、最大振幅強度、最大周波数、音声継続時間、及び過去1時間の音声発生回数をデータベース化した。また、図6に示すように、縦軸を5分毎の音声発生頻度、横軸を時間とするグラフを作成し、最初に得られたピーク面積を該牛個体の基準ピーク面積とし、さらに、過去20分間、すなわち、過去4区間の移動平均値を求めた。
次に、本実施例の動物生理状態予測装置は、新たに得られたピーク面積が、基準ピーク面積の2倍以上となり、且つ移動平均値のピークが確認された場合に、牛の生理状態が変化したと判定すると設定した。図7に示すように、動物生理状態予測装置は、基準ピーク面積の2倍以上となり、且つ過去4区間の移動平均値のピークが確認された15:20:00〜15:30:00、及び15:50:00〜16:00:00に生理状態が変化したと判定した。ネットワークカメラにより取得された動画と照らし合わせたところ、15:20:00〜15:30:00に破水が、15:50:00〜16:00:00に娩出が起こったことが確認された。
また、本実施例の動物生理状態予測装置には、上記の予測結果をユーザの保有する携帯電話やコンピュータ等の端末にメールで送付する機能、及びメールでの送付頻度をユーザが任意の時間に設定できる機能を付加した。本実施例の動物生理状態予測装置は、15:20:00〜15:30:00に破水が起こったと判定したこと、15:50:00〜16:00:00に娩出が起こったと判定したことを、ユーザの保有する端末にメールで送付した。
(5)所定以上の強度となる周波数帯域の数から予測する動物生理状態予測装置
本実施例の動物生理状態予測装置は、連続して所定以上の強度となる周波数帯域の数から動物の生理状態を予測する動物生理状態予測装置である。より具体的には、実施例1の方法で判定された牛音声が含まれた音信号を抽出し、該音声信号に含まれ、連続して所定以上の振幅が計測された周波数の数によって、生理状態の予測を行うことができる。
本実施例の動物生理状態予測装置は、平常状態にある牛の音声が含まれていると判断された音信号、陣痛を感じている状態(分娩90分前)の牛の音声が含まれていると判断された音信号、及び、娩出直前の牛の音声が含まれていると判断された音信号について、23Hz毎の周波数帯の振幅強度を表すスペクトログラムを取得した。取得したスペクトログラムは、振幅強度が0.01以上となった信号成分を着色して図6に示した。
平常状態にある牛の音声が含まれていると判断された音信号には、振幅強度が0.01以上となる連続した周波数帯が略均等な間隔で10個以上確認された。一方で、陣痛を感じている牛の音声や、娩出直前の牛の音声には、振幅強度が0.01以上となる連続した周波数帯が10個以上確認されなかった。したがって、本実施例の動物生理状態予測装置は、所定以上の強度となる連続した周波数帯域の数から、牛の陣痛時及び娩出時にあることを予測することができた。
さらに、連続して所定以上の強度となる周波数帯域の数から動物の生理状態を予測する動物生理状態予測装置である本実施例は、動物が健康な状態か否かを予測することができる。
本実施例の動物生理状態予測装置は、同一個体の牛について、平常状態に発せられた音声が含まれていると判断された音信号と、健康が優れない状態にあり、咳をした際に発せられた音声が含まれていると判断された音信号とについて、スペクトログラムを取得した。23Hz毎の周波数帯の振幅強度を表すスペクトログラムを取得した。取得したスペクトログラムは、振幅強度が0.01以上となった信号成分を着色して図8に示した。平常状態にある牛の音声が含まれている音信号のスペクトログラムは図8左、健康が優れない状態にあり、咳をした牛の音声が含まれていると判断された音信号のスペクトログラムを図8中央と図8右に示した。
平常状態にある牛の音声が含まれていると判断された音信号には、振幅強度が0.01以上となる連続した周波数帯が略均等な間隔で10個以上確認された。一方で、健康が優れない状態にあり、咳をした際に発せられた音声には、振幅強度が0.01以上となる連続した周波数帯が10個以上確認されなかった。したがって、本実施例の動物生理状態予測装置は、所定以上の強度となる連続した周波数帯域の数から、牛の健康状態を予測することができた。すなわち、振幅強度が0.01以上となる連続した周波数帯が10個以上確認されない場合に、咳をしており、健康が優れない状態にあると予測した。当該牛は、その予測後1週間後に死亡したことから、本実施例の予測が正確であることが示された。

Claims (18)

  1. 音信号の入力を受け付ける音信号受付手段と、
    前記音信号受付手段で受け付けられた音信号の所定の周波数帯における振幅強度を所定の閾値と比較し、該閾値よりも大きい振幅強度を検出した場合に音発生開始点と判定する音発生開始点検出手段と、
    前記音発生開始点経過後の前記音信号の所定の周波数帯における振幅強度を所定の閾値と比較し、該閾値よりも小さい振幅強度を検出した場合に音発生終了点と判定する音発生終了点検出手段と、
    前記音発生開始点から前記音発生終了点までの間の音信号に所定音声パターンが含まれるか否かを探索する音声パターン探索手段と、
    前記所定音声パターンが検出された場合に、前記音発生開始点以降の音信号に、動物の音声が含まれていると判定する動物音声判定手段と、を少なくとも備える、
    動物音声信号抽出装置
  2. 前記音信号受付手段は、発電部を備え、且つ動物に装着せしめられ、前記発電部が、該動物の動きにより発電する、
    請求項1に記載の動物音声信号抽出装置
  3. 前記音信号受付手段は、動物の耳又は鼻に装着せしめられる、請求項2に記載の動物音声信号抽出装置
  4. 前記所定音声パターンは、継続時間、振幅強度、及び周波数から選ばれる1又は複数から得られる、
    請求項1〜3いずれか一項に記載の動物音声信号抽出装置
  5. 前記音声パターン探索手段が、複数の周波数帯域における音信号に所定音声パターンが含まれるか否かを探索する、
    請求項1〜4いずれか一項に記載の動物音声信号抽出装置
  6. 前記所定音声パターンは、前記音発生点開始点から前記音発生終了点までの継続時間である、
    請求項1〜5いずれか一項に記載の動物音声信号抽出装置
  7. 前記音終了発生点検出手段は、前記閾値よりも小さい振幅強度が所定の時間以上継続した場合に、音発生終了点と判定する、
    請求項1〜6いずれか一項に記載の動物音声信号抽出装置
  8. 前記音発生開始点検出手段及び前記音終了発生点検出手段の所定の周波数帯は、100 Hz〜3000 Hzの範囲にある
    請求項1〜7いずれか一項に記載の動物音声信号抽出装置
  9. 前記動物が牛である、請求項1〜8いずれか一項に記載の動物音声信号抽出装置
  10. 少なくとも1の動物を飼育する施設内の音声を取得して音信号に変換する音声取得手段と、
    請求項1〜9に記載の動物音声信号抽出装置と、
    前記動物音声判定手段において判定された動物音声から、該動物の生理状態を予測する生理状態予測手段を備える、
    動物生理状態予測装置
  11. 前記生理状態予測手段が、動物音声の発生頻度、該発生頻度の移動平均値、及び、所定以上の強度となる連続した周波数帯域の数からなる1又は複数から前記動物の生理状態を予測する、
    請求項10に記載の動物生理状態予測装置
  12. 前記生理状態予測手段が、予測対象となる動物の一定時間毎の音声発生頻度を表したグラフ上で得られたピークの面積比から、前記動物の生理状態を予測する、
    請求項10に記載の動物生理状態予測装置
  13. 前記面積比に加えて、動物音声の発生頻度の移動平均値の組み合わせから前記動物の生理状態を予測する、
    請求項12に記載の動物生理状態予測装置
  14. 前記動物が牛であり、前記生理状態が発情、破水又は娩出である
    請求項10〜請求項13いずれか一項に記載の動物生理状態予測装置
  15. コンピュータで実行される動物音声信号抽出方法であって、
    前記コンピュータは、処理手段を少なくとも備え、
    前記処理手段が音信号の入力を受け付ける音信号受付工程と、
    前記音信号受付工程で受け付けられた音信号の所定の周波数帯における振幅強度を所定の閾値と比較し、該閾値よりも大きい振幅強度を検出した場合に音発生開始点と判定する音発生開始点検出工程と、
    前記音発生開始点経過後の前記音信号の所定の周波数帯における振幅強度を所定の閾値と比較し、該閾値よりも小さい振幅強度を検出した場合に音発生終了点と判定する音発生終了点検出工程と、
    前記音発生開始点から前記音発生終了点までの間の音信号に所定音声パターンが含まれるか否かを探索する音声パターン探索工程と、
    前記所定音声パターンが検出された場合に、前記音発生開始点以降の音信号に、動物の音声が含まれていると判定する動物音声判定工程と、を少なくとも含む、
    動物音声信号抽出方法
  16. 少なくとも1の動物を飼育する施設内の音声を取得して音信号に変換する音声取得手段と、
    請求項15に記載の動物音声信号抽出方法と、を含み、
    前記動物音声判定手段において判定された動物音声から、該動物の生理状態を判定する生理状態判定工程を含む、動物生理状態予測方法
  17. コンピュータを、音信号の入力を受け付ける音信号受付手段と、
    前記音信号受付手段で受け付けられた音信号の所定の周波数帯における振幅強度を所定の閾値と比較し、該閾値よりも大きい振幅強度を検出した場合に音発生開始点と判定する音発生開始点検出手段と、
    前記音発生開始点経過後の前記音信号の所定の周波数帯における振幅強度を所定の閾値と比較し、該閾値よりも小さい振幅強度を検出した場合に音発生終了点と判定する音発生終了点検出手段と、
    前記音発生開始点から前記音発生終了点までの間の音信号に所定音声パターンが含まれるか否かを探索する音声パターン探索手段と、
    前記所定音声パターンが検出された場合に、前記音発生開始点以降の音信号に、動物の音声が含まれていると判定する動物音声判定手段として少なくとも機能させる
    動物音声信号抽出プログラム
  18. 請求項17に記載の動物音声信号抽出プログラムを含み、
    さらに、コンピュータを
    少なくとも1の動物を飼育する施設内の音声を取得して音信号に変換する音声取得手段と、
    前記動物音声判定手段において判定された動物音声から、該動物の生理状態を判定する生理状態判定手段をとして機能させる動物生理状態予測プログラム
JP2017028545A 2016-02-18 2017-02-18 動物音声信号抽出装置、動物生理状態予測装置、動物音声信号抽出プログラム、及び動物生理状態予測プログラム Active JP6620276B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016028706 2016-02-18
JP2016028706 2016-02-18

Publications (2)

Publication Number Publication Date
JP2017143832A true JP2017143832A (ja) 2017-08-24
JP6620276B2 JP6620276B2 (ja) 2019-12-18

Family

ID=59680347

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017028545A Active JP6620276B2 (ja) 2016-02-18 2017-02-18 動物音声信号抽出装置、動物生理状態予測装置、動物音声信号抽出プログラム、及び動物生理状態予測プログラム

Country Status (1)

Country Link
JP (1) JP6620276B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108029599A (zh) * 2018-01-08 2018-05-15 江苏省农业科学院 一种蟹类疾病判别方法及诊断装置
CN112970620A (zh) * 2019-12-17 2021-06-18 中移(成都)信息通信科技有限公司 发情状态检测的方法、装置、系统、设备和介质
CN113331135A (zh) * 2021-06-29 2021-09-03 西藏新好科技有限公司 一种仔猪被压死淘率和存活率的统计方法
JP2021174372A (ja) * 2020-04-28 2021-11-01 アルセンス株式会社 センサデバイス及び家畜管理システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07272447A (ja) * 1994-03-25 1995-10-20 Toppan Printing Co Ltd 音声データ編集システム
US6535131B1 (en) * 1998-08-26 2003-03-18 Avshalom Bar-Shalom Device and method for automatic identification of sound patterns made by animals
JP2005058056A (ja) * 2003-08-08 2005-03-10 Mitsubishi Electric System & Service Co Ltd 乳牛の管理システム
JP2011154130A (ja) * 2010-01-26 2011-08-11 Kanazawa Univ 音声識別装置及びこれを用いた音声識別システム
JP2015089342A (ja) * 2013-11-05 2015-05-11 独立行政法人国立高等専門学校機構 牛の発情を検知するためのシステムおよび装置
JP2015100415A (ja) * 2013-11-21 2015-06-04 国立研究開発法人産業技術総合研究所 活動量測定装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07272447A (ja) * 1994-03-25 1995-10-20 Toppan Printing Co Ltd 音声データ編集システム
US6535131B1 (en) * 1998-08-26 2003-03-18 Avshalom Bar-Shalom Device and method for automatic identification of sound patterns made by animals
JP2005058056A (ja) * 2003-08-08 2005-03-10 Mitsubishi Electric System & Service Co Ltd 乳牛の管理システム
JP2011154130A (ja) * 2010-01-26 2011-08-11 Kanazawa Univ 音声識別装置及びこれを用いた音声識別システム
JP2015089342A (ja) * 2013-11-05 2015-05-11 独立行政法人国立高等専門学校機構 牛の発情を検知するためのシステムおよび装置
JP2015100415A (ja) * 2013-11-21 2015-06-04 国立研究開発法人産業技術総合研究所 活動量測定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高橋和裕、谷原礼諭、三好里美、渡邉朋子、土佐進: "牛の鳴き声による繁殖管理の可能性について", 香川県畜産試験場試験研究報告, vol. 第50号, JPN6019031341, March 2015 (2015-03-01), JP, pages 10 - 18, ISSN: 0004096967 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108029599A (zh) * 2018-01-08 2018-05-15 江苏省农业科学院 一种蟹类疾病判别方法及诊断装置
CN112970620A (zh) * 2019-12-17 2021-06-18 中移(成都)信息通信科技有限公司 发情状态检测的方法、装置、系统、设备和介质
JP2021174372A (ja) * 2020-04-28 2021-11-01 アルセンス株式会社 センサデバイス及び家畜管理システム
JP7449510B2 (ja) 2020-04-28 2024-03-14 アルセンス株式会社 センサデバイス
CN113331135A (zh) * 2021-06-29 2021-09-03 西藏新好科技有限公司 一种仔猪被压死淘率和存活率的统计方法

Also Published As

Publication number Publication date
JP6620276B2 (ja) 2019-12-18

Similar Documents

Publication Publication Date Title
JP6620276B2 (ja) 動物音声信号抽出装置、動物生理状態予測装置、動物音声信号抽出プログラム、及び動物生理状態予測プログラム
Navon et al. Automatic recognition of jaw movements in free-ranging cattle, goats and sheep, using acoustic monitoring
JP5704598B2 (ja) 動物−機械間音声相互作用システム
Chelotti et al. A real-time algorithm for acoustic monitoring of ingestive behavior of grazing cattle
Milone et al. Automatic recognition of ingestive sounds of cattle based on hidden Markov models
Tani et al. Automatic recognition and classification of cattle chewing activity by an acoustic monitoring method with a single-axis acceleration sensor
Moura et al. Real time computer stress monitoring of piglets using vocalization analysis
CN106847262A (zh) 一种猪呼吸道疾病自动识别报警方法
US11406301B2 (en) System and method for detecting emotional state of pet
US20070000216A1 (en) Method and apparatus for evaluating animals' health and performance
Vanrell et al. A regularity-based algorithm for identifying grazing and rumination bouts from acoustic signals in grazing cattle
CN107368567B (zh) 动物语言识别方法及用户终端
CN108207700B (zh) 奶牛信息监测方法及系统
Haladjian et al. Gait anomaly detection in dairy cattle
US11937573B2 (en) Music providing system for non-human animal
Milone et al. Computational method for segmentation and classification of ingestive sounds in sheep
US10629225B2 (en) Information processing method, information processing device, and recording medium recording information processing program
CN110598643B (zh) 监控仔猪被压的方法及装置
CN110651728B (zh) 一种仔猪被压检测方法、装置及系统
CN111461337A (zh) 数据处理方法、装置、终端设备及存储介质
JPWO2019216320A5 (ja)
KR20140023458A (ko) 언어 유창성 기반 치매 진단 방법 및 이를 위한 장치
Busch et al. Determination of standing-time of dairy cows using 3D-accelerometer data from collars
CN111739558B (zh) 监控系统、方法、装置、服务器及存储介质
Rau et al. Developments on real-time monitoring of grazing cattle feeding behavior using sound

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180330

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181210

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190906

R150 Certificate of patent or registration of utility model

Ref document number: 6620276

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250