JP2021065159A - 水産物識別方法、水産物識別プログラム、及び水産物識別システム - Google Patents

Abstract

【課題】水産物の誤認識を低減する水産物識別方法、水産物識別プログラム、及び水産物識別システムの提供。【解決手段】水産物Ｆの移動経路中における所定の撮像範囲２を動画撮影するステップと、前記動画撮影により取得した動画データを解析して、撮像範囲２に侵入した個体画像について特定の視覚的特徴を有するか否かを判断するステップと、前記ステップにて特定の視覚的特徴を有すると判断した場合に前記個体画像に識別ラベルを付するステップと、前記識別ラベル付きの前記個体画像を追尾してこの個体画像が撮像範囲２を抜け出たことを判断するステップと、撮像範囲２から抜け出た前記個体画像について前記視覚的特徴を確定するステップとを含む。【選択図】図１

Description

本発明は、水産物の移動経路を移動する水産物を識別する水産物識別方法、水産物識別プログラム、及び水産物識別システムに関するものである。

従来、この種の発明には、例えば特許文献１に記載されるように、魚道を遡上する魚が堰を飛び越える領域で側面から撮像する位置に設置されたカメラと、カメラに撮像された画像から魚の通過する検知対象領域を抽出する手段と、抽出された検知対象領域の画像を前処理した後所定の閾値で２値化するとともに抽出した領域の大きさが予め定義されている範囲の大きさを持つ検出物体を魚影として検出する手段と、検出された魚影を計数し計数値を出力する手段と、を備えた魚類の数量計測装置がある。
この従来技術では、アユがジャンプして銀白色に光る特徴や、ジャンプしたアユの着水時のしぶきの特徴等から、アユ候補を検出し、特定の大きさを持つ検出物体をアユとして識別し、カウントする。

特許第３７８３８３５号公報

しかしながら、上記従来技術では、魚がジャンプした瞬時の画像特徴に基づき魚を認識しカウントしようとするため、魚の姿勢や、大きさのばらつき、群の発生、重なり合い等に起因して、誤認識や、誤カウントを生じるおそれがある。
特に、上記従来技術を、例えば、樋に流して搬送される養殖魚のカウントや、生け簀を移動する養殖魚のカウントに適用しようとする場合には、前記のような画像特徴を得難いので、さらに誤認識や、誤カウントが増加するおそれがある。

本発明は、上記課題の少なくとも一部を解決するために、以下の構成を具備するものである。
水産物の移動経路中における所定の撮像範囲を動画撮影するステップと、前記動画撮影により取得した動画データを解析して、前記撮像範囲に侵入した個体画像について特定の視覚的特徴を有するか否かを判断するステップと、前記ステップにて特定の視覚的特徴を有すると判断した場合に前記個体画像に識別ラベルを付するステップと、前記識別ラベル付きの前記個体画像を追尾してこの個体画像が前記撮像範囲を抜け出たことを判断するステップと、前記撮像範囲から抜け出た前記個体画像について前記視覚的特徴を確定するステップとを含む水産物識別方法。

本発明は、以上説明したように構成されているので、水産物の誤認識を低減することができる。

本発明に係る水産物識別システムの一例を模式的に示す側面図である。 同水産物識別システムの要部を模式的に示す平面図である。 本発明に係る水産物識別方法の一例を示すフローチャートである。 本発明に係る水産物識別システムの他例を模式的に示す要部断面図である。 本発明に係る水産物識別システムの他例を模式的に示す側面図である。

本実施の形態では、以下の特徴を開示している。
第１の特徴は、水産物識別方法であって、水産物の移動経路中における所定の撮像範囲を動画撮影するステップと、前記動画撮影により取得した動画データを解析して、前記撮像範囲に侵入した個体画像について特定の視覚的特徴を有するか否かを判断するステップと、前記ステップにて特定の視覚的特徴を有すると判断した場合に前記個体画像に識別ラベルを付するステップと、前記識別ラベル付きの前記個体画像を追尾してこの個体画像が前記撮像範囲を抜け出たことを判断するステップと、前記撮像範囲から抜け出た前記個体画像について前記視覚的特徴を確定するステップとを含む（図１〜図５参照）。
ここで、前記「水産物」には、魚や貝等の魚貝類や、エビ、カニ、タコ、イカ等を含み、さらには、ワカメや昆布等の海藻類を含む。
また、前記「視覚的特徴」には、形状や、大きさ、傷、外観上で把握できる病気等を含む。

第２の特徴は、前記識別ラベルを付する前記ステップの前に、前記特定の視覚的特徴を有すると判断した前記個体画像について、その輪郭に接する仮想外接四角形を設定し、この仮想外接四角形の中心点を求めるステップを有し、前記撮像範囲を抜け出たことを判断する前記ステップでは、前記中心点が前記撮像範囲を抜け出た場合に、前記識別ラベル付きの前記個体画像が前記撮像範囲から抜け出たものとみなす（図２〜図３参照）。

第３の特徴は、前記個体画像が前記撮像範囲を抜け出たことを判断する前記ステップの後に前記個体画像を計数する（図３参照）。

第４の特徴として、前記撮像範囲に侵入した個体画像について特定の視覚的特徴を有するか否かを判断する前記ステップでは、ディープラーニングにより生成された推定モデルを用いる。

第５の特徴は、前記視覚的特徴として、前記水産物の種類を認識するようにした。

第６の特徴は、前記視覚的特徴として、前記水産物の傷又は病気を認識するようにした。

第７の特徴は、前記視覚的特徴として、前記水産物の大きさを認識するようにした。

第８の特徴は、上記水産物識別方法をコンピュータに実行させるための水産物識別プログラムを構成した。

第９の特徴は、上記水産物識別方法を実行するようにした水産物識別システムであって、前記撮像範囲を動画撮影するビデオカメラと、前記各ステップを行うコンピュータとを具備した（図１、図４及び図５参照）。

第１０の特徴は、前記撮像範囲を覆って外部の光線を遮る遮光ケースを設け、前記遮光ケース内に、前記ビデオカメラと、前記撮像範囲を照射するライトとを具備した（図４参照）。

第１１の特徴として、前記移動経路は、斜め下方へ水産物を流すようにした樋状部材を、その流れ方向に対する交差方向に複数並設してなり、前記撮像範囲は、複数の前記樋状部材を跨って設定される（図１及び図２参照）。

第１２の特徴は、前記移動経路が、生け簀内の水中に設定されている（図５参照）。

＜第一の実施態様＞
次に、上記特徴を有する具体的な実施態様について、図面に基づいて詳細に説明する。
図１〜図３は、本発明に係る水産物識別方法、水産物識別プログラム、及び水産物識別システムの一例を説明する図である。

水産物識別システムＡは、斜め下方へ水産物Ｆである個体を流すようにした複数の樋状部材１と、これら複数の樋状部材１を跨る所定の撮像範囲２を所定フレームレートで略連続的に動画撮影するビデオカメラ３と、このビデオカメラ３により取得した動画データに基づき撮像範囲２を通り抜けた水産物Ｆを数えるコンピュータ４とを備えている。

この水産物識別システムＡは、図１に示す一例によれば、水産物Ｆに水産用ワクチンを注射してこの水産物Ｆを水中に戻す設備において、水産物Ｆの移動経路中に用いられる。
水産物Ｆは、図示例によれば、魚である。
図中、符号１１は、水中にて水産物Ｆを覆う生け簀である。符号１２は、生け簀１１内の水上に浮かぶ船である。

樋状部材１は、水産物Ｆの移動経路を構成しており、水産物Ｆの移動方向である流れ方向に対する直交方向に複数並設される（図２参照）。
各樋状部材１は、上方を開口した凹状断面を流れ方向へ長尺状に連続している。各樋状部材１の下流側端部は、生け簀１１内の水面上に位置し、上流側端部は船１２上に位置し固定される。
各樋状部材１の幅寸法は、水産物Ｆが詰まって停滞することなく流れるように、水産物Ｆの体長よりも広く設定される。

上記複数の樋状部材１によれば、複数の水産物Ｆが接触又は近接して一体状に流れるのを防ぎ、各水産物Ｆの認識精度を向上することができる。
すなわち、仮に樋状部材を比較的幅の広い単数の部材とした場合には、この幅広の樋状部材の一方の側壁側に複数の魚が寄って、これら複数の魚が単数の魚として認識されてしまう可能性があるが、上記のようにして複数の樋状部材１を用いれば、このような誤認識を低減することができる。

撮像範囲２は、後述するビデオカメラ３によって動画撮影される範囲である。
この撮像範囲２は、後述する水産物識別システムＡによる処理がスムーズに行われるように適宜な長さを有するとともに、複数の樋状部材１を跨るようにその幅方向の全長を含む寸法に形成される。

ビデオカメラ３は、所定のフレームレート（例えば、３０ｆｐｓ）での動画撮影が可能なデジタルビデオカメラである。
このビデオカメラ３は、光軸を撮像範囲２の略中心部へ向けるようにして、船１２や樋状部材１等の不動部位に固定される。図１に示す一例によれば、ビデオカメラ３は、撮像範囲２の後斜め上方に位置する。
このビデオカメラ３によって撮像される動画データは、有線又は無線により船１２上のコンピュータ４へ送信される。

コンピュータ４は、予め記憶したプログラムによりＣＰＵを機能させて、ビデオカメラ３等の機器を制御し、ビデオカメラ３から得られる動画データを画像処理し、その処理結果を出力する。このコンピュータ４には、インターネット接続された汎用のパーソナルコンピュータや、タブレットパソコン、携帯端末等を用いることが可能である。その他、必要に応じて、ディスプレイ装置、入出力装置、他の電子機器等が具備される。

次に、コンピュータ４による処理の一例について、図３に示すフローチャートに沿って説明する。
先ず、コンピュータ４は、ビデオカメラ３を制御して、水産物Ｆの移動経路中の所定の撮像範囲２の動画撮影を開始する（ステップＳ１）。

次に、コンピュータ４は、前記動画撮影により取得した動画データを解析して、撮像範囲２に侵入した個体画像について、特定の視覚的特徴を有するか否かを判断し（ステップＳ２）、特定の視覚的特徴を有するのであれば次のステップＳ３へ処理を進め、そうでなければステップＳ１３へ処理を移行する。

前記ステップＳ２について詳述すれば、コンピュータ４は、ビデオカメラ３による動画データのフレームを順次に入力する毎に、人工知能におけるディープラーニング（深層学習）により生成された推定モデルを用いたアルゴリズムを実行し、そのフレーム画像中に存在する個体画像について、予め決められた特定の視覚的特徴を有するか否かを判断する。
前記「予め決められた特定の視覚的特徴」は、図示例によれば、魚としての視覚的特徴である。

より詳細に説明すれば、コンピュータ４は、予め、多数の魚のサンプル画像をディープラーニングにより学習処理して、入力画像が魚である可能性を数値化する推定モデルを生成する。
コンピュータは、前記動画データのフレームから得た前記個体画像を、前記推定モデルに入力し、前記個体画像が魚画像である可能性を数値化（以降、「魚らしさ」と称する。）する。そして、この「魚らしさ」が所定の閾値以上であれば、前記個体画像を魚画像であるとみなす。

なお、前記ディープラーニングによる学習処理は、単一の魚をサンプルデータとした場合や、接触又は近接した複数の魚をサンプルデータとした場合等について行われる。
前記ステップＳ２の処理において、複数の個体が接触又は近接している場合には、これら複数の個体画像を単一の魚の画像であると判断せずに、複数の個体画像を構成する各個体画像について、単一の魚の画像であるか否かを判断するようにしている。

次のステップＳ３では、前記特定の視覚的特徴を有すると判断した前記個体画像（水産物Ｆ）について、その輪郭に接する仮想外接四角形Ｆｓを設定し、この仮想外接四角形の中心点Ｆｐを求める。

次のステップＳ４では、中心点Ｆｐが設定された水産物Ｆに、固有の識別ラベルを付す。
なお、例えば、複数の水産物Ｆが接触又は近接している場合には、これら複数の水産物Ｆの個体画像それぞれについて、中心点Ｆｐ及び識別ラベルを設定する。

そして、次のステップＳ５では、コンピュータ４が、識別ラベルの付され前記個体画像（水産物Ｆ）の中心点Ｆｐを、所定のフレームレートで略連続的に追尾（追跡）する。言い換えれば、各中心点Ｆｐの座標が略連続的に監視される。

また、ステップＳ１３では、識別ラベルの付された個体画像（水産物Ｆ）の中心点Ｆｐが、撮像範囲２を抜け出たか否かの判断をし（ステップＳ１３）、中心点Ｆｐが撮像範囲２を抜け出た場合には、その中心点Ｆｐを有する個体画像（水産物Ｆ）が撮像範囲２から抜け出たものとみなし、次のステップ１４へ処理を移行し、そうでなければ、ステップＳ２へ処理を戻す。
ここで、中心点Ｆｐが撮像範囲２を抜け出たとは、中心点Ｆｐが、撮像範囲２の最も下流側のラインＬを下流側へ越えたことを意味する。

次のステップＳ１４では、撮像範囲２から抜け出た個体画像について、上記ステップＳ２で判断した視覚的特徴（図示例によれば、魚であるという特徴）を確定する。
詳細に説明すれば、コンピュータ４は、撮像範囲２から抜け出た個体画像に対し、上記ステップＳ２で判断した視覚的特徴（図示例によれば、魚であるという特徴）を紐づけして記憶する。このようにして視覚的特徴が紐づけされた個体画像は、上記ディープラーニングのためのサンプル画像として用いることができる。

次のステップＳ１５では、前記ステップ１４にて視覚的特徴が確定された個体画像を計数する。
詳細に説明すれば、コンピュータ４は、予め個体画像の数を示す変数を記憶しており、前記ステップＳ１４にて視覚的特徴が確定する毎に、前記変数に１を加算する。前記変数の初期値はゼロとすればよい。

なお、例えば、複数の水産物Ｆが接触又は近接している場合には、これら複数の水産物Ｆに対応する個体画像の中心点Ｆｐが全て監視され、これら複数の中心点Ｆｐのうちの何れかが撮像範囲２を抜け出る毎に、上記ステップＳ１４及びＳ１５の処理が行われる。

よって、上記構成の水産物識別システムＡによれば、上述したように、特定の視覚的特徴を有すると判断した個体画像が、撮像範囲２を通り抜けた後に、その視覚的特徴を確定し、その視覚的特徴を有する個体画像を計数するようにしているため、誤認識や、誤カウント等を低減することができる。
例えば、水産物Ｆの姿勢が変化した場合や、複数の水産物Ｆが重なっている場合等であっても、その水産物Ｆの識別及びカウントを高精度に行うことができる。

なお、図示例によれば、撮像範囲２に侵入した個体画像が魚としての視覚的特徴を有するか否かを判断するようにしたが、他例としては、前記個体画像が魚以外の水産物（例えば、貝や、エビ、カニ、タコ、イカ、ワカメ、昆布等）の視覚的特徴を有するか否かを判断する態様とすることも可能である。

さらに他例としては、撮像範囲２に侵入した個体画像について、水産物の種類（マグロやブリ、クルマエビ、イセエビ、サザエ、ハマグリ等）を認識する態様とすることも可能である。

さらに、他例としては、撮像範囲２に侵入した個体画像について、特定の範囲内の大きさを有するか否かを判断する態様や、視覚的特徴より傷又は病気があるか否かを判断する態様等とすることも可能である。

また、上記実施態様によれば、撮像範囲２を抜け出た個体画像を分類することなく全てカウントするようにしたが、他例としては、撮像範囲２を抜け出た個体画像を視覚的特徴に応じて複数のグループに分類し、そのグループ毎に個体画像をカウントする態様とすることも可能である。

＜第二の実施態様＞
次に、本発明に係る他の実施態様について説明する。なお、以下に示す実施態様は、上記実施態様に対し一部の構成を追加するものであるため、主にその追加部分について詳述し、重複する詳細説明は省略する。

図４に示す水産物識別システムＢは、上記水産物識別システムＡに対し、撮像範囲２を覆って外部の光線を遮る遮光ケース５を設け、この遮光ケース５内に、複数のビデオカメラ３，３’と、撮像範囲２を照射するライト６とを具備したものである。

遮光ケース５は、図４に示すように、幅方向両側の側壁と、これら側壁の上端間を跨る天壁とによって、下方を開口した断面凹状に形成され、複数の樋状部材１の全てを、その上方側から覆っている。
この遮光ケース５は、樋状部材１の長手方向において、撮像範囲２に対応する位置のみに部分的に設けた態様や、撮像範囲２を含む長尺状に設けた態様、樋状部材１の全長にわたって設けた態様等とすることが可能である。
この遮光ケース５は、金属や硬質合成樹脂等から形成され、樋状部材１や船１２等の不動部位に固定される。

複数のビデオカメラ３，３’のうち、一方のビデオカメラ３は、上記水産物識別システムＡのものと同様に光軸を撮像範囲２の略中央部に向けて水産物Ｆの魚移動経路の上方に配設され、遮光ケース５の内面に固定される。他方のビデオカメラ３’は、光軸を撮像範囲２の略中央部に向けて撮像範囲２の側方に傾斜状に配設され、遮光ケース５の内面に固定される。

また、ライト６は、例えばＬＥＤ等により構成され、撮像範囲２を照射するようにして、遮光ケース５の内面に固定される。

上記構成の水産物識別システムＢによれば、太陽光等の外部光線の悪影響を阻むことができる。しかも、複数方向のビデオカメラ３，３’によって、水産物Ｆの重なり合いの発生等を把握して、より高精度な判別及び計数が可能になる。

なお、図示例によれば、ライト６を単数としたが、他例として、このライト６を複数具備し、これら複数のライト６によって水産物Ｆを複数方向から照射してもよく、この構成によれば、水産物Ｆを判別及び計数する精度をより向上することができる。

＜第三の実施態様＞
図５に示す水産物識別システムＣは、上記水産物識別システムＡから樋状部材１を全て省き、水産物Ｆの移動経路を生け簀１１内の水中に設定し、この移動経路中の一部に、所定の撮像範囲２’を設定したものである。

この水産物識別システムＣにおいて、ビデオカメラ３は、水面上方（図示例によれば、魚進行方向に対する後斜め上方）から撮像範囲２’の水産物Ｆを撮影するよう位置し、船１２等の不動部位に支持部材等（図示せず）を介して固定される。

上記構成の水産物識別システムＣによれば、水中を泳ぐ水産物Ｆを数えることができ、例えば、養殖魚を他の生け簀に泳がせて移動する場合等に、その養殖魚の水産物Ｆの移動経路中に撮像範囲２’を設定して、その養殖魚を高精度に計数することができる。
なお、必要に応じて、撮像範囲２’の水産物Ｆを側方から撮影する水中ビデオカメラを備えれば、上下方向に重なり合う複数の養殖魚の位置関係を把握して、水産物Ｆの判別及び計数の精度をより向上することができる。

なお、上記実施態様によれば、ワクチン注射のための魚の移動経路中や、生け簀内の魚の移動経路中に、撮像範囲２（又は２’）を設定したが、他例としては、魚を出荷や加工等するための搬送経路中や、魚の回遊経路中、河川における魚の遡上経路中等に、撮像範囲を設定し、この撮像範囲を撮影するようにビデオカメラ３を設けた態様とすることも可能である。

さらに、本発明に係る水産物識別システムの他例としては、船上や陸上における水産物の搬送経路中や、市場における水産物の搬送経路中に構成した態様、水中カメラ等を用いて海中や河川中等の水中に構成した態様等とすることが可能である。

また、本発明は上述した実施態様に限定されず、本発明の要旨を変更しない範囲で適宜変更可能である。

１：樋状部材
２，２’：撮像範囲
３，３’：ビデオカメラ
４：コンピュータ
５：遮光ケース
６：ライト
１１：生け簀
Ａ，Ｂ，Ｃ：水産物識別システム
Ｆ：水産物（個体）

Claims (12)

1. 水産物の移動経路中における所定の撮像範囲を動画撮影するステップと、
   前記動画撮影により取得した動画データを解析して、前記撮像範囲に侵入した個体画像について特定の視覚的特徴を有するか否かを判断するステップと、
   前記ステップにて特定の視覚的特徴を有すると判断した場合に前記個体画像に識別ラベルを付するステップと、
   前記識別ラベル付きの前記個体画像を追尾してこの個体画像が前記撮像範囲を抜け出たことを判断するステップと、
   前記撮像範囲から抜け出た前記個体画像について前記視覚的特徴を確定するステップとを含む水産物識別方法。
2. 前記識別ラベルを付する前記ステップの前に、前記特定の視覚的特徴を有すると判断した前記個体画像について、その輪郭に接する仮想外接四角形を設定し、この仮想外接四角形の中心点を求めるステップを有し、
   前記撮像範囲を抜け出たことを判断する前記ステップでは、前記中心点が前記撮像範囲を抜け出た場合に、前記識別ラベル付きの前記個体画像が前記撮像範囲から抜け出たものとみなすことを特徴とする請求項１記載の水産物識別方法。
3. 前記個体画像が前記撮像範囲を抜け出たことを判断する前記ステップの後に前記個体画像を計数することを特徴とする請求項１又は２記載の水産物識別方法。
4. 前記撮像範囲に侵入した個体画像について特定の視覚的特徴を有するか否かを判断する前記ステップでは、ディープラーニングにより生成された推定モデルを用いることを特徴とする請求項１〜３何れか１項記載の水産物識別方法。
5. 前記視覚的特徴として、前記水産物の種類を認識するようにしたことを特徴とする請求項１〜４何れか１項記載の水産物識別方法。
6. 前記視覚的特徴として、前記水産物の傷又は病気を認識するようにしたことを特徴とする請求項１〜５何れか１項記載の水産物識別方法。
7. 前記視覚的特徴として、前記水産物の大きさを認識するようにしたことを特徴とする請求項１〜６何れか１項記載の水産物識別方法。
8. 請求項１〜７何れか１項記載の水産物識別方法をコンピュータに実行させるための水産物識別プログラム。
9. 請求項１〜７何れか１項記載の水産物識別方法を実行するようにした水産物識別システムであって、前記撮像範囲を動画撮影するビデオカメラと、前記各ステップを行うコンピュータとを具備したことを特徴とする水産物識別システム。
10. 前記撮像範囲を覆って外部の光線を遮る遮光ケースを設け、前記遮光ケース内に、前記ビデオカメラと、前記撮像範囲を照射するライトとを具備したことを特徴とする請求項９記載の水産物識別システム。
11. 前記移動経路は、斜め下方へ水産物を流すようにした樋状部材を、その流れ方向に対する交差方向に複数並設してなり、前記撮像範囲は、複数の前記樋状部材を跨って設定されることを特徴とする請求項９又は１０記載の水産物識別システム。
12. 前記移動経路が、生け簀内の水中に設定されていることを特徴とする請求項９〜１１何れか１項記載の水産物識別システム。

Images