JP2021152782A - 個体検出システム、撮影ユニット、個体検出方法、およびコンピュータプログラム - Google Patents

個体検出システム、撮影ユニット、個体検出方法、およびコンピュータプログラム Download PDF

Info

Publication number
JP2021152782A
JP2021152782A JP2020053104A JP2020053104A JP2021152782A JP 2021152782 A JP2021152782 A JP 2021152782A JP 2020053104 A JP2020053104 A JP 2020053104A JP 2020053104 A JP2020053104 A JP 2020053104A JP 2021152782 A JP2021152782 A JP 2021152782A
Authority
JP
Japan
Prior art keywords
image
cameras
fry
individual detection
individual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020053104A
Other languages
English (en)
Other versions
JP7480984B2 (ja
Inventor
真也 小林
Shinya Kobayashi
真也 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ehime University NUC
Original Assignee
Ehime University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ehime University NUC filed Critical Ehime University NUC
Priority to JP2020053104A priority Critical patent/JP7480984B2/ja
Publication of JP2021152782A publication Critical patent/JP2021152782A/ja
Application granted granted Critical
Publication of JP7480984B2 publication Critical patent/JP7480984B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Farming Of Fish And Shellfish (AREA)
  • Image Analysis (AREA)

Abstract

【課題】飼育領域から取り出すことなく個体の数を従来よりも正確に把握することができる個体検出システムを提供する。【解決手段】計数システムは3台以上のデジタルカメラ12と、稚魚検出部104及び三次元位置算出部105を有するメインコンピュータ10とを備える。稚魚検出部は、これらのデジタルカメラ12のそれぞれが特定の区域を撮影することによって得られた第u(1≦u≦N)の画像に写っている第uの被写体それぞれの、第uの画像における第uの画像内位置を検出する。三次元位置算出部は、第uの画像内位置と、第uのカメラの、三次元空間における第uの配置位置と、に基づいて、第uの配置位置と、第uの被写体の三次元空間における位置であると推定される第uの推定位置と、を通過する第uの直線を算出し、算出した第1ないし第Nの直線夫々の任意の1本ずつからなる1つ又は複数の組合せに基づいて、特定の区域に存在する個体を検出する。【選択図】図3

Description

本発明は、生簀または水槽などで飼育されている稚魚などの個体を検出する技術に関する。
近年、世界的な魚食ブームの影響で、世界の水産物の消費量が年々増加している。消費量の増加に伴って、水産資源の減少および枯渇が危惧されている。そこで、漁船漁業と比べて天然資源への影響が小さく安定して魚を供給することのできる養殖漁業への期待が高まっている。
養殖漁業を効率的に行うためには、給餌の量を適切に決定する必要がある。給餌の量が少なすぎると、魚が十分に成長しないことがある。魚種によっては、共食いが発生することもある。一方、給餌の量が多すぎると、食べ残しの餌によって水質が悪化しやすくなる。また、餌代の増加にも繋がる。養殖漁業で掛かる支出のうち6〜7割が餌代であり、給餌の量を適切にすることで養殖漁業で掛かる支出を抑えることができる.
給餌の量をより適切にするには、生簀または水槽などの飼育領域で飼っている魚の固体数を正確に把握する必要がある。従来は、漁業者自身が飼育領域を目視し、経験および勘で判断している。よって、手間が掛かるし、誤差が生まれやすい。
または、次のような、魚の固体を計数する技術が提案されている。非特許文献1に記載される技術によると、稚魚の水槽への投入時または沖だし時に、パイプを流れる魚を計数する。
NECソリューションイノベータ株式会社,「NECソリューションイノベータ、水産養殖業向け「NECフィッシュカウンター」のサービス提供を開始」,https://www.nec-solutioninnovators.co.jp/press/20150317/index.html,2020年3月10日検索
ところで、特に、稚魚は、成魚に比べて育成が安定せず、かつ、共食いが発生しやすいので、個体数が変動しやすい。さらに、成魚よりも成長が早く、1匹当たりの餌の量の変化が大きい。そのため,生簀または水槽などの飼育領域で稚魚が飼育されている場合は、個体数をより正確にかつ頻繁に把握することが重要である。
しかし、非特許文献1に記載される技術によると、飼育領域への稚魚の投入時または沖だし時にしか計数することができないので、給餌の量を適切に決定するための情報を十分に得ることができない。
本発明は、このような問題点に鑑み、飼育領域から取り出すことなく稚魚などの個体の数を従来よりも正確に把握できるようにすることを目的とする。
本発明の一形態に係る個体検出システムは、特定の区域を同時に撮影するためのN台のカメラと、前記N台のカメラのうちの第uのカメラそれぞれが前記区域を撮影することによって得られた第uの画像に写っている第uの被写体それぞれの、前記第uの画像における位置である第uの画像内位置を検出する画像内位置検出手段と、前記第uの画像内位置と、前記第uのカメラの、前記N台のカメラの存在する三次元空間における位置である第uの配置位置と、に基づいて、前記第uの配置位置と、前記第uの被写体の、前記三次元空間における位置であると推定される第uの推定位置と、を通過する第uの直線を算出し、算出した第1ないし第Nの直線それぞれの任意の1本ずつからなる1つまたは複数の組合せに基づいて、前記区域に存在する個体を検出する、個体検出手段と、を有する。
好ましくは、前記個体検出手段は、前記1つまたは複数の組合せのうちの、構成要素である前記第1ないし第Nの直線の任意の2本のペアのうち最短距離が所定の長さ未満であるものの数が所定の数以上である組合せについて、前記個体を検出する。
前記個体は、例えば、同じ時期に孵化した同じ種類の魚であり、前記所定の長さは、前記魚の行動の特性に基づいて定められる。
本発明によると、飼育領域の特定の区域にいる稚魚などの個体の数を、飼育領域から取り出すことなく従来よりも正確に把握することができる。したがって、飼育領域にいる個体の数を、飼育領域の体積および特定の区域の体積に基づいて従来よりも正確にすることができる。
計数システムの全体的な構成の例を示す図である。 メインコンピュータのハードウェア構成の例を示す図である。 メインコンピュータの機能的構成の例を示す図である。 水中を撮影した入力画像およびその二値画像の例を示す図である。 学習データの例を示す図である。 機械学習の例を示す図である。 水槽およびデジタルカメラの配置の例を示す斜視図である。 デジタルカメラの位置関係の例を示す平面図である。 入力画像の例を示す図である。 平面A’の例を示す図である。 平面B’の例を示す図である。 2つの直線の最短距離に対応する線分の例を示す図である。 デジタルカメラから見て2匹の稚魚が重なった場合の例を示す図である。 2台のデジタルカメラを用いて稚魚の三次元位置を検出する場合の例を説明するための図である。 稚魚の配置のバリエーションの例を示す図である。 3台のデジタルカメラを用いて稚魚の三次元位置を検出する場合のメリットを説明するための図である。 キャリブレーションの例を説明するための図である。 3台のデジタルカメラと稚魚計数領域との位置関係の例を示す図である。 メインコンピュータの全体的な処理の流れの例を説明するフローチャートである。 撮影ユニットの例を示す図である。 撮影ユニットの例を示す図である。
<1> 概要
図1は、計数システム1の全体的な構成の例を示す図である。図2は、メインコンピュータ10のハードウェア構成の例を示す図である。図3は、メインコンピュータ10の機能的構成の例を示す図である。
計数システム1は、生簀または水槽などの飼育領域で飼育されている稚魚を計数するシステムであって、図1に示すように、メインコンピュータ10、3台以上のデジタルカメラ12、および通信回線14などによって構成される。
メインコンピュータ10および各デジタルカメラ12は、通信回線14を介して通信することができる。通信回線14として、イーサネット規格またはUSB(Universal Serial Bus)規格などの有線回線が用いられる。または、Wi−Fi規格またはBluetooth規格などの無線回線が用いられる。イーサネットおよびBluetoothは、登録商標である。
デジタルカメラ12は、通信機能を有する水中用のデジタルカメラ(水中カメラ)であって、飼育領域の様子を撮影し画像データを生成するために用いられる。生成された画像データは、通信回線14を介してメインコンピュータ10へ送信される。デジタルカメラ12の視野角は、縦横ともにθであり、デジタルカメラ12の解像度は、p×pである。以下、各デジタルカメラ12を「デジタルカメラ12A」、「デジタルカメラ12B」、「デジタルカメラ12C」、…、と区別して記載することがある。
メインコンピュータ10は、デジタルカメラ12から送信されてきた画像データに基づいて稚魚を計数する。メインコンピュータ10として、デスクトップコンピュータまたはラップトップ型コンピュータが用いられる。以下、メインコンピュータ10としてラップトップ型コンピュータが用いられる場合を例に説明する。
メインコンピュータ10は、図2に示すように、メインプロセッサ10a、RAM10b、ROM10c、補助記憶装置10d、ディスプレイ10e、入出力インタフェース10f、キーボード10g、およびポインティングデバイス10hなどによって構成される。
ROM10cまたは補助記憶装置10dには、オペレーティングシステムのほか種々のプログラムがインストールされている。特に、本実施形態では、プログラムの1つとして稚魚計数プログラム10Pがインストールされている。補助記憶装置10dとして、ハードディスクまたはSSD(Solid State Drive)などが用いられる。
稚魚計数プログラム10Pは、図3に示す学習データ記憶部101、機械学習部102、学習済モデル記憶部103、稚魚検出部104、三次元位置算出部105、三次元位置記憶部106、画像補正部107、および個体数推定部108などの機能を実現するためのプログラムである。各機能については、後に順次、説明する。
RAM10bは、メインコンピュータ10のメインメモリである。RAM10bには、オペレーティングシステムのほか稚魚計数プログラム10Pなどのプログラムがロードされる。
メインプロセッサ10aは、RAM10bにロードされたプログラムを実行する。メインプロセッサ10aとして、GPU(Graphics Processing Unit)またはCPU(Central Processing Unit)などが用いられる。
ディスプレイ10eは、液晶ディスプレイまたは有機EL(Electro Luminescence)ディスプレイなどのフラット型ディスプレイであって、メインプロセッサ10aによる演算結果などを表示する。
入出力インタフェース10fは、デジタルカメラ12との間でデータをやり取りするための通信装置である。入出力インタフェース10fとして、デジタルカメラ12との通信の規格に応じた通信装置が用いられる。例えば、デジタルカメラ12との通信の規格がイーサネット規格であれば、入出力インタフェース10fとしてNIC(Network Interface Card)が用いられる。
キーボード10gおよびポインティングデバイス10hは、作業者がメインコンピュータ10に対してコマンドまたはデータを入力するために用いられる。
計数システム1によると、飼育領域から取り出すことなく稚魚の個体数を従来よりも正確に求めることができる。以下、この仕組みについて説明する。
<2> 準備
〔学習済モデルの生成〕
図4は、水中を撮影した入力画像およびその二値画像の例を示す図である。図5は、学習データ40の例を示す図である。図6は、機械学習の例を示す図である。
従来、デジタルカメラで水槽内の様子を撮影した画像(入力画像)から稚魚を計数する技術として、稚魚数計数システムが提案されている(横田蓮, 藤橋卓也, 遠藤慶一, 黒田久泰, 小林真也, “養殖漁業の生産量安定化を目的とした稚魚数計数システムに関する研究”, 情報処理学会第81 回全国大会講演論文集(4), pp.711-712, (2019).)。
稚魚数計数システムは、デジタルカメラとして1台の水中カメラを水槽内に設置し、背景差分およびラベリングを使用して稚魚を認識し計数する。背景差分の処理において、背景モデル推定アルゴリズムとして採用されている混合ガウス分布(島田敬士,有田大作,谷口倫一郎,“混合ガウス分布による動的背景モデルの分布数増減法”,http://hdl.handle.net/2324/5948)を用いて一定時間ごとに背景モデルを更新する。
しかし、稚魚数計数システムによると、入力画像内の一部の稚魚を検出することができないことがある。検出することができないケースとして、稚魚がデジタルカメラから遠い場合、および、デジタルカメラから見て稚魚が他の稚魚と重なる場合が挙げられる。
具体的には、図4(A)の入力画像を稚魚数計数システムによって処理を施すと、図4(B)のような二値画像が得られる。二値画像の黒い部分が稚魚の画像であり、白い部分が背景である。
しかし、デジタルカメラから遠い稚魚は、部分画像E1のように小さく表われるので、検出される動体が稚魚なのかノイズなのかを判定することが難しい。また、稚魚数計数システムではラベリングを使用しているため、部分画像E2のように、デジタルカメラから見て複数の稚魚が重なっている場合は、これらの稚魚が1匹の稚魚であると判定されてしまう。
そこで、計数システム1は、人工知能の技術を用いて稚魚の検出を行う。稚魚の検出のために、予め学習済モデルを準備する必要がある。本実施形態において、学習済モデルは、CNN(Convolutional Neural Network)であって、次のように生成される。
作業者は、稚魚が飼育されている飼育領域の中にデジタルカメラ12を設置し、複数回、デジタルカメラ12に飼育領域の中を撮影させることによって、図5のような、複数の入力画像を入力データ(例題)として取得する。さらに、作業者は、それぞれの入力画像に写っている稚魚の位置Q1、Q2、…を教師データ(正解)として指定する。そして、これらの入力画像および位置Q1、Q2、…のデータを学習データ40として学習データ記憶部101(図3参照)に記憶させる。
機械学習部102は、学習データ40に基づいて機械学習を実行することによって、つまり、図6のように、例題(入力画像)に対して畳み込み処理およびプーリングなどを行うことによって特徴マップ41を生成し、特徴マップ41および正解(稚魚の位置)に基づいて全結合層の処理などを繰り返し行うことによって、学習済モデル(学習済CNNモデル)42を生成する。なお、機械学習用のサーバへ学習データ40を送信し、このサーバに機械学習を実行させてもよい。また、例えばGoogle社のTensorFlow1.12.0などの既存の数値計算用ライブラリを使用してCNNの機械学習を実行してもよい。
そして、学習済モデル記憶部103は、機械学習部102によって生成された学習済モデル42を記憶する。
〔デジタルカメラ12の配置〕
図7は、水槽3およびデジタルカメラ12の配置の例を示す斜視図である。図8は、デジタルカメラ12の位置関係の例を示す平面図である。
デジタルカメラ12は、飼育領域の中に配置される。以下、図7に示すような円柱状の水槽3で飼育されている稚魚を、3台のデジタルカメラ12A、12B、および12Cを用いて計数する場合を例に説明する。
作業者は、デジタルカメラ12A、12B、および12Cそれぞれを水槽3の中の所定の位置Pa、Pb、およびPcに、水槽3の中の所定の位置Poの方向を撮影するように配置する。これらのデジタルカメラ12を、天井から棒で吊り下げてもよいし、水槽3の中に設けた棒に取り付けてもよい。
位置Pa、Pb、およびPcは、図8に示すように正三角形の頂点をなし、位置Poは、この正三角形の重心に一致する。この三角形は水平であり、重心から各頂点までの距離は、Lである。位置Poを原点(0,0,0)に定め、位置PaをX軸のマイナス側に配置すると、位置Pa、Pb、およびPcそれぞれの座標は、次のように定められる。
Figure 2021152782
<3> 稚魚の位置の検出
〔撮影のフェーズ〕
図9は、入力画像5の例を示す図である。
デジタルカメラ12A、12B、および12Cは、同時にかつ所定の時間(例えば、10秒)ごとに撮影を行い、撮影によって得られた画像をメインコンピュータ10へ送信する。
以下、撮影によって得られた画像を「入力画像5」と記載する。また、デジタルカメラ12A、12B、および12Cそれぞれによって得られた入力画像5を「入力画像5A」、「入力画像5B」、および「入力画像5C」と区別して記載する。さらに、k回目の撮影の時刻を「撮影時刻T」と記載し、k回目の撮影によって得られた入力画像5A、入力画像5B、および入力画像5Cをそれぞれ「入力画像5Ak」、「入力画像5Bk」、および「入力画像5Ck」と記載する。なお、デジタルカメラ12A、12B、および12Cそれぞれからメインコンピュータ10へ動画像が送信され、メインコンピュータ10において動画像から所定の時刻ごとの静止画像がキャプチャされ入力画像5として用いられるように計数システム1を構成してもよい。
〔平面位置検出フェーズ〕
メインコンピュータ10において、稚魚検出部104は、学習済モデル記憶部103に記憶されている学習済モデル42に基づいて各入力画像5に対して推論処理を行うことによって、各入力画像5の中から稚魚の位置を検出する。
〔三次元位置特定フェーズ〕
図10は、平面A’の例を示す図である。図11は、平面B’の例を示す図である。図12は、2つの直線の最短距離に対応する線分の例を示す図である。図13は、デジタルカメラ12Bから見て2匹の稚魚が重なった場合の例を示す図である。
三次元位置算出部105は、撮影時刻Tにおける稚魚の位置Piの座標を、入力画像5Ak、5Bk、および5Ckそれぞれから検出された稚魚の位置によって算出する。以下、位置Piの算出方法について説明する。
入力画像5Akは、デジタルカメラ12Aの撮影範囲の全体を撮影したものである。この撮影範囲には、図10に示すように、デジタルカメラ12Aから位置Po(原点)へのベクトルPaPoに垂直でありかつ位置Poを含む平面A’が一部分として含まれている。上述の通り、デジタルカメラ12Aの視野角が縦横ともにθであり、位置Paと位置Poとの距離がLであるので、平面A’は、次の(2A)〜(2C)式によって表わすことができる。
x=0 … (2A)
Ltan(−θ/2)≦y≦Ltan(θ/2) … (2B)
Ltan(−θ/2)≦z≦Ltan(θ/2) … (2C)

そして、デジタルカメラ12Aの解像度が上述の通りp×pなので、検出された稚魚の、平面A’における位置の座標を(A,A)とすると、デジタルカメラ12Aから見たこの稚魚の位置(位置Pi)の方向ベクトルPaPiは、次の(3)式のように表わすことができる。
Figure 2021152782
同様に、入力画像5Bkは、デジタルカメラ12Bの撮影範囲の全体を撮影したものである。この撮影範囲には、図11に示すように、デジタルカメラ12Bから位置Po(原点)へのベクトルPbPoに垂直でありかつ位置Poを含む平面B’が含まれている。上述の通り、デジタルカメラ12Bの視野角が縦横ともにθであり、位置Pbと位置Poとの距離がLであるので、平面B’は、次の(4A)〜(4C)式によって表わすことができる。
Figure 2021152782
そして、デジタルカメラ12Bの解像度が上述の通りp×pなので、検出された稚魚の、平面B’における位置の座標を(B,B)とすると、デジタルカメラ12Bから見た位置Piの方向ベクトルPbPiは、次の(5)式のように表わすことができる。
Figure 2021152782
デジタルカメラ12Cから見た位置Piの方向ベクトルPcPiを表わす式も同様の方法で立てることができる。
稚魚は、直線PaPiと直線PbPiとの交点に存在すると考えられる。つまり、位置Piは、この交点に一致するはずである。したがって、この交点を(3)式および(5)式に基づいて算出すれば、位置Piが求められるはずである。
しかし、稚魚の実際の中心と稚魚検出部104によって検出された位置とのズレまたはデジタルカメラ12の設置の精度の低さなどが原因で、2つの直線が交わらないことがある。
そこで、2つの直線が交わらない場合であっても、2つの直線同士の最短距離が所定の範囲内であれば、2つの直線が交わっているとみなす。この最短距離は、次の方法によって算出することができる。
図12に示す、直線PaPi上の点mと直線PbPi上の点nとの距離が、2つの直線同士の最短距離である。
点mおよび点nそれぞれの位置ベクトルは、次の(6A)式および(6B)式のように変数sおよび変数tを用いて表わすことができる。
Figure 2021152782
また、これらの位置ベクトルからベクトルmnを次の(7)式のように求めることができる。
Figure 2021152782
線分mnが直線PaPiおよび直線PbPiの共通垂線なので、次の(8A)式および8B)式が成り立つ。よって、次の(9)式で表わされる連立方程式が成り立つ。
Figure 2021152782
この連立方程式を解くと、変数sおよび変数tそれぞれの値が算出される。算出された各値を(6A)式の変数sおよび(6B)式の変数tに代入ことによって、点mおよび点nそれぞれの位置ベクトルが求められる。そして、点mと点nとの距離が求められる。この距離が、直線PaPiと直線PbPiとの最短距離である。以下、この最短距離を「距離Rab」と記載する。
同様の方法によって、直線PbPiと直線PcPiとの最短距離(以下、「距離Rbc」と記載する。)、および、直線PcPiと直線PaPiとの最短距離(以下、「距離Rca」と記載する。)が求められる。
以上の仕組みに従って、三次元位置算出部105は、距離Rab、Rbc、およびRcaを算出する。距離Rab、Rbc、およびRcaがいずれも閾値R以下であれば、直線PaPiと直線PbPiとの最短距離の線分の中点、直線PbPiと直線PcPiとの最短距離の線分の中点、および直線PcPiと直線PaPiとの最短距離の線分の中点を頂点とする三角形の中に稚魚がいると判定する。そして、この三角形の重心を算出する。この重心の座標が、位置Piの座標である。距離Rab、Rbc、およびRcaのいずれかが閾値Rを超える場合は、この三角形の領域には稚魚がいないと判定する。
ところで、閾値Rが大きいほど、デジタルカメラ12の設置の誤差などが吸収されやすくなるが、異なる複数の魚を1匹の魚であると誤認識するおそれがある。そのため、閾値Rを大きくし過ぎるのは好ましくない。一方、閾値Rを小さくし過ぎると、誤認識が減少するが、デジタルカメラ12をより正確な位置に設置しなければならない。
そこで、発明者は、好適な指標を探求した結果、魚の回避特性に着目することができた。魚の行動モデルであるAokiモデル(Aoki, I.: A Simulation Study on Schooling Mechanism in Fish, Bulletin of the Japanese Society of Scientific Fisheries, 48(8), pp.1081-1088 (1982).)によると、2匹の魚は、互いの距離Rが所定の距離R以下になると、衝突しないように進行方向を変えようとすることが確認されている。さらに、Huthらの報告(Huth, A. and Wissel, C.: The Simulation of the Movement of Fish Schools, J. Theor. Biol, 156, pp.365-385 (1992).)によると、集団が極性化しやすい、つまり、集団の魚たちが同一の方向に進路を取りやすいのは、0.3F≦R≦0.5F、を満たす場合である。なお、Fは、魚の体長である。
これらの特性に鑑み、三次元位置算出部105は、閾値Rとして0.3Fを用いて、稚魚がいるか否かを判定する。Fは、水槽3の中の稚魚の標準的な体長である。つまり、水槽3の中の稚魚の体長を0.3倍した値が閾値Rとして用いられる。
位置Piの座標は、三次元位置算出部105によって算出されると、撮影時刻Tまたはシーケンス番号kと対応付けられて三次元位置記憶部106に記憶される。
ところで、入力画像5Ak、入力画像5Bk、および入力画像5Ckのうちのいずれかから複数の稚魚および位置が検出されることが多い。つまり、入力画像5Ak、入力画像5Bk、および入力画像5CkそれぞれからN匹の稚魚、N匹の稚魚、およびN匹の稚魚および位置が検出され得る。ただし、N、N、およびNのうちの少なくとも1つが2以上である。
三次元位置算出部105は、このような場合に、入力画像5Ak、入力画像5Bk、および入力画像5Ckそれぞれから稚魚検出部104によって検出された平面位置に基づいて、デジタルカメラ12Aから見たN本の方向ベクトルの直線、デジタルカメラ12Bから見たN本の方向ベクトルの直線、およびデジタルカメラ12Cから見たN本の方向ベクトルの直線を算出する。そして、3種類の直線すべての組合せ(つまり、N×N×Nの組合せ)について、距離Rab、Rbc、およびRcaを算出し、稚魚がいるか否かを閾値Rに基づいて算出する。そして、稚魚がいる場合は、その位置(位置Ri)の座標を算出する。
例えば、図13に示す位置に2匹の稚魚がいる場合は、稚魚検出部104は、入力画像5Ak、入力画像5Bk、および入力画像5Ckそれぞれから2匹の稚魚、1匹の稚魚、および2匹の稚魚を検出する。三次元位置算出部105は、入力画像5Ak、入力画像5Bk、および入力画像5Ckそれぞれから2本の直線、1本の直線、および2本の直線を算出し、2×1×2組つまり4組の距離Rab、Rbc、およびRcaを算出し、稚魚がいるか否かを算出する。そして、稚魚がいる位置の座標を算出する。
図14は、2台のデジタルカメラ12を用いて稚魚の三次元位置を検出する場合の例を説明するための図である。図15は、稚魚の配置のバリエーションの例を示す図である。図16は、3台のデジタルカメラ12を用いて稚魚の三次元位置を検出する場合のメリットを説明するための図である。
3台のデジタルカメラ12ではなく2台のデジタルカメラ12によって稚魚の三次元位置を検出することも可能である。ところが、この方法によると、稚魚の三次元位置を誤って検出することがある。例えば、図14に示すように、デジタルカメラ12Aの入力画像から2本の方向ベクトルが求められ、デジタルカメラ12Bの入力画像から2本の方向ベクトルが求められた場合に、稚魚の三次元位置の可能性として、図15(A)〜(G)に示す7通りが考えられるからである。
しかし、上述の通り3台のデジタルカメラ12を用いると、図16に示すように、デジタルカメラ12A、12B、および12Cそれぞれの位置Pa、Pb、およびPcからの3本の方向ベクトルの直線が交わりまたは近接する位置に稚魚がいると判定することができる。したがって、2台のデジタルカメラ12を用いる場合よりも確実に稚魚の三次元位置を検出することができる。
〔キャリブレーション〕
図17は、キャリブレーションの例を説明するための図である。
ところで、デジタルカメラ12A、12B、および12Cは、いずれも、位置Poの方向を撮影するように配置されている。したがって、理想的には、入力画像5A、5B、および5Cそれぞれの中心がいずれも位置Poすなわち水槽3の中の特定の1つの位置に対応するはずである。
しかし、1ドットのズレも生じさせることもなくデジタルカメラ12A、12B、および12Cを配置することは、難しい。そこで、入力画像5のキャリブレーションを行った後で、上述の平面位置検出フェーズおよび三次元位置特定フェーズを行ってもよい。以下、キャリブレーションの方法の一例について説明する。
作業者は、マーカ6を、水槽3の中の位置Poまたはその近隣に配置する。マーカ6に棒または紐を付けて天井から吊り下げてもよいし竿などを用いてぶら下げてもよい。マーカ6として、例えば、赤色の鉄球が用いられる。
この状態で、デジタルカメラ12A、12B、および12Cは、同時に撮影を行い、得られた画像をそれぞれキャリブレーション用画像5A’、5B’、および5C’としてメインコンピュータ10へ送信する。
メインコンピュータ10において、画像補正部107は、キャリブレーション用画像5A’の中からマーカ6の位置Qeを検出し、図17(a)に示すように、位置Qeとキャリブレーション用画像5A’の中心QoとのズレをベクトルQeQoとして算出する。
そして、画像補正部107は、その後にデジタルカメラ12Aから受信した入力画像5Aを、図17(b)に示すようにベクトルQeQoだけシフトさせることによって、図17(c)に示すように補正する。
画像補正部107は、同様に、キャリブレーション用画像5B’および5C’それぞれについてもズレを算出し、デジタルカメラ12Bおよび12Cそれぞれから受信した入力画像5Bおよび5Cを、算出したズレに応じて補正する。
入力画像5A、5B、および5Cをこのように補正することは、デジタルカメラ12A、12B、および12Cそれぞれから平面A’、B’、およびC’それぞれの中心へ向かうベクトルの交点にマーカ6が配置され、かつ、マーカ6の位置が原点(0,0,0)つまり位置Poに設定されるように、キャリブレーションを行うことに等しい。
このようにキャリブレーションを行うことにより、デジタルカメラ12A、12B、および12Cそれぞれから稚魚へ向かうベクトルをより正確に測定することができる。
<4> 稚魚数の推定
図18は、3台のデジタルカメラ12と稚魚計数領域Spとの位置関係の例を示す図である。
稚魚検出部104および三次元位置算出部105による上述の処理によって、三次元位置記憶部106には、各撮影時刻T(T、T、…)における稚魚の位置が記憶される。しかし、これらの位置は、すべて、3台のデジタルカメラ12によって得られた入力画像に基づいて検出されたものなので、図18に示す球形の稚魚計数領域Spにいる稚魚のものである。つまり、上述の処理によると、稚魚計数領域Spにいる稚魚の数しか計数することができない。
そこで、個体数推定部108は、水槽3の中にいるすべての稚魚の数(個体数)を次のように推定する。
デジタルカメラ12A、12B、および12Cそれぞれの位置Pa、Pb、およびPcと原点つまり位置Poとの距離は、上述の通り、いずれもLである。また、デジタルカメラ12A、12B、および12Cそれぞれの縦横の視野角は、上述の通り、いずれもθである。したがって、稚魚計数領域Spの半径rは、次の(10)式のように表わされる。
=Lsin(θ/2) … (10)

よって、稚魚計数領域Spの体積Vは、球の体積の公式および(10)式に基づいて、次の(11)式のように表わされる。
=4πr/3
=4πr /3
=4π(Lsin(θ/2))/3 … (11)

また、水槽3は、上述の通り円柱状なので、水槽3の水の体積Vは、円柱の体積の公式、水槽3の底面の半径r、および水槽3の水深hに基づいて、次の(12)式によって求められる。
=πr×h
=πr ×h … (12)

個体数推定部108は、稚魚の密度が水槽3全体で均一であるとみなし、次の(13)式によって、水槽3の中にいる稚魚の総数を算出する。
wk=Npk×(V/V) … (13)

ただし、Nwkは、撮影時刻Tにおける、水槽3の中の稚魚の総数Nである。Npkは、撮影時刻Tにおける、稚魚計数領域Spの中の稚魚の総数Nである。なお、個体数推定部108は、Npkを、三次元位置記憶部106に記憶されている、撮影時刻Tまたはシーケンス番号kに対応付けられて記憶されている位置の個数を計数することによって算出する。
ところで、稚魚計数領域Spにいる稚魚の数は、稚魚が泳いでいるので短時間の間でも増減する。よって、上述の方法によると、撮影時刻Tごとの総数Nのバラツキが大きい。
そこで、個体数推定部108は、一定の期間(例えば、1分間)、撮影時刻T、T、T、…ごとの総数Nを計数し、これらの総数Nの平均値Npvを次の式(14)に代入することによって総数Nを算出してもよい。
=Npv×(V/V) … (14)

式(14)は、稚魚計数領域Spを疑似的に広げることによって水槽3の水の体積Vと稚魚計数領域Spの体積Vとの比を小さくすることを意味するので、精度の向上が期待できる.
<5> まとめ
図19は、メインコンピュータ10の全体的な処理の流れの例を説明するフローチャートである。
次に、メインコンピュータ10が稚魚計数プログラム10Pに基づいて実行する処理の流れを、図19のフローチャートを参照しながら説明する。
メインコンピュータ10は、機械学習によって予め学習済モデル42を生成し記憶しておく(#71、#72)。
メインコンピュータ10は、デジタルカメラ12A、12B、12Cそれぞれから入力画像5を受信する(#73)。すると、各撮影時刻の各入力画像5から稚魚およびその平面位置を検出する(#75)。そして、平面位置に基づいて稚魚の三次元位置の座標を算出し(#76)、撮影時刻またはシーケンス番号と対応付けて記憶する(#77)。
メインコンピュータ10は、受信したすべての撮影時刻における稚魚の三次元位置の座標の算出および記憶が終わったら(#78でYes)、稚魚計数領域Spの中の稚魚の総数Nを算出し(#80)、水槽3の中の稚魚の総数Nを推定する(#81)。
本実施形態によると、水槽3から取り出すことなく稚魚の数を従来よりも正確に把握することができる。特に、本実施形態では、機械学習によって事前に取得した学習済モデル42を用いて入力画像5の中の稚魚を検出するので、従来の稚魚数計数システムよりも正確に稚魚を検出することができる。さらに、3台のデジタルカメラ12のそれぞれによって取得した入力画像5によって稚魚の三次元位置を算出するので、2台のデジタルカメラ12を用いた場合よりも稚魚の三次元位置を正確に算出することができる。
<6> 適用例
計数システム1は、例えば、次のように使用することができる。水槽3の底面の半径rは、68cmであり、水槽3の水深hは、62cmである。したがって、水槽3の体積は、約90万cmである。距離L(原点Poから各デジタルカメラ12までの距離)は、約43.3cmであり、デジタルカメラ12の補正後の視野角θは、35度である。したがって、稚魚計数領域Spの半径rは、13cmであり、体積Vは、約9200cmである。デジタルカメラ12の解像度は約320×320である。
このような条件の下で真鯛の稚魚、約300匹を飼育する。これらの稚魚は、同じ時期に孵化したものなので、ほぼ同じ大きさであり、約3〜5cmである。閾値Rは、3cmの稚魚に合わせるならば、3cm×0.3、なので、0.9cmとすべきである。しかし、約300匹の稚魚の中に3cmを下回るものが含まれている可能性があることに鑑み、閾値Rを0.85cmに設定する。
そして、各デジタルカメラ12によって撮影を行い、上述の方法でメインコンピュータ10によって水槽3の中の稚魚の総数Nを推定する。
<7> 変形例
図20は、撮影ユニット21の例を示す図である。図21は、撮影ユニット22の例を示す図である。
本実施形態では、3台のデジタルカメラ12A、12B、および12Cを天井から棒で吊り下げまたは水槽3の中に設けた棒に取り付けるなどして水槽3の中の所定の位置に配置したが、他の方法で配置してもよい。例えば、図20のような撮影ユニット21を作成し、撮影ユニット21を水槽3の中の所定の位置に配置してもよい。撮影ユニット21は、正三角形状に組んだフレーム211の各辺の中点の位置に1台ずつデジタルカメラ12を、フレームの重心が撮影方向になるように備え付けたものである。なお、撮影ユニット21は、これらのデジタルカメラ12同士の相対的な位置関係が保たれていれば、水槽3の中で動いても構わない。
フレーム211は、三角形状に組まれているので、四角形などに組まれている場合よりも歪みにくい。なお、フレーム211の素材として、塩化ビニール管またはアルミニウム管など合成樹脂または金属が用いられる。後述するフレーム221(図21参照)も同様である。
本実施形態では、3台のデジタルカメラ12によって水槽3の中の様子を撮影したが、4台以上のデジタルカメラ12によって水槽3の中の様子を撮影し、これらのデジタルカメラ12によって得られた入力画像5に基づいて稚魚の三次元位置を特定してもよい。この場合における稚魚の三次元位置の特定方法は、3台のデジタルカメラ12を使用する場合の特定方法と基本的に同じである。
すなわち、作業者は、共通の位置へ撮影方向が向くようにM台(M≧4)のデジタルカメラ12を配置し、適宜、キャリブレーションのための処理を実行しておく。
稚魚検出部104は、M台のデジタルカメラ12それぞれによって得られた入力画像5から、その入力画像5における稚魚の位置を検出する。
三次元位置算出部105は、u番目(1≦u≦M)のデジタルカメラ12の入力画像5から稚魚検出部104によって検出された位置に基づいて、u番目のデジタルカメラ12から見たときの、稚魚の三次元位置の方向ベクトルを算出する(図10、図11参照)。つまり、u番目のデジタルカメラ12の三次元位置を位置Puと定義し、稚魚の三次元位置をPiと定義すると、ベクトルPuPiを算出する。
さらに、三次元位置算出部105は、直線PuPiおよび直線PvPi(u≠v、1≦v≦M)のすべての(組の)組合せについて、両直線同士の最短距離を算出する。そして、すべての最短距離が閾値R以下であれば、最短距離の線分の中点付近に稚魚がいると判定する。
3台のデジタルカメラ12を用いる場合は、3つの中点からなる三角形の重心を稚魚の三次元位置として検出したが、M台のデジタルカメラ12を用いる場合は、個の中点を頂点として有する多面体の内部の任意の点(例えば、重心)を稚魚の三次元位置として検出すればよい。
なお、の最短距離のうちの所定の個数以上の最短距離が閾値R以下であれば、これらの最短距離の線分の中点付近に稚魚がいると判定してもよい。例えば、M=6であれば、15の最短距離のうちの12以上の最短距離が閾値R以下であれば、稚魚がいると判定してもよい。そして、これら12以上の最短距離の線分それぞれの中点を頂点とする多面体の重心に稚魚がいると判定してもよい。
M台のデジタルカメラ12を水槽3の中に独立して配置してもよいし、1つの構造体として構成してもよい。
例えば、正四面体状に組んだフレーム221および6台のデジタルカメラ12によって、図21のような撮影ユニット22を構成してもよい。フレーム221の各辺の中点にデジタルカメラ12を1台ずつ、撮影方向が正四面体の重心になるように備え付ける。
このように撮影ユニット22を構成することによって、ねじれの位置にある2つの辺に備え付けられた2台のデジタルカメラ12同士が、キャリブレーションの際のマーカとして機能し合う。つまり、デジタルカメラ12Aによって得られた入力画像5のちょうど真ん中には本来、デジタルカメラ12Bが写っているはずである。そこで、デジタルカメラ12Bの写っている位置に基づいて、デジタルカメラ12Aによって得られた入力画像5のキャリブレーションを行えばよい。
同様に、デジタルカメラ12Aの写っている位置に基づいて、デジタルカメラ12Bによって得られた入力画像5のキャリブレーションを行えばよい。他の組(デジタルカメラ12Cおよび12Dの組、デジタルカメラ12Eおよび12Fの組)についても同様である。
撮影ユニット22によると、作業者がマーカ6を垂らしたりすることなく、メインコンピュータ10および各デジタルカメラ12が自動的にキャリブレーションのための処理を行うことができる。また、フレーム221が四面体状すなわち三角錐状に組まれているので、三角柱または四角錐などに組まれている場合よりも歪みにくい。
そのほか、フレーム221として、正二十面体状、正八面体、正十二面体、または立方体に組まれたフレームを用いてもよい。
本実施形態では、個体数推定部108は、一定の期間の撮影時刻T、T、T、…ごとの総数Nを計数しこれらの平均値Npvを算出し、式(14)に基づいて水槽3全体の稚魚の固体数(総数N)を算出したが、次のように総数Nを算出してもよい
個体数推定部108は、撮影時刻T、T、T、…ごとに、それまでの総数Nの平均値Npvを算出する。そして、平均値Npvの変化が収束したら、収束した時点の平均値Npvを式(14)に代入することによって総数Nを算出する。
例えば、次の(15)式を満たした場合に、平均値Npvの変化が収束したと判定することができる。
f(i)≦f
f(i)=|Npvi−Npv(i−1)|/Npvi … (15)

は閾値であり、例えば、0.02である。Npviは、撮影時刻Tにおける平均値Npvであり、Npv(i−1)は、撮影時刻T(i−1)における平均値Npvである。つまり、隣り合う2回の平均値Npvの変動割合が閾値以下である状態になったら、収束したと判定すればよい。または、このような状態が10回連続したら、収束したと判定してもよい。
水槽3で飼育する稚魚の種類および体長の組合せごとに学習済モデル42を用意し、稚魚検出部104において使い分けてもよい。例えば、スマ、タイ、モジャコ、マグロ、サケ、フグ、…それぞれについて1cm未満、1cm以上2cm未満、2cm以上3cm未満、…ごとの学習済モデル42を用意し、使い分けてもよい。閾値Rも同様に、組合せごとに使い分けられる。
本実施形態では、魚類の稚魚を計数する場合を例に説明したが、魚類以外の生物を計数するために計数システム1を使用してもよい。例えば、養殖のエビを計数するために使用してもよい。
入力画像5として、夜間に撮影した画像を用いてもよい。この場合は、近赤外線のライトで水槽3の中を照らして撮影すればよい。
本実施形態では、入力画像5は、通信回線14を介してデジタルカメラ12からメインコンピュータ10へ提供されたが、フラッシュメモリなどの記録媒体を介して提供されるようにしてもよい。
本実施形態では、計数システム1は、水槽3の中の稚魚の総数Nを計数するために用いられたが、稚魚の動きの状態を検出し、病気の発生および空腹の具合などを判別するために用いてもよい。
その他、計数システム1、メインコンピュータ10の全体または各部の構成、処理の順序などは、本発明の趣旨に沿って適宜変更することができる。
1 計数システム(個体検出システム)
104 稚魚検出部(画像内位置検出手段)
105 三次元位置算出部(個体検出手段)
107 画像補正部(調整手段)
108 個体数推定部(個体数推定手段)
12 デジタルカメラ(カメラ)
22 撮影ユニット
5 入力画像(第uの画像)
Sp 稚魚計数領域(特定の区域)

Claims (14)

  1. 特定の区域を同時に撮影するためのN台のカメラと、
    前記N台のカメラのうちの第uのカメラそれぞれが前記区域を撮影することによって得られた第uの画像に写っている第uの被写体それぞれの、前記第uの画像における位置である第uの画像内位置を検出する画像内位置検出手段と、
    前記第uの画像内位置と、前記第uのカメラの、前記N台のカメラの存在する三次元空間における位置である第uの配置位置と、に基づいて、前記第uの配置位置と、前記第uの被写体の、前記三次元空間における位置であると推定される第uの推定位置と、を通過する第uの直線を算出し、算出した第1ないし第Nの直線それぞれの任意の1本ずつからなる1つまたは複数の組合せに基づいて、前記区域に存在する個体を検出する、個体検出手段と、
    を有することを特徴とする個体検出システム。
  2. 前記個体検出手段は、前記1つまたは複数の組合せのうちの、構成要素である前記第1ないし第Nの直線の任意の2本のペアのうち最短距離が所定の長さ未満であるものの数が所定の数以上である組合せについて、前記個体を検出する、
    請求項1に記載の個体検出システム。
  3. 前記個体は、同じ時期に孵化した同じ種類の魚であり、
    前記所定の長さは、前記魚の行動の特性に基づいて定められる、
    請求項2に記載の個体検出システム。
  4. 前記特性は、前記魚の2匹同士の距離が前記魚の体長の0.3倍未満にならないように間隔を空ける特性であり、
    前記所定の長さは、前記体長の0.3倍である、
    請求項3に記載の個体検出システム。
  5. 前記N台のカメラは、3台のカメラであり、正三角形の各辺の中点の位置に、当該正三角形の重心が撮影方向になるように1台ずつ配置される、
    請求項1ないし請求項4のいずれかに記載の個体検出システム。
  6. 前記N台のカメラは、6台のカメラであり、正四面体の各辺の中点の位置に、当該正四面体の重心が撮影方向になるように1台ずつ配置される、
    請求項1ないし請求項4のいずれかに記載の個体検出システム。
  7. 前記第uのカメラの撮影範囲の中心と、前記撮影範囲における、前記6台のカメラのうちの当該第uのカメラ以外の1台の位置と、のズレに基づいて、前記第uの画像を調整する調整手段、
    を有し、
    前記画像内位置検出手段は、前記調整手段によって調整された前記第uの画像に基づいて前記第uの画像内位置を検出する、
    請求項6に記載の個体検出システム。
  8. 前記区域を含む飼育領域に存在すると推定される個体の総数を、前記個体検出手段によって検出された前記個体の数と、前記飼育領域と前記区域との比と、に基づいて算出する、個体数推定手段、
    を有する、
    請求項1ないし請求項7のいずれかに記載の個体検出システム。
  9. 前記N台のカメラは、複数回、前記区域を撮影し、
    前記画像内位置検出手段は、各回の前記第uの画像から各回の前記第uの画像内位置を検出し、
    前記個体検出手段は、各回の前記第uの画像内位置に基づいて各回の前記第uの直線を算出し、各回の前記個体を検出し、
    前記個体数推定手段は、各回の前記個体の数の平均値を前記総数として算出する、
    請求項8に記載の個体検出システム。
  10. 前記個体数算出手段は、(K−1)回目までの前記平均値とK回目までの前記平均値との比が所定の値以下になったら、当該K回目までの平均値を前記総数として算出する、
    請求項9に記載の個体検出システム。
  11. 特定の区域を同時に撮影するためのN台(N≧3)のカメラのうちの第u(1≦u≦N)のカメラそれぞれが前記区域を撮影することによって得られた第uの画像に写っている第uの被写体それぞれの、前記第uの画像における位置である第uの画像内位置を検出する画像内位置検出手段と、
    前記第uの画像内位置と、前記第uのカメラの、前記N台のカメラの存在する三次元空間における位置である第uの配置位置と、に基づいて、前記第uの配置位置と、前記第uの被写体の、前記三次元空間における位置であると推定される第uの推定位置と、を通過する第uの直線を算出し、算出した第1ないし第Nの直線それぞれの任意の1本ずつからなる1つまたは複数の組合せに基づいて、前記区域に存在する個体を検出する、個体検出手段と、
    を有することを特徴とする個体検出システム。
  12. 正四面体状に組まれたフレームと、
    前記フレームの各辺の中点の位置に、前記フレームの重心が撮影方向になるように取り付けられた6台のカメラと、
    を有することを特徴とする撮影ユニット。
  13. 特定の区域をN台(N≧3)のカメラによって同時に撮影し、
    前記N台のカメラのうちの第u(1≦u≦N)のカメラによって得られた第uの画像に写っている第uの被写体それぞれの、前記第uの画像における位置である第uの画像内位置を検出し、
    前記第uの画像内位置と、前記第uのカメラの、前記N台のカメラの存在する三次元空間における位置である第uの配置位置と、に基づいて、前記第uの配置位置と、前記第uの被写体の、前記三次元空間における位置であると推定される第uの推定位置と、を通過する第uの直線を算出し、算出した第1ないし第Nの直線それぞれの任意の1本ずつからなる1つまたは複数の組合せに基づいて、前記区域に存在する個体を検出する、
    ことを特徴とする個体検出方法。
  14. 特定の区域に存在する個体を検出するためのコンピュータに用いられるコンピュータプログラムであって、
    前記コンピュータに、
    前記区域を同時に撮影するためのN台(N≧3)のカメラのうちの第u(1≦u≦N)のカメラそれぞれが前記区域を撮影することによって得られた第uの画像に写っている第uの被写体それぞれの、前記第uの画像における位置である第uの画像内位置を検出する処理を実行させ、
    前記第uの画像内位置と、前記第uのカメラの、前記N台のカメラの存在する三次元空間における位置である第uの配置位置と、に基づいて、前記第uの配置位置と、前記第uの被写体の、前記三次元空間における位置であると推定される第uの推定位置と、を通過する第uの直線を算出し、算出した第1ないし第Nの直線それぞれの任意の1本ずつからなる1つまたは複数の組合せに基づいて前記個体を検出する処理を実行させる、
    ことを特徴とするコンピュータプログラム。
JP2020053104A 2020-03-24 2020-03-24 個体検出システム、撮影ユニット、個体検出方法、およびコンピュータプログラム Active JP7480984B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020053104A JP7480984B2 (ja) 2020-03-24 2020-03-24 個体検出システム、撮影ユニット、個体検出方法、およびコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020053104A JP7480984B2 (ja) 2020-03-24 2020-03-24 個体検出システム、撮影ユニット、個体検出方法、およびコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2021152782A true JP2021152782A (ja) 2021-09-30
JP7480984B2 JP7480984B2 (ja) 2024-05-10

Family

ID=77886580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020053104A Active JP7480984B2 (ja) 2020-03-24 2020-03-24 個体検出システム、撮影ユニット、個体検出方法、およびコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP7480984B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7463589B1 (ja) 2023-03-27 2024-04-08 マルハニチロ株式会社 魚群行動解析システム、情報処理装置、魚群行動解析方法およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007263913A (ja) 2006-03-30 2007-10-11 Shindenshi Corp 錠剤等の外観検査装置
JP5108822B2 (ja) 2009-04-15 2012-12-26 パナソニック株式会社 センサ装置
JP6849081B2 (ja) 2017-09-04 2021-03-24 日本電気株式会社 情報処理装置、計数システム、計数方法およびコンピュータプログラム
US11328439B2 (en) 2018-03-09 2022-05-10 Nec Corporation Information processing device, object measurement system, object measurement method, and program storage medium

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7463589B1 (ja) 2023-03-27 2024-04-08 マルハニチロ株式会社 魚群行動解析システム、情報処理装置、魚群行動解析方法およびプログラム

Also Published As

Publication number Publication date
JP7480984B2 (ja) 2024-05-10

Similar Documents

Publication Publication Date Title
WO2019232247A1 (en) Biomass estimation in an aquaculture environment
EP3843542B1 (en) Optimal feeding based on signals in an aquaculture environment
Shelton et al. Density and group size influence shoal cohesion, but not coordination in zebrafish (Danio rerio).
An et al. Application of computer vision in fish intelligent feeding system—A review
JP2021511012A (ja) 魚測定ステーション管理
WO2020023467A1 (en) Unique identification of freely swimming fish in an aquaculture environment
US11950576B2 (en) Multi-factorial biomass estimation
Feyrer et al. SmeltCam: underwater video codend for trawled nets with an application to the distribution of the imperiled delta smelt
US11532153B2 (en) Splash detection for surface splash scoring
Wolfaardt An assessment of the population trends and conservation status of black-browed albatrosses in the Falkland Islands
TWI718572B (zh) 基於立體視覺的生物自動量測系統及其量測方法
Lorenzen et al. Developing and integrating enhancement strategies to improve and restore fisheries
CN115908268A (zh) 一种水下鱼体生物量实时测量方法及装置
JP2021152782A (ja) 個体検出システム、撮影ユニット、個体検出方法、およびコンピュータプログラム
Long et al. Automatic classification of cichlid behaviors using 3D convolutional residual networks
Zhang et al. Intelligent fish feeding based on machine vision: A review
Evans et al. Social information use and collective foraging in a pursuit diving seabird
Xu et al. Behavioral response of fish under ammonia nitrogen stress based on machine vision
US20230230409A1 (en) Image processing-based weight estimation for aquaculture
Du et al. A novel automatic detection method for breeding behavior of broodstock based on improved YOLOv5
ES2289940B1 (es) Dispositivo de analisis morfometrico de imagenes para desarrollar estrategias de alimentacion en acuicultura.
JP7350181B2 (ja) 動的監視のためのカメラウインチ制御
KR20230100092A (ko) 디지털 트윈 기반 스마트 양식 방법, 관리 장치 및 컴퓨터 프로그램
Mattern et al. High definition video loggers provide new insights into behaviour, physiology, and the oceanic habitat of marine top predators
EP4008179A1 (en) Method and system for determining biomass of aquatic animals

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20200330

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231226

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240418

R150 Certificate of patent or registration of utility model

Ref document number: 7480984

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150