JP2021152782A - 個体検出システム、撮影ユニット、個体検出方法、およびコンピュータプログラム - Google Patents
個体検出システム、撮影ユニット、個体検出方法、およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2021152782A JP2021152782A JP2020053104A JP2020053104A JP2021152782A JP 2021152782 A JP2021152782 A JP 2021152782A JP 2020053104 A JP2020053104 A JP 2020053104A JP 2020053104 A JP2020053104 A JP 2020053104A JP 2021152782 A JP2021152782 A JP 2021152782A
- Authority
- JP
- Japan
- Prior art keywords
- image
- cameras
- fry
- individual detection
- individual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 238000004590 computer program Methods 0.000 title claims 3
- 238000009395 breeding Methods 0.000 claims abstract description 17
- 230000001488 breeding effect Effects 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 241000251468 Actinopterygii Species 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 20
- 230000005484 gravity Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 4
- 230000003542 behavioural effect Effects 0.000 claims description 2
- 239000000470 constituent Substances 0.000 claims 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 31
- 235000019688 fish Nutrition 0.000 description 21
- 239000013598 vector Substances 0.000 description 21
- 238000010586 diagram Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 13
- 238000010801 machine learning Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000009360 aquaculture Methods 0.000 description 6
- 244000144974 aquaculture Species 0.000 description 6
- 239000003550 marker Substances 0.000 description 6
- 229910052774 Proactinium Inorganic materials 0.000 description 5
- 238000003702 image correction Methods 0.000 description 5
- 229910052745 lead Inorganic materials 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 235000013305 food Nutrition 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000000384 rearing effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 241000972773 Aulopiformes Species 0.000 description 1
- 241000238557 Decapoda Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241001282110 Pagrus major Species 0.000 description 1
- 241000269821 Scombridae Species 0.000 description 1
- 241001441724 Tetraodontidae Species 0.000 description 1
- BZHJMEDXRYGGRV-UHFFFAOYSA-N Vinyl chloride Chemical compound ClC=C BZHJMEDXRYGGRV-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000000366 juvenile effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 235000020640 mackerel Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 235000019515 salmon Nutrition 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Farming Of Fish And Shellfish (AREA)
- Image Analysis (AREA)
Abstract
Description
給餌の量をより適切にするには、生簀または水槽などの飼育領域で飼っている魚の固体数を正確に把握する必要がある。従来は、漁業者自身が飼育領域を目視し、経験および勘で判断している。よって、手間が掛かるし、誤差が生まれやすい。
図1は、計数システム1の全体的な構成の例を示す図である。図2は、メインコンピュータ10のハードウェア構成の例を示す図である。図3は、メインコンピュータ10の機能的構成の例を示す図である。
〔学習済モデルの生成〕
図4は、水中を撮影した入力画像およびその二値画像の例を示す図である。図5は、学習データ40の例を示す図である。図6は、機械学習の例を示す図である。
図7は、水槽3およびデジタルカメラ12の配置の例を示す斜視図である。図8は、デジタルカメラ12の位置関係の例を示す平面図である。
〔撮影のフェーズ〕
図9は、入力画像5の例を示す図である。
メインコンピュータ10において、稚魚検出部104は、学習済モデル記憶部103に記憶されている学習済モデル42に基づいて各入力画像5に対して推論処理を行うことによって、各入力画像5の中から稚魚の位置を検出する。
図10は、平面A’の例を示す図である。図11は、平面B’の例を示す図である。図12は、2つの直線の最短距離に対応する線分の例を示す図である。図13は、デジタルカメラ12Bから見て2匹の稚魚が重なった場合の例を示す図である。
x=0 … (2A)
Ltan(−θ/2)≦y≦Ltan(θ/2) … (2B)
Ltan(−θ/2)≦z≦Ltan(θ/2) … (2C)
そして、デジタルカメラ12Aの解像度が上述の通りpx×pyなので、検出された稚魚の、平面A’における位置の座標を(Ax,Ay)とすると、デジタルカメラ12Aから見たこの稚魚の位置(位置Pi)の方向ベクトルPaPiは、次の(3)式のように表わすことができる。
図17は、キャリブレーションの例を説明するための図である。
図18は、3台のデジタルカメラ12と稚魚計数領域Spとの位置関係の例を示す図である。
rp=Lsin(θ/2) … (10)
よって、稚魚計数領域Spの体積Vpは、球の体積の公式および(10)式に基づいて、次の(11)式のように表わされる。
Vp=4πr3/3
=4πrp 3/3
=4π(Lsin(θ/2))3/3 … (11)
また、水槽3は、上述の通り円柱状なので、水槽3の水の体積Vwは、円柱の体積の公式、水槽3の底面の半径rw、および水槽3の水深hwに基づいて、次の(12)式によって求められる。
Vw=πr2×h
=πrw 2×hw … (12)
個体数推定部108は、稚魚の密度が水槽3全体で均一であるとみなし、次の(13)式によって、水槽3の中にいる稚魚の総数を算出する。
Nwk=Npk×(Vw/Vp) … (13)
ただし、Nwkは、撮影時刻Tkにおける、水槽3の中の稚魚の総数Nwである。Npkは、撮影時刻Tkにおける、稚魚計数領域Spの中の稚魚の総数Npである。なお、個体数推定部108は、Npkを、三次元位置記憶部106に記憶されている、撮影時刻Tkまたはシーケンス番号kに対応付けられて記憶されている位置の個数を計数することによって算出する。
Nw=Npv×(Vw/Vp) … (14)
式(14)は、稚魚計数領域Spを疑似的に広げることによって水槽3の水の体積Vwと稚魚計数領域Spの体積Vpとの比を小さくすることを意味するので、精度の向上が期待できる.
<5> まとめ
図19は、メインコンピュータ10の全体的な処理の流れの例を説明するフローチャートである。
計数システム1は、例えば、次のように使用することができる。水槽3の底面の半径rwは、68cmであり、水槽3の水深hwは、62cmである。したがって、水槽3の体積は、約90万cm3である。距離L(原点Poから各デジタルカメラ12までの距離)は、約43.3cmであり、デジタルカメラ12の補正後の視野角θは、35度である。したがって、稚魚計数領域Spの半径rpは、13cmであり、体積Vpは、約9200cm3である。デジタルカメラ12の解像度は約320×320である。
図20は、撮影ユニット21の例を示す図である。図21は、撮影ユニット22の例を示す図である。
個体数推定部108は、撮影時刻T1、T2、T3、…ごとに、それまでの総数Npの平均値Npvを算出する。そして、平均値Npvの変化が収束したら、収束した時点の平均値Npvを式(14)に代入することによって総数Nwを算出する。
f(i)≦ft
f(i)=|Npvi−Npv(i−1)|/Npvi … (15)
ftは閾値であり、例えば、0.02である。Npviは、撮影時刻Tiにおける平均値Npvであり、Npv(i−1)は、撮影時刻T(i−1)における平均値Npvである。つまり、隣り合う2回の平均値Npvの変動割合が閾値以下である状態になったら、収束したと判定すればよい。または、このような状態が10回連続したら、収束したと判定してもよい。
104 稚魚検出部(画像内位置検出手段)
105 三次元位置算出部(個体検出手段)
107 画像補正部(調整手段)
108 個体数推定部(個体数推定手段)
12 デジタルカメラ(カメラ)
22 撮影ユニット
5 入力画像(第uの画像)
Sp 稚魚計数領域(特定の区域)
Claims (14)
- 特定の区域を同時に撮影するためのN台のカメラと、
前記N台のカメラのうちの第uのカメラそれぞれが前記区域を撮影することによって得られた第uの画像に写っている第uの被写体それぞれの、前記第uの画像における位置である第uの画像内位置を検出する画像内位置検出手段と、
前記第uの画像内位置と、前記第uのカメラの、前記N台のカメラの存在する三次元空間における位置である第uの配置位置と、に基づいて、前記第uの配置位置と、前記第uの被写体の、前記三次元空間における位置であると推定される第uの推定位置と、を通過する第uの直線を算出し、算出した第1ないし第Nの直線それぞれの任意の1本ずつからなる1つまたは複数の組合せに基づいて、前記区域に存在する個体を検出する、個体検出手段と、
を有することを特徴とする個体検出システム。 - 前記個体検出手段は、前記1つまたは複数の組合せのうちの、構成要素である前記第1ないし第Nの直線の任意の2本のペアのうち最短距離が所定の長さ未満であるものの数が所定の数以上である組合せについて、前記個体を検出する、
請求項1に記載の個体検出システム。 - 前記個体は、同じ時期に孵化した同じ種類の魚であり、
前記所定の長さは、前記魚の行動の特性に基づいて定められる、
請求項2に記載の個体検出システム。 - 前記特性は、前記魚の2匹同士の距離が前記魚の体長の0.3倍未満にならないように間隔を空ける特性であり、
前記所定の長さは、前記体長の0.3倍である、
請求項3に記載の個体検出システム。 - 前記N台のカメラは、3台のカメラであり、正三角形の各辺の中点の位置に、当該正三角形の重心が撮影方向になるように1台ずつ配置される、
請求項1ないし請求項4のいずれかに記載の個体検出システム。 - 前記N台のカメラは、6台のカメラであり、正四面体の各辺の中点の位置に、当該正四面体の重心が撮影方向になるように1台ずつ配置される、
請求項1ないし請求項4のいずれかに記載の個体検出システム。 - 前記第uのカメラの撮影範囲の中心と、前記撮影範囲における、前記6台のカメラのうちの当該第uのカメラ以外の1台の位置と、のズレに基づいて、前記第uの画像を調整する調整手段、
を有し、
前記画像内位置検出手段は、前記調整手段によって調整された前記第uの画像に基づいて前記第uの画像内位置を検出する、
請求項6に記載の個体検出システム。 - 前記区域を含む飼育領域に存在すると推定される個体の総数を、前記個体検出手段によって検出された前記個体の数と、前記飼育領域と前記区域との比と、に基づいて算出する、個体数推定手段、
を有する、
請求項1ないし請求項7のいずれかに記載の個体検出システム。 - 前記N台のカメラは、複数回、前記区域を撮影し、
前記画像内位置検出手段は、各回の前記第uの画像から各回の前記第uの画像内位置を検出し、
前記個体検出手段は、各回の前記第uの画像内位置に基づいて各回の前記第uの直線を算出し、各回の前記個体を検出し、
前記個体数推定手段は、各回の前記個体の数の平均値を前記総数として算出する、
請求項8に記載の個体検出システム。 - 前記個体数算出手段は、(K−1)回目までの前記平均値とK回目までの前記平均値との比が所定の値以下になったら、当該K回目までの平均値を前記総数として算出する、
請求項9に記載の個体検出システム。 - 特定の区域を同時に撮影するためのN台(N≧3)のカメラのうちの第u(1≦u≦N)のカメラそれぞれが前記区域を撮影することによって得られた第uの画像に写っている第uの被写体それぞれの、前記第uの画像における位置である第uの画像内位置を検出する画像内位置検出手段と、
前記第uの画像内位置と、前記第uのカメラの、前記N台のカメラの存在する三次元空間における位置である第uの配置位置と、に基づいて、前記第uの配置位置と、前記第uの被写体の、前記三次元空間における位置であると推定される第uの推定位置と、を通過する第uの直線を算出し、算出した第1ないし第Nの直線それぞれの任意の1本ずつからなる1つまたは複数の組合せに基づいて、前記区域に存在する個体を検出する、個体検出手段と、
を有することを特徴とする個体検出システム。 - 正四面体状に組まれたフレームと、
前記フレームの各辺の中点の位置に、前記フレームの重心が撮影方向になるように取り付けられた6台のカメラと、
を有することを特徴とする撮影ユニット。 - 特定の区域をN台(N≧3)のカメラによって同時に撮影し、
前記N台のカメラのうちの第u(1≦u≦N)のカメラによって得られた第uの画像に写っている第uの被写体それぞれの、前記第uの画像における位置である第uの画像内位置を検出し、
前記第uの画像内位置と、前記第uのカメラの、前記N台のカメラの存在する三次元空間における位置である第uの配置位置と、に基づいて、前記第uの配置位置と、前記第uの被写体の、前記三次元空間における位置であると推定される第uの推定位置と、を通過する第uの直線を算出し、算出した第1ないし第Nの直線それぞれの任意の1本ずつからなる1つまたは複数の組合せに基づいて、前記区域に存在する個体を検出する、
ことを特徴とする個体検出方法。 - 特定の区域に存在する個体を検出するためのコンピュータに用いられるコンピュータプログラムであって、
前記コンピュータに、
前記区域を同時に撮影するためのN台(N≧3)のカメラのうちの第u(1≦u≦N)のカメラそれぞれが前記区域を撮影することによって得られた第uの画像に写っている第uの被写体それぞれの、前記第uの画像における位置である第uの画像内位置を検出する処理を実行させ、
前記第uの画像内位置と、前記第uのカメラの、前記N台のカメラの存在する三次元空間における位置である第uの配置位置と、に基づいて、前記第uの配置位置と、前記第uの被写体の、前記三次元空間における位置であると推定される第uの推定位置と、を通過する第uの直線を算出し、算出した第1ないし第Nの直線それぞれの任意の1本ずつからなる1つまたは複数の組合せに基づいて前記個体を検出する処理を実行させる、
ことを特徴とするコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020053104A JP7480984B2 (ja) | 2020-03-24 | 2020-03-24 | 個体検出システム、撮影ユニット、個体検出方法、およびコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020053104A JP7480984B2 (ja) | 2020-03-24 | 2020-03-24 | 個体検出システム、撮影ユニット、個体検出方法、およびコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021152782A true JP2021152782A (ja) | 2021-09-30 |
JP7480984B2 JP7480984B2 (ja) | 2024-05-10 |
Family
ID=77886580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020053104A Active JP7480984B2 (ja) | 2020-03-24 | 2020-03-24 | 個体検出システム、撮影ユニット、個体検出方法、およびコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7480984B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7463589B1 (ja) | 2023-03-27 | 2024-04-08 | マルハニチロ株式会社 | 魚群行動解析システム、情報処理装置、魚群行動解析方法およびプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007263913A (ja) | 2006-03-30 | 2007-10-11 | Shindenshi Corp | 錠剤等の外観検査装置 |
JP5108822B2 (ja) | 2009-04-15 | 2012-12-26 | パナソニック株式会社 | センサ装置 |
JP6849081B2 (ja) | 2017-09-04 | 2021-03-24 | 日本電気株式会社 | 情報処理装置、計数システム、計数方法およびコンピュータプログラム |
US11328439B2 (en) | 2018-03-09 | 2022-05-10 | Nec Corporation | Information processing device, object measurement system, object measurement method, and program storage medium |
-
2020
- 2020-03-24 JP JP2020053104A patent/JP7480984B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7463589B1 (ja) | 2023-03-27 | 2024-04-08 | マルハニチロ株式会社 | 魚群行動解析システム、情報処理装置、魚群行動解析方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7480984B2 (ja) | 2024-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019232247A1 (en) | Biomass estimation in an aquaculture environment | |
EP3843542B1 (en) | Optimal feeding based on signals in an aquaculture environment | |
Shelton et al. | Density and group size influence shoal cohesion, but not coordination in zebrafish (Danio rerio). | |
An et al. | Application of computer vision in fish intelligent feeding system—A review | |
JP2021511012A (ja) | 魚測定ステーション管理 | |
WO2020023467A1 (en) | Unique identification of freely swimming fish in an aquaculture environment | |
US11950576B2 (en) | Multi-factorial biomass estimation | |
Feyrer et al. | SmeltCam: underwater video codend for trawled nets with an application to the distribution of the imperiled delta smelt | |
US11532153B2 (en) | Splash detection for surface splash scoring | |
Wolfaardt | An assessment of the population trends and conservation status of black-browed albatrosses in the Falkland Islands | |
TWI718572B (zh) | 基於立體視覺的生物自動量測系統及其量測方法 | |
Lorenzen et al. | Developing and integrating enhancement strategies to improve and restore fisheries | |
CN115908268A (zh) | 一种水下鱼体生物量实时测量方法及装置 | |
JP2021152782A (ja) | 個体検出システム、撮影ユニット、個体検出方法、およびコンピュータプログラム | |
Long et al. | Automatic classification of cichlid behaviors using 3D convolutional residual networks | |
Zhang et al. | Intelligent fish feeding based on machine vision: A review | |
Evans et al. | Social information use and collective foraging in a pursuit diving seabird | |
Xu et al. | Behavioral response of fish under ammonia nitrogen stress based on machine vision | |
US20230230409A1 (en) | Image processing-based weight estimation for aquaculture | |
Du et al. | A novel automatic detection method for breeding behavior of broodstock based on improved YOLOv5 | |
ES2289940B1 (es) | Dispositivo de analisis morfometrico de imagenes para desarrollar estrategias de alimentacion en acuicultura. | |
JP7350181B2 (ja) | 動的監視のためのカメラウインチ制御 | |
KR20230100092A (ko) | 디지털 트윈 기반 스마트 양식 방법, 관리 장치 및 컴퓨터 프로그램 | |
Mattern et al. | High definition video loggers provide new insights into behaviour, physiology, and the oceanic habitat of marine top predators | |
EP4008179A1 (en) | Method and system for determining biomass of aquatic animals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20200330 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231226 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240418 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7480984 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |