JP2021048800A - 魚群探知装置 - Google Patents

Abstract

【課題】水面上から観察可能な現象に基づく魚群の探索を容易にする魚群探知装置を提供する。【解決手段】魚群探知装置は、カメラ２１と、画像認識ユニット２２と、探知結果出力ユニット２３と、探知結果通知ユニット３５とを含む。画像認識ユニット２２および探知結果出力ユニット２３は、コンピュータ３０の機能によって実現されている。画像認識ユニット２２は、カメラ２１が出力する画像データに対して画像認識処理を実行し、魚群の存在を示唆する特徴画像を認識する。探知結果出力ユニット２３は、画像認識ユニットの認識結果を処理して探知結果を出力する。探知結果は、探知結果通知ユニット３５によって、使用者に通知される。【選択図】図２

Description

この発明は、魚群探知装置に関する。

船舶に搭載される魚群探知機は、船舶直下の水中へ向けて超音波を生成し、その超音波の反射波を検出して、魚群や水深等の水中の様子を表示装置に表示するように構成されている。
一方、熟練した漁師は、水面上から目視観察可能な様々な現象によって、魚群の在処を推測する。鳥山、ナブラ、潮目などが典型例である。鳥山とは、大型魚によって水面付近に追われた小魚群に鳥が密集する現象である。ナブラとは、大型魚によって水面付近に追われた小魚群が立てる波しぶきによって水面が盛り上がったように見える現象である。潮目とは、海流の境界等のために水面に現れる目視可能な境界領域であり、このような境界領域には藻や浮遊物が集まり、それに応じて小魚が集まりやすく、小魚を補食する大型魚も集まる。このような、水面上から目視可能な様々な現象は、魚群の存在を裏付ける間接証拠として知られており、熟練した漁師は、このような現象を経験的に知っていて、好漁場を効率的に探索している。

特開２０１７−１０４０２５号公報

水面上から目視観察可能な現象による魚群の探索は、経験および熟練を要するため、経験の浅い一般人には難しい。
そこで、この発明の一実施形態は、水面上から観察可能な現象に基づく魚群の探索を容易にする魚群探知装置を提供する。

この発明の一実施形態は、カメラが出力する画像データに対して画像認識処理を実行し、魚群の存在を示唆する特徴画像を認識する画像認識ユニットと、前記画像認識ユニットの認識結果を処理して探知結果を出力する探知結果出力ユニットとを含む、魚群探知装置を提供する。
この構成によれば、カメラで水面上の画像を撮像することにより、カメラが出力する画像データに対する画像認識処理によって魚群の存在を示唆する特徴画像が認識され、その特徴画像に基づいて探知結果が出力される。それにより、使用者の経験の多寡に依らずに、水面上で観察可能な現象に基づいて魚群を容易に探索することができる。

この発明の一実施形態では、前記特徴画像が、ナブラを含む画像、潮目を含む画像、水面上を飛ぶ魚の画像、および鳥の画像のうちの少なくとも一つを含む。この構成により、経験の浅い使用者であっても、ナブラ、潮目、水面上を飛ぶ魚および鳥のいずれかを手がかりとした魚群の探索を容易に行うことができる。
この発明の一実施形態では、前記特徴画像が、水中を泳ぐ魚の画像を含む。この構成により、経験の浅い使用者であっても、水中を泳ぐ魚を手がかりとした魚群の探索を容易に行うことができる。

この発明の一実施形態では、前記特徴画像が、鳥の画像を含み、前記画像認識ユニットが、鳥の画像から、鳥の種類、鳥の数、および鳥の挙動の少なくとも一つを認識結果として出力する。この構成により、経験の浅い使用者であっても、鳥の種類、数または挙動を手がかりとした魚群の探索を容易に行うことができる。
この発明の一実施形態では、前記鳥の挙動が、水面への突入、および水中の覗き見のうちの少なくとも一つを含む。この構成により、経験の浅い使用者であっても、鳥の水面への突入または覗き見を手がかりとした魚群の探索を容易に行うことができる。

この発明の一実施形態では、前記探知結果出力ユニットが、前記カメラが撮像した画像中における特徴画像の位置を前記探知結果として出力する。この構成により、魚群の存在を示唆する特徴画像の位置が探知結果として出力されるので、経験の浅い使用者であっても、魚群を容易に探索することができる。
この発明の一実施形態では、前記探知結果出力ユニットが、前記画像認識ユニットの認識結果を処理して魚群の予測位置を演算する魚群位置予測ユニットを含み、前記魚群位置予測ユニットによって予測された魚群の予測位置を前記探知結果として出力する。この構成により、魚群の予測位置が提供されるので、経験の浅い使用者であっても、魚群を容易に探索することができる。

この発明の一実施形態では、前記探知結果出力ユニットが、前記画像認識ユニットの認識結果を処理して魚群の予測挙動を演算する挙動予測ユニットを含み、前記挙動予測ユニットによって予測された魚群の予測挙動を前記探知結果として出力する。この構成により、魚群の挙動が予測され、その予測挙動の情報が提供されるので、経験の浅い使用者であっても、魚群を容易に探索することができる。

この発明の一実施形態では、前記探知結果出力ユニットが、前記画像認識ユニットの認識結果を処理して魚群に含まれる魚の種類を予測する魚種予測ユニットを含み、前記魚種予測ユニットによって予測された魚の種類を前記探知結果として出力する。この構成によれば、魚群に含まれる魚種が予測され、その情報が提供されるので、経験の浅い使用者であっても、魚種を容易に把握でき、また魚種を特定した魚群の探索を行うことも容易になる。

この発明の一実施形態では、前記魚群探知装置は、前記画像認識ユニットの認識結果に対して実際の魚群の情報を対応付けた教師データを入力する教師データ入力ユニットをさらに含み、前記画像認識ユニットは、前記教師データ入力ユニットによって入力された教師データに基づいて学習する学習型画像認識エンジンを含む。この構成によれば、教師データを入力することによって、画像認識エンジンを学習させることができるので、認識精度を向上させることができる。それにより、精度の高い魚群探索が可能になる。

この発明の一実施形態では、前記教師データが、実際の魚群に含まれている魚の種類のデータを含む。この構成により、魚群に含まれる魚種を学習させることができるので、画像認識によって魚種情報を提供したり、魚種を特定して魚群を探索したりすることが可能になる。
この発明の一実施形態では、前記カメラが、３６０度カメラである。したがって、たとえば、使用者や船舶の全周囲の水面上を監視することができる。

この発明の一実施形態では、前記カメラが、携帯型通信装置に搭載される。この場合、携帯型通信装置のカメラを水面上に向けて画像を撮像し、その画像に対する認識処理によって魚群を探索できる。
この発明の一実施形態では、前記魚群探知装置の少なくとも一部の機能が、携帯型通信装置に搭載される。したがって、船舶に固定されない形態の魚群探知装置を提供できる。

この発明の一実施形態では、前記カメラが、ドローンに搭載される。これにより、使用者や船舶から離れた視点から水面上の画像を撮像し、その画像に対する認識処理によって魚群を探索できる。それにより、水面上の広い領域に渡って魚群の探索を行うことができる。
この発明の一実施形態では、前記魚群探知装置の少なくとも一部の機能が、ドローンに搭載される。この構成では、魚群の探知結果の情報がドローンから提供される。

この発明の一実施形態では、前記カメラが、人工衛星に搭載される。これにより、使用者や船舶から離れた視点から水面上の画像を撮像し、その画像に対する認識処理によって魚群を探索できる。しかも探索範囲はドローンにカメラを搭載する場合よりも広い。
この発明の一実施形態では、前記画像認識ユニットが、ネットワーク上に置かれた画像認識サーバを含む。この構成によれば、使用者が用いる装置は、画像認識ユニットの機能を備える必要がない。そして、画像認識サーバは、複数の使用者によって共通に利用され得る。

この発明の一実施形態では、前記探知結果出力ユニットが、ネットワーク上に置かれ、前記画像認識ユニットの認識結果を処理して魚群に関する情報を提供する魚群情報サーバを含む。この構成によれば、使用者が用いる装置は、探知結果出力ユニットの機能を備える必要がない。そして、魚群情報サーバは、複数の使用者によって共通に利用され得る。
この発明の一実施形態では、前記魚群情報サーバが、複数のカメラが出力した画像データに対する画像認識処理結果に基づいて魚群に関する情報を演算し、当該演算した情報を提供する。これにより、精度の高い魚群情報を提供できる。とくに、異なる位置の複数のカメラから出力された画像データの認識処理結果を用いることによって、魚群の予測位置情報等の情報の精度を高めることができる。

この発明の一実施形態は、ネットワーク上に置かれ、前述の魚群探知装置の前記画像認識ユニットとして用いられる画像認識サーバを提供する。
この発明の一実施形態は、ネットワーク上に置かれ、前述の魚群探知装置の前記探知結果出力ユニットとして用いられる魚群情報サーバを提供する。
この発明の一実施形態は、前記ネットワークに接続可能なクライアント端末装置であって、前述の前記画像認識サーバによって画像認識すべき画像データを、前記ネットワークを介して、前記画像認識サーバに送信する、クライアント端末装置を提供する。

この発明の一実施形態は、前記ネットワークに接続可能なクライアント端末装置であって、前述の前記魚群情報サーバが提供する情報を、前記ネットワークを介して受信して使用者に提供する、クライアント端末装置を提供する。

この発明によれば、水面上から観察可能な現象に基づく魚群の探索を容易にする魚群探知装置を提供できる。

図１は、この発明の一実施形態に係る魚群探知装置が搭載された船舶の構成例を示す。 図２は、魚群探知装置の電気的構成を説明するためのブロック図である。 図３Ａは、水面を撮像した画像およびその画像から認識される特徴画像の例を示す。 図３Ｂは、水面を撮像した画像およびその画像から認識される特徴画像の例を示す。 図４は、前記魚群探知装置のコンピュータによる処理内容の一例を説明するためのフローチャートである。 図５は、画像認識エンジンの学習に関する処理例を説明するためのフローチャートである。 図６は、この発明の他の実施形態を説明するための図である。 図７は、この発明のさらに他の実施形態を説明するための図である。 図８は、この発明のさらに他の実施形態を説明するための図である。 図９は、この発明のさらに他の実施形態を説明するための図である。

以下では、この発明の実施の形態を、添付図面を参照して詳細に説明する。
図１は、この発明の一実施形態に係る魚群探知装置が搭載された船舶の構成例を示す。魚群探知装置２は、船舶１の周囲の水面の様子を観察するためのカメラ２１を備えている。カメラ２１は、いわゆる３６０度カメラである。この実施形態では、船室３の屋根部４から鉛直上方に突出したポール５にカメラ２１が取り付けられている。カメラ２１は、ポールの周囲に水平面に沿って３６０度に渡る水平視野角を有し、かつ水平面の下方の俯角領域を少なくとも含む垂直視野角を有している。これにより、カメラ２１は、船舶１の全方位の水面６上の画像を撮像する。

図２は、魚群探知装置の電気的構成を説明するためのブロック図である。魚群探知装置２は、カメラ２１と、画像認識ユニット２２と、探知結果出力ユニット２３と、探知結果通知ユニット３５とを含む。画像認識ユニット２２および探知結果出力ユニット２３は、この実施形態では、コンピュータ３０の機能によって実現されている。コンピュータ３０は、プロセッサ３１およびメモリ３２を含み、メモリ３２に格納されたプログラムを実行することによって、画像認識ユニット２２および探知結果出力ユニット２３としての機能を実現するように構成されている。探知結果通知ユニット３５は、この実施形態では、探知結果を表示するディスプレイである。この他、音により探知結果を通知するスピーカ、ブザーその他の発音装置を探知結果通知ユニット３５として用いることもできる。

カメラ２１は、船舶１の周囲の画像を撮像し、その画像を表すデータ（画像データ）を出力する。この画像データがコンピュータ３０に入力される。画像認識ユニット２２は、カメラ２１が出力する画像データに対して画像認識処理を実行し、魚群の存在を示唆する特徴画像を認識する。探知結果出力ユニット２３は、画像認識ユニット２２による認識結果を処理して、探知結果を出力する。この探知結果が、探知結果通知ユニット３５によって、使用者に通知される。

探知結果出力ユニット２３は、特徴画像の位置を探知結果として出力する位置出力ユニット２３０を有していてもよい。位置出力ユニット２３０は、カメラ２１が撮像した画像中における特徴画像の位置を出力してもよい。この場合、たとえば、探知結果通知ユニット３５は、カメラ２１によって撮像された画像中で特徴画像の位置を指し示す表示出力を行うディスプレイを含むことが好ましい。位置出力ユニット２３０は、また、特徴画像に含まれる対象の位置を表す位置情報を出力してもよい。このような位置情報は、船舶１に対する特徴画像に含まれる対象の相対位置を表してもよく、この場合、位置情報は、船舶１に対する方位角および船舶１からの距離の情報を含んでいてもよい。位置情報は、特徴画像に含まれる対象の絶対座標を表す情報であってもよく、この場合、位置情報は、特徴画像に含まれる対象の緯度および経度を表す情報であってもよい。

探知結果出力ユニット２３は、画像認識ユニット２２の認識結果を処理して魚群の予測位置を演算する魚群位置予測ユニット２３１を含んでいてもよい。この場合、探知結果出力ユニット２３は、魚群位置予測ユニット２３１によって予測された魚群の予測位置を探知結果として出力することが好ましい。そして、探知結果通知ユニット３５は、カメラ２１によって撮像された画像中で魚群の予測位置を指し示す表示出力を行うディスプレイを含むことが好ましい。位置予測される対象の魚群は、典型的には、漁の対象となる魚群である。たとえば、大型の回遊魚に追われた小魚群が水面付近に集まる現象が発生し、この現象が画像認識される場合には、漁の対象魚は、通常、小魚群ではなく、大型の回遊魚の方である。この場合には、小魚群の周囲の領域、漁対象魚群の予測位置である。

探知結果出力ユニット２３は、画像認識ユニット２２の認識結果を処理して魚群の予測挙動を演算する魚群挙動予測ユニット２３２を含んでいてもよい。この場合、探知結果出力ユニット２３は、魚群挙動予測ユニット２３２によって予測された魚群の予測挙動を探知結果として出力することが好ましい。そして、探知結果通知ユニット３５は、演算された予測挙動を探知結果として出力することが好ましい。探知結果通知ユニット３５は、魚群の予測挙動をディスプレイ上に文字表示または画像表示してもよい。挙動予測される対象の魚群は、典型的には、漁の対象となる魚群である。たとえば、小魚群が水面付近に集まる現象が画像認識される場合に、小魚群の挙動に基づいて、大型回遊魚の挙動が予測される。また、小魚群に群れる鳥の動きから、大型回遊魚の挙動が予測されてもよい。

探知結果出力ユニット２３は、画像認識ユニット２２の認識結果を処理して、魚群に含まれる魚の種類を予測する魚種予測ユニット２３３を含むことが好ましい。この場合、探知結果出力ユニット２３は、予測された魚の種類を探知結果として出力することが好ましい。探知結果通知ユニット３５は、魚種をディスプレイ上に文字表示または画像表示してもよいし、魚種の読み上げ音声をスピーカから発音してもよい。予測される魚種は、典型的には、漁の対象となる魚種である。たとえば、小魚群が水面付近に集まる現象が画像認識される場合に、それを追う大型回遊魚の魚種が予測される。

画像認識ユニット２２は、学習型の画像認識エンジン２２１を含んでいてもよい。この場合、コンピュータ３０は、教師データ入力ユニット２４としての機能を有していてもよい。また、コンピュータ３０は、ポインティングデバイス、キーボード、ディスプレイ上のタッチパネルなどの入力デバイス３３を接続可能に構成されていてもよい。
教師データ入力ユニット２４は、画像認識ユニット２２の認識結果に対して、入力デバイス３３からの入力情報を対応付けて教師データを生成する。画像認識エンジン２２１は、その教師データに基づく学習によって、画像認識精度を向上させる。入力デバイス３３からの入力情報は、魚群の存在を表す情報であってもよい。これにより、特定の画像パターンを魚群の存在可能性を示唆する特徴画像として認識できるようになる。入力デバイス３３からの入力情報は、魚種を表す情報であってもよい。これにより、特定の特徴画像が認識されたときに、その特徴画像に対応する魚群の魚種情報を併せて提供できる。この場合、魚種予測ユニット２３３は、画像認識ユニット２２から、認識された特徴画像に対応する魚種情報を検索して魚種を予測してもよい。

図３Ａは、特徴画像およびその認識結果表示の一例を示す。図３Ａには、鳥山画像１００、ナブラ画像１１０および水面上を飛ぶ魚の画像１３０を含む画像の表示例が示されている。
鳥山画像とは、水面付近の子魚群に多数の鳥が群がって形成される鳥山（鳥群）の画像である。このような鳥山画像１００が特徴画像の一つとして認識され、認識された鳥山画像１００の領域が枠線１０１で囲まれることにより、表示された全画像中での鳥山画像１００の位置が表示される。さらに、図３Ａの例では、特徴画像の種類１０２が「鳥山検出」と文字表示され、かつ当該鳥山の船舶１に対する方位角および距離を含む位置情報１０３が文字表示されている。鳥山画像１００が認識されたときには、鳥山画像１００に含まれる鳥の種類、数および挙動のうちの少なくとも一つがさらに画像認識されてもよい。認識される鳥の挙動は、水面への突入および水中の覗き見のうちの少なくとも一つを含むことが好ましい。

ナブラ画像とは、大型魚等に追われた小魚の群れが水面付近で水しぶきを上げることにより形成されるナブラの画像である。このようなナブラ画像１１０が特徴画像の一つとして認識され、認識されたナブラ画像１１０の領域が枠線１１１で囲まれることにより、表示された全画像中でのナブラ画像１１０の位置が表示される。さらに、図３Ａの例では、特徴画像の種類１１２が「ナブラ検出」と文字表示され、かつ当該ナブラの船舶１に対する方位角および距離を含む位置情報１１３が文字表示されている。

水面上を飛ぶ魚の画像とは、水中から水面上に飛び上がった魚の画像である。大型魚等に追われた小魚（トビウオ等）が水中から飛び出したり、大型魚等が水面上に飛び上がったりすることがある。図３Ａには、大型魚が飛び上がった画像１３０を示す。画像１３０が特徴画像の一つとして認識され、認識された画像１３０の領域が枠線１３１で囲まれることにより、表示された全画像中での画像１３０の位置が表示される。さらに、図３Ａの例では、特徴画像の種類１３２が「魚検出」と文字表示され、かつ当該検出された魚の船舶１に対する方位角および距離を含む位置情報１３３が文字表示されている。

図３Ｂは、特徴画像およびその認識結果表示のさらに他の例を示す。図３Ｂには、潮目画像１２０を含む画像の表示例が示されている。潮目画像とは、潮目の画像である。潮目とは、海流の境界や海水温の界面において水面に現れる境界線である。このような潮目画像１２０が特徴画像の一つとして認識され、認識された潮目画像１２０の領域が枠線１２１で囲まれることにより、表示された全画像中での潮目画像１２０の位置が表示される。さらに、図３Ｂの例では、特徴画像の種類１２２が「潮目検出」と文字表示され、かつ当該潮目の船舶１に対する方位角および距離を含む位置情報１２３が文字表示されている。

これらのほか、水中を泳ぐ魚の画像、水面に突入する鳥の画像、水中を覗き見する鳥の画像なども、魚群の存在を示唆する特徴画像の例である。
特徴画像は、静止画（１枚の画像）であってもよいし、動画（時系列に従って連続する複数枚の画像）であってもよい。
図４は、コンピュータ３０による処理内容の一例を説明するためのフローチャートである。コンピュータ３０は、カメラ２１が出力する画像データを取得し（ステップＳ１）、取得した画像データに対して画像認識処理を実行して、特徴画像を抽出する（ステップＳ２）。コンピュータ３０は、抽出された特徴画像の種類を調べる。特徴画像の種類とは、鳥山、ナブラ、潮目の区別などである。鳥山画像が認識された場合には、その鳥山画像に含まれる鳥の種類、数および挙動のうちの少なくとも一つがさらに画像認識されることが好ましい。

さらに、コンピュータ３０は、抽出された特徴画像の位置情報を演算する（ステップＳ３）。特徴画像の位置情報は、撮像された画像内の特徴画像の位置、ならびに船舶１に対する方位角の情報および船舶１からの距離の情報を含む。コンピュータ３０は、さらに、抽出された特徴画像に関連する魚種情報を検索する（ステップＳ４）。対応する魚種情報が見つかれば、これを抽出する。また、コンピュータ３０は、特徴画像に基づいて、魚群の位置を予測したり、魚群の挙動を予測したりする演算を行ってもよい（ステップＳ５，Ｓ６）。

コンピュータ３０は、探知結果通知ユニット３５により、特徴画像を含む画像を画像表示させる（ステップＳ７）。その際、コンピュータ３０は、画像中での特徴画像の位置を表示（たとえば枠線で表示）し、当該特徴画像の種類を表示し、当該特徴画像の船舶に対する位置情報を表示する。さらに、コンピュータ３０は、魚種を予測（検索）できた場合には、探知結果通知ユニット３５により、魚種情報を併せて表示する。また、コンピュータ３０は、魚群の予測位置や予測挙動を探知結果通知ユニット３５に表示する。また、鳥山画像が認識された場合において、さらに、鳥の種類、数、挙動が画像認識された場合には、それらの情報も併せて表示されることが好ましい。

こうして、使用者は、探知結果通知ユニット３５から情報を取得して、その情報に基づいて、魚群へと船舶１を進めることができる。
前述のとおり、漁の対象は、多くの場合、小魚を追う大型の回遊魚である。したがって、鳥山付近の小魚群やナブラを形成する小魚群の位置や挙動に基づいて、対象魚群の種類、位置、挙動などが予測され、その予測結果が報知されることが好ましい。それにより、使用者は、対象魚群の位置を容易に知ることができる。

図５は、画像認識エンジン２２１の学習に関する処理例を説明するためのフローチャートである。コンピュータ３０は、カメラ２１が撮像した画像、および／または探知結果通知ユニット３５に表示した画像の画像データをメモリ３２に格納して保存する。保存される画像データは、一定時間分に限ることとして、古い画像データは破棄してもよい。
使用者は、入力デバイス３３を操作することによって、コンピュータ３０を学習モードにすることができる。そして、使用者は、画像データを再生して（ステップＳ１１）、その再生画像中に魚群を示唆する特徴画像を見つけた場合、入力デバイス３３を操作して、その特徴画像の領域を指定することができる（ステップＳ１２）。これにより、コンピュータ３０は、その特徴画像が魚群の存在を示唆する画像サンプルであることを表す教師データを作成して（ステップＳ１４）、画像認識エンジン２２１に追加する（ステップＳ１５）。

また、使用者は、画像認識された特定の特徴画像に基づいて漁を行うことで、当該特徴画像に対応する魚種を特定できたときに、当該特徴画像に対して対応付けるべき魚種を入力デバイス３３から入力することができる（ステップＳ１３）。すると、コンピュータ３０は、当該特徴画像に対して当該入力された魚種情報を対応付ける教師データを作成して（ステップＳ１４）、画像認識エンジン２２１に追加する（ステップＳ１５）。

画像認識エンジン２２１は、教師データに基づく学習を行うことによって、認識精度を向上させる。
このようにして、使用者の入力に応じて認識精度を高める仕組みを備えることができるので、使い勝手のよい魚群探知装置２へと成長させることができる。
魚群の予測位置や予測挙動についても、同様にして、画像認識エンジン２２１に学習させてもよい。

以上のように、この実施形態によれば、カメラ２１で水面上の画像を撮像することにより、カメラ２１が出力する画像データに対する画像認識処理によって魚群の存在を示唆する特徴画像が認識され、その特徴画像に基づいて探知結果が出力される。それにより、使用者の経験の多寡に依らずに、水面上で観察可能な現象に基づいて魚群を容易に探索することができる。

この実施形態では、画像認識される特徴画像が、ナブラを含む画像、潮目を含む画像、水面上を飛ぶ魚の画像、および鳥の画像を含む。したがって、経験の浅い使用者であっても、ナブラ、潮目、水面上を飛ぶ魚および鳥のいずれかを手がかりとした魚群の探索を容易に行うことができる。また、特徴画像が、水中を泳ぐ魚の画像を含む場合には、経験の浅い使用者であっても、水中を泳ぐ魚を手がかりとした魚群の探索を容易に行うことができる。また、鳥山画像から、鳥の種類、鳥の数、または鳥の挙動がさらに認識される場合には、経験の浅い使用者であっても、それらを手がかりとして魚群を探索できる。

また、この実施形態では、探知結果通知ユニット３５はディスプレイの形態を有しており、カメラ２１が撮像した画像中に特徴画像の位置が枠線で示される。それにより、特徴画像の位置を容易に把握できるので、魚群を容易に探索することができる。しかも、位置情報が画面中に併せて表示されるので、魚群の探索が一層容易である。
さらに、対象魚群の種類、予測位置または予測挙動が探知結果通知ユニット３５によって通知される場合には、経験の浅い使用者であっても、魚群を一層容易に探索することができる。

また、カメラ２１が、３６０度カメラである場合には、使用者や船舶１の全周囲の水面上を監視することができるので、魚群の探索が一層容易になる。
図６は、この発明の他の実施形態を説明するための図である。前述の実施形態では、船舶に搭載される魚群探知装置の構成を説明したが、この実施形態は、携帯型通信装置４０、典型的にはスマートフォンまたは携帯電話機に魚群探知装置の機能が搭載される。携帯型通信装置４０は、カメラ４１と、コンピュータ４２と、ディスプレイ４３と、入力デバイス４４と、通信インタフェース４５とを備えている。カメラ４１は、典型的には、広角レンズを備えたカメラである。むろん、３６０度カメラを外付けしてもよい。

コンピュータ４２は、プロセッサ４２１およびメモリ４２２を含む。カメラ４１およびコンピュータ４２の機能は、前述の第１の実施形態の場合とほぼ同様である。コンピュータ４２の機能を実現するためのプログラムは、たとえば、オペレーティングシステム上で作動するアプリケーションプログラムとして提供され、コンピュータ４２内のメモリ４２２に格納される。プロセッサ４２１がメモリ４２２に格納されたプログラムを実行することにより、コンピュータ４２は、前述の第１の実施形態における、画像認識ユニット２２および探知結果出力ユニット２３および教師データ入力ユニット２４と同様の機能を実現する。

ディスプレイ４３は、前述の第１の実施形態における探知結果通知ユニット３５に対応する機能を有する。入力デバイス４４は、典型的にはタッチパネルまたはキーボードであり、前述の第１の実施形態における入力デバイス３３に相当する。これらの構成により、第１の実施形態の魚群探知装置２と同様の機能を携帯型通信装置４０によって提供できる。

通信インタフェース４５は、インターネット等のワイドエリアネットワーク（ＷＡＮ）５０と携帯型通信装置４０との間の無線通信を仲介する。コンピュータ４２は、通信インタフェース４５を介して、画像認識エンジンをアップデートしたり、画像認識エンジンの学習用教師データを、ワイドエリアネットワーク５０上に置かれた教師データサーバ５１から取得したりすることができる。また、コンピュータ４２は、通信インタフェース４５を介して、教師データサーバ５１に教師データをアップロードすることができる。

携帯型通信装置４０とワイドエリアネットワーク５０との接続状態を維持できる環境では、コンピュータ４２は、ワイドエリアネットワーク５０に接続された画像認識サーバ５２を利用してもよい。すなわち、コンピュータ４２は、カメラ４１が出力する画像データを画像認識サーバ５２に送信する。画像認識サーバ５２は、画像データを受信し、その画像データに対して認識処理を行って特徴画像を抽出する。その特徴画像のデータが携帯型通信装置４０に送信される。コンピュータ４２は、通信インタフェース４５を介してそのデータを受信し、認識結果をディスプレイ４３に表示する。このように、画像認識ユニットの機能の一部または全部を、携帯型通信装置４０の外部に備えることもできる。

このような構成により、携帯型通信装置４０のカメラ４１を水面上に向けて画像を撮像し、その画像に対する認識処理によって魚群を探索できる。また、魚群探知装置の機能が、携帯型通信装置４０に搭載されるので、船舶に固定されない形態の魚群探知装置を提供できる。
図７は、この発明のさらに他の実施形態を説明するための図である。この実施形態の魚群探知装置は、ドローン６０と、コントローラ７０とを含む。

ドローン６０は、空中浮上推進装置６１と、カメラ６２と、コンピュータ６３と、通信インタフェース（Ｉ／Ｆ）６４とを備えている。空中浮上推進装置６１は、典型的には、複数のプロペラを含む。カメラ６２は、典型的には、広角レンズを備えたカメラである。むろん、３６０度カメラであってもよい。
コンピュータ６３は、通信インタフェース６４を介してコントローラ７０と通信（典型的には無線通信）を行う。それにより、コンピュータ６３は、コントローラ７０から飛行指令信号を受信することができ、かつコントローラ７０に対して情報を送信することができる。飛行指令信号は、ドローン６０の進行方向および進行速度などを指令する信号である。コンピュータ６３は、飛行指令信号に応じて、空中浮上推進装置６１を制御し、それによってドローン６０の運動（飛行）を制御する。コントローラ７０に対して送信される情報は、カメラ６２が撮像した画像を表す画像データを含む。

コントローラ７０は、スマートフォンその他の携帯型情報機器（携帯型通信装置）であってもよいし、船舶に固定された据置き型の装置であってもよい。コントローラ７０は、コンピュータ７１と、ディスプレイ７２と、入力デバイス７３と、通信インタフェース（Ｉ／Ｆ）７４とを備えている。
コンピュータ７１は、通信インタフェース７４を介して、ドローン６０と通信（典型的には無線通信）を行う。それにより、コンピュータ７１は、ドローン６０に対して飛行指令信号を送信したり、ドローン６０から情報を受信したりすることができる。受信する情報は、ドローン６０に搭載されたカメラ６２が出力する画像データを含む。この画像データに基づいて、コンピュータ７１は、ディスプレイ７２にカメラ６２が撮像した画像を表示させることができる。

入力デバイス７３は、タッチパネル、ジョイスティック等であってもよい。使用者による入力デバイス７３の操作に応じて、または所定のプログラムに従って、コンピュータ７１は、飛行指令信号をドローン６０に送信する。それにより、ドローン６０の飛行を遠隔操作することができる。
一つの具体例では、コントローラ７０に備えられたコンピュータ７１が、前述の第１の実施形態における画像認識ユニット２２、探知結果出力ユニット２３および教師データ入力ユニット２４と同様の機能を有している。この場合、ドローン６０のコンピュータ６３は、画像データを通信インタフェース６４からコントローラ７０に向けて送信する。

他の具体例では、ドローン６０のコンピュータ６３が、前述の第１の実施形態における画像認識ユニット２２、探知結果出力ユニット２３および教師データ入力ユニット２４と同様の機能を有している。この場合、ドローン６０のコンピュータ６３は、画像データだけでなく、特徴画像の認識結果および付随情報を通信インタフェース７４からコントローラ７０に向けて送信する。付随情報には、特徴画像の位置情報、対象魚群の予測位置および予測挙動の情報などが含まれる。

コントローラ７０は、第２の実施形態の携帯型通信装置４０と同様に、インターネット等のワイドエリアネットワーク５０に接続されていてもよい。この場合、通信インタフェース７４は、ワイドエリアネットワーク５０とコントローラ７０との間の無線通信を仲介する。コンピュータ７１は、通信インタフェース７４を介して、画像認識エンジンをアップデートしたり、画像認識エンジンの学習用教師データを、ワイドエリアネットワーク５０上に置かれた教師データサーバ５１から取得したりすることができる。また、コンピュータ７１は、通信インタフェース７４を介して、教師データサーバ５１に教師データをアップロードすることができる。

コントローラ７０とワイドエリアネットワーク５０との接続状態が維持できる環境では、コンピュータ７１は、ワイドエリアネットワーク５０上で提供される画像認識サーバ５２を利用してもよい。すなわち、コンピュータ７１は、ドローン６０から取得される画像データを画像認識サーバ５２に送信する。画像認識サーバ５２は、画像データを受信し、その画像データに対して認識処理を行って特徴画像を抽出する。その特徴画像のデータがコントローラ７０に送信される。コンピュータ７１は、通信インタフェース７４を介してそのデータを受信し、認識結果をディスプレイ７２に表示する。このように、画像認識ユニットの機能の一部または全部を、コントローラ７０およびドローン６０の外部に備えることもできる。

この実施形態の構成では、ドローン６０のカメラ６２を利用することにより、使用者や船舶から離れた視点から水面上の画像を撮像し、その画像に対する認識処理によって魚群を探索できる。それにより、水面上の広い領域に渡って魚群の探索を行うことができる。
図８は、この発明のさらに他の実施形態を説明するための図である。この実施形態では、人工衛星８０に備えられたカメラ８１が撮像する画像、すなわち衛星画像の画像データが利用される。カメラ８１は、地球の表面（湖面および海面を含む）の画像を撮像する。この実施形態の魚群探知装置９０は、人工衛星８０と通信可能に構成されている。魚群探知装置９０は、スマートフォンその他の携帯型情報機器であってもよいし、船舶に固定された据置き型の処理装置であってもよい。

魚群探知装置９０は、コンピュータ９１と、ディスプレイ９２と、入力デバイス９３と、通信インタフェース９４とを備えている。コンピュータ９１は、通信インタフェース９４を介して、人工衛星８０と通信（典型的には無線通信）を行う。それにより、コンピュータ９１は、人工衛星８０から情報を受信することができる。受信する情報は、人工衛星８０に搭載されたカメラ８１が出力する衛星画像の画像データを含む。この画像データに基づいて、コンピュータ９１は、ディスプレイ９２に衛星画像を表示させることができる。入力デバイス９３は、タッチパネル、ジョイスティック等であってもよい。

コンピュータ９１は、前述の第１の実施形態における画像認識ユニット２２、探知結果出力ユニット２３および教師データ入力ユニット２４と同様の機能を有している。
魚群探知装置９０は、第２の実施形態の携帯型通信装置４０と同様に、インターネット等のワイドエリアネットワーク５０に接続されていてもよい。この場合、通信インタフェース９４は、ワイドエリアネットワーク５０とコンピュータ９１との間の無線通信を仲介する。コンピュータ９１は、通信インタフェース９４を介して、画像認識エンジンをアップデートしたり、画像認識エンジンの学習用教師データを、ワイドエリアネットワーク５０上に置かれた教師データサーバ５１から取得したりすることができる。また、コンピュータ９１は、通信インタフェース９４を介して、教師データサーバ５１に教師データをアップロードすることができる。

魚群探知装置９０とワイドエリアネットワーク５０との接続状態が維持できる環境では、コンピュータ９１は、ワイドエリアネットワーク５０上で提供される画像認識サーバ５２を利用してもよい。すなわち、コンピュータ９１は、衛星画像の画像データを画像認識サーバ５２に送信する。画像認識サーバ５２は、画像データを受信し、その画像データに対して認識処理を行って特徴画像を抽出する。その特徴画像のデータが魚群探知装置９０に送信される。コンピュータ９１は、通信インタフェース９４を介してそのデータを受信し、認識結果をディスプレイ９２に表示する。このように、画像認識ユニットの機能の一部または全部を魚群探知装置９０外に備えることもできる。

この実施形態の構成では、人工衛星８０のカメラ８１を利用することにより、使用者や船舶から離れた視点から水面上の画像を撮像し、その画像に対する認識処理によって魚群を探索できる。しかも探索範囲はドローンにカメラを搭載する場合よりも広いので、広範囲に亘る魚群探索が可能である。
なお、人工衛星８０とワイドエリアネットワーク５０とが通信可能に接続されていて、カメラ８１が出力する衛星画像の画像データがワイドエリアネットワーク５０上で提供されてもよい。このような場合には、魚群探知装置９０は、ワイドエリアネットワーク５０から衛星画像の画像データを取得してもよい。

図９は、この発明のさらに他の実施形態を説明するための図である。この実施形態では、ワイドエリアネットワーク５０上に、画像認識サーバ５２および魚群情報サーバ５３が置かれている。そして、複数のクライアント端末装置４０１，４０２，４０３，４０４，…が、ワイドエリアネットワーク５０に通信可能に接続されている。複数のクライアント端末装置４０１，４０２，４０３，４０４，…は、典型的には、複数の船舶１１，１２，４１３，１４，…上で使用される。クライアント端末装置４０１，４０２，４０３，４０４，…は、使用者が携帯可能な携帯型通信装置（図６参照）の形態を有していてもよいし、船舶に取り付けられた据え置き型装置（図７等参照）の形態を有していてもよい。ここでは、クライアント端末装置４０１，４０２，４０３，４０４，…が図６に示す携帯型通信装置４０の形態を有している例について説明することとし、必要に応じて、図６を参照する。

クライアント端末装置４０１，４０２，４０３，４０４，…（図６の携帯型通信装置４０）には、画像認識サーバ５２および魚群情報サーバ５３と通信して、カメラ４１で撮像した画像の画像データをアップロードしたり、魚群の情報を取得したりするためのアプリケーションプログラムが組み込まれている。使用者は、そのアプリケーションプログラムを起動することによって、船舶の周囲の水面上をカメラ４１で撮像して得た画像データを画像認識サーバ５２に送信したり、魚群情報サーバ５３から魚群に関する予測情報を取得したりすることができる。クライアント端末装置４０１，４０２，４０３，４０４，…は、画像データを画像認識サーバ５２に送信するときに、当該クライアント端末装置４０１，４０２，４０３，４０４，…の位置情報（座標データ等）、およびカメラ４１による撮像方向を表す情報を併せて送信することが好ましい。

画像認識サーバ５２は、複数のクライアント端末装置４０１，４０２，４０３，４０４，…からワイドエリアネットワーク５０を介して送られてくる画像データを受信し、それらの画像データに対して画像認識処理を行うことにより、特徴画像を抽出する。画像認識サーバ５２は、その特徴画像の情報を、ワイドエリアネットワーク５０を介して魚群情報サーバ５３へ送信する。

魚群情報サーバ５３は、画像認識サーバ５２から受け取る情報に基づいて、魚群に関する情報を予測する。魚群情報サーバ５３は、前述の探知結果出力ユニット２３と同様の処理を実行して、魚群に関する情報を予測する。予測される情報は、魚種、魚群の位置、および魚群の挙動のうちの少なくとも一つを含むことが好ましい。予測された情報は、ワイドエリアネットワーク５０を介して、クライアント端末装置４０１，４０２，４０３，４０４，…へと送信される。魚群情報サーバ５３は、一つのクライアント端末装置４０１，４０２，４０３，４０４，…から送信された画像データの画像認識によって得られた情報に基づいて、魚群に関する情報を予測してもよい。さらに、魚群情報サーバ５３は、複数のクライアント端末装置４０１，４０２，４０３，４０４，…から送信された画像データの画像認識によって得られた情報に基づいて、魚群に関する情報を予測してもよい。

魚群情報サーバ５３は、複数のクライアント端末装置４０１，４０２，４０３，４０４，…から送信された画像データの画像認識によって得られる情報を組み合わせることによって、より精度の高い情報を予測することができる。たとえば、一つのクライアント端末装置４０１，４０２，４０３，４０４，…からの画像データの画像認識によって鳥の移動方向を予測し、他のクライアント端末装置４０１，４０２，４０３，４０４，…からの画像データの画像認識によって別の鳥の移動方向が予測されれば、鳥の移動方向の交差する位置に魚群が存在すると予測できる。このように、複数のクライアント端末装置４０１，４０２，４０３，４０４，…からの画像の分析結果に基づいて、魚群の位置等を正確に予測することができる。鳥の移動方向は、画像認識サーバ５２における画像認識処理によって特定されてもよいし、魚群情報サーバ５３が画像認識結果を処理して鳥の移動方向を特定してもよい。

クライアント端末装置４０１，４０２，４０３，４０４，…は、魚群情報サーバ５３から情報を受信し、その受信した情報を使用者に報知（典型的にはディスプレイに表示）する。たとえば、クライアント端末装置４０１，４０２，４０３，４０４，…は、地図上に魚群の位置表示を行ってもよい。
前述の実施形態の場合と同様に、ワイドエリアネットワーク５０上に教師データサーバ５１が置かれてもよい。そして、クライアント端末装置４０１，４０２，４０３，４０４，…から教師データサーバ５１に教師データがアップロードされてもよい。この場合、画像認識サーバ５２は、教師データサーバ５１に蓄積された教師データを用いて学習することにより、その画像認識機能を向上させることができる。

以上、この発明の実施形態について説明してきたが、この発明は、さらに他の形態で実施することもでき、特許請求の範囲に記載された事項の範囲で種々の設計変更を施すことが可能である。

１，１１〜１４ 船舶、２ 魚群探知装置、２１ カメラ、２２ 画像認識ユニット、２２１ 学習型の画像認識エンジン、２３ 探知結果出力ユニット、２３０ 位置出力ユニット、２３１ 魚群位置予測ユニット、２３２ 魚群挙動予測ユニット、２３３ 魚種予測ユニット、２４ 教師データ入力ユニット、３０ コンピュータ、３３ 入力デバイス、３５ 探知結果通知ユニット、４０ 携帯型通信装置、４１ カメラ、４２ コンピュータ、４３ ディスプレイ、４４ 入力デバイス、４５ 通信インタフェース、５２ 画像認識サーバ、５３ 魚群情報サーバ、６０ ドローン、６２ カメラ、６３ コンピュータ、７０ コントローラ、７１ コンピュータ、７２ ディスプレイ、７３ 入力デバイス、７４ 通信インタフェース、８０ 人工衛星、８１ カメラ、９０ 魚群探知装置、９１ コンピュータ、９２ ディスプレイ、９３ 入力デバイス、９４ 通信インタフェース、１００ 鳥山画像、１１０ ナブラ画像、１２０ 潮目画像、１３０ 魚の画像、４０１〜４０４ クライアント端末装置

Claims (24)

1. カメラが出力する画像データに対して画像認識処理を実行し、魚群の存在を示唆する特徴画像を認識する画像認識ユニットと、
   前記画像認識ユニットの認識結果を処理して探知結果を出力する探知結果出力ユニットと
   を含む、魚群探知装置。
2. 前記特徴画像が、ナブラを含む画像、潮目を含む画像、水面上を飛ぶ魚の画像、および鳥の画像のうちの少なくとも一つを含む、請求項１に記載の魚群探知装置。
3. 前記特徴画像が、水中を泳ぐ魚の画像を含む、請求項１または２に記載の魚群探知装置。
4. 前記特徴画像が、鳥の画像を含み、
   前記画像認識ユニットが、鳥の画像から、鳥の種類、鳥の数、および鳥の挙動の少なくとも一つを認識結果として出力する、請求項１〜３のいずれか一項に記載の魚群探知装置。
5. 前記鳥の挙動が、水面への突入、および水中の覗き見のうちの少なくとも一つを含む、請求項４に記載の魚群探知装置。
6. 前記探知結果出力ユニットが、前記カメラが撮像した画像中における特徴画像の位置を前記探知結果として出力する、請求項１〜５のいずれか一項に記載の魚群探知装置。
7. 前記探知結果出力ユニットが、前記画像認識ユニットの認識結果を処理して魚群の予測位置を演算する魚群位置予測ユニットを含み、前記魚群位置予測ユニットによって予測された魚群の予測位置を前記探知結果として出力する、請求項１〜６のいずれか一項に記載の魚群探知装置。
8. 前記探知結果出力ユニットが、前記画像認識ユニットの認識結果を処理して魚群の予測挙動を演算する挙動予測ユニットを含み、前記挙動予測ユニットによって予測された魚群の予測挙動を前記探知結果として出力する、請求項１〜７のいずれか一項に記載の魚群探知装置。
9. 前記探知結果出力ユニットが、前記画像認識ユニットの認識結果を処理して魚群に含まれる魚の種類を予測する魚種予測ユニットを含み、前記魚種予測ユニットによって予測された魚の種類を前記探知結果として出力する、請求項１〜８のいずれか一項に記載の魚群探知装置。
10. 前記画像認識ユニットの認識結果に対して実際の魚群の情報を対応付けた教師データを入力する教師データ入力ユニットをさらに含み、
    前記画像認識ユニットは、前記教師データ入力ユニットによって入力された教師データに基づいて学習する学習型画像認識エンジンを含む、請求項１〜９の魚群探知装置。
11. 前記教師データが、実際の魚群に含まれている魚の種類のデータを含む、請求項１０に記載の魚群探知装置。
12. 前記カメラが、３６０度カメラである、請求項１〜１１のいずれか一項に記載の魚群探知装置。
13. 前記カメラが、携帯型通信装置に搭載される、請求項１〜１２のいずれか一項に記載の魚群探知装置。
14. 前記魚群探知装置の少なくとも一部の機能が、携帯型通信装置に搭載される、請求項１〜１２のいずれか一項に記載の魚群探知装置。
15. 前記カメラが、ドローンに搭載される、請求項１〜１２のいずれか一項に記載の魚群探知装置。
16. 前記魚群探知装置の少なくとも一部の機能が、ドローンに搭載される、請求項１〜１２のいずれか一項に記載の魚群探知装置。
17. 前記カメラが、人工衛星に搭載される、請求項１〜１１のいずれか一項に記載の魚群探知装置。
18. 前記画像認識ユニットが、ネットワーク上に置かれた画像認識サーバを含む、請求項１〜１７のいずれか一項に記載の魚群探知装置。
19. 前記探知結果出力ユニットが、ネットワーク上に置かれ、前記画像認識ユニットの認識結果を処理して魚群に関する情報を提供する魚群情報サーバを含む、請求項１〜１８のいずれか一項に記載の魚群探知装置。
20. 前記魚群情報サーバが、複数のカメラが出力した画像データに対する画像認識処理結果に基づいて魚群に関する情報を演算し、当該演算した情報を提供する、請求項１９に記載の魚群探知装置。
21. ネットワーク上に置かれ、請求項１〜２０のいずれか一項に記載の魚群探知装置の前記画像認識ユニットとして用いられる画像認識サーバ。
22. ネットワーク上に置かれ、請求項１〜２０のいずれか一項に記載の魚群探知装置の前記探知結果出力ユニットとして用いられる魚群情報サーバ。
23. 前記ネットワークに接続可能なクライアント端末装置であって、請求項２１に記載の前記画像認識サーバによって画像認識すべき画像データを、前記ネットワークを介して、前記画像認識サーバに送信する、クライアント端末装置。
24. 前記ネットワークに接続可能なクライアント端末装置であって、請求項２２に記載の前記魚群情報サーバが提供する情報を、前記ネットワークを介して受信して使用者に提供する、クライアント端末装置。

Images