JP2021012193A - 魚種学習装置、魚種学習システムおよび魚種学習方法 - Google Patents

魚種学習装置、魚種学習システムおよび魚種学習方法 Download PDF

Info

Publication number
JP2021012193A
JP2021012193A JP2020111721A JP2020111721A JP2021012193A JP 2021012193 A JP2021012193 A JP 2021012193A JP 2020111721 A JP2020111721 A JP 2020111721A JP 2020111721 A JP2020111721 A JP 2020111721A JP 2021012193 A JP2021012193 A JP 2021012193A
Authority
JP
Japan
Prior art keywords
fish
school
sonar
species
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2020111721A
Other languages
English (en)
Inventor
ジェロム ジュブイ
Jerome Dubuis
ジェロム ジュブイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Furuno Electric Co Ltd
Original Assignee
Furuno Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Furuno Electric Co Ltd filed Critical Furuno Electric Co Ltd
Publication of JP2021012193A publication Critical patent/JP2021012193A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/96Sonar systems specially adapted for specific applications for locating fish
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/56Display arrangements
    • G01S7/62Cathode-ray tube displays
    • G01S7/6245Stereoscopic displays; Three-dimensional displays; Pseudo-three dimensional displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02Agriculture; Fishing; Forestry; Mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

【課題】魚種判別のための魚種学習装置の提供。【解決手段】魚種学習装置330は、超音波の送受信により魚群を検出する魚群探知機301が受信した魚探受信データと、超音波の送受信により魚群を検出するソナー303が受信したソナー受信データを取得するデータ取得部324と、魚探受信データに含まれる魚群とソナー受信データに含まれる一又は複数の魚群の対応付けを行う魚群関連付け部325と、ソナー受信データから一の魚群を選択する魚群選択部326と、選択された一の魚群の魚種を入力する魚種入力部327と、選択された一の魚群の魚種と、魚群の魚探受信データに基づいて、魚探受信データと魚種の関係を示す学習データセットを生成する学習部321により構成される。【選択図】図8

Description

本開示の例示的実施形態は、一般に、魚種判別技術に関し、より詳細には、魚種判別のための学習データセットを生成する装置、システムおよび方法に関する。
魚群の検出や魚種の判別には、一般に魚群探知機が用いられる。魚種判別を行う前に、魚群探知機の魚種判別機能の学習が必要である。現状、船長は、漁獲された魚群に対応するエコーデータを手動で記録し、そのエコーデータを漁獲された魚群に関する他の情報と関連付けて、魚種判別機能の学習データセットを生成しなければならない。しかし、漁船の乗組員は重要業務をいくつも抱えており、学習データセットの作成する余裕がない。このため、魚種判別機能を最適化することは困難である。
まれに、手動で生成した学習データセットにはヒューマンエラーによる矛盾が含まれる。例えば、船長がエコーデータを記録するのを忘れたり、船長が実際に漁獲した魚群とエコーデータの対応付けを正確に対応付けできなかったりする。さらに、現在の学習データセットの生成プロセスは誤りを起こしやすいので、そのような誤りのある学習データセットを用いて学習された魚種判別機能は信頼できる結果を提供しない場合がある。従って、人間の介入は最小限とし、魚種判別機能のための信頼できる学習データセットを生成するシステムが必要である。
上記の問題を解決するために、本発明の魚種学習装置では、超音波の送受信により魚群を検出する魚群探知機が受信した魚探受信データと、超音波の送受信により魚群を検出するソナーが受信したソナー受信データを取得するデータ取得部と、魚探受信データに含まれる魚群とソナー受信データに含まれる一又は複数の魚群の対応付けを行う魚群関連付け部と、ソナー受信データから一の魚群を選択する魚群選択部と、選択された一の魚群の魚種を入力する魚種入力部と、選択された一の魚群の魚種と、魚群の魚探受信データに基づいて、魚探受信データと魚種の関係を示す学習データセットを生成する学習部により構成される。
別の態様では、魚種判別のための魚種学習システムを提供する。本魚種学習システムは、魚種学習装置と、受信した魚探受信データを魚種学習装置のデータ取得部に送出する魚群探知機と、受信したソナー受信データを魚種学習装置のデータ取得部に送出するソナーと、を備える。
別の態様では、魚種判別のための魚種学習方法を提供する。本魚種学習方法では、超音波の送受信により魚群を検出する魚群探知機が受信した魚探受信データと、超音波の送受信により魚群を検出するソナーが受信したソナー受信データを取得し、魚探受信データに含まれる魚群とソナー受信データに含まれる一又は複数の魚群の対応付けを行い、ソナー受信データから一の魚群を選択し、ユーザにより選択された一の魚群の魚種を入力し、選択された一の魚群の魚種と、魚群の魚探受信データに基づいて、魚探受信データと魚種の関係を示す学習データセットを生成する。
例示する実施形態において、データ取得部は、さらに、魚探受信データから魚群の位置を示す魚探魚群位置情報、およびソナー受信データから一又は複数の魚群のそれぞれの位置を示すソナー魚群位置情報を取得し、魚群関連付け部は、魚探魚群位置情報とソナー魚群位置情報に基づいて、対応付けを行うことができる。
例示する実施形態において、魚探魚群位置情報およびソナー魚群位置情報は、それぞれの魚群の水深情報を含み、魚群関連付け部は、魚探魚群位置情報の魚群の水深情報とソナー魚群位置情報の魚群の水深情報の数値の差異に基づいて、対応付けを行うことができる。
例示する実施形態において、魚探魚群位置情報とソナー魚群位置情報は、それぞれの魚群の緯度と経度を含み、魚群関連付け部は、魚探魚群位置情報の魚群の緯度と経度とソナー魚群位置情報の魚群の緯度と経度に基づいて、対応付けを行うことができる。
例示する実施形態において、魚群関連付け部は、さらに、対応付けを行った魚群同士に同一の識別データを割り当て、
学習部は、さらに、選択された魚群の識別データに対応する魚群の魚探受信データに基づいて、学習データセットを生成することができる。
例示する実施形態において、識別データは、アイコン、シンボル、数字、記号、符号、または文字のうちの少なくとも一つを含むことができる。
例示する実施形態において、ソナーは、スキャン毎に識別データが付された魚群と同一の魚群に対し、同一の識別データを対応させることができる。
例示する実施形態において、ソナーは、魚群を三次元で探知することができる。
例示する実施形態において、魚群探知機は、垂直方向に沿って魚群を探知し、ソナーは、少なくとも一つの方位方向に沿って魚群を探知することができる。
上記は、例示のみを目的としており、何ら限定するものではない。上述の例示的な態様、実施形態、および特徴に加えて、さらなる態様、実施形態、および特徴は、図面および以下の詳細な説明を参照することにより明確となる。
本開示によれば、魚種判別のための高品質で信頼性の高い学習データセットを生成するシステムおよび方法を提供することができる。
魚種学習システムの作業環境構成を例示的に示す概略図である。 魚種学習システムの魚群探知機画面イメージおよびソナー画面イメージを示す概略図である。 魚種学習システムのブロック図である。 実施例のフローチャートを示す。 魚種学習システムに関連するユーザインターフェースの概略図である。 魚群探知機のブロック図である。 ソナーのブロック図である。 システムの変形例および魚種学習装置のブロック図である。
以降の説明において、十分な開示を目的とする説明を行うため、多数の具体的な実施態様が記載する。しかしながら、本開示がこれらの具体的な実施態様がなくとも発明の実施に足りることは、当業者にとっては明らかであろう。装置およびシステムは、本開示を不明瞭にすることを避けるため、ブロック図形式で示される。
本明細書において、「一実施形態」とは、本実施形態に関連して説明した特定の特徴、構造、または特性が、本開示の少なくとも1つの実施形態に含まれることを意味する。本明細書の様々な箇所における語句「実施形態では」は、必ずしも全て同じ実施形態を参照しているわけではなく、他の実施形態と相互に排他的な別個の又は代替の実施形態でもない。さらに、本明細書における用語「1以上の」又は「1つの」は、量の制限を示すのではなく、むしろ、参照された項目の少なくとも一つの存在を示す。さらに、いくつかの実施形態によって示しているが、他の実施形態によって示していない様々な特徴がある。同様に、いくつかの実施形態のための要件であって、他の実施形態のための要件ではない様々な要件が記載される。
以下、添付の図面を参照して、本開示の実施形態をいくつか説明する。添付の図面には、本開示の一部の実施形態が示されているが、これがすべてではない。実際、本開示の様々な実施形態は、多くの異なる形態で実施することができ、本明細書に記載する実施形態に限定されるものと解釈されるべきではない。むしろ、これらの実施形態は、本開示が適用可能な法的要件を満たすために記載される。参照番号は、全体を通して同一の要素を指す。本明細書中で使用される、用語「データ」、「コンテンツ」、「情報」、および類似の用語は、本発明の実施形態に従って送信、受信、および/または記憶することができるデータを指すために使用される。したがって、このような用語は、本発明の実施形態の範囲を制限するように解釈されるべきではない。
実施形態は、説明の目的で本明細書に記載され、多くの変形例を有する。種々の省略および均等物の置換したものは、本開示の範囲から逸脱しない実施形態に含まれる。さらに、本明細書で使用される用語は、説明のためであって、必ずしも説明される意味に限定されない。本明細書中で使用される見出しは、便宜上のものであって、法的または限定的な効果を有しない。
本明細書および特許請求の範囲で使用されるように、「例えば」、「のような」、「持つ」、および「含む」などの用語、およびそれらの他の動詞の形態は、一つ以上の構成要素または他の項目のリストと併せて使用される場合、それぞれオープンエンドとして解釈されるものとし、リストは、他の追加の構成要素または項目を除外するものとはみなされないことを意味する。他の用語は、異なる解釈を必要とする文脈で使用されない限り、それらの最も広い合理的な意味を使用して解釈されるべきである。
本明細書で提供される装置、システムおよび方法は、ソナーおよび魚群探知機の両方を利用して、魚種判別のための学習データセットを生成する。本発明のシステムおよび方法は、漁獲された魚群をソナー画面に表示する。システムおよび方法は、人の介入を最小限とすることにより、ヒューマンエラーを低減する。本装置、システム及び方法は、ソナー及び魚群探知機を協調的に使用して、魚種判別のために生成された学習データセットの精度及び信頼性を改善する。さらに、本明細書に提供されるシステムおよび方法は、魚種判別機能の性能の向上につながる。
魚群探知機は、当該技術分野において周知であるが、超音波を海に送信し、反射エコーを受信することによって水中の物体(水深、魚群の分布、海底の状態など)に関する情報を取得し、魚群の探索を補助する。送信された超音波の一部は水中の物体(魚群や海底など)によって反射されて送信元に返り、魚群探知機はこの反射波を信号処理することによって水中の情報を抽出する。魚群探知機からの超音波は、船の真下に送信される。受信されたエコーは電気信号に変換され、増幅され、処理されて画面に表示される。超音波の送受間の経過時間を測定することによって、水中物体が存在する水深が計算され、そのエコーの強さに応じてスクリーン上に表示される。たとえば、強いエコーはオレンジまたは赤で表示され、弱いエコーは緑または青で表示される。高密度の魚群や海底の岩は強いエコーを返し、通常は赤みがかった色で表示されるが、低密度の魚群や小型の魚群は通常青みがかった色で表示される。魚群探知機のエコーは受信した時間に応じて画面に表示される。各送信(pingとも呼ばれる)の後、処理された最新のエコーは画面の一番右側に表示され、前のpingに基づく受信エコーは画面の左側にスクロールされる。その結果、画面の右側には最新のエコーが表示され、左側には古いエコーが表示される。図2は、魚群探知機画面イメージ201を示す模式図である。縦軸は深度を表し、横軸は時間を表す。エコーは魚群205、207、209からのエコーである。画面上の魚群205、207、209の相対位置により、まず魚群205を探知し、次に魚群207を探知し、次いで魚群209を探知している。213は、画面の左から右に延びる海底エコーであり、時間の経過とともに連続的に検出されたことを意味する。海底213のエコーの起伏は、時間とともに海底の深さがどのように変化するかを示している。
ソナーは漁業の分野でよく知られており、魚の群れを発見するのに役立つ。ソナーと魚群探知機の違いは、ソナーは水平方向に船の周りを探索するのに対し、魚群探知機は垂直方向に船の下を探索する点である。ソナーには主にサーチライトソナーとスキャニングソナーの2種類がある。サーチライトソナーは、トランスデューサによって、所定の方位方向に細い超音波ビーム(例:水平面幅6度)を送信し、そのビームに戻ってくるエコーを受信する。エコーの送受信間の経過時間を測定することにより、水中物体の船舶からの距離が計算され、その計算された距離、所与の方位、およびそのエコーの強度に応じてソナー画面に表示される。その所与の方位方向における受信が完了すると、ソナーは、超音波ビームが異なる方位方向(例:前回の方位角方向+6度)を指すように、モータでトランスデューサを回転させ、送受信プロセスを繰り返す。サーチライトソナーは、船全体を360度の角度で繰り返すことにより、船全体を順次広い範囲で探査することができる。しかしながら、サーチは順次実行されるので、船の周りの360度を探索するのには比較的長い時間がかかる。
スキャニングソナーは、例えば360度の広い超音波ビームを船の周囲全体に送信する。広い超音波ビームの送信後、スキャニングソナーは、これらの方向から来るエコーを取得するために、船の周囲の全ての方位角方向を指す多数の狭い受信ビームを一度に生成する受信モードに切り替わる。このように複数のビームを一度に生成するには、一般に数百のトランスデューサ素子からなるトランスデューサが必要であり、いわゆるビームフォーミング(すなわち、トランスデューサ素子によって受信される信号の位相および重みを制御することによって)を行うことによって複数のビームが形成される。各受信ビームは、受信ビームの特定の方位方向におけるエコーの距離および強度を提供し、ソナー画像は、すべての受信ビームによって提供される情報から構成される。このようにして、スキャニングソナーは、各pingで船の周りの360度を探索することができる。したがって、スキャニングソナーでは、サーチライトソナーよりも大きいトランスデューサを用いているが、船の周りの360度をより早く探索できる。
図2は、平面位置指示器(PPI)形式のディスプレイにおけるサーチライトソナーまたはスキャニングソナーのソナー画面イメージ203を示す概略図である。スクリーン画像は、船舶の周囲の領域からのソナースキャンの二次元画像を示す。PPI表示の原点は船舶219であり、原点からの水平距離は船舶からの距離を表し、角度は方位を表す。図2に示したソナー画面イメージ203の例では、船舶219の背後に魚群209のエコーがある。また、船舶が向かっている方位を0度と参照した場合、方位150度付近に魚群217のエコー、方位210度付近に魚群207のエコー、方位240度付近に魚群205のエコーが存在する。ソナー画面の画像は、360°スキャンごとに更新される。このように、ソナー画像が現在のエコーデータを表すのに対し、魚群探知機の画像は過去のエコーデータを含んだものを表す。
図1は、例示的な実施形態による、魚種判別のための学習データセットを生成するシステムの環境構成100を例示的に示す概略図である。船舶101は、魚群107、109を検出する魚群探知機103及びソナー105を備え、魚群107、109を検出するのに適した任意の構成で、魚群探知機103のトランスデューサ及びソナー105のトランスデューサを船舶101の底部に配置することができる。各トランスデューサは超音波を送信し、水中物体の反射波を受信する。反射波は、「エコー」とも呼ばれる。魚群探知機103およびソナー105は、通信および制御チャネルを介して互いに通信可能に結合され得る。
船舶101は、船舶、ボート、ホバークラフト、潜水艦等のような、水中又は水の表面を横断することができる任意の移動体であってもよい。以下、魚群探知機103及びソナー105を備えた船舶101を「船舶」と称する。魚群107、109は、協調して同じ方向に泳ぐ魚群であってもよい。魚群107の魚種は、魚群109の魚種とは異なっていてもよく、いくつかの実施例では、両方の魚群107、109の魚種が同じであってもよい。海底111は、水域113の底部を指すことができ、水域113は、海洋、海、湖、池、川又は貯水池の一部であってもよい。
図6は、一実施形態である魚群探知機103のブロック図である。魚群探知機103は、送信回路1031と、受信回路1032と、トランスデューサ1033と、処理部1034と、表示部1035とを備え、送信回路1031は、トランスデューサ1033によって音波または超音波に変換された送信信号を生成し、トランスデューサ1033は、受信信号に変換された反射波を受信する。受信回路1032は、受信信号を増幅し、A/D変換し、フィルタリングする。このように受信回路1032で処理された受信信号は、エコーデータとも呼ばれる。処理部1034は、エコーデータに対して信号処理を行い、処理されたエコーデータを表示部1035に表示する。
図7は、一実施形態であるソナー105のブロック図である。ソナー105は、主表示部1051、送受信部1052、処理部1053、およびトランスデューサ1054が取り付けられた船体部によって実現され得る。ソナー105は、トランスデューサを垂直方向に移動させるための制御機構1055を含むことができる。
魚群探知機のトランスデューサは、魚群探知機103が海底111に向けて波を送信し、送信された波の反射またはエコーを受信するように、船舶101の底面に配置されてもよい。各波の送信とその反射波(エコー)の受信は連続して行われ、このような送受信サイクルは、pingと呼ばれる。魚群探知機103は、魚群からのエコーデータを捕捉し、受信したエコーデータを用いて魚群の検出を行うように構成される。さらに、魚群探知機103は、検出された魚群を画面に表示してもよい。
例示する実施形態では、魚群探知機103は、波またはビームを海底111に向けて送信することによって、船舶101の垂直下方の少なくとも一つの魚群107、109を探索する。魚群探知機103は、魚群107、109に対応するエコーデータを受信する。連続するpingにおいて、それぞれのエコーデータはpingの方向と紐づいており、魚群の検出を確認できる。魚群107、109のエコーデータは魚群探知機103に記憶されており、魚群探知機103はこのエコーデータを用いて魚群107、109を探知できる。なお、魚群探知機103の検出範囲は、船舶101の下方に鉛直方向に沿って延びている。
ソナーのトランスデューサは、ソナー105が超音波を送信し、それらの反射を方位方向に沿って受信するように、船舶101の底面に配置される。したがって、ソナー105は、船舶101の下の水平方向(または水平方向と垂直方向の両方)を探索できる。なお、ソナー105は、一つ以上の水中物体の三次元検出を行う三次元ソナーであってもよい。ソナー105は、水中物体からのエコーを受信することができ、エコーを分析して一つ以上の水中物体を検出する。1つ以上の水中物体は、魚群、氷山、沈船等を含む。実施例において、いくつかの連続する方位角について方位方向に連続するエコーデータは、ソナー105によって魚群として検出され得る。ソナー105の検出範囲は、少なくとも一つの方位方向に沿って延びる。
船長は、魚群探知機103及びソナー105の各々によって検出された物体を、一つ又は複数の表示画面で確認できる。なお、魚群探知機103およびソナー105は、それぞれ検出された魚群または水中物体を表示する表示スクリーンを備えてもよい。次に、図2を参照して、魚群探知機103及びソナー105の表示画面における画像の表示について詳細に説明する。
図2は、魚種判別の学習データセットを生成するシステムにおける魚群探知機103の表示画面である魚群探知機画面イメージ201と、ソナー105の表示画面であるソナー画面イメージ203とを示す概略図である。複数の魚群205、207、209、217が、船の近くの水域に存在する。魚群探知機は、1つ以上の魚群に対応するエコーデータを受信し、1つ以上の魚群を検出する。以下、魚群探知機により検出された魚群を「第一の魚群」という。ソナーは、船の下の水中の物体を別個に検出する。水中物体は、魚群205、207、209、217の一部または全部を含むことができ、ソナーによって検出される水中物体は、魚群探知機によって検出される少なくとも一つの魚群を含む。以下、ソナーによって検出された魚群は、「第二の魚群」という。
魚群205、207、209を検出して表示画面211に表示したり、海底213のエコーを表示画面211に表示したりできる。
魚群探知機は、検出された魚群205、207、209のそれぞれに識別データを割り当てる。識別データは、数字、記号、文字又はそれらの組み合わせのような任意のシンボルであってもよい。なお、各魚群205、207、209に付与される識別データは、互いに異なっている。以下、「識別データ」と「識別番号」とを同義とする。実施例では、魚群探知機は、第一の魚群205、207、209のそれぞれに識別番号2、3、4を割り当てる。識別番号2、3、4は、検出された魚群205、207、209のグラフィック表現と共に表示画面211上に表示される。実施例では、魚群探知機は、検出された魚群205、207、209に識別番号2、3、4を割り当て、検出された魚群205、207、209のグラフィック表現のみを表示画面211に表示する。魚群探知機はまた、各魚群205、207、209の位置データ(魚探魚群位置情報)を取得する。魚群探知機は、エコーデータ、識別データ、および各魚群205、207、209の位置データを、一つ以上のデータベースまたは任意の他の適切な記憶媒体に記憶する。各魚群205、207、209の位置データは、各魚群205、207、209の地理座標及び/又は緯度及び経度を含み、魚群探知機は、各魚群205、207、209の識別データ及び位置データをソナーに送信する。
ソナーは、船からの検出範囲内で一つ以上の水中物体を検出する。実施例では、ソナーは、魚群205、207、209、217、及び物体215のような水中物体を検出している。物体215は、ソナーの送信波が反射され得る岩、沈没した船又はボート、又は他の水没した物体等である。検出された水中物体は、表示画面221上に表示される。実施例では、船舶219は、表示画面221上にソナーによって表示される。魚群205、207、209は、魚群探知機で検出された第一の魚群であってソナーで検出された第二の魚群として共通であってもよい。以下では、魚群探知機およびソナーの両方によって通常検出される少なくとも1つの魚群を、「第三の魚群」という。
ソナーは、魚群探知機から、魚群探知機により検出された魚群の識別データ及び位置(すなわち、205、207、209)を受信する。各魚群205、207、209の識別データおよび位置データを受信することに応答して、ソナーは、検出された水中物体(205、207、209、215、217)内の魚群(205、207、209)を検索して、共通の魚群の対応付けを行う。ソナーは、受信した各魚群(205、207、209)の位置データに基づいて検索する。図2に示す例では、ソナーは、魚群205、207、209を共通の魚群として検出している。各魚群205、207、209の位置データに示された位置に最も近い魚群には、各魚群205、207、209に対応する識別データを割り当てることができる。
他の実施例として、ソナーは三次元ソナーであってもよい。三次元ソナーは、船舶219の下方の水の三次元ビューを表示できる。魚群探知機は、三次元ソナーに、魚群205、207、209のそれぞれの位置データおよび深度データを送信することができる。魚群205、207、209のそれぞれの位置データおよび深度データを受信することで、三次元ソナーは、水中物体205、207、209、215、217内における、それぞれの魚群205、207、209を探索し、魚群205、207、209が魚群探知機およびソナーによって検出された共通の魚群とみなす。ソナーは、受信した位置データ及び各魚群205、207、209の深度データに基づいて探索を行うことができる。ソナーにより検出された魚群のうち、魚群探知機により検出されたいずれかの魚群に関して位置及び深度に関して最も近い魚群を、対応する魚群205、207及び209に関連付けられた識別データを割り当てる。このように、各魚群205、207及び209の深度データを三次元ソナーにより利用して、魚群探知機により検出された魚群とソナーにより検出された水中物体との共通の魚群を決定する精度を高めることができる。
ソナーは、受信された識別データから魚群205、207、209の識別番号を決定する。ソナーは、さらに、魚群探知機によって検出された魚群の識別番号2、3、4を、共通に検出された魚群205、207、209のそれぞれに割り当て、割り当てられた共通に検出された魚群205、207、209の識別番号を表示画面221に表示する。ソナーは、各360度スキャン後のソナー画面イメージ203をリフレッシュする。共通に検出される魚群(205、207、209)は、船に対して移動している可能性があるので、表示画面221上の共通に検出される魚群(205、207、209)の各々は、ソナーによる各360度の走査後、わずかに異なる位置に表示され得る。ソナーは、各360度スキャン後にソナー画面イメージ203をリフレッシュすることができる。ソナーは、ソナーによる各360度スキャンの後に、識別番号(2、3、4)を共通に検出された魚群205、207、209のそれぞれに再度関連付ける。前回の360度スキャンにおける各魚群205、207、209の位置データに示された位置に最も近い魚群には、各魚群205、207、209に対応する識別データを割り当てる。
魚群217は、魚群探知機でなく、ソナーによって検出されてもよい。したがって、ソナーは、表示画面221上に、識別番号なしで魚群217を表示することができる。これにより、ユーザは、両機で検出された識別番号を有する魚群205、207、209と識別番号を有しない魚群217とを容易に区別することができる。ソナーは、両機で検出された魚群205、207、209の各々の識別データを表示し、両機で検出された魚群205、207および209のうちの、漁獲対象となる少なくとも一つの魚群に対する入力を受け付けるために、表示画面221と一体化されたユーザインターフェースがあってもよい。なお、ユーザインターフェースは、表示画面221とは別個に分けられてもよい。実施例において、船長が魚群205を漁獲することを意図した場合、船長は、魚群205に関連する識別番号2を選択する。船長からの入力に応答して、ユーザインターフェースは、船長の選択を確認するメッセージを出力する。例えば、ユーザインターフェースは、船長に対して二つの選択可能なオプション「はい」および「いいえ」と共に、メッセージ「この魚群を漁獲?」を表示する。さらに、船長は、魚群205の選択に対応する「はい」のオプションをクリックし、魚群205の漁獲を行う。
どの魚群を獲ろうとしているかの表示に関する確認を受けたことに応答して、ユーザインターフェースは、「どの群れを漁獲?」というメッセージを入力ウィンドウと共に表示して、船長が獲った魚群205に関する魚種データを取得することができる。船長は、手入力により魚種情報を入力欄に入力することができる。実施例では、船長は、魚種データを入力する際にドロップダウン選択、音声入力などの任意の他の適切な入力手段を利用できる。なお、魚種データは、魚群205の魚種名を含んでもよい。漁獲する魚群の選定の確認に関する船長の入力と、魚種データの入力との間には、数分から数時間のずれがある場合がある。魚種データの受信に応答して、ソナーは、魚群205の識別番号2および受信された魚種データを魚群探知機に送信する。
魚群217(識別番号なし)には、漁獲オプションを設けない。この結果、魚群217は、魚種判別のための学習データセットの生成に寄与しない。
上記実施例では、ソナーがユーザインターフェースを含むこと例を説明したが、他の実施例として、魚群探知機とソナーの両方がそれぞれのユーザインターフェースを備えることができる。例えば、ソナーは第一のユーザインターフェースを含み、魚群探知機は第二のユーザインターフェースを含むことができる。第一のユーザインターフェースは、魚群205が船長によって漁獲されることを示すために、魚群205に関連付けられた識別番号2を選択可能にする。また、船長は、第一のユーザインターフェースに確認入力(たとえば、「はい」オプションをクリック)を行うことにより、漁獲すべき魚群205の指示を確認することができる。第一のユーザインターフェースを介して確認入力を受信することに応答して、ソナーは、魚群205に対応する魚種データを船長から受信するための入力ウィンドウを表示するために、魚群探知機にトリガメッセージを送信することができる。トリガメッセージの受信に応答して、魚群探知機は、第二のユーザインターフェースを制御して、メッセージ「漁獲した魚の特徴は?」を有する入力ウィンドウを表示し、第二のユーザインターフェースを介して船長から魚群205に対応する魚種データを受信することができる。
魚群探知機は、魚群205の識別番号2に対応する記憶されたエコーデータを抽出する。魚群探知機は、魚群205の識別番号2に対応するエコーデータを、魚群205の受信された魚種データに関連付け、関連付けられたデータを、一つ以上のデータベースまたは任意の他の適切な記憶媒体に記憶し、これにより、学習データセットを生成する。あるいは、魚群205の識別番号2に対応する抽出エコーデータと、受信した魚群205の魚種データとを、外部の計算機(例えば、クラウドにホストされたサーバ)に送信してもよい。次いで、外部計算機は、エコーデータを魚種データと関連付けて、学習データセットを生成し、生成された学習データセットを魚種判別のために魚群探知機に送信する。ソナーは、魚群205の識別番号2に対応するエコーデータを受信し、エコーデータを魚群205の魚種データと関連付けて、学習データセットを生成する。ソナーはさらに、魚種判別のために、生成された学習データセットを魚群探知機に送信する。このようにして、魚群探知機の魚種判別機能を直感的に学習するための学習データセットの豊富なリポジトリを生成することができる。
図3は、実施例の一つであり、魚種判別のための学習データセットを生成するシステム300のブロック図である。システム300は、魚群探知機301およびソナー303を含む。魚群探知機301は、魚群探知部305、位置取得部307、識別データ設定部309、魚群エコーデータ記録部311、学習データセット生成部321、魚種判別部323を備え、ソナー303は、魚群探知部313、識別データ設定部315、識別データ追跡部317、およびユーザインターフェース319を備える。
魚群探知部305、識別データ設定部309、学習データセット生成部321、魚種判別部323、魚群探知部313、識別データ設定部315及び識別データ追跡部317の各々は、一以上のプロセッサ及び対応するメモリ記憶コンピュータ実行可能命令を用いて実現することができる。プロセッサは、いくつかの異なる方法で具体化することができる。例えば、一つ以上のプロセッサは、コプロセッサ、マイクロプロセッサ、マイクロコントローラユニット(MCU)、特殊目的のコンピュータチップ等のような種々のハードウェア処理手段の一つ以上として具体化することができる。メモリは、一時的でなくてもよく、例えば、1つ以上の揮発性および/または不揮発性メモリを含んでもよい。
位置取得部307及び魚群エコーデータ記録部311は、データベース等の記憶装置を備えてもよい。
ユーザインターフェース319は、タッチスクリーンディスプレイを含んでもよく、追加的にまたは代替的に、キーボード、マウス、ジョイスティック、タッチ領域、ソフトキー、一つ以上のマイクロホン、複数のスピーカ、または他の入出力機構を含んでもよい。一実施形態では、ユーザインターフェース319は、ディスプレイ、及び複数のスピーカ、呼出器などの要素について少なくとも一つの機能を制御できる構成することができる。ユーザインターフェース319は、抵抗膜方式または静電容量方式のタッチ表面を採用できる。
魚群探知部305は、一つ以上の第一の魚群のエコーデータを受信する。魚群探知部305は、魚群エコーデータ記録部311に一以上の第一の魚群のそれぞれのエコーデータを送信し、魚群エコーデータ記録部311は、受信したエコーデータを記憶する。実施例では、魚群エコーデータ記録部311は、データベースであってもよい。魚群エコーデータ記録部311は、受信されたエコーデータを、更新、保守、および開発を容易にするフォーマットで記憶する。魚群エコーデータ記録部311は、処理手段および通信手段によって有効化されてもよい。処理手段は、エコーデータベースからエコーデータを取り出し、学習データセット生成部321に送信する。
識別データ設定部309は、検出された魚群のそれぞれに識別データを付与し、対応するエコーデータとともに魚群エコーデータ記録部311のデータベースに格納し、魚群検索画面に表示してもよい。1つまたは複数の第一の魚群の各々に関連する識別データは、魚群探知機スクリーン上に表示され得る。実施例では、識別データは魚群探知機スクリーン上に表示されなくてもよい。魚群探知部305は、位置決めシステム(GPS、Galileo、BeiDou、GLONASS受信機など)に通信可能に結合されて、一つ以上の第一の魚群の各々の位置を決定することができる。1つ以上の第一の魚群の各々の位置は、1つ以上の第一の魚群の各々の地理座標及び/又は緯度及び経度を含む。魚群探知部305は、一以上の第一の魚群の各々の位置を位置取得部307に送ることができる。位置取得部307は、一以上の第一の魚群の各々の受信された位置を記憶することができる。識別データおよび一つ以上の第一の魚群の各々の位置は、識別データ設定部315に送信され得る。
魚群探知部313は、一つ以上の水中物体を検出するように構成する。さらに、魚群探知部313は、一つ以上の水中物体内の一つ以上の第一の魚群の少なくとも一つを探索することができる。1つ以上の水中物体は、ソナーのスクリーン上に表示され得る。識別データ設定部315は、識別データ設定部309によって割り当てられたものと同様の識別データを、共通に検出された魚群のそれぞれに割り当ててもよい。
ソナー303は、各360度スキャン後にソナー画面画像をリフレッシュすることができる。共通に検出された魚群が移動しているので、ソナー画面上の共通に検出された魚群の各々は、ソナー303による各360度スキャン後にわずかに異なる位置に表示され得る。共通に検出された魚群の各々に割り当てられた識別データは、各360度の走査の後も同じままでなければならない。識別データ追跡部317は、識別データを共通に検出された魚群の各々に再度関連付けて、ソナー303による各360度の走査の後に行うことができる。
ユーザインターフェース319は、船長が漁獲しようとする少なくとも一つの魚群に対応する識別データを受信する。ユーザインターフェース319はまた、少なくとも一つの魚群に対応する魚種データを船長から受け取る。ユーザインターフェース319は、漁獲された少なくとも一つの魚群に対応する識別データを魚群エコーデータ記録部311に送信する。ユーザインターフェース319は、受信した魚種データを学習データセット生成部321に送信する。魚群エコーデータ記録部311は、漁獲された魚群の識別データに対応するエコーデータを抽出する。さらに、魚群エコーデータ記録部311は、抽出したエコーデータを学習データセット生成部321に送信し、学習データセット生成部321は、受信した魚種データに漁獲された少なくとも一つの魚群の識別データに対応するエコーデータを関連付けることによって、学習データセットを生成できる。学習データセット生成部321は、生成された学習データセットを魚種判別部323に供給できる。魚種判別部323は、生成された学習データセットに基づいて魚種判別アルゴリズムを学習または再学習し、魚種判別部323は、学習または再学習された判別アルゴリズムに基づいて、後続のpingで捕捉されたエコーデータを判別できる。
図4は、例示的な実施形態による、魚種判別のための学習データセットを生成する例示的な方法を実施するためのフローチャートを示す。フローチャートの各ブロックおよびフローチャート内のブロックの組み合わせは、ハードウェア、ファームウェア、プロセッサ、回路、および/または1つ以上のコンピュータ・プログラム命令を含むソフトウェアの実行に関連する他の通信装置などの様々な手段によって実施することができる。したがって、フローチャートのブロックは、指定された機能を実行するための手段の組合せと、指定された機能を実行するための操作の組合せとをサポートする。
魚種判別のための学習データセットを生成する方法400は、ステップ401において、魚群探知機によって、一つ以上の第一の魚群のエコーデータを受信し、受信されたエコーデータに基づいて、一つ以上の第一の魚群を検出する。ステップ403において、本方法は、一つ以上の検出された第一の魚群の各々に識別データを割り当てる。識別データは、数字、記号、文字、またはそれらの組み合わせであってもよい。1つ以上の第一の魚群のそれぞれに割り当てられる識別データは、互いに異なることがある。識別データはソナーに送信することができる。
ステップ405において、ソナーによって一つ以上の水中物体を検出する。1つ以上の水中物体は、1つ以上の第二の魚群を含む。ソナーは、1つ以上の水中物体の1つ以上の第一の魚群のうちの少なくとも1つを探索する。少なくとも1つの魚群は、魚群探知機によって検出された魚群とソナーによって検出された魚群と共通することがある。ステップ407は、共通に検出された魚群の各々に識別データを割り当てる。ソナーは、各360度スキャン後にソナー画面画像をリフレッシュする。一つ以上の第一の魚群が移動するにつれて、ソナー画面上で共通に検出される各魚群は、ソナーによる各360度走査後に、わずかに異なる位置に表示され得る。一つまたはそれ以上の第三の魚群の各々に割り当てられた識別データは、ソナーによる各360度スキャンの後、同一のままである。
ステップ409では、ユーザインターフェースを介して、両機で検出された魚群の中から漁獲された少なくとも一つの魚群に対応する魚種データを受信する。魚種データには、魚群の魚種名を含めることができる。魚種データの受信とは、検出した1以上の第一の魚群の各々の識別データを表示することと、ユーザインターフェースを介して、共通して検出された魚群の中で漁獲される少なくとも1つの魚群に対応する情報を受信することとを含む。当該情報は、少なくとも1つの魚群に関連付けられた識別番号に対応することができる。少なくとも1つの漁獲した魚群の識別データおよび受信魚種データを魚群探知機に送信することができる。ステップ411において、少なくとも一つの漁獲された魚群の識別データおよび受信した魚種データに対応するエコーデータに基づいて、魚種判別のための学習データセットを生成する。
図5A〜Cは、例示的な実施形態による、魚種判別のための学習データセットを生成するためのシステムに関連するユーザインターフェースの概略図である。ユーザインターフェースは、図2を参照して説明したものと同様であってもよい。以下では、各図におけるユーザインターフェースの実施例を説明する。図5A〜Cについては、図2の説明を参照して説明する。
図5Aは、船長が漁獲しようとする少なくとも1つの魚群を選択するためのユーザインターフェース500の表示の概略図である。ソナーは、ソナーの検出範囲境界501内の1つ以上の水中物体(205、207、209、215、217)を検出することができる。ユーザインターフェース500は、図2の表示画面221のような表示画面と一体化されていてもよい。そのように、ユーザインターフェース500は、検出された水中物体(205、207、209、215、217)および船舶219のそれぞれのグラフィカル表示を表示する。水中物体(205、207、209、215、217)は、魚群205、207、209、217と物体215とから構成される。ユーザインターフェース500は、検出された魚群205、207、209、217のうちの少なくとも1つの魚群に対応する識別データを受信し、その少なくとも1つの魚群の識別データを表示する。船長503は、ユーザインターフェース500上でのタッチ入力、タップ入力、ホールド入力、ドラッグ入力などの任意の適当なジェスチャーによって、漁獲する魚群を示すための選択入力を提供する。例えば、図5Aに示すように、船長503は、魚群205が漁獲対象であることを示すために、魚群205のグラフィカル表示上のタッチ入力を促してもよい。実施例では、船長503は、マウス、キーパッド、ボタンを使用することによって、または音声入力を介してなどの非タッチジェスチャーを介して選択入力を行ってもよい。そのために、ユーザインターフェース500は、適切な追加入力機構を備えてもよい。
図5Bは、選択入力の確認メッセージを表示するユーザインターフェース500の表示を示す図である。船長からの選択入力の受信に続いて、ユーザインターフェース500は、ポップアップメニュー505を表示することができる。ポップアップメニュー505は、メッセージ507「この魚群を獲りますか?」、オプション509「はい」、およびオプション511「いいえ」を含む。ポップアップメニュー505は、図5Aを参照して説明した選択入力(例えば、この場合、魚群205の選択)の確認を受けるために表示される。ユーザインターフェース500は、船長がポップアップメニュー505に表示されたオプション511の「いいえ」をタップすると、魚群205を「漁獲しない」という確認データを受信する。魚群205を「漁獲しない」という確認を受信すると、図2のユーザインターフェース500は、ポップアップメニュー505の表示を停止し、図5Aのユーザインターフェース500に表示された情報の表示に戻り、船長が漁獲しようとしている少なくとも一つの魚群の選択を受信する。次に、船長は漁獲しようとする魚群として別の魚群を示す。
あるいは、ユーザインターフェース500は、船長がポップアップメニュー505に表示されたオプション509「はい」をタップしたときに、魚群205を「漁獲する」ための確認データを受信してもよく、オプション509「はい」をタップして確認入力を行った後、魚群205の漁獲に進むことができる。選択入力に対する上記の確認入力を受信したことに応答して、ユーザインターフェース500は、船長によって漁獲された魚群に関する魚種情報を得るための問合せメッセージを表示することができる。次に、図5Cを参照して説明する。
図5Cは、船長が漁獲した魚群に対応する魚種データを受信するためのユーザインターフェース500の表示を示している。ユーザインターフェース500は、選択入力の確認を受けると、「魚種はなんですか?」という問い合わせメッセージを表示して、船長が漁獲した魚群205に関する魚種データを取得するようにしてもよい。また、ユーザインターフェース500は、入力ウィンドウ515を表示して、船長が漁獲した魚群205に関する魚種データを船長が入力できるようにしてもよい。船長は、魚群205に対応する魚種データを入力ウィンドウ515に入力することができ、例えば、魚種データを提供するために魚種の名前を入力ウィンドウ515に入力することができる。
他の実施例として、いくつかの魚種が類似の名前を有するため、船長が正しい種名を効率よく入力するために、ユーザインターフェース500は、船長が入力した文字列に類似する魚種の名前を直感的に示唆することができる。例えば、ユーザインターフェース500は、入力ウィンドウ515内で船長により入力された文字列を動的に処理し、データベースに問い合わせて、船長により入力された文字列を含む魚種名を取り込むことができる。加えてまたは代替的に、ユーザインターフェース500は、名前がユーザによって入力された検索文字列を含む魚種の画像または他の情報を表示することができる。例えば、図5Cに示されるように、船長は、入力ウィンドウ515に文字列「サバ」を入力することができる。これに応答して、ユーザインターフェースは、文字列を使用してデータベースに問い合わせて、名前が文字列「サバ」を含む魚種の画像を取り出すことができる。ユーザインターフェース500は、例えば、「サバ」という文字列を名前に含む魚種の画像519、521をウィンドウ517に表示することができる。このようにして、船長は、画像519、521から漁獲された魚群を識別し、これに対応して、実際に漁獲された魚群の正しい魚種データを入力することができる。このようにして、ユーザインターフェース500は、入力ウィンドウ515から、船長によって実際に漁獲された魚群205に対応する魚種データを受け取ることができる。魚種データは、例えば、魚群205の魚種の種名、通称、形態、生息地情報、寸法の一つ以上を含むことができる。
したがって、本開示の例示的な実施形態は、魚群探知機の魚種判別機能を学習するための信頼できるデータセットの生成を提供することができる。魚群探知機とソナーの組み合わせにより生成された信頼性の高いデータセットを用いた魚種判別機能の学習は、魚種を判別するための非常に効果的な自動手段を提供する。従って、本開示の例示的な実施形態は、魚種を効果的に判別することができる改良された魚群探知機を提供する。
本発明の実施形態の技術的効果について説明する。従来、魚種判別には魚群探知機が用いられており、魚群探知機の魚種判別機能の学習が必要である。学習のためには学習データセットが必要であり、魚群エコーデータと魚種情報を関連付けることにより生成される。しかし、魚群探知機により魚群エコーデータが記録されてから、魚群を漁獲した船長によって魚種情報が確認されるまでの間には、数分から数時間のずれが生じることがある。したがって、魚群エコーデータと魚種情報とを関連付けるためには、まず魚群探知機のエコーデータを記録する必要がある。船長は、漁獲した魚種別を把握したら、エコーデータを再生し、通過した全ての魚群の中から実際に漁獲した魚群を魚群探知機で選択し(覚えていれば)、魚種別情報を手動で入力する。これは手間のかかるプロセスであるため、船長が学習データセットを作成したり更新したりする時間を取らないことも考えられ、魚群探知機の魚種判別機能が十分に学習されていないかもしれない。
この問題を解決するために、本開示の実施形態では、魚種判別機能を実行する従来の魚群探知機にソナーを付加し、魚群探知機と連携して使用する。魚群探知機は、船の下だけを探知しているので、魚群の上を通過するときにしか魚群を探知できない。一方、ソナーは360度全周をスキャンするため、ソナーの探知範囲内であれば、遠くからでも魚群を探知することができる。この開示では、魚群探知機は検出した魚群の識別データをソナーに送り、ソナーはその識別データをソナー上の対応する魚群に割り当てる。典型的には、その魚群は、数分後に魚群探知機スクリーンから消えるが、その魚群は、ソナーの検出範囲内にある限り、依然としてソナーによって検出される。時間の経過とともに、船と魚群の相対位置は変化するが、ソナー上の識別データは、ソナーのビューが更新されるたびに、常に魚群を追跡する。船長は、最終的に魚群の漁獲を決定する際には、例えば、ソナーの画面に漁獲しようとする魚群の表示をタッチし、魚群が漁獲され、魚種が特定されると魚種情報を入力する。魚種情報が入力されると、ソナーは漁獲した魚群の識別データと魚種情報を魚群探知機に送る。識別データを知った魚群探知機は、識別データに対応する魚群エコーデータと魚種情報とを関連付けて学習データセットを生成する。
従来の魚種判別用の魚群探知機では、魚群探知機のエコーデータを再生し、確認できた魚群の中から漁獲した魚群を選択し(覚えていれば)、最後に魚種情報を入力する必要があったが、本実施形態のシステムでは、魚群探知機の画面に漁獲しようとする魚群の表示をタッチするだけでよく、魚群が漁獲されたときに魚種情報を入力するだけでよい。学習データセットの生成が容易になるので、多くの学習データを、潜在的には魚群が漁獲される毎に生成することができ、その結果、十分に学習された魚種判別機能に寄与し、したがって、より良い魚種判別に寄与する。
魚種学習システム300の変形例を図8に示す。図8の魚種学習システム300は、魚種学習装置330と、魚群探知機301とソナー303を備える。魚種学習装置330は、データ取得部324と魚群関連付け部325と魚群選択部326と魚種入力部327と学習部321からなる。
データ取得部324は、魚群探知機301から魚群を含む受信信号のデータである魚探受信データを取得するとともに、ソナー303から魚群を含む受信信号のデータであるソナー受信データを取得し、魚群関連付け部325へ出力する。魚群関連付け部325は、魚探受信データとソナー受信データに含まれる魚群の情報を対応づけた上、結果を学習部321へ出力する。魚群選択部326では、船長などのユーザからの魚群の選択を受け付け、その情報を学習部321へ出力する。魚種入力部327では、船長などのユーザからの魚群の魚種の情報の入力を受け付け、学習部321へ出力する。学習部321では、選択された魚群の魚探受信データと入力された魚種から学習データセットを生成する。
本来、魚群探知機301の学習データセットを作成するには、魚群探知機301の魚群のデータ(魚探受信データ)とこの魚群に対応する魚種のデータがあればよい。
ここで、魚種学習装置330において、ソナー303のデータ(ソナー受信データ)を用いる理由を説明する。魚群探知機301は、船の垂直方向を主に探索するため探索範囲が狭い。そのため、漁獲した魚群に対応する魚群探知機301の魚群のデータを把握することは困難である。一方、ソナー303は、水平方向に船の周りを探索するため探索範囲が広く、漁獲する魚群の位置を把握しやすい。そのため、魚群探知機301が探知した魚群とソナー303が探知した魚群が対応付けされていれば、漁獲した魚群に対応する魚群探知機301の魚群のデータを容易に特定できる。そして、ユーザがソナー303の魚群のデータのうち漁獲した魚群を特定したうえ、目視により確認した魚種の入力を行うことにより、漁獲した魚群探知機301の魚群のデータとこれに対応する魚種が特定できる。これにより、学習に必要な魚群探知機301の魚群のデータとこの魚群に対応する魚種のデータを用意できる。
上記の理由から、魚群探知機301が探知した魚群とソナー303が探知した魚群同士が対応付けられていれば、識別データは必ずしも必要ではない。魚群同士の対応付けは、魚群探知機301のデータから推測する魚群の位置データ(魚探魚群位置情報)とソナー303のデータから推測する魚群の位置データ(ソナー魚群位置情報)の比較に基づいて行う。位置データは、魚群の水深、船の緯度経度から計算した魚群の緯度経度などを有する。そして、魚群探知機301とソナー303が検出した魚群の位置の差異が小さい場合に魚群同士を対応付ける。なお、魚群の遊泳速度と方向から魚群の位置を予測した結果との差異を比較することもできる。
本明細書に記載される発明の多くの修正および他の実施形態は、これらの発明が関連する当業者は、前述の説明および関連する図面に示される教示の利益を有することを想起すると考えられる。したがって、本発明は、開示された特定の実施形態に限定されるものではなく、変形例および他の実施形態は、添付の特許請求の範囲内に含まれることが意図されることを理解されたい。さらに、前述の説明および関連する図面は、要素および/または機能の特定の例示的な組み合わせに関連して例示的な実施形態を説明しているが、添付の特許請求の範囲の範囲から逸脱することなく、代替の実施形態によって、要素および/または機能の異なる組み合わせを提供することができることを理解されたい。この点に関して、例えば、添付の特許請求の範囲のいくつかに記載されているように、上に明示的に記載されたものとは異なる要素および/または機能の組み合わせも企図される。本明細書では特定の用語が使用されているが、それらは一般的かつ記述的な意味でのみ使用され、限定の目的では使用されない。
100 環境構成
101 船舶
103 魚群探知機
105 ソナー
107 魚群
109 魚群
111 海底
113 水域
201 魚群探知機画面イメージ
203 ソナー画面イメージ
205 魚群
207 魚群
209 魚群
210 方位
211 表示画面
213 海底
215 物体
217 魚群
219 船舶
500 ユーザインターフェース
501 検出範囲境界
503 船長
505 ポップアップメニュー
507 メッセージ
509 オプション
511 オプション
515 入力ウィンドウ
517 ウィンドウ
519 画像
521 画像

Claims (11)

  1. 超音波の送受信により魚群を検出する魚群探知機が受信した魚探受信データと、超音波の送受信により魚群を検出するソナーが受信したソナー受信データを取得するデータ取得部と、
    前記魚探受信データに含まれる魚群と前記ソナー受信データに含まれる一又は複数の魚群の対応付けを行う魚群関連付け部と、
    前記ソナー受信データから一の魚群を選択する魚群選択部と、
    前記選択された一の魚群の魚種を入力する魚種入力部と、
    前記選択された一の魚群の魚種と、魚群の前記魚探受信データに基づいて、前記魚探受信データと魚種の関係を示す学習データセットを生成する学習部と、
    を備える魚種学習装置。
  2. 前記データ取得部は、さらに、前記魚探受信データから魚群の位置を示す魚探魚群位置情報、および前記ソナー受信データから前記一又は複数の魚群のそれぞれの位置を示すソナー魚群位置情報を取得し、
    前記魚群関連付け部は、前記魚探魚群位置情報と前記ソナー魚群位置情報に基づいて、前記対応付けを行う請求項1に記載の魚種学習装置。
  3. 前記魚探魚群位置情報および前記ソナー魚群位置情報は、それぞれの魚群の水深情報を含み、
    前記魚群関連付け部は、前記魚探魚群位置情報の魚群の前記水深情報と前記ソナー魚群位置情報の魚群の前記水深情報の数値の差異に基づいて、前記対応付けを行う、
    請求項2に記載の魚種学習装置。
  4. 前記魚探魚群位置情報と前記ソナー魚群位置情報は、それぞれの魚群の緯度と経度を含み、
    前記魚群関連付け部は、前記魚探魚群位置情報の魚群の前記緯度と経度と、前記ソナー魚群位置情報の魚群の前記緯度と経度に基づいて、前記対応付けを行う、
    請求項2または請求項3に記載の魚種学習装置。
  5. 前記魚群関連付け部は、さらに、前記対応付けを行った魚群同士に同一の識別データを割り当て、
    前記学習部は、さらに、前記選択された魚群の前記識別データに対応する魚群の前記魚探受信データに基づいて、前記学習データセットを生成する、
    請求項1から請求項4に記載の魚種学習装置。
  6. 前記識別データは、アイコン、シンボル、数字、記号、符号、または文字のうちの少なくとも一つを含む、
    請求項5に記載の魚種学習装置。
  7. 前記ソナーは、スキャン毎に前記識別データが付された魚群と同一の魚群に対し、同一の前記識別データを対応させる、
    請求項5または請求項6に記載の魚種学習装置。
  8. 前記ソナーは、魚群を三次元で探知する、
    請求項1から請求項7のいずれかに記載の魚種学習装置。
  9. 前記魚群探知機は、垂直方向に沿って魚群を探知し、
    前記ソナーは、少なくとも一つの方位方向に沿って魚群を探知する、
    請求項1から請求項8のいずれかに記載の魚種学習装置。
  10. 請求項1から請求項9に記載の前記魚種学習装置と、
    受信した魚探受信データを前記魚種学習装置のデータ取得部に送出する前記魚群探知機と、
    受信したソナー受信データを前記魚種学習装置のデータ取得部に送出する前記ソナーと、
    を備える魚種学習システム。
  11. 超音波の送受信により魚群を検出する魚群探知機が受信した魚探受信データと、超音波の送受信により魚群を検出するソナーが受信したソナー受信データを取得し、
    前記魚探受信データに含まれる魚群と前記ソナー受信データに含まれる一又は複数の魚群の対応付けを行い、
    前記ソナー受信データから一の魚群を選択し、
    前記選択された一の魚群の魚種を入力し、
    前記選択された一の魚群の魚種と、魚群の前記魚探受信データに基づいて、前記魚探受信データと魚種の関係を示す学習データセットを生成する、魚種学習方法。
JP2020111721A 2019-07-03 2020-06-29 魚種学習装置、魚種学習システムおよび魚種学習方法 Withdrawn JP2021012193A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP19184149.3A EP3761057A1 (en) 2019-07-03 2019-07-03 Systems and methods for generating training dataset for discrimination of fish species
EP19184149.3 2019-07-03
EP20156284.0 2020-02-10
EP20156284.0A EP3761059A1 (en) 2019-07-03 2020-02-10 Systems and methods for generating training dataset for discrimination of fish species

Publications (1)

Publication Number Publication Date
JP2021012193A true JP2021012193A (ja) 2021-02-04

Family

ID=67145712

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020111721A Withdrawn JP2021012193A (ja) 2019-07-03 2020-06-29 魚種学習装置、魚種学習システムおよび魚種学習方法

Country Status (2)

Country Link
EP (2) EP3761057A1 (ja)
JP (1) JP2021012193A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024027023A (ja) * 2022-08-16 2024-02-29 古野電気株式会社 魚種学習装置、魚種学習方法およびプログラム
JP2024043266A (ja) * 2022-09-16 2024-03-29 古野電気株式会社 魚種学習装置、魚種学習システム、魚種学習方法およびプログラム
CN117044661B (zh) * 2023-08-30 2024-01-19 广州淏瀚生物科技有限公司 一种水产健康生态调水系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56162068A (en) * 1980-05-19 1981-12-12 Furuno Electric Co Ltd Simultaneous display device for different kinds of underwater detection information
JP4917212B2 (ja) * 2001-04-27 2012-04-18 古野電気株式会社 舶用機器のネットワークシステム
US7200488B2 (en) * 2004-04-09 2007-04-03 Keith Taboada Device for automated fishing information acquistion
JP6722521B2 (ja) * 2016-06-23 2020-07-15 古野電気株式会社 水中探知システム
CN107561545B (zh) * 2017-08-24 2020-02-28 北京臻迪科技股份有限公司 一种鱼群探测方法、装置及探测器

Also Published As

Publication number Publication date
EP3761057A1 (en) 2021-01-06
EP3761059A1 (en) 2021-01-06

Similar Documents

Publication Publication Date Title
JP2021012193A (ja) 魚種学習装置、魚種学習システムおよび魚種学習方法
JP7182869B2 (ja) 物標検出装置
JP4781240B2 (ja) エコー画像の表示装置
JP6000524B2 (ja) 魚探映像表示装置、魚群探知装置、目的地指定プログラム、及び目的地指定方法
US20200379104A1 (en) Three-dimensional forward-looking sonar target recognition with machine learning
US8990131B2 (en) Bottom sediment determination device, ultrasonic finder, and method and program for setting parameters
JP2013137309A (ja) ソナーレンダリングシステム及び関連する方法
Brehmer et al. Omnidirectional multibeam sonar monitoring: applications in fisheries science
Jerram et al. Split‐beam echo sounder observations of natural methane seep variability in the northern G ulf of M exico
WO2013153977A1 (ja) 電子海図情報表示装置及び電子海図情報表示方法
CN112526490B (zh) 一种基于计算机视觉的水下小目标声呐探测系统与方法
KR102345743B1 (ko) 소노부이 최적 탐색패턴 결정방법
US9972110B2 (en) Thermocline display
EP2837951A1 (en) Fish tracker
US20210088656A1 (en) Fish finder
Mather Technology and the Search for Shipwrecks
US12007512B2 (en) Sonar display features
Kasaya et al. Acoustic images of the submarine fan system of the northern Kumano Basin obtained during the experimental dives of the Deep Sea AUV URASHIMA
CN109283528A (zh) 航海信息显示装置、航海信息显示方法及记录介质
US20240103163A1 (en) Fish species discrimination system and method
JP6889593B2 (ja) 物標追尾装置
JPH05223934A (ja) 魚群探知機
JP7494529B2 (ja) 情報処理装置、情報処理方法、プログラムおよびシステム
Dombestein et al. Visualization of sonar performance within environmental information
Sabol et al. SAVEWS Jr. User's Manual, Version 1.0

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230623

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20230908