JP2021149924A

JP2021149924A - Counting system

Info

Publication number: JP2021149924A
Application number: JP2020171380A
Authority: JP
Inventors: 陽一牧; Yoichi Maki; 達也中野; Tatsuya Nakano; 栄治山田; Eiji Yamada; 浩司齋藤; Koji Saito; 義裕浦西; Yoshihiro Uranishi
Original assignee: Maruha Nichiro Corp; Synkom Co Ltd
Current assignee: Maruha Nichiro Corp; Synkom Co Ltd
Priority date: 2020-03-18
Filing date: 2020-10-09
Publication date: 2021-09-27
Anticipated expiration: 2040-03-18
Also published as: JP6876310B1

Abstract

To measure the correct number of objects.SOLUTION: A counting system includes an imaging part 110 which is installed in a position where an individual moving in a flow passage can be imaged, a detection part 120 which detects the individual from an image captured by the imaging part 110 by using a learning model 130, a counting part 140 which counts the number of the individuals detected by the detection part 120, and an output part 150 which outputs the number counted by the counting part 140.SELECTED DRAWING: Figure 2

Description

本発明は、計数システムに関する。 The present invention relates to a counting system.

魚類の商取引においては、取引される魚類の数をカウントすることが必須となっていることは言うまでもない。例えば、傾斜流路に対象物と液体とを流動させ、所定の角度からその画像を撮影し、撮影した画像の解析により対象物の計測を行う装置が考えられている（例えば、特許文献１参照。）。 It goes without saying that it is essential to count the number of fish traded in fish commerce. For example, an apparatus has been considered in which an object and a liquid are made to flow in an inclined flow path, an image thereof is taken from a predetermined angle, and the object is measured by analyzing the taken image (see, for example, Patent Document 1). .).

特許第５５６１８３８号公報Japanese Patent No. 5561838

特許文献１に記載された装置は、撮影した画像に対して２値化処理を行って対象物を検出している。そのため、対象物の正確な数の計測が困難であるという問題点がある。 The apparatus described in Patent Document 1 detects an object by performing binarization processing on a captured image. Therefore, there is a problem that it is difficult to measure an accurate number of objects.

本発明の目的は、対象物の正確な数の計測ができる計数システムを提供することにある。 An object of the present invention is to provide a counting system capable of measuring an accurate number of objects.

本発明の計数システムは、
個体が移動する流路と、
前記流路を移動する前記個体を撮像可能な位置に設置された撮像部と、
前記撮像部が撮像した画像から、撮像された形状が撮像のタイミングに応じて変化する部分をアノテーション対象から除外したものを教師データとした深層学習モデルを用いて、前記個体を検出する検出部と、
前記検出部が検出した前記個体の数をカウントする計数部と、
前記計数部がカウントした数を出力する出力部とを有する。 The counting system of the present invention
The flow path in which the individual moves and
An imaging unit installed at a position where the individual moving in the flow path can be imaged,
A detection unit that detects the individual using a deep learning model that uses deep learning model as teacher data, which excludes the portion of the image captured by the imaging unit whose shape changes according to the timing of imaging from the annotation target. ,
A counting unit that counts the number of the individuals detected by the detection unit,
The counting unit has an output unit that outputs the counted number.

本発明においては、対象物の正確な数を計測できる。 In the present invention, an accurate number of objects can be measured.

本発明の計数システムの第１の実施の形態を示す図である。It is a figure which shows the 1st Embodiment of the counting system of this invention. 図１に示した計数装置の内部構成の一例を示す図である。It is a figure which shows an example of the internal structure of the counting apparatus shown in FIG. 図１に示した計数システムの外観の一例を示す図である。It is a figure which shows an example of the appearance of the counting system shown in FIG. 図１に示した計数システムにおける計数方法の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of the counting method in the counting system shown in FIG. 本発明の計数システムの第２の実施の形態を示す図である。It is a figure which shows the 2nd Embodiment of the counting system of this invention. 図５に示した計数装置の内部構成の一例を示す図である。It is a figure which shows an example of the internal structure of the counting apparatus shown in FIG. 図５に示した流路の外観の一例を示す図である。It is a figure which shows an example of the appearance of the flow path shown in FIG. 図５に示した計数システムの外観の一例を示す図である。It is a figure which shows an example of the appearance of the counting system shown in FIG. 図６に示した検出部が検出した魚を囲む枠の一例を示す図である。It is a figure which shows an example of the frame which surrounds the fish detected by the detection part shown in FIG. 図６に示した計数部が行う計数処理を説明するための図である。It is a figure for demonstrating the counting process performed by the counting part shown in FIG. 図６に示した計数装置における計数方法の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of the counting method in the counting apparatus shown in FIG.

以下に、本発明の実施の形態について図面を参照して説明する。
（第１の実施の形態） Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First Embodiment)

図１は、本発明の計数システムの第１の実施の形態を示す図である。本形態における計数システムは図１に示すように、計数装置１００と、流路２００とを有する。流路２００は、対象となる個体が移動する流路である。計数装置１００は、流路２００を移動する個体の数をカウントする。 FIG. 1 is a diagram showing a first embodiment of the counting system of the present invention. As shown in FIG. 1, the counting system in this embodiment has a counting device 100 and a flow path 200. The flow path 200 is a flow path through which the target individual moves. The counting device 100 counts the number of individuals moving in the flow path 200.

図２は、図１に示した計数装置１００の内部構成の一例を示す図である。図１に示した計数装置１００は図２に示すように、撮像部１１０と、検出部１２０と、学習モデル１３０と、計数部１４０と、出力部１５０とを有する。なお、図２には、図１に示した計数装置１００が有する構成要素のうち、本形態に関わる主要な構成要素のみを示す。 FIG. 2 is a diagram showing an example of the internal configuration of the counting device 100 shown in FIG. As shown in FIG. 2, the counting device 100 shown in FIG. 1 includes an imaging unit 110, a detecting unit 120, a learning model 130, a counting unit 140, and an output unit 150. Note that FIG. 2 shows only the main components related to the present embodiment among the components included in the counting device 100 shown in FIG.

撮像部１１０は、流路２００を撮像するカメラ等の撮像手段である。具体的には、撮像部１１０は、流路２００上の対象となる個体が移動する面を撮像する。撮像部１１０は、流路２００を移動する個体を十分な回数撮像可能なフレームレートで、例えば、個体が撮像範囲を通過する間にその個体を５回以上撮像できるフレームレートで撮像を行う。検出部１２０は、撮像部１１０が撮像した画像とあらかじめ多数の個体の特徴を深層学習した学習モデル１３０とを用いて、個体を検出する。つまり、検出部１２０は、撮像部１１０が撮像した画像と、多数の個体の特徴を学習した深層学習モデルを用いて、個体を認識する。計数部１４０は、検出部１２０が検出した個体の数をカウントする。出力部１５０は、計数部１４０がカウントした数を出力する。 The imaging unit 110 is an imaging means such as a camera that images the flow path 200. Specifically, the imaging unit 110 images the surface on the flow path 200 where the target individual moves. The imaging unit 110 images an individual moving in the flow path 200 at a frame rate capable of imaging a sufficient number of times, for example, at a frame rate capable of imaging the individual five times or more while the individual passes through the imaging range. The detection unit 120 detects an individual by using the image captured by the imaging unit 110 and the learning model 130 in which the characteristics of a large number of individuals are deep-learned in advance. That is, the detection unit 120 recognizes an individual by using the image captured by the imaging unit 110 and the deep learning model in which the characteristics of a large number of individuals are learned. The counting unit 140 counts the number of individuals detected by the detecting unit 120. The output unit 150 outputs the number counted by the counting unit 140.

図３は、図１に示した計数システムの外観の一例を示す図である。図１に示した計数システムは図３に示すように、流路２００の一部を撮像できる位置に撮像部１１０が位置するように計数装置１００が設置されている。なお、計数装置１００の筐体の外側に出力部１５０が設けられ、計数部１４０と出力部１５０との間が無線または有線を用いて接続されているものであっても良い。また、撮像部１１０と他の構成要素とが互いに別個の筐体に収容されているものであっても良い。この場合、撮像部１１０と検出部１２０との間は、無線または有線で接続されている。筐体には、防塵・防水加工が施されている。また、計数装置１００および流路２００は、例えば、船上に設けられ、船上にて魚の計数を行うことができる態様となっている。この計数作業に用いられる船としては、船上で計数作業が行うことができる船であれば特に制限されないが、例えば、作業船を用いることが好ましい。 FIG. 3 is a diagram showing an example of the appearance of the counting system shown in FIG. In the counting system shown in FIG. 1, as shown in FIG. 3, the counting device 100 is installed so that the imaging unit 110 is located at a position where a part of the flow path 200 can be imaged. The output unit 150 may be provided on the outside of the housing of the counting device 100, and the counting unit 140 and the output unit 150 may be connected wirelessly or by wire. Further, the imaging unit 110 and other components may be housed in separate housings. In this case, the image pickup unit 110 and the detection unit 120 are connected wirelessly or by wire. The housing is dustproof and waterproof. Further, the counting device 100 and the flow path 200 are provided on the ship, for example, so that the fish can be counted on the ship. The ship used for this counting work is not particularly limited as long as it is a ship capable of performing counting work on board, but for example, it is preferable to use a work ship.

以下に、図１に示した計数システムにおける計数方法について説明する。図４は、図１に示した計数システムにおける計数方法の一例を説明するためのフローチャートである。 The counting method in the counting system shown in FIG. 1 will be described below. FIG. 4 is a flowchart for explaining an example of a counting method in the counting system shown in FIG.

まず、計測を開始するために、計数装置１００は、外部からの所定の操作に基づいて計測開始の入力を受け付けると、撮像部１１０が流路２００の撮像を開始する（ステップＳ１）。続いて、検出部１２０が、撮像部１１０が撮像した画像とあらかじめ多数の個体の特徴を深層学習した学習モデル１３０とを用いて、個体の検出を行う（ステップＳ２）。検出部１２０が個体を検出すると、計数部１４０がカウンタ値をカウントアップする（ステップＳ３）。その後、計数装置１００は、計測が終了するかどうかを判定する（ステップＳ４）。ここで、計数装置１００は、外部からの所定の操作に基づいて計測終了の入力を受け付けたかどうかを判定することにより、ステップＳ４の判定が行われる。計数装置１００が計測を終了すると判定した場合、出力部１５０は、計数部１４０が計測した個体の数を出力する（ステップＳ５）。一方、計数装置１００が計測を終了しないと判定した場合は、ステップＳ２の処理が行われる。 First, in order to start measurement, when the counting device 100 receives an input for starting measurement based on a predetermined operation from the outside, the imaging unit 110 starts imaging the flow path 200 (step S1). Subsequently, the detection unit 120 detects an individual by using the image captured by the imaging unit 110 and the learning model 130 in which the characteristics of a large number of individuals are deep-learned in advance (step S2). When the detection unit 120 detects an individual, the counting unit 140 counts up the counter value (step S3). After that, the counting device 100 determines whether or not the measurement is completed (step S4). Here, the determination of step S4 is performed by determining whether or not the counting device 100 has received the input of the end of measurement based on a predetermined operation from the outside. When the counting device 100 determines that the measurement is completed, the output unit 150 outputs the number of individuals measured by the counting unit 140 (step S5). On the other hand, if the counting device 100 determines that the measurement is not completed, the process of step S2 is performed.

このように、計数装置１００は、流路２００の撮像画像から、深層学習モデルを用いて対象となる個体を検出し、検出した個体の数をカウントして出力する。そのため、対象物の正確な数を計測できる。
（第２の実施の形態） In this way, the counting device 100 detects a target individual from the captured image of the flow path 200 using the deep learning model, counts the number of the detected individuals, and outputs the number. Therefore, the exact number of objects can be measured.
(Second Embodiment)

図５は、本発明の計数システムの第２の実施の形態を示す図である。本形態における計数システムは図５に示すように、計数装置１０１と、流路２０１とを有する。本形態においては、対象物となる個体が魚類（以下、魚と称する）である場合を例に挙げて説明する。また、魚は養殖魚や天然魚であって、その魚種は、例えばブリ属に属するものである。また、その魚のサイズは特に規定しない。 FIG. 5 is a diagram showing a second embodiment of the counting system of the present invention. As shown in FIG. 5, the counting system in this embodiment has a counting device 101 and a flow path 201. In this embodiment, a case where the target individual is a fish (hereinafter referred to as a fish) will be described as an example. Further, the fish are farmed fish or natural fish, and the fish species belong to the genus Amberjack, for example. The size of the fish is not specified.

図６は、図５に示した計数装置１０１の内部構成の一例を示す図である。図５に示した計数装置１０１は図６に示すように、撮像部１１０と、検出部１２１と、学習モデル１３１と、計数部１４１と、出力部１５０と、追跡部１６１と、距離測定部１７１とを有する。なお、図６には、図５に示した計数装置１０１が有する構成要素のうち、本形態に関わる主要な構成要素のみを示す。計数装置１０１には、防塵・防水加工が施されている。なお、撮像部１１０および出力部１５０は、第１の実施の形態におけるものと同じものである。 FIG. 6 is a diagram showing an example of the internal configuration of the counting device 101 shown in FIG. As shown in FIG. 6, the counting device 101 shown in FIG. 5 includes an imaging unit 110, a detection unit 121, a learning model 131, a counting unit 141, an output unit 150, a tracking unit 161 and a distance measuring unit 171. And have. Note that FIG. 6 shows only the main components related to the present embodiment among the components included in the counting device 101 shown in FIG. The counting device 101 is dustproof and waterproof. The imaging unit 110 and the output unit 150 are the same as those in the first embodiment.

検出部１２１は、第１の実施の形態における検出部１２０が有する機能に以下の機能が追加されている。検出部１２１は、撮像部１１０が撮像した画像と、あらかじめ魚の尾鰭を除く多数の個体の特徴を深層学習した学習モデル１３１とを用いて、魚を検出する。このとき、検出部１２１は、深層学習の量子化・枝刈り等を適用した深層学習圧縮技術を用いても良い。なお、検出部１２１は、尾鰭以外の鰭部分（例えば、胸鰭等）を除く部位の画像を用いて魚を検出するものであっても良い。このように、変化の大きな鰭部分などをアノテーション対象から除外したものを教師データとして用いて深層学習モデルを作成することで、学習モデルの複雑化を回避し、より正確な検出を行うことができる。なお、変化の大きな鰭部分とは、可動域が大きな部分であって、撮像された形状が撮像のタイミングに応じて変化する部分のことである。また、検出部１２１は、魚を検出すると、検出した魚をＢｏｕｎｄｉｎｇＢｏｘと称する枠で囲み、囲んだ枠を検出結果として用いるものであっても良い。このように、枠を用いて検出結果を表示することで、魚を検知した結果を作業者が認識しやすくすることができる。 The detection unit 121 has the following functions added to the functions of the detection unit 120 in the first embodiment. The detection unit 121 detects a fish by using an image captured by the imaging unit 110 and a learning model 131 in which the characteristics of a large number of individuals excluding the caudal fin of the fish are deep-learned in advance. At this time, the detection unit 121 may use a deep learning compression technique to which quantization / pruning of deep learning is applied. The detection unit 121 may detect a fish by using an image of a portion excluding a fin portion (for example, a pectoral fin, etc.) other than the caudal fin. In this way, by creating a deep learning model using the data that excludes the fins with large changes from the annotation targets as teacher data, it is possible to avoid complication of the learning model and perform more accurate detection. .. The fin portion with a large change is a portion having a large range of motion and the imaged shape changes according to the timing of imaging. Further, when the detection unit 121 detects a fish, the detected fish may be surrounded by a frame called a Bounding Box, and the surrounded frame may be used as a detection result. By displaying the detection result using the frame in this way, it is possible to make it easier for the operator to recognize the result of detecting the fish.

追跡部１６１は、検出部１２１が検出した個体を追跡する。追跡部１６１は、いわゆるトラッキング処理を行うが、このトラッキング処理は、検出された個体を追跡できるものであればどのようなトラッキング処理であっても良く、特に限定しない。距離測定部１７１は、追跡部１６１が追跡した個体の移動距離を測定する。計数部１４１は、追跡部１６１が追跡した個体のうち、距離測定部１７１が測定した移動距離が所定の距離閾値を超え、かつその個体が撮像範囲に存在する時間が所定の時間を超えた個体の数を魚の数としてカウントする。例えば、計数部１４１は、追跡部１６１が追跡した個体のうち、撮像部１１０が撮像したフレームの一定数のフレーム以上に撮像されており、かつ撮像部１１０の撮像範囲（フレーム内）の３分の１以上の距離を移動した個体をカウントの対象とする。計数部１４１は、追跡部１６１が追跡した個体のうち、距離測定部１７１が測定した移動距離が所定の距離閾値を超えないものや、移動距離が所定の距離閾値を超えてもその個体が撮像範囲内に存在する時間が所定の時間以内であるものについては、その個体をカウント対象から外すものであっても良い。この移動距離と比較する距離閾値や所定の時間については、外部から設定可能である。また、計数部１４１は、計測ごとにカウント値をリセット可能なものであっても良い。 The tracking unit 161 tracks the individual detected by the detection unit 121. The tracking unit 161 performs a so-called tracking process, and the tracking process may be any tracking process as long as it can track the detected individual, and is not particularly limited. The distance measuring unit 171 measures the moving distance of the individual tracked by the tracking unit 161. Among the individuals tracked by the tracking unit 161, the counting unit 141 is an individual whose movement distance measured by the distance measuring unit 171 exceeds a predetermined distance threshold value and the time during which the individual is in the imaging range exceeds a predetermined time. Count the number of fish as the number of fish. For example, the counting unit 141 is imaged in a certain number of frames or more of the frames imaged by the imaging unit 110 among the individuals tracked by the tracking unit 161 and is 3 minutes of the imaging range (inside the frame) of the imaging unit 110. Individuals that have moved a distance of 1 or more are counted. Among the individuals tracked by the tracking unit 161, the counting unit 141 captures an image of an individual whose movement distance measured by the distance measurement unit 171 does not exceed a predetermined distance threshold, or even if the movement distance exceeds a predetermined distance threshold. If the time existing within the range is within a predetermined time, the individual may be excluded from the counting target. The distance threshold value to be compared with this moving distance and a predetermined time can be set from the outside. Further, the counting unit 141 may be capable of resetting the count value for each measurement.

図７は、図５に示した流路２０１の外観の一例を示す図である。図５に示した流路２０１は図７に示すように、底面２１１と２つの側壁２２１，２３１とから構成される流路である。底面２１１の表面は、魚が移動しやすいように、例えば、エンボス加工が施されているものが好ましいが、これに限定しない。流路２０１の内側の素材は、錆びにくいステンレスや繊維強化プラスチック（ＦＲＰ：Ｆｉｂｅｒ−ＲｅｉｎｆｏｒｃｅｄＰｌａｓｔｉｃｓ）等が好ましい。流路２０１の幅、つまり、側壁２２１と側壁２３１との間の距離は、魚が底面２１１に触れながら移動できるサイズであって、１〜１００ｃｍ程度が好ましい。側壁２２１と側壁２３１との間の距離は、例えば、対象となる魚の体幅または体高と同等かそれ以上が好ましい。また、側壁２２１および側壁２３１の高さは、１〜１００ｃｍ程度が好ましい。側壁２２１および側壁２３１の高さは、例えば、対象となる魚の体幅と同等かそれ以上が好ましいが、流路２０１を移動する魚が流路２０１から外れない（外に飛び出さない）高さであれば良い。 FIG. 7 is a diagram showing an example of the appearance of the flow path 201 shown in FIG. As shown in FIG. 7, the flow path 201 shown in FIG. 5 is a flow path composed of a bottom surface 211 and two side walls 221,231. The surface of the bottom surface 211 is preferably, for example, embossed so that fish can easily move, but the surface thereof is not limited to this. The material inside the flow path 201 is preferably stainless steel or fiber reinforced plastic (FRP: Fiber-Reinforced Plastics) that does not easily rust. The width of the flow path 201, that is, the distance between the side wall 221 and the side wall 231 is a size that allows the fish to move while touching the bottom surface 211, and is preferably about 1 to 100 cm. The distance between the side wall 221 and the side wall 231 is preferably equal to or greater than, for example, the body width or height of the target fish. The height of the side wall 221 and the side wall 231 is preferably about 1 to 100 cm. The heights of the side wall 221 and the side wall 231 are preferably equal to or greater than, for example, the body width of the target fish, but the height at which the fish moving in the flow path 201 does not deviate from the flow path 201 (does not jump out). If it is good.

図８は、図５に示した計数システムの外観の一例を示す図である。図５に示した計数システムは図８に示すように、流路２０１を移動する個体を撮像できる位置に撮像部１１０が位置するように計数装置１０１が設置されている。流路２０１は、船上に設けられ、水中に設けられるものではない。なお、計数装置１０１の筐体の外側に出力部１５０が設けられ、計数部１４１と出力部１５０との間が無線または有線を用いて接続されているものであっても良い。また、撮像部１１０と他の構成要素とが互いに別個の筐体に収容されているものであっても良い。この場合、撮像部１１０と検出部１２１との間は、無線または有線で接続されている。筐体には、防塵・防水加工が施されている。また、計数装置１０１および流路２０１は、例えば、船上に設けられ、船上にて魚の計数を行うことができる態様となっている。また、計数装置１０１は、内部にバッテリー（例えば、充放電可能な蓄電池等）を具備しており、計数装置１０１に設けられた各構成要素は、このバッテリーから電源が供給されて動作する。魚は、大型の網を用いて生簀から流路２０１の上流へ放たれる。なお、流路２０１は、複数の小流路に分かれているものであっても良い。その場合、複数の小流路それぞれを互いに異なるサイズ（幅）に形成し、流路２０１上に放たれた魚をそのサイズに応じてカウント対象であるか対象外であるかを選別できるようにしても良い。 FIG. 8 is a diagram showing an example of the appearance of the counting system shown in FIG. In the counting system shown in FIG. 5, as shown in FIG. 8, the counting device 101 is installed so that the imaging unit 110 is located at a position where an individual moving in the flow path 201 can be imaged. The flow path 201 is provided on the ship, not in water. The output unit 150 may be provided on the outside of the housing of the counting device 101, and the counting unit 141 and the output unit 150 may be connected wirelessly or by wire. Further, the imaging unit 110 and other components may be housed in separate housings. In this case, the image pickup unit 110 and the detection unit 121 are connected wirelessly or by wire. The housing is dustproof and waterproof. Further, the counting device 101 and the flow path 201 are provided on the ship, for example, so that the fish can be counted on the ship. Further, the counting device 101 is provided with a battery (for example, a rechargeable storage battery or the like) inside, and each component provided in the counting device 101 is supplied with power from the battery to operate. The fish are released from the cage upstream of the channel 201 using a large net. The flow path 201 may be divided into a plurality of small flow paths. In that case, each of the plurality of small flow paths is formed to have different sizes (widths) from each other so that the fish released on the flow path 201 can be selected as to be counted or not to be counted according to the size. You may.

図８に示すように、流路２０１は、流路２０１の底面に沿って魚が上流から下流へ滑って移動するように水平面３０１に対して傾斜して配置されている。流路２０１を移動する魚が複数である場合、流路２０１の上流側では複数の魚が互いに重なり合っている場合も考えられる。複数の魚が互いに重なり合っていると、撮像部１１０が撮像した画像からは、その重なりの下側に存在する魚を検出部１２１が検出することが困難となってしまう。そのため、流路２０１を水平面に対して傾斜させ、重なりを防止する。なお、この傾斜角度は４〜６度が好ましいが、魚の量や、底面の素材・加工・構造、流路２０１上を魚が滑りやすくするために魚とともに上流から下流へ流す水の量等に応じて、適宜設定（例えば、１〜３０度程度の範囲内で設定）されるものであっても良い。 As shown in FIG. 8, the flow path 201 is arranged at an angle with respect to the horizontal plane 301 so that the fish slide and move from the upstream to the downstream along the bottom surface of the flow path 201. When there are a plurality of fish moving in the flow path 201, it is possible that a plurality of fish overlap each other on the upstream side of the flow path 201. When a plurality of fish overlap each other, it becomes difficult for the detection unit 121 to detect the fish existing under the overlap from the image captured by the imaging unit 110. Therefore, the flow path 201 is inclined with respect to the horizontal plane to prevent overlap. The inclination angle is preferably 4 to 6 degrees, but it depends on the amount of fish, the material, processing, and structure of the bottom surface, the amount of water flowing from upstream to downstream together with the fish to make the fish slippery on the flow path 201, etc. Depending on the situation, it may be appropriately set (for example, set within the range of about 1 to 30 degrees).

また、上述したように流路２０１を水平面に対して傾斜させているため、魚が移動し始める流路２０１の上流よりも下流の方が複数の魚が互いに重なる可能性は低くなる。そのため、撮像部１１０は、できるだけ下流側の流路２０１を撮像するように設置されている。例えば、撮像部１１０は、流路２０１の上流と下流との中間点よりも下流側の流路２０１を撮像するように設置されている。 Further, since the flow path 201 is inclined with respect to the horizontal plane as described above, the possibility that a plurality of fish overlap each other is lower in the downstream side than in the upstream side of the flow path 201 where the fish start to move. Therefore, the imaging unit 110 is installed so as to image the flow path 201 on the downstream side as much as possible. For example, the imaging unit 110 is installed so as to image the flow path 201 on the downstream side of the midpoint between the upstream and downstream of the flow path 201.

また、撮像部１１０と流路２０１との間に、親水性シート（親水性被膜）４０１が設けられている。親水性シート４０１は、親水性処理が施された透明な板やシート等の部材（親水性部材）であって、撮像部１１０のレンズを覆うように張られているものであっても良い。親水性シート４０１を設けることで、水飛沫や水滴が画像撮像の妨げになることを防ぐことができる。さらに、撮像部１１０と親水性シート４０１との間に、偏光フィルタと減光フィルタとの少なくとも一方をフィルタ４０２として設けても良い。フィルタ４０２を設けることで、撮像部１１０において撮像した画像の強い光の影響による不鮮明化を回避することができる。 Further, a hydrophilic sheet (hydrophilic coating) 401 is provided between the imaging unit 110 and the flow path 201. The hydrophilic sheet 401 may be a member (hydrophilic member) such as a transparent plate or sheet that has been subjected to a hydrophilic treatment, and may be stretched so as to cover the lens of the imaging unit 110. By providing the hydrophilic sheet 401, it is possible to prevent water droplets and water droplets from interfering with image imaging. Further, at least one of a polarizing filter and a dimming filter may be provided as a filter 402 between the imaging unit 110 and the hydrophilic sheet 401. By providing the filter 402, it is possible to avoid blurring of the image captured by the imaging unit 110 due to the influence of strong light.

図９は、図６に示した検出部１２１が検出した魚を囲む枠の一例を示す図である。図９に示すように、検出部１２１は尾鰭５１１を除く魚５０１を検出枠５２１で囲む処理を行う。検出枠５２１は、上述したＢｏｕｎｄｉｎｇＢｏｘである。検出枠５２１は、撮像部１１０が撮像した魚５０１を出力部１５０が表示する際に表示される。検出枠５２１で魚５０１を囲むことで、撮像部１１０が撮像した画像を出力部１５０が表示するときに、出力部１５０が表示した画像を見た利用者がその画像の中から魚５０１を識別することが容易になる。 FIG. 9 is a diagram showing an example of a frame surrounding the fish detected by the detection unit 121 shown in FIG. As shown in FIG. 9, the detection unit 121 performs a process of surrounding the fish 501 excluding the caudal fin 511 with the detection frame 521. The detection frame 521 is the above-mentioned Bounding Box. The detection frame 521 is displayed when the output unit 150 displays the fish 501 imaged by the imaging unit 110. By surrounding the fish 501 with the detection frame 521, when the output unit 150 displays the image captured by the imaging unit 110, the user who sees the image displayed by the output unit 150 identifies the fish 501 from the image. It will be easier to do.

図１０は、図６に示した計数部１４１が行う計数処理を説明するための図である。図１０に示すように、計数部１４１は、流路２０１上、検出部１２１が魚であると検出した物体が所定の距離閾値を超えて移動した場合、その個体をカウント対象の魚であるとカウントする。一方、計数部１４１は、検出部１２１が魚であると検出した個体の移動が距離閾値以下である場合、その個体をカウント対象外としてカウントしない。 FIG. 10 is a diagram for explaining the counting process performed by the counting unit 141 shown in FIG. As shown in FIG. 10, when the object detected by the detection unit 121 as a fish on the flow path 201 moves beyond a predetermined distance threshold value, the counting unit 141 determines that the individual is a fish to be counted. Count. On the other hand, when the movement of the individual detected by the detection unit 121 as a fish is equal to or less than the distance threshold value, the counting unit 141 does not count the individual as a non-counting target.

以下に、図６に示した計数装置１０１における計数方法について説明する。図１１は、図６に示した計数装置１０１における計数方法の一例を説明するためのフローチャートである。 The counting method in the counting device 101 shown in FIG. 6 will be described below. FIG. 11 is a flowchart for explaining an example of a counting method in the counting device 101 shown in FIG.

まず、計測を開始するために、計数装置１０１は、外部からの所定の操作に基づいて計測開始の入力を受け付けると、撮像部１１０が流路２０１の撮像を開始する（ステップＳ１１）。続いて、検出部１２１が、撮像部１１０が撮像した画像と、あらかじめ多数の個体の特徴を深層学習した学習モデル１３１とを用いて、個体の検出を行う（ステップＳ１２）。このとき検出部１２１は、上述したように、変化の大きな鰭の部分を除いて検出を行うものであっても良い。検出部１２１が個体を検出すると、追跡部１６１は、検出部１２１が検出した個体を追跡する（ステップＳ１３）。続いて、距離測定部１７１は、追跡部１６１が追跡した個体の移動距離を測定する（ステップＳ１４）。 First, in order to start measurement, when the counting device 101 receives an input for starting measurement based on a predetermined operation from the outside, the imaging unit 110 starts imaging of the flow path 201 (step S11). Subsequently, the detection unit 121 detects an individual by using the image captured by the imaging unit 110 and the learning model 131 in which the characteristics of a large number of individuals are deep-learned in advance (step S12). At this time, as described above, the detection unit 121 may perform detection excluding the portion of the fin that changes significantly. When the detection unit 121 detects an individual, the tracking unit 161 tracks the individual detected by the detection unit 121 (step S13). Subsequently, the distance measuring unit 171 measures the moving distance of the individual tracked by the tracking unit 161 (step S14).

すると、計数部１４１は、追跡部１６１が追跡した個体について、距離測定部１７１が測定した移動距離があらかじめ設定された距離閾値を超えたかどうかを判定する（ステップＳ１５）。計数部１４１は、追跡部１６１が追跡した個体について、距離測定部１７１が測定した移動距離があらかじめ設定された距離閾値を超えた場合、その個体が撮像範囲内に存在する時間を測定する（ステップＳ１６）。計数部１４１は、その個体が撮像範囲内に存在する時間があらかじめ設定された時間を超えているかどうかを判定する（ステップＳ１７）。その個体が撮像範囲内に存在する時間があらかじめ設定された時間を超えている場合、計数部１４１はカウンタ値をカウントアップする（ステップＳ１８）。一方、計数部１４１は、追跡部１６１が追跡した個体について、距離測定部１７１が測定した移動距離があらかじめ設定された距離閾値を超えない場合や、移動距離が所定の距離閾値を超えてもその個体が撮像範囲内に存在する時間が所定の時間以内での移動である場合は、カウンタ値をカウントアップしない。 Then, the counting unit 141 determines whether or not the movement distance measured by the distance measuring unit 171 exceeds the preset distance threshold value for the individual tracked by the tracking unit 161 (step S15). When the moving distance measured by the distance measuring unit 171 exceeds a preset distance threshold value for the individual tracked by the tracking unit 161, the counting unit 141 measures the time during which the individual is within the imaging range (step). S16). The counting unit 141 determines whether or not the time that the individual exists in the imaging range exceeds a preset time (step S17). When the time that the individual exists in the imaging range exceeds a preset time, the counting unit 141 counts up the counter value (step S18). On the other hand, the counting unit 141 determines that the moving distance measured by the distance measuring unit 171 does not exceed a preset distance threshold for the individual tracked by the tracking unit 161 or even if the moving distance exceeds a predetermined distance threshold. If the time the individual is in the imaging range is within a predetermined time, the counter value is not counted up.

ここで、流路２０１内の単なる光の反射や流路２０１の汚れ、模様、作業者の一部等、対象となる個体ではないノイズを検出部１２１が個体（魚）であると誤検出した場合、それを魚として計数してしまうことを防止するために、計数部１４１は、検出部１２１が検出した個体の移動距離や個体が撮像範囲内に存在する時間を魚であるかどうかの判定（計数）に用いる。検出部１２１が検出した個体が流路２０１内の単なる光の反射である場合、その個体は移動しない。もしくは、そのような光の反射等を誤検出したとしてもその存在時間はわずかである場合が多い。一方、検出部１２１が検出した個体が魚である場合、その個体（魚）は流路２０１上をある程度の時間をかけて移動する。計数部１４１は、この移動の有無や個体が撮像範囲内に存在する時間を、個体が魚であるかどうかの判定に用いる。また、移動の判定に用いる距離閾値は、このような検出部１２１が検出した個体が、移動している魚であるのか、移動しない光の反射等なのかを判定できる距離であって、流路２０１の形状や傾斜角度、設置位置、魚が流路２０１へ投入される速度や数量、または計測を行う時間帯等に応じてあらかじめ設定される。また、あらかじめ設定された時間は、魚が流路２０１を移動したことを検出するための時間であって、流路２０１の形状や傾斜角度、設置位置、魚が流路２０１へ投入される速度や数量等に応じてあらかじめ設定される。 Here, the detection unit 121 erroneously detects that the noise that is not the target individual, such as the mere reflection of light in the flow path 201, the dirt on the flow path 201, the pattern, and a part of the worker, is an individual (fish). In this case, in order to prevent it from being counted as a fish, the counting unit 141 determines whether or not the moving distance of the individual detected by the detecting unit 121 and the time during which the individual is within the imaging range are fish. Used for (counting). If the individual detected by the detection unit 121 is merely a reflection of light in the flow path 201, the individual does not move. Alternatively, even if such light reflection or the like is erroneously detected, its existence time is often short. On the other hand, when the individual detected by the detection unit 121 is a fish, the individual (fish) moves on the flow path 201 over a certain period of time. The counting unit 141 uses the presence or absence of this movement and the time during which the individual is within the imaging range to determine whether or not the individual is a fish. Further, the distance threshold value used for determining the movement is a distance capable of determining whether the individual detected by the detection unit 121 is a moving fish, a reflection of non-moving light, or the like, and is a flow path. It is set in advance according to the shape and inclination angle of 201, the installation position, the speed and quantity of fish being put into the flow path 201, the time zone for measurement, and the like. Further, the preset time is a time for detecting that the fish has moved in the flow path 201, and is the shape and inclination angle of the flow path 201, the installation position, and the speed at which the fish is put into the flow path 201. It is set in advance according to the quantity and quantity.

その後、検出部１２１が検出した個体が複数であるかどうかを検出部１２１が判定する（ステップＳ１９）。検出部１２１が検出した個体が複数ではない場合、計数装置１０１は、計測が終了するかどうかを判定する（ステップＳ２０）。ここで、計数装置１０１は、外部からの所定の操作に基づいて計測終了の入力を受け付けたかどうかを判定することにより、ステップＳ２０の判定が行われる。計数装置１０１が計測を終了すると判定した場合、出力部１５０は、計数部１４１が計測した個体の数を出力する（ステップＳ２１）。出力部１５０は、計数部１４１が計測した個体の数をディスプレイに表示するものであっても良いし、計数部１４１が計測した個体の数を示す情報を他の装置へ送信するものであっても良い。個体の数を表示するディスプレイは、計数装置１０１に具備されたディスプレイであっても良いし、計数装置１０１と接続された専用のディスプレイや、通信端末に具備されたディスプレイであっても良い。一方、計数装置１０１が計測を終了しないと判定した場合は、ステップＳ１２の処理が行われる。 After that, the detection unit 121 determines whether or not there are a plurality of individuals detected by the detection unit 121 (step S19). When the number of individuals detected by the detection unit 121 is not a plurality, the counting device 101 determines whether or not the measurement is completed (step S20). Here, the counting device 101 determines in step S20 by determining whether or not the input for the end of measurement has been received based on a predetermined operation from the outside. When the counting device 101 determines that the measurement is completed, the output unit 150 outputs the number of individuals measured by the counting unit 141 (step S21). The output unit 150 may display the number of individuals measured by the counting unit 141 on the display, or transmit information indicating the number of individuals measured by the counting unit 141 to another device. Is also good. The display for displaying the number of individuals may be a display provided in the counting device 101, a dedicated display connected to the counting device 101, or a display provided in the communication terminal. On the other hand, if the counting device 101 determines that the measurement is not completed, the process of step S12 is performed.

一方、ステップＳ１９にて、検出部１２１が検出した個体が複数であると判定された場合、追跡部１６１は、未処理の個体があるかどうかを判定する（ステップＳ２２）。追跡部１６１は、ステップＳ１３〜Ｓ１８までの処理を完了した個体と、ステップＳ１３〜Ｓ１８までの処理をまだ行っていない個体とを識別可能に分別しておく。例えば、追跡部１６１は、検出部１２１が検出した個体それぞれに互いに区別できるマーカーを付しておき、そのマーカーを処理済みかどうかが識別できるように変更していくものであっても良い。また、この追跡部１６１の処理を、距離測定部１７１が行っても良い。未処理の個体がある場合、未処理の個体についてステップＳ１３〜Ｓ１８の処理が行われる。また、未処理の個体がない場合は、ステップＳ２０の処理が行われる。なお、ステップＳ１２にて検出部１２１が複数の個体を検出した場合、検出された個体ごとにステップＳ１３〜Ｓ１７８の処理がそれぞれに並行して行われるものであっても良い。 On the other hand, when it is determined in step S19 that there are a plurality of individuals detected by the detection unit 121, the tracking unit 161 determines whether or not there are unprocessed individuals (step S22). The tracking unit 161 distinguishes an individual that has completed the processes of steps S13 to S18 from an individual that has not yet performed the processes of steps S13 to S18. For example, the tracking unit 161 may attach a marker that can be distinguished from each other to each individual detected by the detection unit 121, and change the marker so that it can be identified whether or not the marker has been processed. Further, the distance measuring unit 171 may perform the processing of the tracking unit 161. If there are untreated individuals, the treatments of steps S13 to S18 are performed on the untreated individuals. If there are no untreated individuals, the process of step S20 is performed. When the detection unit 121 detects a plurality of individuals in step S12, the processes of steps S13 to S178 may be performed in parallel for each detected individual.

なお、出力部１５０は、計数部１４１が計測した個体の数をリアルタイムで出力するものであっても良いし、計数部１４１が個体の数を計測中の所定のタイミングで出力するものであっても良い。この場合の所定のタイミングとは、例えば、計数部１４１が個体をカウントする度、または所定の数（例えば、１０）をカウントする度のタイミングや、計測開始からあらかじめ設定された単位時間（例えば、１分間）経過ごとのタイミングであっても良い。 The output unit 150 may output the number of individuals measured by the counting unit 141 in real time, or the counting unit 141 outputs the number of individuals at a predetermined timing during measurement. Is also good. The predetermined timing in this case is, for example, the timing of each time the counting unit 141 counts an individual, or the timing of counting a predetermined number (for example, 10), or a unit time preset from the start of measurement (for example, 10). It may be the timing for each passage (1 minute).

図６に示した学習モデル１３１は、メモリカード等の移設可能な記録媒体に記憶しておき、計数装置１０１に装着して用いられるものであっても良い。その場合、複数のメモリカードそれぞれに互いに異なる学習モデルを記憶おけば、装着するメモリカードの差し替えだけで、計測の対象となる個体に適した学習モデルを計数装置１０１にて即座に実行することができる。または、１つのメモリカードに互いに異なる複数の学習モデルを記憶させておき、計測対象に応じて使用する学習モデルを切り替えて実行するような形態であっても良い。 The learning model 131 shown in FIG. 6 may be stored in a transferable recording medium such as a memory card and mounted on the counting device 101 for use. In that case, if different learning models are stored in each of the plurality of memory cards, the counting device 101 can immediately execute the learning model suitable for the individual to be measured by simply replacing the memory card to be attached. can. Alternatively, one memory card may store a plurality of learning models that are different from each other, and the learning model to be used may be switched and executed according to the measurement target.

このように、計数装置１０１は、船上に設置された流路２０１の撮像画像から、深層学習モデルを用いて対象となる個体を検出し、検出した個体の移動距離が距離閾値を超えたものを魚としてカウントする。そのため、船上において対象物である魚の正確な数を計測できる。 In this way, the counting device 101 detects the target individual from the captured image of the flow path 201 installed on the ship by using the deep learning model, and the moving distance of the detected individual exceeds the distance threshold value. Count as a fish. Therefore, it is possible to measure the exact number of fish that are the objects on board.

以上、各構成要素に各機能（処理）それぞれを分担させて説明したが、この割り当ては上述したものに限定しない。また、構成要素の構成についても、上述した形態はあくまでも例であって、これに限定しない。 In the above, each component has been assigned to each function (process), but this allocation is not limited to the above. Further, the above-described form is merely an example of the configuration of the component elements, and the present invention is not limited to this.

上述した各構成要素が行う処理は、目的に応じてそれぞれ作製された論理回路で行うようにしても良い。また、処理内容を手順として記述したコンピュータプログラム（以下、プログラムと称する）を各構成要素を具備した装置（例えば、計数装置１００，１０１。以下、情報処理装置と称する）にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを情報処理装置に読み込ませ、実行するものであっても良い。情報処理装置にて読取可能な記録媒体とは、フロッピー（登録商標）ディスク、光磁気ディスク、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）、ＣＤ（ＣｏｍｐａｃｔＤｉｓｃ）、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）メモリなどの移設可能な記録媒体の他、情報処理装置に内蔵されたＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等のメモリやＨＤＤ（ＨａｒｄＤｉｓｃＤｒｉｖｅ）等を指す。この記録媒体に記録されたプログラムは、情報処理装置に設けられたＣＰＵにて読み込まれ、ＣＰＵの制御によって、上述したものと同様の処理が行われる。ここで、ＣＰＵは、プログラムが記録された記録媒体から読み込まれたプログラムを実行するコンピュータとして動作するものである。なお、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）を用いて上述した論理回路を実現するものであっても良い。 The processing performed by each of the above-described components may be performed by a logic circuit manufactured according to the purpose. Further, a recording medium in which a computer program (hereinafter, referred to as a program) in which the processing contents are described as a procedure can be read by a device (for example, counting devices 100, 101; hereinafter, referred to as an information processing device) including each component. The program may be recorded in the information processing device, and the program recorded in the recording medium may be read by the information processing apparatus and executed. The recording media that can be read by the information processing device are floppy (registered trademark) disc, magneto-optical disc, DVD (Digital Versaille Disc), CD (Compact Disc), Blu-ray (registered trademark) Disc, and USB (Universal Serial). Bus) In addition to a transferable recording medium such as a memory, it refers to a memory such as a ROM (Read Only Memory) and a RAM (Random Access Memory) built in an information processing apparatus, an HDD (Hard Disk Drive), and the like. The program recorded on the recording medium is read by a CPU provided in the information processing device, and the same processing as described above is performed under the control of the CPU. Here, the CPU operates as a computer that executes a program read from a recording medium in which the program is recorded. The logic circuit described above may be realized by using FPGA (Field Programmable Gate Array).

１００，１０１計数装置
１１０撮像部
１２０，１２１検出部
１３０，１３１学習モデル
１４０，１４１計数部
１５０出力部
１６１追跡部
１７１距離測定部
２００，２０１流路
２１１底面
２２１，２３１側壁
３０１水平面
４０１親水性シート
４０２フィルタ
５０１魚
５１１尾鰭
５２１検出枠 100, 101 Counting device 110 Imaging unit 120, 121 Detection unit 130, 131 Learning model 140, 141 Counting unit 150 Output unit 161 Tracking unit 171 Distance measuring unit 200, 201 Flow path 211 Bottom surface 221,231 Side wall 301 Horizontal sheet 401 Hydrophilic sheet 402 Filter 501 Fish 511 Caudal fin 521 Detection frame

Claims

The flow path in which the individual moves and
An imaging unit installed at a position where the individual moving in the flow path can be imaged,
A detection unit that detects the individual using a deep learning model that uses deep learning model as teacher data, which excludes the portion of the image captured by the imaging unit whose shape changes according to the timing of imaging from the annotation target. ,
A counting unit that counts the number of the individuals detected by the detection unit,
A counting system having an output unit that outputs the number counted by the counting unit.

In the counting system according to claim 1,
A counting system in which the individual is a fish.

In the counting system according to claim 2,
The detection unit is a counting system that detects the fish by using the deep learning model in which the tail or fin portion of the fish is excluded from the image captured by the imaging unit as teacher data.