JP7250155B2 - Fish counting system, fish counting method and program - Google Patents

Fish counting system, fish counting method and program Download PDF

Info

Publication number
JP7250155B2
JP7250155B2 JP2021548836A JP2021548836A JP7250155B2 JP 7250155 B2 JP7250155 B2 JP 7250155B2 JP 2021548836 A JP2021548836 A JP 2021548836A JP 2021548836 A JP2021548836 A JP 2021548836A JP 7250155 B2 JP7250155 B2 JP 7250155B2
Authority
JP
Japan
Prior art keywords
fish
display
unit
counting
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021548836A
Other languages
Japanese (ja)
Other versions
JPWO2021060077A1 (en
Inventor
泰広 上田
裕一郎 嵩
寿昭 堺
誠 谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanmar Co Ltd
Original Assignee
Yanmar Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanmar Co Ltd filed Critical Yanmar Co Ltd
Publication of JPWO2021060077A1 publication Critical patent/JPWO2021060077A1/ja
Priority to JP2023044280A priority Critical patent/JP2023068069A/en
Application granted granted Critical
Publication of JP7250155B2 publication Critical patent/JP7250155B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K61/00Culture of aquatic animals
    • A01K61/90Sorting, grading, counting or marking live aquatic animals, e.g. sex determination
    • A01K61/95Sorting, grading, counting or marking live aquatic animals, e.g. sex determination specially adapted for fish
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/05Underwater scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81Aquaculture, e.g. of fish

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Zoology (AREA)
  • Environmental Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Farming Of Fish And Shellfish (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本開示は、魚計数システム、魚計数方法及びプログラムに関する。 The present disclosure relates to fish counting systems, fish counting methods and programs.

マグロ等の魚の養殖において正確な魚数を把握し、餌代の削減や計画的な生産を行うことが好ましい。従来では、魚を第1生簀から第2生簀へ移動させ、移動する魚を撮影することで魚を計数する。撮影した動画をスロー再生しながら、目視で魚数をカウントしていたため、工数増および正確性に欠けていた。 In aquaculture of fish such as tuna, it is preferable to accurately grasp the number of fish, reduce feed costs, and plan production. Conventionally, the fish are counted by moving the fish from the first cage to the second cage and photographing the moving fish. Since the number of fish was counted visually while playing the recorded video in slow motion, the number of man-hours increased and accuracy was lacking.

特許文献1には、河川等の魚道を通る魚を計数するために、複数のカメラを用いて通過する魚を計数するシステムが開示されている。 Patent Literature 1 discloses a system that counts passing fish using a plurality of cameras in order to count fish passing through a fishway such as a river.

特開2005-202674号公報JP 2005-202674 A

しかしながら、カメラによる計数は、太陽の向きや水の濁り等の撮像環境の変化に依存して精度が変動する場合がある。また、多数の魚が一斉に移動した場合に魚の重複によって誤計数が発生する場合がある。 However, the accuracy of counting by a camera may vary depending on changes in the imaging environment such as the direction of the sun and turbidity of water. Also, when a large number of fish move together, an erroneous counting may occur due to duplication of fish.

したがって、誤って計数する場合があるので、計数結果を手動で補正できることが好ましい。しかし、誤計数したかどうかを、長時間撮影した動画を全て目視して確認することは煩わしく、工数増となってしまう。 Therefore, it is preferable to be able to manually correct the counting results, as erroneous counting may occur. However, it is cumbersome to visually check all moving images taken for a long period of time to check whether or not there is an erroneous counting, which increases the number of man-hours.

本開示は、誤計数を容易に補正可能な魚計数システム、魚計数方法及びプログラムを提供する。 The present disclosure provides a fish counting system, a fish counting method, and a program that can easily correct counting errors.

本開示の魚計数システムは、魚を含む流体を経時的に撮影した複数枚の画像を取得する画像取得部と、前記複数枚の画像に基づき魚の数を計数する計数部と、単位時間あたりに計数した魚の数に対応する表示が時系列に沿って配置された魚数変化表示を提供する魚数変化表示提供部と、計数済の魚を示す計数済マークが付された画像を含む計数結果表示を提供する結果提供部と、補正操作を受け付けて前記魚の数を補正する補正部と、を備える。 The fish counting system of the present disclosure includes an image acquisition unit that acquires a plurality of images of a fluid containing fish captured over time, a counting unit that counts the number of fish based on the plurality of images, and A fish count change display providing unit that provides a fish count change display in which displays corresponding to the number of counted fish are arranged in chronological order, and a counting result including an image with a counted mark indicating fish that have been counted. A result providing unit that provides a display, and a correction unit that receives a correction operation and corrects the number of fish.

誤計数が生じやすいのは、多数の魚が一斉に通過するときが多く、単位時間あたりに計数した魚が多いときである。この構成によれば、単位時間あたりに計数した魚の数に対応する表示が時系列に沿って配置された魚数変化表示を提供する。これにより、全ての時間の画像を目視しなくても、多数の魚が一斉に通過する誤計数が生じやすい時点を把握可能となる。そして、計数済の魚を示す計数済マークが付された画像を含む計数結果表示を視認して確認し、補正操作を通じて補正可能となる。したがって、誤計数を容易に補正可能となる。 Miscounts are likely to occur when many fish pass at once and when many fish are counted per unit time. This configuration provides a fish count change display in which the display corresponding to the number of fish counted per unit time is arranged in chronological order. As a result, it is possible to grasp the point in time when a large number of fish are likely to pass at once, and erroneous counting is likely to occur, without visually observing the images for the entire time period. Then, the counting result display including the image with the counted mark indicating the counted fish can be visually confirmed and corrected through the correction operation. Therefore, erroneous counting can be easily corrected.

本実施形態の魚計数システムを示すブロック図である。1 is a block diagram showing a fish counting system of this embodiment; FIG. 撮影した画像を示す図である。It is a figure which shows the image|photographed image. 計数結果表示と魚数変化表示とを含む画面を示す図である。FIG. 10 is a diagram showing a screen including counting result display and fish count change display; システムが実行する処理の一例を示すフローチャートである。4 is a flowchart showing an example of processing executed by the system; 手動補正マークが付与された画像を含む画面を示す図である。FIG. 10 is a diagram showing a screen including an image to which manual correction marks have been added; 魚計数システムの他の構成を模式的に示す図である。FIG. 10 is a diagram schematically showing another configuration of the fish counting system; 計数結果表示と魚数変化表示とを含む画面の他の例を示す図である。FIG. 10 is a diagram showing another example of a screen including counting result display and fish count change display;

以下に、本開示の実施形態について図面を参照しながら説明する。 Embodiments of the present disclosure will be described below with reference to the drawings.

図1に示すように、魚計数システム3は、複数枚の画像に基づいて魚の数を計数し、計数結果の表示をディスプレイ4等の提供先に提供し、操作部5を介して補正操作を受け付け魚の数を補正可能に構成されている。複数枚の画像は、魚1を含む流体が流れる撮影領域をカメラ2で経時的に撮影して得られる。図1は例示であり、第1生簀と第2生簀を直接接続して、第1生簀から第2生簀にマグロなどの魚を移動させる。第2生簀の入り口近傍にカメラを配置することで、第2生簀に移動した魚を計数し、全体の魚の数を把握する。なお、カメラの設置方向は図1に示す例示に限定されない。例えば、第1生簀の出口に設置することなどが挙げられる。 As shown in FIG. 1, the fish counting system 3 counts the number of fish based on a plurality of images, provides the display of the counting results to the provider of the display 4 or the like, and performs a correction operation via the operation unit 5. It is configured so that the number of accepted fish can be corrected. A plurality of images are obtained by capturing, with time, an imaging region in which the fluid containing the fish 1 flows with the camera 2 . FIG. 1 is an example, in which a first cage and a second cage are directly connected to move fish such as tuna from the first cage to the second cage. By arranging a camera near the entrance of the second cage, the number of fish that have moved to the second cage is counted, and the total number of fish is grasped. Note that the installation direction of the camera is not limited to the example shown in FIG. For example, it may be installed at the exit of the first fish tank.

なお、本実施形態において、魚計数システム3は、ディスプレイ4及び操作部5(タッチパネル、マウスなどのデバイス)が接続されたコンピュータにおいて実現されるが、これに限定されない。例えば、魚計数システム3をサーバ又はクラウドで実現し、サーバ又はクラウドと通信可能なコンピュータのディスプレイ4及び操作部5を用いてもよい。 In the present embodiment, the fish counting system 3 is implemented in a computer to which the display 4 and the operation unit 5 (devices such as a touch panel and mouse) are connected, but is not limited to this. For example, the fish counting system 3 may be realized by a server or cloud, and the display 4 and operation unit 5 of a computer that can communicate with the server or cloud may be used.

図2は、撮影した画像を示す図である。カメラ2の向きを所定向きに設置する。所定向きは、図2に示すように、画像の縁の一部を第1領域Ar1とし、その他の縁を第2領域Ar2とし、第1領域Ar1が第1生簀に近くなるようにする。このような所定向きにカメラ2を設置することで、第1生簀から第2生簀に移動する魚が、必ず第1領域Ar1を通ってから第2領域Ar2に至るようになる。図2では、4辺のうち1辺を第1領域Ar1とし、残りの3辺を第2領域Ar2に設定しているが、これに限定されない。 FIG. 2 is a diagram showing a photographed image. The direction of the camera 2 is installed in a predetermined direction. As for the predetermined orientation, as shown in FIG. 2, a part of the edge of the image is set as the first area Ar1, the other edge is set as the second area Ar2, and the first area Ar1 is close to the first cage. By arranging the camera 2 in such a predetermined direction, fish moving from the first cage to the second cage always pass through the first area Ar1 before reaching the second area Ar2. In FIG. 2, one of the four sides is set as the first area Ar1, and the remaining three sides are set as the second area Ar2, but the present invention is not limited to this.

また、画像の中央部を魚が通過することが多いため、撮影領域は、第1領域Ar1と第2領域Ar2との間に第3領域Ar3を有する。第3領域Ar3は画像の中央部に配置されている。このような配置にすることで、第1領域Ar1を出た魚1が即座に第2領域Ar2に到達せず、複数枚の画像において第3領域Ar3に魚が写るため、認識精度を向上させることが可能となる。なお、第3領域Ar3を省略することも可能である。図1に示すように、第1領域Ar1、第2領域Ar2及び第3領域Ar3に関するエリア設定データD1は、システム3における記憶部39に記憶されている。エリア設定データD1は、初期値が設定されていてもよいし、別途ユーザの操作によって変更可能にされてもよい。本実施形態では、エリア設定データD1は1つのファイルであり、1つのエリア設定データD1(1ファイル)が1つの動画D2に対応して保存される。 In addition, since fish often pass through the center of the image, the shooting area has a third area Ar3 between the first area Ar1 and the second area Ar2. The third area Ar3 is arranged in the central part of the image. With such an arrangement, the fish 1 that has left the first area Ar1 does not immediately reach the second area Ar2, and the fish appears in the third area Ar3 in a plurality of images, thereby improving the recognition accuracy. becomes possible. Note that the third area Ar3 can be omitted. As shown in FIG. 1, the area setting data D1 regarding the first area Ar1, the second area Ar2 and the third area Ar3 are stored in the storage unit 39 in the system 3. FIG. The area setting data D1 may be set with an initial value, or may be changed separately by a user's operation. In this embodiment, the area setting data D1 is one file, and one area setting data D1 (one file) is stored corresponding to one moving image D2.

魚計数システム3は、図1に示すように、画像取得部30と、計数部34と、結果提供部36と、補正部37と、魚数変化表示提供部38と、記憶部39と、を有する。これら各部30~38は、コンピュータ上における1又は複数のプロセッサに所定プログラムが実行されることにより、ハードウェア及びソフトウェアが協働して実現される。記憶部39は、メモリ、又はストレージ等である。 The fish counting system 3, as shown in FIG. have. Each of these units 30 to 38 is realized through cooperation of hardware and software by executing a predetermined program on one or more processors on a computer. The storage unit 39 is a memory, storage, or the like.

図1に示す画像取得部30は、魚1を含む流体が流れる撮影領域を経時的に撮影した複数枚の画像を取得する。カメラ2は、例えば30fps(Flames Per Second)で動画を撮影し、システム3の記憶部39に動画D2が保存される。画像取得部30は、動画D2から複数枚の画像を取得する。複数枚の画像は時系列に並んでいる。この明細書において、1枚の画像を1フレーム(frame)と称する場合がある。 The image acquisition unit 30 shown in FIG. 1 acquires a plurality of images of an imaging region in which a fluid containing a fish 1 flows over time. The camera 2 shoots a moving image at, for example, 30 fps (Flames Per Second), and the moving image D2 is stored in the storage unit 39 of the system 3 . The image acquisition unit 30 acquires a plurality of images from the moving image D2. Multiple images are arranged in chronological order. In this specification, one image may be referred to as one frame.

図1に示す計数部34は、複数枚の画像に基づき魚の数を計数する。計数部34は、第1領域Ar1にいた魚1が第2領域Ar2に移動した場合に、当該魚1を計数(加算)するように構成されている。具体的に、計数部34は、時系列に並ぶ複数枚の画像の各々に対して、画像処理により魚を抽出し、抽出した魚に対して過去画像の魚の位置に基づき個体を識別するための個体識別ラベルを付与し、第1領域Ar1にいる魚1に対して付与したラベルと同じラベルの魚が第2領域Ar2に到達した場合に、その時点の画像(フレーム)において魚を計数する。この処理は一例であり、魚の数を計数できれば、種々のアルゴリズムを採用可能である。 The counting unit 34 shown in FIG. 1 counts the number of fish based on a plurality of images. The counting unit 34 is configured to count (add) the fish 1 when the fish 1 in the first area Ar1 moves to the second area Ar2. Specifically, the counting unit 34 extracts a fish by image processing for each of a plurality of images arranged in time series, and performs identification of an individual for the extracted fish based on the position of the fish in the past image. An individual identification label is given, and when a fish with the same label as the label given to fish 1 in the first area Ar1 reaches the second area Ar2, the fish are counted in the image (frame) at that time. This processing is an example, and various algorithms can be adopted as long as the number of fish can be counted.

図1に示すように、計数部34は、計数結果を示す自動計数データD3を記憶部39に保存する。本実施形態では、自動計数データD3は1つのファイルであり、1つの自動計数データD3(1ファイル)が1つの動画D2に対応して保存される。本実施形態では、自動計数データD3は、フレーム毎(画像毎)に計数(加算)した魚の数を有する。図1に示す例において自動計数データD3は、j番目のフレームで計数した魚の数が+3であり、j+1番目のフレームで計数した魚の数が+2であり、j+2番目のフレームで計数した魚の数が+1であり、j+3番目のフレームで計数した魚の数が+4であることを示している。jは自然数であるが、説明の便宜のために用いている。 As shown in FIG. 1, the counting unit 34 stores automatic counting data D3 indicating the counting result in the storage unit 39. As shown in FIG. In this embodiment, the automatic counting data D3 is one file, and one automatic counting data D3 (one file) is stored corresponding to one moving image D2. In this embodiment, the automatic counting data D3 has the number of fish counted (added) for each frame (each image). In the example shown in FIG. 1, the automatic counting data D3 indicates that the number of fish counted in the j-th frame is +3, the number of fish counted in the j+1-th frame is +2, and the number of fish counted in the j+2-th frame is +1, indicating that the number of fish counted in the j+3th frame is +4. Although j is a natural number, it is used for convenience of explanation.

また、計数部34は、計数済の魚を示す計数済マーク61(図3参照)の位置をフレーム毎に示すマークデータD4を記憶部39に記憶する(図1参照)。マークデータD4は、画像において計数済の魚を示す計数済マーク61(図3参照)を表示するために用いられる。本実施形態では、マークはROI(Region of Interest)表示であり、魚の画像に重ねて矩形の枠が表示されるが、これに限定されず、種々の形状又は色のマークを採用可能である。なお、第1領域Ar1を通過しているが、第2領域Ar2に到達していない未計数且つ計数対象の魚を、計数対象マーク68で表している。計数済マーク61と計数対象マーク68は色違いである。 The counting unit 34 also stores mark data D4 indicating the positions of the counted marks 61 (see FIG. 3) indicating fish that have been counted for each frame in the storage unit 39 (see FIG. 1). The mark data D4 is used to display the counted marks 61 (see FIG. 3) that indicate counted fish in the image. In this embodiment, the mark is a ROI (Region of Interest) display, and a rectangular frame is displayed superimposed on the image of the fish. The fish to be counted that have passed through the first area Ar1 but have not reached the second area Ar2 are represented by the counting target mark 68. FIG. The counted marks 61 and the counting target marks 68 are of different colors.

図3は、計数結果表示60を含む画面の一例を示す。図1に示す結果提供部36は、図3に示すように、計数済の魚を示す計数済マーク61が付された画像62を含む計数結果表示60を提供する。計数済マーク61は、図3において一点鎖線で示す魚の画像に重ねて表示される矩形枠であるが、これに限定されない。ROI(Region of Interest)表示であれば種々変更可能である。図3に示す計数結果表示60は、動画全体での計数値63(図中では12,345尾)、動画全体での補正値64(図中では+18尾)、補正操作を入力するための加算指示表示65及び減算指示表示66、現フレームに対する魚数の補正値67を含む。動画全体での計数値63は、図1に示す自動計数データD3を集計することで得られる。なお、この画面では、動画(複数枚の画像)の再生、一時停止、フレーム単位での画面送り、フレーム単位での画面戻し、時間を指定したフレーム表示、時間を指定しての再生箇所の変更が可能である。 FIG. 3 shows an example of a screen including a counting result display 60. As shown in FIG. The result providing unit 36 shown in FIG. 1 provides a count result display 60 including an image 62 with a counted mark 61 indicating fish that have been counted, as shown in FIG. The counted mark 61 is a rectangular frame superimposed on the image of the fish indicated by the dashed line in FIG. 3, but is not limited to this. Various changes are possible as long as it is a ROI (Region of Interest) display. The counting result display 60 shown in FIG. 3 includes a count value 63 for the entire moving image (12,345 tails in the figure), a correction value 64 for the entire moving image (+18 tails in the figure), and an addition for inputting a correction operation. It includes an instruction display 65, a subtraction instruction display 66, and a fish count correction value 67 for the current frame. A count value 63 for the entire moving image is obtained by aggregating the automatic count data D3 shown in FIG. In addition, on this screen, you can play a video (multiple images), pause, advance the screen in units of frames, return the screen in units of frames, display frames with a specified time, and change the playback position with a specified time. is possible.

図1に示す補正部37は、補正操作を受け付けて魚の数を補正する。本実施形態では、補正部37は、加算指示表示65又は減算指示表示66への操作に応じて魚の数を補正する。具体的には、加算指示表示65が操作された場合には、現在表示されている画像62(フレーム)に対する魚数の補正値67を+1ずつ増やす。加算指示表示65を操作した数に応じた補正値67となる。例えば、加算指示表示65をp回押せば、補正値67が+pとなる。pは1以上の自然数である。同様に、減算指示表示66が操作された場合には、現在表示されている画像(フレーム)に対する魚数の補正値67を-1ずつ減らす。減算指示表示66を操作した数に応じた補正値67となる。例えば、減算指示表示66をp回押せば、補正値67が-pとなる。pは自然数であるが、説明の便宜のために用いている。 The correction unit 37 shown in FIG. 1 receives a correction operation and corrects the number of fish. In this embodiment, the correcting section 37 corrects the number of fish according to the operation on the addition instruction display 65 or the subtraction instruction display 66 . Specifically, when the addition instruction display 65 is operated, the fish number correction value 67 for the currently displayed image 62 (frame) is increased by +1. The correction value 67 corresponds to the number of times the addition instruction display 65 is operated. For example, if the addition instruction display 65 is pressed p times, the correction value 67 becomes +p. p is a natural number of 1 or more. Similarly, when the subtraction instruction display 66 is operated, the fish number correction value 67 for the currently displayed image (frame) is decremented by -1. The correction value 67 corresponds to the number of times the subtraction instruction display 66 is operated. For example, if the subtraction instruction display 66 is pressed p times, the correction value 67 becomes -p. Although p is a natural number, it is used for convenience of explanation.

補正部37による補正結果(補正値67)は、図1に示す手動補正データD5として記憶部39に記憶される。本実施形態では、手動補正データD5は1つのファイルであり、1つの手動補正データD5(1ファイル)が1つの動画D2に対応して保存される。本実施形態では、手動補正データD5は、フレーム毎(画像毎)に補正値を有する。図1に示す例において手動補正データD5は、(j+10)番目のフレームで操作された手動での補正値が+10であり、(j+100)番目のフレームでの補正値が+10であり、(j+320)番目のフレームでの補正値が-2であることを示す。図3に示す画面に表示される動画全体での補正値64は、手動補正データD5を集計することで得られる。 The correction result (correction value 67) by the correction unit 37 is stored in the storage unit 39 as the manual correction data D5 shown in FIG. In this embodiment, the manual correction data D5 is one file, and one manual correction data D5 (one file) is saved corresponding to one moving image D2. In this embodiment, the manual correction data D5 has a correction value for each frame (each image). In the example shown in FIG. 1, the manual correction data D5 has a manually operated correction value of +10 in the (j+10)th frame, a correction value of +10 in the (j+100)th frame, and (j+320). It indicates that the correction value in the th frame is -2. The correction value 64 for the entire moving image displayed on the screen shown in FIG. 3 is obtained by totaling the manual correction data D5.

図1に示すように、自動計数データD3は、計数部34が計数した魚の数を表す。手動補正データD5は、補正部37が補正した魚の数を表す。手動補正データD5と自動計数データD3は異なるデータである。補正部37は、自動計数データD3を変更せずに、手動補正データD5を変更する。 As shown in FIG. 1, the automatic count data D3 represents the number of fish counted by the counting unit 34. As shown in FIG. Manual correction data D5 represents the number of fish corrected by the correction unit 37 . The manual correction data D5 and the automatic counting data D3 are different data. The correction unit 37 changes the manual correction data D5 without changing the automatic counting data D3.

図1に示す魚数変化表示提供部38は、図3に示す魚数変化表示70を提供する。変化表示70は、単位時間あたりに計数した魚の数に対応する表示71を有し、当該表示71が時系列に沿って配置されている。本実施形態では、図3に示すように、魚数変化表示70は、グラフ表示71を有する。グラフ表示71は、縦に延びる第1軸Ax1が単位時間あたりに計数した魚の数に対応しており、第1軸Ax1に直交する第2軸Ax2が時間経過に対応している。図3の例では、第2軸Ax2に沿って左が過去、右が未来を表している。第1軸Ax1に沿って下方から上方へ行くほど、単位時間あたりに計数した魚数が大きいことを示している。動画D2の撮影時間が長く、一画面に納まらない場合には、スライダーバー72が表示され、スライダーバー72をスライドさせることで、任意の時点を表示することができる。また、変化表示70における視認したい時点を操作すれば、操作で指定した時点のフレームが表示される。なお、本実施形態では、第1軸Ax1が縦方向であるが、横方向であってもよい。本実施形態では、フレーム毎に計数値を管理しているので、単位時間は、1フレームに対応する時間である。30fpsであれば、1/30秒である。勿論、これは例示にすぎず、複数フレームに対応する時間を単位時間として扱ってもよい。 The fish count change display providing unit 38 shown in FIG. 1 provides the fish count change display 70 shown in FIG. The change display 70 has a display 71 corresponding to the number of fish counted per unit time, and the displays 71 are arranged in chronological order. In this embodiment, the fish number change display 70 has a graph display 71 as shown in FIG. In the graph display 71, a vertically extending first axis Ax1 corresponds to the number of fish counted per unit time, and a second axis Ax2 perpendicular to the first axis Ax1 corresponds to the passage of time. In the example of FIG. 3, the left represents the past and the right represents the future along the second axis Ax2. The number of fish counted per unit time increases from bottom to top along the first axis Ax1. When the shooting time of the moving image D2 is too long to be displayed on one screen, a slider bar 72 is displayed, and by sliding the slider bar 72, an arbitrary time point can be displayed. Further, by operating a time point to be visually recognized in the change display 70, the frame at the specified time point is displayed. Although the first axis Ax1 is vertical in this embodiment, it may be horizontal. In this embodiment, since the count value is managed for each frame, the unit time is the time corresponding to one frame. At 30 fps, it is 1/30 second. Of course, this is only an example, and the time corresponding to multiple frames may be treated as the unit time.

図3に示す例では、単位時間あたりに計数した魚の数を折れ線グラフで示しているが、これは一例にすぎず、種々変更可能である。例えば、棒グラフ等の種々のグラフを採用してもよい。また、計数値としての数字を時系列に沿って配置してもよい。 In the example shown in FIG. 3, the number of fish counted per unit time is indicated by a line graph, but this is only an example and various changes are possible. For example, various graphs such as bar graphs may be employed. Also, numbers as count values may be arranged in chronological order.

このように、計数した魚の数に対応する表示71が時系列に沿って配置されているので、全ての時間の画像を視認しなくても、表示71を見ることで、誤計数が生じやすい時点(計数値が多い時点)を把握できる。また、グラフ表示71であれば、グラフのピーク及びその周囲が計数値の多い時点を意味するので、計数値が多い時点を容易に把握可能となる。 In this way, since the display 71 corresponding to the number of counted fish is arranged in chronological order, even if the images of all the times are not visually recognized, by looking at the display 71, erroneous counting is likely to occur. (the time when the count value is large) can be grasped. Further, in the case of the graph display 71, since the peak of the graph and its surroundings mean the point in time when the count value is large, it is possible to easily grasp the point in time when the count value is large.

図3に示す魚数変化表示70は、現在表示されている画像62(フレーム)の時点を表す現在表示73を有する。また、魚数変化表示70は、加算指示表示65又は減算指示表示66によって補正された時点を示す補正時点表示74を有する。補正時点表示74は、時点だけではなく、補正値の内容(加算であるか減算であるか)を示している。 The fish count change display 70 shown in FIG. 3 has a current display 73 representing the time point of the currently displayed image 62 (frame). The fish count change display 70 also has a corrected time point display 74 that indicates the time point corrected by the addition instruction display 65 or the subtraction instruction display 66 . The correction time point display 74 indicates not only the time point but also the content of the correction value (addition or subtraction).

<動作フロー>
図4を用いて、システム3が実行する処理を説明する。記憶部39に動画D2が記憶されている。所定画面が開かれること、解析指示操作がなされること、又は、新規の動画D2が記憶部39に記憶されること等の所定の解析開始条件が成立した場合に、図4に示すステップST1において、画像取得部30が、動画D2に基づき、魚を含む流体を経時的に撮影した複数枚の画像を取得する。ステップST2において、計数部34が、複数枚の画像に基づき魚の数を計数する。計数結果は、図1に示す自動計数データD3及びマークデータD4として記憶部39に記憶される。図3に示す魚数カウント・分析画面が開かれると、次のステップST3において、魚数変化表示提供部38が、図1に示す自動計数データD3及びマークデータD4に基づき、単位時間あたりに計数した魚の数に対応する表示71が時系列に沿って配置された魚数変化表示70を提供する(図3参照)。また、ステップST4において、結果提供部36は、図3に示すように、計数済の魚を示す計数済マーク61が付された画像62を含む計数結果表示60を提供する。ステップST4は、動画D2の再生又は魚数変化表示70における時点の指定等に応じて繰り返し実行される場合がある。図3に示す加算指示表示65又は減算指示表示66が操作されると、ステップST5において、補正部37は、補正操作を受け付けて魚の数を補正する。補正部37は、補正結果を手動補正データD5として記憶部39に記憶する。
<Operation flow>
Processing executed by the system 3 will be described with reference to FIG. A moving image D2 is stored in the storage unit 39 . When a predetermined analysis start condition is established, such as opening a predetermined screen, performing an analysis instruction operation, or storing a new moving image D2 in the storage unit 39, in step ST1 shown in FIG. , the image acquisition unit 30 acquires a plurality of images of the fluid containing the fish over time based on the moving image D2. At step ST2, the counting section 34 counts the number of fish based on the plurality of images. The counting result is stored in the storage section 39 as automatic counting data D3 and mark data D4 shown in FIG. When the fish number count/analysis screen shown in FIG. 3 is opened, in the next step ST3, the fish number change display providing unit 38 counts per unit time based on the automatic count data D3 and the mark data D4 shown in FIG. A fish count change display 70 is provided in which displays 71 corresponding to the number of fish caught are arranged in chronological order (see FIG. 3). Also, in step ST4, the result providing unit 36 provides a count result display 60 including an image 62 with a counted mark 61 indicating fish that have been counted, as shown in FIG. Step ST4 may be repeatedly executed according to the reproduction of the moving image D2 or the designation of the time point in the fish number change display 70, or the like. When the addition instruction display 65 or the subtraction instruction display 66 shown in FIG. 3 is operated, in step ST5, the correction section 37 accepts the correction operation and corrects the number of fish. The correction unit 37 stores the correction result in the storage unit 39 as manual correction data D5.

[変形例1]
図3に示す実施形態では、加算指示表示65又は減算指示表示66を操作するだけで、表示中の画像62(フレーム)に対して魚数を補正していたが、これに限定されない。手間がかかるが精度が良い補正方法として、画像62において誤計数された魚または計数されるべき魚の位置を指定して、加算補正または減算補正の補正操作を受けるようにしてもよい。魚の位置の指定方法としては、矩形枠で囲んで位置指定する方法、画像62内の座標を指定する方法などが挙げられる。結果提供部36は、計数済マーク61と共に、補正操作で指定された補正済の魚を示す手動補正マークが付与された画像を提供することが好ましい。このようにすれば、手動補正マークによって補正の根拠が画像62と共に表示されるので、適切な魚数管理が可能となる。図5は、手動補正マークMが付与された画像62を含む画面の一例を示す。
[Modification 1]
In the embodiment shown in FIG. 3, the number of fish is corrected for the displayed image 62 (frame) simply by operating the addition instruction display 65 or the subtraction instruction display 66, but the present invention is not limited to this. As a time-consuming but accurate correction method, the position of the fish that has been erroneously counted or should be counted in the image 62 may be designated and subjected to addition correction or subtraction correction. As a method of specifying the position of the fish, there are a method of specifying the position by enclosing it with a rectangular frame, a method of specifying coordinates within the image 62, and the like. It is preferable that the result providing unit 36 provides an image to which the counted mark 61 and the manual correction mark indicating the corrected fish designated by the correction operation are added. In this way, the grounds for the correction are displayed together with the image 62 using the manual correction mark, so appropriate fish quantity management is possible. FIG. 5 shows an example of a screen including an image 62 to which manual correction marks M have been added.

[変形例2]
図6は、本実施形態の魚計数システム3の他の構成を模式的に示している。魚計数システム3は、図1の構成に加えて、外乱検知部31をさらに備えていてもよい。外乱検知部31も、画像取得部30等と同様に、コンピュータ上における1又は複数のプロセッサに所定プログラムが実行されることにより、ハードウェア及びソフトウェアが協働して実現される。
[Modification 2]
FIG. 6 schematically shows another configuration of the fish counting system 3 of this embodiment. The fish counting system 3 may further include a disturbance detector 31 in addition to the configuration of FIG. As with the image acquisition unit 30 and the like, the disturbance detection unit 31 is also implemented by cooperation of hardware and software by executing a predetermined program on one or more processors on a computer.

外乱検知部31は、画像取得部30が取得した画像に基づいて外乱を検知する。そして、外乱検知部31は、時系列に沿って配置される魚数変化表示70において上記外乱を検知した時点に、マーキング表示75を提供する(図7参照)。このとき、外乱検知部31は、上記のマーキング表示75に加えて、外乱の検知内容を示す外乱内容表示76(図7参照)を提供してもよい。 The disturbance detection unit 31 detects disturbance based on the image acquired by the image acquisition unit 30 . Then, the disturbance detection unit 31 provides a marking display 75 when the disturbance is detected in the fish number change display 70 arranged in chronological order (see FIG. 7). At this time, in addition to the marking display 75, the disturbance detection unit 31 may provide a disturbance content display 76 (see FIG. 7) indicating the detection content of the disturbance.

ここで、外乱検知部31は、外乱の種類(評価項目)ごとに、以下の方法で外乱を検知する。 Here, the disturbance detection unit 31 detects disturbance by the following method for each type of disturbance (evaluation item).

外乱として「直射日光の映り込み」を検知する場合(評価項目が「直射日光の映り込み」である場合)、外乱検知部31は、画像取得部30が取得した画像をブロック状に分割する。詳しくは、縦横ともに画面の1/12の大きさとなる小領域を、画面縦横長の1/24ずつ縦横にずらしながら、画像取得部30が取得した画像を23×23のブロックに分割する。明度の平均が一定値以上であり、かつ、色相の平均が一定値以下であり、かつ、R(赤)、G(緑)、B(青)の各平均値が閾値以上となるブロックが存在する場合、外乱検知部31は、直射日光の映り込みがあると判断する(外乱ありを検知する)。 When "reflection of direct sunlight" is detected as a disturbance (when the evaluation item is "reflection of direct sunlight"), the disturbance detection unit 31 divides the image acquired by the image acquisition unit 30 into blocks. Specifically, the image obtained by the image obtaining unit 30 is divided into 23×23 blocks while shifting the small area of 1/12 the size of the screen vertically and horizontally by 1/24 of the vertical and horizontal length of the screen. There is a block whose average brightness is above a certain value, whose average hue is below a certain value, and whose average value of each of R (red), G (green), and B (blue) is above a threshold. In this case, the disturbance detection unit 31 determines that there is reflection of direct sunlight (detects presence of disturbance).

外乱として「網や構造物などの障害物の映り込み」を検知する場合(評価項目が「障害物の映り込み」である場合)、外乱検知部31は、画像取得部30が取得した画像を、4×4のブロック状に等間隔で分割する。そして、まず、明度の平均が一定値以下であるブロックを障害物候補領域とする。次に、障害物候補領域に隣接し、かつ、障害物候補領域以外のブロックを「海面との境界」候補とする。そして、「海面との境界」候補の各ブロックで明度の分散が一定値以上となるブロックが、障害物候補領域に隣接するブロックの半数以上存在するとき外乱検知部31は、障害物と海面との境界が存在し、障害物が映り込んでいると判断する(外乱ありを検知する)。 When detecting “reflection of an obstacle such as a net or a structure” as disturbance (when the evaluation item is “reflection of an obstacle”), the disturbance detection unit 31 detects the image acquired by the image acquisition unit 30. , is divided into 4×4 blocks at equal intervals. Then, first, a block whose average brightness is equal to or less than a certain value is set as an obstacle candidate area. Next, a block adjacent to the obstacle candidate area and outside the obstacle candidate area is set as a "boundary with sea surface" candidate. Then, when more than half of the blocks adjacent to the obstacle candidate area exist in each block of the "boundary with the sea surface" candidate block whose brightness variance is equal to or greater than a certain value, the disturbance detection unit 31 detects the difference between the obstacle and the sea surface. exists and an obstacle is reflected (detects the presence of disturbance).

外乱として「浮遊物等の映り込み」を検知する場合(評価項目が「浮遊物等の映り込み」である場合)、外乱検知部31は、画像取得部30が取得した画像を画面全体にわたってグレースケール化し、その後、各画素を2値化して輪郭抽出を行い、輪郭で囲まれた各領域の面積を計算する。面積が一定の範囲に収まる領域の個数が一定値以上となる場合、外乱検知部31は、浮遊物等が映り込んだと判断する(外乱ありを検知する)。 When detecting “reflection of floating objects” as a disturbance (when the evaluation item is “reflection of floating objects”), the disturbance detection unit 31 displays the image acquired by the image acquisition unit 30 in gray over the entire screen. After scaling, each pixel is binarized to perform contour extraction, and the area of each region surrounded by the contour is calculated. When the number of regions whose area falls within a certain range is equal to or greater than a certain value, the disturbance detection unit 31 determines that a floating object or the like is reflected (detects the presence of disturbance).

外乱として「画像の全体的な明るさおよび暗さ」を検知する場合(評価項目が「全体的な明るさおよび暗さ」である場合)、画像取得部30が取得した画像の画面全体の明度が一定値以上であるとき、外乱検知部31は、画像全体が明るすぎると判断する(外乱ありを検知する)。逆に、画像取得部30が取得した画像の画面全体の明度が一定値未満であるとき、外乱検知部31は、画像全体が暗すぎると判断する(外乱ありを検知する)。 When detecting the "overall brightness and darkness of the image" as the disturbance (when the evaluation item is "overall brightness and darkness"), the brightness of the entire screen of the image acquired by the image acquiring unit 30 is equal to or greater than a certain value, the disturbance detection unit 31 determines that the entire image is too bright (detects presence of disturbance). Conversely, when the brightness of the entire screen of the image acquired by the image acquisition unit 30 is less than a certain value, the disturbance detection unit 31 determines that the entire image is too dark (detects the presence of disturbance).

図7は、計数結果表示60と魚数変化表示70とを含む画面の他の例を示す。同図では、魚数変化表示70において、外乱検知部31が外乱を検知した時点にマーキング表示75を付した状態を示している。直射日光の映り込み等の外乱がある場合、画像に基づいて計数部34が魚の数を正しく計数できない可能性がある。時系列で表示される魚数変化表示70において、外乱検知部31が外乱を検知した時点にマーキング表示75を付すことにより、マーキング表示75に基づく補正操作に従って、外乱に起因する誤計数を補正することが可能となる。 FIG. 7 shows another example of a screen including a counting result display 60 and a fish number change display 70. FIG. The figure shows a state in which a marking display 75 is added to the fish number change display 70 at the time when the disturbance detection unit 31 detects a disturbance. If there is a disturbance such as reflection of direct sunlight, there is a possibility that the counting unit 34 cannot correctly count the number of fish based on the image. In the fish count change display 70 displayed in chronological order, marking display 75 is attached at the time when the disturbance detection unit 31 detects a disturbance, so that the erroneous counting caused by the disturbance is corrected according to the correction operation based on the marking display 75. becomes possible.

また、図7では、魚数変化表示70において、上記のマーキング表示75に加えて、上記の検知方法で検知された外乱の内容を示す外乱内容表示65が付されている。外乱内容表示76の存在により、外乱に起因する誤計数を補正するにあたって、外乱の内容に応じた補正を行うことが可能となり(外乱の内容に応じて補正の度合いを異ならせることが可能となり)、外乱に応じた誤計数の補正を精度よく行うことが可能となる。 Further, in FIG. 7, in addition to the marking display 75, a disturbance content display 65 indicating the content of the disturbance detected by the above detection method is added to the fish number change display 70. FIG. Due to the presence of the disturbance content display 76, it becomes possible to perform correction according to the content of the disturbance when correcting erroneous counting caused by the disturbance (the degree of correction can be changed according to the content of the disturbance). , it is possible to accurately correct erroneous counts according to disturbances.

以上のように、本実施形態の魚計数システム3は、魚を含む流体を経時的に撮影した複数枚の画像を取得する画像取得部30と、複数枚の画像に基づき魚の数を計数する計数部34と、単位時間あたりに計数した魚の数に対応する表示71が時系列に沿って配置された魚数変化表示70を提供する魚数変化表示提供部38と、計数済の魚を示す計数済マーク61が付された画像62を含む計数結果表示60を提供する結果提供部36と、補正操作を受け付けて魚の数を補正する補正部37と、を備える。 As described above, the fish counting system 3 of the present embodiment includes an image acquisition unit 30 that acquires a plurality of images of a fluid containing fish over time, and a counter that counts the number of fish based on the plurality of images. a fish count change display providing unit 38 that provides a fish count change display 70 in which a display 71 corresponding to the number of fish counted per unit time is arranged in chronological order; and a count indicating the counted fish. It includes a result providing unit 36 that provides a counting result display 60 including an image 62 with a completed mark 61 attached, and a correction unit 37 that receives a correction operation and corrects the number of fish.

本実施形態の魚計数方法は、魚を含む流体を経時的に撮影した複数枚の画像を取得することと、前記複数枚の画像に基づき魚の数を計数することと、単位時間あたりに計数した魚の数に対応する表示が時系列に沿って配置された魚数変化表示を提供することと、計数済の魚を示す計数済マークが付された画像を含む計数結果表示を提供することと、補正操作を受け付けて前記魚の数を補正することと、を含む。 The fish counting method of the present embodiment includes acquiring a plurality of images of a fluid containing fish over time, counting the number of fish based on the plurality of images, and counting the number of fish per unit time. providing a fish count change display in which displays corresponding to the number of fish are arranged in chronological order; providing a count result display including an image with a counted mark indicating the counted fish; receiving a correction operation to correct the number of fish.

誤計数が生じやすいのは、多数の魚が一斉に通過するときが多く、単位時間あたりに計数した魚が多いときである。この構成によれば、単位時間あたりに計数した魚の数に対応する表示71が時系列に沿って配置された魚数変化表示70を提供する。これにより、全ての時間の画像を目視しなくても、多数の魚が一斉に通過する誤計数が生じやすい時点を把握可能となる。そして、計数済の魚を示す計数済マーク61が付された画像を含む計数結果表示60を視認して確認し、補正操作を通じて補正可能となる。したがって、誤計数を容易に補正可能となる。 Miscounts are likely to occur when many fish pass at once and when many fish are counted per unit time. This configuration provides a fish count change display 70 in which displays 71 corresponding to the number of fish counted per unit time are arranged in chronological order. As a result, it is possible to grasp the point in time when a large number of fish are likely to pass at once, and erroneous counting is likely to occur, without visually observing the images for the entire time period. Then, the counting result display 60 including the image with the counted mark 61 indicating the fish that has been counted can be visually confirmed and corrected through the correction operation. Therefore, erroneous counting can be easily corrected.

本実施形態のように、魚数変化表示70は、横又は縦に延びる第1軸Ax1が単位時間あたりに計数した魚の数に対応し、第1軸Ax1に直交する第2軸Ax2が時間経過に対応するグラフ表示71を有することが好ましい。 As in this embodiment, the fish number change display 70 corresponds to the number of fish counted per unit time on the first horizontal or vertical axis Ax1, and the second axis Ax2 perpendicular to the first axis Ax1 indicates the elapsed time. It is preferred to have a graphical representation 71 corresponding to .

グラフ表示71を見れば、グラフ表示71の変化を見ることで誤計数が生じやすい時点を容易に把握可能となり、補正が容易となる。誤計数が生じやすい時点としては、例えばピーク、急激な立ち上がり等が挙げられる。 By looking at the graph display 71, it becomes possible to easily grasp the point in time when counting errors tend to occur by looking at the change in the graph display 71, which facilitates correction. Time points at which erroneous counting is likely to occur include, for example, peaks and sudden rises.

本実施形態のように、結果提供部36は、計数済の魚を示す計数済マーク61が付された画像62と共に、魚の数の補正を指示するための加算指示表示65および減算指示表示66を提供し、補正部37は、加算指示表示65又は減算指示表示66への操作に応じて魚の数を補正することが好ましい。 As in the present embodiment, the result providing unit 36 displays an image 62 with a counted mark 61 indicating fish that have been counted, an addition instruction display 65 and a subtraction instruction display 66 for instructing correction of the number of fish. It is preferable that the correction unit 37 corrects the number of fish according to the operation on the addition instruction display 65 or the subtraction instruction display 66 .

この構成によれば、計数済マーク61が付された画像62を目視し、計数済マーク61が付されていない計数漏れ又は計数済マーク61が誤って付された誤計数を認識したときに、加算指示表示65又は減算指示表示66を操作できるので、補正作業の効率を向上させることができる。 According to this configuration, when visually observing the image 62 with the counted mark 61 attached and recognizing an omission of counting without the counted mark 61 attached or an erroneous count with the counted mark 61 erroneously attached, Since the addition instruction display 65 or the subtraction instruction display 66 can be operated, the efficiency of correction work can be improved.

本実施形態の変形例1のように、補正部37は、画像62内における補正済の魚の位置指定を伴う補正操作を受け付けて、魚の数を補正し、結果提供部36は、補正操作で指定された補正済の魚を示す手動補正マークMが付与された画像62を提供する。 As in Modification 1 of the present embodiment, the correction unit 37 accepts a correction operation that involves specifying the positions of corrected fish in the image 62, corrects the number of fish, and the result providing unit 36 specifies by the correction operation. provides an image 62 with a manual correction mark M indicating the corrected corrected fish.

このようにすれば、手動補正マークMによって補正の根拠が画像62と共に表示されるので、適切な魚数管理が可能となる。 In this way, the grounds for the correction are displayed together with the image 62 by the manual correction mark M, so appropriate fish count management becomes possible.

本実施形態のように、魚数変化表示70は、魚の数が補正された時点を示す補正時点表示74を有することが好ましい。 As in the present embodiment, the fish count change display 70 preferably has a corrected time point display 74 indicating the time point when the fish count was corrected.

この構成によれば、単位時間あたりに計数した魚の数に対応する表示71と共に、補正時点表示74が表示されるので、誤計数が生じやすい時点に対する補正が既になされているかを容易に把握でき、利便性を向上させることが可能となる。それでいて、複数人で誤計数の補正を実施する場合に、先に補正を行った人が補正した部分を容易に把握でき、複数人による効率的なチェック及び補正作業が可能となる。 According to this configuration, the display 71 corresponding to the number of fish counted per unit time and the correction time display 74 are displayed. It is possible to improve convenience. Even so, when a plurality of people corrects the erroneous count, the person who performed the correction first can easily grasp the corrected portion, and efficient checking and correction work by a plurality of people is possible.

本実施形態のように、魚計数システム3が記憶部39を備え、記憶部39は、計数部34が計数した魚の数を表す自動計数データD3と、自動計数データD3とは異なるデータであって補正部37が補正した魚の数を表す手動補正データD5と、を記憶し、補正部37は、自動計数データD3を変更せずに、手動補正データD5を変更することが好ましい。 As in the present embodiment, the fish counting system 3 has a storage unit 39, and the storage unit 39 contains automatic counting data D3 representing the number of fish counted by the counting unit 34, and data different from the automatic counting data D3. Manual correction data D5 representing the number of fish corrected by the correction unit 37 is stored, and the correction unit 37 preferably changes the manual correction data D5 without changing the automatic counting data D3.

この構成であれば、補正によって自動計数データD3が損なわれないので、誤って補正した場合であっても容易に復帰可能となる。 With this configuration, the correction does not damage the automatic count data D3, so even if the correction is made by mistake, it can be easily restored.

本実施形態の変形例2のように、魚計数システム3が、画像取得部30が取得した画像に基づいて外乱を検知する外乱検知部31をさらに備え、魚数変化表示70は、外乱検知部31が外乱を検知した時点を示すマーキング表示75を有することが好ましい。この場合、マーキング表示75に基づく補正操作に従って、外乱に起因する誤計数を補正することが可能となる。 As in Modification 2 of the present embodiment, the fish counting system 3 further includes a disturbance detection unit 31 that detects disturbance based on the image acquired by the image acquisition unit 30, and the fish number change display 70 is a disturbance detection unit. Preferably, 31 has a marking indicia 75 to indicate when the disturbance has been detected. In this case, according to the correction operation based on the marking display 75, it is possible to correct the erroneous counting caused by the disturbance.

また、魚数変化表示70は、外乱の検知内容を示す外乱内容表示76を有することが好ましい。この場合、外乱内容表示76に基づく補正操作に従って、外乱の内容に応じた補正を行うことができる。これにより、外乱に起因する誤計数の補正を精度よく行うことが可能となる。 Moreover, the fish count change display 70 preferably has a disturbance content display 76 indicating the detection content of the disturbance. In this case, according to the correction operation based on the disturbance content display 76, correction according to the content of the disturbance can be performed. This makes it possible to accurately correct erroneous counts caused by disturbances.

本実施形態に係るプログラムは、上記方法を1又は複数のプロセッサに実行させるプログラムである。また、本実施形態に係るコンピュータに読み取り可能な一時記録媒体は、上記プログラムを記憶している。 A program according to this embodiment is a program that causes one or more processors to execute the above method. Further, the computer-readable temporary recording medium according to the present embodiment stores the above program.

図1に示す各部30~38は、所定プログラムを1又はプロセッサで実行することで実現しているが、各部を専用メモリや専用回路で構成してもよい。 Each unit 30 to 38 shown in FIG. 1 is realized by executing a predetermined program by one or a processor, but each unit may be configured by a dedicated memory or a dedicated circuit.

上記実施形態のシステム3は、コンピュータのプロセッサによって各部30~38が実現されているが、各部30~38を分散させて、複数のコンピュータやクラウドで実装してもよい。すなわち、上記方法を1又は複数のプロセッサで実行してもよい。 In the system 3 of the above embodiment, the units 30 to 38 are realized by computer processors, but the units 30 to 38 may be distributed and implemented in a plurality of computers or in the cloud. That is, the method may be performed by one or more processors.

以上、本開示の実施形態について図面に基づいて説明したが、具体的な構成は、これらの実施形態に限定されるものでないと考えられるべきである。本開示の範囲は、上記した実施形態の説明だけではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。 Although the embodiments of the present disclosure have been described above based on the drawings, it should be considered that the specific configurations are not limited to these embodiments. The scope of the present disclosure is indicated not only by the description of the above embodiments but also by the scope of claims, and includes all modifications within the meaning and scope equivalent to the scope of claims.

本発明は、魚計数システムに利用可能である。 INDUSTRIAL APPLICABILITY The present invention is applicable to fish counting systems.

1 魚
3 魚計数システム
30 画像取得部
34 計数部
36 結果提供部
37 補正部
38 魚数変化表示提供部
39 記憶部
61 計数済マーク
65 加算指示表示
66 減算指示表示
70 魚数変化表示
71 グラフ表示
74 補正時点表示
Ax1 第1軸
Ax2 第2軸
D3 自動計数データ
D5 手動補正データ
1 fish 3 fish counting system 30 image acquisition unit 34 counting unit 36 result providing unit 37 correcting unit 38 fish number change display providing unit 39 storage unit 61 counted mark 65 addition instruction display 66 subtraction instruction display 70 fish number change display 71 graph display 74 Correction time display Ax1 1st axis Ax2 2nd axis D3 Automatic counting data D5 Manual correction data

Claims (10)

魚を含む流体を経時的に撮影した複数枚の画像を取得する画像取得部と、
前記複数枚の画像に基づき魚の数を計数する計数部と、
単位時間あたりに計数した魚の数に対応する表示が時系列に沿って配置された魚数変化表示を提供する魚数変化表示提供部と、
計数済の魚を示す計数済マークが付された画像を含む計数結果表示を提供する結果提供部と、
補正操作を受け付けて前記魚の数を補正する補正部と、を備える、魚計数システム。
an image acquisition unit that acquires a plurality of images of a fluid containing fish over time;
a counting unit that counts the number of fish based on the plurality of images;
a fish count change display providing unit that provides a fish count change display in which displays corresponding to the number of fish counted per unit time are arranged in chronological order;
a result providing unit providing a counting result display including an image with a counted mark indicating fish that have been counted;
a correction unit that receives a correction operation and corrects the number of fish.
前記魚数変化表示は、横又は縦に延びる第1軸が前記単位時間あたりに計数した魚の数に対応し、第1軸に直交する第2軸が時間経過に対応するグラフ表示を有する、請求項1に記載の魚計数システム。 The fish number change display has a graph display in which a first axis extending horizontally or vertically corresponds to the number of fish counted per unit time, and a second axis orthogonal to the first axis corresponds to the passage of time. Item 2. The fish counting system according to Item 1. 前記結果提供部は、計測済の魚を示す計数済マークが付された画像と共に、魚の数の補正を指示するための加算指示表示および減算指示表示を提供し、
前記補正部は、前記加算指示表示又は前記減算指示表示への操作に応じて魚の数を補正する、請求項1又は2に記載の魚計数システム。
The result providing unit provides an image with a counted mark indicating fish that have been measured, and an addition instruction display and a subtraction instruction display for instructing correction of the number of fish,
3. The fish counting system according to claim 1, wherein said correction unit corrects the number of fish according to an operation to said addition instruction display or said subtraction instruction display.
前記補正部は、前記画像内における補正対象の魚の位置指定を伴う補正操作を受け付けて、前記魚の数を補正し、
前記結果提供部は、前記補正操作で指定された前記補正対象の魚を示す手動補正マークが付与された画像を提供する、請求項1~3のいずれかに記載の魚計数システム。
The correction unit receives a correction operation that specifies the position of the fish to be corrected in the image, corrects the number of the fish,
4. The fish counting system according to any one of claims 1 to 3, wherein said result providing unit provides an image to which a manual correction mark indicating said fish to be corrected designated by said correction operation is added.
前記魚数変化表示は、前記魚の数が補正された時点を示す補正時点表示を有する、請求項1~4のいずれかに記載の魚計数システム。 5. The fish counting system according to any one of claims 1 to 4, wherein said fish count change display has a correction time display indicating a time when said fish count is corrected. 記憶部を備え、
前記記憶部は、前記計数部が計数した魚の数を表す自動計数データと、前記自動計数データとは異なるデータであって前記補正部が補正した魚の数を表す手動補正データと、を記憶し、
前記補正部は、前記自動計数データを変更せずに、前記手動補正データを変更する、請求項1~5のいずれかに記載の魚計数システム。
Equipped with a storage unit,
The storage unit stores automatic counting data representing the number of fish counted by the counting unit, and manual correction data representing the number of fish corrected by the correction unit, which is different from the automatic counting data, and
The fish counting system according to any one of claims 1 to 5, wherein said correction unit changes said manual correction data without changing said automatic counting data.
前記画像取得部が取得した前記画像に基づいて外乱を検知する外乱検知部をさらに備え、
前記魚数変化表示は、前記外乱検知部が前記外乱を検知した時点を示すマーキング表示を有する、請求項1~6のいずれかに記載の魚計数システム。
Further comprising a disturbance detection unit that detects a disturbance based on the image acquired by the image acquisition unit,
7. The fish counting system according to any one of claims 1 to 6, wherein said fish count change display has a marking display indicating a time point at which said disturbance detection section detects said disturbance.
前記魚数変化表示は、前記外乱の検知内容を示す外乱内容表示を有する、請求項7に記載の魚計数システム。 8. The fish counting system according to claim 7, wherein said fish number change display has a disturbance content display indicating detection content of said disturbance. 魚を含む流体を経時的に撮影した複数枚の画像を取得することと、
前記複数枚の画像に基づき魚の数を計数することと、
単位時間あたりに計数した魚の数に対応する表示が時系列に沿って配置された魚数変化表示を提供することと、
計数済の魚を示す計数済マークが付された画像を含む計数結果表示を提供することと、
補正操作を受け付けて前記魚の数を補正することと、を含む、魚計数方法。
obtaining a plurality of images over time of a fluid containing fish;
counting the number of fish based on the plurality of images;
providing a fish count change display in which displays corresponding to the number of fish counted per unit time are arranged in chronological order;
providing a count results display including an image with a counted mark showing fish that have been counted;
receiving a correction operation to correct the number of fish.
請求項9に記載の魚計数方法を1又は複数のプロセッサに実行させるプログラム。 A program that causes one or more processors to execute the fish counting method according to claim 9.
JP2021548836A 2019-09-27 2020-09-15 Fish counting system, fish counting method and program Active JP7250155B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023044280A JP2023068069A (en) 2019-09-27 2023-03-20 Fish counting system, fish counting method and program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019177649 2019-09-27
JP2019177649 2019-09-27
PCT/JP2020/034936 WO2021060077A1 (en) 2019-09-27 2020-09-15 Fish counting system, fish counting method, and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023044280A Division JP2023068069A (en) 2019-09-27 2023-03-20 Fish counting system, fish counting method and program

Publications (2)

Publication Number Publication Date
JPWO2021060077A1 JPWO2021060077A1 (en) 2021-04-01
JP7250155B2 true JP7250155B2 (en) 2023-03-31

Family

ID=75166985

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021548836A Active JP7250155B2 (en) 2019-09-27 2020-09-15 Fish counting system, fish counting method and program
JP2023044280A Pending JP2023068069A (en) 2019-09-27 2023-03-20 Fish counting system, fish counting method and program

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023044280A Pending JP2023068069A (en) 2019-09-27 2023-03-20 Fish counting system, fish counting method and program

Country Status (6)

Country Link
US (1) US20220386571A1 (en)
EP (1) EP4036801A4 (en)
JP (2) JP7250155B2 (en)
CN (1) CN114402362A (en)
AU (1) AU2020351974B2 (en)
WO (1) WO2021060077A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7136303B1 (en) 2021-09-30 2022-09-13 日本電気株式会社 Counting device, counting method and computer program
CN115624008B (en) * 2022-07-08 2023-09-05 珠海科艺普检测科技有限公司 Intelligent detection method for fries of largemouth black weever based on biological information technology
CN115187636B (en) * 2022-07-26 2023-09-19 金华市水产技术推广站(金华市水生动物疫病防控中心) Multi-window-based fry identification and counting method and system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010181920A (en) 2009-02-03 2010-08-19 Optex Co Ltd Area management system
US20110114029A1 (en) 2009-11-17 2011-05-19 Chu Chien-Hung Aquatic-animal counting system, aquatic-animal counting method, and recording medium
WO2017164239A1 (en) 2016-03-25 2017-09-28 Necソリューションイノベータ株式会社 Object counting device, object counting method, and computer readable recording medium

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2589046B2 (en) * 1993-11-01 1997-03-12 財団法人ダム水源地環境整備センター Method and apparatus for counting fish count and counting method for moving object
JP2005202674A (en) * 2004-01-15 2005-07-28 Chugoku Electric Power Co Inc:The Method for counting number of fish passing through fish way, system for counting number of fish passing through fish way, information processing device, and program
US11446660B2 (en) * 2012-06-18 2022-09-20 Scanlogx, Inc Organism evaluation system and method of use
WO2016048851A1 (en) * 2014-09-22 2016-03-31 Gallager Scott M Continuous particle imaging and classification system
JP6702535B2 (en) * 2015-03-09 2020-06-03 Necソリューションイノベータ株式会社 Same fish judging device, fish counting device, portable terminal for fish counting, same fish judging method, fish counting method, fish number predicting device, fish number predicting method, same fish judging system, fish counting system and fish number predicting system
GB201710372D0 (en) * 2017-06-28 2017-08-09 Observe Tech Ltd System and method of feeding aquatic animals
NO347348B1 (en) * 2019-06-19 2023-09-25 Subc3D As System and procedure for imaging and counting external structures on a fish
US20220254182A1 (en) * 2019-08-25 2022-08-11 Diptera.Ai Ltd. Optical technique for analyzing insects, shrimp and fish

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010181920A (en) 2009-02-03 2010-08-19 Optex Co Ltd Area management system
US20110114029A1 (en) 2009-11-17 2011-05-19 Chu Chien-Hung Aquatic-animal counting system, aquatic-animal counting method, and recording medium
WO2017164239A1 (en) 2016-03-25 2017-09-28 Necソリューションイノベータ株式会社 Object counting device, object counting method, and computer readable recording medium

Also Published As

Publication number Publication date
EP4036801A4 (en) 2023-10-18
EP4036801A1 (en) 2022-08-03
US20220386571A1 (en) 2022-12-08
JPWO2021060077A1 (en) 2021-04-01
WO2021060077A1 (en) 2021-04-01
AU2020351974A1 (en) 2022-04-07
CN114402362A (en) 2022-04-26
AU2020351974B2 (en) 2024-04-04
JP2023068069A (en) 2023-05-16

Similar Documents

Publication Publication Date Title
JP7250155B2 (en) Fish counting system, fish counting method and program
JP6949988B2 (en) Domain identification method, device, storage medium and processor
JP6273685B2 (en) Tracking processing apparatus, tracking processing system including the tracking processing apparatus, and tracking processing method
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
US11704888B2 (en) Product onboarding machine
US9462160B2 (en) Color correction device, method, and program
JP4842197B2 (en) Abnormal operation detection device using multiple divided images, abnormal operation detection method, and abnormal operation detection program
US20180263223A1 (en) Same-fish identification device, fish counting device, portable terminal for counting fish, same-fish identification method, fish counting method, fish count prediction device, fish count prediction method, same-fish identification system, fish counting system, and fish count prediction system
CN110245561B (en) Face recognition method and device
US20120288198A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US9245247B2 (en) Queue analysis
JP2013201714A (en) Moving-object image discrimination device and moving-object image discrimination method
CN109791615A (en) For detecting and tracking the method, target object tracking equipment and computer program product of target object
CN110675425B (en) Video frame identification method, device, equipment and medium
US20190096066A1 (en) System and Method for Segmenting Out Multiple Body Parts
JP2007065878A (en) Moving object counting method on water surface or underwater, and counting device and counting program
CN116453061B (en) Remote pig selling supervision method, device and equipment based on image recognition
JP6325643B2 (en) Methods for increasing reliability in monitoring systems
US20190096045A1 (en) System and Method for Realizing Increased Granularity in Images of a Dataset
CN110766671A (en) Image processing method based on machine vision software
JP2021012631A5 (en) Information processing equipment, information processing methods and programs
WO2022107561A1 (en) Display device, number-of-fish counting system provided therewith, and display control program
Hung Image judgment auxiliary system for table tennis umpiring under low light conditions
KR102464539B1 (en) User interface device for object monitoring by area
WO2021060078A1 (en) Fish counting system, fish counting method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230320

R150 Certificate of patent or registration of utility model

Ref document number: 7250155

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150