JP2005150840A - Water quality monitoring system and fish image recognition method used for same - Google Patents

Water quality monitoring system and fish image recognition method used for same Download PDF

Info

Publication number
JP2005150840A
JP2005150840A JP2003381604A JP2003381604A JP2005150840A JP 2005150840 A JP2005150840 A JP 2005150840A JP 2003381604 A JP2003381604 A JP 2003381604A JP 2003381604 A JP2003381604 A JP 2003381604A JP 2005150840 A JP2005150840 A JP 2005150840A
Authority
JP
Japan
Prior art keywords
fish
image
water quality
computer
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003381604A
Other languages
Japanese (ja)
Other versions
JP3691502B2 (en
Inventor
Hirozo Shiraishi
浩造 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shikoku Research Institute Inc
Original Assignee
Shikoku Research Institute Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shikoku Research Institute Inc filed Critical Shikoku Research Institute Inc
Priority to JP2003381604A priority Critical patent/JP3691502B2/en
Publication of JP2005150840A publication Critical patent/JP2005150840A/en
Application granted granted Critical
Publication of JP3691502B2 publication Critical patent/JP3691502B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

<P>PROBLEM TO BE SOLVED: To enhance the accuracy of monitoring by eliminating misjudgment caused by an image other than a fish and an active fish without moving. <P>SOLUTION: A water quality monitoring system comprises a water tank 1 in which fishes are put, a camera 2 for imaging the water tank 1 at a constant time interval and a computer 3 for applying image processing to an image photographed by the camera 2, and the computer 3 includes a recognition means for recognizing the fish image and a judgment means for judging the suitability of water quality on the basis of the recognized fish image. The recognition means performs a step of selecting a group of a plurality of images captured from the camera 2 to the computer 3, a step of applying average processing to the luminance of each pixel in the selected image group to generate a background image; a step of selecting an object image which is monitored and judged, a step of subtracting the background image from the object image to obtain a difference image, and a step of recognizing the fish image of activating fishes on the basis of the difference image. A deteriorated level of the water quality is judged on the basis of detailed motions of the fishes after performing the above steps. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、水質監視装置およびそれに用いる魚画像認識方法に関する。さらに詳しくは、生物として毒性物質に敏感な小魚(例えば、メダカ)を複数匹水槽に入れ、撮影した小魚の画像をコンピュータで画像処理して、個々の小魚の行動を自動追尾し、リアルタイムで水質異常を検知する装置と方法に関する。   The present invention relates to a water quality monitoring device and a fish image recognition method used therefor. More specifically, small fish (eg, medaka) that are sensitive to toxic substances as living organisms are placed in a water tank, and the captured small fish images are processed by a computer to automatically track the behavior of each small fish in real time. The present invention relates to an apparatus and method for detecting water quality abnormality.

近年、テロリズムや不法投棄などによる環境悪化から安全な水を守ることへの関心が高まっている。
河川や池などの水質を検査する場合、工業計器による水質検査装置では、不特定多数の毒性物質の検知が不可能である。しかも、毒性物質の種類によっては、前処理や成分分析に時間を要するため迅速な対応が困難である。
そこで、浄水場などの水関連施設では、工業計器だけでなく、魚などの生物を使って水質の異常を検知している所が多い。この場合、ほとんどが目視により観察されているが、魚の微妙な挙動を判定するには24時間常時監視する監視員が必要で現実的でない、などの問題がある。
In recent years, there has been a growing interest in protecting safe water from environmental degradation caused by terrorism and illegal dumping.
When inspecting the water quality of rivers and ponds, an unspecified number of toxic substances cannot be detected by a water quality inspection device using an industrial instrument. In addition, depending on the type of toxic substance, it takes time for pretreatment and component analysis, making it difficult to respond quickly.
Therefore, water-related facilities such as water purification plants often detect abnormalities in water quality using not only industrial instruments but also fish and other organisms. In this case, most of them are observed visually, but there is a problem that it is not practical because it requires a monitoring person to monitor the fish 24 hours a day to determine the subtle behavior of the fish.

このため、魚などの挙動や活動電位および心拍数などから水質の異常を自動検知する装置が開発されている。しかし、この装置では魚の活動電位や心拍数などを測定するのに、種々のセンサを取付けておかねばならず、そのメンテナンスの繁雑さや誤警報の多発などの点で問題がある。
一方、コンピュータの性能向上により画像処理技術の高速度化・多機能化が進んでおり、この技術を用いて水中の魚の挙動を監視すれば、高精度な水質監視が期待できることから、魚画像監視型の水質監視装置が開発されている(例えば、特許文献1,2)。
上記の従来技術で用いられている魚画像認識方法は、魚を入れた水槽を一定の時間間隔で撮影し、その画像を2値化することにより、取込んだ画像の輝点を魚として認識すると共に、魚の活動有無を判定するために、時間上の前後の画像間で生じている魚の移動距離を演算し、これを監視する方法である。
For this reason, an apparatus for automatically detecting an abnormality in water quality from the behavior of fish or the like, action potential and heart rate has been developed. However, with this device, various sensors must be attached to measure the action potential, heart rate, etc. of the fish, and there are problems in terms of the complexity of maintenance and the frequent occurrence of false alarms.
On the other hand, high-speed and multi-functional image processing technology is progressing due to improved computer performance, and if this technology is used to monitor the behavior of fish in water, high-precision water quality monitoring can be expected. Type water quality monitoring devices have been developed (for example, Patent Documents 1 and 2).
The fish image recognition method used in the above-described conventional technique recognizes the bright spot of the captured image as a fish by photographing the water tank containing the fish at regular time intervals and binarizing the image. At the same time, in order to determine the presence or absence of activity of the fish, it is a method of calculating and monitoring the movement distance of the fish generated between the images before and after the time.

しかし、この魚画像認識方法では、つぎのような問題がある。
(1)水槽内に浮遊する物体や沈殿物およびガラス面への写り込み等まで魚として認識してしまう可能性がある。
(2)監視対象が移動距離であるから、移動せずに活動している魚を活動停止と誤認することがある。
(3)源水に泥水が混じり、フィルタ等で完全に濁りを取りきれない場合、濁りで魚の姿が隠れて魚画像の認識が困難になると、正常な水質判定ができなくなる。この対策として前段階に濁度計を設置し、濁度が認識不能なレベルまで増加すると自動的に取水を停止する方法が考えられるが、装置が大きく複雑になるとともに高額な費用がかかる。
(4)小さい(若い)魚を投入すれば、長期間監視が可能となるが、魚の認識精度が落ち、逆に大きい(老いた)魚を投入すれば、魚の認識精度は上がるが、自然死する頻度が高くなるため監視に適さない。このため、めだかの月齢は大きさからある程度判断できることから、魚を投入する際に大きさを選んで投入しているが、投入した魚が監視に適しているかどうかを判断するのは困難である。
(5)また、選んだ魚によっては、他の魚を追いまわす凶暴な魚が存在する場合があり、自然死の頻度が高くなり監視に適さない。凶暴な魚の存在は、魚の動きを常時監視していなければ気付くのは困難である。
However, this fish image recognition method has the following problems.
(1) There is a possibility of recognizing as fish even objects floating in the aquarium, sediments, and reflection on the glass surface.
(2) Since the monitoring target is a moving distance, a fish that is active without moving may be mistaken for a stop of activity.
(3) When muddy water is mixed in the source water and the turbidity cannot be completely removed by a filter or the like, if the figure of the fish is hidden due to the turbidity and it is difficult to recognize the fish image, normal water quality determination cannot be performed. As a countermeasure, a method of installing a turbidimeter in the previous stage and automatically stopping water intake when the turbidity increases to an unrecognizable level can be considered, but the apparatus becomes large and complicated and expensive.
(4) If a small (young) fish is introduced, it is possible to monitor for a long time, but if the fish recognition accuracy decreases, and if a large (old) fish is introduced, the fish recognition accuracy increases, but natural death Is not suitable for monitoring. For this reason, the actual age of the moon can be determined to some extent from the size, so when the fish is thrown in, the size is chosen and thrown, but it is difficult to judge whether the thrown fish is suitable for monitoring .
(5) Depending on the fish selected, there may be ferocious fish that chase other fish, making natural death more frequent and not suitable for monitoring. The presence of ferocious fish is difficult to notice unless the fish movement is constantly monitored.

特公平5−31941号Japanese Patent Publication No. 5-31941 特公平7−85082号Japanese Patent Publication No.7-85082

本発明は上記事情に鑑み、魚以外の画像や移動しないで活動している魚に起因する誤判断を無くして監視精度を高めることを第1の目的とする。
また、水槽内の濁度を測定し、濁度管理できるようにすることを第2の目的とする。
さらに、水質監視に適した魚かどうかを判断できるようにすることを第3の目的とする。
In view of the above circumstances, the first object of the present invention is to improve the monitoring accuracy by eliminating misjudgments caused by images other than fish and fish that are active without moving.
A second object is to measure the turbidity in the water tank so that the turbidity can be managed.
A third object is to make it possible to determine whether a fish is suitable for water quality monitoring.

第1発明の水質監視装置は、水質監視用の魚を入れた水槽と、該水槽を一定の時間間隔で撮影するカメラと、該カメラの撮影した画像に基づき水質判断するコンピュータとからなり、該コンピュータは、魚画像を認識する画像認識手段と、認識された魚画像から水質の適否を判断する水質判断手段とを有しており、前記画像認識手段は、前記カメラから前記コンピュータに取込まれた複数枚の画像群を選択するステップと、選択された画像群において、各画素の輝度を平均化処理して背景画像を作成するステップと、監視判断する対象画像を選択するステップと、前記対象画像から前記背景画像を差引き処理して差分画像を得るステップと、前記差分画像に基づき、活動している魚の魚画像を認識するステップとからなることを特徴とする。
第2発明の水質監視装置は、第1発明において、水槽を照明する照明灯を備えた水質監視装置であって、前記コンピュータが、水槽内の水の濁度判断手段を備えており、該濁度判断手段が、前記水槽内において、前記照明灯に対し近い水域と遠い水域の間の輝度比を検出するステップと、前記輝度比が基準値以上か否かを判断するステップからなることを特徴とする。
第3発明の水質監視装置は、第1発明において、前記コンピュータが、水槽内の魚が水質監視に適するか否かを判断する適魚判断手段を備えており、該適魚判断手段が、前記カメラが前記水槽を撮影している画像の中央付近を、魚が泳いでいるときに、その魚の投影面積を測定するステップと、測定された投影面積が、基準値の下限値以下か、上限値以上かを判断するステップからなることを特徴とする。
第4発明の水質監視装置は、第1発明において、前記コンピュータが、水槽内の魚が水質監視に適するか否かを判断する適魚判断手段を備えており、前記適魚判断手段が、魚の遊泳中の加速度を測定するステップと、測定された加速度の絶対値の和が、基準値以上か否かを判断するステップからなることを特徴とする。
第5発明の魚画像認識方法は、水質監視用の魚を入れた水槽を、一定の時間間隔でカメラで撮影し、得られた画像をコンピュータで画像処理して魚画像を認識する方法であって、前記カメラから前記コンピュータに取込まれた複数枚の画像群を選択するステップと、選択された画像群において、各画素の輝度等を平均化処理して背景画像を作成するステップと、監視判断する対象画像を選択するステップと、前記対象画像から前記背景画像を差引き処理して差分画像を得るステップと、前記差分画像に基づき、活動している魚の魚画像を認識するステップとからなることを特徴とする。
The water quality monitoring device of the first invention comprises a water tank containing a water quality monitoring fish, a camera for photographing the water tank at regular time intervals, and a computer for judging the water quality based on the images taken by the camera, The computer has image recognition means for recognizing a fish image, and water quality determination means for determining the suitability of water quality from the recognized fish image, and the image recognition means is taken into the computer from the camera. Selecting a plurality of image groups, creating a background image by averaging the luminance of each pixel in the selected image group, selecting a target image to be monitored, and the target And subtracting the background image from the image to obtain a difference image, and recognizing a fish image of an active fish based on the difference image.
A water quality monitoring device according to a second aspect of the present invention is the water quality monitoring device according to the first aspect of the present invention, comprising a illuminating lamp for illuminating the aquarium, wherein the computer comprises turbidity judgment means for water in the aquarium, The degree determining means includes a step of detecting a luminance ratio between a water area close to and far from the illuminating lamp in the water tank, and a step of determining whether the luminance ratio is equal to or higher than a reference value. And
The water quality monitoring device according to a third aspect of the present invention is the water quality monitoring device according to the first aspect, wherein the computer comprises suitable fish judgment means for judging whether or not the fish in the aquarium is suitable for water quality monitoring. The step of measuring the projected area of the fish when the fish is swimming near the center of the image in which the camera is photographing the aquarium, and the measured projected area is less than or equal to the lower limit value of the reference value or the upper limit value It consists of the step which judges whether it is above.
The water quality monitoring device according to a fourth aspect of the present invention is the water quality monitoring device according to the first aspect, wherein the computer includes suitable fish determination means for determining whether or not the fish in the aquarium is suitable for water quality monitoring. The method includes a step of measuring acceleration during swimming and a step of determining whether or not a sum of absolute values of the measured accelerations is equal to or greater than a reference value.
The fish image recognition method of the fifth invention is a method for recognizing a fish image by photographing a water tank containing a water quality monitoring fish with a camera at regular time intervals, and processing the obtained image with a computer. Selecting a plurality of image groups captured from the camera to the computer, creating a background image by averaging the luminance of each pixel in the selected image group, and monitoring. Selecting a target image to be determined, subtracting the background image from the target image to obtain a difference image, and recognizing a fish image of an active fish based on the difference image. It is characterized by that.

第1発明によれば、魚画像を認識する際に、撮影済みの複数枚の画像を平均化処理して背景画像を作成し、監視判断する対象画像との差分を取ることで、活動を停止した魚、浮遊物体、沈殿物およびガラス面への写り込み等の影響を排除した差分画像を得ることができる。この差分画像を用いて画像処理を行うことで、細かな動きも画像の変化として把握しやすくなり、このため、移動していない魚でも体の傾きを変えるなどの細かい動作をしていれば、活動状態であると認識できる。このように、魚の細かい動きも監視できるので、魚の挙動に基づく水質監視を高精度に行うことができる。
第2発明によれば、水槽内の濁った水に一方向から照明を当てると、照明に近い水域では乱反射が起って明るくなり、この乱反射により照明に遠い水域では光が届かなくなって暗くなる。この傾向は濁度が高いほど顕著になって現れるので、この輝度比を基準値と比較すれば、水槽内の水の濁度を間接的に測定することができる。このようにして、魚画像を正常に認識できない濁度を基準値としておけば、魚の認識不能による警報が出る前に濁度の警報を出すことができる。
第3発明によれば、投入された一匹一匹の魚について、画像の中央付近を泳いでいるときに投影面積を測定するので、カメラに対する体の向きやカメラからの距離をほぼ一定にできる。そして、魚の投影面積が小さい、すなわち体が小さく認識率が悪い若い魚や、投影面積が大きい、すなわち体が大きく動きが緩慢な老いた魚を検知できるので、この結果に基づき魚の交換すれば、水質の監視精度を高めることができる。
第4発明によれば、魚の加速度を測定し、一定時間における加速度の絶対値の和が基準値以上か否かを判断すると、加速度が頻繁に変化する魚、すなわち、他の魚を必要以上に追いまわす凶暴な魚を見出すことができる。このようにして、監視にふさわしくない魚を交換することで、水質の監視精度を向上させることができる。
第5発明によれば、魚画像を認識する際に、撮影済み複数枚の画像を平均化処理して背景画像を作成し、監視判断する対象画像との差分を取ることで、活動を停止した魚、浮遊物体、沈殿物およびガラス面への写り込み等の影響を排除した差分画像を得ることができる。前記差分画像を用いて画像処理を行うことで、細かな動きも画像の変化として把握しやすくなり、このため、移動していない魚でも体の傾きを変えるなどの細かい動作をしていれば、活動状態であると認識できる。魚の細かい動きも監視できるので、魚の挙動に基づく水質監視を高精度に行うことができる。
According to the first invention, when recognizing a fish image, a background image is created by averaging a plurality of captured images, and the activity is stopped by taking a difference from the target image to be monitored and determined. It is possible to obtain a differential image that eliminates the influence of the reflected fish, floating objects, sediment, and reflection on the glass surface. By performing image processing using this difference image, it becomes easier to grasp even small movements as image changes, so if you are doing fine operations such as changing the tilt of the body even with fish that are not moving, Can be recognized as active. Thus, since the fine movement of the fish can be monitored, water quality monitoring based on the behavior of the fish can be performed with high accuracy.
According to the second invention, when the turbid water in the aquarium is illuminated from one direction, irregular reflection occurs in the water area close to the illumination and brightens, and this irregular reflection makes the light far away from the illumination and darkens. . Since this tendency becomes more prominent as the turbidity is higher, the turbidity of water in the water tank can be indirectly measured by comparing the luminance ratio with a reference value. In this way, if the turbidity where the fish image cannot be recognized normally is set as the reference value, the turbidity warning can be issued before the warning due to the inability to recognize the fish.
According to the third invention, since the projected area is measured while swimming in the vicinity of the center of the image for each inserted fish, the direction of the body relative to the camera and the distance from the camera can be made substantially constant. . And it can detect young fish with small projected area, that is, small body and poor recognition rate, and old fish with large projected area, that is, large body and slow movement. Can improve the monitoring accuracy.
According to the fourth invention, when the acceleration of the fish is measured and it is determined whether or not the sum of the absolute values of the acceleration over a certain time is greater than or equal to the reference value, the fish whose acceleration changes frequently, that is, other fish are more than necessary. You can find ferocious fish that chase you. Thus, the water quality monitoring accuracy can be improved by exchanging fish that are not suitable for monitoring.
According to the fifth invention, when recognizing the fish image, the activity is stopped by averaging a plurality of captured images to create a background image and taking a difference from the target image to be monitored and judged. It is possible to obtain a differential image that eliminates the effects of fish, floating objects, sediment, and reflection on the glass surface. By performing image processing using the difference image, it becomes easier to grasp even small movements as image changes, so if you are doing fine operations such as changing the tilt of the body even with fish that are not moving, Can be recognized as active. Since it is possible to monitor fine movements of fish, water quality monitoring based on fish behavior can be performed with high accuracy.

つぎに、本発明の実施形態を図面に基づき説明する。
図1は本発明の一実施形態に係る水質監視装置を示しており、1は水槽、2はカメラ、3はコンピュータである。本実施形態の水質監視装置は、水槽1とカメラ2およびコンピュータ3で構成でき、そのコンピュータ3に水質監視を実行する種々のプログラムを組み込めば完成する、というシンプルな構成に特徴がある。
Next, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 shows a water quality monitoring apparatus according to an embodiment of the present invention, in which 1 is a water tank, 2 is a camera, and 3 is a computer. The water quality monitoring apparatus of the present embodiment can be configured by the water tank 1, the camera 2, and the computer 3, and is characterized by a simple configuration that is completed when various programs for executing water quality monitoring are incorporated into the computer 3.

本実施形態において、水槽1とコンピュータ3は、それぞれ別々の場所に設置することができ、遠隔地からの監視が可能である。また、複数の水槽1の一括監視や警報を携帯電話等に転送することも可能である。
図2は遠隔監視の例を示している。カメラ2とコンピュータ3との間は、映像ケーブル、無線LANや有線LAN、無線や有線の専用回線、公衆回線等任意の通信手段を用いることができ、水槽1A〜1Dとコンピュータ3間の距離は、数mから数10kmまでなら現実的であるが、それ以上の距離であっても現有技術で十分に遠隔監視が可能である。
In the present embodiment, the water tank 1 and the computer 3 can be installed in different places, respectively, and can be monitored from a remote place. It is also possible to transfer collective monitoring and alarms of a plurality of water tanks 1 to a mobile phone or the like.
FIG. 2 shows an example of remote monitoring. Arbitrary communication means such as video cable, wireless LAN or wired LAN, wireless or wired dedicated line, public line can be used between the camera 2 and the computer 3, and the distance between the water tanks 1A to 1D and the computer 3 is as follows. From a few meters to a few tens of kilometers is practical, but remote monitoring is possible with existing technology even at distances beyond that.

前記水槽1は適宜な大きさでよいが、仕切り11等を入れて監視領域12を狭く限定しておくのが好ましい。水槽1に入れる魚としては、扱いやすく有害物質に対して感受性の高い小魚が好ましいが、とくに入手が容易なメダカが適している。メダカには、有害物質が混入すると「暴れる」、「特定の場所に集まる」、「動きが鈍くなる」、「止まる」などと反応する特性があり、「シアン」「ヒ素」などの約200 ケースもの毒物に対して信頼性の高い判定結果が得られている。
また、水槽1中の監視領域12中には、メダカfを10匹位入れるのが、個々のメダカfを特定したり、監視精度を高めつつ、画像処理が必要以上に複雑にならないので好ましい。なお、監視領域12に相当する大きさの水槽を用いてもよいが、図示のような大き目の非監視領域13を有する水槽1の方が、メダカfを入れ替えたりする実際的作業には便利である。
なお、水槽1へは水質検査対象の水がフィルタを介して給水され、水槽内を流水後排水するようになっている。
The water tank 1 may be of an appropriate size, but it is preferable that the monitoring area 12 is narrowly limited by inserting a partition 11 or the like. The fish to be placed in the aquarium 1 is preferably a small fish that is easy to handle and highly sensitive to harmful substances, but medaka which is particularly easily available is suitable. Medaka has the characteristics that it reacts when it is mixed with toxic substances, such as “rage”, “gather in a specific place”, “slow movement”, “stop”, etc. About 200 cases such as “cyan” and “arsenic” Highly reliable judgment results are obtained for poisonous substances.
Further, it is preferable to place about 10 medaka f in the monitoring area 12 in the water tank 1 because the individual medaka f can be specified or the monitoring accuracy can be improved and the image processing does not become more complicated than necessary. Although a water tank of a size corresponding to the monitoring area 12 may be used, the water tank 1 having a large non-monitoring area 13 as shown is more convenient for practical work such as replacing the medaka f. is there.
The water tank 1 is supplied with water for water quality inspection through a filter, and drains the water tank after running water.

前記水槽1の上方には光を照射する照明灯4が設けられている。照明灯4を照射すれば、魚は輝点として発現し、この輝点が、魚画像の認識に用いられる。   An illuminating lamp 4 for irradiating light is provided above the water tank 1. When the illumination lamp 4 is irradiated, the fish appears as a bright spot, and this bright spot is used for recognition of the fish image.

前記カメラ2は魚画像が撮影できるのであれば、特別な制限はなくどのようなカメラを用いてもよいが、長期間安定して撮影できるカメラが好適である。
カメラ2による撮影は一定時間の間隔をおき、連続的に行うのがよい。画像処理の時間間隔は短いほどメダカの挙動を細かく追えるので好ましいが、余り短かすぎても画像処理が追いつかないうえに、監視精度の向上もさほど望めない。好ましい範囲は、0.033 〜0.5 秒間隔程度であるが、本発明では、0.1 秒間隔としている。
そこで、カメラ2は、水槽1を0.1 秒間隔で連続撮影し、画像データをコンピュータ3へ送り、コンピュータ3は約0.1 秒ごとにメダカfの動きを測定し、画像データとして高速演算処理する。このため、リアルタイムに水質を判定することができる。
また、センサとなるメダカfは、既述のごとく10尾程度とし、しかも、約0.1 秒ごとに測定するため、細かい動きを検知でき、水質の異常を高精度で判断することができる。
The camera 2 is not particularly limited as long as it can shoot fish images, but any camera can be used, but a camera that can stably shoot for a long period of time is preferable.
Shooting with the camera 2 is preferably performed continuously at regular intervals. It is preferable that the time interval of image processing is short because the behavior of the medaka can be traced finely. However, if the time interval is too short, the image processing cannot catch up and the monitoring accuracy cannot be improved much. The preferred range is about 0.033 to 0.5 seconds, but in the present invention, the intervals are 0.1 seconds.
Therefore, the camera 2 continuously shoots the water tank 1 at intervals of 0.1 seconds, sends image data to the computer 3, and the computer 3 measures the movement of the medaka f about every 0.1 seconds and performs high-speed calculation processing as image data. For this reason, water quality can be determined in real time.
In addition, the number of medaka f serving as sensors is about 10 as described above, and is measured every about 0.1 second, so that a fine movement can be detected and an abnormality in water quality can be determined with high accuracy.

前記コンピュータ3には、カメラ2から取込んだ画像に基づき、魚の画像を認識し水質を判断するプログラム、また、水槽1内の水の濁度や監視に適した魚か否かを判断するプログラムがインストールされている。特許請求の範囲にいう画像認識手段、水質判断手段、濁度判断手段および適魚判断手段は、これらのプログラムにより構成されている。なお、これらの画像処理と判断には、能力的に現在市販されているパソコンで対応可能である。
このコンピュータ3には、前記各判断手段を実行した結果に基づいて必要な警報を発する機能も有している。警報の発し方は任意であり、種々の方法を採用できるが、コンピュータ3のモニタ3A上に表示したり、これに加えて、必要な関係先に適宜の通信手段で通報したり、警報音を鳴らせる方法などを採用できる。モニタ3Aに表示させる警報などのモニタ画面は任意であるが、その例示は後述する。
The computer 3 has a program for recognizing a fish image based on an image taken from the camera 2 and judging the water quality, and a program for judging whether the water in the aquarium 1 is suitable for turbidity or monitoring of the water. Is installed. The image recognition means, water quality judgment means, turbidity judgment means, and suitable fish judgment means referred to in the claims are constituted by these programs. It should be noted that these image processing and determination can be handled by a personal computer commercially available.
The computer 3 also has a function of issuing a necessary alarm based on the result of executing each of the determination means. The method of issuing an alarm is arbitrary, and various methods can be adopted. In addition, the alarm can be displayed on the monitor 3A of the computer 3 or in addition to the necessary communication means by an appropriate communication means, or an alarm sound can be generated. You can adopt a method to sound. A monitor screen such as an alarm to be displayed on the monitor 3A is arbitrary, but an example thereof will be described later.

つぎに、上記水質監視装置で実行される水質判断方法を、図3に基づき説明する。
この水質判断方法は、大きく分けると画像認識ステップとそれに基づく水質判断ステップとからなる。これらの方法は、既述のごとくコンピュータ3にインストールされている魚画像認識手段(プログラム)と水質判断手段(プログラム)によって実行される。
Next, a water quality judgment method executed by the water quality monitoring device will be described with reference to FIG.
This water quality judgment method is roughly divided into an image recognition step and a water quality judgment step based on the image recognition step. These methods are executed by the fish image recognition means (program) and the water quality judgment means (program) installed in the computer 3 as described above.

つぎに、前記魚画像認識手段による認識方法を各ステップ順に説明する。
1 複数画像群選択ステップ(S1)
本実施形態の水質監視装置では、カメラ2からコンピュータ3に取込まれた画像を新しい順に20枚(約2秒間の画像)をメモリ上に保存し、新しい画像は、最も古い画像に上書きしていくので、20枚の画像は常に更新されている。
この20枚の過去の画像が背景画像作成用に選択されるが、これより少ない枚数を適宜選択してもよい。
Next, the recognition method by the fish image recognition means will be described in the order of each step.
1 Multiple Image Group Selection Step (S1)
In the water quality monitoring apparatus of the present embodiment, 20 images (images of about 2 seconds) stored in the memory in order from the camera 2 to the computer 3 are stored in the memory, and the new image is overwritten on the oldest image. 20 images are constantly updated.
These 20 past images are selected for creating a background image, but a smaller number may be selected as appropriate.

2 背景画像作成ステップ(S2)
つぎに、前記20枚の画像を用い、各画素の輝度を平均化処理して背景画像を作成する。
輝度を平均化処理する手法は、つぎのとおりである。
デジタル画像では、RGB(赤、緑、青)の各色ごとに256 段階の階調(8ビット)が与えられるので、R0G0B0=黒、R255G0B0=赤、R255G255B255=白、のように合計1,677 万通りの色の表示ができる。画像処理する場合には、RGBの256 階調から(R×0.33+G×0.33+B×0.33)を計算して、新たに256 階調の白黒画像を作成する。このとき、係数0.33は固定せず、魚の色を強調し認識率が高くなるように設定してもよい。このグレースケール256 色を「輝度」として平均化処理に用いている。すなわち、過去20枚の画像群における同じ位置の画素の輝度Kを新しい順に(K1,K2,・・・・・,K20 )とすると、
(Kb=K1×a1+K2×a2+・・・+K20 ×a20 ) ……式(1)
ただし、(a1+a2+・・・・+a20 =1)
を計算することで平均化処理ができ、背景画像の画素の輝度Kbの値を与えることができる。なお、係数aは自由に設定できるが、通常は、a1≧a2≧・・・・≧a20 となる。
2. Background image creation step (S2)
Next, using the 20 images, the luminance of each pixel is averaged to create a background image.
The technique for averaging the luminance is as follows.
In the digital image, 256 levels of gradation (8 bits) are given for each color of RGB (red, green, blue), so there are a total of 16.77 million patterns such as R0G0B0 = black, R255G0B0 = red, R255G255B255 = white. Color display is possible. In the case of image processing, (R × 0.33 + G × 0.33 + B × 0.33) is calculated from 256 RGB gradations, and a new 256 gradation monochrome image is created. At this time, the coefficient 0.33 is not fixed, and the fish color may be emphasized and the recognition rate may be set high. The 256 gray scale colors are used as the “brightness” in the averaging process. That is, assuming that the luminance K of the pixels at the same position in the past 20 image groups is (K1, K2,..., K20) in the newest order,
(Kb = K1 × a1 + K2 × a2 +... + K20 × a20) (1)
However, (a1 + a2 +... + A20 = 1)
Can be averaged, and the value of the luminance Kb of the pixels of the background image can be given. The coefficient a can be set freely, but normally, a1 ≧ a2 ≧... ≧ a20.

3 対象画像選択ステップ(S3)
監視判断する対象画像を選択する。通常は最新の画像を選択するのであるが、過去の画像を選択することも可能である。
3. Target image selection step (S3)
A target image to be monitored is selected. Usually, the latest image is selected, but it is also possible to select a past image.

4 差分画像作成ステップ(S4)
対象画像から背景画像を差引き処理して差分画像を得る。
背景画像も対象画像(現在画像)も多値画像なので、多値画像のままで差引き処理を行うが、その差分画像を得る方法は、つぎのとおりである。
なお、分かりやすくするため、2値画像で説明する。魚画像を含む明るい領域を“1”、暗い領域を“0”とすると、差分を取った場合下表のようになる。
対象画像 − 背景画像 = 差分画像
1 1 0
1 0 1※
0 1 −1
0 0 0
上記のうち、魚画像の認識に使用するのは、差分画像の“1”の領域のみである。その認識手順は下記のとおりである。
1)“1”の領域を拡大する(分断されている“1”の領域があるとき、その隣接領域
が一つになるレベルまで拡大する)。
2)“1”の領域を元の大きさに縮小する(一つになった領域は全体で縮小する)。
3)設定した魚画像のサイズよりも大きい領域や小さい領域を削除する。
4)残った“1”の領域(上記表で※を注記)を魚画像として認識し、“1”の領域の
個数を魚の数として、各魚の座標や前回からの移動状態を検出する。
5)認識精度を高めるため、20回(約2秒)連続して追尾できた“1”の領域の数を
「活動数」として用いる。
既述のごとく本実施形態では多値画像を用いているので、上記1)〜5)の手順に当てはめる際、適当なしきい値を用いて処理すれば、上記の同様の手順で魚画像の認識を実施できる。
要するに、上記の差分画像を得るということは、
イ)対象画像(最新の画像)と背景画像に共に存在するものは除かれる→つまり、動いていない魚や静止物が除かれる
ロ)その結果、対象画像のみに有るものが残される→このようにして残されたものは、動いている魚であり、それには位置を変えたものも、同じ位置で姿勢を変えただけのものも含まれる
ということである。
そして、上記のように、同じ位置で姿勢を変えただけの魚の画像は、例えば、胴体部分が消えて、頭と尾の2カ所だけが残ることもある。この場合でも、前記1)の分断された隣接領域の拡大による一体化と、その後の前記2)の縮小操作によって、一つの魚画像に再生できる。したがって、同じ位置で姿勢変更しただけの魚についても、明確に姿勢変更を認識できる。
4. Difference image creation step (S4)
A background image is subtracted from the target image to obtain a difference image.
Since both the background image and the target image (current image) are multi-valued images, the subtraction process is performed with the multi-valued image as it is. The method for obtaining the difference image is as follows.
For the sake of easy understanding, a binary image will be described. If the bright area including the fish image is “1” and the dark area is “0”, the difference is calculated as shown in the table below.
Target image-Background image = Difference image
1 1 0
1 0 1 *
0 1 -1
0 0 0
Of the above, only the “1” area of the difference image is used for fish image recognition. The recognition procedure is as follows.
1) The area “1” is enlarged (when there is a divided “1” area, the area is enlarged to a level where the adjacent areas become one).
2) The area “1” is reduced to the original size (the combined area is reduced as a whole).
3) Delete areas larger or smaller than the set fish image size.
4) Recognize the remaining “1” area (* in the table above) as a fish image, and detect the coordinates of each fish and the movement status from the previous time, using the number of “1” areas as the number of fish.
5) To increase recognition accuracy, use the number of “1” areas that have been tracked 20 times (about 2 seconds) as “number of activities”.
As described above, since a multi-valued image is used in the present embodiment, when applying to the above procedures 1) to 5), if processing is performed using an appropriate threshold value, fish image recognition is performed in the same manner as described above. Can be implemented.
In short, obtaining the above difference image means
B) Objects that exist in both the target image (latest image) and the background image are removed. → In other words, fish and stationary objects that are not moving are removed. B) As a result, only the target image remains. All that is left is the moving fish, including those that have changed position and those that have just changed their posture at the same position.
As described above, the image of a fish whose posture has been changed at the same position, for example, the body part may disappear and only the head and tail may remain. Even in this case, the image can be reproduced as a single fish image by the integration of the divided adjacent areas in 1) and the subsequent reduction operation in 2). Therefore, the posture change can be clearly recognized even for the fish whose posture has just been changed at the same position.

5 魚画像認識ステップ(S5)
つぎに、上記のようにして得られた差分画像に基づき魚の魚画像を認識する。
この場合、既述のごとく、魚が移動していなくても、体の傾きが変化したり、体をひねって形状が変化しておれば、形状に変化があった魚として認識できるので、完全に動作停止している魚とは区別することができる。このため、従来技術のように魚の位置が移動したかどうかのみで、魚の活動有無を判断する手法に比べ、より高い精度で、魚の活動停止の有無を判定することができる。
そして、モニタ3Aの画面上、すなわち最新画像(現在画像)上に動いていると認識された魚の魚画像に色つきの太い輪郭線s(楕円)を重ね合わせて表示する。このようにすることで、移動していない魚が完全に動きを止めたかどうかを、輪郭線sの有無で判断できる。輪郭線sとしては、魚画像を明示できればどのような形状でもよいが、たとえば、楕円形などが用いられる。そして、各魚ごとに輪郭線sの色を変え、移動した場合には自動追尾し、同じ色の輪郭線sで常に表示させる。なお、魚同士が重なったり影に入ったりして追尾できない場合は、別の色の輪郭線sが新たに割り当てられることもある。自動追尾は公知の手法を用いればよく、例えば、前回の位置と速度と方向から、現在の移動位置を予測し、予測点に最も近い魚画像を同一魚として特定する手法などが用いられる。
5 Fish image recognition step (S5)
Next, the fish image of the fish is recognized based on the difference image obtained as described above.
In this case, as described above, even if the fish is not moving, it can be recognized as a fish whose shape has changed if the body tilt changes or the shape changes by twisting the body. It can be distinguished from fish that have stopped working. For this reason, the presence or absence of fish activity can be determined with higher accuracy than the method of determining the presence or absence of fish activity only by whether or not the position of the fish has moved as in the prior art.
Then, a thick colored outline s (ellipse) is superimposed and displayed on the fish image of the fish recognized as moving on the screen of the monitor 3A, that is, the latest image (current image). By doing in this way, it can be judged by the presence or absence of the outline s whether the fish which has not moved completely stopped moving. The contour line s may have any shape as long as a fish image can be clearly shown. For example, an oval shape is used. Then, the color of the contour line s is changed for each fish, and when the fish moves, it is automatically tracked and always displayed with the same color of the contour line s. Note that when the fish cannot be tracked due to overlapping or shadows, another color outline s may be newly assigned. A known method may be used for the automatic tracking. For example, a method of predicting the current movement position from the previous position, speed, and direction and specifying the fish image closest to the prediction point as the same fish is used.

6 水質判断ステップ(S6)
上記の画像認識ステップの実行により、雑音が除去された魚画像が得られると、最終の水質判断ステップ(S6)が実行される。
このステップは、画面上で、画面aのように「暴れる」、画面bのように「特定の場所にメダカが集まる」、画面cのように「メダカの動きが鈍くなる」あるいは「動きが止まる」などの挙動が現れるか否かを監視する。暴れたり、特定の場所に集まったり、動きが鈍くなったり、止まったりするメダカfの状態を数値化することで、基準値と比較すればよく、基準値も、段階付けておけば、予告、警告、重度の警告などのレベル判断も可能である。
6 Water quality judgment step (S6)
When a fish image from which noise has been removed is obtained by performing the image recognition step, a final water quality determination step (S6) is performed.
In this step, the screen “runs” like screen a, “medaka gathers in a specific place” like screen b, “medaka moves slowly” or “stops” like screen c. Or the like is observed. By quantifying the state of the medaka f that rampages, gathers in a specific place, slows down or stops, it can be compared with the reference value, and if the reference value is also staged, Level judgments such as warnings and severe warnings can also be made.

上記の魚画像認識方法では、過去の複数枚の画像を平均化処理して背景画像を作成し、監視判断する対象画像(最新の現在画像)との差分を取ることで、浮遊物体や沈殿物およびガラス面への写り込み等の影響を排除した差分画像を得ることができる。そして、この差分画像を用いて画像処理を行うことで、細かな動きも画像の変化として把握しやすくなり、このため、移動していない魚でも体の傾きを変えるなどの細かい動作をしていれば、活動状態であると認識できる。魚の細かい動きも監視できるので、魚の挙動に基づく水質監視を高精度に行うことができる。   In the above fish image recognition method, a plurality of past images are averaged to create a background image, and by taking the difference from the target image to be monitored (latest current image), floating objects and sediment In addition, it is possible to obtain a difference image that eliminates the influence of reflection on the glass surface. And by performing image processing using this difference image, it is easy to grasp even small movements as image changes, so even if you are not moving fish, you can perform fine operations such as changing the tilt of the body Can be recognized as active. Since it is possible to monitor fine movements of fish, water quality monitoring based on fish behavior can be performed with high accuracy.

つぎに、本発明の水質監視装置において、用いると好ましい水の濁度判定方法を説明する。
図4の(A)に示すように、水に濁りがない場合、照明の光がよく透過し、水槽1内の明るさはほぼ均一である。また、(B)に示すように、水に濁りが入ると、照明に近いほうが乱反射して明るくなり、照明に遠い方がこの乱反射で光が届かなくなり暗くなる。そして、(C)に示すように、さらに濁りが入ると、傾向はさらに強くなる。この性質を利用すれば画像からの間接的な濁度測定が可能となる。
すなわち、光照射する照明灯4に対し、水槽1内における近い水域と遠い水域の間の輝度比を対比して、輝度比が基準値以上になると、警報を発するものである。輝度比は、水槽内の監視領域12内の上方の数点における散乱光の輝度の平均値をとり、また下方の数点における散乱光の輝度の平均値をとり、上下の平均値の比率を演算することにより求められる。
なお、測定点を複数にしているのは、魚影などの高輝点と重なった場合の影響を抑えるためである。
警報が出されると、水路のフィルタ交換、流入停止等の処置をとることができるので、強い濁りが入って魚画像の認識が困難になる前に、魚の活動停止等の誤警告が発信されることを防止できる。
Next, a method for determining the turbidity of water that is preferably used in the water quality monitoring device of the present invention will be described.
As shown to (A) of FIG. 4, when there is no turbidity in water, the light of illumination permeate | transmits well and the brightness in the water tank 1 is substantially uniform. Further, as shown in (B), when the water becomes turbid, the light closer to the illumination is diffusely reflected and brightened, and the one far from the illumination becomes dark due to the irregular reflection. And as shown in (C), when the turbidity further enters, the tendency becomes stronger. By utilizing this property, indirect turbidity measurement from an image becomes possible.
That is, for the illumination lamp 4 that irradiates the light, the brightness ratio between the near water area and the far water area in the water tank 1 is compared, and an alarm is issued when the brightness ratio exceeds a reference value. The brightness ratio is the average value of the scattered light brightness at several points in the upper part of the monitoring area 12 in the aquarium, and the average value of the scattered light brightness at the lower several points is taken as the ratio of the upper and lower average values. It is obtained by calculating.
The reason for using a plurality of measurement points is to suppress the influence of overlapping with high brightness points such as fish shadows.
When an alarm is issued, it is possible to take measures such as changing the filter of the water channel, stopping the inflow, etc., so a false warning such as stopping the activity of the fish is sent before it becomes difficult to recognize the fish image due to strong turbidity Can be prevented.

図1の実施形態において、濁度の間接測定に必要な照明は、魚を照らしている照明灯4がそのまま活用できるため追加設備を必要とせず、測定した濁度の値により手動あるいは自動で水槽への取水を停止することが可能となるため、濁度計などの複雑かつ高価な設備の追加が不要となる、という利点がある。   In the embodiment of FIG. 1, the illumination required for indirect measurement of turbidity does not require additional equipment because the lighting lamp 4 illuminating the fish can be used as it is, and it is manually or automatically depending on the measured turbidity value. Since it is possible to stop water intake, there is an advantage that it is not necessary to add complicated and expensive equipment such as a turbidimeter.

つぎに、水槽内の魚が水質監視に適するか否かを判断する適魚判断手段を説明する。
第1の適魚判断手段は、カメラが撮影している画像の中央付近を泳いでいるときに、投影面積を測定する第1ステップと、測定された投影面積が、基準値の下限値以下か、上限値以上かを判断する第2ステップからなる。
前記第1ステップによれば、投入された一匹一匹の魚について、画像の中央付近を設定速度以上で泳いでいるときに面積を測定するので、カメラに対する体の向きやカメラからの距離がほぼ一定となり、正確な面積が測定できる。そして第2ステップにおいて基準値の下限値と比較して小さいもの、すなわち、体が小さく認識率が悪い若い魚を検知したり、上限値と比較して大きいもの、すなわち、体が大きく動きが緩慢な老いた魚を検知できるので、これら不適な魚の交換を促すことができる。
Next, a suitable fish judgment means for judging whether or not the fish in the aquarium is suitable for water quality monitoring will be described.
The first suitable fish determining means includes a first step of measuring the projected area when swimming near the center of the image captured by the camera, and whether the measured projected area is equal to or less than a lower limit value of the reference value. The second step of determining whether or not the upper limit value is exceeded.
According to the first step, the area of each inserted fish is measured when swimming near the center of the image at a set speed or higher, so that the body orientation relative to the camera and the distance from the camera are It becomes almost constant, and an accurate area can be measured. In the second step, a small fish that is smaller than the lower limit of the reference value, that is, a young fish with a small body and a poor recognition rate, or a fish that is large compared to the upper limit, that is, the body is large and the movement is slow. Because it can detect old fish, it is possible to prompt the exchange of these inappropriate fish.

つぎに、第2の適魚判断手段を説明する。
第2の適魚判断手段は、魚の遊泳中の加速度を測定する第3ステップと、測定された加速度の絶対値の和が、基準値以上か否かを判断する第4ステップからなるが詳細は以下のとおりである。
コンピュータ3上では、個々の魚画像に異なる色の輪郭線sを付与し、常に魚の特定と追尾を行っている。魚の特定と追尾は0.1 秒ごとに行っているので、第3ステップの速度変化量(加速度)の計算も0.1 秒ごとに行うことができる。
そして、第4ステップでは、ある一定時間における加速度の絶対値の和を計算し、和の値が基準値より大きいか否かを判断する。その結果が基準値より大きい場合は凶暴な動きをしていると判断できるので、他の魚を必要以上に追いまわす凶暴な魚として、交換を促すことができる。このようにして、監視にふさわしくない魚を交換することで、水質異常検知精度を向上させることができる。
Next, second suitable fish determination means will be described.
The second suitable fish determining means includes a third step of measuring acceleration during swimming of the fish and a fourth step of determining whether the sum of the absolute values of the measured accelerations is greater than or equal to a reference value. It is as follows.
On the computer 3, contour lines s of different colors are given to individual fish images, and the fish is always identified and tracked. Since the fish is identified and tracked every 0.1 second, the speed change (acceleration) in the third step can be calculated every 0.1 second.
Then, in the fourth step, the sum of absolute values of acceleration over a certain period of time is calculated, and it is determined whether or not the sum is larger than a reference value. If the result is larger than the reference value, it can be determined that the movement is violent, so that replacement can be promoted as a violent fish that drives other fish more than necessary. Thus, the water quality abnormality detection accuracy can be improved by exchanging fish that are not suitable for monitoring.

既述のごとく、前記モニタ3Aに表示するモニタ画面は任意に採用できるが、好ましいモニタ画面を以下に例示する。
(1)リアルタイムモニタ画面
図5に示すように、0.1 秒ごとの現在(リアルタイム)の画像を表示する。fは魚であり、sは輪郭線である。リアルタイムモニタ画面では、画像処理に使用した画像と魚の認識結果を同時に表示するとよい。なお、後述する警報モニタ画面とトレンドモニタ画面は、画面を切換えて表示してもよく、同時に表示してもよい。
(2)警報モニタ画面
魚fの活動数や活動状態を段階分けして表示する。例えば、つぎのとおりである。
活動数:活動(微動も含む)している魚の数
活動状態:検出対象、検出精度および検出時間の条件に従い、魚の行動特性から最適な組合せを選択し、状態を数段階に分けて表示できる。
(3)トレンドモニタ画面
横軸に時刻を表示し、縦軸に活動数、活動状態および透明度の各診断項目の値を表示する。時間軸の表示には1時間表示モードと24時間表示モードなど変化させるのが好ましい。画面上に、黄線は警告線、赤線は警報線として表示し、この線を越えたり、下回ると、警報モニタ部の表示する緑ランプが消えたり、ランプが黄や赤に点灯させるとよい。
なお、上記はあくまでも例示であり、上記以外のモニタ画面を否定するものではない。
As described above, a monitor screen to be displayed on the monitor 3A can be arbitrarily adopted. Preferred monitor screens are exemplified below.
(1) Real-time monitor screen As shown in FIG. 5, a current (real-time) image is displayed every 0.1 seconds. f is a fish and s is a contour line. On the real-time monitor screen, the image used for image processing and the fish recognition result may be displayed simultaneously. Note that an alarm monitor screen and a trend monitor screen, which will be described later, may be displayed by switching the screens, or may be displayed at the same time.
(2) Alarm monitor screen Displays the number of activities and activity status of fish f in stages. For example, it is as follows.
Number of activities: Number of active fish (including tremors) Activity status: According to the conditions of detection target, detection accuracy and detection time, the optimal combination can be selected from the behavioral characteristics of the fish, and the status can be displayed in several stages.
(3) Trend monitor screen The time is displayed on the horizontal axis, and the value of each diagnostic item for the number of activities, activity state, and transparency is displayed on the vertical axis. For the display of the time axis, it is preferable to change the 1-hour display mode and the 24-hour display mode. On the screen, the yellow line is displayed as a warning line, and the red line is displayed as an alarm line. If the line exceeds or falls below this level, the green lamp displayed on the alarm monitor may be turned off or the lamp may be lit in yellow or red. .
The above is merely an example, and a monitor screen other than the above is not denied.

本発明は、浄水場、下水処理施設、飲料水メーカ、食品メーカなど厳しい水質管理を必要とする施設に最適である。   The present invention is most suitable for facilities that require strict water quality management, such as water purification plants, sewage treatment facilities, drinking water manufacturers, and food manufacturers.

本発明の一実施形態に係る水質監視装置の説明図である。It is explanatory drawing of the water quality monitoring apparatus which concerns on one Embodiment of this invention. 画像伝送方法の説明図である。It is explanatory drawing of the image transmission method. 画像認識ステップと水質判断ステップの説明図である。It is explanatory drawing of an image recognition step and a water quality judgment step. 濁度判断方法の説明図である。It is explanatory drawing of a turbidity judgment method. モニタ画面の説明図である。It is explanatory drawing of a monitor screen.

符号の説明Explanation of symbols

1 水槽
2 カメラ
3 コンピュータ
4 照明灯
1 Aquarium 2 Camera 3 Computer 4 Lighting

Claims (5)

水質監視用の魚を入れた水槽と、
該水槽を一定の時間間隔で撮影するカメラと、
該カメラの撮影した画像に基づき水質判断するコンピュータとからなり、
該コンピュータは、
魚画像を認識する画像認識手段と、
認識された魚画像から水質の適否を判断する水質判断手段とを有しており、
前記画像認識手段は、
前記カメラから前記コンピュータに取込まれた複数枚の画像群を選択するステップと、
選択された画像群において、各画素の輝度を平均化処理して背景画像を作成するステップと、
監視判断する対象画像を選択するステップと、
前記対象画像から前記背景画像を差引き処理して差分画像を得るステップと、
前記差分画像に基づき、活動している魚の魚画像を認識するステップとからなる
ことを特徴とする水質監視装置。
An aquarium with fish for water quality monitoring,
A camera that photographs the water tank at regular time intervals;
A computer that judges water quality based on images taken by the camera;
The computer
Image recognition means for recognizing fish images;
Water quality judging means for judging the suitability of the water quality from the recognized fish image,
The image recognition means includes
Selecting a plurality of image groups captured by the computer from the camera;
Creating a background image by averaging the luminance of each pixel in the selected image group;
Selecting a target image to be monitored and judged;
Subtracting the background image from the target image to obtain a difference image;
And a step of recognizing a fish image of an active fish based on the difference image.
水槽を照明する照明灯を備えた水質監視装置であって、
前記コンピュータが、水槽内の水の濁度判断手段を備えており、
該濁度判断手段が、
前記水槽内において、前記照明灯に対し近い水域と遠い水域の間の輝度比を検出するステップと、
前記輝度比が基準値以上か否かを判断するステップからなる
ことを特徴とする請求項1記載の水質監視装置。
A water quality monitoring device equipped with an illumination lamp for illuminating the aquarium,
The computer includes turbidity determination means for water in the aquarium;
The turbidity judging means
Detecting a luminance ratio between a water area close to and far from the illumination lamp in the water tank;
The water quality monitoring apparatus according to claim 1, further comprising a step of determining whether the luminance ratio is equal to or higher than a reference value.
前記コンピュータが、水槽内の魚が水質監視に適するか否かを判断する適魚判断手段を備えており、
該適魚判断手段が、
前記カメラが前記水槽を撮影している画像の中央付近を、魚が泳いでいるときに、その魚の投影面積を測定するステップと、
測定された投影面積が、基準値の下限値以下か、上限値以上かを判断するステップからなる
ことを特徴とする請求項1記載の水質監視装置。
The computer includes a suitable fish judging means for judging whether or not the fish in the aquarium is suitable for water quality monitoring;
The suitable fish judging means is
Measuring the projected area of the fish when the fish is swimming near the center of the image in which the camera is photographing the aquarium;
The water quality monitoring apparatus according to claim 1, further comprising a step of determining whether the measured projected area is equal to or less than a lower limit value or an upper limit value of the reference value.
前記コンピュータが、水槽内の魚が水質監視に適するか否かを判断する適魚判断手段を備えており、
前記適魚判断手段が、
魚の遊泳中の加速度を測定するステップと、
測定された加速度の絶対値の和が、基準値以上か否かを判断するステップからなる
ことを特徴とする請求項1記載の水質監視装置。
The computer includes a suitable fish judging means for judging whether or not the fish in the aquarium is suitable for water quality monitoring;
The suitable fish judging means is
Measuring acceleration during swimming of the fish;
The water quality monitoring apparatus according to claim 1, further comprising a step of determining whether a sum of absolute values of measured accelerations is equal to or greater than a reference value.
水質監視用の魚を入れた水槽を、一定の時間間隔でカメラで撮影し、得られた画像をコンピュータで画像処理して魚画像を認識する方法であって、
前記カメラから前記コンピュータに取込まれた複数枚の画像群を選択するステップと、
選択された画像群において、各画素の輝度等を平均化処理して背景画像を作成するステップと、
監視判断する対象画像を選択するステップと、
前記対象画像から前記背景画像を差引き処理して差分画像を得るステップと、
前記差分画像に基づき、活動している魚の魚画像を認識するステップとからなる
ことを特徴とする魚画像認識方法。
A method for recognizing a fish image by photographing a water tank containing a fish for water quality monitoring with a camera at regular time intervals, and processing the obtained image with a computer.
Selecting a plurality of image groups captured by the computer from the camera;
In the selected group of images, a step of creating a background image by averaging the luminance and the like of each pixel;
Selecting a target image to be monitored and judged;
Subtracting the background image from the target image to obtain a difference image;
And recognizing a fish image of an active fish based on the difference image.
JP2003381604A 2003-11-11 2003-11-11 Water quality monitoring device and fish image recognition method used therefor Expired - Fee Related JP3691502B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003381604A JP3691502B2 (en) 2003-11-11 2003-11-11 Water quality monitoring device and fish image recognition method used therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003381604A JP3691502B2 (en) 2003-11-11 2003-11-11 Water quality monitoring device and fish image recognition method used therefor

Publications (2)

Publication Number Publication Date
JP2005150840A true JP2005150840A (en) 2005-06-09
JP3691502B2 JP3691502B2 (en) 2005-09-07

Family

ID=34690930

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003381604A Expired - Fee Related JP3691502B2 (en) 2003-11-11 2003-11-11 Water quality monitoring device and fish image recognition method used therefor

Country Status (1)

Country Link
JP (1) JP3691502B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009126116A1 (en) * 2008-04-09 2009-10-15 Agency For Science, Technology And Research System and method for monitoring water quality
JP2010532898A (en) * 2007-07-08 2010-10-14 ユニベルシテ・ド・リエージュ Visual background extractor
CN106417104A (en) * 2016-08-31 2017-02-22 北京农业信息技术研究中心 Cultured fish swimming direction detecting system and method
CN110942045A (en) * 2019-12-05 2020-03-31 安徽信息工程学院 Intelligent fish tank feeding system based on machine vision
JP2020095325A (en) * 2018-12-10 2020-06-18 株式会社サンライン Image identification system
CN113516635A (en) * 2021-06-15 2021-10-19 中国农业大学 Fish-vegetable symbiotic system and vegetable nitrogen element demand estimation method based on fish behaviors
CN113622145A (en) * 2020-05-07 2021-11-09 云米互联科技(广东)有限公司 Laundry control method, laundry control system, washing machine and computer readable storage medium
CN115333678A (en) * 2022-10-17 2022-11-11 江西省绿时代低碳环保发展有限公司 Unmanned ship water quality monitoring data transmission method and system
CN116233370A (en) * 2023-04-27 2023-06-06 安徽哈斯特自动化科技有限公司 Intelligent video monitoring method based on water quality monitoring
CN117455913A (en) * 2023-12-25 2024-01-26 卡松科技股份有限公司 Intelligent detection method for pollution of hydraulic oil based on image features

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010532898A (en) * 2007-07-08 2010-10-14 ユニベルシテ・ド・リエージュ Visual background extractor
JP4699564B2 (en) * 2007-07-08 2011-06-15 ユニベルシテ・ド・リエージュ Visual background extractor
WO2009126116A1 (en) * 2008-04-09 2009-10-15 Agency For Science, Technology And Research System and method for monitoring water quality
US8723949B2 (en) 2008-04-09 2014-05-13 Agency For Science, Technology And Research Fish activity monitoring system for early warning of water contamination
CN106417104A (en) * 2016-08-31 2017-02-22 北京农业信息技术研究中心 Cultured fish swimming direction detecting system and method
JP7349653B2 (en) 2018-12-10 2023-09-25 株式会社サンライン image identification system
JP2020095325A (en) * 2018-12-10 2020-06-18 株式会社サンライン Image identification system
CN110942045B (en) * 2019-12-05 2023-05-26 安徽信息工程学院 Intelligent fish tank feeding system based on machine vision
CN110942045A (en) * 2019-12-05 2020-03-31 安徽信息工程学院 Intelligent fish tank feeding system based on machine vision
CN113622145A (en) * 2020-05-07 2021-11-09 云米互联科技(广东)有限公司 Laundry control method, laundry control system, washing machine and computer readable storage medium
CN113622145B (en) * 2020-05-07 2023-11-07 云米互联科技(广东)有限公司 Laundry control method, laundry control system, washing machine and computer readable storage medium
CN113516635A (en) * 2021-06-15 2021-10-19 中国农业大学 Fish-vegetable symbiotic system and vegetable nitrogen element demand estimation method based on fish behaviors
CN113516635B (en) * 2021-06-15 2024-02-27 中国农业大学 Fish and vegetable symbiotic system and vegetable nitrogen element demand estimation method based on fish behaviors
CN115333678A (en) * 2022-10-17 2022-11-11 江西省绿时代低碳环保发展有限公司 Unmanned ship water quality monitoring data transmission method and system
CN116233370A (en) * 2023-04-27 2023-06-06 安徽哈斯特自动化科技有限公司 Intelligent video monitoring method based on water quality monitoring
CN117455913A (en) * 2023-12-25 2024-01-26 卡松科技股份有限公司 Intelligent detection method for pollution of hydraulic oil based on image features
CN117455913B (en) * 2023-12-25 2024-03-08 卡松科技股份有限公司 Intelligent detection method for pollution of hydraulic oil based on image features

Also Published As

Publication number Publication date
JP3691502B2 (en) 2005-09-07

Similar Documents

Publication Publication Date Title
US4888703A (en) Apparatus for monitoring the toxicant contamination of water by using aquatic animals
JP2007187575A (en) Device and method of monitoring water quality
JP3691502B2 (en) Water quality monitoring device and fish image recognition method used therefor
CN103632369B (en) The combination of block average definition is without reference underwater picture universal property quantity measuring method
CN116233370B (en) Intelligent video monitoring method based on water quality monitoring
KR101314633B1 (en) System and method for monitering test of bio-toxicity
CN105911060A (en) Visualized detection method and visualized detection device for contamination on window glass of transmission-type visual range visibility meter
CN115359431B (en) Atmospheric environment pollution source pollution degree evaluation method and system
JP2007085828A (en) Water quality monitoring method and monitor
JPH05332915A (en) Hydrosphere monitoring apparatus and purifying apparatus
JPS63133061A (en) Fish living condition monitoring instrument
JP4654894B2 (en) Oil film detection apparatus and method
JP5393086B2 (en) Image sensor
JPH05263411A (en) Object observation method and device
KR20130083662A (en) Water quality monitoring system and method of controlling the same
CN115631442A (en) Fire flame detection method and device based on machine vision
JP2005233636A (en) Fat hybridization inspection method and device of edible meat
CN112499163B (en) Scraper conveyor fault detection method, storage medium and intelligent scraper conveyor
JP7328778B2 (en) Image processing device and image processing program
JP2005227114A (en) System for determining abnormality in water quality, method therefor, image monitor, program therefor, and storage medium therefor
CN109632590B (en) Deep-sea luminous plankton detection method
JP2526237B2 (en) Image monitoring device for living groups
JPS6159260A (en) Water quality examination apparatus
JPS63222262A (en) Water quality abnormality detector
JPH0740162Y2 (en) Monitoring device

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050615

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080624

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110624

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140624

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees