JP2022026110A - Abnormality assessment system and abnormality assessment method - Google Patents

Abnormality assessment system and abnormality assessment method Download PDF

Info

Publication number
JP2022026110A
JP2022026110A JP2020129418A JP2020129418A JP2022026110A JP 2022026110 A JP2022026110 A JP 2022026110A JP 2020129418 A JP2020129418 A JP 2020129418A JP 2020129418 A JP2020129418 A JP 2020129418A JP 2022026110 A JP2022026110 A JP 2022026110A
Authority
JP
Japan
Prior art keywords
amount
area
abnormality
regression model
bubbles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020129418A
Other languages
Japanese (ja)
Other versions
JP7484535B2 (en
Inventor
雄貴 三宅
Yuki Miyake
信彰 高▲瀬▼
Nobuaki Takase
雄喜 木村
Yuki Kimura
正一 鮫島
Shoichi Samejima
正佳 ▲高▼倉
Masayoshi Takakura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Original Assignee
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meidensha Corp, Meidensha Electric Manufacturing Co Ltd filed Critical Meidensha Corp
Priority to JP2020129418A priority Critical patent/JP7484535B2/en
Publication of JP2022026110A publication Critical patent/JP2022026110A/en
Application granted granted Critical
Publication of JP7484535B2 publication Critical patent/JP7484535B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing And Monitoring For Control Systems (AREA)

Abstract

To provide an abnormality assessment system and an abnormality assessment method, enabling abnormality to be highly accurately assessed.SOLUTION: An abnormality assessment system 1 for treatment equipment 100 comprising a reaction vessel 2 and an air blower 3 is provided . The abnormality assessment system 1 comprises: an image data storage unit 8 preserving image data obtained by photographing the reaction vessel 2; an image processing unit 9 calculating the area of bubbles in the image data; a bubble area storage unit 10 preserving the area of bubbles; an air blown amount data storage unit 11 preserving the air blown amount of the air blower 3; a regression model creation unit 12 creating a regression model on the basis of the area of bubbles and the air blown amount; an air blown amount estimation unit 13 estimating the air blown amount using a newly acquired area of bubble and the regression model; and an abnormality assessment unit 14 assessing abnormality on the basis of the estimated air blown amount and the actual air blown amount.SELECTED DRAWING: Figure 1

Description

本発明は、異常判定システムおよび異常判定方法に関する。 The present invention relates to an abnormality determination system and an abnormality determination method.

従来、下水、汚水等を処理するために、汚水を反応槽に導入し、送風機によって汚水中に空気を供給(散気)することが行われている。反応槽に散気することによって、微生物による浄化作用を維持、促進させ汚水を浄化する。浄化された処理水は、次の工程に送られるか、そのまま放流される。この散気による処理中、空気の供給状態に異常が生じると反応槽の浄化機能が低下、あるいは損なわれる。その場合、処理が不完全な汚水が、次工程に送られ、最終的には外部に放流されることにより、環境汚染が生じてしまう。 Conventionally, in order to treat sewage, sewage, etc., sewage is introduced into a reaction tank, and air is supplied (diffused) into the sewage by a blower. By dissipating air in the reaction tank, the purification action by microorganisms is maintained and promoted to purify sewage. The purified treated water is sent to the next process or discharged as it is. If an abnormality occurs in the air supply state during the treatment by this air diffuser, the purification function of the reaction tank is deteriorated or impaired. In that case, the sewage that is incompletely treated is sent to the next process and finally discharged to the outside, which causes environmental pollution.

特許文献1には、上述のような異常状態を検出するための異常検出装置が開示されている。この文献では、送風機から浄化槽中の散気装置に空気を供給する送気配管に気圧センサを接続し、送気配管中の気圧を観測し、観測された気圧が通常時の気圧の幅よりも高いか低い場合に気圧異常信号を出力する装置が記載されている。 Patent Document 1 discloses an abnormality detection device for detecting an abnormal state as described above. In this document, a barometric pressure sensor is connected to the air pressure pipe that supplies air from the blower to the air diffuser in the septic tank, and the air pressure in the air pressure pipe is observed. A device that outputs a barometric pressure abnormality signal when it is high or low is described.

特開2005-169310号公報Japanese Unexamined Patent Publication No. 2005-169310

特許文献1においては、異常を検知する指標は送気配管内の気圧のみであるため、気圧を監視する気圧センサに異常が生ずる、あるいは気圧センサに接続される送気配管の経路に障害が生じた場合には、実際の浄化槽の運転状態を正しく把握できなくなる恐れがある。 In Patent Document 1, since the only index for detecting an abnormality is the air pressure in the air supply pipe, an abnormality occurs in the air pressure sensor that monitors the air pressure, or a failure occurs in the path of the air supply pipe connected to the air pressure sensor. In that case, it may not be possible to correctly grasp the actual operating condition of the septic tank.

本発明は、上述した実情に鑑みてなされたものであり、確度の高い異常判定を行うことが可能な異常判定システムおよび異常判定方法を提供することを課題とする。 The present invention has been made in view of the above-mentioned circumstances, and an object of the present invention is to provide an abnormality determination system and an abnormality determination method capable of performing abnormality determination with high accuracy.

本発明は、上記課題を解決するため、以下の手段を採用する。
すなわち、本発明の異常判定システムは、反応槽と送風機を備えた処理装置の異常判定システムであって、前記反応槽を撮影した画像データを保存する画像データ記憶部と、前期画像データの泡の面積を算出する画像処理部と、前記泡の面積を保存する泡面積記憶部と、前記送風機の送風量を保存する送風量データ記憶部と、前記泡の面積と前記送風量とに基づいて回帰モデルを作成する回帰モデル作成部と、新たに取得した泡の面積と前記回帰モデルとから送風量を推定する送風量推定部と、前記推定した送風量と実際の送風量とに基づいて異常を判定する異常判定部と、を備える。
このような発明によれば、画像データと送風量のデータから回帰モデルを作成し、回帰モデルから推定した送風量と実際の送風量とに基づいて異常の判定が行われるので、送風量だけではなく複数の観点に基づいて、確度の高い異常判定を行うことができる。
The present invention employs the following means in order to solve the above problems.
That is, the abnormality determination system of the present invention is an abnormality determination system of a processing device provided with a reaction tank and a blower, and has an image data storage unit for storing image data obtained by photographing the reaction tank and bubbles of image data in the previous period. An image processing unit that calculates the area, a foam area storage unit that stores the area of the foam, an air volume data storage unit that stores the air volume of the blower, and a regression based on the bubble area and the air volume. An abnormality is generated based on the regression model creation unit that creates a model, the air flow estimation unit that estimates the air flow amount from the newly acquired bubble area and the regression model, and the estimated air flow amount and the actual air flow amount. It is provided with an abnormality determination unit for determination.
According to such an invention, a regression model is created from image data and airflow data, and an abnormality is determined based on the airflow amount estimated from the regression model and the actual airflow amount. It is possible to make a highly accurate abnormality determination based on a plurality of viewpoints.

本発明の一態様においては、前記反応槽の水質データを保存する水質データ記憶部を備え、前記回帰モデル作成部は、前記水質データと前記泡の面積と前記送風量とに基づいて回帰モデルを作成し、前記送風量推定部は、新たに取得した泡の面積と水質データと、前記回帰モデルとから送風量を推定する。
このような構成によれば、泡の面積に加えさらに水質データに基づいて回帰モデルが作成されるので、さらに精度のよい送風量の推定が可能となり、異常判定の確度が向上する。
In one aspect of the present invention, a water quality data storage unit for storing water quality data of the reaction tank is provided, and the regression model creation unit creates a regression model based on the water quality data, the area of the bubbles, and the amount of air blown. The blower amount estimation unit is created and estimates the blower amount from the newly acquired bubble area and water quality data and the regression model.
According to such a configuration, since the regression model is created based on the water quality data in addition to the area of the bubbles, it is possible to estimate the air flow amount more accurately, and the accuracy of the abnormality determination is improved.

本発明は、反応槽と送風機を備えた処理装置の異常判定システムであって、前記反応槽を撮影した画像データを保存する画像データ記憶部と、前記送風機の送風量を保存する送風量データ記憶部と、前記反応槽の水質データを保存する水質データ記憶部と、前記水質データと前記画像データと前記送風量とに基づいて深層学習モデルを作成する深層学習モデル作成部と、新たに取得した画像データと水質データと、前記深層学習モデルとから送風量を推定する送風量推定部と、前記推定した送風量と実際の送風量とに基づいて異常を判定する異常判定部と、を備える。
このような発明によれば、水質データと画像データと送風量のデータに基づいて深層学習モデルが作成されるので、データの解析の手順を単純化することができる。深層学習モデルは、自動的にモデルのパラメータを最適化するので、精度の良い送風量を推定でき、異常判定の確度を向上することができる。
The present invention is an abnormality determination system of a processing device provided with a reaction tank and a blower, and is an image data storage unit for storing image data obtained by photographing the reaction tank, and a blower amount data storage for storing the blower amount of the blower. A newly acquired unit, a water quality data storage unit that stores the water quality data of the reaction tank, and a deep learning model creation unit that creates a deep learning model based on the water quality data, the image data, and the air volume. It is provided with an airflow amount estimation unit that estimates the airflow amount from the image data, water quality data, and the deep learning model, and an abnormality determination unit that determines an abnormality based on the estimated airflow amount and the actual airflow amount.
According to such an invention, since the deep learning model is created based on the water quality data, the image data, and the air flow amount data, the procedure of data analysis can be simplified. Since the deep learning model automatically optimizes the parameters of the model, it is possible to estimate the amount of air blown with high accuracy and improve the accuracy of abnormality determination.

本発明の一態様においては、前記画像処理部は、適応的2値化により泡の面積を算出する。
このような構成によれば、泡の面積を精度よく算出することができ、異常判定の確度を向上することができる。
In one aspect of the invention, the image processing unit calculates the area of the foam by adaptive binarization.
According to such a configuration, the area of bubbles can be calculated accurately, and the accuracy of abnormality determination can be improved.

本発明の異常判定の方法は、反応槽と送風機を備えた処理装置の異常判定方法であって、前記反応槽を撮影すること、前期撮影した画像データの泡の面積を算出すること、前記送風機の送風量を測定すること、前記泡の面積と前記送風量とに基づいて回帰モデルを作成すること、新たに撮影した画像データの泡の面積と前記回帰モデルとから送風量を推定すること、前記推定した送風量と実際の送風量とに基づいて異常を判定すること、を含む。
このような発明によれば、画像データと送風量のデータと水質データから回帰モデルを作成し、回帰モデルから推定した送風量と実際の送風量とに基づいて異常の判定が行われるので、送風量だけではなく複数の観点に基づいて、確度の高い異常判定を行うことができる。
The method for determining an abnormality of the present invention is an abnormality determination method for a processing device provided with a reaction tank and a blower, in which the reaction tank is photographed, the area of bubbles in the image data taken in the previous period is calculated, and the blower is used. To measure the amount of air blown, create a regression model based on the area of the bubbles and the amount of air blown, estimate the amount of air blown from the area of bubbles in the newly captured image data and the regression model, It includes determining an abnormality based on the estimated air flow amount and the actual air flow amount.
According to such an invention, a regression model is created from image data, blast volume data, and water quality data, and an abnormality is determined based on the blast volume estimated from the regression model and the actual blast volume. It is possible to perform highly accurate abnormality determination based not only on the air volume but also on a plurality of viewpoints.

本発明によれば、確度の高い異常判定を行うことが可能な異常判定システムおよび異常判定方法を提供することができる。 According to the present invention, it is possible to provide an abnormality determination system and an abnormality determination method capable of performing abnormality determination with high accuracy.

本発明の実施形態に係る異常判定システムを含む全体の構成を示す概略図である。It is a schematic diagram which shows the whole structure including the abnormality determination system which concerns on embodiment of this invention. 本発明の実施形態に係る異常判定システムの構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the abnormality determination system which concerns on embodiment of this invention. 本発明の実施形態に係る画像処理部の画像変換を説明するための画像図である。It is an image diagram for demonstrating the image conversion of the image processing part which concerns on embodiment of this invention. 本発明の実施形態に係る記録されたデータの変換を説明するためのグラフである。It is a graph for demonstrating the conversion of the recorded data which concerns on embodiment of this invention. 本発明の実施形態に係る異常判定システムの構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the abnormality determination system which concerns on embodiment of this invention. 本発明の実施形態に係る異常判定システムの構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the abnormality determination system which concerns on embodiment of this invention. 本発明の実施形態に係る深層学習モデルの一例を説明するための模式図である。It is a schematic diagram for demonstrating an example of the deep learning model which concerns on embodiment of this invention.

(第1実施形態)
以下、添付図面を参照して、本発明の実施の形態について説明する。
図1は、本実施形態に係る異常判定システムを含む全体の構成を示す概略図であって、反応槽2と送風機3を備えた処理装置100の異常判定システム1が示されている。処理装置100は、反応槽2と送風機3に加え、反応槽2に空気を散気する散気装置4、送風機3から散気装置4への空気の流通を開閉するバルブ5、送風機3から散気装置4への空気の送風量を測定する送風量測定機器6、反応槽の水面を撮影するカメラ7を備えている。送風量測定機器6で検知された送風量とカメラ7で撮影された画像データは、異常判定システム1に逐次送信されている。
(First Embodiment)
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
FIG. 1 is a schematic view showing an overall configuration including an abnormality determination system according to the present embodiment, and shows an abnormality determination system 1 of a processing device 100 provided with a reaction tank 2 and a blower 3. In addition to the reaction tank 2 and the blower 3, the processing device 100 includes an air diffuser 4 that diffuses air into the reaction tank 2, a valve 5 that opens and closes the flow of air from the blower 3 to the air diffuser 4, and a blower 3. It is equipped with an air volume measuring device 6 for measuring the amount of air blown to the air device 4, and a camera 7 for photographing the water surface of the reaction tank. The amount of air blown detected by the airflow amount measuring device 6 and the image data taken by the camera 7 are sequentially transmitted to the abnormality determination system 1.

異常判定システム1は、画像データ記憶部8、画像処理部9、泡面積記憶部10、送風量データ記憶部11、回帰モデル作成部12、送風量推定部13、異常判定部14を備えている。異常判定システム1は、例えばパーソナルコンピュータ等の情報処理装置である。画像データ記憶部8、送風量データ記憶部11、および泡面積記憶部10は、上記情報処理装置内外に設けられた半導体メモリや磁気ディスクなどの記憶装置によって実現される。また、画像処理部9、回帰モデル作成部12、送風量推定部13、および異常判定部14は、上記情報処理装置内のCPUやGPUによって実行されるソフトウェア、プログラムであってよい。 The abnormality determination system 1 includes an image data storage unit 8, an image processing unit 9, a bubble area storage unit 10, an air volume data storage unit 11, a regression model creation unit 12, an air flow amount estimation unit 13, and an abnormality determination unit 14. .. The abnormality determination system 1 is an information processing device such as a personal computer. The image data storage unit 8, the air flow amount data storage unit 11, and the bubble area storage unit 10 are realized by storage devices such as a semiconductor memory and a magnetic disk provided inside and outside the information processing device. Further, the image processing unit 9, the regression model creation unit 12, the air flow amount estimation unit 13, and the abnormality determination unit 14 may be software or programs executed by the CPU or GPU in the information processing device.

図1に示すように、反応槽2に流入した汚水は微生物により生物処理され浄化される。このときに微生物が有機物を分解することに伴い増殖し、これが活性汚泥を形成する。好気性微生物で有機物を分解するときには、活性汚泥中の微生物に酸素を供給するため空気を送り込む必要がある。反応槽2内の下部には散気装置4が複数設けられ、送風機3から空気が供給されるようになっている。散気装置4に通じる配管には、風量調整バルブ5が設けられ、そのバルブ5の開閉により送風量を調整する。送風量を調整することにより反応槽2内の溶存酸素量であるDO(Dissolved Oxygen)値が調整され、生物処理の進行が調整される。送風量は送風量測定機器6により常時取得される。 As shown in FIG. 1, the sewage flowing into the reaction tank 2 is biologically treated and purified by microorganisms. At this time, microorganisms proliferate as they decompose organic matter, which forms activated sludge. When decomposing organic matter with aerobic microorganisms, it is necessary to send air to supply oxygen to the microorganisms in activated sludge. A plurality of air diffusers 4 are provided in the lower part of the reaction tank 2 so that air is supplied from the blower 3. An air volume adjusting valve 5 is provided in the pipe leading to the air diffuser 4, and the air volume is adjusted by opening and closing the valve 5. By adjusting the amount of air blown, the DO (Dissolved Oxygen) value, which is the amount of dissolved oxygen in the reaction tank 2, is adjusted, and the progress of biological treatment is adjusted. The blast amount is constantly acquired by the blast amount measuring device 6.

図2は、本実施形態における異常判定システム1の構成をさらに詳細に示す機能ブロック図である。異常判定システム1は、回帰モデル作成部12で作成された回帰モデルのパラメータを記憶する回帰モデルパラメータ記憶部12aをさらに備えている。 FIG. 2 is a functional block diagram showing the configuration of the abnormality determination system 1 in the present embodiment in more detail. The abnormality determination system 1 further includes a regression model parameter storage unit 12a that stores the parameters of the regression model created by the regression model creation unit 12.

図2に示されるように、図1の送風量測定機器6によって測定された送風量は、送風量データ記憶部11に送信され記憶される。図1のカメラ7によって撮影された反応槽2の水面の画像データは、画像データ記憶部8に送信され記憶される。画像データ記憶部8に送信され記憶された画像データは、画像処理部9に送信される。画像処理部9は、後述する動作によって画像データを処理し、反応槽の水面における泡の領域を判別し、泡の領域の面積を算出する。算出された泡の面積は、泡面積記憶部10に送信され記憶される。 As shown in FIG. 2, the blast amount measured by the blast amount measuring device 6 of FIG. 1 is transmitted to and stored in the blast amount data storage unit 11. The image data of the water surface of the reaction tank 2 taken by the camera 7 of FIG. 1 is transmitted to and stored in the image data storage unit 8. The image data transmitted and stored in the image data storage unit 8 is transmitted to the image processing unit 9. The image processing unit 9 processes image data by an operation described later, determines a bubble region on the water surface of the reaction tank, and calculates the area of the bubble region. The calculated bubble area is transmitted to and stored in the bubble area storage unit 10.

送風量データ記憶部11と泡面積記憶部10に記憶された送風量と泡面積のデータは、回帰モデル作成部12に送信される。回帰モデル作成部12は、これら2系統のデータを分析し、泡面積を入力、送風量を出力とする回帰モデルを作成する。作成したモデルのパラメータは、回帰モデルパラメータ記憶部12aに送信され記憶される。 The air volume and bubble area data stored in the air volume data storage unit 11 and the bubble area storage unit 10 are transmitted to the regression model creation unit 12. The regression model creation unit 12 analyzes the data of these two systems, inputs the bubble area, and creates a regression model that outputs the air flow amount. The parameters of the created model are transmitted to and stored in the regression model parameter storage unit 12a.

回帰モデルが作成されると、送風量推定部13は、回帰モデルパラメータ記憶部12aから回帰モデルパラメータを読み出し(矢印a)、新たに取得した画像データから算出された泡面積(矢印b)に基づいて作成された回帰モデルを使用して送風量を推定する。推定された送風量は、異常判定部14に送信される(矢印c)。 When the regression model is created, the air volume estimation unit 13 reads out the regression model parameters from the regression model parameter storage unit 12a (arrow a), and based on the bubble area (arrow b) calculated from the newly acquired image data. Estimate the amount of air blown using the regression model created in. The estimated air volume is transmitted to the abnormality determination unit 14 (arrow c).

異常判定部14では、受信した送風量の推定値と新たに取得された実際の送風量(矢印d)に基づいて異常を判定し、その結果を図示しない異常判定システム1が実装されている情報処理機器のディスプレ等に表示する(矢印e)。異常か否かの判断は、推定された送風量データ(矢印c)、実際の風量データ(矢印d)にそれぞれ上限下限の閾値を設け、値がその閾値内に収まっているかどうか、または、推定された送風量データ(矢印c)と実際の風量データ(矢印d)の差を算出しその値に上限下限の閾値を設け、差がその閾値内に収まっているかどうか、そのいずれかまたは双方を判断基準として、判定してよい。 The abnormality determination unit 14 determines an abnormality based on the estimated value of the received air flow amount and the newly acquired actual air flow amount (arrow d), and the information on which the abnormality determination system 1 (not shown) is implemented. It is displayed on the display of the processing equipment (arrow e). To determine whether or not it is abnormal, the estimated air volume data (arrow c) and the actual air volume data (arrow d) are each provided with upper and lower thresholds, and whether or not the values are within the thresholds or estimated. The difference between the blown air volume data (arrow c) and the actual air volume data (arrow d) is calculated, the upper and lower threshold values are set for the value, and whether or not the difference is within the threshold value, or both of them are determined. Judgment may be made as a judgment criterion.

次に、画像処理部9の動作を詳細に説明する。画像処理部9は、画像データ記録部8に蓄積された画像データを、水面と水面に浮かぶ泡とに画像処理によって区別する。画像処理部9は、泡と区別された部分の画素数の和をとりその和を泡の面積と定義し、泡の量の定量化を可能とする。 Next, the operation of the image processing unit 9 will be described in detail. The image processing unit 9 distinguishes the image data stored in the image data recording unit 8 into a water surface and bubbles floating on the water surface by image processing. The image processing unit 9 takes the sum of the number of pixels of the portion distinguished from the bubble, defines the sum as the area of the bubble, and makes it possible to quantify the amount of the bubble.

反応槽2は、カメラ7で撮影を行うため照明で照らされているが、水面を一様の明るさで照らすことは困難であり、照明の当たり具合に差が生じる可能性がある。この問題は以下に説明する適応的2値化を用いて適切に閾値を設定することで、照明の当たり具合の影響を受けにくくし、水面と泡の区別を可能とする。 The reaction tank 2 is illuminated by lighting because it is photographed by the camera 7, but it is difficult to illuminate the water surface with uniform brightness, and there is a possibility that the lighting condition may differ. This problem is less affected by the lighting condition and makes it possible to distinguish between the water surface and bubbles by appropriately setting the threshold value using the adaptive binarization described below.

以下に、泡の定量化の手順を説明する。
(1)RGBの3チャンネルの取得画像をグレースケール化し、1チャンネル、画素値0~255に変換する。
(2)ノイズ除去のため平滑化フィルタをかける。
(3)適応的2値化により水面を画素値0(黒)、泡を画素値1(白)に変換する。
(4)画像全体の画素値の和をとり、白(泡)の面積を算出する。
ここでは、泡を画素値1としているので、画像全体の画素値の和が泡の面積を表現することとなる。
The procedure for quantifying bubbles will be described below.
(1) The acquired image of 3 channels of RGB is grayscaled and converted into 1 channel and a pixel value of 0 to 255.
(2) Apply a smoothing filter to remove noise.
(3) The water surface is converted to a pixel value of 0 (black) and bubbles are converted to a pixel value of 1 (white) by adaptive binarization.
(4) The area of white (bubbles) is calculated by summing the pixel values of the entire image.
Here, since the bubble has a pixel value of 1, the sum of the pixel values of the entire image expresses the area of the bubble.

次に、図3を参照して、適応的2値化について説明する。図3は、カメラ7により撮影された画像の処理の手順を説明するための図である。図3(A)は、上記の泡の定量化手順(1)(2)を経て得られたグレースケールの画像である。図3(B)に示すように、適応的2値化処理では、注目画素(x,y)はフィルタ(kxl)の画素の領域内の中央に位置する画素である。注目画素(x,y)の閾値σは、フィルタ(kxl)内の画素値の中央値もしくは平均値で設定する。 Next, adaptive binarization will be described with reference to FIG. FIG. 3 is a diagram for explaining a procedure for processing an image taken by the camera 7. FIG. 3A is a grayscale image obtained through the above-mentioned bubble quantification procedures (1) and (2). As shown in FIG. 3B, in the adaptive binarization process, the pixel of interest (x, y) is a pixel located in the center of the pixel region of the filter (kxl). The threshold value σ of the pixel of interest (x, y) is set by the median value or the average value of the pixel values in the filter (kxl).

以下の式[数1]で示されるように、注目画素値I(x,y)がσより大きい場合、2値化画像の画素値D(I(x,y))を1とする。注目画素値I(x,y)がσ以下の場合、2値化画像の画素値D(I(x,y))を0とする。 As shown in the following equation [Equation 1], when the pixel value I (x, y) of interest is larger than σ, the pixel value D (I (x, y)) of the binarized image is set to 1. When the pixel value I (x, y) of interest is σ or less, the pixel value D (I (x, y)) of the binarized image is set to 0.

Figure 2022026110000002
Figure 2022026110000002

図3(C)は、上記の適応的2値化処理を行って変換された2値画像である。適応的2値化は、このように、任意のフィルタサイズを設定し、フィルタ内の画素値の中央値または平均値を閾値として設定するので、照明の当たり具合に影響されず、フィルタ内で相対的に明るい領域(泡)を白と分類することができる。 FIG. 3C is a binary image converted by performing the above adaptive binarization process. In adaptive binarization, the filter size is set arbitrarily and the median or average value of the pixel values in the filter is set as the threshold value, so that it is not affected by the lighting condition and is relative in the filter. A bright area (foam) can be classified as white.

次に、回帰モデル作成部12の動作について詳細に説明する。回帰モデル作成部12では、現在時刻tより過去の直近n個の泡の面積(b(t-n),…,b(t-1))と送風量(a(t-n),…,a(t-1))のデータを用い、泡の面積を入力として送風量を推定する回帰モデルfを作成する。ここで、泡の面積(b(t-n),…,b(t-1))は、泡面積記憶部10から回帰モデル作成部12に読み込まれたデータである。送風量(a(t-n),…,a(t-1))は、送風量データ記憶部11から回帰モデル作成部12に読み込まれたデータである。 Next, the operation of the regression model creation unit 12 will be described in detail. In the regression model creation unit 12, the area (b (tn) , ..., b (t-1) ) of the nearest n bubbles in the past from the current time t and the air volume (a (tn) , ..., Using the data of a (t-1) ), a regression model f that estimates the amount of air blown by using the area of the bubble as an input is created. Here, the bubble area (b (tn) , ..., B (t-1) ) is data read from the bubble area storage unit 10 into the regression model creation unit 12. The blast volume (a (tn) , ..., a (t-1) ) is data read from the blast volume data storage unit 11 into the regression model creation unit 12.

これらのデータに基づいて回帰モデルを作成する際には、外れ値の影響を減らし平均的な値を推定するため、送風量および泡の面積に移動平均を取ることも可能である。移動平均でデータを変換する場合のイメージを図4に示す。図4の横軸は時間経過を表し、縦軸は、送風量、または泡の面積の値を表している。線pで示されたノコギリ波のようなグラフは、は得られたデータを直線で結んだものであり、ノイズの影響が大きい。破線qは移動平均をとったものであり、ノイズの影響を受けにくいことがわかる。この移動平均で変換した値に基づいて回帰モデルを作成することにより、ノイズの影響を低減した精度のよい回帰モデルを作成することが可能となる。回帰モデル作成の方法としては、ラッソ回帰、リッジ回帰などの線形回帰、カーネル回帰などの非線形回帰などの複数の分析手段を挙げることができる。 When creating a regression model based on these data, it is also possible to take a moving average for the air volume and bubble area in order to reduce the effect of outliers and estimate the average value. FIG. 4 shows an image when data is converted by a moving average. The horizontal axis of FIG. 4 represents the passage of time, and the vertical axis represents the value of the air volume or the area of bubbles. The graph like a sawtooth wave shown by the line p is a straight line connecting the obtained data, and is greatly affected by noise. It can be seen that the broken line q is a moving average and is not easily affected by noise. By creating a regression model based on the value converted by this moving average, it is possible to create a highly accurate regression model with the influence of noise reduced. As a method for creating a regression model, a plurality of analytical means such as linear regression such as lasso regression and ridge regression, and nonlinear regression such as kernel regression can be mentioned.

送風量推定部13では、回帰モデル作成部12によって作成された回帰モデルfによって、送風量の推定が行われる。送風量を推定したい画像の泡の量bを入力とし回帰モデル式fを使用し、推定送風量E(a)=f(b)を求める。以下この推定値と実際の送風量に基づいて上述した異常判定が異常判定部14で行われる。 In the blast amount estimation unit 13, the blast amount is estimated by the regression model f created by the regression model creation unit 12. Using the regression model equation f with the amount bt of bubbles in the image for which the amount of air blown is to be estimated as an input, the estimated amount of air blown E (at) = f ( bt ) is obtained. Hereinafter, the above-mentioned abnormality determination is performed by the abnormality determination unit 14 based on this estimated value and the actual air flow amount.

以上述べたように、本実施形態では、反応槽2の水面を撮影した画像データから水面の泡の面積を算出し、泡の面積と送風量データから回帰モデルを作成して、その回帰モデルと新たに取得した画像の泡の面積から送風量を推定し、この推定値と実際の送風量とに基づいて異常判定を行う。すなわち、処理装置100の異常判定が、送風量測定機器6の値だけではなく、多面的なデータに基づいて行うことができるので、異常判定の確度を向上することができる。具体な判定方法として、推定した送風量と実際の送風量の差をとり、設定された閾値によってその差を評価し、異常を判定する。このことにより、判定の精度を向上させることができる。 As described above, in the present embodiment, the area of bubbles on the water surface is calculated from the image data obtained by photographing the water surface of the reaction tank 2, a regression model is created from the area of bubbles and the air flow amount data, and the regression model is used. The amount of air blown is estimated from the area of bubbles in the newly acquired image, and an abnormality is determined based on this estimated value and the actual amount of air blown. That is, since the abnormality determination of the processing device 100 can be performed based not only on the value of the air flow rate measuring device 6 but also on the multifaceted data, the accuracy of the abnormality determination can be improved. As a specific determination method, the difference between the estimated amount of air blown and the actual amount of air blown is taken, the difference is evaluated by a set threshold value, and an abnormality is determined. This makes it possible to improve the accuracy of the determination.

また、反応槽2の画像をカメラ7で撮影し遠隔監視することで、現場の運転状況管理・異常確認のために監視員を巡回させる必要性が減り、作業員の負担を軽減することができる。また、撮影した画像データに基づいて、異常判定が行われるので、監視員の異常の見逃しを解消することができる。反応槽2の泡と水面を適応的2値化により区別し、泡の面積を算出することで泡の発生状況を定量的に把握可能となる。 Further, by taking an image of the reaction tank 2 with the camera 7 and remotely monitoring it, the need to patrol the observer for on-site operation status management and abnormality confirmation can be reduced, and the burden on the worker can be reduced. .. Further, since the abnormality determination is performed based on the captured image data, it is possible to eliminate the oversight of the abnormality of the observer. By distinguishing the bubbles and the water surface of the reaction tank 2 by adaptive binarization and calculating the area of the bubbles, it is possible to quantitatively grasp the generation state of the bubbles.

(第2実施形態)
図5は、本実施形態に係る異常判定システム20の構成を示す機能ブロック図である。本実施形態が、第1実施形態と異なる点は、異常判定システム20が反応槽2の水質データを記憶する水質データ記憶部15を備える点である。その他、第1実施形態と同様の構成要素については、同一の符号を付し、その説明を省略する。
(Second Embodiment)
FIG. 5 is a functional block diagram showing the configuration of the abnormality determination system 20 according to the present embodiment. The difference between the present embodiment and the first embodiment is that the abnormality determination system 20 includes a water quality data storage unit 15 for storing the water quality data of the reaction tank 2. Other components similar to those in the first embodiment are designated by the same reference numerals, and the description thereof will be omitted.

反応槽における泡の量(面積)は送風量のみによって決定される訳ではなく、水質にも影響を受ける。第1実施形態では泡の面積によってのみ送風量を推定するのに対し、本実施形態では新たに加えた水質データ記憶部15に反応槽2のセンサからの水質データを記憶し、これらの情報も活用する。水質データには反応槽2で計測されている活性汚泥浮遊物質や余剰汚泥濃度、流入流量、アンモニウム態窒素、化学的酸素要求量、生物的酸素要求量、総窒素、総リン、亜硝酸態窒素、硝酸態窒素、リン酸態リンなどがある。 The amount (area) of bubbles in the reaction tank is not only determined by the amount of air blown, but is also affected by the water quality. In the first embodiment, the amount of air blown is estimated only by the area of bubbles, whereas in the present embodiment, the water quality data from the sensor of the reaction tank 2 is stored in the newly added water quality data storage unit 15, and these information are also stored. use. The water quality data includes activated sludge suspended matter, excess sludge concentration, inflow flow rate, ammonium nitrogen, chemical oxygen demand, biological oxygen demand, total nitrogen, total phosphorus, and nitrite nitrogen measured in the reaction tank 2. , Nitrate nitrogen, phosphate phosphorus, etc.

本実施形態において、回帰モデル作成部12では泡の量(泡の面積)および水質データを入力とし送風量を推定する回帰モデルを作成する。回帰モデルパラメータ記憶部12aでは回帰モデル作成部12で得られたモデルパラメータを保存する。送風量推定部13では回帰モデルパラメータ記憶部12aに保存されたパラメータにより回帰モデルを作成し新たに取得した泡の量および水質データから送風量を推定する。以下の処理については、第1実施形態と同様の処理を行い、処理装置100の状態の判定が行われる。 In the present embodiment, the regression model creating unit 12 creates a regression model that estimates the amount of air blown by inputting the amount of bubbles (area of bubbles) and water quality data. The regression model parameter storage unit 12a stores the model parameters obtained by the regression model creation unit 12. The blast amount estimation unit 13 creates a regression model from the parameters stored in the regression model parameter storage unit 12a, and estimates the blast amount from the newly acquired bubble amount and water quality data. For the following processing, the same processing as in the first embodiment is performed, and the state of the processing apparatus 100 is determined.

本実施形態では、第1実施形態と同様の作用効果に加えて、反応槽2の泡の量と水質データを用いて回帰モデルを作成するので、より精度良く送風量を推定することができる。 In this embodiment, in addition to the same action and effect as in the first embodiment, a regression model is created using the amount of bubbles in the reaction tank 2 and the water quality data, so that the amount of air blown can be estimated more accurately.

(第3実施形態)
図6は、本実施形態に係る異常判定システム30の構成を示す機能ブロック図である。本実施形態が、第2実施形態と異なる点は、送風量を推定する手段として深層学習を用いる深層学習モデル作成部16と深層学習モデルパラメータ記憶部16aを備える点である。
その他、第2実施形態と同様の構成要素については、同一の符号を付し、その説明を省略する。
(Third Embodiment)
FIG. 6 is a functional block diagram showing the configuration of the abnormality determination system 30 according to the present embodiment. This embodiment differs from the second embodiment in that it includes a deep learning model creating unit 16 and a deep learning model parameter storage unit 16a that use deep learning as a means for estimating the amount of air blown.
Other components similar to those in the second embodiment are designated by the same reference numerals, and the description thereof will be omitted.

第1実施形態では画像処理によって算出した泡の面積、第2実施形態では泡の面積に加え、水質データを用いて送風量の推定を行う。そのため画像処理、回帰モデル作成のため二つの手順が必要である。画像処理部9ではパラメータとして適応的2値化のためのフィルタサイズが必要である。回帰モデル作成部12において回帰モデル作成の際、精度向上のためにはパラメータ調整の試行錯誤が必要になる可能性があり、使用者の負担となることが懸念される。 In the first embodiment, the area of bubbles calculated by image processing is used, and in the second embodiment, the amount of air blown is estimated using water quality data in addition to the area of bubbles. Therefore, two steps are required for image processing and regression model creation. The image processing unit 9 needs a filter size for adaptive binarization as a parameter. When creating a regression model in the regression model creating unit 12, there is a possibility that trial and error of parameter adjustment may be required to improve the accuracy, which may be a burden on the user.

本実施形態では深層学習手法を用いるので、第1実施形態、第2実施形態の画像処理部9、回帰モデル作成部12を代替し、深層学習モデル作成部16において、入力情報と送風量の対応からパラメータを自動的にチューニングする。深層学習においてもフィルタサイズやネットワークの構造のパラメータは存在するが、多くの場合において良好な精度を発揮することが報告されている推奨値を用いることで、使用者が試行錯誤を行う負担を軽減し、精度良く送風量を推定する。 Since the deep learning method is used in this embodiment, the image processing unit 9 and the regression model creation unit 12 of the first embodiment and the second embodiment are replaced, and the deep learning model creation unit 16 corresponds to the input information and the amount of air blown. Automatically tune parameters from. Although there are parameters for filter size and network structure in deep learning, the burden of trial and error on the user is reduced by using the recommended values that have been reported to exhibit good accuracy in many cases. And estimate the air volume accurately.

以下では図6の動作概要について第2実施形態から新たに追加された部分について説明する。
深層学習モデル作成部16では画像データの画素値および水質データを入力とし、送風量を推定する深層学習モデルを作成する。このとき、画像にフィルタをかけて畳み込み処理を行うことも可能である。深層学習モデルの例を図7に示す。3チャンネルの画像データをコンボリューション層およびマックスプーリング層Sで特徴量を抽出する。抽出した画像データの特徴量とアンモニウム態窒素、リン酸態リンなどの水質データを全結合層Uに入れ、送風量を推定する深層学習の重みパラメータの調整を行う。深層学習モデルパラメータ記憶部16aでは、深層学習モデル作成部16で作成したパラメータを保存する。送風量推定部13では深層学習モデルパラメータ記憶部16aに保存されたパラメータにより深層学習モデルを作成し新たに取得した泡の量および水質データから送風量を推定する。以下の処理については、第1実施形態と同様の処理を行い、処理装置100の状態の判定が行われる。
In the following, the operation outline of FIG. 6 will be described with respect to the portion newly added from the second embodiment.
The deep learning model creation unit 16 inputs the pixel value of the image data and the water quality data, and creates a deep learning model for estimating the amount of air blown. At this time, it is also possible to apply a filter to the image to perform the convolution process. An example of a deep learning model is shown in FIG. The feature amount of the image data of 3 channels is extracted by the convolution layer and the max pooling layer S. The feature amount of the extracted image data and the water quality data such as ammonium nitrogen and phosphoric acid phosphorus are put into the fully bonded layer U, and the weight parameter of deep learning for estimating the air flow amount is adjusted. The deep learning model parameter storage unit 16a stores the parameters created by the deep learning model creation unit 16. The blast amount estimation unit 13 creates a deep learning model from the parameters stored in the deep learning model parameter storage unit 16a, and estimates the blast amount from the newly acquired bubble amount and water quality data. For the following processing, the same processing as in the first embodiment is performed, and the state of the processing apparatus 100 is determined.

本実施形態では、第2実施形態の作用効果に加えて、第2実施形態の画像処理部9、回帰モデル作成部12を深層学習モデル作成部16に代替することで、画像処理のパラメータおよび回帰モデルの適切な設定の負担を除くことができる。入力情報(画像および水質データ)と出力情報(送風量)の対応から深層学習モデルのパラメータを自動的にチューニングすることで、精度良く送風量を推定することができる。 In the present embodiment, in addition to the operation and effect of the second embodiment, the image processing unit 9 and the regression model creation unit 12 of the second embodiment are replaced with the deep learning model creation unit 16, so that the parameters and regression of the image processing can be obtained. The burden of proper setting of the model can be removed. By automatically tuning the parameters of the deep learning model from the correspondence between the input information (image and water quality data) and the output information (air volume), the air volume can be estimated accurately.

1 異常判定システム
2 反応槽
3 送風機
8 画像データ記憶部
9 画像処理部
10 泡面積記憶部
11 送風量データ記憶部
12 回帰モデル作成部
13 送風量推定部
14 異常判定部
15 水質データ記憶部
16 深層学習モデル作成部
100 処理装置

1 Abnormality determination system 2 Reaction tank 3 Blower 8 Image data storage unit 9 Image processing unit 10 Bubble area storage unit 11 Blower volume data storage unit 12 Regression model creation unit 13 Blower volume estimation unit 14 Abnormality determination unit 15 Water quality data storage unit 16 Deep layer Learning model creation unit 100 Processing device

Claims (5)

反応槽と送風機を備えた処理装置の異常判定システムであって、
前記反応槽を撮影した画像データを保存する画像データ記憶部と、
前期画像データの泡の面積を算出する画像処理部と、
前記泡の面積を保存する泡面積記憶部と、
前記送風機の送風量を保存する送風量データ記憶部と、
前記泡の面積と前記送風量とに基づいて回帰モデルを作成する回帰モデル作成部と、
新たに取得した泡の面積と前記回帰モデルとから送風量を推定する送風量推定部と、
前記推定した送風量と実際の送風量とに基づいて異常を判定する異常判定部と、を備える異常判定システム。
It is an abnormality judgment system of a processing device equipped with a reaction tank and a blower.
An image data storage unit that stores image data obtained by photographing the reaction tank, and
An image processing unit that calculates the area of bubbles in the previous image data,
A bubble area storage unit that stores the area of the bubbles,
An air volume data storage unit that stores the air volume of the blower, and
A regression model creation unit that creates a regression model based on the area of the bubbles and the amount of air blown.
An air volume estimation unit that estimates the air volume from the newly acquired bubble area and the regression model,
An abnormality determination system including an abnormality determination unit that determines an abnormality based on the estimated air flow amount and the actual air flow amount.
前記反応槽の水質データを保存する水質データ記憶部を備え、
前記回帰モデル作成部は、前記水質データと前記泡の面積と前記送風量とに基づいて回帰モデルを作成し、
前記送風量推定部は、新たに取得した泡の面積と水質データと、前記回帰モデルとから送風量を推定する、請求項1に記載の異常判定システム。
A water quality data storage unit for storing the water quality data of the reaction tank is provided.
The regression model creation unit creates a regression model based on the water quality data, the area of the bubbles, and the amount of air blown.
The abnormality determination system according to claim 1, wherein the blast amount estimation unit estimates the blast amount from the newly acquired bubble area and water quality data and the regression model.
反応槽と送風機を備えた処理装置の異常判定システムであって、
前記反応槽を撮影した画像データを保存する画像データ記憶部と、
前記送風機の送風量を保存する送風量データ記憶部と、
前記反応槽の水質データを保存する水質データ記憶部と、
前記水質データと前記画像データと前記送風量とに基づいて深層学習モデルを作成する深層学習モデル作成部と、
新たに取得した画像データと水質データと、前記深層学習モデルとから送風量を推定する送風量推定部と、
前記推定した送風量と実際の送風量とに基づいて異常を判定する異常判定部と、を備える異常判定システム。
It is an abnormality judgment system of a processing device equipped with a reaction tank and a blower.
An image data storage unit that stores image data obtained by photographing the reaction tank, and
An air volume data storage unit that stores the air volume of the blower, and
A water quality data storage unit that stores the water quality data of the reaction tank,
A deep learning model creation unit that creates a deep learning model based on the water quality data, the image data, and the air volume.
An airflow amount estimation unit that estimates the airflow amount from the newly acquired image data and water quality data, and the deep learning model.
An abnormality determination system including an abnormality determination unit that determines an abnormality based on the estimated air flow amount and the actual air flow amount.
前記画像処理部は、適応的2値化により泡の面積を算出する、請求項1または2に記載の異常判定システム。 The abnormality determination system according to claim 1 or 2, wherein the image processing unit calculates the area of bubbles by adaptive binarization. 反応槽と送風機を備えた処理装置の異常判定方法であって、
前記反応槽を撮影すること、
前期撮影した画像データの泡の面積を算出すること、
前記送風機の送風量を測定すること、
前記泡の面積と前記送風量とに基づいて回帰モデルを作成すること、
新たに撮影した画像データの泡の面積と前記回帰モデルとから送風量を推定すること、
前記推定した送風量と実際の送風量とに基づいて異常を判定すること、を含む異常判定方法。

It is a method of determining an abnormality in a processing device equipped with a reaction tank and a blower.
Taking a picture of the reaction tank,
Calculating the area of bubbles in the image data taken in the previous term,
Measuring the amount of air blown by the blower,
Creating a regression model based on the area of the bubbles and the amount of air blown,
Estimating the amount of air blown from the area of bubbles in the newly captured image data and the regression model,
An abnormality determination method including determining an abnormality based on the estimated air flow amount and the actual air flow amount.

JP2020129418A 2020-07-30 2020-07-30 ABNORMALITY DETECTION SYSTEM AND ABNORMALITY DETECTION METHOD Active JP7484535B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020129418A JP7484535B2 (en) 2020-07-30 2020-07-30 ABNORMALITY DETECTION SYSTEM AND ABNORMALITY DETECTION METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020129418A JP7484535B2 (en) 2020-07-30 2020-07-30 ABNORMALITY DETECTION SYSTEM AND ABNORMALITY DETECTION METHOD

Publications (2)

Publication Number Publication Date
JP2022026110A true JP2022026110A (en) 2022-02-10
JP7484535B2 JP7484535B2 (en) 2024-05-16

Family

ID=80264914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020129418A Active JP7484535B2 (en) 2020-07-30 2020-07-30 ABNORMALITY DETECTION SYSTEM AND ABNORMALITY DETECTION METHOD

Country Status (1)

Country Link
JP (1) JP7484535B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003303017A (en) * 2002-04-11 2003-10-24 Toshiba Corp Plant control support device
JP2004188268A (en) * 2002-12-09 2004-07-08 Toshiba Corp Water quality monitoring/controlling apparatus and sewage treating system
JP2019136664A (en) * 2018-02-13 2019-08-22 株式会社明電舎 Water quality analyzer and water quality analysis method
JP2020110747A (en) * 2019-01-09 2020-07-27 株式会社日立製作所 Water treatment system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003303017A (en) * 2002-04-11 2003-10-24 Toshiba Corp Plant control support device
JP2004188268A (en) * 2002-12-09 2004-07-08 Toshiba Corp Water quality monitoring/controlling apparatus and sewage treating system
JP2019136664A (en) * 2018-02-13 2019-08-22 株式会社明電舎 Water quality analyzer and water quality analysis method
JP2020110747A (en) * 2019-01-09 2020-07-27 株式会社日立製作所 Water treatment system

Also Published As

Publication number Publication date
JP7484535B2 (en) 2024-05-16

Similar Documents

Publication Publication Date Title
US11156997B2 (en) Systems and methods for artificial intelligence-based maintenance of an air conditioning system
JP4762088B2 (en) Process abnormality diagnosis device
ATE389841T1 (en) METHOD FOR DIAGNOSING A CYCLIC SYSTEM
CN116233370B (en) Intelligent video monitoring method based on water quality monitoring
JP2019209271A (en) Water quality determination device and water quality determination method in waste water treatment facility
KR100834187B1 (en) Diagnosis system for biological wastewater treatment process using bayesian networks
CN114180733A (en) Sewage aeration amount detection and aeration control system based on video analysis algorithm
CN116416555A (en) Information processing method, device and equipment based on image analysis
JP7083269B2 (en) Control method and control device for water treatment plants with agglomeration
CN115685792B (en) Wastewater intermittent drain outlet flow triggering method and device based on flow threshold
KR100851520B1 (en) Apparatus and method for inferring atmosphere environment of underground space using statistical analysis
CN109614570B (en) Method and device for predicting section water quality parameter data
US20240271974A1 (en) Information processing apparatus, method, and system
JP2022026110A (en) Abnormality assessment system and abnormality assessment method
JP2023033927A (en) Water treatment state monitoring system and water treatment state monitoring method
CN117853055A (en) Pollution tracing management and control system
CN115293735A (en) Unmanned factory industrial internet platform monitoring management method and system
JP7472707B2 (en) ABNORMALITY DETECTION SYSTEM AND ABNORMALITY DETECTION METHOD
CN118471388B (en) Ship sewage treatment analysis system and method based on data identification
JPH06303965A (en) Microorganism recognition apparatus
JP7507034B2 (en) Information processing device, water treatment system, information processing method and program
CN116562415A (en) Predictive diagnosis system and method for carbon emission of steel
CN115147419B (en) Ocean safety evaluation method and device based on image processing
JPH0636187B2 (en) Image processing device
CN118687639A (en) NB-IoT internet of things intelligent water meter based on ultrasonic wave

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240415

R150 Certificate of patent or registration of utility model

Ref document number: 7484535

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150