JP2018100878A - Liquid surface level extracting method, device, and program - Google Patents
Liquid surface level extracting method, device, and program Download PDFInfo
- Publication number
- JP2018100878A JP2018100878A JP2016246531A JP2016246531A JP2018100878A JP 2018100878 A JP2018100878 A JP 2018100878A JP 2016246531 A JP2016246531 A JP 2016246531A JP 2016246531 A JP2016246531 A JP 2016246531A JP 2018100878 A JP2018100878 A JP 2018100878A
- Authority
- JP
- Japan
- Prior art keywords
- liquid level
- level height
- calculated
- original data
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement Of Levels Of Liquids Or Fluent Solid Materials (AREA)
- Continuous Casting (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、容器内の自由液面を撮影した、時間的に連続する画像に基づいて液面形状を抽出する液面形状の抽出方法、装置及びプログラムに関する。 The present invention relates to a liquid surface shape extraction method, apparatus, and program for extracting a liquid surface shape based on temporally continuous images obtained by photographing a free liquid surface in a container.
鉄鋼製造プロセスにおける鋼の連続鋳造工程においては、鋳型内の湯面挙動が鋳片欠陥に影響することが知られている。
従来から、鋳型内の溶鋼の流動状況、湯面挙動を適正化するのに必要な操業因子を明らかにするために、水モデル実験が用いられている（非特許文献１を参照）。水モデル実験とは、透明なアクリル樹脂板等を用いて鋳型を模した容器を作成し、溶鋼の代わりに水を満たすことで、溶鋼の流動状況、湯面挙動を模擬する実験である。このような水モデル実験において水面高さを定量測定する必要がある場合には、非特許文献１で示されるように、通常、フロートとレーザー変位計を利用し、レーザー変位計の設置位置での水面高さを測定することが行われるが、この場合、レーザー変位計で測定していない位置での水面高さを知ることはできなかった。
In the continuous casting process of steel in the steel manufacturing process, it is known that the molten metal surface behavior in the mold affects the slab defects.
Conventionally, a water model experiment has been used in order to clarify operational factors necessary for optimizing the flow of molten steel in a mold and the behavior of the molten metal surface (see Non-Patent Document 1). The water model experiment is an experiment that simulates the flow state of the molten steel and the molten metal surface behavior by creating a container simulating a mold using a transparent acrylic resin plate or the like and filling water instead of the molten steel. When it is necessary to quantitatively measure the water surface height in such a water model experiment, as shown in Non-Patent Document 1, usually, a float and a laser displacement meter are used, and the laser displacement meter is installed at the installation position. Although the water surface height is measured, in this case, the water surface height at a position not measured by the laser displacement meter could not be known.
このような課題に対し、特許文献１では、液体が注水される水槽を挟んで、一方の側に光源を設置し、他方の側に近赤外ＣＣＤカメラを設置して、近赤外ＣＣＤカメラの撮影画像から輝度比（水槽が空の位置と注水位置との輝度比）を算出し、エッジ処理により液面位置を検出する手法が開示されている。
また、非特許文献２では、ビデオカメラ等の撮影画像から、画像処理技術により曲線を検出する手法が開示されている。非特許文献２では、微分フィルタで山岳の稜線を含むエッジを強調した上で、稜線の連続性を利用し動的計画法により稜線を抽出する手法が提案されている。
In order to solve such a problem, in Patent Document 1, a light source is installed on one side with a water tank into which liquid is poured, and a near-infrared CCD camera is installed on the other side. A method is disclosed in which a luminance ratio (luminance ratio between a position where the water tank is empty and a water injection position) is calculated from the captured image and the liquid level position is detected by edge processing.
Non-Patent Document 2 discloses a method for detecting a curve from a captured image of a video camera or the like by an image processing technique. Non-Patent Document 2 proposes a method for extracting edges by dynamic programming using the continuity of ridge lines after emphasizing edges including mountain ridge lines with a differential filter.
しかしながら、水のような無色透明な液体の気液界面付近は、輝度のコントラストが小さく、特許文献１のような単純なエッジ処理では、画像中のノイズ成分と気液界面を見分けることは困難で、気液界面を見誤ることがある。
また、非特許文献２の手法では、動的計画法による曲線（液面）の抽出の際、画像中のノイズに反応し、液面を誤識別することがある。
このように気液界面を見誤ったり、液面を誤識別したりすると、正確な液体の流動状況、液面挙動を把握できなくなってしまう。
However, in the vicinity of the gas-liquid interface of a colorless and transparent liquid such as water, the brightness contrast is small, and it is difficult to distinguish the noise component and the gas-liquid interface in the image by simple edge processing as in Patent Document 1. The gas-liquid interface may be mistaken.
In the method of Non-Patent Document 2, when extracting a curve (liquid level) by dynamic programming, the liquid level may be erroneously identified in response to noise in the image.
If the gas-liquid interface is mistaken in this way or the liquid level is mistakenly identified, it becomes impossible to grasp the accurate liquid flow state and liquid level behavior.
本発明は上記のような点に鑑みてなされたものであり、容器内の自由液面を撮影した、時間的に連続する画像に基づいて、正確な液体の流動状況、液面挙動を把握できるようにすることを目的とする。 The present invention has been made in view of the above points, and based on temporally continuous images obtained by photographing a free liquid level in a container, it is possible to grasp an accurate liquid flow state and liquid level behavior. The purpose is to do so.
上記の課題を解決するための本発明の要旨は、以下のとおりである。
［１］ 容器内の自由液面を撮影した、時間的に連続する複数の画像に基づいて液面形状を抽出する液面形状の抽出方法であって、
前記時間的に連続する画像を用いて作成される、各時間において水平方向の各位置で液面高さが単一に定まる原データを対象として、
前記原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを含む評価関数で表される数理計画問題を解いて、前記水平方向の各位置、各時刻の液面高さを推定する液面高さ推定ステップを有し、
前記液面高さ推定ステップでは、
ベクトルを用いて表現された前記評価関数のうち、前記液面高さの計算値の時間差分に関する項と、前記液面高さの計算値の空間差分に関する項とを係数行列を用いた二次形式として表現して、前記係数行列を直交行列を用いて対角化する操作を通じて、前記直交行列の各列ベクトルを基底関数とする線形回帰モデルを決定する問題に変換し、
前記直交行列から固有ベクトルを選んで構成した部分行列で前記直交行列を置き換えた前記線形回帰モデルを決定する問題を解くことを特徴とする液面形状の抽出方法。
［２］ 前記対角化による対角行列の固有値を小さい順に所定の数だけ選択し、前記選択した固有値に対応する固有ベクトルを前記直交行列から選んで部分行列とすることを特徴とする［１］に記載の液面形状の抽出方法。
［３］ 前記対角化による対角行列の固有値のうち所定の閾値を下回るものを選択し、前記選択した固有値に対応する固有ベクトルを前記直交行列から選んで部分行列とすることを特徴とする［１］に記載の液面形状の抽出方法。
［４］ 前記液面高さ推定ステップにおいて、前記水平方向及び時間方向において、前記液面高さ推定ステップで用いる原データを間引くことを特徴とする［１］乃至［３］のいずれか一つに記載の液面形状の抽出方法。
［５］ 前記原データと液面高さの計算値との差分に関する項は、ｊを前記水平方向の各位置（ｊ＝１、２、・・・、Ｍ）、ｔを各時刻（ｔ＝１、２、・・・、Ｔ）とし、前記原データにおける液面高さｙj（ｔ）と、液面高さの計算値ｄj（ｔ）との誤差絶対値｜ｙj（ｔ）−ｄj（ｔ）｜の前記水平方向の各位置、各時刻に関する和で表わされることを特徴とする［１］乃至［４］のいずれか一つに記載の液面形状の抽出方法。
［６］ 前記液面高さの計算値の時間差分に関する項は、時間方向における液面高さの１階差分又は２階差分の二乗和で表わされることを特徴とする［１］乃至［５］のいずれか一つに記載の液面形状の抽出方法。
［７］ 前記液面高さの計算値の空間差分に関する項は、空間方向における液面高さの１階差分又は２階差分の二乗和で表わされることを特徴とする［１］乃至［６］のいずれか一つに記載の液面形状の抽出方法。
［８］ 容器内の自由液面を撮影した、時間的に連続する複数の画像に基づいて液面形状を抽出する液面形状の抽出装置であって、
前記時間的に連続する画像を用いて作成される、各時間において水平方向の各位置で液面高さが単一に定まる原データを対象として、
前記原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを含む評価関数で表される数理計画問題を解いて、前記水平方向の各位置、各時刻の液面高さを推定する液面高さ推定手段を備え、
前記液面高さ推定手段は、
ベクトルを用いて表現された前記評価関数のうち、前記液面高さの計算値の時間差分に関する項と、前記液面高さの計算値の空間差分に関する項とを係数行列を用いた二次形式として表現して、前記係数行列を直交行列を用いて対角化する操作を通じて、前記直交行列の各列ベクトルを基底関数とする線形回帰モデルを決定する問題に変換し、
前記直交行列から固有ベクトルを選んで構成した部分行列で前記直交行列を置き換えた前記線形回帰モデルを決定する問題を解くことを特徴とする液面形状の抽出装置。
［９］ 容器内の自由液面を撮影した、時間的に連続する複数の画像に基づいて液面形状を抽出するためのプログラムであって、
前記時間的に連続する画像を用いて作成される、各時間において水平方向の各位置で液面高さが単一に定まる原データを対象として、
前記原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを含む評価関数で表される数理計画問題を解いて、前記水平方向の各位置、各時刻の液面高さを推定する液面高さ推定処理をコンピュータに実行させ、
前記液面高さ推定処理では、
ベクトルを用いて表現された前記評価関数のうち、前記液面高さの計算値の時間差分に関する項と、前記液面高さの計算値の空間差分に関する項とを係数行列を用いた二次形式として表現して、前記係数行列を直交行列を用いて対角化する操作を通じて、前記直交行列の各列ベクトルを基底関数とする線形回帰モデルを決定する問題に変換し、
前記直交行列から固有ベクトルを選んで構成した部分行列で前記直交行列を置き換えた前記線形回帰モデルを決定する問題を解くことを特徴とするプログラム。
The gist of the present invention for solving the above problems is as follows.
[1] A liquid surface shape extraction method for extracting a liquid surface shape based on a plurality of temporally continuous images obtained by photographing a free liquid surface in a container,
For the original data that is created using the temporally continuous image and whose liquid level height is determined to be single at each position in the horizontal direction at each time,
An evaluation function including a term relating to the difference between the original data and the calculated liquid level height, a term relating to the time difference in the calculated liquid level height, and a term relating to the spatial difference in the calculated liquid level height. Solving the mathematical programming problem represented, each level in the horizontal direction, having a liquid level estimation step for estimating the liquid level height at each time,
In the liquid level estimation step,
Of the evaluation function expressed using a vector, a term related to the time difference of the calculated liquid level height and a term related to the spatial difference of the calculated liquid level height are quadratic using a coefficient matrix. Expressed as a form, through an operation of diagonalizing the coefficient matrix using an orthogonal matrix, it is converted into a problem of determining a linear regression model having each column vector of the orthogonal matrix as a basis function,
A liquid surface shape extraction method characterized by solving a problem of determining the linear regression model in which the orthogonal matrix is replaced with a partial matrix configured by selecting an eigenvector from the orthogonal matrix.
[2] A predetermined number of eigenvalues of the diagonal matrix obtained by the diagonalization are selected in ascending order, and an eigenvector corresponding to the selected eigenvalue is selected from the orthogonal matrix as a submatrix [1] 2. The liquid surface shape extraction method according to 1.
[3] The eigenvalues of the diagonal matrix resulting from the diagonalization are selected to be less than a predetermined threshold, and the eigenvector corresponding to the selected eigenvalue is selected from the orthogonal matrix as a submatrix. [1] The liquid surface shape extraction method according to [1].
[4] In any one of [1] to [3], in the liquid level height estimation step, the original data used in the liquid level height estimation step is thinned out in the horizontal direction and the time direction. 2. The liquid surface shape extraction method according to 1.
[5] In terms of the difference between the original data and the calculated liquid level height, j is a position in the horizontal direction (j = 1, 2,..., M), and t is a time (t = 1, 2, ..., and T), the original and the liquid surface height y j (t) in the data, error absolute value of the liquid level of the calculated value d j (t) | y j (t) The method of extracting a liquid surface shape according to any one of [1] to [4], characterized in that −d j (t) | is expressed as a sum of each position in the horizontal direction and each time.
[6] The term relating to the time difference of the calculated liquid level height is expressed by the sum of squares of the first-order difference or second-order difference of the liquid level height in the time direction. [1] to [5] ] The liquid surface shape extraction method according to any one of the above.
[7] The term relating to the spatial difference in the calculated value of the liquid level is expressed by the sum of squares of the first-order difference or the second-order difference of the liquid level height in the spatial direction [1] to [6] ] The liquid surface shape extraction method according to any one of the above.
[8] A liquid surface shape extraction device that extracts a liquid surface shape based on a plurality of temporally continuous images obtained by photographing a free liquid surface in a container,
For the original data that is created using the temporally continuous image and whose liquid level height is determined to be single at each position in the horizontal direction at each time,
An evaluation function including a term relating to the difference between the original data and the calculated liquid level height, a term relating to the time difference in the calculated liquid level height, and a term relating to the spatial difference in the calculated liquid level height. Solving the mathematical programming problem represented, each position in the horizontal direction, comprising a liquid level height estimation means for estimating the liquid level height at each time,
The liquid level estimation means is
Of the evaluation function expressed using a vector, a term related to the time difference of the calculated liquid level height and a term related to the spatial difference of the calculated liquid level height are quadratic using a coefficient matrix. Expressed as a form, through an operation of diagonalizing the coefficient matrix using an orthogonal matrix, it is converted into a problem of determining a linear regression model having each column vector of the orthogonal matrix as a basis function,
An apparatus for extracting a liquid surface shape, comprising: solving a problem of determining the linear regression model in which the orthogonal matrix is replaced with a partial matrix configured by selecting an eigenvector from the orthogonal matrix.
[9] A program for extracting a liquid surface shape based on a plurality of temporally continuous images obtained by photographing a free liquid surface in a container,
For the original data that is created using the temporally continuous image and whose liquid level height is determined to be single at each position in the horizontal direction at each time,
An evaluation function including a term relating to the difference between the original data and the calculated liquid level height, a term relating to the time difference in the calculated liquid level height, and a term relating to the spatial difference in the calculated liquid level height. Solve the mathematical programming problem represented, let the computer execute the liquid level estimation process to estimate the liquid level height at each position in the horizontal direction, each time,
In the liquid level estimation process,
Of the evaluation function expressed using a vector, a term related to the time difference of the calculated liquid level height and a term related to the spatial difference of the calculated liquid level height are quadratic using a coefficient matrix. Expressed as a form, through an operation of diagonalizing the coefficient matrix using an orthogonal matrix, it is converted into a problem of determining a linear regression model having each column vector of the orthogonal matrix as a basis function,
A program for solving a problem of determining the linear regression model in which the orthogonal matrix is replaced with a partial matrix configured by selecting an eigenvector from the orthogonal matrix.
本発明によれば、原データにおいて液面の誤識別が生じていても、その誤識別を取り除いて、時間方向及び空間方向になめらかに変動する液面形状を抽出することができる。これにより、正確な液体の流動状況、液面挙動を把握することが可能となる。 According to the present invention, even if a liquid level is erroneously identified in the original data, it is possible to remove the erroneous identification and extract a liquid level shape that varies smoothly in the time direction and the spatial direction. As a result, it is possible to grasp an accurate liquid flow state and liquid level behavior.
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
図１に、実施形態に係る液面形状の抽出装置１００の機能構成を示す。
図１に示すように、透明なアクリル樹脂板等を用いて鋳型を模した容器２００を作成し、溶鋼の代わりに水２０１を満たす。そして、容器２００の一面に対向させるようにしてカメラ３００を設置し、カメラ３００により、容器２００内の自由液面を撮影した時間的に連続する画像、ここでは動画像を取得する。カメラ３００で撮影する画像は、可視光画像に限らず、赤外線画像等としてもよい。
Preferred embodiments of the present invention will be described below with reference to the accompanying drawings.
FIG. 1 shows a functional configuration of a liquid surface shape extraction apparatus 100 according to the embodiment.
As shown in FIG. 1, a container 200 imitating a mold is made using a transparent acrylic resin plate or the like, and water 201 is filled instead of molten steel. Then, the camera 300 is installed so as to face one surface of the container 200, and a temporally continuous image obtained by photographing the free liquid surface in the container 200, here, a moving image is acquired by the camera 300. An image captured by the camera 300 is not limited to a visible light image, and may be an infrared image or the like.
液面形状の抽出装置１００において、１０１は入力部であり、カメラ３００で撮影した容器２００内の自由液面の動画像データを入力する。 In the liquid surface shape extraction apparatus 100, reference numeral 101 denotes an input unit that inputs moving image data of a free liquid surface in the container 200 photographed by the camera 300.
１０２は原データ作成部であり、入力部１０１で入力する動画像データを用いて、各時間において一水平方向（以下、幅方向と呼ぶ）の各位置で液面高さが単一に定まる原データを作成する。原データは、各時刻での画像について、例えば高さ方向に微分フィルタ演算を行い、その輝度変化のピーク位置を液面と判定する手法で作成される。或いは、原データは、各時刻での画像について、例えば非特許文献２のように動的計画法により曲線を抽出する手法で作成される。 Reference numeral 102 denotes an original data creation unit, which uses moving image data input by the input unit 101, and an original in which the liquid level is determined at a single position at each position in one horizontal direction (hereinafter referred to as the width direction) at each time. Create data. The original data is created by a method that, for example, performs a differential filter operation in the height direction on the image at each time, and determines the peak position of the luminance change as the liquid level. Alternatively, the original data is created by a method of extracting a curve by dynamic programming as in Non-Patent Document 2, for example, for an image at each time.
１０３は液面高さ推定部であり、原データ作成部１０２で作成した原データを対象として、原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを含む評価関数Ｊで表される数理計画問題を解いて、この評価関数Ｊを最小にする幅方向の各位置、各時刻の液面高さを推定する。
本実施形態において、液面高さ推定部１０３は、構築部１０３ａと、変換部１０３ｂと、求解部１０３ｃと、間引き部１０３ｄとを備える。
構築部１０３ａは、原データ作成部１０２で作成した原データを対象として、上述した評価関数Ｊで表される数理計画問題を構築する。
変換部１０３ｂは、ベクトルを用いて表現された評価関数Ｊのうち、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを係数行列Ｌを用いた二次形式として表現して、係数行列Ｌを直交行列Ｖを用いて対角化する操作を通じて、直交行列Ｖの各列ベクトルを基底関数とする線形回帰モデルを決定する問題に変換する。
求解部１０３ｃは、変換部１０３ｂで変換した線形回帰モデルを解く。このとき、直交行列Ｖから固有ベクトルを選んで部分行列を構成し、それを用いて前記線形回帰モデルの近似問題を解く。より詳しくは、前記直交行列Ｖから固有ベクトルを選んで構成した部分行列で直交行列Ｖを置き換えた前記線形回帰モデルを決定する問題を解く。
間引き部１０３ｄは、原データ作成部１０２で作成した原データを間引いて、液面高さを推定するのに用いるデータ点数を減らす。
Reference numeral 103 denotes a liquid level estimation unit for the original data created by the original data creation unit 102, and a term relating to the difference between the original data and the calculated liquid level, and the calculated liquid level height. Solving the mathematical programming problem represented by the evaluation function J including the term relating to the time difference and the term relating to the spatial difference of the calculated liquid level height, each position in the width direction that minimizes this evaluation function J, Estimate the liquid level at the time.
In the present embodiment, the liquid level estimation unit 103 includes a construction unit 103a, a conversion unit 103b, a solution finding unit 103c, and a thinning unit 103d.
The construction unit 103a constructs the mathematical programming problem represented by the evaluation function J described above, targeting the original data created by the original data creation unit 102.
In the evaluation function J expressed using a vector, the conversion unit 103b converts the term relating to the time difference of the calculated liquid level height and the term relating to the spatial difference of the calculated liquid level height to the coefficient matrix L. Expressed as a quadratic form used, the coefficient matrix L is converted into a problem of determining a linear regression model having each column vector of the orthogonal matrix V as a basis function through an operation of diagonalizing the coefficient matrix L using the orthogonal matrix V.
The solving unit 103c solves the linear regression model converted by the converting unit 103b. At this time, an eigenvector is selected from the orthogonal matrix V to form a partial matrix, and the approximate problem of the linear regression model is solved using the partial matrix. More specifically, the problem of determining the linear regression model in which the orthogonal matrix V is replaced with a partial matrix configured by selecting eigenvectors from the orthogonal matrix V is solved.
The thinning unit 103d thins out the original data created by the original data creation unit 102, and reduces the number of data points used for estimating the liquid level height.
１０４は出力部であり、液面高さ推定部１０３で推定した液面高さから得られる液面形状の抽出結果を出力する。例えば液面形状の抽出結果を表示装置に表示したり、ネットワークを介して外部機器に送信したりする。 Reference numeral 104 denotes an output unit that outputs a liquid surface shape extraction result obtained from the liquid surface height estimated by the liquid surface height estimating unit 103. For example, the extraction result of the liquid level shape is displayed on a display device or transmitted to an external device via a network.
以下、実施形態における液面形状の抽出方法の詳細を説明する。
図２は、実施形態に係る液面形状の抽出装置１００による液面形状の抽出方法を示すフローチャートである。
ステップＳ１で、入力部１０１は、カメラ３００で撮影した容器２００内の自由液面の動画像データを入力する。
Details of the liquid surface shape extraction method in the embodiment will be described below.
FIG. 2 is a flowchart illustrating a liquid surface shape extraction method performed by the liquid surface shape extraction apparatus 100 according to the embodiment.
In step S <b> 1, the input unit 101 inputs moving image data of a free liquid level in the container 200 photographed by the camera 300.
ステップＳ２で、原データ作成部１０２は、ステップＳ１で入力する動画像データを用いて原データを作成する。
図３（ａ）に、非特許文献２のように動的計画法により曲線を抽出する手法（以下、単に動的計画法と呼ぶ）により作成した原データの例を示す。また、図４（ａ）に、ある時刻において、原データにおける液面形状４０１を原画像に重ね合わせて示す。
図４（ａ）に示すように、画像中のノイズに反応し、液面をなす曲線を誤識別することが原因で、幅方向の広い範囲（図中の左側の領域Ｘ）で液面の誤識別が生じている。このように広範囲に渡る誤識別は、空間方向のローパスフィルタ処理等で除去することが困難である。
In step S2, the original data creation unit 102 creates original data using the moving image data input in step S1.
FIG. 3A shows an example of original data created by a method of extracting a curve by dynamic programming (hereinafter simply referred to as dynamic programming) as in Non-Patent Document 2. FIG. 4A shows the liquid level shape 401 in the original data superimposed on the original image at a certain time.
As shown in FIG. 4 (a), the liquid level in the wide range (region X on the left side in the figure) in response to noise in the image and misidentified the curve forming the liquid level. Misidentification has occurred. Such misidentification over a wide range is difficult to remove by a low-pass filter process or the like in the spatial direction.
ステップＳ３で、液面高さ推定部１０３の構築部１０３ａは、ステップＳ２で作成した原データを対象として、原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項との重み付き和として評価関数Ｊで表される数理計画問題を構築する。ここでいう数理計画問題の構築とは、あらかじめ設定されている評価関数を含む数理計画問題の枠組みに、ステップＳ２で作成した原データを反映させて定式化することをいう。 In step S3, the construction unit 103a of the liquid level estimation unit 103 targets the original data created in step S2 as a target for the difference between the original data and the calculated liquid level, and the liquid level height A mathematical programming problem expressed by an evaluation function J is constructed as a weighted sum of a term related to the time difference of the calculated value and a term related to the spatial difference of the calculated value of the liquid level. The construction of the mathematical programming problem referred to here means formulation by reflecting the original data created in step S2 in the framework of the mathematical programming problem including a preset evaluation function.
評価関数Ｊとしては、次に述べる式（１）、（２）、（３）がある。
図３（ａ）、図４（ａ）のような原データを対象として、式（１）の評価関数Ｊを最小にする幅方向の各位置ｊ（ｊ＝１、２、・・・、Ｍ）、各時刻ｔ（ｔ＝１、２、・・・、Ｔ）の液面高さｄj（ｔ）を計算する。ｙj（ｔ）は、原データにおける液面高さ（動的計画法により求めた液面高さ）である。
The evaluation function J includes the following expressions (1), (2), and (3).
Each position j (j = 1, 2,..., M) in the width direction that minimizes the evaluation function J of the expression (1) for the original data as shown in FIGS. ), The liquid level height d j (t) at each time t (t = 1, 2,..., T) is calculated. y j (t) is the liquid level in the original data (the liquid level obtained by dynamic programming).
式（１）の第１項は液面高さの推定誤差を表わし、第２項は液面の時間方向変動のなめらかさに関する正則化項を表わし、第３項は液面の幅方向変動のなめらかさに関する正則化項を表わす。式（１）は、液面が時間方向及び空間方向にわたりなめらかに変化することを利用して、液面の時間及び空間変動のなめらかさの制約の下で、再構成誤差を最小化するものである。なお、λ1、λ2は推定値変動のなめらかさを制御する調整パラメータである。 The first term of equation (1) represents the estimation error of the liquid level, the second term represents a regularization term relating to the smoothness of the fluctuation in the time direction of the liquid level, and the third term represents the fluctuation in the width direction of the liquid level. Represents a regularization term for smoothness. Equation (1) uses the fact that the liquid level changes smoothly in the time direction and the spatial direction, and minimizes the reconstruction error under the restriction of the smoothness of the liquid level in time and space. is there. Note that λ 1 and λ 2 are adjustment parameters that control the smoothness of the estimated value fluctuation.
なお、第２項及び第３項のなめらかさに関する正則化項として、式（１）のような時間方向及び幅方向における液面高さの２階差分の二乗和でなく、式（２）のように、時間方向及び幅方向における液面高さの１階差分の二乗和としてもよい。 In addition, as a regularization term regarding the smoothness of the second term and the third term, not the sum of squares of the second-order difference of the liquid surface height in the time direction and the width direction as in the equation (1), but the equation (2) Thus, it is good also as the square sum of the 1st-floor difference of the liquid level height in a time direction and the width direction.
また、動的計画法により求めた液面高さｙj（ｔ）は、大きな外れ値を含む場合がある。このため、観測値とのあてはまりの尺度として二乗誤差｛ｙj（ｔ）−ｄj（ｔ）｝2を選んだ場合に、外れ値に推定結果が引きずられ過ぎるおそれがある。これを防ぐため、観測値とのあてはまりの尺度として、二乗誤差でなく誤差絶対値｜ｙj（ｔ）−ｄj（ｔ）｜を選ぶようにしてもよい。この考え方は、ロバスト統計学の分野においてＬ１損失最小化と呼ばれるものである（非特許文献３を参照）。この場合、式（３）の評価関数Ｊを最小にする液面高さｄj（ｔ）を計算する。 Further, the liquid level height y j (t) obtained by dynamic programming may include a large outlier. For this reason, when the square error {y j (t) −d j (t)} 2 is selected as a measure of the fit with the observed value, the estimation result may be excessively dragged to the outlier. In order to prevent this, an error absolute value | y j (t) −d j (t) | may be selected instead of the square error as a measure of the fit with the observed value. This idea is called L1 loss minimization in the field of robust statistics (see Non-Patent Document 3). In this case, the liquid level height d j (t) that minimizes the evaluation function J of Expression (3) is calculated.
式（３）の評価関数Ｊで表される数理計画問題は、スラック変数ξj（ｔ）を追加し、式（４）のように書き換えることができる。この変換により、誤差絶対値の項を不等式制約に置き換えることができ、２次計画法を用いて解くことができる。 The mathematical programming problem represented by the evaluation function J of Equation (3) can be rewritten as Equation (4) by adding a slack variable ξ j (t). By this conversion, the term of error absolute value can be replaced by an inequality constraint and can be solved using quadratic programming.
ここで、ステップＳ３で構築した数理計画問題のままでは、幅方向の各位置、各時刻の液面高さを決定係数とするため、決定変数が多く、計算量が多くなる。
そこで、ステップＳ４で、液面高さ推定部１０３の変換部１０３ｂは、式（３）の評価関数Ｊのうち、右辺第２項の液面高さの計算値の時間差分に関する項と、右辺第３項の液面高さの計算値の空間差分に関する項とを係数行列Ｌを用いた二次形式として表現して、係数行列Ｌを直交行列Ｖを用いて対角化する操作を通じて、直交行列Ｖの各列ベクトルを基底関数とする線形回帰モデルを解く問題に変換する。
Here, if the mathematical programming problem constructed in step S3 is used as it is, the liquid level height at each position in the width direction and each time is used as the determination coefficient, so that there are many decision variables and a large amount of calculation.
Therefore, in step S4, the conversion unit 103b of the liquid level estimation unit 103 includes, in the evaluation function J of Expression (3), a term related to the time difference between the calculated values of the liquid level height in the second term on the right side, The term relating to the spatial difference of the calculated liquid level height in the third term is expressed as a quadratic form using the coefficient matrix L, and the coefficient matrix L is orthogonalized through the operation of diagonalizing using the orthogonal matrix V. This is converted into a problem for solving a linear regression model in which each column vector of the matrix V is a basis function.
本実施形態では、式（３）の評価関数Ｊで表される数理計画問題を例として説明する。
まず、式（３）の評価関数Ｊを式（５）のようにベクトルを用いて表現する。ここで、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項を、係数行列Ｌを用いた二次形式として表現する。係数行列Ｌは、ＭＴ次の正方行列である。
In the present embodiment, a mathematical programming problem represented by the evaluation function J of Expression (3) will be described as an example.
First, the evaluation function J in Expression (3) is expressed using a vector as in Expression (5). Here, a term related to the time difference of the calculated liquid level height and a term related to the spatial difference of the calculated liquid level height are expressed as a quadratic form using the coefficient matrix L. The coefficient matrix L is an MT-order square matrix.
次に、数理計画問題の規模を小さくすべく、係数行列Ｌの対角化を利用した問題規模の低次元化を行う。係数行列Ｌは対称行列であるので、式（６）のように、直交行列Ｖ（係数行列Ｌの固有ベクトルを並べた行列）を用いて対角化することができる。Λは固有値を並べた対角行列である。式（６）の関係を用いて、式（５）を式（７）のように変換する。 Next, in order to reduce the scale of the mathematical programming problem, the problem scale is reduced using diagonalization of the coefficient matrix L. Since the coefficient matrix L is a symmetric matrix, it can be diagonalized using an orthogonal matrix V (a matrix in which eigenvectors of the coefficient matrix L are arranged) as shown in Equation (6). Λ is a diagonal matrix in which eigenvalues are arranged. Using the relationship of equation (6), equation (5) is transformed into equation (7).
そして、式（８）のように変数ｚを定義した上で、式（７）に式（８）を代入し、あらためて式（９）を評価関数とする数理計画問題に書き換える。これは、直交行列Ｖの各列ベクトルを基底関数とし、変数ｚに関する正則化項を持つ線形回帰モデルの係数ｚを決める問題である。 And after defining the variable z like Formula (8), Formula (8) is substituted into Formula (7), and it rewrites to the mathematical programming problem which uses Formula (9) as an evaluation function anew. This is a problem of determining a coefficient z of a linear regression model having each column vector of the orthogonal matrix V as a basis function and having a regularization term with respect to the variable z.
ステップＳ５で、液面高さ推定部１０３の求解部１０３ｃは、変数の低次元化を図るため、対角行列Λの固有値を小さい順に所定の数であるＫ個だけ選択し、これらＫ個の固有値に対応する固有ベクトルを直交行列ＶからＫ本だけ選ぶことにより、式（１０）のように部分行列Ｖ＾を構成する。なお、Ｖ＾の表記はＶの上に＾が付されているものとする。この部分行列Ｖ＾を用いて、あらためて式（１１）のように変数ｚを定義し、式（１２）の線形回帰モデルを構成する。ここで、式（１２）の線形回帰モデルの係数ｚを決める問題は、式（９）の線形回帰モデルの係数ｚを決める問題の近似問題であると言うことができる。 In step S5, the solution finding unit 103c of the liquid level estimation unit 103 selects only K eigenvalues of the diagonal matrix Λ in order from a small number in order to reduce the variables. By selecting only K eigenvectors corresponding to eigenvalues from the orthogonal matrix V, a submatrix V ^ is constructed as shown in Equation (10). In addition, the notation of V ^ assumes that ^ is attached on V. Using this submatrix V ^, a variable z is defined again as in equation (11), and a linear regression model of equation (12) is constructed. Here, it can be said that the problem of determining the coefficient z of the linear regression model of Expression (12) is an approximation problem of the problem of determining the coefficient z of the linear regression model of Expression (9).
式（１３）の部分行列Λ＾は、対角行列Λから固有値の小さい順にＫ個だけ選び構成した部分行列である。なお、Λ＾の表記はΛの上に＾が付されているものとする。基底数Ｋ＝ＭＴと選べば、式（１２）は式（９）と等価である。 The submatrix Λ ^ in the equation (13) is a submatrix selected from the diagonal matrix Λ in order of K eigenvalues in ascending order. In addition, the notation of [Lambda] ^ assumes that ^ is attached on [Lambda]. If the basis number K = MT is selected, equation (12) is equivalent to equation (9).
式（１２）も、式（４）と同様に２次計画法を用いて解くことができる（式（１４））。λ＝０とすれば、線形計画法を用いて解くこともできる。なお、（Ｖ＾ｚ）jは、Ｖ＾ｚのｊ成分である。 Equation (12) can also be solved using quadratic programming as in Equation (4) (Equation (14)). If λ = 0, it can also be solved using linear programming. (V ^ z) j is the j component of V ^ z.
ステップＳ６で、液面高さ推定部１０３の求解部１０３ｃは、式（１４）の最適解ｚ*を用いて、ｄ*＝Ｖ＾ｚ*により液面高さを計算、推定する。 In step S6, the solution finding unit 103c of the liquid level estimation unit 103 calculates and estimates the liquid level by d * = V ^ z * using the optimum solution z * of the equation (14).
ステップＳ７で、出力部１０４は、ステップＳ３〜Ｓ６で推定した液面高さから得られる液面形状の抽出結果を出力する。出力部１０４から出力する液面形状の抽出結果としては、例えば図３（ｂ）のようにグラフとして出力してもよいし、図４（ｂ）のように原画像に液面形状の再構成結果４０２を重ね合わせて出力してもよいし、単に液面高さの値を出力するようにしてもよい。 In step S7, the output unit 104 outputs the extraction result of the liquid surface shape obtained from the liquid surface height estimated in steps S3 to S6. As the extraction result of the liquid surface shape output from the output unit 104, for example, it may be output as a graph as shown in FIG. 3B, or the liquid surface shape is reconstructed in the original image as shown in FIG. 4B. The result 402 may be superimposed and output, or the value of the liquid level may be simply output.
図３（ｂ）に、図３（ａ）の原データを対象として、式（１４）を解いて得られた、液面形状の抽出結果（再構成結果）を示す。なお、Ｍ＝１７６点、Ｔ＝１２フレーム（０．２ｓｅｃ間）とし、基底数Ｋ＝５０、データ点数は等間隔に半分に間引いた。図３（ｂ）の再構成結果では、図３（ａ）の原データに含まれる異常値が除去され、時間方向及び空間方向になめらかに変動する液面形状を抽出できている。 FIG. 3B shows a liquid surface shape extraction result (reconstruction result) obtained by solving the equation (14) for the original data of FIG. 3A. Note that M = 176 points, T = 12 frames (between 0.2 seconds), base number K = 50, and the number of data points was thinned in half at equal intervals. In the reconstruction result of FIG. 3B, the abnormal value included in the original data of FIG. 3A is removed, and the liquid level shape that smoothly changes in the time direction and the spatial direction can be extracted.
また、図４（ｂ）に、図４（ａ）と同タイミング（１２フレーム中の３フレーム目の画像）において、液面形状の再構成結果４０２を原画像に重ね合わせて示す。図４（ｂ）に示すように、図４（ａ）で生じていた液面の誤識別が取り除かれ、なめらかな液面形状を抽出できていることがわかる。
なお、式（４）を直接解いた場合、計算時間が０．４３ｓｅｃ程度であったのに対して、式（１４）を解いた場合、計算時間は０．２０ｓｅｃ程度まで短縮される。
FIG. 4B shows the reconstruction result 402 of the liquid level shape superimposed on the original image at the same timing as FIG. 4A (the third frame image in 12 frames). As shown in FIG. 4 (b), it can be seen that the misidentification of the liquid level that occurred in FIG. 4 (a) has been removed, and a smooth liquid level shape has been extracted.
When equation (4) is solved directly, the calculation time is about 0.43 sec, whereas when equation (14) is solved, the calculation time is reduced to about 0.20 sec.
図２のフローチャートでは省略したが、さらなる計算量の低減を図るため、間引き部１０３ｄにより、ステップＳ２で作成した原データからデータを間引いて、液面高さを推定するのに用いるデータ点数を減らしてもよい。すなわち、ＭＴ点すべてのデータを利用するのではなく、例えば格子状に配置されたＭＴ点の格子点の間隔が均等になるようにデータを選択するようにすればよい。 Although omitted in the flowchart of FIG. 2, in order to further reduce the amount of calculation, the thinning unit 103d thins the data from the original data created in step S2 to reduce the number of data points used for estimating the liquid level. May be. That is, instead of using the data of all MT points, for example, the data may be selected so that the intervals between the grid points of the MT points arranged in a grid pattern are equal.
また、本実施形態では、係数行列Ｌを直交行列Ｖを用いて対角化する操作において、対角行列Λの固有値を小さい順にＫ個だけ選択する方式を説明したが、それに限定されるものではない。例えば対角行列Λの固有値に対して閾値を設定しておき、それを下回る固有値を選択するようにしてもよい。 In this embodiment, the method of selecting only K eigenvalues of the diagonal matrix Λ in ascending order in the operation of diagonalizing the coefficient matrix L using the orthogonal matrix V has been described. However, the present invention is not limited to this. Absent. For example, a threshold value may be set for the eigenvalue of the diagonal matrix Λ, and an eigenvalue lower than that may be selected.
また、複数の動画像データの解析を行うにあたって、これらの動画像の液面波形挙動の特徴が共通するとみなせる場合には、一部の動画像データを利用し、式（４）のアルゴリズムにより液面形状を計算した上で、その計算結果を用いて基底関数（直交行列Ｖの列ベクトル）の係数を算出し、これら係数の変動（標準偏差等）の大きい順に基底関数を選ぶことができる。ここで選んだ基底関数を用いて式（１４）の数理計画問題を構成し、残りの動画像データの解析に適用してもよい。
また、固有値分解によらず、係数行列Ｌの分解にあたって、特異値分解等を用いた低階数近似法等を用いてもよい。
In addition, when analyzing a plurality of moving image data, if it can be considered that the characteristics of the liquid surface waveform behavior of these moving images are common, a part of the moving image data is used and the liquid equation is expressed by the algorithm of Equation (4). After calculating the surface shape, coefficients of basis functions (column vectors of the orthogonal matrix V) are calculated using the calculation results, and the basis functions can be selected in descending order of variation (standard deviation or the like) of these coefficients. The mathematical programming problem of Expression (14) may be configured using the basis function selected here and applied to the analysis of the remaining moving image data.
Further, a low-order approximation method using singular value decomposition or the like may be used for decomposing the coefficient matrix L without using eigenvalue decomposition.
以下、本実施形態において液面形状を抽出した結果について説明する。
図５（ａ）に、式（３）の評価関数Jによる液面形状と、式（１２）の線形回帰モデルによる液面形状との再構成誤差のＲＭＳＥを、基底数Ｋ、間引きのデータ分割数を変えて比較した結果を示す。分割数＝ｎとは、入力データを（ｎ−１）点飛ばしで等間隔に選ぶことにより、入力データをｎ分割したことを意味する。基底数Ｋの決め方としては、所望の検出精度を達成可能な条件に決めればよい。本水モデル試験の場合、画像解析による液面検出精度が１画素程度であるので、誤差σ＝０．２５[画素]程度（±２σ＜１[画素]）を達成すれば十分である。図５（ａ）の結果から、分割数ｎ＝２に選べば、基底数Ｋ＝５０としても、誤差σ＝０．２５[画素]程度（±２σ＜１[画素]）を達成することがわかる。また、基底数Ｋ＝７０とすれば、分割数ｎ＝３の場合でも、誤差σ＝０．２５を達成することができる。
Hereinafter, the result of extracting the liquid surface shape in the present embodiment will be described.
FIG. 5A shows the RMSE of the reconstruction error between the liquid surface shape by the evaluation function J in Expression (3) and the liquid surface shape by the linear regression model in Expression (12). The results of comparison with different numbers are shown. The number of divisions = n means that the input data is divided into n parts by skipping (n-1) points at equal intervals. As a method of determining the basis number K, it is sufficient to determine a condition that can achieve a desired detection accuracy. In the case of the water model test, since the liquid level detection accuracy by image analysis is about 1 pixel, it is sufficient to achieve an error σ = 0.25 [pixel] (± 2σ <1 [pixel]). From the result of FIG. 5A, if the number of divisions n = 2 is selected, an error of about σ = 0.25 [pixel] (± 2σ <1 [pixel]) can be achieved even when the base number K = 50. Recognize. If the base number K = 70, the error σ = 0.25 can be achieved even when the division number n = 3.
次に、図５（ｂ）に、式（１２）の線形回帰モデルによる液面形状の計算時間を、基底数Ｋ、間引きのデータ分割数を変えて比較した結果を示す。ここでは、撮影時間である０．２ｓｅｃを基準とした相対値をプロットした。所望の精度を達成可能な条件のうち、計算時間が短いことが望ましいが、上記の２つのケースのうちで、基底数＝７０、分割数ｎ＝３の場合は、実行速度が１．２程度であり、基底数＝５０、分割数ｎ＝２の場合は、実行速度が１．０程度となる。いずれの場合も十分な高速化を達成するが、基底数Ｋ＝５０、データ分割数＝２として計算する方が計算速度の面で有利であることがわかる。
このように、本発明は、元の数理計画問題から直接導出される線形回帰モデルを決定する問題の近似問題を解くものであるが、要求される推定精度に応じて適切なパラメータ（規定数Ｋ及び分割数ｎ）を選択することにより、要求される推定精度を満足し、且つ、十分高速に湯面形状の抽出を行うことを可能とするものである。
Next, FIG. 5B shows the result of comparing the calculation time of the liquid surface shape by the linear regression model of Expression (12) by changing the base number K and the data division number of thinning. Here, the relative values with the shooting time of 0.2 sec as a reference are plotted. Of the conditions that can achieve the desired accuracy, it is desirable that the calculation time is short. However, in the above two cases, when the base number = 70 and the division number n = 3, the execution speed is about 1.2. When the base number = 50 and the division number n = 2, the execution speed is about 1.0. In any case, a sufficiently high speed is achieved, but it can be seen that it is more advantageous in terms of calculation speed to calculate with the base number K = 50 and the data division number = 2.
As described above, the present invention solves the approximate problem of the problem of determining the linear regression model directly derived from the original mathematical programming problem, but it uses an appropriate parameter (specified number K) according to the required estimation accuracy. And by selecting the division number n), it is possible to satisfy the required estimation accuracy and to extract the molten metal surface shape at a sufficiently high speed.
以上述べた実施形態では、式（３）の評価関数Ｊで表される数理計画問題を例として説明したが、式（１）、式（２）の評価関数Ｊで表される数理計画問題とする場合も同様である。
式（１）の評価関数Ｊで表される数理計画問題の場合、式（１）の評価関数Ｊを式（１５）のようにベクトルを用いて表現する。なお、式（１５）における係数行列Ｌは、式（５）における係数行列Ｌと同じである。
In the embodiment described above, the mathematical programming problem represented by the evaluation function J of Expression (3) has been described as an example, but the mathematical programming problem represented by the evaluation function J of Expression (1) and Expression (2) The same applies to the case.
In the case of a mathematical programming problem represented by the evaluation function J of Expression (1), the evaluation function J of Expression (1) is expressed using a vector as in Expression (15). Note that the coefficient matrix L in Expression (15) is the same as the coefficient matrix L in Expression (5).
そして、上記実施形態で述べたのと同様に、係数行列Ｌの対角化を利用した問題規模の低次元化を行い、部分行列Ｖ＾を用いて、式（１６）のように変数ｚを定義し、式（１７）の線形回帰モデルを構成する。
式（１７）を変形すると、式（１８）が得られる。式（１８）を解けば、式（１９）が得られる。式（１９）の最適解ｚ*を用いて、ｄ*＝Ｖ＾ｚ*により液面高さを計算、推定する。
Then, as described in the above embodiment, the problem scale is reduced using diagonalization of the coefficient matrix L, and the variable z is set as shown in Expression (16) using the submatrix V ^. Define and construct a linear regression model of equation (17).
When Expression (17) is transformed, Expression (18) is obtained. Solving equation (18) yields equation (19). Using the optimal solution z * of equation (19), the liquid level is calculated and estimated by d * = V ^ z * .
次に、式（２）の評価関数Ｊで表される数理計画問題の場合、式（２）の評価関数Ｊを式（２０）のようにベクトルを用いて表現する。評価関数Ｊのうち、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを係数行列Ｌ〜を用いた二次形式として表現する。なお、Ｌ〜の表記はＬの上に〜が付されているものとする。以降の操作は、式（５）〜式（１４）と同様である。 Next, in the case of a mathematical programming problem represented by the evaluation function J of Expression (2), the evaluation function J of Expression (2) is expressed using a vector as in Expression (20). Of the evaluation function J, a term related to the time difference of the calculated liquid level height and a term related to the spatial difference of the calculated liquid level height are expressed as a secondary form using the coefficient matrix L˜. In addition, the notation of L is assumed to be marked on L. The subsequent operations are the same as those in the equations (5) to (14).
以上述べたように、液面形状の変動は、幅方向、高さ方向及び時間方向の三次元空間においてなめらかな曲面を構成することを見出し、液面の誤識別を含む原データの異常値除去アルゴリズムを構築した。この異常値除去アルゴリズムにより、原データにおいて液面の誤識別が生じていても、その誤識別を取り除いて、時間方向及び空間方向になめらかに変動する液面形状を抽出することができる。
これにより、正確な液体の流動状況、液面挙動を把握することが可能となり、安価なコスト、簡易なセッティングで、連続鋳造機の鋳型を対象とする水モデル実験での水面高さの定量測定ができるようになる。この結果、実機では実施困難な各種実験を可能とし、良好な鋳片品質を可能とする操業因子を明らかにすることができる。
しかも、評価関数Ｊのうち、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを係数行列を用いた二次形式として表現して、係数行列Ｌを直交行列Ｖを用いて対角化する操作を通じて、直交行列Ｖの各列ベクトルを基底関数とする線形回帰モデルを決定する問題に変換し、直交行列Ｖから固有ベクトルを選んで構成した部分行列Ｖ＾で直交行列Ｖを置き換えた前記線形回帰モデルを決定する問題を解くようにしたので、つまり、元の数理計画問題から直接導出される線形回帰モデルを決定する問題の近似問題を解くようにしたので、推定精度を維持しつつ計算量を低減させることができる。
As described above, it has been found that the fluctuation of the liquid surface shape forms a smooth curved surface in the three-dimensional space in the width direction, the height direction, and the time direction. An algorithm was constructed. With this abnormal value removal algorithm, even if a liquid level is erroneously identified in the original data, it is possible to remove the erroneous identification and extract a liquid level shape that varies smoothly in the time direction and the spatial direction.
This makes it possible to ascertain accurate fluid flow conditions and liquid level behavior. Quantitative measurement of water surface height in water model experiments for molds of continuous casting machines at low cost and simple settings. Will be able to. As a result, it is possible to perform various experiments that are difficult to carry out with an actual machine, and to clarify operational factors that enable good slab quality.
Moreover, in the evaluation function J, a term related to the time difference of the calculated liquid level height and a term related to the spatial difference of the calculated liquid level height are expressed as a quadratic form using a coefficient matrix, and the coefficient A part formed by diagonalizing matrix L using orthogonal matrix V to a problem of determining a linear regression model having each column vector of orthogonal matrix V as a basis function and selecting an eigenvector from orthogonal matrix V Since the problem of determining the linear regression model in which the orthogonal matrix V is replaced by the matrix V ^ is solved, that is, the approximation problem of the problem of determining the linear regression model directly derived from the original mathematical programming problem is solved. Therefore, it is possible to reduce the amount of calculation while maintaining the estimation accuracy.
以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、発明の範囲内で変更等が可能である。例えば図１では、液面形状の抽出装置１００において原データを作成するようにしたが、原データは外部で作成するようにして、液面形状の抽出装置１００では、作成済みの原データを入力して、液面高さ推定部１０３で液面高さを推定する構成としてもよい。 As mentioned above, although this invention was demonstrated with various embodiment, this invention is not limited only to these embodiment, A change etc. are possible within the scope of the invention. For example, in FIG. 1, the original data is created by the liquid surface shape extraction device 100. However, the original data is created externally, and the liquid surface shape extraction device 100 inputs the created original data. And it is good also as a structure which estimates a liquid level height in the liquid level height estimation part 103. FIG.
また、本発明は、連続鋳造機の鋳型の水モデル実験に限定されるものではない。例えば電力会社における原油燃料タンクや原子炉溶融プール等におけるスロッシング現象解明を目的として水モデル実験が行われることがあり、このような場合においても本発明は適用可能である。また、容器２００の形状は、用途に合わせたものとすればよい。
さらに、本発明は、水モデル実験に限定されるものではなく、一般に、誤差やノイズを含む動画像から、なめらかな変化を有する自由液面形状を抽出するのに適用可能である。
Further, the present invention is not limited to a water model experiment of a mold for a continuous casting machine. For example, a water model experiment may be performed for the purpose of elucidating the sloshing phenomenon in a crude oil fuel tank or a reactor molten pool in an electric power company, and the present invention can be applied even in such a case. Moreover, what is necessary is just to let the shape of the container 200 match | combine with a use.
Furthermore, the present invention is not limited to the water model experiment, and is generally applicable to extracting a free liquid surface shape having a smooth change from a moving image including errors and noises.
本発明を適用した液面形状の抽出装置は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータ装置により実現される。
また、本発明は、本発明の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータがプログラムを読み出して実行することによっても実現可能である。
The liquid surface shape extraction apparatus to which the present invention is applied is realized by a computer apparatus including a CPU, a ROM, a RAM, and the like, for example.
The present invention also provides software (program) that implements the functions of the present invention to a system or apparatus via a network or various storage media, and the system or apparatus computer reads out and executes the program. It is feasible.
１００：液面形状の抽出装置
１０１：入力部
１０２：原データ作成部
１０３：液面高さ推定部
１０３ａ：構築部
１０３ｂ：変換部
１０３ｃ：求解部
１０３ｄ：間引き部
１０４：出力部
２００：容器
２０１：水
３００：カメラ
DESCRIPTION OF SYMBOLS 100: Liquid surface shape extraction apparatus 101: Input part 102: Original data preparation part 103: Liquid level height estimation part 103a: Construction part 103b: Conversion part 103c: Solution part 103d: Thinning part 104: Output part 200: Container 201 : Water 300: Camera
Claims (9)
前記時間的に連続する画像を用いて作成される、各時間において水平方向の各位置で液面高さが単一に定まる原データを対象として、
前記原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを含む評価関数で表される数理計画問題を解いて、前記水平方向の各位置、各時刻の液面高さを推定する液面高さ推定ステップを有し、
前記液面高さ推定ステップでは、
ベクトルを用いて表現された前記評価関数のうち、前記液面高さの計算値の時間差分に関する項と、前記液面高さの計算値の空間差分に関する項とを係数行列を用いた二次形式として表現して、前記係数行列を直交行列を用いて対角化する操作を通じて、前記直交行列の各列ベクトルを基底関数とする線形回帰モデルを決定する問題に変換し、
前記直交行列から固有ベクトルを選んで構成した部分行列で前記直交行列を置き換えた前記線形回帰モデルを決定する問題を解くことを特徴とする液面形状の抽出方法。 A liquid surface shape extraction method for extracting a liquid surface shape based on a plurality of temporally continuous images obtained by photographing a free liquid surface in a container,
For the original data that is created using the temporally continuous image and whose liquid level height is determined to be single at each position in the horizontal direction at each time,
An evaluation function including a term relating to the difference between the original data and the calculated liquid level height, a term relating to the time difference in the calculated liquid level height, and a term relating to the spatial difference in the calculated liquid level height. Solving the mathematical programming problem represented, each level in the horizontal direction, having a liquid level estimation step for estimating the liquid level height at each time,
In the liquid level estimation step,
Of the evaluation function expressed using a vector, a term related to the time difference of the calculated liquid level height and a term related to the spatial difference of the calculated liquid level height are quadratic using a coefficient matrix. Expressed as a form, through an operation of diagonalizing the coefficient matrix using an orthogonal matrix, it is converted into a problem of determining a linear regression model having each column vector of the orthogonal matrix as a basis function,
A liquid surface shape extraction method characterized by solving a problem of determining the linear regression model in which the orthogonal matrix is replaced with a partial matrix configured by selecting an eigenvector from the orthogonal matrix.
前記時間的に連続する画像を用いて作成される、各時間において水平方向の各位置で液面高さが単一に定まる原データを対象として、
前記原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを含む評価関数で表される数理計画問題を解いて、前記水平方向の各位置、各時刻の液面高さを推定する液面高さ推定手段を備え、
前記液面高さ推定手段は、
ベクトルを用いて表現された前記評価関数のうち、前記液面高さの計算値の時間差分に関する項と、前記液面高さの計算値の空間差分に関する項とを係数行列を用いた二次形式として表現して、前記係数行列を直交行列を用いて対角化する操作を通じて、前記直交行列の各列ベクトルを基底関数とする線形回帰モデルを決定する問題に変換し、
前記直交行列から固有ベクトルを選んで構成した部分行列で前記直交行列を置き換えた前記線形回帰モデルを決定する問題を解くことを特徴とする液面形状の抽出装置。 A liquid surface shape extraction device that extracts a liquid surface shape based on a plurality of temporally continuous images obtained by photographing a free liquid surface in a container,
For the original data that is created using the temporally continuous image and whose liquid level height is determined to be single at each position in the horizontal direction at each time,
An evaluation function including a term relating to the difference between the original data and the calculated liquid level height, a term relating to the time difference in the calculated liquid level height, and a term relating to the spatial difference in the calculated liquid level height. Solving the mathematical programming problem represented, each position in the horizontal direction, comprising a liquid level height estimation means for estimating the liquid level height at each time,
The liquid level estimation means is
Of the evaluation function expressed using a vector, a term related to the time difference of the calculated liquid level height and a term related to the spatial difference of the calculated liquid level height are quadratic using a coefficient matrix. Expressed as a form, through an operation of diagonalizing the coefficient matrix using an orthogonal matrix, it is converted into a problem of determining a linear regression model having each column vector of the orthogonal matrix as a basis function,
An apparatus for extracting a liquid surface shape, comprising: solving a problem of determining the linear regression model in which the orthogonal matrix is replaced with a partial matrix configured by selecting an eigenvector from the orthogonal matrix.
前記時間的に連続する画像を用いて作成される、各時間において水平方向の各位置で液面高さが単一に定まる原データを対象として、
前記原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを含む評価関数で表される数理計画問題を解いて、前記水平方向の各位置、各時刻の液面高さを推定する液面高さ推定処理をコンピュータに実行させ、
前記液面高さ推定処理では、
ベクトルを用いて表現された前記評価関数のうち、前記液面高さの計算値の時間差分に関する項と、前記液面高さの計算値の空間差分に関する項とを係数行列を用いた二次形式として表現して、前記係数行列を直交行列を用いて対角化する操作を通じて、前記直交行列の各列ベクトルを基底関数とする線形回帰モデルを決定する問題に変換し、
前記直交行列から固有ベクトルを選んで構成した部分行列で前記直交行列を置き換えた前記線形回帰モデルを決定する問題を解くことを特徴とするプログラム。 A program for extracting a liquid level shape based on a plurality of temporally continuous images obtained by photographing a free liquid level in a container,
For the original data that is created using the temporally continuous image and whose liquid level height is determined to be single at each position in the horizontal direction at each time,
An evaluation function including a term relating to the difference between the original data and the calculated liquid level height, a term relating to the time difference in the calculated liquid level height, and a term relating to the spatial difference in the calculated liquid level height. Solve the mathematical programming problem represented, let the computer execute the liquid level estimation process to estimate the liquid level height at each position in the horizontal direction, each time,
In the liquid level estimation process,
Of the evaluation function expressed using a vector, a term related to the time difference of the calculated liquid level height and a term related to the spatial difference of the calculated liquid level height are quadratic using a coefficient matrix. Expressed as a form, through an operation of diagonalizing the coefficient matrix using an orthogonal matrix, it is converted into a problem of determining a linear regression model having each column vector of the orthogonal matrix as a basis function,
A program for solving a problem of determining the linear regression model in which the orthogonal matrix is replaced with a partial matrix configured by selecting an eigenvector from the orthogonal matrix.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016246531A JP6737164B2 (en) | 2016-12-20 | 2016-12-20 | Liquid surface shape extraction method, device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016246531A JP6737164B2 (en) | 2016-12-20 | 2016-12-20 | Liquid surface shape extraction method, device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018100878A true JP2018100878A (en) | 2018-06-28 |
| JP6737164B2 JP6737164B2 (en) | 2020-08-05 |
Family
ID=62715250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016246531A Active JP6737164B2 (en) | 2016-12-20 | 2016-12-20 | Liquid surface shape extraction method, device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6737164B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019225454A1 (en) | 2018-05-25 | 2019-11-28 | Ｐｈｃホールディングス株式会社 | Heat insulating structure for cooling device, and cooling device |
| CN113129263A (en) * | 2021-03-17 | 2021-07-16 | 杭州兰亮网络科技有限公司 | Oil level state detection method based on deep learning and electronic equipment thereof |
| CN115457067A (en) * | 2022-11-09 | 2022-12-09 | 乐比(广州)健康产业有限公司 | Nose-clearing and refreshing medicine liquid level detection method |
-
2016
- 2016-12-20 JP JP2016246531A patent/JP6737164B2/en active Active
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019225454A1 (en) | 2018-05-25 | 2019-11-28 | Ｐｈｃホールディングス株式会社 | Heat insulating structure for cooling device, and cooling device |
| CN113129263A (en) * | 2021-03-17 | 2021-07-16 | 杭州兰亮网络科技有限公司 | Oil level state detection method based on deep learning and electronic equipment thereof |
| CN115457067A (en) * | 2022-11-09 | 2022-12-09 | 乐比(广州)健康产业有限公司 | Nose-clearing and refreshing medicine liquid level detection method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6737164B2 (en) | 2020-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10859375B2 (en) | Methods for improving the accuracy of dimensioning-system measurements | |
| US10733751B2 (en) | Displacement detecting apparatus and displacement detecting method | |
| KR20180112064A (en) | Analysis of root cause of process variation in scaterometry measurement | |
| TWI736696B (en) | Imaging overlay metrology method, computer program product, metrology module, and imaging overlay metrology system | |
| JP6737164B2 (en) | Liquid surface shape extraction method, device and program | |
| CN109945802B (en) | Structured light three-dimensional measurement method | |
| JP6879894B2 (en) | Systems and methods for determining the state of flow of an object, as well as non-temporary computer-readable storage media | |
| KR20140045854A (en) | Method and apparatus for monitoring video for estimating gradient of single object | |
| JP2019503751A5 (en) | ||
| JP2022002111A (en) | Manufacturing condition output device, quality management system, and program | |
| CN112734858B (en) | Binocular calibration precision online detection method and device | |
| IT202000016054A1 (en) | METHOD FOR DETERMINING THE CONFIDENCE OF A DISPARITY MAP BY SELF-ADAPTIVE LEARNING OF A NEURAL NETWORK, AND RELATED SENSOR SYSTEM | |
| JP7374868B2 (en) | Information processing device, information processing method and program | |
| JP2015148895A (en) | object number distribution estimation method | |
| JP6278880B2 (en) | Water level measuring device | |
| JP6372217B2 (en) | Method and apparatus for estimating state of molten metal level in continuous casting mold | |
| CN117333860A (en) | Ship water gauge reading method and device based on deep learning | |
| JP6759785B2 (en) | Liquid level shape extraction method, equipment and program | |
| JP6464949B2 (en) | State estimation method, hot water level control method, and state estimation device | |
| Lwin | Parameter estimation in first-order autoregressive model for statistical process monitoring in the presence of data autocorrelation | |
| US20170308994A1 (en) | Method and thermal imaging recording device for generating radiometric images with enhanced resolution in partial areas | |
| JP2018077719A (en) | Fracture analyzer and fracture analysis method | |
| Huot et al. | Data assimilation of satellite images within an oceanographic circulation model | |
| JP5874996B2 (en) | Object motion estimation apparatus, object motion estimation method, and program | |
| TWI721901B (en) | Method for estimating state of liquid level, computer program product, and computer readable recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190805 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200610 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200616 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200629 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6737164 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |