JP2018009847A

JP2018009847A - 液面形状の抽出方法、装置及びプログラム

Info

Publication number: JP2018009847A
Application number: JP2016137867A
Authority: JP
Inventors: 山本　浩貴; Hirotaka Yamamoto; 浩貴山本
Original assignee: Nippon Steel and Sumitomo Metal Corp
Current assignee: Nippon Steel Corp
Priority date: 2016-07-12
Filing date: 2016-07-12
Publication date: 2018-01-18
Anticipated expiration: 2036-07-12
Also published as: JP6759785B2

Abstract

【課題】容器内の自由液面を撮影した、時間的に連続する画像に基づいて、正確な液体の流動状況、液面挙動を把握できるようにする。【解決手段】液面形状の抽出装置１００において、入力部１０１は、カメラ３００で撮影した容器内の自由液面の動画像データを入力する。原データ作成部１０２は、入力部１０１で入力する動画像データを用いて、各時間において一水平方向の各位置で液面高さが単一に定まる原データを作成する。原データは、各時刻での画像について、例えば動的計画法により曲線を抽出する手法で作成される。液面高さ推定部１０３は、原データ作成部１０２で作成した原データを対象として、原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを含む評価関数を構築し、この評価関数を最小にする幅方向の各位置、各時刻の液面高さを推定する。【選択図】図１

Description

本発明は、容器内の自由液面を撮影した、時間的に連続する画像に基づいて液面形状を抽出する液面形状の抽出方法、装置及びプログラムに関する。

鉄鋼製造プロセスにおける鋼の連続鋳造工程においては、鋳型内の湯面挙動が鋳片欠陥に影響することが知られている。
従来から、鋳型内の溶鋼の流動状況、湯面挙動を適正化するのに必要な操業因子を明らかにするために、水モデル実験が用いられている（非特許文献１を参照）。水モデル実験とは、透明なアクリル樹脂板等を用いて鋳型を模した容器を作成し、溶鋼の代わりに水を満たすことで、溶鋼の流動状況、湯面挙動を模擬する実験である。このような水モデル実験において水面高さを定量測定する必要がある場合には、非特許文献１で示されるように、通常、フロートとレーザー変位計を利用し、レーザー変位計の設置位置での水面高さを測定することが行われるが、この場合、レーザー変位計で測定していない位置での水面高さを知ることはできなかった。

このような課題に対し、特許文献１では、液体が注水される水槽を挟んで、一方の側に光源を設置し、他方の側に近赤外ＣＣＤカメラを設置して、近赤外ＣＣＤカメラの撮影画像から輝度比（水槽が空の位置と注水位置との輝度比）を算出し、エッジ処理により液面位置を検出する手法が開示されている。
また、非特許文献２では、ビデオカメラ等の撮影画像から、画像処理技術により曲線を検出する手法が開示されている。非特許文献２では、微分フィルタで山岳の稜線を含むエッジを強調した上で、稜線の連続性を利用し動的計画法により稜線を抽出する手法が提案されている。

特開２００５−２９１８３０号公報

手嶋ら：スラブ高速鋳造時の連鋳鋳型内溶鋼流動におよぼす鋳造条件の影響，鉄と鋼，vol.79，No.5，1992． W. Lie, T. T. Lin, K. Hung, A robust dynamic programming algorithm to extract skyline in images for navigation. Pattern. Recogn. Lett. 26, 221-230 (2005). R.A.Maronna，R.D.Martin，V.J.Yohai：Robust Statistics：Theory and Methods，Wiley，2006．

しかしながら、水のような無色透明な液体の気液界面付近は、輝度のコントラストが小さく、特許文献１のような単純なエッジ処理では、画像中のノイズ成分と気液界面を見分けることは困難で、気液界面を見誤ることがある。
また、非特許文献２の手法では、動的計画法による曲線（液面）の抽出の際、画像中のノイズに反応し、液面を誤識別することがある。
このように気液界面を見誤ったり、液面を誤識別したりすると、正確な液体の流動状況、液面挙動を把握できなくなってしまう。

本発明は上記のような点に鑑みてなされたものであり、容器内の自由液面を撮影した、時間的に連続する画像に基づいて、正確な液体の流動状況、液面挙動を把握できるようにすることを目的とする。

上記の課題を解決するための本発明の要旨は、以下のとおりである。
［１］容器内の自由液面を撮影した、時間的に連続する複数の画像に基づいて液面形状を抽出する液面形状の抽出方法であって、
前記時間的に連続する画像を用いて作成される、各時間において一水平方向の各位置で液面高さが単一に定まる原データを対象として、
前記原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを含む評価関数に基づいて、前記一水平方向の各位置、各時刻の液面高さを推定することを特徴とする液面形状の抽出方法。
［２］前記原データと液面高さの計算値との差分に関する項は、ｊを前記一水平方向の各位置（ｊ＝１、２、・・・、Ｍ）、ｔを各時刻（ｔ＝１、２、・・・、Ｔ）とし、前記原データにおける液面高さｙ_j（ｔ）と、液面高さの計算値ｄ_j（ｔ）との誤差絶対値｜ｙ_j（ｔ）−ｄ_j（ｔ）｜の前記一水平方向の各位置、各時刻に関する和で表わされることを特徴とする［１］に記載の液面形状の抽出方法。
［３］スラック変数を用いて前記誤差絶対値を不等式制約に置き換え、前記評価関数を２次計画法により解くことを特徴とする［２］に記載の液面形状の抽出方法。
［４］前記液面高さの計算値の時間差分に関する項は、時間方向における液面高さの１階差分又は２階差分の二乗和で表わされることを特徴とする［１］乃至［３］のいずれか一つに記載の液面形状の抽出方法。
［５］前記液面高さの計算値の空間差分に関する項は、空間方向における液面高さの１階差分又は２階差分の二乗和で表わされることを特徴とする［１］乃至［４］のいずれか一つに記載の液面形状の抽出方法。
［６］容器内の自由液面を撮影した、時間的に連続する複数の画像に基づいて液面形状を抽出する液面形状の抽出装置であって、
前記時間的に連続する画像を用いて作成される、各時間において一水平方向の各位置で液面高さが単一に定まる原データを対象として、
前記原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを含む評価関数に基づいて、前記一水平方向の各位置、各時刻の液面高さを推定する推定手段を備えたことを特徴とする液面形状の抽出装置。
［７］容器内の自由液面を撮影した、時間的に連続する複数の画像に基づいて液面形状を抽出するためのプログラムであって、
前記時間的に連続する画像を用いて作成される、各時間において一水平方向の各位置で液面高さが単一に定まる原データを対象として、
前記原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを含む評価関数に基づいて、前記一水平方向の各位置、各時刻の液面高さを推定する処理をコンピュータに実行させるためのプログラム。

本発明によれば、原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを含む評価関数に基づいて、一水平方向の各位置、各時刻の液面高さを推定するようにしたので、原データにおいて液面の誤識別が生じていても、その誤識別を取り除いて、時間方向及び空間方向になめらかに変動する液面形状を抽出することができる。これにより、正確な液体の流動状況、液面挙動を把握することが可能となる。

実施形態に係る液面形状の抽出装置の機能構成を示す図である。実施形態に係る液面形状の抽出装置による液面形状の抽出方法を示すフローチャートである。原データと、原データを対象として液面形状を抽出した結果とを示す特性図である。原データにおける液面形状を表わす写真と、原データを対象として抽出した液面形状を表わす写真を示す図である。本発明を適用して液面形状を抽出した結果の例を表わす写真を示す図である。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
図１に、実施形態に係る液面形状の抽出装置１００の機能構成を示す。
図１に示すように、透明なアクリル樹脂板等を用いて鋳型を模した容器２００を作成し、溶鋼の代わりに水２０１を満たす。そして、容器２００の一面に対向させるようにしてカメラ３００を設置し、カメラ３００により、容器２００内の自由液面を撮影した時間的に連続する画像、ここでは動画像を取得する。カメラ３００で撮影する画像は、可視光画像に限らず、赤外線画像等としてもよい。

液面形状の抽出装置１００において、１０１は入力部であり、カメラ３００で撮影した容器２００内の自由液面の動画像データを入力する。

１０２は原データ作成部であり、入力部１０１で入力する動画像データを用いて、各時間において一水平方向（以下、幅方向と呼ぶ）の各位置で液面高さが単一に定まる原データを作成する。原データは、各時刻での画像について、例えば高さ方向に微分フィルタ演算を行い、その輝度変化のピーク位置を液面と判定する手法で作成される。或いは、原データは、各時刻での画像について、例えば非特許文献２のように動的計画法により曲線を抽出する手法で作成される。

１０３は液面高さ推定部であり、原データ作成部１０２で作成した原データを対象として、原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを含む評価関数を構築し、この評価関数を最小にする幅方向の各位置、各時刻の液面高さを推定する。

１０４は出力部であり、液面高さ推定部１０３で推定した液面高さから得られる液面形状の抽出結果を出力する。例えば液面形状の抽出結果を表示装置に表示したり、ネットワークを介して外部機器に送信したりする。

以下、実施形態における液面形状の抽出方法の詳細を説明する。
図２は、実施形態に係る液面形状の抽出装置１００による液面形状の抽出方法を示すフローチャートである。
ステップＳ１で、入力部１０１は、カメラ３００で撮影した容器２００内の自由液面の動画像データを入力する。

ステップＳ２で、原データ作成部１０２は、ステップＳ１で入力する動画像データを用いて原データを作成する。
図３（ａ）に、非特許文献２のように動的計画法により曲線を抽出する手法（以下、単に動的計画法と呼ぶ）により作成した原データの例を示す。また、図４（ａ）に、ある時刻において、原データにおける液面形状４０１を原画像に重ね合わせて示す。
図４（ａ）に示すように、画像中のノイズに反応し、液面をなす曲線を誤識別することが原因で、幅方向の広い範囲（図中の左側の領域Ｘ）で液面の誤識別が生じている。このように広範囲に渡る誤識別は、空間方向のローパスフィルタ処理等で除去することが困難である。

ステップＳ３で、液面高さ推定部１０３は、ステップＳ２で作成した原データを対象として、原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項との重み付き和として評価関数を構築し、この評価関数を最小にする幅方向の各位置、各時刻の液面高さを推定する。
具体的には、図３（ａ）、図４（ａ）のような原データを対象として、式（１）の評価関数を最小にする幅方向の各位置ｊ（ｊ＝１、２、・・・、Ｍ）、各時刻ｔ（ｔ＝１、２、・・・、Ｔ）の液面高さｄ_j（ｔ）を計算する。ｙ_j（ｔ）は、原データにおける液面高さ（動的計画法により求めた液面高さ）である。

式（１）の第１項は液面高さの推定誤差を表わし、第２項は液面の時間方向変動のなめらかさに関する正則化項を表わし、第３項は液面の幅方向変動のなめらかさに関する正則化項を表わす。式（１）は、液面が時間方向及び空間方向にわたりなめらかに変化することを利用して、液面の時間及び空間変動のなめらかさの制約の下で、再構成誤差を最小化するものである。なお、λ₁、λ₂は推定値変動のなめらかさを制御する調整パラメータである。

なお、第２項及び第３項のなめらかさに関する正則化項として、式（１）のような時間方向及び幅方向における液面高さの２階差分の二乗和でなく、式（２）のように、時間方向及び幅方向における液面高さの１階差分の二乗和としてもよい。

また、動的計画法により求めた液面高さｙ_j（ｔ）は、大きな外れ値を含む場合がある。このため、観測値とのあてはまりの尺度として二乗誤差｛ｙ_j（ｔ）−ｄ_j（ｔ）｝²を選んだ場合に、外れ値に推定結果が引きずられ過ぎるおそれがある。これを防ぐため、観測値とのあてはまりの尺度として、二乗誤差でなく誤差絶対値｜ｙ_j（ｔ）−ｄ_j（ｔ）｜を選ぶようにしてもよい。この考え方は、ロバスト統計学の分野においてＬ１損失最小化と呼ばれるものである（非特許文献３を参照）。この場合、式（３）の評価関数を最小にする液面高さｄ_j（ｔ）を計算する。

式（３）の数理計画問題は、スラック変数ξ_j（ｔ）を追加し、式（４）のように書き換えることができる。この変換により、誤差絶対値の項を不等式制約に置き換えることができ、２次計画法を用いて解くことができる。

図３（ｂ）に、図３（ａ）の原データを対象として、式（４）の評価関数を２次計画法を用いて解いて得られた、液面形状の抽出結果（再構成結果）を示す。なお、Ｍ＝１７６点、Ｔ＝１２フレーム（０．２ｓｅｃ間）とした。
図３（ｂ）の再構成結果では、図３（ａ）の原データに含まれる異常値が除去され、時間方向及び空間方向になめらかに変動する液面形状を抽出できている。
なお、この計算にあたり、式（４）の調整パラメータはλ₁＝λ₂＝０．５とした。また、計算量低減のため、幅方向に関して１０点間隔（約１０ｍｍ間隔）に間引いて計算し、得られた計算結果を幅方向に補間し最終的な出力としている。

また、図４（ｂ）に、図４（ａ）と同時刻（１２フレーム中の３フレーム目）において、液面形状の再構成結果４０２を原画像に重ね合わせて示す。図４（ｂ）に示すように、図４（ａ）で生じていた液面の誤識別が取り除かれ、なめらかな液面形状を抽出できていることがわかる。

ステップＳ４で、出力部１０４は、ステップＳ３で推定した液面高さから得られる液面形状の抽出結果を出力する。出力部１０４から出力する液面形状の抽出結果としては、例えば図３（ｂ）のようにグラフとして出力してもよいし、図４（ｂ）のように原画像に液面形状の再構成結果４０２を重ね合わせて出力してもよいし、単に液面高さの値を出力するようにしてもよい。

図５に、本発明を適用して液面形状を抽出した結果の例を表わす写真を示す。Ｔ＝６１フレーム（１．０ｓｅｃ間）とし、計算して得られた液面形状の再構成結果を原画像に重ね合わせた結果を６フレーム毎（０．１ｓｅｃピッチ）に１０枚表示した例である。図５からもわかるように、時間方向及び空間方向になめらかに変動する液面形状を抽出できている。

以上述べたように、液面形状の変動は、幅方向、高さ方向及び時間方向の三次元空間においてなめらかな曲面を構成することを見出し、液面の誤識別を含む原データの異常値除去アルゴリズムを構築した。この異常値除去アルゴリズムにより、原データにおいて液面の誤識別が生じていても、その誤識別を取り除いて、時間方向及び空間方向になめらかに変動する液面形状を抽出することができる。
これにより、正確な液体の流動状況、液面挙動を把握することが可能となり、安価なコスト、簡易なセッティングで、連続鋳造機の鋳型を対象とする水モデル実験での水面高さの定量測定ができるようになる。この結果、実機では実施困難な各種実験を可能とし、良好な鋳片品質を可能とする操業因子を明らかにすることができる。

以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、発明の範囲内で変更等が可能である。例えば図１では、液面形状の抽出装置１００において原データを作成するようにしたが、原データは外部で作成するようにして、液面形状の抽出装置１００では、作成済みの原データを入力して、液面高さ推定部１０３で液面高さを推定する構成としてもよい。

また、本発明は、連続鋳造機の鋳型の水モデル実験に限定されるものではない。例えば電力会社における原油燃料タンクや原子炉溶融プール等におけるスロッシング現象解明を目的として水モデル実験が行われることがあり、このような場合においても本発明は適用可能である。また、容器２００の形状は、用途に合わせたものとすればよい。
さらに、本発明は、水モデル実験に限定されるものではなく、一般に、誤差やノイズを含む動画像から、なめらかな変化を有する自由液面形状を抽出するのに適用可能である。

本発明を適用した液面形状の抽出装置は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータ装置により実現される。
また、本発明は、本発明の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータがプログラムを読み出して実行することによっても実現可能である。

１００：液面形状の抽出装置
１０１：入力部
１０２：原データ作成部
１０３：液面高さ推定部
１０４：出力部
２００：容器
２０１：水
３００：カメラ

Claims

容器内の自由液面を撮影した、時間的に連続する複数の画像に基づいて液面形状を抽出する液面形状の抽出方法であって、
前記時間的に連続する画像を用いて作成される、各時間において一水平方向の各位置で液面高さが単一に定まる原データを対象として、
前記原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを含む評価関数に基づいて、前記一水平方向の各位置、各時刻の液面高さを推定することを特徴とする液面形状の抽出方法。
前記原データと液面高さの計算値との差分に関する項は、ｊを前記一水平方向の各位置（ｊ＝１、２、・・・、Ｍ）、ｔを各時刻（ｔ＝１、２、・・・、Ｔ）とし、前記原データにおける液面高さｙ_j（ｔ）と、液面高さの計算値ｄ_j（ｔ）との誤差絶対値｜ｙ_j（ｔ）−ｄ_j（ｔ）｜の前記一水平方向の各位置、各時刻に関する和で表わされることを特徴とする請求項１に記載の液面形状の抽出方法。
スラック変数を用いて前記誤差絶対値を不等式制約に置き換え、前記評価関数を２次計画法により解くことを特徴とする請求項２に記載の液面形状の抽出方法。
前記液面高さの計算値の時間差分に関する項は、時間方向における液面高さの１階差分又は２階差分の二乗和で表わされることを特徴とする請求項１乃至３のいずれか１項に記載の液面形状の抽出方法。
前記液面高さの計算値の空間差分に関する項は、空間方向における液面高さの１階差分又は２階差分の二乗和で表わされることを特徴とする請求項１乃至４のいずれか１項に記載の液面形状の抽出方法。
容器内の自由液面を撮影した、時間的に連続する複数の画像に基づいて液面形状を抽出する液面形状の抽出装置であって、
前記時間的に連続する画像を用いて作成される、各時間において一水平方向の各位置で液面高さが単一に定まる原データを対象として、
前記原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを含む評価関数に基づいて、前記一水平方向の各位置、各時刻の液面高さを推定する推定手段を備えたことを特徴とする液面形状の抽出装置。
容器内の自由液面を撮影した、時間的に連続する複数の画像に基づいて液面形状を抽出するためのプログラムであって、
前記時間的に連続する画像を用いて作成される、各時間において一水平方向の各位置で液面高さが単一に定まる原データを対象として、
前記原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを含む評価関数に基づいて、前記一水平方向の各位置、各時刻の液面高さを推定する処理をコンピュータに実行させるためのプログラム。