JP2023087562A - 処理装置、処理プログラム及び処理方法 - Google Patents

Abstract

【課題】 流体の属性を解析するのに適した処理装置、処理プログラム及び処理方法を提供する。
【解決手段】 少なくとも一つのプロセッサを具備する処理装置であって、記少なくとも一つのプロセッサが、前記処理装置に含まれるか、前記処理装置に通信インターフェイスを介して接続された撮像装置において撮像された撮像画像の画像データを取得し、取得された画像データに基づいて撮像画像中において流体が存在する流体領域が特定された流体領域特定情報を生成し、前記流体領域特定情報に基づいて特定された前記流体領域に存在する前記流体の属性情報を解析する、ための処理をするように構成された、処理装置が提供される。
【選択図】 図１

Description

本開示は、カメラによって撮像された撮像画像から流体の属性情報を解析するための処理装置、処理プログラム及び処理方法に関する。

従来より、カメラ等によって撮像された画像を学習済みモデルに入力することで当該画像中に含まれる物体を識別することが知られていた。例えば、特許文献１には、カメラで撮像された画像を、所定の物体を検出するように予め学習された第１の識別器に入力することで、画像上において物体を含みかつ所定の形状を有する物体領域を検出するための物体状態識別装置が記載さ入れている。しかし、このような装置においては、形状の変化に乏しい物体の識別がされるのにとどまっていた。

特開２０２１－１２８７０５号公報

そこで、上記のような技術を踏まえ、本開示では、様々な実施形態により、流体の属性情報の解析に適した処理装置、処理プログラム及び処理方法を提供することを目的とする。

本開示の一態様によれば、「少なくとも一つのプロセッサを具備する処理装置であって、前記少なくとも一つのプロセッサが、前記処理装置に含まれるか、前記処理装置に通信インターフェイスを介して接続された撮像装置において撮像された撮像画像の画像データを取得し、取得された画像データに基づいて前記撮像画像中において流体が存在する流体領域が特定された流体領域特定情報を生成し、前記流体領域特定情報に基づいて特定された前記流体領域に存在する前記流体の属性情報を解析する、ための処理をするように構成された、処理装置」が提供される。

本開示の一態様によれば、「処理装置に具備された少なくとも一つのプロセッサにより実行されることにより、前記少なくとも一つのプロセッサを、前記処理装置に含まれるか、前記処理装置に通信インターフェイスを介して接続された撮像装置において撮像された撮像画像の画像データを取得し、取得された画像データに基づいて前記撮像画像中において流体が存在する流体領域が特定された流体領域特定情報を生成し、前記流体領域特定情報に基づいて特定された前記流体領域に存在する前記流体の属性情報を解析する、ように機能させる処理プログラム」が提供される。

本開示の一態様によれば、「処理装置に具備された少なくとも一つのプロセッサにより実行される処理方法であって、前記処理装置に含まれるか、前記処理装置に通信インターフェイスを介して接続された撮像装置において撮像された撮像画像の画像データを取得する段階と、取得された画像データに基づいて前記撮像画像中において流体が存在する流体領域が特定された流体領域特定情報を生成する段階と、前記流体領域特定情報に基づいて特定された前記流体領域に存在する前記流体の属性情報を解析する段階と、を含む処理方法」が提供される。

本開示によれば、流体の属性情報の解析に適した処理装置、処理プログラム及び処理方法を提供することができる。

なお、上記効果は説明の便宜のための例示的なものであるにすぎず、限定的なものではない。上記効果に加えて、又は上記効果に代えて、本開示中に記載されたいかなる効果や当業者であれば明らかな効果を奏することも可能である。

図１は、本開示の一実施形態に係る処理システム１の使用の例を示す図である。 図２は、本開示の一実施形態に係る処理システム１の概略図である。 図３は、本開示の一実施形態に係る処理装置１００の構成を示すブロック図である。 図４は、本開示の一実施形態に係る処理装置１００のメモリ１１３に記憶される画像テーブルを概念的に示す図である。 図５は、本開示の一実施形態に係る処理装置１００において実行される処理フローを示す図である。 図６は、本開示の一実施形態に係る学習済みモデルの生成に係る処理フローを示す図である。 図７は、本開示の一実施形態に係る学習済みモデルの生成に係る処理フローを示す図である。 図８は、本開示の実施形態に係る学習済みモデルの生成に係る処理フローを示す図である。 図９Ａは、本開示の一実施形態に係る処理装置１００で処理される撮像画像の例を示す図である。 図９Ｂは、本開示の一実施形態に係る処理装置１００で処理されるセグメンテーション画像の例を示す図である。 図１０は、本開示の一実施形態に係る処理装置１００から出力される画面の例を示す図である。

添付図面を参照して本開示の様々な実施形態を説明する。なお、図面における共通する構成要素には同一の参照符号が付されている。

１．処理システム１の概要
本開示に係る処理システム１は、例えばカメラ等の撮像装置で撮像された撮像画像中において所定の被写体が存在する領域を特定し、当該領域に存在する被写体の属性情報を解析するために用いられる。当該処理システム１に利用される被写体としては、外部からの圧力が加わることによって容易に変形しうる流体が挙げられる。このような流体の例としては、気体、液体、気体及び液体が混合されたもの及び気体又は液体に微量の固体が混合されたもの等が挙げられる。このような流体は、一般的には粘度を生じ、外側からの力によって動きを生じ、他の物体との境界が一定ではない。

図１は、本開示の一実施形態に係る処理システム１の使用の例を示す図である。具体的には、図１は、処理システム１において利用される流体が被写体として撮像された撮像画像の例を示す図である。図１によると、床面１１、床面１１に置かれたマグネティックスターラー１２、マグネティックスターラー１２上に載置されたコップ１３、コップ１３の内部に注がれた流体１４等が被写体として用いられている。そして、これら被写体をカメラ等で撮像された撮像画像を、本開示に係る処理システム１に適用することによって、撮像画像中において流体１４が存在する領域が特定され、当該領域に存在する流体１４の属性情報が解析される。

なお、本開示において流体とは、上記のとおり気体、液体、気体及び液体が混合されたもの及び気体又は液体に微量の固体が混合されたもの等が挙げられる。このような流体の例としては、水、飲料、ゼリー、化粧品、医薬品、食品、セメント、泡、食用、燃料用、産業用などのオイル等が挙げられる。

また、本開示において属性情報とは、流体の種類、特性、性質等を示す情報であればいずれでもよい。典型的には、流体の分類情報（種類）、粘度、流速、質量、圧力、温度又はそれらの組み合わせが属性情報の例として挙げられる。処理システム１はこれらの属性情報の全てを解析する必要はなく、少なくともいずれか一つが解析できれば良い。

また、本開示において撮像画像としては、一又は複数の動画であってもよいし一又は複数の静止画であってもよい。このような撮像画像を得るために、カメラ等の撮像装置が用いられるが、その動作の一例としては、電源ボタンが押下されると、撮像装置によるスルー画像の取り込みを行い、取り込まれたスルー画像が撮像装置のディスプレイに表示される。その後、使用者によって撮像ボタンが押下されると、一又は複数の静止画像が撮像装置によって撮像され、撮像された画像をディスプレイに表示する。又は、使用者によって撮像ボタンが押下されると、動画の撮像が開始され、その間撮像装置で撮像されている画像がディスプレイに表示される。そして、再度撮像ボタンが押下されると動画の撮像が終了される。このように、一連の動作において、スルー画像や静止画、動画など様々な画像が撮像装置によって撮像され、ディスプレイに表示されるが、撮像画像はこれらのうちの特定の画像のみを意味するのではなく、撮像装置で撮像された画像の全てを含みうる。さらに、本開示において、画像データは撮像画像を所定のデータ形式で示したデータのことを意味するに過ぎず、特定のデータ形式で示されたデータのみを指すものではない。

２．処理システム１の構成
図２は、本開示の一実施形態に係る処理システム１の概略図である。図２によれば、処理システム１は、処理装置１００と、当該処理装置１００に有線又は無線ネットワークを介して通信可能に接続された撮像装置２００とを含む。処理装置１００は、使用者による操作入力を受け付けて、撮像装置２００による撮像を制御する。また、処理装置１００は、撮像装置２００によって撮像された撮像画像を処理して、撮像画像中に流体が存在する領域を特定し、当該流体の属性情報を解析する。

このような撮像装置２００としては典型的にはカメラが挙げられるが、図２に示すように必ずしも処理装置１００と有線又は無線ネットワークを介して接続されている必要はない。例えば、処理装置１００の中の構成要素として備えられた撮像装置２００であっても本開示に係る処理を適切に実行することが可能である。また、撮像装置２００は、それ単独で存在している必要はなく他の装置と組み合わされて存在してもよい。例えば、流体、流体を含む製品又は流体を材料とする製品を製造するための製造ライン装置中に当該撮像装置２００を配置させることも可能である。

図３は、本開示の一実施形態に係る処理装置１００の構成を示すブロック図である。図３によると、処理装置１００は、出力インターフェイス１１１、プロセッサ１１２、メモリ１１３、入力インターフェイス１１５及び通信インターフェイス１１４を含む。これらの各構成要素は、互いに、制御ライン及びデータラインを介して互いに電気的に接続される。なお、処理装置１００は、図３に示す構成要素のすべてを備える必要はなく、一部を省略して構成することも可能であるし、他の構成要素を加えることも可能である。例えば、処理システム１は、各構成要素を駆動するためのバッテリ等を含むことが可能である。

また、このような処理装置１００としては、ラップトップＰＣ、デスクトップＰＣ、スマートフォン、タブレット等が利用可能である。ただし、これらに限らず他の装置であっても好適に処理装置１００として利用することが可能である。また、処理装置１００は、全ての処理を処理装置１００自体が実行する必要はなく、一部の処理を他の装置と一体となって実行することも可能である。例えば、学習済みアルゴリズムによる解析処理などをクラウドサーバ装置において共同して実行することも可能であり、このような場合は当該装置を含めて処理装置１００ということもある。

まず、プロセッサ１１２は、メモリ１１３に記憶されたプログラムに基づいて処理装置１００の他の構成要素の制御を行う制御部として機能する。プロセッサ１１２は、メモリ１１３に記憶されたプログラムに基づいて、撮像装置２００から撮像画像の画像データを取得し、流体の属性情報の解析に係る処理を制御する。具体的には、プロセッサ１１２は、処理装置１００に含まれるか通信インターフェイス１１４を介して接続された撮像装置２００において撮像された撮像画像の画像データを取得する処理、学習済み流体領域特定モデルに撮像画像の画像データを入力する処理、取得された画像データに基づいて撮像画像中において流体が存在する流体領域が特定された流体領域特定情報を生成する処理、流体領域特定情報に基づいて流体領域に存在する流体の分類情報を解析する処理、解析された分類情報に基づいて流体領域に存在する流体の特性情報を解析する処理などを、メモリ１１３に記憶されたプログラムに基づいて実行する。プロセッサ１１２は、主に一又は複数のプロセッサで構成されてもよく、このようなプロセッサとしては、ＣＰＵ、ＧＰＵやＦＰＧＡなどを組み合わせてもよい。

メモリ１１３は、ＲＡＭ、ＲＯＭ、不揮発性メモリ、ＨＤＤ等から構成され、記憶部として機能する。メモリ１１３は、本実施形態に係る処理装置１００の様々な制御のための指示命令をプログラムとして記憶する。具体的には、メモリ１１３は、処理装置１００に含まれるか通信インターフェイス１１４を介して接続された撮像装置２００において撮像された撮像画像の画像データを取得する処理、学習済み流体領域特定モデルに撮像画像の画像データを入力する処理、取得された画像データに基づいて撮像画像中において流体が存在する流体領域が特定された流体領域特定情報を生成する処理、流体領域特定情報に基づいて流体領域に存在する流体の分類情報を解析する処理、解析された分類情報に基づいて流体領域に存在する流体の特性情報を解析する処理などプロセッサ１１２が実行するためのプログラムを記憶する。また、メモリ１１３は、当該プログラムのほかに、撮像装置２００で撮像された撮像画像の画像データや、当該画像を管理するための画像テーブルなどを記憶する。また、メモリ１１３は、撮像画像の解析に用いられる学習済みセグメンテーション判定モデル、学習済み特性解析モデル、学習済み流体分類モデル、学習済み特性解析モデル等の各学習済みモデルに係るプログラムを記憶する。

入力インターフェイス１１５は、処理装置１００に対する使用者の指示入力を受け付ける入力部として機能する。入力インターフェイス１１５の一例としては、撮像装置２００において被写体を撮像するための指示を送信する「撮像ボタン」、各種選択を行うための「確定ボタン」、前画面に戻ったり入力した確定操作をキャンセルするための「戻る／キャンセルボタン」、出力インターフェイス１１１を介してディスプレイに表示されたポインタ等の移動をするための十字キーボタン、処理装置１００の電源のオンオフをするためのオン・オフキー、様々な文字を入力するための文字入力キーボタン等の物理キーボタンが挙げられる。なお、入力インターフェイス１１５には、出力インターフェイス１１１として機能するディスプレイに重畳して設けられ、ディスプレイの表示座標系に対応する入力座標系を有するタッチパネルを用いることも可能である。この場合、ディスプレイに上記物理キーに対応するアイコンが表示され、タッチパネルを介して使用者が指示入力を行うことで、各アイコンに対する選択が行われる。タッチパネルによる使用者の指示入力の検出方式は、静電容量式、抵抗膜式などいかなる方式であってもよい。入力インターフェイス１１５は、常に処理装置１００に物理的に備えられる必要はなく、有線や無線ネットワークを介して必要に応じて接続されてもよい。

出力インターフェイス１１１は、撮像装置２００によって撮像された撮像画像、処理装置１００で処理されたセグメンテーション画像、解析された流体の属性情報等を出力するための出力部として機能する。出力インターフェイス１１１の一例としては、液晶パネル、有機ＥＬディスプレイ又はプラズマディスプレイ等から構成されるディスプレイが挙げられる。しかし、必ずしも処理装置１００そのものにディスプレイが備えられている必要はない。例えば、有線又は無線ネットワークを介して処理装置１００と接続可能なディスプレイ等と接続するためのインターフェイスが、当該ディスプレイ等に表示データを出力する出力インターフェイス１１１として機能することも可能である。

通信インターフェイス１１４は、有線又は無線ネットワークを介して接続された撮像装置２００に対して撮像開始などに関連する各種コマンドや撮像装置２００で撮像された撮像画像の画像データを送受信するための通信部として機能する。通信インターフェイス１１４の一例としては、ＵＳＢ、ＳＣＳＩなどの有線通信用コネクタや、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線などの無線通信用送受信デバイスや、プリント実装基板やフレキシブル実装基板用の各種接続端子など、様々なものが挙げられる。

また、具体的に図示はしていないものの、撮像装置２００は、カメラ、光源、プロセッサ、メモリ、表示パネル、入力インターフェイス及び通信インターフェイス等を含む。これらの各構成要素は、互いに、制御ライン及びデータラインを介して互いに電気的に接続される。なお、撮像装置２００は、これらの構成要素のすべてを備える必要はなく、一部を省略して構成することも可能であるし、他の構成要素を加えることも可能である。

撮像装置２００のうち、カメラは、被写体であるに反射した反射光を検出して被写体画像を生成する撮像部として機能する。カメラは、その光を検出するために、一例としてＣＭＯＳイメージセンサと、所望の機能を実現するためのレンズ系と駆動系を備える。イメージセンサは、ＣＭＯＳイメージセンサに限らず、ＣＣＤイメージセンサ等の他のセンサを用いることも可能である。

光源は、処理装置１００又は撮像装置２００からの指示によって駆動され、口腔内に光を照射するための光源部として機能する。光源は、一又は複数の光源を含む。本実施形態においては、光源は、一又は複数のＬＥＤから構成され、各ＬＥＤから所定の周波数帯域を有する光が口腔方向に照射される。光源には、一例としては、紫外光帯域、可視光帯域、赤外光帯域の中から所望の帯域を有する光、又はそれらの組み合わせが用いられる。

プロセッサは、メモリに記憶されたプログラムに基づいて撮像装置２００の他の構成要素の制御を行う制御部として機能する。具体的は、プロセッサは、メモリに記憶されたプログラムに基づいて、カメラの駆動、光源の駆動を制御するとともに、カメラによって撮像された撮像画像や撮像における撮像条件等のメモリへの記憶を制御する。また、プロセッサは、メモリに記憶された撮像画像の表示パネルへの出力や、処理装置１００への送信を制御する。プロセッサは、主に一又は複数のプロセッサにより構成され、このようなプロセッサとしてはＣＰＵが一例として用いられる。

メモリは、ＲＡＭ、ＲＯＭ、不揮発性メモリ、ＨＤＤ等から構成され、記憶部として機能する。メモリは、撮像装置２００の様々な制御のための指示命令をプログラムとして記憶する。また、メモリは、当該プログラムのほかに、カメラで撮像された撮像画像などを記憶する。

表示パネルは、撮像装置２００によって撮像された被写体画像を表示するための表示部として機能する。表示パネルは、液晶パネルによって構成されるが、液晶パネルに限らず、有機ＥＬディスプレイやプラズマディスプレイ等から構成されていてもよい。

入力インターフェイスは、処理装置１００及び撮像装置２００に対する使用者の指示入力を受け付ける入力部として機能する。入力インターフェイス２１０の一例としては、撮像装置２００による録画の開始・終了を指示するための「撮像ボタン」、撮像装置２００の電源のオンオフをするための「電源ボタン」、各種選択を行うための「確定ボタン」、前画面に戻ったり入力した確定操作をキャンセルするための「戻る／キャンセルボタン」、表示パネルに表示されたアイコン等の移動をするための十字キーボタン等の物理キーボタンが挙げられる。なお、これらの各種ボタン・キーは、物理的に用意されたものであってもよいし、表示パネルにアイコンとして表示され、表示パネルに重畳して入力インターフェイスとして配置されたタッチパネル等を用いて選択可能にしたものであってもよい。タッチパネルによる使用者の指示入力の検出方式は、静電容量式、抵抗膜式などいかなる方式であってもよい。

通信インターフェイスは、撮像装置２００及び／又は他の装置と情報の送受信を行うための通信部として機能する。通信インターフェイスの一例としては、ＵＳＢ、ＳＣＳＩなどの有線通信用コネクタや、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線などの無線通信用送受信デバイスや、プリント実装基板やフレキシブル実装基板用の各種接続端子など、様々なものが挙げられる。

さらに、処理システム１は、図示はしないものの、各種センサ装置を含むことが可能である。このようなセンサ装置としては、被写体に対して加えられる圧力、被写体に対して加えられる重力、被写体の表面状態、被写体が置かれている周囲の温度等が測定可能なものであればいずれでもよい。具体的には、被写体の表面状態を解析する画像センサ、被写体の周辺温度を測定するための温度センサ、被写体の内部の温度を測定するための温度センサ、圧力センサ、距離センサ又はこれらの組み合わせ等が挙げられる。センサ装置は、センサ装置自体が単独で存在し、測定された出力値を処理装置１００に送信するようにしてもよい。また、センサ装置は処理装置１００又は撮像装置２００の構成要素の一つとしてその内部に備えられ、測定された出力値を処理装置１００のプロセッサ１１２で処理可能に送信するようにしてもよい。

３．処理装置１００のメモリ１１３に記憶される情報
図４は、本開示の一実施形態に係る処理装置１００のメモリ１１３に記憶される画像テーブルを概念的に示す図である。画像テーブルに記憶される情報は、処理装置１００のプロセッサ１１２の処理の進行に応じて随時更新して記憶される。

図４によれば、画像テーブルには、画像ＩＤ情報に対応付けて、画像データ、撮像条件情報、撮像環境情報、セグメンテーション画像データ、分類情報、特性情報等が記憶される。「画像ＩＤ情報」は、撮像装置２００で撮像された各撮像画像を特定するための情報である。画像ＩＤ情報は、撮像装置２００において新たな撮像画像が撮像されるごと、又は処理装置１００で新たな撮像画像が取得されるごとに生成されえる情報である。「画像データ」は、撮像装置２００で撮像された撮像画像の画像データそのものの情報又はその格納先を特定する情報である。「撮像条件情報」は、撮像装置２００において撮像画像が撮像された時の撮像条件を示す情報である。このような撮像条件情報としては、撮像画像を撮像したときの絞り値、シャッタースピード、ＩＳＯ感度、露出、ホワイトバランス又はそれらの組み合わせが挙げられる。当該撮像条件情報は、撮像装置２００において撮像時の条件が記憶され、撮像装置２００から撮像画像の画像データを受信する際に一緒に取得される。なお、撮像装置２００では、このような撮像条件は自動で設定されることも可能であるし、処理装置１００又は撮像装置２００において受け付けられた使用者や他の使用者からの指示入力に応じて設定されることも可能である。「撮像環境情報」は、撮像装置２００において撮像画像が撮像された時の被写体自体又は被写周辺の環境に関する情報である。このような撮像環境情報としては、各種センサ装置で測定された出力値であり、圧力（気圧）、被写体に対して加えられる重力、被写体の表面状態、被写体が置かれている周囲の温度、被写体までの距離の情報が挙げられる。撮像環境情報は、撮像装置２００で撮像指示が受け付けられるのに同期して各種センサにも測定指示が受け付けられ、各種センサにおいて測定される。そして、測定された出力値は、通信インターフェイス１１４を介して処理装置１００に取得される。

「セグメンテーション画像データ」は取得された撮像画像の画像データを学習済みセグメンテーション判定モデルに入力した結果得られる画像データである。一例としては、流体が存在する流体領域、流体領域以外のその他の領域、及びこれらの境界となる境界領域とをセグメンテーション（区画）した結果に色情報を付加して、各領域を識別可能にした画像データである。「分類情報」は、流体の属性情報の一つであり、撮像画像の画像データとセグメンテーション画像データを学習済み流体分類モデルに入力した結果得られる流体の種類を示す情報である。このような流体の種類としては、水、飲料、ゼリー、化粧品、医薬品、食品、セメント、泡、食用、燃料用、産業用などのオイル等が挙げられる。「特性情報」は、流体の属性情報の一つであり、撮像画像の画像データ、セグメンテーション画像データ及び分類情報を学習済み特性解析モデルに入力した結果得られる流体の特性を示す情報である。このような流体の特性情報としては、粘度、流速、質量、圧力、温度等が挙げられる。

４．処理装置１００で実行される処理フロー
図５は、本開示の一実施形態に係る処理装置１００において実行される処理フローを示す図である。具体的には、図５は、処理装置１００において撮像装置２００から撮像画像が取得され属性情報の解析を行いその結果を出力するまでの処理フローを示す図である。当該処理フローは、主に処理装置１００のプロセッサ１１２がメモリ１１３に記憶されたプログラムを読み出して実行することにより行われる。

図５によると、当該処理フローの実行の前に、プロセッサ１１２は、撮像装置２００において撮像された被写体の撮像画像の画像データを、通信インターフェイス１１４を介して受信し、メモリ１１３の画像テーブルに画像ＩＤ情報と対応付けて記憶する。また、このとき、撮像装置２００における撮像と同期して測定された各種センサ装置から測定された出力値を、通信インターフェイス１１４を介して受信し、メモリの画像テーブルに画像ＩＤ情報と対応付けて記憶する。さらに、撮像装置２００において撮像画像が撮像されたときの撮像条件情報を、通信インターフェイス１１４を介して受信し、メモリの画像テーブルに画像ＩＤ情報と対応付けて記憶する。

ここで、図９Ａは、本開示の一実施形態に係る処理装置１００で処理される撮像画像の例を示す図である。具体的には、図９Ａは、撮像装置２００で撮像された撮像画像の一例を示す図である。図９Ａによると、床面１１、床面１１に置かれたマグネティックスターラー１２、マグネティックスターラー１２上に載置されたコップ１３、コップ１３の内部に注がれた流体１４等が被写体として撮像されている。すなわち、この撮像画像中には、流体領域として流体１４が存在している領域があり、その他の領域として流体以外の床面１１、マグネティックスターラー１２及びコップ１３等が存在している領域がある。以下においては、このような撮像画像を処理に用いる場合について説明する。

再び図５に戻り、プロセッサ１１２は、メモリ１１３の画像テーブルを参照して未処理の画像データがある場合、当該画像データを読み出す（Ｓ１１１）。プロセッサ１１２は、読み出された画像データを学習済みセグメンテーション判定モデル（当該学習済みモデルの作成については後述する。）に入力して流体のセグメンテーション処理を行う（Ｓ１１２）。このとき学習済みセグメンテーション判定モデルには画像データのみが入力されているが、これに加えて撮像画像の画像ＩＤ情報に対応付けられた撮像条件情報、撮像環境情報又はそれらの組み合わせもさらに用いることが可能である。

ここで、図９Ｂは、本開示の一実施形態に係る処理装置１００で処理されるセグメンテーション画像の例を示す図である。具体的には、図５のＳ１１２において学習済みセグメンテーション判定モデルに撮像画像の画像データが入力された結果得られるセグメンテーション画像データの例を示す図である。図９Ｂによると、撮像画像中には、図９Ａに示したとおり、流体領域として流体１４が存在している領域と、その他の領域として流体以外の床面１１、マグネティックスターラー１２及びコップ１３等が存在している領域とが含まれている。このような撮像画像の画像データが学習済みセグメンテーション判定モデルに入力されることにより、流体１４が存在していた領域に対応して流体領域１５、流体１４以外のものが存在した領域であるその他の領域（床面１１、マグネティックスターラー１２及びコップ１３等の領域）に対応してその他領域１６、流体領域１５とその他領域１６との境界を示す境界領域１７が識別可能に特定されている。このように、図９に示されたセグメンテーション画像データによれば、画素ごとに流体領域、その他領域及び境界領域のいずれかが特定され、画素ごとに特定された領域に対応した色情報を付加して、各領域が識別可能に特定されている。なお、色情報による識別は、出力インターフェイス１１１を介してディスプレイ等に出力したときに使用者等が識別可能にするために用いているにすぎない。そのため、ここでは画素ごと（座標位置ごと）にいずれの領域であるのかが特定されていればよく、当然に他の情報による識別をしてもよいし、色情報等をさらに付加しなくてもよい。例えば、グレースケールで識別させてもよいし、特定のコードを付して識別してもよい。

再び図５に戻り、プロセッサ１１２は、処理された結果得られた撮像画像のセグメンテーション画像データをメモリ１１３の画像テーブルに、処理された撮像画像の画像データの画像ＩＤ情報に対応付けて記憶する（Ｓ１１３）。そして、プロセッサ１１２は、得られたセグメンテーション画像データに基づいて、流体領域が存在するか否かを判断する（Ｓ１１４）。その結果、流体領域が存在すると判断された場合には、プロセッサ１１２は、撮像画像の画像データとＳ１１３で記憶されたセグメンテーション画像データを学習済み流体分類モデル（当該学習済みモデルの作成については後述する。）に入力して、流体の分類処理を行う（Ｓ１１５）。このとき学習済み流体分類モデルには画像データ及びセグメンテーション画像データが入力されているが、これに加えて撮像画像の画像ＩＤ情報に対応付けられた撮像条件情報、撮像環境情報又はそれらの組み合わせを用いてもよい。

次に、プロセッサ１１２は、セグメンテーション画像データに基づいて特定される流体領域に存在する流体に関して、学習済み流体分類モデルに入力された結果解析された分類情報（水、飲料、ゼリー、化粧品、医薬品、食品、セメント、泡、食用、燃料用、産業用などのオイル等）を、メモリ１１３の画像テーブルに、処理された撮像画像の画像データの画像ＩＤ情報に対応付けて記憶する（Ｓ１１６）。そして、プロセッサ１１２は、撮像画像の画像データ、Ｓ１１３で記憶されたセグメンテーション画像データ、及びＳ１１６で記憶された分類情報を学習済み特性解析モデル（当該学習済みモデルの作成については後述する。）に入力して、流体の特性解析処理を行う（Ｓ１１７）。このとき学習済み流体分類モデルには画像データ、セグメンテーション画像データ及び分類情報が入力されているが、これに加えて撮像画像の画像ＩＤ情報に対応付けられた撮像条件情報、撮像環境情報又はそれらの組み合わせを用いてもよい。

次に、プロセッサ１１２は、セグメンテーション画像データに基づいて特定される流体領域に存在する流体に関して、学習済み特性解析モデルに入力された結果解析された特性情報（粘度、流速、質量、圧力、温度等）を、メモリ１１３の画像テーブルに、処理された撮像画像の画像データの画像ＩＤ情報に対応付けて記憶する（Ｓ１１８）。そして、プロセッサ１１２は、入力インターフェイス１１５を介して使用者からの要求を受け付けて、当該要求に基づいて出力インターフェイス１１１を介してその解析結果をディスプレイ等に出力する（Ｓ１１９）。以上により、当該処理フローは終了する。

ここで、図１０は、本開示の一実施形態に係る処理装置１００から出力される画面の例を示す図である。具体的には、図１０は、図５のＳ１１９において出力インターフェイス１１１を介してディスプレイに出力された解析結果画像の例を示す図である。図１０によると、ディスプレイの左上に、撮像装置２００で撮像された撮像画像２２が表示されている。また、当該撮像画像２２の右隣に、各領域の位置関係を比較可能に、セグメンテーション画像データを再現したセグメンテーション画像２１が表示されている。これによって、使用者は、セグメンテーション画像データに基づいて特定される流体領域、その他領域及び境界領域をそれぞれ視覚的に識別することが可能である。

また、撮像画像２２の下部には撮像環境表示エリア２５が表示される。撮像環境表示エリア２５には、一例としては、メモリ１１３の画像テーブルに撮像環境情報として記憶された圧力（気圧）及び温度が含まれるが、当然に他の撮像環境情報が含まれてもよい。また、セグメンテーション画像２１の下部には、セグメンテーションされた流体の分類情報２３、流体の特性情報（流速情報２４ａ及び粘度情報２４ｂ）が表示される。これにより、各学習済みモデルによって解析された流体の属性情報を、使用者は視覚的に認識可能になる。なお、ここに表示されえる特定情報は、流速や粘度に限らず、流体自体の温度など、他の特性情報であってもよい。

なお、図５において、Ｓ１１１で読み出される撮像画像の画像データに関して、図５において特段の画像処理をすることは明示していないが、所望に応じて所定の前処理を行うことも可能である。このような前処理としては、ハイパスフィルタやローパスフィルタを含むバンドパスフィルタ、平均化フィルタ、ガウシアンフィルタ、ガボールフィルタ、キャニーフィルタ、ソーベルフィルタ、ラプラシアンフィルタ、メディアンフィルタ、バイラテラルフィルタなどのフィルタ処理、トリミング処理、曇り除去処理、超解像処理及びこれらの組み合わせから、高精細化、領域抽出、ノイズ除去、エッジ強調、画像補正、画像変換などの目的に応じて選択される。このように、前処理を実行することによって、セグメンテーションや流体の分類、特性解析において解析精度を向上させることが可能となる。

また、図５のＳ１１２の流体のセグメンテーション処理、Ｓ１１５の流体の分類処理、及びＳ１１７の流体の特性解析処理において、入力される画像データ等に加えて、さらに撮像条件情報や撮像環境情報を用いて処理するようにしてもよい。これらの情報を併せて用いることによってその処理精度をさらに向上させることが可能である。例えば、流体の流速は、一般的にその流体の周囲温度又は流体内部の温度の影響を受ける。そのため、高温の場合は流体の移動や形態の変化が激しく、低温の場合は比較的穏やかであるため、セグメンテーション精度が影響を受けることがある。また、同じ条件下では異なる流速を有する流体でありながら、一方は高温化で撮像されたものであり、他方は低温下で撮像されたものである場合、同様の流速になることがある。そのような場合、流体の分類処理や特性解析処理において温度の影響を受けることがある。そこで、所定の温度を閾値として高温条件下で撮像した画像を用いて学習を行った学習済みモデルと低温条件下で撮像した画像を用いて学習を行った学習済みモデルをそれぞれ用意する。そして、入力される撮像画像が撮像されたときの撮像環境情報に基づいて、閾値よりも高温か低温かに応じて入力する学習済みモデルを選択するようにしてもよい。また、撮像環境情報や撮像条件情報は、各学習済みモデルの学習の際に入力されるパラメータとしても用いることができる。例えば、上記の温度の例では、流体の特性に温度が少なからず影響することがあるため、当該温度情報も一緒に学習することによって、学習済みモデルからその特性の解析結果を出力する際に温度を考慮した結果を出力することが可能となる。

また、図５のＳ１１１で読み出される撮像画像の画像データは１枚の画像であったり、複数の静止画像群であったり、複数の画像群から構成される動画像であってもよいが、特に複数枚の静止画像群や動画像を用いるのが好ましい。これらの場合、読み出された各画像データ又は一部の画像データについて図５に記載された各処理を行い流体領域のセグメンテーション処理を行うことで、特性情報として流速情報が得られるだけでなく、流体領域の経時的な移動情報や変化情報を得ることが可能である。特に、流体の特性情報として流速情報を解析する場合、時間的に異なる複数枚の静止画や一定期間において撮像された動画像を用いるのが良い。これによって、流体の経時的な変化をより正確に反映することが可能となり、解析精度の向上が可能である。さらに、このとき、プロセッサ１１２は、各画像データから得られた流速情報や粘度情報等の特性情報に対して、平均、最大値、最小値などの数値を算出することが可能である。このように、より正確な特性情報を得ることが可能である。

５．各学習済みモデルの生成に係る処理フロー
図６は、本開示の一実施形態に係る学習済みモデルの生成に係る処理フローを示す図である。具体的には、図６は、図５のＳ１１２の流体のセグメンテーション処理に用いられる学習済みセグメンテーション判定モデルの生成に係る処理フローを示す図である。当該処理フローは、処理装置１００のプロセッサ１１２によって実行されてもよいし、他の処理装置のプロセッサによって実行されてもよい。

図６によると、プロセッサは、例えば撮像装置２００によって撮像された撮像画像の学習用画像データを取得するステップを実行する（Ｓ２１１）。次に、プロセッサは、取得された学習用画像データに対してセグメンテーション処理を行い、正解ラベル情報を付与する処理ステップを実行する（Ｓ２１２）。そして、プロセッサは付与された正解ラベル情報を学習用セグメンテーション情報として学習用画像データに対応付けて記憶するステップを実行する（Ｓ２１３）。

学習用画像データとそれに対応付けられた学習用セグメンテーション情報がそれぞれ得られると、プロセッサは、それらを用いてセグメンテーションパターンの機械学習を行うステップを実行する（Ｓ２１４）。当該機械学習は、一例として、ニューロンを組み合わせたニューラルネットワークに対して、これら情報の組を与え、ニューラルネットワークからの出力が正解ラベル情報と同じになるように、各ニューロンのパラメータを調整しながら学習を繰り返すことにより行われる。そして、学習済みセグメンテーション判定モデルを取得するステップが実行される（Ｓ２１５）。取得された学習済みセグメンテーション判定モデルは、処理装置１００のメモリ１１３や処理装置１００と有線又は無線ネットワークを介して接続された他の処理装置内に記憶される。

なお、図６においては、学習用画像データとして撮像装置２００により撮像された撮像画像を用い、当該学習用画像データに対して例えば使用者によりセグメンテーション処理がなされる場合について説明した。しかし、これに限らず、あらかじめ流体が存在する流体領域が特定されたＣＧ（コンピュータグラフィックス）画像を作成し、学習用画像データ及び学習用セグメンテーション情報として利用することも可能である。

また、図６においては、学習用画像データと学習用セグメンテーション情報とを用いて学習する場合について説明したが、例えば撮像装置２００で撮像画像が撮像されたときの撮像条件情報や、撮像されたときに各種センサ装置で測定された出力値である撮像環境情報をさらに用いて学習させてもよい。

図７は、本開示の一実施形態に係る学習済みモデルの生成に係る処理フローを示す図である。具体的には、図７は、図５のＳ１１５の流体の分類処理に用いられる学習済み流体分類モデルの生成に係る処理フローを示す図である。当該処理フローは、処理装置１００のプロセッサ１１２によって実行されてもよいし、他の処理装置のプロセッサによって実行されてもよい。

図７によると、プロセッサは、例えば撮像装置２００によって撮像された撮像画像の学習用画像データと、当該画像データを用いて流体領域がセグメンテーションされた学習用セグメンテーション情報を取得するステップを実行する（Ｓ３１１）。次に、プロセッサは、取得された学習用画像データ中に含まれる流体領域に存在する流体を種類に分類する処理を行い、正解ラベル情報を付与する処理ステップを実行する（Ｓ３１２）。そして、プロセッサは付与された正解ラベル情報を学習用分類情報として学習用画像データ等に対応付けて記憶するステップを実行する（Ｓ３１３）。

学習用画像データ等とそれに対応付けられた学習用分類情報がそれぞれ得られると、プロセッサは、それらを用いて分類パターンの機械学習を行うステップを実行する（Ｓ３１４）。当該機械学習は、一例として、ニューロンを組み合わせたニューラルネットワークに対して、これら情報の組を与え、ニューラルネットワークからの出力が正解ラベル情報と同じになるように、各ニューロンのパラメータを調整しながら学習を繰り返すことにより行われる。そして、学習済み流体分類モデルを取得するステップが実行される（Ｓ３１５）。取得された学習済み流体分類モデルは、処理装置１００のメモリ１１３や処理装置１００と有線又は無線ネットワークを介して接続された他の処理装置内に記憶される。

なお、図７においては、学習用画像データとして撮像装置２００により撮像された撮像画像を用い、使用者により入力された当該撮像画像に含まれる流体の種類を正解ラベル情報として用いる場合について説明した。しかし、これに限らず、あらかじめ流体が存在する流体領域とその流体の種類が特定されたＣＧ（コンピュータグラフィックス）画像を作成し、学習用画像データ、学習用セグメンテーション情報及び学習用分類情報として使用することも可能である。

また、図７においては、学習用画像データ、学習用セグメンテーション情報及び学習用分類情報を用いて学習する場合について説明したが、例えば撮像装置２００で撮像画像が撮像されたときの撮像条件情報や、撮像されたときに各種センサ装置で測定された出力値である撮像環境情報をさらに用いて学習させてもよい。これらの情報を用いることで、さらに○○○。

図８は、本開示の一実施形態に係る学習済みモデルの生成に係る処理フローを示す図である。具体的には、図８は、図５のＳ１１７の流体の特性解析処理に用いられる学習済み特性解析モデルの生成に係る処理フローを示す図である。当該処理フローは、処理装置１００のプロセッサ１１２によって実行されてもよいし、他の処理装置のプロセッサによって実行されてもよい。

図８によると、プロセッサは、例えば撮像装置２００によって撮像された撮像画像の学習用画像データと、当該画像データを用いて流体領域がセグメンテーションされた学習用セグメンテーション情報と、流体領域に存在する流体の種類が特定された分類情報とを取得するステップを実行する（Ｓ４１１）。次に、プロセッサは、取得された学習用画像データ中の流体領域に存在する流体の特性を解析する処理を行い、正解ラベル情報を付与する処理ステップを実行する（Ｓ４１２）。そして、プロセッサは付与された正解ラベル情報を学習用特性情報として学習用画像データ等に対応付けて記憶するステップを実行する（Ｓ４１３）。

学習用画像データ等とそれに対応付けられた学習用特性情報がそれぞれ得られると、プロセッサは、それらを用いて特性解析パターンの機械学習を行うステップを実行する（Ｓ４１４）。当該機械学習は、一例として、ニューロンを組み合わせたニューラルネットワークに対して、これら情報の組を与え、ニューラルネットワークからの出力が正解ラベル情報と同じになるように、各ニューロンのパラメータを調整しながら学習を繰り返すことにより行われる。そして、学習済み特性解析モデルを取得するステップが実行される（Ｓ４１５）。取得された学習済み特性解析モデルは、処理装置１００のメモリ１１３や処理装置１００と有線又は無線ネットワークを介して接続された他の処理装置内に記憶される。

ここで、流体の挙動を記述する方程式として下記式１で示されるナビエストーク方程式が用いられる。逆に言えば、流体であるためには、上記学習済み特性解析モデル等を用いて解析された各特性情報が、下記式１で示されるナビエストーク方程式を満たす必要がある。

そのため、学習済み特性解析モデルの学習においては、上記式１で示されるように上記ナビエストーク方程式を適用した損失関数を用いて、学習済み特性解析モデルにより解析された特性情報と正解ラベル情報として用いられた特性情報との間の損失（Ｌ_ｎ）を最小にするように各ニューロンのパラメータが調整される。つまり、学習済み特性解析モデルから出力された各特性情報について、上記式１のナビエストーク方程式に入力されたときに当該方程式を満たす値となるように、各ニューロンのパラメータを調整する。

なお、上記式１において、圧力（ｐ）、加速度場（ｇ）及び流体密度（ρ）は固定値として無視することが可能である。また、速度ベクトル（υ）としては、学習済み特性解析モデルから得られた流速情報が、動粘性係数（ν）としては、学習済み特性解析モデルから得られた粘度情報が用いられる。

また、図８においては、学習用画像データとして撮像装置２００により撮像された撮像画像を用い、使用者により測定された流体の特性を正解ラベル情報として用いる場合について説明した。しかし、これに限らず、あらかじめ流体が存在する流体領域、その流体の種類及び特性が特定されたＣＧ（コンピュータグラフィックス）画像を作成し、学習用画像データ、学習用セグメンテーション情報、学習用分類情報及び学習用特性情報として使用することも可能である。

また、図６～８においては、学習用画像データ、学習用セグメンテーション情報、学習用分類情報及び学習用特性情報を用いて学習する場合について説明したが、例えば撮像装置２００で撮像画像が撮像されたときの撮像条件情報や、撮像されたときに各種センサ装置で測定された出力値である撮像環境情報をさらに用いて学習させてもよい。これらの情報を用いることで、学習済みモデルからその特性の解析結果を出力する際に撮像環境情報や撮像条件情報をさらに考慮した結果を出力することが可能となる。

さらに、図６～図８で説明した各学習済みモデルは、ニューラルネットワークを用いて生成した。しかし、これらに限らず、ニアレストネイバー法、決定木、回帰木、ランダムフォレスト等の機械学習を用いて生成することも可能である。さらに、図６～図８で説明した各学習済みモデルは、ニューラルネットワークを用いて生成した。具体的には、ＦＣＮ、Ｍａｓｋ Ｒ－ＣＮＮ等の機械学習モデルが挙げられる。しかし、これらに限られず、画像を入力可能な機械学習モデルやピクセルデータを出力可能な機械学習モデルであればいずれでも使用可能である。

以上、本開示の一実施形態においては、流体の属性情報の解析に適した処理装置、処理プログラム及び処理方法を提供することができる。

本明細書で説明される処理及び手順は、実施形態において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能である。具体的には、本明細書で説明された処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク、光ストレージ等の媒体に、当該処理に相当するロジックを実装することによって実現される。また、本明細書で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、処理装置やサーバ装置を含む各種のコンピュータに実行させることが可能である。

本明細書中で説明される処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理又は手順は、複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は、複数のモジュールによって実行されるものとすることができる。また、本明細書中で説明される各種情報が単一のメモリや記憶部に格納される旨が説明されたとしても、そのような情報は、単一の装置に備えられた複数のメモリ又は複数の装置に分散して配置された複数のメモリに分散して格納されるものとすることができる。さらに、本明細書において説明されるソフトウェア及びハードウェアの要素は、それらをより少ない構成要素に統合して、又は、より多い構成要素に分解することによって実現されるものとすることができる。

１ 処理システム
１００ 処理装置
２００ 撮像装置

Claims (11)

1. 少なくとも一つのプロセッサを具備する処理装置であって、
   前記少なくとも一つのプロセッサが、
   前記処理装置に含まれるか、前記処理装置に通信インターフェイスを介して接続された撮像装置において撮像された撮像画像の画像データを取得し、
   取得された画像データに基づいて前記撮像画像中において流体が存在する流体領域が特定された流体領域特定情報を生成し、
   前記流体領域特定情報に基づいて特定された前記流体領域に存在する前記流体の属性情報を解析する、
   ための処理をするように構成された、処理装置。
2. 前記流体領域は、学習用画像の画像データと、前記学習用画像中においてあらかじめ流体が存在する流体領域が特定された学習用流体領域特定情報とを少なくとも用いて機械学習することにより生成された学習済み流体領域特定モデルに、前記撮像画像の画像データを入力することで特定される、請求項１に記載の処理装置。
3. 前記属性情報は前記流体の種類を示す分類情報を含む、請求項１又は２に記載の処理装置。
4. 前記属性情報は前記流体の特性を示す特性情報をさらに含む、請求項３に記載の処理装置。
5. 前記特性情報は前記流体の粘度及び流速の少なくともいずれか一方である、請求項４に記載の処理装置。
6. 前記少なくとも一つのプロセッサが、
   前記流体領域特定情報に基づいて、前記流体領域に存在する前記流体の前記分類情報を解析し、
   解析された前記分類情報に基づいて、前記流体領域に存在する前記流体の前記特性情報を解析する、
   ための処理をするように構成された、請求項４又は５に記載の処理装置。
7. 前記分類情報は、学習用画像中においてあらかじめ流体が存在する流体領域が特定された学習用流体領域特定情報と、前記学習用画像中の流体の種類をあらかじめ分類した学習用分類情報とを少なくとも用いて機械学習することにより生成された学習済み流体分類モデルに、前記撮像画像に基づいて生成された前記流体領域特定情報を入力することで解析される、請求項３～６のいずれか一項に記載の処理装置。
8. 前記特性情報は、前記学習用画像の画像データと、前記学習用画像中において存在する流体に対してあらかじめ特性を解析した学習用特性情報とを少なくとも用いて機械学習することにより生成された学習済み特性解析モデルに、前記撮像画像の画像データを入力することで解析される、請求項４～６のいずれか一項に記載の処理装置。
9. 前記流体は、気体、液体、気体及び液体が混合物、気体又は液体に微量の固体が混合された混合物の少なくともいずれかである、請求項１～８のいずれか一項に記載の処理装置。
10. 処理装置に具備された少なくとも一つのプロセッサにより実行されることにより、
    前記少なくとも一つのプロセッサを、
    前記処理装置に含まれるか、前記処理装置に通信インターフェイスを介して接続された撮像装置において撮像された撮像画像の画像データを取得し、
    取得された画像データに基づいて前記撮像画像中において流体が存在する流体領域が特定された流体領域特定情報を生成し、
    前記流体領域特定情報に基づいて特定された前記流体領域に存在する前記流体の属性情報を解析する、
    ように機能させる処理プログラム。
11. 処理装置に具備された少なくとも一つのプロセッサにより実行される処理方法であって、
    前記処理装置に含まれるか、前記処理装置に通信インターフェイスを介して接続された撮像装置において撮像された撮像画像の画像データを取得する段階と、
    取得された画像データに基づいて前記撮像画像中において流体が存在する流体領域が特定された流体領域特定情報を生成する段階と、
    前記流体領域特定情報に基づいて特定された前記流体領域に存在する前記流体の属性情報を解析する段階と、
    を含む処理方法。
    
    
    

Images