以下に、本願の開示する乾燥重量推定プログラム、乾燥重量推定方法および乾燥重量推定装置の実施例を図面に基づいて詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下に示す各実施例は、矛盾を起こさない範囲で適宜組み合わせても良い。
[藻類培養の概略構成]
最初に、藻類を培養する際の構成を概略的に説明する。図1は、藻類を培養する際の構成の一例を示す図である。図1には、培養槽1が設けられている。培養槽1は、貯留する液体の流れをよくするため、円環状に形成され、藻類の培養に適した養分等を水に混在させた培養液が貯留されている。また、培養槽1は、側面の一部に水車2が設けられ、培養液中の藻類が滞留せずに均一となるように、水車2によって培養液が攪拌される。また、培養槽1は、培養液中にライト3が設けられている。ライト3は、培養液中で点灯している。ライト3の上部には、カメラ4が設けられている。カメラ4は、培養液を上部から撮影するように支持台5に固定されており、ライト3により照らされた培養液部分の定点観測を行う。カメラ4は、夜間に、培養液中に配置されたライト3からの光によって培養液に階調が現れる所定範囲を撮影するように配置されている。また、培養槽1は、側面に培養の環境を測定するためのセンサ6が配置されている。センサ6は、計測部分が培養液中又は液面又は液面の上部等に配置され、計測部分により培養液の環境を計測する。例えば、センサ6は、培養液の環境として、培養液の水温、培養液のpH(水溶液中の水素イオン濃度)、培養液内の光量子束密度、培養液のNO3(硝酸イオン)の等を計測する。例えば、培養液の水温、培養液のpH、培養液のNO3は、液内に計測部分を設置して計測する。光量子束密度は、液面より上に計測部分を設置して計測する。なお、計測対象は、培養液の水温、培養液のpH、培養液内の光量子束密度、培養液のNo3に限定されず、藻類の色に影響を及ぼすものであれば、何れであってもよい。本実施例では、培養液の環境として、培養液の水温、培養液のpH、培養液内の光量子束密度、培養液のNo3を計測する場合を例に説明する。
カメラ4およびセンサ6は、乾燥重量推定装置10に接続されている。カメラ4は、乾燥重量推定装置10からの制御により撮影を行い、撮影した画像を所定の形式に圧縮し、圧縮した画像データを乾燥重量推定装置10へ出力する。例えば、カメラ4は、乾燥重量推定装置10からの制御により撮影を行い、撮影した画像を、例えば、JPEG(Joint Photographic Experts Group)などの非可逆圧縮で圧縮し、圧縮した画像データを乾燥重量推定装置10へ出力する。なお、圧縮の形式は、JPEGなどの非可逆圧縮に限定されず、可逆圧縮であってもよい。また、カメラ4は、撮影した画像を圧縮せずに画像データをそのまま乾燥重量推定装置10へ出力してもよい。
センサ6は、乾燥重量推定装置10からの制御により培養液の環境を測定し、計測した環境情報を乾燥重量推定装置10へ出力する。例えば、センサ6は、培養液の水温、培養液のpH、培養液内の光量子束密度、培養液のNo3を計測し、計測した培養液の水温、培養液のpH、培養液内の光量子束密度、培養液のNo3の量を環境情報として乾燥重量推定装置10へ出力する。
乾燥重量推定装置10は、カメラ4から得られた画像データの画像および当該画像を撮像した際の環境情報から培養槽1中の藻類の乾燥重量を推定する装置であり、例えば、パーソナルコンピュータやサーバコンピュータなどのコンピュータなどである。乾燥重量推定装置10は、1台のコンピュータとして実装してもよく、また、複数台のコンピュータによるクラウドとして実装することもできる。本実施例では、乾燥重量推定装置10を1台のコンピュータとした場合を例として説明する。なお、乾燥重量推定装置10は、藻類の培養を行うユーザが使用する端末装置とネットワークを介して通信可能に接続され、端末装置から各種の操作情報を受け付け、処理結果を端末装置に送信するサーバコンピュータであってもよい。
[乾燥重量推定装置の構成]
次に、実施例1に係る乾燥重量推定装置10の構成について説明する。図2は、乾燥重量推定装置の構成の一例を示す図である。
図2に示すように、乾燥重量推定装置10は、操作部20と、表示部21と、外部I/F(interface)部22と、記憶部23と、制御部24とを有する。なお、乾燥重量推定装置10は、図2に示す機能部以外にも既知のコンピュータが有する各種の機能部を有してもよい。
操作部20は、各種の操作の入力を受け付ける入力デバイスである。操作部20としては、マウスやキーボードなどの操作の入力を受け付ける入力デバイスが挙げられる。操作部20は、各種の情報の入力を受付ける。操作部20は、ユーザからの操作入力を受け付け、受け付けた操作内容を示す操作情報を制御部24に入力する。
表示部21は、各種情報を表示する表示デバイスである。表示部21としては、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)などの表示デバイスが挙げられる。表示部21は、各種情報を表示する。例えば、表示部21は、操作画面など各種の画面を表示する。
外部I/F部22は、例えば、USB(Universal Serial Bus)ポートや通信ポートなど、他の装置と各種の情報を送受信するインタフェースである。外部I/F部22は、カメラ4およびセンサ6と接続されており、各種の情報を送受信する。例えば、外部I/F部22は、カメラ4に対して、撮影指示を出力する。カメラ4は、撮影指示に応じて、ライト3で照らされた培養液を含んだ画像を撮影し、撮影した画像の画像データを出力する。外部I/F部22には、カメラ4から出力された画像データが入力される。外部I/F部22は、センサ6に対して、環境情報の通知指示を出力する。センサ6は、通知指示に応じて、培養液の水温、培養液のpH、培養液内の光量子束密度、培養液のNo3など、培養液の環境を計測し、計測した環境情報を出力する。外部I/F部22には、センサ6から出力された環境情報が入力される。なお、センサ6は、外部I/F部22に対して、随時、環境情報を出力しており、乾燥重量推定装置10が計測タイミングでセンサ6から入力する環境情報を読み取るものとしてもよい。
記憶部23は、ハードディスク、SSD(Solid State Drive)、光ディスクなどの記憶装置である。なお、記憶部23は、RAM(Random Access Memory)、フラッシュメモリ、NVSRAM(Non Volatile Static Random Access Memory)などのデータを書き換え可能な半導体メモリであってもよい。
記憶部23は、制御部24で実行されるOS(Operating System)や各種プログラムを記憶する。例えば、記憶部23は、後述する乾燥重量推定処理を実行するプログラムを記憶する。さらに、記憶部23は、制御部24で実行されるプログラムで用いられる各種データを記憶する。例えば、制御部24は、画像データ30と、環境データ31と、予測モデルデータ32と、推定データ33とを記憶する。
画像データ30は、外部I/F部22を介して、カメラ4から入力した画像データを記憶したデータである。
環境データ31は、外部I/F部22を介して、センサ6から入力した環境情報を記憶したデータである。
予測モデルデータ32は、乾燥重量の予測に用いる予測モデルを記憶したデータである。例えば、予測モデルデータ32には、培養液を撮像した画像の色情報と環境情報と乾燥重量との関係から、乾燥重量を予測する予測モデルが記憶されている。予測モデルは、培養液を撮像した画像の色情報と環境情報と乾燥重量との関係を示した関係式であってもよく、培養液を撮像した画像の色情報と環境情報と乾燥重量との関係を記憶したテーブルのデータであってもよい。
推定データ33は、推定された藻類の乾燥重量を記憶したデータである。
制御部24は、乾燥重量推定装置10を制御するデバイスである。制御部24としては、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等の電子回路や、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の集積回路を採用できる。制御部24は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部24は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部24は、取得部40と、特定部41と、生成部42と、出力部43とを有する。なお、制御部24の内部構成は、図2に示した構成に限られず、後述する乾燥重量推定処理を行う構成であれば他の構成であってもよい。
取得部40は、各種の取得を行う。例えば、取得部40は、カメラ4を制御し、所定の計測タイミングで藻類の培養液を撮像した画像データを取得する。例えば、取得部40は、計測タイミングでカメラ4に対して撮影の指示を送信する。これにより、カメラ4は、撮影を行い、撮影した画像の画像データを乾燥重量推定装置10へ出力する。取得部40は、カメラ4から入力した画像データを取得し、取得した画像データを画像データ30として計測タイミングの日時と対応付けて記憶部23に記憶する。また、取得部40は、センサ6を制御し、計測タイミングに合わせて培養液の環境を計測し、計測した環境情報を取得する。例えば、取得部40は、撮影の指示を送信したタイミングでセンサ6に対して環境情報の通知指示を送信する。取得部40は、センサ6から入力した環境情報を取得し、取得した環境情報を環境データ31として計測タイミングの日時と対応付けて記憶部23に記憶する。これにより、センサ6は、培養液の環境を計測し、計測した環境情報を乾燥重量推定装置10へ出力する。計測タイミングは、例えば、操作部20からユーザにより設定される。
藻類の培養状況を把握するためには、定期的、継続的に乾燥重量を測定できることが好ましい。そこで、例えば、ユーザは、計測タイミングを毎日の午前0時と設定する。
取得部40は、設定された計測タイミングとなると、カメラ4に対して撮影の指示を送信して、培養槽1を撮影した画像データを取得し、取得した画像データを画像データ30として計測タイミングの日時と対応付けて記憶部23に記憶する。また、取得部40は、設定された計測タイミングとなると、センサ6を制御して培養液の環境情報を取得し、取得した環境情報を環境データ31として計測タイミングの日時と対応付けて記憶部23に記憶する。
カメラ4により撮影される画像の一例を説明する。図3は、培養槽を撮影した画像の一例を示す図である。図3の画像には、培養液中で点灯しているライト3が写っており、写真に写る培養液の変化を、パターンを変えて模式的に示している。ライト3の近傍は、ライト3からの光により明るく培養液が写り、ライト3から遠い画像の周辺は、培養液が暗く写っている。また、図3の画像には、左上と右下にライト3の光が当たった培養槽1の側面が写っている。記憶部23には、計測タイミングごとに、図3に示すような培養槽1を撮影した画像の画像データ30が記憶される。
ところで、培養液は、乾燥重量が同じでも、培養される環境によって色が変わる場合がある。培養される環境は、藻類の光合成色素(クロロフィル:緑、カルテノイド:黄〜オレンジ等)の構成に影響を及ぼすことがあり、結果として同じ乾燥重量でも、培養液の色が異なってしまう。藻類培養の事業化においては、藻類は、屋外等、水温や光の強さ等が異なる環境で培養されると想定できる。このため、単純に培養液の色から乾燥重量を推定すると、誤った推定結果を生じさせる可能性がある。
そこで、本実施例に係る乾燥重量推定装置10は、培養される環境による藻類の色の変化も加味して、画像データ30から藻類の乾燥重量を推定する。例えば、乾燥重量推定装置10は、画像データ30の画像から求まる培養液の色と、培養液の色に影響を与える環境の値とを用いて、藻類の乾燥重量を推定する。本実施例では、培養液の色に影響を与える環境の値として、水温、光量子束密度、pH、No3の値を用いるが、藻類の色に影響を及ぼすものであれば、何れであってもよい。
特定部41は、取得部40により取得された画像データ30の画像の色情報を特定する。例えば、特定部41は、画像データ30の画像から色相、明度、彩度の色情報を特定する。例えば、特定部41は、画像データ30の画像全体の色相、明度、彩度の平均値を算出する。
なお、特定する色情報の色成分は、色相、明度、彩度に限定されるものではなく、画像の色を表すものであれば、何れの色空間の色成分を用いてもよい。また、特定部41は、画像データ30の画像から、複数の色空間の色成分を色情報として特定してもよい。例えば、特定部41は、画像データ30の画像をRGB色空間、HSV色空間、HLS色空間、L*a*b*色空間、YCrCb色空間のそれぞれにおける色情報に変換する。そして、特定部41は、色情報として、各色空間での画像の色成分の平均値を算出してもよい。例えば、特定部41は、RGB色空間の画像について、画像全体でのR、G、Bの平均値を算出してもよい。RGB色空間、HSV色空間、HLS色空間、L*a*b*色空間およびYCrCb色空間の5つの色空間は、それぞれ3個の色成分で色が表せる。例えば、RGB色空間は、R、G、Bの色成分の値で色が表せる。特定部41は、画像データ30の画像からRGB色空間、HSV色空間、HLS色空間、L*a*b*色空間およびYCrCb色空間の5つの色空間それぞれで色成分の平均値を求めた場合、15個の色成分の平均値を特定する。例えば、5つの色空間の15個の色成分の平均値をP1〜P15とする。
生成部42は、色情報と環境情報と乾燥重量との関係から、乾燥重量を予測する予測モデルを生成する。例えば、ユーザは、複数の画像データ30について、それぞれを撮影したタイミングで培養液を取り出し、培養液に対して藻類の重量分析を行い、画像データ30を撮影した際の培養液の乾燥重量を測定する。ユーザは、測定した培養液の乾燥重量と培養液を取得した日付を操作部20から入力する。なお、培養液の乾燥重量は、外部の計測装置から入力されてもよい。生成部42は、乾燥重量が測定済みの複数の画像データ30について、画像データ30から特定された色情報と、画像データ30の画像が撮影された日付の環境情報と、測定された乾燥重量を用いて、予測モデルを生成する。
例えば、生成部42は、色情報として、色相、明度および彩度を用い、環境情報として、培養液中の光量子束密度を用いて乾燥重量を予測する場合、以下の式(1)に示す相関があるものとして、乾燥重量を予測する予測モデルを生成する。
乾燥重量Y(g/L)=a1×色相+a2×明度+a3×彩度+a4×光量子束密度+b (1)
ここで、パラメータa1〜a4は、重みを表すパラメータである。パラメータbは、切片を表すパラメータである。
なお、式(1)は、一例であり、これに限定されるものではない。予測モデルとして使用する色情報は、色相、明度、彩度に限定されるものではなく、何れの色空間の色成分を用いてもよい。また、予測モデルとして使用する環境情報は、光量子束密度に限定されるものではなく、水温、光量子束密度、pH、No3を全て用いてもよく、水温、光量子束密度、pH、No3の一部を用いてもよい。
また、生成部42は、複数の色空間についての色情報と、画像データ30の画像が撮影された日付の環境情報を用いて乾燥重量を予測する予測モデルを生成してもよい。例えば、生成部42は、RGB色空間、HSV色空間、HLS色空間、L*a*b*色空間およびYCrCb色空間の5つの色空間の色情報と、水温、光量子束密度、pH、No3の環境情報を用いる場合、次のような演算式を予測モデルとして生成する。生成部42は、式(1)の右辺を、5つの色空間で色を示す15個の色成分の平均値P1〜P15、水温、光量子束密度、pH、No3に対して重みを表すパラメータを個別に乗算して加算し、さらにパラメータbを加算する式とした予測モデルを生成する。
また、生成部42は、異なる色空間についての色情報と、画像データ30の画像が撮影された日付の環境情報を用いて乾燥重量を予測する予測モデルを生成してもよい。例えば、生成部42は、異なる色空間の色成分にそれぞれ乾燥重量と相関が高い色成分がある場合、異なる色空間の色成分を組み合わせて予測モデルを生成してもよい。例えば、HLS色空間のLとL*a*b*色空間のbがそれぞれ乾燥重量と相関が高い場合、HLS色空間のLとL*a*b*色空間のbとに重みを表すパラメータを個別に乗算して加算し、さらに切片を表すパラメータbを加算する式とした予測モデルを生成してもよい。
また、生成部42は、水温、光量子束密度、pH、No3などの環境情報を画像の撮影時点の値を使用する以外に、所定期間の積算値や所定期間の平均値を使用して予測モデルを生成してもよい。例えば、生成部42は、水温、光量子束密度、pH、No3についての過去一カ月間の月の平均値や、過去一カ月間の積算値を使用して予測モデルを生成してもよい。所定期間の積算値や所定期間の平均値は、どのような環境で藻類が培養されたかを表すことができるため、連続期間の環境の藻類への影響を加味した予測モデルを生成できる。
また、生成部42は、水温、光量子束密度、pH、No3などの環境情報を予測モデルの演算式の説明変数として用いている以外に、予測モデルを切替えるパラメータとして用いてもよい。生成部42は、環境情報が閾値を超えた場合や、所定の範囲から外れた場合に予測モデルを切替えてもよい。
生成部42は、乾燥重量が測定済みの複数の画像データ30について、特定部41により特定した色情報および環境情報と、測定された乾燥重量を用いて、回帰分析を行い、生成した演算式のパラメータa、パラメータbを求める。生成部42は、生成した予測モデルを予測モデルデータ32として記憶部23に記憶させる。例えば、生成部42は、求めたパラメータa、bを代入した演算式、または、パラメータa、bを予測モデルデータ32として記憶部23に記憶させる。なお、生成部42は、求めたパラメータa、bを代入した演算式から、色情報および環境情報ごとに、乾燥重量を算出し、色情報と環境情報と乾燥重量の関係を示すテーブルを予測モデルデータ32として記憶部23に記憶させてもよい。
ここで、予測モデルによる推定の一例を示す。図4Aは、予測モデルによる推定結果の一例を示す図である。図4Aには、「No」、「実測」と、「月平均光量子」と、「L」と、「Cr」と「推定」とが示されている。「No」の値は、サンプルの番号を示す。「実測」の値は、画像データ30を撮影した際の培養液の乾燥重量の測定結果を示す。「月平均光量子」の値は、測定タイミングから過去一カ月間の光量子束密度の平均値(月平均光量子)を示す。「L」の値は、画像データ30についてのL*a*b*色空間のL*の色成分の平均値を示す。「Cr」の値は、画像データ30についてのYCrCb色空間のCrの色成分の平均値を示す。「推定」の値は、予測モデルを用いて算出した乾燥重量の推定結果である。予測モデルの演算式としては、色情報として、L*a*b*色空間のL*の色成分とYCrCb色空間のCrの色成分を使用し、環境情報として、月平均光量子を使用している。図4Aの例は、106個の画像データ30について、実測の値と、月平均光量子と、画像データ30の画像のL*の色成分の平均値と、Crの色成分の平均値と回帰分析を行って、予測モデルを生成し、生成した予測モデルを用いて、画像データ30の画像から乾燥重量の推定した結果である。図4Bは、回帰統計の算出結果を示す図である。図4Bは、図4Aに示した予測モデルについての回帰統計を算出した結果を示している。例えば、重相関Rは、0.916291であり、乾燥重量との関係に強い相関があることがわかる。
出力部43は、各種の出力を行う。例えば、出力部43は、記憶部23に記憶された予測モデルデータ32を参照し、特定部41により特定した色情報と、取得部40により取得した環境情報とに基づいて、画像に含まれる藻類の乾燥重量の推定値を出力する。例えば、記憶部23に予測モデルの演算式が記憶されている場合、出力部43は、予測モデルの演算式を読み出す。また、記憶部23に予測モデルの演算式のパラメータa、bが記憶されている場合、出力部43は、パラメータa、bを読み出し、予測モデルの演算式に設定する。そして、出力部43は、予測モデルの演算式を用いて、画像データ30の色情報と、画像データ30の画像を撮影した際の環境情報から、画像データ30の画像に含まれる藻類の乾燥重量の推定値を算出する。そして、出力部43は、算出した藻類の乾燥重量の推定値を画像データ30の撮影日時と対応付けて推定データ33へ出力して記憶させる。なお、出力部43は、藻類の乾燥重量の推定値を外部の装置へ出力してもよい。
出力部43は、推定データ33に記憶された藻類の乾燥重量の推定値を出力する。例えば、出力部43は、操作部20からの指示に応じて、推定データ33に記憶された乾燥重量の推定値を撮影日に対応付けて表示部21に出力する。なお、出力部43は、操作部20からの指示に応じて、記憶部23に記憶された画像データ30ごとに、画像データ30の画像に含まれる藻類の乾燥重量の推定値をそれぞれ算出してもよい。そして、出力部43は、各画像データ30から算出した乾燥重量の推定値を撮影日に対応付けて表示部21に出力してもよい。
次に、乾燥重量推定装置10を用いて藻類の乾燥重量の推定を行う場合の一例を説明する。上述のように、藻類の培養状況を把握するためには、定期的、継続的に乾燥重量を測定できることが好ましい。そこで、例えば、ユーザは、計測タイミングを毎日の午前0時と設定する。乾燥重量推定装置10は、計測タイミングとなると、カメラ4に対して撮影の指示を送信して、培養槽1を撮影した画像データを取得し、取得した画像データを画像データ30として撮影日時と対応付けて記憶部23に記憶する。
ユーザは、定期的に、計測タイミングに合わせて培養槽1から培養液を取り出し、一般的な藻類の重量分析を行って藻類の乾燥重量を測定する。ユーザは、測定した培養液の乾燥重量と培養液を取得した日付を操作部20から入力する。
乾燥重量推定装置10は、測定された乾燥重量と、乾燥重量を測定した際の画像データ30の色情報および環境情報を用いて予測モデルを生成する。乾燥重量推定装置10は、生成した予測モデルを用いて、日々取得される画像データ30の画像から乾燥重量を推定する。
以下では、2つのケースを説明する。
最初に、乾燥重量推定装置10が、培養液に階調が現れる範囲の全体を用いて藻類の乾燥重量の推定を行う場合を説明する。例えば、特定部41は、培養液に階調が現れる範囲の全体の画像から画像の色情報を特定する。図5は、培養槽を撮影した画像の一例を示す図である。例えば、特定部41は、図5の矩形で示す領域Aの部分の画像から、RGB色空間、HSV色空間、HLS色空間、L*a*b*色空間、YCrCb色空間の5つの色空間について、15個の色成分の平均値P1〜P15を特定する。生成部42は、5つの色空間の15個の色成分の平均値P1〜P15、水温、光量子束密度、pH、No3に対して、それぞれ重みを表すパラメータaを個別に乗算して加算し、さらに切片を表すパラメータbを加算する式とした予測モデルを生成する。乾燥重量推定装置10は、生成した予測モデルを用いて、日々取得される画像データ30の色情報および環境情報から乾燥重量を推定する。
図6Aは、回帰統計の算出結果を示す図である。図6Aは、培養液に階調が現れる範囲全体の15個の色成分の色情報および環境情報から生成した予測モデルについての回帰統計を算出した結果を示している。例えば、重相関Rは、0.93689であり、強い相関があることがわかる。
図6Bは、色成分ごとの乾燥重量との相関の一例を示す図である。図6Bには、RGB色空間、HSV色空間、HLS色空間、L*a*b*色空間およびYCrCb色空間の各色成分について、実測との重相関を求めた結果が示されている。例えば、RGB色空間のG(RGB−G)の重相関は、0.85672と高い値となっている。また、L*a*b*色空間のL*(Lab−L)の重相関は、0.90421と高い値となっている。乾燥重量推定装置10は、このように相関の高い色成分を特定される場合、相関の高い色成分の色情報と環境情報を用いて予測モデルを生成してもよい。
図7は、所定期間の藻類の乾燥重量の推定結果の一例を示すグラフである。図7には、2016年12月の藻類の乾燥重量を、RGB色空間のGの色成分の平均値および環境情報を用いて、推定した結果が「推定」として示されている。図7の例では、図5に示したように、画像データ30の画像の領域Aの部分の画像からGの色成分の平均値の特定を行っている。また、図7には、例えば、定期的に藻類の乾燥重量を測定した結果が「実測」として示されている。なお、図7の例では、藻類の乾燥重量の測定を1週間程度の期間に続けて2日行っているが、これに限定されるものではなく、培養を行う環境等の条件に合わせて定めればよい。
乾燥重量推定装置10は、測定された乾燥重量と、乾燥重量を測定した際の画像データ30のRGB色空間のGの色情報および環境情報を用いて予測モデルを生成する。例えば、生成部42は、直近の所定回(例えば、直近の10回)または直近の所定期間(例えば、直近の二ヶ月)の乾燥重量の測定値と、乾燥重量を測定した際の画像データ30のRGB色空間のGの色情報および環境情報とを用いて、予測モデルを生成する。予測モデルは、乾燥重量の新たな測定結果が得られるごとに生成されてもよい。例えば、生成部42は、乾燥重量の測定結果が得られるごとに、予測モデルを生成し直してもよい。また、予測モデルは、予測モデルの予測精度が所定の許容範囲を超えた場合に生成されてもよい。例えば、生成部42は、乾燥重量の測定結果が得られるごとに推定結果と比較し、予測精度が所定の許容範囲を超えた場合に、予測モデルを生成し直してもよい。また、予測モデルは、環境情報が閾値を超えた場合や、所定の範囲から外れた場合に、生成されてもよい。また、予測モデルは、定期的に生成されてもよい。例えば、生成部42は、1ヶ月毎や、季節が変わるタイミング(例えば、1月、4月、7月、10月)で、予測モデルを生成し直してもよい。また、予測モデルは、ユーザが指示したタイミングで生成されてもよい。例えば、生成部42は、操作部20から予測モデルの生成の指示を受け付けたタイミングで、予測モデルを生成し直してもよい。
乾燥重量推定装置10は、生成した予測モデルを用いて、日々取得される画像データ30のRGB色空間のGの色情報および環境情報から乾燥重量を推定する。図7に示すように、乾燥重量を推定結果は、乾燥重量の測定結果に近い結果が得られており、乾燥重量が測定されていない日についても推定結果が十分な精度であると推測できる。
藻類の培養状況を把握するためには、日々乾燥重量を測定できることが好ましいが、一般的な藻類の重量分析で乾燥重量を測定した場合、事業にかかるコストの増大を招く。また、一般的な藻類の重量分析は、ある時点の培養液をサンプリングして測定を行うため、現時点の乾燥重量をリアルタイムで知ることができない。一方、本実施例に係る乾燥重量推定装置10は、藻類の培養液をカメラ4で撮像するという簡易な構成で、リアルタイムに日々の藻類の乾燥重量を測定できる。また、乾燥重量推定装置10は、乾燥重量を測定する回数を減らすことができ、事業にかかるコストの増大を抑制できる。
次に、乾燥重量推定装置10が、培養液に階調が現れる範囲の一部を用いて藻類の乾燥重量の推定を行う場合を説明する。例えば、特定部41は、培養液に階調が現れる範囲の一部の画像から画像の色情報を特定する。図8は、培養槽を撮影した画像の一例を示す図である。例えば、特定部41は、図8の矩形で示す領域Bの部分の画像から、RGB色空間、HSV色空間、HLS色空間、L*a*b*色空間、YCrCb色空間の5つの色空間について、15個の色成分の平均値P1〜P15を特定する。生成部42は、5つの色空間の15個の色成分の平均値P1〜P15、水温、光量子束密度、pH、No3に対して、それぞれ重みを表すパラメータaを個別に乗算して加算し、さらに切片を表すパラメータbを加算する式とした予測モデルを生成する。乾燥重量推定装置10は、生成した予測モデルを用いて、日々取得される画像データ30の色情報および環境情報から乾燥重量を推定する。
図9は、回帰統計の算出結果を示す図である。図9は、培養液に階調が現れる一部範囲の15個の色成分の色情報および環境情報から生成した予測モデルについての回帰統計を算出した結果を示している。例えば、重相関Rは、0.7705であり、図6Aと比較して、相関が弱いことがわかる。
図10は、所定期間の藻類の乾燥重量の推定結果の一例を示すグラフである。図10には、図7と同様の2016年12月の藻類の乾燥重量を、HLS色空間のSの色成分の平均値および環境情報を用いて、推定した結果が「推定」として示されている。また、図10には、例えば、定期的に藻類の乾燥重量を測定した結果が「実測」として示されている。培養液に階調が現れる範囲の一部の色情報を用いた場合、範囲全体の色情報を用いた場合と比較して、推定結果の精度が低いことがわかる。すなわち、培養液中に配置されたライト3からの光によって培養液に階調が現れる範囲全体を含む画像から色情報を特定する方が乾燥重量を精度よく予測できる。
[処理の流れ]
次に、乾燥重量推定装置10が、乾燥重量を推定する乾燥重量推定処理の流れについて説明する。図11は、乾燥重量推定処理の一例を示すフローチャートである。この乾燥重量推定処理は、所定のタイミング、例えば、計測タイミングで実行される。
取得部40は、画像データ30および環境データ31を取得する(ステップS10)。例えば、取得部40は、カメラ4を制御して撮影を行う画像データ30を取得する。また、取得部40は、センサ6を制御して計測タイミングに合わせて培養液の環境を計測し、計測した環境データ31を取得する。
特定部41は、取得された画像データ30から画像の色情報を特定する(ステップS11)。
出力部43は、記憶部23に記憶された予測モデルデータ32を参照し、画像データ30の色情報と環境データ31から、画像データ30の画像に含まれる藻類の乾燥重量の推定値を算出する(ステップS12)。出力部43は、算出した藻類の乾燥重量の推定値を画像データ30の撮影日時と対応付けて推定データ33へ記憶し(ステップS13)、処理を終了する。
このように、本実施例に係る乾燥重量推定装置10は、藻類の培養液を撮像した画像と、画像を撮像した際の環境情報とを取得する。乾燥重量推定装置10は、取得した画像の色情報を特定する。乾燥重量推定装置10は、色情報と環境情報と乾燥重量との関係を記憶した記憶部23を参照し、特定した色情報と取得した環境情報とに基づいて、画像に含まれる藻類の乾燥重量の推定値を出力する。これにより、乾燥重量推定装置10は、藻類の乾燥重量を精度よく推定できる。
また、本実施例に係る乾燥重量推定装置10は、培養液の水温、培養液のpH、光量子束密度、硝酸イオンの濃度のうち少なくとも1つを含む環境情報を取得する。これにより、乾燥重量推定装置10は、藻類の色に影響を及ぼす培養液の環境を取得できるため、培養液の環境に応じた藻類の色から藻類の乾燥重量を精度よく推定できる。
また、本実施例に係る乾燥重量推定装置10は、画像から、複数の色空間についての色情報を特定する。乾燥重量推定装置10は、複数の色空間の色情報と環境情報から乾燥重量を算出する演算式、または、演算式に使用するパラメータの値を記憶部23に記憶する。乾燥重量推定装置10は、記憶部23に記憶された演算式、または、記憶部23に記憶されたパラメータの値を設定した演算式を用いて、特定した複数の色空間の色情報と取得した環境情報から画像に含まれる藻類の乾燥重量の推定値を算出する。乾燥重量推定装置10は、算出した推定値を出力する。これにより、乾燥重量推定装置10は、藻類の乾燥重量を精度よく推定できる。
また、本実施例に係るカメラ4は、培養液中に配置されたライト3からの光によって培養液に階調が現れる所定範囲を撮影する。これにより、乾燥重量推定装置10は、撮影された画像から培養液の環境および藻類の濃度に応じた色情報を適切に特定できるため、藻類の乾燥重量を精度よく推定できる。
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。
例えば、上記の実施例では、計測タイミングでカメラ4により画像を1枚撮影し、撮影された1枚の画像データの色情報から藻類の乾燥重量を推定する場合を説明したが、これに限定されるものではない。例えば、藻類が屋外等で培養される場合、培養液に浮遊する浮遊物等が画像に写る場合があり、浮遊物等がノイズとなる場合がある。そこで、次のように構成してもよい。例えば、取得部40は、計測タイミングでカメラ4に対して複数枚の画像を撮影するように制御して、藻類の培養液を同様のタイミングで撮像した複数の画像データを取得する。例えば、取得部40は、計測タイミングでカメラ4に対して所定間隔(例えば、5秒間隔)で複数枚の画像を撮影するように制御する。特定部41は、取得部40により取得された複数の画像データ30の画像の色情報をそれぞれ特定する。出力部43は、記憶部23に記憶された予測モデルデータ32を参照して、複数の画像データ30ごとに、画像データ30の画像の色情報と画像データ30の画像を撮影した際の環境情報から乾燥重量の推定値を求め、求めた乾燥重量の推定値の平均値を算出する。そして、出力部43は、乾燥重量の推定値の平均値を、撮影を行った計測タイミングの日時と対応付けて推定データ33へ出力して記憶させてもよい。培養槽1は、水車2によって培養液が攪拌されており、浮遊物は流れている。よって、撮影された複数の画像データの色情報から乾燥重量を算出することで、浮遊物等のノイズの影響を抑えて藻類の乾燥重量の推定できる。
また、上記の実施例では、予測モデルとして、式(1)の1次の演算式を用いた場合を説明したが、これに限定されるものではない。例えば、色情報と環境情報から乾燥重量を予測可能であれば、予測モデルとして、既存の何れのモデルの演算式を用いてもよい。
また、上記の実施例では、培養液を撮像した画像の色情報と環境情報と乾燥重量との関係を1つ記憶部23に記憶する場合を説明したが、これに限定されるものではない。例えば、乾燥重量推定装置10は、藻類の培養液の環境に応じて、色情報と環境情報と乾燥重量との関係を記憶部23に複数記憶してもよい。例えば、記憶部23には、藻類の培養液の水温、pH、光量子束密度、No3などの培養液の環境ごと、当該培養液の環境に対応した藻類の乾燥重量の予測モデルを記憶させてもよい。出力部43は、記憶部23に記憶された色情報と環境情報と乾燥重量との関係のうち、取得された環境情報に対応する色情報と環境情報と乾燥重量との関係を用いて、画像データ30の画像に含まれる藻類の乾燥重量の推定値を求め、当該推定値を出力してもよい。例えば、出力部43は、記憶部23に記憶された予測モデルのうち、測定された藻類の培養液の水温、pH、光量子束密度、No3などの培養液の環境に対応した予測モデルを用いて、藻類の乾燥重量を推定してもよい。
また、上記の実施例では、培養液を撮像した画像の色情報と環境情報と乾燥重量との関係を1つ記憶部23に記憶する場合を説明したが、これに限定されるものではない。例えば、乾燥重量推定装置10は、環境情報の積算値または平均値に応じて、色情報と環境情報と乾燥重量との関係を記憶部23に複数記憶してもよい。例えば、記憶部23には、藻類の培養液の水温、pH、光量子束密度、No3などの培養液の環境の所定期間での積算値または平均値ごと、当該積算値の環境に対応した藻類の乾燥重量の予測モデルを記憶させてもよい。出力部43は、記憶部23に記憶された色情報と環境情報と乾燥重量との関係のうち、所定期間に間に取得した環境情報の積算値または平均値に対応する色情報と環境情報と乾燥重量との関係を用いて、藻類の乾燥重量の推定値を求め、当該推定値を出力してもよい。例えば、出力部43は、記憶部23に記憶された予測モデルのうち、測定された藻類の培養液の水温、pH、光量子束密度、No3などの培養液の環境の積算値または平均値に対応した予測モデルを用いて、藻類の乾燥重量を推定してもよい。
また、上記の実施例では、カメラ4により、培養液中に配置されたライト3からの光によって培養液に階調が現れる所定範囲を撮影する場合を説明したが、これに限定されるものではない。例えば、カメラ4は、培養槽1のより広い範囲を撮影するようにしてもよい。例えば、カメラ4は、培養槽1の状態を全体的に監視するように配置してもよい。この場合、カメラ4の撮影画像からライト3からの光によって培養液に階調が現れる所定範囲の部分の画像を切り出して色情報を特定すればよい。これにより、例えば、培養槽1の状態を全体的に監視するカメラの画像を流用して乾燥重量を推定できる。
また、本実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともできる。あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られない。つまり、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、乾燥重量推定装置10の機能を複数のサーバに分散して実装させるような構成であってもよい。さらに、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
[システム]
さて、これまで開示のシステムに関する各実施例について説明したが、各実施例における乾燥重量推定装置10のハードウェア構成の一例について説明する。各装置で行われる各種処理機能は、CPU(又はMPU、MCU(Micro Controller Unit)等のマイクロ・コンピュータ)上で、その全部又は任意の一部を実行するようにしてもよい。また、各種処理機能は、CPU(又はMPU、MCU等のマイクロ・コンピュータ)で解析実行されるプログラム上、又はワイヤードロジックによるハードウェア上で、その全部又は任意の一部を実行するようにしてもよいことは言うまでもない。上記の各実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、ハードウェア構成の一例として、上記の各実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。
図12は、ハードウェア構成の一例を示す図である。乾燥重量推定装置10は、図12に示すコンピュータ7000と同様のハードウェア構成により実現できる。図12に示すように、コンピュータ7000は、各種演算処理を実行するプロセッサ7001と、入出力装置7002と、通信装置7003とを有する。また、コンピュータ7000は、各種情報を一時記憶するRAM7004と、ハードディスク装置7005とを有する。また、各装置7001〜7005は、バス7006に接続される。
ハードディスク装置7005には、上記各実施例で示した取得部40、特定部41、生成部42および出力部43の各処理部と同様の機能を有する部品位置検出プログラムが記憶される。ハードディスク装置7005には、部品位置検出プログラムを実現するための各種データが記憶される。例えば、ハードディスク装置7005には、画像データ30、環境データ31、予測モデルデータ32および推定データ33が記憶される。
プロセッサ7001は、ハードディスク装置7005に記憶された各プログラムを読み出して、RAM7004に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ7000を上記各実施例で示した取得部40、特定部41、生成部42および出力部43として機能させることができる。なお、上記の各プログラムは、必ずしもハードディスク装置7005に記憶されている必要はない。例えば、コンピュータ7000が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ7000が読み出して実行するようにしてもよい。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)藻類の培養液を撮像した画像と、前記画像を撮像した際の環境情報とを取得し、
取得した前記画像の色情報を特定し、
色情報と環境情報と乾燥重量との関係を記憶した記憶部を参照し、特定した前記色情報と取得した前記環境情報とに基づいて、前記画像に含まれる藻類の乾燥重量の推定値を出力する、
処理をコンピュータに実行させることを特徴とする乾燥重量推定プログラム。
(付記2)前記環境情報は、前記培養液の水温、前記培養液のpH、光量子束密度、硝酸イオンの濃度のうち少なくとも1つを含む、
ことを特徴とする付記1に記載の乾燥重量推定プログラム。
(付記3)前記色情報は、複数の色空間それぞれに対応する色情報であり、
前記関係は、色情報と環境情報とから乾燥重量を算出する演算式であり、
前記出力する処理は、前記演算式に基づいて前記推定値を算出する処理を含む、
ことを特徴とする付記1または2に記載の乾燥重量推定プログラム。
(付記4)前記記憶部は、前記関係として、藻類の培養液の環境に応じて、色情報と環境情報と乾燥重量との関係を複数記憶し、
前記出力する処理は、前記記憶部に記憶された色情報と環境情報と乾燥重量との関係のうち、取得された環境情報に対応する色情報と環境情報と乾燥重量との関係を用いて、前記画像に含まれる藻類の乾燥重量の推定値を求め、当該推定値を出力する、
ことを特徴とする付記1〜3の何れか1つに記載の乾燥重量推定プログラム。
(付記5)前記記憶部は、前記関係として、環境情報の積算値または平均値に応じて、色情報と環境情報と乾燥重量との関係を複数記憶し、
前記出力する処理は、前記記憶部に記憶された色情報と環境情報と乾燥重量との関係のうち、所定期間に取得した前記環境情報の積算値または平均値に対応する色情報と環境情報と乾燥重量との関係を用いて、前記画像に含まれる藻類の乾燥重量の推定値を求め、当該推定値を出力する、
ことを特徴とする付記1〜3の何れか1つに記載の乾燥重量推定プログラム。
(付記6)藻類の培養液を撮像した画像と、前記画像を撮像した際の環境情報とを取得し、
取得した前記画像の色情報を特定し、
色情報と環境情報と乾燥重量との関係を記憶した記憶部を参照し、特定した前記色情報と取得した前記環境情報とに基づいて、前記画像に含まれる藻類の乾燥重量の推定値を出力する、
処理をコンピュータが実行することを特徴とする乾燥重量推定方法。
(付記7)藻類が培養される培養液を撮影する撮影部および前記培養液の環境を検出するセンサから、藻類の培養液を撮像した画像と、前記画像を撮像した際の環境情報とを取得する取得部と、
前記取得部により取得した前記画像の色情報を特定する特定部と、
色情報と環境情報と乾燥重量との関係を記憶した記憶部を参照し、前記特定部により特定した前記色情報と取得した前記環境情報とに基づいて、前記画像に含まれる藻類の乾燥重量の推定値を出力する出力部と、
を有することを特徴とする乾燥重量推定装置。
(付記8)前記撮影部は、前記培養液中に配置された光源からの光によって前記培養液に階調が現れる所定範囲を撮影する
ことを特徴とする付記7に記載の乾燥重量推定装置。
(付記9)前記撮影部は、夜間の所定のタイミングで、藻類が培養される培養液を撮影する
ことを特徴とする付記7または8に記載の乾燥重量推定装置。