JP2020185118A - 液滴測定システム、液滴測定方法、及びプログラム - Google Patents
液滴測定システム、液滴測定方法、及びプログラム Download PDFInfo
- Publication number
- JP2020185118A JP2020185118A JP2019090982A JP2019090982A JP2020185118A JP 2020185118 A JP2020185118 A JP 2020185118A JP 2019090982 A JP2019090982 A JP 2019090982A JP 2019090982 A JP2019090982 A JP 2019090982A JP 2020185118 A JP2020185118 A JP 2020185118A
- Authority
- JP
- Japan
- Prior art keywords
- image
- droplet
- nozzle
- dropping
- droplets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 182
- 238000004364 calculation method Methods 0.000 claims abstract description 187
- 238000012544 monitoring process Methods 0.000 claims abstract description 98
- 238000005259 measurement Methods 0.000 claims abstract description 97
- 238000001514 detection method Methods 0.000 claims abstract description 73
- 238000003384 imaging method Methods 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims description 157
- 239000007788 liquid Substances 0.000 claims description 52
- 238000000605 extraction Methods 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 37
- 238000003860 storage Methods 0.000 claims description 30
- 230000010354 integration Effects 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 8
- 238000000691 measurement method Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract 1
- 238000012986 modification Methods 0.000 description 57
- 230000004048 modification Effects 0.000 description 57
- 238000010586 diagram Methods 0.000 description 38
- 238000001802 infusion Methods 0.000 description 25
- 230000010365 information processing Effects 0.000 description 23
- 230000000052 comparative effect Effects 0.000 description 19
- 230000002159 abnormal effect Effects 0.000 description 8
- 239000002131 composite material Substances 0.000 description 4
- 239000003978 infusion fluid Substances 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 235000015872 dietary supplement Nutrition 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005429 filling process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000013013 elastic material Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000009751 slip forming Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Infusion, Injection, And Reservoir Apparatuses (AREA)
Abstract
Description
図1は、本発明の一実施形態に係る液滴測定システムの概略構成を示す図である。図1においては、本実施形態に係る液滴測定システム10を、輸液バッグ2に充填された液体(点滴液)点滴する点滴装置1に適用した例を示している。点滴装置1は、輸液バッグ2に接続された中間チューブ3、点滴筒4、及び輸液チューブ5を含み、点滴筒4内には
ノズル6が取り付けられている。液滴測定システム10は、このノズル6の先端部(以下、ノズル先端部ともいう)6aから滴下する液滴7の体積を測定すると共に、測定した体積をもとに点滴の流量を制御する。
次に、液滴測定システム10の動作について説明する。図3は、液滴測定システム10の動作を示すフローチャートである。
点滴開始に先立って、ユーザは、点滴筒4の近傍に光源11及びカメラ12を設置する(図1参照)。この際、ユーザは、情報処理装置100を操作してカメラ12に撮像を実行させることにより画像を表示装置13に表示させ、画像を見ながら、ノズル先端部6a及びノズル先端部6aの下方の所定範囲が撮像素子12aの視野に入るように、光源11、点滴筒4、及びカメラ12の位置関係を調整すると良い。
図12は、本発明の実施形態における滴下状態の判定処理の変形例を示すフローチャートである。なお、図12のステップS161〜S164における処理は、上記実施形態において説明した図10のステップS131〜S134における処理と同様である。上記実施形態においては、滴下画像が最初に検出された際に滴下開始状態に遷移したと認識したが、本変形例においては、滴下画像が複数回検出された場合に、滴下開始状態に遷移したと認識する。
次に、滴下待機画像の判定処理(図10のステップS132参照)及び滴下画像の判定処理(図10のステップS136及び図12のステップS167参照)を実行する際に設定される監視領域について詳細に説明する。図13〜図16は、監視領域の設定方法を説明するための模式図である。
次に、滴下待機画像の判定処理(図10のステップS132参照)について詳細に説明する。図17は、本実施形態における滴下待機画像の判定処理を示すフローチャートである。図18は、本実施形態における滴下待機画像の判定処理を説明するための模式図である。図18に示す画像m50〜m53は、ノズルに垂下する液滴が徐々に大きくなる様子を時系列順に写した画像を表している。画像m50〜m52においては、監視領域R内の探索済みの領域にグレーの網掛けを付している。
ここで、図1に示すように、点滴筒4内においてノズル6から液滴を滴下させる場合、点滴筒4内に溜まった液体が跳ねて点滴筒4の内壁に付着し、内壁に付着した液体の像が監視領域Rに写ってしまうことがある。このような場合、0階調の画素が1つでも存在する行を液滴存在行として判定すると(図17のステップS204参照)、監視領域Rにおける液体の像の位置によっては、滴下待機画像の誤検出が生じてしまうおそれがある。
本変形例によれば、滴下待機画像の誤検出を抑制することが可能となる。
次に、滴下画像の判定処理(図10のステップS136、図12のステップS167参照)について詳細に説明する。図20は、本発明の実施形態における滴下画像の判定処理を示すフローチャートである。図21は、本発明の実施形態における滴下画像の判定処理を説明するための模式図である。図21に示す画像m55〜m58は、滴下待機画像が検出された後の画像を時系列順に示している。
上記実施形態においては、液切れ行が1行でも検出されると、判定対象の画像は滴下画像であると判定した(図19のステップS304、S307参照)。しかしながら、液切れ行が連続する複数行にわたって検出された場合に、判定対象の画像は滴下画像であると判定しても良い。判定基準とする液切れ行の行数(閾値)は、滴下する液体の種類、ワークディスタンス、画像のスケール等に基づいて適宜設定すれば良い。
本変形例によれば、ノズルに垂下していた液滴が確実に切れた状態をもって滴下画像と判定することが可能となる。
次に、画像に写った液滴の像の抽出処理(図11のステップS152参照)について詳細に説明する。図28は、図2に示す体積算出部135のうち領域抽出部143が実行する液滴の像の領域の抽出処理を示すフローチャートである。図29は、時系列順に生成された滴下開始画像前後の画像を示す図である。図30〜図32は、本実施形態における液滴の像の領域の抽出処理を説明するための模式図である。
次に、滴下待機状態の最後の画像から抽出された領域の体積の算出処理(図11のステップS153参照)について詳細に説明する。図33は、図2に示す体積算出部の135のうち、円面積算出部144及び積算部145が実行する抽出された領域の体積の算出処理を示すフローチャートである。
次に、抽出された領域の体積の算出処理の第1の変形例について説明する。図34は、抽出された領域の体積の算出処理の第1の変形例を示すフローチャートである。図35は、時系列順に生成された滴下開始画像前後の画像を示す図である。図36及び図37は、抽出された領域の体積の算出処理の第1の変形例を説明するための模式図である。
次に、抽出された領域の体積の算出処理の第2の変形例について説明する。図38は、抽出された領域の体積の算出処理の第2の変形例を示すフローチャートである。図39は、抽出された領域の体積の算出処理の第2の変形例を説明するための模式図である。
次に、抽出された領域の体積の算出処理の第3の変形例について説明する。図40は、抽出された領域の体積の算出処理の第3の変形例を説明するための模式図である。
次に、抽出された領域の体積の算出処理の第4の変形例について説明する。図41及び図42は、抽出された領域の体積の算出処理の第4の変形例を説明するための模式図である。上記第3の変形例においては、傾きセンサ14から出力された検出値に基づいて、領域11の分割線L4(図40参照)を設定することとした。しかしながら、傾きセンサ14が設けられていない場合には、抽出された領域の形状に基づいて分割線を設定することも可能である。
次に、画像から抽出された領域について算出された体積に基づいて液滴の体積を算出する処理(図11のステップS154参照)について説明する。
次に、図2に示す誤差補正部146の動作について説明する。
液滴の滴下を開始してから時間が経過すると、点滴筒4(図1参照)内において液体が飛び跳ね、ノズル6に付着することにより液滴体積の測定誤差が生じたり、振動等により一時的にイレギュラーな状態となり、想定外の測定値が算出されたりすることがある。誤差補正部146は、このような異常値が算出される場合に備えて、点滴開始後の所定時間(例えば、数分〜十数分間)に測定した液滴の体積を基準値として、適正な体積の範囲の上限値及び下限値を設定しておく。そして、誤差補正部146は、設定範囲を外れた異常値が算出された場合に、この異常値の代わりに暫定値を挿入する。暫定値としては、例えば、設定範囲を定める際に使用された基準値、この際に測定された液滴の体積の平均値、或いは、過去の所定時間内に測定された液滴の体積の平均値等を用いることができる。
次に、図2に示す高流量調整部147の動作について説明する。
上述したように、液滴体積の測定値としては、過去複数回にわたって算出された体積算出値1、2、…の平均値が用いられることがある。高流量調整部147は、この平均値を算出する際に用いられる体積算出値の数を、流量制御部122に対して設定された流量に応じて調整する。詳細には、高流量調整部147は、流量の設定値が所定値以上である場合に、平均値の算出に用いられる体積算出値の数を増加させる。
ノズルから液滴を1時間にわたって連続して滴下し、画像に基づいて算出された液滴の体積と、実際に滴下された液滴の体積との誤差を算出する実験を行った。実験の条件は以下のとおりである。
ノズルの種類:20滴/mL
液滴の像の領域の抽出方法:滴下待機状態の最後の画像と滴下開始画像の2フレーム後の画像との差分画像に基づいて抽出した第1の領域と、滴下待機状態の最後の画像に矩形領域を設定することにより抽出した第2の領域とを合成した(図28参照)。
体積算出方法:第1及び第2の領域の各行の画素数を直径とする円の面積を算出し、これらの円の面積を積算した(図33参照)。
ノズルの種類:20滴/mL
液滴の像の領域の抽出方法:実施例1と同じ。
体積算出方法:第1の領域については、外接する矩形領域の垂直方向の中心線により左右に分割し、画素数が多い側の2倍のサイズを直径とする円の面積を算出し、積算した。第2の領域については、抽出された領域の各行の画素数を直径とする円の面積を算出し、積算した(図34参照)。
ノズルの種類:60滴/mL
液滴の像の領域の抽出方法:実施例1と同じ。
体積算出方法:実施例1と同じ。
ノズルの種類:60滴/mL
液滴の像の領域の抽出方法:実施例1と同じ。
体積算出方法:実施例2と同じ。
ノズルの種類:20滴/mL
液滴の像の領域の抽出方法:滴下待機状態の最後の画像から滴下開始画像の2フレーム後の画像を差し引いた差分画像に対し、二値化処理及びブロブ処理を施した。
体積算出方法:実施例1と同じ。
ノズルの種類:60滴/mL
液滴の像の領域の抽出方法:比較例1と同じ。
体積算出方法:実施例1と同じ。
画像内におけるノズルの先端の幅:125px
ノズルの先端から監視領域までの距離:119px(ノズルの幅の約0.95倍)
監視領域の横幅:181px(ノズルの幅の約1.45倍)
監視領域の縦の長さ:81px(ノズルの幅の約0.65倍)
画像内におけるノズルの先端の幅:33px
ノズルの先端から監視領域までの距離:29px(ノズルの幅の約0.9倍)
監視領域の横幅:81px(ノズルの幅の約2.45倍)
監視領域の縦の長さ:81px(ノズルの幅の約2.45倍)
2a 排液ポート
2 輸液バッグ
3 中間チューブ
4 点滴筒
4a 上蓋
5 輸液チューブ
6 ノズル
6a ノズル先端部
7 液滴
8 クレンメ
9 アクチュエータ
10 液滴測定システム
11 光源
12 カメラ
12a 撮像素子
13 表示装置
14 センサ
100 情報処理装置
101 入出力部
102 操作入力部
103 記憶部
104 演算部
111 プログラム記憶部
112 設定値記憶部
113 画像データ記憶部
114 測定値記憶部
115 滴下検出用画像バッファ
116 体積算出用画像バッファ
121 撮像制御部
122 流量制御部
123 画像処理部
131 画像生成部
132 エラー判定部
133 流量推定部
134 滴下検出部
135 体積算出部
141 滴下待機判定部
142 滴下開始判定部
143 領域抽出部
144 円面積算出部
145 積算部
146 誤差補正部
147 高流量調整部
Claims (36)
- ノズルから滴下する液滴の体積を測定する液滴測定システムにおいて、
被写体を撮像して画像データを出力する撮像装置であって、前記ノズルの先端部と、前記ノズルに垂下する液滴全体とを視野に収めるように設置される撮像装置と、
前記撮像装置から出力される画像データに基づき、前記ノズルから液滴が滴下する様子を写した画像を時系列順に生成する画像生成部と、
前記画像生成部により時系列順に生成される画像から、前記ノズルから液滴が離れて滴下し始めた状態を写した画像である滴下開始画像を検出する滴下検出部と、
前記滴下開始画像の所定フレーム前の画像と、前記滴下開始画像の所定フレーム後の画像とに基づいて、前記滴下開始画像に写った液滴の体積を算出する体積算出部と、
を備え、
前記滴下検出部は、
前記画像生成部により時系列順に生成される画像に対し、前記ノズルの先端部が写った位置から所定の距離だけ下方の位置に所定の大きさを有する矩形領域を設定し、該矩形領域内を監視することにより、前記ノズルの先端部に液滴が垂下している状態を写した画像である滴下待機画像を検出する滴下待機判定部と、
前記滴下待機画像が検出された後、前記画像生成部により生成される画像における前記矩形領域内を監視することにより、前記滴下開始画像を検出する滴下開始判定部と、
を有する、液滴測定システム。 - 第1のバッファ記憶領域と第2のバッファ記憶領域とを含む記憶部をさらに備え、
前記画像生成部は、前記撮像装置から出力される画像データに対して所定の処理を施し、該処理が施された画像データを前記第1のバッファ記憶領域に記憶させ、
前記滴下検出部は、前記滴下開始画像が検出された際に、前記第1のバッファ記憶領域に記憶された画像データのうち、該滴下開始画像の前記所定フレーム前の画像及び前記所定フレーム後の画像の画像データを前記第2のバッファ記憶領域にコピーし、
前記体積算出部は、前記第2のバッファ記憶領域に記憶された画像データに基づいて、前記液滴の体積を算出する、請求項1に記載の液滴測定システム。 - 前記滴下待機判定部は、前記矩形領域内において垂直方向に連続する液滴の像の領域を検出した場合に、判定対象の画像は前記滴下待機画像であると判定し、
前記滴下開始判定部は、前記矩形領域内において垂直方向に分断された液滴の像の領域を検出した場合に、判定対象の画像は前記滴下開始画像であると判定する、
請求項1又は2に記載の液滴測定システム。 - 前記滴下待機判定部は、前記矩形領域内において垂直方向に連続する液滴の像を検出した場合に、判定対象の画像は前記滴下待機画像であると判定し、
前記滴下開始判定部は、前記矩形領域内において垂直方向に分断された液体の像を連続する複数フレームにわたって検出した場合に、該複数フレームの先頭の画像が前記滴下開始画像であると判定する、
請求項1又は2に記載の液滴測定システム。 - 前記滴下開始判定部は、前記滴下待機判定部が前記滴下待機画像を検出した後、前記画像生成部により時系列順に生成される画像の監視を開始し、
前記滴下待機判定部は、前記滴下開始判定部が前記滴下開始画像を検出した後、前記画像生成部により時系列順に生成される画像の監視を再開する、
請求項1〜4のいずれか1項に記載の液滴測定システム。 - 前記画像生成部により生成される画像における前記ノズルの像の下端の位置を検出し、該下端の位置が所定範囲内に位置していない場合にエラー信号を出力するエラー判定部と、
前記ノズルの液滴の滴下開始を制御する流量制御部と、
外部からなされる操作に応じた信号を前記流量制御部に入力する操作入力部と、
をさらに備え、
前記流量制御部は、前記エラー判定部からエラー信号が出力された場合には、前記操作入力部から液滴の滴下開始を指示する信号が入力されたときであっても、前記ノズルからの液滴の滴下を開始させない、請求項1〜5のいずれか1項に記載の液滴測定システム。 - 前記画像生成部により生成される画像における前記ノズルの像を認識し、該ノズルの像の形状と太さとの少なくともいずれかに基づいて、前記ノズルから滴下する液滴の標準的な流量の範囲を推定する流量推定部と、
前記ノズルから滴下する液滴の流量を制御する流量制御部と、
外部からなされる操作に応じて、前記ノズルから滴下させる液滴の流量の設定値を表す信号を前記流量制御部に入力する操作入力部と、
をさらに備え、
前記流量制御部は、前記設定値が、前記流量推定部により推定された前記標準的な流量の範囲に含まれない場合、前記ノズルからの液滴の滴下を開始させない、請求項1〜5のいずれか1項に記載の液滴測定システム。 - 前記画像生成部により生成される画像の垂直方向において、
前記矩形領域の上端は、前記ノズルの像の先端よりも下方に設定され、
前記矩形領域の下端は、前記滴下開始画像の所定フレーム前の画像に写った液滴の像の下端よりも上方となるように設定される、請求項1〜7のいずれか1項に記載の液滴測定システム。 - 前記ノズルから液滴を滴下させる条件を変化させた場合に、前記滴下開始画像においてノズルに付着する液滴の像の下端部と、前記滴下開始画像において落下する液滴の像の上端部との隙間が変化し、且つ、前記条件を変化させた場合に変化する前記隙間同士の間で共通する範囲が存在するとき、
前記矩形領域の垂直方向のサイズは、前記隙間同士の間で共通する範囲を包含するように設定される、請求項8に記載の液滴測定システム。 - 前記ノズルから液滴を滴下させる条件を変化させた場合に、前記滴下開始画像においてノズルに付着する液滴の像の下端部と、前記滴下開始画像において落下する液滴の像の上端部との隙間が変化し、且つ、前記条件を変化させた場合に変化する前記隙間同士の間で共通する範囲が存在しないとき、
前記矩形領域の垂直方向のサイズは、前記条件を変化させた場合における前記上端部のうち最も上方の位置と、前記条件を変化させた場合における前記下端部のうち最も下方の位置と、の間の範囲を包含するように設定される、請求項8に記載の液滴測定システム。 - 前記ノズルから液滴を滴下させる条件を変化させた場合に、前記滴下開始画像における液滴の像の幅が変化するとき、
前記矩形領域の水平方向のサイズは、前記条件を変化させた場合に変化する前記幅のうち最も大きい幅を包含するように設定される、請求項8〜10のいずれか1項に記載の液滴測定システム。 - 前記滴下待機判定部は、
前記矩形領域に二値化処理を施すことにより、液滴の像の少なくとも輪郭領域の画素の階調を第1の階調に変換すると共に、液滴の像の背景領域の画素の階調を第2の階調に変換し、
前記矩形領域内を探索することにより、前記第1の階調を有する画素が存在する行を液滴存在行として抽出し、
探索の結果、前記矩形領域の全ての行が液滴存在行である場合に、判定対象の画像は滴下待機画像であると判定する、請求項1〜11のいずれか1項に記載の液滴測定システム。 - 前記滴下待機判定部は、
前記矩形領域に対して二値化処理を施すことにより、液滴の像の少なくとも輪郭領域の画素の階調を第1の階調に変換すると共に、液滴の像の背景領域の画素の階調を第2の階調に変換し、
前記矩形領域内を探索することにより、前記第1の階調を有する複数の画素が連続して存在する行を液滴存在行として抽出し、
探索の結果、前記矩形領域の全ての行が液滴存在行である場合に、判定対象の画像は滴下待機画像であると判定する、請求項1〜11のいずれか1項に記載の液滴測定システム。 - 前記滴下開始判定部は、前記二値化処理が施された前記矩形領域内を探索し、全ての画素が前記第2の階調を有する行が検出された場合に、判定対象の画像は滴下開始画像であると判定する、請求項12又は13に記載の液滴測定システム。
- 前記滴下開始判定部は、前記二値化処理が施された前記矩形領域内を探索し、全ての画素が前記第2の階調を有する行が連続して複数行にわたって検出された場合に、判定対象の画像は滴下開始画像であると判定する、請求項12又は13に記載の液滴測定システム。
- 前記滴下開始判定部は、全ての画素が前記第2の階調を有する行が検出された場合であっても、前記矩形領域の下端と連続する1つ以上の行が、全ての画素が前記第2の階調を有する行である場合には、判定対象の画像は滴下開始画像ではないと判定する、請求項14又は15に記載の液滴測定システム。
- 前記滴下開始判定部は、前記二値化処理が施された前記矩形領域について、該矩形領域の下端と連続する複数行における前記第1の諧調を有する画素をカウントし、該画素の総数が、当該判定対象の画像の直前のフレームにおける前記総数から、所定の閾値を超えて減少している場合に、判定対象の画像は滴下開始画像であると判定する、請求項12又は13に記載の液滴測定システム。
- ノズルから滴下する液滴の体積を測定する液滴測定システムにおいて、
被写体を撮像して画像データを出力する撮像装置であって、前記ノズルの先端部と、前記ノズルに垂下する液滴全体とを視野に収めるように設置される撮像装置と、
前記撮像装置から出力される画像データに基づき、前記ノズルから液滴が滴下する様子を写した画像を時系列順に生成する画像生成部と、
前記画像生成部により時系列順に生成される画像から、前記ノズルから液滴が離れて滴下し始めた状態を写した画像である滴下開始画像を検出する滴下検出部と、
前記滴下開始画像の所定フレーム前の画像と、前記滴下開始画像の所定フレーム後の画像とに基づいて、前記滴下開始画像に写った液滴の体積を算出する体積算出部と、
を備え、
前記体積算出部は、
前記所定フレーム前の画像に写った液滴の像の領域を抽出する領域抽出部と、
前記領域抽出部により抽出された領域を回転体の投影像とみなし、該抽出された領域の各行について、画素数を直径とする円の面積を算出する円面積算出部と、
前記円面積算出部により算出された面積を積算する積算部と、
を含み、
前記領域抽出部は、
前記所定フレーム前の画像である第1の画像と、前記所定フレーム後の画像である第2の画像との差分画像を生成し、
前記差分画像に対して二値化処理を施すことにより第3の画像を生成すると共に、該第3の画像に対して穴埋め処理を施すことにより得られる第4の画像を生成し、
前記第3及び第4の画像に基づき、前記第1及び第2の画像の間で重なり合う液滴の像の部分を画定するための領域を設定し、該領域を前記第1の画像に適用することにより前記重なり合う液滴の像の部分を抽出し、
前記重なり合う液滴の像の部分と、前記第4の画像から抽出される部分とを合成することにより、前記第1の画像に写った液滴の像全体の領域を抽出する、液滴測定システム。 - 前記円面積算出部は、前記領域抽出部により抽出された領域のうち、前記第4の画像から抽出された部分に対して、該部分に外接する矩形の枠を設定すると共に、該枠の垂直方向に延びる中心線を設定し、前記第4の画像から抽出された部分の各行について、前記中心線の左右の側のうち画素数が多い側の画素数の2倍を直径とする円の面積を算出する、請求項18に記載の液滴測定システム。
- 前記円面積算出部は、前記領域抽出部により抽出された領域のうち、前記第4の画像から抽出された部分に対し、前記第1の画像に写った前記ノズルの像の下端の中心を通る線を分割線として設定し、該分割線と直交する方向に延びる各行について、該分割線の両側のうち画素数が多い側の画素数の2倍を直径とする円の面積を算出する、請求項18に記載の液滴測定システム。
- 前記円面積算出部は、前記ノズルの像の下端の中心を通り、且つ、前記第1の画像の垂直方向と平行な線を、前記分割線として設定する、請求項20に記載の液滴測定システム。
- 前記ノズルの傾きを検出する角度センサをさらに備え、
前記円面積算出部は、前記ノズルの像の下端の中心を通り、且つ、前記第1の画像の垂直方向と平行な線を前記角度センサによる検出結果に基づいて補正した線を、前記分割線として設定する、請求項20に記載の液滴測定システム。 - 前記円面積算出部は、前記ノズルの像の下端の中心と、前記第4の画像から抽出された部分の輪郭上の各点とを結ぶ線分のうち、最も長い線分を前記分割線とする、請求項20に記載の液滴測定システム。
- 前記円面積算出部は、前記第4の画像から抽出された部分のうち水平方向における幅が最大となる位置における幅の中心点と、前記ノズルの像の下端の中心とを結ぶ直線を前記分割線とする、請求項20に記載の液滴測定システム。
- ノズルから滴下する液滴の体積を測定する液滴測定システムにおいて、
被写体を撮像して画像データを出力する撮像装置であって、前記ノズルの先端部と、前記ノズルに垂下する液滴全体とを視野に収めるように設置される撮像装置と、
前記撮像装置から出力される画像データに基づき、前記ノズルから液滴が滴下する様子を写した画像を時系列順に生成する画像生成部と、
前記画像生成部により時系列順に生成される画像から、前記ノズルから液滴が離れて滴下し始めた状態を写した画像である滴下開始画像を検出する滴下検出部と、
前記滴下開始画像の所定フレーム前の画像と、前記滴下開始画像の所定フレーム後の画像とに基づいて、前記滴下開始画像に写った液滴の体積を算出する体積算出部と、
を備え、
前記体積算出部は、前記ノズルからの液滴の滴下を開始してから所定時間内に測定された液滴の体積を基準として、液滴の体積の上限値及び下限値を設定し、前記体積算出部により算出された液滴の体積が前記上限値及び下限値から外れている場合に、該算出された液滴の体積の代わりに、所定の暫定値を挿入する誤差補正部を有する、液滴測定システム。 - 前記暫定値は、前記所定時間内に測定された液滴の体積の平均値である、請求項25に記載の液滴測定システム。
- 前記暫定値は、前記上限値及び下限値から外れた液滴の体積が算出されたとき以前の所定回の間に算出された液滴の体積の平均値である、請求項25に記載の液滴測定システム。
- 前記体積算出部は、前記ノズルから滴下する液滴の流量の設定値に応じて、前記下限値を設定する、請求項25に記載の液滴測定システム。
- 前記体積算出部は、過去の複数回にわたって算出した液滴の体積の平均値を、液滴の体積の測定値として出力する、請求項1〜28のいずれか1項に記載の液滴測定システム。
- 前記体積算出部は、前記ノズルから滴下する液滴の流量の設定値に応じて、前記液滴の体積の平均を取る回数を設定する、請求項29に記載の液滴測定システム。
- ノズルから滴下する液滴の体積を測定する液滴測定システムにおいて実行される液滴測定方法において、
被写体を撮像して画像データを出力する撮像装置であって、前記ノズルの先端部と、前記ノズルに垂下する液滴全体とを視野に収めるように設置される撮像装置から出力される画像データに基づき、前記ノズルから液滴が滴下する様子を写した画像を時系列順に生成する画像生成ステップと、
前記画像生成ステップにおいて時系列順に生成される画像から、前記ノズルから液滴が離れて滴下し始めた状態を写した画像である滴下開始画像を検出する滴下検出ステップと、
前記滴下開始画像の所定フレーム前の画像と、前記滴下開始画像の所定フレーム後の画像とに基づいて、前記滴下開始画像に写った液滴の体積を算出する体積算出ステップと、
を含み、
前記滴下検出ステップは、
前記画像生成ステップにおいて時系列順に生成される画像に対し、前記ノズルの先端部が写った位置から所定の距離だけ下方の位置に所定の大きさを有する矩形領域を設定し、該矩形領域内を監視することにより、前記ノズルの先端部に液滴が垂下している状態を写した画像である滴下待機画像を検出する滴下待機判定ステップと、
前記滴下待機画像が検出された後、前記画像生成ステップにおいて生成される画像に対して前記矩形領域を設定し、該矩形領域内を監視することにより、前記滴下開始画像を検出する滴下開始判定ステップと、
を有する、液滴測定方法。 - ノズルから滴下する液滴の体積を測定する液滴測定システムにおいて実行される液滴測定方法において、
被写体を撮像して画像データを出力する撮像装置であって、前記ノズルの先端部と、前記ノズルに垂下する液滴全体とを視野に収めるように設置される撮像装置から出力される画像データに基づき、前記ノズルから液滴が滴下する様子を写した画像を時系列順に生成する画像生成ステップと、
前記画像生成ステップにおいて時系列順に生成される画像から、前記ノズルから液滴が離れて滴下し始めた状態を写した画像である滴下開始画像を検出する滴下検出ステップと、
前記滴下開始画像の所定フレーム前の画像と、前記滴下開始画像の所定フレーム後の画像とに基づいて、前記滴下開始画像に写った液滴の体積を算出する体積算出ステップと、
を含み、
前記体積算出ステップは、
前記所定フレーム前の画像に写った液滴の像の領域を抽出する領域抽出部ステップと、
前記領域抽出ステップにおいて抽出された領域を回転体の投影像とみなし、該抽出された領域に並ぶ画素の画素数に基づいて、前記回転体をスライスした円に相当する面積を算出する円面積算出ステップと、
前記円面積算出部により算出された面積を積算する積算ステップと、
を含み、
前記領域抽出ステップは、
前記所定フレーム前の画像である第1の画像と、前記所定フレーム後の画像である第2の画像との差分画像を生成し、
前記差分画像に対して二値化処理を施すことにより第3の画像を生成すると共に、該第3の画像に対して穴埋め処理を施すことにより得られる第4の画像を生成し、
前記第3及び第4の画像に基づき、前記第1及び第2の画像の間で重なり合う液滴の像の部分を画定するための領域を設定し、該領域を前記第1の画像に適用することにより前記重なり合う液滴の像の部分を抽出し、
前記重なり合う液滴の像の部分と、前記第4の画像から抽出される部分とを合成することにより、前記第1の画像に写った液滴の像全体の領域を抽出する、液滴測定方法。 - ノズルから滴下する液滴の体積を測定する液滴測定システムにおいて実行される液滴測定方法において、
被写体を撮像して画像データを出力する撮像装置であって、前記ノズルの先端部と、前記ノズルに垂下する液滴全体とを視野に収めるように設置されるから出力される画像データに基づき、前記ノズルから液滴が滴下する様子を写した画像を時系列順に生成する画像生成ステップと、
前記画像生成ステップにおいて時系列順に生成される画像から、前記ノズルから液滴が離れて滴下し始めた状態を写した画像である滴下開始画像を検出する滴下検出ステップと、
前記滴下開始画像の所定フレーム前の画像と、前記滴下開始画像の所定フレーム後の画像とに基づいて、前記滴下開始画像に写った液滴の体積を算出する体積算出ステップと、
を含み、
前記体積算出ステップは、前記ノズルからの液滴の滴下を開始してから所定時間内に測定された液滴の体積を基準として、液滴の体積の上限値及び下限値を設定し、前記体積算出部により算出された液滴の体積が前記上限値及び下限値から外れている場合に、該算出された液滴の体積の代わりに、所定の暫定値を挿入することにより、誤差を補正する、液滴測定方法。 - ノズルから滴下する液滴の体積を測定する液滴測定システムにおいてコンピュータに実行させるプログラムにおいて、
被写体を撮像して画像データを出力する撮像装置であって、前記ノズルの先端部と、前記ノズルに垂下する液滴全体とを視野に収めるように設置される撮像装置から出力される画像データに基づき、前記ノズルから液滴が滴下する様子を写した画像を時系列順に生成する画像生成ステップと、
前記画像生成ステップにおいて時系列順に生成される画像から、前記ノズルから液滴が離れて滴下し始めた状態を写した画像である滴下開始画像を検出する滴下検出ステップと、
前記滴下開始画像の所定フレーム前の画像と、前記滴下開始画像の所定フレーム後の画像とに基づいて、前記滴下開始画像に写った液滴の体積を算出する体積算出ステップと、
を実行させ、
前記滴下検出ステップは、
前記画像生成ステップにおいて時系列順に生成される画像に対し、前記ノズルの先端部が写った位置から所定の距離だけ下方の位置に所定の大きさを有する矩形領域を設定し、該矩形領域内を監視することにより、前記ノズルの先端部に液滴が垂下している状態を写した画像である滴下待機画像を検出する滴下待機判定ステップと、
前記滴下待機画像が検出された後、前記画像生成ステップにおいて生成される画像に対して前記矩形領域を設定し、該矩形領域内を監視することにより、前記滴下開始画像を検出する滴下開始判定ステップと、
を含む、プログラム。 - ノズルから滴下する液滴の体積を測定する液滴測定システムにおいてコンピュータに実行させるプログラムにおいて、
被写体を撮像して画像データを出力する撮像装置であって、前記ノズルの先端部と、前記ノズルに垂下する液滴全体とを視野に収めるように設置される撮像装置から出力される画像データに基づき、前記ノズルから液滴が滴下する様子を写した画像を時系列順に生成する画像生成ステップと、
前記画像生成ステップにおいて時系列順に生成される画像から、前記ノズルから液滴が離れて滴下し始めた状態を写した画像である滴下開始画像を検出する滴下検出ステップと、
前記滴下開始画像の所定フレーム前の画像と、前記滴下開始画像の所定フレーム後の画像とに基づいて、前記滴下開始画像に写った液滴の体積を算出する体積算出ステップと、
を実行させ、
前記体積算出ステップは、
前記所定フレーム前の画像に写った液滴の像の領域を抽出する領域抽出部ステップと、
前記領域抽出ステップにおいて抽出された領域を回転体の投影像とみなし、該抽出された領域に並ぶ画素の画素数に基づいて、前記回転体をスライスした円に相当する面積を算出する円面積算出ステップと、
前記円面積算出部により算出された面積を積算する積算ステップと、
を含み、
前記領域抽出ステップは、
前記所定フレーム前の画像である第1の画像と、前記所定フレーム後の画像である第2の画像との差分画像を生成し、
前記差分画像に対して二値化処理を施すことにより第3の画像を生成すると共に、該第3の画像に対して穴埋め処理を施すことにより得られる第4の画像を生成し、
前記第3及び第4の画像に基づき、前記第1及び第2の画像の間で重なり合う液滴の像の部分を画定するための領域を設定し、該領域を前記第1の画像に適用することにより前記重なり合う液滴の像の部分を抽出し、
前記重なり合う液滴の像の部分と、前記第4の画像から抽出される部分とを合成することにより、前記第1の画像に写った液滴の像全体の領域を抽出する、プログラム。 - ノズルから滴下する液滴の体積を測定する液滴測定システムにおいてコンピュータに実行させるプログラムにおいて、
被写体を撮像して画像データを出力する撮像装置であって、前記ノズルの先端部と、前記ノズルに垂下する液滴全体とを視野に収めるように設置されるから出力される画像データに基づき、前記ノズルから液滴が滴下する様子を写した画像を時系列順に生成する画像生成ステップと、
前記画像生成ステップにおいて時系列順に生成される画像から、前記ノズルから液滴が離れて滴下し始めた状態を写した画像である滴下開始画像を検出する滴下検出ステップと、
前記滴下開始画像の所定フレーム前の画像と、前記滴下開始画像の所定フレーム後の画像とに基づいて、前記滴下開始画像に写った液滴の体積を算出する体積算出ステップと、
を実行させ、
前記体積算出ステップは、前記ノズルからの液滴の滴下を開始してから所定時間内に測定された液滴の体積を基準として、液滴の体積の上限値及び下限値を設定し、前記体積算出部により算出された液滴の体積が前記上限値及び下限値から外れている場合に、該算出された液滴の体積の代わりに、所定の暫定値を挿入することにより、誤差を補正する、プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019090982A JP7324485B2 (ja) | 2019-05-13 | 2019-05-13 | 液滴測定システム、液滴測定方法、及びプログラム |
JP2022067663A JP7324533B2 (ja) | 2019-05-13 | 2022-04-15 | 液滴測定システム、液滴測定方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019090982A JP7324485B2 (ja) | 2019-05-13 | 2019-05-13 | 液滴測定システム、液滴測定方法、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022067663A Division JP7324533B2 (ja) | 2019-05-13 | 2022-04-15 | 液滴測定システム、液滴測定方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020185118A true JP2020185118A (ja) | 2020-11-19 |
JP2020185118A5 JP2020185118A5 (ja) | 2022-04-25 |
JP7324485B2 JP7324485B2 (ja) | 2023-08-10 |
Family
ID=73220721
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019090982A Active JP7324485B2 (ja) | 2019-05-13 | 2019-05-13 | 液滴測定システム、液滴測定方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7324485B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115479627A (zh) * | 2022-07-27 | 2022-12-16 | 谭万龙 | 一种液滴计数和流量测量方法、系统、设备、存储介质 |
JP7191351B1 (ja) | 2022-04-06 | 2022-12-19 | 有限会社イグノス | 流量制御システム、点滴システム、輸液ポンプ、流量制御方法及びプログラム |
CN115910274A (zh) * | 2022-11-17 | 2023-04-04 | 珠海迪尔生物工程股份有限公司 | 滴液控制方法、系统、电子设备及其存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011062371A (ja) * | 2009-09-17 | 2011-03-31 | Terumo Corp | 点滴検出装置、輸液ポンプとその制御方法 |
WO2016114264A1 (ja) * | 2015-01-13 | 2016-07-21 | 株式会社村田製作所 | 滴下量測定装置、滴下量コントローラ、点滴装置および液滴体積測定装置 |
JP2017015626A (ja) * | 2015-07-03 | 2017-01-19 | 東芝デジタルメディアエンジニアリング株式会社 | 吐出量測定装置 |
JP2018148962A (ja) * | 2017-03-09 | 2018-09-27 | 株式会社アイカムス・ラボ | 液滴測定システム、液滴測定方法及びプログラム |
-
2019
- 2019-05-13 JP JP2019090982A patent/JP7324485B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011062371A (ja) * | 2009-09-17 | 2011-03-31 | Terumo Corp | 点滴検出装置、輸液ポンプとその制御方法 |
WO2016114264A1 (ja) * | 2015-01-13 | 2016-07-21 | 株式会社村田製作所 | 滴下量測定装置、滴下量コントローラ、点滴装置および液滴体積測定装置 |
JP2017015626A (ja) * | 2015-07-03 | 2017-01-19 | 東芝デジタルメディアエンジニアリング株式会社 | 吐出量測定装置 |
JP2018148962A (ja) * | 2017-03-09 | 2018-09-27 | 株式会社アイカムス・ラボ | 液滴測定システム、液滴測定方法及びプログラム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7191351B1 (ja) | 2022-04-06 | 2022-12-19 | 有限会社イグノス | 流量制御システム、点滴システム、輸液ポンプ、流量制御方法及びプログラム |
JP2023154362A (ja) * | 2022-04-06 | 2023-10-19 | 有限会社イグノス | 流量制御システム、点滴システム、輸液ポンプ、流量制御方法及びプログラム |
CN115479627A (zh) * | 2022-07-27 | 2022-12-16 | 谭万龙 | 一种液滴计数和流量测量方法、系统、设备、存储介质 |
CN115479627B (zh) * | 2022-07-27 | 2024-05-07 | 谭万龙 | 一种液滴计数和流量测量方法、系统、设备、存储介质 |
CN115910274A (zh) * | 2022-11-17 | 2023-04-04 | 珠海迪尔生物工程股份有限公司 | 滴液控制方法、系统、电子设备及其存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP7324485B2 (ja) | 2023-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7324485B2 (ja) | 液滴測定システム、液滴測定方法、及びプログラム | |
JP6406590B2 (ja) | 液滴測定システム、液滴測定方法及びプログラム | |
US9390334B2 (en) | Number of persons measurement device | |
TWI416943B (zh) | 聚焦輔助系統與方法 | |
CN104240264B (zh) | 一种运动物体的高度检测方法和装置 | |
US9183633B2 (en) | Image processing apparatus and image processing method | |
JP5762250B2 (ja) | 画像信号処理装置および画像信号処理方法 | |
US20120207379A1 (en) | Image Inspection Apparatus, Image Inspection Method, And Computer Program | |
US20190236345A1 (en) | Hand detection method and system, image detection method and system, hand segmentation method, storage medium, and device | |
JP4774390B2 (ja) | 文字切り出し装置、方法およびプログラム | |
US20210142490A1 (en) | Information processing apparatus, control method, and program | |
CN107219993A (zh) | 显示方法及相关电子装置 | |
CN106599838B (zh) | 一种籽棉异纤分选系统延迟时间动态调整装置及方法 | |
JP7324533B2 (ja) | 液滴測定システム、液滴測定方法、及びプログラム | |
TWI670473B (zh) | 液位檢測方法及其裝置 | |
JP2020185118A5 (ja) | ||
US10904429B2 (en) | Image sensor | |
KR102093066B1 (ko) | 인체 주입 액적량 측정 방법 및 시스템 | |
US20220301204A1 (en) | Viewing distance estimation method, viewing distance estimation device, and non-transitory computer-readable recording medium recording viewing distance estimation program | |
US8761516B2 (en) | Method and system for detecting the open or closed state of the eyes of a face | |
WO2014150579A1 (en) | Determining the orientation of objects in space | |
JP2017220020A (ja) | 動体検知システム及び動体検知方法 | |
US11587325B2 (en) | System, method and storage medium for detecting people entering and leaving a field | |
KR102426937B1 (ko) | 계수 정밀도가 개선된 콜로니 이미지 카운터 | |
KR102617920B1 (ko) | 모바일 장치에서 물방울 인식을 이용한 수액 투여 속도 측정 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220415 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220415 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230414 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230724 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7324485 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |