JP2017217228A - 尿量計測装置および尿量計測方法 - Google Patents

尿量計測装置および尿量計測方法 Download PDF

Info

Publication number
JP2017217228A
JP2017217228A JP2016114280A JP2016114280A JP2017217228A JP 2017217228 A JP2017217228 A JP 2017217228A JP 2016114280 A JP2016114280 A JP 2016114280A JP 2016114280 A JP2016114280 A JP 2016114280A JP 2017217228 A JP2017217228 A JP 2017217228A
Authority
JP
Japan
Prior art keywords
urine
volume
image
frame
liquid portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016114280A
Other languages
English (en)
Other versions
JP6627650B2 (ja
Inventor
明展 妹尾
Akinobu Senoo
明展 妹尾
宣弥 橋爪
Nobuya Hashizume
宣弥 橋爪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2016114280A priority Critical patent/JP6627650B2/ja
Publication of JP2017217228A publication Critical patent/JP2017217228A/ja
Application granted granted Critical
Publication of JP6627650B2 publication Critical patent/JP6627650B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】撮像した画像から尿量を計測する場合にも、性別および排尿姿勢によらずに尿量を計測することが可能な尿量計測装置を提供する。【解決手段】この尿量計測装置100は、被験者から排出される尿1を、排出方向2に対して側方から連続的に撮像する撮像部10と、撮像部10によって撮像された各フレーム画像40における、フレーム画像40に設定した観測位置41に到達した液体部分50の画像に基づいて、排出される尿量を算出する演算部21とを備える。【選択図】図4

Description

本発明は、尿量計測装置および尿量計測方法に関する。
尿量計測は、排尿障害を伴う患者の状態管理や、入院患者の水分量管理などを目的として、医療機関などにおいて実施される。尿量の計測方法としては、計測装置を備える専用の容器を用いる方式、被験者(患者)に計測装置を装着する方式など様々な方法がある。また、専用の容器を用いずに、かつ、非接触で尿量計測を行うことが可能な方法として、被験者から排出される尿(模擬尿)を撮像した画像中から尿量を計測する技術が提案されている(たとえば、非特許文献1参照)。
上記非特許文献1には、模擬尿を排出方向に対して側方から撮像し、放物線状に写る模擬尿の撮像画像から尿量を推定する方法が開示されている。具体的には、画像中の模擬尿の軌跡を放物線に近似することにより、画像端における模擬尿の初速が算出される。また、近似した放物線の法線方向における模擬尿の軌跡の太さが画像から取得される。画像中の模擬尿は、算出された初速度で軌跡に沿って進む円柱として近似され、軌跡の太さから求めた円柱の断面積と、円柱の高さに相当する初速度(単位時間当たりの移動量)とに基づいて、円柱の体積が求められる。排尿開始から終了までの各画像中の円柱の体積を積算することにより、尿量が推定される。
磯村 淳、河中 治樹、小栗 宏次他、「男性の模擬排尿に対する液体流量推定における背景差分法及び2値画像内のノイズ除去の有効性」、電子情報通信学会技術研究報告:信学技報、電子情報通信学会、2015年3月、Vol.114、No.514、p.139−144
しかしながら、上記非特許文献1の手法は、画像中の尿の軌跡の傾きと尿の速度とが相関する状況でなければ適用できない。たとえば着座姿勢で排尿する場合のように、尿が画像上方から下方に向けて排出される場合、尿の軌跡と尿の速度とに相関はなくなり、軌跡から初速度を算出できなくなる。つまり、上記非特許文献1の手法は、典型的には男性が立位(直立姿勢)で排尿を行うケースに限って適用可能となる。そこで、性別の区別なく、立位および座位(着座姿勢)などの排尿姿勢によらずに、画像から尿量を計測できるようにすることが望まれている。
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、撮像した画像から尿量を計測する場合にも、性別および排尿姿勢によらずに尿量を計測することが可能な尿量計測装置および尿量計測方法を提供することである。
上記目的を達成するために、この発明の第1の局面における尿量計測装置は、被験者から排出される尿を、排出方向に対して側方から連続的に撮像する撮像手段と、撮像手段によって撮像された各フレーム画像における、フレーム画像に設定した観測位置に到達した液体部分の画像に基づいて、排出される尿量を算出する演算手段とを備える。なお、本明細書において「尿量」とは、1回の排尿によって排出される尿の総量(総体積)を意味する。
この発明の第1の局面による尿量計測装置では、撮像手段によって撮像された各フレーム画像における、フレーム画像に設定した観測位置に到達した液体部分の画像に基づいて、排出される尿量を算出する演算手段を設ける。これにより、画像中の尿(液体部分)の移動方向によらずに、設定された観測位置に到達した液体部分の画像から尿量を算出することができる。その結果、立位の状態など画像側方からに斜め下方に向けて放物線状の軌跡で尿が排出される場合のみならず、たとえば座位の状態など、画像上方から下方に向けて尿が排出される場合であっても、撮像された各フレーム画像から尿量を取得できるようになる。これにより、本発明によれば、撮像した画像から尿量を計測する場合にも、性別および排尿姿勢によらずに尿量を計測することができる。
上記第1の局面による尿量計測装置において、好ましくは、演算手段は、フレーム画像毎に液体部分の体積を算出し、尿の排出過程におけるフレーム画像毎の液体部分の体積を積算することにより、尿量を算出する。このように構成すれば、排尿開始から終了までの間のフレーム画像毎に、観測位置に到達した液体部分の体積を算出すれば、各液体部分の体積を積算することにより、容易に尿量を取得できる。
この場合、好ましくは、演算手段は、撮像手段により撮像される画像のフレームレートから、単位時間に含まれるフレーム画像の枚数を取得し、単位時間において連続する各フレーム画像における液体部分の体積を積算することにより、単位時間当たりの尿量である尿流率を算出する。このように構成すれば、撮像される画像のフレームレートに応じた画像枚数単位で液体部分の体積を積算することにより、容易に尿流率を取得できる。
上記第1の局面による尿量計測装置において、好ましくは、撮像手段は、少なくとも、連続する2枚のフレーム画像中に同一の液滴または液柱を写すことが可能な所定のフレームレートで撮像を行うように構成されている。このように構成すれば、液体部分が観測位置に到達する前後を把握できるので、より確実に、被験者から排出された液体部分の体積をもれなく取得することができる。その結果、精度よく尿量を計測することができる。
上記第1の局面による尿量計測装置において、好ましくは、演算手段は、観測位置を開始位置として、液体移動方向の下流側に延びるように観測領域を設定し、各フレーム画像において観測領域内に含まれる液体部分の画像に基づいて、尿量を算出するように構成されている。このように構成すれば、観測領域内に含まれる液体部分の体積を求めることによって、たとえば連続する複数のフレームにわたって観測位置を通過し続けるような長い液柱状の液体部分も、それぞれのフレーム画像の観測領域に含まれる部分に分割して、個別に体積を算出することができる。その結果、長い液柱状の液体部分の体積も精度よく取得することができる。
この場合、好ましくは、演算手段は、連続するフレーム画像間における液体部分の移動量を取得し、移動量に基づいて観測領域の範囲を設定するように構成されている。このように構成すれば、観測領域よりも長い液柱状の液体部分があっても、観測領域の範囲を、取得した液体部分の移動量に対応させれば、連続する各フレーム画像の観測領域に含まれる液体部分の体積を足し合わせるだけで、液柱状の液体部分全体の体積を求めることができる。つまり、液柱状の液体部分を、重複したり途切れることなく複数フレームの各観測領域内に分割して、体積を算出することができる。その結果、各フレーム画像から、より精度よく尿量を取得することができる。
上記第1の局面による尿量計測装置において、好ましくは、撮像手段は、排出される尿を排出方向に対して側方から撮像可能な位置で、便器の縁部に取り付けられるか、または、便器の縁部内に配置されている。このように構成すれば、撮像手段を便器の縁部に取り付ければ、専用の便器設備を新たに設ける(または交換する)ことなく、既存の便器に対して尿量計測装置を設けることができる。また、新規設備として便器を設置するような場合には、便器の縁部内に撮像手段を埋め込むように配置することによって、尿量計測装置を便器に一体化させることができるので、尿量計測装置の設置負担を軽減するなど、利便性を向上させることができる。
この発明の第2の局面における尿量計測方法は、被験者から排出される尿を、被験者から排出される尿を、排出方向に対して側方から連続的に撮像するステップと、撮像された各フレーム画像における、フレーム画像に設定した観測位置に到達した液体部分の画像に基づいて、排出される尿量を算出するステップとを備える。
この発明の第2の局面による尿量計測方法では、撮像された各フレーム画像における、フレーム画像に設定した観測位置に到達した液体部分の画像に基づいて、排出される尿量を算出するステップを設ける。これにより、画像中の尿(液体部分)の移動方向によらずに、設定された観測位置に到達した液体部分の画像から尿量を算出することができる。その結果、立位の状態のみならず、座位の状態などであっても、撮像された各フレーム画像から尿量を取得できるようになるので、撮像した画像から尿量を計測する場合にも、性別および排尿姿勢によらずに尿量を計測することができる。
本発明によれば、上記のように、撮像した画像から尿量を計測する場合にも、性別および排尿姿勢によらずに尿量を計測することができる。
本発明の第1および第2実施形態による尿量計測装置を示すブロック図である。 便器に取り付けるタイプの尿量計測装置を説明するための模式的な斜視図である。 便器に取り付けるタイプの尿量計測装置(A)および便器に組み込まれるタイプの尿量計測装置(B)を説明するための模式的な断面図である。 撮像部により連続的に撮像されるフレーム画像(Nフレーム、N+1フレーム)の一例を示した図である。 液滴状の液体部分の体積算出方法の一例(A)および液柱状の液体部分の体積算出方法の一例(B)を示した図である。 フレーム毎の液体部分の体積グラフの一例を示す図である。 単位時間当たりの尿流率グラフの一例を示す図である。 第1実施形態による尿量計測処理の流れを説明するためのフローチャートである。 第2実施形態による液体部分の体積の算出方法を説明するためのフレーム画像の模式図である。 移動する液体部分の体積を各フレーム画像の観測領域において算出する例を示した図である。 第2実施形態による尿量計測処理の流れを説明するためのフローチャートである。
以下、本発明を具体化した実施形態を図面に基づいて説明する。
[第1実施形態]
(尿量計測装置の構成)
図1〜図3を参照して、本発明の第1実施形態による尿量計測装置100の構成について説明する。
尿量計測装置100は、被験者(図示せず)から排出される尿の尿量を計測する装置である。被験者は、たとえば排尿障害を伴う患者や、病院などの医療機関の入院患者などである。尿量計測装置100は、病院などの医療機関などに設けられ、被験者の状態管理や水分量管理などのための尿量計測に用いられる。尿量計測装置100は、医療機関以外の一般家庭等に設けられてもよい。
尿量計測装置100は、被験者から排出される尿1を撮像した画像中から尿量を計測する機能を有する。これにより、専用の計測装置やカテーテルなどを被験者に装着することなく、非接触かつ非侵襲で尿量計測を行うことができる。
尿量計測装置100は、撮像部10と、制御装置20とを備える。撮像部10は、特許請求の範囲の「撮像手段」の一例である。
撮像部10は、たとえばCCD(Charge coupled device)センサやCMOS(Complementary metal-oxide-semiconductor)センサなどのイメージセンサ11を備えたカメラである。撮像部10は、所定のフレームレートで画像を連続的に撮像して動画像を取得する機能を有する。撮像部10は、被験者から排出される尿1を、排出方向2に対して側方から連続的に撮像するように構成されている。撮像部10は、撮像した画像を制御装置20に出力する。なお、「排出方向に対して側方」とは、排出される尿1が通る経路(図2参照)を含む平面に対して概ね直交する方向である。撮像部10は、排泄に使用される便器に別ユニットとして取り付けられるか、または便器に一体的に設けられる。撮像部10の配置については後述する。
制御装置20は、撮像部10と電気的に接続されており、撮像部10の制御処理や、撮像画像に基づく尿量の算出処理を行う機能を有する。制御装置20は、主として、CPU(Central Processing Unit)等のプロセッサから構成される演算部21と、ROM(Read Only Memory)およびRAM(Random Access Memory)等から構成される記憶部22とを含むコンピュータである。演算部21は、特許請求の範囲の「演算手段」の一例である。
演算部21は、記憶部22に記憶された所定のプログラムを実行することにより、尿量計測に関わる演算処理を行う。記憶部22は、尿量計測のためのプログラム22a、撮像部10から取得した画像データ22b、尿量計測結果としての計測データ22cなどを記憶するように構成されている。計測データ22cは、被験者(患者)毎の尿量計測結果として電子カルテなどに記録、管理される。計測データ22cは、たとえば有線通信または無線通信によって、管理用のコンピュータに送信されてもよいし、制御装置20においてフラッシュメモリなどの記録媒体に記録されて、管理用のコンピュータに読み出されてもよい。
(尿量計測装置の構成例)
尿量計測装置100は、たとえば、図2に示すように便器90に取り付け可能なように構成される。
図2の構成例では、撮像部10は、排出される尿1を排出方向2に対して側方から撮像可能な位置で、便器90の縁部91に取り付けられている。具体的には、撮像部10は、貯水部であるボウル部92の上部開口93の縁部91(リム)に係合するブラケット30を介して、縁部91の内周側に配置されている。撮像部10は、縁部91のうち、便器90の奥行き方向の略中間部に配置され、ボウル部92の上部開口93の中央に向けて取り付けられている。すなわち、撮像部10の撮像方向は、便器90の幅方向に略一致する。これにより、撮像部10は、排出される尿1を排出方向2に対して側方から撮像する。
図3(A)に示すように、ブラケット30は、断面U字状(逆U字形状)に形成され、縁部91の上面、内周面、外周面にそれぞれ接触することによって縁部91に係合している。撮像部10は、縁部91の内周側でブラケット30に取り付けられている。また、制御装置20は、縁部91の外周側でブラケット30に取り付けられている。また、ブラケット30は、撮像部10と制御装置20とを接続する配線を案内および保護する機能を有する。
撮像部10は、便器90と一体的に構成されてもよい。たとえば、図3(B)に示す構成例では、撮像部10は、排出される尿1を排出方向2に対して側方から撮像可能な位置で、便器90の縁部91内に配置されている。図示は省略するが、周状の縁部91における周方向の位置は、図2に示した構成例と同様と考えてよく、撮像部10は、ボウル部92の上部開口93の中央に向けて設けられている。この場合、たとえば縁部91の内周面の一部に、撮像部10による撮像のための透光性の窓部材94が設けられ、撮像部10は、窓部材94を介して、排出される尿1を排出方向2に対して側方から撮像する。制御装置20は、撮像部10と有線または無線で接続される。撮像部10に加えて、制御装置20が便器ユニットの一部として組み込まれていてもよい。
なお、図2および図3では、いわゆる洋式大便器ユニットに尿量計測装置100を取り付けた例を示したが、尿量計測装置100(撮像部10)は、和式大便器や、小便器にも、同様にして取り付けまたは組み込むことができる。
(尿量計測方法)
次に、図2および図4〜図7を参照して、尿量計測装置100による尿量計測方法を説明する。
上記の通り、撮像部10は、被験者から排出される尿1を、所定のフレームレートで動画像として撮像する。演算部21は、図4に示すように、連続的に撮像された各フレーム画像40を取得する。各フレーム画像40には、尿1の一部分としての液体部分50が写る。連続するフレーム画像40では、液体部分50が、フレームレートに応じた時間間隔分だけ移動して撮像されることになる。立位(直立姿勢)での排尿の場合、液体部分50は、図2の経路R1のように放物線状の軌道を描いて、各フレーム画像40中に上方から斜め下方に向けて移動する。座位(着座姿勢)での排尿の場合、液体部分50は、図2の経路R2のように、各フレーム画像40中に上方から下方に向けて移動する。いずれの場合でも、液体部分50は、重力の作用によって、連続するフレーム画像40において上方から下方に移動する。
第1実施形態では、演算部21は、撮像部10によって撮像された各フレーム画像40における、フレーム画像40に設定した観測位置41に到達した液体部分50の画像に基づいて、排出される尿量を算出するように構成されている。
図4の例では、観測位置41は、撮像部10の撮像視野の下部の所定高さ位置に配置された観測ラインとして設定される。つまり、観測位置41は、撮像視野の所定の高さ位置のことであり、撮像視野の一端から他端まで画像中水平方向に延びる直線状の領域である。観測位置41に到達した液体部分50の画像から尿量を算出することにより、経路R1および経路R2のいずれのケースでも共通の計測処理を適用できる。
演算部21は、フレーム画像40毎に液体部分50の体積を算出し、尿1の排出過程におけるフレーム画像40毎の液体部分50の体積を積算することにより、尿量を算出するように構成されている。たとえば、図4に示すように、Nフレーム目(Nは自然数)では、演算部21は、観測位置41に到達した液体部分50aの体積を算出する。Nフレーム目のフレーム画像40において、液体部分50aの後には、液体部分50bが続いている。次のN+1フレーム目では、演算部21は、観測位置41に到達した液体部分50bの体積を算出する。1枚のフレーム画像40において、観測位置41に到達する液体部分50が複数ある場合、演算部21は、それらの液体部分50の体積をそれぞれ算出した合計値を、観測位置41に到達した液体部分50の体積とする。
演算部21は、各フレーム画像40において観測位置41に到達している液体部分50の体積を算出していくことにより、フレーム画像40毎の液体部分50の体積値を記憶部22に記録する。これにより、演算部21は、図6に示すようにフレーム毎の体積グラフ61を作成する。図6は、横軸がフレーム数を示し、縦軸がそれぞれのフレーム画像40において算出された液体部分50の体積を示す。図6では、たとえばNフレームにおいて液体部分50aの体積値Vaが記録され、N+1フレームにおいて液体部分50bの体積値Vbが記録される。
演算部21は、排尿開始から排尿終了にわたる各フレーム画像40の体積値を積算することにより、1回の排尿における尿量[mL]を取得する。尿量は、算出された液体部分50の総体積(合計体積)として算出される。
フレーム画像40に写る液体部分50からの体積の算出には、公知の方法が採用できる。具体的には、液体部分50の画像を所定の立体形状に近似する方法などが採用できる。たとえば図5(A)に示す液滴状の液体部分50の画像が得られた場合、演算部21は、得られた画像の断面形状を有する球体または回転楕円体に近似することにより、液体部分50の体積を算出する。たとえば図5(B)に示す液柱状の液体部分50の画像が得られた場合、演算部21は、得られた画像の断面形状を有する円柱に近似することにより、液体部分50の体積を算出する。
個々の液体部分50について、どのような立体形状に近似するかは、たとえば、長軸方向の長さ、または長軸と短軸とのアスペクト比などに基づいて場合分けを行って決定することができる。立体形状への近似に際して、液体部分50が柱状(液柱状)の場合よりも、液滴状の場合の方が誤差を小さくし易い。そのため、撮像部10は、液滴状に分散した状態の尿1を撮像可能なように配置されることが好ましい。
第1実施形態では、尿量計測装置100は、1回の排尿における尿量計測に加えて、1回の排尿における尿流率の計測を行うことが可能である。尿流率は、単位時間当たりに排出された尿量であり、単位時間はたとえば1秒である。
具体的には、演算部21は、まず、撮像部10により撮像される画像のフレームレートから、単位時間に含まれるフレーム画像40の枚数を取得する。たとえばフレームレートが240fpsである場合、単位時間(=1sec)に含まれるフレーム画像40の枚数Kは、240枚である。演算部21は、単位時間において連続する各フレーム画像40における液体部分50の体積を積算することにより、尿流率[mL/sec]を算出する。すなわち、演算部21は、図6に示したフレーム毎の体積グラフ61の体積値を、Kフレーム毎に積算することにより、図7に示す単位時間毎の体積グラフ(尿流率グラフ62)に変換する。図7は、横軸が時間を示し、縦軸がそれぞれの単位時間に含まれるフレーム画像40から算出された液体部分50の合計体積(すなわち、尿流率)を示す。たとえば、図6のNフレームからN+(K−1)フレームまでのKフレーム分の各体積値(Va、Vb、・・・)が積算されることにより、図7では、Kフレーム分の積算値Vsが、対応する単位時間における体積(=尿流率)として算出される。これにより、各単位時間での尿流率が取得される。
演算部21は、たとえば、1回の排尿における尿流率の最大値(最大尿流率)と、1回の排尿における尿流率の平均値(平均尿流率)とを算出する。尿量計測装置100は、算出された最大尿流率、平均尿流率、および、図7に示したような尿流率グラフ62を出力可能である。
このように観測位置41に到達した液体部分50の画像から尿量および尿流率を算出する構成では、観測位置41に到達する際の各々の液体部分50をより確実に撮像できるようにすることが好ましい。第1実施形態では、撮像部10が、観測位置41に到達する際の各々の液体部分50を撮像するための所定のフレームレートで撮像を行うように構成されている。撮像部10のフレームレートは、テレビジョンなどで一般的に採用される30fpsや60fpsよりも高い。
撮像部10は、少なくとも、連続する2枚のフレーム画像40中に同一の液滴または液柱(液体部分50)を写すことが可能な所定のフレームレートで撮像を行うように構成されている。たとえば、体外に放出された尿1の移動速度は、概算で、約1[m/s]〜約3[m/s]程度である。尿1の移動速度を2[m/s]と仮定し、フレームレートを240fpsとした場合、フレーム間の移動量Dは約8.3[mm]となる。この場合、一般的な視野サイズの撮像部10に対して、連続する2枚のフレーム画像40中に同一の液体部分50を写すことが十分に可能である。
フレームレートが高いほど、観測位置41に到達した液体部分50をより確実に撮像することが可能であるので、フレームレートが高いほど計測精度を向上させることが可能である。たとえば、第1実施形態では、液体部分50のフレーム間の移動量Dが、平均的な液体部分50の大きさ(フレーム画像40における上下方向の長さ)よりも小さくなるフレームレートが撮像部10に設定されてもよい。この場合、平均以上の大きさを有する液体部分50を観測位置41で確実に撮像して体積算出を行うことが可能である。複数のフレーム画像40において同じ液体部分50が継続して観測位置41に存在する場合、演算部21は、最初に体積を算出した後のフレーム画像40では体積算出を行わずにスキップする。
(尿量計測処理)
次に、図8を参照して、第1実施形態の尿量計測装置100による尿量計測処理について説明する。尿量計測処理の制御は、制御装置20により行われる。
図8のステップS1において、撮像部10による撮像が開始される。撮像部10は、上記した所定のフレームレートで連続的に撮像を行う。被験者が排尿を開始すると、液体部分50が写るフレーム画像40が取得される。
ステップS2において、演算部21は、現在フレーム(Nフレーム目)で取得した1枚のフレーム画像40において、観測位置41に到達した液体部分50があるか否かを判断する。観測位置41に到達した液体部分50がない場合、演算部21は、現在のフレーム画像40について体積算出を行わず、ステップS4の処理に移行する。観測位置41に到達した液体部分50がある場合、演算部21は、ステップS3に処理を進める。
ステップS3において、演算部21は、観測位置41に到達した液体部分50の体積を算出する。演算部21は、観測位置41に到達した液体部分50の画像を立体形状に近似して、体積を算出する。ステップS4において、演算部21は、図6に示したフレーム毎の体積グラフ61を作成する。すなわち、現在のフレームで算出した液体部分50の体積値を体積グラフ61に記録する。なお、ステップS2において、観測位置41に到達した液体部分50がないと判断されたフレームでは、体積値として0が記録される。
ステップS5において、演算部21は、撮影を終了するか否かを判断する。撮影終了の判断は、たとえば所定のタイムアウト時間の間、液体部分50が観測されなかった場合に撮影終了と判断してもよいし、計測終了を入力する操作スイッチなどを別途設けて、被験者からの操作入力を受け付けるようにしてもよい。演算部21は、撮影を終了しないと判断した場合、ステップS2に戻り、次のフレーム画像40に対してステップS2〜S4の処理を実施する。演算部21は、撮影を終了すると判断した場合、ステップS6に処理を進める。
ステップS6において、演算部21は、図7に示した尿流率グラフを作成する。すなわち、演算部21は、撮像部10のフレームレートから単位時間(1秒)分のフレーム画像40の枚数Kを取得し、枚数K毎の体積値を算出することにより、尿流率グラフ62を作成する。
ステップS7において、演算部21は、ステップS4およびS6で作成したグラフから、尿量および尿流率を算出する。算出された尿量、尿流率や、尿流率グラフ62などの計測データ22cは、管理コンピュータ等への送信のため、記憶部22に記録される。
以上のようにして、尿量計測装置100による尿量計測処理が実施される。
(第1実施形態の効果)
第1実施形態では、以下のような効果を得ることができる。
第1実施形態では、上記のように、撮像部10によって撮像された各フレーム画像40における、フレーム画像40に設定した観測位置41に到達した液体部分50の画像に基づいて、排出される尿量を算出する演算部21を設ける。これにより、画像中の尿1(液体部分50)の移動方向によらずに、設定された観測位置41に到達した液体部分50の画像から尿量を算出することができる。その結果、立位の状態など画像側方からに斜め下方に向けて放物線状の軌跡で尿1が排出される場合(経路R1)のみならず、たとえば座位の状態など、画像上方から下方に向けて尿1が排出される場合(経路R2)であっても、撮像された各フレーム画像40から尿量を取得できるようになる。これにより、第1実施形態の尿量計測装置100によれば、撮像した画像から尿量を計測する場合にも、性別および排尿姿勢によらずに尿量を計測することができる。
また、第1実施形態では、上記のように、演算部21を、フレーム画像40毎に液体部分50の体積を算出し、尿1の排出過程におけるフレーム画像40毎の液体部分50の体積を積算することにより、尿量を算出するように構成する。これにより、排尿開始から終了までの間のフレーム画像40毎に、観測位置41に到達した液体部分50の体積を算出すれば、各液体部分50の体積を積算することにより、容易に尿量を取得できる。
また、第1実施形態では、上記のように、演算部21を、撮像部10により撮像される画像のフレームレートから、単位時間(1秒)に含まれるフレーム画像40の枚数Kを取得し、単位時間において連続する各フレーム画像40における液体部分50の体積を積算することにより、単位時間当たりの尿量である尿流率を算出するように構成する。これにより、撮像される画像のフレームレートに応じた画像枚数(K枚)単位で液体部分50の体積を積算することにより、容易に尿流率を取得できる。
また、第1実施形態では、上記のように、撮像部10を、少なくとも、連続する2枚のフレーム画像40中に同一の液滴または液柱(液体部分50)を写すことが可能な所定のフレームレートで撮像を行うように構成する。これにより、液体部分50が観測位置41に到達する前後を把握できるので、より確実に、被験者から排出された液体部分50の体積をもれなく取得することができる。その結果、精度よく尿量を計測することができる。
また、第1実施形態では、上記のように、撮像部10を、排出される尿1を排出方向2に対して側方から撮像可能な位置で、便器90の縁部91に取り付ける(図3(A)参照)か、または、便器90の縁部91内に配置する(図3(B)参照)。これにより、撮像部10を便器90の縁部91に取り付ければ、専用の便器設備を新たに設ける(または交換する)ことなく、既存の便器に対して尿量計測装置100を設けることができる。また、新規設備として便器を設置するような場合には、便器90の縁部91内に撮像部10を埋め込むように配置することによって、尿量計測装置100を便器90に一体化させることができるので、尿量計測装置100の設置負担を軽減するなど、利便性を向上させることができる。
[第2実施形態]
次に、図1、図6および図9〜図11を参照して、本発明の第2実施形態による尿量計測装置200(図1参照)について説明する。第2実施形態では、ライン状に設定した観測位置41に到達した液体部分50の体積を算出した上記第1実施形態とは異なり、観測領域140内に含まれる液体部分50の体積を算出する構成例について説明する。
尿量計測装置200(図1参照)の装置構成は、上記第1実施形態と同様であり、演算部121(図1参照)の処理が上記第1実施形態と異なる。尿量計測装置200の装置構成については、説明を省略する。演算部121は、特許請求の範囲の「演算手段」の一例である。
第2実施形態では、図9に示すように、演算部121は、観測位置41を開始位置として、液体移動方向の下流側に延びるように観測領域140を設定し、各フレーム画像40において観測領域140内に含まれる液体部分50の画像に基づいて、尿量を算出するように構成されている。液体部分50は、上述の経路R1および経路R2のいずれにおいても、画像中の上方から下方に向けて移動するので、「液体移動方向の下流側」は、画像下側に相当する。
図9に示した構成例では、観測領域140は、観測位置41を示す観測ラインと、観測位置41よりも下流側に配置された終端位置141を示す観測ラインとの間の領域として設定されている。すなわち、観測領域140は、フレーム画像40中、所定幅で水平方向に延びる帯状の領域として設定されている。
演算部121は、各フレーム画像40において、観測領域140に到達した液体部分50のうち、観測領域140内に含まれる部分150の体積を算出する。たとえば、図9に示すように、Nフレーム目では、演算部121は、観測領域140内に含まれる液体部分50cの体積を算出する。Nフレーム目のフレーム画像40において、液体部分50cの後には、長い液柱状の液体部分50dが続いている。次のN+1フレーム目では、演算部121は、観測領域140に到達した液体部分50dのうち、観測領域140内に含まれる部分150の体積を算出する。つまり、演算部121は、フレーム画像40中の観測領域140を切り出して、観測領域140により切り取られた部分150の体積を算出する。液体部分50dのうち、N+1フレーム目で観測領域140に到達していない部分151については、後続するN+2フレーム目以降で観測領域140内に含まれた時点で体積が算出される。
ここで、第2実施形態では、演算部21は、連続するフレーム画像40間における液体部分50の移動量Dを取得し、移動量Dに基づいて観測領域140の範囲を設定するように構成されている。上記の通り、連続する2枚のフレーム画像40中に同一の液滴または液柱(液体部分50)を写すことが可能なフレームレートで液体部分50の撮像を行う場合、連続する2枚のフレーム画像40中の同じ液体部分50の位置を比較することにより、フレーム間での液体部分50の移動量Dを取得することができる。たとえば図9において、演算部21は、同じ液体部分50dに対する画像認識により、Nフレームと、N+1フレームとの間の液体部分50の上下方向の移動量Dを取得する。
そして、演算部21は、直前のフレーム(N)と今回のフレーム(N+1)との間の移動量Dに基づいて、今回のフレーム画像40における観測領域140の範囲Wを設定する。具体的には、演算部21は、N+1フレーム目に設定する観測領域140の範囲Wとして、観測位置41と終端位置141との間の距離を、取得した移動量Dに一致させるように設定する。液体部分50の速度(すなわち、フレーム間の移動量D)が変化する場合、その変化に応じて観測領域140の範囲Wが再設定される。
このように観測領域140の範囲Wを設定することにより、各フレーム画像40では、観測領域140の範囲Wと略等しい距離Dだけ液体部分50が移動することになる。そのため、各フレーム画像40において設定した各観測領域140が重複したり、各観測領域140の間に隙間が生じることが抑制される。たとえば図10に示すように、液体部分50dは、N+1フレーム以降のN+2フレーム、N+3フレームにおいて観測領域140の範囲Wと略同じ長さ分だけ移動する。その結果、液柱状の液体部分50dが3つのフレームの各観測領域140によって重複箇所なく分割されて、それぞれの観測領域140による分割部分(部分150)毎に体積が算出される。分割部分毎に体積を積算すれば、液体部分50dの体積が得られる。
演算部121は、後続する各フレームについても、観測領域140内に含まれる部分150の体積を算出していくことにより、図6に示した各フレーム画像40の体積グラフ61(フレーム毎の体積グラフ)を作成する。演算部121は、排尿開始から排尿終了にわたる各フレーム画像40の体積値を積算することにより、1回の排尿における尿量[mL]を取得する。
(尿量計測処理)
次に、図11を参照して、第2実施形態の尿量計測装置200による尿量計測処理について説明する。尿量計測処理の制御は、制御装置20により行われる。図11のステップS11およびS16〜S18の各処理は、図8のステップS1およびS5〜S7の各処理と同様であるので説明を省略する。
ステップS12において、演算部121は、画像認識により直前フレームのフレーム画像40と現在フレームのフレーム画像40とを比較し、フレーム間における液体部分50の移動量Dを取得する。
ステップS13において、演算部121は、取得した移動量Dに基づいて、観測領域140の範囲Wを設定する。すなわち、観測領域140の終端位置141のラインを、所定の観測位置41から移動量Dだけ下方にずれた位置に設定する。
ステップS14において、演算部121は、観測領域140内に含まれる液体部分(部分150)の体積を算出する。ステップS15において、演算部121は、フレーム毎の体積グラフ61を作成する。演算部121は、現在フレームで算出した体積値を、体積グラフ61に記録する。なお、観測領域140(観測位置41)に到達した液体部分50がないフレームでは、ステップS12〜S14での移動量D、観測領域140の設定、体積算出は行われず、ステップS15において体積値として0が記録される。
その後、上記第1実施形態と同様に尿流率グラフ62の作成(ステップS17)、尿量および尿流率の算出(ステップS18)が行われることにより、尿量計測が実施される。
第2実施形態のその他の構成は、上記第1実施形態と同様である。
(第2実施形態の効果)
第2実施形態では、上記第1実施形態と同様に、観測位置41を含む観測領域140に到達した液体部分50の画像に基づいて、排出される尿量を算出することにより、撮像した画像から尿量を計測する場合にも、性別および排尿姿勢によらずに尿量を計測することができる。
また、第2実施形態では、上記のように、観測位置41を開始位置として、液体移動方向の下流側に延びるように観測領域140を設定し、各フレーム画像40において観測領域140内に含まれる液体部分50(部分150)の画像に基づいて、尿量を算出するように演算部121を構成する。これにより、観測領域140内に含まれる液体部分50(部分150)の体積を求めることによって、連続する複数のフレームにわたって観測位置41を通過し続けるような長い液柱状の液体部分50(液体部分50d)でも、それぞれのフレーム画像40の観測領域140に含まれる部分150に分割して、体積を算出することができる。その結果、長い液柱状の液体部分50dの体積も精度よく取得することができる。
また、第2実施形態では、上記のように、連続するフレーム画像40間における液体部分50の移動量Dを取得し、移動量Dに基づいて観測領域140の範囲Wを設定するように演算部121を構成する。これにより、観測領域140よりも長い液柱状の液体部分50(液体部分50d)があっても、観測領域140の範囲Wを、取得した液体部分50dの移動量Dに対応させれば、連続する各フレーム画像40の観測領域140に含まれる液体部分50dの体積を足し合わせるだけで、液柱状の液体部分50d全体の体積を求めることができる。つまり、液柱状の液体部分50を、重複したり途切れることなく複数フレームの各観測領域140内に分割して、体積を算出することができる。その結果、各フレーム画像40から、より精度よく尿量を取得することができる。
[変形例]
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
たとえば、上記第1および第2実施形態では、観測位置を水平ライン状に設定した例を示したが、本発明はこれに限られない。本発明では、フレーム画像内(撮像視野内)に所定の大きさの矩形領域などを設定して観測位置としてもよい。液体部分の移動方向(経路R1の場合など)に応じて、たとえばフレーム画像内の横方向の一端または他端近傍において上下に延びるラインとして、観測位置を設定してもよい。
また、上記第1および第2実施形態では、尿量および尿流率を算出する例を示したが、本発明はこれに限られない。本発明では、少なくとも尿量を算出すればよく、尿流率を算出しなくともよい。また、排尿に伴う尿量および尿流率以外の計測値を取得してもよい。たとえば、撮像画像に基づいて、排尿開始から終了までに要した時間(排尿時間)を計測してもよいし、カラー画像として撮像する場合には、尿の色調なども計測してよい。
また、上記第1および第2実施形態では、フレームレートの一例として、240fpsの数値例を示したが、本発明はこれに限られない。フレームレートは、240fps以外の値であってよい。
また、上記第1および第2実施形態では、液体部分の画像を所定の立体形状に近似して、体積を算出する例を示したが、本発明はこれに限られない。体積算出は、液体部分の画像から体積を求めることができれば、どのような方法を用いてもよい。
また、上記第1および第2実施形態では、尿量算出に際して、フレーム毎の体積グラフを作成する例を示したが、本発明はこれに限られない。フレーム毎の体積グラフを作成しなくてもよい。フレーム毎の体積値を算出する度に加算していくことにより、排尿開始から終了までの尿量を算出してもよい。
また、上記第1および第2実施形態では、尿流率算出に際して、尿流率のグラフを作成する例を示したが、本発明はこれに限られない。本発明では、尿流率のグラフを作成しなくてもよい。
また、上記第2実施形態では、連続する各フレーム間において、液体部分の移動量を算出する例を示したが、本発明はこれに限られない。所定の時間間隔ごとに、液体部分の移動量を算出するようにしてもよい。その場合、所定時間間隔の間の各フレーム画像については、算出した移動量を共通で適用してよい。フレームレートが十分に高い場合、フレーム間の時間間隔が液体部分の移動速度の変化(フレーム間の移動量の変化)に比べて短いので、複数フレームにわたって共通の移動量の値を適用しても問題ない。この場合、移動量算出のための演算負荷を抑制できる。
また、上記第1および第2実施形態では、説明の便宜上、尿量計測処理を処理フローに沿って順番に処理を行うフロー駆動型のフローを用いて説明したが、本発明はこれに限られない。本発明では、画像処理部の処理を、イベント単位で処理を実行するイベント駆動型(イベントドリブン型)の処理により行ってもよい。この場合、完全なイベント駆動型で行ってもよいし、イベント駆動およびフロー駆動を組み合わせて行ってもよい。
1 尿
10 撮像部(撮像手段)
21、121 演算部(演算手段)
40 フレーム画像
41 観測位置
50 液体部分
90 便器
91 縁部
100、200 尿量計測装置
140 観測領域

Claims (8)

  1. 被験者から排出される尿を、排出方向に対して側方から連続的に撮像する撮像手段と、
    前記撮像手段によって撮像された各フレーム画像における、前記フレーム画像に設定した観測位置に到達した液体部分の画像に基づいて、排出される尿量を算出する演算手段とを備える、尿量計測装置。
  2. 前記演算手段は、前記フレーム画像毎に前記液体部分の体積を算出し、尿の排出過程における前記フレーム画像毎の液体部分の体積を積算することにより、尿量を算出する、請求項1に記載の尿量計測装置。
  3. 前記演算手段は、
    前記撮像手段により撮像される画像のフレームレートから、単位時間に含まれる前記フレーム画像の枚数を取得し、
    前記単位時間において連続する各フレーム画像における前記液体部分の体積を積算することにより、単位時間当たりの尿量である尿流率を算出する、請求項2に記載の尿量計測装置。
  4. 前記撮像手段は、少なくとも、連続する2枚の前記フレーム画像中に同一の液滴または液柱を写すことが可能な所定のフレームレートで撮像を行うように構成されている、請求項1〜3のいずれか1項に記載の尿量計測装置。
  5. 前記演算手段は、
    前記観測位置を開始位置として、液体移動方向の下流側に延びるように観測領域を設定し、
    前記各フレーム画像において前記観測領域内に含まれる液体部分の画像に基づいて、尿量を算出するように構成されている、請求項1〜4のいずれか1項に記載の尿量計測装置。
  6. 前記演算手段は、連続する前記フレーム画像間における前記液体部分の移動量を取得し、前記移動量に基づいて前記観測領域の範囲を設定するように構成されている、請求項5に記載の尿量計測装置。
  7. 前記撮像手段は、排出される尿を排出方向に対して側方から撮像可能な位置で、前記便器の縁部に取り付けられるか、または、前記便器の縁部内に配置されている、請求項1〜6のいずれか1項に記載の尿量計測装置。
  8. 被験者から排出される尿を、排出方向に対して側方から連続的に撮像するステップと、
    撮像された各フレーム画像における、前記フレーム画像に設定した観測位置に到達した液体部分の画像に基づいて、排出される尿量を算出するステップとを備える、尿量計測方法。
JP2016114280A 2016-06-08 2016-06-08 尿量計測装置および尿量計測方法 Active JP6627650B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016114280A JP6627650B2 (ja) 2016-06-08 2016-06-08 尿量計測装置および尿量計測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016114280A JP6627650B2 (ja) 2016-06-08 2016-06-08 尿量計測装置および尿量計測方法

Publications (2)

Publication Number Publication Date
JP2017217228A true JP2017217228A (ja) 2017-12-14
JP6627650B2 JP6627650B2 (ja) 2020-01-08

Family

ID=60657043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016114280A Active JP6627650B2 (ja) 2016-06-08 2016-06-08 尿量計測装置および尿量計測方法

Country Status (1)

Country Link
JP (1) JP6627650B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190125846A (ko) * 2018-04-30 2019-11-07 이재익 남성용 소변기에 적용되는 소변정보 측정 시스템
JP2020124497A (ja) * 2019-01-31 2020-08-20 Necソリューションイノベータ株式会社 排尿管理装置、排尿管理方法、プログラム、および記録媒体
CN113188592A (zh) * 2021-04-12 2021-07-30 攸太科技(台州)有限公司 一种尿液流速流量识别方法
CN113188848A (zh) * 2021-04-12 2021-07-30 攸太科技(台州)有限公司 一种尿液跟踪方法
WO2023032242A1 (ja) * 2021-08-30 2023-03-09 Necプラットフォームズ株式会社 情報収集装置及び装置取付方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007111001A1 (ja) * 2006-03-27 2007-10-04 Yoshihiko Hirao 尿流量測定装置
JP2010032557A (ja) * 2009-11-18 2010-02-12 Ccs Inc 気象測定装置
JP2010172498A (ja) * 2009-01-29 2010-08-12 Toto Ltd 尿温測定装置
JP2010223772A (ja) * 2009-03-24 2010-10-07 Toto Ltd 排尿情報測定装置
JP2013090748A (ja) * 2011-10-25 2013-05-16 Toto Ltd 排尿情報測定装置
US20160029942A1 (en) * 2014-07-31 2016-02-04 Regents Of The University Of Minnesota Devices, systems, and methods for obtaining and analyzing urine flow rate data using acoustics and software

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007111001A1 (ja) * 2006-03-27 2007-10-04 Yoshihiko Hirao 尿流量測定装置
JP2010172498A (ja) * 2009-01-29 2010-08-12 Toto Ltd 尿温測定装置
JP2010223772A (ja) * 2009-03-24 2010-10-07 Toto Ltd 排尿情報測定装置
JP2010032557A (ja) * 2009-11-18 2010-02-12 Ccs Inc 気象測定装置
JP2013090748A (ja) * 2011-10-25 2013-05-16 Toto Ltd 排尿情報測定装置
US20160029942A1 (en) * 2014-07-31 2016-02-04 Regents Of The University Of Minnesota Devices, systems, and methods for obtaining and analyzing urine flow rate data using acoustics and software

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
磯村淳、河中治樹、小栗宏次、渡邉英一: "男性の模擬排尿に対する液体流量推定における背景差分法及び2値画像内のノイズ除去の有効性", 電子情報通信学会 技術研究報告, vol. 114, no. 514, JPN6019028995, 9 March 2015 (2015-03-09), JP, pages 139 - 144, ISSN: 0004084249 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190125846A (ko) * 2018-04-30 2019-11-07 이재익 남성용 소변기에 적용되는 소변정보 측정 시스템
KR102267803B1 (ko) * 2018-04-30 2021-06-22 이재익 남성용 소변기에 적용되는 소변정보 측정 시스템
JP2020124497A (ja) * 2019-01-31 2020-08-20 Necソリューションイノベータ株式会社 排尿管理装置、排尿管理方法、プログラム、および記録媒体
JP7327805B2 (ja) 2019-01-31 2023-08-16 Necソリューションイノベータ株式会社 排尿管理装置、排尿管理方法、プログラム、および記録媒体
CN113188592A (zh) * 2021-04-12 2021-07-30 攸太科技(台州)有限公司 一种尿液流速流量识别方法
CN113188848A (zh) * 2021-04-12 2021-07-30 攸太科技(台州)有限公司 一种尿液跟踪方法
CN113188592B (zh) * 2021-04-12 2024-06-25 攸太科技(台州)有限公司 一种尿液流速流量识别及取样方法
WO2023032242A1 (ja) * 2021-08-30 2023-03-09 Necプラットフォームズ株式会社 情報収集装置及び装置取付方法
JP2023034134A (ja) * 2021-08-30 2023-03-13 Necプラットフォームズ株式会社 情報収集装置及び装置取付方法
JP7343203B2 (ja) 2021-08-30 2023-09-12 Necプラットフォームズ株式会社 情報収集装置及び装置取付方法

Also Published As

Publication number Publication date
JP6627650B2 (ja) 2020-01-08

Similar Documents

Publication Publication Date Title
JP6627650B2 (ja) 尿量計測装置および尿量計測方法
US11182902B2 (en) Method and apparatus for determining volumetric data of a predetermined anatomical feature
US10074184B2 (en) Occupancy detection
US20170360353A1 (en) Device and method for monitoring bladder volume of a subject
JP6708980B2 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
JP2012011174A (ja) 在床状態判定装置
KR102243969B1 (ko) 방광부피 계측장치 및 이의 동작방법
TW201626292A (zh) 魚計數裝置、魚計數方法、魚數之預測裝置、魚數之預測方法、魚計數系統及魚數預測系統
JPWO2015118953A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP5930480B2 (ja) 放射線被曝量取得装置および方法並びにプログラム
JP2017137708A (ja) 便器装置、及び便座装置
JP2008132320A5 (ja)
US20230074448A1 (en) Excrement determination method, excrement determination device, and non-transitory computer readable recording medium
JP6922914B2 (ja) 見守りシステム、見守り装置、見守り方法、および見守りプログラム
KR102392785B1 (ko) 웨어러블 디바이스를 이용한 배뇨 감지 방법 및 시스템
JP2018161258A (ja) 認知機能評価支援装置、認知機能評価支援方法及びプログラム
JP6970056B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5422543B2 (ja) 血流量推定装置、方法及びコンピュータプログラム
US20230117389A1 (en) Output device, method, and non-transitory computer readable recording medium
KR102453322B1 (ko) 배뇨상태 검사 장치 및 그 방법
WO2022163034A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
KR101741323B1 (ko) 단층 촬영 영상을 이용한 잔여수명 연산 방법
CN116710620A (zh) 信息处理装置、信息处理方法以及信息处理程序
WO2024146790A1 (en) A method and a computing device for assisting an assessment of head injury to a subject caused by a fall event
TW202232375A (zh) 資訊處理裝置、估測方法、以及記錄媒體

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181003

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191118

R151 Written notification of patent or utility model registration

Ref document number: 6627650

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151