JP2019095328A - 呈色反応検出システム、呈色反応検出方法及びプログラム - Google Patents

呈色反応検出システム、呈色反応検出方法及びプログラム Download PDF

Info

Publication number
JP2019095328A
JP2019095328A JP2017225666A JP2017225666A JP2019095328A JP 2019095328 A JP2019095328 A JP 2019095328A JP 2017225666 A JP2017225666 A JP 2017225666A JP 2017225666 A JP2017225666 A JP 2017225666A JP 2019095328 A JP2019095328 A JP 2019095328A
Authority
JP
Japan
Prior art keywords
color reaction
color
detection
imaging
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017225666A
Other languages
English (en)
Other versions
JP7062926B2 (ja
Inventor
諄丞 高橋
Junsuke Takahashi
諄丞 高橋
智仁 増田
Tomohito Masuda
智仁 増田
酒井 修二
Shuji Sakai
修二 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Printing Co Ltd filed Critical Toppan Printing Co Ltd
Priority to JP2017225666A priority Critical patent/JP7062926B2/ja
Publication of JP2019095328A publication Critical patent/JP2019095328A/ja
Application granted granted Critical
Publication of JP7062926B2 publication Critical patent/JP7062926B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By The Use Of Chemical Reactions (AREA)

Abstract

【課題】特殊で高価な検査装置を用いず、汎用的なデジタルカメラなどの簡易な撮像装置により撮像した画像により、分析キットの検査項目毎に設定された設定検出時間が経過した時点における呈色反応の判定結果を容易に得ることが可能な呈色反応検出システムを提供する。【解決手段】本発明の呈色反応検出システムは、分析キットにおける検査項目に対応した呈色反応領域における呈色反応により検体の被検出対象物質を検出する呈色反応検出システムであり、被検溶液が呈色反応領域に滴下が検出された検出時点からの経過時間を測定し、当該経過時間が呈色反応を観察する予め設定した設定検出時間と一致したか否か検出する経過時間計測部と、設定検出時における呈色反応領域を撮像した撮像画像の呈色反応色と、検査の判定レベルを示す参照画像の各々との類似度を算出する類似度算出部と、類似度が最大である参照画像を抽出する呈色反応検出部とを備える。【選択図】図1

Description

本発明は、尿検査や妊娠検査等で使用される簡易検査紙や簡易検査薬を用いた簡易分析キットの呈色反応の検出を行う呈色反応検出システム、呈色反応検出方法及びプログラムに関する。
近年、簡易検査紙や簡易検査薬などを用いた簡易分析キットが、病気、妊娠、化学物質などの判定に多用されるようになってきている。例えば、簡易分析キットの一例として、尿検査紙において、一般的な例を以下に説明する。この簡易分析キットにおいては、検査紙の表面に単一または複数の種類の検体の検査を行う反応領域が配置されている。この反応領域の各々に対し、検体を含む被検溶液が滴下された際、反応領域の各々においては、被検溶液に含まれる検体が被検出対象の物質(被検出対象物質)を含む場合に呈色反応が生じる。
そして、被検溶液を滴下した後、反応領域毎(検査対象の検査項目毎)に定められている処理の時間経過時の呈色反応により生じた色と、検査項目の検査結果に対応した色凡例とを、ユーザが目視で比較して確認することで、検査項目の検査結果の分析が行われる。 この分析手法は、尿検査及び妊娠検査などにおいて、家庭で使用できる簡易検査キットとして広く用いられている。
また、他の検査結果の分析方法としては、人間が目視で検査結果を判定するのではなく、呈色反応が発生した反応領域のスペクトル吸光度を測定し、被検溶液に含まれる被検出対象物質の濃度を検出する方法もある。
上述したように、呈色反応が発生した反応領域のスペクトル吸光度を用いた分析を行う専用装置やこの専用装置を用いた検出手法は既に用いられている。
しかし、この分析に用いられる専用装置は、専門家(医療従事者)向けの装置であり、一般的に高価で極めて限られた場所でしか使用することができない。
また、上述した専用装置を用いた検出手法は、この専用装置に組み込まれた特殊な光学装置を用いて照明したり、所定の環境下で撮影されることを前提としている(例えば、特許文献1参照)。
また、近年、”Point of Care Testing (POCT)”が提唱されており、病院の専用装置でしか処理できなかった生化学的検査項目を、専門知識がなくてもいつでもどこでも簡便な装置を用い、安価で容易に検査する仕組み作りが急務であり、患者にとって検査をより身近なものにしていこうとする傾向がみられる。また、医療現場においても即座に検査結果を得られ、医師が迅速な処置を施すことが出来るメリットが生まれる。この簡易検査キットを用いることで、医療現場外でも救急車内や家庭内で予備診断を簡易に行うことができ、病院に搬送された後の医療現場における対処を効率的に進めることができる。
特開2011−214863号公報
上述した分析方法は、一般的に、光源環境や検査キットの設置位置などを揃えるため、専用装置による分析を行うことを必要とする。
しかしながら、一般家庭においては、高価な上記専用装置を利用することが困難である。このため、より一般的な手法としては、簡易に利用することが可能な汎用のデジタルカメラやスマートフォンの撮像機能などを用いて検査キットの画像を撮像し、この画像を用いて分析を行うことが有効である。
一方、検査キットの反応領域を汎用のデジタルカメラなどで撮像して、撮像画像により一般家庭で検査を行う場合、専用装置を用いる場合に比較して、各ユーザにおいて安定した結果を得ることが困難である。
例えば、一般的な簡易検査紙である簡易尿検査紙は、尿中の白血球、鮮血、ブドウ糖など、複数の検査項目が検査できるようになっている。これらの検査項目に対応する反応領域の各々においては、それぞれの検査項目毎に設定された、被検溶液を滴下してからの経過時間における呈色を観察する。
しかし、反応領域においては、上記設定された経過時間(設定検出時間)以降においても呈色反応が進むため、色の判定に慣れないユーザにとって、時系列に変化する呈色反応の色と汎用例の色との比較を行う判定は容易には行えない。
すなわち、ユーザが呈色と汎用例の色とが同様であると判定するために時間を要してしまうと、設定検出時間を超えた色と、汎用例とを比較することになり、不正確な判定結果を得ることになる。
また、ユーザ毎に色の認知が異なるため、呈色と汎用例の色との比較にユーザ間の個体差が生じ、ユーザによっては他のユーザとは大きく判定結果が異なる場合がある。
本発明は、このような状況に鑑みてなされたもので、特殊で高価な検査装置を用いず、汎用的なデジタルカメラなどの簡易な撮像装置により撮像した画像により、分析キットの検査項目毎に設定された設定検出時間が経過した時点における呈色反応の判定結果を容易に得ることが可能な呈色反応検出システム、呈色反応検出方法及びプログラムを提供する。
上述した課題を解決するために、本発明の呈色反応検出システムは、分析キットにおける検査項目に対応した呈色反応領域における呈色反応により検体の被検出対象物質を検出する呈色反応検出システムであり、被検溶液が前記呈色反応領域に滴下が検出された検出時点からの経過時間を測定し、当該経過時間が前記呈色反応を観察する予め設定した設定検出時間と一致したか否か検出する経過時間計測部と、前記設定検出時における前記呈色反応領域を撮像した撮像画像の呈色反応色と、検査の判定レベルを示す参照画像の各々との類似度を算出する類似度算出部と、前記類似度が最大である前記参照画像を抽出する呈色反応検出部とを備えることを特徴とする。
本発明の呈色反応検出システムは、前記被検溶液が前記呈色反応領域に滴下されたか否かの検出を行う滴下検出部をさらに備え、前記経過時間計測部が、前記滴下検出部が前記呈色反応領域に対する前記被検溶液の滴下を検出してから、前記経過時間の測定を開始することを特徴とする。
本発明の呈色反応検出システムは、前記滴下検出部が、時系列に撮像される撮像画像において、最初に撮像された撮像画像の呈色反応色である初期呈色反応色と以降に撮像された撮像画像の比較呈色反応色とを順次比較し、前記呈色反応色と前記比較呈色反応色との差分値を検出し、当該差分値が予め設定した滴下開始判定閾値以上の場合、前記被検溶液が前記呈色反応領域に滴下された前記検出時点を検出することを特徴とする。
本発明の呈色反応検出システムは、前記滴下検出部が、時系列に撮像される撮像画像において、撮像された撮像画像の比較呈色領域画像と、予め設定された滴下後の呈色反応領域の状態を示す参照呈色領域画像とを順次比較し、類似度が滴下開始判定閾値以上の場合、前記被検溶液が前記呈色反応領域に滴下された前記検出時点を検出することを特徴とする。
本発明の呈色反応検出システムは、前記分析キットの前記呈色反応領域を含む観察対象面を撮像した撮像画像から、前記呈色反応領域が予め設定された画像座標に位置するように前記撮像画像を検出用撮像画像に変換する画像変換部をさらに備え、前記類似度算出部が前記撮像画像として前記検出用撮像画像を用いることを特徴とする。
本発明の呈色反応検出システムは、前記画像変換部が、前記分析キットの前記呈色反応領域を含む観察対象面を撮像した前記撮像画像により、当該撮像画像が撮像された撮像方向と、観察対象面の基準線との成す観察角度を求め、前記撮像画像の前記観察角度を変換し、検査結果を判定する標準撮像角度で撮像した参照撮像画像と同様の観察角度における検出用撮像画像を生成することを特徴とする。
本発明の呈色反応検出システムは、前記画像変換部が、前記分析キットの前記呈色反応領域を含む観察対象面を撮像した撮像画像おいて複数の座標を求め、これら複数の座標を用いた射影変換を行うことにより、検査結果を判定する標準撮像角度で撮像した参照撮像画像と同様の観察角度における検出用撮像画像を生成することを特徴とする。
本発明の呈色反応検出システムは、前記撮像画像の撮像角度が予め設定の撮像角度範囲内に含まれるか否かの判定を行い、前記撮像角度が前記撮像角度範囲内に含まれていない場合、再度、撮像角度を変えて撮像画像を撮像することを促す通知を行う撮像制御部をさらに備えることを特徴とする。
本発明の呈色反応検出システムは、前記撮像制御部が、前記参照撮像画像における所定の参照領域における輝度値である参照輝度値と、前記撮像画像における前記参照撮像画像の前記参照領域の位置と同一の位置の輝度値とを比較し、当該輝度値と前記参照輝度値とが同様となるように前記撮像画像データの輝度値を補正することを特徴とする。
本発明の呈色反応検出システムは、前記分析キットの前記呈色反応領域が、被検出対象物質の呈色反応により検体の検出を行う媒体として、少なくともpH(ピーエッチ)試験紙、尿検査紙、酸化度測定紙の簡易検査紙が用いられていることを特徴とする。
本発明の呈色反応検出方法は、分析キットにおける検査項目に対応した呈色反応領域における呈色反応により検体の被検出対象物質を検出する呈色反応検出方法であり、経過時間計測部が、被検溶液が前記呈色反応領域に滴下が検出された検出時点からの経過時間を測定し、当該経過時間が前記呈色反応を観察する予め設定した設定検出時間と一致したか否か検出する経過時間計測過程と、類似度算出部が、前記設定検出時における前記呈色反応領域を撮像した撮像画像の呈色反応色と、検査の判定レベルを示す参照画像の各々との類似度を算出する類似度算出過程と、呈色反応検出部が、前記類似度が最大である前記参照画像を抽出する呈色反応検出過程とを含むことを特徴とする。
本発明のプログラムは、分析キットにおける検査項目に対応した呈色反応領域における呈色反応により検体の被検出対象物質を検出する呈色反応検出システムの機能をコンピュータに実行させるプログラムであり、前記コンピュータを、被検溶液が前記呈色反応領域に滴下が検出された検出時点からの経過時間を測定し、当該経過時間が前記呈色反応を観察する予め設定した設定検出時間と一致したか否か検出する経過時間計測手段、前記設定検出時における前記呈色反応領域を撮像した撮像画像の呈色反応色と、検査の判定レベルを示す参照画像の各々との類似度を算出する類似度算出手段、前記類似度が最大である前記参照画像を抽出する呈色反応検出手段として機能させるためのプログラムである。
以上説明したように、本発明によれば、このような状況に鑑みてなされたもので、特殊で高価な検査装置を用いず、汎用的なデジタルカメラなどの簡易な撮像装置により撮像した画像により、分析キットの検査項目毎に設定された設定検出時間が経過した時点における呈色反応の判定結果を容易に得ることが可能な呈色反応検出システム、呈色反応検出方法及びプログラムを提供する。
本発明の一実施形態による呈色反応検出システムの構成例を示すブロック図である。 本実施形態における呈色反応検出システムの解析対象の分析キットの外観の一例を示す図である。 呈色反応領域を撮像する際の撮像部101の観察角度を説明する図である。 参照画像記憶部111に記憶されている検査キットテーブルの構成例を示す図である。 検査結果記憶部112に記憶されている検査結果テーブルの構成例を示す図である。 本発明の一実施形態の呈色反応検出システムにおける簡易検査紙や簡易検査薬を用いた呈色反応検出対象に対する呈色反応検出処理の動作例を示すフローチャートである。
以下、本発明の一実施形態について、図面を参照して説明する。
図1は、本発明の一実施形態による呈色反応検出システムの構成例を示すブロック図である。図1において、呈色反応検出システム1は、撮像部101、露光制御部102、撮像制御部103、画像変換部104、滴下検出部105、経過時間計測部106、類似度算出部107、呈色反応検出部108、表示部109、撮像画像記憶部110、参照画像記憶部111及び検査結果記憶部112の各々を備えている。
撮像部101は、例えば、CCD(Charge Coupled Device)あるいはCMOS(Complementary Metal Oxide Semiconductor)などのイメージセンサを用いたデジタルカメラ、あるいは携帯端末に備えられた撮像装置などであり、対象物を撮像して撮像画像データを出力する。また、撮像画像データを動画として撮像してもよい。本実施形態において、撮像画像データとしては、例えば各色成分RGBの濃淡を含むカラー画像を対象としている。撮像部101は、撮像画像データを撮像画像記憶部110に対して書き込み記憶させる。
露光制御部102は、露光の撮像の条件として、シャッタースピード、絞り値、照明光の有無、照明光の強度などの撮像部101の撮像条件を制御する。また、露光制御部102は、呈色反応検出システム1の撮像する呈色反応領域(分析キット)の周囲の明るさに対応し、撮像時において必要に応じてフラッシュ光源のような照明光の点灯指示を、図示しない照明部に対して出力する。
図2は、本実施形態における呈色反応検出システムの解析対象の分析キットの外観の一例を示す図である。本実施形態が検出対象とする分析キットは、例えば、図2に示す外観を有する分析キット容器900である。分析キット容器900は、観察対象面901に呈色反応領域902を備えている。呈色反応領域902には、複数の比色反応領域として、比色反応領域903、904、905、906、907及び908の各々が形成されている。また、これらの比色反応領域は、呈色反応領域に滴下された被検溶液に含まれる検出対象物質により呈色する領域であり、検出対象物質毎に設けられており、各々が対応する検出対象物質に対してそれぞれ反応する。
また、観察対象面901には、呈色反応領域902の撮像画像の色味を補正するための色補正用パッチ1001、1002及び1003が形成されている(後述)。
撮像制御部103は、撮像部101が分析キットの撮像画像である撮像画像データを撮像する際、焦点深度、撮像素子の感度(ISO(International Organization for Standardization)感度)などの撮像部101の撮像条件を、予め設定された数値に制御する。
また、撮像制御部103は、現在の撮像画像データを解析し、分析キットの呈色反応領域902の撮像画像に対して、露光制御部102の指示により光源環境の影響を排除する処理を行う。また、汎用のデジタルカメラにホワイトバランス機能が備わっている場合、ホワイトバランス機能を用いて、光源環境の影響を排除する処理を行っても良い。
一般的に、撮像画像には、照明の照度ムラや、撮像機器や光源色に依存する色味の違いなどが存在する。
この撮像画像データに含まれる輝度ムラの補正方法としては、例えば、光源の明滅の周期と撮像部101の輝度値を記録する周期の差に起因する輝度ムラに対して、以下の手順が有効である。分析キット容器の観察対象面以外の領域を一様な色の配色(例えば白色)とする。撮像画像データをI(u,v)とし、観察対象領域以外の領域を抽出するため、マスク処理を施す。抽出した領域において、撮像画像データの各行I(v)について、R,G,B値の中央値をそれぞれ算出し、R’(v)、G’(v)、B’(v)とする。算出したR’(v)、 G’(v)、B’(v)において、R、G、B値毎に最大値を算出し、Rmax、Gmax、Bmaxとする。各行I(v)の中央値がRmax、Gmax、Bmaxと等しくなるように、以下の(1)式で撮像画像データI(u,v)を補正し、I’(u,v)とする。
Figure 2019095328
上述した説明においては、行毎のR,G,B値の中央値をそれぞれ算出したが、列でも良いし、撮像画像データを複数の領域に分割し、分割した領域毎に行っても良い。
また、同一の撮像画像データではなく、時系列に入力される撮像画像データ間において、上述した処理を行っても良い。
また、色味(各画素の色成分RGBの階調度)の補正方法としては、以下の構成により行うことができる。分析キット容器900の観察対象面901における呈色反応領域902の表面の検査に影響を与えない位置に色味の異なる3個の色補正用パッチ(図2における色補正用パッチ1001、1002及び1003)を配置しておく。 ここで、検査に影響を与えない位置 とは、例えば観察対象面901において、呈色反応領域902が形成されない位置であり、呈色反応領域から所定の距離離れた領域を示している。
標準的な光源(例えばD65の光源)環境下で参照パターンを撮像し、同時に撮像される色補正用パッチ各々の画像データから分光反射率を予め測定し、参照画像記憶部111に書き込んで記憶させておく。
この3個の色補正用パッチ各々の分光反射率を用いて、撮像画像データにおける呈色反応パターンの色味の補正を行うことで、上記標準的な光源環境下で撮像した色味の撮像画像データを得ることができ、同一の光源環境下で撮像した参照パターン及び呈色反応パターンとして比較することが可能となる。
標準的な光源で撮像された色補正用パッチの色味がCgt(Rgt,Ggt,Bgt)と算出され、撮像画像データにおける色補正用パッチの色味がCin(Rin,Gin,Bin)と算出された場合、色味Cgtと色味Cinとの間には、最も簡単な色補正の変換式を一例として適用した場合、以下の(2)式が成り立つ。
Figure 2019095328
この(2)式において、上述したように、Cgtは標準的な光源で撮像された色補正用パッチの色味であり、色成分RGBで記載すると(Rgt,Ggt,Bgt)であり、Cinは撮像画像データにおける色補正用パッチの色味であり、色成分RGBで記載すると(Rin,Gin,Bin)である。
これにより、(2)式は、以下の(3)式で表される。
Figure 2019095328
各々の色味が異なる3個の色補正用パッチを用いることにより、標準的な光源で撮像された色補正用パッチの色味と、撮像画像データにおける色補正用パッチの色味との組み合わせが3対以上得ることにより、(3)式における行列Aが得られる。
ここで、撮像制御部103は、参照画像記憶部111から3種類の色補正用パッチの色味Cgt(Rgt,Ggt,Bgt)と、(3)式とを読み出す。そして、撮像制御部103は、撮像画像データから、3種類の色補正用パッチの色味Cin(Rin,Gin,Bin)を抽出し、色補正用パッチの色味Cgt(Rgt,Ggt,Bgt)を用いて、3種類の色補正用パッチの各々に対応させた(3)式を用いて行列Aを算出する。撮像制御部103は、算出した行列Aを用いて(3)式により、任意の光源下で撮像した撮像画像データの各画素の色味を、標準的な光源下で撮像される色味に変換する。
上述したように、行列Aを求めて、(3)式を用いることにより、任意の光源下で撮像された撮像画像データの色味を、標準的な光源下で撮像された色味に変換することが可能となる。これにより、参照撮像画像データにおける呈色反応領域と撮像画像データの呈色反応領域とを標準的な光源下に統一された状態で比較することができる。標準的な光源下において、参照撮像画像データにおける呈色反応領域と撮像画像データの呈色反応領域とを比較するため、撮像画像データから照明(光源環境下)の影響を排除し、参照撮像画像データに基づいて高精度な呈色反応の検出処理を行うことができる。
画像変換部104は、呈色反応領域902の撮像画像データが予め設定された画像座標に位置するように撮像画像を変換する。例えば、画像変換部104は、呈色反応領域902の撮像画像データが撮像された3次元空間において、撮像を行った位置である観察位置(座標値)及び撮像部101の撮像方向の各々を座標変換式(後述)から求める。ここで、観察位置は、3次元空間を示す3次元座標系における座標値を示している。すなわち、求めた観察位置及び撮像方向から、各撮像画像データにおける呈色反応領域902の観察角度、あるいは撮像角度を求める。
また、画像変換部104は、呈色反応領域902の撮像画像データにおける呈色反応色と、予め登録された呈色反応領域902に現れる全ての呈色反応の参照撮像画像データ群(判定レベル毎の参照撮像画像データの集合)を比較するため、撮像画像データの正規化を行う。撮像画像データ中の呈色反応領域902上では全ての3次元座標が既知のため、参照撮像画像データ群が撮像された際の外部パラメタ、内部パラメタを用いて呈色反応領域902上の全ての3次元座標を、参照撮像画像データ群の座標系に再投影すれば、参照撮像画像データ群と同じ座標系で呈色反応領域902における呈色反応色を比較することができる。
また、画像変換部104は、座標変換式を用いて求められた撮像角度αに基づき、撮像画像データの呈色反応領域を、検査結果を判定する参照呈色反応画像データ群が示された参照撮像画像データにおける参照呈色反応領域の面と平行かつ重なり合う検出用撮像画像データに変換する。参照呈色反応画像データは、参照撮像画像データにおける比色反応領域の画像データを示している。この検出用撮像画像データは、3次元座標系において、参照撮像画像データと同様の撮像位置及び撮像角度から撮像した画像に変換したものである。
本実施形態においては、予め設定された所定の焦点距離にて、撮像画像データを撮像部101により比色反応領域の各々を含む呈色反応領域902を撮像し、撮像画像データとする。
画像変換部104は、撮像した撮像画像データから、上述したように、予め設定された座標変換式を用いることにより、3次元空間における呈色反応領域902を撮像した撮像画像データの観察角度を推定している。
上述した観察角度を求める座標変換式は、分析キット容器900に設けられた呈色反応領域902に対する呈色反応検出を行う前処理に用いられる。この前処理は、予め複数枚の撮像画像データ(後述するキャリブレーションボードを撮像した撮像画像データ)から3次元空間を再生した際、複数の撮像画像データの2次元座標における画素の位置と3次元空間における座標位置とを対応付ける際に生成される式である。予め生成された座標変換式は、参照画像記憶部111に対して、予め呈色反応検出対象毎に書き込んで記憶されている。ここで、呈色反応検出対象とは、分析キットの種類を示している。分析キット容器の形状が異なる場合、それぞれの容器形状に対応した座標変換式を準備する必要がある。
図3は、呈色反応領域を撮像する際の撮像部101の観察角度を説明する図である。図3において、被検体が呈色反応領域に滴下され、この検体中に被検出対象物質がある場合、その被検出対象物質の濃度または強度に応じて各々の比色反応領域の色を変化させ、呈色反応を観察することができる。
法線400は、撮像画像データの撮像方向の観察角度αを示すための基準線であり、呈色反応領域902の表面の面方向を示す法線である。観察角度αは、撮像部101の撮像方向101Aと法線400との成す角度である。
例えば、画像変換部104は、法線400に平行な方向をz軸とし、呈色反応領域の辺の各々がx軸及びy軸の各々と平行となるように分析キットを3次元座標系において配置する。例えば、分析キット容器900の各辺により形成される頂点のいずれかが、3次元座標系の原点Oと一致するように、3次元座標系において、分析キットをx軸及びy軸からなる2次元平面に配置する。このため、分析キット容器900の厚さ方向がz軸に対して平行となる。この分析キット容器900の3次元形状は、予め既知の情報として、すでに述べた座標変換の式とともに、参照画像記憶部111に対して記憶されている。
図1に戻り、画像変換部104は、撮像画像データの観察角度を求める際、3次元座標系における分析キット容器900の3次元形状の各座標と、撮像画像データ(2次元座標系)の各画素(座標)とを、上記座標変換式により対応付ける。そして、画像変換部104は、上記対応付けにより、3次元空間の3次元座標系における撮像画像データの撮像位置と、この撮像位置からの撮像画像データの撮像方向を求める。このとき、画像変換部104は、すでに述べたように、3次元座標系において呈色反応領域の3次元形状のいずれかの頂点を原点Oとし、法線がz軸と平行となり、各辺がx軸またはy軸と平行となるように、分析キット容器900上に3次元空間を規定する。
そして、画像変換部104は、この分析キット容器900の3次元形状を基準として、3次元座標系における撮像部101の撮像画像データの撮像位置、及び撮像方向を求める。これにより画像変換部104は、法線400と撮像部101の撮像方向との成す観察角度αを求める。
本実施形態においては、事前に撮像部101に対してカメラキャリブレーション(カメラ校正)が行われていることが前提として必要である。このカメラキャリブレーションとは、予め3次元形状が既知なキャリブレーションボードを撮像領域内で一回あるいは複数回撮像し、撮像された一枚あるいは複数の撮像画像データを用いて3次元空間の3次元座標系における座標点と、撮像画像データの2次元座標系における座標点(二次元ピクセル)の複数の座標点の対応を取る。これにより、撮像部101とキャリブレーションボードとの相対位置関係(以下、外部パラメタ)を示す上記座標変換式と、撮像部101の光学中心や各画素(2次元ピクセル)における光線入射方向ベクトル、レンズ歪みなど(以下、撮像部101の内部パラメタ)を推定する。
ここで、本実施形態においては、画像変換部104が撮像画像データの観察角度を推定するため、予め撮像部101で撮像した複数の異なる視点方向からキャリブレーションボードを撮像した2次元画像から、すなわち多視点の撮像画像データからグローバル座標系(3次元座標系)を再構成する。そして、同一ピクセルにおける再構成した3次元座標系における座標点と、撮像部101が撮像した撮像画像データの2次元座標系における座標点との対応関係を示す座標変換式(撮像部101の内部パラメタにより求めた変換式)を、カメラキャリブレーション時に求めておく。
上述したように、本実施形態において、観察角度の推定は、事前に撮像部101に対してカメラキャリブレーション(カメラ校正)が行われることにより、検出システムにおける呈色反応検出処理の実行時に撮像部101の内部パラメタが既知であり、かつ分析キット容器900及び呈色反応領域の3次元形状が既知であることが前提である。これにより、呈色反応領域の撮像画像データを撮像し、上記座標変換式によって3次元座標系における座標点と撮像画像データの2次元座標系のピクセルとの複数の対応点情報を得て、この対応点座標から撮像部101と呈色反応領域との相対位置関係を推定できる。すなわち、呈色反応領域を撮像した際における、3次元座標系における撮像部101の観察位置及び観察角度(撮像方向)が推定できる。したがって、画像変換部104は、撮像部101の位置や分析キット容器900の位置が変化したとしても、撮像画像データを参照撮像画像データと同様の撮像位置及び撮像角度へと正規化されるため、常に参照撮像画像データと比較可能な精度で検出用撮像画像データを求める処理が行われる。
本実施形態において、例えば、カメラキャリブレーションとしては、良く知られている手法の一つである、Z.Zhangによる解析手法(Z.Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11, pages 1330-1334, 2000)を適用して、撮像画像データを撮像した際の観察角度を推定することができる。ただし、上記Z.Zhangによる解析手法を適用して観察角度の推定を行う場合、検出システムに入力する撮像画像データは、カメラキャリブレーション時に固定された焦点と同様の焦点(望ましくは同一の焦点)で撮像された画像データである必要がある。
また、撮像画像データから検出用撮像画像データを生成する他の方法としては、以下に示す射影変換を撮像画像データに行うことが考えられる。
すなわち、画像変換部104は、参照撮像画像の3次元空間において、参照撮像画像データにおける呈色反応領域の矩形の頂点の各々の座標に対し、撮像画像データにおける呈色反応領域の矩形の頂点が重なるように、参照撮像画像データの呈色反応領域の平面に対し、撮像画像データにおける呈色反応領域を射影変換する処理を行う。
これにより、画像変換部104は、検査結果を判定する標準撮像角度で撮像した参照撮像画像データと同様の観察角度における検出用撮像画像データを撮像画像データから生成する。
滴下検出部105は、検出用撮像画像データにおける呈色反応領域の比色反応領域の各々の状態の変化(色、テクスチャなどの変化)により、比色反応領域それぞれに対して、被検溶液が滴下されたか否かの検出を行う。
この比色反応領域に対する被検溶液の滴下の検出の一例を以下に説明する。
滴下検出部105は、最初に撮像された検出用撮像画像データにおける比色反応領域の呈色反応色である初期呈色反応色と、その後に時系列に撮像される検出用撮像画像データにおける比色反応領域の呈色反応色である比較呈色反応色との差分値を求める。
そして、滴下検出部105は、求めた差分値が予め設定された所定の滴下開始判定閾値以上となったことを検出した場合、比色反応領域に対して被検溶液が滴下されと判定する。この滴下開始判定値は、被検溶液を滴下する前後の検出用撮像画像データにおける比色反応領域の呈色反応色の差分値を複数求め、この差分値の統計処理を行うことで求められる。
また、滴下検出部105は、時系列に撮像される撮像画像データにおける比色反応領域の呈色反応色と、予め求められた滴下後の呈色反応領域の状態を示す参照比色反応領域の呈色反応色との類似度を求める構成としてもよい。
この場合、滴下検出部105は、求めた類似度が予め設定された滴下開始判定閾値以上の場合、被検溶液が比色反応領域に滴下されたことを検出する。
上記類似度は、予め被検体を滴下する前後の撮像画像データにおける比色反応領域の画像(例えば、各画素の画素値)を学習し、比色反応領域の類似度を出力する類似度モデルを生成し、検出用撮像画像データにおける比色反応領域の画像(例えば、各画素の画素値)を、この生成した類似度モデルに入力してパターンマッチングを行うことで出力される数値である。
滴下検出部105は、上述のように比色反応領域に対する被検溶液の滴下を検出すると、この比色反応領域の比色反応領域識別情報を付加し、滴下を検出したことを示す検出信号を、経過時間計測部106に対して出力する。
図4は、参照画像記憶部111に記憶されている検査キットテーブルの構成例を示す図である。検査キットテーブルは、検査キット毎に設けられ、それぞれ検査キット識別情報が付加されて、参照画像記憶部111に記憶されている。
検査キットテーブルは、レコード毎に、比色反応領域識別情報、検査項目名、検出時間、類似度閾値及び反応インデックスを備えている。
比色反応領域識別情報は、比色反応領域の各々(例えば、図2の呈色反応領域902における比色反応領域903から908の各々)を識別する識別情報である。検査項目名は、比色反応領域の比色反応色の判定により検出する検出対象物質の名称を示している。検出時間は、被検溶液が滴下されてから比色反応色の判定を行うまでの、比色反応領域における呈色反応に要する時間を示している。呈色反応色の判定は、この検出時間が経過した時点(タイミング)で行う必要がある。
類似度閾値は、比色反応領域の画像データと参照呈色反応画像データとの間の類似度が、画像データと参照呈色反応画像データとを同様とするか否かを判定する閾値である(後述)。反応インデックスは、被検溶液に含まれる検出対象物質の量に対応した参照呈色反応色と、この参照呈色反応色に設定された判定レベルとを示す判定テーブルが記述された領域の参照画像記憶部111におけるアドレスを示している。
図1に戻り、経過時間計測部106は、滴下検出部105が被検溶液の滴下を検出した検出信号が供給されると、この検出信号に付加された比色反応領域識別情報を抽出する。そして、経過時間計測部106は、この比色反応領域識別情報に対応する比色反応領域における滴下した時点からの経過時間の計数(カウント)を開始する。
また、経過時間計測部106は、参照画像記憶部111における現在の検査キットに対応する検査キット識別情報の検査キットテーブルを参照し、比色反応領域識別情報に対応する検出時間を読み出す。そして、経過時間計測部106は、計数している経過時間が検出時間となると、比色反応領域の呈色反応色を判定する時間となったことを示す判定信号を、判定する比色反応領域の比色反応領域識別情報を付加して、類似度算出部107へ出力する。
類似度算出部107は、経過時間計測部106から判定信号が供給された場合、この時点における検出用撮像画像データにおける呈色反応色を求める。
例えば、類似度算出部107は、判定信号に付加された比色反応領域識別情報に対応する比色反応領域の画像データを、検出用撮像画像データにおける呈色反応領域から抽出する。そして、類似度算出部107は、比色反応領域の画像データにおける画素の各々の画素値(例えば、RGBの階調度)の平均値、最大値あるいは最小値を呈色反応色として抽出する。類似度算出部107は抽出した呈色反応色と、比色反応領域識別情報に対応する判定テーブルにおける参照呈色反応色の各々と比較し、それぞれの参照呈色反応画像データとの間で反応色差分値の逆数(類似度)あるいは反応色差分値(相違度)を算出する。
また、図4における反応インデックスが示すアドレスの領域に記憶されている判定テーブルにおいて、検出対象物質の量に対応した参照呈色反応色に換え、参照撮像画像データにおける比色反応領域の画像データである参照呈色反応画像データが設定される構成としても良い。
この構成の場合、類似度算出部107は、検出用撮像画像データにおける比色反応領域の画像データと、予め参照画像記憶部111に記憶された参照呈色反応画像データの各々を順次参照し、類似度(あるいは相違度)を算出する。類似度算出部107は、これらの比色反応領域の画像データが画像変換部104によって正規化されているため、比色反応領域上の全ての画素についてテンプレートマッチングを行い、それにより得られたスコアを類似度とする。
すなわち、テンプレートマッチングを行う際、類似度算出部107は、判定信号に付加された比色反応領域識別情報に対応する比色反応領域の画像データを、検出用撮像画像データにおける呈色反応領域か抽出する。類似度算出部107は、比色反応領域の画像データと参照呈色反応画像データの各々とにおいて、対応する画素間の各々における色成分RGBのそれぞれの輝度値の平均二乗誤差を、それぞれの参照呈色反応画像データとの間で求める。そして、類似度算出部107は、比色反応領域の画像データ全ての画素の平均二乗誤差を加算して、加算結果の逆数を類似度(あるいは加算結果を相違度)として算出する。
また、類似度算出部107は、比色反応領域の画像データと参照呈色反応画像データとにおける画素の全て、あるいは一部の対応する画素の色成分RGBの数値を適切な色空間に変換し、変換後の色空間におけるユークリッド距離の二乗値を加算し、この加算結果の逆数を類似度(あるいは加算結果を相違度)として出力する構成としても良い。この場合においても、画素値の平均二乗誤差を用いた場合と同様に、類似度の数値が高い(相違度の数値が低い)ほど、比色反応領域の画像データと参照呈色反応画像データとは類似している。
呈色反応検出部108は、比色反応領域の比色反応領域識別情報に対応して、参照画像記憶部111における検査キットテーブルから類似度閾値を読み出す。
そして、呈色反応検出部108は、類似度算出部107が算出した参照呈色反応画像データとの類似度の各々と、読み出した類似度閾値を比較して、類似度閾値以上の類似度を有する参照呈色反応画像データを抽出する。
また、呈色反応検出部108は、抽出した類似度閾値以上の参照呈色反応画像データから、類似度が最大である参照呈色反応画像データを選択する。呈色反応検出部108は、参照画像記憶部111の比色反応領域識別情報に対応する判定テーブルを参照し、選択した参照呈色反応画像データに対応する判定レベルを検査結果として抽出する。呈色反応検出部108は、抽出した判定レベルを検査結果記憶部112に対して、判定結果として書き込んで記憶させる。
上記類似度閾値は、検出用撮像画像データにおける比色反応領域の画像データが、判定テーブルにおける参照呈色反応画像データ群の画像データのうちいずれかと一致することを保証する値である。また、参照呈色反応画像データ群の各画像データと、それに対応する検出用撮像画像データにおける比色反応領域の画像データとの間で計算される類似度を目安に設定される。検出用撮像画像データの比色反応領域の画像データに対し、参照呈色反応画像データ群の画像データの内で最も一致するものは、それ以外の参照呈色反応画像データに比べて類似度の差が顕著となると考えられる。
したがって、類似度が類似度閾値を上回る参照呈色反応画像データは、参照呈色反応画像データ群において通常ただ一つである。しかしながら、呈色反応検出部108は、類似度閾値を上回る参照呈色反応画像データが複数あった場合、上述したように、その参照呈色反応画像データ中で最も類似度の高い参照呈色反応画像データを選択する。
図5は、検査結果記憶部112に記憶されている検査結果テーブルの構成例を示す図である。検査キットテーブルは、ユーザ及び検査キットの組合わせ毎に設けられ、それぞれユーザ識別情報と検査キット識別情報との各々が付加されて、参照画像記憶部111に記憶されている。ユーザ識別情報は、被検溶液を取得したユーザを識別する識別情報である。
検査結果テーブルは、レコード毎に、比色反応領域識別情報、検査項目名及び検査結果を備えている。比色反応領域識別情報は、比色反応領域の各々を識別する識別情報である。検査項目名は、比色反応領域の比色反応色の判定により検出する検出対象物質の名称を示している。検査結果は、呈色反応検出部108が検出した判定レベルを示している。
表示部109は、表示する液晶ディスプレイなどの表示装置であり、呈色反応検出部108が抽出した検査結果を表示画面に表示する。あるいは、図示しないプリンタなどの印刷装置から、呈色反応検出部108が抽出した検査結果を出力するように構成しても良い。
また、撮像制御部103は、撮像時において、呈色反応領域902を撮像する際の観察角度が予め設定された角度範囲に入っているか否かの判定を行う。ここで、角度範囲とは、画像変換部104が画像変換した際、呈色反応パターンにおいて呈色反応検出が可能な情報量を保持しうる撮像画像データが撮像できる観察角度の範囲を示している。例えば、呈色反応領域902の法線400に対して、観察方向がほぼ直交するような観察角度α(すなわち、α=90°あるいは270°)で撮影をすると、撮像画像データにおける呈色反応領域902の画像の画素が非常に少なくなり、呈色反応ラインが不鮮明となり呈色反応検出を精度よく行うことができなくなる。
このため、撮像制御部103は、撮像部101の撮像画像データの撮像方向である観察角度を、画像変換部104に対して推定させる。
そして、撮像制御部103は、画像変換部104が推定した観察角度が角度範囲に入っている場合、撮像処理における角度条件を満たし、一方、推定された観察角度が角度範囲に入っていない場合、撮像処理における角度条件を満たさないとする表示を表示部109の表示画面に表示し、ユーザに対して角度範囲の観察角度に調整することを促す。このとき、撮像制御部103は、表示部109の表示画面に上下左右に少し動かすことを通知する表示を行う。あるいは、撮像制御部103は、撮像部101を撮像する際、表示部109に対して、表示画面に角度範囲に入る観察角度となるように、分析キット容器900の画像の形状に合わせた枠を表示する。
また、撮像制御部103は、撮像する際に、参照画像記憶部111に記憶されている参照呈色反応画像データ群の画像データに対し、撮像部101が比較可能品質を有する撮像画像データを撮像する撮像条件を満足しているか否かの判定を行う。また、撮像条件における露光条件に対して、照明(たとえばフラッシュ光源)の有無あるいは照明の強度を必要に応じて加える構成としても良い。
また、撮像制御部103は、撮像条件として、撮像部101における露光条件を設定する際、輝度ヒストグラムを生成する。撮像制御部103は、各画素の階調度の分布を示すものであり、撮像画像データにおける階調度の分布が高階調度側あるいは低階調度側に偏っていないか否かの判定において、生成した輝度ヒストグラムを用いている。例えば、輝度ヒストグラムにおける階調度の分布が低階調度側に偏っている場合、すなわち、階調度が「0」から「255」の256段階で表現されており、撮像画像データにおける階調度「0」近傍の画素が多い場合、撮像画像データに黒つぶれが発生して正解画像データとの比較が行えなくなる。一方、輝度ヒストグラムにおける階調度の分布が高階調度側に偏っている場合、すなわち撮像画像データにおける階調度「255」近傍の画素が多い場合、撮像画像データに白飛びが発生して正解画像データとの比較が行えなくなる。
このため、輝度ヒストグラムにおける階調度の分布が「0」から「255」の範囲の中央近傍に存在するように、露光条件を設定する必要がある。
撮像制御部103は、輝度ヒストグラムの階調度の分布に基づき、照明の調整やシャッタースピードの変更が必要か否かの判定を行う。撮像制御部103は、黒つぶれが発生することが推定され、輝度ヒストグラムの分布を高階調度側にシフトさせる照明の調整もしくはシャッタースピードの変更が必要な場合、露光制御部102に対して撮像時における呈色反応領域902の照明を所定の強度で行わせるか(例えばフラッシュ光を撮像方向に照射させる)、またはシャッタースピードを長くして輝度値を調整する。また、撮像制御部103は、呈色反応検出システム1が露光制御部102及び照明を有していない場合、ユーザに対して必要な光強度の照明を呈色反応領域902に対して照射することを促す表示を表示部109の表示画面に表示する。
図6は、本発明の一実施形態の呈色反応検出システムにおける簡易検査紙や簡易検査薬を用いた呈色反応検出対象に対する呈色反応検出処理の動作例を示すフローチャートである。
ステップS101:
撮像制御部103は、撮像部101における呈色反応検出対象である呈色反応領域の現在の撮像条件を検出、例えば観察角度、露光条件などを検出する。
ステップS102:
撮像制御部103は、露光条件などの撮像条件の全てが、反応テーブルにおける画像参照呈色反応画像データ群における画像参照呈色反応画像データと比較することが可能な画質の撮像画像データを撮像できる撮像条件であるか否かの判定を行う。
このとき、撮像制御部103は、参照撮像画像データ群における画像参照呈色反応画像データと比較することが可能な画質の撮像画像データを撮像できる撮像条件である場合、処理をステップS103へ進める。一方、撮像制御部103は、参照撮像画像データ群における画像参照呈色反応画像データと比較することが可能な画質の撮像画像データを撮像できる撮像条件でない場合、処理をステップS104へ進める。
ステップS103:
撮像制御部103は、撮像画像データにおける呈色反応領域902の撮像位置を抽出する。すなわち、撮像制御部103は、撮像部101の撮像範囲内における分析キット容器900(呈色反応検出対象)の3次元形状を得る。そして、撮像制御部103は、得られた分析キット容器900の3次元形状と、予め参照画像記憶部111に書き込まれて記憶されている参照用の分析キット容器900の3次元形状とを比較し、撮像部101の撮像範囲内における呈色反応領域902を抽出する。
ステップS104:
撮像制御部103は、撮像条件において満たされていない条件を表示部109の表示画面に表示し、ユーザに対して撮像条件における満たされていない条件の調整を示唆する。
ステップS105:
撮像制御部103は、撮像部101の撮像範囲における呈色反応領域902と、予め記憶されている分析キット容器900の3次元形状における呈色反応領域902とを比較する。そして、撮像制御部103は、呈色反応領域902全体が撮像画像データに含まれているか否か、すなわち観察領域内に呈色反応領域902全体が含まれているか否かの判定を行う。
このとき、撮像制御部103は、呈色反応領域902全体が撮像画像データに含まれている場合、処理をステップS106へ進め、一方、呈色反応領域902全体が撮像画像データに含まれていない場合、処理をステップS107へ進める。
ステップS106:
撮像制御部103は、呈色反応領域902の撮像方向、すなわち観察角度の推定処理を画像変換部104に行わせる。
これにより、画像変換部104は、撮像部101の撮像範囲における撮像画像データから得られる分析キット容器900の3次元形状と、予め記憶されている3次元座標系における分析キット容器900の3次元形状とを比較することにより、呈色反応領域902の撮像方向に対する観察角度を推定する。ここで、画像変換部104は、上記比較により、撮像部101が分析キット容器900を撮像する撮像方向を求める。そして、画像変換部104は、3次元座標系における分析キット容器900の呈色反応領域902が添付されている面(分析キット容器900の上面あるいは下面の呈色反応領域902が添付されているいずれかの面)の法線と、撮像部101の撮像方向とのなす角度を観察角度として求め、撮像制御部103に対して出力する。
ステップS107:
撮像制御部103は、撮像部101の撮像範囲内に呈色反応領域902の領域が全て含まれるように、撮像部101の撮像する撮像位置を調整することを表示部109の表示画面に表示し、ユーザに対して撮像位置の変更を示唆する。
ステップS108:
撮像制御部103は、呈色反応領域902全体が撮像画像データを撮像する撮像方向、すなわち観察角度が予め設定された角度範囲に入っているか否かの判定を行う。
このとき、撮像制御部103は、撮像部101の観察角度が角度範囲内にある場合、処理をステップS109へ進め、一方、撮像部101の観察角度が角度範囲内にない場合、処理をステップS110へ進める。
ステップS109:
撮像制御部103は、呈色反応領域902の撮像が可能であることを示す画像を、表示部109の表示画面に表示し、呈色反応領域902の撮像をユーザに対して促す。
そして、ユーザは、表示画面を確認して、呈色反応検出システム1の入力手段から、撮像指示を入力する。
これにより、撮像制御部103は、撮像部101に対して撮像処理を行わせて、撮像画像データを得る。
ステップS110:
撮像制御部103は、撮像部101の観察角度が予め設定されている角度範囲以内に含まれるように、撮像部101の撮像する撮像方向を調整することを表示部109の表示画面に表示し、ユーザに対して撮像方向の変更を示唆する。
ステップS111:
画像変換部104は、算出した撮像角度に基づき、撮像画像データの呈色反応領域902を、検査結果を判定する参照撮像画像データにおける呈色反応領域の面と平行かつ重なり合う検出用撮像画像データに変換する。すなわち、画像変換部104は、撮像画像データの撮像位置及び観察角度を変換して、検査結果を判定するラインの参照パターンが示された参照撮像画像データと同様の撮像位置及び観察角度とした検出用撮像画像データを生成する。
これにより、画像変換部104は、撮像画像データの呈色反応領域902の画像データと、参照撮像画像データにおける呈色反応領域の画像データ(画像参照呈色反応画像データ)とを、同様の撮像位置及び観察角度として比較することが可能となる。また、画像変換部104は、参照画像記憶部111の参照撮像画像データ群における画像参照呈色反応画像データの各々とテンプレートマッチングできるように、撮像画像データの正規化を行い、検出用撮像画像データを生成する。
また、画像変換部104は、すでに説明したように、(1)式から(3)式を用いた処理により、照明の照度ムラと、撮像機器や光源色に依存する色味の違いとを補正する処理を行う。しかしながら、照明の照度ムラと、撮像機器や光源色に依存する色味の違いとが発生しない環境であれば、この処理を省略しても良い。
ステップS112:
滴下検出部105は、最初に記載された検出用撮像画像データにおける比色反応領域の初期呈色反応色と、その後に時系列に撮像される検出用撮像画像データにおける比色反応領域の呈色反応色との差分値を求める。
そして、滴下検出部105は、求めた差分値が滴下開始判定閾値以上であるか否かの判定を行う。このとき、滴下検出部105は、求めた差分値が滴下開始判定閾値以上である場合、被検溶液の滴下の検出が行われたとして、検出信号を経過時間計測部106に対して出力した後、処理をステップS113へ進める。一方、滴下検出部105は、求めた差分値が滴下開始判定閾値未満である場合、被検溶液の滴下の検出が行われていないとして、処理をステップS109へ進める。
ステップS113:
経過時間計測部106は、滴下検出部105から検出信号が供給された場合、経過時間を計数するカウンタを「0」にリセットし、経過時間の計数の処理を開始する。
また、経過時間計測部106は、検出信号に付加されている比色反応領域識別情報を抽出し、抽出した比色反応領域識別情報に対応する検出時間を、参照画像記憶部111の検査キットテーブルから読み出す。
ステップS114:
経過時間計測部106は、計数している経過時間が検出時間以上となったか否かの判定を行う。
このとき、経過時間計測部106は、経過時間が検出時間以上となった場合、呈色反応領域における被検溶液に基づく呈色反応色の解析を行うため、類似度算出部107に対して判定信号を出力し、処理をステップS115へ進める。一方、経過時間計測部106は、経過時間が検出時間未満である場合、呈色反応領域における被検溶液に基づく呈色反応色の解析を行う時間となっていないため、ステップS114の処理を繰り返す。
ステップS115:
類似度算出部107は、判定信号から比色反応領域識別情報を抽出し、この比色反応領域識別情報に基づき、参照画像記憶部111における反応テーブルを参照する。
そして、類似度算出部107は、検出用撮像画像データにおける比色反応領域の画像データと、この比色反応領域における参照撮像画像データにおける比色反応領域の各々の画像参照呈色反応画像データとの類似度を算出する。
ステップS116:
呈色反応検出部108は、参照画像記憶部111の検査キットテーブルから、比色反応領域の比色反応領域識別情報に対応する類似度閾値を読み出す。
そして、呈色反応検出部108は、参照撮像画像データにおける比色反応領域の画像参照呈色反応画像データの各々に対応する類似度と、読み出した類似度閾値とを比較する。このとき、呈色反応検出部108は、類似度閾値以上の類似度を有する画像参照呈色反応画像データが有る場合、類似度閾値以上の類似度を有する画像参照呈色反応画像データを抽出し、処理をステップS117へ進める。一方、呈色反応検出部108は、類似度閾値以上の類似度を有する画像参照呈色反応画像データが無い場合、処理をステップS118へ進める。
ステップS117:
呈色反応検出部108は、抽出した類似度閾値以上の類似度を有する画像参照呈色反応画像データから、最大の類似度を有する画像参照呈色反応画像データを選択する。
そして、呈色反応検出部108は、選択した最大の類似度を有する参照画像データに対応する判定レベルを、反応テーブルから読み出す。呈色反応検出部108は、反応テーブルから読み出した判定レベルを、検査結果記憶部112の検査結果テーブルに書き込んで記憶させる。
ステップS118:
呈色反応検出部108は、呈色反応領域902の撮像画像データにおける比色反応領域に対応する参照撮像画像データにおける比色反応領域の画像参照呈色反応画像データが、参照撮像画像データ群のなかの画像参照呈色反応画像データに無いと判定し、表示部109に呈色反応が検出できなかったことを表示して終了する。
ステップS119:
呈色反応検出部108は、検査結果記憶部112の検査結果テーブルから、比色反応領域に対応した検査結果を読み出し、表示部109の表示画面にこの検査結果を表示して処理を終了する。
また、本実施形態においては、呈色反応領域に比色反応領域が一つである場合を説明したが、呈色反応領域に複数の比色反応領域が設けられている場合、ステップS109からステップS119までの処理を、呈色反応領域における比色反応領域毎に行う。
上述した構成により、本実施形態によれば、比色反応領域に被検溶液が滴下されたタイミングから経過時間計測部が反応時間(検出時間)が経過したことを検出するため、測定者による検出タイミングのばらつきを排除することができ、検査項目(比色反応領域)毎に設定された検出時間が経過した時点における呈色反応の判定結果を容易に、かつ高い精度で安定して行うことが可能となる。
本実施形態によれば、滴下検出部105が時系列に撮像する撮像画像データ画像処理により、比色反応領域に被検溶液が滴下されたタイミングを検出するため、滴下されたタイミングの判定における測定者による検出のばらつきを排除することができ、滴下されてからの経過時間を正確に計数することができ、検査項目(比色反応領域)毎に設定された検出時間が経過した時点における呈色反応の判定結果を容易に、かつ高い精度で安定して行うことが可能となる。
また、本実施形態によれば、呈色反応領域902を撮像した検出用撮像画像データと、参照撮像画像データ群における呈色反応領域902に現れる全ての呈色反応領域の画像データとを比較し、検体検査の呈色反応検出を行う。このため、本実施形態によれば、従来のように高価で特殊な検出装置を用いず、汎用的なデジタルカメラなどの簡易な撮像装置により撮像した画像により、分析キットの検査項目毎に設定された呈色反応の判定結果を容易に、測定者による検出タイミングのばらつきを排除して、高い精度で行うことが可能となる。
また、本実施形態によれば、(1)式から(3)式を用いた処理により、照明の照度ムラと、撮像機器や光源色に依存する色味の違いとを補正する処理を行うことにより、参照撮像画像データを撮像した際の光源環境と同一環境においてした状態に、異なる光源環境で撮像した撮像画像データの各画素の階調度を補正することができる。これにより、本実施形態によれば、参照撮像画像データと検出用撮像画像データとにおける比色反応領域の画像データ間の類似比較をテンプレートマッチングで行う際、参照撮像画像データとの光源環境と異なる光源環境下で撮像した撮像画像データの呈色反応領域の画像データとの比較処理を高い精度で行うことができる。
ここで、呈色反応検出システムの解析対象の分析キット容器900について詳述する。
分析キット容器900は、図2に例示した通り、呈色反応領域902が平面上のものでもよいし、内部に検査薬などが充填された円柱状などのチューブ形状、あるいは呈色反応領域902の媒体として、pH(ピーエッチ)試験紙(リトマス試験紙を含む)、尿検査紙、酸化度測定紙(食用油検査用)などの簡易検査紙のような平面形状の紙のものでもよい。
また、平面上の呈色反応領域をもつ分析キットにおいて、呈色反応領域902における観察対象面901における呈色反応を示す呈色反応領域が図2に示す矩形状であっても良いし、ドット形状あるいはスポット形状でも良い。
平面上の呈色反応領域の中には、図2に例示した通り、複数の検査項目の各々に対応した比色反応領域を有する分析キットや、試験紙や試薬が観察対象面901に設けられている(例えば、貼り付けられている)プレートを被検出対象物質に浸漬して呈色反応を見る分析キットでもよい。
また、分析キットの中にはスポイトのようなチューブ形状の呈色反応領域を有しているものもあり、被検出対象物質を分析キットの吸水部から吸入して、チューブにおける被検出対象物のチューブ内の充填物(検査薬など)中における浸漬に応じた呈色反応を見るものもある。本発明における分析キットは、そのいずれでも良いし、これらの組み合わせで構成されてもよい。
一方、チューブ型の分析キットは、呈色反応領域の形状が呈色反応領域902のように平面ではなく、筒(円柱)状となる場合がある。しかしながら、チューブ型の筒状の形状をした分析キットであっても、チューブ内における筒状の充填物の表面において、三次元座標が既知であるパタン(領域)が存在することを仮定すれば、平面の場合と同様に観察角度を推定することが可能である。つまり、そのパタン(領域)の三次元座標と撮像画像上の二次元ピクセル座標との対応を取ることにより、画像変換部104を用いて、すでに説明した平面上の観察対象面901における呈色反応を示す呈色反応領域を検出する場合と同様に観察角度を推定できる。
上述した分析キット容器900は、被検出対象物質が特定のタンパク質でもよいし、またはウイルス、菌類、細菌等の微生物でもよい。
また、上述した分析キット容器900は、被検出対象物質が特定のDNA構造を抽出するために検出される核酸であってもよい。
さらに、上述した分析キット容器900は、被検出対象物質が、水質検査に混入された混入物質、油の劣化状態を検出する油酸化度を示す物質、あるいは食物に含まれる糖などの化学物質(例えば、果物におけるショ糖の含量による糖度の測定)であってもよい。
呈色反応検出システムは、分析キット容器900において、観察対象面901における呈色反応領域902の色変化(異なる種類の色に変化)を検知するものでもよいし、色の濃度変化(同一の色の濃度の変化)を検知するものでもよい。
また、呈色反応検出システムは、分析キット容器900において、呈色反応領域902における蛍光や燐光を撮像し、この撮像画像における色変化(異なる種類の色に変化)を検知するものでもよいし、色の濃度変化(同一の色の濃度の変化)を検知するものでもよい。
なお、本発明における図1の呈色反応検出システム1の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、呈色反応検出の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
1…呈色反応検出システム
101…撮像部
101A…撮像方向
102…露光制御部
103…撮像制御部
104…画像変換部
105…滴下検出部
106…経過時間計測部
107…類似度算出部
108…呈色反応検出部
109…表示部
110…撮像画像記憶部
111…参照画像記憶部
112…検査結果記憶部
400…法線
900…分析キット容器
901…観察対象面
902…呈色反応領域
903,904,905,906,907,908…比色反応領域
1001,1002,1003…色補正用パッチ

Claims (12)

  1. 分析キットにおける検査項目に対応した呈色反応領域における呈色反応により検体の被検出対象物質を検出する呈色反応検出システムであり、
    被検溶液が前記呈色反応領域に滴下が検出された検出時点からの経過時間を測定し、当該経過時間が前記呈色反応を観察する予め設定した設定検出時間と一致したか否か検出する経過時間計測部と、
    前記設定検出時における前記呈色反応領域を撮像した撮像画像の呈色反応色と、検査の判定レベルを示す参照画像の各々との類似度を算出する類似度算出部と、
    前記類似度が最大である前記参照画像を抽出する呈色反応検出部と
    を備えることを特徴とする呈色反応検出システム。
  2. 前記被検溶液が前記呈色反応領域に滴下されたか否かの検出を行う滴下検出部をさらに備え、
    前記経過時間計測部が、
    前記滴下検出部が前記呈色反応領域に対する前記被検溶液の滴下を検出してから、前記経過時間の測定を開始する
    ことを特徴とする請求項1における呈色反応検出システム。
  3. 前記滴下検出部が、時系列に撮像される撮像画像において、最初に撮像された撮像画像の呈色反応色である初期呈色反応色と以降に撮像された撮像画像の比較呈色反応色とを順次比較し、前記呈色反応色と前記比較呈色反応色との差分値を検出し、当該差分値が予め設定した滴下開始判定閾値以上の場合、前記被検溶液が前記呈色反応領域に滴下された前記検出時点を検出する
    ことを特徴とする請求項2に記載の呈色反応検出システム。
  4. 前記滴下検出部が、時系列に撮像される撮像画像において、撮像された撮像画像の比較呈色領域画像と、予め設定された滴下後の呈色反応領域の状態を示す参照呈色領域画像とを順次比較し、類似度が滴下開始判定閾値以上の場合、前記被検溶液が前記呈色反応領域に滴下された前記検出時点を検出する
    ことを特徴とする請求項2に記載の呈色反応検出システム。
  5. 前記分析キットの前記呈色反応領域を含む観察対象面を撮像した撮像画像から、前記呈色反応領域が予め設定された画像座標に位置するように前記撮像画像を検出用撮像画像に変換する画像変換部をさらに備え、
    前記類似度算出部が前記撮像画像として前記検出用撮像画像を用いる
    ことを特徴とする請求項1から請求項4のいずれか一項に記載の呈色反応検出システム。
  6. 前記画像変換部が、
    前記分析キットの前記呈色反応領域を含む観察対象面を撮像した前記撮像画像により、当該撮像画像が撮像された撮像方向と、観察対象面の基準線との成す観察角度を求め、前記撮像画像の前記観察角度を変換し、検査結果を判定する標準撮像角度で撮像した参照撮像画像と同様の観察角度における検出用撮像画像を生成すること
    を特徴とする請求項5に記載の呈色反応検出システム。
  7. 前記画像変換部が、
    前記分析キットの前記呈色反応領域を含む観察対象面を撮像した撮像画像おいて複数の座標を求め、これら複数の座標を用いた射影変換を行うことにより、検査結果を判定する標準撮像角度で撮像した参照撮像画像と同様の観察角度における検出用撮像画像を生成すること
    を特徴とする請求項5に記載の呈色反応検出システム。
  8. 前記撮像画像の撮像角度が予め設定の撮像角度範囲内に含まれるか否かの判定を行い、前記撮像角度が前記撮像角度範囲内に含まれていない場合、再度、撮像角度を変えて撮像画像を撮像することを促す通知を行う撮像制御部をさらに備えること
    を特徴とする請求項1から請求項7のいずれか一項に記載の呈色反応検出システム。
  9. 前記撮像制御部が、前記参照画像における所定の参照領域における輝度値である参照輝度値と、前記撮像画像における前記参照画像の前記参照領域の位置と同一の位置の輝度値とを比較し、当該輝度値と前記参照輝度値とが同様となるように前記撮像画像の輝度値を補正すること
    を特徴とする請求項8に記載の呈色反応検出システム。
  10. 前記分析キットの前記呈色反応領域が、被検出対象物質の呈色反応により検体の検出を行う媒体として、少なくともpH(ピーエッチ)試験紙、尿検査紙、酸化度測定紙の簡易検査紙が用いられていること
    を特徴とする請求項1から請求項7のいずれか一項に記載の呈色反応検出システム。
  11. 分析キットにおける検査項目に対応した呈色反応領域における呈色反応により検体の被検出対象物質を検出する呈色反応検出方法であり、
    経過時間計測部が、被検溶液が前記呈色反応領域に滴下が検出された検出時点からの経過時間を測定し、当該経過時間が前記呈色反応を観察する予め設定した設定検出時間と一致したか否か検出する経過時間計測過程と、
    類似度算出部が、前記設定検出時における前記呈色反応領域を撮像した撮像画像の呈色反応色と、検査の判定レベルを示す参照画像の各々との類似度を算出する類似度算出過程と、
    呈色反応検出部が、前記類似度が最大である前記参照画像を抽出する呈色反応検出過程と
    を含むことを特徴とする呈色反応検出方法。
  12. 分析キットにおける検査項目に対応した呈色反応領域における呈色反応により検体の被検出対象物質を検出する呈色反応検出システムの機能をコンピュータに実行させるプログラムであり、
    前記コンピュータを、
    被検溶液が前記呈色反応領域に滴下が検出された検出時点からの経過時間を測定し、当該経過時間が前記呈色反応を観察する予め設定した設定検出時間と一致したか否か検出する経過時間計測手段、
    前記設定検出時における前記呈色反応領域を撮像した撮像画像の呈色反応色と、検査の判定レベルを示す参照画像の各々との類似度を算出する類似度算出手段、
    前記類似度が最大である前記参照画像を抽出する呈色反応検出手段
    として機能させるためのプログラム。
JP2017225666A 2017-11-24 2017-11-24 呈色反応検出システム、呈色反応検出方法及びプログラム Active JP7062926B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017225666A JP7062926B2 (ja) 2017-11-24 2017-11-24 呈色反応検出システム、呈色反応検出方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017225666A JP7062926B2 (ja) 2017-11-24 2017-11-24 呈色反応検出システム、呈色反応検出方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019095328A true JP2019095328A (ja) 2019-06-20
JP7062926B2 JP7062926B2 (ja) 2022-05-09

Family

ID=66972855

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017225666A Active JP7062926B2 (ja) 2017-11-24 2017-11-24 呈色反応検出システム、呈色反応検出方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7062926B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112649161A (zh) * 2020-11-27 2021-04-13 宝武清洁能源有限公司 气敏色变传感器及基于气敏色变传感的加氢站安全盾系统
WO2022038978A1 (ja) * 2020-08-19 2022-02-24 株式会社荏原製作所 洗浄具のクリーニング方法、装置、基板洗浄装置及び洗浄具の製造方法
JP2022040031A (ja) * 2020-08-26 2022-03-10 台湾ナノカーボンテクノロジー股▲ふん▼有限公司 匂い分子に基づいて物流管理を行うシステム及び方法
CN114424046A (zh) * 2019-09-27 2022-04-29 松下知识产权经营株式会社 检查方法、程序以及检查系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6426227B1 (en) * 1999-08-31 2002-07-30 Common Sense Ltd. Method for analyzing secreted bodily fluids
WO2009093453A1 (ja) * 2008-01-25 2009-07-30 Panasonic Corporation 分析装置および分析方法
JP2010066146A (ja) * 2008-09-11 2010-03-25 Panasonic Corp マイクロアレイ測定方法
JP2013527848A (ja) * 2010-04-30 2013-07-04 コンプリート・ゲノミックス・インコーポレーテッド Dnaシークエンシング用アレイの正確なアラインメント及びレジストレーションのための方法及びシステム
JP2013215962A (ja) * 2012-04-06 2013-10-24 Konica Minolta Inc 階調補正装置および印刷システム
JP2014166298A (ja) * 2013-01-31 2014-09-11 Olympus Corp 内視鏡用画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
JP2015112333A (ja) * 2013-12-12 2015-06-22 コニカミノルタ株式会社 超音波診断装置、及び超音波画像表示方法
JP2015520389A (ja) * 2012-06-22 2015-07-16 エフ ホフマン−ラ ロッシュ アクチェン ゲゼルシャフト 体液中の分析物を検出する方法および装置
JP2017125840A (ja) * 2016-01-13 2017-07-20 凸版印刷株式会社 呈色反応検出システム、呈色反応検出方法及びプログラム
WO2017150071A1 (ja) * 2016-03-03 2017-09-08 Hoya株式会社 補正データ生成方法及び補正データ生成装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6426227B1 (en) * 1999-08-31 2002-07-30 Common Sense Ltd. Method for analyzing secreted bodily fluids
WO2009093453A1 (ja) * 2008-01-25 2009-07-30 Panasonic Corporation 分析装置および分析方法
JP2010066146A (ja) * 2008-09-11 2010-03-25 Panasonic Corp マイクロアレイ測定方法
JP2013527848A (ja) * 2010-04-30 2013-07-04 コンプリート・ゲノミックス・インコーポレーテッド Dnaシークエンシング用アレイの正確なアラインメント及びレジストレーションのための方法及びシステム
JP2013215962A (ja) * 2012-04-06 2013-10-24 Konica Minolta Inc 階調補正装置および印刷システム
JP2015520389A (ja) * 2012-06-22 2015-07-16 エフ ホフマン−ラ ロッシュ アクチェン ゲゼルシャフト 体液中の分析物を検出する方法および装置
JP2014166298A (ja) * 2013-01-31 2014-09-11 Olympus Corp 内視鏡用画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
JP2015112333A (ja) * 2013-12-12 2015-06-22 コニカミノルタ株式会社 超音波診断装置、及び超音波画像表示方法
JP2017125840A (ja) * 2016-01-13 2017-07-20 凸版印刷株式会社 呈色反応検出システム、呈色反応検出方法及びプログラム
WO2017150071A1 (ja) * 2016-03-03 2017-09-08 Hoya株式会社 補正データ生成方法及び補正データ生成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
加藤光保、永田毅: "病理標本の3次元再構築によるがんの特性の研究", 日本機械学会2014年度年次大会, JPN6021031752, 7 September 2014 (2014-09-07), ISSN: 0004570992 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114424046A (zh) * 2019-09-27 2022-04-29 松下知识产权经营株式会社 检查方法、程序以及检查系统
WO2022038978A1 (ja) * 2020-08-19 2022-02-24 株式会社荏原製作所 洗浄具のクリーニング方法、装置、基板洗浄装置及び洗浄具の製造方法
JP2022040031A (ja) * 2020-08-26 2022-03-10 台湾ナノカーボンテクノロジー股▲ふん▼有限公司 匂い分子に基づいて物流管理を行うシステム及び方法
CN112649161A (zh) * 2020-11-27 2021-04-13 宝武清洁能源有限公司 气敏色变传感器及基于气敏色变传感的加氢站安全盾系统

Also Published As

Publication number Publication date
JP7062926B2 (ja) 2022-05-09

Similar Documents

Publication Publication Date Title
US11802839B2 (en) Quantifying color changes in chemical test pads induced by different concentrations of analytes under different lighting conditions
JP6787076B2 (ja) 呈色反応検出システム、呈色反応検出方法及びプログラム
JP7062926B2 (ja) 呈色反応検出システム、呈色反応検出方法及びプログラム
TWI795453B (zh) 基於顏色形成反應執行分析量測的方法及裝置
EP2916117A1 (en) Quantifying color changes of chemical test pads induced by specific concentrations of biological analytes under different lighting conditions
ES2943012T3 (es) Procedimientos y dispositivos para realizar una medición analítica
JPH08504950A (ja) 光学的試料分析装置及び方法
JP7127288B2 (ja) 呈色反応観察補助システム、呈色反応観察補助方法及びプログラム
BR112021008435A2 (pt) Métodos para avaliar a adequação de um dispositivo móvel, para calibrar um dispositivo móvel, para realizar uma medição analítica, programas de computador de adequação, de calibração, de medição, dispositivo móvel e kit
KR20230020993A (ko) 체액의 샘플 내 분석물의 농도를 결정하는 방법, 모바일 장치, 키트, 컴퓨터 프로그램 및 컴퓨터 판독형 저장 매체
US9668653B2 (en) Quantification of under-eye skin color
US20230168261A1 (en) Scanner and Method of Using the Scanner During a Stain Assessment
KR102399939B1 (ko) 검출 방법 및 검출 패드
KR102226943B1 (ko) 검출 방법 및 검출 패드
CN116420067A (zh) 控制具有相机的移动装置的自动曝光设置的方法
CA3141047A1 (en) Method of determining a concentration of an analyte in a bodily fluid and mobile device configured for determining a concentration of an analyte in a bodily fluid
JP2002350355A (ja) 光沢ムラ評価装置、光沢ムラ評価方法及び該方法を実行するためのプログラムを格納したコンピュータ読み取り可能な記憶媒体
RU2812204C2 (ru) Способ определения концентрации аналита в физиологической жидкости и мобильное устройство, сконфигурированное для определения концентрации аналита в физиологической жидкости
RU2777489C2 (ru) Способы и устройства для проведения аналитического измерения
TW202413946A (zh) 試片檢測載台、試片檢測系統以及試片檢測方法
KR20200128841A (ko) 채액에서 타겟 물질을 검출하는 방법 및 검출 패드
KR20200128839A (ko) 휴대단말을 이용한 채액 속의 타겟 검출방법
TW202346832A (zh) 判定體液中至少一種分析物之濃度的方法及裝置
KR20200128835A (ko) 휴대단말을 이용한 채액 속의 타겟 검출방법
KR20200128856A (ko) 검출 패드

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220404

R150 Certificate of patent or registration of utility model

Ref document number: 7062926

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150