JP2021058469A - 人工知能を用いた医薬品推定システム及び医薬品推定方法 - Google Patents

Abstract

【課題】撮影された医薬品の撮影画像が不充分でも、学習済みモデルに基づく推論により適切な判別結果を迅速に得ることのできる人工知能を用いた医薬品推定システム及び医薬品推定方法を提供する。【解決手段】医薬品１である錠剤２の画像データを教師データとして機械学習した医薬品画像モデルを筺体１０内で使用するコンピュータ機器と、錠剤を撮影する撮影カメラ３０と、撮影される錠剤に光線を照射する照明源４０とを備え、コンピュータ機器が医薬品画像モデルを使用して撮影カメラに撮影された錠剤を推論により判別特定し、少なくとも錠剤の判別結果を表示手段５０に表示する。人工知能により錠剤を判別して特定するので、コンピュータ機器の画像データと撮影カメラに撮影された錠剤の鮮明な高精度の撮影画像とを比較して完全一致するか否かで判別する必要がない。【選択図】図２

Description

本発明は、調剤薬局の薬剤師や救急隊員等が用いる人工知能を用いた医薬品推定システム及び医薬品推定方法に関するものである。

従来、医薬品、特に錠剤を判別したい場合には、図示しないが、錠剤を撮影可能な撮影カメラと、錠剤方向に光線を照射する照明源と、撮影カメラが撮影した錠剤の撮影画像に基づいて錠剤の特徴を解析し、この解析結果を用いて錠剤を判別するコンピュータ機器とを備えた医薬品鑑査装置が開発され、提案されている（特許文献１参照）。
コンピュータ機器は、医薬品が錠剤の場合、予め撮影カメラが撮影した錠剤の撮影画像に基づき、錠剤の少なくとも刻印された模様を解析し、この解析結果を用いて錠剤を判別する。

特開２０１８‐１１７９２１号公報

従来における医薬品鑑査装置は、以上のように構成されているので、コンピュータ機器の解析により、錠剤をおおよそ適切に判別することができる。

しかしながら、錠剤をおおよそ適切に判別するためには、コンピュータ機器に大量の錠剤の画像データを準備して記録させ、この画像データと撮影カメラに撮影された錠剤の鮮明な高精度の撮影画像とを比較して完全一致するか否かで判別する必要があるので、判別結果が錠剤の撮影画像の品質に左右される事態が考えられる。また、適切な判別結果を得るためには、錠剤やその撮影画像が不完全ではなく、常に完全で鮮明である必要があるが、これでは、例えば錠剤の一部が欠けている場合等に救急隊員が錠剤を迅速に判別することができず、問題の生じる余地がある。

本発明は上記に鑑みなされたもので、例え撮影された医薬品の撮影画像が不充分でも、学習済みモデルに基づく推論により適切な判別結果を迅速に得ることのできる人工知能を用いた医薬品推定システム及び医薬品推定方法を提供することを目的としている。

本発明においては上記課題を解決するため、医薬品の画像データを教師データとして機械学習した医薬品画像モデルを用い、撮影手段に撮影された医薬品を判別することを特徴としている。

なお、医薬品に光線を照射する照明源を含むことが好ましい。
また、少なくとも医薬品の判別結果を表示する表示手段を含むことが好ましい。
また、医薬品を錠剤とすることができる。

また、本発明においては上記課題を解決するため、請求項１ないし４のいずれかに記載された人工知能を用いた医薬品推定システムを使用し、医薬品を判別することを特徴としている。

ここで、特許請求の範囲における「医薬品」には、少なくともカプセルタイプや錠剤タイプの薬が含まれる。この医薬品が錠剤の場合、錠剤の模様は、文字、絵文字、数字、図形、線図、記号等からなり、錠剤の表裏面、表面、又は裏面に形成される。また、医薬品がカプセルタイプの場合、医薬品の画像データとしては、少なくとも様々な姿勢（例えば、直立状態）で実際に３６０°以上回転あるいはソフトウェア上で３６０°以上回転する医薬品表面（周面）の複数の画像データがあげられる。

これに対し、医薬品が錠剤タイプの場合、医薬品の画像データとしては、少なくとも様々な姿勢で実際に回転あるいはソフトウェア上で回転する医薬品の表面の複数の画像データ、及び様々な姿勢で実際に回転あるいはソフトウェア上で回転する医薬品の裏面の複数の画像データ等があげられる。さらに、撮影手段や照明源の数は、必要に応じ、増減することができる。

本発明に係る医薬品推定システムには、（１）医薬品を判別できずに不特定と判別した場合には、警報を発する報知手段、（２）医薬品を判別できずに不特定と判別した場合には、液晶ディスプレイ等に警告用の模様を表示する表示手段等を適宜用いても良い。

本発明によれば、人工知能により医薬品を推論して判別・特定するので、コンピュータ機器の画像データと撮影手段に撮影された医薬品の鮮明な高精度の撮影画像とを比較して完全一致するか否かで判別する必要が少ない。また、例え医薬品の一部が欠落していたり、医薬品の撮影画像が一部不鮮明でも、人工知能により医薬品を判別して特定できるので、医薬品の撮影画像が常に完全で鮮明である必要が少ない。

本発明によれば、例え撮影された医薬品の撮影画像が不充分でも、学習済みモデルに基づく推論により適切な判別結果を迅速に得ることができるという効果がある。

請求項２記載の発明によれば、例え撮影手段の通常の撮影に必要な明るさが不足している場合でも、医薬品を適切に照らすことができ、撮影手段に入る光の情報（画像）に認識すべき医薬品が映らないのを有効に防止することができる。
請求項３記載の発明によれば、表示手段に少なくとも医薬品の判別結果が表示されるので、医薬品を迅速に把握することができ、救急隊員等の緊急処置が円滑、かつ容易となる。
請求項４記載の発明によれば、例え撮影された錠剤の撮影画像が不充分でも、学習済みモデルに基づく推論により適切な判別結果を迅速に得ることができる。

本発明に係る人工知能を用いた医薬品推定システムの実施形態を模式的に示す全体斜視説明図である。 本発明に係る人工知能を用いた医薬品推定システムの実施形態を模式的に示す断面説明図である。 本発明に係る人工知能を用いた医薬品推定システムの実施形態における複数の照明源の設置個所を錠剤の下方から上方に変更した変形例を模式的に示す説明図である。 本発明に係る人工知能を用いた医薬品推定システム及び医薬品推定方法の実施形態を模式的に示すシステム説明図である。 本発明に係る人工知能を用いた医薬品推定システムの実施形態を模式的に示す図で、（ａ）図は平面円形の錠剤を示す説明図、（ｂ）図は（ａ）図の錠剤を撮影カメラが撮影した明瞭な撮影画像を示す説明図である。 本発明に係る人工知能を用いた医薬品推定システムの実施形態を模式的に示す図で、（ａ）図は平面略楕円形の錠剤を示す説明図、（ｂ）図は（ａ）図の錠剤を撮影カメラが撮影した一部不明瞭な撮影画像を示す説明図である。

以下、図面を参照して本発明の好ましい実施の形態を説明すると、本実施形態における人工知能を用いた医薬品推定システムは、図１ないし図６に示すように、医薬品１に関して機械学習した所定の医薬品画像モデルを筺体１０内で使用するコンピュータ機器２０と、医薬品１を撮影する撮影カメラ３０と、撮影される医薬品１に光線を照射する照明源４０とを備え、コンピュータ機器２０が医薬品画像モデルを使用して撮影カメラ３０に撮影された医薬品１を判別特定し、少なくとも医薬品１の判別結果を表示手段５０に表示する運搬可能な卓上型のシステムである。

医薬品１は、図２、図３、図５、図６に示すように、例えば処方箋に基づき処方された平面円形、楕円形、矩形、多角形等の錠剤２からなり、文字、絵文字、数字、図形、記号等からなる模様３、具体的には識別コードが形成される。錠剤２は、表裏面、表面、あるいは裏面に小さな模様３、具体的には識別コードが凹み刻印されたり、印刷される。この錠剤２の色彩としては、白色、赤色、青色、水色、橙色等、様々ではあるが、無彩色の白色が少なくない。

筺体１０は、図１や図２に示すように、例えば各種金属あるいは所定の樹脂（ポリアセタール樹脂やポリカーボネート樹脂等）を含む成形材料により背の低い（例えば、高さ２６０ｍｍ程度）中空小型の箱に成形され、正面の上部半分が前後方向に傾斜形成されており、背面にはコンピュータ機器２０用の複数の放熱口１１が規則的に並べて開口形成される。この筺体１０の内面は、錠剤２の鮮明な撮影に資する観点から、必要に応じ、黒色等の暗色が塗布される。また、筺体１０の正面中央部付近には、横長の開口１２が形成され、この開口１２には、錠剤２セット用の引き出し１３が往復動可能に収納されており、この引き出し１３には、光透過性を有する錠剤２用の位置決め領域１４が区画形成される。

コンピュータ機器２０は、図２に示すように、筺体１０に内蔵され、所定の医薬品画像モデルを使用して撮影カメラ３０に撮影された錠剤２を推論により判別特定するよう機能する。所定の医薬品画像モデルは、畳み込みニューラルネットワーク（ＣＮＮ）を用い、記憶手段に記憶された全ての錠剤２の画像データを教師データとして機械学習したモデルである。このモデルは、例えば、公知のＶＧＧ１９、Ｉｎｃｅｐｔｉｏｎ Ｖｅｒ．３やＲｅｓＮｅｔ等を利用して形成される。

教師データは、最適な環境下で所定の角度で回転する完全な形態の錠剤２とその表面の画像データ、及び最適な環境下で所定の角度で回転する完全な形態の錠剤２とその裏面の画像データにより形成される（図５（ａ）、図６（ａ）参照）。例えば、最適な環境下で１°、３°、５°、あるいは１０°ずつ回転する各錠剤２の形状やその輪郭線、及び錠剤２の表面模様３の多数の画像データ、並びに最適な環境下で１°、３°、５°、あるいは１０°ずつ回転する各錠剤２の形状やその輪郭線、及び錠剤２の裏面模様３の多数の画像データにより形成される。

教師データとして、直上方向、斜め上方向、あるいは横方向から撮影される錠剤２の回転前後の形状、輪郭線、模様３が採用されるのは、回転前における錠剤２の形状、輪郭線、模様３と、回転して位置が変化した錠剤２の形状、輪郭線、模様３との間に実質的同一性、換言すれば、強い相関関係があるからである。

撮影カメラ３０は、図２に示すように、小型のカメラ、例えば小型の近赤外線カメラ等からなり、筺体１０の内部後方に設置されて引き出し１３の上方に位置しており、コンピュータ機器２０の制御下で下方に位置する引き出し１３の錠剤２を傾斜した反射鏡３１を介し撮影して錠剤２の撮影画像を画像処理して取得するよう機能する。

撮影カメラ３０としては、各種の小型カメラを使用することができるが、近赤外線カメラを使用すれば、錠剤２やその組成により異なる光の反射/吸収/透過特性の違いを可視化することができる。この近赤外線カメラとしては、特に限定されるものではないが、例えばＸｅｎｉｃｓ社製のＬｙｎｘシリーズ等があげられる。また、撮影カメラ３０の画像処理には、例えば画像や動画の処理に必要な機能を提供可能なＯｐｅｎ ＣＶ等が利用される。

照明源４０は、図２や図３に示すように、小型のＬＥＤ、例えば小型の近赤外線ＬＥＤ等からなり、筺体１０の内部両側に架台を介し設置されて基準位置の引き出し１３の横方向、斜め下方、あるいは斜め上方等に複数位置しており、コンピュータ機器２０の制御下で撮影カメラ３０の撮影時に引き出し１３の錠剤２に光線を照射して錠剤２を照明するよう機能する。この照明源４０としては、各種の小型ＬＥＤを使用することができるが、近赤外線ＬＥＤを使用する場合、例えば株式会社ユーテクノロジー製のＩＲシリーズやシーシーエス株式会社製のＣＩＲシリーズ等が採用される。

表示手段５０は、図１や図２に示すように、例えば液晶モニター、あるいは携帯して運搬可能なタブレット（板形のオールインワン・
1570516796455_0
）等からなり、筺体１０正面の傾斜した上部半分に装着されてコンピュータ機器２０、撮影カメラ３０、及び照明源４０に電気的に接続されており、コンピュータ機器２０の制御下で少なくとも起動の有無、操作手順、及び錠剤２の判別・特定結果を表示する。

上記構成において、人工知能を用いた医薬品推定システムにより、医薬品１である錠剤２を判別して特定したい場合には、筺体１０の引き出し１３を引き出してその位置決め領域１４に判別対象の錠剤２をセットし、引き出し１３を元の位置に戻し、医薬品推定システムを起動してコンピュータ機器２０、撮影カメラ３０、照明源４０を待機状態にした後、表示手段５０の液晶モニターの操作手順にしたがい、判別操作を開始する。

すると、錠剤２は、横方向から照明源４０に照光されるとともに、撮影カメラ３０に反射鏡３１を介して撮影され、この撮影カメラ３０が撮影した撮影画像がコンピュータ機器２０に画像処理して出力される。撮影カメラ３０が撮影した撮影画像がコンピュータ機器２０に画像処理して入力されると、コンピュータ機器２０は、医薬品画像モデルに基づいて撮影カメラ３０に撮影された錠剤２を推論し、例えば６０％以上の同一性を認定することができる場合には、判定プログラムにしたがい、撮影カメラ３０が取得した撮影画像から錠剤２を判別・特定し、表示手段５０の液晶モニターに「錠剤２は○○○○です」等と表示される。

これに対し、例えば６０％未満の同一性しか認定できない場合には、判定プログラムにしたがい、撮影カメラ３０が取得した撮影画像から錠剤２を判別せずに不特定とし、表示手段５０の液晶モニターに「錠剤２は不明です」等と表示される。同一性の程度は、特に限定されるものではないが、６０％以上、好ましくは６５％以上、より好ましくは７０％以上、さらに好ましくは８０％以上が良い。

上記構成によれば、人工知能により錠剤２を判別して特定するので、コンピュータ機器２０の画像データと撮影カメラ３０に撮影された錠剤２の鮮明な高精度の撮影画像とを比較して完全一致するか否かで判別する必要が全くない。したがって、判別結果が錠剤２の撮影画像の品質に左右されるおそれが実に少ない。また、例え錠剤２の一部が欠けていたり、錠剤２の撮影画像が一部不完全でも、人工知能により錠剤２を判別して特定することができるので、錠剤２の撮影画像が常に完全で鮮明である必要がない。

例えば、図６に示す錠剤２の場合、錠剤２の輪郭線や模様３が一部不明瞭（図６（ｂ）参照）でも、人工知能により錠剤２を特定することができるし、錠剤２の裏側の模様３だけでも、人工知能により錠剤２を特定することができる。したがって、救急隊員が緊急に処置する場合等に錠剤２を迅速に判別することができる。

また、目視による観察・判別の場合、錠剤２やその凹んだ識別コードからなる模様３が視覚性に乏しく、模様３の正確な判読が困難だが、撮影カメラ３０により観察・判別するので、錠剤２やその凹んだ模様３の正確な判定が容易となる。さらに、撮影カメラ３０が錠剤２を上方から直接撮影するのではなく、反射鏡３１を介して間接的に撮影するので、筺体１０を背の低い運搬可能な小型の箱構造に構成することが可能になる。

なお、上記実施形態では引き出し１３の位置決め領域１４に１個の錠剤２を直接セットして静置したが、複数個の錠剤２をセットして静置しても良い。また、薬包体に封入された必要数の錠剤２を引き出し１３の位置決め領域１４にセットしても良い。また、医薬品１を錠剤２としたが、何ら限定されるものではなく、カプセルでも良い。医薬品１がカプセルの場合には、ゼラチン製のカプセルの表面に小さな模様３、具体的には識別コードが白色、黒色、青色、赤色等の色彩で鮮明に印刷される。

また、筺体１０の小型化を図る必要がないのであれば、撮影カメラ３０が錠剤２を上方から直接撮影する構造に構成することができる。また、筺体１０の引き出し１３の位置決め領域１４に錠剤２をセットして静止させるのではなく、複数の錠剤２をコンベヤにより間欠搬送、あるいは連続搬送しながら上方より撮影カメラ３０により撮影することもできる。さらに、撮影カメラ３０を、固定の専用小型カメラではなく、スマートフォンの小型カメラ等とすることもできる。

本発明に係る人工知能を用いた医薬品推定システム及び医薬品推定方法は、医療機関、調剤薬局、救急車等の医療分野で使用される。

１ 医薬品
２ 錠剤
１０ 筺体
２０ コンピュータ機器
３０ 撮影カメラ（撮影手段）
４０ 照明源
５０ 表示手段

Claims (5)

1. 医薬品の画像データを教師データとして機械学習した医薬品画像モデルを用い、撮影手段に撮影された医薬品を判別することを特徴とする人工知能を用いた医薬品推定システム。
2. 医薬品に光線を照射する照明源を含んでなる請求項１記載の人工知能を用いた医薬品推定システム。
3. 少なくとも医薬品の判別結果を表示する表示手段を含んでなる請求項１又は２記載の人工知能を用いた医薬品推定システム。
4. 医薬品を錠剤とした請求項１、２、又は３記載の人工知能を用いた医薬品推定システム。
5. 請求項１ないし４のいずれかに記載された人工知能を用いた医薬品推定システムを使用し、医薬品を判別することを特徴とする医薬品推定方法。

Images