JP2023118135A - 薬剤識別システム - Google Patents

Abstract

【課題】薬剤の重量値を計測する重量計が通信を行わなくとも、重量値に基づく薬剤の数量算出が可能な薬剤識別システムを提供する。【解決手段】重量計２０は、薬剤１２を支持可能な計量台２２と、薬剤１２の重量値を示す重量表示部２４とを有する。撮影部３２は、薬剤１２と重量表示部２４とが共に写っている重量計画像を撮影する。薬剤識別部３７は、重量計画像の画像認識を行うことにより、重量計画像に写っている薬剤１２の識別と、重量表示部２４の示す重量値の取得とを行い、薬剤１２の識別結果と、取得した重量値とを基に、薬剤１２の数量を算出する。【選択図】図１

Description

本発明は、薬剤識別システムに関するものである。

薬局などの、薬剤を取り扱う施設において、薬剤の機械的な識別が求められることがある。例えば、処方箋に基づいて取り揃えられた薬剤が実際に処方箋の処方内容と合致しているか否かを、作業者（薬剤師など）とは別の主体によって判定するために、薬剤の機械的な識別を行う装置が用いられることがある。こうした装置を用いることにより、患者に対する薬剤の交付における作業ミスを防止することができる。

特許文献１に記載されている調剤監査装置においては、監査対象薬剤が撮像装置によって撮像され、その撮像装置の撮像情報に基づいて中央制御装置が監査対象薬剤の名称を判別する。さらに、秤量装置によって監査対象薬剤の重量が秤量され、その秤量装置の秤量データを利用して監査対象薬剤の数量を含む調剤内容の適否を中央制御装置が判定する。

特許第５７２５３６３号公報

しかしながら、特許文献１に記載されている調剤監査装置では、中央制御装置を備える調剤監査装置の内部に秤量装置および撮像装置が組み込まれているため、調剤監査装置が大型化してしまう。大型の調剤監査装置は移動させることが困難であるため、調剤監査装置が設置される位置は固定されたものとなる。したがって特許文献１に記載の調剤監査装置は、ユーザが薬剤を調剤監査装置の位置まで持ち運ばなければ利用することができず、利便性に問題がある。

また、秤量装置が調剤監査装置に組み込まれずに、調剤監査装置と別体の機器として実装されたとしても、秤量装置の秤量データを中央制御装置が利用するためには、中央制御装置を含む調剤監査装置と秤量装置とが通信を行う必要がある。そのため、秤量装置と調剤監査装置とが、通信ケーブルで有線接続されたり、あるいは無線通信装置を介して無線でデータを送受信できるように構成されたりする必要がある。すなわち、秤量装置は何らかの通信機能を備えた高価なものである必要があり、通信機能を持たない安価な秤量装置は調剤監査装置と共に用いることができない。

そして秤量装置と調剤監査装置とが通信ケーブルで有線接続される場合には、秤量装置と調剤監査装置との距離が通信ケーブルの長さに制限され、各機器の取り回しが不便である。また無線通信装置を介して無線でデータを送受信するためには、秤量装置と調剤監査装置だけでなく無線通信装置にも電力が供給される必要があり、電源の確保および電力供給ケーブルの取り回しが不便である。さらに、有線接続、無線通信のどちらの場合でも、秤量装置と調剤監査装置との間でデータの送受信を行うためには、通信プロトコル等の設定が必要であり、そのような通信設定の作業を行うのはユーザにとって負担となる。

以上の問題に鑑み、本発明は、薬剤の重量値を計測する秤量装置（重量計）が通信を行わなくとも、重量値に基づく薬剤の数量算出が可能な薬剤識別システムを提供することを課題とする。

上記課題を解決するため、本発明の態様の１つに係る薬剤識別システムは、識別対象となる薬剤の重量値を計測する少なくとも１つの重量計と、前記薬剤を含む撮影画像を撮影可能な少なくとも１つの撮影部と、前記撮影画像に写っている前記薬剤を識別する少なくとも１つの薬剤識別部と、を備える薬剤識別システムであって、前記重量計は、前記薬剤を支持可能な計量台と、前記計量台で支持されている前記薬剤の重量値を示す重量表示部とを有し、前記撮影部は、前記計量台で支持されている前記薬剤と、前記薬剤の重量値を表示している前記重量表示部とが共に写っている計量撮影画像を撮影可能であり、前記薬剤識別部は、前記計量撮影画像の画像認識を行うことにより、前記計量撮影画像に写っている前記薬剤の識別と、前記重量表示部の示す重量値の取得とを行い、前記薬剤の識別結果と、取得した前記重量値とを基に、前記計量撮影画像に写っている前記を算出する数量算出処理を行うことを特徴とする。

また好ましくは、識別対象となる前記薬剤が複数種類存在する場合に、前記撮影部が、複数種類の前記薬剤が写っている集合薬剤撮影画像の撮影を行い、前記薬剤識別部が、前記集合薬剤撮影画像の画像認識を行うことにより、前記集合薬剤撮影画像に写っている前記薬剤の種類および数量の識別を行い、前記集合薬剤撮影画像の画像認識において数量の識別が未完了となった前記薬剤の数量を、前記数量算出処理によって算出するとよい。

また好ましくは、前記重量計が複数設けられており、また、前記撮影部を有する端末装置が複数設けられており、任意の前記重量計を、任意の前記端末装置の前記撮影部によって撮影することで前記計量撮影画像の撮影を行うことが可能であるとよい。

また好ましくは、前記計量撮影画像が、前記薬剤に付属する薬剤付属物も含めて撮影され、前記薬剤識別部が、前記数量算出処理において、前記薬剤付属物の重量を考慮して前記薬剤の数量を算出するとよい。

また好ましくは、前記薬剤識別システムが医療機関の医療システムと共に利用されるものであり、前記医療システムには、医師の発行した処方箋に記された薬剤の名称および数量を含む情報を示す処方箋データが入力され、前記薬剤識別部が、前記処方箋データを参照可能であり、前記数量算出処理において、前記計量画像に写っている前記薬剤の名称および数量が、前記処方箋データに示されている情報と照合されるとよい。

本発明の態様の１つに係る薬剤識別システムによれば、計量撮影画像を撮影部が撮影して、その計量撮影画像の画像認識によって薬剤の数量が算出される。したがって薬剤の数量を算出するために重量計が薬剤識別部との通信を行う必要がない。そのため、ユーザは重量計と薬剤識別部との間の通信設定を行う必要がなく、ユーザの作業負担が軽減される。また、この薬剤識別システムでは、通信機能を持たない安価な重量計を用いることができる。

また、複数種類の薬剤が写っている集合薬剤撮影画像の画像認識を行うことにより、集合薬剤撮影画像に写っている薬剤の種類と数量の識別を行う場合には、重量計を使用することなく集合薬剤撮影画像の画像認識のみで数量の識別が可能な薬剤を、計量撮影画像の撮影において計量台に載せられる薬剤から除外することができる。これにより、数量算出の対象となる薬剤の種類が少なくなり、計量撮影画像の画像認識に基づく数量算出の精度が高くなる。

また、重量計と端末装置がそれぞれ複数設けられている場合でも、任意の重量計を任意の端末装置の撮影部によって撮影することで数量算出処理を行うことが可能であれば、ユーザは複数の重量計と端末装置との間の複雑な通信設定を行う必要がなく、ユーザの作業負担が軽減される。

また、数量算出処理において薬剤付属物の重量を考慮して薬剤の数量が算出される場合には、ユーザは薬剤を計量台に載せる際に薬剤付属物を薬剤から取り外す必要がなく、ユーザの作業負担が軽減される。

また、数量算出処理において計量画像に写っている薬剤の名称および数量が処方箋データに示されている情報と照合される場合には、ユーザは計量撮影画像の撮影を行うだけで薬剤と処方箋データとの照合を行うことができ、ユーザの作業負担が軽減される。

本発明に係る薬剤識別システムの実施形態の一例を示すシステム構成図。 計量撮影画像が端末表示部に表示された状態を示す図。 集合薬剤撮影画像の撮影の様子を示す図。 図３の集合薬剤撮影画像の画像認識結果が端末表示部に表示された状態を示す図。 計量撮影画像に基づく数量算出結果が端末表示部に表示された状態を示す図。 薬剤識別システムの実施形態の別例を示すシステム構成図。 処方箋データの一例を示す図。 図６の薬剤識別システムにおいて識別結果と処方箋データとの照合結果が端末表示部に表示された状態を示す図。 本発明の薬剤識別システムにおける処理の流れを示すフローチャート。 数量算出処理における処理の流れを示すフローチャート。 端末装置と重量計がそれぞれ複数設けられた状態を示す図。

（システム構成）
図１のシステム構成図には、本発明に係る薬剤識別システム１０の実施形態の一例が示されている。本実施形態の薬剤識別システム１０は、重量計２０と、端末装置３０を備えている。この薬剤識別システム１０において識別対象となる薬剤１２の例として、図１には、１０錠の錠剤が一組となったＰＴＰシート１枚が示されている。

重量計２０は、薬剤識別システム１０において識別対象となる薬剤１２の重量値を計測する器具であり、例えば調剤薬局に配備されている調剤用電子天秤である。重量計２０は薬剤１２を支持可能な計量台２２を有する。図１の計量台２２は平坦な天面を持つ皿状の部材であり、計量台２２の天面に載置された薬剤１２を安定して支持可能となっている。

また重量計２０は重量表示部２４を備えている。重量表示部２４は計量台２２で支持されている薬剤１２の重量値を示す。図１では、薬剤１２の重量値として「３．０ｇ」が表示されている。重量表示部２４は典型的にはＬＥＤセグメントまたは液晶ディスプレイで構成される。なお、重量表示部２４は薬剤１２の重量値を視覚的に表示できるものであればよい。例えば円弧の周方向に沿って目盛りが刻まれた目盛板と、目盛板の表面上で薬剤１２の重量に応じた回転角度となって重量値に対応する目盛りを指し示す指針とで重量表示部２４が構成されていてもよい。

端末装置３０は撮影部３２（カメラなど）を備えた装置である。典型的には、ユーザが携行可能な機器、例えばタブレット機器またはスマートフォンが端末装置３０として利用される。

端末装置３０は撮影部３２のほか、薬剤識別部３７、端末表示部３８、制御部３９を備えている。薬剤識別部３７は、撮影部３２によって撮影された撮影画像に写っている薬剤１２を画像認識によって識別する。端末表示部３８は、ユーザに対して様々な情報を表示する。制御部３９は、撮影部３２、薬剤識別部３７、端末表示部３８を含む端末装置３０全体の動作を制御する。

タブレット機器またはスマートフォンが端末装置３０として利用される場合、端末装置３０が備えるカメラが撮影部３２として機能する。また、端末装置３０が備える表示パネル（例えば入力機器を兼ねるタッチパネルディスプレイ）が、端末表示部３８として機能する。また、端末装置３０の動作を制御するＣＰＵなどのマイコンが制御部３９として機能する。

そして、薬剤識別部３７は、ハードウェアとして実装されてもよいし、ソフトウェアとして実装されてもよい。例えば制御部３９とは別のマイコンによって薬剤識別部３７がハードウェアとして実装されてもよい。また、制御部３９が実行する画像処理プログラムによって、薬剤識別部３７がソフトウェアとして実装されてもよい。実体としては、画像処理プログラムを記憶する記憶装置が薬剤識別部３７ということもできる。薬剤識別部３７がソフトウェアとして実装される場合には、本実施形態の薬剤識別システム１０において行われる各処理を実行するアプリケーションをインストール可能な任意の機器（例えばコンピュータ）が端末装置３０として利用可能である。すなわち、端末装置３０はタブレット機器およびスマートフォンのような携帯性を備えた機器に限られず、従来の調剤監査装置のような、据え置き型の機器も端末装置３０として利用可能である。

（計量撮影画像の撮影）
端末装置３０の撮影部３２は、薬剤１２を含む領域を対象として撮影を行うことで、薬剤１２を含む撮影画像を撮影可能である。タブレット機器またはスマートフォンにおいては、撮影が行われる際、端末表示部３８が、撮影結果として得られる予定の撮影画像を表示することができる。図１の薬剤識別システム１０においては、撮影部３２は、図２に示されているように、計量台２２を含む重量計２０の全体を撮影する。重量計２０の全体を撮影した画像には、計量台２２で支持されている薬剤１２と、薬剤１２の重量値を表示している重量表示部２４とが含まれる。以下、図２の端末表示部３８に表示されているような、計量台２２で支持されている薬剤１２と、薬剤１２の重量値を表示している重量表示部２４とが共に写っている画像を、計量撮影画像と呼ぶ。

（画像認識）
撮影部３２が撮影した撮影画像は、撮影画像の画像認識を行う薬剤識別部３７に送信される。図１の薬剤識別部３７は、画像認識部３３と演算部３５を含む。そして、画像認識部３３はＡＩモデル３４（実体としては、ＡＩモデル３４のデータを記憶する記憶装置）を備えている。演算部３５は、薬剤情報リスト３６（実体としては、薬剤情報リスト３６のデータを記憶する記憶装置）を備えている。

詳しくは後述するが、画像認識部３３は、ＡＩモデル３４を用いて、撮影部３２が撮影した撮影画像から、薬剤１２の特徴値と、重量表示部２４の重量値（重量表示部２４に表示されている、薬剤１２の重量を示す数値）を抽出して演算部３５へ送信する。そして演算部３５は、薬剤１２の特徴値と、重量表示部２４の重量値を基に、薬剤情報リスト３６を参照して、薬剤１２の名称などに関する識別と、薬剤１２の数量の算出を行い、識別結果および数量を端末表示部３８に送信して表示させる。

ＡＩモデル３４は撮影画像を入力データとして、それに対応する特徴値を出力データとして返す入出力関係を記述したモデルである。なお、入力データが前述の計量撮影画像である場合には、ＡＩモデル３４は計量撮影画像に含まれる重量表示部２４の示している重量値を出力データに含めて出力することができる。

本実施形態のＡＩモデル３４には、重量表示部２４がどのような表示であれば、どのような重量値を示しているかの対応関係（ここでは数字の形と、それが表す数値の対応関係）も記述されている。このＡＩモデル３４は、入力データの計量撮影画像に重量表示部２４が含まれていれば、その重量表示部２４が示している重量値を出力データに含めて出力することができる。

本実施形態においては、撮影画像から特徴値（および重量値）を抽出する、という作業は、画像認識部３３がＡＩモデル３４に撮影画像を入力して、撮影画像に対応する出力として返ってきた特徴値（および重量値）を取得することを意味する。なお、特徴値は撮影画像に含まれる図形毎に抽出されるものであり、図１のように撮影対象の図形が複数存在するならば、それぞれの図形に対応する特徴値が別々に抽出される。図１の場合であれば、計量撮影画像から、薬剤１２の特徴値と、重量表示部２４の重量値のほか、重量計２０全体に関する特徴値も抽出されるが、本実施形態においては、演算部３５が必要とするデータのみが演算部３５へ送信される。すなわち、薬剤１２の特徴値と、重量表示部２４の重量値は演算部３５へ送信されるが、重量計２０全体の特徴値は演算部３５へ送信されない。

演算部３５が備える薬剤情報リスト３６には、ＡＩモデル３４が出力し得る特徴値と、その特徴値に対応する薬剤の識別情報（薬剤の名称などの、薬剤の種類を特定する情報）が列挙されている。演算部３５は、この薬剤情報リスト３６と、画像認識部３３が抽出した撮影画像の特徴値との比較に基づいて、撮影画像に含まれる薬剤１２の識別を行う。すなわち、画像認識部３３から送信された特徴値と一致する特徴値が薬剤情報リスト３６に列挙されているならば、薬剤情報リスト３６内でその特徴値に対応する薬剤が、撮影画像に含まれる薬剤１２であると識別される。なお、薬剤情報リスト３６と特徴値との比較に基づく薬剤識別においては、撮影画像から抽出された特徴値が、薬剤情報リスト３６内に列挙された特徴値と完全には一致しなくとも、ある程度近い値（例えばリスト値の0.95-1.05倍程度の値）であれば、そのある程度近い値の薬剤が撮影画像に含まれる薬剤１２であると識別してもよい。

（数量算出処理）
また前述の計量撮影画像から得られた重量値が演算部３５に送信された場合には、演算部３５は、計量撮影画像に含まれる薬剤１２の数量算出処理を行う。薬剤情報リスト３６には薬剤の種類ごとに、薬剤の計数単位（１錠、１袋など、薬剤の数量を数え上げるための基準となる単位）の重量値が列挙されている。演算部３５は、計量撮影画像に含まれる薬剤１２の特徴値を基にして、薬剤１２の識別結果を得たのち、計量画像から得られた重量値を、識別結果に対応する計数単位の重量値で除算する（重量表示部２４の示す重量値／計数単位の重量値）ことで、薬剤１２の数量を算出する。図１の場合、錠剤である薬剤１２が計数単位（１錠）あたり０．３ｇであるならば、重量表示部２４の示す３．０ｇを０．３ｇで割った結果の「１０錠」が、薬剤１２の数量として算出される。なおここで、複数の薬剤包装を束ねるための輪ゴム、服用法（一日１錠など）を記したタグなどの薬剤付属物が薬剤１２に付属している場合には、その薬剤付属物の重量も考慮して数量算出が行われる。

そして薬剤１２の識別結果と数量の算出結果が端末表示部３８に送信され、端末表示部３８はユーザに対して識別結果と数量の算出結果を表示する。例えば薬剤１２の名称（製品名）が「錠剤Ｂ」であるならば、「錠剤Ｂ、１０錠」といった識別結果の情報がユーザに対して表示される。

以上のように、本実施形態の薬剤識別システム１０によれば、計量台２２に支持された薬剤１２および薬剤１２の重量値を示す重量表示部２４を含む計量撮影画像を撮影部３２が撮影するだけで、薬剤１２の識別と数量の算出が行われる。

すなわち、重量計２０が端末装置３０に対して通信を行わなくとも、重量値に基づく薬剤１２の数量算出が可能である。したがって、端末装置３０を操作するユーザにとっては、複雑な通信設定や操作を行わずとも薬剤識別の作業が可能であり、ユーザの負担が軽減される。また重量計２０として、通信機能を持たない安価な機器を用いることができ、薬剤識別システム１０の構築コストが安価となる。

（集合薬剤撮影画像の撮影）
図１、図２においては説明のために識別対象の薬剤１２がＰＴＰシート１枚の１種類のみとしたが、実際の調剤監査においては、複数種類の薬剤が識別対象となることがある。また、同一種類の薬剤、特にＰＴＰシートで包装される薬剤が、複数枚重ねて用意されることがある。図３においては、識別対象として、図１と同じ錠剤の薬剤１２がＰＴＰシート３枚分存在するほか、カプセル剤の薬剤１４がＰＴＰシート３枚分、缶入りの薬剤１６が１缶分、チューブ入りの薬剤１８が２本分存在している。

このような場合、各薬剤の重量算出を行う前に、撮影部３２が複数種類の薬剤をまとめて撮影する。これによって撮影される、複数種類の薬剤が写っている撮影画像を、以下、集合薬剤撮影画像と呼ぶ。

図３に示されている各薬剤のうち、缶入りの薬剤１６、チューブ入りの薬剤１８については、図１の薬剤識別部３７は、それぞれ集合薬剤撮影画像内で全体像が写っているため、特徴値の抽出が容易である。そのため、図３の缶入りの薬剤１６、チューブ入りの薬剤１８については、重量算出を行うまでもなく、薬剤識別部３７は集合薬剤撮影画像の画像認識によって識別および数量の判別が可能である。

図４には、図３の集合薬剤撮影画像の画像認識結果が識別結果リスト４０として端末表示部３８に表示された状態が示されている。図４に示されているように、缶入りの薬剤１６については「名称：缶Ｃ、数量：１」、チューブ入りの薬剤１８については「名称：チューブＤ、数量：２」というように、識別結果としての名称と、数量が画像認識によって得られている。

また、カプセル剤の薬剤１４（名称：カプセルＡ）と、錠剤の薬剤１２（名称：錠剤Ｂ）についても、一番上に現れているＰＴＰシートの画像認識によって、それぞれ名称の識別は済んでおり、識別が済んだか否かを示す「識別」欄において「済」と表示されている。また、薬剤識別部３７は集合薬剤撮影画像を基に、カプセル剤の薬剤１４と、錠剤の薬剤１２についても画像認識による数量判別を試行する。

しかしながら、カプセル剤の薬剤１４と、錠剤の薬剤１２はＰＴＰシートが複数枚重ねて用意されているために、一番上以外のＰＴＰシートについては集合薬剤撮影画像内には写っていない部分があり、集合薬剤撮影画像の画像認識だけでは数量の判別を完了することができない。そのため、図４の識別結果リスト４０においては「カプセルＡ」と「錠剤Ｂ」の数量判別が済んだか否かを示す「数量」欄の表示は、未完了であることを示す「未」となっている。

数量判別の結果が未完了となったカプセル剤の薬剤１４と、錠剤の薬剤１２に関しては、重量計２０を用いた数量算出が行われる。図５には、ＰＴＰシート３枚分の錠剤の薬剤１２について重量計２０を用いた数量算出が行われる様子が示されている。ＰＴＰシート３枚分の薬剤１２がまとめて重量計２０の計量台２２に載置され、薬剤１２と重量表示部２４を含む重量計２０全体の画像が計量撮影画像として撮影される。

図５には、薬剤１２、重量計２０のほか、計量撮影画像に基づく薬剤１２の数量算出結果が端末装置３０の端末表示部３８に表示された状態が示されている。図５において、重量表示部２４には薬剤１２の重量が「９．０ｇ」と表示されている。この重量値を基に、前述の数量算出処理により、薬剤１２の数量は「３０錠」（１錠あたり０．３ｇの場合）と算出される。その結果、図５の識別結果リスト４０において「錠剤Ｂ」（薬剤１２）の「数量」欄は「３０」と表示される。

図５の時点では「カプセルＡ」（薬剤１４）の数量が未完了であるが、「錠剤Ｂ」（薬剤１２）と同様に、薬剤識別部３７は数量算出処理によって「カプセルＡ」の数量を判別することが可能である。すなわち、薬剤１４がＰＴＰシート３枚分の薬剤１４がまとめて計量台２２に載置された状態の計量撮影画像が撮影され、計量撮影画像の画像認識によって薬剤１４の数量が算出される。

このように、集合薬剤撮影画像の画像認識において数量判別が未完了となった薬剤（ここではカプセル剤の薬剤１４と、錠剤の薬剤１２）の数量は、薬剤の種類ごとに、重量計２０を用いて、計量撮影画像の画像認識に基づく数量算出処理によって算出される。

この方法によれば、集合薬剤撮影画像に基づく画像認識によって数量判別が可能な薬剤（ここでは缶入りの薬剤１６とチューブ入りの薬剤１８）については個別に計量撮影画像の撮影を行う必要がなく、ユーザの作業負担が軽減される。

（処方箋データの利用）
薬局などの薬剤を取り扱う施設で図１の薬剤識別システム１０が用いられる場合、薬剤識別システム１０は医療機関の医療システムと共に利用される。図６には、本発明の実施形態の別例として、端末装置３０が医療システム５０と通信可能な形態が示されている。

図６の端末装置３０は、制御部３９が医療システム５０と通信可能になっている。この通信は、有線接続によるものであっても、無線通信によるものであってもよい。医療システム５０との通信以外の点については、図６の端末装置３０の構成要素は図１の薬剤識別システム１０における端末装置３０と同様である。

医療システム５０には、図７に示されているような処方箋データ５２が入力される。この処方箋データ５２は、医師の発行した処方箋に記された名称および数量を含む情報を示す。医療機関において、医師は、患者に対して処方されるべき薬剤と数量を決定した後、その薬剤の名称と数量を処方箋に記す。その処方箋に記された情報が処方箋データ５２として医療システム５０に入力される。薬剤識別部３７は、制御部３９を介して処方箋データ５２を参照することが可能である。

図７の処方箋データ５２においては、種別「カプセル」の名称「カプセルＡ」という薬剤が数量「３０」、種別「錠剤」の名称「錠剤Ｂ」という薬剤が数量「３０」、種別「缶」の名称「缶Ｃ」という薬剤が数量「１」、種別「チューブ」の名称「チューブＤ」という薬剤が数量「２」となっている。

患者に対して薬剤の提供が行われる際には、上記の処方箋データ５２に従って薬剤が収集され、図３に示されているような、錠剤の薬剤１２、カプセル剤の薬剤１４、缶入りの薬剤１６、チューブ入りの薬剤１８が用意される。

こうして用意された複数種類の薬剤に対して、集合薬剤撮影画像の撮影と、集合薬剤撮影画像に基づく画像認識による薬剤の識別および数量判別が試行される。端末装置３０が医療システム５０と通信を行う場合、画像認識によって得られた薬剤の識別結果は処方箋データ５２と照合される。すなわち、薬剤識別部３７が処方箋データ５２を参照し、識別結果として得られた薬剤の名称が処方箋データ５２に記されている「名称」のデータと一致しているか否かが確認される。その識別結果は端末装置３０の端末表示部３８に識別結果リスト４０として表示される。図８に示すように、識別結果の「名称」（ここでは「カプセルＡ」、「錠剤Ｂ」、「缶Ｃ」、「チューブＤ」）が処方箋データ５２と一致した場合には、識別結果リスト４０には名称照合欄で「済」と表示される。

また、画像認識または数量算出処理によって得られた数量の判別結果についても、処方箋データ５２との照合が行われる。図８には、図５に示すような、集合薬剤撮影画像の画像認識の後で、錠剤の薬剤１２（「錠剤Ｂ」）の計量撮影画像が撮影され、計量撮影画像に基づく薬剤１２の数量算出処理が行われた時点での照合結果が示されている。

図８の時点で、「錠剤Ｂ」については数量照合欄が「済：３０」となっている通り、患者に提供される予定の薬剤１２の数量が処方箋データ５２と一致していること、およびその数量の値が識別結果リスト４０に表示される。「缶Ｃ」、「チューブＤ」についても、それぞれ「済：１」、「済：２」と、照合結果と数量が表示されている。

図８の時点では、「カプセルＡ」の数量算出処理がまだ行われておらず、数量照合欄は処方箋データ５２との一致が未確認であることを示す「未」の表示となっている。薬局の職員などのユーザは、識別結果リスト４０を確認して、数量照合欄が「未」の表示となっている薬剤について計量撮影画像の撮影を行う。図８の場合は、「カプセルＡ」（図３の薬剤１４）が重量計２０の計量台２２に載置され、計量撮影画像の撮影および数量算出処理が行われる。

計量撮影画像の撮影と数量算出処理が繰り返され、名称照合欄および数量照合欄が全て「済」の状態となれば、処方箋データ５２と一致する薬剤が取り揃えられたこととなり、患者に提供される薬剤が処方箋通りであることが確認される。

以上のように、端末装置３０が医療システム５０と通信可能な場合には、薬剤識別部３７が処方箋データ５２を参照し、集合薬剤撮影画像または計量撮影画像に基づく薬剤の識別結果および数量算出結果が処方箋データ５２と照合される。この場合には、ユーザは集合薬剤撮影画像および計量撮影画像の撮影を行うだけで薬剤と処方箋データ５２との照合を行うことができ、ユーザの作業負担が軽減される。

（処理手順）
図９には、図３の集合薬剤撮影画像の取得から、各薬剤の数量判別完了までの処理手順のフローチャートが示されている。ステップＳ６１において、まず撮影部３２によって集合薬剤撮影画像が取得（撮影）される。

ステップＳ６２において、集合薬剤撮影画像を基に、薬剤識別部３７が画像認識による薬剤識別処理を行い、各薬剤の識別（名称の特定）を行うと共に、数量判別を試行して、可能であれば各薬剤の数量も特定する。

ステップＳ６３において、ステップＳ６２での薬剤の識別の結果を識別結果として表示する。ここで、数量を判別できなかった薬剤があるか否の判定が行われる（ステップＳ６４）。集合薬剤撮影画像の画像認識のみで全ての薬剤の数量が判別された（ステップＳ６４－ＮＯ）であれば、この時点で各薬剤の識別と数量判別は完了となる（ＥＮＤ）。

図５、図８のように、数量判別が未完了の薬剤（例えば「カプセルＡ」）が存在する（ステップＳ６４－ＹＥＳ）場合には、ステップＳ６５において、計量撮影画像の取得（撮影）が行われる。すなわち、数量判別が未完了の薬剤が重量計２０の計量台２２に載置され、その薬剤と重量表示部２４を含めた画像が撮影部３２によって撮影される。

そして、ステップＳ６６において、計量撮影画像に基づく数量算出処理が行われる。図１０に、数量算出処理における処理の流れが示されている。まずステップＳ７１において、ＡＩモデル３４によって薬剤の特徴値の抽出が行われる。

ステップＳ７２において、演算部３５が薬剤の特徴値と薬剤情報リスト３６を比較し、計量撮影画像に写っている薬剤の識別（名称の特定）を行う。続くステップＳ７３において、薬剤情報リスト３６を基に、識別された薬剤の単位重量の取得が行われる。

そしてステップＳ７４において、計量撮影画像の重量表示部２４に表示されている重量値の抽出が行われる。続くステップＳ７５において、計量撮影画像から抽出された重量値と、薬剤の単位重量から、薬剤の数量が算出される。

以上のようにして図９におけるステップＳ６６の数量算出処理が完了したら、識別結果の表示が再度行われる（ステップＳ６３）。この識別結果表示において数量が未判別の薬剤がまだ残っていれば（ステップＳ６４－ＹＥＳ）、数量未判別の薬剤ごとに計量画像の取得と数量算出処理が行われる。計量画像の取得と数量算出処理が繰り返され、数量未判別の薬剤がなくなれば（ステップＳ６４－ＮＯ）、各薬剤の識別と数量判別は完了となる。

このように、本発明の薬剤識別システム１０によれば、数量が未判別の薬剤を重量計２０の計量台２２に載置して計量撮影画像を撮影する作業を繰り返すだけで各薬剤の識別と数量判別を行うことができ、ユーザの作業負担が軽減される。

以上の実施形態においては、薬剤情報リスト３６に薬剤の計数単位ごとの重量値が記録されているものとして説明している。この薬剤の計数単位ごとの重量値とは、薬剤を薬剤包装から取り出した状態での重量だけではなく、薬剤の包装重量も含めて記録されている。たとえば、錠剤であれば１錠分として切り離されて取り扱われる際の錠剤１つ分の周りのＰＴＰシートの重量も含む重量値が記録されている。また缶入りの薬剤であれば、未開封の缶に複数個（例えば３０個）封入された状態の缶全体の重量値が記録されている。

また、実際に患者に薬剤が提供される際には、薬剤の「端数」が生じることがある。例えばＰＴＰシートで包装されるカプセル剤、錠剤などは、ＰＴＰシート１枚単位ではなく、数錠分をＰＴＰシートから切り離した「端数」の薬剤が患者に提供されることがある。薬剤の「端数」が生じている場合でも、画像認識により「端数」に含まれる薬剤の数量を調べることは可能である。例えば薬剤１つ分の「単位画像」のデータが用意してあり、「端数」の画像がこの単位画像の何個分の繰り返しであるかを調べればよい。しかし、そうした「端数」の数量判別は難易度が高く、精度が十分でないことがある。本発明の薬剤識別システムによれば、こうした「端数」の生じた場合でも、計量撮影画像に基づく数量算出によって、より精度の高い数量判別が可能である。

また、上記実施形態においては、ＡＩモデル３４を用いた画像認識を行っているが、ＡＩモデル３４を用いずに画像認識が行われてもよい。例えば薬剤の種類ごとに「サンプル画像」が用意されており、画像処理によって撮影された薬剤と「サンプル画像」を照合して識別が行われてもよい。また重量表示部２４に表示さる重量値の抽出についても、数字「0123456789」のそれぞれについて「サンプル画像」が用意され、重量表示部２４の画像と「サンプル画像」を照合して重量値が特定されてもよい。

また、以上の実施形態においては、説明のために重量計２０と端末装置３０をそれぞれ１つずつ示しているが、図１１に示されているように、重量計２０と端末装置３０がそれぞれ複数設けられていてもよい。この場合には、数量算出処理を実行する際には、任意の端末装置３０の撮影部３２で、任意の重量計２０を撮影することで得られた計量撮影画像に基づいて数量算出が可能である。このように、どの端末装置３０からでもどの重量計２０が利用可能となっていると、薬局などの施設に備えられている複数の重量計２０およびタブレット機器などの端末装置３０が有効に活用される。また複数の機器間での複雑な通信設定を行う必要はなく、ユーザにとっての利便性が高い。

また、複数の重量計２０が用いられる場合には、全ての重量計２０が同じ製品である必要はない。例えば、図１１の右下に示されているように、他の重量計２０と異なる仕様（別製品）の重量計２５が使用されてもよい。重量表示部２４の表示形態が重量計２０と重量計２５とで共通であるならば、薬剤識別部３７は重量計２０でも重量計２５でも同じようにして画像認識による重量値の取得が可能である。また、重量表示部２４の表示形態が重量計２０と重量計２５とで異なる場合であっても、表示形態に応じて適切な画像認識を行うことで重量値の取得が可能である。例えば薬剤識別部３７が、重量計２０または重量計２５の種類に対応する重量表示部２４の表示形態の情報（例えば数字の形、小数点の表示位置、重量単位の表示の有無など）を記憶していればよい。薬剤識別部３７は、型番表示などの、重量計２０または重量計２５の種類を特定する情報を計量撮影画像から抽出し、特定された種類に対応する重量表示部２４の表示形態に応じて画像認識を行えばよい。

また、計量撮影画像に薬剤だけではなく、薬剤に付属する薬剤付属物が含まれる場合には、その薬剤付属物の重量を考慮して薬剤の数量が算出されるとよい。例えば図３には図示されていないが、複数枚のＰＴＰシートが患者に提供される場合には、複数のＰＴＰシートが輪ゴムで束ねられることがある。またＰＴＰシートの端部には、薬剤を包装するための領域とは別に、薬品名や製造番号などの情報が刻印される「耳」と呼ばれる領域が付属していることがある。そのほか、患者に向けた注意事項、例えば服用法（一日１錠など）を記したタグが薬剤に付属することがある。このような場合には、例えば薬剤付属物の重量値に関する情報が、薬剤識別部３７に記憶されているとよい。例として、薬剤付属物が輪ゴムである場合、輪ゴムを含む計量撮影画像から得られる輪ゴムの特徴値と、輪ゴムの重量値が記憶されているとよい。そして、重量表示部２４の表示する重量値から、輪ゴムなどの薬剤付属物の重量を差し引いた値が薬剤の重量値として算出される。そうして算出された薬剤の重量値を、薬剤の計数単位の重量値で除算することで薬剤の数量が算出される。

また、以上の実施形態においては、１つの端末装置３０が撮影部３２、薬剤識別部３７（画像認識部３３および演算部３５）、端末表示部３８、制御部３９を備えている。すなわち、以上においては同一のハードウェアに複数の構成要素が集中して実装されている形態が説明されているが、これらの構成要素は別々の機器として分散して構成されてもよい。例えば、撮影部３２が単体のカメラ装置、端末表示部３８が単体のディスプレイ装置であってもよい。薬剤識別部３７はカメラ装置およびディスプレイ装置から遠隔地に設けられたクラウドサーバー上で薬剤識別処理を実行するソフトウェアとして実装されていてもよい。また、薬剤識別部３７のうち画像認識部３３と演算部３５とが別々の機器であってもよいし、別々のサーバにて実行されるソフトウェアであってもよい。そして制御部３９が、それぞれ別々の機器として実装されている撮影部３２、薬剤識別部３７（画像認識部３３および演算部３５）、端末表示部３８、制御部３９の間でのデータ（撮影画像データおよび識別結果データなど）の通信を制御する機器（例えばユーザの操作するコンピュータ）であってもよい。このように、各構成要素が別々の機器として分散して構成されていても、各構成要素が有線接続あるいは無線通信などの方法によって互いにデータ交換可能となっていれば、各構成要素の集合が全体として薬剤識別システム１０の機能を果たす。また、制御部３９による制御を受けなくとも各構成要素間でデータ交換が可能になっている場合（例えば、撮影部３９が撮影画像を自動的に薬剤識別部３７へ送信する、といったように、外部からの指令がなくとも各構成要素間でデータ交換が行われる場合）には、制御部３９が存在しなくとも各構成要素の集合が全体として薬剤識別システム１０の機能を果たす。

１０ 薬剤識別システム
１２ 薬剤
２０ 重量計
２２ 計量台
２４ 重量表示部
３０ 端末装置
３２ 撮影部
３３ 画像認識部
３５ 演算部
３７ 薬剤識別部
３８ 端末表示部
３９ 制御部
４０ 識別結果リスト
５０ 医療システム
５２ 処方箋データ

Claims (5)

1. 識別対象となる薬剤の重量値を計測する少なくとも１つの重量計と、前記薬剤を含む撮影画像を撮影可能な少なくとも１つの撮影部と、前記撮影画像に写っている前記薬剤を識別する少なくとも１つの薬剤識別部と、を備える薬剤識別システムであって、
   前記重量計は、前記薬剤を支持可能な計量台と、前記計量台で支持されている前記薬剤の重量値を示す重量表示部とを有し、
   前記撮影部は、前記計量台で支持されている前記薬剤と、前記薬剤の重量値を表示している前記重量表示部とが共に写っている計量撮影画像を撮影可能であり、
   前記薬剤識別部は、
   前記計量撮影画像の画像認識を行うことにより、前記計量撮影画像に写っている前記薬剤の識別と、前記重量表示部の示す重量値の取得とを行い、
   前記薬剤の識別結果と、取得した前記重量値とを基に、前記計量撮影画像に写っている前記薬剤の数量を算出する数量算出処理を行うこと
   を特徴とする薬剤識別システム。
2. 識別対象となる前記薬剤が複数種類存在する場合に、
   前記撮影部が、複数種類の前記薬剤が写っている集合薬剤撮影画像の撮影を行い、
   前記薬剤識別部が、前記集合薬剤撮影画像の画像認識を行うことにより、前記集合薬剤撮影画像に写っている前記薬剤の種類および数量の識別を行い、
   前記集合薬剤撮影画像の画像認識において数量の識別が未完了となった前記薬剤の数量を、前記数量算出処理によって算出する、請求項１に記載の薬剤識別システム。
3. 前記重量計が複数設けられており、また、
   前記撮影部を有する端末装置が複数設けられており、
   任意の前記重量計を、任意の前記端末装置の前記撮影部によって撮影することで前記計量撮影画像の撮影を行うことが可能である、請求項１に記載の薬剤識別システム。
4. 前記計量撮影画像が、前記薬剤に付属する薬剤付属物も含めて撮影され、
   前記薬剤識別部が、前記数量算出処理において、前記薬剤付属物の重量を考慮して前記薬剤の数量を算出する、請求項１に記載の薬剤識別システム。
5. 前記薬剤識別システムが医療機関の医療システムと共に利用されるものであり、
   前記医療システムには、医師の発行した処方箋に記された薬剤の名称および数量を含む情報を示す処方箋データが入力され、
   前記薬剤識別部が、前記処方箋データを参照可能であり、
   前記数量算出処理において、前記計量画像に写っている前記薬剤の名称および数量が、前記処方箋データに示されている情報と照合される、請求項１に記載の薬剤識別システム。

Images