JP2009110169A - 薬剤監査装置および画像処理方法 - Google Patents

Abstract

【課題】画像認識におけるハレーションの影響を抑えることができ、薬剤の画像に含まれる薬剤情報を正確に認識できる薬剤監査装置および画像処理方法を提供する。
【解決手段】薬剤を収容した包装材の外観を撮影する撮影手段１１と、撮影された薬剤画像を処理して、画像に含まれる薬剤認識情報を検出する画像処理手段２１とを備えており、画像処理手段２１が、薬剤画像を構成する複数の画素の画素値に基づいて画素値のヒストグラムを形成し、ヒストグラムにおけるハレーション分布Ｂとハレーション分布Ｂと隣接する分布Ａの間に形成される谷領域Ｃの底近傍の画素値をボトム値Ｘとし、薬剤画像を構成する各画素の画素値に最大画素値を乗じかつボトム値Ｘで除した処理画素値を各画素における画素値とした処理画像を形成する画像補正処理Ｓ１０と、画像補正処理Ｓ１０された処理画像から、薬剤認識情報を検出する認識情報検出処理Ｓ２０とを行うものである。
【選択図】図１

Description

本発明は、薬剤監査装置および画像処理方法に関する。

病院の薬局や調剤薬局では、医師により作成された処方箋に基づいて、調剤や必要な薬の選択が行われて患者に提供されているが、かかる薬局等に備えられている薬は非常に多く、その包装等も類似しているため、誤って違う薬を選択する可能性がある。
そこで、かかる薬の選択ミス等を防ぐ技術として、バーコードを薬剤の包装紙に設け、このバーコードから得られる薬剤データと、処方箋に記載されている薬のデータとを照合するシステムが開発されている。

しかし、全ての薬の包装紙等にバーコードを付けることは難しいことから、薬剤の外観を撮影し、この撮影された画像を処方箋に記載されている薬のデータとの照合に利用するシステムが開発されている（例えば、特許文献１，２）。
特許文献１には、薬局等において実際に選択した薬をスキャナで読み取り、読み取った画像を画像処理して薬の包装紙に印刷されている薬剤名を認識し、認識された薬剤名を処方箋に記載されている薬剤名を照合する技術が開示されている。
また、特許文献２には、薬剤の外観を撮影した画像（薬剤画像マスター）を予め準備しておき、薬局等において実際に選択した薬をカメラで撮影し、撮影した画像と、処方箋で指定された薬剤の薬剤画像マスターとを照合する技術が開示されている。

ここで、薬剤の包装材には、薬剤が吸湿することを防ぐためにアルミフィルム等が使用されていることが多く、かかるアルミフィルム等は反射率が高いため、撮影した画像中にハレーションを生じる可能性が高い。かかるハレーションが発生すると、ハレーションが発生している部分の画像を認識できなくなるので、撮影した薬剤画像から薬剤名を正確に認識することが難しくなる。
また、薬剤名の部分を検出できたとしても、ハレーションの存在により、検出した部分の画像と薬剤画像マスターとが一致しなくなる。この問題は、ハレーションを含んだ状態の薬剤画像マスターが準備できれば解決できるのであるが、ハレーションは常に一定の部分に生じるわけではないため、現実的には、ハレーションを含んだ状態の薬剤画像マスターを準備しておくことはできない。よって、撮影した画像中にハレーションが発生すると両者を照合処理することができなくなる。
また、錠剤などではＰＴＰ（Press Through Package）シートが使用されるが、かかるＰＴＰシートにはシート表面に凹凸が形成されている場合が多く、ハレーションに加えて、シート表面の凹凸が画像認識の障害となるため、薬剤名の読取や薬剤画像マスターとの照合が困難である。

しかるに、特許文献１，２の技術では、薬剤の画像を撮影することまでは記載されているものの、ハレーション対策やＰＴＰシートにおける凹凸が画像認識に与える影響を考慮した記載はなく、撮影後の具体的な画像処理に関する記載はない。
そして、現状では、薬剤の画像に基づいて、処方箋で指定された薬剤と選択された薬剤の照合を行うシステムは実用化に到っていない。

特開２００５−３４４７９号 特開２００５−１２２３６０号

本発明は上記事情に鑑み、画像認識におけるハレーションの影響を抑えることができ、薬剤の画像に含まれる薬剤情報を正確に認識できる薬剤監査装置および画像処理方法を提供することを目的とする。

第１発明の薬剤監査装置は、薬剤を収容した包装材の外観を撮影する撮影手段と、該撮影手段によって撮影された薬剤画像を処理して、該画像に含まれる薬剤認識情報を検出する画像処理手段とを備えており、該画像処理手段が、前記薬剤画像を構成する複数の画素の画素値に基づいて該画素値のヒストグラムを形成し、該ヒストグラムにおけるハレーション分布と該ハレーション分布と隣接する分布の間に形成される谷領域の底近傍の画素値をボトム値とし、該薬剤画像を構成する各画素の画素値に最大画素値を乗じかつ前記ボトム値で除した処理画素値を各画素における画素値とした処理画像を形成する画像補正処理と、該画像補正処理された処理画像から、前記薬剤認識情報を検出する認識情報検出処理とを行うものであることを特徴とする。
第２発明の薬剤監査装置は、薬剤の包装材の外観に含まれる前記薬剤認識情報からなる薬剤画像マスターを記憶したマスター画像記憶手段と、所望の薬剤の薬剤情報を入力する入力手段と、該入力手段から入力された薬剤情報に基づいて前記マスター画像記憶手段から所望の薬剤に対応する前記薬剤画像マスターを選択し、該選択された薬剤画像マスターと前記処理画像から検出される前記薬剤認識情報と比較する比較手段とを備えていることを特徴とする。
第３発明の薬剤監査装置は、前記撮影手段が、薬剤に光を照射する線光源と、薬剤で反射した前記線光源からの光を受光するリニアセンサとからなることを特徴とする。
第４発明の画像処理方法は、反射率の高い素材の表面を撮影した画像を処理する画像処理方法であって、前記画像を構成する複数の画素の画素値に基づいて該画素値のヒストグラムを形成し、該ヒストグラムにおけるハレーション分布と該ハレーション分布と隣接する分布の間に形成される谷領域の底近傍の画素値をボトム値として検出するステップと、該画像における各画素の画素値に最大画素値を乗じかつ前記ボトム値で除した処理画素値を各画素における画素値とした処理画像を形成する画像補正ステップと、を順に行うことを特徴とする。

第１発明によれば、画像処理手段による画像補正処理により、撮影された薬剤画像からハレーションの影響を除くことができるので、撮影された薬剤画像から薬剤認識情報を正確に検出することができる。
第２発明によれば、入力された薬剤情報に対応する薬剤画像マスターと、撮影された薬剤の画像を照合することによって、所望の薬剤と撮影された薬剤とが一致しているか否かを判断することができる。すると、処方箋等によって指定された薬剤を正しく選択しているか否かを確認できるから、薬剤の誤選択を防ぐことができる。
第３発明によれば、撮影された薬剤画像中にハレーションが発生することを抑えることができる。
第４発明によれば、画像処理手段による画像補正処理により、撮影された画像からハレーションの影響を効果的に除くことができる。

つぎに、本発明の実施形態を図面に基づき説明する。
図１は本実施形態の薬剤監査装置１の概略ブロック図である。同図に示すように、本実施形態の薬剤監査装置１は、撮影手段１１によって薬剤Ｐの外観を撮影し、撮影された画像（以下、薬剤画像という）に基づいて、入力手段１２から入力された薬剤と薬剤Ｐとが一致しているか否かを情報処理手段２０によって判断する装置である。

撮影手段１１は、例えばスキャナ等であり、薬剤Ｐに光を照射する光源と、薬剤Ｐ各部から反射した光を受光する光電変換素子等の撮像素子を備えたセンサとから構成されたものである。センサにおける光電変換素子等の撮像素子は、受光した光量に対応した電圧等を発生するものであり、撮影手段１１では各撮像素子から送られる電圧等を数値化された状態で記録するように構成されている。したがって、撮影手段１１で撮影される薬剤画像は、各撮像素子が受光した光量を数値化した値（画素値）の集合体として形成され、記録されるのである。
なお、撮影手段１１は、光源がなくてもセンサが薬剤Ｐを撮影できるのであれば、光源は設けなくてもよい。

入力手段１２は、処方箋等で指定された薬剤Ｐの情報（名称、品番等）を入力するための手段であり、例えばキーボードやバーコードリーダー等を採用することができる。
なお、入力手段１２は、キーボード等のように人が操作する機器に限られず、ネットワーク回線などを介して情報を入力する機器なども含まれる。例えば、医師が処方する薬剤Ｐの選択決定に使用するコンピュータ等のように処方箋等を作成する機器からネットワークを介して直接薬剤監査装置１に薬剤Ｐの情報が入力される構成も本発明の薬剤監査装置における入力手段に含まれる。

図１に示すように、前記情報処理手段２０は、撮影手段１１が撮影した薬剤画像が入力される画像処理手段２１と、入力手段１２から入力された薬剤Ｐの情報（以下、薬剤情報という）が送られる比較手段２２と、各種薬剤の薬剤情報等を記憶したマスター画像記憶手段２３とを備えている。

マスター画像記憶手段２３は、各種薬剤の包装材の外観に含まれる薬剤認識情報からなる薬剤画像マスターおよび各種薬剤Ｐの薬剤情報とか記憶されたものである。薬剤画像マスターおよび薬剤情報は、それぞれ薬剤画像マスターデータベース、薬剤情報データベースに記憶されており、両者の間にはリンクが張られている。つまり、ある薬剤の薬剤情報から、薬剤画像マスターデータベースに記憶されている薬剤画像マスターを呼び出すことができるようになっているのである。

前記画像処理手段２１は、撮影手段１１から入力された薬剤画像を画像処理して、薬剤画像に含まれる薬剤認識情報を検出する手段であり、検出された薬剤認識情報を前記比較手段２２に送るように構成されている。薬剤認識情報とは、薬剤Ｐの包装紙等の特徴的な部分であり、例えば、図７に示すような包装材の場合であれば、包装材表面に印刷されている文字や図形が薬剤認識情報に相当する。

また、比較手段２２は、前記画像処理手段２１から送られる薬剤認識情報と、薬剤画像マスターとを比較するように構成されている。つまり、前記画像処理手段２１から送られる薬剤認識情報と、入力手段１２から入力された薬剤情報に基づいて、マスター画像記憶手段の薬剤画像マスターデータベースから選択される薬剤画像マスターとを比較するように構成されている。
薬剤認識情報と薬剤画像マスターの比較は、例えば、正規化相関法やパターンマッチング法等の方法で両者の一致不一致を判断するが、両者を比較して両者の一致不一致を判断する方法はとくに限定されない。

つぎに、本実施形態の薬剤監査装置１による薬剤照合作業を説明する。
図２は薬剤照合作業のフローチャートである。同図に示すように、薬剤照合作業では、まず、処方箋等に基づいて薬剤師等が選択した薬剤Ｐの現物の画像、つまり、薬剤画像が撮影手段１１によって撮影される（図７参照）。
そして、撮影された薬剤画像は、情報処理手段２０の画像処理手段２１に送られて画像処理され、検出された薬剤認識情報が比較手段２２に送られる。

一方、入力手段１２からは、処方箋等に基づいて薬剤Ｐの薬剤情報が入力される。すると、入力された薬剤情報は比較手段２２に送られ、比較手段２２は、薬剤情報に基づいてマスター画像記憶手段２３から薬剤Ｐの薬剤画像マスターを選択する。

薬剤画像マスターが選択されると、比較手段２２において薬剤認識情報と薬剤画像マスターとを比較する比較処理が行われ、両者が一致していれば監査良好処理が行われ、両者が不一致であれば監査不良処理が行われる。
監査良好処理の一例としては、例えばモニター画像に両者が一致している旨のサインを表示させたり、請求書等をプリントアウトしたりする等の処理が挙げられる。
また、監査不良処理では、例えばモニター画像に両者が不一致である旨のサインを表示させたり、警告音を発したりする等の処理が挙げられる。

以上のごとく、本実施形態の薬剤監査装置１によれば、処方箋等に基づいて入力された薬剤情報に対応する薬剤画像マスターと、実際に選択され撮影された薬剤を照合することによって、処方箋等によって指定された薬剤を正しく選択しているか否かを確認できる。つまり、患者等に提供すべき薬剤と選択された薬剤とが一致しているか否かを判断することができるから、薬剤の誤提供を防ぐことができる。

本実施形態の薬剤監査装置１において、薬剤の照合を正確に行うためには、撮影手段１１によって撮影される薬剤画像から正確に薬剤認識情報を検出することが重要である。しかし、撮影手段１１が撮影した薬剤画像にハレーションが発生すると、撮影される薬剤画像から薬剤認識情報を検出することが難しくなる。
ハレーションとは、撮影手段１１の撮像素子に入光した光が強すぎ、適切な光電変換範囲を超えて飽和し、その部分の画像が最高レベル（白）になる現象であり、光源から発せられた光が検査対象表面で乱反射せず全反射し、さらにこの全反射した光が直接特定の撮像素子に入光することにより発生する。
本実施形態の薬剤監査装置１では、画像処理手段２１において以下の処理を行うことにより、薬剤画像中にハレーションが発生していても、正確な薬剤認識情報を検出することができる。

図３は画像処理手段２１における画像処理のフローチャートである。同図に示すように、画像処理手段２１における画像処理では、薬剤画像からハレーションを除いた処理画像を形成する画像補正処理S10と、処理画像中の薬剤認識情を検出する認識情報検出処理S20とが、この順で行われる。

まず、画像補正処理S10を説明する。なお、以下の例では、各撮像素子の画素値が０〜２５５の場合であって、全く光が入射されない場合に画素値が０となる場合を示している。

図３に示すように、撮影された薬剤画像が入力されると、薬剤画像の各画素における画素値のヒストグラムが形成される。

図４は撮影手段１１によって撮影された画像における画素値のヒストグラムを示した例である。図５は画像補正処理前後の画素値のヒストグラムであり、（Ａ）は処理前のヒストグラム、（Ｂ）は処理後のヒストグラムである。なお、図４および図５のヒストグラムでは、横軸が画素値であり、縦軸は度数（画素数）である。

図４（Ａ）に示すように、薬剤画像を撮影すると、文字や図形が一色で印刷されている場合、画素値のヒストグラムには、文字や図形を表示している色を表す画素値を中心とする一つの山状の分布（以下、認識信号分布Ａという）が形成される。
しかし、薬剤画像にハレーションが含まれていると、ハレーションが生じている部分の画素の画素値は２５５に近い値となる。すると、図５（Ａ）に示すように、文字や図形が一色で印刷されていても、画素値のヒストグラムには、認識信号分布Ａよりも大きな画素値の側に山状の分布（以下、ハレーション分布Ｂという）が形成される。

ここで、ヒストグラムにおける認識信号分布Ａとハレーション分布Ｂとの間には、両分布Ａ、Ｂに比べて度数が少なくなる谷の領域Ｃが形成されるので、この谷の領域Ｃにおける最小の度数となるときの画素値をボトム値Ｘとして検出し、薬剤画像における各画素の画素値に最大画素値（２５５）を乗じかつボトム値Ｘで除した処理画素値を各画素における画素値とした処理画像を形成する
すると、処理画像における画素値のヒストグラムは図５（Ｂ）のようになる。つまり、処理画像は、認識信号分布Ａの特徴を残しつつ、ハレーションの影響を除去した画像となるのである。

以上のごとく、画像処理手段２１により、上記のごとき画像補正処理S10を行えば、撮影された薬剤画像中のハレーションが発生していても、ハレーションの影響を除いた処理画像を形成することができる。よって、撮影された薬剤画像に基づいて、薬剤認識情報を正確に検出することができる。

ここで、上記画像補正処理S10により認識信号分布Ａの特徴を残しつつハレーションの影響が除去された処理画像を形成できるのは、銀紙等で直接反射した光線が撮像素子に入光することによってハレーション現象が発生し高輝度の外乱光分布（ハレーション分布Ｂ）を発生するが、上記処理を行えば、ボトム値Ｘ以上の画素値を有する画素、つまり、ハレーションを起こしている画素を処理画像から除去できるからである。言い換えれば、後述する認識情報検出処理S20において処理画像を処理するときに、ハレーションを起こしている画素を検出処理に影響を与えない画素とすることができるからである。

なお、ハレーション分布Ｂであるか認識信号分布Ａであるかの判断は、複数の分布が存在する場合には、常に最も画素値が大きい分布をハレーション分布Ｂとすればよい。そしして、ハレーション分布Ｂよりも低位の画素値において、ハレーション分布Ｂの最大度数よりも大きく度数が減少している領域を谷の領域Ｃと判断すればよい。

さらになお、上記例では、ボトム値Ｘは、谷の領域Ｃにおける最小の度数となるときの画素値をボトム値Ｘとして検出した例を示したが、ボトム値Ｘは、例えば、認識信号分布Ａにおける頂点の画素値とハレーション分布Ｂにおける頂点の画素値の中間点に当たる画素値をボトム値Ｘとしてもよい。つまり、ボトム値Ｘに、認識信号分布Ａとハレーション分布Ｂとの間に形成される谷の領域Ｃの底近傍における度数を採用すれば、認識信号分布Ａの特徴を残しつつハレーションの影響を除去できる。

さらになお、文字や図形が複数の色で印刷されている場合には、図４（Ｂ）に示すように、画素値のヒストグラムには各色の画素値に対応した複数の認識信号分布Ａ１，Ａ２が形成されるが、その場合には、ハレーション分布Ｂと、このハレーション分布Ｂと隣接する認識信号分布Ａ２との間に形成される谷の領域Ｃの画素値や認識信号分布Ａ２における頂点の画素値とハレーション分布Ｂにおける頂点の画素値の中間点に当たる画素値からボトム値を決定すればよい。

さらになお、上記のごとき画像補正処理は、薬剤の包装材を撮影した画像の処理に限らず、反射率の高い素材の表面を撮影した画像を処理する場合にも適用できる。すると、ハレーションの発生する状況で撮影された画像から、ハレーションの影響を効果的に除くことができる。

つぎに、認識情報検出処理S20を説明する。
画像補正処理S10により形成された処理画像には、認識情報検出処理S20が行われる。この認識情報検出処理S20では、輪郭抽出や特徴抽出等の処理によって包装材に印刷されている文字や図形等の特徴的な部分が検出される。

以上のごとく、画像補正処理S10および認識情報検出処理S20をその順に行えば、ハレーションの影響を除去した状態で薬剤認識情報を検出できるので、薬剤認識情報を正確に検出することができる。

また、上記のごとき画像処理を行えば薬剤画像中のハレーションの影響を除去することができるのであるが、撮影手段１１として、薬剤画像にハレーションが発生することを抑制できるものを採用すれば、撮影された薬剤画像から薬剤認識情報を検出する精度をさらに向上させることができる。
ハレーションを抑制することができる撮影手段１１としては、面光源とエリアセンサを利用するエリア光学系（図６（Ｂ））よりも、レーザ光源等の線光源11aと、ＣＣＤ等の撮像素子を一次元的に配列したリニアセンサ11bを備えたリニア光学系が好ましい（図６（Ａ））。
その理由は以下のとおりである。

検査対象が銀紙など反射率の非常に高い包装材ではハレーションが発生しやすく、とくに、図７に示すＰＴＰシートなどではその表面に多少の凹凸もあるので、全反射がいたるところで発生する。
すると、図６（Ｂ）に示すようなエリア光学系の場合、面光源のため広い領域に光が照射されるから、全反射の発生する領域が広くなる。また、撮影手段が、撮像素子を二次元的に配列したエリアセンサであるから撮像素子の存在する領域（受光できる範囲）が広くなり全反射した光が撮像素子に入光する割合も多くなる。したがって、ハレーションが発生しやすくなる。
これに対し、図６（Ａ）に示すようなリニア光学系の場合、全反射は発生するものの、光源が線光源11aであるから全反射の発生する領域が狭くなり、リニアセンサ11bであることから、撮像素子の存在する領域（受光できる範囲）も狭く全反射した光が撮像素子に入光する割合が減る。よって、リニア光学系を採用すればエリア光学系に比べハレーション発生を少なくすることができるのである。

本発明の薬剤監査装置は、ＰＴＰシートや銀紙、フィルム材などのように反射率の非常に高い包装材に印刷された薬剤の情報を検出する装置に適している。

本実施形態の薬剤監査装置１の概略ブロック図である。 薬剤照合作業のフローチャートである。 画像処理手段２１における画像処理のフローチャートである。 撮影手段１１によって撮影された画像における画素値のヒストグラムを示した例である。 画像補正処理前後の画素値のヒストグラムであり、（Ａ）は処理前のヒストグラム、（Ｂ）は処理後のヒストグラムである。 （Ａ）本実施形態の薬剤監査装置１における撮影手段１１の説明図であり、（Ｂ）は面光源とエリアセンサからなる撮影手段の説明図である。 薬剤Ｐの外観の一例である。

符号の説明

１ 薬剤監査装置
１１ 撮影手段
１２ 入力手段
２０ 情報処理手段
２１ 画像処理手段
２２ 比較手段
２３ マスター画像記憶手段

Claims (4)

1. 薬剤を収容した包装材の外観を撮影する撮影手段と、
   該撮影手段によって撮影された薬剤画像を処理して、該画像に含まれる薬剤認識情報を検出する画像処理手段とを備えており、
   該画像処理手段が、
   前記薬剤画像を構成する複数の画素の画素値に基づいて該画素値のヒストグラムを形成し、該ヒストグラムにおけるハレーション分布と該ハレーション分布と隣接する分布の間に形成される谷領域の底近傍の画素値をボトム値とし、該薬剤画像を構成する各画素の画素値に最大画素値を乗じかつ前記ボトム値で除した処理画素値を各画素における画素値とした処理画像を形成する画像補正処理と、
   該画像補正処理された処理画像から、前記薬剤認識情報を検出する認識情報検出処理とを行うものである
   ことを特徴とする薬剤監査装置。
2. 薬剤の包装材の外観に含まれる前記薬剤認識情報からなる薬剤画像マスターを記憶したマスター画像記憶手段と、
   所望の薬剤の薬剤情報を入力する入力手段と、
   該入力手段から入力された薬剤情報に基づいて前記マスター画像記憶手段から所望の薬剤に対応する前記薬剤画像マスターを選択し、該選択された薬剤画像マスターと前記処理画像から検出される前記薬剤認識情報と比較する比較手段とを備えている
   ことを特徴とする請求項１記載の薬剤監査装置。
3. 前記撮影手段が、
   薬剤に光を照射する線光源と、
   薬剤で反射した前記線光源からの光を受光するリニアセンサとからなる
   ことを特徴とする請求項１または２記載の薬剤監査装置。
4. 反射率の高い素材の表面を撮影した画像を処理する画像処理方法であって、
   前記画像を構成する複数の画素の画素値に基づいて該画素値のヒストグラムを形成し、該ヒストグラムにおけるハレーション分布と該ハレーション分布と隣接する分布の間に形成される谷領域の底近傍の画素値をボトム値として検出するステップと、
   該画像における各画素の画素値に最大画素値を乗じかつ前記ボトム値で除した処理画素値を各画素における画素値とした処理画像を形成する画像補正ステップと、を順に行う
   ことを特徴とする画像処理方法。