JP2018128931A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】画像認識により対象の種別を判別する技術において、判別精度を向上させる、又はユーザによる判別結果の検証を効率化する。【解決手段】認識対象の画像に基づいて認識対象の薬剤の種別を特定する。複数の種別候補のそれぞれについて、画像上の特徴量を格納するデータベースを用いる。認識対象の画像を取得する。認識対象の画像から特徴量を取得する。優先して選択すべき種別候補を示す、認識対象に関する補助情報を取得する。補助情報を用いて、取得した特徴量に対応する種別候補のうち補助情報に従って選択された種別候補を出力する。【選択図】図２

Description

本発明は画像処理装置、画像処理方法、及びプログラムに関する。

病院において、処方されている薬剤を入院患者が持参し、薬剤師が持参された薬剤を鑑別し、持参薬レポートを生成するという業務が存在する。この業務を効率化するために、薬剤師による鑑別処理を支援する方法が提案されている。特許文献１では、持参薬レポートを生成する際に、薬剤の特徴を参考にしてユーザが薬剤名を検索することを容易にするとともに、過去の患者の処方情報とつきあわせることが可能なシステムが提案されている。また、薬剤の種類を自動で認識するための方法として、特許文献２では、薬剤表面に刻印された文字の特徴量を得るために照明を調節する方法が提案されている。

特許第５７０８６７３号公報 特開２０１５−０６８７６５号公報

特許文献１の方法では、ユーザが薬剤名を手動で検索する必要があったため、多量の薬剤を鑑別するには時間を要していた。一方、薬剤には極めて多くの種類が存在するため、特許文献２のような薬剤の表面の刻印又は印字等にのみ依存する認識技術は、精度の面で課題を有していた。

本発明は、画像認識により対象の種別を判別する技術において、判別精度を向上させること、又はユーザによる判別結果の検証を効率化すること、を目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
認識対象の画像に基づいて前記認識対象の薬剤の種別を特定する画像処理装置であって、
複数の種別候補のそれぞれについて、画像上の特徴量を格納するデータベースと、
前記認識対象の画像を取得する画像取得手段と、
前記認識対象の画像から特徴量を取得する特徴量取得手段と、
優先して選択すべき種別候補を示す、前記認識対象に関する補助情報を取得する情報取得手段と、
前記補助情報を用いて、前記取得した特徴量に対応する種別候補のうち前記補助情報に従って選択された種別候補を出力する、選択手段と、
を備えることを特徴とする。

画像認識により対象の種別を判別する技術において、判別精度を向上させること、又はユーザによる判別結果の検証を効率化することができる。

実施形態１に係る情報処理システムのハードウェア構成例を示す図。 実施形態１に係る情報処理システムの機能構成例を示す図。 実施形態１に係るマスターデータの一例を示す図。 実施形態１に係る処理のフローチャート。 実施形態１に係る処理のフローチャート。 実施形態３で生成される中間データの例を示す図。 実施形態１で用いられる薬剤画像及び文書画像の例を示す図。 実施形態１で生成される中間データの例を示す図。 実施形態１で表示されるＵＩの例を示す図。 実施形態２に係る処理のフローチャート。 実施形態３に係るマスターデータの一例を示す図。 実施形態５で用いられる文書画像の例を示す図。

［実施形態１］
はじめに、図１（Ａ）を用いて実施形態１に係る情報処理システムのハードウェア構成の例を説明する。撮影装置１１０は、薬剤の撮影画像（薬剤画像）を撮影する装置である。本実施形態に係る撮影装置１１０はトレイ１１１及び撮影部１１２を備え、トレイ１１１上に置かれた１つ以上の薬剤を撮影部１１２により撮影することにより、撮影画像を得る。読取装置１２０は、文書の画像（文書画像）を読み取る装置である。本実施形態に係る読取装置１２０は、ＣＣＤ等で構成された読取部を備え、読取部を用いて文書をスキャンすることにより、文書画像を得る。

画像処理装置１３０は、認識対象の画像に基づいて認識対象の種別を特定する。本実施形態において、画像処理装置１３０は、認識対象である薬剤の撮影画像に基づいて、薬剤の種別を認識する。そして、画像処理装置１３０は、認識した薬剤種別を、種別候補としてユーザに提示する。画像処理装置１３０は、さらに、認識対象である薬剤に関する補助情報を用いて、本実施形態に係る処理を行う。

画像処理装置１３０は、薬剤画像及び文書画像を入力として用いて、本実施形態に係る処理を行う。画像処理装置１３０としては、通常のコンピュータを用いることができる。例えば、画像処理装置１３０は、図１（Ｂ）に示すように、プロセッサ１３１、メモリ１３２、及び記憶装置１３３を備えている。本実施形態においては、記憶装置１３３が格納している、各部の機能を実現するプログラムが、メモリ１３２へと読み出される。そして、プロセッサ１３１が、メモリ１３２上のプログラムに従って動作することにより、図２に示される、画像処理装置１３０が備える各部の機能が実現される。

後述するＵＩ装置１４０は、表示部及び入力部を有する装置である。表示部は、画像処理装置１３０がユーザへ通知する情報を表示することができる。入力部は、例えばボタン又はタッチパネル等を有しており、ユーザからの操作を受け付け画像処理装置１３０へ送信することができる。

また、これらの機器間はデータ路１５０によって接続されており、これらの機器は相互にデータの送受信が可能である。データ路１５０は、例えば、ＬＡＮ（ローカルエリアネットワーク）若しくはＵＳＢ等のケーブルを用いて、又は無線ＬＡＮ若しくはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線伝送を用いて、実現される。図１においては、説明のため、各装置がネットワークの形態で接続されているが、画像処理装置１３０がその他の装置と個々に接続していてもよい。

図１に示す構成は一例にすぎず、撮影装置１１０、読取装置１２０、画像処理装置１３０、及びＵＩ装置１４０のうちのいくつか又は全ては、同一のハードウェアとして構成されていてもよい。例えば、撮影装置１１０及び読取装置１２０が同一の読取部によって実現されていてもよい。また、画像処理装置１３０は、インターネット上のコンピュータリソースとして存在してもよく、例えばクラウド上のコンピュータリソースとして存在してもよい。

図２は、本実施形態に係る情報処理システムの概要を説明する図である。本実施形態に係る情報処理システムは、患者が持参した薬剤を判別するために用いることができる。撮影装置１１０は、撮影処理部２０２を備える。撮影処理部２０２は、トレイ１１１上に置かれた１つ以上の薬剤の画像（薬剤画像）を撮影する。撮影処理部２０２は、そして、薬剤画像を薬剤認識部２０５へ送信する。

トレイ１１１上には、患者が持参した薬剤を置くことができる。ここで、トレイ１１１上には、例えばＰＴＰ（Ｐｒｅｓｓ Ｔｈｒｏｕｇｈ Ｐａｃｋ）シート若しくはその他の容器に格納された薬剤、又は裸錠（例えばＰＴＰシートから出された薬剤）を置くことができる。本実施形態において、薬剤画像は、ＰＴＰシートと裸錠との少なくとも一方を含む撮影画像である。薬剤画像には、１又は複数の認識対象（薬剤）を含むことができる。本実施形態においては、トレイ１１１上には、１錠ごとに切断されたＰＴＰシートと、裸錠と、の少なくとも一方を置くものとする。しかしながら、適切な画像認識技術を用いることにより、切断されていないＰＴＰシート、又はその他の容器に入れられている薬剤についても、種別を判別することができる。

読取装置１２０は、読取処理部２０１を備える。読取処理部２０１は、認識対象である薬剤に関する情報が記載された文書の文書画像を生成する。そして、読取処理部２０１は、文書画像を文書認識部２０４へ送信する。

例えば、読取処理部２０１は、患者が持参した、薬剤の説明文書をスキャンすることができる。薬剤の説明文書は、例えば、薬を処方される際に一緒に薬局から患者へと提供された情報提供文書、薬を処方される際に薬の情報が記入されたお薬手帳、又は薬剤が入っている薬袋等でありうる。一方、認識対象である薬剤の種別と、薬剤に関する情報が記載された文書に記載された薬剤の種別は、必ずしも一致するわけではない。例えば、患者は、持参した薬剤とは関係のない説明文書を持参する可能性がある。また、患者は、処方され説明文書に記載されている薬剤のうち、一部を紛失している可能性もある。さらには、後述するように文書認識部２０４は文書画像に対する文字認識処理を行うが、文書画像に記載されている文字情報を正確に認識できない可能性もある。このように、薬剤画像に写っている薬剤の種別が文書画像からは抽出されない可能性があるし、薬剤画像に写っていない薬剤の種別が文書画像から抽出される可能性もある。

画像処理装置１３０は、マスターデータ２０３、文書認識部２０４、薬剤認識部２０５、検証部２０６、及び確認部２０７を備える。マスターデータ２０３は、薬剤情報のマスターデータであり、より具体的には、それぞれの薬剤（種別候補）について、薬剤名と、その薬剤を画像データから特定するための特徴量情報と、の組み合わせを持つデータ集合である。本実施形態におけるマスターデータ２０３については、図３を用いて後述する。

文書認識部２０４は、認識対象である薬剤に関する補助情報の情報取得を行う。本実施形態において文書認識部２０４は、読取処理部２０１より受信した文書画像中の文字情報を認識する。そして、文書認識部２０４は、マスターデータ２０３の情報を用いて、文書画像中に記述されている複数の薬剤名を抽出する。こうして抽出された薬剤名が、本実施形態における補助情報として用いられる。上述の通り、抽出された薬剤名は、認識対象である薬剤の薬剤名である可能性が比較的高いことから、薬剤に関する補助情報として用いることができる。文書認識部２０４はさらに、抽出結果を候補リストとして薬剤認識部２０５へ送信する。本処理の詳細は図４のフローチャートを参照して後述する。

詳しくは後述するが、本実施形態においては、文書認識部２０４によって認識された薬剤名を持つ薬剤は、種別候補として確認部２０７により優先的にユーザに提示される。このように、文書画像には、優先して選択すべき種別候補を示す情報が記載されているといえるし、補助情報は、優先して選択すべき種別候補を示しているといえる。また、文書認識部２０４によって認識された薬剤名を持つ薬剤は、種別候補として高い信頼度が付与される。すなわち、文書画像には、高い信頼度が付与される種別候補を示す情報が記載されているといえるし、補助情報は、信頼度を付与するために用いることができる。

本実施形態において文書認識部２０４は、上記のように文書画像を取得し、文書画像に対する認識処理により補助情報を取得する。しかしながら、この構成は必須ではない。例えば、患者が持参したと考えている薬剤名を、ユーザ入力により、又は音声認識により、補助情報として取得することもできる。また、文書画像に薬剤名が含まれることは必須ではなく、認識対象の薬剤を特定又は示唆する他の情報、例えば薬剤の属性情報を、補助情報として取得することもできる。この場合、マスターデータ２０３は、薬剤（種別候補）と、薬剤（種別候補）を特定又は示唆する情報と、を対応付けることができる。本実施形態の場合、マスターデータ２０３は、薬剤の属性として薬剤名を薬剤（種別候補）に関連付けて保持している。

薬剤認識部２０５は、撮影処理部２０２より認識対象の画像である薬剤画像の画像取得を行う。そして、薬剤認識部２０５は、受信した薬剤画像から、個別の薬剤が写っている画像領域を抽出する。さらに、薬剤認識部２０５は、それぞれの画像領域について特徴量取得を行う。そして、薬剤認識部２０５は、文書認識部２０４から受信した候補リストとマスターデータ２０３の情報とを用いて、抽出された画像領域に写っている薬剤を認識する。マスターデータ２０３は、複数の薬剤（種別候補）のそれぞれについて、画像上の特徴量を格納しているデータベースである。したがって、薬剤認識部２０５は、マスターデータ２０３に含まれる種別候補の中から、取得した特徴量に従って、画像領域に含まれる薬剤の種別候補を選択することができる。もっとも、互いに形状が類似している薬剤が存在するため、薬剤認識部２０５は、複数の薬剤を種別候補として認識するかもしれない。

このように、薬剤認識部２０５は、薬剤画像に写っている１又は複数の薬剤のそれぞれについて、対応する薬剤を選択する。その後、薬剤認識部２０５は、認識された薬剤を示す情報を検証部２０６へ送信する。本処理の詳細は図５のフローチャートを参照して後述する。

検証部２０６は、文書認識部２０４及び薬剤認識部２０５により得られた結果を基に、認識された薬剤（種別候補）の確からしさを信頼度として算出する。具体的には、検証部２０６は、薬剤認識部２０５により選択された種別候補に対して信頼度を付与することができる。本処理の詳細は後述する。

確認部２０７は、文書認識部２０４、薬剤認識部２０５、及び検証部２０６により得られた結果を、ＵＩ処理部２０８を介してユーザに提示する。ここで、確認部２０７は、補助情報を用いることにより、薬剤認識部２０５により選択された種別候補のうち、補助情報に従って選択された種別候補を出力し、ユーザに提示することができる。そして、確認部２０７は、ＵＩ処理部２０８を介して、ユーザから薬剤種別の確定指示又は修正指示を受け付ける受付処理を行う。

ＵＩ装置１４０は、ＵＩ処理部２０８を備える。ＵＩ処理部２０８は、ユーザに対して処理の経過表示、種別候補の表示、及び薬剤名の候補の表示等を行うことができる。また、ＵＩ処理部２０８は、ユーザによる選択又は文字等の入力を受け付けることができる。

図３は、本実施形態におけるマスターデータ２０３の一例を示す。図３の例において、マスターデータ２０３はテーブル３０１で表現されている。テーブル３０１はＩＤ番号、薬剤名、裸錠の特徴量、及びＰＴＰシートの特徴量から構成されている。

図３の例において、裸錠の特徴量には、裸錠のサイズ（例えば、円形の錠剤の場合には錠径（直径））、並びに裸錠の表面及び裏面それぞれの画像特徴量が含まれる。図３においては、説明上、外観そのものが画像特徴量として示されている。しかしながら、画像特徴量としては、その他の特徴量、例えば公知のＳＩＦＴ特徴量等の局所特徴量を用いることができる。局所特徴量は、特徴点を抽出し、特徴点周りの画素値又は微分値を用いて生成された特徴ベクトルである。このような局所特徴量を用いることにより、照明条件の変化や回転などが生じていても、画像認識を行うことができる。ここに挙げた特徴量は一例にすぎず、その他の方法を用いてもよい。例えば、特徴量として、裸錠の色の情報、又は裸錠に印された文字列等を用いることもできる。

また、図３の例において、ＰＴＰシートの特徴量には、ＰＴＰシートのサイズ（図３の場合、１錠分ごとに切り離されたＰＴＰシートの矩形サイズであって、縦と横の長さ）、並びにＰＴＰシートの表面及び裏面それぞれの画像特徴量が含まれる。

図３の例では、ＩＤ１２００の行は、オルメサルタン錠５ｍｇについて、その薬剤名及び特徴量を表す。ＩＤ２５０１の行は、メコバラミン錠５００μｇについて、その薬剤名及び特徴量を表す。他の行についても同様である。図３には、説明のため一部の情報のみを示しているが、マスターデータ２０３は数万の薬剤についての情報を格納することができる。

図３に示すマスターデータ２０３の構造は一例にすぎない。例えば、マスターデータ２０３がさらなる追加情報を有していてもよい。また、マスターデータ２０３は別の構造を有していてもよい。例えば、マスターデータ２０３はツリー構造を有していてもよい。この場合、メコバラミン錠２５０μｇの情報と、メコバラミン錠５００μｇの情報と、がメコバラミン錠として１つのノードにまとめられていてもよい。そして、このメコバラミン錠のノードが、子ノードとして２５０μｇのノードと５００μｇのノードとを有していてもよい。

図７は、画像処理装置１３０へ入力される画像データの例である。図７（Ａ）は、読取装置１２０を用いて、患者が持参した薬の説明書をスキャンして得られた文書画像７００を示す。また、図７（Ｂ）は、撮影装置１１０を用いて、同様に患者が持参した薬剤を撮影して得られた薬剤画像７１０を示す。薬剤画像７１０には、裸錠及びＰＴＰシートが写っている。

以降、図７に示した文書画像７００及び薬剤画像７１０と、テーブル３０１に示されるマスターデータ２０３と、を用いる例により、本実施形態に係る処理例を説明する。図４は、文書認識部２０４が行う処理のフローチャートである。

ステップＳ４０１で、文書認識部２０４は、読取処理部２０１より文書画像７００を取得する。ステップＳ４０２で、文書認識部２０４は、文書画像７００に対して文字認識処理を行うことにより、文書画像からテキスト情報を取得する。この文字認識処理により、文書認識部２０４は、文書画像７００中の文字領域７０１から“メコバラミン錠５００μｇ”という文字コード列を、文字領域７０２から“ロキソプロフェン錠６０ｍｇ”という文字コード列を、それぞれ取得したものとする。

ステップＳ４０３で、文書認識部２０４は、ステップＳ４０２で取得したテキスト情報から薬剤名を検出する。文書認識部２０４は、テキスト情報から１以上の薬剤名を検出し、検出された薬剤名に対応する薬剤を含む候補リストを作成することができる。

例えば、文書認識部２０４は、テキスト情報から、マスターデータ２０３に含まれる各薬剤名を検索することができる。そして、文書認識部２０４は、テキスト情報中にマスターデータ２０３に含まれる薬剤名と一致する箇所があれば、この箇所を薬剤名として検出することができる。そして、文書認識部２０４は、マスターデータ２０３中の対応する薬剤を候補リストに含めることができる。同一の文字領域から複数の薬剤名を検出できることもあり、この場合文書認識部２０４は対応する全ての薬剤を候補リストに含めることができる。

読取装置１２０によって読み取られる文書には、表記の揺れが存在することがある。また、文字認識処理においては、誤認識が生じることもある。このため、薬剤名を検索する際には、ある程度の曖昧性を考慮して検索する（あいまい検索を行う）ことができる。このような曖昧性を持った検索は公知の手法を用いて行うことができ、例えば編集距離等を用いた文字列の近似比較手法を用いることができる。

ここに挙げた薬剤名検出方法は一例にすぎず、その他の方法を用いることもできる。例えば、読取装置１２０によって読み取られた薬剤の説明文書が既知のレイアウトを有している場合、薬剤名が記述される位置として予め定義されている箇所のテキスト情報を取得し、薬剤の抽出を行うことができる。

文書画像７００を用いる例では、テーブル３０１に含まれる全ての薬剤情報について、文字領域７０１、７０２を含む全ての領域に対する文字認識結果から、薬剤名を曖昧検索する。この例では、文字領域７０１に対応する文字認識結果と、ＩＤ２５０１の薬剤名とが一致し、文字領域７０２に対応する文字認識結果と、ＩＤ６３４０の薬剤名とが一致する。このため、ＩＤ２５０１及びＩＤ６３４０の２つの薬剤を含む候補リストが生成される。

次に、薬剤認識部２０５が行う処理を、図５のフローチャートを参照して説明する。ステップＳ５０１において、薬剤認識部２０５は、撮影処理部２０２より薬剤画像７１０を取得する。

ステップＳ５０２で、薬剤認識部２０５は、薬剤画像７１０から、各ＰＴＰシート及び裸錠に対応する画像領域をそれぞれ抽出する。ＰＴＰシート及び裸錠に対応する画像領域は、薬剤画像７１０と、空のトレイ１１１の撮影画像と、の差分を用いて特定することができる。例えば、差分が存在する画素を連結して得られる連結領域を、１つのＰＴＰシート又は裸錠の画像領域として抽出することができる。

この方法は一例にすぎず、他の方法を用いてＰＴＰシート又は裸錠に対応する画像領域を抽出することもできる。例えば、距離センサ等を用いて、薬剤が載っているトレイ１１１までの距離画像を取得し、この距離画像に基づいてトレイ１１１上の薬剤の位置を検出することもできる。

薬剤画像７１０の場合、裸錠である薬剤７１１〜７１４及びＰＴＰシートである薬剤７１５の５個の薬剤が存在している。薬剤認識部２０５は、それぞれの薬剤７１１〜７１５に対応する画像領域をそれぞれ抽出する。

ステップＳ５０３はループ端であり、ステップＳ５０２で抽出した画像領域ごとに、ステップＳ５０４〜ステップＳ５１２までの処理が繰り返し行われる。薬剤画像７１０を用いる場合、薬剤認識部２０５は、ステップＳ５０２で抽出した５個の薬剤の画像領域のそれぞれに対して、順に処理を行う。ここでは例として、薬剤７１１を含む画像領域が最初に処理されるものとする。

ステップＳ５０４で、薬剤認識部２０５は、画像領域に含まれる薬剤の形状を識別する。本実施形態において、薬剤認識部２０５は、薬剤が裸錠であるかＰＴＰシートの切片であるかを判別する。例えば、薬剤の形状によってこの判別を行うことができる。具体例としては、薬剤が４つの一定以上の長さの直線から構成される矩形形状を有している場合、薬剤はＰＴＰシートの切片であると判定することができる。また、薬剤が、円形状、楕円形状、又は２つの直線と半円とから構成されるカプセル形状を有する場合、薬剤は裸錠であると判定することができる。この方法は一例にすぎず、他の方法を用いることができる。例えば、薬剤の形状ごとに特徴量を学習している識別器を予め作成し、この識別器を用いて薬剤の判別を行うことができる。

薬剤画像７１０を用いる今回の例において、薬剤認識部２０５は、薬剤７１１は円形であると判定することができる。

画像領域に含まれる薬剤の形状が円形状、楕円形状、又はカプセル形状であると判定されると、ステップＳ５０５において薬剤認識部２０５は薬剤が裸錠であると判定し、処理はステップＳ５０６へ進む。また、画像領域に含まれる薬剤の形状が矩形形状であると判定されると、ステップＳ５０５において薬剤認識部２０５は薬剤がＰＴＰシートであると判定し、処理はステップＳ５０８へ進む。

薬剤画像７１０を用いる今回の例において、薬剤認識部２０５は、薬剤７１１は円形であるため、裸錠であると判定することができる。この場合、処理はステップＳ５０６へ進む。

ステップＳ５０６で、薬剤認識部２０５は、画像領域から裸錠の特徴量を算出する。上述の通り、本実施形態では、裸錠の特徴量として、裸錠のサイズ情報（錠径）及び画像の局所特徴量が用いられる。錠径は、薬剤画像７１０上での裸錠のサイズ、撮影部１１２の解像度、及び撮影部１１２とトレイ１１１との間の位置関係に基づいて、算出することができる。

薬剤画像７１０を用いる今回の例において、薬剤認識部２０５は、裸錠である薬剤７１１のサイズ特徴量として、錠径と、画像特徴量と、を算出する。ここで算出された錠径は、７．０〜７．２ｍｍに含まれるものとする。

ステップＳ５０７で、薬剤認識部２０５は、ステップＳ５０６で算出された裸錠の特徴量を、マスターデータ２０３に含まれる裸錠の特徴量と比較し、特徴量の類似度を算出する。本実施形態において、薬剤認識部２０５は、まずマスターデータ２０３からサイズが一致する薬剤を抽出し、抽出された薬剤について画像特徴量の比較を行う。そして、薬剤認識部２０５は、画像領域中の裸錠の画像特徴量と、マスターデータ２０３中の薬剤情報に含まれる裸錠の画像特徴量と、の類似度を算出する。なお、画素数や薬剤の厚みにより算出される錠径には誤差が生じうるため、テーブル３０１において、サイズ（錠径）は範囲で示されている。

ステップＳ５１０で、薬剤認識部２０５は、ステップＳ５０７又はＳ５０９（後述）で算出された類似度が一定以上となる薬剤が存在するか否かを判定する。類似度が一定以上の薬剤が存在する場合、処理はステップＳ５１１へ進み、存在しない場合処理はステップＳ５１２へ進む。

薬剤画像７１０を用いる今回の例において、裸錠である薬剤７１１については、ＩＤ１２００のオルメサルタン錠５ｍｇと、ＩＤ２５０１のメコバラミン錠５００μｇが、一定以上の類似度を有しているものとする。このように、類似度が一定以上となる薬剤が存在するため、処理はステップＳ５１１に進む。

ステップＳ５１１において薬剤認識部２０５は、類似度が一定以上となる薬剤を、種別候補として格納する。

その後、薬剤７１２，７１３に対しても、同様にステップＳ５０３〜Ｓ５１２の処理が行われる。薬剤７１２については、円形の形状を有し、裸錠であり、ＩＤ６３４０のロキソプロフェン錠６０ｍｇとの類似度が一定以上になると判定される。薬剤７１３についても同様である。さらに、薬剤７１４についても、裸錠であり、ＩＤ８１５０のワルファリンカリウム錠０．５ｍｇとの類似度が一定以上になると判定される。

薬剤７１５については、矩形の形状を有し、ＰＴＰシートであると判定されるため、処理はステップＳ５０５からＳ５０８へと進む。ステップＳ５０８で、薬剤認識部２０５は、画像領域からＰＴＰシートの特徴量を算出する。上述の通り、本実施形態では、ＰＴＰシートの特徴量として、ＰＴＰシート切片のサイズ情報及び画像の局所特徴量が用いられる。その後、ステップＳ５０９で、薬剤認識部２０５は、ステップＳ５０７で算出されたＰＴＰシートの特徴量を、マスターデータ２０３に含まれるＰＴＰシートの特徴量と比較し、特徴量の類似度を算出する。本実施形態において薬剤認識部２０５は、ステップＳ５０７と同様、まずマスターデータ２０３からサイズが一致する薬剤を抽出し、抽出された薬剤について画像特徴量の比較を行う。そして、薬剤認識部２０５は、画像領域中のＰＴＰシートの画像特徴量と、マスターデータ２０３中の薬剤情報に含まれるＰＴＰシートの画像特徴量と、の類似度を算出する。ステップＳ５１０以降は裸錠の場合と同様に行われ、ＰＴＰシートである薬剤７１５は、ＩＤ６３４０のロキソプロフェン錠６０ｍｇとの類似度が一定以上になると判定される。

このように、本実施形態においては、薬剤画像の特徴量に基づいて、薬剤の形態（例えば裸錠又はＰＴＰシート）が判定される。マスターデータ２０３には、１つの薬剤について、形態ごとの特徴量（例えば裸錠の特徴量及びＰＴＰシートの特徴量）が含まれている。そして、判定された薬剤の形態に基づいて、認識に用いられる特徴量が切り替えられる。同じ薬剤が裸錠の形態である可能性もＰＴＰシートの形態である可能性もあるが、本実施形態によれば、裸錠とＰＴＰシートとが混在している場合にも適切に認識を行うことができる。特に、判定された薬剤の形態に基づいて認識に用いられる特徴量を切り替えることにより、特徴量比較処理の回数を減らし、処理負荷を軽減することができる。

以上のように、薬剤７１１〜７１５に対応する画像領域のそれぞれに対して処理が行われ、図８に示すような認識結果が得られる。図８は、図５のフローチャートの処理によって得られる中間データを示す。カラム８０１〜８０４は、薬剤認識部２０５による処理により作成される。カラム８０１はステップＳ５０２で抽出された薬剤の画像を、カラム８０２はステップＳ５０４で識別された薬剤の形状を示す。また、カラム８０３はステップＳ５０６又はＳ５０８で算出された薬剤の特徴量を、カラム８０４はステップＳ５０７又はＳ５０９で特定された種別候補を示す。

ステップＳ５１３において、検証部２０６は、種別候補に対して信頼度を設定する。カラム８０５は、カラム８０４に示す種別候補が、ステップＳ４０３で作成された候補リストに含まれているか否かを示す。カラム８０５の情報は、ステップＳ５１３において検証部２０６が設定することができる。また、カラム８０６は、カラム８０４に示す種別候補の信頼度を示す。カラム８０６の情報は、ステップＳ５１３において、検証部２０６が以下のルールを用いて付加することができる。

まず、マスターデータ２０３に含まれる薬剤のうち、薬剤画像７１０に含まれる薬剤と類似度が高く、さらに候補リストにも含まれている薬剤については、検証部２０６は、信頼度を“高”に設定する。また、薬剤画像７１０に含まれる薬剤と類似度が高いが、候補リストには含まれていない薬剤については、信頼度を“低”に設定する。

一方、候補リストに含まれているが、薬剤画像７１０に含まれる薬剤との類似度は低い薬剤については、図９に示すＵＩ画面９００，９２０を用いてユーザが薬剤種別を修正する場合に、修正候補として提示することができる。候補リストに含まれず、薬剤画像７１０に含まれる薬剤との類似度も低い薬剤については、種別候補としては提示されない。

例えば、薬剤７１１についての認識結果として得られた種別候補であるオルメサルタン錠５ｍｇについては、文書画像７００より抽出した候補リストに存在しないため、信頼度が“低”に設定される。薬剤７１１のもう１つの種別候補であるであるメコバラミン錠５００μｇについては、候補リストに存在するため、信頼度が“高”に設定される。

同様に、薬剤７１２，７１３についての種別候補であるロキソプロフェン錠６０ｍｇについては、候補リストに存在するため、信頼度が“高”に設定される。薬剤７１４についての種別候補であるワルファリンカリウム錠０．５ｍｇについては、候補リストに存在しないため、信頼度が“低”に設定される。薬剤７１５についての種別候補であるロキソプロフェン錠６０ｍｇについては、候補リストに存在するため、信頼度が“高”に設定される。

ステップＳ５１４において、確認部２０７はこのような中間データに従ってＵＩ装置１４０にＵＩを表示させる。図９は、確認部２０７が表示するＵＩ例を示す。本実施形態では、薬剤ごとに認識結果の確認及び修正を行うための確認／修正ＵＩが存在する。図９（Ａ）のＵＩ画面９００は、薬剤７１１に対してのＵＩである。確認薬剤番号９０１は全薬剤のうち、確認対象となる対象薬剤の番号を示す。“１／５”の表記は、薬剤画像から全部で５個の薬剤が抽出され、そのうちの１個目の確認／修正ＵＩであることを示している。

確定ボタン９０２は、認識結果として提示された種別候補に問題がない場合に薬剤種別を確定するためのボタンである。修正ボタン９０３は、認識結果に誤りがある場合に薬剤種別の修正作業を開始するためのボタンである。薬剤トレイビュー９０４は、トレイ１１１を撮影して得られた薬剤画像と、現在の処理対象がどの位置にある薬剤なのかを示す、サムネイルビューである。

戻りボタン９０５及び送りボタン９０６は、対象薬剤を変更するためのボタンである。戻りボタン９０５を押すと前の番号の薬剤が表示され、送りボタン９０６を押すと次の番号の薬剤が表示される。

抽出薬剤ビュー９０７は、薬剤画像から抽出された対象薬剤の画像を示す。抽出特徴量ビュー９０８は、対象薬剤について薬剤画像から抽出された特徴量を示す。図９（Ａ）の例では、特徴量として算出された錠径が表示されている。候補薬剤ビュー９０９は、認識された種別候補についての画像を示す。この画像は、マスターデータ２０３が保持していてもよいし、別の格納部から取得してもよい。候補薬剤特徴量ビュー９１０は、認識された種別候補について、マスターデータ２０３が保持している特徴量を示す。図９（Ａ）の例では、薬剤名及び錠径が表示されている。

文書サムネイルビュー９１１は、文書画像のサムネイルと、対象薬剤の属性を示す補足情報が抽出されたサムネイル上の位置を示す矩形と、を表示している。図９（Ａ）の例では、対象薬剤の薬剤名が抽出された位置が示される。文書情報ビュー９１２は、文書画像から抽出された補足情報を拡大して示す。メッセージ通知ビュー９１３では、ユーザに通知する情報を表示している。図９（Ａ）の例では、認識された種別候補の信頼度が表示されている。

ユーザは、薬剤７１１に関して、ＵＩ画面９００上で、薬剤画像から抽出された対象薬剤の画像を、認識された種別候補についての画像と比較する。また、ユーザは、認識された種別候補についての特徴量、文書画像上の情報、及び通知されたメッセージを確認する。こうして、ユーザは、認識結果として提示された種別候補が正しいか否かを確認し、問題がなければ確定ボタン９０２を押してこの薬剤に対する確認を終了する。

図８に示すように、薬剤７１１については２つの種別候補が存在している。しかしながら、検証部２０６により、“メコバラミン錠５００μｇ”の信頼度が高く、“オルメサルタン錠５ｍｇ”の信頼度は低くなっている。図９（Ａ）の例では、候補薬剤ビュー９０９及び候補薬剤特徴量ビュー９１０には、信頼度が高い“メコバラミン錠５００μｇ”の結果だけが提示されている。このように、ＵＩ画面９００は、最も高い信頼度を有する種別候補に関する情報を表示することができる。この場合、ユーザは信頼度の高い種別候補である“メコバラミン錠５００μｇ”が正しいか否かを確認すればよい。

このように、特徴量に基づいて薬剤認識部２０５が認識した種別候補のうち、文書認識部２０４により薬剤名が認識された種別候補には高い信頼度が設定され、薬剤名が認識されていない種別候補にはこれより低い信頼度が設定される。そして、薬剤認識部２０５が認識した種別候補に、文書認識部２０４により薬剤名が認識された種別候補が含まれる場合には、確認部２０７はこの種別候補を選択してユーザに提示する。一方で、薬剤認識部２０５は、文書認識部２０４により薬剤名が認識されていない種別候補については、自動的には選択しない。上述の通り、文書認識部２０４により薬剤名が認識された種別候補は、優先して選択すべき種別候補として扱われ、高い信頼度が付与される種別候補として扱われる。

図９（Ｂ）に示すＵＩ画面９２０は、薬剤７１４に対しての確認／修正ＵＩである。薬剤７１４についての種別候補である“ワルファリンカリウム錠０．５ｍｇ”は信頼度が“低”となっているため、確定ボタン９２１がグレーアウトされている。また、信頼度が“高”である場合に表示される候補薬剤ビュー９０９及び候補薬剤特徴量ビュー９１０の代わりに、候補選択リスト９２２が表示されている。候補選択リスト９２２は、信頼度が“高”である種別候補がない場合に表示されるリストであり、認識結果として得られた種別候補についての情報と選択ボタンとを含む。ユーザは、提示された種別候補に問題がないことを確認して、選択ボタンを押下することができる。信頼度が“高”ではない種別候補が２以上存在する場合、候補選択リスト９２２には２以上の種別候補について情報を表示し、いずれか１つを選択できるようにすることができる。

このように、特徴量に基づいて薬剤認識部２０５が認識した種別候補に、文書認識部２０４により薬剤名が認識された種別候補が含まれない場合、確認部２０７は、薬剤名が認識された種別候補以外の種別候補を選択してユーザに提示する。

手動入力ボタン９２３は、候補選択リスト９２２に正しい候補がない場合の手動入力ボタンである。ユーザはこのボタンをタッチすることで、薬剤種別を手動で入力することができる。例えば、ユーザはキーボードを用いて薬剤名を入力することができ、またマスターデータ２０３に含まれる薬剤の一覧から薬剤種別を選択することができる。

ユーザが、候補選択リスト９２２又は手動入力ボタン９２３を用いて薬剤種別を確定すると、確定ボタン９２１が有効化される。このように、確定ボタン９２１は、候補選択リスト９２２から薬剤種別を明示的に選択するか、薬剤種別の修正操作をするまで、押下できないようになっている。

文書情報ビュー９２４では、文書画像中に、種別候補の薬剤名である“ワルファリンカリウム錠０．５ｍｇ”の情報がないことが通知されている。また、メッセージ通知ビュー９２５には、認識された種別候補の信頼度が“低”であることに加えて、信頼度が低い理由が表示されている。例えば、図９（Ｂ）では、文書画像中に“ワルファリンカリウム錠０．５ｍｇ”が存在しないことが通知されている。こうして、ユーザによる明示的な選択操作又は修正操作が促されている。

図９に示す確認／修正ＵＩの構成は一例にすぎない。例えば、ボタン配置やテキスト等は変更してもよいし、画像処理装置１３０が備える物理ボタンを用いてもよい。さらに、その他の情報を表示してもよいし、画面の大きさなどにあわせて重要度の低い情報を削除してもよい。さらには、全ての確認対象となる薬剤に関する情報が一覧表示されてもよい。

図９（Ａ）（Ｂ）からわかるように、確認部２０７は、信頼度に従って選択された種別候補をユーザに提示する際に、種別候補の信頼度に応じてユーザへの提示態様を切り替える。図９（Ｂ）の表示は、種別候補の信頼度が閾値未満の場合に用いられる。この場合、確認部２０７は、提示した種別候補を承認するために、候補選択リスト９２２又は手動入力ボタン９２３を用いて薬剤種別を確定する操作をユーザに要求する。一方、図９（Ａ）の表示は、種別候補の信頼度が閾値以上の場合に用いられる。この場合、確認部２０７は、提示した種別候補を承認するために、候補選択リスト９２２又は手動入力ボタン９２３を用いて薬剤種別を確定する操作をユーザに要求しない。

図９（Ａ）の例では、検証部２０６により算出された信頼度に従い、薬剤７１１に関しては“メコバラミン錠５００μｇ”の情報だけが提示されている。一方、検証部２０６が信頼度を算出しない場合、ユーザは候補選択リスト９２２を用いて２つの種別候補のどちらかを選択する必要がある。種別候補として２つだけではなく多くの類似薬剤が抽出されることも考えられ、このような場合正しい薬剤種別をユーザが選択することは容易ではない。

このように、本実施形態の構成によれば、薬剤画像のみに基づいて薬剤種別を認識する場合と比べ、補助情報として文書情報を用いることにより、認識の精度を向上させたり、ユーザの確認の手間を削減することが可能となる。また、患者が持参した薬の説明書と薬剤が一致していない場合に対しても、信頼度が“低”の状態で候補を提示することが可能となっている。

［実施形態２］
実施形態１では、薬剤画像から検出された薬剤のそれぞれについて、マスターデータ２０３に含まれる全ての薬剤から、類似度が一定以上となる薬剤が選択された。実施形態２では、文書認識部２０４により作成された候補リストに含まれる薬剤のうち、類似度が一定以上となる薬剤が選択される。この際、類似度が一定以上となる薬剤が候補リストに存在しない場合には、マスターデータ２０３に含まれる全ての薬剤から、類似度が一定以上となる薬剤を抽出してもよい。

図１０のフローチャートは、本実施形態における薬剤認識部２０５の処理を説明するフローチャートである。ステップＳ５０１〜Ｓ５０６，Ｓ５０８，Ｓ５１２〜Ｓ５１４の処理は実施形態１と同様であり、説明を省略する。

薬剤が裸錠であると判定された場合に行われるステップＳ１００７で、薬剤認識部２０５は、ステップＳ５０６で算出された裸錠の特徴量を、候補リストに含まれる薬剤の裸錠の特徴量と比較し、特徴量の類似度を算出する。候補リストに含まれる薬剤の裸錠の特徴量は、マスターデータ２０３を参照して取得することができる。類似度の算出は、実施形態１と同様に行うことができる。このように、薬剤認識部２０５は、文書認識部２０４により認識された種別候補について、特徴量に対応する種別候補を探索する動作をまず行う。

ステップＳ１０１０で、薬剤認識部２０５は、ステップＳ１００７で算出された類似度が一定以上となる薬剤が存在するか否かを判定する。類似度が一定以上の薬剤が存在する場合、処理はステップＳ１０１１へ進み、存在しない場合処理はステップＳ１０１２へ進む。ステップＳ１０１１において薬剤認識部２０５は、類似度が一定以上となる薬剤を、種別候補として格納する。こうして認識された種別候補も、マスターデータ２０３に含まれ、薬剤画像から取得された特徴量に対応する種別候補のうち、補助情報に従って選択された種別候補であるといえる。この種別候補は、確認部２０７へと出力され、ユーザに提示される。

類似度が一定以上となる薬剤が候補リストに存在しない場合にはステップＳ１０１２〜Ｓ１０１４の処理が行われる。この場合、マスターデータ２０３に含まれる全ての薬剤から、類似度が一定以上となる薬剤が抽出される。このように、薬剤認識部２０５は、文書認識部２０４により認識された種別候補の中に、特徴量に対応する種別候補が発見されない場合、マスターデータ２０３に含まれる種別候補の中から、特徴量に対応する種別候補を探索する。具体的な処理は、実施形態１のステップＳ５０７，Ｓ５１０，Ｓ５１１と同様である。

薬剤がＰＴＰシートであると判定された場合に行われるステップＳ１００９，Ｓ１０１５〜Ｓ１０１９は、ＰＴＰシートの特徴量を比較して類似度を算出することを除き、Ｓ１００７，Ｓ１０１０〜Ｓ１０１４と同様に行われる。

本実施形態によれば、特に患者の持参した薬とその説明書との一致度が高い場合に、計算量を削減し、処理を高速化することができる。マスターデータ２０３は数万種類の薬剤情報を含むことができる一方、候補リストには数種類から数十種類の薬剤が含まれていることが多い。例えば、図７の例において、候補リストに含まれる薬剤の数は２個である。薬剤７１１〜７１３，７１５については、候補リストに含まれる薬剤との比較により、対応する薬剤を得ることができる。この際に行われる類似度の比較回数は８回である。一方、実施形態１では、薬剤７１１〜７１３，７１５については、マスターデータ２０３に含まれる薬剤との比較が行われるため、類似度の比較回数がより多くなる。ただし、実施形態２においては、実施形態１とは異なり、薬剤７１１の種別候補として“オルメサルタン錠５ｍｇ”は得られない。

本実施形態における効果は、患者の持参した薬とその説明書との一致度が低い場合には小さくなる。別の実施形態においては、ユーザが明示的に実施形態１の方法と実施形態２の方法とを切り替えられるように、薬剤認識部２０５を構成することができる。

［実施形態３］
実施形態３では、マスターデータ２０３が、さらに種別候補間（薬剤間）の関係を示す関係情報を有している。文書認識部２０４は、この関係情報を補助情報の少なくとも一部として取得することができる。そして、この関係情報をさらに考慮して種別候補の生成若しくは提示、又は類似度の算出が行われる。図１１は、このようなマスターデータ２０３の一例であるテーブル１１０１を示す。テーブル１１０１は、各薬剤について、先発品又は後発品である薬剤を示す情報を有している。また、テーブル１１０１は、各薬剤について、併用禁忌の関係にある薬剤を示す情報を有している。このようなデータ構造は一例にすぎず、他の情報を含んでいてもよい。例えば、マスターデータ２０３が、より複雑な知識情報、又は過去の確認／修正結果に基づいて生成された学習データを含んでいてもよい。また、マスターデータ２０３が、先発品であるか、後発品であるか、を示す情報をさらに有していてもよい。

このような情報を使用する例として、文書認識部２０４は、薬剤間の関係を示す情報を考慮して、候補リストを作成することができる。例えば、文書認識部２０４は、ステップＳ４０３の後に、候補リストに含まれる薬剤の先発品又は後発品である薬剤を、さらに候補リストに追加することができる。例えば、図７（Ａ）の文書画像を用いると、“メコバラミン錠５００μｇ”及び“ロキソプロフェン錠６０ｍｇ”を含む候補リストが作成される。その後文書認識部２０４は、テーブル１１０１を参照して、“メコバラミン錠５００μｇ”の先発品又は後発品である“メコバラミン錠５００μｇ「ＣＡ」”を候補リストに追加する。このような処理によれば、患者が、文書の記載とは異なり、先発品又は後発品を持参した場合であっても、同様に種別候補の生成若しくは提示、又は類似度の算出を行うことができる。すなわち、先発品又は後発品の一方が文書画像から認識され、優先的に選択され又は高い信頼度が付与される場合には、先発品又は後発品の他方についても、優先的に選択され又は高い信頼度が付与される。関係情報は、このような情報を含むことができる。

また、このような情報を使用する例として、検証部２０６は、薬剤間の関係を示す情報を考慮して、ユーザに提示する種別候補を選択することができる。図６は、検証部２０６が生成する中間データの例を示す。カラム１３０１は薬剤画像から抽出された薬剤を示し、カラム１３０２はマスターデータ２０３から種別候補として抽出された類似度の高い薬剤を示す。図６の場合、薬剤１３０５に対しては“薬剤Ａ”と“薬剤Ｂ”の２つが種別候補として得られ、薬剤１３０６に対しても“薬剤Ｃ”と“薬剤Ｄ”の２つが種別候補として得られている。薬剤１３０７に対しては、“薬剤Ｅ”の１つが種別候補として得られている。すなわち、種別候補の組み合わせとしては、２×２×１＝４通りのパターンが存在する。パターン１３０４はそれぞれのパターンに含まれる薬剤を示し、例えばパターン１は薬剤Ａ、薬剤Ｃ、及び薬剤Ｅで構成されている。検証部２０６は、カラム１３０２に示される薬剤のそれぞれについて、併用禁忌薬剤をマスターデータ２０３を参照して取得する。カラム１３０３は、こうして取得された併用禁忌薬剤を示している。

本実施形態において、検証部２０６は、それぞれの認識対象（薬剤）に対する種別候補のセット（上記のパターン）に対し、信頼度を付与することができる。検証部２０６は、例えば、それぞれの種別候補に付与された信頼度に基づいて、パターンに対する信頼度を設定することができる。また、検証部２０６は、さらに関係情報を用いて、パターンに対する信頼度を設定することができる。例えば、検証部２０６は、パターンに特定の種別候補の組み合わせが含まれる場合、パターンの信頼度が下げられるべきであることを示す情報として、関係情報を用いることができる。

具体例として、検証部２０６は、このような併用禁忌薬剤の情報を参照して、ユーザに最初に種別候補として提示する薬剤の組み合わせを変更することができる。例えば、検証部２０６は、併用禁忌薬剤の組み合わせが含まれる場合、パターンの信頼度を下げ、ユーザに対する提示の優先度を下げることができる。図６において、行１３０８は、それぞれのパターンに対するスコアを示している。図６の例では、併用禁忌薬剤の組み合わせを１つ含むと、スコアが１つ下げられる。例えば、薬剤Ａと薬剤Ｃと薬剤Ｅを含むパターン１では、薬剤Ａと薬剤Ｃとの組み合わせ、及び薬剤Ａと薬剤Ｅとの組み合わせが併用禁忌であるため、スコアはマイナス２点となる。この場合、パターン３では併用禁忌となる組み合わせが存在せず、スコアが最も高くなるため、検証部２０６はこのパターン３をユーザに第１候補として提示することができる。

以上説明した通り、薬剤間の関係情報をさらに用いることで、後発薬等の関連する薬剤を種別候補として提示したり、正しい可能性が低い薬剤の組み合わせを提示する種別候補から除外したりすることが可能となる。

［実施形態４］
確認部２０７を介してユーザが薬剤種別を修正した場合に、検証部２０６は、実施形態３に示す薬剤間の関係を示す情報を参照して、修正された薬剤種別の検証を行うことができる。例えば、確認部２０７が図６に示すパターン３（“薬剤Ｂ”“薬剤Ｃ”の組み合わせ）を種別候補の第１候補としてユーザに提示し、ユーザが薬剤１３０５の薬剤種別を“薬剤Ａ”に修正した場合について説明する。この場合、“薬剤Ａ”は“薬剤Ｃ”と併用禁忌であることを示すメッセージを、検証部２０６はユーザに通知することができる。

また、検証部２０６は、実施形態３に示す薬剤間の関係を示す情報を参照して、薬剤種別の修正補助を行うことができる。例えば、ユーザが薬剤１３０５の薬剤種別を“薬剤Ａ”に修正及び確定した場合には、ありえる薬剤の組み合わせはパターン１又はパターン２となる。この場合、パターン２のスコアがより高いため、検証部２０６は、パターン２を第１候補にする、すなわち薬剤１３０６の第１候補を“薬剤Ｄ”に変更することができる。さらに、検証部２０６は、“薬剤Ｃ”が“薬剤Ａ”と併用禁忌であることを示すメッセージを通知してもよい。

このように、確認部２０７は、複数の認識対象のそれぞれに対応する種別候補のセットをユーザに提示し、１つの認識対象に対応する種別候補の修正指示をユーザから受け付けた後に、他の認識対象に対応する種別候補を自動的に修正することができる。具体的には、確認部２０７は、１つの認識対象に対応する種別候補の修正指示を受け付けたことに応じて、提示する種別候補のセットの信頼度が上昇するように、検証部２０６と協働して他の認識対象に対応する種別候補を修正してユーザに提示することができる。このような構成によれば、薬剤１３０６が正しくは“薬剤Ｄ”である場合に修正の工数を少なくすることが可能であり、また正しくは“薬剤Ｃ”である場合にもユーザに注意を促すことが可能となる。

以上説明した通り、確認部２０７を介してユーザが修正又は確定した薬剤種別に基づいて、検証部２０６がその他の薬剤との組み合わせについて検証を行うことで、ユーザに警告等を与えることが可能となる。

［実施形態５］
実施形態１では、文書画像に含まれる薬剤名を、薬剤認識のための補助情報として用いたが、文書画像に含まれるさらなる情報を補助情報として用いることもできる。図１２は、例として、読取処理部２０１が取得した文書画像１４０１を示す。文書画像１４０１には、薬剤名１４０２，１４０５の他に、処方された日数１４０３，１４０６、用法１４０４，１４０７（具体的には服用時刻及び服用量）が含まれている。

文書認識部２０４は、薬剤名１４０２（“メコバラミン錠５００μｇ”）について、日数１４０３及び用法１４０４を、文書画像１４０１から取得する。このような処理は、“朝”“日分”等のキーワードを用いたパターンマッチング処理を薬剤名１４０２の近傍に対して行ったり、予め定義されている文書画像１４０１のレイアウト情報を参照したりすることにより、行うことができる。そして、文書認識部２０４は、薬剤名１４０２について処方された薬剤数を算出する。図１２の場合、“メコバラミン錠５００μｇ”は、１日３錠（朝、昼、及び夕に１錠ずつ）、３日分処方されているため、薬剤数は９錠である。文書認識部２０４は、同様に、薬剤名１４０５（“ロキソプロフェン錠６０ｍｇ”）について、日数１４０６及び用法１４０７から、薬剤数を６錠と算出する。このように、文書認識部２０４は、認識対象の数情報を、補助情報の少なくとも一部として取得する。

また、薬剤画像には同一の認識対象（薬剤）が１以上含まれており、薬剤認識部２０５は、薬剤画像から、薬剤の数を取得する。

検証部２０６は、文書認識部２０４が取得した薬剤数と、薬剤認識部２０５が認識した薬剤数と、に応じて、薬剤認識部２０５により選択された種別候補に対して信頼度を付与する。例えば、文書認識部２０４により算出された薬剤数より、薬剤認識部２０５で認識された薬剤数が多い場合に、認識結果が誤っている可能性が高いとして、この薬剤について種別候補の信頼度を下げることができる。例えば、薬剤認識部２０５は、“ロキソプロフェン錠６０ｍｇ”を７錠認識している場合、“ロキソプロフェン錠６０ｍｇ”という種別候補の信頼度を下げることができる。このような処理は一例にすぎず、例えば、薬剤ごとに薬剤数が所定割合以上異なる場合に、信頼度を下げることもできる。さらには、これらの場合に、確認部２０７が警告を行ってもよい。

さらなる例として、文書認識部２０４は、処方日と現在の日付とに基づいて、用法通りに服用していれば残っているはずの薬剤数を計算することもできる。この場合も同様に、文書認識部２０４により計算された薬剤数と、薬剤認識部２０５で認識された薬剤数と、を比較することができる。同様に、薬剤が一包化されている場合、すなわち同時に服用する薬剤が１つの袋に入れられている場合、文書認識部２０４が認識した同時に服用する薬剤数と、一包化された薬剤について薬剤認識部２０５が認識した薬剤数と、を比較することもできる。これらの比較に基づいて、信頼度を変更したり、確認部２０７による警告を行ったりすることができる。

以上説明した通り、薬の説明書などの文書画像から、候補リストを作成するだけではなく、認識結果を検証するための情報をさらに取得することにより、ユーザに注意を促すことが可能となる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

上述の実施形態では、持参薬を確認する場合について説明した。しかしながら、本発明は、対象の認識を行う際に、対象の内容を記した補助情報を利用可能な場合にも適用することができる。例えば、食事の栄養計算等を自動で認識するソリューションにおいて、料理を撮影し、料理のメニュー表を含む文書を読み取ることで、文書情報を補助情報として、料理の種別や使用食材等の識別精度を向上させることができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０：撮影装置、１２０：読取装置、１３０：画像処理装置、１４０：ＵＩ装置、２０３：マスターデータ、２０４：文書認識部、２０５：薬剤認識部、２０６：検証部、２０７：確認部

Claims (17)

1. 認識対象の画像に基づいて前記認識対象の薬剤の種別を特定する画像処理装置であって、
   複数の種別候補のそれぞれについて、画像上の特徴量を格納するデータベースと、
   前記認識対象の画像を取得する画像取得手段と、
   前記認識対象の画像から特徴量を取得する特徴量取得手段と、
   優先して選択すべき種別候補を示す、前記認識対象に関する補助情報を取得する情報取得手段と、
   前記補助情報を用いて、前記取得した特徴量に対応する種別候補のうち前記補助情報に従って選択された種別候補を出力する、選択手段と、
   を備えることを特徴とする、画像処理装置。
2. 前記情報取得手段は、前記優先して選択すべき種別候補を示す情報が記載された文書の画像を取得し、前記文書の画像に対する認識処理により前記補助情報を取得することを特徴とする、請求項１に記載の画像処理装置。
3. 前記選択手段は、
   前記取得した特徴量に対応する種別候補に、優先して選択すべき種別候補が含まれる場合、前記優先して選択すべき種別候補を選択し、前記優先して選択すべき種別候補以外の種別候補を選択しない、第１の動作と、
   前記取得した特徴量に対応する種別候補に、優先して選択すべき種別候補が含まれない場合、前記優先して選択すべき種別候補以外の種別候補を選択する、第２の動作と、
   を行うことを特徴とする、請求項１又は２に記載の画像処理装置。
4. 前記選択手段は、
   前記優先して選択すべき種別候補の中から、前記取得した特徴量に対応する種別候補を探索する第１の動作と、
   前記第１の動作において前記取得した特徴量に対応する種別候補が発見されなかったことに応じて、前記データベースに含まれる種別候補の中から、前記取得した特徴量に対応する種別候補を探索する第２の動作と、
   を行うことを特徴とする、請求項１又は２に記載の画像処理装置。
5. 認識対象の画像に基づいて前記認識対象の薬剤の種別を特定する画像処理装置であって、
   複数の種別候補のそれぞれについて、画像上の特徴量を格納するデータベースと、
   前記認識対象の画像を取得する画像取得手段と、
   前記認識対象の画像から特徴量を取得する特徴量取得手段と、
   前記取得した特徴量に対応する種別候補を選択する選択手段と、
   前記選択された種別候補に対して信頼度を付与するために用いられる、前記認識対象に関する補助情報を取得する情報取得手段と、
   前記補助情報を用いて、前記選択された種別候補に対して信頼度を付与する付与手段と、
   を備えることを特徴とする、画像処理装置。
6. 前記情報取得手段は、高い信頼度が付与される種別候補を示す情報が記載された文書の画像を取得し、前記文書の画像に対する認識処理により前記補助情報を取得することを特徴とする、請求項５に記載の画像処理装置。
7. 前記データベースは、前記種別候補間の関係を示す関係情報を有しており、
   前記情報取得手段は、前記補助情報の少なくとも一部として前記関係情報を取得する、請求項５又は６に記載の画像処理装置。
8. 前記関係情報は、第１の種別候補に対して高い信頼度が付与される場合には第２の種別候補に対しても高い信頼度が付与されるべきであることを示す情報を含むことを特徴とする、請求項７に記載の画像処理装置。
9. 前記画像取得手段は、複数の認識対象を含む画像を取得し、
   前記選択手段は、前記複数の認識対象のそれぞれに対応する種別候補を選択し、
   前記付与手段は、前記複数の認識対象のそれぞれに対応する種別候補のセットに対して、信頼度を付与し、
   前記関係情報は、前記種別候補のセットに特定の種別候補の組み合わせが含まれる場合、前記セットの信頼度が下げられるべきであることを示す情報を含むことを特徴とする、請求項７に記載の画像処理装置。
10. 前記選択された、前記複数の認識対象のそれぞれに対応する種別候補のセットをユーザに提示する提示手段と、
    前記認識対象に対応する種別候補の修正指示をユーザから受け付ける受付手段と、
    をさらに備え、
    前記提示手段は、１つの認識対象に対応する種別候補の修正指示を受け付けたことに応じて、提示する種別候補のセットの信頼度が上昇するように、他の認識対象に対応する種別候補を修正する、請求項９に記載の画像処理装置。
11. 前記選択された種別候補をユーザに提示する提示手段をさらに備え、
    前記提示手段は、前記種別候補の信頼度に応じて、前記ユーザへの提示態様を切り替えることを特徴とする、請求項５乃至１０の何れか１項に記載の画像処理装置。
12. 前記提示手段は、前記種別候補の信頼度が閾値未満の場合に用いる第１の提示態様と、前記種別候補の信頼度が閾値以上の場合に用いる第２の提示態様と、を切り替え、
    前記第１の提示態様において、前記提示手段は、ユーザに対して前記種別候補を承認するための第１の操作を要求し、
    前記第２の提示態様において、前記提示手段は、ユーザに対して前記種別候補を承認するための前記第１の操作を要求しない、
    ことを特徴とする、請求項１１に記載の画像処理装置。
13. 前記画像取得手段は、同一の認識対象を１以上含む画像を取得し、
    前記特徴量取得手段は、前記認識対象の画像から前記認識対象の数を取得し、
    前記情報取得手段は、数情報を前記補助情報の少なくとも一部として取得し、
    前記付与手段は、前記数情報と、前記認識対象の数と、に応じて、前記選択された種別候補に対して信頼度を付与する
    ことを特徴とする、請求項５乃至１２の何れか１項に記載の画像処理装置。
14. 前記情報取得手段は、薬剤名が記載された薬の説明文書の画像を取得し、前記説明文書の画像に対する認識処理により薬剤名を前記補助情報として取得することを特徴とする、請求項１乃至１３の何れか１項に記載の画像処理装置。
15. 認識対象の画像に基づいて前記認識対象の薬剤の種別を特定する画像処理装置が行う画像処理方法であって、
    前記認識対象の画像を取得する画像取得工程と、
    前記認識対象の画像から特徴量を取得する特徴量取得工程と、
    優先して選択すべき種別候補を示す、前記認識対象に関する補助情報を取得する情報取得工程と、
    複数の種別候補のそれぞれについて画像上の特徴量を格納するデータベースを参照し、前記補助情報を用いて、前記取得した特徴量に対応する種別候補のうち前記補助情報に従って選択された種別候補を出力する、選択工程と、
    を有することを特徴とする、画像処理方法。
16. 認識対象の画像に基づいて前記認識対象の薬剤の種別を特定する画像処理装置が行う画像処理方法であって、
    前記認識対象の画像を取得する画像取得工程と、
    前記認識対象の画像から特徴量を取得する特徴量取得工程と、
    複数の種別候補のそれぞれについて画像上の特徴量を格納するデータベースを参照して、前記取得した特徴量に対応する種別候補を選択する選択工程と、
    前記選択された種別候補に対して信頼度を付与するために用いられる、前記認識対象に関する補助情報を取得する情報取得工程と、
    前記補助情報を用いて、前記選択された種別候補に対して信頼度を付与する付与工程と、
    を有することを特徴とする、画像処理方法。
17. コンピュータを、請求項１乃至１４の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images