JP2016523405A - 錠剤の識別における印の解析を使用したシステム及び方法 - Google Patents
錠剤の識別における印の解析を使用したシステム及び方法 Download PDFInfo
- Publication number
- JP2016523405A JP2016523405A JP2016518356A JP2016518356A JP2016523405A JP 2016523405 A JP2016523405 A JP 2016523405A JP 2016518356 A JP2016518356 A JP 2016518356A JP 2016518356 A JP2016518356 A JP 2016518356A JP 2016523405 A JP2016523405 A JP 2016523405A
- Authority
- JP
- Japan
- Prior art keywords
- tablet
- mark
- image
- digital
- digital tablet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Epidemiology (AREA)
- Chemical & Material Sciences (AREA)
- Medicinal Chemistry (AREA)
- Toxicology (AREA)
- Data Mining & Analysis (AREA)
- Pharmacology & Pharmacy (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
Abstract
錠剤をその印により識別するシステムと方法。錠剤に関するデジタル錠剤印画像が取得され、データベース内の1以上の合成印画像と比較される。各合成印画像は、単一種類の錠剤についての2以上のデジタル錠剤印画像の合成物である。合成印画像は、錠剤の種類毎に2以上のデジタル錠剤印画像を位置合わせして組み合わせることによって形成される。合致スコアは、デジタル錠剤印画像と各合成印画像との比較の結果として測定される。合致スコアは、デジタル錠剤印画像と各合成印画像との重なりの程度を表す。錠剤は、最良の合致スコアを持つ合成印画像に基づいて識別される。
Description
開示した実施形態は、錠剤の識別のためのデジタル画像処理に関し、特に、錠剤の識別を容易にするための錠剤の印の使用とデジタル解析に関する。
多数の形、大きさ、及び色の錠剤が、処方薬及び非処方薬として市販されている。米国では、固体製剤の薬剤の物質的識別子は、連邦医薬品局(Federal Drug Administration)により、承認される。理想的には、全く同一の識別子を持つものとして承認される錠剤は一つもない。それ故、錠剤はそれぞれ、形、大きさ、色、印(すなわち、薬剤に印刷された文字又は数字)、及び/又は切れ込みの唯一の組み合わせを持つものとして承認される。それにもかかわらず、FDAに承認されたあらゆる種類の錠剤は、実際に唯一となるようにしているという事実にもかかわらず、時に錠剤の違いはわずかである。例えば、形は同じであるがわずかに色及び/又は大きさが異なる2つの錠剤は、患者に間違えられやすい。例えば、錠剤が裏向きになっている又は患者の視力が弱いために、印を読み取れない場合、普段、印により区別される錠剤は、少しも異なっているように見えないかもしれない。このような懸念は、十分に首尾一貫していない又は用心深くない患者の行動により、悪化する。
患者は、すぐに且つ簡単に錠剤を識別する必要がある人だけではない。患者の親族又は介護者がそのような必要性を持っている場合もある。そのような必要性は、患者に正しい錠剤を提供する責任から生じるかもしれない、又は単に患者が正しい錠剤を飲んだことを確かめたいという要望から生じるかもしれない。病院は、人が家から持ってきた錠剤群の各々を又は薬剤の誤飲で運び込まれた子供が服用した可能性がある錠剤群の各々を素早く識別する必要性を持っているかもしれない。薬局は、正しい錠剤が調剤されることを確実にすることに関心を持つ。保険会社は薬剤の順守を監視し、正しい錠剤が調剤されて、被保険者が規則通りにその正しい錠剤を飲むことを確実にすることに関心を持っているかもしれない。言い換えると、多数の関係者は、錠剤が個別に識別されるか又はさまざまな錠剤の集まりとして識別されるかにかかわらず、錠剤のアイデンティティを確認することに関心を持っている。
錠剤は、さまざまな写真処理方法及び画像処理方法を使用して識別されうる。例えば、1個の錠剤又は複数の錠剤の集まりのデジタル画像が撮影され、それから画像処理方法が用いられて、画像内に錠剤がいくつあるかと画像内の錠剤の位置及び境界が確定され、画像内の画素が識別のための錠剤候補に割り当てられる。この区分けの工程により、理想的には、画像内の各画素は、明確に画定された正確な境界を持つ錠剤に割り当てられるか、又はいずれの錠剤にも属さないとして無視されることになる。画素が一旦割り当てられると、与えられた錠剤のために集められた画素が解析されて、錠剤の特徴(例えば、その大きさ、形、色、及び印)が確定されうる。
実用的及び正確な区分け方法と、錠剤識別におけるそれらの使用が、例えば、2012年6月7日に提出された米国特許出願第13/490510号明細書に記載されている(参照することにより、その全体がここに組み込まれる)。錠剤の識別中に使用される色補正方法が、例えば、2012年10月31日に提出された米国特許出願第13/665720号明細書に記載されている(参照することにより、その全体がここに組み込まれる)。
大きさ、形、及び色のみに基づいて錠剤を識別しようとする取り組みにもかかわらず、大きさ、形、及び/又は色が類似しているいくつかの錠剤は、類似している錠剤を正確に区別するために、さらに付加的な特徴(錠剤の印など)の解析を必要とする。それ故、錠剤の識別のための可能性がある合致のリストを少なくとも絞り込むために、大きさ、形、及び/又は色を使用しながら、錠剤が正しく識別されたという十分なレベルの信頼を実現するのに、錠剤の印の解析が必要である。これに代えて、錠剤を識別するための主要な手段として、錠剤の印の解析を使用することもできる。
しかし、1以上の錠剤のデジタル画像において、識別される錠剤が回転していて又はでたらめに位置付けられていて、印の解析を難しくする場合がある。よって、錠剤の回転に関係なく、印の解析を使用して錠剤を正確に識別することができる方法が必要とされる。
下記の詳細な説明において、添付の図面(これの一部を形成し、実施される具体的な実施形態が例として示されている。)が参照される。全図面中、同様の参照符号は同様の要素を示すことは当然である。実施形態は、当業者が実施できるように十分詳細に記載されている。当然、他の実施形態が採用されても良く、種々の構造的、論理的、及び電気的な変更が、本発明の精神又は範囲から逸脱することなく行われても良い。
錠剤は、薬剤の、処方薬の、又は市販の、経口摂取される、タブレット、カプセル、カプレット、又は他の固形物である。錠剤は、いくつかある特徴の中で特に、色、大きさ、形、及び印によって、外見が異なる。デジタル画像化及び信号処理を使用した錠剤の識別は、錠剤の外見上のこれらの違いを利用して、錠剤を識別する。例えば、個人がスマートフォンなどの携帯装置を使用して、1以上の錠剤を撮像することができる。スマートフォンに常駐している及び/又はスマートフォンから遠く離れているソフトウェアが、画像を処理して錠剤を区分けして、撮像された各錠剤の特徴を識別し、それから各錠剤の識別された特徴を錠剤の特徴のデータベースと比較して、各錠剤のアイデンティティを確定する。錠剤のデータベースは、データベース内の錠剤毎に、錠剤の印の表示を含む。錠剤の印は、錠剤の種類毎に固有である。それ故、1以上の錠剤が撮像されたときに、各錠剤の印はデータベース内に格納されている印の模様と比較されても良い。印の模様の合致は、各錠剤の識別における1ステップである。
錠剤の印の模様を使用して、錠剤を識別する方法が図1に要約されている。方法100において、1以上の錠剤が制御された面について撮像される(ステップ110)。画像の画素が、アイデンティティを確定する必要がある個体の錠剤に割り当てられるように、結果として生じる画像は区分けされる(ステップ120)。各錠剤に関連付けられた画素が解析されて、錠剤毎に個体印が確定される(ステップ130)。印の画像毎に、中心が確定される(ステップ140)。それから、確定された個体印は、合成印のデータベースと比較される(ステップ150)。各合成印は、同一種類の錠剤からの2以上の印の組み合わせを表している。各比較の間、個体印の中心を合成印の中心に位置合わせして、合成印に対して、個体印をその中心の周りで回転させ、最良の可能性がある回転の合致を確定する(ステップ152)。合成印に対する個体印の回転に加え、個体印は1以上の方向にシフトされて、最良の可能性がある回転の合致の識別を確実にする。比較された各合成印との、各最良の可能性がある回転の合致の値は、合致スコアとして数値化される(ステップ154)。個体の錠剤の印と各合成印との合致スコアに基づいて、合成印との最良の可能性がある合致が確定される(ステップ160)。最良の可能性がある合致の値が容認可能(例えば、所定の信頼閾値より下)であれば、錠剤のアイデンティティは、最良の可能性がある合致を提供する合成印に関連付けられた錠剤に対応するとして確定される(ステップ170)。これに代えて、印の解析から確定された最良の可能性がある合致と、色、大きさ、及び形に関する他の可能性がある合致との両方を考慮することによって、錠剤のアイデンティティを確定しても良い。
方法100が適用される前に、合成印のデータベースを生成する必要がある。合成印は本質的に、錠剤画像の画素は印の一部であるという、二次元の確率のヒストグラムである。それ故、合成印は、画像内の画素は与えられた錠剤の印の一部であるという尤度を数値化する。合成印を作るために、同一種類の2以上の錠剤の個体印が取得されて組み合わされる。2以上の個体印を組み合わせることにより、後述するように、撮像された個体印に存在し且つ第2の個体印には存在しないノイズを取り消すことができる。錠剤の印は、普通の光では、しばしば見えにくいことがあり、(例えば、コンピュータビジョン技術において使用されているような)標準のエッジ検索技術を使用して、デジタル画像の印のエッジを検出できるけれども、検出されたエッジは必ずしも完璧であるとは限らず、ノイズをかなり含む場合もある。多数の個体印を合成印に組み合わせることにより、印のエッジが完成し、ノイズが低減されうる。
一例として、図2Aは印を含む錠剤を示している。示された例では、錠剤は白色で円形である。見えている面は、数字(832)と三角形のようなシンボルを持つ印を含む。図2Aで示されているように、印は、色で残りの錠剤と区別できる必要がない。しばしば、錠剤の印は区別可能な色を持たず、錠剤の印は単なる錠剤の表面のくぼみの模様である。印は、それ自体、非常に見えにくいことがある。
標準の適応閾値エッジ検索技術を繰り返し使用することによって、錠剤の印のエッジを検出することができる。例えば、図2Bは、図2Aの錠剤の分画個体印を示している。分画個体印は、標準の適応閾値技術を繰り返し適用し、個体の画像を正規化した結果である。その画像に見られるように、エッジ検出は、印を検出しただけでなく、他の異常又はノイズも検出した。画素の閾値を設定して、過大の塊を持つ(非常に明るい)又は過小の塊を持つ(非常に薄暗い)画素をゼロにリセットし、それからゼロでない塊を持つ任意の残りの画素をある最大値に設定することにより、ノイズのうちのいくつかを取り除くことができる。結果として生じる画像、二値の個体の画像が、図2Cに示されている。
錠剤の印は、図2Bに示される分画個体印と図2Cに示される二値個体印の両方において、はっきり見えるけれども、分画個体印と二値個体印の両方は、通常(図2B及び図2Cに示されているように)、まだノイズを含んでいる。このノイズは、図2Bの分画個体印又は図2Cの二値個体印を、同一種類の別の錠剤から得られた、別の分画個体印又は別の二値個体印とそれぞれ組み合わせることによって、低減される。第2の印、分画個体印と二値個体印のいずれかが、第1の印と同じ工程で準備されるが、撮像するときに錠剤の方向を確実に同じように合わせる必要はない。後述するように、組み合わせ工程における方向の任意のバリエーションが説明される。
多数の印(分画個体印と二値個体印のいずれか)が、最初に、錠剤の中心の周りで印を回転して位置合わせすることにより、組み合わされる。これは、第1の又はシード(seed)の個体印を選択することにより行われる。シードの個体印は、与えられた錠剤に関する利用可能な個体印の中からランダムに選択されても良いし、又は、個体印の質に関連した基準又はシードの印としての印の適合性の他の測定に基づいて、意図的に選択されても良い。それから、シードの印の中心が確定される。シードの印の中心は、シード画像の幾何学的中心、又は錠剤の境界を示す輪郭の重心のいずれかでありうる。撮像された錠剤が多次元で対称である場合、幾何学的中心が使用される。これは、最小領域の矩形を使用して錠剤の輪郭の境界を示し、それからその矩形の中心をシードの印の中心として使用することにより、確定される。図3は円形の錠剤を示し、その中心は錠剤の境界を示す矩形の幾何学的中心310として確定される。撮像された錠剤が、1次元のみで対称(例えば、三角形の錠剤又は涙のしずく形の錠剤)である場合、重心がシードの印の中心として使用される。図4は三角形の形状の錠剤を示し、その中心は錠剤の輪郭に基づいて錠剤の重心420として確定される。図3の例において、錠剤は一次元のみで対称であるため、重心は幾何学的中心410と異なる場所にある。
シードの印が選択されて、その回転の中心が選択されると、同じ種類の第2の個体印(分画個体印と二値個体印のいずれか)が選択されて、その中心が計算される。2つの印の計算された中心が合致するように、2つの印は重ね合わされる。それから、第2の画像をシード画像に対して回転させる。2つの画像の最良の重なりをもたらす回転角度が確定される。さらに、2つの印の模様の重なりをさらに良くするために、回転毎に、第2の画像が1以上の方向にシフトされても良い。
例として、第2の画像が、所定の度数ずつ(例えば、各回転で2°)、シード画像に対して回転されても良い。各回転の後、2つの画像の重なりの程度が測定される。さらに、各回転後、第2の画像が1以上の許可された方向において1以上の画素分シフトされ、重なりの程度について各シフトが検査される。それから、第2の画像はシード画像の周辺で中心を再度置かれ、さらなる度数で回転され、その回転による重なりの程度が検査される。第2の画像は、回転毎にシフトされる。それ故、回転毎に、シフトされていない画像と1以上のシフトされた画像とについて、重なりの程度が検査される。最良の重なりは、画像の印を最も良く合致させる回転とシフトを表す。
2つの印の模様は同一種類の錠剤からのものであるため、適当な回転とシフトにより、2つの印の模様は高度な重なりを持つはずであることが予想される。2つの印の模様の重なりの程度は、さまざまな方法で、数値化されうる。例えば、画素単位の差の二乗和の技術を使用して、重なっている画素の値の差を使用して、最良の可能性がある合致を生じさせる回転とシフトが確定される。画素単位の差の二乗和の技術を使用すると、(特定の回転とシフトに対応する)各比較はある数をもたらす。最小の数をもたらす比較は、第2の印が回転されシフトされて、シードの印に位置合わせされたことを示す。
印の最良の可能性がある合致を探し出すのに、他の技術を使用することができる。画素単位の差の二乗和の技術を使用する代わりに、使用可能な他の技術は、当技術分野で知られているように、画素単位の対数尤度の総和の技術、相関の技術、及び相関係数の技術を含む。
例として、図5A及び図5Bは、同一種類の錠剤(図2Aに示されている錠剤)からそれぞれ得られた2つの二値個体印を示している。図5Aに示される二値の印はシードの印であり、図5Bに示される印は、回転されシフトされて、シードの印に合致させて、合成印を生成するためのものである。図5C、5D、5Eは、シードの印に対する第2の印の様々な回転及びシフトと、結果として生じる、シードの印と回転及びシフトされた第2の印との重なりを示している。画素単位の差の二乗和の技術を使用して、回転及びシフト毎に合致スコアを測定すると、図5Cの重なり合った印の合致スコアは2.6×108である。同一の技術を使用すると、図5Dの重なり合った印の合致スコアは2.5×108であり、図5Eの重なり合った印の合致スコアは1.5×108である。図5Eに示されているように、最小のスコアが最良の可能性がある合致を示す。
上述したように、分画個体印が、二値個体印の代わりに使用されても良い。図6A及び図6Bは、同一種類の錠剤(図2Aに示されている錠剤)からそれぞれ得られた2つの分画個体印を示している。図6Aに示される分画印はシードの印であり、図6Bに示される印は、回転されシフトされて、シードの印に合致させて、合成印を生成するためのものである。図6C、6D、6Eは、シードの印に対する第2の印の様々な回転及びシフトと、結果として生じる、シードの印と回転及びシフトされた第2の印との重なりを示している。画素単位の差の二乗和の技術を使用して、回転及びシフト毎に合致スコアを測定すると、図6Cの重なり合った印の合致スコアは2.5×108である。同一の技術を使用すると、図6Dの重なり合った印の合致スコアは2.4×108であり、図6Eの重なり合った印の合致スコアは1.6×108である。図6Eに示されているように、最小のスコアが最良の可能性がある合致を示す。
同一種類の錠剤の少なくとも2つの個体印が合致すると、その印が合算されて、組み合わされた印の画像が生成される。それから、組み合わされた印の画像は正規化されて、合成印が生成される。結果として生じる画像は、印の二次元の確率のヒストグラムと見なされる。図5A及び図5Bに示される2つの二値の印から形成される合成印が、図7Aに示されている。2つの画像は合算され且つ正規化されているため、結果として生じる合成印は、ノイズがより少なく、そのエッジはより良く画定されている。追加の(すなわち、2より多い)二値の印を使用して合成印を形成することにより、合成印において、ノイズはさらにより少なくなり、より完璧な印が得られる。図7Bは、50個の二値の個体の画像から形成された合成印を示している。完璧で且つノイズが十分に少ない合成印を生成するためには、通常、最小数の二値個体印が必要である。同様に、図6A及び図6Bに示される、2つの分画印によって形成された合成印が、図8Aに示されている。50個の分画個体印から形成された合成印が、図8Bに示されている。二値個体印と同様に、完璧で低ノイズの合成印を生成するためには、通常、最小数の分画個体印が必要である。
図9は、合成印を構築するのに使用される方法700の要約を示している。最初に、同一種類の錠剤の2以上のデジタル錠剤印画像が取得される(ステップ710)。デジタル錠剤印画像毎に、中心が確定される(ステップ720)、それからデジタル錠剤印画像が、それらの中心の周りで回転及びシフトすることにより、位置合わせされる(ステップ730)。位置合わせは、画像の最大の重なりを得るために、デジタル錠剤印画像の一つを他のもの(シードのデジタル錠剤印画像)に対して回転させることを含む。最大の重なりは、合致スコアにより数値化される(ステップ732)。最良の合致スコアが確定されると、デジタル錠剤印画像は、それらを合算し、その結果を正規化することにより、組み合わされる(ステップ740)。正規化された結果が、合成印である。
合成印は、合成印のデータベースに加えられ、使用されることにより、未知の錠剤の識別に役立つ。識別が必要な錠剤は、上述した方法と同一の方法で撮像される。再度、図1に戻り、未知の錠剤の分画個体印又は二値個体印が確定され(ステップ130)、それから、最良の可能性がある合致を探し出すために、分画個体印又は二値個体印が、合成印データベース内の様々な合成印と比較される(ステップ150)。比較は、様々な合成印に対して、分画個体印又は二値個体印を回転及びシフトし(ステップ152)、それぞれ比較された合成印毎に最良の合致スコアを探し出す(ステップ154)ことを必要とする。それから、合成印毎に最良の合致スコアが比較されて、これらのスコアのうち最良のものが確定される(ステップ160)。この最良の可能性がある合致スコアは、高確率で、未知の錠剤が、合致している合成印が対応する種類の錠剤であると識別されうることを示す。合致スコアが十分良好な(すなわち、所定の閾値未満の)場合、未知の錠剤は積極的に識別されても良い(ステップ170)。
未知の錠剤と比較されなければならない合成印の数を低減するために、未知の錠剤の他の特徴が測定されて、可能性がある錠剤の種類の総数を狭めるのに使用されても良い。例えば、白色で円形の形状であると確定された未知の錠剤は、白色で円形の形状である錠剤に対応している合成印と比較される印を持ってさえいれば良い。
上述した印の合致と錠剤の識別の方法は、多くの利点を持つ。印の合致工程の主な利点は、その工程が文字認識に依存しないことである。文字認識を試みる代わりに、印で使用されているシンボルの形状又は種類にかかわらず、説明した工程が模様を識別し、それから合致している模様を探し出す。さらに、工程は、全ての錠剤が撮像する前に同一の方向に向けられることを必要としない。合成印を構築するのに、多数の錠剤が使用されるため、工程はノイズ耐性であって、「完全な」又は傷のない錠剤であることを必要としない。
開示した工程のさらなる利点は、錠剤から取得した分画個体印又は二値個体印が、関連する錠剤の表面のテクスチャ情報(例えば、錠剤の表面が滑らかか又はザラザラしているか)を伝えることもできることである。未知の錠剤を識別するのに役立たせるために、この種の情報を使用することもできる。
方法100,700は、ハードウェア又はソフトウェアとして、又はそれらの組み合わせとして実施されうる。図10に示されるように、携帯装置800は、方法100,700を実施するためのシステム850を有する。システム850は、携帯装置のカメラ、プロセッサ、及びデータベースと共に使用される、印マッチングモジュールを含む。携帯装置800は、一般に、中央処理装置(CPU)810(マイクロプロセッサ、デジタル・シグナル・プロセッサ、又は、他のプログラマブル・デジタル・ロジック・デバイスなど)を有する。中央処理装置(CPU)810は、バス又は他の相互接続890によって、様々な入力/出力(I/O)装置820と通信する。入力/出力装置820は、制御された表面についての錠剤のデジタル画像を入力するためのデジタルカメラ822を含む。また、入力/出力装置は、錠剤の識別結果をユーザに表示するためのユーザインターフェース824と、錠剤の識別結果を遠隔地に送信するための送信機826を含んでも良い。記憶装置830は、バス又は他の相互接続890によって、一般的にメモリコントローラを使用して、CPU810と通信する。記憶装置830は、RAM、ハードドライブ、FLASHドライブ、又はリムーバブルメモリなどを含んでも良い。記憶装置830は、1以上のデータベースを含む。CPU810は、カメラ822によって得られたデジタル画像に適用して、方法100,700を実施する。方法100において、CPU810は、デジタル画像を処理し、デジタル画像に含まれる錠剤から1以上の分画個体印又は二値個体印を確定し、確定された印を1以上のデータベースに格納されている1以上の合成印と比較する。少なくとも1つの合成印データベースが記憶装置830に格納されていても良い。CPU810は、分画個体印又は二値個体印と合成印との比較に基づいて、錠剤の識別の結果を出力する。錠剤の識別の結果は、ユーザインターフェース824及び/又は送信機826を介して出力される。必要に応じて、記憶装置830は、単一の集積回路として、プロセッサ、例えばCPU810と組み合わされても良い。
システム850は、印マッチングモジュール855を有する。印マッチングモジュール855は、方法100,700を実行する。また、システム850は、撮像された錠剤の色、大きさ、及び形状を識別するのに使用される他のモジュールを含んでも良い。例として、システム850と、システム850内で使用されるモジュールは、スマートフォンのアプリケーションとして実施されても良い。
上述した説明及び図面は、ここに記載された特徴及び利点を実現する特定の実施形態の実例と見なされるだけである。特定の工程条件への変更及び置換が行われても良い。本発明の実施形態は、上述した説明及び図面により限定されるものと見なされず、添付の特許請求の範囲によってのみ限定される。
Claims (41)
- 錠剤の印の画像のデータベースを作成する方法であって、
複数種類の錠剤について種類毎に、2以上のデジタル錠剤印画像を取得し、
錠剤の種類毎に、2以上のデジタル錠剤印画像を位置合わせし、
錠剤の種類毎に2以上のデジタル錠剤印画像を組み合わせて、錠剤の種類毎に単一の合成印画像を生成し、
合成印画像が対応する種類の錠剤に関連付けられるようにして、合成印画像をデータベースに格納する、方法。 - 錠剤の種類毎に2以上のデジタル錠剤印画像を取得することは、複数種類の錠剤の種類毎に、同じ種類の異なる錠剤からデジタル錠剤印画像を取得することを含む、請求項1に記載の方法。
- 錠剤の種類毎のデジタル錠剤印画像は、エッジ検索と適応閾値の技術を使用した結果を正規化することによって取得される、請求項1に記載の方法。
- 錠剤の種類毎に、デジタル錠剤印画像を二値錠剤印画像に変換することをさらに含む、請求項1に記載の方法。
- 各デジタル錠剤印画像の中心を確定することをさらに含む、請求項1に記載の方法。
- 各デジタル錠剤印画像の中心は、各デジタル錠剤印画像における、撮像された錠剤の輪郭の境界を示す最小領域の矩形の幾何学的中心である、請求項5に記載の方法。
- 各デジタル錠剤印画像の中心は、各デジタル錠剤印画像における、撮像された錠剤の輪郭に基づいた重心である、請求項5に記載の方法。
- 錠剤の種類毎に2以上のデジタル錠剤印画像を位置合わせすることは、錠剤の種類毎に、2以上のデジタル錠剤印画像から、シードのデジタル錠剤印画像を選択し、同じ種類の錠剤に対応する他のデジタル錠剤印画像の中心を、シードのデジタル錠剤印画像の中心に位置合わせすることをさらに含む、請求項5に記載の方法。
- デジタル錠剤印画像の重なりを最大にするために、シードのデジタル錠剤画像に対して、他のデジタル錠剤印画像の各々を、位置合わせされた錠剤の中心の周りで回転させることをさらに含む、請求項8に記載の方法。
- デジタル錠剤印画像の重なりを最大にするために、回転毎に、シードのデジタル錠剤画像に対して、他のデジタル錠剤印画像の各々をシフトさせることをさらに含む、請求項9に記載の方法。
- 他のデジタル錠剤印画像の各々とシードの錠剤印画像との重なりの程度は、画素単位の差の二乗和、画素単位の対数尤度の総和、相関、及び相関係数のうちの少なくとも1つを使用し、合致スコアとして測定される、請求項10に記載の方法。
- 他のデジタル錠剤印画像の各々について、シードのデジタル錠剤印画像に対する最良の合致スコアをもたらす回転とシフトを確定することをさらに含む、請求項11に記載の方法。
- 2以上のデジタル錠剤印画像を組み合わせることは、他のデジタル錠剤印画像の各々が回転されシフトされて、最良の合致スコアが取得された後に、シードのデジタル錠剤印画像と他のデジタル錠剤印画像の各々の画素値を合算することを含む、請求項12に記載の方法。
- 錠剤の種類毎の単一の合成印画像に合算された画像を正規化することをさらに含む、請求項13に記載の方法。
- 錠剤をその印により識別する方法であって、
錠剤に関するデジタル錠剤印画像を取得し、
デジタル錠剤印画像をデータベース内の1以上の合成印画像と比較し、合成印画像の各々は単一種類の錠剤についての2以上のデジタル錠剤印画像の合成物であり、前記比較は比較された合成印画像毎に合致スコアを測定することを含み、前記合致スコアはデジタル錠剤印画像と各合成印画像との重なりの程度を表し、
最良の合致スコアを持つ合成印画像に基づいて錠剤を識別する、方法。 - 前記比較は、デジタル錠剤印画像の中心を確定することを含む、請求項15に記載の方法。
- デジタル錠剤印画像の中心は、デジタル錠剤印画像における、撮像された錠剤の輪郭の境界を示す最小領域の矩形の幾何学的中心である、請求項16に記載の方法。
- デジタル錠剤印画像の中心は、デジタル錠剤印画像における、撮像された錠剤の輪郭に基づいた重心である、請求項16に記載の方法。
- 前記比較は、デジタル錠剤画像の中心を、1以上の合成印画像の中心に位置合わせすることをさらに含む、請求項16に記載の方法。
- デジタル錠剤印画像と合成印画像の各々との重なりを最大にするために、デジタル錠剤印画像が位置合わせされた合成印画像毎に、位置合わせされた錠剤の中心の周りで、デジタル錠剤印画像を回転させることをさらに含む、請求項19に記載の方法。
- デジタル錠剤印画像と合成印画像の各々との重なりを最大にするために、デジタル錠剤印画像の回転毎に、各合成印画像に対して、デジタル錠剤印画像をシフトさせることをさらに含む、請求項20に記載の方法。
- デジタル錠剤印画像と合成印画像の各々との重なりの程度は、画素単位の差の二乗和、画素単位の対数尤度の総和、相関、及び相関係数のうちの少なくとも1つを使用し、合致スコアとして測定される、請求項21に記載の方法。
- 合成印画像毎に、デジタル錠剤印画像についての最良の合致スコアを確定することをさらに含む、請求項22に記載の方法。
- 記憶装置内の複数の合成印画像の各々は、合算された2以上のデジタル錠剤印画像の組み合わせから成り、
複数の異なる種類の錠剤を、対応する複数の合成印画像に関連付けるデータベースの少なくとも一部を有する、記憶装置。 - 各合成印画像の2以上のデジタル錠剤印画像は、それらの中心の周りで位置合わせされて、対応する合成印画像を形成する、請求項24に記載の記憶装置。
- 各デジタル錠剤印画像の中心は、各デジタル錠剤印画像における、撮像された錠剤の輪郭の境界を示す最小領域の矩形の幾何学的中心である、請求項25に記載の記憶装置。
- 各デジタル錠剤印画像の中心は、各デジタル錠剤印画像における、撮像された錠剤の輪郭に基づいた重心である、請求項25に記載の記憶装置。
- 各合成印画像の2以上のデジタル錠剤印画像の一つが、シードの錠剤印画像であり、
デジタル錠剤印画像の重なりを最大にするために、他のデジタル錠剤印画像を、位置合わせされた錠剤の中心の周りで、回転しシフトすることによって、他のデジタル錠剤印画像がシードの錠剤印画像に位置合わせされる、請求項25に記載の記憶装置。 - 他のデジタル錠剤印画像の各々とシードの錠剤印画像との重なりの程度は、画素単位の差の二乗和、画素単位の対数尤度の総和、相関、及び相関係数のうちの少なくとも1つを使用し、合致スコアとして数値化される、請求項28に記載の記憶装置。
- 他のデジタル錠剤印画像の各々が、シードの錠剤印画像に対する最良の合致スコアに対応して位置合わせされたときに、2以上のデジタル錠剤印画像は組み合わされる、請求項29に記載の記憶装置。
- 前記記憶装置は、携帯装置の構成要素である、請求項24に記載の記憶装置。
- 前記データベースは、携帯装置によってアクセスされるように構成される、請求項24に記載の記憶装置。
- 錠剤をその印により識別するシステムであって、
デジタルカメラと、
識別される少なくとも1つの錠剤を含むデジタル画像を前記デジタルカメラから受信し、識別される少なくとも1つの錠剤のうちの少なくとも1つについて、デジタル錠剤印画像を確定するプロセッサと、
を有し、
前記プロセッサは、印マッチングモジュールを使用して、デジタル錠剤印画像をデータベース内の1以上の合成印画像と比較し、
前記合成印画像の各々は、単一種類の錠剤についての2以上のデジタル錠剤印画像の合成物である、
システム。 - 前記印マッチングモジュールは、比較された合成印画像毎に合致スコアを測定するように構成され、
前記合致スコアは、デジタル錠剤印画像と各合成印画像との重なりの程度を表す、請求項33に記載のシステム。 - 前記印マッチングモジュールは、デジタル錠剤印画像の中心を確定するように構成される、請求項34に記載のシステム。
- デジタル錠剤印画像の中心は、デジタル錠剤印画像における、撮像された錠剤の輪郭の境界を示す最小領域の矩形の幾何学的中心である、請求項35に記載のシステム。
- デジタル錠剤印画像の中心は、デジタル錠剤印画像における、撮像された錠剤の輪郭に基づいた重心である、請求項35に記載のシステム。
- 前記印マッチングモジュールは、デジタル錠剤画像の中心を1以上の合成印画像の中心に位置合わせするようにさらに構成される、請求項35に記載のシステム。
- 前記印マッチングモジュールは、デジタル錠剤画像と各合成印画像との重なりを最大にするために、デジタル錠剤画像が位置合わせされる合成印画像毎に、デジタル錠剤画像を、位置合わせされた錠剤の中心の周りで回転しシフトするようにさらに構成される、請求項38に記載のシステム。
- デジタル錠剤画像と各合成印画像との重なりの程度は、画素単位の差の二乗和、画素単位の対数尤度の総和、相関、及び相関係数のうちの少なくとも1つを使用し、合致スコアとして測定される、請求項39に記載のシステム。
- 前記印マッチングモジュールは、合成印画像毎に、デジタル錠剤画像についての最良の合致スコアを確定するようにさらに構成される、請求項40に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/909,821 US20140355849A1 (en) | 2013-06-04 | 2013-06-04 | System and method of using imprint analysis in pill identification |
US13/909,821 | 2013-06-04 | ||
PCT/US2014/040178 WO2014197305A1 (en) | 2013-06-04 | 2014-05-30 | System and method of using imprint analysis in pill identification |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016523405A true JP2016523405A (ja) | 2016-08-08 |
Family
ID=51136785
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016518356A Pending JP2016523405A (ja) | 2013-06-04 | 2014-05-30 | 錠剤の識別における印の解析を使用したシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20140355849A1 (ja) |
EP (1) | EP3005295A1 (ja) |
JP (1) | JP2016523405A (ja) |
CA (1) | CA2914403A1 (ja) |
WO (1) | WO2014197305A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017134762A (ja) * | 2016-01-29 | 2017-08-03 | 東日本メディコム株式会社 | 医療情報提供システム、サーバ、端末装置、医療情報提供方法及びプログラム |
WO2018230190A1 (ja) * | 2017-06-14 | 2018-12-20 | 株式会社Screenホールディングス | 位置合せ方法、位置合せ装置および検査装置 |
JP2021076924A (ja) * | 2019-11-05 | 2021-05-20 | 富士通株式会社 | 解析装置、解析プログラム及び解析方法 |
WO2022163508A1 (ja) | 2021-01-26 | 2022-08-04 | 富士フイルム富山化学株式会社 | 薬剤識別装置、薬剤識別方法及びプログラム、薬剤識別システム、薬剤載置台、照明装置、撮影補助装置、学習済みモデル、並びに学習装置 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9940439B2 (en) * | 2013-11-29 | 2018-04-10 | Atabak Reza Royaee | Method and device for identification and/or sorting of medicines |
US10489555B2 (en) * | 2014-07-21 | 2019-11-26 | Qualanex, Llc | Medication processing kiosk |
JP6243827B2 (ja) * | 2014-11-28 | 2017-12-06 | 本田技研工業株式会社 | 画像解析装置、画像特徴情報データベース作成方法並びに意匠類否判定装置及び方法 |
JP6613030B2 (ja) * | 2015-01-19 | 2019-11-27 | 株式会社メガチップス | 判定装置、制御プログラム及び判定方法 |
EP3675030B1 (en) * | 2017-08-22 | 2023-12-06 | FUJIFILM Toyama Chemical Co., Ltd. | Drug inspection assistance device, drug identification device, image processing device, image processing method, and program |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2885823B2 (ja) * | 1989-04-11 | 1999-04-26 | 株式会社豊田中央研究所 | 視覚認識装置 |
US5422831A (en) * | 1992-08-03 | 1995-06-06 | Iowa State University Research Foundation, Inc. | Acoustic and video imaging system for quality determination of pharmaceutical products |
US6535637B1 (en) * | 1997-04-04 | 2003-03-18 | Esco Electronics, Inc. | Pharmaceutical pill recognition and verification system |
US6574580B2 (en) * | 2000-02-11 | 2003-06-03 | Scriptpro Llc | Pharmacy pill counting vision system |
WO2004072868A1 (en) * | 2003-02-10 | 2004-08-26 | Verication, L.L.C. | Database and method of use for authenticity verification of pharmaceuticals |
US8417539B2 (en) * | 2003-04-16 | 2013-04-09 | Optopo Inc. | Machine vision and spectroscopic pharmaceutical verification |
US7218395B2 (en) * | 2003-04-16 | 2007-05-15 | Optopo Inc. | Rapid pharmaceutical identification and verification system |
WO2005008590A1 (ja) * | 2003-07-17 | 2005-01-27 | Matsushita Electric Industrial Co.,Ltd. | 虹彩コード生成方法、個人認証方法、虹彩コード登録装置、個人認証装置、および個人認証プログラム |
US7028723B1 (en) * | 2003-11-03 | 2006-04-18 | Alouani Ali Tahar | Apparatus and method for automatic prescription verification |
US7570786B2 (en) * | 2004-08-30 | 2009-08-04 | Antoun Ateya | Automatic digital object counting and verification system and associated method |
US7930064B2 (en) * | 2004-11-19 | 2011-04-19 | Parata Systems, Llc | Automated drug discrimination during dispensing |
US7599516B2 (en) * | 2005-08-23 | 2009-10-06 | Illinois Tool Works Inc. | Machine vision counting system apparatus and method |
US8331678B2 (en) * | 2005-10-12 | 2012-12-11 | Optopo Inc. | Systems and methods for identifying a discontinuity in the boundary of an object in an image |
US8727208B2 (en) * | 2006-06-30 | 2014-05-20 | Intel-Ge Care Innovations Llc | Method for identifying pills via an optical device |
US20090055116A1 (en) * | 2007-08-24 | 2009-02-26 | Chou-Pi Chen | Method For Inspecting Appearance Of Pellet Type Medicines And System Employing Thereof |
US7889330B2 (en) * | 2008-10-10 | 2011-02-15 | Parata Systems, Llc | Method of taking an image of an object residing in a transparent, colored container |
US8345989B1 (en) * | 2009-02-16 | 2013-01-01 | Parata Systems, Llc | Illumination station for use in pharmaceutical identification system and methods therefor |
WO2010120555A2 (en) * | 2009-03-31 | 2010-10-21 | The U.S.A, As Represented By The Secretary,Dpt. Of Health & Human Services | Device and method for detection of counterfeit pharmaceuticals and/or drug packaging |
US10762172B2 (en) * | 2010-10-05 | 2020-09-01 | Ai Cure Technologies Llc | Apparatus and method for object confirmation and tracking |
US8351668B2 (en) * | 2010-01-11 | 2013-01-08 | Utah State University | System and method for automated particle imaging analysis |
US8442295B2 (en) * | 2010-06-29 | 2013-05-14 | Analogic Corporation | Anti-counterfeiting / authentication |
US8943779B2 (en) * | 2011-04-28 | 2015-02-03 | Yuyama Mfg. Co., Ltd. | Medicine inspection device, and medicine packaging device |
US9008411B2 (en) * | 2011-05-09 | 2015-04-14 | Minigraphics, Inc. | Method, system, and apparatus for identifying pharmaceutical products |
US8861816B2 (en) * | 2011-12-05 | 2014-10-14 | Illinois Tool Works Inc. | Method and apparatus for prescription medication verification |
US8682047B2 (en) * | 2011-12-05 | 2014-03-25 | Illinois Tool Works Inc. | Method and apparatus for machine vision counting and annotation |
US9111357B2 (en) * | 2012-06-07 | 2015-08-18 | Medsnap, Llc | System and method of pill identification |
US8712163B1 (en) * | 2012-12-14 | 2014-04-29 | EyeNode, LLC | Pill identification and counterfeit detection method |
-
2013
- 2013-06-04 US US13/909,821 patent/US20140355849A1/en not_active Abandoned
-
2014
- 2014-05-30 WO PCT/US2014/040178 patent/WO2014197305A1/en active Application Filing
- 2014-05-30 EP EP14736514.2A patent/EP3005295A1/en not_active Withdrawn
- 2014-05-30 JP JP2016518356A patent/JP2016523405A/ja active Pending
- 2014-05-30 CA CA2914403A patent/CA2914403A1/en not_active Abandoned
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017134762A (ja) * | 2016-01-29 | 2017-08-03 | 東日本メディコム株式会社 | 医療情報提供システム、サーバ、端末装置、医療情報提供方法及びプログラム |
WO2018230190A1 (ja) * | 2017-06-14 | 2018-12-20 | 株式会社Screenホールディングス | 位置合せ方法、位置合せ装置および検査装置 |
JP2019002765A (ja) * | 2017-06-14 | 2019-01-10 | 株式会社Screenホールディングス | 位置合せ方法、位置合せ装置および検査装置 |
JP2021076924A (ja) * | 2019-11-05 | 2021-05-20 | 富士通株式会社 | 解析装置、解析プログラム及び解析方法 |
JP7351186B2 (ja) | 2019-11-05 | 2023-09-27 | 富士通株式会社 | 解析装置、解析プログラム及び解析方法 |
WO2022163508A1 (ja) | 2021-01-26 | 2022-08-04 | 富士フイルム富山化学株式会社 | 薬剤識別装置、薬剤識別方法及びプログラム、薬剤識別システム、薬剤載置台、照明装置、撮影補助装置、学習済みモデル、並びに学習装置 |
Also Published As
Publication number | Publication date |
---|---|
CA2914403A1 (en) | 2014-12-11 |
EP3005295A1 (en) | 2016-04-13 |
US20140355849A1 (en) | 2014-12-04 |
WO2014197305A1 (en) | 2014-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016523405A (ja) | 錠剤の識別における印の解析を使用したシステム及び方法 | |
AU2018204543B2 (en) | Automated Pharmaceutical Pill Identification | |
US10402960B2 (en) | Drug verification device, drug verification system and drug verification method | |
US8948508B2 (en) | System and method of adaptive color correction for pill recognition in digital images | |
US20150317534A1 (en) | System and method of pill identification | |
KR101744123B1 (ko) | 의약품 식별 장치 및 그 방법 | |
US10565735B2 (en) | Image calibration patient identification | |
Caban et al. | Automatic identification of prescription drugs using shape distribution models | |
US20160300125A1 (en) | Systems and methods for classification and alignment of highly similar or self-similar patterns | |
US11759401B2 (en) | Method of monitoring medication regimen with portable apparatus | |
JP6853891B2 (ja) | 薬剤監査装置、画像処理装置、画像処理方法及びプログラム | |
US20210366156A1 (en) | Wound characterization system | |
US20190244383A1 (en) | Apparatus and method for object recognition | |
WO2014092189A1 (ja) | 画像認識装置、画像認識方法及び画像認識プログラム | |
Joshi et al. | Automatic Pill Identifier An Overview On Identifying, Retrieving And Authenticating Drug Pill | |
JP2014120156A (ja) | 薬剤認識装置、薬剤認識方法及び薬剤認識プログラム |