JP2010117331A - 粒状物品種検査装置 - Google Patents

粒状物品種検査装置 Download PDF

Info

Publication number
JP2010117331A
JP2010117331A JP2008292824A JP2008292824A JP2010117331A JP 2010117331 A JP2010117331 A JP 2010117331A JP 2008292824 A JP2008292824 A JP 2008292824A JP 2008292824 A JP2008292824 A JP 2008292824A JP 2010117331 A JP2010117331 A JP 2010117331A
Authority
JP
Japan
Prior art keywords
image
candidate
template
distance
common
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008292824A
Other languages
English (en)
Other versions
JP5163985B2 (ja
Inventor
Seiichiro Kamata
清一郎 鎌田
Yoshihiro Yatsukawa
義博 八津川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GREEN PHARMACY CO Ltd
Waseda University
Original Assignee
GREEN PHARMACY CO Ltd
Waseda University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GREEN PHARMACY CO Ltd, Waseda University filed Critical GREEN PHARMACY CO Ltd
Priority to JP2008292824A priority Critical patent/JP5163985B2/ja
Publication of JP2010117331A publication Critical patent/JP2010117331A/ja
Application granted granted Critical
Publication of JP5163985B2 publication Critical patent/JP5163985B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Medical Preparation Storing Or Oral Administration Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】粒状物品の種類を判別し検査する際に高度な判別精度を実現することが可能であり、且つ簡便に物品種の判別検査を行うことが可能な粒状物品種検査装置を提供する。
【解決手段】載置板に1乃至複数の被検査物品を載置して上方2方向から被検査物品を撮影する。また、載置板上の被検査物品の重量を計測する。撮影した画像とテンプレート画像との間で2次元画像マッチングを行う。また、撮影した画像からステレオ画像を合成し、テンプレートステレオ画像との間でステレオマッチングを行う。各マッチングで得た物品種候補の組み合わせのうち、総重量が計測された総重量に近似するものを抽出する。そして、抽出された物品種候補の組み合わせのうち、各マッチングにおけるテンプレート画像との距離の加重和が最小のものを選出し、これを物品種として特定する。
【選択図】図1

Description

本発明は、粒状物品の種類を自動判別する粒状物品種検査装置に関し、特に、分包されたカプセルや錠剤等の種類を自動判別するのに適した粒状物品種検査装置に関する。
薬局や病院においては、一般に、患者に対して処方された薬剤を1回の服用分毎に分包し、患者に提供する。この際、薬剤の分包は、処方箋に従って薬剤師が薬剤を選択し、手作業や分包機によって袋詰めを行う。ところで、人手による作業では、必然的に人為的ミスがリスクとして発生するが、薬剤の分包作業においては、分包された薬剤を患者が服用するため、人為的ミスが許されない。従って、分包後に、分包された薬剤の種類を検査する必要がある。
分包薬剤の種類を検査する検査装置としては、特許文献1のものが公知である。図6に、特許文献1に記載の分包薬剤の検薬装置を示す(特許文献1,実施例2参照)。検薬装置は、透明な袋101に分包された薬剤(錠剤又はカプセル)の検薬を行う装置である。
この検薬装置の撮影ユニット100は、分包した薬剤の入った袋101を挟んで、上方に設置されるデジタルカメラ102と、下方に設置されるデジタルカメラ103と、上方に設置される平行光源を下向きに照射する照明器104とを備えている。
上方のデジタルカメラ102は、透明な袋101に分包された薬剤をカラー撮影た画像を出力する。また、下方に設置されるデジタルカメラ103は、照明器104による平行光線の照明下で、各薬剤が灰色若しくは黒色のシルエット画像として撮像されたシルエット画像を出力する。
薬剤の照合を行う場合、撮影した画像から各薬剤画像を切り出す必要がある。この検薬装置では、薬剤画像の切り出し処理を、シルエット画像を用いて行う。まず、シルエット画像に対して2値化処理を行う。次いで、2値化されたシルエット画像に対して、8近傍収縮処理を行う。これにより、接触した薬剤同士が分離するため、各薬剤画像を分離して切り出すことができる。
各薬剤の照合は、上方のデジタルカメラ102により撮影されたカラー画像を用いて行われる。まず、先にシルエット画像によって切り出された領域に従って、デジタルカメラ102により撮影されたカラー画像から各薬剤画像を切り出す。そして、個々の薬剤画像について、RGB濃度値を検出し、色彩テンプレートを作成する。また、各薬剤のカラー画像を2値化して、長軸L、短軸Sの長さを画素数で算出する。さらに、各薬剤毎に、画像の面積Σを全画素数で算出する。
最後に、得られたこれらのパラメータを用いて、次式(1)により照合判定値vを算出する。
基準データと検査薬剤とが一致すればvは小さい値となり、一致しなければvは大きい値となるので、このvを閾値判定することで薬剤の照合が可能となる。
特開2008−18230号公報
しかしながら、実際の調剤現場において扱う薬剤は極めて多種類に及び、それら多種類の薬剤の中には形状や色彩、模様が類似するものが多い。従って、上記従来の分包薬剤の検薬装置のように、RGB値、長軸、短軸、平面面積のみを基準に薬剤の判別を行うのでは、十分な精度で薬剤の判別を行うことができず、誤判定を生じる。特に、調剤現場では患者に薬剤を誤って投与する事故を完全に防止することが要請されるため、判別精度はさらに高度なものが求められている。
一方、調剤現場では、多数の患者に短時間で薬剤を処方する必要があり、迅速に薬剤の分包と検査を行う必要がある。従って、薬剤種の判別検査も簡便に行うことができるものである必要がある。
そこで、本発明の目的は、粒状物品の種類を判別し検査する際に高度な判別精度を実現することが可能であり、且つ簡便に物品種の判別検査を行うことが可能な粒状物品種検査装置を提供することにある。
(I)記号の規約
最初に、本明細書において使用する記号について、次のように定めておく。
N:載置板上に置かれる被検査物品の個数(N≧1);
(n):第n番目の撮像装置(カメラ)により撮影された画像(n=1,2,3);
(n):画像G(n)から切り出されたi番目(i=1,…,N)の物品の切出画像;
:切出画像G (1),G (2),G (3)の何れか(i=1,…,N);
:切出画像G (1),G (2)から生成されるステレオ画像
(p):物品pのテンプレート二次元画像;
(p):物品pのテンプレート・ステレオ画像;
(p):物品pのテンプレート印字画像;
(p):物品pのテンプレート刻印画像;
:切出画像G(i=1,…,N)から抽出された模様画像(印字画像又は刻印画像);
={pik (A)}:切出画像G(i=1,…,N)に対する第一の候補物品種集合;
={pik (B)}:切出画像G(i=1,…,N)に対する第二の候補物品種集合;
={pik (C)}:切出画像G(i=1,…,N)に対する第三の候補物品種集合;
={pik (E)}:切出画像G(i=1,…,N)に対する第四の候補物品種集合;
={pik}:切出画像G(i=1,…,N)に対する共通候補物品種集合;
(p1α1,…,pNαN):共通候補の順列(順列);
(G (n),T(p)):切出画像G(i=1,…,N)とテンプレート二次元画像T(p)との間の二次元画像距離;
(S,T(p)):ステレオ画像S(i=1,…,N)とテンプレート二次元画像T(p)との間のステレオ画像距離;
(Q,T(piαi)):印字画像ととの間の印字画像距離;
(Q,T(piαi)):刻印画像ととの間の刻印画像距離;
:第一の距離和(=Σ(G,T(p));
:第二の距離和(=Σ(S,T(p));
:第三の距離和(=Σ(Q,T(piαi)));
:第四の距離和(=Σ(Q,T(piαi)));
,c,c,c:加重和の重み係数.
(II)本発明の構成
本発明の粒状物品種検査装置の第1の構成は、被検査物品を載置する載置板と、
前記載置板上に載置される被検査物品を斜め上方から撮像する第一の撮像装置と、
前記載置板上に載置される被検査物品を前記第一の撮像装置とは異なる方角の斜め上方から撮像する第二の撮像装置と、
前記載置板上に載置された被検査物品の総重量Mを検出する計重器と、
前記第一及び第二の撮像装置で撮像されたそれぞれの画像から、前記載置板上に載置されたN個(N≧1)の被検査物品の画像を切り出して切出画像{G (n),…,G (n)}(n=1,2:nは撮像装置の番号)を生成する領域分離手段と、
検査対象となる複数種の物品を、各物品種ごとに、その物品種pの物品を撮影したテンプレート二次元画像{T(p)}、その物品種の物品のステレオ・画像であるテンプレート・ステレオ画像{T(p)}、並びにその物品種の物品1個当たりの重量{m(p)}を当該物品種pと関連づけて記憶するテンプレート記憶手段と、
前記テンプレート記憶手段に記憶された各テンプレート二次元画像T(p)と前記第一又は第二の撮像装置により撮像された前記各切出画像G (n)(i=1,…,N)との二次元画像マッチングを実行し、前記テンプレート二次元画像と前記切出画像との距離(以下「二次元画像距離」)L(G (n),T(p))が所定の閾値以下である候補となる物品種の集合(以下「第一の候補物品種集合」)A(i=1,…,N)を抽出する二次元画像マッチング手段と、
前記第一及び第二の撮像装置により撮像されるN組の前記切出画像の対{(G (1),G (2)),…,(G (1),G (2))}から、N個の被検査物品のステレオ画像{S,…,S}を合成するステレオ画像合成手段と、
前記テンプレート記憶手段に記憶された前記各テンプレート・ステレオ画像T(p)と、前記ステレオ画像合成手段により合成された前記各ステレオ画像S(i=1,…,N)とのステレオ・マッチングを実行し、前記テンプレート・ステレオ画像と前記ステレオ画像との距離(以下「ステレオ画像距離」)L(S,T(p))が所定の閾値以下である候補となる物品種の集合(以下「第二の候補物品種集合」)B(i=1,…,N)を抽出するステレオ・マッチング手段と、
N個の前記各切出画像G(i=1,…,N)のそれぞれに対し、前記第一の候補物品種集合Aと前記第二の候補物品種集合Bとに共通して含まれる物品種の集合(以下「共通候補物品種集合」)P=A∩B={pik}を抽出する共通候補抽出手段と、
N個の前記共通候補物品種集合P,…,Pのそれぞれから1つずつ物品種を取り出して集めた共通候補の順列(p1α1,…,pNαN)の中から、前記テンプレート記憶手段に記憶された物品種の物品1個当たりの重量を前記共通候補の順列(p1α1,…,pNαN)について足し合わせた総重量Mと、前記計重器が検出する総重量Mとの差|M−M|が所定の閾値ε以下となる共通候補の順列を抽出する重量判定手段と、
前記重量判定手段により抽出された各共通候補の順列(p1α1,…,pNαN)に対して、各物品種piαiに対応するテンプレート二次元画像T(piαi)とそれに対応する切出画像G (n)との距離をその共通候補の順列について足し合わせた第一の距離和D=Σ(G (n),T(piαi))を算出する第一の距離和演算手段と、
前記重量判定手段により抽出された各共通候補の順列(p1α1,…,pNαN)に対して、各物品種piαiに対応するテンプレート・ステレオ画像T(piαi)とそれに対応するステレオ画像Sとの距離をその共通候補の順列について足し合わせた第二の距離和D=Σ(S,T(piαi))を算出する第二の距離和演算手段と、
前記重量判定手段により抽出された各共通候補の順列{(p1α1,…,pNαN)}のうち、前記第一の距離和Dと前記第二の距離和Dとの加重和c+cが最小となる共通候補の順列を抽出し、前記載置板に載置された被検査物品の集合として出力する総合判定手段と、
を備えたことを特徴とする。
この構成によれば、二次元画像マッチングに加えて、ステレオ・マッチングにより薬剤の判別を行うことによって、物品の高さのマッチングも行われ、判別精度を向上させることができる。更に、各被検査物品の重量和によって候補の絞り込みを行うため、画像による判別のみの場合に比べ、更に判別誤差を低減させることができる。また、検査に当たっては、被検査物品を載置台上に載せて撮影を行うのみであるため、きわめて簡便に検査を行うことができる。
本発明の粒状物品種検査装置の第2の構成は、前記第1の構成において、前記テンプレート記憶手段には、各物品種ごとに、その物品種の物品の表面に印字がある場合には、その印字を撮影した画像(以下「印字画像」)をテンプレート印字画像{T(p)}として、当該物品種pと関連づけて記憶され、その物品種の物品の表面に刻印がある場合には、その刻印を撮影した画像(以下「刻印画像」)をテンプレート刻印画像{T(p)}として、当該物品種pと関連づけて記憶されており、
N個の前記各切出画像G (n)(i=1,…,N)のそれぞれについて、前記切出画像G (n)内の物品の表面に前記印字画像又は前記刻印画像(以下「模様画像」)が存在するか否かを判定し、前記模様画像が存在する場合にはその模様画像Qを抽出する模様画像抽出手段と、
前記模様画像抽出手段により抽出された前記模様画像Qが、印字画像であるか刻印画像であるかを判別する印字・刻印判別手段と、
前記印字・刻印判別手段により前記模様画像Qが前記印字画像と判別された場合、前記テンプレート記憶手段に記憶された前記各テンプレート印字画像T(p)と前記印字画像Qとの画像マッチングを実行し、前記テンプレート印字画像と前記印字画像との距離である印字画像距離L(Q,T(p))が所定の閾値以下である候補となる物品種の集合を第三の候補物品種集合C(i=1,…,N)として抽出する印字画像マッチング手段と、
前記印字・刻印判別手段により前記模様画像Qが前記刻印画像と判別された場合、前記テンプレート記憶手段に記憶された前記各テンプレート刻印画像T(p)と前記刻印画像Qとの画像マッチングを実行し、前記テンプレート刻印画像と前記刻印画像との距離である刻印画像距離L(Q,T(p))が所定の閾値以下である候補となる物品種の集合を前記第四の候補物品種集合E(i=1,…,N)として抽出する刻印画像マッチング手段と、
前記重量判定手段により抽出された各共通候補の順列(p1α1,…,pNαN)に対して、各物品種piαiに対応するテンプレート印字画像T(piαi)とそれに対応する印字画像Qとの距離をその共通候補の順列について足し合わせた第三の距離和D=Σ(Q,T(piαi))を算出する第三の距離和演算手段と、
前記重量判定手段により抽出された各共通候補の順列(p1α1,…,pNαN)に対して、各物品種piαiに対応するテンプレート刻印画像T(piαi)とそれに対応する刻印画像Qとの距離をその共通候補の順列について足し合わせた第四の距離和D=Σ(Q,T(piαi))を算出する第四の距離和演算手段と、
を備え、
前記総合判定手段は、前記重量判定手段により抽出された各共通候補の順列{(p1α1,…,pNαN)}のうち、前記第一の距離和D、前記第二の距離和D、前記第三の距離和D、及び前記第四の距離和Dの加重和c+c+c+c(c、c,c,cは重み定数)が最小となる共通候補の順列を抽出し、前記載置板に載置された被検査物品の集合として出力すること
を特徴とする。
この構成によれば、印字や刻印の画像マッチングを併用することで、更に判別精度を高めることができる。
本発明の粒状物品種検査装置の第3の構成は、前記第2の構成において、前記載置板は、透光性の板材からなり、
前記載置板上に載置される被検査物品を前記載置板の下方乃至斜め下方から前記載置板を透して撮像する第三の撮像装置を備え、
前記領域分離手段は、前記第一、第二、及び第三の撮像装置で撮像されたそれぞれの画像から、前記切出画像{G (n),…,G (n)}(n=1,2,3:nは撮像装置の番号)を生成し、
前記二次元画像マッチング手段は、前記各テンプレート二次元画像T1k(k=1,2,…)と前記第一、第二、又は第三の撮像装置の何れかにより撮像された前記各切出画像G (n)(i=1,…,N)との二次元画像マッチングを実行し、前記二次元画像距離L(G (n),T1k)が小さい順に、前記第一の候補物品種集合A(i=1,…,N)を抽出するものであることを特徴とする。
この構成によれば、第三の撮像装置によって下面から薬剤を撮影した画像を併用することで、印字面又は刻印面が下向きになっている場合にも、正しく印字や刻印の画像マッチングを行うことが可能となり、更に判別精度を高めることができる。
本発明の粒状物品種検査装置の第4の構成は、前記第2又は3の構成において、前記共通候補抽出手段は、N個の前記各切出画像G(i=1,…,N)のそれぞれに対し、
当該切出画像Gに模様画像Qとして印字画像が含まれる場合には、前記第1の候補物品種集合Aと前記第2の候補物品種集合Bと前記第3の候補物品種集合Cとに共通して含まれる物品種の集合を前記共通候補物品種集合P=A∩B∩Cとして抽出し、
当該切出画像Gに模様画像Qとして刻印画像が含まれる場合には、前記第1の候補物品種集合Aと前記第2の候補物品種集合Bと前記第四の候補物品種集合Eとに共通して含まれる物品種の集合を前記共通候補物品種集合P=A∩B∩Eとして抽出し、
当該切出画像Gに模様画像Qが含まれない場合には、前記第1の候補物品種集合Aと前記第2の候補物品種集合Bとに共通して含まれる物品種の集合を前記共通候補物品種集合P=A∩Bとして抽出すること
を特徴とする。
以上のように、本発明によれば、被検査物品を2方向から撮影し、二次元の画像マッチングに加えて、ステレオ・マッチングにより薬剤の判別を行うとともに、各被検査物品の重量和によって判別候補の絞り込みを行うことで、粒状物品の種類を判別し検査する際の判別精度が高い粒状物品種検査装置を提供することができる。また、検査作業は、被検査物品を載置板上に置いて撮影するのみであるため、簡便に物品種の判別検査を行うことが可能である。
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
図1は、本発明の実施例1に係る粒状物品種検査装置1の構成を示す図である。本実施例の粒状物品種検査装置1は、透明な包装袋Aに分包された被検査物品Bの種類を判別検査するものである。この場合、被検査物品Bは、錠剤やカプセル等の粒状薬剤である。
粒状物品種検査装置1は、撮影ユニット2と制御装置3の2つの部分から構成されている。撮影ユニット2は、被検査物品Bの撮影と計重を行う装置の單元部分である。また、制御装置3は、撮影ユニット2から出力される被検査物品Bの画像情報と計重情報に基づいて被検査物品Bの判別検査を行う装置の單元部分である。この制御装置3としては、制御プログラムがインストールされた汎用のコンピュータを使用することができる。
撮影ユニット2は、載置板4、計重器5、第一照明6、第二照明7、第三照明8、第一カメラ9、第二カメラ10、及び第三カメラ11を備えている。
載置板4は、透明な包装袋Aに分包された被検査物品Bを載置するための水平台であり、透光性の板材で構成されている。また、載置板4の下面には、載置板4の被検査物品Bを載置する部分に対向する部分に方形の開口部が形成された黒色の遮光板4aが貼り付けられている。この遮光板4aは、包装袋Aに分包された被検査物品Bを載置する位置を指定すると共に、撮影される画像の余分な部分を除去するのを容易とするために設けられている。
尚、包装袋Aには被検査物品Bが1個以上包装されているものとし、包装袋Aに包装されている被検査物品Bの個数をN(≧1)と記すことにする。
計重器5は、載置板4上に載置された被検査物品Bの総重量Mを検出する。計重器5としては電子天秤などが使用される。
第一照明6及び第二照明7は、載置板4の上方に設置された照明器であり、載置板4上に載置される包装袋Aに分包された被検査物品Bを斜め上方から照光する。第一照明6及び第二照明7は、載置板4の被検査物品Bを載置する部分(遮光板4aの開口部)の中心点に対して左右となる位置に設置される。また、第三照明8は、載置板4の下方に設置された照明器であり、載置板4上に載置される包装袋Aに分包された被検査物品Bを斜め下方から照光する。
第一カメラ9及び第二カメラ10は、載置板4の上方に設置された撮像装置であり、載置板4上に載置される包装袋Aに分包された被検査物品Bを斜め上方から撮像する。第一カメラ9及び第二カメラ10は、載置板4の被検査物品Bを載置する部分(遮光板4aの開口部)の中心点に対して左右となる位置に設置される。従って、第二カメラ10は、第一カメラ9とは異なる方角の斜め上方から被検査物品Bを撮像することになる。また、第三カメラ11は、載置板4の下方に設置された撮像装置であり、載置板4上に載置される包装袋Aに分包された被検査物品Bを斜め下方から撮像する。尚、第一カメラ9、第二カメラ10、及び第三カメラ11には、CCD素子などの電子撮像装置が使用される。
図2は、実施例1に係る粒状物品種検査装置1の機能ブロック図である。図2において、図1と同様の部分については同符号が付されている。
この粒状物品種検査装置1の制御装置3は、テンプレート記憶部20、第一候補群記憶部21、第二候補群記憶部22、第三候補群記憶部23、第四候補群記憶部24、共通候補記憶部25、共通候補順列記憶部26、領域分離モジュール27、画像選択モジュール28、二次元画像マッチング・モジュール29、ステレオ画像合成モジュール30、ステレオ・マッチング・モジュール31、模様画像抽出モジュール32、照明コントローラ33、印字・刻印判別モジュール34、印字画像マッチング・モジュール35、刻印画像マッチング・モジュール36、共通候補抽出モジュール37、重量判定モジュール38、距離和演算モジュール39、距離和演算モジュール40、距離和演算モジュール41、距離和演算モジュール42、総合判定モジュール43、出力モジュール44、及び出力装置45を備えている。出力装置45以外の部分の各記憶部及び各モジュールは、プログラムによってコーディングされ、制御装置3がそのプログラムをロードして実行することにより、制御装置3において機能的に実現される。尚、出力装置45は、ディスプレイやスピーカ等の出力装置が使用される。
テンプレート記憶部20は、検査対象となる複数種の物品を、各物品種ごとに、その物品種pのテンプレート二次元画像{T(p)}、テンプレート・ステレオ画像{T(p)}、テンプレート印字画像{T(p)}、テンプレート刻印画像{T(p)}、及びその物品種の物品1個当たりの重量{m(p)}を当該物品種pと関連づけて記憶している。
ここで、「テンプレート二次元画像」とは、参照パターンとして使用される物品を真上から撮影した二次元画像である。「テンプレート・ステレオ画像」とは、参照パターンとして使用される物品のステレオ画像である。「テンプレート印字画像」とは、参照パターンとして使用される物品の表面にある印字を撮影した印字画像である。「テンプレート刻印画像」とは、参照パターンとして使用される物品の表面にある刻印を撮影した刻印画像である。前述の規約で定めた通り、各テンプレート二次元画像をT(p)、各テンプレート・ステレオ画像をT(p)、各テンプレート印字画像をT(p)、各テンプレート刻印画像をT(p)と記すことにする。ここで、pは物品種を表す。各テンプレートは、その物品種の物品の代表的なものを撮影した画像又はそれから合成された画像であり、あらかじめ用意され、テンプレート記憶部20にあらかじめ保存されている。
尚、印字や刻印のない物品種pについては、テンプレート印字画像やテンプレート刻印画像は存在しない。
領域分離モジュール27は、第一カメラ9及び第二カメラ10並びに第三カメラ11で撮像されたそれぞれの画像から、載置板4上に載置されたN個の被検査物品Bの画像を個別に切り出して切出画像{G (n),…,G (n)}を生成する。ここで、G (n)(i=1,…,N)は切出画像であり、n(=1,2,3)はカメラの番号を表す。すなわち、n=1は第一カメラ9で撮像された画像から切り出した切出画像、n=2は第二カメラ10で撮像された画像から切り出した切出画像、n=3は第三カメラ11で撮像された画像から切り出した切出画像を表す。従って、領域分離モジュール27は、全部で3N個の切出画像を生成する。
画像選択モジュール28は、領域分離モジュール27によって切り出される切出画像G(n)を選択し出力する。
二次元画像マッチング・モジュール29は、テンプレート記憶部20に記憶された各テンプレート二次元画像T(p)と、第一カメラ9又は第二カメラ10若しくは第三カメラ11により撮像された各切出画像Gとの二次元画像マッチングを実行し、テンプレート二次元画像T(p)と切出画像Gとの距離L(G,T(p))を算出する。この距離L(G,T(p))を「二次元画像距離」と呼ぶ。また、二次元画像マッチング・モジュール29は、二次元画像距離L(G,T(p))が所定の閾値ε以下となるテンプレート二次元画像T(pik (A))を抽出し、それらに対応する物品種pik (A)の集合A(i=1,…,N)を抽出する。この候補物品種の集合A={pik (A)}を「第一の候補物品種集合」という。ここで、pik (A)は、第一の候補物品種の集合Aに含まれるk番目の要素(物品)を表す。
第一候補群記憶部21は、二次元画像マッチング・モジュール29が抽出する第一の候補物品種集合A={pik (A)}、及び、集合Aの各要素pik (A)に対するテンプレート二次元画像T(pik (A))とそれに対応する切出画像Gとの二次元画像距離L(G,T(pik (A)))を記憶する。
ステレオ画像合成モジュール30は、第一カメラ9及び第二カメラ10により撮像されるN組の切出画像の対{(G (1),G (2)),…,(G (1),G (2))}から、N個の被検査物品のステレオ画像{S,…,S}を合成する。
ステレオ・マッチング・モジュール31は、テンプレート記憶部20に記憶された各テンプレート・ステレオ画像T(p)と、各ステレオ画像S(i=1,…,N)とのステレオ・マッチングを実行し、テンプレート・ステレオ画像T(p)とステレオ画像Sとの距離L(S,T(p))を算出する。この距離L(S,T(p))を「ステレオ画像距離」という。また、ステレオ・マッチング・モジュール31は、ステレオ画像距離L(G,T(p))が所定の閾値ε以下となるテンプレート・ステレオ画像T(pik (B))を抽出し、それらに対応する物品種pik (B)の集合B(i=1,…,N)を抽出する。この候補物品種の集合B={pik (B)}を「第二の候補物品種集合」という。ここで、pik (B)は、第二の候補物品種集合Bに含まれるk番目の要素(物品)を表す。
第二候補群記憶部22は、ステレオ・マッチング・モジュール31が抽出する第二の候補物品種集合B={pik (B)}、及び、集合Bの各要素pik (B)に対するテンプレート・ステレオ画像T(pik (B))とそれに対応するステレオ画像Sとのステレオ画像距離L(S,T(pik (B)))を記憶する。
模様画像抽出モジュール32は、N個の各切出画像G(i=1,…,N)のそれぞれについて、切出画像G内の物品の表面に印字画像又は刻印画像が存在するか否かを判定する。印字画像又は刻印画像のことをまとめて「模様画像」という。模様画像が存在する場合には、模様画像抽出モジュール32はその模様画像Qを抽出する。
照明コントローラ33は、第一照明6、第二照明7、及び第三照明8の光量を調節し又はそれらの点消灯を制御する。
印字・刻印判別モジュール34は、模様画像抽出モジュール32により抽出された模様画像Qが、印字画像であるか刻印画像であるかを判別する。
印字画像マッチング・モジュール35は、印字・刻印判別モジュール34により模様画像Qが印字画像であると判別された場合、テンプレート記憶部20に記憶された各テンプレート印字画像T(p)と印字画像Qとの画像マッチングを実行し、テンプレート印字画像T(p)と印字画像Qとの距離L(Q,T(p))を算出する。この距離L(Q,T(p))を「印字画像距離」という。また、印字画像マッチング・モジュール35は、印字画像距離L(G,T(p))が所定の閾値ε以下となるテンプレート印字画像T(pik (C))を抽出し、それらに対応する物品種pik (C)の集合C(i=1,…,N)を抽出する。この候補物品種の集合C={pik (C)}を「第三の候補物品種集合」という。ここで、pik (C)は、第三の候補物品種の集合Cに含まれるk番目の要素(物品)を表す。
第三候補群記憶部23は、印字画像マッチング・モジュール35が抽出する第三の候補物品種集合C={pik (C)}、及び、集合Cの各要素pik (C)に対するテンプレート印字画像T(pik (C))とそれに対応する印字画像Qとの印字画像距離L(Q,T(pik (C)))を記憶する。
刻印画像マッチング・モジュール36は、印字・刻印判別モジュール34により模様画像Qが刻印画像であると判別された場合、テンプレート記憶部20に記憶された各テンプレート刻印画像T(p)と刻印画像Qとの画像マッチングを実行し、テンプレート刻印画像T(p)と刻印画像Qとの距離L(Q,T(p))を算出する。この距離L(Q,T(p))を「刻印画像距離」という。また、刻印画像マッチング・モジュール36は、刻印画像距離L(G,T(p))が所定の閾値ε以下となるテンプレート刻印画像T(pik (E))を抽出し、それらに対応する物品種pik (E)の集合E(i=1,…,N)を抽出する。この候補物品種の集合E={pik (E)}を「第四の候補物品種集合」という。ここで、pik (E)は、第四の候補物品種の集合Eに含まれるk番目の要素(物品)を表す。
第四候補群記憶部24は、刻印画像マッチング・モジュール36が抽出する第四の候補物品種集合E={pik (E)}、及び、集合Eの各要素pik (E)に対するテンプレート刻印画像T(pik (E))とそれに対応する刻印画像Qとの刻印画像距離L(Q,T(pik (E)))を記憶する。
共通候補抽出モジュール37は、領域分離モジュール27が出力するN個の切出画像G(i=1,…,N)のそれぞれに対し、共通候補物品種集合P={pik}を抽出する。ここで、切出画像Gに印字画像Qが含まれる場合には、共通候補抽出モジュール37は、第1の候補物品種集合Aと第2の候補物品種集合Bと第3の候補物品種集合Cとに共通して含まれる物品種の集合を共通候補物品種集合P=A∩B∩Cとして抽出する。また、切出画像Gに刻印画像Qが含まれる場合には、共通候補抽出モジュール37は、第1の候補物品種集合Aと第2の候補物品種集合Bと第四の候補物品種集合Eとに共通して含まれる物品種の集合を共通候補物品種集合P=A∩B∩Eとして抽出する。また、切出画像Gに模様画像Qが含まれない場合には、共通候補抽出モジュール37は、第1の候補物品種集合Aと第2の候補物品種集合Bとに共通して含まれる物品種の集合を共通候補物品種集合P=A∩Bとして抽出する。
共通候補記憶部25は、共通候補抽出モジュール37により抽出された共通候補物品種集合P(i=1,…,N)を記憶する。
重量判定モジュール38は、共通候補記憶部25に記憶されたN個の共通候補物品種集合P,…,Pのそれぞれから1つずつ物品種を取り出して集めた共通候補の順列(p1α1,…,pNαN)について、テンプレート記憶部20に記憶された物品種の物品1個当たりの重量を共通候補の順列(p1α1,…,pNαN)について足し合わせた総重量Mを算出する。そして、計重器5が検出する総重量Mとの差|M−M|が所定の閾値ε以下となる共通候補の順列を抽出する。
共通候補順列記憶部26は、重量判定モジュール38が抽出する各共通候補の順列を記憶する。
距離和演算モジュール39は、重量判定モジュール38により抽出された各共通候補の順列(p1α1,…,pNαN)に対して、各物品種piαiに対応するテンプレート二次元画像T(piαi)とそれに対応する切出画像Gとの二次元画像距離L(G,T(piαi))をその共通候補の順列について足し合わせた第一の距離和D=Σ(G,T(piαi))を算出する。
距離和演算モジュール40は、重量判定モジュール38により抽出された各共通候補の順列(p1α1,…,pNαN)に対して、各物品種piαiに対応するテンプレート・ステレオ画像T(piαi)とそれに対応するステレオ画像Sとのステレオ画像距離L(S,T(piαi))をその共通候補の順列について足し合わせた第二の距離和D=Σ(S,T(piαi))を算出する。
距離和演算モジュール41は、重量判定モジュール38により抽出された各共通候補の順列(p1α1,…,pNαN)に対して、各物品種piαiに対応するテンプレート印字画像T(piαi)とそれに対応する印字画像Qとの印字画像距離L(Q,T(piαi))をその共通候補の順列について足し合わせた第三の距離和D=Σ(Q,T(piαi))を算出する。
距離和演算モジュール42は、重量判定モジュール38により抽出された各共通候補の順列(p1α1,…,pNαN)に対して、各物品種piαiに対応するテンプレート刻印画像T(piαi)とそれに対応する刻印画像Qとの刻印画像距離L(Q,T(piαi))をその共通候補の順列について足し合わせた第四の距離和D=Σ(S,T(piαi))を算出する。
総合判定モジュール43は、重量判定モジュール38により抽出された各共通候補の順列{(p1α1,…,pNαN)}のうち、第1の距離和D、第2の距離和D、第3の距離和D、及び第四の距離和Dの加重和c+c+c+c(c、c,c,cは重み定数)が最小となる共通候補の順列を抽出し、載置板4に載置された被検査物品の集合Sとして出力する。
出力モジュール44は、総合判定モジュール43が出力する被検査物品の集合Sと、予め設定された正しい物品の集合Sとを比較して、S=Sの場合には出力装置45に対して整合信号を出力し、S≠Sの場合には出力装置45に対して不整合信号を出力する。
出力装置45は、出力モジュール44から不整合信号が出力された場合には画像や音声によって使用者に対して警告を報知する。
以上のように構成された本発明の実施例1に係る粒状物品種検査装置1について、以下その動作を説明する。
図3は実施例1に係る粒状物品種検査装置1の動作を表すフローチャートである。
使用者は、まず、予め、透明袋Aに合包される物品の正しい物品の組み合わせの集合S={p01,…,p0m}を出力モジュール44に設定しておく。そして、被検査物品Bが包装された透明な透明袋Aを、載置板4の上に載せる。例として、被検査物品Bは、図4に示したような錠剤やカプセル等の粒状薬剤であるとする。
まず、ステップS1において、照明コントローラ33は、第一照明6、第二照明7、及び第三照明8を点灯させ、第一カメラ9、第二カメラ10、及び第三カメラ11は、載置板4上に載置された透明袋Aに包装された被検査物品Bを撮像する。符号の規約に従って、第一カメラ9、第二カメラ10、及び第三カメラ11で撮像された画像を、G(1),G(2),G(3)と記す。各画像は、領域分離モジュール27へ出力される。
このとき、被検査物品Bの表面に付された刻印の画像を明確に浮かび上がらせるために、照明コントローラ33は、第一照明6のみ又は第二照明7のみを点灯させて、第一カメラ9及び第二カメラ10での撮影を行うようにすることもできる。
次に、ステップS2において、領域分離モジュール27は、画像G(1),G(2),G(3)のそれぞれについて、その画像内に含まれる被検査物品Bの部分画像を切り出す。これにより得られる部分画像を切出画像{G (n),…,G (n)}(n=1,2,3)とする。例えば、図4に示した粒状薬剤が被検査物品Bとして透明袋Aに包装されている場合、N=7なので、全部で7×3=21個の切出画像が生成される。それぞれの切出画像はラベリングされ、異なるカメラで撮影された同じ物品の切出画像には同じ物品ラベル(番号)が付される。切出画像をG (n)と記すとき、iが物品ラベルを表している。
次に、ステップS3において、画像選択モジュール28は、物品ラベルiの小さい順に、切出画像をG (1),G (2),G (3)を選択する。
次に、ステップS4において、二次元画像マッチング・モジュール29は、切出画像G (1),G (2),G (3)とテンプレート記憶部20に記憶された各テンプレート二次元画像T(p)との二次元画像マッチングを実行し、テンプレート二次元画像T(p)と切出画像G (n)との二次元画像距離L(G (n),T(p))を算出する。ここで、二次元画像マッチングは切出画像G (1),G (2),G (3)のすべてについて行う必要はなく、これら3つの切出画像のうち1つについて実行すればよい。従って、例えば、テンプレート記憶部20にM個の物品pのテンプレート二次元画像T(p)が記憶されている場合、M回の二次元画像マッチングが実行される。二次元画像マッチングについては、公知の方法を用いることができ、例えば、DPマッチングなどのエラスティック・マッチング・アルゴリズムが用いられる。
二次元画像距離L(G (n),T(p))は次式で表される。
ここで、Φはアフィン変換を表す。‖・‖は距離(ノルム)を表し、‖T(p)−Φ(G (n))‖は画像T(p)と画像Φ(G (n))の対応点間の距離の平均値である。
そして、二次元画像マッチング・モジュール29は、二次元画像距離L(G (n),T(p))が所定の閾値ε以下となるテンプレート二次元画像T(pik (A))を抽出し、それらに対応する物品種pik (A)の集合(第一の候補物品種集合)Aを抽出する。すなわち、第一の候補物品種集合Aは次のように表される。
抽出された第一の候補物品種集合Aと、その各要素pik (A)に対する二次元画像距離L(G (n),T(p))は、第一候補群記憶部21に保存される。
次に、ステップS5において、ステレオ画像合成モジュール30が、第一カメラ9及び第二カメラ10により撮像されるN組の切出画像の対(G (1),G (2))から、被検査物品のステレオ画像Sを合成する。次いで、ステレオ・マッチング・モジュール31は、テンプレート記憶部20に記憶された各テンプレート・ステレオ画像T(p)と、各ステレオ画像Sとのステレオ・マッチングを実行し、テンプレート・ステレオ画像T(p)とステレオ画像Sとのステレオ画像距離L(S,T(p))を算出する。ステレオ・マッチングについても、公知の方法を用いることができ、例えば、DPマッチングなどのエラスティック・マッチング・アルゴリズムが用いられる。
ステレオ画像距離L(S,T(p))は次式で表される。
そして、ステレオ・マッチング・モジュール31は、ステレオ画像距離L(G,T(p))が所定の閾値ε以下となるテンプレート・ステレオ画像T(pik (B))を抽出し、それらに対応する物品種pik (B)の集合(第二の候補物品種集合)Bを抽出する。すなわち、第二の候補物品種集合Bは次のように表される。
抽出された第二の候補物品種集合Bと、その各要素pik (B)に対するステレオ画像距離L(S,T(pik (B)))は、第二候補群記憶部22に保存される。
次に、ステップS6において、模様画像抽出モジュール32は、切出画像G (1),G (2),G (3)について、各切出画像G (n)内の物品の表面に模様画像が存在するか否かを判定する。模様画像が存在する場合には、模様画像抽出モジュール32はその模様画像Qを抽出する。
図5に、模様画像を含む物品画像の例を示す。図5(a)は物品の表面に印字がされている場合であり、図5(b)(c)は物品の表面に刻印がされている場合である。図5(c)に示したように、印字や刻印は物品の一方の面にのみ付されている場合が多い。従って、表側の面の切出画像G (1)又はG (2)と裏面の切出画像G (3)とを用いて模様画像Qを抽出することにより、確実に模様画像Qの抽出ができる。
尚、模様画像が抽出されなかった場合には、模様画像抽出モジュール32は、照明コントローラ33により、第一照明6又は第二照明7の一方のみを点灯させて、第一カメラ9及び第二カメラ10での撮影を再度行い、切出画像G (1),G (2)を再作成し、再度模様画像の抽出を行うようにしてもよい。このようにすれば、被検査物品Bの表面に付された刻印が不鮮明な場合でも、被検査物品Bの表面に付された刻印の画像を明確に浮かび上がらせることができるので、刻印画像をより確実に抽出することができるようになる。
次に、ステップS7において、模様画像抽出モジュール32により模様画像Qが抽出された場合には、次のステップS8に遷移し、模様画像が抽出されなかった場合は、ステップS11に遷移する。
次に、ステップS8において、印字・刻印判別モジュール34は、模様画像抽出モジュール32により抽出された模様画像Qが、印字画像であるか刻印画像であるかを判別する。ここで、印字画像か刻印画像かの判定は、模様画像のエッジの勾配を判定することにより判別することができる。すなわち、印字画像の場合は模様画像のエッジの勾配が急峻であり、刻印画像の場合は模様画像のエッジの勾配が緩やかである。従って、模様画像のエッジ画像のエッジ部分の平均値を閾値判定することによって、模様画像が印字画像か刻印画像かが判別される。模様画像Qが印字画像である場合にはステップS9に遷移し、模様画像Qが刻印画像である場合にはステップS10に遷移する。
模様画像Qが印字画像の場合、ステップS9において、印字画像マッチング・モジュール35は、テンプレート記憶部20に記憶された各テンプレート印字画像T(p)と印字画像Qとの画像マッチングを実行し、テンプレート印字画像T(p)と印字画像Qとの印字画像距離L(Q,T(p))を算出する。
印字画像距離L(Q,T(p))は次式で表される。
そして、印字画像マッチング・モジュール35は、印字画像距離L(Q,T(p))が所定の閾値ε以下となるテンプレート印字画像T(pik (C))を抽出し、それらに対応する物品種pik (C)の集合(第三の候補物品種集合)Cを抽出する。すなわち、第三の候補物品種集合Cは次のように表される。
抽出された、第三の候補物品種集合Cと、その各要素pik (C)に対する印字画像距離L(Q,T(p))は、第三候補群記憶部23に保存される。
一方、模様画像Qが刻印画像の場合、ステップS10において、刻印画像マッチング・モジュール36は、テンプレート記憶部20に記憶された各テンプレート刻印画像T(p)と刻印画像Qとの画像マッチングを実行し、テンプレート刻印画像T(p)と刻印画像Qとの刻印画像距離L(Q,T(p))を算出する。
刻印画像距離L(Q,T(p))は次式で表される。
そして、刻印画像マッチング・モジュール36は、刻印画像距離L(G,T(p))が所定の閾値ε以下となるテンプレート刻印画像T(pik (E))を抽出し、それらに対応する物品種pik (E)の集合(第四の候補物品種集合)E(i=1,…,N)を抽出する。すなわち、第四の候補物品種集合Eは次のように表される。
抽出された、第四の候補物品種集合Eと、その各要素pik (E)に対する刻印画像距離L(Q,T(p))は、第四候補群記憶部24に保存される。
次に、ステップS11において、共通候補抽出モジュール37は、切出画像Gに対する共通候補物品種集合P={pik}を抽出する。この抽出処理は、印字画像、刻印画像の有無によって次のように行われる。
(1)切出画像Gに印字画像Qが含まれる場合
共通候補抽出モジュール37は、第1の候補物品種集合Aと第2の候補物品種集合Bと第3の候補物品種集合Cとに共通して含まれる物品種の集合を共通候補物品種集合Pとして抽出する。
(2)切出画像Gに刻印画像Qが含まれる場合
共通候補抽出モジュール37は、第1の候補物品種集合Aと第2の候補物品種集合Bと第四の候補物品種集合Eとに共通して含まれる物品種の集合を共通候補物品種集合Pとして抽出する。
(3)切出画像Gに模様画像Qが含まれない場合
共通候補抽出モジュール37は、第1の候補物品種集合Aと第2の候補物品種集合Bとに共通して含まれる物品種の集合を共通候補物品種集合Pとして抽出する。
すなわち、共通候補物品種集合Pは次のようになる。
抽出された共通候補物品種集合Pは、共通候補記憶部25に保存される。
次に、ステップS12において、すべての切出画像Gに対して、ステップS3〜S11までの処理が終了したかを判定して、終了していなければステップS3に戻り、終了していれば、次のステップS13に遷移する。
次に、ステップS13において、重量判定モジュール38は、計重器5が出力する被検査物品Bの総重量Mを取得する。
次に、ステップS14において、重量判定モジュール38は、共通候補記憶部25に記憶されたN個の共通候補物品種集合P,…,Pのそれぞれから1つずつ物品種を取り出して集めた共通候補の順列o(α,…,α)=(p1α1,…,pNαN)を作る。そして、この順列o(α,…,α)の各要素piαiについて、テンプレート記憶部20に記憶された物品種の物品1個当たりの重量w(piαi)を取得し、それらの重量w(piαi)を足し合わせた総重量M(α,…,α)を算出する。
そして、重量判定モジュール38は、計重器5が検出する総重量Mとの差|M(α,…,α)−M|が所定の閾値ε以下となる共通候補の順列の集合Osを抽出する。すなわち、順列集合Osは次のようになる。
次に、ステップS15において、順列集合Osの各要素o(α,…,α)について、距離和演算モジュール39,40,41,42は、それぞれ、第一の距離和D(α,…,α),第二の距離和D(α,…,α),第三の距離和D(α,…,α),第四の距離和D(α,…,α)を次式により算出する。
次いで、総合判定モジュール43は、順列集合Osの各要素o(α,…,α)について、第1の距離和D(α,…,α)、第2の距離和D(α,…,α)、第3の距離和D(α,…,α)、及び第四の距離和D(α,…,α)の加重和D(α,…,α)を次式により算出する。
ここで、c,c,c,cは重み定数であり、実験的に最適な値に決めるとよい。
そして、総合判定モジュール43は、加重和D(α,…,α)が最小となる共通候補の順列o(β,…,β)を抽出し、載置板4に載置された被検査物品の集合Sとして出力する。すなわち、集合Sは次のようになる。
最後に、ステップS16において、出力モジュール44は、総合判定モジュール43が出力する被検査物品の集合Sと、予め設定された正しい物品の集合Sとを比較して、S=Sの場合には出力装置45に対して整合信号を出力し、S≠Sの場合には出力装置45に対して不整合信号を出力する。そして、出力装置45は、出力モジュール44から不整合信号が出力された場合には画像や音声によって使用者に対して警告を報知する。
以上のように、本実施例の粒状物品種検査装置1では、二次元の画像マッチングに加えて、ステレオ・マッチングにより薬剤の判別を行うとともに、各被検査物品の重量和によって判別候補の絞り込みを行うので、粒状物品の種類を判別し検査する際の判別精度を向上させることができる。更に、物品に印字や刻印が付されている場合には、その印字や刻印の照合も併せて行うことで、更に精度を向上させることができる。
また、本実施例においては、印字画像マッチング・モジュール35及び刻印画像マッチング・モジュール36を備えて、印字画像や刻印画像のマッチングも行うようにしたが、用途によっては、被検査物品に印字や刻印が付されていないことが最初から明らかな場合もある。そのような場合、模様画像抽出モジュール32、印字・刻印判別モジュール34、印字画像マッチング・モジュール35、刻印画像マッチング・モジュール36を省略することができる。これらのモジュールを省略する場合、共通候補抽出モジュール37は、常に、共通候補物品種集合Pとして、第1の候補物品種集合Aと第2の候補物品種集合Bとに共通して含まれる物品種の集合を抽出するように変更する。すなわち、共通候補物品種集合Pは次式のようになる。
尚、本実施例では、一例として、粒状薬剤の検査について述べたが、本発明の粒状物品種検査装置は、粒状薬剤以外の粒状の被検査物品についても適用することが可能である。
本発明の実施例1に係る粒状物品種検査装置の構成を示す図である。 実施例1に係る粒状物品種検査装置1の機能ブロック図である。 実施例1に係る粒状物品種検査装置1の動作を表すフローチャートである。 被検査物品Bの例である。 模様画像を含む物品画像の例である。 特許文献1に記載の分包薬剤の検薬装置を示す図である。
符号の説明
1 粒状物品種検査装置
2 撮影ユニット
3 制御装置
4 載置板
4a 遮光板
5 計重器
6 第一照明
7 第二照明
8 第三照明
9 第一カメラ
10 第二カメラ
11 第三カメラ
20 テンプレート記憶部
21 第一候補群記憶部
22 第二候補群記憶部
23 第三候補群記憶部
24 第四候補群記憶部
25 共通候補記憶部
26 共通候補順列記憶部
27 領域分離モジュール
28 画像選択モジュール
29 二次元画像マッチング・モジュール
30 ステレオ画像合成モジュール
31 ステレオ・マッチング・モジュール
32 模様画像抽出モジュール
33 照明コントローラ
34 印字・刻印判別モジュール
35 印字画像マッチング・モジュール
36 刻印画像マッチング・モジュール
37 共通候補抽出モジュール
38 重量判定モジュール
39,40,41,42 距離和演算モジュール
43 総合判定モジュール
44 出力モジュール
45 出力装置
A 包装袋
B 被検査物品

Claims (4)

  1. 被検査物品を載置する載置板と、
    前記載置板上に載置される被検査物品を斜め上方から撮像する第一の撮像装置と、
    前記載置板上に載置される被検査物品を前記第一の撮像装置とは異なる方角の斜め上方から撮像する第二の撮像装置と、
    前記載置板上に載置された被検査物品の総重量Mを検出する計重器と、
    前記第一及び第二の撮像装置で撮像されたそれぞれの画像から、前記載置板上に載置されたN個(N≧1)の被検査物品の画像を切り出して切出画像{G (n),…,G (n)}(n=1,2:nは撮像装置の番号)を生成する領域分離手段と、
    検査対象となる複数種の物品を、各物品種ごとに、その物品種pの物品を撮影したテンプレート二次元画像{T(p)}、その物品種の物品のステレオ・画像であるテンプレート・ステレオ画像{T(p)}、並びにその物品種の物品1個当たりの重量{m(p)}を当該物品種pと関連づけて記憶するテンプレート記憶手段と、
    前記テンプレート記憶手段に記憶された各テンプレート二次元画像T(p)と前記第一又は第二の撮像装置により撮像された前記各切出画像G (n)(i=1,…,N)との二次元画像マッチングを実行し、前記テンプレート二次元画像と前記切出画像との距離(以下「二次元画像距離」)L(G (n),T(p))が所定の閾値以下である候補となる物品種の集合(以下「第一の候補物品種集合」)A(i=1,…,N)を抽出する二次元画像マッチング手段と、
    前記第一及び第二の撮像装置により撮像されるN組の前記切出画像の対{(G (1),G (2)),…,(G (1),G (2))}から、N個の被検査物品のステレオ画像{S,…,S}を合成するステレオ画像合成手段と、
    前記テンプレート記憶手段に記憶された前記各テンプレート・ステレオ画像T(p)と、前記ステレオ画像合成手段により合成された前記各ステレオ画像S(i=1,…,N)とのステレオ・マッチングを実行し、前記テンプレート・ステレオ画像と前記ステレオ画像との距離(以下「ステレオ画像距離」)L(S,T(p))が所定の閾値以下である候補となる物品種の集合(以下「第二の候補物品種集合」)B(i=1,…,N)を抽出するステレオ・マッチング手段と、
    N個の前記各切出画像G(i=1,…,N)のそれぞれに対し、前記第一の候補物品種集合Aと前記第二の候補物品種集合Bとに共通して含まれる物品種の集合(以下「共通候補物品種集合」)P=A∩B={pik}を抽出する共通候補抽出手段と、
    N個の前記共通候補物品種集合P,…,Pのそれぞれから1つずつ物品種を取り出して集めた共通候補の順列(p1α1,…,pNαN)の中から、前記テンプレート記憶手段に記憶された物品種の物品1個当たりの重量を前記共通候補の順列(p1α1,…,pNαN)について足し合わせた総重量Mと、前記計重器が検出する総重量Mとの差|M−M|が所定の閾値ε以下となる共通候補の順列を抽出する重量判定手段と、
    前記重量判定手段により抽出された各共通候補の順列(p1α1,…,pNαN)に対して、各物品種piαiに対応するテンプレート二次元画像T(piαi)とそれに対応する切出画像G (n)との距離をその共通候補の順列について足し合わせた第一の距離和D=Σ(G (n),T(piαi))を算出する第一の距離和演算手段と、
    前記重量判定手段により抽出された各共通候補の順列(p1α1,…,pNαN)に対して、各物品種piαiに対応するテンプレート・ステレオ画像T(piαi)とそれに対応するステレオ画像Sとの距離をその共通候補の順列について足し合わせた第二の距離和D=Σ(S,T(piαi))を算出する第二の距離和演算手段と、
    前記重量判定手段により抽出された各共通候補の順列{(p1α1,…,pNαN)}のうち、前記第一の距離和Dと前記第二の距離和Dとの加重和c+cが最小となる共通候補の順列を抽出し、前記載置板に載置された被検査物品の集合として出力する総合判定手段と、
    を備えたことを特徴とする粒状物品種検査装置。
  2. 前記テンプレート記憶手段には、各物品種ごとに、その物品種の物品の表面に印字がある場合には、その印字を撮影した画像(以下「印字画像」)をテンプレート印字画像{T(p)}として、当該物品種pと関連づけて記憶され、その物品種の物品の表面に刻印がある場合には、その刻印を撮影した画像(以下「刻印画像」)をテンプレート刻印画像{T(p)}として、当該物品種pと関連づけて記憶されており、
    N個の前記各切出画像G (n)(i=1,…,N)のそれぞれについて、前記切出画像G (n)内の物品の表面に前記印字画像又は前記刻印画像(以下「模様画像」)が存在するか否かを判定し、前記模様画像が存在する場合にはその模様画像Qを抽出する模様画像抽出手段と、
    前記模様画像抽出手段により抽出された前記模様画像Qが、印字画像であるか刻印画像であるかを判別する印字・刻印判別手段と、
    前記印字・刻印判別手段により前記模様画像Qが前記印字画像と判別された場合、前記テンプレート記憶手段に記憶された前記各テンプレート印字画像T(p)と前記印字画像Qとの画像マッチングを実行し、前記テンプレート印字画像と前記印字画像との距離である印字画像距離L(Q,T(p))が所定の閾値以下である候補となる物品種の集合を第三の候補物品種集合C(i=1,…,N)として抽出する印字画像マッチング手段と、
    前記印字・刻印判別手段により前記模様画像Qが前記刻印画像と判別された場合、前記テンプレート記憶手段に記憶された前記各テンプレート刻印画像T(p)と前記刻印画像Qとの画像マッチングを実行し、前記テンプレート刻印画像と前記刻印画像との距離である刻印画像距離L(Q,T(p))が所定の閾値以下である候補となる物品種の集合を前記第四の候補物品種集合E(i=1,…,N)として抽出する刻印画像マッチング手段と、
    前記重量判定手段により抽出された各共通候補の順列(p1α1,…,pNαN)に対して、各物品種piαiに対応するテンプレート印字画像T(piαi)とそれに対応する印字画像Qとの距離をその共通候補の順列について足し合わせた第三の距離和D=Σ(Q,T(piαi))を算出する第三の距離和演算手段と、
    前記重量判定手段により抽出された各共通候補の順列(p1α1,…,pNαN)に対して、各物品種piαiに対応するテンプレート刻印画像T(piαi)とそれに対応する刻印画像Qとの距離をその共通候補の順列について足し合わせた第四の距離和D=Σ(Q,T(piαi))を算出する第四の距離和演算手段と、
    を備え、
    前記総合判定手段は、前記重量判定手段により抽出された各共通候補の順列{(p1α1,…,pNαN)}のうち、前記第一の距離和D、前記第二の距離和D、前記第三の距離和D、及び前記第四の距離和Dの加重和c+c+c+c(c、c,c,cは重み定数)が最小となる共通候補の順列を抽出し、前記載置板に載置された被検査物品の集合として出力すること
    を特徴とする請求項1記載の粒状物品種検査装置。
  3. 前記載置板は、透光性の板材からなり、
    前記載置板上に載置される被検査物品を前記載置板の下方乃至斜め下方から前記載置板を透して撮像する第三の撮像装置を備え、
    前記領域分離手段は、前記第一、第二、及び第三の撮像装置で撮像されたそれぞれの画像から、前記切出画像{G (n),…,G (n)}(n=1,2,3:nは撮像装置の番号)を生成し、
    前記二次元画像マッチング手段は、前記各テンプレート二次元画像T1k(k=1,2,…)と前記第一、第二、又は第三の撮像装置の何れかにより撮像された前記各切出画像G (n)(i=1,…,N)との二次元画像マッチングを実行し、前記二次元画像距離L(G (n),T1k)が小さい順に、前記第一の候補物品種集合A(i=1,…,N)を抽出するものであることを特徴とする請求項2記載の粒状物品種検査装置。
  4. 前記共通候補抽出手段は、N個の前記各切出画像G(i=1,…,N)のそれぞれに対し、
    当該切出画像Gに模様画像Qとして印字画像が含まれる場合には、前記第1の候補物品種集合Aと前記第2の候補物品種集合Bと前記第3の候補物品種集合Cとに共通して含まれる物品種の集合を前記共通候補物品種集合P=A∩B∩Cとして抽出し、
    当該切出画像Gに模様画像Qとして刻印画像が含まれる場合には、前記第1の候補物品種集合Aと前記第2の候補物品種集合Bと前記第四の候補物品種集合Eとに共通して含まれる物品種の集合を前記共通候補物品種集合P=A∩B∩Eとして抽出し、
    当該切出画像Gに模様画像Qが含まれない場合には、前記第1の候補物品種集合Aと前記第2の候補物品種集合Bとに共通して含まれる物品種の集合を前記共通候補物品種集合P=A∩Bとして抽出すること
    を特徴とする請求項2又は3に記載の粒状物品種検査装置。
JP2008292824A 2008-11-14 2008-11-14 粒状物品種検査装置 Expired - Fee Related JP5163985B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008292824A JP5163985B2 (ja) 2008-11-14 2008-11-14 粒状物品種検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008292824A JP5163985B2 (ja) 2008-11-14 2008-11-14 粒状物品種検査装置

Publications (2)

Publication Number Publication Date
JP2010117331A true JP2010117331A (ja) 2010-05-27
JP5163985B2 JP5163985B2 (ja) 2013-03-13

Family

ID=42305083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008292824A Expired - Fee Related JP5163985B2 (ja) 2008-11-14 2008-11-14 粒状物品種検査装置

Country Status (1)

Country Link
JP (1) JP5163985B2 (ja)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012005004A1 (ja) * 2010-07-09 2012-01-12 パナソニック株式会社 錠剤監査支援方法及び錠剤監査支援装置
JP2012098191A (ja) * 2010-11-03 2012-05-24 Waseda Univ 画像識別装置及びプログラム
JP2013042795A (ja) * 2011-08-22 2013-03-04 Daifuku Co Ltd 調剤監査システム
JP2013054673A (ja) * 2011-09-06 2013-03-21 Toshiba Tec Corp 情報処理装置及びプログラム
JP2013070752A (ja) * 2011-09-27 2013-04-22 Daifuku Co Ltd 調剤監査装置
JP2013183945A (ja) * 2012-03-08 2013-09-19 Contec Co Ltd 秤量装置
JP2013238493A (ja) * 2012-05-15 2013-11-28 Contec Co Ltd 薬剤秤量装置
JP2013236726A (ja) * 2012-05-14 2013-11-28 Contec Co Ltd 薬剤監査装置
WO2014188650A1 (ja) * 2013-05-22 2014-11-27 パナソニックヘルスケア株式会社 錠剤検査装置及び錠剤検査方法
JP2015057114A (ja) * 2014-11-25 2015-03-26 株式会社ダイフク 調剤監査システム
WO2015046044A1 (ja) * 2013-09-30 2015-04-02 富士フイルム株式会社 薬剤認識装置及び方法
WO2015152225A1 (ja) * 2014-03-31 2015-10-08 株式会社湯山製作所 薬剤撮影装置
JP5812228B1 (ja) * 2014-02-06 2015-11-11 株式会社湯山製作所 薬品撮影装置、薬品形状測定装置、薬品払出装置
JP2016015093A (ja) * 2014-07-03 2016-01-28 アレイ株式会社 錠剤識別装置およびその方法、並びに、分包錠剤監査装置
JP2017134762A (ja) * 2016-01-29 2017-08-03 東日本メディコム株式会社 医療情報提供システム、サーバ、端末装置、医療情報提供方法及びプログラム
WO2019039301A1 (ja) * 2017-08-22 2019-02-28 富士フイルム株式会社 薬剤識別装置、画像処理装置、画像処理方法及びプログラム
WO2019044439A1 (ja) * 2017-08-31 2019-03-07 富士フイルム株式会社 薬剤監査装置、画像処理装置、画像処理方法及びプログラム
US10402960B2 (en) 2013-09-26 2019-09-03 Fujifilm Corporation Drug verification device, drug verification system and drug verification method
JP2019154622A (ja) * 2018-03-09 2019-09-19 エイチエスティ・ビジョン株式会社 画像処理システム
JP2020075172A (ja) * 2014-09-25 2020-05-21 株式会社湯山製作所 鑑査支援システム、錠剤分包装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019039016A1 (ja) * 2017-08-25 2019-02-28 富士フイルム株式会社 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム
CN111052145B (zh) * 2017-08-25 2024-03-19 富士胶片富山化学株式会社 药剂检查辅助装置、图像处理装置、图像处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05337168A (ja) * 1992-06-10 1993-12-21 N T T Data Tsushin Kk 自動錠剤包装機
JPH07209196A (ja) * 1994-01-17 1995-08-11 Sanyo Electric Co Ltd 錠剤検査システム
JPH07287753A (ja) * 1994-04-19 1995-10-31 N T T Data Tsushin Kk 物品識別システム
JP2008018230A (ja) * 2006-06-14 2008-01-31 Tafutei:Kk 分包薬剤の検薬方法と検薬装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05337168A (ja) * 1992-06-10 1993-12-21 N T T Data Tsushin Kk 自動錠剤包装機
JPH07209196A (ja) * 1994-01-17 1995-08-11 Sanyo Electric Co Ltd 錠剤検査システム
JPH07287753A (ja) * 1994-04-19 1995-10-31 N T T Data Tsushin Kk 物品識別システム
JP2008018230A (ja) * 2006-06-14 2008-01-31 Tafutei:Kk 分包薬剤の検薬方法と検薬装置

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5351980B2 (ja) * 2010-07-09 2013-11-27 パナソニック株式会社 錠剤監査支援方法及び錠剤監査支援装置
WO2012005004A1 (ja) * 2010-07-09 2012-01-12 パナソニック株式会社 錠剤監査支援方法及び錠剤監査支援装置
JP2012098191A (ja) * 2010-11-03 2012-05-24 Waseda Univ 画像識別装置及びプログラム
JP2013042795A (ja) * 2011-08-22 2013-03-04 Daifuku Co Ltd 調剤監査システム
US9025816B2 (en) 2011-09-06 2015-05-05 Toshiba Tec Kabushiki Kaisha Image processing apparatus and method for object recognition
JP2013054673A (ja) * 2011-09-06 2013-03-21 Toshiba Tec Corp 情報処理装置及びプログラム
JP2013070752A (ja) * 2011-09-27 2013-04-22 Daifuku Co Ltd 調剤監査装置
JP2013183945A (ja) * 2012-03-08 2013-09-19 Contec Co Ltd 秤量装置
JP2013236726A (ja) * 2012-05-14 2013-11-28 Contec Co Ltd 薬剤監査装置
JP2013238493A (ja) * 2012-05-15 2013-11-28 Contec Co Ltd 薬剤秤量装置
JPWO2014188650A1 (ja) * 2013-05-22 2017-02-23 パナソニックヘルスケアホールディングス株式会社 錠剤検査装置及び錠剤検査方法
CN105208995A (zh) * 2013-05-22 2015-12-30 松下健康医疗控股株式会社 药片检查装置以及药片检查方法
US9958400B2 (en) 2013-05-22 2018-05-01 Panasonic Healthcare Holdings Co., Ltd. Pill inspection apparatus and pill inspection method
WO2014188650A1 (ja) * 2013-05-22 2014-11-27 パナソニックヘルスケア株式会社 錠剤検査装置及び錠剤検査方法
US10402960B2 (en) 2013-09-26 2019-09-03 Fujifilm Corporation Drug verification device, drug verification system and drug verification method
WO2015046044A1 (ja) * 2013-09-30 2015-04-02 富士フイルム株式会社 薬剤認識装置及び方法
JP2015068765A (ja) * 2013-09-30 2015-04-13 富士フイルム株式会社 薬剤認識装置及び方法
US10217012B2 (en) 2013-09-30 2019-02-26 Fujifilm Corporation Drug recognition device and method
JP5812228B1 (ja) * 2014-02-06 2015-11-11 株式会社湯山製作所 薬品撮影装置、薬品形状測定装置、薬品払出装置
WO2015152225A1 (ja) * 2014-03-31 2015-10-08 株式会社湯山製作所 薬剤撮影装置
JPWO2015152225A1 (ja) * 2014-03-31 2017-04-13 株式会社湯山製作所 薬剤撮影装置
US10969218B2 (en) 2014-03-31 2021-04-06 Yuyama Mfg. Co., Ltd. Medicine photographing device
AU2015239178B2 (en) * 2014-03-31 2019-12-05 Yuyama Mfg.Co.,Ltd. Medicine photographing device
JP2016015093A (ja) * 2014-07-03 2016-01-28 アレイ株式会社 錠剤識別装置およびその方法、並びに、分包錠剤監査装置
JP2020075172A (ja) * 2014-09-25 2020-05-21 株式会社湯山製作所 鑑査支援システム、錠剤分包装置
JP2021053511A (ja) * 2014-09-25 2021-04-08 株式会社湯山製作所 画像処理装置、プログラム
JP7010395B2 (ja) 2014-09-25 2022-01-26 株式会社湯山製作所 画像処理装置、プログラム
JP2015057114A (ja) * 2014-11-25 2015-03-26 株式会社ダイフク 調剤監査システム
JP2017134762A (ja) * 2016-01-29 2017-08-03 東日本メディコム株式会社 医療情報提供システム、サーバ、端末装置、医療情報提供方法及びプログラム
WO2019039301A1 (ja) * 2017-08-22 2019-02-28 富士フイルム株式会社 薬剤識別装置、画像処理装置、画像処理方法及びプログラム
CN110892413A (zh) * 2017-08-22 2020-03-17 富士胶片富山化学株式会社 药剂识别装置、图像处理装置、图像处理方法以及程序
JPWO2019039301A1 (ja) * 2017-08-22 2020-07-27 富士フイルム富山化学株式会社 薬剤識別装置、画像処理装置、画像処理方法及びプログラム
WO2019044439A1 (ja) * 2017-08-31 2019-03-07 富士フイルム株式会社 薬剤監査装置、画像処理装置、画像処理方法及びプログラム
JPWO2019044439A1 (ja) * 2017-08-31 2020-09-03 富士フイルム富山化学株式会社 薬剤監査装置、画像処理装置、画像処理方法及びプログラム
US11341357B2 (en) 2017-08-31 2022-05-24 Fujifilm Toyama Chemical Co., Ltd. Medicine inspection device, image processing device, image processing method, and program
JP2019154622A (ja) * 2018-03-09 2019-09-19 エイチエスティ・ビジョン株式会社 画像処理システム
JP6998048B2 (ja) 2018-03-09 2022-01-18 エイチエスティ・ビジョン株式会社 画像処理システム

Also Published As

Publication number Publication date
JP5163985B2 (ja) 2013-03-13

Similar Documents

Publication Publication Date Title
JP5163985B2 (ja) 粒状物品種検査装置
JP7238942B2 (ja) 薬剤判別ソフトウェア
US11651864B2 (en) Drug inspection apparatus and method
JP5916032B2 (ja) 薬剤検査支援装置及び方法
JP4256434B2 (ja) 分包薬剤の検薬方法と検薬装置
CN110418627B (zh) 药剂识别装置、药剂识别方法及药剂识别程序
JP3124296B2 (ja) 基準マークの位置および方向の検出方法
EP2720030B1 (en) Medicine management system and method using the same
CN109073564B (zh) 药剂监查装置及方法以及记录介质
CN110892445B (zh) 药剂检查辅助装置、药剂识别装置、图像处理装置、图像处理方法以及程序
EP3674696B1 (en) Medicine inspection assistance device, image processing device, image processing method, and non-transitory computer-readable recording medium
CN111031995A (zh) 药剂检查辅助装置、图像处理装置、图像处理方法以及程序
JP6853891B2 (ja) 薬剤監査装置、画像処理装置、画像処理方法及びプログラム
KR101977477B1 (ko) 음각 표시 인식 방법 및 장치, 이를 이용하는 폐의약품 분류 장치
JP5127087B2 (ja) Ptp包装機および錠剤分包機
JP5582610B2 (ja) 画像識別装置及びプログラム
JP6454249B2 (ja) 薬剤監査装置及び方法
JP7375049B2 (ja) 画像処理装置及び方法
JP7437259B2 (ja) 画像処理装置、薬剤識別装置、画像処理方法及び薬剤識別方法
US20230326068A1 (en) Ptp management system
EP4201389A1 (en) Type discriminating device, type discriminating method, type discriminating program, and drug sorting device
US20170200383A1 (en) Automated review of forms through augmented reality
JP2007108826A (ja) コード情報が付与された穿孔群を有する形成体の読み取り方法及びその読み取り装置
JP2009110169A (ja) 薬剤監査装置および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111024

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20111024

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121206

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5163985

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees