JP2021058688A - 光学文字認識を使用した薬物注射デバイスからの用量データの記録 - Google Patents

Abstract

【課題】データ収集デバイスを使用して薬剤用量を記録する方法を提供する。【解決手段】方法は、薬剤送達デバイスの薬剤用量インジケータの画像を捕捉する工程ｓ３．１と、画像のスケールを調節する工程ｓ３．３と、薬剤用量インジケータによって表示される１つまたはそれ以上の文字の歪みに関して画像を調節する工程と、画像での１つまたはそれ以上の文字の少なくとも１つの位置を決定する工程と、光学文字認識を使用して少なくとも１文字を識別する工程ｓ３．６と、光学文字認識の結果に基づいて、薬剤用量インジケータによって示される薬剤用量を決定する工程ｓ３．７とを含む。この方法は、携帯電話、タブレットコンピュータ、または他のデバイスなど、カメラを含むハンドヘルド電子デバイスを使用して実行される。【選択図】図３

Description

本発明は、薬剤送達デバイスからのデータ収集に関する。特に、本発明は、薬剤用量を記録するための方法およびデータ収集デバイスに関する。

薬剤の注射による定期的な治療を必要とする様々な疾患がある。そのような注射は、医療従事者または患者自身によって適用される注射デバイスを使用することによって行うことができる。一例として、１型および２型糖尿病は、例えば１日に１回または数回のインスリン用量の注射によって患者自身が治療することができる。例えば、事前充填型の使い捨てインスリンペンを注射デバイスとして使用することができる。代替として、再使用可能なペンが使用される。再使用可能なペンは、空の薬剤カートリッジを新しいものに交換することを可能にする。いずれのペンも、各使用の前に交換される１組の一方向針を含むことがある。次いで、注射予定のインスリン用量を、例えば投薬量ノブを回し、実際の用量をインスリンペンの投薬量窓またはディスプレイから観察することによって、インスリンペンで手動で選択することができる。次いで、適切な皮膚部分に針を挿入し、インスリンペンの注射ボタンを押すことによって用量が注射される。

インスリン注射を監視して、例えばインスリンペンの誤った取扱いを防止する、または既に適用された用量を追跡することを可能にするために、注射デバイスの状態および／または使用に関係する情報、例えば、注射されるインスリンのタイプ、注射の用量、およびタイミングのうちの１つまたはそれ以上を高い信頼性で正確に測定することが望ましい。

データ収集技法は、インスリン注射の監視以外の目的でも使用することができる。例えば、他の薬剤の注射、他の医学的活動、例えば患者による錠剤薬剤の摂取もしくは輸液の監視、または医療以外の目的、例えば安全上の理由による家庭もしくは産業環境での機器および／またはその操作の監視のためにデータが収集される。

一態様によれば、データ収集デバイスによって薬剤用量を記録する方法であって、データ収集デバイスのカメラによって、薬剤送達デバイスの薬剤用量インジケータの画像を捕捉する工程と、前記画像のスケールを調節する工程と、前記薬剤用量インジケータによって表示される１つまたはそれ以上の文字の歪みに関して前記画像を調節する工程と、画像での１つまたはそれ以上の文字の少なくとも１つの位置を決定する工程と、光学文字認識を使用して少なくとも１文字を識別する工程と、光学文字認識の結果に基づいて、薬剤用量インジケータによって示される薬剤用量を決定する工程とを含む方法が提供される。

データ収集デバイスは、携帯電話、タブレットコンピュータ、ＰＤＡ、または同様のデバイスなど、カメラを含むハンドヘルド電子デバイスでよい。そのようなデバイスは市販されている。したがって、特化されたまたは専用のデータ収集デバイスを必要とせずに薬剤送達が記録されて監視される。また、ユーザは、データ収集に関して自分が慣れたデバイスを利用することができるので、新たなデバイスに慣れて使用法を学習する必要なく、投薬量の記録を開始することができる。

画像を捕捉する前記工程は、様々な露出レベルを有する複数の画像を組み合わせて、高いダイナミックレンジを有する前記画像を提供する工程を含むことがある。そのような高いダイナミックレンジの画像の取得は、より高画質の画像および／または改良されたコン
トラストを提供することができ、少なくとも１文字の光学文字認識を容易にする。

また、この方法は、前記画像から色情報を取得する工程と、前記色情報に基づいて、投薬予定の薬剤のタイプを識別する工程とを含むことがある。色情報の取得する工程は、場合により、薬剤送達デバイスに提供される基準色情報に基づいて色バランス測定量を取得する工程を含むことがある。これは、ユーザからの特定の入力なしで、薬剤タイプに関する情報が自動的に取得されるようにすることができ、取得される情報の信頼性を改良することができる。

薬剤送達デバイスは、投薬予定の薬剤の前記量を選択するための可動構成要素を含む注射器ペンでもよい。

また、この態様は、プロセッサによって実行されたとき、上記の方法のいずれかが行われるようにするコンピュータ可読命令を含むコンピュータプログラムを提供する。

そのようなコンピュータプログラムは、例えば、スマートフォンソフトウェアアプリケーション（「アプリ」）、またはタブレットコンピュータ用の「アプリ」として提供される。

この態様はまた、カメラと、処理構成とを含むデータ収集デバイスであって、処理構成は、前記カメラを使用して、薬剤送達デバイスの薬剤用量インジケータの画像を捕捉し、前記画像のスケールを調節し、前記薬剤用量インジケータによって表示される１つまたはそれ以上の文字の歪みに関して前記画像を調節し、画像での前記１つまたはそれ以上の文字のうちの少なくとも１つの位置を決定し、光学文字認識を使用して少なくとも１文字を識別し、前記光学文字認識の結果に基づいて薬剤用量インジケータによって示される薬剤用量を決定するように構成されるデータ収集デバイスを提供する。

データ収集デバイスは、携帯電話またはタブレットコンピュータなどのハンドヘルド電子デバイスでよい。

処理構成は、前記カメラによって捕捉された、様々な露出レベルを有する複数の画像を組み合わせて、高いダイナミックレンジを有する前記画像を提供するように構成される。

処理構成は、薬剤送達デバイスの少なくとも１つの構成要素の色を識別し、前記色に基づいて前記薬剤のタイプを決定するように構成される。いくつかの実施形態では、処理構成は、薬剤送達デバイスに提供される基準色情報を示す画像に基づいて色バランス測定量を取得するように構成される。

次に、添付図面を参照して、本発明の例示的実施形態を説明する。

薬物送達デバイスの分解図である。 図１ａの薬物送達デバイスのある細部の斜視図である。 本発明の一実施形態によるデータ収集デバイスのブロック図である。 本発明の別の実施形態によるデータ収集デバイスのブロック図である。 本発明の一実施形態によるデータ収集方法の流れ図である。 それぞれ、表示される数表示（ｄｉｇｉｔ）の例と共に、図１ａの薬物送達デバイスの投薬量窓の一部分を示す図である。 それぞれ、表示される数表示（ｄｉｇｉｔ）の例と共に、図１ａの薬物送達デバイスの投薬量窓の一部分を示す図である。 投薬量窓に表示される数表示に対応する２値化された数表示の例を示す図である。 投薬量窓に表示される数表示のさらなる例を図式的に示す図である。 投薬量窓に表示される数表示のさらなる例を図式的に示す図である。 投薬量窓に表示される数表示のさらなる例を示す図であり、ここで、主数表示行が２桁を含む図である。

以下、インスリン注射デバイスに関して本発明の実施形態を説明する。しかし、本発明はそのような用途に限定されず、本明細書で上述したように、他の薬剤を吐出する注射デバイス、他のタイプの薬剤送達デバイスと共に等しく十分に展開される。

図１ａは、薬剤送達デバイスの分解図である。この例では、薬剤送達デバイスは、ＳａｎｏｆｉのＳｏｌｏＳＴＡＲ（登録商標）インスリン注射ペンなどの注射デバイス１である。

図１ａの注射デバイス１は、ハウジング１０を含み、インスリン容器１４を含む事前充填型の使い捨て注射ペンであり、インスリン容器１４に針１５を取り付けることができる。針は、内側ニードルキャップ１６および外側ニードルキャップ１７によって保護され、外側ニードルキャップ１７は、キャップ１８によってカバーすることができる。注射デバイス１から吐出予定のインスリン用量は、投薬量ノブ１２を回すことによって選択することができ、次いで、選択された用量は、例えばいわゆる国際単位（ＩＵ）の倍数で投薬量窓１３を通して表示され、ここで、１ＩＵは、約４５．５マイクログラム（１／２２ｍｇ）の純粋な結晶性インスリンの生物学的等量である。投薬量窓１３に表示される選択された用量の一例は、図１ａに示されるように、例えば３０ＩＵでよい。選択された用量を別の形で同様に表示することもできることに留意すべきである。

投薬量窓１３は、ハウジング１０のアパーチャの形態でよく、投薬量ノブ１２が回転されるときに動くように構成された数字スリーブ７０の限られた部分をユーザが閲覧することを可能にする。投薬量窓１３に表示された数字の画像の撮影を容易にするために、数字スリーブ７０は艶消し面を有することがある。

ハウジング１０にはラベル１９が設けられている。ラベル１９は、薬剤を識別する情報を含めて、注射デバイスに含まれる薬剤に関する情報を含む。薬剤を識別する情報は、テキストの形でよい。薬剤を識別する情報は、色の形でもよい。例えば、ラベル１９は、背景を有してもよく、または注射デバイスに提供された薬剤の特定のタイプに対応する色を有するボーダー線など陰付き要素を含むことができる。代替として、または追加として、ラベルは、そのような情報を記憶するＲＦＩＤタグまたは同様のデバイスを含むことができる。

場合により、注射ボタン１１または投薬量ノブ１２など注射デバイスの１つまたはそれ以上の部品を、薬剤に対応する色を有する材料から形成することもできる。場合により、注射デバイス１のインスリン容器（図示せず）の一部は、薬剤タイプを示すカラーコード化された部分を含んでいてよく、投薬量窓１３を通して閲覧可能でよい。追加として、または代替として、薬剤を識別する情報は、バーコードまたはＱＲコード（登録商標）などに符号化される。薬剤を識別する情報は、白黒パターン、カラーパターン、または陰影の形でもよい。

投薬量ノブ１２を回すと、機械的なクリック音が、ユーザに音響フィードバックを提供する。数字付きスリーブ７０は、インスリン容器１４にあるピストンと機械的に相互作用
する。針１５が患者の皮膚部分に刺され、次いで注射ボタン１１が押されるとき、投薬量窓１３に表示されたインスリン用量が注射デバイス１から吐出される。注射ボタン１１が押された後、特定の時間にわたって注射デバイス１の針１５が皮膚部分に留まるとき、用量の高いパーセンテージが患者の体内に実際に注射される。インスリン用量の吐出も機械的なクリック音を引き起こし、しかしこの音は、投薬量ノブ１２を使用するときに発生される音とは異なる。

注射デバイス１は、インスリン容器１４が空になるか、注射デバイス１の有効期限（例えば最初の使用から２８日）に達するまで、数回の注射プロセスにわたって使用される。

さらに、最初に注射デバイス１を使用する前に、針１５を上向きにして注射デバイス１を保持しながら、例えば２ユニットのインスリンを選択して注射ボタン１１を押すことによって、インスリン容器１４および針１５から空気を除去するためにいわゆる「プライムショット」を行うことが必要なことがある。

提示を簡単にするために、以下では、吐出される用量が注射される用量に実質的に対応すると例示的に仮定し、したがって、例えば、次に注射予定の用量に関する提案を行うとき、この用量は、注射デバイスによって吐出しなければならない用量に等しい。それにも関わらず、当然、吐出される用量と注射される用量との差（例えば損失）が考慮に入れられる。

図１ｂは、閲覧窓１３と投薬量ノブ１２との間に位置されている位置特定リブ７１を示す、注射デバイス１の端部の拡大図である。

図２ａは、本発明の一実施形態によるデータ収集デバイスのブロック図であり、このデータ収集デバイスは、図１の注射デバイス１から、インスリンのタイプ、投薬量、注射のタイミングなどのデータを収集するために使用される。

図２ａに示される特定の例では、データ収集デバイスは、内蔵カメラ２１と処理構成２２とを含む携帯電話２０または「スマートフォン」であり、処理構成２２は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など、１つまたはそれ以上のプロセッサを含む。また、携帯電話２０は、読み出し専用メモリ２３およびランダムアクセスメモリ２４を含むメモリユニット２３、２４を含み、これらのメモリユニット２３、２４は、処理構成２２によって実行するためのソフトウェアを記憶することができる。また、携帯電話２０は、携帯電話ネットワーク、パーソナルエリアネットワーク、ローカルワイヤレスネットワーク、およびインターネットのうちの１つまたはそれ以上との双方向通信を可能にするために、アンテナ２５および送受信機２６などの通信機器２５、２６を含む。さらに、携帯電話２０は、キーパッド２７およびマイクロホン２８などの入力構成２７、２８と、スピーカ２９およびディスプレイ３０などの出力構成２９、３０とを含む。いくつかの実施形態では、入力構成２７、２８は、ディスプレイ３０の一部または全体を利用するタッチスクリーンの一部の形態で、キーパッド２７を含むことがある。また、携帯電話２０は、カメラ２１、処理構成２２、メモリユニット２３、２４、通信機器２５、２６、入力構成２７、２８、および出力構成２９、３０との間の通信を可能にする通信バス３１も含む。

図２ｂは、図１の注射デバイス１からデータを収集するために使用される本発明の別の実施形態によるデータ収集デバイスのブロック図である。

図２ｂに示される特定の例では、データ収集デバイスは、タブレットコンピュータ３２
である。タブレットコンピュータ３２は、内蔵カメラ２１と、マイクロプロセッサ、デジタル信号処理装置（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など、１つまたはそれ以上のプロセッサを含む処理構成２２と、読み出し専用メモリ２３およびランダムアクセスメモリ２４を共に含むメモリユニット２３、２４とを装備され、これらのメモリユニット２３、２４は、処理構成２２によって実行するためのソフトウェアを記憶することができる。また、タブレットコンピュータ３２は、携帯電話ネットワーク、パーソナルエリアネットワーク、ローカルワイヤレスネットワーク、およびインターネットのうちの１つまたはそれ以上との双方向通信を可能にするために、アンテナ２５および送受信機２６などの通信機器２５、２６を含む。この特定の例では、タブレットコンピュータ３２は、さらに、入力構成およびディスプレイとして働くタッチスクリーン３３と、スピーカ３０と、場合によりマイクロホン２８とを含む。タブレットコンピュータ３２はまた、通信バス３１を含み、この通信バス３１は、カメラ２１、処理構成２２、メモリユニット２３、２４、通信機器２５、２６、タッチスクリーン３３、スピーカ３０、および提供される場合にはマイクロホン２８の間の通信を可能にする。

これらの特定の例では、携帯電話２０またはタブレットコンピュータ３３のメモリユニット２３、２４に記憶されているソフトウェアは、ソフトウェアアプリケーションまたは「アプリ」を含み、これは、処理構成２２によって実行されるときに、携帯電話２０またはタブレットコンピュータ３３に、注射デバイス１の画像の撮影および画像の処理を行わせて、注射デバイス１での薬剤のタイプおよび／または選択された用量に関するデータを取得する。次に、図３〜９を参照して本発明の一実施形態による例示的な方法を述べる。

図３の工程ｓ３．０から始めて、カメラ２１は、注射デバイス１（工程ｓ３．１）の少なくとも投薬量窓１３の画像を撮影するように制御される。いくつかの実施形態では、アプリは、処理構成２２が、カメラ２１の視野の「ライブビュー」に基づいてカメラ２１に対する注射デバイス１の位置決めに関する命令を提供することによって、画像が撮影される前にユーザにガイダンスを提供するように構成される。例えば、アプリは、投薬量窓１３への良好な合焦を得ることができる距離にカメラ２１を位置決めするようにユーザをガイドするように構成される。特定の実施形態では、カメラと注射デバイス１との距離が約３０ｃｍであるときに、そのような合焦が実現される。

さらに、薬剤情報がラベル１９など注射デバイス１の別の部分にのみ含まれている場合、アプリによって、処理構成２２は、ディスプレイ２９にメッセージを提供することおよび／またはスピーカ３０を介して告知を提供することによって、注射デバイス１のその部分を含むようにデータ収集デバイス２０、３３のユーザに命令することがある。

場合により、カメラ２１は、様々な露出時間で注射デバイス１の複数の画像を撮影するためにアプリによって制御され、処理構成２２は、複数の画像を組み合わせて、高ダイナミックレンジ（「ＨＤＲ」）の画像を提供するように構成される。

次いで、この実施形態では、処理構成２２は、前処理（工程ｓ３．２）を行って、以下の工程を実行することによって画像データ品質を査定し、必要であれば改善する：
・欠陥および不良画素の補正
・光補正
・歪曲
・ジッタ

例えば、露出制御アルゴリズムは、明るすぎるまたは暗すぎるピクチャを拒絶し、ユーザは、露出パラメータを調節することができるように新たなピクチャを撮影するように命
令される。前処理は、場合によって採用される機能であることに留意されたい。アプリは、画像の前処理なしで所要の規格に合うように動作するように設計することもできる。

代替として、アプリは、適切な照光を提供するために、例えばカメラ２１に関連するフラッシュユニットを使用して、露出パラメータの制御または追加の照明の制御を処理構成に行わせるように構成される。

データ収集デバイス２０、３２はハンドヘルドなので、注射デバイス１とカメラ２１との距離、投薬量窓１３の向き、およびカメラ２１に対するラベル１９（提供される場合）は固定されない。これに鑑みて、処理構成２２は、投薬量窓１３に表示された文字のサイズが所定の範囲内になるように画像のスケールを調節する（工程ｓ３．３）。

さらに、処理構成２２は、カメラに対する注射デバイス１の向きに基づく投薬量窓１３に表示される文字の歪み、および／または投薬量窓１３に表示される文字の任意の傾きを補正することによって、画像を調節することができる（工程ｓ３．４）。例えば、投薬量窓１３での数字は、ユーザによる認識および位置決めを容易にするために傾けられるが、その傾きがなくされる場合、データ収集デバイス２０、３２によって復号するのがより容易になることがある。

スケールおよび歪みの調節は、所定の形状および／またはサイズの注射デバイス１の特徴の分析に基づくことがある。例えば、処理構成２２は、投薬量窓１３、ラベル１９、注射デバイス１でのロゴ（図示せず）、および／または画像内の注射デバイス１の他の特徴を識別し、それらの特徴の予想される形状および／またはサイズに関する情報に基づいて、カメラ２１によって撮影された画像のスケールおよび位置合わせを調節し、画像に含まれるテキストおよび数字の歪みを補正する。

いくつかの実施形態では、アプリはまた、処理構成２２を制御して、投薬量窓１３と、薬剤情報を含む注射デバイス１の特定の部分（例えばラベル１９）とが画像に含まれているかどうか判断することができる（工程ｓ３．５）。注射デバイス１のそれらの部分が含まれていない場合、新たな画像を撮影するようにユーザに命令が提供される。この判断は、画像内の注射デバイス１のスケールと、画像内の注射デバイス１の１つまたはそれ以上の部分の位置とに基づく。代替として、画像を撮影する前に「ライブビュー」に基づいてユーザがガイドされる実施形態では、アプリは、注射デバイス１の関連する部分がビデオカメラ２１の視野内にあるように、カメラ２１に対する注射デバイス１の適切な位置決めに関するさらなるガイダンスをユーザに提供することがある。

また、いくつかの実施形態（図示せず）では、窓の脇に印刷された２Ｄバーコードが読み取られることになり、この２Ｄバーコードは、薬物タイプ、消費期限、バッチ番号などの薬物情報を含む。それにより、ペン本体の色検出は不要である。

次いで、処理構成２２は、アプリに含まれる光学文字認識（ＯＣＲ）ソフトウェアを使用して、画像から文字を認識することを試み（工程ｓ３．６）、投薬量窓１３に表示された数字または他の投薬量標示を決定する（工程ｓ３．７）。

図４および５は、投薬量窓１３の一部分を示し、表示される数字の例を示す。図４では、数表示３４（この場合は６ＩＵを示す数字６）が投薬量窓１３の中央に表示されるように用量が注射デバイス１にダイヤル設定されている。図５では、７ＩＵの投薬量が注射デバイス１にダイヤル設定され、数字６および８をそれぞれ表す数表示３５、３６が共に用量窓１３に表示され、これらの数字の間のスペースが用量窓１３の中央領域を占める。この特定の実施形態では、処理構成２２は、図４および５に示した状況の両方が正確に復号
されるようにするアルゴリズムを実行するように構成される。

ＯＣＲプロセスは、以下の工程を含む：
・２値化
・セグメント化
・パターンマッチング
・位置計算

いくつかの実施形態では、ＯＣＲプロセスのより高い信頼性を提供するために並列に動作させられる２つのＯＣＲアルゴリズムが存在することがある。そのような実施形態では、２つのＯＣＲアルゴリズムは同じ入力画像を有し、同じ出力を提供することを意図される。どちらも同様の工程を行うが、各工程で使用される個々の方法は異なることがある。これら２つのＯＣＲアルゴリズムは、２値化、セグメント化、パターンマッチング、および位置計算工程の１つ、またはこれらの工程の複数で異なることがある。同じ結果を提供するために異なる方法を使用する２つのＯＣＲ部分を有することにより、２つの独立した方法でデータが処理されるので、アルゴリズム全体の信頼性が向上する。

ＯＣＲプロセスでは、カメラ２１によって取得され、上述したように調節されたカラーまたはグレースケール画像が、２値化プロセスによって、図６に示されるような純粋に白黒の画像３７に変換される。投薬量窓での明るい背景に暗色の数字が提示される例では、白黒画像は、図６の例に示されるように、黒い画素で数表示３８、３９の存在を示し、白い画素で数表示の不在を示す。いくつかの実施形態では、黒い画素と白い画素を分けるために固定閾値が使用される。２値化されたピクチャにおいて、閾値以上の値を有する画素は白になり、閾値未満の画素は黒になる。高い閾値はアーチファクト（白い領域内の黒い部分）をもたらし、低い閾値は、いくつかの場合には数字の一部が欠落するリスクを有する。いくつかの実施形態では、アルゴリズムは一般にアーチファクトに対してロバストである（すなわち、いくらかのアーチファクトがあっても正確なＯＣＲプロセスを実施することができる）ので、閾値は、数字の一部が欠落しないように選択される。２５６のグレー値を用いて画像が分析された試験では、１２７の閾値が良好な結果を示した。

例えば前処理で光補正が行われた場合、固定閾値の使用が可能である。光補正と固定閾値との組合せは、窓平均２値化と同様である。窓平均２値化は、画素値と、それが位置される領域の画素の平均値とを比較する。歪曲および傾き補正工程の前に光補正工程を実施することは、ＯＣＲプロセスに関する使用のためにより多くの情報が入手可能であることを意味し、これは、ピクチャの縁部および隅部でより良い結果をもたらすことが示されている。

代替として、図６に示される２値化画像３７と同様の２値画像を生成するために、捕捉されたグレースケール画像に大津の閾値法が適用される。いくつかの代替実施形態では、２値化が省略され、アルゴリズムのＯＣＲ部分は、捕捉されたカラーまたはグレースケール画像に対して行われる。

次いで、セグメント化が行われる。アルゴリズムのこの部分の目的は、画像でのそれぞれの見えているまたは一部見えている数字の正確な位置を決定することである。これを実現するために、アルゴリズムは、数表示の縁部を見出すことによって、見えている数字の境界を定義する。これは、一般に２工程で達成され、これらの工程は任意の順序で実施される。再び図４および５を参照すると、処理構成２２は、２値化画像３７を構成する画素列が分析される「垂直投影」を行うことがある。各画素列が個別に分析され、各列の黒い画素の数の合計が計算される。いくつかの実施形態では、黒い画素を１つも有さない画素列のみが数字の縁部を定義する。代替として、汚れ、引掻き傷、および他の外乱を見込ん
で、黒い画素の数に関する低い閾値が設定される。隣接する列に関する差分値が計算され、最大の差を有する境界が数字の縁部を表す。さらに、数字の水平縁部を決定する助けとなるように、重なり合う列グループ（例えば隣接する３列）の画素内容が計算される。

次いで、処理構成は、２値化画像３７を構成する画素行が解析される「水平投影」を行う。これは、垂直投影に関して上述したのと同様に進行する。

水平投影の予想される結果が垂直投影の結果に追加され、それにより、見えている数字の縁部が識別されるようにする。処理構成２２は、数字全体の（画素行での）予想される高さを予めプログラムされ、それにより、一部見えている数字の存在を認識することが可能である。

別の実施形態では、「水平投影」および「垂直投影」は、各行および列における白い画素の予想される数が既知であると仮定して白い画素の合計が計算される分析に基づくことがある。

正確な位置を知ることは、ＯＣＲプロセスでの次の工程に関して、見えている数字を表す画像の部分のみを使用することを可能にする。これにより、数字以外の他の物、例えば汚れ、引掻き傷、および他の外乱の影響を低減することができる。さらに、後続の工程（例えばパターンマッチング工程）で処理される画素の総数も減少される。これは、資源要件を低減させる助けとなる。これは、性能を向上させる助けにもなる。さらに、正確な位置を知ることは、画像の中心に対する垂直位置の決定も支援する。

ＯＣＲプロセスでの次の工程は、復号および識別されるように見えている数字の１つを選択することである。これは、数字の１つを「主数表示行」として指定することによって行われる。主数表示行は、見えている数字のどれが最大高さを有するかに基づいて選択される。これは、スリーブ７０に印刷されている数字の全てがほぼ同じ高さを有し、最大高さを有する数字が完全に見え、したがって高い確実性で復号することが容易であると仮定することができるからである。図７に示される例では、数字「６」は、上下に一部見えている数字よりも大きい高さを有し、したがって主数表示行として選択される。図８に示される例では、数字「６」と「８」の両方が完全に見えており、同じ高さを有する。この場合、最上部の数字が主数表示行として選択される。主数表示行は、注射デバイス１にダイヤル設定された用量を決定するために後で使用される数字である。

インスリンの自己投与用の標準的な注射デバイス１は、１〜８０ＩＵの任意の単位数の薬剤を注射することができる。したがって、主数表示行として識別された数字を適切に復号するために、その数字が１桁からなるか２桁からなるかを決定しなければならない。したがって、処理構成２２は、一連の工程を行って、各数字が１桁からなるか２桁からなるかを決定し、２桁の場合には、数表示を互いに分離する。処理構成２２は、この目的のために、前に計算された列画素情報を使用することがある。図９に示される例では、９ＩＵの薬剤の投与量が注射デバイス１にダイヤル設定されている。水平投影および垂直投影の予想される結果が示される。数字「１０」は、数字「８」よりも大きい高さであり、したがって主数表示行として選択される。

この後、処理構成２２は、選択された主数表示行が予め定義された「最大数表示幅」値よりも広いかどうかを決定する。処理構成２２は、捕捉された画像内の数字の予想されるサイズに関係する情報を予めプログラムされ、それにより、１桁に関する最大予想幅を定義することができる。信頼性を高めるために、最大幅は、最も広い数字よりも大きい少数の画素列分だけ広い幅として設定される。主数表示行の幅が最大数表示幅以下である場合、その行は１桁のみを含むと仮定される。主数表示行が１桁であるには広すぎる場合、（
画像全体ではなく）主数表示行に対して第２の垂直投影が行われる。さらに、分離が生じるはずの点を予測するために、個々の桁それぞれの予想される幅が使用される。

図９に示される例示的な視野９００は、数字が十分に離隔されている図式表現である。他の構成では、利用可能なスペースが限られているため、および数字がユーザに可読である必要があるため、投薬量窓内で数字がかなり近接し合って表示される。したがって、２値化後、数字を構成する２つの桁を明確に分離することができないことがあり、すなわち、２つの桁の間に黒い画素を有さない列が存在しないことがある。これは、図６に示される例示的な２値化画像の場合であり、上側の数表示３８の「７」と「４」は、黒い画素を含まない画素列を間に有さない。この場合、やはり、個々の桁それぞれの予想される幅が、分離が生じるはずの点を予測するために使用される。予測された列が黒い画素を含む場合、最良の分離点を決定するために、この列と隣接する列との偏差が計算される。この状況では、選択された分離する列での黒い画素が左の桁に属するか右の桁に属するかは明らかでないので、それらの画素は無視される。これは、桁を正しく識別するためのＯＣＲプロセスの信頼性に最小限の影響しか与えないことが示されている。

次いで、主数表示行での数表示を識別するために、パターンマッチングプロセスが行われる。各数字に関するテンプレートがアプリによって予めプログラムされており、次いで、識別された数表示が、これらのテンプレートと比較される。単純な手法では、パターンマッチングを画素毎に行うことができる。しかし、これは高い計算力を必要とすることがあり、画像とテンプレートとの位置のばらつきが生じやすいことがある。テンプレートが使用される場合、アプリは、例えば、１つまたはそれ以上の数表示のサイズを変え、定義された画素領域に合わせて数字をトリミングし、イタリック体で印刷された数字を変形して直立させることによって、画像の数字に対する他のタイプの操作を処理構成２２に行わせるように構成される。これらの操作は、記憶されているテンプレートとのパターンマッチング比較の前に行われる。代替として、これらの操作は、２値化プロセス前の前処理で行われる。追加の陰影、歪曲、および露出補正を行うこともできる。

いくつかの他の実施形態では、特徴認識プロセスが行われる。特徴は、水平、垂直、または対角線、曲線、円、または閉ループなどでよい。そのような特徴は、選択された数字の画像で認識され、テンプレートと比較される。

さらなる実施形態では、パターンマッチングアルゴリズムは、ベクトル比較プロセスに基づくことがある。例えば、テンプレートは、黒い画素の各ライン（連続線）の位置および長さを記述するベクトルの形でよい。一例では、位置および長さは、それぞれの線での絶対位置に関係する。別の例では、位置および長さは、テンプレートの中心を通って延びる垂直線に関係する。各桁の捕捉された２値画像は、同様にベクトルに変換され、記憶されているテンプレートそれぞれと順に比較されて最良の一致を見出す。捕捉された画像のベクトルを特定の数表示テンプレートと比較するとき、偏差があると、画像とそのテンプレートとの一致の尤度に関してペナルティ（ｐｅｎａｌｔｙ）が適用される。ペナルティの大きさは、テンプレートと比較した、画像での欠落したまたは余剰の黒い画素の数に依存することがある。数表示画像が各テンプレートと比較され、全てのペナルティが適用された後、どの数表示が存在するか判断される。良好な光学条件では、適正なテンプレートは非常に低いペナルティを有し、他の全てのテンプレートは高いペナルティを有する。主数表示行が２桁からなる場合、このプロセスが両方の桁に対して行われ、次いで、処理構成２２は、それらの結果を組み合わせて、その数字に関する最終結果を生成することができる。

特定の数表示に対して特別な手段が存在することがある。例えば、「１」の幅は、全ての他の数表示から実質的に逸脱しており、誤検出がよくある。これに対処するために、数
表示の２値画像は、「１」の予想される幅よりも広い場合、記憶されている「１」のベクトルテンプレートと比較されるときに追加の検出ペナルティを受ける。

いくつかの例外的な場合には、主数表示行のパターンマッチングの結果の信頼度が特定の閾値（例えば９９％）を下回る場合、プロセッサは、他の見えているまたは一部見えている数字の１つまたはそれ以上に対して第２のパターンマッチングプロセスを行うことがある。数字の順序が分かっているので、この第２のパターンマッチングは、第１のパターンマッチングが正しい結果を返したことのチェックとなり得る。

結果の信頼度がまだ十分に高くない場合には、第２の画像を取得するようにユーザに命令が提示され、工程ｓ３．１〜ｓ３．６が繰り返される。代替として、エラーメッセージが表示される。

主数表示行の数表示の識別に成功した後で、注射デバイス１にダイヤル設定される用量を決定するために重み関数が適用される。重み関数を公式化するために、投薬量窓１３の中心に対する主数表示行の垂直位置が決定される。これは、画像内の投薬量窓１３の中心線を表す画素行に対する、主数表示行を構成する中央画素行のオフセットを計算することによって行われる。

例えば、いくつかの実施形態では、光センサは、感光性素子の長方形の６４×４８アレイを含む。得られる２値画像は、これらの同じ寸法を有する画素アレイである。第２４および／または第２５の画素行が、画像の中心行として指定される。主数表示行を構成する中央画素行の位置が決定される。次いで、画素行における、主数表示行を構成する中央画素行と画像の中心行とのオフセットが計算される。このオフセットは、オフセットの方向に応じて正のことも負のこともある。オフセットは、連続する数字間の（画素行での）距離で除算することによって小数に変換され、その後、それに従って、決定された数字に適用される。したがって、オフセットは、センサに対する数字の回転位置を決定することを可能にする。主数表示行の中心画素行が画像の中心画素行と同じである場合、オフセットはゼロであり、位置は主数表示行の数字と等しい。しかし、ほとんどの状況で、いくらかのオフセットがある可能性が高い。

数字は注射デバイスメカニズムの離散的な機械的運動に関係する用量を表すので、数字スリーブ７０に印刷された連続する数字間の距離は一定である。したがって、捕捉された画像での連続する数字間の（画素行での）距離も一定にすべきである。数字の予想される高さと、数字間のスペースとは、アプリに予めプログラムされる。一例として、各数字の予想される高さは２２画素でよく、数字間のスペースの予想される高さは６画素でよい。したがって、連続する数字の中心画素行間の距離は２８画素になる。

この例を続けると、画素行が画像の上から下へ順次に番号付けされている場合、重み関数の適用は数学的に以下のように定義される：
位置＝主数表示行の数字＋［２×オフセット／（数字の予想される高さ＋スペースの予想される高さ）］
ここで、オフセット＝投薬量窓の中心に対応する画像行の数字−主数表示行の中心行の数字である。

したがって、主数表示行が画像の上半分にある場合、オフセットは正であり、主数表示行が画像の下半分にある場合、オフセットは負である。例えば、主数表示行に示される数字が「６」で、オフセットがゼロである場合、計算される位置は以下のようになる：
位置＝６＋［２×０／（２８）］＝６

したがって、予想通り、「６」という結果が返される。

別の例では、７５ＩＵが注射デバイス１にダイヤル設定される場合、上の数字「７４」が主数表示行として選択され、上式に従って１１画素行の正のオフセットがある場合、この場合も数字／スペース高さの合計が２８画素であると仮定すると、計算される位置は以下のようである：
位置＝７４＋［２×１１／（２８）］＝７４．７９

次いで、この結果は、最も近い整数に切り上げられ、予想通り、「７５」という位置決定を与える。

上述した重み関数および位置決定は一例を表すにすぎず、同じ結果に至るために多くの他の計算法を使用することができることを当業者は理解されよう。また、計算時間を短縮するために、上述した数学的計算が修正されて改良されることもあることを当業者は理解されよう。したがって、重み関数の厳密な形式は、本発明の定義には重要でない。

いくつかの注射デバイスでは、スペースの制約と、数字が特定のサイズである必要性とにより、偶数のみが投薬量窓１３に提示される。いくつかの他の注射デバイスでは、奇数のみが表示される。しかし、薬剤の任意の単位数を注射デバイス１にダイヤル設定することができる。他の注射デバイスでは、偶数と奇数の両方が提示され、半単位用量（ｈａｌｆ−ｕｎｉｔ ｄｏｓｅ）を注射デバイスにダイヤル設定することが可能であり得る。注射デバイスは、８０ＩＵの最大ダイヤル用量に制限される。代替として、２つおき、３つおき、または４つおきの数字のみが表示され、数字の間の用量は目盛によって示される。これに鑑みて、アプリは、注射デバイス１で使用されているナンバリングシーケンス（ｎｕｍｂｅｒｉｎｇ ｓｅｑｕｅｎｃｅ）を識別するように処理構成２２を制御するための命令を含むことがある。例えば、ユーザは、キーパッド２７もしくはタッチスクリーン３３を介して注射デバイス１に関する情報を入力するように促され、または、画像から、例えばラベル１９のテキストもしくはバーコードから得られた情報が使用される。アプリは、ルックアップテーブル、または様々な注射デバイス１に使用されるナンバリングシーケンスを示す他の情報を含むことがある。次いで、処理構成２２は、ＯＣＲデータと、注射デバイス１に適したナンバリングシーケンスとの両方に基づいて、選択された用量を決定することがある。代替として、または追加として、数字の高さおよび数字間のスペースのサイズも修正されるとき、重み関数の修正された形式を使用することができる。

この方法は、場合により、サニティチェック（ｓａｎｉｔｙ ｃｈｅｃｋ）およびヒステリシス計算の実施などの後処理を含むことがある。代替として、ＯＣＲプロセスの結果は、後処理なしで完了される。

薬剤のタイプに関する情報は、ラベル１９を含む画像の一部からＯＣＲを使用すること、ラベル１９を含む画像の一部からバーコードを抽出して解釈すること、または画像から薬剤タイプを示す注射デバイス１の一部の色を識別することの１つまたはそれ以上によって取得される（工程ｓ３．８）。

色検出が使用される実施形態では、注射デバイス１の数字付きスリーブ７０は、画像内の１つまたはそれ以上の色を正しく識別することができるように基準色情報を提供するように構成される。例えば、印刷された数字の背景は、画像に示される注射デバイス１の構成要素の色を較正するためのホワイトバランスレベルを提供するために使用される。

次いで、画像から取得された情報は、データ収集デバイス２０、３２のランダムアクセスメモリ２４に記憶され（工程ｓ３．９）、および／または、通信機器２５、２６を使用
して、携帯電話ネットワーク、パーソナルエリアネットワーク、またはインターネットなどのネットワークを介して別のデバイスに送信される（工程３．１０）。場合により、画像のタイムスタンプに関する情報も記憶および／または送信される。このようにして、患者への薬剤の投与が記録および監視される。

上で論じた実施形態によって示されるように、注射、他の医学的処置、または他の機器の操作に関する情報を得るためのアプリまたは同様のソフトウェア製品の提供は、一般に入手可能でありユーザによく知られている携帯電話２０またはタブレット３２などのデバイスを使用して、そのような情報のより正確なおよび／または高信頼性の記録を可能にすることがある。上述した実施形態は、特化されたデバイスの製造および配布を必要としないので、処置または操作の記録および／または監視を提供するコストおよび複雑さを低減することができる可能性がある。

上記の実施形態は、インスリン注射器ペンからのデータの収集に関して述べてきたが、本発明の実施形態は、他の薬剤の注射または他の医学的プロセスの監視など他の目的のために使用することもできることに留意されたい。実施形態は、医療以外の目的で、例えば安全上の理由により他のタイプの機器の動作を監視する際に使用することもできる。

Claims (14)

1. データ収集デバイスを使用して薬剤用量を記録する方法であって：
   データ収集デバイスのカメラによって、薬剤送達デバイスの薬剤用量インジケータの画像を捕捉する工程と；
   前記画像のスケールを調節する工程と；
   薬剤用量インジケータによって表示される１つまたはそれ以上の文字の歪みに関して前記画像を調節する工程と；
   画像での前記１つまたはそれ以上の文字のうちの少なくとも１つの位置を決定する工程と；
   光学文字認識を使用して少なくとも１文字を識別する工程と；
   前記光学文字認識の結果に基づいて、薬剤用量インジケータによって示される薬剤用量を決定する工程と
   を含む前記方法。
2. 前記データ収集デバイスは、前記カメラを含むハンドヘルド電子デバイスである請求項１に記載の方法。
3. 前記ハンドヘルド電子デバイスは、携帯電話またはタブレットコンピュータである請求項２に記載の方法。
4. 画像を捕捉する前記工程は、前記カメラによって捕捉された、様々な露出レベルを有する複数の画像を組み合わせて、高いダイナミックレンジを有する前記画像を提供する工程を含む請求項１、２、または３に記載の方法。
5. 前記画像から色情報を取得する工程と、
   前記色情報に基づいて投薬予定の薬剤のタイプを識別する工程と
   を含む請求項１〜４のいずれか１項に記載の方法。
6. 色情報を取得する前記工程は、薬剤送達デバイスに提供される基準色情報に基づいて色バランス測定量を取得する工程を含む請求項５に記載の方法。
7. 前記薬剤送達デバイスは、投薬予定の薬剤の前記量を選択するための可動構成要素を含む注射器ペンである請求項１〜６のいずれか１項に記載の方法。
8. プロセッサによって実行されたとき、請求項１〜７のいずれか１項に記載の方法が行われるようにするコンピュータ可読命令を含むコンピュータプログラム。
9. スマートフォン用またはタブレットコンピュータ用のアプリケーションであって、請求項８に記載のコンピュータプログラムを含む前記アプリケーション。
10. データ収集デバイスであって：
    カメラと；
    処理構成とを含み、該処理構成は：
    前記カメラを使用して、薬剤送達デバイスの薬剤用量インジケータの画像を捕捉し；
    前記画像のスケールを調節し；
    薬剤用量インジケータによって表示される１つまたはそれ以上の文字の歪みに関して前記画像を調節し；
    画像での前記１つまたはそれ以上の文字のうちの少なくとも１つの位置を決定し；
    光学文字認識を使用して少なくとも１文字を識別し；
    前記光学文字認識の結果に基づいて前記薬剤用量インジケータによって示される薬剤用量を決定する
    ように構成される前記データ収集デバイス。
11. ハンドヘルド電子デバイスである請求項１０に記載のデータ収集デバイス。
12. 前記ハンドヘルド電子デバイスは、携帯電話またはタブレットコンピュータである請求項１１に記載のデータ収集デバイス。
13. 前記処理構成は、前記カメラによって捕捉された、様々な露出レベルを有する複数の画像を組み合わせて、高いダイナミックレンジを有する前記画像を提供するように構成される請求項１０〜１３のいずれか１項に記載のデータ収集デバイス。
14. 前記処理構成は、薬剤投薬デバイスの少なくとも１つの構成要素の色を識別し、前記色に基づいて前記薬剤のタイプを決定するように構成される請求項１４に記載のデータ収集デバイス。

Images