JP2011090014A - 試験方法の臨床的等価を判定するためのシステムおよび方法 - Google Patents

試験方法の臨床的等価を判定するためのシステムおよび方法 Download PDF

Info

Publication number
JP2011090014A
JP2011090014A JP2011025235A JP2011025235A JP2011090014A JP 2011090014 A JP2011090014 A JP 2011090014A JP 2011025235 A JP2011025235 A JP 2011025235A JP 2011025235 A JP2011025235 A JP 2011025235A JP 2011090014 A JP2011090014 A JP 2011090014A
Authority
JP
Japan
Prior art keywords
bias
test method
evaluation test
variability
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011025235A
Other languages
English (en)
Inventor
Scott A Pardo
エー.パルド スコット
Karen J Byron
ジェイ.バイロン カレン
Valerie Bush
バッシュ バレリー
Julie Berube
ベルベ ジュリー
Shankang Qu
ク シャンカン
Henry T Davis
ティー.デービス ヘンリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Becton Dickinson and Co
Original Assignee
Becton Dickinson and Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Becton Dickinson and Co filed Critical Becton Dickinson and Co
Publication of JP2011090014A publication Critical patent/JP2011090014A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)

Abstract

【課題】評価試験方法または機器が基準試験方法または機器と臨床的に等価であるかどうかを判定する際に役立つ、システム、方法、および命令のコンピュータ読取り可能媒体を提供する。
【解決手段】レポートは、修正済みの平均差プロット、変動性図、偏りの信頼区間、および区間のプロットを含むことができる。グラフィカルユーザインターフェースは、基準方法または機器および評価方法または機器に関連付けられたデータを識別可能にするために提供される。基準方法における変動レベルが決定される。評価方法または機器と基準方法または機器との間で観察される偏りが算出される。偏りの信頼区間が算出される。評価方法または機器と基準方法または機器との間の偏りが、基準方法における変動レベルに対して比較され、評価方法または機器が基準方法または機器と臨床的に等価であるかどうかに関する結果を含むレポートが生成される。
【選択図】図3

Description

本発明は、試験方法を評価するためのシステムおよび方法に関する。詳細には、本発明は、2つまたはそれ以上の試験の方法、システム、または製品を比較するためのシステムおよび方法に関する。本発明は、方法およびそこから得られたすべての結果が臨床的に等価であるかどうかを判定するための医療試験の分野で特に有用である。ただし本発明は、条件の違いによって結果が大幅に異なるかどうかを判定するために、さまざまな条件の下で実施された測定が比較される任意の実験室の状況にも容易に適用可能である。
臨床実験室では、医師および健康管理専門家用の試験が実施される。実験室では、検体(specimen)の化学的または物理的特性を測定するために、人間の血液、尿、血漿、血清、または他の体液に関する試験が実施される。これら試験の結果は、医師および健康管理専門家によって、患者のケアおよび治療に関する臨床上の決定を行うために使用される。結果を使用して患者ケアのために臨床上の決定を下すため、信頼性の高い試験結果であることが最も重要である。
臨床実験室では、これらの試験を実施するための用品および製品を購入する。たとえば、試験時には採血管、針、診断器具、化学試薬、および他の用品が使用されるため、これらを定期的に補充しておかなければならない。時には、試験手順の一部が様々な理由によって変更される場合がある。たとえば、採血管が古いものから新しいタイプに取り替えられている場合、新しい採血管に新しい添加剤が含まれている場合、または新しい採血管がガラス製ではなくプラスチック製になっている場合がある。化学試薬が異なる供給会社から発注される場合、または新しい1回分の試薬でさえも試験手順における変更とみなされる場合がある。さらに、それ自体を試験するのに使用される診断器具が変更される場合もある。古い試験機器は新しいモデルに取り替えられる場合がある。さらに、ハードウェア、ソフトウェア、およびファームウェアの更新が機器に適用される場合がある。
もちろん、試験手順で変更されるものの上記リストは単なる例であって、変更される可能性のあるもののリストには限りがない。ただし、試験手順のどんな変更も、潜在的に試験結果に影響を与える可能性があると理解することが重要である。したがって、試験結果の正確さがまさに重要であるため、新しい方法、機器、またはシステムを使用する試験手順が試験結果に大きな影響を与えないことを示すために、実験データの収集および分析を行う方法が求められる。
どんな試験手順にもある程度の変動性がある。試験データを分析することにより、試験結果の変動性を測定することが可能である。さらに、新しい試験手順または方法が、平均して「基準(reference)」試験手順とは異なる結果を与える場合がある。この平均の差が偏り(bias)と呼ばれる。新しい試験手順と基準方法との間の偏りが十分小さく、新しい手順を使用した結果の変動性が古い試験手順の変動性より大きくない場合は、新しい試験手順が古い試験手順と臨床的に等価であるとみなすことができる。現在、試験方法を評価および妥当性検査するための専門ソフトウェアが市販されている。ただし、既存のソフトウェア製品はいくつかの点で不十分である。
現在、ほとんどの臨床実験が試験方法、システム、または製品を比較する際に、線形回帰と呼ばれる統計技法を信頼している。ほとんどの場合線形回帰分析は、散布図と呼ばれる図表表示によって達成される。散布図では、1つの方法、システム、または製品からの結果が、「基準」方法またはシステムからの結果に照らして図表上でプロットされ、図表上でデータ点を表すための最良適合線が、線形回帰分析を使用して決定される。散布図上での完璧な結果は、1の勾配およびゼロの垂直軸切片を有する線である。残念ながら、最良適合線が観測データに一致する割合は、使用されるデータ値の数および度数分布に依存する。したがって、正確さおよび有効性に関する最良適合線の質は、何らかの分析範囲のどちらかの端部で個々を選択し、その結果をデータに含めることによって、操作することができる。したがって、散布図および線形回帰は、方法、システム、または製品の基準と評価との間で、結果における類似点を決定するのに役立つ可能性があるが、十分であるとは言えない。
既存のソフトウェアパッケージによって算出される一般に使用される量はR2と呼ばれ、決定係数と称される場合もある。R2は0から1の間の値を有することが可能であり、観察された全変動性に関して直線がデータと一致する程度を表すものである。値1は、すべての点が同じ線に正確に一致することを示す。しばしばR2は、方法、システム、または製品の基準と評価との間の等価の測度とみなされる。残念ながら、R2は前の操作に影響を受けやすい。たとえば、人間の血液中のコレステロール値を測定するように設計された2つの試験を比較すると想定する。一部の患者が非常に高いコレステロール値を有し、他の患者が非常に低いコレステロール値を有する場合がある。コレステロール値を測定するための2つの方法が線形回帰最良適合線を使用して比較される場合、高いR2値が誤って、2つの方法の等価を示すものとして解釈される可能性がある。実際のところ、高いR2値は、単にその調査にコレステロール値が人間の範囲の最高および最低である患者がいることを示すだけである可能性がある。R2は操作の影響を受けやすいため、新しい試験方法の臨床上の等価を測定する場合に依存するのには適した量でない。
現在の試験妥当性検査方法の他の欠点は、それらの方法が典型的には一度に単一の試験方法しか妥当性検査しないことである。したがって、30の別々の分析物(analyte)を試験できる試験機器の場合、以前の試験妥当性検査方法を使用すると、30の別々の妥当性検査を実施しなければならないことになる。したがって、30の試験方法を一度にすべて妥当性検査できる単一のソフトウェアパッケージを有することが有利である。
したがって、新しい試験方法の正確さおよび精度を確実に測定し、新しい試験方法が以前の試験方法と臨床的に等価であるかどうかを判定し、一度に複数の試験方法の妥当性を検査できる、試験方法妥当性検査システムが求められている。
本発明の一実施形態による方法およびシステムでは、上記の目的について対処され、他の利点が具体化される。本発明の一実施形態による方法は、基準方法での変動レベルを決定するステップと、基準試験方法および評価試験方法の結果における平均的な差を決定するステップと、基準の変動性レベルに対して2つの方法間の平均的な差を比較するステップと、この比較に基づいて、評価試験方法が基準方法と臨床的に等価であるかどうかを示すレポートを生成するステップとを含む。基準試験方法の結果と評価試験方法の結果との受入れ可能な差は、基準方法に関連付けられた基準試験データの2つのセットを比較することによって算出可能である。あるいは、受入れ可能な差はユーザにより定義可能である。レポートには、偏りに関する信頼区間(confidence interval)のプロット、修正済みの平均差プロット、正確さを表す第1の軸と精度を表す第2の軸とを有する変動性図(variability chart)、最良適合回帰線を有する散布図、および関連付けられた統計、ならびに評価試験方法が基準方法と臨床的に等価であるかどうかに関する結論が含まれる。レポートにはさらに、合計統計表(summary statistics table)、偏り信頼区間表、ユーザがオプションで入力した場合の許容偏り限度、およびすべての入力データを含む付録も含まれる。最終的に、本発明の一実施形態による方法では、基準試験方法および評価試験方法に関連付けられたデータを、ユーザがグラフィカルユーザインターフェースを通じて便利に識別することができる。
本発明は、以下の説明および添付の図面を参照することで、よりよく理解されよう。
本発明の一実施形態によるシステムを示す構成図である。 試験方法の等価を判定するために、基準データおよび評価データを表すスプレッドシート内のデータを識別する際に使用されるグラフィカルユーザインターフェースを表すスクリーンショットである。 本発明の一実施形態による方法を示す流れ図である。 2つの評価試験方法についての信頼区間を示すシステムのオプション出力を示す図である。 2つの評価試験方法についての平均差プロットを示すシステムのオプション出力を示す図である。 水平軸上に評価試験方法の正確さを示し、垂直軸上に評価試験方法の精度を示す、システムが生成する変動性図である。 評価試験方法を使用して得られる観察内容と基準試験方法を使用して得られる観察内容との相関を示す、本発明の一実施形態によりシステムが生成する相関プロットである。 評価試験方法を使用して得られる観察内容と基準試験方法を使用して得られる観察内容との相関を示す、本発明の一実施形態によりシステムが生成する相関プロットである。
図面では、同じ番号は同じ構造および方法ステップを表すことを理解されよう。
本発明の一実施形態による例示的システム100の構成図が、図1に示されている。システムは、試験データを格納するためのメモリ102を含むことが好ましい。メモリ102には処理装置104からアクセス可能である。処理装置104は、キーボードおよびマウスなどの入力デバイス106からの入力を受け取る。処理装置104は、たとえばモニタまたはプリンタであってよい出力デバイス108上に表示される出力も生成する。メモリ102は評価される試験データを格納することが好ましいが、本発明の一実施形態によりプログラムを実行するためのプログラム命令などの、他の情報を格納することもできる。データはユーザ入力デバイス106を介してメモリ102に入力することができるが、別法としてオプションの実験機器110が自動的に試験結果を格納することもできる。
処理装置104は、メモリ102に格納された試験データを評価するように適合されたマシン命令のセットを実行する。試験データは、以下でより詳細に説明するように、一般のドナーセットでの様々な試験方法を使用して取得された試験結果に関する。データには、基準(対照:control)方法を使用する対象について少なくとも1つ、好ましくは2つの結果、および各評価方法について少なくとも1つの結果が含まれる。処理装置104は、評価試験方法が基準方法と臨床的に等価であるかどうかを判定する、一連の計算を実行するように適合される。この判定を実行するために処理装置が実施する計算およびステップについては、以下でより詳細に説明する。
2つの基準試験方法結果と、1対象あたり2つの評価試験方法それぞれからの1つの結果とに関連付けられたデータの例示的セットが、付録Aに複写されている。図に示されるように、これらのデータはMicrosoft(登録商標)Excelなどのスプレッドシートプログラムに格納されることが好ましい。図に示されるように、データは列および行ごとに識別されたテーブルのセルに格納される。例示的テーブルの2〜4行目には、試験名、各試験の結果に適した単位、および各試験の等価についてのユーザ定義限界値(受入れ可能偏り)を含む、試験に関する情報が含まれる。図に示されるように、限界値は、ナトリウムの場合の2mmol/L、またはパーセントでASTの場合の10%などのように、正確な量で表すことができる。
さらに付録Aのテーブルに示されるように、6行目には、7行目以降のデータの各列についてのラベルが含まれる。列Aにはドナーの数が含まれ、列Bには試験方法における主な変数(採血管タイプ)が含まれ、列Cにはナトリウムについての試験結果が含まれ、列DにはASTについての試験結果が含まれ、列Eにはトリグリセリドについての試験結果が含まれる。この調査で使用される採血管には、Serum、SST(商標)、およびSST II(商標)の3つのタイプがあった。さらに付録Aの例示的テーブルから観察できるように、30のドナーからの検体が試験され、各ドナーは3つの分析物、ナトリウム、AST、およびトリグリセリドについて試験された。各ドナーについてSerumタイプの管で2つ、SST(商標)およびSST II(商標)の管でそれぞれ1つずつと、4つの血液検体が抜き取られ、各検体で3つの分析物がそれぞれ測定される。2つの検体がSerum管で抜き取られ、この場合これが基準または対照方法であるとみなされた。1つの検体が、それぞれ2つの評価機器で抜き取られた。したがって、各ドナーについて結果は12(各分析物について4つ)となった。
例示的試験方法では管のタイプが主な変数であるが、どんな変数も評価可能であり、本明細書では単なる一例として採血管のタイプが選択および考察されていることを理解されたい。Serum管が基準または対照機器であった。この例の第1の評価機器はSST(商標)とラベル表示された採血管であり、第2の評価機器はSST II(商標)とラベル表示された採血管であった。
次に、本発明の一実施形態によるユーザインターフェースの画面ショットである図2に関連して、ユーザインターフェースについて説明する。本発明の好ましい実施形態では、図2に示されるもののようなグラフィカルコンピュータインターフェースが提供される。本発明は、Microsoft(登録商標)Excelへのプラグインとして働くコンピュータプログラムで具体化される。もちろん、当分野の技術者であれば、本発明がパーソナルコンピュータ上で実行する独立したソフトウェアアプリケーションとしてプログラムされるか、またはハードウェアに組み込まれるか、任意の他の好適な方法で実施されることが可能であることを理解されよう。プラグインが起動されると、図2に示されたインターフェース200が提示される。
ユーザインターフェース200は、ユーザが、基準試験方法および評価試験方法に関する付録Aに示されたスプレッドシートなどのテーブルの部分を識別し、実施される評価タイプに使用可能な一定のオプションならびに所望の出力タイプを選択できるようにするものである。次にユーザは、マウスまたは他の好適な入力デバイスを使用して、プログラムが必要な計算を実行し所望の出力を生成するのに必要な情報を含む、テーブルの対応する部分を識別する。
たとえば、ユーザインターフェース200の一部には「調査情報」202とラベル表示される。この部分には、実験名204、分析物名206、および分析物単位208が含まれる。ユーザには、「実験名」に対応するセル範囲を204でユーザインターフェース用に提供されたスペースに直接入力するオプション、またはユーザがマウスを使用してExcelのワークシート内の対応するセル範囲を識別できるようにするボタン210をクリックするオプションがある。この例の実験名は、付録AのテーブルのセルA3の「Anaplot試験」であるため、セルA6はユーザインターフェースのフィールド204でユーザによって識別されることになる。同様に、セルC6〜E6は、ユーザインターフェース200の「分析物名」206に対応するとして識別される。セルC4〜E4は、ユーザインターフェース200の「分析物単位」208に対応するとして識別される。
平均差限界値計算のタイプは、212でユーザインターフェース200を使用して選択される。選択肢は、Replicated Control Calculation(重複対照計算)214、Bland Altman 216、Given Variability(所与の変動性)218、およびNo Control Limits(対照制限なし)220である。4つの選択肢のうち1つのみが選択できる。また、定数CV 222と定数SD 224との選択肢がこのセクション212に提供される。平均差限界値計算のタイプについては、以下で詳細に論じる。
所望の出力226の選択ができるように、ユーザインターフェース200の一部が提供される。可能な選択肢に、Confidence Limits(偏りの信頼限界)228、Mean Difference Plot(平均差プロット)230、Chevron Plot(Chevronプロット)232、Correlation Plot(相関プロット)234、およびData in Appendix(付録データ)236が含まれることが好ましい。含まれることになる各出力タイプに関してチェックボックスが提供され、いずれかの出力タイプを選択すると、システムが生成するレポートに出力が含まれることになる。提供されたスペースに基準(criteria)を直接入力するか、またはExcelワークシートなどの偏り限界の臨床基準を含むテーブル内のセルを参照することによって、Clinical Criteria for Bias Limits(偏り限界の臨床基準)238も設定することができる。
インターフェース200のセクションは、一定の関連データ240を識別するために提供される。このセクションで識別されるデータには、Donor ID Column(ドナーID列)242、Cont/Eval ID Column(対照/評価ID列)244、およびData Range(データ範囲)246が含まれる。この例では、Donor ID Columnは付録Aで複写されるテーブルの列Aを表す。これは、ドナーIDを含むデータの列である。Cont/Eval ID Column 244は、各ドナーの基準変数および評価変数の名前を含むテーブル内の列を表す。この例では、付録Aのテーブルの列Bが識別される。列Bには、各試験で使用される採血管のラベル(Serum、SST(商標)、およびSST II(商標))が含まれる。基準データおよび評価データを適宜含む評価されるデータが、Data Range 246フィールドで識別される。この例では、基準試験および評価試験の両方の試験結果に対応するように、列C、D、およびEが識別される。これらの列には、試験を受けた3つの分析物および30のドナーそれぞれについての実際の試験データが含まれる。インターフェース200は、Control ID(対照ID)248およびEvaluation ID(評価ID)250のフィールドも含む。「Select All but Control(対照以外すべてを選択)」ボタン252が用意される。最後に、「OK」ボタン254、「cancel(取消)」ボタン256、「add comparison(比較追加)」ボタン258、および「restore prior values(前の値を復元)」ボタン260が用意される。
次に、本発明の一実施形態による方法について、図3の流れ図に関して説明する。ステップ300で基準方法が実行される。基準方法からの観察内容が302で記録される。基準方法は、評価方法との比較のための偏りを形成する。基準方法は少なくとも2回実施され、その両方の基準方法の観察内容が記録されることが好ましい。この方法では、同じ方法を連続して実行した場合の変動性を測定することができる。ステップ304で評価方法が実施され、観察内容が306で記録される。観察内容は、統計分析プログラムによって実行される計算データへのアクセスを容易にするために、Microsoft(登録商標)Excelワークシートなどのテーブルに記録されることが好ましい。複数の評価方法を実施し、記録することが可能である。本発明の一実施形態によれば、任意数の評価方法が同時に評価できるので有利である。
308で、統計分析プログラムが開始される。これによって、図2に関して上記で説明したインターフェースが生成されることが好ましい。310で、ユーザインターフェース200の様々なデータが識別される。ユーザインターフェース200で識別されるデータには、ドナーIDに関連付けられたデータ、対照/評価ID、および実施された試験に関するデータの列が含まれることが好ましい。データのテーブル例が付録Aに提供されている。
さらにインターフェース200では、所望の平均差限界値計算のタイプが312で選択される。使用可能なタイプには、Replicated Control Calculation 214、Bland Altman 216、Given Variability 218、およびNo Control Limits 220がある。定数CV 222または定数SD 224も選択される。Replicated Control Calculation 214が選択されている場合、統計プログラムは、少なくとも2つの基準データセット間での変動性に基づいて、評価データ内での受入れ可能な変動性を計算した。Bland Altman 216は、Bland Altman平均差計算を選択する。Given Variability 218は、ユーザが受入れ可能な変動性を選択できるようにするものである。最後に、No Control Limits 220は、ユーザが対照制限なしに計算セットを選択できるようにするものである。
ステップ314では、ユーザは生成される所望の出力セットを選択する。これらの選択は、ユーザインターフェース200の226で利用可能である。ユーザの選択肢には、Confidence Limits for Bias 228、Mean Difference Plot 230、Chevron Plot 232、Correlation Plot 234、およびData in Appendix 236が含まれる。各データタイプの例については、以下でより詳細に説明する。
すべてのデータが識別され、計算および出力が選択されると、ユーザはステップ316で「OK」ボタン254を選択して、選択した計算を開始する。
ユーザが実行できる様々な選択に適した一連の数式が、付録BおよびCに記載されている。付録Bは、Correlation Plot 234での勾配および切片の決定に関連付けられた数式セットを示すものである。計算タイプ、基準データセットおよび評価データセットの種類および数、ならびに選択された変動タイプの様々な組合せについて、様々な数式が提供される。付録Cは、Chevronプロットデータを生成するのに使用される数式セットを示すものである。Chevronプロットについては、図4に関して以下でより詳細に説明する。
ステップ318で、システムは統計分析に基づき、評価方法が基準方法と臨床的に等価であることを評価データが示すかどうかを判定する。最後にステップ320で、評価方法が臨床的に等価であるかどうかをレポートする結論と共に、選択された出力が生成される。
次に、様々な出力について説明する。説明する出力は、付録Aのテーブルにおいて提供されるサンプルデータに基づいたものである。完全なサンプルレポートは付録Dに複写されており、このレポートには、付録Aに示された基準方法および評価方法で試験された3つの分析物それぞれについて、前述の説明に記載されたそれぞれの出力タイプが含まれる。簡略化するために、出力はそれぞれ、3つの分析物のうちの1つであるASTに関して1回ずつ説明する。
図4は、ユーザインターフェース200のConfidence Limits for Bias 228をチェックすることによって選択された、Confidence Limits for Bias出力を示す図である。図4に示された出力は、各ドナーについて、ならびに各基準試験方法および評価試験方法について試験された分析物ASTに対応する。偏りの95%信頼区間は、基準方法または機器と評価方法または機器とを使用して取得される結果の平均偏りまたは差に関して可能な値の実現可能範囲を与えるものである。したがって、SST(商標)管とSerum管との間でASTにおける偏りの95%信頼区間が(5%,8%)の場合、95%信頼は、真の差が5%から8%の間のどこかにある。SST(商標)およびSST II(商標)、それぞれの評価方法についての信頼区間が、指定された10%限界内に完全に収まるように示されており、評価機器および基準機器の間の等価を示している。
図5は、本発明の一実施形態によるプログラムによって生成される平均差プロットを示す図である。SST(商標)およびSST II(商標)、それぞれの評価方法のデータがプロットされる。各点が、基準方法を使用して観察された結果と、評価方法を使用して観察された結果との差を表す。
図6は、本発明の一実施形態によるプログラムによって生成されるChevronプロットを示す図である。Chevronプロットとは、偏り(正確さ)および精度の測度である。それぞれの評価実験がプロットされる。良い正確さと良い精度を組み合せた評価方法が好ましい。領域は「良い」、「満足」、「不満足」、および「不良」と指定され、その結果ユーザは、どの分類がそれぞれの評価方法に適用されるかを簡単に見分けることができる。もちろん、Chevronプロットは正確さおよび精度データを表す好ましい方法であるが、正確さおよび精度データを表すどんなグラフィック方法または非グラフィック方法も、本発明の範囲内であるとみなされることを理解されよう。
図7および8は、本発明の一実施形態により生成された相関プロットを示す図である。図7は、基準(Serum)結果と第1の評価方法(SST(商標))との相関を取る。図8は、基準結果と第2の評価方法(SST II(商標))との相関を取る。データに関する回帰が実行され、回帰線がプロットされる。比較のために、勾配が1に等しく切片がゼロに等しい理想線も生成される。
本発明の一実施形態によるシステムによって生成されたサンプルレポートが、付録Dに複写されている。このレポートには、試験された各分析物について、上記で述べたようにユーザインターフェース200で選択された様々な出力が含まれる。さらにこのレポートには、評価されたそれぞれの分析物についての評価方法の臨床的等価に関する結果も含まれる。この方法では、新しい試験方法(採血管、化学試薬、または分析器具などの新しい構成要素を使用する既存の試験方法を含む)が評価可能であり、実験により、新しい方法を使用した試験結果が以前の試験結果と臨床的に等価であるかどうかを、即時かつ決定的に判定することができる。新しい方法が臨床的に等価であることが示されない場合、問題を修正するためのステップを実施することができる。
以上、本発明について特定の実施形態および応用例を用いて説明してきたが、当分野の技術者であれば、特許請求の範囲およびその均等物に記載された本発明の範囲から逸脱することなく、様々な修正または変更が実行可能である。
付録A
Figure 2011090014
Figure 2011090014
Figure 2011090014
付録B
Figure 2011090014
Figure 2011090014
付録C
Figure 2011090014
付録D
Figure 2011090014
Figure 2011090014
Figure 2011090014
Figure 2011090014
Figure 2011090014
Figure 2011090014
Figure 2011090014
Figure 2011090014
Figure 2011090014
Figure 2011090014
Figure 2011090014
Figure 2011090014
Figure 2011090014
Figure 2011090014
300 対照方法を実行
302 観察内容(対照)を記録
304 評価方法を実行
306 観察内容(評価)を記録
308 統計分析プログラムを開始
310 データを識別
312 計算タイプを選択
314 所望の出力を選択
316 計算を開始
318 等価を判定およびレポート
320 選択した出力を生成

Claims (23)

  1. 評価試験方法が基準試験方法と臨床的に等価であるかどうかを判定する方法であって、
    基準方法を使用し、複数のソースの各々からのサンプルを使用して取得された結果における変動レベルを判断するステップと、
    前記基準方法から生じた結果および該基準方法から生じた結果の変動レベルに関し、前記複数のソースの各々からのサンプルに対する標準化された偏りを判断するステップと、
    前記標準化された偏りから平均の偏りを取得するステップと、
    前記標準化された偏りから、前記平均の偏りの変動性を判断するステップと、
    前記基準方法の変動性の範囲内で発生する前記評価試験方法から生じた結果の割合を繰り返し計算するステップと、
    前記計算された割合が95%以上である場合に、前記評価試験方法が前記基準方法と等価であると判定するステップと、
    前記基準方法の結果、前記評価試験方法の結果、前記平均の偏り、前記変動性、および等価の判定を一部に含むレポートを生成するステップとを備え、
    前記基準方法において使用されるサンプルおよび前記評価試験方法において使用されるサンプルは同一のソースからのものであることを特徴とする方法。
  2. 基準方法における変動レベルを判断する前記ステップは、
    前記基準方法に関連付けられた少なくとも2つの基準試験データセットを使用して、変動性の測定値を算出するステップを含むことを特徴とする請求項1に記載の方法。
  3. 基準方法における変動レベルを判断する前記ステップは、前記基準方法における前記変動レベルを表すユーザ入力を受け取るステップを含むことを特徴とする請求項1に記載の方法。
  4. 前記レポートは修正済みの平均差プロットを含むことを特徴とする請求項1に記載の方法。
  5. 前記レポートは線形回帰分析および散布図を含むことを特徴とする請求項1に記載の方法。
  6. 前記レポートは、正確さを表す第1の軸と精度を表す第2の軸とを有する変動性図を含むことを特徴とする請求項1に記載の方法。
  7. 前記レポートは偏りの信頼区間および該信頼区間のプロットを含むことを特徴とする請求項1に記載の方法。
  8. 前記基準方法および前記評価試験方法に関連付けられたデータを識別するためのグラフィカルユーザインターフェースを提供するステップをさらに備えることを特徴とする請求項1に記載の方法。
  9. 評価試験方法が基準試験方法と臨床的に等価であるかどうかを判定するためのシステムであって、
    複数のソースの各々からのサンプル、基準試験方法および評価試験方法に関する、一部に試験結果を含むデータを格納するように適合されたメモリと、
    前記データから、前記基準方法を使用して前記サンプルから取得された結果における変動レベルを判断し、
    前記基準方法から生じた結果および該基準方法から生じた結果の変動レベルに関し、前記複数のソースの各々からのサンプルに対する標準化された偏りを判断し、
    前記標準化された偏りから平均の偏りを取得し、
    前記標準化された偏りから、前記平均の偏りの変動性を判断し、
    前記基準方法の変動性の範囲内で発生する前記評価試験方法から生じた結果の割合を繰り返し計算し、
    前記計算された割合が95%以上である場合に、前記評価試験方法が前記基準方法と等価であると判定し、かつ
    前記基準方法の結果、前記評価試験方法の結果、前記平均の偏り、前記変動性、および等価の判定を一部に含むレポートを生成するように適合された処理装置と
    を備え、
    前記基準方法において使用されるサンプルおよび前記評価試験方法において使用されるサンプルは同一のソースからのものであることを特徴とするシステム。
  10. 前記データは、前記基準方法に関連付けられた少なくとも2つの基準データセットを含むことを特徴とする請求項9に記載のシステム。
  11. 前記システムは、前記基準方法における前記変動レベルを表すユーザ入力を受け取るように適合されることを特徴とする請求項9に記載のシステム。
  12. 前記レポートは修正済みの平均差プロットを含むことを特徴とする請求項9に記載のシステム。
  13. 前記レポートは、正確さを表す第1の軸と精度を表す第2の軸とを有する変動性図を含むことを特徴とする請求項9に記載のシステム。
  14. 前記基準方法および前記評価試験方法にそれぞれ関連付けられたテーブルにおいてデータを識別するように適合されたグラフィカルユーザインターフェースをさらに備えることを特徴とする請求項9に記載のシステム。
  15. 評価試験方法が基準試験方法と臨床的に等価であるかどうかを判定するようにシステムを制御するように適合された命令のコンピュータ読取り可能媒体であって、前記命令は、コンピュータに
    前記基準方法から生じた結果および該基準方法から生じた結果の変動レベルに関し、前記複数のソースの各々からのサンプルに対する標準化された偏りを判断するステップと、
    前記標準化された偏りから平均の偏りを取得するステップと、
    前記標準化された偏りから、前記平均の偏りの変動性を判断するステップと、
    前記基準方法の変動性の範囲内で発生する前記評価試験方法から生じた結果の割合を繰り返し計算するステップと、
    前記計算された割合が95%以上である場合に、前記評価試験方法が前記基準方法と等価であると判定するステップと、
    前記基準方法の結果、前記評価試験方法の結果、前記平均の偏り、前記変動性、および等価の判定を一部に含むレポートを生成するステップと
    を実行させ、
    前記基準方法において使用されるサンプルおよび前記評価試験方法において使用されるサンプルは同一のソースからのものであることを特徴とする命令のコンピュータ読取り可能媒体。
  16. 前記標準化された偏りを判断するステップは、前記基準方法における前記変動レベルを判断するために、前記基準方法に関連付けられた少なくとも2つの基準試験データセットを比較するステップを含むことを特徴とする請求項15に記載の命令のコンピュータ読取り可能媒体。
  17. 前記標準化された偏りを判断するステップは、前記基準方法における前記変動レベルを表すユーザ入力を受け取るステップを含むことを特徴とする請求項15に記載の命令のコンピュータ読取り可能媒体。
  18. 前記レポートを生成するステップは、修正済みの平均差プロットを含むレポートを生成するステップを含むことを特徴とする請求項15に記載の命令のコンピュータ読取り可能媒体。
  19. 前記レポートを生成するステップは、正確さを表す第1の軸と精度を表す第2の軸とを有する変動性図を含むレポートを生成するステップを含むことを特徴とする請求項15に記載の命令のコンピュータ読取り可能媒体。
  20. 前記命令は、前記コンピュータに、前記基準方法および前記評価試験方法に関連付けられたデータを識別するように適合されたグラフィカルユーザインターフェースを提供するようにシステムを制御するステップを更に実行させることを特徴とする請求項15に記載の命令のコンピュータ読取り可能媒体。
  21. 評価試験方法が基準試験方法と等価であるかどうかを判定する方法であって、
    前記基準方法を使用し、複数のソースの各々からのサンプルを使用して得られた結果における変動レベルを判断するステップと、
    前記基準試験方法からの結果および該基準試験方法からの結果の変動レベルに関し、前記複数のソースの各々からのサンプルに対する標準化された偏りを判断するステップと、
    前記標準化された偏りから平均の偏りを取得するステップと、
    前記標準化された偏りから、前記平均の偏りの変動性を判断するステップと、
    前記基準試験方法の変動性の範囲内で発生する前記評価試験方法から生じた結果の割合を繰り返し計算するステップと、
    前記計算された割合が95%以上である場合に、前記評価試験方法が前記基準方法と等価であると判定するステップと、
    前記基準試験方法の結果、前記評価試験方法の結果、前記平均の偏り、前記変動性、および等価の判定を一部に含むレポートを生成するステップと
    を備え、前記基準試験方法を使用した試験のサンプルおよび前記評価試験方法を使用した対応する試験のサンプルは同一のソースからのものであることを特徴とする方法。
  22. 2つの試験方法が等価であるかどうかを判定する方法であって、
    複数のソースの各々からの多数のサンプル、および少なくとも2つの試験方法を使用して前記サンプルで行われた試験から生じた結果に対応するデータを取得するステップと、
    前記複数のソースおよび前記少なくとも2つの試験方法から生じた試験結果に応じて前記データをモデル化するステップと、
    前記モデルから、前記少なくとも2つの試験方法から選択された2つの試験方法の所望の比較間の偏りを抽出するステップと、
    少なくとも部分的に前記モデルに基づいて、前記抽出された偏りの変動性を判断するステップと、
    前記抽出された偏りの信頼区間を生成するステップと、
    前記信頼区間を所定の制限と比較するステップと、
    前記信頼区間が前記所定の制限内にある場合に、前記2つの選択された試験方法が等価であると判定するステップと、
    前記選択された2つの試験方法の結果、前記サンプルを取得したソース、および等価の判定を一部に含むレポートを生成するステップと
    を含むことを特徴とする方法。
  23. 1または複数の評価試験方法が基準試験方法と臨床的に等価であるかどうかを判定する方法であって、
    複数のソースの各々から少なくとも2つのサンプルを取得するステップであって、各ソースからのサンプルの少なくとも1つは前記基準試験方法の対象であり、各ソースからのサンプルの少なくとも1つは前記評価試験方法の各々の対象である、取得するステップと、
    前記少なくとも2つのサンプル、前記複数のソース、前記基準試験方法から生じた結果、および前記1または複数の評価試験方法から生じた結果に対応するデータを取得するステップと、
    前記複数のソース、前記基準試験方法から生じた結果、および前記1または複数の評価試験方法から生じた結果に応じて前記データをモデル化するステップと、
    前記モデルから、前記基準試験方法と前記評価試験方法の各々との間における偏りを抽出するステップと、
    少なくとも部分的に前記モデルに基づいて、抽出された各偏りの変動性を判断するステップと、
    抽出された各偏りの信頼区間を生成するステップと、
    各信頼区間を所定の制限と比較するステップと、
    対応する評価試験方法に対応する前記信頼区間が前記所定の制限内にある場合に、前記評価試験の各々が前記基準試験方法と等価であると判定するステップと、
    前記基準試験方法の結果、前記1または複数の評価試験方法の結果、前記複数のソース、および各々の評価試験方法に対する等価の判定を一部に含むレポートを生成するステップと
    を含むことを特徴とする方法。
JP2011025235A 2002-03-13 2011-02-08 試験方法の臨床的等価を判定するためのシステムおよび方法 Pending JP2011090014A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/096,102 US7440856B2 (en) 2002-03-13 2002-03-13 System and method for determining clinical equivalence of test methods

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2003068965A Division JP2004037449A (ja) 2002-03-13 2003-03-13 試験方法の臨床的等価を判定するためのシステムおよび方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013205120A Division JP2014016363A (ja) 2002-03-13 2013-09-30 試験方法の臨床的等価を判定するためのシステムおよび方法

Publications (1)

Publication Number Publication Date
JP2011090014A true JP2011090014A (ja) 2011-05-06

Family

ID=27765398

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2003068965A Pending JP2004037449A (ja) 2002-03-13 2003-03-13 試験方法の臨床的等価を判定するためのシステムおよび方法
JP2011025235A Pending JP2011090014A (ja) 2002-03-13 2011-02-08 試験方法の臨床的等価を判定するためのシステムおよび方法
JP2013205120A Pending JP2014016363A (ja) 2002-03-13 2013-09-30 試験方法の臨床的等価を判定するためのシステムおよび方法
JP2015033417A Expired - Lifetime JP6224018B2 (ja) 2002-03-13 2015-02-23 試験方法の臨床的等価を判定するためのシステムおよび方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2003068965A Pending JP2004037449A (ja) 2002-03-13 2003-03-13 試験方法の臨床的等価を判定するためのシステムおよび方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2013205120A Pending JP2014016363A (ja) 2002-03-13 2013-09-30 試験方法の臨床的等価を判定するためのシステムおよび方法
JP2015033417A Expired - Lifetime JP6224018B2 (ja) 2002-03-13 2015-02-23 試験方法の臨床的等価を判定するためのシステムおよび方法

Country Status (5)

Country Link
US (2) US7440856B2 (ja)
EP (1) EP1345155A3 (ja)
JP (4) JP2004037449A (ja)
AU (1) AU2003200983B8 (ja)
CA (1) CA2421571C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014016363A (ja) * 2002-03-13 2014-01-30 Becton Dickinson & Co 試験方法の臨床的等価を判定するためのシステムおよび方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050004767A1 (en) * 2003-04-30 2005-01-06 Green Sol F. Method and system for validating changes in medical practice, procedures and product choice
AU2004237117B2 (en) * 2003-04-30 2010-08-19 Becton, Dickinson And Company Method and system for validating changes in medical practice, procedures and product choice
US8296732B2 (en) * 2007-03-23 2012-10-23 Sas Institute Inc. Computer-implemented systems and methods for analyzing product configuration and data
US8087001B2 (en) * 2007-06-29 2011-12-27 Sas Institute Inc. Computer-implemented systems and methods for software application testing
US8506622B2 (en) * 2009-04-17 2013-08-13 Medtronic Vascular, Inc. Mobile external coupling for branch vessel connection
KR20220016377A (ko) * 2020-07-31 2022-02-09 주식회사 바이오크 추적관찰 데이터 신뢰도 부여 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004037449A (ja) * 2002-03-13 2004-02-05 Becton Dickinson & Co 試験方法の臨床的等価を判定するためのシステムおよび方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61213674A (ja) * 1985-03-19 1986-09-22 Toshiba Corp 自動化学分析装置
US4858154A (en) * 1986-04-07 1989-08-15 Coulter Electronics, Inc. Interlaboratory quality assurance program
JP2828609B2 (ja) * 1994-09-22 1998-11-25 株式会社エイアンドティー 臨床検査分析装置
US6678669B2 (en) * 1996-02-09 2004-01-13 Adeza Biomedical Corporation Method for selecting medical and biochemical diagnostic tests using neural network-related applications
US6556951B1 (en) * 1997-11-26 2003-04-29 The United States Of America As Represented By The Secretary Of The Department Of Health And Human Services System and method for intelligent quality control of a process
US6125297A (en) * 1998-02-06 2000-09-26 The United States Of America As Represented By The United States National Aeronautics And Space Administration Body fluids monitor
HUP0101655A2 (hu) * 1998-04-22 2001-09-28 Imaging Research Inc. Eljárás kémiai és biológiai vizsgálatok kiértékelésére
JP2000187037A (ja) * 1998-12-24 2000-07-04 Sysmex Corp 精度管理機能を備えた試料分析装置
US6041788A (en) * 1999-01-04 2000-03-28 Shen; Liji Method of evaluating drug effect in a multiple dose clinical trial
CA2375890A1 (en) * 1999-06-17 2000-12-28 Imaging Research, Inc. Process for removing systematic error and outlier data and for estimating random error in chemical and biological assays
US6434511B1 (en) * 1999-09-28 2002-08-13 General Electric Company Processor and method for determining the statistical equivalence of the respective mean values of two processes
JP2001124757A (ja) * 1999-10-29 2001-05-11 Meidensha Corp 3態窒素分析システムにおけるシステムの自己診断方法
US7133715B1 (en) * 2000-01-07 2006-11-07 Natus Medical Inc. Hearing evaluation device with noise detection and evaluation capability
US6847976B1 (en) * 2000-06-15 2005-01-25 Terrence B. Peace Method and apparatus for significance testing and confidence interval construction based on user-specified distribution
US20030003450A1 (en) * 2000-12-21 2003-01-02 Affymetrix, Inc. Computer software products for gene expression analysis using linear programming
AU2002313818B2 (en) * 2001-08-24 2007-12-20 Bio-Rad Laboratories, Inc. Biometric quality control process
JP5979413B2 (ja) * 2012-03-27 2016-08-24 公立大学法人大阪市立大学 電力計測装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004037449A (ja) * 2002-03-13 2004-02-05 Becton Dickinson & Co 試験方法の臨床的等価を判定するためのシステムおよび方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6010058393; 'Graphical interpretation of analytical data from comparison of a field method with a Reference Metho' Clinical Chemistry Vol. 43, No. 11, 1997, p. 2039-2046 *
JPN7012002120; Sharon S. Ehrmeyer et al.: 'Application of the Department of Health and Human Services proposed waived status requirements for i' Clinical Chemistry Vol. 43, No. 9, 1997, pp. 1610-1617 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014016363A (ja) * 2002-03-13 2014-01-30 Becton Dickinson & Co 試験方法の臨床的等価を判定するためのシステムおよび方法

Also Published As

Publication number Publication date
JP6224018B2 (ja) 2017-11-01
JP2014016363A (ja) 2014-01-30
CA2421571A1 (en) 2003-09-13
AU2003200983A8 (en) 2010-04-29
JP2004037449A (ja) 2004-02-05
CA2421571C (en) 2015-01-27
AU2003200983B8 (en) 2010-03-25
EP1345155A3 (en) 2006-03-08
US20090248315A1 (en) 2009-10-01
US8160818B2 (en) 2012-04-17
JP2015099163A (ja) 2015-05-28
US7440856B2 (en) 2008-10-21
AU2003200983A1 (en) 2003-12-18
AU2003200983B2 (en) 2009-11-26
US20030172712A1 (en) 2003-09-18
EP1345155A2 (en) 2003-09-17

Similar Documents

Publication Publication Date Title
JP6224018B2 (ja) 試験方法の臨床的等価を判定するためのシステムおよび方法
Westgard et al. Analytical Sigma metrics: A review of Six Sigma implementation tools for medical laboratories
CA2455813C (en) Method and system for predicting initial analyte values in stored samples
JP2008076267A (ja) 精度管理システム、分析装置および精度管理方法
JP2002022748A (ja) 臨床検査システム
Linko et al. Evaluation of uncertainty of measurement in routine clinical chemistry-applications to determination of the substance concentration of calcium and glucose in serum
Vandenberg et al. A contemporary update on testing for measurement equivalence and invariance
Taher et al. A novel Sigma metric encompasses global multi-site performance of 18 assays on the Abbott Alinity system
Robson et al. Correlation and agreement between the TEG® 5000 and the TEG® 6s during liver transplant surgery
JP2013538408A (ja) ネットワーク化された検査室における分析の質を管理する方法及びシステム
CN111406294B (zh) 自动生成用于实验室仪器的规则
JPH08147396A (ja) 臨床検査分析装置
Meloun et al. New methodology of influential point detection in regression model building for the prediction of metabolic clearance rate of glucose
JPWO2017115775A1 (ja) 分析装置、分析方法、および、分析システム
JP5547639B2 (ja) 診断マーカーの推定
US10973467B2 (en) Method and system for automated diagnostics of none-infectious illnesses
US8812241B1 (en) Method for normalizing clinical laboratory measurements
Schwenoha et al. Validation of Methods and Analytical Processes for In Vitro Diagnostics
JPH07103972A (ja) 生化学自動分析装置
KR102599838B1 (ko) 혼합 표준편차를 활용한 검사실 허용범위 설정 방법
Becker Jr Analytical validation of in vitro diagnostic tests
JP4951595B2 (ja) 臨床検査情報処理装置、システム及び分析装置、並びにそれらのプログラム
JP4951594B2 (ja) 臨床検査情報処理装置、システム及び分析装置、並びにそれらのプログラム
Freeman et al. The importance of quality control validation and relationships with total error quality goals and bias in the interpretation of laboratory results
Yay Genes predisposing tunneled catheter thrombosis in hemodialysis patients: Determination of sample size in clinical trials

Legal Events

Date Code Title Description
RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20110510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110909

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111209

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111214

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120110

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120113

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120209

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120905

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120910

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121003

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121009

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121101

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130930

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20131001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20131001

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20131022

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20131227