JP2008524685A - 情報収集システム - Google Patents

Abstract

画像に関連する情報を収集する方法およびシステムである。本方法は、第１のコンピュータから、画像を与えるステップを有する。複数の第２のコンピュータは、第１のコンピュータに接続されており、第２のコンピュータが、画像に関連する複数のデータ項目を生成する。データ項目は、それぞれ、複数の第２のコンピュータの１つから第１のコンピュータに送られ、第１のコンピュータが、各データ項目を受ける。データ項目は、画像を識別する識別子と関係付けられ、当該関係づけられた識別子とともにデータベースに格納される。

Description

本発明は、画像に関連した記述情報を収集する方法および装置に関する。

周知の如く、薬物の有効性を決定する方法が必要とされている。通例、新薬は、ヒトで試験を行う前に、最初は動物で試験する。ヒトに対する試験においては、しばしば、治療の対象とされるべき病気を患っている患者のグループを２つのサブ・グループに分割するステップが含まれる。第１のサブ・グループには、偽薬（つまり、治療作用を持たない物質）が与えられ、第２のグループには、有効性を試験すべき薬物が与えられる。第１および第２のサブ・グループにおける症状を比較し、偽薬との比較における薬物の有効性が吟味される。

薬物の有効性を測る方法は、治療すべき病気に大きく依存している。ある病気に対しては、有効性を測る客観的尺度を容易に得ることができる。例えば、薬剤がコレステロール・レベルを下げることを意図したものならば、第１および第２のサブ・グループに含まれる患者のコレステロールの測定値から薬物の有効性を判断することができる。客観的尺度を容易に得ることができないようなケースも存在する。そのようなケースの一例として、創傷治癒の促進、および／または、瘢痕の低減、のための薬物の有効性に関する評価では、少なくとも部分的に主観が含まれる。

語「創傷」の好例には、皮膚の損傷があるが、それに限定されるべきではない。別のタイプの創傷として、内部組織もしくは、肺、腎臓、心臓、消化管、腱、もしくは肝臓といった器官に対するダメージ、損傷、または、外傷が含まれることもある。

創傷に対する反応は、あらゆる成熟した哺乳動物で共通である。それには同様のパターンがあり、同様の結果、瘢痕の形成、が生じる。治癒反応の際には、多くの異なる過程が作用する。これらの過程に介在するものを発見し、如何にして互いに相互作用して最終結果をもたらすのか、を発見するための数多くの研究がなされている。

治癒反応は、傷ついた動物が死を免れるための生物学的要請に対する進化的解決方法として現れる。よって、感染や失血による死の危険を乗り切るため、身体は、ダメージを受けた組織の再生よりも先ず、ダメージを受けた範囲の修復のための反応を迅速に行う。

瘢痕は、治癒反応の結果として形成される構造である、と定義することができる。傷ついた組織が再生されることにより、創傷よりも以前に存在していた組織構造と同様の構造を有することはないため、創傷していない組織との比較における異常形態によって、瘢痕を識別することができる。瘢痕は、治癒過程において沈着する結合組織から成る。瘢痕は、（皮膚の瘢痕に見られるような、）異常な組織体を有する結合組織、および／または、（中枢神経系の瘢痕に見られるような、）異常に増殖した結合組織を含むことがある。多くの瘢痕は、異常な組織化が見られ、かつ、超過した量の結合組織からなる。

瘢痕の異常構造は、（顕微分析で決定可能な）内部構造、および、（肉眼的に評価可能な）外観の両方に関して観察されることがある。

細胞外基質（ＥＣＭ）分子は、傷を受けていない皮膚および瘢痕化した皮膚の両方の主要な構造要素を含む。傷を受けていない皮膚においては、これらの分子は、一般に「バスケット織り」と称される、特徴的なランダムな構成を有する繊維組織を形成する。一般には、傷を受けていない皮膚において観察される繊維組織は、瘢痕において観察されるものよりも大きな径を有する。瘢痕における繊維組織においても、傷を受けていない皮膚の繊維組織との比較において、過度の互いの整列が見られる。ＥＣＭの大きさおよび配置構成の両方が、瘢痕の改変した機械的特性、特に、正常な傷を受けていない皮膚との比較における剛性の増大に寄与する。

肉眼的に観察すれば、瘢痕は、周囲を取り囲む組織よりも落ち込んでいることや、ダメージを受けていない皮膚よりも上昇していることがある。瘢痕は、傷を受けていない組織よりも比較的暗い色をしていたり（色素沈着過度）、周囲よりも白っぽい色を呈したりすることがある（色素沈着減少）。瘢痕は、周囲を取り囲む皮膚よりも赤みがかっていることもある。色素沈着過度の、もしくは、色素沈着減少の、または、赤みがかった瘢痕は、直ちに、見た目上、美容に関する欠点となる。瘢痕の美容面の見目は、患者に対し、創傷が心理面へ影響する主要な要因の１つであって、これらの影響は、創傷が治癒した後も長く留まることが知られている。

瘢痕はまた、患者に対し、有害な物理的影響をも与える場合がある。これらの影響は、通例、瘢痕と傷を受けていない皮膚の機械的な差違のもたらす結果である。一般的に、瘢痕の異常な構造および組成によって、正常な皮膚よりも、柔軟性が損なわれる。その結果、瘢痕は、正常機能の機能的障害（例えば、瘢痕が関節部を覆って可動範囲を制限するような場合）に関与したり、若年齢の頃から存在する場合には正常な成長を遅滞させたりすることがある。

上で概説したような効果は全て、創傷治癒反応の正常な進行の結果として生じる。しかしながら、この反応が異常な改変をうける場合も多々あり、そういった場合、さらにダメージを被るような結果に結びつくこともしばしばである。

治癒反応が改変するおそれのある場合の１つは、異常に過剰な瘢痕の形成を通して生じる。肥厚性瘢痕は、重症の瘢痕形状であり、肥厚性瘢痕は、患者に際だった悪影響を及ぼす。肥厚性瘢痕は、正常な皮膚の表面よりも上昇し、異常なパターンで過剰なコラーゲンを含む。結果、このような瘢痕はしばしば正常な機械的機能性を著しく損なうことになる。通常は筋関連プロテイン（特に平滑筋アクチン）の異常発現に起因する、形成後の肥厚性瘢痕の収縮傾向により、さらに増悪される。子供は、肥厚性瘢痕の形成の可能性がさらに高く、特に熱傷による受傷の結果において、特に高い。

ケロイドは、よく知られた病理学的瘢痕の別形態である。ケロイド性瘢痕は、皮膚の表面から高まるのみならず、原初の損傷の境界部を越えて広がる。ケロイドは、異常な様式で組織化された過剰な結合組織を含んでおり、通常はコラーゲン性の組織のうず（whirls）として顕れる。ケロイド形成の原因については、憶測の域を出ないが、一般に、個体により、ケロイド形成の遺伝的素因を有すると解されている。肥厚性瘢痕およびケロイドは、ともに、アフロカリビアンおよびモンゴロイド民族において特に一般的である。

上の考察においては、ヒトにおける創傷治癒の作用について主に論じたが、当然のことだが創傷治癒反応は、その不利益および潜在的異常性を含め、殆どの動物種において保存されている。よって、上で概説した問題は、ヒトでない動物に対しても適用可能であり、特に、獣医学用動物や家畜（例えば、ウマ、ウシ、イヌ、ネコ等）に適用可能である。例えば、腹部創傷の不適正な治癒による癒着は、ウマ（特に競走馬）の獣医学的破壊の主因を構成する。同様、家畜もしくは獣医学用動物の腱ならびに人体も、しばしば傷をうけることがあり、これら傷の治癒もまた、動物の死亡率上昇に結びつく瘢痕を引き起こすことがある。

これまでの議論から容易に理解されることだが、創傷治癒および瘢痕低減用薬物の有効性を測定する方法が必要である。瘢痕の不都合な影響のいくつかは心理学的なものであるが、このような心理学的な影響を克服する上においても、瘢痕低減治療の有効性を適切に判断することができる客観的な化学的または生化学的なテストがない。実際、瘢痕低減を評価する重要な指標は、薬物を用いずに処置した瘢痕との比較での、その薬物を用いて処置した瘢痕に対する自覚的反応である。通常、瘢痕低減治療法は、治験において創傷したボランティアについてテストされ、薬物が彼らに投与される、という事実がこの問題を複雑にしている。したがって、好転した瘢痕は、時には、治験目的で作られた瘢痕である。

瘢痕の重症度を測定するのに、視覚的アナログスコアリング（visual analogue scoring）を用いることが知られている。この方法は、評価者（assessor）に複数の瘢痕を見せ、評価者に対し、瘢痕の重症度が低値から高値まで延在する尺度上を指し示すことを依頼することで行われる。そして、視覚的尺度上に標識されたマークをスコアに変換し、認知された相対的な瘢痕の重症度を決定する。そして、この手法を、薬物を与えたまたは与えなかった瘢痕の画像とともに使用することにより、薬物の有効性の測度を得ることができる。

視覚的アナログスコアリングは、価値あるデータをもたらすのだが、当然のことだが、視覚的アナログスコアリングのシステムを実践するのは容易ではない。特に、米国における食品医薬品局（ＦＤＡ）のような、様々な薬剤承認を行う職員を満足させるために、収集すべき情報を調節され準拠した方法で収集しなければならないような場合には、容易ではない。画像に関連したデータを取得するために別の測定基準を用いた場合であっても、同様の問題が生じる。

情報を電子的に、例えばコンピュータを用いて、収集する場合、コンピュータ・システムは、２１ ＣＦＲ Ｐａｒｔ１１の規定を満たさねばならない。該規定は、米国連邦公報ＰａｒｔＩＩに、「Electronic Records; Electronic Signatures; Final Rule; Electronic Submissions; Establishment of Public Docket; Notice （電子記録；電子署名；最終規則；電子提出；意見公募記録簿の設置；通知）」、Department of Health and Human Services, Food and Drug Administration （保健・福祉省食品医薬品局）、１９９７年３月２０日、に示されている。その内容は、参照により本明細書に含まれる。今まで、厄介な２１ ＣＦＲ Ｐａｒｔ１１の規定を満たした、画像に関連するデータを収集するのに適した電子システムは存在しなかった。

本発明の目的は、上で概説した問題の少なくとも幾つかを、未然に防止、または、軽減することである。

以下において、例示を目的として添付の図面を参照し、本発明の形態を説明する。

本発明により、画像に関連する情報を収集する方法および装置が供される。本方法は、画像を提示（presenting）するステップ、該画像に関連する複数のデータ項目を複数のコンピュータのうちの１つから入手（receiving）するステップ、該データ項目それぞれを、該画像を特定（identifying）する識別子と関係づけ（associating）するステップ、および、該データ項目それぞれを、関係づけされた該識別子とともに、データ保存部（data repository）に格納（storing）するステップ、を有する。

こうして、本発明は、画像を提示し、かつ、複数のコンピュータを用いる複数の評価者（assessors）から、その画像に関連したデータを収集することができる。そして、データは、データ保存部に格納される。例えば、入手したデータ項目は、それぞれ、提示した画像に対する評価者の自覚的反応（subjective response）を表している。

本発明にかかる好適な実施形態においては、データ保存部は、データベースである。またより好ましくは、データベース管理システムによって操作される構造化データベースである。例えば、データ保存部は、構造化されたクエリ言語（Structured Query language）を用いて実装され、従来型データベース管理システムによって管理されるリレーショナル・データベースでよい。あるいは、データベースは、オブジェクト指向データベースであってもよい。ある実施形態においては、データ保存部は、データベース管理システムに管理されるデータベースではなしに、収集したデータを所定の方法によって格納するファイルあるいは複数のファイルからなる収集体（collection）である。

複数のコンピュータは、リクエストに応答してサーバへデータを送信可能であってよい。該リクエストは、該サーバから該複数のコンピュータへ送信可能であってよい。第１の時刻においてリクエストが送信され、そして、複数のデータ項目が、前記第１の時刻から始まる所定の期間の内に受信（入手）されればよい。該所定の時間（期間）は、当該リクエストにより特定されればよい。該リクエストは、該複数のコンピュータにユーザインターフェースを表示させるように構成されればよく、該ユーザインターフェースは、データ項目の作成による入力を受け入れるように構成されればよい。

本発明にかかる幾つかの実施形態においては、画像は、ヒトあるいは動物の皮膚の画像であり、該皮膚は、瘢痕を含んでよい。このような状況において、受信したデータは、表示された画像にある瘢痕の認知された重症度を示す情報を含む。したがって、異なる瘢痕を示した相異なる複数の画像についてのデータを収集し、当該瘢痕のうちの幾つかのみが特定の薬物で処置されたものであれば、本発明は、薬物の有効性を評価することを可能にする情報を収集することができる。注記するが、収集した情報は、瘢痕の程度に関する主観評価を表しており、よって、起こりうる瘢痕の心理的影響を考慮に入れることが可能である。

データ項目は、それぞれ、所定の範囲内の実数を含んでよく、該実数は、瘢痕について認知された重症度を表してよい。該実数は、視覚的アナログスコアリング法を用いて作成すればよい。より具体的には、評価者には、尺度（スケール）を含んだユーザインターフェースが提示され、そして、評価者は、該尺度上における点についてのユーザ入力を示すデータを入力すればよい。該尺度上における点についての入力は、その後、実数に変換されればよい。

上記の変換は、あらゆる好都合な方法で実行されてよい。例えば、第１の実数値は、該尺度の第１端に対応付けされるように定めてよい。よして、第２の実数値は、該尺度の第２端に対応付けされるように定めてよい。上記点と該尺度の第１端との距離を算定し、この距離を、第１端と第２端の間隔、ならびに、第１の実数値および第２の実数値に基づいて実数に変換すればよい。

本発明はまた、複数の画像間における比較を示すデータの収集が可能である。この、複数の画像は、それぞれ瘢痕に関する画像でもよい。ここでは、データ項目は、それぞれ該複数の瘢痕の間に、認知される重症度の差違があるか否かを示すものであってよい。該データ項目のうちの１つが、該複数の瘢痕の重症度において認知される差違があることを示せば、当該データ項目は、いずれの画像が最も重症度の低い瘢痕を表示しているのかを示すことも可能である。当該複数の画像は、一対の画像であってもよい。

ユーザインターフェースは、ディスプレイ装置に表示されればよく、ユーザインターフェースは、ユーザが選択可能なボタンを複数備えてよい。そして、ユーザによる当該複数のボタンの１つにかかる選択を示す入力データを入手すればよい。より具体的には、複数の画像が、一対の画像である場合、ユーザインターフェースは、３つのボタンを供えればよい。第１のボタンは、該一対の画像の第１の画像が、より重症度の低い瘢痕を表示していることを示すときに選択可能であり、第２のボタンは、該一対の画像の第２の画像が、より重症度の低い瘢痕を表示していることを示すときに選択可能であり、第３のボタンは、当該第１および第２の画像が、同程度の重症度の瘢痕を表示していることを示すときに選択可能であればよい。

本方法は、さらに、複数のコンピュータに対し、コンピュータ・プログラム・コードを提供するステップを有してよい。該プログラム・コードは、該複数のコンピュータの１つにおいて実行され、該データ項目の１つを生成可能である。このようにして、様々なアセスメント・データ（評価データ）を、提供されたコンピュータ・プログラム・コードに依存して収集することも可能である。よって、本発明においては、収集する評価データの変更が容易である。コンピュータ・プログラム・コードは、実行されることによって、データの収集を制御して当該データ項目の１つを生成するためのインターフェースを提供するコンピュータ・プログラムを含んでもよい。

ユーザが、上記の第１のボタン、または、第２のボタンを選択したことを示す入力データを受信した場合には、さらに別のユーザインターフェースを表示してもよい。この、さらに別のユーザインターフェースは、上記一対の画像の上記第１および第２の画像において表示される瘢痕の重症度の程度の差違を示す入力データを入手するように構成してよい。さらに具体的には、上記さらに別のユーザインターフェースは、一対のボタンを提示してよい。第１のボタンは、上記差違は僅かであることを示すものであり、第２のボタンは、上記差違は著しいことを示すものでよい。

複数のユーザを定めるデータを格納してもよい。これらのデータは、複数のユーザそれぞれのユーザ名およびパスワードを含んでよい。情報収集をするのに必要なユーザのログオンの数を示すデータを格納してもよい。この、必要なログオンの数は、ユーザの入力データから定めてもよい。

本方法はさらに、上記画像の提示よりも前に、複数のコンピュータの１つから受信される、ユーザ名およびパスワードを含んだログオンのリクエストを受信するステップ、複数のユーザを定めるデータを用いて当該受信したログオンのリクエストを認証するステップ、および、上記認証が成功した場合にのみ、ログオンを示すデータを生成するステップ、を有してもよい。画像の提示よりも前に、本方法は、少なくとも上記必要なログオンの数と同じ数のログオンのリクエストを受信するステップ、および、上記必要なログオンの数を示すデータを生成するステップを含んでもよい。上記特定数のユーザがログオンしている場合には、ログオンのリクエストを拒否してもよい。

画像は、最大画像提示時間以上でない時間の間、提示してもよい。この最大が贈呈時時間は、ユーザの入力データで定めてよい。画像は、該最大画像提示時間の間、または、上記ログオンのそれぞれに関係付けられるデータ項目を受信するまで、提示してよい。

上記最大画像提示時間に達した時点において上記ログオンのうちの１つに関係付けられるデータ項目を受信していない場合には、当該データを受信していないログオンのそれぞれを示すデータ、および、上記画像を生成してよい。加えて、該画像を提示し、示されたログオンのそれぞれに関係づけられるデータ項目を受信してよい。

該画像を、上記複数のコンピュータのオペレータが視認可能なスクリーン上に画像を提示するプロジェクタを用いて、提示してよい。あるいは、該画像を、上記複数のコンピュータのオペレータが視認可能なプラズマスクリーンといったディスプレイ装置上に、表示して提示してもよい。上記複数のデータ項目のそれぞれを、ＴＣＰ／ＩＰプロトコル、または、ＮｅｔＢＥＵＩもしくはＩＰＸといった適当なプロトコルで、受信してよい。

各データ項目を、それと関係づけられた識別子とともにデータベースに格納するステップは、さらに、各データ項目とともにそれを受信した日時（ｄａｔｅ ａｎｄ ｔｉｍｅ）を格納するステップ、および／または、該データ項目を提供したコンピュータにおけるユーザのログオンを示すデータを、データ項目それぞれとともに、格納するステップを備えてもよい。上記データ項目それぞれを、それに関係づけられた識別子とともに、リモート・データベース・サーバへ送信してもよい。

本方法は、複数の画像を逐次的に提示するステップ、および、当該複数の画像に関連する複数のデータ項目を受信するステップを含んでよい。該画像は、ランダム、または、擬似ランダム（ｐｓｅｕｄｏ−ｒａｎｄｏｍ）な順序で提示してよい。当該提示される複数の画像のいくつかは、同一のものでもよい。

データ項目を受信していないユーザのログオンを示すレポートを生成してもよい。このレポートは、データ項目を受信していない画像を示してもよい。

上述した発明を、適切なプログラミングがなされたコンピュータを用いて実施することが可能である。したがって、本発明は、コンピュータに、先の段落に記載の方法を実行させるように構成されたコンピュータ読み取り可能な命令群を有するデータ記憶媒体をも提供する。

本発明は、プロセッサが読み取り可能な命令群を格納するプログラム・メモリ、および、該プログラム・メモリに格納された命令群を読み取って実行するように構成されたプロセッサを有するコンピュータ装置をも提供する。該プロセッサ読み取り可能な命令群は、プロセッサを制御して上述の方法を実行させる命令群を含んでいる。

本発明は、分散システムの下で実施してもよい。よって、本発明は、画像に関連する情報を収集するための方法および装置も提供する。本方法は、第１のコンピュータから画像を提示するステップ、第１のコンピュータと接続した第２のコンピュータ群のうちの１つが生成する、当該画像に関連するデータ項目を複数生成するステップ、複数の第２のコンピュータのうちの１つがそれぞれ第１のコンピュータへ、各データ項目を送信するステップ、第１のコンピュータにおいて各データ項目を受信するステップ、当該データ項目を、画像を特定する識別子と関係づけるステップ、および、各データ項目を、該関係づけられた識別子とともに、データベースに格納するステップ、を有する。

本発明は、さらに、画像に関連する情報を収集するシステムを提供する。本システムは、複数の第２のコンピュータと連通した（ｉｎ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｗｉｔｈ）第１のコンピュータを有する。第１のコンピュータは、画像を提示する構成を有する。各第２のコンピュータは、該画像に関連するデータ項目を獲得し当該データ項目を第１のコンピュータへ送信する構成を有する。第１のコンピュータは、当該データ項目を受信し、画像を特定する識別子を各データ項目と関係付け、そして、各データ項目を該関係づけられた識別子とともにデータベースへ出力する構成を有する。

本システムは、さらに、第１のコンピュータに接続したデータベース・サーバを含んでよい。第１のコンピュータは、さらに、データ項目を、それに関係づけられた識別子とともに、データベース・サーバへ送信する構成を有してもよい。第１のコンピュータとデータベース・サーバの通信は、有線接続でも無線接続でもよい。同様、第１のコンピュータと第２のコンピュータの通信も、有線または無線接続でよい。例えば、無線接続を使用する場合には、第１のコンピュータと第２のコンピュータ群とは、無線ローカル・エリア・ネットワーク（ＷＬＡＮ）で接続されてよい。

本発明は、表示されるデータに関連する評価データを収集する方法および装置も提供する。本方法は、複数の第２のコンピュータに、第２のコンピュータそれぞれにおいて実行可能で評価データの収集を制御するコンピュータ・プログラム・コードを提供するステップ、上記表示されるデータを提示するステップ、および、第２のコンピュータのそれぞれにおいて上記コンピュータ・プログラム・コードを実行することにより生成される、当該表示されるデータに関連する評価データを、複数の第２のコンピュータのそれぞれから受信するステップ、を有する。

このように、第１のコンピュータが収集すべき評価データを、複数の第２のコンピュータに対して指定する方法が提供される。よって、収集すべき評価データが異なる場合には、ただ単に、異なるコンピュータ・プログラム・コードを第１のコンピュータに与え、必要に応じて適宜第２のコンピュータに提供されるように構成しさえすればよい。

表示されるデータは、画像データでよい。上記コンピュータ・プログラム・コードは、ユーザの入力を受け付けてデータ項目の１つを生成するように構成されたユーザインターフェースの表示を実行可能であってよい。本方法は、さらに、各コンピュータ・プログラムは、個別のコンピュータ・プログラム・コードによって規定されている複数のコンピュータ・プログラムを格納するステップ、および、上記コンピュータ・プログラムの１つに関する選択を示すユーザ入力を受けるステップを備えてもよい。そして、コンピュータ・プログラム・コードを提供するステップは、その場合、上記選択にかかるコンピュータ・プログラムを規定するコンピュータ・プログラム・コードを提供するステップを含んでいる。

当然のことながら、本発明の一の態様について上述した本発明の特徴を、上述の本発明の別の態様に適用することも可能である。

最初に図１を参照すれば、コンピュータのネットワーク１が例示される。コンピュータ・ネットワーク１は、スイッチ５、６に接続したタブレットＰＣ２、３、４を有する。ネットワークは、ルータ７も備える。コントローラＰＣ８は、スイッチ５、および、ルータ７に接続しており、このコントローラＰＣ８は、画像評価作業の制御に関与する。コントローラＰＣ８は、プロジェクタ９に接続する。プロジェクタ９は、スクリーン（図示せず。）上に画像を投影する。図１の構成要素は、プロジェクタ９がスクリーン上に投影する画像をタブレットＰＣ２、３、４のユーザが視認可能となるように構成される。タブレットＰＣ２、３、４、スイッチ５、６、および、ルータ７間の接続は、カテゴリー５ネットワーク配線を用いた有線接続である。しかしながら、当然のことだが、本発明の幾つかの実施形態においては、構成要素はＩＥＥＥ８０２．１１に準拠して動作するワイヤレス・ローカル・エリア・ネットワーク（ＷＬＡＮ）といった無線手段を用いて接続される。

ルータ７は、インターネット１０と接続可能なインターフェースを有する。インターネット１０を経由し、ルータ７は別のリモート・ルータ１１と通信可能である。リモート・ルータ１１は、データベース・サーバ１２に接続する。インターネット１０を経由した通信は、当業者にとって容易に理解されるタイプのフレーム・リレー・コネクションを用いて実施される。データベース・サーバ１２は、オラクル医療用データベース（Ｏｒａｃｌｅ Ｃｌｉｎｉｃａｌ ｄａｔａｂａｓｅ）をホスティングする。このデータベースは、オラクルのデータベースであって、医療用研究に関連するデータを格納するのに特に適化した様々な所定のテーブルを備えている。

当然のことだが、ルータ７は、適当な様々なネットワークを介してリモート・ルータ１１と通信可能であって、必ずしもインターネット１０でなくともよい。同様、当然のことだが、本発明の代替的実施形態においては、バーチャル・プライベート・ネットワーク（ＶＰＮ）といった別種のセキュアな通信機構を用いてインターネット１０経由の通信を可能にしてよい。ある実施形態においては、非セキュアな通信チャネルを、データのセキュリティを確保する暗号とともに用いてもよい。データベース・サーバ１２は、オラクル医療用データベースをホスティングする必要はなく、例えば、クリン・トライアル・データベース（ＣｌｉｎＴｒｉａｌ ｄａｔａｂｅｓｅ）といった別の適当なデータベースをホスティングすることができる。このクリン・トライアル・データベースもまた、医療用研究に関連するデータを格納するのに特に適化されている。

図２は、図１のコントローラＰＣ８のアーキテクチャをより詳細に例示する図である。図より判るように、コントローラＰＣ８は、ＣＰＵ１３、プログラム・メモリ１４ａおよびデータ・メモリ１４ｂを備えるランダム・アクセス・メモリ（ＲＡＭ）１４、ハード・ディスクの形態を有する不揮発性記憶装置１５、コンパクト・ディスク・ＲＯＭ（ＣＤ−ＲＯＭ）リーダ１６、ならびに、図１のスイッチ５およびルータ７と接続するためのネットワーク・インターフェース１７、を有する。本発明のあるいくつかの実施形態においては、コントローラＰＣ８は、２つのネットワーク・インターフェースを有し、その１つはルータ７との通信用であり、もう１つはスイッチ５との通信用である。コントローラＰＣ８は、入出力（Ｉ／Ｏ）インターフェース１８も備え、これには様々な入力用および出力用装置が接続され、それらにプロジェクタ９は含まれる。キーボード１９やマウス（図示せず。）といった適当な入力装置も、Ｉ／Ｏインターフェース１８に接続される。フラット・スクリーン・モニタ２０もまた、Ｉ／Ｏインターフェース１８に接続されてコントローラＰＣのユーザに情報を表示可能である。このときタブレットＰＣ２、３、４の全てのユーザに視認可能なスクリーンに表示することはない。ＣＰＵ１３、メモリ１４、ハード・ディスク・ドライブ１５、ＣＤ−ＲＯＭリーダ１６、ネットワーク・インターフェース１７、および、Ｉ／Ｏインターフェース１８は、全て、中央通信バス２１によって互いに接続されている。

コントローラＰＣ８は、マイクロソフト・ウィンドウズ２０００あるいはマイクロソフト・ウィンドウズＸＰオペレーティング・システムを用いて動作する。タブレットＰＣ２、３、４は、これらオペレーティング・システムの、タブレットＰＣ上での使用に特に設計されたバージョンで動作する。タブレットＰＣ２、３、４は、タッチペンを用いたデータ入力が可能なタッチ・スクリーンを有する。タブレットＰＣ２、３、４は、さらに、従来のキーボードを有するが、ここで説明する本発明の実施形態では、キーボードは使用しない。

図１および図２に例示した構成要素は、ともに、プロジェクタ９を用いて（それぞれがタブレットＰＣの１つを使用する）複数の評価者に画像を表示可能である。コーディネータは、コントローラＰＣ８を用いて画像評価セッションをコントロールする。強化者は、表示された画像を精査（ｒｅｖｉｅｗ）し、タブレットＰＣ２、３、４を用いて画像評価を示す評価データを入力する。このデータはコントローラＰＣ８へ送信される。コントローラＰＣ８は、それから、インターネット１０を介して受信した評価データをデータベース・サーバ１２へ転送（ｆｏｒｗａｒｄ）する。

次に、図３のフローチャートを参照して図１および図２に示したシステムの動作を概説する。ステップＳ１において、コーディネータは、コントローラＰＣ８にログオンする。コントローラＰＣ８は、ユーザインターフェースを提供し、コーディネータは、当該ユーザインターフェースを用いて、プロジェクタ９を使用して評価者に表示する画像の詳細、および、表示される画像に関連して収集されるデータを指定する。

ステップＳ１ａにおいては、データを格納するためのデータベースが選択される。ステップＳ２においては、評価手法が選択される。この選択は、表示される画像に関連して収集される評価データのタイプを示す。ステップＳ３においては、コーディネータは、データを収集する評価者の数を指定する。この数は、タブレットＰＣ２、３、４の１つにログインしているユーザの数に対応する。ステップＳ４においては、ＣＤ ＲＯＭリーダ１６に挿入されたＣＤ ＲＯＭからコントローラＰＣ８のハード・ディスク１５上へ、表示用画像がロードされる。ステップＳ５においては、コントローラＰＣ８は、スイッチ５、６、および、関係するネットワーク配線を介して、タブレットＰＣ２、３、４それぞれへ、スタート・メッセージを送信する。ステップＳ６においては、評価者は、タブレットＰＣ２、３、４を用いてログオンする。このログオンのデータは、コントローラＰＣ８へ伝えられる。全ての必要とされるユーザがログオンし、（詳細については後で説明する）その他の初期化処理が実行されると、第１の画像がデータ・メモリ１４ｂから読み出されて、プロジェクタ９を介して評価者に表示される（ステップＳ７）。

ステップＳ８においては、タブレットＰＣ２、３、４からの各評価者からの評価データが、コントローラＰＣ８で受信される。コントローラＰＣ８においてタブレットＰＣ２、３、４のそれぞれからデータが受信されると、受信したデータは、ステップＳ９において、データベース・サーバ１２へアップロードされる。ステップＳ７、Ｓ８、および、Ｓ９は、データを収集すべき画像のそれぞれに対し繰り返される。本発明の実施形態により、各評価者が各画像について情報を供したことを確認する機能がもたらされる。この機能については、後で詳述する。

図４は、本発明を実行するのに用いるソフトウェアの構造を概略的に例示する図である。本ソフトウェアは、コントローラＰＣ８上で実行されるコントローラ・ソフトウェア２２、および、タブレットＰＣ２、３、４のそれぞれで実行される評価者ソフトウェア２３、を含む。コントローラ・ソフトウェア２２は、ＴＣＰ／ＩＰモジュール２４を含む。ＴＣＰ／ＩＰモジュール２４は、一般に用いられる通信制御プロトコル（ＴＣＰ）およびインターネット・プロトコル（ＩＰ）の通信プロトコルを、コントローラＰＣ８と、他の図１に例示したネットワークに接続する装置との間の通信に実装する。コントローラ・ソフトウェア２２はさらに、コーディネータ・モジュール２５を含む。コーディネータ・モジュール２５は、コーディネータが、コントローラＰＣ８を使って画像の表示および評価データの収集を制御することを可能にする。アドミニストレータ・モジュール２６は、適切なパーミッションを有するユーザがシステムにかかる設定に様々な変更を加えることを可能にする。システムにかかる設定には、たとえば、新規ユーザのセットアップ、評価セッションにおいて収集すべきデータに関する詳細のコントロール、および、通信設定のコントロール、が含まれる。セキュリティ・モジュール２７は、ユーザのログオン、および、失敗に終わったログオンの試みのモニタリング、を含む、監査および保安を目的としたセキュリティに関する全ての局面の制御を行う。オラクル医療用接続モジュール２８は、コントローラＰＣ８から、ルータ７およびリモート・ルータ１１を介し、データベース・サーバ１２に格納されたオラクル医療用データベースへ、データの転送を可能にする。最後に、コントローラ・ソフトウェア２２は、ローカル・データベース２９を含む。ローカル・データベース２９は、後述するシステムの動作に関するデータを格納する。

次に、評価者ソフトウェア２３の構造について説明する。評価者ソフトウェアは、全般的な評価者用機能を実現する第１モジュール群３０、第１のタイプの評価データの収集に適切な機能を実現する第２モジュール群３１、および、異なるタイプの評価データの収集を可能にする第３モジュール群３２、を含む。第１モジュール群３０は、先にセキュリティ・モジュール２７を参照して説明したようなセキュリティ機能を、タブレットＰＣ２、３、４について実現するセキュリティ・モジュール３３を含む。ＴＣＰ／ＩＰモジュール３４は、タブレットＰＣ２、３、４を、一般的に使用されるＴＣＰ／ＩＰプロトコルを用いて、図１に例示のネットワークと接続する別の構成要素と通信可能にする。評価者モジュール３５は、タブレットＰＣ２、３、４を用いる評価者用の全般的な機能を提供する。

第２モジュール群３１は、第２モジュール群３１を用いる評価データの収集に特有の機能を有するＴＣＰ／ＩＰモジュール３６、および、第１のタイプの評価データの収集に特有の機能を提供する評価タイプＩモジュールを含む。第３モジュール群３２もまた、ＴＣＰ／ＩＰモジュール３８、および、第２のタイプの評価データの収集に特有の機能を提供する評価タイプＩＩモジュール３９を含む。

図４に例示のソフトウェア・コンポーネントそれぞれを、後の図を参照し、さらに詳しく説明する。

図５ないし図７は、ローカル・データベース２９に格納されるテーブルを例示する図である。このデータベースは、マイクロソフトＳＱＬサーバ・デスクトップ・エンジン（ＭＳＤＥ）を用いて実装され、コントローラＰＣ８（図２）のハード・ディスク・ドライブ１５に格納される。

図５を参照すれば、ＴＥＭＰ＿ＤＡＴＡテーブルが例示されている。このテーブルは、タブレットＰＣ２、３、４から受信した表示された画像に関連するデータを、コントローラＰＣ８からデータベース・サーバ１２へ送信する前に、一時的に格納するのに用いられる。
ＴＥＭＰ＿ＤＡＴＡテーブルは、
評価データを獲得した日時（ｄａｔｅ ａｎｄ ｔｉｍｅ）を格納するＤａｔａ＿Ｔｉｍｅｓｔａｍｐフィールド、
ＴＥＭＰ＿ＤＡＴＡテーブルの特定のレコードが示すデータで構成される評価者の詳細を格納するのに用いるＡｓｓｅｓｓｏｒ＿ＮａｍｅおよびＡｓｓｅｓｓｏｒ＿Ｕｓｅｒｎａｍｅフィールド、
ならびに、
後述するように特定の評価データを保持するのに用いるＡｓｓｅｓｓｍｅｎｔ＿Ｔｙｐｅ、Ｉｍａｇｅ＿Ｎｕｍｂｅｒ、Ｉｍａｇｅ＿Ｔｙｐｅ、Ｖａｌｕｅ＿１、および、Ｄｉｆｆｅｒｅｎｃｅフィールド、を含む。

図６は、評価セッションで用いるテーブルを、テーブル間の関係と一緒に示す図である。図６においては、テーブル間の関係の濃度は、これら関係を示す矢印に示される。

システムに対するユーザのアクセスをコントロールするため、ＳＥＣＵＲＩＴＹ＿ＧＲＯＵＰＳテーブル４１が、複数のセキュリティ・グループを定める。該複数のセキュリティ・グループは、それぞれ、Ｓｅｃｕｒｉｔｙ＿Ｇｒｏｕｐ＿ＩＤフィールドに格納された識別子、および、Ｎａｍｅフィールドに格納された関係付けられた名前（ネーム）、を有する。これらセキュリティ・グループはそれぞれ、別々のアクセス・パーミッションと関係付けられる。

ＵＳＥＲＳテーブル４２は、システムの使用権限を有するユーザの詳細を格納するのに用いられる。
ＵＳＥＲＳテーブルは、
各ユーザの文字上のユーザ名（ｔｅｘｔｕａｌ ｕｓｅｒｎａｍｅ）を格納するＵｓｅｒｎａｍｅフィールド、
パスワードを格納するＰａｓｓｗｏｒｄフィールド、
パスワードが暗号化形式で格納されているか、を示すＥｎｃｒｙｐｔｅｄフィールド、
パスワードの失効日を示す日時値を有するＰａｓｓｗｏｒｄ＿Ｅｘｐｉｒｙ＿ｄａｔｅフィールド、
ユーザのフルネームを保存するＦｕｌｌ＿Ｎａｍｅフィールド、
および、
ＳＥＣＵＲＩＴＹ＿ＧＲＯＵＰＳテーブル４１内のレコードの１つを特定するＳｅｃｕｒｉｔｙ＿Ｇｒｏｕｐ＿ＩＤフィールド、
を含む。
ＵＳＥＲＳテーブル４２は、さらに、
特定のユーザによるログインの試みの数を格納するＬｏｇｉｎ＿Ａｔｔｅｍｐｔｓフィールド、
ユーザは、システムからロックされているかどうかを示すＬｏｃｋｅｄフィールド、
および、
Ｄｉｓａｂｌｅｄフィールド、
を含む。
Ｄｉａｂｌｅｄフィールドは、何らかの理由で特定のユーザがログオンをすべきでないような場合に、アドミニストレータによって、特定のユーザのレコードを無効（ディスエーブル）にすることを可能にするフィールドである。

ＬＯＧＩＮ＿ＳＥＳＳＩＯＮテーブル４３は、特定ユーザのログオン・セッションに関連するデータを含む。Ｓｅｓｓｉｏｎ＿ＧＵＩＤフィールドは、そのセッションに固有の識別子を格納する。Ｕｓｅｒｎａｍｅフィールドは、ＵＳＥＲＳテーブル４２内の特定のユーザのレコードを特定する。Ｍａｃｈｉｎｅ＿ＩＤフィールド、および、ＩＰ＿Ａｄｒｅｓｓフィールドは、ユーザがログインしているタブレットＰＣ２、３、４の１つを特定する詳細を供する。Ｌｏｇｉｎ＿Ｔｉｍｅｓｔａｍｐフィールドは、ユーザがログオンした時を示すデータを格納する。Ｌｏｇｇｅｄ＿Ｏｕｔフィールドは、ユーザが既にログアウトしたか否かを示し、Ｌｏｇｇｅｄ＿Ｏｕｔ＿Ｔｉｍｅｓｔａｍｐフィールドは、ユーザがログアウトした日時（ｄａｔｅ ａｎｄ ｔｉｍｅ）を示す。Ｌｏｇｇｅｄ＿Ｏｕｔ＿Ｒｅａｓｏｎフィールドは、ログアウトの理由を特定可能にする。ＬＯＧＩＮ＿ＳＥＳＳＩＯＮテーブル４３のレコードで表されるログイン・セッションは、特定のユーザのログオンを表す。これに対し、ＡＳＳＥＳＳＭＥＮＴ＿ＳＥＳＳＩＯＮＳテーブル４４内のレコードが示す評価セッションは、ＬＯＧＩＮ＿ＳＥＳＳＩＯＮテーブル４３内の複数のレコードで構成される全評価セッションの関する詳細を格納する。ＬＯＧＩＮ＿ＳＥＳＳＩＯＮテーブル４３のＡｓｓｅｓｓｍｅｎｔ＿Ｓｅｓｓｉｏｎ＿ＧＵＩＤフィールドは、ログインと関係する、テーブル４４の特定の評価セッションを一意的に特定する。

ＡＳＳＥＳＳＭＥＮＴ＿ＳＥＳＳＩＯＮＳテーブル４４は、Ａｓｓｅｓｓｍｅｎｔ＿ｓｅｓｓｉｏｎ＿ＧＵＩＤフィールドに格納された固有の識別子を有する。Ｓｔａｒｔ＿Ｔｉｍｅｓｔａｍｐフィールドは、セッションが介しした日時を格納し、Ｅｎｄ＿Ｔｉｍｅｓｔａｍｐフィールドは、セッションが終了した日時を格納する。Ｎｕｍｂｅｒ＿ｏｆ＿Ｉｍａｇｅｓフィールドは、評価セッションで表示され評価されるべき画像の数を示す。Ｓｅｓｓｉｏｎ＿ＧＵＩＤフィールドは、特定の評価セッションで評価データを提供する責を負っているユーザを示すＬＯＧＩＮ＿ＳＥＳＳＩＯＮテーブル４３の１つまたは複数のレコードを特定する。Ｎｕｍｂｅｒ＿ｏｆ＿Ａｓｓｅｓｓｏｒｓフィールドは、特定の評価セッションに対しデータを寄せる評価者の数を示す。Ｓｃｏｒｉｎｇ＿Ｔｉｍｅフィールドは、画像を評価者に表示する時間の長さを示す。ＯＣ＿Ｓｔｕｄｙフィールドは、データベース・サーバ１２に格納されたオラクル医療用データベース内のレコード群（学習（スタディ）と称する。）を特定する。このデータは、コントローラＰＣ８が、受信した評価データを、データベース・サーバ１２に格納されたオラクル医療用データベースの的確なパートに、確実に送るために用いられる。Ｔｒａｉｎｉｎｇ＿Ｓｅｓｓｉｏｎフィールドは、セッションが学習セッションに指定されているか否かを示す。このフィールドの重要性については、後で詳述する。

上述したように、画像についての収集すべきデータは、複数の相異なるタイプのうちから１つである場合がある。収集すべきデータのタイプは、評価モジュールによって特定され、Ｍｏｄｕｌｅ＿ＧＵＩＤフィールドが、収集すべきデータの詳細を供するＡＳＳＥＳＳＭＥＮＴ＿ＭＯＤＵＬＥＳテーブル４５内のレコードを特定する。ＡＳＳＥＳＳＭＥＮＴ＿ＭＯＤＵＬＥＳテーブル４５は、モジュール固有の識別子を供するＭｏｄｕｌｅ＿ＧＵＩＤフィールド、モジュールの名前（ネーム）を供するＮａｍｅフィールド、および、モジュールに関連するコードのコントローラＰＣ８上での場所を示すＬｏｃａｌ＿Ｐａｔｈフィールド、を含む。コントローラＰＣ８に評価データを獲得するのに必要なコンピュータ・プログラム・コードを格納することにより、（図４のモジュール３１、３２のうちの１つに対応する）適当な評価モジュールを、必要に応じ、タブレットＰＣ２、３、４の１つへダウンロード可能である。同様にして、追加の評価タイプを作成することができ、適当なプログラム・コードが必要に応じてダウンロード可能である。

ＮＯＮ＿ＡＳＳＥＳＳＥＤ＿ＩＭＡＧＥＳテーブル４６は、欠損データの詳細を獲得するのに用いることができる。上述のように、本発明実施形態は、表示される画像それぞれについて、各評価者からデータを確実に収集するための機構を導入することができる。この、ＮＯＮ＿ＡＳＳＥＳＳＥＤ＿ＩＭＡＧＥＳテーブルは、その機能を供するために用いられる。
このテーブルは、
固有の識別子を格納するＮｏｎ＿Ａｓｓｅｓｓｅｄ＿Ｉｍａｇｅ＿ＧＵＩＤフィールド、
評価データを提供することに失敗したログイン・セッションを特定するＳｅｓｓｉｏｎ＿ＧＵＩＤフィールド、
画像が表示された評価セッションを表すＡＳＳＥＳＳＭＥＮＴ＿ＳＥＳＳＩＯＮＳテーブル４４内のレコードを特定するＡｓｓｅｓｓｍｅｎｔ＿ｓｅｓｓｉｏｎ＿ＧＵＩＤフィールド、
および、
データが欠損している画像の詳細を供するＩｍａｇｅ＿ＩＤおよびＩｍａｇｅ＿Ｔｙｐｅフィールド、
を含む。
このテーブルの使用態様については、以下でさらに詳細に説明する。

図６はまた、システムへのログイン失敗のそれぞれに関するデータを格納するＡＣＣＥＳＳ＿ＦＡＩＬＵＲＥテーブル４７を例示する。これにより、システムにおけるセキュリティをモニタ可能になる。該テーブルは、ログイン失敗それぞれに対し固有の識別子を格納するＡｃｃｅｓｓ＿Ｆａｉｌｕｒｅ＿ＧＵＩＤフィールドを含む。該テーブルは、さらに、ログイン・セッションを特定するＳｅｓｓｉｏｎ＿ＧＵＩＤフィールド、ならびに、失敗に終わったログインが実行されたタブレットＰＣを特定するＭａｃｈｉｎｅ＿ＩＤ、および、ＩＰ＿Ａｄｒｅｓｓフィールド、を含む。Ｆａｉｌｕｒｅ＿Ｔｉｍｅｓｔａｍｐは、当該失敗に終わったログインが試みられた日時を示し、Ｆａｉｌｕｒｅ＿Ｒｅａｓｏｎフィールドは、失敗の理由を示す。Ａｔｔｅｍｐｔｅｄ＿Ｕｓｅｒｎａｍｅフィールドは、当該失敗に終わったログイン処理にて入力されたユーザ名を示す。

図７は、様々な監査機能をデータベース上で実行可能にする５つのテーブルを例示する。
これらのテーブルは、
ＡＵＤＩＴ＿ＡＳＳＥＳＳＭＥＮＴ＿ＳＥＳＳＩＯＮＳテーブル４８、
ＡＵＤＩＴ＿ＵＳＥＲＳテーブル４９、
ＡＵＤＩＴ＿ＮＯＮ＿ＡＳＳＥＳＳＥＤ＿ＩＭＡＧＥＳテーブル５０、
ＡＵＤＩＴ＿ＡＳＳＥＳＳＭＥＮＴ＿ＭＯＤＵＬＥＳテーブル５１、および、
ＡＵＤＩＴ＿ＳＥＣＵＲＩＴＹ＿ＧＲＯＵＰＳテーブル５２、である。
図７に示すテーブルの用法については、以下で詳述する。

図７に例示のテーブルは、集合的に用いられ、図６に示した同じ名前のテーブル内のレコードについて、実行されたアクション（例えば、アップデート、変更、および、削除動作）に関する監査証跡を格納する。この監査証跡は、上述したアメリカ合衆国食品医薬品局（ＦＤＡ）が発行した２１ ＣＦＲ Ｐｔ１１に記載の要件をシステムが満たすための要請である。これについては、以下でも詳述する。

図７に例示のテーブルへの投入には、データベース・トリガが用いられる。このデータベース・トリガは、所与のデータベース・テーブルに対してアクションを行い、また、監査証跡内に当該アクションの記録（レコーディング）を行う。これにより、ソフトウェア内およびソフトウェア外で行われるデータベースの変更の追跡（トラッキング）が可能である。

ＡＵＤＩＴ＿ＡＳＳＥＳＳＭＥＮＴ＿ＳＥＳＳＩＯＮＳテーブル４８への投入は、ＡＳＳＥＳＳＭＥＮＴ＿ＳＥＳＳＩＯＮＳテーブルに対するトリガの発火（ファイアリング）による。このトリガは、ＡＳＳＥＳＳＭＥＮＴ＿ＳＥＳＳＩＯＮＳテーブル４４のレコードに関連した挿入、アップデート、および、削除の操作を記録する。上述の説明から明らかだが、このレコードは、ソフトウェアを用いた評価セッションの作成、実行、および、完了の際に、ＡＳＳＥＳＳＭＥＮＴ＿ＳＥＳＳＩＯＮＳテーブル４４へ格納される。

ＵＳＥＲＳテーブルに対するトリガの発火により、ＡＵＤＩＴ＿ＵＳＥＲＳテーブル４９への投入が行われる。このトリガは、ＵＳＥＲＳテーブルのレコードに関連した挿入、アップデート、および、削除の操作を記録する。レコードは、ユーザの作成、変更、および、解除（デアクティべーション）の際に、ＵＳＥＲＳテーブル４２内に格納される。ＡＵＤＩＴ＿ＵＳＥＲＳテーブル４９に関するトリガにより、パスワード変更といったイベントも記録される。

ＮＯＮ＿ＡＳＳＥＳＳＥＤ＿ＩＭＡＧＥＳテーブル４６に対するトリガの発火により、ＡＵＤＩＴ＿ＮＯＮ＿ＡＳＳＥＳＳＥＤ＿ＩＭＡＧＥＳテーブル５０への投入が行われる。このトリガは、ＮＯＮ＿ＡＳＳＥＳＳＥＤ＿ＩＭＡＧＥＳテーブル４６に関連した挿入、アップデート、および、削除の操作を記録する。ユーザ／複数ユーザが表示された画像に関する評価を記録しない場合に、ＮＯＮ＿ＡＳＳＥＳＳＥＤ＿ＩＭＡＧＥＳテーブル４６内に格納され、そのようなレコードは、ソフトウェアによって、後述のスコアリング・セッションの過程において操作される。

ＳＥＣＵＲＩＴＹ＿ＧＲＯＵＰＳテーブル４１に対するトリガの発火により、ＡＵＤＩＴ＿ＳＥＣＵＲＩＴＹ＿ＧＲＯＵＰＳテーブル５２への投入が行われる。このトリガは、ＳＥＣＵＲＩＴＹ＿ＧＲＯＵＰＳテーブル４１に関連した挿入、アップデート、および、削除の操作を記録する。レコードは、ソフトウェアによってＳＥＣＵＲＩＴＹ＿ＧＲＯＵＰＳテーブル４１内に挿入、アップデート、または、削除されない。ＳＥＣＵＲＩＴＹ＿ＧＲＯＵＰＳテーブル４１に関するレコードの作成、変更、および、削除は、ＡＵＤＩＴ＿ＳＥＣＵＲＩＴＹ＿ＧＲＯＵＰＳテーブル５２において監査されるデータベースに対して直接的に行われる。

注記するが、図７の監査テーブルの１つに記録される各エントリについて、親テーブル（ｐａｒｅｎｔ ｔａｂｌｅ）に対して実行されるＳＱＬ文（ＳＱＬステートメント）も記録される。したがって、これにより、親テーブルに対して実行される正確なアクションが、監査テーブルの１つにそれぞれ記録される。

これより、画像表示および評価データ収集を行うシステムの動作についてさらに詳細に説明する。先ず図８を参照すれば、コーディネータとしてコントローラＰＣ８へログインするユーザに供される選択を図示するフローチャートが示される。これは、コントローラ・ソフトウェア２２のコーディネータ・モジュール２５によって提供される（図４）。ステップＳ１０においては、ユーザに、３つの選択肢を供するホームページが提示される。ステップＳ１１においては、ユーザは、パスワードの変更を選択可能であり、ステップＳ１２においては、ユーザは、システムからのログアウトを選択可能であり、ステップＳ１３においては、ユーザは、評価セッションの開始を選択可能である。ユーザがステップＳ１３における評価セッションの開始を選択した場合には、処理は、図８のステップＳ１４に示すように、図９のステップＳ１５へ進む。

次に、図９を参照すれば、ステップＳ１６においては、現在動作中の評価セッションが存在するか否か判定される。現在動作中の評価セッションが無い場合には、処理は、ステップＳ１７から、直接的に図１０に進む。しかし、ステップＳ１６にかかるチェックにより、動作中のセッションが存在すると判定される場合には、処理はステップＳ１８へ移る。ステップＳ１８においては、現在動作中の評価セッションを継続させるか、あるは、現在動作中の評価セッションをキャンセルするかを、ユーザに選択させるダイアログを提示する。ユーザが、現在動作中の評価セッションのキャンセルを選択した場合には、処理はステップＳ１９へ移る。ステップＳ１９においては、現在動作中の評価セッションにおいて表示されるべきであった画像を、コントローラＰＣ８のハード・ディスク１５から削除する。さらに、現在キャンセルされる評価セッションを表すＡＳＳＥＳＳＭＥＮＴ＿ＳＥＳＳＩＯＮＳテーブル４４のレコードを適切にアップデートする。現在キャンセルされる評価セッションに関連するＬＯＧＩＮ＿ＳＥＳＳＩＯＮテーブル４３の各レコードを適切に修正する（ステップＳ２０）。キャンセルされた評価セッションの画像の削除、および、データベースのテーブルに対する適切な修正が完了すると、処理は、ステップＳ１６へ移る。ステップＳ１６においては、動作中の評価セッションに関するチェックにおいて偽（ｆａｌｓｅ）が返され、処理がステップＳ１７へ移され得ることになる。

ステップＳ１８において表示されるダイアログに付帯し、ユーザが現在動作中の評価セッションの継続を選択した場合には、コントローラＰＣ８は、現在動作中の評価セッションでスコアリングされていない画像のランダム・リストを作成する。この作成は、ユーザに対して未だ表示されていない画像を決定することにより行われる。また、この作成は、（後述する）コントローラＰＣ８内の適当なフォルダに格納された画像と、オラクル医療用データベース内に格納されているデータの示す画像、あるいは、ＮＯＮ＿ＡＳＳＥＳＳＥＤ＿ＩＭＡＧＥＳテーブル４６内に存在するレコードにかかる画像、とを比較することに帰結させることもできる。そして処理は、ステップＳ２２へ移行する。ステップＳ２２は、処理を、後述する図１０のステップＳ３５へ移行させる。

次に、図１０を参照し、新規の評価セッションを開始させる役割を担う処理について説明する。ステップＳ２３においては、ＴＥＭＰ＿ＤＡＴＡテーブル４０（図５）内の全てのレコードを、削除する。ＴＥＭＰ＿ＤＡＴＡテーブル４０は、タブレットＰＣ２、３、４からコントローラＰＣ８へデータが受け入れられてから、データベース・サーバ１２へ当該データが送られるまでの間、一時的に当該データを格納するのに用いられる。新規の評価セッションが作成される場合には、ＴＥＭＰ＿ＤＡＴＡテーブル４０内に格納されたデータは関連がないため、削除される。ステップＳ２３において、ＴＥＭＰ＿ＤＡＴＡテーブルのレコードが削除されると、ステップＳ２４において、セッション・セットアップ・ダイアログ５３（図１１）がユーザに対して表示される。ステップＳ２５においては、ユーザは、ダイアログ５３に配されたドロップダウンリスト５４を用い、収集された評価データが関係付けられている、データベース・サーバ１２内に格納されたオラクル医療用データベースの学習を選択する。ステップＳ２６においては、ドロップダウンリスト５５を用いて、収集すべき評価データのタイプが選択される。ＡＳＳＥＳＳＭＥＮＴ＿ＭＯＤＵＬＥＳテーブル４５のレコードのＮａｍｅ（ネーム）フィールドを読んでドロップダウンリスト５５が装備される。ステップＳ２５において、学習を選択し、ステップＳ２６において、評価タイプを選択すると、次に、ユーザは、画像ロード・ボタン５６を用いて、第１ＣＤ ＲＯＭからコントローラＰＣ８へ、画像をロードする（ステップＳ２７）。画像ロード・ボタン５６が押下されると、処理は、ＣＤ ＲＯＭリーダ１６内にＣＤ ＲＯＭが存在するか否かを判断し、ＣＤ ＲＯＭが存在しない場合には、適切なエラーメッセージがユーザに対し表示される。適切なＣＤ ＲＯＭがＣＤ ＲＯＭリーダ１６内に存在する場合には、画像が、ＣＤ ＲＯＭからコントローラＰＣ８のハード・ディスク１５にロードされる（ステップＳ２７ａ）。これらの画像は、コントローラＰＣ８のハード・ディスク１５の「バッチ１」フォルダ内に格納される。画像を、ＣＤ ＲＯＭから「バッチ１」フォルダへロードすると、ステップＳ２８においては、ユーザは、ＣＤ ＲＯＭリーダ１６へ別のＣＤ ＲＯＭを挿入し、ダイアログ５３に配された第２の画像ロード・ボタン５７を選択して第２のＣＤ ＲＯＭからコントローラＰＣ８のハード・ディスク１５に画像をコピーする。これらの画像は、ハード・ディスク１５の「バッチ２」フォルダ内に格納される。

注記すべきは、本発明の実施形態においてＣＤ ＲＯＭリーダ１６に挿入される第１および第２のＣＤ ＲＯＭは、相異なるＣＤ ＲＯＭである点である。これにより、第１のＣＤ ＲＯＭからデータを読み出すときに、第１のＣＤ ＲＯＭのボリューム・ラベルを格納し、この格納されたボリューム・ラベルと、第２のＣＤ ＲＯＭのボリューム・ラベルとの比較が容易になる。この比較は、ステップＳ２９において実行され、ボリューム・ラベルが一致すると判断した（ＣＤ ＲＯＭリーダ内に、２度、同じＣＤ ＲＯＭが装着されたことを示す）場合には、ステップＳ３０において、適当なエラーメッセージがユーザに対して表示され、処理は、ステップＳ２８へ戻る。ステップＳ２８においては、ユーザは、別のＣＤ ＲＯＭをＣＤ ＲＯＭリーダ１６へ挿入して第２の画像ロード・ボタン５７を選択し、画像をコントローラＰＣ８の「バッチ２」フォルダへロードすることができる。注記すべきは、ステップＳ２９のチェックが、第１および第２のＣＤ ＲＯＭが相違することを示すまでは、実際に、ＣＤ ＲＯＭから「バッチ２」フォルダへ画像はコピーされない点である。ＣＤ ＲＯＭから「バッチ２」への画像のロードは、ステップＳ３１において行われる。

適当な画像が、コントローラＰＣ８の「バッチ１」および「バッチ２」フォルダへロードされると、処理は、ステップＳ３２へ移る。ステップＳ３２においては、コントローラＰＣ８の「バッチ１」および「バッチ２」フォルダの両方の画像に関するランダムな順序のリストが作成される。注記するが、このランダムな順序のリストは、いくつかの画像については、複数回含んでもよい。

画像を２つの別々のフォルダに分けることで、２つの別々の部分母集団を作成することができる。画像に関連するデータを獲得した際には、データは、どの画像と関連するかを特定するデータとともに格納される。各画像を特定する識別子は、その画像が、「バッチ１」フォルダまたは「バッチ２」フォルダのいずれから取られたものかを示すように作成することができ、そうすることによって、獲得された、２つのデータ部分母集団を、格納したデータ内で区別することができる。例えば、「バッチ１」フォルダに格納した画像は、スコアリング・データを収集および格納するのに用いられるものであり、他方、「バッチ２」フォルダに格納した画像は、整合性（コンシステンシー）をチェックするために用いられるものである。例えば、「バッチ２」フォルダは、採点者の無矛盾性を確保するために繰り返される、多くの画像を含んでよい。「バッチ２」フォルダ内に格納された画像は、多くの評価セッションに共通のものとすることでセッション間の整合性をモニタリングすることも可能である。

ステップＳ３３においては、ユーザは、スライド・バー５８を用い、その評価セッションの評価データを寄せる評価者の数をダイアログ５３へ入力する。ステップＳ３４においては、ユーザは、スライド・バー５９を用い、（後述する）評価者が評価データを供するための秒数を示す時間値を入力する。上述の、ステップＳ２３からステップＳ３４を参照して説明した処理は、評価セッションを構成するのに必要な全てのデータについて行われる。注記するが、ダイアログ５３は、特定の情報を供することに用いられるある種のエレメントを用いた後で、ダイアログ５３の個々の要素それぞれを有効（イネーブル）にするのみで、上述のステップが説明したとおりの順番で確実に実行されるように構成される。例えば、図１１を見れば、ドロップダウンリスト５４は、使用可能であるが、ドロップダウンリスト５５、画像ロード・ボタン５６、５７、および、スライド・バー５８、５９は、使用できないように、グレーで表示される。

上述の方法に従って評価セッションを設定すると、処理は、ステップＳ３５へ移る。ステップＳ３５においては、ユーザは、ボタン６０を用い、クライアントの接続の受諾をトリガする。各クライアント接続は、タブレットＰＣ２、３、４の１つを用いて評価データを寄せる評価者からの接続である。各クライアント接続は、ローカル・データベースのＬＯＧＩＮ＿ＳＥＳＳＩＯＮテーブル４３内のレコードと関係付けられる。コントローラＰＣは、必要数の接続を受けるまで待機する。ステップＳ３６においてはチェックが行われ、コーディネータが評価セッションのキャンセルを選択したかどうか判断される。セッションがキャンセルされなかった場合には、処理は、ステップＳ３７に移る。ステップＳ３７においてはチェックが行われ、特定数の接続が樹立されているかどうか判断される。特定数の接続が樹立されていない場合には、ステップＳ３６およびＳ３７は、必要数の接続が樹立されるか、あるいは、ユーザがセッションのキャンセルを選択するまで、繰り返される。ステップＳ３６においてユーザがキャンセルを選択した場合には、ステップＳ３８において、画像が、コントローラＰＣ８のハード・ディスク１５の「バッチ１」および「バッチ２」両フォルダから削除され、ステップＳ３９において、特定の評価セッションに対するログインに関連するＬＯＧＩＮ＿ＳＥＳＳＩＯＮテーブル４３のレコードが、適宜アップデートされる。次に、ステップＳ４０において、処理は図８に戻る。図８においては、コーディネータに再度、コーディネータのホームページが提示される。

ステップＳ３６において、セッションがキャンセルされなかった場合には、特定数の接続を受けたときにステップＳ３６およびＳ３７からなるループから抜ける。特定数の接続を受けたときには、処理がステップＳ４１へ移る。ステップＳ４１においては、ユーザに別のダイアログが提示される。この別のダイアログは、評価セッションを開始するのに用いられる。また、適当なボタンを選択することにより、このダイアログを用いてセッションをキャンセルしてコーディネータのホームページに戻ることもできる。このボタンを使用したことは、ステップＳ４２において検出される。このボタンが選択されると、処理は、ステップＳ３８へ移る。ステップＳ３８の実行する処理は、既に説明したとおりである。ユーザはステップＳ４２においてホームページへ戻ることを選択しなかった場合には、ユーザは、セッションを「学習セッション」に指定・選択することができる。学習セッションは、評価者を教習するために用いられるものであって、データがオラクル医療用データベースに書き込まれることはない。このセッションは、ステップＳ４３において、「チェック」を別のダイアログの適当なチェック・ボックスに入れることで行われる。チェック・ボックス内にチェックが入ると、処理はステップＳ４４に移る。ステップＳ４４においては、セッションが学習セッションに指定される。この重要性については、以下において詳述する。ステップＳ４４におけるセッションの学習セッション指定、あるいは、セッションが学習セッションでない場合のステップＳ４３における処理の後、ステップＳ４５において、処理は、図１２のステップＳ４６に移る。

図１０Ａを参照すれば、評価セッションのセットアップ用の別の処理が例示される。図１０Ａのフローチャートの一部、破線で示されている部分は、図１０のフローチャートの対応する部分と同一である。しかしながら、図１０のステップＳ３２は、図１０Ａにおいては、ステップ３２ａないしＳ３２ｉに置き換わっている。

図１０Ａを参照すれば、ステップＳ３１において、ＣＤ２から画像をロードした後、ステップＳ３２ａにおいて、チェックが行われ、ＣＤ１およびＣＤ２の組み合わせは、以前の評価セッションにおいて使用されたことがあるかどうか判断される。当然のことだが、このチェックは、適当なデータベースに格納されたデータによって、２つのＣＤのＩＤを比較するステップを含む。これらのＣＤの組み合わせは、以前に用いられたことがないと判断された場合には、処理はステップＳ３２ｂに移る。ステップＳ３２ｂにおいては、画像は、図１０におけるステップＳ３２の手法と類似の方法で無作為化（ランダム化）される。ステップＳ３２ｂにおいて画像がランダム化された後、実行したランダム化を、ステップＳ３２ｃにおいて、適当なデータベースに格納する。ステップＳ３２ｃに格納されたデータは、第１および第２のＣＤの識別子を含み、そうすることで、このランダム化されたデータを、このＣＤの組み合わせが招来用いられた場合に取り出すことが可能となる。加えて、ステップＳ３２ｃに格納されるデータは評価セッションの日時を含み、そうすることによって、格納したランダム化を、招来の評価セッションで、日時に基づいて選択することが可能となる。このように、ステップＳ３２ｃにかかる処理が完了した時点で、画像は、必要に応じてランダム化され、そして、ステップＳ３３における処理が可能なように、適切なデータが格納されたことがわかる。

ステップＳ３２ａにかかるチェックにより、今用いられるＣＤの組み合わせは、以前用いられたことがあると判断された場合には、処理は、ステップＳ３２ｄに移る。ステップＳ３２ｄにおいては、ユーザに対し指示が出される。この指示は、ユーザに対し、新規のランダム化、または、既にあるランダム化のいずれかを選択することを要求するものであり、ユーザによる入力は、ステップＳ３２ｅで処理される。当然のことだが、ユーザが以前のランダム化および新規のランダム化を選択可能であることには有利点が存在する。特に、評価セッションは反復されるべきであり、かつ、最初のセッションと同一の条件下でセッションが実行されることが望まれる場合には、同じランダム化が用いられることが好ましい。しかしながら、異なるセッションを実行する場合には、新規のランダム化が望まれる。ステップＳ３２ｅにおいて受けた入力が新規のランダム化の作成を示す場合、処理は、ステップ３２ｅからステップ３２ｂへ移る。ステップ３２ｂにおいては、ランダム化が実行され、上述のとおりに処理が進行する。しかしながら、ステップＳ３２ｅにおいて受けた入力が現存のランダム化を使用することを示す場合、処理は、ステップＳ３２ｆへ移る。ステップＳ３２ｆにおいては、チェックが実行され、現在用いられているＣＤの組み合わせに対し、データベースに幾つのランダム化が格納されているかが求められる。当然のことだが、このチェックは、以前の評価セッションにかかるステップＳ３２ｃにおいて格納されたデータを特定する、データベースに対するＣＤのＩＤを用いたクエリを含む。この特定のＣＤの組み合わせに関係づけられたランダム化が１つより多く存在すると判断された場合には、処理は、ステップ３２ｆからステップ３２ｇへ移る。ステップ３２ｇにおいては、ユーザは、以前用いたランダム化のうちから１つを選択するように指示される。この指示では、ユーザに対し、以前に用いたランダム化のリストを、それらのランダム化が用いられた日時に基づいて、提供することが好ましい。ステップＳ３２ｇから、処理は、ステップＳ３２ｈへ移る。ステップＳ３２ｈにおいては、表示されたランダム化のうちの１つについての選択を受け取る。この、選択されたランダム化は、ステップ３２ｉにおいて、読み取られ、処理は、ステップＳ３３へ移る。ステップ３２ｆにおけるチェックが、特定のＣＤの組み合わせに関係付けられるランダム化がただ１つだけ存在すると判断すれば、処理は、直接的にステップＳ３２ｆからステップＳ３２ｉへ移る。

容易にわかることだが、図１０Ａを参照し説明した評価セッションのセットアップにかかる処理の変形例は、同一の条件下で、つまり同一のランダム化で、評価セッションを再実行することを可能にする柔軟性をもたらす。

本発明の実施形態においては、評価セッションは、図１０Ａに例示の処理を用いてセットアップされる場合、図９の処理を幾分修正する必要がある。特に、図９に関し、ステップＳ１６において、動作中のセッションが特定され、ステップＳ１８において続行される場合には、ステップＳ２１において画像のランダム化集合を生成する代わりに、以前の画像のランダム化集合に関し表示されていない画像を、以前のランダム化に従って、読み出す。こうすることで、同一条件で再実行すべき評価セッションが中断された場合に、以前に作成したランダム化を用いて継続させることが可能になる。

図９、図１０、および、図１０Ａを参照して説明した処理は、評価セッションのセットアップ、および、タブレットＰＣ２、３、４のコントローラＰＣ８への接続に関連するものである。図１２および図１３を参照し、これより、評価データの収集について説明する。

先ず、図１２を参照すれば、ステップＳ４７においては、コントローラＰＣ８から各タブレットＰＣ２、３、４へメッセージが送られる。このメッセージは、評価セッションがもうすぐ開始されること、および、評価者に対し、「評価セッションに参加」ボタンをクリックし、評価データの供与の開始に対して準備か整っていることを示すことを指示するものである。そして、ステップＳ４８においては、全てのユーザが「セッション開始」ボタンをクリックするのを待つループが形成される。全てのユーザが、このボタンを選択すると、処理は、ステップＳ４９へ移る。ステップＳ４９においては、チェックが実行され、現在の評価セッションについて、ローカル・データベースのＡＳＳＥＳＳＭＥＮＴ＿ＳＥＳＳＩＯＮＳテーブル４４にレコードがあるか否かが判断される。セッションが存在しないと判断された場合には、ステップＳ５０において、新規のレコードが、ＡＳＳＥＳＳＭＥＮＴ＿ＳＥＳＳＩＯＮＳテーブル４４内に作成される。適当なレコードが存在する場合には、ステップＳ５１において、そのレコードを適切にアップデートする。ＡＳＳＥＳＳＭＥＮＴ＿ＳＥＳＳＩＯＮＳテーブル４４に格納されたデータは、既に説明したとおりである。容易に理解されることだが、このテーブル内のレコードが要求するデータは、コーディネータが上述のダイアログ５３に入力したデータから得られる。ＡＳＳＥＳＳＭＥＮＴ＿ＳＥＳＳＩＯＮＳテーブル４４は、Ｔｒａｉｎｉｎｇ＿Ｓｅｓｓｉｏｎフィールドを有する。このフィールドは、現在のセッションが学習セッション（Ｔｒａｉｎｉｎｇ Ｓｅｓｓｉｏｎ）であるか否かを示すために設定される。ＡＳＳＥＳＳＭＥＮＴ＿ＳＥＳＳＩＯＮＳテーブル４４内の各レコードは、さらに、評価データを寄せる評価者のログインを特定するＬＯＧＩＮ＿ＳＥＳＳＩＯＮテーブル４３のレコードを参照する。ステップＳ５０、または、ステップＳ５１において、ＡＳＳＥＳＳＭＥＮＴ＿ＳＥＳＳＩＯＮＳテーブル４４内に適当なレコードが作成、または、アップデートされると、処理は、評価データの収集を行うことができる。

ステップＳ５２においては、先に作成したランダム化リスト（図１０、ステップＳ３２）から、第１の画像が選択され、表示される。ステップＳ３３においては、選択された画像が、プロジェクタ９（図２）を用いてスクリーン上に画像を投影することにより、ユーザに表示される。コントローラＰＣ８は、各評価者に対し、メッセージを送り、画像評価が開始される（ステップＳ５４）。そして、タブレットＰＣ２を用いて各評価者からの評価データが求められる。ステップＳ５５においては、チェックが実行され、各評価者から画像評価データを受け取ったかどうか判断される。何人かの評価者が、まだ、評価データを寄せていない場合には、処理はステップＳ５６へ移る。ステップＳ５６においては、時間切れチェック（タイムアウト・チェック）が実行される。つまり、チェックにより、ステップＳ３４においてコーディネータが指定した時間だけ画像が表示されたか否か判断される。時間切れの期限までまだ達していない場合には、処理はステップＳ５７へ移る。ステップＳ５７においては、コントローラＰＣは、タブレットＰＣ２、３、４から寄せられるスコアを受けることができる。ステップＳ５７において、評価データを受け取った場合、ステップＳ５８においてチェックが実行され、現在のセッションが学習セッションであるか否か判断される。（このことは、ＡＳＳＥＳＳＭＥＮＴ＿ＳＥＳＳＩＯＮＳテーブル４４の適当なレコードから識別可能である。）現在のセッションが学習セッションである場合には、データを獲得する必要がないため、処理はステップＳ５５に戻る。そうでない場合には、受け取った採点データ（ｓｃｏｒｅｄ ｄａｔａ）を、ＴＥＭＰ＿ＤＡＴＡテーブル４０（図５）に格納し、いずれ、データをデータベース・サーバ１２に転送する必要がある。ＴＥＭＰ＿ＤＡＴＡテーブル４０に格納されるデータについては、以下で詳述する。データをこのテーブルに格納した後、処理は、ステップ５５に戻る。

上で述べたループは、評価データを全ての評価者から受信した場合（ステップＳ５５）、または、タイムアウトの期限に達した場合（ステップＳ５６）のいずれかで、抜け出る。タイムアウトの期限に達したなら、このことは、少なくとも１人の評価者が評価データの送信に失敗していることを示す。よって、新規のレコードが、コントローラＰＣ８に格納したローカル・データベースのＮＯＮ＿ＡＳＳＥＳＳＥＤ＿ＩＭＡＧＥＳテーブル４６に、作成される。Ｎｏｎ＿Ａｓｓｅｓｓｅｄ＿Ｉｍａｇｅ＿ＧＵＩＤフィールドは、欠損している評価データのための固有の識別子を提供する。レコードは、欠損データに関与しているログイン・セッションを示すＳｅｓｓｉｏｎ＿ＧＵＩＤフィールド、および、データが得られなかった画像の詳細と一緒に現在の評価セッションを特定するＡｓｓｅｓｓｍｅｎｔ＿Ｓｅｓｓｉｏｎ＿ＧＵＩＤフィールドを含む。レコードを、ＮＯＮ＿ＡＳＳＥＳＳＥＤ＿ＩＭＡＧＥＳテーブル４６内に作成すると、処理は、ステップＳ６１へ移る。注記するが、すべての応答を受け取ってステップＳ５５ないしステップＳ５９からなるループを抜け出た場合には、欠損データが存在しないと推論され、処理は、直接、ステップＳ５５からステップＳ６１へ移る。

Ｓ６１においては、プロジェクタ９は、一切の画像を表示せず、スクリーンは、「空白」となって、画像間の遅延をつくる。ステップＳ６１においては、チェックが実行され、セッションは学習セッションとしてマークされているか否か判断される。評価セッションが、学習セッションとしてマークされていない場合には、ステップＳ６２において、データは、ＴＥＭＰ＿ＤＡＴＡテーブル４０からデータベース・サーバ１２に格納されたオラクル医療用データベースへ、コピーされる。これにより、ステップＳ６３においては、ＴＥＭＰ＿ＤＡＴＡテーブルのレコードを削除することができ、処理は、ステップＳ６４へ移る。ステップＳ６１におけるチェックにより、現在の評価セッションが学習セッションであると判断された場合には、処理は、直接、ステップＳ６４へ移る。ステップＳ６４においては、チェックが実行され、現在の画像が、表示すべき画像の最後の画像であるかどうか判断される。表示された画像が最後の画像でない場合、処理は、ステップＳ６４ａへ移る。ステップＳ６４ａにおいては、次に表示する画像が選択され、処理がステップＳ５３へ移り、上述のように処理が続けられる。全ての画像を表示した（つまり、ステップＳ６４の条件が満たされた）場合、ステップＳ６５において、チェックが実行され、評点が付けられていない（アンスコアード（ｕｎｓｃｏｒｅｄ））画像が存在するか否か（つまり、現在のセッションに関連したＮＯＮ＿ＡＳＳＥＳＳＥＤ＿ＩＭＡＧＥＳテーブルにレコードが存在するか否か）が判断される。評点が付されていない画像が存在する場合には、ステップＳ６６において、処理は、図１３のステップＳ７１へ移る。当該ステップについては、後で詳述する。

ステップＳ６５において、評点が付されていない画像がない場合には、処理は、ステップＳ６７へ移る。ステップＳ６７においては、評価セッションが成功裡に完了したことを示すメッセージが、ユーザに対して表示される。ステップＳ６８においては、ＡＳＳＥＳＳＭＥＮＴ＿ＳＥＳＳＩＯＮＳテーブル４４内の評価セッションのレコードが、完了とマークされ、ステップＳ６９においては、コントローラＰＣ８の「バッチ１」および「バッチ２」フォルダから、画像が削除される。ステップＳ７０において、処理は、図８のステップＳ１０へ戻る。該ステップにおいては、コーディネータに、上述のコーディネータ・ホームページが再び提示される。

上述したことだが、幾つかの画像について、全ての評価者から評価データを収集できていない場合には、再び、それらの画像を評価者に対して提示し、適当な評価データを得る処理が実行される。これより、図１３を参照し、この処理について説明する。注記するが、処理は、図１２のステップＳ６６から、図１３のステップＳ７１へ移る。ステップＳ７２においては、フラット・スクリーン・モニタ２０上に、コーディネータに向けたメッセージが表示される。該メッセージは、評点が付されていない画像が存在することを示すものである。ステップＳ７３においては、評点が付されていない画像に関するレポートが作成され、再度、モニタ２０を用いてコーディネータに提示される。ステップＳ７４においては、コーディネータは、全ての評価者からデータを受け取っていない画像の表示を再実行させるように指示される。当該指示に応答する形で、ボタンを押下することにより、ステップＳ７５においては、全ての画像に対して評価データを送ることに失敗した評価者それぞれに対し、メッセージが送られる。ステップＳ７６においては、（評価データが欠損している）第１の画像が表示を目的として選択され、ステップＳ７７においては、当該画像が、プロジェクタ９を用いて表示される。ステップＳ７８においては、コーディネータは、上述のように、データの収集を開始する。ステップＳ７９においては、チェックが実行され、評価データを全ての評価者から受け取ったかどうか判断される。注記するが、ここでは、当該画像に関連するＩｍａｇｅ＿ＩＤを有するＮＯＮ＿ＡＳＳＥＳＳＥＤ＿ＩＭＡＧＥＳテーブル４６のレコードに格納されたＳｅｓｓｉｏｎ＿ＧＵＩＤを有する評価者に対してのみ、その画像に関するデータの収集が行われる。適当な全ての評価者から、未だ、データを受け取っていない場合には、処理は、ステップＳ８０へ移る。ステップＳ８０においては、タイムアウトのチェックが実行される。タイムアウトでない場合には、ステップＳ８１において、スコア（評点）が受け取られ、ステップＳ８１ａにおいて、ＴＥＭＰ＿ＤＡＴＡテーブルに格納される。評価セッションが、学習セッションでない場合には、ＮＯＮ＿ＡＳＳＥＳＳＥＤ＿ＩＭＡＧＥＳテーブルのレコードは、適切な画像・ユーザの組み合わせについて、削除される。ステップＳ８２においては、受け取ったデータが、データベース・サーバ１２のオラクル医療用データベースに転送される。

ステップＳ７９ないしステップＳ８２にかかるループは、データを求められている適切な評価者のそれぞれからデータを受け取るまで（ステップＳ７９）、あるいは、タイムアウトの期限に達するまで（ステップＳ８０）、継続される。ステップＳ８０にかかるタイムアウトにより、ループから抜けた場合には、少なくとも何人かの適切な評価者が、評価データを送ることに失敗したと推論できる。ステップＳ８３においては、これら欠損データの詳細について、ＮＯＮ＿ＡＳＳＥＳＳＥＤ＿ＩＭＡＧＥＳテーブルに記録され、処理は、ステップＳ８４へ移る。注記するが、ステップＳ７９ないしステップＳ８２にかかるループから、ステップＳ７９において抜け出た場合、欠損データはないものと推論することができる。よって、処理は、直接、ステップＳ８４へ移る。ステップＳ８４においては、遅延を発生させるように、待機コマンドが実行される。

ステップＳ８５においては、チェックが実行され、さらに別の画像を表示すべきかどうか判断される。別の画像を表示すべき場合には、ステップＳ８６において、次の表示用の画像が選択される。しかしながら、先に表示した画像が、表示すべき最後の画像であった場合には、ステップＳ８７において、チェックが実行され、欠損データが未だ存在するかどうか、ＮＯＮ＿ＡＳＳＥＳＳＥＤ＿ＩＭＡＧＥＳテーブル４６にクエリを送ることにより、判断される。欠損データが存在しない場合には、処理は、ステップＳ８８へ移り、そして、図１２のステップＳ６７へ移る。しかしながら、欠損データが存在する場合には、処理は、ステップＳ７２へ戻る。

注記するが、評価データが欠損している画像のそれぞれについて、それぞれ異なる評価者集合に対し、評価データの送信が求められる。これは、ＮＯＮ＿ＡＳＳＥＳＳＥＤ＿ＩＭＡＧＥＳテーブル４６から、特定のＩｍａｇｅ＿ＩＤを有するレコードのＳｅｓｓｉｏｎ＿ＧＵＩＤフィールドにおいてどのユーザのログイン・セッションが参照されているかを調べることで、導くことができる。従って、ステップＳ７９にかかるチェックは、別の画像に対しては、異なる結果を導いてしまうことも、当然にある。

注記するが、上記処理を実行中であれば、いつでも、コーディネータは、評価セッションのキャンセルを選択することができる。これは、図１４に示す。ステップＳ８９が形成するループは、「キャンセル」ボタンの押下によってのみ、そこから抜け出ることがわかる。ループから抜け出ると、すぐに、コーディネータは、再度、図１０のステップＳ１０で示されるホームページの提示を受ける。例えば、ダイアログ５３（図１１）は、当該機能を提供する「ホームページに戻る」ボタンを備えている。

次に、コントローラＰＣ８を用いて評価セッションのセットアップおよび評価データの収集を行う方法について説明する。すでに簡単に説明したことだが、異なるタイプの評価データを収集することができる。これから、データの収集の方法について説明する。ここでは、タブレットＰＣ２、３、４を用いる評価者に提示されるグラフィカル・ユーザ・インターフェース、および、当該インターフェースを介して入力されるデータを参照し、説明する。

図１５は、評価者ソフトウェア２３（図４）の評価者モジュール３３が提供する、タブレットＰＣ２、３、４を用いる評価者に対するＧＵＩの動作を示すフローチャートである。ステップＳ９１においては、ユーザは、ユーザ名（ｕｓｅｒ ｎａｍｅ）およびパスワード（後で詳述。）を入力して、ログインする。後述のとおり、どの評価データを収集しようとしているかを示しつつ、現在の評価セッションに適切な、プログラム・コードで構成される評価モジュールがダウンロードされる（ステップＳ９１ａ）。そして、ユーザは、ステップＳ９２において、ホームページを提示される。該ホームページは、ボタン７１を用いたパスワードの変更（ステップＳ９３）、あるいは、ボタン７２を用いたログアウト（ステップＳ９４）のための選択肢を提供する。通常の使用においては、ユーザは、ステップＳ９２において、ホームページを訪れ、そして、コントローラＰＣ８から評価セッション開始のコマンドが送られるのを待つ（図１２、ステップＳ４７）。評価セッション開始のコマンドを受理すると、ユーザは、ボタン７３を選択することにより、開始の準備が整っていることを確認する。注記するが、ボタン７３は、コントローラＰＣ８から適切なコマンドを受理することによってのみ、動作する。

説明する実施形態においては、２つの評価スキームを用いる。これらスキームについてこれより説明する。ステップＳ９１ａにおいてダウンロードされた評価モジュールが、タイプ１評価データに関連するものである場合には、処理は、ステップＳ９２におけるホームページ７０から、ステップＳ９５へ移り、図１５のステップＳ９６において、図１７のステップＳ９９へ移る。この機能は、評価ソフトウェア２３（図４）の評価タイプＩモジュール３７によって、提供される。

図１７を参照すれば、ステップＳ１００においては、チェックが実行され、評価セッションが終了したか否か判断される。（例えば、コントローラＰＣ８を用いるコーディネータの動作によって）セッションが終了した場合には、ステップＳ１０１において、評価者に対し、セッションが終了したこと、および、ユーザによるセッションの終了の承認を求めるメッセージが表示される。ユーザの承認を受け取り（ステップＳ１０２）、ステップＳ１０３において、ユーザはログアウトし、ステップＳ１０４において、処理が終了する。

評価セッションが終了していない場合には、処理は、ステップＳ１００から、ステップＳ１０５へ移る。ステップＳ１０５においては、プロジェクタ９を用いて画像が表示されていることを示しつつ、コントローラＰＣ８からの開始コマンドを受け取るまで、ループが形成される。開始コマンドが受理されると、処理は、ステップＳ１０６へ移る。ステップＳ１０６においては、評価者のタブレットＰＣ２、３、４のディスプレイ装置に対し、図１８に例示するような入力画面８０が表示される。図１８を見ればわかるが、データ入力画面は、評価データの入力に用いるスケール（尺度）８１を備える。スケール８１は、視覚的アナログスコアを獲得するのに用いられる。また、スケール８１は、スケールの一方の極端である値「０」から、他方の極端である値「１０」まで、の値を表している。プロジェクタ９を用いて評価者に対して表示される画像は、瘢痕の画像である。例えば、それは、ヒトの皮膚の瘢痕である。スケールは、該瘢痕の重症度を指し示すのに用いられる。値「０」を指す位置は、評価者が瘢痕を認知不能であること（つまり、画像は、事実上、瘢痕を持たない皮膚である。）を示し、値「１０」を指す位置は、瘢痕が非常に重症であることを示す。

データは、スケール８１を利用し、ユーザがタッチペンを用いてタブレットＰＣ２、３、４の１つの表示スクリーン上に表示されたスケール８１上の位置を特定することで入力される。ステップＳ１０７において、入力のため待機する。そして、ステップＳ１０８において、チェックが実行され、タイムアウトの期限に達したかどうか判断される。タイムアウトの期限は、コントローラＰＣ８が、タブレットＰＣ２、３、４に対して通知する。タイムアウトの期限に達していない場合には、処理は、Ｓ１０６へ戻り、そして、ステップＳ１０６、Ｓ１０７、および、Ｓ１０８が、入力を受けるまで、あるいは、タイムアウトの条件が満足されるまで、繰り返される。

入力を受けると、スケール８１上に印された意図は、実数スコアに変換される（ステップＳ１０９）。インターフェースは、０．０５ｃｍの精度で、スケール８１上の位置を計測するように構成される。そして、ステップＳ１１０において、スコアは、コントローラＰＣ８へ送信される。ステップＳ１１１およびステップＳ１１２においては、評価者のインターフェースは、全評価者からのデータの受理に関するタイムアウトの条件が満足されるか、あるいは、全ての評価者が評価データを寄せるか、のいずれかまで待機する。そして、処理は、ステップＳ１１３へ移る。ステップＳ１１３においては、タブレットＰＣ２、３、４のディスプレイから、データ入力画面が除去される。注記するが、ステップＳ１０８においてタイムアウト条件を満足し、かつ、入力を受理しない場合には、処理は、ステップＳ１０８から、直接、ステップＳ１１３へ移る。データ入力画面の除去（ステップＳ１１３）の後、ステップＳ１１４において待機コマンドが実行され、そして、処理は、ステップＳ１００へ移る。

上の説明は、ユーザに対し単一の画像を表示すること、および、画像に関連する視覚的アナログ・データの収集を行うこと、に関する。図１９ないし図２１を参照し、評価データ収集にかかる代替手法について説明する。

再度、図１５を参照すれば、ステップＳ９１ａにおいて、表示されたボタン７３（図１６）の選択に際し、ダウンロードされる評価モジュールが、タイプＩＩ評価データに関するものである場合には、処理は、ステップＳ９７へ移る。そして、ステップＳ９８において図１９のステップＳ１１６へ移る。この機能は、評価ソフトウェア２３の評価タイプＩＩモジュール３９により提供される。

図１９を参照すれば、ステップＳ１１７においては、チェックが実行され、評価セッションが終了したかどうか判断される。評価セッションが終了していれば、処理は、ステップＳ１１８へ移る。ステップＳ１１８においては、ユーザに対しメッセージが表示され、そして、ステップＳ１１９へ移る。ステップＳ１１９においては、ユーザの入力が受理され、そして、ステップＳ１２０へ移る。ステップＳ１２０においては、ユーザは、ログアウトする。そして、処理は、ステップＳ１２１で終了する。セッションが終了していない場合には、処理は、ステップＳ１１７から、ステップＳ１２２へ移る。ステップＳ１２２においては、評価データを提供するコマンドの受理を待つ。評価データを提供するコマンドが受理されると、ステップＳ１２３において、図２０に例示のデータ入力画面８５が評価者に対し表示される。

注記するが、この評価モードにおいては、一対の画像が評価者に対し、評価用に、プロジェクタ９を用いて表示される。第１の画像を、前画像（アンテリア・イメージ（ａｎｔｅｒｉｏｒ ｉｍａｇｅ））と称し、第２の画像を、後画像（ポステリア・イメージ（ｐｏｓｔｅｒｉｏｒ ｉｍａｇｅ））と称する。収集すべきデータは、表示された画像のペアの各画像が示す瘢痕は、およそ同じであるかどうか、前画像の方がよいかどうか、あるいは、後画像の方がよいかどうか、のいずれかを示すものである。この情報は、データ入力画面８５を用いて提示される３つのボタンを用いて、獲得される。第１のブタン８６は、ラベル「画像「Ａ」の方がよい。」を備え、第２のボタン８７は、ラベル「画像「Ｂ」の方がよい。」を備え、第３のボタン８８は、「両方同じ。」である。

ステップＳ１２４においては、チェックが実行され、ボタン８６、８７、８８のいずれか１つが選択されたか判断される。まだ入力が受理されていないならば、処理は、ステップＳ１２５へ移る。ステップＳ１２５においては、チェックが実行され、情報を寄せるために割り当てられた時間が満了したかどうか判断される。時間が満了していない場合には、処理は、ステップＳ１２３へ戻り、ステップＳ１２３およびステップＳ１２４が、データを受理するか、あるいは、時間が満了するか、のいずれかまで繰り返される。時間が満了すれば、ステップＳ１２５において、ループから抜け出し、処理は、ステップＳ１３３へ移る。これについては、後で詳述する。しかしながら、入力が受理されてステップＳ１２４においてループから抜け出た場合には、ステップＳ１２６において、受理した入力データを処理し、評価者が３つのボタンのいずれを選択したか判断する。一対の画像の瘢痕が実質的に同じであることを示すボタン８８が選択された場合には、処理は、ステップＳ１２７へ移る。ステップＳ１２７においては、このデータが、コントローラＰＣ８へ送信される。

しかしながら、画像Ａの瘢痕の方が良好であることを示すボタン８６が選択された場合、あるいは、画像Ｂの瘢痕の方が良好であることを示すボタン８７が選択された場合には、処理は、ステップＳ１２６から、ステップＳ１２８へ移る。ステップＳ１２８においては、評価者に対し、別のデータ入力画面９０（図２１）が表示される。見ればわかると思うが、データ入力画面９０は、評価者に対し、表示された両画像の際は、僅かであるか、あるいは、明らかであるか、を示すように求める。評価者は、求められた情報を、表示されたボタン、「差違は僅か。」と印された第１のボタン９１、および、「差違は明らか。」と印された第２のボタン９２のうちの１つを選択することにより、入力する。

図１９を再び参照すれば、ステップＳ１２９において、ユーザの、ボタン９１、９２の１つを選択する形式による入力を待つ。入力を受理しなければ、ステップＳ１３０において、タイムアウトチェックが実行される。ステップＳ１２８、ステップＳ１２９、および、ステップＳ１３０は、入力を受理（ステップＳ１２９）するか、あるいは、タイムアウトの条件が満足される（ステップＳ１３０）まで、繰り返される。タイムアウトの条件が満足されれば、処理は、直接、ステップＳ１３３へ移る。ステップＳ１３３については、後述する。しかしながら、ステップＳ１２９において入力が受理された場合には、処理は、ステップＳ１２７へ移る。ステップＳ１２７においては、（図２０および図２１のダイアログを用いて収集された）入力データが、コントローラＰＣ８へ送信される。

処理は、ステップＳ１２７から、ステップＳ１３１へ移る。ステップＳ１３１においては、各評価者からデータが受理されたとき、あるいは、タイムアウトの条件が満足されるとき、まで、評価者に対し、待機メッセージが表示される。これは、ステップＳ１３１およびステップＳ１３２からなるループにより、実現される。待機メッセージが表示されなくなると、処理は、ステップＳ１３３へ移る。ステップＳ１３３においては、データ入力画面が、ディスプレイから除去され、ステップＳ１４４において、待機コマンドが実行される。そして処理は、ステップＳ１１７へ戻る。ステップＳ１１７においては、上述の処理が継続される。

上での説明においては、説明した本発明実施形態を用いて異なる２つのタイプの評価データが獲得可能であることについて説明した。また、コントローラＰＣ８が受信したデータは、当初、図５に例示のＴＥＭＰ＿ＤＡＴＡテーブル４０に格納されることについて説明した。ＴＥＭＰ＿ＤＡＴＡテーブル４０のフィールドと、収集した評価データとの関係性について、これから説明する。Ｄａｔａ＿Ｔｉｍｅｓｔａｍｐ、Ａｓｓｅｓｓｏｒ＿Ｎａｍｅ、および、Ａｓｓｅｓｓｏｒ＿Ｕｓｅｒｎａｍｅの使用については、既に説明した。Ａｓｓｅｓｓｍｅｎｔ＿Ｔｙｐｅフィールドは、格納された評価データのタイプを示すために用いられる。つまり、単一の画像に対するデータか、一対の画像に対する比較データか、を区別するのに用いられる。Ｉｍａｇｅ＿Ｎｕｍｂｅｒフィールドは、ある画像を特定し、Ｉｍａｇｅ＿Ｔｙｐｅフィールドは、画像のタイプ（つまり、単一の画像か、または、一対の画像であるか）を整数（インテージャ（ｉｎｔｅｇｅｒ））で表す。Ｖａｌｕｅ＿１フィールド、および、Ｄｉｆｆｅｒｅｎｃｅフィールドは、ともに、評価データにかかる単一の項目を格納する。データが単一の画像について収集される場合（図１７）、Ｖａｌｕｅ＿１フィールドは、スケール８１（図１８）を用いてユーザが入力したデータを表す実数（リアル・ナンバー（ｒｅａｌ ｎｕｍｂｅｒ））を格納する。この場合、Ｄｉｆｆｅｒｅｎｃｅフィールドは、使用しない。しかしながら、データが一対の画像について収集される場合（図１９）、Ｖａｌｕｅ＿１フィールドは、３つの値−同じ、画像Ａ良好、または、画像Ｂ良好、の１つを示す。Ｖａｌｕｅ＿１フィールドが、同じ、を示す場合、Ｄｉｆｆｅｒｅｎｃｅフィールドは、使用しない。しかしながら、Ｖａｌｕｅ＿１フィールドが、一方の画像が、知覚上、良好であることを示す場合に、Ｄｉｆｆｅｒｅｎｃｅフィールドは、図２１の入力画面を用いてなされた入力に基づいて、差違（ディファレンス（ｄｉｆｆｅｒｅｎｃｅ））が、僅かであるか、または、明らかであるか、のいずれかを示すために用いられる。

特定の画像ランダム化を再使用するような本発明実施形態においては、上で図１０Ａを参照して例示的に説明したように、ＴＥＭＰ＿ＤＡＴＡテーブル４０は、さらに、格納したデータと関係づけられているランダム化スキームを特定するフィールドを含む。当然だが、そのような場合においては、データは、その他のデータと同様の方法で、ＴＥＭＰ＿ＤＡＴＡテーブルから、オラクル医療用データベースへコピーされる。このようにして、特定の評価の情報を、その獲得と関係づけられるランダム化スキームを参照して処理することが可能となる。

先に説明したことだが、コントローラＰＣ８に格納されるデータベースは、ＵＳＥＲＳテーブル、ＬＯＧＩＮ＿ＳＥＳＳＩＯＮテーブル、および、ＳＥＣＵＲＩＴＹ＿ＧＲＯＵＰＳテーブル、を有する。これらテーブルは皆、コントローラ・ソフトウェア２２のセキュリティ・モジュール２７および評価者ソフトウェア２３のセキュリティ・モジュール３３（図４）を用いてシステムに対するユーザのアクセスをコントロールするために用いられる。これより、その使用形態について説明する。
先ず図２２を参照し、タブレットＰＣ２、３、４の１つ、あるいは、コントローラＰＣ８に対するユーザのログインで用いられるログイン処理について説明する。ステップＳ１３５においては、コントローラ・ソフトウェア２２、または、評価者ソフトウェア２３（図４）のいずれかが起動される。ステップＳ１３６においては、チェックが実行され、ソフトウェアが既に実行中であるかどうか判断される。ソフトウェアが実行中であれば、適当なエラーメッセージが表示され、ソフトウェアは、ステップＳ１３７において閉じられる。ソフトウェアが、まだ実行されていない場合には、ステップＳ１３８において、チェックが実行され、ログインに用いられたハードウェアのタイプが判定される。コントローラＰＣ８が用いられた場合には、処理は、ステップＳ１３９へ移る。ステップＳ１３９においては、ユーザに対してログイン・ダイアログが表示される。しかしながら、タブレットＰＣ２、３、４の１つが用いられた場合には、処理は、ステップＳ１４０へ移る。ステップＳ１４０においては、チェックが実行され、タブレットＰＣがコントローラＰＣ８と通信可能であるか判定される。タブレットＰＣが接続を確立できない場合には、ステップＳ１４１において、接続を確立できない旨のエラーメッセージが表示され、処理は、ステップＳ１４２において終了する。

ステップＳ１４０においてタブレットＰＣがコントローラＰＣ８と接続を確立できる場合には、ステップＳ１４３において、チェックが実行され、その評価セッション定められた数の評価者がコントローラＰＣに接続しているかどうか判断される。必要な数の評価者が接続している場合には、これ以上の接続は許可せず、よって、適当なエラーメッセージを、ステップＳ１４４において表示し、処理は、ステップＳ１４２において終了する。未だ、全ての評価者が接続していない場合には、処理は、ステップＳ１４３から、ステップＳ１３９へ移る。ステップＳ１３９においては、適切なログイン・ダイアログが表示される。当該ログイン・ダイアログの提示により、ユーザは、ステップＳ１４５において、ユーザ名およびパスワードを入力し、かつ、タブレットＰＣ２、３、４の１つに対して詳細が入力された場合には入力された詳細がコントローラＰＣ８へ送信される。ステップＳ１４６においては、チェックが実行され、有効なユーザｉｄが入力されたかどうか判断される。この処理は、入力されユーザｉｄが、ＵＳＥＲＳテーブル４２（図６）のレコードのＵｓｅｒｎａｍｅフィールドとの一致をチェックする工程を含む。当該ユーザｉｄを見つけられない場合には、ステップＳ１４７において、この失敗したログインを示すレコードが、ＡＣＣＥＳＳ＿ＦＡＩＬＵＲＥＳテーブル４７（図６）に作成され、ステップＳ１４８において適切なエラーメッセージが表示される。そして、処理は、ステップＳ１３９へ戻る。

有効なユーザ名が入力された場合には、処理は、ステップＳ１４６から、ステップＳ１４９へ移る。そして、チェックが実行され、ログオンに用いられるハードウェアのタイプ（つまり、コントローラＰＣ、または、タブレットＰＣ）が、該ユーザの割り当てられているセキュリティ・グループと一致するか確認される。例えば、コーディネータあるいはアドミニストレータは、コントローラＰＣ８を用いてのみ、ログオン可能であり、また、評価者は、タブレットＰＣ２、３、４を用いてのみ、ログオン可能である。ユーザのセキュリティ・グループは、ＵＳＥＲＳテーブル４２内のユーザのレコードを見つけて、そのレコードのＳｅｃｕｒｉｔｙ＿Ｇｒｏｕｐ＿ＩＤから該ユーザのセキュリティ・グループを特定することにより、決定される。ステップＳ１４９においては、用いられたハードウェアがタブレットＰＣである場合にチェックが実行され、ユーザのセキュリティ・グループが、アドミニストレータ、または、コーディネータのいずれかであるか判断される。その場合には、ログインは許可されず、ステップＳ１５０において適当なエラーメッセージが表示され、そして、ステップＳ１５１においてシステムが終了する。しかしながら、ハードウェアがコントローラＰＣ８である場合、もしくは、ユーザのセキュリティ・グループが評価者である場合には、処理は、ステップＳ１４９から、ステップＳ１５２へ移る。ステップＳ１５２においては、チェックが実行され、評価者がコントローラＰＣ８を用いてログインを試みているかどうか判断される。この場合もログインは許可されず、ステップＳ１５３において、適当なエラーメッセージが表示され、そして、ステップＳ１５１においてシステムが終了する。ステップＳ１５２において、評価者はコントローラＰＣ８を用いてログオンを試みているのではないと判断されれば、処理は、ステップＳ１５２から、ステップＳ１５４へ移る。そして、用いられているハードウェアは、ユーザのセキュリティ・グループに照らして適切であると理解される。

ステップＳ１５４においては、チェックが実行され、入力されたユーザ名と関係づけられたパスワードは、暗号化された形式でＵＳＥＲＳテーブル４２に保持されているかどうか、ユーザのレコードのＥｎｃｒｙｐｔｅｄフィールドをチェックすることにより判断される。パスワードがデータベースに暗号化形式で保持されている場合には、ステップＳ１５５において入力されたパスワードが暗号化され、それから、ステップＳ１５６において、データベースに格納されたものとチェックされる。ユーザのレコードのＥｎｃｒｙｐｔｅｄフィールドが、パスワードは暗号化形式で格納されていないことを示す場合には、処理は、ステップＳ１５４から、直接ステップＳ１５６へ移る。入力されたパスワードが、ＵＳＥＲＳテーブル４２に格納されたものと一致しない場合には、処理は、ステップＳ１５６から、ステップＳ１５７へ移る。ステップＳ１５７においては、ＵＳＥＲＳテーブル４２の該ユーザのレコードのＬｏｇｉｎＡｔｔｅｍｐｔｓフィールドを増やすことにより、不正パスワードの数が増加される。そして、ステップ（Ｓ１５７ａ）においては、レコードが、ＡＣＣＥＳＳ＿ＦＡＩＬＵＲＥＳテーブルに格納され、当該失敗が示される。説明する本願実施形態においては、ユーザは、アカウントが無効化されるまで、３回不正なパスワードを入力することができる。ステップＳ１５８においては、チェックが実行され、不正なパスワードが３回入力されたかどうか判断される。もしこれに該当するならば、ユーザのアカウントは、ステップＳ１５９において、（ＵＳＥＲＳテーブル４２の該ユーザのレコードのＤｉｓａｂｌｅｄフィールドをセットすることにより、）無効化される。不正なパスワードが、３回にわたって入力されたのではないならば、処理は、ステップＳ１５８から、ステップＳ１４５へ移る。ステップＳ１４５においては、ユーザは、再度、ユーザ名およびパスワードの入力を促される。

ステップＳ１５６において、入力されたパスワードが正しいと判明した場合、ＵＳＥＲＳテーブルのＬｏｇｉｎＡｔｔｅｍｐｔｓフィールドに格納された不正パスワードの入力された数が、ゼロにリセットされる。ステップＳ１６１においては、ユーザのアカウントの状態（ステータス）が、ＵＳＥＲＳテーブル４２の該ユーザのレコードのＤｉｓａｂｌｅｄフィールドを先ずチェックすることにより、チェックされる。ユーザのレコードが無効化されている場合には、ユーザは、システムの使用を許可されない。したがって、監査レコードが作成され、ステップＳ１６２におけるログインの試みの詳細が記録され、ステップＳ１６３において、適当なエラーメッセージが表示される。

ステップＳ１６１においてユーザは既にログインしていると判断された場合（ＵＳＥＲＳテーブル４２の該ユーザのレコードを参照するＬＯＧＩＮ＿ＳＥＳＳＩＯＮテーブル４３のレコードが存在する場合）には、ユーザは、ステップＳ１６４において、ユーザ名およびパスワードの再入力が求められ、もって、以前のログイン・セッションを終了して再ログインする意志が確認される。ステップＳ１６４において、詳細が正しく再入力された場合には、ユーザは、ステップＳ１６５において、以前のログイン・セッションを終了し、処理は、ステップＳ１６６へ移る。注記するが、ステップＳ１６４におけるログインの詳細にかかる入力は、図２２の関連する部分を参照して説明した方法と類似したやり方で処理される。そこで、ここでは、処理について詳しく説明しない。ステップＳ１６１におけるステータスのチェックにより、ユーザのレコードは、無効化されてはいないと判断され、かつ、該ユーザは、現在ログインしていないと判断された場合には、処理は、ステップＳ１６１から、直接、ステップＳ１６６へ移る。

評価セッションが、再スタートされる場合には、その元になる評価セッションに寄与した評価者のみが、ログオンして評価データを寄せることを許可される。したがって、ステップＳ１６６においては、チェックが実行され、ユーザが現在の評価に参加することが許されるかどうか判断される。ユーザが、該評価セッションへ参加することを許可されなかった場合には、ステップＳ１６７において、適当なメッセージが表示され、処理は、ステップＳ１６８において終了する。

ユーザが評価セッションへの参加を許可された場合（あるいは、ユーザがアドミニストレータもしくはコーディネータである場合）には、処理は、ステップＳ１６６から、ステップＳ１６９へ移る。ステップＳ１６９においては、チェックが実行され、ユーザのアカウントが期限切れであるかどうか、ＵＳＥＲＳテーブル４２の該ユーザのレコードのＰａｓｓｗｏｒｄ＿Ｅｘｐｉｒｙ＿Ｄａｔｅフィールドをチェックすることにより、判断される。該ユーザのアカウントが期限切れである場合には、ステップＳ１７０において、適当なメッセージが表示される。そして、該ユーザは、ステップＳ１７１において、パスワードの変更を求められる。これについては、後で図２３を参照して説明する。パスワードが変更されると、処理は、ステップＳ１７２へ移る。ステップＳ１７２において、ユーザはログオンする。これにより、ＬＯＧＩＮ＿ＳＥＳＳＩＯＮテーブル４３に新しいレコードが作成され、該ユーザのユーザ名、ログインに使用するマシンの詳細、ログインの日時、および、（あるならば）該ログインが関係する評価セッションの詳細、が格納される。

ユーザが評価者としてログインした場合には（ステップＳ１７３）、ステップＳ１７４において、（収集すべき評価データのタイプに適当な）評価モジュールが、提供される。そして、処理はステップＳ１７５へ移る。ステップＳ１７５においては、ユーザのセキュリティ・グループが判定され、ステップＳ１７６において、適当なホームページが示される。与えられた評価モジュールが実行されることにより、タブレットＰＣ２、３、４の１つが、要求されている評価データを獲得可能になる。ダウンロードされた評価モジュールは、収集されるべきデータに依存して図４に例示のモジュール３１、３２のいずれか１つと対応する。評価モジュールを必要に応じてダウンロードすることにより、当然ながら、ＡＳＳＥＳＳＭＥＮＴ＿ＭＯＤＵＬＥＳテーブル（図６）に新しいレコードを作成し、必要なときにダウンロード可能な適切な評価モジュールをコントローラＰＣ８に格納することにより、さらなる別の評価タイプを作成可能である。よって、当然ながら、本説明にかかるシステムは、容易に別の評価メカニズムを構成することができる。それらのうちのいくつかについて、以下で詳述する。

上述したが、コーディネータ・ホームページ（図８）および評価者ホームページ（図１５および図１６）はともに、ユーザがパスワードを変更するための選択肢を与える。同様に、上述したことだが、パスワード変更手順は、図２２のステップＳ１７１において実行される。これより、図２３を参照してパスワード変更手順について説明する。

図２３を参照すれば、ステップＳ１７８において、ユーザは、パスワード変更のリクエストを行う。これは、ホームページ（例えば、図１５および図１６の評価者ホームページもしくは図８のコーディネータ・ホームページ）内の適当なボタンを選択することにより、または、ユーザのパスワードが期限切れの場合にはログオン処理の差違に、行われればよい。ステップＳ１７９においては、図２４に例示されるような適当なダイアログが、ユーザに対して表示される。表示されるダイアログは、３つのテキストボックスを有する。それらは、−現在のパスワード・テキストボックス９５、新しいパスワード・テキストボックス９６、および、新しいパスワード確認テキストボックス９７、である。ダイアログは、キャンセル・ボタン９８、および、送信ボタン９９も有する。ユーザがキャンセル・ボタンを選択すれば、再び、ユーザに対してホームページが表示される。

通常動作においては、ユーザは、現在のパスワードを、現在のパスワード・テキストボックス９５に入力し、ユーザの望む新しいパスワードを、新しいパスワード・テキストボックス９６、および、新しいパスワード確認テキストボックス９７に入力する。そして、送信ボタン９９を押下する。そして、処理は、ステップＳ１８０へ移る。ステップＳ１８０においては、チェックが実行され、該ユーザのパスワードを、データベースのＵＳＥＲＳテーブル４２に、暗号化形式で格納するかいなか判断される。このことは、ＵＳＥＲＳテーブル４２の該ユーザのレコードのＥｎｃｒｙｐｔｅｄフィールドの値により指示される。パスワードを暗号化形式で格納する場合には、現在のパスワード・テキストボックス９５に入力されたパスワードは、ステップＳ１８１において暗号化され、そして、処理は、ステップＳ１８２へ移る。ステップＳ１８２においては、入力された現在のパスワードが、データベースに格納されたものと比較される。該パスワードが、データベース内に暗号化形式で保持されていない場合には、処理は、ステップＳ１８０から、直接、ステップＳ１８２へ移る。

ステップＳ１８２において、入力された現在のパスワードがＵＳＥＲＳテーブル４２の適当なレコードにかかるＰａｓｓｗｏｒｄフィールドに格納されたものと一致しない場合、ステップＳ１８３において、失敗したパスワード変更の試みにかかる監査レコードが、ＡＣＣＥＳＳ＿ＦＡＩＬＵＲＥテーブル４７に作成される。

処理は、ステップＳ１８４へ移る。ステップＳ１８４においては、該ユーザに関係した失敗したログインの試みの数が、ＵＳＥＲＳテーブル４２において増加される。３回の失敗したログインが生じると（ステップＳ１８５）、該ユーザのアカウントは、Ｄｉｓａｂｌｅｄフィールドの適切に設定することで、無効化され（ステップＳ１８６）、ステップＳ１８７において、エラーメッセージが表示され、そして、ステップＳ１８８において、システムが終了する。ステップＳ１８５において、失敗したログインの回数が、３回に等しくない場合には、処理は、ステップＳ１８９へ移る。ステップＳ１８９においては、適当なエラーメッセージが表示される。そして処理はステップＳ１７９へ戻る。ステップＳ１７９においては、パスワード変更ダイアログが、再度ユーザに対して表示される。

ステップＳ１８２において、入力された現在のパスワードが、データベースのＵＳＥＲＳテーブル４２に格納されたものと一致する場合には、処理は、ステップＳ１９０へ移る。ステップＳ１９０においては、チェックが実行され、新しいパスワード・テキストボックス９６に入力された新しいパスワードが、新しいパスワード確認テキストボックス９７に入力されたものと一致することが確認される。入力された複数のパスワードが一致しない場合には、ステップＳ１９１において、エラーメッセージが表示される。そして、ユーザは、ステップＳ１７９において、再度図２４のパスワード変更ダイアログを提示される。新しいパスワード・テキストボックスに入力された新しいパスワードが、新しいパスワード確認テキストボックス９７に入力されたものと一致する場合には（ステップＳ１９０）、処理は、ステップＳ１９２へ移る。ステップＳ１９２においては、チェックが実行され、現在のパスワードと、新しいパスワード・テキストボックス９７および新しいパスワード確認テキストボックス９８に入力された新しいパスワードとの類似度が判断される。この類似度のテストは、新しいパスワードが、十分に以前のパスワードと異なることを確かめることを目的としており、この類似度テストは、当業者にとっては、自明の事柄である。両パスワードがよく類似すると判定されると、ステップＳ１９３において、エラーメッセージが表示され、処理は、再度ステップＳ１７９へ移る。ステップＳ１７９においては、再び、パスワード変更ダイアログが表示される。両パスワードがよく類似するものでない場合には、処理は、ステップＳ１９４へ移る。ステップＳ１９４においては、チェックが実行され、提案中の新しいパスワードが、英数字によるものであることが確認される。そうでない場合には、ステップＳ１９５において、エラーメッセージが表示され、処理は、再びステップＳ１７９へ戻る。それ以外の場合、処理は、ステップＳ１９６へ移る。

ステップＳ１９６においては、新しいパスワードが暗号化される。ステップＳ１９７においては、暗号化されたパスワードが、ＵＳＥＲＳテーブル４２内の該ユーザのレコードのＰａｓｓｗｏｒｄフィールドに格納される。Ｅｎｃｒｙｐｔｅｄフィールドは、パスワードが暗号化されていることを示すように設定される。さらに、Ｐａｓｓｗｏｒ＿Ｅｘｐｉｒｙ＿ｄａｔｅが、現在の日時プラス６０日に設定される。ステップＳ１９８からステップＳ２０２は、ユーザを正しいホームページへ戻すためにある。ステップＳ１９８では、ユーザが評価者としてログインしたかチェックし、その場合には、ステップＳ１９９において、評価者ホームページが表示される。それ以外の場合には、処理は、ステップＳ２００へ移る。ステップＳ２００においては、チェックが実行され、ユーザは、アドミニストレータとしてログインしているかどうか判断され、その場合には、ステップＳ２０１において、アドミニストレータ・ホームページが表示される。それ以外の場合には、ステップＳ２０２において、コーディネータ・ホームページが表示される。

上述したことだが、説明した本発明実施形態で示される様々なホームページが、ユーザをログアウト可能にするログアウト・ボタンを提供する。図２５は、ログアウト処理を例示する。ステップＳ２０４においては、ログアウトのリクエストが行われ、ステップＳ２０５においては、ＬＯＧＩＮ＿ＳＥＳＳＩＯＮテーブル４３の適当なレコードに対し、ログアウトを反映するアップデートが行われる。ステップＳ２０６においては、チェックが実行され、該ユーザは、評価者としてログインしているかどうか判断される。その場合には、ステップＳ２０７において、（上述のように、評価データを獲得可能にする）評価モジュールが、ダウンロードしたユーザのコンピュータから、削除される。そして、ステップＳ２０８において、システムが終了する。該ユーザが評価者としてログインしていない場合には、処理は、ステップＳ２０６から、直接、ステップＳ２０８へ移る。

本発明の実施形態は、ユーザがコントローラＰＣ８へログイン・セッションの情報を送る際、その情報が有効であることを確保する。これについて、図２６に例示する。ステップＳ２０９においては、（ＬＯＧＩＮ＿ＳＥＳＳＩＯＮテーブル４３のレコードとして表される）ユーザのログイン・セッションの詳細が、コントローラＰＣ８へ送られる。ステップＳ２１０においては、送られたデータの有効性が、データベースのＬＯＧＩＮ＿ＳＥＳＳＩＯＮテーブル４３およびＡＳＳＥＳＳＭＥＮＴ＿ＳＥＳＳＩＯＮＳテーブル４４においてチェックされる。データが有効である場合には、システムは、ステップＳ２１１において続行される。しかしながら、送られた情報が無効である場合には、ステップＳ２１２において、失敗したアクセスの試みに関するレコードが、データベースのＡＣＣＥＳＳ＿ＦＡＩＬＵＲＥテーブル４７に格納される。データは、無効な接続およびそれと関係する接続ＩＤを示すＡＣＣＥＳＳ＿ＦＡＩＬＵＲＥテーブル４７に格納される。そして、ステップＳ２１３において、エラーメッセージが表示され、ステップＳ２１４において、システムが終了する。

本発明実施形態の説明では、アドミニストレータ・セキュリティ・グループが用意されており、アドミニストレータとしてユーザがログインすることで、システム全体にわたる様々な管理機能が利用できる。これについて、これより説明する。図２７は、本発明実施形態において説明するアドミニストレータ・ホームページの動作を例示するフローチャートである。ホームページは、ステップＳ２１６として示されており、ユーザには、９つの選択肢が与えられる。

うち、３つの選択肢は、ユーザの管理に関する。ステップＳ２１７は、ユーザ作成の選択肢を表し、ステップＳ２１８は、ユーザ変更の選択肢を表し、ステップＳ２１９は、ユーザ削除の選択肢を表す。また、３つの選択肢は、評価タイプの管理に関する。ステップＳ２２０においては、新しい評価タイプの作成が可能であり、ステップＳ２２１においては、既存の評価タイプの変更が可能であり、ステップＳ２２２においては、既存の評価タイプを削除することが可能である。加えて、アドミニストレータ・ホームページでは、ステップＳ２２３の選択肢において、通信の情報を変更できる。ステップＳ２２４においては、アドミニストレータは、システムからのログアウトを選択可能であり、ステップＳ２２５においては、アドミニストレータは、自身のパスワードの変更を選択することができる。ログアウト、および、パスワード変更の手順は、上述のとおりである。

次に、図２８を参照し、図２７のステップＳ２１７が表すユーザの作成の手順について説明する。ステップＳ２２６においては、アドミニストレータは、新規ユーザの作成を選択する。ステップＳ２２７においては、新規ユーザ作成ダイアログ１００（図２９）が表示される。新規ユーザ作成ダイアログ１００は、ローカル・データベース２９のＳＥＣＵＲＩＴＹ＿ＧＲＯＵＰＳテーブル４１からの値が入るユーザ・タイプ選択ドロップダウンリスト１０１を有する。これを用いて新規ユーザのセキュリティ・グループ（例えば、アドミニストレータ、コーディネータ、または、評価者）を特定する。新規ユーザ作成ダイアログ１００は、さらに、ユーザ名テキストボックス１０２、および、ユーザのフルネームを入力可能なテキストボックス１０３を有する。新規ユーザ作成ダイアログ１００は、さらに、キャンセル・ボタン１０４、および、送信ボタン１０５を有する。キャンセル・ボタン１０４を選択すると、アドミニストレータは、ステップＳ２１６（図２７）のホームページに戻る。

適当なデータをドロップダウンリスト１０１、テキストボックス１０２、１０３へ入力し、送信ボタン１０５を押下すると、ステップＳ２２８において、コントローラＰＣ８が当該入力を受信する。ステップ２２９においては、チェックが実行され、ユーザ名テキストボックス１０２に入力されたユーザ名が、ローカル・データベース２９のＵＳＥＲＳテーブル４２に既に存在するか否か判断される。特定されたユーザ名が存在する場合には、ステップＳ２３０において、エラーメッセージが表示され、ステップＳ２２７において、新規ユーザ作成ダイアログが再表示される。ローカル・データベース２９のＵＳＥＲＳテーブル４２に現存しないユーザ名が、ユーザ名テキストボックス１０２に入力された場合には、処理は、ステップＳ２３１へ移る。ステップＳ２３１においては、特定されたユーザ名、ユーザのフルネーム、新規ユーザのセキュリティ・グループ、を含むレコードが、ローカル・データベース２９のＵＳＥＲＳテーブル４２に作成される。ステップＳ２３２においては、新規ユーザのためのランダムなパスワードが作成され、作成されたランダムなパスワードが、ステップＳ２３３において、表示される。そしてアドミニストレータは、作成されたランダムなパスワードを記録し、これを新規ユーザに送る。これは、該新規ユーザがログオンする時に必要になるからである。そして、処理はステップＳ２３４へ移る。ステップＳ２３４においては、作成されたランダムなパスワードが、ローカル・データベース２９のＵＳＥＲＳテーブル４２内に新しく作成されたレコードのＰａｓｓｗｏｒｄフィールドに格納される。さらに、（ＵＳＥＲＳテーブル４２のＰａｓｓｗｏｒｄ＿Ｅｘｐｉｒｙ＿Ｄａｔｅフィールドに格納される）ランダムなパスワードの期限切れ日時が、現在の日時に設定される。それによって、該ユーザは、最初のログオンの際に自身のパスワードを必ず変更することになる。新規ユーザが作成されると、ステップＳ２３６に示したように、処理は図２７のステップＳ２１６に戻り、アドミニストレータ・ホームページが再表示される。

ユーザが、概略的にステップＳ２１６で表したホームページから、ステップＳ２１８のユーザの変更を選択した場合には、図３０に例示する処理が実行される。ステップＳ２３７は、アドミニストレータがユーザの変更を選択したことを表し、これにより、ステップＳ２３８においては、ユーザ詳細変更ダイアログが表示される。図３１に、ユーザ詳細変更ダイアログ１１０を例示する。該ダイアログは、ローカル・データベース２９のＵＳＥＲＳテーブル４２に格納されたユーザ名の全てが入っている、ユーザ・ドロップダウンリスト１１１を有する。ドロップダウンリスト１１１からユーザを選択することにより、ユーザ・タイプ・ドロップダウンリスト１１２内にユーザ・タイプ（つまり、アドミニストレータ、コーディネータ、または、評価者）が表示される。同様に、ユーザ名テキストボックス１１３内に、ユーザのフルネームが表示される。ドロップダウンリスト１１１からユーザを選択すると、ユーザは、ドロップダウンリスト１１２を用いてユーザ・タイプを変更したり、テキストボックス１１３を用いてユーザの名前を変更したりできる。同様に、チェック・ボックス１１４を選択すると、データベースの該ユーザのパスワードをリセットすることができる。パスワードがリセットされると、ＵＳＥＲＳテーブルのＬｏｇｉｎＡｔｔｅｍｐｔｓフィールドが、「０」にリセットされる。図３１からわかるように、ユーザ詳細変更ダイアログ１１０は、さらに、アドミニストレータが図２７のステップＳ２１６のホームページに戻る選択肢であるキャンセル・ボタン１１５、および、いま説明したように変更が格納される送信ボタン１１６、を有する。再度、図３０を参照すると、ドロップダウンリスト１１１を用いたユーザの選択は、ステップＳ２３９として示されており、変更は、ステップＳ２４０として示されている。ステップＳ２４１においては、送信ボタンが押下されることによって、変更を受けたデータが、ローカル・データベース２９のＵＳＥＲＳテーブル４２に格納される。ステップＳ２４２においては、チェックが実行され、リセット・パスワード・チェックボックス１１４が選択されたかどうか判断される。リセット・パスワード・チェックボックスが選択されていない場合には、処理は図２７のステップ２１６に戻る。そうでない場合には、処理は、ステップＳ２４２から、ステップＳ２４３へ移る。ステップＳ２４３においては、該ユーザのための新しいパスワードがランダムに作成される。ステップＳ２４４においては、作成されたランダムなパスワードが、アドミニストレータに対して表示される。そして、ステップＳ２４５において、新しいパスワードが、ローカル・データベース２９のＵＳＥＲＳテーブル４２のＰａｓｓｗｏｒｄフィールドに格納される。ステップＳ２４６においては、ユーザのパスワードは、現在の時間を期限切れ日とする設定が加えられ（、Ｐａｓｓｗｏｒｄ＿Ｅｘｐｉｒｙ＿Ｄａｔｅフィールドに格納され）、ユーザの次のログオンにおいてパスワードを必ずユーザに変更させるようにする。そして、処理は、図２７のステップＳ２１６に移る。

図３２は、アドミニストレータが、図２７のステップＳ２１６として示すホームページを用いてユーザの削除を選択した場合に行う処理を例示する図である。図３２を参照すると、ステップＳ２４７においては、ユーザの無効化のリクエストが受理される。これにより、ステップＳ２４８においては、ユーザ無効化ダイアログ１２０が表示される。見ればわかるように、ユーザ無効化ダイアログ１２０は、ローカル・データベース２９のＵＳＥＲＳテーブル４２のレコードを用いて値が入力された、ユーザのドロップダウンリスト１２１を有する。ユーザ・ドロップダウンリスト１２１からユーザを選択すると（ステップＳ２４９）、ユーザは、送信ボタン１２２を用いて、ローカル・データベース２９のＵＳＥＲＳテーブル４２に対し無効化の要求を送信する。注記すべきは、ユーザ無効化ダイアログ１２０は、さらに、アドミニストレータが図２７のステップＳ２１６に示したホームページに戻ることを選択するキャンセル・ボタン１２３を有する。

ステップＳ２４９においてユーザ無効化を選択し、送信ボタン１２２を押下すると、ローカル・データベース２９のＵＳＥＲＳテーブル４２の適当なレコードがアップデートされる。具体的には、ステップＳ２５０において、該アカウントが無効であるようにＤｉｓａｂｌｅｄフィールドがアップデートされる。適当なアップデートが完了すると、アドミニストレータは、ステップＳ２５１において、図２９のステップＳ２１６のホームページに戻る。

再度図２７を参照し、評価タイプの作成、変更、および、削除について説明する。

先ず図３４を参照し、図２７のステップＳ２２０に示した評価タイプの作成について説明する。図３４のステップＳ２５２において、アドミニストレータは新規評価タイプのセットアップをリクエストする。ステップＳ２５３において、新規評価タイプ作成ダイアログ１２５が表示される。このダイアログは、アドミニストレータが新規評価タイプの名称を入力可能な名称テキストボックス１２６を有する。パス・テキストボックス１２７は、新規評価の詳細が格納されるファイル・パスを特定するのに用いられる。テキストボックス１２７は、直接的に編集することはできず、代わりに、参照ボタン１２８を選択して従来的なファイル・ロケーション・ウィンドウを表示し、適当なファイルの指定できるようになっている。適当なファイルが指定されると、そのパス名がテキストボックス１２７に挿入される。特定されたファイルは、上記新規評価タイプに関係する評価データを獲得するのに必要なプログラム・コードを含んでいる。さらに、ダイアログ１２５は、キャンセル・ボタン１２８および送信ボタン１２９を有する。ステップＳ２５４において、詳細が新規評価タイプ作成ダイアログ１２５に入力される。ステップＳ２５５において、チェックが実行され、テキストボックス１２６に入力された新規評価の名称が、ローカル・データベース２９のＡｓｓｅｓｓｍｅｎｔ＿Ｍｏｄｕｌｅテーブル４５内に既に存在するか否か判断される。名称が存在する場合には、ステップＳ２５６において、エラーメッセージが表示され、処理は、ステップＳ２５３へ戻る。ステップＳ２５３においては、新規評価タイプ作成ダイアログ１２５が、ユーザに対し、再表示され、詳細をもう一度入力可能にする。入力された名称がテーブルに存在しない場合には、ユーザが新規評価作成ダイアログ１２５に入力したデータが、ローカル・データベース２９のＡＳＳＥＳＳＭＥＮＴ＿ＭＯＤＵＬＥＳテーブル４５に格納される（ステップＳ２５７）。新しく作成された表かタイプの新しいレコード、および、該レコードのＭｏｄｕｌｅ＿ＧＵＩＤフィールドは、自動的に作成される。ステップＳ２５８においては、再度、図２７のステップＳ２１６に示すアドミニストレータ・ホームページがアドミニストレータに提示される。

図３６は、図２７のステップＳ２２１に示す、評価タイプの変更を実行する処理を例示する図である。図３６を参照すれば、ステップＳ２５９においては、アドミニストレータが、評価タイプの変更をリクエストし、その結果、ステップＳ２６０において、適当なダイアログが表示される。図３７に変更ダイアログ１３０を示す。見ればわかるように、該ダイアログは、評価タイプ名称ドロップダウンリスト１３１を有し、該リスト１３１からローカル・データベース２９のＡＳＳＥＳＳＭＥＮＴ＿ＭＯＤＵＬＥＳテーブル４５に格納された評価タイプを選択することができる。評価タイプの１つを選択することにより、ＡＳＳＥＳＳＭＥＮＴ＿ＭＯＤＵＬＥＳテーブルの適当なレコードのＬｏｃａｌ＿Ｐａｔｈフィールドからデータが、パス・テキストボックス１３２に入力される。パス・テキストボックス１３２を直接編集することはできない。しかし、参照ボタン１３３を使用して該評価タイプに関係する代替ファイルを選択することができる。変更ダイアログ１３０は、さらに、キャンセル・ボタン１３４および送信ボタン１３５を有する。再度図３６を参照すると、ステップＳ２６１においては、変更ダイアログ１３０を用いて評価タイプが選択され、ステップＳ２６２においては、評価の詳細の変更に用いられる。評価の詳細を変更すると、該変更にかかる詳細は、ステップＳ２６３において、ローカル・データベース２９のＡＳＳＥＳＳＭＥＮＴ＿ＭＯＤＵＬＥＳテーブル４５に保存され、ステップＳ２６４においては、ユーザに対して、図２７のステップＳ２１６に示すアドミニストレータ・ホームページが再表示される。

次に、図３８を参照し、図２７のステップＳ２２２に示した評価タイプの削除について説明する。ステップＳ２６５において、アドミニストレータは、評価タイプの削除をリクエストし、その結果、ステップＳ２６６において、評価タイプ削除ダイアログが表示される。図３９に、評価タイプ削除ダイアログを例示する。評価タイプ削除ダイアログ１４０は、評価タイプ・ドロップダウンリスト１４１を有する。該リスト１４１から、ローカル・データベース２９のＡＳＳＥＳＳＭＥＮＴ＿ＭＯＤＵＬＥＳテーブル４５に格納された評価タイプが選択される。送信ボタン１４２は、評価タイプの削除の確認に用いられ、キャンセル・ボタン１４３は、図２７のステップＳ２１６に示したホームページに戻るために用いられる。

再度、図３８を参照すれば、ステップＳ２６７において、削除されるべき評価タイプが選択されて送信ボタン１４２が選択される。ステップＳ２６８においては、チェックが実行され、選択された評価タイプがすでに評価セッションで使用されているかどうか判断される。その場合には、ステップＳ２６９において、エラーメッセージが表示され、処理は、Ｓ２６６へ移る。ステップＳ２６６においては、ユーザは、削除すべき評価タイプを再度選択可能である。選択した評価タイプが、評価セッションにおいて使用されたことのないものであれば、処理は、Ｓ２７０へ移る。Ｓ２７０においては、ローカル・データベース２９のＡＳＳＥＳＳＭＥＮＴ＿ＭＯＤＵＬＥＳテーブル４５から、適当なレコードが削除される。ステップＳ２７１においては、図２７のステップＳ２１６に示したホームページが再表示される。

次に、図４０は、図２７のステップＳ２２３における通信情報の変更の方法を例示する。ここで図４０を参照すれば、ステップＳ２７２において、アドミニストレータは、コントローラＰＣ８のＴＣＰ／ＩＰポート情報に編集を選択する。ステップＳ２７３において、適当なダイアログが表示されて、ユーザはコントローラＰＣ８のＴＣＰ／ＩＰポート番号を修正可能となる。この修正は、ステップＳ２７４において行われ、ステップＳ２７５においては、コントローラＰＣ８内の適当な．ＩＮＩ（ドットＩＮＩ）ファイルが修正される。ステップＳ２７５においては、アドミニストレータに対し、図２７のステップＳ２１６のアドミニストレータ・ホームページが再表示される。

上の説明で、タブレットＰＣ２、３、４は、評価者ソフトウェア２３のＴＣＰ／ＩＰモジュール３４、３６、および、３８、ならびに、コントローラ・ソフトウェア２２のＴＣＰモジュール２４（図４）を介してＴＣＰ／ＩＰプロトコルで、コントローラＰＣ８と通信することを説明した。該ＴＣＰ／ＩＰモジュールは、全て、ビジュアル・ベーシックのモジュールであり、評価者ソフトウェア２３およびコントローラ・ソフトウェア２２の様々なモジュールは、ＴＣＰ／ＩＰソケットに対するリード／ライト・コネクション（ｒｅａｄ／ｗｒｉｔｅ ｃｏｎｎｅｃｔｉｏｎ）を開いたり（ｏｐｅｎ）、コネクションのリスニングをしたり（ｌｉｓｔｅｎ ｆｏｒ ｃｏｎｎｅｃｔｉｏｎｓ）、データのレシーブおよびセンド（ｒｅｃｅｉｖｅ ａｎｄ ｓｅｎｄ ｄａｔａ）をしたりすることができる。このような、ＴＣＰ／ＩＰ通信を実行するビジュアル・ベーシックのモジュールの作成は、当業者にとっては容易な事柄であるから、ここでは詳細について説明しない。

以下に示す表１は、ＴＣＰ／ＩＰプロトコルを用いて通信する図４のソフトウェアの各部間の通信に必要なコマンド群を示す表である。

先に説明したように、データは、ローカル・データベース２９（図４）から、リモート・データベース・サーバ１２に格納されたオラクル医療用データベースへ送られる。オラクル医療用データベースは、オラクル社のデータベースである。オラクル・データベース管理システム（Ｏｒａｃｌｅ Ｄａｔａｂａｓｅ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）は、周知のＳＱＬデータベースであり、米国、ＣＡ９４０６５、レッドウッド・ショアーズ、オラクル・パークウェー ５００、オラクル・コーポレーション（Oracle Corporation, 500 Oracle Parkway, Redwood Shores CA 94065, United States of America）から入手可能である。オラクル医療用（オラクル・クリニカル（Ｏｒａｃｌｅ Ｃｌｉｎｉｃａｌ））は、本来的には、オラクルのデータベースを総合的医療用データ管理ソリューションにするアプリケーションである。オラクル医療用データベースの提供する機能によって、上述したシステム全体を、様々な法制上の要請を満足するようにする。以下で、このことについてさらに説明する。

上述のとおり、図１０のステップＳ６２において、データは、ローカル・データベース２９のＴＥＭＰ＿ＤＡＴＡテーブル４０から転送される。これによって転送されたデータは、図４１に例示するオラクル医療用データベースのテーブル１５０に格納される。テーブル１５０に対するデータの書き込みは、従来の方法でテーブル１５０へデータを収容するステップを含む。ＰＴフィールドは、評価データによって評価される画像の作成に用いた瘢痕にかかる患者の識別子を格納するのに用いられる。このデータ作成は、ＴＥＭＰ＿ＤＡＴＡテーブル４０のＩｍａｇｅ＿Ｎｕｍｂｅｒフィールドが、所定の方法で処理して患者の識別子を抽出できるデータを提供することにより、コントローラＰＣ８で行うことが可能になる。

テーブル１５０のＡＳＳＲフィールドは、特定のレコードで表される評価データを供する評価者を特定するのに用いられる。テーブル１５０のＡＴＹＰＥフィールドは、該テーブルの特定のレコードで表される評価データのタイプ（例えば、上述のタイプＩまたはタイプＩＩの評価）を特定するのに用いられる。このデータは、ＴＥＭＰ＿ＤＡＴＡテーブル４０のＡｓｓｅｓｓｍｅｎｔ＿Ｔｙｐｅフィールドから導かれる。ＩＭＧＩＤフィールドは、画像を特定するのに用いられる。このデータは、ＴＥＭＰ＿ＤＡＴＡテーブル４０のＩｍａｇｅ＿Ｎｕｍｂｅｒフィールドから導かれる。ＩＭＧＴＹＰフィールドは、画像がコントローラＰＣ８の「バッチ１」フォルダまたは「バッチ２」フォルダのいずれから取得されたかを特定するのに用いられる。また、ＴＥＭＰ＿ＤＡＴＡテーブル４０のＩｍａｇｅ＿Ｎｕｍｂｅｒフィールドの入力それぞれを処理してフォルダ名を導出可能とすることで、ＩＭＧＴＹＰフィールドのデータを作成することができる。

ＶＡＬＵＥ１、ＶＡＬＵＥ２、および、ＤＩＦＦフィールドは、ともに、評価データを表す。ＶＡＬＵＥ１フィールドは、ＴＥＭＰ＿ＤＡＴＡテーブル４０のＶａｌｕｅ＿１フィールドに対応する。つまり、視覚的アナログスコアリングのデータが格納され、このフィールドは、スコアを示す実数が格納される。比較による（相対的）スコアリングのデータが格納される場合、このフィールドには、複数画像が同等の重症度の瘢痕を示していることを示す値「０」、第１の画像の瘢痕は、第２の画像の瘢痕よりも重症でないことを示す値「１」、および、第２の画像の瘢痕は、第１の画像の瘢痕よりも重症でないことを示す値「２」が格納される。同様、ＤＩＦＦフィールドは、ＴＥＭＰ＿ＤＡＴＡテーブル４０のＤｉｆｆｅｒｅｎｃｅフィールドに対応する。よって、このフィールドは、比較スコアリングのみで使用される。値「０」は、瘢痕の重症度に差違がないことを示し、値「１」は、差違が僅かであることを示し、値「２」は、差違が明らかであることを示す。ＶＡＬＵＥ２フィールドは、上記評価データの収集では用いない。しかしながら、このフィールドを導入することによって、テーブル１５０に大量のデータを格納する必要に迫られるような、異なるタイプの評価データを収集することが可能になる。

注記するが、テーブル１５０のＰＴフィールドは、オラクル医療用データベースの、患者の詳細を含む別のテーブルを参照する。よって、特定の患者に関するデータをテーブル１５０へ格納するには、該患者を特定するレコードが、データベースの当該別のテーブルにも存在しなければならない。

当然のことだが、テーブル１５０に格納されたデータに対し問い合わせ（クエリ）を行ったり、レポートの作成に用いたりすることが可能である。一般的なオラクル・オープン・データベース・コネクティビティ（ＯＤＢＣ（Oracle Open Database Connectivity））ドライバにより、データをテーブル１５０から読み出すことが可能である。

既に述べたように、これまでのところ、（先に参照した）２１ ＣＦＲ Ｐａｒｔ １１の要請を満たす、画像関連情報収集システムは存在しなかった。先に説明したシステムは、これらの要請を満足する。これより、システムが当該様々な要請を満足させる手法について説明する。

データの格納にかかる方法が、２１ ＣＦＲ Ｐａｒｔ １１に細かく規定されている。それによれば、記憶システムは、人間が読み取り可能に、そして、電子的な形式でレコードの正確かつ完全なコピーを作成可能でなければならず、それによって、食品医薬品局（ＦＤＡ）によって査察可能でなければならない。収集されたデータが、そのような機能性を有するオラクル医療用データベースに送られた場合、この要請を満足させることができる。同様、レコードの保護に関連する要請、監査証跡の用意、および、レコードの以前のバージョンの保存は、すべて、オラクル医療用データベースによって行うことが可能である。加えて、２１ ＣＦＲ Ｐａｒｔ １１は、収集されたデータに関する、時刻印（タイム・スタンプ（ｔｉｍｅｓｔａｍｐｅｄ））が付された監査証跡を作成可能であることを求める。（先に述べたように）データが収集された時刻を示すデータを格納し、このデータをオラクル医療用データベースへ転送することにより、この要請を満足することができる。

２１ ＣＦＲ Ｐａｒｔ １１は、さらに、システムへのアクセスを制御することを求める。上述のように、ここで説明したシステムは、ユーザ名およびパスワードを用い、権限のあるユーザのみをシステムへアクセス可能にする。同様、パスワードを所定の時間間隔でリセットしなければならないという要請もある。これについては、既に説明したとおりである。不成功に終わったログインの試みが３回あった後でユーザのアカウントをロックしたり、これら失敗したログインを表すデータを格納したり、といった特徴により、セキュリティにかかる要請も満たしている。また、ここで説明した様々な特徴により、２１ ＣＦＲ Ｐａｒｔ １１が要請するように、権限が付与された端末のみが評価データの提供を許される。

２１ ＣＦＲ Ｐａｒｔ １１はまた、データの収集を十分に規定した方法で実行することを要請する。上述のように、動作のシークエンスを特定し、実行することによって、この要請は満足される。したがって、本願記載の本発明実施形態は、２１ ＣＦＲ Ｐａｒｔ １１の要請に準拠した方法でデータを収集可能である。

これまで、本発明にかかる好適な実施形態について説明した。しかしながら、説明した実施形態の様々な変形を、本願のクレームに定める本発明の思想および範囲から逸脱することなしに実施可能であることは、当業者であれば容易に理解するであろう。例えば、図１においては、ただ３機のタブレットＰＣ２、３、４のみが例示されているが、本発明の実施形態においては、もっと多数のタブレットＰＣを使用してもよい。同様に、特定のデータベース、プログラミング言語、および、オペレーティング・システムについて言及したが、そのほかにも適当なプログラミング言語、データベース、および、オペレーティング・システムを、本発明の代替実施形態において使用できることは、当業者であれば容易に理解するであろう。

本発明実施形態を実現するコンピュータ・ネットワークの概略的例図 図１のコントローラＰＣをより詳細に示す概略的例図 本発明実施形態の動作を概括するフローチャート 本発明の実施に用いるコンピュータ・ソフトウェアの構成の概略的例図 図１のコントローラＰＣに格納されるデータベースのテーブルの例図 図１のコントローラＰＣに格納されるデータベースのテーブルの例図 図１のコントローラＰＣに格納されるデータベースのテーブルの例図 図２のコントローラＰＣを操作するコーディネータに提示されるグラフィカル・ユーザ・インターフェース（ＧＵＩ）の動作を例示するフローチャート 図２のコントローラＰＣを用いる評価セッションを開始するための処理を例示するフローチャート 図２のコントローラＰＣを用いる評価セッションをセットアップするための処理を例示するフローチャート 図２のコントローラＰＣを用いる評価セッションをセットアップするための処理を例示するフローチャート 図２のコントローラＰＣによってコーディネータに提示されるＧＵＩのスクリーンショット 図２のコントローラＰＣを用いる評価セクションを実行するための処理を例示するフローチャート 図１２の処理における、欠損データ（ｍｉｓｓｉｎｇ ｄａｔａ）に対処するための処理を例示するフローチャート 図１２に例示のようにして動作する評価セッションを、ユーザがキャンセルする方法を示すフローチャート 図１のシステムを用い評価者に供される選択を例示するフローチャート 図１５の選択を実現する、評価者が用いるＧＵＩのスクリーンショット 評価者が用いる、第１画像評価方法を例示するフローチャート 図１７の画像評価を実行するのに用いるＧＵＩのスクリーンショット 代替的画像評価方法を例示するフローチャート 図１９の画像評価を実行するのに用いるＧＵＩのスクリーンショット 図１９の画像評価を実行するのに用いるＧＵＩのスクリーンショット 本発明実施形態で用いるログイン処理を例示するフローチャート 本発明実施形態におけるパスワード変更処理を例示するフローチャート 図２４の処理においてパスワードの変更に用いるダイアログの概略的例図 本発明実施形態で用いるログアウト処理を例示するフローチャート 本発明実施形態で用いるセッション認証処理のフローチャート 図２のコントローラＰＣを用いるアドミニストレータに提示される選択を例示するフローチャート アドミニストレータが、新規ユーザを作成するのに用いる処理を例示するフローチャート 図２８の処理において新規ユーザの作成に用いるダイアログの概略的例図 ユーザの詳細を変更するのにアドミニストレータが用いる処理を例示するフローチャート 図３０の処理においてユーザの詳細を変更するのに用いるダイアログの概略的例図 ユーザを無効化するのにアドミニストレータが用いる処理を例示するフローチャート 図３２の処理でユーザを削除するのに用いるダイアログの概略的例図 新規評価タイプを作成するのにアドミニストレータが用いる処理を例示するフローチャート 図３４の処理で新規評価タイプを作成するのに用いるダイアログの概略的例図 評価タイプを変更するのにアドミニストレータが用いる処理を例示するフローチャート 図３６の処理において評価タイプの変更に用いるダイアログの概略的例図 評価タイプを削除するのにアドミニストレータが用いる処理を例示するフローチャート 図３８の処理で評価タイプを削除するのに用いるダイアログの概略的例図 通信データの変更にアドミニストレータが用いる処理を例示するフローチャート 本発明実施形態において用いるオラクル（Ｏｒａｃｌｅ）医療用データベースのテーブルの例図

符号の説明

１ ・・・ コンピュータ・ネットワーク
２ ・・・ タブレットＰＣ
３ ・・・ タブレットＰＣ
４ ・・・ タブレットＰＣ
５ ・・・ スイッチ
６ ・・・ スイッチ
７ ・・・ ルータ
８ ・・・ コントローラＰＣ
９ ・・・ プロジェクタ
１０ ・・・ インターネット
１１ ・・・ リモート・ルータ
１２ ・・・ データベース・サーバ
１３ ・・・ ＣＰＵ
１４ ・・・ ランダム・アクセス・メモリ
１５ ・・・ 不揮発性記憶装置
１６ ・・・ コンパクト・ディスク・ＲＯＭ（ＣＤ−ＲＯＭ）リーダ
１７ ・・・ ネットワーク・インターフェース
１８ ・・・ 入出力（Ｉ／Ｏ）インターフェース
１９ ・・・ キーボード
２０ ・・・ フラット・スクリーン
２１ ・・・ 中央通信バス

Claims (143)

1. 画像に関連する情報を収集する方法であって、
   画像を提示するステップと、
   前記画像に関連する複数のデータ項目を、サーバにおいて受け取るステップであって、前記複数のデータ項目の各データ項目を、複数のコンピュータの１つから受け取る、ステップと、
   前記サーバにおいて、前記複数のデータ項目を、前記画像を特定する識別子と関係づけるステップと、
   各データ項目を、前記関係付けられた識別子とともに、データ保存部に格納するステップと、を有する方法。
2. さらに、前記複数のコンピュータのそれぞれに対し、前記画像に関連するデータ項目に関するリクエストを送るステップ、を有し、
   前記複数のデータ項目を受け取るステップが、前記リクエストに対する応答において前記複数のデータ項目を受け取るステップを含む、請求項１に記載の方法。
3. 前記リクエストは、第１の時刻において送られ、
   前記複数のデータ項目を、前記第１の時刻から開始する所定の期間以内に受け取る、請求項２に記載の方法。
4. 前記リクエストは、前記複数のコンピュータに対し、前記所定の期間を送る、請求項３に記載の方法。
5. 前記リクエストは、前記複数のコンピュータに、データ項目を作成するためのユーザインターフェースを表示させる、請求項２ないし４のいずれか１つに記載の方法。
6. 前記リクエストは、前記複数のコンピュータに、所定の期間、前記ユーザインターフェースを表示させる、請求項５に記載の方法。
7. 前記複数のデータ項目のそれぞれは、前記画像に対するユーザの主観的な反応を表している、請求項１ないし６のいずれか１つに記載の方法。
8. 前記画像は、ヒトまたは動物の皮膚に関する画像である、請求項１ないし７のいずれか１つに記載の方法。
9. 前記画像は、瘢痕を含んだ、ヒトまたは動物の皮膚に関する画像である、請求項８に記載の方法。
10. 前記複数のデータ項目はそれぞれ、所定の範囲の実数を含む、請求項９に記載の方法。
11. 前記実数は、所定の尺度上において、認知された前記瘢痕の重症度を表す、請求項１０に記載の方法。
12. 前記実数は、視覚的アナログスコアリング法を用いて作成される、請求項１０または１１に記載の方法。
13. 前記画像は、複数の画像である、請求項１ないし６のいずれか１つに記載の方法。
14. 前記複数のデータ項目はそれぞれ、前記複数の画像間の比較を表す、請求項１３に記載の方法。
15. 前記複数の画像はそれぞれ、瘢痕に関する画像である、請求項１４に記載の方法。
16. 前記複数のデータ項目はそれぞれ、前記複数の画像が示す瘢痕の重症度に、認知される差違が存在するか否かを示す、請求項１５に記載の方法。
17. 前記複数のデータ項目の１つが、瘢痕の重症度に認知される差違があることを示す場合には、前記データ項目の１つが、さらに、いずれの画像が、より重症でない瘢痕をしめすかを示す、請求項１６に記載の方法。
18. 前記データ項目の１つは、さらに、画像の示す瘢痕の重症度に基づいて、前記複数の画像の順序を示す、請求項１７に記載の方法。
19. 前記データ項目の１つが、瘢痕の重症度の間に認知される差違があることを示す場合には、前記データ項目がさらに、前記差違の程度を示す、請求項１６ないし１８のいずれか１つに記載の方法。
20. 前記複数の画像は、一対の画像である、請求項１３ないし１９のいずれか１つに記載の方法。
21. さらに、前記複数のコンピュータのそれぞれに対し、コンピュータ・プログラム・コードを提供するステップであって、前記プログラム・コードは前記複数のコンピュータの１つにおいて実行可能であり、当該実行により前記複数のデータ項目の１つを作成する、ステップ、を有する請求項１ないし２０のいずれか１つに記載の方法。
22. 前記サーバは、前記複数のコンピュータに対し、前記プログラム・コードを提供する、請求項２１に記載の方法。
23. 前記コンピュータ・プログラム・コードは、実行されることにより、データ収集をコントロールして前記複数のデータ項目の１つを作成するためのインターフェースを供する、請求項２１または２２に記載の方法。
24. さらに、複数のユーザを規定するデータを格納するステップであって、前記データが前記複数のユーザのそれぞれのユーザ名およびパスワードを含んでいる、ステップを有する請求項１ないし２３のいずれか１つに記載の方法。
25. さらに、情報の収集に必要なユーザのログオンの数を示すデータを格納するステップ、を有する請求項１ないし２４のいずれか１つに記載の方法。
26. さらに、前記必要なユーザのログオンの数を特定する、ユーザの入力を受け取るステップ、を有する請求項２５に記載の方法。
27. 前記画像の提示よりも前に、
    さらに、
    ログオンのリクエストを受け取るステップであって、前記ログオンのリクエストは、前記複数のコンピュータの１つから受け取られ、かつ、ユーザ名およびパスワードを含んでいる、ステップと、
    前記受け取られたログオンのリクエストを、前記複数のユーザを規定するデータを用いて、認証するステップと、
    前記認証が成功した場合にのみ、ログオンを示すデータを作成するステップと、を有する請求項２４、または、請求項２４に従属する請求項のいずれか１つ、に記載の方法。
28. 前記画像の提示よりも前に、
    さらに、
    少なくとも前記必要なログオンの数と同数のログオンのリクエストを受け取るステップと、
    前記必要なログオンの数を示すデータを作成するステップと、を有する、請求項２５または２６に従属する、請求項２７に記載の方法。
29. さらに、前記必要な数のユーザがログオンしている場合には、前記ログオンのリクエストを拒否するステップ、を有する、請求項２５もしくは２６に従属する、請求項２７または２８に記載の方法。
30. さらに、最大画像提示時間よりも長くない時間にわたり前記画像を提示するステップ、を有する請求項１ないし２９のいずれか１つに記載の方法。
31. さらに、前記最大画像提示時間を特定する、ユーザの入力を受け取るステップ、を有する請求項３０に記載の方法。
32. さらに、前記最大画像提示時間にわたり、または、前記ログオンのそれぞれと関係づけられたデータ項目を受け取るまでの間、画像を提示するステップ、を有する、請求項２８に従属する、請求項３０または３１に記載の方法。
33. さらに、前記最大画像提示時間に達したときにおいて、前記ログオンの１つと関係づけられたデータ項目を受け取っていない場合には、前記データを受け取っていないログオンのそれぞれ、および、前記画像を示すデータを作成するステップ、を有する、請求項２８に従属する、請求項３０ないし３２のいずれか１つに記載の方法。
34. さらに、
    前記画像を提示するステップと、
    前記示されたログオンのそれぞれと関係づけられるデータ項目を受け取るステップと、を有する請求項３３に記載の方法。
35. 前記画像を提示するステップは、プロジェクタを用いて前記画像を表示するステップを含む、請求項１ないし３４のいずれか１つに記載の方法。
36. 前記複数のデータ項目はそれぞれ、リモートのコンピュータから受け取られる、請求項１ないし３５に記載の方法。
37. 前記複数のデータ項目はそれぞれ、ＴＣＰ／ＩＰプロトコルを用いて受け取られる、請求項３６に記載の方法。
38. 各データ項目を、関係づけられた識別子とともにデータベースに格納するステップは、さらに、各データ項目とともに、当該データ項目を受け取った日時を格納するステップ、を含む請求項１ないし３７のいずれか１つに記載の方法。
39. 各データ項目を、関係づけられた識別子とともにデータベースに格納するステップは、
    各データ項目とともに、当該データ項目を供したコンピュータにログオンしているユーザを示すデータを格納するステップ、を含む請求項１ないし３８のいずれか１つに記載の方法。
40. さらに、前記複数のデータ項目のそれぞれを、前記関係づけられた識別子とともに、リモートのデータ保存部に送るステップ、を有する請求項１ないし３９のいずれか１つに記載の方法。
41. さらに、
    複数の画像を逐次的に提示するステップと、
    前記複数の画像のそれぞれに関連する、複数のデータ項目を受け取るステップと、を有する請求項１ないし４０のいずれか１つに記載の方法。
42. 前記複数の画像を逐次的に提示するステップは、ランダムな、または、擬似的にランダムな順序で前記複数の画像を逐次的に提示するステップを含む、請求項４１に記載の方法。
43. 前記ランダムな、または、擬似的にランダムな順序は、１つもしくは複数の、以前に用いられたランダムな、または、擬似的にランダムな順序から選択される、請求項４２に記載の方法。
44. ユーザに対し、以前に用いられたランダムな、または、擬似的にランダムな順序を用いるか、または、新しい、ランダムな、または、擬似的にランダムな順序を作成するか、の選択枝を提示する、請求項４３に記載の方法。
45. 前記複数の画像の幾つかは、同一の画像である、請求項４１ないし４４のいずれか１つに記載の方法。
46. さらに、データ項目を受け取らなかったユーザのログオンを示すレポートを作成するステップ、を有する、請求項３３、または、請求項３３に従属する請求項、に記載の方法。
47. 前記レポートは、ユーザのログオンそれぞれについて、データ項目を受け取らなかった画像を示す、請求項４１ないし４５のいずれか１つに従属する、請求項４６に記載の方法。
48. さらに、
    全てのユーザのログオンからデータを受け取らなかった画像それぞれを表示するステップと、
    以前データを受け取らなかったユーザのログオンから表示された画像のそれぞれに関連するデータ項目を受け取るステップと、を有する請求項４７に記載の方法。
49. 前記請求項１ないし４８のいずれか１つに記載の方法を、コンピュータに実行させる、コンピュータ読み取り可能な命令群を含むデータ記憶媒体。
50. プロセッサが読み取り可能な命令群を格納するプログラム・メモリと、
    前記プログラム・メモリに格納された命令群を読み取って実行するプロセッサと、を有し、
    前記プロセッサ読み取り可能な命令群は、前記プロセッサに請求項１ないし４８のいずれか１つに記載の方法を実行させる、コンピュータ装置。
51. 画像に関連する情報を収集する方法であって、
    第１のコンピュータから画像を提示するステップと、
    前記画像に関連した複数のデータ項目を作成するステップであって、前記複数のデータ項目のそれぞれは、前記第１のコンピュータに接続した複数の第２のコンピュータによって作成される、ステップと、
    前記複数のデータ項目それぞれを、前記封数の第２のコンピュータそれぞれから、前記第１のコンピュータへ送るステップと、
    前記複数のデータ項目それぞれを、前記第１のコンピュータにおいて受け取るステップと、
    前記複数のデータ項目を、前記画像を特定する識別子と、前記第１のコンピュータにおいて、関係づけるステップと、
    前記データ項目それぞれを、前記関係づけられた識別子とともに、データ保存部に格納するステップと、を有する方法。
52. さらに、前記複数の第２のコンピュータのそれぞれに対し、前記画像に関連するデータ項目に関するリクエストを送るステップ、を有し、
    前記複数のデータ項目を受け取るステップが、前記リクエストに対する応答において前記複数のデータ項目を受け取るステップを含む、請求項１に記載の方法。
53. 前記リクエストは、第１の時刻において送られ、
    前記複数のデータ項目を、前記第１の時刻から開始する所定の期間以内に受け取る、請求項５２に記載の方法。
54. 前記リクエストは、前記複数の前記コンピュータに対し、前記所定の期間を送る、請求項５３に記載の方法。
55. 前記リクエストは、前記複数の第２のコンピュータに、データ項目を作成するためのユーザインターフェースを表示させる、請求項５２ないし５４のいずれか１つに記載の方法。
56. 前記リクエストは、前記複数の第２のコンピュータに、所定の期間、前記ユーザインターフェースを表示させる、請求項５５に記載の方法。
57. 前記複数のデータ項目のそれぞれは、前記画像に対するユーザの主観的な反応を表している、請求項５１ないし５６のいずれか１つに記載の方法。
58. 前記画像は、ヒトまたは動物の皮膚に関する画像である、請求項５１ないし５７のいずれか１つに記載の方法。
59. 前記画像は、瘢痕を含んだ、ヒトまたは動物の皮膚に関する画像である、請求項５８に記載の方法。
60. 前記複数のデータ項目はそれぞれ、所定の範囲の実数を含む、請求項５９に記載の方法。
61. 前記実数は、所定の尺度上において認知された前記瘢痕の重症度を表す、請求項６０に記載の方法。
62. 前記実数は、視覚的アナログスコアリング法を用いて作成される、請求項６０または６１に記載の方法。
63. さらに、
    前記第２のコンピュータのそれぞれのディスプレイ装置にユーザインターフェースを提示するステップであって、前記ユーザインターフェースが尺度を有する、ステップと、
    前記尺度の一点に関するユーザの入力を示す入力データを受け取るステップと、を有する請求項６２に記載の方法。
64. さらに、前記ユーザの入力を、前記尺度上の一点から、前記実数に変換するステップ、を有する請求項６３に記載の方法。
65. 前記変換は、第２のコンピュータのそれぞれにおいて実行される、請求項６４に記載の方法。
66. （原文に記載無し）
67. 前記変換するステップは、
    前記尺度の第１端部に対応する第１実数値を規定するステップと、
    前記尺度の第２端部に対応する第２実数値を規定するステップと、
    前記一点と前記尺度の前記第１端部との隔たりを算定するステップと、
    前記隔たりを、前記第１端部と前記第２端部との隔たりおよび前記第１実数値および前記第２実数値に基づいて、実数値に変換するステップと、を有する請求項６４または６５に記載の方法。
68. さらに、
    前記第１のコンピュータから、前記第２のコンピュータのそれぞれに対し、コンピュータ・プログラム・コードを送るステップと、
    前記第２のコンピュータのそれぞれにおいて前記プログラム・コードを受け取るステップと、を有し、
    前記コンピュータ・プログラム・コードは、前記第２のコンピュータのそれぞれで実行されることにより、前記ユーザインターフェースを表示させる、請求項６２ないし６７のいずれか１つに記載の方法。
69. 前記コンピュータ・プログラム・コードは、前記変換を実行させる、請求項６５に従属する、請求項６８に記載の方法。
70. 前記画像は、複数の画像である、請求項５１ないし５７のいずれか１つに記載の方法。
71. 前記複数のデータ項目はそれぞれ、前記複数の画像間の比較を表す、請求項７０に記載の方法。
72. 前記複数の画像の各画像は、瘢痕に関する画像である、請求項７１に記載の方法。
73. 前記複数のデータ項目はそれぞれ、前記複数の画像が示す瘢痕の重症度に、認知される差違が存在するか否かを示す、請求項７２に記載の方法。
74. 前記複数のデータ項目の１つが、瘢痕の重症度に認知される差違があることを示す場合には、前記１つのデータ項目が、さらに、いずれの画像が、より重症でない瘢痕をしめすかを示す、請求項７３に記載の方法。
75. さらに、
    前記第２のコンピュータのそれぞれのディスプレイ装置にユーザインターフェースを提示するステップであって、前記ユーザインターフェースが、複数のユーザが選択可能なボタンを含んでいる、ステップと、
    前記ボタンの１つにかかるユーザの選択を示す入力データを受け取るステップと、を有する請求項７１ないし７４のいずれか１つに記載の方法。
76. 前記複数の画像は、一対の画像である、請求項７０ないし７５のいずれか１つに記載の方法。
77. 前記インターフェースは、３つのボタンを有し、
    第１のボタンは、前記一対の画像のうちの第１画像がより重症でない瘢痕を示していることを示唆するときに選択可能であり、
    第２のボタンは、前記一対の画像のうちの第２画像がより重症でない瘢痕を示していることを示唆するときに選択可能であり、
    第３のボタンは、前記第１画像および前記第２画像が同程度の重症度の瘢痕を示していることを示唆するときに選択可能である、請求項７５に従属する、請求項７６に記載の方法。
78. 前記第１のボタン、または、前記第２のボタンにかかるユーザの選択を示す入力データを、前記第２のコンピュータの１つにおいて受け取るステップと、
    前記第２のコンピュータのディスプレイ装置上に別のユーザインターフェースを表示するステップと、を有する請求項７７に記載の方法。
79. 前記別のユーザインターフェースは、前記一対の画像の前記第１画像および前記第２画像において示された瘢痕にかかる重症度間の差違の程度を示す入力データを受け取る、請求項７８に記載の方法。
80. 前記別のユーザインターフェースは、一対のボタンを提示し、
    第１のボタンは、前記差違は僅かであることを示し、
    第２のボタンは、前記差違は著しいことを示す、請求項７９に記載の方法。
81. 前記データ項目の１つは、前記差違の程度を示す、請求項８０に記載の方法。
82. さらに、前記第１のコンピュータから前記複数の第２のコンピュータのそれぞれに対し、コンピュータ・プログラム・コードを提供するステップであって、前記プログラム・コードは前記第２のコンピュータにおいて実行可能であり、当該実行により前記複数のデータ項目の１つを作成する、ステップ、を有する請求項５１ないし８１のいずれか１つに記載の方法。
83. 前記コンピュータ・プログラム・コードは、実行されることにより、データ収集をコントロールして前記複数のデータ項目の１つを作成するためのインターフェースを供する、請求項８２に記載の方法。
84. さらに、前記第１のコンピュータに、複数のユーザを規定するデータを格納するステップであって、前記データが前記複数のユーザのそれぞれのユーザ名およびパスワードを含んでいる、ステップ、を有する請求項５１ないし８３のいずれか１つに記載の方法。
85. さらに、前記第１のコンピュータに、情報の収集に必要なユーザのログオンの数を示すデータを格納するステップ、を有する請求項８４に記載の方法。
86. 前記画像の提示よりも前に、
    さらに、
    前記第１のコンピュータにおいて、前記第２のコンピュータの１つから、ログオンのリクエストを受け取るステップであって、前記ログオンのリクエストは、ユーザ名およびパスワードを含んでいる、ステップと、
    前記第１のコンピュータにおいて、前記受け取られたログオンのリクエストを、前記複数のユーザを規定するデータを用いて、認証するステップと、
    前記第２のコンピュータの１つに対し、前記認証の成功または失敗を示すデータを送るステップと、
    前記認証が成功した場合にのみ、ログオンを示すデータを作成するステップと、を有する請求項８４、または、請求項８５に記載の方法。
87. 前記画像の提示よりも前に、
    さらに、
    前記第１のコンピュータにおいて、前記第２のコンピュータから、少なくとも前記必要なログオンの数と同数のログオンのリクエストを受け取るステップと、
    前記必要なログオンの数を示すデータを作成するステップと、を有する、請求項８５に従属する、請求項８６に記載の方法。
88. さらに、最大画像提示時間よりも長くない時間にわたり前記画像を提示するステップ、を有する請求項５１ないし８７のいずれか１つに記載の方法。
89. さらに、前記第１のコンピュータにおいて、前記最大画像提示時間を特定する、ユーザの入力を受け取るステップ、を有する請求項８８に記載の方法。
90. さらに、前記最大画像提示時間にわたり、または、前記ログオンのそれぞれと関係づけられたデータ項目を受け取るまでの間、前記画像を提示するステップ、を有する、請求項８７に従属する、請求項８８または８９に記載の方法。
91. さらに、前記最大画像提示時間に達したときにおいて、前記ログオンの１つと関係づけられたデータ項目を受け取っていない場合には、前記データを受け取っていないログオンのそれぞれ、および、前記画像を示すデータを作成するステップ、を有する、請求項８７に従属する、請求項８８ないし９０のいずれか１つに記載の方法。
92. さらに、
    前記画像を提示するステップと、
    前記示されたログオンのそれぞれと関係づけられるデータ項目を受け取るステップと、を有する請求項９１に記載の方法。
93. さらに、前記示されたログオンに対応する第２のコンピュータにおいてのみ、前記データ項目の収集のためのユーザインターフェースを提示するステップ、を有する請求項９２に記載の方法。
94. さらに、前記複数のデータ項目のそれぞれを、前記関係づけられた識別子とともに、リモートのデータ保存サーバに送るステップ、を有する請求項５１ないし９３のいずれか１つに記載の方法。
95. さらに、
    前記第１のコンピュータから、複数の画像を逐次的に提示するステップと、
    前記複数の画像のそれぞれに関連する、複数のデータ項目を受け取るステップと、を有する請求項５１ないし９４のいずれか１つに記載の方法。
96. 前記請求項５１ないし９５のいずれか１つに記載の方法を、コンピュータに実行させる、コンピュータ読み取り可能な命令群を含むデータ記憶媒体。
97. プロセッサが読み取り可能な命令群を格納するプログラム・メモリと、
    前記プログラム・メモリに格納された命令群を読み取って実行するプロセッサと、を有し、
    前記プロセッサ読み取り可能な命令群は、前記プロセッサに請求項５１ないし９５のいずれか１つに記載の方法を実行させる、コンピュータ装置。
98. 画像に関連する情報を収集する方法であって、
    第２のコンピュータにおいて、表された画像に関連するデータ項目を作成するステップと、
    前記第２のコンピュータから第１のコンピュータに対し、前記データ項目を送るステップと、を有し、
    前記第１のコンピュータは、
    前記画像を表示し、
    前記第２のコンピュータから前記データ項目を受け取り、
    少なくとも１つの別の第２のコンピュータから少なくとも１つの別のデータ項目を受け取り、
    複数のデータ項目を、前記画像を特定する識別子と関係付け、かつ、
    各データ項目を、前記関係づけられた識別子とともに、データ保存部に格納する、方法。
99. さらに、前記画像に関連するデータ項目に関するリクエストを受け取るステップ、を有し、
    前記複数のデータ項目を受け取るステップが、前記リクエストに対する応答において前記データ項目を送るステップを含む、請求項９８に記載の方法。
100. 前記リクエストは、第１の時刻において受け取られ、
     前記複数のデータ項目を、前記第１の時刻から開始する所定の期間以内に送る、請求項９９に記載の方法。
101. 前記リクエストは、前記所定の期間を規定する、請求項１００に記載の方法。
102. 前記リクエストは、前記第２のコンピュータに、データ項目を作成するためのユーザインターフェースを表示させる、請求項９９ないし１０１のいずれか１つに記載の方法。
103. 前記リクエストは、前記コンピュータに、所定の期間、前記ユーザインターフェースを表示させる、請求項１０２に記載の方法。
104. 前記画像は、ヒトまたは動物の皮膚に関する画像である、請求項９８ないし１０３のいずれか１つに記載の方法。
105. 前記画像は、瘢痕を含んだ、ヒトまたは動物の皮膚に関する画像である、請求項１０４に記載の方法。
106. 前記作成されるデータ項目は、所定の範囲の実数を含む、請求項１０５に記載の方法。
107. 前記実数は、所定の尺度上において、認知された前記瘢痕の重症度を表す、請求項１０６に記載の方法。
108. 前記実数は、視覚的アナログスコアリング法を用いて作成される、請求項１０６または１０７に記載の方法。
109. さらに、
     前記第２のコンピュータのディスプレイ装置にユーザインターフェースを提示するステップであって、前記ユーザインターフェースが尺度を有する、ステップと、
     前記尺度の一点に関するユーザの入力を示す入力データを受け取るステップと、を有する請求項１０８に記載の方法。
110. さらに、前記ユーザの入力を、前記尺度上の一点から、前記実数に変換するステップ、を有する請求項１０９に記載の方法。
111. さらに、
     前記第２のコンピュータにおいてコンピュータ・プログラム・コードを受け取るステップであって、前記コンピュータ・プログラム・コードは、前記第２のコンピュータで実行されることにより、前記ユーザインターフェースを表示させる、請求項１０９または１１０に記載の方法。
112. 前記コンピュータ・プログラム・コードは、前記変換を実行させる、請求項１１０に従属する、請求項１１１に記載の方法。
113. 前記画像は、複数の画像であり、
     前記作成されるデータ項目は、前記複数の画像間の比較を表す、請求項９８ないし１０４のいずれか１つに記載の方法。
114. 前記複数の画像の各画像は、瘢痕に関する画像である、請求項１１３に記載の方法。
115. 前記作成されるデータ項目は、前記複数の画像が示す瘢痕の重症度に、認知される差違が存在するか否かを示す、請求項１１４に記載の方法。
116. 前記作成されるデータ項目が、瘢痕の重症度に認知される差違があることを示す場合には、前記１つのデータ項目が、さらに、いずれの画像が、より重症でない瘢痕をしめすかを示す、請求項１１５に記載の方法。
117. さらに、
     前記第２のコンピュータのディスプレイ装置にユーザインターフェースを提示するステップであって、前記ユーザインターフェースが、複数のユーザが選択可能なボタンを含んでいる、ステップと、
     前記ボタンの１つにかかるユーザの選択を示す入力データを受け取るステップと、を有する請求項１１３ないし１１６のいずれか１つに記載の方法。
118. 前記複数の画像は、一対の画像である、請求項１１３ないし１１７のいずれか１つに記載の方法。
119. 前記インターフェースは、３つのボタンを有し、
     第１のボタンは、前記一対の画像のうちの第１画像がより重症でない瘢痕を示していることを示唆するときに選択可能であり、
     第２のボタンは、前記一対の画像のうちの第２画像がより重症でない瘢痕を示していることを示唆するときに選択可能であり、
     第３のボタンは、前記第１画像および前記第２画像が同程度の重症度の瘢痕を示していることを示唆するときに選択可能である、請求項１１７に従属する、請求項１１８に記載の方法。
120. 前記第１のボタン、または、前記第２のボタンにかかるユーザの選択を示す入力データを受け取るステップと、
     前記第２のコンピュータのディスプレイ装置上に別のユーザインターフェースを表示するステップと、を有する請求項１１９に記載の方法。
121. 前記別のユーザインターフェースは、前記一対の画像の前記第１画像および前記第２画像において示された瘢痕にかかる重症度間の差違の程度を示す入力データを受け取る、請求項１２０に記載の方法。
122. 前記別のユーザインターフェースは、一対のボタンを提示し、
     第１のボタンは、前記差違は僅かであることを示し、
     第２のボタンは、前記差違は著しいことを示す、請求項１２１に記載の方法。
123. 前記データ項目の１つは、前記差違の程度を示す、請求項１２２に記載の方法。
124. さらに、前記第２のコンピュータにおいて、コンピュータ・プログラム・コードを受け取るステップであって、前記プログラム・コードは前記第２のコンピュータにおいて実行可能であり、当該実行により前記複数のデータ項目の１つを作成する、ステップ、を有する請求項９８ないし１２３のいずれか１つに記載の方法。
125. 前記コンピュータ・プログラム・コードは、実行されることにより、データ収集をコントロールして前記複数のデータ項目の１つを作成するためのインターフェースを供する、請求項１２４に記載の方法。
126. 前記請求項９８ないし１２５のいずれか１つに記載の方法を、コンピュータに実行させる、コンピュータ読み取り可能な命令群を含むデータ記憶媒体。
127. プロセッサが読み取り可能な命令群を格納するプログラム・メモリと、
     前記プログラム・メモリに格納された命令群を読み取って実行するプロセッサと、を有し、
     前記プロセッサ読み取り可能な命令群は、前記プロセッサに請求項９８ないし１２５のいずれか１つに記載の方法を実行させる、コンピュータ装置。
128. 画像に関連する情報を収集するためのシステムであって、
     第１のコンピュータと、該第１のコンピュータと通信する複数の第２のコンピュータを有し、
     前記第１のコンピュータは、画像を提示し、
     前記第２のコンピュータそれぞれは、前記画像に関連したデータ項目を獲得し、当該データ項目を前記第１のコンピュータに対して送り、
     前記第１のコンピュータは、前記複数のデータ項目を受け取り、各データ項目を、前記画像を特定する識別子と関係づけ、各データ項目を、前記関係づけられた識別子とともに、データ保存部に対して出力する、システム。
129. さらに、前記第１のコンピュータと接続したデータベース・サーバを有する、請求項１２８に記載のシステム。
130. 前記第１のコンピュータは、さらに、前記データ項目を、関連付けられた識別子とともに、前記データベース・サーバへ送る、請求項１２９に記載のシステム。
131. 前記第１のコンピュータと前記データベース・サーバの間の通信は、有線接続、または、無線接続である、請求項１２９または１３０に記載のシステム。
132. 画像に示される瘢痕に関する評価を表すデータを収集する方法であって、
     前記画像を提示するステップと、
     前記画像に関連する複数のデータ項目を受け取るステップであって、前記複数のデータ項目はそれぞれ、複数のコンピュータから受け取られ、各データ項目が前記画像に示される瘢痕に関する評価を表す、ステップと、
     前記複数のデータ項目を、前記画像を特定する識別子と関係づけるステップと、
     各データ項目を、前記関係付けられた識別子とともに、データベースに格納するステップと、を有する方法。
133. 表示されるデータに関連する評価データを収集する方法であって、
     複数の第２のコンピュータに対してコンピュータ・プログラム・コードを供するステップであって、前記コンピュータ・プログラム・コードは、各第２のコンピュータにおいて実行可能であり、当該実行により前記評価データの収集をコントロールする、ステップと、
     前記表示されるデータを提示するステップと、
     前記複数の第２のコンピュータのそれぞれから、前記表示されるデータに関連する評価データを受け取るステップであって、前記評価データは、前記第２のコンピュータのそれぞれにおいて前記コンピュータ・プログラム・コードを実行させることにより作成される、ステップと、を有する方法。
134. 前記表示されるデータは、画像データである、請求項１３３に記載の方法。
135. 前記コンピュータ・プログラム・コードは、実行されることにより、前記複数のデータ項目の１つを作成するための、ユーザの入力を受け取る、請求項１３３または１３４に記載の方法。
136. さらに、
     複数のコンピュータ・プログラムを格納するステップであって、各コンピュータ・プログラムは、それぞれ、コンピュータ・プログラム・コードによって規定される、ステップと、
     前記複数のコンピュータ・プログラムの１つにかかる選択を示すユーザの入力を受け取るステップと、を有し、
     前記コンピュータ・プログラム・コードを供するステップは、前記選択されたコンピュータ・プログラムを規定するコンピュータ・プログラム・コードを供するステップを含む、請求項１３３ないし１３５のいずれか１つに記載の方法。
137. 前記請求項１３３ないし１３６のいずれか１つに記載の方法を、コンピュータに実行させる、コンピュータ読み取り可能な命令群を含むデータ記憶媒体。
138. プロセッサが読み取り可能な命令群を格納するプログラム・メモリと、
     前記プログラム・メモリに格納された命令群を読み取って実行するプロセッサと、を有し、
     前記プロセッサ読み取り可能な命令群は、前記プロセッサに請求項１３３ないし１３６のいずれか１つに記載の方法を実行させる、コンピュータ装置。
139. 画像に関連する情報を収集するための装置であって、
     前記画像を提示するディスプレイ手段と、
     前記画像に関連する複数のデータ項目を、複数のコンピュータの１つから受け取る受け取り手段と、
     前記複数のデータ項目を、前記画像を特定する識別子と関係づける処理手段と、
     前記データ項目それぞれを、前記関係づけられた識別子とともに、データ保存部に格納する格納手段と、を有する装置。
140. 画像に関連する情報を収集するための装置であって、
     表示される画像に関連するデータ項目を作成する処理手段と、
     前記データ項目を、第１のコンピュータに対して送る送出手段と、を有し、
     前記第１のコンピュータは、
     前記画像を表示し、
     前記第２のコンピュータから前記データ項目を受け取り、
     少なくとも１つの別の第２のコンピュータから少なくとも１つの別のデータ項目を受け取って、前記複数のデータ項目を、前記画像を特定する識別子と関係付け、かつ、
     各データ項目を、前記関係付けられた識別子とともに、データ保存部に格納する、装置。
141. 画像に関連する情報を収集する方法であって、
     画像を提示するステップと、
     複数のコンピュータのそれぞれに対し、前記画像に関連するデータ項目に関するリクエストを送るステップと、
     前記画像に関連する複数のデータ項目を、サーバにおいて受け取るステップであって、前記リクエストに対する応答において、複数のコンピュータの１つから、前記複数のデータ項目の各データ項目を受け取る、ステップと、
     前記サーバにおいて、前記複数のデータ項目を、前記画像を特定する識別子と関係づけるステップと、
     各データ項目を、前記関係付けられた識別子とともに、データ保存部に格納するステップと、を有する方法。
142. 画像に関連する情報を収集する方法であって、
     所定の期間にわたり、前記画像を提示するステップと、
     複数のコンピュータのそれぞれに対し、前記画像に関連するデータ項目に関するリクエストを送るステップと、
     前記画像に関連する複数のデータ項目を受け取るステップであって、前記所定の期間以内に、前記複数のデータ項目のそれぞれを複数のコンピュータから受け取る、ステップと、
     前記受け取った複数のデータ項目を、前記画像を特定する識別子と関係づけるステップと、
     各データ項目を、前記関係づけされた識別子とともに、データ保存部に保存するステップと、を有する方法。
143. 前記複数のデータ項目を、前記複数のコンピュータの部分集合からのみ受け取り、
     当該部分集合は、前記リクエストが前記所定の期間内に送られた前記コンピュータであり、
     その後で、前記複数のコンピュータのうちの別のコンピュータからデータ項目を受け取る、請求項１４２に記載の方法。

Images