JP2006072578A - 実験装置と連動させる仮想実験インタフェース - Google Patents

実験装置と連動させる仮想実験インタフェース Download PDF

Info

Publication number
JP2006072578A
JP2006072578A JP2004253531A JP2004253531A JP2006072578A JP 2006072578 A JP2006072578 A JP 2006072578A JP 2004253531 A JP2004253531 A JP 2004253531A JP 2004253531 A JP2004253531 A JP 2004253531A JP 2006072578 A JP2006072578 A JP 2006072578A
Authority
JP
Japan
Prior art keywords
data
image data
dimensional
virtual experiment
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004253531A
Other languages
English (en)
Other versions
JP4630024B2 (ja
Inventor
Yasushi Morita
裕史 森田
Masao Doi
正男 土井
Tatsuya Yamagami
達也 山上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Science and Technology Agency
Original Assignee
Japan Science and Technology Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science and Technology Agency filed Critical Japan Science and Technology Agency
Priority to JP2004253531A priority Critical patent/JP4630024B2/ja
Priority to KR1020077006910A priority patent/KR100864148B1/ko
Priority to EP05774554A priority patent/EP1796034A1/en
Priority to US11/661,323 priority patent/US20080059139A1/en
Priority to PCT/JP2005/015372 priority patent/WO2006025243A1/ja
Priority to CN2005800284445A priority patent/CN101010692B/zh
Publication of JP2006072578A publication Critical patent/JP2006072578A/ja
Application granted granted Critical
Publication of JP4630024B2 publication Critical patent/JP4630024B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/32—Image data format
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/22—Treatment of data
    • H01J2237/226—Image reconstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】 実験計測装置とシミュレーション等の仮想実験装置とを連動させ得る仮想実験インタフェース及びその利用を提供する。
【解決手段】 実験計測装置１０１によって得られる高分子材料の構造の画像データを取得するデータ取得部２０１と、データ取得部１０１が取得した画像データを、シミュレーション装置１０２が処理できるように変換するデータ変換処理部２０２と、データ変換処理部２０２によって変換されたデータをシミュレーション装置に対して出力するデータ出力部２０３と、を有する仮想実験インタフェース２００によれば、実験計測装置とシミュレーション等の仮想実験装置とを連動させることができる。このため、より現実系を反映したシミュレーションを行うことができる。さらに、現実の実験装置では行い得ない、詳細な解析を行うことが可能となる。
【選択図】 図１

Description

本発明は、実験計測装置と仮想実験装置（シミュレーション装置）とを連動させ得る仮想実験インタフェース、及び該仮想実験インタフェースを用いた仮想実験システムに関するものである。
近年、高分子材料等の分子集合体構造の特徴を仮想実験技術（シミュレーション技術）によって解析するシミュレーション装置が頻繁に利用されるようになっている。このようなシミュレーション装置によれば、実際に実験を行うことなく計算科学によってコンピュータ上で物質の構造特性等を解析することができるため、現実の実験では行い得ないような解析を行うことができる。
例えば、特許文献１には、分子または分子集合体の原子座標データから少なくとも３つ以上の原子を選択する原子選択工程と、前記選択した原子から面を決定する面決定工程と、前記面決定工程により決定した複数の面の中から少なくとも２つの面の組を決定する組決定工程と、前記決定した組を構成する面の間の幾何学的関係を数値化する数値化工程により分子または分子集合体の構造を解析する方法及び装置が開示されている。かかる解析方法及び装置は、低分子の凝集体構造や高分子の非晶構造など、ランダム性が高く複雑な構造を有する分子系の微細構造の特徴を明確化するのに有効との報告がなされている。
また、特許文献２には、高分子を構成するモノマーの仕込み組成、および高分子の製造条件の入力値を設定するステップ；モンテカルロ法を適用し、現実の合成で得られる分子の１次構造を予測するステップ；粗視化モデルを作成すると共に、粗視化分子動力学シミュレーションに用いる粗視化パラメーターを決定するステップ；粗視化分子動力学シミュレーションを行うステップ：内部にミクロ相分離構造を有する材料の形態と力学物性を予測するステップ：応力−ひずみ曲線その他の力学物性を算出するステップ；配向係数その他の形状因子を算出するステップ；からなる高分子材料の形態予測方法およびその装置が開示されている。この高分子材料の形態予測方法およびその装置によれば、マルチブロック共重合体からなる高分子を構成するモノマー種の組成および製造条件に基づき、現実の合成で得られる高分子材料の物性を予測することができると報告されている。
その一方、現実の実験により、物質の構造等を解析すべく、種々の実験計測装置（実験装置）が開発されている。特に、物質の微細な構造を解析するために、数多くの顕微鏡が開発されている。例えば、ナノスケールにて物質を解析可能な電子顕微鏡として、物質の電子線を照射し、表面からはじき出された２次電子を利用して表面の立体的形態を観察する走査型電子顕微鏡（ＳＥＭ；scanning electron microscope）と、物質の内部をくぐり抜けて出てきた電子を結像させることで物質内部の構造を“透かして”観察できる透過型電子顕微鏡（ＴＥＭ；transmission electron microscope）が開発されている。
さらに、近年、３次元透過型電子顕微鏡（３ＤＴＥＭ）、３次元Ｘ線顕微鏡、共焦点レーザ顕微鏡等の開発によって、２次元の解析だけでなく、３次元の構造解析を行うことも可能となっている。
特開平０９−２２３１６６号公報（公開日：平成 ９年 ８月２６日） 特開２００３−１０５０９０号公報（公開日：平成１５年 ４月 ９日）
上述したシミュレーション装置等の仮想実験を行う仮想実験装置と、顕微鏡等の現実の実験を行う実験計測装置とは、それぞれ独立に発展してきた。つまり、シミュレーション装置は、現実の実験では得られないような物質の挙動や構造解析を、計算科学を駆使して仮想的に行うことを目的に発達してきたものである。一方、実験計測装置は、物質の微細な構造等を可視化することにより実際に観察するために発達してきたものである。このため、これら２つの研究分野・技術分野はこれまでほとんど融合することがなかったといっても過言ではない。
さらに、これまで開発されてきたシミュレーション装置等の仮想実験装置は、あらかじめ多数のデータや条件等を設定・入力する必要があり、現実の実験計測装置を操作する実験研究者にとって非常に扱い難いものであった。また、設定する条件等によって得られるシミュレーション結果が異なるため、一部の実験研究者からはシミュレーション装置によって得られた結果は、現実系を反映しておらず、信頼性の面で問題があるのではないかと指摘する声も挙がっていた。
しかしその一方で、シミュレーション装置等の仮想実験装置には、現実の実験計測装置では行い得ないような解析を行うことができるという利点がある。
そこで、本発明者らは、優れた解析能力を有する仮想実験装置と現実の実験計測装置とを連動させることにより、現実の実験計測装置によって得られる実験構造をもとに仮想実験を行うことができ、より詳細かつ正確な解析を行い得るのではないかという全く新しい概念を考え出すに至った。そして、かかる新概念を具現化するためには、実験計測装置とシミュレーション装置等の仮想実験装置とを連動させ得る仮想実験インタフェースを開発する必要があるという、これまで全く考慮されてこなかった新規な課題を独自に見出した。
本発明は、上記の課題に鑑みてなされたものであり、その目的は、実験計測装置とシミュレーション等の仮想実験装置とを連動させ得る仮想実験インタフェース及びその利用を提供することにある。
本発明者は、上記課題を解決すべく鋭意検討を行った結果、３次元透過型電子顕微鏡等で取得した実験構造（画像データ）をシミュレーション装置が利用できるように、実験構造データをシミュレーション装置用に変換・加工する仮想実験インタフェースを作製した。そして、この仮想実験インタフェースにより変換・加工されたデータを用いてシミュレーションを行うことによって、従来の３次元透過型電子顕微鏡等では得られなかった、より詳細な解析（高分子の１本の分布状態に関する情報等）を行うことができることを見出し、本願発明を完成させるに至った。本発明は、かかる新規知見に基づいて完成されたものであり、以下の発明（１）〜（１４）を包含する。すなわち、
（１）高分子材料の構造の画像データを取得するデータ取得手段と、上記データ取得手段が取得した画像データを、高分子材料の構造解析シミュレーションを行う仮想実験装置が処理できるように変換するデータ変換処理手段と、上記データ変換処理手段によって変換されたデータを仮想実験装置に対して出力するデータ出力手段と、を備える仮想実験インタフェース。
（２）上記画像データは、実験計測装置によって得られるものである（１）に記載の仮想実験インタフェース。
（３）上記データ変換処理手段は、上記画像データを体積分率の値へ変換する処理を行うものである（１）又は（２）に記載の仮想実験インタフェース。
（４）上記画像データは、２次元画像データであって、上記データ変換処理手段は、上記２次元画像データにおける各画素のピクセル値を読み込む画像読込手段と、上記画像読込手段によって読み込まれたピクセル値を体積分率の値に変換する数値変換手段と、上記数値変換手段によって変換された体積分率の値を、仮想実験装置が処理できる形式に変換する形式変換手段と、を備えるものである（３）に記載の仮想実験インタフェース。
（５）上記データ変換手段は、さらに、上記データ取得手段によって取得された２次元画像データから画像処理する領域を指定する領域指定手段を備えており、上記画像読込手段は、上記領域指定手段によって指定された領域における各画素のピクセル値を読み込むものである（４）に記載の仮想実験インタフェース。
（６）上記画像データは、複数の２次元画像データから構成される３次元画像データであって、上記データ変換処理手段は、上記２次元画像データにおける各画素のピクセル値を読み込む画像読込手段と、上記画像読込手段によって読み込まれたピクセル値を体積分率の値に変換する数値変換手段と、上記数値変換手段によって変換された体積分率の値を、仮想実験装置が処理できる形式に変換する形式変換手段と、上記形式変換手段によって処理された複数の２次元データを用いて、３次元データとして再構成する３次元処理手段と、を備えるものである（３）に記載の仮想実験インタフェース。
（７）上記３次元画像データは、複数の層状の２次元画像データからなるものであり、上記３次元処理手段は、上記形式変換手段によって変換された複数の２次元データを、層状に重ねることにより３次元データとして構成するものである（６）に記載の仮想実験インタフェース。
（８）上記データ変換手段は、さらに、上記データ取得手段によって取得された２次元画像データから画像処理する領域を指定する領域指定手段を備えており、上記画像読込手段は、上記領域指定手段によって指定された領域における各画素のピクセル値を読み込むものである（６）又は（７）に記載の仮想実験インタフェース。
（９）上記数値変換手段は、画像のピクセル値における上限値及び下限値を、上記仮想実験装置において設定する体積分率の上限値及び下限値に対応させる処理を行うものである（４）〜（８）のいずれかに記載の仮想実験インタフェース。
（１０）上記実験計測装置は、顕微鏡である（２）〜（９）のいずれかに記載の仮想実験インタフェース。
（１１）上記実験計測装置は、３次元透過型電子顕微鏡または共焦点レーザ顕微鏡である（６）〜（９）のいずれかに記載の仮想実験インタフェース。
（１２）上記高分子材料は、マルチブロック共重合体からなる高分子材料である（１）〜（１１）のいずれかに記載の仮想実験インタフェース。
（１３）上記マルチブロック共重合体は、ネットワーク状のミクロ相分離構造を形成している（１２）に記載の仮想実験インタフェース。
（１４）（１）〜（１３）のいずれかに記載の仮想実験インタフェースと、高分子材料の構造の画像データを取得する実験計測装置と、高分子材料の構造解析シミュレーションを行う仮想実験装置と、を備える仮想実験システム。
なお、上記仮想実験インタフェースは、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記仮想実験インタフェースをコンピュータにて実現させる仮想実験インタフェースの制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明に係る仮想実験インタフェースによれば、実験計測装置と仮想実験装置とを連動させることができる。このため、仮想実験装置において、実験計測装置によって得られた実験構造に基づいた仮想実験を行うことができるため、通常の実験計測装置によって得られる結果に比べて、正確かつ詳細な解析を行うことが可能になるという効果を奏する。例えば、顕微鏡によって得られる高分子材料の実験構造に基づいて、材料特性の詳細な解析を行うことができるという効果を奏する。
〔実施の形態１〕
本発明の一実施形態について図１〜図４に基づいて説明すると以下の通りである。本実施の形態では、高分子材料の構造を２次元画像データとして取得する実験計測装置を、仮想実験インタフェースを介して、シミュレーション装置と連動させた仮想実験システム１００について説明する。
図１は、本実施の形態に係る仮想実験システムのハードウェア構成を模式的に示す図である。仮想実験システム１００は、実験計測装置１０１、仮想実験インタフェース２００、シミュレーション装置１０２を備えている。図１に示すように、実験計測装置１０１は仮想実験インタフェース２００と接続されており、また仮想実験インタフェース２００はシミュレーション装置１０２と接続されている。
実験計測装置１０１は、高分子材料の構造を画像データとして実験的に取得できる実験装置であればよく、具体的な構成は特に限定されるものではない。かかる実験計測装置として、例えば、顕微鏡を挙げることができる。特に、高分子材料の構造を、ナノオーダー（ｎｍ）〜ミクロンオーダー（μｍ）のスケール範囲で解析できる電子顕微鏡（透過型、走査型等）、Ｘ線顕微鏡等が好ましい。
なお、本明細書で文言「高分子材料」とは、高分子を含む材料を意味し、マルチブロック共重合体等の有機高分子を含む高分子材料だけでなく、無機物と高分子との混合系の材料をも包含し、さらに生体系の高分子（タンパク質、核酸、脂質）を含む材料（例えば生体膜等）も含まれる。また、高分子材料がネットワーク状のミクロ相分離構造を形成していることが好ましい。なお、実験計測装置により得られる「高分子材料の画像データ」としては、例えば、高分子成分の全濃度分布の濃淡表示（例えば、白黒モードの場合は、白黒の濃淡表示）であることが好ましい。
シミュレーション装置１０２は、コンピュータ上で計算科学を用いて、高分子材料の構造解析に関するシミュレーション（仮想実験）を行うことができる仮想実験装置であればよく、その具体的な構成等は特に限定されるものではない。ここでいう、「高分子材料の構造解析に関するシミュレーション」とは、高分子材料の分子特性及び／又は材料特性の解析に関するシミュレーションをいい、具体的には、例えば、本発明者らのグループが以前に開発したシミュレータである“ＯＣＴＡ”等を挙げることができる。以下、この“ＯＣＴＡ”について簡単に説明する。
“ＯＣＴＡ”は経済産業省の提案による産学連携プロジェクトで開発されたソフトマテリアル（例えば、高分子材料等）に対する統合的なシミュレータである。“ＯＣＴＡ”の機能は、ソフトマテリアルのミクロな分子特性とマクロな材料特性を仮想実験技術によって結びつけることである。ソフトマテリアルは数万、数億の原子を含む複雑な分子からできている。ソフトマテリアルはさまざまなスケールの中間構造を持っており、それらの特徴的な時間はナノ秒から年のオーダーに及ぶ。ソフトマテリアルを扱う理論モデルもまた多様である。例えば、分子モデル、粗視化分子モデル、連続体モデル、およびそれらの混合モデルなど、ソフトマテリアルの中間構造を扱うために、さまざまなモデルが提案されてきた。それらは、同一の対象を扱いつつも、異なる物理概念に基づくものであり、言葉もデータ形式もまったく違ったものである。
そこで、本発明者らは、そのような多様なモデルを統合化すべく、“ＯＣＴＡ”を開発した。“ＯＣＴＡ”は、“ＣＯＧＮＡＣ”、“ＰＡＳＴＡ”、“ＳＵＳＨＩ”、“ＭＵＦＦＩＮ”という４つのシミュレーションエンジンと、“ＧＯＵＲＭＥＴ”というシミュレーションプラットフォームからなっている。シミュレーションエンジンは、分子動力学、レプテーションダイナミクス、界面ダイナミクス、ゲルダイナミクス、二相流体ダイナミクスなどの計算を行うものである。シミュレーションプラットフォームは、上記シミュレーションエンジンに対する共通のインタフェースを与え、異なるエンジンを協調させて問題を解く環境を提供するものである（“ＯＣＴＡ”に関する詳細な情報は、“http://octa.jp”を参照）。
また、仮想実験インタフェース２００は、データ取得部２０１、データ変換処理部２０２、データ出力部２０３を備えている。データ取得部２０１は、実験計測装置１０１によって得られる実験構造データを取得するデータ取得手段として機能するものである。データ変換処理部２０２は、データ取得部２０１が取得した実験構造データを、シミュレーション装置１０２が処理できるように変換するデータ変換処理手段として機能するものである。データ出力部２０３は、データ変換処理部２０２によって変換されたデータをシミュレーション装置１０２に対して出力するデータ出力手段として機能するものである。
仮想実験インタフェース２００は、情報処理装置等のハードウェア構成を用いて具体的に表現できる。図２に、本発明に係る仮想実験インタフェースとして使用され得る情報処理装置のハードウェア構成を模式的に示す。
情報処理装置５００は、該装置全体を制御する中央処理装置（ＣＰＵ；Central Processing Unit）５０１と、一時記憶領域としてのＲＡＭ（Random Access Memory）５０５とを備えている。このＣＰＵ５０１およびＲＡＭ５０５は、バス５０７を介して補助記憶装置５０９およびＲＯＭ（Read-Only Memory）５０３と接続されている。
補助記憶装置１０９としては、例えばハードディスクやフレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ（Digital VideoDisk）等が使用される。ＲＯＭ５０３は、集積回路を使用した読み出し専用の不揮発性の記憶装置である。この補助記憶装置５０９およびＲＯＭ５０３には、ＲＡＭ５０５にロードされてＣＰＵ５０１等に所望の命令を与え、本発明に関わる諸機能を実現するためのコンピューター・プログラムが記憶されている。
表示装置５１５には、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode-Ray Tube）等が使用される。入力装置５１３は、文字や数字を入力するために使用され、例えばキーボード、マウス、トラックボール等のポインティングデバイスが使用される。これらの構成要素もまた、バス５０７を介して結合されている。
本発明の諸機能は、ＲＯＭ５０３や補助記憶装置１０９に格納されたコンピューター・プログラムを、ＣＰＵ５０１が実行することにより達成される。すなわち、情報処理装置５００は、後述する情報処理を行うのに必要なプログラムを実行可能な装置であることを特徴としており、この装置を用いることにより、実験計測装置１０１とシミュレーション装置１０２とを連動させることが可能となり、高分子材料の実験構造に基づいた形態予測や物性予測等のシミュレーションを行うことが可能となる。
仮想実験インタフェース２００におけるデータ変換処理部２０２は、画像データ（ピクセルデータ）を体積分率の値へ変換する処理を行うものである。そこで、図３を用いて、仮想実験インタフェース２００におけるデータ変換処理部２０２の機能構成について説明する。
図３に示すように、データ変換処理部２０２は、領域指定部２０２ａ、画像読込部２０２ｂ、数値変換部２０２ｃ、形式変換部２０２ｄを備えている。領域指定部２０２ａは、データ取得部２０１によって取得された２次元画像データから、画像処理する領域を指定する領域指定手段として機能するものである。画像読込部２０２ｂは、領域指定部２０２ａによって指定された領域における各画素のピクセル値を読み込む画像読込手段として機能するものである。数値変換部２０２ｃは、画像読込部２０２ｂによって読み込まれたピクセル値を体積分率の値に変換する数値変換手段として機能するものである。形式変換部２０２ｄは、数値変換部２０２ｃによって変換された体積分率の値を、シミュレーション装置１０２が処理できる形式に変換（記述）する形式変換手段として機能するものである。また、形式変換部２０２ｄは、画素ごとの座標データ（位置情報）を記述するものでもある。
図４には、仮想実験インタフェース２００により実行される処理の手順を示す。まず、データ取得部２０１が実験計測装置１０１から高分子材料の構造を観察した２次元画像データを取得する（ステップＳ１）。次に、データ変換処理部２０２における領域指定部２０２ａが、上記２次元画像データのうち、データ変換処理を行う領域を指定する（ステップＳ２）。次いで、画像読込部２０２ｂが、領域指定部２０２ａによって指定された領域における各画素のピクセル値を読み込む（ステップＳ３）。
続いて、数値変換部２０２ｃが、画像読込部２０２ｂによって読み込まれたピクセル値を体積分率の値に変換する（ステップＳ４）。次に、形式変換部２０２ｄが、数値変換部２０２ｃによって変換された体積分率の値を、シミュレーション装置１０２が処理できる形式に変換（記述）し、データ出力部２０３に対して出力する（ステップＳ５）。最後に、データ出力部２０３が、シミュレーション装置１０２に対してデータを出力し（ステップＳ６）、処理を終了する。
次いで、上述した仮想実験インタフェース２００により実行される処理の詳細について説明する。
＜ステップＳ１＞
ステップＳ１において、データ取得部２０１は、実験計測装置１０１から高分子材料の構造を観察した２次元画像データを取得する処理を行う。データ取得部２０１が受け取る画像データは、実験計測装置１０１によって高分子材料の構造を観察することにより得られる２次元画像データである。例えば、顕微鏡（透過型電子顕微鏡等）による高分子材料の観察画像を挙げることができる。この２次元画像データの画像フォーマットとしては、従来公知のものが使用可能であり、特に限定されるものではない。例えば、ＪＰＥＧ、ＴＩＦＦ、ＧＩＦ、ＢＭＰ、ＰＮＧ、ＰＣＸ等、汎用なフォーマットを好適に取り扱うことができる。なお、後述する実施例では、透過型電子顕微鏡によって、ポリスチレン（ＰＳ）とポリイソプレン（ＰＩ）のマルチブロック共重合体を観察した画像ファイル（ＴＩＦＦ形式）を、データ取得部２０１が画像オブジェクトととしてロードしている（openする）。
＜ステップＳ２＞
ステップＳ２において、データ変換処理部２０２における領域指定部２０２ａは、上記２次元画像データのうち、データ変換処理を行う領域を指定する処理を行う。この処理は、実験計測装置１０１からデータ取得部２０１が取得した画像データのうち、以下の変換処理等を行うのに必要な領域を指定する処理である。領域の指定方法は特に限定されるものではなく、従来公知の領域指定の方法を好適に利用可能である。例えば、２次元画像データにおいて、ユーザが任意のｘ，ｙの両軸に対するピクセルの絶対位置の下限値と上限値とを指定することにより、領域指定を行うことができる。また、この他にも、例えば、ｘ軸上のＡの位置、ｙ軸上のＢの位置といったような、２次元画像データの所定の位置を指定する等の、所定の規則に従って、領域を指定することも可能である。後述する実施例では、ＵＤＦファイルに記述されている値を読み込むという操作を行っている。ここで「ｘ，ｙ」とは、２次元画像の絶対位置を表し、所定のｘ軸、ｙ軸の値をいう。
なお、このステップＳ２で行う領域指定の処理は必ずしも行う必要がなく、省略することも可能である。この場合、実験計測装置１０１から得られた画像データを、そのままステップＳ３以降の処理に用いることになる。この場合、データ変換処理部２０２に、領域指定部２０２ａを設ける必要は無い。ただし、その場合、処理量が必要以上に多くなるため、処理速度が低下するという問題等もあるため、ステップＳ２の領域指定の処理を行う方が好ましい。
＜ステップＳ３＞
ステップＳ３において、画像読込部２０２ｂは、領域指定部２０２ａによって指定された領域における各画素のピクセル値を読み込む処理を行う。この処理は、いわゆる階調化（量子化）処理と呼ばれる処理である。かかる処理も従来公知の方法を好適に用いることができ、具体的な方法は特に限定されるものではない。例えば、上記ステップＳ２にて領域指定したｘ，ｙの絶対ピクセル位置における画像のピクセル値を順次読み込むことにより、階調化することができる。後述する実施例では、画像データが白黒画像であるため、その値は、画素毎に１つの２５６階調の数字を読み込む処理を行っているが、ＲＧＢでは、３つの２５６階調の値を読み込むことになる。なお、２５６階調に限られるものではなく、より高階調であってもよいことはいうまでもない。
＜ステップＳ４＞
ステップＳ４において、数値変換部２０２ｃは、画像読込部２０２ｂによって読み込まれたピクセル値を体積分率の値に変換する処理を行う。「体積分率の値」とは、ある特定の空間内のそれぞれの成分が占有する体積の割合の値をいう。換言すると、例えばいくつかの成分の中での１つＡ成分の体積分率は、下記数式（１）により表される。
ΦＡ＝（一定体積Ｖ内のＡ成分の占有体積）／（一定体積Ｖ） ・・・（１）
例えば、Ａ、Ｂの２種類の成分がある場合、それぞれの体積分率をΦＡ、ΦＢとすると、下記の数式（２）が成り立つ。
ΦＡ＋ΦＢ＝１ ・・・（２）
このような画像のピクセル値を体積分率の値に変換する処理は、シミュレーション装置等の仮想実験装置に対して、そのままデータを移行できるようにするためである。この目的意識がなければ、２５６階調の値のままでよい。
この体積分率の値への変換処理としては、例えば、以下のように行うことができる。理解を容易にすべく、後述する実施例に即して具体的に説明する。
後述する実施例にて処理を行った画像データは、白黒モードの２５６階調の画像を用いた。ポリスチレン（ＰＳ）とポリイソプレン（ＰＩ）からなるマルチブロック共重合体を透過型電子顕微鏡にて観察して得られる画像では、大きく見ると白の領域と黒の領域が存在する。そして、本画像では、白の領域がＰＳの濃度（体積分率）が高い領域に相当し、黒の領域がＰＩの濃度（体積分率）が高い領域に当たる。
しかしながら、それぞれの濃さというのは、イメージ上の濃さであるため、測定の条件で変わり得る。ここで、後にシミュレーション装置１０２において行う仮想実験（シミュレーション）では、このＰＳとＰＩのブロック共重合体が相分離した際のＰＳ、ＰＩそれぞれの最大（又は最小）の体積分率を、ポリマーの種類に応じて定めることができる。例えば、今回の場合は、ＰＳ，ＰＩのそれぞれの相における最大体積分率は、それぞれ0.8になる。
そこで、数値変換部２０２ｃは、このシミュレーション装置１０２において設定する各ポリマーの最大（又は最小）体積分率にあわせて画像のピクセル値を体積分率の値へと変換処理する。例えば、画像上の２５６階調の値が１００〜２４０の間で分布している場合には、ピクセル値の下限値である１００を体積分率の値の下限値である０．２に、またピクセル値の上限値である２４０を体積分率の値の上限値である０．８に、それぞれ線形関係で対応させて変換する。具体的な式で表すと、ある位置のデータが２５６階調でｘである場合、体積分率の値は下記数式（３）で表される。
体積分率値＝(x-100)/(240-100)×(0.8-0.2)+0.2 ・・・（３）
このため、数値変換部２０２ｃは、画像のピクセル値における上限値及び下限値を、シミュレーション装置において設定する体積分率の上限値及び下限値に対応させる処理を行うものであることが好ましい。この場合、体積分率の上限・下限の値は実験で行っている材料のバルクのシミュレーションにより決められる。この体積分率の上限・下限の値を画像の上限・下限のピクセル値にセットし、この間のピクセル値がこの間の体積分率となるように線形で変換することになる。
＜ステップＳ５＞
ステップＳ５において、形式変換部２０２ｄは、数値変換部２０２ｃによって変換された体積分率の値を、シミュレーション装置１０２が処理できる形式に変換（記述）し、データ出力部２０３に対して出力する処理を行う。ここで「シミュレーション装置（仮想実験装置）が処理できる形式に変換」とは、シミュレーション装置において処理できるデータ形式としては、さまざまな形式が存在するが、形式変換部２０２ｄは、このような任意のシミュレーション装置が処理可能な任意の形式に、データの形式を変換することを意味する。
例えば、本ステップＳ５における処理は、数値変換部２０２ｃによって体積分率の値へと変換されたデータを、実験計測装置１０１と連動させたいシミュレーション装置１０２が処理可能な形式へと記述する処理であるといえる。また、この際、各画素に対応した座標データ（位置情報）も同時に記述する。すなわち、ｘ，ｙの値を記述する。
ここでの、ｘ，ｙの値は、上記ステップＳ２でいうｘ，ｙと同義であり、絶対ピクセル位置の値をいう。なお、後述する実施例では、シミュレーション装置として“ＯＣＴＡ”を用いており、“ＯＣＴＡ”はＵＤＦファイル形式のデータを処理可能であるため、形式変換部２０２ｄは、数値変換部２０２ｃによって変換されたデータをＵＤＦファイル形式に記述する処理を行っている。
＜ステップＳ６＞
ステップＳ６において、データ出力部２０３は、シミュレーション装置１０２に対してデータを出力する処理を行う。ステップＳ５において既にシミュレーション装置１０２が利用可能な形式に記述されているため、データ出力部２０３は、データをシミュレーション装置１０２に対して出力するだけでよい。
以上のように、本実施の形態に係る仮想実験インタフェースを用いることにより、実験計測装置とシミュレーション装置とを簡便かつ確実に連動させることができる。このため、実験計測装置において得られた実験構造（２次元画像データ）を用いて、仮想実験を行うことが可能となり、より現実系を反映したシミュレーションを行うことができる。さらに、現実の実験装置では行い得ない、詳細な解析を行うことが可能となる。
〔実施の形態２〕
本発明の他の一実施形態について図５〜図７に基づいて説明すると以下の通りである。なお、本実施の形態において、上記実施形態１における構成要素と同一の機能を有する構成要素については、同一の符号を付し、その説明を省略する。本実施の形態では、前記実施の形態１との相違点について説明するものとする。
本実施の形態では、高分子材料の構造を３次元画像データとして観察できる実験計測装置を、仮想実験インタフェースを用いて、シミュレーション装置と連動させた仮想実験システム１００’について説明する。
図５に、本実施の形態に係る仮想実験システムのハードウェア構成を模式的に示す図である。仮想実験システム１００’は、３次元解析用実験計測装置１０１’、仮想実験インタフェース２００’、シミュレーション装置１０２’を備えている。
本実施の形態において、３次元解析用実験計測装置１０１’は、高分子材料の構造を３次元で解析できる３次元透過型電子顕微鏡、３次元Ｘ線顕微鏡、及び共焦点レーザ顕微鏡等が好適である。なお、３次元解析用実験計測装置１０１’としては、高分子材料の構造を３次元にて解析可能な実験計測装置であればよく、ここに挙げた顕微鏡に限られない。
３次元透過型電子顕微鏡を例に挙げて、その基本原理を簡単に説明する。まず、サブナノメートル（1000万分の１ミリ）単位に細く絞った電子線を加速して試料面に走査しながら照射する。電子線は試料を構成する原子と相互作用した後に突き抜けるので、その電子線の強度を検出器で測定し、試料面上での走査位置と同期させてモニターに表示すれば２次元の電子顕微鏡像が得られる。ここまでは通常のＴＥＭと同様である。その後、この操作を、試料を僅かずつ傾斜しながら繰返し、得られた多数の２次元画像をコンピュータで画像処理することによって立体像、つまり３次元画像を作成する。なお、このようにして作成された３次元画像は、２次元画像を層状に何枚も集めて構成されているものである。
つまり、３次元画像データは、複数（多数）の２次元画像データを再構成して得られるものであるため、多数の２次元画像データから構成されている（例えば、２次元画像を層状に何枚も集めて構成されている）といえる。以上の点をふまえて、本実施の形態に係る仮想実験インタフェース２００’について説明する。
以下、上述した複数の２次元画像データから構成される３次元画像データを処理可能な、本実施の形態に係る仮想実験インタフェース２００’について説明する。図５に示すように、仮想実験インタフェース２００’は、データ取得部２０１’、データ変換処理部２０２’、データ出力部２０３’を備えている。
まず、データ取得部２０１’は、３次元解析用実験計測装置１０１’から３次元画像データを構成する複数の２次元画像データを取得する。次に、データ取得部２０１’によって取得された複数の２次元画像データは、データ変換処理部２０２’へ送られる。データ変換処理部２０２’について図６を用いて説明する。
図６は、仮想実験インタフェース２００’におけるデータ変換処理部２０２’の機能構成を模式的に示すブロック図である。同図に示すように、データ変換処理部２０２’は、領域指定部２０２ａ’、画像読込部２０２ｂ’、数値変換部２０２ｃ’、形式変換部２０２ｄ’、判断部２０２ｅ’、３次元処理部２０２ｆ’を備えている。
領域指定部２０２ａ’は、データ取得部２０１’が取得した複数の２次元画像データのうち、任意の２次元画像データについて、画像処理する領域を指定する領域指定手段として機能するものである。画像読込部２０２ｂ’は、領域指定部２０２ａ’によって指定された領域における各画素のピクセル値を読み込む画像読込手段として機能するものである。数値変換部２０２ｃ’は、画像読込部２０２ｂ’によって読み込まれたピクセル値を体積分率の値に変換する数値変換手段として機能するものである。形式変換部２０２ｄ’は、数値変換部２０２ｃ’によって変換された体積分率の値を、シミュレーション装置１０２’が処理できる形式に変換（記述）する形式変換手段として機能するものである。また、形式変換部２０２ｄ’は、画素ごとの座標データ（位置情報）を記述するものでもある。
判断部２０２ｅ’は、上記３次元画像データを構成する全ての２次元画像データについて、領域指定部２０２ａ’、画像読込部２０２ｂ’、数値変換部２０２ｃ’、形式変換部２０２ｄ’による各処理が終了したか否かを判断する判断手段として機能するものであり、全ての２次元画像データについて処理が終了していないと判断した場合は、処理が終了していない２次元画像データについて上記画像読込手段、数値変換手段、形式変換手段による各処理を行うように制御するものであって、全ての２次元画像データについて処理が終了したと判断した場合には、処理が終了したデータを、３次元処理部２０２ｆ’に対して出力するものである。３次元処理部２０２ｆ’は、判断部２０２ｅ’が、上記３次元画像データを構成する全ての２次元画像データの変換処理ガ終了したと判断した場合、形式変換部２０２ｄ’によってシミュレーション装置１０２’が処理可能な形式に記述された複数の２次元データを用いて、３次元データとして再構成する３次元処理手段として機能するものである。
データ出力部２０３’は、上記３次元処理部２０２ｆ’が再構成した３次元データをシミュレーション装置１０２’に対して出力するものである。
シミュレーション装置１０２’は、３次元データに基づき、高分子材料についてシミュレーションを行うことができるものである。例えば、上記実施形態１にて説明した“ＯＣＴＡ”を好適に用いることができる。
図７は、仮想実験インタフェース２００’により実行される処理の手順を示す図である。まず、３次元画像データを構成する複数の２次元画像データを取得する（ステップＳ１１）。次に、データ変換処理部２０２’における領域指定部２０２ａ’が、上記複数の２次元画像データのうち、任意の２次元画像データにおいて、データ変換処理を行う領域を指定する（ステップＳ１２）。次いで、画像読込部２０２ｂ’が、領域指定部２０２ａ’によって指定された領域における各画素のピクセル値を読み込む（ステップＳ１３）。
続いて、数値変換部２０２ｃ’が、画像読込部２０２ｂ’によって読み込まれたピクセル値を体積分率の値に変換する（ステップＳ１４）。次いで、形式変換部２０２ｄ’が、数値変換部２０２ｃ’によって変換された体積分率の値を、シミュレーション装置１０２’が処理できる形式に変換（記述）する（ステップＳ１５）。このステップＳ１２〜Ｓ１５の処理を２次元画像データの量（枚数分）行い、全ての２次元画像データについて変換処理を行う。
そして、判断部２０２ｆ’が、上記３次元画像データを構成する複数の２次元画像データの全てについて、ステップＳ１２〜ステップＳ１５までの変換処理が終了したか否かを判断する（ステップＳ１６）。次いで、３次元処理部２０２ｆ’は、ステップＳ１２〜ステップＳ１５までの変換処理が施された全ての２次元データを用いて、３次元データを構成し、データ出力部２０３’へ送る（ステップＳ１７）。データ出力部２０３’は、３次元処理部２０２ｆ’によって構成された３次元データを、シミュレーション装置１０２’に対して出力し、処理を終了する（ステップＳ１８）。
次いで、上述した仮想実験インタフェース２００’により実行される処理の詳細について説明する。
＜ステップＳ１１＞
ステップＳ１１において、データ取得部２０１’は、３次元解析用実験計測装置１０１’から高分子材料の構造を観察した３次元画像データを取得する処理を行う。上述したように、かかる３次元画像データは、高分子材料の構造の２次元画像データを複数用いて、コンピュータ等の演算装置上にて再構成して得られるものである。このため、複数の２次元画像データの集合と捉えることができる。
したがって、データ取得部２０１’は、高分子材料の構造の３次元画像データを２次元画像データの集合として取得する、つまり複数の２次元画像データを取得することになる。なお、この処理は、取得する２次元画像データの量（枚数）が増加するだけであり、上述の実施形態１にて説明した２次元画像データを取得する場合と同様に行うことができる。
＜ステップＳ１２＞
ステップＳ１２において、領域指定部２０２ａ’は、上記複数の２次元画像データのうち、任意の２次元画像データにおいて、データ変換処理を行う領域を指定する処理を行う。ここで、領域指定部２０２ａ’は、複数の２次元画像データのうち、任意の画像データについて処理を実行できるが、特定の規則、例えば、３次元画像データにおけるｚ軸方向の座標位置の順序に従って、２次元画像データを処理するように設定されていてもよい。なお、具体的な処理は、上述した実施形態１の処理と同様に行うことができる。
＜ステップＳ１３、Ｓ１４＞
ステップＳ１３、Ｓ１４は、上述した実施形態１の処理と同様に行うことができるため、詳細な説明は省略する。
＜ステップＳ１５＞
ステップＳ１５において、形式変換部２０２ｄ’が、数値変換部２０２ｃ’によって変換された体積分率の値を、シミュレーション装置１０２’が処理できる形式に変換（記述）する処理を行う。また、この際、各画素に対応した座標データ（位置情報）も同時に記述する。特に、実施形態１の処理と異なり、ｘ，ｙの値だけでなく、ｚ軸の座標も記述する必要がある。
例えば、上記３次元画像データは、複数の２次元画像データを層状に重ねることにより得られるものである場合、本ステップＳ１５では、ピクセルデータからデータを体積分率の値に変換する。そして、その体積分率の値は、３次元のシミュレーション箱の中における、ある任意の点の値としてデータ保存する。その際の３次元シミュレーション箱の中における絶対位置をｘ，ｙ，ｚとする。その絶対位置として、ｘ，ｙは上記２次元像のｘ，ｙにそのまま対応させ、ｚは、層状になっている方向として対応させる。したがって、ｘ，ｙに関しては、絶対ピクセル位置の値、ｚは、ｚ枚目×（画像間距離）となる。この「画像間距離」は、３次元画像データが複数の２次元画像データを層状に重ねることにより得られるものである場合の層間距離と表現することも可能である。
後述する実施例では、シミュレーション装置として“ＯＣＴＡ”を用いており、“ＯＣＴＡ”はＵＤＦファイル形式のデータを処理可能であるため、形式変換部２０２ｄ’は、数値変換部２０２ｃ’によって変換されたデータをＵＤＦファイル形式に記述する処理を行っている。
なお、このステップＳ１２〜Ｓ１５の処理を２次元画像データの量（枚数分）に応じて複数回繰り返し、全ての２次元画像データについて変換処理を行うことになる。
＜ステップＳ１６＞
ステップＳ１６において、判断部２０２ｆ’は、上記３次元画像データを構成する複数の２次元画像データの全てについて、ステップＳ２〜ステップＳ５までの変換処理が終了したか否かを判断する処理を行う。判断部２０２ｆ’が、全ての２次元画像データについて変換処理が終了していないと判断した場合、判断部２０２ｆ’は、処理が終了していない２次元画像データについて、ステップＳ２〜ステップＳ５までの変換処理を行うように命令する。一方、判断部２０２ｆ’が、全ての２次元画像データについて変換処理が終了していると判断した場合、判断部２０２ｆ’は、３次元処理部２０２ｆ’に対して、ステップＳ２〜ステップＳ５までの変換処理が施された全ての２次元データを用いて、３次元データを構成するように指示する。
なお、３次元画像データを構成する全ての２次元画像データの処理が終了しなくても、ある程度の量の２次元画像データの処理が終了した時点でも、３次元処理部２０２ｆ’によって３次元化処理することは可能である。しかし、より正確な実験構造に基づいて、シミュレーションを行うためには、３次元画像データを構成する全ての２次元画像データについて、処理が終了させて、処理された全ての２次元データを用いて３次元化処理することが好ましい。
＜ステップＳ１７＞
ステップＳ１７において、３次元処理部２０２ｆ’は、ステップＳ１２〜ステップＳ１５までの変換処理が施された全ての２次元データ（上記３次元画像データを構成する複数の２次元画像データの全てについて、ステップＳ１２〜ステップＳ１５までの変換処理が終了した２次元データ）を用いて、３次元データを構成し、データ出力部２０３’へ送る処理を行う。
例えば、画像を黒−白間の２５６階調の数値から、体積分率の数字に変換し、それをＵＤＦというシミュレーション計算に使用する入出力ファイルの中のデータとして出力することになる。
＜ステップＳ１８＞
ステップＳ１８において、データ出力部２０３’は、３次元処理部２０２ｆ’によって構成された３次元データを、シミュレーション装置１０２’に対して出力し、処理を終了する。本実施の形態に係るシミュレーション装置１０２’は、３次元データに基づきシミュレーションを実行可能な装置であるため、データ出力部２０３’は、シミュレーション装置１０２’に対して３次元データを出力するのみでよい。
以上のように、本実施の形態に係る仮想実験インタフェースを用いることにより、実験計測装置とシミュレーション装置とを簡便かつ確実に連動させることができる。このため、３次元解析用実験計測装置において得られた実験構造（３次元画像データ）を用いて、仮想実験を行うことが可能となり、より現実系を反映したシミュレーションを行うことができる。さらに、現実の実験装置では行い得ない、詳細な解析を行うことが可能となる。
現在、「新しい材料として注目されている「ナノ材料」を開発するためには、その３次元立体構造をナノメートルレベルで観察、計測することが最も重要である。そのために３次元電子顕微鏡の開発が進められてきた。しかし、３次元電子顕微鏡の解像度には、限界があり、例えば、マルチブロック共重合体の３次元電子顕微鏡画像では、濃度分布までしか解析できなかった。ところが、本発明の仮想実験インタフェースを用いて３次元電子顕微鏡とシミュレーション装置とを連動させることにより、例えば、高分子鎖の１本の分布状態に関する情報等のより詳細な解析結果を得ることができるようになる。ナノ構造を正確に把握することにより新しいナノ材料開発を推進できると期待されている。本発明を利用することにより、多くの人々にこれまでに無い新しい情報を伝えることができる。そして、ナノ材料の応用分野はエレクトロニクス・バイオ・フォトニクス・マテリアルなど広範囲に渡るため、生物関係、医学関係にも広く活用できると考えられる。
なお、本明細書では、仮想実験インタフェースは、実験計測装置またはシミュレーション装置と別々の装置として説明しているが、仮想実験インタフェースと実験計測装置またはシミュレーション装置とが一体的に構成されていてもよいことはいうまでもない。つまり、本発明に係る仮想実験インタフェースは、コンピュータ等の演算装置により具現化できるものであるため、実験計測装置またはシミュレーション装置と一体化することは当業者にとって容易なことである。
最後に、仮想実験インタフェース２００又は２００’の各ブロック、特にデータ変換処理部２０２又は２０２’は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
すなわち、仮想実験インタフェース２００又は２００’は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである仮想実験インタフェース２００又は２００’の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記仮想実験インタフェース２００又は２００’に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
また、仮想実験インタフェース２００又は２００’を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
以下実施例を示し、本発明の実施の形態についてさらに詳しく説明する。もちろん、本発明は以下の実施例に限定されるものではなく、細部については様々な態様が可能であることはいうまでもない。さらに、本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、それぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
以下、本発明を具体化した実施例として、ポリスチレン（ＰＳ）とポリイソプレン（ＰＩ）からなる高分子材料（PS-PI block）を３次元電子顕微鏡（３次元透過型電子顕微鏡、３ＤＴＥＭ）にて観察した実験構造を、仮想実験インタフェースを介して、シミュレーション装置“ＯＣＴＡ”に入力し、実験構造に基づいたシミュレーションを行った結果を示す。なお、上記PS-PI blockは、ネットワーク状のミクロ相分離構造を形成している。
図８は、ＰＳとＰＩからなる高分子材料の３ＤＴＥＭの３次元画像を構成する複数の２次元画像データである。図８に示す画像データは、３ＤＴＥＭによって作成された画像データであって、２次元像を層状に何枚も集めたものであって、２５６×２５６pixelであり、１．８μｍ平方の画像データ（ＴＩＦＦ形式）である。同図に示すように、３DＴＥＭによる観察画像は、変形したラメラ構造を示すが、ＰＳやＰＩといった高分子成分の全濃度分布を濃淡表示できる程度の解像度であった。なお、白く見える領域がＰＳの濃度が高い部分であり、黒く見える領域がＰＩの濃度が高い部分である。
図９は、上記実験データをシミュレーション装置において利用可能な形式へと変換する処理画面を示す図である。つまり、上記２次元画像データを仮想実験インタフェースによって変換処理し、シミュレーション装置“ＯＣＴＡ”において処理可能な形式に変換処理を行っている。具体的には、以下の処理(i)〜(vi)を行っている。
(i) 画像ファイルを画像オブジェクトととして、ロードする。（openする）
(ii) ｘ，ｙの両軸に対するピクセルの絶対位置の下限値と上限値を指定する。現状は、ＵＤＦファイルに記述されている値を読み込むという操作になる。
(iii) (ii)の処理で指定したｘ，ｙの絶対ピクセル位置における画像のピクセル値を順次読み込む。現状は、白黒画像なので、その値は、１つの２５６階調の数字を読み込むことになる。
(iv) 読み込んだ値を、０．０〜１．０の体積分率の値に変換を行う。なお、体積分率の上限・下限の値は実験で行っている材料のバルクのシミュレーションにより決められる。この体積分率の上限・下限の値を画像の上限・下限のピクセル値にセットし、この間のピクセル値がこの間の体積分率となるように、線形で変換する。
(v) 体積分率に変換した値を、ＵＤＦに記述する。なお、その際に、ｘ，ｙ，ｚの値を記述する。ここでの、ｘ，ｙの値は、上記の絶対ピクセル位置の値、ｚの値は、(i)におけるｚ枚目×（画像間距離）を意味する。
(vi) 以上の(i)〜(v)の処理を画像の枚数分繰り返し、３次元データとして処理する。
図１０に、上記変換処理を行い、シミュレーション装置“ＯＣＴＡ”の画面上に３ＤＴＥＭ画像に基づく実験構造を表示した図を示す。本図は、３２pixel×３２pixel×３２pixelのデータを３２３のデータとして処理したものであり、２３０ｎｍ立方の画像である。
次に、上記実験構造に基づいた各種のシミュレーションを、シミュレーション装置“ＯＣＴＡ”を用いて行った。まず、平均場エンジン（“ＯＣＴＡ”における名称；“ＳＵＳＨＩ”）へのコンバートと実行を示す。具体的には、以下の(i)〜(vi)のように行った。
(i) 平均場（ＳＵＳＨＩ）エンジンのＵＤＦを作成
(ii) 初期構造として先の実験データＵＤＦをセットする。
(iii) Total density、PS-PI各ブロックの密度をfitさせる
(iv) 鎖長、ｘを決める（今のところ適当）
(v) 平均場エンジンrun、時間発展を1 iterationさせる。
(vi) Density Φ(r,n)を得る。
平均場エンジンの結果を図１１に示す。本結果と３ＤＴＥＭ画像との結果が同じであることを確認できた。なお、システムは３２３、A10-B10、ｘAB＝0.6、ΦA=0.5 と設定した。
次いで、Φ(r,n)の結果解析を行った。その結果を図１２に示す。図１２には、Ａ成分の全密度分布、Ａ成分末端の密度分布、Ａ成分の接続部の密度分布を示す。
続いて、実験によるラメラ構造での解析シミュレーションを行った。具体的には、図１３に示すように、３ＤＴＥＭの画像の一部の領域を指定し、その図から回転・拡大・縮小を経て、A-B block polymerの構造をシミュレーション装置上に表示した。
また、図１４に、上記A-B block polymerの構造に基づき、Junction分布解析を行った結果を示す。なお、シミュレーションエンジンとしては、“ＯＣＴＡ”の“ＣＯＧＮＡＣ”を用いた。同図に示すように、本解析の結果、orderedラメラ構造の抽出と解析を行うことができる。具体的には、Ａの分布、Ａ−Ｂ界面、Ａ結合部の分布を表示することができた。
次ぎに、平均場から分子動力学法（ＭＤ）へのzoomingを行った。具体的には、以下の(i)〜(iii)のように行った。
(i) 系の大きさを平均場の計算にFitさせ、鎖の本数を決める。（大まかにＴを決めることで密度が決まり、本数も決められる。）
(ii) エンジンrun
・Density Φ(r,n)を用いて鎖を生成する。(Density biased Monte Carlo法)
・少しRelaxationさせる
(iii) (ii)を複数回繰り返し、検証する。
なお、システムは、３２３、A10-B10, beads-spring鎖×1250本、potential：LJ と設定した。
その結果を図１５に示す。図１５（ａ）は３ＤＴＥＭの実験構造を示す図であり、（ｂ）はＭＤ解析によって得られた鎖の構造を示す図である。同図に示すように、３ＤＴＥＭでは、高分子の成分の全濃度分布を濃淡表示できる程度であるが、本発明に係る仮想実験インタフェースを用いて、実験構造に基づきシミュレーションを行うことにより、高分子の１本の分布状態に関する情報を抽出できることがわかった。
また、図１６に、３ＤＴＥＭによる画像と分子動力学法による鎖の画像とを組み合わせた画像を示す。この図に示すように、本発明に係る仮想実験インタフェースを用いて、実験構造に基づきシミュレーションを行うことにより、高分子鎖の末端分布等を求めることができることがわかった。
さらに、図１７に本実施例にて用いた高分子材料を弾性体として取り扱った際の変形予測シミュレーション（ＦＤＭ）を行った結果を示す。なお、シミュレーションエンジンとしては、“ＯＣＴＡ”の“ＭＵＦＦＩＮ”を用いた。同図に示すように、Ｂｌｅｎｄ系の構造の解析を行ったところ、３ＤＴＥＭにより得られた実験構造に基づいて、外力（ずり、伸張）等を加えた際の内部構造の変化を予測することができることがわかった。
以上の本実施例から、本発明に係る仮想実験インタフェースを用いることにより、３次元実験構造をシミュレーション装置（“ＯＣＴＡ”）上でデジタルデータとして処理することができることがわかった。また、シミュレータを実験解析ツールとして利用し、３次元実験構造を基礎にした、相分離構造の中の末端分布等の解析や鎖構造の生成等の解析を行えることが明らかとなった。さらに、３次元実験構造を基礎として、外力等を加えた際の変形構造をシミュレーションによって予測することができることが明らかとなった。
以上のように、本発明は、ナノスケールで物質の構造を超精密に制御し、全く新しい物性・機能の発現を模索し実用化に結びつけようとするナノテクノロジーに利用可能であり、その応用分野はエレクトロニクス・バイオ・フォトニクス・マテリアルなど広範囲に渡る。
本発明の一実施形態に係る仮想実験システムの要部構成を示すブロック図である。 本発明の実施形態に係る仮想実験インタフェースとして使用され得る情報処理装置のハードウェア構成を模式的に示す図である。 本発明の一実施形態に係る仮想実験インタフェースの機能構成について模式的に示す図である。 本発明の一実施形態に係る仮想実験インタフェースにより実行される処理の手順を示す図である。 本発明の他の一実施形態に係る仮想実験システムのハードウェア構成を模式的に示す図である。 本発明の他の一実施形態に係る仮想実験インタフェースの機能構成を模式的に示すブロック図である。 本発明の他の一実施形態に係る仮想実験インタフェースにより実行される処理の手順を示す図である。 本発明の実施例における、ＰＳとＰＩからなる高分子材料の３ＤＴＥＭの３次元画像を構成する複数の２次元画像データを示す図である。 図８に示す実験データをシミュレーション装置において利用可能な形式へと変換する処理画面を示す図である。 本発明の実施例における、シミュレーション装置“ＯＣＴＡ”の画面上に３ＤＴＥＭ画像に基づく実験構造を表示した図を示す。 本発明の実施例における、平均場エンジンによるシミュレーション結果を示す図である。 本発明の実施例における、他のシミュレーション結果を示す図である。 本発明の実施例において、３ＤＴＥＭの画像の一部の領域を指定し、その図から回転・拡大・縮小を経て、A-B block polymerの構造をシミュレーション装置上に表示した図を示す図である。 本発明の実施例において、A-B block polymerの構造に基づき、Junction分布解析を行った結果を示す図である。 （ａ）は３ＤＴＥＭの実験構造を示す図であり、（ｂ）はＭＤ解析によって得られた鎖の構造を示す図である。 本発明の実施例における、３ＤＴＥＭによる画像と分子動力学法による鎖の画像とを組み合わせた画像を示す図である。 本実施例において、使用した高分子材料を弾性体として取り扱った際の変形予測シミュレーション（ＦＤＭ）を行った結果を示す図である。
符号の説明
１００，１００’ 仮想実験システム
１０１ 実験計測装置
１０１’ ３次元画像解析用実験計測装置（実験計測装置）
１０２，１０２’ シミュレーション装置（仮想実験装置）
２００，２００’ 仮想実験インタフェース
２０１，２０１’ データ取得部（データ取得手段）
２０２，２０２’ データ変換処理部（データ変換処理手段）
２０３，２０３’ データ出力部（データ出力手段）
２０２ａ，２０２ａ’ 領域指定部（領域指定手段）
２０２ｂ，２０２ｂ’ 画像読込部（画像読込手段）
２０２ｃ，２０２ｃ’ 数値変換部（数値変換手段）
２０２ｄ，２０２ｄ’ 形式変換部（形式変換手段）
２０２ｅ’ 判断部（判断手段）
２０２ｆ’ ３次元処理部（３次元処理手段）

Claims (14)

  1. 高分子材料の構造の画像データを取得するデータ取得手段と、
    上記データ取得手段が取得した画像データを、高分子材料の構造解析シミュレーションを行う仮想実験装置が処理できるように変換するデータ変換処理手段と、
    上記データ変換処理手段によって変換されたデータを仮想実験装置に対して出力するデータ出力手段と、を備えることを特徴とする仮想実験インタフェース。
  2. 上記画像データは、実験計測装置によって得られるものであることを特徴とする請求項１に記載の仮想実験インタフェース。
  3. 上記データ変換処理手段は、上記画像データを体積分率の値へ変換する処理を行うものであることを特徴とする請求項１又は２に記載の仮想実験インタフェース。
  4. 上記画像データは、２次元画像データであって、
    上記データ変換処理手段は、
    上記２次元画像データにおける各画素のピクセル値を読み込む画像読込手段と、
    上記画像読込手段によって読み込まれたピクセル値を体積分率の値に変換する数値変換手段と、
    上記数値変換手段によって変換された体積分率の値を、仮想実験装置が処理できる形式に変換する形式変換手段と、を備えるものであることを特徴とする請求項３に記載の仮想実験インタフェース。
  5. 上記データ変換手段は、さらに、
    上記データ取得手段によって取得された２次元画像データから画像処理する領域を指定する領域指定手段を備えており、
    上記画像読込手段は、上記領域指定手段によって指定された領域における各画素のピクセル値を読み込むものであることを特徴とする請求項４に記載の仮想実験インタフェース。
  6. 上記画像データは、複数の２次元画像データから構成される３次元画像データであって、
    上記データ変換処理手段は、
    上記２次元画像データにおける各画素のピクセル値を読み込む画像読込手段と、
    上記画像読込手段によって読み込まれたピクセル値を体積分率の値に変換する数値変換手段と、
    上記数値変換手段によって変換された体積分率の値を、仮想実験装置が処理できる形式に変換する形式変換手段と、
    上記形式変換手段によって処理された複数の２次元データを用いて、３次元データとして再構成する３次元処理手段と、を備えるものであることを特徴とする請求項３に記載の仮想実験インタフェース。
  7. 上記３次元画像データは、複数の層状の２次元画像データからなるものであり、
    上記３次元処理手段は、上記形式変換手段によって変換された複数の２次元データを、層状に重ねることにより３次元データとして構成するものであることを特徴とする請求項６に記載の仮想実験インタフェース。
  8. 上記データ変換手段は、さらに、
    上記データ取得手段によって取得された２次元画像データから画像処理する領域を指定する領域指定手段を備えており、
    上記画像読込手段は、上記領域指定手段によって指定された領域における各画素のピクセル値を読み込むものであることを特徴とする請求項６又は７に記載の仮想実験インタフェース。
  9. 上記数値変換手段は、画像のピクセル値における上限値及び下限値を、上記仮想実験装置において設定する体積分率の上限値及び下限値に対応させる処理を行うものであることを特徴とする請求項４〜８のいずれか１項に記載の仮想実験インタフェース。
  10. 上記実験計測装置は、顕微鏡であることを特徴とする請求項２〜９のいずれか１項に記載の仮想実験インタフェース。
  11. 上記実験計測装置は、３次元透過型電子顕微鏡または共焦点レーザ顕微鏡であることを特徴とする請求項６〜８のいずれか１項に記載の仮想実験インタフェース。
  12. 上記高分子材料は、マルチブロック共重合体からなる高分子材料であることを特徴とする請求項１〜１１のいずれか１項に記載の仮想実験インタフェース。
  13. 上記マルチブロック共重合体は、ネットワーク状のミクロ相分離構造を形成していることを特徴とする請求項１２に記載の仮想実験インタフェース。
  14. 請求項１〜１３のいずれか１項に記載の仮想実験インタフェースと、
    高分子材料の構造の画像データを取得する実験計測装置と、
    高分子材料の構造解析シミュレーションを行う仮想実験装置と、を備えることを特徴とする仮想実験システム。
JP2004253531A 2004-08-31 2004-08-31 実験装置と連動させる仮想実験インタフェース Expired - Fee Related JP4630024B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2004253531A JP4630024B2 (ja) 2004-08-31 2004-08-31 実験装置と連動させる仮想実験インタフェース
KR1020077006910A KR100864148B1 (ko) 2004-08-31 2005-08-24 실험장치와 연동시키는 가상실험 인터페이스
EP05774554A EP1796034A1 (en) 2004-08-31 2005-08-24 Virtual experimental interface for interlocking with experimental device
US11/661,323 US20080059139A1 (en) 2004-08-31 2005-08-24 Virtual Experiment Interface for Interlocking Experiment Measurement Apparatus with Virtual Experiment Apparatus
PCT/JP2005/015372 WO2006025243A1 (ja) 2004-08-31 2005-08-24 実験装置と連動させる仮想実験インタフェース
CN2005800284445A CN101010692B (zh) 2004-08-31 2005-08-24 与实验装置连动的虚拟实验接口装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004253531A JP4630024B2 (ja) 2004-08-31 2004-08-31 実験装置と連動させる仮想実験インタフェース

Publications (2)

Publication Number Publication Date
JP2006072578A true JP2006072578A (ja) 2006-03-16
JP4630024B2 JP4630024B2 (ja) 2011-02-09

Family

ID=35999900

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004253531A Expired - Fee Related JP4630024B2 (ja) 2004-08-31 2004-08-31 実験装置と連動させる仮想実験インタフェース

Country Status (6)

Country Link
US (1) US20080059139A1 (ja)
EP (1) EP1796034A1 (ja)
JP (1) JP4630024B2 (ja)
KR (1) KR100864148B1 (ja)
CN (1) CN101010692B (ja)
WO (1) WO2006025243A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006282929A (ja) * 2005-04-04 2006-10-19 Taiyo Nippon Sanso Corp 分子構造予測方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101240186B1 (ko) * 2010-12-07 2013-03-07 하인크코리아(주) 가상 실험 학습 장치 및 그 방법
JP5592921B2 (ja) * 2012-06-21 2014-09-17 住友ゴム工業株式会社 高分子材料のシミュレーション方法
JP5530480B2 (ja) * 2012-07-05 2014-06-25 住友ゴム工業株式会社 高分子材料のシミュレーション方法
CN104268386B (zh) * 2014-09-18 2017-03-01 中国人民解放军国防科学技术大学 一种将测试性虚拟试验数据转换为实物试验数据的方法
CN106571086A (zh) * 2016-10-19 2017-04-19 何桂崧 一种基于图像处理的表面粗糙度测试显微镜教学系统
CN109433283B (zh) * 2018-12-05 2020-11-10 济南中景电子科技有限公司 一种智能实验试管套件及其使用方法
RU2737589C1 (ru) * 2019-12-30 2020-12-01 Общество с ограниченной ответственностью "ВИЗЕКС ИНФО" Универсальная система для проведения виртуальных лабораторных и исследовательских экспериментов
RU2751439C1 (ru) * 2020-12-25 2021-07-13 Общество с ограниченной ответственностью "ВИЗЕКС ИНФО" Способ и система симуляции в виртуальных лабораториях по электродинамике
CN113742885B (zh) * 2021-05-11 2023-10-20 南京邮电大学 一种基于sfx合成实验的虚拟仿真系统
KR20230058796A (ko) 2021-10-25 2023-05-03 한남대학교 산학협력단 인터랙티브 가상 현미경 제공 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09304257A (ja) * 1996-05-21 1997-11-28 Asahi Chem Ind Co Ltd 高分子多相系材料の衝撃強度計測装置及び方法
JPH1011613A (ja) * 1996-06-25 1998-01-16 Matsushita Electric Works Ltd 複合材料の微視的構造の３次元有限要素モデル作成方法
JP2003105090A (ja) * 2001-09-28 2003-04-09 Asahi Kasei Corp 高分子材料の形態予測方法およびその装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63231856A (ja) * 1987-03-19 1988-09-27 Jeol Ltd 電子顕微鏡等の制御方法
JPH0589078A (ja) * 1991-09-27 1993-04-09 Yokogawa Electric Corp ラボラトリオートメーシヨン支援装置
JPH0916244A (ja) * 1995-07-04 1997-01-17 Sanyo Electric Co Ltd シミュレーション方法および装置
KR100379638B1 (ko) * 2000-04-18 2003-04-10 박재범 사이버 가상 공간에서 과학 실험 및 실습과 동식물 육성방법
CN1282929A (zh) * 2000-07-05 2001-02-07 朱乃硕 分子生物学图像分析系统及其方法
JP3524882B2 (ja) * 2001-02-19 2004-05-10 三洋電機株式会社 画像記録装置
JP2003256668A (ja) * 2002-02-27 2003-09-12 Hitoshi Goto 分子構造情報提供システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09304257A (ja) * 1996-05-21 1997-11-28 Asahi Chem Ind Co Ltd 高分子多相系材料の衝撃強度計測装置及び方法
JPH1011613A (ja) * 1996-06-25 1998-01-16 Matsushita Electric Works Ltd 複合材料の微視的構造の３次元有限要素モデル作成方法
JP2003105090A (ja) * 2001-09-28 2003-04-09 Asahi Kasei Corp 高分子材料の形態予測方法およびその装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006282929A (ja) * 2005-04-04 2006-10-19 Taiyo Nippon Sanso Corp 分子構造予測方法

Also Published As

Publication number Publication date
JP4630024B2 (ja) 2011-02-09
KR100864148B1 (ko) 2008-10-16
CN101010692A (zh) 2007-08-01
WO2006025243A1 (ja) 2006-03-09
KR20070041790A (ko) 2007-04-19
CN101010692B (zh) 2010-04-14
US20080059139A1 (en) 2008-03-06
EP1796034A1 (en) 2007-06-13

Similar Documents

Publication Publication Date Title
KR100864148B1 (ko) 실험장치와 연동시키는 가상실험 인터페이스
Sandfeld et al. Continuum modeling of dislocation plasticity: Theory, numerical implementation, and validation by discrete dislocation simulations
Terada et al. Digital image-based modeling applied to the homogenization analysis of composite materials
Farkas et al. Mechanical response of nanoporous gold
San-Vicente et al. Cubical mass-spring model design based on a tensile deformation test and nonlinear material model
Shakoor et al. On the choice of boundary conditions for micromechanical simulations based on 3D imaging
Chung et al. Evaluation of the anisotropy of the void distribution and the stiffness of lightweight aggregates using CT imaging
Henkes et al. Three-dimensional microstructure generation using generative adversarial neural networks in the context of continuum micromechanics
JP2006193560A (ja) フィラー配合材料のシミュレーションモデル生成方法
Chen et al. A novel discrete computational tool for microstructure-sensitive mechanical analysis of composite materials
Chang et al. Convolutional neural network for predicting crack pattern and stress-crack width curve of air-void structure in 3D printed concrete
Richert et al. A review of experimentally informed micromechanical modeling of nanoporous metals: from structural descriptors to predictive structure–property relationships
Pereira et al. Creating high-resolution multiscale maps of human tissue using multi-beam SEM
US7917349B2 (en) Combined hardware and software instrument simulator for use as a teaching aid
Ozturk et al. Simulation domain size requirements for elastic response of 3D polycrystalline materials
Wessels et al. Computational homogenization using convolutional neural networks
CN115409826A (zh) 一种水泥及其基材料元素含量非直接测度方法和系统
Hsu et al. High performance modeling of heterogeneous SOFC electrode microstructures using the MOOSE framework: ERMINE (Electrochemical Reactions in MIcrostructural NEtworks)
Nečas et al. Synthetic data in quantitative scanning probe microscopy
Wicht et al. On the impact of the mesostructure on the creep response of cellular NiAl-Mo eutectics
Qiu et al. 3D microstructure simulation of reactive aggregate in concrete from 2D images as the basis for ASR simulation
Herron et al. Simulation of kinematic Kikuchi diffraction patterns from atomistic structures
Chen et al. A multiresolution investigation on fatigue damage of aluminum alloys at micrometer level
Friedrich Quantitative methods for three-dimensional comparison and petrographic description of chondrites
Eshlaghi et al. Three-dimensional microstructure reconstruction for two-phase materials from three orthogonal surface maps

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070515

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070515

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100608

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101109

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101112

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees