JP2009148224A - 試料同定装置および試料同定方法 - Google Patents

試料同定装置および試料同定方法 Download PDF

Info

Publication number
JP2009148224A
JP2009148224A JP2007330468A JP2007330468A JP2009148224A JP 2009148224 A JP2009148224 A JP 2009148224A JP 2007330468 A JP2007330468 A JP 2007330468A JP 2007330468 A JP2007330468 A JP 2007330468A JP 2009148224 A JP2009148224 A JP 2009148224A
Authority
JP
Japan
Prior art keywords
sample
observer
sound
frequency
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007330468A
Other languages
English (en)
Other versions
JP5160878B2 (ja
Inventor
Takahiro Ikeda
貴裕 池田
Hidenao Iwai
秀直 岩井
Toyohiko Yamauchi
豊彦 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2007330468A priority Critical patent/JP5160878B2/ja
Priority to PCT/JP2008/070331 priority patent/WO2009081661A1/ja
Priority to DE112008003471.0T priority patent/DE112008003471B4/de
Priority to US12/808,907 priority patent/US8867815B2/en
Publication of JP2009148224A publication Critical patent/JP2009148224A/ja
Application granted granted Critical
Publication of JP5160878B2 publication Critical patent/JP5160878B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/368Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Image Processing (AREA)

Abstract

【課題】所望の振動状態を有する試料を同定する際に作業効率を高める。
【解決手段】細胞聴診器1は、細胞の画像情報を入力する試料画像入力部31と、画像情報を観察者に表示する画像表示部50と、画像表示部50が表示した画像情報を元に行われた観察者の操作に応じ、画像情報のうちの一定領域を指定する領域指定部40と、領域指定部40が指定した一定領域における細胞の振動情報を音情報に周波数変換する周波数変換部32と、周波数変換部32が周波数変換した音情報を観察者に出力する音出力部60と、を備える。
【選択図】図1

Description

本発明は、試料同定装置および試料同定方法に関するものである。
近年のバイオテクノロジーの発展により、人工授精や再生医療が臨床で日常的に行われている。このような現場では、いわゆる「生きの良い」細胞を迅速に効率よく同定することが好ましい。通常、上記の同定は、細胞を撮像または計測した結果を観察者が肉眼で確認し、例えば単位時間当たりの振動数が多い細胞を「生きの良い」細胞として選ぶことにより行われる。
特許文献1は、観察者が細胞を観察して同定を行うための装置の一例を示している。特許文献1では、細胞の振動信号をスペクトルアナライザー等によって周波数変換し、その結果をオシロスコープに表示している。このため、特許文献1に記載された装置を用いる観察者は、オシロスコープの出力画面を確認することにより、いわゆる「生きの良い」細胞を同定することができる。
特表平4−504055号公報
上記の特許文献1の装置を用いて所望の振動状態を有する細胞を同定するために、観察者は、まず、試料保持台に置かれた細胞に視点を置きながら、細胞の位置調節を行い、観察対象となる領域を決定する(ステップS001)。次に、観察者は、オシロスコープに表示された情報を確認し、所望の振動状態の細胞が存在するかを確認する(ステップS002)。つまり、観察者は、ステップS001の位置調節後に、視点をオシロスコープの表示画面に一旦移動させなければならない。更に、ステップS002の確認にて所望の振動状態の細胞が存在しなかった場合には、視点を再び試料保持台に置かれた細胞に戻してからステップS001の観察対象領域決定手順を再び行わなければならない。一方、ステップS002の確認にて所望の振動状態の細胞が見つかった場合にも、ステップS001から始まる次なる細胞同定を再び行うためには、視点をまた試料保持台に置かれた細胞に戻さなければならない。このように、上記の特許文献1の装置による場合には、視点を頻繁に変えることによって作業スピードが落ちてしまうなど、作業効率の低下が懸念される。
そこで、本発明は上記に鑑みてなされたもので、所望の振動状態を有する試料を同定する際に作業効率を高めることが可能な試料同定装置および試料同定方法を提供することを目的とする。
上記課題を解決するために、本発明の試料同定装置は、試料の画像情報を入力する画像入力手段と、前記画像情報を観察者に表示する画像表示手段と、前記画像表示手段が表示した前記画像情報を元に行われた前記観察者の操作に応じ、前記画像情報のうちの一定領域を指定する領域指定手段と、前記領域指定手段が指定した前記一定領域における前記試料の振動情報を音情報に周波数変換する変換手段と、前記変換手段が周波数変換した前記音情報を前記観察者に出力する音出力手段と、を備える。
また、本発明の試料同定方法は、画像入力手段が、試料の画像情報を入力する画像入力ステップと、画像表示手段が、前記画像情報を観察者に表示する画像表示ステップと、領域指定手段が、前記画像表示手段が表示した前記画像情報を元に行われた前記観察者の操作に応じ、前記画像情報のうちの一定領域を指定する領域指定ステップと、変換手段が、前記領域指定手段が指定した前記一定領域における前記試料の振動情報を音情報に周波数変換する変換ステップと、音出力手段が、前記変換手段が周波数変換した前記音情報を前記観察者に出力する音出力ステップと、を備える。
このような本発明の試料同定装置および試料同定方法によれば、観察者は、画像表示手段に視点を置きながら同定対象となる領域を指定することができ、且つ音出力手段の出力する音を聞きながら試料の同定を行うことができる。つまり、観察者は、同定対象を指定する時と同定を行う時とで視点を移動することなく、音出力手段からの出力音に基づいて試料の同定を行うことができる。したがって、試料同定手順における頻繁な視点移動を防ぐことから、本発明によれば、所望の振動状態を有する試料を同定する際に作業効率を高めることが可能となる。
また、本発明においては、観察者は、画像表示手段の表示画像を見ながら、同定対象となる領域を指定することができる。つまり、観察者は、試料同定時と同じ視点において、試料自体を動かすことなく、試料を表す領域中の一部の領域を指定することができる。このことにより、操作性およびスループットが増大し、作業効率を更に高めることができる。
また、本発明においては、前記変換手段は、少なくとも1つの乗算器を含んで構成される周波数変換器を備え、前記周波数変換器における前記乗算器の前段または後段には、微分器が備えられていても良い。
この発明によれば、乗算器の前段または後段には微分器が備えられている。直流成分を抑圧すると共に変化分を強調するとの作用がある微分器を本発明の変換手段に含ませることにより、観察者には、細胞の振動変化が激しいときに音量が大きく聞こえることとなる。その結果、観察者は試料の振動速度に関する情報をより効率的に得ることができ、作業効率が高まる。
また、本発明においては、前記変換手段は、複数の前記周波数変換器と、前記複数の周波数変換器からの出力を加算する加算器とを備えても良い。
この発明によれば、変換手段に含まれた複数の周波数変換器のそれぞれが並列的に周波数変換処理を行うことができ、加算器が当該複数の周波数変換器からの出力を加算する。このことにより、変換手段は複数の周波数帯域に対しても迅速に効率よく試料の振動情報を音情報に変換することができる。
また、本発明においては、前記変換手段は、周波数変換した前記音情報における強弱の程度を当該音情報における高低の程度に変換する手段を更に備えても良い。
この発明によれば、音出力手段は、変換手段が音情報における強弱の程度を高低の程度に変換したものを、観察者に提供できる。その結果、観察者は試料の振動速度に関する情報をより効率的に得ることができ、作業効率が向上する。
また、本発明においては、前記音出力手段は、前記観察者に出力する音が所定の時間間隔以内で変化する場合に、当該変化前の音を前記所定の時間間隔の間で残響音として出力し続けても良い。
また、本発明において、前記所定の時間間隔は、2msであっても良い。
これらの発明によれば、音出力手段の出力音が、例えば、人間の聴覚の時間分解能に相当する時間間隔よりも短い間隔で変化した場合に、つまり音出力手段の出力音の変化を観察者が認識できない場合に、音出力手段は当該変化前の出力音を人間の聴覚の時間分解能に相当する時間間隔の間で残響音として出力し続ける。このことにより、音出力手段は、人間の聴覚の時間分解能に相当する時間間隔よりも短い間隔で変化した出力音であっても、観察者に認識させることができる。これは、人間の聴覚の時間分解能に相当する時間間隔を2msと設定した場合に、特に有用である。
また、本発明においては、前記画像入力手段は、位相差顕微鏡および二次元フォトダイオードアレイより、前記試料の前記画像情報を入力しても良い。
この発明によれば、高周波数の、かつ微少な振動状態の試料同定を行うことができる。
また、本発明においては、前記画像入力手段は、前記試料の前記画像情報が予め格納されたデータベースより、前記試料の前記画像情報を入力しても良い。
この発明によれば、予め取得した試料の振動情報を元に、オフラインでも、試料同定を行うことができる。
本発明によれば、所望の振動状態を有する試料を同定する際に作業効率を高めることが可能な試料同定装置および試料同定方法を提供することができる。
以下、添付図面を参照して本発明にかかる試料同定装置および試料同定方法の好適な実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
[第1実施形態]
(細胞聴診器1の全体構成)
まず、本発明の第1実施形態に係る細胞聴診器1(試料同定装置)の構成について、図1および図2を参照しながら説明する。図1および図2は、細胞聴診器1の構成をイメージしている。図1および図2に示すように、細胞聴診器1は、位相差顕微鏡10、CCDカメラ20、計算部30、領域指定部40(領域指定手段)、画像表示部50(画像表示手段)、および音出力部60(音出力手段)から構成される。CCDカメラ20、領域指定部40、画像表示部50、および音出力部60は、それぞれ、計算部30と通信可能に接続されている。以下、細胞聴診器1の各構成要素について詳細に説明する。
(位相差顕微鏡10)
位相差顕微鏡10は、細胞(試料)の形状を二次元で観察者に提供するものである。位相差顕微鏡10は、細胞の光学的厚みを近似的にて光強度に変換する原理を用いることができる。位相差顕微鏡10の動作原理を数式で表現すると、例えば下記の式(1)となる。
I=‖exp(iφ)‖〜φ…(1)
ただし、上記の式(1)において、Iは輝度値を表し、iは虚数単位を表し、φは位相差を表す。また‖は絶対値を表す。観察者は、上記の式(1)に基づく位相差顕微鏡10を用いることにより、細胞における屈折率の変化や物理的な厚みの変化を輝度情報として観察することができる。
(CCDカメラ20)
CCDカメラ20は、位相差顕微鏡10により表示される細胞の形状を撮像するものである。CCDカメラ20は、撮像により得た画像情報を計算部30に出力する。
(計算部30)
計算部30は、細胞聴診器1における各種計算を行うものである。計算部30は、図示はしないが、物理的には、CPU、ROM及びRAM等の主記憶装置、他の構成要素との間でデータの送受信を行うためのネットワークカード等の通信モジュール、ハードディスク等の補助記憶装置などを含む通常のコンピュータシステムとして構成される。後述する計算部30の各機能は、CPU、ROM、RAM等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、CPUの制御の元で通信モジュール等を動作させると共に、主記憶装置や補助記憶装置におけるデータの読み出し及び書き込みを行うことで実現される。
計算部30は、機能的には、図1および図2に示すように、試料画像入力部31(画像入力手段)、および周波数変換部32(変換手段)を備えて構成される。
(試料画像入力部31)
試料画像入力部31は、CCDカメラ20が撮像した画像情報を入力するものである。計算部30には通信モジュールとしてフレームグラバーカードが備えられていても良く、この場合に試料画像入力部31はフレームグラバーカードを通じてCCDカメラ20が撮像した画像情報を入力することができる。試料画像入力部31は、入力した画像情報を周波数変換部32および画像表示部50に出力する。
(画像表示部50)
説明の便宜上、画像表示部50について先に説明する。画像表示部50は、図1に示すように、例えばモニター等のディスプレイ装置であり、計算部30の試料画像入力部31より入力した細胞の画像情報を観察者に見えるように表示するものである。
(領域指定部40)
次に、領域指定部40について説明する。領域指定部40は、例えばマウスやポインター等の入力装置であり、画像表示部50の表示画面に表示された細胞の画像情報を見ながら行われた観察者の操作に応じ、当該画像情報のうちの一定領域を指定するものである。図3は、領域指定部40により、細胞Cの画像情報のうちの一定の領域Aが指定された様子をイメージした図である。なお、図3には5つの細胞が模式的に描画されており、1つの細胞中の丸印は細胞核を表現している。図3に示すように、画像表示部50の表示画面には細胞Cの画像情報が単位時間(t、t、…、t)毎のフレーム(xy座標を有するフレームF、F、…、F)にて表示されている。観察者は、マウスやポインターを操作して、表示画面中の矢印Pを自在に動かすことができる。矢印Pは、表示画面中の位相差像(フレームF、F、…、F)にて重なって表示されている。図3は、観察者により位相差像中の一定の領域である領域Aが指定されたことがイメージされている。観察者はマウスを用いて矢印Pをドラックすることにより領域Aを指定することができる。また、図示はしないが、観察者は、一定の領域に限らずに、観察したい細胞の一点のみを例えばマウスをクリックすることにより指定することができる。領域指定部40は、上記のように指定した一定領域(または一点)を特定する情報、例えばフレームF、F、…、Fにおけるそれぞれのxy座標群または座標を表す情報を周波数変換部32に出力する。
(周波数変換部32)
続いて、図1および図2を再び参照しながら計算部30の説明に戻る。周波数変換部32は、画像情報を試料画像入力部31より入力され、且つ観察者により指定された一定領域を特定する情報を領域指定部40より入力されると、当該画像情報中の当該一定領域における細胞の振動情報を音情報に周波数変換するものである。周波数変換部32は、機能的には、図2に示すように、時系列データ作成部321、周波数変換回路322、およびVFコンバータ323を備えている。
(時系列データ作成部321)
時系列データ作成部321は、試料画像入力部31および領域指定部40より上記の入力を受けると、指定された一定領域における座標または座標群における輝度値Iiを元に時系列データS(t)を作成するものである。時系列データ作成部321が作成した時系列データS(t)を数式で表現すると、例えば下記の式(2)または式(3)となる。
式(2)は、領域指定部40が細胞の一点のみを指定した場合の時系列データS(t)を表す。
S(t)=αI(t)+β…(2)
ただし、上記の式(2)において、添え字iは画像情報における座標位置(X,Y)を表し、αは増倍率を表し、βはオフセット値を表し、tは時刻のパラメータである。なお、αはオシロスコープにおける縦軸調整つまみ、つまり信号強度の増倍率に相当するパラメータである。なお、細胞の大きさの1/10000程度の振動を観察したい場合には、DC成分が0となるように、βの値を設定することが好ましい。
式(3)は、領域指定部40が細胞の一定領域を指定した場合の時系列データS(t)を表す。
S(t)=Σ[αi(t)+βi]…(3)
ただし、上記の式(3)においても、上記の式(2)の場合と同様に、添え字iは画像情報における座標位置(X,Y)を表し、αiは座標位置(X,Y)の増倍率を表し、βiは座標位置(X,Y)のオフセット値を表し、tは時刻のパラメータである。
時系列データ作成部321は、上記の式(2)または式(3)に示すような時系列信号S(t)を作成した後に、当該作成した時系列信号S(t)を時系列信号S(t)として周波数変換回路322に入力する。
(周波数変換回路322、その1)
周波数変換回路322は、時系列データ作成部321より入力した時系列信号S(t)を時系列信号S(t)に周波数変換するものである。時系列信号S(t)は周波数帯域がfであり、観察者が観測したい周波数帯域の信号ではあるが、人間にとって非可聴の周波数帯域の信号である。また、時系列信号S(t)は周波数帯域がfであり、人間にとって可聴の周波数帯域の信号である。つまり、周波数変換回路322は、人間にとって非可聴の信号を時系列データ作成部321より入力して、可聴の信号に周波数変換するものである。
図4は、周波数変換回路322の回路構成の一例を示す。図4に示すように、周波数変換回路322は、ハイパスフィルタ701、アンプ702、乗算器703、ローパスフィルタ704、アンプ705、乗算器706、ハイパスフィルタ707、およびアンプ708を備えて構成される。周波数変換回路322は、図4に示す構成を備えることにより、時系列信号S(t)を時系列信号S(t)に周波数変換する。なお、周波数変換回路322において、fは周波数帯域fの中心周波数を表し、fは観察者の可聴域における所望の周波数帯域fの中心周波数を表す。したがって、fの帯域幅がfcwである場合に、fの上限はf+(fcw/2)であり、fの下限はf―(fcw/2)である。また、fの帯域幅がfswである場合に、fの上限はf+(fsw/2)であり、fの下限はf―(fsw/2)である。
図4に示すように、周波数変換回路322に入力された時系列信号S(t)は、まず、ハイパスフィルタ701にてf―(fcw/2)以上の周波数成分のみが通過される。次に、アンプ702により所望の信号強度に増幅されると、乗算器703により周波数f―(fcw/2)のローカルオシレータ信号と乗算される。乗算器703による以上の動作をダウンコンバートともいう。ここで、観察者がローカルオシレータ信号の周波数f―(fcw/2)を領域指定部40を用いて自在に選択できるようにしても良い。例えば領域指定部40がマウスである場合に、観察者がマウスのホイールを回転させることにより上記選択を行えるようにしても良い。また、この場合に、帯域幅fcwを予め固定的に設定しておいても良い。以上の構成により、元信号S(t)が人間の可聴域を超えた周波数であっても、人間の可聴域に周波数変換することができる。
次に、乗算器703から出力された信号には差周波数と和周波数とが含まれているため、ローパスフィルタ704を用いて和周波数をカットすると共に差周波数を出力する。次に、アンプ705により所望の信号強度に増幅する。
次に、アンプ705から出力された信号には人間にとって非可聴な低域の周波数(一般に20Hz以下)が含まれているため、乗算器706を用いて観察者の聴力にとって最も感度の良い周波数帯域に周波数変換する。これは、乗算器706により、アンプ705から出力された信号と周波数f―(fsw/2)のローカルオシレータ信号とを乗算させることにより行われる。乗算器706による以上の動作をアップコンバートともいう。このアップコンバートは、20Hz以下の非可聴音域を避けるという効果があり、更には、観察者にとって最も感度の良い周波数帯域に信号周波数を変換するという効果がある。アップコンバートにおけるfを選択する方法としては、例えば領域指定部40がマウスである場合に、観察者がマウスのホイールを左右にチルトさせることにより自在にfを選択させる方法が好適である。
次に、ハイパスフィルタ707が乗算器706から出力される和周波数と差周波数のうちで和周波数のみを取り出す。その後、アンプ708により所望の強度に増幅されると、周波数変換後の時系列信号S(t)が得られる。周波数変換回路322は、当該得られた時系列信号S(t)をVFコンバータ323に出力する。なお、周波数変換回路322に関する以上の説明では、乗算器703および乗算器706の二つの乗算器を用いているが、周波数f―(fcw/2)の信号と周波数f―(fsw/2)の信号とを一回の乗算で乗算させる場合には、一つの乗算器を用いても周波数変換回路322を構成することができる。
(周波数変換回路322、その2)
続いて、図5を参照しながら、周波数変換回路322の別の形態について説明する。図5は、周波数変換回路322の別の形態における回路構成図である。図5に示すように、別の形態における周波数変換回路322は、図4の周波数変換回路322の構成を全て有している上で、微分器709を更に有している。
図5を参照すると、周波数変換回路322に入力された時系列信号S(t)は、まず、ハイパスフィルタ701にてf―(fcw/2)以上の周波数成分のみが通過される。次に、ハイパスフィルタ701からの出力信号は微分器709に入力される。微分器709は、信号の直流成分を抑圧すると共に、信号の時間的な変動を強調する役割を果たす。このため、微分器709を含む周波数変換回路322は、直流成分が多く且つ変動分が少ない場合に、特に有効な周波数変換回路である。次に、微分器709からの出力信号はアンプ702に入力される。アンプ702以後の動作については、図4の周波数変換回路322と同じであるため、説明を省略する。なお、ハイパスフィルタ701からの出力信号を微分器709にてn回通過させることにより、当該出力信号に対してn次微分を行うことができる。また、図には示さないが、微分器709を、図5中の乗算器703、706の後段、すなわち増幅器708の前段においてもよい。
(周波数変換回路322、その3)
続いて、図6を参照しながら、周波数変換回路322の更に別の形態について説明する。図6は、周波数変換回路322の更に別の形態における回路構成図である。図6に示すように、更に別の形態における周波数変換回路322は、図4を参照しながら上記説明した周波数変換回路(以下、「周波数変換器」という。)を複数備え、それぞれの周波数変換器からの出力が加算器710に入力されるように構成されている。加算器710は、複数の周波数変換器からの出力を加算して時系列信号S(t)を生成し、当該生成した時系列信号S(t)をVFコンバータ323に出力する。なお、図6においては、各周波数変換器に入力されるローカルオシレータ信号を1からnの添え字で区別している。また、図示はしないが、図5を参照しながら上記説明した周波数変換回路を「周波数変換器」としても良い。
(VFコンバータ323)
VFコンバータ323は、周波数変換回路322より入力した時系列信号S(t)における強弱の程度を高低の程度に変換するものである。図7は、VFコンバータ323の回路構成の一例を示す。図7に示すように、VFコンバータ323は、ハイパスフィルタ711、VFコンバータ素子712、およびアンプ713を備えて構成される。人間にとっては音の強弱よりは音の高低の方が音に対する区別が付きやすいため、図7に示した構成により音情報の強弱を高低に変換することは、観察者が当該音情報に基づいて細胞同定を行う際の作業効率を高めるとの効果を奏する。VFコンバータ323は、当該変換した結果となる信号を音出力部60に出力する。
なお、図示はしないが、時系列データ作成部321が作成した時系列信号S(t)が既に人間の可聴域内に入っている場合には、時系列データ作成部321は周波数変換回路322を通さずに時系列信号S(t)をそのままVFコンバータ323に出力しても良い。この場合には、図示はしないが、時系列信号S(t)が人間の可聴域内に入っているか否かを判断する手段を更に設けても良い。また、周波数変換部32に関する以上の説明では、周波数変換回路322およびVFコンバータ323を電気回路で実現したが、これに限らずに、コンピュータ上での数値計算により周波数変換およびVF変換を行うようにしても良い。
(音出力部60)
音出力部60は、人間の可聴域内の信号をVFコンバータ323より入力し、当該信号を音として観察者に出力するものである。音出力部60は、例えばヘッドホンやスピーカで構成することができる。また、音出力部60は、観察者に出力する音が例えば2msの所定の時間間隔以内で変化する場合に、当該変化前の音を上記の所定の時間間隔の間で残響音として出力し続けても良い。この2msとの時間間隔は、人間の聴覚の時間分解能に相当する時間間隔であり、適宜変更可能なものである。
(細胞聴診器1の動作)
続いて、細胞聴診器1に基づいて行われる動作について、図8を参照しながら説明する。図8は、細胞聴診器1に基づいて行われる動作を示すフローチャートである。
最初に、試料である培養細胞が位相差顕微鏡10のステージ上にセットされる。観察者は、細胞が培養されたシャーレーを位相差顕微鏡10のステージ上に置いた後に、アイピースを覗きながら、フォーカスをあわせる(ステップS1)。
次に、CCDカメラ20が、位相差顕微鏡10により表示される培養細胞の形状を撮像する。CCDカメラ20は、撮像により得た画像情報を計算部30の試料画像入力部31に出力する(ステップS2)。
次に、試料画像入力部31が、CCDカメラ20が撮像した画像情報を入力し、当該入力した画像情報を周波数変換部32の時系列データ作成部321、および画像表示部50に出力する(ステップS3、画像入力ステップ)。
次に、画像表示部50が、計算部30の試料画像入力部31よりステップS3にて入力した培養細胞の画像情報を観察者に見えるように表示する(ステップS4、画像表示ステップ)。
次に、領域指定部40が、例えば図3に示すように、画像表示部50の表示画面に表示された画像情報を見ながら行われた観察者の操作に応じ、当該画像情報のうちの一定領域を指定する。領域指定部40は、当該指定した一定領域を特定する情報を周波数変換部32の時系列データ作成部321に出力する(ステップS5、領域指定ステップ)。
次に、時系列データ作成部321が、試料画像入力部31および領域指定部40よりステップS3およびステップS5における入力を受けると、指定された一定領域における座標または座標群における輝度値Iiを元に時系列データS(t)を作成する。時系列データ作成部321は、当該作成した時系列信号S(t)を時系列信号S(t)として周波数変換回路322に入力する(ステップS6)。
次に、周波数変換回路322が、時系列データ作成部321より入力した時系列信号S(t)を時系列信号S(t)に周波数変換する。時系列信号S(t)は人間にとって非可聴の周波数帯域の信号であり、時系列信号S(t)は人間にとって可聴の周波数帯域の信号である。周波数変換回路322は、当該周波数変換した時系列信号S(t)をVFコンバータ323に出力する。(ステップS7、変換ステップ)。
次に、VFコンバータ323が、周波数変換回路322より入力した時系列信号S(t)における強弱の程度を高低の程度に変換して音出力部60に出力する(ステップS8)。
次に、音出力部60が、人間の可聴域内の信号をVFコンバータ323より入力し、当該信号を音として観察者に出力する(ステップS9、音出力ステップ)。
次に、観察者が音出力部60からの出力音を元に、「生きの良い」培養細胞を同定する(ステップS10)。
(細胞聴診器1の作用及び効果)
続いて、第1実施形態にかかる細胞聴診器1の作用及び効果について説明する。第1実施形態にかかる細胞聴診器1によれば、観察者は、画像表示部50に視点を置きながら同定対象となる領域を指定することができ、且つ音出力部60の出力音を聞きながら細胞の同定を行うことができる。つまり、観察者は、同定対象を指定する時と同定を行う時とで視点を移動することなく、音出力部60からの出力音に基づいて細胞の同定を行うことができる。したがって、細胞同定手順における頻繁な視点移動を防ぐことから、第1実施形態によれば、所望の振動状態を有する細胞を同定する際に作業効率を高めることが可能となる。
また、第1実施形態においては、観察者は、画像表示部50の表示画像を見ながら、同定対象となる領域を指定することができる。つまり、観察者は、細胞同定時と同じ視点において、細胞自体を動かすことなく、細胞を表す領域中の一部の領域を指定することができる。このことにより、操作性およびスループットが増大し、作業効率を更に高めることができる。
また、第1実施形態によれば、乗算器703、706の前段には微分器709が備えられている。直流成分を抑圧すると共に変化分を強調するとの作用がある微分器709を周波数変換部32に含ませることにより、観察者には、細胞の振動変化が激しいときに音が高く聞こえることとなる。その結果、観察者は細胞の振動速度に関する情報をより効率的に得ることができ、作業効率が高まる。
また、第1実施形態によれば、周波数変換部32に含まれた複数の周波数変換器のそれぞれが並列的に周波数変換処理を行うことができ、加算器710が当該複数の周波数変換器からの出力を加算する。このことにより、周波数変換部32は複数の周波数帯域に対しても迅速に効率よく細胞の振動情報を音情報に変換することができる。
また、第1実施形態によれば、音出力部60は、周波数変換部32が音情報における強弱の程度を高低の程度に変換したものを、観察者に提供できる。その結果、観察者は細胞の振動速度に関する情報をより効率的に得ることができ、作業効率が向上する。
また、第1実施形態によれば、音出力部60の出力音が、例えば、人間の聴覚の時間分解能に相当する時間間隔よりも短い間隔で変化した場合に、つまり音出力部60の出力音の変化を観察者が認識できない場合に、音出力部60は当該変化前の出力音を人間の聴覚の時間分解能に相当する時間間隔の間で残響音として出力し続ける。このことにより、音出力部60は、人間の聴覚の時間分解能に相当する時間間隔よりも短い間隔で変化した出力音であっても、観察者に認識させることができる。これは、人間の聴覚の時間分解能に相当する時間間隔を2msと設定した場合に、特に有用である。
[第2実施形態]
(細胞聴診器2の構成)
続いて、本発明の第2実施形態にかかる細胞聴診器2について説明する。図9は、細胞聴診器2の構成をイメージした機能ブロック図である。図9に示すように、細胞聴診器2は、図2に示した細胞聴診器1の構成要素を全て含み、二次元PDアレイ80(二次元フォトダイオードアレイ)、および画像データベース90を更に備えている。以下では、第1実施形態の細胞聴診器1と異なる点を中心に細胞聴診器2の構成要素について説明する。
二次元PDアレイ80は、位相差顕微鏡10により表示される細胞の形状を光検出によって撮像するものである。一般的に二次元PDアレイ80は、CCDカメラ20より高周波振動を高いダイナミックレンジで、位相差顕微鏡10により表示される細胞の形状を撮像することができる。二次元PDアレイ80は、撮像により得た画像情報を計算部30の試料画像入力部31に出力する。
画像データベース90は、細胞の画像情報が予め格納されたデータベースである。計算部30の試料画像入力部31は画像データベース90に接続して細胞の画像情報を読み出すことができる。なお、図9では、画像データベース90が計算部30の外部に設置されているが、計算部30の内部に設置されていてもかまわない。また、画像データベース90が例えばCDやDVDであっても良い。
以上の説明のように、第2実施形態の細胞聴診器2においては、計算部30の試料画像入力部31に画像情報を入力する入力元が複数存在している。試料画像入力部31は、複数の入力元のうちの何れのものからでも画像情報を入力することができる。また、試料画像入力部31は、複数の入力元のうちで何れか一つまたは複数のものを作業状況に応じて適宜に選択する手段を更に備えていても良い。
(細胞聴診器2の作用及び効果)
続いて、第2実施形態にかかる細胞聴診器2の作用及び効果について説明する。第2実施形態にかかる細胞聴診器2によれば、細胞の画像情報を二次元PDアレイ80より入力することから、所望の振動状態の細胞同定をリアルタイムおよび高検出感度で行うことができる。
また、第2実施形態にかかる細胞聴診器2によれば、細胞の画像情報を画像データベース90より入力することから、予め取得した細胞の振動情報を元に、オフラインでも、細胞同定を行うことができる。
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されないことは言うまでもない。
例えば、領域指定部40が一つの細胞を完全に囲むような指定を行った場合には、一つの細胞の全体の体積変動が出力音として出力されるように構成しても良い。
また、時系列データ作成部321が時系列データS(t)の1フレーム毎に2次元フーリエ変換を施すように構成しても良い。この場合には、所望の空間周波数のみのパワースペクトル強度の時間的変化を時系列データS(t)として扱うことが可能となる。
また、上記実施形態ではVFコンバータ323を用いた場合について説明したが、周波数変換部32の構成においてVFコンバータ323を省略することも可能である。この場合の周波数変換回路322は時系列信号S(t)を音出力部60に直接出力する。VFコンバータ323を省略し、且つ微分器709を周波数変換回路322の構成要素に含めた場合には、観察者には、細胞の振動変化が激しいときに音量が大きく聞こえる。一方、VFコンバータ323および微分器709の両方を構成要素に含めた場合には、観察者には、細胞の振動変化が激しいときに音が高く聞こえる。
また、上記実施形態においては、位相差顕微鏡10を顕微鏡として採用したが、これに限られることなく、細胞の形状を2次元で観察者に提供できる機構を備えたものであれば、どんな顕微鏡でも位相差顕微鏡10の代わりに利用可能である。例えば、位相差顕微鏡に定量性を持たせた定量位相顕微鏡を使えば、上述の式(1)のような近似を使うことなく、位相差が輝度情報として得られる。この場合の定量位相顕微鏡は、マッハツェンダ型であっても良く、マイケルソン型であっても良く、Mirau干渉計、Linnik干渉計、コモンパス干渉計であっても良い。また、照明方法としては、透過照明に限らず、反射照明(落射照明)を行っても良い。
また、位相差顕微鏡10の代わりに微分干渉顕微鏡を採用しても良い。この場合には、二次元平面の近傍同士の位相差像が得られることから、屈折率変化や物理的厚みにおける隣り合う2点の差分情報を得ることができる。その結果、コモンノイズが相殺され、ノイズに強い計測を行うことができる。
また、例えばFluorescenceCorrelation Spectroscopyに示されるように、蛍光強度の揺らぎを観察する場合には、位相差顕微鏡10の代わりに蛍光顕微鏡を採用しても良い。
また、位相差顕微鏡10の代わりにレーザー走査型顕微鏡を採用しても良い。レーザー走査型顕微鏡は、照明用の光源としてレーザー光ビームを用い、2次元方向に細胞をスキャンすることで蛍光画像を得る手法を用いるものである。このレーザー走査型顕微鏡のレーザースキャニングの手法を用いる場合には、観察者が指し示すポインターの位置にレーザービームを照射する機構と、観察者に細胞の全体像が2次元的に観察できる第2の光源と、ダイクロイックミラー等でレーザービームと観察用光源を合波および分離する光学系とを備える。
本発明の第1実施形態にかかる細胞聴診器1の構成をイメージした機能ブロック図である。 本発明の第1実施形態にかかる細胞聴診器1の構成をイメージした機能ブロック図である。 領域指定部40により一定領域が指定された様子をイメージした図である。 周波数変換回路322の回路構成図の一例である。 周波数変換回路322の別の形態における回路構成図である。 周波数変換回路322の更に別の形態における回路構成図である。 VFコンバータ323の回路構成図の一例である。 細胞聴診器1に基づいて行われる動作を示すフローチャートである。 本発明の第2実施形態にかかる細胞聴診器2の構成をイメージした機能ブロック図である。
符号の説明
1,2…細胞聴診器、10…位相差顕微鏡、20…CCDカメラ、30…計算部、31…試料画像入力部、32…周波数変換部、321…時系列データ作成部、322…周波数変換回路、323…VFコンバータ、40…領域指定部、50…画像表示部、60…音出力部、701,707,711…ハイパスフィルタ、702,705,708,713…アンプ、703,706…乗算器、704…ローパスフィルタ、709…微分器、710…加算器、712…コンバータ素子、80…二次元PDアレイ、90…画像データベース。

Claims (9)

  1. 試料の画像情報を入力する画像入力手段と、
    前記画像情報を観察者に表示する画像表示手段と、
    前記画像表示手段が表示した前記画像情報を元に行われた前記観察者の操作に応じ、前記画像情報のうちの一定領域を指定する領域指定手段と、
    前記領域指定手段が指定した前記一定領域における前記試料の振動情報を音情報に周波数変換する変換手段と、
    前記変換手段が周波数変換した前記音情報を前記観察者に出力する音出力手段と、
    を備えることを特徴とする試料同定装置。
  2. 前記変換手段は、少なくとも1つの乗算器を含んで構成される周波数変換器を備え、
    前記周波数変換器における前記乗算器の前段または後段には、微分器が備えられていることを特徴とする請求項1に記載の試料同定装置。
  3. 前記変換手段は、複数の前記周波数変換器と、前記複数の周波数変換器からの出力を加算する加算器とを備えることを特徴とする請求項2に記載の試料同定装置。
  4. 前記変換手段は、周波数変換した前記音情報における強弱の程度を当該音情報における高低の程度に変換する手段を更に備えることを特徴とする請求項1〜3の何れか1項に記載の試料同定装置。
  5. 前記音出力手段は、前記観察者に出力する音が所定の時間間隔以内で変化する場合に、当該変化前の音を前記所定の時間間隔の間で残響音として出力し続けることを特徴とする請求項1〜4の何れか1項に記載の試料同定装置。
  6. 前記所定の時間間隔は、2msであることを特徴とする請求項5に記載の試料同定装置。
  7. 前記画像入力手段は、位相差顕微鏡および二次元フォトダイオードアレイより、前記試料の前記画像情報を入力することを特徴とする請求項1〜6の何れか1項に記載の試料同定装置。
  8. 前記画像入力手段は、前記試料の前記画像情報が予め格納されたデータベースより、前記試料の前記画像情報を入力することを特徴とする請求項1〜7の何れか1項に記載の試料同定装置。
  9. 画像入力手段が、試料の画像情報を入力する画像入力ステップと、
    画像表示手段が、前記画像情報を観察者に表示する画像表示ステップと、
    領域指定手段が、前記画像表示手段が表示した前記画像情報を元に行われた前記観察者の操作に応じ、前記画像情報のうちの一定領域を指定する領域指定ステップと、
    変換手段が、前記領域指定手段が指定した前記一定領域における前記試料の振動情報を音情報に周波数変換する変換ステップと、
    音出力手段が、前記変換手段が周波数変換した前記音情報を前記観察者に出力する音出力ステップと、
    を備えることを特徴とする試料同定方法。

JP2007330468A 2007-12-21 2007-12-21 試料同定装置および試料同定方法 Active JP5160878B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007330468A JP5160878B2 (ja) 2007-12-21 2007-12-21 試料同定装置および試料同定方法
PCT/JP2008/070331 WO2009081661A1 (ja) 2007-12-21 2008-11-07 試料同定装置および試料同定方法
DE112008003471.0T DE112008003471B4 (de) 2007-12-21 2008-11-07 Probenidentifizierungs-Vorrichtung und Probenidentifizierungs-Verfahren
US12/808,907 US8867815B2 (en) 2007-12-21 2008-11-07 Sample identification device and sample identification method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007330468A JP5160878B2 (ja) 2007-12-21 2007-12-21 試料同定装置および試料同定方法

Publications (2)

Publication Number Publication Date
JP2009148224A true JP2009148224A (ja) 2009-07-09
JP5160878B2 JP5160878B2 (ja) 2013-03-13

Family

ID=40800977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007330468A Active JP5160878B2 (ja) 2007-12-21 2007-12-21 試料同定装置および試料同定方法

Country Status (4)

Country Link
US (1) US8867815B2 (ja)
JP (1) JP5160878B2 (ja)
DE (1) DE112008003471B4 (ja)
WO (1) WO2009081661A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011147400A (ja) * 2010-01-22 2011-08-04 Hamamatsu Univ School Of Medicine 細胞判別方法、細胞判別用の参照データ生成方法、および細胞判別装置
WO2011132584A1 (ja) * 2010-04-23 2011-10-27 浜松ホトニクス株式会社 膜電位変化検出装置および膜電位変化検出方法
JP2012242532A (ja) * 2011-05-18 2012-12-10 Nikon Corp 顕微鏡システム
JP2015130872A (ja) * 2015-02-26 2015-07-23 浜松ホトニクス株式会社 細胞判別方法および細胞判別装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011057002A2 (en) 2009-11-05 2011-05-12 Sequent Medical Inc. Multiple layer filamentary devices or treatment of vascular defects
US11085901B2 (en) * 2014-08-19 2021-08-10 Dan Slater Acoustical microscope

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04504055A (ja) * 1989-03-15 1992-07-23 ドゥ サント―アガト、ニコラス 振動測定法による生きた微生物の検出及び/又は同定方法
JPH10321179A (ja) * 1997-05-23 1998-12-04 Nikon Corp 走査型電子顕微鏡のパラメータ入力装置
JPH11219130A (ja) * 1998-01-29 1999-08-10 Shimadzu Corp 表示システム
JP2002078995A (ja) * 2000-09-06 2002-03-19 Pegasus Sewing Mach Mfg Co Ltd 縫製不良検出装置
JP2004000046A (ja) * 2002-05-31 2004-01-08 Osaka Gas Co Ltd 細胞が発信する音波の周波数測定方法
JP2006071430A (ja) * 2004-09-01 2006-03-16 Hitachi Medical Corp 診断支援システム
WO2006112210A1 (ja) * 2005-03-31 2006-10-26 Pioneer Corporation 音声出力装置、音声出力方法、音声出力プログラム、および記録媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4430897A (en) * 1981-05-14 1984-02-14 The Board Of Trustees Of The Leland Stanford University Acoustic microscope and method
JPS58122456A (ja) * 1982-01-14 1983-07-21 Hitachi Ltd 超音波顕微鏡
IT1228925B (it) * 1987-08-07 1991-07-10 Eniricerche Spa Procedimento per la preparazione dell'ormone della crescita umano
GB8926781D0 (en) * 1989-11-27 1990-01-17 Nat Res Dev Identification of micro-organisms
US6272235B1 (en) * 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
DE10143441A1 (de) * 2001-09-05 2003-03-27 Leica Microsystems Verfahren und Mikroskopsystem zur Beobachtung dynamischer Prozesse
CN1679371B (zh) * 2002-08-30 2010-12-29 国立大学法人奈良先端科学技术大学院大学 传声器和通信接口系统
JP4504055B2 (ja) 2004-03-22 2010-07-14 株式会社神田製作所 ロールペーパーホルダー装置
US7711174B2 (en) * 2004-05-13 2010-05-04 The Charles Stark Draper Laboratory, Inc. Methods and systems for imaging cells

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04504055A (ja) * 1989-03-15 1992-07-23 ドゥ サント―アガト、ニコラス 振動測定法による生きた微生物の検出及び/又は同定方法
JPH10321179A (ja) * 1997-05-23 1998-12-04 Nikon Corp 走査型電子顕微鏡のパラメータ入力装置
JPH11219130A (ja) * 1998-01-29 1999-08-10 Shimadzu Corp 表示システム
JP2002078995A (ja) * 2000-09-06 2002-03-19 Pegasus Sewing Mach Mfg Co Ltd 縫製不良検出装置
JP2004000046A (ja) * 2002-05-31 2004-01-08 Osaka Gas Co Ltd 細胞が発信する音波の周波数測定方法
JP2006071430A (ja) * 2004-09-01 2006-03-16 Hitachi Medical Corp 診断支援システム
WO2006112210A1 (ja) * 2005-03-31 2006-10-26 Pioneer Corporation 音声出力装置、音声出力方法、音声出力プログラム、および記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6012049595; J. Gen. Appl. Microbiol., (1998), 44, [1], p.49-55 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011147400A (ja) * 2010-01-22 2011-08-04 Hamamatsu Univ School Of Medicine 細胞判別方法、細胞判別用の参照データ生成方法、および細胞判別装置
WO2011132584A1 (ja) * 2010-04-23 2011-10-27 浜松ホトニクス株式会社 膜電位変化検出装置および膜電位変化検出方法
JP2011232056A (ja) * 2010-04-23 2011-11-17 Hamamatsu Photonics Kk 膜電位変化検出装置および膜電位変化検出方法
US9423343B2 (en) 2010-04-23 2016-08-23 Hamamatsu Photonics K.K. Membrane potential change detection device and membrane potential change detection method
JP2012242532A (ja) * 2011-05-18 2012-12-10 Nikon Corp 顕微鏡システム
US9261690B2 (en) 2011-05-18 2016-02-16 Nikon Corporation Microscope system
JP2015130872A (ja) * 2015-02-26 2015-07-23 浜松ホトニクス株式会社 細胞判別方法および細胞判別装置

Also Published As

Publication number Publication date
US20110229008A1 (en) 2011-09-22
WO2009081661A1 (ja) 2009-07-02
JP5160878B2 (ja) 2013-03-13
DE112008003471B4 (de) 2016-05-25
DE112008003471T5 (de) 2011-01-13
US8867815B2 (en) 2014-10-21

Similar Documents

Publication Publication Date Title
JP5160878B2 (ja) 試料同定装置および試料同定方法
JP5780865B2 (ja) 画像処理装置、撮像システム、画像処理システム
CN109124615B (zh) 一种可选区高动态激光散斑血流成像装置及方法
WO2013100025A9 (ja) 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム
JP2012039255A (ja) 画像処理装置、画像処理方法、撮像装置及びプログラム
JPWO2007097170A1 (ja) スペクトル画像処理方法、コンピュータ実行可能なスペクトル画像処理プログラム、スペクトルイメージングシステム
JP2012222672A (ja) 撮像装置及びプログラム
JPWO2007010697A1 (ja) 共焦点顕微鏡装置
WO2017195785A1 (ja) 粒子分析装置、及び、粒子分析システム
JP5616588B2 (ja) 顕微鏡
WO2018158810A1 (ja) 細胞観察装置
JP2008090071A5 (ja)
JPH01158578A (ja) 物体点順次走査装置
JP2016188791A (ja) 音源探査装置および音源探査方法
WO2021100328A1 (ja) 画像処理方法、画像処理装置および画像処理システム
Shen et al. Confocal rescan structured illumination microscopy for real-time deep tissue imaging with superresolution
CN115480385A (zh) 手术显微镜系统及其成像方法
JP3869521B2 (ja) 走査型レーザ顕微鏡
JP6898729B2 (ja) 検出装置、顕微鏡システムおよび検出方法
CN112241065A (zh) 显微镜和用于产生具有扩展的景深的显微图像的方法
JP2019216058A (ja) 電子顕微鏡および評価方法
JP2016090789A (ja) 顕微鏡システム
JP6811874B2 (ja) 画像作成装置、画像作成方法、画像作成プログラム
Oho et al. Support system for fine focusing and astigmatism correction using an auditory signal in scanning electron microscopy
WO2022113365A1 (ja) 合焦方法、観察装置、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121213

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5160878

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250