JP2006215260A - 顕微鏡用撮像装置、顕微鏡システム、記録制御方法、および記録制御プログラム - Google Patents
顕微鏡用撮像装置、顕微鏡システム、記録制御方法、および記録制御プログラム Download PDFInfo
- Publication number
- JP2006215260A JP2006215260A JP2005027784A JP2005027784A JP2006215260A JP 2006215260 A JP2006215260 A JP 2006215260A JP 2005027784 A JP2005027784 A JP 2005027784A JP 2005027784 A JP2005027784 A JP 2005027784A JP 2006215260 A JP2006215260 A JP 2006215260A
- Authority
- JP
- Japan
- Prior art keywords
- microscope
- change amount
- observation image
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Microscoopes, Condenser (AREA)
- Studio Devices (AREA)
Abstract
【課題】 顕微鏡用撮影装置による動画撮影、タイムラプス撮影等において、被検物である標本の状態変化や検鏡法に応じて画像の撮影条件をコントロールすることによって、経時変化する標本に対して最適な連続撮影を行なうことが可能な顕微鏡用撮像装置、顕微鏡システム、記録制御方法、および記録制御プログラムを提供すること。
【解決手段】 顕微鏡装置によって観察する被検物を連続的に撮像して観察画像を取得する連続撮影手段と、上記連続撮影手段によって取得した第１の観察画像および上記第１の観察画像より後に取得した第２の観察画像間の変化量を検出する変化量検出手段と、上記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素の画素情報を加算して出力するビニング手段とを備える。
【選択図】 図１
【解決手段】 顕微鏡装置によって観察する被検物を連続的に撮像して観察画像を取得する連続撮影手段と、上記連続撮影手段によって取得した第１の観察画像および上記第１の観察画像より後に取得した第２の観察画像間の変化量を検出する変化量検出手段と、上記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素の画素情報を加算して出力するビニング手段とを備える。
【選択図】 図１
Description
本発明は、観察対象である被検物のタイムラプス撮影を行なう顕微鏡用撮像装置、上記顕微鏡用撮像装置を備えた顕微鏡システム、タイムラプス撮影した画像の記録制御方法、および記録制御プログラムに関し、特に、タイムラプス撮影した画像間の変化量に応じて適切な記録手法を選択するように制御する顕微鏡用撮像装置、顕微鏡システム、記録制御方法、および記録制御プログラムに関するものである。
従来、顕微鏡装置により観察する被検物の観察画像を記録するために、銀塩フィルムを使用したカメラによって被検物を撮影する方法が用いられていたが、最近では電子カメラ（デジタルカメラ）の高性能化にともない、電子カメラによって被検物を撮像する方法が多く用いられている。
また、医療技術や科学技術の分野においては、被検物として生きた細胞を観察するアプリケーションが多く提供されてきており、生きた細胞の時間的な変化を観察するために、動画撮影やタイムラプス撮影等の連続撮影機能を有する顕微鏡用撮像装置（顕微鏡用カメラ）も開発されている。
ところが、動画撮影やタイムラプス撮影等の連続撮影は、撮影した画像データ量が膨大になってしまうという問題点を抱えている。
この問題点を解決するために、撮影した画像データのうち不要な画像データを間引き、必要な画像データだけを使用する撮像装置が提案されている（例えば、特許文献１参照。）。
特開平１０−６６０７４号公報
この問題点を解決するために、撮影した画像データのうち不要な画像データを間引き、必要な画像データだけを使用する撮像装置が提案されている（例えば、特許文献１参照。）。
しかしながら、従来のような連続撮影を行なう撮像装置においては、フレームレートを上げることが優先され、連続撮影時の画像データサイズを抑えるために、解像度を落として圧縮率を大きくした一様な連続撮影を行なっている。そのため、観察者が最も所望する、生きた細胞の変化する期間における画像が、十分な解像度や画質を得られないという問題点があった。
また、このとき操作者が現象を見極めるに十分な解像度や画質の画像を得るために再度標本を精製して撮影しなければならないなど、大きな工数損失になってしまうという問題点があった。
また、逆に、解像度を上げて連続撮影を行なった際にも、長い撮影時間中で観察者が所望する標本の変化する現象が短時間である場合は、大半の部分が不必要に高解像度となるため、記録媒体の容量を無駄に消費してしまうという問題点があった。
本発明は、上記従来技術の欠点に鑑みてなされたもので、顕微鏡用撮影装置による動画撮影、タイムラプス撮影等において、被検物である標本の状態変化や検鏡法に応じて画像の撮影条件をコントロールすることによって、経時変化する標本に対して最適な連続撮影を行なうことが可能な顕微鏡用撮像装置、顕微鏡システム、記録制御方法、および記録制御プログラムを提供することを目的とする。
本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明の顕微鏡用撮像装置は、顕微鏡装置によって観察する被検物を連続的に撮像して観察画像を取得する連続撮影手段と、上記連続撮影手段によって取得した第１の観察画像および上記第１の観察画像より後に取得した第２の観察画像間の変化量を検出する変化量検出手段と、上記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素の画素情報を加算して出力するビニング手段とを備えることを特徴とする。
すなわち、本発明の一態様によれば、本発明の顕微鏡用撮像装置は、顕微鏡装置によって観察する被検物を連続的に撮像して観察画像を取得する連続撮影手段と、上記連続撮影手段によって取得した第１の観察画像および上記第１の観察画像より後に取得した第２の観察画像間の変化量を検出する変化量検出手段と、上記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素の画素情報を加算して出力するビニング手段とを備えることを特徴とする。
また、本発明の一態様によれば、本発明の顕微鏡用撮像装置は、顕微鏡装置によって観察する被検物を連続的に撮像して観察画像を取得する連続撮影手段と、上記連続撮影手段によって取得した第１の観察画像および上記第１の観察画像より後に取得した第２の観察画像間の変化量を検出する変化量検出手段と、上記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素の画素情報を加算して出力するビニング手段と、上記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素のうち所定の画素のみの画素情報に間引いて出力する間引き手段と、所定の値に基づいて、上記第２の観察画像に対して上記ビニング手段または上記間引き手段を選択的に実行させる選択手段とを備えることを特徴とする。
また、本発明の顕微鏡用撮像装置は、上記複数画素が、２次元配列画素であることが望ましい。
また、本発明の顕微鏡用撮像装置は、上記連続撮影手段によって取得した観察画像を圧縮する圧縮手段をさらに備え、上記変化量検出手段によって検出した変化量に基づいて、上記圧縮手段によって圧縮する画素情報の圧縮率を変えることが望ましい。
また、本発明の顕微鏡用撮像装置は、上記連続撮影手段によって取得した観察画像を圧縮する圧縮手段をさらに備え、上記変化量検出手段によって検出した変化量に基づいて、上記圧縮手段によって圧縮する画素情報の圧縮率を変えることが望ましい。
また、本発明の顕微鏡用撮像装置は、上記変化量検出手段によって検出した変化量に基づいて、上記連続撮影手段によって撮影する撮影間隔を変えることが望ましい。
また、本発明の顕微鏡用撮像装置は、上記被検物に照明光を照射する照明手段をさらに備え、上記照明手段が、上記選択手段によって上記ビニング手段が選択的に実行される際、上記被検物に照射する照明光の光量を減少させることが望ましい。
また、本発明の顕微鏡用撮像装置は、上記被検物に照明光を照射する照明手段をさらに備え、上記照明手段が、上記選択手段によって上記ビニング手段が選択的に実行される際、上記被検物に照射する照明光の光量を減少させることが望ましい。
また、本発明の顕微鏡用撮像装置は、上記変化量検出手段が、上記観察画像の任意の領域における変化量を検出することが望ましい。
また、本発明の顕微鏡用撮像装置は、上記選択手段によって選択的に実行される上記ビニング手段が、予め定められたしきい値より上記変化量が小さい場合に実行することが望ましい。
また、本発明の顕微鏡用撮像装置は、上記選択手段によって選択的に実行される上記ビニング手段が、予め定められたしきい値より上記変化量が小さい場合に実行することが望ましい。
また、本発明の顕微鏡用撮像装置は、上記選択手段によって選択的に実行される上記圧縮手段が、予め定められたしきい値より上記変化量が小さい場合に実行することが望ましい。
また、本発明の顕微鏡用撮像装置は、上記しきい値が、予め定められた複数のしきい値群から選択されることが望ましい。
また、本発明の一態様によれば、本発明の顕微鏡システムは、被検物を観察する顕微鏡装置と、上記顕微鏡装置によって観察する上記被検物を連続的に撮像して観察画像を取得する連続撮影手段と、上記連続撮影手段によって取得した第１の観察画像および上記第１の観察画像より後に取得した第２の観察画像間の変化量を検出する変化量検出手段と、上記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素の画素情報を加算して出力するビニング手段と、上記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素のうち所定の画素のみの画素情報に間引いて出力する間引き手段と、所定の値に基づいて、上記第２の観察画像に対して上記ビニング手段または上記間引き手段を選択的に実行させる選択手段とを備えることを特徴とする。
また、本発明の一態様によれば、本発明の顕微鏡システムは、被検物を観察する顕微鏡装置と、上記顕微鏡装置によって観察する上記被検物を連続的に撮像して観察画像を取得する連続撮影手段と、上記連続撮影手段によって取得した第１の観察画像および上記第１の観察画像より後に取得した第２の観察画像間の変化量を検出する変化量検出手段と、上記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素の画素情報を加算して出力するビニング手段と、上記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素のうち所定の画素のみの画素情報に間引いて出力する間引き手段と、所定の値に基づいて、上記第２の観察画像に対して上記ビニング手段または上記間引き手段を選択的に実行させる選択手段とを備えることを特徴とする。
また、本発明の一態様によれば、本発明の記録制御方法は、観察対象である被検物のタイムラプス撮影を行なう顕微鏡用撮像装置が実行する記録制御方法であって、顕微鏡装置によって観察する被検物を連続的に撮像して観察画像を取得し、上記取得した第１の観察画像および上記第１の観察画像より後に取得した第２の観察画像間の変化量を検出し、上記第２の観察画像に対して、上記検出した変化量に基づいて互いに隣接する複数画素の画素情報を加算して出力するか、または、上記第２の観察画像に対して、上記検出した変化量に基づいて互いに隣接する複数画素のうち所定の画素のみの画素情報に間引いて出力するかを、所定の値に基づいて選択的に実行し、上記出力結果を記録することを特徴とする。
また、本発明の一態様によれば、本発明の記録制御プログラムは、観察対象である被検物のタイムラプス撮影を行なう顕微鏡用撮像装置に実行させるための記録制御プログラムであって、顕微鏡装置によって観察する被検物を連続的に撮像して観察画像を取得する手順と、上記取得した第１の観察画像および上記第１の観察画像より後に取得した第２の観察画像間の変化量を検出する手順と、上記第２の観察画像に対して、上記検出した変化量に基づいて互いに隣接する複数画素の画素情報を加算して出力するか、または、上記第２の観察画像に対して、上記検出した変化量に基づいて互いに隣接する複数画素のうち所定の画素のみの画素情報に間引いて出力するかを、所定の値に基づいて選択的に実行する手順と、上記出力結果を記録する手順とを実行させるためのコンピュータ実行可能な記録制御プログラムである。
本発明によれば、顕微鏡用撮像装置の動画撮影およびタイムラプス撮影等において、標本の変化を検出し、検出結果に応じて観察画像の画素数を変えるため、標本の変化する期間の画像を高解像度で撮像することができる。
また、本発明によれば、顕微鏡用撮像装置の動画撮影およびタイムラプス撮影等において、標本の変化を検出し、検出結果に応じて観察再生の圧縮率を変えるため、標本の変化する期間の画像を高画質で撮像することができる。
また、本発明によれば、顕微鏡用撮像装置の動画撮影およびタイムラプス撮影等において、標本の変化を検出し、検出結果に応じて観察画像のフレーム間引き率を変えるため、標本の変化する期間の画像を高時間分解能で撮像することができる。
また、本発明によれば、間引きあるいはビニング機能を選択できるため、検鏡法や標本の明るさによって連続撮影間隔を大きく変える必要なく、適切な撮影画像を得ることが出来る。
また、本発明によれば、ビニング処理によって標本への照明光量を抑え、標本へのダメージを小さくすることができる。
また、本発明によれば、標本の撮像画像の時間変化量を算出する領域を任意に選択するため、画像視野内に複数の異なる標本が存在する場合でも、着目する標本に対して適切に標本変化を検出することができる。
また、本発明によれば、標本の撮像画像の時間変化量を算出する領域を任意に選択するため、画像視野内に複数の異なる標本が存在する場合でも、着目する標本に対して適切に標本変化を検出することができる。
また、本発明によれば、標本の変化を判断するしきい値を複数有し、それを選択することが可能であるため、様々な検鏡法や撮影環境において、標本の変化を適切に検出することができる。
すなわち、本発明によれば、顕微鏡用撮像装置の動画、タイムラプス撮影等において、被検物である標本の変化を検出し、その検出結果に応じて撮影画像の解像度、圧縮率、撮影間隔や照明光をコントロールするため、観察者の意図に即した適切な連続標本画像を取得することができる。
以下、図面を参照しながら本発明の実施の形態について述べる。
（第１の実施の形態）
図１は、本発明にかかる顕微鏡システムを適用した第１の実施の形態の構成を示す図であり、図２は、撮像部１０２の構成を示す図であり、図３は、信号処理部１０３の構成を示す図であり、図４は、変化検出部１０４の構成を示す図である。
（第１の実施の形態）
図１は、本発明にかかる顕微鏡システムを適用した第１の実施の形態の構成を示す図であり、図２は、撮像部１０２の構成を示す図であり、図３は、信号処理部１０３の構成を示す図であり、図４は、変化検出部１０４の構成を示す図である。
図１において、顕微鏡システム１００は、例えば透過明視野観察または蛍光観察などの各種検鏡法の状態に切換可能な顕微鏡１０１と、この顕微鏡１０１により得られる観察像の撮像を行なう撮像部１０２と、信号処理部１０３と、変化検出部１０４と、画素数変換部１０５と、コントローラ１０６と、Ｉ／Ｆ部１０７と、パーソナルコンピュータ（ＰＣ）１０８と、表示部１０９と、入力装置１１０と、ＣＰＵ１１２とを備えている。そして、ＣＰＵ１１２は、制御バス１１１を介して撮像部１０２、信号処理部１０３、変化検出部１０４、画素数変換部１０５、コントローラ１０６と接続されている。
図２において、撮像部１０２は、撮像レンズ２０１と、撮像素子２０２と、ＣＤＳ／ＡＧＣ回路２０３と、Ａ／Ｄ変換器２０４と、駆動部（ＴＧＶ−ｄｒｖ）２０５とを備えており、一般的なＣＣＤカメラが有しているものである。
まず、顕微鏡１０１から入射される標本画像は、撮像部１０２に入る。すると、入射した標本画像は、撮像レンズ２０１によって撮像素子２０２に結像される。そして、撮像素子２０２および制御バス１１１と接続された駆動部２０５が、制御バス１１１を介してＣＰＵ１１２から指示された条件で撮像素子２０２を駆動するための駆動信号を生成し、撮像素子２０２に出力する。また、上記駆動部２０５は、ＣＰＵ１１２の指示に応じて撮像素子２０２の光電変換を全画素、あるいは、隣接縦横２画素ずつ４画素を加算し１画素として読み出すビニンクモードで撮像するための駆動信号を撮像素子２０２に出力する。撮像素子２０２は、これらのいずれかの駆動信号に応じて入射光を光電変換する。
光電変換した信号は、相関二重サンプリング（ＣＤＳ）および利得自動調整（ＡＧＣ）するＣＤＳ／ＡＧＣ回路２０３を通り、Ａ／Ｄ変換器２０４によってデジタル信号に変換された後、フレーム周期タイミングを示す周期信号とともに信号処理部１０３に出力される。
信号処理部１０３は、図３に示すように、制御バス１１１を介したＣＰＵ１１２からの設定に応じて入力画像データに対してブラックバランス（ＢＢ）補正３０１およびホワイトバランス（ＷＢ）補正３０２等のカメラの画像調整処理を行ない、画素数変換部１０５に画像データを出力するとともに変化検出部１０４に画像データと同期信号を出力する。また、ＡＥ評価値部３０３は、露出時間を算出するのに必要なフレームごとの輝度積算値を算出しＣＰＵ１１２に送信する。
図４に示すように、信号処理部１０３からの入力される画像データ信号は、変化検出部１０４に入力される際、２系統に分けられる。片側１系統の画像データ信号は、そのまま差分検出部４０２に入力され、もう１系統の画像データ信号は、フレーム遅延部４０１によって１フレーム遅延されたのち、差分検出部４０２に入力される。
差分検出部４０２は、入力される現フレームの画像データ信号（信号処理部１０３からそのまま入力された画像データ信号）と前フレームの画像データ信号（フレーム遅延部４０１によって１フレーム遅延された画像データ信号）の輝度差分値を画素毎に演算し、入力同期信号を元にその差分値を１フレーム毎に積算した積算値Ｓをしきい値判別部４０３に出力する。
しきい値判別部４０３は、制御バス１１１を介してＣＰＵ１１２と接続されており、ＣＰＵ１１２によって予め設定されたしきい値Ｔｈと、積算値Ｓとの大小を比較し、その比較結果を比較結果信号ＫとしてＣＰＵ１１２に送信する。例えば、積算値Ｓがしきい値Ｔｈ以上であれば（Ｓ≧Ｔｈ）Ｋの値として１を出力し、積算値Ｓがしきい値Ｔｈより小さければ（Ｓ＜Ｔｈ）Ｋの値として０を出力する。
画素数変換部１０５は、ＣＰＵ１１２からの入力信号に応じて、信号処理部１０３から入力された画像データに処理を何も施さないスルー画像、もしくは、隣接縦横２画素の４画素中同位置の１画素のみを出力し、総画素数を１／４に減らす間引きのいずれかの処理によって画素数を減らした画像を生成し、コントローラ１０６に出力する。
コントローラ１０６は、Ｉ／Ｆ部１０７を介してＰＣ１０８と、制御バス１１１を介してＣＰＵ１１２と接続しており、データ形式の変換を行ないつつＰＣ１０８、ＣＰＵ１１２間の撮像データ送受信のタイミング調整を行なう。また、コントローラ１０６は、画素数変換部１０５と接続されており、画素数変換部１０５から入力される画像データをＩ／Ｆ部１０７に送信する。
Ｉ／Ｆ部１０７は内部にバッファメモリを有しており、ＰＣ１０８とコントローラ１０６間のデータ通信のタイミング調整を行なう。
ＰＣ１０８には、表示部１０９、入力装置１１０が接続されている。
ＰＣ１０８には、表示部１０９、入力装置１１０が接続されている。
表示部１０９は、ＴＦＴやＣＲＴなどのモニターであり、ＰＣ１０８からの入力画像信号に応じてモニターに画像を表示する。
入力装置１１０は、ボタン、キーボード、マウス等、操作者が撮影条件や撮影タイミング等の指示を与えるための入力デバイスであり、ＰＣ１０８に接続されている。
入力装置１１０は、ボタン、キーボード、マウス等、操作者が撮影条件や撮影タイミング等の指示を与えるための入力デバイスであり、ＰＣ１０８に接続されている。
次に、上述のような構成を有する本実施の形態の顕微鏡システム１００が実行する動作について説明する。
図５は、顕微鏡システム１００が実行する撮影処理の流れを示すフローチャートである。
図５は、顕微鏡システム１００が実行する撮影処理の流れを示すフローチャートである。
まず、操作者が顕微鏡システム１００の電源を投入すると、ステップＳ５０１において、顕微鏡システム１００の電源がＯＮされ、ＰＣ１０８が、内蔵記憶装置に保存されているデフォルトの撮像条件で標本画像を取得するための撮像データを、コントローラ１０６を介してＣＰＵ１１２に送信する。そして、ステップＳ５０２において、ＣＰＵ１１２は、ＰＣ１０８から受信した撮像データに応じて撮像するための制御パラメータを、制御バス１１１を通じて各部に送信して設定する。
次に、ステップＳ５０３において、ライブ画像表示命令があるまで待機し、操作者が入力装置１１０からライブ画像表示開始をＰＣ１０８に通知すると、ＰＣ１０８はＣＰＵ１１２にライブ画像表示の開始を指示する信号を送信する。すると、ステップＳ５０４において、ライブ画像表示が開始される。
ライブ画像表示をより具体的に説明すると以下のようになる。
まず、ライブ画像表示開始の信号を受信したＣＰＵ１１２が、駆動部２０５に撮像開始を指示する。指示を受けた駆動部２０５は、駆動信号を生成し、撮像素子２０２に送信する。
まず、ライブ画像表示開始の信号を受信したＣＰＵ１１２が、駆動部２０５に撮像開始を指示する。指示を受けた駆動部２０５は、駆動信号を生成し、撮像素子２０２に送信する。
撮像素子２０２は、駆動部２０５からの入力信号にしたがって、顕微鏡１０１からの入射光を光電変換し出力する。ここで駆動部２０５は、ＣＰＵ１１２の指示に応じて顕微鏡１０１の標本画像を撮像素子２０２の全画素撮像するための駆動信号を撮像素子２０２に出力する。撮像素子２０２は、このいずれかの駆動信号に応じて入射光を光電変換する。この後撮像素子２０２の出力信号は、ＣＤＳ／ＡＧＣ回路２０３を通り、Ａ／Ｄ変換器２０４によってデジタルデータに変換された後、信号処理部１０３に送信される。信号処理部１０３において種々の画像処理を行なった画像データは、画素数変換部１０５と変化検出部１０４に出力されるが、このとき変化検出部１０４は動作しない。
画素数変換部１０５は、処理を施さす入力画像データをそのままコントローラ１０６に送信する。
コントローラ１０６は、Ｉ／Ｆ部１０７を介してＰＣ１０８とのタイミング調整を取りながら、入力画像データをＰＣ１０８に送信する。ＰＣ１０８は、入力画像データをモニター表示用信号に変換した後、表示部１０９に送信し、表示部１０９に標本画像が表示される。以上の動作が連続的に繰り返され、標本のライブ画像が表示部１０９に表示される。
コントローラ１０６は、Ｉ／Ｆ部１０７を介してＰＣ１０８とのタイミング調整を取りながら、入力画像データをＰＣ１０８に送信する。ＰＣ１０８は、入力画像データをモニター表示用信号に変換した後、表示部１０９に送信し、表示部１０９に標本画像が表示される。以上の動作が連続的に繰り返され、標本のライブ画像が表示部１０９に表示される。
次に、ステップＳ５０５において、撮影条件変更命令があるまで待機し、操作者が、入力装置１１０からホワイトバランス、露出等の撮影条件を変えることをＰＣ１０８に指示すると、ステップＳ５０６において、ＣＰＵ１１２はＰＣ１０８から受信した撮像データを元に各部の制御パラメータを設定変更する。このパラメータ変更に応じてライブ画像表示が変わる。
そして、ステップＳ５０７において、入力装置１１０からＰＣ１０８に対しての間引き（Ａ）もしくはビニング（Ｂ）のいずれかのモードの指定、および、所定時間の動画撮影もしくはタイムラプス連続撮影開始の指示を、操作者から受けると、ＰＣ１０８は、Ｉ／Ｆ部１０７を通して撮像データをＣＰＵ１１２に送信する。ステップＳ５０８において、ＣＰＵ１１２は、読み取った撮像データに応じて、変化検出部１０４にしきい値Ｔｈを送信し、画素数変換部１０５と駆動部２０５に間引き（Ａ）およびビニング（Ｂ）のいずれかの画像処理を選択する間引き選択信号ＳＥＬを送信し、各部に設定する。ここでビニング（Ｂ）モードが選択されていたとき、駆動部２０５は、ビニングモードかつ露出時間を間引き（Ａ）の１／４にして撮影するための駆動信号を出力する。
なお、間引き（Ａ）もしくはビニング（Ｂ）のいずれかのモードの指定は、１フレームの画像データの輝度値（明るさ）に応じて指定されるように予め設定されていても良い。
次に、ステップＳ５０９において、ＰＣ１０８は、ＣＰＵ１１２に対して撮影開始を指示する撮像データを送信すると同時に内蔵タイマをスタートさせる。このとき変化検出部１０４が動作開始する。そして、顕微鏡１０１からの入射光を撮像素子２０２によって光電変換した信号は、ライブ画像表示時と同様に処理され、画素数変換部１０５と変化検出部１０４に出力される。
次に、ステップＳ５０９において、ＰＣ１０８は、ＣＰＵ１１２に対して撮影開始を指示する撮像データを送信すると同時に内蔵タイマをスタートさせる。このとき変化検出部１０４が動作開始する。そして、顕微鏡１０１からの入射光を撮像素子２０２によって光電変換した信号は、ライブ画像表示時と同様に処理され、画素数変換部１０５と変化検出部１０４に出力される。
変化検出部１０４は、差分検出部４０２において前後２フレームの入力画像の差分積算値Ｓを算出し、しきい値判別部４０３においてＣＰＵ１１２に設定されたしきい値Ｔｈと比較し、Ｓ≧Ｔｈを満たすときに信号Ｋ＝“１”、満たさないとき（Ｓ＜Ｔｈ）にＫ＝“０”をデジタル信号としてＣＰＵ１１２に送信する。ただし、最初の１フレーム目は、前フレームのデータがないためＫ＝０を出力する。
ＣＰＵ１１２は、比較結果Ｋを毎フレーム取得し、間引き選択信号ＳＥＬ＝Ｂ（ビニング）かつ比較結果Ｋ＝１（変化大）のとき、駆動部２０５を制御し、次フレームの撮像素子２０２の駆動信号を変化させゲインを４倍にする。また、間引き選択信号ＳＥＬ＝Ｂ（ビニング）かつ比較結果Ｋ＝０（変化小）のときは、次フレームをビニングモードで撮影するための駆動信号を生成させる。
また、ＣＰＵ１１２は、画素数変換部１０５に制御信号を送信し、変化検出部１０４においてフレーム間差分の積算値が設定しきい値より小さいと判断し（Ｋ＝０）、かつ間引き選択信号ＳＥＬ＝Ａの場合は間引き処理によって画素数を落とした画像を生成し、それ以外の場合は、何も処理を施さず出力させる。
図６は、上述の結果、間引き選択信号ＳＥＬと比較結果Ｋに応じて画素数変換部１０５から出力されるデータ形式を示している図である。
コントローラ１０６は、Ｉ／Ｆ部１０７を介してＰＣ１０８とのタイミング調整を取りながら、画像データをＰＣ１０８に送信する。
コントローラ１０６は、Ｉ／Ｆ部１０７を介してＰＣ１０８とのタイミング調整を取りながら、画像データをＰＣ１０８に送信する。
ここで、操作者がタイムラプス連続撮影を指示したとき、ＰＣ１０８は、入力画像データを操作者指定の時間間隔で取り込み、所定の静止画フォーマットに変換した後、内部記憶装置に保存する。
以上の撮像からＰＣ１０８の内部記憶装置への記録までの動作は、連続的に繰り返されて実行される。
そして、ステップＳ５１０において、ＰＣ１０８が内蔵タイマによって操作者の指定した撮影時間が経過したのを検出すると、操作者が動画撮影を指示していたとき、ステップＳ５１１において、ＰＣ１０８は、入力画像データを所定のフォーマットに変換し、図示しない内部記憶装置に保存した後、一連の動作は停止し、撮影は終了する。
そして、ステップＳ５１０において、ＰＣ１０８が内蔵タイマによって操作者の指定した撮影時間が経過したのを検出すると、操作者が動画撮影を指示していたとき、ステップＳ５１１において、ＰＣ１０８は、入力画像データを所定のフォーマットに変換し、図示しない内部記憶装置に保存した後、一連の動作は停止し、撮影は終了する。
次に本第１の実施の形態の作用、効果について説明する。
図７は、差分検出部４０２が算出する連続したフレームの輝度差分積算値Ｓの時間変化を表す図である。
図７は、差分検出部４０２が算出する連続したフレームの輝度差分積算値Ｓの時間変化を表す図である。
横軸が時間（フレーム）、縦軸が輝度差分値の１フレーム毎の積分値を表している。ここでは、５から８フレーム目までがしきい値Ｔｈを超えているので、しきい値判別部４０３からはＫ＝１が出力され、それ以外のフレームにおいては、Ｋ＝０が出力される。この場合、５から８までの期間を、画像輝度値の変化が大きく、標本の状態が他期間に比べて大きく変動した期間と判断する。
図８および図９は、間引き選択信号ＳＥＬとしきい値判別結果Ｋに応じた出力画像の状態を表に示した図である。
しきい値判別部４０３の出力結果がＫ＝１、すなわち標本状態の変化が他と比べて大きいと判断した次フレームは、操作者が間引き、あるいはビニングいずれかの処理を選択していても、常に何も処理を施さず画素数を減らさないスルーの画像が出力される。一方、しきい値判別部４０３の出力結果がＫ＝０、すなわち標本状態の変化が小さいと判断した次フレームは、操作者の選択に応じて、間引き、もしくはビニング処理して画素数を減らした画像が出力される。ここで操作者がビニングモードを選択した場合、隣接画素との加算処理によって１画素あたりの輝度値が間引きモードと比べて大きくなるため、露出時間が短くなり、フレームレートが上がる。
しきい値判別部４０３の出力結果がＫ＝１、すなわち標本状態の変化が他と比べて大きいと判断した次フレームは、操作者が間引き、あるいはビニングいずれかの処理を選択していても、常に何も処理を施さず画素数を減らさないスルーの画像が出力される。一方、しきい値判別部４０３の出力結果がＫ＝０、すなわち標本状態の変化が小さいと判断した次フレームは、操作者の選択に応じて、間引き、もしくはビニング処理して画素数を減らした画像が出力される。ここで操作者がビニングモードを選択した場合、隣接画素との加算処理によって１画素あたりの輝度値が間引きモードと比べて大きくなるため、露出時間が短くなり、フレームレートが上がる。
したがって、本第１の実施の形態によれば、動画やタイムラプス等の連続撮影をする際に、標本の状態変化を検出し、変化が小さいと判断した期間は、間引いて画素数を落とした画像を撮像画像とし、変化が大きいと判断した期間は、間引かずに画素数をキープした画像を撮像画像とするため、観察者が注目する標本の変化を確認するに足る十分な解像度を保持した効率的な連続撮影を行なうことができる。また、露出時間の長い蛍光のような暗い標本に対して操作者がビニングモードを選択すれば、照明（励起）光を強くして露出時間を短くすることなく時間分解能を保持できるため、照明光による標本へのダメージを抑えることが出来る。
なお、本第１の実施の形態においては、前後フレームの輝度差分積算値Ｓが所定しきい値より大きく、かつ操作者がビニングモードを選択しているとき、撮像素子２０２のゲインが通常の４倍となるように設定したが、ゲインを変えずに画像取得することも可能である。この場合、露出時間が長くなるが、ノイズ成分の少ない画像を取得することが出来る。
（第２の実施の形態）
次に、本発明を適用した第２の実施の形態について述べる。
（第２の実施の形態）
次に、本発明を適用した第２の実施の形態について述べる。
本第２の実施の形態の特徴は、標本の変化状態に応じて顕微鏡１０１の照明光を調節することにある。
図１０は、本発明にかかる顕微鏡システムを適用した第２の実施の形態の構成を示す図である。
図１０は、本発明にかかる顕微鏡システムを適用した第２の実施の形態の構成を示す図である。
図１０において、顕微鏡システム１００Ａは、例えば透過明視野観察または蛍光観察などの各種検鏡法の状態に切換可能な顕微鏡１０１と、この顕微鏡１０１により得られる観察像の撮像を行なう撮像部１０２と、信号処理部１０３と、変化検出部１０４と、画素数変換部１０５と、コントローラ１０６と、Ｉ／Ｆ部１０７と、パーソナルコンピュータ（ＰＣ）１０８と、表示部１０９と、入力装置１１０と、ＣＰＵ１１２と、照明制御部１００１とを備えているが、照明制御部１００１をさらに備えていること以外は第１の実施の形態と同様であるため、説明を省略する。
照明制御部１００１は、顕微鏡１０１のＮＤフィルタ等の調光手段に接続しており、それらを駆動して、標本に照射する照明光量をコントロールする機能を有するものである。そして、照明制御部１００１は、制御バス１１１を介してＣＰＵ１１２にも接続されており、ＣＰＵ１１２からの指示に応じて照明光量を制御する。
次に、本第２の実施の形態の動作について説明する。
本第２の実施の形態における撮影処理の流れは、図５を用いて説明した第１の実施の形態における撮影処理と同様であるので、図５のフローチャートを用いて説明する。
本第２の実施の形態における撮影処理の流れは、図５を用いて説明した第１の実施の形態における撮影処理と同様であるので、図５のフローチャートを用いて説明する。
まず、操作者が顕微鏡システム１００Ａの電源を投入すると、顕微鏡システム１００の電源がＯＮされ（Ｓ５０１）、撮影条件を変更、調整（Ｓ５０６）するまでの動作は第１の実施の形態と同様であるため説明を省略する。
操作者が入力装置１１０からＰＣ１０８に動画もしくはタイムラプスによる連続撮影の指示を与え、ＰＣ１０８がその指示を受けると（Ｓ５０７）と、ＰＣ１０８から撮像データを受信したＣＰＵ１１２は、変化検出部１０４にしきい値Ｔｈを、駆動部２０５にビニングモードを指示する信号を送信して設定する（Ｓ５０８）。
次に、ＰＣ１０８は、ＣＰＵ１１２に対して撮影開始を指示する撮像データを送信すると同時に内蔵タイマをスタートさせる（Ｓ５０９）。ＣＰＵ１１２は、ＰＣ１０８が指示した撮像条件にしたがって撮像するための制御パラメータを撮像部１０２に送信する。このときＣＰＵ１１２は、照明制御部１００１に制御信号を送信し、照明光量を撮影前の１／４に下げる。
このとき撮像素子２０２は、駆動部２０５が生成した駆動信号にしたがって、顕微鏡１０１からの入射光を光電変換し出力する。この出力信号は第１の実施の形態と同様な経路を通って処理され、デジタル信号として画素数変換部１０５と変化検出部１０４に出力される。
変化検出部１０４は、第１の実施の形態と同様に連続２フレームの画像データに対する差分積算値Ｓを算出し、しきい値Ｔｈと比較した比較結果信号ＫをＣＰＵ１１２に送信する。
ここでＣＰＵ１１２は、図１１に示すように比較結果信号Ｋ＝０（変化小）の次フレームは２×２ビニング、比較結果Ｋ＝１（変化大）の次フレームは通常の全画素撮像で撮像素子２０１を駆動するための制御信号を駆動部２０５に送信する。駆動部２０５はＣＰＵ１１２からの制御信号に応じて駆動信号を生成し、撮像素子２０１に出力する。また、ＣＰＵ１１２は、Ｋ＝０（変化小）の次フレームに、照明制御部１００１に制御信号を送信し、照明光量をスルー画像取得時の１／４にする。
画素数変換部１０５は、何も処理を施さず入力画像データをそのまま出力する。
この後、コントローラ１０６への入力画像がＩ／Ｆ部１０７を通りＰＣ１０８に至る画像データフローと、ＰＣ１０８が内蔵タイマによって撮影完了を検知し、撮影動作を完了するまでの動作は第１の実施の形態と同様であるため省略する。
この後、コントローラ１０６への入力画像がＩ／Ｆ部１０７を通りＰＣ１０８に至る画像データフローと、ＰＣ１０８が内蔵タイマによって撮影完了を検知し、撮影動作を完了するまでの動作は第１の実施の形態と同様であるため省略する。
次に本第２の実施の形態の作用、効果について述べる。
本第２の実施の形態は、図１１に示すように、連続撮影画像についてフレーム間差分の大きい（Ｋ＝１）期間は、標本の状態に大きな変化があったことを検出して、間引き処理をしないスルー画像を取得し、フレーム間差分値の小さい（Ｋ＝０）期間は、標本の状態変化が少ないことを検出してビニング処理をした画像を取得すると同時に標本に当てる照明光量を弱める。撮影中、ゲインは常に一定である。
本第２の実施の形態は、図１１に示すように、連続撮影画像についてフレーム間差分の大きい（Ｋ＝１）期間は、標本の状態に大きな変化があったことを検出して、間引き処理をしないスルー画像を取得し、フレーム間差分値の小さい（Ｋ＝０）期間は、標本の状態変化が少ないことを検出してビニング処理をした画像を取得すると同時に標本に当てる照明光量を弱める。撮影中、ゲインは常に一定である。
したがって、動画、タイムラプス等の撮影において、画質を大きく劣化させることなく標本の変化が大きい期間の撮影画像を高解像度化すると同時に、変化の小さい着目外の期間の照明光強度を抑えるため、照明光の標本に与えるダメージを最小限に抑えつつ、より微細な標本の時間変化を確認することが出来る。
（第３の実施の形態）
次に、本発明を適用した第３の実施の形態について述べる。
（第３の実施の形態）
次に、本発明を適用した第３の実施の形態について述べる。
本第３の実施の形態の特徴は、撮影画像中の標本変化を検出する領域を可変とし、その領域を操作者が指定することにあり、第１の実施の形態における変化検出部１０４の代わりに変化検出部１０４Ａが備えられている。
図１２は、本発明を適用した第３の実施の形態の変化検出部１０４Ａの構成を示す図である。
図１２において、変化検出部１０４Ａは、アドレス比較部１２０１を備えていることが第１の実施の形態と異なっている。
図１２において、変化検出部１０４Ａは、アドレス比較部１２０１を備えていることが第１の実施の形態と異なっている。
アドレス比較部１２０１は、信号処理部１０３、フレーム遅延部４０１、差分検出部４０２、そして制御バス１１１を介してＣＰＵ１１２と接続されている。
そして、アドレス比較部１２０１には、信号処理部１０３から画像データと同期信号が入力され、フレーム遅延部４０１からは１フレーム遅延された画像データが入力され、ＣＰＵ１１２から撮影画像の所定領域を示すアドレス情報が入力される。また、アドレス比較部１２０１は、信号処理部１０３から入力される同期信号を元に、入力画像データが撮像画面内のどの位置のデータであるかを示すアドレスを生成する。そして、そのアドレスをＣＰＵ１１２から設定されたアドレス情報と比較し、比較結果に応じて差分検出部４０２への出力画像の形態を変更する。
そして、アドレス比較部１２０１には、信号処理部１０３から画像データと同期信号が入力され、フレーム遅延部４０１からは１フレーム遅延された画像データが入力され、ＣＰＵ１１２から撮影画像の所定領域を示すアドレス情報が入力される。また、アドレス比較部１２０１は、信号処理部１０３から入力される同期信号を元に、入力画像データが撮像画面内のどの位置のデータであるかを示すアドレスを生成する。そして、そのアドレスをＣＰＵ１１２から設定されたアドレス情報と比較し、比較結果に応じて差分検出部４０２への出力画像の形態を変更する。
次に、本第３の実施の形態の動作について述べる。
本第３の実施の形態における撮影処理の流れは、図５を用いて説明した第１の実施の形態における撮影処理と同様であるので、図５のフローチャートを用いて説明する。
本第３の実施の形態における撮影処理の流れは、図５を用いて説明した第１の実施の形態における撮影処理と同様であるので、図５のフローチャートを用いて説明する。
操作者が顕微鏡システム１００の電源を投入することにより顕微鏡システム１００の電源がＯＮされるステップ（Ｓ５０１）から、標本のライブ画像が表示部１０９に表示されるステップ（Ｓ５０４）までの手順は、第１の実施の形態と同様であるため説明は省略する。
繰作者がライブ画像表示を見ながら撮像設定を変えて調整すると同時に、画像中で注目する領域を入力装置から指定すると、ＰＣ１０８は、操作者の指定した領域を表示部１０９に表示する。同時に、この領域が画面上縦横どの位置に存在するかを示すアドレス情報をＣＰＵ１１２に送信する。
図１３は、表示部１０９における表示画像を模式的に表したものである。
図１３は、ライブ画像表示画面１３０１に標本１３０３および標本１３０４が存在するとき、操作者がマウス等の入力装置によって標本１３０４周辺の指定領域１３０２を指定した状態を表している。
図１３は、ライブ画像表示画面１３０１に標本１３０３および標本１３０４が存在するとき、操作者がマウス等の入力装置によって標本１３０４周辺の指定領域１３０２を指定した状態を表している。
このとき、ＣＰＵ１１２はアドレス情報をアドレス比較部１２０１に送信するが、アドレス比較部１２０１は、この入力アドレス情報に関わらず、連続２フレームの入力画像データに処理を施さずスルー出力する。
操作者が、ライブ画像表示を参照しつつ撮像状態を変更し（Ｓ５０５、Ｓ５０６）、所望の画像に調整した後、連続撮影開始を指示（Ｓ５０７）してから実際に撮影開始する（Ｓ５０９）までの動作は、第１の実施の形態と同様である。
ＣＰＵ１１２からの制御パラメータの設定に応じて撮像部１０２によって得られた標本画像データは、信号処理部１０３で種々の画像処理がなされ、変化検出部１０４Ａと画素数変換部１０５に出力される。
変化検出部１０４Ａ内のアドレス比較部１２０１は、信号処理部１０３から入力される画像の位置アドレスとＣＰＵ１１２から設定されたアドレス情報を比較し、一致したときは、差分検出部４０２に２フレーム連続の入力画像データをスルー出力し、一致しなかった場合は、差分検出部４０２に輝度値“０”のデータを出力する。
差分検出部４０２は、連続２フレームの入力画像データに対して、上述の第１の実施の形態と同様に輝度差分値のフレーム積算値Ｓを算出し、しきい値判別部４０３に出力する。しきい値判別部４０３が、設定しきい値Ｔｈと積算値Ｓの比較結果ＫをＣＰＵ１１２に送信し、この比較結果信号Ｋと、ＣＰＵ１１２から指定された間引き選択信号ＳＥＬに応じた画像データをコントローラ１０６に出力し、Ｉ／Ｆ部１０７を介して、ＰＣ１０８に動画、もしくはタイムラプス静止画として保存し、撮影終了（Ｓ５１１）するまでの手順は、第１の実施の形態と同様である。
次に本第３の実施の形態の作用、効果について述べる。
撮影画面内に観察対象となる部位が複数存在するとき、例えば、図１３に示すように２つの標本１３０３および標本１３０４が存在する場合、観察者が一方の標本１３０４の状態変化に着目し、その標本を含む領域１３０２を指定すると、標本の変化を検出する変化検出部１０４は、着目する標本１３０４を含む領域１３０２の輝度値のみで連続２フレームの輝度差分積算値を算出する。したがって、着目外の標本１３０３が変化してもその変化を検出することはなく、注目する標本１３０４の変化した期間のみを検出するため、標本１３０４の変化期間をより正確に検出して高解像度した連続撮影画像を取得することができる。
（第４の実施の形態）
次に、本発明を適用した第４の実施の形態について述べる。
撮影画面内に観察対象となる部位が複数存在するとき、例えば、図１３に示すように２つの標本１３０３および標本１３０４が存在する場合、観察者が一方の標本１３０４の状態変化に着目し、その標本を含む領域１３０２を指定すると、標本の変化を検出する変化検出部１０４は、着目する標本１３０４を含む領域１３０２の輝度値のみで連続２フレームの輝度差分積算値を算出する。したがって、着目外の標本１３０３が変化してもその変化を検出することはなく、注目する標本１３０４の変化した期間のみを検出するため、標本１３０４の変化期間をより正確に検出して高解像度した連続撮影画像を取得することができる。
（第４の実施の形態）
次に、本発明を適用した第４の実施の形態について述べる。
本第４の実施の形態の特徴は、標本の変化状態に応じて連続撮影画像の圧縮率を変えることにある。
図１４は、本発明にかかる顕微鏡システムを適用した第４の実施の形態の構成を示す図である。
図１４は、本発明にかかる顕微鏡システムを適用した第４の実施の形態の構成を示す図である。
図１４において、顕微鏡システム１００Ｂは、例えば透過明視野観察または蛍光観察などの各種検鏡法の状態に切換可能な顕微鏡１０１と、この顕微鏡１０１により得られる観察像の撮像を行なう撮像部１０２と、信号処理部１０３と、変化検出部１０４と、圧縮部１４０１と、コントローラ１０６と、Ｉ／Ｆ部１０７と、パーソナルコンピュータ（ＰＣ）１０８と、表示部１０９と、入力装置１１０と、ＣＰＵ１１２とを備えているが、画素数変換部１０５の代わりに圧縮部１４０１を備えていること以外は第１の実施の形態と同様であるため、説明を省略する。
圧縮部１４０１は、信号処理部１０３、変化検出部１０４、コントローラ１０６および制御バス１１１と接続されており、信号処理部１０３から画像データが入力され、変化検出部１０４から上述の比較結果信号Ｋが入力される。また、コントローラ１０６に対して画像データを出力する。そして、圧縮部１４０１は、変化検出部１０４からの比較結果信号Ｋに応じた圧縮率（Ａ：圧縮率大、Ｂ：圧縮率小）によって信号処理部１０３からの入力画像データを圧縮した画像、もしくは何も処理を施さないスルー画像をコントローラ１０６に送信する。
次に、本第４の実施の形態の動作について述べる。
本第４の実施の形態における撮影処理の流れは、図５を用いて説明した第１の実施の形態における撮影処理と同様であるので、図５のフローチャートを用いて説明する。
本第４の実施の形態における撮影処理の流れは、図５を用いて説明した第１の実施の形態における撮影処理と同様であるので、図５のフローチャートを用いて説明する。
操作者が顕微鏡システム１００Ｂの電源を投入することにより顕微鏡システム１００Ｂの電源がＯＮされるステップ（Ｓ５０１）から、ライブ画像開始が指示されるステップ（Ｓ５０３）、表示部１０９にライブ画像が表示されるステップ（Ｓ５０４）、操作者の指示により撮影画像が調整されるステップ（Ｓ５０６）までの手順は、第１の実施の形態と同様であるため説明を省略する。ただし、このとき変化検出部１０４は動作せず、圧縮部１４０１は、信号処理部１０３から入力される画像データに何も処理せずにコントローラ１０６に出力する。
ここで操作者が、所定時間の連続撮影開始を指示する（Ｓ５０７）と、初めにＰＣ１０８が、制御データをＩ／Ｆ部１０７を通してＣＰＵ１１２に送信する。ＣＰＵ１１２は、受信した撮像データに応じて変化検出部１０４にしきい値Ｔｈを設定する（Ｓ５０８）と同時に、圧縮部１４０１に高圧縮率Ａを指定する信号を送信して設定する。
次に、ＰＣ１０８は、ＣＰＵ１１２に対して撮影開始を指示する制御データを送信すると同時に内蔵タイマをスタートさせる（Ｓ５０９）。このとき変化検出部１０４が動作開始する。顕微鏡１０１からの入射光を撮像素子２０２によって光電変換した信号は、ライブ画像表示時と同様に処理され、圧縮部１４０１と変化検出部１０４に出力される。
変化検出部１０４は、第１の実施の形態と同様に、差分検出部４０２において前後２フレームの入力画像の差分積算値Ｓを算出し、しきい値判別部４０３においてしきい値Ｔｈと比較し、Ｓ≧Ｔｈを満たすときに信号Ｋ＝“１”、満たさないときにＫ＝“０”をデジタル信号として圧縮部１４０１とＣＰＵ１１２に送信する。ただし、最初の１フレーム目は、前フレームのデータがないためＫ＝０を出力する。
圧縮部１４０１は、変化検出部１０４の出力信号Ｋに応じて、図１５に示す圧縮率で画像を圧縮して、コントローラ１０６に出力する。すなわち、変化検出部１０４においてフレーム間差分の積算値が設定しきい値より大きいと判断したとき（Ｋ＝１）は、小さい圧縮率Ｂで画像を圧縮し、一方、フレーム間差分の積算値が設定しきい値より小さいと判断したとき（Ｋ＝０）は、大きい圧縮率Ａで画像を圧縮した画像データを生成し、コントローラ１０６に出力する。
この後、コントローラ１０６に送信された画像データが、Ｉ／Ｆ部１０７を介してＰＣ１０８に連続的に送信され、ＰＣ１０８の内蔵タイマが所定の撮影時間が経過したのを検出し、ＰＣ１０８において所定のファイル形式に保存され一連の撮像動作が終わる（Ｓ５１１）までの動作は、第１の実施の形態と同様であるため省略する。
次に、本第４の実施の形態の作用、効果について述べる。
本第４の実施の形態において、変化検出部１０４においてフレーム間差分の積算値が設定しきい値より大きいと判断したとき（Ｋ＝１）は、標本の状態変化が大きいことを検出して小さい圧縮率Ｂで画像を圧縮した画像データを生成し、一方、フレーム間差分の積算値が設定しきい値より小さいと判断したとき（Ｋ＝０）は、標本の状態変化が小さいことを検出して大きい圧縮率Ａで画像を圧縮した画像データを生成するため、観察者が注目する標本の変化する期間において低圧縮で高画質の画像を得ることが出来る。
（第５の実施の形態）
次に、本発明を適用した第５の実施の形態について述べる。
本第４の実施の形態において、変化検出部１０４においてフレーム間差分の積算値が設定しきい値より大きいと判断したとき（Ｋ＝１）は、標本の状態変化が大きいことを検出して小さい圧縮率Ｂで画像を圧縮した画像データを生成し、一方、フレーム間差分の積算値が設定しきい値より小さいと判断したとき（Ｋ＝０）は、標本の状態変化が小さいことを検出して大きい圧縮率Ａで画像を圧縮した画像データを生成するため、観察者が注目する標本の変化する期間において低圧縮で高画質の画像を得ることが出来る。
（第５の実施の形態）
次に、本発明を適用した第５の実施の形態について述べる。
本第５の実施の形態の特徴は、標本の変化状態に応じて連続撮影画像のフレーム間引き率を変えることにある。
図１６は、本発明にかかる顕微鏡システムを適用した第５の実施の形態の構成を示す図である。
図１６は、本発明にかかる顕微鏡システムを適用した第５の実施の形態の構成を示す図である。
図１６において、顕微鏡システム１００Ｃは、例えば透過明視野観察または蛍光観察などの各種検鏡法の状態に切換可能な顕微鏡１０１と、この顕微鏡１０１により得られる観察像の撮像を行なう撮像部１０２と、信号処理部１０３と、変化検出部１０４と、フレーム間引き部１６０１と、コントローラ１０６と、Ｉ／Ｆ部１０７と、パーソナルコンピュータ（ＰＣ）１０８と、表示部１０９と、入力装置１１０と、ＣＰＵ１１２とを備えているが、画素数変換部１０５の代わりにフレーム間引き部１６０１を備えていること以外は第１の実施の形態と同様であるため、説明を省略する。
フレーム間引き部１６０１は、信号処理部１０３、変化検出部１０４、コントローラ１０６および制御バス１１１と接続されており、信号処理部１０３から画像データと同期信号が入力され、変化検出部１０４から上述の比較結果信号Ｋが入力される。また、コントローラ１０６に対して画像データを出力する。そして、フレーム間引き部１６０１は、内部に図示しないカウンタを有しており、入力同期信号からフレーム数をカウントする。フレーム間引き部１６０１は、そのフレームカウンタ値を元にフレーム変化検出部１０４からの比較結果信号ＫをＮフレーム周期で読み取り、図１７に示すように信号処理部１０３からの入力画像をＮフレーム周期で間引く（Ａ）か、もしくは間引かない（Ｂ）のいずれかの状態に処理しコントローラ１０６に出力する。
次に、本第５の実施の形態の動作について述べる。
本第５の実施の形態における撮影処理の流れは、図５を用いて説明した第１の実施の形態における撮影処理と同様であるので、図５のフローチャートを用いて説明する。
本第５の実施の形態における撮影処理の流れは、図５を用いて説明した第１の実施の形態における撮影処理と同様であるので、図５のフローチャートを用いて説明する。
操作者が顕微鏡システム１００Ｃの電源を投入することにより顕微鏡システム１００Ｃの電源がＯＮされるステップ（Ｓ５０１）から、プレビュー表示開始が指示されるステップ（Ｓ５０３）、表示部１０９にプレビュー画像が表示されるステップ（Ｓ５０４）、操作者の指示により撮影画像が調整されるステップ（Ｓ５０６）までの手順は、第１の実施の形態と同様であるため説明を省略する。ただし、このとき変化検出部１０４は動作せず、フレーム間引き部１６０１は、信号処理部１０３から入力される画像データを間引きなし（Ｂ）で連続的にコントローラ１０６に出力する。
ここで操作者が、所定時間の動画もしくはタイムラプス連続撮影開始を指示する（Ｓ５０７）と、初めにＰＣ１０８が、撮像データをＣＰＵ１１２に送信する。ＣＰＵ１１２は、受信した撮像データに応じて変化検出部１０４にしきい値Ｔｈを設定する（Ｓ５０８）と同時に、フレーム間引き部１６０１に画像データのＮフレーム周期間引き（Ａ）を指示する信号を送信する。
次に、ＰＣ１０８は、ＣＰＵ１１２に対して撮影開始を指示する撮像データを送信すると同時に内蔵タイマをスタートさせる（Ｓ５０９）。このとき変化検出部１０４が動作開始する。顕微鏡１０１からの入射光を撮像素子２０２によって光電変換した信号は、ライブ画像表示時と同様に処理され、フレーム間引き部１６０１と変化検出部１０４に出力される。
変化検出部１０４は、第１の実施の形態と同様に、差分検出部４０２において前後２フレームの入力画像の差分積算値Ｓを算出し、しきい値判別部４０３においてしきい値Ｔｈと比較し、Ｓ≧Ｔｈを満たすときに信号Ｋ＝“１”、満たさないときにＫ＝“０”をデジタル信号としてフレーム間引き部１６０１とＣＰＵ１１２に送信する。ただし、最初の１フレーム目は、前フレームのデータがないためＫ＝０を出力する。
フレーム間引き部１６０１は、変化検出部１０４の出力信号Ｋに応じて、図１７に示す条件で画像をフレーム間引きして、コントローラ１０６に出力する。すなわち、変化検出部１０４においてフレーム間差分の積算値が設定しきい値より大きいと判断したとき（Ｋ＝１）は、間引きなし（Ｂ）で連続的に画像を送信し、一方、フレーム間差分の積算値が設定しきい値より小さいと判断したとき（Ｋ＝０）は、Ｎフレーム周期で間引いた（Ｂ）画像を、コントローラ１０６に出力する。
この後、コントローラ１０６に送信された画像データが、Ｉ／Ｆ部１０７を介してＰＣ１０８に連続的に送信され、ＰＣ１０８の内蔵タイマが設定された撮影時間が経過したのを検出し、ＰＣ１０８において所定の動画ファイル形式で保存され一連の撮像動作が終わる（Ｓ５１１）までの動作は、第１の実施の形態と同様であるため省略する。
次に、本第５の実施の形態の作用、効果について述べる。
図１８は、本発明を適用した第５の実施の形態の変化検出部における輝度差分積算値と間引き処理の時間変化を示す図である。
図１８は、本発明を適用した第５の実施の形態の変化検出部における輝度差分積算値と間引き処理の時間変化を示す図である。
図１８においては、本第５の実施の形態の変化検出部１０４における差分積算値Ｓ、しきい値Ｔｈと、フレーム間引き部１６０１における間引き処理について示したものである。ここでは、フレーム間引き周期Ｎは５フレームであり、図１８中の太線の部分は画像が出力されるフレームである。
図１８中の０、５、１５フレーム目においては、Ｓ＜Ｔｈ（Ｋ＝０）であるため標本の変化が小さいことを検出し、その後の１〜４、６〜９、１６〜１９フレーム目までは間引かれる。一方、１０フレーム目は、Ｓ≧Ｔｈ（Ｋ＝１）であるため、標本の変化が大きいことを検出し、その後の１１〜１４フレームは間引かずに連続で出力する。
したがって本第５の実施の形態によれば、顕微鏡標本の連続撮像において、観察者があまり必要としない標本の状態が変化しない期間には間引いて撮影画像を取得し、観察者が注目する標本の状態が変化する期間には間引かない連続撮影画像を取得するため、標本の状態変化をより短い時間間隔で観察しつつ、無駄の少ない効率的な撮影を行なうことが出来る。
（第６の実施の形態）
次に、本発明を適用した第６の実施の形態について述べる。
（第６の実施の形態）
次に、本発明を適用した第６の実施の形態について述べる。
本第６の実施の形態の特徴は、標本の変化を検出するしきい値を複数持ち、それを選択することにある。
図１９は、本発明を適用した第６の実施の形態の変化検出部１０４Ｂの構成を示す図である。
図１９は、本発明を適用した第６の実施の形態の変化検出部１０４Ｂの構成を示す図である。
図１９において、変化検出部１０４Ｂは、しきい値選択部１９０１を備えていることが第１の実施の形態と異なっている。
しきい値選択部１９０１は、制御バス１１１を介してしきい値判別部４０３とＣＰＵ１１２と接続されている。
しきい値選択部１９０１は、制御バス１１１を介してしきい値判別部４０３とＣＰＵ１１２と接続されている。
そして、しきい値選択部１９０１は、複数のしきい値（Ｔｈ１，Ｔｈ２，．．．，ＴｈＮ）を格納する図示しないレジスタを内蔵しており、それぞれのしきい値は制御バス１１１を通してＣＰＵ１１２から設定変更する。また、それぞれのレジスタの出力先にはセレクタが接続されており、ＣＰＵ１１２からのしきい値選択信号ＳＥＬＳによって選択されたしきい値（Ｔｈ１，Ｔｈ２，．．．，ＴｈＮの何れか）が、しきい値判別部４０３に出力されて設定される。
次に、本第６の実施の形態の動作について述べる。
本第６の実施の形態における撮影処理の流れは、図５を用いて説明した第１の実施の形態における撮影処理と同様であるので、図５のフローチャートを用いて説明する。
本第６の実施の形態における撮影処理の流れは、図５を用いて説明した第１の実施の形態における撮影処理と同様であるので、図５のフローチャートを用いて説明する。
操作者が顕微鏡システム１００の電源を投入することにより顕微鏡システム１００の電源がＯＮされるステップ（Ｓ５０１）から、プレビュー表示開始の指示（Ｓ５０３）により、表示部１０９にプレビュー画像が表示されるステップ（Ｓ５０４）、操作者の指示により撮像画像が調整されるステップ（Ｓ５０６）までの手順は、第１の実施の形態と同様であるため説明を省略する。ただし、このとき変化検出部１０４は動作しない。
ここで操作者が、所定時間の連続撮影開始を指示する（Ｓ５０７）と、初めにＰＣ１０８が、撮像データをＣＰＵ１１２に送信する。ＣＰＵ１１２は、受信した撮像データに応じてしきい値選択部１９０１の内部レジスタに複数のしきい値（Ｔｈ１，Ｔｈ２，．．．，ＴｈＮ）を設定する。次にＰＣ１０８は、しきい値選択部１９０１に設定した複数のしきい値（Ｔｈ１，Ｔｈ２，．．．，ＴｈＮ）を表示部１０９に表示する。ここで操作者が、表示されたしきい値のいずれかを入力装置１１０から選択すると、ＰＣ１０８を介してＣＰＵ１１２がしきい値選択信号ＳＥＬＳを送信し、操作者が選択されたしきい値（仮にＴｈａとする）をしきい値判別部４０３に出力すると、しきい値設定が終了する（Ｓ５０８）。同時に画素数変換部１０５と駆動部２０５に、操作者による間引き（Ａ）もしくはビニング（Ｂ）を選択する信号ＳＥＬが送信される。
ＰＣ１０８が、ＣＰＵ１１２に対して撮影開始を指示する撮像データを送信すると同時に内蔵タイマをスタートさせ（Ｓ５０９）てから、撮影終了（Ｓ５１１）までの動作は、第１の実施の形態と同様であるため説明を省略する。
次に、本第６の実施の形態の作用、効果について述べる。
図２０は、明視野観察時、変化検出部１０４Ｂにおいて算出される差分積算値を模式的に表したものである。
図２０は、明視野観察時、変化検出部１０４Ｂにおいて算出される差分積算値を模式的に表したものである。
一般的に明視野観察は標本が明るく、撮像素子のゲインを上げなくとも十分短い露出時間を得られるため、連続撮影画像にもノイズが少ない。したがって、低めのしきい値（Ｔｈ１）を設定した場合においても、ノイズ成分を誤って標本変化イベントとして検出せずに、標本の小さい変化も漏れなく検出することができる。
図２１は、蛍光観察時、変化検出部１０４Ｂにおいて算出される差分積算値を模式的に表したものである。
一般的に蛍光観察は標本が暗く、退色を抑制するため励起光を弱くし、撮像素子のゲインを上げるためノイズ成分が多い。したがって、しきい値を低く（Ｔｈ１）設定するとノイズ成分を誤って標本変化イベントとして検出してしまう可能性が高い。ここで操作者が高めのしきい値（Ｔｈ２）を設定すれば、ノイズ成分による誤検出を抑えることができる。
一般的に蛍光観察は標本が暗く、退色を抑制するため励起光を弱くし、撮像素子のゲインを上げるためノイズ成分が多い。したがって、しきい値を低く（Ｔｈ１）設定するとノイズ成分を誤って標本変化イベントとして検出してしまう可能性が高い。ここで操作者が高めのしきい値（Ｔｈ２）を設定すれば、ノイズ成分による誤検出を抑えることができる。
したがって本第６実施の形態によれば、検鏡法や観察環境に応じて標本の変化を検出するしきい値を複数レベルの中から選択するため、検鏡法に応じて最適な連続撮影画像を得ることができる。
以上、本発明を適用した第１乃至第６の実施の形態を説明してきたが、第１乃至第３および第６の実施の形態におけるビニングモードは、隣接縦横２×２画素の４画素加算に限るものではなく、４×４画素の１６画素加算、８×８画素の６４画素加算等、他の形態のビニング撮像に対しても変形可能である。このときの露出時間は、ビニング撮像しないときと比べて１／１６、１／６４とさらに短くなるため、蛍光観察で、かつ非常に暗い標本を観察する際にも、変化を固定するに十分短い時間分解能を確保した連続撮影画像を取得することが可能となる。
また、第３の実施の形態において操作者が指定する領域は、矩形領域に限られるものでなく様々な形状に対して適用可能である。さらに、操作者が指定する領域の数は１つに限られるものではく、複数指定に変形可能である。このとき、複雑な形状の標本の変化を、より正確に検出することができる。
また、第４の実施の形態における圧縮率や、第５の実施の形態における撮影間隔は、２種類に限定されるものでなく、第６の実施の形態の複数のしきい値に対してそれぞれ圧縮率や撮影間隔を設定することによって、３種類以上もたせるように変形することも可能である。その場合は、種々の撮影環境に対してより適切な連続撮影画像を取得することが出来る。
また、本発明は、上記第１乃至第６の実施の形態に限定されるものでなく、本発明の要旨を逸脱しない範囲で随時変形して実施できる。
また、本発明が適用される顕微鏡システムは、その機能が実行されるのであれば、上述の各実施の形態等に限定されることなく、単体の装置であっても、複数の装置からなるシステムあるいは統合装置であってもよいことは言うまでもない。
また、本発明が適用される顕微鏡システムは、その機能が実行されるのであれば、上述の各実施の形態等に限定されることなく、単体の装置であっても、複数の装置からなるシステムあるいは統合装置であってもよいことは言うまでもない。
すなわち、本発明は、以上に述べた各実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または形状を取ることができる。
ここで、上述した実施の形態の特徴を列挙すると、以下の通りである。
（付記１）
顕微鏡装置によって観察する被検物を連続的に撮像して観察画像を取得する連続撮影手段と、
前記連続撮影手段によって取得した第１の観察画像および前記第１の観察画像より後に取得した第２の観察画像間の変化量を検出する変化量検出手段と、
前記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素の画素情報を加算して出力するビニング手段と、
を備えることを特徴とする顕微鏡用撮像装置。
（付記２）
顕微鏡装置によって観察する被検物を連続的に撮像して観察画像を取得する連続撮影手段と、
前記連続撮影手段によって取得した第１の観察画像および前記第１の観察画像より後に取得した第２の観察画像間の変化量を検出する変化量検出手段と、
前記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素の画素情報を加算して出力するビニング手段と、
前記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素のうち所定の画素のみの画素情報に間引いて出力する間引き手段と、
所定の値に基づいて、前記第２の観察画像に対して前記ビニング手段または前記間引き手段を選択的に実行させる選択手段と、
を備えることを特徴とする顕微鏡用撮像装置。
（付記３）
前記複数画素は、２次元配列画素であることを特徴とする付記１または２に記載の顕微鏡用撮像装置。
（付記４）
前記連続撮影手段によって取得した観察画像を圧縮する圧縮手段をさらに備え、
前記変化量検出手段によって検出した変化量に基づいて、前記圧縮手段によって圧縮する画素情報の圧縮率を変えることを特徴とする付記１乃至３の何れか１項に記載の顕微鏡用撮像装置。
（付記５）
前記変化量検出手段によって検出した変化量に基づいて、前記連続撮影手段によって撮影する撮影間隔を変えることを特徴とする付記１乃至４の何れか１項に記載の顕微鏡用撮像装置。
（付記６）
前記被検物に照明光を照射する照明手段をさらに備え、
前記照明手段は、前記選択手段によって前記ビニング手段が選択的に実行される際、前記被検物に照射する照明光の光量を減少させることを特徴とする付記１乃至５の何れか１項に記載の顕微鏡用撮像装置。
（付記７）
前記変化量検出手段は、前記観察画像の任意の領域における変化量を検出することを特徴とする付記１乃至６の何れか１項に記載の顕微鏡用撮像装置。
（付記８）
前記選択手段によって選択的に実行される前記ビニング手段は、予め定められたしきい値より前記変化量が小さい場合に実行することを特徴とする付記１乃至７の何れか１項に記載の顕微鏡用撮像装置。
（付記９）
前記選択手段によって選択的に実行される前記圧縮手段は、予め定められたしきい値より前記変化量が小さい場合に実行することを特徴とする付記１乃至７の何れか１項に記載の顕微鏡用撮像装置。
（付記１０）
前記しきい値は、予め定められた複数のしきい値群から選択されることを特徴とする付記８または９に記載の顕微鏡用撮像装置。
（付記１１）
被検物を観察する顕微鏡装置と、
前記顕微鏡装置によって観察する前記被検物を連続的に撮像して観察画像を取得する連続撮影手段と、
前記連続撮影手段によって取得した第１の観察画像および前記第１の観察画像より後に取得した第２の観察画像間の変化量を検出する変化量検出手段と、
前記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素の画素情報を加算して出力するビニング手段と、
前記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素のうち所定の画素のみの画素情報に間引いて出力する間引き手段と、
所定の値に基づいて、前記第２の観察画像に対して前記ビニング手段または前記間引き手段を選択的に実行させる選択手段と、
を備えることを特徴とする顕微鏡システム。
（付記１２）
観察対象である被検物のタイムラプス撮影を行なう顕微鏡用撮像装置が実行する記録制御方法であって、
顕微鏡装置によって観察する被検物を連続的に撮像して観察画像を取得し、
前記取得した第１の観察画像および前記第１の観察画像より後に取得した第２の観察画像間の変化量を検出し、
前記第２の観察画像に対して、前記検出した変化量に基づいて互いに隣接する複数画素の画素情報を加算して出力するか、または、前記第２の観察画像に対して、前記検出した変化量に基づいて互いに隣接する複数画素のうち所定の画素のみの画素情報に間引いて出力するかを、所定の値に基づいて選択的に実行し、
前記出力結果を記録することを特徴とする記録制御方法。
（付記１３）
観察対象である被検物のタイムラプス撮影を行なう顕微鏡用撮像装置に実行させるための記録制御プログラムであって、
顕微鏡装置によって観察する被検物を連続的に撮像して観察画像を取得する手順と、
前記取得した第１の観察画像および前記第１の観察画像より後に取得した第２の観察画像間の変化量を検出する手順と、
前記第２の観察画像に対して、前記検出した変化量に基づいて互いに隣接する複数画素の画素情報を加算して出力するか、または、前記第２の観察画像に対して、前記検出した変化量に基づいて互いに隣接する複数画素のうち所定の画素のみの画素情報に間引いて出力するかを、所定の値に基づいて選択的に実行する手順と、
前記出力結果を記録する手順と、
を実行させるためのコンピュータ実行可能な記録制御プログラム。
ここで、上述した実施の形態の特徴を列挙すると、以下の通りである。
（付記１）
顕微鏡装置によって観察する被検物を連続的に撮像して観察画像を取得する連続撮影手段と、
前記連続撮影手段によって取得した第１の観察画像および前記第１の観察画像より後に取得した第２の観察画像間の変化量を検出する変化量検出手段と、
前記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素の画素情報を加算して出力するビニング手段と、
を備えることを特徴とする顕微鏡用撮像装置。
（付記２）
顕微鏡装置によって観察する被検物を連続的に撮像して観察画像を取得する連続撮影手段と、
前記連続撮影手段によって取得した第１の観察画像および前記第１の観察画像より後に取得した第２の観察画像間の変化量を検出する変化量検出手段と、
前記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素の画素情報を加算して出力するビニング手段と、
前記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素のうち所定の画素のみの画素情報に間引いて出力する間引き手段と、
所定の値に基づいて、前記第２の観察画像に対して前記ビニング手段または前記間引き手段を選択的に実行させる選択手段と、
を備えることを特徴とする顕微鏡用撮像装置。
（付記３）
前記複数画素は、２次元配列画素であることを特徴とする付記１または２に記載の顕微鏡用撮像装置。
（付記４）
前記連続撮影手段によって取得した観察画像を圧縮する圧縮手段をさらに備え、
前記変化量検出手段によって検出した変化量に基づいて、前記圧縮手段によって圧縮する画素情報の圧縮率を変えることを特徴とする付記１乃至３の何れか１項に記載の顕微鏡用撮像装置。
（付記５）
前記変化量検出手段によって検出した変化量に基づいて、前記連続撮影手段によって撮影する撮影間隔を変えることを特徴とする付記１乃至４の何れか１項に記載の顕微鏡用撮像装置。
（付記６）
前記被検物に照明光を照射する照明手段をさらに備え、
前記照明手段は、前記選択手段によって前記ビニング手段が選択的に実行される際、前記被検物に照射する照明光の光量を減少させることを特徴とする付記１乃至５の何れか１項に記載の顕微鏡用撮像装置。
（付記７）
前記変化量検出手段は、前記観察画像の任意の領域における変化量を検出することを特徴とする付記１乃至６の何れか１項に記載の顕微鏡用撮像装置。
（付記８）
前記選択手段によって選択的に実行される前記ビニング手段は、予め定められたしきい値より前記変化量が小さい場合に実行することを特徴とする付記１乃至７の何れか１項に記載の顕微鏡用撮像装置。
（付記９）
前記選択手段によって選択的に実行される前記圧縮手段は、予め定められたしきい値より前記変化量が小さい場合に実行することを特徴とする付記１乃至７の何れか１項に記載の顕微鏡用撮像装置。
（付記１０）
前記しきい値は、予め定められた複数のしきい値群から選択されることを特徴とする付記８または９に記載の顕微鏡用撮像装置。
（付記１１）
被検物を観察する顕微鏡装置と、
前記顕微鏡装置によって観察する前記被検物を連続的に撮像して観察画像を取得する連続撮影手段と、
前記連続撮影手段によって取得した第１の観察画像および前記第１の観察画像より後に取得した第２の観察画像間の変化量を検出する変化量検出手段と、
前記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素の画素情報を加算して出力するビニング手段と、
前記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素のうち所定の画素のみの画素情報に間引いて出力する間引き手段と、
所定の値に基づいて、前記第２の観察画像に対して前記ビニング手段または前記間引き手段を選択的に実行させる選択手段と、
を備えることを特徴とする顕微鏡システム。
（付記１２）
観察対象である被検物のタイムラプス撮影を行なう顕微鏡用撮像装置が実行する記録制御方法であって、
顕微鏡装置によって観察する被検物を連続的に撮像して観察画像を取得し、
前記取得した第１の観察画像および前記第１の観察画像より後に取得した第２の観察画像間の変化量を検出し、
前記第２の観察画像に対して、前記検出した変化量に基づいて互いに隣接する複数画素の画素情報を加算して出力するか、または、前記第２の観察画像に対して、前記検出した変化量に基づいて互いに隣接する複数画素のうち所定の画素のみの画素情報に間引いて出力するかを、所定の値に基づいて選択的に実行し、
前記出力結果を記録することを特徴とする記録制御方法。
（付記１３）
観察対象である被検物のタイムラプス撮影を行なう顕微鏡用撮像装置に実行させるための記録制御プログラムであって、
顕微鏡装置によって観察する被検物を連続的に撮像して観察画像を取得する手順と、
前記取得した第１の観察画像および前記第１の観察画像より後に取得した第２の観察画像間の変化量を検出する手順と、
前記第２の観察画像に対して、前記検出した変化量に基づいて互いに隣接する複数画素の画素情報を加算して出力するか、または、前記第２の観察画像に対して、前記検出した変化量に基づいて互いに隣接する複数画素のうち所定の画素のみの画素情報に間引いて出力するかを、所定の値に基づいて選択的に実行する手順と、
前記出力結果を記録する手順と、
を実行させるためのコンピュータ実行可能な記録制御プログラム。
１００ 顕微鏡システム
１００Ａ 顕微鏡システム
１００Ｂ 顕微鏡システム
１００Ｃ 顕微鏡システム
１０１ 顕微鏡
１０２ 撮像部
１０３ 信号処理部
１０４ 変化検出部
１０４Ａ 変化検出部
１０４Ｂ 変化検出部
１０５ 画素数変換部
１０６ コントローラ
１０７ Ｉ／Ｆ部
１０８ ＰＣ
１０９ 表示部
１１０ 入力装置
１１１ 制御バス
１１２ ＣＰＵ
２０１ 撮像レンズ
２０２ 撮像素子
２０３ ＣＤＳ／ＡＧＣ回路
２０４ Ａ／Ｄ変換器
２０５ 駆動部
３０１ ブラックバランス補正部
３０２ ホワイトバランス補正部
３０３ ＡＥ評価値部
４０１ フレーム遅延部
４０２ 差分検出部
４０３ しきい値判別部
１００１ 照明制御部
１２０１ アドレス比較部
１３０１ 表示画面
１３０２ 指定領域
１３０３ 標本
１３０４ 標本
１４０１ 圧縮部
１９０１ しきい値選択部
１００Ａ 顕微鏡システム
１００Ｂ 顕微鏡システム
１００Ｃ 顕微鏡システム
１０１ 顕微鏡
１０２ 撮像部
１０３ 信号処理部
１０４ 変化検出部
１０４Ａ 変化検出部
１０４Ｂ 変化検出部
１０５ 画素数変換部
１０６ コントローラ
１０７ Ｉ／Ｆ部
１０８ ＰＣ
１０９ 表示部
１１０ 入力装置
１１１ 制御バス
１１２ ＣＰＵ
２０１ 撮像レンズ
２０２ 撮像素子
２０３ ＣＤＳ／ＡＧＣ回路
２０４ Ａ／Ｄ変換器
２０５ 駆動部
３０１ ブラックバランス補正部
３０２ ホワイトバランス補正部
３０３ ＡＥ評価値部
４０１ フレーム遅延部
４０２ 差分検出部
４０３ しきい値判別部
１００１ 照明制御部
１２０１ アドレス比較部
１３０１ 表示画面
１３０２ 指定領域
１３０３ 標本
１３０４ 標本
１４０１ 圧縮部
１９０１ しきい値選択部
Claims (5)
- 顕微鏡装置によって観察する被検物を連続的に撮像して観察画像を取得する連続撮影手段と、
前記連続撮影手段によって取得した第１の観察画像および前記第１の観察画像より後に取得した第２の観察画像間の変化量を検出する変化量検出手段と、
前記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素の画素情報を加算して出力するビニング手段と、
を備えることを特徴とする顕微鏡用撮像装置。 - 顕微鏡装置によって観察する被検物を連続的に撮像して観察画像を取得する連続撮影手段と、
前記連続撮影手段によって取得した第１の観察画像および前記第１の観察画像より後に取得した第２の観察画像間の変化量を検出する変化量検出手段と、
前記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素の画素情報を加算して出力するビニング手段と、
前記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素のうち所定の画素のみの画素情報に間引いて出力する間引き手段と、
所定の値に基づいて、前記第２の観察画像に対して前記ビニング手段または前記間引き手段を選択的に実行させる選択手段と、
を備えることを特徴とする顕微鏡用撮像装置。 - 被検物を観察する顕微鏡装置と、
前記顕微鏡装置によって観察する前記被検物を連続的に撮像して観察画像を取得する連続撮影手段と、
前記連続撮影手段によって取得した第１の観察画像および前記第１の観察画像より後に取得した第２の観察画像間の変化量を検出する変化量検出手段と、
前記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素の画素情報を加算して出力するビニング手段と、
前記変化量検出手段によって検出した変化量に基づいて、互いに隣接する複数画素のうち所定の画素のみの画素情報に間引いて出力する間引き手段と、
所定の値に基づいて、前記第２の観察画像に対して前記ビニング手段または前記間引き手段を選択的に実行させる選択手段と、
を備えることを特徴とする顕微鏡システム。 - 観察対象である被検物のタイムラプス撮影を行なう顕微鏡用撮像装置が実行する記録制御方法であって、
顕微鏡装置によって観察する被検物を連続的に撮像して観察画像を取得し、
前記取得した第１の観察画像および前記第１の観察画像より後に取得した第２の観察画像間の変化量を検出し、
前記第２の観察画像に対して、前記検出した変化量に基づいて互いに隣接する複数画素の画素情報を加算して出力するか、または、前記第２の観察画像に対して、前記検出した変化量に基づいて互いに隣接する複数画素のうち所定の画素のみの画素情報に間引いて出力するかを、所定の値に基づいて選択的に実行し、
前記出力結果を記録することを特徴とする記録制御方法。 - 観察対象である被検物のタイムラプス撮影を行なう顕微鏡用撮像装置に実行させるための記録制御プログラムであって、
顕微鏡装置によって観察する被検物を連続的に撮像して観察画像を取得する手順と、
前記取得した第１の観察画像および前記第１の観察画像より後に取得した第２の観察画像間の変化量を検出する手順と、
前記第２の観察画像に対して、前記検出した変化量に基づいて互いに隣接する複数画素の画素情報を加算して出力するか、または、前記第２の観察画像に対して、前記検出した変化量に基づいて互いに隣接する複数画素のうち所定の画素のみの画素情報に間引いて出力するかを、所定の値に基づいて選択的に実行する手順と、
前記出力結果を記録する手順と、
を実行させるためのコンピュータ実行可能な記録制御プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005027784A JP4928081B2 (ja) | 2005-02-03 | 2005-02-03 | 顕微鏡用撮像装置、記録制御方法、および記録制御プログラム |
| US11/345,313 US7279671B2 (en) | 2005-02-03 | 2006-02-02 | Image acquisition apparatus for use with a microscope including detection of the amount of change between and image and a subsequent image, and an image recording system that use the image acquisition apparatus |
| US11/896,656 US7465908B2 (en) | 2005-02-03 | 2007-09-05 | Image acquisition apparatus for use with a microscope, an image recording system that uses the image acquisition apparatus, and an image storage method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005027784A JP4928081B2 (ja) | 2005-02-03 | 2005-02-03 | 顕微鏡用撮像装置、記録制御方法、および記録制御プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006215260A true JP2006215260A (ja) | 2006-08-17 |
| JP4928081B2 JP4928081B2 (ja) | 2012-05-09 |
Family
ID=36756241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005027784A Expired - Fee Related JP4928081B2 (ja) | 2005-02-03 | 2005-02-03 | 顕微鏡用撮像装置、記録制御方法、および記録制御プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7279671B2 (ja) |
| JP (1) | JP4928081B2 (ja) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007132870A1 (ja) * | 2006-05-15 | 2007-11-22 | Nikon Corporation | タイムラプス撮影装置 |
| WO2008065751A1 (fr) * | 2006-11-30 | 2008-06-05 | Nikon Corporation | Dispositif de microscope |
| WO2009031476A1 (ja) * | 2007-09-03 | 2009-03-12 | Nikon Corporation | 顕微鏡装置、およびプログラム |
| JP2012118126A (ja) * | 2010-11-29 | 2012-06-21 | Olympus Corp | 観察装置および観察方法 |
| JP2013020204A (ja) * | 2011-07-14 | 2013-01-31 | Olympus Corp | 蛍光顕微鏡装置 |
| JP2013037382A (ja) * | 2012-10-18 | 2013-02-21 | Olympus Corp | 顕微鏡用カメラ |
| JP2013201975A (ja) * | 2012-03-28 | 2013-10-07 | Dainippon Printing Co Ltd | 細胞挙動解析装置、細胞挙動解析方法、およびプログラム |
| JP5446868B2 (ja) * | 2007-10-19 | 2014-03-19 | 株式会社ニコン | プログラム、コンピュータおよび培養状態解析方法 |
| JP2014085599A (ja) * | 2012-10-25 | 2014-05-12 | Olympus Corp | 顕微鏡 |
| JP2015082097A (ja) * | 2013-10-24 | 2015-04-27 | 株式会社キーエンス | 制御装置、顕微鏡システム、制御方法およびプログラム |
| JP2015103217A (ja) * | 2013-11-28 | 2015-06-04 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| JP2017005693A (ja) * | 2015-06-08 | 2017-01-05 | 株式会社半導体エネルギー研究所 | 撮像装置およびその動作方法、ならびに電子機器 |
| WO2021014921A1 (ja) * | 2019-07-19 | 2021-01-28 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| WO2021014867A1 (ja) * | 2019-07-19 | 2021-01-28 | キヤノン株式会社 | 撮像装置およびその制御方法 |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4954800B2 (ja) * | 2007-06-06 | 2012-06-20 | オリンパス株式会社 | 顕微鏡撮像システム |
| WO2009025345A1 (ja) * | 2007-08-22 | 2009-02-26 | Nikon Corporation | 撮影制御装置、顕微鏡、および、プログラム |
| JP2009063679A (ja) * | 2007-09-04 | 2009-03-26 | Olympus Corp | 顕微鏡システム |
| JP5230988B2 (ja) * | 2007-09-28 | 2013-07-10 | オリンパス株式会社 | 顕微鏡用カメラ |
| JP5059637B2 (ja) * | 2008-01-18 | 2012-10-24 | オリンパス株式会社 | 顕微鏡用撮像装置 |
| US20090244698A1 (en) * | 2008-03-28 | 2009-10-01 | Reto Zust | Microscope comprising at least two components |
| EP2194413A1 (en) | 2008-12-05 | 2010-06-09 | Olympus Corporation | Microscope image pickup system |
| JP5336936B2 (ja) * | 2009-06-08 | 2013-11-06 | オリンパス株式会社 | 撮像装置及び顕微鏡システム |
| JP2011097568A (ja) * | 2009-10-02 | 2011-05-12 | Sanyo Electric Co Ltd | 撮像装置 |
| US9160912B2 (en) | 2012-06-08 | 2015-10-13 | Apple Inc. | System and method for automatic image capture control in digital imaging |
| US9967456B2 (en) * | 2014-07-18 | 2018-05-08 | Xiaomi Inc. | Photographing method and device |
| EP3081977B1 (en) * | 2015-04-16 | 2024-06-12 | Leica Instruments (Singapore) Pte. Ltd. | Microscopic image controller device for a microscope, microscope, and microscoping method |
| WO2017061495A1 (ja) * | 2015-10-08 | 2017-04-13 | オリンパス株式会社 | 内視鏡システム |
| WO2022051967A1 (en) * | 2020-09-10 | 2022-03-17 | Huawei Technologies Co., Ltd. | Optical apparatus |
| EP4401418A1 (en) | 2023-01-10 | 2024-07-17 | E-Peas | Device and method for automated output of an image motion area |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1066074A (ja) * | 1996-08-26 | 1998-03-06 | Canon Inc | 画像送信装置 |
| JPH10302171A (ja) * | 1997-04-28 | 1998-11-13 | Mitsubishi Electric Corp | 監視画像記録装置 |
| JPH1118076A (ja) * | 1997-06-23 | 1999-01-22 | Hitachi Ltd | 監視カメラ等の映像記録装置 |
| JP2001292369A (ja) * | 2000-02-04 | 2001-10-19 | Olympus Optical Co Ltd | 顕微鏡システム |
| JP2003023555A (ja) * | 2001-07-05 | 2003-01-24 | Fuji Photo Film Co Ltd | 画像撮像装置 |
| JP2004128582A (ja) * | 2002-09-30 | 2004-04-22 | Olympus Corp | 顕微鏡撮影装置 |
| JP2004309719A (ja) * | 2003-04-04 | 2004-11-04 | Olympus Corp | 顕微鏡システム、顕微鏡システムの制御方法、及び制御プログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5576840A (en) | 1991-07-18 | 1996-11-19 | Canon Kabushiki Kaisha | Recording apparatus |
| US5805933A (en) | 1994-12-28 | 1998-09-08 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method and network system |
| US6337928B1 (en) * | 1996-08-26 | 2002-01-08 | Canon Kabushiki Kaisha | Image transmission apparatus and method therefor |
| US6337472B1 (en) * | 1998-10-19 | 2002-01-08 | The University Of Texas System Board Of Regents | Light imaging microscope having spatially resolved images |
| JP2002335492A (ja) | 2001-05-08 | 2002-11-22 | Asahi Optical Co Ltd | 防犯システムの記録装置 |
| JP2004007089A (ja) | 2002-05-30 | 2004-01-08 | Nippon Advantage Corp | 状態変化判定装置 |
| JP2004101871A (ja) * | 2002-09-10 | 2004-04-02 | Olympus Corp | 顕微鏡画像撮影装置 |
-
2005
- 2005-02-03 JP JP2005027784A patent/JP4928081B2/ja not_active Expired - Fee Related
-
2006
- 2006-02-02 US US11/345,313 patent/US7279671B2/en not_active Expired - Fee Related
-
2007
- 2007-09-05 US US11/896,656 patent/US7465908B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1066074A (ja) * | 1996-08-26 | 1998-03-06 | Canon Inc | 画像送信装置 |
| JPH10302171A (ja) * | 1997-04-28 | 1998-11-13 | Mitsubishi Electric Corp | 監視画像記録装置 |
| JPH1118076A (ja) * | 1997-06-23 | 1999-01-22 | Hitachi Ltd | 監視カメラ等の映像記録装置 |
| JP2001292369A (ja) * | 2000-02-04 | 2001-10-19 | Olympus Optical Co Ltd | 顕微鏡システム |
| JP2003023555A (ja) * | 2001-07-05 | 2003-01-24 | Fuji Photo Film Co Ltd | 画像撮像装置 |
| JP2004128582A (ja) * | 2002-09-30 | 2004-04-22 | Olympus Corp | 顕微鏡撮影装置 |
| JP2004309719A (ja) * | 2003-04-04 | 2004-11-04 | Olympus Corp | 顕微鏡システム、顕微鏡システムの制御方法、及び制御プログラム |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007132870A1 (ja) * | 2006-05-15 | 2007-11-22 | Nikon Corporation | タイムラプス撮影装置 |
| US7990430B2 (en) | 2006-05-15 | 2011-08-02 | Nikon Corporation | Time-lapse photographing device |
| WO2008065751A1 (fr) * | 2006-11-30 | 2008-06-05 | Nikon Corporation | Dispositif de microscope |
| JP2008139488A (ja) * | 2006-11-30 | 2008-06-19 | Nikon Corp | 顕微鏡装置 |
| US8139106B2 (en) | 2006-11-30 | 2012-03-20 | Nikon Corporation | Microscope apparatus |
| WO2009031476A1 (ja) * | 2007-09-03 | 2009-03-12 | Nikon Corporation | 顕微鏡装置、およびプログラム |
| JP5293604B2 (ja) * | 2007-09-03 | 2013-09-18 | 株式会社ニコン | 顕微鏡装置、およびプログラム |
| JP5446868B2 (ja) * | 2007-10-19 | 2014-03-19 | 株式会社ニコン | プログラム、コンピュータおよび培養状態解析方法 |
| JP2012118126A (ja) * | 2010-11-29 | 2012-06-21 | Olympus Corp | 観察装置および観察方法 |
| JP2013020204A (ja) * | 2011-07-14 | 2013-01-31 | Olympus Corp | 蛍光顕微鏡装置 |
| JP2013201975A (ja) * | 2012-03-28 | 2013-10-07 | Dainippon Printing Co Ltd | 細胞挙動解析装置、細胞挙動解析方法、およびプログラム |
| JP2013037382A (ja) * | 2012-10-18 | 2013-02-21 | Olympus Corp | 顕微鏡用カメラ |
| JP2014085599A (ja) * | 2012-10-25 | 2014-05-12 | Olympus Corp | 顕微鏡 |
| JP2015082097A (ja) * | 2013-10-24 | 2015-04-27 | 株式会社キーエンス | 制御装置、顕微鏡システム、制御方法およびプログラム |
| JP2015103217A (ja) * | 2013-11-28 | 2015-06-04 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| JP2017005693A (ja) * | 2015-06-08 | 2017-01-05 | 株式会社半導体エネルギー研究所 | 撮像装置およびその動作方法、ならびに電子機器 |
| JP2020109995A (ja) * | 2015-06-08 | 2020-07-16 | 株式会社半導体エネルギー研究所 | 電子機器 |
| WO2021014921A1 (ja) * | 2019-07-19 | 2021-01-28 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| WO2021014867A1 (ja) * | 2019-07-19 | 2021-01-28 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| JP2021019287A (ja) * | 2019-07-19 | 2021-02-15 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| JP2021019288A (ja) * | 2019-07-19 | 2021-02-15 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| CN114128251A (zh) * | 2019-07-19 | 2022-03-01 | 佳能株式会社 | 成像装置及其控制方法 |
| CN114128252A (zh) * | 2019-07-19 | 2022-03-01 | 佳能株式会社 | 摄像设备及其控制方法 |
| CN114128251B (zh) * | 2019-07-19 | 2023-12-08 | 佳能株式会社 | 成像装置及其控制方法 |
| US11863891B2 (en) | 2019-07-19 | 2024-01-02 | Canon Kabushiki Kaisha | Imaging apparatus and control method thereof |
| JP7433792B2 (ja) | 2019-07-19 | 2024-02-20 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| JP7433793B2 (ja) | 2019-07-19 | 2024-02-20 | キヤノン株式会社 | 撮像装置およびその制御方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US7465908B2 (en) | 2008-12-16 |
| US20080007821A1 (en) | 2008-01-10 |
| JP4928081B2 (ja) | 2012-05-09 |
| US7279671B2 (en) | 2007-10-09 |
| US20060171023A1 (en) | 2006-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4928081B2 (ja) | 顕微鏡用撮像装置、記録制御方法、および記録制御プログラム | |
| EP3429189B1 (en) | Dual image capture processing | |
| KR101342477B1 (ko) | 동영상을 촬영하는 촬상 장치, 및 촬상 처리 방법 | |
| JP4919160B2 (ja) | 撮像装置及びそのプログラム | |
| JP5523124B2 (ja) | 撮像装置 | |
| KR101044647B1 (ko) | 촬상 장치 | |
| CN110198418B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US9398230B2 (en) | Imaging device and imaging method | |
| JP2009088927A (ja) | 撮像装置、撮像制御方法、撮像制御プログラム | |
| US9277134B2 (en) | Image pickup apparatus and image pickup method | |
| CN110430370B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP2010136224A (ja) | 撮像装置及び撮像方法 | |
| JP5780764B2 (ja) | 撮像装置 | |
| CN110290325B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US20170280066A1 (en) | Image processing method by image processing apparatus | |
| JP2006245999A (ja) | 撮像装置、およびプログラム | |
| CN110278375B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP2009300831A (ja) | 顕微鏡用撮像システム、露光調整プログラム、及び露光調整方法 | |
| CN110266967B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP2009141538A (ja) | 撮像装置、画像再生装置及びそのプログラム | |
| JP5146015B2 (ja) | 撮像装置及び撮像方法 | |
| CN110266965B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP5045538B2 (ja) | 撮像装置、及び、プログラム | |
| JP2008072501A (ja) | 撮像装置、撮像方法、プログラムおよび記録媒体 | |
| JP2010119051A (ja) | 撮像装置及び撮像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080110 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110301 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110414 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120207 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120210 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150217 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4928081 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150217 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |