JP2010026392A - Method of analyzing image for cell observation image, image processing program and image processing apparatus - Google Patents
Method of analyzing image for cell observation image, image processing program and image processing apparatus Download PDFInfo
- Publication number
- JP2010026392A JP2010026392A JP2008189994A JP2008189994A JP2010026392A JP 2010026392 A JP2010026392 A JP 2010026392A JP 2008189994 A JP2008189994 A JP 2008189994A JP 2008189994 A JP2008189994 A JP 2008189994A JP 2010026392 A JP2010026392 A JP 2010026392A
- Authority
- JP
- Japan
- Prior art keywords
- cell
- observation
- image
- movement
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Investigating Or Analysing Biological Materials (AREA)
- Microscoopes, Condenser (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、細胞の時系列観察装置において細胞の分類またはトラッキングに利用される細胞観察の画像処理手段に関するものである。 The present invention relates to an image processing means for cell observation used for cell classification or tracking in a cell time-series observation apparatus.
細胞の外形や内部構造などの形態情報は、これらの形態情報を個別に抽出し、その特徴に基づき細胞を分類する細胞分類に利用されている（例えば、特許文献1を参照）。
しかしながら、これら個別の形態情報は、対象細胞が赤血球なのか白血球なのかなど、細胞の種別を分類する細胞分類学としては有用ではあるものの、細胞の動的挙動解析に直接利用できるものではなかった。例えば、細胞が形状や内部構造の変化を伴って移動する場合の移動形態は大きく分けて二通りあると考えられている。すなわち、細胞の一部（足）を伸ばして足がかりを作りその方向に体を移動させるものと、細胞形状を歪ませあるいは内部構造を移動させて外形の接着部位（足）を引きずるように移動するものが存在する。従来の細胞分類手法では、仮に足を形態情報として抽出できたとても、その細胞がどちらの移動形態の細胞なのか判断することができなかった。 However, these individual morphological information is useful as a cell taxonomy for classifying the cell type, such as whether the target cell is a red blood cell or a white blood cell, but was not directly usable for analyzing the dynamic behavior of the cell. . For example, it is considered that there are two types of movement modes when cells move with changes in shape and internal structure. In other words, a part of the cell (leg) is stretched to create a foothold and the body is moved in that direction, and the cell shape is distorted or the internal structure is moved to move the external adhesion site (leg). Things exist. In the conventional cell classification method, it was possible to extract a foot as morphological information, but it was not possible to determine which moving form the cell was.
また、細胞を観察する上で重要な画像処理アルゴリズムである細胞トラッキングでは、細胞の全方位について計算を行った場合の計算量の多さ（処理負担）や、観察細胞の誤認識を避けるために移動予測を必要とする。この際、一般的に時系列予測だけでは困難な場合が多く、細胞の種類や移動特性を人間が手動で入力するなどの方法が採られていた。そのため、運動解析に至る操作が煩雑であるとともに、入力を誤った場合の修正処理に多大な処理負担を要するという課題があった。 In addition, cell tracking, which is an important image processing algorithm for observing cells, is to avoid a large amount of calculation (processing burden) and misrecognition of observed cells when calculation is performed for all orientations of cells. Requires movement prediction. At this time, in general, it is often difficult only by time series prediction, and a method in which a human manually inputs a cell type and movement characteristics has been adopted. For this reason, there is a problem that the operation leading to the motion analysis is complicated and a large processing load is required for the correction processing when the input is incorrect.
本発明は、上記課題に鑑みてなされたものであり、細胞の外形や内部構造などの情報から、あらかじめ細胞の移動形態を分類する手段を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide means for classifying cell movement forms in advance based on information such as the outer shape and internal structure of cells.
本発明を例示する第１の態様に従えば、撮像装置により観察細胞が撮影された観察画像を取得し、取得した観察画像から観察細胞の輪郭を抽出し、輪郭が抽出された観察細胞の形状特徴に基づいて観察細胞の細胞変形方向を算出するとともに、観察画像と所定時間を隔てて撮像装置により撮影された第２観察画像とから観察細胞の細胞移動方向を算出し、算出された細胞変形方向と細胞移動方向とに基づいて観察細胞の移動形態を分類することを特徴とする細胞観察画像の画像解析方法が提供される。 According to the first aspect exemplifying the present invention, an observation image obtained by photographing an observation cell by an imaging device is acquired, the outline of the observation cell is extracted from the acquired observation image, and the shape of the observation cell from which the outline is extracted The cell deformation direction of the observation cell is calculated based on the characteristics, the cell movement direction of the observation cell is calculated from the observation image and the second observation image taken by the imaging device at a predetermined time interval, and the calculated cell deformation An image analysis method for a cell observation image is provided, which classifies the movement form of the observation cell based on the direction and the cell movement direction.
本発明を例示する第２の態様に従えば、撮像装置により観察細胞が撮影された観察画像を取得し、取得した観察画像から観察細胞の輪郭を抽出し、輪郭が抽出された観察細胞の内部構造の偏りに基づいて観察細胞の細胞変形方向を算出するとともに、観察画像と所定時間を隔てて撮像装置により撮影された第２観察画像とから観察細胞の細胞移動方向を算出し、算出された細胞変形方向と細胞移動方向とに基づいて観察細胞の移動形態を分類することを特徴とする細胞観察画像の画像解析方法が提供される。 According to the second aspect exemplifying the present invention, an observation image obtained by photographing an observation cell is acquired by an imaging device, the outline of the observation cell is extracted from the acquired observation image, and the inside of the observation cell from which the outline is extracted The cell deformation direction of the observation cell is calculated based on the structure bias, and the cell movement direction of the observation cell is calculated from the observation image and the second observation image photographed by the imaging device with a predetermined time interval. An image analysis method for a cell observation image is provided, which classifies the movement form of the observation cell based on the cell deformation direction and the cell movement direction.
本発明を例示する第３の態様に従えば、撮像装置により観察細胞が撮影された観察画像を取得するステップと、取得された観察画像から観察細胞の輪郭を抽出するステップと、輪郭が抽出された観察細胞の形状特徴に基づいて観察細胞の細胞変形方向を算出するステップと、観察画像と所定時間を隔てて撮像装置により撮影された第２観察画像とから観察細胞の細胞移動方向を算出するステップと、算出された細胞変形方向と細胞移動方向とに基づいて観察細胞の移動形態を分類するステップと、分類された観察細胞の種別を外部に出力するステップとを備えてなることを特徴とする細胞観察画像の画像処理プログラムが提供される。 According to the third aspect exemplifying the present invention, a step of acquiring an observation image obtained by photographing an observation cell by an imaging device, a step of extracting an outline of the observation cell from the acquired observation image, and an outline are extracted. The cell movement direction of the observation cell is calculated from the step of calculating the cell deformation direction of the observation cell based on the shape characteristic of the observation cell and the second observation image taken by the imaging device at a predetermined time interval from the observation image. A step of classifying the observation cell movement form based on the calculated cell deformation direction and the cell movement direction, and outputting the classified type of the observation cell to the outside. An image processing program for a cell observation image is provided.
本発明を例示する第４の態様に従えば、撮像装置により観察細胞が撮影された観察画像を取得するステップと、取得した観察画像から観察細胞の輪郭を抽出するステップと、輪郭が抽出された観察細胞の内部構造の偏りに基づいて観察細胞の細胞変形方向を算出するステップと、観察画像と所定時間を隔てて撮像装置により撮影された第２観察画像とから観察細胞の細胞移動方向を算出するステップと、算出された細胞変形方向と細胞移動方向とに基づいて観察細胞の移動形態を分類するするステップと、分類された観察細胞の種別を外部に出力するステップとを備えてなることを特徴とする細胞観察画像の画像処理プログラムが提供される。 According to the fourth aspect exemplifying the present invention, a step of acquiring an observation image obtained by photographing an observation cell by an imaging device, a step of extracting an outline of the observation cell from the acquired observation image, and an outline are extracted. The cell movement direction of the observation cell is calculated from the step of calculating the cell deformation direction of the observation cell based on the bias of the internal structure of the observation cell and the second observation image photographed by the imaging device with a predetermined time interval. A step of classifying the movement form of the observation cell based on the calculated cell deformation direction and the cell movement direction, and a step of outputting the classified type of the observation cell to the outside. An image processing program for a characteristic cell observation image is provided.
本発明を例示する第５の態様に従えば、細胞を撮影する撮像装置と、撮像装置により観察細胞が撮影された観察画像を取得して観察画像を解析する画像解析部と、画像解析部により解析された解析結果を出力する出力部とを備え、画像解析部が、観察画像から観察細胞の輪郭を抽出し、輪郭が抽出された観察細胞の形状特徴に基づいて観察細胞の細胞変形方向を算出するとともに、観察画像と所定時間を隔てて撮像装置により撮影された第２観察画像とから観察細胞の細胞移動方向を算出し、算出された細胞変形方向と細胞移動方向とに基づいて観察細胞の移動形態を分類するように構成したことを特徴とする細胞観察の画像処理装置が提供される。 According to a fifth aspect illustrating the present invention, an imaging device that images a cell, an image analysis unit that acquires an observation image obtained by imaging an observation cell by the imaging device and analyzes the observation image, and an image analysis unit An output unit for outputting the analyzed analysis result, and the image analysis unit extracts the outline of the observation cell from the observation image, and determines the cell deformation direction of the observation cell based on the shape characteristic of the observation cell from which the outline is extracted. The cell movement direction of the observation cell is calculated from the observation image and the second observation image taken by the imaging device at a predetermined time, and the observation cell is calculated based on the calculated cell deformation direction and cell movement direction. An image processing apparatus for cell observation is provided, which is configured to classify the movement forms.
本発明を例示する第６の態様に従えば、細胞を撮影する撮像装置と、撮像装置により観察細胞が撮影された観察画像を取得して観察画像を解析する画像解析部と、画像解析部により解析された解析結果を出力する出力部とを備え、画像解析部が、観察画像から観察細胞の輪郭を抽出し、輪郭が抽出された観察細胞の内部構造の偏りに基づいて観察細胞の細胞変形方向を算出するとともに、観察画像と所定時間を隔てて撮像装置により撮影された第２観察画像とから観察細胞の細胞移動方向を算出し、算出された細胞変形方向と細胞移動方向とに基づいて観察細胞の移動形態を分類するように構成したことを特徴とする細胞観察の画像処理装置が提供される。 According to a sixth aspect illustrating the present invention, an imaging device that images a cell, an image analysis unit that acquires an observation image obtained by imaging an observation cell by the imaging device and analyzes the observation image, and an image analysis unit An output unit that outputs the analyzed analysis result, and the image analysis unit extracts the outline of the observation cell from the observation image, and cell deformation of the observation cell based on the bias of the internal structure of the observation cell from which the outline is extracted Calculating the direction, calculating the cell movement direction of the observation cell from the observation image and the second observation image taken by the imaging device at a predetermined time, and based on the calculated cell deformation direction and cell movement direction An image processing apparatus for cell observation is provided, which is configured to classify the movement forms of observation cells.
上記のような細胞観察画像の画像解析方法、画像処理プログラム、画像処理装置によれば、撮像装置により撮影された細胞の外形や内部構造などの情報から、細胞運動解析に直接利用することのできる情報を取り出し、あらかじめ細胞の移動形態を分類することができる。 According to the image analysis method, the image processing program, and the image processing device for the cell observation image as described above, it can be directly used for cell movement analysis from information such as the outer shape and internal structure of the cell photographed by the imaging device. Information can be taken out and the movement form of cells can be classified in advance.
以下、本発明を実施するための形態について、図面を参照しながら説明する。本発明の細胞観察の画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図２及び図３に示す。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. As an example of a system to which the cell observation image processing apparatus of the present invention is applied, a schematic configuration diagram and a block diagram of a culture observation system are shown in FIGS. 2 and 3, respectively.
この培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容保持する棚状のストッカー３と、培養容器１０内の試料を観察する観察ユニット５と、培養容器１０をストッカー３と観察ユニット５との間で搬送する搬送ユニット４と、システムの作動を制御する制御ユニット６と、画像表示装置を備えた操作盤７などから構成される。 This culture observation system BS is broadly divided into a culture chamber 2 provided at the top of the housing 1, a shelf-like stocker 3 that accommodates and holds a plurality of culture containers 10, and a sample in the culture container 10. From an observation unit 5 for observation, a transport unit 4 for transporting the culture vessel 10 between the stocker 3 and the observation unit 5, a control unit 6 for controlling the operation of the system, an operation panel 7 equipped with an image display device, etc. Composed.
培養室２は、培養する細胞の種別や観察目的等に応じた培養環境を形成する部屋でありサンプル投入後は密閉状態に保持される。培養室２に付随して、温度調整装置２１、加湿器２２、ＣＯ2ガスやＮ2ガス等のガスを供給するガス供給装置２３、循環ファン２４、培養室２の温度や湿度等を検出する環境センサ２５などが設けられている。各機器の作動は制御ユニット６により制御され、培養室２の培養環境が、操作盤７において設定された培養条件に合致した状態に維持される。 The culture chamber 2 is a chamber that forms a culture environment according to the type of cells to be cultured, the purpose of observation, and the like, and is kept sealed after the sample is charged. Accompanying the culture chamber 2 is a temperature adjusting device 21, a humidifier 22, a gas supply device 23 that supplies a gas such as CO 2 gas or N 2 gas, a circulation fan 24, and the temperature and humidity of the culture chamber 2. An environmental sensor 25 and the like are provided. The operation of each device is controlled by the control unit 6, and the culture environment of the culture chamber 2 is maintained in a state that matches the culture conditions set on the operation panel 7.
ストッカー３は、前後方向及び上下方向にそれぞれ複数に仕切られた棚状に形成され、各棚に固有の番地が設定されている。培養容器１０は、培養する細胞の種別や目的に応じて適宜選択して使用できるが、図２ではディッシュを用いた例を示しており、細胞試料は液体培地とともに培養容器１０に注入される。培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。 The stocker 3 is formed in a plurality of shelves partitioned in the front-rear direction and the up-down direction, and a unique address is set for each shelf. The culture vessel 10 can be appropriately selected and used according to the type and purpose of the cells to be cultured. FIG. 2 shows an example using a dish, and the cell sample is injected into the culture vessel 10 together with the liquid medium. The culture container 10 is assigned a code number and is stored in association with the designated address of the stocker 3.
搬送ユニット４は、培養室２の内部に上下方向に移動可能に設けられたＺステージ４１、Ｚステージ４１に前後方向に移動可能に取り付けられたＹステージ４２、Ｙステージ４２に左右方向に移動可能に取り付けられたＸステージ４３などからなり、Ｘステージ４３の先端側に、培養容器１０を持ちあげ支持する支持アーム４５が設けられている。搬送ユニット４の作動は制御ユニット６により制御され、Ｘ，Ｙ，Ｚステージ４３，４２，４１を作動させて、培養容器１０をストッカー３と観察ユニット５との間で搬送可能になっている。 The transport unit 4 is movable in the left-right direction to the Z stage 41 provided in the culture chamber 2 so as to be movable in the vertical direction, the Y stage 42 attached to the Z stage 41 so as to be movable in the front-rear direction, and the Y stage 42. A support arm 45 that lifts and supports the culture vessel 10 is provided on the distal end side of the X stage 43. The operation of the transport unit 4 is controlled by the control unit 6, and the culture vessel 10 can be transported between the stocker 3 and the observation unit 5 by operating the X, Y, Z stages 43, 42, 41.
観察ユニット５は、試料台１５の下側から培養容器１０全体をバックライト照明する第１照明部５１、試料台１５の上方から顕微観察系５の光軸に沿って培養容器中の試料を照明する第２照明部５２、及び試料台１５の下方から顕微観察系５の光軸に沿って培養容器中の試料を照明する第３照明部５３と、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００などから構成される。培養容器１０が載置される試料台１５は、透光性材料で構成され、顕微観察系５５の観察領域に透明な窓部１６が設けられている。 The observation unit 5 illuminates the sample in the culture vessel along the optical axis of the microscopic observation system 5 from above the sample stage 15, the first illumination unit 51 that backlight-illuminates the entire culture container 10 from below the sample stage 15. A second illuminating unit 52, a third illuminating unit 53 that illuminates the sample in the culture vessel along the optical axis of the microscopic observation system 5 from below the sample stage 15, and a macro observation system 54 that performs macro observation of the sample. A micro observation system 55 that performs micro observation of a sample, an image processing apparatus 100, and the like are included. The sample stage 15 on which the culture vessel 10 is placed is made of a translucent material, and a transparent window 16 is provided in the observation region of the microscopic observation system 55.
マクロ観察系５４は、観察光学系５４ａと観察光学系により結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有し、第１照明部５１の上方に位置して培養室２内に設けられている。マクロ観察系５４は、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ像）を撮影する。 The macro observation system 54 includes an observation optical system 54a and an imaging device 54c such as a CCD camera that takes an image of the sample imaged by the observation optical system. The macro observation system 54 is located above the first illumination unit 51 and is a culture chamber. 2 is provided. The macro observation system 54 captures a whole observation image (macro image) from above the culture vessel 10 that is backlit by the first illumination unit 51.
顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有し、下部フレーム１ｂの内部に配設されている。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成される。顕微観察系５５は、第２照明部５２により照明されて細胞を透過した透過光、若しくは第３照明部５３により照明されて細胞により反射された反射光、または第３照明部５３により照明されて細胞が発する蛍光を顕微鏡観察した顕微観察像（ミクロ像）を撮影する。 The microscopic observation system 55 includes an observation optical system 55a composed of an objective lens, an intermediate zoom lens, a fluorescent filter, and the like, and an imaging device 55c such as a cooled CCD camera that takes an image of a sample imaged by the observation optical system 55a. And disposed inside the lower frame 1b. A plurality of objective lenses and intermediate zoom lenses are provided, and are configured to be set to a plurality of magnifications using a displacement mechanism such as a revolver or a slider (not shown in detail). The microscopic observation system 55 is transmitted light that has been illuminated by the second illumination unit 52 and transmitted through the cell, reflected light that has been illuminated by the third illumination unit 53 and reflected by the cell, or illuminated by the third illumination unit 53. A microscopic image (micro image) obtained by microscopic observation of fluorescence emitted from the cells is taken.
画像処理装置１００は、マクロ観察系の撮像装置５４ｃ及び顕微観察系の撮像装置５５ｃから入力された信号をＡ／Ｄ変換するとともに、各種の画像処理を施して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像の画像データに画像解析を施し、タイムラプス画像の生成や細胞の移動形態分類、移動方向予測、細胞の運動状態の解析等を行う。画像処理装置１００は、具体的には、次述する制御ユニット６のＲＯＭ６２に記憶された画像処理プログラムを実行することにより構築される。なお、画像処理装置１００については、後に詳述する。 The image processing apparatus 100 performs A / D conversion on signals input from the macro observation system imaging device 54c and the micro observation system imaging device 55c, and performs various image processing to generate an image of the entire observation image or the micro observation image. Generate data. In addition, the image processing apparatus 100 performs image analysis on the image data of these observation images, and performs generation of time-lapse images, classification of cell movement forms, prediction of movement directions, analysis of cell movement states, and the like. Specifically, the image processing apparatus 100 is constructed by executing an image processing program stored in the ROM 62 of the control unit 6 described below. The image processing apparatus 100 will be described in detail later.
制御ユニット６は、ＣＰＵ６１と、培養観察システムＢＳの作動を制御する制御プログラムや各部を制御するためのデータ等が設定記憶されたＲＯＭ６２と、画像データ等を一時記憶するＲＡＭ６３などを有し、これらがデータバスにより接続されて構成される。制御ユニット６の入出力ポートには、培養室２における温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４及び環境センサ２５、搬送装置４におけるＸ，Ｙ，Ｚステージ４３，４２，４１の各軸の駆動機構、観察ユニット５における第１，第２，第３照明部５１，５２，５３、マクロ観察系５４及び顕微観察系５５、操作盤７における操作パネル７１や表示パネル７２などが接続されている。ＣＰＵ６１には上記各部から検出信号が入力され、ＲＯＭ６２に予め設定された制御プログラムに従って上記各部を制御する。 The control unit 6 includes a CPU 61, a ROM 62 in which a control program for controlling the operation of the culture observation system BS, data for controlling each unit, etc. are set and stored, a RAM 63 for temporarily storing image data, and the like. Are connected by a data bus. The input / output port of the control unit 6 includes a temperature adjustment device 21 in the culture chamber 2, a humidifier 22, a gas supply device 23, a circulation fan 24 and an environmental sensor 25, and X, Y, Z stages 43, 42 in the transfer device 4. 41, the first, second, and third illumination units 51, 52, and 53 in the observation unit 5, the macro observation system 54 and the microscopic observation system 55, the operation panel 71 and the display panel 72 in the operation panel 7, and the like. Is connected. Detection signals are input to the CPU 61 from the above-described units, and the above-described units are controlled in accordance with a control program preset in the ROM 62.
操作盤７には、キーボードやスイッチ、光ディスクの読み書き装置などの入出力機器が設けられた操作パネル７１、操作画面や画像データ等を表示する表示パネル７２が設けられており、表示パネル７２を参照しながら操作パネル７１で観察プログラムの設定や条件選択、動作指令等を入力することにより、ＣＰＵ６１を介して培養観察システムＢＳの各部の作動が制御される。ＣＰＵ６１は、有線または無線の通信規格に準拠して構成された通信部６５を介して、外部接続されるコンピュータ等との間でデータの送受信が可能になっている。ＲＡＭ６３には、観察プログラムの動作条件、例えば培養室２の環境条件や、培養容器１０ごとの観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等の観察条件などが記録される。また、培養室２に収容された各培養容器１０のコード番号とストッカー３の収納番地などの培養容器１０の管理データや、画像解析に用いる各種データが記録される。ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域が設けられ、各画像データには培養容器１０のコード番号と撮影日時等を含むインデックス・データとが対応付けて記録される。 The operation panel 7 is provided with an operation panel 71 provided with input / output devices such as a keyboard, a switch, and an optical disk read / write device, and a display panel 72 for displaying an operation screen, image data, and the like. The operation of each part of the culture observation system BS is controlled via the CPU 61 by inputting observation program settings, condition selection, operation commands, and the like on the operation panel 71. The CPU 61 can transmit and receive data to and from an externally connected computer or the like via a communication unit 65 configured in accordance with a wired or wireless communication standard. The RAM 63 records the operating conditions of the observation program, for example, the environmental conditions of the culture chamber 2, the observation schedule for each culture vessel 10, the observation type and observation position in the observation unit 5, the observation conditions such as the observation magnification, and the like. In addition, management data of the culture vessel 10 such as the code number of each culture vessel 10 accommodated in the culture chamber 2 and the storage address of the stocker 3 and various data used for image analysis are recorded. The RAM 63 is provided with an image data storage area for recording image data photographed by the observation unit 5, and each image data is recorded in association with a code number of the culture vessel 10 and index data including the photographing date and time. Is done.
このように概要構成される培養観察システムＢＳでは、操作盤７において設定された観察プログラムの設定条件に従い、ＣＰＵ６１がＲＯＭ６２に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器１０内の試料の撮影を自動的に実行する。すなわち、観察プログラムがスタートされると、ＣＰＵ６１はＲＡＭ６３に記憶された環境条件値を読み込み、環境センサ２５により検出される培養室２の温度や湿度、二酸化炭素濃度などの培養環境が条件値と一致するように温度調整装置２１、加湿器２２、ガス供給装置２３等の作動を制御する。 In the culture observation system BS schematically configured as described above, the CPU 61 controls the operation of each part based on the control program stored in the ROM 62 according to the setting conditions of the observation program set on the operation panel 7, and the culture vessel 10 The sample inside is automatically captured. That is, when the observation program is started, the CPU 61 reads the environmental condition values stored in the RAM 63, and the culture environment such as the temperature, humidity, and carbon dioxide concentration of the culture chamber 2 detected by the environmental sensor 25 matches the condition values. Thus, the operation of the temperature adjusting device 21, the humidifier 22, the gas supply device 23 and the like is controlled.
また、ＣＰＵ６１は、ＲＡＭ６３に記憶された観察条件を読み込み、観察スケジュールに基づいて搬送ユニット４のＸ，Ｙ，Ｚステージ４３，４２，４１を作動させてストッカー３から観察対象の培養容器１０を試料台１５に搬送し、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、培養容器１０をマクロ観察系５４の光軸上に位置決めして試料台１５に載置し、第１照明部５１の光源を点灯させて、培養容器１０の上方から撮像装置５４ｃにより全体観察像を撮影させる。撮像装置５４ｃから制御ユニット６に入力された信号は、画像処理装置１００により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３に記録される。観察プログラムにおいて設定された観察が培養容器１０内の特定位置の試料のミクロ観察である場合には、培養容器１０を顕微観察系５５の光軸上に位置決めして試料台１５に載置し、第２照明部５２または第３照明部５３の光源を点灯させて、特定位置の顕微観察像を撮像装置５５ｃに撮影させる。撮像装置５５ｃから制御ユニット６に入力された信号は、画像処理装置１００により処理されて顕微観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３に記録される。 Further, the CPU 61 reads the observation conditions stored in the RAM 63, operates the X, Y, Z stages 43, 42, 41 of the transport unit 4 based on the observation schedule, and samples the culture vessel 10 to be observed from the stocker 3. The sample is conveyed to the table 15 and observation by the observation unit 5 is started. For example, when the observation set in the observation program is macro observation, the culture vessel 10 is positioned on the optical axis of the macro observation system 54 and placed on the sample table 15, and the light source of the first illumination unit 51 is used as the light source. The whole observation image is photographed by the imaging device 54c from above the culture vessel 10. The signal input from the imaging device 54c to the control unit 6 is processed by the image processing device 100 to generate a whole observation image, and the image data is recorded in the RAM 63 together with index data such as the shooting date and time. When the observation set in the observation program is micro observation of a sample at a specific position in the culture container 10, the culture container 10 is positioned on the optical axis of the microscopic observation system 55 and placed on the sample stage 15. The light source of the 2nd illumination part 52 or the 3rd illumination part 53 is turned on, and the microscopic observation image of a specific position is made to image | photograph the imaging device 55c. A signal input from the imaging device 55c to the control unit 6 is processed by the image processing device 100 to generate a microscopic observation image, and the image data is recorded in the RAM 63 together with index data such as the shooting date and time.
ＣＰＵ６１は、上記のような観察を、ストッカー３に収容された複数の培養容器の試料について、観察プログラムに基づいた５分〜２時間程度の時間間隔の観察スケジュールで全体観察像や顕微観察像の撮影を順次実行する。なお、本実施形態では、撮影の時間間隔は一定であってもよいし、異なっていてもよい。撮影された全体観察像や顕微観察像の画像データは、培養容器１０のコード番号とともにＲＡＭ６３の画像データ記憶領域に記録される。ＲＡＭ６３に記録された画像データは、操作パネル７１から入力される画像表示指令に応じてＲＡＭ６３から読み出され、指定時刻の全体観察画像や顕微観察画像（単体画像）、あるいは指定時間領域の全体観察像や顕微観察像のタイムラプス画像が表示パネル７２に表示される。 The CPU 61 performs the observation as described above for the samples of the plurality of culture containers accommodated in the stocker 3 according to the observation schedule of the time interval of about 5 minutes to 2 hours based on the observation program. Shoot sequentially. In this embodiment, the photographing time interval may be constant or different. The image data of the photographed whole observation image and microscopic observation image are recorded in the image data storage area of the RAM 63 together with the code number of the culture vessel 10. The image data recorded in the RAM 63 is read from the RAM 63 in response to an image display command input from the operation panel 71, and an entire observation image or a microscopic observation image (single image) at a specified time or an entire observation in a specified time region. A time-lapse image of an image or a microscopic observation image is displayed on the display panel 72.
［細胞移動形態の分類手法］
以上のように構成される培養観察システムＢＳにおいて、画像処理装置１００は、細胞の移動形態（移動特性）を分類する機能を有しており、細胞の分類やトラッキングなどに補助的に利用される。細胞の移動形態の分類は、細胞の形状または内部構造から推定される細胞変形方向と、実際の細胞の移動を検出した細胞移動方向の二つの情報を使って行われる。
[Classification method of cell migration form]
In the culture observation system BS configured as described above, the image processing apparatus 100 has a function of classifying the movement form (movement characteristic) of the cell, and is used supplementarily for classification and tracking of the cell. . The classification of cell movement forms is performed using two types of information: the cell deformation direction estimated from the cell shape or internal structure, and the cell movement direction in which actual cell movement is detected.
本明細書においては、細胞変形方向を算出する手法として、観察対象の細胞が撮影された画像から、細胞の形状特徴に基づいて細胞変形方向を算出する手法と、細胞の内部構造の偏りに基づいて細胞変形方向を算出する手法とを提示する。以下、Ｉ：形状特徴に基づく細胞変形方向、II：内部構造の偏りに基づく細胞変形方向について、基本的な概念から説明する。 In this specification, as a method for calculating the cell deformation direction, a method for calculating the cell deformation direction based on the shape characteristic of the cell from an image of the observation target cell, and a bias in the internal structure of the cell. And a method for calculating the cell deformation direction. Hereinafter, I: cell deformation direction based on shape characteristics, and II: cell deformation direction based on internal structure bias will be described from the basic concept.
（最外輪郭の抽出）
細胞変形方向の算出に先立って、細胞の最外輪郭抽出処理を行う。図４は、この最外輪郭抽出処理の状況を例示する模式図であり、撮像装置５５ｃ（５４ｃ）により取得された画像(ａ)を画像処理し、(ｂ)に示すように細胞の最も外側の輪郭を抽出する。この最外輪郭抽出処理には、例えば、動的輪郭方（SnakesやLevel Set法など）や分散フィルタなどを利用する。なお、本明細書においては、移動形態の分類を行う観察対象の細胞を「観察細胞」と表記する。
(External contour extraction)
Prior to the calculation of the cell deformation direction, the outermost contour extraction process of the cell is performed. FIG. 4 is a schematic view illustrating the situation of this outermost contour extraction process. The image (a) acquired by the imaging device 55c (54c) is subjected to image processing, and the outermost side of the cell as shown in (b). Extract the outline of. For this outermost contour extraction processing, for example, a dynamic contour method (Snakes, Level Set method, etc.), a dispersion filter, or the like is used. In the present specification, a cell to be observed on which a moving form is classified is referred to as an “observed cell”.
（Ｉ：形状特徴に基づく細胞変形方向の算出）
細胞の形状特徴に基づく細胞変形方向の算出は、前処理により最外輪郭が抽出された観察細胞に、細胞の輪郭形状をモデル化した細胞モデルを適応させ、適応した細胞モデルを利用して導出する。細胞モデルを利用した細胞変形方向の具体的算出手法として、(１)観察細胞に適応した細胞モデルの重心位置と輪郭が抽出された観察細胞の重心位置のずれに基づく算出手法、(２)観察細胞に適応した細胞モデルの輪郭形状と観察細胞の輪郭形状の差異に基づく算出手法を提案する。
(I: Calculation of cell deformation direction based on shape feature)
Cell deformation direction calculation based on cell shape characteristics is derived by adapting a cell model that models the cell contour shape to the observed cell from which the outermost contour has been extracted by preprocessing, and using the adapted cell model To do. Specific calculation methods of cell deformation direction using cell models are as follows: (1) Calculation method based on deviation of centroid position of cell model adapted to observation cell and centroid position of observation cell from which contour is extracted, (2) Observation We propose a calculation method based on the difference between the contour shape of the cell model adapted to the cell and the contour shape of the observed cell.
まず、観察細胞への細胞モデルの適応は、例えば、図５，図６に楕円形状の細胞モデルＭｃを適応した事例を示すように、前処理で抽出された観察細胞Ｃの最外輪郭に対して楕円モデルへの近似を行う。ここでいう楕円近似は、最小二乗法やモーメント計算による方法が例として挙げられる。または観察細胞Ｃの輪郭内部を埋めたものと最も相関の高い楕円モデルを推定してもよい。この細胞モデルＭｃを利用して観察細胞穂変形方向を推定する。 First, the adaptation of the cell model to the observation cell is performed with respect to the outermost contour of the observation cell C extracted by the preprocessing, as shown in FIGS. 5 and 6, for example, in which the elliptical cell model Mc is applied. To approximate the elliptic model. Examples of the elliptic approximation here include a least square method and a method by moment calculation. Or you may estimate the ellipse model with the highest correlation with what filled the inside of the outline of the observation cell C. FIG. Using this cell model Mc, the deformation direction of the observed cell spike is estimated.
(１)細胞モデルの重心位置と観察細胞の重心位置のずれに基づく細胞変形方向の算出手法は、図５に示すように、観察細胞Ｃに対して細胞モデルＭｃを適用するとともに、観察細胞Ｃの輪郭形状からその重心位置Ｇを図形処理して求め、細胞モデルＭｃの重心位置と観察細胞Ｃの重心位置のずれから細胞変形方向を導出する。例えば、図５のように、観察細胞の輪郭形状の重心Ｇが、楕円近似した細胞モデルＭｃの重心すなわち楕円中心Ｏから長軸の右側に偏っている場合、楕円中心Ｏから重心Ｇの偏心方向を細胞変形方向（細胞の予測移動方向）として算出する。 (1) The cell deformation direction calculation method based on the difference between the center of gravity of the cell model and the center of gravity of the observation cell applies the cell model Mc to the observation cell C as shown in FIG. The center-of-gravity position G is obtained from the outline shape by graphic processing, and the cell deformation direction is derived from the difference between the center-of-gravity position of the cell model Mc and the center-of-gravity position of the observation cell C. For example, as shown in FIG. 5, when the centroid G of the contour shape of the observation cell is deviated from the centroid of the cell model Mc approximated by an ellipse, that is, from the ellipse center O to the right side of the long axis, Is calculated as the cell deformation direction (predicted movement direction of the cell).
(２)細胞モデルの輪郭形状と観察細胞の輪郭形状の差異に基づく細胞変形方向の算出手法は、楕円形状の細胞モデルＭｃに対して細胞輪郭が複雑な場合を考える。この場合、細胞モデルＭｃからはみ出した細胞輪郭の位置及び大きさから、突出量が最も大きい箇所の存在する方位が観察細胞Ｃの移動する方向であると推定し、これを細胞変形方向とする。例えば、図６に示すように、細胞モデルＭｃの中心からはみ出し最大部分の領域の方位が求められ、この方位が細胞変形方向と算出される。 (2) As a method for calculating the cell deformation direction based on the difference between the contour shape of the cell model and the contour shape of the observed cell, consider a case where the cell contour is complicated with respect to the elliptical cell model Mc. In this case, from the position and size of the cell contour protruding from the cell model Mc, it is estimated that the direction in which the portion having the largest protrusion exists is the direction in which the observation cell C moves, and this is defined as the cell deformation direction. For example, as shown in FIG. 6, the orientation of the region of the maximum portion protruding from the center of the cell model Mc is obtained, and this orientation is calculated as the cell deformation direction.
これらの算出手法は、細胞が移動する際に体の一部（足）を伸ばして足がかりを作る特徴や、細胞形状を歪ませて接着面が残る特徴を利用したものである。このようにして得られた細胞変形方向をベクトル化させ、「細胞変形方向」ＶP1とする（ＶP1は単位ベクトル）。なお、細胞モデルＭｃの構成例として楕円形状を例示したが、観察対象となる細胞の形態的な特徴に応じて適宜な形状を用いることができ、例えば、三角形や矩形、星形、弓形などが例示される。 These calculation methods use the feature that a part of the body (foot) is stretched when the cell moves to create a foothold, or the feature that the cell shape is distorted and the adhesive surface remains. The cell deformation direction obtained in this way is vectorized to obtain a “cell deformation direction” V P1 (V P1 is a unit vector). In addition, although the elliptical shape was illustrated as an example of the configuration of the cell model Mc, an appropriate shape can be used according to the morphological characteristics of the cell to be observed, for example, a triangle, a rectangle, a star, an arc, etc. Illustrated.
（II：内部構造の偏りに基づく細胞変形方向の算出）
細胞の内部構造の偏りに基づく細胞変形方向の算出は、前処理により最外輪郭が抽出された観察細胞の輪郭形状に対する細胞密度の分布を算出し、算出された細胞密度分布に基づいて観察細胞の細胞変形方向を算出する。
(II: Calculation of cell deformation direction based on internal structure bias)
The calculation of the cell deformation direction based on the deviation of the internal structure of the cell calculates the distribution of the cell density relative to the contour shape of the observed cell from which the outermost contour has been extracted by the preprocessing, and the observed cell based on the calculated cell density distribution The cell deformation direction is calculated.
細胞密度は、もっとも簡単な計測手法として、顕微観察画像における細胞輪郭内側の輝度値の分散で表現することができる。細胞は移動する際に内部を移動する方向へと組織を移動させる（またはその逆に移動させる）傾向がある。そこで、細胞輪郭内における細胞密度を輝度値の分散から求め、図７に示すように、細胞輪郭内において分散の小さい領域から分散の大きい領域に向かう方向を計算し、これを観察細胞Ｃの「細胞変形方向」ＶP2とする（ＶP2は単位ベクトル）。 The cell density can be expressed by the dispersion of luminance values inside the cell outline in the microscopic observation image as the simplest measurement technique. When cells move, they tend to move tissue in the direction of moving inside (or vice versa). Therefore, the cell density in the cell contour is obtained from the variance of the luminance value, and as shown in FIG. 7, the direction from the region of small dispersion to the region of large dispersion in the cell contour is calculated. Cell deformation direction ”V P2 (V P2 is a unit vector).
（細胞移動方向の検出）
次に、観察細胞Ｃの移動に対して十分微小な時間を隔てた時刻t+1，t+2，t+3・・・（またはt-1，t-2，t-3・・・）の細胞観察画像（第２観察画像）を取得し、時刻tの観察細胞Ｃに最も近い位置の細胞を対応する観察細胞として順次検出する。また、時刻tの観察細胞Ｃの位置と各時刻における観察細胞の位置とから移動量および移動方向を算出し、算出された観察細胞の実移動方向を各時刻における観察細胞の「細胞移動方向」ＶRとする（ＶRは単位ベクトル）。なお、各時刻における移動量及び移動方向から観察細胞Ｃの平均移動方向を算出し、これを観察細胞の細胞移動方向ＶRとしてもよい。
(Detection of cell movement direction)
Next, the time t + 1, t + 2, t + 3... (Or t-1, t-2, t-3...) Separated by a sufficiently small time with respect to the movement of the observation cell C. Cell observation image (second observation image) is acquired, and the cell closest to the observation cell C at time t is sequentially detected as the corresponding observation cell. Further, the movement amount and the movement direction are calculated from the position of the observation cell C at the time t and the position of the observation cell at each time, and the calculated actual movement direction of the observation cell is the “cell movement direction” of the observation cell at each time. Let V R (V R is a unit vector). Incidentally, it calculates an average direction of movement of the observation cell C from the moving amount and the moving direction at each time, which may be used as cell movement direction V R of the observation cell.
ここで、時刻tの細胞に対応する時刻t+1の細胞の検出には、時刻の刻み幅が観察細胞Ｃの移動に対して十分短く、細胞の変形も少ないことから、時刻tの観察細胞Ｃをテンプレートとし、その近傍における時刻t+1の画像に対してマッチング（相関や差分など）をとる（テンプレートマッチング）。これを時刻t+1の画像に対する時刻t+2の細胞の検出と繰り返し、短時間あたりの細胞の移動方向を決定する。 Here, for the detection of the cell at time t + 1 corresponding to the cell at time t, the step size of the time is sufficiently short with respect to the movement of the observation cell C, and the deformation of the cell is small. Using C as a template, matching (correlation, difference, etc.) is performed on an image at time t + 1 in the vicinity thereof (template matching). This is repeated with the detection of the cell at time t + 2 with respect to the image at time t + 1, and the moving direction of the cells per short time is determined.
（細胞移動形態の分類）
次に、上記のようにして求めた観察細胞Ｃの細胞変形方向（ＶP1，ＶP2）と、細胞移動方向（ＶR）との内積をとり、
Ｐ1＝ＶP1・ＶR
Ｐ2＝ＶP2・ＶR
を算出する。そして、この内積の算出結果により、観察細胞Ｃの移動形態を次のように分類する。図１(ａ)(ｂ)に、細胞変形方向ＶP（ＶP1，ＶP2）及び細胞移動方向ＶRと、細胞の移動形態の関係を模式的に表す説明図を示す。
(Classification of cell migration forms)
Next, the inner product of the cell deformation direction (V P1 , V P2 ) of the observation cell C obtained as described above and the cell movement direction (V R ) is taken,
P 1 = V P1・ V R
P 2 = V P2・ V R
Is calculated. Then, the movement form of the observation cell C is classified as follows based on the calculation result of the inner product. FIGS. 1A and 1B are explanatory diagrams schematically showing the relationship between the cell deformation direction V P (V P1 , V P2 ) and the cell movement direction V R and the cell movement mode.
Ｐ1が１に近い場合、またはＰ2が−１に近い場合。
この場合には、図１(ａ)に示すように、観察細胞Ｃは、体の一部（足）を伸ばして足がかりを作り、その方向に体を移動させるタイプであると判断される。
When P 1 is close to 1 or when P 2 is close to -1.
In this case, as shown in FIG. 1A, the observation cell C is determined to be a type in which a part of the body (leg) is stretched to make a foothold and the body is moved in that direction.
Ｐ1が−１に近い場合、またはＰ2が１に近い場合。
この場合には、図１(ｂ)に示すように、観察細胞Ｃは、細胞の形状を歪ませあるいは内部構造を移動方向に移動させて、外形の接着部位（足）を引きずるように移動するタイプであると判断される。
When P 1 is close to −1 or P 2 is close to 1.
In this case, as shown in FIG. 1B, the observation cell C moves so as to drag the adhesion site (foot) of the outer shape by distorting the shape of the cell or moving the internal structure in the moving direction. Judged to be a type.
従って、以上のような解析手法を用いることにより、撮像装置により撮影された観察細胞Ｃの外形や内部構造などの情報から、観察細胞Ｃの移動形態を容易に分類することができる。 Therefore, by using the analysis method as described above, the moving form of the observation cell C can be easily classified from information such as the outer shape and internal structure of the observation cell C taken by the imaging device.
［アプリケーション］
次に、培養観察システムＢＳの画像処理装置１００において実行される画像解析の具体的なアプリケーションについて、図８〜図１２の各図を併せて参照しながら説明する。ここで、図８は移動予測の画像処理を実行する画像処理装置１００の概要構成を示すブロック図、図９は移動予測の画像処理プログラムＧＰにおけるメインフローを示すフローチャート、図１０〜図１２はメインフローにおいて選択される予測アルゴリズムＡ，Ｂ，Ｃに対応したフローチャートである。
[application]
Next, a specific application of image analysis executed in the image processing apparatus 100 of the culture observation system BS will be described with reference to each of FIGS. Here, FIG. 8 is a block diagram showing a schematic configuration of the image processing apparatus 100 that executes image processing for movement prediction, FIG. 9 is a flowchart showing a main flow in the image processing program GP for movement prediction, and FIGS. It is a flowchart corresponding to the prediction algorithms A, B, and C selected in the flow.
画像処理装置１００は、撮像装置５５ｃ（５４ｃ）により観察細胞Ｃが撮影された観察画像を取得して観察画像を解析する画像解析部１２０と、画像解析部１２０により解析された解析結果を出力する出力部１３０とを備え、画像解析部１２０により導出された観察細胞Ｃの移動形態を、例えば表示パネル７２に出力して表示させるように構成される。画像処理装置１００は、ＲＯＭ６２に予め設定記憶された画像処理プログラムＧＰがＣＰＵ６１に読み込まれ、ＣＰＵ６１によって画像処理プログラムＧＰに基づく処理が順次実行されることによって構成される。 The image processing apparatus 100 acquires an observation image obtained by capturing the observation cell C by the imaging device 55c (54c) and analyzes the observation image, and outputs an analysis result analyzed by the image analysis unit 120. And an output unit 130 configured to output and display the movement form of the observation cell C derived by the image analysis unit 120 on the display panel 72, for example. The image processing apparatus 100 is configured such that an image processing program GP preset and stored in the ROM 62 is read by the CPU 61 and processing based on the image processing program GP is sequentially executed by the CPU 61.
ここで、画像解析部１２０は、画像解析プログラムＧＰのメインフローにおいてＡまたはＢのアルゴリズムが選択された場合に、取得した時刻tの観察画像から観察細胞Ｃの輪郭を抽出し、輪郭が抽出された観察細胞Ｃの形状特徴に基づいて細胞変形方向ＶP1及び観察細胞Ｃの細胞移動方向ＶRを算出し、これら細胞変形方向ＶP1及び細胞移動方向ＶRに基づいて観察細胞Ｃの移動形態を分類する。一方、画像解析プログラムＧＰのメインフローにおいてＣのアルゴリズムが選択された場合には、画像解析部１２０は、取得した観察画像から観察細胞Ｃの輪郭を抽出し、輪郭が抽出された観察細胞Ｃの輪郭形状に対する内部構造の偏りに基づいて細胞変形方向ＶP2及び観察細胞Ｃの細胞移動方向ＶRを算出し、これら細胞変形方向ＶP2及び細胞移動方向ＶRに基づいて観察細胞Ｃの移動形態を分類する。そして、分類された観察細胞Ｃの移動形態に基づき、さらに進んで観察細胞Ｃの予測移動方向を導出する。 Here, when the algorithm A or B is selected in the main flow of the image analysis program GP, the image analysis unit 120 extracts the outline of the observation cell C from the obtained observation image at time t, and the outline is extracted. The cell deformation direction V P1 and the cell movement direction V R of the observation cell C are calculated based on the shape characteristics of the observed cell C, and the movement pattern of the observation cell C is calculated based on the cell deformation direction V P1 and the cell movement direction V R. Classify. On the other hand, when the C algorithm is selected in the main flow of the image analysis program GP, the image analysis unit 120 extracts the outline of the observation cell C from the acquired observation image, and the observation cell C from which the outline is extracted is extracted. calculating a cell moving direction V R cell deformation direction V P2 and the observation cell C based upon the bias of the internal structure for the outline shape, movement form of the observation cell C based on these cells deformation direction V P2 and cell movement direction V R Classify. Then, based on the classified movement form of the observation cell C, the predicted movement direction of the observation cell C is derived further.
上記のような画像解析部１２０による画像解析処理は、これから観察を始める細胞の画像を画像装置により取得して実行可能であるほか、既にＲＡＭ６３に保存されている画像データを読み出して実行することも可能である。そこで、本実施例では、現時点である時刻tに取得された観察画像を基準とし、この時刻tの観察画像と、微小時間前の時刻t-1に取得され、既にＲＡＭ６３に保存されている第２観察画像とから、観察細胞Ｃの移動形態の分類及び移動予測を行う場合について、図１３に示す表示パネル７２への移動予測インターフェースの表示画像構成例を参照しながら説明する。 The image analysis processing by the image analysis unit 120 as described above can be executed by acquiring an image of a cell to be observed from the image apparatus by using an image device, and can also be executed by reading out image data already stored in the RAM 63. Is possible. Therefore, in the present embodiment, the observation image acquired at the current time t is used as a reference, the observation image at this time t and the time t-1 which is a minute time ago, and are already stored in the RAM 63. A case where classification and movement prediction of the movement form of the observation cell C are performed from the two observation images will be described with reference to a display image configuration example of the movement prediction interface to the display panel 72 shown in FIG.
このインターフェースでは、操作パネル７１において「細胞の移動予測」が選択され、実行されると、まず、表示パネル７２に「ディッシュ選択」枠７２１が表示されてストッカー３に格納された培養容器１０のコード番号一覧表が表示され、観察対象の培養容器１０の選択が行われる。図１３では、操作パネル７１に設けられたカーソルによってコード番号Cell-0002の培養細胞ディッシュ（培養容器）が選択された状態を示す。 In this interface, when “cell movement prediction” is selected on the operation panel 71 and executed, first, a “dish selection” frame 721 is displayed on the display panel 72 and the code of the culture vessel 10 stored in the stocker 3 is displayed. A number list is displayed, and the culture vessel 10 to be observed is selected. FIG. 13 shows a state in which the cultured cell dish (culture vessel) having the code number Cell-0002 is selected by the cursor provided on the operation panel 71.
培養容器が選択されると、ＣＰＵ６１は、搬送ユニット４のＸ，Ｙ，Ｚ各ステージを作動させてストッカー３から観察対象の培養容器１０を観察ユニット５に搬送する。そして、顕微観察系５５による顕微観察像を撮像装置５５ｃにより撮影させ、その画像を「観察位置」枠７２２に表示させる。 When the culture container is selected, the CPU 61 operates the X, Y, and Z stages of the transport unit 4 to transport the culture container 10 to be observed from the stocker 3 to the observation unit 5. Then, a microscopic observation image by the microscopic observation system 55 is photographed by the imaging device 55 c, and the image is displayed in the “observation position” frame 722.
次に、観察対象とする細胞（観察細胞）が含まれる観察画像を取得するため、観察画像の領域設定が行われる。図１３では、観察者が操作パネル７１に付帯して設けられたマウスを利用して中央右よりの網掛け領域を指定した状態を示す。これにより、観察者が指定した領域の画像が観察画像として画像解析部１２０に取得される（ステップＳ１）。 Next, in order to acquire an observation image including cells to be observed (observation cells), an observation image region is set. FIG. 13 shows a state in which the observer designates a shaded area from the center right using a mouse attached to the operation panel 71. As a result, an image of the region designated by the observer is acquired as an observation image by the image analysis unit 120 (step S1).
取得された観察画像は、画像解析部１２０により瞬時に細胞の最外輪郭抽出処理（セグメンテーション）が施され（ステップＳ２）、表示パネル７２の「観察画像」枠７２３に、最外輪郭が抽出された細胞の画像が表示される。そこで、図１３に示すように、観察画像において、移動方向予測を行う観察細胞（注目細胞）をマウス等を用いて指定する（ステップＳ３）。このとき、観察画像枠７２３の下側に「移動予測オプション」枠７２４が形成され、その枠内に「移動予測手法」枠７２５が形成されてどの予測アルゴリズムを適用して移動予測を行うか、移動予測手法の選択ボタン７２５ａ，７２５ｂ，７２５ｃが表示される。 The acquired observation image is instantaneously subjected to cell outermost contour extraction processing (segmentation) by the image analysis unit 120 (step S2), and the outermost contour is extracted in the “observation image” frame 723 of the display panel 72. A cell image is displayed. Therefore, as shown in FIG. 13, in the observation image, the observation cell (cell of interest) for which the movement direction is predicted is specified using a mouse or the like (step S3). At this time, a “movement prediction option” frame 724 is formed below the observation image frame 723, and a “movement prediction method” frame 725 is formed in the frame, and which prediction algorithm is applied to perform movement prediction, Selection buttons 725a, 725b, and 725c for the movement prediction method are displayed.
図示する実施例では、予測アルゴリズムとして、
Ａ：最外輪郭偏心方向による予測・・・すなわち、Ｉ：形状特徴に基づく細胞変形方向の算出(１)で説明した、細胞モデルＭｃの重心位置Ｏと観察細胞Ｃの重心位置Ｇのずれに基づいて細胞の移動形態を分類し、移動方向を予測する手法。
Ｂ：楕円はみ出し方向による予測・・・すなわち、Ｉ：形状特徴に基づく細胞変形方向の算出(２)で説明した、細胞モデルＭｃの輪郭形状と観察細胞Ｃの輪郭形状の差異に基づいて細胞の移動形態を分類し、移動方向を予測する手法。
Ｃ：細胞組織密度方向による予測・・・すなわち、II：内部構造の特徴に基づく細胞変形方向の算出で説明した、観察細胞Ｃの内部構造の特徴に基づいて細胞の移動形態を分類し、移動方向を予測する手法。
の３種類の中から予測手法を選択設定可能に構成しており、Ａ：最外輪郭偏心方向による予測手法の選択ボタン７２５ａ、Ｂ：楕円はみ出し方向による予測手法の選択ボタン７２５ｂ、Ｃ：細胞組織密度方向による予測手法の選択ボタン７２５ｃがメイン画面に表示されるように構成している。
In the illustrated embodiment, as a prediction algorithm,
A: Prediction based on the outermost contour eccentricity direction, that is, I: Difference between the centroid position O of the cell model Mc and the centroid position G of the observation cell C described in the calculation of the cell deformation direction based on the shape feature (1). A method of classifying cell movement forms based on the prediction and predicting the movement direction.
B: Prediction based on the protruding direction of the ellipse, that is, I: calculation of the cell deformation direction based on the shape feature (2), based on the difference between the contour shape of the cell model Mc and the contour shape of the observation cell C. A method of classifying movement forms and predicting movement directions.
C: Prediction based on cell tissue density direction, that is, II: Classification of cell movement form based on characteristics of internal structure of observed cell C explained in II: Calculation of cell deformation direction based on characteristics of internal structure, and movement A method of predicting direction.
A: A prediction method selection button 725a based on the outermost contour eccentric direction B, B: A prediction method selection button 725b based on the protruding direction of the ellipse, and C: cell tissue A selection button 725c for a prediction method based on the density direction is configured to be displayed on the main screen.
ステップＳ４では、観察者が選択ボタン７２５ａ，７２５ｂ，７２５ｃのいずれかを選択することにより予測アルゴリズムＡ，Ｂ，Ｃの選択が行われ、この選択に応じて、ステップＳ５で、Ｓ５Ａ：最外輪郭偏心方向による予測アルゴリズムのフロー、Ｓ５Ｂ：楕円はみ出し方向による予測アルゴリズムのフロー、Ｓ５Ｃ：細胞組織密度方向による予測アルゴリズムのフローのいずれかに分岐する。 In step S4, the observer selects one of the selection buttons 725a, 725b, and 725c to select the prediction algorithms A, B, and C. In response to this selection, in step S5, S5A: outermost contour is selected. The flow branches to either the flow of the prediction algorithm based on the eccentric direction, S5B: the flow of the prediction algorithm based on the protruding direction of the ellipse, or the flow of the prediction algorithm based on the cell tissue density direction.
（Ｓ５Ａ：最外輪郭偏心方向による予測アルゴリズムのフロー）
最外輪郭偏心方向による予測アルゴリズムは、図１０に示すように、まず、ステップＳ１１において、観察細胞の最外輪郭に対して細胞モデルＭｃの近似処理が実行され、例えば図５に点線で示したように、観察細胞Ｃに楕円形状の細胞モデル（楕円モデル）Ｍｃが適応される。次いで、ステップＳ１２において、細胞モデルＭｃの重心位置（楕円中心）Ｏと、観察細胞Ｃの輪郭形状における重心位置Ｇとが算出される。ステップＳ１３では、細胞モデルＭｃの重心位置Ｏから輪郭形状の重心位置Ｇに向かう方向が算出され、細胞変形方向ＶP1が算出されて、ステップＳ１５に進む。
(S5A: Flow of prediction algorithm by outermost contour eccentric direction)
As shown in FIG. 10, in the prediction algorithm based on the outermost contour eccentric direction, first, approximation processing of the cell model Mc is performed on the outermost contour of the observation cell in step S11. For example, the prediction algorithm is indicated by a dotted line in FIG. Thus, an elliptical cell model (elliptical model) Mc is applied to the observation cell C. Next, in step S12, the centroid position (ellipse center) O of the cell model Mc and the centroid position G in the contour shape of the observation cell C are calculated. In step S13, the direction from the center of gravity O of the cell model Mc to the center of gravity G of the contour shape is calculated, the cell deformation direction V P1 is calculated, and the process proceeds to step S15.
上記ステップＳ１１〜Ｓ１３による細胞変形方向ＶP1の算出と並行して（または別途独立して）、ステップＳ５１において既にＲＡＭ６３に記憶されていた時刻t-1の観察画像が取得され、ステップＳ５２において時刻tの観察細胞Ｃに最も近い位置の細胞を対応する観察細胞として検出する。次いで、ステップＳ５３において時刻tの観察細胞Ｃの位置と時刻t-1における観察細胞Ｃの位置とから、当該観察細胞Ｃの実際の移動方向、すなわち細胞移動方向ＶRを算出してステップＳ１５に進む。なお、前述したように複数の時刻（t，t-1，t-2，t-3・・・）間の移動量及び移動方向から平均移動方向を算出し、これを細胞移動方向ＶRとしてもよく、時刻tから微小時間経過後のt+1の画像を新たに取得して細胞移動方向ＶRを算出してもよい。 In parallel with (or separately from) the calculation of the cell deformation direction V P1 in steps S11 to S13, an observation image at time t−1 that has already been stored in the RAM 63 in step S51 is acquired. The cell closest to the observed cell C of t is detected as the corresponding observed cell. Then, from the position of the observation cell C at the position and the time t-1 of the observation cell C at time t at step S53, the actual movement direction of the observation cell C, i.e. to step S15 to calculate the cell migration direction V R move on. Incidentally, a plurality of times as described above (t, t-1, t -2, t-3 ···) as to calculate the average movement direction from the movement amount and the moving direction between, which cell migration direction V R at best, the t + 1 of the image after short time from the time t may be newly acquired by calculating the cell movement direction V R.
ステップＳ１５では、ステップＳ１３で得られた細胞変形方向ＶP1と、ステップＳ５３で得られた細胞移動方向ＶRとから内積Ｐ1＝ＶP1・ＶRが算出される。そして、ステップＳ１６において、Ｐ1に基づいて観察細胞Ｃの移動形態が分類される。すなわち、算出されたＰ1が１に近い場合には、観察細胞Ｃは、図１(ａ)に示すように移動方向に体を伸ばす細胞輪郭（足）移動型、Ｐ1が−１に近い場合には、観察細胞Ｃは、図１(ｂ)に示すように接着部を引きずるように移動する細胞内部移動型であると判断され、観察細胞の移動形態（細胞移動モデル）が決定される。 In step S15, the inner product P 1 = V P1 · V R is calculated from the cell deformation direction V P1 obtained in step S13 and the cell movement direction V R obtained in step S53. Then, in step S16, the moving form of the observed cell C is classified based on P 1. That is, when the calculated P 1 is close to 1, the observed cell C is a cell contour (foot) moving type that stretches the body in the moving direction as shown in FIG. 1A, and P 1 is close to −1. In this case, it is determined that the observation cell C is a cell internal movement type that moves so as to drag the adhesion portion as shown in FIG. 1B, and the movement form (cell movement model) of the observation cell is determined. .
そして、ステップＳ１６で決定された移動形態に基づき、ステップＳ１８において、細胞モデルＭｃの中心Ｏから細胞輪郭の重心Ｇに向かう方向（Ｐ1が１に近い場合）または逆方向（Ｐ1が−１に近い場合）が観察細胞Ｃの移動予測方向と決定され、メインフローに戻ってステップＳ６に進む。 Then, based on the moving mode determined in step S16, in step S18, a direction from the center O of the cell model Mc in the center of gravity G of the cell contour (if P 1 is close to 1) or backward (P 1 -1 Is determined as the predicted movement direction of the observation cell C, the process returns to the main flow and proceeds to step S6.
ステップＳ６では、表示画面に「細胞移動モデル」枠７２６、及び「注目細胞のトラッキング」枠７２７が形成される。「細胞移動モデル」枠７２６の枠内には、ステップＳ１６において決定された観察細胞Ｃの移動形態（細胞内部移動型７２６ａ、または細胞輪郭（足）移動型７２６ｂ）がドットの点灯や点滅表示により示される。「注目細胞のトラッキング」枠７２７の枠内には、ステップＳ３において指定された観察細胞Ｃのクローズアップ表示と、ステップＳ１８において決定された観察細胞Ｃの予測移動方向がベクトル表示により表示される。なお、観察画像内に位置する全細胞について移動予測を実行する場合には、「観察画像」枠７２３の下側に形成された「全細胞移動予測ベクトル表示」の選択ボタンをオンに設定することによって、図示するように観察画像中の各細胞に移動ベクトルが重ねて表示される。 In step S6, a “cell movement model” frame 726 and a “tracking target cell” frame 727 are formed on the display screen. In the frame of the “cell movement model” frame 726, the movement form of the observation cell C (internal cell movement type 726a or cell outline (foot) movement type 726b) determined in step S16 is displayed by lighting or blinking of dots. Indicated. In the “target cell tracking” frame 727, a close-up display of the observation cell C designated in step S3 and a predicted movement direction of the observation cell C determined in step S18 are displayed by vector display. In addition, when executing the movement prediction for all cells located in the observation image, the selection button of “display whole cell movement prediction vector” formed on the lower side of the “observation image” frame 723 should be set to ON. As shown in the figure, the movement vector is superimposed on each cell in the observation image and displayed.
（Ｓ５Ｂ：楕円はみ出し方向による予測アルゴリズムのフロー）
楕円はみ出し方向による予測アルゴリズムは、図１１に示すように、ステップＳ２１において、観察細胞の最外輪郭に対して細胞モデルＭｃの近似処理が実行され、例えば図６に点線で示したように、観察細胞Ｃに楕円形状の細胞モデル（楕円モデル）Ｍｃが適応される。次いで、ステップＳ２２において、細胞モデルＭｃからはみ出した観察細胞Ｃの領域の位置と大きさが算出される。続くステップＳ２３では、細胞モデルＭｃの中心から突出量が最大の領域の方位が求められ、この方位が細胞変形方向ＶP1と算出されて、ステップＳ２５に進む。
(S5B: Flow of prediction algorithm based on oval protrusion direction)
As shown in FIG. 11, in the prediction algorithm based on the protruding direction of the ellipse, the approximation process of the cell model Mc is executed on the outermost contour of the observation cell in step S21. For example, as shown by the dotted line in FIG. An elliptical cell model (elliptical model) Mc is applied to the cell C. Next, in step S22, the position and size of the region of the observation cell C that protrudes from the cell model Mc are calculated. In the subsequent step S23, the direction of the region having the maximum protrusion amount from the center of the cell model Mc is obtained, this direction is calculated as the cell deformation direction V P1, and the process proceeds to step S25.
ステップＳ２１〜Ｓ２３による細胞変形方向ＶP1の算出と並行して（または独立して）、ステップＳ５１においてＲＡＭ６３に記憶されていた時刻t-1の観察画像が取得され、ステップＳ５２において時刻tの観察細胞Ｃに最も近い位置の細胞を対応する観察細胞として検出し、ステップＳ５３において時刻tの観察細胞Ｃの位置と時刻t-1における観察細胞Ｃの位置とから細胞移動方向ＶRを算出して、ステップＳ２５に進む。 In parallel (or independently) with the calculation of the cell deformation direction V P1 in steps S21 to S23, the observation image at time t−1 stored in the RAM 63 in step S51 is acquired, and the observation at time t in step S52. detecting the cells closest to the cell C as a corresponding observation cells, and calculate the cell migration direction V R from the position of the observation cell C at time position and the time t-1 of the observation cell C of t in step S53 The process proceeds to step S25.
ステップＳ２５では、ステップＳ２３で得られた細胞変形方向ＶP1と、ステップＳ５３で得られた細胞移動方向ＶRとから内積Ｐ1＝ＶP1・ＶRが算出される。そして、ステップＳ２６において、算出されたＰ1に基づいて観察細胞Ｃの移動形態を分類する。すなわち、算出されたＰ1が１に近い場合には、観察細胞Ｃは、図１(ａ)に示すように移動方向に体の一部（足）を伸ばして足がかりを作る細胞輪郭（足）移動型、Ｐ1が−１に近い場合には、観察細胞Ｃは、図１(ｂ)に示すように体を歪ませて接着部を引きずるように移動する細胞内部移動型であると判断され、細胞の移動形態（細胞移動モデル）が決定される。 In step S25, the inner product P 1 = V P1 · V R is calculated from the cell deformation direction V P1 obtained in step S23 and the cell movement direction V R obtained in step S53. Then, in step S26, to classify the moving mode of the observation cell C based on the P 1 calculated. That is, when the calculated P 1 is close to 1, the observed cell C has a cell contour (leg) that stretches a part of the body (leg) in the moving direction and creates a foothold as shown in FIG. When P 1 is close to −1, the observation cell C is determined to be a cell internal movement type in which the body is distorted and moves so as to drag the adhesion portion as shown in FIG. The cell movement form (cell movement model) is determined.
そして、ステップＳ２６で決定された移動形態に基づき、ステップＳ２８において、細胞モデルＭｃの中心から突出量が最大の領域に向かう方向（Ｐ1が１に近い場合）または逆方向（Ｐ1が−１に近い場合）が、観察細胞Ｃの移動予測方向と決定され、メインフローに戻ってステップＳ６に進む。 Then, based on moving mode determined in step S26, in step S28, the direction in which the amount of projecting toward the largest area from the center of the cell model Mc (if P 1 is close to 1) or backward (P 1 -1 Is determined as the movement prediction direction of the observation cell C, the process returns to the main flow and proceeds to step S6.
以降の処理は、前述した最外輪郭偏心方向による予測アルゴリズムの場合と同様である。すなわち、ステップＳ６において、表示画面に「細胞移動モデル」枠７２６、及び「注目細胞のトラッキング」枠７２７が形成され、「細胞移動モデル」枠７２６の枠内に観察細胞Ｃの移動形態（細胞内部移動型７２６ａ、または細胞輪郭（足）移動型７２６ｂ）、「注目細胞のトラッキング」枠７２７の枠内に、観察細胞Ｃのクローズアップ表示と予測移動方向とが表示される。 The subsequent processing is the same as in the case of the prediction algorithm based on the outermost contour eccentricity described above. That is, in step S 6, a “cell movement model” frame 726 and a “tracking target cell” frame 727 are formed on the display screen, and the observation cell C moves in the “cell movement model” frame 726. The close-up display of the observed cell C and the predicted movement direction are displayed within the frame of the movement type 726a, the cell outline (foot) movement type 726b), and the “tracking target cell” frame 727.
（Ｓ５Ｃ：細胞組織密度方向による予測アルゴリズムのフロー）
細胞組織密度方向による予測アルゴリズムは、図１２に示すように、まず、ステップＳ３１において、観察細胞輪郭内の輝度値の分散を算出することにより細胞内部の密度分布を算出する。次いで、ステップＳ３２において輝度値の分散が小さい領域から大きい領域に向かう方向を算出し、観察細胞Ｃの細胞変形方向ＶP2を求める。これにより図７に示したように、輪郭形状が複雑な細胞であっても、細胞内部の構造特徴により細胞密度の低い領域から高い領域に向かう細胞変形方向ＶP2を求められ、ステップＳ３５に進む。
(S5C: Flow of prediction algorithm based on cell tissue density direction)
As shown in FIG. 12, in the prediction algorithm based on the cell tissue density direction, first, in step S31, the distribution of luminance values in the observed cell contour is calculated to calculate the density distribution inside the cell. Next, in step S32, a direction from a region where the variance of luminance values is small to a large region is calculated, and a cell deformation direction V P2 of the observation cell C is obtained. As a result, as shown in FIG. 7, even for a cell with a complicated contour shape, the cell deformation direction V P2 from the low cell density region toward the high cell region is obtained by the structural features inside the cell, and the process proceeds to step S35. .
ステップＳ３１，Ｓ３２による細胞変形方向ＶP2の算出と並行して、前述同様のステップＳ５１〜ステップＳ５３が実行され、この処理により細胞移動方向ＶRが算出されてステップＳ３５に進む。 In parallel with the calculation of the cell deformation direction V P2 in steps S31 and S32, the same steps S51 to S53 as described above are executed, the cell movement direction V R is calculated by this process, and the process proceeds to step S35.
ステップＳ３５では、ステップＳ３２で得られた細胞変形方向ＶP2と、ステップＳ５３で得られた細胞移動方向ＶRとから内積Ｐ2＝ＶP2・ＶRが算出される。そして、ステップＳ３６において、算出されたＰ2に基づいて観察細胞Ｃの移動形態を分類する。すなわち、算出されたＰ2が−１に近い場合には、観察細胞Ｃは、図１(ｂ)に示すように細胞の内部構造を体の内部で移動させ、当該内部構造の移動方向に移動してゆく細胞内部移動型であると判断され、Ｐ2が１に近い場合には、観察細胞Ｃは、図１(ａ)に示すように移動方向に体の一部を伸ばす細胞輪郭（足）移動型であると判断され、細胞の移動形態（細胞移動モデル）が決定される。 In step S35, the inner product P 2 = V P2 · V R is calculated from the cell deformation direction V P2 obtained in step S32 and the cell movement direction V R obtained in step S53. Then, in step S36, to classify the moving mode of the observation cell C based on the P 2 calculated. That is, when the calculated P 2 is close to −1, the observation cell C moves the internal structure of the cell inside the body and moves in the moving direction of the internal structure as shown in FIG. When P 2 is close to 1, the observed cell C has a cell outline (foot) that stretches a part of the body in the moving direction as shown in FIG. 1 (a). ) It is determined that the cell is a mobile type, and the cell movement form (cell movement model) is determined.
そして、ステップＳ３６で決定された移動形態に基づき、ステップＳ３８において、細胞密度が小さい領域から大きい領域に向かう方向（Ｐ2が−１に近い場合）または逆方向（Ｐ2が１に近い場合）が、観察細胞Ｃの移動予測方向と決定され、メインフローに戻ってステップＳ６に進む。 Then, based on the moving mode determined in step S36, in step S38, (if P 2 is close to 1) a direction toward the larger area from the area cell density is small (if P 2 is close to -1) or reverse Is determined as the movement prediction direction of the observation cell C, and the process returns to the main flow and proceeds to step S6.
以降の処理は、既述した最外輪郭偏心方向による予測アルゴリズムの場合と同様であり、ステップＳ６において、表示画面に「細胞移動モデル」枠７２６及び「注目細胞のトラッキング」枠７２７が形成され、「細胞移動モデル」枠の枠内に観察細胞Ｃの移動形態（細胞内部移動型７２６ａ、または細胞輪郭（足）移動型７２６ｂ）、「注目細胞のトラッキング」枠の枠内に、観察細胞Ｃのクローズアップ表示及び予測移動方向が表示される。 The subsequent processing is the same as in the case of the above-described prediction algorithm based on the outermost contour eccentricity direction. In step S6, a “cell movement model” frame 726 and a “tracking target cell” frame 727 are formed on the display screen. The movement form of the observation cell C (cell internal movement type 726a or cell contour (foot) movement type 726b) within the frame of the “cell movement model” frame, and the observation cell C frame within the “tracking cell of interest” frame A close-up display and a predicted movement direction are displayed.
このようなアプリケーションによれば、観察対象に応じて好適な予測アルゴリズムを選択することができ、いずれの予測アルゴリズムを適用した場合にも、「細胞移動モデル」枠７２６の表示を見ることにより、観察細胞Ｃの移動形態を直ちに理解することができ、「注目細胞のトラッキング」枠７２７を見ることにより、観察対象の細胞の移動方向を詳細に把握することができる。 According to such an application, a suitable prediction algorithm can be selected according to the observation target, and the observation of the “cell migration model” frame 726 can be observed by applying any prediction algorithm. The movement form of the cell C can be immediately understood, and the movement direction of the cell to be observed can be grasped in detail by looking at the “tracking target cell” frame 727.
そして、以上説明したように、本発明の画像処理プログラムＧＰ、この画像処理プログラムが実行されることより構成される画像解析方法及び画像処理装置１００によれば、撮像装置により撮影された少数の観察画像から細胞の移動形態を分類することができ、細胞の分類及び移動予測を簡明な構成で、高速に処理可能な手段を提供することができる。 As described above, according to the image processing program GP of the present invention, the image analysis method configured by executing the image processing program, and the image processing apparatus 100, a small number of observations photographed by the imaging apparatus. It is possible to classify the cell movement form from the image, and to provide a means capable of processing the cell classification and movement prediction at high speed with a simple configuration.
ＢＳ 培養観察システム ＧＰ 画像処理プログラム
Ｃ 観察細胞 Ｍｃ 細胞モデル
ＶP（ＶP1，ＶP2） 細胞変形方向 ＶR 細胞移動方向
５ 観察ユニット ６ 制御ユニット
５４ マクロ観察系 ５４ｃ 撮像装置
５５ 顕微観察系 ５５ｃ 撮像装置
６１ ＣＰＵ ６２ ＲＯＭ
６３ ＲＡＭ １００ 画像処理装置
１２０ 画像解析部 １３０ 出力部
BS culture observation system GP image processing program C observed cells Mc cell model V P (V P1, V P2 ) cell deformation direction V R cell movement direction 5 observation unit 6 control unit 54 macro observation system 54c imaging device 55 microscopic observation system 55c imaging Device 61 CPU 62 ROM
63 RAM 100 Image Processing Device 120 Image Analysis Unit 130 Output Unit
Claims (15)
取得した前記観察画像から前記観察細胞の輪郭を抽出し、
輪郭が抽出された前記観察細胞の形状特徴に基づいて前記観察細胞の細胞変形方向を算出するとともに、
前記観察画像と所定時間を隔てて前記撮像装置により撮影された第２観察画像とから前記観察細胞の細胞移動方向を算出し、
算出された前記細胞変形方向と前記細胞移動方向とに基づいて前記観察細胞の移動形態を分類することを特徴とする細胞観察画像の画像解析方法。 Obtain an observation image of the observation cell taken by the imaging device,
Extracting the outline of the observation cell from the acquired observation image,
While calculating the cell deformation direction of the observation cell based on the shape characteristics of the observation cell from which the contour has been extracted,
Calculating the cell movement direction of the observation cell from the observation image and a second observation image taken by the imaging device at a predetermined time interval;
An image analysis method for a cell observation image, wherein the movement form of the observation cell is classified based on the calculated cell deformation direction and the cell movement direction.
取得した前記観察画像から前記観察細胞の輪郭を抽出し、
輪郭が抽出された前記観察細胞の内部構造の偏りに基づいて前記観察細胞の細胞変形方向を算出するとともに、
前記観察画像と所定時間を隔てて前記撮像装置により撮影された第２観察画像とから前記観察細胞の細胞移動方向を算出し、
算出された前記細胞変形方向と前記細胞移動方向とに基づいて前記観察細胞の移動形態を分類することを特徴とする細胞観察画像の画像解析方法。 Obtain an observation image of the observation cell taken by the imaging device,
Extracting the outline of the observation cell from the acquired observation image,
While calculating the cell deformation direction of the observation cell based on the bias of the internal structure of the observation cell from which the contour is extracted,
Calculating the cell movement direction of the observation cell from the observation image and a second observation image taken by the imaging device at a predetermined time interval;
An image analysis method for a cell observation image, wherein the movement form of the observation cell is classified based on the calculated cell deformation direction and the cell movement direction.
取得された前記観察画像から前記観察細胞の輪郭を抽出するステップと、
輪郭が抽出された前記観察細胞の形状特徴に基づいて前記観察細胞の細胞変形方向を算出するステップと、
前記観察画像と所定時間を隔てて前記撮像装置により撮影された第２観察画像とから前記観察細胞の細胞移動方向を算出するステップと、
算出された前記細胞変形方向と前記細胞移動方向とに基づいて前記観察細胞の移動形態を分類するステップと、
分類された前記観察細胞の種別を外部に出力するステップと
を備えてなることを特徴とする細胞観察画像の画像処理プログラム。 Obtaining an observation image in which observation cells are imaged by an imaging device;
Extracting the outline of the observation cell from the acquired observation image;
Calculating a cell deformation direction of the observation cell based on a shape characteristic of the observation cell from which a contour is extracted;
Calculating a cell movement direction of the observation cell from the observation image and a second observation image taken by the imaging device at a predetermined time interval;
Classifying the movement form of the observation cell based on the calculated cell deformation direction and the cell movement direction;
And a step of outputting the classified types of the observed cells to the outside. An image processing program for a cell observation image, comprising:
取得した前記観察画像から前記観察細胞の輪郭を抽出するステップと、
輪郭が抽出された前記観察細胞の内部構造の偏りに基づいて前記観察細胞の細胞変形方向を算出するステップと、
前記観察画像と所定時間を隔てて前記撮像装置により撮影された第２観察画像とから前記観察細胞の細胞移動方向を算出するステップと、
算出された前記細胞変形方向と前記細胞移動方向とに基づいて前記観察細胞の移動形態を分類するするステップと、
分類された前記観察細胞の種別を外部に出力するステップと
を備えてなることを特徴とする細胞観察画像の画像処理プログラム。 Obtaining an observation image in which observation cells are imaged by an imaging device;
Extracting the outline of the observation cell from the acquired observation image;
Calculating a cell deformation direction of the observation cell based on a bias of an internal structure of the observation cell from which a contour is extracted;
Calculating a cell movement direction of the observation cell from the observation image and a second observation image taken by the imaging device at a predetermined time interval;
Classifying the movement form of the observation cell based on the calculated cell deformation direction and the cell movement direction;
And a step of outputting the classified types of the observed cells to the outside. An image processing program for a cell observation image, comprising:
前記画像解析部が、前記観察画像から前記観察細胞の輪郭を抽出し、輪郭が抽出された前記観察細胞の形状特徴に基づいて前記観察細胞の細胞変形方向を算出するとともに、前記観察画像と所定時間を隔てて前記撮像装置により撮影された第２観察画像とから前記観察細胞の細胞移動方向を算出し、算出された前記細胞変形方向と前記細胞移動方向とに基づいて前記観察細胞の移動形態を分類するように構成したことを特徴とする細胞観察の画像処理装置。 An imaging device that images a cell, an image analysis unit that acquires an observation image obtained by imaging an observation cell by the imaging device and analyzes the observation image, and an output unit that outputs an analysis result analyzed by the image analysis unit And
The image analysis unit extracts a contour of the observation cell from the observation image, calculates a cell deformation direction of the observation cell based on a shape characteristic of the observation cell from which the contour is extracted, The cell movement direction of the observation cell is calculated from the second observation image photographed by the imaging device at intervals, and the movement mode of the observation cell is based on the calculated cell deformation direction and the cell movement direction. An image processing apparatus for observing cells, characterized in that it is configured to classify cells.
前記画像解析部が、前記観察画像から前記観察細胞の輪郭を抽出し、輪郭が抽出された前記観察細胞の内部構造の偏りに基づいて前記観察細胞の細胞変形方向を算出するとともに、前記観察画像と所定時間を隔てて前記撮像装置により撮影された第２観察画像とから前記観察細胞の細胞移動方向を算出し、算出された前記細胞変形方向と前記細胞移動方向とに基づいて前記観察細胞の移動形態を分類するように構成したことを特徴とする細胞観察の画像処理装置。 An imaging device that images a cell, an image analysis unit that acquires an observation image obtained by imaging an observation cell by the imaging device and analyzes the observation image, and an output unit that outputs an analysis result analyzed by the image analysis unit And
The image analysis unit extracts a contour of the observation cell from the observation image, calculates a cell deformation direction of the observation cell based on a bias of an internal structure of the observation cell from which the contour is extracted, and the observation image And a second observation image taken by the imaging device at a predetermined time to calculate a cell movement direction of the observation cell, and based on the calculated cell deformation direction and the cell movement direction, An image processing apparatus for cell observation, characterized by being configured to classify movement forms.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008189994A JP2010026392A (en) | 2008-07-23 | 2008-07-23 | Method of analyzing image for cell observation image, image processing program and image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008189994A JP2010026392A (en) | 2008-07-23 | 2008-07-23 | Method of analyzing image for cell observation image, image processing program and image processing apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010026392A true JP2010026392A (en) | 2010-02-04 |
Family
ID=41732262
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008189994A Pending JP2010026392A (en) | 2008-07-23 | 2008-07-23 | Method of analyzing image for cell observation image, image processing program and image processing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010026392A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011132587A1 (en) * | 2010-04-23 | 2011-10-27 | 浜松ホトニクス株式会社 | Cell observation device and cell observation method |
| WO2012118049A1 (en) * | 2011-02-28 | 2012-09-07 | ソニー株式会社 | Display control apparatus and method, image processing apparatus and method, and program |
| JPWO2011132586A1 (en) * | 2010-04-23 | 2013-07-18 | 浜松ホトニクス株式会社 | Cell observation apparatus and cell observation method |
| JP2013192468A (en) * | 2012-03-16 | 2013-09-30 | Olympus Corp | Image analysis method, image analyzer, and image photographing apparatus and program for biological sample |
| JP2013201975A (en) * | 2012-03-28 | 2013-10-07 | Dainippon Printing Co Ltd | Cellular behavior analyzer, cellular behavior analysis method, and program |
| JP2014083042A (en) * | 2012-10-26 | 2014-05-12 | Ehime Univ | Cell evaluation method and use of the same |
| JP2017021849A (en) * | 2011-02-28 | 2017-01-26 | ソニー株式会社 | Image forming device and method, and program |
-
2008
- 2008-07-23 JP JP2008189994A patent/JP2010026392A/en active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011132587A1 (en) * | 2010-04-23 | 2011-10-27 | 浜松ホトニクス株式会社 | Cell observation device and cell observation method |
| JPWO2011132586A1 (en) * | 2010-04-23 | 2013-07-18 | 浜松ホトニクス株式会社 | Cell observation apparatus and cell observation method |
| US8804121B2 (en) | 2010-04-23 | 2014-08-12 | Hamamatsu Photonics K.K. | Cell observation device and cell observation method |
| JP5775068B2 (en) * | 2010-04-23 | 2015-09-09 | 浜松ホトニクス株式会社 | Cell observation apparatus and cell observation method |
| WO2012118049A1 (en) * | 2011-02-28 | 2012-09-07 | ソニー株式会社 | Display control apparatus and method, image processing apparatus and method, and program |
| CN103380209A (en) * | 2011-02-28 | 2013-10-30 | 索尼公司 | Display control apparatus and method, image processing apparatus and method, and program |
| JP2017021849A (en) * | 2011-02-28 | 2017-01-26 | ソニー株式会社 | Image forming device and method, and program |
| US10311581B2 (en) | 2011-02-28 | 2019-06-04 | Sony Corporation | Display control and image processing of a cell image |
| US10650534B2 (en) | 2011-02-28 | 2020-05-12 | Sony Corporation | Display control and image processing of a cell image |
| JP2013192468A (en) * | 2012-03-16 | 2013-09-30 | Olympus Corp | Image analysis method, image analyzer, and image photographing apparatus and program for biological sample |
| JP2013201975A (en) * | 2012-03-28 | 2013-10-07 | Dainippon Printing Co Ltd | Cellular behavior analyzer, cellular behavior analysis method, and program |
| JP2014083042A (en) * | 2012-10-26 | 2014-05-12 | Ehime Univ | Cell evaluation method and use of the same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4968595B2 (en) | Cell state discrimination method and cell observation image processing apparatus | |
| US8588504B2 (en) | Technique for determining the state of a cell aggregation image processing program and image processing device using the technique, and method for producing a cell aggregation | |
| WO2009119329A1 (en) | Method for analyzing image for cell observation, image processing program, and image processing device | |
| JP2010026392A (en) | Method of analyzing image for cell observation image, image processing program and image processing apparatus | |
| JP4953092B2 (en) | Viable cell discrimination method in cell observation, image processing program for cell observation, and image processing apparatus | |
| US20120122143A1 (en) | Technique for determining maturity of a cell aggregation, image processing program and image processing device using the technique, and method for producing a cell aggregation | |
| WO2009119330A1 (en) | Method for analyzing image for cell observation, image processing program, and image processing device | |
| WO2009081832A1 (en) | Image processing method for time lapse image, image processing program, and image processing device | |
| US20120092478A1 (en) | Incubated state evaluating device, incubated state evaluating method, incubator, and program | |
| EP2444479A1 (en) | State determination method for cell cluster, image processing program and imaging processing device using said method, and method for producing cell cluster | |
| CN104717422B (en) | Show equipment and display methods | |
| JP6102166B2 (en) | Cardiomyocyte motion detection method, cardiomyocyte culture method, drug evaluation method, image processing program, and image processing apparatus | |
| WO2011004568A1 (en) | Image processing method for observation of fertilized eggs, image processing program, image processing device, and method for producing fertilized eggs | |
| JP2009229274A (en) | Method for analyzing image for cell observation, image processing program and image processor | |
| JP2009229276A (en) | Method for analyzing image for cell observation, image processing program and image processor | |
| JP2010169823A (en) | Image processing method for cell observation image, image processing program and image processing apparatus | |
| JP2010022319A (en) | Evaluation technique for forecasting cell migration direction, and image processing program and image processing apparatus of cell observation image | |
| JP2011010621A (en) | Image processing method in observation of cultured product, image processing program and image processor | |
| US20230190402A1 (en) | System, method, and computer program for a surgical microscope system and corresponding surgical microscope system | |
| JP6567244B2 (en) | Cell motion observation method, image processing program, and image processing apparatus | |
| JP6790734B2 (en) | Equipment, methods, and programs | |
| JP2017099405A (en) | Motion detection method of cardiomyocyte, culture method of cardiomyocyte, evaluation method of agent, image processing program, and image processing device | |
| JP2022127334A (en) | Cell recovery apparatus, cell recovery method, and program | |
| JP2021182697A (en) | Imaging apparatus, method for controlling imaging apparatus, and program |