JP2022079931A - 画像処理方法及び画像処理プログラム - Google Patents

画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JP2022079931A
JP2022079931A JP2020190809A JP2020190809A JP2022079931A JP 2022079931 A JP2022079931 A JP 2022079931A JP 2020190809 A JP2020190809 A JP 2020190809A JP 2020190809 A JP2020190809 A JP 2020190809A JP 2022079931 A JP2022079931 A JP 2022079931A
Authority
JP
Japan
Prior art keywords
image
skeleton
network structure
vascular network
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020190809A
Other languages
English (en)
Inventor
靖之 平岡
Yasuyuki Hiraoka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Printing Co Ltd filed Critical Toppan Printing Co Ltd
Priority to JP2020190809A priority Critical patent/JP2022079931A/ja
Priority to PCT/JP2021/038984 priority patent/WO2022107544A1/ja
Priority to CN202180069196.8A priority patent/CN116324875A/zh
Priority to EP21894418.9A priority patent/EP4250223A4/en
Publication of JP2022079931A publication Critical patent/JP2022079931A/ja
Priority to US18/317,170 priority patent/US20230282008A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/168Segmentation; Edge detection involving transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/52Scale-space analysis, e.g. wavelet analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • G06T2207/20044Skeletonization; Medial axis transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/033Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

【課題】血管網構造の形状をより正確に把握することができる画像を生成する画像処理方法及び画像処理プログラムを提供する。【解決手段】画像処理方法は、発色させた血管網構造を有する細胞構造体が撮像された画像を取得するステップと、ウェーブレット変換を画像に適用し、血管網構造の輪郭が抽出された輪郭画像を生成するステップと、輪郭画像に描画された物体の境界からピクセルを繰り返し除外し、所定ピクセル数の線幅を有する骨格が抽出された骨格画像を生成するステップと、を含む。【選択図】図4

Description

本開示は、画像処理方法及び画像処理プログラムに関する。
特許文献1は、血管網構造を有する人工的な細胞構造体を開示する。この細胞構造体の血管網構造を構成する細胞は、抗CD31抗体を用いて免疫染色される。これにより、血管網構造は、顕微鏡を用いて観察可能となる。
国際公開第2017/146124号
特許文献1に記載の細胞構造体の血管網構造は、顕微鏡を用いて観察可能であるものの緻密であるため、血管網構造を定量的に解析することが困難である。血管網構造を定量的に解析する手法の一例として、作製した細胞構造体に対してトリプシン処理などを施すことにより、細胞構造体の細胞数をカウントする手法が考えられる。しかしながら、この手法では血管網構造を構成する細胞のみをカウントすることは困難である。あるいは、免疫染色後の細胞構造体が撮影された画像において、血管網構造を構成する細胞に起因する蛍光の強度によって血管網構造を判別及び評価することも考えられる。しかしながら、染色される細胞は必ずしも血管網構造を構成する細胞に限られないため、血管網構造の長さなどの形状を評価するためには不十分である。本開示は、血管網構造の形状をより正確に把握することができる画像を生成する方法及びプログラムを提供する。
本発明の一側面に係る画像処理方法は、発色させた血管網構造を有する細胞構造体が撮像された画像を取得するステップと、ウェーブレット変換を画像に適用し、血管網構造の輪郭が抽出された輪郭画像を生成するステップと、輪郭画像において認識された物体の境界から物体のピクセルを繰り返し除外し、所定ピクセル数の線幅を有する骨格が抽出された骨格画像を生成するステップとを含む。
この画像処理方法によれば、血管網構造を有する細胞構造体が撮像された画像が処理される。最初に、画像はウェーブレット変換が適用される。これにより、血管網構造の輪郭が抽出された輪郭画像が生成される。続いて、輪郭画像において認識された物体の境界から物体のピクセルが繰り返し除外される。これにより、血管網構造の骨格が抽出された骨格画像が生成される。骨格画像が輪郭画像から生成されることにより、骨格画像が画像から直接生成される場合と比べて、血管の形状をより正確に反映させた骨格が得られる。よって、この画像処理方法は、血管網構造の形状をより正確に把握することができる画像を生成できる。
一実施形態においては、画像処理方法は、骨格画像に基づいて血管網構造の形状を検出するステップをさらに含んでもよい。この場合、画像処理方法は、検出された血管網構造の形状を用いて血管網構造の特徴を評価することができる。
一実施形態においては、血管網構造の形状は、血管網構造の長さであってもよい。この場合、画像処理方法は、検出された血管網構造の長さを用いて血管網構造の特徴を評価することができる。
一実施形態においては、撮像された画像は、細胞構造体の中心を含む領域が撮像された画像であってもよい。この場合、画像処理方法は、細胞構造体の血管網構造が撮像されている可能性の高い領域を適切に抽出することができる。
一実施形態においては、画像処理方法は、取得するステップの後、かつ、輪郭画像を生成するステップの前に実行され、画像の背景信号を除去した画像を生成するステップをさらに含んでもよい。この場合、画像の背景信号が除去されるため、画像処理方法は、血管網構造を示す骨格をより鮮明に抽出することができる。
一実施形態においては、画像処理方法は、骨格画像を生成するステップの後に実行され、骨格画像に描画された骨格のうち長さが閾値より大きい骨格が抽出された抽出画像を生成するステップをさらに含んでもよい。この場合、骨格の長さが閾値以下の血管構造が抽出されないため、画像処理方法は、血管網構造を構成する可能性が低い骨格をノイズとして除去することができる。
一実施形態においては、画像処理方法は、取得するステップの後、かつ、輪郭画像を生成するステップの前に実行され、画像を所定階調の画像に変換するステップをさらに含んでもよい。この場合、撮像画像が所定階調の画像に変換されるため、画像処理方法は、変換後の画像に対する処理を容易に進めることができる。
一実施形態においては、画像処理方法は、取得するステップの前に実行され、血管網構造を有する細胞を免疫染色させ、血管網構造を有する細胞を予め蛍光修飾させ、又は免疫染色及び蛍光修飾の組み合わせにより、血管網構造を発色させるステップと、発色させるステップにより発色した血管網構造を有する細胞構造体を撮像するステップと、をさらに含み、取得するステップは、撮像するステップによって撮像された画像を取得してもよい。この場合、画像処理方法は、血管網構造を有する細胞構造体に対して、発色させるステップ及び撮像するステップを実行することにより、細胞構造体ごとに血管網構造の形状をより正確に把握することができる。
一実施形態においては、細胞構造体は、血管内皮細胞を有してもよい。
本開示の他の側面に係る画像処理プログラムは、発色させた血管網構造を有する細胞構造体が撮像された画像を取得するステップと、ウェーブレット変換を画像に適用し、血管網構造の輪郭が抽出された輪郭画像を生成するステップと、輪郭画像に描画された物体の境界から物体のピクセルを繰り返し除外し、所定ピクセル数の線幅を有する骨格が抽出された骨格画像を生成するステップと、をコンピュータに実行させる。
この画像処理プログラムは、上述の画像処理方法と同一の効果を奏する。
本開示の一側面及び実施形態によれば、血管網構造の形状をより正確に把握することができる。
図1は、実施形態に係る画像処理装置が備わる画像処理システムの機能の一例を示すブロック図である。 図2は、画像処理装置のハードウェア構成の一例を示すブロック図である。 図3は、実施形態に係る画像処理方法が対象とする画像の取得処理の一例を示すフローチャートである。 図4は、実施形態に係る画像処理方法の一例を示すフローチャートである。 図5は、実施例に係る輪郭画像生成処理及び骨格画像生成処理により取得された画像の一例を示す図である。 図6は、階調変換処理、ノイズ除去処理、輪郭画像生成処理、及び骨格画像生成処理により取得された画像の一例を示す図である。 図7は、画素値調整処理、輪郭画像生成処理、及び骨格画像生成処理により取得された画像の一例を示す図である。 図8は、抽出画像生成処理により取得された画像の一例を示す図である。 図9の(a)~(f)は、シクロフォスファミドを投与された細胞構造体を撮像した撮像画像の一例を示す図であり、図9の(g)~(l)は、シクロフォスファミドを投与された細胞構造体を撮像した撮像画像に対する抽出画像の一例を示す図である。 図10の(a)は、実施例に係る抽出画像における骨格の長さとシクロフォスファミドの投薬濃度との対応関係を示す図であり、図10の(b)は、抽出画像における骨格の分岐点の数とシクロフォスファミドの投薬濃度との対応関係を示す図である。
以下、図面を参照して、実施形態について説明する。なお、以下の説明において、同一又は相当要素には同一符号を付し、重複する説明を省略する。
[細胞構造体の概要]
最初に、実施形態に係る画像処理装置の撮像対象となる細胞構造体について概説する。細胞構造体は、例えば血管内皮細胞を含み、具体的な一例としては三次元類肝組織(3D肝モデル)である。3D肝モデルは、血管内皮細胞を含む間質細胞を有し、肝毒性を評価可能な組織である。3D肝モデルは、例えば、肝細胞を含み、かつ、線維芽細胞(例えば、肝星状細胞)、免疫細胞及び平滑筋細胞からなる群より選択される少なくとも1種の細胞と、血管内皮細胞と、を間質細胞として更に含む。細胞構造体は、細胞の足場材として機能する細胞外マトリックス成分を更に含んでもよく、その他の細胞構造体の形成をサポートする成分(例えば、高分子電解質)を含んでも良い。
本明細書において「細胞外マトリックス成分」とは、複数の細胞外マトリックス分子によって形成されている細胞外マトリックス分子の集合体である。細胞外マトリックスとは、生物において細胞の外に存在する物質を意味する。細胞外マトリックスとしては、細胞の生育及び細胞集合体の形成に悪影響を及ぼさない限り、任意の物質を用いることができる。具体例としては、コラーゲン、エラスチン、プロテオグリカン、フィブロネクチン、ヒアルロン酸、ラミニン、ビトロネクチン、テネイシン、エンタクチン、フィブリリン及びカドヘリン等が挙げられるが、これらに限定されない。細胞外マトリックス成分は、これらの1種単独で用いてもよく、組み合わせて用いてもよい。細胞外マトリックス成分は、例えば、コラーゲン成分を含んでいてよく、コラーゲン成分であってもよい。細胞外マトリックス成分がコラーゲン成分である場合、コラーゲン成分が細胞接着の足場として機能し、三次元的な細胞構造体の形成がより一層促進される。本実施形態における細胞外マトリックス成分は、動物細胞の外に存在する物質、すなわち動物の細胞外マトリックス成分であることが好ましい。なお、細胞外マトリックス分子は、細胞の生育及び細胞集合体の形成に悪影響を及ぼさない限り、上述の細胞外マトリックス分子の改変体及びバリアントであってもよく、化学合成ペプチド等のポリペプチドであってもよい。
細胞外マトリックス成分は、コラーゲンに特徴的なGly-X-Yで表される配列の繰り返しを有していてよい。ここで、Glyはグリシン残基を表し、X及びYはそれぞれ独立に任意のアミノ酸残基を表す。複数のGly-X-Yは、それぞれ同一であっても異なっていてもよい。Gly-X-Yで示される配列の繰り返しを有することによって、分子鎖の配置への束縛が少なく、足場材としての機能がより一層優れたものとなる。Gly-X-Yで示される配列の繰り返しを有する細胞外マトリックス成分において、Gly-X-Yで示される配列の割合は、全アミノ酸配列のうち、80%以上であってよく、好ましくは95%以上である。また、細胞外マトリックス成分は、RGD配列を有していてよい。RGD配列とは、Arg-Gly-Asp(アルギニン残基-グリシン残基-アスパラギン酸残基)で表される配列をいう。細胞外マトリックス成分が、RGD配列を有する場合、細胞接着がより一層促進され、足場材としてより一層好適なものとなる。Gly-X-Yで表される配列と、RGD配列とを含む細胞外マトリックス成分には、コラーゲン、フィブロネクチン、ビトロネクチン、ラミニン、カドヘリン等が含まれる。
細胞外マトリックス成分の形状としては、例えば、線維状が挙げられる。線維状とは、糸状の細胞外マトリックス成分で構成される形状、又は糸状の細胞外マトリックス成分が分子間で架橋して構成される形状を意味する。細胞外マトリックス成分の少なくとも一部は、線維状であってよい。細胞外マトリックス成分の形状は、顕微鏡観察した際に観察されるひとかたまりの細胞外マトリックス成分(細胞外マトリックス成分の集合体)の形状であり、細胞外マトリックス成分は、好適には後述する平均径及び/又は平均長の大きさを有するものである。繊維状の細胞外マトリックス成分には、複数の糸状細胞外マトリックス分子が集合して形成された細い糸状物(細線維)、細線維が更に集合して形成される糸状物、これらの糸状物を解繊したもの等が含まれる。形状が線維状である細胞外マトリックス成分を含むと、線維状の細胞外マトリックス成分ではRGD配列が破壊されることなく保存されており、細胞接着のための足場材としてより一層効果的に機能することができる。
細胞構造体の形成をサポートする成分である高分子電解質は、電解質の性質を有する高分子化合物である。高分子電解質としては、ヘパリン、コンドロイチン硫酸(例えば、コンドロイチン4-硫酸、コンドロイチン6-硫酸)、ヘパラン硫酸、デルマタン硫酸、ケラタン硫酸、ヒアルロン酸等のグリコサミノグリカン;デキストラン硫酸、ラムナン硫酸、フコイダン、カラギナン、ポリスチレンスルホン酸、ポリアクリルアミド-2-メチルプロパンスルホン酸、及びポリアクリル酸、又はこれらの誘導体等が挙げられるが、これらに限定されない。高分子電解質は、上述したもの1種からなるものであってよく、2種以上を組み合わせて含むものであってもよい。
高分子電解質はグリコサミノグリカンであることが好ましく、ヘパリン、デキストラン硫酸、コンドロイチン硫酸、及びデルマタン硫酸からなる群より選択される少なくとも1種を含むことがより好ましく、ヘパリンであることが更に好ましい。細胞構造体が高分子電解質を含む場合、細胞外マトリックス成分の過度な凝集をより効果的に抑制することができ、結果として、肝毒性を有する物質に対する応答性に優れる細胞構造体がより得られやすくなる。細胞構造体がヘパリンを含む場合、当該効果はより一層顕著なものとなる。
細胞構造体の血管網構造は、3D肝モデルに対して免疫染色、蛍光修飾、又は免疫染色及び蛍光修飾の組み合わせを行うことにより視認可能となる。さらに、血管網構造を視認可能となった3D肝モデルにシクロフォスファミドなどの化合物を投与することで、血管網構造の損傷度合いを確認することができる。
画像処理装置の撮像対象となる血管網が発色された3D肝モデル(細胞構造体)は、より具体的には、3D肝モデルを作製する作製処理、3D肝モデルへの投薬を行う投薬処理、及び3D肝モデルを発色させる発色制御処理が実行されて得られる。血管網構造の損傷度合いを観察しない場合、つまり3D肝モデルに化合物を投与しない場合は、投薬処理は実行されなくてもよい。
表1は、画像処理システム2の培養される培養細胞の一例を示す表である。作製処理は、例えば、国際公開第2017/146124号または国際公開第2018/143286号において開示されている方法及び材料を用いて実行される。本実施形態の作製処理は国際公開第2017/146124号において開示されている方法を利用した一例である。作製処理は、例えば、表1に示されるヒト肝細胞キメラマウス由来新鮮ヒト肝細胞(PXB cell)以外の細胞を回収する第1回収処理、PXB cellを回収する第2回収処理、細胞混合物を取得する混合物取得処理、細胞懸濁液を取得する懸濁液取得処理、フィブリンゲルを形成するゲル形成処理、及び、3Dモデルを取得するモデル取得処理を含む。
Figure 2022079931000002
表2は、画像処理システムにおいて使用される試薬及び消耗品の一例を示す表である。なお、表2ではディスポピペットなどの汎用研究資材は省略している。第1回収処理では、例えば、作業者は、購入してきたヒト肝星状細胞(Lx2)及びヒト肝類洞内皮細胞(SEC)を準備し、各細胞量を測定する。なお、第1回収処理では、例えば、作業者は、ヒト肝星状細胞(Lx2)及びヒト肝類洞内皮細胞(SEC)の各細胞の凍結ストックを起眠し、メーカー推奨のプロトコルに基づき継代を挟まずに培養し、通常の手法に基づきトリプシンによって培養フラスコおよびシャーレから回収した後、各細胞量を測定してもよい。第2回収処理では、例えば、作業者は、購入してきたPXB cellを準備し、PXB cellの細胞量を測定する。
Figure 2022079931000003
混合物取得処理では、例えば、第1回収処理及び第2回収処理で回収された各細胞を、1ウェルあたりの総細胞量が30000cells、組織内細胞比率においてPXB cellが65%、SECが25%、Lx2が10%となるように混合することで細胞混合物(細胞構造体の一例)が取得される。当該細胞混合物は、血管内皮細胞及び他の間質細胞を含む複数種類の細胞を有する。
懸濁液取得処理では、例えば、まず、1.0mg/mlヘパリン溶液(buffer:100mMTris-HCL)と、0.3mg/mlコラーゲン溶液(buffer:5mM acetate)とが等量混合されたヘパリン・コラーゲン溶液が調整される。続いて、混合物取得処理で取得された各細胞混合物に対して、上述の調整されたヘパリン・コラーゲン溶液が100μL加えられ、細胞が視認できなくなるまで懸濁された後、遠心(400g×2min)され、粘稠体が取得される。粘稠体の溶液から上清が除去された後、粘稠体の溶液の最終容積が「播種予定ウェル数」×2μLの溶液量となるように溶媒が加えられ、細胞懸濁液が取得される。
ゲル形成処理では、例えば、48ウェルプレート上において懸濁液取得処理で取得された細胞懸濁液と、10mg/mLフィブリノゲン溶液と、20U/mLトロンビン溶液(溶媒:HCM)とが混合される。例えば、懸濁液取得処理において粘稠体の溶液から上清が除去された後に粘稠体の溶液に加えられる溶媒が20U/mLトロンビン溶液(溶媒:HCM)であってもよい。この場合、例えば、10mg/mlフィブリノゲン溶液の液滴が形成された後、液滴の内部に懸濁液取得処理で取得された細胞懸濁液が加えられる。また、例えば、懸濁液取得処理で取得された細胞懸濁液が2μL播種され液滴を形成した後、10mg/mLフィブリノゲン溶液が加えられてもよい。なお、懸濁液取得処理において粘稠体の溶液に加えられる溶媒は、20U/mLトロンビン溶液(溶媒:HCM)でなくてもよい。この場合、ゲル形成処理では、例えば、細胞懸濁液と10mg/mLフィブリノゲン溶液とを混合した液滴に20U/mLトロンビン溶液(溶媒:HCM)が加えられてもよい。細胞懸濁液と、10mg/mLフィブリノゲン溶液と、20U/mLトロンビン溶液(溶媒:HCM)との混合順序は上記に限定されず、任意の順序であってよい。細胞懸濁液と、10mg/mLフィブリノゲン溶液と、20U/mLトロンビン溶液(溶媒:HCM)とを混合した液滴が40分間インキュベータ内で静置され、フィブリンゲルが形成される。なお、モデルを一定の塊の形状に形成する必要がない場合、ゲル形成処理は行われなくてもよい。
モデル取得処理では、例えば、ゲル形成処理においてフィブリンゲルが形成された各ウェルに対しHCM(Endothelial Cell Growth Supplement含有)が0.5mL加えられ、3Dモデルが得られる。以上の処理により、作製処理が完了する。なお、作製処理内の混合物取得処理、懸濁液取得処理、ゲル形成処理及びモデル取得処理において、総細胞量、組織内細胞比率、試薬の濃度、試薬の溶液量、遠心時間、静置時間等の値は上記の値に限定されず、作製する細胞構造体に応じて適宜変更してもよい。
次に、投薬処理が実行される。投薬処理においては、作製処理において作製された3D肝モデルに対し、1日目、4日目に、monoclotalineを2000μM、666μM、222μM、74μMの濃度で含まれる各培地で培地交換させることにより、投薬が実施される。なお、各化合物は事前にDMSO(Dimethyl sulfoxide)で高濃度に溶解させて保存しており、投薬の際にはDMSOが培地中に1%の濃度で含まれている。また、各投薬条件において1%のDMSOを含むことから、1%DMSOのみを含む培地による培地交換も同時に実施し、ネガティブコントロールとする。これにより、投薬を行うステップが完了する。
次に、発色制御処理が実行される。一例として、発色制御処理は、固定処理、透過処理、一次抗体処理、及び、二次抗体処理を含む。
固定処理では、6日目に48ウェルプレートがインキュベータから取り出され、培地が除去されPBSで洗浄される。当該洗浄後、4%パラホルムアルデヒド・リン酸緩衝液(PFA)が各ウェルに300μL加えられ3Dモデルが固定される。固定後、PFAは洗浄除去される。
続いて、透過処理では、0.2(v/v)%TRITON/1(w/v)%BSA PBS溶液(BSA溶液)が、各ウェルのインサート内に100μL加えられ、常温で2時間静置される。
続いて、一次抗体処理では、マウス由来抗CD31抗体がBSA溶液で100倍希釈され、一次抗体溶液が取得される。当該一次抗体溶液が各ウェルのインサート内に100μL加えられ、4℃で24時間静置される。静置後、一次抗体溶液は洗浄除去される。
続いて、二次抗体処理では、BSA溶液で二次抗体が200倍に希釈され、二次抗体溶液が取得される。当該二次抗体溶液が各ウェルのインサート内に100μL加えられ、遮光して常温で1時間静置される。静置後、二次抗体溶液は洗浄除去され、各ウェルに100μLのPBSを加えられる。以上の処理により、発色制御処理が完了し、血管網構造が発色された3D肝モデルを取得することができる。なお、発色制御処理は、例えば公知の手法を用いて実行されてもよい。
[画像処理システム]
図1は、実施形態に係る画像処理装置が備わる画像処理システムの機能の一例を示すブロック図である。図1に示されるように、画像処理システム2は、画像処理装置1、撮像装置110、第1記憶装置120、表示装置130、及び第2記憶装置140を備える。撮像装置110、第1記憶装置120、表示装置130、及び第2記憶装置140のそれぞれは、画像処理装置1と通信可能に設けられる。
撮像装置110は、発色させた血管網構造を有する3D肝モデルを撮像する機器である。撮像装置110は、例えば共焦点顕微鏡である。撮像装置110は、例えば、4倍レンズを使用し、焦点深度を厚く設定するnon-confocalモードを撮影モードとして設定し、フィルタを647(Ex)/512(EM)と設定し、Z軸位置を0~100μmの範囲で10μm刻みで3D肝モデルを撮像する。撮像装置110は、3D肝モデルの中心を含む領域を撮像する。撮像装置110は、撮像された3D肝モデルごとに共焦点顕微鏡のZ軸位置が異なる複数の画像の画素値及び色調などの強度を合算して、3D肝モデルを撮像した画像である撮像画像を取得する。なお、画素値の一例は、輝度値である。撮像画像は、発色させた血管網構造を描画した領域を含む。
撮像装置110は、画像処理装置1及び第1記憶装置120の少なくとも一方へ撮像画像を出力する機能を有する。第1記憶装置120は、例えば、ハードディスクなどの記憶媒体である。第1記憶装置120は、上述した撮像画像を記憶する。第1記憶装置120は、過去に撮像された画像を記憶していてもよい。
画像処理装置1は、細胞構造体が撮像された画像を取得し、細胞構造体の血管網構造の形状を把握することができる画像を生成する。最初に、画像処理装置1のハードウェアについて説明する。図2は、実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。図2に示されるように、画像処理装置1は、CPU(Central Processing Unit)100、ROM(Read OnlyMemory)101及びRAM(Random Access Memory)102などの主記憶装置、カメラ又はキーボードなどの入力デバイス103、ディスプレイなどの出力デバイス104、ハードディスクなどの補助記憶装置105を含む通常のコンピュータシステムとして構成される。
画像処理装置1の各機能は、CPU100、ROM101、RAM102などのハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、CPU100の制御の下で入力デバイス103及び出力デバイス104を動作させるとともに、主記憶装置や補助記憶装置105におけるデータの読み出し及び書き込みを行うことで実現される。画像処理装置1は、通信モジュールなどを備えてもよい。
図1に戻り、画像処理装置1は、取得部10、背景処理部20、輪郭抽出部30、骨格抽出部40、形状検出部50、及び表示制御部60を備える。
取得部10は、例えば、撮像装置110から発色させた血管網構造を有する3D肝モデルが撮像された撮像画像を取得する。取得部10は、第1記憶装置120を参照し、第1記憶装置120から撮像画像を取得してもよい。取得部10は、撮像装置110から共焦点顕微鏡のZ軸位置が異なる複数の画像を取得し、撮像装置110に代わって、当該複数の画像の画素値及び色調などの強度を合算して、撮像画像を取得してもよい。
背景処理部20は、撮像画像に撮像されている3D肝モデルの中心部を抽出する切り抜き機能、所定階調の画像である階調画像に変換する変換機能、並びに、画像の背景信号及びノイズの除去機能を有する。
背景処理部20は、切り抜き機能として、撮像画像のうち、3D肝モデルの中心を含む領域を抽出した画像を生成する。3D肝モデルの中心を含む領域は、例えば、3D肝モデルの周縁部及び3D肝モデルの背景部分を含まなくてもよい。背景処理部20は、例えば、撮像画像のうち3D肝モデルの中心を含む領域を1mm四方の領域で切り抜いた画像である切り抜き画像を生成する。切り抜き画像には、3D肝モデルの血管網構造が含まれる。
背景処理部20は、変換機能として、切り抜き画像を所定階調の階調画像に変換する。所定階調とは、予め定められた階調であり、例えば8階調、16階調、256階調などである。背景処理部20は、一例として、切り抜き画像を8bitのグレースケールの階調画像に変換する。切り抜き画像において発色している血管網構造は画素値が高いため、階調画像において白く変換され得る。血管網構造以外の領域は、切り抜き画像において画素値が低いため、階調画像において黒く変換され得る。
背景処理部20は、除去機能として、階調画像の背景信号を除去した画像である除去画像を生成する。背景処理部20は、例えばローリングボール法又はスライディングパラボイド法によって背景信号を除去する。ボール又はパラボロイドの半径の一例は20ピクセルであるが、これに限定されない。これにより、階調画像の背景信号が除去され、血管網構造の画素値が規格化される。
背景処理部20は、除去画像のノイズを低減させた画像である調整画像を生成する。背景処理部20は、除去画像のコントラストを調整した上で、予め定められた画素値を減算することでノイズを低減させる。背景処理部20は、例えば、除去画像の各画素の画素値の分布を維持したまま、256階調に引き延ばす。背景処理部20は、一例として、除去画像のうち最小の画素値を有する画素の画素値を0(最小値)に調整し、除去画像のうち最大の画素値を有する画素の画素値を255(最大値)に調整した上で、調整前の各画素の画素値の分布に相似する分布に従って各画素の画素値を振り分けた画像を生成する。この機能により、除去画像のうち画素値の高い血管網構造を示す画素と、画素値の低いノイズを示す画素との画素値の差を広げることができる。続いて、背景処理部20は、新たな分布を有する画像中の各画素値から予め定められた画素値を減算する。256階調の画像の場合、例えば画素値から100が減算されるが、予め定められた画素値は100に限定されない。このように、血管網構造を示す画素とノイズを示す画素との画素値の差を大きくした上で、予め定められた画素値を減算することにより、ノイズ部分だけを効果的に消去することができる。
なお、背景処理部20は、画素値の分布を正規化するのではなく均等にするように調整し、新たな分布を有する画像中の各画素値から予め定められた画素値を減算してもよい。また、背景処理部20は、背景信号が除去された画像に対して最大値フィルタ、最小値フィルタ、平滑化フィルタなどのフィルタを適用してノイズを低減させてもよい。
輪郭抽出部30は、ウェーブレット変換を調整画像に適用し、血管網構造の輪郭が抽出された輪郭画像を生成する。ウェーブレット変換は、画像に含まれる被写体の輪郭を抽出する。輪郭抽出部30は、ウェーブレット変換として、調整画像をウェーブレット係数(高周波成分)とスケーリング関数係数(低周波成分)に分解する。輪郭抽出部30は、分解された画像に対してさらに上記の分解を繰り返し、各レベルの高周波成分を抽出し、1枚の画像に結合する。
輪郭抽出部30は、当該結合された画像に対して、画素値が閾値未満の画素の強度を0とし、画素値が閾値以上の画素の強度を1として二値化処理された輪郭画像を生成する。当該閾値は、例えば、サンプルの性質、測定時の観察条件などに基づいて予め定められる。ウェーブレット変換は、例えばメキシカンハットフィルタなどにより実行される。血管網構造は、調整画像のうち画素値の高い画素により表されているため、画素値の低い他の被写体(要素)の画素に比べて高周波成分として抽出されやすい。よって、輪郭抽出部30により生成される輪郭画像において、血管網構造が写り込んでいる画素は強度が1の画素である物体画素として表され、血管網構造が写り込んでいない画素は強度が0の画素として表される。
骨格抽出部40は、輪郭画像において認識された物体の境界から物体の画素(ピクセル)を繰り返し除外し、所定ピクセル数の線幅を有する骨格が抽出された骨格画像を生成する。骨格抽出部40は、二値化処理された輪郭画像において複数の物体画素が集合している領域である物体領域を、血管網構造が描画された領域として認識し、物体領域の境界から物体画素を繰り返し除去する。除去とは、例えば、物体画素の強度を0とすることを指す。
物体領域の境界とは、例えば、物体領域内の物体画素が、血管網構造が写り込んでおらず強度が0となっている画素と上側、下側、左側又は右側のいずれかにおいて隣接しているときの当該物体画素を指す。骨格抽出部40は、例えば、所定ピクセル数を1と設定し、物体領域の線幅が1つの画素で表されるまで物体領域の境界を繰り返し除去する。例えば、物体領域の境界に位置するある物体画素(第1物体画素)に注目したとき、第1物体画素の上側又は下側のいずれかに他の物体画素(第2物体画素)が隣接し、かつ、第1物体画素の左側又は右側のいずれかに他の物体画素(第3物体画素)が隣接し、かつ、当該第2物体画素及び当該第3物体画素にそれぞれ隣接する他の物体画素(第4物体画素)が存在するとき、第1物体画素は除去される。骨格抽出部40は、輪郭画像に描画されたすべての物体領域の線幅が1ピクセルとなった物体画素の集合である骨格が描画された骨格画像を生成する。なお、所定ピクセル数は1に限定されず、適宜の数値を設定することができる。
形状検出部50は、骨格画像に描画された骨格に基づいて血管網構造の形状を検出する。血管網構造の形状は、例えば、血管網構造の長さである。形状検出部50は、骨格画像に描画された骨格の長さを血管網構造の長さとして検出する。骨格の長さとは、例えば、骨格を構成している物体画素の画素数である。骨格が複数に分岐している場合、分岐しているそれぞれの骨格の画素数を算出し、各分岐した骨格の画素数を合算したものを当該骨格の長さ(全長)として検出してもよい。
形状検出部50は、骨格画像に描画された骨格のうち長さが閾値より大きい骨格が抽出された画像である抽出画像を生成する。当該閾値は、サンプルの性質、測定時の観察条件などに基づいて予め定められる。形状検出部50は、骨格画像から当該閾値以下の骨格を除去することで抽出画像を得る。これにより、骨格画像のうち、血管網構造を構成しているとは見なし難い小さな骨格がノイズとして除去され、閾値より大きい骨格が抽出されるように篩い分けされる。このため、形状検出部50は、骨格画像から適切に血管網構造の骨格を抽出した抽出画像を生成することができる。形状検出部50は、抽出画像、又は抽出画像中のすべての骨格の長さを表示制御部60に出力する。形状検出部50は、抽出画像、又は抽出画像中のすべての骨格の長さを第2記憶装置140に記憶させる。
形状検出部50は、血管網構造の形状として血管網構造の分岐点の数を検出してもよい。例えば、形状検出部50は、骨格画像に描画された骨格を構成する物体画素のうち、上側、下側、左側又は右側の少なくとも3つの方向において隣接している物体画素の数から2を減じた数を分岐点の数として検出する。形状検出部50は、骨格画像に描画された骨格のうち分岐点の数が閾値より大きい骨格が抽出された画像である抽出画像を生成してもよい。当該閾値は、サンプルの性質、測定時の観察条件などに基づいて予め定められる。骨格画像のうち、血管網構造を構成しているとは見なし難い分岐点の数が少ない骨格をノイズとして除去し、閾値より大きい骨格が抽出されるように篩い分けすることにより、骨格画像から適切に血管網構造の骨格を抽出した抽出画像を生成することができる。形状検出部50は、抽出画像、又は抽出画像中のすべての骨格の分岐点の数を表示制御部60に出力してもよい。形状検出部50は、抽出画像、又は抽出画像中のすべての骨格の分岐点の数を第2記憶装置140に記憶させてもよい。形状検出部50は、抽出画像中の特定の領域内の骨格の分岐点の数、又は、抽出画像中の単位面積あたりの骨格の分岐点の数を表示制御部60に出力してもよく、第2記憶装置140に記憶させてもよい。
表示制御部60は、画像処理装置1内の取得部10、背景処理部20、輪郭抽出部30、骨格抽出部40又は形状検出部50、及び画像処理装置1の外部の表示装置130に接続される。表示制御部60は、表示装置130における表示を制御する。表示制御部60は、切り抜き画像、階調画像、除去画像、調整画像、輪郭画像、骨格画像、又は抽出画像を表示装置130に表示するよう制御する。表示制御部60は、抽出画像中のすべての骨格の長さの一覧又は分岐点の数の一覧を表示装置130に表示させてもよい。
表示装置130は、画像処理装置1の表示制御部60と接続し、表示制御部60により制御された内容を表示する機器である。表示装置130は、切り抜き画像、階調画像、除去画像、調整画像、輪郭画像、骨格画像、又は抽出画像を表示する。表示装置130は、抽出画像中のすべての骨格の長さの一覧又は分岐点の数の一覧を表示してもよい。表示装置130は、例えばディスプレイである。
第2記憶装置140は、例えばハードディスクなどの記憶媒体である。第2記憶装置140は、切り抜き画像、階調画像、除去画像、調整画像、輪郭画像、骨格画像、抽出画像、抽出画像中のすべての骨格の長さの一覧又は分岐点の数の一覧など、画像処理装置1内で使用したデータを記憶する。なお、第1記憶装置120と第2記憶装置140とは同一の記憶装置であってもよい。
[画像処理方法]
次に、画像処理システム2の動作を説明する。最初に、画像処理装置1の処理対象となる撮像画像を取得する処理を説明する。図3は、実施形態に係る画像処理方法が対象とする画像の取得処理の一例を示すフローチャートである。図3に示す方法は、例えば、3D肝モデルの作製に係る細胞株、試薬及び消耗品などが用意された場合に開始される。
まず、発色処理(S11)において、作業者などにより3D肝モデルの血管網構造が発色される。ここでは、上述の作製処理、投薬処理、及び発色制御処理が実行される。
次に、撮像処理(S13)において、画像処理システム2の撮像装置110は、発色処理(S11)により発色した血管網構造を有する3D肝モデルを撮像する。撮像装置110は、3D肝モデルの中心を含む領域を撮像する。撮像装置110は、撮像された3D肝モデルごとに共焦点顕微鏡のZ軸位置がそれぞれ異なる複数の画像の画素値及び色調などの強度を合算して、3D肝モデルを撮像した撮像画像を取得する。撮像装置110は、撮像画像を取得部10及び第2記憶装置140に出力する。
以上で図3に示されるフローチャートが終了する。図3に示されるフローチャートが実行されることにより、実施形態に係る画像処理方法が対象とする撮像画像が得られる。次に、図4を用いて画像処理システム2の画像処理装置1の動作を説明する。図4は、実施形態に係る画像処理方法の一例を示すフローチャートである。図4に示されるフローチャートは、図3に示されるフローチャートの終了後において、例えば作業者の開始操作に応じて開始される。
最初に、画像取得処理(S15)において、画像処理装置1の取得部10は、発色させた血管網構造を有する3D肝モデルが撮像された撮像画像を撮像装置110又は第1記憶装置120から取得する。
次に、階調変換処理(S17)において、画像処理装置1の背景処理部20は、撮像画像のうち、3D肝モデルの中心を含む領域を抽出した切り抜き画像を生成し、階調画像に変換する。背景処理部20は、例えば撮像画像から複数の切り抜き画像を生成し、それぞれ階調画像に変換する。
次に、ノイズ除去処理(S19)において、背景処理部20は、階調変換処理(S17)において生成された階調画像から背景信号を除去した除去画像を生成する。背景処理部20は、例えばスライディングパラボイド法によって背景信号を除去する。
次に、画素値調整処理(S21)では、背景処理部20は、ノイズ除去処理(S19)において生成された除去画像のノイズを低減した調整画像を生成する。背景処理部20は、除去画像中の各画素の画素値の分布を維持したまま各画素の画素値の差を広げ、所定の画素値を減算して調整画像を生成する。
次に、輪郭画像生成処理(S23)では、画像処理装置1の輪郭抽出部30は、ウェーブレット変換を画素値調整処理(S21)により生成された調整画像に適用し、血管網構造の輪郭が抽出された輪郭画像を生成する。輪郭抽出部30は、ウェーブレット変換による分解を繰り返し、各レベルの高周波成分を抽出して1枚の画像に結合する。輪郭抽出部30は、画素値が閾値未満の画素の強度を0とし、画素値が閾値以上の画素の強度を1として二値化処理された輪郭画像を生成する。
次に、骨格画像生成処理(S25)では、画像処理装置1の骨格抽出部40は、輪郭画像に描画された物体の境界からピクセルを繰り返し除外し、所定ピクセル数の線幅を有する骨格が抽出された骨格画像を生成する。骨格抽出部40は、二値化処理された輪郭画像で物体領域の境界から物体画素を、物体領域の幅が所定ピクセル数となるまで繰り返し除去する。
次に、長さ検出処理(S27)では、画像処理装置1の形状検出部50は、骨格画像に描画された骨格に基づいて血管網構造の長さを検出する。形状検出部50は、例えば、骨格画像中の各骨格の画素数を算出する。
次に、抽出画像生成処理(S29)では、形状検出部50は、骨格画像に描画された骨格のうち長さが閾値より大きい骨格が抽出された画像である抽出画像を生成する。
次に、出力処理(S31)では、画像処理装置1の表示制御部60は、抽出画像、又は抽出画像中のすべての骨格の長さの一覧を画像処理システム2の表示装置130に表示させる。形状検出部50は、抽出画像、又は抽出画像中のすべての骨格の長さを画像処理システム2の第2記憶装置140に記憶させる。
以上で図4に示されるフローチャートが終了する。図4に示されるフローチャートが実行されることにより、撮像画像から血管網構造の長さに関する情報が自動的に出力される。
[画像処理プログラム]
コンピュータを画像処理装置1として機能させるための画像処理プログラムを説明する。画像処理プログラムは、メインモジュール、取得モジュール、輪郭生成モジュール、及び骨格生成モジュールを備える。画像処理プログラムは、背景処理モジュール、及び形状検出モジュールを備えていてもよい。メインモジュールは、装置を統括的に制御する部分である。取得モジュール、輪郭生成モジュール、骨格生成モジュール、背景処理モジュール及び形状検出モジュールを実行させることにより実現される機能は、上述した画像処理装置1の取得部10、背景処理部20、輪郭抽出部30、骨格抽出部40、形状検出部50、及び表示制御部60の機能とそれぞれ同一である。
[実施形態のまとめ]
本実施形態に係る画像処理方法及び画像処理プログラムによれば、血管網構造を有する細胞構造体が撮像された画像が処理される。最初に、画像はウェーブレット変換が適用される。これにより、血管網構造の輪郭が抽出された輪郭画像が生成される(輪郭画像生成処理(S23))。続いて、輪郭画像において認識された物体の境界から物体のピクセルが繰り返し除外される。これにより、血管網構造の骨格が抽出された骨格画像が生成される(骨格画像生成処理(S25))。骨格画像が輪郭画像から生成されることにより、骨格画像が撮像画像から直接生成される場合と比べて、血管の形状をより正確に反映させた骨格が得られる。よって、この画像処理方法及び画像処理プログラムは、血管網構造の形状をより正確に把握することができる画像を生成できる。
また、本実施形態に係る画像処理方法は、骨格画像に基づいて血管網構造の形状を検出するステップ(長さ検出処理(S27)又は抽出画像生成処理(S29))を含むため、検出された血管網構造の形状を用いて血管網構造の特徴を評価することができる。
また、本実施形態に係る画像処理方法は、血管網構造の形状を検出するステップ(長さ検出処理(S27)又は抽出画像生成処理(S29))を含むため、検出された血管網構造の長さを用いて血管網構造の特徴を評価することができる。
また、本実施形態に係る画像処理方法は、3D肝モデルの中心を含む領域が撮像された撮像画像を対象とすることにより、3D肝モデルの血管網構造が撮像されている可能性の高い領域を適切に抽出することができる。
また、本実施形態に係る画像処理方法は、取得するステップ(画像取得処理(S15))の後、かつ、輪郭画像を生成するステップ(輪郭画像生成処理(S23))の前に実行され、画像から血管網構造の背景信号を除去した画像を生成するステップ(ノイズ除去処理(S19))を含むため、画像の背景信号が除去され、血管網構造を示す骨格をより鮮明に抽出することができる。
また、本実施形態に係る画像処理方法は、骨格画像を生成するステップ(骨格画像生成処理(S25))の後に実行され、骨格画像に描画された骨格のうち長さが閾値より大きい骨格が抽出された抽出画像を生成するステップ(長さ検出処理(S27)及び抽出画像生成処理(S29))を含むため、血管網構造を構成する可能性が低い骨格をノイズとして除去することができる。
また、本実施形態に係る画像処理方法は、取得するステップ(画像取得処理(S15))の後、かつ、輪郭画像を生成するステップ(輪郭画像生成処理(S23))の前に実行され、画像を所定階調の階調画像に変換した画像を生成するステップ(階調変換処理(S17))を含むため、撮像画像が階調画像に変換され、変換後の画像に対する処理を容易に進めることができる。
また、本実施形態に係る画像処理方法は、取得するステップ(画像取得処理(S15))の前に実行され、血管網構造を有する細胞を免疫染色させ、血管網構造を有する細胞を予め蛍光修飾させ、又は免疫染色及び蛍光修飾の組み合わせにより血管網構造を発色させるステップ(発色処理(S11))と、発色させるステップにより発色した血管網構造を有する3D肝モデルを撮像するステップ(撮像処理(S13))と、をさらに含むことにより、血管網構造を有する3D肝モデルに対して、発色処理(S11)及び撮像処理(S13)を実行し、3D肝モデルごとに血管網構造の形状を正確に把握することができる。
また、本実施形態に係る画像処理方法は、血管内皮細胞を有する3D肝モデルを対象とすることにより、血管内皮細胞における血管網構造を抽出し、当該血管網構造の形状を検出することができる。
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されるものではない。例えば、画像処理装置1は、画像処理システム2における撮像装置110、第1記憶装置120、表示装置130、又は第2記憶装置140を備えてもよい。画像処理装置1は、背景処理部20、形状検出部50及び表示制御部60を備えていなくてもよい。
図5~図10を参照して画像処理方法及び画像処理プログラムの効果について説明する。なお、図5~図8においては、3D肝モデルにシクロフォスファミドを投与しなかったコントロールサンプルを撮像画像として取得した。以下、特に記載のない処理については撮像画像に対して上述の図3及び図4に示されるフローチャート内の各処理が実行されているものとする。
[輪郭画像生成処理の効果]
図4に示されるフローチャートにおいて、輪郭画像生成処理(S23)を実行した場合と、輪郭画像生成処理(S23)を実行しない場合(あるいは他の処理を実行する場合)とで、結果として得られる骨格を比較した。図5の(a)~(f)は、輪郭画像生成処理及び骨格画像生成処理により取得された画像の一例を示す図である。以下では骨格画像生成処理(S25)直前の画像を元画像という。
(比較例1)
図5の(a)は、輪郭画像生成処理(S23)を実行しなかった画像である。図5の(b)は、図5の(a)に示される画像を元画像として骨格画像生成処理(S25)を実行した画像(比較例1)である。図5の(b)に示されるように、元画像の血管網構造とは関係無く直線状の図形が表示され、骨格画像として血管網構造の骨格が適切に抽出されなかった。
(比較例2)
図5の(c)は、図5の(a)に示される画像に対して、輪郭画像生成処理(S23)の代わりに、画素値の閾値を設定し、当該閾値以上の画素のみを白く表示し、当該閾値未満の画素を黒く表示するように二値化処理を行った画像である。図5の(d)は、図5の(c)に示される画像を元画像として骨格画像生成処理(S25)を実行した画像(比較例2)である。図5の(d)に示されるように、元画像とある程度一致した骨格が抽出された。しかしながら、例えば元画像の血管網構造の小規模な空洞を示す領域においては正確に骨格が抽出されておらず、元画像上の対応する箇所よりも著しく複雑な骨格のパターンが形成された。これは、二値化処理によって生成されたパターン上に、空洞となっている部分が存在していることが問題と考えられる。骨格画像生成処理は、画像内で認識されたオブジェクトのエッジ側から1ピクセルの幅になるまでオブジェクトを浸食する処理であるが、図5の(c)に示される元画像には白く抽出された全体のパターンの中の随所に小さな黒い点(穴)が存在している。骨格画像生成処理において、この穴をエッジの一部と認識してしまい、正確な骨格の抽出が阻害されていると考えられる。
(実施例1)
図5の(e)は、図5の(a)に示される画像に対して、輪郭画像生成処理(S23)を実行した画像である。図5の(f)は、図5の(e)に示される画像を元画像として骨格画像生成処理(S25)を実行した画像(実施例1)である。図5の(e)に示されるように、図5の(a)に示される画像から血管の太さなどの情報は失われてしまうが、図5の(f)に示されるように、比較例1及び比較例2と比べて、元画像と一致した骨格が抽出され、特に、元画像の血管網構造の小規模な空洞を正確に表現した骨格が抽出された。このように、骨格画像生成処理で骨格を抽出する上では、必ずしも元画像の血管領域を正しく捉えられている必要はなく、おおよその輪郭さえ抽出できていればよいことが確認された。
以上、実施例1、比較例1及び比較例2から、輪郭画像生成処理(S23)を実行することによって、骨格画像生成処理(S25)において画像内の血管網構造の骨格がより適切に抽出されることが確認された。比較例2において問題となった小さな黒い点は、元画像上で網目だった箇所と定義上差別化することが困難であり、アルゴリズムにより機械的に埋める作業を行うことは困難である。また、比較例2における小さな黒い点が形成されないように閾値を設定して二値化処理を実施することも考えられるが、その分ノイズが多くなり現実的ではない。実施例1及び比較例2から、上述した小さい黒い点に起因する問題点を元画像のおおよその輪郭を抽出した上で骨格を抽出するという新たなアプローチで解決できることが確認された。
[画素値調整処理の効果]
画素値調整処理(S21)を実行した場合と、画素値調整処理(S21)を実行しない場合とで、結果として得られる骨格を比較した。図6の(a)~(d)は、階調変換処理、ノイズ除去処理、輪郭画像生成処理、及び骨格画像生成処理により取得された画像の一例を示す図である。図7の(a)~(d)は、画素値調整処理、輪郭画像生成処理、及び骨格画像生成処理により取得された画像の一例を示す図である。
(比較例3)
図6の(a)は、階調変換処理(S17)によって生成された階調画像である。図6の(b)は、図6の(a)に示される階調画像に対してノイズ除去処理(S19)を実行して得られた除去画像である。図6の(c)は、図6の(b)に示される画像に対して画素値調整処理(S21)を実行せずに輪郭画像生成処理(S23)を実行した画像である。図6の(d)は、図6の(c)に示される画像に対して骨格画像生成処理(S25)を実行した画像(比較例3)である。図6の(d)に示されるように、画素値調整処理(S21)を実行しなかった場合、階調画像において血管網構造が明らかに視認されていない領域にまで他の血管網と繋がった血管網構造が表示されてしまい、輪郭画像として血管網構造の輪郭及び骨格が適切に抽出されなかった。これは、輪郭画像生成処理(S23)において、実際の血管領域とノイズとが区別されずに輪郭として抽出されたことに起因すると考えられる。
(実施例2)
図7の(a)は、図6の(b)に示される除去画像と同一の除去画像に対して、画素値の分布を調整した状態の画像である。図7の(b)は、図7の(a)に示される画像の各画素の画素値に対して予め定められた画素値を減算した画像である。つまり、図7の(a)は、画素値調整処理(S21)における中間画像であり、図7の(b)は、画素値調整処理(S21)が完了して得られる調整画像である。図7の(c)は、図7の(b)に示される画像に対して輪郭画像生成処理(S23)を実行して得られた輪郭画像である。図7の(d)は、図7の(c)に示される輪郭画像に対して骨格画像生成処理(S25)を実行した画像(実施例2)である。
図7の(a)及び(b)に示されるように、画素値調整処理(S21)を実行することでノイズが除去されていることが確認された。そして、図7の(d)に示されるように、図6の(d)に示される比較例3と比べて、階調画像において血管網構造が明らかに視認されていない領域にまで他の血管網と繋がった血管網構造が表示されることが抑制され、輪郭画像として血管網構造の輪郭及び骨格が適切に抽出された。以上のことから、画素値調整処理(S21)を実行することによって、輪郭画像生成処理(S23)において画像内の血管網構造の輪郭がより適切に抽出され、骨格画像生成処理(S25)において画像内の血管網構造の骨格がより適切に抽出されることがわかった。
[抽出画像生成処理の効果]
次に、抽出画像生成処理(S29)を実行した場合と、抽出画像生成処理(S29)を実行しない場合とで、結果として得られる骨格を比較した。図8の(a)は、撮像画像である。図8の(b)は、抽出画像生成処理(S29)の実行前の骨格画像(比較例4)である。図8の(c)は、抽出画像生成処理(S29)の実行後の抽出画像(実施例3)である。
図8の(b)及び(c)を比較することによって、抽出画像生成処理(S29)を実行した場合、骨格の長さが小さい骨格が除去されたため、骨格画像に比べて抽出画像には、撮像画像において視認される血管網構造と類似した構造が表示され、血管網構造の骨格が適切に抽出された。以上のことから、抽出画像生成処理(S29)を実行することによって、画像内の血管網構造の骨格がより適切に抽出されることがわかった。
[血管網の定量的な評価]
実施形態に記載の作製処理において作製された3D肝モデル(細胞構造体)に対してシクロフォスファミドを各濃度で暴露したサンプル群の血管網の定量的な評価について説明する。図9の(a)~(f)は、図3に示されるフローチャートにより取得された撮像画像であり、それぞれシクロフォスファミドの投薬濃度が0μM、143μM、430μM、1430μM、4300μM及び14300μMである。図9の(g)~(l)は、図9の(a)~(f)に示される撮像画像に対して、図4に示されるフローチャート内の各処理を実行した結果得られた抽出画像である。
図9の(a)~(f)に示される撮像画像において視認されるように、シクロフォスファミドの投薬濃度が高いほど、血管網構造の長さが短くなっている傾向がある。図9の(g)~(l)に示される抽出画像においても、シクロフォスファミドの投薬濃度が高いほど、骨格の長さが短くなる傾向が反映されている。
図10の(a)及び(b)は、図9の(g)~(l)に示される抽出画像における骨格の長さ及び分岐点の数を抽出した結果である。図10の(a)は、実施例に係る抽出画像における骨格の長さとシクロフォスファミドの投薬濃度との対応関係を示す図であり、図10の(b)は、抽出画像における骨格の分岐点の数とシクロフォスファミドの投薬濃度との対応関係を示す図である。図10の(a)及び(b)に示されるようにシクロフォスファミドがある投薬濃度を超えた段階で有意に血管網構造の形状が変化し、血管網構造が少なくなっていることがわかる。したがって、画像処理方法において生成される抽出画像によって、血管網構造の形状の特徴及び傾向を適切に把握することができることが確認された。
1…画像処理装置、2…画像処理システム、10…取得部、20…背景処理部、30…輪郭抽出部、40…骨格抽出部、50…形状検出部、60…表示制御部、110…撮像装置、120…第1記憶装置、130…表示装置、140…第2記憶装置。

Claims (10)

  1. 発色させた血管網構造を有する細胞構造体が撮像された画像を取得するステップと、
    ウェーブレット変換を前記画像に適用し、前記血管網構造の輪郭が抽出された輪郭画像を生成するステップと、
    前記輪郭画像において認識された物体の境界から前記物体のピクセルを繰り返し除外し、所定ピクセル数の線幅を有する骨格が抽出された骨格画像を生成するステップと、
    を含む、画像処理方法。
  2. 前記骨格画像に基づいて前記血管網構造の形状を検出するステップをさらに含む、請求項1に記載の画像処理方法。
  3. 前記血管網構造の形状は、前記血管網構造の長さである、請求項2に記載の画像処理方法。
  4. 前記画像は、前記細胞構造体の中心を含む領域が撮像された画像である、請求項1~3の何れか一項に記載の画像処理方法。
  5. 前記取得するステップの後、かつ、前記輪郭画像を生成するステップの前に実行され、前記画像の背景信号を除去した画像を生成するステップをさらに含む、請求項1~4の何れか一項に記載の画像処理方法。
  6. 前記骨格画像を生成するステップの後に実行され、前記骨格画像に描画された前記骨格のうち長さが閾値より大きい前記骨格が抽出された抽出画像を生成するステップをさらに含む、請求項1~5の何れか一項に記載の画像処理方法。
  7. 前記取得するステップの後、かつ、前記輪郭画像を生成するステップの前に実行され、前記画像を所定階調の画像に変換するステップをさらに含む、請求項1~6の何れか一項に記載の画像処理方法。
  8. 前記取得するステップの前に実行され、前記血管網構造を有する細胞を免疫染色させ、前記血管網構造を有する細胞を予め蛍光修飾させ、又は免疫染色及び蛍光修飾の組み合わせにより、前記血管網構造を発色させるステップと、
    前記発色させるステップにより発色した前記血管網構造を有する細胞構造体を撮像するステップと、
    をさらに含み、
    前記取得するステップは、前記撮像するステップによって撮像された画像を取得する、請求項1~7の何れか一項に記載の画像処理方法。
  9. 前記細胞構造体は、血管内皮細胞を有する、請求項1~8の何れか一項に記載の画像処理方法。
  10. 発色させた血管網構造を有する細胞構造体が撮像された画像を取得するステップと、
    ウェーブレット変換を前記画像に適用し、前記血管網構造の輪郭が抽出された輪郭画像を生成するステップと、
    前記輪郭画像に描画された物体の境界から前記物体のピクセルを繰り返し除外し、所定ピクセル数の線幅を有する骨格が抽出された骨格画像を生成するステップと、
    をコンピュータに実行させる画像処理プログラム。
JP2020190809A 2020-11-17 2020-11-17 画像処理方法及び画像処理プログラム Pending JP2022079931A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020190809A JP2022079931A (ja) 2020-11-17 2020-11-17 画像処理方法及び画像処理プログラム
PCT/JP2021/038984 WO2022107544A1 (ja) 2020-11-17 2021-10-21 画像処理方法及び画像処理プログラム
CN202180069196.8A CN116324875A (zh) 2020-11-17 2021-10-21 图像处理方法以及图像处理程序
EP21894418.9A EP4250223A4 (en) 2020-11-17 2021-10-21 IMAGE PROCESSING METHOD AND PROGRAM
US18/317,170 US20230282008A1 (en) 2020-11-17 2023-05-15 Image processing method and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020190809A JP2022079931A (ja) 2020-11-17 2020-11-17 画像処理方法及び画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2022079931A true JP2022079931A (ja) 2022-05-27

Family

ID=81709023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020190809A Pending JP2022079931A (ja) 2020-11-17 2020-11-17 画像処理方法及び画像処理プログラム

Country Status (5)

Country Link
US (1) US20230282008A1 (ja)
EP (1) EP4250223A4 (ja)
JP (1) JP2022079931A (ja)
CN (1) CN116324875A (ja)
WO (1) WO2022107544A1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011047342A1 (en) * 2009-10-15 2011-04-21 The Charles Stark Draper Laboratory, Inc. Systems and methods for detecting retinal abnormalities
CN103188988A (zh) * 2010-08-27 2013-07-03 索尼公司 图像处理装置及方法
JP2014054362A (ja) * 2012-09-12 2014-03-27 Toshiba Corp 超音波診断装置、画像処理装置及びプログラム
EP4349972A3 (en) 2016-02-22 2024-05-29 Osaka University Method for producing three-dimensional cell tissue
EP3578638A4 (en) 2017-01-31 2020-10-14 Toppan Printing Co., Ltd. THREE-DIMENSIONAL TISSUE BODY, METHOD OF MANUFACTURING THEREOF AND MOLDING AGENT FOR THREE-DIMENSIONAL TISSUE BODY
WO2019230643A1 (ja) * 2018-05-31 2019-12-05 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US20230282008A1 (en) 2023-09-07
EP4250223A4 (en) 2024-03-20
CN116324875A (zh) 2023-06-23
WO2022107544A1 (ja) 2022-05-27
EP4250223A1 (en) 2023-09-27

Similar Documents

Publication Publication Date Title
Valente et al. A simple ImageJ macro tool for analyzing mitochondrial network morphology in mammalian cell culture
Sugawara et al. Three-dimensional reconstruction of chick calvarial osteocytes and their cell processes using confocal microscopy
D’Amore et al. Characterization of the complete fiber network topology of planar fibrous tissues and scaffolds
Meijering et al. Tracking in molecular bioimaging
Tan et al. Structural and functional optical imaging of three-dimensional engineered tissue development
Altendorf et al. Imaging and 3D morphological analysis of collagen fibrils
US20230154003A1 (en) Cell evaluation method, cell evaluation system and program
Zandt et al. AII amacrine cells: quantitative reconstruction and morphometric analysis of electrophysiologically identified cells in live rat retinal slices imaged with multi-photon excitation microscopy
Zhu et al. Monitoring wound healing of elastic cartilage using multiphoton microscopy
WO2022107544A1 (ja) 画像処理方法及び画像処理プログラム
Ossinger et al. A rapid and accurate method to quantify neurite outgrowth from cell and tissue cultures: Two image analytic approaches using adaptive thresholds or machine learning
Rozario et al. 3D single molecule super-resolution microscopy of whole nuclear lamina
Kim et al. Three‐dimensional tissue cytometer based on high‐speed multiphoton microscopy
Tan et al. Imaging cellular responses to mechanical stimuli within three‐dimensional tissue constructs
CN112750118A (zh) 一种基于自动视觉检测的单细胞孔板测序中鉴定细胞个数的新方法及系统
Rytlewski et al. Three-dimensional image quantification as a new morphometry method for tissue engineering
Lemmens et al. Advanced microscopy techniques for quantitative analysis in neuromorphology and neuropathology research: current status and requirements for the future
CN108573267A (zh) 一种肝脏组织结构分类的方法及装置
CN105989245B (zh) 获取纤维化的特征量化参数的值的方法及装置
Wagner et al. Confocal microscopy, computer modeling, and quantification of glomerular vascular corrosion casts
Chatterjee et al. Histological and immunohistochemical guide to tendon tissue
Harling et al. Multiphoton microscopy for the characterization of cellular behavior on naturally derived polysaccharide tissue constructs with irregular surfaces for the development of platform biomaterials
JP5302054B2 (ja) Dnaが断片化されたアポトーシス細胞の検出方法、細胞画像解析装置、及びプログラム
Buño et al. Image processing and analysis of fluorescent labelled cytoskeleton
Tonello et al. Organic substrates for novel printed sensors in neural interfacing: A measurement method for cytocompatibility analysis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240917