JP2017146696A - 画像処理装置、画像処理方法及び画像処理システム - Google Patents

画像処理装置、画像処理方法及び画像処理システム Download PDF

Info

Publication number
JP2017146696A
JP2017146696A JP2016026758A JP2016026758A JP2017146696A JP 2017146696 A JP2017146696 A JP 2017146696A JP 2016026758 A JP2016026758 A JP 2016026758A JP 2016026758 A JP2016026758 A JP 2016026758A JP 2017146696 A JP2017146696 A JP 2017146696A
Authority
JP
Japan
Prior art keywords
hologram
image
observation object
area
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016026758A
Other languages
English (en)
Other versions
JP2017146696A5 (ja
Inventor
寛和 辰田
Hirokazu Tatsuta
寛和 辰田
威 國弘
Takeshi Kunihiro
威 國弘
堂脇　優
Masaru Dowaki
優 堂脇
松居　恵理子
Eriko Matsui
恵理子 松居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2016026758A priority Critical patent/JP2017146696A/ja
Priority to US16/073,500 priority patent/US10852695B2/en
Priority to PCT/JP2017/004088 priority patent/WO2017141741A1/en
Priority to DE112017000840.9T priority patent/DE112017000840T5/de
Publication of JP2017146696A publication Critical patent/JP2017146696A/ja
Publication of JP2017146696A5 publication Critical patent/JP2017146696A5/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Signal Processing (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Dispersion Chemistry (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Holo Graphy (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

【課題】ホログラムを用いて観察対象物を観察する場合に、画像の再構成による処理負荷を最小限に抑える。【解決手段】本開示に係る画像処理装置は、観察対象物のホログラムから前記観察対象物の動きを検出する動き検出部と、前記観察対象物の動きの検出結果に基づいて、前記ホログラムの一部を抽出するホログラム処理部と、抽出した前記ホログラムの一部から画像を再構成する再構成部と、を備える。この構成により、ホログラムを用いて観察対象物を観察する場合に、画像の再構成による処理負荷を最小限に抑えることができる。【選択図】図１

Description

本開示は、画像処理装置、画像処理方法及び画像処理システムに関する。
医療および生命科学の分野において、多くの種類の生物学的試料の動きを観察し、これらの形態の変化ついて評価することが行われている。形態の変化は、生物学的試料の生命活動または生命状態等を反映する動きのことであり、生物学的試料の状態等の評価に密接に関連している。
細胞を観察する手法として一般的な位相差顕微鏡を用いる方法では、照明用のケーラー照明と観察用の拡大光学系が必要であり、システムが巨大になるとともに、高コストとなる。特に並列的に対象を観察するシステムにおいては、観察光学系自体がシンプルで、並列化しやすい質量、サイズであることが望まれる。しかしながら、観察光学系を用いたシステムでは、広範囲を観察しようとすると、光学系の数を増やす必要があり、コストが増大する問題がある。
一方、透明体を可視化する手法として、インラインホログラム像を用いる方法が知られている。しかしながら、インラインホログラム像から直接、対象物体の動きパラメータを算出すると、動いている対象の面積を正しく計算できないという問題がある。例えば、拍動している心筋細胞と拍動していないその他の細胞の数の比を算出したい場合、動いている部分の面積が正しく測定できないと正しい結果が得られないことになる。この点に関し、下記の非特許文献１には、ＬＦＩ技術によりインラインホログラム像を画像に再構成する方法が記載されている。このような再構成を行うことなく、ホログラムから対象物の面積を正しく計算することはできない。
一方で、再構成していないホログラムを用いて対象物体の動きを検出することはできる。例えば、下記の特許文献１には、画像の動きを検出する方法が記載されている。
特許第５７７２８１７号公報
Onur Mudanyali, Derek Tseng, Chulwoo Oh, Serhan O. Isikman, Ikbal Sencan, Waheb Bishara, CetinOztoprak,SungkyuSeo, Bahar Khademhosseini,Aydogan Ozcan 著、「Compact, light-weight and cost-effective microscope based onlensless incoherent holography for telemedicine applications」、www.rsc.org/loc
インラインホログラム像を用いることにより、広範囲の細胞を観測する場合であっても、拡大光学系と比較してシステムの規模を縮小することができる。しかしながら、インラインホログラム像から正しい面積値を算出するため、すべてのフレームの再構成画像を生成することとすると、計算処理の負荷が高くなり、計算に多大な時間を要する問題がある。
そこで、ホログラムを用いて観察対象物を観察する場合に、画像の再構成による処理負荷を最小限に抑えることが求められていた。
本開示によれば、観察対象物のホログラムから前記観察対象物の動きを検出する動き検出部と、前記観察対象物の動きの検出結果に基づいて、前記ホログラムの一部を抽出するホログラム処理部と、抽出した前記ホログラムの一部から画像を再構成する再構成部と、を備える画像処理装置が提供される。
また、本開示によれば、観察対象物のホログラムから前記観察対象物の動きを検出することと、前記観察対象物の動きの検出結果に基づいて、前記ホログラムの一部を抽出することと、抽出した前記ホログラムの一部から画像を再構成することと、を備える、画像処理方法が提供される。
また、本開示によれば、観察対象物に部分コヒーレンス光を出射する光源と、前記部分コヒーレンス光が前記観察対象物で分離されて得られる透過光及び回折光の干渉によるホログラムを検出する画像センサーと、前記ホログラムから前記観察対象物の動きを検出する動き検出部と、前記観察対象物の動きの検出結果に基づいて、前記ホログラムの一部を抽出するホログラム処理部と、抽出した前記ホログラムの一部から画像を再構成する再構成部と、を備える、画像処理システムが提供される。
以上説明したように本開示によれば、ホログラムを用いて観察対象物を観察する場合に、画像の再構成による処理負荷を最小限に抑えることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係るシステムを示す模式図である。 図１のシステムから得られるホログラムを示す模式図である。 干渉縞に暗部（黒丸）と明部（白丸）ができる様子を説明するための模式図である。 微少ビーズを顕微鏡で観察した画像を示す図である。 微小ビーズをホログラムで観察した画像を示す図である。 観察対象物が左右に振動する場合を示す模式図である。 ＸＹ平面上のホログラムを見た状態を示す模式図である。 図１のシステムにより培養心筋細胞を撮影して得られたホログラムを示す模式図である。 図６のホログラムに対してブロックマッチングから得られる、動き解析結果（拍動波形）を示す模式図である。 拍動面積比を検出する全体的な処理を示すフローチャートである。 図７を詳細に示す図であって、拍動波形の最大変位と最少変位を示す特性図である。 変位最大画像と変位最少画像から、拍動を伴う細胞と伴わない細胞の比率を算出する処理を示すフローチャートである。 再構成した画像を、１つのブロックがＮ×Ｎピクセルからなる複数のブロックに分割した状態を示す模式図である。 最少変位画像と最大変位画像から動きのある細胞面積を計算する処理を示すフローチャートである。 最小変位画像と最大変位画像のぞれぞれを、Ｎ×Ｎピクセルからなる複数のブロックに分割し、選択したブロック間でブロックマッチングを行う様子を示す模式図である。 第２の実施形態の処理を示すフローチャートである。 ステップＳ７２でカウントされた同心円状のホログラムを示す模式図である。 ステップＳ７６で静止しているホログラムのみを抽出した状態を示す模式図である。 精子などの個別にランダムに動く細胞において、動いている細胞のみを抽出して計算負荷を低下させる例を示すフローチャートである。 同心円状のホログラムの画像を示す模式図である。 動きのあるホログラムのみの領域を抽出した結果を示す模式図である。 第１の実施形態に係る処理結果の表示例を示す図である。 第２の実施形態に係る処理結果の表示例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１．システムの構成例
１．２．拍動面積比を検出する処理
２．第２の実施形態
２．１．ランダムな動きの細胞を観測する例
３．処理結果の適用例
１．第１の実施形態
１．１．システムの構成例
まず、図１を参照して、本開示の各実施形態に係る画像処理システム１０００の概略構成について説明する。図１は、本開示の各実施形態に係る画像処理システム１０００を示す模式図であって、一般的なレンズフリーイメージング（ＬＦＩ）のシステム構成を示している。図１に示す構成において、部分コヒーレンス光を出射する光源１００を出射した光は、サンプルステージ１０２上の観察対象物１０４に入射する。なお、光源１００は、部分コヒーレンス光を出射するため、レーザダイオード（ＬＤ）、またはＬＥＤとピンホールの組み合わせ等から構成される。なお、本実施形態において、観察対象物１０４は、一例として生体に由来する物であり、細胞、組織、精子、受精卵、ゼブラフィッシュなどの小生物を含む。
観察対象物１０４に入射した光は、透過光１０６と回折光１０８に分離される。透過光１０６は、回折光１０８と画像センサー１１０上で干渉し、センサー１１０によりホログラム像の出力１１２が得られる。透過光１０６は、ホログラム生成のための参照光とも称することができる。画像処理システム１０００は、光源１００やセンサー１１０を制御する制御部２００と、得られたデータを処理する演算部（画像処理装置）３００と、ユーザによる操作情報が入力される操作入力部３５０を更に備える。
演算部３００は、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）から構成される。演算部３００は、ホログラム処理部３０２、再構成部３０８、動き領域特定部３１２、存在領域特定部３１４、表示制御部３１６を有して構成される。ホログラム処理部３０２は、制御部２００を介してセンサー１１０から観察対象物１０４のホログラム４００を取得するホログラム取得部３０２ａ、ホログラム４００から観察対象物１０４の動きを検出する動き検出部３０２ｂ、観察対象物１０４の動きの検出結果に基づいてホログラム４００の一部を抽出するホログラム抽出部３０２ｃを含む。再構成部３０８は、抽出したホログラム４００から画像を再構成する。動き領域特定部３１２は、ブロックマッチング部３１２ａ、比率算出部３１２ｂ、トラッキング部３１２ｃを含む。存在領域特定部３１４は、カウント部を含む。
図２は、センサー１１０から得られるホログラム４００を示す模式図である。観察対象物１０４で回折した回折光１０８と、観察対象物１０４を透過した透過光１０６（参照光）が干渉して、センサー１１０上にホログラム４００が生じる。ホログラム４００の干渉縞は、図２中にセンサー１１０上に黒丸（暗部）、白丸（明部）を示したように、同心状に明暗を繰り返したものとなる。このとき、対象物のサイズをＬ１とすると、センサー１１０上で観察されるホログラム４００のサイズＬ２は光源１００の波長と、観察対象物１０４とセンサー１１０との距離によって変動し、Ｌ２＞Ｌ１となる。
図３は、干渉縞に暗部（黒丸）と明部（白丸）ができる様子を説明するための模式図である。回折光１０４と参照光１０６のうち、波面が揃って強めあうと明部（白丸）が生じ、波面がλ/2ずれて弱め合うと暗部（黒丸）が生じる。図２及び図３に示す回折光１０４と参照光１０６において、実線と破線はそれぞれ光波の振幅が最大の波面と最少の波面を表している。この干渉縞はより正確には、Fresnel-Kirchhoffの回折公式やRayleigh-Sommerfeldの回折公式から計算可能である。
図４Ａ及び図４Ｂは、顕微鏡による画像とホログラム４００を比較して示す図である。図４Ａは、微少ビーズを顕微鏡で観察した画像を示しており、図４Ｂは、同じく微小ビーズをホログラム４００で観察した画像（波長６３５ｎｍ）を示している。微小ビーズのサイズは３．７μｍであるが、ホログラム４００で観察した微小ビーズのサイズは１５０μｍ以上となっている。
図５Ａは、観察対象物１０４が左右に振動する場合を示している。この場合、得られる同心円状のホログラム４００は、観察対象物１０４と同様に左右に振動する。ここで、ホログラム４００の移動量は、観察対象物１０４の実際の移動量と変わらない。このホログラム４００において、ブロックマッチングやオプティカルフローなどの動きベクトル解析を行った場合、観察対象物１０４の移動量は正しく測定できるが、動いている物体の面積を正しく測定することはできない。
図５Ｂは、ＸＹ平面上のホログラム４００を見た状態を示しており、センサー１１０からの出力を表している。ホログラム処理部３０２の動き検出部３０２ｂは、ホログラム４００から観察対象物１０４の動きをベクトル解析により検出する。特許文献１に記載されているように、ベクトル解析においては、ホログラム４００の画像を複数のブロック４５０に分割し、ブロック４５０の単位で画像のマッチングを行い、動きベクトル４６０を計算する。動きのあったブロック４６０の数を用いて、動きのあった観察対象物１０４の面積を測定することは可能であるが、観察対象物１０４のホログラム４００は実際の観察対象物１０４よりも大きく撮影されるため、実際の観察対象物１０４の面積よりも大きく計算されてしまう。
動きのあった観察対象物１０４の正しい面積を測定するには、ホログラム４００から元の画像へ観察対象物１０４を再構成して、再構成画像から面積を算出する。このため、再構成部３０８がホログラム４００から画像を再構成する処理を行う。ホログラム４００から画像への再構成は、レンズフリーイメージング（ＬＦＩ）により行うことができ、例えば上述した非特許文献１に記載されている手法を用いる。例えば、観察視野内に存在している観察対象物１０４のうち、収縮⇔弛緩などの周期的な動きを伴うものの割合を算出したい場合、変位０の画像と変位最大の再構成画像が得られれば、パターンマッチングによる動きのある部位の面積を正しく計算することができる。このため、ホログラム処理部３０２のホログラム抽出部３０２ｃは、変位０のホログラム４００と変位最大のホログラム４００を抽出し、抽出したホログラム４００のみ再構成部３０８が再構成を行う。変位０の画像と変位最大の画像のみを再構成すれば良いため、全てのフレームを再構成する場合よりも圧倒的に計算時間を削減することができる。
周期的な動きを含む観察対象物１０４として、培養心筋細胞の場合を例に挙げて、拍動面積比を検出する手法について具体的に説明する。図６は、図１の画像処理システム１０００により培養心筋細胞を撮影して得られたホログラム４００を示す模式図であって、再構成していないものを示している。図７は、このホログラム４００に対してブロックマッチングから得られる、動き解析結果（拍動波形）を示す模式図であって、横軸が時間、縦軸が速度を表している。
図７に示す動き解析は、現時刻のフレーム画像データと１つ先の時刻のフレーム画像データについて、ブロック毎に動きベクトルを算出することによって取得でき、例えば特許第５７７２８１７号公報に記載された方法で取得できる。ここで、図７に示す速度の値は、得られた動きベクトルの平均を示している。図７に示すように、速度の波形には周期的な２セットのピークが観察され、１つめの山が収縮、２つめの山が弛緩を表している。収縮と弛緩の谷に相当する部分が、拍動の最大の変位点を示している。
１．２．拍動面積比を検出する処理
図８は、拍動面積比を検出する全体的な処理を示すフローチャートである。また、図９は、図７を詳細に示す図であって、拍動波形の最大変位４７０と最少変位４８０の位置を示す特性図である。先ず、ステップＳ１０では、ホログラム４００の動画を取得する。次のステップＳ１１では、細胞に由来するホログラム４００の面積を、コントラストのしきい値に基づいて決定する。つまり、ステップＳ１１では、細胞が存在する領域を特定する。なお、細胞が存在する領域を特定せずに、画面全体から拍動波形を算出しても良い。次のステップＳ１２では、ホログラム４００の動画から動きベクトルを検出する。この際、ステップＳ１１で求めた細胞に由来する領域のみで動きベクトルを検出することで、処理負荷を軽減できる。なお、ステップＳ１１の処理では、後述する図１０の処理と同様に、輝度差が所定値以上のブロック数に基づいて、細胞が存在する領域を特定しても良い。
次のステップＳ１４では、動きベクトルの画像から細胞の拍動波形を算出する。次のステップＳ１６では、拍動波形から最大変位４７０、最少変位４８０のフレームを決定する。図９に示すように、最小変位４８０から細胞が拡大し、最大変位４７０で細胞が最も大きくなる。その後、細胞が収縮し、次の最小変位４７０で細胞が最も小さくなる。次のステップＳ１８では、最大変位４７０、最少変位４８０のフレームを、ＬＦＩ技術を使って再構成する。これにより、最大変位４７０のフレームから変位最大画像が得られ、最小変位４８０のフレームから最少変位画像が得られる。次のステップ２０では、最大変位画像と最少変位画像から拍動を伴う細胞の比率（面積比率）を算出し、出力する。
なお、上述の処理では最大変位４７０、最少変位４８０の２枚のフレームを再構成したが、最大変位４７０または最小変位４８０のフレームは周期的に現れるため、複数フレームの平均から再構成しても良い。
次に、変位最大画像と変位最少画像から、拍動を伴う細胞と伴わない細胞の比率を算出する処理を説明する。図１０は、細胞の存在しない平坦なエリアを計算から除外するため、最少変位または最大変位の画像細胞から細胞が存在する面積を算出する処理を示すフローチャートである。この処理では、再構成した画像のブロック内に所定の閾値以上の輝度差が存在するブロック数をカウントして面積Ａを算出する。この面積の算出は、存在領域特定部３１４によって行われる。なお、面積Ａの算出は、最大変位画像と最少変位画像のいずれか一方、または最大変位画像と最少変位画像の双方から算出できる。最大変位画像と最少変位画像の双方から面積Ａを算出した場合は、算出精度をより高めることができる。なお、操作入力部３５０に入力されたユーザによる操作情報に基づいて、細胞が存在する領域を特定しても良い。ユーザは、表示制御部３１６により表示部に表示された画面に基づいて、画面内の領域を指定することで、細胞が存在する領域を指定することができる。
先ず、ステップＳ３０では、再構成した画像から、Ｎ×Ｎピクセル（ｐｉｘｅｌ）のブロック４５０を順次抽出することで、再構成した画像をＮ×Ｎピクセル（ｐｉｘｅｌ）のブロック４５０に分割する。図１１は、再構成した画像全体を、１つのブロックがＮ×Ｎピクセルからなる複数のブロックに分割した状態を示している。
次のステップＳ３２では、（ｉ，ｊ）番目のブロックを選択する。次のステップＳ３４では、ステップＳ３２で選択したブロック内に、所定のしきい値以上の輝度差があるか否かを判定する。図１１では、Ｎ×Ｎピクセルのブロックのうちの１つを抜き出した状態を示しており、抜き出したブロックの各ピクセルの輝度を濃度で表している。例えば、輝度値を８ビットで表すと、２５５段階で各ピクセルの輝度を表現できる。ブロック内の最大輝度差を求め、ステップＳ３４では、最大輝度差が所定のしきい値以上であるか否かを判定する。
ステップＳ３４において、ブロック内に所定のしきい値以上の輝度差がある場合は、ステップＳ３６へ進む。ブロック内に所定のしきい値以上の輝度差がある場合は、そのブロックが細胞の位置に対応していることが判る。一方、ブロック内所定のしきい値以上の輝度差が無い場合、例えばブロック内が白色または黒色など輝度が一様の場合は、そのブロックが細胞に対応しない領域であることが判る。従って、しきい値以上の輝度差があるブロックの数の合計から、細胞が存在する面積Ａを求めることができる。
ステップＳ３６では、（ｉ，ｊ）番目のブロックを細胞のあるエリアとしてカウントする。このカウントは、存在領域特定部３１４のカウント部にて行われる。ステップＳ３６の後は、ステップＳ３８へ進む。また、ステップＳ３４において、ブロック内の輝度差が所定のしきい値未満の場合は、ステップＳ３８へ進む。
ステップＳ３８では、全てのブロックを評価済か否かを判定し、全てのブロックを評価済の場合はステップＳ４０へ進む。ステップＳ４０では、カウントされた最終的なブロック数を全細胞の面積Ａとする。一方、ステップＳ３８で全てのブロックを評価済でない場合は、ステップＳ３２へ戻り、次のブロックを選択する。
以上のように図１０の処理では、ブロック内に所定のしきい値以上の輝度差がある場合は細胞が存在するブロックと判定し、その総数を求めることで、ブロック数から細胞が存在するエリアの面積Ａを求めることができる。
なお、図１０の処理では、輝度差が所定値以上のブロック数から、細胞が存在するエリアの面積Ａを算出したが、細胞が存在するエリアと存在しないエリアのエッジを検出し、閉じたエッジ内の面積を細胞が存在するエリアの面積Ａとしても良い。
図１２は、最少変位画像と最大変位画像から動きのある細胞面積を計算する処理を示すフローチャートである。最少変位画像と最大変位画像のそれぞれの画像において、同様の処理が行われる。先ず、ステップＳ５０では、図１０のステップＳ３０と同様に、最少変位画像と最大変位画像のそれぞれからＮ×Ｎピクセルのブロックを抽出することで、それぞれの画像をＮ×Ｎピクセルのブロックに分割する。
次のステップＳ５２では、それぞれの画像において、（ｉ，ｊ）番目のブロックを選択する。次のステップＳ５４では、ステップＳ５２で選択したブロックが、図１０のフローチャートで算出した面積Ａの領域に含まれるか否かを判定し、面積Ａの領域に含まれる場合はステップＳ５６へ進む。
ステップＳ５６では、最小変位画像と最大変位画像の選択したブロック間でマッチングを行う。このブロックマッチングは、動き領域特定部３１２のブロックマッチング部３１２ａにより行われる。図１３は、最小変位画像と最大変位画像のそれぞれを、Ｎ×Ｎピクセルからなる複数のブロックに分割し、位置が対応するブロック間でブロックマッチングを行う様子を示している。ブロックマッチングは、両ブロックの一致のレベルを示すパラメータに基づいて評価され、パラメータが所定のしきい値以上の場合は、両ブロックが一致すると判定する。図１３では、上述した図１０の処理を最小変位画像に基づいて行い、最小変位画像中で面積Ａを算出した場合を示している。
ステップＳ５６において、両ブロックが一致する場合は、ステップＳ５８へ進む。一方、ステップＳ５６で両ブロックが一致しない場合は、ステップＳ６０へ進み、（ｉ，ｊ）番目のブロックを動いている細胞のあるエリアとしてカウントし、ステップＳ５８へ進む。また、次のステップＳ５４において、ステップＳ５２で選択したブロックが、面積Ａの領域に含まれない場合は、ステップＳ５８へ進む。
このように、ステップＳ５６で両ブロックが一致しない場合は、動いている細胞のあるエリアとしてカウントし、カウント数に応じて動いている細胞のあるエリアの面積（動き領域）が抽出される。この処理は、動き領域特定部３１２によって行われる。
ステップＳ５８では、全てのブロックを評価済であるか否かを判定し、全てのブロックを評価済の場合はステップＳ６２へ進む。ステップＳ６２では、ステップＳ６０でカウントされた最終的なブロックの総数を動きのある細胞の面積Ｂとする。ステップＳ６２の後はステップＳ６４へ進み、面積Ａに対する面積Ｂの比率（＝Ｂ／Ａ）を算出する。この比率の算出は、動き領域特定部３１２の比率算出部３１２ｂが行う。一方、ステップＳ５８で全てのブロックを評価済でない場合は、ステップＳ５２へ戻り、次のブロックを選択する。
以上のように、図１２の処理では、最小変位画像と最大変位画像のブロックマッチングを行うことで、動いている細胞のあるエリアの面積Ｂを求めることができ、細胞が存在するエリアの面積Ａに対する動いている細胞があるエリアの面積Ｂの比率を算出できる。
なお、図１２では、ブロックマッチングにより動いている細胞のあるエリアの面積Ｂを算出したが、最小変位画像と最大変位画像の対応する画素値（輝度値）の減算を行い、差分が一定の閾値を超えるピクセルの数から面積を算出しても良い。
以上のようにして算出された、細胞が存在するエリアの面積Ａに対する動いている細胞があるエリアの面積Ｂの比率は、観察視野内の細胞のうち拍動を伴う心筋細胞の比率を表すパラメータとなる。細胞が存在するエリアの面積Ａよりも動いている細胞があるエリアの面積Ｂの方が小さいため、面積Ｂ＜面積Ａの関係がある。
例えば、ＩＰＳ細胞から作成した心筋細胞には、実際には心筋細胞とならなかった細胞が含まれる場合がある。心筋細胞になった比率が高いほど、つまり、心筋細胞の純度が高いほど、患者に対する負担が低くなる。この場合に、本実施形態の手法により面積Ａに対する面積Ｂの比率を求めることにより、心筋細胞の純度を精度良く求めることが可能である。
なお、上述の処理では、ホログラム４００の動画のフレームから最小変位画像と最大変位画像のフレームのみを抜き出して再構成を行ったが、最小変位画像と最大変位画像のフレーム以外であっても、抜き出したフレームに差分が検出されるだけの変化があれば良い。また目的に応じて、拍動に不整脈が生じたフレームなどを抜き出すなどしても良い。
ホログラム４００の時間的な変動が画面の一部に限られる場合は、ホログラム４００の画像全体を再構成する必要がないため、再構成する画像のエリアを限定しても良い。画像内において、時間的な変動が発生する領域のみを再構成することで、処理を簡素に行うことができる。
特に、心筋画像において、拍動は伝播を伴うため、必ずしも画面全体で最大変位画像が得られるわけではない。また心筋細胞が密ではない場合は、拍動の同期が不十分な場合もある。これらの場合はホログラム４００の画像を複数のエリアに分割して、それぞれのエリアで動き解析を実施して、動き波形を計算しても良い。この場合、抽出する最大変位画像、最小変位画像のフレームが、分割したエリア毎に異なることになる。
以上説明したように第１の実施形態によれば、ホログラム４００の動画のフレームのうち、動き解析をホログラム４００に基づいて行い、動き解析によって得られた最大変位画像と最少変位画像のみを再構成する。そして、再構成した最大変位画像と最少変位画像に基づいて、細胞が存在するエリアの面積Ａに対する、動いている細胞があるエリアの面積Ｂの比率を求める。最大変位画像と最少変位画像のみを再構成することで、処理負荷を大幅に軽減することができる。これにより、観察視野内の細胞のうち拍動を伴う細胞が存在する割合を取得することが可能となる。
２．第２の実施形態
２．１．ランダムな動きの細胞を観測する例
次に、本開示の第２の実施形態について説明する。第２の実施形態の画像処理システムは、第１の実施形態と同様である。第２の実施形態では、拍動細胞などの周期的な動きをする細胞ではなく、ランダムな動きの細胞を含むその他の細胞に本開示を適用した場合について説明する。
ランダムな動きの細胞の場合、動きが周期的ではないため、ホログラム４００の動き解析結果から最大変位量を算出できない場合が想定される。例えば、精子のように常にランダムな動きを伴うものの場合は、フレームの抽出を次のように行う。
精子の場合、動き量のグラフが常に平坦であり、精子頭部が円環状のホログラム４００として観察されるため、この干渉環をトラッキングしたり、動き解析したりすることによって細胞数、運動率などの所望のパラメータを得ることができる。しかしながら、正確な細胞数を求めるためには、観察される干渉環が細胞由来のものか、ディッシュ上の傷やダスト由来のものかを区別することが望ましい。このため、第２の実施形態では、１つのフレームのホログラム４００のみを再構成し、キズやゴミを除去し、正確な細胞数を検出する。
具体的には、ホログラム４００から円環状ホログラムの数をパターンマッチングによりカウントする。このカウントは、存在領域特定部３１４のカウント部にて行われる。そして、円環状ホログラムのうち動的なものの数を動きベクトル解析またはトラッキングによってカウントする。このトラッキングは、パターンマッチングなどの公知の手法により動き領域特定部３１２のトラッキング部３１２ｃが行う。円環状ホログラムは、円環状であるため、比較的容易にトラッキングすることが可能である。そして、ホログラムの動画から少なくとも１つのフレームを抽出し、再構成を行う。再構成により得られた画像に基づいて、ダスト、キズなど、対象となる細胞以外のものをカウントし、動的な円環状ホログラムのカウント数から減算する。
図１４は、第２の実施形態の処理を示すフローチャートであって、キズやゴミを分離するために再構成画像を利用し、細胞のカウントはホログラムを使う例を示している。先ず、ステップＳ７０では、ホログラム４００の動画を取得する。次のステップＳ７２では、同心円状のホログラム（円環状ホログラム）の数をカウントする。図１５は、ステップＳ７２でカウントされた同心円状のホログラム４０２，４０４を示している。ここで、ホログラム４０２は動きのあるものであり、ホログラム４０４は動きのないものである。
次のステップＳ７４では、ホログラム動画の動き検出を行い、トラッキングを行う。次のステップＳ７６では、静止しているホログラム４０４のみを抽出する。図１６は、ステップＳ７６で静止しているホログラム４０４のみを抽出した状態を示す模式図である。次のステップＳ７８では、ステップＳ７６で抽出したホログラム４０４の再構成を行う。再構成画像を得ることで、円環状ホログラムにゴミやキズが含まれているかを認識できる。
次のステップＳ８０では、再構成画像からゴミ、キズを分離し、動きのないホログラム４０４のカウント数から除外する。次のステップＳ８２では、全体の細胞の個数に対する、動きのある細胞の個数の比率を計算する。つまり、ステップＳ８２では、ホログラム４０２，４０４の総数に対するホログラム４０２の数の比率を求める。この比率の算出は、動き領域特定部３１２の比率算出部３１２ｂによって行われる。ステップＳ８２の後は処理を終了する。細胞が精子の場合は、更に運動している精子から前進運動精子のみを抽出してカウントし、運動率を算出する。
以上のように、図１４の処理によれば、静止しているホログラム４０４のみを抽出して再構成を行うため、ゴミ、キズ等を分離することができ、静止している細胞の数を正確にカウントすることができる。従って、全体の細胞の個数に対する、動きのある細胞の個数の比率を、高精度に算出することが可能となる。
また、図１７は、精子などの個別にランダムに動く細胞において、動いている細胞のみを抽出して計算負荷を低下させる例を示すフローチャートである。先ず、ステップＳ９０では、ホログラムの動画を取得する。次のステップＳ９２では、ホログラム動画の動き検出を行い、トラッキングを行う。これにより、図１８に示すように、図１５と同様に同心円状のホログラム４０２，４０４の画像が得られる。次のステップＳ９４では、動きのあるホログラム４０２のみの領域を抽出する。この領域の抽出は、ホログラム処理部３０２のホログラム抽出部３０２ｃによって行われる。図１９は、動きのあるホログラム４０２のみの領域を抽出した結果を示す模式図である。次のステップＳ９６では、ステップＳ９４で抽出した領域のみでホログラム４０２の再構成を行う。ステップＳ９６の後は処理を終了する。
以上のように、図１７の処理によれば、動きのあるホログラム４０２のみの領域を抽出して、ホログラム４０２の再構成を行うため、計算負荷を大幅に軽減することができる。
３．処理結果の適用例
本開示の各実施形態に係る画像処理システム１０００による処理結果の適用例について説明する。ここでは、表示制御部３１６が画像処理システム１０００の内部または外部に設けられた表示部に表示させる画面を示しつつ、動き補償処理および解析処理の例について説明する。
（適用例１：心筋細胞の局所的な形態の変化についての解析処理）
先ず、第１の適用例について説明する。図２０は、第１の実施形態に係る処理結果の表示例を示す図である。図２０を参照すると、表示制御部３１６により表示部に表示される画面１１００は、オリジナル動画像表示画面１１１０、細胞存在領域表示画面１１２０Ａ、および細胞動き領域表示画面１１２０Ｂを含む。
オリジナル動画像表示画面１１１０には、複数の心筋細胞のホログラム像が表示されている。このうち、心筋細胞の像５１０Ａが、ホログラム４００による観察対象とされているものとする。演算部３００は、心筋細胞の像５１０Ａのホログラム４００についての動き解析処理を行う。細胞存在領域表示画面１１２０Ａには、心筋細胞の像５１０Ａのホログラム４００を再構成した画像５１１Ａが表示される。細胞存在領域表示画面１１２０Ａには、細胞が存在する領域（面積Ａ）が表示される。
また、細胞動き領域表示画面１１２０Ｂには、細胞存在領域表示画面１１２０Ａに表示された面積Ａに対応する画像５１１Ａに加え、面積Ａ内で細胞が動いている領域５１１Ｂが表示される。
また、解析結果表示画面１１３０には、心筋細胞の像５１０Ａの移動履歴に関するグラフが表示されている。当該移動履歴は、心筋細胞の像５１０Ａについての並進成分の動き補償パラメータから取得することができる。これにより、心筋細胞の並進方向の動きについて定量的に評価することができる。
また、解析結果表示画面１１３１には、心筋細胞の像５１０Ａの拍動に基づく動きの大きさおよび各像の面積の時系列の変化を示すグラフが表示されている。
また、解析結果表示画面１１３２および１１３３には、心筋細胞の像５１０Ａの形状の変化および拡縮率についての画像が表示されている。これにより、心筋細胞の収縮および拡張の動きについて定量的に評価することができる。
（適用例２：複数の精子の運動に関する解析処理）
次に、第２の適用例について説明する。図２１は、第２の実施形態に係る処理結果の表示例を示す図である。図２１を参照すると、表示制御部３１６により表示部に表示される画面１２００は、オリジナル動画像表示画面１２１０、再構成画像表示画面１２２０Ａ〜１２２０Ｄ、および解析結果表示画面１２３０〜１２３３を含む。
オリジナル動画像表示画面１２１０には、複数の精子のホログラム像が表示されている。このうち、精子の像５２０Ａ〜５２０Ｄが、ユーザの操作等により処理部２６０の処理の対象として選択されているとする。この場合、精子の像５２０Ａ〜５２０Ｄが選択されていることを示す枠１２１１Ａ〜１２１１Ｄが、精子の像５２０Ａ〜５２０Ｄの各々の周囲に表示されてもよい。
このとき、演算部３００は、選択された精子の像５２０Ａ〜５２０Ｄの各々について、処理を行う。再構成画像表示画面１２２０Ａ〜１２２０Ｄには、ホログラムを再構成して得られた精子の像５２１Ａ〜５２１Ｄを含む動画像がそれぞれ表示される。なお、図２１に示すように、表示制御部３１６は、精子の像５２１Ａ〜５２１Ｄが同一の向きとなるように、各々の再構成画像の向き等を制御してもよい。例えば、表示制御部３１６は、精子の像５２０Ａ〜５２０Ｄの並進成分の動きの大きさから精子の像５２０Ａ〜５２０Ｄの移動方向を推定し、推定された移動方向が動き補償画像表示画面１２２０Ａ〜１２２０Ｄ内において規定の向きとなるように各動き補償画像の表示を制御してもよい。これにより、精子の像５２１Ａ〜５２１Ｄの大きさまたは形状等の形態について比較することができる。
また、解析結果表示画面１２３０および解析結果表示画面１２３１には、精子の像５２０Ａ〜５２０Ｄの移動履歴および回転履歴に関するグラフがそれぞれ表示されている。当該移動履歴は、精子の像５２０Ａ〜５２０Ｄについての並進成分の動き補償パラメータから取得することができる。また、当該回転履歴は、精子の像５２０Ａ〜５２０Ｄについての回転成分の動き補償パラメータから取得することができる。これにより、精子の並進方向および回転方向の動きについて定量的に評価することができる。
また、解析結果表示画面１２３２には、精子の像５２０Ａ〜５２０Ｄの移動量を示す棒グラフが表示されている。当該移動量は、精子の像５２０Ａ〜５２０Ｄについての並進成分の動き補償パラメータから算出することができる。各精子の移動量を棒グラフで表示することにより、精子の運動状態を定量的に解析することが可能となる。
また、解析結果表示画面１２３３には、精子の像５２１Ａ〜５２１Ｄの形態の評価値を示す棒グラフが表示されている。当該形態の評価値とは、例えば、精子の像５２１Ａ〜５２１Ｄの大きさや形状の特徴から算出される評価値であってもよい。各精子の形態の評価値を棒グラフで表示することにより、精子の形態の良否を定量的に評価することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１） 観察対象物のホログラムから前記観察対象物の動きを検出する動き検出部と、
前記観察対象物の動きの検出結果に基づいて、前記ホログラムの一部を抽出するホログラム処理部と、
抽出した前記ホログラムの一部から画像を再構成する再構成部と、
を備える、画像処理装置。
（２） 前記ホログラムは異なる時間に取得された複数のフレームから構成され、
前記ホログラム処理部は、前記検出結果に基づいて、前記複数のフレームから一部を抽出する、前記（１）に記載の画像処理装置。
（３） 前記ホログラム処理部は、前記複数のフレームから、前記観察対象物の変位量が異なる２つのフレームを抽出する、前記（２）に記載の画像処理装置。
（４） 前記ホログラム処理部は、前記変位量が最大のフレームと最少のフレームを抽出する、前記（３）に記載の画像処理装置。
（５） 前記変位量が最大のフレーム内の第１の画像ブロックと、前記第１の画像ブロックと位置が対応する第２の画像ブロックであって、前記変位量が最少のフレーム内の前記第２の画像ブロックとが一致するか否かを判定するブロックマッチング部と、
前記判定の結果、前記第１の画像ブロックと前記第２の画像ブロックとが一致していない場合、前記第１及び前記第２の画像ブロックに対応する領域を前記観察対象物の動き領域として特定する動き領域特定部と、
前記観察対象物が存在する領域に対する、前記動き領域の比率を算出する比率算出部と、
を備える、前記（４）に記載の画像処理装置。
（６） 前記第１又は前記第２の画像ブロック内の輝度差に基づいて前記観察対象物が存在する前記領域を特定する存在領域特定部を備える、前記（５）に記載の画像処理装置。
（７） ユーザによる操作情報に基づいて前記観察対象物が存在する前記領域を特定する存在領域抽出部を備える、前記（５）に記載の画像処理装置。
（８） 前記ホログラム処理部は、前記検出結果に基づいて、前記ホログラムの平面領域の一部を抽出する、前記（１）に記載の画像処理装置。
（９） 前記ホログラムから、所定の形状に合致する前記観察対象物をカウントするカウント部を備え、
前記ホログラム処理部は、前記ホログラムの平面領域から、前記所定の形状に合致する前記観察対象物であって、動きが生じていない前記観察対象物のホログラムを抽出し、
前記再構成部は、動きが生じていない前記観察対象物のホログラムから画像を再構成し、
前記カウント部は、再構成により得られた画像から得られる不要物の数をカウント数から除外する、前記（８）に記載の画像処理装置。
（１０） 前記ホログラム処理部は、前記ホログラムの平面領域から、前記観察対象物に動きが生じている領域を抽出する、前記（８）に記載の画像処理装置。
（１１） 前記観察対象物は生体に由来する物である、前記（１）〜（１０）のいずれかに記載の画像処理装置。
（１２） 観察対象物のホログラムから前記観察対象物の動きを検出することと、
前記観察対象物の動きの検出結果に基づいて、前記ホログラムの一部を抽出することと、
抽出した前記ホログラムの一部から画像を再構成することと、
を備える、画像処理方法。
（１３） 観察対象物に部分コヒーレンス光を出射する光源と、
前記部分コヒーレンス光が前記観察対象物で分離されて得られる透過光及び回折光の干渉によるホログラムを検出する画像センサーと、
前記ホログラムから前記観察対象物の動きを検出する動き検出部と、
前記観察対象物の動きの検出結果に基づいて、前記ホログラムの一部を抽出するホログラム処理部と、
抽出した前記ホログラムの一部から画像を再構成する再構成部と、
を備える、画像処理システム。
３００ 演算部
３０２ ホログラム処理部
３０２ｂ 動き検出部
３０２ｃ ホログラム抽出部
３０８ 再構成部
３１２ 動き領域特定部
３１２ａ ブロックマッチング部
３１２ｂ 比率算出部
３１４ 存在領域特定部

Claims (13)

  1. 観察対象物のホログラムから前記観察対象物の動きを検出する動き検出部と、
    前記観察対象物の動きの検出結果に基づいて、前記ホログラムの一部を抽出するホログラム処理部と、
    抽出した前記ホログラムの一部から画像を再構成する再構成部と、
    を備える、画像処理装置。
  2. 前記ホログラムは異なる時間に取得された複数のフレームから構成され、
    前記ホログラム処理部は、前記検出結果に基づいて、前記複数のフレームから一部を抽出する、請求項１に記載の画像処理装置。
  3. 前記ホログラム処理部は、前記複数のフレームから、前記観察対象物の変位量が異なる２つのフレームを抽出する、請求項２に記載の画像処理装置。
  4. 前記ホログラム処理部は、前記変位量が最大のフレームと最少のフレームを抽出する、請求項３に記載の画像処理装置。
  5. 前記変位量が最大のフレーム内の第１の画像ブロックと、前記第１の画像ブロックと位置が対応する第２の画像ブロックであって、前記変位量が最少のフレーム内の前記第２の画像ブロックとが一致するか否かを判定するブロックマッチング部と、
    前記判定の結果、前記第１の画像ブロックと前記第２の画像ブロックとが一致していない場合、前記第１及び前記第２の画像ブロックに対応する領域を前記観察対象物の動き領域として特定する動き領域特定部と、
    前記観察対象物が存在する領域に対する、前記動き領域の比率を算出する比率算出部と、
    を備える、請求項４に記載の画像処理装置。
  6. 前記第１又は前記第２の画像ブロック内の輝度差に基づいて前記観察対象物が存在する前記領域を特定する存在領域特定部を備える、請求項５に記載の画像処理装置。
  7. ユーザによる操作情報に基づいて前記観察対象物が存在する前記領域を特定する存在領域特定部を備える、請求項５に記載の画像処理装置。
  8. 前記ホログラム処理部は、前記検出結果に基づいて、前記ホログラムの平面領域の一部を抽出する、請求項１に記載の画像処理装置。
  9. 前記ホログラムから、所定の形状に合致する前記観察対象物をカウントするカウント部を備え、
    前記ホログラム処理部は、前記ホログラムの平面領域から、前記所定の形状に合致する前記観察対象物であって、動きが生じていない前記観察対象物のホログラムを抽出し、
    前記再構成部は、動きが生じていない前記観察対象物のホログラムから画像を再構成し、
    前記カウント部は、再構成により得られた画像から得られる不要物の数をカウント数から除外する、請求項８に記載の画像処理装置。
  10. 前記ホログラム処理部は、前記ホログラムの平面領域から、前記観察対象物に動きが生じている領域を抽出する、請求項８に記載の画像処理装置。
  11. 前記観察対象物は生体に由来する物である、請求項１に記載の画像処理装置。
  12. 観察対象物のホログラムから前記観察対象物の動きを検出することと、
    前記観察対象物の動きの検出結果に基づいて、前記ホログラムの一部を抽出することと、
    抽出した前記ホログラムの一部から画像を再構成することと、
    を備える、画像処理方法。
  13. 観察対象物に部分コヒーレンス光を出射する光源と、
    前記部分コヒーレンス光が前記観察対象物で分離されて得られる透過光及び回折光の干渉によるホログラムを検出する画像センサーと、
    前記ホログラムから前記観察対象物の動きを検出する動き検出部と、
    前記観察対象物の動きの検出結果に基づいて、前記ホログラムの一部を抽出するホログラム処理部と、
    抽出した前記ホログラムの一部から画像を再構成する再構成部と、
    を備える、画像処理システム。
JP2016026758A 2016-02-16 2016-02-16 画像処理装置、画像処理方法及び画像処理システム Pending JP2017146696A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016026758A JP2017146696A (ja) 2016-02-16 2016-02-16 画像処理装置、画像処理方法及び画像処理システム
US16/073,500 US10852695B2 (en) 2016-02-16 2017-02-03 Image processing apparatus, method of image processing, and image processing system
PCT/JP2017/004088 WO2017141741A1 (en) 2016-02-16 2017-02-03 Image processing apparatus, method of image processing, and image processing system
DE112017000840.9T DE112017000840T5 (de) 2016-02-16 2017-02-03 Bildverarbeitungsvorrichtung, verfahren zur bildverarbeitung und bildverarbeitungssystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016026758A JP2017146696A (ja) 2016-02-16 2016-02-16 画像処理装置、画像処理方法及び画像処理システム

Publications (2)

Publication Number Publication Date
JP2017146696A true JP2017146696A (ja) 2017-08-24
JP2017146696A5 JP2017146696A5 (ja) 2019-03-22

Family

ID=58185582

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016026758A Pending JP2017146696A (ja) 2016-02-16 2016-02-16 画像処理装置、画像処理方法及び画像処理システム

Country Status (4)

Country Link
US (1) US10852695B2 (ja)
JP (1) JP2017146696A (ja)
DE (1) DE112017000840T5 (ja)
WO (1) WO2017141741A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020059642A1 (ja) * 2018-09-19 2020-03-26 ソニー株式会社 観察装置、観察方法及び観察システム
WO2021261158A1 (ja) * 2020-06-25 2021-12-30 富士フイルム株式会社 情報処理装置、その作動方法及び作動プログラム
WO2023195490A1 (ja) * 2022-04-06 2023-10-12 富士フイルム株式会社 撮像システム及び細胞濃度調整方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112514831B (zh) * 2020-07-28 2022-06-10 上海市农业科学院 一种活体鳝鱼表型获取的装置与方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120148141A1 (en) * 2010-12-14 2012-06-14 Aydogan Ozcan Compact automated semen analysis platform using lens-free on-chip microscopy
JP2013531787A (ja) * 2010-05-25 2013-08-08 アリックス インコーポレイテッド 粒子の運動度および／または細胞の分散を求めるためのホログラフィック変動顕微鏡装置および方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009041055A1 (ja) * 2007-09-26 2009-04-02 Panasonic Corporation ビーム走査型表示装置、その表示方法、プログラム、及び集積回路
JP5772817B2 (ja) 2010-03-29 2015-09-02 ソニー株式会社 画像処理装置および方法、並びに、プログラム
US9588037B2 (en) * 2012-07-13 2017-03-07 The Regents Of The University Of California High throughput lens-free three-dimensional tracking of sperm
EP3009501A4 (en) 2013-07-19 2017-01-25 Sony Corporation Cell evaluation device, method, and program
EP3126818B1 (en) 2014-04-03 2018-12-05 IMEC vzw Method and device for drug screening
KR20170029320A (ko) * 2015-09-07 2017-03-15 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP6046789B2 (ja) 2015-10-27 2016-12-21 京楽産業．株式会社 遊技機

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013531787A (ja) * 2010-05-25 2013-08-08 アリックス インコーポレイテッド 粒子の運動度および／または細胞の分散を求めるためのホログラフィック変動顕微鏡装置および方法
US20120148141A1 (en) * 2010-12-14 2012-06-14 Aydogan Ozcan Compact automated semen analysis platform using lens-free on-chip microscopy

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020059642A1 (ja) * 2018-09-19 2020-03-26 ソニー株式会社 観察装置、観察方法及び観察システム
WO2021261158A1 (ja) * 2020-06-25 2021-12-30 富士フイルム株式会社 情報処理装置、その作動方法及び作動プログラム
JP7397196B2 (ja) 2020-06-25 2023-12-12 富士フイルム株式会社 情報処理装置、その作動方法及び作動プログラム
WO2023195490A1 (ja) * 2022-04-06 2023-10-12 富士フイルム株式会社 撮像システム及び細胞濃度調整方法

Also Published As

Publication number Publication date
DE112017000840T5 (de) 2018-11-22
WO2017141741A1 (en) 2017-08-24
US20190049897A1 (en) 2019-02-14
US10852695B2 (en) 2020-12-01

Similar Documents

Publication Publication Date Title
Anand et al. Automated disease identification with 3-D optical imaging: a medical diagnostic tool
US11543641B2 (en) Method and system for full-field interference microscopy imaging
Liebling et al. Four-dimensional cardiac imaging in living embryos<? xpp qa?> via postacquisition synchronization of nongated<? xpp qa?> slice sequences
CN108377658B (zh) 数字全息术中的自动聚焦系统和方法
JP2017146696A (ja) 画像処理装置、画像処理方法及び画像処理システム
CN109154563B (zh) 用于获取样本中所存在的粒子的装置和方法
JPWO2017168984A1 (ja) 撮像装置、撮像方法
Smith et al. CoLux: Multi-object 3d micro-motion analysis using speckle imaging
JP2018532121A (ja) 波長可変レーザを用いた大面積ｏｃｔシステムと３次元イメージ補正方法
Ye et al. In-vivo full-field measurement of microcirculatory blood flow velocity based on intelligent object identification
JP2022508237A (ja) 生物医学的パラメータを遠隔監視するためのシステムおよび方法
US20110242543A1 (en) Interferometric systems having reflective chambers and related methods
Xue et al. Quantitative interferometric microscopy cytometer based on regularized optical flow algorithm
WO2013185936A1 (en) Apparatus and method for estimating a property of a surface using speckle imaging
CN103383353B (zh) 一种基于光学涡旋的动态散斑测试方法
Romero et al. Digital holographic microscopy for detection of Trypanosoma cruzi parasites in fresh blood mounts
JP7174604B2 (ja) 光画像計測装置、光画像計測方法
US20230070373A1 (en) Method for evaluating measurement data from a light field microscope, and apparatus for light field microscopy
CN106955092B (zh) 一种脉搏分布的测量方法和设备
US20230351648A1 (en) A tomography system and a method for analysis of biological cells
Pawłowski et al. Shape and motion measurement of time-varying three-dimensional objects based on spatiotemporal fringe-pattern analysis
Vaz et al. Use of laser speckle and entropy computation to segment images of diffuse objects with longitudinal motion
Ali et al. Blood cell characterization based on deep learning and diffraction phase microscopy
Xiao et al. Performance characterization of a high-speed stereo vision sensor for acquisition of time-varying 3D shapes
RU2569730C1 (ru) Способ определения функционального состояния клетки

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190204

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200331

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201006