JP2022090930A - オブジェクト分類装置、オブジェクト分類システム及びオブジェクト分類方法 - Google Patents

オブジェクト分類装置、オブジェクト分類システム及びオブジェクト分類方法 Download PDF

Info

Publication number
JP2022090930A
JP2022090930A JP2020203538A JP2020203538A JP2022090930A JP 2022090930 A JP2022090930 A JP 2022090930A JP 2020203538 A JP2020203538 A JP 2020203538A JP 2020203538 A JP2020203538 A JP 2020203538A JP 2022090930 A JP2022090930 A JP 2022090930A
Authority
JP
Japan
Prior art keywords
feature amount
classification
image
object classification
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020203538A
Other languages
English (en)
Other versions
JP7412321B2 (ja
Inventor
容弓 柿下
Yasuki Kakishita
英春 服部
Hideharu Hattori
卓 坂詰
Taku Sakazume
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Corp
Original Assignee
Hitachi High Tech Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Tech Corp filed Critical Hitachi High Tech Corp
Priority to JP2020203538A priority Critical patent/JP7412321B2/ja
Priority to EP21903111.9A priority patent/EP4261774A1/en
Priority to US18/037,278 priority patent/US20240005682A1/en
Priority to CN202180080950.8A priority patent/CN116547708A/zh
Priority to PCT/JP2021/041775 priority patent/WO2022124007A1/ja
Publication of JP2022090930A publication Critical patent/JP2022090930A/ja
Application granted granted Critical
Publication of JP7412321B2 publication Critical patent/JP7412321B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】オブジェクト分類装置において、精度良く画像内のオブジェクトを分類する。【解決手段】オブジェクトの種類又は状態を決定する代表的な特徴量である代表特徴量を抽出し、代表特徴量に基づいてオブジェクトの種類又は状態を判別してオブジェクトを分類し、画像にオブジェクトの分類結果と代表特徴量を紐づけて出力する。【選択図】図２

Description

本発明は、オブジェクト分類装置、オブジェクト分類システム及びオブジェクト分類方法に関する。
細胞や材料の観察を行う場合、一般的に光学顕微鏡や電子顕微鏡等が用いられる。しかし、肉眼による顕微鏡画像の観察は、非常に時間がかかり、かつ、専門的な知識を必要とする場合が多い。そこで、顕微鏡画像を用いた細胞や材料の評価を支援するために、画像処理を用いて一部の処理を自動化する技術が開発されている。
例えば、特許文献１には、２種類の異なる種類の細胞の形態的特徴の時間的変化を用いて、細胞の状態を判定する手法が開示されている。しかし、細胞や材料の表面は不定形である場合が多く、手動設計した特徴量だけでは精度良く判定できない場合がある。
一方で、近年、深層学習をはじめとする機械学習を用いることで、従来よりも顕微鏡画像解析の精度を向上した例が報告されている。深層学習の場合、特徴量を機械が自動的に学習するため、手動では設計が難しい特徴量を獲得可能な場合がある。
特開２０１１－２２９４０９号公報
深層学習を用いてオブジェクトの分類器を作成することで、特徴量を手動設計するよりも、分類精度向上に有効な特徴量を自動学習できる可能性がある。
しかし、一般的な深層学習を用いた分類器の場合、ユーザーが得られる出力は分類結果のみである。例えば人間の目で顕微鏡画像を観察した際に、オブジェクト内の特定の部位に分類に有効と思われる特徴があったとしても、その部位から正しく特徴量を学習および抽出しているかは確証がない。このため、精度良く画像内のオブジェクトを分類することは困難である。
本発明の目的は、オブジェクト分類装置において、精度良く画像内のオブジェクトを分類することにある。
本発明の一態様のオブジェクト分類装置は、画像内のオブジェクトを分類して前記オブジェクトの種類又は状態を判別するオブジェクト分類装置であって、前記画像内の前記オブジェクトのオブジェクト領域を算出するオブジェクト領域算出部と、前記オブジェクト領域を用いて、前記オブジェクトの特徴量を選択して特徴量選択信号を出力する特徴量選択部と、前記特徴量選択信号に基づいて、前記画像の中から複数の前記特徴量を抽出する特徴量抽出部と、複数の前記特徴量を分類して、前記オブジェクトの前記種類又は前記状態を決定する代表的な特徴量である代表特徴量を抽出する特徴分類部と、前記代表特徴量に基づいて、前記オブジェクトの前記種類又は前記状態を判別して前記オブジェクトを分類し、前記オブジェクトの分類結果を出力するオブジェクト分類部と、前記画像に前記オブジェクトの前記分類結果と前記代表特徴量を紐づけて出力する出力部と、を有することを特徴とする。
本発明の一態様によれば、オブジェクト分類装置において、精度良く画像内のオブジェクトを分類することができる。
実施例１に係るオブジェクト分類システムのハードウェア構成の一例を示す図である。 実施例１に係るオブジェクト分類装置の機能ブロック図の一例を示す図である。 ＥＳ細胞を撮像した顕微鏡画像の一例を示す図である。 領域分割適用結果の一例を示す図である。 距離画像推定による接触オブジェクトの分離の一例を示す図である。 細胞核の特徴量抽出の一例を示す図である。 細胞膜領域と細胞質領域の一例を示す図である。 オブジェクトの代表特徴量算出の一例を示す図である。 特徴量とオブジェクトクラスの対応表の一例を示す図である。 実施例１に係るオブジェクト分類結果の表示の一例を示す図である。 実施例２に係るオブジェクト検索システムのハードウェア構成の一例を示す図である。 実施例２に係るＧＵＩの一例を示す図である。 実施例２に係るＧＵＩの一例を示す図である。 実施例３に係るオブジェクト統計情報算出システムのハードウェア構成の一例を示す図である。 実施例３に係るＧＵＩの一例を示す図である。 実施例１に係る処理フロー図の一例を示す図である。 素材の表面を撮像した顕微鏡画像の一例を示す図である。 特徴量とオブジェクトクラスの対応表の一例を示す図である。 実施例１に係るオブジェクト分類結果の表示の一例を示す図である。 実施例３に係る統計情報表示結果の一例を示す図である。
以下、添付図面に従って本発明に係るオブジェクト分類装置、方法、およびシステムの実施例について説明する。なお、以下の説明及び添付図面において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
図１を用いて実施例１に係る画像内のオブジェクト分類システムの一例について説明する。
オブジェクト分類システム１００は、オブジェクト分類装置１０１と、インターフェース部１１０と、演算部１１１と、メモリ１１２と、バス１１３とを備え、インターフェース部１１０、演算部１１１、メモリ１１２はバス１１３を介して情報の送受信を行う。また、オブジェクト分類装置１０１はインターフェース部１１０を介して撮像装置１２０、表示装置１２１に接続する。
オブジェクト分類装置１０１の各部について説明する。
インターフェース部１１０は、オブジェクト分類装置１０１の外部にある装置と信号の送受信を行う通信装置である。インターフェース部１１０と通信を行う装置としては撮像装置１２０、表示装置１２１がある。撮像装置１２０および表示装置１２１の詳細は後述する。
演算部１１１は、オブジェクト分類装置１０１内での各種の処理を実行する装置であり、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等である。演算部１１１によって実行される機能については、図２を用いて後述する。
メモリ１１２は、演算部１１１が実行するプログラムや、パラメタ、係数、処理結果等を保存する装置であり、ＨＤＤ、ＳＳＤ、ＲＡＭ、ＲＯＭ、フラッシュメモリ等である。
撮像装置１２０はオブジェクトの画像を撮像する装置であり、例えばカメラや顕微鏡等である。撮像装置１２０は撮像した画像をオブジェクト分類装置１０１に送信する。
表示装置１２１はオブジェクト分類装置１０１が出力するオブジェクト分類情報を表示するための装置であり、例えばディスプレイやプリンタ等である。
以降、オブジェクト分類装置１０１について詳しく説明する。
図２はオブジェクト分類装置１０１の実施例１に係る機能ブロック図の一例である。なおこれらの機能は、専用のハードウェアで構成されても良いし、演算部１１１上で動作するソフトウェアで構成されても良い。
オブジェクト分類装置１０１は、画像入力部２０１と、オブジェクト領域算出部２０２と、特徴量選択部２０３と、特徴量抽出部２０４と、特徴量分類部２０５と、オブジェクト分類部２０６と、出力部２０７と、を備える。以下、各部について説明する。
画像入力部２０１はインターフェース部１１０より入力されたオブジェクトを撮像した画像を受付ける。入力画像はメモリ１１２を介してオブジェクト領域算出部２０２、特徴量抽出部２０４、出力部２０７に入力する。
オブジェクト領域算出部２０２について説明する。
オブジェクト領域算出部２０２は、画像入力部２０１が受付けた入力画像を用いて分類対象となるオブジェクト領域を抽出する。オブジェクト領域の抽出方法の一例として、領域分割器を用いた場合を説明する。領域分割とは画像処理手法の一つであり、ピクセル単位で画像を意味的な集合に分割する手法である。例えば分類対象のオブジェクトが存在するピクセルを前景、それ以外のピクセルを背景として二値分類し、前景として分類された領域の結合領域を検出することでオブジェクト毎に領域を検出する。
図３にＥＳ細胞の顕微鏡画像の例を示す。
シャーレ３０１の上にＥＳ細胞群が存在しているとする。撮像装置１２０がシャーレの上方から細胞群を撮影した画像が顕微鏡画像３０２である。顕微鏡画像３０２には、細胞３０３、細胞３０４が写っている。ＥＳ細胞は様々な組織に分化できる分化多能性を有する。しかし、一度分化してしまうと分化多能性は損なわれてしまうため、ＥＳ細胞が分化済みか否かを確認する必要がある。そして、ＥＳ細胞は分化した場合、細胞質が多くなり、細胞膜が厚くなる傾向があるため、これらの特徴を用いてＥＳ細胞の分化を判定する方法を説明する。
顕微鏡画像３０２に領域分割を適用した結果の一例を図４に示す。
領域分割結果４０１では細胞の領域が前景領域（オブジェクト領域）として黒で表されており、それ以外が背景領域として白で表されている。顕微鏡画像３０２内の細胞３０３、細胞３０４に対応するオブジェクト領域がそれぞれオブジェクト領域４０２、オブジェクト領域４０３である。
このようにオブジェクト領域算出部２０２は、分類または判定対象オブジェクトの領域情報を算出して出力する。図３の例では細胞の分化判定を行うため、オブジェクト領域情報として細胞の領域情報を算出している。
次に、図１６に素材の品質判定の一例を示す。素材１６０１の表面の状態を観察することで素材１６０１の品質を判定する例について説明する。
図１６の例では素材１６０１の表面のテクスチャが円形かつ大きな要素で構成されている場合、品質が良いと判定する。顕微鏡画像１６０２は素材１６０１を撮像装置１２０で撮像した画像である。顕微鏡画像１６０２には素材１６０１の表面の背景１６０４と、テクスチャを構成する要素１６０３が含まれている。図を簡潔にするため顕微鏡画像１６０２内の全ての要素１６０３に対して記号を付与していないが、顕微鏡画像１６０２内の背景１６０４以外の領域は要素１６０３である。領域分割結果１６０５は顕微鏡画像１６０２の領域分割結果の一例である。図１６の例における対象オブジェクトは要素１６０３であり、要素１６０３の領域が黒、背景１６０４の領域が白で示されている。
上記では前景と背景の二値分類を例示したが、オブジェクト領域算出方法はこれに限らない。例えば上述のＥＳ細胞の例において、顕微鏡画像内で細胞が接触している場合、上記の領域分割手法ではオブジェクト領域同士も接触する可能性がある。接触したオブジェクト領域は以降の機能部において一つの細胞であると判断され、正確な特徴量抽出や分類を阻害する要因になる。
そこで、個々のオブジェクト領域を分離して抽出するために、領域分割時に前景と背景の二値ではなく、各前景ピクセルから背景ピクセルまでの最短距離を輝度値として表した距離画像を推定する等してもよい。距離画像ではオブジェクトの中心付近の輝度は高くなり、背景に近い領域程輝度は低くなる。そこで、推定した距離画像に対して閾値処理を適用することで接触オブジェクトの分離精度が向上する。
図５に距離画像推定による接触オブジェクトの分離の一例を示す。
顕微鏡画像５０１内に互いに接触した細胞５０２と細胞５０３が写っている。上述の通り、従来の二値領域分割を行った場合、細胞５０２と細胞５０３のオブジェクト領域は結合してしまう可能性が高い。距離画像５０４は顕微鏡画像５０１に距離画像推定を適用した結果の一例である。細胞の中心に近づく程、輝度が高くなっていることが分かる。
閾値処理後画像５０５は距離画像５０４に対して閾値処理を行い、閾値未満の輝度値の領域を白、閾値以上の輝度値の領域を黒に置き換えた結果である。細胞５０２と細胞５０３のオブジェクト領域が分離されていることが分かる。ただし、閾値処理後画像５０２では細胞５０２と細胞５０３のオブジェクト領域が実際の細胞よりも若干小さく推定されている。そこで、Ｗａｔｅｒ ｓｈｅｄ法やＧｒａｐｈ ｃｕｔ法等の処理を用いてオブジェクト領域を補間しても良い。
補間後画像５０６は閾値処理後画像５０５と、距離画像５０４を用いてＷａｔｅｒ ｓｈｅｄ法による補間処理を行った結果である。補間後画像５０６に示す通り、オブジェクト領域を分離しつつ、オブジェクト領域の全形を得ることが可能である。
上記によりオブジェクト領域算出部２０２は、画像入力部２０１が受付けた入力画像から分類対象となるオブジェクト領域を抽出する。
次に特徴量選択部２０３について説明する。
特徴量選択部２０３はオブジェクト領域算出部２０２の出力するオブジェクト領域情報と、画像入力部が受付けた入力画像に基づいて、特徴量選択信号を生成し、特徴量抽出部２０４に出力する。特徴量選択信号は、抽出する特徴量の種類とサイズ、および特徴量を抽出する領域情報を含む。
前述のＥＳ細胞の分化判定の例を用いて説明する。オブジェクト領域算出部２０２の説明の中でも触れた通り、ＥＳ細胞の分化判定においては細胞質の量と細胞膜の厚みが重要な特徴量となる。細胞質の量を判定する一つの方法として、細胞領域に対する細胞核の大きさを評価する方法を説明する。図６に細胞核の大きさを特徴として抽出する例を示す。顕微鏡画像６０１および顕微鏡画像６０２は同一の対象を撮像したものである。
ただし、顕微鏡画像６０２は顕微鏡画像６０１よりも撮像時の倍率が高いとする。撮像対象は細胞６０３および細胞６０４であり、細胞６０３は細胞質の量が少なく、細胞６０４は細胞質の量が多い。フィルタ６１０、フィルタ６１１、フィルタ６１２、フィルタ６１３、フィルタ６１４、フィルタ６１５、フィルタ６１６は細胞核の特徴量を抽出するためのフィルタである。各フィルタの中央にある黒丸が細胞核を表しており、フィルタ６１０が最も小さな細胞核であり、フィルタ６１６になるにつれて細胞核の大きさが大きくなる。
顕微鏡画像内の細胞に対して、細胞核の大きさが最も近いフィルタを適用した場合、最も高いスコアが得られるとする。図６の例では顕微鏡画像６０１内の細胞６０３と細胞６０４の細胞核に最も適合するフィルタはフィルタ６１３、顕微鏡画像６０２内の細胞６０３と細胞６０４の細胞核に最も適合するフィルタはフィルタ６１６である。
ここで、例えば顕微鏡画像６０１内の細胞６０４と顕微鏡画像６０２内の細胞６０３は、細胞全体の大きさはほぼ同じである。しかし細胞に対して細胞核が占める割合は顕微鏡画像６０２内の細胞６０３の方が多く、従って細胞６０３は細胞質が少なく、細胞６０４は細胞質が多いと言える。
これを自動的に判定するためには、細胞全体の大きさに応じて、細胞核の特徴量抽出フィルタを選択する必要がある。例えば顕微鏡画像６０１の細胞６０４の場合には、フィルタ６１３からフィルタ６１６までを選択して、フィルタ６１３を細胞核が小さい（すなわち細胞質が多い）として、フィルタ６１６に向かうにつれて細胞核が大きい（すなわち細胞質が少ない）と判定するように、特徴量選択部２０３がフィルタを自動的に選択する。
同様に、例えば細胞領域の大きさが顕微鏡画像６０１内の細胞６０３程度であれば、フィルタ６１０からフィルタ６１３までを選択して、フィルタ６１０を細胞核が小さい（すなわち細胞質が多い）として、フィルタ６１３に向かうにつれて細胞核が大きい（すなわち細胞質が少ない）と判定するように、特徴量選択部２０３がフィルタを自動的に選択する。
フィルタの自動選択方法としては、例えば予め細胞領域の面積に対して複数の閾値を設定しておく方法がある。図６に示す例の場合、予め第一から第四の閾値を設定しておく。ただし第一の閾値が最も低く、第四の閾値に向かうにつれて値が大きくなるとする。
まず、オブジェクト領域算出部２０２が出力した細胞領域から、各細胞の面積を算出する。細胞の面積が第一の閾値未満である場合は、フィルタ６１０からフィルタ６１３を選択し、細胞の面積が第一の閾値以上かつ第二の閾値未満である場合は、フィルタ６１１からフィルタ６１４を選択し、細胞の面積が第二の閾値以上かつ第三の閾値未満である場合は、フィルタ６１２からフィルタ６１５を選択し、細胞の面積が第三の閾値以上である場合は、フィルタ６１３からフィルタ６１６を選択することで、自動的にフィルタを選択する。
尚、前述の方法に限らず、オブジェクト領域算出部２０２が出力するオブジェクト領域から得られる情報に基づいて、複数の特徴の内、一部を選択する手法であれば良い。
このようにオブジェクト領域の大きさに基づいて特徴量選択部２０３は特徴量のサイズを自動的に選択する。特徴量のサイズ情報は特徴量選択信号の一部として出力する。
また、特徴量選択部２０３はどの特徴量をどの領域から抽出するかを選択する。例えばフィルタを用いて細胞膜の厚みに関する特徴量を抽出する際、細胞内の細胞膜以外の領域にフィルタを適用すると、細胞膜の特徴量を正しく得られない可能性がある。
そこで、特徴量選択部２０３はオブジェクト領域算出部２０２が算出したオブジェクト領域情報に基づいて、細胞膜周辺領域を抽出し、細胞膜周辺領域のみに細胞膜の特徴量を抽出するフィルタを適用するように特徴量選択信号を出力する。
細胞膜周辺領域の抽出方法の一例として、エッジ抽出手法を利用する方法を説明する。図７にオブジェクト領域から細胞膜領域と細胞質領域を抽出した結果の一例を示す。
細胞膜領域７０２は図４の領域分割結果４０１に対してエッジを抽出することで細胞膜の領域を算出した結果である。また、細胞質領域７０３はオブジェクト領域全体から細胞膜領域７０２を減算することで求めた細胞質の領域である。関心領域７０４と関心領域７０５は細胞質の特徴量を抽出する領域の一例である。エッジの抽出方法の一例としてはソベルフィルタやラプラシアンフィルタなどがある。特徴量選択部２０３は細胞膜に関する特徴量を抽出する領域として細胞膜領域７０２を特徴量選択信号として出力する。
また、特徴量選択部２０３はオブジェクト領域の局所的な情報に基づいて、フィルタの大きさや種類を位置に応じて選択しても良い。例えば細胞質領域７０３に対してフィルタを用いて細胞質の特徴量を抽出する際、正確に細胞質の特徴量を抽出するためには、フィルタ内に細胞膜の領域が含まれないことが望ましい。そこで細胞膜から遠い場所では関心領域７０４のようにサイズの大きなフィルタを選択し、細胞膜に近い場所では関心領域７０５のようにサイズの小さなフィルタを選択する等してもよい。
次に、前述の素材の品質判定の例における特徴量選択部２０３の動作の一例について説明する。
素材の品質判定においては、テクスチャを構成する各要素の形状と大きさを特徴量として選択する。形状と大きさの特徴量抽出方法は後述する。また、特徴量抽出領域としては図１６に示した領域分割結果１６０５を出力する。
上記のように、特徴量選択部２０３は抽出する特徴量の種類とサイズ、および特徴量を抽出する領域情報を含んだ特徴量選択信号を出力する。これらの特徴量選択信号は抽出する特徴量のカテゴリの数だけ出力される。例えば、上述のＥＳ細胞の分化判定の例では、特徴量カテゴリは細胞膜と細胞質である。
よって、細胞膜および細胞質に関する特徴量選択信号を出力する。素材の品質判定の例であれば、特徴量カテゴリは素材表面のテクスチャを構成する各要素の円形度と大きさである。よって、円形度および大きさに関する特徴量選択信号を出力する。
上記特徴量抽出領域の算出方法について、画像補正または変換処理を組合せても良い。例えば上記細胞膜領域の例では、エッジ領域を拡張するために膨張や平滑化を用いたり、二値化するために閾値処理等を組合せたりしてもよい。また、前述の距離画像を用いて、境界部分やオブジェクトの中心部分、あるいはその中間等を指定しても良い。
また、オブジェクト領域における入力画像の輝度値やＲＧＢ値に基づいて特徴量抽出領域を選択しても良い。例えば組織や細胞が染色されている場合、部位（細胞核や細胞膜等）または性質（抗原有無等）に応じて特定の色に発色する。そこでＲＧＢ値や色相に対して一定の範囲を設定することで特徴量抽出領域を抽出する等しても良い。
特徴量抽出部２０４について説明する。
特徴量抽出部２０４は特徴量選択部２０３が出力する特徴量選択信号に基づいて、選択された特徴量を用いて、入力画像やオブジェクト領域情報内の選択された領域から、オブジェクト分類のための特徴量を抽出する。
例えば前述のＥＳ細胞の分化判定の例では、特徴量抽出部２０４は、特徴量選択部２０３が選択した細胞質を評価するための特徴量フィルタ（例えばフィルタ６１３、フィルタ６１４、フィルタ６１５、フィルタ６１６）を用いて、特徴量選択部２０３が指定した領域から特徴量を抽出する。尚、細胞質の特徴量抽出領域としてはオブジェクト領域算出部２０２が算出したオブジェクト領域を使用する。特徴量抽出フィルタは例えばＤｅｅｐ Ｌｅａｒｎｉｎｇ等の機械学習を用いることで作成してもよいし、手動で設計してもよい。
また、特徴量抽出部２０４は、特徴量選択部２０３の選択に基づいて、オブジェクト領域算出部２０２が出力するオブジェクト領域情報から特徴量を抽出しても良い。例えば前述の素材の品質判定の例では円形度や大きさをオブジェクト領域情報から抽出する。円形度の算出方法としては、
例えば（数１）に示す円形度の指標等がある。
Figure 2022090930000002
Ｌはオブジェクト領域の円周、Ｓは面積を表す。指標Ｉｃはオブジェクト領域が円に近い程１に近付く。また、詳細は後述するが円形度以外にも（数２）に示す矩形度の指標等を円形度の指標と併用してオブジェクトの形状を判定しても良い。
Figure 2022090930000003
ＷとＨはオブジェクト領域全体を含む最小の矩形における幅と高さ、Ｓは（数１）と同様にオブジェクト領域の面積である。また、大きさはオブジェクト領域の面積を用いる。他にもオブジェクト領域の長さ、幅、縦横比等をオブジェクト領域情報から特徴量として抽出してもよい。
特徴量分類部２０５について説明する。
特徴量分類部２０５はオブジェクト領域算出部２０２が算出するオブジェクト領域情報と、特徴量選択部２０３が算出する特徴量選択信号と、特徴量抽出部２０４が出力する特徴量抽出結果とに基づいて、各オブジェクトの代表特徴量を算出する。
一例として図８を用いて前述のＥＳ細胞の状態判定の例を説明する。顕微鏡画像８０１はＥＳ細胞８０４を撮像した顕微鏡画像である。ＥＳ細胞８０４の膜の内、大部分は厚い膜８０５で構成されているが、一部薄い膜８０６で構成されているとする。特徴量抽出領域８０２は特徴量選択部２０３が出力した特徴量抽出領域、特徴量抽出結果８０３は特徴量の抽出結果を視覚化した図であり、特徴８０７は厚い膜８０５が特徴量抽出部２０４により検出されたことを示しており、特徴８０８は薄い膜８０６が検出されたことを示している。
図８のように、実際の顕微鏡画像においては、一つのオブジェクトの中で常に一様な特徴量が検出されるとは限らず、部分的に異なる特徴量が得られる場合がある。しかし、後述するオブジェクト分類のためにこの細胞の膜に対する総合的な特徴量を得る必要がある。この総合的な特徴量を代表特徴量と呼ぶ。
代表特徴量の決定方法は、例えば特徴量抽出領域８０２の中で、各特徴量がどの程度の割合、あるいはスコアで検出されたかを累積し、最も検出されたピクセル数が多い、あるいはスコアが高い特徴量を代表特徴量として出力する方法がある。例えば図８の例では割合が最も多い特徴８０７（厚い膜）が代表特徴量として選出される。
代表特徴量は特徴量選択部２０３が選択する特徴量カテゴリにつき一つ以上選出される。上記では代表特徴量を一つ選出したが、スコアや割合に対して予め閾値を設定し、閾値を超えたもの全てを代表特徴量としても良い。
また、代表特徴量は特徴量の強度や尤もらしさを表す連続値を付加して出力しても良い。例えば図８の例であれば特徴８０７が特徴量抽出領域に占める割合や、特徴量スコアの総和等である。
また、特徴量抽出領域全体から求められる複数の指標に基づいて、代表特徴量を決定するなどしても良い。例えば、前述した素材の品質判定の例において、特徴量分類部２０５がオブジェクトの形状に関する代表特徴量を抽出する方法の一例について説明する。
素材の品質判定の例において、特徴量抽出部２０４ではオブジェクト領域全体から円形度と矩形度を特徴量として抽出する。特徴量分類部２０５は円形度が矩形度よりも高ければ円、そうでなければ矩形と分類し、代表特徴量として出力する。また、円形度や矩形度の値に応じて、円（円形度高）や円（円形度低）のようにクラス分けしてもよい。また、オブジェクトの大きさに関しては、例えば面積に対する閾値１と閾値２を予め定めておき、オブジェクト領域の大きさが閾値１より小さければ小、閾値１以上かつ閾値２未満であれば中、閾値２以上であれば大のように分類し、代表特徴量として出力する。
オブジェクト分類部２０６について説明する
オブジェクト分類部２０６は特徴量分類部２０５が算出する代表特徴量に基づいてオブジェクトの分類を行う。オブジェクトの分類方法は、例えば一つ以上の前記代表特徴量とオブジェクトクラスの組合せを記録した、オブジェクト分類テーブルをメモリ１１２に予め格納しておき、得られた特徴量と前記オブジェクト分類テーブルとを照合することで、オブジェクトクラスを判定する。
図９は先述のＥＳ細胞の分化判定におけるオブジェクト分類テーブルの一例である。
代表特徴量として膜と細胞質に関する判定結果が特徴量分類部２０５から出力されている。図９の表では膜が薄く、細胞質が少なければ未分化、膜が厚く、細胞質が多ければ分化済と判定されることを示している。この時、例えば膜が薄く、細胞質が多い等の、オブジェクト分類テーブル内のどの代表特徴量の組合せとも合致しないオブジェクトが表れた場合には、未知オブジェクトと判定して出力する。
図１７は先述の素材の品質判定におけるオブジェクト分類テーブルの一例である。
代表特徴量として要素領域のサイズと形状に関する判定結果が特徴量分類部２０５から出力されている。図１７の表では、サイズが大きく、形状が円の場合は品質が高く、サイズが小さく、形状が矩形の場合は品質が低いと判定される。
また少数の特徴量の誤判定を許容するために、例えば一致特徴量数に対して許容範囲を定めても良い。例えば許容範囲を１と設定した場合は、オブジェクト分類テーブル内の代表特徴量の内、１つの代表特徴量が不一致でも、残りが一致していれば該当オブジェクトクラスを結果として出力する。この場合、組合せによっては複数のオブジェクトに一致する場合がある。
例えば図９の例において、膜が薄く、細胞質が多いという代表特徴量の組合せは、未分化および分化済のどちらに対しても１つの代表特徴量が一致しており、１つの代表特徴量が不一致である。
このような場合には、例えば代表特徴量の一致数に差がある場合は一致数に基づいて決定しても良いし、特徴量の重要度に基づいて代表特徴量に重みづけすることで決定しても良いし、あるいは、特徴量の尤もらしさ等を特徴量分類部２０５が出力している場合は、各特徴量の尤もらしさを重み付け加算するなどして、決定しても良い。もしくは許容範囲内のオブジェクトクラスを全て候補としてユーザーに提示してもよい。
以上の様にオブジェクト分類部２０６はオブジェクトクラスの分類結果と、分類に用いた代表特徴量の抽出結果を出力する。また、上述の不一致特徴量に対する許容範囲が設定された場合には、各代表特徴量が判定されたオブジェクトクラスの条件と一致する特徴量であるか否かを表すフラグを付加情報として出力しても良い。
また、ユーザーが出力部２０７を介して表示された分類結果と分類根拠を確認して、新たなオブジェクトクラスを追加したい、あるいは既存のオブジェクトクラスの条件を編集したい場合には、メモリ内部のオブジェクト分類テーブルを編集することが可能である。オブジェクト分類テーブルの書き換えはＰＣ等の外部装置で編集した上でメモリ１１２に上書きしても良いし、特に図１には記載していないが、キーボードなどの入力装置を用いてメモリ１１２内のオブジェクト分類テーブルを直接編集しても良い。
また、オブジェクト分類部２０６は未知オブジェクトを代表特徴量の組合せに応じてグルーピングしてもよい。例えばオブジェクト分類テーブルとの照合を行った結果、オブジェクトが未知オブジェクトに分類された場合には、その代表特徴量の組合せを未知オブジェクトＡとしてオブジェクト分類テーブルに追加する。
これにより、次に同じ特徴量を有する未知オブジェクトが表れた場合は、その未知オブジェクトは未知オブジェクトＡと判定される。一方、既知オブジェクトとも未知オブジェクトＡとも一致しない特徴量を有するオブジェクトが出現した場合には、再びオブジェクト分類テーブルに特徴量の組合せを追加し、未知オブジェクトＢとする。これを繰り返すことで未知オブジェクトをグルーピングできる。
出力部２０７について説明する。出力部２０７は入力画像にオブジェクトの分類結果と分類の根拠となった代表特徴量の情報を付加して表示する。図１０に表示の一例として前述のＥＳ細胞の分化判定の例を示す。顕微鏡画像１００１はＥＳ細胞を顕微鏡により撮像した画像の例であり、細胞１００２は未分化細胞、細胞１００３および細胞１００４は分化済み細胞であるとする。
夫々の細胞にはオブジェクト分類結果と分類結果の根拠となった代表特徴量が吹き出し１００５に表示されている。例えば細胞１００２は膜が薄く、細胞質が少ないと判断されて、未分化に分類されたことが分かる。また、細胞１００４は分化済み細胞であるが、分化済み細胞の条件に合致しなかったため未知に誤分類されている。ユーザーは吹き出し１００５の特徴量を確認することで、分化済み細胞の条件に合致しなかった理由は細胞質が少ないと判断されたためであることが容易に理解できる。
また、ユーザーは細胞１００４の判定結果を鑑みて、細胞質の判定結果に「中」と追加した上で、膜が厚く、細胞質が中の場合は分化済みと判定するように、オブジェクト分類テーブルの内容を編集する。このように未知の特徴の組合せに対しても、比較的容易に分類規則を追加可能である。
従来の機械学習であれば細胞１００４に類する画像を学習データに追加して、再学習を行うことで対応する。しかし、識別器が細胞１００４を何故誤識別したのか、どのような特徴を有する画像を追加すべきかが分からないため、識別器の識別精度向上に時間がかかる場合がある。また、全ての特徴量が再学習されるため、問題の無かった膜に関する特徴量まで変化してしまう可能性がある。本発明の手法によれば、再学習が必要な特徴量が明確であるため、再学習に効果的な学習データの収集が容易であり、かつ、その他の特徴抽出器には影響を及ぼさず再学習が可能である。
前述した素材の品質判定における表示の一例を図１８に示す。顕微鏡画像１８０１は素材の表面を顕微鏡により撮像した画像の例であり、素材表面のテクスチャを構成する要素１８０２は素材の品質が高い場合に現れる要素、要素１８０３は素材の品質が高い場合にも低い場合にも現れる要素、要素１８０４は素材の品質が低い場合に現れる要素であるとする。夫々の要素には品質判定結果と判定結果の根拠となった代表特徴量が吹き出し１８０５に表示されている。
ただし、図１８では各要素に対して品質が高い場合に現れる要素であるか否かを表示しているのみであり、素材全体としての品質評価結果は提示されていない。素材全体としての品質評価については実施例３にて説明する。
また、代表特徴量に基準一致情報が付与されている場合、基準に対する一致、不一致によってテキストの色を変えるなど、一致または不一致が分かるように表示しても良い。これにより条件を満たさなかった特徴量をより容易に判別できる。
また、上記の例では判定結果や特徴量の抽出結果をテキストで表示したが、それぞれに色やテクスチャ、記号等を割り当てることで表示したり、テキストと組合せて表示したりしても良い。また、視認性を向上するため、マウスをオブジェクト上にポイントしたときだけ分類および特徴量の情報を表示する等してもよい。また、出力方法は画像に限らず、オブジェクト領域情報を例えば始点と終点の座標で表すなどしてテキストやバイナリデータとして出力しても良い。
上記では、実施例１の詳細について機能ブロック毎に説明した。しかし、本発明の実施形態は必ずしも図２の機能ブロックで構成される必要はなく、各機能ブロックの動作を実現する処理が実現できればよい。図１５に実施例１に係る処理フロー図の一例を示す。各ステップは図２に示した機能ブロック図の各要素と対応している。
画像入力ステップ１５０１ではオブジェクトを撮像した画像を受付ける。
オブジェクト領域算出ステップ１５０２では、画像入力ステップ１５０１にて受付けた入力画像を用いて分類対象となるオブジェクト領域を抽出する。オブジェクト領域の抽出方法については、前述のオブジェクト領域算出部２０２にて説明した通りである。
特徴量選択ステップ１５０３ではオブジェクト領域算出ステップ１５０２にて算出したオブジェクト領域情報と、画像入力ステップ１５０１にて受付けた入力画像に基づいて、特徴量選択信号を生成する。特徴量選択信号の生成方法については、前述の特徴量選択部２０３にて説明した通りである。
特徴量抽出ステップ１５０４では特徴量選択ステップ１５０３にて生成した特徴量選択信号に基づいて、選択された特徴量を用いて、入力画像やオブジェクト領域情報内の選択された領域から、オブジェクト分類のための特徴量を抽出する。特徴量の抽出方法については、前述の特徴量抽出部２０４にて説明した通りである。
特徴量分類ステップ１５０５では、オブジェクト領域算出ステップ１５０２にて算出したオブジェクト領域情報と、特徴量選択ステップ１５０３にて算出した特徴量選択信号と、特徴量抽出ステップ１５０４にて算出した特徴量抽出結果とに基づいて、各オブジェクトの代表特徴量を算出する。代表特徴量の算出方法については、前述の特徴量分類部２０５にて説明した通りである。
オブジェクト分類ステップ１５０６では、特徴量分類ステップ１５０５にて算出した代表特徴量に基づいてオブジェクトの分類を行う。オブジェクトの分類方法については、前述のオブジェクト分類部２０６にて説明した通りである。
出力ステップ１５０７では、オブジェクト分類ステップ１５０６にて算出したオブジェクト分類結果と、特徴量分類ステップ１５０５にて算出した代表特徴量を、入力画像に紐づけてユーザーに提示する。ユーザーへの提示方法については、前述の出力部２０７にて説明した通りである。
以上により、オブジェクトの大きさに応じて自動的に特徴量を選択することで、より頑健性の高い特徴量抽出と判定が可能となる。また、オブジェクトの分類結果と代表特徴量を入力画像と紐づけて出力することで、ユーザーがオブジェクトの分類結果だけでなく代表特徴量の抽出結果を確認することが可能となる。
実施例２は実施例１に記載のオブジェクト分類装置が出力するオブジェクトの分類結果や特徴量の情報を用いて、特定のオブジェクトを強調または表示する、オブジェクト分類システムである。
実施例２に係るハードウェア構成図を図１１に示す。実施例２に係るハードウェア構成と実施例１に係るハードウェア構成との違いは入力装置１１０１と、ＧＵＩ生成装置１１０２が追加されている点のみである。そのため、以下では入力装置１１０１と、ＧＵＩ生成装置１１０２についてのみ説明する。オブジェクト分類装置１０１、撮像装置１２０、表示装置１２１は実施例１のハードウェア構成要素と同様であるため説明を省略する。
入力装置１１０１はユーザーの操作を受付ける装置であり、例えばキーボードやマウスなどである。入力装置１１０１が受付けたユーザー操作情報は後述のＧＵＩ生成装置１１０２に入力される。
ＧＵＩ生成装置１１０２はユーザーがオブジェクトの分類結果や特徴量を指定し、前記指定と分類結果や特徴量が合致するオブジェクトのみを強調または表示するＧＵＩを生成し、表示装置１２１に表示する。
ＧＵＩ生成装置１１０２が生成するＧＵＩの例を図１２Ａに示す。ＧＵＩウィンドウ１２０１は表示部１２０２と選択部１２０３から構成される。表示部１２０２はデフォルトでは入力画像がそのまま表示されている。選択部１２０３にはオブジェクト分類装置１０１の出力に含まれる分類結果および特徴量の抽出結果が選択肢として列挙されている。
各選択肢の先頭にはチェックボックスが設けてある。ＧＵＩ生成装置１１０２は選択部１２０３内のチェックボックス群の状態からオブジェクトの検索条件を作成し、検索条件に合致するオブジェクトを抽出する。そして、表示部１２０２内の合致したオブジェクトの領域を強調表示する。チェックボックス群の状態からオブジェクトの検索条件を作成する方法としては、例えば、まず、カテゴリ毎にチェックされている項目をＯＲで結合し、ＯＲ結合結果をＡＮＤで結合することで検索条件を得る方法がある。
例えば図１２Ａのチェックボックスの状態であれば「（特徴量＝厚い）ＡＮＤ（判定結果＝未知）」が検索条件となる。もし、図１２Ａのチェックボックスの状態に対して、更に、“細胞膜”の“薄い”にもチェックを入れた場合、「（特徴量＝厚い ＯＲ 薄い）ＡＮＤ（判定結果＝未知）」が検索条件となる。
図１２Ａの例では表示部１２０２内の条件に合致するオブジェクトの領域を点線で強調表示している。図１２Ａの表示方法は一例であり、色や吹き出し等で強調表示しても良いし、条件に合致するオブジェクトの領域を切り取って表示部１２０２にリスト状に表示する等しても良い。
また、図１２ＢにＧＵＩ生成装置１１０２が生成するＧＵＩの別の例を示す。構成内容は図１２Ａとほぼ同様であるが、選択部１２０３の各特徴量の末尾に感度調整バー１２０４が設置されている。感度調整バー１２０４は各特徴量の抽出感度を調整するユーザーインターフェースである。感度調整バー１２０４で調整した値に応じて、例えばオブジェクト分類装置１０１内の特徴量抽出部２０３において、該当の特徴量フィルタの出力にバイアスを加える等して抽出感度を調整する。これにより各オブジェクトの特徴量がどの程度の尤度で算出されているか等を観察することが可能となる。
また、特に図１２Ａや図１２Ｂには示していないが、条件に合致するオブジェクトの数や全オブジェクト数に対する割合等の情報をＧＵＩに表示しても良い。また、選択部１２０３を複数設ける等して、複数条件を同時にセットできるようにしても良い。その場合、条件毎に色を変える等して視覚的に結果を区別できるようにしてもよい。
図１２Ａおよび図１２Ｂに示したＧＵＩは一例であり、各要素の配列や表示方法はこれに限定されず、同様のユーザー操作および表示が実現できるＧＵＩであれば良い。
これにより、ユーザーは画像内から特定の特徴量を有するオブジェクトを容易に発見することが可能になる。
実施例３は実施例１に記載のオブジェクト分類装置が出力する、複数の入力画像に対するオブジェクトの分類結果や特徴量の情報を用いて、特定の分類結果や特徴量を有するオブジェクトの数や割合等を算出する、オブジェクト分類システムである。
実施例３に係るハードウェア構成図を図１３に示す。実施例３に係るハードウェア構成と実施例２に係るハードウェア構成との違いは統計情報算出装置１３０２が追加されている点のみである。そのため、以下では統計情報算出装置１３０２についてのみ説明する。オブジェクト分類装置１０１、撮像装置１２０、表示装置１２１、入力装置１１０１は実施例２のハードウェア構成要素と同様であるため説明を省略する。
統計情報算出装置１３０２はオブジェクト分類装置１０１が出力したオブジェクト分類および特徴量抽出結果を累積して記憶し、入力装置１１０１を介して受付けるユーザーの選択に基づいて統計情報を算出して、表示装置１２１に表示する。本実施例においては撮像装置１２０から一枚以上の入力画像がオブジェクト分類装置１０１に入力されるとする。
統計情報算出装置１３０２はオブジェクト分類装置１０１が入力画像に対する結果を出力する度に、統計情報算出装置１３０２内のメモリに保存する。メモリに保存した複数のオブジェクト分類結果および特徴量抽出結果全体を用いて統計情報を算出する。
図１９に統計情報表示結果の一例を示す。統計情報表示ウィンドウ１９０１は統計情報算出装置１３０２が生成した、統計情報をユーザーに提示するためのウィンドウであり、表示装置１２１に表示される。統計情報表示ウィンドウ１９０１には、１枚以上の画像内に存在する複数のオブジェクトから算出した、判定結果と特徴量の統計情報が表示されている。
尚、図１９は前述した素材の品質判定における統計情報表示の一例を示している。また、図１９には特に記載していないが、判定結果あるいは特徴量の統計情報から総合的な判定を決定して、統計情報表示ウィンドウ１９０１に表示しても良い。例えば素材の品質判定の例であれば、素材表面のテクスチャを構成する要素の品質判定結果について、“高”の割合に対する閾値と、“中”の割合に対する閾値を予め定めておき、要素の品質判定結果の統計情報の内、“高”と“中”の各割合が閾値を超えた場合、総合的な素材の品質を“高”と判定して、統計情報表示ウィンドウ１９０１に表示する等しても良い。
また、算出する統計情報をユーザーの選択に基づいて決定しても良い。ユーザーの選択および結果の表示は統計情報算出装置１３０２が生成するＧＵＩを介して行う。図１４にユーザーの選択に基づいて統計情報を算出するためのＧＵＩの一例を示す。ＧＵＩウィンドウ１４０１は、分母条件設定部１４０２、分子条件設定部１４０３、統計情報表示部１４０４の３つの部分から構成されている。分母条件設定部１４０２と分子条件設定部１４０３は同様の表示内容であり、オブジェクトの分類結果および特徴量が列挙されている。
また、各項目の先頭にはチェックボックスが設置されている。統計情報算出装置１３０２はチェックボックスがＯＮになっている分類結果および特徴量を有するオブジェクトの数をカウントする。統計情報表示部１４０４内の分母または分子の欄に、分母条件設定部１４０２または分子条件設定部１４０３で指定した条件に一致するオブジェクト数が表示される。また、分子の数を分母の数で除算した結果を割合の項目に表示する。これにより特定の分類結果や特徴量を有するオブジェクトが、複数の入力画像の中にどの程度の割合で存在するかを算出することが可能となる。
実施例３によれば、１枚以上の入力画像の中に存在するオブジェクトについて、特定の分類結果や特徴量を有するオブジェクトの数や割合を算出することができる。これにより分類対象オブジェクトのより詳細な評価や、傾向観察、分類のために有効な特徴量の検討等を支援することが可能となる。
＜変形例＞
オブジェクト領域算出部２０２において、オブジェクト検出方法の一例として領域分割手法を用いたが、ＹＯＬＯやＳＳＤ等、個々のオブジェクトを囲む矩形を推定する手法を用いてオブジェクト領域情報を算出しても良いし、オブジェクトを囲む矩形を推定した後に、領域分割を適用する等、上述の手法を組み合わせても良い。また、距離画像を推定するのではなく、前景と背景を二値分類した結果から距離画像を算出する等しても良い。
特徴量選択部２０３において、オブジェクト領域の大きさに基づいて選択する特徴量のスケールを決定する旨を説明したが、オブジェクト領域の大きさに基づいて入力画像を拡大および縮小しても良い。また、オブジェクト領域の形状に基づいて、回転および変形しても良い。
オブジェクト分類部２０６において、オブジェクト分類の際に一致特徴量の数に対して許容範囲を設定する方法を説明したが、不一致の特徴量の数に対する許容範囲を設定しても良いし、条件となっている特徴量数を分母とする一致率や不一致率に対して許容範囲を設定しても良い。
実施例２のＧＵＩ生成装置１１０２において、感度を調整する方法の一例として特徴量フィルタの出力にバイアス値を加算する方法を説明したが、加算だけでなく乗算や指数演算等を用いても良いし、これらを組合せても良い。
上記実施例では、画像内の各オブジェクトの領域情報を算出し、オブジェクトの領域情報に基づいて抽出する特徴量の種類、サイズ、適用領域を自動的に選択し、特徴量の選択結果に基づいてオブジェクトの分類に必要な特徴量を抽出する。そして、抽出した特徴量を分類し、オブジェクトの状態を決定する代表的な特徴量（以下、代表特徴量と呼ぶ）を算出し、代表特徴量の組合せに基づいてオブジェクトの分類を行う。これによりオブジェクト内の部位に応じた特徴量抽出が可能となり、より精度よく画像内のオブジェクトを分類することが可能となる。
また、オブジェクトの分類結果と代表特徴量を入力画像と紐づけて出力することで、ユーザーにオブジェクトの分類結果、および、分類の根拠となった代表特徴量を提示することが可能となる。
上記実施例によれば、オブジェクト内の部位に応じた特徴量の抽出が可能となり、より精度良く画像内のオブジェクトを分類可能となる。また、分類結果と分類の根拠となった特徴量をユーザーに提示することが可能となる。
１００：オブジェクト分類システム
１０１：オブジェクト分類装置
１１０：インターフェース部
１１１：演算部
１１２：メモリ
１１３：バス
１２０：撮像装置
１２１：表示装置
２０１：画像入力部
２０２：オブジェクト領域算出部
２０３：特徴量選択部
２０４：特徴量抽出部
２０５：特徴量分類部
２０６：オブジェクト分類部
２０７：出力部
３０１：シャーレ
１１０１：入力装置
１１０２：ＧＵＩ生成装置
１２０１：ＧＵＩウィンドウ
１２０２：表示部
１２０３：選択部
１２０４：感度調整バー
１３０２：統計情報算出装置
１４０１：ＧＵＩウィンドウ
１４０２：分母条件設定部
１４０３：分子条件設定部
１４０４：統計情報表示部
１９０１：統計情報表示ウィンドウ

Claims (15)

  1. 画像内のオブジェクトを分類して前記オブジェクトの種類又は状態を判別するオブジェクト分類装置であって、
    前記画像内の前記オブジェクトのオブジェクト領域を算出するオブジェクト領域算出部と、
    前記オブジェクト領域を用いて、前記オブジェクトの特徴量を選択して特徴量選択信号を出力する特徴量選択部と、
    前記特徴量選択信号に基づいて、前記画像の中から複数の前記特徴量を抽出する特徴量抽出部と、
    複数の前記特徴量を分類して、前記オブジェクトの前記種類又は前記状態を決定する代表的な特徴量である代表特徴量を抽出する特徴分類部と、
    前記代表特徴量に基づいて、前記オブジェクトの前記種類又は前記状態を判別して前記オブジェクトを分類し、前記オブジェクトの分類結果を出力するオブジェクト分類部と、
    前記画像に前記オブジェクトの前記分類結果と前記代表特徴量を紐づけて出力する出力部と、
    を有することを特徴とするオブジェクト分類装置。
  2. 請求項１に記載のオブジェクト分類装置であって、
    前記特徴量選択部は、
    前記オブジェクト領域を用いて、複数の前記特徴量の中から一部の前記特徴量を選択し、前記特徴量の種類とサイズ及び前記特徴量を抽出する領域情報を含む特徴量選択信号を出力し、
    前記特徴量抽出部は、
    前記オブジェクトの部位に応じた前記特徴量を抽出し、
    前記オブジェクト分類部は、
    前記代表特徴量の組合せに基づいて、前記オブジェクトを分類し、
    前記出力部は、
    前記代表特徴量ごとに、前記オブジェクトの前記分類結果と前記代表特徴量とを紐づけて出力することを特徴とするオブジェクト分類装置。
  3. 請求項１に記載のオブジェクト分類装置であって、
    前記特徴量分類部は、
    前記オブジェクト領域算出部が算出する前記オブジェクト領域、前記特徴量選択部が算出する前記特徴量選択信号及び前記特徴量抽出部が抽出する前記特徴量に基づいて、前記オブジェクトの前記代表特徴量を抽出することを特徴とするオブジェクト分類装置。
  4. 請求項１に記載のオブジェクト分類装置であって、
    前記特徴量選択部は、
    前記オブジェクト領域の大きさに基づいて、前記画像に適用する前記特徴量の種類を選択することを特徴とするオブジェクト分類装置。
  5. 請求項１に記載のオブジェクト分類装置であって、
    前記オブジェクト領域算出部は、
    距離画像を推定することにより、互いに接触する前記オブジェクトを分離することを特徴とするオブジェクト分類装置。
  6. 請求項１に記載のオブジェクト分類装置であって、
    前記オブジェクト分類部は、
    前記代表特徴量と前記オブジェクトの種類又は状態を対応させて格納したオブジェクト分類テーブルを参照することにより、前記オブジェクトを分類することを特徴とするオブジェクト分類装置。
  7. 請求項１に記載のオブジェクト分類装置と、
    前記オブジェクト分類装置に入力する前記画像を撮像する撮像装置と、
    前記オブジェクトの前記分類結果と前記代表特徴量とを紐づけて前記画像中に表示する表示装置と、
    を有することを特徴とするオブジェクト分類システム。
  8. 請求項１に記載のオブジェクト分類装置と、
    前記オブジェクト分類装置に入力する前記画像を撮像する撮像装置と、
    ユーザーの操作情報を受付ける入力装置と、
    前記入力装置から前記ユーザーが選択した前記オブジェクトの前記分類結果と前記代表特徴量の少なくとも一つに基づいて、所定の前記オブジェクトを強調表示するためのＧＵＩを生成するＧＵＩ生成装置と、
    前記ＧＵＩ生成装置が生成した前記ＧＵＩを表示する表示装置と、
    を有することを特徴とするオブジェクト分類システム。
  9. 請求項８に記載のオブジェクト分類システムであって、
    前記ＧＵＩ生成装置は、
    前記代表特徴量の抽出感度を調整可能な感度調整バーを有する前記ＧＵＩを生成することを特徴とするオブジェクト分類システム。
  10. 請求項１に記載のオブジェクト分類装置と、
    前記オブジェクト分類装置に入力する前記画像を撮像する撮像装置と、
    前記オブジェクト分類装置から出力された前記オブジェクトの前記分類結果と前記代表特徴量に基づいて、前記オブジェクトの数又は分布を含む統計情報を算出する統計情報算出装置と、
    前記統計情報算出装置が出力する前記統計情報を表示する表示装置と、
    を有することを特徴とするオブジェクト分類システム。
  11. 画像内のオブジェクトを分類しての前記オブジェクトの種類又は状態を判別するオブジェクト分類方法であって、
    前記画像内の前記オブジェクトのオブジェクト領域を算出するオブジェクト領域算出ステップと、
    前記オブジェクト領域を用いて、前記オブジェクトの特徴量を選択して特徴量選択信号を出力する特徴量選択ステップと、
    前記特徴量選択信号に基づいて、前記画像の中から複数の前記特徴量を抽出する特徴量抽出ステップと、
    複数の前記特徴量を分類して、前記オブジェクトの前記種類又は前記状態を決定する代表的な特徴量である代表特徴量を抽出する特徴分類ステップと、
    前記代表特徴量に基づいて、前記オブジェクトの前記種類又は前記状態を判別して前記オブジェクトを分類し、前記オブジェクトの分類結果を出力するオブジェクト分類ステップと、
    前記画像に前記オブジェクトの前記分類結果と前記代表特徴量を紐づけて出力する出力ステップと、
    を有することを特徴とするオブジェクト分類方法。
  12. 請求項１１に記載のオブジェクト分類方法であって、
    前記特徴量選択ステップは、
    前記オブジェクト領域を用いて、複数の前記特徴量の中から一部の前記特徴量を選択し、前記特徴量の種類とサイズ及び前記特徴量を抽出する領域情報を含む特徴量選択信号を出力し、
    前記特徴量抽出ステップは、
    前記オブジェクトの部位に応じた前記特徴量を抽出し、
    前記オブジェクト分類ステップは、
    前記代表特徴量の組合せに基づいて、前記オブジェクトを分類し、
    前記出力ステップは、
    前記代表特徴量の組合せの中の前記代表特徴量ごとに、前記オブジェクトの前記分類結果と前記代表特徴量とを紐づけて出力することを特徴とするオブジェクト分類方法。
  13. 請求項１１に記載のオブジェクト分類方法であって、
    前記特徴量分類ステップは、
    前記オブジェクト領域算出ステップが算出する前記オブジェクト領域、前記特徴量選択ステップが算出する前記特徴量選択信号及び前記特徴量抽出ステップが抽出する前記特徴量に基づいて、前記オブジェクトの前記代表特徴量を抽出することを特徴とするオブジェクト分類方法。
  14. 請求項１１に記載のオブジェクト分類方法であって、
    前記特徴量選択ステップは、
    前記オブジェクト領域の大きさに基づいて、前記画像に適用する前記特徴量の種類を選択することを特徴とするオブジェクト分類方法。
  15. 請求項１１に記載のオブジェクト分類方法であって、
    前記オブジェクト領域算出ステップは、
    距離画像を推定することにより、互いに接触する前記オブジェクトを分離することを特徴とするオブジェクト分類方法。
JP2020203538A 2020-12-08 2020-12-08 オブジェクト分類装置、オブジェクト分類システム及びオブジェクト分類方法 Active JP7412321B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020203538A JP7412321B2 (ja) 2020-12-08 2020-12-08 オブジェクト分類装置、オブジェクト分類システム及びオブジェクト分類方法
EP21903111.9A EP4261774A1 (en) 2020-12-08 2021-11-12 Object classification device, object classification system, and object classification program
US18/037,278 US20240005682A1 (en) 2020-12-08 2021-11-12 Object classifying apparatus, object classification system, and object classification method
CN202180080950.8A CN116547708A (zh) 2020-12-08 2021-11-12 对象分类装置、对象分类系统以及对象分类方法
PCT/JP2021/041775 WO2022124007A1 (ja) 2020-12-08 2021-11-12 オブジェクト分類装置、オブジェクト分類システム及びオブジェクト分類方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020203538A JP7412321B2 (ja) 2020-12-08 2020-12-08 オブジェクト分類装置、オブジェクト分類システム及びオブジェクト分類方法

Publications (2)

Publication Number Publication Date
JP2022090930A true JP2022090930A (ja) 2022-06-20
JP7412321B2 JP7412321B2 (ja) 2024-01-12

Family

ID=81974345

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020203538A Active JP7412321B2 (ja) 2020-12-08 2020-12-08 オブジェクト分類装置、オブジェクト分類システム及びオブジェクト分類方法

Country Status (5)

Country Link
US (1) US20240005682A1 (ja)
EP (1) EP4261774A1 (ja)
JP (1) JP7412321B2 (ja)
CN (1) CN116547708A (ja)
WO (1) WO2022124007A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024034374A1 (ja) * 2022-08-12 2024-02-15 株式会社日立ハイテク オブジェクト分類装置、オブジェクト分類方法及びオブジェクト分類システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011229409A (ja) * 2010-04-23 2011-11-17 Nagoya Univ 細胞評価装置、インキュベータ、細胞評価方法、細胞評価プログラムおよび細胞の培養方法
JP2015121985A (ja) * 2013-12-24 2015-07-02 富士通株式会社 対象線検出装置、方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011229409A (ja) * 2010-04-23 2011-11-17 Nagoya Univ 細胞評価装置、インキュベータ、細胞評価方法、細胞評価プログラムおよび細胞の培養方法
JP2015121985A (ja) * 2013-12-24 2015-07-02 富士通株式会社 対象線検出装置、方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024034374A1 (ja) * 2022-08-12 2024-02-15 株式会社日立ハイテク オブジェクト分類装置、オブジェクト分類方法及びオブジェクト分類システム

Also Published As

Publication number Publication date
CN116547708A (zh) 2023-08-04
US20240005682A1 (en) 2024-01-04
EP4261774A1 (en) 2023-10-18
WO2022124007A1 (ja) 2022-06-16
JP7412321B2 (ja) 2024-01-12

Similar Documents

Publication Publication Date Title
US20230419696A1 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
Ramoser et al. Leukocyte segmentation and classification in blood-smear images
Li et al. Segmentation of white blood cell from acute lymphoblastic leukemia images using dual-threshold method
JP7076698B2 (ja) 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
US20200098105A1 (en) Methods and Systems for Assessing Cell Morphology
EP2889618B1 (en) Image processing device, program, image processing method, computer-readable medium, and image processing system
Putzu et al. White blood cells identification and counting from microscopic blood images
EP3343440A1 (en) Identifying and excluding blurred areas of images of stained tissue to improve cancer scoring
JP4948647B2 (ja) 尿中粒子画像の領域分割方法及び装置
EP1978486B1 (en) Method of image analysis based on chromogen separation
US20100040276A1 (en) Method and apparatus for determining a cell contour of a cell
WO2014087689A1 (ja) 画像処理装置、画像処理システム及びプログラム
WO2014192184A1 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
CN107367456B (zh) 一种免洗涤图像类流式荧光检测方法和系统
WO2022124007A1 (ja) オブジェクト分類装置、オブジェクト分類システム及びオブジェクト分類方法
Lezoray et al. Segmentation of cytological images using color and mathematical morphology
US11887355B2 (en) System and method for analysis of microscopic image data and for generating an annotated data set for classifier training
Palokangas et al. Segmentation of folds in tissue section images
Friedrich et al. Removing defocused objects from single focal plane scans of cytological slides
CN110210578B (zh) 基于图论的宫颈癌组织病理学显微图像聚类系统
Restif Towards safer, faster prenatal genetic tests: Novel unsupervised, automatic and robust methods of segmentation of nuclei and probes
CN112236827A (zh) 用于数字病理学的灵敏度分析
Pinidiyaarachchi et al. On color spaces for cytology
WO2009047726A1 (en) Method, device, and computer program product for segmenting an image of an area

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231226

R150 Certificate of patent or registration of utility model

Ref document number: 7412321

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150