JP2010501288A - 毛包ユニットをカウントするシステム及び方法 - Google Patents

毛包ユニットをカウントするシステム及び方法 Download PDF

Info

Publication number
JP2010501288A
JP2010501288A JP2009525790A JP2009525790A JP2010501288A JP 2010501288 A JP2010501288 A JP 2010501288A JP 2009525790 A JP2009525790 A JP 2009525790A JP 2009525790 A JP2009525790 A JP 2009525790A JP 2010501288 A JP2010501288 A JP 2010501288A
Authority
JP
Japan
Prior art keywords
image
hair
fus
filtering
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009525790A
Other languages
English (en)
Other versions
JP4988847B2 (ja
Inventor
クレーシー,シャハザド,エイ.
ボッダルリ,モハーン
Original Assignee
レストレーション ロボティクス,インク.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by レストレーション ロボティクス,インク. filed Critical レストレーション ロボティクス,インク.
Publication of JP2010501288A publication Critical patent/JP2010501288A/ja
Application granted granted Critical
Publication of JP4988847B2 publication Critical patent/JP4988847B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06MCOUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M1/00Design features of general application
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743Type of operation; Specification of treatment sites
    • A61B2017/00747Dermatology
    • A61B2017/00752Hair removal or transplantation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02Prostheses implantable into the body
    • A61F2/10Hair or skin implants
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Surgical Instruments (AREA)

Abstract

自動化システムを用いた毛包単位をカウントするシステム及び方法であって、皮膚と毛包単位をもつ体表面の画像を取得するステップと、画像を処理して画像中の皮膚成分を除去するステップと、得られた画像を処理してセグメント化するステップと、ノイズフィルタにかけて、関心のある毛包以外の全ての要素を排除して関心ある領域中の毛包をカウントするステップ、を具える。このシステムは、画像取得デバイスと、前記方法を実行する画像プロセッサを具える。別の態様では、このシステム及び方法は、毛包単位中の毛髪の数に基づいて毛包単位を分類する。
【選択図】図1

Description

本発明は、一般的に毛髪移植手順に関し、特に、毛髪移植手順用のデジタル画像化及び処理技術を使用して毛包単位をカウントするシステム及び方法に関する。
毛髪移植手順はよく知られており、一般的に、(男性型禿頭症の患者において)患者の頭皮の側部及び後部の外辺領域(ドナー領域)からドナーの毛髪移植片を採取すること及び禿頭領域(「レシピエント領域」)にこれらを移植することを伴う。歴史的には、採取した移植片は比較的大きかったが(3乃至5mm)、より最近は、ドナーグラフトは単一の毛包単位である。特に、「毛包単位」(以下では、FU又はFUsという。)には、普通、頭皮表面にわたりランダムに分散されている1乃至3(一般的ではないが、4乃至5)本の密集した、毛包の集合体が存在する。
毛包単位は、単位あたりの毛髪の数に基づいて、分類されるか「タイプに分けられ」、単1本の毛包単位を「F1」、2本の毛包単位を「F2」、及び3乃至5本の毛髪の毛包単位等も、同じように省略して特定することもできる。多数の毛包単位のいくつかの例では、毛髪は、単一の毛包単位や皮膚の1点から広がるように見える。他の例では、毛髪は、わずかに間隔をあけた位置で皮膚の表面から出ているが、皮膚の真下で単一の毛包単位に集まっている。図1を参照すると、様々なタイプの毛包単位を有する人間の頭皮11の例示的な部分のデジタル画像の写真が示されている。例えば、毛包単位17は2本の毛髪を有しており、それゆえF2であるが、毛包単位13は、単一の毛髪のみであるのでF1である。
体表上の関心領域中の毛包単位をカウントして分類することが重要であり所望されるのには、いくつかの理由がある。一つには、毛包単位の数は移植手順の計画過程で用いることができる。例えば、仮に、この数がその領域中の毛包単位の数を制限する場合は、その数が移植用に採取され得るのである。しかしながら、多くの場合、医者は採取している領域中のある範囲を残して、利用できる毛包単位の一定の割合のみの移植を望んでいる。加えて、多くの毛髪修復移植手順においては、一定のクラスの毛包単位が好まれる。
分類に関して、毛包単位における毛髪の数に基づいて、毛包単位を特定して分類することが重要であり所望されるのには、いくつかの理由がある。移植した毛髪の外観に所望の特性を提供するために、毛包単位の様々なクラス(「タイプ」ともいう)を利用することが望ましいことがある。このような特性には、毛髪の密度、毛髪の方向や位置、毛包単位のタイプの特定の混合、及び/または不規則な外観、その他の可能な特性などが含まれる。様々なタイプの毛包単位の使用例は、次の通りである。毛包単位の所定のクラスを頭皮の特定の領域へ移植することが好ましい。例えば、単一の毛包単位(F1)は、一般的に、顔を縁取る生え際に沿って移植される。1本より多い毛髪の毛包単位(F2、F3など)は、一般的に中央頭皮部分及び冠部分に移植される。毛包単位の分布のこの配列は、より自然な外観の美しい結果を生じると考えられている。
毛髪移植の様々な手順は、これまでにも開示されており、手動操作と一定の機械化された自動操作の両方を具える。ある公知の手動操作では、メスで頭皮の直線部分をドナー領域から脂肪性の皮下組織へ切開して取り去る。このストリップを(顕微鏡下で)毛包単位成分に切り出し、これらを、針で作った各穿刺孔内のレシピエント領域へ移植する。典型的には鉗子を使用して、毛包単位移植片をつかみ、針の穿刺位置へ配置するが、他の器具及び方法を用いてこれを行うことも知られている。
「Androgenetic Alopecia」(Springer 1996)において、M.Inaba&Y.Inabaは、刃先と、毛包単位の重要な解剖部分の直径にほぼ等しい直径1mmの内部管腔とを具える中空の穿孔針を配置することによって単一の毛包単位を採取する手動の方法を開示している。針の穿孔を毛包単位の軸上に整列させ、引き出して、頭皮内へ進め、選択した毛包単位の周縁で頭皮をカットする。その後、毛包単位を鉗子などを用いて簡単に取り外し、続いて、特別に考案された挿入針を用いてレシピエント部位へ移植する。
特許文献1は、ロボットアームと、ロボットアームに付随する毛包導入具とを具えるロボットを使用する自動毛髪移植システムを開示している。ビデオシステムを使用して患者の頭皮の3次元仮想イメージを作り出し、これを用いて、ロボットアームの制御下で毛包導入具によって移植する毛髪グラフトを受けるべき頭皮位置を計画する。特許文献1の全体の記述は、本書に参照によって組み込まれている。
また、移植用の自動システム及び方法が、2005年9月30日に出願された特許文献2、2005年12月22日に出願された特許文献3、2006年1月31日に出願された特許文献4、2006年4月28日に出願された特許文献7(現在、特許文献5として発行されている)、及び2006年4月28日に出願された特許文献8(現在、特許文献6として発行されている)に開示されている。上記出願は全て、これらの全体が本出願に参照によって組み込まれている。例えば、上記で参照した特許文献8は、アームに取り付けられた採取および/または移植器具を有するロボットアームを具えるシステムを開示している。また、1又はそれ以上のカメラがアームに取り付けられており、体表面などの作業スペースを撮像するために使用される。プロセッサは、カメラによって得られた画像を受信して処理するように構成されている。コントローラは、プロセッサ及びロボットアームに機能的に連結されている。このコントローラは、少なくとも部分的に、カメラ及びプロセッサによって得られた処理済みの画像に基づいて、ロボットアームの動きを制御する。アームは、制御可能に可動であり、体表面に対し所望の方向及び位置に器具を配置して、毛髪の移植を行う。
毛髪移植のこれらのシステム及び方法の使用において、まず、移植計画を立て、採取して移植する毛包単位を選択し、毛髪を移植する正確な位置を決定することが望ましい。従って、毛髪の移植手順を計画する際に、体表面の特定の位置から採取して、体表面の別な部分へ移植用に特定の毛包単位を選択することができる。移植するべき毛包単位は、例えば、毛包単位のタイプ(すなわち、F1、F2など)、毛包単位の毛髪の位置、毛髪の密度など、特定の基準に基づいて選択してもよい。しかしながら、各毛髪単位を数えて特徴付けるプロセスはつまらなく、時間がかかる。したがって、自動化したシステムを用いて毛包単位をカウントし、及び/又は分類するシステムと方法が、求められている。毛包単位を分類する方法は、2006年8月25日に出願され、名称「毛包単位を分類するシステム及び方法」である特許文献9に記載されており、全内容が参照により本明細書に取り込まれている。
米国特許第6,585,746号 米国仮特許出願第60/722,521号 米国仮特許出願第60/753,602号 米国仮特許出願第60/764,173号 米国特許公開2007/0078466号 米国特許公開2007/0106306号 米国特許出願第11/380,903号 米国特許出願第11/380,907号 米国特許出願第11/467,268号
本明細書で開示した本発明の一般的な態様によれば、自動化システムを使用した毛包単位をカウントするシステム及び方法を提供する。本発明のシステム及び方法は、体表面の毛髪毛包単位の移植のためのシステム及び方法に活用することができる。本発明のシステム及び方法は、毛髪移植の自動化システムに実装されるか、又は一体型にされるとき特に有用である。
本発明の一態様において、毛包単位をカウントする方法は、皮膚と毛包単位をもつ体表の画像を取得するステップと、この画像にフィルタをかけて画像中のバックグラウンド成分(皮膚、選択的に、ある種のその他のバックグラウンドの成分などの)を除くステップと、得られた画像を処理して、セグメント化された画像を生成するステップと、ノイズにフィルタをかけて、関心のある毛包単位に対応していない物体を除くステップとを具える。その結果、関心のある残っている毛包単位をカウントすることができる。デジタル画像は、必ずしも必要でなく、アナログ画像も使用できるのであるが、1つの好ましい態様では得られた画像はデジタル画像である。アナログ画像は、当業者に公知の技術を用いてデジタル画像に変換することもできる。本発明によれば、取得した画像から皮膚成分(及び/又はその他のバックグラウンド成分)を除くステップは、適当な技術と方法により、限定することなく達成することができる。
代表的な実施態様では、皮膚表面がバックグラウンドである場合、バックグラウンド成分を除去するフィルタリングは、バックグラウンド減算法を用いて達成することができる。バックグラウンド減算法の代表的なものの1つは、入力画像から基準画像(入力画像の不鮮明なバージョン)を差し引くステップを具える。その他は、分散(variance)フィルタ、エッジ検出ベースの手順、又はカラーデータを用いた皮膚トーンキーオフを含むが。別の代表的な態様では、バックグラウンドの(皮膚)成分を除去するステップは、帯域通過フィルタを用いて達成することができる。セグメント化した画像をつくる画像処理は、いずれかの周知の方法により達成できる。本発明の方法の代表的な1つの態様では、セグメント化した画像は、二値画像である。しかしながら、多面的画像(例えば、皮膚、ほくろ、血液、及び/又はその他の態様が、2以上の異なる画像符号により表されている)も、本発明の範囲に含まれる。セグメント化された画像は、必要に応じて、ノイズフィルタにさらにかけて、関心の毛髪毛包以外の全てを除去する。フィルタをかける必要があるノイズのタイプの例としては、限定されないが、画像ノイズ、(頭皮の)ふけ、血液の染み、ほくろ(あざ)、切断していない長い毛髪などを挙げることができる。全てのノイズフィルタを、同時に行うことができ、又はいくつかのステップに分けることもできる:例えば、最初に、小さな物体(小さいふけなど)に対応している、「小さなノイズ」を、フィルタにかけ、次いで、大きい物体(長い毛髪、大きい血液の染みなど)に対応するより大きいノイズをフィルタにかける。
セグメント化された画像から、このような物体を除去することによるこの「小ノイズ」のフィルタリングは、当業者に公知である標準的な画像処理技術であり、モルフォロジィオープン演算と呼ばれている。次いで残りのノイズフィルタリングを、モルフォロジィオープン演算から生じる画像に対して行う。ノイズフィルタリングは、毛包単位に対応する基準を満たさない物体を除去する。例えば、画像中の物体の面積、位置、方向は、実際の毛包単位に対応していない面積、位置、又は方向である(例えば、頭皮上にたまたま残っている切断された毛髪があり得る)。毛髪に対応する物体の画像の特徴であるか否かは、毛髪であることが分かっている選択された画像中の物体の画像と同一の特徴の全体的な性質との統計的比較により決定する。代替的に、この特徴は、患者からのサンプリングしたもの又は他のデータに基づいて所定の基準と比較することができる(例えば、患者がある方法では毛髪をばらばらにした場合、その毛髪の大部分が所与の方向を向いているはずであることが分かっている)。
ノイズをフィルタリングした後に画像に残っている各物体は、毛包単位としてカウントされる。したがって、その方法は、毛包単位をカウントするために用いることができる。
毛包単位をカウントする方法の別の態様では、帯域通過フィルタを用いて画像の皮膚成分を除去するフィルタリングが、第一のカーネルをもつ低域通過フィルタを用いる第一のフィルタリングステップと、第二のカーネルをもつ低域通過フィルタを用いる第二のフィルタリングステップとを具える。本発明の別の態様では、低域通過カーネルは、ガウスカーネルである。当業者は、このような低域通過フィルタやガウスフィルタによく精通しており、どのようにして実装するかについて理解している。
本発明の方法のさらなる態様では、毛包単位のカウントは、例えば、マルチ画像化などの使用により精緻化することもできる。画像を得るために、関心のあるFUを追跡し、システムを調整する方法を含む。1つの代表的な態様では、第一と第二のカメラを用いて、立体画像を提供する。この立体画像を用いて、第一と第二のカメラの画像内で関心のあるFUを追跡し、体表面の動き、及びカメラの動きを調整することができる。加えて、第一と第二のカメラを、FUの毛髪の通常の方向に整列しているので、得られた画像が、良質のデータを提供して、本発明の方法の残りのステップを実行する。この立体画像又はマルチプル画像を用いて、毛髪の座標位置を計算するために用いることができる。次いで、前記体表面上の毛髪と合致しない、計算された座標位置をもつ画像を除去することができる。代替的に、本発明のシステム及び方法は、多数のカメラ(又はその他の画像取得デバイス)、又はパノラマ画像を含む、様々な角度からマルチ画像をつくる1台のカメラを用いることができる。カメラは、手動で、又は用いたシステムがロボットシステムであれば、ロボットの補助により動かすことができる。この選択的なカウントを精緻するステップは、必要に応じて用いることができる。
本発明の別の態様では、毛包単位のカウント方法は、特許文献9に記載の方法などの毛包単位を分類する方法と併せて使用することがきる。この方法では、対象の毛包単位を、カウントし、分類をすることができる。特許文献9に記載の毛包単位を分類する方法は、毛包単位(FU)が存在する体表面の画像を取得するステップ、及びこのような画像を処理して、FUのセグメント化した画像をつくるステップを具える。1つの好ましい態様では、セグメント化した画像は、二値画像であるが、上記のマルチ−モデル画像であってもよい。FUのセグメント化した画像から、FUの毛髪の外周を取り巻く輪郭線を計算することができる。例えば、F1について言えば、この輪郭線は、一般的に、単一毛髪の外側表面に沿った一本の線又は面である。セグメント化された画像によって、FUの概略プロファイルを計算もすることもできる。概略プロファイルを、画像の輪郭線中の凹面を無視している。
次いで、この概略プロファイルを例えば、輪郭線と比較して、概略プロファイル中の各欠陥数を決定する。概略プロファイル中の欠陥は、例えば、輪郭線からそれた概略プロファイル中の各凹面として定義することができる。F2の例では、「V」字形に形成された凹面により表される概略プロファイル中に1つの欠陥が存在する。F3では、通常、共通の頂点を共有している二つのV字形状であって、両V字の一方の側を形成する1本のラインを有する形状になる。F3の概略プロファイルは、一般的な、三角形にもなる(F2より広い三角形になる)。したがって、F3は、2つの欠陥をもつ。それゆえ、欠陥数は、毛包単位のタイプに直接関連性があるように見える。この場合、FUの毛髪数は、欠陥数から1を引いた数に等しい。
毛包単位を分類する方法の1態様では、概略プロファイルは、周知の画像処理技術にしたがって、凸包輪郭を計算することにより決定できる。概略プロファイルを決定するのに適したその他の技術も、ここに開示されている本発明の範囲に含まれる。
毛包単位を分類する方法の別の態様では、関心のあるFUを追跡して、画像取得デバイスとFUの間の相対的な動きを調節する多順が提供されている。カメラなどのマルチ画像取得デバイスを調整して画像を得ることができる。1つの代表的な態様では、第一と第二のカメラが立体画像を提供する。この立体画像を用いて、体表面の動き及び/又はカメラの動きを調整して第一と第二の画像内の関心のあるFUを追跡することができる。加えて、第一と第二のカメラを、FUの毛髪の一般的な方向に整列させる。このような方法で、FUを分類する方法の残りのステップを実行する良質のデータを提供する画像が得られる。
加えて、毛包単位を分類する方法は、皮膚の表面下に集まっている毛髪をもつ毛包単位に合わせて調整することもできる。このような場合、この画像は関心のあるFUの輪郭線の連続した部分でない1本の毛髪の画像を含むであろう。この状況を説明するために、この別の毛髪が、関心のあるFUの連続している輪郭線を規定する毛髪からの最大距離内にあるかどうかを決定する。この最大距離は、別のFUからの毛髪であるように見えるものが、関心のあるFUと同じFUの一部である可能性が高い距離になるように設定する。次いで、関心のあるFUの分類は、関心のあるFUの毛髪から最大距離内にある任意の付加的な毛髪を考慮する。
さらに、毛包単位を分類する方法を、単一の毛髪であるようにみえるが、実際には多数の毛髪である毛髪画像用に調整することもできる。したがって、欠陥の数を決定することは、正確な分類を提供するものではない。なぜなら、合わさった毛髪は、関心のあるFUに実際に存在するよりも概略プロファイルの欠陥がより少なくなる(したがって、より少ない毛髪)からである。この状況を説明するために、この方法は画像を用いて関心のあるFU間の毛髪を表している各物体の幅(内径)を決定する。次いで、毛髪を表している各物体の幅が、単一の毛髪の幅として考えられるの最大値を超えるかどうかを決定し、これらを比較する。FUを分類するステップは、上記の比較と毛髪を表す物体の幅が考えられる幅の最大値を超えるかどうかの決定の結果と、その幅がどのくらいであるかに基づくものでもよい。例えば、この幅が、考えられる幅の1〜1/2と2倍の間であれば、分類のステップは、この物体と2本の毛髪とするであろう。同様な、この近似を3、4又は5本の毛髪に行うことができる。
FUsをカウントする方法を、FUを分類する方法と併せて用いる場合、カウント方法は、分類方法の前、後、又は同時に行うことができる。
本発明の別の態様では、毛包単位をカウントする(及びいくつかの実施例では、分類もする)システムが提供されている。本発明の1つの代表的な態様では、自動システムを用いたFUをカウントするシステムは、画像取得デバイスと画像プロセッサを具える。画像取得デバイスの1例は、市販されているカメラなどの1以上のカメラである。カメラの代わりに、画像記録装置(カムコーダなど)又はその他のいずれかの画像取得デバイスであってもよい。立体撮像デバイスは、本発明とうまく動作するが、立体撮像は、かならずしも必要ではない。同様に、画像取得デバイスは、デジタルデバイスであることが好ましいが、必ずしもそうでなくてもよい。例えば、本発明の方法でさらに使用するために、デジタル化し得る当初の画像を取得するアナログTVカメラであってもよい。画像プロセッサは、本発明のFUをカウントする(及び、選択的に分類する)方法を実行するようにプログラムされ、構成されたデバイスを具える。好適な画像プロセッサの限定されない1例は、いずれかの種類のパーソナルコンピュータ(「PC」)である。代替として、画像プロセッサは、特定用途向け集積回路(Application Specific Integrated Circuits)(ASIC)又はフィールド・プログラマブル・ゲート・アレイ(FPGA)を具える。
本発明の別の態様では、本発明のFUをカウントする(及び、選択的に、分類する)方法を実行するようにプログラム化し、構成された画像プロセッサを提供する。好適な画像プロセッサは、本発明の範囲内に入る。1つの代表的な態様では、毛包単位をカウントする画像プロセッサは、皮膚及び毛包単位を含む体表の画像を受入れて、画像をフィルタにかけて(フィルタリングして)バックグラウンド成分を除去し、画像処理をしてセグメント化した画像をつくり、ノイズフィルタにかけて関心のある毛包単位に対応しない物体を除去するように構成されている。本発明のこのような画像プロセッサは、毛髪トリートメントのプラニング用、毛包単位の採取及び/又は移植(手動で、又は半自動で、自動で、又はロボットで)用、の様々なシステムと併用して用いることができ、並びに毛包単位をカウント又は分類する様々なシステムと併用して用いることができ、代替的に、このようなシステムのいずれにも取り込むことができる。
自動化したシステムを用いる毛包単位をカウントするシステムは、前記背景技術に記載したいずれかの移植システムと併用して用いることができ、また、これらを具えることがある。例えば、特許文献8に記載したシステムは、本発明の毛包単位をカウントする方法を実行するようにプログラム化し構成したものである。このシステムのカメラは、立体のデジタル画像を提供することができ、ロボットアームは、カメラを適切に位置決めして方向付けることができる。関心のある領域の選択は、システムのユーザインタフェイス(モニタ及び入力装置を備えるコンピュータなど)でオペレータによって行うことができ、或いは、コンピュータ及び/又はコントローラのプログラミングを介して自動化することもできる。
したがって、毛包単位をカウント(及びある態様では、分類も)するシステム及び方法が提供されている。その他の及び更なる態様、本発明の目的、利点は、添付図面を考慮して読むと、以下の詳細な説明から明白になるであろう。
本発明は、添付の図面に例示的に限定することなく記載されており、同じ参照番号は同様の構成要素を示す。
図1は、複数の毛包単位をもつヒト頭皮の代表的な区分のデジタル画像を印刷した図である。 図2は、フィルタをかけて皮膚成分を除去した後の図1のデジタル画像を印刷した図である。 図3は、画像をセグメント化した後の図2のデジタル画像を印刷した図である。 図4は、セグメント化した画像にモルフォロジィオープン演算を行った後の図3のデジタル画像を印刷した図である。 図5は、画像にノイズフィルタリングを施した後のデジタル画像を印刷した図である。 図6は、本発明の代表的な1態様による毛包単位のカウント方法の代表的なフローチャートを示す図である。
最初に図1を参照すると、本発明の毛包単位をカウントするシステム及び方法は、一般的には、適宜の画像取得デバイスを用いて、体表面11の画像10を取得することから始まる。1つの代表的な態様では、このような画像取得デバイスは、1又はそれ以上のデジタルカメラである。代替的に、その他の好適な撮像デバイスを用いることができる。画像取得デバイスは、デジタルカメラにより生成されたものなどのデジタル画像を生成することができ、又は(このプロセスにおけるどの時点でも、デジタル画像に転換できる、又はできない)アナログ画像を生成することができる。代表的な実施例のこの記載において、画像10は、デジタルカメラでとったデジタル画像であるが、本発明は、デジタルカメラで取った画像に限定されない。画像記録装置(カムコーダなど)又はその他の画像取得デバイスもカメラの代わりになり得る。立体撮像デバイスが、現在は好まれるが、立体撮像は必ずしも必要ではない。同様に、画像取得デバイスは、デジタルデバイスであることが好まれるが、必ずしもデジタルデバイスである必要ではない。このデバイスは、アナログTVカメラであってもよく、このカメラで初期画像を取得して、これを処理して本発明の方法でさらに使用するデジタル画像にするようにしてもよい。体表面11は、各々が皮膚12と1本以上の毛髪13をもつ複数の毛包単位14を有する(図では、数個の毛包単位14と毛髪13のみに符号を付している)。図1の写真は、ヒト頭皮11の区分の画像であるが、体表面11は、毛髪のある身体のどの領域でもよいことがわかる。デジタル画像10は、頭皮11上の様々なタイプの毛包単位14(FU)を示す。
全内容が本明細書に取り込まれている特許文献8の毛髪移植システムに記載されているカメラなどの自動化毛髪移植システムの1以上のカメラを用いて、画像10を取得することができる。1台のカメラからの画像を用いて、デジタル画像10を生成することができる。代替的に、デジタル画像10を取得するプロセスは、カメラの位置を調整して、関心のある毛包単位のカウントに用いた画像を改良した、より複雑なプロセスにより取得することもできる。この代表的なプロセスでは、第一のカメラと第二のカメラを用いている。カメラは、カメラを向けている体表面の立体画像を得るように、配置して、構成されている。カメラは、先ず、毛髪があることが分かっている体表面に向けて配置する。第一の画像が第一のカメラから取得され、関心のある毛包単位(FU)が、第一の画像内から選択される。第一のカメラ(立体カメラによって提供されるようにわずかに異なる角度であることを除いて)と同じ体表面の領域についての第二の画像を第二のカメラから取得し、関心のある同じFUを第二のデジタル画像内から選択する。関心のあるFUは、システムのオペレータにより、又は選択アルゴリズムを用いたシステムにより自動的に画像内で選択できる。移植システムは、ここで、第一と第二のカメラから得た第一と第二の画像内の関心のあるFUを追跡できる。この追跡手順を用いて、カメラをFUをカウントするための画像を取得するように配置しているときに、体表面の動きとカメラの動きを調節することができる。
次に、第一と第二のカメラを動かして、FUの毛髪の一般的な方向に整列するような方向にする。カメラが動くと、さらなる画像を得ることができ、このシステムで処理して、関心のあるFUを追跡することができる。カメラをFUの毛髪と整列させることにより、FUのカウントするためのより良い画像を得ることができる。カメラを所望の配置にすることにより、カメラが、毛包単位をカウントする方法の次のステップに用いる画像を取得できる。上記の記載は、厳格に例示のためのものであり限定ではない。マルチカメラなど、様々な複数画像を取得するデバイスを用いて、あるいは単一のカメラを用いて、パノラマ画像を含めて、様々な角度で複数の画像を撮影して、関心のあるFUを追跡することができる。前記に説明したように、画像取得デバイスは、デジタル画像取得デバイスである必要はなく、最初に取得した画像は、デジタル画像である必要はない。カメラの動きは、用いたシステムの種類に応じて、ロボットシステムによるか、又は、手動により制御することができる。
画像10を取得するとき、関心のある領域19は、画像10の全体であってもよく、又は全画像10の全体の中で選択したサブエリアであってもよい。本明細書に記載した例では、関心のある19の選択した領域は、画像10と同一の広がりをもつ。しかしながら、関心のある19の選択した領域は、画像10のサブセットエリアであってもよい。関心のある19の領域は、オペレータが選択することができ、又はこのシステムにより自動的に選択することもできる。画像内で関心のある領域を、選択した画像19と呼ぶことがある。したがって、関心のある19領域又は選択した画像19のさらなる参照は、全画像10の又は、選択したサブエリア、又は単に、取得した画像10の特有の結果を意味する。
関心のある毛包単位をカウントする全体過程での正確さと効率を改善するために取得した画像からバックグラウンドの成分を除去することは有益であることが分かっている。一般的には、このようなバックグラウンド成分は、皮膚に対応している。皮膚に加えて、これらのバックグラウンド成分は、例えば、(頭皮の)ふけ、又は小さい血液の染みなどのさらなる微小物体を含むことがある。したがって、皮膚(又は皮膚成分)のフィルタリング又は除去への言及は、皮膚のみに限定されず、さらなる小さいバックグラウンド成分又は物体を含む:このような言及もバックグラウンド成分のフィルタリング又は除去を意味するべきである。皮膚などのバックグラウンド成分を画像からフィルタリングする適切な方法は本発明の範囲に含まれる。
1つの代表的な態様では、皮膚表面がバックグラウンドである場合、皮膚12のフィルタリングはバックグラウンド減算法により行われる。バックグラウンドサ減算法の代表例の1つは、入力画像から基準画像(又は入力画像の不鮮明なバージョン)を差し引くステップを具える。入力画像から入力画像の不鮮明バージョンを差し引くことにより、不均一照明と皮膚色調の修正を、同時に行うことができる。不鮮明画像は、選択した画像19(入力画像)の局所平均値を計算することにより形成できる。局所平均値は、ガウスカーネルで入力画像を入れ込むことにより効率的に計算できる。このフィルタリング手順は、不鮮明(ぼけ)処理に用いたガウスカーネルの特性を調整することにより、特定の患者、周囲の照明、又は、その他の臨床状況にあわせて、調整することができる。要約すれば、上述した例のバックグラウンド減算法は、以下のとおりである:
(1)不鮮明な画像=ガウス形に入れ込んだ入力画像(注:ガウス形は、その他の適当なカーネルで置き換えられる。)
(2)バックグラウンドのない画像=(入力画像)−(不鮮明な画像)
本発明で用いることのできるその他の代表的なバックグラウンド減算法は、分散(variance)フィルタ、エッジ検出法、又は、色彩データを用いた皮膚色調キーングオフである。
皮膚12をフィルタをかけて選択した画像19から除去するために用いるこのとのできるフィルタリングステップのもう1つの代表的な態様は、帯域通過フィルタリングである。1つの代表的なアプローチを図2に示す。図2は、当初選択した画像19を帯域通過フィルタを用いてフィルタ除去した後のデジタル画像を印刷したものである。帯域通過フィルタは、当業者に知られている好適なフィルタを含む。帯域通過フィルタリングは、選択した画像を2度、低域通過フィルタにかけ、次いでフィルタして得られた2つの画像を差し引くことにより達成される。帯域通過フィルタは、第一のカーネルをもつ低域通過フィルタを用いる第一のフィルタリングステップと、第二のカーネルをもつ低域通過フィルタを用いる第二のフィルタリングステップを具える。第一のカーネルは、第二のカーネルとは異なることが好ましい。本発明の1つの態様では、低域通過フィルタのカーネルは、ガウスカーネルであってもよい。第一のガウスカーネルは、実質的に、次の特性をもつ:サポート21ピクセルと、1.0のシグマである。第二のガウスカーネルは、実質的に次の特性をもつ:サポート21ピクセルと、0.075のシグマ、である。
次に、皮膚12(上述したその他の小さいバックグラウンド成分の除去を含むことがある)を除去した後、その結果得られた画像を、周知の画像処理技術を用いて処理し、セグメント化した画像にする。セグメント化した画像の1例は、二値画像である。図3は、画像をセグメント化した後の二値画像の写真である。上述したように、セグメント化した画像は、二値画像に限られず、多様であり得る、すなわち、ほくろ、血液、毛髪及び/又はその他の特徴に対応する2以上の異なる画像コードに分けられる。セグメント化した画像は、改良されたより鮮明なFUの画像を提供するが、しかし、さらなるフィルタリングを必要とするある種のノイズ(例えば、毛髪や特定の毛髪に対応しない物体やアーティファクト)を含むようである。FUを含むセグメント化した画像を得る前に、上述のように、バックグラウンド成分を除去することは、セグメント化した画像中に残っているノイズの量を減少させるのみならず、関心のある毛髪に対応しないその他全ての物体をフィルタリングする残りのステップを、簡素化しより効率的にすることがわかった。
セグメント化した画像中にまだ残っている全てのノイズは、同時にフィルタ処理をするか又は幾つかのステップに分けることができる:例えば、先ず、小物体(例えば、残っているより小さい血液のしみ、又は残っているよりふけの大きいもの)に対応する「小ノイズ」をフィルタ除去し、次いで、より大きい物体(切断されていない長い毛髪、又は頭皮上に残る以前に切断された毛髪など)に対応する「大ノイズ」をフィルタ除去することができ、その逆もまた同様にできる。例えば、頭皮上に残る切断された毛髪の毛包で、画像上に現れるものは、「関心のあるFU」とはみなさない、したがって、ノイズとしてフィルタ除去する必要がある。セグメント化した画像からの「小ノイズ」のフィルタリングは、本明細書では、モルフォロジィオープン演算と称する。モルフォロジィオープン演算は、当業者に公知の標準的な画像処理技術を用いて行うことができる。図4は、モルフォロジィオープン演算をした後のその結果得られた代表的な画像を示す。図4に示すように、この画像は、毛包単位14の毛髪13に対応しない物体をまだ含んでいる。長すぎたり、大きすぎたり、ランダムな向きであり、及び/又は、毛髪をおそらく含まない位置にあるように見える物体が存在する。
したがって、さらなるノイズフィルタリングを、モルフォロジィオープン演算により生じた画像に対して行うこともある。さらなるノイズフィルタリングは、毛包単位14に対応する基準を満たさないより大きい物体を除去する。図4にもどって参照すると、物体22は、画像19中のその他の物体より長く、より大きい面積をもつように見える。したがって、この物体は、おそらく毛髪13ではなく、それゆえ、画像からフィルタ除去すべきであると思われる。図5のノイズフィルタリングステップの後の画像の写真を参照すれば、物体22が、画像からフィルタ除去されていることがわかる。ノイズフィルタリングステップは、限定されないが、長さ、面積、方向、及び/又は位置を含む画像中の物体の広い範囲の特徴に基づいてフィルタ除去することができる。物体の画像の特徴が、毛髪に対応するか否かは、毛髪であることが分かっている選択された画像中の物体の画像についての同じ特徴の全体的な性質との統計的な比較によって決めることができ、あるいは代替え的に、この特徴は患者のサンプル又はその他のデータに基づく所定の基準と比較することができる。例えば、ノイズ除去フィルタは、特定の患者の体表面上のその他の毛髪のサンプルの特徴、又は患者サンプル上の毛髪サンプルの特徴、又は試験、研究に基づいた公知の所定のデータに基づくことができる。
要約すれば、セグメント化した画像からの全てのノイズフィルタリングは、様々な基準に基づいて、必要に応じて、同時に又は段階的に行うことができる。ノイズフィルタリング後の画像中に残っている各物体を関心のある毛包単位としてカウントする。したがって、この方法を毛包単位のカウントに用いることができる。
毛包単位をカウントする上述の代表的な方法の基本的なステップを、図6のフローチャートに要約した。図6は、単に、上記の方法のフローチャート表示したものである。ステップ100で、毛包単位を含む画像を取得する。ステップ110では、取得した画像を、上述のように、フィルタにかけてバックグラウンド成分を除去する。ステップ120では、バックグラウンド成分のない画像を処理して、セグメント化した画像をつくる。ステップ130では、ノイズフィルタリング手順を行って、アーティファクトや関心のある毛髪に対応しない物体を除く。上述のステップの結果、残っている物体の数をカウントして、画像(又は画像の選択されたサブエリア)中の毛包単位の数を決定することができる。所望により、FUを標識することもできる。図6は、さらなるカウント及び標識化のステップ140を示す。
本発明の別の態様では、毛包単位をカウントする方法は、特許文献9に記載した方法などの毛包単位の分類方法と併せて用いることができる。この方法では、関心のある毛包単位のカウントと分類を両方行うことができる。毛包単位(FU)を分類する方法は、毛包単位(FU)が存在する体表面の画像を取得するステップと、この画像を処理してFUのセグメント化した画像をつくるステップを含む。1つの好ましい態様では、セグメント化した画像は、二値画像であるが、上述したように、マルチモード画像でもよい。FUのセグメント化した画像から、このFUの毛髪の外周の輪郭線を計算できる。例えば、F1では、輪郭線は、一般的には、単一の毛髪の外表面に沿った一本の線又は面である。比較的に真っ直ぐな毛髪では、この輪郭線は、矩形のように見える。F2では、毛髪は典型的には輪郭がブロック字体「V」に見える「V」字形を形成する。
セグメント化した画像によって、FUの概略プロファイルを計算をすることができる。概略プロファイルは、画像の輪郭線中の凹面を無視している。例えば、F2では、「V」の上部の一方の側から「V」の頂点へ、そして「V」の上部の他方の側へ戻る輪郭線の下降によって形成された、輪郭線の凹面又は「内側に湾曲した」部分がある。その結果生じた概略プロファイルが、一般的に、FUの輪郭線の「V」の頂点を辿る三角形の頂点の一つを有する三角形に見えるように、この計算されたプロファイルはこの凹面を無視する。
概略プロファイルを、輪郭線と比較して、概略プロファイル中の「欠陥」数を決める。概略プロファイル中の欠陥は、たとえば、輪郭線からそれた概略プロファイル中の各凹面と定義することもできる。F2の例では、「V」字により形成された凹面により表される概略プロファイル中に1つの欠陥がある。F3では、この輪郭は、通常、共通の頂点を共有している二つのV字形状であって、両V字の一方の側を形成する一本のラインを有する形状になる。F3の概略プロファイルは、一般的な三角形をしている(F2より広い幅の三角形であり得るが、)。したがって、F3は、2つの欠陥をもつ。したがって、欠陥の数が、毛包単位のタイプと直接的な関係をもつことがわかる。この場合、FUの毛髪の数は、欠陥数から1を引いた数に等しい。
毛包単位を分類する方法の1つの限定されない代表的な態様では、概略プロファイルは、公知の画像処理技術に従って、凸包輪郭線を計算することによって決定してもよい。概略プロファイルを決定するためのその他の適した技術も、開示した本発明の範囲内である。
毛包単位を分類する方法の別の限定されない代表的な態様では、関心のFUの追跡して、画像取得デバイスとFUの間の相対的な動きを調節する手順を提供している。2台以上のカメラ又はその他の画像取得デバイスを配置して、画像又はマルチ画像を得ることができる。1つの代表的な態様では、立体画像を用いて、体表面の動き及び/又はカメラの動きを調整して、第一と第二のカメラの画像内の関心のあるFUを追跡することもできる。加えて、第一と第二のカメラを、このFUの毛髪の一般的な方向に整列させる。この方法では、FUを分類する方法の残りのステップを行うための良質のデータを提供する画像が得られる。上記は、例示として提供されるものであり、限定するものではない。それゆえ、2台のカメラの使用や、立体画像は必ずしも必要ではなく、追跡手順は、多数のカメラ、並びに、パノラマ画像を含む様々な角度からのマルチ画像を取ることができる1台のカメラなどのマルチ画像取得デバイスにより実行することができる。カメラは、手動で動かすこともでき、又は用いるシステムがロボットシステムである場合、ロボットの補助で動かすこともできる。
毛包ユニットを分類する方法は、皮膚の表面の下に集まっている毛髪を有する毛包単位を調節することもできる。この場合、この画像は、関心のあるFUの輪郭線の連続部分ではない毛髪の画像を含む。この状況を説明するために、別の毛髪が、関心のあるFUの連続している輪郭線を規定する毛髪から最大距離内にあるかどうかを決定する。この最大距離は、別のFUからの毛髪であるように見えるものが、関心のあるFUと同じFUの一部であるような距離になるように設定する。次いで関心のあるFUの分類は、関心のあるFUの毛髪から最大距離内にある任意の付加的な毛髪を考慮する。
毛包単位を分類する方法は、1本の毛髪であるようにみえるが、実際は、複数の毛髪である毛髪画像を調節することもできる。画像をFUの毛髪に対してある角度で撮像した場合、この毛髪の画像は、合わさって1本の毛髪のように見える。したがって、この合わさった毛髪が、概略プロファイル中により少ない欠陥を(したがって、より少ない毛髪数)生じるため、欠陥の数を決定することは、正確な分類を提供することにはならない。この状況を説明するために、この方法は、この画像を用いて関心のあるFUの毛髪を表示する各物体の幅(又は内径)を決定する。次に、毛髪を表す各物体の幅が、1本の毛髪と考えられる最大幅を超えるか否かを決定し、次いで、それらを比較する。FUを分類するステップは、毛髪を表す物体の幅が、考えられる幅の最大値を超えるかどうか、どの程度であるかという決定にも基づいている。例えば、この幅が、期待した幅の1〜1/2及び2倍の間である場合は、分類のステップは、このような物体は2本の毛髪と見積もられる。同じような概算を、3、4、又は5本の毛髪にも行うことができる。
FUsをカウントする方法は、分類する方法の前、後に、又は同時に実行することができると理解すべきである。
本発明のさらに別の態様では、毛包単位をカウントするシステム(及び、場合によっては、FUを分類するシステム)が提供されている。代表的な態様としては、このシステムは、画像取得デバイス、及び画像プロセッサを含む。画像取得デバイスの限定されない例では、市販で入手できるカメラなどの1又はそれ以上のカメラを含む。画像取得デバイスは、画像を取得することができ、画像記録装置(カムコーダなど)又はその他の画像取得デバイスであってもよい。立体撮像デバイスが現今好まれているが、立体撮像デバイスである必要はなく、本発明はそれに限定されない。同様に、画像取得デバイスが、デジタルデバイスであることが好まれているが、必ずしもデジタルデバイスである必要ではない。例えば、本発明の方法でさらに使用するために、デジタル化し得る当初の画像を取得するアナログTVカメラであってもよい。上記システムで使用される画像プロセッサは、本発明によりFUをカウントする(及び、選択的に、分類する)方法を実行するようにプログラムされ、構成されたデバイスも含む。例示の目的であって、限定されないが、適切な画像プロセッサは、いずれかの種類のパーソナルコンピュータ(「PC」)である。代替的に、画像プロセッサは、特定用途向け集積回路(Application Specific Integrated Circuits)(ASIC)又はフィールド・プログラマブル・ゲート・アレイ(FPGA)を具えていてもよい。1つの代表的な態様では、毛包単位(FUs)をカウントするシステムは、画像取得デバイス、及び、画像プロセッサを具え、この画像プロセッサは、画像取得デバイスから得た皮膚とFUsを含む画像をフィルタ除去して、バックグラウンド成分を除去して;画像を処理してセグメント化した画像を生成し;及び関心のあるFUsに対応しない物体を除くように構成されている。
本発明の別の態様によれば、毛包単位をカウントする画像プロセッサが提供されている。このプロセッサは、上述した適当なデバイスをも具えている。この画像プロセッサは、毛包単位をカウント(及び選択的に分類)する方法を実行するように構成されたソフトウエアでプログラムされている。1つの代表的な態様では、毛包単位をカウントする画像プロセッサは、皮膚と毛包単位を含む体表面の画像を受け、この画像をフィルタリングして、バックグラウンド成分を除去し、この画像を処理してセグメント化して、ノイズフィルタリングを実行して、関心のある毛包単位に対応しない物体を除去するように構成されている。本発明にかかるこのような画像プロセッサは、個別に提供して、毛髪処理のプラニングと併せて、あるいは、毛包単位を採取及び/又は移植する様々なシステムと併せて、同様に、毛包単位をカウント又は分類する様々なシステムと併せて、提供することができ、代替的に、上述のシステム及びデバイスのいずれかに一体化させることもできる。
画像取得デバイスは、個別に提供することができ、又は固定位置に取り付けることもでき、又は、ロボットアーム、又はその他の制御可能な運動装置に取り付けることもできる。ロボットアーム又は運動装置は、ロボットアーム又は運動装置の動きを制御するように、構成されたコントローラに動作可能に連結することができる。このコントローラは、画像取得装置により取得された画像又はデータに基づいてロボットアーム又は運動装置の動きを制御するように構成されたコントローラで画像プロセッサからの画像とデータを受けて、処理することができる。加えて、このシステムは、毛髪採取及び/又は移植用器具をも具えていてもよい。
本明細書に記載した毛包単位をカウント(及び分類)するシステム及び方法もいずれも特許文献7及び8に記載の毛髪を採取及び移植するシステム及び方法と併せて用いることができる。
上に説明し記載した本発明の態様は、様々な改良や代替の形式が可能であり、本発明は、一般的に、本明細書に記載された特定の実施例と同様に、開示された特定の形式又は方法に限定されるものではなく、逆に、添付した請求の範囲内の全ての修正、均等物、及び代替物をカバーすると理解されるべきである。限定されない例示として、本発明はロボットアームを具えるロボットシステムの使用に制限されず、他の自動化、半自動化システムを利用してもよいことが当業者に理解されるであろう。さらに、本発明の毛包単位をカウントするシステム及び方法は、個別の自動化移植システムと共に、又は手動移植手順とともに使用する個別のシステムにすることができる。

Claims (31)

  1. 毛包単位(FUs)をカウントする方法において:
    皮膚とFUsを含む体表面の画像を取得するステップと;
    前記画像をフィルタ処理を行って、バックグラウンド成分を除去するステップと;
    前記画像を処理して、セグメント化した画像を生成するステップと;
    前記セグメント化した画像のノイズフィルタ処理を行って、関心のあるFUsに対応しない物体を除去するステップと;
    を具える方法。
  2. 前記画像が、デジタル画像である、請求項1に記載の方法。
  3. バックグラウンド成分を除去するステップが、バックグラウンド減算法を用いて達成される、請求項1に記載の方法。
  4. 前記バックグラウンド減算法が、不鮮明画像を計算するステップと、前記取得した画像から前記不鮮明画像を引くステップを具える、請求項3に記載の方法。
  5. 前記不鮮明画像を、前記取得画像をガウスカーネルを用いてたたみ込むことにより計算した、請求項4に記載の方法。
  6. 前記ガウスカーネルが、
    特定の患者、
    周囲の照明状況、及び、
    その他の臨床症状、
    の1又はそれ以上用に調整される、請求項5に記載の方法。
  7. 前記バックグラウンド減算法が、分散(variance)フィルタリングを具える、請求項3に記載の方法。
  8. 前記バックグラウンド減算法が、エッジ検出処理を具える、請求項3に記載の方法。
  9. 前記バックグラウンド成分の除去が、帯域通過フィルタを用いて達成される、請求項1に記載の方法。
  10. バックグラウンド成分を除去するステップが、前記取得した画像から前記皮膚及びその他の小物体に対応する成分を除去するステップを具える、請求項1に記載の方法。
  11. バックグラウンド成分を除去する前記フィルタリングステップが、選択した画像を2回低域通過フィルタリングし、次いで、前記取得した画像から、フィルタをかけた2つの画像を差し引くステップを具える、請求項1に記載の方法。
  12. バックグラウンド成分を除去する前記フィルタリングステップが、前記画像が、第一のカーネルを有する低域通過フィルタを用いてフィルタをかける第一のフィルタステップと、前記画像が第二のカーネルを有する低域通過フィルタを用いてフィルタをかける第二のフィルタステップを具える、請求項1に記載の方法。
  13. 前記第一のカーネルが、実質的に前記次の特性:サポート21ピクセル、及び1.0のシグマ:を有するガウスカーネルである、請求項12に記載の方法。
  14. 前記第二のカーネルが、実質的に前記次の特性:サポート21ピクセル、及び0.75のシグマ:を有するガウスカーネルである、請求項12に記載の方法。
  15. 請求項1に記載の方法であって、さらに:
    前記第一の取得した画像に幾何学的対応する少なくとも1以上のさらなる画像を取得するステップと:
    前記第一の画像、及び少なくとも1つのさらなる画像を用いて毛髪の前記座標位置を計算するステップと;
    前記体表面上の毛髪と一致しない計算された座標位置を有する毛包単位をフィルタリング除去するステップと、
    を具える方法。
  16. 関心のあるFUsをカウントするステップをさらに具える、請求項1に記載の方法。
  17. 前記ノイズフィルタリングステップが、前記取得した画像内に、平均物体サイズと異なる面積を有する物体をフィルタ除去するステップを具える、請求項1に記載の方法。
  18. 前記特性が、面積、位置、及び方向の中の1以上を含む、請求項1に記載の方法。
  19. 前記ノイズフィルタリングステップが、体表面上の毛髪のサンプリングに基づいて毛髪の特性に対応しない物体をフィルタ除去するステップを具える、請求項1に記載の方法。
  20. 前記ノイズフィルタリングステップが、所定のデータに基づいて毛髪と期待される特性に対応しない特性の物体をフィルタリング除去するステップを具える、請求項1に記載の方法。
  21. 請求項1に記載の方法が、さらに:
    前記FUの第一の画像を取得するステップと;
    前記第一の画像から前記FUの位置を決定するステップと;
    前記FUの第二の画像を取得するステップと;
    前記第二の画像から前記FUの位置を決定するステップと、
    によりカウントされるFUを追跡するステップを具える、方法。
  22. 前記FUから広がっている毛髪の数に基づいて、FUを分類するステップをさらに具える、請求項1に記載の方法。
  23. 体表面上の毛包単位(FUs)をカウントするシステムにおいて:
    画像取得デバイス;及び
    画像プロセッサであって、
    前記画像取得デバイスから得た皮膚とFUsを含む画像をフィルタ処理して、バックグラウンド成分を除去し;
    前記画像を処理して、セグメント化した画像を生成し;
    前記セグメント化した画像をノイズフィルタにかけて、関心のあるFUに対応していない物体を除去するように構成した画像プロセッサ;
    を具えるシステム。
  24. 前記システムが、ロボットシステムである、請求項23に記載のシステム。
  25. 前記画像取得デバイスを取り付けたロボットアームをさらに具える、請求項24に記載のシステム。
  26. 前記ロボットアームと前記画像プロセッサに動作可能に連結されたコントローラをさらに具える、請求項25に記載のシステム。
  27. 前記画像プロセッサがパーソナルコンピュータである、請求項23に記載のシステム。
  28. 画像取得デバイスが1又はそれ以上のカメラを具える、請求項23に記載のシステム。
  29. 毛包単位(FUs)をカウントする画像プロセッサにおいて、当該プロセッサが、
    皮膚とFUsを含む体表面上の画像を受け入れて、
    前記画像をフィルタにかけて、バックグラウンド成分を除去し、
    前記画像を処理して、セグメント化した画像を生成して、
    ノイズフィルタリングを実行して、関心のあるFUsに対応しない物体を除去する;
    ように構成されている画像プロセッサ。
  30. さらに、FUsから広がる毛髪数に基づいて、FUsを分類するように構成された、請求項29に記載の画像プロセッサ。
  31. 毛包単位(FUs)をカウントし、かつ、分類する方法において:
    体表面の画像を取得するステップと;
    前記画像をフィルタにかけて、皮膚に対応する成分を除去するステップと;
    前記画像を処理して、セグメント化した画像を生成するステップと;
    ノイズフィルタにかけて、関心のあるFUsに対応していない物体を除去するステップと;
    分類するべき各FUsの前記セグメント化した画像の輪郭線を計算するステップと;
    分類するべき前記FUsのセグメント化した画像の輪郭線中の凹面を無視した前記セグメント化した画像の概略プロファイルを計算するステップと;
    分類するべき前記FUsの概略プロファイル中の欠陥数を決定するステップと;
    決定された前記欠陥数に基づいて少なくとも部分的に前記FUを分類するステップと;
    を具える、方法。
JP2009525790A 2006-08-25 2007-08-24 毛包ユニットをカウントするシステム及び方法 Active JP4988847B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/467,283 US20080049993A1 (en) 2006-08-25 2006-08-25 System and method for counting follicular units
US11/467,283 2006-08-25
PCT/US2007/076728 WO2008024955A2 (en) 2006-08-25 2007-08-24 System and method for counting follicular units

Publications (2)

Publication Number Publication Date
JP2010501288A true JP2010501288A (ja) 2010-01-21
JP4988847B2 JP4988847B2 (ja) 2012-08-01

Family

ID=39107713

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009525790A Active JP4988847B2 (ja) 2006-08-25 2007-08-24 毛包ユニットをカウントするシステム及び方法

Country Status (9)

Country Link
US (3) US20080049993A1 (ja)
EP (1) EP2053973A4 (ja)
JP (1) JP4988847B2 (ja)
KR (1) KR101030853B1 (ja)
CN (1) CN101505659B (ja)
AU (1) AU2007286606B2 (ja)
BR (1) BRPI0715630A2 (ja)
CA (1) CA2661660C (ja)
WO (1) WO2008024955A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012205873A (ja) * 2011-03-29 2012-10-25 Jin Soo Kang 脱毛進行程度の測定方法
JP2020509865A (ja) * 2017-08-09 2020-04-02 キム、テフィKIM, Tae Hee 自動毛包分離装置
KR20200093238A (ko) * 2019-01-28 2020-08-05 주식회사 아프스 모발 식별 장치 및 이를 구비하는 자동 모낭 분리 장치

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8121361B2 (en) 2006-05-19 2012-02-21 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
US7477782B2 (en) * 2006-08-25 2009-01-13 Restoration Robotics, Inc. System and method for classifying follicular units
US8211134B2 (en) 2007-09-29 2012-07-03 Restoration Robotics, Inc. Systems and methods for harvesting, storing, and implanting hair grafts
US8152827B2 (en) 2008-01-11 2012-04-10 Restoration Robotics, Inc. Systems and methods for harvesting, storing, and implanting hair grafts
US9107697B2 (en) * 2008-06-04 2015-08-18 Restoration Robotics, Inc. System and method for selecting follicular units for harvesting
US8652186B2 (en) 2008-06-04 2014-02-18 Restoration Robotics, Inc. System and method for selecting follicular units for harvesting
US8545517B2 (en) * 2008-06-06 2013-10-01 Restoration Robotics, Inc. Systems and methods for improving follicular unit harvesting
US8848974B2 (en) * 2008-09-29 2014-09-30 Restoration Robotics, Inc. Object-tracking systems and methods
IN2012DN02415A (ja) 2009-09-17 2015-08-21 Carlos K Weskley
US9693799B2 (en) 2009-09-17 2017-07-04 Pilofocus, Inc. System and method for aligning hair follicle
US9314082B2 (en) 2009-09-17 2016-04-19 Pilofocus, Inc. System and method for extraction of hair follicle
US8998931B2 (en) 2011-10-17 2015-04-07 Pilofocus, Inc. Hair restoration
US9498289B2 (en) 2010-12-21 2016-11-22 Restoration Robotics, Inc. Methods and systems for directing movement of a tool in hair transplantation procedures
US8911453B2 (en) 2010-12-21 2014-12-16 Restoration Robotics, Inc. Methods and systems for directing movement of a tool in hair transplantation procedures
US8951266B2 (en) 2011-01-07 2015-02-10 Restoration Robotics, Inc. Methods and systems for modifying a parameter of an automated procedure
US8945150B2 (en) 2011-05-18 2015-02-03 Restoration Robotics, Inc. Systems and methods for selecting a desired quantity of follicular units
US9606209B2 (en) 2011-08-26 2017-03-28 Kineticor, Inc. Methods, systems, and devices for intra-scan motion correction
US8897522B2 (en) * 2012-05-30 2014-11-25 Xerox Corporation Processing a video for vascular pattern detection and cardiac function analysis
US20140028822A1 (en) * 2012-07-30 2014-01-30 Alex A. Khadavi Hair loss monitor
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
WO2014120734A1 (en) 2013-02-01 2014-08-07 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
US8983157B2 (en) * 2013-03-13 2015-03-17 Restoration Robotics, Inc. System and method for determining the position of a hair tail on a body surface
US9576359B2 (en) * 2013-11-01 2017-02-21 The Florida International University Board Of Trustees Context based algorithmic framework for identifying and classifying embedded images of follicle units
US10004462B2 (en) 2014-03-24 2018-06-26 Kineticor, Inc. Systems, methods, and devices for removing prospective motion correction from medical imaging scans
EP3188660A4 (en) 2014-07-23 2018-05-16 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10387021B2 (en) 2014-07-31 2019-08-20 Restoration Robotics, Inc. Robotic hair transplantation system with touchscreen interface for controlling movement of tool
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US10013642B2 (en) 2015-07-30 2018-07-03 Restoration Robotics, Inc. Systems and methods for hair loss management
US10568564B2 (en) 2015-07-30 2020-02-25 Restoration Robotics, Inc. Systems and methods for hair loss management
US10716515B2 (en) 2015-11-23 2020-07-21 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN109310320B (zh) * 2016-03-23 2022-09-06 宝洁公司 用于确定杂散纤维的成像方法
US20180189976A1 (en) * 2016-12-29 2018-07-05 Michal Kasprzak Analysis unit and system for assessment of hair condition
US9980649B1 (en) 2017-02-15 2018-05-29 International Business Machines Corporation Skin scanning device with hair orientation and view angle changes
KR102004724B1 (ko) * 2017-11-30 2019-07-29 (주)인트인 정자 검출 방법 및 이를 구현하기 위한 프로그램을 기록한 기록매체
KR102234006B1 (ko) * 2018-11-27 2021-03-31 김태희 모낭 정보 측정 및 수집 방법
KR102329641B1 (ko) * 2020-04-21 2021-11-22 (주)에임즈 모발 상태를 분석하는 방법 및 이를 이용한 모발 정보 제공 장치 및 시스템
WO2021215749A1 (ko) * 2020-04-21 2021-10-28 (주)에임즈 모발 정보 제공 방법 및 장치와 이를 위한 모근 분석 모델 생성 방법
CN112419355A (zh) * 2020-11-25 2021-02-26 复旦大学 基于角点检测的毛发图像中毛发计数方法
US11741600B2 (en) 2021-04-21 2023-08-29 Santosh Sharad Katekari Identifying follicular units
WO2023079563A1 (en) * 2021-11-08 2023-05-11 Spider Medical Ltd System and methods for performing a remote hair analysis

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4807163A (en) * 1985-07-30 1989-02-21 Gibbons Robert D Method and apparatus for digital analysis of multiple component visible fields
JPH03218735A (ja) * 1989-10-27 1991-09-26 Kanebo Ltd 毛成長測定方法
JP2002541973A (ja) * 1999-04-23 2002-12-10 ギルデンバーグ,フイリツプ・エル 毛髪移植法および装置
JP2006051210A (ja) * 2004-08-12 2006-02-23 Japan Research Institute Ltd 毛髪密度予測装置、毛髪密度予測方法、及びプロラム
JP2007260038A (ja) * 2006-03-28 2007-10-11 Taisho Pharmaceut Co Ltd 毛髪数の計測方法および発毛剤の効果の評価方法
JP4847586B2 (ja) * 2006-08-25 2011-12-28 レストレーション ロボティクス,インク. 毛包単位を分類するシステム及び方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2783033B2 (ja) * 1992-01-13 1998-08-06 日本電気株式会社 カラー画像の領域抽出方法および装置
US5331472A (en) 1992-09-14 1994-07-19 Rassman William R Method and apparatus for measuring hair density
US5782851A (en) 1996-04-10 1998-07-21 Rassman; William R. Hair transplantation system
US6517004B2 (en) 1995-12-18 2003-02-11 Metrologic Instruments, Inc. Automated system for identifying and dimensioning packages transported through a laser scanning tunnel using laser scanning beam indexing techniques
IT1292287B1 (it) 1997-04-24 1999-01-29 Roberto Luigi Costanzo Strumento chirurgico per il trapianto di capelli autologhi.
US5999639A (en) * 1997-09-04 1999-12-07 Qualia Computing, Inc. Method and system for automated detection of clustered microcalcifications from digital mammograms
US5895403A (en) 1997-10-17 1999-04-20 Collinsworth; Lonnie Rae Surgical cutting tool
CA2388886C (en) 1997-10-30 2009-10-20 Christopher R. King Automated hair isolation and processing system
US6720988B1 (en) 1998-12-08 2004-04-13 Intuitive Surgical, Inc. Stereo imaging system and method for use in telerobotic systems
FR2802678B1 (fr) 1999-12-21 2002-02-08 Oreal Systeme et procede d'analyse et de simulation previsionnelle de l'evolution temporelle d'une zone pileuse, et plus particulierement du cuir chevelu humain
US6585746B2 (en) 2000-04-20 2003-07-01 Philip L. Gildenberg Hair transplantation method and apparatus
US7127081B1 (en) 2000-10-12 2006-10-24 Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret, A.S. Method for tracking motion of a face
KR20030022094A (ko) 2001-05-24 2003-03-15 (주)휴먼디엔에이테크놀로지 모낭에 존재하는 새로운 제 2 케라티노사이트 성장인자유사체
US7217266B2 (en) 2001-05-30 2007-05-15 Anderson R Rox Apparatus and method for laser treatment with spectroscopic feedback
US20030095707A1 (en) * 2001-11-19 2003-05-22 Koninklijke Philips Electronics N.V. Computer vision method and system for blob-based analysis using a probabilistic pramework
US6949115B2 (en) 2003-10-14 2005-09-27 Southland Instruments, Inc. Polarized light analyzer
WO2006047502A2 (en) 2004-10-25 2006-05-04 Brigham And Women's Hospital Automated segmentation, classification and tracking of cell nuclei in time-lapse microscopy
EP1653219A1 (en) * 2004-10-26 2006-05-03 The Procter & Gamble Company Method and apparatus for examining human hairs
KR20050050061A (ko) * 2005-04-30 2005-05-27 조동욱 망진을 위한 얼굴내 특징 요소 추출
US20070078466A1 (en) 2005-09-30 2007-04-05 Restoration Robotics, Inc. Methods for harvesting follicular units using an automated system
US7962192B2 (en) 2005-09-30 2011-06-14 Restoration Robotics, Inc. Systems and methods for aligning a tool with a desired location or object
JP2009537231A (ja) 2006-05-19 2009-10-29 マコ サージカル コーポレーション 触覚デバイスを制御するための方法および装置
US7620144B2 (en) 2006-06-28 2009-11-17 Accuray Incorporated Parallel stereovision geometry in image-guided radiosurgery
US20080033455A1 (en) 2006-08-03 2008-02-07 Rassman William R Hair extraction device and method for its use
US8115807B2 (en) 2007-03-06 2012-02-14 William Rassman Apparatus and method for mapping hair metric

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4807163A (en) * 1985-07-30 1989-02-21 Gibbons Robert D Method and apparatus for digital analysis of multiple component visible fields
JPH03218735A (ja) * 1989-10-27 1991-09-26 Kanebo Ltd 毛成長測定方法
JP2002541973A (ja) * 1999-04-23 2002-12-10 ギルデンバーグ,フイリツプ・エル 毛髪移植法および装置
JP2006051210A (ja) * 2004-08-12 2006-02-23 Japan Research Institute Ltd 毛髪密度予測装置、毛髪密度予測方法、及びプロラム
JP2007260038A (ja) * 2006-03-28 2007-10-11 Taisho Pharmaceut Co Ltd 毛髪数の計測方法および発毛剤の効果の評価方法
JP4847586B2 (ja) * 2006-08-25 2011-12-28 レストレーション ロボティクス,インク. 毛包単位を分類するシステム及び方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012205873A (ja) * 2011-03-29 2012-10-25 Jin Soo Kang 脱毛進行程度の測定方法
JP2020509865A (ja) * 2017-08-09 2020-04-02 キム、テフィKIM, Tae Hee 自動毛包分離装置
KR20200093238A (ko) * 2019-01-28 2020-08-05 주식회사 아프스 모발 식별 장치 및 이를 구비하는 자동 모낭 분리 장치
KR102324240B1 (ko) 2019-01-28 2021-11-11 주식회사 아프스 모발 식별 장치 및 이를 구비하는 자동 모낭 분리 장치

Also Published As

Publication number Publication date
US20080049993A1 (en) 2008-02-28
US8290229B2 (en) 2012-10-16
US20090052738A1 (en) 2009-02-26
AU2007286606B2 (en) 2010-07-29
AU2007286606A1 (en) 2008-02-28
US8199983B2 (en) 2012-06-12
US20120230561A1 (en) 2012-09-13
CN101505659A (zh) 2009-08-12
WO2008024955A2 (en) 2008-02-28
JP4988847B2 (ja) 2012-08-01
WO2008024955A3 (en) 2008-06-12
KR101030853B1 (ko) 2011-04-22
CN101505659B (zh) 2011-09-28
BRPI0715630A2 (pt) 2013-07-02
WO2008024955A9 (en) 2008-04-10
CA2661660A1 (en) 2008-02-28
EP2053973A4 (en) 2012-08-01
KR20090040336A (ko) 2009-04-23
CA2661660C (en) 2013-07-16
EP2053973A2 (en) 2009-05-06

Similar Documents

Publication Publication Date Title
JP4988847B2 (ja) 毛包ユニットをカウントするシステム及び方法
EP2054839B1 (en) System and method for classifying follicular units
JP5318946B2 (ja) 採取用の毛嚢ユニットを選択するシステム及び方法
CN103269657B (zh) 用于修改自动化过程的参数的方法和系统
US8958621B2 (en) Corneal graft evaluation based on optical coherence tomography image
US8983157B2 (en) System and method for determining the position of a hair tail on a body surface

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120410

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120426

R150 Certificate of patent or registration of utility model

Ref document number: 4988847

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250