JP2012504277A - 毛包単位の追跡 - Google Patents

Abstract

物体や対象物の主要点を追跡し、同定し、分類するためのシステムおよび方法が提供される。いくつかの実施形態において、追跡は対象物の主要点および画像安定化技術の一意の特徴を用いて達成される。いくつかの態様によると、所定のマーカを用いる座標系は、マーカの位置変化および／または同定の特徴情報に基づいて規定および更新される。個々の物体またはフレーム内の特徴はまた、追跡および同定される。物体は２つの静止画像を比べること、静止画像間の物体の位置変化を特定すること、物体の移動ベクトルを算出すること、および撮像装置の位置を更新するために移動ベクトルを用いることにより追跡されてもよい。
【選択図】図１０

Description

本書に開示された実施形態は一般に、物体追跡システムに関し、特に毛包または他の部位および体表の主要点（feature）を正確に追跡するシステムおよび方法に関する。

毛髪移植処置は一般に、ドナー領域、例えば、患者の頭皮の側部及び後方周辺領域からドナーの毛髪移植片を採取するステップと、それらを脱毛領域、またはレシピエント領域に移植するステップとを含む。従来、採取される移植片は比較的大きく、３ｍｍ乃至５ｍｍであった。しかしながら、近年ドナーの移植片は単一の毛包単位と同じくらい小さくなっている。毛包単位（ＦＵｓ）は、頭皮の表面にわたってランダムに分布する１乃至５の間隔が密な毛包単位の天然の凝集体である。

毛包単位は、当該単位における毛髪の本数に基づいて分類あるいは「種類分け」され、（１本の毛包単位）は「Ｆ１」、（２本の毛包単位）は「Ｆ２」などのように略して同定される。複数の毛包単位のいくつかのケースにおいて、毛髪は皮膚の単一の毛包や点から発現してもよい。別のケースにおいて、これらの毛髪は互いにわずかに間隔を空けて肌を露出してもよい。

毛髪移植処置の間、毛髪の採取または移植を避けるべき部位がある。例えば、すでに毛髪の採取や移植のためにある部位を用いたら、医者はその後の処置に同じ部位を用いることを避けたがるかもしれない。追跡装置はこれらの部位のいくつかを追跡するのに困難な場合がある。

システムは採取や移植した部位のデータベースを含むことが必要とされる。医者はさらなる採取や移植を計画するためにデータベースを用いてもよい。システムは毛包単位、頭皮の主要点、または外部のマーカを含む部位の周りの主要点を追跡することができるので、実際の部位を見ることができない場合でも部位の情報を追跡および記録することができる。

システムまた、動く主要点を追跡できることが必要となる。主要点を追跡する１つの方法は静止画ベースによる静止画でそれらの位置を検出することである。システムは追跡を向上させることが必要であり、静止画ベースによる静止画で主要点の位置を検出することは必要ではない。このようなシステムは追跡を向上させるために主要点やマーカの移動ベクトルを利用してもよい。

つまり、おおまかに言うと、物体追跡システムが開示されている。より具体的には、容易に追跡されない体表の物体を追跡する物体追跡システムおよび方法が開示されている。

一態様において、毛包単位のような対象物の主要点を追跡する方法は、第１の画像において、少なくとも１つのマーカを同定するステップであって、前記第１の画像が、毛包単位のような対象物の主要点を含むステップと、前記第１の画像において、前記対象物の主要点の特徴を求めるステップと、第２の画像において、少なくとも１つのマーカを同定するステップと、前記第１の画像から前記第２の画像への、前記少なくとも１つのマーカの位置変化に対応する移動ベクトルを求めるステップと、前記第２の画像において、前記対象物の主要点を分類するために前記移動ベクトルと前記第１の画像における対象物の主要点の特徴とを用いるステップとを含む。

別の態様において、第１の画像には少なくとも３つのマーカがある。３以上のマーカを用いることにより並進および回転移動の双方の追跡が可能となる。少なくとも１つのマーカは体表の別の毛包単位、ほくろ、傷跡、そばかす、しわ、隆起、またはくぼみの１以上を具体化できる。さらに、第１の画像は複数のマーカを含むことができ、第１の画像において、少なくとも１つのマーカを同定するステップは、点群を同定するステップを含みうる。

１つのアプローチにおいて、点群の中心が算出される。第１の画像において、毛包単位の特徴を求めるステップは、毛包単位の長さ、種類、内径、出現角度、領域、形状、および色の１以上を同定するステップを含みうる。さらに１つの特定のアプローチにおいて、第１の画像における少なくとも１つのマーカが分類され、移動ベクトルにより示される方向に、第２の画像における少なくとも１つのマーカを探索することにより、第１の画像と同じ標識を用いて第２の画像において、少なくとも１つのマーカが分類される。

一実施形態において、さらなる移動ベクトルを用いることができる。例えば、第２の移動ベクトルが第１の画像と第２の画像とから求められ、この第２の移動ベクトルは第２の画像において、毛包単位を分類するのに用いられる。第２のベクトルはグレイコードビットプレーン、オプティカルフロー、およびブロックサーチ画像安定化技術の１以上を用いて求めることができる。

様々な別の態様において、画像取得装置は、その視野に毛包単位のような対象物の主要点を維持させるため移動ベクトルに従って動く。さらに、少なくとも１つのマーカを同定するステップは、電子識別子を少なくとも１つのマーカと関連付けるステップを含む。また第２の画像の任意のマーカが、移動ベクトルに従う第１の画像における位置と不整合であるものは除外される。

さらに、移動ベクトルは毛包単位または他の対象物の主要点を配置するための探索領域を規定することができる。探索領域を規定するステップは、移動ベクトルに沿い、かつ移動ベクトルから所定の距離内の領域を分析するステップを含む。移動ベクトルから所定の距離は、第１の画像において、マーカの位置に先端を有する円錐を具体化でき、先端は所定の先端角度を有し、円錐は移動ベクトルの方向に延在し、かつ所定の先端角度内の領域を含む。

様々な具体的なアプローチにおいて、第１および第２の画像は複数の第１および第２のサブ画像に分割され、第１および第２のサブ画像から複数の移動ベクトルが求められる。さらに、追跡された毛包単位はドナー領域から採取されてもよいし、レシピエント領域に移植されてもよい。

別の態様において、毛包単位のような対象物の主要点を追跡する方法は、毛包単位を含む体表の第１の画像において、毛包単位を同定するステップと、第１の画像において、毛包単位の特徴を求めるステップと、第１の画像および同じ体表の第２の画像から移動ベクトルを求めるステップと、第１の画像における移動ベクトルと毛包単位の特徴とを用いて、第２の画像において、毛包単位を分類するステップとを含む。移動ベクトルは何れのマーカを用いることなく、総じて画像から求められるであろう。別の実施形態において、１以上のマーカが第１および第２の画像において同定され、移動ベクトルを求めるステップは、第１の画像から第２の画像への、このような１以上のマーカの位置変化に対応する移動ベクトルを求めるステップを含んでもよい。第１の画像において、毛包単位の特徴を求めることは、毛包単位の長さ、種類、内径、出現角度、領域、形状、および色の１以上を同定することを含みうる。もちろん、複数の毛包単位を含む複数の対象物の主要点が、本願に述べられている原理により同時または順次追跡されてもよい。

さらに、別の態様において、体表の毛包単位のような対象物の主要点を追跡するシステムは、毛包単位を含む体表の第１の画像において、毛包単位についての特徴情報を同定する特徴同定要素と、第１の画像と同じ体表の第２の画像との間の移動ベクトルを算出するベクトリング要素と、移動ベクトルと対応するデータを受け取り、移動ベクトルと毛包単位特徴情報とに基づいて、第２の画像において、毛包単位を分類する追跡システムとを含む。追跡システムはさらに、体表の画像を取得する撮像装置を含んでもよく、このシステムはさらに、移動ベクトルに基づいて撮像装置を動かすようプログラムされうる。特徴同定要素、ベクトリング要素、および追跡システムは単一のコンピュータプログラム製品の一部でありうる。さらに、体表の毛包単位または他の対象物の主要点を追跡するシステムはさらに、マーカ同定要素を具体化することができる。マーカ同定要素は特徴同定要素の一部であってもよいし、別個の要素またはプログラムであってもよい。また、特徴同定要素、ベクトリング要素、および追跡要素の１以上は、記憶装置および撮像装置の少なくとも１つと接続されているプロセッサを含みうる。

撮像装置はカメラであってもよく、システムはさらに、ロボットアームを含むロボットシステムであってもよい。また、撮像装置はロボットアームに動作可能に接続されうる。毛包単位のような対象物の主要点を追跡／分類するシステムは、毛包単位を含む画像データを受け取るよう適合したインターフェイスと、画像データに関する動作を実行するための１以上のモジュールを含む画像プロセッサとを含んでもよく、１以上のモジュールは同じ体表の毛包単位と第２の画像とを含む体表の第１の画像を受け取るためのインストラクションと、第１の画像において、毛包単位を同定するインストラクションと、第１の画像において、毛包単位の特徴を求めるインストラクションと、第１の画像および第２の画像から移動ベクトルを求めるインストラクションと、第１の画像における移動ベクトルと毛包単位の特徴とを用いて、第２の画像において、毛包単位を分類するインストラクションとを含む。

別の態様において、コンピュータ読み取り可能な記憶媒体において明確に具体化され、コンピュータ装置のプロセッサに毛包単位のような対象物の主要点を追跡するためのコンピュータプロセスを実行させるインストラクションを含むコンピュータプログラムは、毛包単位を含む第１の画像において、少なくとも１つのマーカを同定するステップと、第１の画像において、毛包単位の特徴を求めるステップと、第２の画像において、少なくとも１つのマーカを同定するステップと、第１の画像から第２の画像への、少なくとも１つのマーカの位置変化に対応する移動ベクトルを求めるステップと、第１の画像における移動ベクトルと毛包単位の特徴とを用いて、第２の画像において、毛包単位を分類するステップとを含む。さらに、プロセッサが記憶装置に動作可能に関連付けられていることが考慮されている。コンピュータプロセスはまた、第１の画像からの第１のマーカデータを第２の画像からの第１のマーカデータと比較するステップと、その結果を記憶装置に保存するステップとを含みうる。コンピュータプログラムは画像取得装置と動作可能に関連付けられうる。

さらに別の態様において、体表の対象物の主要点（例えば、毛包単位）を追跡する方法は、対象物の主要点を含む第１の静止画像において、少なくとも１つのマーカを同定するステップと、第１の画像において、対象物の主要点の特徴を求めるステップと、少なくとも１つのマーカに対応する座標系を規定するステップと、第２の静止画像において、少なくとも１つのマーカを配置するステップと、求められた特徴を用いて、第２の静止画像における対象物の主要点の位置を検出し、第２の静止画像において、少なくとも１つのマーカの位置に基づく座標系の並進要素を更新するステップとを含む。

アプローチはまた、第１の静止画像において、少なくとも３つのマーカを同定するステップを含み、第２の静止画像において、対象物の主要点の位置を検出するステップは、座標系の並進要素と回転要素との双方を更新するステップを含む。さらに、第１の静止画像において、少なくとも１つのマーカが、例えば、このようなマーカの長さ、領域、形状、種類、または色の少なくとも１つを分析することにより同定されうる。

さらに、少なくとも１つのマーカは毛包単位であってもよく、少なくとも１つのマーカを同定するステップがさらに、体表からの毛包単位の出現角度および毛髪の内径の少なくとも１つを分析するステップを含む。静止画像は体表のビデオ画像であってもよく、少なくとも１つのマーカは体表の毛包単位であり、対象物の主要点は体表の別の毛包単位である。

座標系は点群アプローチを用いることにより更新されてもよく、撮像装置は点群の平均的な変動により動かされる。対象物の主要点は無毛の点であってもよく、方法はさらに１以上の毛髪移植部位を規定するステップを含む。

別のアプローチにおいて、体表の（毛包単位のような）対象物の主要点を追跡する方法は、第１の静止画像において、少なくとも３つのマーカを同定するステップであって、第１の静止画像が対象物の主要点を表示するステップと、第１の静止画像において、対象物の主要点の特徴を求めるステップと、第１の静止画像において、少なくとも３つの第１の物体を追跡するステップと、３つのマーカに対応する座標系を規定するステップと、３つのマーカが第２の静止画像にあるかどうか特定するステップと、第２の静止画像にない３つのマーカの少なくとも１つに反応して、対象物の主要点の算出された特徴を用いて第２の静止画像において、対象物の主要点の位置を検出し、第２の静止画像および第２の静止画像における第１の物体の何れかにおいて、少なくとも３つのマーカの何れかの位置に基づいて座標系を更新するステップとを含む。対象物の主要点の位置を検出するのに用いられるマーカと第１の物体との組み合わせの合計は少なくとも３つである。

少なくとも３つの第１の物体の少なくとも１つは、体表の毛包単位、ほくろ、傷跡、そばかす、しわ、隆起、またはくぼみを含みうる。対象物の主要点の位置を検出するステップはさらに、第１の静止画像と第２の静止画像とから移動ベクトルを求め、移動ベクトルを用いて座標系を更新し、少なくとも３つのマーカの少なくとも１つを配置するステップとを含む。第１の静止画像において、少なくとも１つの第１の物体が同定され、同定された第１の物体は第２の静止画像において配置され、移動ベクトルを求めるステップは、第１の画像から第２の画像への、同定された第１の物体の位置変化を同定するステップを含む。

体表の対象物の主要点を追跡するシステムは、画像取得装置から複数の画像を受け取るよう適合したインターフェイスであって、少なくとも第１の画像が対象物の主要点を含むインターフェイスと、対象物の主要点に関する特徴情報を同定し、第１の画像において、少なくとも１つのマーカを検出する特徴同定要素と、マーカ参照システムとを含みうる。参照システムは少なくとも１つのマーカに対応する座標系を規定し、少なくとも１つのマーカが第２の画像にあるかどうかを特定し、第１の画像から第２の画像へと、少なくとも１つのマーカの位置変化に対応する座標系を調整し、対象物の主要点を配置する。特徴同定要素およびマーカ参照システムは単一のコンピュータプログラム製品の部分でありうる。また、特徴同定要素は記憶装置に接続されているプロセッサを含むことができ、プロセッサは電子識別子を少なくとも１つのマーカと関連付け、電子識別子を記憶装置に保存する。さらに、マーカ参照システムは記憶装置に接続されているプロセッサを含むことができ、プロセッサは第１の画像における少なくとも１つのマーカの各々の位置と、第２の画像における少なくとも１つのマーカの各々の位置とを比較し、座標系において対応する変化を算出し、算出結果を記憶装置に保存する。システムはさらにベクタ要素を含んでもよい。システムはさらにロボットアームをさらに含むロボットシステムでありうる。

別の主要点や利点が、例の目的で示される添付の図面、様々な実施形態の特徴とともに以下の詳細な説明から明らかになるであろう。

発明は例の目的で示されており添付の図面の図に限定しない。図において、同一の参照番号は同様の部材や行為を同定する。図面における部材の寸法や関連する位置は必ずしも縮尺通りには描かれていない。例えば、様々な部材の形状や角度は縮尺通りには描かれておらず、これらの部材のいくつかは任意に拡大され、図の読みやすさを向上させよう配置されている。さらに、描かれているような部材の具体的な形状は、具体的な部材の実際の形状に関する任意の情報を伝達することを意図せず、図面における理解の容易性のためだけに選択されている。
図１は運動学的な「フレーム」を示す。 図２はフレームの更新を示す。 図３は登録マーカを用いる採取計画を示す。 図４は登録マーカを用いる移植計画を示す。 図５は登録パターン損失後のフレームの更新を示す。 図６は元の登録マーカ以外の点を有するフレームの更新を示す。 図７は患者の頭皮の毛包単位を用いるフレームの更新を示す。 図８は毛包単位クラウドアルゴリズムを示す。 図９Ａおよび図９Ｂは点群追跡を示す。 図１０は移動ベクトルの算出を示す。 図１１は毛包単位の分類を示す。 図１２はまた毛包単位の分類と関連する問題を示す。 図１３Ａおよび図１３Ｂは毛包単位分類／追跡プロセス、および移動ベクトルを用いる毛包単位分類／追跡プロセスをそれぞれ示す。 図１４は探索領域の規定を示す。 図１５は１例示的な画像安定化プロセスを示す。 図１６は画像の比較を示す。 図１７は算出された複数のベクトルを有する画像安定化を示す。 図１８は物体を追跡する例示的なシステムを示す。

以下に記載される様々な形態が例示目的のみで提供され、特許請求に係る発明を限定するよう解釈されるべきではない。当業者は、特許請求に係る発明の範囲から逸脱することなく、記載された実施形態になされてもよい様々な改良や変更を容易に理解するであろう。非限定的な例の目的で、１つの特徴または実施形態を参照して、記載された具体的な特徴または特性が、別の図や実施形態に記載される特徴または特性に適当なものとして組み込まれてもよいことが当業者により理解されるであろう。さらに、当業者は本書に記載される装置、システム、および方法が、毛髪修復といった１つの分野に限定されず、追跡される物体を要求する任意の数の分野に適用されてもよいことを理解するであろう。

記載されたシステムおよび方法は、画像誘導を介して個々の物体の追跡を要求する任意のアプリケーションにおいて有用である。それらはまた、参照フレームを作成するために１セットの視覚マーカを登録し、物体を直接追跡するよりも、参照フレームを更新するために周囲の物体を用いることにより物体を追跡することが望まれる任意のアプリケーションにおいて有用である。例えば、物体追跡装置をガイドしたり、操縦したりするために画像安定化アルゴリズムの出力を用いるコンセプトは、基準が分析に挿入されている蛍光透視法またはＸ線画像化、または動的に変化する場面を通して動く物体を追跡するために分析性とともにパン・チルト・ズームカメラを含むビデオ監視アプリケーションを含む画像誘導されたロボット処置のような幅広い医療および非医療アプリケーションに道への道を見つけることができる。

本開示のシステムおよび方法は、特に、自動化またはコンピュータ制御された毛髪採取および移植を含む毛髪移植処置において有用である。したがって、本書に記載される様々な例および実施形態は、より広くすべての他の適切なアプリケーションを表す理解とともにいくつかの実施形態を記載する目的のために本開示のアプリケーションの一例として単に毛包単位または毛髪を用いるであろう。

本書に記載される例示的な方法は、治療計画、毛髪採取および／または移植のためのロボットシステムを用いた使用に特に好適である。しかしながら、それらはロボットアプリケーションへの任意の手段に限定されず、記載された方法は、代わりに手持ち式装置を用いて人手により行われる手動の処置に適用されてもよく、この手持ち式装置は、例えば、コンピュータプロセッサおよび画像システムに動作可能に接続できる。手動、部分的、および全自動型のシステムはまた本発明の範囲内である。

医療手術が患者の皮膚または頭皮に施されるとき、ある領域は追跡される必要があり、医者、例えば、自動化された処置の場合におけるロボット機械は、後にその領域に戻ってもよいし、その領域を避けてもよい。これらの領域はその領域の画像を見ること、およびその領域上またはその領域周りを同定することにより追跡することができる。１または複数の対象物の主要点は連続または同時に追跡でき、毛髪移植処置において、追跡された主要点（例えば、毛包単位）を採取することができる。同定する主要点はその主要点に関する記録データにより、データベース、記憶装置、または他のデータ記憶媒体に登録される。同定する主要点は後にアクセスされ、静止画像、または「スチール」と比較され、静止画に示されている領域が識別子を含む領域と同じかどうかを特定する。「スチール」はビデオフィード、写真、または患者の皮膚の他の固定表示の単一画像であってもよい。

領域または主要点を登録する１つの方法は、将来認識されうる静止画において、具定的なパターンにおける１組のマーカを同定するステップを含む。マーカは非共線であり、よってそれらは３次元フレームを規定する。３つのマーカは３次元フレームを規定することが望まれるが、より多くのマーカが用いられてもよい。静止画におけるこれらのマーカは「登録パターン」と呼ばれ、後の静止画において認識されうる。この３次元フレームは、座標ｘ、ｙ、ｚと回転座標Ｒｘ、Ｒｙ、およびＲｚとからなり「患者のフレーム」と呼ばれる。登録パターンが完全に視覚および識別可能である各連続する静止画において、患者のフレームは更新された登録パターンを用いて簡単に動かされる。座標ｘ、ｙ、およびｚは患者のフレームの並進と言う。座標Ｒｘ、Ｒｙ、およびＲｚは患者のフレームの配向と言う。明確にするために、用語「フレーム」は本明細書において、既知の基準点から規定された位置および配向として規定される。ビデオまたは写真の単一区画は本書において「スチール」または画像と言う。静止画は「フレーム」と言ってもよいが、混同を避けるために本書は「フレーム」という用語を上述のような運動力学の意味に用い、用語「スチール」は、混同を避けるためにビデオフィードの単一画像を記載するのに用いることができる。

図１は運動力学的フレームを示す。この例示的な実施形態において、ロボットアーム１０３はセンタ１０４を有する固定ベース１０１に取り付けられる。このアーム１０３は工具１０２を保持し、配置する。工具はフレームを有し、分類されたｘ、ｙ、ｚおよび工具１０２の位置および回転はベースのセンタ１０４に関して周知である。この位置および配向は電子的に保存されてもよい。工具とベースのセンタ１０４間の関係が変化すると、フレームは電子的に更新されうる。

登録パターンが同定され、電子的に保存された後、フレームの位置と配向は続く静止画においてマーカの位置を分析することにより更新されてもよい。図２はマーカの位置変化に基づくフレームの更新を示す。第１の静止画、静止画Ｎにおいて、３次元フレームはマーカ２０１、２０２、および２０３の位置により規定される。（基準とも呼ばれる）これらのマーカは、例えば、毛包単位または毛髪、ほくろ、傷跡、そばかす、しわ、隆起、またはくぼみのような患者の皮膚または体表の物理的なマーカまたは解剖学的標識であってもよい。マーカはまた、患者の皮膚に配置され、または付けられる物体であってもよく、外部基準と呼ばれることもある。基準は参照として機能する撮像装置の視野における物体である。それは解剖学的標識、外部のマーク、あるいは上述の何れの組み合わせであってもよい。静止画Ｎ−１において、マーカは静止画の右下に動いた。別の物体２０４は静止画Ｎにおけるマーカ２０１と近い位置に現れた。しかしながら、マーカ２０１はマーカ２０２および２０３と識別されるので、物体２０４はマーカ２０１と混同しない。フレームはデータベースまたは記憶装置において更新され、患者が動き、物体２０４がマーカ２０１ではないことが認識される。

いくつかのアプリケーションにおいて、登録パターンは、図３および図４にそれぞれ示されるように、リアルタイムの毛髪採取および移植計画に用いられてもよい。図３において、マーカ３０１、３０２、３０３、および３０４は患者のフレームを規定する。患者の皮膚３０６の各毛包単位３０５の位置は患者のフレームに関してマップされてもよい。毛包単位を採取するのに用いられる患者の体表の部分は「ドナー領域」３０７である。ドナー領域の毛包単位の密度は、静止画において毛包単位を計数することにより算出できる。毛包単位の計数は、例えば、参照により本書に組み込まれる、特許出願ＷＯ２００８／０２４９５５号に記載されているように達成される。施術者は１平方センチメートル当たりにどれくらいの毛包単位が引き抜かれるかを特定し、このような情報を採取計画システムに入力できる。採取計画システムは順に、毛包単位の数と引き抜かれる平方センチメートル当たりの所望の毛包単位の数とに基づき引き抜く毛包を特定する。毛包単位の特徴および頭皮／体表の特徴を含む別の要因が、どの毛包を引き抜くかを特定するために用いられてもよい。

同様に、類似の方法が毛髪移植中に用いられてもよい。図４は例示的な移植方法を示す。登録パターンは、例えば、マーカ４０１、４０２、４０３、および４０４を含む。これらのマーカは、例えば、頭皮４０６のレシピエント領域４０７を規定する。計画システムは移植する毛包単位の数を示す入力と移植位置４０９とを受け取る。例示的な毛包単位４０８および４０５は毛包単位密度、無毛パターン、または毛包単位を移植するための他の基準を特定するために分析されてもよい。体表の無毛領域は、本開示による移植部位を作成するために追跡され、分類されうる対象物の主要点であってもよい。

頭皮分析、採取、あるいは移植中、患者は動いてもよい。監視システムは静止画を前の静止画と比較し、１つの静止画から次の静止画へとマーカの変更された位置に対応するよう患者のフレームを更新することにより、各毛包単位および頭皮の他の領域を追跡することができる。

しかしながら、患者は動いたり回転したりして、マーカが静止画の外にあるので、１以上のマーカが続く静止画に現れない場合がある。また、物体または血液が１以上のマーカを覆ったり、妨げとなったりすることもある。図５は静止画の外に動く患者のマーカを示す。マーカ５０１、５０２、および５０３は体表５００の患者のフレームを規定する。静止画Ｎにおいて、すべてのマーカ５０１、５０２、および５０３は視認できる。さらなるマーカ５０４がまた視認および同定でき、その位置はマーカ５０１、５０２および５０３から形成される患者のフレームに関して記録されてもよい。静止画Ｎ−１はどのように患者が静止画に関して上および時計周りに回転したかを示す。従って、マーカ５０４のみが静止画Ｎ−１において視認できる。マーカ５０４の位置が患者のフレームに関して周知であるので、患者のフレームはマーカ５０４の位置変化に対応して更新することができる。しかしながら、この例において、マーカ５０４は座標ｘ、ｙ、およびｚを更新するよう用いられるのみである。マーカ５０４は、ただ、各軸ｘ、ｙ、およびｚ周りの患者のフレームの回転に対応する座標Ｒｘ、Ｒｙ、およびＲｚを更新するデータを提供しない。このように、マーカ５０４は患者のフレームの並進を更新するが、患者のフレームの配向は更新しない。

少なくとも３つの非共線が、患者のフレームの並進および配向の双方を更新するために静止画Ｎおよび静止画Ｎ−１の双方において視認可能であるである。図６は患者のフレームを規定する３つのマーカ６０１、６０２、および６０３と、システムにより同定される４つのさらなるマーカ６０４、６０５、６０６および６０７を有する患者のフレームを示す。静止画Ｎにおいて、７つのすべてのマーカ６０１乃至６０７が視認できる。静止画Ｎ−１において、患者が動き、回転すると、マーカ６０１、６０２、および６０３は、静止画においてもはや視認できない。しかしながら、システムは、患者が動いた後、視野（ＦＯＶ）に留まり続け、フレームの配向を含む患者のフレームを更新するマーカ６０４乃至６０６を用いてもよい。マーカ６０４乃至６０６は患者のフレームに固定されると想定され、フレームはこれらのマーカが各静止画における同じ患者のフレーム座標を有するよう動かすことができる。

外部基準あるいはマーカが患者のフレームを規定するよう用いられてもよいが、体表での自然出現が用いられてもよい。体表の最も一般的な主要点の一つ、あるいは物体は、ある本数の毛髪を含む毛包単位である。毛髪は分析、採取、および移植目的のシステムによって既に追跡されているので、毛髪移植を含むこれらのアプリケーションにおいてマーカとして一意に適している。各毛包単位の質量中心、または中心はマーカとして用いられてもよい。各中心の動きは静止画間で追跡され、１以上の毛包単位の動きは患者のフレームを更新するよう分析されてもよい。座標系は（例えば、毛包単位でありうる）対象物の主要点と、対象物の主要点に近隣または近接して配置された（ここでも他の毛包単位でありうる）１または複数のさらなる主要点との関係を特定することにより規定または作成されてもよい。例えば、毛包単位すべてが１ｍｍだけ離れると、患者のフレームは１ｍｍだけ離れると推測される。この原理は、患者のフレームを規定するすべての登録マーカが、静止画から静止画へと失われたとしても、６つの自由度のすべてにおいて機能し、提供された少なくとも３つの毛包単位はまだ、以下の例に示されるように視野において視認できる。

図７は毛包単位を有する患者のフレームの更新を示す。静止画Ｎにおいて、マーカ７０１、７０２、および７０３は患者のフレームを規定するのに用いられる。毛包単位７０４、７０５、７０６、および７０７は分析、採取、および移植目的のために追跡される。静止画Ｎ−１は静止画の外のマーカ７０１乃至７０３を示し、これは、例えば、体表が回転するときに生じるかもしれない。７０４乃至７０７の位置が患者のフレームに関して周知であり、７０４乃至７０７の任意の３つの毛包単位が、並進および配向を含む患者のフレームを更新するのに用いられてもよい。

毛髪または他の登録マーカが患者のフレームを規定または更新するのに用いられると、毛髪は点群アルゴリズムを用いるステップを含む任意の方法により追跡されてもよい。B.K.P. Horn, 「Closed Form solution of Absolute Orientation Using Unit Quaturnians, 」J.Opt.Soc. AMA/Vol.4 April 1987,はこのようなアルゴリズム（「ホーンアルゴリズム」）を開示するものである。

同様のセットの点が双方の静止画に用いられると、２つの点群間の剛体変換を見積もる点群アルゴリズムは強固に働く。剛体変換はそれが働く物体の形状を記憶するものである。この内容で用いられると、剛体変換を受ける点群の形状は保存されるであろう。したがって、円形に見える点群は円形のままであり、六角形に見える点群は六角形のままである。多くの毛髪を有する体表に点群アルゴリズムを用いる際に、アルゴリズムは同じ毛包単位が各点群で用いられ、かつ毛包単位が点群を生じさせるよう用いられると最も正確である。同じ毛包単位が各静止画において点群を含むことも重要である。

図８は患者が動き、点の正しい対応が静止画から静止画へと維持されない場合に生じうる典型的な「ホーンアルゴリズム」と関連する問題を示す。静止画Ｎにおいて、毛包単位８０３乃至８０９は点群を生じさせるよう用いられてもよい。しかしながら、静止画Ｎ−１において、患者が動き、毛包単位８０８および８０９が静止画においてもはや視認できない。また、毛包単位８０１および８０２が静止画に入った。同じ数の毛包単位が各静止画に存在するので、システムは静止画Ｎにおいて７つの毛包単位を用いる点群を誤って生じさせ、静止画Ｎ−１においてそれを７つの毛包単位と関連付けるかもしれない。各静止画において毛包単位は異なるので、患者のフレームは間違って更新されるであろう。

上述の問題を避けるために、本発明によるシステムは毛包単位の特徴（あるいは他の適した主要点）を分析し、同じ毛包単位が各静止画に存在するかどうかを特定する。双方の静止画に存在する毛包単位のみが、患者のフレームを規定および更新する点群を生じさせ、体表の物体と配置を追跡するよう用いられる。毛包単位、毛髪、または他の主要点を同定するのに用いられる特徴は、種類、内径、長さ、出現角度、領域、形状、色、および／またはこのような毛包単位または用いられる他の主要点の一意の「特徴」を規定する上述の組み合わせを含むが、これらに限定されない。任意の他の検出可能な特徴または「タグ」が毛包単位、毛髪、または主要点を同定するのに用いられてもよい。

上述の「点群」ベースの患者のフレームの更新は、特に、ロボット毛髪移植システムに用いるための移植の自動化および計画において有用である。移植（Ｎ）のための毛包単位の数はシステムに入力される。画像プロセッサはクラスタリングアルゴリズムを用いて同定の体表の画像に基づく任意の無毛点を配置し、次いで同定された無毛点内に配置されたＮ移植部位を発生させる。患者のフレームは周囲の毛髪およびできるかぎり任意の視認可能な外部のマーカから形成されてもよく、各移植部位は患者のフレームに関して規定される。（ロボットシステムにおけるロボットアームに配置された、あるいは人によって操作された）移植工具が各規定された位置で１つの部位から別の部位に動くとき、画像プロセッサは更新された患者のフレームに基づくセットにおいて次の移植部位の位置を更新することができる。

体表に視認できる毛髪がない場合、あるいは視認できる毛髪がシステムによって同定および追跡するのに効果的ではない場合、例えば、患者が無毛であるか、あるいは極端に薄く、薄くなったあるいは「わずかな」毛髪の大部分からなる場合、体表の主要点は毛髪または毛包単位の代わりに移動を追跡するのに用いることができる。これらの状況において、本開示によるシステムおよび方法は、それが均一ではなく、情報を含むので、人の頭皮のような体表を用い「追跡可能」である。例えば、本書に記載される方法の一実施形態によると、システムは１つの静止画（静止画Ｎ）および次の静止画（静止画Ｎ−１）間の一連のピクセルまたは対象物の領域（ＲＯＩ）を比較できる。静止画の各セットは体表の並進を示し、静止画の多くのセットは密集し、頭皮の単一のシフト、または他の関連する本体部分を示す。さらに、一実施形態において、ほくろ、組織、血液、他の毛髪、および／または他の主要点および物体が比較して用いられ、静止画ベースで患者のフレームを更新する。任意の容易に識別可能な物体あるいは主要点が代用のマーカとして用いることができ、次いでその追跡位置は事前に記載された登録アルゴリズムに入力される際に用いることができる。

一旦フレームが登録されると、フレームおよびフレームに同定された主要点は電子的に、あるいは任意の他の既知の方法により保存される。何時でも新しい静止画がシステムに提示され、パターン認識アルゴリズムは、静止画におけるパターンが登録され、保存されたパターンに対応しているかを特定する。任意の同定された主要点が認識され、新しい静止画において同定されるとフレームが更新される。

開示された方法は、例えば、毛髪採取または移植処置の間のような患者の治療中、別の有用なアプリケーションを有する。画像プロセッサが採取されるべき具体的な毛包単位を配置し、同定した後、医者が領域における出血のため、あるいはＱ−tipを領域に適用し、対象物の毛包単位を不明瞭にするため、このような毛包単位は視界から一時的に失われたり、消えたりするかもしれない。本発明なしでは、これらの状況において対象物の毛包単位がふたたび配置され同定される際に、実質的に処置の遅延が起こるであろう。しかしながら、開示された観念において、患者のフレームおよび問題とされる毛包単位の位置がシステムに保存され、素早く回収されるので、システムが予定された採取を続けることが可能となる。一旦システムが元の登録パターン上に配置されると、パターン認識アルゴリズムは同じパターンを認識し、フレームを再登録する。すべての他の点が患者のフレーム座標に関して保持されるので、単にフレームを再登録することは、すべての他の事前に知られた点を再び即座に知らせる。

別の態様によると、１つの静止画から別の静止画へと、毛髪、毛包単位、または他の対象物の主要点、あるいは物体を分類または追跡する方法は、移動ベクトルを算出するステップを含む。移動ベクトルを用いて毛包単位のような物体または対象物の主要点を追跡／分類する１つの方法は、図９Ａおよび図９Ｂに示されている。図９Ａは、マーカまたは基準として用いられうる４つの毛包単位９０１乃至９０４を有する頭皮９００のような体表を示す。カメラ９０５または任意の他の画像取得装置は頭皮の画像を記録する。静止画Ｎは毛包単位９０１乃至９０４を含む第１の画像を示す。各毛包単位は質量中心または「中心」を有し、これらの毛包単位の集まりが「点群」だと考えられ、点群自体が中心を有する。本開示によるシステムは点群を含む各毛包単位の中心９０６乃至９０９を算出する。点群の中心９１０は、点群を含む個々の毛包単位９０１乃至９０４の中心９０６乃至９０９に基づいて算出される。システムはプログラムされてもよい画像プロセッサを含み、特許公報ＷＯ２００８／０２４９５５に記載されているように、例えば、画像のバックグラウンド除去法、セグメンテーション、および雑音フィルタリングを行うために１以上の要素を含む。

静止画Ｎ−１は、例えば、患者の位置変化により毛包単位９０１乃至９０４の位置変化を示す。点群の中心９１０が算出され、静止画Ｎにおける位置と比較される。システムは静止画Ｎから静止画Ｎ−１への中心９１０の位置変化に対応して点群の移動ベクトル９１１を算出する。

しかしながら、毛包単位９０１乃至９０４の何れかが、画像ノイズ、血液のため不明瞭である場合、問題が生じるかもしれず、静止画から取り除かれる。システムは毛包単位が不在なので、同様に配置された毛包単位を混乱させるかもしれないし、４つの毛包単位９０１乃至９０４のすべてに対応する中心９１０に対応しない点群の中心を生じさせるかもしれない。１つの解決法は、同様の毛包単位、あるいは続く静止画における他の主要点または物体を維持するためにデジタル画像安定化を採用することである。

図１０は移動ベクトルを算出するプロセスを示す。静止画０および１は４つの毛包単位１００１乃至１００４を含む。毛包単位は静止画Ｎおよび静止画Ｎ−１間の位置を変化させ、これらは、例えば、患者の動きに対応させることができる。システムは静止画０と静止画１とを比較し、移動ベクトルアルゴリズムを用い、患者の体表の移動ベクトル１００５を算出する。

図９乃至図１０は「ｄｘ」が水平移動要素であり、「ｄｙ」が対応する垂直移動要素である２次元での移動ベクトルを算出することを示し、システムはまた、３次元の移動ベクトルを算出する。３次元の移動ベクトルを算出する１つの方法は、面内回転シータを算出するステップを含んでもよい。別の方法は異なる角度から同時に２つの画像を得るためにステレオジオメトリーを用いるステップを含む。画像間の関係は高度な正確性を有することが知られている。ステレオ画像は、次いで２次元または３次元の移動ベクトルの何れかを得るために移動ベクトルアルゴリズムを用いて分析されてもよい。一旦システムが移動ベクトルを算出すると、ベクトルは続く静止画における物体や対象物の主要点を維持するために撮像装置を移動させるよう用いられてもよい。

採取および移植中、続く静止画において、同様の毛包単位を維持することが特に重要である。撮像装置は体表の静止画を生じさせるよう用いられる。撮像装置は手、ロボットアーム、または任意の他の機構により保持されてもよい。もちろん、様々な画像取得装置（あるいは撮像装置）は本書に記載されるシステムおよび方法の実施形態の何れかとともに用いることができる。例えば、撮像装置は市場で入手可能な１以上のカメラでありうる。あるいは撮像装置は（カメラ一体型ビデオのような）ビデオ記録装置でありうる。撮像装置はデジタル装置であることが好ましいが、必要というわけではない。例えば、後にデジタル画像にデジタル化される最初の画像を取得するアナログＴＶカメラでありうる。

施術者は移植の間、静止画を検査し、どの毛包単位が採取されるべきか、およびどの位置が毛包単位を受け取るかを特定する。このプロセスの間、実際に撮像装置の下にある体表が、施術者により検査される静止画と同じである場合に有用である。撮像装置が患者の体表に関する面内に維持されると、施術者は静止画の検査を終えるとすぐに静止画における領域にアクセスできる。このことは静止画を継続的に安定化装置に送り込むステップと、患者の動きに対応する移動ベクトルを分析するステップと、移動ベクトルに対応させるよう撮像装置を動かすステップとにより達成できる。撮像装置がロボットアームによって支持されると、ロボットアームの位置は移動ベクトルに対応して調整することができる。

一例示的なアプリケーションは、例えば、自動化された毛髪採取処置の間、毛包単位追跡／分類の強固さを向上させることにある。このような処置の間、システムは採取工具や毛髪採取の準備において、採取工具を操作する機構を配向するために、個々の毛包単位の座標を追跡しなければならない。このことは図１１に示されるように、一意の標識を静止画像における各物体に割り当てることにより達成される。静止画Ｎにおいて、毛包単位１１０１乃至１１０３が認識され、これらの一意の「特徴」が同定され、次いでそれらは分類される。

好適な実施形態において、システムは毛包単位（あるいは他の所望の物体）の特徴を分析し、各続く静止画における同様の毛包単位の同定を助ける。毛包単位、毛髪、または他の主要点を同定するのに用いられうる特徴は、種類、内径、長さ、出現角度、領域、質量、色、および／またはこのような毛包単位または用いられる他の主要点の一意の「特徴」を規定する任意の上述の組み合わせを含むがこれらに限定されない。任意の他の検出可能な特徴または「タグ」が同定のアプリケーションに適切であるとして用いられてもよい。静止画Ｎ−１において同じ物体が配置され、同じ標識が付される。このことは最も近い物体の近くで探索することによりなされる。このプロセスは２つの静止画において同じ物体の配置を助けるために、毛包単位および静止画Ｎおよび静止画Ｎ−１間の患者の移動ベクトルの特定された「特徴」の双方を用いることにより強固かつ正確になされうる。当業者は毛包単位や毛髪が追跡のための対象物の物体であってもよい一方で、近くの毛包単位がマーカとして提供され、移動ベクトルを算出するよう用いられてもよい。

ある状況において、例えば、新しい毛包単位あるいは他の主要点が事前に同定された毛包単位の近くの続くフレームに導入されると、システムは混乱するかもしれない。図１２は、静止画Ｎにおいて７つの毛包単位１２０１乃至１２０７を示す。静止画Ｎ−１は新しい毛包単位１２０８および１２０９を加えた、静止画Ｎからの１２０１乃至１２０７を含む９つの毛包単位を含む。毛包単位１２０８および１２０９は静止画Ｎ−１において静止画の視界領域の外側にあったが、患者が画像取得装置に関して動くと静止画Ｎ−１に現れる。システムが前の静止画において毛包単位の配置と近接のみに基づいて毛包単位を分析および同定すると、毛包単位１２０８および１２０９と、１２０６および１２０３とを混同させてしまう。

毛包単位のより強固な識別を提供するための好ましい解決は、図１３Ａおよび図１３Ｂに示されるように、追跡ループにおけるデジタル画像安定器を組み込むステップと、それを毛包単位に関する一意の特徴情報と組み合わせて用いるステップとを含む。図１３Ａは毛包単位あるいはグレイスケール静止画から抽出された他の主要点を分類し、静止画Ｎにおいて前に同定された毛包単位に最も近い物体を見つけることにより、静止画Ｎ−１において毛包単位を同定する方法を描写する。このプロセスにおいて、グレイスケール静止画はフォアグラウンド物体（例えば、毛包単位）から純粋にセグメント化された静止画（例えば、バイナリ静止画）に転化されてもよい。バックグラウンド要素は当業者には周知の画像処理技術を用いる静止画から取り除かれる。

図１３Ｂは同じプロセスを示すが、画像安定化法と特徴情報とで改良された。システムはグレイスケール静止画ＮおよびＮ−１を分析し、（その特徴情報を含む）毛包単位ＩＤを特定する。静止画は移動ベクトルを算出し、静止画はセグメント化され、毛包単位特徴および移動ベクトルがフレームＮ−１に適用され、移動ベクトルの方向に探索することにより第１のフレームの毛包単位に対応する物体を探索する。画像における物体の動きが誘発された「フロー」についてのさらなる情報を用いることにより、動きが誘発されたフローは画像の下方左隅に向かい、毛包単位１２０９の特徴が毛包単位１２０６の特徴と対応しないので、図１２に示されている毛包単位１２０８および１２０９を完全に破棄することができる。このことは毛包単位１２０６が２つの毛包単位を含むＦ２であり、毛包単位１２０９は単一の毛髪Ｆ１であるからである。

システムは第１の静止画における毛包単位の近くよりも、移動ベクトルの方向に探索するので、画像安定化分析を適用することにより、誤った分類の変更は実質的に低減される。図１４は計測された移動ベクトルによって示された一般的な方向に基づく探索分野を規定する例を示す。移動ベクトル１４０１は上記のように算出されうる。いくつかの余地は追跡パラメータを設定する際に所望されてもよく、角度θは、システムが物体を探す移動ベクトルの別の側の探索領域を規定するのに用いられる。

多くのデジタル画像安定化アルゴリズムは、本書に記載される方法とともに機能してもよく、主要点または毛包単位を認識するロボットシステムをもたらす。全体におけるこのようなアルゴリズムはS.Ko,S. Lee, S.Joen, and E.Kangに記載されるようなグレイコードビットプレーン（ＧＣＢＰ）を用いるアプローチである。Fast digital image stabilizer based on gray-coded bit-plane matching. IEEE Transactions on Consumer Electronics, vol.45, no. 3, pp.598-603, Aug.1999. グレイコードビットプレーンアプローチの実行は図１５に示されている。まず入力画像が撮像装置から受け取られる。画像はグレイコードビットプレーンに移される。いくつかの実施形態において、対象物の領域１６０１はグレイコードビットプレーン１６０２からスプライスされ、図１６に示されるように計算要素上の探索領域および緊張を低減させることができる。ＧＣＢＰ静止画より小さいが、対象物の領域１６０１より大きい探索領域１６０３がまた規定されてもよい。対象物の領域のグレイコードビットプレーンは前述の画像のグレイコードビットプレーンと比較される。

移動ベクトルを算出する点群コードアプローチと対象的に、点群の全体的な動きを低減させる算出は「物体空間」（毛包単位または他のマーカの中心の知識を必要とする）において起こり、上述のＧＣＢＰ画像安定化アプローチは、同定の主要点、例えば、毛包単位が配置されているという任意の推測的な知識なしで、あるいはその場面に毛包単位があったとしても、ピクセル強度データ上を純粋に操作する。このことは完全に独立した運動の測定を提供する強い利便性を有し、毛包単位座標の抜去が、画像化される場面の動的な本質のため、雑音のある計測となりうる。

グレイコードビットプレーンの代わりに用いられてもよい多くの他のデジタル画像安定化アルゴリズムがある。このような安定化アルゴリズムの例のいくつかは、Jean-Yves Bouquet, Pyramidal Implementation of the Lucas Kanade Feature Tracker, Intel Corporationに記載される「オプティカルフロー」技術、Vella F et al.「Robust digital image stabilization algorithm using block motion vector.」Consumer Electronics, ICCE, p.234-235, 2002 or in Sun Yi et al. 「Real-time digital image stabilization algorithm on PC.」Electronic Imaging and Multimedia Technology ３, SPIE Vol.4925, p. 510-513.に記載されるような「ブロックサーチ」技術を含むがこれらに限定されない。

「オプティカルフロー」概算アルゴリズムは画像内に物体の認知された動きを共に近付けるベクトルの分野、あるいは（ビデオにおけるような）画像のシリーズを算出する。ベクトルはその点の近くの局所化した動きを示す画像内のある点から算出される。上記引用されたBouguet articleにおいて、オプティカルフロー算出はピラミッドおよび階層的な探索方法を用いて算出される。局所化された動きの最初の推測は、画像の低解像度のバージョンから算出され、画像のより高い解像度のバージョンを利用して、アルゴリズムが「ピラミッドを上る」とき精微化に成功する。

「ブロックサーチ」方法は、ＭＰＥＧのようなビデオコンプレッションスタンダードにおいて一般的に採用される技法を借用する。（上述に引用された）Vellaに記載されるように、ビデオコンプレッションに採用されるブロックサーチとデジタル画像安定化に用いられるものとの間のキー変化はまず、フォアグラウンド要素およびバックグラウンド要素に分割される。フォアグラウンドおよびバックグラウンドは順次、各セクションが分離重量を割り当てられるセクションに分割される。移動ベクトルは各セクションおよび与えられた重量を算出する。この量られた移動ベクトルはバックグラウンドおよびフォアグラウンドのための単一のベクトルを形成するよう組み合わされる。発見方法は次いで２つの移動ベクトルのどちらかを選択し、安定化に用いられる。

最終的に、分類／追跡メカニズムの強固さのさらなる向上のため本書に記載される方法は、画像において１以上の物体またはマーカに基づく移動ベクトルを算出するステップと、さらに上述の技術にあるように、それ自体の画像から移動ベクトルを算出するステップとの双方を採用してもよく、全体的な算出は双方の移動ベクトルに基づいている。

さらに、本システムの一実施形態において、図１７に示されるように静止画は複数の画像に分割され、複数のベクトルを生じさせることができる。静止画Ｎは、例えば、４つのセクションＱ１乃至Ｑ４に分割される。各セクション１７０１は少なくも１つの異なる主要点または毛包単位に相当する。続く静止画Ｎ−１はまた、対応するセクションに分割され、さらに対応する探索領域１７０２および対象物の領域１７０３に分割される。この続くセクションは比較され、移動ベクトルは各セクション用に得ることができる。結果として生じる移動ベクトルは患者の回転運動を向上した正確性で示すことができる。

移動ベクトルを算出するための方法の何れかにおいて、静止画は参照静止画であってもよいし、変化可能な静止画であってもよい。例えば、参照静止画像は患者の身体の皮膚の領域から取られてもよい。次いで、各続く静止画像は移動ベクトルを特定するために参照静止画像と比較されてもよい。移動ベクトルは撮像装置における画像が参照静止画と同じであるように、撮像装置をベクトルの方向に動かすよう導くように用いられてもよい。代替的に、システムは第２の静止画を第１の静止画と比較し、移動ベクトルを算出し、移動ベクトルにより撮像装置を動かす。続く第３の静止画は次いで第２の静止画と比較され、プロセスが繰り返される。このケースにおいて、各続く静止画は参照静止画よりも前の静止画と比較される。

移動ベクトルは撮像装置を動かすよう用いられてもよいが、追跡データまたは任意の他の目的として用いられてもよい。例えば、システムは所定期間または所定の静止画数の間、移動ベクトルを記録することにより患者の動きを記録することができる。システムはまたある量の動き、またはある移動ベクトルの大きさに到達すると、撮像装置のみを動かすようプログラムされてもよい。例えば、システムは所定の毛包単位、位置、または点がいつも撮像装置の視野の所定の領域内にあることを確かめるようプログラムされてもよい。

画像安定化技術の別の例示的なアプリケーションは自動化された毛髪採取プロセス中、画像を安定化させるステップを含む。このような自動化された毛髪採取の間、所定の画像におけるすべての毛包単位がスコアリングシステムに基づいて保存されてもよく、次に採取されるべき同定の毛包単位が選択されうる。一般的にオペレータが、例えば、選択された基準により採取するために最良の毛包単位が正しく選択された画像プロセッサを確認するために、コンピュータのスクリーンまたは他の適切なディスプレイを見るとき、このプロセス中には通常休止期がある。オペレータが体表の静止画像を調べている間、患者は動くことができ、したがって、この期間中は安定化された映像を維持することが望まれる。

重要なことには、一旦ユーザが選択（あるいは異なるものを選択したとしても）を確認すると、システムは選択された毛包単位が有効な静止画における静止画であることを確かめる必要がある。このことは本開示によるデジタル画像安定化の結果を採用することを通して達成される。いくつかの実施形態において、ステレオ画像安定器からの３次元の移動ベクトル出力は無効とされ、例えば、ロボットアーム（ロボット操作されたシステム）に通される。このことは患者の動きを無効にするか、あるいはロボットアームに取り付けられうる１以上のカメラを動かす効果があり、同じ視野が続く画像取得において画像化される。

画像安定化技術のさらに別の例のアプリケーションは、毛髪移植中、ロボットシステムをガイドするために安定器の出力を用いるステップを含む。例示的な毛包移植および治療計画のためのシステムおよび方法は米国特許出願第２００７／００７８４６６号および米国特許出願第１２／１３３，１５９号に記載され、これらは全体を参照することにより本書に組み込まれる。上述のシステムの何れかが用いられ、毛包単位が選択された治療計画により所定の位置に移植されてもよい。

一般に毛髪レシピエント領域は、画像システムが確かに追跡されうる毛包単位の数により間隔が空けられている。このため、毛包単位を追跡することは別として、いくつかの別手段を通してロボットの動きまたは患者の動きの追跡を維持する必要がある。このことは画像安定器を介して体表（例えば、頭皮）の動きを追跡することにより達成されうる。治療計画は外部の基準を用いるレシピエント領域で登録されうる。ロボットおよび患者が治療中に動くので、更新されるべき座標基準を確立した。座標基準（座標システム）は基準の位置を同定することで視覚システムにより更新されうる。しかしながら、先に説明したように、基準が見られない場合でも静止画ベースによる静止画に測定された移動ベクトルを追加することにより、デルタ方法で座標システムを更新し続けることができる。

毛包単位、マーカ、または他の物体を追跡する例示的なシステムが図１８に示されている。いくつかの実施形態において、システムは撮像装置１８００、特徴同定要素１８０１、ベクトリング要素１８０２、および追跡システム１８０３を含んでもよい。撮像装置１８００はビデオカメラのようなカメラを含んでもよい。代替的に、画像を取得することができる任意の別の装置が用いられてもよい。好適には、撮像装置はデジタル撮像装置である。別の実施形態において、撮像装置は別個に提供されてもよいし、システムに含まれなくてもよい。これらの実施形態において、特徴同定要素のような様々な他の要素またはシステムのモジュールが別個の撮像装置と相互に作用可能となるインターフェイスが提供される。

撮像装置１８００は特徴同定要素１８０１と相互作用し、毛包単位、マーカ、または他の物体を同定する。特徴同定要素１８０１はポータブルディスク、ハードディスク、または他の記憶装置に保存されるコードを有するソフトウェアプログラムであってもよい。このコードは、例えば、毛包単位、マーカ、または他の物体の識別特徴を同定するためにプロセッサ１８０７を含むコンピュータシステム１８１０と相互作用することができる。代替的に、特徴同定要素１８０１はハードウェアプラットフォーム、例えば、Field-Programmable Gate Array（「ＦＰＧＡ」）またはApplication-specific Integrated Circuit（「ＡＳＩＣ」）に具体化され、コンピュータシステム１８１０またはプロセッサ１８０７と相互作用することができる。コンピュータシステム１８１０またはプロセッサ１８０７はインターフェイス１８１１を介して撮像装置１８００と相互作用する。インターフェイスはハードウェアポスト、ケーブル、リード、および他のデータ変換手段を含んでもよいし、コンピュータプログラムからなってもよい。

上述のように、種類、内径、長さ、出現角度、領域、色、および／または毛包単位または他の主要点または物体の一意の「特徴」を規定するのに用いることができる。任意の別の検出可能な特徴または「タグ」が同定のアプリケーションとして用いられてもよい。特徴同定プログラム１８０１は撮像装置から画像を分析し、毛包単位の特徴または他の主要点を同定し、毛包単位または他の主要点に電子的な電子特徴を用いて電子的にタグを付ける。

２以上の静止画が利用可能である場合、本書に記載される方法によるある実施形態において、ベクトリング要素１８０２は毛包単位または他の主要点を追跡する際にシステムを追跡する補助に用いることができる。ベクトリング要素１８０２は、毛包単位の動きを分析するためにプロセッサ１８０７を含むコンピュータシステム１８１０と相互作用するソフトウェアまたはハードウェアであってもよい。ベクトリング要素１８０２は周知の主要点のための位置情報を受け取る。周知の主要点は、例えば、特徴同定ユニット１８０１によって同定されてきた。位置情報は静止画において周知の主要点の位置に基づいている。ベクトリング要素１８０２は周知の主要点のベクトルを算出するために位置情報を用いる。

ベクトリング要素１８０２からの情報は、追跡システム１８０３を用いる毛包単位または他の主要点を追跡するのに用いられてもよい。追跡システム１８０３は、ロボットベース１８０８およびアーム１８０９、撮像装置における運動調節機構、画像またはスクリーン上の画像の一部を表すための符号、または複数の静止画間の物体を追跡するための任意の他の機構を含んでもよい。追跡ユニットがロボットアーム１８０９を含むと、撮像装置１８００および採取または移植工具１８０６はロボットアーム１８０９の端部に配置されうる。ベクトリング要素１８０２からのベクトルは、静止画の運動方向に追跡システム１８０３を動かすために用いられ、有効な静止画において対象物の毛包単位または他の主要点を保持する。

一実施形態において、マーカ同定要素１８０４は静止画においてマーカを同定するのに用いられる。マーカ同定要素は、例えば、ソフトウェアプログラムであってもよく、プロセッサ１８０７を含むコンピュータシステム１８１０と相互作用する別の要素を参照して上述のようなハードウェアに実行可能である。このマーカ同定要素はまた、特徴同定要素１８０１の一部であってもよい。

別の実施形態において、対象物の主要点を追跡するシステムは、（システム自体に含まれない）撮像装置からの複数の画像を受け取るのに適合したインターフェイス１８１１のようなインターフェイス、１８０１のような特徴同定要素、およびマーカ参照システム１８０５を含む。マーカ参照システム１８０５はマーカ、毛包単位、または第１の画像における特徴同定要素１８０１によって同定される他の主要点に対応する情報を受け取り、マーカに対応する参照のフレームを規定する。マーカが第２の画像であるかどうか特定し、画像間のマーカの位置変化に対応する参照のフレームを調整する。システムはポータブルディスク、ハードディスク、フラッシュメモリ、または任意の他の記憶媒体を含む記憶装置に保存される。システムはまた、プロセッサ１８０７から独立しているプロセッサを含んでもよいし、同じプロセッサ１８０７を用いてもよい。

特徴同定要素、ベクトリング要素、追跡システム、マーカ同定システム、およびマーカ参照システムを含む上述の要素は、ソフトウェアまたはハードウェア要素の一部であってもよいし、複数のソフトウェアおよびハードウェアプログラムおよびモジュールを含んでもよい。各モジュールは任意の別のモジュールとは分離可能であってもよいし、すべてのモジュールが１つの装置またはチップと一体化されていてもよい。本書に記載される様々な実施形態および方法において、これらの要素のいくつかは光学式である。

一実施形態は体表の分析を含むが、上述のシステムおよび方法は任意の物体を追跡し、自動的にフレームを更新し、あるいは任意の物体または物体のセットに基づいて移動ベクトルを算出することができる。追跡される物体は空気で運ばれる物体、表面に沿って動く物体、地球上を動く物体、または同定されたり、追跡されたりする必要がある任意の他の物体を含む。

上述の様々な実施形態が例のみにより提供され、特許請求された発明を限定するよう解釈されるべきではない。当業者は本書に例示され、記載された例の実施形態およびアプリケーションに従うことなく、特許請求された発明の範囲の真の精神および範囲から逸脱することなく、様々な変更や変化が特許請求された発明になされてもよいことを容易に理解するであろう。

Claims (27)

1. 毛包単位を追跡する方法であって、当該方法が、
   前記毛包単位を含む体表の第１の画像において、前記毛包単位を同定するステップと、
   前記第１の画像において、前記毛包単位の特徴（signature）を求めるステップと、
   前記第１の画像および同じ体表の第２の画像から移動ベクトルを求めるステップと、
   前記第１の画像における、前記移動ベクトルと前記毛包単位の特徴とを用いて、前記第２の画像において、前記毛包単位を分類するステップとを含むことを特徴とする方法。
2. 請求項１に記載の方法がさらに、前記第１の画像および前記第２の画像において、少なくとも１つのマーカを同定するステップを含み、前記移動ベクトルを求めるステップが、前記第１の画像から前記第２の画像への、少なくとも１つのマーカの位置変化に対応する前記移動ベクトルを求めるステップを含むことを特徴とする方法。
3. 請求項２に記載の方法において、前記第1の画像は、少なくとも３つのマーカがあることを特徴とする方法。
4. 請求項２乃至３の何れかに記載の方法において、前記少なくとも１つのマーカが、前記体表の別の毛包単位、ほくろ、傷跡、そばかす、しわ、隆起、またはくぼみの１以上を含むことを特徴とする方法。
5. 請求項２乃至４の何れかに記載の方法が、前記第１の画像において、複数のマーカを含み、前記少なくとも１つのマーカを同定するステップが、点群を同定するステップを含むことを特徴とする方法。
6. 請求項５に記載の方法がさらに、前記点群の中心を算出するステップを含むことを特徴とする方法。
7. 請求項１乃至６の何れかに記載の方法において、前記第１の画像において、前記毛包単位の特徴を求めるステップが、前記毛包単位の長さ、種類、内径、出現角度、領域、形状、または色の１以上を同定するステップを含むことを特徴とする方法。
8. 請求項２乃至７の何れかに記載の方法がさらに、前記第１の画像内の少なくとも１つのマーカを分類するステップと、前記第２の画像において前記移動ベクトルにより示された方向に前記少なくとも１つのマーカを探索することにより、前記第２の画像内で前記第１の画像と同じ特徴を有する少なくとも１つのマーカを分類するステップとを含むことを特徴とする方法。
9. 請求項１乃至８の何れかに記載の方法がさらに 前記第１の画像および前記第２の画像から第２の移動ベクトルを求めるステップと、さらに前記第２の画像において、前記毛包単位を分類する際に、前記第２の移動ベクトルを用いるステップとを含むことを特徴とする方法。
10. 請求項１乃至９の何れかに記載の方法において、前記移動ベクトルが、グレイコードビットプレーン、オプティカルフロー、およびブロックサーチ画像安定化技術の１以上を用いて求められることを特徴とする方法。
11. 請求項１乃至１０の何れかに記載の方法がさらに、画像取得装置の視野に前記毛包単位を維持するために、前記移動ベクトルに応じて前記画像取得装置を動かすステップを含むことを特徴とする方法。
12. 請求項２乃至１１の何れかに記載の方法において、前記少なくとも１つのマーカを同定するステップが、電子識別子を前記少なくとも１つのマーカに関連付けるステップを含むことを特徴とする方法。
13. 請求項２乃至１２の何れかに記載の方法がさらに、前記移動ベクトルにより、前記第１の画像内でその位置において不整合である前記第２の画像におけるすべてのマーカを考慮から外すステップを含むことを特徴とする方法。
14. 請求項１乃至１３の何れかに記載の方法において、前記移動ベクトルが、前記毛包単位を配置するための探索領域を規定し、この探索領域を規定するステップが、前記移動ベクトルに沿い、かつ前記移動ベクトルから所定の距離内の領域を分析するステップを含むことを特徴とする方法。
15. 請求項１４に記載の方法において、前記移動ベクトルからの所定距離が、前記第１の画像において、前記マーカの位置に先端を有する円錐を含み、前記先端は所定の先端角度を有し、前記円錐は前記移動ベクトルの方向に延在し、前記所定の先端角度内の領域を含むことを特徴とする方法。
16. 請求項１乃至１５の何れかに記載の方法がさらに、前記第１および前記第２の画像を複数の第１および第２のサブ画像に分割するステップと、前記第１および第２のサブ画像から複数の移動ベクトルを求めるステップとを含むことを特徴とする方法。
17. 請求項２乃至１６の何れかに記載の方法において、当該方法がさらに、前記少なくとも１つのマーカに対応する座標系を規定するステップを含むことを特徴とする方法。
18. 体表の毛包単位を追跡するシステムであって、当該システムが、
    前記毛包単位を含む体表の第１の画像において、前記毛包単位についての特徴情報を同定する特徴同定要素と、
    前記第１の画像と、同じ体表の前記第２の画像との間の移動ベクトルを算出するベクトリング要素と、
    前記移動ベクトルに対応するデータを受け取り、前記移動ベクトルと前記毛包単位の特徴情報とに基づいて、前記第２の画像内で前記毛包単位を分類するための追跡システムとを含むことを特徴とするシステム。
19. 請求項１８に記載のシステムにおいて、前記追跡システムが、前記体表の画像を取得するための撮像装置を含み、前記システムがさらに、前記移動ベクトルに基づいて、前記撮像装置を動かすようプログラムされていることを特徴とするシステム。
20. 請求項１８乃至１９の何れかに記載のシステムにおいて、前記特徴同定要素、前記ベクトリング要素、および前記追跡システムが、単一のソフトウェアまたはハードウェア製品の一部であることを特徴とするシステム。
21. 請求項１８乃至２０の何れかに記載のシステムがさらに、マーカ同定要素を含み、前記マーカ同定要素が、前記特徴同定要素の一部であることを特徴とするシステム。
22. 請求項１８乃至２１の何れかに記載のシステムにおいて、前記特徴同定要素、前記ベクトリング要素、および前記追跡要素の１以上が、記憶装置および前記撮像装置の少なくとも１つに接続されているプロセッサを含むことを特徴とするシステム。
23. 請求項１８乃至請求項２２の何れかに記載のシステムにおいて、前記システムが、さらにロボットアームを含むロボットシステムであることを特徴とするシステム。
24. 体表に対象物の主要点（feature）を追跡する方法であって、当該方法が、
    撮像装置により取られる第１の静止画像において、少なくとも１つのマーカを同定するステップであって、前記第１の静止画像が、対象物の主要点を含むステップと、
    前記第１の静止画像において、前記対象物の主要点の特徴を特定するステップと、
    前記少なくとも１つのマーカに対応する座標系を規定するステップと、
    前記撮像装置により取られた第２の静止画像内に前記少なくとも１つのマーカを配置するステップと、
    前記特定された特徴を用いて前記第２の静止画像内で前記対象物の主要点の位置を検出し、前記第２の静止画像において、前記少なくとも１つのマーカの位置に基づいて、前記座標系の並進要素（translational component）を更新するステップとを含むことを特徴とする方法。
25. 請求項２４に記載の方法において、前記対象物の主要点が毛包単位であり、前記第１の画像において、前記毛包単位の特徴を同定するステップが、前記毛包単位の長さ、種類、内径、出現角度、領域、形状、または色の１以上を同定するステップを含むことを特徴とする方法。
26. 請求項２４に記載の方法において、前記対象物の主要点の位置を検出するステップが、前記第１の静止画像および前記第２の静止画像から移動ベクトルを求め、前記座標系を更新し前記少なくとも１つのマーカを配置するために前記移動ベクトルを用いるステップとを含むことを特徴とする方法。
27. 請求項２４に記載の方法において、前記座標系を規定するステップが、前記対象物の主要点と前記対象物の主要点の近くに位置する１以上のさらなる特徴との関係を特定するステップを含むことを特徴とする方法。

Images