JP3932360B2 - Landmark extraction apparatus and landmark extraction method - Google Patents

Landmark extraction apparatus and landmark extraction method Download PDF

Info

Publication number
JP3932360B2
JP3932360B2 JP2003057418A JP2003057418A JP3932360B2 JP 3932360 B2 JP3932360 B2 JP 3932360B2 JP 2003057418 A JP2003057418 A JP 2003057418A JP 2003057418 A JP2003057418 A JP 2003057418A JP 3932360 B2 JP3932360 B2 JP 3932360B2
Authority
JP
Japan
Prior art keywords
human body
body shape
data
landmark
landmark position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003057418A
Other languages
Japanese (ja)
Other versions
JP2004265337A (en
Inventor
正明 持丸
まき子 河内
幸男 福井
直紀 日隈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2003057418A priority Critical patent/JP3932360B2/en
Priority to PCT/JP2004/002622 priority patent/WO2004094945A1/en
Publication of JP2004265337A publication Critical patent/JP2004265337A/en
Application granted granted Critical
Publication of JP3932360B2 publication Critical patent/JP3932360B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A41—WEARING APPAREL
    • A41H—APPLIANCES OR METHODS FOR MAKING CLOTHES, e.g. FOR DRESS-MAKING OR FOR TAILORING, NOT OTHERWISE PROVIDED FOR
    • A41H3/00—Patterns for cutting-out; Methods of drafting or marking-out such patterns, e.g. on the cloth
    • A41H3/007—Methods of drafting or marking-out patterns using computers
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43D—MACHINES, TOOLS, EQUIPMENT OR METHODS FOR MANUFACTURING OR REPAIRING FOOTWEAR
    • A43D1/00—Foot or last measuring devices; Measuring devices for shoe parts
    • A43D1/02—Foot-measuring devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Textile Engineering (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、人体表面の３次元形状データから人体の解剖学的特徴点であるランドマーク位置の情報を抽出することのできるランドマーク抽出装置およびランドマーク抽出方法に関するものである。
【０００２】
【従来の技術】
人体形状に適合させて装着する工業製品を製作する場合には、例えば、衣料品、皮革製品、眼鏡類、補装具、ガスマスク等を設計する際に、人体の骨格構造によって決定される身体特徴量データが必要とされる。この身体特徴量データの主要データとしては、解剖学的特徴点であるランドマーク（Landmark, Anatomical landmark）が用いられる。
【０００３】
すなわち、人体形状に適合させる工業製品の設計においては、人体形状の情報として、表面形状の３次元座標情報の他に、骨格位置等に基づく３次元位置情報の基準情報が必要となる。
【０００４】
しかし、ランドマークは、身体表面を触察して骨格位置を確認することで初めてわかる位置情報であるため、３次元スキャナー等で計測された身体の表面形状の情報からは、これらのランドマークの位置情報を的確に抽出することは困難である。このため、従来においては、専門家が被測定者の身体を触察することでランドマークの位置を同定し抽出していた。
【０００５】
また、このような技術に関係する技術として、ランドマーク（生体内の骨格などによって決定される人体皮膚表面上の点）を、自動的に検出する方法としては、これまでに、次のような３つの方法が提案されている。
【０００６】
第１の方法は、人体形状データの局所的な形状特徴（数学的には曲率）と全身的な人体寸法の関係からランドマークを検出する方法である（非特許文献１、非特許文献２）。
【０００７】
第２の方法は、人体形状データと同時に捉えた写真情報（テクスチャ情報）から画像処理技術によって目や鼻などのパーツを自動検出する方法である（非特許文献３）。第１の方法と第２の方法を融合させた方法についても提案されている（非特許文献４）。
【０００８】
第３の方法は、既存の標準体型モデルを計測した人体形状データにフィットするように変形させる方法である（非特許文献５）。
【０００９】
第１の方法は、曲率に依存するため、太った人など特殊な体型の人に適用するのが難しい。第２の方法は、顔に関しては有効であるが、全身や手、足など、ランドマークとする目立った模様がない部位には適用できない。また、第１の方法と第２の方法を融合させた方法（非特許文献４）では、自動検出の確実性を高めているが、第２の方法と同様で顔にしか適用できない。第３の方法では、標準体型モデルを、個人の輪郭線情報（シルエット）に適合するように変形しているが、ここで用いられているランドマークは、輪郭線から得られる手先や脇の下などに限定されている。
【非特許文献１】
L. Dekker, S. Khan, E. West, B. Buxton, and P. Treleaven, “Models for Understanding the 3D Human Body Form”, presented at IEEE International Workshop on Model-Based 3D Image Analysis, Mumbai, India, 1998.
【非特許文献２】
L. Dekker, I. Douros, B. Buxton, and P. Treleaven, “Building Symbolic Information for 3D Human Body Modeling from Range Data”, presented at 3DIM 99, Ottawa, CA, 1999.
【非特許文献３】
T. Yokoyama, et al, “Extracting Contours and Features from Frontal Face Images”, The Journal of the Institute of Image Information and Tele-Television Engineers, vol. 53, No. 11, pp. 1605-1614, 1999.
【非特許文献４】
小高一慶、青木義満、橋本周司、 「３次元顔画像を用いた特徴抽出とマッチング」、 第５回パターン計測シンポジウム、pp.71-77, 2000.
【非特許文献５】
今尾公二、亀田能成、美濃導彦、池田克夫、「シルエット画像に基づいて個人体型を反映する３次元形状モデルの変形法−仮想試着室の実現に向けて」、電子情報通信学会論文誌、vol. J82-D-II, pp.1684-1692, 1999.
【非特許文献６】
T. W. Sederberg: "Free-Form Deformation of Solid Geometric Models", Proceedings of ACM SIGGRAPH'86, Computer Graphics, 20, 4, pp.151-160, 1986
【特許文献１】
特許第２７２５７３９号公報
【００１０】
【発明が解決しようとする課題】
ところで、上述した従来の技術におけるランドマークを抽出する方法では、専門家による処理のため人手がかかり、いつでもどこでも抽出可能という訳ではなく、処理の高速化も困難であるという問題がある。
【００１１】
人体形状に適合させて装着する工業製品においては、製品の高付加価値化と環境保護のためには、製品の身体適合性を高めて、標準サイズばかりでなく、様々な体格の人体形状に合わせた製品群を需要に応じて迅速に設計生産し、提供するシステムへの要求が高まっている。
【００１２】
このためには、店頭などにおいて、高度な技術を持つ専門家が不在でも簡単に人体形状を計測し、かつ、ランドマークを抽出することできるランドマーク抽出装置およびランドマーク抽出方法が提供されることが所望されるが、これまでには、そのような装置および方法は提案されていない。
【００１３】
本発明は、上記のような問題を解決するためになされたものであり、本発明の目的は、３次元スキャナーによる人体形状計測により複数のランドマークを自動抽出することが可能なランドマーク抽出装置およびランドマーク抽出方法を提供することにある。
【００１４】
【課題を解決するための手段】
上記のような目的を達成するため、本発明の第１の態様として、本発明によるランドマーク抽出装置は、主要ランドマーク位置をマーキングした被計測人体を３次元スキャナーにより計測して被測定人体の人体形状データと共に前記主要ランドマーク位置データを取得する入力装置と、標準人体形状データと当該標準人体形状データに付与されている全てのランドマーク位置データとを記憶している記憶装置と、前記標準人体形状データとランドマーク位置データとを読み出し、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データとランドマーク位置データとのデータ変換処理を行うデータ変換装置と、前記データ変換処理により標準人体形状データに付与されているランドマーク位置が前記主要ランドマーク位置に所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体の主要ランドマーク位置以外の他のランドマーク位置を推定するランドマーク位置推定装置とを備えることを特徴とするものである。
【００１５】
第１の態様において、前記標準人体形状データにはテクスチャ情報が付属しており、前記形状データ変換装置は、前記テクスチャ情報を前記被計測人体の人体形状データのテクスチャ情報と比較して対応づけ、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データのデータ変換処理を行うようにしてもよい。
【００１６】
また、第１の態様において、前記ランドマーク位置推定装置は、被計測人体の人体形状データから形状特徴点を抽出し、前記データ変換処理により標準人体形状データの形状特徴点と所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体のランドマーク位置を推定するようにしてもよい。
【００１７】
また、本発明の第２の態様として、本発明によるランドマーク抽出方法は、主要ランドマーク位置をマーキングした被計測人体を３次元スキャナーにより計測して被測定人体の人体形状データと共に前記主要ランドマーク位置データを取得し、記憶装置に記憶されている標準人体形状データと当該標準人体形状データに付与されている全てのランドマーク位置データとを読み出し、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データとランドマーク位置データとのデータ変換処理を行い、前記データ変換処理により標準人体形状データに付与されているランドマーク位置が前記主要ランドマーク位置に所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体の主要ランドマーク位置以外の他のランドマーク位置を推定することを特徴とするものである。
【００１８】
第２の態様において、前記標準人体形状データにはテクスチャ情報が付属しており、前記データ変換処理は、前記テクスチャ情報を前記被計測人体の人体形状データのテクスチャ情報と比較して対応づけ、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データのデータ変換処理を行うようにしてもよい。
【００１９】
また、第２の態様において、前記ランドマーク位置の推定は、被計測人体の人体形状データから形状特徴点を抽出し、前記データ変換処理により標準人体形状データの形状特徴点と所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体のランドマーク位置を推定するようにしてもよい。
【００２０】
また、本発明は、第３の態様として、本発明によるランドマーク抽出処理をコンピュータにより実行するプログラムが、主要ランドマーク位置をマーキングした被計測人体を３次元スキャナーにより計測して被測定人体の人体形状データと共に前記主要ランドマーク位置データを取得するステップと、記憶装置に記憶されている標準人体形状データと当該標準人体形状データに付与されている全てのランドマーク位置データとを読み出すステップと、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データとランドマーク位置データとのデータ変換処理を行うステップと、前記データ変換処理により標準人体形状データに付与されているランドマーク位置が前記主要ランドマーク位置に所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体の主要ランドマーク位置以外の他のランドマーク位置を推定するステップとを有すること特徴とするものである。
【００２１】
第３の態様において、前記標準人体形状データにはテクスチャ情報が付属しており、前記データ変換処理を行うステップは、前記テクスチャ情報を前記被計測人体の人体形状データのテクスチャ情報と比較して対応づけ、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データのデータ変換処理を行うようにしてもよい。
【００２２】
また、第３の態様において、前記ランドマーク位置を推定するステップは、被計測人体の人体形状データから形状特徴点を抽出し、前記データ変換処理により標準人体形状データの形状特徴点と所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体のランドマーク位置を推定するようにしてもよい。
【００２３】
また、本発明の第４の態様は、本発明のランドマーク抽出処理をコンピュータにより実行するプログラムを記録した記録媒体であり、主要ランドマーク位置をマーキングした被計測人体を３次元スキャナーにより計測して被測定人体の人体形状データと共に前記主要ランドマーク位置データを取得するステップと、記憶装置に記憶されている標準人体形状データと当該標準人体形状データに付与されている全てのランドマーク位置データとを読み出すステップと、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データとランドマーク位置データとのデータ変換処理を行うステップと、前記データ変換処理により標準人体形状データに付与されているランドマーク位置が前記主要ランドマーク位置に所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体の主要ランドマーク位置以外の他のランドマーク位置を推定するステップとの処理をコンピュータにより実行するプログラムを記録した記録媒体である。
【００２４】
第４に態様において、前記標準人体形状データにはテクスチャ情報が付属しており、前記データ変換処理を行うステップは、前記テクスチャ情報を前記被計測人体の人体形状データのテクスチャ情報と比較して対応づけ、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データのデータ変換処理を行うようにしてもよい。
【００２５】
また、第４の態様において、前記ランドマーク位置を推定するステップは、被計測人体の人体形状データから形状特徴点を抽出し、前記データ変換処理により標準人体形状データの形状特徴点と所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体のランドマーク位置を推定するようにしてもよい。
【００２６】
このような本発明によるランドマーク抽出装置およびランドマーク抽出方法によれば、ランドマークの抽出は、被計測人体の主要なランドマークを予めマーキングしておき、３次元スキャナーで人体形状を計測すると同時に主要なランドマーク位置を同時に計測し、記憶装置に記憶されている標準の人体形状と当該人体形状に付与されている全てのランドマークの位置と比較し、標準人体形状を当該計測された人体形状に近づけるように変形させて、変形させた標準人体形状データにより複数のランドマーク位置を同定することにより行う。
【００２７】
その場合に、別の態様では、標準人体形状データに付属しているテクスチャ情報を前記被計測人体のテクスチャ情報と比較し対応づけて、前記標準人体形状を変形させることで、複数のランドマークを同定する。また、人体形状にマーキングをしない場合においては、計測された形状点群から形状特徴量を抽出し、これを利用して標準人体形状データを変形させるデータ変換を行うことで、複数のランドマークを同定するようにする。
【００２８】
【発明の実施の形態】
以下、図面を参照して本発明の実施する場合の一形態について説明する。図１は、本発明の一実施例のランドマーク抽出装置のシステム構成を示すブロック図である。図１において、１０はマイクロプロセッサ（ＣＰＵ）と演算プログラムを備えてデータ処理を行うデータ処理装置である。２０は被測定対象を載置するステージおよび光学スキャナーなどを備えた３次元形状計測装置、３０は標準人体形状データなど記憶しているデータ記憶部、４０は主要なランドマーク位置がマーキング（４１ａ〜４１ｃ）された被計測対象の人体形状を表している。
【００２９】
データ処理装置１０には、主要な処理モジュールとして、後述するように、ＦＦＤ（Ｆｒｅｅ Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ）変形処理を行うデータ処理モジュール１０ａと、ランドマーク推定処理を行うデータ処理モジュール１０ｂとが備えられており、データ記憶部３０には、標準人体形状データ３１ａとランドマーク位置データ３１ｂが備えられている。
【００３０】
３次元形状計測装置２０は、主要ランドマーク位置のマーキング（４１ａ〜４１ｃ）を施した被計測人体形状４０を、３次元スキャナーにより計測し、被測定人体形状の人体形状データと共に前記主要ランドマーク位置データを取得して、データ処理装置１０に送る。
【００３１】
データ処理装置１０は、データ記憶部３０から、標準人体形状データ３１ａと当該標準人体形状データに付与されている全てのランドマーク位置データ３１ｂとを読み出し、データ処理モジュール１０ａにより、ＦＦＤ変形処理を行い、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データとランドマーク位置データとのデータ変換処理を行う。
【００３２】
また、データ処理装置１０においては、データ処理モジュール１０ｂにより、データ変換処理により標準人体形状データに付与されているランドマーク位置が前記主要ランドマーク位置に所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体の主要ランドマーク位置以外の他のランドマーク位置を推定する。この推定した結果により、被計測対象の人体形状に基づき、人体表面の３次元形状データから人体の解剖学的特徴点であるランドマーク位置が抽出できることになる。なお、図１に示すシステム構成において、データ処理装置１０、３次元形状計測装置２０、データ記憶部３０などのシステム要素は、物理的または論理的に結合されていれば良いので、同じ場所に設けられている必要はない。したがって、ネットワークにより結合された状態であっても良く、人体形状データの入力装置となる３次元形状計測装置２０は設置する場合に、ある程度の空間的なスペースを有するので、計測室に設けられ、別の場所にあるデータ処理装置１０にネットワークを介して送られるシステム構成であっても良い。
【００３３】
図２および図３は、データ処理装置１０において処理されるランドマーク抽出処理の詳細な処理内容をブロック図として示す図である。図２および図３を参照して説明する。ここでの処理は、データ処理装置１０のデータ処理モジュール１０ａとデータ処理モジュール１０ｂが用いられて、実行される。図２および図３において、それぞれのブロックによる処理の流れにより示されている。
【００３４】
図２には、ランドマーク抽出処理の前処理の流れを示しており、図３には、ランドマーク抽出処理の後処理の流れを示している。後処理では、ランドマーク位置が未知の人体形状の表面形状点群からランドマーク位置を自動推定する手続きが示されている。
【００３５】
ランドマーク抽出処理の前処理では、予めランドマーク位置を専門家が触察により求めて（抽出して）マーキングしておき、その人体形状の複数個から、基準となる代表的なランドマークの標準セットを創成し、もとの人体形状のランドマークから標準セットへの変形を行う格子点を求める手がかりとして、別途形状特徴点を定義する。
【００３６】
そして、ランドマーク抽出の後処理により、ランドマークが未知の人体形状に対して、前処理と同様に形状特徴点を推定し、これより標準セットからの変形のための格子点を求め、標準セットを変形させて、未知のランドマーク位置を推定する。この後処理が、被計測対象の人体形状を取り替えて、それぞれの人体形状に対して、ランドマーク位置の情報を抽出する
【００３７】
順追って説明する。
（１）予め専門家により、全てのランドマーク位置を抽出し、マーキングした状態でスキャナーにより計測した人体形状データ（以降サンプルデータと呼ぶ）を複数個作成して、サンプルモデルセット１１とする。ここでのサンプルモデルセット１１のサンプルデータにはランドマーク、人体表面形状に加えて、テクスチャ情報も付与させておく。
【００３８】
サンプルデータの人体(足)表面形状を表す３次元座標点群の例を、図４に示している。また、この表面形状に重なって位置するランドマークの座標点のみを抽出して、それらを結んで網目状に表現した状態を図５に示している。
【００３９】
（２）このようなランドマークが付与された複数のサンプルデータの対応するランドマーク位置の平均値を基にして創成した平均標準形状データを作成し、これを標準モデル１３とする。この標準モデル１３のデータをデータ記憶部３０に記憶する。標準モデル１３は、設計に必要な全てのランドマークによって構成される。
【００４０】
（３）次に標準モデル１３のランドマーク位置から、サンプルモデルセット１１の各サンプルデータのもつランドマーク位置へ、ＦＦＤ法を用いて変形させる。この変形処理は、ＦＦＤ変形格子１４を用いて行われる。
【００４１】
ＦＦＤ法は「非特許文献６」によって示されている座標系変換方式であり、その原理は、３次元空間内に配置された制御点群のＢｅｒｎｓｔｅｉｎ多項式（ｔを媒介変数としたとき、項ｔと項（１−ｔ）の和のｎ乗を展開した各項）を係数としたアフィン結合において、Ｂｅｒｎｓｔｅｉｎ多項式の媒介変数値を与えることで得られる点を変換後の位置とし、前記多項式の媒介変数値を変換前の座標値とする座標系変換方式である。制御点群の位置を変えることで、ＦＦＤ法による変換（以降ＦＦＤ変換と呼ぶ）後の空間が変形することになる。
【００４２】
これを形状設計時の変形に応用させる。この手法は、例えば、「特許文献１」において詳述されている方法を用いる。変形を行う基になる制御格子点群は、標準モデル１３が包含される格子点群とする。変換前のランドマーク座標値は標準モデル１３におけるものであり、変換後にサンプルデータのランドマーク位置となるような変形を行うための座標変換としてＦＦＤ法を用いる。格子点位置を移動させて内部の空間、および形状を変形させるＦＦＤ変形の概念図を、図６に示している。
【００４３】
（４）一方、サンプルモデルセット１１の各サンプルデータにより、幾何学的特徴量を、形状特徴点１２として、複数個抽出する。この形状特徴点１２は、例えば、サンプルデータにおいて、対応のつく点群の位置座標や、特定方向から見たときに一番突出した点、ガウス曲率の極大となる点、あるいは、適切に選択した断面図の特定方向の幅、断面の周囲長、曲率の極大点など、形状の特徴を表現するものを用いる。また、形状特徴点１２としては、顔の形状を例にとれば、眉、唇など、テクスチャ情報を持つものを利用することもできる。この場合の形状特徴点の例を、図７に示している。図７では、足長を基準に垂直に等分した断面の複数個において、最内点、最外点、最高点を示している。
【００４４】
（５）次に、上記（３）において、変形を行ったときの制御格子点の座標値と、上記（４）において定義した形状特徴点の座標値の値との関連性を統計的に求める。形状特徴点群の座標値を説明変数（独立変数）とし、制御格子点群の座標値を目的変数（従属変数）と見なして、重回帰分析１５を行い、制御格子点群の座標値は、各形状特徴点の座標値の線形結合として表現し、その係数の最尤値を統計的に求める。
【００４５】
（６）重回帰分析１５の結果得られる回帰式を用いることにより、形状特徴点が分かれば、ＦＦＤ変形の制御格子の変形後の位置がわかるため、この変形操作を標準モデル１３に施すことによって、ランドマークも同様に移動して、新しいランドマーク位置が求まることになる。
【００４６】
以上の手続きにより、形状特徴量とＦＦＤ変形による制御格子の変化位置との関係が明らかにされる。次に、ランドマーク抽出処理の後処理では、図３に示すように、被計測対象の未知の人体形状が与えられたとき、以下の手順で行う。
【００４７】
（１） 未知の人体形状の人体形状データを入力する（ステップ２１）。
（２） 人体形状データをから形状特徴点を求める（ステップ２２）。
（３） 前記重回帰分析の結果より、ＦＦＤ変形格子推定の処理を行って、ＦＦＤ変形制御格子の変化位置を求める（ステップ２３）。
（４） 標準モデルを求めたＦＦＤ変形制御格子によって変形させる（ステップ２４）。
（５） 前記変形で移動した標準モデルのランドマークを未知の人体形状の表面形状点上に投影する（ステップ２５）。
（６） 投影したランドマークの位置からランドマークの情報を抽出して出力する（ステップ２６）。
【００４８】
なお、このような処理に用いられる人体形状において、３次元座標系を定めるために、基準点として人体形状の基本的な特徴点は複数点を用いる。説明に使用した足形状の場合、例えば、図７に示すように、形状特徴点の３点を基準点として、予めその位置を既知としている。
【００４９】
本発明にかかるランドマーク抽出装置は、上述した実施形態の他に、次のように変形された形態においても実施できる。すなわち、人体表面の３次元形状データを入力する計測機（入力装置）と、物理的ないしは論理的に接続された計算機（データ処理装置）とを備えた装置において、人体表面の３次元形状データから骨などによって決定される解剖学的特徴点を自動的に抽出し、その解剖学的特徴点の３次元座標値を出力する機能（処理プログラム）を備える。この構成により、例えば、計測時において人体表面上の解剖学的特徴点位置にマーカを貼り付けた箇所だけでなく、マーカが貼られていない解剖学的特徴点位置も同時に自動抽出することができる。
【００５０】
また、計算機（データ処理装置）において、データ記憶部内に記憶された標準的な人体形状の解剖学的特徴点位置を、計測機で取得した人体表面の３次元形状データに一致させるように変形することで、計測した人体形状データ上の解剖学的特徴点位置を決定する。
【００５１】
また、人体表面形状に加えて人体表面上のテクスチャ情報を利用して、予め記憶されている標準的な人体形状を変形させることで、解剖学的特徴点位置を自動抽出することができる。
【００５２】
マーカが貼られていない場合については、人体表面の３次元形状データから形状特徴点を自動抽出し、この形状特徴点を利用して、予め記憶されている標準的な人体形状を変形させることで、解剖学的特徴点の位置を自動抽出することができる。
【００５３】
【発明の効果】
以上説明したように、本発明によれば、人体形状の表面上に少数の既知の基準点を与えるだけで多くのランドマークを自動推定することが可能となる。また、異なる人体形状データの間で特徴点位置の対応がつけることが可能となり、設計上きわめて有効となる。したがって、本発明を用いれば、専門家でなくても少数の基準点を与えた状態で形状を３次元スキャナー等で計測するだけで、設計情報を得ることができるという優れた効果がある。
【図面の簡単な説明】
【図１】本発明の一実施例のランドマーク抽出装置のシステム構成を示すブロック図である。
【図２】ランドマーク抽出処理の詳細な処理内容をブロック図として示す第１の図であり、ランドマーク抽出処理の前処理の流れを示す図である。
【図３】ランドマーク抽出処理の詳細な処理内容をブロック図として示す第２の図であり、ランドマーク抽出処理の後処理の流れを示す図である。
【図４】３次元スキャナーで得られた人体表面形状を表す３次元点群の例示図である。
【図５】人体表面上のランドマーク位置を表す３次元点群を結んでできる編み目形状の例示図である。
【図６】ＦＦＤ変形を行う格子状の制御点群と、制御点群を移動させることで変形される形状を説明する図である。
【図７】断面形状上で座標値の極値をとる点群を形状特徴量として抽出した例を示す例示図である。
【符号の説明】
１０…データ処理装置、
２０…３次元形状計測装置、
３０…データ記憶部、
４０…被計測対象の人体形状[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a landmark extraction apparatus and landmark extraction method that can extract landmark position information, which is an anatomical feature point of a human body, from three-dimensional shape data on the surface of a human body.
[0002]
[Prior art]
When manufacturing an industrial product that fits the shape of the human body, for example, when designing clothing, leather products, glasses, assistive devices, gas masks, etc., body characteristics determined by the skeletal structure of the human body Quantity data is required. Landmark (anatomical landmark), which is an anatomical feature point, is used as the main data of the body feature data.
[0003]
That is, in the design of an industrial product adapted to a human body shape, reference information of 3D position information based on a skeleton position or the like is required in addition to the 3D coordinate information of the surface shape as the human body shape information.
[0004]
However, since landmarks are position information that can only be understood by touching the body surface and confirming the skeletal position, the position of these landmarks is determined from information on the body surface shape measured by a three-dimensional scanner or the like. It is difficult to extract information accurately. For this reason, in the past, an expert identified and extracted the position of the landmark by touching the body of the subject.
[0005]
In addition, as a technique related to such a technique, as a method of automatically detecting a landmark (a point on the human skin surface determined by a skeleton in a living body), the following has been proposed. Three methods have been proposed.
[0006]
The first method is a method of detecting a landmark from the relationship between local shape characteristics (mathematical curvature) of human body shape data and whole body dimensions (Non-Patent Document 1 and Non-Patent Document 2). .
[0007]
The second method is a method of automatically detecting parts such as eyes and nose from image information (texture information) captured simultaneously with human body shape data by image processing technology (Non-patent Document 3). A method in which the first method and the second method are fused has also been proposed (Non-Patent Document 4).
[0008]
The third method is a method of deforming an existing standard body model so as to fit the measured human body shape data (Non-Patent Document 5).
[0009]
Since the first method depends on the curvature, it is difficult to apply to a person with a special body shape such as a fat person. The second method is effective with respect to the face, but cannot be applied to parts such as the whole body, hands, and feet that do not have a conspicuous pattern as a landmark. Further, in the method in which the first method and the second method are merged (Non-Patent Document 4), the reliability of automatic detection is improved, but it can be applied only to the face as in the second method. In the third method, the standard model is deformed to fit the personal outline information (silhouette), but the landmarks used here are on the hand or armpit obtained from the outline. Limited.
[Non-Patent Document 1]
L. Dekker, S. Khan, E. West, B. Buxton, and P. Treleaven, “Models for Understanding the 3D Human Body Form”, presented at IEEE International Workshop on Model-Based 3D Image Analysis, Mumbai, India, 1998 .
[Non-Patent Document 2]
L. Dekker, I. Douros, B. Buxton, and P. Treleaven, “Building Symbolic Information for 3D Human Body Modeling from Range Data”, presented at 3DIM 99, Ottawa, CA, 1999.
[Non-Patent Document 3]
T. Yokoyama, et al, “Extracting Contours and Features from Frontal Face Images”, The Journal of the Institute of Image Information and Tele-Television Engineers, vol. 53, No. 11, pp. 1605-1614, 1999.
[Non-Patent Document 4]
Kazuyoshi Kodaka, Yoshimitsu Aoki, Shuji Hashimoto, “Feature Extraction and Matching Using 3D Face Images”, 5th Pattern Measurement Symposium, pp.71-77, 2000.
[Non-Patent Document 5]
Koji Imao, Nosunari Kameda, Nobuhiko Mino, Katsuo Ikeda, “Deformation method of 3D shape model reflecting personal figure based on silhouette image-To realize virtual fitting room”, IEICE Transactions, vol. J82-D-II, pp.1684-1692, 1999.
[Non-Patent Document 6]
TW Sederberg: "Free-Form Deformation of Solid Geometric Models", Proceedings of ACM SIGGRAPH'86, Computer Graphics, 20, 4, pp.151-160, 1986
[Patent Document 1]
Japanese Patent No. 2725739
[0010]
[Problems to be solved by the invention]
By the way, in the method for extracting landmarks in the above-described conventional technique, there is a problem that it takes a lot of manpower for processing by experts, and it is not always possible to extract anywhere, and it is difficult to speed up the processing.
[0011]
For industrial products that are fitted to the human body shape, in order to increase the added value of the product and protect the environment, the product's body compatibility has been increased to suit not only the standard size but also various body shapes. There is an increasing demand for systems that quickly design and produce new product groups according to demand.
[0012]
For this purpose, a landmark extraction apparatus and landmark extraction method capable of easily measuring a human body shape and extracting a landmark even in the absence of a highly skilled expert at a storefront, etc. are provided. So far, no such apparatus and method has been proposed.
[0013]
The present invention has been made to solve the above problems, and an object of the present invention is to provide a landmark extraction apparatus capable of automatically extracting a plurality of landmarks by measuring a human body shape using a three-dimensional scanner. And providing a landmark extraction method.
[0014]
[Means for Solving the Problems]
In order to achieve the above object, as a first aspect of the present invention, a landmark extraction apparatus according to the present invention measures a measured human body marked with a main landmark position with a three-dimensional scanner and measures the measured human body. An input device that acquires the main landmark position data together with human body shape data, a storage device that stores standard human body shape data and all landmark position data attached to the standard human body shape data, and the standard A data conversion device that reads out human body shape data and landmark position data and performs a data conversion process between standard human body shape data and landmark position data, which transforms the standard human body shape so as to approximate the measured human body shape, and the data The landmark position given to the standard human body shape data by the conversion process is the main landmark marker. And a landmark position estimation device that estimates a landmark position other than the main landmark position of the measured human body from the landmark position of the deformed standard human body shape data when the position corresponds within a predetermined range. It is characterized by.
[0015]
In the first aspect, texture information is attached to the standard human body shape data, and the shape data conversion device associates the texture information with the texture information of the human body shape data of the measured human body, You may make it perform the data conversion process of the standard human body shape data which changes a standard human body shape so that it may approximate to the measured human body shape.
[0016]
In the first aspect, the landmark position estimation device extracts shape feature points from the human body shape data of the human body to be measured, and corresponds to the shape feature points of the standard human body shape data by the data conversion process within a predetermined range. In this case, the landmark position of the measured human body may be estimated from the landmark position of the deformed standard human body shape data.
[0017]
Further, as a second aspect of the present invention, the landmark extraction method according to the present invention is such that the measurement target human body marked with the main landmark position is measured by a three-dimensional scanner, and the main landmark together with the human body shape data of the measurement human body. Acquires position data, reads out standard human body shape data stored in the storage device and all landmark position data attached to the standard human body shape data, and brings the standard human body shape closer to the measured human body shape The standard human body shape data and the landmark position data to be deformed into the data are converted, and the landmark position given to the standard human body shape data by the data conversion process corresponds to the main landmark position within a predetermined range. In this case, the main label of the measured human body is determined from the landmark position of the deformed standard human body shape data. It is characterized in estimating the other landmark position other than Domaku position.
[0018]
In the second aspect, texture information is attached to the standard human body shape data, and the data conversion process associates the texture information with the texture information of the human body shape data of the measured human body, You may make it perform the data conversion process of the standard human body shape data which changes a human body shape so that it may approximate to the measured human body shape.
[0019]
In the second aspect, the landmark position is estimated by extracting shape feature points from the human shape data of the human body to be measured, and corresponding to the shape feature points of the standard human shape data by the data conversion processing within a predetermined range. In this case, the landmark position of the measured human body may be estimated from the landmark position of the deformed standard human body shape data.
[0020]
According to a third aspect of the present invention, as a third aspect, a program for executing the landmark extraction processing according to the present invention by a computer measures a human body to be measured with a main landmark position marked by a three-dimensional scanner, and the human body of the human body to be measured Obtaining the main landmark position data together with the shape data, reading out the standard human body shape data stored in the storage device and all the landmark position data attached to the standard human body shape data; A step of performing a data conversion process between standard human body shape data and landmark position data for deforming the human body shape so as to approximate the measured human body shape, and a landmark position assigned to the standard human body shape data by the data conversion process Corresponds to the main landmark position within a predetermined range And it is characterized by a step of the landmark position of the standard human body shape data is deformed to estimate the other landmark location other than the main landmark position of the human body to be measured.
[0021]
In the third aspect, texture information is attached to the standard human body shape data, and the step of performing the data conversion process corresponds to comparing the texture information with the texture information of the human body shape data of the measured human body. In addition, data conversion processing of standard human body shape data may be performed in which the standard human body shape is deformed so as to approximate the measured human body shape.
[0022]
In the third aspect, the step of estimating the landmark position extracts shape feature points from the human body shape data of the human body to be measured, and within a predetermined range from the shape feature points of the standard human body shape data by the data conversion process. In this case, the landmark position of the measured human body may be estimated from the landmark position of the deformed standard human body shape data.
[0023]
According to a fourth aspect of the present invention, there is provided a recording medium on which a program for executing the landmark extraction processing of the present invention by a computer is recorded, and a measured human body marked with a main landmark position is measured by a three-dimensional scanner. The step of acquiring the main landmark position data together with the human body shape data of the human body to be measured, the standard human body shape data stored in the storage device, and all the landmark position data added to the standard human body shape data. A step of reading, a step of performing a data conversion process between the standard human body shape data and the landmark position data for deforming the standard human body shape so as to approximate to the measured human body shape, and the data conversion processing are provided to the standard human body shape data. The landmark position is within the predetermined range to the main landmark position. A recording medium on which a program for executing processing by the computer with the step of estimating a landmark position other than the main landmark position of the measured human body from the landmark position of the deformed standard human body shape data is processed. It is.
[0024]
4th aspect WHEREIN: Texture information is attached to the said standard human body shape data, and the step which performs the said data conversion process respond | corresponds by comparing the said texture information with the texture information of the human body shape data of the said to-be-measured human body. In addition, data conversion processing of standard human body shape data may be performed in which the standard human body shape is deformed so as to approximate the measured human body shape.
[0025]
In the fourth aspect, the step of estimating the landmark position extracts shape feature points from the human body shape data of the human body to be measured, and within a predetermined range from the shape feature points of the standard human body shape data by the data conversion process. In this case, the landmark position of the measured human body may be estimated from the landmark position of the deformed standard human body shape data.
[0026]
According to the landmark extraction apparatus and landmark extraction method according to the present invention, the landmark extraction is performed by marking the main landmark of the human body to be measured in advance and measuring the human body shape with a three-dimensional scanner. Simultaneously measure the main landmark positions, compare the standard human body shape stored in the storage device with the positions of all landmarks assigned to the human body shape, and compare the standard human body shape with the measured human body shape It is performed by identifying a plurality of landmark positions based on the deformed standard human body shape data.
[0027]
In that case, in another aspect, the texture information attached to the standard human body shape data is compared with the texture information of the human body to be measured and associated, and the standard human body shape is deformed, whereby a plurality of landmarks are obtained. Identify. In addition, in the case where marking is not performed on the human body shape, a plurality of landmarks are obtained by extracting a shape feature amount from the measured shape point group and performing a data conversion using this to deform the standard human body shape data. Try to identify.
[0028]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a system configuration of a landmark extraction apparatus according to an embodiment of the present invention. In FIG. 1, reference numeral 10 denotes a data processing device that includes a microprocessor (CPU) and an arithmetic program and performs data processing. 20 is a three-dimensional shape measuring apparatus equipped with a stage for placing a measurement target and an optical scanner, 30 is a data storage unit for storing standard human body shape data and the like, 40 is a marker (41a to 41a) 41c) represents the human body shape to be measured.
[0029]
As will be described later, the data processing apparatus 10 includes a data processing module 10a that performs FFD (Free Form Deformation) transformation processing and a data processing module 10b that performs landmark estimation processing, as will be described later. The data storage unit 30 includes standard human body shape data 31a and landmark position data 31b.
[0030]
The three-dimensional shape measuring apparatus 20 measures the measurement target human body shape 40 with the markings (41a to 41c) of the main landmark positions using a three-dimensional scanner, and the main landmark position together with the human body shape data of the measurement human body shape. Data is acquired and sent to the data processing device 10.
[0031]
The data processing device 10 reads the standard human body shape data 31a and all the landmark position data 31b attached to the standard human body shape data from the data storage unit 30, and performs the FFD deformation process by the data processing module 10a. Then, data conversion processing between standard human body shape data and landmark position data for deforming the standard human body shape so as to approach the measured human body shape is performed.
[0032]
Further, in the data processing apparatus 10, the data processing module 10b is deformed when the landmark position given to the standard human body shape data by the data conversion process corresponds to the main landmark position within a predetermined range. A landmark position other than the main landmark position of the measured human body is estimated from the landmark position of the standard human body shape data. As a result of this estimation, landmark positions, which are anatomical feature points of the human body, can be extracted from the three-dimensional shape data of the human body surface based on the human body shape to be measured. In the system configuration shown in FIG. 1, the system elements such as the data processing device 10, the three-dimensional shape measuring device 20, and the data storage unit 30 need only be physically or logically connected. There is no need to be. Therefore, the three-dimensional shape measuring device 20 that is connected to the network may be a human body shape data input device, and has a certain spatial space when installed. The system configuration may be such that the data is sent to the data processing apparatus 10 at another location via a network.
[0033]
FIGS. 2 and 3 are block diagrams showing detailed processing contents of the landmark extraction processing processed in the data processing apparatus 10. This will be described with reference to FIGS. This processing is executed using the data processing module 10a and the data processing module 10b of the data processing apparatus 10. In FIG. 2 and FIG. 3, it shows by the flow of the process by each block.
[0034]
FIG. 2 shows a flow of pre-processing of the landmark extraction process, and FIG. 3 shows a flow of post-processing of the landmark extraction process. In the post-processing, a procedure for automatically estimating a landmark position from a surface shape point group of a human body shape whose landmark position is unknown is shown.
[0035]
In the pre-processing of the landmark extraction process, the landmark position is preliminarily determined (extracted) by an expert by touching and marking, and a standard standard landmark that serves as a reference from a plurality of human body shapes. A shape feature point is separately defined as a clue for creating a set and obtaining a lattice point for transformation from a landmark of the original human body shape to a standard set.
[0036]
Then, by post-processing of landmark extraction, shape feature points are estimated for human shapes with unknown landmarks in the same way as pre-processing, and from this, lattice points for deformation from the standard set are obtained, and the standard set Is used to estimate an unknown landmark position. This post-processing replaces the human body shape to be measured, and extracts landmark position information for each human body shape.
[0037]
This will be explained in order.
(1) All landmark positions are extracted in advance by an expert, and a plurality of human body shape data (hereinafter referred to as sample data) measured by a scanner in a marked state are created and used as a sample model set 11. The sample data of the sample model set 11 here is given texture information in addition to the landmark and the human body surface shape.
[0038]
FIG. 4 shows an example of a three-dimensional coordinate point group representing the human body (foot) surface shape of the sample data. Further, FIG. 5 shows a state in which only the coordinate points of the landmarks positioned so as to overlap with the surface shape are extracted and connected to be expressed in a mesh shape.
[0039]
(2) Average standard shape data created based on an average value of corresponding landmark positions of a plurality of sample data to which such landmarks are assigned is created and used as a standard model 13. The data of the standard model 13 is stored in the data storage unit 30. The standard model 13 is composed of all landmarks necessary for design.
[0040]
(3) Next, the landmark position of the standard model 13 is transformed to the landmark position of each sample data of the sample model set 11 using the FFD method. This deformation process is performed using the FFD deformation grid 14.
[0041]
The FFD method is a coordinate system conversion method shown by “Non-Patent Document 6”, and its principle is that a Bernstein polynomial (a term t when t is a parameter) of a control point group arranged in a three-dimensional space. And a point obtained by giving a parameter value of a Bernstein polynomial in an affine combination using a coefficient of each term obtained by expanding the nth power of the sum of the terms (1−t) and the term (1-t) as a post-conversion position. This is a coordinate system conversion method in which a variable value is a coordinate value before conversion. By changing the position of the control point group, the space after conversion by the FFD method (hereinafter referred to as FFD conversion) is deformed.
[0042]
This is applied to deformation during shape design. For this method, for example, the method described in detail in “Patent Document 1” is used. The control grid point group on which the deformation is performed is a grid point group including the standard model 13. The landmark coordinate values before conversion are those in the standard model 13, and the FFD method is used as coordinate conversion for performing transformation to become the landmark position of the sample data after conversion. FIG. 6 shows a conceptual diagram of FFD deformation in which the lattice point position is moved to deform the internal space and shape.
[0043]
(4) On the other hand, a plurality of geometric feature quantities are extracted as shape feature points 12 from each sample data of the sample model set 11. The shape feature point 12 is selected, for example, in the position coordinates of the corresponding point group in the sample data, the most prominent point when viewed from a specific direction, the point having the maximum Gaussian curvature, or the appropriate selection What expresses the characteristics of the shape such as the width in a specific direction of the cross-sectional view, the perimeter of the cross-section, and the maximum point of curvature is used. In addition, as the shape feature point 12, for example, a face shape having texture information such as eyebrows and lips can be used. An example of the shape feature point in this case is shown in FIG. FIG. 7 shows the innermost point, the outermost point, and the highest point in a plurality of cross-sections that are equally divided vertically based on the foot length.
[0044]
(5) Next, in (3) above, the relevance between the coordinate value of the control grid point when the deformation is performed and the value of the coordinate value of the shape feature point defined in (4) above is statistically obtained. . The coordinate value of the shape feature point group is an explanatory variable (independent variable), the coordinate value of the control grid point group is regarded as an objective variable (dependent variable), and multiple regression analysis 15 is performed. It is expressed as a linear combination of the coordinate values of each shape feature point, and the maximum likelihood value of the coefficient is obtained statistically.
[0045]
(6) By using the regression equation obtained as a result of the multiple regression analysis 15, if the shape feature point is known, the post-deformation position of the control grid for FFD deformation can be known. The landmark moves in the same manner, and a new landmark position is obtained.
[0046]
With the above procedure, the relationship between the shape feature amount and the change position of the control grid caused by the FFD deformation is clarified. Next, in the post-processing of the landmark extraction process, as shown in FIG. 3, when an unknown human body shape to be measured is given, the following procedure is performed.
[0047]
(1) Input human body shape data of an unknown human body shape (step 21).
(2) Shape feature points are obtained from the human body shape data (step 22).
(3) From the result of the multiple regression analysis, FFD deformation grid estimation processing is performed to determine the change position of the FFD deformation control grid (step 23).
(4) The standard model is deformed by the obtained FFD deformation control grid (step 24).
(5) The standard model landmark moved by the deformation is projected onto a surface shape point of an unknown human body shape (step 25).
(6) The landmark information is extracted from the projected landmark position and output (step 26).
[0048]
In addition, in order to define a three-dimensional coordinate system in the human body shape used for such processing, a plurality of basic feature points of the human body shape are used as reference points. In the case of the foot shape used for the description, for example, as shown in FIG. 7, the position of the shape feature point is known in advance by using three shape feature points.
[0049]
The landmark extracting apparatus according to the present invention can be implemented in the following modified form in addition to the above-described embodiment. That is, in a device including a measuring instrument (input device) for inputting three-dimensional shape data of the human body surface and a computer (data processing device) connected physically or logically, the three-dimensional shape data of the human body surface A function (processing program) for automatically extracting an anatomical feature point determined by a bone or the like and outputting a three-dimensional coordinate value of the anatomical feature point is provided. With this configuration, for example, not only a position where a marker is pasted on an anatomical feature point position on the surface of a human body but also an anatomical feature point position where no marker is pasted can be automatically extracted at the time of measurement. .
[0050]
Further, in a computer (data processing device), the standard anatomical feature point position of the human body shape stored in the data storage unit is deformed so as to coincide with the three-dimensional shape data of the human body surface acquired by the measuring device. Thus, the position of the anatomical feature point on the measured human body shape data is determined.
[0051]
In addition to the human body surface shape, the anatomical feature point position can be automatically extracted by deforming a standard human body shape stored in advance using texture information on the human body surface.
[0052]
For the case where the marker is not pasted, the shape feature points are automatically extracted from the three-dimensional shape data on the surface of the human body, and the standard human body shape stored in advance is deformed using the shape feature points. The position of anatomical feature points can be automatically extracted.
[0053]
【The invention's effect】
As described above, according to the present invention, it is possible to automatically estimate many landmarks only by providing a small number of known reference points on the surface of the human body shape. In addition, it is possible to associate feature point positions between different human body shape data, which is extremely effective in design. Therefore, if the present invention is used, there is an excellent effect that even if it is not an expert, design information can be obtained only by measuring the shape with a three-dimensional scanner or the like with a small number of reference points.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a system configuration of a landmark extraction apparatus according to an embodiment of the present invention.
FIG. 2 is a first diagram showing a detailed processing content of a landmark extraction process as a block diagram, and shows a flow of a pre-process of the landmark extraction process.
FIG. 3 is a second diagram showing a detailed processing content of the landmark extraction processing as a block diagram, and is a diagram showing a flow of post-processing of the landmark extraction processing.
FIG. 4 is an exemplary diagram of a three-dimensional point group representing a human body surface shape obtained by a three-dimensional scanner.
FIG. 5 is an illustration of a stitch shape formed by connecting a three-dimensional point group representing a landmark position on the surface of a human body.
FIG. 6 is a diagram illustrating a grid-like control point group that performs FFD deformation and a shape that is deformed by moving the control point group.
FIG. 7 is an exemplary diagram illustrating an example in which a point group having an extreme coordinate value on a cross-sectional shape is extracted as a shape feature amount;
[Explanation of symbols]
10: Data processing device,
20 ... 3D shape measuring device,
30: Data storage unit,
40 ... Human body shape to be measured

Claims (12)

主要ランドマーク位置をマーキングした被計測人体を３次元スキャナーにより計測して被測定人体の人体形状データと共に前記主要ランドマーク位置データを取得する入力装置と、
標準人体形状データと当該標準人体形状データに付与されている全てのランドマーク位置データとを記憶している記憶装置と、
前記標準人体形状データとランドマーク位置データとを読み出し、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データとランドマーク位置データとのデータ変換処理を行うデータ変換装置と、
前記データ変換処理により標準人体形状データに付与されているランドマーク位置が前記主要ランドマーク位置に所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体の主要ランドマーク位置以外の他のランドマーク位置を推定するランドマーク位置推定装置と
を備えることを特徴とするランドマーク抽出装置。An input device for measuring the measurement target human body with the main landmark position marked by a three-dimensional scanner and obtaining the main landmark position data together with the human body shape data of the measurement human body;
A storage device storing standard human body shape data and all landmark position data assigned to the standard human body shape data;
A data conversion device that reads out the standard human body shape data and landmark position data, and performs a data conversion process between the standard human body shape data and the landmark position data, which transforms the standard human body shape so as to approximate the measured human body shape,
When the landmark position given to the standard human body shape data by the data conversion process corresponds to the main landmark position within a predetermined range, the main body position of the measurement target body is determined from the landmark position of the deformed standard human body shape data. A landmark extraction apparatus comprising: a landmark position estimation apparatus that estimates a landmark position other than the landmark position. 請求項１に記載のランドマーク抽出装置において、
前記標準人体形状データにはテクスチャ情報が付属しており、
前記形状データ変換装置は、前記テクスチャ情報を前記被計測人体の人体形状データのテクスチャ情報と比較して対応づけ、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データのデータ変換処理を行う
ことを特徴とするランドマーク抽出装置。In the landmark extraction device according to claim 1,
Texture information is attached to the standard human body shape data,
The shape data conversion device compares the texture information with the texture information of the human body shape data of the human body to be measured, associates the texture information, and converts standard human body shape data to approximate the measured human body shape. A landmark extraction apparatus characterized by performing a conversion process. 請求項１に記載のランドマーク抽出装置において、
前記ランドマーク位置推定装置は、被計測人体の人体形状データから形状特徴点を抽出し、前記データ変換処理により標準人体形状データの形状特徴点と所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体のランドマーク位置を推定する
ことを特徴とするランドマーク抽出装置。In the landmark extraction device according to claim 1,
The landmark position estimation device extracts a shape feature point from human body shape data of a human body to be measured, and deforms the standard when corresponding to the shape feature point of the standard human body shape data within a predetermined range by the data conversion process A landmark extraction apparatus for estimating a landmark position of a human body to be measured from a landmark position of human body shape data. 主要ランドマーク位置をマーキングした被計測人体を３次元スキャナーにより計測して被測定人体の人体形状データと共に前記主要ランドマーク位置データを取得し、
記憶装置に記憶されている標準人体形状データと当該標準人体形状データに付与されている全てのランドマーク位置データとを読み出し、
標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データとランドマーク位置データとのデータ変換処理を行い、
前記データ変換処理により標準人体形状データに付与されているランドマーク位置が前記主要ランドマーク位置に所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体の主要ランドマーク位置以外の他のランドマーク位置を推定する
ことを特徴とするランドマーク抽出方法。The main landmark position data is obtained together with the human body shape data of the measured human body by measuring the measured human body marked with the main landmark position with a three-dimensional scanner,
Read the standard human body shape data stored in the storage device and all landmark position data attached to the standard human body shape data,
Performs data conversion processing between standard human body shape data and landmark position data that transforms the standard human body shape so that it approximates the measured human body shape,
When the landmark position given to the standard human body shape data by the data conversion process corresponds to the main landmark position within a predetermined range, the main body position of the measurement target body is determined from the landmark position of the deformed standard human body shape data. A landmark extraction method, wherein a landmark position other than the landmark position is estimated. 請求項４に記載のランドマーク抽出方法において、
前記標準人体形状データにはテクスチャ情報が付属しており、
前記データ変換処理は、前記テクスチャ情報を前記被計測人体の人体形状データのテクスチャ情報と比較して対応づけ、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データのデータ変換処理を行う
ことを特徴とするランドマーク抽出方法。The landmark extraction method according to claim 4, wherein:
Texture information is attached to the standard human body shape data,
The data conversion process compares the texture information with the texture information of the human body shape data of the measured human body, associates the texture information, and transforms the standard human body shape data to approximate the measured human body shape. A landmark extraction method characterized by performing processing. 請求項４に記載のランドマーク抽出方法において、
前記ランドマーク位置の推定は、被計測人体の人体形状データから形状特徴点を抽出し、前記データ変換処理により標準人体形状データの形状特徴点と所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体のランドマーク位置を推定する
ことを特徴とするランドマーク抽出方法。The landmark extraction method according to claim 4, wherein:
The landmark position is estimated by extracting a shape feature point from the human body shape data of the human body to be measured, and deforming the standard feature when corresponding to the shape feature point of the standard human body shape data within a predetermined range by the data conversion process. A landmark extraction method characterized by estimating a landmark position of a human body to be measured from a landmark position of human body shape data. 主要ランドマーク位置をマーキングした被計測人体を３次元スキャナーにより計測して被測定人体の人体形状データと共に前記主要ランドマーク位置データを取得するステップと、
記憶装置に記憶されている標準人体形状データと当該標準人体形状データに付与されている全てのランドマーク位置データとを読み出すステップと、
標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データとランドマーク位置データとのデータ変換処理を行うステップと、
前記データ変換処理により標準人体形状データに付与されているランドマーク位置が前記主要ランドマーク位置に所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体の主要ランドマーク位置以外の他のランドマーク位置を推定するステップと
を有すること特徴とするランドマーク抽出処理をコンピュータにより実行するプログラム。Measuring the measured human body marking the main landmark position with a three-dimensional scanner and obtaining the main landmark position data together with the human body shape data of the measured human body;
Reading standard human body shape data stored in the storage device and all landmark position data attached to the standard human body shape data;
Performing a data conversion process between the standard human body shape data and the landmark position data for deforming the standard human body shape so as to approximate the measured human body shape;
When the landmark position given to the standard human body shape data by the data conversion process corresponds to the main landmark position within a predetermined range, the main body position of the measurement target body is determined from the landmark position of the deformed standard human body shape data. And a step of estimating a landmark position other than the landmark position. 請求項７に記載のランドマーク抽出処理をコンピュータにより実行するプログラムにおいて、
前記標準人体形状データにはテクスチャ情報が付属しており、
前記データ変換処理を行うステップは、前記テクスチャ情報を前記被計測人体の人体形状データのテクスチャ情報と比較して対応づけ、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データのデータ変換処理を行う
ことを特徴とするランドマーク抽出処理をコンピュータにより実行するプログラム。In the program which performs the landmark extraction process of Claim 7 by computer,
Texture information is attached to the standard human body shape data,
The step of performing the data conversion processing is performed by comparing the texture information with the texture information of the human body shape data of the measured human body, and deforming the standard human body shape so as to approach the measured human body shape. A program for executing landmark extraction processing by a computer, characterized by performing the data conversion processing. 請求項８に記載のランドマーク抽出処理をコンピュータにより実行するプログラムにおいて、
前記ランドマーク位置を推定するステップは、被計測人体の人体形状データから形状特徴点を抽出し、前記データ変換処理により標準人体形状データの形状特徴点と所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体のランドマーク位置を推定する
ことを特徴とするランドマーク抽出処理をコンピュータにより実行するプログラム。In the program which performs the landmark extraction process according to claim 8 by a computer,
The step of estimating the landmark position is performed by extracting shape feature points from human body shape data of a human body to be measured, and deforming when corresponding to the shape feature points of standard human body shape data within a predetermined range by the data conversion process. A program for executing landmark extraction processing by a computer, wherein the landmark position of the measured human body is estimated from the landmark position of the standard human body shape data. ランドマーク抽出処理をコンピュータにより実行するプログラムを記録した記録媒体であって、
主要ランドマーク位置をマーキングした被計測人体を３次元スキャナーにより計測して被測定人体の人体形状データと共に前記主要ランドマーク位置データを取得するステップと、
記憶装置に記憶されている標準人体形状データと当該標準人体形状データに付与されている全てのランドマーク位置データとを読み出すステップと、
標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データとランドマーク位置データとのデータ変換処理を行うステップと、
前記データ変換処理により標準人体形状データに付与されているランドマーク位置が前記主要ランドマーク位置に所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体の主要ランドマーク位置以外の他のランドマーク位置を推定するステップと、
の処理をコンピュータにより実行するプログラムを記録した記録媒体。A recording medium recording a program for executing landmark extraction processing by a computer,
Measuring the measured human body marking the main landmark position with a three-dimensional scanner and obtaining the main landmark position data together with the human body shape data of the measured human body;
Reading standard human body shape data stored in the storage device and all landmark position data attached to the standard human body shape data;
Performing a data conversion process between the standard human body shape data and the landmark position data for deforming the standard human body shape so as to approximate the measured human body shape;
When the landmark position given to the standard human body shape data by the data conversion process corresponds to the main landmark position within a predetermined range, the main body position of the measurement target body is determined from the landmark position of the deformed standard human body shape data. Estimating a landmark position other than the landmark position;
The recording medium which recorded the program which performs the process of by computer. 請求項１０に記載のプログラムを記録した記録媒体において、
前記標準人体形状データにはテクスチャ情報が付属しており、
前記データ変換処理を行うステップは、前記テクスチャ情報を前記被計測人体の人体形状データのテクスチャ情報と比較して対応づけ、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データのデータ変換処理を行う
ことを特徴とするプログラムを記録した記録媒体。In the recording medium which recorded the program of Claim 10,
Texture information is attached to the standard human body shape data,
The step of performing the data conversion processing is performed by comparing the texture information with the texture information of the human body shape data of the measured human body, and deforming the standard human body shape so as to approach the measured human body shape. The recording medium which recorded the program characterized by performing the data conversion process. 請求項１０に記載のプログラムを記録した記録媒体において、
前記ランドマーク位置を推定するステップは、被計測人体の人体形状データから形状特徴点を抽出し、前記データ変換処理により標準人体形状データの形状特徴点と所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体のランドマーク位置を推定する
ことを特徴とするプログラムを記録した記録媒体。In the recording medium which recorded the program of Claim 10,
The step of estimating the landmark position is performed by extracting shape feature points from human body shape data of a human body to be measured, and deforming when corresponding to the shape feature points of standard human body shape data within a predetermined range by the data conversion process. A recording medium having a program recorded thereon, wherein the landmark position of the measured human body is estimated from the landmark position of the standard human body shape data.
JP2003057418A 2003-03-04 2003-03-04 Landmark extraction apparatus and landmark extraction method Expired - Lifetime JP3932360B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003057418A JP3932360B2 (en) 2003-03-04 2003-03-04 Landmark extraction apparatus and landmark extraction method
PCT/JP2004/002622 WO2004094945A1 (en) 2003-03-04 2004-03-03 Device and method of extracting landmarks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003057418A JP3932360B2 (en) 2003-03-04 2003-03-04 Landmark extraction apparatus and landmark extraction method

Publications (2)

Publication Number Publication Date
JP2004265337A JP2004265337A (en) 2004-09-24
JP3932360B2 true JP3932360B2 (en) 2007-06-20

Family

ID=33120855

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003057418A Expired - Lifetime JP3932360B2 (en) 2003-03-04 2003-03-04 Landmark extraction apparatus and landmark extraction method

Country Status (2)

Country Link
JP (1) JP3932360B2 (en)
WO (1) WO2004094945A1 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008032489A (en) * 2006-07-27 2008-02-14 Kanazawa Inst Of Technology Three-dimensional shape data creation method and apparatus for human body
JP2009074938A (en) * 2007-09-20 2009-04-09 Ihi Marine United Inc Shape measuring device and method
US8444564B2 (en) * 2009-02-02 2013-05-21 Jointvue, Llc Noninvasive diagnostic system
EP2876609B1 (en) 2012-07-23 2017-12-13 Fujitsu Limited Shape data generating program, shape data generating method, and shape data generating device
EP2889001B1 (en) 2012-08-24 2017-09-13 Fujitsu Limited Shape data-generating program, shape data-generating method and shape data-generating device
JP6129310B2 (en) * 2013-06-06 2017-05-17 株式会社日立製作所 Image processing apparatus and image processing method
KR101769856B1 (en) * 2016-07-28 2017-08-21 주식회사 오스테오시스 Bon density and body composition measuring apparatus of dexa type using body pre-detection system
CN108229496B (en) * 2017-07-11 2021-07-06 北京市商汤科技开发有限公司 Clothing key point detection method and device, electronic device, storage medium, and program
CN113433684A (en) * 2020-03-23 2021-09-24 丽宝大数据股份有限公司 Microscopic imaging splicing device and method thereof
WO2024089855A1 (en) * 2022-10-27 2024-05-02 日本電信電話株式会社 Point cloud movement estimation device, point cloud movement estimation method, and program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001140121A (en) * 1999-08-19 2001-05-22 Natl Inst Of Advanced Industrial Science & Technology Meti Production method of dressform and apparatus therefor
JP2002092051A (en) * 2000-09-18 2002-03-29 National Institute Of Advanced Industrial & Technology Method for designing three-dimensional shape and apparatus for the same
WO2002040941A1 (en) * 2000-11-15 2002-05-23 National Institute Of Advanced Industrial Science And Technology Footprint information distributing system
JP2003044873A (en) * 2001-08-01 2003-02-14 Univ Waseda Method for generating and deforming three-dimensional model of face

Also Published As

Publication number Publication date
JP2004265337A (en) 2004-09-24
WO2004094945A1 (en) 2004-11-04

Similar Documents

Publication Publication Date Title
Hirshberg et al. Coregistration: Simultaneous alignment and modeling of articulated 3D shape
JP6000602B2 (en) Body detection method and object detection apparatus
Balan et al. Detailed human shape and pose from images
JP4950787B2 (en) Image processing apparatus and method
JP4653606B2 (en) Image recognition apparatus, method and program
JP5167248B2 (en) Modeling of humanoid shape by depth map
US20170345147A1 (en) Tooth axis estimation program, tooth axis estimation device and method of the same, tooth profile data creation program, tooth profile data creation device and method of the same
US10776978B2 (en) Method for the automated identification of real world objects
JP2009536731A5 (en)
JP4878330B2 (en) Method and apparatus for acquiring joint structure of object
JP3932360B2 (en) Landmark extraction apparatus and landmark extraction method
CN113449570A (en) Image processing method and device
JP4761670B2 (en) Moving stereo model generation apparatus and method
Loconsole et al. Real-time emotion recognition: an improved hybrid approach for classification performance
KR20200134502A (en) 3D human body joint angle prediction method and system through the image recognition
Conde et al. Automatic 3D face feature points extraction with spin images
Savran et al. Automatic detection of emotion valence on faces using consumer depth cameras
JP6579353B1 (en) Information processing apparatus, information processing method, dimension data calculation apparatus, and product manufacturing apparatus
US20230368409A1 (en) Storage medium, model training method, and model training device
WO2021235440A1 (en) Method and device for acquiring movement feature amount using skin information
Xu et al. Human body reshaping and its application using multiple RGB-D sensors
Chen et al. Optimizing human model reconstruction from RGB-D images based on skin detection
Paskin et al. A Kendall Shape Space Approach to 3D Shape Estimation from 2D Landmarks
Nguyen et al. Vision-Based Global Localization of Points of Gaze in Sport Climbing
Majeed et al. Nose tip detection in 3D face image based on maximum intensity algorithm

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070220

R150 Certificate of patent or registration of utility model

Ref document number: 3932360

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term