JP2004265337A - ランドマーク抽出装置およびランドマーク抽出方法 - Google Patents

ランドマーク抽出装置およびランドマーク抽出方法 Download PDF

Info

Publication number
JP2004265337A
JP2004265337A JP2003057418A JP2003057418A JP2004265337A JP 2004265337 A JP2004265337 A JP 2004265337A JP 2003057418 A JP2003057418 A JP 2003057418A JP 2003057418 A JP2003057418 A JP 2003057418A JP 2004265337 A JP2004265337 A JP 2004265337A
Authority
JP
Japan
Prior art keywords
human body
data
body shape
landmark
landmark position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003057418A
Other languages
English (en)
Other versions
JP3932360B2 (ja
Inventor
Masaaki Mochimaru
正明 持丸
Makiko Kawachi
まき子 河内
Yukio Fukui
幸男 福井
Naoki Hikuma
直紀 日隈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2003057418A priority Critical patent/JP3932360B2/ja
Priority to PCT/JP2004/002622 priority patent/WO2004094945A1/ja
Publication of JP2004265337A publication Critical patent/JP2004265337A/ja
Application granted granted Critical
Publication of JP3932360B2 publication Critical patent/JP3932360B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A41WEARING APPAREL
    • A41HAPPLIANCES OR METHODS FOR MAKING CLOTHES, e.g. FOR DRESS-MAKING OR FOR TAILORING, NOT OTHERWISE PROVIDED FOR
    • A41H3/00Patterns for cutting-out; Methods of drafting or marking-out such patterns, e.g. on the cloth
    • A41H3/007Methods of drafting or marking-out patterns using computers
    • AHUMAN NECESSITIES
    • A43FOOTWEAR
    • A43DMACHINES, TOOLS, EQUIPMENT OR METHODS FOR MANUFACTURING OR REPAIRING FOOTWEAR
    • A43D1/00Foot or last measuring devices; Measuring devices for shoe parts
    • A43D1/02Foot-measuring devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Textile Engineering (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

【課題】3次元スキャナーによる人体形状計測により複数のランドマークを自動抽出するランドマーク抽出装置を提供する。
【解決手段】ランドマーク抽出装置は、主要ランドマーク位置をマーキングした被計測人体を3次元スキャナーにより計測して被測定人体の人体形状データと共に前記主要ランドマーク位置データを取得する入力装置と、標準人体形状データと当該標準人体形状データに付与されている全てのランドマーク位置データとを記憶している記憶装置と、前記標準人体形状データとランドマーク位置データとを読み出し、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データとランドマーク位置データとのデータ変換処理を行うデータ変換装置と、前記データ変換処理により標準人体形状データに付与されているランドマーク位置が前記主要ランドマーク位置に所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体の主要ランドマーク位置以外の他のランドマーク位置を推定するランドマーク位置推定装置を備える。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、人体表面の3次元形状データから人体の解剖学的特徴点であるランドマーク位置の情報を抽出することのできるランドマーク抽出装置およびランドマーク抽出方法に関するものである。
【0002】
【従来の技術】
人体形状に適合させて装着する工業製品を製作する場合には、例えば、衣料品、皮革製品、眼鏡類、補装具、ガスマスク等を設計する際に、人体の骨格構造によって決定される身体特徴量データが必要とされる。この身体特徴量データの主要データとしては、解剖学的特徴点であるランドマーク(Landmark, Anatomical
landmark)が用いられる。
【0003】
すなわち、人体形状に適合させる工業製品の設計においては、人体形状の情報として、表面形状の3次元座標情報の他に、骨格位置等に基づく3次元位置情報の基準情報が必要となる。
【0004】
しかし、ランドマークは、身体表面を触察して骨格位置を確認することで初めてわかる位置情報であるため、3次元スキャナー等で計測された身体の表面形状の情報からは、これらのランドマークの位置情報を的確に抽出することは困難である。このため、従来においては、専門家が被測定者の身体を触察することでランドマークの位置を同定し抽出していた。
【0005】
また、このような技術に関係する技術として、ランドマーク(生体内の骨格などによって決定される人体皮膚表面上の点)を、自動的に検出する方法としては、これまでに、次のような3つの方法が提案されている。
【0006】
第1の方法は、人体形状データの局所的な形状特徴(数学的には曲率)と全身的な人体寸法の関係からランドマークを検出する方法である(非特許文献1、非特許文献2)。
【0007】
第2の方法は、人体形状データと同時に捉えた写真情報(テクスチャ情報)から画像処理技術によって目や鼻などのパーツを自動検出する方法である(非特許文献3)。第1の方法と第2の方法を融合させた方法についても提案されている(非特許文献4)。
【0008】
第3の方法は、既存の標準体型モデルを計測した人体形状データにフィットするように変形させる方法である(非特許文献5)。
【0009】
第1の方法は、曲率に依存するため、太った人など特殊な体型の人に適用するのが難しい。第2の方法は、顔に関しては有効であるが、全身や手、足など、ランドマークとする目立った模様がない部位には適用できない。また、第1の方法と第2の方法を融合させた方法(非特許文献4)では、自動検出の確実性を高めているが、第2の方法と同様で顔にしか適用できない。第3の方法では、標準体型モデルを、個人の輪郭線情報(シルエット)に適合するように変形しているが、ここで用いられているランドマークは、輪郭線から得られる手先や脇の下などに限定されている。
【非特許文献1】
L. Dekker, S. Khan, E. West, B. Buxton, and P. Treleaven, “Models for Understanding the 3D Human Body Form”, presented at IEEE International Workshop on Model−Based 3D Image Analysis, Mumbai, India, 1998.
【非特許文献2】
L. Dekker, I. Douros, B. Buxton, and P. Treleaven, “Building Symbolic Information for 3D Human Body Modeling from Range Data”, presented at 3DIM 99, Ottawa, CA, 1999.
【非特許文献3】
T. Yokoyama, et al, “Extracting Contours and Features from Frontal Face Images”, The Journal of the Institute of Image Information and Tele−Television Engineers, vol. 53, No. 11, pp. 1605−1614, 1999.
【非特許文献4】
小高一慶、青木義満、橋本周司、 「3次元顔画像を用いた特徴抽出とマッチング」、 第5回パターン計測シンポジウム、pp.71−77, 2000.
【非特許文献5】
今尾公二、亀田能成、美濃導彦、池田克夫、「シルエット画像に基づいて個人体型を反映する3次元形状モデルの変形法−仮想試着室の実現に向けて」、電子情報通信学会論文誌、vol. J82−D−II, pp.1684−1692, 1999.
【非特許文献6】
T. W. Sederberg: ”Free−Form Deformation of Solid Geometric Models”, Proceedings of ACM SIGGRAPH’86, Computer Graphics, 20, 4, pp.151−160, 1986
【特許文献1】
特許第2725739号公報
【0010】
【発明が解決しようとする課題】
ところで、上述した従来の技術におけるランドマークを抽出する方法では、専門家による処理のため人手がかかり、いつでもどこでも抽出可能という訳ではなく、処理の高速化も困難であるという問題がある。
【0011】
人体形状に適合させて装着する工業製品においては、製品の高付加価値化と環境保護のためには、製品の身体適合性を高めて、標準サイズばかりでなく、様々な体格の人体形状に合わせた製品群を需要に応じて迅速に設計生産し、提供するシステムへの要求が高まっている。
【0012】
このためには、店頭などにおいて、高度な技術を持つ専門家が不在でも簡単に人体形状を計測し、かつ、ランドマークを抽出することできるランドマーク抽出装置およびランドマーク抽出方法が提供されることが所望されるが、これまでには、そのような装置および方法は提案されていない。
【0013】
本発明は、上記のような問題を解決するためになされたものであり、本発明の目的は、3次元スキャナーによる人体形状計測により複数のランドマークを自動抽出することが可能なランドマーク抽出装置およびランドマーク抽出方法を提供することにある。
【0014】
【課題を解決するための手段】
上記のような目的を達成するため、本発明の第1の態様として、本発明によるランドマーク抽出装置は、主要ランドマーク位置をマーキングした被計測人体を3次元スキャナーにより計測して被測定人体の人体形状データと共に前記主要ランドマーク位置データを取得する入力装置と、標準人体形状データと当該標準人体形状データに付与されている全てのランドマーク位置データとを記憶している記憶装置と、前記標準人体形状データとランドマーク位置データとを読み出し、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データとランドマーク位置データとのデータ変換処理を行うデータ変換装置と、前記データ変換処理により標準人体形状データに付与されているランドマーク位置が前記主要ランドマーク位置に所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体の主要ランドマーク位置以外の他のランドマーク位置を推定するランドマーク位置推定装置とを備えることを特徴とするものである。
【0015】
第1の態様において、前記標準人体形状データにはテクスチャ情報が付属しており、前記形状データ変換装置は、前記テクスチャ情報を前記被計測人体の人体形状データのテクスチャ情報と比較して対応づけ、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データのデータ変換処理を行うようにしてもよい。
【0016】
また、第1の態様において、前記ランドマーク位置推定装置は、被計測人体の人体形状データから形状特徴点を抽出し、前記データ変換処理により標準人体形状データの形状特徴点と所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体のランドマーク位置を推定するようにしてもよい。
【0017】
また、本発明の第2の態様として、本発明によるランドマーク抽出方法は、主要ランドマーク位置をマーキングした被計測人体を3次元スキャナーにより計測して被測定人体の人体形状データと共に前記主要ランドマーク位置データを取得し、記憶装置に記憶されている標準人体形状データと当該標準人体形状データに付与されている全てのランドマーク位置データとを読み出し、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データとランドマーク位置データとのデータ変換処理を行い、前記データ変換処理により標準人体形状データに付与されているランドマーク位置が前記主要ランドマーク位置に所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体の主要ランドマーク位置以外の他のランドマーク位置を推定することを特徴とするものである。
【0018】
第2の態様において、前記標準人体形状データにはテクスチャ情報が付属しており、前記データ変換処理は、前記テクスチャ情報を前記被計測人体の人体形状データのテクスチャ情報と比較して対応づけ、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データのデータ変換処理を行うようにしてもよい。
【0019】
また、第2の態様において、前記ランドマーク位置の推定は、被計測人体の人体形状データから形状特徴点を抽出し、前記データ変換処理により標準人体形状データの形状特徴点と所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体のランドマーク位置を推定するようにしてもよい。
【0020】
また、本発明は、第3の態様として、本発明によるランドマーク抽出処理をコンピュータにより実行するプログラムが、主要ランドマーク位置をマーキングした被計測人体を3次元スキャナーにより計測して被測定人体の人体形状データと共に前記主要ランドマーク位置データを取得するステップと、記憶装置に記憶されている標準人体形状データと当該標準人体形状データに付与されている全てのランドマーク位置データとを読み出すステップと、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データとランドマーク位置データとのデータ変換処理を行うステップと、前記データ変換処理により標準人体形状データに付与されているランドマーク位置が前記主要ランドマーク位置に所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体の主要ランドマーク位置以外の他のランドマーク位置を推定するステップとを有すること特徴とするものである。
【0021】
第3の態様において、前記標準人体形状データにはテクスチャ情報が付属しており、前記データ変換処理を行うステップは、前記テクスチャ情報を前記被計測人体の人体形状データのテクスチャ情報と比較して対応づけ、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データのデータ変換処理を行うようにしてもよい。
【0022】
また、第3の態様において、前記ランドマーク位置を推定するステップは、被計測人体の人体形状データから形状特徴点を抽出し、前記データ変換処理により標準人体形状データの形状特徴点と所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体のランドマーク位置を推定するようにしてもよい。
【0023】
また、本発明の第4の態様は、本発明のランドマーク抽出処理をコンピュータにより実行するプログラムを記録した記録媒体であり、主要ランドマーク位置をマーキングした被計測人体を3次元スキャナーにより計測して被測定人体の人体形状データと共に前記主要ランドマーク位置データを取得するステップと、記憶装置に記憶されている標準人体形状データと当該標準人体形状データに付与されている全てのランドマーク位置データとを読み出すステップと、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データとランドマーク位置データとのデータ変換処理を行うステップと、前記データ変換処理により標準人体形状データに付与されているランドマーク位置が前記主要ランドマーク位置に所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体の主要ランドマーク位置以外の他のランドマーク位置を推定するステップとの処理をコンピュータにより実行するプログラムを記録した記録媒体である。
【0024】
第4に態様において、前記標準人体形状データにはテクスチャ情報が付属しており、前記データ変換処理を行うステップは、前記テクスチャ情報を前記被計測人体の人体形状データのテクスチャ情報と比較して対応づけ、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データのデータ変換処理を行うようにしてもよい。
【0025】
また、第4の態様において、前記ランドマーク位置を推定するステップは、被計測人体の人体形状データから形状特徴点を抽出し、前記データ変換処理により標準人体形状データの形状特徴点と所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体のランドマーク位置を推定するようにしてもよい。
【0026】
このような本発明によるランドマーク抽出装置およびランドマーク抽出方法によれば、ランドマークの抽出は、被計測人体の主要なランドマークを予めマーキングしておき、3次元スキャナーで人体形状を計測すると同時に主要なランドマーク位置を同時に計測し、記憶装置に記憶されている標準の人体形状と当該人体形状に付与されている全てのランドマークの位置と比較し、標準人体形状を当該計測された人体形状に近づけるように変形させて、変形させた標準人体形状データにより複数のランドマーク位置を同定することにより行う。
【0027】
その場合に、別の態様では、標準人体形状データに付属しているテクスチャ情報を前記被計測人体のテクスチャ情報と比較し対応づけて、前記標準人体形状を変形させることで、複数のランドマークを同定する。また、人体形状にマーキングをしない場合においては、計測された形状点群から形状特徴量を抽出し、これを利用して標準人体形状データを変形させるデータ変換を行うことで、複数のランドマークを同定するようにする。
【0028】
【発明の実施の形態】
以下、図面を参照して本発明の実施する場合の一形態について説明する。図1は、本発明の一実施例のランドマーク抽出装置のシステム構成を示すブロック図である。図1において、10はマイクロプロセッサ(CPU)と演算プログラムを備えてデータ処理を行うデータ処理装置である。20は被測定対象を載置するステージおよび光学スキャナーなどを備えた3次元形状計測装置、30は標準人体形状データなど記憶しているデータ記憶部、40は主要なランドマーク位置がマーキング(41a〜41c)された被計測対象の人体形状を表している。
【0029】
データ処理装置10には、主要な処理モジュールとして、後述するように、FFD(Free Form Deformation)変形処理を行うデータ処理モジュール10aと、ランドマーク推定処理を行うデータ処理モジュール10bとが備えられており、データ記憶部30には、標準人体形状データ31aとランドマーク位置データ31bが備えられている。
【0030】
3次元形状計測装置20は、主要ランドマーク位置のマーキング(41a〜41c)を施した被計測人体形状40を、3次元スキャナーにより計測し、被測定人体形状の人体形状データと共に前記主要ランドマーク位置データを取得して、データ処理装置10に送る。
【0031】
データ処理装置10は、データ記憶部30から、標準人体形状データ31aと当該標準人体形状データに付与されている全てのランドマーク位置データ31bとを読み出し、データ処理モジュール10aにより、FFD変形処理を行い、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データとランドマーク位置データとのデータ変換処理を行う。
【0032】
また、データ処理装置10においては、データ処理モジュール10bにより、データ変換処理により標準人体形状データに付与されているランドマーク位置が前記主要ランドマーク位置に所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体の主要ランドマーク位置以外の他のランドマーク位置を推定する。この推定した結果により、被計測対象の人体形状に基づき、人体表面の3次元形状データから人体の解剖学的特徴点であるランドマーク位置が抽出できることになる。なお、図1に示すシステム構成において、データ処理装置10、3次元形状計測装置20、データ記憶部30などのシステム要素は、物理的または論理的に結合されていれば良いので、同じ場所に設けられている必要はない。したがって、ネットワークにより結合された状態であっても良く、人体形状データの入力装置となる3次元形状計測装置20は設置する場合に、ある程度の空間的なスペースを有するので、計測室に設けられ、別の場所にあるデータ処理装置10にネットワークを介して送られるシステム構成であっても良い。
【0033】
図2および図3は、データ処理装置10において処理されるランドマーク抽出処理の詳細な処理内容をブロック図として示す図である。図2および図3を参照して説明する。ここでの処理は、データ処理装置10のデータ処理モジュール10aとデータ処理モジュール10bが用いられて、実行される。図2および図3において、それぞれのブロックによる処理の流れにより示されている。
【0034】
図2には、ランドマーク抽出処理の前処理の流れを示しており、図3には、ランドマーク抽出処理の後処理の流れを示している。後処理では、ランドマーク位置が未知の人体形状の表面形状点群からランドマーク位置を自動推定する手続きが示されている。
【0035】
ランドマーク抽出処理の前処理では、予めランドマーク位置を専門家が触察により求めて(抽出して)マーキングしておき、その人体形状の複数個から、基準となる代表的なランドマークの標準セットを創成し、もとの人体形状のランドマークから標準セットへの変形を行う格子点を求める手がかりとして、別途形状特徴点を定義する。
【0036】
そして、ランドマーク抽出の後処理により、ランドマークが未知の人体形状に対して、前処理と同様に形状特徴点を推定し、これより標準セットからの変形のための格子点を求め、標準セットを変形させて、未知のランドマーク位置を推定する。この後処理が、被計測対象の人体形状を取り替えて、それぞれの人体形状に対して、ランドマーク位置の情報を抽出する
【0037】
順追って説明する。
(1)予め専門家により、全てのランドマーク位置を抽出し、マーキングした状態でスキャナーにより計測した人体形状データ(以降サンプルデータと呼ぶ)を複数個作成して、サンプルモデルセット11とする。ここでのサンプルモデルセット11のサンプルデータにはランドマーク、人体表面形状に加えて、テクスチャ情報も付与させておく。
【0038】
サンプルデータの人体(足)表面形状を表す3次元座標点群の例を、図4に示している。また、この表面形状に重なって位置するランドマークの座標点のみを抽出して、それらを結んで網目状に表現した状態を図5に示している。
【0039】
(2)このようなランドマークが付与された複数のサンプルデータの対応するランドマーク位置の平均値を基にして創成した平均標準形状データを作成し、これを標準モデル13とする。この標準モデル13のデータをデータ記憶部30に記憶する。標準モデル13は、設計に必要な全てのランドマークによって構成される。
【0040】
(3)次に標準モデル13のランドマーク位置から、サンプルモデルセット11の各サンプルデータのもつランドマーク位置へ、FFD法を用いて変形させる。この変形処理は、FFD変形格子14を用いて行われる。
【0041】
FFD法は「非特許文献6」によって示されている座標系変換方式であり、その原理は、3次元空間内に配置された制御点群のBernstein多項式(tを媒介変数としたとき、項tと項(1−t)の和のn乗を展開した各項)を係数としたアフィン結合において、Bernstein多項式の媒介変数値を与えることで得られる点を変換後の位置とし、前記多項式の媒介変数値を変換前の座標値とする座標系変換方式である。制御点群の位置を変えることで、FFD法による変換(以降FFD変換と呼ぶ)後の空間が変形することになる。
【0042】
これを形状設計時の変形に応用させる。この手法は、例えば、「特許文献1」において詳述されている方法を用いる。変形を行う基になる制御格子点群は、標準モデル13が包含される格子点群とする。変換前のランドマーク座標値は標準モデル13におけるものであり、変換後にサンプルデータのランドマーク位置となるような変形を行うための座標変換としてFFD法を用いる。格子点位置を移動させて内部の空間、および形状を変形させるFFD変形の概念図を、図6に示している。
【0043】
(4)一方、サンプルモデルセット11の各サンプルデータにより、幾何学的特徴量を、形状特徴点12として、複数個抽出する。この形状特徴点12は、例えば、サンプルデータにおいて、対応のつく点群の位置座標や、特定方向から見たときに一番突出した点、ガウス曲率の極大となる点、あるいは、適切に選択した断面図の特定方向の幅、断面の周囲長、曲率の極大点など、形状の特徴を表現するものを用いる。また、形状特徴点12としては、顔の形状を例にとれば、眉、唇など、テクスチャ情報を持つものを利用することもできる。この場合の形状特徴点の例を、図7に示している。図7では、足長を基準に垂直に等分した断面の複数個において、最内点、最外点、最高点を示している。
【0044】
(5)次に、上記(3)において、変形を行ったときの制御格子点の座標値と、上記(4)において定義した形状特徴点の座標値の値との関連性を統計的に求める。形状特徴点群の座標値を説明変数(独立変数)とし、制御格子点群の座標値を目的変数(従属変数)と見なして、重回帰分析15を行い、制御格子点群の座標値は、各形状特徴点の座標値の線形結合として表現し、その係数の最尤値を統計的に求める。
【0045】
(6)重回帰分析15の結果得られる回帰式を用いることにより、形状特徴点が分かれば、FFD変形の制御格子の変形後の位置がわかるため、この変形操作を標準モデル13に施すことによって、ランドマークも同様に移動して、新しいランドマーク位置が求まることになる。
【0046】
以上の手続きにより、形状特徴量とFFD変形による制御格子の変化位置との関係が明らかにされる。次に、ランドマーク抽出処理の後処理では、図3に示すように、被計測対象の未知の人体形状が与えられたとき、以下の手順で行う。
【0047】
(1) 未知の人体形状の人体形状データを入力する(ステップ21)。
(2) 人体形状データをから形状特徴点を求める(ステップ22)。
(3) 前記重回帰分析の結果より、FFD変形格子推定の処理を行って、FFD変形制御格子の変化位置を求める(ステップ23)。
(4) 標準モデルを求めたFFD変形制御格子によって変形させる(ステップ24)。
(5) 前記変形で移動した標準モデルのランドマークを未知の人体形状の表面形状点上に投影する(ステップ25)。
(6) 投影したランドマークの位置からランドマークの情報を抽出して出力する(ステップ26)。
【0048】
なお、このような処理に用いられる人体形状において、3次元座標系を定めるために、基準点として人体形状の基本的な特徴点は複数点を用いる。説明に使用した足形状の場合、例えば、図7に示すように、形状特徴点の3点を基準点として、予めその位置を既知としている。
【0049】
本発明にかかるランドマーク抽出装置は、上述した実施形態の他に、次のように変形された形態においても実施できる。すなわち、人体表面の3次元形状データを入力する計測機(入力装置)と、物理的ないしは論理的に接続された計算機(データ処理装置)とを備えた装置において、人体表面の3次元形状データから骨などによって決定される解剖学的特徴点を自動的に抽出し、その解剖学的特徴点の3次元座標値を出力する機能(処理プログラム)を備える。この構成により、例えば、計測時において人体表面上の解剖学的特徴点位置にマーカを貼り付けた箇所だけでなく、マーカが貼られていない解剖学的特徴点位置も同時に自動抽出することができる。
【0050】
また、計算機(データ処理装置)において、データ記憶部内に記憶された標準的な人体形状の解剖学的特徴点位置を、計測機で取得した人体表面の3次元形状データに一致させるように変形することで、計測した人体形状データ上の解剖学的特徴点位置を決定する。
【0051】
また、人体表面形状に加えて人体表面上のテクスチャ情報を利用して、予め記憶されている標準的な人体形状を変形させることで、解剖学的特徴点位置を自動抽出することができる。
【0052】
マーカが貼られていない場合については、人体表面の3次元形状データから形状特徴点を自動抽出し、この形状特徴点を利用して、予め記憶されている標準的な人体形状を変形させることで、解剖学的特徴点の位置を自動抽出することができる。
【0053】
【発明の効果】
以上説明したように、本発明によれば、人体形状の表面上に少数の既知の基準点を与えるだけで多くのランドマークを自動推定することが可能となる。また、異なる人体形状データの間で特徴点位置の対応がつけることが可能となり、設計上きわめて有効となる。したがって、本発明を用いれば、専門家でなくても少数の基準点を与えた状態で形状を3次元スキャナー等で計測するだけで、設計情報を得ることができるという優れた効果がある。
【図面の簡単な説明】
【図1】本発明の一実施例のランドマーク抽出装置のシステム構成を示すブロック図である。
【図2】ランドマーク抽出処理の詳細な処理内容をブロック図として示す第1の図であり、ランドマーク抽出処理の前処理の流れを示す図である。
【図3】ランドマーク抽出処理の詳細な処理内容をブロック図として示す第2の図であり、ランドマーク抽出処理の後処理の流れを示す図である。
【図4】3次元スキャナーで得られた人体表面形状を表す3次元点群の例示図である。
【図5】人体表面上のランドマーク位置を表す3次元点群を結んでできる編み目形状の例示図である。
【図6】FFD変形を行う格子状の制御点群と、制御点群を移動させることで変形される形状を説明する図である。
【図7】断面形状上で座標値の極値をとる点群を形状特徴量として抽出した例を示す例示図である。
【符号の説明】
10…データ処理装置、
20…3次元形状計測装置、
30…データ記憶部、
40…被計測対象の人体形状

Claims (12)

  1. 主要ランドマーク位置をマーキングした被計測人体を3次元スキャナーにより計測して被測定人体の人体形状データと共に前記主要ランドマーク位置データを取得する入力装置と、
    標準人体形状データと当該標準人体形状データに付与されている全てのランドマーク位置データとを記憶している記憶装置と、
    前記標準人体形状データとランドマーク位置データとを読み出し、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データとランドマーク位置データとのデータ変換処理を行うデータ変換装置と、
    前記データ変換処理により標準人体形状データに付与されているランドマーク位置が前記主要ランドマーク位置に所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体の主要ランドマーク位置以外の他のランドマーク位置を推定するランドマーク位置推定装置と
    を備えることを特徴とするランドマーク抽出装置。
  2. 請求項1に記載のランドマーク抽出装置において、
    前記標準人体形状データにはテクスチャ情報が付属しており、
    前記形状データ変換装置は、前記テクスチャ情報を前記被計測人体の人体形状データのテクスチャ情報と比較して対応づけ、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データのデータ変換処理を行う
    ことを特徴とするランドマーク抽出装置。
  3. 請求項1に記載のランドマーク抽出装置において、
    前記ランドマーク位置推定装置は、被計測人体の人体形状データから形状特徴点を抽出し、前記データ変換処理により標準人体形状データの形状特徴点と所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体のランドマーク位置を推定する
    ことを特徴とするランドマーク抽出装置。
  4. 主要ランドマーク位置をマーキングした被計測人体を3次元スキャナーにより計測して被測定人体の人体形状データと共に前記主要ランドマーク位置データを取得し、
    記憶装置に記憶されている標準人体形状データと当該標準人体形状データに付与されている全てのランドマーク位置データとを読み出し、
    標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データとランドマーク位置データとのデータ変換処理を行い、
    前記データ変換処理により標準人体形状データに付与されているランドマーク位置が前記主要ランドマーク位置に所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体の主要ランドマーク位置以外の他のランドマーク位置を推定する
    ことを特徴とするランドマーク抽出方法。
  5. 請求項4に記載のランドマーク抽出方法において、
    前記標準人体形状データにはテクスチャ情報が付属しており、
    前記データ変換処理は、前記テクスチャ情報を前記被計測人体の人体形状データのテクスチャ情報と比較して対応づけ、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データのデータ変換処理を行う
    ことを特徴とするランドマーク抽出方法。
  6. 請求項4に記載のランドマーク抽出方法において、
    前記ランドマーク位置の推定は、被計測人体の人体形状データから形状特徴点を抽出し、前記データ変換処理により標準人体形状データの形状特徴点と所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体のランドマーク位置を推定する
    ことを特徴とするランドマーク抽出方法。
  7. 主要ランドマーク位置をマーキングした被計測人体を3次元スキャナーにより計測して被測定人体の人体形状データと共に前記主要ランドマーク位置データを取得するステップと、
    記憶装置に記憶されている標準人体形状データと当該標準人体形状データに付与されている全てのランドマーク位置データとを読み出すステップと、
    標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データとランドマーク位置データとのデータ変換処理を行うステップと、
    前記データ変換処理により標準人体形状データに付与されているランドマーク位置が前記主要ランドマーク位置に所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体の主要ランドマーク位置以外の他のランドマーク位置を推定するステップと
    を有すること特徴とするランドマーク抽出処理をコンピュータにより実行するプログラム。
  8. 請求項7に記載のランドマーク抽出処理をコンピュータにより実行するプログラムにおいて、
    前記標準人体形状データにはテクスチャ情報が付属しており、
    前記データ変換処理を行うステップは、前記テクスチャ情報を前記被計測人体の人体形状データのテクスチャ情報と比較して対応づけ、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データのデータ変換処理を行う
    ことを特徴とするランドマーク抽出処理をコンピュータにより実行するプログラム。
  9. 請求項8に記載のランドマーク抽出処理をコンピュータにより実行するプログラムにおいて、
    前記ランドマーク位置を推定するステップは、被計測人体の人体形状データから形状特徴点を抽出し、前記データ変換処理により標準人体形状データの形状特徴点と所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体のランドマーク位置を推定する
    ことを特徴とするランドマーク抽出処理をコンピュータにより実行するプログラム。
  10. ランドマーク抽出処理をコンピュータにより実行するプログラムを記録した記録媒体であって、
    主要ランドマーク位置をマーキングした被計測人体を3次元スキャナーにより計測して被測定人体の人体形状データと共に前記主要ランドマーク位置データを取得するステップと、
    記憶装置に記憶されている標準人体形状データと当該標準人体形状データに付与されている全てのランドマーク位置データとを読み出すステップと、
    標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データとランドマーク位置データとのデータ変換処理を行うステップと、
    前記データ変換処理により標準人体形状データに付与されているランドマーク位置が前記主要ランドマーク位置に所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体の主要ランドマーク位置以外の他のランドマーク位置を推定するステップと、
    の処理をコンピュータにより実行するプログラムを記録した記録媒体。
  11. 請求項10に記載のプログラムを記録した記録媒体において、
    前記標準人体形状データにはテクスチャ情報が付属しており、
    前記データ変換処理を行うステップは、前記テクスチャ情報を前記被計測人体の人体形状データのテクスチャ情報と比較して対応づけ、標準人体形状を計測された人体形状に近づけるように変形させる標準人体形状データのデータ変換処理を行う
    ことを特徴とするプログラムを記録した記録媒体。
  12. 請求項10に記載のプログラムを記録した記録媒体において、
    前記ランドマーク位置を推定するステップは、被計測人体の人体形状データから形状特徴点を抽出し、前記データ変換処理により標準人体形状データの形状特徴点と所定範囲内で対応した場合に、変形させた標準人体形状データのランドマーク位置から被計測人体のランドマーク位置を推定する
    ことを特徴とするプログラムを記録した記録媒体。
JP2003057418A 2003-03-04 2003-03-04 ランドマーク抽出装置およびランドマーク抽出方法 Expired - Lifetime JP3932360B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003057418A JP3932360B2 (ja) 2003-03-04 2003-03-04 ランドマーク抽出装置およびランドマーク抽出方法
PCT/JP2004/002622 WO2004094945A1 (ja) 2003-03-04 2004-03-03 ランドマーク抽出装置およびランドマーク抽出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003057418A JP3932360B2 (ja) 2003-03-04 2003-03-04 ランドマーク抽出装置およびランドマーク抽出方法

Publications (2)

Publication Number Publication Date
JP2004265337A true JP2004265337A (ja) 2004-09-24
JP3932360B2 JP3932360B2 (ja) 2007-06-20

Family

ID=33120855

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003057418A Expired - Lifetime JP3932360B2 (ja) 2003-03-04 2003-03-04 ランドマーク抽出装置およびランドマーク抽出方法

Country Status (2)

Country Link
JP (1) JP3932360B2 (ja)
WO (1) WO2004094945A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008032489A (ja) * 2006-07-27 2008-02-14 Kanazawa Inst Of Technology 人体の3次元形状データ生成方法および3次元形状データ生成装置
JP2009074938A (ja) * 2007-09-20 2009-04-09 Ihi Marine United Inc 形状計測装置および形状計測方法
WO2014016895A1 (ja) 2012-07-23 2014-01-30 富士通株式会社 形状データ生成プログラム、形状データ生成方法及び形状データ生成装置
WO2014196069A1 (ja) * 2013-06-06 2014-12-11 株式会社日立製作所 画像処理装置および画像処理方法
US9390549B2 (en) 2012-08-24 2016-07-12 Fujitsu Limited Shape data generation method and apparatus
JP2016202974A (ja) * 2009-02-02 2016-12-08 ジョイントヴュー・エルエルシー 非侵襲性診断システム及び方法
JP2021149081A (ja) * 2020-03-23 2021-09-27 麗寶大數據股▲フン▼有限公司 顕微鏡イメージングステッチ装置及びその方法
WO2024089855A1 (ja) * 2022-10-27 2024-05-02 日本電信電話株式会社 点群移動推定装置、点群移動推定方法、及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101769856B1 (ko) * 2016-07-28 2017-08-21 주식회사 오스테오시스 체형 사전 감지를 이용한 덱사 방식의 골밀도 및 신체조성 측정장치
CN108229496B (zh) * 2017-07-11 2021-07-06 北京市商汤科技开发有限公司 服饰关键点的检测方法和装置、电子设备、存储介质和程序

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001140121A (ja) * 1999-08-19 2001-05-22 Natl Inst Of Advanced Industrial Science & Technology Meti 人台の製造方法およびその装置
JP2002092051A (ja) * 2000-09-18 2002-03-29 National Institute Of Advanced Industrial & Technology 3次元形状設計方法及びその装置
KR100734727B1 (ko) * 2000-11-15 2007-07-02 도꾸리쯔교세이호진 상교기쥬쯔 소고겡뀨죠 족형정보 배신 시스템
JP2003044873A (ja) * 2001-08-01 2003-02-14 Univ Waseda 顔の3次元モデルの作成方法及びその変形方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008032489A (ja) * 2006-07-27 2008-02-14 Kanazawa Inst Of Technology 人体の3次元形状データ生成方法および3次元形状データ生成装置
JP2009074938A (ja) * 2007-09-20 2009-04-09 Ihi Marine United Inc 形状計測装置および形状計測方法
JP2016202974A (ja) * 2009-02-02 2016-12-08 ジョイントヴュー・エルエルシー 非侵襲性診断システム及び方法
WO2014016895A1 (ja) 2012-07-23 2014-01-30 富士通株式会社 形状データ生成プログラム、形状データ生成方法及び形状データ生成装置
US9836891B2 (en) 2012-07-23 2017-12-05 Fujitsu Limited Shape data generation method and apparatus
US9390549B2 (en) 2012-08-24 2016-07-12 Fujitsu Limited Shape data generation method and apparatus
WO2014196069A1 (ja) * 2013-06-06 2014-12-11 株式会社日立製作所 画像処理装置および画像処理方法
CN105246409A (zh) * 2013-06-06 2016-01-13 株式会社日立制作所 图像处理装置及图像处理方法
JPWO2014196069A1 (ja) * 2013-06-06 2017-02-23 株式会社日立製作所 画像処理装置および画像処理方法
JP2021149081A (ja) * 2020-03-23 2021-09-27 麗寶大數據股▲フン▼有限公司 顕微鏡イメージングステッチ装置及びその方法
WO2024089855A1 (ja) * 2022-10-27 2024-05-02 日本電信電話株式会社 点群移動推定装置、点群移動推定方法、及びプログラム

Also Published As

Publication number Publication date
JP3932360B2 (ja) 2007-06-20
WO2004094945A1 (ja) 2004-11-04

Similar Documents

Publication Publication Date Title
Bickel et al. Multi-scale capture of facial geometry and motion
JP4950787B2 (ja) 画像処理装置及びその方法
JP6000602B2 (ja) 体検出方法及び物体検出装置
US20170345147A1 (en) Tooth axis estimation program, tooth axis estimation device and method of the same, tooth profile data creation program, tooth profile data creation device and method of the same
JP2007004767A (ja) 画像認識装置、方法およびプログラム
Werghi Segmentation and modeling of full human body shape from 3-D scan data: A survey
US10776978B2 (en) Method for the automated identification of real world objects
CN113449570A (zh) 图像处理方法和装置
JP2021111114A (ja) 学習データ生成プログラム、学習データ生成方法及び推定装置
WO2006049147A1 (ja) 三次元形状推定システム及び画像生成システム
US20210375045A1 (en) System and method for reconstructing a 3d human body under clothing
JP2004265337A (ja) ランドマーク抽出装置およびランドマーク抽出方法
Bragança et al. An overview of the current three-dimensional body scanners for anthropometric data collection
Yang et al. Markerless motion capture systems for tracking of persons in forensic biomechanics: an overview
KR101021027B1 (ko) 피부 주름 평가를 위한 입체영상 측정 시스템 및 방법
Lu et al. Parametric shape estimation of human body under wide clothing
JP6579353B1 (ja) 情報処理装置、情報処理方法、寸法データ算出装置、及び製品製造装置
JP2023168081A (ja) 訓練データ生成プログラム、訓練データ生成方法及び訓練データ生成装置
Xu et al. Human body reshaping and its application using multiple RGB-D sensors
Knyaz et al. Machine learning for approximating unknown face
Deo et al. Mesh processing for computerized facial anthropometry
JP6593830B1 (ja) 情報処理装置、情報処理方法、寸法データ算出装置、及び製品製造装置
Noh et al. Retouch transfer for 3D printed face replica with automatic alignment
Tang Versatile Multidimensional Pattern Analysis for Automated Facial Modeling and Architecture Parsing
Nagata et al. Development of facial aging simulation system combined with three-dimensional shape prediction from facial photographs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070220

R150 Certificate of patent or registration of utility model

Ref document number: 3932360

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term