JP2022516586A - ボディの分析 - Google Patents

ボディの分析 Download PDF

Info

Publication number
JP2022516586A
JP2022516586A JP2021556646A JP2021556646A JP2022516586A JP 2022516586 A JP2022516586 A JP 2022516586A JP 2021556646 A JP2021556646 A JP 2021556646A JP 2021556646 A JP2021556646 A JP 2021556646A JP 2022516586 A JP2022516586 A JP 2022516586A
Authority
JP
Japan
Prior art keywords
data
images
participant
database
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021556646A
Other languages
English (en)
Other versions
JP7514252B2 (ja
JPWO2020132713A5 (ja
Inventor
アマール・エル-サラーム
ブラド・ボサナック
マーティン・ハワード・オトウェイ
Original Assignee
ボディ コンポジション テクノロジーズ プロプライアタリー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2018904941A external-priority patent/AU2018904941A0/en
Application filed by ボディ コンポジション テクノロジーズ プロプライアタリー リミテッド filed Critical ボディ コンポジション テクノロジーズ プロプライアタリー リミテッド
Publication of JP2022516586A publication Critical patent/JP2022516586A/ja
Publication of JPWO2020132713A5 publication Critical patent/JPWO2020132713A5/ja
Application granted granted Critical
Publication of JP7514252B2 publication Critical patent/JP7514252B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013Medical image data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022Monitoring a patient using a global network, e.g. telephone networks, internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0064Body surface scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1075Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4869Determining body composition
    • A61B5/4872Body fat
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7435Displaying user selection data, e.g. icons in a graphical user interface
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744Displaying an avatar, e.g. an animated cartoon character
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485Automatic selection of region of interest
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Fuzzy Systems (AREA)

Abstract

一態様において、デバイス12を使用してボディ14を分析するためのシステム10が開示される。1つの構成及び実施形態では、デバイス12は、コントローラ18と、コントローラ18を制御するための電子プログラム命令を記憶する記憶装置20と、入力手段とを含む。一形態では、コントローラは、電子プログラム命令の制御下で、ボディ14の少なくとも1つの表現を含む入力を、前記入力手段を介して受信し、入力に対して、データベース40の使用を含む処理を行い、ボディ14を分析し且つ分析に基づく出力を生成し、ディスプレイ22を介して出力を通信するように、操作可能である。実施形態では、出力は、ヒトの画像を含む表現からの、個人の3次元(3D)のボディ形状及び関連するボディ計測値、組成、並びに健康リスク及びウェルネスリスクの推定を含む。【選択図】図12

Description

本発明は、広く、ボディの分析に関する。
本発明は、ヒトのボディ(人体)を分析して、個人の3次元(3D)ボディ形状及びそれに関連するボディ組成並びに健康リスク及びウェルネスリスクの推定を提供することに特に言及して記載される。しかし、本発明は、この特定の使用分野に限定されず、他のもののボディに関して、追加及び/又は代替の目的のために分析を行うために使用することができることが理解される。
本明細書全体に亘る背景技術の議論は、係る背景技術が先行技術であるとみなされず、また、係る背景技術が広く知られている、又はオーストラリア若しくは世界の当該分野における技術常識の一部を構成しているとみなされるものではない。
本明細書で引用される特許又は特許出願を含む文献はいずれも、参照により本明細書に援用される。いかなる参照も、先行技術を構成するとは認められない。文献の議論は、それらの著者が主張することを述べており、出願人は、引用文献の正確性と適切性に異議を唱える権利を留保する。本明細書では多くの先行技術文献が参照されているが、この参照は、これらの文献のいずれも、オーストラリア又は他国における技術常識の一部を構成することを認めるものではないことが明確に理解される。
前糖尿病、慢性的な健康障害、若年死亡率、及び筋骨格障害の管理、治療、及びモニタリングは、世界的なヘルスケアの懸念を増大させており、世界中の政府に年間数兆ドルの費用が掛かっている。世界経済フォーラム(非特許文献1)が発表した最近の研究により、慢性疾患の管理だけでも、20年以内に46兆ドルを超えると推定された。
心血管疾患及びII型糖尿病などの非伝染性疾患(慢性疾患)が世界的なヘルスケアの懸念を高めていることが分かっている(非特許文献2及び非特許文献3)。肥満の測定特性である体脂肪蓄積は、世界保健機関(WHO)によって、世界中の慢性疾患及びその関連死を減らすための主たる目標値として特定されている。個人のボディ形状/組成の測定を通じて直接的又は間接的に評価できる肥満は、慢性疾患の発症に関連しているという開示により、特に、研究者、保険会社、及び医療専門家が、慢性疾患のリスクを推定するのに、どの計測値を信頼するか、関連があるとするかを理解することが重要である。このことは重要であるので、より信頼性が高く、感度が高い、具体的なリスクの見積もりを作成でき、1)集団モニタリングと早期に個別化された介入による世界的な医療費の削減、及び2)保険基準の改善に対応する保険会社及び再保険会社によって支払われる請求額の削減をもたらす可能性がある。
1980年以来、心血管疾患と糖尿病の発症率が、世界中で上昇している(非特許文献4及び非特許文献5)。人類の歴史におけるこの比較的短い期間で、世界の糖尿病率は、驚くべきことに、1億800万症例から4億2200万症例に増加した。前糖尿病として分類される人数も劇的に増加しており、世界中で4億7000万を超える人々が、2030年までに前糖尿病と診断されると予想されている(非特許文献6)。最近の統計では、膝関節と股関節の変形性関節症が、世界人口の高齢化に伴って、世界の医療費に甚大且つより大きな影響を及ぼしていることも示されている(非特許文献7)。現在の世界人口の中の高齢者数の増加に伴って、転倒リスクと、ヒトの老化プロセスによる過度の除脂肪筋量(lean muscle mass)の喪失であるサルコペニアとに関連する医療費が急速に増加している。米国(US)では、サルコペニアの有病率は、長期療養施設内の高齢者集団間で14%~33%であると推定された。米国におけるサルコペニアに関連する医療費は、2000年に年間421億ドルと推定されている(非特許文献8)。
前糖尿病、慢性的な健康障害、死亡率(非特許文献1)、筋骨格障害、サルコペニア、及び転倒リスクに寄与するが修正可能な危険因子は、個人のボディ組成(即ち、除脂肪筋量、総脂肪量、中心部脂肪量(central adiposity))である。
これらの憂慮すべき世界的傾向に対して、世界中の医療システムと政府機関は、そのような集団のボディ組成のモニタリングに、多くの時間と資金を投資し続けており、そうした集団のボディ組成(即ち、除脂肪体重、肥満、及び骨密度)に特別な関心を寄せている。また、政府及び関連医療専門家は、どの計測値が、前糖尿病、慢性疾患、死亡率、及び筋骨格障害の予測に関連しているかを理解することが重要である。このことは重要であるので、信頼性が高く、感度が高い、特定の相対的及び予測的な健康リスクの判定法と判定式を開発することができる。
慢性疾患と死亡率を予測するための主要なボディ組成測定は、中心部又は腹部の脂肪量の測定を中心としたものである(非特許文献9及び非特許文献10)。中心部脂肪量の測定は、アンドロイド脂肪、ガイノイド脂肪、内臓脂肪、胴囲、及び腹囲対ヒップ比を含む。利用可能な多くの中心部脂肪量計測値のうち、内臓脂肪は、心臓病及び糖尿病などの慢性的な健康障害を発症する個人のリスクを予測するための重要なボディ組成変数として注目され始めている(非特許文献11、非特許文献12、及び非特許文献13)。
正常で健康な集団と比較した場合、前糖尿病及び糖尿病の集団の間で、個人の合計及び中心部脂肪量の計測値が上昇していることを示す多くの研究がある。個人のボディ組成と前糖尿病及び糖尿病との間の関係により、相対的リスク又は予測式を開発して、ボディ組成及び参加者の関連する特徴、人体計測、及び疫学(即ち、前糖尿病及び糖尿病の状態)の情報から、個人の前糖尿病及び糖尿病リスクを推定することがある。前糖尿病又は糖尿病をスクリーニング又は診断するための現行の慣例法は、侵襲的で、痛みを伴い、時間と費用のかかる血液検査(即ち、空腹時血漿グルコース、HbA1c)であり、低コストで非侵襲的で正確な方法が、市場からの要請となっている。
例としてサルコペニアの効果的なモニタリングとスクリーニングのために、除脂肪ボディ組成測定、特に除脂肪筋量及び体肢除脂肪筋量が重要である(非特許文献14)。除脂肪筋量、特に下肢の筋量も、高齢者の転倒リスクのスクリーニング及びモニタリングに重要である。転倒に関連した股関節又は骨盤骨折を起こす70歳を超える集団では1年死亡率が90%に増加することが開示されているので、この集団のスクリーニング及びモニタリングのための費用効果が高く正確な方法を有していることが重要である。
除脂肪筋量及び脂肪量などのボディ組成測定が、前糖尿病、慢性的な健康状態、死亡率、筋骨格障害の管理に特に重要である理由は、それらが変わり得る要因であるためである。個人が関連するボディ組成変数を簡単且つ手頃に測定できれば、健康リスク及びウェルネスリスクを改善できるボディ組成変数の変化に注視することができる。これにより、前糖尿病症の診断、慢性疾患、若年死亡率、筋骨格系疾患、及び転倒に関連するリスクが低減し、健康状態が改善され、健康関連の支出を低減することができる。しかし、これを効果的に行うには、理論上の理想に近似するボディ組成測定ツールが必要である。
一般の人々にとって、理想的なボディ組成測定ツールは、理論的には、まず、正しい変数、即ち、個人の一般的な健康と全体的なウェルビーイングに関連する変数を測定できることが必要である。
第2に、ボディ組成変数の測定は、手頃で、アクセスし易く、正確である必要がある。
理想的なボディ組成測定モデルの図を、図面の図1に示す。これは、現在市場にある先行技術の現状をよりよく理解し、本発明の実施形態が現在の市場ギャップをどのように埋めようとしているのかを理解するために、先行技術の文脈で使用される。
ボディ組成測定を推定できる効率的で手頃な使い易いツールがなければ、政府機関や医療提供者には、人々の生涯に亘って、慢性的な健康障害及び筋骨格障害の効果的なモニタリング及び/又は治療並びに個人の若年死亡のリスクに関する不完全な健康情報が与えられてしまう。これは、心臓病、前糖尿病、糖尿病、関節変形性関節症、サルコペニアなどの慢性的な健康障害及び筋骨格障害を予防、管理、及び治療し、若年死亡を予測する医療システムの能力にとって大きな障壁となる。
中心部脂肪量及び全身脂肪量並びに除脂肪筋量などのボディ組成変数の信頼性のあるインビボ測定のための確立された基準測定は、医用画像技術である(非特許文献15)。これらの測定方法としては、限定されるものではないが、陽電子放出断層撮影(PET)、コンピューター断層撮影(CT)、二重エネルギー吸収測定法(DXA)、及び磁気共鳴(MR)が挙げられる。1990年以来、大規模なサンプル集団の中心部脂肪の測定は、主に費用と時間のかかるCT(非特許文献16及び非特許文献17)と、程度は低いがMR(非特許文献18)に限られている。近年の技術進歩の後、より低コストのDXAシステムが全身及び中心部脂肪量の測定のために検証されている(非特許文献19)。この近年の進歩により、医用画像処理に関連する費用と時間の浪費は軽減されているが、なくなってはいない。信頼性は高いものの、医用画像技術は費用がかかり、アクセスするのに病院の紹介状を必要とし、患者を有害な電離放射線に曝露させる可能性がある。図1に示すように、理想的なボディ組成測定ツールを参照すると、医用画像技術は、正確(102)ではあるが、手頃(103)ではなく、アクセスし易い(101)ものでもない。
ボディマス指数(BMI)、腹囲周囲長(WC)、腹囲対ヒップ周囲比(WHR)、ボディインピーダンス分析(BIA)などの間接的なボディ組成推定方法は、費用対効果が高く、アクセスし易い方法であるが、高レベルの測定誤差を伴う。その理由は、間接的な推定方法はいずれも、ボディ組織の密度、分布、及び水分濃度に関連する複数の仮定を行うためである(非特許文献14)。これらの仮定により、これらの方法は、肥満、高齢者、及び病理学的集団の間で特に誤ったものとなり、皮肉なことに、これらの集団は、大部分の機関が特定し、治療しようとしている集団コホートである。これらの要因が組み合わさって、慢性的な健康障害及び筋骨格障害の管理のための効果的な測定ツールとしての間接的なボディ組成法に著しい制約を与える。理想的なボディ組成測定ツールの文脈では、間接的なボディ組成推定方法は、手頃で(103)アクセスし易い(101)が、正確(102)ではない。
BMIが個人のボディ組成を正確に表しておらず、個人の慢性的な健康状態(非特許文献20)及び死亡(非特許文献8)のリスクの評価のためには比較的不十分な測定値であることが十分に認識されているものの、BMIは依然として集団ベースの調査研究及び保険セクタにおける一般的な測定ツールである。また、自己申告による身長と体重の計測値がBMI計算に使用されることも一般的であり、これは、元々不正確な計測値に更に測定の不確かさを与えている。自己申告による身長と体重を個人のBMIの計算に使用すると、誤分類が男性で22.4%、女性で18.0%の確率で生じる(非特許文献21)。主たる計測値としてBMIに依然として依存している集団調査員や保険会社にとって、正確で、アクセスし易く、手頃な測定ツールから個人の自己申告による身長と体重を推定及び検証する自動化された正確な方法は、集団ベースの研究及び保険セクタに大きな価値をもたらす。
2000年以来、研究者らは、高精度の3D表面スキャナから得られた測定情報を組み込むことにより、測定の手頃さと、アクセスし易さと、正確さとを結び付けようと試みている。このアプローチの興味深い点は、3D人体を、ユーザによって手動で複数領域(即ち、上半身/胴体/下半身、腕、脚など)に誘導されるソフトウェアと一連の線形計測値、円周、表面、又はボリュームとを用いて、セグメント化できることである。ここから、様々なボリューム、表面積、円周、線形計測値、及び測定比を計算することができる。
線形回帰法を用いて、3D表面スキャナ計測値と測定比とを、参加者の特性情報(身長、体重、性別、年齢)と組み合わせて、インビボ医用画像技術から計算したボディ組成変数を推定する。これらの手法を使用する多くの回帰式が文献に公開されている。最も注目すべき式のうちの2つは、Leeら(非特許文献22)とNgら(非特許文献23)によって公開された式であり、総体脂肪(R=0.95)と腹部脂肪(R=0.79-0.94)を高精度で予測している。個人の健康リスクを分類するための重要な変数である内臓脂肪の推定値は、中程度の精度で得られている(R=0.72-0.75)(非特許文献21及び非特許文献22)。
回帰を伴う3D表面スキャナの使用は、以下の5点の注目すべき制約を伴う。1)個人の3Dボディモデルを得るために、特殊な試験環境で、幾分高価で高精度の3Dボディ表面スキャナが必要である。2)これらの方法は、スキャンされた3Dデータを手動で処理する必要があり、その用途は、一般ユーザ又は訓練されていないユーザにとって制約となる。3)回帰ベースの計算モデルの適用は、大部分の場合、それが開発された同種の試験母集団に限定される。これは、一般に、統計学的検出力とモデル仕様が低いためである(即ち、過大/過小適合)(非特許文献24)。4)個人のボディボリュームのセグメント化は、個人の解剖学的構造(即ち、関節の中心と解剖学的ランドマーク)によってガイドされない。それに代えて、単純な形状とボリュームが、個人の3Dボリュームデータに適合又は位置合わせされる。5)これらの3Dボリューム測定及び回帰ベースの方法は、依然として、予測された内臓脂肪から、医療で求められるレベルの精度(R>0.90)で、重大な健康リスク変数を予測することはできない。これらの制限を併せて考慮し、理想的なボディ組成測定ツールを参照すると、回帰による3Dスキャン方法は、限られたサイズの母集団に対して正確(102)であるが、全てのボディ組成変数に関して良好という訳ではなく、比較的手頃(103)であり、比較的アクセスし易い(101)。最も重要なことは、報告される最良の精度(例えば、内臓脂肪)は、交差検定タイプの分析に基づく方法、又は実際の適合データ又は訓練されたデータに基づいて精度が報告されるので、目に見えないデータ項目の精度が、報告されたものよりも低い方法の場合である。これは現在の技術による意図的なものではなく、より大きなデータサイズがないためである。理想的には、集団又はその一部の正確な分析とモデリングに、より大きなデータサイズが必要である。
特許文献1は、比較的手頃な3Dスキャナを設計することによって、手頃さ(103)とアクセスし易さ(101)の問題に対処しようとしているが、実際の3Dスキャンの精度は、人体のような回転し、変形可能な通気性のある形状のステッチの場合に、影響を受けることがあり、ボディ組成の推定は、公衆に利用可能な線形回帰式と組み合わせた正確なグローバルボリューム測定に限定され、例えば、Farahbakhshianらは、1世紀以上前に開発されたボディ組成を推定するためのSiri又はBrozakの式のいずれかの使用について議論している。更に、計算されたボリュームは、解剖学的又は物理的に有効な骨関節による制約がないので、物理的には意味がない。
Select Research Limitedは、複数の予め較正されたカメラを使用してヒトの視覚的なハル(hull)を作成する実験室ベースのシステムを開発し、特許文献2及び特許文献3に開示した。次いで、ハルを、専門家によって用手清浄し、アノテート後、ソフトウェアプログラムで処理し、様々なボリュームの層に分割する。彼らのアプローチは、線形回帰法と3Dボリューム測定及び参加者の特性情報を組み合わせて、個人のインビボのボディ組成を推定し、ボディの一部のボリュームの比率に着目して健康リスクを推定する。このアプローチは、同一分野の多くの科学者によって広く一般的に使用され、公開された。前記特許におけるSelect Research Limitedがもたらした主な貢献は、ボディボリュームインデックススキャナの名称のスキャニングシステムであった。数値積分における誤差と同様に、これらのボディボリューム又は幾何学的形状が正確ではなく、人体の微妙な個別のニュアンスに適合することができず、調査対象の解剖学的又は物理的に有効な骨又は関節による制約がなかったので、物理的に意味がなかった。
線形回帰と、前記Select Research Limitedによるものを含む3Dスキャナ法の使用の制限として、以下の2点がある。i)3Dスキャナを使用する必要があるため、これらの方法は、手頃さ及びアクセスし易さは、それ程高くならない、及びii)線形回帰ベースの式をボディボリュームと組み合わせて使用するので、異種の母集団に適用した場合の精度が制限される。更に、線形回帰では、世界中の人体の無限の形状と組成バリエーションをモデル化する自由度が制限される。更に、ボディ組成に関する既存の回帰ベースの発明はいずれも、解剖学的情報を補強せず、解剖学的に有効なボディセグメント又はそれらの技術における形状特性を含む実際のヒトの形状バリエーションも補強しない。これらの事項はいずれも、本明細書に開示される本発明の実施形態で考慮される。
したがって、従来技術に必要とされる限られた精度と複雑な設定を考慮すると、個人、保険会社、政府機関、医療提供者などにとって、依然、慢性的な健康状態、筋骨格障害、更には若年死亡率にポジティブな影響を及ぼす効果的なモニタリング及び/又は治療のための手頃で理想的なボディ組成モニタリングツールがないのが現状である。
本発明は、こうした背景に対して開発されたものである。
本発明の目的は、先行技術の不利な点の少なくとも1つ以上を克服又は改善すること、有用な代替を提供すること、又は消費者、政府機関、及び医療提供者に、情報に基づく又は商業的な選択を提供することにある。
本発明の他の目的及び利点は、例証及び実例として本発明の好ましい実施形態が開示される添付図面に関連する以下の記載から明らかとなる。
本発明の第1の広い態様によれば、ボディを分析するためのデバイスであって、
コントローラと、
前記コントローラを操作するための電子プログラム命令を記憶する記憶装置と、
入力手段と
を含み、
前記コントローラが、
前記ボディの少なくとも1つの表現(representation)を含む入力を、前記入力手段を介して受信し、
前記入力に対して、データベースの使用を含む処理を行い、前記ボディを分析し且つ前記分析に基づく出力を生成し、及び
前記出力を通信するように、
前記電子プログラムの命令によって操作可能であり且つガイドされるデバイスが提供される。
表現は、任意のタイプの数字及び/又は文字及び/又はデータ及び/又は画像の形式であることができる。
データベースの使用は、データベースへのアクセス及び/又はデータベースへの問合せを含み得る。
任意に、システムは、ユーザインターフェースを表示するためのディスプレイを含むことができ、前記コントローラは、電子プログラム命令の制御下で、前記ディスプレイを介して前記出力を表示することによって、前記出力を通信するように操作可能である。このように、文字、画像、メッシュ(meshes)、3D、ビデオ、アイコン、仮想現実、及びグラフのうちの少なくとも1つを介して視覚化することができる。
任意に、デバイスが、システムの実施態様であることができる。
任意に、入力は、ボディの詳細を含む。詳細は、ボディのデータ及び/又は情報、ボディに関連する及び/又はボディに関するデータ及び/又は情報を含むことができる。データ及び/又は情報は、1以上のソースから、それを取得、受信、抽出、及び同定することのうちの1以上によって得ることができる。
任意に、ボディは人体又はその1以上の部分である。このような場合には、人体が個人のものである場合、出力は、個人の3Dボディ形状の推定値と、それに関連する人体計測、ボディ組成、並びに健康リスク及びウェルネスリスクの少なくとも1つを含むことができる。出力は、個人の推定値、即ち、形状、身体的、生態学的特性、及び/又は少なくとも1つの3次元(3D)形状とそれに関連する人体計測、ボディ組成、健康リスク及びウェルネスリスクを含むことができる。
任意に、ボディは、生物のボディ又はその1以上の部分である。
任意に、ボディは、無生物のボディ又はその1以上の部分である。
任意に、ボディは、人体である。
入力手段は、センサシステム又はセンサのセットの一部であり得る少なくとも1つのセンサを含むことができる。
任意に、表現は、ボディの視覚的、非視覚的、及び/又は非可視的な表現を含み、ボディの画像を含むことができる。係る実施形態では、少なくとも1つのセンサは、ボディの視覚的、非視覚的、及び/又は非可視的な表現を捕捉するように操作可能な画像化手段を含むことができる。画像化手段は、デジタルカメラであることができる。非視覚的な表現とは、例えば、ボディの行列又はベクトルの浮動小数点数などの視覚化できないデータを意味し得る。
センサのセット内の個々のセンサは、運動センサ、ジャイロスコープセンサ、重力センサ、赤外線センサ、深さセンサ、三次元イメージングセンサ、慣性センサ、及びマイクロエレクトロメカニカル(MEMS)センサ、画像化手段、加速度センサ、姿勢センサ、方位センサ、位置センサ、及び光源センサを含むことができる。
任意に、表現は、ボディの1以上の視覚的、非視覚的、及び/又は非可視的な表現を含む。係る実施形態では、1以上のセンサ(提供される場合)は、ボディの1以上の視覚的、非視覚的、及び/又は非可視的な表現を捕捉するように操作可能である1以上の画像化手段を含むことができる。更に、1以上のセンサは、平面への位置合わせを促進して精度を高めるために、ボディの1以上の視覚的、非視覚的、及び/又は非可視的な表現の捕捉中に使用するための姿勢データを提供するように操作可能である姿勢センサを含むことができる。
任意に、ボディは、カテゴリ及び/又はグループ及び/又はクラスに属する。
係る場合、データベースは、分析されるボディと同一及び/又は類似のカテゴリ及び/又はグループ及び/又はクラスに属する複数の異なるボディの詳細を含むことができる。詳細は、複数の異なるボディの各ボディのデータ及び/又は情報、それに関連する及び/又は関するデータ及び/又は情報を含むことができる。
カテゴリ及び/又はグループ及び/又はクラスがヒトを含む場合、データ及び/又は情報は、データベースにボディの詳細を提供する複数のヒトの参加者のそれぞれについて、1以上のヒトの医用画像、ボディ組成、人体計測、参加者の特性、参加者の属性、医学生理学情報、及び疫学情報を含むことができる。これは、収集を通して収集され、各参加者のそれぞれのボディの表現に関係付けられる。
カテゴリ及び/又はグループ及び/又はクラスがヒトを含む場合、データ及び/又は情報は、データベースにボディの詳細を提供する複数のヒトの参加者のそれぞれについて、1以上のヒトのビデオ、写真、完全及び/又は部分的なボディ形状又は表面スキャン、医用画像、ボディ組成、人体計測、参加者の特性、参加者の属性、医学生理学情報、及び疫学情報を含む。これは、収集を通して収集され、各参加者のそれぞれのボディの統一された表現に、関係付けられ、及び/又は位置合わせされ、及び/又はアラインメントされ、及び/又は一致させられる。
任意に、各参加者のそれぞれのボディの詳細及び表現の収集は、品質保証プロトコル並びに前処理プロセス及びステップにしたがって、データベースに情報を提供する各参加者のボディの詳細及び表現を捕捉することを含む。
任意に、各参加者のそれぞれのボディの詳細及び表現の収集は、好ましくは同時且つ並行して行われるが、異なる時間に行われる。これは、参加者ごとに行うことができる。
任意に、追加のデータが異なる時間間隔で収集され、経時で収集される参加者(ヒト)の形状とデータの時間的モデリングの作成及び/又は開発を可能にし、統計学的に意味のある診断トラッカを導き出し、物理的に意味のあるリスク分析及び/又は傾向を達成する。
データ及び/又は情報は、感覚的入力又はデバイスの内因性及び/又は外因性データ及び/又は情報を含むことができる。
任意に、データベースへの提供者の詳細は、品質保証並びに前処理の各ステップ及び各プロトコルにしたがって得られる。
任意に、各参加者のそれぞれのボディの詳細及び表現の収集は、品質保証及び前処理の各ステップにしたがって、データベースに情報を提供する各参加者のボディの詳細及び表現を捕捉することを含む。
品質保証及び前処理の各ステップは、データベース用の、1以上の画像、ビデオ、又はビデオフレーム、深さ画像を含む2.xD画像、及び/又は3Dボディスキャンの形式であることができるヒトの画像の捕捉段階に関連する技術を含むことができる。
品質保証及び前処理の各ステップは、データベース用の、人体計測データの捕捉段階に関連する技術を含むことができる。
品質保証及び前処理の各ステップは、データベース用の、動的データの捕捉段階に関連する技術を含むことができる。
任意に、処理は、統計分析及び/又は少なくとも1つのコンピュータビジョン(CV)、機械学習(ML)、及び/又は人工知能(AI)モデルによって実行される動作を含む。
前記動作は、
高度な多次元統計技術及び/又は機械学習技術及び/又はAI技術を使用して収集されたデータと画像を分析し、外れ値として識別されたものを除外すること、
データタイプ及び/又はデータタイプに関係付けられた関連する出力の1以上のラベリングメカニズムに基づいて、データ及び画像を1以上のグループ、領域、タイプ、及びカテゴリのうちの1以上に分類、クラスタリング、グルーピングすること、
ボディの画像から特徴及び/又はランドマーク及び/又は解剖学的に重要なランドマーク及び/又はキーポイント及び/又は関節中心及び/又は骨の結合を推定すること、
医用イメージングから抽出された画像特徴及び/又は解剖学的特徴によって制約されたボディの画像からボディ部分のセグメンテーションを推定し、2D及び/又は3Dのボディ部分及び/又は2D及び/又は3Dの関心のある領域(ROI)を確立すること、及び
2D及び/又は3Dの画像と形状の特徴、ラベル付けされた画像セグメント及び/又は画像クラスタとボディ形状を抽出すること、
のうちの少なくとも1つを含むことができる。
前記動作は、
高度な多次元統計技術及び/又は機械学習技術及び/又はAI技術を使用して収集されたデータと画像を分析し、外れ値として識別されたものを除外すること、
データタイプ及び/又はデータタイプに関係付けられた関連する出力の1以上のラベリング及び/又はアノテーションメカニズムに基づいて、データ及び画像を1以上のグループ、領域、タイプ、特性、及びカテゴリに分類、クラスタリング、グルーピングすること、
ボディの任意のタイプの画像から、目立った特徴及び/又は解剖学的に重要なランドマークを含むランドマーク及び/又はキーポイント及び/又は関節中心及び/又は骨の結合を推定すること、
画像におけるクラスタ化されたバックグラウンドからボディを識別及びセグメント化すること、
医用画像から抽出された解剖学的特徴によって制約されたボディの画像からボディパーツセグメントを推定し、関心のある領域(ROI)を確立すること、及び
画像又は一般的な形状特徴及びラベル付けされた画像セグメント及び/又は画像クラスタを抽出し、ボディデータとの対応を推定すること、
のうちの少なくとも1つを含むことができる。
前記処理は、CV/ML/AIモデルが、ヒトの画像データ、ビデオ、2.xD又は3D画像から対象又はユーザ固有の解剖学的に重要なランドマーク、骨の結合、及び/又は関節中心を推定する処理技術を含むことができる。
前記処理は、ML/AIモデルが、医用イメージングにより抽出された解剖学的特徴によって制約された3D画像を含むヒトの画像からボディ部分のセグメンテーションを推定し、対象又はユーザ固有の2D及び/又は3Dの関心のある領域を確立する処理技術を含むことができる。
前記処理は、ML/AIモデルが、2D及び/又は3D画像及び形状特徴、並びにラベル付けされた画像セグメント及び/又は画像クラスタ、及び対応する2D及び/又は3Dのボディ形状及び/又はボディセグメントを抽出する処理技術を含むことができる。
前記処理は、ML/AIモデルが、ヒトの画像データ、参加者の特性及び属性並びに医学生理学データを、個人のボディ組成のインビボにおける尺度及び物理的人体計測尺度と関係付ける、関連させる、及び/又は同時登録する処理技術を含むことができる。係る処理は、少なくとも、個人又はユーザ固有のヒトの画像データ、参加者の特性及び属性、並びに医学生理学データから様々なボディ組成及び人体計測尺度を正確に推定するように訓練されたアルゴリズムを使用することを含むことができる。
前記処理は、ML/AIモデルが、ウェルネススコア/アクティビティをデータベース、2D及び/又は3Dのボディ画像、形状、ボディパーツ、ボディセグメント、及び/又は医療データと関係付ける/学習する処理技術を含むことができる。
前記処理は、ユーザの推定されたボディ組成及び人体計測が出力として表示される、及び/又はファイルとして保存される、及び/又はセキュアなウェブリンクを介して送信されるステップを含むことができる。
前記処理は、現在及び過去のボディ組成及びボディ計測値が、デバイス及び/又はクラウド内のストレージ及び/又はサーバから検索された後、経時で追跡され、出力として表示されるステップを含むことができる。
処理は、様々な健康とウェルネスの指標とリスクファクタの比較が出力として提供されるステップを含むことができ、前記出力は、限定されるものではないが、
i)総体脂肪量又はセグメント体脂肪量、除脂肪量、内臓脂肪量、アンドロイド脂肪量、ガイノイド脂肪量、骨質量などの測定値の推定、
ii)体脂肪量に関する分類などの測定値の分類、例えば、痩せている、正常である、太り過ぎている、肥満であるなど;内臓脂肪の場合、例えば、低リスク、通常のリスク、上昇したリスク、高リスクなど、
iii)データベースに含まれる標準的な母集団分布との比較、
iv)訓練されたML/AIモデルと、以下の特定ユーザの予測リスクアプローチ又は式に基づく推定:
a.ユーザが前糖尿病であるリスク、
b.慢性健康疾患、筋骨格障害、死亡率、転倒リスクのユーザにおける上昇したリスク、
v)ユーザが指示する、又は身長に対する推定低筋肉除脂肪体重比若しくはその他の関連する人体計測によって引き起こされるサルコペニアを検出するアプローチ、
のうちの1以上を含むことができる。
前記処理は、調整された介入が出力され、実施のために表示されるアプローチを含むことができる。これは、ポジティブな健康行動の変化を有益に促進することができ、個人の健康とウェルネスの結果の改善につながる可能性がある。
任意の光ディスプレイ、ユーザインタフェース、及び入力手段は、例えば、タッチスクリーンに統合することができる。或いは、これらは、別体であることもできる。
実施形態では、入力は、入力手段を介してユーザによって入力されるユーザの命令を含む。ユーザの命令は、動作を実行するためのコマンドを含むことができ、この場合、コントローラは、受信したユーザの命令にしたがって動作を実行するように電子プログラム命令の制御下で操作可能である。
実施形態では、電子プログラム命令は、ソフトウェアを含む。デバイスは、移動通信デバイスであることができ、この場合、ソフトウェアがインストールされているスマートフォン、ノートパソコン/タブレット/デスクトップコンピュータ、カメラ、又は携帯用メディアデバイスを含むことができる。ソフトウェアは、デバイスにダウンロードすることができる、及び/又はサーバ及び/又はサービスとしてのクラウド上で実行するソフトウェアアプリケーションとして提供することができる。
好ましくは、デバイスによって実施される操作は、ヒトの介入を必要とすることなしに自動的に行われる。
本発明の第2の広い態様によれば、ボディを分析するための方法であって、
コントローラを制御するための電子プログラム命令を記憶することと、
前記コントローラを、
ボディの少なくとも1つの表現(representation)を含む入力を、入力手段を介して受信し、及び
前記入力に対して、データベースにアクセスすることを含む処理を行い、前記ボディを分析し且つ前記分析に基づく出力を生成するように、
前記電子プログラム命令を介して制御することとを含む方法が提供される。
前記表現は、ボディの画像を含む視覚的表現、及び/又は視覚化することができないデータを意味する非視覚的表現を含み得る。
前記処理は、少なくとも1つのコンピュータビジョン(CV)、機械学習(ML)、及び/又は人工知能(AI)モデルによって実行される動作を含むことができる。
任意に、分析されるボディは、カテゴリ及び/又はグループ及び/又はクラスに属する。係る場合、データベースは、分析されるボディと同一及び/又は類似のカテゴリ及び/又はグループ及び/又はクラスに属する複数の異なるボディの詳細を含むことができ、この詳細は、複数のボディの各ボディのデータ及び/又は情報、複数のボディの各ボディに関連する及び/又は関するデータ及び/又は情報を含む。
カテゴリ及び/又はグループ及び/又はクラスがヒトを含む場合、データ及び/又は情報は、データベースに各ボディの詳細を提供する複数のヒトの参加者のそれぞれについて、ヒトのビデオ、写真、完全及び/又は部分的なボディ形状又は表面スキャン、医用画像、ボディ組成、人体計測、参加者の特性、参加者の属性、医学生理学情報、及び疫学情報のうちの1以上を含むことができ、これは、収集を通して収集され、各参加者のそれぞれのボディの統一された表現に、関係付けられ、及び/又は位置合わせされ、及び/又はアラインメントされ、及び/又は一致させられる。
任意に、各参加者のそれぞれのボディの詳細及び表現の収集は、同時且つ並行して行われるが、異なる時点で行うことができる。
任意に、追加のデータが異なる時間間隔で収集され、経時で収集される参加者(ヒト)の形状とデータの時間的モデリングの作成及び/又は開発を可能にし、統計学的に意味のある診断トラッカを導き出し、物理的に意味のあるリスク分析及び/又は傾向を達成する。
任意に、各参加者のそれぞれのボディの詳細及び表現の収集は、品質保証及び前処理の各プロセス及びステップにしたがって、データベースに情報を提供する各参加者のボディの詳細及び表現を捕捉することを含む。
処理は、統計分析及び/又は少なくとも1つのコンピュータビジョン(CV)、機械学習(ML)、及び/又は人工知能(AI)モデルによって実行される動作を含む。
前記動作は、
高度な多次元統計技術及び/又は機械学習技術及び/又はAI技術を使用して収集されたデータと画像を分析し、外れ値として識別されたものを除外すること、
データタイプ及び/又はデータタイプに関係付けられた関連する出力の1以上のラベリング及び/又はアノテーションメカニズムに基づいて、データ及び画像を1以上のグループ、領域、タイプ、特性、及びカテゴリに分類、クラスタリングすること、
ボディの任意のタイプの画像から、目立った特徴及び/又は解剖学的に重要なランドマークを含むランドマーク及び/又はキーポイント及び/又は関節中心及び/又は骨の結合を推定すること、
画像におけるクラスタ化されたバックグラウンドからボディを識別及びセグメント化すること、
医用画像から抽出された解剖学的特徴によって制約されたボディの画像からボディパーツセグメントを推定し、関心のある領域(ROI)を確立すること、及び
画像又は一般的な形状特徴及びラベル付けされた画像セグメント及び/又は画像クラスタを抽出し、ボディデータとの対応を推定すること、
のうちの少なくとも1つを含むことができる。
前記方法は、更に、電子プログラム命令を介してコントローラを制御し、前記ディスプレイを介して前記出力を表示することによって、前記出力を通信することを含むことができる。このように、文字、画像、メッシュ(meshes)、3D、ビデオ、アイコン、仮想現実、及びグラフのうちの少なくとも1つを介して視覚化することができる。
前記方法は、更に、出力を通信することを含むことができる。前記通信は、ディスプレイを介して、及び/又はファイル上の、又は印刷された読み取り可能なデータとして出力を表示することを含むことができる。
任意に、ボディは個人のボディであり、出力は、個人の3Dボディ形状の推定値と、それに関連する人体計測、ボディ組成、並びに健康リスク及びウェルネスリスクの少なくとも1つを含むことができる。出力は、個人の推定値、即ち、形状、身体的、生態学的特性、及び/又は少なくとも1つの3次元(3D)形状とそれに関連する人体計測、ボディ組成、健康リスク及びウェルネスリスクを含むことができる。
本発明の第3の広い態様によれば、演算手段によって実行されるときに、本発明の第2の広い態様に係る前記方法を演算手段に実行させる命令が記憶されているコンピュータ可読記憶媒体が提供される。
本発明の第4の広い態様によれば、本発明の第2の広い態様に係る前記方法を実行するようにプログラムされている演算手段が提供される。
本発明の第5の広い態様によれば、演算システムによって受信及び解釈することができる少なくとも1つの命令を含むデータ信号であって、前記命令が、本発明の第2の広い態様に係る前記方法を実行させるデータ信号が提供される。
本発明の第6の態様によれば、本発明の第1の広い態様に係る前記デバイスを含む、ボディを画像化するシステムが提供される。
一実施形態では、本明細書に記載の方法を実行するためのコンピュータプログラム製品が提供される。
一実施形態では、プロセッサ上で実行されると、プロセッサに本明細書に記載の方法を実行させる、コンピュータで実行可能なコードを記録するための非一過性記録媒体が提供される。
一実施形態では、本明細書に記載の方法を実行するように構成されたシステムが提供される。
本発明の範囲内であり得る任意の他の形態があるにもかかわらず、以下、本発明をよりよく理解し、実施することができるようにするために、添付の図面を参照して、本発明の好ましい実施形態について記載するが、これらの実施形態は、単なる一例に過ぎない。
図1は、理想的なボディ組成測定モデルを示し、理想的なボディ組成測定ツールに必要とされるもののつながりを示す。
図2は、システムの第1の実施形態を使用する本発明の態様に係る方法の第1の実施形態の、ユーザによって完結される動作のフローチャートを示し、ヒトの画像から、ボディ組成並びに健康リスク及びウェルネスリスクを推定するためのデバイスの概要を示す。 図2は、システムの第1の実施形態を使用する本発明の態様に係る方法の第1の実施形態の、ユーザによって完結される動作のフローチャートを示し、ヒトの画像から、ボディ組成並びに健康リスク及びウェルネスリスクを推定するためのデバイスの概要を示す。 図3は、システムの第1の実施形態を使用する本発明の態様に係る方法の第1の実施形態の、ユーザによって完結される動作のフローチャートを示し、ヒトの画像から、ボディ組成並びに健康リスク及びウェルネスリスクを推定するためのデバイスの概要を示す。 図3は、システムの第1の実施形態を使用する本発明の態様に係る方法の第1の実施形態の、ユーザによって完結される動作のフローチャートを示し、ヒトの画像から、ボディ組成並びに健康リスク及びウェルネスリスクを推定するためのデバイスの概要を示す。
図4は、図2及び図3のシステムのBCTデータベース40のデータ収集及び処理に含まれるステップの一般概要を示す。
図5は、図2及び図3のシステムのBCTデータベース用に収集されたデータのより詳細な説明を示す。
図6aは、図2及び図3のシステムのデータ、医用画像、及びヒトの画像の各品質管理手順の一般概要を示す。 図6bは、図2及び図3のシステムのデータ、医用画像、及びヒトの画像の各品質管理手順の一般概要を示す。
図7は、図2及び図3のシステムのプロセスの医用画像からの解剖学的ランドマークの特定の一般概要を示す。関節の中心位置は右側の画像に見ることができる。関心のある領域は、左側の画像に見ることができる。
図8は、関節中心を推定するための図2及び図3のシステムのML/AIアルゴリズムの訓練の概要を示す。
図9は、定義された関心のある領域と解剖学的ランドマークを示す。
図10は、図2及び図3のシステムの前糖尿病、慢性健康疾患、及び死亡率の予測健康リスク式の一般的な概要を示す。
図11は、図2及び図3のシステムの相対的健康リスク計算機の計算の例を示す。
図12は、本発明の態様に係るデバイスの実施形態の概略図を示す。
図13は、図2及び図3のシステムの簡略化されたシステム図を示す。
図14a~図14dは、図2及び図3のシステムのヒトの画像から対象又はユーザ固有の解剖学的情報及び関節を推定するように操作可能なCV/ML/AIモデルを訓練するための例示画像を示す。
図15a及び図15bは、図2及び図3のシステムのBCTデータベース40のデータを使用して訓練されたCV/ML/AIモデルを使用して、特定の正面及び側面のヒトの画像に基づいて、特定の解剖学的に重要なランドマーク及び関節中心がどのように推定されたかを示す。
図16は、ボディパーツセグメンテーションに解剖学的ランドマークと関節中心を使用しない3Dセグメンテーションを示す。
図17は、ボディパーツセグメンテーションに解剖学的ランドマークと関節中心を使用した3Dセグメンテーションを示す。
図18は、特定のヒトの画像に対して1つのタイプの2D画像特徴がどのように準備されるかを表す例を示す。定義
以下の定義は、一般的な定義として提供されており、本発明の範囲をそれらの用語のみに限定するものではなく、以下の記載のよりよい理解のために提示される。
特段の断りがない限り、本明細書中で使用される技術用語及び科学用語はいずれも、本発明が属する分野の当業者によって通常理解される意味と同一の意味を有する。本明細書で使用される用語は、本明細書及び関連技術の文脈におけるそれらの意味と一致する意味を有し、本明細書中で明示的に定義されない限り、理想化された、又は過度に形式的な意味で解釈されないことが更に理解される。本発明の目的のために、更なる用語を以下に定義する。更に、本明細書で定義及び使用される定義はいずれも、辞書の定義、参照により援用される文書における定義、及び/又は定義された用語の意味に対して優先される理解される。但し、特定の用語の意味に関して疑いがない場合に限られ、このような場合には、用語の通常の辞書の定義及び/又は一般的な使用法が優先される。
本発明の目的のために、次の用語を以下に定義する。
冠詞「a」及び「an」は、本明細書では、冠詞の文法上の目的語の1つ又は複数(即ち、少なくとも1つ)を意味するために使用される。一例として、「an element」は、1つの要素又は複数の要素を意味する。
用語「約」は、本明細書では、レファレンス量に対して30%、好ましくは20%、より好ましくは10%変わる量を意味するために使用される。数値を修飾する用語「約」の使用は、その数値が精密な値として解釈されるべきではないことの明示的な指標に過ぎない。
本明細書全体を通して、文脈上特段の事情がない限り、用語「含む(comprise、comprises、comprsing)は、記載されたステップ若しくは要素又はステップ若しくは要素の群を含むことを意味し、他のステップ若しくは要素又はステップ若しくは要素の群を除外することを意味しないと理解される。
本明細書で使用される用語「含む(including又はwhich includes又はthat includes)のいずれも、その用語に続く要素/特徴を少なくとも含むが、他のものを除外しないことを意味するオープンな用語である。したがって、「含む(including)」は、「含む(comprsing)」と同義であり、「含む(comprsing)」を意味する。
特許請求の範囲並びに前記概要及び下記の説明において、「含む(comprising)」、「含む(including)」、「有する(carrying)」、「有する(having)」、「含む(containing)」、「関与する(involving)」、「保持する(holding)」、「から構成される(composed of)」などのあらゆる移行句は、オープンエンド、即ち、「含むがこれらに限定されない(including but not limited to)」を意味すると理解される。「からなる(consisting of)」及び「本質的にからなる(consisting essentially of)」単独の移行句のみが、それぞれクローズド又はセミクローズドな移行句であるものとする。
用語「リアルタイム」、例えば「リアルタイムデータの表示」は、システムの処理制限とデータを正確に測定するための所要時間とを考慮して、意図的な遅延なしにデータを表示することを意味する。
用語「略リアルタイム」、例えば「リアルタイム又は略リアルタイムデータを取得する」は、意図的な遅延なし(「リアルタイム」)又は実用的に可能な限りリアルタイムに近いデータの取得を意味する(即ち、データを取得及び記録又は送信するためのシステムの制約及び処理制限内で、意図的であるかどうかにかかわらず、僅かではあるが最小限の遅延を伴う)。
本明細書に記載されるものと類似又は同等の任意の方法及び材料を、本発明の実施又は試験に使用することができるものの、好ましい方法及び材料を記載する。本明細書に記載の方法、デバイス、及びシステムは、様々な方法で、様々な目的のために実施され得ることが理解される。ここでの記載は単なる例示である。
本明細書で使用される用語「例示的」は、質を示すのではなく、例を提供するという意味で使用される。即ち、「例示的な実施形態」は、例えば、望ましいモデルとして機能する又はその種の最良のものを表す、例示的な質の実施形態であるというのではなく、一例として提供される実施形態である。
本明細書で概説される様々な方法又はプロセスは、様々なオペレーティングシステム又はプラットフォームのいずれか1つを使用する1以上のプロセッサで実行可能なソフトウェアとしてコードすることができる。更に、係るソフトウェアは、いくつかの好適なプログラミング言語及び/又はプログラミング又はスクリプトツールのいずれかを使用して記述することができ、また、フレームワーク又は仮想マシン上で実行される実行可能な機械語コード又は中間コードとしてコンパイルすることができる。
この点に関して、様々な本発明の概念は、1以上のコンピュータ又は他のプロセッサで実行されるとき、前記様々な実施形態を実施する方法を実行する1以上のプログラムでエンコードされるコンピュータ可読記憶媒体(又は複数のコンピュータ可読記憶媒体)(例えば、コンピュータメモリ、1以上のフロッピーディスク、コンパクトディスク、光ディスク、磁気テープ、フラッシュメモリ、回路、フィールドプログラマブルゲートアレイ又は他の半導体デバイスにおける回路構成、又は他の非一過性媒体又は有形のコンピュータ記憶媒体)として具体化することができる。1以上のコンピュータ可読媒体は、持ち運び可能であり、その上に格納された1以上のプログラムを1以上の異なるコンピュータ又は他のプロセッサにロードして、前記本発明の様々な態様を実施することができる。
用語「プログラム」又は「ソフトウェア」は、本明細書中において一般的な意味で使用され、コンピュータ又は他のプロセッサをプログラムして、前記実施形態の様々な態様を実施するために使用できる任意のタイプのコンピュータコード又はコンピュータ実行可能命令のセットを意味する。更に、一態様によれば、実行されたときに、本発明の方法を実行する1以上のコンピュータプログラムは、単一のコンピュータ又はプロセッサに存在する必要はないが、いくつかの異なるコンピュータ又はプロセッサ間でモジュール方式で分散させ、本発明の様々な態様を実施することができることが理解される。
コンピュータ実行可能命令は、プログラムモジュールなど、1以上のコンピュータ又は他のデバイスによって実行される多くの形式であることができる。一般に、プログラムモジュールには、特定のタスクを実行する又は特定の抽象的データタイプを実行するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。典型的には、プログラムモジュールの機能は、様々な実施形態において、望むように組み合わせる又は分散されることができる。
また、データ構造は、任意の好適な形式でコンピュータ可読媒体に格納することができる。説明の簡略化のために、データ構造は、データ構造内の場所によって関連付けられたフィールドを有するように示されていることがある。係る関係は、同様に、フィールド間の関係を伝達するコンピュータ可読媒体内の場所に、フィールドのための記憶装置を割り当てることによって達成することができる。しかし、任意の好適なメカニズムを使用して、データ要素間の関係を確立するポインタ、タグ、又は他のメカニズムの使用を含む、データ構造のフィールド内の情報間の関係を確立することができる。
また、様々な発明の概念は、1以上の方法として具体化することができ、その例が提供される。方法の一部として実行される行為は、任意の適切な方法で順序付けることができる。したがって、例示的な実施形態において連続的な行為として示されていても、行為が図示される順序と異なる順序で実施される実施形態を構築することができ、これは、いくつかの行為を同時に実行することを含み得る。
本明細書及び特許請求の範囲で使用される句「及び/又は」は、そのように連結される要素の「いずれか又は両方」、即ち、ある場合には結合的に存在し、他の場合には分離的に存在する要素を意味すると理解される。「及び/又は」と共にリストされた複数の要素は、同じ方法で解釈される。即ち、要素の「1以上」がそのように連結される。「及び/又は」節によって具体的に特定される要素以外の他の要素は、それらが具体的に特定される要素に関連するかどうかにかかわらず、任意に存在することができる。したがって、非限定的な例として、「A及び/又はB」という記載は、「含む(comprising)」などのオープンエンドな用語と組み合わされると、一実施形態では、Aのみ(任意に、B以外の要素を含む)、別の実施形態では、Bのみ(任意に、A以外の要素を含む)、更に別の実施形態では、A及びBの両方(任意に、他の要素を含む)などを意味し得る。
本明細書及び特許請求の範囲で使用される「又は」は、前記定義された「及び/又は」と同じ意味を有すると理解される。例えば、リスト中の項目を区切る場合、「又は」又は「及び/又は」は、包括的であると解釈されるものとする。即ち、要素のいくつか又はリスト及び任意に、リストされていない更なる項目の少なくとも1つだけでなく、複数も含むものと解釈される。「の1つだけ(only one of)」又は「の正確に1つ(exactly one of)」など、反対の意味を明確に示す用語、又は特許請求の範囲で使用される「からなる(consisting of)」のみが、要素のいくつか又はリストの正確に1つの要素を含むことを意味する。一般に、本明細書で使用される用語「又は」は、「いずれか(either)」、「の一方(one of)」、「の一方のみ(only one of)」、又は「の正確に1つ(exactly one of)」などの、排他的用語が先行するとき、排他的選択肢を示すものと解釈するものとする(即ち、「一方又は他方であるが両方ではない」)。「本質的にからなる(Consisting essentially of)」は、特許請求の範囲で使用されるとき、特許法の分野において使用される通常の意味を有するものとする。
本明細書及び特許請求の範囲で使用される句「少なくとも1つ」は、1以上の要素のリストに関して、要素のリスト中の任意の1以上から選択される少なくとも1つの要素を意味すると理解されるが、要素のリストに具体的にリストされる各要素の少なくとも1つを必ずしも含む必要はなく、要素のリスト中の要素の組合せを除外しない。この定義はまた、「少なくとも1つ」という句が言及する要素のリスト中で具体的に特定される要素以外の要素が、具体的に特定される要素に関連するかどうかにかかわらず、任意に存在し得ることを可能にする。したがって、非限定的な例として、「A及びBの少なくとも1つ」(又は、同じく「A又はBの少なくとも1つ」、又は同じく「A及び/又はBの少なくとも1つ」)は、一実施形態では、少なくとも1つのAを含み(任意に複数のAを含む)、Bが存在しない(任意に、B以外の要素を含む)、別の実施形態では、少なくとも1つのBを含み(任意に複数のBを含む)、Aが存在しない(任意に、A以外の要素を含む)、更に別の実施形態では、少なくとも1つのA(任意に複数のAを含む)と少なくとも1つのB(任意に複数のBを含む)とを含む(任意に他の要素を含む)などを意味し得る。
本明細書の目的のために、方法のステップが順に記載される場合、順序を解釈する他の論理的な方法がない限り、順序は、必ずしも各ステップがその順序で時系列に行われることを意味しない。
更に、本発明の特徴又は態様がマーカッシュ群で記載される場合、当業者は、本発明が、マーカッシュ群によって、マーカッシュ群の任意の個々のメンバ又はメンバのサブグループに関しても記載されていることを認識する。
実施形態の説明
以下の説明において、異なる実施形態における類似又は同一の参照番号は、同一又は類似の特徴を示す。
図2及び図3には、本発明の態様に係るデバイス12を用いてボディを分析するために、図2(システム)に示されるシステム10の第1の実施形態の使用時に実行される動作が示されている。
記載される実施形態では、ボディは、(システム10のユーザである)ヒト16のボディ14である。
本発明は、個人の3次元(3D)ボディ形状及びそれに関連するボディ組成並びに健康リスク及びウェルネスリスクの推定を提供するために、特に、人体を分析することに言及して記載される。この推定は、(普遍性を制限することなく)画像及び/又は特徴及び/又はボディ形状及びその分子組成の生態学的及び物理的に有効なモデル又はアナロジの定義、説明、記述の1以上を行うことができる任意のタイプのデータ、表現、又は情報を用いて行われる。したがって、システム10の実施形態は、ヒトの画像から、形状、ボディ組成、及び健康リスクを推定するためのものである。
本発明は、他のもののボディに関して、そして、更なる及び/又は別の意図若しくは目的のための分析を行うために用いることができることが理解される。
本発明は、分析されるボディ又は分析する意図若しくは方法に関して限定されないことが理解され、別の実施形態では、本発明は、更なる及び/又は別のもののボディの分析に、そして、更なる及び/又は別の意図のために記載するものに適用してもよい。実行に依存して、ボディは、生物のボディ若しくはその1以上の部分、又は非生物のボディ若しくはその1以上の部分であることができる。本発明の実施形態は、(記載される実施形態における)ヒトのみならず、家畜を含む動物など、あるボディと別のボディとの間にばらつきが存在するもののボディの分析に、特に適用することができる。
更に詳細に説明するように、本発明の実施形態は、本発明者らが開発した、ヒトの画像から個人の3次元(3D)ボディ形状及びそれに関連するボディ組成並びに健康リスク及びウェルネスリスクを推定するための方法を実行するシステム10を含む。前記方法は、各種データ捕捉デバイスを使用して、参加者の詳細又は情報提供される人体の詳細(ヒトの画像、医用画像、医学生理学情報、参加者の特性及び属性、人体計測、並びに疫学データなど)の独自の多様なグローバル多次元データベースの収集を含む。次いで、新規且つ高度な統計学的手法であるコンピュータービジョン(CV)、機械学習(ML)、人工知能(AI)によるアプローチが、このデータベースを使用してヒトの画像を理解し、特徴的な形状及びそれに由来する特性を抽出して、人体形状やボディ組成、医学生理学情報、健康リスク及びウェルネスリスクに関係付ける。実施形態では、前記したことを容易にするプロセス全体が、厳密な品質保証プロトコルの下でオフラインで実行され、公衆及び科学者が利用できるスタンドアロンシステム又はアプリケーションを生成する。実施形態の発明されたシステム10は、医療及び健康、フィットネス、保険、及び政府の各セクタ内のボディ組成並びに健康リスク及びウェルネスリスクを推定する手頃でアクセスし易い方法を提供する。
本発明の実施形態によって使用される高度な機械学習技術は、畳み込みニューラルネットワーク(CNN)技術を含み得る。
本発明において本発明者らによって開発されたプロトコル及びプロセスは、実施形態では、こうした複雑なタイプのヒトデータタイプ及び構造を扱うことを可能にする。
概念的には、本発明の実施形態は、6つの広いレベルを含むと見ることができる。更に詳細に記載するように、いくつかのレベルは、実施形態で本発明を生成又は実行するために必要なあらゆるタイプの収集データの捕捉、制御、処理、加工、及び関係付けなどを行う動作を容易にするためにオフライン段階で実行される。他のレベルは、ヒトの画像などのデータのサブセットが捕捉、処理、出力、使用されて他のサブセットを予測する動作(例えば、ボディ組成の出力)を容易にするために、オンライン段階で実行される。
6つのレベルに関して、第1のオフラインのレベルは、様々なタイプのデータ捕捉デバイスを使用してヒトの画像を同時に収集しながら、ヒトの医用画像、ボディ組成、人体計測、身体的特徴及び属性、並びに医学生理学データ及び疫学データを含む、参加者又は情報提供される人体の詳細の世界規模での多様なデータベース収集に関する。本発明の実施形態の有利な特徴は、ヒトの画像を同時に収集しながら、ヒトの視覚画像、医用画像、ボディ組成、人体計測、身体的特徴及び属性、並びに医学生理学データ及び疫学データの大規模データベースの収集、準備、分析、及び処理を行うように操作可能なシステム10の提供である。
第2のオフラインのレベルは、収集した多次元データの評価、修正、分析、準備、及び関係付けなどの動作を容易にする新しい高度な画像処理技術とデータ品質管理手順とに組み合わされる、データベースのデータの信頼性の高い統一された収集を提供する方法論的手順の開発に関する。
第3のオフラインのレベルは、ヒトの画像及び関連するヒトの特徴、参加者の特性、及び医学生理学の研究、分析、及び関係付けを行う動作を容易にし、それらを、ボディ組成データ、解剖学的骨関節(医用画像から)、解剖学的に有効なボディパーツセグメント(医用画像から)、及び3Dボディ形状(画像から再構築又は3D形状スキャナを介して取得)に関係付けられるように操作可能なコンピュータービジョン(CV)、機械学習(ML)、人工知能(AI)のアプローチ及びモデルの開発に関する。
前記動作は、
高度な多次元統計技術及び/又は機械学習技術及び/又はAI技術を使用して収集されたデータと画像を分析し、外れ値として識別されたものを除外すること、
データタイプ及び/又はデータタイプに関係付けられた関連する出力の1以上のラベリングメカニズムに基づいて、データ及び画像を1以上のグループ、領域、タイプ、及びカテゴリのうちの1以上に分類、クラスタリング、グルーピングすること、
ボディの画像から、特徴及び/又はランドマーク及び/又は解剖学的に重要なランドマーク及び/又はキーポイント及び/又は関節中心及び/又は骨の結合を推定すること、
医用画像から抽出された画像特徴及び/又は解剖学的特徴によって制約されるボディの画像からボディパーツセグメンテーションを推定し、2D及び/又は3Dのボディパーツ及び/又は2D及び/又は3Dの関心のある領域(ROI)を確立すること、
2D及び/又は3Dの画像と形状の特徴及びラベル付けされた画像セグメント及び/又は画像クラスタとボディ形状を抽出すること、
のうちの少なくとも1つを含むことができる。
前記動作は、
高度な多次元統計技術及び/又は機械学習技術及び/又はAI技術を使用して収集されたデータと画像を分析し、外れ値として識別されたものを除外すること、
データタイプ及び/又はデータタイプに関係付けられた関連する出力の1以上のラベリング及び/又はアノテーションメカニズムに基づいて、データ及び画像を1以上のグループ、領域、タイプ、特性、及びカテゴリに分類、クラスタリングすること、
ボディの任意のタイプの画像から、目立った特徴及び/又は解剖学的に重要なランドマークを含むランドマーク及び/又はキーポイント及び/又は関節中心及び/又は骨の結合を推定すること、
画像におけるクラスタ化されたバックグラウンドからボディを識別及びセグメント化すること、
医用画像から抽出された解剖学的特徴によって制約されたボディの画像からボディパーツセグメントを推定し、関心のある領域(ROI)を確立すること、及び
画像又は一般的な形状特徴及びラベル付けされた画像セグメント及び/又は画像クラスタを抽出し、ボディデータとの対応を推定すること、
のうちの少なくとも1つを含むことができる。
CV/ML/AIは、本明細書に記載の実施形態のモデルに限定されず、本発明の代替の実施形態では、追加及び/又は代替のモデルを学習させることができ、分析しようとするボディ又はものに応じて出力が生成され、学習プロセスの制約は、分析しようとするボディ又はもの及びなされる決定にしたがって、本発明の実施における必要に応じ、追加及び/又は代替の訓練、試験、及び検証、及び記載された実施形態のデータよりも多い又は少ないデータ、追加及び/又は代替のタイプのデータを含むことができることが理解される。
第4のオンラインのレベルは、ヒトの画像及び関連するヒトの特徴、特性、及び医学生理学データを含む入力を捕捉するデバイス12の使用に関する。デバイス12は、新規なCV、ML、及びAIアプローチと統合された制御モジュール及びアプリケーションに加えて、この画像を処理及び加工して特徴的な画像特徴、ランドマーク、キーポイント(マーカーとして視覚的に又はマーカーせずに、即ち、非視覚的に)を抽出し、ヒトの関節、骨の結合、ボディパーツセグメントを推定し、有効な3Dボディ形状を再構築することを含む動作を容易にするように操作可能であり、そのために使用される。
第5のオンラインのレベルは、オフラインで収集されるデータセット内のボディ組成並びに健康リスク及びウェルネスリスク、その他のパラメータを推定するために、オンラインで捕捉及び処理されたヒトの画像及び関連するヒトの特徴、参加者の特性、医学生理学データ、及び疫学データを処理することを含む動作を容易にするための、追加のCV、ML、及びAIの各モデル及びアプローチ(オフラインで訓練されたデータと機械学習モデルによって駆動される)の使用に関する。
第6のオンラインのレベルは、個人が生涯に亘って健康とウェルネスを分類、評価、及びモニタリングできるようにすることを含む動作を容易にする、処理されたヒトの画像及び関連するヒトの特徴、参加者の特性及び医学生理学データ、3次元(3D)のボディ形状、推定されたボディ組成データ、並びに追加の健康データ及びウェルネスデータの使用に関し、これらはいずれも、前記第5のレベルの出力として分析、研究、及びモデル化される。
本発明は、医療及び健康、フィットネス、保険及び政府の各セクタのための、ヒトの画像データ及び他の個人データからの個人のボディ組成、人体計測、並びに健康リスク及びウェルネスリスクの推定に言及して記載されるが、他のもののボデイに関して、及び追加及び/又は代替の目的のために使用できることが理解される。更に、本発明の実施形態は、中心部(即ち、アンドロイド、ガイノイド、及び内臓脂肪)と全身脂肪量及び除脂肪筋量との間の関係を、糖尿病、心血管疾患、筋骨格障害(例えば、虚弱及び膝関節及び股関節の骨関節炎)、前糖尿病、若年死亡率、及びサルコペニアなどの慢性健康疾患の個人のリスクに結び付けるが、より広範囲のボディ組成、人体計測変数、及び医学生理学情報を推定し、医学健康及び医学研究セクタ内の他の関連する状態、障害、又は疾患に関連付けることができ、よりグローバルに、個人の健康リスク及びウェルネスリスクに分類されることが理解される。これらのボディ組成、人体計測変数、及び医学生理学情報としては、限定されるものではないが、例えば、臓器組織、筋肉組織、骨ミネラル密度、血圧、心拍数、血漿グルコース、HbA1c及び他の関連する血液/血漿情報が挙げられる。
デバイス12は、ユーザ16であるヒトによって持ち運ばれる。
図12に示すように、デバイス12は、適切な回路及び/又は連結を介して操作可能に接続されてデバイス12が本明細書に記載の機能及び操作を実施できるようにする複数のコンポーネント、サブシステム、及び/又はモジュールを含む。デバイス12は、本発明の実施形態に係るボディを分析するための方法などの適切なコンピュータ命令を受信、記憶、及び実行するのに必要な好適なコンポーネントを含む。
特に、図12に示すように、デバイス12は、この実施形態では、コントローラ18と、コントローラ18を制御又は操作するための電子プログラム命令、並びに情報及び/又はデータを記憶するための記憶装置20とを含む演算手段と;ユーザインタフェース24を表示するためのディスプレイ22と;入力手段26とを含み、これらは全て容器又は筐体28内に収容される。
更に詳細に説明するように、コントローラ18は、ボディ14の少なくとも1つの表現を含む入力を入力手段を介して受信し、前記入力に対して、データベースの使用を含む処理を行い、前記ボディを分析し且つ前記分析に基づく出力を生成し、前記出力をディスプレイ22を介して表示することによって前記出力を通信するように、電子プログラムの命令の制御下又は電子プログラムの命令によるガイドによって操作可能である。
特に、実施形態では、コントローラ18は、ヒトの画像から形状及び健康リスクを推定するためのアプリケーションを制御及び実行するように操作可能である。
更に詳細に説明されるように、少なくとも1つの表現は、任意のタイプの数字及び/又は文字及び/又はデータ及び/又は画像の形式であることができる。
データベースの使用は、データベースへのアクセス及び/又はデータベースへの問合せを含み得る。
本発明の実施形態では、入力は、データ及び/又は情報を含むことができ、これらは、1以上のソースから、それを捕捉、検索、受信、抽出、及び同定することのうちの1以上によって取得することができる。データの1以上のソースは、記憶装置20、及び/又はデバイス12から離れた他の場所に存在することができる。データ及び/又は情報は、感覚的入力又はデバイスに由来する内因性及び/又は外因性データ及び/又は情報を含むことができる。
実施形態では、本体14は、カテゴリ及び/又はグループ及び/又はクラスに属する。データベースは、分析されるボディと同一及び/又は類似のカテゴリ及び/又はグループ及び/又はクラスに属する複数の異なるボディの詳細を含み得る。前記詳細は、複数の異なるボディの各ボディのデータ及び/又は情報、それに関連する及び/又は関するデータ及び/又は情報を含むことができる。
実施形態のように、カテゴリ及び/又はグループ及び/又はクラスがヒトを含む場合、データ及び/又は情報は、データベースにそれぞれのボディの詳細を提供する複数のヒトの参加者のそれぞれについて、ヒトの医用画像、ボディ組成、人体計測、参加者の特性、参加者の属性、医学生理学情報、及び疫学情報のうちの1以上を含むことができ、これは、各参加者のそれぞれのボディの表現が収集され関係付けられる間に収集される。
カテゴリ及び/又はグループ及び/又はクラスがヒトを含む場合、データ及び/又は情報は、データベースにそれぞれのボディの詳細を提供する複数のヒトの参加者のそれぞれについて、ヒトのビデオ、写真、完全及び/又は部分的なボディ形状又は表面スキャン、医用画像、ボディ組成、人体計測、参加者の特性、参加者の属性、医学生理学情報、及び疫学情報のうちの1以上を含むことができる。これは、収集を通して収集され、各参加者のそれぞれのボディの統一された表現に、関係付けられ、及び/又は位置合わせされ、及び/又はアラインメントされ、及び/又は一致させられる。
コントローラ18は、プロセッサの形態の処理手段を含む。
記憶装置20は、読み出し専用メモリ(ROM)及びランダムアクセスメモリ(RAM)を含む。
デバイス12は、ROM又はRAMに保持され得る命令を受信することができ、プロセッサによって実行することができる。プロセッサは、以下に更に詳細に記載される通り、命令の処理/実行、及びデバイス12を通じたデータ及び情報の流れの管理を含む動作を、電子プログラム命令の制御下で実行するように操作可能である。
この実施形態では、デバイス12のための電子プログラム命令は、ボディ分析アプリと呼ばれることがある単一のスタンドアロンソフトウェアアプリケーション(アプリ)又はモジュールを介して提供される、及び/又は他のアプリ内に含まれる又は実行されるソフトウェア開発キット(SDK)、及び/又はサーバ及び/又はクラウド上で実行されるサービスとして提供される。記載される実施形態では、前記アプリ及び/又はSDK及び/又はサービスは、商標名BCTTMとして販売されており、ウェブサイト(又は他の好適な電子デバイスプラットフォーム)からダウンロードする、又はデバイス12の記憶装置20に保存若しくは記憶する、及び/又はApplication Program Interface (API)を介して実行することができる。
本発明の好ましい実施形態では、デバイス12は、モバイル通信デバイスであり、商標名IPHONE(登録商標)としてApple Incによって、又はAndroid、WEBOS、Windows、若しくは他の携帯アプリプラットフォームを有するNokia Corporation若しくはSamsung Groupなどの他のプロバイダによって販売されているものなどのスマートフォンを含む。或いは、デバイス10は、商標名IPAD(登録商標)若しくはIPOD TOUCH(登録商標)としてApple Incによって、又はHewlett-Packard Company若しくはDell,Incなどの他のプロバイダによって販売されているパソコン、ノートパソコン、又はタブレットなどの他の演算手段、或いは他の好適なデバイスを含むことができる。
また、デバイス12は、コマンドを発行することができるオペレーティグシステムを含み、アプリと相互作用して本明細書に記載する本発明の実施形態に係るそれぞれのステップ、機能、及び/又は手順を含む動作をデバイス12が実行するように配置される。オペレーティグシステムは、デバイス12に適したものであることができる。例えば、デバイス12がIPHONE(登録商標)スマートフォンを含む場合、オペレーティグシステムはiOSであることができる。
図13に示すように、デバイス12は、サーバ、パソコン、端子、ワイヤレス若しくはハンドヘルド演算デバイス、有線通信デバイス、又は携帯電話などのモバイル通信デバイスなどの1以上の遠隔デバイス32に様々に接続し得る1以上の通信リンク30を介して通信するように操作可能である。複数の通信リンク30のうちの少なくとも1つは、電気通信ネットワークを通じて外部演算ネットワークに接続され得る。
記載される実施形態では、遠隔デバイス32は、管理者が所有及び操作する演算システム34に加えて、他人が所有及び/又は操作する他のデバイス12を含む。
管理者の演算システム34は、実施形態ではサーバ36の形態を有する。サーバ36を用いて、本発明の実施形態に係るボディを分析するシステム及び方法、並びに目的を達成する方法などのアプリケーション及び/又はシステムサービスを実行することができる。
実施形態では、サーバ36は、クラウドコンピューティングを介して実行され、適切なリソース及びインフラストラクチャを備えたクラウドベースのプラットフォーム上に保持される。代替の実施形態では、一元管理されるアドミニストレーションセンタに物理的に位置させることができる。
デバイス12と同様に、サーバ36を支持するインフラストラクチャは、適切な電子プログラム命令を受信、記憶、及び実行するのに必要な好適なコンポーネントを含む。前記コンポーネントは、サーバプロセッサ、リードオンリーメモリ(ROM)及びランダムアクセスメモリ(RAM)を含むサーバストレージ、1以上のサーバ入力/出力デバイス、例えば、ディスクドライブ、並びに関連するサーバユーザインタフェースの形態の処理手段を含む。遠隔通信デバイス32(デバイス12を含む)は、1以上の通信リンク30を介してサーバ36と通信するように配置される。
サーバ36は、ROM、RAM、又はディスクドライブに保持され得る命令を受信することができ、サーバプロセッサによって実行することができる。サーバプロセッサは、以下に更に詳細に記載する通り、演算システム34を通じた命令の処理/実行並びにデータ及び情報のフローの管理を含む動作を、電子プログラム命令の制御下で実行するように操作可能である。
サーバ36は、その記憶装置に存在する複数のデータベース又はデータバンクにアクセスするためのコマンドを発行することができるサーバオペレーティングシステムを含む。この実施形態では、2つの係るデータベース又はデータバンクが提供され、1つは、RUデータベース38と称されることがある、システム10の登録ユーザ(RU)のデータベースであり;1つは、BCTデータベース40と称されることがある下記データベースである。オペレーティングシステムは、データベース38及び40並びにサーバソフトウェアのセット/スイートの1以上のコンピュータプログラムと相互作用して、本明細書に記載する本発明の実施形態に係るそれぞれのステップ、機能、及び/又は手順を含む動作をサーバ36に実行させるように配置される。
アプリ、サーバソフトウェアセットのコンピュータプログラム、並びにデバイス12及びサーバ36の演算コンポーネントのための他の電子命令又はプログラムは、当業者に周知である通り、任意の好適な言語で書くことができる。例えば、IPHONE(登録商標)スマートフォンを含むデバイス12において操作する場合、ボディ分析アプリは、Objective-C言語で書くことができる。本発明の実施形態では、電子プログラム命令は、実行又は実施形態の要件に応じて、スタンドアロンアプリケーションとして、一式又は複数のアプリケーションとして、ネットワークを介して提供することができる、又はミドルウェアとして追加することができる。
本発明の別の実施形態では、ソフトウェアは、1以上のモジュールを含んでいてよく、ハードウェアで実行され得る。係る場合、例えば、モジュールは、それぞれ当技術分野において周知である以下の技術:データシグナルに対する論理関数を実行するための論理ゲートを有する離散論理回路、適切な組合せ論理ゲートを有する特定用途向け集積回路(ASIC)、プログラマブルゲートアレイ(PGA)、フィールドプログラマブルゲートアレイ(FPGA)などのうちのいずれか1つ又は組合せを用いて実行することができる。
それぞれの演算手段は、プログラム可能論理コントローラ(PLC)、デジタル信号プロセッサ(DSP)、マイクロコントローラ、パソコン、ノートパソコン、若しくはタブレット、又は専用サーバ若しくはネットワークサーバを含む任意の好適な種類のシステムであることができる。
それぞれのプロセッサは、演算手段に関連する幾つかのプロセッサの中でも、任意の特別注文又は市販のプロセッサ、中央処理デバイス(CPU)、データシグナルプロセッサ(DSP)、又は補助プロセッサであることができる。本発明の実施形態では、処理手段は、例えば、半導体ベースのマイクロプロセッサ(マイクロチップの形態)又はマクロプロセッサであることができる。
本発明の実施形態では、それぞれの記憶装置は、揮発性メモリ素子(例えば、ランダムアクセスメモリ(RAM)、例えば、動的ランダムアクセスメモリ(DRAM)、静的ランダムアクセスメモリ(SRAM))、及び不揮発性メモリ素子(例えば、読取り専用メモリ(ROM)、消去及びプログラム可能読取り専用メモリ(EPROM)、電子的消去及びプログラム可能読取り専用メモリ(EEPROM)、プログラム可能読取り専用メモリ(PROM)、テープ、コンパクトディスク読み取り専用メモリ(CD-ROM)等)のうちのいずれか1つ又は組合せを含むことができる。それぞれの記憶装置は、電子、磁気、光学、及び/又は他の種類の記憶媒体を組み込むことができる。更に、それぞれの記憶装置は、分散構成を有することができ、この場合、様々なコンポーネントは互いに離れて位置しているが、処理手段によってアクセスすることができる。例えば、ROMは、デバイス12の操作を制御するために処理手段によって実行される様々な命令、プログラム、ソフトウェア、又はアプリケーションを記憶し得、RAMは、操作の変数又は結果を一時的に記憶することができる。
ソフトウェアアプリケーションを用いるコンピュータの使用及び操作は、当業者に周知であるので、本発明に関連する場合を除いて本明細書に更に詳細に記載する必要はない。
更に、任意の好適な通信プロトコルを用いてデバイス12の任意のサブシステム又はコンポーネント、サーバ36の任意のサブシステム又はコンポーネント、並びにデバイス12及びサーバ36及び他のデバイス又はシステム(有線及び無線を含む)の間の接続及び通信を容易にすることができるが、これは当業者に周知であるので、本発明に関連する場合を除いて本明細書に更に詳細に記載する必要はない。
用語「記憶する」、「保持する」、及び「保存する」、又は類似の用語が本発明に関連して用いられる場合、これらは、後で検索するために記憶手段、デバイス、又は媒体において永続的に及び/又は一時的に、また、例えば実行される処理操作の一部として瞬間的に又は即時的に、データ又は情報を保管する又は保持することに対する言及を含むと理解される。
更に、用語「システム」、「デバイス」、及び「機器」が本発明に関連して用いられる場合、互いに近接、分離、統合、又は離散して位置し得る、機能的に関連するか、又は相互作用する、相互関連する、相互依存する、若しくは関連するコンポーネント又はエレメントの任意の群に対する言及を含むと理解される。
更に、本発明の実施形態では、用語「決定する」は、関連するデータ又は情報を受信するか又はアクセスすることを含むと理解される。
本発明の実施形態では、ユーザインタフェース24及びユーザ入力手段26を表示するためのディスプレイ22がタッチスクリーン42に統合されている。別の実施形態では、これらコンポーネントは、離散エレメント又はアイテムとして提供することができる。
タッチスクリーン42は、デバイス12のディスプレイ領域内におけるタッチの存在及び位置を感知又は検出するように操作可能である。タッチスクリーン42の感知された「タッチ」は、コマンド又は命令としてデバイス12に入力され、コントローラ18に通信される。ユーザ入力手段26はタッチスクリーンを含むことには限定されず、本発明の別の実施形態では、入力、コマンド、又は命令を受信し、制御された相互作用を提供するための任意の適切なデバイス、システム、又は機器、例えば、キーパッド若しくはキーボード、ポインティングデバイス、又は複合デバイス、並びにボイスアクチベーション、音声及び/又は思想制御、及び/又はホログラフィー/投影イメージングを含むシステムを使用できることが理解される。
また、デバイス12のセンサシステム又はセンサのセット44の一部である少なくとも1つのセンサを介して入力を受信することができる。センサのセット44内の個々のセンサは、デバイス12、周囲環境、又はこれらに関連若しくは接続しているコンポーネント、システム、若しくはデバイスの1以上の特徴、特性、及びパラメータに関連又は関係するセンサデータ及び/又は情報をモニタリング、感知、及び捕捉若しくは収集又は測定するように操作可能である。例えば、センサのセット44は、デバイス12の状態及び/又はデバイス12の周囲環境の状態に関係するセンサデータを感知及び収集するように操作可能である。実施形態では、デバイス12の状態は、デバイス12の位置を含む。実施形態では、デバイス12の状態は、更に、デバイス12の速力及び/又は速度を含む。センサのセット44は、加速度センサ及び姿勢センサ、方位センサ及び位置センサを含む慣性センサシステムを含む。本発明の別の実施形態は、運動センサ、赤外線センサ、深さセンサ、三次元イメージングセンサ、慣性センサ、光源センサ、及びマイクロエレクトロメカニカル(MEMS)センサを含む、追加及び/又は別のセンサを含むことができる。
加速度センサは、デバイス12の加速度を測定し、加速度データを作成するように操作可能である。例えば、加速度センサは、加速度計であることができる。姿勢センサは、デバイス12の姿勢の変化速度(即ち、角速度)を測定し、姿勢データを作成するように操作可能である。例えば、姿勢センサは、ジャイロスコープであることができる。方位センサは、地球の磁極に対する方位を求め、方位データを作成するように操作可能である。例えば、方位センサは、電子コンパスであることができる。位置センサは、デバイス12の位置を求め、位置データを作成するように操作可能である。例えば、位置センサは、全地球測位システム(GPS)であることができる。係るセンサの使用及び操作は、当業者に周知であるので、本発明に関連する場合を除いて本明細書に更に詳細に記載する必要はない。
第1の表現であることができる少なくとも1つの表現は、ボディ14の1以上の視覚的表現を含むことができる。記載する実施形態では、第1の表現は、ボディ14の視覚的表現のセットを含む。したがって、センサのセット44は、視覚的表現を含む画像を捕捉するように操作可能であるデジタルカメラの形態の画像化手段を含む。カメラは、実施形態においてデバイス12と統合されている。画像化手段は、静止画及び/又は動画の取得を容易にする任意の好適なシステム又はデバイスを含むことができる。例えば、デバイス12がIPHONE(登録商標)スマートフォンを含む場合、画像化手段は、iSight(商標)カメラであることができる。カメラの使用及び操作は、当業者に周知であるので、本発明に関連する場合を除いて本明細書に更に詳細に記載する必要はない。
このように、デバイス12は、ユーザ16のボディ14の任意のタイプ又は任意のヒトの形状表現の画像を捕捉するように操作可能である。
本発明の実施形態では、少なくとも1つの表現は、ボディの非視覚的及び/又は非可視的表現を含み得る。
コントローラ18は、分析アプリ(図2のステップ201)などのアプリケーションを実行させることによって、ユーザ16及び実行されている分析に関するユーザ入力(図2のステップ202)を収集及び処理するように操作可能である。実施形態では、ユーザ入力は、人口統計情報及び他の参加者の特性及び属性、医学生理学データ及び活動データを含む。更に、限定されるものではないが、性別、年齢、民族性、フィットネス、病歴、及び医学生理学データ(例えば、心拍数、血圧、ヘモグロビン、血糖値、及び活動データを収集するためのスマートウォッチ又は他のデバイスへの操作可能な接続を介して)などの詳細も含む。本発明の実施形態は、これらの入力の全てを必要とはしないが、AI/MLプロセスに提供される追加情報は、実施形態のボディ組成及び人体計測推定の精度を改善する。更に、より多くの情報があれば、実施形態では、個人は、相対的な健康リスク及びウェルネスリスク並びに予測される健康リスク及びウェルネスリスクを推定するときに、高レベルの精度を有するので有利である。
デバイス12は、用いられる知覚技術に適切なコンピュータチップ(集積回路)、トランシーバ/レシーバアンテナ、及びソフトウェアを含む、記載されるパフォーマンス及び操作を促進する動作可能に連結/接続されたコンポーネントを含む。
センサのセット44の1以上のセンサは、デバイス12と統合されていてよく、場合によっては、IPHONE(登録商標)スマートフォンを含む。或いは、デバイス12は、上記センサのセット44のうちの1以上と操作可能に接続されていてもよい。
また、デバイスデータベース46又はデータバンクは、記憶装置20に存在し、アプリの制御下でコントローラ18によってアクセス可能である。コントローラ18は、必要に応じて、デバイスデータベース46と相互作用して、本明細書に記載される本発明の実施形態に係るそれぞれのステップ、機能、及び/又は手順を含む動作をデバイス12に実行させるように配置される。
例えば、サーバ36のBCTデータベース40など、1以上の遠隔システム又はデバイス32のそれぞれの記憶装置に存在する1以上の遠隔データベースモジュールに離れて記憶又は保存された詳細は、1以上の通信リンク30を介してデバイス12によってアクセス可能である。コントローラ18は、必要なときに使用するために利用可能な離れて記憶されているコンテンツを作成するために1以上の遠隔データベースとのユーザインタラクションを容易にするように配置される。
記載されるデータベースはいずれも、任意の好適な記憶装置に存在することができ、前記記憶装置は、ソリッドステートドライブ、ハードディスクドライブ、光学ドライブ、又は磁気テープドライブを包含し得ることが理解される。記載されるデータベースは、単一の物理記憶装置に存在することができ、複数の記憶装置又はモジュールにまたがって広がっていてもよい。
当業者によく知られているように、情報及びデータをデバイスデータベース46に読み込むか又は前記データベースから読み出すことができるようにするために、デバイスデータベース46をコントローラ18に接続し、データ通信させる。任意の好適なデータベース構造を用いることができ、1以上のデータベースが存在することができる。本発明の実施形態では、デバイスデータベース46は、収集及び/又は提示される電子プログラム命令及び任意の他のデータ又は情報と同様に、(例えば、記憶装置20における)デバイス12のコンポーネントとしてローカルに、又は遠隔サーバなどにおいて離れて提供することができる。
同様に、当業者によく知られているように、データをRUデータベース38及びBCTデータベース40に読み込む又は前記データベースから読み出すことができるようにするために、RUデータベース38及びBCTデータベース40の両方をサーバ36に接続し、データ通信させる。任意の好適なデータベース構造を用いることができる。RUデータベース38及びBCTデータベース40のいずれか一方又は両方は、ソフトウェアのサーバセットと同様に、(例えば、記憶装置における)サーバ36のコンポーネントとしてローカルに、又は遠隔サーバなどにおいて離れて提供することができる。実施形態では、ネットワーククライアントサーバアプリケーションを有するために幾つかのコンピュータをこのようにセットアップすることができる。記載する実施形態では、RUデータベース38及びBCTデータベース40のそれぞれを、シングルデータベース構造のパーティションとしてサーバ36の記憶装置内部に記憶する。本発明の別の実施形態では、より多い又はより少ないデータベースが存在することができる。
次に、システム10の具体的なコンポーネントについて更に詳細に記載する。
BCTデータベース40
更に詳細に説明するように、BCTデータベース40は、ヒトの医用画像、ボディ組成、人体測定、参加者の特徴及び属性、医学生理学情報及び疫学情報の統合された大量且つ多様な世界規模のデータベースを含み、これらは、各参加者のヒトの画像を同時に収集する間に収集される。BCTデータベース40は、ヒトの内因性及び外因性のボディ及び健康に関する豊富な情報を有する。
BCTデータベース40の確立は、本発明の説明された実施形態の重要なコンポーネントである。世界最大で最も認知されているデータセットである全国健康栄養検査調査(NHANES)(前記データタイプの全てではないがその一部は、異なる時間に収集される)などの既存のデータベースとは異なり、本発明の実施形態では、自身のボディの詳細をBCTデータベース40に提供する各参加者の場合、多次元データタイプが同時且つ並行して収集される一方、ヒトの画像も収集されて、統合されたBCTデータベース40の基盤を形成する(本発明の実施形態では、これは、追加のデータを収集するために、異なる時点で、又は一定期間に亘って行うことができる)。これについて、以下、図面の図4及び図5を参照して更に詳細に記載する。
実施形態では、全てのヒトデータ収集は、体系的で、倫理的で、経験的に検証された、国際的に認められた標準及びデータ品質管理手順に基づいて構築されている。これは、実施形態の3つの重要な開発要件を確実に達成することを目的としている。即ち、i)変数間の高い測定忠実度。ii)大容量で不均一なデータベース用のマルチレベルで安全なデータ記憶装置。iii)正確で再現性のある予測能力。
本発明の実施形態は、CV、ML/AIアプローチ及びモデルが、個人の人体計測及びボディ組成を正確に推定できるようにするために、グローバルな又は世界の集団を代表する、情報を提供するヒトの参加者の大規模な異種サンプルのボディの詳細を収集することを必要とする。BCTデータベース40に、それぞれのボディの詳細を提供する参加者は、例えば、性別、年齢、民族性、フィットネス状態、及び健康状態を含む、多種多様な参加者の特性及び属性について層別化される。民族としては、白人、ヒスパニック、中東、アジア、インド、及びアフリカが挙げられるが、これらに限定されない。実施形態では、不均一な世界規模の集団における同種コホートの大規模サンプルが必要であるので、統一された計測値間の参加者レベルの分散及び共分散を正しくモデル化することができる。これらの統一されたデータ収集のスケールは、本発明の実施形態に固有であり、有利なことには、世界の人口から医学生理学情報、参加者の特性及び属性、人体計測及びボディ組成、並びに疫学的データを同時に収集しながら、2D、3D、又は4D画像の収集のための統一されたデータ収集プロトコルを提示する。
本発明の実施形態のこの部分は、医療及び健康、フィットネス、保険、及び政府の各セクタにおいて特に有利である。その理由は、より広い医療技術分野内の他の技術では、較正された実験室環境で高価な3Dスキャン技術を使用しないと、正確で(102)、アクセスし易く(101)、手頃な(103)ヒトボディ表現を得ることができないからである。これに関して、本発明の記載された実施形態は、図1を参照して前述した理想的なボディ組成推定方法の3つの利点の全てを達成することができる。事実、先行技術の全てではないにしても大部分は、医用ボディ組成スキャンと同等の精度を達成できておらず、このことが、本発明の実施形態の動機となった。
本発明の実施形態では、BCTデータベース40に情報を提供する各参加者について、それぞれのボディの詳細の6つの一般的な計測が並行して行われ、これが、BCTデータベース40の基礎を形成する(図面の図5に示される)。これらの詳細としては、
i)例えば、性別、年齢、民族性、フィットネス、及び病歴を含む、参加者の特性及び属性(ステップ501)、
ii)例えば、体重、身長、腹囲、臀部、胸、大腿、上腕骨、腓腹筋、及び股下などを含む、参加者の人体計測(ステップ502)、
iii)例えば、写真、ビデオ、深さ画像、3Dスキャン又は3D再構成点群又はメッシュのうちの1つ以上を含む、2D、3D・・・nD画像又は他のボディ表現データ(ステップ503)を含む表現、
iv)例えば、焦点距離、3Dの姿勢及び配向(例えば、ジャイロデータ)、解像度、サイズ、及び深さ、視野、回転、及び座標系に関する変換を含む画像捕捉デバイスの内因性及び外因性パラメータ(DEXA/DXAスキャナなどの医用画像の場合、これらのパラメータは、較正パターン及び幻肢(phantom)に照合させるデータ、実際の世界での計測値(例えば、cm又はインチ単位)に照合させるスキャナのピクセルサイズなどの追加データを含むことができる。)、
v)例えば、心拍数、収縮期及び拡張期血圧、VO2max、例えば、血糖値、血中乳酸値、体温、呼吸、ゲノム用の血液サンプルのうちの1以上を含む医学生理学的計測値(ステップ507)、
vi)例えば、PET、CT、MRI、及びDXAのうちの1以上を含む医用画像データ(ステップ508)、及び
vii)例えば、前糖尿病、心血管疾患、関節変形性関節症、死亡率、転倒発生率のうちの1以上を含む疫学データ(ステップ509)が挙げられる。
BCTデータベースに記録される詳細の測定は、「並行」且つ「同時」に行われる。本発明の実施形態の文脈において、一般に、飲料摂取、食品摂取、脱水、又は糞便などの自然なヒトのプロセスが、例えば、得られる計測値に影響を及ぼさないような、収集されるデータにとって実行可能な期間内に(好ましくは短い期間内に)データが記録されることを意味する。例えば、脱水は、ボディ組成スキャナの正確さに影響を与えると報告されており、一般的に言えば、ボディ形状又は体重の未制御変化を最小限に抑制又は低減するため、前述のボディデータを短期間で取得することが重要であり、したがって、データ計測期間は、同時且つ並行であることが重要である。したがって、これらの用語は、リアルタイムで同時を意味することに限定されるものではなく、飲料摂取、食品摂取、脱水、又は糞便などの自然なヒトのプロセスが、例えば、得られる計測値に影響を及ぼさないような、収集されるデータにとって実行可能な期間内を意味する。
本発明の実施形態では、追加のデータが異なる時間間隔で収集され、有利なことに、経時で収集される参加者(ヒト)の形状とデータの時間的モデリングの作成及び/又は開発を可能にし、統計学的に意味のある診断トラッカを導き出し、物理的に意味のあるリスク分析及び/又は傾向を達成する。
実施形態では、BCTデータベース40は、Health Insurance Portability and Accountability Act (HIPPA)に準拠したデータベースであり、全てのデータが、世界保健機関(WHO)によって概説される関連ガイドラインにしたがい、人類による研究の倫理基準及び手順に則って、BCTデータベース40に収集、処理、及び格納される。収集されたヒトのデータはいずれも、実施形態では、ヒトのデータが取得される地域の国家、地方、及び制度上の規制及び方針の倫理基準にしたがう。技術的観点から、これは、本発明の実施形態の技術が、収集された(収集される)ヒトのデータからの1以上の基準に基づいて、個人をグローバル、ローカルに対してクラスタリング及び比較を行うことが可能になり有利である。
実施形態では、BCTデータベース40にコンパイルされたデータの品質管理のために、例えば、性別、年齢、フィットネス、病歴、及び民族性などの参加者の特性及び属性データを含む、情報を提供する参加者のそれぞれのボディの詳細が収集される。これらは、データの階層化とクラスタリングに使用される。
実施形態では、前述したように、例えば、セグメントの円周及びセグメントの長さなどの人体計測データが、各参加者について記録される(ステップ502)。各計測は、International Standards for Anthropometric Assessment(ISAK)にしたがって行われる。実施形態では、これに関して各計測は2回行われる。2つの計測値が互いに2%を超えて異なる場合は、第3の計測値を取得する。第3の計測値に最も近い計測値が、第3のデータポイントの2%以内にある場合、この計測値が採用され、他方の計測値は破棄される。この実施形態では、正確で再現性のあるCV/ML/AIの各モデル及び技術の訓練及び開発にとって重要であるので、このデータが正しく収集されることが重要である。これにより、体囲計測値の推定と3Dボディ形状の生成が可能になり、これらの推定の分野の専門家による外部検証も可能になり有利である。したがって、本発明の実施形態は、ML/AIモデルの訓練のために、2D/3Dボディ形状、医学生理学情報、及び参加者の特性情報に加えて、人体計測を組み込んでおり有利である。更に、追加の試験では、資格のあるISAKの専門家の計測値が、外れ値又はバイアスの特定、特定の計測値の信頼性を表すスコア因子を計測者に割り当てるための平均値の差などの統計学的検定を受ける。係るプロセスは、また、ML予測及び回帰モデルの訓練、検証、及び検定に必要な強力且つ信頼性の高いデータの特定に有利である。
有利なことに、本発明の実施形態では、ボディの詳細を提供する各参加者のそれぞれのボディのヒトの画像の形態である表現は、BCTデータベース40のために収集された詳細の他の重要なデータ、特に医用画像と並行して収集される。記載される実施形態では、ヒトの2D又は3D画像データを捕捉するプロセスは、手頃な手段としてスマートフォンデバイス(ステップ503)を使用して行われるが、全てのプロセス及びプロトコルはまた、3Dスキャナ、ステレオスコピック、フォトグラフィック、又はビデオデバイスなど、様々なデバイスによって収集されたヒトの2D、3D、又は4D画像又はボディ表現データに適用可能であることが理解される。これらとしては、限定されるものではないが、a)スマートデバイス、b)タブレット、c)PC又はラップトップ、d)ウェブカメラ、e)高解像度及び低解像度のデジタルカメラ、f)高解像度及び低解像度のデジタルビデオレコーダ、g)高速及び低速ビデオ(即ち、50Hz及び10,000Hz)、h)光電子デバイス、i)赤外線写真、j)熱イメージング、及びk)パッシブ及びアクティブステレオスコピックモーション捕捉システムなどのデバイスが挙げられる。3Dは、3D形状表現及び経時変化する2D表現も意味する。4Dは、経時変化する3D表現も意味する。
実施形態では、オフライン段階の間、及び2D、3D、又は4Dイメージングの収集時点で、各参加者は、信頼性の高い写真撮影及びビデオ記録を達成するために考案されたプロトコルにしたがって準備、ガイドされ、いくつかの基準にしたがう。これは、照明及びバックグラウンドノイズなどの環境要因(例えば、参加者と同一のボリュームで現れるオブジェクト)の制御を含む。参加者はいずれも、標準化された衣服を着用する必要がある。実施形態では、これは、形状適合性の性質を有し、スキャナデータを変更しない材料で形成されており、画像又はボディ表現データが個人のボディ形状を正確に反映することを可能にする。これらの基準は、実施形態では、オフライン段階で正確なグラウンドトゥルースデータにとって重要であるが、オンライン段階では、個人は、現実的な緩和された基準にしたがうように指示され、次いで、発明された新たなCV、ML/AIアプローチが、本明細書で更に詳細に説明される、システム10の使用時に生じる様々なバックグラウンド及び他の困難な事項に対処することが重要である。
オフライン段階では、2D、3D・・・nD画像デバイスの焦点距離、姿勢(ピッチ、ロール、及びヨー)、画像の解像度、深さ、及び高さも記録される。実際に、通常、デバイスの全ての固有パラメータが実施形態に記録される。このデータは、ヒトの画像の並進及び回転又は一般的な投影、規格化、及び前処理(ステップ503)、及びそれらの対応する医用画像との位置合わせ及びアラインメント(ステップ510)に必要であるので、この実施形態にとって重要な計測値である。これは、BCTデータベース40がヒトの画像データを、ヒトの画像データの2D及び3Dセグメンテーションのための医用画像データに位置合わせする、本発明の実施形態の更なる有利な特徴である。
実施形態では、医学生理学的計測値などの変数(ステップ507)もまた、ヒトの画像、医用画像、及びボディ組成データと並行して測定される詳細である。医学生理学データとしては、限定されるものではないが、BCTデータベース40に情報を提供する参加者のそれぞれのボディのa)心拍数、b)収縮期及び弛緩期血圧、c)VOmax、d)血糖、Hb1(Ac)、及び血中乳酸の各レベルなどのための血液サンプル、e)体温、f)呼吸、及びg)ゲノムが挙げられる。再度述べるが、これらを並行して計測することが、医学生理学データを、統合されたモジュール/システムでヒトの画像、人体計測、及び疫学データと共に使用して、個人のボディ組成、前糖尿病、慢性的な健康状態、筋骨格障害、及び死亡リスクを予測する実施形態、実施にとって有利である。
実施形態では、医用画像データを収集し、ヒトの画像と並べて位置合わせ/アラインメントさせることが有利なプロセスであり、実施形態では、これらの2つのデータセットを(それぞれの参加者のボディについて)互いに位置合わせすることが重要である。医用画像データ(ステップ508)から、i)個人の全身骨格データ/ボディ形状の画像(ステップ510)とii)ボディ組成データ(ステップ511)の両方が導かれる。実施形態では、医用画像データが、単一の較正された医用画像装置から得られる全身形状、骨格、及びボディ組成データの両方を含むことが重要である。ユニーク且つ有利なことに、これは、関節及び解剖学的ランドマーク推定並びにセグメンテーション手順をガイドし、これらは、以下で更に詳細に記載されるが、個人の全身及びセグメント化された2D画像及び3D形状からボディ組成を推定するために使用される。
実施形態では、疫学データは、データ収集(断面)期間中に各参加者から得られ、且つデータ収集後の離散時間間隔(例えば、1年、2年、4年、8年、16年)で前向きに得られる。経時で繰り返される同一参加者の疫学データは、より正確な予測健康モデルの開発を可能にするため有利であり、医療従事者及び研究者によって現在使用される予測式で提示される誤差を更に補正する。疫学データは、例えば、1)個人による自己申告、2)個人の個人医療記録、3)政府のデータベースなど、4)自動的に検出されたデータ、例えば、スマートフォン又は画像及び/又は他の処理を介して得られたデータなど、様々な場所から取得できる。自己申告データの場合、実施形態では、これらは、個人のあるタイプの医療記録と相互参照することによって検証される必要がある。実施形態では、疫学データはいずれも、認可された医療機関によって検証され、前糖尿病、慢性健康疾患、筋骨格障害、及び死亡率の全ての予測MLモデル及び式が堅牢であり、高レベルの特異性及び感度を確実に満たそうとすることが重要である。疫学データとしては、例えば、前糖尿病、糖尿病、心血管疾患、癌、死亡率、転倒、除脂肪筋組織量の有意な減少、関節変形性関節症の発症の診断が挙げられるが、これらに限定されない。
これは、本発明の実施形態の別の有利な特徴である。これに関して、現在の先行技術の多くは、形状及びボリュームを個人のボディの3D表現に適合させることによってボディ組成を計算し、次いで、自由度が制限された線形回帰法を使用して、ボリュームと形状との間の関係を、MRI又はCTスキャンから計測されたボディ組成出力にモデル化する。実施形態のように、医用画像(ステップ510)から得られた個人の解剖学的構造を、個人の2D又は3D表現に位置合わせする試みは行っていない。このことは、個人の2D及び3D形状を高い信頼性で繰り返しセグメント化する能力の過去のアプローチの制限を浮き彫りにする。その理由は、対象固有の解剖学的情報がこれらのアプローチのガイドに使用されていないからである。実施形態のアプローチにおいて解剖学的に(例えば関節を使用して)ガイドされたデータ、形状、及びボディパーツを有することはまた、あるヒトと別のヒトとの間の正確で公正且つ統計的に意味のある比較、又は経時的なヒトの変化を追跡及び比較することを可能にする。
BCTデータベース40 品質保証と新たな医療及びヒトの画像処理技術の説明
更に詳細に説明するように、BCTデータベース40の医用画像及び医療データの捕捉段階に関して、品質保証及び前処理の各ステップが開発されている(図6a)。特に、品質保証及び前処理技術は、BCTデータベース用の画像、ビデオ又はビデオフレーム、深さ画像を含む2.xD画像、及び3Dボディスキャンの形態であり得るヒトの画像の捕捉段階に関するBCTデータベース40のために開発されている(図6b)。BCTデータベース40用の人体計測データの捕捉段階に関する品質保証及び前処理の各ステップが開発されている。更に、BCTデータベース40用の動的データの捕捉段階に関する品質保証及び前処理の各ステップが開発されている。
HIPAA準拠のBCTデータベース40内への記憶装置受け入れ前に、収集されたデータは、本発明の実施形態に固有の品質保証プロトコル及び本発明の実施形態に固有のヒト及び医用画像の画像処理技術で処理され、解剖学的ランドマーク及び関心のある領域を特定する。これらのデータ品質管理手順及び画像処理技術は、実施形態では、医用画像データのヒトの画像データへの正しい位置合わせと、ボディ組成及び慢性的な健康障害及び筋骨格障害のリスクを高い特異性と感度で予測する信頼できるML/AIモデルの開発にとって重要である。
図面の図6を参照すると、品質保証プロトコルにしたがって、受信された医学生理学情報、人体計測、及びボディ組成の詳細の全てが、BCTデータベース40に受け付けられる前にデータ確認アルゴリズムを使用してチェックされる(ステップ601)。ここで、BCTデータベース40に受け付けられる前に、各医学生理学情報、人体計測、及びボディ組成変数(ステップ602)が、過去に収集されたデータのグローバルデータベースのガウス分布と比較される(ステップ603)。次いで、医用画像確認アルゴリズム(ステップ604)は、2D及び3D医用画像データの質を検証する(ステップ605)。
図面の図7に示すように、画像処理技術により、解剖学的ランドマークが医用画像から特定される。まず、医用画像のぞれぞれを、訓練された研究者によって視覚的に評価した。この目視検査中に、各医用画像の特定の解剖学的ランドマークが2次元(x,yデカルト座標)又は3次元(x,y,zデカルト座標)でデジタル化される。これは、医用画像が、2D(DXAなど)又は3D(MRIやCTなど)で収集されたかによって異なる。特定される具体的な解剖学的ランドマークは、上肢と下肢の関節の中心(即ち、手首、肘、肩、臀部、膝、足首)(702)と、大腿骨頸部の中点である。更に、腸骨稜の最上部(即ち、骨盤)と下顎骨の下縁(即ち、顎)を二分する線又は平面、T12/L1椎骨の高さと脚の指節骨の下縁を記録する(701)。
視覚的に定義された2D又は3D座標(702)とベクトル/平面(701)を備えた十分に大きな医用画像のサンプルが照合されると、個人の解剖学的構造を定義する関節の中心位置、ベクトル及び平面を、医用画像データから特定するために必要な手順を半自動化するためにML/AIモデルが開発された。図面の図8を参照すると、実施形態では、ML/AIモデルの入力(801)変数は、参加者特性データ(804)、実験的に測定された人体計測データ(803)、及びスケーリングされた2D又は3D医用画像(802)である。ML/AIモデルの出力(806)は、手首、肘、肩、臀部、膝関節、足首関節、及び大腿骨頸部の中点(808)のユーザ定義の2D又は3D座標でスケーリングされた2D又は3D医用画像データである。出力としては、腸骨稜の最上部、下顎骨の下縁、T12/L1椎骨の高さと脚の下縁を二分するベクトル又は平面が挙げられる(807)。これらの出力は、BCTデータベース40に保存される。
図面の図9を参照すると、これらの参加者固有の解剖学的に関連する関節の中心と平面を使用して、全身形状(901)を特定の関心のある領域にセグメント化又は「カット」する。実施形態では、これらの関心のある領域(ROI)としては、
i)腕:顎の下の平面、肩関節の中心、骨盤より上の平面、及び脚より下の平面を通る平面。
ii)脚:セグメントの近位部は、骨盤の上の側方境界から大腿骨頸部の中点を通る平面を使用して定義される。このセグメントの遠位部は、脚の下縁になる。
iii)頭:顎の下の平面の上のボリューム。
iv)体幹:この領域は、腕、脚、及び頭を引いた全身として定義される(902)。
v)アンドロイド領域:骨盤の上面と下顎骨(即ち、顎)の下面との間の垂直方向の長さ(Y軸)の20%の、骨盤の上面と平行面との間のボリューム(903)。
vi)ガイノイド領域:骨盤の上面(平面A)の下方に位置する、アンドロイド領域の垂直方向の長さ(Y軸)の1.5倍に位置する面と、平面Aより下方の、アンドロイド領域の長さの2倍の平行面との間のボリューム(904)。
vii)内臓領域:内臓領域は、アンドロイド領域に含まれる。アンドロイド領域は、内臓脂肪と皮下脂肪の両方を含み、皮下脂肪は、腹腔の周りに不均一な層を形成する。この皮下脂肪のボリュームが計算され、次いで、アンドロイド領域の総アンドロイド脂肪から減じられ、内臓脂肪が得られる(905)。
この実施形態では、これらのセグメント及び領域が参加者間で確実にセグメント化されることが重要である。その理由は、2D及び3Dのこれらの形状を、ML/AIモデルの他の入力変数と共に使用して、個人のセグメント及び全身組成(即ち、総セグメント及び領域の除脂肪量及び脂肪量)を予測するからである。
本発明の実施形態で使用されるこの解剖学的ガイドアプローチは、有利なことに、BCTデータベース40の全てのヒトの医用画像が、単純化された幾何学形状ではなく、参加者固有の解剖学的情報(即ち、関節中心及び解剖学的ランドマーク)を用いる2D又は3D座標(702)、ベクトル及び又は面(701)で数学的に定義される。幾何学的なヒトの形状が、DEXA、CT、又はMRIスキャンを使用して得られたヒト及びそれに関連する医用画像の生態学的に有効な表現であるためには、解剖学的定義に準拠し、医療スキャンに見られる正確な物理的ランドマーク(例えば、関節)を表現できる必要がある。実施形態では、ボディ組成の特性及び値は、ヒトの標準的な幾何学的形状(例えば、3D形状スキャン)のみに依存するだけでなく、有効な関節中心などの解剖学的データも必要とする。
実施形態のBCTデータベース40は、世界最大の米国のデータベースである全国健康栄養検査調査(NHANES)などの多くの既存のデータベースと比較した場合に、それが有する視覚的、医学的、及び他の臨床的及び物理的統計情報データが豊富でユニークなタイプであることから、ユニークなデータである。実施形態では、BCTデータは、世界の様々な地域から収集され、その分野の専門家によって独立して検証される。
ボディ形状と構成を学習し、ヒトの画像に関係付けるCV、ML、及びAIの技術とモデル
前記概説及び記載したステップ、即ち、
i)ヒトの画像が医用画像及び他のデータと並行して収集される、大規模で不均一なデータベース(即ち、BCTデータベース40)の収集、
ii)収集されたデータの高レベル品質の保証、及び
iii)医用及びヒトの画像を定義する正確な解剖学的関節と指定されたROIの使用は、実施形態は、i)十分であり、ii)データ入力がCV/ML/AIアルゴリズムを訓練して、個人のボディ組成と人体計測を繰り返し正確に予測できるようにするのに十分に正確であり、iii)正確な解剖学的関節と品質保証プロトコルの使用により、データの堅牢で正確な統一表現を可能にするのに重要であることが分かった。統一された表現は、本発明の実施形態でCV及びMLを使用するときの重要なプロセスである。簡単に言うと、統一された表現とは、全参加者にとって一意で同一の階層構造を使用してデータ又は画像を表現する方法である。非常に簡単な例として、MLモデルに必要な画像サイズ(M×N)であり、臀部中央の位置を中心とする必要がある場合には、そのサイズが(M×N)になり、臀部中央の位置が中心に配置されるように、任意の画像サイズの参加者画像を規格化又は事前加工する必要がある。
実施形態の関係付け又は関係付けることは、ボディ形状及び組成とヒトの画像との間の関係の例である。他の実施形態では、追加の及び/又は代替の関係が可能である。これらは、各参加者のそれぞれのボディの統一された表現に、位置合わせされる、及び/又はアラインメントされる、及び/又は一致させられることを含むことができる。
実施形態では、BCTデータベース40の様々なコンポーネント間の関係の機械知能学習を使用し、BCTデータベース40に情報を提供し、格納されている参加者の詳細の、ヒトの画像及びそれに関連する参加者の特性及び属性、並びに医学生理学情報から、ボディ組成及び体囲の推定を可能にする、オフラインで開発された4つのプロセス(1以上の異なるCV/ML/AIモデルを含み得る)が存在する。
図面の図3を参照すると、第1のプロセスは、オフラインで開発されたCV/ML/AIモデル(ステップ302)を含み、ヒトの画像から対象又はユーザ固有の解剖学的情報及び関節を推定することができ、そのように操作可能であるモデルである。BCTデータベース40のデータは、このモデルを訓練するために使用される。図14a~図14dに示すように、関節とボディ組成を含む医用画像と、同時に収集されたヒトの画像との両方を有することは、ヒトの画像だけから関節と解剖学的ランドマークの両方を推定するようにCV/ML/AIモデルを訓練することができる。
特に、図14a~図14dに示される画像は、機械学習訓練用に強調表示された関節(図14b)を含む元の医用画像(図14a)を示す。これらの関節により、ML/AIアルゴリズムは、ヒトの姿勢に関係なく(即ち、姿勢一定)、骨格とボディ組成の画像に対してそれぞれ示される(図14c)と(図14d)の関心のある領域を定義できる。
図15a及び図15bに示される図は、BCTデータベース40のデータを使用して訓練されたCV/ML/AIモデルを使用して、特定の正面及び側面のヒトの画像に基づいて、特定の解剖学的に重要なランドマーク及び関節中心がどのように推定されたかを示す。
関節中心及び解剖学的ランドマークの推定は、本発明の実施形態のプロセスの有利な特徴であり、ボディ組成及びボディ計測推定値の正確さに改善をもたらす。また、開発されたCV/ML/AIモデルは、図示されているものよりも多くの関節中心を推定することができる。
第2のプロセス(ステップ302)は、前述の図9に示されるROIに基づいて、これらの解剖学的ランドマークを使用してボディパーツセグメンテーションを推定するために開発されたモデルを有する。ボディのこれらのROIとセグメントが必要であり、本発明の実施形態では、システム10によって用いられて、全身及びセグメントの除脂肪量、総脂肪測定値及び中心部脂肪測定値、並びにボディの周囲、面積、体積、及び総ボディ重量などの人体計測などの様々なボディ組成推定値を推定することができる。
このセグメンテーションの方法は、このプロセスに有利である。本発明の実施形態より前は、3Dスキャナからボディ組成を推定するために使用されるボディのセグメンテーションは、図16に示されるようにボディを特定領域に切断することに基づいていた。解剖学的ランドマーク及び関節情報は、実施形態のように決定及び使用されていなかった。
セグメンテーションのこの有利な方法を介して、システム10は操作可能であり、解剖学的ランドマーク及び関節を推定することができ、したがって、実際の関節情報が利用可能な医用画像をセグメント化するときと同様の方法でボディをセグメント化することができる。2種類の方法の違いは、図16と図17の画像を比較することで確認でき、これらは、ボディパーツセグメンテーションに解剖学的ランドマークと関節中心を使用しない場合(図16)と使用した場合(図17)の3Dセグメンテーションを示す。
第3のプロセス(ステップ303)は、CV/ML/AIモデルを訓練するために使用されるBCTデータベース40のデータ用に、特徴、ラベル画像、2D及び3Dボディ形状を抽出するためのBCTデータベース40のデータの処理を含む。これらの特徴が特定のヒトの画像に対してどのように準備されるかを表す例を、図18に示す。
第4のプロセス(ステップ304)は、ボディ組成とボディ計測値の推定値を生成するために、抽出された特徴及びラベル画像、2D及び3Dボディ形状を、他の医学生理学情報、参加者の特性及び属性と組み合わされるBCTデータベース40のデータに用いるML/AIモデルの訓練を含む。
参加者の非視覚的データのモデリングアプローチによる予備的結果、及び実施形態のシステム10を使用する参加者の2D画像のみを使用することは、3Dスキャナと、Ngら(Ng et al. (2016).Clinical anthropometrics and body composition from 3D whole-body surface scans.)により公開された最新アプローチとに基づく線形回帰を使用して達成された結果と同程度に正確であることが分かった。また、本発明者らの予備的結果のサンプルサイズは、現在の技術水準で使用されているサイズよりも大きいので、より大きなサンプルサイズに亘って同一の正確さを維持し、標準的な画像のみを使用するので、アプローチはより広範に亘る。
BCTデータベース40のサイズ及び多様性が増すにつれて、システム10のプロセス及び画像特徴抽出技術は、正確さが向上した、堅牢で、改良され、微調整されたMLモデルをもたらす。これは、異なるデータ間の相互関係が統計的に意味があり、有効であるためである。
ヒトの画像から形状及び健康リスクを推定するためのアプリケーションを制御及び実行するコントローラ18を備えたデバイス12
アプリがデバイス12にインストールされると、又は本発明のソフトウェアが記憶され実行されるSDK若しくはサービスが呼び出されるとと、コントローラ18は、カメラを介して捕捉される画像などのセンサのセット44のセンサを介して感知されるデータ及び/又は情報を含む情報及び/又はデータ、デバイス12及びシステム10の操作に関する命令及びコマンドを入力又は捕捉できるようにする一連のナビゲーション可能な電子ページ、スクリーン、及びフォームを、タッチスクリーン42を介してデバイス12のユーザ16に提示するように、分析アプリの制御下で操作可能になる。
記載される実施形態では、サーバ36のサーバソフトウェアセットは、ウェブサーバアプリケーション、レジストレーション及びリクエストアプリケーション、画像処理アプリケーション、通信アプリケーション、インボイス/請求書作成アプリケーション、及び支払処理アプリケーションを含む。
更に詳細に記載されるように、サーバソフトウェアセットのそれぞれのアプリケーションを介して、サーバ36は、以下を含む機能及び動作を実行するように操作可能である:ユーザデータの登録及び共有;データの抽出、データの変換、及びアプリを介して受信されるデータとの結合を含むデータの処理;並びにアプリインタフェースを通過する全てのリアルタイムデータ。
ウェブサーバアプリケーションは、ウェブページ又は他の電子ページ若しくは画面などの専用ウェブサイトを介して、システム10の既存のユーザ又は潜在ユーザにシステム10に関するコンテンツを配信するように操作可能である。このウェブサイトは、通信ネットワークを介してシステム10とデータ通信するように操作可能に連結される、ノートパソコン又はスマートフォン(実施形態におけるデバイス12を含む)などのインターネット接続可能なモバイル通信デバイスのウェブブラウザを介してアクセス可能である。記載される実施形態では、データ通信の手段は、インターネットを介しているが、本発明の他の実施形態では他の手段、例えば、直接接続を使用することができる。
コンテンツは、健康とウェルネスに関する一般的な情報、例えば、YouTube(登録商標)、FacebookTM、及び/又はTwitterTMとして提供されているサービスを含む、フォーラム又は媒体のうちの適切な1つ又は組合せを介して配信される公告及び販促又は広報情報を含むことができる。
アクセス可能なウェブページは、ユーザによってシステム10の初回使用時に完了されるオンライン登録ページ110、及びリクエストページ112を含む。ウェブサイトアプリケーションは、システムの潜在ユーザがユーザとして手動で自身を登録又は記録して、パーソナルアカウントを作成し、システム10からの出力をリクエストして、デバイス12のディスプレイ22を介して表示することができるように操作可能である。実施形態では、出力は、ユーザの3次元(3D)ボディ形状及びそれに関連するボディ組成並びに健康リスク及びウェルネスのリスクの推定値を含む。出力は、ユーザの形状、身体的、生態学的特性、及び/又は少なくとも1つの3次元(3D)形状とそれに関連する人体計測、ボディ組成、並びに健康リスク及びウェルネスリスクの推定値を含むことができる。出力されたユーザのボディ形状は、ボディの第2の表現と称されることがあり、ユーザのボディのパーソナライズされた対象固有の画像、又はそれに近い若しくは正確なパーソナライズされた対象固有の画像を含むことができる。提供された画像はアバターと称されることがある。このように、文字、画像、メッシュ、3D、ビデオ、アイコン、仮想現実、及びグラフのうちの少なくとも1つを介する分析の視覚化を、出力に示すことができる。
これは、登録及び要求ページ110及び112を介して、ユーザ登録及び要求情報のそれぞれを含む電子登録及び要求フォームの形式で、通信をユーザが完了し、サーバ36に送信する(ステップ201及び202)ことによって容易になる。
ユーザ登録情報は、以下を含む、ユーザ及びそのボディに関する情報及び/又はデータを含む詳細を含む。
1)ユーザの同定及び連絡先の詳細:ユーザの同定及び通信を容易にする細目。これら細目は、ユーザの非公開フルネーム、システム10を使用するときのためのユーザネーム、非公開の自宅住所、転送対応のために用いられる物理アドレス及び/又は電子メールアドレス、連絡先電話番号、認証情報(例えば、パスワード)、並びに適用可能な場合、任意の他の固有の及び/又は関連する識別情報を含むことができる。システム10を用いて作成されるアバターに関する対応及び請求書作成を含む情報は、ユーザと通信するためのシステム10によって用いられる。
2)ユーザのボディの詳細:ユーザのボディに関する情報及び/又はデータ。記載する実施形態では、これは、性別/ジェンダー、高さ、重量、衣類サイズ(例えば、数例を挙げると、S、M、L、XL、又はXXL)、年齢/誕生日、及び民族を含むボディの形態計測データを含む。本発明の別の実施形態では、ユーザのボディに関連及び/又は関係する追加の及び/又は別の詳細をリクエストすることができる。
3)請求書作成及び支払詳細:請求書を作成し、ユーザがシステム10を使用するための支払を行う責任がある債務者(人)から支払を受け取るのを容易にする詳細。請求書作成の詳細は、例えば、処理及び支払のための課金通知を含む転送対応のために用いられる物理アドレス及び/又は電子メールアドレスを含むことができる。支払詳細は、実施形態における分析の実行及び推定の提供などのシステム10を介して実行される動作に関連するアイテムを購入するために記憶及び使用される、債務者のクレジットカードアカウントなどの金融口座の詳細を含むことができる。例えば、本発明の実施形態において、PayPal及びBitcoin(BTC)サービスが挙げられるが、これらに限定されない、追加の及び/又は別の支払処理プラットフォームを使用することもできる。
リクエスト情報は、第1の表現を含む。既に記載した通り、この実施形態では、第1の表現は、ボディ14の視覚的表現のセットを含む。好ましくは、視覚的表現のセット内の視覚的表現は、ボディ14の様々な図を含み、これらは、対照的な実質的にクラッタ/ノイズを含まない(即ち、非ビジーな)バックグラウンドの前に位置するボディ14で捕捉される(ステップ203~205)。特に、記載する実施形態では、視覚的表現のセットは、非限定的な例として、ボディ14の2枚の写真を含み、第1の写真はボディ14の正面であり、第2の写真はボディ14の側面である。2枚の写真の捕捉及びアップロードを容易にするために、リクエストページ112を介して、ユーザ16は、画像捕捉画面114にアクセスすることができる。画像捕捉画面によって、アップロードする前に写真を捕捉し、再吟味することができるようになり、前記画面は、プロセスを通してユーザを導くための1以上のサブ画面を含むことができる。記載する実施形態では、デバイス12は、画像化アプリの制御下でコントローラ18を介して、精度を高めるために画像を確実に垂直面で撮影するために(デバイス12の姿勢を計算する姿勢センサの)内部ジャイロスコープを介して作成される姿勢データを含むデータを使用するように操作可能である。
前記プロセスは、ヒトの画像、ビデオ、2.xD又は3D画像を収集するための画像捕捉ステップを含む。記載された実施形態では、少なくとも、正面写真及び側面写真を含むが、ビデオ又はバースト写真などの他のヒトの画像を含むこともできる。
これは、MyFiziq Ltdの名における国際特許出願の公開された明細書である国際公開第2016/086266号、又はそれから国内段階に移行した特許/出願に記載されている画像捕捉ステップであることができる。
本発明の別の実施形態では、ユーザ登録及びリクエスト情報は、別の又は追加の詳細、情報、及び/又はデータを含むことができる。
ウェブサーバアプリケーション及び登録アプリケーションを含むサーバソフトウェアセットのアプリケーションを介して収集された全てのデータ及び情報は、本明細書に記載する通り使用するためにシステム10内で分配される。
RUデータベース38は、複数のRUレコードを有する。各RUレコードは、そのために作成される出力などのRUに関連する他の情報と共に、上記の登録及びリクエスト情報を含むシステム10のRUのアカウントに関係するRU情報のセットを含む。
サーバ36は、(専用ウェブサイト又は本明細書に記載する他の手段を介して送信される)ユーザ登録及びリクエスト情報を含む通信のレシートを感知又は検出するように操作可能である感知手段を有する。このような情報のレシートを感知したとき、サーバ36は、データベースマネジメントモジュール又はアプリケーションを含む、サーバソフトウェアセットの関連するアプリケーションの制御下で、そのプロセッサを介して、RUデータベース38における記録(及びBCTデータベース40における記録)を作成し、追加し、管理するように、また、受信されたデータ及び情報にしたがって本明細書に記載する動作を実行するように操作可能である。
また、潜在ユーザは、例えば、サーバソフトウェアのセットのソフトウェアの動作によって自動で捕捉し、RUデータベース38に入力するためにeメール、ファックス、若しくは他の通信(FacebookTM又はTwitterTMなどのソーシャルネットワーキングサービスを介することができる)を介してユーザ登録情報を提供することによって、又はデータ入力担当者若しくは管理者の他の従業員によって、自身をユーザとして登録又は記録することができる。
登録成功後、RUは、続いて、オンラインアクセス又は「ログイン」ページを介してシステム10にアクセスし、ユーザが適切な識別及びセキュリティ承認(例えば、ユーザネーム及び関連するパスワード)を入力すると、システム10にアクセスできるようになることに留意すべきである。
画像処理アプリケーションは、送信されたユーザボディの詳細及びボディ16の第1の表現を受信及び処理するように操作可能である。
前記処理は、画像検査及び処理ステップを担当するMLモデルを含み、ボディの第1の表現の1つのタイプに存在するヒトの画像が、まず、任意に表示されるガイド枠又は画像マスク内に、ヒト及びそのボディ要素が存在するかについて検査される。画像又は表現が検査に合格すると、画像内の他のオブジェクトからヒトを区別するように訓練された別のMLモデルが、バックグラウンドシーンからヒトの画像のみをセグメント化する(図18)。本発明の実施形態では、MyFiziq Ltdの名における国際特許出願の公開された明細書である国際公開第2016/086266号、又はそれから国内段階に移行した特許/出願に記載されているものなどの初期画像検査及び処理ステップ、又は図2に説明され示されるその改良バージョンを含むことができる。
次に、システム10は、ヒトの画像(又は、受信された場合、ビデオ、2.xD又は3D画像)から関節を推定するための処理ステップを実行するように操作可能である。このステップは、オフラインで開発された、(ステップ301を参照して)前述したML/AIモデルを使用する。これらは、ヒトの画像から、対象又はユーザ固有の解剖学的情報と関節を推定するために構築されている(図15a、図15bも参照)。
次いで、システム10は、ヒトの画像からボディーパーツセグメンテーションを推定し、前のステップの関節及び解剖学的ランドマーク、並びにオフラインで開発された、(ステップ302を参照して)前述したCV/ML/AIモデルを使用して、関心のある2D及び3D領域を確立する処理ステップを実行するように操作可能である。
次いで、システム10は、開発され、(ステップ303を参照して)前述したML/AIモデルを使用して、特徴、ラベル画像、2D及び3Dのボディ形状を抽出する処理ステップを実行するように操作可能である。
次いで、システム10は、ML/AIモデルが、前のステップで計算され、収集されたヒトの画像、特徴、ラベル、及び2D及び3Dのボディ形状を用いて、(ステップ304を参照して)前述したボディ組成及びボディ計測値を推定する処理ステップを実行するように操作可能である
次いで、システム10は、推定されたボディ組成及びボディ形状が、ユーザの傾向、及び過去(存在する場合)及び現在の推定値に基づき将来予測されるボディ組成と共に、ディスプレイ22を介してユーザに出力及び表示される。
通信アプリケーションは、サーバ36とそれと通信するデバイスとの間の通信を可能にするように操作可能である。係る通信は、本明細書に記載する通信を含み、eメール、ポップアップ通知、及びSMSメッセージを含む任意の適切な種類であってよく、セキュリティを高めるために暗号化してもよい。
ユーザは、作成された電子画面及びページ上に提供されるそれぞれのナビゲーションインタフェースエレメントボタンの実行を介して、前記電子画面及びページに進んだり戻ったりすることを含むナビゲートを行うことができる。特に、それを介してユーザがシステム10を制御することができるインタフェースエレメントボタンを有するナビゲーションバー116が提供される。記載される実施形態では、そのようなものとしては、新たな画像の撮影(システムによって行われる新たな分析を有すること/新たな出力推定値を生成すること);及びシステム10からサインアウト/退出することを含む。
インボイス/請求書作成アプリケーションは、システム10の使用にしたがって支払うべき量を含む、各登録されたユーザに対するインボイスを作成するように操作可能である。
支払処理アプリケーションは、各インボイスについての支払を受領するように操作可能である。
本発明の実施形態では、システム10によって実施される記載した操作、追加の操作、及び/又は別の操作のうちの1以上は、ヒトの介入を必要とすることなしに自動的に行われる。
推定されたボディ組成と人体計測に基づく健康リスク計算機
以下では、処理されたヒトの画像、関連するヒトの特徴、推定された3次元(3D)ボディ形状、人体計測、ボディ組成データが、ユーザによって入力された参加者の特性及び医学生理学情報と共に、システム10によってどのように使用され、ユーザが自身の健康リスク及びウェルネスリスクを分類、評価、及びモニタリングすることができるかを概説する。
オフライン段階では、体脂肪分類は、BCTデータベース40からのインビボパーセント体脂肪(PBF)カットオフを使用して開発され、他の公開データベース及び内臓脂肪分類からのデータは、BCTデータベース40からのインビボ内臓脂肪(VF)カットオフを使用して開発される。データ及びカットオフは、参加者の特性及び属性、医学生理学情報及び疫学情報(即ち、性別、年齢、民族性、健康状態、フィットネス、など)の組合せについて層別化される。
オフライン段階では、十分なデータを提供するための文献の体系的なレビューを行うことを含む、ピアレビューされた信頼性のある文献からの疫学データと、前糖尿病、糖尿病、心血管疾患、筋骨格障害、死亡率、及び転倒リスク式を開発するためのBCTデータベース40からの疫学的データとを使用して予測リスク式が開発される。
予測リスク式の概要を図10に示す。個人の予測健康リスクスコア(P-HRS)(1001)、例えば、糖尿病又は心血管疾患の推定は、参加者の特性及び属性(PA)、ボディ形状(BS)、医学生理学情報(MP)、及びボディ組成(BC)(1002)の関数である。これらのカテゴリのそれぞれにおける特定の従属変数は、事前定義された信頼区間(CI)(即ち、90%、95%、99%など)(1004)で関連するハザード比(HR)(1003)を有する。HRは、健康及びウェルネスのイベントが発生する可能性だけでなく、各イベントのタイミングも考慮するため、好ましい。HRがユーザに好まれない場合は、リスク比とオッズ比も利用することができる。従属変数(DV)(1005)及び対応するHR(CI)は、個人が評価することに関心のある健康リスク及びウェルネスリスク、即ち、前糖尿病になるリスク、慢性疾患又は筋骨格障害を発症するリスク、若年死亡率、又は転倒の発生率(即ち、1年、5年、10年など)に依存する。各DVのHR(CI)は、BCTデータベース40に格納された疫学データと、ピアレビューされた文献との両方から与えられる。
オフライン段階では、BCTデータベース40の様々なコンポーネント間の様々な統計学的関係の機械知能学習を使用して、ヒトの画像、関連する参加者の特性及び属性、並びに推定されたボディ組成及びボディ周囲から医学生理学情報と疫学情報を予測できるモデルが開発された。
オンライン段階では、ディスプレイ22を使用して、ユーザに以下の情報を表示する。
i)推定体脂肪及び推定内臓脂肪を体脂肪分類と比較して、体脂肪の一般的な分類、例えば、痩せている、正常である、太り過ぎている、及び肥満である、を表示すると共に、内臓脂肪の一般的な分類、例えば、低リスク、通常のリスク、上昇したリスク、及び高リスクを表示する。
ii)推定されたボディ組成出力及び/又は推定された周囲出力を、参加者の特性及び属性並びに医学生理学情報(即ち、性別、年齢、民族性、健康状態、フィットネスなど)の任意の組合せについて、BCTデータベース40に含まれる標準的な人口分布と比較し、人口分布内のどこにいるかをユーザに示す。
iii)参加者の属性、ボディ形状、医学生理学情報、及びボディ組成の関数である個人の相対的健康リスクスコア(RHRS)の推定値。これらの各カテゴリに使用される特定の変数は、個人が前糖尿病、慢性疾患、筋骨格障害、死亡率、又は転倒リスクの相対的リスクを評価しているかどうかに依存する。個人の全体的なRHRSは、スコアが健康リスクの連続体の下端にある場合は低く、スコアが健康リスクの連続体の上端にある場合は高くなる(例えば、図10を参照)。
iv)ユーザが前糖尿病であるというリスクの上昇をオフラインで計算した予測リスク式及び/又はML/AIモデルに基づく推定値。
v)慢性健康疾患のリスクの上昇をオフラインで計算した予測リスク式及び/又はML/AIモデルに基づく推定値。
vi)筋骨格障害、死亡率、及び転倒リスクの上昇をオフラインで計算した予測リスク式及び/又はML/AIモデルに基づく推定値。
vii)ユーザによって指向された(directed)、又は身長に対する推定低筋肉除脂肪量によるサルコペニアを検出するためのステップ。
オンライン段階では、システム10は、ユーザが、推定されたボディ組成又は最新及び経時の計測値に対するボディの計測値の変化を追跡するように操作可能である。
オンライン段階では、様々な予測リスク式と体脂肪/内臓脂肪分類から計算された推定値の使用が、「リスクのある」ユーザを特定する機能をもたらし、ユーザの生涯に亘って早期に個人向けとされた介入を奨励し、ユーザの短期及び長期の健康リスク及びウェルネスリスク状態を改善する助けとなる。
次に、本発明の実施形態の前記及び他の特徴及び利点について、使用時のシステム10を参照して更に記載する。
対象となるヒトは、前記登録プロセスを介してシステムのユーザとして登録され、その結果、ユーザアカウントが与えられる。
その後、(ここで登録された)ユーザは、前記した通りにシステム10にアクセスし、これを使用して分析を行って、個人の3Dボディ形状及びそれに関連するボディ組成並びに健康リスク及びウェルネスリスクの推定を提供する1以上の出力を生成する。
経時的に、ユーザは、体内の変化を示す、係る推定値のシーケンスを作成することができる。係るセルフモニタリングを頻繁に行うことを介して、ユーザは、パーソナルヘルス及びウェルネスの目標への進展を評価することができるので、前記目標を達成する可能性が高くなる。
本発明の記載された実施形態は、本明細書で先に強調し、説明したように、いくつかの利点を提供することが理解される。
理想的なボディ組成測定ツールを提供しようとする文脈において、システム10は、スマートフォンなどの携帯可能で容易に利用可能なデバイスに組み込むことができるので、記載された実施形態は、手頃で(103)、アクセスし易く(101)、正確でもある(102)ことが分かる。これは、BCTデータベース40の収集と、様々な品質保証及び医用画像/ヒト画像処理技術と、本発明の実施形態が正確であると同時に手頃でアクセスし易いことを可能にする有利なCV、ML及びAI技術の開発との組合せである。
本発明の実施形態は、実際の3D形状、画像、ビデオ、及び医用画像、並びに他の多くの特性が全て同時に収集されるので、個人の情報量に制限がないデータベースを提供する。
記載された実施形態のアプローチは、ほぼ完全に自動化されており、先行技術とは異なって、機械学習モデルを含む高次モデルを使用して、対象を、その形状及び他の特性に関して特徴付ける又は記述することに加えて、対象の解剖学的構造を考慮する。
本発明の実施形態の別の重要な利点は、異なるセンサによって捕捉された異なるデータタイプ及び画像の位置合わせ及びアラインメントである。現在のセンシング及びイメージング技術、例えば、国際公開第2016/072926 A1号に開示された研究、及びその中で調査された文献は、一般に、あるMRI画像と別のMRI画像又は医用画像との位置合わせ又はアラインメントの試みを行った。この研究では、両方のMRI画像を、同一のMRI装置によって、同一人物で、同一姿勢で、1回のスキャンセッションで取得する。CTスキャンを扱う場合も同様である。本発明とは異なって、そのアプローチは、ヒトの実際のカラー画像/写真を捕捉、利用しない。事実、このアプローチのために開発された方法論では、カラーカメラ画像が利用可能であったとしても、ヒトのMRIをカラーカメラ画像にアラインメントさせることができず、また、ヒトは、各画像で異なる姿勢と向きを有するので、このアプローチが問題に対処することを不可能にする。更に、MRIスキャナとフォトカメラは完全に異なるセンサを使用するので、画像の検知又は捕捉のプロセスを物理的に表すために異なるモデルを必要とする。国際公開第2016/072926 A1号に開示された研究は、全身MRIスキャンを扱う臨床医に向上したアプローチを提供することが意図されていた(したがって、その出願の明細書で使用される「全量(whole volume)」という用語は、リットルなどの実際の量を意味しない)。また、そのアプローチは、いくつか例を挙げると、骨の構造と密度、脂肪量、除脂肪量水などのボディ組成データの計算を可能にするために、よりよいラボ用MRI画像を提供することであった。このアプローチは、正確にアラインメントされたMRI画像をよりよく視覚化して、同一領域又は特定の画像クラスタを正確に追跡し、よりよい評価を行うことも意図されていた。本発明は、MRIシステムなどのシステムとは異なり、動作も異なる。記載された実施形態では、本発明は、スマートフォンなどの携帯デバイスで実行され、発明された基礎となるアプローチ及びアルゴリズムは、ほぼ完全に自動化されてデバイス内で統合及び実行される。それらは、(i)対象の特性データ(例えば、身長、体重、年齢、国籍など)、(ii)ボディ組成データを含むMRIデータ、及び(iii)MRI画像と、スマートデバイスカメラ又は他のカメラによって撮影された対象(ヒト)の画像との位置合わせを用いて得られる新規且つ進歩的なアプローチに基づく。これらの様々なタイプのデータ、又はそれらから抽出された特徴が全て組み合わされ、アラインメントされ、同時登録されて、対象固有のモデルを形成し、AIと機械学習の手法に対象間の差を理解、学習させ、対象を過去にモデル化した対象と比較するときの予測を改善するようにする。本発明と国際公開第2016/07296 A1号に記載されている研究との間の別の決定的な違いは、アラインメントプロセス中に骨を変形させることである。本発明の記載された実施形態は、骨などの変形する剛体要素の物理学に反し、人体の生態学的意味に影響を与えるので、アラインメント/位置合わせ中に骨の変形を行わない。
米国特許第8,588,495 B2号明細書で、Guptaらは、医用画像データセットを使用して自動診断を行うために開発され、特許請求されたシステムを記載している。彼らは、生成的及び識別的学習を使用して、CT及びMRI医用画像のデータアトラスを作成したが、いずれも、主に画像強度を使用してアトラスを作成したGuptaらにより2010年に採用された方法に基づく標準的な統計分析である。国際公開第2016/072926 A1号に開示される研究と同様に、Guptaらの研究は、医用画像に対する医用画像の位置合わせのみを扱っている。しかし、本発明の記載された実施形態は、カメラ(例えば、スマートフォン)によって撮影されたヒトの画像と、それらの医用画像とを扱い、位置合わせ、アラインメント、及び一致させて、統一された表現を作成する。複雑さは、2つの完全に異なるセンサ(例えば、MRI/PET及びカメラ)からの画像を処理及び同時登録するときに生じる。また、本発明の記載された実施形態におけるセグメンテーションプロセスは、ノイズの多いバックグラウンドからヒトの画像をセグメント化すること、及びセグメント化された画像をヒトの関連する医用画像にアラインメントすることを扱う。本発明の前述の実施形態では、3Dボディ形状を異なる部分にセグメント化するために、別のタイプのセグメンテーションが考案及び実行される。これらのプロセスは、医用画像のセグメントが、CADなどの既存のソフトウェアを利用して切り取られ、それらから診断を分類するGuptaらの発明で概説されているセグメンテーションプロセスとは異なる。重要なことに、本発明の記載された実施形態では、リスク分析又は診断プロセスは、必要に応じた頻度で撮影できる標準的なカメラ画像のみを使用する携帯型スマートデバイスによって達成されるが、Guptaらの研究は、自動診断を行うために実際のMRIスキャンを必要とし、これは高価で、繰り返し放射線被曝するリスクがあるため定期的に得ることができない。
本明細書に記載する本発明の変形及び変更は、その趣旨及び範囲から逸脱することなしに明らかになることを当業者は理解するであろう。当業者に明らかになる変形及び変更は、本明細書に記載する発明の広い範囲及び範疇内であるとみなされる。
米国特許公開第2018/0137640 A1号明細書(Farahbakhshianら(Naked Labs) 米国特許第8,374,671 B2号明細書 欧州特許第1993443 B1号明細書
Kate Kelland. Chronic disease to cost $47 trillion by 2030: WEF. Published on-line, 19 September 2011 GBD 2016 Causes of Death Collaborators. Global, regional, and national age-sex specific mortality for 264 causes of death, 1980-2016: a systematic analysis for the Global Burden of Disease Study 2016. The Lancet. 390(10100):1151-1210 WHO. Global action plan for the prevention and control of noncommunicable diseases 2013-2020. Geneva, Switzerland: World Health Organization, 2013. Keys, A., Karvonen, N., Kimura, N., Taylor, H.L. Anand, S. and Yusuf, S. (2011). Stemming the global tsunami of cardiovascular disease. The Lancet. 377(9765):529-532. NCD Risk Factor Collaboration (2016). Worldwide trends in diabetes since 1980: a pooled analysis of 751 population-based studies with 4・4 million participants. The Lancet. 387(10027):1513-1530. Tabak, A.G., Herder, C., Rathmann, W Brunner, EJ., Kivimaki, M. (2012). Prediabetes: A high-risk state for developing diabetes. 379(9833): 2279-2290. Allen, K. and Golightly, Y., 2015 Epidemiology of osteoarthritis: state of the evidence Cruz-Jentoft AJ, Landi F, Schneider SM, et al. Prevalence of and interventions for sarcopenia in ageing adults: a systematic review. Report of the International Sarcopenia Initiative (EWGSOP and IWGS). Age Ageing. 2014; 43:748-759 WHO; Pischon et al. (2008). General and Abdominal Adiposity and Risk of Death in Europe. N Engl J Med 2008; 359:2105-2120. DOI: 10.1056/NEJMoa0801891 Jacobs et al. (2010). Waist Circumference and All-Cause Mortality in a Large US Cohort. Arch Intern Med. 2010 Aug 9;170(15):1293-301. Ding Y., Gu D., Zhang Y., Han W., Liu H., Qu Q. (2015). Significantly increased visceral adiposity index in prehypertension. PLoS One. 10;10(4):e0123414 Hanley AJ, Wagenknecht LE, Norris JM, Bryer-Ash M, Chen YI, Anderson AM, Bergman R, Haffner SM. Insulin resistance, beta cell dysfunction and visceral adiposity as predictors of incident diabetes: the Insulin Resistance Atherosclerosis Study (IRAS) Family study. Diabetologia 52: 2079-2086, 2009 Ghroubi, S., Elleuch, H., Guermazi, M., Kaffel, N., Feki, H.;Abid, M., Baklouti, S.;Elleuch, M. H. (2007). "Abdominal obesity and knee ostheoarthritis". Annales de Readaptation et de Medecine Physique. 50 (8): 661-666. doi:10.1016/j.annrmp.2007.03.005. Matthew J. Delmonico, PhD, MPH, and Darren T. Beck, PhD. (2017).The Current Understanding of Sarcopenia: Emerging Tools and Interventional Possibilities. American Journal of Lifestyle Medicine. Duren, D., Sherwood, R., Czerwinski, S. et al. (2008). Body Composition Methods: Comparisons and Interpretation. Journal of Diabetes Science and Technology 2(6):1139-1146. Fox CS, Massaro JM, Hoffmann U et al. Abdominal visceral and subcutaneous adipose tissue compartments: association with metabolic risk factors in the Framingham Heart Study. Circulation 116:39-48, 2007. Liu J, Fox CS, Hickson DA, May WD, Hairston KG, Carr JJ, Taylor HA. Impact of abdominal visceral and subcutaneous adipose tissue on cardiometabolic risk factors: the Jackson Heart Study. J Clin Endocrinol Metab 95: 5419-5426, 2010. Neeland IJ, Turer AT, Ayers CR, Powell-Wiley TM, Vega, GL Farzaneh-Far R, et al. Dysfunctional Adiposity and the Risk of Prediabetes and Type 2 diabetes in Obese Adults. JAMA. 2012; 308(11): 1150-1159. Kaul S, Rothney MP, Peters DM, et al. Dual-energy X-ray absorptiometry for quantification of visceral fat. Obesity 2012; Doi:10.1038: 1-6. Bray et al. (2008). Relation of central adiposity and body mass index to the development of diabetes in the Diabetes Prevention Program. Spencer et al. (2001).Validity of self-reported height and weight in 4808 EPIC-Oxford participants. Public Health Nutrition: 5(4), 561-565 Lee et al. (2014). Predictive Equations for Central Obesity via Anthropometrics, Stereovision Imaging and MRI in Adults. Ng et al. (2016). Clinical anthropometrics and body composition from 3D whole-body surface scans. McLean, D., Redfern, D., and Pyper, K. (2014). A Survey of Regression Methods for Proxy Functions. Moody’s Analytics Research. Consultancy report: B&H Research Insurance ERS.

Claims (27)

  1. ボディを分析するためのデバイスであって、
    コントローラと、
    前記コントローラを操作するための電子プログラム命令を記憶する記憶装置と、
    入力手段と
    を含み、
    前記コントローラが、
    前記ボディの少なくとも1つの表現(representation)を含む入力を、前記入力手段を介して受信し、
    前記入力に対して、データベースの使用を含む処理を行い、前記ボディを分析し且つ前記分析に基づく出力を生成し、及び
    前記出力を通信するように、
    前記電子プログラムの命令によって操作可能であり且つガイドされることを特徴とするデバイス。
  2. 前記表現が、前記ボディの画像を含む視覚的表現、及び/又は視覚化できないデータを意味する非視覚的表現を含む請求項1に記載のデバイス。
  3. 前記処理が、少なくとも1つのコンピュータビジョン(CV)アプローチ、機械学習(ML)、及び/又は人工知能(AI)モデルによって実行される動作を含む請求項1から2のいずれかに記載のデバイス。
  4. 分析される前記ボディが、カテゴリ及び/又はグループ及び/又はクラスに属し、前記データベースが、分析される前記ボディと同一及び/又は類似のカテゴリ及び/又はグループ及び/又はクラスに属する複数の異なるボディの詳細を含み、前記詳細が、前記複数の異なるボディの各ボディの、各ボディに関連する及び/又は各ボディに関するデータ及び/又は情報を含む請求項1から3のいずれかに記載のデバイス。
  5. 前記カテゴリ及び/又はグループ及び/又はクラスがヒトを含み、前記データ及び/又は情報が、前記データベースに各ボディの詳細を提供する複数のヒトの参加者のそれぞれについて、ヒトのビデオ、写真、完全及び/又は部分的なボディ形状又は表面スキャン、医用画像、ボディ組成、人体計測、参加者の特性、参加者の属性、医学生理学情報、及び疫学情報のうちの1以上を含み、前記1以上が、収集を通して収集され、各参加者のそれぞれのボディの統一された表現に、関係付けられ、及び/又は位置合わせされ、及び/又はアラインメントされ、及び/又は一致させられる請求項4に記載のデバイス。
  6. 各参加者のそれぞれのボディの詳細及び表現の収集が、好ましくは、同時且つ並行して行われる請求項5に記載のデバイス。
  7. 追加のデータが、異なる時間間隔で収集され、経時で収集される参加者の形状とデータの時間的モデリングの開発を可能にし、統計学的に意味のある診断トラッカを導き出し、物理的(physically)に意味のあるリスク分析を達成する請求項6に記載のデバイス。
  8. 各参加者のそれぞれのボディの詳細及び表現の収集が、品質保証プロトコル及び前処理プロセス及びステップにしたがって、前記データベースに情報を提供する各参加者のボディの詳細及び表現を捕捉することを含む請求項5から7のいずれかに記載のデバイス。
  9. 請求項2から3のいずれかに従属する請求項8に記載のデバイスにおいて、
    前記動作が、
    高度な多次元統計技術及び/又は機械学習技術及び/又はAI技術を使用して、収集された前記データと画像を分析し、外れ値として識別されたものを除外すること、
    データタイプ及び/又は前記データタイプに関係付けられた関連する出力の1以上のラベリング及び/又はアノテーションメカニズムに基づいて、前記データ及び画像をグループ、領域、タイプ、特性、及びカテゴリのうちの1以上に分類、クラスタリングすること、
    前記ボディの任意のタイプの画像から、目立った特徴及び/又は解剖学的に重要なランドマークを含むランドマーク及び/又はキーポイント及び/又は関節中心及び/又は骨の結合を推定すること、
    画像におけるクラスタ化されたバックグラウンドから前記ボディを識別及びセグメント化すること、
    医用画像から抽出された解剖学的特徴によって制約されたボディの画像からボディパーツセグメントを推定し、関心のある領域(ROI)を確立すること、及び
    画像又は一般的な形状特徴及びラベル付けされた画像セグメント及び/又は画像クラスタを抽出し、ボディデータとの対応を推定すること、
    のうちの少なくとも1つを含むデバイス。
  10. ユーザインターフェースを表示するためのディスプレイを含み、前記コントローラが、前記電子プログラム命令のガイダンスの下、前記ディスプレイを介して前記出力を表示することによって前記出力を通信するように操作可能であり、前記ディスプレイが、文字、画像、メッシュ(meshes)、3D、ビデオ、アイコン、仮想現実、及びグラフのうちの少なくとも1つを介して前記分析を視覚化して表示する請求項1から9のいずれかに記載のデバイス。
  11. 前記ボディが個人のボディであり、前記出力が、前記個人の推定値である、形状、身体的、生態学的特性、及び/又は少なくとも1つの3次元(3D)形状とそれに関連する人体計測、ボディ組成、健康リスク及びウェルネスリスクを含む請求項1から10のいずれかに記載のデバイス。
  12. ボディを分析するための方法であって、
    コントローラを制御するための電子プログラム命令を記憶することと、
    前記コントローラを、
    ボディの少なくとも1つの表現(representation)を含む入力を、入力手段を介して受信し、及び
    前記入力に対して、データベースの使用を含む処理を行い、前記ボディを分析し且つ前記分析に基づく出力を生成するように、
    前記電子プログラム命令を介して制御することとを含むことを特徴とする方法。
  13. 前記表現が、前記ボディの画像を含む視覚的表現、及び/又は視覚化できないデータを意味する非視覚的表現を含む請求項12に記載の方法。
  14. 前記処理が、少なくとも1つのコンピュータビジョン(CV)、機械学習(ML)、及び/又は人工知能(AI)モデルによって実行される動作を含む請求項12から13のいずれかに記載の方法。
  15. 分析される前記ボディが、カテゴリ及び/又はグループ及び/又はクラスに属し、前記データベースが、分析される前記ボディと同一及び/又は類似のカテゴリ及び/又はグループ及び/又はクラスに属する複数の異なるボディの詳細を含み、前記詳細が、前記複数のボディの各ボディの、各ボディに関連する及び/又はボディに関するデータ及び/又は情報を含む請求項12から14のいずれかに記載の方法。
  16. 前記カテゴリ及び/又はグループ及び/又はクラスがヒトを含み、前記データ及び/又は情報が、前記データベースに各ボディの詳細を提供する複数のヒトの参加者のそれぞれについて、ヒトのビデオ、写真、完全及び/又は部分的なボディ形状又は表面スキャン、医用画像、ボディ組成、人体計測、参加者の特性、参加者の属性、医学生理学情報、及び疫学情報のうちの1以上を含み、前記1以上は、収集を通して収集され、各参加者のそれぞれのボディの統一された表現に、関係付けられ、及び/又は位置合わせされ、及び/又はアラインメントされ、及び/又は一致させられる請求項15に記載の方法。
  17. 各参加者のそれぞれのボディの詳細及び表現の収集が、好ましくは、同時且つ並行して行われる請求項16に記載の方法。
  18. 追加のデータが、異なる時間間隔で収集され、経時で収集される参加者の形状とデータの時間的モデリングの開発を可能にし、統計学的に意味のある診断トラッカを導き出し、物理的に意味のあるリスク分析を達成する請求項17に記載のデバイス。
  19. 各参加者のそれぞれのボディの詳細及び表現の収集が、品質保証プロトコル及び前処理プロセス及びステップにしたがって、前記データベースに情報を提供する各参加者のボディの詳細及び表現を捕捉することを含む請求項16から18のいずれかに記載の方法。
  20. 請求項13から14のいずれかに従属する請求項19に記載の方法において、
    前記動作が、
    高度な多次元統計技術及び/又は機械学習技術及び/又はAI技術を使用して、収集された前記データと画像を分析し、外れ値として識別されたものを除外すること、
    データタイプ及び/又は前記データタイプに関係付けられた関連する出力の1以上のラベリング及び/又はアノテーションメカニズムに基づいて、前記データ及び画像をグループ、領域、タイプ、特性、及びカテゴリのうちの1以上に分類、クラスタリングすること、
    前記ボディの任意のタイプの画像から、目立った特徴及び/又は解剖学的に重要なランドマークを含むランドマーク及び/又はキーポイント及び/又は関節中心及び/又は骨の結合を推定すること、
    画像におけるクラスタ化されたバックグラウンドから前記ボディを識別及びセグメント化すること、
    医用画像から抽出された解剖学的特徴によって制約されたボディの画像からボディパーツセグメントを推定し、関心のある領域(ROI)を確立すること、及び
    画像又は一般的な形状特徴及びラベル付けされた画像セグメント及び/又は画像クラスタを抽出し、ボディデータとの対応を推定すること、
    のうちの少なくとも1つを含む方法。
  21. ディスプレイを介して前記出力を表示することによって前記出力を通信するように、前記電子プログラム命令を介して、前記コントローラを制御することを含み、前記ディスプレイが、文字、画像、メッシュ(meshes)、3D、ビデオ、アイコン、仮想現実、及びグラフのうちの少なくとも1つを介して前記分析を視覚化して表示する請求項12から20のいずれかに記載の方法。
  22. 前記ボディが個人のボディであり、前記出力が、前記個人の推定値である、形状、身体的、生態学的特性、及び/又は少なくとも1つの3次元(3D)形状とそれに関連する人体計測、ボディ組成、健康リスク及びウェルネスリスクを含む請求項12から20のいずれかに記載の方法。
  23. 演算手段によって実行されるときに、請求項12から22のいずれかに記載の方法を演算手段に実施させる命令が記憶されていることを特徴とするコンピュータ可読記憶媒体。
  24. 請求項12から22のいずれかに記載の方法を実行するようプログラムされていることを特徴とする演算手段。
  25. 演算システムによって受信及び解釈することができる少なくとも1つの命令を含むデータ信号であって、前記命令が、請求項12から22のいずれかに記載の方法を実施させることを特徴とするデータ信号。
  26. ボディを分析するためのシステムであって、請求項1から11のいずれかに記載のデバイスを含むことを特徴とするシステム。
  27. 前記ボディの少なくとも1つの表現が、任意のタイプの数字及び/又は文字及び/又はデータ及び/又は画像の形式である請求項1から11のいずれかに記載のデバイス。

JP2021556646A 2018-12-24 2019-12-19 ボディの分析 Active JP7514252B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2018904941 2018-12-24
AU2018904941A AU2018904941A0 (en) 2018-12-24 Analysing a Body
PCT/AU2019/051416 WO2020132713A1 (en) 2018-12-24 2019-12-19 Analysing a body

Publications (3)

Publication Number Publication Date
JP2022516586A true JP2022516586A (ja) 2022-02-28
JPWO2020132713A5 JPWO2020132713A5 (ja) 2022-06-02
JP7514252B2 JP7514252B2 (ja) 2024-07-10

Family

ID=

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD962979S1 (en) * 2020-07-24 2022-09-06 Hyundai Motor Company Display screen with animated graphical user interface
RU2795658C1 (ru) * 2022-10-04 2023-05-05 Автономная некоммерческая организация высшего образования "Университет Иннополис" Устройство и способ для диагностики тазобедренных суставов

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017141958A1 (ja) * 2016-02-15 2017-08-24 学校法人慶應義塾 脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラム
JP2018504663A (ja) * 2014-12-05 2018-02-15 マイフィジーク リミテッド ボディの画像化

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018504663A (ja) * 2014-12-05 2018-02-15 マイフィジーク リミテッド ボディの画像化
WO2017141958A1 (ja) * 2016-02-15 2017-08-24 学校法人慶應義塾 脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD962979S1 (en) * 2020-07-24 2022-09-06 Hyundai Motor Company Display screen with animated graphical user interface
RU2795658C1 (ru) * 2022-10-04 2023-05-05 Автономная некоммерческая организация высшего образования "Университет Иннополис" Устройство и способ для диагностики тазобедренных суставов
RU2801420C1 (ru) * 2022-10-04 2023-08-08 Автономная некоммерческая организация высшего образования "Университет Иннополис" Система и способ диагностики тазобедренных суставов

Also Published As

Publication number Publication date
AU2019412503A1 (en) 2021-07-08
SG11202106762UA (en) 2021-07-29
EP3902456A1 (en) 2021-11-03
CA3124572A1 (en) 2020-07-02
US20220087533A1 (en) 2022-03-24
CN113473896A (zh) 2021-10-01
EP3902456A4 (en) 2022-09-07
WO2020132713A1 (en) 2020-07-02
KR20210108980A (ko) 2021-09-03

Similar Documents

Publication Publication Date Title
JP7395604B2 (ja) 深層学習を用いた自動的な画像ベースの皮膚診断
US20220087533A1 (en) Analysing a Body
Muneer et al. Smart health monitoring system using IoT based smart fitness mirror
US11961620B2 (en) Method and apparatus for determining health status
Li et al. Vision-based assessment of parkinsonism and levodopa-induced dyskinesia with pose estimation
Lee et al. Prediction of android and gynoid body adiposity via a three-dimensional stereovision body imaging system and dual-energy X-ray absorptiometry
Boswell et al. Smartphone videos of the sit-to-stand test predict osteoarthritis and health outcomes in a nationwide study
Babarenda Gamage et al. An automated computational biomechanics workflow for improving breast cancer diagnosis and treatment
Chanda et al. Predicting Obesity Using Facial Pictures during COVID‐19 Pandemic
US20200312455A1 (en) Systems and methods for determining health condition of an individual
Adibuzzaman et al. Assessment of pain using facial pictures taken with a smartphone
Guarnieri Lopez et al. Associations between 3D surface scanner derived anthropometric measurements and body composition in a cross-sectional study
US8684928B2 (en) Vitalimetrics-based methods, devices and systems for health/lifestyle maintenance and improvement
JP7514252B2 (ja) ボディの分析
Shahrokni et al. New technologies in geriatric oncology care
CN115578789A (zh) 脊柱侧弯检测装置、系统及计算机可读存储介质
Rumambi et al. Motion Detection Application to Measure Straight Leg Raise ROM Using MediaPipe Pose
Mazzeo et al. Image Analysis and Processing. ICIAP 2022 Workshops: ICIAP International Workshops, Lecce, Italy, May 23–27, 2022, Revised Selected Papers, Part I
KR20240049776A (ko) 사용자 캡처 데이터로부터 질병 위험 평가 방법
Shourie et al. Iot-based hybrid fitness monitoring device
Kusunoki et al. Evaluating activities of daily living using an infrared depth sensor: KINECTTM
Lesport et al. Eye Segmentation Method for Telehealth: Application to the Myasthenia Gravis Physical Examination
Wang et al. Facial Landmark based BMI Analysis for Pervasive Health Informatics
Guo et al. Artificial intelligence techniques as potential tools for large scale surveillance and interventions for obesity
Shaheen et al. IoT-Based Solution for Detecting and Monitoring Upper Crossed Syndrome

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220525

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20220527

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231026

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240208

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240604