JP2023021782A - 計測システム、計測装置、計測データ処理方法及び計測データ処理プログラム - Google Patents

計測システム、計測装置、計測データ処理方法及び計測データ処理プログラム Download PDF

Info

Publication number
JP2023021782A
JP2023021782A JP2021126860A JP2021126860A JP2023021782A JP 2023021782 A JP2023021782 A JP 2023021782A JP 2021126860 A JP2021126860 A JP 2021126860A JP 2021126860 A JP2021126860 A JP 2021126860A JP 2023021782 A JP2023021782 A JP 2023021782A
Authority
JP
Japan
Prior art keywords
measurement
measurement data
data
similarity
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021126860A
Other languages
English (en)
Inventor
弘充 中川
Hiromitsu Nakagawa
毅 田中
Takeshi Tanaka
大輔 福井
Daisuke Fukui
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Corp
Original Assignee
Hitachi High Tech Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Tech Corp filed Critical Hitachi High Tech Corp
Priority to JP2021126860A priority Critical patent/JP2023021782A/ja
Priority to PCT/JP2022/002448 priority patent/WO2023013099A1/ja
Priority to US18/580,973 priority patent/US20240355479A1/en
Publication of JP2023021782A publication Critical patent/JP2023021782A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/033Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Dentistry (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

Figure 2023021782000001
【課題】対象の状態の評価に係るデータを効率的に収集すること。
【解決手段】対象の計測データを取得する計測データ取得部と、前記計測データを処理する処理部とを有し、前記処理部は、前記計測データから前記対象である生体の骨格を推定し、前記骨格の推定結果を用いて前記計測データに係る計測条件を推定し、前記計測条件と予め想定された想定条件との類似度を求め、前記類似度に基づいて前記対象の状態の評価に係る計測データを選定する。かかる構成及び動作により、大量のデータを収集することなく、計測データを取得する場所の制限を考慮しながら、対象の状態の評価に係るデータを効率的に収集することができる。
【選択図】図2

Description

本発明は、計測システム、計測装置、計測データ処理方法及び計測データ処理プログラムに関する。
近年、超高齢化社会の未来を見据えた国民の健康意識の高まりを受け、ヘルスケア業界が着目されている。それに伴い、医療現場におけるIT(Information Technology)技術活用も着実に進歩しており、再生医療機器、介護ロボット、保険指導サービス支援など、新たな事業分野や医療サービスが次々と開拓されている。
なかでも予防医療サービスは、高齢化医療を見据えて期待が大きい分野の一つである。予防医療とは、病気になってから治療を行うという考え方ではなく、誰にでも将来起こりうる健康リスクを明確化し、病気にならないように継続的に健康維持、増進行動を行っていくという考え方である。
これら健康リスクを明確化したり、健康維持、増進行動の効果を確認したりするためには、計測による継続的な健康状態の定量化が必要となる。IoT(Internet of Things)技術やウェアラブルデバイスの進展により、定量化に向けては、各ユーザが日常生活の中で計測を行うことができるようになってきた。
一方で、日常生活の中で得られる計測データは計測条件にばらつきがあり、高信頼な分析を行うことが難しくなるという問題がある。例えば、歩行の様子を撮影して分析に用いる場合、あるユーザは正面から歩行の様子を撮影しており、別のユーザは側面から歩行の様子を撮影しているといったような条件の差異があると、双方の歩行を単純に比較することはできない。
分析に寄与するデータを得るため、大量のデータを収集する方法がある。例えば、特許文献1によれば、網羅的に収集した複数地点のカメラ映像及び異種データから特徴の辞書データを作成することが開示されている。これにより、高信頼な分析が実現できる。
また、取得条件を制御して、分析に寄与するデータを効率的に取得することも考えられている。例えば、特許文献2によれば、教師データを解析して同じ撮影条件でテストデータを撮影させるようにカメラを制御することが開示されている。これにより高信頼な分析が実現できる。
特開2014-59729号公報 WO2018/100676号公報
特許文献1の技術では、高信頼な分析はできるが大量のデータを収集するコストがかかるという問題がある。
特許文献2の技術では、高信頼な分析はできるがカメラ制御に撮影場所の制限が考慮されないという問題がある。
これらのことから、大量のデータを収集することなく、撮影場所の制限を考慮しながら、対象の状態の評価に係るデータを効率的に収集することが重要な課題となっている。
上記目的を達成するために、代表的な本発明の計測システム及び計測装置の一つは、対象の計測データを取得する計測データ取得部と、前記計測データを処理する処理部とを有し、前記処理部は、前記計測データから前記対象である生体の骨格を推定し、前記骨格の推定結果を用いて前記計測データに係る計測条件を推定し、前記計測条件と予め想定された想定条件との類似度を求め、前記類似度に基づいて前記対象の状態の評価に係る計測データを選定することを特徴とする。
また、代表的な本発明の計測データ処理方法の一つは、対象の計測データを取得する計測データ取得ステップと、前記計測データから前記対象である生体の骨格を推定する骨格推定ステップと、前記骨格の推定結果を用いて前記計測データに係る計測条件を推定する条件推定ステップと、前記計測条件と予め想定された想定条件との類似度を求める類似度算定ステップと、前記類似度に基づいて前記対象の状態の評価に係る計測データを選定する選定ステップとを含むことを特徴とする。
また、代表的な本発明の計測データ処理プログラムの一つは、コンピュータに、対象の計測データを受け付けるプロセスと、前記計測データから前記対象である生体の骨格を推定するプロセスと、前記骨格の推定結果を用いて前記計測データに係る計測条件を推定するプロセスと、前記計測条件と予め想定された想定条件との類似度を求めるプロセスと、前記類似度に基づいて前記対象の状態の評価に係る計測データを選定するプロセスとを実行させることを特徴とする。
本発明によれば、対象の状態の評価に係るデータを効率的に収集することができる。上記した以外の課題、構成及び効果は以下の実施の形態の説明により明らかにされる。
実施例1に係るシステム全体の物理構成図。 実施例1に係るシステム全体の機能構成図。 計測DBが格納するテーブルの構成を示す説明図。 判定DBが格納するテーブルの構成を示す説明図。 分析DBが格納するテーブルの構成を示す説明図。 深度記録処理の流れを示すフローチャート。 骨格座標推定処理の流れを示すフローチャート。 計測条件推定処理の流れを示すフローチャート。 類似度計算処理の流れを示すフローチャート。 分析対象選定処理の流れを示すフローチャート。 実施例2に係るシステム全体の論理構成図。 判定制御処理の流れを示すフローチャート。 計測条件判定処理の流れを示すフローチャート。 U/I制御処理の流れを示すフローチャート。 計測条件確認画面の構成の一例を示す説明図。
以下、図面を参照して、本発明の幾つかの実施例を説明する。但し、それらの実施例は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではない。
以下の説明では、「インターフェース部」は、1以上のインターフェース装置である。1以上のインターフェースは、1以上の同種のインターフェース装置(例えば1以上のNIC(Network Interface Card))であってもよいし2以上の異種のインターフェース装置(例えばNICとHBA(Host Bus Adapter))であってもよい。
また、以下の説明では、「記憶部」は、1以上のメモリである。少なくとも1つのメモリは、揮発性メモリであってもよいし不揮発性メモリであってもよい。記憶部は、1以上のメモリに加えて、1以上のPDEVを含んでもよい。「PDEV」は、物理的な記憶装置を意味し、典型的には、不揮発性の記憶装置(例えば補助記憶装置)でよい。PDEVは、例えば、HDD(Hard Disk Drive)またはSSD(Solid State Drive)でよい。
また、以下の説明では、「プロセッサ部」は、1以上のプロセッサである。少なくとも1つのプロセッサは、典型的には、CPU(Central Processing Unit)である。プロセッサは、処理の一部または全部を行うハードウェア回路を含んでもよい。
また、以下の説明では、「kkk部」(インターフェース部、記憶部およびプロセッサ部を除く)の表現にて機能を説明することがあるが、機能は、1以上のコンピュータプログラムがプロセッサ部によって実行されることで実現されてもよいし、1以上のハードウェア回路(例えばFPGA(Field-Programmable Gate Array)またはASIC(Application Specific Integrated Circuit))によって実現されてもよい。プログラムがプロセッサ部によって実行されることで機能が実現される場合、定められた処理が、適宜に記憶部および/またはインターフェース部等を用いながら行われるため、機能はプロセッサ部の少なくとも一部とされてもよい。機能を主語として説明された処理は、プロセッサ部あるいはそのプロセッサ部を有する装置が行う処理としてもよい。プログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配布計算機または計算機が読み取り可能な記録媒体(例えば非一時的な記録媒体)であってもよい。各機能の説明は一例であり、複数の機能が1つの機能にまとめられたり、1つの機能が複数の機能に分割されたりしてもよい。
また、以下の説明では、「xxxテーブル」といった表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「xxxテーブル」を「xxx情報」と言うことができる。また、以下の説明において、各テーブルの構成は一例であり、1つのテーブルは、2以上のテーブルに分割されてもよいし、2以上のテーブルの全部または一部が1つのテーブルであってもよい。
また、以下の説明では、「時刻」は、年月日時分秒の単位で表現されるが、時刻の単位は、それよりも粗くても細かくてもよいし、また異なる単位でもよい。
また、以下の説明では、「データセット」とは、1以上のデータ要素から成るデータ(論理的な電子データの塊)を意味し、例えば、レコード、ファイル、キーバリューペア及びタプルのうちのいずれでもよい。
図1は、実施例1に係るシステム全体の物理構成を示す。図1に示した計測システムは、分析装置100がネットワーク120を介して複数の計測装置110と接続された構成を有する。
分析装置100はデータを分析する装置である。分析装置100は、ネットワークインターフェース104、メモリ102、記憶装置103、および、それらに接続されたプロセッサ101を有する。分析装置100は、記憶装置103に格納されたプログラムをメモリ102に展開し、プロセッサ101により順次実行することで、データ分析機能を実現する。
具体的には、分析装置100は、人物の歩行の様子を計測した計測データとその人物の健康状態とを学習データとして機械学習モデルの学習を行うことで、自然歩行から健康状態を示す指標を定量化する。この指標は、運動器の機能に影響を与える整形外科系や脳神経系の疾患等の評価に有用である。
分析装置100は、ネットワーク120及びネットワークインターフェース104を介して、複数の計測装置110から計測データを収集する。計測データは、機械学習モデルの学習や、学習済みの機械学習モデルによる健康状態の評価に用いることができる。
計測装置110は、プロセッサ111、メモリ112、記憶装置113、ネットワークインターフェース114、入力装置115、出力装置116及びセンサ117を有する。入力装置115は、計測装置110の操作者からの入力を受け付けるインターフェースであり、例えば操作ボタン、キーボード、タッチパネルなどである。出力装置116は、操作者に対する出力を行うインターフェースであり、例えばディスプレイ装置などである。
センサ117は、計測データを取得する装置である。センサ117としては、任意のものを用いることができるが、本実施例では、画像を時系列に沿って撮影するとともに、各画素に深度データを対応付ける撮影装置(例えば、Time-of-Flight Camera等)をセンサ117として採用する場合を例示して説明を行うこととする。
また、計測装置110は、記憶装置113に格納されたプログラムをメモリ112に展開し、プロセッサ111により順次実行することで、各種機能を実現する。計測装置110の機能について、図2を参照して説明する。
図2は、実施例1に係るシステム全体の機能構成図である。図2に示すように、計測装置110は、撮影装置200、計測部210、判定部220、計測DB(database)230、判定DB240を有する。
撮影装置200は、センサ117の一つであり、すでに説明したように、時系列の画像データ及び深度データを計測データとして取得する。計測部210及び判定部220は、プロセッサ111がプログラムを実行することで実現される機能である。計測DB230及び判定DB240は、記憶装置113に格納される。
計測部210は、深度記録部211及び骨格座標推定部212を有する。深度記録部211は、計測データを深度テーブル231として計測DB230に格納する。骨格座標推定部212は、計測データから前記対象である生体の骨格を推定する。具体的には、骨格座標推定部212は、深度テーブル231を参照し、計測の対象である人物の関節座標を推定して骨格座標テーブル232として計測DB230に格納する。
判定部220は、計測条件推定部221、類似度計算部222及び分析対象選定部223を有する。計測条件推定部221は、骨格の推定結果を用いて計測データに係る計測条件を推定する。具体的には、計測条件推定部221は、骨格データの接地座標から水平面と歩行の進行方向を計算し、水平面と進行方向とカメラ座標系から歩行の距離や角度などの計測条件を求める。また、計測条件には、カメラの設置高さや撮影方向を含むことができる。計測条件推定部221は、推定した計測条件を計測条件テーブル241として判定DB240に格納する。
類似度計算部222は、計測条件と予め想定された想定条件との類似度を判定し、計測データへ付与する。具体的には、類似度計算部222は、計測条件と想定条件の差分を正規化した値を用いて類似度を求め、類似度テーブル243として判定DB240に格納する。
分析対象選定部223は、類似度に基づいて計測データを選定する。具体的には、分析対象選定部223は、類似度が類似度閾値以上であるか否かを項目ごとに判定して判定結果テーブル244に格納し、各項目の判定結果から計測データを選定し、分析装置100に送信する。
類似度計算部222が用いる想定条件と、分析対象選定部が用いる類似度閾値は、想定条件テーブル242として判定DB240に格納されている。
分析装置100は、計測装置110から受信したデータを分析対象テーブル251として分析DB250に格納する。分析DB250は、分析装置100が有する記憶装置103の内部に構築されている。分析装置100は、分析対象テーブルのデータを学習モデルの学習用や、対象の評価に用いることができる。
図3は、計測DBが格納するテーブルの構成を示す説明図である。計測DB230が格納する深度テーブル231は、計測時刻と各画素の深度の値とを対応付けたテーブルである。ここで、深度テーブル231における1行は、ある時刻で取得された1の画像を示しており、便宜上、1行を1つのレコードとし、深度レコードという。歩行の計測においては、ある程度の時間範囲、具体的には数歩以上の歩様を含みうる時間範囲について、時系列に沿って取得したデータを1まとまりの計測データ群として取り扱うことになるが、図3の深度テーブル231では、時間範囲に相当する複数の深度レコードを1まとまりの計測データ群として用いることになる。
また、計測DB230が格納する骨格座標テーブル232は、計測時刻と関節ごとの座標とを対応付けたテーブルである。骨格座標テーブル232における1行は、ある時刻で取得された1の画像に含まれる複数の関節の座標を示しており、便宜上、1行を1つのレコードとし、骨格座標レコードという。骨格座標レコードについても、時間範囲に相当する複数の骨格座標レコードが1まとまりの計測データ群に対応することになる。
図4は、判定DBが格納するテーブルの構成を示す説明図である。判定DB240が格納する計測条件テーブル241は、設置高、カメラ俯角、歩行距離、進行方向の項目を有するテーブルである。設置高は、対象の人物が歩行する床面に対し、どれだけの高さに撮影装置200が設置されているかを示す。カメラ俯角は、歩行の方向に対する撮影装置200の撮影方向の高さ成分である。歩行距離は、対象が歩行した距離を示す。進行方向は、歩行の方向に対する撮影装置200の撮影方向の水平成分である。計測条件は、計測データ群に対して求められる。すなわち、所定の時間範囲に相当する複数の骨格座標レコードから1つの計測条件が求められる。なお、計測条件テーブル241の項目を便宜上、計測条件テーブル241の条件カラムという。
想定条件テーブル242は、設置高、カメラ俯角、歩行距離、進行方向、類似度閾値の項目を示す。設置高、カメラ俯角、歩行距離、進行方向の項目は、計測条件テーブル241と同様であるが、計測条件テーブル241が計測データの取得時の条件を示しているのに対し、想定条件テーブル242では計測データを取得する際の望ましい条件を事前に想定した値となる。また、類似度閾値は、計測データを分析対象データとして選定する際に用いる。
類似度テーブル243は、計測条件テーブル241が有する各項目(条件カラム)について、想定条件テーブル242に示された想定条件との類似度を示している。類似度テーブル243の項目を便宜上、類似度テーブル243の条件カラムという。判定結果テーブル244は、計測条件テーブル241が有する各項目(条件カラム)について、類似度が想定条件テーブル242の類似度閾値以上である場合に「true」、類似度閾値未満である場合に「false」の値が格納される。
図5は、分析DBが格納するテーブルの構成を示す説明図である。分析DB250が格納する分析対象テーブル251は、計測DB230に格納された骨格座標テーブル232と同様に、計測時刻と関節ごとの座標とを対応付けたテーブルである。骨格座標テーブル232には、全ての計測データ群についてそれぞれ推定された骨格のデータが登録されている。骨格座標テーブル232に登録されたデータのうち、計測条件が想定条件に類似するものが、分析対象として選定され、分析対象テーブル251に登録されることになる。このとき、選定と登録は、計測データ群に対して行われる。すなわち、1の計測データ群に対応する複数の骨格座標レコードが全て、1つのまとまりとして選定され、分析対象テーブル251に登録される。
図6は、深度記録処理の流れを示すフローチャートである。深度記録部211は、撮影装置200の撮影が開始してから停止するまで、ステップS601からステップS603の処理を繰り返す。
ステップS601は、深度記録部211が、画像データ及び深度データを取得するステップである。
ステップS602は、深度記録部211が、取得した画像データ及び深度データに基づいて、深度レコードを深度テーブル231に登録するステップである。
ステップS603は、深度記録部211が、骨格座標推定部212を呼び出すステップである。
図7は、骨格座標推定処理の流れを示すフローチャートである。深度記録部211から呼び出された骨格座標推定部212は、ステップS701からステップS704の処理を順次実行する。
ステップS701は、骨格座標推定部212が、撮影時間分の深度レコードを深度テーブル231から取得するステップである。
ステップS702は、骨格座標推定部212が、深度レコードから人物毎の骨格座標を認識するステップである。骨格座標の認識には、任意の手法を用いることができる。
ステップS703は、骨格座標推定部212が、骨格座標レコードを骨格座標テーブル232に登録するステップである。
ステップS704は、骨格座標推定部212が、計測条件推定部221を呼び出すステップである。
図8は、計測条件推定処理の流れを示すフローチャートである。骨格座標推定部212から呼び出された計測条件推定部221は、まず、ステップS801からステップS803の処理を順次実行する。
ステップS801は、計測条件推定部221が、骨格座標テーブルから1つの計測データ群に相当するレコードのセットを取得するステップである。このとき取得するレコードは、1つの計測データ群に相当する時間範囲内の全ての骨格座標レコードであってもよいが、時間範囲の最初のレコードと最後のレコードを選択的に取得してもよい。
ステップS802は、計測条件推定部221が、垂直進路ベクトルを生成するステップである。ここで、骨格座標テーブルにおける座標は、画像の奥行方向をz軸、画像の縦方向をy軸、画像の横方向をx軸とするxyz座標系を用いている。計測条件推定部221は、最初のレコードの所定の関節の(y座標,z座標)と最後のレコードの所定の関節の(y座標,z座標)から垂直進路ベクトルを生成する。
ステップS803は、計測条件推定部221が、カメラ俯角を算出して計測条件テーブル241に記録するステップである。計測条件推定部221は、カメラのz座標系を基準として垂直進路ベクトルのなす角度を算出して、計測条件テーブルのカメラ俯角のカラムに記録する。
ステップS803の後、計測条件推定部221は、ステップS801で取得した全てのレコードの全ての関節について、ステップS804の処理を実行する。
ステップS804は、計測条件推定部221が、カメラ俯角に基づいて、垂直補正データを生成する処理である。計測条件推定部221は、カメラ俯角を用いて全ての(y座標,z座標)を回転して、メモリに垂直補正データとして保持させる。この回転により、z座標軸は床面に水平となり、y座標軸は床面に垂直となる。なお、x座標軸は、撮影時点で床面と水平であり、回転の必要はないものとする。
全てのレコードの全ての関節について、ステップS804の処理を実行した後、計測条件推定部221は、ステップS805からステップS808の処理を順次実行する。
ステップS805は、計測条件推定部221が、垂直補正データから歩行距離を算出するステップである。計測条件推定部221は、垂直補正データの最大z座標と最小z座標の差分を算出して、計測条件テーブル241の歩行距離のカラムに記録する。ここでは、対象の人物が撮影装置200に向かって歩くときに撮影を行うことを想定している。このような状態は、廊下に撮影装置200を設置したり、床面に引いた線に沿って歩くよう促す等により実現すればよい。
ステップS806は、計測条件推定部221が、設置高を算出するステップである。計測条件推定部221は、撮影装置200の位置である原点と垂直補正データの最小y座標の差分を算出して、計測条件テーブル241の設置高のカラムに記録する。
ステップS807は、計測条件推定部221が水平進路ベクトルを生成するステップである。計測条件推定部221は、最初のレコードの所定の関節の(x座標,z座標)と最後のレコードの所定の関節の(x座標,z座標)から水平進路ベクトルを生成する。
ステップS808は、計測条件推定部221が進行方向を算出するステップである。計測条件推定部221は、撮影装置200のx座標系を基準として水平進路ベクトルのなす角度を算出して、計測条件テーブル241の進行方向のカラムに記録する。
図9は、類似度計算処理の流れを示すフローチャートである。類似度計算部222は、計測条件テーブル241の条件カラムの全てについて、ステップS901からステップS903の処理を順次実行する。
ステップS901は、類似度計算部222が計測条件と想定条件を取得するステップである。類似度計算部222は、計測条件テーブル241のある条件カラムの数値と想定条件テーブル242のある条件カラムの数値を取得する。
ステップS902は、類似度計算部222が乖離度を算出するステップである。類似度計算部222は、計測条件テーブル241の条件カラムの値と想定条件テーブル242の条件カラムの値の差分を正規化して乖離度を算出する。
ステップS903は、類似度計算部222が乖離度から類似度を算出するステップである。類似度計算部222は、100から乖離度を100倍した数値を引いて類似度を算出し、類似度テーブル243の条件カラムへ記録する。
図10は、分析対象選定処理の流れを示すフローチャートである。分析対象選定部223は、まず、次のステップS1001を実行する。
ステップS1001は、分析対象選定部223が想定条件テーブル242の類似度閾値の数値を取得するステップである。その後、分析対象選定部223は、全てのカラムについてステップS1002からステップS1004のループ処理を実行する。
ステップS1002は、分析対象選定部223が類似度テーブルのある条件カラムの数値(類似度)を取得するステップである。
ステップS1003は、分析対象選定部223がステップS1001で取得した類似度閾値とステップS1002で取得した類似度とを比較するステップである。比較の結果、類似度が類似度閾値以上ならば(ステップS1002;Yes)、ステップ1004に進む。類似度が類似度閾値未満ならば(ステップS1002;No)、ステップS1004に進まずステップS1002~ステップS1004のループ処理を終了する。
ステップS1004は、分析対象選定部223が、判定結果テーブルの条件カラムにtrueを記録する処理である。
ステップS1002~ステップS1004のループ処理を全てのカラムについて実行した後、分析対象選定部223は、ステップS1005に進む。
ステップS1005は、分析対象選定部223が、判定結果テーブルの全てのカラムがtrueであるか否かを判定するステップである。全てのカラムがtrueであるならば(ステップS1005;Yes)、ステップ1006に進む。trueでないカラムがあるならば(ステップS1005;No)、ステップS1006に進まず処理を終了する。
ステップS1006は、分析対象選定部223が、骨格座標テーブル232の全レコードを取得して、分析対象テーブル251に格納するステップである。ステップS1006の後、分析対象選定処理を終了する。
本実施例1によれば、計測装置110は、水平面と進行方向とカメラ座標系から求めた計測条件の類似度に基づき計測データを選定することで、システムが想定する計測条件で撮影された理想的な計測データに近いデータを取得することができる。例えば、計測装置110が複数の異なる場所に設置され、それぞれ撮影場所の制限等により、完全に同一の条件で計測データを取得することができないとしても、想定した条件に類似する条件で計測されたデータを効率的に得ることができる。このため、大量のデータを収集することなく、撮影場所の制限を考慮しながら、高信頼な分析を実現することが可能となる。
実施例2では、計測条件の判定を行うシステムについて説明する。図2は、実施例2に係るシステムの論理構成図である。図2に示したシステムにおける計測装置110は、実施例1の構成に加え、計測条件判定部224、判定制御部225及びU/I制御部260をさらに備える。その他の構成及び動作は、実施例1と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。また、図示を省略したが、計測DB230及び判定DB240には、実施例1と同様のデータが格納されている。さらに、図示を省略したが、計測装置110は、実施例1と同様に、分析装置100と接続されてもよい。
計測条件判定部224は、判定部220の機能の一つであり、類似度計算部222により計算された類似度に基づいて、計測条件の判定を行う。
判定制御部225は、判定部220の機能の一つであり、計測条件の判定に係る処理の全体を制御する。
U/I制御部260は、入力装置115及び出力装置116と接続され、計測条件の関係に係る入出力を制御する。
図12は、判定制御処理の流れを示すフローチャートである。判定制御部225は、処理を開始すると、ステップS1201からステップS1203の処理を順次実行する。
ステップS1201は、判定制御部225が、計測条件推定部221を呼び出すステップである。計測条件推定部221は、実施例1と同様に、計測条件を推定し、計測条件テーブル241に格納する。
ステップS1202は、判定制御部225が、類似度計算部222を呼び出すステップである。類似度計算部222は、実施例1と同様に、類似度を計算し、類似度テーブル243に格納する。
ステップS1203は、判定制御部225が、計測条件判定部224を呼び出すステップである。判定制御部225による処理の後、判定制御処理は終了する。
図13は、計測条件判定処理の流れを示すフローチャートである。計測条件判定部224は、判定制御部225から呼び出されると、まず、次のステップS1301を実行する。
ステップS1301は、計測条件判定部224が想定条件テーブル242の類似度閾値の数値を取得するステップである。その後、計測条件判定部224は、全てのカラムについてステップS1302からステップS1304のループ処理を実行する。
ステップS1302は、計測条件判定部224が類似度テーブルのある条件カラムの数値(類似度)を取得するステップである。
ステップS1303は、計測条件判定部224がステップS1301で取得した類似度閾値とステップS1302で取得した類似度とを比較するステップである。比較の結果、類似度が類似度閾値以上ならば(ステップS1302;Yes)、ステップ1304に進む。類似度が類似度閾値未満ならば(ステップS1302;No)、ステップS1304に進まずステップS1302~ステップS1304のループ処理を終了する。
ステップS1304は、計測条件判定部224が、判定結果テーブルの条件カラムにtrueを記録する処理である。
ステップS1302~ステップS1304のループ処理を全てのカラムについて実行した後、計測条件判定部224は、ステップS1305に進む。
ステップS1305は、計測条件判定部224が、判定結果テーブルの全てのカラムがtrueであるか否かを判定するステップである。trueでないカラムがあるならば(ステップS1305;No)、ステップ1306に進む。全てのカラムがtrueであるならば(ステップS1305;Yes)、ステップS1306に進まず処理を終了する。
ステップS1306は、計測条件判定部224が、深度テーブル231と骨格座標テーブル232を消去するステップである。ステップS1306の後、計測条件判定処理を終了する。
図14は、U/I制御処理の流れを示すフローチャートである。U/I制御部260は、計測条件テーブル241を参照し(ステップS1401)、想定条件テーブル242を参照し(ステップS1402)、類似度テーブル243を参照し(ステップS1403)、判定結果テーブル244を参照する(ステップS1404)。
その後、U/I制御部260は、計測条件、想定条件、類似度、判定結果を示す計測条件確認画面を出力装置116に表示させる(ステップS1405)。ステップS1405の後、U/I制御部260は、計測条件判定の再実行を求める操作を受け付けたか否かを判定する(ステップS1406)。計測条件判定の再実行操作を受け付けたならば(ステップS1406;Yes)、U/I制御部260は、判定制御部225を呼び出す(ステップS1407)。
ステップS1407の後、もしくは計測条件判定の再実行操作を受け付けていない場合(ステップS1406;No)、U/I制御部260は、画面の表示を終了するか否かを判定する(ステップS1408)。画面の表示を終了しない場合には(ステップS1408;No)、ステップS1406に戻る。画面の表示を終了するならば(ステップS1408;Yes)、画面の表示の終了とともに、U/I制御を終了する。
図15は、計測条件確認画面の構成の一例を示す説明図である。図15に示した計測条件確認画面D1500は、設置高、カメラ俯角、歩行距離及び進行方向の各項目について、想定値、計測値、類似度を対比させて表示している。また、類似度が類似度閾値を下回った設置高の項目に関しては、他の項目とは表示態様を異ならせることで、改善すべき項目であることを示している。
さらに、計測条件確認画面D1500は、設置高、カメラ俯角、歩行距離及び進行方向に基づいて、対象と撮影装置200の位置関係を示す図案を生成して表示し、計測条件判定の再実行を求めるための「再計算」ボタンを設けている。
この計測条件確認画面D1500により、操作者は、設置高の改善が必要であることを認識することができる。そして、撮影装置200の設置高を変更し、再度の撮影を行って再計算ボタンを操作すると、変更後の計測条件の評価結果が表示される。これを繰り返すことで、計測条件を想定条件に近づけることが可能である。
本実施例2によれば、計測装置110は、計測条件の類似度を用いることで、撮影場所の制限に応じて計測条件を選択して修正することができる。これにより、大量のデータを収集することなく、撮影場所の制限を考慮しながら、高信頼な分析を実現することが可能となる。
上述してきたように、実施例に開示した計測システムは、対象の計測データを取得する計測データ取得部としてのセンサ117と、前記計測データを処理する処理部としてのプロセッサ111とを有し、前記処理部は、前記計測データから前記対象である生体の骨格を推定し、前記骨格の推定結果を用いて前記計測データに係る計測条件を推定し、前記計測条件と予め想定された想定条件との類似度を求め、前記類似度に基づいて前記対象の状態の評価に係る計測データを選定する。
かかる構成及び動作により、計測システムは、大量のデータを収集することなく、撮影場所の制限を考慮しながら、対象の状態の評価に係るデータを効率的に収集することできる。
また、一例として、前記計測データは、前記対象の歩行を時系列に沿って計測したデータである。この場合、前記計測条件は、前記歩行の進行方向及び/又は距離を含むことができる。
かかる構成及び動作により、歩行の様子、すなわち歩様から対象の状態を評価するためのデータを収集できる。
また、一例として、前記計測データは、カメラにより前記対象を撮影した撮影データを含み、前記計測条件は、前記カメラの設置高さ及び/又は撮影方向を含む。また、前記計測データは、前記撮影データに対応付けられた深度データをさらに含んでもよい。
かかる構成及び動作により、カメラの撮影条件が類似するデータを効率的に収集することができる。
また、開示の計測システムは、前記計測条件と前記想定条件とを対比表示することができる。このため、計測条件を容易に修正し、想定条件に近づけることができる。
また、一例として、前記処理部は、前記計測条件と前記想定条件の差分を正規化した値を用いて前記類似度を求める。また、一例として、前記処理部は、前記類似度と類似度閾値とを比較して前記選定を行う。このため、計測条件が想定条件にどの程度類似するかを簡易に評価し、想定条件に類似する計測条件の下で得られた計測データを選定することができる。
また、一例として、前記処理部は、前記対象の健康状態の評価に係るデータを選定する。選定されたデータは、機械学習モデルの学習及び/又は前記機械学習モデルによる前記健康状態の評価に用いることができる。かかる構成によれば、対象の健康指標を定量化することに寄与する。
以上、本発明の幾つかの実施例を説明したが、それらは本発明の説明のための例示であって、本発明の範囲をそれらの実施例に限定する趣旨ではない。本発明は、他の種々の形態でも実施する事が可能である。
例えば、上記の各実施例では、全ての項目の類似度が類似度閾値以上である計測データを選定する構成を示したが、複数の項目を総合して1つの評価値をもとめ、この評価値により選定を行ってもよい。
また、上記実施例2では、計測データの選定を行う構成に計測条件を評価する構成を付加する場合を示したが、計測条件の評価のみを行う構成として実施してもよい。
また、上記実施例2では、計測装置110の操作者に対して計測条件確認画面を出力する構成を示したが、分析装置100の操作者に計測条件確認画面を出力し、分析装置100の操作者が計測装置110の操作者に計測条件の改善を指示するように構成してもよい。
また、上記の各実施例では、センサ11を計測データ取得部の具体例として説明を行ったが、計測データ取得部はセンサそのものである必要はない。たとえば計測済みのデータを読み込む、他の装置から受信するなど、任意の方法で計測データを取得する構成を採用することができる。
100:分析装置、101:プロセッサ、102:メモリ、103:記憶装置、104:ネットワークインターフェース、110:計測装置、111:プロセッサ、112:メモリ、113:記憶装置、114:ネットワークインターフェース、115:入力装置、116:出力装置、117:センサ、120:ネットワーク、200:撮影装置、210:計測部、211:深度記録部、212:骨格座標推定部、220:判定部、221:計測条件推定部、222:類似度計算部、223:分析対象選定部、224:計測条件判定部、225:判定制御部、230:計測DB、231:深度テーブル、232:骨格座標テーブル、240:判定DB、241:計測条件テーブル、242:想定条件テーブル、243:類似度テーブル、244:判定結果テーブル、250:分析DB、251:分析対象テーブル、260:U/I制御部

Claims (13)

  1. 対象の計測データを取得する計測データ取得部と、
    前記計測データを処理する処理部とを有し、
    前記処理部は、
    前記計測データから前記対象である生体の骨格を推定し、
    前記骨格の推定結果を用いて前記計測データに係る計測条件を推定し、
    前記計測条件と予め想定された想定条件との類似度を求め、
    前記類似度に基づいて前記対象の状態の評価に係る計測データを選定する
    ことを特徴とする計測システム。
  2. 前記計測データは、前記対象の歩行を時系列に沿って計測したデータであることを特徴とする請求項1に記載の計測システム。
  3. 前記計測条件は、前記歩行の進行方向及び/又は距離を含むことを特徴とする請求項2に記載の計測システム。
  4. 前記計測データは、カメラにより前記対象を撮影した撮影データを含み、前記計測条件は、前記カメラの設置高さ及び/又は撮影方向を含むことを特徴とする請求項1に記載の計測システム。
  5. 前記計測データは、前記撮影データに対応付けられた深度データをさらに含むことを特徴とする請求項4に記載の計測システム。
  6. 前記計測条件と前記想定条件とを対比表示する出力制御部をさらに備えたことを特徴とする請求項1に記載の計測システム。
  7. 前記処理部は、前記計測条件と前記想定条件の差分を正規化した値を用いて前記類似度を求めることを特徴とする請求項1に記載の計測システム。
  8. 前記処理部は、前記類似度と類似度閾値とを比較して前記選定を行うことを特徴とする請求項1に記載の計測システム。
  9. 前記処理部は、前記対象の健康状態の評価に係る計測データを選定することを特徴とする請求項1に記載の計測システム。
  10. 前記選定されたデータを、機械学習モデルの学習及び/又は前記機械学習モデルによる前記健康状態の評価に用いることを特徴とする請求項9に記載の計測システム。
  11. 対象の計測データを取得する計測データ取得部と、
    前記計測データを処理する処理部とを有し、
    前記処理部は、
    前記計測データから前記対象である生体の骨格を推定し、
    前記骨格の推定結果を用いて前記計測データに係る計測条件を推定し、
    前記計測条件と予め想定された想定条件との類似度を求め、
    前記類似度に基づいて前記対象の状態の評価に係る計測データを選定する
    ことを特徴とする計測装置。
  12. 対象の計測データを取得する計測データ取得ステップと、
    前記計測データから前記対象である生体の骨格を推定する骨格推定ステップと、
    前記骨格の推定結果を用いて前記計測データに係る計測条件を推定する条件推定ステップと、
    前記計測条件と予め想定された想定条件との類似度を求める類似度算定ステップと、
    前記類似度に基づいて前記対象の状態の評価に係る計測データを選定する選定ステップと
    を含むことを特徴とする計測データ処理方法。
  13. コンピュータに、
    対象の計測データを受け付けるプロセスと、
    前記計測データから前記対象である生体の骨格を推定するプロセスと、
    前記骨格の推定結果を用いて前記計測データに係る計測条件を推定するプロセスと、
    前記計測条件と予め想定された想定条件との類似度を求めるプロセスと、
    前記類似度に基づいて前記対象の状態の評価に係る計測データを選定するプロセスと
    を実行させることを特徴とする計測データ処理プログラム。
JP2021126860A 2021-08-02 2021-08-02 計測システム、計測装置、計測データ処理方法及び計測データ処理プログラム Pending JP2023021782A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021126860A JP2023021782A (ja) 2021-08-02 2021-08-02 計測システム、計測装置、計測データ処理方法及び計測データ処理プログラム
PCT/JP2022/002448 WO2023013099A1 (ja) 2021-08-02 2022-01-24 計測システム、計測装置、計測データ処理方法及び計測データ処理プログラム
US18/580,973 US20240355479A1 (en) 2021-08-02 2022-01-24 Measurement system, measurement apparatus, measurement data processing method, and measurement data processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021126860A JP2023021782A (ja) 2021-08-02 2021-08-02 計測システム、計測装置、計測データ処理方法及び計測データ処理プログラム

Publications (1)

Publication Number Publication Date
JP2023021782A true JP2023021782A (ja) 2023-02-14

Family

ID=85155530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021126860A Pending JP2023021782A (ja) 2021-08-02 2021-08-02 計測システム、計測装置、計測データ処理方法及び計測データ処理プログラム

Country Status (3)

Country Link
US (1) US20240355479A1 (ja)
JP (1) JP2023021782A (ja)
WO (1) WO2023013099A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016162425A (ja) * 2015-03-05 2016-09-05 日本電信電話株式会社 骨格姿勢推定装置、方法、及びプログラム
CN108778123B (zh) * 2016-03-31 2021-04-06 日本电气方案创新株式会社 步态分析装置、步态分析方法和计算机可读记录介质
JP6933110B2 (ja) * 2017-11-29 2021-09-08 富士通株式会社 カメラの外部パラメータの推定方法、推定装置および推定プログラム
US20200273200A1 (en) * 2019-02-25 2020-08-27 Microsoft Technology Licensing, Llc Camera localization based on skeletal tracking

Also Published As

Publication number Publication date
US20240355479A1 (en) 2024-10-24
WO2023013099A1 (ja) 2023-02-09

Similar Documents

Publication Publication Date Title
Müller et al. Validation of enhanced kinect sensor based motion capturing for gait assessment
Hellsten et al. The potential of computer vision-based marker-less human motion analysis for rehabilitation
Schirner et al. An automated pipeline for constructing personalized virtual brains from multimodal neuroimaging data
Berssenbrügge et al. 2D and 3D analysis methods of facial asymmetry in comparison
US20200234444A1 (en) Systems and methods for the analysis of skin conditions
Pang et al. Automatic detection and quantification of hand movements toward development of an objective assessment of tremor and bradykinesia in Parkinson's disease
CN103717122A (zh) 眼科诊断支持设备和眼科诊断支持方法
Zhu et al. A computer vision-based system for stride length estimation using a mobile phone camera
KR20200134502A (ko) 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법 및 시스템
Wu et al. Automatic foot scanning and measurement based on multiple RGB-depth cameras
Fan et al. Reliability of a human pose tracking algorithm for measuring upper limb joints: comparison with photography-based goniometry
Gionfrida et al. Validation of two-dimensional video-based inference of finger kinematics with pose estimation
Sugiyama et al. Types of anomalies in two-dimensional video-based gait analysis in uncontrolled environments
Kour et al. Sensor technology with gait as a diagnostic tool for assessment of Parkinson’s disease: a survey
Huang et al. Image-recognition-based system for precise hand function evaluation
WO2023013099A1 (ja) 計測システム、計測装置、計測データ処理方法及び計測データ処理プログラム
Vignoud et al. Video-based automated analysis of MDS-UPDRS III parameters in Parkinson disease
Artusi et al. Assessment of Axial Postural Abnormalities in Parkinsonism: Automatic Picture Analysis Software
Vivar-Estudillo et al. Tremor Signal Analysis for Parkinson’s Disease Detection Using Leap Motion Device
Bevilacqua et al. A RGB-D sensor based tool for assessment and rating of movement disorders
Okkalidis et al. A review of foot pose and trajectory estimation methods using inertial and auxiliary sensors for kinematic gait analysis
Criss et al. Video assessment of finger tapping for Parkinson's disease and other movement disorders
JP7198196B2 (ja) 計測装置及び計測方法
CN113785562A (zh) 基于用户设备的帕金森病检测
US20240315637A1 (en) System and method for whole-body balance assessment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240215