JP2022019373A - 情報処理システム、情報処理装置、およびプログラム - Google Patents

情報処理システム、情報処理装置、およびプログラム Download PDF

Info

Publication number
JP2022019373A
JP2022019373A JP2020123169A JP2020123169A JP2022019373A JP 2022019373 A JP2022019373 A JP 2022019373A JP 2020123169 A JP2020123169 A JP 2020123169A JP 2020123169 A JP2020123169 A JP 2020123169A JP 2022019373 A JP2022019373 A JP 2022019373A
Authority
JP
Japan
Prior art keywords
posture
user
data
information processing
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020123169A
Other languages
English (en)
Other versions
JP7298561B2 (ja
Inventor
由里香 田中
Yurika Tanaka
修一 澤田
Shuichi Sawada
伸 桜田
Shin Sakurada
康寛 馬場
Yasuhiro Baba
慎太郎 松谷
Shintaro MATSUTANI
友哉 牧野
Tomoya Makino
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020123169A priority Critical patent/JP7298561B2/ja
Priority to US17/362,175 priority patent/US11694571B2/en
Priority to CN202110795130.9A priority patent/CN113947808A/zh
Publication of JP2022019373A publication Critical patent/JP2022019373A/ja
Application granted granted Critical
Publication of JP7298561B2 publication Critical patent/JP7298561B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】姿勢を矯正するための情報提供を行う。【解決手段】情報処理システムにおいて、ユーザが取っている第一の姿勢をセンシングするセンサと、人の姿勢に関連する姿勢データを記憶する記憶部と、前記センサから取得したセンサデータと、前記姿勢データと、に基づいて、前記ユーザに対する、前記ユーザの身体に及ぶ悪影響に関連するアドバイスを生成することと、を実行する制御部を利用する。【選択図】図１

Description

本発明は、ユーザを補助する技術に関する。
ユーザが取っている姿勢に問題があることを検出するための技術がある。例えば、特許文献１には、エスカレータにおいて、スマートフォンを操作しながら乗っているユーザがいることを検出し、乗車姿勢に問題があることを当該ユーザに通知する装置が開示されている。
特許第６２７１６９８号公報
猫背や反り腰といった、身体に悪影響があるような様々な姿勢を矯正したいという要望がある。しかし、問題がある姿勢を検出することはできても、どのような姿勢を取れば身体に対する悪影響を軽減できるのかをユーザに知らせることができない。
本発明は、姿勢を矯正するための情報提供を行う技術を提供することを目的とする。
本開示の第一の様態は、ユーザが取っている第一の姿勢をセンシングするセンサと、人の姿勢に関連する姿勢データを記憶する記憶部と、前記センサから取得したセンサデータと、前記姿勢データと、に基づいて、前記ユーザに対する、前記ユーザの身体に及ぶ悪影響に関連するアドバイスを生成することと、を実行する制御部と、を有する、情報処理システムである。
また、本開示の第二の様態は、人の姿勢に関連する姿勢データを記憶する記憶部と、ユーザが取っている第一の姿勢をセンシングするセンサから取得したセンサデータと、前記姿勢データと、に基づいて、前記ユーザに対する、前記ユーザの身体に及ぶ悪影響に関連するアドバイスを生成することと、を実行する制御部と、を有する、情報処理装置である。
また、本開示の第三の様態は、人の姿勢に関連する姿勢データを取得することと、ユーザが取っている第一の姿勢をセンシングするセンサから取得したセンサデータと、前記姿勢データと、に基づいて、前記ユーザに対する、前記ユーザの身体に及ぶ悪影響に関連するアドバイスを生成することと、をコンピュータに実行させるためのプログラムである。
また、他の態様として、上記の情報処理装置が実行する情報処理方法、または、上記のプログラムを非一時的に記憶したコンピュータ可読記憶媒体が挙げられる。
本発明によれば、姿勢を矯正するための情報提供を行うことができる。
情報処理システムの概要を説明する図。 第一の実施形態に係る情報処理システムの構成要素を詳細に示した図。 センシングされたユーザの姿勢を説明する図。 姿勢判定部が行う姿勢分類処理を説明する図。 記憶部に記憶される評価データを説明する図。 入出力部を介して出力されるアドバイスの例。 第一の実施形態において制御部が実行する処理のフローチャート。 第二の実施形態に係る情報処理システムの構成要素を詳細に示した図。 行動判定部が行う行動分類処理を説明する図。 第二の実施形態における評価データを説明する図。 第二の実施形態において制御部が実行する処理のフローチャート。
好ましくない姿勢を検出し、ユーザに通知する装置が知られている。しかし、このような装置においては、補助的な情報を出力することはできるが、どのように姿勢を矯正すべきかをユーザに通知することはできない。
本実施形態に係る情報処理システムは、ユーザが好ましくない姿勢を取っていることを検出し、当該ユーザに、当該姿勢についての詳細な情報を提供するシステムである。
具体的には、ユーザが取っている第一の姿勢をセンシングするセンサと、人の姿勢に関連する姿勢データを記憶する記憶部と、前記センサから取得したセンサデータと、前記姿勢データと、に基づいて、前記ユーザに対する、前記ユーザの身体に及ぶ悪影響に関連するアドバイスを生成することと、を実行する制御部と、を有することを特徴とする。
センサは、ユーザが取っている姿勢をセンシングすることができれば、画像センサであってもよいし、距離センサなどであってもよい。
姿勢データは、人の姿勢に関するデータであって、典型的には、センシングによって得られたユーザの姿勢を評価するためのデータである。制御部は、センシングによって得られたセンサデータと、記憶された姿勢データに基づいて、ユーザの身体に及ぶ悪影響に関するアドバイスを生成する。例えば、着座姿勢が悪く、腰に負担がかかっていることや、椎間板ヘルニアなどの疾病リスクが増す旨のアドバイスを生成する。かかる構成によると、現在の姿勢が身体にどのような影響を与えるか、どのようなリスクがあるか、または、どのようにすればリスクが改善するかをユーザに伝達することができる。
なお、前記制御部は、前記第一の姿勢を取ることで前記ユーザの身体に及ぶ悪影響を推定したうえで前記アドバイスを生成してもよい。
また、前記制御部は、前記センサデータから得られた特徴量に基づいて、前記第一の姿勢を分類することを特徴としてもよい。
姿勢は、センシングによって得られた特徴量を分類することで特定することができる。例えば、（好ましい姿勢や、好ましくない姿勢を含む）複数の姿勢を識別可能な機械学習モデルを利用して、分類結果を得るようにしてもよい。
また、前記姿勢データは、前記第一の姿勢と、前記身体に及ぶ悪影響の内容とを関連付けたデータであることを特徴としてもよい。
悪影響の内容とは、典型的には、疾病リスクに関する情報である。かかる構成によると、特定の姿勢を取っているユーザに対して、具体的なリスクの内容を通知することが可能になる。
また、前記姿勢データは、前記第一の姿勢と、複数の身体部位のうちの少なくとも一つにかかる負荷の大きさをさらに関連付けたデータであり、前記制御部は、前記負荷の大きさを示した前記アドバイスを生成することを特徴としてもよい。
特定の身体部位にかかる負荷の大きさを取得することで、ユーザに対して具体的なアドバイスを行うことが可能になる。
また、前記制御部は、前記姿勢データに基づいて、前記身体に及ぶ悪影響を解消する姿勢の正し方を取得することを特徴としてもよい。
また、前記制御部は、前記第一の姿勢を、前記悪影響を解消する第二の姿勢にするための身体部位の移動方法を含む前記アドバイスを生成することを特徴としてもよい。
これにより、例えば、「後傾姿勢を取る」、「椅子に深く腰掛ける」、といった姿勢の正し方や、「あごを引く」といった身体部位の具体的な移動方法をユーザに教示することができ、姿勢の改善を促すことが可能になる。
また、前記制御部は、前記ユーザが取っている行動をさらに判定することを特徴としてもよい。
また、前記姿勢データは、前記ユーザが取っている行動ごとに定義されたデータであり、前記制御部は、前記ユーザが取っている行動に基づいて、対応する前記姿勢データを選択することを特徴としてもよい。
ユーザが取っている姿勢が妥当なものであるか否かは、当該ユーザの行動に基づいて判定することが好ましい。例えば、前かがみの姿勢が検出された場合であっても、ユーザが洗面中であった場合、当該姿勢は一時的なものであるため、問題視すべきではない。反対に、ユーザが取っている行動が「デスクワーク」であって、着座した状態の同一姿勢が長時間続いた場合、改善を促したほうがよい。
このように、ユーザが取っている行動を判定することで、より適切なアドバイスを提供することが可能になる。
また、前記制御部は、時系列で取得した前記センサデータに基づいて、前記ユーザが取っている行動を判定することを特徴としてもよい。
姿勢を判定するためのデータを時間軸方向に拡張することで、ユーザの行動をより精度よく判定することが可能になる。
また、前記センサは、建物に設置された複数のセンサを含み、前記制御部は、前記ユーザを捉えた前記センサの設置箇所に基づいて、前記ユーザが取っている行動を絞り込むことを特徴としてもよい。
ユーザの行動は、センサの設置箇所に基づいて絞り込むことができる。例えば、センサがダイニングキッチンに設置されている場合、行動は「食事」や「料理」などに絞り込むことができる。また、センサがリビングに設置されている場合、行動は「ソファーへの着座」などに絞り込むことができる。これにより、行動の判定精度を向上させることができる。
以下、図面に基づいて、本開示の実施の形態を説明する。以下の実施形態の構成は例示であり、本開示は実施形態の構成に限定されない。
（第一の実施形態）
第一の実施形態に係る情報処理システムの概要について、図１を参照しながら説明する。本実施形態に係る情報処理システムは、ユーザの姿勢を評価する評価装置１００と、屋内においてユーザをセンシングする複数のセンサからなるセンサ群２００と、を含んで構成される。
評価装置１００は、ユーザが取っている姿勢を評価する装置である。評価装置１００は、所定の施設内（例えば、ユーザの自宅）に設置された複数のセンサを用いて、ユーザが
取っている姿勢を判定する。また、判定された姿勢を評価し、好ましくない姿勢が検出された場合に、ユーザに対するアドバイスを生成し、出力する。
なお、図１の例では、評価装置１００が屋内に設置されているが、評価装置１００の設置場所は遠隔地であってもよい。また、一台の評価装置１００が、複数のユーザ（それぞれが異なる施設内にいてもよい）を管轄してもよい。
図２は、本実施形態に係る情報処理システムの構成要素をより詳細に示した図である。ここではまず、センサ群２００に含まれるセンサについて説明する。
センサ群２００は、屋内に設置された複数のセンサを含んで構成される。複数のセンサは、ユーザの姿勢を検出するためのデータを取得可能なものであれば、その種類は問わない。例えば、可視光画像や赤外線画像を取得するカメラ（画像センサ）であってもよいし、距離画像センサであってもよい。また、これらの組み合わせであってもよい。
複数のセンサは、センサデータを出力可能に構成される。センサが画像センサである場合、センサデータは画像データであってもよい。
センサ群２００に含まれるセンサは、ユーザの行動範囲をセンシングできるよう、複数の箇所にそれぞれ設置されていることが好ましい。例えば、ユーザの自宅が対象である場合、複数の部屋にセンサが設置されていてもよい。
なお、本実施形態では屋内を例示するが、センサの設置箇所は屋内に限られない。例えば、屋外で作業を行うユーザをセンシング対象としてもよい。
また、本実施形態では、所定の施設としてユーザの自宅を例示するが、評価装置１００に関連付いた建物は、任意の施設であってもよく、自宅に限られない。
評価装置１００は、ユーザをセンシングして得られたセンサデータと、予め記憶された姿勢に関するデータと、に基づいて、ユーザが取っている姿勢の好ましさを評価する。
評価装置１００は、汎用のコンピュータにより構成することができる。すなわち、評価装置１００は、ＣＰＵやＧＰＵ等のプロセッサ、ＲＡＭやＲＯＭ等の主記憶装置、ＥＰＲＯＭ、ハードディスクドライブ、リムーバブルメディア等の補助記憶装置を有するコンピュータとして構成することができる。なお、リムーバブルメディアは、例えば、ＵＳＢメモリ、あるいは、ＣＤやＤＶＤのようなディスク記録媒体であってもよい。補助記憶装置には、オペレーティングシステム（ＯＳ）、各種プログラム、各種テーブル等が格納され、そこに格納されたプログラムを主記憶装置の作業領域にロードして実行し、プログラムの実行を通じて各構成部等が制御されることによって、後述するような、所定の目的に合致した各機能を実現することができる。ただし、一部または全部の機能はＡＳＩＣやＦＰＧＡのようなハードウェア回路によって実現されてもよい。
制御部１０１は、評価装置１００が行う制御を司る演算装置である。制御部１０１は、ＣＰＵなどの演算処理装置によって実現することができる。
制御部１０１は、データ取得部１０１１と、特徴量算出部１０１２と、姿勢判定部１０１３と、評価部１０１４の４つの機能モジュールを有して構成される。各機能モジュールは、記憶されたプログラムをＣＰＵによって実行することで実現してもよい。
データ取得部１０１１は、センサ群２００に含まれるセンサからセンサデータを取得する。取得するセンサデータは、画像データ（可視光画像や赤外線画像）であってもよいし、距離画像データであってもよい。また、これらのうちの二つ以上の組み合わせであってもよい。また、データ取得部１０１１は、ユーザを検出したセンサの識別子を取得してもよい。データ取得部１０１１が取得したセンサデータは、特徴量算出部１０１２へ送信される。なお、センサデータが、ユーザの存在を示していない場合、データ取得部１０１１は、取得したセンサデータを破棄してもよい。
特徴量算出部１０１２は、データ取得部１０１１が取得したセンサデータ（例えば、画像データや距離画像データ）を、人の姿勢を表す特徴量に変換する。
人の姿勢を表す特徴量を算出する代表的な方法として、身体部位の座標を利用する方法がある。例えば、センサデータを解析することで、頭、首、左右の肩、左右の肘、左右の掌、左右の股関節といった身体部位を検出し、対応する座標（例えば、対象である身体部位の中心に対応する２次元座標または３次元座標）を取得する。図３は、椅子に着座しているユーザの、複数の身体部位の３次元座標を例示した図である。３次元座標は、例えば、可視光画像から検出された各身体部位の２次元座標に、距離画像に基づいて得られた奥行き情報を与えることで取得することができる。
さらに、身体部位の検出は、例えば、所定の身体部位を検出するための識別器を利用して行ってもよい。例えば、Ｍ個の身体部位の２次元座標(xm,ym) (m=1,2,…,M)に奥行き情報zm (m=1,2,…,M)を加えたデータを教師データとして用い、Ｍ個の身体部位の２次元座
標または３次元座標を検出するための識別器を構築する。そして、当該識別器にセンサデータを入力することで、Ｍ個の身体部位の２次元座標(xm,ym)または３次元座標(xm,ym,zm) (m=1,2,…,M)を取得することができる。
なお、本例では、所定の身体部位の座標を検出する例を挙げたが、人の姿勢に関連するものであれば、検出対象はこれ以外であってもよい。例えば、人の骨格を検出するようにしてもよい。
特徴量算出部１０１２は、このようにして得られた複数の座標を特徴量に変換する。特徴量は、例えば、複数の座標の集合（ベクトル）であってもよい。
また、特徴量は、複数の人体部位間の距離の大きさの順位に基づく値であってもよい。例えば、複数の人体部位について、全ての組み合わせを生成し、各ペアについて、身体部位間の距離を算出し、得られた距離の順位を特徴量とすることができる。式（１）は、検出対象の身体部位が１０個であった場合における特徴量Ｆの例である。
Ｆ＝(R(D(1,2)), R(D(1,3)), R(D(1,4)),…, R(D(8,9)), R(D(9,10))) ・・・式（１）
ここで、D(m,n)は、ｍ番目の身体部位とｎ番目の身体部位との画像空間上におけるユークリッド距離、R(D(m,n))は、D(1,2),D(1,3),...,D(8,9),D(9,10)を降順に並び替えたと
きのD(m,n)の順位をそれぞれ表す。
身体部位間の距離の大きさの順位に基づいた特徴量は、スケール変換や位置の微少な変動に対して頑強であるという利点がある。
姿勢判定部１０１３は、特徴量算出部１０１２が算出した特徴量に基づいて、ユーザの姿勢を所定のクラスに分類する。本実施形態では、検出対象である複数の姿勢（クラス）を予め定義し、それぞれのクラスに対してクラス分類を行う識別器（姿勢分類器１０２Ａ）を事前に構築したうえで、当該識別器を用いて姿勢の分類を行う。姿勢分類器１０２Ａは、後述する記憶部１０２に記憶される。
図４は、姿勢判定部１０１３が行う分類処理を説明する図である。姿勢判定部１０１３は、取得した特徴量を姿勢分類器１０２Ａに入力し、分類結果を出力として取得する。本例の場合、例えば、「着座かつ前傾姿勢（姿勢クラス：Ｃ００１）」という分類結果が取得される。図示したように、検出対象である複数の姿勢は、望ましい姿勢と、望ましくない姿勢の双方を含んでいてもよい。
評価部１０１４は、姿勢判定部１０１３が行った分類結果と、後述する評価データ１０２Ｂに基づいて、ユーザが取っている姿勢の良し悪しを評価する。また、評価結果に基づ
いて、当該ユーザに対するアドバイスを生成し、出力する。
具体的な方法については、評価データ１０２Ｂの例とともに後述する。
記憶部１０２は、主記憶装置と補助記憶装置を含んで構成される。主記憶装置は、制御部１０１によって実行されるプログラムや、当該制御プログラムが利用するデータが展開されるメモリである。補助記憶装置は、制御部１０１において実行されるプログラムや、当該制御プログラムが利用するデータが記憶される装置である。
記憶部１０２は、前述した姿勢分類器１０２Ａを記憶する。姿勢分類器１０２Ａは、予め構築された機械学習モデルであって、入力された特徴量を、予め定義された複数の姿勢クラスのうちのいずれかに分類する。
さらに、記憶部１０２は、分類結果に基づいて姿勢を評価するためのデータ（評価データ１０２Ｂ）を記憶する。評価データ１０２Ｂは、ユーザがどのような姿勢を取っている場合に、当該ユーザの身体にどのような影響があるかを関連付けたデータである。図５は、評価データ１０２Ｂの一例である。
図５の例では、各姿勢に関連付けられた識別子（姿勢クラス）ごとに、評価値、影響部位、負荷量、影響内容、および改善策が関連付けられている。
評価値は、姿勢の好ましさを表す値（例えば、０～１００の整数）である。
影響部位は、悪影響のある身体部位を表す。影響部位を参照することで、例えば、腰に負荷がかかることや、首に負荷がかかることがわかる。
負荷量は、特定の身体部位にかかっている負荷の量を表す。本例では、例えば、クラスがＣ００３である姿勢を続けた場合、腰に体重×０．３ｋｇの負荷がかかることがわかる。
影響内容は、具体的な悪影響の内容を表す。例えば、「（腰に負荷がかかった場合）椎間板ヘルニアに罹患するおそれがある」、「（首が前傾している場合）ストレートネックになるおそれがある」といった情報が格納される。
改善策は、身体に対する悪影響を軽減するための方策に関する情報である。例えば、「腰への負担を軽減するため、椅子に深く腰掛けるべきである」、「ストレートネックを予防するため、首を引いた姿勢を取るべきである」といった情報が格納される。
評価部１０１４は、評価データ１０２Ｂに基づいて、現在ユーザが取っている姿勢による、身体に対する悪影響に関する情報を取得し、当該悪影響を軽減するための方策に関するアドバイスを生成し、後述する入出力部１０３を介して出力する。
評価部１０１４は、例えば、影響部位、影響内容、改善策などを含んだユーザインタフェース画面を生成し、提供する。図６（Ａ）は、出力されるユーザインタフェース画面の例である。なお、アドバイスには、評価値や負荷量に関する情報を含めてもよい。
入出力部１０３は、情報の入出力を行うためのインタフェースである。入出力部１０３は、例えば、ディスプレイ装置やタッチパネルを有して構成される。入出力部１０３は、キーボード、近距離通信手段、タッチスクリーンなどを含んでいてもよい。さらに、入出力部１０３は、音声を入出力する手段を含んでいてもよい。
入出力部１０３は、所定の装置と通信を行う機能を有していてもよい。例えば、入出力部１０３を、ユーザが携帯する端末（ユーザ端末）と無線通信を行うように構成してもよい。例えば、生成したアドバイスを、ユーザが携帯する端末に伝送することで、迅速な情報伝達が可能になる。
さらに、入出力部１０３が通信を行う相手は、複数のユーザ端末と通信可能なサーバ装
置であってもよい。この場合、入出力部１０３は、ユーザを識別する情報とともに、アドバイスをサーバ装置に送信してもよい。例えば、サーバ装置が、対象のユーザ端末に対してアドバイスをプッシュ送信することで、ユーザに対してアドバイスを効率よく伝達することができる。
次に、制御部１０１によって行われる処理をより詳しく説明する。図７は、制御部１０１が行う処理のフローチャートである。
まず、ステップＳ１１で、データ取得部１０１１が、センサ群２００に含まれるセンサから送信されたセンサデータを取得する。データ取得部１０１１は、姿勢の判定が行えるだけの量のデータが収集できるまで、センサデータを一時的に蓄積する、
次に、ステップＳ１２で、特徴量算出部１０１２が、センサデータを特徴量に変換する。
ステップＳ１３では、姿勢判定部１０１３が、得られた特徴量を姿勢分類器１０２Ａに入力し、分類結果を取得する。
ステップＳ１４では、評価部１０１４が、取得した分類結果に基づいて、姿勢に対する評価を取得する。
ステップＳ１５では、評価部１０１４が、取得した評価（評価値）が、所定の閾値（例えば、８５）を下回っている状態が所定の時間（例えば、３分）以上継続しているか否かを判定する。ここで、取得した評価値が所定の閾値を下回っている状態が所定の時間以上継続していた場合、評価部１０１４は、影響部位および影響内容を含むアドバイスを生成し、入出力部１０３を介して出力する。なお、評価データに改善策が含まれていた場合、評価部１０１４は、改善策に関するアドバイスを生成してもよい。
取得した評価値が所定の閾値を下回っていない場合、または、当該評価値が所定の閾値を下回っている状態が所定の時間以上継続していない場合、処理はステップＳ１１へ戻る。
なお、ユーザがアドバイスに従って姿勢を変え、評価値が閾値を上回ると、アドバイスの出力は停止する。よって、ユーザは、現在の姿勢が好ましいものになったことをリアルタイムで知ることができる。
以上説明したように、第一の実施形態に係る評価装置１００は、屋内に設置された複数のセンサによってユーザの姿勢を検出し、当該姿勢に起因して当該ユーザの身体に及ぶ悪影響を推定し、当該ユーザに通知する。かかる構成によると、屋内においてユーザが好ましくない姿勢を取っていることを、当該ユーザに対してリアルタイムで通知することができ、ユーザの健康に資することができる。
（第二の実施形態）
第一の実施形態に係る評価装置１００は、既定の姿勢が所定の時間以上続いた場合に、ユーザに対するアドバイスを生成して出力する。しかし、ユーザの行動によっては、アドバイスが適切になされないケースが発生しうる。例えば、ユーザが洗面を行っていた場合、一時的に前かがみの姿勢が検出されるが、洗面中であるユーザに対して、前かがみの姿勢を避けるべき旨のアドバイスを行うことは適切ではない。
第二の実施形態は、これに対応するため、ユーザが行っている行動を識別し、識別された行動ごとに異なる基準を用いて、姿勢に対する評価を行う実施形態である。
図８は、第二の実施形態に係る情報処理システムの構成概要図である。第二の実施形態に係る評価装置１００（制御部１０１）は、行動判定部１０１５をさらに有しているという点において第一の実施形態と相違する。また、第二の実施形態に係る評価装置１００（
記憶部１０２）は、行動分類器１０２Ｃをさらに記憶しているという点において第一の実施形態と相違する。
行動判定部１０１５は、データ取得部１０１１が取得したセンサデータに基づいて、行動分類器１０２Ｃを用いて、ユーザが行っている行動を判定する。
行動分類器１０２Ｃは、予め構築された機械学習モデルであって、入力された特徴量を、予め定義された複数の行動クラスのうちのいずれかに分類する。行動分類器１０２Ｃは、記憶部１０２に記憶される。
図９は、行動判定部１０１５が行う分類処理を説明する図である。
ユーザが行っている行動は、センサデータ、ないし、センサデータから得られた特徴量に基づいて判定することができる。なお、ある一時点におけるセンサデータのみでは、ユーザの行動を判定することが難しい場合がある。この場合、一連の動作に基づいて行動の判定を行うようにしてもよい。例えば、所定の周期でセンサデータを取得し、蓄積されたセンサデータを時系列の特徴量に変換し、時系列形式の特徴量を用いて行動の判定を行うようにしてもよい。
さらに、ユーザが行っている行動を判定する際に、当該ユーザをセンシングしているセンサの識別子を併用してもよい。例えば、洗面室に設けられたセンサがユーザを捉えた場合、当該ユーザは、洗面、歯磨き、脱衣などを行っている可能性が高い。また、ダイニングキッチンに設けられたセンサがユーザを捉えた場合、当該ユーザは、飲食や料理などを行っている可能性が高い。反対に、洗面室で料理を行う可能性は無い。よって、ユーザを捉えたセンサの識別子（センサＩＤ）を、行動判定部１０１５に対する入力データとし、行動判定部１０１５が、センサの識別子を用いてユーザの行動を絞り込むようにしてもよい。これにより、より精度よくユーザの行動を判定することが可能になる。
第二の実施形態では、評価部１０１４が、判定された行動ごとに異なる評価データ１０２Ｂを用いて評価を行う。図１０は、行動ごとに定義された評価データ１０２Ｂの例である。ここでは、「デスクワーク」という行動に対応する評価データと、「立ち仕事」という行動に対応する評価データを例示している。
次に、第二の実施形態において制御部１０１が行う処理をより詳しく説明する。図１１は、第二の実施形態において制御部１０１が行う処理のフローチャートである。
ステップＳ１１～Ｓ１３の処理は、第一の実施形態と同様であるため、詳細な説明は省略する。
ステップＳ１３Ａでは、行動判定部１０１５が、ステップＳ１２において取得された特徴量に基づいて、行動分類器１０２Ｃを用いて、行動の分類結果を取得する。ここで利用される特徴量は、時系列形式のデータであってもよい。
次に、ステップＳ１４Ａで、評価部１０１４が、ユーザの行動に基づいて当該ユーザの姿勢を評価する。具体的には、評価データ１０２Ｂから、判定された行動に適合するものを抽出し、第一の実施形態と同様の方法によって評価を実行する。
ステップＳ１５以降の処理は、第一の実施形態と同様である。
以上説明したように、第二の実施形態では、ユーザが行っている行動をさらに取得し、行動に応じた基準を利用して姿勢の評価を行う。かかる構成によると、ユーザが様々な行動を行う可能性がある屋内において、適切なアドバイスを生成および提供することができる。
（第三の実施形態）
第一および第二の実施形態に係る評価装置１００は、現在の姿勢に問題がある旨のアドバイスをユーザに提供することができる。
第三の実施形態は、これに加え、ユーザの姿勢を表したグラフィックを生成し、アドバイスと同時に出力する実施形態である。
第三の実施形態では、評価部１０１４が、特徴量の算出過程で得られた、身体部位の座標に基づいて、現在のユーザの姿勢を表すグラフィックを生成し、ステップＳ１６において出力する。図６（Ｂ）は、ステップＳ１６で出力される画面の例である。図示したように、身体部位の座標を表したグラフィックを生成することで、ユーザは、現在取っている姿勢のどこに問題があるのかを直感的に知ることができる。
なお、当該グラフィックは、理想的な身体部位の位置をオーバーレイしたものであってもよい（例えば、点線で図示）。これにより、ユーザは、どのように姿勢を修正すべきかを知ることができる。理想的な身体部位の位置に関する情報は、例えば、評価データ１０２Ｂに含ませることができる。
（変形例）
上記の実施形態はあくまでも一例であって、本開示はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
例えば、本開示において説明した処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
また、実施形態の説明では、センサデータに基づいて得られた特徴量を、予め定義された所定の姿勢に分類したが、ユーザが、特徴的な姿勢を取っていることを検出することができれば、分類処理は必ずしも必要ではない。例えば、特徴量の一部（例えば、人の骨格のうち背骨に該当する部分）が、既定の条件（例えば、猫背に該当する湾曲度）を満たす場合に、対応する姿勢を取っていると判定してもよい。
また、実施形態の説明では、ステップＳ１５における所定の時間（アドバイスを出力するまでの時間）を固定値としたが、当該時間は、姿勢ごとに異なっていてもよい。例えば、身体部位に極端に負荷がかかる姿勢が取られた場合、短時間でアドバイスを出力するようにしてもよい。これにより、例えば、誤った姿勢で重量物を持ち上げているなど、急性的な疾患（ぎっくり腰等）のおそれがあることを短時間でユーザに通知することができる。反対に、身体部位にかかる負荷が低い場合、アドバイスを出力するまでの時間を長くしてもよい。これにより、例えば、デスクワークで長時間の着座姿勢が続いている場合などに、慢性的な疾患（慢性腰痛等）のおそれがあることをユーザに通知することができる。
このような時間の閾値は、評価データ１０２Ｂに定義してもよい。さらに、当該時間の閾値は、行動別に定義してもよい。
また、１つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。あるいは、異なる装置が行うものとして説明した処理が、１つの装置によって実行されても構わない。コンピュータシステムにおいて、各機能をどのようなハードウェア構成（サーバ構成）によって実現するかは柔軟に変更可能である。
本開示は、上記の実施形態で説明した機能を実装したコンピュータプログラムをコンピュータに供給し、当該コンピュータが有する１つ以上のプロセッサがプログラムを読み出して実行することによっても実現可能である。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な非一時的なコンピュータ可読記憶媒体によってコンピュータに提供されてもよいし、ネットワークを介してコンピュータに提供されてもよい。非一時的なコンピュータ可読記憶媒体は、例えば、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクドライブ（ＨＤＤ）等）、光ディスク（ＣＤ－ＲＯＭ、
ＤＶＤディスク・ブルーレイディスク等）など任意のタイプのディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、フラッシュメモリ、光学式カード、電子的命令を格納するために適した任意のタイプの媒体を含む。
１００・・・評価装置
１０１・・・制御部
１０２・・・記憶部
２００・・・センサ群

Claims (22)

  1. ユーザが取っている第一の姿勢をセンシングするセンサと、
    人の姿勢に関連する姿勢データを記憶する記憶部と、
    前記センサから取得したセンサデータと、前記姿勢データと、に基づいて、
    前記ユーザに対する、前記ユーザの身体に及ぶ悪影響に関連するアドバイスを生成することと、
    を実行する制御部と、
    を有する、情報処理システム。
  2. 前記制御部は、前記センサデータから得られた特徴量に基づいて、前記第一の姿勢を分類する、
    請求項１に記載の情報処理システム。
  3. 前記姿勢データは、前記第一の姿勢と、前記身体に及ぶ悪影響の内容とを関連付けたデータである、
    請求項１または２に記載の情報処理システム。
  4. 前記姿勢データは、前記第一の姿勢と、複数の身体部位のうちの少なくとも一つにかかる負荷の大きさをさらに関連付けたデータであり、
    前記制御部は、前記負荷の大きさを示した前記アドバイスを生成する、
    請求項３に記載の情報処理システム。
  5. 前記制御部は、前記姿勢データに基づいて、前記身体に及ぶ悪影響を解消する姿勢の正し方を取得する、
    請求項１から４のいずれか１項に記載の情報処理システム。
  6. 前記制御部は、前記第一の姿勢を、前記悪影響を解消する第二の姿勢にするための身体部位の移動方法を含む前記アドバイスを生成する、
    請求項５に記載の情報処理システム。
  7. 前記制御部は、前記ユーザが取っている行動をさらに判定する、
    請求項１から６のいずれか１項に記載の情報処理システム。
  8. 前記制御部は、時系列で取得した前記センサデータに基づいて、前記ユーザが取っている行動を判定する、
    請求項７に記載の情報処理システム。
  9. 前記姿勢データは、前記ユーザが取っている行動ごとに定義されたデータであり、
    前記制御部は、前記ユーザが取っている行動に基づいて、対応する前記姿勢データを選択する、
    請求項７または８に記載の情報処理システム。
  10. 前記センサは、建物に設置された複数のセンサを含み、
    前記制御部は、前記ユーザを捉えた前記センサの設置箇所に基づいて、前記ユーザが取っている行動を絞り込む、
    請求項７から９のいずれか１項に記載の情報処理システム。
  11. 前記制御部は、前記センサから取得したセンサデータと、前記姿勢データと、に基づいて、前記第一の姿勢を取ることで前記ユーザの身体に及ぶ悪影響を推定する、
    請求項１から１０のいずれか１項に記載の情報処理システム。
  12. 人の姿勢に関連する姿勢データを記憶する記憶部と、
    ユーザが取っている第一の姿勢をセンシングするセンサから取得したセンサデータと、前記姿勢データと、に基づいて、前記ユーザに対する、前記ユーザの身体に及ぶ悪影響に関連するアドバイスを生成することと、
    を実行する制御部と、
    を有する、情報処理装置。
  13. 前記制御部は、前記センサデータから得られた特徴量に基づいて、前記第一の姿勢を分類する、
    請求項１２に記載の情報処理装置。
  14. 前記姿勢データは、前記第一の姿勢と、前記身体に及ぶ悪影響の内容とを関連付けたデータである、
    請求項１２または１３に記載の情報処理装置。
  15. 前記姿勢データは、前記第一の姿勢と、複数の身体部位のうちの少なくとも一つにかかる負荷の大きさをさらに関連付けたデータであり、
    前記制御部は、前記負荷の大きさを示した前記アドバイスを生成する、
    請求項１４に記載の情報処理装置。
  16. 前記制御部は、前記姿勢データに基づいて、前記身体に及ぶ悪影響を解消する姿勢の正し方を取得する、
    請求項１２から１５のいずれか１項に記載の情報処理装置。
  17. 前記制御部は、前記第一の姿勢を、前記悪影響を解消する第二の姿勢にするための身体部位の移動方法を含む前記アドバイスを生成する、
    請求項１６に記載の情報処理装置。
  18. 前記制御部は、前記ユーザが取っている行動をさらに判定する、
    請求項１２から１７のいずれか１項に記載の情報処理装置。
  19. 前記制御部は、時系列で取得した前記センサデータに基づいて、前記ユーザが取っている行動を判定する、
    請求項１８に記載の情報処理装置。
  20. 前記姿勢データは、前記ユーザが取っている行動ごとに定義されたデータであり、
    前記制御部は、前記ユーザが取っている行動に基づいて、対応する前記姿勢データを選択する、
    請求項１８または１９に記載の情報処理装置。
  21. 前記制御部は、前記センサから取得したセンサデータと、前記姿勢データと、に基づいて、前記第一の姿勢を取ることで前記ユーザの身体に及ぶ悪影響を推定する、
    請求項１２から２０のいずれか１項に記載の情報処理装置。
  22. 人の姿勢に関連する姿勢データを取得することと、
    ユーザが取っている第一の姿勢をセンシングするセンサから取得したセンサデータと、前記姿勢データと、に基づいて、前記ユーザに対する、前記ユーザの身体に及ぶ悪影響に関連するアドバイスを生成することと、
    を、コンピュータに実行させるためのプログラム。
JP2020123169A 2020-07-17 2020-07-17 情報処理システム、情報処理装置、およびプログラム Active JP7298561B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020123169A JP7298561B2 (ja) 2020-07-17 2020-07-17 情報処理システム、情報処理装置、およびプログラム
US17/362,175 US11694571B2 (en) 2020-07-17 2021-06-29 Information processing system, information processing apparatus, and non-transitory storage medium
CN202110795130.9A CN113947808A (zh) 2020-07-17 2021-07-14 信息处理系统、信息处理装置以及非临时性存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020123169A JP7298561B2 (ja) 2020-07-17 2020-07-17 情報処理システム、情報処理装置、およびプログラム

Publications (2)

Publication Number Publication Date
JP2022019373A true JP2022019373A (ja) 2022-01-27
JP7298561B2 JP7298561B2 (ja) 2023-06-27

Family

ID=79292613

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020123169A Active JP7298561B2 (ja) 2020-07-17 2020-07-17 情報処理システム、情報処理装置、およびプログラム

Country Status (3)

Country Link
US (1) US11694571B2 (ja)
JP (1) JP7298561B2 (ja)
CN (1) CN113947808A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023223880A1 (ja) * 2022-05-19 2023-11-23 パナソニックＩｐマネジメント株式会社 姿勢評価装置、個室ブース、及び姿勢評価方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100228488A1 (en) * 2009-03-05 2010-09-09 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Postural information system and method
WO2013172173A1 (ja) * 2012-05-18 2013-11-21 日産自動車株式会社 運転支援装置および道路地図情報構築方法
JP2014186402A (ja) * 2013-03-21 2014-10-02 Toshiba Corp 生活見守り支援装置
WO2018207232A1 (ja) * 2017-05-08 2018-11-15 株式会社３Ｄ ｂｏｄｙ Ｌａｂ 人体モデル提供システム、人体モデル提供方法、人体モデル提供装置、表示端末装置、人体モデル表示方法、及びコンピュータプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9223936B2 (en) * 2010-11-24 2015-12-29 Nike, Inc. Fatigue indices and uses thereof
US10360811B2 (en) * 2015-01-06 2019-07-23 Asensei, Inc. Movement based fitness and fitness product management
JP6271698B1 (ja) 2016-12-27 2018-01-31 東芝エレベータ株式会社 乗客コンベアシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100228488A1 (en) * 2009-03-05 2010-09-09 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Postural information system and method
WO2013172173A1 (ja) * 2012-05-18 2013-11-21 日産自動車株式会社 運転支援装置および道路地図情報構築方法
JP2014186402A (ja) * 2013-03-21 2014-10-02 Toshiba Corp 生活見守り支援装置
US20160278706A1 (en) * 2013-03-21 2016-09-29 Kabushiki Kaisha Toshiba Life watching and support apparatus
WO2018207232A1 (ja) * 2017-05-08 2018-11-15 株式会社３Ｄ ｂｏｄｙ Ｌａｂ 人体モデル提供システム、人体モデル提供方法、人体モデル提供装置、表示端末装置、人体モデル表示方法、及びコンピュータプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023223880A1 (ja) * 2022-05-19 2023-11-23 パナソニックＩｐマネジメント株式会社 姿勢評価装置、個室ブース、及び姿勢評価方法

Also Published As

Publication number Publication date
US11694571B2 (en) 2023-07-04
US20220020287A1 (en) 2022-01-20
JP7298561B2 (ja) 2023-06-27
CN113947808A (zh) 2022-01-18

Similar Documents

Publication Publication Date Title
JP6289165B2 (ja) リハビリテーション支援装置
US11547324B2 (en) System and method for human motion detection and tracking
JP2018206321A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2019187099A1 (ja) 身体機能自立支援装置およびその方法
Xu et al. A sensing cushion using simple pressure distribution sensors
JP2020146435A (ja) 学習方法、推定方法および学習プログラム
JP7298561B2 (ja) 情報処理システム、情報処理装置、およびプログラム
JP6276456B1 (ja) ユーザの姿勢を評価するための方法およびシステム
JP2015150150A (ja) 情報提供装置及びプログラム
Rodrigues et al. Ergonomic assessment of office worker postures using 3D automated joint angle assessment
KR20170106737A (ko) 다방향 인식을 이용한 태권도 동작 평가 장치 및 방법
TWM537281U (zh) 跌倒偵測系統
JP2020086994A (ja) 情報処理装置、情報処理方法及びプログラム
Lee et al. Development of a sitting posture monitoring system for children using pressure sensors: An application of convolutional neural network
Vieira et al. A gamified application for assessment of balance and fall prevention
JP7169213B2 (ja) 身体健康状態映像分析装置、方法並びにシステム
JP6515426B2 (ja) 認知症介護負担度判定装置、認知症介護負担度判定方法、認知症介護負担度判定プログラム、認知症治療効果判定装置、認知症治療効果判定方法、及び認知症治療効果判定プログラム
KR102158334B1 (ko) 사용자의 무게 중심점의 변화를 추적하여 사용자의 자세를 검출하는 장치 및 방법
JP2021068069A (ja) 無人トレーニングの提供方法
JP2020140283A (ja) 情報処理装置、情報処理方法、および、コンピュータプログラム
JP2020091622A (ja) グループ推定装置及びグループ推定方法
JP2019024580A (ja) リハビリテーション支援システム、リハビリテーション支援方法及びプログラム
EP4125067A1 (en) Generating program, generation method, and information processing device
KR102626551B1 (ko) 체형분석장치
JP6723485B2 (ja) 情報分析装置、情報分析方法、及び情報分析プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230529

R151 Written notification of patent or utility model registration

Ref document number: 7298561

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151