JP2021115471A - 姿勢診断システム、姿勢診断方法及び姿勢診断用データセット - Google Patents

Abstract

【課題】操作性に優れ、人工知能を用いて簡便に被測定者の骨格の歪みを診断することが可能な姿勢診断システム、姿勢診断方法及び姿勢診断用データセットを提供する。【解決手段】本発明に係る姿勢診断システムは、被測定者の身体を撮影した画像又は動画データを取得する画像等データ取得部と、前記画像又は動画データに基づき、人工知能により前記被測定者の身体の複数の部位を特定して骨格データを生成させる骨格データ生成部と、前記骨格データに基づき、前記人工知能により前記被測定者の骨格の歪みを検出して歪みデータを生成させる歪みデータ生成部と、前記骨格データ及び歪みデータに、前記被測定者の身体的症状及び／又は身体的状態に関する症状データを関連付けてデータセットを生成するデータセット生成部と、を有することを特徴とする。【選択図】 図４

Description

本発明は、人工知能（ＡＩ）を用いた姿勢診断システム、姿勢診断方法及び姿勢診断用データセットに関する。

従来、画像又は動画像から身体の形状・姿勢・サイズ・その他の身体的特徴を測定するための様々な測定装置が提案されている。この種の測定装置に於いては、例えば関節など、測定の指標となる位置を画像又は動画像から指定する必要がある。

例えば、特許文献１〜４には、被測定者にマーカーを付して指標位置を設定し、身体的特徴を測定する発明が開示されている。特に、特許文献４は、オペレータが画像上の参照位置に参照用アイコンを位置合わせすることで、画像上における参照用アイコンの位置に基づいて指標位置を決定する。これにより、特許文献４では、簡便かつ身体的な専門的知識を要することなく指標位置を設定することが可能であり、またマーカーを付す作業の省略も可能になるとされている。さらに、特許文献５には、被測定者を撮影した画像を解析して、指標位置となる身体的特徴点を検出する発明が開示されている。特許文献５に記載の発明は、画像解析により、身体及び身体の各部を抽出して各部間の関係を解析することで、身体的特徴点を抽出するものである。

しかし、特許文献１〜３に記載の発明では、画像や動画像を撮影する前に、指標位置に予めマーカーを付す必要がある。また、特許文献４に記載の発明ではマーカーを付す作業を省略できるものの、オペレータが画像上の参照位置に参照用アイコンを位置合わせする必要がある。そのため、これらの発明では、人の身体的特徴を測定する際に、煩雑な操作が必要である上、身体に関する専門的知識も必要となるという問題がある。さらに、特許文献５に記載の発明では、撮影する被測定者の個人データを予め用意する必要があり、撮影した画像からだけでは正確な指標位置を検出することは困難である。また、撮影した画像から指標位置を決定するに際にも、複数枚の静止画及び動画など多量の解析データがないと指標位置の検出が困難であるという問題がある。

特開平８−２３５３４０号公報 特開２００４−２６１３７６号公報 特開２００４−１６３９９０号公報 特開２００７−９４４５０号公報 特開平１０−１１１９４０号公報

本発明は前記問題点に鑑みなされたものであり、その目的は、操作性に優れ、人工知能を用いて簡便に被測定者の骨格の歪みを診断することが可能な姿勢診断システム、姿勢診断方法及び姿勢診断用データセットを提供することにある。

本発明に係る姿勢診断システムは、前記の課題を解決するために、被測定者の身体を撮影した画像又は動画データを取得する画像等データ取得部と、前記画像又は動画データに基づき、人工知能により前記被測定者の身体の複数の部位を特定して骨格データを生成させる骨格データ生成部と、前記骨格データに基づき、前記人工知能により前記被測定者の骨格の歪みを検出して歪みデータを生成させる歪みデータ生成部と、前記骨格データ及び歪みデータに、前記被測定者の身体的症状及び／又は身体的状態に関する症状データを関連付けてデータセットを生成するデータセット生成部と、を有することを特徴とする。

前記の構成に於いて、前記データセット生成部は、さらに前記被測定者の個人情報を、前記歪みデータ及び症状データに関連付けて前記データセットを生成することができる。

前記の構成に於いて、前記骨格データ生成部は、前記被測定者の身体の複数の部位のうち、前記人工知能が特定しない部位が存在する場合に、当該部位を直接特定した後、前記人工知能に前記骨格データを生成させ、及び／又は前記人工知能による前記被測定者の身体の部位の特定のうち、任意の特定を直接変更した後、前記人工知能に前記骨格データを生成させることができる。

前記の構成に於いて、前記骨格データ生成部は、前記画像等データ取得部が前記画像又は動画データの取得を任意の時間毎に行うことにより、前記人工知能に、前記骨格データを時系列で生成させるものであり、さらに、前記人工知能により、任意の時刻に生成された骨格データと、当該時刻から所定の時間経過後に生成された他の骨格データとを比較して、前記被測定者の姿勢の経時的変化を診断させる診断部を有することができる。

前記の構成に於いて、前記歪みデータ生成部は、前記画像等データ取得部が前記画像又は動画データの取得を任意の時間毎に行うことにより、前記人工知能に、前記歪みデータを時系列で生成させるものであり、前記診断部は、前記人工知能により、任意の時刻に生成された歪みデータと、当該時刻から所定の時間経過後に生成された他の歪みデータとを比較して、前記被測定者の姿勢の歪みの経時的変化を診断させることができる。

前記の構成に於いて、前記画像等データ取得部は、前記被測定者の身体の任意の関節を可動させた状態を撮影した前記画像又は動画データを取得するものであり、前記診断部は、当該画像又は動画データに基づき生成された骨格データに基づいて、前記人工知能により、前記関節の可動域角度の値を算出させ、さらに、前記算出した可動域角度の値を、前記関節の可動域角度の基準値と比較して当該関節の可動域を診断させるものであり、前記データセット生成部は、前記算出した可動域角度の値に前記症状データを関連付けて前記データセットを生成するものであることができる。

前記の構成に於いて、前記人工知能により、前記データセットを用いて前記被測定者の身体的症状及び／又は身体的状態を推定する症状推定部をさらに有することができる。

本発明に係る姿勢診断方法は、前記の課題を解決するために、被測定者の身体を撮影した画像又は動画データを取得し、前記画像又は動画データに基づき、人工知能が前記被測定者の身体の複数の部位を特定して骨格データを生成し、前記骨格データに基づき、前記人工知能が前記被測定者の骨格の歪みを検出して歪みデータを生成し、前記骨格データ及び歪みデータに、前記被測定者の身体的症状及び／又は身体的状態に関する症状データを関連付けてデータセットを生成することを特徴とする。

前記の構成に於いては、さらに前記被測定者の個人情報を、前記歪みデータ及び症状データに関連付けて前記データセットを生成することができる。

前記の構成に於いては、前記被測定者の身体の複数の部位のうち、前記人工知能が特定しない部位が存在する場合に、当該部位を直接特定した後、前記人工知能に前記骨格データを生成させ、及び／又は前記人工知能による前記被測定者の身体の部位の特定のうち、任意の特定を直接変更した後、前記人工知能に前記骨格データを生成させることができる。

前記の構成に於いては、前記画像又は動画データの取得を任意の時間毎に行うことにより、前記人工知能が前記骨格データを時系列で生成し、さらに、前記人工知能が、任意の時刻に生成された骨格データと、当該時刻から所定の時間経過後に生成された他の骨格データとを比較して、前記被測定者の姿勢の経時的変化を診断することができる。

また、前記の構成に於いては、前記画像又は動画データの取得を任意の時間毎に行うことにより、前記人工知能が前記歪みデータを時系列で生成し、さらに、前記人工知能が、任意の時刻に生成された歪みデータと、当該時刻から所定の時間経過後に生成された他の歪みデータとを比較して、前記被測定者の姿勢の歪みの経時的変化を診断することもできる。

さらに前記の構成に於いて、前記画像又は動画データは、前記被測定者の身体の任意の関節を可動させた状態を撮影したものであり、前記人工知能が、当該画像又は動画データに基づき生成された骨格データに基づいて、前記関節の可動域角度の値を算出し、さらに、前記算出した可動域角度の値を、前記関節の可動域角度の基準値と比較して当該関節の可動域を診断し、前記算出した可動域角度の値に前記症状データを関連付けて前記データセットを生成することができる。

前記の構成に於いては、前記人工知能が、前記データセットを用いて前記被測定者の身体的症状及び／又は身体的状態を推定することができる。

本発明に係る姿勢診断用データセットは、前記の課題を解決するために、前記姿勢診断方法により作製されたものであることを特徴とする。

本発明によれば、人工知能が画像又は動画データに基づき、被測定者の複数の部位を特定する骨格データを生成するので、被測定者の画像又は動画データを取得するために、予め被測定者に対し指標位置にマーカーを付す作業を省略することができる。また、ユーザーは被測定者の画像又は動画データに対し、指標位置を設定するための操作も省略することができる。さらに、人工知能が骨格データに基づき、被測定者の骨格の歪みを歪みデータとして生成するので、例えば、歪みデータを数値化等することで被測定者の骨格の歪みの改善及び矯正等の治療を支援することができる。さらに、骨格データ及び歪みデータに、被測定者の身体的症状及び／又は身体的状態に関する症状データを関連付けたデータセットを生成するので、被測定者の骨格の歪みを高精度で検出することができ、また被測定者の身体的症状及び／又は身体的状態を高精度で推定することができる。

本発明の実施の形態に係る姿勢診断システムの概略を示す説明図である。 前記姿勢診断システムにおけるユーザー端末の構成を示すブロック図である。 前記姿勢診断システムにおけるサーバの構成を示すブロック図である。 本発明の実施の形態に係る姿勢診断方法に於ける処理の一例を示すフローチャートである。 本発明の実施の形態に係る姿勢診断システムに於いて生成された骨格データであって、被測定者の身体の各部位と、部位同士を結ぶグリッド線とを表す説明図である。 本発明の実施の形態に係る姿勢診断方法の処理に於ける他の例を示すフローチャートである。 本発明の実施の形態に係る姿勢診断方法の処理に於けるさらに他の例を示すフローチャートである。

本実施の形態の姿勢診断システム及び姿勢診断方法について、以下に説明する。
尚、以下に示す実施の形態は、本発明の技術的思想を具体化するための姿勢診断システム及び姿勢診断方法を例示するものである。本発明を実施形態の姿勢診断システム及び姿勢診断方法に特定することを意図するものではない。従って、特許請求の範囲に含まれるその他の実施形態の姿勢診断システム及び姿勢診断方法にも等しく適用することができる。例えば、本実施の形態で例示する姿勢診断システム及び姿勢診断方法におけるサーバ側とユーザー端末側の機能分散の形態は、以下に述べる場合に限られず、同様の効果や機能を果たし得る範囲に於いて、任意の単位で機能的又は物理的に分散し、あるいは統合して構成することができる。

（姿勢診断システム）
［姿勢診断システムの全体構成］
先ず、本実施の形態に係る姿勢診断システムの全体構成の一例について、図１に基づき説明する。図１は、本実施の形態に係る姿勢診断システムの概略を示す説明図である。

本実施の形態の姿勢診断システムは、図１に示すように、ネットワーク３０を介して、ユーザー端末１０及びサーバ２０が相互に通信可能に接続されて構成されている。ここで、通信には、一例として、ネットワーク３０を介した有線・無線通信等の遠隔通信等を含む。また、ユーザー端末１０は、ネットワーク３０に単数又は複数が通信可能に接続される。

ユーザー端末１０のハードウェア構成としては、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、表示部、カメラ、通信制御インターフェース、及び入力部を少なくとも備える。また、これらの各構成要素は、パスを介して相互に通信可能に接続される。

ＣＰＵは、ユーザー端末１０の全体を制御するために各種演算処理等を行う。より具体的には、ＣＰＵは、ＲＯＭからコンピュータプログラムを読み出し、ＲＡＭを作業領域に用いて実行することで、ユーザー端末１０の各構成要素の動作を制御する。ＣＰＵは、カメラで撮影された画像（動画像又は静止画像）を取得し、表示部に表示される画像を生成する。ＲＯＭは、書き込み可能な不揮発性のメモリであって、ユーザー端末１０の電源がオフにされても保持されるべき各種プログラム・各種データを格納する。ＲＡＭは、書き込み可能な揮発性のメモリであって、実行中のプログラムやデータ等を一時的に格納する。

表示部は、ＣＰＵの制御により画像（動画像又は静止画像）を表示する。表示部としては、例えば、液晶又は有機ＥＬ（Electro Luminescence）等から構成されるディスプレイ、モニタ、又はタッチパネル等が挙げられる。カメラは、被測定者の撮影に用いることができる。通信制御インターフェースは、ユーザー端末１０の外部へのデータ送信の制御や外部からのデータ受信の制御を行う。ユーザー端末１０は、通信制御インターフェースを介してネットワーク３０と通信可能に接続される。

入力部は、利用者による入力操作を受け付ける。入力部としては、例えば、キー入力部、タッチパネル、コントロールパッド（例えば、タッチパッド等）、マウス、キーボード、及びマイク等が挙げられる。

ユーザー端末１０は、具体的には、携帯電話、スマートフォン、ＰＨＳ及びＰＤＡ等の携帯端末装置、並びにデスクトップ型又はノート型のパーソナルコンピュータ等の情報処理装置等である。また、ユーザー端末１０には、本実施の形態の姿勢診断システムを実現するために、姿勢診断用アプリケーション等が搭載されていることが好ましい。また、ユーザー端末１０は、インターネットブラウザ等を搭載していてもよい。

サーバ２０は、具体的には、ワークステーションやパーソナルコンピュータ、その他のコンピュータ装置により実現される。

ネットワーク３０としては、インターネットや専用回線、ＷＡＮ（Wide Area Network）、電力線ネットワーク、無線ネットワーク、公衆回線網、携帯電話網などの種々のものを用いることができる。

［姿勢診断システムの詳細構成］
次に、本実施の形態の姿勢診断システムに関する詳細な構成について説明する。

＜ユーザー端末＞
ユーザー端末１０の詳細な構成について、図２に基づき以下に説明する。図２は、ユーザー端末１０の構成を示すブロック図である。

ユーザー端末１０は、図２に示すように、端末制御部１１、入出力制御部１２、端末側通信制御部１３及び端末記憶部１４を少なくとも備える。

端末制御部１１は、ＯＳ等の制御プログラムや、各種の処理手順等を規定したプログラム、及び所要データを格納するための内部メモリを有する。端末制御部１１は、これらのプログラム等により、種々の処理を実行するための情報処理を行う。端末制御部１１は、機能概念的には撮影部１５、データ送信部１６、及びデータ受信部１７を少なくとも備える。

撮影部１５は、被測定者の身体を撮影する撮影手段である。撮影部１５はハードウェアとしてのカメラにより実現される。撮影部１５による被測定者の撮影により、画像又は動画データ（以下、「画像等データ」という。）が生成される。画像等データとしては、例えば、被測定者の立位姿勢に於ける全身の正面、右側面、左側面及び背面、並びに、座位姿勢に於ける全身の右側面及び左側面等を撮影したものが挙げられる。また、画像等データには、被測定者の任意の関節を可動させた状態を撮影したものも含まれる。尚、「関節を可動させた状態」とは、被測定者に於ける種々の関節に於いて屈曲、伸展、内転、外転、内旋、外旋等の運動をさせ、可能な限り最大限に可動させて静止した状態を含む意味である。

データ送信部１６は、撮影部１５により生成された画像等データをサーバ２０に送信する。また、端末記憶部１４に保存されている被測定者の身体的症状及び／又は身体的状態（以下、「身体的症状等」という。）に関する情報や個人情報をサーバ２０に送信する。

ここで、身体的症状等に関する情報とは、例えば、被測定者の姿勢に関する情報、より具体的には、正常、猫背、反り腰、受け腰、フラットバック（平背）又はスウェイバックに関する情報が含まれる。また、斜頸、側弯症、首こり、肩こり、股関節疾患、腰痛、坐骨神経痛、変形性関節症、Ｏ脚、Ｘ脚、膝痛、股関節痛等に関する情報も含まれる。個人情報としては、例えば、性別・年齢・身長・体重等が挙げられる。

入出力制御部１２は、表示部、カメラ、及び入力部等の制御を行う。

端末側通信制御部１３は、通信回線又は電話回線等に接続されるアンテナやルータ等の通信装置（図示せず）に接続される通信制御インターフェースにより実現され、サーバ２０とネットワーク３０との間における通信制御を行う。すなわち、端末側通信制御部１３は、サーバ２０等と通信回線を介してデータ通信を制御する。

端末記憶部１４は、例えば、ＨＤＤやＳＳＤ等の大容量のストレージ手段、及び／又はＳＲＡＭ（Static Random Access Memory）等を用いて構成される小容量高速メモリ（例えば、キャッシュメモリ）等のストレージ手段である。端末記憶部１４は、各種のデータベース、ファイル又はテーブルを格納することができる。端末記憶部１４は、例えば、身体的症状等に関する情報や個人情報等を格納することができる。

＜サーバ＞
次に、サーバ２０の詳細な構成について、図３に基づき説明する。図３は、サーバ２０の構成を示すブロック図である。

サーバ２０は、図３に示すように、機能概念的には制御部２１、サーバ側通信制御部２２及び記憶部２３を少なくとも備える。

制御部２１は、ＯＳ等の制御プログラムや、各種の処理手順等を規定したプログラム、及び所要データを格納するための内部メモリを有する。制御部２１は、これらのプログラム等により、種々の処理を実行するための情報処理を行う。制御部２１は、機能概念的には画像等データ取得部２１１、骨格データ生成部２１２、歪みデータ生成部２１３、診断部２１８、データセット生成部２１４、症状推定部２１５、データ送信部２１６、及び座標情報編集部２１９を少なくとも備える。骨格データ生成部２１２、歪みデータ生成部２１３、診断部２１８、データセット生成部２１４、及び症状推定部２１５は、人工知能２１７により実現可能である。人工知能２１７は、例えば、機械学習、深層学習、ニューラルネットワーク、デシジョンツリー、又はランダムフォレストを備えることができる。

画像等データ取得部２１１は、ユーザー端末１０のデータ送信部１６より送信される画像等データを受信する。

骨格データ生成部２１２は、人工知能２１７により、画像等データに基づき被測定者の身体の複数の部位を特定し骨格データを生成する。画像等データがユーザー端末１０から任意の時間毎に送信されてくる場合、骨格データ生成部２１２は骨格データを時系列で生成する。骨格データは、被測定者の身体の各部位の位置座標、及び任意の部位同士を結ぶことにより得られるグリッド線に関するデータを含む。骨格データは、具体的には、例えば、画像等データが被測定者の立位姿勢に於ける全身の正面図である場合、被測定者の頭、首、右肩、右肘、右手首、右手、左肩、左肘、左手首、左手、胸部、胸腰部、左腰、骨盤部、右腰、左股関節、左膝、左くるぶし、左足、右股関節、右膝、右くるぶし、右足等の各部位の位置座標に関する情報を含む。また、画像等データが被測定者の立位姿勢及び座位姿勢に於ける全身の右側面図又は左側面図である場合、被測定者の頭、首、肩、肘、腰、膝、耳垂、大転子、肩峰、膝蓋骨等の各部位の位置座標に関する情報を含む。

歪みデータ生成部２１３は、人工知能２１７により、骨格データに基づき被測定者の骨格の歪みを検出して歪みデータを生成する。画像等データがユーザー端末１０（より詳細には、データ送信部１６）から任意の時間毎に送信され、骨格データ生成部２１２が骨格データを時系列で生成する場合、歪みデータ生成部２１３は、歪みデータを時系列で生成する。歪みデータは、具体的には、例えば、肩水平角、腰水平角、右膝角、左膝角、耳垂−肩峰角、大転子−膝蓋骨後方角、耳垂位置、肩峰位置、大転子位置、膝蓋骨後方位置等に関する数値を含む。

診断部２１８は、例えば、人工知能２１７により、任意の時刻に生成された骨格データと、当該時刻から所定の時間経過後に生成された他の骨格データとを比較して、被測定者の姿勢の経時的変化を診断する。診断部２１８による骨格データに基づく診断により、被測定者は姿勢の経時的変化を確認することができる。また、診断部２１８は、人工知能２１７により、任意の時刻に生成された歪みデータと、当該時刻から所定の時間経過後に生成された他の歪みデータとを比較して、被測定者の姿勢の歪みの経時的変化も診断する。診断部２１８による歪みデータに基づく診断により、被測定者は姿勢の歪みに関する経時的変化を確認することができる。その結果、被測定者は、例えば、姿勢の歪みの矯正等に関する治療計画の作成等が可能になる。

また診断部２１８は、例えば、人工知能２１７により、被測定者の各種の関節の可動域についても診断する。より具体的には、画像等データに基づき生成された骨格データであって、被測定者の関節を可能な限りに最大限に可動させたものに基づき、当該関節に於ける可動域角度の値を算出する。さらに、算出した可動域角度の値を基準データと比較し、その差分の程度に応じて被測定者の関節の可動域を診断する。これにより、被測定者は、例えば、リハビリ治療後に於ける関節の可動域の改善程度を確認することができる。尚、可動域角度の値を算出するにあたっては、被測定者が関節を可動させていない状態の画像等データに基づき生成された骨格データと、関節を可動させた状態の画像等データに基づき生成された骨格データとを比較して行ってもよい。

ここで、関節の可動域角度とは、例えば、肩関節である場合、立位状態の被測定者の肩峰を通過する地面への垂直線を基本軸とし、被測定者の上腕骨を移動軸としたとき、上腕骨が屈曲（前方挙上）する角度の範囲をいう。また、基準データとは、各関節の可動域角度の値（基準値）に関する情報を含むデータを意味し、例えば、日本整形外科学会又は日本リハビリテーション医学会が示す各関節の屈曲等の運動に於ける可動域角度の値等が基準データとして挙げられる。

データセット生成部２１４は、人工知能２１７により、骨格データ、歪みデータ及び任意の関節の可動域角度の値（以下、「可動域データ」という。）に、被測定者の身体的症状及び／又は身体的状態（以下、「身体的症状等」という。）に関する症状データを関連付けてデータセットを生成する。データセットの生成は、骨格データ、歪みデータ及び可動域データに基づいた人工知能２１７による被測定者の骨格の歪みを、高精度で検出することを可能にする。また、人工知能２１７により、被測定者の身体的症状及び／又は身体的状態を高精度で推定することを可能にする。データセット生成部２１４は、骨格データ、歪みデータ及び可動域データの他に、被測定者の個人情報も症状データに関連付けてデータセットを生成することが可能である。尚、骨格データ及び歪みデータには、時系列で生成されるものも含み得る。

症状推定部２１５は、人工知能２１７が作製したデータセットを用いて被測定者の身体的症状等を推定する。また、症状推定部２１５は、骨格データ、歪みデータ、可動域データ及び／又は個人情報等に基づき、被測定者の身体的症状等を推定するようにしてもよい。

データ送信部２１６は、骨格データ、歪みデータ、可動域データ及び人工知能２１７が推定した身体的症状等に関する情報等をユーザー端末１０に送信する。

座標情報編集部２１９は、例えば、ユーザー端末１０の入力部がタッチパネルである場合に、タッチパネルの接触された位置を示す位置座標情報を生成する。これにより、例えば、骨格データ生成部２１２が人工知能２１７により被測定者の身体のうち任意の部位を特定できない場合にも、被測定者（又は、利用者）がタッチパネル操作により当該部位を特定することで、その部位の位置に関する位置座標情報を生成することができる。その結果、骨格データ生成部２１２は、人工知能２１７により、画像等データと、利用者が特定することにより生成された位置座標情報とに基づき骨格データを生成することができる。

また、座標情報編集部２１９は、骨格データ生成部２１２が人工知能２１７により生成した特定の部位の位置座標情報の変更も行う。これにより、例えば、骨格データ生成部２１２が人工知能２１７により特定する部位の位置にズレが生じる場合にも、被測定者（又は、利用者）がタッチパネル操作により当該部位の正確な位置を特定することで、その部位の位置に関する位置座標情報を変更することができる。その結果、骨格データ生成部２１２は、人工知能２１７により、画像等データと、利用者が特定することにより生成された位置座標情報とに基づき、より正確な骨格データを生成することができる。

サーバ側通信制御部２２は、通信回線や電話回線等に接続されるアンテナやルータ等の通信装置（図示せず）に接続される通信制御インターフェースにより実現され、ユーザー端末１０及びネットワーク３０との間における通信制御を行う。すなわち、サーバ側通信制御部２２は、ユーザー端末１０等と通信回線を介してデータの通信を制御する。

記憶部２３は、その内部に複数の記憶領域が定義されており、種々の情報を記録するための各種データベース、ファイル又はテーブルを格納することができる。記憶部２３は、例えば、ＨＤＤやＳＳＤ等の大容量のストレージ手段、及び／又はＳＲＡＭ等を用いて構成される小容量高速メモリ（例えば、キャッシュメモリ）等のストレージ手段である。記憶部２３は、各種のデータベース、ファイル又はテーブルを格納することができる。

記憶部２３は、データセットデータベース２３１を少なくとも備える。データセットデータベース２３１は、データセットを記憶する記憶手段である。また、記憶部２３には、人体の各関節の可動域に関する情報を含む前述の基準データも格納される。

（姿勢診断方法）
［姿勢の歪み診断］
次に、本実施の形態に係る姿勢診断方法について、姿勢診断システムを用いた処理を例にして図４に基づき説明する。図４は、本実施の形態の姿勢診断システムの処理の一例を示すフローチャートである。

先ず、図４に示すように、利用者がユーザー端末１０の端末制御部１１における撮影部１５により、被測定者を撮影する。撮影部１５による撮影は、静止画像でもよく動画像でもよい。

次に、ユーザー端末１０のデータ送信部１６は、撮影部１５により生成された画像等データをサーバ２０に送信する。また、データ送信部１６は、端末記憶部１４に保存されている被測定者の身体的症状等に関する情報や個人情報をサーバ２０に送信する。ユーザー端末１０から送信された画像等データはサーバ２０の画像等データ取得部２１１で受信される（画像等データ取得ステップＳ１）。尚、ここでいう被測定者の身体的症状等に関する情報及び個人情報は、被測定者が予めユーザー端末１０に入力した情報である。

続いて、サーバ２０の画像等データ取得部２１１で画像等データが受信されると、骨格データ生成部２１２が、人工知能２１７により被測定者の骨格データを生成する（骨格データ生成ステップＳ２）。骨格データは、図５に示すように、被測定者４０の身体の各部位４１の位置座標、及び任意の部位４１同士を結ぶことにより得られるグリッド線４２に関するデータを含む。生成された骨格データ生成部２１２は記憶部２３に格納することができる。尚、図５は、骨格データ生成部２１２により生成された骨格データであって、被測定者の身体の各部位と、部位同士を結ぶグリッド線とを表す説明図である

骨格データが生成されると、歪みデータ生成部２１３が骨格データに基づき被測定者の骨格の歪みに関する歪みデータを生成する（歪みデータ生成ステップＳ３）。さらに、データ送信部２１６が歪みデータをユーザー端末１０に送信する。歪みデータが送信されると、ユーザー端末１０のデータ受信部（図示しない）が当該歪みデータを受信した後、表示部に表示される。歪みデータは、例えば、姿勢の歪みの程度に応じて数値化された情報であるため、被測定者は自らの骨格の歪みを容易に確認することができる。

また、歪みデータが生成されると、データセット生成部２１４が骨格データ及び歪みデータに、身体的症状等の症状データを関連付けてデータセットを作製する（データセット作製ステップＳ４）。このとき、個人情報も併せて関連付けを行ってもよい。さらに、データセット生成部２１４は、作製されたデータセットを記憶部２３のデータセットデータベース２３１に格納する。

さらに、本実施の形態の姿勢診断方法に於いては、症状推定部２１５により被測定者の身体的症状等を推定させてもよい。この場合、症状推定部２１５は、データセットデータベース２３１に格納されたデータセットを用いて、ユーザー端末１０から送られてくる骨格データと歪みデータに基づき、被測定者の身体的症状等の推定を行う。身体的症状等の推定は、被測定者の姿勢や肩こり等を含むものである。推定された身体的症状等の情報は、サーバ２０のデータ送信部２１６により、ユーザー端末１０に送信される。身体的症状等の情報がデータ送信部２１６から送られると、ユーザー端末１０の受信部により当該情報が受信される。これにより、被測定者は人工知能２１７が推定した自らの身体的症状等を確認することができる。

［姿勢の歪みの時系列診断］
本実施の形態の姿勢診断方法は、被測定者の姿勢及びその歪みの経時的変化を診断することもできる。この場合、先ず、骨格データ生成部２１２は、人工知能２１７により、ユーザー端末１０から任意の時間毎に送信されてくる画像等データに基づき、骨格データを時系列で生成する。さらに、歪みデータ生成部２１３は、時系列で生成された骨格データに基づき、歪みデータも時系列で生成する。

骨格データが時系列で生成されると、診断部２１８は、任意の時刻に生成された骨格データと、当該時刻から所定の時間経過後に生成された他の骨格データとを比較し、これにより、被測定者の姿勢の経時的変化を診断する。骨格データ同士の比較は、例えば、図５に示すような骨格データが表された画像データを用いて行うことができる。すなわち、任意の時刻に生成された骨格データを含む画像データと、当該時刻から所定の時間経過後に生成された他の骨格データを含む他の画像データとを重ね合わせたり、並列配置する等して対比することで、被測定者の姿勢の経時的変化を視覚的に容易に把握することができる。

また、歪みデータが時系列で生成されると、診断部２１８は、任意の時刻に生成された歪みデータと、当該時刻から所定の時間経過後に生成された他の歪みデータとを比較し、これにより、被測定者の姿勢の歪みの経時的変化を診断する。

次に、本実施の形態に係る他の姿勢診断方法について、図６に基づき説明する。図６は、本実施の形態の姿勢診断システムの処理の他の例を示すフローチャートである。

先ず、前述の姿勢診断方法の場合と同様、利用者が、ユーザー端末１０の端末制御部１１における撮影部１５により被測定者を撮影した後（画像等データ取得ステップＳ１）、ユーザー端末１０のデータ送信部１６が、撮影部１５により生成された画像等データをサーバ２０に送信する。また、データ送信部１６は、端末記憶部１４に保存されている被測定者の身体的症状等に関する情報や個人情報もサーバ２０に送信する。ユーザー端末１０から送信された画像等データはサーバ２０の画像等データ取得部２１１で受信される。

続いて、画像等データ取得部２１１で画像等データが受信されると、骨格データ生成部２１２が、人工知能２１７により、画像等データに基づき被測定者の身体の部位の特定を行う（部位特定ステップＳ１１）。

ここで、被測定者（又は利用者）により、骨格データ生成部２１２が被測定者の身体のうち任意の部位を特定できていないと判別された場合（ステップＳ１２）、被測定者（又は利用者）がタッチパネル操作により当該部位を特定することで、座標情報編集部２１９がその部位の位置に関する位置座標情報を生成する（位置座標情報生成ステップＳ１３）。骨格データ生成部２１２により被測定者の身体の全ての部位が特定されている場合は、後述のステップＳ１４に進み、部位の特定で位置ズレが生じているか否かの判別を行う。

続いて、骨格データ生成部２１２が被測定者の身体の全ての部位を特定しているが、任意の部位で位置ズレが生じている場合（ステップＳ１４）、被測定者がタッチパネル操作により当該部位の正確な位置を特定することで、座標情報編集部２１９がその部位の位置に関する位置座標情報を変更する（位置座標情報変更ステップＳ１５）。骨格データ生成部２１２により被測定者の身体の全ての部位が正確に特定され、位置ズレが発生していない場合は、骨格データ生成部２１２による骨格データの生成を行う（骨格データ生成ステップＳ２）。

骨格データが生成されると、前述の場合と同様、歪みデータ生成部２１３が骨格データに基づき被測定者の骨格の歪みに関する歪みデータを生成し（歪みデータ生成ステップＳ３）、データ送信部２１６が歪みデータをユーザー端末１０に送信する。さらに、データセット生成部２１４が骨格データ及び歪みデータに、身体的症状等の症状データを関連付けてデータセットを作製し（データセット作製ステップＳ４）、記憶部２３に格納する。

［関節の可動域の診断］
また、本実施の形態の姿勢診断方法は、被測定者の任意の関節の可動域を診断することもできる。この場合、ユーザー端末１０のデータ送信部１６から送信される画像等データは、被測定者の任意の関節を可動させた状態を撮影したものである。画像等データ取得部２１１が当該画像等データを取得すると（画像等データ取得ステップＳ１）、骨格データ生成部２１２は、人工知能２１７により、被測定者の任意の関節を可動させた状態の骨格データを生成する（骨格データ生成ステップＳ２）。

骨格データが時系列で生成されると、診断部２１８は関節に於ける可動域角度の値（可動域データ）を算出する（可動域角度算出ステップＳ２１）。さらに、診断部２１８は、関節の可動域角度の基準値に関する基準データを記憶部２３から呼び出し、算出した可動域角度の値と比較する。そして、診断部２１８は、算出した可動域角度の値と基準値との差分の程度に応じて被測定者の関節の可動域を診断する（診断ステップＳ２２）。関節の可動域の診断は、例えば、基準値との差分の程度に応じて数値化された情報に基づき行うことができる。さらに、この数値化された情報は、データ送信部２１６によりユーザー端末１０に送信するようにしてもよい。これにより、被測定者は、例えば、関節基準値と比較してどの程度の可動域を有するのか確認することができる。また、例えば、治療前後での基準値との差分を確認することで、治療による改善効果も確認することができる。

続いて、被測定者の関節の可動域の診断が終了すると、前述の場合と同様、データセット生成部２１４が可動域データに、身体的症状等の症状データを関連付けてデータセットを作製し（データセット作製ステップＳ４）、記憶部２３に格納する。尚、データセットの作製に於いては、可動域データの他に、算出した可動域角度の値と基準値との差分に関するデータを含めてもよい。

１０ ユーザー端末
１１ 端末制御部
１２ 入出力制御部
１３ 端末側通信制御部
１４ 端末記憶部
１５ 撮影部
１６ データ送信部
１７ データ受信部
２０ サーバ
２１ 制御部
２２ サーバ側通信制御部
２３ 記憶部
２１１ 画像等データ取得部
２１２ 骨格データ生成部
２１３ データ生成部
２１４ データセット生成部
２１５ 症状推定部
２１６ データ送信部
２１７ 人工知能
２１８ 診断部
２１９ 座標情報編集部
２３１ データセットデータベース
３０ ネットワーク
Ｓ１ 画像等データ取得ステップ
Ｓ２ 骨格データ生成ステップ
Ｓ３ データ生成ステップ
Ｓ４ データセット作製ステップ
Ｓ１１ 部位特定ステップ
Ｓ１３ 位置座標情報生成ステップ
Ｓ１５ 位置座標情報変更ステップ
Ｓ２１ 可動域角度算出ステップ
Ｓ２２ 診断ステップ

Claims (15)

1. 被測定者の身体を撮影した画像又は動画データを取得する画像等データ取得部と、
   前記画像又は動画データに基づき、人工知能により前記被測定者の身体の複数の部位を特定して骨格データを生成させる骨格データ生成部と、
   前記骨格データに基づき、前記人工知能により前記被測定者の骨格の歪みを検出して歪みデータを生成させる歪みデータ生成部と、
   前記骨格データ及び歪みデータに、前記被測定者の身体的症状及び／又は身体的状態に関する症状データを関連付けてデータセットを生成するデータセット生成部と、
   を有する姿勢診断システム。
2. 前記データセット生成部は、さらに前記被測定者の個人情報を、前記歪みデータ及び症状データに関連付けて前記データセットを生成する、請求項１に記載の姿勢診断システム。
3. 前記骨格データ生成部は、前記被測定者の身体の複数の部位のうち、前記人工知能が特定しない部位が存在する場合に、当該部位を直接特定した後、前記人工知能に前記骨格データを生成させ、
   及び／又は前記人工知能による前記被測定者の身体の部位の特定のうち、任意の特定を直接変更した後、前記人工知能に前記骨格データを生成させる、請求項１又は２に記載の姿勢診断システム。
4. 前記骨格データ生成部は、前記画像等データ取得部が前記画像又は動画データの取得を任意の時間毎に行うことにより、前記人工知能に、前記骨格データを時系列で生成させるものであり、
   さらに、前記人工知能により、任意の時刻に生成された骨格データと、当該時刻から所定の時間経過後に生成された他の骨格データとを比較して、前記被測定者の姿勢の経時的変化を診断させる診断部を有する、請求項１〜３の何れか１項に記載の姿勢診断システム。
5. 前記歪みデータ生成部は、前記画像等データ取得部が前記画像又は動画データの取得を任意の時間毎に行うことにより、前記人工知能に、前記歪みデータを時系列で生成させるものであり、
   前記診断部は、前記人工知能により、任意の時刻に生成された歪みデータと、当該時刻から所定の時間経過後に生成された他の歪みデータとを比較して、前記被測定者の姿勢の歪みの経時的変化を診断させる、請求項４に記載の姿勢診断システム。
6. 前記画像等データ取得部は、前記被測定者の身体の任意の関節を可動させた状態を撮影した前記画像又は動画データを取得するものであり、
   前記診断部は、当該画像又は動画データに基づき生成された骨格データに基づいて、前記人工知能により、前記関節の可動域角度の値を算出させ、さらに、前記算出した可動域角度の値を、前記関節の可動域角度の基準値と比較して当該関節の可動域を診断させるものであり、
   前記データセット生成部は、前記算出した可動域角度の値に前記症状データを関連付けて前記データセットを生成するものである、請求項４又は５に記載の姿勢診断システム。
7. 前記人工知能により、前記データセットを用いて前記被測定者の身体的症状及び／又は身体的状態を推定する症状推定部をさらに有する、請求項１〜６の何れか１項に記載の姿勢診断システム。
8. 被測定者の身体を撮影した画像又は動画データを取得し、
   前記画像又は動画データに基づき、人工知能が前記被測定者の身体の複数の部位を特定して骨格データを生成し、
   前記骨格データに基づき、前記人工知能が前記被測定者の骨格の歪みを検出して歪みデータを生成し、
   前記骨格データ及び歪みデータに、前記被測定者の身体的症状及び／又は身体的状態に関する症状データを関連付けてデータセットを生成する、
   姿勢診断方法。
9. さらに前記被測定者の個人情報を、前記歪みデータ及び症状データに関連付けて前記データセットを生成する、請求項８に記載の姿勢診断方法。
10. 前記被測定者の身体の複数の部位のうち、前記人工知能が特定しない部位が存在する場合に、当該部位を直接特定した後、前記人工知能に前記骨格データを生成させ、
    及び／又は前記人工知能による前記被測定者の身体の部位の特定のうち、任意の特定を直接変更した後、前記人工知能に前記骨格データを生成させる、請求項８又は９に記載の姿勢診断方法。
11. 前記画像又は動画データの取得を任意の時間毎に行うことにより、前記人工知能が前記骨格データを時系列で生成し、
    さらに、前記人工知能が、任意の時刻に生成された骨格データと、当該時刻から所定の時間経過後に生成された他の骨格データとを比較して、前記被測定者の姿勢の経時的変化を診断する、請求項８〜１０の何れか１項に記載の姿勢診断方法。
12. 前記画像又は動画データの取得を任意の時間毎に行うことにより、前記人工知能が前記歪みデータを時系列で生成し、
    さらに、前記人工知能が、任意の時刻に生成された歪みデータと、当該時刻から所定の時間経過後に生成された他の歪みデータとを比較して、前記被測定者の姿勢の歪みの経時的変化を診断する、請求項１１に記載の姿勢診断方法。
13. 前記画像又は動画データは、前記被測定者の身体の任意の関節を可動させた状態を撮影したものであり、
    前記人工知能が、当該画像又は動画データに基づき生成された骨格データに基づいて、前記関節の可動域角度の値を算出し、さらに、前記算出した可動域角度の値を、前記関節の可動域角度の基準値と比較して当該関節の可動域を診断し、
    前記算出した可動域角度の値に前記症状データを関連付けて前記データセットを生成する、請求項１１又は１２に記載の姿勢診断方法。
14. 前記人工知能が、前記データセットを用いて前記被測定者の身体的症状及び／又は身体的状態を推定する、請求項８〜１３の何れか１項に記載の姿勢診断方法。
15. 請求項８〜１４の何れか１項に記載の姿勢診断方法により作製された、姿勢診断用データセット。

Images