JP2019046481A - 動作情報処理装置 - Google Patents

動作情報処理装置 Download PDF

Info

Publication number
JP2019046481A
JP2019046481A JP2018187975A JP2018187975A JP2019046481A JP 2019046481 A JP2019046481 A JP 2019046481A JP 2018187975 A JP2018187975 A JP 2018187975A JP 2018187975 A JP2018187975 A JP 2018187975A JP 2019046481 A JP2019046481 A JP 2019046481A
Authority
JP
Japan
Prior art keywords
information
unit
subject
motion
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018187975A
Other languages
English (en)
Other versions
JP6675462B2 (ja
Inventor
和樹 宇都宮
Kazuki Utsunomiya
和樹 宇都宮
吉田　昌史
Masashi Yoshida
昌史 吉田
勇人 小西
Yuto Konishi
勇人 小西
茂如 石井
Shigeyuki Ishii
茂如 石井
弘祐 坂上
Hirosuke Sakagami
弘祐 坂上
池田　智
Satoshi Ikeda
智 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Publication of JP2019046481A publication Critical patent/JP2019046481A/ja
Application granted granted Critical
Publication of JP6675462B2 publication Critical patent/JP6675462B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Biophysics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Educational Administration (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Biomedical Technology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Technology (AREA)

Abstract

【課題】対象者以外を誤認識することを抑止することを可能にする動作情報処理装置を提供すること。【解決手段】実施の形態の動作情報処理装置は、取得部と、特定部と、判定部と、出力制御部とを備える。取得部は、所定の動作を実施する対象者及び当該対象者の周囲の画像情報を取得する。特定部は、所定の特徴として、前記対象者が前記所定の動作を実施する前の画像情報に基づいて、前記取得部により取得された画像情報から前記所定の動作を実施する対象者の動作情報を特定する。判定部は、リハビリテーションの対象となるリハビリテーション対象者の特徴を表す情報を用いて、前記特定部によって特定された動作情報に対応する対象者が前記リハビリテーション対象者であるか否かを判定する。出力制御部は、前記判定部によって判定された判定結果を出力する。【選択図】図４

Description

本発明の実施の形態は、動作情報処理装置に関する。
従来、リハビリテーション（rehabilitation）においては、疾病や外傷、老化現象などの様々な原因により生じた心身の障害や、先天的な障害を有する者がより良い生活を送ることを目的として、多数の専門家による連携した支援が行われている。例えば、リハビリテーションは、リハビリテーション専門医、リハビリテーション看護師、理学療法士、作業療法士、言語聴覚士、臨床心理士、義肢装具士、ソーシャルワーカーなどの多数の専門家によって連携した支援が行われている。
一方、近年、人物や物体の動きをデジタル的に記録するモーションキャプチャ（motion capture）技術の開発が進んでいる。モーションキャプチャ技術の方式としては、例えば、光学式、機械式、磁気式、カメラ式などが知られている。一例を挙げると、人物にマーカを装着させて、カメラなどのトラッカーによってマーカを検出し、検出したマーカを処理することにより人物の動きをデジタル的に記録するカメラ方式が知られている。また、マーカ及びトラッカーを用いない方式としては、赤外線センサを利用して、センサから人物までの距離を計測し、該人物の大きさや骨格のさまざまな動きを検出することで人物の動きをデジタル的に記録する方式が知られている。このような方式を利用したセンサとしては、例えば、Ｋｉｎｅｃｔ（登録商標）が知られている。
特開平９−５６６９７号公報
本発明が解決しようとする課題は、対象者以外を誤認識することを抑止することを可能にする動作情報処理装置を提供することである。
実施の形態の動作情報処理装置は、取得部と、特定部と、判定部と、出力制御部とを備える。取得部は、所定の動作を実施する対象者及び当該対象者の周囲の画像情報を取得する。特定部は、所定の特徴として、前記対象者が前記所定の動作を実施する前の画像情報に基づいて、前記取得部により取得された画像情報から前記所定の動作を実施する対象者の動作情報を特定する。判定部は、リハビリテーションの対象となるリハビリテーション対象者の特徴を表す情報を用いて、前記特定部によって特定された動作情報に対応する対象者が前記リハビリテーション対象者であるか否かを判定する。出力制御部は、前記判定部によって判定された判定結果を出力する。
図１は、第１の実施形態に係る動作情報処理装置の構成例を示すブロック図である。 図２Ａは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図２Ｂは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図２Ｃは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図３は、第１の実施形態に係る動作情報生成部によって生成される骨格情報の一例を示す図である。 図４は、第１の実施形態に係る動作情報処理装置の詳細な構成例を示すブロック図である。 図５は、第１の実施形態に係る取得部によって取得される骨格情報の一例を示す図である。 図６Ａは、第１の実施形態に係る特定部による処理の一例を説明するための図である。 図６Ｂは、第１の実施形態に係る特定部による処理の一例を説明するための図である。 図７は、第１の実施形態に係る特定部によって動作情報記憶部に格納される動作情報の一例を示す図である。 図８は、第１の実施形態に係る表示制御部によって表示される表示画像の一例を示す図である。 図９は、第１の実施形態に係る動作情報処理装置による処理の手順を示すフローチャートである。 図１０は、第２の実施形態に係る動作情報処理装置の詳細な構成例を示すブロック図である。 図１１Ａは、第２の実施形態に係る認識情報記憶部によって記憶される認識情報の一例を示す図である。 図１１Ｂは、第２の実施形態に係る認識情報記憶部によって記憶される認識情報の一例を示す図である。 図１２Ａは、第２の実施形態に係る特定部による処理の一例を説明するための図である。 図１２Ｂは、第２の実施形態に係る特定部による処理の一例を説明するための図である。 図１３は、第２の実施形態に係る動作情報処理装置による処理の手順を示すフローチャートである。 図１４は、第３の実施形態に係る表示制御部によって表示される表示画像の一例を示す図である。 図１５は、第４の実施形態に係る入力部及び特定部による処理の一例を説明するための図である。 図１６は、第５の実施形態に係る特定部による処理の一例を説明するための図である。 図１７は、第６の実施形態に係る特定部による処理の一例を説明するための図である。 図１８Ａは、距離画像収集部によって撮影される距離画像の一例を示す図である。 図１８Ｂは、距離画像収集部によって撮影される距離画像の一例を示す図である。 図１９は、第７の実施形態に係る医用情報処理装置の詳細な構成例を示すブロック図である。 図２０は、対象者動作特徴記憶部に記憶される情報の一例を示す図である。 図２１は、介助者動作特徴記憶部に記憶される情報の一例を示す図である。 図２２は、対象者画像特徴記憶部に記憶される情報の一例を示す図である。 図２３は、介助者画像特徴記憶部に記憶される情報の一例を示す図である。 図２４は、生成部の処理を説明するための図である。 図２５は、格納部によって表示される表示画面の一例を示す図である。 図２６は、格納部によって表示される表示画面の一例を示す図である。 図２７は、第７の実施形態に係る動作情報処理装置の処理手順の一例を説明するためのフローチャートである。 図２８は、第７の実施形態に係る判定部における判定処理の処理手順の一例を説明するためのフローチャートである。 図２９は、第７の実施形態に係る動作情報処理装置の効果を説明するための図である。 図３０は、第８の実施形態に係る動作情報処理装置の構成例を示すブロック図である。 図３１は、個人特徴情報記憶部に記憶される情報の一例を示す図である。 図３２は、第８の実施形態に係る動作情報処理装置の処理手順の一例を説明するためのフローチャートである。 図３３は、第９の実施形態に係る動作情報処理装置の構成例を示すブロック図である。 図３４は、職員情報記憶部に記憶される情報の一例を示す図である。 図３５は、第１１の実施形態に係る動作情報処理システムの構成例を示すブロック図である。 図３６は、第１１の実施形態に係る動作情報処理装置の詳細な構成例を示すブロック図である。 図３７Ａは、第１１の実施形態に係る生成部の処理を説明するための図である。 図３７Ｂは、第１１の実施形態に係る生成部の処理を説明するための図である。 図３８は、第１１の実施形態に係る医用画像保管装置に格納される閲覧用動作情報の一例を示す図である。 図３９は、第１１の実施形態に係る動作情報処理装置による処理手順を示すフローチャートである。 図４０は、第１１の実施形態の変形例１に係る生成部の処理を説明するための図である。 図４１は、第１１の実施形態の変形例２に係る生成部の処理を説明するための図である。 図４２は、第１１の実施形態の変形例３に係る生成部の処理を説明するための図である。 図４３は、第１２の実施形態に係るワークステーションの詳細な構成例を示すブロック図である。 図４４は、表示用情報記憶部に記憶される情報の一例を示す図である。 図４５は、第１２の実施形態に係る表示制御部の処理を説明するための図である。 図４６は、第１３の実施形態に係る動作情報処理装置の詳細な構成例を示すブロック図である。 図４７は、第１３の実施形態に係る動作情報処理装置による処理手順を示すフローチャートである。 図４８は、サービス提供装置に適用される場合の一例を説明するための図である。
以下、図面を参照して、実施形態に係る動作情報処理装置を説明する。なお、以下で説明する動作情報処理装置は、動作情報処理装置単体として用いられてもよく、或いは、例えば、カルテシステムや、リハビリ部門システムなどのシステムに組み込まれて用いられる場合であってもよい。
（第１の実施形態）
図１は、第１の実施形態に係る動作情報処理装置１００の構成の一例を示す図である。第１の実施形態に係る動作情報処理装置１００は、例えば、医療機関や自宅、職場等において行われるリハビリテーションを支援する装置である。ここで、「リハビリテーション」とは、障害、慢性疾患、老年病など、治療期間が長期にわたる患者の潜在能力を高めて、生活機能ひいては、社会的機能を回復、促進するための技術や方法を指す。かかる技術や方法としては、例えば、生活機能、社会的機能を回復、促進するための機能訓練などが含まれる。ここで、機能訓練としては、例えば、歩行訓練や関節可動域訓練などが挙げられる。また、リハビリテーションの対象となる者を「対象者」と表記する。この対象者は、例えば、病人やけが人、高齢者、障害者等である。また、リハビリテーションが行われる際に、対象者を介助する者を「介助者」と表記する。この介助者は、例えば、医療機関に従事する医師、理学療法士、看護師等の医療従事者や、対象者を自宅で介護する介護士、家族、友人等である。また、リハビリテーションは、「リハビリ」とも略記する。
図１に示すように、第１の実施形態において、動作情報処理装置１００は、動作情報収集部１０に接続される。
動作情報収集部１０は、リハビリテーションが行われる空間における人物や物体等の動作を検知し、人物や物体等の動作を表す動作情報を収集する。なお、動作情報については、後述の動作情報生成部１４の処理を説明する際に詳述する。また、動作情報収集部１０としては、例えば、Ｋｉｎｅｃｔ（登録商標）が用いられる。
図１に示すように、動作情報収集部１０は、カラー画像収集部１１と、距離画像収集部１２と、音声認識部１３と、動作情報生成部１４とを有する。なお、図１に示す動作情報収集部１０の構成は、あくまでも一例であり、実施形態はこれに限定されるものではない。
カラー画像収集部１１は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、カラー画像情報を収集する。例えば、カラー画像収集部１１は、被写体表面で反射される光を受光素子で検知し、可視光を電気信号に変換する。そして、カラー画像収集部１１は、その電気信号をデジタルデータに変換することにより、撮影範囲に対応する１フレームのカラー画像情報を生成する。この１フレーム分のカラー画像情報には、例えば、撮影時刻情報と、この１フレームに含まれる各画素にＲＧＢ（Red Green Blue）値が対応付けられた情報とが含まれる。カラー画像収集部１１は、次々に検知される可視光から連続する複数フレームのカラー画像情報を生成することで、撮影範囲を動画撮影する。なお、カラー画像収集部１１によって生成されるカラー画像情報は、各画素のＲＧＢ値をビットマップに配置したカラー画像として出力されても良い。また、カラー画像収集部１１は、受光素子として、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）を有する。
距離画像収集部１２は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、距離画像情報を収集する。例えば、距離画像収集部１２は、赤外線を周囲に照射し、照射波が被写体表面で反射された反射波を受光素子で検知する。そして、距離画像収集部１２は、照射波とその反射波との位相差や、照射から検知までの時間に基づいて、被写体と距離画像収集部１２との距離を求め、撮影範囲に対応する１フレームの距離画像情報を生成する。この１フレーム分の距離画像情報には、例えば、撮影時刻情報と、撮影範囲に含まれる各画素に、その画素に対応する被写体と距離画像収集部１２との距離が対応付けられた情報とが含まれる。距離画像収集部１２は、次々に検知される反射波から連続する複数フレームの距離画像情報を生成することで、撮影範囲を動画撮影する。なお、距離画像収集部１２によって生成される距離画像情報は、各画素の距離に応じた色の濃淡をビットマップに配置した距離画像として出力されても良い。また、距離画像収集部１２は、受光素子として、例えば、ＣＭＯＳやＣＣＤを有する。この受光素子は、カラー画像収集部１１で用いられる受光素子と共用されても良い。また、距離画像収集部１２によって算出される距離の単位は、例えば、メートル［ｍ］である。
音声認識部１３は、周囲の音声を集音し、音源の方向特定及び音声認識を行う。音声認識部１３は、複数のマイクを備えたマイクアレイを有し、ビームフォーミングを行う。ビームフォーミングは、特定の方向からの音声を選択的に集音する技術である。例えば、音声認識部１３は、マイクアレイを用いたビームフォーミングによって、音源の方向を特定する。また、音声認識部１３は、既知の音声認識技術を用いて、集音した音声から単語を認識する。すなわち、音声認識部１３は、例えば、音声認識技術によって認識された単語、その単語が発せられた方向及びその単語を認識した時刻が対応付けられた情報を、音声認識結果として生成する。
動作情報生成部１４は、人物や物体等の動作を表す動作情報を生成する。この動作情報は、例えば、人物の動作（ジェスチャー）を複数の姿勢（ポーズ）の連続として捉えることにより生成される。概要を説明すると、動作情報生成部１４は、まず、人体パターンを用いたパターンマッチングにより、距離画像収集部１２によって生成される距離画像情報から、人体の骨格を形成する各関節の座標を得る。距離画像情報から得られた各関節の座標は、距離画像の座標系(以下、「距離画像座標系」と呼ぶ)で表される値である。このため、動作情報生成部１４は、次に、距離画像座標系における各関節の座標を、リハビリテーションが行われる３次元空間の座標系（以下、「世界座標系」と呼ぶ）で表される値に変換する。この世界座標系で表される各関節の座標が、１フレーム分の骨格情報となる。また、複数フレーム分の骨格情報が、動作情報である。以下、第１の実施形態に係る動作情報生成部１４の処理を具体的に説明する。
図２Ａから図２Ｃは、第１の実施形態に係る動作情報生成部１４の処理を説明するための図である。図２Ａには、距離画像収集部１２によって生成される距離画像の一例を示す。なお、図２Ａにおいては、説明の便宜上、線画で表現された画像を示すが、実際の距離画像は、距離に応じた色の濃淡で表現された画像等である。この距離画像において、各画素は、距離画像の左右方向における「画素位置Ｘ」と、距離画像の上下方向における「画素位置Ｙ」と、当該画素に対応する被写体と距離画像収集部１２との「距離Ｚ」とを対応付けた３次元の値を有する。以下では、距離画像座標系の座標の値を、この３次元の値（Ｘ，Ｙ，Ｚ）で表記する。
第１の実施形態において、動作情報生成部１４は、様々な姿勢に対応する人体パターンを、例えば、学習により予め記憶している。動作情報生成部１４は、距離画像収集部１２によって距離画像情報が生成されるごとに、生成された各フレームの距離画像情報を取得する。そして、動作情報生成部１４は、取得した各フレームの距離画像情報に対して人体パターンを用いたパターンマッチングを行う。
ここで、人体パターンについて説明する。図２Ｂには、人体パターンの一例を示す。第１の実施形態において、人体パターンは、距離画像情報とのパターンマッチングに用いられるパターンであるので、距離画像座標系で表現され、また、距離画像に描出される人物と同様、人体の表面の情報（以下、「人体表面」と呼ぶ）を有する。例えば、人体表面は、その人物の皮膚や衣服の表面に対応する。更に、人体パターンは、図２Ｂに示すように、人体の骨格を形成する各関節の情報を有する。すなわち、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。
図２Ｂに示す例では、人体パターンは、関節２ａから関節２ｔまでの２０点の関節の情報を有する。このうち、関節２ａは、頭部に対応し、関節２ｂは、両肩の中央部に対応し、関節２ｃは、腰に対応し、関節２ｄは、臀部の中央部に対応する。また、関節２ｅは、右肩に対応し、関節２ｆは、右肘に対応し、関節２ｇは、右手首に対応し、関節２ｈは、右手に対応する。また、関節２ｉは、左肩に対応し、関節２ｊは、左肘に対応し、関節２ｋは、左手首に対応し、関節２ｌは、左手に対応する。また、関節２ｍは、右臀部に対応し、関節２ｎは、右膝に対応し、関節２ｏは、右足首に対応し、関節２ｐは、右足の足根に対応する。また、関節２ｑは、左臀部に対応し、関節２ｒは、左膝に対応し、関節２ｓは、左足首に対応し、関節２ｔは、左足の足根に対応する。
なお、図２Ｂでは、人体パターンが２０点の関節の情報を有する場合を説明したが、実施形態はこれに限定されるものではなく、関節の位置及び数は操作者が任意に設定して良い。例えば、四肢の動きの変化のみを捉える場合には、関節２ａから関節２ｄまでのうち、関節２ｂ及び関節２ｃの情報は取得しなくても良い。また、右手の動きの変化を詳細に捉える場合には、関節２ｈのみならず、右手の指の関節を新たに設定して良い。なお、図２Ｂの関節２ａ、関節２ｈ、関節２ｌ、関節２ｐ、関節２ｔは、骨の末端部分であるためいわゆる関節とは異なるが、骨の位置及び向きを表す重要な点であるため、説明の便宜上、ここでは関節として説明する。
動作情報生成部１４は、かかる人体パターンを用いて、各フレームの距離画像情報とのパターンマッチングを行う。例えば、動作情報生成部１４は、図２Ｂに示す人体パターンの人体表面と、図２Ａに示す距離画像とをパターンマッチングすることで、距離画像情報から、ある姿勢の人物を抽出する。こうして、動作情報生成部１４は、距離画像に描出された人物の人体表面の座標を得る。また、上述したように、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。このため、動作情報生成部１４は、距離画像に描出された人物の人体表面の座標から、当該人物内の各関節の座標を算出する。こうして、図２Ｃに示すように、動作情報生成部１４は、距離画像情報から、人体の骨格を形成する各関節の座標を取得する。なお、ここで得られる各関節の座標は、距離座標系の座標である。
なお、動作情報生成部１４は、パターンマッチングを行う際、各関節の位置関係を表す情報を補助的に用いても良い。各関節の位置関係を表す情報には、例えば、関節同士の連結関係（例えば、「関節２ａと関節２ｂとが連結」等）や、各関節の可動域が含まれる。関節は、２つ以上の骨を連結する部位である。姿勢の変化に応じて骨と骨とがなす角は変化するものであり、また、関節に応じてその可動域は異なる。例えば、可動域は、各関節が連結する骨同士がなす角の最大値及び最小値等で表される。例えば、動作情報生成部１４は、人体パターンを学習する際に、各関節の可動域も学習し、各関節に対応付けてこれを記憶する。
続いて、動作情報生成部１４は、距離画像座標系における各関節の座標を、世界座標系で表される値に変換する。世界座標系とは、リハビリテーションが行われる３次元空間の座標系であり、例えば、動作情報収集部１０の位置を原点とし、水平方向をｘ軸、鉛直方向をｙ軸、ｘｙ平面に直交する方向をｚ軸とする座標系である。なお、このｚ軸方向の座標の値を「深度」と呼ぶことがある。
ここで、距離画像座標系から世界座標系へ変換する処理について説明する。第１の実施形態において、動作情報生成部１４は、距離画像座標系から世界座標系へ変換するための変換式を予め記憶しているものとする。例えば、この変換式は、距離画像座標系の座標、及び当該座標に対応する反射光の入射角を入力として、世界座標系の座標を出力する。例えば、動作情報生成部１４は、ある関節の座標（Ｘ１，Ｙ１，Ｚ１）、及び、当該座標に対応する反射光の入射角をこの変換式に入力して、ある関節の座標（Ｘ１，Ｙ１，Ｚ１）を世界座標系の座標（ｘ１，ｙ１，ｚ１）に変換する。なお、距離画像座標系の座標と、反射光の入射角との対応関係は既知であるので、動作情報生成部１４は、座標（Ｘ１，Ｙ１，Ｚ１）に対応する入射角を変換式に入力することができる。また、ここでは、動作情報生成部１４が距離画像座標系の座標を世界座標系の座標に変換する場合を説明したが、世界座標系の座標を距離座標系の座標に変換することも可能である。
そして、動作情報生成部１４は、この世界座標系で表される各関節の座標から骨格情報を生成する。図３は、動作情報生成部１４によって生成される骨格情報の一例を示す図である。各フレームの骨格情報は、当該フレームの撮影時刻情報と、各関節の座標とを含む。例えば、動作情報生成部１４は、図３に示すように、関節識別情報と座標情報とを対応付けた骨格情報を生成する。なお、図３において、撮影時刻情報は図示を省略する。関節識別情報は、関節を識別するための識別情報であり、予め設定されている。例えば、関節識別情報「２ａ」は、頭部に対応し、関節識別情報「２ｂ」は、両肩の中央部に対応する。他の関節識別情報についても同様に、各関節識別情報は、それぞれ対応する関節を示す。また、座標情報は、各フレームにおける各関節の座標を世界座標系で示す。
図３の１行目には、関節識別情報「２ａ」と、座標情報「（ｘ１，ｙ１，ｚ１）」とが対応付けられている。つまり、図３の骨格情報は、あるフレームにおいて頭部が座標（ｘ１，ｙ１，ｚ１）の位置に存在することを表す。また、図３の２行目には、関節識別情報「２ｂ」と、座標情報「（ｘ２，ｙ２，ｚ２）」とが対応付けられている。つまり、図３の骨格情報は、あるフレームにおいて両肩の中央部が座標（ｘ２，ｙ２，ｚ２）の位置に存在することを表す。また、他の関節についても同様に、あるフレームにおいてそれぞれの関節がそれぞれの座標で表される位置に存在することを表す。
このように、動作情報生成部１４は、距離画像収集部１２から各フレームの距離画像情報を取得するごとに、各フレームの距離画像情報に対してパターンマッチングを行い、距離画像座標系から世界座標系に変換することで、各フレームの骨格情報を生成する。そして、動作情報生成部１４は、生成した各フレームの骨格情報を、動作情報処理装置１００へ出力し、後述の動作情報記憶部１３１へ格納する。
なお、動作情報生成部１４の処理は、上述した手法に限られるものではない。例えば、上述では、動作情報生成部１４が人体パターンを用いてパターンマッチングを行う手法を説明したが、実施形態はこれに限られるものではない。例えば、人体パターンに替えて、若しくは人体パターンとともに、部位別のパターンを用いてパターンマッチングを行う手法でも良い。
また、例えば、上述では、動作情報生成部１４が距離画像情報から各関節の座標を得る手法を説明したが、実施形態はこれに限られるものではない。例えば、動作情報生成部１４が、距離画像情報とともにカラー画像情報を用いて各関節の座標を得る手法でも良い。この場合、例えば、動作情報生成部１４は、カラー画像の座標系で表現された人体パターンとカラー画像情報とでパターンマッチングを行い、カラー画像情報から人体表面の座標を得る。このカラー画像の座標系には、距離画像座標系でいう「距離Ｚ」の情報は含まれない。そこで、動作情報生成部１４は、例えば、この「距離Ｚ」の情報については距離画像情報から得て、これら２つの情報を用いた計算処理によって、各関節の世界座標系の座標を得る。
また、動作情報生成部１４は、カラー画像収集部１１によって生成されたカラー画像情報、距離画像収集部１２によって生成された距離画像情報及び音声認識部１３によって出力された音声認識結果を、必要に応じて動作情報処理装置１００へ適宜出力し、後述の動作情報記憶部１３１へ格納する。なお、カラー画像情報の画素位置及び距離画像情報の画素位置は、カラー画像収集部１１及び距離画像収集部１２の位置及び撮影方向に応じて予め対応付け可能である。このため、カラー画像情報の画素位置及び距離画像情報の画素位置は、動作情報生成部１４によって算出される世界座標系とも対応付けが可能である。更に、この対応付けと距離画像収集部１２により算出される距離［ｍ］を用いることで、身長や体の各部の長さ（腕の長さや腹部の長さ）を求めたり、カラー画像上で指定された２ピクセル間の距離を求めたりすることが可能である。また、同様に、カラー画像情報の撮影時刻情報及び距離画像情報の撮影時刻情報も、予め対応付け可能である。また、動作情報生成部１４は、音声認識結果と距離画像情報とを参照し、ある時刻に音声認識された単語が発せられた方向の付近に関節２ａがあれば、その関節２ａを含む人物が発した単語として出力可能である。更に、動作情報生成部１４は、各関節の位置関係を表す情報についても、必要に応じて動作情報処理装置１００へ適宜出力し、後述の動作情報記憶部１３１へ格納する。
また、動作情報生成部１４は、世界座標系のｚ軸方向の座標の値である深度を用いて、撮影範囲に対応する１フレームの深度画像情報を生成する。この１フレーム分の深度画像情報には、例えば、撮影時刻情報と、撮影範囲に含まれる各画素に、その画素に対応する深度が対応付けられた情報とが含まれる。言い換えると、深度画像情報は、距離画像情報の各画素に対応付けられた距離情報に代えて深度情報を対応付けたものであり、距離画像情報と同様の距離画像座標系で各画素位置を表すことができる。動作情報生成部１４は、生成した深度画像情報を動作情報処理装置１００へ出力し、動作情報記憶部１３１に格納する。なお、深度画像情報は、各画素の深度に応じた色の濃淡をビットマップに配置した深度画像として出力されても良い。
なお、ここでは、動作情報収集部１０によって一人の対象者の動作が検知される場合を説明したが、実施形態はこれに限定されるものではない。動作情報収集部１０の検知範囲に含まれていれば、動作情報収集部１０は、複数人の対象者の動作を検知しても良い。なお、同一フレームの距離画像情報に複数人の対象者が撮影される場合には、動作情報収集部１０は、同一フレームの距離画像情報から生成される複数人の対象者の骨格情報を対応付けて、これを動作情報として医用情報処理装置１００へ出力する。
また、動作情報収集部１０の構成は、上記の構成に限定されるものではない。例えば、光学式、機械式、磁気式等、他のモーションキャプチャによって人物の動作を検出することで動作情報を生成する場合には、動作情報収集部１０は、必ずしも距離画像収集部１２を有していなくても良い。かかる場合、動作情報収集部１０は、モーションセンサとして、人物の動作を検知するために人体に装着させるマーカと、マーカを検出するセンサとを有する。そして、動作情報収集部１０は、モーションセンサを用いて人物の動作を検知して動作情報を生成する。また、動作情報収集部１０は、カラー画像収集部１１によって撮影した画像に含まれるマーカの位置を用いて、カラー画像情報の画素位置と動作情報の座標とを対応付けた上で、必要に応じて動作情報処理装置１００へ適宜出力する。また、例えば、動作情報収集部１０は、音声認識結果を動作情報処理装置１００へ出力しない場合には、音声認識部１３を有していなくても良い。
更に、上述した実施形態において、動作情報収集部１０は、骨格情報として世界座標系の座標を出力したが、実施形態はこれに限られるものではない。例えば、動作情報収集部１０は、変換前の距離画像座標系の座標を出力し、距離画像座標系から世界座標系への変換は、必要に応じて、動作情報処理装置１００側で行ってもよい。
図１の説明に戻る。動作情報処理装置１００は、動作情報収集部１０から出力される動作情報を用いて、リハビリテーションを支援するための処理を行う。具体的には、動作情報処理装置１００は、動作情報収集部１０によって収集された動作情報を含む画像情報を用いてリハビリを支援する際に、対象者以外を誤認識することを抑止する。
上述したように、従来、リハビリの機能訓練として、種々の訓練が行われているが、例えば、歩行訓練のように広いスペースを用いて実施されるリハビリにおいては、上述した動作情報収集部１０は、リハビリを実施する対象者だけではなく、その他の人物や物（例えば、椅子や器具など）などの対象者以外の情報を収集してしまう場合がある。特に、小規模病院やクリニック（診療所）においては、リハビリ専用の大規模なスペースを確保することは困難であり、動作情報収集部１０が対象者以外の情報を収集してしまう場合がある。その結果、動作情報処理装置１００は、対象者以外の情報を対象者の情報として誤認識して処理を実行してしまい、各種リハビリ支援の処理に支障をきたす場合がある。そこで、本実施形態に係る動作情報処理装置１００は、対象者以外を誤認識することを抑止することを可能にするように構成される。
例えば、動作情報処理装置１００は、コンピュータ、ワークステーション等の情報処理装置であり、図１に示すように、出力部１１０と、入力部１２０と、記憶部１３０と、制御部１４０とを有する。
出力部１１０は、リハビリテーションを支援するための各種情報を出力する。例えば、出力部１１０は、リハビリを実施する対象者の動作情報を用いたリハビリを支援するための各種情報を出力する。具体的には、出力部１１０は、後述する制御部１４０によって特定された対象者の動作情報を用いた各種処理結果を出力する。また、出力部１１０は、医用情報処理装置１００を操作する操作者が入力部１２０を用いて各種要求を入力するためのＧＵＩ（Graphical User Interface）を表示したり、動作情報処理装置１００において生成された表示情報を表示したり、或いは警告音を出力したりする。例えば、出力部１１０は、モニタ、スピーカー、ヘッドフォン、ヘッドセットのヘッドフォン部分等である。また、出力部１１０は、メガネ型ディスプレイやヘッドマウントディスプレイ等、利用者の身体に装着させる方式のディスプレイであってもよい。
入力部１２０は、リハビリテーションを支援するための各種情報の入力を受け付ける。例えば、入力部１２０は、対象者以外を誤認識することを抑止するための各種情報の入力を受け付ける。例えば、入力部１２０は、動作情報処理装置１００の操作者から各種要求（例えば、対象者であるか否かを判定するための所定の閾値の設定要求や、種々の情報の選択要求や、ＧＵＩ上で計測を実行させるための計測要求など）の入力を受け付け、受け付けた各種要求を医用情報処理装置１００に転送する。例えば、入力部１２０は、マウス、キーボード、タッチコマンドスクリーン、トラックボール、マイク、ヘッドセットのマイク部分等である。また、入力部１２０は、血圧計、心拍計、体温計等の生体情報を取得するセンサであっても良い。
記憶部１３０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスク装置や光ディスク装置等の記憶装置である。また、制御部１４０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路、或いはＣＰＵ（Central Processing Unit）が所定のプログラムを実行することで実現することができる。
以上、第１の実施形態に係る動作情報処理装置１００の構成について説明した。かかる構成のもと、第１の実施形態に係る動作情報処理装置１００は、以下、詳細に説明する構成により、対象者以外を誤認識することを抑止する。なお、以下の実施形態においては、リハビリとして歩行訓練を行う場合を一例に挙げて説明する。図４は、第１の実施形態に係る動作情報処理装置１００の詳細な構成の一例を示す図である。まず、動作情報処理装置１００における記憶部１３０について説明する。図４に示すように、動作情報処理装置１００においては、例えば、記憶部１３０が動作情報記憶部１３１を備える。
動作情報記憶部１３１は、動作情報収集部１０によって収集された各種情報を記憶する。具体的には、動作情報記憶部１３１は、動作情報生成部１４によって生成された動作情報、及び、動作情報生成部１４によって生成された動作情報のうち後述する制御部１４０によって対象者の動作情報として特定された動作情報を記憶する。より具体的には、動作情報記憶部１３１は、制御部１４０によって対象者の動作情報として特定された動作情報において、動作情報生成部１４によって生成されたフレームごとの骨格情報を記憶する。ここで、動作情報記憶部１３１、動作情報生成部１４によって出力されたカラー画像情報、距離画像情報及び音声認識結果をフレームごとにさらに対応付けて記憶することも可能である。なお、制御部１４０によって対象者の動作情報として特定され、動作情報記憶部１３１によって記憶される動作情報の詳細については、後に詳述する。
次に、動作情報処理装置１００の制御部１４０の詳細について説明する。図４に示すように、動作情報処理装置１００においては、例えば、制御部１４０が取得部１４１と、特定部１４２と、表示制御部１４３とを備える。
取得部１４１は、所定の動作を実施する対象者及び当該対象者の周囲の画像情報を取得する。具体的には、取得部１４１は、動作情報収集部１０によって収集され、動作情報記憶部１３１によって記憶された動作情報を取得する。例えば、取得部１４１は、動作情報記憶部１３１によってフレームごとに記憶されたカラー画像情報、距離画像情報、音声認識結果及び骨格情報などを取得する。
ここで、上述したように、動作情報収集部１０においては、リハビリを実施する対象者以外の情報を収集する場合がある。特に、狭いスペースで、そのほとんどのスペースを用いてリハビリが実施される場合などは、対象者以外の人物や物が動作情報収集に対象領域内に含まれやすく、動作情報収集部１０は、それらの情報を収集して、動作情報記憶部１３１に格納する場合がある。取得部１４１は、それらの情報を含めたフレームごとの動作情報を取得する。すなわち、動作情報収集部１０によって対象者以外の骨格情報が収集された場合、取得部１４１は、各フレームに対象者の骨格情報及び対象者以外の骨格情報を含む動作情報を取得する。なお、かかる場合には、カラー画像情報や、距離画像情報においても、対象者の情報及び対象者以外の情報が含まれ、取得部１４１は、それらの情報も取得することが可能である。
図５は、第１の実施形態に係る取得部１４１によって取得される骨格情報の一例を示す図である。ここで、図５においては、動作情報収集部１０が、動作情報収集の対象となる領域内で図中矢印の方向に歩行訓練を実施する対象者に対応する骨格情報に加えて、領域内に置かれた椅子に対しても骨格情報を収集した場合の一例を示す。例えば、動作情報収集部１０は、フレームごとに、図５に示すように、人体の各部位に対応する各関節２ａ1〜２ｔ1を含む骨格情報と、各関節（２ａ2、２ｄ2、２ｅ2、２ｉ2、２ｍ2、２ｎ2、２ｏ2、２ｑ2、２ｒ2、２ｓ2）を含む骨格情報とを収集して、動作情報記憶部１３１に格納する。
かかる場合には、取得部１４１は、対象者の歩行訓練における一連の動作中に収集された全てのフレームにそれぞれ含まれる２種類の骨格情報（各関節２ａ1〜２ｔ1を含む骨格情報、及び、各関節（２ａ2、２ｄ2、２ｅ2、２ｉ2、２ｍ2、２ｎ2、２ｏ2、２ｑ2、２ｒ2、２ｓ2））を取得する。ここで、取得部１４１は、上述した骨格情報だけではなく、各フレームにおけるカラー画像情報及び距離画像情報などを取得することも可能である。
図４に戻って、特定部１４２は、取得部１４１によって取得された画像情報における所定の特徴に基づいて、所定の動作を実施する対象者の動作情報を特定する。具体的には、特定部１４２は、取得部１４１によって取得された画像情報から対象者を示す対象者情報を所定の特徴として抽出し、抽出した対象者情報に基づいて、所定の動作を実施する対象者の動作情報を特定する。例えば、特定部１４２は、画像情報に含まれる動体を示す情報対象者情報として抽出し、抽出した対象者情報に基づいて、所定の動作を実施する対象者の動作情報を特定する。ここで、特定部１４２は、取得部１４１によって取得された経時的な画像情報において、対象者の周囲の３次元空間内で位置を変化させる物体を動体とする。
図６Ａ及び図６Ｂは、第１の実施形態に係る特定部１４２による処理の一例を説明するための図である。図６Ａ及び図６Ｂにおいては、図５に示す動作情報収集部１０によって収集された動作情報を用いた処理の一例を示す。例えば、特定部１４２は、図６Ａに示すように、動作情報収集部１０によって収集された動作情報の「Ｔ秒」フレームの画像と、「Ｔ＋ｔ秒」フレームの画像とを読み出す。そして、特定部１４２は、読み出した画像から動作情報が収集された３次元空間内の動体（動いている人や、物）を抽出する。
一例を挙げると、特定部１４２は、図６Ｂに示すように、Ｔ秒フレームの画像である「Ｔ秒画像」と、（Ｔ＋ｔ）秒フレームの画像である「（Ｔ＋ｔ）秒画像」との差分から動体を抽出して、抽出した動体を含む所定の領域を、動作情報を特定するための認識対象領域Ｒ１として設定する。ここで、図５に示すように、動作情報収集部１０に向かって歩行訓練が実施されている場合には、例えば、特定部１４２は、「Ｔ秒画像」及び「（Ｔ＋ｔ）秒画像」の各画素における深度を差分することで、画像内の深度の情報が変化した画素を抽出する。なお、椅子のように動きのないものは深度の情報が変化しないため差分すると「０」となり、対象者以外のものとして消去することができる。そして、特定部１４２は、深度の情報が変化した画素に対して、例えば、モルフォロジー演算などの領域膨張処理を施すことで、認識対象領域Ｒ１を設定する。
すなわち、特定部１４２は、「Ｔ秒画像」と「（Ｔ＋ｔ）秒画像」との差分を算出することで、画像内の動体に対応する画素を抽出する。そして、特定部１４２は、抽出した画素に対して領域膨張処理を施すことで、動体全体が含まれる認識対象領域Ｒ１を設定する。そして、特定部１４２は、設定した認識対象領域Ｒ１に含まれる動作情報を対象者の動作情報として特定する。例えば、特定部１４２は、図５に示す各関節２ａ1〜２ｔ1を含む骨格情報を、リハビリを実施する対象者の動作情報として特定する。
ここで、上述した例では、対象者が動作情報収集部１０に向かって歩行訓練を行う場合について説明したが、実施形態はこれに限定されるものではなく、例えば、動作情報収集部１０の前を横切るように歩行訓練が実施される場合であってもよい。かかる場合においても、上述した例と同様に深度の差分を算出することで、深度の情報が変化した画素を抽出して認識対象領域を設定することができる。
また、上述した例では、深度の情報の変化に基づいて動体を抽出する場合について説明したが、実施形態はこれに限定されるものではなく、例えば、カラー画像情報における画素値を用いる場合であってもよい。かかる場合には、例えば、「Ｔ秒」フレームのカラー画像の画素値と、「（Ｔ＋ｔ）秒」フレームのカラー画像の画素値とを差分することで、画素値に変化が生じた画素を抽出して認識対象領域を設定する。
また、例えば、サーモグラフィによって温度情報をフレームごとに収集して、収集した温度情報の差分を「Ｔ秒画像」と「（Ｔ＋ｔ）秒画像」との間で算出することで、温度情報に変化が生じた画素を抽出して認識対象領域を設定することを可能である。
また、上述した例では、「Ｔ秒画像」と「（Ｔ＋ｔ）秒画像」との２フレームの画像の差分から動体を抽出する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、３フレーム以上の画像の差分から動体を抽出する場合であってもよい。一例を挙げると、「Ｔ秒画像」、「（Ｔ＋ｔ）秒画像」及び「（Ｔ＋２ｔ）秒画像」の深度をそれぞれ差分して、深度が段階的に浅くなる（或いは、深くなる）領域、或いは、深度が経時的に一方向に変化する領域などを抽出して、抽出した領域を認識対象領域として設定する場合であってもよい。これにより、例えば、歩行訓練を実施している対象者以外の人物の動作情報が動作情報収集部１０によって収集された場合であっても、歩行訓練などの規則的な動きを実施している対象者を的確に識別することができる。
特定部１４２は、上述した種々の方法により設定した認識対象領域Ｒ１に含まれる動作情報（骨格情報）を対象者の動作情報（骨格情報）として特定する。そして、特定部１４２は、特定した骨格情報を、動作情報収集部１０によって収集されたカラー画像情報や距離画像情報などと対応付けて動作情報記憶部１３１に格納する。
図７は、第１の実施形態に係る特定部１４２によって動作情報記憶部１３１に格納される動作情報の一例を示す図である。特定部１４２は、図７に示すように、氏名ごとに、氏名番号と、実施日と、動作情報とを対応付けた動作情報を動作情報記憶部１３１に格納する。ここで、「氏名番号」とは、対象者を一意に特定するための識別子であり、氏名ごとに付与される。「実施日」とは、対象者がリハビリ（例えば、歩行訓練など）を実施した日時を示す。「動作情報」とは、動作情報収集部１０によって収集された情報を示す。
例えば、特定部１４２は、図７に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿１、動作情報：カラー画像情報、距離画像情報、音声認識結果、骨格情報、・」を記憶する。上記した情報は、「氏名番号」が「１」である「氏名：Ａ」の人物が「２０１２年」の「８月１日」に実施した「１回目」の歩行訓練における動作情報として、「カラー画像情報」と、「距離画像情報」と、「音声認識結果」と、「骨格情報」とを含む動作情報が記憶されていることを示す。
ここで、特定部１４２は、図７に示す骨格情報として、対象者の骨格情報として特定した骨格情報を対応付けて格納する。また、特定部１４２は、図７に示す動作情報として、歩行訓練を実行している際に撮影された全てのフレームごとの「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」が時系列順に時間に対応付けて格納する。
また、特定部１４２は、図７に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿２、動作情報：カラー画像情報、距離画像情報、音声認識結果、骨格情報、・」を記憶する。すなわち、特定部１４２は、「氏名：Ａ」の人物が「２０１２年」の「８月１日」に実施した「２回目」の歩行訓練における動作情報も同様に格納する。ここで、「２回目」の歩行訓練においても、対象者の骨格情報として特定された骨格情報が対応付けて格納される。
また、特定部１４２は、図７に示すように、「氏名：Ｂ、氏名番号：２」の人物についても、「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」を含む動作情報を格納する。このように、特定部１４２は、対象者ごとに収集された歩行訓練の動作情報を、それぞれの対象者に対応付けて格納する。なお、図７に示す動作情報はあくまでも一例である。すなわち、特定部１４２は、図７に示す「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」以外の情報をさらに対応付けて格納することができ、また、例えば、動作情報収集部１０が音声認識部１３を有さない場合には、音声認識結果が含まれないものとして格納することとなる。
また、動作情報に含まれる「カラー画像情報」及び「距離画像情報」には、ＢＩＴ ＭＡＰ、ＪＰＥＧ、その他バイナリ形式の画像データ、または、当該画像データへのリンク等が含まれる。また、動作情報に含まれる「音声認識結果」には、上述した認識情報の他、音声データそのものや、認識情報或いは音声データへのリンクであってもよい。
図４に戻って、表示制御部１４３は、画像情報において、特定部１４２によって特定された動作情報に対応する位置に対象者を示す情報を重畳させた表示画像を表示させるように制御する。具体的には、表示制御部１４３は、特定部１４２によって動作情報記憶部１３１に格納された動作情報を用いて、表示画像を表示させる。図８は、第１の実施形態に係る表示制御部１４３によって表示される表示画像の一例を示す図である。例えば、表示制御部１４３は、図８に示すように、動作情報収集部１０によって収集されたカラー画像情報に対して、特定部１４２が特定した骨格情報を示す点と線を重畳させた表示画像を出力部１１０に表示させるように制御する。
このように、特定部１４２によって対象者の動作情報として特定された骨格情報をカラー画像情報に重畳させることで、カラー画像情報に含まれる対象者上に適切に骨格情報を重畳させた表示情報を表示させることができる。
次に、図９を用いて、第１の実施形態に係る動作情報処理装置１００の処理について説明する。図９は、第１の実施形態に係る動作情報処理装置１００による処理の手順を示すフローチャートである。図９に示すように、第１の実施形態に係る動作情報処理装置１００においては、取得部１４１が、対象者の動作情報を取得する（ステップＳ１０１）。そして、特定部１４２は、対象者以外を誤認識することを抑止するための誤認識抑止機能がＯＮであるか否かを判定する（ステップＳ１０２）。
ここで、誤認識抑止機能がＯＮである場合には（ステップＳ１０２肯定）、特定部１４２は、「Ｔ秒画像」と「（Ｔ＋ｔ）秒画像」とを取得して、「Ｔ秒画像−（Ｔ＋ｔ）秒画像」を算出する（ステップＳ１０３）。そして、特定部１４２は、領域膨張処理を実行して、認識対象領域を抽出する（ステップＳ１０４）。
そののち、特定部１４２は、抽出した認識対象領域内の動作情報（骨格情報）を特定して（ステップＳ１０５）、特定した動作情報（骨格情報）を動作情報記憶部１３１に格納する（ステップＳ１０６）。
一方、ステップＳ１０２において、誤認識抑止機能がＯＮではない場合には（ステップＳ１０２否定）、特定部１４２による特定が行われずに動作情報が動作情報記憶部１３１に格納される（ステップＳ１０６）。
そして、表示制御部１４３は、動作情報記憶部１３１に格納された動作情報に基づいて、表示画像を生成して、出力部１１０にて表示させるように制御する（ステップＳ１０７）。なお、上述した処理の例では、骨格情報を保存する際に認識対象領域を抽出して、抽出した認識対象領域内の動作情報を特定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、任意のタイミングで実行される場合であってもよい。例えば、動作情報の取得時にリアルタイムで実行される場合であってもよい。
上述したように、第１の実施形態によれば、取得部１４１は、所定の動作を実施する対象者及び当該対象者の周囲の画像情報を取得する。特定部１４２は、取得部１４１によって取得された画像情報における所定の特徴に基づいて、所定の動作を実施する対象者の動作情報を特定する。従って、第１の実施形態に係る動作情報処理装置１００は、動作情報収集部１０によって収集された情報のなかから、対象者の動作情報を特定することができ、対象者以外を誤認識することを抑止することを可能にする。
その結果、動作情報処理装置１００は、動作情報収集部１０によって収集された動作情報を用いたリハビリ支援において、対象者の動作情報（骨格情報）を用いた的確なリハビリ支援を行うことを可能にする。
また、第１の実施形態によれば、特定部１４２は、取得部１４１によって取得された画像情報から対象者を示す対象者情報を所定の特徴として抽出し、抽出した対象者情報に基づいて、所定の動作を実施する対象者の動作情報を特定する。従って、第１の実施形態に係る動作情報処理装置１００は、動作情報収集部１０によって収集された情報に含まれる対象者の動作情報を的確に抽出することを可能にする。
また、第１の実施形態によれば、特定部１４２は、画像情報に含まれる動体を示す情報を対象者情報として抽出し、抽出した対象者情報に基づいて、所定の動作を実施する対象者の動作情報を特定する。従って、第１の実施形態に係る動作情報処理装置１００は、動作情報収集部１０によって収集された情報から容易に対象者の動作情報を抽出することを可能にする。
また、第１の実施形態によれば、特定部１４２は、取得部１４１によって取得された経時的な画像情報において、対象者の周囲の３次元空間内で位置を変化させる物体を動体とする。従って、第１の実施形態に係る動作情報処理装置１００は、動体を容易に抽出することを可能にする。
また、第１の実施形態によれば、表示制御部１４３は、画像情報において、特定部１４２によって特定された動作情報に対応する位置に対象者を示す情報を重畳させた表示画像を表示させるように制御する。従って、第１の実施形態に係る動作情報処理装置１００は、カラー画像の対象者上に的確に情報を重畳した表示画像を提供することを可能にする。
（第２の実施形態）
上述した第１の実施形態では、画像情報に含まれる所定の特徴として動体を用いる場合について説明した。第２の実施形態においては、人体の骨格情報に沿った条件を用いる場合について説明する。なお、以下で説明する判定は、第１の実施形態で説明した対象者の動作情報の特定に付加的に用いられる場合であってもよく、或いは、単独で用いられる場合であってもよい。
図１０は、第２の実施形態に係る動作情報処理装置１００の詳細な構成の一例を示す図である。図１０に示す第２の実施形態に係る動作情報処理装置１００は、図４に示す第１の実施形態に係る動作情報処理装置１００と比較して、記憶部１３０が新たに認識情報記憶部１３２を有する点と、特定部１４２による処理が異なる。以下、これらを中心に説明する。
認識情報記憶部１３２は、動作情報収集部１０によって収集された動作情報に含まれる骨格情報のうち、対象者の骨格情報を特定するための認識情報を記憶する。具体的には、認識情報記憶部１３２は、動作情報に含まれる骨格情報のうち、人体の骨格を示す骨格情報を識別するための情報を記憶する。図１１Ａ及び図１１Ｂは、第２の実施形態に係る認識情報記憶部１３２によって記憶される認識情報の一例を示す図である。
例えば、認識情報記憶部１３２は、図１１Ａに示すように、部位と範囲とを対応付けた認識情報を記憶する。ここで、図１１Ａに示す「部位」とは、人体における部位を示す。また、図１１Ａに示す「範囲」とは、人体の骨格としてとりうる範囲を示す。例えば、認識情報記憶部１３２は、図１１Ａに示すように、「部位：身長［ｃｍ］、範囲：１００ｃｍ−２００ｃｍ」とする認識情報を記憶する。上述した情報は、「身長」が「１００ｃｍ−２００ｃｍ」の骨格情報は人体の骨格情報であることを示す。
同様に、認識情報記憶部１３２は、図１１Ａに示すように、「部位：腕の長さ［ｃｍ］、範囲：６０ｃｍ−８０ｃｍ」とする認識情報を記憶する。このように、認識情報記憶部１３２は、人体の種々の部位ごとに、当該部位を識別するための範囲がそれぞれ設定された認識情報を記憶する。
また、認識情報記憶部１３２は、図１１Ｂに示すように、部位と、平均と、分散とを対応付けた認識情報を記憶することもできる。ここで、図１１Ｂに示す「部位」とは、人体における部位を示す。また、図１１Ｂに示す「平均」とは、対応する部位の人体の骨格としての平均を示す。また、図１１Ｂに示す「分散」とは、対応する部位の平均からの分散を示す。
例えば、認識情報記憶部１３２は、図１１Ｂに示すように、「部位：肩幅［ｃｍ］、平均：６０ｃｍ、分散：１σ」とする認識情報を記憶する。上述した情報は、人体の骨格として「肩幅」は、「平均」が「６０ｃｍ」であり、「分散（肩幅としてとりうる範囲）」の程度が「１σ」であることを意味する。同様に、認識情報記憶部１３２は、図１１Ｂに示すように、「部位：頭から腰までの長さ［ｃｍ］、平均：８５ｃｍ、分散：２σ」や、「部位：左腕の角度、平均：８０°、分散：４σ」などを記憶する。このように、認識情報記憶部１３２は、人体の種々の部位ごとに、当該部位を識別するための平均及び分散がそれぞれ設定された認識情報を記憶する。
なお、図１１Ａ及び図１１Ｂに示した例はあくまでも一例であり、認識情報は任意に設定させることが可能である。例えば、部位や、範囲、平均、分散などは、操作者によって任意に設定することができる。また、条件として用いる認識情報は、種々に組み合わせて用いることができる。例えば、図１１Ａ及び図１１Ｂに示す情報が全て必須である場合であってもよく、或いは、身長と腕の長さのみが必須である場合であってもよい。または、例えば、肩幅又は左腕の角度のどちらかを満たしていればよい場合であってもよい。
図１０に戻って、第２の実施形態に係る特定部１４２は、画像情報に含まれる人体の骨格を示す情報を対象者情報として抽出し、抽出した対象者情報に基づいて、所定の動作を実施する対象者の動作情報を特定する。ここで、特定部１４２は、画像情報に含まれる関節点の情報のうち、人体の構造に沿った関節点の集合を人体の骨格を示す情報とする。図１２Ａ及び図１２Ｂは、第２の実施形態に係る特定部１４２による処理の一例を説明するための図である。ここで、図１２Ａにおいては、図１１Ａに示す認識情報を用いる場合の処理について示す。また、図１２Ｂにおいては、図１１Ｂに示す認識情報を用いる場合の処理について示す。
まず、図１１Ａに示す認識情報を用いる場合の処理について説明する。例えば、第２の実施形態に係る特定部１４２は、図１２Ａに示すように、動作情報収集部１０によって収集され、動作情報記憶部１３１に記憶された１フレーム分の動作情報を読み出し、読み出した動作情報に含まれる骨格情報に対して、図１１Ａに示す認識情報を用いた処理を実施する。一例を挙げると、特定部１４２は、図１１Ａの識別情報「部位：身長［ｃｍ］、範囲：１００ｃｍ−２００ｃｍ」を参照して、身長の情報を用いた特定処理を実行する。すなわち、特定部１４２は、例えば、図１２Ａに示す頭に対応する関節「２ａ1」のｙ座標の値と左足の足根に対応する関節「２ｔ1」のｙ座標の値とから身長「ａ」を算出する。そして、特定部１４２は、算出した身長「ａ」が「１００ｃｍ−２００ｃｍ」の範囲内にある場合、関節「２ａ1」及び関節「２ｔ1」を含む骨格情報を対象者の骨格情報として特定する。
また、特定部１４２は、図１２Ａに示す頭に対応する関節「２ａ2」のｙ座標の値と左足の足首に対応する関節「２ｓ2」のｙ座標の値とから身長「ｂ」を算出する。そして、特定部１４２は、算出した身長「ｂ」が「１００ｃｍ−２００ｃｍ」の範囲にない場合、関節「２ａ1」及び関節「２ｔ1」を含む骨格情報を対象者の骨格情報ではないと特定する。なお、図１２Ａにおいては、身長を用いた特定について示したが、実施形態はこれに限定されるものではない。すなわち、種々の部位について、範囲を用いた特定処理を実行することが可能である。また、上記した例では、身長だけで特定する場合について説明したが、実施形態はこれに限定されるものではなく、例えば、２つ以上の部位の範囲を用いて総合的に判定して、対象者の動作情報を特定する場合であってもよい。
なお、上述した例では、頭に対応する関節及び左足に対応する関節のｙ座標を用いて、身長「ａ」及び身長「ｂ」をそれぞれ算出する場合について説明した。本実施形態に係る医用情報処理装置１００は、上述した簡易的な方法で身長を算出することで、処理速度を向上させて、効率よく処理することができるが、実施形態はこれに限定されるものではなく、例えば、頭に対応する関節及び左足に対応する関節それぞれの３次元座標を用いて身長を算出することも可能である。例えば、頭に対応する関節「２ａ1」のｘの値、ｙの値、ｚの値と、左足の足根に対応する関節「２ｔ1」のｘの値、ｙの値、ｚの値とを用いて、身長「ａ」を算出する場合であってもよい。これにより、本実施形態に係る動作画像処理装置１００は、より正確な判定を行なうことが可能である。
次に、図１１Ｂに示す認識情報を用いる場合の処理について説明する。例えば、第２の実施形態に係る特定部１４２は、図１２Ｂに示すように、動作情報収集部１０によって収集され、動作情報記憶部１３１に記憶された１フレーム分の動作情報を読み出し、読み出した動作情報に含まれる骨格情報に対して、図１１Ｂに示す認識情報を用いた処理を実施する。一例を挙げると、特定部１４２は、図１１Ｂの識別情報「部位：肩幅［ｃｍ］、平均：６０ｃｍ、分散：１σ」を参照して、肩幅の情報を用いた特定処理を実行する。
すなわち、特定部１４２は、図１２Ｂに示す右肩に対応する関節「２ｅ1」のｘ座標の値と左肩に対応する関節「２ｉ1」のｘ座標の値とから「肩幅：５９ｃｍ」を算出する。そして、特定部１４２は、識別情報「部位：肩幅［ｃｍ］、平均：６０ｃｍ、分散：１σ」を参照して、算出した「肩幅：５９ｃｍ」が人体の肩幅としてどの程度の確率であるかを算出する。すなわち、特定部１４２は、図１２Ｂに示すように、人体の肩幅である確率「９９．９％」を算出する。なお、上述した例では、右肩に対応する関節及び左肩に対応する関節のｘ座標を用いて、肩幅を算出する場合について説明したが、実施形態はこれに限定されるものではなく、右肩に対応する関節及び左肩に対応する関節の３次元座標を用いて肩幅を算出する場合であってもよい。
ここで、特定部１４２は、算出した確率「９９．９％」に基づいて対象者の骨格情報を特定する場合であってもよいが、さらに複数の部位について人体の骨格としての確からしさを算出して、算出した情報に基づいて骨格情報を特定する場合であってもよい。例えば、特定部１４２は、図１２Ｂに示すように、頭に対応する関節「２ａ1」と腰に対応する関節「２ｄ1」とから「頭から腰までの長さ：１００ｃｍ」を算出し、さらに、「左腕の角度：８０°」を算出する。
そして、特定部１４２は、肩幅の場合と同様に、認識情報を参照して、例えば、「頭から腰までの長さ」の「確率：９９．８％」を算出する。同様に、特定部１４２は、認識情報を参照して、例えば、「左腕の角度」の「確率：１００％」を算出する。そして、特定部１４２は、算出した確率を用いて対象者の動作情報の特定処理を実行する。ここで、特定部１４２は、３つ（肩幅、頭から腰までの長さ、左腕の角度）の確率それぞれを閾値と比較して特定処理を実行する場合であってもよく、或いは、３つの確率を乗算した値を閾値と比較して特定処理を実行する場合であってもよい。
例えば、特定部１４２は、「肩幅の確率：９９．９％」と「頭から腰まで長さの確率：９９．８％」と「左腕の角度：１００％」とを乗算した「９９．７％」を所定の閾値と比較して、所定の閾値を超えた場合に対応する骨格情報を対象者の骨格情報として特定する。なお、所定の閾値は任意に設定することが可能である。また、３つの確率それぞれを閾値と比較する場合には、例えば、３つ全てが閾値を超えた場合に対応する骨格情報を対象者の骨格情報として特定する場合であってもよく、或いは、３つのうち２つが閾値を超えた場合に対応する骨格情報を対象者の骨格情報として特定する場合であってもよい。なお、これらの閾値についても任意に設定することが可能である。
特定部１４２は、上記した処理と同様の処理を図１２Ｂの各関節（２ａ2、２ｄ2、２ｅ2、２ｉ2、２ｍ2、２ｎ2、２ｏ2、２ｑ2、２ｒ2、２ｓ2）を含む骨格情報を用いて実行する。すなわち、特定部１４２は、各関節（２ａ2、２ｄ2、２ｅ2、２ｉ2、２ｍ2、２ｎ2、２ｏ2、２ｑ2、２ｒ2、２ｓ2）の座標を用いて、肩幅や、頭から腰までの長さなどを算出して、人体の骨格としての確率をする。そして、特定部１４２は、所定の閾値と比較することで、各関節（２ａ2、２ｄ2、２ｅ2、２ｉ2、２ｍ2、２ｎ2、２ｏ2、２ｑ2、２ｒ2、２ｓ2）を含む骨格情報が対象者の骨格情報であるか否かを特定する。例えば、図１２Ｂに示す椅子の骨格情報「各関節（２ａ2、２ｄ2、２ｅ2、２ｉ2、２ｍ2、２ｎ2、２ｏ2、２ｑ2、２ｒ2、２ｓ2）」の場合、人体の骨格とはかけ離れているため、特定部１４２は、対象者の骨格情報ではないと特定することとなる。
次に、図１３を用いて、第２の実施形態に係る動作情報処理装置１００の処理について説明する。図１３は、第２の実施形態に係る動作情報処理装置１００による処理の手順を示すフローチャートである。図１３に示すように、第２の実施形態に係る動作情報処理装置１００においては、取得部１４１が、対象者の動作情報を取得する（ステップＳ２０１）。そして、特定部１４２は、動作情報収集部１０によって収集された動作情報において、誤認識抑止機能がＯＮであるか否かを判定する（ステップＳ２０２）。
ここで、誤認識抑止機能がＯＮである場合には（ステップＳ２０２肯定）、特定部１４２は、認識情報を読み出し（ステップＳ２０３）、読み出した認識情報に基づいて、対象者の動作情報を特定する（ステップＳ２０４）。そののち、特定部１４２は、特定した動作情報（骨格情報）を動作情報記憶部１３１に格納する（ステップＳ２０５）。
一方、ステップＳ２０２において、誤認識抑止機能がＯＮではない場合には（ステップＳ２０２否定）、特定部１４２による特定が行われずに動作情報が動作情報記憶部１３１に格納される（ステップＳ２０５）。そして、表示制御部１４３は、動作情報記憶部１３１に格納された動作情報に基づいて、表示画像を生成して、出力部１１０にて表示させるように制御する（ステップＳ２０６）。
上述したように、第２の実施形態によれば、特定部１４２は、画像情報に含まれる人体の骨格を示す情報を対象者情報として抽出し、抽出した対象者情報に基づいて、所定の動作を実施する対象者の動作情報を特定する。従って、第２の実施形態に係る動作情報処理装置１００は、動体として人を抽出することができ、対象者以外を誤認識することをより抑止することを可能にする。
また、第２の実施形態によれば、特定部１４２は、画像情報に含まれる関節点の情報のうち、人体の構造に沿った関節点の集合を人体の骨格を示す情報とする。従って、第２の実施形態に係る動作情報処理装置１００は、動体として高精度に人を抽出することを可能にする。
（第３の実施形態）
第３の実施形態では、動作情報収集部１０によって収集された骨格情報において、認識された関節点の数によって対象者の骨格情報を特定する場合について説明する。第３の実施形態においては、特定部１４２の処理内容が、第１及び第２の実施形態と異なる。以下、これを中心に説明する。
第３の実施形態に係る特定部１４２は、画像情報に含まれる関節点の情報において、１つの骨格情報として収集された関節点の個数に基づいて、当該骨格情報が対象者の骨格情報であるかを特定する。図５に示す骨格情報を一例にあげて説明すると、特定部１４２は、２０の関節点（関節２ａ1〜２ｔ1）が認識された骨格情報と、１０の関節点（２ａ2、２ｄ2、２ｅ2、２ｉ2、２ｍ2、２ｎ2、２ｏ2、２ｑ2、２ｒ2、２ｓ2）が認識された骨格情報とをそれぞれ所定の閾値と比較して、対象者の骨格情報を特定する。例えば、閾値が関節点の数「１５」であると、特定部１４２は、２０の関節点（関節２ａ1〜２ｔ1）が認識された骨格情報を対象者の骨格情報として特定する。
ここで、動作情報収集部１０において関節点の認識の確からしさが出力される場合には、特定部１４２は、所定の確からしさを備えた関節点の個数をカウントして、閾値と比較する。そして、特定部１４２は、所定の確からしさを備えた関節点の個数が所定の閾値を超えた骨格情報を対象者の骨格情報として特定して、動作情報記憶部１３１に格納する。このとき、特定部１４２は、特定した骨格情報の関節点に認識の確からしさの情報を対応付けて格納することが可能である。
かかる場合には、第３の実施形態に係る表示制御部１４３は、関節点の確からしさの情報を反映した表示画像を生成して、表示することが可能である。図１４は、第３の実施形態に係る表示制御部１４３によって表示される表示画像の一例を示す図である。例えば、表示制御部１４３は、図１４に示すように、関節点の認識において所定の確からしさを備えた関節点については、黒丸で示し、黒丸間の骨を実線で示した情報を重畳させ、関節点の認識において所定の確からしさを備えていない関節点については、白抜きの小さい丸で示し、白抜きの小さい丸に接続される骨を点線で示した情報を重畳させた表示画像を生成して表示させる。
上述したように、第３の実施形態によれば、特定部１４２は、認識された関節点の個数に基づいて、対象者の骨格情報を特定する。従って、第３の実施形態に係る動作情報処理装置１００は、簡便な方法で対象者の骨格情報を特定することを可能にする。
（第４の実施形態）
上述した第１〜第３の実施形態では、動作情報収集部１０によって動作情報が収集された全領域から対象者の骨格情報を特定する場合について説明した。第４の実施形態では、操作者によって認識対象領域が指定される場合について説明する。第４の実施形態においては、入力部１２０によって受け付ける指示と、特定部１４２による処理内容が第１〜第３の実施形態と異なる。以下、これらを中心に説明する。
第４の実施形態に係る入力部１２０は、画像情報における所定の領域を指定するための指定操作を受け付ける。具体的には、入力部１２０は、対象者を認識するための認識対象領域を指定するための入力操作を受け付ける。
第４の実施形態に係る特定部１４２は、所定の特徴として、入力部１２０によって受け付けられた所定の領域内に含まれる情報を用い、当該所定の領域内に含まれる情報から所定の動作を実施する対象者の動作情報を特定する。具体的には、特定部１４２は、入力部１２０によって受け付けられた認識対象領域内に含まれる骨格情報を対象者の骨格情報として特定する。
図１５は、第４の実施形態に係る入力部１２０及び特定部１４２による処理の一例を説明するための図である。例えば、入力部１２０は、図１５の（Ａ）に示す画像上に、図１５の（Ｂ）に示すような認識対象領域Ｒ２を指定するための入力操作を受け付ける。そして、特定部１４２は、図１５の（Ｂ）に示す認識対象領域Ｒ２が指定されると、指定された認識対象領域Ｒ２内に含まれる骨格情報を対象者の骨格情報として特定する。これにより、例えば、図１５に示す椅子に対応する骨格情報が収集された場合であっても、対象者の骨格情報を確実に特定することが可能である。
上述したように、第４の実施形態によれば、入力部１２０は、画像情報における所定の領域を指定するための指定操作を受け付ける。そして、特定部１４２は、所定の特徴として、入力部１２０によって受け付けられた領域内で、所定の動作を実施する対象者の動作情報を特定する。従って、第４の実施形態に係る動作情報処理装置１００は、簡便に認識対象領域を指定することができ、容易に対象者の骨格情報を特定することを可能にする。
（第５の実施形態）
上述した第４の実施形態では、入力部１２０を介して認識対象領域が指定される場合について説明した。第５の実施形態では、画像内の情報に基づいて認識対象領域を設定する場合について説明する。第５の実施形態においては、特定部１４２による処理内容が第１〜第４の実施形態と異なる。以下、これを中心に説明する。
第５の実施形態に係る特定部１４２は、対象者に予め設定された設定項目を対象者情報として抽出し、抽出した対象者情報に基づいて、所定の動作を実施する対象者の動作情報を特定する。具体的には、まず、リハビリを実施する対象者が予め目印になる物を身につけてリハビリを実施する。特定部１４２は、画像に含まれる目印を抽出して、抽出した目印に基づいて、認識対象領域を設定し、設定した認識対象領域内の骨格情報を対象者の骨格情報として特定する。
図１６は、第５の実施形態に係る特定部１４２による処理の一例を説明するための図である。図１６においては、予め設定する目印を対象者の足につける場合について示す。例えば、対象者は、図１６の（Ａ）に示すように、足に所定の色（例えば、赤など）の目印をつけて歩行訓練を実施する。特定部１４２は、動作情報収集部１０によって収集されたカラー画像情報から対象者の両足につけられた目印をそれぞれ抽出する。そして、特定部１４２は、図１６の（Ａ）に示すように、抽出した両足の目印の中点Ｐ1を横幅の中心として算出し、算出した中点Ｐ1から左右に所定の距離とった横幅を決定する。
ここで、特定部１４２は、例えば、両足の目印間の距離が「１５ｃｍ」であった場合に、３倍の「４５ｃｍ」を認識対象領域Ｒ３の横幅とする。すなわち、特定部１４２は、中点Ｐ1から左右にそれぞれ「２２．５ｃｍ」までを認識対象領域Ｒ３の横幅と決定する。そして、特定部１４２は、足の目印の下端Ｐ2からカラー画像情報の上端Ｐ3までを認識対象領域Ｒ３の縦幅として決定する。
すなわち、特定部１４２は、図１６の（Ｂ）に示すように、カラー画像情報に認識対象領域Ｒ３を設定して、設定した認識対象領域Ｒ３に含まれる骨格情報を対象者の骨格情報として特定する。なお、図１６に示す例はあくまでも一例であり、実施形態はこれに限定されるものではない。例えば、予め対象者に設定する目印は、色以外にも種々に設定することができる。一例を挙げると、所定の形態をしたものを対象者が身につける場合であってもよい。
なお、対象者に予め設定される目印の情報は、予め記憶部１３０に記憶され、特定部１４２は、記憶部１３０によって記憶された目印の情報を読み出して、カラー画像情報に含まれる目印を抽出する。
上述したように、第５の実施形態によれば、特定部１４２は、対象者に予め設定された設定項目を対象者情報として抽出し、抽出した対象者情報に基づいて、所定の動作を実施する対象者の動作情報を特定する。従って、第５の実施形態に係る動作情報処理装置１００は、認識対象領域を簡便に設定することを可能にする。
（第６の実施形態）
さて、これまで第１〜第５の実施形態について説明したが、上述した第１〜第５の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
上述した第１〜第５の実施形態においては、リハビリが実施されている状態で収集された動作情報を用いる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、リハビリが実施される前の情報を基準として、リハビリ中の動作情報から種々の情報を抽出する場合であってもよい。
図１７は、第６の実施形態に係る特定部１４２による処理の一例を説明するための図である。例えば、特定部１４２は、図１７の（Ａ）に示すように、リハビリが実施される前の状態の画像情報（動作情報）である「Ｔ秒」のフレームの深度を基準値として取得する。そして、特定部１４２は、図１７の（Ｂ）に示すように、リハビリが実施された状態の画像情報（動作情報）である「Ｔ＋ｔ秒」のフレームの深度を取得する。このとき、特定部１４２は、「Ｔ＋ｔ秒」のフレームの深度において、「Ｔ秒」のフレームの深度から変化があった部分を抽出することで、処理の対象を軽減することができる。例えば、図１７に示すように、両画像に含まれ、深度の情報が変化しない椅子については、無視することが可能である。
これにより、例えば、基準値よりも手前や奥にあるものを容易に判定することができ、リハビリ実施中に深度が手前、奥、左右に変化したものを容易に抽出することができる。なお、上述した処理は、第１〜第５の実施形態と適宜組み合わせて実施することが可能である。
また、上述した第１〜第５の実施形態では、リハビリとして歩行訓練を実施する場合について説明した。しかしながら、本願に係る動作情報処理装置１００は、歩行訓練だけでなく、その他のリハビリに対しても適用することができる。例えば、特定部１４２は、関節稼動域訓練を実施する対象者の骨格情報を特定することも可能である。
以上説明したとおり、第１〜第６の実施形態によれば、本実施形態の動作情報処理装置は、対象者以外を誤認識することを抑止することを可能にする。
（第７の実施形態）
上述したように、第１〜第６の実施形態では、所定の動作を実施する者以外を誤認識することを抑止することを可能にすることで、リハビリテーションを支援する場合について説明した。しかしながら、撮影される者が常に対象者であるとは限らない。すなわち、動作情報収集部１０の撮影範囲内にいる人物であれば、例えば、対象者、介助者、更にはリハビリに関係のない者でも、動作情報収集部１０によって撮影されてしまう。そこで、以下、第７〜第１０の実施形態では、デジタル的に記録された人物の動きが、リハビリテーションの対象となる対象者のものであるか否かを判定することができる動作情報処理装置を提供する場合について説明する。なお、第１〜第６の実施形態においては、所定の動作を実施する者を「対象者」として説明したが、第７〜第１０の実施形態においては、リハビリテーションの対象となる者を「対象者」として説明する。
図１８Ａ及び図１８Ｂは、距離画像収集部１２によって撮影される距離画像の一例を示す。図１８Ａ及び図１８Ｂでは、人物１８ａ（対象者）が人物１８ｂ（介助者）からの介助を受けてリハビリを行う場合を例示する。具体的には、人物１８ａ（対象者）は、人物１８ｂ（介助者）の左手によって右腕を支えられて歩行訓練を行っている。なお、図１８Ａ及び図１８Ｂにおいては、説明の便宜上、距離に応じた色の濃淡で表現される距離画像を線画で表している。
図１８Ａに示すように、動作情報収集部１０は、被写体として人物１８ａ（対象者）及び人物１８ｂ（介助者）を含む距離画像を撮影する。この距離画像から動作情報を生成すると、図１８Ｂに示すように、動作情報収集部１０は、人物１８ａ及び人物１８ｂを、対象者及び介助者としてではなく、それぞれ一人の人物として、その動作情報を生成する。このため、ここで生成される動作情報を用いて対象者のリハビリに関する動作を解析する場合には、どの人物が対象者であるか指定される必要がある。また、対象者の動作を解析すべきところ、誤って介助者の動作が評価されてしまう可能性もある。
そこで、第７の実施形態に係る動作情報処理装置２００は、デジタル的に記録された人物の動きが、リハビリテーションの対象となる対象者のものであるか否かを判定するために、以下に説明する処理を実行する。
また、第７の実施形態に係る動作情報処理装置２００は、介助者の動作を解析して介助者を支援することで、その介助者によって介助される対象者を間接的に支援しても良い。かかる場合、第７の実施形態に係る動作情報処理装置２００は、以下に説明する処理を実行することにより、デジタル的に記録された人物の動きが、介助者のものであるか否かを判定しても良い。
図１９は、第７の実施形態に係る動作情報処理装置２００の詳細な構成例を示すブロック図である。図１９に示すように、動作情報処理装置２００においては、記憶部２３０が動作情報記憶部２３１と、対象者動作特徴記憶部２３２と、介助者動作特徴記憶部２３３と、対象者画像特徴記憶部２３４と、介助者画像特徴記憶部２３５と、評価情報記憶部２３６とを有する。
動作情報記憶部２３１は、動作情報収集部１０によって収集された各種情報を記憶する。例えば、動作情報記憶部２３１は、人物の動作について、動作情報と、カラー画像情報とが対応付けられた情報を記憶する。この動作情報は、動作情報生成部１４によって生成されたフレームごとの骨格情報である。この骨格情報の各関節の座標及びカラー画像情報の画素位置は、予め対応付けられている。また、骨格情報の撮影時刻情報及びカラー画像情報の撮影時刻情報は、予め対応付けられている。また、例えば、動作情報及びカラー画像情報は、動作情報収集部１０によって収集されるごとに動作情報記憶部２３１に格納される。
例えば、動作情報記憶部２３１は、歩行訓練や関節可動域訓練等、実施されたリハビリごとに、動作情報を記憶する。ここで、１回のリハビリに複数人の動作が含まれる場合がある。具体例を挙げると、図４Ａに示したように、対象者が介助者からの介助を受けて歩行訓練を行う場合には、対象者と介助者のそれぞれの動作の組み合わせによって、１回の歩行訓練が行われることとなる。このような場合には、動作情報記憶部２３１は、同一フレームの距離画像情報から生成される複数人の人物の骨格情報をそれぞれ対応付けて、１つの動作情報として記憶する。すなわち、この動作情報は、複数人の動作を同時に表すものである。動作情報記憶部２３１は、例えば、動作の撮影が開始された撮影開始時刻情報に対応付けて、動作情報を記憶する。なお、以下では、動作情報が複数人の人物の動作を表す場合を説明するが、実施形態はこれに限定されるものではなく、１人の人物の動作を表す場合であっても良い。
対象者動作特徴記憶部２３２は、対象者の動作の特徴を表す対象者動作特徴情報を記憶する。例えば、対象者動作特徴記憶部２３２は、動作ＩＤ（Identification）と、対象者動作特徴情報とが対応付けられた情報を記憶する。このうち、動作ＩＤは、動作を識別するための識別情報であり、動作情報処理装置２００の設計者によって動作が定義されるごとに採番される。また、対象者動作特徴情報は、対象者の動作の特徴を表す情報であり、例えば、動作情報処理装置２００の設計者によって予め定義される。
図２０は、対象者動作特徴記憶部２３２に記憶される情報の一例を示す図である。図２０の１つ目のレコードには、動作ＩＤ「１１」と、対象者動作特徴情報「足を引きずっている」とが対応付けられている。つまり、対象者動作特徴記憶部２３２は、対象者の動作の特徴の一つとして「足を引きずっている」があることを、動作ＩＤ「１１」の動作として記憶する。この対象者動作特徴情報「足を引きずっている」は、例えば、動作が行われている間の足根（関節２ｐ又は関節２ｔ）のｙ座標の最大変化量が１ｃｍ未満であるか否かに応じて判定される。また、図２０の２つ目のレコードには、動作ＩＤ「１２」と、対象者動作特徴情報「歩く姿勢が良くない」とが対応付けられている。つまり、対象者動作特徴記憶部２３２は、対象者の動作の特徴の一つとして「歩く姿勢が良くない」があることを、動作ＩＤ「１２」の動作として記憶する。この対象者動作特徴情報「歩く姿勢が良くない」は、例えば、動作が行われている間の、背骨（関節２ｂと関節２ｃとを結ぶ線分）と上下方向とがなす角の平均値が３°以上であるか否かに応じて判定される。また、図２０の３つ目のレコードには、動作ＩＤ「１３」と、対象者動作特徴情報「歩く速度が遅い」とが対応付けられている。つまり、対象者動作特徴記憶部２３２は、対象者の動作の特徴の一つとして「歩く速度が遅い」があることを、動作ＩＤ「１３」の動作として記憶する。この対象者動作特徴情報「歩く速度が遅い」は、例えば、動作が行われている間の腰（関節２ｃ）の移動速度の最大値が１［ｍ／秒］未満であるか否かに応じて判定される。また、他のレコードについても同様に、対象者動作特徴記憶部２３２は、動作ＩＤと、対象者動作特徴情報とを対応付けて記憶する。なお、ここでは、歩行訓練が行われる場合に用いられる対象者動作特徴記憶部２３２を例示したが、実施形態はこれに限定されるものではなく、例えば、関節可動域訓練が行われる場合には、関節可動域訓練を行う対象者の動作の特徴が記憶された対象者動作特徴記憶部２３２が利用されて良い。また、対象者動作特徴記憶部２３２は、歩行訓練を行う対象者の動作の特徴や関節可動域訓練を行う対象者の動作の特徴を区別することなく記憶しても良い。
介助者動作特徴記憶部２３３は、介助者の動作の特徴を表す介助者動作特徴情報を記憶する。例えば、介助者動作特徴記憶部２３３は、動作ＩＤと、介助者動作特徴情報とが対応付けられた情報を記憶する。この介助者動作特徴は、介助者の動作の特徴を表す情報であり、動作情報処理装置２００の設計者によって予め定義される。
図２１は、介助者動作特徴記憶部２３３に記憶される情報の一例を示す図である。図２１の１つ目のレコードには、動作ＩＤ「２１」と、介助者動作特徴情報「腕を支えている」とが対応付けられている。つまり、介助者動作特徴記憶部２３３は、対象者の動作の特徴の一つとして「腕を支えている」があることを、動作ＩＤ「２１」の動作として記憶する。この介助者動作特徴情報「腕を支えている」は、例えば、動作が行われている間の所定時間について、人物の手（関節２ｈ又は関節２ｌ）が他の人物の腕（関節２ｅと関節２ｆとを結ぶ線分、又は、関節２ｉと関節２ｊとを結ぶ線分）から５ｃｍ以内にあるか否かに応じて判定される。また、図２１の２つ目のレコードには、動作ＩＤ「２２」と、介助者動作特徴情報「歩く姿勢が良い」とが対応付けられている。つまり、介助者動作特徴記憶部２３３は、介助者の動作の特徴の一つとして「歩く姿勢が良い」があることを、動作ＩＤ「２２」の動作として記憶する。この介助者動作特徴情報「歩く姿勢が良い」は、例えば、動作が行われている間の、背骨（関節２ｂと関節２ｃとを結ぶ線分）と上下方向とがなす角の平均値が３°未満であるか否かに応じて判定される。また、図２１の３つ目のレコードには、動作ＩＤ「２３」と、介助者動作特徴情報「歩く速度が早い」とが対応付けられている。つまり、介助者動作特徴記憶部２３３は、介助者の動作の特徴の一つとして「歩く速度が速い」があることを、動作ＩＤ「２３」の動作として記憶する。この対象者動作特徴情報「歩く速度が速い」は、例えば、動作が行われている間の腰（関節２ｃ）の移動速度の最大値が１［ｍ／秒］以上であるか否かに応じて判定される。また、他のレコードについても同様に、介助者動作特徴記憶部２３３は、動作ＩＤと、対象者動作特徴情報とを対応付けて記憶する。なお、ここでは、歩行訓練が行われる場合に用いられる介助者動作特徴記憶部２３３を例示したが、実施形態はこれに限定されるものではなく、例えば、関節可動域訓練が行われる場合には、関節可動域訓練を行う対象者の動作の特徴が記憶された介助者動作特徴記憶部２３３が利用されて良い。また、介助者動作特徴記憶部２３３は、歩行訓練を行う対象者の動作の特徴や関節可動域訓練を行う対象者の動作の特徴を区別することなく記憶しても良い。
対象者画像特徴記憶部２３４は、対象者の身体的な特徴または対象者の付随物の特徴を表す対象者特徴情報を記憶する。例えば、対象者画像特徴記憶部２３４は、対象者の画像の特徴を表す対象者画像特徴情報を記憶する。例えば、対象者画像特徴記憶部２３４は、器具ＩＤと、対象者器具特徴情報とが対応付けられた情報を記憶する。このうち、器具ＩＤは、器具を識別するための識別情報であり、動作情報処理装置２００の設計者によって器具が定義されるごとに採番される。また、対象者器具特徴情報は、対象者の器具の特徴を表す情報であり、例えば、パターンマッチングに利用可能な器具の画像情報である。対象者器具特徴情報は、動作情報処理装置２００の設計者によって予め定義される。なお、対象者画像特徴記憶部２３４は、対象者特徴記憶部の一例である。
図２２は、対象者画像特徴記憶部２３４に記憶される情報の一例を示す図である。図２２の１つ目のレコードには、器具ＩＤ「１１」と、対象者器具特徴情報「松葉杖」とが対応付けられている。つまり、対象者画像特徴記憶部２３４は、対象者の画像の特徴の一つとして「松葉杖」の画像情報を、器具ＩＤ「１１」の器具として記憶する。また、図２２の２つ目のレコードには、器具ＩＤ「１２」と、対象者器具特徴情報「ギプス」とが対応付けられている。つまり、対象者画像特徴記憶部２３４は、対象者の画像の特徴の一つとして「ギプス」の画像情報を、器具ＩＤ「１２」の器具として記憶する。また、図２２の３つ目のレコードには、器具ＩＤ「１３」と、対象者器具特徴情報「車いす」とが対応付けられている。つまり、対象者画像特徴記憶部２３４は、対象者の画像の特徴の一つとして「車いす」の画像情報を、器具ＩＤ「１３」の器具として記憶する。なお、ここでは、歩行訓練が行われる場合に用いられる対象者画像特徴記憶部２３４を例示したが、実施形態はこれに限定されるものではなく、例えば、関節可動域訓練が行われる場合には、関節可動域訓練を行う対象者の器具の特徴が記憶された対象者画像特徴記憶部２３４が利用されて良い。また、対象者画像特徴記憶部２３４は、歩行訓練を行う対象者の動作特徴や関節可動域訓練を行う対象者の器具の特徴を区別することなく記憶しても良い。
介助者画像特徴記憶部２３５は、介助者の身体的な特徴または介助者の不随物の特徴を表す介助者特徴情報を記憶する。例えば、介助者画像特徴記憶部２３５は、介助者の画像の特徴を表す介助者画像特徴情報を記憶する。例えば、介助者画像特徴記憶部２３５は、器具ＩＤと、介助者器具特徴情報とが対応付けられた情報を記憶する。このうち、介助者器具特徴情報は、介助者の器具の特徴を表す情報であり、例えば、パターンマッチングに利用可能な器具の画像情報である。介助者器具特徴情報は、動作情報処理装置２００の設計者によって予め定義される。なお、介助者画像特徴記憶部２３４は、介助者特徴記憶部の一例である。
図２３は、介助者画像特徴記憶部２３５に記憶される情報の一例を示す図である。図２３の１つ目のレコードには、器具ＩＤ「２１」と、介助者器具特徴情報「聴診器」とが対応付けられている。つまり、介助者画像特徴記憶部２３５は、介助者の画像の特徴の一つとして「聴診器」の画像情報を、器具ＩＤ「２１」の器具として記憶する。また、図２３の２つ目のレコードには、器具ＩＤ「２２」と、介助者器具特徴情報「白衣」とが対応付けられている。つまり、介助者画像特徴記憶部２３５は、介助者の画像の特徴の一つとして「白衣」の画像情報を、器具ＩＤ「２２」の器具として記憶する。また、図２３の３つ目のレコードには、器具ＩＤ「２３」と、介助者器具特徴情報「ネームプレート」とが対応付けられている。つまり、介助者画像特徴記憶部２３５は、介助者の画像の特徴の一つとして「ネームプレート」の画像情報を、器具ＩＤ「２３」の器具として記憶する。
評価情報記憶部２３６は、対象者ごとに、評価情報と、判定結果とが対応付けられた情報を記憶する。このうち、評価情報は、リハビリテーションにおける人物の動作を評価するための情報である。例えば、評価情報は、対象者及び介助者の歩く姿勢、歩く速度等である。この評価情報は、後述の生成部２４２によって生成される。また、判定結果は、後述の判定部２４３によって判定された結果であり、例えば、対象者、介助者及び判定不能のうちいずれかが記憶される。
図１９の説明に戻る。動作情報処理装置２００においては、制御部２４０が取得部２４１と、生成部２４２と、判定部２４３と、格納部２４４とを有する。
取得部２４１は、評価対象となる動作情報を取得する。例えば、取得部２４１は、評価対象となる動作情報を指定する旨の入力を入力部１２０から受け付けると、指定された動作情報と、対応するカラー画像情報とを動作情報記憶部２３１から取得する。
一例としては、取得部２４１は、評価対象となる動作情報の撮影開始時刻情報の指定を受け付けると、その動作情報及び動作情報に対応付けられたカラー画像情報を動作情報記憶部２３１から取得する。なお、この動作情報は、同一フレームの距離画像情報から生成される複数人の人物の骨格情報を含む場合であっても、１人の人物の骨格情報を含む場合であっても良い。
生成部２４２は、取得部２４１によって取得された動作情報から、リハビリテーションを評価するための評価情報を生成する。例えば、生成部２４２は、評価情報として、対象者及び介助者の歩く姿勢及び歩く速度を算出する。ここで、取得部２４１によって取得された動作情報に、同一フレームの距離画像情報から生成される複数人の人物の骨格情報が含まれる場合には、生成部２４２は、一人一人の人物の骨格情報に対して評価情報を生成する。生成部２４２は、生成した評価情報を格納部２４４へ出力する。
図２４は、生成部２４２の処理を説明するための図である。図２４には、図１８Ａの歩行訓練において収集された動作情報に基づいて、人物１８ａ及び人物１８ｂそれぞれについて、歩く姿勢及び歩く速度が算出される場合を説明する。例えば、生成部２４２は、取得部２４１によって取得された動作情報から、各フレームの人物１８ａの関節２ｂの座標及び関節２ｃの座標を抽出する。そして、生成部２４２は、抽出した関節２ｂと関節２ｃとを結ぶ線分を人物１８ａの背骨と見立て、背骨と上下方向とがなす角２４ａをフレームごとに求める。そして、生成部２４２は、歩行訓練が行われている間の複数フレームの角２４ａの平均値を、人物１８ａの歩く姿勢として算出する。また、生成部２４２は、人物１８ｂについても人物１８ａの場合と同様に、歩く姿勢を算出する。
また、例えば、生成部２４２は、所定時間（例えば０．５秒）ごとに人物１８ａの腰に対応する関節２ｃの座標が移動した移動距離［ｍ］を求める。そして、生成部２４２は、この所定時間当たりの移動距離に基づいて、人物１８ａの移動速度［ｍ／秒］を所定時間ごとに算出する。そして、生成部２４２は、歩行訓練を行っている間の人物１８ａの移動速度の平均値を、人物１８ａが歩く速度として算出する。また、生成部２４２は、人物１８ｂについても人物１８ａの場合と同様に、歩く速度を算出する。
なお、ここでは、生成部２４２によって生成される評価情報として、歩行訓練における歩く姿勢及び歩く速度を算出する場合を説明したが、実施形態はこれに限定されるものではない。例えば、生成部２４２は、リハビリテーションの機能訓練の内容や対象者の状況に応じて、他の評価情報を適宜選択して算出して良い。
判定部２４３は、リハビリテーションの対象となる対象者の特徴を表す情報を用いて、取得部２４１によって取得された動作情報に対応する人物が対象者であるか否かを判定する。例えば、判定部２４３は、対象者の特徴を表す情報として、対象者動作特徴記憶部２３２に記憶された対象者動作特徴情報を参照し、取得部２４１によって取得された動作情報に対応する人物が対象者であるか否かを判定する。
例えば、判定部２４３は、取得部２４１によって取得された動作情報に対応する人物が、対象者であるか否かを判定する。また、判定部２４３は、取得部２４１によって取得された動作情報に対応する人物が、介助者であるか否かを判定する。ここで、取得部２４１によって取得された動作情報に、同一フレームの距離画像情報から生成される複数人の人物の骨格情報が含まれる場合には、判定部２４３は、一人一人の人物の骨格情報に対して、対象者であるか否か、或いは介助者であるか否かを判定する。判定部２４３は、判定した結果を格納部２４４へ出力する。以下において、判定部２４３の処理を具体的に説明する。
まず、対象者であるか否かを判定する処理を説明する。例えば、判定部２４３は、対象者動作特徴記憶部２３２及び対象者画像特徴記憶部２３４のレコードのうち、未処理のレコードを一つ選択する。そして、判定部２４３は、取得された動作情報及びカラー画像情報が、選択したレコードの条件に該当するか否かを判定する。
ここで、対象者動作特徴記憶部２３２から動作ＩＤ「１１」のレコードが選択された場合を説明する。この場合、図２０に示したように、判定部２４３は、取得部２４１によって取得された動作情報が、対象者動作特徴情報「足を引きずっている」に該当するか否かを判定する。すなわち、判定部２４３は、取得された動作情報に含まれる各フレームから、足根（関節２ｐ又は関節２ｔ）のｙ座標を抽出する。そして、判定部２４３は、抽出したｙ座標のうち、最大値と最小値との差分を最大変化量として算出する。そして、判定部２４３は、算出した最大変化量が１ｃｍ未満である場合に、取得された動作情報が対象者動作特徴情報に該当する、すなわち足を引きずっていると判定する。
また、対象者動作特徴記憶部２３２から動作ＩＤ「１２」のレコードが選択された場合を説明する。この場合、図２０に示したように、判定部２４３は、取得部２４１によって取得された動作情報が、対象者動作特徴情報「歩く姿勢が良くない」に該当するか否かを判定する。ここで、歩く姿勢が生成部２４２によって算出されている場合には、判定部２４３は、取得された動作情報に含まれる人物の歩く姿勢を生成部２４２から取得する。そして、判定部２４３は、取得した歩く姿勢が３°以上である場合に、取得された動作情報が対象者動作特徴情報に該当する、すなわち歩く姿勢が良くないと判定する。なお、歩く姿勢が生成部２４２によって算出されていない場合には、判定部２４３は、上記の生成部２４２において説明した処理と同様の処理を行って、歩く姿勢を算出しても良い。
また、対象者動作特徴記憶部２３２から動作ＩＤ「１３」のレコードが選択された場合を説明する。この場合、図２０に示したように、判定部２４３は、取得部２４１によって取得された動作情報が、対象者動作特徴情報「歩く速度が遅い」に該当するか否かを判定する。ここで、歩く速度が生成部２４２によって算出されている場合には、判定部２４３は、取得された動作情報に含まれる人物が所定時間（例えば０．５秒）ごとに移動する移動速度［ｍ／秒］を生成部２４２から取得する。そして、判定部２４３は、取得した移動速度のうち、最大の移動速度が１［ｍ／秒］未満である場合に、取得された動作情報が対象者動作特徴情報に該当する、すなわち歩く速度が遅いと判定する。なお、歩く速度が生成部２４２によって算出されていない場合には、判定部２４３は、上記の生成部２４２において説明した処理と同様の処理を行って、歩く速度を算出しても良い。
また、対象者画像特徴記憶部２３４から器具ＩＤ「１１」のレコードが選択された場合を説明する。この場合、図２２に示したように、判定部２４３は、取得部２４１によって取得されたカラー画像情報と、対象者器具特徴情報「松葉杖」とのパターンマッチングを行う。パターンマッチングによってカラー画像情報から松葉杖の画像が抽出されると、判定部２４３は、抽出された松葉杖の画素位置が、評価対象となる動作情報に含まれる骨格情報の座標と重なるか否かを判定する。松葉杖の画素位置が骨格情報の座標と重なる場合には、判定部２４３は、取得されたカラー画像情報が対象者器具特徴情報に該当する、すなわち松葉杖を持っていると判定する。また、判定部２４３は、他のレコードについても同様に、取得されたカラー画像情報が対象者器具特徴情報に該当するか否かを判定する。
このように、判定部２４３は、取得された動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する。そして、選択したレコードに該当すると判定した場合には、判定部２４３は、保有対象者特徴数ｎを１インクリメントする。この保有対象者特徴数ｎは、評価対象となる動作情報に対応する人物が保有する対象者としての特徴の数を表す。判定部２４３は、他の未処理のレコードについても同様に、取得された動作情報及びカラー画像情報が当該レコードに該当するか否かを判定する。そして、判定部２４３は、保有対象者特徴数ｎが５に到達すると、評価対象となる動作情報に対応する人物が対象者であると判定する。一方、判定部２４３は、対象者動作特徴記憶部２３２及び対象者画像特徴記憶部２３４の全てのレコードについて判定を行っても、保有対象者特徴数ｎが５に到達しない場合には、評価対象となる動作情報に対応する人物が対象者ではないと判定する。なお、ここでは、対象者であるか否かを判定する保有対象者特徴数ｎの閾値が「５」である場合を例示したが、実施形態はこれに限定されるものではなく、この閾値は操作者によって任意の値が設定されて良い。また、ここでは各レコードに該当する場合に保有対象者特徴数ｎが１インクリメントされる場合を説明したが、実施形態はこれに限定されるものではなく、例えば、レコードごとに重み付けを行っても良い。
次に、介助者であるか否かを判定する処理を説明する。例えば、判定部２４３は、介助者動作特徴記憶部２３３及び介助者画像特徴記憶部２３５のレコードのうち、未処理のレコードを一つ選択する。そして、判定部２４３は、取得された動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する。
ここで、介助者動作特徴記憶部２３３から動作ＩＤ「２１」のレコードが選択された場合を説明する。この場合、図２１に示したように、判定部２４３は、取得部２４１によって取得された動作情報が、介助者動作特徴情報「腕を支えている」に該当するか否かを判定する。すなわち、判定部２４３は、取得された動作情報に含まれる各フレームから、手（関節２ｈ又は関節２ｌ）の座標を取得する。そして、判定部２４３は、歩行訓練が行われている間の所定時間について、取得した手から５ｃｍ以内に他の人物の腕（関節２ｅと関節２ｆとを結ぶ線分、又は、関節２ｉと関節２ｊとを結ぶ線分）がある場合に、取得された動作情報が介助者動作特徴情報に該当する、すなわち腕を支えていると判定する。
また、介助者動作特徴記憶部２３３から動作ＩＤ「２２」のレコードが選択された場合を説明する。この場合、図２１に示したように、判定部２４３は、取得部２４１によって取得された動作情報が、介助者動作特徴情報「歩く姿勢が良い」に該当するか否かを判定する。ここで、歩く姿勢が生成部２４２によって算出されている場合には、判定部２４３は、取得された動作情報に含まれる人物の歩く姿勢を生成部２４２から取得する。そして、判定部２４３は、取得した歩く姿勢が３°未満である場合に、取得された動作情報が対象者動作特徴情報に該当する、すなわち歩く姿勢が良いと判定する。なお、歩く姿勢が生成部２４２によって算出されていない場合には、判定部２４３は、上記の生成部２４２において説明した処理と同様の処理を行って、歩く姿勢を算出しても良い。
また、介助者動作特徴記憶部２３３から動作ＩＤ「２３」のレコードが選択された場合を説明する。この場合、図２１に示したように、判定部２４３は、取得部２４１によって取得された動作情報が、介助者動作特徴情報「歩く速度が速い」に該当するか否かを判定する。ここで、歩く速度が生成部２４２によって算出されている場合には、判定部２４３は、取得された動作情報に含まれる人物が所定時間（例えば０．５秒）ごとに移動する移動速度［ｍ／秒］を生成部２４２から取得する。そして、判定部２４３は、取得した移動速度のうち、最大の移動速度が１［ｍ／秒］以上である場合に、取得された動作情報が対象者動作特徴情報に該当する、すなわち歩く速度が速いと判定する。なお、歩く速度が生成部２４２によって算出されていない場合には、判定部２４３は、上記の生成部２４２において説明した処理と同様の処理を行って、歩く速度を算出しても良い。
また、介助者画像特徴記憶部２３５から器具ＩＤ「２１」のレコードが選択された場合を説明する。この場合、図２３に示したように、判定部１４３は、取得部２４１によって取得されたカラー画像情報と、介助者器具特徴情報「聴診器」とのパターンマッチングを行う。パターンマッチングによってカラー画像情報から聴診器の画像が抽出されると、判定部２４３は、抽出された聴診器の画素位置が、評価対象となる動作情報に含まれる骨格情報の座標と重なるか否かを判定する。聴診器の画素位置が骨格情報の座標と重なる場合には、判定部２４３は、取得されたカラー画像情報が介助者器具特徴情報に該当する、すなわち聴診器を持っていると判定する。また、判定部２４３は、他のレコードについても同様に、取得されたカラー画像情報が介助者器具特徴情報に該当するか否かを判定する。
このように、判定部２４３は、取得された動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する。そして、選択したレコードに該当すると判定した場合には、判定部２４３は、保有介助者特徴数ｍを１インクリメントする。この保有介助者特徴数ｍは、評価対象となる動作情報に対応する人物が保有する介助者としての特徴の数を表す。判定部２４３は、他の未処理のレコードについても同様に、取得された動作情報及びカラー画像情報が当該レコードに該当するか否かを判定する。そして、判定部１４３は、保有介助者特徴数ｍが５に到達すると、評価対象となる動作情報に対応する人物が介助者であると判定する。一方、判定部１４３は、介助者動作特徴記憶部２３３及び介助者画像特徴記憶部２３５の全てのレコードについて判定を行っても、保有介助者特徴数ｍが５に到達しない場合には、評価対象となる動作情報に対応する人物が介助者ではないと判定する。なお、ここでは、介助者であるか否かを判定する保有介助者特徴数ｎの閾値が「５」である場合を例示したが、実施形態はこれに限定されるものではなく、この閾値は操作者によって任意の値が設定されて良い。また、ここでは各レコードに該当する場合に保有介助者特徴数ｎが１インクリメントされる場合を説明したが、実施形態はこれに限定されるものではなく、例えば、レコードごとに重み付けを行っても良い。
上述してきたように、判定部２４３は、評価対象となる動作情報に対応する人物が、対象者であるか否か、若しくは介助者であるか否かを判定し、判定結果を格納部２４４へ出力する。なお、判定部２４３は、評価対象となる動作情報に対応する人物が、対象者でも介助者でもないと判定した場合には、判定不能という判定結果を格納部２４４へ出力する。
格納部２４４は、判定部２４３によって判定された判定結果を出力する。例えば、格納部２４４は、生成部１４２によって生成された評価情報と、判定部２４３によって判定された判定結果とを対応づけて、評価情報記憶部２３６に格納する。なお、格納部２４４は、出力制御部の一例である。
例えば、格納部２４４は、判定部２４３によって判定された判定結果を確認させるための画面を出力部１１０に表示させる。そして、格納部２４４は、表示させた判定結果が確認されると、その判定結果と、生成部２４２によって生成された評価情報とを対応づけて評価情報記憶部２３６に格納する。
図２５は、格納部２４４によって表示される表示画面の一例を示す。図２５に示す例では、評価対象となる動作情報に対応する人物が図１８Ａの人物１８ａである場合を例示する。また、人物１８ａについて、生成部２４２によって評価情報「歩く姿勢が１５°である」が出力され、判定部２４３によって判定結果「対象者」が出力された場合を例示する。
図２５に示すように、格納部２４４は、「人物１８ａが対象者と判定されました。正しいですか？」という質問メッセージと、その質問メッセージに回答するための「Ｙｅｓ／Ｎｏ」の選択ボタンとを出力部２１０に表示させる。そして、「Ｙｅｓ」が選択されると、格納部２４４は、評価対象となる動作情報と、判定結果「対象者」と、評価情報「歩く姿勢が１５°である」とを対応付けて、評価情報記憶部２３６に格納する。また、例えば、格納部２４４は、図２５に示すように、リハカルテの自由記載欄に評価情報「体の傾き：１５°」を記入しても良い。
また、例えば、格納部２４４は、判定結果を確認させることなく評価情報記憶部２３６に格納しても良い。図２６は、格納部２４４によって表示される表示画面の一例を示す。なお、図２６には、図２５と同一条件下で表示される表示画面の一例であり、更に、人物１８ｂの評価情報「歩く姿勢が３°である」が出力される場合を示す。
図２６に示すように、格納部２４４は、人物１８ａ及び人物１８ｂについて、評価情報「＜体の傾き＞１８ａ：１５°、１８ｂ：３°」が表示される。そして、格納部２４４は、評価対象となる動作情報と、判定結果「対象者」と、評価情報「歩く姿勢が１５°である」とを対応付けて、評価情報記憶部２３６に格納する。また、例えば、格納部２４４は、図２６に示すように、リハカルテの自由記載欄に評価情報「体の傾き：１５°」を表示しても良い。
このように、格納部２４４は、判定結果を評価情報記憶部２３６へ出力することで、評判定結果を評価情報記憶部２３６に格納したり、判定結果を出力部１１０へ出力することで、判定結果を出力部１１０に表示させたりする。なお、格納部２４４が判定結果を出力するのは上記の例に限定されるものではない。例えば、格納部２４４は、他の情報処理装置や外部記憶装置に判定結果を出力しても良い。
次に、図２７を用いて、第１の実施形態に係る動作情報処理装置２００の処理手順について説明する。図２７は、第１の実施形態に係る動作情報処理装置２００の処理手順の一例を説明するためのフローチャートである。
図２７に示すように、取得部２４１は、評価対象となる動作情報が指定されると（ステップＳ３０１肯定）、評価対象となる動作情報と、当該動作情報に対応付けられたカラー画像情報を取得する（ステップＳ３０２）。なお、取得部２４１は、評価対象となる動作情報が指定されるまで（ステップＳ３０１否定）、待機状態である。
生成部２４２は、取得部２４１によって取得された動作情報から評価情報を生成する（ステップＳ３０３）。例えば、生成部２４２は、評価対象となる動作情報から、歩く姿勢や歩く速度を評価情報として生成する。
判定部２４３は、取得部２４１によって取得された動作情報に対応する人物が、対象者であるか否か、或いは介助者であるか否かを判定する判定処理を実行する（ステップＳ３０４）。
ここで、図２８を用いて、第１の実施形態に係る判定部２４３における判定処理の処理手順について説明する。図２８は、第１の実施形態に係る判定部２４３における判定処理の処理手順の一例を説明するためのフローチャートである。
判定部２４３は、対象者動作特徴記憶部２３２及び対象者画像特徴記憶部２３４から、未処理のレコードを一つ選択する（ステップＳ４０１）。そして、判定部２４３は、取得した動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する（ステップＳ４０２）。該当する場合には（ステップＳ４０２肯定）、判定部２４３は、保有対象者特徴数ｎを１インクリメントする（ステップＳ４０３）。そして、判定部２４３は、保有対象者特徴数ｎが５に到達したか否かを判定する（ステップＳ４０４）。保有対象者特徴数ｎが５に到達した場合には（ステップＳ４０４肯定）、判定部２４３は、取得部２４１によって取得された動作情報に対応する人物が対象者であると判定する（ステップＳ４０５）。
一方、判定部２４３は、保有対象者特徴数ｎが５に到達していない場合には（ステップＳ４０４否定）、判定部２４３は、対象者動作特徴記憶部２３２及び対象者画像特徴記憶部２３４に、未処理のレコードがあるか否かを判定する（ステップＳ４０６）。未処理のレコードがある場合には（ステップＳ４０６肯定）、判定部２４３は、ステップＳ４０１の処理へ移行する。
一方、判定部２４３は、未処理のレコードがない場合には（ステップＳ４０６否定）、介助者動作特徴記憶部２３３及び介助者画像特徴記憶部２３５から、未処理のレコードを一つ選択する（ステップＳ４０７）。そして、判定部２４３は、取得した動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する（ステップＳ４０８）。該当する場合には（ステップＳ４０８肯定）、判定部２４３は、保有介助者特徴数ｍを１インクリメントする（ステップＳ４０９）。そして、判定部２４３は、保有介助者特徴数ｍが５に到達したか否かを判定する（ステップＳ４１０）。保有介助者特徴数ｍが５に到達した場合には（ステップＳ４１０肯定）、判定部２４３は、取得部２４１によって取得された動作情報に対応する人物が介助者であると判定する（ステップＳ４１１）。
一方、判定部２４３は、保有介助者特徴数ｍが５に到達していない場合には（ステップＳ４１０否定）、判定部２４３は、介助者動作特徴記憶部２３３及び介助者画像特徴記憶部２３５に、未処理のレコードがあるか否かを判定する（ステップＳ４１２）。未処理のレコードがある場合には（ステップＳ４１２肯定）、判定部２４３は、ステップＳ４０７の処理へ移行する。
一方、判定部２４３は、未処理のレコードがない場合には（ステップＳ４１２否定）、取得部２４１によって取得された動作情報に対応する人物は判定不能であると判定する（ステップＳ４１３）。
図２７の説明に戻る。判定部２４３によって判定処理が実行されると、格納部２４４は、判定結果の正誤を確認する確認画面を出力部１１０に表示させる（ステップＳ３０５）。そして、格納部２４４は、判定結果が正しい旨の入力を入力部１２０が受け付けると（ステップＳ３０６肯定）、判定結果とともに、生成部２４２によって生成された評価情報を評価情報記憶部２３６に格納する（ステップＳ３０７）。
一方、格納部２４４は、判定結果が正しくない旨の入力を入力部１２０が受け付けると（ステップＳ３０６否定）、修正指示入力を入力部１２０が受け付けるまで待機する（ステップＳ３０８否定）。そして、修正指示入力を入力部１２０が受け付けると（ステップＳ３０８肯定）、格納部２４４は、修正指示にしたがって評価情報を評価情報記憶部２３６に格納し（ステップＳ３０９）、処理を終了する。
なお、上述した処理手順は、必ずしも上記の順序で実行されなくても良い。例えば、評価情報を生成する処理であるステップＳ３０３の処理及び判定処理を実行するステップＳ３０４の処理は、上記の順序に限らず、ステップＳ３０４の処理が実行された後にステップＳ３０３の処理が実行されても良い。
また、例えば、対象者であるか否かを判定する処理であるステップＳ４０１からステップＳ４０６までの処理及び介助者であるか否かを判定する処理であるステップＳ４０７からステップＳ４１２までの処理は、上記の順序に限らない。すなわち、ステップＳ４０７からステップＳ４１２までの処理が実行された後に、ステップＳ４０１からステップＳ４０６までの処理が実行されても良い。
上述してきたように、第７の実施形態に係る動作情報処理装置２００は、リハビリテーションの対象となる対象者の動作の特徴を表す対象者動作特徴情報を記憶する。そして、動作情報処理装置２００は、人物の動作を表す動作情報を取得する。そして、動作情報処理装置２００は、対象者動作特徴情報を用いて、取得した動作情報に対応する人物が対象者であるか否かを判定する。このため、第７の実施形態に係る動作情報処理装置２００は、デジタル的に記録された人物の動きが、リハビリテーションの対象となる対象者のものであるか否かを判定することができる。
図２９は、第７の実施形態に係る動作情報処理装置２００の効果を説明するための図である。図２９に示すように、例えば、動作情報処理装置２００は、動作情報収集部１０によって撮影された距離画像２９ａに基づいて、リハビリテーションを行う人物１８ａ及び人物１８ｂそれぞれの動作情報を取得する。そして、動作情報処理装置２００は、取得した動作情報を用いて、その動作情報に対応する人物が、対象者であるか否か、介助者であるか否かを判定する。そして、動作情報処理装置２００は、判定結果を表示画面２９ｂに表示するとともに、判定結果と、動作情報に基づく評価情報とを評価情報記憶部２３６に格納する。このため、例えば、動作情報処理装置２００は、対象者の動作情報を評価することができる。
また、例えば、動作情報処理装置２００は、対象者を介助する介助者の動作の特徴を表す介助者動作特徴情報を記憶する。そして、動作情報処理装置２００は、介助者動作特徴情報を用いて、取得した動作情報に対応する人物が介助者であるか否かを判定する。このため、第１の実施形態に係る動作情報処理装置２００は、デジタル的に記録された人物の動きが、介助者のものであるか否かを判定することができる。
また、例えば、動作情報処理装置２００は、判定結果を確認させるための画面を所定の表示部に表示させ、その判定結果が確認されると、その判定結果と、生成した評価情報とを対応づけて所定の記憶部に格納する。このため、動作情報処理装置２００は、例えば、評価対象となる人物を誤って評価することを防ぐことができる。
また、例えば、動作情報処理装置２００は、対象者の画像の特徴を表す対象者画像特徴情報を記憶する。そして、動作情報処理装置２００は、人物が撮影された人物画像を取得する。そして、動作情報処理装置２００は、対象者画像特徴情報を用いて、取得した人物画像に対応する人物が対象者であるか否かを判定する。このため、デジタル的に記録された人物の動きが、対象者のものであるか否かを判定することができる。
また、例えば、動作情報処理装置２００は、介助者の画像の特徴を表す介助者画像特徴情報を記憶する。そして、動作情報処理装置２００は、人物が撮影された人物画像を取得する。そして、動作情報処理装置２００は、介助者画像特徴情報を用いて、取得した人物画像に対応する人物が介助者であるか否かを判定する。このため、デジタル的に記録された人物の動きが、介助者のものであるか否かを判定することができる。
（第８の実施形態）
上述した第７の実施形態では、対象者の動作の特徴及び画像の特徴を用いて対象者であるか否かを判定する場合を説明したが、実施形態はこれに限定されるものではない。例えば、動作情報処理装置２００は、対象者の個人情報を用いて対象者であるか否かを判定しても良い。そこで、第２の実施形態では、動作情報処理装置２００が対象者の個人情報を用いて対象者であるか否かを判定する場合を説明する。
図３０は、第８の実施形態に係る動作情報処理装置２００の構成例を示すブロック図である。図３０に示すように、第８の実施形態に係る動作情報処理装置２００は、図１９に示した動作情報処理装置２００と同様の構成を有し、記憶部２３０が個人情報記憶部２３７及び個人特徴情報記憶部２３８を更に有し、制御部２４０が抽出部２４５を更に有する点が相違する。以下、第８の実施形態では、第７の実施形態と相違する点を中心に説明することとし、第７の実施形態において説明した構成と同様の機能を有する点については、図５と同一の符号を付し、説明を省略する。なお、第８の実施形態に係る動作情報処理装置２００においては、記憶部２３０は、対象者画像特徴記憶部２３４及び介助者画像特徴記憶部２３５を有していなくても良い。
個人情報記憶部２３７は、対象者を識別する識別情報と、個人情報とを対応付けて記憶する。このうち、対象者ＩＤは、対象者を識別するための情報であり、例えば、医療機関において患者を識別するための患者番号等である。また、個人情報は、該当する対象者の個人特有の情報であり、例えば、身長、胸囲及び腹囲等の情報を含む。なお、個人情報記憶部２３７に記憶される情報は、例えば、医療情報システムや、個人の健康情報記録（ＰＨＲ：Personal Health Record）等から取得される情報であり、対象者の身体的な特徴のみならず、疾患の名称や通院の履歴等が記憶されても良い。
個人特徴情報記憶部２３８は、個人特徴ＩＤと、個人特徴情報とを記憶する。このうち、個人特徴ＩＤは、個人を特定するために利用可能な特徴を識別するための情報であり、動作情報処理装置２００の設計者によって個人特徴情報記憶部２３８のレコードが登録されるごとに採番される。また、個人特徴情報は、個人情報を用いて対象者であるか否かを判定する際に利用可能な個人情報の項目を示し、例えば、動作情報処理装置２００の設計者によって予め定義される。なお、個人特徴情報記憶部２３８に記憶される情報は、例えば、医療情報システムや、個人の健康情報記録（ＰＨＲ：Personal Health Record）等から取得されても良い。
図３１は、個人特徴情報記憶部２３８に記憶される情報の一例を示す図である。図３１の１つ目のレコードには、個人特徴ＩＤ「００１」と、個人特徴情報「身長が（ ）ｃｍである」が記憶されている。つまり、個人特徴情報記憶部２３８は、個人情報を用いて対象者であるか否かを判定する際に利用可能な個人情報の項目として「身長が（ ）ｃｍである」を、個人特徴ＩＤ「００１」の個人特徴情報として記憶する。この個人特徴情報「身長が（ ）ｃｍである」は、個人情報記憶部２３７から対象者の身長の情報を取得した上で、判定に用いられる。また、図３１の２つ目のレコードには、個人特徴ＩＤ「００２」と、個人特徴情報「胸囲が（ ）ｃｍである」が記憶されている。つまり、個人特徴情報記憶部２３８は、個人情報を用いて対象者であるか否かを判定する際に利用可能な個人情報の項目として「胸囲が（ ）ｃｍである」を、個人特徴ＩＤ「００２」の個人特徴情報として記憶する。また、図３１の３つ目のレコードには、個人特徴ＩＤ「００３」と、個人特徴情報「腹囲が（ ）ｃｍである」が記憶されている。つまり、個人特徴情報記憶部２３８は、個人情報を用いて対象者であるか否かを判定する際に利用可能な個人情報の項目として「腹囲が（ ）ｃｍである」を、個人特徴ＩＤ「００３」の個人特徴情報として記憶する。また、個人特徴情報記憶部２３８は、他のレコードについても同様に、個人情報を用いて対象者であるか否かを判定する際に利用可能な個人情報の項目を記憶する。
抽出部２４５は、対象者を識別する識別情報を受け付けて、受け付けた識別情報に対応する個人情報を個人情報記憶部２３７から抽出する。一例としては、抽出部２４５は、対象者の身体的な特徴を、対象者の電子カルテに記録された情報から取得する。
例えば、リハビリテーションが開始される際に、当該リハビリテーションを行う対象者の対象者ＩＤの入力を入力部１２０が受け付けると、抽出部２４５は、その対象者ＩＤを入力部１２０から受け付ける。
続いて、抽出部２４５は、受け付けた対象者ＩＤを用いて、個人特徴情報記憶部２３８の各レコードの個人特徴情報に対応する個人情報を個人情報記憶部２３７から抽出する。図３１に示す例では、１つ目のレコードの個人特徴情報には「身長が（ ）ｃｍである」が記憶されている。この場合、抽出部２４５は、個人情報記憶部２３７を参照し、受け付けた対象者ＩＤに対応する個人情報として、例えば「身長１７０ｃｍ」を抽出する。ここで抽出された身長は、判定部２４３が個人特徴情報記憶部２３８の１つ目のレコード「身長が（ ）ｃｍである」を用いて対象者か否かを判定する際に利用される。個人特徴情報記憶部２３８の他のレコードについても同様に、抽出部２４５は、受け付けた対象者ＩＤを用いて、個人特徴情報記憶部２３８の各レコードに対応する個人情報を個人情報記憶部２３７から抽出する。
次に、図３２を用いて、第８の実施形態に係る動作情報処理装置２００の処理手順について説明する。図３２は、第８の実施形態に係る動作情報処理装置２００の処理手順の一例を説明するためのフローチャートである。なお、入力部１２０は、リハビリテーションが開始される際に、当該リハビリテーションを行う対象者の対象者ＩＤの入力を操作者から受け付けるものとする。
図３２に示すように、第８の実施形態に係る動作情報処理装置２００において、ステップＳ５０１からステップＳ５０３までの処理は、図２７に示したステップＳ３０１からステップＳ３０３までの処理とそれぞれ同様であるので、説明を省略する。
ステップＳ５０３の処理が終了すると、抽出部２４５は、リハビリテーションを行う対象者の対象者ＩＤを入力部１２０から受け付ける（ステップＳ５０４）。そして、抽出部２４５は、受け付けた対象者ＩＤに対応する個人情報を個人情報記憶部２３７から抽出する（ステップＳ５０５）。
判定部２４３は、取得部２４１によって取得された動作情報に対応する人物が、対象者であるか否か、或いは介助者であるか否かを判定する判定処理を実行する（ステップＳ５０６）。なお、判定部２４３は、基本的には図１４に示した処理手順で判定処理を実行するが、個人特徴情報記憶部２３８を用いて判定する点が相違するので、以下、この相違点について図２８を用いて説明する。
ステップＳ４０１において、判定部２４３は、対象者動作特徴記憶部２３２及び個人特徴情報記憶部２３８から、未処理のレコードを一つ選択する。なお、第８の実施形態に係る動作情報処理装置２００が対象者画像特徴記憶部２３４を有する場合には、対象者画像特徴記憶部２３４から未処理のレコードを選択しても良い。
続いて、ステップＳ４０２において、判定部２４３は、取得した動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する。このとき、個人特徴情報記憶部２３８からレコードが選択された場合には、判定部２４３は、抽出部２４５によって抽出された個人情報を用いて判定を行う。例えば、図３１の１つ目のレコードが選択された場合には、判定部２４３は、個人特徴情報記憶部２３８から個人特徴情報「身長が（ ）ｃｍである」を取得する。続いて、判定部２４３は、この個人特徴情報「身長が（ ）ｃｍである」に対応する個人情報として抽出部２４５によって抽出された個人情報「身長１７０ｃｍ」を取得する。そして、判定部２４３は、取得した個人特徴情報「身長が（ ）ｃｍである」及び個人情報「身長１７０ｃｍ」を組み合わせ、条件「身長が１７０ｃｍである」を生成する。そして、判定部２４３は、生成した条件「身長が１７０ｃｍである」に、取得部２４１によって取得された動作情報及びカラー画像情報が該当するか否かを判定する。具体的には、判定部２４３は、動作情報に含まれる骨格情報から身長を求め、その値が１７０ｃｍに近い値であるか否かを判定する。
そして、判定部２４３は、ステップＳ４０３以降の処理を行う。なお、ステップＳ４０３以降の処理については、第７の実施形態で説明した内容と同様であるので、説明を省略する。
図３２の説明に戻り、動作情報処理装置２００は、ステップＳ５０７以降の処理を行う。なお、図３２のステップＳ５０７からステップＳ５１１までの処理は、図２７のステップＳ３０５からステップＳ３０９までの処理をそれぞれ同様であるので、説明を省略する。
なお、上述した処理手順は、必ずしも上記の順序で実行されなくても良い。例えば、評価情報を生成する処理であるステップＳ５０３の処理は、個人情報を抽出するステップ５０５の処理が実行された後に実行されても良い。
上述してきたように、第８の実施形態に係る動作情報処理装置２００は、対象者を識別するための識別情報と、当該対象者の個人情報とを対応付けて記憶する個人情報記憶部２３７を有する。そして、動作情報処理装置２００は、識別情報を受け付けて、受け付けた識別情報に対応する個人情報を個人情報記憶部２３７から抽出する。そして、動作情報処理装置２００は、抽出部２４５によって抽出された個人情報を参照し、人物画像に対応する人物が、当該個人情報に対応する人物であるか否かを判定する。このため、動作情報処理装置２００は、デジタル的に記録された人物の動きが、リハビリテーションの対象となる対象者のものであるか否かを正確に判定することができる。
なお、第８の実施形態では、動作情報処理装置２００が個人情報記憶部２３７及び個人特徴情報記憶部２３８を記憶する場合を説明したが、動作情報処理装置２００は、必ずしも個人情報記憶部２３７及び個人特徴情報記憶部２３８を記憶していなくても良い。例えば、動作情報処理装置２００がネットワークを介して上述した医療情報システムに接続されている場合には、抽出部２４５は、個人特徴情報記憶部２３８の各レコードの個人特徴情報に対応する個人情報を医療情報システムから抽出しても良い。
（第９の実施形態）
上述した第８の実施形態では、対象者自身を識別可能な情報を用いて判定処理を行う場合を説明したが、実施形態はこれに限定されるものではない。例えば、第９の実施形態では、介助者自身を識別可能な情報を用いて判定処理を行う場合を説明する。
図３３は、第９の実施形態に係る動作情報処理装置２００の構成例を示すブロック図である。図３３に示すように、第９の実施形態に係る動作情報処理装置２００は、図１９に示した動作情報処理装置２００と同様の構成を有し、記憶部２３０が職員情報記憶部２３９を更に有する点が相違する。以下、第９の実施形態では、第７の実施形態と相違する点を中心に説明することとし、第７の実施形態において説明した構成と同様の機能を有する点については、図１９と同一の符号を付し、説明を省略する。なお、第９の実施形態に係る動作情報処理装置２００においては、記憶部１３０は、対象者画像特徴記憶部２３４及び介助者画像特徴記憶部２３５を有していなくても良い。
職員情報記憶部２３９は、職員ＩＤと、氏名とを対応付けて記憶する。このうち、職員ＩＤは、職員を識別するための情報であり、例えば、医療機関に従事する者を識別するための番号等である。また、氏名は、職員ＩＤに該当する者の氏名を表す情報である。職員情報記憶部２３９に記憶される情報は、例えば、動作情報処理装置２００が利用される医療機関の職員の人事を管理するための職員人事システムから取得される情報である。なお、職員には、介助者が含まれる。
図３４は、職員情報記憶部２３９に記憶される情報の一例を示す図である。図３４の１つ目のレコードには、職員ＩＤ「１」と、氏名「Ａ山Ｂ男」が記憶されている。つまり、職員情報記憶部２３９は、職員ＩＤ「１」で表される職員の氏名が「Ａ山Ｂ男」であることを記憶する。また、図３４の２つ目のレコードには、職員ＩＤ「２」と、氏名「Ｃ田Ｄ子」が記憶されている。つまり、職員情報記憶部２３９は、職員ＩＤ「２」で表される職員の氏名が「Ｃ田Ｄ子」であることを記憶する。また、図３４の３つ目のレコードには、職員ＩＤ「３」と、氏名「Ｅ川Ｆ彦」が記憶されている。つまり、職員情報記憶部２３９は、職員ＩＤ「３」で表される職員の氏名が「Ｅ川Ｆ彦」であることを記憶する。また、職員情報記憶部２３９は、他の職員ＩＤの職員についても同様に、職員ＩＤ及び氏名を対応付けて記憶する。
次に、第９の実施形態に係る動作情報処理装置２００の処理手順について説明する。第９の実施形態に係る動作情報処理装置２００の処理手順は、図２７において説明した第７の実施形態に係る動作情報処理装置２００の処理手順と同様であるが、職員情報記憶部２３９を用いて判定する点が相違するので、以下、この相違点について図２８を用いて説明する。
ステップＳ４０１からステップＳ４０５までの処理は、図２８において説明した内容と同一であるので、説明を省略する。
ステップＳ４０７において、判定部２４３は、介助者動作特徴記憶部２３３及び職員情報記憶部２３９から、未処理のレコードを一つ選択する。なお、第９の実施形態に係る動作情報処理装置２００が介助者画像特徴記憶部２３５を有する場合には、対象者画像特徴記憶部２３４から未処理のレコードを選択しても良い。
続いて、ステップＳ４０８において、判定部２４３は、取得した動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する。このとき、職員情報記憶部２３９からレコードが選択された場合には、判定部２４３は、取得部２４１によって取得されたカラー画像情報から、ネームプレートのパターンマッチングを行う。そして、判定部２４３は、パターンマッチングによってカラー画像情報からネームプレートの画像が抽出されると、抽出されたネームプレートに記載された文字を、既知の文字認識技術によって認識する。そして、判定部２４３は、文字認識によって文字、例えば「Ａ山Ｂ男」が認識されると、当該文字が職員情報記憶部２３９に記憶されているか否かを判定する。文字認識によって認識された文字が職員情報記憶部２３９に記憶されている場合には、判定部２４３は、取得されたカラー画像情報が職員情報に該当すると判定する。
そして、判定部２４３は、ステップＳ４０９以降の処理を行う。なお、ステップＳ４０９以降の処理については、第７の実施形態で説明した内容と同様であるので、説明を省略する。
上述してきたように、第９の実施形態に係る動作情報処理装置２００は、介助者を識別するための識別情報を記憶する識別情報記憶部を有する。そして、動作情報処理装置２００は、人物が撮影された人物画像を取得する。そして、動作情報処理装置２００は、取得した人物画像から識別情報を抽出し、抽出した識別情報が、識別情報記憶部に記憶された識別情報に対応する人物であるか否かを判定する。このため、動作情報処理装置２００は、介助者の個人名を特定することができる。
なお、第９の実施形態では、動作情報処理装置２００が職員の氏名を用いて介助者であるか否かを判定する場合を説明したが、実施形態はこれに限定されるものではなく、例えば、職員の顔認識によって介助者であるか否かを判定しても良い。この場合、職員情報記憶部２３９は、職員ＩＤと、当該職員の顔画像とを対応付けて記憶する。そして、判定部２４３は、取得部２４１によって取得したカラー画像情報から顔の画像を認識し、認識した顔の画像と、職員情報記憶部２３９に記憶された顔画像とをマッチングすることで、取得されたカラー画像情報が職員情報に該当するか否かを判定する。
また、第９の実施形態では、動作情報処理装置２００が職員情報記憶部２３９を記憶する場合を説明したが、動作情報処理装置２００は、必ずしも職員情報記憶部２３９を記憶していなくても良い。例えば、動作情報処理装置２００がネットワークを介して上述した職員人事システムに接続されている場合には、判定部２４３は、職員人事システムにアクセスし、職員情報記憶部２３９に記憶される情報に対応する情報を用いて判定しても良い。
（第１０の実施形態）
さて、これまで第７〜第９の実施形態について説明したが、上述した第７〜第９の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
例えば、上述した第７〜第９の実施形態において説明した構成は一例であり、必ずしも全ての構成を要しない。例えば、動作情報処理装置２００は、生成部２４２を有していなくても良い。つまり、動作情報処理装置２００において、取得部２４１は、人物の動作を表す動作情報を取得する。そして、判定部２４３は、対象者動作特徴情報を用いて、取得した動作情報に対応する人物が対象者であるか否かを判定する。そして、格納部２４４は、判定部２４３によって判定された判定結果を出力する。このため、動作情報処理装置２００は、デジタル的に記録された人物の動きが、リハビリテーションの対象となる対象者のものであるか否かを判定することができる。例えば、動作情報処理装置２００は、取得した動作情報と判定結果とを対応付けて別の装置に出力してもよい。また、例えば、動作情報処理装置２００において、記憶部２３０は、対象者動作特徴記憶部２３２、介助者動作特徴記憶部２３３、対象者画像特徴記憶部２３４及び介助者画像特徴記憶部２３５のうちいずれかを有していればよい。
また、例えば、上述した第７〜第９の実施形態において説明した構成は一例であり、医用情報処理システムに含まれる複数の装置のいずれかが上記の構成を有していればよい。具体的には、医用情報処理システムは、取得部２４１と、生成部２４２と、判定部２４３と、格納部２４４とを有する。取得部２４１は、人物の動作を表す動作情報を取得する。そして、生成部２４２は、取得部２４１によって取得された動作情報から、前記リハビリテーションの評価情報を生成する。そして、判定部２４３は、対象者動作特徴情報を用いて、取得した動作情報に対応する人物が対象者であるか否かを判定する。そして、格納部２４４は、前記判定部の判定結果に基づいて、前記評価情報の出力を行う。
また、例えば、上述した第７〜第９の実施形態では、人物の動作の特徴を用いて判定する場合を説明したが、実施形態はこれに限定されるものではない。
一例としては、動作情報処理装置２００は、音声認識結果を用いて判定しても良い。具体的には、対象者は、リハビリに集中するため、発言が少なくなったり、苦しそうな声を発したりする。また、介助者は、対象者を気遣ったり励ましたりするため、「大丈夫ですか」、「次は右足ですよ」或いは「ゆっくりでいいですよ」等の言葉を発する。このため、動作情報処理装置２００は、これらの特徴を用いることで、対象者及び介助者を判定することができる。
ここで、対象者の発言が少なくなることを利用して、対象者であるか否かを判定する場合を説明する。この場合、対象者動作特徴記憶部２３２は、所定の動作ＩＤと、対象者動作特徴情報「３分以上発言が無い」とが対応付けられた情報を記憶する。そして、取得部２４１は、動作情報とともに、その動作情報の各フレームに対応する音声認識結果を取得する。そして、判定部２４３は、取得部２４１によって取得された動作情報について、発言が無い旨を示す音声認識結果が３分間継続していれば、その動作情報が所定の動作ＩＤの対象者動作特徴情報に該当する、すなわち３分以上発言が無いと判定する。このように、動作情報処理装置２００は、音声認識結果を用いることで、精度良く対象者を判定することができる。
また、介助者の「大丈夫ですか」という発言を利用して、介助者であるか否かを判定する場合を説明する。この場合、介助者動作特徴記憶部２３３は、所定の動作ＩＤと、介助者動作特徴情報「「大丈夫ですか」という単語を発する」とが対応付けられた情報を記憶する。そして、取得部２４１は、動作情報とともに、その動作情報の各フレームに対応する音声認識結果を取得する。そして、判定部２４３は、取得部２４１によって取得された動作情報について、「大丈夫ですか」という単語を発した旨を示す音声認識結果があれば、その動作情報が所定の動作ＩＤの対象者動作特徴情報に該当する、すなわち「大丈夫ですか」という言葉を発したと判定する。このように、動作情報処理装置２００は、音声認識結果を用いることで、精度良く介助者を判定することができる。
また、他の例としては、動作情報処理装置２００は、熱センサ(サーモグラフィ等)を用いて判定しても良い。具体的には、対象者は、頑張って身体を動かすため、リハビリが行われる間の体温が上昇する。このため、動作情報処理装置２００は、この特徴を用いることで、対象者を判定することができる。なお、この場合、動作情報処理装置２００は、例えば、入力部１２０として、熱センサを備え、取得部２４１によって取得される動作情報に対応する人物の体温を、フレームごとに取得するものとする。
一態様としては、対象者動作特徴記憶部２３２は、所定の動作ＩＤと、対象者動作特徴情報「体温が３６．５度以上である」とが対応付けられた情報を記憶する。そして、取得部２４１は、動作情報とともに、その動作情報の各フレームに対応する体温を取得する。そして、判定部２４３は、取得部２４１によって取得された動作情報について、体温が３６．５度以上であれば、その動作情報が所定の動作ＩＤの対象者動作特徴情報に該当すると判定する。このように、動作情報処理装置２００は、熱センサを用いることで、精度良く対象者を判定することができる。
以上説明したとおり、第７〜第１０の実施形態によれば、本実施形態の動作情報処理装置２００は、デジタル的に記録された人物の動きが、リハビリテーションの対象となる対象者のものであるか否かを判定することができる。
（第１１の実施形態）
上述したように、第７〜第１０の実施形態では、デジタル的に記録された人物の動きが、リハビリテーションの対象となる対象者のものであるか否かを判定することを可能にすることで、リハビリテーションを支援する場合について説明した。そこで、以下、第１１〜第１２の実施形態では、更に、被検体（対象者）の個人情報を隠蔽しつつ動作を確認可能な情報を提供することができる動作情報処理装置３００を提供する場合について説明する。なお、第１１〜第１２の実施形態においては、被検体は、所定の動作を実施する者も、リハビリテーションの対象となる者も含む。
図３５は、第１１の実施形態に係る医用情報処理システム１の構成例を示すブロック図である。第１の実施形態に係る医用情報処理システム１は、医療機関や自宅、職場等において行われるリハビリテーションを支援するシステムである。なお、第１１の実施形態においては、動作情報処理装置３００が医用情報処理システム１に適用される場合を説明するが、実施形態はこれに限定されるものではない。例えば、動作情報処理装置３００は、医用情報処理システム１に適用されない場合にも、被検体の個人情報を隠蔽しつつ動作を確認可能な情報を提供することができる。
図３５に示すように、第１１の実施形態に係る医用情報処理システム１は、動作情報収集部１０と、動作情報処理装置３００と、医用画像保管装置２０と、ワークステーション３０とを備える。ここで、動作情報処理装置３００、医用画像保管装置２０及びワークステーション３０は、例えば、病院内に設置された院内ＬＡＮ（Local Area Network）４０により、直接的又は間接的に相互に通信可能な状態となっている。例えば、動作情報処理システム１にＰＡＣＳ（Picture Archiving and Communication System）が導入されている場合、各装置は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格に則って、医用画像情報等を相互に送受信する。
医用画像保管装置２０は、リハビリテーションを支援するための各種情報を保管する。例えば、医用画像保管装置２０は、画像情報を保管するデータベースを備え、動作情報処理装置３００によって送信された各種情報をデータベースに格納し、これを保管する。一例としては、医用画像保管装置２０は、医用情報処理システム１にＥＭＲ（Electronic Medical Record、電子診療記録）が適用される場合に、ＥＭＲにおいて記憶される情報を記憶する。医用画像保管装置２０に記憶された情報は、例えば、医用情報処理システム１にアクセスする権限を有する者、或いは、主治医や院長等の所定の権限を有する者であれば、閲覧可能である。医用画像保管装置２０に記憶される情報については、後述する。
なお、第１１の実施形態においては、医用画像保管装置２０が、ある医療機関の医用情報処理システム１において情報を保管する場合を説明するが、実施形態はこれに限定されるものではない。例えば、医用画像保管装置２０は、インターネット上に設置されても良い。この場合、医用画像保管装置２０は、インターネットに接続された複数の医療機関の情報を医療機関ごとに保管しても良いし、各医療機関の情報を相互に閲覧可能な形式で保管しても良い。また、医用画像保管装置２０は、医用画像保管装置２０に記憶される情報ごとにアクセス権限を設定して保管しても良い。
ワークステーション３０は、リハビリテーションを支援するための各種情報を表示する。例えば、ワークステーション３０は、医用画像保管装置２０から動作情報を取得し、取得した情報を表示する。
動作情報処理装置３００は、動作情報収集部１０から出力される動作情報を用いて、リハビリテーションを支援するための各種処理を行う。動作情報処理装置３００は、例えば、コンピュータ、ワークステーション等の情報処理装置である。
例えば、上記の医用情報処理システム１において、動作情報収集部１０によって収集されたリハビリにおける動作情報を、主治医以外の医師や理学療法士が閲覧可能な情報として医用画像保管装置２０に保管しておくことは、医療業務において有用であると考えられる。例えば、医師は、医用画像保管装置２０に記憶された情報を用いて、ある被検体のリハビリの動作を確認可能な情報（動画像や骨格情報）を、その被検体と同様のリハビリを行っている他の被検体に手本として閲覧させることが可能となる。しかしながら、この行為は、手本として利用される被検体の個人情報を他の被検体に公開することとなるため、個人情報保護の観点から好ましくない。
そこで、第１１の実施形態に係る動作情報処理装置３００は、以下に説明する処理を行うことで、被検体の個人情報を隠蔽しつつ動作を確認可能な情報を提供することができる。
図３６は、第１１の実施形態に係る動作情報処理装置３００の詳細な構成例を示すブロック図である。図３６に示すように、動作情報処理装置３００においては、記憶部３３０が、動作情報記憶部３３１を有する。
動作情報記憶部３３１は、動作情報収集部１０によって収集された各種情報を記憶する。具体的には、動作情報記憶部３３１は、動作情報生成部１４によって生成された動作情報を記憶する。より具体的には、動作情報記憶部３３１は、動作情報生成部１４によって生成されたフレームごとの骨格情報を記憶する。ここで、動作情報記憶部３３１、動作情報生成部１４によって出力されたカラー画像情報、深度画像情報及び音声認識結果をフレームごとにさらに対応付けて記憶することも可能である。なお、カラー画像情報は、撮影画像情報の一例である。
例えば、第１１の実施形態に係る動作情報記憶部３３１は、図７に示した動作情報記憶部１３１と同様の情報を記憶する。
図３６の説明に戻る。図３６に示すように、動作情報処理装置３００においては、制御部３４０が、取得部３４１と、生成部３４２と、出力制御部３４３とを有する。
取得部３４１は、被検体の動作情報を取得する。例えば、取得部３４１は、少なくとも、骨格情報と、カラー画像情報とを時系列順に含む動作情報を取得する。一例としては、取得部３４１は、動作情報収集部１０及び動作情報処理装置３００に電源が投入され、１フレームの骨格情報が動作情報記憶部３３１に格納されるごとに、格納された骨格情報と、格納された骨格情報に対応するフレームのカラー画像情報とを、動作情報記憶部３３１からそれぞれ取得する。なお、取得部３４１によって取得される動作情報は、第１動作情報の一例である。
なお、第１１の実施形態では、動作情報収集部１０によって動作情報記憶部３３１に各フレームの骨格情報及びカラー画像情報が格納されるごとに、取得部３４１がリアルタイムで各種の情報を取得する場合を説明するが、これに限定されるものではない。例えば、取得部３４１は、動作情報記憶部３３１に記憶済みの骨格情報及びカラー画像情報のフレーム群を取得しても良い。
生成部３４２は、例えば、骨格情報に含まれる各関節の位置を用いて、被検体の骨格を視覚的に確認可能な画像情報を、医用画像情報として生成する。
図３７Ａ及び図３７Ｂは、第１１の実施形態に係る生成部３４２の処理を説明するための図である。図３７Ａには、ある被検体が歩行訓練を行っている様子を表すカラー画像情報と、被検体の各関節の位置を表す骨格情報とを例示する。また、図３７Ｂには、図３７Ａのカラー画像情報及び骨格情報に基づいて生成される医用画像情報３７ａを例示する。
図３７Ａ及び図３７Ｂに示すように、生成部３４２は、取得部３４１によって取得された骨格情報に含まれる各関節２ａ〜２ｔの位置を示す骨格モデル３７ｂを生成する。具体的には、例えば、生成部３４２は、医用画像情報３７ａの撮影範囲のうち、各関節２ａ〜２ｔの画素位置Ｘ及び画素位置Ｙに対応する位置に丸印を配置する。また、生成部３４２は、各関節の位置関係を表す情報に基づいて、各丸印を結ぶ線分を配置する。これにより、生成部３４２は、骨格モデル３７ｂを生成する。
また、生成部３４２は、床面画像３７ｃを生成する。具体的には、例えば、生成部３４２は、世界座標系におけるｙ＝０の位置に対応する画素を床面の画素として特定する。そして、生成部３４２は、床面の画素のうち、ｘ方向及びｚ方向に１ｍ間隔で平行な線を配置することで、床面画像３７ｃを生成する。
このように、生成部３４２は、骨格モデル３７ｂ及び床面画像３７ｃを含む医用画像情報３７ａを生成する。そして、生成部３４２は、生成した医用画像情報３７ａを出力制御部３４３へ出力する。
なお、上記の例はあくまで一例であり、実施形態はこれに限定されるものではない。例えば、生成部３４２が床面画像３７ｃを生成する処理は、上記の例に限定されるものではない。例えば、生成部３４２は、動作情報収集部１０や他のセンサから、世界座標系における床面の座標を取得可能な場合には、これを用いて床面の画素を特定しても良い。生成部３４２は、特定した床面の画素のうち、ｘ方向及びｚ方向に１ｍ間隔で平行な線を配置することで、床面画像３７ｃを生成可能である。更に、これに限らず、例えば、生成部３４２は、被検体の足根（関節２ｐ又は関節２ｔ）の位置が一定時間変化しない位置に対応する画素を、床面の画素として特定しても良い。また、例えば、上記の床面画像３７ｃは、必ずしも医用画像情報３７ａに含まれていなくても良い。
出力制御部３４３は、骨格情報と、医用画像情報とを時系列順に含む閲覧用動作情報を出力する。一例としては、出力制御部３４３は、被検体の骨格情報と、生成部３４２によって生成された医用画像情報３７ａとを時系列順に対応付けて、閲覧用動作情報として医用画像保管装置２０に格納する。なお、閲覧用動作情報は、第２動作情報の一例である。
図３８は、第１１の実施形態に係る医用画像保管装置２０に格納される閲覧用動作情報の一例を示す図である。医用画像保管装置２０は、図３８に示すように、氏名ごとに、氏名番号と、実施日と、閲覧用動作情報とが対応付けられた情報を記憶する。ここで、「氏名番号」とは、被検体を一意に特定するための識別子であり、氏名ごとに付与される。「実施日」とは、被検体が歩行訓練を実施した日時を示す。「閲覧用動作情報」とは、出力制御部３４３によって医用画像保管装置２０に格納された情報を示す。
図３８に示すように、医用画像保管装置２０は、氏名「Ａ」、氏名番号「１」、実施日「２０１２０８０１＿１」、閲覧用動作情報「医用画像情報、深度画像情報、音声認識結果、骨格情報」等を記憶する。上記した情報は、氏名番号が「１」である氏名「Ａ」の人物が「２０１２年」の「８月１日」に実施した「１回目」の歩行訓練における動作情報として、「医用画像情報」と、「深度画像情報」と、「音声認識結果」と、「骨格情報」とを含む閲覧用動作情報が記憶されていることを示す。
ここで、図３８に示す閲覧用動作情報において、歩行訓練を実行している際に撮影された全てのフレームごとの「医用画像情報」、「深度画像情報」、「音声認識結果」及び「骨格情報」が時系列順に時間に対応付けて記憶される。
このように、出力制御部３４３は、被検体の骨格情報と、生成部３４２によって生成された医用画像情報３７ａとを時系列順に対応付けて、閲覧用動作情報として医用画像保管装置２０に格納する。なお、これに限らず、出力制御部３４３は、閲覧用動作情報を出力部１１０に表示させても良い。
図３９は、第１１の実施形態に係る動作情報処理装置３００による処理手順を示すフローチャートである。図３９に示すように、取得部３４１は、骨格情報と、カラー画像情報とを含む動作情報を取得する（ステップＳ６０１）。
続いて、生成部３４２は、被検体の個人情報を含まずに被検体の動作を確認可能な医用画像情報を生成する（ステップＳ６０２）。例えば、生成部３４２は、骨格情報に含まれる各関節の位置を用いて、被検体の骨格を視覚的に確認可能な画像情報を、医用画像情報として生成する。
そして、出力制御部３４３は、骨格情報と、医用画像情報とを時系列順に含む閲覧用動作情報を出力する（ステップＳ６０３）。例えば、出力制御部３４３は、被検体の骨格情報と、生成部３４２によって生成された医用画像情報３７ａとを時系列順に対応付けて、閲覧用動作情報として医用画像保管装置２０に格納する。
上述してきたように、第１１の実施形態に係る動作情報処理装置３００は、骨格情報と、カラー画像情報とを含む動作情報を取得する。そして、動作情報処理装置３００は、骨格情報及びカラー画像情報のうち少なくとも一つに基づいて、被検体の個人情報を含まずに被検体の動作を確認可能な医用画像情報を生成する。このため、動作情報処理装置３００は、被検体の個人情報を隠蔽しつつ動作を確認可能な情報を提供することができる。
具体的には、カラー画像情報には被検体の姿が撮影されるため、カラー画像情報を閲覧することで被検体を特定できてしまう。このため、カラー画像情報を医用画像保管装置２０に保管しておくことは、個人情報保護の観点から好ましくない。そこで、第１１の実施形態に係る動作情報処理装置３００は、被検体の姿を含まずに被検体の動作を確認可能な医用画像情報３７ａを生成し、これをカラー画像情報に代えて医用画像保管装置２０に格納する。このため、第１１の実施形態に係る動作情報処理装置３００は、被検体の個人情報を隠蔽しつつ動作を確認可能な情報を提供することができる。これにより、例えば、ある被検体の医用画像情報３７ａが他者に閲覧されても、被検体が特定されないので、動作情報処理装置３００は、被検体の個人情報を保護しつつ臨床上有用な画像情報を提供することができる。具体的には、医師は、ある被検体の医用画像情報３７ａを手本として他の被検体に閲覧させることや、「このリハビリを行うことで、１ヶ月後にはこのように健康になります」などの指標として閲覧させることが可能となる。
また、例えば、第１１の実施形態に係る動作情報処理装置３００は、個人情報保護に配慮した上で医用画像保管装置２０に閲覧用動作情報を格納するので、複数の被検体の閲覧用動作情報を処理することを可能にする。これにより、動作情報処理装置３００は、閲覧用動作情報を統計的に処理することで、例えば、個人ごと、或いは疾病ごとの特徴量をより正確に求めることを可能にする。
また、上述したように、医用画像保管装置２０がインターネットやＬＡＮ等のネットワーク上に設置される場合に、動作情報処理装置３００は、ネットワーク上の医用画像保管装置２０に、被検体の個人情報を保護しつつ臨床上有用な画像情報を格納することができる。これにより、動作情報処理装置３００は、遠隔地の医療機関と情報を共有することができる。例えば、地域連携内の医師や理学療法士の間で共通の対象者の情報を共有したり、遠隔地の医師から助言を得たりすることが可能となる。
（第１１の実施形態の変形例１）
上記の実施形態では、動作情報処理装置３００が、骨格モデル３７ｂを含む医用画像情報３７ａを生成する場合を説明したが、これに限定されるものではない。例えば、動作情報処理装置３００は、カラー画像情報に含まれる被検体の特徴を含む部位の画像を隠蔽した画像情報を、医用画像情報として生成しても良い。ここで、被検体の特徴を含む部位とは、例えば、頭部（顔面）である。以下では、一例として、動作情報処理装置３００が、カラー画像情報に含まれる被検体の頭部の画像を隠蔽した画像情報を生成する場合を説明する。
第１１の実施形態の変形例１に係る動作情報処理装置３００において、生成部３４２は、骨格情報に含まれる頭部の関節の位置を用いて、カラー画像情報に含まれる被検体の頭部の画像の少なくとも一部を隠蔽した画像情報を、医用画像情報として生成する。
図４０は、第１１の実施形態の変形例１に係る生成部３４２の処理を説明するための図である。図４０には、図３７Ａのカラー画像情報及び骨格情報に基づいて生成される医用画像情報４０ａを例示する。
図４０に示すように、生成部３４２は、取得部３４１によって取得された骨格情報に含まれる被検体の頭部の関節の位置を用いて、カラー画像情報に含まれる被検体の頭部の画像を隠蔽する。具体的には、生成部３４２は、骨格情報に含まれる頭部の関節２ａの座標を用いて、カラー画像情報における頭部の中心の画素位置４０ｂを特定する。そして、生成部３４２は、画素位置４０ｂを含む頭部領域４０ｃに含まれる画素の色を所定の色（例えば、グレー）に変更する。この頭部領域４０ｃは、例えば、画素位置４０ｂを中心とする所定の大きさの矩形領域である。そして、生成部３４２は、頭部領域４０ｃに含まれる画素の色を変更したカラー画像情報を、医用画像情報４０ａとして出力制御部３４３に出力する。これにより、出力制御部３４３は、被検体の骨格情報と、生成部３４２によって生成された医用画像情報４０ａとを時系列順に対応付けて、閲覧用動作情報として医用画像保管装置２０に格納する。
このように、第１１の実施形態の変形例１に係る動作情報処理装置３００は、カラー画像情報に含まれる被検体の頭部の画像を隠蔽することで、医用画像情報４０ａを生成する。すなわち、動作情報処理装置３００は、骨格情報及びカラー画像情報のうち少なくとも一つに基づいて、被検体の個人情報を含まずに被検体の動作を確認可能な医用画像情報を生成する。そして、動作情報処理装置３００は、生成した医用画像情報をカラー画像情報に代えて医用画像保管装置２０に格納する。このため、第１１の実施形態に係る動作情報処理装置３００は、被検体の個人情報を隠蔽しつつ動作を確認可能な情報を提供することができる。
なお、頭部領域４０ｃの大きさは、動作情報処理装置３００の操作者の任意の大きさに変更可能である。また、頭部領域４０ｃの大きさは、関節２ａのｚ座標の値の大きさに応じて変更されても良い。この場合、例えば、動作情報処理装置３００は、関節２ａのｚ座標の値が大きければ（被検体が遠くにいれば）、頭部領域４０ｃを小さく設定し、関節２ａのｚ座標の値が小さければ（被検体が近くにいれば）、頭部領域４０ｃを大きく設定する。また、頭部領域４０ｃの大きさは、頭部の全てを隠蔽することが好ましいが、これに限定されるものではなく、例えば、目の位置だけを隠蔽する大きさであっても良い。また、頭部領域４０ｃの形は、必ずしも矩形でなくても良い。例えば、頭部領域４０ｃの形は、円形であっても良いし、関節２ａを中心とする顔認識技術によって顔の輪郭を特定し、特定した輪郭に対応する範囲を頭部領域４０ｃとしても良い。
また、ここでは、被検体の特徴を含む部位の一例として、頭部の画像を隠蔽した画像情報を生成する場合を説明したが、実施形態はこれに限定されるものではない。例えば、動作情報処理装置３００は、被検体の特徴を含む部位として、身体的な骨格形状の特徴を検出し、これを隠蔽しても良い。身体的な骨格形状の特徴とは、例えば、腕の欠失等である。例えば、動作情報処理装置３００は、左腕を欠失した被検体であれば、左腕に相当する位置を隠蔽することで、被検体の特徴を含む部位を隠蔽した画像情報を生成する。例えば、生成部３４２は、被検体の骨格情報を参照し、全ての関節２ａ〜２ｔの位置情報があるか否かを判定する。ここで、例えば、左腕の関節２ｊ，２ｋ，２ｌが無い場合には、生成部３４２は、被検体の関節２ｊ，２ｋ，２ｌの位置を推定する。一例としては、生成部３４２は、体の中心線（関節２ｂと２ｃを通る線）を挟んで右腕の関節２ｆ，２ｇ，２ｈと対象の位置を、それぞれ関節２ｊ，２ｋ，２ｌの位置として推定する。そして、生成部３４２は、推定した左腕の関節２ｊ，２ｋ，２ｌを含む領域（例えば矩形領域）に含まれる画素の色を所定の色に変更する。これにより、生成部３４２は、被検体の左腕に相当する位置を隠蔽した画像情報を生成する。
また、例えば、動作情報処理装置３００は、被検体の特徴を含む部位として、被検体の肌上に見られる特徴を検出し、これを隠蔽しても良い。肌上に見られる特徴とは、例えば、傷跡（外傷によるもの）等である。例えば、動作情報処理装置３００は、左腕に傷跡がある被検体であれば、左腕に相当する位置を隠蔽することで、被検体の特徴を含む部位を隠蔽した画像情報を生成する。例えば、生成部３４２は、カラー画像情報のうち、被検体の骨格情報に対応する位置を含む領域について、画素ヒストグラムを生成する。そして、生成部３は、肌色に対応する輝度ヒストグラムからピークが検出された場合に、このピークに対応する位置を含む領域の画素の色を所定の色に変更する。これは、通常の肌であれば一様な輝度ヒストグラムが得られるのに対して、この輝度ヒストグラムからピークが検出される場合には、傷跡等の肌上の特徴を有すると考えられる空である。これにより、生成部３４２は、被検体の左腕に相当する位置を隠蔽した画像情報を生成する。
また、例えば、動作情報処理装置３００は、上記の例に限らず、操作者から指定された領域を隠蔽した画像情報を生成しても良い。一例としては、生成部３４２は、マウス等の入力部１２０を介して操作者から領域の指定を受け付ける。そして、生成部３４２は、受け付けた領域を隠蔽した画像情報を生成する。
また、第１１の実施形態の変形例１に係る生成部３４２は、医用画像情報として、上述した床面画像３７ｃを含む画像情報を生成しても良い。例えば、生成部３４２は、上述したように、床面画像３７ｃを生成し、生成した床面画像３７ｃを医用画像情報４０ａに重畳させた画像情報を生成可能である。
（第１１の実施形態の変形例２）
また、カラー画像情報には、被検体以外にも、公開されるべきでない被写体が含まれる場合がある。例えば、カラー画像情報には、被検体のリハビリを介助する介助者の顔や、公開されるべきでない掲示物等が含まれる場合がある。そこで、動作情報処理装置３００は、上記の第１１の実施形態の変型例１に加えて、カラー画像情報に含まれる被検体以外が撮影された領域を隠蔽した画像情報を、医用画像情報として生成しても良い。
第１１の実施形態の変形例２に係る動作情報処理装置３００において、生成部３４２は、更に、骨格情報に含まれる各関節の位置を用いて、カラー画像情報に含まれる被検体以外が撮影された画像の少なくとも一部を隠蔽した画像情報を、医用画像情報として生成する。
図４１は、第１１の実施形態の変形例２に係る生成部３４２の処理を説明するための図である。図４１には、図４０の医用画像情報４０ａに基づいて生成される医用画像情報４１ａを例示する。
図４１に示すように、生成部３４２は、更に、骨格情報に含まれる各関節の位置を用いて、カラー画像情報に含まれる被検体以外が撮影された画像を隠蔽する。具体的には、生成部３４２は、骨格情報に含まれる各関節の位置を用いて、被検体を含む被検体領域４１ｂを特定する。より具体的には、生成部３４２は、被検体の各関節のｘ座標のうち、最も大きい値であるｘ座標の関節を特定し、特定した関節のｘ座標の値に所定値を加算した値の座標を通る線を、被検体領域４１ｂの右辺として決定する。また、生成部３４２は、被検体の各関節のｘ座標のうち、最も小さい値であるｘ座標の関節を特定し、特定した関節のｘ座標の値から所定値を加算した値の座標を通る線を、被検体領域４１ｂの左辺として決定する。また、生成部３４２は、被検体の各関節のｙ座標のうち、最も大きい値であるｙ座標の関節を特定し、特定した関節のｙ座標の値に所定値を加算した値の座標を通る線を、被検体領域４１ｂの上辺として決定する。また、生成部３４２は、被検体の各関節のｘ座標のうち、最も小さい値であるｘ座標の関節を特定し、特定した関節のｘ座標の値から所定値を加算した値の座標を通る線を、被検体領域４１ｂの左辺として決定する。そして、生成部３４２は、特定した被検体領域４１ｂの外側の画素の色を所定の色（例えば、グレー）に変更する。そして、生成部３４２は、被検体領域４１ｂの外側の画素の色を変更したカラー画像情報を、医用画像情報４１ａとして出力制御部３４３に出力する。これにより、出力制御部３４３は、被検体の骨格情報と、生成部３４２によって生成された医用画像情報４１ａとを時系列順に対応付けて、閲覧用動作情報として医用画像保管装置２０に格納する。
このように、第１１の実施形態の変形例２に係る動作情報処理装置３００は、被検体以外が撮影された領域を隠蔽することで、医用画像情報４１ａを生成し、これをカラー画像情報に代えて医用画像保管装置２０に格納する。このため、第１の実施形態に係る動作情報処理装置３００は、被検体以外にも公開されるべきでない被写体を隠蔽しつつ、被検体の動作を確認可能な情報を提供することができる。例えば、動作情報処理装置３００は、被検体のリハビリを介助する介助者の顔や、公開されるべきでない掲示物等についても隠蔽することができる。
なお、被検体領域４１ｂの大きさは、動作情報処理装置３００の操作者の任意の大きさに変更可能である。また、被検体領域４１ｂの形は、必ずしも矩形でなくても良い。例えば、被検体領域４１ｂの形は、楕円形であっても良い。
また、第１１の実施形態の変形例２に係る生成部３４２は、医用画像情報として、上述した床面画像３７ｃを含む画像情報を生成しても良い。例えば、生成部３４２は、上述したように、床面画像３７ｃを生成し、生成した床面画像３７ｃを医用画像情報４１ａに重畳させた画像情報を生成可能である。
（第１１の実施形態の変形例３）
更に、実施形態は、上記の実施形態に限定されるものではなく、例えば、動作情報処理装置３００は、被検体の領域のみを表す画像情報を、医用画像情報として生成しても良い。
第１１の実施形態の変形例３に係る動作情報処理装置３００において、取得部３４１は、撮影範囲に含まれる各画素と、その画素の深度とが対応付けられた深度画像情報を時系列順に更に含む動作情報を取得する。例えば、取得部３４１は、動作情報収集部１０及び動作情報処理装置３００に電源が投入され、１フレームの深度画像情報が動作情報記憶部３３１に格納されるごとに、格納された深度画像情報を動作情報記憶部３３１から取得する。
第１１の実施形態の変形例３に係る動作情報処理装置３００において、生成部３４２は、処理対象となる時点の深度画像情報と、その深度画像情報とは異なる時点の深度画像情報とに基づいて、処理対象となる時点の深度画像情報から被検体の領域を表す画像情報を、医用画像情報として生成する。
図４２は、第１１の実施形態の変形例３に係る生成部３４２の処理を説明するための図である。図４２には、フレームＴの深度画像４２ａ、フレームＴ−１の深度画像４２ｂ及び２値化画像４２ｃを例示する。フレームＴの深度画像４２ａ及びフレームＴ−１の深度画像４２ｂにおいて、実線は、各フレームにおける被検体の位置を表す。また、フレームＴの深度画像４２ａにおいて、破線は、フレームＴ−１における被検体の位置を表す。すなわち、フレームＴの深度画像４２ａは、被検体が破線の位置から実線の位置に移動したことを表す。なお、２値化画像４２ｃにおける「画素位置Ｘ」及び「画素位置Ｙ」は、距離画像座標系の「画素位置Ｘ」及び「画素位置Ｙ」に対応する。また、破線は説明の便宜上、フレームＴ−１における被検体の位置を示すものであり、フレームＴの深度画像４２ａにおいてフレームＴ−１における被検体の位置は表示されない。
図４２に示すように、生成部３４２は、取得部３４１によってフレームＴの深度画像４２ａが取得されると、フレームＴの深度画像４２ａの深度からフレームＴ−１の深度画像４２ｂの深度を画素ごとに減算する。そして、生成部３４２は、減算した値が閾値以上である画素を白とし、閾値未満である画素を黒とする２値化を行うことで、フレームＴの２値化画像４２ｃを生成する。この２値化画像４２ｃにおいて、黒い画素の領域は、フレームＴ−１からフレームＴの間に深度方向に閾値より動きのないもの、例えば、床面や壁、机、椅子等の物体の位置を表す。また、白い画素の領域は、フレームＴ−１からフレームＴの間に深度方向に閾値以上に動きのあるもの、例えば、撮影された人物（被写体）の位置を表す。すなわち、生成部３４２は、動きのないものと動きのあるものとをそれぞれ識別することで、歩行動作を行う被検体の位置を表す被検体領域４２ｄを抽出する。そして、生成部３４２は、被検体領域４２ｄを抽出した２値化画像４２ｃを、医用画像情報として出力制御部３４３に出力する。これにより、出力制御部３４３は、被検体の骨格情報と、生成部３４２によって生成された医用画像情報とを時系列順に対応付けて、閲覧用動作情報として医用画像保管装置２０に格納する。
このように、第１１の実施形態の変形例３に係る動作情報処理装置３００は、被検体の領域のみを表す画像情報を、医用画像情報として生成し、これをカラー画像情報に代えて医用画像保管装置２０に格納する。このため、第１の実施形態に係る動作情報処理装置３００は、被検体の個人情報を隠蔽しつつ動作を確認可能な情報を提供することができる。
なお、上記の生成部３４２の処理は、あくまでも一例であり、これに限定されるものではない。例えば、上記の説明では、生成部３４２が時系列順で隣り合うフレームの深度画像情報を用いて被検体領域を抽出したが、これに限定されるものではない。例えば、生成部３４２は、時系列順で数フレーム離れたフレームの深度画像情報について、画素ごとに深度の差分を算出し、算出した差分が閾値以上である画素の領域を被検体領域として抽出しても良い。また、例えば、生成部３４２は、人がいない時の深度画像情報を基準とし、フレームＴの深度画像情報と基準の深度画像情報とについて、画素ごとに深度の差分を算出し、算出した差分が閾値以上である画素の領域を被検体領域として抽出しても良い。
また、第１１の実施形態の変形例３に係る生成部３４２は、医用画像情報として、上述した床面画像３７ｃを含む画像情報を生成しても良い。例えば、生成部３４２は、上述したように、床面画像３７ｃを生成し、生成した床面画像３７ｃを２値化画像４２ｃに重畳させた画像情報を生成可能である。
（第１２の実施形態）
上記の実施形態では、動作情報処理装置３００が、閲覧用動作情報を医用画像保管装置２０に格納する場合に、被検体の個人情報を隠蔽する場合を説明したが、これに限定されるものではない。例えば、ワークステーション３０において被検体に手本として他の被検体の閲覧用動作情報を閲覧させる場合に、手本となる閲覧用動作情報の動作に基づいて被検体自身の画像を表示しても良い。これにより、被検体は、あたかも被検体自身が手本となる動作を行っている画像を閲覧することができる。
第１２の実施形態に係る医用情報処理システム１は、図３５に示した医用情報処理システム１と同様の構成を有し、ワークステーション３０における処理が一部相違する。そこで、第１２の実施形態では、第１１の実施形態と相違する点を中心に説明することとし、第１１の実施形態において説明した構成と同様の機能を有する点については、図３５と同一の符号を付し、説明を省略する。
図４３は、第１２の実施形態に係るワークステーション３０の詳細な構成例を示すブロック図である。図４３に示すように、ワークステーション３０は、表示用情報記憶部３１と、表示制御部３２とを有する。
表示用情報記憶部３１は、被検体を表す被検体画像情報と、その被検体画像情報における被検体の各関節の位置とが対応付けられた表示用情報を記憶する。
図４４は、表示用情報記憶部３１に記憶される情報の一例を示す図である。図４４では、被検体が高齢女性である場合を説明する。この場合、表示用情報記憶部３１は、被検体本人の画像情報と、その被検体の各関節２ａ〜２ｔの位置とが対応付けられた情報を、表示用情報４４ａとして記憶する。すなわち、表示用情報記憶部３１は、被検体の各関節の位置と、被検体の画像情報に含まれる各画素位置との位置関係を記憶する。
なお、図４４に示す例では、説明の便宜上、高齢女性のキャラクターを被検体画像情報として含む表示用情報４４ａを例示したが、実施形態はこれに限定されるものではない。例えば、表示用情報記憶部３１には、０〜９歳、１０〜１９歳、２０〜２９歳等、所定の年代ごとに男性及び女性のキャラクターを被検体画像情報として用意しておき、被検体の年代及び性別に応じて選択可能な形式で提供されても良い。更に、これに限らず、表示用情報記憶部３１は、被検体本人の写真を被検体画像情報として含む表示用情報４４ａを記憶しても良い。
表示制御部３２は、医用画像保管装置２０から閲覧用動作情報を取得する。そして、表示制御部３２は、表示用情報に含まれる各関節の位置に基づいて、閲覧用動作情報に含まれる医用画像情報に被検体の画像情報をマッピングすることで、閲覧用動作情報の動作に基づいて被検体の画像を表示する表示制御を行う。
図４５は、第２の実施形態に係る表示制御部３２の処理を説明するための図である。図４５には、ワークステーション３０において被検体に閲覧される表示画像４５ａを例示する。図４５では、一例として、図４４の表示用情報４４ａに含まれる各画素を、図３７Ｂの医用画像情報３７ａにマッピングする場合を説明する。
図４５に示すように、例えば、表示制御部３２は、医用画像保管装置２０から閲覧用動作情報を取得する。この閲覧用動作情報は、図３７Ｂの医用画像情報３７ａを含む。そして、表示制御部３２は、表示用情報記憶部３１に記憶された表示用情報４４ａに含まれる各関節の位置に基づいて、被検体の画像情報を医用画像情報３７ａにマッピングする。具体的には、表示制御部３２は、表示用情報４４ａに含まれる各画素を、各画素の画素位置と各関節の位置との位置関係に基づいて、医用画像情報３７ａに配置する。より具体的には、例えは、表示制御部３２は、表示用情報４４ａの関節２ａの位置にある画素を、医用画像情報３７ａの頭部の関節２ａの位置に配置する。また、例えば、表示用情報４４ａの髪の毛の位置の画素は、その画素と頭部の関節２ａの位置との位置関係（Ｘ方向の距離ΔＸ及びＹ方向の距離ΔＹ）を用いて、医用画像情報３７ａの頭部の位置からΔＸ及びΔＹの位置に配置する。これにより、表示制御部３２は、高齢女性の表示用画像４４ａを医用画像情報３７ａの姿勢で表示する表示画像４５ａを生成する。また、表示制御部３２は、第１の実施形態に係る生成部３４２と同様の処理により、床面画像を生成し、生成した床面画像を表示画像４５ａに重畳させる。そして、表示制御部３２は、床面画像を重畳した表示画像４５ａを時系列順に表示することで、高齢女性が医用画像情報３７ａの動きを行っているかのような動画を表示する。なお、表示制御部３２は、必ずしも床面画像を生成しなくても良い。
このように、第１２の実施形態に係るワークステーション３０は、被検体の画像情報を、他の被検体の閲覧用動作情報の動作に基づいて表示する。このため、ワークステーション３０は、被検体に対して、あたかも被検体自身が他の被検体の動作を行っているかのような画像を表示することができる。これにより、被検体は、他者のリハビリの動作をあたかも自分が行っているかのように見えるので、例えば、リハビリ開始から１ヶ月後の自分、健康になったときの自分を具体的にイメージすることが容易になる。この結果、動作情報処理装置３００は、リハビリを行う被検体のモチベーションを向上させることができる。
なお、第１２の実施形態では、表示制御部３２が図３７Ｂの医用画像情報３７ａに基づいて表示用画像４４ａを表示する場合を説明したが、実施形態はこれに限定されるものではない。例えば、表示制御部３２は、図４０の医用画像情報４０ａに基づいて表示用画像４４ａを表示しても良いし、図４２の２値化画像４２ｃに基づいて表示用画像４４ａを表示しても良い。また、表示制御部３２は、例えば、動作情報処理装置３００から動作情報を取得して、カラー画像情報及び骨格情報に基づいて、表示用画像４４ａを表示しても良い。この場合、表示制御部３２は、生成部３４２の処理を行った後に、上記の表示制御部３２の処理を行うこととなる。
以上説明したとおり、第１１〜第１２の実施形態によれば、本実施形態の動作情報処理装置は、被検体の個人情報を隠蔽しつつ動作を確認可能な情報を提供することができる。
（第１３の実施形態）
上述してきたように、第１〜第６の実施形態では、所定の動作を実施する者以外を誤認識することを抑止することを可能にする場合について説明した。また、第７〜第１０の実施形態では、デジタル的に記録された人物の動きが、リハビリテーションの対象となる者のものであるか否かを判定する場合について説明した。また、第１１〜第１２の実施形態では、デジタル的に記録された人物の動きが、被検体の個人情報を隠蔽しつつ動作を確認可能な情報を提供する場合について説明した。ここで、上記の各処理は、一連の処理として実行することができる。そこで、第１３の実施形態では、上記の各処理を一連の処理として実行する場合について説明する。これにより、第１３の実施形態に係る動作情報処理装置４００は、リハビリ対象者の動作情報を確実に判定して、更に、そのリハビリ対象者の個人情報を隠蔽することができる。なお、第１３の実施形態においては、所定の動作を実施する者を「対象者」として説明し、リハビリテーションの対象となる者を「リハビリ対象者」として説明する。
図４６は、第１３の実施形態に係る動作情報処理装置４００の構成例を示すブロック図である。図４６に示すように、動作情報処理装置４００は、コンピュータ、ワークステーション等の情報処理装置であり、出力部１１０と、入力部１２０と、記憶部４３０と、制御部４４０とを有する。なお、出力部１１０及び入力部１２０は、第１の実施形態において説明した出力部１１０及び入力部１２０とそれぞれ同様であるので、説明を省略する。
記憶部４３０は、図１９に示した記憶部２３０と同様の構成を有する。すなわち、記憶部４３０は、動作情報記憶部４３１と、対象者動作特徴記憶部４３２と、介助者動作特徴記憶部４３３と、対象者画像特徴記憶部４３４と、介助者画像特徴記憶部４３５と、評価情報記憶部４３６とを有する。なお、第１３の実施形態において、動作情報記憶部４３１、対象者動作特徴記憶部４３２、介助者動作特徴記憶部４３３、対象者画像特徴記憶部４３４、介助者画像特徴記憶部４３５、及び評価情報記憶部４３６は、図１９に示した動作情報記憶部２３１、対象者動作特徴記憶部２３２、介助者動作特徴記憶部２３３、対象者画像特徴記憶部２３４、介助者画像特徴記憶部２３５、及び評価情報記憶部２３６と、それぞれ同様であるので、説明を省略する。
制御部４４０は、取得部４４１と、特定部４４２と、第１生成部４４３と、判定部４４４と、第２生成部４４５と、出力制御部４４６とを有する。
取得部４４１は、図４に示した取得部１４１と同様の機能を有する。例えば、取得部４４１は、動作情報記憶部４３１によって記憶された動作情報を取得する。なお、取得部４４１は、必ずしも、カラー画像情報、距離画像情報、音声認識結果及び骨格情報の全てを含む動作情報を取得しなくても良い。例えば、取得部４４１は、必要に応じて、カラー画像情報、距離画像情報、音声認識結果及び骨格情報のうち少なくとも一つを適宜取得して良い。
特定部４４２は、図４に示した特定部１４２と同様の機能を有する。例えば、特定部４４２は、取得部４４１によって取得された画像情報における所定の特徴に基づいて、所定の動作を実施する対象者の動作情報を特定する。
第１生成部４４３は、図１９に示した生成部２４２と同様の機能を有する。例えば、第１生成部４４３は、特定部４４２によって特定された動作情報から、リハビリテーションを評価するための評価情報を生成する。
判定部４４４は、図１９に示した判定部２４３と同様の機能を有する。例えば、判定部４４４は、リハビリテーションの対象となるリハビリ対象者の特徴を表す情報を用いて、特定部４４２によって特定された動作情報に対応する対象者がリハビリ対象者であるか否かを判定する。
第２生成部４４５は、図３６に示した生成部３４２と同様の機能を有する。例えば、第２生成部４４５は、特定部４４２によって特定された動作情報に時系列順に含まれる、対象者の人体の骨格を示す骨格情報、及び、対象者が撮影されたカラー画像情報のうち少なくとも一つに基づいて、対象者の個人情報を含まずに対象者の動作を確認可能な医用画像情報を生成する。また、例えば、第２生成部４４５は、判定部によって対象者であると判定された動作情報に時系列順に含まれる骨格情報及びカラー画像情報のうち少なくとも一つに基づいて、対象者の医用画像情報を生成する。
出力制御部４４６は、図４に示した表示制御部１４３の機能と、図１９に示した格納部２４４の機能と、図３６に示した出力制御部３４３の機能とを有する。そして、出力制御部４４６は、適宜出力制御を行う。
例えば、出力制御部４４６は、特定部４４２によって対象者の動作情報が特定された場合には、画像情報において、特定部４４２によって特定された動作情報に対応する位置に対象者を示す情報を重畳させた表示画像を表示させるように制御する。
また、例えば、出力制御部４４６は、判定部４４４によって判定が行われた場合には、判定部１４３によって判定された判定結果を出力する。具体的には、出力制御部４４６は、第１生成部４４３によって生成された評価情報と、判定部４４４によって判定された判定結果とを対応づけて、評価情報記憶部４３６に格納する。
また、例えば、出力制御部４４６は、第２生成部４４５によって医用画像情報が生成された場合には、骨格情報と、医用画像情報とを時系列順に含む閲覧用動作情報を出力する。一例としては、出力制御部４４６は、被検体の骨格情報と、第２生成部４４５によって生成された医用画像情報とを時系列順に対応付けて、閲覧用動作情報として医用画像保管装置２０に格納する。
図４７は、第１３の実施形態に係る動作情報処理装置４００による処理の手順を示すフローチャートである。図４７に示すように、第１３の実施形態に係る動作情報処理装置４００においては、取得部４４１が、動作情報を取得する（ステップＳ７０１）。例えば、取得部４４１は、動作情報として、カラー画像情報及び骨格情報を取得する。
続いて、特定部４４２は、対象者特定処理を行う（ステップＳ７０２）。この対象者特定処理は、図９に示したステップＳ１０３〜Ｓ１０５の処理に対応する。すなわち、特定部４４２は、対象者特定処理を行うことで、対象者の動作情報を特定する。
続いて、第１生成部４４３及び判定部４４４は、対象者判定処理を行う（ステップＳ７０３）。この対象者判定処理は、図２７に示したステップＳ３０３及びステップＳ３０４の処理に対応する。すなわち、第１生成部４４３は、特定部４４２によって特定された動作情報から、リハビリテーションを評価するための評価情報を生成する。そして、判定部４４４は、リハビリテーションの対象となるリハビリ対象者の特徴を表す情報を用いて、特定部４４２によって特定された動作情報に対応する対象者がリハビリ対象者であるか否かを判定する。
そして、第２生成部４４５は、医用画像情報生成処理を行う（ステップＳ７０４）。この医用画像情報生成処理は、図３９に示したステップＳ６０２の処理に対応する。すなわち、第２生成部４４５は、判定部によって対象者であると判定された動作情報に時系列順に含まれる骨格情報及びカラー画像情報のうち少なくとも一つに基づいて、対象者の医用画像情報を生成する。
その後、出力制御部４４６は、出力制御を行う（ステップＳ７０５）。例えば、出力制御部４４６は、骨格情報と、医用画像情報とを時系列順に含む閲覧用動作情報を出力する。
なお、図４７に示した処理手順は、必ずしも上記の例に限定されるものではない。例えば、上記の例では、動作情報処理装置４００が動作情報を取得した後に、対象者特定処理と、対象者判定処理と、医用画像情報生成処理とを一連の処理として連続的に実行する場合を説明したが、実施形態はこれに限定されるものではない。すなわち、対象者特定処理、対象者判定処理、及び医用画像情報生成処理の各処理は、各処理が行われた段階で出力制御部４４６が必要な情報を適宜記憶部４３０に格納することで、各処理を終了しても良いし、各処理を行う段階で取得部４４１が必要な情報を適宜記憶部４３０から取得することで、各処理を開始しても良い。
また、例えば、対象者特定処理、対象者判定処理、及び医用画像情報生成処理の各処理は、必ずしも上記の順序で実行されなくても良い。すなわち、医用画像情報生成処理、対象者判定処理、対象者特定処理の順序で実行されても良い。
また、例えば、対象者特定処理、対象者判定処理、及び医用画像情報生成処理の各処理は、必ずしも実行されなくても良い。具体的には、動作情報処理装置４００は、対象者特定処理を実行した後に、対象者判定処理又は医用画像情報生成処理を実行し、処理後の情報を適宜出力しても良い。また、動作情報処理装置４００は、対象者判定処理及び医用画像情報生成処理を順に実行した後に、処理後の情報を適宜出力しても良い。
上述してきたように、第１３の実施形態に係る動作情報処理装置４００は、対象者特定処理、対象者判定処理、及び医用画像情報生成処理の各処理を一連の処理として実行する。このため、第１３の実施形態に係る動作情報処理装置４００は、リハビリ対象者の動作情報を確実に判定して、更に、そのリハビリ対象者の個人情報を隠蔽することができる。
（その他の実施形態）
さて、これまで第１〜第１３の実施形態について説明したが、上述した実施形態以外にも、種々の異なる形態にて実施されて良いものである。
（サービス提供装置への適用）
上述した第１〜第１３の実施形態では、動作情報処理装置が、リハビリを実行する対象者の動作情報（骨格情報）を特定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、各処理がネットワーク上のサービス提供装置によって実行される場合であってもよい。
図４８は、サービス提供装置に適用される場合の一例を説明するための図である。図４８に示すように、サービス提供装置５００は、サービスセンタ内に配置され、例えば、ネットワーク５を介して、医療機関や、自宅、職場に配置される端末装置６００とそれぞれ接続される。医療機関、自宅及び職場に配置された端末装置６００は、動作情報収集部１０がそれぞれ接続される。そして、各端末装置６００は、サービス提供装置５００によって提供されるサービスを利用するクライアント機能を備える。
例えば、サービス提供装置５００は、図４において説明した動作情報処理装置１００と同様の処理をサービスとして端末装置６００に提供する。すなわち、サービス提供装置５００は、取得部１４１と、特定部１４２と同様の機能部を有する。そして、取得部１４１と同様の機能部は、所定の動作を実施する対象者及び当該対象者の周囲の画像情報を取得する。そして、特定部１４２と同様の機能部は、取得部１４１と同様の機能部によって取得された画像情報における所定の特徴に基づいて、前記所定の動作を実施する対象者の動作情報を特定する。なお、ネットワーク５には、有線又は無線を問わず、インターネット（Internet）、ＷＡＮ（Wide Area Network）などの任意の種類の通信網を採用できる。
また、例えば、サービス提供装置５００は、図１９において説明した動作情報処理装置２００と同様の機能を有し、当該機能によって端末装置６００にサービスとして提供する。すなわち、サービス提供装置５００は、取得部２４１と、判定部２４３と同様の機能部を有する。そして、取得部２４１と同様の機能部は、人物の動作を表す動作情報を取得する。そして、判定部２４３と同様の機能部は、リハビリテーションの対象となる対象者の特徴を表す情報を用いて、取得部２４１と同様の機能部によって取得された動作情報に対応する人物が対象者であるか否かを判定する。このようなことから、サービス提供装置５００は、デジタル的に記録された人物の動きが、リハビリテーションの対象となる対象者のものであるか否かを判定することができる。
また、例えば、サービス提供装置５００は、図３６において説明した動作情報処理装置３００と同様の機能を有し、当該機能によって端末装置６００にサービスとして提供する。すなわち、サービス提供装置５００は、取得部３４１と、生成部３４２と、出力制御部３４３とそれぞれ同様の機能部を有する。そして、取得部３４１と同様の機能部は、被検体の骨格に含まれる各関節の位置を表す骨格情報と、その被検体が撮影された撮影画像情報とを時系列順に含む動作情報を取得する。そして、生成部３４２と同様の機能部は、骨格情報及び撮影画像情報のうち少なくとも一つに基づいて、被検体の個人情報を含まずに被検体の動作を確認可能な医用画像情報を生成する。
例えば、サービス提供装置５００は、端末装置６００から処理の対象となる動作情報のフレーム群のアップロードを受け付ける。そして、サービス提供装置５００は、上記の処理を行って閲覧用動作情報を生成する。そして、サービス提供装置５００は、閲覧用動作情報を端末装置６００にダウンロードさせる。そして、端末装置６００は、ダウンロードした閲覧用動作情報を医用画像保管装置２０に格納する。
また、例えば、サービス提供装置５００は、図４６において説明した動作情報処理装置４００と同様の機能を有し、当該機能によって端末装置６００にサービスとして提供する。すなわち、サービス提供装置５００は、取得部４４１と、特定部４４２と、第１生成部４４３と、判定部４４４と、第２生成部４４５と、出力制御部４４６とそれぞれ同様の機能部を有する。そして、取得部４４１と同様の機能部は、所定の動作を実施する対象者及び当該対象者の周囲の画像情報を取得する。そして、特定部４４２と同様の機能部は、取得部４４１と同様の機能部によって取得された画像情報における所定の特徴に基づいて、前記所定の動作を実施する対象者の動作情報を特定する。そして、判定部４４４と同様の機能部は、リハビリテーションの対象となる対象者の特徴を表す情報を用いて、特定部４４２と同様の機能部によって特定された動作情報に対応する人物が対象者であるか否かを判定する。そして、第２生成部４４５と同様の機能部は、骨格情報及び撮影画像情報のうち少なくとも一つに基づいて、被検体の個人情報を含まずに被検体の動作を確認可能な医用画像情報を生成する。そして、出力制御部４４６と同様の機能部は、骨格情報と、医用画像情報とを時系列順に含む閲覧用動作情報を出力する。
また、上述した第１〜第６の実施形態における動作情報処理装置１００の構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。例えば、動作情報記憶部１３１と認識情報記憶部１３２とを統合したり、特定部１４２を、関節間の距離などを算出する算出部と算出された値を閾値と比較する比較部とに分離したりすることが可能である。
また、上述した第７〜第１０の実施形態における動作情報処理装置２００の構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。例えば、対象者動作特徴記憶部２３２と介助者動作特徴記憶部２３３とを統合したり、判定部２４３を記憶部２３０から判定処理を行うための条件を抽出する処理部と、動作情報を用いて判定する処理部とに分離したりすることが可能である。
また、第１１〜第１２の実施形態における動作情報処理装置３００の構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。例えば、取得部３４１及び生成部３４２を統合することが可能である。
また、第７〜第１０の実施形態において説明した取得部２４１及び判定部２４３の機能は、ソフトウェアによって実現することもできる。例えば、取得部２４１及び判定部２４３の機能は、上記の実施形態において取得部２４１及び判定部２４３が行うものとして説明した処理の手順を規定した医用情報処理プログラムをコンピュータに実行させることで、実現される。この医用情報処理プログラムは、例えば、ハードディスクや半導体メモリ素子等に記憶され、ＣＰＵやＭＰＵ等のプロセッサによって読み出されて実行される。また、この医用情報処理プログラムは、ＣＤ−ＲＯＭ（Compact Disc − Read Only Memory）やＭＯ（Magnetic Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータ読取り可能な記録媒体に記録されて、配布され得る。
また、第１１〜第１２の実施形態において説明した取得部３４１及び生成部３４２の機能は、ソフトウェアによって実現することもできる。例えば、取得部３４１及び生成部３４２の機能は、上記の実施形態において取得部３４１及び生成部３４２が行うものとして説明した処理の手順を規定した医用情報処理プログラムをコンピュータに実行させることで、実現される。この医用情報処理プログラムは、例えば、ハードディスクや半導体メモリ素子等に記憶され、ＣＰＵやＭＰＵ等のプロセッサによって読み出されて実行される。また、この医用情報処理プログラムは、ＣＤ−ＲＯＭ（Compact Disc − Read Only Memory）やＭＯ（Magnetic Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読取り可能な記録媒体に記録されて、配布され得る。
なお、上述した第１の実施形態〜第９の実施形態で示したリハビリのルール情報や、推奨介助状態などは、日本整形外科学会などで規定されたものだけでなく、その他種々の団体によって規定されたものを用いる場合であってもよい。例えば、「International Society of Orthopaedic Surgery and Traumatology（SICOT）：国際整形外科学会」、「American Academy of Orthopaedic Surgeons(AAOS)：米国整形外科学会」、「European Orthopaedic Research Society（EORS）：欧州整形外科学研究会」、「International Society of Physical and Rehabilitation Medicine (ISPRM) ：国際リハビリテーション医学会」、「American Academy of Physical Medicine and Rehabilitation(AAPM&R)：米国物理療法リハビリテーション学会」などによって規定された各種規則やルールを用いる場合であってもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１００，２００，３００，４００ 動作情報処理装置
１４０，２４０，３４０，４４０ 制御部
１４１，２４１，３４１，４４１ 取得部
１４２，４４２ 特定部

Claims (16)

  1. 所定の動作を実施する対象者及び当該対象者の周囲の画像情報を取得する取得部と、
    所定の特徴として、前記対象者が前記所定の動作を実施する前の画像情報に基づいて、前記取得部により取得された画像情報から前記所定の動作を実施する対象者の動作情報を特定する特定部と、
    リハビリテーションの対象となるリハビリテーション対象者の特徴を表す情報を用いて、前記特定部によって特定された動作情報に対応する対象者が前記リハビリテーション対象者であるか否かを判定する判定部と、
    前記判定部によって判定された判定結果を出力する出力制御部と
    を備える、動作情報処理装置。
  2. 前記リハビリテーション対象者の特徴を表す情報として、当該リハビリテーション対象者の動作の特徴を表す対象者動作特徴情報を記憶する対象者動作特徴記憶部を更に備え、
    前記判定部は、前記対象者動作特徴記憶部を参照し、前記特定部によって特定された動作情報に対応する対象者が前記リハビリテーション対象者であるか否かを判定する、請求項１に記載の動作情報処理装置。
  3. 前記リハビリテーション対象者を介助する介助者の動作の特徴を表す介助者動作特徴情報を記憶する介助者動作特徴記憶部を更に備え、
    前記判定部は、更に、前記介助者動作特徴記憶部を参照し、前記特定部によって特定された動作情報に対応する対象者が前記介助者であるか否かを判定する、請求項１又は２に記載の動作情報処理装置。
  4. 前記特定部によって特定された動作情報から、前記リハビリテーションを評価するための評価情報を生成する生成部を更に備え、
    前記出力制御部は、前記生成部によって生成された評価情報と、前記判定部によって判定された判定結果とを対応づけて所定の記憶部に格納する、請求項１に記載の動作情報処理装置。
  5. 前記出力制御部は、前記判定部によって判定された判定結果を確認させるための画面を所定の表示部に表示させ、当該判定結果が確認されると、当該判定結果と、前記生成部によって生成された評価情報とを対応づけて前記所定の記憶部に格納する、請求項４に記載の動作情報処理装置。
  6. 前記リハビリテーション対象者の身体的な特徴または前記リハビリテーション対象者の付随物の特徴を表す対象者特徴情報を記憶する対象者特徴記憶部を更に備え、
    前記取得部は、更に、人物が撮影された人物画像を取得し、
    前記判定部は、更に、前記対象者特徴記憶部を参照し、前記取得部によって取得された人物画像中の人物が前記リハビリテーション対象者であるか否かを判定する、請求項１に記載の動作情報処理装置。
  7. 前記介助者の身体的な特徴または介助者の付随物の特徴を表す介助者特徴情報を記憶する介助者特徴記憶部を更に備え、
    前記取得部は、更に、人物が撮影された人物画像を取得し、
    前記判定部は、更に、前記介助者特徴記憶部を参照し、前記取得部によって取得された人物画像中の人物が前記介助者であるか否かを判定する、請求項３に記載の動作情報処理装置。
  8. 前記リハビリテーション対象者の身体的な特徴を、前記リハビリテーション対象者の電子カルテに記録された情報から取得する、請求項７に記載の動作情報処理装置。
  9. 前記介助者を識別するための識別情報を記憶する識別情報記憶部を更に備え、
    前記取得部は、更に、人物が撮影された人物画像を取得し、
    前記判定部は、更に、前記取得部によって取得された人物画像から前記識別情報を抽出し、抽出した識別情報が、前記識別情報記憶部に記憶された識別情報に対応する介助者であるか否かを判定する、請求項３に記載の動作情報処理装置。
  10. 前記判定部によってリハビリテーション対象者であると判定された動作情報に含まれる、前記リハビリテーション対象者の骨格に含まれる各関節の位置を表す骨格情報、及び、当該リハビリテーション対象者が撮影された撮影画像情報のうち少なくとも一つに基づいて、前記リハビリテーション対象者の個人情報を含まずに当該リハビリテーション対象者の動作を確認可能な医用画像情報を生成する生成部を更に備える、請求項１に記載の動作情報処理装置。
  11. 前記特定部によって特定された動作情報に時系列順に含まれる、前記対象者の人体の骨格を示す骨格情報、及び、当該対象者が撮影された撮影画像情報のうち少なくとも一つに基づいて、前記対象者の個人情報を含まずに当該対象者の動作を確認可能な医用画像情報を生成する生成部を更に備える、請求項１に記載の動作情報処理装置。
  12. 前記生成部は、前記骨格情報に含まれる各関節の位置を用いて、前記対象者の骨格を視覚的に確認可能な画像情報を、前記医用画像情報として生成する、請求項１１に記載の動作情報処理装置。
  13. 前記生成部は、前記骨格情報に含まれる所定の部位の位置を用いて、前記撮影画像情報に含まれる対象者の特徴を含む部位の少なくとも一部を隠蔽した画像情報を、前記医用画像情報として生成する、請求項１１に記載の動作情報処理装置。
  14. 前記生成部は、更に、前記骨格情報に含まれる各関節の位置を用いて、前記撮影画像情報に含まれる対象者以外が撮影された画像の少なくとも一部を隠蔽した画像情報を、前記医用画像情報として生成する、請求項１３に記載の動作情報処理装置。
  15. 前記画像情報は、撮影範囲に含まれる各画素と、当該画素の深度とが対応付けられた深度画像情報を含み、
    前記生成部は、処理対象となる時点の深度画像情報と、当該深度画像情報とは異なる時点の深度画像情報とに基づいて、前記処理対象となる時点の深度画像情報から対象者の領域を表す画像情報を、前記医用画像情報として生成する、請求項１１に記載の動作情報処理装置。
  16. 前記生成部は、前記医用画像情報として、前記撮影画像情報において床面の位置を表す床面画像を含む画像情報を生成する、請求項１１〜１５のいずれか一つに記載の動作情報処理装置。
JP2018187975A 2013-01-18 2018-10-03 動作情報処理装置 Active JP6675462B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2013007872 2013-01-18
JP2013007872 2013-01-18
JP2013167836 2013-08-12
JP2013167836 2013-08-12
JP2013171755 2013-08-21
JP2013171755 2013-08-21

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014008137A Division JP2015061577A (ja) 2013-01-18 2014-01-20 動作情報処理装置

Publications (2)

Publication Number Publication Date
JP2019046481A true JP2019046481A (ja) 2019-03-22
JP6675462B2 JP6675462B2 (ja) 2020-04-01

Family

ID=51209720

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014008137A Pending JP2015061577A (ja) 2013-01-18 2014-01-20 動作情報処理装置
JP2018187975A Active JP6675462B2 (ja) 2013-01-18 2018-10-03 動作情報処理装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014008137A Pending JP2015061577A (ja) 2013-01-18 2014-01-20 動作情報処理装置

Country Status (3)

Country Link
US (1) US9710920B2 (ja)
JP (2) JP2015061577A (ja)
WO (1) WO2014112635A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6887586B1 (ja) * 2020-07-03 2021-06-16 三菱電機株式会社 行動特定装置、行動特定方法及び行動特定プログラム
JP7480592B2 (ja) 2020-05-29 2024-05-10 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2481191A (en) 2010-02-25 2011-12-21 Sita Information Networking Computing Ireland Ltd Graphical development tool for software application development
WO2012084549A1 (en) 2010-12-21 2012-06-28 Sita N.V Reservation system and method
SG188579A1 (en) 2011-08-03 2013-04-30 Sita Inf Networking Computing Usa Inc Item handling and tracking system and method therefor
GB2499288A (en) 2012-02-09 2013-08-14 Sita Inf Networking Computing Usa Inc Path determination
US10320908B2 (en) 2013-03-25 2019-06-11 Sita Information Networking Computing Ireland Limited In-flight computing device for aircraft cabin crew
GB2523441A (en) 2014-02-19 2015-08-26 Sita Information Networking Computing Ireland Ltd Reservation system and method therefor
JP2017205135A (ja) * 2014-08-25 2017-11-24 ノーリツプレシジョン株式会社 個人識別装置、個人識別方法、及び、個人識別プログラム
US10001546B2 (en) 2014-12-02 2018-06-19 Sita Information Networking Computing Uk Limited Apparatus for monitoring aircraft position
JP6609920B2 (ja) * 2014-12-25 2019-11-27 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
ES2895139T3 (es) 2015-06-01 2022-02-17 Sita Information Networking Computing Uk Ltd Procedimiento y sistema para monitorizar el estado de una aeronave usando los mensajes de aviso de instalaciones de servicios de tráfico aéreo
JP6726856B2 (ja) * 2015-07-17 2020-07-22 パナソニックＩｐマネジメント株式会社 注意情報提示装置および注意情報提示方法
JP6664920B2 (ja) * 2015-09-30 2020-03-13 グローリー株式会社 監視カメラシステム及び監視方法
CN106650217B (zh) * 2015-10-29 2020-06-30 佳能市场营销日本株式会社 信息处理装置以及信息处理方法
US11714880B1 (en) 2016-02-17 2023-08-01 Ultrahaptics IP Two Limited Hand pose estimation for machine learning based gesture recognition
US11854308B1 (en) * 2016-02-17 2023-12-26 Ultrahaptics IP Two Limited Hand initialization for machine learning based gesture recognition
US11841920B1 (en) 2016-02-17 2023-12-12 Ultrahaptics IP Two Limited Machine learning based gesture recognition
WO2018026838A1 (en) * 2016-08-02 2018-02-08 Atlas5D, Inc. Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy
CN106250867B (zh) * 2016-08-12 2017-11-14 南京华捷艾米软件科技有限公司 一种基于深度数据的人体骨骼跟踪系统的实现方法
JP6708260B2 (ja) * 2016-11-14 2020-06-10 富士通株式会社 情報処理装置、情報処理方法、およびプログラム
USD836625S1 (en) 2016-12-08 2018-12-25 Sita Information Networking Computing Canada, Inc. Self-service kiosk
US10620013B2 (en) 2017-03-09 2020-04-14 Sita Information Networking Computing Usa, Inc. Testing apparatus and method for testing a location-based application on a mobile device
US10360785B2 (en) 2017-04-07 2019-07-23 Sita Information Networking Computing Usa, Inc. Article tracking system and method
USD881961S1 (en) 2017-05-19 2020-04-21 Sita Information Networking Computing Usa, Inc. Robot
JP6631594B2 (ja) * 2017-06-30 2020-01-15 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理装置の制御方法、プログラム
JP6824838B2 (ja) * 2017-07-07 2021-02-03 株式会社日立製作所 作業データ管理システム及び作業データ管理方法
WO2019008771A1 (ja) * 2017-07-07 2019-01-10 りか 高木 治療及び／又は運動の指導プロセス管理システム、治療及び／又は運動の指導プロセス管理のためのプログラム、コンピュータ装置、並びに方法
KR102147930B1 (ko) * 2017-10-31 2020-08-25 에스케이텔레콤 주식회사 포즈 인식 방법 및 장치
US11410088B2 (en) 2017-11-03 2022-08-09 Sita Ypenburg B.V. Systems and methods for interactions between ticket holders and self service functions
WO2019111521A1 (ja) * 2017-12-06 2019-06-13 株式会社 資生堂 情報処理装置、プログラム
JP6840890B2 (ja) * 2018-03-16 2021-03-10 株式会社ソニー・インタラクティブエンタテインメント 身体サイズ推定装置、身体サイズ推定方法及びプログラム
JP7004218B2 (ja) * 2018-05-14 2022-01-21 オムロン株式会社 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
CN109618183B (zh) * 2018-11-29 2019-10-25 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质
TWI715903B (zh) * 2018-12-24 2021-01-11 財團法人工業技術研究院 動作追蹤系統及方法
US11928181B2 (en) 2018-12-27 2024-03-12 Nec Corporation Information processing apparatus, information processing method, and program
DE112020000351A5 (de) * 2019-01-07 2021-10-28 Metralabs Gmbh Neue Technologien Und Systeme Verfahren und System zur Erfassung des Bewegungsablaufs einer Person
CN110279406B (zh) * 2019-05-06 2022-07-15 苏宁金融服务(上海)有限公司 一种基于摄像头的无接触式的脉率测量方法及装置
JP7255742B2 (ja) * 2019-07-22 2023-04-11 日本電気株式会社 姿勢特定装置、姿勢特定方法、及びプログラム
KR102341083B1 (ko) * 2020-03-19 2021-12-21 한국기계연구원 인체 자세 추정 기술을 적용한 신체영상 보호 시스템 및 그 방법
JP7343237B2 (ja) * 2020-03-25 2023-09-12 Ｎｅｃソリューションイノベータ株式会社 追跡方法
JP7433126B2 (ja) 2020-04-21 2024-02-19 三菱電機株式会社 画像表示システム、画像表示装置、サーバ、画像表示方法およびプログラム
CN111783882B (zh) * 2020-06-30 2022-09-09 北京市商汤科技开发有限公司 关键点检测方法、装置、电子设备及存储介质
JP7485040B2 (ja) 2020-07-01 2024-05-16 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム
US11682237B1 (en) * 2020-09-04 2023-06-20 Amazon Technologies, Inc. System for learning and tracking performance of activities
JP6869417B1 (ja) * 2020-11-18 2021-05-12 株式会社オプティム プログラム、方法、情報処理装置、システム
WO2023145475A1 (ja) * 2022-01-27 2023-08-03 Ｎｅｃソリューションイノベータ株式会社 画像処理装置
US20240057893A1 (en) * 2022-08-17 2024-02-22 August River, Ltd Co Remotely tracking range of motion measurement

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006110072A (ja) * 2004-10-14 2006-04-27 Mitsubishi Heavy Ind Ltd 非接触歩行検出方法とシステム及び該システムを用いた個人認証方法とシステム
JP2010172394A (ja) * 2009-01-27 2010-08-12 Panasonic Electric Works Co Ltd 歩行状態表示装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3387284B2 (ja) 1995-08-21 2003-03-17 松下電器産業株式会社 リハビリテーション支援装置
JPH10151162A (ja) * 1996-11-25 1998-06-09 Mitsubishi Electric Corp ベッドサイド患者ウェルネスシステム
JP4035610B2 (ja) * 2002-12-18 2008-01-23 独立行政法人産業技術総合研究所 インタフェース装置
JP2005352686A (ja) * 2004-06-09 2005-12-22 Matsushita Electric Ind Co Ltd リハビリテーション管理装置
JP2007213218A (ja) * 2006-02-08 2007-08-23 Seiko Instruments Inc 対象者動作判定装置及び対象者動作判定方法ならびにそのプログラム
JP5187280B2 (ja) * 2009-06-22 2013-04-24 ソニー株式会社 操作制御装置および操作制御方法
US8265341B2 (en) * 2010-01-25 2012-09-11 Microsoft Corporation Voice-body identity correlation
JP4924727B2 (ja) * 2010-02-16 2012-04-25 カシオ計算機株式会社 画像処理装置及び画像処理プログラム
JP4590018B1 (ja) * 2010-02-26 2010-12-01 エンパイア テクノロジー ディベロップメント エルエルシー 特徴量変換装置、および特徴量変換方法
JP5087101B2 (ja) * 2010-03-31 2012-11-28 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
EP2571418A4 (en) * 2010-05-20 2013-10-30 Lifeflow Technologies Inc SYSTEM, METHODS AND DEVICES FOR MONITORING AND MONITORING PATIENTS
US8761437B2 (en) * 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
JP5751899B2 (ja) * 2011-04-08 2015-07-22 株式会社日立メディコ 医用画像処理装置及び医用画像診断装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006110072A (ja) * 2004-10-14 2006-04-27 Mitsubishi Heavy Ind Ltd 非接触歩行検出方法とシステム及び該システムを用いた個人認証方法とシステム
JP2010172394A (ja) * 2009-01-27 2010-08-12 Panasonic Electric Works Co Ltd 歩行状態表示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7480592B2 (ja) 2020-05-29 2024-05-10 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム
JP6887586B1 (ja) * 2020-07-03 2021-06-16 三菱電機株式会社 行動特定装置、行動特定方法及び行動特定プログラム

Also Published As

Publication number Publication date
JP2015061577A (ja) 2015-04-02
JP6675462B2 (ja) 2020-04-01
US20150310629A1 (en) 2015-10-29
WO2014112635A1 (ja) 2014-07-24
US9710920B2 (en) 2017-07-18

Similar Documents

Publication Publication Date Title
JP6675462B2 (ja) 動作情報処理装置
JP6334925B2 (ja) 動作情報処理装置及び方法
JP6181373B2 (ja) 医用情報処理装置及びプログラム
US10170155B2 (en) Motion information display apparatus and method
JP6351978B2 (ja) 動作情報処理装置及びプログラム
JP6381918B2 (ja) 動作情報処理装置
US9761011B2 (en) Motion information processing apparatus obtaining motion information of a subject performing a motion
JP6878628B2 (ja) 生理学的モニタのためのシステム、方法、及びコンピュータプログラム製品
US20150005910A1 (en) Motion information processing apparatus and method
JP6598422B2 (ja) 医用情報処理装置、システム及びプログラム
WO2014104357A1 (ja) 動作情報処理システム、動作情報処理装置及び医用画像診断装置
JP6320702B2 (ja) 医用情報処理装置、プログラム及びシステム
JP2022519988A (ja) 患者のストレスを視覚化するためのシステム
KR20220140224A (ko) 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법
KR20230102262A (ko) 스켈레톤 데이터 기반 근감소증 최적화 판별 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200310

R150 Certificate of patent or registration of utility model

Ref document number: 6675462

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150