JP2018051100A - 運動訓練装置、プログラム、表示方法 - Google Patents

運動訓練装置、プログラム、表示方法 Download PDF

Info

Publication number
JP2018051100A
JP2018051100A JP2016192596A JP2016192596A JP2018051100A JP 2018051100 A JP2018051100 A JP 2018051100A JP 2016192596 A JP2016192596 A JP 2016192596A JP 2016192596 A JP2016192596 A JP 2016192596A JP 2018051100 A JP2018051100 A JP 2018051100A
Authority
JP
Japan
Prior art keywords
user
moving image
training
display
target part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016192596A
Other languages
English (en)
Other versions
JP6870264B2 (ja
Inventor
田中 英樹
Hideki Tanaka
英樹 田中
裕也 丸山
Hironari Maruyama
裕也 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2016192596A priority Critical patent/JP6870264B2/ja
Priority to CN201710870225.6A priority patent/CN107875616B/zh
Priority to US15/717,162 priority patent/US10839706B2/en
Publication of JP2018051100A publication Critical patent/JP2018051100A/ja
Application granted granted Critical
Publication of JP6870264B2 publication Critical patent/JP6870264B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0647Visualisation of executed movements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0658Position or arrangement of display
    • A63B2071/0661Position or arrangement of display arranged on the user
    • A63B2071/0666Position or arrangement of display arranged on the user worn on the head or face, e.g. combined with goggles or glasses

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Tools (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】ユーザーの身体部位と、動画とを比較しやすくすること。
【解決手段】動画を表示した状態で、ユーザー自身の身体部位の一部としての訓練対象部位が視認できる表示部と、ユーザー自身の前記訓練対象部位の位置と異なる位置に、前記訓練対象部位が運動しているように見える動画を前記表示部に表示させる制御部と、を備える運動訓練装置。
【選択図】図6

Description

本開示は、運動の訓練に関する。
特許文献1は、幻肢痛の治療のために、欠損した身体部位を、できるだけリアルに再現した動画を患者に視認させる手法を開示している。特許文献1は、この手法を麻痺の治療に転用することを開示している。
特開2004−298430号公報
上記先行技術の場合、できるだけリアルな動画を視認させるため、欠損していない部位の運動訓練に用いるときは、ユーザーの身体部位である訓練対象部位に重畳するように動画が表示される。このため、ユーザーの身体部位と、動画とを比較することが難しく、訓練の効果が低かった。本開示は、上記を踏まえ、ユーザーの身体部位と、動画とを比較しやすくすることを解決課題とする。
本開示は、上記課題を解決するためのものであり、以下の形態として実現できる。
本開示の一形態は、動画を表示した状態で、ユーザー自身の身体部位の一部としての訓練対象部位が視認できる表示部と;ユーザー自身の前記訓練対象部位の位置と異なる位置に、前記訓練対象部位が運動しているように見える動画を前記表示部に表示させる制御部と;を備える運動訓練装置である。この形態によれば、ユーザー自身の訓練対象部位の位置と異なる位置に動画が表示されるため、ユーザーの身体部位と動画とを比較しやすくなる。
上記形態において、頭部装着型表示装置であってもよい。この形態によれば、持ち運びに便利であり、場所を取らずに訓練ができる。
上記形態において、前記表示部は、光学透過型であってもよい。この形態によれば、ユーザー自身の身体部位としての訓練対象部位を実際に見ることができるので、ユーザーの身体部位と動画とを比較しやすくなる。
上記形態において、現実空間を撮像するカメラを更に備え;前記表示部は、ビデオ透過型であり;前記制御部は、前記カメラによって撮像された前記訓練対象部位を、前記訓練対象部位の現実空間の位置に対応させて前記表示部に表示させてもよい。この形態によれば、表示部がビデオ透過型であるため、外部の余計な光が遮断されるので、訓練に集中できる。
上記形態において、前記訓練対象部位は片手であってもよい。この形態によれば、片手の訓練を効果的に実施できる。
上記形態において、前記訓練対象部位は、両手であり;前記制御部は、前記動画を、ユーザー自身の両手の間に表示させてもよい。この形態によれば、訓練対象部位が両手である場合に、ユーザーの両手の位置に対して、動画を見やすい位置に表示できる。
上記形態において、前記制御部は、前記動画として表示される前記訓練対象部位を、ユーザー自身の前記訓練対象部位よりも小さく見えるように表示させてもよい。この形態によれば、動画が見やすくなる。
上記形態において、前記制御部は、前記動画を、ユーザー自身の前記訓練対象部位との重なりを回避して表示させてもよい。この形態によれば、ユーザーの身体部位と動画とを、より比較しやすくなる。
本開示は、上記以外の種々の形態で実現できる。例えば、表示方法や、この方法を実現するためのプログラム、このプログラムを記憶した一時的でない記憶媒体等の形態で実現できる。
HMDの構成図。 左眼用表示部の構成図。 HMDの機能ブロック図。 ユーザーがHMDを装着した様子を示す図。 表示処理を示すフローチャート。 表示処理中に、両手を開いている様子を示す図。 表示処理中に、両手を握っている様子を示す図。
図1は、HMD10の構成を示す。HMDとは、Head Mounted Displayの頭字語であり、ヘッドマウントディスプレイ(頭部装着型表示装置)のことである。HMD10は、後述する表示処理を実行することによって、運動訓練のための表示方法を実現すると共に、運動訓練装置として機能する。運動訓練は、手のリハビリテーション(以下、リハビリ)のために実施される。
HMD10は、ユーザーが、虚像を見ることができると同時に現実空間も見える光学透過型(光学シースルー型)である。
HMD10は、眼鏡のような形状を有する表示装置20と、制御部70とを備える。表示装置20と制御部70とが、有線または無線で、通信可能に接続される。本実施形態では、表示装置20と制御部70とが、有線のケーブル90で接続されている。制御部70は、表示装置20との間で、ケーブル90を介して、画像の信号(画像信号)や制御の信号(制御信号)を通信する。
表示装置20は、左眼用表示部30Lと、右眼用表示部30Rとを備える。左眼用表示部30Lは、左眼用出力部32Lと、左眼用導光部34L(図2)と、左眼用反射部36Lと、左眼用シェード38Lとを備える。右眼用表示部30Rは、右眼用出力部32Rと、右眼用の導光部と、右眼用反射部36Rと、右眼用シェード38Rとを備える。なお、右眼用の導光部は、左眼用導光部34Lと同様な構成である。
図2は、左眼用表示部30Lの構成を詳細に示す。図2は、左眼用表示部30Lを真上から見た図である。左眼用出力部32Lは、眼鏡のテンプル(つる)の根元部分に配置され、左眼用画像生成部321Lと、左眼用投射光学系322Lとを備える。
左眼用画像生成部321Lは、左眼用バックライト光源BLと、左眼用光変調素子LMとを備える。左眼用バックライト光源BLは、本実施形態では、赤色、緑色および青色といった発光色ごとの光源の集合から構成されている。各光源としては、例えば、発光ダイオード(LED)などを用いることができる。左眼用光変調素子LMは、本実施形態では、表示素子である液晶表示デバイスによって構成されている。
左眼用表示部30Lは、次のように機能する。左眼用画像生成部321Lに、制御部70(図1)から左眼用の画像信号が入力されると、左眼用バックライト光源BLの各光源が、赤色光、緑色光および青色光を発する。各光源から発せられた赤色光、緑色光および青色光は拡散して、左眼用光変調素子LMに入射する。左眼用光変調素子LMは、制御部70から左眼用画像生成部321Lに入力された画像信号に応じて、投射された赤色光、緑色光および青色光を空間変調することにより、画像信号に応じた画像光を発する。
左眼用投射光学系322Lは、例えば、投射レンズ群から構成され、左眼用画像生成部321Lの左眼用光変調素子LMから射出された画像光を平行な状態の光束にする。左眼用投射光学系322Lにより平行な状態の光束にされた画像光は、左眼用導光部34Lに入射する。
左眼用導光部34Lは、左眼用投射光学系322Lからの画像光を、左眼用反射部36Lが有する三角プリズムの半透過反射面に導く。半透過反射面の表裏のうち、装着時にユーザーの左眼EYに向く側には、ミラー層などの反射コーティングが施されている。この反射コーティングされた面により、半透過反射面に導かれた画像光は、左眼用反射部36Lの画像取り出しエリアにおいて全反射する。反射した画像光はユーザーの左眼EYに入る。この結果、ユーザーの左眼EYには虚像が見える。本実施形態においては、ユーザーに虚像を知覚させることを、画像を表示するとも表現する。
左眼用反射部36Lに現実空間から入射する光の少なくとも一部は、左眼用反射部36Lに表示されている半透過反射面を透過し、ユーザーの左眼EYに導かれる。これにより、ユーザーには、左眼用出力部32Lにより表示された画像と、現実空間からの光学像とが重なって見える。
図1に示すように、右眼用表示部30Rは、上記構成の左眼用表示部30Lと左右対称の同様な構成を有しており、左眼用表示部30Lと同様に作用する。
このように、ユーザーは、表示装置20の画像取り出しエリアに表示された画像と、現実空間とを同時に見ることができる。このように表示された画像は、ユーザーに拡張現実感(AR:Augmented Reality)を与える。
左眼用シェード38Lは、左眼用導光部34Lのユーザーの左眼EYとは反対側に配置される。本実施形態における左眼用シェード38Lは、取り外し可能である。左眼用シェード38Lは、現実空間から半透過反射面に入射しないように、光を遮る。このため、左眼用シェード38Lが取り付けられると、ユーザーは、左眼用出力部32Lにより表示された画像を、明瞭に見ることができる。
表示装置20において、ユーザーが表示装置20を装着した際のユーザーの眉間に対応する位置には、カメラ51が設けられている。そのため、ユーザーが表示装置20を頭部に装着した状態において、カメラ51は、ユーザーが向いている方向の現実空間を撮像する。カメラ51は、単眼カメラである。他の形態におけるカメラ51は、ステレオカメラである。
制御部70は、表示装置20を制御する。制御部70は、タッチパッド72と、操作ボタン部74とを備える。タッチパッド72は、タッチパッド72の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド72としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。操作ボタン部74は、種々の操作ボタンを有し、各操作ボタンの操作を検出して、検出内容に応じた信号を出力する。
図3は、HMD10の機能ブロック図である。制御部70は、CPU80と、記憶部82と、運動モデルデータベース84と、入力情報取得部86と、電源部88とを備え、各部はバス等により相互に接続されている。
記憶部82は、ROM、RAM、DRAM、ハードディスク等によって構成される。記憶部82には、オペレーティングシステム(ОS)をはじめとする種々のプログラム、及び表示処理用のプログラムが格納されている。
運動モデルデータベース84は、運動モデルを蓄積したデータベースである。運動モデルは、訓練対象部位の運動をモデル化した動画データであり、本実施形態では、左手の運動モデルと、右手の運動モデルが予め蓄積されている。
入力情報取得部86は、先述したタッチパッド72および操作ボタン部74を含む。入力情報取得部86は、タッチパッド72や操作ボタン部74からの検出内容に応じた信号を入力する。電源部88は、制御部70および表示装置20に備えられた各構成部に給電する。
CPU80は、記憶部82に格納されているプログラムを読み出して実行することにより、各種の機能を実現する。具体的には、CPU80は、入力情報取得部86から操作の検出内容の入力があった場合に当該検出結果に応じた処理を実行する機能、記憶部82に対してデータの読み書きを行う機能、および電源部88から各構成部への給電を制御する機能を実現する。
CPU80は、記憶部82に格納されている表示処理用プログラムを読み出して実行することにより、表示処理を実行する。表示処理の実行によって、運動訓練用の表示方法が実現される。表示処理は、機能障害のある身体部分の動画を表示することによって、ユーザーの運動訓練を補助するためものである。ユーザーは、運動訓練を、麻痺した身体部位のリハビリのために実施する。
図4は、ユーザーがHMD10を装着した様子を示す。本実施形態におけるHMD10は、少なくとも一方の手に機能障害がある人をユーザーとして想定している。本実施形態における「手」とは、手首から先の部位の全体を意味する。
本実施形態において運動訓練の対象にしている動作は、IP関節またはMP関節の曲げ伸ばしである。IP関節とは、第1指(親指)の場合は第1関節であり、第2指〜第5指の場合は第1関節および第2関節である。MP関節とは、指と手の平との境界に位置する関節である。
機能障害のある指を含む手のうち、リハビリの対象となる指は、第1〜第5指の少なくとも何れかである。以下、機能障害のある指を含む手を「障害手FH」、機能障害がない手を「健常手NH」と呼ぶ。「機能障害がない」とは、リハビリの対象ではないことを意味し、実際には多少の機能障害があってもよい。図4に示したユーザーの場合、右手は健常手NHであり、左手は障害手FHである。
図5は、先述した表示処理を示すフローチャートである。表示処理は、操作ボタン部74を介して入力される開始指示を契機に開始される。表示処理は、操作ボタン部74を介して終了指示が入力されるまで、繰り返し実行される。操作ボタン部74は、ユーザー又は訓練補助者によって操作される。
初めに、CPU80は、ユーザーの両手の位置を検出する(S110)。具体的には、カメラ51によって撮像された画像内から、左右それぞれの手の部分を抽出し、輪郭を2次元的に特定する。
次に、CPU80は、両手の間に動画を表示できるかを判定する(S120)。具体的な判定方法は後述する。両手の間に動画を表示できる場合(S120,YES)、両手の間に動画を表示し(S130)、S110に戻る。
図6及び図7は、表示処理中に、ユーザーが知覚する像の様子を示す。図6は、開いた状態の両手が動画IMGとして表示され、ユーザーの両手も開いている様子を示す。図7は、握った状態の両手が動画IMGとして表示され、ユーザーの両手も握っている様子を示す。ユーザーは、表示装置20の半透過反射面越しに、健常手NH及び障害手FHの位置を視認する。本実施形態における動画IMGは、ユーザーに、3次元的な像として知覚される。
動画IMGは、ユーザー自身の両手の間に表示されているため、ユーザー自身の両手の位置とは異なる位置に表示されていると言える。加えて、動画IMGは、ユーザー自身の両手の間に表示されているため、ユーザー自身の両手と重なりを回避して表示されていると言える。ここでいう重なりの回避とは、重なる部位が全く無いことを意味する。
図6及び図7には、表示領域R1の輪郭が示されている。表示領域R1は、画像を表示できる領域である。但し、ユーザーは、表示領域R1の輪郭がはっきりと見える訳ではない。矩形領域R2(後述)は、ユーザーには見えない仮想的な領域である。
表示領域R1の輪郭としての長方形の辺に沿った方向であって、ユーザーの右手および左手が並ぶ方向を幅方向と定義する。また、表示領域R1の輪郭としての長方形の辺に沿った方向であって、幅方向に直交する方向を高さ方向と定義する。高さ方向において、ユーザーの手において指先側を「上」、ユーザーの手において手首側を「下」という。
表示領域R1、並びに健常手NH及び障害手FHの位置関係は、ユーザーの姿勢によって定まる。姿勢とは、ユーザーの頭部並びに健常手NH及び障害手FHの3次元的な位置関係のことである。
動画IMGは、握った状態と開いた状態とを交互に行き来するような連続動作を表示するためのものである。S120でYESという判断が繰り返されている間は、動画IMGの表示が継続される。
ユーザーは、自身の両手を、動画に合わせて、握ったり開いたりするように予め指示されている。障害手FHは、リハビリの対象部位であると共に、訓練対象部位である。健常手NHは、リハビリの対象部位ではない一方、訓練対象部位である。障害手FHだけでなく健常手NHも運動訓練を実施することによって、障害手FHのリハビリの効果が高まると考えられる。
動画IMGの高さH2は、手の高さH3よりも短くなるように表示される。手の高さH3は、ユーザーにとって、手がどの程度の高さに見えるかというパラメーターである。具体的には、高さ方向に沿った距離であって、手の部位のうち最も上に位置する部位から、手首までの距離として定義される。この結果、動画IMGとして表示される手は、健常手NH及び障害手FHよりも小さく表示される。
手の高さH3は、ユーザーの姿勢によって変わり得る。本実施形態における動画IMGの高さH2は、固定値である。このため、動画IMGの高さH2は、最も小さい場合の高さH3よりも短くなるように予め定められている。最も小さい場合の高さH3は、腕を目一杯、伸ばした状態における手の高さH3である。他の形態では、高さH2を変動値にして、訓練補助者が設定するようにしてもよい。
ここで、S120の判定について説明する。本実施形態では、動画IMGを、先述したように、両手の間に、且つ両手の何れにも重ならないように表示する。S120では、このように表示する2次元的なスペースがあるか否かを判定する。具体的には、CPU80は、矩形領域R2が以下の条件を全て満たす場合、S120でYESと判断する。
条件a:矩形領域R2の幅W2が、重複幅W1内に収まっていること。重複幅W1とは、両手の間と、表示領域R1とが重複する領域の幅のことである。
条件b:高さ方向について、左右それぞれの手が、表示領域R1の範囲内に収まっていること。
条件aは、動画IMGを、健常手NH及び障害手FHの間に、且つ、健常手NH及び障害手FHの何れにも重複しないように表示するための条件である。
条件bは、動画IMGを、健常手NH及び障害手FHの近くに表示することで、動画IMG、並びに、健常手NH及び障害手FHを比較しやすくするための条件である。
動画IMGを表示する位置は、条件a,bを利用して、以下のように決定する。幅方向については、矩形領域R2の中心を、重複幅W1の中心に一致させる。高さ方向については、矩形領域R2の中心を、左右の手の上端から下端までの線分の中心に一致させる。左右の手の上端とは、左手の上端と右手の上端とのうち、より上に位置する方の位置のことである。左右の手の下端とは、左手首と右手首とのうち、より下に位置する方の位置のことである。
重複幅W1、矩形領域R2の幅W2、及び手の高さH3は、刻々と変化する。このため、S120の判定は、各時点での状態に基づき実施される。なお、両手の位置の検出に失敗した場合は、S120でNOと判定する。例えば、何れかの手がカメラの撮像範囲外に位置する場合は、その手の位置を検出することはできない。
両手の間に動画IMGを表示できないと判定すると(S120,NO)、頭と両手との位置を調整することをユーザーに催促する(S140)。具体的には、画像として「両手の間を空けて、両手の間を見て下さい」等の文字列を表示する。その後、S110に戻る。
以上に説明した実施形態によれば、両手を訓練対象とした運動訓練を、透過型のHMD10を用いて効果的に実施することができる。さらに、HMD10は持ち運びに便利で場所を取らないので、自宅などでも運動訓練を実施しやすい。
本開示は、本明細書の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現できる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、先述の課題の一部又は全部を解決するために、或いは、先述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせができる。その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除できる。例えば、以下のものが例示される。
両手ともが障害手FHである場合、リハビリおよび訓練対象部位は、両手であってもよい。
訓練対象部位は、両手でなくてもよい。例えば、障害手としての片手でもよい。或いは、両脚でも片脚でもよいし、片足でも両足でもよい。ここでいう脚とは、腿(もも)より先の部位である。ここでいう足とは、足首よりも先の部位である。
動画は、ユーザー自身の訓練対象部位の位置と異なる位置に動画が表示されればよい。例えば、ユーザー自身の訓練対象部位との重なりを許容して、動画を表示してもよい。つまり、動画の一部がユーザー自身の訓練対象部位と重なるように表示されてもよい。或いは、訓練対象部位が両手の場合、動画は両手の間では無い位置(例えば、左右それぞれの手の上方)に表示されてもよい。また、動画は両手でなくても良い。例えば、障害手としての片手でも良い。或いは、両脚でも片脚でもよいし、片足でも両足でもよい。動画が片手の場合は、片手の位置を検出し、片手と重ならない位置に動画を表示できるかを判定する。片手と重ならない位置に動画を表示できる場合、片手と重ならない位置に動画を表示する。
運動訓練装置は、ビデオ透過型のHMDでもよい。ビデオ透過型のHMDを用いる場合、カメラによって撮像されたユーザーの身体部位としての訓練対象部位を、現実空間の位置に対応させて表示させてもよい。
運動訓練装置は、HMDでなくてもよい。例えば、タブレット型端末でもよいし、スマートフォンでもよい。このような表示端末を用いる場合、例えば、両手の間に、表示端末を配置することで、訓練対象部位が運動しているように見える動画を、ユーザー自身の訓練対象部位の位置と異なる位置に表示してもよい。
運動訓練は、幻肢痛の治療のために実施されてもよい。例えば、手の親指が欠損し、幻肢痛を知覚している患者が、幻肢痛の治療のために運動訓練を実施してもよい。
実施形態のように透過型のHMDを用いる場合、動画の表示位置を調整する機能が無くてもよい。この場合でも、ユーザーが自身の姿勢を調整することによって、ユーザー自身の訓練対象部位の位置と異なる位置に、訓練対象部位が運動しているように見える動画を表示させることができる。
動画IMGは、2次元的に知覚される像によって表示されてもよい。
上記実施形態において、ソフトウエアによって実現された機能及び処理の一部又は全部は、ハードウエアによって実現されてもよい。また、ハードウエアによって実現された機能及び処理の一部又は全部は、ソフトウエアによって実現されてもよい。ハードウエアとしては、例えば、集積回路、ディスクリート回路、または、それらの回路を組み合わせた回路モジュールなど、各種回路を用いてもよい。
10…HMD、20…表示装置、30L…左眼用表示部、30R…右眼用表示部、32L…左眼用出力部、32R…右眼用出力部、34L…左眼用導光部、36L…左眼用反射部、36R…右眼用反射部、38L…左眼用シェード、38R…右眼用シェード、51…カメラ、70…制御部、72…タッチパッド、74…操作ボタン部、80…CPU、82…記憶部、84…運動モデルデータベース、86…入力情報取得部、88…電源部、90…ケーブル、321L…左眼用画像生成部、322L…左眼用投射光学系、BL…左眼用バックライト光源、EY…左眼、FH…障害手、LM…左眼用光変調素子、NH…健常手

Claims (10)

  1. 動画を表示した状態で、ユーザー自身の身体部位の一部としての訓練対象部位が視認できる表示部と、
    ユーザー自身の前記訓練対象部位の位置と異なる位置に、前記訓練対象部位が運動しているように見える動画を前記表示部に表示させる制御部と、
    を備える運動訓練装置。
  2. 頭部装着型表示装置である
    請求項1に記載の運動訓練装置。
  3. 前記表示部は、光学透過型である
    請求項2に記載の運動訓練装置。
  4. 現実空間を撮像するカメラを更に備え、
    前記表示部は、ビデオ透過型であり、
    前記制御部は、前記カメラによって撮像された前記訓練対象部位を、前記訓練対象部位の現実空間の位置に対応させて前記表示部に表示させる
    請求項2に記載の運動訓練装置。
  5. 前記訓練対象部位は片手である
    請求項1から請求項4までの何れか一項に記載の運動訓練装置。
  6. 前記訓練対象部位は、両手であり、
    前記制御部は、前記動画を、ユーザー自身の両手の間に表示させる
    請求項1から請求項4までの何れか一項に記載の運動訓練装置。
  7. 前記制御部は、前記動画として表示される前記訓練対象部位を、ユーザー自身の前記訓練対象部位よりも小さく見えるように表示させる
    請求項1から請求項6までの何れか一項に記載の運動訓練装置。
  8. 前記制御部は、前記動画を、ユーザー自身の前記訓練対象部位との重なりを回避して表示させる
    請求項1から請求項7までの何れか一項に記載の運動訓練装置。
  9. 動画を表示した状態で、ユーザー自身の身体部位の一部としての訓練対象部位の位置が視認できる表示部に、前記訓練対象部位が運動しているように見える動画を表示するためのプログラムであって、
    ユーザー自身の前記訓練対象部位の位置と異なる位置に前記動画を表示させる
    ためのプログラム。
  10. 動画を表示した状態で、ユーザー自身の身体部位の一部としての訓練対象部位の位置が視認できる表示部に、前記訓練対象部位が運動しているように見える動画を表示する方法であって、
    ユーザー自身の前記訓練対象部位の位置と異なる位置に前記動画を表示する
    表示方法。
JP2016192596A 2016-09-30 2016-09-30 運動訓練装置およびプログラム Active JP6870264B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016192596A JP6870264B2 (ja) 2016-09-30 2016-09-30 運動訓練装置およびプログラム
CN201710870225.6A CN107875616B (zh) 2016-09-30 2017-09-22 运动训练装置、记录介质、显示方法
US15/717,162 US10839706B2 (en) 2016-09-30 2017-09-27 Motion training device, program, and display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016192596A JP6870264B2 (ja) 2016-09-30 2016-09-30 運動訓練装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2018051100A true JP2018051100A (ja) 2018-04-05
JP6870264B2 JP6870264B2 (ja) 2021-05-12

Family

ID=61758351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016192596A Active JP6870264B2 (ja) 2016-09-30 2016-09-30 運動訓練装置およびプログラム

Country Status (3)

Country Link
US (1) US10839706B2 (ja)
JP (1) JP6870264B2 (ja)
CN (1) CN107875616B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7450183B2 (ja) 2020-03-05 2024-03-15 株式会社電通総研 幻肢痛ケアシステム、被術者装置、及びプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10269116B2 (en) * 2016-12-26 2019-04-23 Intel Corporation Proprioception training method and apparatus
US11037369B2 (en) * 2017-05-01 2021-06-15 Zimmer Us, Inc. Virtual or augmented reality rehabilitation
CA3107356A1 (en) * 2018-07-23 2020-01-30 Mvi Health Inc. Systems and methods for physical therapy
CN112206524B (zh) * 2020-09-16 2022-06-10 深圳市瑞立视多媒体科技有限公司 Ue4引擎中拾取虚拟物品的信息处理方法和装置
CN114360686B (zh) * 2022-03-07 2022-06-03 西南医科大学附属医院 融合游戏的康复训练计算机装置、运行方法及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08215177A (ja) * 1995-02-08 1996-08-27 Fujitsu Ltd 運動支援システム及び運動支援方法
JP2016158057A (ja) * 2015-02-24 2016-09-01 セイコーエプソン株式会社 表示装置、表示方法およびプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002200206A (ja) * 2000-12-28 2002-07-16 Asobous:Kk 移動体画像通信を用いたスポーツにおける体の動かし方の指導検索方法
JP4025230B2 (ja) 2003-03-31 2007-12-19 株式会社東芝 疼痛治療支援装置及び仮想空間に幻肢画像を動画的に表示する方法
EP1734912B1 (en) * 2004-02-05 2018-09-26 Motorika Ltd. Apparatus for rehabilitation and training
CN1996205B (zh) * 2006-01-05 2010-08-11 财团法人工业技术研究院 动态动作捕捉与周边装置互动的方法与系统
JP4039530B1 (ja) 2006-11-30 2008-01-30 学校法人立教学院 視覚触知覚相互作用体感装置
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
KR101390383B1 (ko) * 2010-11-16 2014-04-29 한국전자통신연구원 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치
CN102945564A (zh) * 2012-10-16 2013-02-27 上海大学 基于视频透视式增强现实的真三维建模系统和方法
JP6375591B2 (ja) * 2013-01-15 2018-08-22 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
JP2014153645A (ja) * 2013-02-13 2014-08-25 Seiko Epson Corp 画像表示装置および画像表示装置の表示制御方法
US20160049089A1 (en) * 2013-03-13 2016-02-18 James Witt Method and apparatus for teaching repetitive kinesthetic motion
JP2015039522A (ja) 2013-08-22 2015-03-02 セイコーエプソン株式会社 リハビリ装置および幻肢痛治療支援装置
US11086207B2 (en) * 2013-10-03 2021-08-10 Autodesk, Inc. Reflection-based target selection on large displays with zero latency feedback
US10134296B2 (en) * 2013-10-03 2018-11-20 Autodesk, Inc. Enhancing movement training with an augmented reality mirror
KR102167289B1 (ko) * 2014-06-03 2020-10-19 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
US9690375B2 (en) * 2014-08-18 2017-06-27 Universal City Studios Llc Systems and methods for generating augmented and virtual reality images
CN205028239U (zh) * 2014-12-10 2016-02-10 杭州凌手科技有限公司 虚拟现实智能投影手势互动一体机
JP2016158056A (ja) * 2015-02-24 2016-09-01 セイコーエプソン株式会社 表示装置、表示方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08215177A (ja) * 1995-02-08 1996-08-27 Fujitsu Ltd 運動支援システム及び運動支援方法
JP2016158057A (ja) * 2015-02-24 2016-09-01 セイコーエプソン株式会社 表示装置、表示方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7450183B2 (ja) 2020-03-05 2024-03-15 株式会社電通総研 幻肢痛ケアシステム、被術者装置、及びプログラム

Also Published As

Publication number Publication date
CN107875616B (zh) 2021-03-26
US10839706B2 (en) 2020-11-17
CN107875616A (zh) 2018-04-06
US20180096615A1 (en) 2018-04-05
JP6870264B2 (ja) 2021-05-12

Similar Documents

Publication Publication Date Title
JP6870264B2 (ja) 運動訓練装置およびプログラム
JP7316360B2 (ja) 拡張現実のためのシステムおよび方法
US20170014683A1 (en) Display device and computer program
KR20220115816A (ko) 가상 및 증강 현실 시스템들 및 방법들
WO2014128773A1 (ja) ジェスチャ登録装置、ジェスチャ登録プログラムおよびジェスチャ登録方法
US20150054850A1 (en) Rehabilitation device and assistive device for phantom limb pain treatment
JP6459184B2 (ja) 表示システム、健康器具、制御装置およびプログラム
WO2014128748A1 (ja) キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法
TW201802642A (zh) 視線檢測系統
JP6036291B2 (ja) 表示装置、表示システム、および、表示装置の制御方法
US20160379338A1 (en) Rehabilitation supporting instrument and rehabilitation device
CN108428375A (zh) 一种基于增强现实的教学辅助方法及设备
US9805612B2 (en) Interest-attention feedback method for separating cognitive awareness into different left and right sensor displays
US11081015B2 (en) Training device, training method, and program
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
JP6550734B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
KR20210048231A (ko) 가상현실 기반 원근 운동 유도를 통한 시력 회복 장치
JP2017079389A (ja) 表示装置、表示装置の制御方法、及び、プログラム
KR102446922B1 (ko) Vr/ar 기반의 가상 이식을 이용한 재활 치료 장치
JP2018183272A (ja) 訓練装置、訓練システム、プログラム、制御装置
JP6394108B2 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP2017189498A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
US20170242482A1 (en) Training device, corresponding area specifying method, and program
KR20210048179A (ko) 가상현실 기반 안구운동 유도를 통한 시력 회복 장치
WO2016051429A1 (ja) 入出力装置、入出力プログラム、および入出力方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210329

R150 Certificate of patent or registration of utility model

Ref document number: 6870264

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150