JP2015225276A - 表示システム、表示装置、表示制御装置、表示方法、およびプログラム - Google Patents

表示システム、表示装置、表示制御装置、表示方法、およびプログラム Download PDF

Info

Publication number
JP2015225276A
JP2015225276A JP2014110947A JP2014110947A JP2015225276A JP 2015225276 A JP2015225276 A JP 2015225276A JP 2014110947 A JP2014110947 A JP 2014110947A JP 2014110947 A JP2014110947 A JP 2014110947A JP 2015225276 A JP2015225276 A JP 2015225276A
Authority
JP
Japan
Prior art keywords
display
image
tilt
unit
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2014110947A
Other languages
English (en)
Other versions
JP2015225276A5 (ja
Inventor
田中　英樹
Hideki Tanaka
英樹 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2014110947A priority Critical patent/JP2015225276A/ja
Priority to CN201510272580.4A priority patent/CN105278105A/zh
Priority to EP15169590.5A priority patent/EP2950133A1/en
Priority to US14/723,764 priority patent/US20150346811A1/en
Publication of JP2015225276A publication Critical patent/JP2015225276A/ja
Publication of JP2015225276A5 publication Critical patent/JP2015225276A5/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physical Education & Sports Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Rehabilitation Tools (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】姿勢やバランスに異常を持つ患者のリハビリを、より簡単に行えるよう支援する。
【解決手段】表示システムは、ユーザーの頭部に装着されるための表示装置と、前記表示装置に接続される表示制御装置とを有する。前記表示制御装置は、前記ユーザーの傾きを検出する検出部と、前記傾きを示す第１の傾き画像を前記表示装置に送信する送信部と、を有し、前記表示装置は、前記第１の傾き画像を前記表示制御部から受信する受信部と、前記第１の傾き画像と外界の画像とを表示する表示部と、を有する。
【選択図】図１

Description

本発明は、表示システム、表示装置、表示制御装置、表示方法、およびプログラムに関する。
ユーザーの頭部に装着して使用するヘッドマウントディスプレイが知られている。ヘッドマウントディスプレイには、ヘッドマウントディスプレイを装着した状態で外界の様子を見ることができる、透過型（「シースルー方式」ともいう）のものがある。
例えば、特許文献１には、本体に表示画面部を収納し、該表示画面部を本体に対し回転自在としたヘッドマウントディスプレイが記載されている。
特開平１１−８５０５１号公報
ところで、脳卒中等の脳障害の後には、様々な要因により姿勢やバランスの異常が出現することがある。特徴的な姿勢調節障害の一つとしては、例えばプッシャー症候群（pusher syndrome）が知られている。このような障害を改善するには、リハビリテーション（「リハビリ」ともいう）が重要である。このリハビリでは、例えば垂直基準に合わせて立つように患者に指示するとともに、介助者が補助を行う。
しかし、上記のような障害では、患者本人は姿勢が傾いているという自覚がない場合があり、この場合には、単に垂直基準に合わせて立つように指示しても、リハビリが上手く行かない。また、リハビリでは、患者本人に、当人の姿勢を視認させるのが有効であるが、大きな鏡を用意する必要があったり、患者が鏡の方を向くのが困難であったり、簡単にリハビリを行うことはできない。
そこで、本発明は、姿勢やバランスに異常を持つ患者のリハビリを、より簡単に行えるよう支援することを目的とする。
上記の課題を解決する本発明の第一態様は、ユーザーの頭部に装着されるための表示装置と、前記表示装置に接続される表示制御装置とを有する表示システムであって、前記表示制御装置は、前記ユーザーの傾きを検出する検出部と、前記傾きを示す第１の傾き画像を前記表示装置に送信する送信部と、を有し、前記表示装置は、前記第１の傾き画像を前記表示制御部から受信する受信部と、前記第１の傾き画像と外界の画像とを表示する表示部と、を有する。これにより、例えば、体の傾きを外界の物体との相対的な関係とともに認識することができるため、体の傾きが認識し易くなり、リハビリを簡単に行えるようになる。
上記の表示システムにおいて、前記表示制御装置は、前記傾きを検出する第１のセンサーを含み、前記ユーザーに装着されてもよい。これにより、表示装置と表示制御装置の二つの簡単なシステム構成で、リハビリを支援することができる。
上記の表示システムにおいて、前記表示制御装置と接続されるセンサー装置を一以上有し、前記一以上のセンサー装置は、前記ユーザーに装着され、前記検出部は、前記第１のセンサー及び前記一以上のセンサー装置により前記ユーザーの一以上の個所の傾きを検出し、前記送信部は、前記一以上の個所の傾きを示す第２の傾き画像を前記表示装置に送信し、前記受信部は、前記第２の傾き画像を前記表示制御部から受信し、前記表示部は、前記第２の傾き画像を表示するようにしてもよい。これにより、例えば、センサー装置をシステムに追加することで、体の複数個所の傾きを示す画像が表示されるため、より簡単にかつより正確に自身の姿勢を認識することができる。
上記の表示システムにおいて、前記表示制御装置と接続されるセンサー装置を一以上有し、前記一以上のセンサー装置は、前記ユーザーに装着され、前記検出部は、前記一以上のセンサー装置により前記ユーザーの一以上の個所の傾きを検出し、前記送信部は、前記一以上の個所の傾きを示す第３の傾き画像を前記表示装置に送信し、前記受信部は、前記第３の傾き画像を前記表示制御部から受信し、前記表示部は、前記第３の傾き画像を表示するようにしてもよい。これにより、例えば、表示制御装置はユーザーの体に装着する必要がないため、介助者あるいは患者が表示制御装置を手にとって操作するのが容易になる。また例えば、センサー装置をシステムに追加することで、体の複数個所の傾きを示す画像が表示されるため、より簡単にかつより正確に自身の姿勢を認識することができる。
上記の表示システムにおいて、前記第１の傾き画像は、前記ユーザーの胴部の傾きを示す画像を含んでいてもよい。これにより、例えば、頭部と胴部の傾きが反対になる症状がある患者に対しても、胴部の傾きをより認識し易くできる。
上記の課題を解決する本発明の第二態様は、ユーザーの頭部に装着されるための表示装置と、前記表示装置に接続される表示制御装置とを有する表示システムであって、前記表示制御装置に接続される情報処理装置と、前記ユーザーに装着される一以上のセンサー装置とを有し、前記情報処理装置は、前記ユーザーの一以上の箇所の傾きを前記一以上のセンサー装置により検出する検出部と、前記一以上の個所の傾きを示す第４の傾き画像を前記表示制御装置に送信する送信部と、を有し、前記表示制御装置は、前記第４の傾き画像を前記情報処理装置から受信する受信部と、前記第４の傾き画像を前記表示装置に送信する送信部と、を有し、前記表示装置は、前記第４の傾き画像を前記表示制御装置から受信する受信部と、前記第４の傾き画像と外界の画像とを表示する表示部と、を有する。これにより、例えば、体の傾きを外界の物体との相対的な関係とともに認識することができるため、体の傾きが認識し易くなり、リハビリを簡単に行えるようになる。また例えば、表示制御装置での画像処理等の負荷を減らすことができる。
上記の表示システムにおいて、前記第４の傾き画像は、前記ユーザーの胴部の傾きを示す画像を含むようにしてもよい。これにより、例えば、頭部と胴部の傾きが反対になる症状がある患者に対しても、胴部の傾きをより認識し易くできる。
上記の表示システムにおいて、前記表示部は、さらに、鉛直方向又は水平方向を示す画像を表示するようにしてもよい。これにより、例えば、体の傾きを鉛直方向又は水平方向との相対的な関係とともに認識することができるため、体の傾きが認識し易くなり、リハビリを簡単に行えるようになる。
上記の表示システムにおいて、前記表示装置及び前記表示制御部の少なくとも一方は、前記ユーザーの胴部の傾きが所定範囲を超えた場合に、アラームを出力する音声出力部を有するようにしてもよい。これにより、例えば、注意を促しながら、リハビリを支援することができる。
上記の課題を解決する本発明の第三態様は、ユーザーの頭部に装着されるための表示装置であって、前記ユーザーの傾きを示す第１の傾き画像と外界の画像とを表示する表示部、を有する。これにより、例えば、体の傾きを外界の物体との相対的な関係とともに認識することができるため、体の傾きが認識し易くなり、リハビリを簡単に行えるようになる。
上記の表示装置において、前記第１の傾き画像を表示制御部から受信する受信部を有するようにしてもよい。これにより、例えば、ユーザーの頭部以外の箇所に装着される表示制御部でユーザーの傾きを検出し、表示装置に表示することができる。
上記の表示装置において、前記第１の傾き画像は、前記ユーザーの胴部の傾きを示す画像を含むようにしてもよい。これにより、例えば、頭部と胴部の傾きが反対になる症状がある患者に対しても、胴部の傾きをより認識し易くできる。
上記の課題を解決する本発明の第四態様は、ユーザーの頭部に装着されるための表示装置に接続される表示制御装置であって、前記ユーザーの傾きを検出する検出部と、前記傾きを示す第１の傾き画像を前記表示装置に送信する送信部と、を有する。これにより、例えば、表示装置に体の傾きが表示されるため、体の傾きが認識し易くなり、リハビリを簡単に行えるようになる。
上記の表示制御装置において、前記第１の傾き画像は、前記ユーザーの胴部の傾きを示す画像を含むようにしてもよい。これにより、例えば、表示装置に胴部の傾きが表示されるため、頭部と胴部の傾きが反対になる症状がある患者に対しても、胴部の傾きをより認識し易くできる。
上記の課題を解決する本発明の第五態様は、ユーザーの頭部に装着されるための表示装置を有する表示システムにおける表示方法であって、前記ユーザーの傾きを検出する工程と、前記傾きを示す第１の傾き画像を生成する工程と、前記第１の傾き画像と外界の画像とを表示する工程と、を含む。これにより、例えば、体の傾きを外界の物体との相対的な関係とともに認識することができるため、体の傾きが認識し易くなり、リハビリを簡単に行えるようになる。
上記の課題を解決する本発明の第六態様は、ユーザーの頭部に装着されるための表示装置に接続される表示制御装置のプログラムであって、前記ユーザーの傾きを検出する工程と、前記傾きを示す第１の傾き画像を前記表示装置に送信する工程と、を前記表示制御装置に実行させる。これにより、例えば、表示装置に体の傾きが表示されるため、体の傾きが認識し易くなり、リハビリを簡単に行えるようになる。
本発明の第一実施形態に係る表示システムの外観の一例を示す図である。 表示装置の概略を説明する図である。 表示装置等のユーザーへの装着位置の一例を説明する図である。 表示システムの構成の一例を示す図である。 表示システムの動作の一例を示すフローチャートである。 傾きを示す画像の例を示す図である。 表示装置に表示される画面例を示す図である。 本発明の第二実施形態に係る表示装置等のユーザーへの装着位置の一例を説明する図である。 表示システムの構成の一例を示す図である。 表示システムの動作の一例を示すフローチャートである。 本発明の第三実施形態に係る表示装置等のユーザーへの装着位置の一例を説明する図である。 表示システムの構成の一例を示す図である。 第一変形例に係る操作画面の一例を示す図である。 傾きを示す画像の例を示す図である。 プッシャー症候群の症状の一例を説明する図である。
最初に、本発明の理解のため、姿勢やバランスの異常の例として、プッシャー症候群について説明する。
図１５は、プッシャー症候群の症状の一例を説明する図である。図１５（Ａ）は、正常な（プッシャー症候群でない）場合の姿勢を示し、図１５（Ｂ）は、プッシャー症候群の場合の姿勢を示す。なお、図１５は、患者の胴部を含む上半身を正面から見ている。また、図中の破線は、胴部の体軸を示している。
図１５（Ａ）に示すように、正常な患者は、体軸Ｐが正中しており（すなわち正常な体軸ＮＰに一致している）、顔も胴部も正面を向いている。一方で、図１５（Ｂ）に示すように、プッシャー症候群の患者には、麻痺側に体軸Ｐが傾き、場合によっては顔が非麻痺側を向くといった症状が現れる。
このような患者のリハビリには、自分自身の姿勢を視認させるのが有効である。しかしながら、図１５（Ｂ）に示す状態の場合、垂直基準（例えば体軸ＮＰを示す棒など）を患者の正面に立てても、患者は垂直基準を見ることが困難である。また、患者の正面に鏡を立てても、患者は鏡に映った姿を見ることが困難である。そのため、熟練した介助者であっても、リハビリを上手く進めるのが難しい。
そこで、本発明では、下記の実施形態で説明するように、現在の患者の体軸を表示装置に表示するようにする。
＜第一実施形態＞
図１は、本発明の第一実施形態に係る表示システムの外観の一例を示す図である。図２は、表示装置の概略を説明する図である。
表示システム１は、コントローラー２と、表示装置３とを有する。コントローラー２及び表示装置３は、互いに通信可能に有線接続されている。もちろん、コントローラー２及び表示装置３は、無線接続されてもよい。なお、コントローラー２は、本発明の表示制御装置に相当する。
コントローラー２は、例えば、携帯型のコンピューター等であり、表示装置３を制御する端末装置である。コントローラー２は、例えば、表示対象の画像等のコンテンツを記憶し、当該コンテンツに基づいて画像信号を生成し、当該画像信号を表示装置３に送信して表示させる。なお、本実施形態では、図１に示すように、コントローラー２を平面的に見て左右をＸ軸、上下をＹ軸、Ｘ軸及びＹ軸と直交する軸をＺ軸とする。
表示装置３は、眼鏡型の透過型ヘッドマウントディスプレイである。表示装置３は、例えば、コントローラー２から受信した画像信号に基づいて、左右の眼に対応して配置されたスクリーン（外界の光を透過する透過型のスクリーン）に投影を行うことで、ユーザーに対して画像を表示する。
具体的に、表示装置３の表示に関する構成について説明する。表示装置３は、表示制御部３１（左表示制御部３１Ｌ、右表示制御部３１Ｒ）、投写部３２（左投写部３２Ｌ、右投写部３２Ｒ）と、表示部３３（左表示部３３Ｌ、右表示部３３Ｒ）とを備える。左眼用の左表示制御部３１Ｌ及び右眼用の右表示制御部３１Ｒと、左眼用の左投写部３２Ｌ及び右眼用の右投写部３２Ｒと、左眼用の左表示部３３Ｌ及び右眼用の右表示部３３Ｒとは、互いに左右対称の構成を有しているため、以下では左眼用の構成について説明する。
左表示制御部３１Ｌは、図４を参照して後に詳述するように、左投写部３２Ｌを制御する。左投写部３２Ｌは、左画像生成部３２０Ｌと、左光学系３２１Ｌとを備える。
左画像生成部３２０Ｌは、バックライト光源、光変調素子等を備える。左画像生成部３２０Ｌは、左表示制御部３１Ｌにより制御される。
バックライト光源は、例えば、赤色、緑色および青色といった発光色ごとの光源の集合から構成されている。光源としては、例えば、発光ダイオード（ＬＥＤ：Light Emitting Diode）などを用いることができる。バックライト光源は、左表示制御部３１Ｌの制御に従って、赤色光、緑色光および青色光を発光し、光変調素子に出射する。
光変調素子は、例えば、表示素子である液晶表示デバイスなどである。光変調素子は、左表示制御部３１Ｌの制御に従って、バックライト光源から出射された赤色光、緑色光および青色光を空間変調することにより、コントローラー２から送られた画像信号に応じた画像光を出射する。
左光学系３２１Ｌは、例えば、入射される画像光を投写する投写レンズの群から構成される。左光学系３２１Ｌは、光変調素子から出射された画像光を投写して、平行な状態の光束にする。
左表示部３３Ｌは、左導光部３３０Ｌと、左反射部３３１Ｌと、左シェード３３２Ｌとを備える。
左導光部３３０Ｌは、例えば導光板等を含んで構成される。左導光部３３０Ｌは、左投写部３２Ｌの左光学系３２１Ｌから投写された光を、所定の光路に沿って左反射部３３１Ｌに導く。すなわち、左投写部３２Ｌにより平行な状態の光束にされた画像光Ｌ１を、後述する左反射部３３１Ｌが有する三角プリズムの所定の半透過反射面に投写する。
左反射部３３１Ｌには、半透過反射面が形成されており、半透過反射面の表裏のうち、表示装置３の装着時にユーザーの左眼ＥＬに向く側には、ミラー層などの反射コーティングが施されている。左導光部３３０Ｌにより伝達され、当該半透過反射面に投写された画像光Ｌ１は、当該反射コーティングされた面により、ユーザーの左眼ＥＬに向けて全反射される。これにより、反射光がユーザーの左眼ＥＬに入って、その左眼ＥＬの網膜上に虚像を形成する。
また、左反射部３３１Ｌの半透過反射面の表裏のうち、ユーザーの左眼ＥＬと反対側の面から入射する光（すなわち外界からの光）Ｌ２の少なくとも一部は、当該半透過反射面を透過し、ユーザーの左眼ＥＬに導かれる。これにより、ユーザーには、左投写部３２Ｌから投写され画像光Ｌ１に応じた画像と、外界からの光Ｌ２に応じた光学像とが重畳されて見える。
左シェード３３２Ｌは、その透過率に応じて、外界から左反射部３３１Ｌの方に入射する光Ｌ２を低減させる。
このように、ユーザーは、表示装置３を頭部に装着することにより、表示装置３の反射部３３１（左反射部３３１Ｌ、右反射部３３１Ｒ）から出力される画像光Ｌ１に応じた画像が表示されているように見え、その画像を認識することができる。また、ユーザーは、表示装置３の反射部３３１（左反射部３３１Ｌ、右反射部３３１Ｒ）を透過する外界からの光Ｌ２の少なくとも一部により、表示装置３を頭部に装着したまま、外界を見ることができる。すなわち、表示装置３には、画像信号に基づいて生成された画像と、外界の画像とが同時に表示され、ユーザーは、これらの画像を同時に見ることができる。
図３は、表示装置等のユーザーへの装着位置の一例を説明する図である。
第一実施形態では、表示装置３は、ユーザーの眼を覆うように頭部に装着される。コントローラー２は、例えば、コントローラー２がユーザーに対して所定の姿勢となるように（後に詳述する）、ユーザーの胴部に装着される。コントローラー２の装着方法は特に限定されないが、例えば、ユーザーの胴部にバンドＢを巻き、当該バンドとコントローラー２を、面ファスナー等で固定すればよい。このとき、ユーザーの第七頸椎、第二胸椎、又は、第四若しくは第五腰椎等の高さに、コントローラー２が位置するように装着するとよい。もちろん、コントローラー２の高さは、ユーザーの症状に応じて適宜調整してよい。なお、図３の例では、ユーザーの腹側にコントローラー２が装着されているが、ユーザーの背側に装着されてもよい。
図４は、表示システムの構成の一例を示す図である。
コントローラー２は、制御部２０と、通信部２１と、記憶部２２と、音声出力部２３と、操作パネル２４と、メディアＩ／Ｆ（Ｉ／Ｆ：インターフェイス）２５と、通信部２６と、センサー２７とを有する。なお、制御部２０は、本発明の検出部及び生成部に相当し、通信部２１は、本発明の送信部及び受信部に相当し、通信部２６は、本発明の送信部及び受信部に相当し、操作パネル２４は、入力部、表示部、及び出力部に相当し、メディアＩ／Ｆ２５は、本発明の読取部及び書込み部に相当し、音声出力部２３は、本発明の出力部に相当する。
制御部２０は、例えば、ＣＰＵ（Central Processing Unit）や、各種データ等の一時記憶に用いられるＲＡＭ（Random Access Memory）等を備え、記憶部２２に記憶されている制御プログラムに従って動作することによりコントローラー２の動作を統括制御する。
例えば、制御部２０は、通信部２６を介して受信した画像データ、メディアＩ／Ｆ２５を介して読み取った画像データ、記憶部２２から読み取った画像データ等の表示対象の画像に基づいて、表示装置３に出力する画像信号を生成する。画像信号は、例えば左眼用の画像信号と右眼用の画像信号とを含んでいる。左眼用の画像信号と右眼用の画像信号とは、同一の画像信号であってもよいし、画像の視差などに応じて異ならせた画像信号であってもよい。
また、例えば、制御部２０は、通信部２６を介して受信した音声データ、メディアＩ／Ｆ２５を介して読み取った音声データ、記憶部２２から読み取った音声データ等の出力対象の音声に基づいて、表示装置３に出力する音声信号を生成する。音声信号は、例えば左用の音声信号と右用の音声信号とを含んでいる。
また、本実施形態では、制御部２０は、センサー２７から出力される情報に基づいて、ユーザーの胴部の傾きを示す画像の画像信号を生成し、通信部２１を介して表示装置３に出力する。この点については、後に詳述する。
通信部２１は、表示装置３と接続され、表示装置３との通信を行う。通信部２１は、例えば、制御部２０の指示に従って、制御部２０から入力された画像信号等を表示装置３に送信したり、表示装置３から受信した信号等を制御部２０に出力したりする。
記憶部２２は、例えば、マスクＲＯＭ（Read Only Memory）や、フラッシュメモリー、ＦｅＲＡＭ（Ferroelectric RAM：強誘電体メモリー）等の不揮発性のメモリーにより構成される。記憶部２２には、コントローラー２の動作を制御するための制御プログラムや各種データ等が記憶されている。
音声出力部２３は、例えばスピーカー、当該スピーカーの駆動回路、Ｄ／Ａ変換回路等を有し、制御部２０の指示に従って、制御部２０から入力された音声信号に基づく音声を出力する。
操作パネル２４は、コントローラー２に対する操作を行う入力装置と、各種の情報を表示するディスプレイとを備えている。入力装置は、例えば静電容量型のタッチパネルやタッチセンサー等により実現される。ディスプレイは、例えば液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイなどである。ユーザーが入力装置を操作すると、操作パネル２４は、ユーザーの操作内容に応じた操作信号を制御部２０に出力する。また、操作パネル２４は、制御部２０から入力された画像信号に従って、操作画面、メッセージ、ダイアログ等を表示する。
メディアＩ／Ｆ２５は、フラッシュメモリー等の可搬型の記憶媒体に対するデータの読み書きを行う装置である。メディアＩ／Ｆ２５は、例えば、制御部２０の指示に従って、記憶媒体からデータを読み取って制御部２０に出力したり、制御部２０から入力されたデータを記憶媒体に書き込んだりする。
通信部２６は、無線ＬＡＮ又は有線ＬＡＮ等の通信回線に接続され、ＰＣ（Personal Computer）やサーバー等の外部機器の通信を行う。通信部２６は、例えば、制御部２０の指示に従って、制御部２０から入力された情報を外部機器に送信したり、外部機器から受信した情報を制御部２０に出力したりする。外部機器からは、例えば画像コンテンツや映像コンテンツが送られる。
センサー２７には、例えば、ジャイロセンサー、加速度センサー、地磁気センサー、傾きセンサー、重力センサー等のうち一つ以上が含まれる。センサー２７は、検出したセンサー情報（角加速度、加速度、方角、傾き、重力等の情報）を制御部２０に出力する。
表示装置３は、通信部３０と、表示制御部３１と、投写部３２と、表示部３３と、センサー３４と、音声出力部３５とを有する。なお、表示部３３は、本発明の出力部に相当し、音声出力部３５は、本発明の出力部に相当し、通信部３０は、本発明の送信部及び受信部に相当する。
通信部３０は、コントローラー２と接続され、コントローラー２との通信を行う。通信部３０は、例えば、コントローラー２から受信した画像信号を表示制御部３１に出力したり、コントローラー２から受信した音声信号を音声出力部３５に出力したりする。また、通信部３０は、例えば、センサー３４から出力された情報を、コントローラー２に送信する。なお、通信部３０は、左眼用と右眼用に二つあってもよい。
表示制御部３１（左表示制御部３１Ｌ、右表示制御部３１Ｒ）は、投写部３２（左投写部３２Ｌ、右投写部３２Ｒ）を制御する。左表示制御部３１Ｌは、例えば、通信部３０を介してコントローラー２から受信した左眼用の画像信号に応じて、左投写部３２Ｌの光変調素子を制御することにより、バックライト光源から出射された赤色光、緑色光および青色光を空間変調して出射させる。また、左表示制御部３１Ｌは、例えば、通信部３０を介してコントローラー２から受信した左眼用の画像信号に応じて、バックライト光源の輝度を制御したり、左シェード３３２Ｌの透過率を制御したりする。右表示制御部３１Ｒは、例えば、通信部３０を介してコントローラー２から受信した右眼用の画像信号に応じて、右投写部３２Ｒの光変調素子を制御することにより、バックライト光源から出射された赤色光、緑色光および青色光を空間変調して出射させる。また、右表示制御部３１Ｒは、例えば、通信部３０を介してコントローラー２から受信した右眼用の画像信号に応じて、バックライト光源の輝度を制御したり、右シェード３３２Ｒの透過率を制御したりする。
投写部３２（左投写部３２Ｌ、右投写部３２Ｒ）、及び表示部３３（左表示部３３Ｌ、右表示部３３Ｒ）は、図１及び図２を用いて上述したとおりである。
センサー３４は、例えば、ジャイロセンサー、加速度センサー、地磁気センサー、傾きセンサー、重力センサー等のうち一つ以上を含むセンサー装置である。センサー３４は、検出したセンサー情報（各加速度、加速度、方角、傾き、重力等の情報）を通信部３０に出力する。
音声出力部３５は、例えばスピーカー、当該スピーカーの駆動回路、Ｄ／Ａ変換回路等を有し、通信部３０の指示に従って、通信部３０から入力された音声信号に基づく音声を出力する。
次に、上記の表示システム１の特徴的な動作、すなわち、ユーザーの胴部の傾きを表示する動作について説明する。
図５は、表示システムの動作の一例を示すフローチャートである。なお、コントローラー２及び表示装置３の電源はオンにされ、互いに通信可能な状態であるものとする。
準備段階として、例えば、介助者は、表示装置３を患者の頭部に装着し、コントローラー２を患者の胴部（腹側又は背側）に装着する。コントローラー２は、例えば、コントローラー２のＹ軸（図１参照）が、患者の体軸Ｐ（図１５参照）に沿った姿勢となるように、患者の胴部に装着する。
上記のように準備が行われた後、例えば、制御部２０は、介助者又は患者から操作パネル２４を介して、リハビリ支援機能を開始する指示を受け付けると、図５に示すフローチャートの処理を開始する。
まず、コントローラー２は、傾きを検出する（ステップＳ１０）。具体的には、制御部２０は、センサー２７からの出力に基づいて、コントローラー２の傾きを求める。コントローラー２の傾きを求める方法は特に限定されないが、例えば、制御部２０は、傾きセンサーから、Ｚ軸回りの方位角（Azimuth）、Ｘ軸回りの傾斜角（Pitch）、Ｙ軸回りの回転角（Roll）の３つの角度を取得し、これらの角度に基づいて傾きを求めることができる。もちろん、加速度センサーの、ＸＹＺ各軸の加速度に基づいて、傾きを求めるようにしてもよい。
本実施形態では、制御部２０は、コントローラー２のＺ軸回りの角度を、コントローラー２の傾きとして求める。コントローラー２は上述のように患者の胴部に装着されているため、Ｚ軸回りの角度を、患者の胴部の傾きに相当するものとして使用できるからである。なお、角度には、例えば、基準角度からの方向（例えば、右回りをプラス、左回りをマイナスと表す）が含まれているものとする。
それから、コントローラー２は、画像を生成する（ステップＳ２０）。具体的には、制御部２０は、ステップＳ１０で検出した傾きに基づいて、当該傾きを、又は当該傾きに所定の補正を加えた傾きを、患者の胴部の傾きとして示す画像を生成する。
制御部２０は、例えば、図６（傾きを示す画像の例を示す図）に示すように、患者の背側から見た上半身を表す体画像２００、正常な体軸ＮＰを表す軸画像２１０、患者の体軸Ｐを表す軸画像２２０、傾きの角度を示す角度情報２３０、体軸Ｐを体軸ＮＰに近付ける方向を示す方向画像２４０等を含む画像を生成する。軸画像２１０は、重力方向を示す画像であるとも言える。なお、図６の上下方向は、鉛直方向に対応し、図６の左右方向は、水平方向に対応する。
制御部２０は、例えば、体画像２００に含まれる頭部及び首を、正中させた状態で（鉛直方向に沿うように）静的に表示し、体画像２００に含まれる胴部を、検出した傾きに対応させて動的に表示する。また、制御部２０は、例えば、軸画像２１０を、正中させた状態で（鉛直方向に沿うように）静的に表示し、軸画像２２０を、検出した傾きに対応させて動的に表示する。また、制御部２０は、例えば、角度情報２３０には、検出した傾きを表示する。また、制御部２０は、検出した傾きが所定角度範囲（例えば、−６〜＋６度の範囲）を超えたか否かを判定し、超えている場合には、例えば、方向画像２４０として、検出した傾きと逆方向を示す画像を表示する。なお、超えているか否かに係わらず、傾きが検出されている場合に、方向画像２４０を表示するようにしてもよい。
図６（Ａ）は、患者の体軸Ｐが正中している場合の画像を示している。図６（Ｂ）は、患者の体軸Ｐが右方向に６度傾いている場合の画像を示している。図６（Ｃ）は、患者の体軸Ｐが左方向に６度傾いている場合の画像を示している。図６（Ｄ）は、患者の体軸Ｐが右方向に１３度傾いており、所定角度範囲を超えている場合の画像を示している。
もちろん、図６に示した画像は一例であり、限定されるものではない。例えば、体画像２００に含まれる頭部及び首は、検出した傾きに対応させて動的に表示するようにしてもよい。また、鉛直方向を示す軸画像２１０に加えて又は替えて、水平方向を示す軸画像を静的に表示するようにしてもよい。
それから、コントローラー２は、画像を送信する（ステップＳ３０）。具体的には、制御部２０は、ステップＳ２０で生成した画像に基づいて、表示装置３に出力する画像信号を生成し、通信部２１を介して表示装置３に送信する。そして、制御部２０は、再びステップＳ１０の処理を行う。
表示装置３は、ステップＳ４０及びステップＳ５０の処理を繰り返す。具体的には、通信部３０は、ステップＳ３０でコントローラー２から送信された画像信号を受信し、表示制御部３１に出力する（ステップＳ４０）。また、表示制御部３１は、ステップＳ４０で通信部３０から出力された画像信号に基づいて、投写部３２を制御することにより、表示部３３に画像を表示する（ステップＳ５０）。
このようにして、例えば図７（表示装置に表示される画面例を示す図）に示すように、表示部３３には、ステップＳ２０で生成された患者の胴部の傾きを示す画像ＩＭが、外界の光学像ＢＧとともに表示される。これにより、患者は、画像ＩＭを見ることで、自身の体軸Ｐを体軸ＮＰとの相対的な差異とともに、認識することができる。また、患者は、外界の光学像ＢＧを見ることができるため、体軸Ｐを、外界の垂直基準として扱うことができる物体（例えば、机、ベッドなど）との相対的な差異とともに、認識することができる。
以上、本発明の第一実施形態について説明した。本実施形態によれば、表示装置を用いて、姿勢やバランスに異常を持つ患者のリハビリを、より簡単に行えるよう支援することができる。また、鏡等の設備がない場所であっても、簡単にリハビリを行うことができる。また、患者が正面を見るのが困難である場合でも、リハビリを簡単に行うことができる。
＜第二実施形態＞
第一実施形態では、ユーザーの傾きを検出するデバイスとしてコントローラー２のセンサー２７を用いたが、第二実施形態では、コントローラー２とは別個のセンサー装置４を用いる。以下、第一実施形態と異なる点を中心に説明する。
図８は、本発明の第二実施形態に係る表示装置等のユーザーへの装着位置の一例を説明する図である。
第二実施形態では、センサー装置４は、コントローラー２と通信可能に接続される。また、センサー装置４は、例えば、センサー装置４がユーザーに対して所定の姿勢となるように、ユーザーの胴部に装着される。センサー装置４の装着方法は特に限定されないが、例えば、ユーザーの胴部にバンドＢを巻き、当該バンドとセンサー装置４を、面ファスナー等で固定すればよい。このとき、ユーザーの第七頸椎、第二胸椎、又は、第四若しくは第五腰椎等の高さに、センサー装置４が位置するように装着するとよい。もちろん、センサー装置４の高さは、ユーザーの症状に応じて適宜調整してよい。なお、図８の例では、ユーザーの腹側にセンサー装置４が装着されているが、ユーザーの背側に装着されてもよく、ユーザーの首部または腕部に装着されてもよい。コントローラー２は、例えば、バンドＢに固定されてもよいし、ユーザーが手に持つようにしてもよい。
図９は、表示システムの構成の一例を示す図である。表示システム１Ａは、コントローラー２と、表示装置３と、センサー装置４とを有する。第二実施形態では、コントローラー２とセンサー装置４とが、通信可能に接続される。なお、第一実施形態と同様に、コントローラー２と表示装置３は通信可能に接続される。
センサー装置４は、例えば、ジャイロセンサー、加速度センサー、地磁気センサー、傾きセンサー、重力センサー等のうち一つ以上のセンサー（図示せず）と、コントローラー２等の外部機器と通信を行う通信部（図示せず）とを有する。センサー装置４は、通信部を介して、センサーにより検出したセンサー情報（角加速度、加速度、方角、傾き、重力等の情報）を、コントローラー２に送信する。なお、通信部は、本発明の送信部に相当する。
コントローラー２の通信部２６は、センサー装置４と通信を行う。制御部２０は、通信部２６を介してセンサー装置４から出力される情報を受信し、受信した情報に基づいて、ユーザーの胴部の傾きを示す画像の画像信号を生成し、通信部２１を介して表示装置３に出力する。
図１０は、表示システムの動作の一例を示すフローチャートである。なお、コントローラー２、表示装置３、及びセンサー装置４の電源はオンにされ、通信可能な状態であるものとする。
準備段階として、例えば、介助者は、表示装置３を患者の頭部に装着し、センサー装置４を患者の胴部（腹側又は背側）に装着する。コントローラー２は、患者の胴部（腹側又は背側）に装着したり、患者又は介助者が手に持ったりすればよい。センサー装置４は、例えば、センサー装置４のＹ軸が、患者の体軸Ｐ（図１５参照）に沿った姿勢となるように、患者の胴部に装着する。ここでは、センサー装置４も、コントローラー２と同様にＸＹＺ軸を持つものとする。
上記のように準備が行われた後、例えば、制御部２０は、介助者又は患者から操作パネル２４を介して、リハビリ支援機能を開始する指示を受け付けると、図１０に示すフローチャートの処理を開始する。図１０に示すステップＳ３０、Ｓ４０、Ｓ５０の処理は、図５に示すステップＳ３０、Ｓ４０、Ｓ５０の処理と同様なので説明を省略する。
センサー装置４は、ステップＳ１及びステップＳ２の処理を繰り返す。具体的には、センサー装置４は、内部のセンサーによりセンサー情報を検出する（ステップＳ１）。また、センサー装置４は、ステップＳ１で検出したセンサー情報を、通信部を介して、コントローラー２に送信する（ステップＳ２）。そして、センサー装置４は、再びステップＳ１の処理を行う。
一方、コントローラー２は、傾きを検出する（ステップＳ１０Ａ）。具体的には、制御部２０は、通信部２６を介してステップＳ２でセンサー装置４から送信されたセンサー情報を受信し、当該受信した情報に基づいて傾きを求める。センサー装置４の傾きを求める方法は、コントローラー２の傾きを求める場合と同様である。それから、コントローラー２は、画像を生成する（ステップＳ２０Ａ）。具体的には、制御部２０は、ステップＳ１０Ａで求めた傾きを患者の胴部の傾きとして示す画像を生成する。画像の生成方法は、図６のステップＳ２０と同様であるので説明を省略する。
以上、本発明の第二実施形態について説明した。第二実施形態によれば、第一実施形態と同様の効果を得ることができる。また、第二実施形態では、傾きを表示させている間も、コントローラー２を胴部に固定しなくてもよく、また、介助者あるいは患者はコントローラー２を手にとって操作するのが容易になる。また、第二実施形態では、センサー装置４をコントローラー２と別個の装置としているため、センサー装置４を別製品に置き替えたりするだけで傾きの検出精度を簡単に高めることができる。また、コントローラー２と表示装置３とが無線接続である場合には、コントローラー２を介助者が持つことができ、リハビリがし易くなる。
なお、第一実施形態と第二実施形態では、コントローラー２において患者の傾きを示す画像を生成しているが、これに限られない。例えば、コントローラー２が、求めた傾きを示す情報を表示装置３に送信し、表示装置３が、当該傾きを示す情報に基づいて、患者の傾きを示す画像を生成するようにしてもよい。
＜第三実施形態＞
第二実施形態では、センサー装置４とコントローラー２が通信するが、第三実施形態では、ＰＣ等の情報処理装置５を設け、センサー装置４と情報処理装置５が通信し、さらに、情報処理装置５とコントローラー２とが通信を行う。以下、第二実施形態と異なる点を中心に説明する。
図１１は、本発明の第三実施形態に係る表示装置等のユーザーへの装着位置の一例を説明する図である。
第三実施形態では、センサー装置４は、コントローラー２と通信可能に接続される。また、センサー装置４は、例えば、センサー装置４がユーザーに対して所定の姿勢となるように、ユーザーの胴部に装着される。また、コントローラー２は、例えば、バンドＢに固定されてもよいし、ユーザーが手に持つようにしてもよい。情報処理装置５は、例えば患者とは離れた場所に設置され、センサー装置４及びコントローラー２と通信可能に接続される。
図１２は、表示システムの構成の一例を示す図である。表示システム１Ｂは、コントローラー２と、表示装置３と、センサー装置４と、情報処理装置５とを有する。第三実施形態では、情報処理装置５が、センサー装置４及びコントローラー２と通信可能に接続される。なお、第二実施形態と同様に、コントローラー２と表示装置３は通信可能に接続される。
センサー装置４は、通信部（図示せず）を介して、センサーにより検出したセンサー情報（角加速度、加速度、方角、傾き、重力等の情報）を、情報処理装置５に送信する。
情報処理装置５は、例えば制御部、通信部等（いずれも図示せず）を有する。情報処理装置５の通信部は、センサー装置４と通信を行う。情報処理装置５の制御部は、通信部を介してセンサー装置４から出力されるセンサー情報を受信し、受信したセンサー情報に基づいて、ユーザーの胴部の傾きを示す画像を生成し、通信部を介してコントローラー２に送信する。画像の生成処理は、第二実施形態と同様である。なお、制御部は、本発明の検出部に相当し、通信部は、本発明の送信部及び受信部に相当する。
コントローラー２の通信部２６は、情報処理装置５から、ユーザーの胴部の傾きを示す画像を受信する。制御部２０は、受信された画像に基づいて画像信号を生成し、通信部２１を介して表示装置３に出力する。
以上、本発明の第三実施形態について説明した。第三実施形態によれば、第一実施形態と同様の効果を得ることができる。また、第三実施形態によれば、第二実施形態と同様の効果を得ることができる。さらに、第三実施形態では、情報処理装置５にて画像の生成を行うため、コントローラー２での画像処理の負荷を減らすことができ、コントローラー２にて他の処理を行い易くなる。
なお、情報処理装置５は、生成した画像に基づいて画像信号を生成し、当該画像信号をコントローラー２に送信してもよい。この場合、コントローラー２は、受信した画像信号を表示装置３に転送すればよい。
＜第一変形例＞
上記の第一〜第三実施形態では、コントローラー２又はセンサー装置４に含まれるセンサーを一つ用いているが、第一変形例では、複数のセンサーを用いるようにする。ここでは、第二実施形態において、センサー装置４を２台用いた場合を例に挙げて、第二実施形態と異なる点を中心に説明する。
例えば、介助者は、第一のセンサー装置４を患者の腰椎の近辺に装着し、第二のセンサー装置４を患者の頸椎の近辺に装着する。これらのセンサー装置４は、それぞれ、コントローラー２に対して傾きを示す情報を送信することができる。
コントローラー２の制御部２０は、例えば、図１３（第一変形例に係る操作画面の一例を示す図）に示すような操作画面４００を、操作パネル２４に表示させる。操作画面４００には、患者の身長を入力する身長欄４１０と、患者の座高を入力する座高欄４２０と、センサーの患者への装着の有無及び位置を入力する欄４３０と、欄４３０で設定されたセンサーの詳細な位置を入力する欄４４０とが表示される。欄４３０及び欄４４０は、センサー毎に設けられており、図の例では、上から順に第一のセンサー、第二のセンサー、第三のセンサーに対応する。また、欄４３０及び欄４４０は、対応するセンサーの体軸における位置の高さの順（頸椎、胸椎、腰椎の順）に配置されている。それぞれの欄４３０は、例えばチェックボックスとなっており、一以上のセンサーを選択可能である。欄４４０は、例えばドロップダウンリストとなっており、複数の選択肢の中から位置を選択可能である。
制御部２０は、操作パネル２４を介して操作画面４００における各種の設定を受け付ける。すなわち、制御部２０は、操作画面４００を介して、患者の身長及び座高、一以上のセンサーの装着位置を取得することができる。図１３の例では、身長「１７２ｃｍ」、座高「９０ｃｍ」、第一センサーの位置「第１頸椎」、第二センサーの位置「第５腰椎」を取得することができる。
リハビリ支援機能が実行されると、制御部２０は、通信部２６を介して、第一のセンサー装置４及び第二のセンサー装置４から出力される情報を受信し、受信した情報に基づいて、ユーザーの傾きを示す画像の画像信号を生成する。
ここで、制御部２０は、例えば、図１４（傾きを示す画像の例を示す図）に示すように、患者の体軸Ｐを表す軸画像２２０に加え、患者の頭部及び首の軸を表す軸画像２２１を表示する。ここでは、頭部及び首の軸は、第一のセンサー装置４が検出する傾きに対応し、体軸Ｐは、第二のセンサー装置４が検出する傾きに対応する。
制御部２０は、例えば、体画像２００に含まれる頭部及び首を、第一のセンサー装置４から出力される情報に基づいて検出した傾きに対応させて動的に表示し、体画像２００に含まれる胴部を、第二のセンサー装置４から出力される情報に基づいて検出した傾きに対応させて動的に表示する。また、制御部２０は、例えば、軸画像２１０を、正中させた状態で（鉛直方向に沿うように）静的に表示し、軸画像２２０を、第二のセンサー装置４により検出した傾きに対応させて動的に表示し、軸画像２２１を、第一のセンサー装置４により検出した傾きに対応させて動的に表示する。また、制御部２０は、例えば、角度情報２３０には、第一のセンサー装置４により検出した傾きと、第二のセンサー装置４により検出した傾きとを表示する。また、制御部２０は、検出した傾きが所定角度範囲（例えば、−６〜＋６度の範囲）を超えたか否かを判定し、超えている場合には、例えば、方向画像２４０として、検出した傾きと逆方向を示す画像を表示してもよい。
制御部２０は、上記のように生成した画像に基づいて、表示装置３に出力する画像信号を生成し、通信部２１を介して表示装置３に送信する。
以上、本発明の各実施形態の第一変形例について説明した。第一変形例によれば、複数のセンサーから取得した傾きに基づいて、ユーザーの上半身の複数個所の傾きを示す画像が表示されるため、ユーザーはより簡単にかつより正確に自身の姿勢を認識することができる。
上記の第一変形例では、複数のセンサーとして複数のセンサー装置４を用いているが、この態様に限られない。例えば、コントローラー２のセンサー２７と、一以上のセンサー装置４を用いるようにてもよい。この場合、コントローラー２は、センサー２７により検出した傾きと、一以上のセンサー装置４により検出した傾きとを、それぞれ患者の体の対応する箇所の傾きとして示す画像を生成する。
なお、第三実施形態に第一変形例を適用する場合には、情報処理装置５は、複数のセンサー装置４により傾きを検出し、あるいは、コントローラー２及び一以上のセンサー装置４により傾きを検出し、検出した傾きを、それぞれ患者の体の対応する箇所の傾きとして示す画像を生成すればよい。
＜その他変形例＞
上記の実施形態及び変形例では、コントローラー２のセンサー２７又はセンサー装置４のセンサーにより傾きを検出しているが、表示装置３のセンサー３４により傾きを検出するようにしてもよい。この場合、通信部３０は、センサー３４から出力されたセンサー情報をコントローラー２に送信する。制御部２０は、通信部２１を介してセンサー情報を受信し、このセンサー情報に基づいて傾きを求める。
上記の実施形態及び変形例では、傾きを示す画像を表示装置３に表示しているが、表示装置３に加え、他のディスプレイに表示してもよい。例えば、制御部２０は、生成した画像を操作パネル２４に出力して表示させる。また例えば、情報処理装置５は、生成した画像を、自身の有するディスプレイあるいは接続されたディスプレイに出力する。
上記の実施形態および変形例において、コントローラー２の制御部２０は、センサーにより取得した傾きを時系列で記憶部２２等に記録してもよい。この場合、制御部２０は、記録した情報に基づいて、傾き変化を示すグラフ等の画像を生成し、操作パネル２４や表示装置３に出力してもよい。また、情報処理装置５も、センサーにより取得した傾きを時系列で記憶部等に記録し、記録した情報に基づいて、傾き変化を示すグラフ等の画像を生成し、ディスプレイに出力してもよい。
上記の実施形態及び変形例では、例えば図６（Ｂ）に示すように、体画像２００、軸画像２１０、軸画像２２０、及び角度情報２３０が表示されるように画像が生成されるが、この態様に限られない。例えば、少なくとも軸画像２２０又は体画像２００が表示されるように画像が生成されればよい。体画像２００に加えて又は替えて、格子状の画像が表示されるように画像を生成してもよい。これらの場合でも、ユーザーは、軸画像２２０又は体画像２００又は格子状の画像と、透過して表示される外界の画像とに基づいて、自身の傾きを認識することができる。
上記の実施形態及び変形例において、検出した傾きが所定角度範囲を超えた場合に、方向画像２４０が表示されるが、この表示に加えて又は替えて、制御部２０は、検出した傾きが所定角度範囲を超えた場合に、音声出力部２３を介してアラーム音を出力するようにしてもよい。もちろん、制御部２０は、通信部２１を介してアラーム音の音声信号を表示装置３に送信し、通信部３０は、コントローラー２から受信した音声信号に基づくアラーム音を、音声出力部３５を介して出力させるようにしてもよい。音声出力部２３及び音声出力部３５の少なくとも一方がアラームを出力すればよい。これにより、注意を促しながら、リハビリを支援することができる。
なお、図１及び図２で説明した表示装置３及びコントローラー２の形状、大きさ、部品の配置等の構成は、上述したような本発明の効果を得られるものであれば、図示したものに限られない。
また、図４、図９、図１２等で示した表示システム１，１Ａ，１Ｂの構成は、表示システム１，１Ａ，１Ｂの構成を理解容易にするために、主な処理内容に応じて分類したものである。構成要素の分類の仕方や名称によって、本願発明が制限されることはない。表示システム１，１Ａ，１Ｂの構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。また、各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。
また、表示システム１，１Ａ，１Ｂに含まれるコントローラー２等の各装置の処理又は機能の分担は、本発明の目的を達成できるのであれば、上述したものに限られない。例えば、コントローラー２の少なくとも一部の機能、例えばセンサーの情報に基づいて画像を生成する機能は、表示装置３に含まれていてもよい。この場合、表示装置３の表示制御部３１は、コントローラー２のセンサー２７、及び一以上のセンサー装置４のセンサー、の少なくとも一以上のセンサーにより出力されるセンサー情報に基づいて、傾きを示す画像の画像信号を生成し、この画像信号に基づいて表示を行う。
また、図５等で示したフローチャートの処理単位は、表示システム１，１Ａ，１Ｂの処理を理解容易にするために、主な処理内容に応じて分割したものである。処理単位の分割の仕方や名称によって、本願発明が制限されることはない。表示システム１，１Ａ，１Ｂの処理は、処理内容に応じて、さらに多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。さらに、上記のフローチャートの処理順序も、図示した例に限られるものではない。
本発明は、胴部、頭部、首だけでなく、その他体の各部の傾きの表示に適用することができる。また、本発明は、プッシャー症候群等のリハビリだけでなく、姿勢やバランスの矯正などにも使用することができる。また、本発明は、患者の立位だけでなく、座位、歩行中などにも使用することができる。また、本発明は、いわゆる眼鏡型の透過型ヘッドマウントディスプレイだけでなく、軸画像２２０又は体画像２００又は格子状の画像と、外界の画像とが表示されれば、頭部に装着して画像を表示可能な表示装置に適用できる。
１，１Ａ，１Ｂ：表示システム
２：コントローラー
３：表示装置
４：センサー装置
５：情報処理装置
２０：制御部
２１：通信部
２２：記憶部
２３：音声出力部
２４：操作パネル
２５：メディアＩ／Ｆ
２６：通信部
２７：センサー
３０：通信部
３１：表示制御部
３１Ｌ：左表示制御部
３１Ｒ：右表示制御部
３２：投写部
３２Ｌ：左投写部
３２Ｒ：右投写部
３３：表示部
３３Ｌ：左表示部
３３Ｒ：右表示部
３４：センサー
３５：音声出力部
２００：体画像
２１０：軸画像
２２０：軸画像
２２１：軸画像
２３０：角度情報
２４０：方向画像
３２０：画像生成部
３２０Ｌ：左画像生成部
３２０Ｒ：右画像生成部
３２１：光学系
３２１Ｌ：左光学系
３２１Ｒ：右光学系
３３０：導光部
３３０Ｌ：左導光部
３３０Ｒ：右導光部
３３１：反射部
３３１Ｌ：左反射部
３３１Ｒ：右反射部
３３２：シェード
３３２Ｌ：左シェード
３３２Ｒ：右シェード
４００：操作画面
４１０：身長欄
４２０：座高欄
４３０：欄
４４０：欄
Ｂ：バンド
ＢＧ：光学像
ＥＬ：左眼
ＩＭ：画像
Ｌ１：画像光
Ｌ２：光
ＮＰ：体軸
Ｐ：体軸

Claims (16)

  1. ユーザーの頭部に装着されるための表示装置と、前記表示装置に接続される表示制御装置とを有する表示システムであって、
    前記表示制御装置は、
    前記ユーザーの傾きを検出する検出部と、
    前記傾きを示す第１の傾き画像を前記表示装置に送信する送信部と、を有し、
    前記表示装置は、
    前記第１の傾き画像を前記表示制御部から受信する受信部と、
    前記第１の傾き画像と外界の画像とを表示する表示部と、を有する
    表示システム。
  2. 請求項１に記載の表示システムであって、
    前記表示制御装置は、前記傾きを検出する第１のセンサーを含み、前記ユーザーに装着される、
    表示システム。
  3. 請求項２に記載の表示システムであって、
    前記表示制御装置と接続されるセンサー装置を一以上有し、
    前記一以上のセンサー装置は、前記ユーザーに装着され、
    前記検出部は、前記第１のセンサー及び前記一以上のセンサー装置により前記ユーザーの一以上の個所の傾きを検出し、
    前記送信部は、前記一以上の個所の傾きを示す第２の傾き画像を前記表示装置に送信し、
    前記受信部は、前記第２の傾き画像を前記表示制御部から受信し、
    前記表示部は、前記第２の傾き画像を表示する
    表示システム。
  4. 請求項１に記載の表示システムであって、
    前記表示制御装置と接続されるセンサー装置を一以上有し、
    前記一以上のセンサー装置は、前記ユーザーに装着され、
    前記検出部は、前記一以上のセンサー装置により前記ユーザーの一以上の個所の傾きを検出し、
    前記送信部は、前記一以上の個所の傾きを示す第３の傾き画像を前記表示装置に送信し、
    前記受信部は、前記第３の傾き画像を前記表示制御部から受信し、
    前記表示部は、前記第３の傾き画像を表示する
    表示システム。
  5. 請求項１〜４のいずれか一項に記載の表示システムであって、
    前記第１の傾き画像は、前記ユーザーの胴部の傾きを示す画像を含む
    表示システム。
  6. ユーザーの頭部に装着されるための表示装置と、前記表示装置に接続される表示制御装置とを有する表示システムであって、
    前記表示制御装置に接続される情報処理装置と、前記ユーザーに装着される一以上のセンサー装置とを有し、
    前記情報処理装置は、
    前記ユーザーの一以上の箇所の傾きを前記一以上のセンサー装置により検出する検出部と、
    前記一以上の個所の傾きを示す第４の傾き画像を前記表示制御装置に送信する送信部と、を有し、
    前記表示制御装置は、
    前記第４の傾き画像を前記情報処理装置から受信する受信部と、
    前記第４の傾き画像を前記表示装置に送信する送信部と、を有し、
    前記表示装置は、
    前記第４の傾き画像を前記表示制御装置から受信する受信部と、
    前記第４の傾き画像と外界の画像とを表示する表示部と、を有する
    表示システム。
  7. 請求項６に記載の表示システムであって、
    前記第４の傾き画像は、前記ユーザーの胴部の傾きを示す画像を含む
    表示システム。
  8. 請求項５又は７に記載の表示システムであって、
    前記表示部は、さらに、鉛直方向又は水平方向を示す画像を表示する
    表示システム。
  9. 請求項８に記載の表示システムであって、
    前記表示装置及び前記表示制御部の少なくとも一方は、前記ユーザーの胴部の傾きが所定範囲を超えた場合に、アラームを出力する音声出力部を有する
    表示システム。
  10. ユーザーの頭部に装着されるための表示装置であって、
    前記ユーザーの傾きを示す第１の傾き画像と外界の画像とを表示する表示部、を有する
    表示装置。
  11. 請求項１０に記載の表示装置であって、
    前記第１の傾き画像を表示制御部から受信する受信部を有する
    表示装置。
  12. 請求項１１に記載の表示装置であって、
    前記第１の傾き画像は、前記ユーザーの胴部の傾きを示す画像を含む
    表示装置。
  13. ユーザーの頭部に装着されるための表示装置に接続される表示制御装置であって、
    前記ユーザーの傾きを検出する検出部と、
    前記傾きを示す第１の傾き画像を前記表示装置に送信する送信部と、を有する
    表示制御装置。
  14. 請求項１３に記載の表示制御装置であって、
    前記第１の傾き画像は、前記ユーザーの胴部の傾きを示す画像を含む
    表示制御装置。
  15. ユーザーの頭部に装着されるための表示装置を有する表示システムにおける表示方法であって、
    前記ユーザーの傾きを検出する工程と、
    前記傾きを示す第１の傾き画像を生成する工程と、
    前記第１の傾き画像と外界の画像とを表示する工程と、を含む
    表示方法。
  16. ユーザーの頭部に装着されるための表示装置に接続される表示制御装置のプログラムであって、
    前記ユーザーの傾きを検出する工程と、
    前記傾きを示す第１の傾き画像を前記表示装置に送信する工程と、を前記表示制御装置に実行させる
    プログラム。
JP2014110947A 2014-05-29 2014-05-29 表示システム、表示装置、表示制御装置、表示方法、およびプログラム Withdrawn JP2015225276A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014110947A JP2015225276A (ja) 2014-05-29 2014-05-29 表示システム、表示装置、表示制御装置、表示方法、およびプログラム
CN201510272580.4A CN105278105A (zh) 2014-05-29 2015-05-25 显示系统、显示装置、显示控制装置、及显示方法
EP15169590.5A EP2950133A1 (en) 2014-05-29 2015-05-28 Display system, display apparatus, display control apparatus, display method, and program
US14/723,764 US20150346811A1 (en) 2014-05-29 2015-05-28 Display system, display apparatus, display control apparatus, display method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014110947A JP2015225276A (ja) 2014-05-29 2014-05-29 表示システム、表示装置、表示制御装置、表示方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2015225276A true JP2015225276A (ja) 2015-12-14
JP2015225276A5 JP2015225276A5 (ja) 2017-06-29

Family

ID=53385466

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014110947A Withdrawn JP2015225276A (ja) 2014-05-29 2014-05-29 表示システム、表示装置、表示制御装置、表示方法、およびプログラム

Country Status (4)

Country Link
US (1) US20150346811A1 (ja)
EP (1) EP2950133A1 (ja)
JP (1) JP2015225276A (ja)
CN (1) CN105278105A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018168756A1 (ja) * 2017-03-15 2018-09-20 本田技研工業株式会社 歩行支援システム、歩行支援方法、及びプログラム
JP2021043850A (ja) * 2019-09-13 2021-03-18 株式会社日立製作所 見守りシステム、見守り方法及び記憶媒体

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6454821B2 (ja) * 2016-04-06 2019-01-16 ナーブ株式会社 表示装置及び表示装置用品
JP7120162B2 (ja) * 2019-06-07 2022-08-17 トヨタ自動車株式会社 歩行訓練システムおよび歩行訓練システムの制御プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007312877A (ja) * 2006-05-24 2007-12-06 Anima Kk 身体測定装置
JP2009125506A (ja) * 2007-11-27 2009-06-11 Panasonic Electric Works Co Ltd 歩容改善支援システム
JP2012081089A (ja) * 2010-10-12 2012-04-26 Canon Inc 映像情報処理装置および方法
JP2014090841A (ja) * 2012-11-02 2014-05-19 Sony Corp 情報処理装置および情報処理方法、並びにプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5966680A (en) * 1996-02-15 1999-10-12 Butnaru; Hanan Motion sickness/vertigo prevention device and method
JPH1185051A (ja) 1997-09-08 1999-03-30 Canon Inc ヘッドマウントディスプレイ装置
JP3363837B2 (ja) * 1999-06-11 2003-01-08 キヤノン株式会社 ユーザインタフェース装置および情報処理方法
US6972734B1 (en) * 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
US9067097B2 (en) * 2009-04-10 2015-06-30 Sovoz, Inc. Virtual locomotion controller apparatus and methods
JP5754074B2 (ja) * 2010-03-19 2015-07-22 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2013103010A (ja) * 2011-11-15 2013-05-30 Sony Corp 画像処理装置、画像処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007312877A (ja) * 2006-05-24 2007-12-06 Anima Kk 身体測定装置
JP2009125506A (ja) * 2007-11-27 2009-06-11 Panasonic Electric Works Co Ltd 歩容改善支援システム
JP2012081089A (ja) * 2010-10-12 2012-04-26 Canon Inc 映像情報処理装置および方法
JP2014090841A (ja) * 2012-11-02 2014-05-19 Sony Corp 情報処理装置および情報処理方法、並びにプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018168756A1 (ja) * 2017-03-15 2018-09-20 本田技研工業株式会社 歩行支援システム、歩行支援方法、及びプログラム
JP2018153234A (ja) * 2017-03-15 2018-10-04 本田技研工業株式会社 歩行支援システム、歩行支援方法、及びプログラム
JP2021043850A (ja) * 2019-09-13 2021-03-18 株式会社日立製作所 見守りシステム、見守り方法及び記憶媒体
JP7356849B2 (ja) 2019-09-13 2023-10-05 株式会社日立製作所 見守りシステム、見守り方法及び記憶媒体

Also Published As

Publication number Publication date
US20150346811A1 (en) 2015-12-03
EP2950133A1 (en) 2015-12-02
CN105278105A (zh) 2016-01-27

Similar Documents

Publication Publication Date Title
CN110275603B (zh) 分布式人造现实系统、手镯设备和头戴式显示器
TWI621967B (zh) 虛擬實境系統
CN108535868B (zh) 头部佩戴型显示装置及其控制方法
US10460165B2 (en) Head mounted display
CN109960481B (zh) 显示系统及其控制方法
CN106471419A (zh) 管理信息显示
JP2018142857A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
US20210183342A1 (en) Display system, electronic device, and display method
JP2015225276A (ja) 表示システム、表示装置、表示制御装置、表示方法、およびプログラム
WO2016013272A1 (ja) 情報処理装置及び情報処理方法、並びに画像表示システム
CN111226436A (zh) 具有用于深度感测的可编程衍射光学元件的照相机组件
US10121409B2 (en) Display device, method of controlling display device, and program
US20200089003A1 (en) Electronic device
JP2019109850A (ja) 透過型表示装置、表示制御方法、およびコンピュータープログラム
US20190286224A1 (en) Distributed artificial reality system with contextualized hand tracking
US9805612B2 (en) Interest-attention feedback method for separating cognitive awareness into different left and right sensor displays
WO2018149267A1 (zh) 一种基于增强现实的显示方法及设备
JP2005321479A (ja) 頭部装着型表示装置
US20210080719A1 (en) Low-obliquity beam scanner with polarization-selective grating
WO2018123074A1 (ja) 撮影装置
WO2021014673A1 (ja) 映像表示制御装置、方法およびプログラム
JP2019053644A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
JP2017199954A (ja) 頭部装着型表示装置、表示システム、頭部装着型表示装置の制御方法、およびコンピュータープログラム
JP2022056043A (ja) 表示システム、表示方法及びプログラム
WO2017122508A1 (ja) 情報表示システムおよび情報表示方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160617

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20160628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170517

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180227

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20180424