JP2015161699A - 表示システム、健康器具および表示制御方法 - Google Patents
表示システム、健康器具および表示制御方法 Download PDFInfo
- Publication number
- JP2015161699A JP2015161699A JP2014035026A JP2014035026A JP2015161699A JP 2015161699 A JP2015161699 A JP 2015161699A JP 2014035026 A JP2014035026 A JP 2014035026A JP 2014035026 A JP2014035026 A JP 2014035026A JP 2015161699 A JP2015161699 A JP 2015161699A
- Authority
- JP
- Japan
- Prior art keywords
- video
- display
- mirror image
- image
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 13
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 description 14
- 238000012986 modification Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- WBMKMLWMIQUJDP-STHHAXOLSA-N (4R,4aS,7aR,12bS)-4a,9-dihydroxy-3-prop-2-ynyl-2,4,5,6,7a,13-hexahydro-1H-4,12-methanobenzofuro[3,2-e]isoquinolin-7-one hydrochloride Chemical compound Cl.Oc1ccc2C[C@H]3N(CC#C)CC[C@@]45[C@@H](Oc1c24)C(=O)CC[C@@]35O WBMKMLWMIQUJDP-STHHAXOLSA-N 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 206010033799 Paralysis Diseases 0.000 description 5
- 208000004983 Phantom Limb Diseases 0.000 description 2
- 206010056238 Phantom pain Diseases 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 208000002193 Pain Diseases 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
- A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2205/00—General characteristics of the apparatus
- A61M2205/50—General characteristics of the apparatus with microprocessors or computers
- A61M2205/502—User interfaces, e.g. screens or keyboards
- A61M2205/507—Head Mounted Displays [HMD]
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Acoustics & Sound (AREA)
- Anesthesiology (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Physical Education & Sports Medicine (AREA)
- Psychology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Hematology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Rehabilitation Tools (AREA)
- Computer Hardware Design (AREA)
- Controls And Circuits For Display Device (AREA)
- Computer Graphics (AREA)
Abstract
【課題】広範な用途に適応できる表示システムを提供する。
【解決手段】表示システム１は、ヘッドマウントディスプレイ１０と、入力映像信号により示される映像のうち、一部の領域の映像から鏡像を生成する鏡像生成手段と、前記鏡像生成手段により生成された鏡像を、前記ヘッドマウントディスプレイに表示させる制御手段とを有する
【選択図】図１
【解決手段】表示システム１は、ヘッドマウントディスプレイ１０と、入力映像信号により示される映像のうち、一部の領域の映像から鏡像を生成する鏡像生成手段と、前記鏡像生成手段により生成された鏡像を、前記ヘッドマウントディスプレイに表示させる制御手段とを有する
【選択図】図１
Description
本発明は、表示システム、健康器具および表示制御方法に関する。
四肢の不自由な患者のリハビリ支援に、電子的な表示システムを活用することが検討されている。例えば特許文献１は、幻肢痛の患者のリハビリに用いられる疼痛治療支援装置を開示している。
特許文献１に記載の技術は、幻肢痛の患者のリハビリに用途が限られていた。これに対し本発明は、より広範な用途に適応できる表示システムを提供する。
本発明は、ヘッドマウントディスプレイと、入力映像信号により示される映像のうち、一部の領域の映像から鏡像を生成する鏡像生成手段と、前記鏡像生成手段により生成された鏡像を、前記ヘッドマウントディスプレイに表示させる制御手段とを有する表示システムを提供する。
この表示システムによれば、鏡像を利用する用途に利用することができる。
この表示システムによれば、鏡像を利用する用途に利用することができる。
前記ヘッドマウントディスプレイは、透過型表示部を有してもよい。
この表示システムによれば、鏡像と背景とを併せて表示する用途に利用することができる。
この表示システムによれば、鏡像と背景とを併せて表示する用途に利用することができる。
前記制御手段は、前記入力映像信号により示される映像のうち、前記一部の領域の映像を消去した映像を、前記ヘッドマウントディスプレイに表示させてもよい。
この表示システムによれば、より臨場感のある鏡像を提供することができる。
この表示システムによれば、より臨場感のある鏡像を提供することができる。
前記入力映像信号は、カメラにより撮影されたリアルタイム映像を示してもよい。
この表示システムによれば、より臨場感のある鏡像を提供することができる。
この表示システムによれば、より臨場感のある鏡像を提供することができる。
前記入力映像信号により示される映像は、身体部分の映像を示してもよい。
この表示システムによれば、身体部分の映像の鏡像を得ることができる。
この表示システムによれば、身体部分の映像の鏡像を得ることができる。
前記制御手段は、前記入力映像信号により示される映像のうち、人間の体以外の部分を消去してもよい。
この表示システムによれば、人体部分の鏡像を利用することができる。
この表示システムによれば、人体部分の鏡像を利用することができる。
前記入力映像信号はＲＧＢ表色系に従った信号であり、この表示システムは、前記ＲＧＢ表色系の信号をＨＳＶ表色系の信号に変換する変換手段と、前記変換手段により変換された信号により示される映像から、人間の体の部分を抽出する抽出手段を有し、前記制御手段は、前記抽出手段により抽出された部分以外の部分を消去してもよい。
この表示システムによれば、人体部分の鏡像を利用することができる。
この表示システムによれば、人体部分の鏡像を利用することができる。
前記ヘッドマウントディスプレイは、立体視映像を表示してもよい。
この表示システムによれば、より臨場感のある鏡像を提供することができる。
この表示システムによれば、より臨場感のある鏡像を提供することができる。
また、本発明は、ヘッドマウントディスプレイと、入力映像信号により示される映像のうち、一部の領域の映像から鏡像を生成する鏡像生成手段と、前記鏡像生成手段により生成された鏡像を、前記ヘッドマウントディスプレイに表示させる制御手段とを有する健康器具を提供する。
この健康器具によれば、鏡像を利用するリハビリを行うことができる。
この健康器具によれば、鏡像を利用するリハビリを行うことができる。
さらに、本発明は、入力映像信号により示される映像のうち、一部の領域の映像から鏡像を生成するステップと、前記生成された鏡像を、ヘッドマウントディスプレイに表示させるステップとを有する表示制御方法を提供する。
この表示制御方法によれば、鏡像を利用する用途に利用することができる。
この表示制御方法によれば、鏡像を利用する用途に利用することができる。
１．構成
図１は、一実施形態に係る表示システム１の概要を示す図である。この例で、表示システム１は、四肢の麻痺がある患者のリハビリ支援に用いられる健康器具である。具体的には、表示システム１は、例えば左手に麻痺があるが右手は動く患者に対し、右手の画像を撮影し、撮影した画像の鏡像（左手に見える）をこの患者に見せることにより左手が動いているかのような錯覚を与え、左手の機能回復を図るリハビリ方法を提供する。この方法はミラーセラピーと呼ばれている。
図１は、一実施形態に係る表示システム１の概要を示す図である。この例で、表示システム１は、四肢の麻痺がある患者のリハビリ支援に用いられる健康器具である。具体的には、表示システム１は、例えば左手に麻痺があるが右手は動く患者に対し、右手の画像を撮影し、撮影した画像の鏡像（左手に見える）をこの患者に見せることにより左手が動いているかのような錯覚を与え、左手の機能回復を図るリハビリ方法を提供する。この方法はミラーセラピーと呼ばれている。
表示システム１は、ＨＭＤ（Head Mount Display：ヘッドマウントディスプレイ）１０と、カメラ２０と、制御装置３０とを有する。
図２は、ＨＭＤ１０の概要を示す図である。ＨＭＤ１０は、ユーザーの頭部に装着された状態で使用される表示装置である。ＨＭＤ１０は、装着部１０１と、表示部１０２と、表示部１０３と、表示装置１０４とを有する。装着部１０１は、ユーザーの頭部に装着するための部材、例えば眼鏡フレームやヘッドバンドである。表示部１０２および表示部１０３は画像を表示する。装着部１０１を正しく装着した状態で、表示部１０２はユーザーの右目に相当する位置に、表示部１０３はユーザーの左目に相当する位置になるように、装着部１０１、表示部１０２、および表示部１０３の相対的位置関係が設計されている。表示装置１０４は、表示部１０２および表示部１０３に映像を表示する。表示装置１０４は、例えば、入力部と、信号処理部と、光源と、光変調部と、投写部とを有する（いずれも図示略）。入力部は外部から映像信号の入力を受け付ける。信号処理部は、映像信号に対し所定の処理を行う。光源は光を出力する。光変調部は、光源からの光を、映像信号に応じて変調する。光変調部は、例えば液晶パネルを含む。投写部は、光変調部により変調された光を、表示部１０２および表示部１０３に投射する。投写部は、レンズ、プリズム、およびミラー等の光学系を含む。この例で、ＨＭＤ１０は、いわゆるシースルー型のＨＭＤである。すなわち、表示部１０２および表示部１０３は、表示装置１０４により投写された映像を反射するとともに背景を透過する透過型の表示部である。
カメラ２０は撮影した映像（動画または静止画）を示す映像信号を出力する。制御装置３０は、カメラ２０から出力された映像信号に応じて、ＨＭＤ１０に表示させる映像を制御する。
図３は、表示システム１の機能構成を示す図である。表示システム１は、映像取得手段１１と、信号変換手段１２と、人体抽出手段１３と、背景除去手段１４と、鏡像生成手段１５と、表示制御手段１６とを有する。映像取得手段１１は、映像源から映像信号を取得する。この例で、映像信号は、カメラ２０により撮影されたリアルタイム映像を示す。映像信号は、所定の表色系（例えばＲＧＢ系）によってカラー映像を示している。信号変換手段１２は、映像信号により示される映像の表色系を、この表色系から別の表色系（例えばＨＳＶ系）に変換する。人体抽出手段１３は、変換された映像信号を用いて、映像のうち人体を示している領域を特定（すなわち抽出）する。背景除去手段１４は、映像のうち背景部分（すなわち人体以外の部分）を除去する。鏡像生成手段１５は、背景が除去された映像について、鏡像を生成する。表示制御手段１６は、生成された鏡像を表示するようにＨＭＤ１０を制御する。
図４は、制御装置３０のハードウェア構成を示す図である。制御装置３０は、ＣＰＵ（Central Processing Unit）３０１と、ＲＡＭ（Random Access Memory）３０２と、ＲＯＭ（Read Only Memory）３０３と、入出力インターフェース３０４と、映像出力部３０５と、記憶装置３０６とを有するコンピューター装置である。ＣＰＵ３０１は、プログラムに従って種々の処理を行う処理装置である。ＲＡＭ３０２は、ＣＰＵ３０１がプログラムを実行する際のワークエリアとして機能する記憶装置である。ＲＯＭ３０３は、制御装置３０の起動などに用いられるプログラムおよびデータを記憶した不揮発性の記憶装置である。入出力インターフェース３０４は、カメラ２０から出力された映像信号を受け付けるインターフェースであり、所定の規格（例えばＵＳＢ（Universal Serial Bus））に従って信号を中継する。映像出力部３０５は、ＨＭＤ１０に対し映像信号を出力する。ＨＭＤ１０と制御装置３０とは、有線で接続されてもよいし無線で接続されてもよい。記憶装置３０６は、プログラムおよびデータを記憶する不揮発性の記憶装置（いわゆるストレージ）であり、例えばＨＤＤ（Hard Disk Drive）またはフラッシュメモリーを含む。
この例で、記憶装置３０６は、表示システム１をリハビリ支援装置として機能させるためのプログラム（以下「支援プログラム」という）を記憶している。ＣＰＵ３０１が支援プログラムを実行することにより、制御装置３０に図２で説明した機能が実装される。ここで、入出力インターフェース３０４は映像取得手段１１の一例である。支援プログラムを実行しているＣＰＵ３０１は、信号変換手段１２、人体抽出手段１３、背景除去手段１４、鏡像生成手段１５、および表示制御手段１６の一例である。
２．動作
図５は、一実施形態に係る表示システム１の動作を示すフローチャートである。図５のフローは、例えば、支援プログラムの実行が指示されたことを契機として開始される。以下の説明においては、支援プログラムを処理の主体として記載する場合があるが、これは、支援プログラムを実行しているＣＰＵ３０１が、他のハードウェアと協働してその処理を実行することを意味する。なお、図５のフローの開始時点において、ユーザー（患者）はＨＭＤ１０を頭部に装着しており、支援プログラムにより指定される姿勢をとっている。
図５は、一実施形態に係る表示システム１の動作を示すフローチャートである。図５のフローは、例えば、支援プログラムの実行が指示されたことを契機として開始される。以下の説明においては、支援プログラムを処理の主体として記載する場合があるが、これは、支援プログラムを実行しているＣＰＵ３０１が、他のハードウェアと協働してその処理を実行することを意味する。なお、図５のフローの開始時点において、ユーザー（患者）はＨＭＤ１０を頭部に装着しており、支援プログラムにより指定される姿勢をとっている。
表示システム１の使用状態は、図１で示したとおりである。この例で、ユーザーは、両手のうちいずれか一方の手が麻痺している患者である。このユーザーは、椅子に腰掛けており、机の上に両手を置いている。ユーザーは、自分の両手の辺りを見ている。
図６は、カメラ２０により撮影される映像を例示する図である。このように、カメラ２０は、画面いっぱいにユーザーの両手の映像を撮影している。画面を中央で２分割したときに、画面の右半分には右手が、左半分には左手が映っている。
再び図５を参照する。ステップＳ１０１において、支援プログラムは、映像取り込みサイドを決定する。映像取り込みサイドとは、鏡像を生成する元となる領域である。例えば左手に麻痺があるが右手は動くユーザーに対しては、映像の右半分を映像取り込みサイドとする。逆に、右手に麻痺があるが左手は動くユーザーに対しては、映像の左半分を映像取り込みサイドとする。映像取り込みサイドは、ユーザーまたはその介助者により入力される。
ステップＳ１０２において、支援プログラムは、カメラ２０から入力された映像信号により示される映像を、１フレーム分取り込む。具体的には、支援プログラムは、１フレーム分の映像データをＲＡＭ３０２に記憶させる。
ステップＳ１０３において、支援プログラムは、ＲＡＭ３０２に記憶されている映像データの表色系を、ＲＧＢ系からＨＳＶ系に変換する。ＲＧＢ系からＨＳＶ系への変換は、例えば以下のように行われる。なおこの例では、映像データにおいてＲＧＢ成分はそれぞれ８ビットのデータである。また、変数ＭＡＸはＲＧＢのうち最大階調の階調値を、変数ＭＩＮはＲＧＢのうち最小階調の階調値を、それぞれ示す。なお、この例で、ＨＳＶ表色系において、Ｈ成分は０〜３６０の値を、Ｓ成分およびＶ成分は０〜２５５の値を、それぞれとる。なお、支援プログラムは、処理対象のフレームについて、ＲＧＢ系の映像データおよびＨＳＶ系の映像データの双方をＲＡＭ３０２に記憶する。
Ｈ成分について
（１）ＭＡＸ＝ＭＩＮの場合：
Ｈ＝０
（２）Ｒが最大の場合：
（３）Ｇが最大の場合：
（４）Ｂが最大の場合：
（１）ＭＡＸ＝ＭＩＮの場合：
Ｈ＝０
（２）Ｒが最大の場合：
Ｓ成分について
（１）ＭＡＸ＝０の場合：
Ｓ＝０
（２）ＭＡＸ≠０の場合：
（１）ＭＡＸ＝０の場合：
Ｓ＝０
（２）ＭＡＸ≠０の場合：
Ｖ成分について
Ｖ＝ＭＡＸ
Ｖ＝ＭＡＸ
ステップＳ１０４において、支援プログラムは、ＲＧＢ系の映像データから、背景を除去する。背景の除去は、例えば以下のように行われる。支援プログラムは、ＨＳＶ系の映像取り込みサイドの映像データのうち肌色以外を示す画素（具体的にはＨ成分が特定の条件（例えばＨ＜４８またはＨ＞３４０）を満たす画素）については、ＲＧＢ系の映像データにおいてその画素に対応する画素の階調（色）を黒に補正する。なお、この処理は、映像取り込みサイドについてのみ行えばよい。
図７は、ステップＳ１０４の状態を例示する図である。ここでは、肌色（腕）以外の部分は除去され、黒に変更されている。また、ここでは映像取り込みサイドでない領域の画素の階調はすべて黒に補正されている。
再び図５を参照する。ステップＳ１０５において、支援プログラムは、背景が除去されたＲＧＢ系の映像データから、左右を反転した鏡像を示すデータ（以下「鏡像データ」という）を生成する。支援プログラムは、鏡像データを、ＲＡＭ３０２のＲＧＢ系の映像データの記憶領域のうち、映像取り込みサイドでない領域に対応する記憶領域に書き込む。例えば、映像取り込みサイドが右側だった場合、支援プログラムは、映像の右半分から鏡像を生成して、生成した鏡像を左半分に書き込む。
図８は、ステップＳ１０５の状態を例示する図である。映像取り込みサイドでない領域には、右手の鏡像が書き込まれている。
再び図５を参照する。ステップＳ１０６において、支援プログラムは、映像取り込みサイドの映像を消去する。すなわち、映像取り込みサイドの画素の階調（色）をすべて黒に変更する。
図９は、ステップＳ１０６の状態を例示する図である。映像取り込みサイドでない領域には、右手の鏡像が書き込まれ、映像取り込みサイドは全面黒に補正されている。
再び図５を参照する。ステップＳ１０７において、支援プログラムは、上記の処理をされたＲＧＢ系の映像データにより示される映像を表示するように、ＨＭＤ１０を制御する。すなわち、支援プログラムは、ＲＡＭ３０２に記憶されているＲＧＢ計の映像データを用いて生成された映像信号を、ＨＭＤ１０に出力する。ＨＭＤ１０は、この映像信号に従って映像を表示する。
図１０は、ユーザーにより視認される像を例示する図である。映像の左半分には、右手の映像から生成された鏡像が見えている。表示部１０２および表示部１０３において黒が表示される部分においては、背景が透過される。映像の右半分には背景すなわち表示部を透過して実際の右手が見えている。ユーザーが右手を動かすと、鏡像である左手が動いているように見える。
再び図５を参照する。ステップＳ１０８において、支援プログラムは、終了条件が満たされたか判断する。終了条件は、例えば、ユーザーから終了の指示が入力されたという条件である。終了条件が満たされていない場合（Ｓ１０８：ＮＯ）、支援プログラムは、処理をステップＳ１０２に移行する。終了条件が満たされてた場合（Ｓ１０８：ＹＥＳ）、支援プログラムは、図５のフローを終了する。
従来、ミラーセラピーは、鏡を斜めに設置した箱の中に両手を入れて行っていた。この方法では、患者は箱を見ながらリハビリを行うことになり臨場感に欠けていた。しかし、本実施形態によれば、シースルーのＨＭＤ１０を介して周囲の光景の中でリハビリを行うことができ、よりリハビリ効果が高まることが期待される。
３．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。
３−１．変形例１
ＨＭＤ１０は、シースルー型のＨＭＤではなく、背景を透過しないクローズドなＨＭＤであってもよい。この場合、支援プログラムは、腕以外の部分に、別の映像（カメラで撮影した映像またはあらかじめ用意された背景映像）を合成してもよい。
ＨＭＤ１０は、シースルー型のＨＭＤではなく、背景を透過しないクローズドなＨＭＤであってもよい。この場合、支援プログラムは、腕以外の部分に、別の映像（カメラで撮影した映像またはあらかじめ用意された背景映像）を合成してもよい。
３−２．変形例２
映像取り込みサイドの映像は消去されず、そのまま表示されてもよい。クローズドなＨＭＤを用いた場合はこれで両腕の映像が表示される。シースルーのＨＭＤを用いた場合は映像の腕と透過して見える実際の腕が重なってしまうが、使用状況によっては問題ない場合もある。
映像取り込みサイドの映像は消去されず、そのまま表示されてもよい。クローズドなＨＭＤを用いた場合はこれで両腕の映像が表示される。シースルーのＨＭＤを用いた場合は映像の腕と透過して見える実際の腕が重なってしまうが、使用状況によっては問題ない場合もある。
３−３．変形例３
映像源はカメラ２０からのリアルタイム映像に限定されない。例えば患者の右手を動かす映像をあらかじめ撮影しておき、リハビリ時にはこの映像を繰り返し再生して映像源としてもよい。
映像源はカメラ２０からのリアルタイム映像に限定されない。例えば患者の右手を動かす映像をあらかじめ撮影しておき、リハビリ時にはこの映像を繰り返し再生して映像源としてもよい。
３−４．変形例４
腕以外の背景を除去する処理（ステップＳ１０４）は省略されてもよい。すなわち、背景も含め、取り込みサイドの映像がそのまま鏡像となってもよい。クローズドなＨＭＤを用いる場合はこれが有効である。
腕以外の背景を除去する処理（ステップＳ１０４）は省略されてもよい。すなわち、背景も含め、取り込みサイドの映像がそのまま鏡像となってもよい。クローズドなＨＭＤを用いる場合はこれが有効である。
３−５．変形例５
人体（肌色）を抽出する方法は実施形態で説明したものに限定されない。映像データをＨＳＶ系に変換せず、ＲＧＢ系のまま、ＲＧＢ各成分の階調値の関係からその画素が肌色かどうか判断してもよい。
人体（肌色）を抽出する方法は実施形態で説明したものに限定されない。映像データをＨＳＶ系に変換せず、ＲＧＢ系のまま、ＲＧＢ各成分の階調値の関係からその画素が肌色かどうか判断してもよい。
３−６．変形例６
ＨＭＤ１０に表示する映像は、立体視映像であってもよい。ＨＭＤ１０においては右目用の映像と左目用の映像とをそれぞれ独立に表示することができるので、立体視映像の表示は容易である。これにより、より臨場感のあるリハビリを行うことができる。
ＨＭＤ１０に表示する映像は、立体視映像であってもよい。ＨＭＤ１０においては右目用の映像と左目用の映像とをそれぞれ独立に表示することができるので、立体視映像の表示は容易である。これにより、より臨場感のあるリハビリを行うことができる。
３−７．変形例７
図１１は、変形例７に係るカメラ２０の配置を示す図である。カメラ２０は、ＨＭＤ１０に取り付けられていてもよい。この配置によれば、カメラ２０により撮影される映像はユーザーの視野により近いものとなり、より臨場感のあるリハビリを行うことができる。
図１１は、変形例７に係るカメラ２０の配置を示す図である。カメラ２０は、ＨＭＤ１０に取り付けられていてもよい。この配置によれば、カメラ２０により撮影される映像はユーザーの視野により近いものとなり、より臨場感のあるリハビリを行うことができる。
３−８．他の変形例
表示システム１の用途はリハビリに限定されない。表示システム１は、リハビリ以外の用途、例えばゲームに用いられてもよい。
表示システム１の用途はリハビリに限定されない。表示システム１は、リハビリ以外の用途、例えばゲームに用いられてもよい。
実施形態では制御装置３０がコンピューター装置であり、支援プログラムに従って処理が行われる例を説明した。しかし、実施形態で説明した機能は、ＦＰＧＡ（Field-Programmable Gate Array）や専用ＩＣ（Integrated Circuit）によりハードウェアとして実装されてもよい。また、実施形態で制御装置３０の機能として説明したものの一部または全部を、ＨＭＤ１０が有していてもよい。
１…表示システム、１０…ＨＭＤ、１１…映像取得手段、１２…信号変換手段、１３…人体抽出手段、１４…背景除去手段、１５…鏡像生成手段、１６…表示制御手段、２０…カメラ、３０…制御装置、１０１…装着部、１０２…表示部、１０３…表示部、１０４…表示装置、３０１…ＣＰＵ、３０２…ＲＡＭ、３０３…ＲＯＭ、３０４…入出力インターフェース、３０５…映像出力部、３０６…記憶装置
Claims (10)
- ヘッドマウントディスプレイと、
入力映像信号により示される映像のうち、一部の領域の映像から鏡像を生成する鏡像生成手段と、
前記鏡像生成手段により生成された鏡像を、前記ヘッドマウントディスプレイに表示させる制御手段と
を有する表示システム。 - 前記ヘッドマウントディスプレイは、透過型表示部を有する
ことを特徴とする請求項１に記載の表示システム。 - 前記制御手段は、前記入力映像信号により示される映像のうち、前記一部の領域の映像を消去した映像を、前記ヘッドマウントディスプレイに表示させる
ことを特徴とする請求項２に記載の表示システム。 - 前記入力映像信号は、カメラにより撮影されたリアルタイム映像を示す
ことを特徴とする請求項１ないし３のいずれか一項に記載の表示システム。 - 前記入力映像信号により示される映像は、身体部分の映像を示す
ことを特徴する請求項1ないし請求項４のいずれか一項に記載の表示システム。 - 前記制御手段は、前記入力映像信号により示される映像のうち、人間の体以外の部分を消去する
ことを特徴とする請求項１ないし５のいずれか一項に記載の表示システム。 - 前記入力映像信号はＲＧＢ表色系に従った信号であり、
前記ＲＧＢ表色系の信号をＨＳＶ表色系の信号に変換する変換手段と、
前記変換手段により変換された信号により示される映像から、人間の体の部分を抽出する抽出手段を有し、
前記制御手段は、前記抽出手段により抽出された部分以外の部分を消去する
ことを特徴とする請求項６に記載の表示システム。 - 前記ヘッドマウントディスプレイは、立体視映像を表示する
ことを特徴とする請求項１ないし７のいずれか一項に記載の表示システム。 - ヘッドマウントディスプレイと、
入力映像信号により示される映像のうち、一部の領域の映像から鏡像を生成する鏡像生成手段と、
前記鏡像生成手段により生成された鏡像を、前記ヘッドマウントディスプレイに表示させる制御手段と
を有する健康器具。 - 入力映像信号により示される映像のうち、一部の領域の映像から鏡像を生成するステップと、
前記生成された鏡像を、ヘッドマウントディスプレイに表示させるステップと
を有する表示制御方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014035026A JP6459184B2 (ja) | 2014-02-26 | 2014-02-26 | 表示システム、健康器具、制御装置およびプログラム |
| CN201510080339.1A CN104869353A (zh) | 2014-02-26 | 2015-02-13 | 显示系统、健康器械和显示控制方法 |
| US14/623,191 US20150242998A1 (en) | 2014-02-26 | 2015-02-16 | Display system, health apparatus, and display control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014035026A JP6459184B2 (ja) | 2014-02-26 | 2014-02-26 | 表示システム、健康器具、制御装置およびプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2015161699A true JP2015161699A (ja) | 2015-09-07 |
| JP2015161699A5 JP2015161699A5 (ja) | 2017-03-30 |
| JP6459184B2 JP6459184B2 (ja) | 2019-01-30 |
Family
ID=53882692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014035026A Active JP6459184B2 (ja) | 2014-02-26 | 2014-02-26 | 表示システム、健康器具、制御装置およびプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20150242998A1 (ja) |
| JP (1) | JP6459184B2 (ja) |
| CN (1) | CN104869353A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021137348A (ja) * | 2020-03-05 | 2021-09-16 | 株式会社電通国際情報サービス | 幻肢痛ケアシステム、被術者装置、及びプログラム |
| WO2022244312A1 (ja) * | 2021-05-19 | 2022-11-24 | 株式会社アイ・サポート | 段ボール製ミラーボックス、及び段ボール製ミラーボックスを用いたミラーセラピー方法 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017037563A (ja) * | 2015-08-13 | 2017-02-16 | セイコーエプソン株式会社 | 医療機器、プログラム |
| CN106422203B (zh) * | 2016-11-23 | 2018-11-16 | 佛山科学技术学院 | 一种基于镜像疗法的光电多模态反馈的上肢康复训练方法 |
| AT520385B1 (de) * | 2017-06-07 | 2020-11-15 | Vorrichtung mit einer Erfassungseinheit für die Position und Lage einer ersten Gliedmasse eines Benutzers | |
| US10354573B2 (en) * | 2017-07-25 | 2019-07-16 | Lenovo (Singapore) Pte Ltd | Screen color calibration |
| CN108392816A (zh) * | 2018-04-19 | 2018-08-14 | 温州医科大学 | 一种下肢数字化镜像疗法康复训练系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002157606A (ja) * | 2000-11-17 | 2002-05-31 | Canon Inc | 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体 |
| JP2003296759A (ja) * | 2002-03-29 | 2003-10-17 | Canon Inc | 情報処理方法および装置 |
| JP2004298430A (ja) * | 2003-03-31 | 2004-10-28 | Toshiba Corp | 疼痛治療支援装置及び仮想空間に幻肢画像を動画的に表示する方法 |
| JP2007020835A (ja) * | 2005-07-15 | 2007-02-01 | National Institute Of Advanced Industrial & Technology | リハビリ装置 |
| JP2012000324A (ja) * | 2010-06-18 | 2012-01-05 | Panasonic Electric Works Co Ltd | ミラーセラピーシステム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2012173001A1 (ja) * | 2011-06-13 | 2015-02-23 | シチズンホールディングス株式会社 | 情報入力装置 |
| JP5351311B1 (ja) * | 2012-06-29 | 2013-11-27 | 株式会社ソニー・コンピュータエンタテインメント | 立体映像観察デバイスおよび透過率制御方法 |
| US8911343B2 (en) * | 2012-10-20 | 2014-12-16 | Pieter C Wiest | System and method utilizing a smart phone for alleviating phantom limb discomfort |
-
2014
- 2014-02-26 JP JP2014035026A patent/JP6459184B2/ja active Active
-
2015
- 2015-02-13 CN CN201510080339.1A patent/CN104869353A/zh active Pending
- 2015-02-16 US US14/623,191 patent/US20150242998A1/en not_active Abandoned
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002157606A (ja) * | 2000-11-17 | 2002-05-31 | Canon Inc | 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体 |
| JP2003296759A (ja) * | 2002-03-29 | 2003-10-17 | Canon Inc | 情報処理方法および装置 |
| JP2004298430A (ja) * | 2003-03-31 | 2004-10-28 | Toshiba Corp | 疼痛治療支援装置及び仮想空間に幻肢画像を動画的に表示する方法 |
| JP2007020835A (ja) * | 2005-07-15 | 2007-02-01 | National Institute Of Advanced Industrial & Technology | リハビリ装置 |
| JP2012000324A (ja) * | 2010-06-18 | 2012-01-05 | Panasonic Electric Works Co Ltd | ミラーセラピーシステム |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021137348A (ja) * | 2020-03-05 | 2021-09-16 | 株式会社電通国際情報サービス | 幻肢痛ケアシステム、被術者装置、及びプログラム |
| JP7450183B2 (ja) | 2020-03-05 | 2024-03-15 | 株式会社電通総研 | 幻肢痛ケアシステム、被術者装置、及びプログラム |
| WO2022244312A1 (ja) * | 2021-05-19 | 2022-11-24 | 株式会社アイ・サポート | 段ボール製ミラーボックス、及び段ボール製ミラーボックスを用いたミラーセラピー方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6459184B2 (ja) | 2019-01-30 |
| CN104869353A (zh) | 2015-08-26 |
| US20150242998A1 (en) | 2015-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6459184B2 (ja) | 表示システム、健康器具、制御装置およびプログラム | |
| CN112444996B (zh) | 具有张紧调节的头戴式设备 | |
| EP3486760A1 (en) | Preview picture presentation method, device and terminal | |
| US20160156850A1 (en) | Methods and Apparatus for Vision Enhancement | |
| US11546527B2 (en) | Methods and apparatuses for compensating for retinitis pigmentosa | |
| US20220397959A1 (en) | Methods and Systems for Enabling the Remote Testing of Vision and Diagnosis of Vision-Related Issues | |
| US9810907B2 (en) | Display apparatus, display method, and program | |
| WO2020102110A8 (en) | Event-based ir camera | |
| US20220005587A1 (en) | System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display | |
| CN107875616B (zh) | 运动训练装置、记录介质、显示方法 | |
| Itoh et al. | Vision enhancement: defocus correction via optical see-through head-mounted displays | |
| JP5607473B2 (ja) | 視度補正装置 | |
| CN109901290A (zh) | 注视区域的确定方法、装置及可穿戴设备 | |
| JP2017046233A5 (ja) | ||
| US20240289007A1 (en) | Devices, methods, and graphical user interfaces for adjusting device settings | |
| CN108931852B (zh) | 头戴式显示器系统、调整隐藏区遮罩的方法及程序产品 | |
| CN104706422A (zh) | 一种头戴式医疗装置、医疗系统及其操作方法 | |
| US11081015B2 (en) | Training device, training method, and program | |
| JP2017212720A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| KR102360557B1 (ko) | 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이 | |
| JP6932526B2 (ja) | 画像表示装置、画像表示方法及びプログラム | |
| CN111193830B (zh) | 一种基于智能手机的便携式增强现实医学图像观察辅助设备 | |
| JP5979110B2 (ja) | ヘッドマウントディスプレイ、及び、制御プログラム | |
| KR102185519B1 (ko) | 다이렉트 인코딩 방식의 씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법 및 실세계 영상 왜곡 기능을 가지는 다이렉트 인코딩 방식의 씨스루 헤드 마운트 디스플레이 | |
| JP2013255594A (ja) | 画像処理装置及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170224 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170224 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180406 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181002 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181101 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181217 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6459184 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |