JP2017018383A - Glasses-type wearable device - Google Patents
Glasses-type wearable device Download PDFInfo
- Publication number
- JP2017018383A JP2017018383A JP2015139267A JP2015139267A JP2017018383A JP 2017018383 A JP2017018383 A JP 2017018383A JP 2015139267 A JP2015139267 A JP 2015139267A JP 2015139267 A JP2015139267 A JP 2015139267A JP 2017018383 A JP2017018383 A JP 2017018383A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- visible light
- depth image
- patient
- wearable device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 30
- 230000001133 acceleration Effects 0.000 claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 208000018737 Parkinson disease Diseases 0.000 abstract description 12
- 206010017577 Gait disturbance Diseases 0.000 abstract description 6
- 238000003384 imaging method Methods 0.000 abstract description 5
- 230000001939 inductive effect Effects 0.000 abstract description 3
- 210000002683 foot Anatomy 0.000 description 36
- 238000000034 method Methods 0.000 description 12
- 230000000423 heterosexual effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 208000024891 symptom Diseases 0.000 description 3
- 208000035475 disorder Diseases 0.000 description 2
- 230000005021 gait Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000926 neurological effect Effects 0.000 description 2
- 206010003591 Ataxia Diseases 0.000 description 1
- 208000016285 Movement disease Diseases 0.000 description 1
- 208000002740 Muscle Rigidity Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000009109 curative therapy Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000004770 neurodegeneration Effects 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 230000001144 postural effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
Abstract
Description
本発明は、パーキンソン病患者の歩行障害を改善する眼鏡型ウェアラブル装置に関するものである。 The present invention relates to a glasses-type wearable device that improves gait disturbance in Parkinson's disease patients.
パーキンソン病は、振戦、筋固縮、無動、姿勢反射障害を主な運動症状とする神経変性疾患であり、現在のところ根治的治療法のない難病である。パーキンソン病患者の歩行障害は、前傾前屈姿勢で小刻み歩行となる特徴があり、特に歩き始めの第一歩が出にくいすくみ足症状は転倒の原因となり、また薬物療法に反応しにくいため臨床的に問題である。パーキンソン病患者の歩行障害を改善する手法として、パーキンソン病患者に特徴的な神経学的徴候である奇異性歩行を利用する技術が開示されている。奇異性歩行とは、進行方向の床面上に目印が存在することによってすくみ足症状が軽減し、歩行障害が改善する歩行の特徴を指して用いる徴候名である。 Parkinson's disease is a neurodegenerative disease whose main motor symptoms are tremor, muscular rigidity, ataxia, and postural reflex disorder. At present, it is an intractable disease without a curative treatment. Gait disorder in Parkinson's disease patients is characterized by small gait with a forward leaning posture. Is a problem. As a technique for improving gait disturbance in Parkinson's disease patients, a technique that utilizes odd heterosexual walking, which is a neurological sign characteristic of Parkinson's disease patients, is disclosed. Bizarre heterosexual walking is a symptom name used to refer to the characteristics of walking in which the presence of a mark on the floor surface in the traveling direction reduces the symptoms of freezing and improves gait disturbance.
従来、奇異性歩行を人為的に誘発する方法として、床面へ目印となる線分を描くことが有効であると知られている（非特許文献１参照）。また、先端に横木のついたＬ字型の杖（非特許文献１参照）や、レーザー発光装置を備え床面にレーザー光を照射する杖（特許文献１参照）が知られている。さらに、視覚的目印のパターンを視野全体あるいは進行方向の床面全体に表示するヘッドマウントディスプレイなどが知られている（特許文献２参照）。 Conventionally, it has been known that it is effective to draw a line segment as a mark on the floor surface as a method for artificially inducing strange heterosexual walking (see Non-Patent Document 1). Further, an L-shaped cane having a cross at the tip (see Non-Patent Document 1) and a cane (see Patent Document 1) that includes a laser light emitting device and irradiates a floor with laser light. Furthermore, a head-mounted display that displays a pattern of visual landmarks on the entire visual field or the entire floor surface in the traveling direction is known (see Patent Document 2).
非特許文献１に記載された床面上に視覚的目印（例えば、線分）を描く手法では、あらかじめ目印を描いた場所でしか効果が望めないという問題があった。
非特許文献１や特許文献１に記載された杖型デバイスでは、足元にちょうど目印が来るように患者が自分で杖の位置を調節する必要があることから、上肢にも運動障害のあることの多いパーキンソン病患者には操作が難しいという問題があった。
特許文献２に記載されたヘッドマウントディスプレイは、患者の視野内の広範囲に広がるパターン図形を表示するものであり、現実的な住環境においては、奇異性歩行を誘発するのに必要な患者前方の足元の床面以外の場所にも、視覚的目印が表示されてしまう。パーキンソン病患者の多くが視力障害を伴うことの多い高齢者であることを考慮すると、視野内の広範囲に亘ってパターン図形を表示することが、患者の視野を遮ることにつながり、周囲の環境を認識する際の妨げになることで、かえって歩行の安定性を損ねてしまうという問題があった。
このように、上で列挙した文献に記載の技術は何れも、段差や凸凹等がある現実的な住環境の床面上へ視覚的目印を適切に表示することができなかった。
The technique of drawing a visual mark (for example, a line segment) on the floor surface described in Non-Patent Document 1 has a problem that an effect can be expected only at a place where the mark is drawn in advance.
In the cane type device described in Non-Patent Document 1 and Patent Document 1, the patient needs to adjust the position of the cane himself so that the mark is just at the foot, so that the upper limb also has a movement disorder. Many patients with Parkinson's disease had a problem that it was difficult to operate.
The head-mounted display described in Patent Document 2 displays a pattern figure that spreads over a wide range within the visual field of the patient. In a realistic living environment, the head-mounted display is necessary in front of the patient to induce odd heterosexual walking. Visual landmarks are also displayed in places other than the floor of the feet. Considering that many patients with Parkinson's disease are elderly people who often have vision impairment, displaying pattern figures over a wide area within the field of view leads to obstruction of the patient's field of view and surrounding environment. There was a problem that the stability of walking was lost because it hindered recognition.
As described above, none of the techniques described in the above-listed documents can appropriately display a visual mark on the floor surface of a realistic living environment having a level difference or unevenness.
本発明は、可視光画像データを取得する可視光画像データ取得手段、奥行き画像データを取得する奥行き画像データ取得手段、加速度情報を取得する加速度情報取得手段、前記可視光画像データおよび前記奥行き画像データに基づき、足部領域を検出する足部領域検出手段、前記奥行き画像データおよび前記加速度情報に基づき、床面を検出する床面検出手段、および前記足部領域および前記床面に基づき、視覚的目印を描画する描画手段を備えることを特徴とする眼鏡型ウェアラブル装置である。 The present invention provides visible light image data acquisition means for acquiring visible light image data, depth image data acquisition means for acquiring depth image data, acceleration information acquisition means for acquiring acceleration information, the visible light image data, and the depth image data. Based on the foot region detection means for detecting the foot region, floor surface detection means for detecting the floor surface based on the depth image data and the acceleration information, and based on the foot region and the floor surface, An eyeglass-type wearable device comprising drawing means for drawing a mark.
本発明により、パーキンソン病患者が段差や凹凸等がある現実的な住環境における床面を歩行する際に、奇異性歩行を誘発することが可能となり、パーキンソン病患者の歩行障害を改善できる。 According to the present invention, when a Parkinson's disease patient walks on a floor surface in a realistic living environment with steps, unevenness, and the like, it becomes possible to induce odd heterosexual walking, and to improve the walking disorder of Parkinson's disease patients.
以下、実施形態について説明する。なお、以下に説明する実施例は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成の全てが、本発明の必須構成要件であるとは限らない。 Hereinafter, embodiments will be described. In addition, the Example described below does not unduly limit the content of the present invention described in the claims. Also, not all of the configurations described below are essential constituent requirements of the present invention.
図１は、本実施例に係る眼鏡型ウェアラブル装置の外形の説明図であり、図１（ａ）は上面図、図１（ｂ）は正面図である。眼鏡型ウェアラブル装置１は、可視光カメラ２と、デプスカメラ３と、加速度センサー４とを備える。可視光カメラ２とデプスカメラ３は、眼鏡型ウェアラブル装置１の前面に配置する。加速度センサー４は、患者にとって眼鏡型ウェアラブル装置１の装着の邪魔にならない場所（たとえば眼鏡型ウェアラブル装置１の前面）に配置する。 1A and 1B are explanatory views of the outer shape of the glasses-type wearable device according to the present embodiment, in which FIG. 1A is a top view and FIG. 1B is a front view. The glasses-type wearable device 1 includes a visible light camera 2, a depth camera 3, and an acceleration sensor 4. The visible light camera 2 and the depth camera 3 are arranged in front of the glasses-type wearable device 1. The acceleration sensor 4 is disposed in a place that does not interfere with the wearing of the glasses-type wearable device 1 for the patient (for example, the front surface of the glasses-type wearable device 1).
図２は、本実施例に係る眼鏡型ウェアラブル装置のハードウェア構成を示すブロック図である。眼鏡型ウェアラブル装置１は、ＣＰＵ２０１と、ＲＡＭ２０２と、ＲＯＭ２０３と、液晶表示素子２０４と、可視光カメラ２と、デプスカメラ３と、加速度センサー４とを備える。これらの構成要素は共通のバスを介して互いに接続されている。
ＣＰＵ２０１と、ＲＡＭ２０２と、ＲＯＭ２０３は、互いにデータを送受信することが可能である。ＣＰＵ２０１は、ＲＯＭ２０３に格納されている各種プログラムをＲＡＭ２０２に展開し、当該展開したプログラムを実行する。これによりＣＰＵ２０１は、各構成要素を統括的に統御し、眼鏡型ウェアラブル装置１を動作させる。
ＣＰＵ２０１はＲＡＭ２０２上に展開されたプログラムを実行する過程で、可視光カメラ２やデプスカメラ３や加速度センサー４を制御し、可視光カメラ２からは可視光画像を、デプスカメラ３からは奥行き画像を、加速度センサー４からは加速度の方向と大きさとを示すデータを取得する。当該取得したデータは、ＲＡＭ２０２やＲＯＭ２０３に保存される。
また、ＣＰＵ２０１はＲＡＭ２０２上に展開されたプログラムを実行する過程で、ＲＡＭ２０２上に視覚的目印の画像データを作成し、当該作成した画像データに基づき液晶表示素子２０４に視覚的目印を表示する。
FIG. 2 is a block diagram illustrating a hardware configuration of the glasses-type wearable device according to the present embodiment. The glasses-type wearable device 1 includes a CPU 201, a RAM 202, a ROM 203, a liquid crystal display element 204, a visible light camera 2, a depth camera 3, and an acceleration sensor 4. These components are connected to each other via a common bus.
The CPU 201, the RAM 202, and the ROM 203 can transmit / receive data to / from each other. The CPU 201 expands various programs stored in the ROM 203 to the RAM 202 and executes the expanded programs. As a result, the CPU 201 comprehensively manages each component and operates the glasses-type wearable device 1.
The CPU 201 controls the visible light camera 2, the depth camera 3, and the acceleration sensor 4 in the process of executing the program developed on the RAM 202, and displays a visible light image from the visible light camera 2 and a depth image from the depth camera 3. Data indicating the direction and magnitude of acceleration is acquired from the acceleration sensor 4. The acquired data is stored in the RAM 202 or the ROM 203.
In the course of executing the program developed on the RAM 202, the CPU 201 creates image data of a visual mark on the RAM 202 and displays the visual mark on the liquid crystal display element 204 based on the created image data.
図３は、本実施例におけるソフトウェアモジュールの構成を示すブロック図である。
可視光画像データ取得部３０１は、可視光カメラ２を制御して撮像を行い、可視光画像データを取得する。当該取得した可視光画像データは、ＲＡＭ２０２上の領域に保存され、足部領域検出部３０４に渡される。
奥行き画像データ取得部３０２は、デプスカメラ３を制御して撮像を行い、奥行き画像データを取得する。当該取得した奥行き画像データは、ＲＡＭ２０２上の領域に保存され、足部領域検出部３０４と床面検出部３０５とに渡される。
加速度情報取得部３０３は、加速度センサー４を制御し、加速度の方向と大きさとを示すデータを取得する。当該取得したデータは、ＲＡＭ２０２上の領域に保存され、床面検出部３０５に渡される。
足部領域検出部３０４は、可視光画像データ取得部３０１から可視光画像データ、および、奥行き画像データ取得部３０２から奥行き画像データを受け取る。そして、足部領域検出部３０４は、あらかじめＲＯＭ２０２上に登録されていた患者の足部画像データを利用して、可視光画像および奥行き画像における患者の足部に相当する領域（以下、足部領域とする）を検出する（詳細は後述する）。可視光画像における足部領域を示す情報は視覚的目印描画部３０６へ渡され、奥行き画像における足部領域を示す情報は床面検出部３０５へ渡される。
床面検出部３０５は、奥行き画像データ取得部３０２から奥行き画像データを、加速度情報取得部３０３から加速度の方向と大きさとを示すデータのアドレスを受け取り、これらのデータに基づいて、奥行き画像における床面領域を検出する（詳細は後述する）。当該領域を示す情報は視覚的目印描画部３０６へ渡される。
視覚的目印描画部３０６は、足部領域検出部３０４から可視光画像における患者の足部領域を示す情報（位置）を、床面検出部３０５から奥行き画像における床面領域を示す情報（位置）を受け取り、これらの情報に基づいて、患者の足部前方の床面に限定して、視覚的目印（例えば、患者の進行方向に対して垂直方向に伸長する線分）を表示する。
FIG. 3 is a block diagram showing the configuration of the software module in the present embodiment.
The visible light image data acquisition unit 301 controls the visible light camera 2 to perform imaging, and acquires visible light image data. The acquired visible light image data is stored in an area on the RAM 202 and transferred to the foot area detection unit 304.
The depth image data acquisition unit 302 captures images by controlling the depth camera 3 and acquires depth image data. The acquired depth image data is stored in an area on the RAM 202 and passed to the foot area detection unit 304 and the floor surface detection unit 305.
The acceleration information acquisition unit 303 controls the acceleration sensor 4 and acquires data indicating the direction and magnitude of acceleration. The acquired data is stored in an area on the RAM 202 and transferred to the floor surface detection unit 305.
The foot region detection unit 304 receives visible light image data from the visible light image data acquisition unit 301 and depth image data from the depth image data acquisition unit 302. Then, the foot region detection unit 304 uses the patient's foot image data registered in advance in the ROM 202 to use a region corresponding to the patient's foot in the visible light image and the depth image (hereinafter referred to as the foot region). (Details will be described later). Information indicating the foot region in the visible light image is passed to the visual landmark drawing unit 306, and information indicating the foot region in the depth image is passed to the floor surface detection unit 305.
The floor detection unit 305 receives the depth image data from the depth image data acquisition unit 302 and the address of data indicating the direction and magnitude of acceleration from the acceleration information acquisition unit 303, and based on these data, the floor surface in the depth image A surface area is detected (details will be described later). Information indicating the area is passed to the visual landmark drawing unit 306.
The visual mark drawing unit 306 receives information (position) indicating the patient's foot region in the visible light image from the foot region detection unit 304, and information (position) indicating the floor surface region in the depth image from the floor surface detection unit 305. Based on this information, a visual landmark (for example, a line segment extending in a direction perpendicular to the direction of travel of the patient) is displayed only on the floor surface in front of the patient's foot.
図４は、本実施例における視覚的目印表示に至る処理のフローチャートである。
ステップＳ４０１において、可視光画像データ、奥行き画像データ、および加速度の方向と大きさとを示すデータを取得する。即ち、可視光画像データ取得部３０１は、可視光カメラ２を制御して撮像を行い、可視光画像データを取得する。また、奥行き画像データ取得部３０２は、デプスカメラ３を制御して撮像を行い、奥行き画像データを取得する。さらに、加速度情報取得部３０３は、加速度センサー４を制御し、加速度の方向と大きさとを示すデータを取得する。
ステップＳ４０２において、足部領域検出部３０４は、可視光画像データおよび奥行き画像データ、ならびに、あらかじめＲＯＭ２０２上に登録されていた患者の足部画像データに基づき、足部領域の検出を試みる。具体的には、ＲＯＭ２０２上に登録されていたテンプレートとなる患者の足部画像データを、可視光画像データ、および、奥行画像データの中から検索し、可視光画像における足部領域、および、奥行き画像における足部領域の検出を試みる。
ステップＳ４０３において、足部領域検出部３０４は、患者の視野内に足部領域を検出したか否かを判定する。当該判定の結果、足部領域を検出した場合、ステップＳ４０４に進む。一方、当該判定の結果、足部領域を検出しなかった場合、一連の処理は終了する。
ステップＳ４０４において、床面検出部３０５は、奥行き画像データ、および、加速度の方向と大きさとを示すデータに基づき、床面領域を検出する。加速度センサーを用いて取得した加速度の方向は、近似的に重力加速度の方向と同じであるとみなすことができる。奥行き画像データは各画素が距離値を持つ画像データであり、その数学的な実体は三次元空間上の点群である。奥行き画像内部の平面を抽出するためには、例えばＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）法と呼ばれる、三次元空間上の点群から、任意の方程式系によって定まる図形の上に存在する点の集合を取得する方法を用いることができる。本実施例では奥行き画像データに対してＲＡＮＳＡＣ法を繰り返し適用し、奥行き画像データ内部に存在する平面をすべて抽出する。抽出した平面群から、重力加速度の方向に垂直な平面を選び出すことで、患者の視野内に存在する水平面リスト（床面や机、棚など）が得られる。最後に、当該水平面リストの中から、足部領域検出部３０４から受け取った奥行き画像データに基づき、奥行き画像における患者足部領域の位置情報を利用して、患者足部と奥行き距離が最も近い水平面を選択することで、奥行き画像データ内部で床面の領域を検出することができる。
ステップＳ４０５において、視覚的目印描画部３０６は、可視光画像における足部領域の情報（位置）と、奥行き画像における床面領域の情報（位置）とに基づいて、患者の足部前方の床面に限定して、視覚的目印（患者の進行方向に垂直な線分）を描画する。この視覚的目印は、眼鏡型ウェアラブル装置１を透過して患者が見ている視界の像に重ね書き（オーバーレイ）して表示される。
FIG. 4 is a flowchart of the process leading to the visual landmark display in this embodiment.
In step S401, visible light image data, depth image data, and data indicating the direction and magnitude of acceleration are acquired. That is, the visible light image data acquisition unit 301 performs imaging by controlling the visible light camera 2 and acquires visible light image data. In addition, the depth image data acquisition unit 302 controls the depth camera 3 to perform imaging and acquires depth image data. Furthermore, the acceleration information acquisition unit 303 controls the acceleration sensor 4 and acquires data indicating the direction and magnitude of acceleration.
In step S <b> 402, the foot region detection unit 304 attempts to detect the foot region based on the visible light image data and the depth image data, and the patient foot image data registered in advance in the ROM 202. Specifically, the foot image data of the patient as a template registered on the ROM 202 is searched from the visible light image data and the depth image data, and the foot region and the depth in the visible light image are searched. Attempt to detect the foot region in the image.
In step S403, the foot region detection unit 304 determines whether or not a foot region is detected within the visual field of the patient. If the foot area is detected as a result of the determination, the process proceeds to step S404. On the other hand, if the foot region is not detected as a result of the determination, the series of processing ends.
In step S404, the floor surface detection unit 305 detects a floor surface region based on the depth image data and data indicating the direction and magnitude of acceleration. The direction of acceleration acquired using the acceleration sensor can be regarded as approximately the same as the direction of gravitational acceleration. The depth image data is image data in which each pixel has a distance value, and its mathematical entity is a point group in a three-dimensional space. In order to extract the plane inside the depth image, for example, a set of points existing on a figure defined by an arbitrary equation system is obtained from a point group in a three-dimensional space called a RANSAC (Random Sample Consensus) method. The method can be used. In this embodiment, the RANSAC method is repeatedly applied to the depth image data, and all planes existing in the depth image data are extracted. By selecting a plane perpendicular to the direction of gravitational acceleration from the extracted plane group, a horizontal plane list (floor surface, desk, shelf, etc.) existing in the visual field of the patient can be obtained. Finally, based on the depth image data received from the foot region detection unit 304 from the horizontal surface list, using the position information of the patient foot region in the depth image, the horizontal surface closest to the patient foot and the depth distance is used. By selecting, the floor area can be detected within the depth image data.
In step S405, the visual mark drawing unit 306 determines the floor surface in front of the patient's foot based on the information (position) of the foot region in the visible light image and the information (position) of the floor surface region in the depth image. For example, a visual landmark (a line segment perpendicular to the advancing direction of the patient) is drawn. This visual mark is displayed by being overwritten (overlaid) on the image of the field of view that the patient sees through the glasses-type wearable device 1.
図４のフローチャートに示す述べた視覚的目印表示処理を、ビデオレートで繰り返すことで、患者の移動や頭の動きに追随して、リアルタイムに視覚的目印の表示を更新する。 The visual landmark display process shown in the flowchart of FIG. 4 is repeated at the video rate, so that the display of the visual landmark is updated in real time following the movement of the patient and the movement of the head.
図５に、本実施例に係る眼鏡型ウェアラブル装置の使用の状況を説明するイラストを示す。図５（ａ）は、装置使用時の患者の姿勢と周囲の環境の例である。図５（ｂ）は、図５（ａ）の状況で眼鏡型ウェアラブル装置１を装着しない場合の患者の視界である。図５（ｂ）の下端には、患者の両足つま先が見えている。図５（ｃ）は、図５（ａ）の状況で眼鏡型ウェアラブル装置１を装着した場合の患者の視界であり、患者の足元の進行方向には、視界に重ね書き（オーバーレイ）して表示された視覚的目印（患者の進行方向に対して垂直方向に伸長する線分）が見えている。 FIG. 5 shows an illustration for explaining the state of use of the glasses-type wearable device according to the present embodiment. FIG. 5A shows an example of the posture of the patient and the surrounding environment when the apparatus is used. FIG. 5B is a view of the patient when the glasses-type wearable device 1 is not worn in the situation of FIG. The patient's toes can be seen at the lower end of FIG. FIG. 5C shows the patient's field of view when the glasses-type wearable device 1 is worn in the situation of FIG. 5A, and is displayed by overlaying on the field of view in the direction of advancement of the patient's feet. A visible visual mark (a line extending in a direction perpendicular to the direction of travel of the patient) is visible.
本発明では、奇異性歩行を誘発するための視覚的目印を、患者の視野内において患者の足元の床面上に自動表示し、且つ、その表示の内容を患者の移動や頭の動きに従ってリアルタイムに更新する。これにより、パーキンソン病患者が歩行する際に、奇異性歩行が誘発され、パーキンソン病患者の歩行障害が改善する。
本発明の眼鏡型ウェアラブル装置により、奇異性歩行を誘発する視覚的目印を、患者の操作を必要とせずに自動で、患者の視界に表示できる。
また本発明では、患者の進行方向の床面と患者の足部は、デプスカメラと可視光カメラによってリアルタイムに検出され、当該検出結果に基づいて、奇異性歩行を誘発するのに必要なタイミング（例えば歩行中に足を踏み出す直前）でのみ視覚的目印を表示することが可能である。従って、歩行する患者の足部前方の狭い床面以外の場所に視覚的目印が表示されることはなく、患者の視界を遮ることがない。
さらに、デプスカメラは患者の頭に装着する眼鏡型ウェアラブル装置に固定されているため、患者が移動したり、頭を動かしたりしても、患者の動きに追随して患者の見ている視野内の最適な場所にのみ、視覚的目印を表示できる 。
In the present invention, visual landmarks for inducing odd heterosexual walking are automatically displayed on the floor of the patient's feet in the patient's visual field, and the display contents are real-time according to the movement of the patient and the movement of the head. Update to Thereby, when a Parkinson's disease patient walks, an odd heterosexual walk is induced and the gait disturbance of a Parkinson's disease patient improves.
The eyeglass-type wearable device of the present invention can automatically display a visual landmark that induces bizarre gait in the patient's field of view without requiring patient operation.
Further, in the present invention, the floor surface of the patient in the traveling direction and the foot of the patient are detected in real time by the depth camera and the visible light camera, and based on the detection result, the timing required to induce the odd heterosexual walking ( For example, it is possible to display a visual landmark only immediately before stepping on while walking. Therefore, visual landmarks are not displayed in places other than the narrow floor surface in front of the foot of the walking patient, and the patient's field of view is not obstructed.
In addition, since the depth camera is fixed to a spectacle-type wearable device that is worn on the patient's head, even if the patient moves or moves the head, the patient's movement follows the patient's field of view. Visual landmarks can be displayed only in the best locations.
Claims (1)
奥行き画像データを取得する奥行き画像データ取得手段、
加速度情報を取得する加速度情報取得手段、
前記可視光画像データおよび前記奥行き画像データに基づき、足部領域を検出する足部領域検出手段、
前記奥行き画像データおよび前記加速度情報に基づき、床面を検出する床面検出手段、および
前記足部領域および前記床面に基づき、視覚的目印を描画する描画手段
を備えることを特徴とする眼鏡型ウェアラブル装置。 Visible light image data acquisition means for acquiring visible light image data;
Depth image data acquisition means for acquiring depth image data;
Acceleration information acquisition means for acquiring acceleration information;
Foot area detection means for detecting a foot area based on the visible light image data and the depth image data;
Eyeglass type comprising: a floor surface detecting means for detecting a floor surface based on the depth image data and the acceleration information; and a drawing means for drawing a visual landmark based on the foot region and the floor surface. Wearable device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015139267A JP6630503B2 (en) | 2015-07-11 | 2015-07-11 | Glasses-type wearable device, control method thereof, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015139267A JP6630503B2 (en) | 2015-07-11 | 2015-07-11 | Glasses-type wearable device, control method thereof, and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2017018383A true JP2017018383A (en) | 2017-01-26 |
| JP2017018383A5 JP2017018383A5 (en) | 2019-05-16 |
| JP6630503B2 JP6630503B2 (en) | 2020-01-15 |
Family
ID=57887152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015139267A Active JP6630503B2 (en) | 2015-07-11 | 2015-07-11 | Glasses-type wearable device, control method thereof, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6630503B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019115516A (en) * | 2017-12-27 | 2019-07-18 | トヨタ自動車株式会社 | Walking assist device |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5575294A (en) * | 1994-03-21 | 1996-11-19 | Perry; Robert E. | Method and device for managing freezing gait disorders |
| US5597309A (en) * | 1994-03-28 | 1997-01-28 | Riess; Thomas | Method and apparatus for treatment of gait problems associated with parkinson's disease |
| JP2005034568A (en) * | 2003-07-14 | 2005-02-10 | Masahito Okada | Walking stick for frozen gait |
| WO2006134037A1 (en) * | 2005-06-13 | 2006-12-21 | Consiglio Nazionale Delle Ricerche | Apparatus for displaying virtual shoes on the feet of a user and the corresponding method |
| JP2009119066A (en) * | 2007-11-15 | 2009-06-04 | Advanced Telecommunication Research Institute International | Walking support apparatus |
| WO2014107629A1 (en) * | 2013-01-04 | 2014-07-10 | Vuzix Corporation | Interactive wearable and portable smart devices |
| US20150082180A1 (en) * | 2013-09-17 | 2015-03-19 | Amazon Technologies, Inc. | Approaches for three-dimensional object display used in content navigation |
-
2015
- 2015-07-11 JP JP2015139267A patent/JP6630503B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5575294A (en) * | 1994-03-21 | 1996-11-19 | Perry; Robert E. | Method and device for managing freezing gait disorders |
| US5597309A (en) * | 1994-03-28 | 1997-01-28 | Riess; Thomas | Method and apparatus for treatment of gait problems associated with parkinson's disease |
| JP2005034568A (en) * | 2003-07-14 | 2005-02-10 | Masahito Okada | Walking stick for frozen gait |
| WO2006134037A1 (en) * | 2005-06-13 | 2006-12-21 | Consiglio Nazionale Delle Ricerche | Apparatus for displaying virtual shoes on the feet of a user and the corresponding method |
| JP2009119066A (en) * | 2007-11-15 | 2009-06-04 | Advanced Telecommunication Research Institute International | Walking support apparatus |
| WO2014107629A1 (en) * | 2013-01-04 | 2014-07-10 | Vuzix Corporation | Interactive wearable and portable smart devices |
| US20150082180A1 (en) * | 2013-09-17 | 2015-03-19 | Amazon Technologies, Inc. | Approaches for three-dimensional object display used in content navigation |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019115516A (en) * | 2017-12-27 | 2019-07-18 | トヨタ自動車株式会社 | Walking assist device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6630503B2 (en) | 2020-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6381918B2 (en) | Motion information processing device | |
| WO2016115872A1 (en) | Binocular ar head-mounted display device and information display method thereof | |
| KR101606487B1 (en) | Apparatus and method for walking assiatance for patients with parkinson's disease | |
| CN111007939B (en) | Virtual reality system space positioning method based on depth perception | |
| JP2015166816A (en) | Display device, display control program, and display control method | |
| JP6342440B2 (en) | Eye movement detection device, eye movement detection method, and eyewear | |
| Borel et al. | Unilateral vestibular loss impairs external space representation | |
| JP2017018383A (en) | Glasses-type wearable device | |
| KR101331055B1 (en) | Visual aid system based on the analysis of visual attention and visual aiding method for using the analysis of visual attention | |
| EP3833245B1 (en) | Compensating for a movement of a sensor attached to a body of a user | |
| WO2021096489A1 (en) | Inferring cognitive load based on gait | |
| Ippisch et al. | mVEGAS–mobile smartphone-based spatiotemporal gait analysis in healthy and ataxic gait disorders | |
| Cattan et al. | Analysis of tagging latency when comparing event-related potentials | |
| Tani et al. | Effect of dynamic visual motion on perception of postural vertical through the modulation of prior knowledge of gravity | |
| KR20220140220A (en) | Gait data-based parkinson's syndrome severity identification system and method | |
| KR102275379B1 (en) | Device, method and program for visual perception training by brain connectivity | |
| Hao et al. | A stereo camera tracking algorithm used in glass-free stereoscopic display system | |
| US10545572B2 (en) | Motion tracking apparatus and system | |
| Di Cesare et al. | How do visual and postural cues combine for self-tilt perception during slow pitch rotations? | |
| JP2019159335A (en) | Wearable device and display method | |
| JP2017018383A5 (en) | Glasses-type wearable device, control method thereof, and program | |
| KR102545358B1 (en) | Pedestrian data-based parkinson's syndrome severe phase identification system and method | |
| KR102556002B1 (en) | Skeleton data-based parkinson's syndrome severe phase identification system and method | |
| WO2024062642A1 (en) | Information processing device, method, program, and system | |
| US20200008713A1 (en) | Walking support system, walking support method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180703 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190625 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190909 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191119 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191209 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6630503 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |