JP2020126187A - 没入感型高精細映像提示空間による疑似外出体験提示装置 - Google Patents
没入感型高精細映像提示空間による疑似外出体験提示装置 Download PDFInfo
- Publication number
- JP2020126187A JP2020126187A JP2019019487A JP2019019487A JP2020126187A JP 2020126187 A JP2020126187 A JP 2020126187A JP 2019019487 A JP2019019487 A JP 2019019487A JP 2019019487 A JP2019019487 A JP 2019019487A JP 2020126187 A JP2020126187 A JP 2020126187A
- Authority
- JP
- Japan
- Prior art keywords
- video
- user
- image
- presentation
- experience
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】認知症などにより，実際の外出に危険が伴う利用者を想定し，没入感型高精細映像による疑似外出体験を提供する装置．【解決手段】本発明は，利用者の視覚を取り巻くように複数の高精細ディスプレイを湾曲型に配置させることにより，高精細かつ臨場感のある映像提示空間を構成し，その空間にたとえばGoogle Earthなどのような360度映像を表示させることで，疑似的な外出体験を提供する，さらに電動車椅子を模したジョイスティックインタフェースの利用により，適切な方向の映像の提示と移動を表現するようにしたので，利用者は自由に全方向映像の中を散策することができるため，利用者のQoLを維持しつつ安全な施設内等で疑似外出体験を提供できる．【選択図】図１
Description
本発明は，利用者の視覚を取り巻くように4kディスプレイ16枚を湾曲型に配置させることにより，高精細かつ臨場感のある映像提示空間を構成し，その空間にたとえばGoogle Earthなどのような360度映像を表示させることで，疑似的な外出体験を提供する装置に関するものである．
日本の高齢化は各種メディアで大きく取り上げられ，近年は「認知症患者の徘徊」という社会問題が発生している．
また，徘徊による行方不明者の届け出が増加しており，2017年において約18,000人に達している（非特許文献１）．この問題は年々深刻化しており，早急な対処が望まれる．
このような現状に対し，各種センサーを用いた監視型徘徊防止技術ムの普及が進められている（非特許文献２）．
このような技術は，基本的に高齢者を監視対象とし，外出を制限することで事故を未然に防ぐことを目的としたものである．
しかしながら，外出の機会を制限される高齢者にとっては自由行動を制限されることとなり，QoL(生活の質)の低下を招く恐れがある．
警視庁調査報告2018, [online] , ［平成30年1月18日検索］, インターネット＜URL：https://mainichi.jp/articles/20180614/k00/00e/040/253000c>
株式会社平和テクノシステム ，"徘徊対策ナースコール", [online] , ［平成30年1月18日検索］, インターネット＜URL：http://heiwa-net.ne.jp/nursecall/face-authentication/?utm_source=haikai&utm_campaign=ad2018_haikai&gclid=EAIaIQobChMI4Y2Znvj13wIVhwsrCh2ssg3UEAAYASAAEgIjl_D_BwE>
日本の高齢化は各種メディアで大きく取り上げられ，近年は「認知症患者の徘徊」という社会問題が発生している．
また，徘徊による行方不明者の届け出が増加しており，2017年において約18,000人に達している（非特許文献１）．この問題は年々深刻化しており，早急な対処が望まれる．
本発明は，利用者の視覚を取り巻くように複数の高精細ディスプレイを湾曲型に配置させることにより，高精細かつ臨場感のある映像提示空間を構成し，その空間にたとえばGoogle Earthなどのような360度映像を表示させることで，疑似的な外出体験を提供する，
ことを最も主要な特徴とする．
ことを最も主要な特徴とする．
本発明によれば，従来の監視型徘徊防技術が利用者である高齢者の自由度を制限することにより安全を確保する技術に対し，疑似外出体験空間により自由度を奪われることなく外出体験ができるため，利用者のQoLを確保しつつ，安全を確保できる，という利点がある．
本発明は，利用者の自由度を奪うことなく外出体験させるという目的を，
利用者の視覚を取り巻くように4kディスプレイ16枚を湾曲型に配置させることにより，高精細かつ臨場感のある映像提示空間を構成し，その空間にたとえばGoogle Earthなどのような360度映像を表示させることで，疑似的な外出体験をさせる，
ことにより実現する．
利用者の視覚を取り巻くように4kディスプレイ16枚を湾曲型に配置させることにより，高精細かつ臨場感のある映像提示空間を構成し，その空間にたとえばGoogle Earthなどのような360度映像を表示させることで，疑似的な外出体験をさせる，
ことにより実現する．
また，電動車いすに似せた椅子とジョイスティックを用いることで，映像表示空間内の映像を操作し，より没入感を得られるようにすることにより，あたかも実空間を外出しているような体験を提供する．
図２は，本発明装置の１実施例の図であって，本発明にかかる，没入感型高精細映像提示空間による疑似外出体験提示装置を図式化したもので，部分球面型映像提示装置を複数の高精細ディスプレイによって構成した例である．
本発明にかかる装置の構成例は，(1)車椅子，(2)ジョイスティック，(3)ネットワーク，(4)360度映像検索・取得装置，(5)透視投影変換装置，(6)表示制御装置，(7)部分球面型映像提示装置，(8)映像コンテンツ配信装置
によって構成する．
によって構成する．
電動車椅子の操作感覚を模擬するために，(1)車椅子，に装着した(2)ジョイスティックを用いて，(4)360度映像検索・取得装置では，(3)ネットワーク，上に存在する(8)映像コンテンツ配信装置，たとえばGoogle Earthなどの360度映像を対象とし(2)ジョイスティックの操作に応じた映像を検索・取得する．
(5)透視投影変換装置では，取得した街路映像を適切な曲面映像に変換し，(6)表示制御装置に転送する．
(6)表示制御装置では，映像を複数の曲面方向の映像に加工し，(7)部分球面型映像提示装置に転送する．
(7)部分球面型映像提示装置は，(6)表示制御装置から転送された加工映像を曲面上の適切な位置に表示する．
尚，(7)部分球面型映像提示装置を構成する個別表示装置の配置については，利用者の視覚を取り巻くように例えば4kディスプレイ16枚を湾曲型に配置させることにより，映像に対する没入感を提示する．
以上の装置構成により，高精細かつ臨場感のある映像提示空間を構成し，その空間に360度映像（例えばGoogle Earthなど）を表示させることで，疑似的な外出体験をさせる装置を構成することができる．
図３は，本発明装置の実施例の第二の図であって，本発明にかかる，没入感型高精細映像提示空間による疑似外出体験提示装置に加え，VR人物エージェントによる操作介助の機能を加えた装置の実施例である．
本実施例は（実施例１）の装置構成に加え，(9)音声入力装置，(10)発話内容解析装置，(11)仮想介助者行動決定装置，(12)仮想介助者行動VRパターン・音声ガイドパターン記録装置，(13)動画重畳・画像同期装置，(14)シースルー型ヘッドマウントディスプレイ，を新たな装置構成として追加する．
利用者はマイクなどを通じて(9)音声入力装置に例えば，「○△するにはどうすればよいですか？」のような機械操作に関する質問音声などを入力する．
(10)発話内容解析装置は，音声認識技術ならびに形態素解析技術からなり，「○△」というクルーワードの検出により対象機能を特定する
(11)仮想介助者行動決定装置では，対象機能を操作する部分を抽出しVRによる仮想介助者が指差しを行う装置箇所を特定するとともに，(12)仮想介助者行動VRパターン・音声ガイドパターン記録装置か対象装置個所の操作説明に該当するための，仮想介助者行動VRパターン，ならびに音声ガイドを検索して，(13)映像重畳・同期装置に転送する，
(13)映像重畳・同期装置では，(2)映像制御装置（ジョイスティック）によって制御される360度映像上の映像と矛盾のない配置で，利用者の説明機能を指さしならびに操作手順の説明を，VR動作と説明音声で操作説明を生成する，
加えて，(13)映像重畳・同期装置では，利用者の手元にある操作装置類を仮想介助者が指差し説明を行うために，360度映像と利用者の間に仮想介助者を配置表示させる必要がある場合には，利用者が装着した(14)シースルー型ヘッドマウントディスプレイ上で説明行動映像を提示させる．
以上のような装置構成によって，従来技術の文書検索型オンラインマニュアルの機能を，音声入力インタフェースと仮想介助者に代行することができるため，高齢者などの情報弱者でも簡単に操作説明を享受できる．
徘徊によって行方不明となる高齢者は多い．
本発明による（実施例1）の装置構成によって構成される，疑似外出体験装置によって，あたかも実空間を散策するような感覚を提示することができるため，介護施設などに本装置構成を実現することにより，高齢者のQoLを維持しつつ外出体験を提供することができる．
加えて（実施例２）の装置構成を加えることにより，従来技術の文書検索型オンラインマニュアルの機能を，音声入力インタフェースと仮想介助者に代行することができるため，高齢者などの情報弱者でも簡単に操作説明を享受できる．
(1) 車椅子
(2) ジョイスティック，
(3) ネットワーク，
(4) 360度映像検索・取得装置，
(5) 透視投影変換装置，
(6) 表示制御装置，
(7) 部分球面型映像提示装置，
(8) 映像コンテンツ配信装置
(9) 音声入力装置，
(10) 発話内容解析装置，
(11) 仮想介助者行動決定装置，
(12) 仮想介助者行動VRパターン・音声ガイドパターン記録装置，
(13) 動画重畳・画像同期装置，
(14) シースルー型ヘッドマウントディスプレイ
(2) ジョイスティック，
(3) ネットワーク，
(4) 360度映像検索・取得装置，
(5) 透視投影変換装置，
(6) 表示制御装置，
(7) 部分球面型映像提示装置，
(8) 映像コンテンツ配信装置
(9) 音声入力装置，
(10) 発話内容解析装置，
(11) 仮想介助者行動決定装置，
(12) 仮想介助者行動VRパターン・音声ガイドパターン記録装置，
(13) 動画重畳・画像同期装置，
(14) シースルー型ヘッドマウントディスプレイ
Claims (2)
- 車椅子，ジョイスティック，ネットワーク，360度映像検索・取得装置，透視投影変換装置，表示制御装置，部分球面型映像提示装置，映像コンテンツ配信装置，を備え，電動車椅子の操作感覚を模擬するために，車椅子，に装着したジョイスティックを用いて，360度映像検索・取得装置では，ネットワーク，上に存在する映像コンテンツ配信装置，たとえばGoogle Earthなどの360度映像を対象とし，ジョイスティックの操作に応じた映像を検索・取得し，透視投影変換装置で，取得した街路映像を適切な曲面映像に変換し，表示制御装置に転送し，表示制御装置で，映像を複数の曲面方向の映像に分割し，部分球面型映像提示装置に転送し，部分球面型映像提示装置で，表示制御装置から転送された加工映像を曲面上の適切な位置に表示し，尚，部分球面型映像提示装置を構成する個別表示装置の配置については，利用者の視覚を取り巻くようにディスプレイ複数枚を湾曲型に配置させることにより，映像に対する没入感を提示するような装置構成により，高精細かつ臨場感のある映像提示空間を構成し，その空間に360度映像（例えばGoogle Earthなど）を表示させることで，疑似的な外出体験を提供することを特徴とする没入感型高精細映像提示空間による疑似外出体験提示装置．
- （請求項１）の装置構成に加え，音声入力装置，発話内容解析装置，仮想介助者行動決定装置，仮想介助者行動VRパターン・音声ガイドパターン記録装置，動画重畳・画像同期装置，シースルー型ヘッドマウントディスプレイ，を新たな装置構成として追加することにより，利用者はマイクなどを通じて(9)音声入力装置に例えば，「○△するにはどうすればよいですか？」のような機械操作に関する質問音声などを入力し，発話内容解析装置は，音声認識技術ならびに形態素解析技術からなり，「○△」というクルーワードの検出により対象機能を特定し，仮想介助者行動決定装置では，対象機能を操作する部分を抽出しVRによる仮想介助者が指差しを行う装置箇所を特定するとともに，仮想介助者行動VRパターン・音声ガイドパターン記録装置か対象装置個所の操作説明に該当するための，仮想介助者行動VRパターン，ならびに音声ガイドを検索して，映像重畳・同期装置に転送し，映像重畳・同期装置では，映像制御装置（ジョイスティック）によって制御される360度映像上の映像と矛盾のない配置で，利用者の説明機能を指さしならびに操作手順の説明を，VR動作と説明音声で操作説明を生成し，加えて，映像重畳・同期装置では，利用者の手元にある操作装置類を仮想介助者が指差し説明を行うために，360度映像と利用者の間に仮想介助者を配置表示させる必要がある場合には，利用者が装着したシースルー型ヘッドマウントディスプレイ上で説明行動映像を提示させる，ような装置構成によって，従来技術の文書検索型オンラインマニュアルの機能を，音声入力インタフェースと仮想介助者に代行することができるため，高齢者などの情報弱者でも簡単に操作説明を享受できることをを特徴とする没入感型高精細映像提示空間による疑似外出体験提示装置．
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019019487A JP2020126187A (ja) | 2019-02-06 | 2019-02-06 | 没入感型高精細映像提示空間による疑似外出体験提示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019019487A JP2020126187A (ja) | 2019-02-06 | 2019-02-06 | 没入感型高精細映像提示空間による疑似外出体験提示装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020126187A true JP2020126187A (ja) | 2020-08-20 |
Family
ID=72084888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019019487A Pending JP2020126187A (ja) | 2019-02-06 | 2019-02-06 | 没入感型高精細映像提示空間による疑似外出体験提示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020126187A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220052587A (ko) * | 2020-10-21 | 2022-04-28 | ㈜ 한국공학기술연구원 | 가상 현실을 이용한 장애인/노인의 이동보조기기 시뮬레이터 시스템 |
| KR20220052590A (ko) * | 2020-10-21 | 2022-04-28 | ㈜ 한국공학기술연구원 | 가상 현실을 이용한 장애인/노인의 이동보조기기 시뮬레이션 방법 |
-
2019
- 2019-02-06 JP JP2019019487A patent/JP2020126187A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220052587A (ko) * | 2020-10-21 | 2022-04-28 | ㈜ 한국공학기술연구원 | 가상 현실을 이용한 장애인/노인의 이동보조기기 시뮬레이터 시스템 |
| KR20220052590A (ko) * | 2020-10-21 | 2022-04-28 | ㈜ 한국공학기술연구원 | 가상 현실을 이용한 장애인/노인의 이동보조기기 시뮬레이션 방법 |
| KR102511586B1 (ko) | 2020-10-21 | 2023-03-20 | ㈜ 한국공학기술연구원 | 가상 현실을 이용한 장애인/노인의 이동보조기기 시뮬레이션 방법 |
| KR102512131B1 (ko) | 2020-10-21 | 2023-03-22 | ㈜ 한국공학기술연구원 | 가상 현실을 이용한 장애인/노인의 이동보조기기 시뮬레이터 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7190434B2 (ja) | 外部条件に基づくウェアラブルディスプレイデバイスの自動制御 | |
| JP7153096B2 (ja) | アイフィードバックによるコミュニケーションを可能にするシステム及び方法 | |
| Souza et al. | Measuring presence in virtual environments: A survey | |
| CN105934227B (zh) | 音频导航辅助 | |
| CN109844854A (zh) | 单词流注释 | |
| TWI766165B (zh) | 用於放鬆身心的引導式虛擬實境系統 | |
| Jicol et al. | Efficiency of sensory substitution devices alone and in combination with self-motion for spatial navigation in sighted and visually impaired | |
| JP2022510752A (ja) | Ａｒにおける自然言語翻訳 | |
| JP7107302B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| EP3358836B1 (en) | Information processing system and information processing method | |
| JP2020126187A (ja) | 没入感型高精細映像提示空間による疑似外出体験提示装置 | |
| Chatterjee et al. | Classification of wearable computing: A survey of electronic assistive technology and future design | |
| JP5761730B2 (ja) | 身体技能習得支援装置 | |
| Hussain et al. | Supporting deafblind in congregational prayer using speech recognition and vibro-tactile stimuli | |
| CN108139804A (zh) | 信息处理装置与信息处理方法 | |
| Trepkowski et al. | Multisensory proximity and transition cues for improving target awareness in narrow field of view augmented reality displays | |
| US11106357B1 (en) | Low latency tactile telepresence | |
| Giraldy et al. | A systematic literature review: acrophobia treatment with virtual reality | |
| Mirzaei et al. | Head Up visualization of spatial sound sources in virtual reality for deaf and hard-of-hearing people | |
| KR102122021B1 (ko) | 가상현실을 이용한 인지 개선 장치 및 방법 | |
| US20180197564A1 (en) | Information processing apparatus, information processing method, and program | |
| Chen et al. | Virtual, Augmented and Mixed Reality. Multimodal Interaction: 11th International Conference, VAMR 2019, Held as Part of the 21st HCI International Conference, HCII 2019, Orlando, FL, USA, July 26–31, 2019, Proceedings, Part I | |
| JP2020184695A (ja) | 仮想体験システム及びコンピュータプログラム | |
| KR102667622B1 (ko) | 영상과 음성 신호 분석에 의한 상황판단 시스템 및 그 운용방법 | |
| Afonso et al. | How to not hit a virtual wall: aural spatial awareness for collision avoidance in virtual environments |