JP2020038272A - コントローラ、コントローラの製造方法、疑似体験システム、および疑似体験方法 - Google Patents

コントローラ、コントローラの製造方法、疑似体験システム、および疑似体験方法 Download PDF

Info

Publication number
JP2020038272A
JP2020038272A JP2018164929A JP2018164929A JP2020038272A JP 2020038272 A JP2020038272 A JP 2020038272A JP 2018164929 A JP2018164929 A JP 2018164929A JP 2018164929 A JP2018164929 A JP 2018164929A JP 2020038272 A JP2020038272 A JP 2020038272A
Authority
JP
Japan
Prior art keywords
main body
video
unit
image
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018164929A
Other languages
English (en)
Other versions
JP7112077B2 (ja
Inventor
礼司 片山
Reiji KATAYAMA
礼司 片山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kurume University
Original Assignee
Kurume University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kurume University filed Critical Kurume University
Priority to JP2018164929A priority Critical patent/JP7112077B2/ja
Priority to US17/273,156 priority patent/US20210327294A1/en
Priority to PCT/JP2019/033048 priority patent/WO2020050063A1/ja
Publication of JP2020038272A publication Critical patent/JP2020038272A/ja
Application granted granted Critical
Publication of JP7112077B2 publication Critical patent/JP7112077B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y80/00—Products made by additive manufacturing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/30—Auxiliary operations or equipment
    • B29C64/386—Data acquisition or data processing for additive manufacturing
    • B29C64/393—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y50/00—Data acquisition or data processing for additive manufacturing
    • B33Y50/02—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/30—Anatomical models
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/36—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for zoology
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Materials Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Manufacturing & Machinery (AREA)
  • Mathematical Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Human Computer Interaction (AREA)
  • Medicinal Chemistry (AREA)
  • Medical Informatics (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Zoology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】教育等の対象物と同一或いは略同一の形状を有する本体部に触れながら、映像表示装置に表示された対象物を模した被操作映像の操作を行うことで、ユーザの視覚と触覚が刺激され、直感的で没入感の高い疑似体験を得ることができるコントローラ、コントローラの製造方法、疑似体験システム及び疑似体験方法を提供する。【解決手段】擬似体験システム１は、ＨＭＤである映像表示装置２、人間の肝臓を実寸大に模した形状の本体部３１と信号発信部３２を有するコントローラ３、映像表示装置２及びコントローラ３と接続され、信号受信部４１、演算部４２、映像生成部４３、同期処理部４４、映像出力部４５、記憶部４６、付加的映像生成部４７及び映像合成部４８を有するコンピュータ４、一対の赤外線照射部５１、５２の各々が、設置空間内を三次元方向に走査する赤外線を照射可能に構成された赤外線照射装置５を備える。【選択図】図１

Description

本発明は、コントローラ、コントローラの製造方法、疑似体験システム、および疑似体験方法に関する。更に詳しくは、教育等の対象物と同一あるいは略同一の形状を有する本体部に触れながら、映像表示装置に表示された対象物を模した被操作映像の操作を行うことで、ユーザの視覚と触覚が刺激され、直感的で没入感の高い疑似体験を得ることができるものに関する。
仮想現実空間において疑似体験を行うシステム等（以下「ＶＲシステム等」という）については、１９６０年代から研究および製品化の提案がなされていたが、一般への普及は遅れていた。この理由としては、仮想現実空間を構成する画像あるいは映像生成には画像処理能力の高いコンピュータが必須であり、このような高性能なコンピュータは、大型であったり、高額であったりしたため、一般家庭はもちろんのこと、資金力に乏しい教育機関、研究機関あるいは企業にも手が届きにくかった。
しかしながら、近年の技術水準の向上によって、従来よりも低価格で小型のコンピュータが普及し、家庭用のコンピュータやゲーム機等の一般的端末でも、ＶＲシステム等を構成できるほど、その性能が向上している。このような状況変化により、学校教育等の場でもＶＲシステム等を導入しやすい環境が整いつつあり、ＶＲシステム等の導入によって行われる疑似体験を通じて、学習効果向上が期待されている。
ところで、ＶＲシステム等において、機器本体あるいは仮想現実空間内において生成され、ユーザにより操作される映像（以下、このようなコンテンツで表示される映像を「被操作体映像」という）の操作デバイス（以下「コントローラ」という）として、以下のような各種コントローラが提案されており、これらを図７乃至８に示す。
ＥＬＥＣＯＭ トップ 製品情報 ＶＲ関連製品 ＶＲ入出力機器 ＶＲマウス（Ｍ−ＶＲＦ０１ＢＫ） インターネット＜URL：http://www2.elecom.co.jp/products/M-VRF01BK.html＞
ＥＬＥＣＯＭ トップ 製品情報 ＶＲ関連製品 ＶＲ入出力機器 ＶＲ用Ｂｌｕｅｔｏｏｔｈ（登録商標）リモコン（ＪＣ−ＶＲＲ０１ＢＫ） インターネット＜URL：http://www2.elecom.co.jp/products/JC-VRR01BK.html＞
ＥＬＥＣＯＭ トップ 製品情報 ＶＲ関連製品 ＶＲ入出力機器 ＶＲゲームパッド（ＪＣ−ＶＲＰ０１ＢＫ） インターネット＜URL：http://www2.elecom.co.jp/products/JC-VRP01BK.html＞
ＡＳＣＩＩ ＳＴＡＲＴＵＰ 腕がハックされる！体感がヤバい触感型ゲームコントローラー「ＵｎｌｉｍｉｔｅｄＨａｎｄ」 インターネット＜URL：http://ascii.jp/elem/000/001/164/1164500/＞
ＭｏｇｕｒａＶＲ VR向けグローブ、人工腱で指に"張り"や圧力を再現 インターネット＜URL：https://www.moguravr.com/contact-ci-maestro/＞
Ｓｅａｍｌｅｓｓ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｎｅｗｓ VR内で触った感触を実際の手に感じさせる手袋を学生が開発！ インターネット＜URL：https://shiropen.com/2015/04/25/7538＞
ところで、現在もＶＲシステム等の開発は進んでいるが、現時点でのＶＲシステム等は、主に視覚と聴覚を刺激して没入感を得るものが多い。このようなＶＲシステム等で、例えば映画のような受動的なコンテンツを楽しむ場合は、前述の非特許文献１乃至３に記載したようなコントローラであっても特に問題とはならないが、被操作体映像をユーザが操作するような能動的コンテンツでは、以下の問題が生じている。
すなわち、現在のところ、旧来から使用されている図７（ａ）に記載のマウスタイプ９１（非特許文献１）や図７（ｂ）に記載のジョイスティックタイプ９２（非特許文献２）、図７（ｃ）に記載のゲームパッド９３（非特許文献３）がコントローラの主流であるが、これら旧来型コントローラを使用した際に、ユーザには、触るコントローラ（触覚）と、視る被操作体映像（視覚）との形状の相違に起因した違和感が生じることがあった。そして、被操作体映像の操作に際しては、画面上に映し出されたポインタを被操作体映像に合わせて操作を行うため、直感的操作性に欠け、ユーザの没入感に欠けることとなる。
一方、このような没入感の欠如や違和感を解消すべく、ＶＲシステム等に触覚の要素を導入する仮想的な触覚付与の研究が行われている。これらの一例としては、図８（ｄ）に記載の電気刺激をユーザに与えて手指を制御する機能的電気刺激型デバイス９４（非特許文献４）や、図８（ｅ）に記載のグローブを介した機能的電気刺激および振動刺激型デバイス９５（非特許文献４）、あるいは、図８（ｆ）に記載のグローブを介した空気圧刺激型デバイス９６（非特許文献６）等があり、これらの刺激を通じて、装着したユーザにまるで被操作体映像を触っているかのような触覚を付与するといったもの（以下「触覚付与型コントローラ」という）が提案されている。
しかしながら、本願の出願時点では、触覚の再現精度の高い触覚付与型コントローラは、運用するシステムやアルゴリズムが複雑であると共に、周辺機器を含めて大掛かりな装置となり、製造コストや製品価格が高額となる傾向にある。また、再現精度の高い触覚付与型コントローラは、装着に手間が掛かると共に、それなりの重量があり、また接続されたコードやホースで動きが制限され、ユーザに加わるこれらの負担が操作性や没入感の阻害要因となっていた。
本発明は、以上の点を鑑みて創案されたものであり、教育等の対象物と同一あるいは略同一の形状を有する本体部に触れながら、映像表示装置に表示された対象物を模した被操作映像の操作を行うことで、ユーザの視覚と触覚が刺激され、直感的で没入感の高い疑似体験を得ることができる、コントローラ、コントローラの製造方法、疑似体験システム、および疑似体験方法を提供することを目的とする。
上記の目的を達成するために本発明のコントローラは、教育、研究または訓練の対象物と同一あるいは略同一の形状に形成された本体部と、本体部に設けられ、機外の映像表示装置で表示される対象物を模した被操作体映像の動きと、本体部の動作とを同期させるための信号を発信可能な信号発信部とを備える。
ここで、コントローラは、教育、研究または訓練（本明細書中で、これらを総称する説明では「教育等」と省略する場合がある）の対象物と同一あるいは略同一の形状の本体部を備えることによって、コントローラに触れたユーザは、あたかも教育等の対象物に直接触れたような触覚的な刺激を受けることができ、形状や大きさも知覚することができる。
なお、前述の用語「教育、研究または訓練の対象物」としては、例えば、医学の専門教育で学習対象となる人間の臓器、美術分野における授業で使用する彫刻、新規施術の研究対象となる人間の臓器、考古学分野における研究対象となる出土物、開発研究中の新規機械部品、作業者が行う組立作業の習熟訓練の対象となる機械部品、考古学分野における修復作業対象となる遺物、施術前の模擬訓練の対象となる病変した人間の臓器、等の各種対象物が挙げられる。また、用語「教育」には、説明や解説（例えば、医療分野において被施術者に対する患部や施術部位または施術方法を解説する行為等）が含まれるものとする。
そして、前述の用語「同一の形状に形成」とは、形状と大きさの点において、教育等の対象物と同一であることを意味している。また、前述の用語「略同一の形状に形成」とは、教育等の対象物とほぼ同じ形状と大きさに形成された場合のほか、対象物の現実の大きさよりも拡大または縮小して形成された場合、または、実物の一部のみ（例えば、一対である肺、腎臓等のいずれか片方、あるいは、肺の上部または下部といった特定部位）が形成された場合、のいずれをも含む意味で使用している。
更に、コントローラは、本体部に設けられた信号発信部を備えることによって、機外にある映像表示装置に対象物を模した被操作体映像が表示され、表示される被操作体映像が本体部の動作（現実の動き）に追従して動くように、被操作体映像の動きと本体部の動作とを同期させるための信号を発信することができる。
なお、前述の用語「映像表示装置」としては、液晶等の各種モニタ、テレビモニタ、ＨＭＤ（Head Mounted Displayの略称、頭部装着ディスプレイ）、立体映像表示装置が挙げられる。また、前述の用語「被操作体映像」とは、例えば、仮想現実映像、拡張現実映像、複合現実映像に表示される映像であって、表示映像内で操作可能なものが挙げられる。
更にまた、前述の用語「信号」とは、特に、本体部の運動により生じた変位を示す信号であり、本体部の静止状態を示す信号も含む意味で使用している。そして、「信号」には、計測点（マーカー）を示すべく、機外の赤外線投射機からの赤外線等を反射する反射マーカー（再帰性反射材を塗布）によるもの、あるいは自発光マーカーによるもの、ジャイロセンサー、加速度センサー等の位置を読み取るトラッキングを行うために必要な各種センサーの計測値を送信するもの等が挙げられる。
このように、本発明のコントローラは、ユーザが、本体部に触れた際の触感を通じて対象物の形状や大きさを知覚することができると共に、信号発信部が前述の信号を機外に発信することができる。
そして、発信された信号は、例えば、機外の映像処理機能を有する機器で受信され、同機器で被操作体映像と本体部の位置情報との同期処理（リンクさせる処理）が行われる。この同期処理によって、ユーザが本体部に加える運動と、表示された被操作体映像の運動とが一致し、コントローラを回転等させることで、様々な角度からの被操作体映像の観察が可能となる。
つまり、本発明のコントローラによれば、映像表示装置上に表示される被操作体映像の動き（視覚）と、触っているコントローラの動き（触覚）とがリンクし、対象物を直接操作するような感覚で、被操作体映像の操作を行うことができる。この結果、ＶＲシステム等の疑似体験システムで使用した際に、直感的で没入感の高い疑似体験を得ることができ、学習等の効果を高めることができる。
また、対象物が、所定の動物の器官である場合は、対象物を模した本体部の形状を所定の動物の器官にすることができる。
前述の用語「所定の動物」としては、教育等の対象となる実験動物等の各種動物を任意に選択することができ、人間も含まれる。また、前述の用語「器官」とは、神経系、感覚系、運動系、骨格系、消化系、呼吸系、循環系、排出系、生殖系、内分泌系等の諸器官を含む意味で使用している。
本発明のコントローラは、ユーザが動物の器官の形状を模した本体部を持つことで、触感を通じて器官の形状や大きさを知覚することができると共に、本体部を回転等させる操作を行うことで様々な角度から視覚を通じた観察を行うことができる。
つまり、本発明のコントローラによれば、映像表示装置上に表示される動物の器官の映像の動き（視覚）と、触っているコントローラの動きとがリンクし、動物の器官を直接動かすような感覚で、動物の器官の映像の操作を行うことができる。加えて、コントローラに触れることで、動物の器官の形状を触覚的に認識することができる。この結果、ＶＲシステム等の疑似体験システムで使用した際に、直感的で没入感の高い疑似体験を得ることができ、学習等の効果を更に高めることができる。
また、本体部が、動物を検査することで得られた、動物の器官またはその一部の形状のデータに基づいて形成されたものである場合は、本体部の形状を、検査によりデータを採取した特定の動物の器官等と一致したものにすることができる。
前述の用語「検査」は、ＣＴ検査（Computed Tomography：コンピュータ断層撮影法）、ＭＲＩ検査（Magnetic Resonance Imaging：磁気共鳴画像）、レントゲン検査等の動物の器官を検査することができる各種検査を含む。また、検査対象となる「動物」としては、例えば、人間の癌細胞を移植した担癌マウスモデル等の特定の動物が挙げられ、治療対象者のような人間も含む意味である。
そして、これらの検査で得た「動物の器官またはその一部の形状のデータ」に基づいて本体部を形成することで、コントローラに触れたユーザは、一般的な形状やサイズの器官ではなく、あたかも特定の動物の器官に触れたような触覚的な刺激を受けることができ、形状や大きさも知覚することができる。
本発明のコントローラによれば、例えば、治療対象者の施術対象臓器等の形状や病態に基づく患部の状況を、施術担当者が事前に観察できると共に、術位の模擬検証、施術の模擬訓練を通じて、施術の成功率向上に資することができる。
また、本体部が、少なくとも表面部分が軟質樹脂素材で形成されたものである場合は、模した対象物との触感の差を埋めることでき、実物に近い触覚的な刺激を以て、より高い精度での観察や学習効果の向上を期待することができる。なお、触感を考慮して「少なくとも表面部分」としているが、これに限定するものではなく、内部の一部または全部を軟質樹脂素材で形成したものであってもよい。
前述の用語「軟質樹脂素材」としては、シリコーンゴム、超軟質ウレタン樹脂、熱可塑性エラストマ等が挙げられる。そして、特に、本体部として動物の器官である内臓や血管をシリコーンゴムで形成した場合は、実物に近い触感を再現することができる。
上記の目的を達成するために本発明のコントローラの製造方法は、教育、研究または訓練の対象物と同一あるいは略同一の形状の本体部を形成する、本体部形成工程と、本体部形成工程で形成された本体部に、機外の映像表示装置で表示される対象物を模した被操作体映像の動きと、本体部の動作とを同期させるための信号を発信可能な信号発信部を設ける、信号発信部設置工程とを備える。
ここで、本発明のコントローラの製造方法は、本体部形成工程を備えることによって、教育等の対象物と同一あるいは略同一の形状の本体部を得ることができる。
そして、本発明のコントローラの製造方法は、信号発信部設置工程を備えることによって、前述の本体部に、機外にある映像表示装置に対象物を模した被操作体映像が表示され、表示される被操作体映像が本体部の動作（現実の動き）に追従して動くように、被操作体映像の動きと本体部の動作とを同期させるための信号を発信可能な信号発信部を設けることができる。
本発明で製造されるコントローラによれば、映像表示装置上に表示される被操作体映像の動き（視覚）と、触っているコントローラの動き（触覚）とがリンクし、対象物を直接操作するような感覚で、被操作体映像の操作を行うことができる。この結果、ＶＲシステム等の疑似体験システムで使用した際に、直感的で没入感の高い疑似体験を得ることができ、学習等の効果を高めることができる。
なお、前述の用語「教育、研究または訓練の対象物」、「同一あるいは略同一の形状の本体部を形成」、「映像表示装置」、「被操作体映像」、および「信号」については、先に行ったコントローラでの説明と同じ意味であり、説明を省略する。
また、本体部形成工程を３Ｄプリンタによって行う場合は、金型等を要しないので、コントローラが一点物であったり、小ロットであったりしても、データ入力のみで速やかな製造を行うことができる。また、金型の製造を要さないため、比較的安価で本体部を調達することができる。特に、対象物が、検査により得られた動物の器官等である場合、基本的に一点しか製造しないので、調達までの早さや価格抑制の観点からも、３Ｄプリンタによる本体部形成が好適である。
上記の目的を達成するために本発明の擬似体験システムは、映像表示装置と、教育、研究または訓練の対象物と同一あるいは略同一の形状に形成された本体部、および、本体部に設けられ、映像表示装置で表示される対象物を模した被操作体映像の動きと、本体部の動作とを同期させるための信号を発信可能な信号発信部を有するコントローラと、コントローラ、および、映像表示装置と接続され、信号発信部から発信された信号を受信可能な信号受信部、信号受信部に接続され、受信した信号に基づいて本体部の動作を解析し、動作データを算出可能な演算部、対象物の形状のデータに基づいて被操作体映像を生成可能な映像生成部、映像生成部が生成する被操作体映像が、本体部の動作に追従して動くように、演算部が算出する動作データを同期可能な同期処理部、および、同期処理部で処理された被操作体映像を映像表示装置に出力可能な映像出力部を有するコンピュータとを備える。
ここで、本発明の擬似体験システムは、映像表示装置を備えることにより、前述のコンピュータで生成された被操作体映像を表示することができると共に、前述のコントローラを使用して、表示された被操作体映像を操作することができる。
更に、本発明の擬似体験システムは、前述のコントローラが、教育等の対象物と同一あるいは略同一の形状の本体部を有することによって、コントローラに触れたユーザは、あたかも教育等の対象物に直接触れたような触覚的な刺激を受けることができ、形状や大きさも知覚することができる。また、前述のコントローラは、信号発信部を備えることによって、映像表示装置で表示される対象物を模した被操作体映像が、本体部の動作（現実の動き）に追従して動くように、被操作体映像の動きと本体部の動作とを同期させるための信号を発信することができる。
更にまた、本発明の擬似体験システムは、コントローラおよび映像表示装置と接続されたコンピュータが、信号受信部、演算部、映像生成部、同期処理部、および映像出力部を有することによって、以下の作用を奏する。
（１）前述のコンピュータが信号受信部を有することによって、コントローラから発信された信号を受信することができる。
（２）前述のコンピュータが演算部を有することによって、信号受信部で受信した信号に基づいて、本体部の動作を解析し、動作データを算出することができる。
（３）前述のコンピュータが映像生成部を有することによって、対象物のデータに基づいて被操作体映像を生成することができる。
（４）前述のコンピュータが同期処理部を有することによって、映像生成部が生成する被操作体映像が、本体部の動作に追従して動くように、演算部が算出する動作データを同期させる処理を行うことができる。
（５）前述のコンピュータが映像出力部を有することによって、同期処理部で処理された被操作体映像を映像表示装置に出力することができる。
このように、本発明の擬似体験システムは、コントローラの本体部に触れた際の触感を通じて、対象物の形状や大きさを知覚することができると共に、信号発信部が、前述の信号を機外に発信することができる。そして、発信された信号はコンピュータで受信され、同コンピュータで被操作体映像と本体部の位置情報との同期処理（リンクさせる処理）が行われる。この同期処理によって、本体部に加える運動と表示された被操作体映像の運動とが一致し、コントローラを回転等させることで、様々な角度からの被操作体映像の観察が可能となる。
つまり、本発明の擬似体験システムによれば、映像表示装置上に表示される被操作体映像の動き（視覚）と、触っているコントローラの動き（触覚）とがリンクし、対象物を直接操作するような感覚で、被操作体映像の操作を行うことができる。この結果、疑似体験システムを使用した際に、直感的で没入感の高い疑似体験を得ることができ、学習等の効果を高めることができる。
なお、コントローラおよび映像表示装置と、コンピュータとの接続態様は、無線、有線のいずれの場合も含む。そして一方が無線で他方が有線（例：コンピュータとコントローラは無線、コンピュータと映像表示装置は有線で接続される。あるいはその逆パターン）であってもよい。「コントローラ」との接続により受信信号がコンピュータに入力でき、「映像表示装置」との接続により生成した映像がコンピュータから出力できる。
なお、前述の用語「教育、研究または訓練の対象物」、「同一あるいは略同一の形状の本体部を形成」、「映像表示装置」、「被操作体映像」、および「信号」については、先に行ったコントローラでの説明と同じ意味であり、説明を省略する。
また、コンピュータが、生成される被操作体映像と合成可能な動物の器官またはその一部に関連する付加的データを蓄積可能な記憶部、記憶部に蓄積された付加的データに基づいて付加的映像を生成可能な付加的映像生成部、および、付加的映像生成部で生成された付加的映像を、生成された被操作体映像に合成可能な映像合成部、を更に有する場合は、付加的データに基づいて生成された付加的映像を、被操作体映像に合成することができる。
例えば、被操作体映像が人体の肝臓であるときに、当該肝臓内に走行する血管を付加的映像として合成することで、コントローラで肝臓の映像（被操作体映像）を回転等させると、この動きに同期して見える血管の角度も変わるため、観察による学習効果が向上し、術位の模擬検証や施術の模擬訓練等にも役立てることができる。
前述のコンピュータは、記憶部を有することによって、生成される被操作体映像と合成可能な動物の器官またはその一部に関連する付加的データを蓄積することができる、なお、「記憶部」は、ストレージ、メモリといった前述のデータを入力、蓄積、出力可能な部分を意味する。
更に、「付加的データ」としては、被操作体映像に合成される付加的映像を生成するために必要とされる寸法や形状、色彩等のデータが挙げられる。例えば、「付加的データ」は、器官内部の血管や神経等の内部構造の寸法等のデータ、器官に連なる他の器官（例：幽門を含む胃と十二指腸、肘関節を含む上腕骨と前腕骨）等のデータ等が挙げられる。また、このデータは、対象器官における標準的な寸法等であってもよいし、治療対象者等をＣＴ等で検査して得られた生体固有のデータであってもよい。
前述のコンピュータは、付加的映像生成部を有することによって、記憶部に蓄積された付加的データに基づいて付加的映像を生成することができる。そして、前述のコンピュータは、映像合成部を有することによって、付加的映像生成部で生成された付加的映像を、生成された被操作体映像に合成することができる。
ところで、現在のところ、器官等（対象臓器等）の外形部分を透明にし、器官内の血管等まで再現した実物大立体モデル（以下「スケルトンモデル」という）の製作には多額の費用が掛かっている。
しかしながら、本発明によれば、映像表示装置上において、器官（対象臓器等）に血管等の付加的映像を重ねて合成（投影）できるので、現実にスケルトンモデルを製作する場合と比較して、視覚を通じて観察可能なモデル（仮想現実映像）を、簡易かつ速やかに得ることができ、また、調達費用を抑えることができる。更に、対象器官の形状等を再現したコントローラの本体部の触感を通じても器官を観察することができ、つまり、視覚及び触覚を介した器官観察の擬似体験をすることができる。
上記の目的を達成するために本発明の擬似体験方法は、映像表示装置と、教育、研究または訓練の対象物と同一あるいは略同一の形状に形成された本体部、および、本体部に設けられ、映像表示装置で表示される対象物を模した被操作体映像の動きと、本体部の動作とを同期させるための信号を発信可能な信号発信部を有するコントローラと、信号の受信機能、受信した信号に基づいて本体部の動作を解析し、動作データを算出する演算機能、対象物の形状のデータに基づいて被操作体映像を生成する映像生成機能、生成された被操作体映像が本体部の動作に追従して動くように、算出された動作データを同期させる同期処理機能、および、同期処理された被操作体映像を映像表示装置に出力する映像出力部を有するコンピュータとを使用し、ユーザが、映像表示装置に表示された被操作体映像を視認しながら、コントローラに触れることで被操作体映像を操作して行うものである。
ここで、本発明の擬似体験方法は、前述の映像表示装置、コントローラ、およびコンピュータを使用することで、ユーザは、映像表示装置に表示された被操作体映像を視認しながら、コントローラを介して被操作体映像を操作することができる。このとき、ユーザは、コントローラの本体部に触れた際の触感を通じて、対象物の形状や大きさを知覚することができる。
つまり、本発明の擬似体験方法によれば、映像表示装置上に表示される被操作体映像の動き（視覚）と、触っているコントローラの動き（触覚）とがリンクし、対象物を直接操作するような感覚で、被操作体映像の操作を行うことができる。この結果、疑似体験システムを使用した際に、直感的で没入感の高い疑似体験を得ることができ、学習等の効果を高めることができる。
なお、前述の用語「教育、研究または訓練の対象物」、「同一あるいは略同一の形状の本体部を形成」、「映像表示装置」、「被操作体映像」、および「信号」については、先に行ったコントローラでの説明と同じ意味であり、説明を省略する。
本発明によれば、教育等の対象物と同一あるいは略同一の形状を有する本体部に触れながら、映像表示装置に表示された対象物を模した被操作映像の操作を行うことで、ユーザの視覚と触覚が刺激され、直感的で没入感の高い疑似体験を得ることができる、コントローラ、コントローラの製造方法、疑似体験システム、および疑似体験方法を提供することができる。
本発明に係る擬似体験システムの概略図である。 図１に示す擬似体験システムで使用するコントローラの正面図である。 図１に示す擬似体験システムの使用状態であり、コントローラの動作と映像表示装置に表示された映像の動作との相関を示す説明図である。 図１に示す擬似体験システムで使用するコンピュータの構成を示す概略図である。 図１に示す擬似体験システムで表示される他の映像例を示す説明図である。 図１に示す擬似体験システムで表示される他の映像例を示しており、（ａ）は合成前の肝臓の映像と肝臓の血管の映像、（ｂ）は（ａ）に示す各映像の合成後の映像である。 従来技術を示しており、（ａ）は非特許文献１のコントローラ、（ｂ）は非特許文献２のコントローラ、（ｃ）は非特許文献３のコントローラを示す斜視図である。 従来技術を示しており、（ｄ）は非特許文献４のコントローラ、（ｅ）は非特許文献５のコントローラ、（ｆ）は非特許文献６のコントローラを示す斜視図である。
図１乃至図６を参照して、本発明の実施の形態を更に詳細に説明する。なお、以下の説明は、〔擬似体験システム〕、〔擬似体験方法〕、〔コントローラの製造方法〕の順序により行う。また、各図における符号は、煩雑さを軽減し理解を容易にする必要な範囲内で付しており、同一符号が付される複数の同等物についてはその一部にのみ符号を付す場合がある。
〔擬似体験システム１〕
図１を参照する。擬似体験システム１は、映像表示装置２、コントローラ３、コンピュータ４、および赤外線照射装置５を備える。各部については以下詳述する。なお、以下説明においては、前述の「教育等の対象物」として人間の肝臓を選択している。
（映像表示装置２）
映像表示装置２は、ＨＭＤを採用している（図１参照）。映像表示装置２は、少なくとも、三次元方向の動きを機械的に感知して各軸方向の動きを検出する加速度センサー（図示省略）、角速度を検出するジャイロセンサー（図示省略）、赤外線受信センサー（図示省略）、各センサーが検出した測定値を信号に変換する演算装置（図示省略）、無線式発信器（図示省略）、および、スピーカー部（図示省略）を有している。映像表示装置２は、この加速度センサー等の協働により、装着した頭部の動作に基づく位置情報を信号化して、発信する機能を備えている。
また、映像表示装置２は、コンピュータ４で生成された映像情報を受信する受信機（図示省略）を有し、映像表示装置２の表示部を介して、ユーザＡにコンピュータ４で生成された映像を表示する機能を備えている。
（コントローラ３）
コントローラ３は、本体部３１と信号発信部３２を有する（図２参照）。
本体部３１は、人間の肝臓を実寸大に模した外形であり、本体部３１よりもやや小さく、プラスチックで形成された中空の基部（図示省略）と、基部の表面を被覆する軟質ウレタン樹脂の表面部（符号省略）からなる。なお、軟質ウレタン樹脂は、前述の「軟質樹脂素材」に相当する。
本体部３１は、前述の基部を有することにより定型性を保ちつつも、軟質ウレタン樹脂の表面部が実物に近い触感を再現しており、ユーザ使用時の没入感を高めることができる。また、基部が中空であるため軽量であり、材料が少なくて済むため、製造コストの低減化を図ることができる。
信号発信部３２は、本体部３１の所定箇所（図２では本体部３１の上部）に取り付けられている。信号発信部３２は、筐体（符号省略）の中に、少なくとも、三次元方向の動きを機械的に感知して各軸方向の動きを検出する加速度センサー（図示省略）、角速度を検出するジャイロセンサー（図示省略）、赤外線受信センサー（図示省略）、各センサーが検出した測定値を信号に変換する演算装置（図示省略）、無線式発信器（図示省略）が格納された小型ユニットである。
なお、前述の各センサーが検出した測定値を変換した信号が、前述の「機外の映像表示装置で表示される対象物を模した被操作体映像が、本体部の現実の動作に追従して動くように同期させるための信号」に相当する。
本実施形態では、映像表示装置２はＨＭＤであるが、これに限定するものではなく、例えば、携帯端末の画面を含む液晶等の各種モニタ、テレビモニタ、立体映像表示装置であってもよく、被操作体映像を動的に表示可能なデバイスであればよい。なお、没入感の観点から言えば、外部の景色を視覚的に遮断するＨＭＤが好ましいが、多数人を相手に授業や説明を行うような場合で、人数分のＨＭＤを調達することが難しいときには、大画面のモニタや立体映像表示装置が好適に使用される。
本実施形態では、本体部３１の構造は前述の通りであるが、これに限定するものではなく、例えば、本体部３１を同一素材で形成してもよいし、３つ以上の複層構造であってもよい。なお、本体部を中実にした場合、重量増加やコスト増を招くため、中空であることが好ましい。また、全体を軟質ウレタン樹脂等の軟質材料で形成すると、荷重や自重で容易に変形し、形状を保持できないため、内部にフレーム様の部材を配設することが好ましい。
本実施形態では、本体部３１の表面部が軟質ウレタン樹脂で被覆されているが、これに限定するものではなく、教育等の対象物によって変えることができる。例えば、金属部品の研究開発や組立技術習熟訓練を目的とする場合は、表面部分が平滑になるように形成して金属の質感を再現してもよいし、出土した石器の学習や研究を目的とする場合は、表面部分に実物と同様の凹凸やざらつきを形成して石質感を再現してもよく、これによってユーザ使用時の没入感を高めることができる。
（コンピュータ４）
図３乃至６を参照する。コンピュータ４は、映像表示装置２およびコントローラ３と無線接続されている。そして、コンピュータ４は、信号受信部４１、演算部４２、映像生成部４３、同期処理部４４、映像出力部４５、記憶部４６、付加的映像生成部４７、および映像合成部４８を有している（図４参照）。
信号受信部４１は、映像表示装置２とコントローラ３から発信された信号を受信することができる機能を有する。また、演算部４２は、信号受信部４１で受信した信号に基づいて、本体部３１の現実の動作を解析し、動作データを算出することができる機能を有する。
映像生成部４３は、機外から取得した肝臓の実物（前述の「対象物」に相当）の寸法等のデータに基づいて、肝臓の映像６（図３参照。前述の「被操作体映像」に相当）を生成することができる機能を有する。また、映像生成部４３は、機外から取得したデータに基づいて、人体における肝臓の位置を示す際に使用される人体のアウトライン等の背景映像６３（図５参照）を生成することができる機能も有する。
同期処理部４４は、映像生成部４３が生成する肝臓の映像６が、本体部３１の現実の動作に追従して動くように、肝臓の映像６と、本体部３１の動作データを同期させる処理を行うことができる機能を有する。また、同期処理部４４は、映像生成部４３が生成する背景映像６３が、映像表示装置２の現実の動作（視点方向）に追従して動くように、同期させる処理を行うことができる機能も有する。
映像出力部４５は、同期処理部４４で処理された肝臓や背景の映像情報を映像表示装置２に出力することができる機能を有する。
記憶部４６は、機外から取り込んだ、肝臓内の血管の映像を生成するための寸法等のデータ（前述の「付加的データ」に相当）を蓄積することができる機能を有する。
付加的映像生成部４７は、記憶部４６の肝臓内の血管の映像（以下「肝臓の血管の映像」という）を生成するための寸法等のデータに基づいて、肝臓の血管の映像６１を生成することができる機能を有する（図６（ａ）参照）。
映像合成部４８は、付加的映像生成部４７で生成された肝臓の血管の映像６１を、映像生成部４３で生成した肝臓の映像６に合成することができる機能を有する（図６（ｂ）参照）。以下この合成映像を「肝臓の合成映像６２」という）。
（赤外線照射装置５）
赤外線照射装置５は、一対の赤外線照射部５１、５２からなる（図１参照）。赤外線照射部５１、５２の各々は、設置された空間内を三次元方向に走査するように赤外線を照射可能に構成されている。そして、照射された赤外線は、映像表示装置２およびコントローラ３で受光し、その受光タイミングで三次元空間内の位置情報が計算される。なお、本実施形態の構成においては、映像表示装置２およびコントローラ３は、赤外線照射部５１、５２の間の領域で使用することを要する。
本実施形態では、赤外線照射装置５は、一対の赤外線照射部５１、５２からなるが、これに限定するものではなく、例えば、三次元方向における映像表示装置２およびコントローラ３の位置情報が入手可能な装置であれば、その構成、照射するものについては特に限定するものではない。
本実施形態では、擬似体験システム１は、映像表示装置２、コントローラ３、およびコンピュータ４、赤外線照射装置５を備えるが、これに限定するものではなく、例えば、映像表示装置２がコンピュータ４を介さずに映像処理が可能なスタンドアロンタイプである場合は、コンピュータ４または赤外線照射装置５のいずれか一方、または両方を擬似体験システム１から除外する構成とすることもできる。
〔擬似体験方法〕
図１乃至６を参照して、擬似体験システム１の作用および擬似体験方法について説明する。
（１）擬似体験システム１をセットアップする。このとき、映像表示装置２、コントローラ３およびコンピュータ４を同期させる。そして、ユーザＡは、映像表示装置２を頭部に装着し、コントローラ３を手に取る。
（２）ユーザＡが映像表示装置２に表示された肝臓の映像６を見ながら頭部を動かすと、映像表示装置２から位置情報の信号が発信される。この位置情報を受信したコンピュータ４は、受信した信号に基づいて映像生成および同期処理を行い、映像情報を映像表示装置２に出力する。この結果、映像表示装置２には、ユーザＡの頭部の動きに追従するかのように変化する映像が写し出される。
（３）ユーザＡがコントローラ３の本体部３１を持ち、映像表示装置２に表示された肝臓の映像６を動かすことを意図して、コントローラ３に回転等の動きを加えると、コントローラ３の信号発信部３１から位置情報の信号が発信される。この位置情報を受信したコンピュータ４は、受信した信号に基づいて映像生成および同期処理を行い、映像情報を映像表示装置２に出力する。この結果、映像表示装置２には、ユーザＡの操作によるコントローラ３の動きに追従するかのように動く肝臓の映像６が写し出される（図３参照）。
（４）また、ユーザＡが選択した場合、コンピュータ４によって付加的映像として生成された肝臓の血管の映像６１と前述の肝臓との映像６とが合成された、肝臓の合成映像６２が写し出され、血管の走行までも観察することができる。
（５）ユーザＡは、コントローラ３を操作する際に、肝臓の外形を模した本体部３１を持つことで、実物の肝臓に触っているような触感を得ることができる。
このように、擬似体験システム１は、映像表示装置２を備えることにより、コンピュータ４で生成された肝臓の映像６を（ユーザＡの選択によっては、肝臓の合成映像６２も）表示することができる。
そして、擬似体験システム１は、実物の肝臓を模した本体部３１を有するコントローラ３を備えることにより、コントローラ３に触れたユーザＡは、あたかも実物の肝臓に直接触れたような触覚的な刺激を受けることができ、本体部３１の各所を触ることで肝臓の形状や大きさも知覚することができる。
なお、コントローラ３は、前述の構造から軽量であるため、直感的で没入感の高い疑似体験の獲得に寄与している。また、コントローラ３は、その重量を対象物の重量と同じか略同じになるように設定することで、より高い没入感が得られる。例えば、対象物の重量感覚が重要な技術訓練等においては、前述の重量設定により、より高い学習効果が期待できる。
このように、擬似体験システム１を使用して行う擬似体験方法によれば、ユーザＡは、映像表示装置２に表示された肝臓の映像６を視認しながら、手に持ったコントローラ３を介して肝臓の映像６を操作することができる。このとき、映像表示装置２上に表示される肝臓の映像６の動き（視覚）と、触っているコントローラ３の動き（触覚）とがリンクしており、さながら実物の肝臓を直接持って動かすような感覚で、肝臓の映像６の操作を行うことができ、様々な角度からの観察が可能である。この結果、疑似体験システム１を使用した際に、直感的で没入感の高い疑似体験が得られる。
加えて、映像表示装置２はスピーカー部も有しているため、視覚に加えて、必要に応じて聴覚を刺激することもできる。この結果、擬似体験システム１では、視覚、聴覚および触覚と、人間の五感のうちの３つの感覚を同時に刺激することができ、更により高い没入感が得られる。
ところで、従来型学習のように、表示された画像や映像を単に（受動的に）見ているだけでは、脳への刺激が少なく（授業中等に生じる眠気はその証左である）、いくら精度の高い映像あるいは画像を提示したとしても、必ずしも高い学習効果を期待できるものではなかった。
しかしながら、擬似体験システム１では、表示された映像を自ら操作して動かすと共に、対象物を模したコントローラへの接触で指先に刺激を受けるので、視覚および触覚を介した人間の脳の「覚えよう」という機能に訴える能動的な学習等を行うことができる。つまり、擬似体験システム１を使用して行う擬似体験方法によれば、学習等の効果が高まることが期待できる。
〔コントローラの製造方法〕
コントローラ３の製造方法は、教育等の対象物である肝臓と同一の外形の本体部３１を、３Ｄプリンタを使用して形成する、本体部形成工程と、形成した本体部３１に信号発信部３２を設ける、信号発信部設置工程とを備える。
この製造方法によれば、本体部形成工程により肝臓を模した本体部３１が得られ、信号発信部設置工程により本体部３１に信号発信部３２を設けることで、コントローラ３を製造することができる。
なお、本体部形成工程が３Ｄプリンタによって行われるため、金型等が不要である。このため（特に、既に３Ｄプリンタを自己所有している場合は）、肝臓に関する寸法データの入力のみで速やかな製造を行うことができ、更に、金型が不要なことから比較的安価で本体部を調達することができる。
前述した通り、現在開発されている擬似体験システムでは、仮想環境内にある被操作体映像に触れた際の感触（硬さ、柔らかさ、質感、微細な形状）を再現するところまで至っていない。しかしながら、本発明の擬似体験システム１によれば、教育等の対象物と同一あるいは略同一の外形に形成した本体部３１を有するコントローラ３の使用によって、仮想環境内にある被操作体映像に触れた際の感触が再現されており、没入感の高い擬似体験を得ることができる。
また、本発明の擬似体験システム１によれば、実物がある場所にいない者とも擬似体験を共有することができる。例えば、一点しか発見されていない発掘物であって外部への貸し出しが困難な場合であったとしても、研究者同士で寸法等のデータを共有することで、各々が当該データに基づいてコントローラ３を作成し、かつ、コンピュータ４により被操作体映像を生成することで、各研究者が同じ擬似体験を得ることができ、同時進行的に共同研究を行う、あるいは新たな知見を得る、といった効果が期待できる。
同様に、ＣＴ等で得た患者の内臓の寸法等のデータを共有することで、離隔地にいる医師同士で最適な施術方法の検討や、新たな術式の共同研究、難病や症例の少ない病気に関する知識共有が促進される効果も期待できる。
更に、教育等の対象物のデータを共有することで、学校等の所在地から遠隔地にいる生徒や受講者であっても、擬似体験を介した授業や指導を受けることができる。
本明細書および特許請求の範囲で使用している用語と表現は、あくまでも説明上のものであって、なんら限定的なものではなく、本明細書および特許請求の範囲に記述された特徴およびその一部と等価の用語や表現を除外する意図はない。また、本発明の技術思想の範囲内で、種々の変形態様が可能であるということは言うまでもない。
１ 擬似体験システム
２ 映像表示装置
３ コントローラ
３１ 本体部
３２ 信号発信部
４ コンピュータ
４１ 信号受信部
４２ 演算部
４３ 映像生成部
４４ 同期処理部
４５ 映像出力部
４６ 記憶部
４７ 付加的映像生成部
４８ 映像合成部
５ 赤外線照射装置５
５１、５２ 赤外線照射部
６ 肝臓の映像
６１ 肝臓の血管の映像
６２ 肝臓の合成映像
６３ 背景映像
９１ マウスタイプ
９２ ジョイスティックタイプ
９３ ゲームパッド
９４ 機能的電気刺激型デバイス
９５ 機能的電気刺激および振動刺激型デバイス
９６ 空気圧刺激型デバイス
Ａ ユーザ

Claims (9)

  1. 教育、研究または訓練の対象物と同一あるいは略同一の形状に形成された本体部と、
    該本体部に設けられ、機外の映像表示装置で表示される前記対象物を模した被操作体映像の動きと、前記本体部の動作とを同期させるための信号を発信可能な信号発信部とを備える
    コントローラ。
  2. 前記対象物が、所定の動物の器官である
    請求項１に記載のコントローラ。
  3. 前記本体部が、動物を検査することで得られた、該動物の器官またはその一部の形状のデータに基づいて形成されたものである
    請求項１に記載のコントローラ。
  4. 前記本体部が、少なくとも表面部分が軟質樹脂素材で形成されたものである
    請求項２または請求項３に記載のコントローラ。
  5. 教育、研究または訓練の対象物と同一あるいは略同一の形状の本体部を形成する、本体部形成工程と、
    該本体部形成工程で形成された前記本体部に、機外の映像表示装置で表示される前記対象物を模した被操作体映像の動きと、前記本体部の動作とを同期させるための信号を発信可能な信号発信部を設ける、信号発信部設置工程とを備える
    コントローラの製造方法。
  6. 前記本体部形成工程を３Ｄプリンタによって行う
    請求項５に記載のコントローラの製造方法。
  7. 映像表示装置と、
    教育、研究または訓練の対象物と同一あるいは略同一の形状に形成された本体部、および、該本体部に設けられ、前記映像表示装置で表示される前記対象物を模した被操作体映像の動きと、前記本体部の動作とを同期させるための信号を発信可能な信号発信部を有するコントローラと、
    該コントローラ、および、前記映像表示装置と接続され、前記信号発信部から発信された信号を受信可能な信号受信部、該信号受信部に接続され、受信した前記信号に基づいて同本体部の動作を解析し、動作データを算出可能な演算部、前記対象物の形状のデータに基づいて前記被操作体映像を生成可能な映像生成部、該映像生成部が生成する前記被操作体映像が、前記本体部の動作に追従して動くように、前記演算部が算出する動作データを同期可能な同期処理部、および、該同期処理部で処理された前記被操作体映像を前記映像表示装置に出力可能な映像出力部を有するコンピュータとを備える
    擬似体験システム。
  8. 前記コンピュータが、生成される前記被操作体映像と合成可能な動物の器官またはその一部に関連する付加的データを蓄積可能な記憶部、該記憶部に蓄積された前記付加的データに基づいて付加的映像を生成可能な付加的映像生成部、および、該付加的映像生成部で生成された付加的映像を、生成された前記被操作体映像に合成可能な映像合成部、を更に有する
    請求項７に記載の擬似体験システム。
  9. 映像表示装置と、教育、研究または訓練の対象物と同一あるいは略同一の形状に形成された本体部、および、該本体部に設けられ、前記映像表示装置で表示される前記対象物を模した被操作体映像の動きと、前記本体部の動作とを同期させるための信号を発信可能な信号発信部を有するコントローラと、前記信号の受信機能、受信した前記信号に基づいて前記本体部の動作を解析し、動作データを算出する演算機能、前記対象物の形状のデータに基づいて前記被操作体映像を生成する映像生成機能、生成された前記被操作体映像が前記本体部の動作に追従して動くように、算出された前記動作データを同期させる同期処理機能、および、同期処理された前記被操作体映像を前記映像表示装置に出力する映像出力部を有するコンピュータとを使用し、
    ユーザが、前記映像表示装置に表示された前記被操作体映像を視認しながら、前記コントローラに触れることで同被操作体映像を操作して行う
    擬似体験方法。
JP2018164929A 2018-09-03 2018-09-03 コントローラ、コントローラの製造方法、疑似体験システム、および疑似体験方法 Active JP7112077B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018164929A JP7112077B2 (ja) 2018-09-03 2018-09-03 コントローラ、コントローラの製造方法、疑似体験システム、および疑似体験方法
US17/273,156 US20210327294A1 (en) 2018-09-03 2019-08-23 Controller, method for manufacturing controller, simulated experience system, and simulated experience method
PCT/JP2019/033048 WO2020050063A1 (ja) 2018-09-03 2019-08-23 コントローラ、コントローラの製造方法、疑似体験システム、および疑似体験方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018164929A JP7112077B2 (ja) 2018-09-03 2018-09-03 コントローラ、コントローラの製造方法、疑似体験システム、および疑似体験方法

Publications (2)

Publication Number Publication Date
JP2020038272A true JP2020038272A (ja) 2020-03-12
JP7112077B2 JP7112077B2 (ja) 2022-08-03

Family

ID=69722524

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018164929A Active JP7112077B2 (ja) 2018-09-03 2018-09-03 コントローラ、コントローラの製造方法、疑似体験システム、および疑似体験方法

Country Status (3)

Country Link
US (1) US20210327294A1 (ja)
JP (1) JP7112077B2 (ja)
WO (1) WO2020050063A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024095985A1 (ja) * 2022-10-31 2024-05-10 国立大学法人山形大学 硬膜外麻酔支援システム、硬膜外麻酔訓練方法、及び表示装置の制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090035741A1 (en) * 2003-06-24 2009-02-05 Robert Riener Rigid birth simulator having an interactive optical display
KR20110029313A (ko) * 2009-09-15 2011-03-23 한국과학기술연구원 하이브리드 의료 시뮬레이션 시스템 및 방법
JP2014215563A (ja) * 2013-04-26 2014-11-17 学校法人自治医科大学 手技シミュレータ
JP2018010034A (ja) * 2016-07-11 2018-01-18 大日本印刷株式会社 臓器モデルおよびその製造方法
JP2018112646A (ja) * 2017-01-11 2018-07-19 村上　貴志 手術トレーニングシステム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4017877B2 (ja) * 2002-02-01 2007-12-05 ペンタックス株式会社 可撓性内視鏡のモニター装置
JP2004167276A (ja) * 2004-02-27 2004-06-17 Olympus Corp 内視鏡シミュレータシステム
US8870779B2 (en) * 2005-04-26 2014-10-28 Biosense Webster, Inc. Display of two-dimensional ultrasound fan
JP5639764B2 (ja) * 2007-03-08 2014-12-10 シンク−アールエックス，リミティド 運動する器官と共に使用するイメージング及びツール
CN102036616B (zh) * 2008-03-21 2015-05-13 高桥淳 三维数字放大镜手术支持系统
US10588597B2 (en) * 2012-12-31 2020-03-17 Intuitive Surgical Operations, Inc. Systems and methods for interventional procedure planning
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
EP3251811B1 (en) * 2016-05-30 2019-08-28 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method of producing a phantom and phantom

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090035741A1 (en) * 2003-06-24 2009-02-05 Robert Riener Rigid birth simulator having an interactive optical display
KR20110029313A (ko) * 2009-09-15 2011-03-23 한국과학기술연구원 하이브리드 의료 시뮬레이션 시스템 및 방법
JP2014215563A (ja) * 2013-04-26 2014-11-17 学校法人自治医科大学 手技シミュレータ
JP2018010034A (ja) * 2016-07-11 2018-01-18 大日本印刷株式会社 臓器モデルおよびその製造方法
JP2018112646A (ja) * 2017-01-11 2018-07-19 村上　貴志 手術トレーニングシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杉本真樹: "医用画像処理におけるバーチャルリアリティシステムとユーザビリティ OsiriXとCAD/CAMを融合した生体3Dプリ", 日本バーチャルリアリティ学会誌, vol. 第20巻第1号, JPN6022002888, 31 March 2015 (2015-03-31), pages 18 - 22, ISSN: 0004691309 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024095985A1 (ja) * 2022-10-31 2024-05-10 国立大学法人山形大学 硬膜外麻酔支援システム、硬膜外麻酔訓練方法、及び表示装置の制御方法

Also Published As

Publication number Publication date
US20210327294A1 (en) 2021-10-21
JP7112077B2 (ja) 2022-08-03
WO2020050063A1 (ja) 2020-03-12

Similar Documents

Publication Publication Date Title
CN107067856B (zh) 一种医学模拟训练系统和方法
Romanus et al. Mid-air haptic bio-holograms in mixed reality
El Saddik et al. Haptics technologies: Bringing touch to multimedia
TW201835878A (zh) 用於在虛擬環境中進行訓練和協作的系統和方法
Sherstyuk et al. Mixed reality manikins for medical education
US20150022443A1 (en) Process and Apparatus for Haptic Interaction with Visually Presented Data
WO2020050063A1 (ja) コントローラ、コントローラの製造方法、疑似体験システム、および疑似体験方法
CN111276022A (zh) 一种基于vr技术的胃镜模拟操作系统
CN116631252A (zh) 一种基于混合现实技术的体格检查模拟系统及方法
Balint et al. Medical virtual reality palpation training using ultrasound based haptics and image processing
US11436806B1 (en) Dual perspective rendering in virtual reality
CN114038259A (zh) 一种5g虚拟现实医学超声实训系统及其方法
US10692401B2 (en) Devices and methods for interactive augmented reality
Beolchi et al. Virtual reality for health care
Wieben Virtual and augmented reality in medicine
Gu et al. Analysis of the Treadmill Utilization for the Development of a Virtual Reality Walking Interface
Kandee et al. Realistic pulse simulation measurement using haptic device with augmented reality
KR102202357B1 (ko) 햅틱 디바이스의 자극 반응형 가상객체 증강 시스템 및 방법
EP4181789B1 (en) One-dimensional position indicator
Bálint Virtual Reality Training Simulator for Physical Diagnosis
Cvetković Introductory Chapter: Virtual Reality
Lei A Virtual Reality Rehabilitation Interface with Augmented Sensing, Interaction, and Visualization Techniques
Vogiatzaki et al. Rehabilitation after stroke using immersive user interfaces in 3D virtual and augmented gaming environments
Saggio et al. Virtuality supports reality for e-health applications
Mahalil et al. Integration of a heart rate monitoring system in a virtual reality relaxation therapy for supporting an immersion level measuring technique

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220714

R150 Certificate of patent or registration of utility model

Ref document number: 7112077

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150