JP2020131044A - キャリブレーションシステム、及び、瞳孔間のキャリブレーション方法 - Google Patents
キャリブレーションシステム、及び、瞳孔間のキャリブレーション方法 Download PDFInfo
- Publication number
- JP2020131044A JP2020131044A JP2020029917A JP2020029917A JP2020131044A JP 2020131044 A JP2020131044 A JP 2020131044A JP 2020029917 A JP2020029917 A JP 2020029917A JP 2020029917 A JP2020029917 A JP 2020029917A JP 2020131044 A JP2020131044 A JP 2020131044A
- Authority
- JP
- Japan
- Prior art keywords
- image
- calibration
- display
- eye
- marker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 45
- 239000003550 marker Substances 0.000 claims abstract description 224
- 238000012545 processing Methods 0.000 claims description 40
- 210000003128 head Anatomy 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 28
- 238000002674 endoscopic surgery Methods 0.000 claims description 26
- 230000033001 locomotion Effects 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 16
- 210000001747 pupil Anatomy 0.000 claims description 16
- 230000001179 pupillary effect Effects 0.000 claims description 3
- 210000001508 eye Anatomy 0.000 abstract description 266
- 238000012986 modification Methods 0.000 description 22
- 230000004048 modification Effects 0.000 description 22
- 230000006870 function Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 17
- 208000004350 Strabismus Diseases 0.000 description 12
- 239000004973 liquid crystal related substance Substances 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 239000000047 product Substances 0.000 description 9
- 201000005538 Exotropia Diseases 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000001052 transient effect Effects 0.000 description 4
- 208000001692 Esotropia Diseases 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000007175 bidirectional communication Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000006854 communication Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000002432 robotic surgery Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000004888 thoracic abdominal cavity Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/327—Calibration thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/001—Constructional or mechanical details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Eye Examination Apparatus (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
そしてこの「立体視細胞」は人間の体が成長するのと同じようにこの視細胞も時間が経つにつれて徐々に発達していくことで物を立体的にとらえられるようになる。つまり幼少期は「目の使い方」を学んでいる段階なので、その発達をVRや3Dの映像で妨げる可能性があり、目に負担のかかるものは避けた方がいいというのが医療関係者の意見となっている。両眼視差による立体視はおおよそ生後2ヶ月から2歳頃までで形成され、身体能力に個人差があるように立体視する力も個人によって強弱があり、この立体視細胞の発達は大体6歳くらいまでに完成すると言われている。
・ 幼少期(6歳くらいまで)は斜視リスクが高い
・ 瞳孔間距離の増大によるリスク(調節出来れば問題なし)
・ COPPAによる13歳未満の年齢制限
・ 規制や反対運動を回避するための保守的な年齢設定
・ディスプレイ
・立体視のためのレンズ
・頭の位置を読み取るヘッドトラッキング機能を行うために必要なセンサ(ジャイロセンサ、加速度センサ)
瞳孔間距離(IPD)をミリメートル(mm)で設定
mobileVR_lens_fov="96" Ab0
垂直視野(度)
mobileVR_lens_dist="0.6" Ab0
レンズの歪みの強さ
値:0.0〜5.0,0.0 =歪みなし
この歪みは、1パスレンダリングステップで内部魚眼ビュー歪みを使用してレンダリングされます。
mobileVR_lens_dist2="1|0|0|0" Ab0
これは、第2パス後処理レンズ歪みステップです。
これは、mobileVR_lens_dist設定を使用するだけでは不十分な場合に、追加の歪みを適用するために使用できます。
歪みパラメータがズームを引き起こしているとき、画像品質は、スケーリングおよび補間のためにわずかに縮退する可能性があります。
4つの歪みパラメータがあります:
mobileVR_lens_dist2="k1|k2|k3|k4"
このレンズ歪みモデルでは、(r =レンズ中心からの距離) _
r = r * (1.0 / k1) * (1.0 + k2*r2 + k3*r4 + k4*r6)
この歪みは追加のGPU処理能力を必要とし、フレームレートを低下させる可能性があります。 _デフォルト値 _"1 | 0 | 0 | 0"を使用する場合、このステップはスキップされます。
術野に対して左目用の手術映像および右目用の手術映像を撮像する3Dカメラと複数のアームとを有したロボット装置を制御する内視鏡下手術ロボットシステムにネットワークを介して接続されるキャリブレーションシステムであって、
前記キャリブレーションシステムは、
人体のヘッド部に装着されて使用されるVRゴーグルに設けられ、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理装置で、個人差のある瞳孔間距離のキャリブレーションを実行するものであり、
360度VR空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示する画像表示手段と、
前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記360度VR空間にスクロール表示する処理を実行するスクロール表示手段と、
前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件を満たした場合に、前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定し、この設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットするキャリブレーションデータの設定手段と、
前記内視鏡下手術ロボットシステムから前記ロボット装置が撮像する前記左目用の映像および右目用の映像をリアルタイムに取得する映像取得手段と、
を有し、
前記画像表示手段は、
前記キャリブレーションデータの設定手段の設定後、その設定されたキャリブレーションデータに基づく前記ディスプレイの位置に、前記左目用の手術映像および右目用の手術映像を調整して表示することを特徴とする。
また、本発明の瞳孔間のキャリブレーション方法は、
人体のヘッド部に装着されて使用されるVRゴーグルに設けられ、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理装置で、個人差のある瞳孔間距離のキャリブレーションを実行する瞳孔間のキャリブレーション方法であって、
360度VR空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示することと、
前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記360度VR空間にスクロール表示することと、
前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件を満たした場合に、前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定し、この設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットすることと、
術野に対して左目用の手術映像および右目用の手術映像を撮像する3Dカメラと複数のアームとを有したロボット装置を制御する内視鏡下手術ロボットシステムからネットワークを介して、前記内視鏡下手術ロボットシステムから前記ロボット装置が撮像する前記左目用の映像および右目用の映像をリアルタイムに取得することと、および、
あらかじめセットされた前記キャリブレーションデータに基づく前記ディスプレイの位置に、前記左目用の手術映像および右目用の手術映像を調整して表示すること、
を含む。
また、次のような発明も提供できる。
コンピュータ読取可能な非一過性の記憶媒体に記憶された本発明のキャリブレーションプログラムは、人体のヘッド部に装着されて使用されるVRゴーグルに設けられ、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理装置で、個人差のある瞳孔間距離のキャリブレーションを実行する瞳孔間のキャリブレーションプログラムであって、
360度VR空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示する画像表示部と、
前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記360度VR空間にスクロール表示する実行するスクロール表示部と、
前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件(注視時間)を満たした場合に、前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定し、この設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットするキャリブレーションデータの設定部と、
前記画像表示部は、
前記キャリブレーションデータの設定部の設定後に、その設定されたキャリブレーションデータに基づいた、再生用の右目用画像と左目用画像を前記ディスプレイに表示ことを特徴とする。
(a)360度VR空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示する処理と、
(b)前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記360度VR空間にスクロール表示する処理と、
(c)前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件を満たしたか否かを判定する処理と、
(f)前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定する処理と、
(g)前記設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットする処理と、
(h)前記キャリブレーションデータを、その後のVR動画再生時における、再生用の右目用画像と左目用画像の調整に用いるために、前記端末装置又は使用者のIDと関連付けて格納する処理。
人体のヘッド部に装着されて使用されるVRゴーグルに設けられ、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理装置において個人差のある瞳孔間距離のキャリブレーションを実行する瞳孔間のキャリブレーションプログラムであって、
右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数の画像を、予め格納する記憶部と、
前記記憶部に記憶された複数の画像を、前記ディスプレイに対して、右目用画像と左目用画像として表示する画像表示部と、
前記ディスプレイに対して、右目用画像と左目用画像として表示する一対の前記複数の画像の一つを、キャリブレーション設定用のマーカ画像に設定し、このキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットするキャリブレーションデータの設定部と、
を備え、
前記画像表示部は、
前記キャリブレーションデータの設定部による設定後に、その設定されたキャリブレーションデータに基づいた、再生用の右目用画像と左目用画像を前記ディスプレイに表示することを特徴とする。
人体のヘッド部に装着されて使用されるVRゴーグルに設けられ、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理装置において個人差のある瞳孔間距離のキャリブレーションを実行する瞳孔間のキャリブレーション方法であって、
右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数の画像を、予め格納する記憶すること、
前記記憶部に記憶された複数の画像を、前記ディスプレイに対して、右目用画像と左目用画像として、前記VRゴーグルを装着したユーザが選択可能に表示すること、
前記ディスプレイに対して、前記ユーザの選択に基づいて、右目用画像と左目用画像として表示する一対の前記複数の画像の一つを、キャリブレーション設定用のマーカ画像に設定し、このキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットすること、及び、
セットされたキャリブレーションデータに基き、再生用の右目用画像と左目用画像を前記ディスプレイに表示すること、
を含む。
図4において、マーカ配置概念図41は、VRゴーグルの周りにキャリブレーション設定用のマーカ画像の複数が配置されている状態を示している概念図である。このマーカ配置概念図41の複数のマーカ画像は、左目用のマーカ画像群42と、右目用マーカ画像群43が使用者の脳内で視差により立体視して認識された状態を示している。つまり、マーカ配置概念図41のマーカ画像Mは、左目用のマーカ画像M1と右目用のマーカ画像M2が脳内で合成されて認識される仮想の現実画像である。
図7に示すのが、本発明の瞳孔間距離のキャリブレーションデータを得るために、WEB上のWEBサーバ1から前述した左右目用の複数のマーカ画像を端末であるスマートフォンAのディスプレイA1に表示するための概念図である。この図において、端末機器としてのスマートフォンAよりQRコード(登録商標)及びURLをリクエストし、インターネット2を経由してWebサーバーへアクセスする。Webサーバ1より、HTML形式で端末機器Aのブラウザに、端末機器Aのメモリに格納されるようなアプリケーションを介さず、IPDキャリブレーションデータを得るための前述した複数のマーカ画像、及び、瞳孔間距離のキャリブレーションデータを得て、そのキャリブレーションデータを用いてキャリブレーションデータを実行した360度VR動画を直接表示する。
図8及び図9は、画面の変遷によって示す処理フローである。
(A)スマートフォンなどの端末装置Aを用いて、QRコード(登録商標)及びURLを介して、Webサーバー1へアクセス。図8(A)において、ディスプレイA1に表示するのは、スマートフォンのカメラ機能を用いて撮影されたQRコード(登録商標)である。
(B)Webサーバ1よりHTMLで端末機器AのディスプレイA1によって、端末装置AのブラウザにTOP画面(後述する図8(B)の選択画面)を表示。動画及びIPDキャリブレーションの選択ボタンでIPDを選択。この選択画面によって、使用者は、VR動画を視聴するか、キャリブレーションデータを得るための処理を行うかを選択できる。VR動画を視聴する場合には、使用者の識別情報の入力データを得ることで、Webサーバ1内のデータベースに予め格納された当該使用者のキャリブレーションデータに基づいた調整後のVR動画を視聴することが可能となる。
(C)IPDキャリブレーション画面に移動。画面上にウィザードで操作方法を表示。所謂、操作案内画面を表示する。
(D)IPDキャリブレーション画面-1:スマートフォン選択(端末情報を読み込んで機種を自動選択するが、適切な機種が選択されない場合は画面のインチサイズ情報をマニュアルで入力する)
(E)IPDキャリブレーション画面-2:ゴーグル選択(予め用意したゴーグルデータベースより、使用するゴーグルを選択。使用するゴーグルの該当機種が無い場合はカスタム画面にてマニュアル調整を行う)このゴーグルデータベースは、Webサーバのデータベースに備わっている。図10には、同じスマートフォンとしての端末装置AをVRゴーグルにセットしても、ディスプレイA1における左右目用の画像の中心間距離hが異なることを示しているが、このように同じ端末装置Aであっても種類が異る場合にはディスプレイA1の中心間距離hが異なるので、これを事前に設定できる工程を経ることで、より使用者に合致した瞳孔間距離のキャリブレーションデータを実行することができるようになる。
(F)IPDキャリブレーション画面-3:オブジェクト選択画面に移動、360度空間に左目用・右目用に配置されたオブジェクトより、最もズレの少ないオブジェクトを選択。選択方法は様々であろうが、本発明の場合には、前述した従来の汎用品であるVRゴーグルにスマートフォンを設け、このスマートフォンを備えたVRゴーグルを人体の頭部に装着して使用され、スマートフォンAに一般的に備わっているジャイロ機能を有するセンサと、時間の経過を検知することが可能なタイマーとして計時装置を用いて、複数のマーカ画像が鮮明に表示されているマーカ画像を、頭部の回転によって中央に持ってきて、その状態を保持(計時装置である所定の時間の経過を測定することで静止したと判定するとともに、使用者が選択したと判定する)することで、中央位置に配置されているマーカ画像に基づいてキャリブレーションデータを得るようにしている。より詳しくは、以下の(G)で説明する。
(G)IPDキャリブレーション画面-3:左右一致しているオブジェクト(左右のマーカ画像が重なった状態の画像、左右目のマーカ画像が重なった状態であるが、視認されるのはマーカ画像となる)を画面A1中心で一定時間注視(視点操作)することで瞳孔間距離を割り出し、自分に合ったIPDキャリブレーションデータを取得するのである。瞳孔間距離を数値として割り出すようにして、その後のVR動画の再生に用いた方が、キャリブレーションデータとして汎用性があるが、ある特定のVR動画の良好に視聴するだけの場合には、数値としてのキャリブレーションデータを得ることなく、前記画面A1の中央で一定時間注視したマーカ画像(上記オブジェクト)に対するキャリブレーションの処理を完了したVR再生画像を用意しておき、そのVR動画を再生するように構成することもできる。
(H)IPDキャリブレーション画面-4:IPDキャリブレーション完了画面で、左右の画像が一致していることを確認し、問題が無ければ「OK」を選択して動画選択画面へ移動。ズレていた場合は再度キャリブレーション画面に戻り選択操作を行う。
(I)IPDキャリブレーション完了後、動画選択画面へ
以上のような処理フローを実行することによって、次のような特徴のある発明を実行できる。
360度VR空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示する画像表示部と、
前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記360度VR空間にスクロール表示する実行するスクロール表示部と、
前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件(注視時間)を満たした場合に、前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定し、この設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットするキャリブレーションデータの設定部と、
前記画像表示部は、
前記キャリブレーションデータの設定部の設定後に、その設定されたキャリブレーションデータに基づいた、再生用の右目用画像と左目用画像を前記ディスプレイに表示ことを特徴とするキャリブレーションプログラム。
前記コントローラは、以下の処理を実行する。
(a)360度VR空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示する処理と、
(b)前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記360度VR空間にスクロール表示する処理と、
(c)前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件を満たしたか否かを判定する処理と、
(f)前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定する処理と、
(g)前記設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットする処理と、
(h)前記キャリブレーションデータを、その後のVR動画再生時における、再生用の右目用画像と左目用画像の調整に用いるために、前記端末装置又は使用者のIDと関連付けて格納する処理。
3Dコンテンツをユーザに提示するための右目用画像および左目用画像を表示するディスプレイを有した、人体のヘッド部に装着されて使用されるVRゴーグルと、
コントローラと、
を有し、
前記コントローラは、
VRゴーグルを使用するユーザの特定の焦点距離に対応したキャリブレーションデータを取得し、
前記キャリブレーションデータに基づき、前記右目用画像および左目用画像の表示位置を前記ユーザにとって適切な特定の輻輳角となるように変更して前記3Dコンテンツをユーザに提示し、
前記3Dコンテンツにおけるシーンごとの焦点距離を取得し、
前記シーンごとの焦点距離が前記特定の焦点距離と異なる場合、前記シーンごとの焦点距離および前記キャリブレーションデータに基づき、前記右目用画像および左目用画像の表示位置を前記シーンごとに前記ユーザにとって適切な輻輳角となるように変更して前記3Dコンテンツをユーザに提示する。
3Dコンテンツをユーザに提示するための右目用画像および左目用画像を表示するディスプレイを有した、人体のヘッド部に装着されて使用されるVRゴーグルにおいて、
VRゴーグルを使用するユーザのIPDおよび特定の焦点距離に対応したキャリブレーションデータを取得すること、
前記キャリブレーションデータに基づき、前記右目用画像および左目用画像の表示位置を前記ユーザにとって適切な特定の輻輳角となるように変更して前記3Dコンテンツをユーザに提示すること、
前記3Dコンテンツにおけるシーンごとの焦点距離を取得すること、
前記シーンごとの焦点距離が前記特定の焦点距離と異なる場合、前記シーンごとの焦点距離および前記キャリブレーションデータに基づき、前記右目用画像および左目用画像の表示位置を前記シーンごとに前記ユーザにとって適切な輻輳角となるように変更して前記3Dコンテンツをユーザに提示すること、
を含む。
Claims (2)
- 術野に対して左目用の手術映像および右目用の手術映像を撮像する3Dカメラと複数のアームとを有したロボット装置を制御する内視鏡下手術ロボットシステムにネットワークを介して接続されるキャリブレーションシステムであって、
前記キャリブレーションシステムは、
人体のヘッド部に装着されて使用されるVRゴーグルに設けられ、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理装置で、個人差のある瞳孔間距離のキャリブレーションを実行するものであり、
360度VR空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示する画像表示手段と、
前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記360度VR空間にスクロール表示する処理を実行するスクロール表示手段と、
前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件を満たした場合に、前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定し、この設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットするキャリブレーションデータの設定手段と、
前記内視鏡下手術ロボットシステムから前記ロボット装置が撮像する前記左目用の映像および右目用の映像をリアルタイムに取得する映像取得手段と、
を有し、
前記画像表示手段は、
前記キャリブレーションデータの設定手段の設定後、その設定されたキャリブレーションデータに基づく前記ディスプレイの位置に、前記左目用の手術映像および右目用の手術映像を調整して表示することを特徴とするキャリブレーションシステム。 - 人体のヘッド部に装着されて使用されるVRゴーグルに設けられ、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理装置で、個人差のある瞳孔間距離のキャリブレーションを実行する瞳孔間のキャリブレーション方法であって、
360度VR空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示することと、
前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記360度VR空間にスクロール表示することと、
前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件を満たした場合に、前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定し、この設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットすることと、
術野に対して左目用の手術映像および右目用の手術映像を撮像する3Dカメラと複数のアームとを有したロボット装置を制御する内視鏡下手術ロボットシステムからネットワークを介して、前記内視鏡下手術ロボットシステムから前記ロボット装置が撮像する前記左目用の映像および右目用の映像をリアルタイムに取得することと、および、
あらかじめセットされた前記キャリブレーションデータに基づく前記ディスプレイの位置に、前記左目用の手術映像および右目用の手術映像を調整して表示すること、
を含む瞳孔間のキャリブレーション方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962809818P | 2019-02-25 | 2019-02-25 | |
US62/809,818 | 2019-02-25 | ||
US16/679,607 US20200275087A1 (en) | 2019-02-25 | 2019-11-11 | Computer-readable non-transitory storage medium, web server, and calibration method for interpupillary distance |
US16/679,607 | 2019-11-11 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020131044A true JP2020131044A (ja) | 2020-08-31 |
JP7373800B2 JP7373800B2 (ja) | 2023-11-06 |
Family
ID=72140340
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020029917A Active JP7373800B2 (ja) | 2019-02-25 | 2020-02-25 | キャリブレーションシステム、及び、瞳孔間のキャリブレーション方法 |
JP2020029914A Active JP7471572B2 (ja) | 2019-02-25 | 2020-02-25 | キャリブレーションシステム、及び、キャリブレーション方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020029914A Active JP7471572B2 (ja) | 2019-02-25 | 2020-02-25 | キャリブレーションシステム、及び、キャリブレーション方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US20200275087A1 (ja) |
JP (2) | JP7373800B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE212021000195U1 (de) | 2020-07-31 | 2022-01-19 | Rohm Co., Ltd. | SIC-Halbleiterbauelement |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3168826A1 (en) | 2020-01-22 | 2021-07-29 | Photonic Medical Inc. | Open view, multi-modal, calibrated digital loupe with depth sensing |
US11933988B2 (en) * | 2020-05-07 | 2024-03-19 | Sony Group Corporation | Information processing apparatus, information processing method, head mounted display housing, and head mounted display system |
TWI790640B (zh) * | 2021-06-11 | 2023-01-21 | 宏碁股份有限公司 | 擴增實境顯示裝置與方法 |
CN115278203A (zh) * | 2022-07-20 | 2022-11-01 | 广州视享科技有限公司 | 虚拟现实设备的校准方法、校准装置以及校准机器人 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09271043A (ja) * | 1996-03-29 | 1997-10-14 | Olympus Optical Co Ltd | 立体映像ディスプレイ装置 |
JP2000078611A (ja) | 1998-08-31 | 2000-03-14 | Toshiba Corp | 立体映像受信装置及び立体映像システム |
US8614737B2 (en) | 2009-09-11 | 2013-12-24 | Disney Enterprises, Inc. | System and method for three-dimensional video capture workflow for dynamic rendering |
WO2012105120A1 (ja) | 2011-02-03 | 2012-08-09 | 富士フイルム株式会社 | 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法 |
WO2012117703A1 (ja) | 2011-03-02 | 2012-09-07 | パナソニック株式会社 | 三次元画像処理装置、三次元画像処理方法、三次元画像視聴用眼鏡装置、三次元画像処理装置用集積回路、光ディスク再生装置、三次元映像信号再生装置および三次元映像信号表示装置 |
JP5002066B1 (ja) * | 2011-04-06 | 2012-08-15 | シャープ株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム、および、記録媒体 |
JP6097919B2 (ja) | 2011-09-01 | 2017-03-22 | パナソニックIpマネジメント株式会社 | 立体視映像のための画像表示システム及び3次元表示装置 |
JP5450908B1 (ja) | 2012-03-26 | 2014-03-26 | パナソニック株式会社 | 立体映像処理装置および立体映像処理方法 |
JP5337282B1 (ja) | 2012-05-28 | 2013-11-06 | 株式会社東芝 | 3次元画像生成装置および3次元画像生成方法 |
JP2015228543A (ja) | 2014-05-30 | 2015-12-17 | 株式会社東芝 | 電子機器および表示処理方法 |
KR102299774B1 (ko) | 2014-08-28 | 2021-09-09 | 삼성전자주식회사 | 화면 구성 방법, 전자 장치 및 저장 매체 |
KR102295452B1 (ko) | 2014-10-24 | 2021-08-27 | 이매진 코퍼레이션 | 마이크로디스플레이 기반 몰입형 헤드셋 |
AU2016209100B2 (en) | 2015-01-22 | 2021-05-20 | Magic Leap, Inc. | Methods and system for creating focal planes using an alvarez lens |
JP2016212177A (ja) | 2015-05-01 | 2016-12-15 | セイコーエプソン株式会社 | 透過型表示装置 |
US9658686B2 (en) | 2015-05-28 | 2017-05-23 | Microsoft Technology Licensing, Llc | Motion based view matrix tuning |
EP3109734A1 (en) * | 2015-06-22 | 2016-12-28 | Samsung Electronics Co., Ltd | Three-dimensional user interface for head-mountable display |
US10192361B2 (en) * | 2015-07-06 | 2019-01-29 | Seiko Epson Corporation | Head-mounted display device and computer program |
US10424295B2 (en) * | 2016-02-03 | 2019-09-24 | Disney Enterprises, Inc. | Calibration of virtual image displays |
JP2018198750A (ja) | 2017-05-26 | 2018-12-20 | ソニー株式会社 | 医療用システム、医療用支持アームの制御装置、および医療用支持アームの制御方法 |
US10564716B2 (en) * | 2018-02-12 | 2020-02-18 | Hong Kong Applied Science and Technology Research Institute Company Limited | 3D gazing point detection by binocular homography mapping |
CN108491072B (zh) * | 2018-03-05 | 2020-01-21 | 京东方科技集团股份有限公司 | 一种虚拟现实交互方法及装置 |
US10778953B2 (en) * | 2018-12-10 | 2020-09-15 | Universal City Studios Llc | Dynamic convergence adjustment in augmented reality headsets |
CN109766007B (zh) | 2019-01-03 | 2022-05-27 | 京东方科技集团股份有限公司 | 一种显示设备的注视点补偿方法及补偿装置、显示设备 |
-
2019
- 2019-11-11 US US16/679,607 patent/US20200275087A1/en not_active Abandoned
-
2020
- 2020-02-25 JP JP2020029917A patent/JP7373800B2/ja active Active
- 2020-02-25 JP JP2020029914A patent/JP7471572B2/ja active Active
-
2021
- 2021-04-02 US US17/221,145 patent/US11570426B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE212021000195U1 (de) | 2020-07-31 | 2022-01-19 | Rohm Co., Ltd. | SIC-Halbleiterbauelement |
DE112021002150T5 (de) | 2020-07-31 | 2023-01-26 | Rohm Co., Ltd. | Sic-halbleiterbauelement |
Also Published As
Publication number | Publication date |
---|---|
JP7471572B2 (ja) | 2024-04-22 |
US20200275087A1 (en) | 2020-08-27 |
US20210235063A1 (en) | 2021-07-29 |
US11570426B2 (en) | 2023-01-31 |
JP2020137128A (ja) | 2020-08-31 |
JP7373800B2 (ja) | 2023-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020131044A (ja) | キャリブレーションシステム、及び、瞳孔間のキャリブレーション方法 | |
US10292581B2 (en) | Display device for demonstrating optical properties of eyeglasses | |
US11061240B2 (en) | Head-mountable apparatus and methods | |
JP5475893B2 (ja) | 視覚疲労度測定装置およびその方法 | |
JP6339239B2 (ja) | 頭部装着型表示装置、及び映像表示システム | |
US10516879B2 (en) | Binocular display with digital light path length modulation | |
JP6378781B2 (ja) | 頭部装着型表示装置、及び映像表示システム | |
KR20230144666A (ko) | 깊이 평면들 간의 감소된 스위칭을 갖는 다중-깊이 평면 디스플레이 시스템 | |
CN105943327B (zh) | 具有防眩晕设备的视力锻炼保健系统 | |
US11774759B2 (en) | Systems and methods for improving binocular vision | |
US9805612B2 (en) | Interest-attention feedback method for separating cognitive awareness into different left and right sensor displays | |
JP5990939B2 (ja) | 立体視訓練支援装置、立体視訓練支援システム、画像処理装置、画像処理方法、及びプログラム | |
WO2017051595A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN104216126A (zh) | 一种变焦3d显示技术 | |
GB2595909A (en) | Gaze tracking apparatus and systems | |
WO2017022303A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN211786414U (zh) | 虚拟现实显示系统 | |
Wu et al. | Depth-disparity calibration for augmented reality on binocular optical see-through displays | |
JP6693656B2 (ja) | 瞳孔間のキャリブレーションプログラム、前記プログラムを用いたWebサーバ、及び、瞳孔間のキャリブレーション方法 | |
CN110794590A (zh) | 虚拟现实显示系统及其显示方法 | |
KR20160041403A (ko) | 픽셀별 거리 정보를 기반으로 3d 영상 컨텐츠를 생성하는 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 | |
EP4083754B1 (en) | System and method for generating motion data comprising simulated gaze information | |
AU2019101410A4 (en) | The VRTY in Virtual Reality Digital Focussing Tool | |
US20220350141A1 (en) | Head-mountable display apparatus and methods | |
WO2023243093A1 (ja) | データ端末及びデータ端末の3d画像表示方法、並びにデータ処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20200410 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221228 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230913 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231016 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7373800 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |