JP2022013882A - 非可視光線可視化自動整合型拡張現実グラス - Google Patents

非可視光線可視化自動整合型拡張現実グラス Download PDF

Info

Publication number
JP2022013882A
JP2022013882A JP2021108638A JP2021108638A JP2022013882A JP 2022013882 A JP2022013882 A JP 2022013882A JP 2021108638 A JP2021108638 A JP 2021108638A JP 2021108638 A JP2021108638 A JP 2021108638A JP 2022013882 A JP2022013882 A JP 2022013882A
Authority
JP
Japan
Prior art keywords
invisible light
output
unit
augmented reality
coupler
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021108638A
Other languages
English (en)
Other versions
JP7324802B2 (ja
Inventor
アン，イェ－チャン
Yeh-Chan Ahn
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
lndustry University Cooperation Foundation of Pukyong National University
Original Assignee
lndustry University Cooperation Foundation of Pukyong National University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by lndustry University Cooperation Foundation of Pukyong National University filed Critical lndustry University Cooperation Foundation of Pukyong National University
Publication of JP2022013882A publication Critical patent/JP2022013882A/ja
Priority to JP2023124650A priority Critical patent/JP2023159123A/ja
Application granted granted Critical
Publication of JP7324802B2 publication Critical patent/JP7324802B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0189—Sight systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G02B27/022—Viewing apparatus
    • G02B27/023—Viewing apparatus for viewing X-ray images using image converters, e.g. radioscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/745—Details of notification to user or communication with user or patient ; user input means using visual displays using a holographic display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

【課題】本発明は、非可視光線可視化自動整合型の拡張現実(AR)グラスに関し、現実空間は目で直接認識し、特定部位のみから出て来る近赤外線の診断および治療の情報のみ現実空間に精巧に整合する非可視光線可視化自動整合型拡張現実グラスに関する。【解決手段】使用者の顔面に着用するメガネ本体と、前記メガネ本体の一側に設置されて対象物に向けて非可視光線を照射する非可視光線照射ユニットと、前記メガネ本体の一側に設置されて前記対象物から放出された非可視光線が可視光線と共に導波管に入力する入力ユニットと、前記メガネ本体の一側に設置されて前記入力ユニットから受信した非可視光線イメージ情報を人が認識できる可視光イメージ情報に変換する情報処理ユニットと、前記メガネ本体の一側に設置されて前記情報処理ユニットで処理された可視光イメージ情報を受信して前記導波管から肉眼に出力するイメージ出力ユニットとを含む。【選択図】図１

Description

本発明は、非可視光線可視化自動整合型の拡張現実グラス(ARグラス; augmented reality glasses)に関し、さらに詳細には、現実空間は目で直接認識するとともに、特定部位のみから出て来る非可視光線の診断および治療の情報のみが現実空間に精巧に自動整合する、非可視光線可視化自動整合型拡張現実グラスに関する。
また、本発明は、十分なアイボックス拡張(目を動かしても良い範囲の拡張；Ｅｙｅ－ｂｏｘ ｅｘｐａｎｓｉｏｎ)、及び広い視野(ＦＯＶ；Field of View)を与えながらも、ＶＡＣ(Vergence-accommodation conflict; 輻輳調節矛盾))の問題を惹き起こさない非可視光線可視化自動整合型の拡張現実グラスに関する。
近赤外線は、人体内への浸透深さが深いため、蛍光、透過、散乱、吸収などの原理を利用した多様な医療機器が発売されている。また、最先端の光反応感作剤が開発されて、光診断および光治療に応用されている。このうちインドシアニングリーン（Ｉｎｄｏｃｙａｎｉｎｅ Ｇｒｅｅｎ）は、アメリカＦＤＡの許可を獲得した、広範囲に使われる光反応染料である。インドシアニングリーンの場合には、６００－９００ｎｍの近赤外線光源の光をよく吸収して、７５０－９５０ｎｍの近赤外線を蛍光放出する。インドシアニングリーンの蛍光を利用した蛍光イメージング（または蛍光検出）装備では、吸収波長帯と放出波長帯のオーバーラップを防ぐために、光源の前に励起フィルタを、カメラ（または光検出器）の前に放出フィルタを設置する。例えば、励起フィルタは７８０ｎｍを中心に左右の２０ｎｍの帯域でのみ励起光が通過できるようにし、放出フィルタは、８４０ｎｍを中心に左右の２０ｎｍの帯域でのみ蛍光放出が通過できるようにする。インドシアニングリーンは、静脈注射で人体内に注入されるが、正常組織よりは新生血管の多い腫瘍に多く沈着する。光源、カメラ、励起フィルタ、及び放出フィルタを備えた、蛍光イメージング装備を使用すると、腫瘍から蛍光放出される光をイメージングできるため、腫瘍の位置をリアルタイムに知ることができる。
近赤外線は目に見えない波長の光であるため、医療現場では、近赤外線に感度があるカメラを使って近赤外線映像を獲得することで、診断したり治療過程をモニタリングしたりする。最近、ＣＭＯＳカメラは、安価であり、たとえ最大の感度ではないにしても近赤外線で感度を有しているため、近赤外線モニタリング用として多く使われる。ＩｎＧａＡｓカメラのように高価な近赤外線専用カメラもある。
しかし、このようなカメラを使うと、人が近赤外線を認識するために、カメラがセンシングした近赤外線を、人が認識できる可視光に変換させてモニターにディスプレイしなければならない。このような過程は、手術中の施術者が、視線の方向を変えてモニターを持続的に観察しなければならないという短所を発生させざるを得ない。
したがって、施術者の視線と同軸に近赤外線の映像が見えるようにして、実際の手術空間に、近赤外線が出て来る空間を、自動整合して拡張現実として見せる機器が必要であり、手術や施術中に便利に使われ得るものと予想される。しかし、現在の拡張現実グラスおよび仮想現実(VR)グラスは、現実空間に拡張現実および仮想現実の空間を精巧に整合してきないでいるのが実情である。また、仮想現実グラスを使う場合には、多数のカメラを使って現実空間を認識して、これを仮想現実グラスにディスプレイすることによって解決しようとするが、これは現実空間を目で直接認識することなく、すべてをカメラに依存しなければならないため、安全が担保されなければならない医療現場では拒否感が多い。
一方、拡張および仮想現実グラスでは、両眼が同時に凝視する地点にデジタルイメージを位置させ、目のレンズ焦点をその地点に合わせないと、目まいが発生する。もしも、両眼の凝視点が目のレンズ焦点と合わないと、すなわち映像認知距離（Ｖｅｒｇｅｎｃｅ ｄｉｓｔａｎｃｅ）と映像焦点距離（Ａｃｃｏｍｍｏｄａｔｉｏｎ ｄｉｓｔａｎｃｅ）とが一致しないと、収束－調節不一致（Ｖｅｒｇｅｎｃｅ－ａｃｃｏｍｍｏｄａｔｉｏｎ ｃｏｎｆｌｉｃｔ、ＶＡＣ）が発生して、長時間グラスを使うのに困難が発生する。特に施術者の手で近赤外線放出領域付近にて手術がなされる場合、映像認知距離が８０ｃｍ以下に近づくことからＶＡＣ現象が急激に増加する。したがって、使用者の腕の長さの内側に位置する現実作業空間に、デジタル映像を重ねる拡張現実グラスの場合には、ＶＡＣ問題を解決することが非常に重要である。
また、拡張および仮想現実グラスにて、グラスに対する眼球の位置が適切に位置しないと、デジタル映像が見えない。ところが、グラスと眼球との間の整列が非常に精巧でなければならないと使用者が非常に不便にならざるを得ないため、眼球の位置において、ある程度の整列隙間を付与してこのような問題を解決しなければならない。すなわちグラスと眼球をおおまかに整列しても映像が見え得るようにするのである。このような隙間を付与することをアイボックス拡張(Ｅｙｅ－ｂｏｘ ｅｘｐａｎｓｉｏｎ)という。
拡張および仮想現実グラスにおいて、広い視野を確保することも非常に重要である。すなわち視野角（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ、ＦＯＶ）が大きいほど、広い視野のデジタル映像を見ることができるためである。例えば、拡張現実(AR)グラスの助けを受けて近赤外線放出領域の付近にて手術を進行するとする時、近赤外線放出領域を表示するデジタル映像の視野が狭いと、手術時に非常に不便な点を発生させる。
韓国登録特許第１６７８００９号（２０１６．１１．１５）
本発明は前記のような問題点を改善するために創案されたものであり、現実空間は目で直接認識するとともに、特定部位のみから出て来る非可視光線の診断および治療の情報のみが現実空間に精巧に整合する非可視光線可視化自動整合型の拡張現実グラスを提供することにその目的がある。
また、本発明は、近赤外線だけでなく、紫外線などの目に見えない光線を可視化して現実空間に自動整合することを含む。また、医療分野は一つの例に過ぎず、非可視光線が情報を有しており、これを可視光線が作った現実空間に自動整合する必要がある多様な産業界への応用が可能である。
前記目的を達成するための本発明に係る非可視光線可視化自動整合型拡張現実グラスは、使用者の顔面に着用するメガネ本体と、前記メガネ本体の一側に設置されて対象物に向けて非可視光線を照射する非可視光線照射ユニットと、前記メガネ本体の前面に設置され、前記対象物から放出された非可視光線を可視光線と共に導波管(light wave guide; 導波体もしくは導波板)に入力する入力ユニットと、前記メガネ本体の一側に設置されて前記入力ユニットから受信した非可視光線イメージ情報を人が認識できる可視光イメージ情報に変換する情報処理ユニットおよび前記メガネ本体の後面に設置され、前記情報処理ユニットで処理された可視光イメージ情報を受信して前記導波管から肉眼に出力するイメージ出力ユニットを含む。
前記メガネ本体の一側に設置されて左右の肉眼の視線が集まる箇所と、前記イメージ出力ユニットから出力された現実および拡張現実(AR/VR)イメージ情報の焦点とが、正確に一致するように調節する焦点調節ユニット、および、前記メガネ本体の一側に設置され、映像認知距離を予測して前記焦点調節ユニットに距離情報を伝送する眼球追跡ユニットをさらに含むことが好ましい。
前記入力ユニットは、(1)前記導波管の端部に形成され、非可視光線が入射する第１入力カプラと、(2)前記導波管の他端部に、前記第１入力カプラから所定距離だけ離隔して形成され、前記第１入力カプラから入射した非可視光線を前記カメラ部に出力する第１出力カプラと、(3)前記第１出力カプラから出力された非可視光線を撮影するカメラ部とを具備することが好ましい。
前記イメージ出力ユニットは、(1)前記情報処理ユニットから受信した情報を出力するディスプレイ部と、(2)前記導波管の端部に形成され、前記ディスプレイ部から出力されたイメージ情報を受信する第２入力カプラと、(3)前記導波管に前記第２入力カプラから所定間隔だけ離隔して形成され、前記第２入力カプラから受信した情報が、使用者の肉眼に出力され得るように形成される第２出力カプラとを具備するとともに、前記第２出力カプラは、映像出力位置が前記対象物の実際の位置に対応するように形成されたことを特徴とする。
前記ディスプレイ部は、使用者が認識する現実イメージ情報と対比され得る疑似色相（Ｐｓｅｕｄｏ Ｃｏｌｏｒ）を使って、非可視光線が有している情報を、可視光の形態で前記第２入力カプラに送信することを特徴とする。
前記カメラ部は前記情報処理ユニットに映像情報を送出し、前記情報処理ユニットは、受信した映像情報を映像処理して前記ディスプレイ部に送出することが好ましい。
前記眼球追跡ユニットは、眼球が現実空間を眺める視線を追跡して映像認知距離を把握し、把握された情報を前記情報処理ユニットへと入力させるのであり、前記情報処理ユニットは、入力された情報に基づいて、眼球の映像認知距離をリアルタイムに計算することを特徴とする。
前記焦点調節ユニットは、１個以上の反射、屈折、回折、ホログラフィックの素子または偏光素子を含んで光の屈折を惹き起こす、透明な光学系で構成された第１焦点調節部、及び、１個以上の反射、屈折、回折、ホログラフィックの素子または偏光素子を含んで光の屈折を惹き起こす、透明な光学系で構成された第２焦点調節部を具備することが好ましい。
前記焦点調節ユニットは、前記眼球追跡ユニットで測定し、前記情報処理ユニットで計算した映像認知距離情報を、リアルタイムに受けて、非可視光線情報が入ったデジタル映像の焦点距離が、眼球の映像認知距離と比較して、その差が０．２５ディオプター以内に維持されるようにすることを特徴とする。
前記第１焦点調節部は、使用者の両眼に対応するように両側に位置するのであって、前記第２焦点調節部は、使用者の両眼に対応するように両側に位置するとともに、映像出力位置が前記対象物を向く視線に整合するように形成されることが好ましい。
前記イメージ出力ユニットは、(1)前記情報処理ユニットから受信した情報を出力するディスプレイ部と、(2)前記導波管の端部に形成され、前記ディスプレイ部から出力されたイメージ情報を受信する第２入力カプラと、(3)前記導波管に、前記第２入力カプラと所定間隔だけ離隔して形成され、前記第２入力カプラから受信した情報が、使用者の肉眼に出力され得るように設置される第２出力カプラとを具備するとともに、前記第２出力カプラは、映像出力位置が前記対象物の実際の位置に対応するように形成され、前記第１入力カプラ、第１出力カプラ、前記第２入力カプラおよび第２出力カプラは、１個以上の反射、屈折、回折、ホログラフィックの素子または偏光素子を含んで組み合わせて８０度以上の視野角を確保することが好ましい。
前記第１入力カプラは、使用者の両眼に対応するように両側に位置しており、前記の第１出力カプラ及びカメラ部は、前記両側の第１入力カプラから離隔して前記メガネ本体内の両側に位置しており、前記第２出力カプラは使用者の両眼に対応するように両側に位置しており、前記ディスプレイ部と第２入力カプラは、前記両側の第２出力カプラから離隔して前記メガネ本体内の両側に位置するとともに、前記第２出力カプラは、映像出力位置が前記対象物を向く視線に整合するように形成されることを特徴とする。
前記第１入力カプラと第２出力カプラが、回折光学素子、ホログラフィック光学素子またはピンミラー(Pin-Mirror)のうちのいずれか一つであることを特徴とする。
前記第１入力カプラまたは第１出力カプラは、非可視光線のみが前記カメラ部に伝達され得るように、前面にフィルタをさらに含むことを特徴とする。
前記導波管は、第１導波管と第２導波管で形成されており、前記第１導波管は、前記第１導波管の端部に形成されて非可視光線が入射する第１入力カプラと、前記第１導波管に前記第１入力カプラと所定距離離隔して形成され、前記第１入力カプラで入射した非可視光線を出力する第１出力カプラと、前記第１出力カプラで出力された非可視光線を撮影するカメラ部とを具備しており、前記第２導波管は、前記第２導波管の端部に形成されて前記ディスプレイ部で出力されたイメージ情報を受信する第２入力カプラと、前記第２導波管に前記第２入力カプラと所定間隔離隔して形成され、前記第２入力カプラから受信した情報が使用者の肉眼に出力され得るように設置される第２出力カプラとを具備することを特徴とする。
前記第１入力カプラは、第１導波管の一側に備えられる第１回折光学素子、第１ホログラフィック光学素子、または第１ピンミラーのうちいずれか一つで、あり、前記第２出力カプラは、第２導波管の一側に備えられる第２回折光学素子、第２ホログラフィック光学素子または第２ピンミラーのうちの、いずれか一つであることを特徴とする。
前記第１入力カプラまたは第１出力カプラは、非可視光線のみが前記カメラ部に伝達され得るように、前面に第１フィルタをさらに含むことを特徴とする。
前記非可視光線照射ユニットは、前記対象物に向けて特定の波長帯域の非可視光線のみを照射できるように、第２フィルタを含むことを特徴とする。
前記焦点調節ユニットは、ＶＡＣ問題を解決するための焦点調節機能を維持しながらも、同時に、入射瞳(入射ひとみ；entrance pupil)および出射瞳(出射ひとみ；exit pupil)の拡張を通じての光量の確保およびアイボックスの拡張の機能を達成するための平行光の構造からなることを特徴とする。
前記導波管は、可視光線が通過する透明な光学素材で形成されており、フリーフォーム光学素子（ｆｒｅｅｆｏｒｍ ｏｐｔｉｃ；自由曲面オプティックス）、平面光学素子、曲面光学素子のうちの、いずれか一つが使われ得るのであり、一般のメガネのように、使用者の視力矯正の役割を添加することもできることを特徴とする。
前記入力ユニットおよび前記イメージ出力ユニットのそれぞれは、一個以上の波長チャネルを有する構造からなり、各チャネルには固有波長のみが伝達されるようにすることで、色収差を解決できる構造からなることを特徴とする。
前記第１焦点調節部は、前記第１出力カプラ内に設置されたレンズと複合的に作用して、眼球レンズの焦点深さと同等の効果を示すように構成されて、前記カメラ部に、自動的に現実感のある光学ブラー（Ｏｐｔｉｃａｌ ｂｌｕｒ）を付与できることを特徴とする。
前記眼球追跡ユニットは、両眼に対応する別途のカメラと照明からなるか、両眼の眼電図信号を使った収束追跡機（Ｖｅｒｇｅｎｃｅ ｔｒａｃｋｅｒ）の構造を有することを特徴とする。
前記第１出力カプラおよび前記第２入力カプラの形態が、バードバス（ｂｉｒｄｂａｔｈ）構造を有することを特徴とする。
本発明に係る非可視光線可視化自動整合型拡張現実グラスは、現実空間は目で直接認識し、特定部位からのみ出る近赤外線診断および治療情報のみ現実空間に精巧に整合してきるため、手術や施術時、施術者の視線と同軸に近赤外線を整合して拡張現実で見せることができる技術的効果がある。
本発明に係る非可視光線可視化自動整合型拡張現実グラスの第１実施例の概念図(1)である。 本発明に係る非可視光線可視化自動整合型拡張現実グラスの第１実施例の構成を概念的に図示したブロック図である。 本発明に係る非可視光線可視化自動整合型拡張現実グラスの第１実施例の概念図(2)である。 本発明に係る非可視光線可視化自動整合型拡張現実グラスの第２実施例の概念図である。 本発明に係る非可視光線可視化自動整合型拡張現実グラスの第３実施例の概念図である。 本発明に係る非可視光線可視化自動整合型拡張現実グラスの第４実施例の概念図である。 図５～図６において３つの波長チャネルを有する第１導波管を図示した概念図である。 図５～図６において３つの波長チャネルを有する第２導波管を図示した概念図である。 図１～図８において第１出力カプラのｂｉｒｄｂａｔｈ構造を図示した概念図である。 図１～図８において第２入力カプラのｂｉｒｄｂａｔｈ構造を図示した概念図である。
以下、添付した図面を参照して本発明の実施例に係る非可視光線可視化自動整合型拡張現実グラスについて詳細に説明する。本発明は多様な変更を加えることができ、多様な形態を有することができるところ、特定の実施例を図面に例示して本文に詳細に説明する。しかし、これは本発明を特定の開示形態に対して限定しようとするものではなく、本発明の思想または技術範囲に含まれるすべての変更、均等物乃至代替物を含むものと理解されるべきである。各図面の説明において、類似する参照符号を類似する構成要素に対して使った。添付された図面に対して、構造物の寸法は本発明の明確性を期するために実際より拡大して図示したものである。
第１、第２等の用語は多様な構成要素の説明に使われ得るが、前記構成要素は前記用語によって限定されてはならない。前記用語は一つの構成要素を他の構成要素から区別する目的でのみ使われる。例えば、本発明の権利範囲を逸脱することなく第１構成要素は第２構成要素と命名され得、同様に第２構成要素も第１構成要素と命名され得る。
本出願で使った用語は単に特定の実施例を説明するために使われたものであり、本発明を限定しようとする意図ではない。単数の表現は文脈上明白に異なることを意味しない限り、複数の表現を含む。本出願で、「含む」または「有する」等の用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部分品またはこれらを組み合わせたものが存在することを指定しようとするものであり、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部分品またはこれらを組み合わせたものなどの存在または付加の可能性をあらかじめ排除しないものと理解されるべきである。
異なって定義されない限り、技術的または科学的な用語を含んでここで使われるすべての用語は、本発明が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同一の意味がある。一般的に使われる辞書に定義されているような用語は、関連技術の文脈上有する意味と一致する意味があるものと解釈されるべきであり、本出願で明白に定義しない限り、理想的または過度に形式的な意味で解釈されない。
図１～図３には、本発明に係る非可視光線可視化自動整合型拡張現実グラス１の第１実施例が図示されている。
図面を参照すると、非可視光線可視化自動整合型拡張現実グラス１は、メガネ本体と、非可視光線照射ユニット１００と、入力ユニット２００と、情報処理ユニット４００と、イメージ出力ユニット５００と、焦点調節ユニット６００と、眼球追跡ユニット７００とを具備する。
前記非可視光線照射ユニット１００は、前記メガネ本体の一側に設置されて対象物１０に向かって非可視光線２０を照射するのであり、拡張現実グラスのいずれか一つの地点に装着されてもよく、別途の支持体を通じて使用者の頭や身体の一部に取り付ける形態で形成されてもよく、または、手術室の無影灯といった照明器具に一体に形成されたり、別途に取り付ける形態で形成されたりしてもよい。また、特定の波長帯域の非可視光線のみ照射できるように第２フィルタを含む。
前記入力ユニット２００は、前記メガネ本体の一方の側に設置されて、前記対象物１０から放出された非可視光線２０を、可視光線３０と共に導波管３００に入力するのであり、第１入力カプラ２１０と、第１出力カプラ２２０と、カメラ部２３０とを具備する。
前記第１入力カプラ２１０は、前記導波管３００の端部に形成され、非可視光線２０が入射するのであり、前記第１出力カプラ２２０は、前記導波管３００の他端部に、前記第１入力カプラ２１０と所定距離だけ離隔して形成され、前記第１入力カプラ２１０で入射した非可視光線２０を、前記カメラ部２３０に出力する。
前記第１入力カプラ２１０は、非可視光線２０が前記導波管３００に入射する部分であり、光が入射し得る入射材質からなり、前記導波管３００の内部に挿入されて形成されてもよく、前記導波管３００の一部分に光が入射し得るように、別途のパターンを形成してもよい。
前記第１出力カプラ２２０は、前記第１入力カプラ２１０から入射した非可視光線２０を出力するのであり、前記導波管３００に、前記第１入力カプラ２１０から所定距離だけ離隔して形成される。また、光が出力され得る入射材質が、前記導波管３００の内部に挿入されるか、または外部に独立して形成されてもよく、前記導波管３００の一部分に光が出力され得るように、別途のパターンを形成してもよい。
前記カメラ部２３０は、前記第１出力カプラ２２０から出力された非可視光線２０を撮影する。
前記イメージ出力ユニット５００は、ディスプレイ部５３０と、第２入力カプラ５１０と、第２出力カプラ５２０とを具備する。
前記ディスプレイ部５３０は、使用者が認識する可視光現実イメージ情報３１との対比がなされ得る、疑似色相（Ｐｓｅｕｄｏ Ｃｏｌｏｒ）を使って、非可視光線２０が有している拡張現実情報を、可視光拡張現実イメージ情報４０の形態で前記第２入力カプラ５１０に送信する。
本実施例の場合、手術室と仮定したとき、臓器と血液の色相が赤色であるので、これに対比される補色としての青色や緑色を、前記ディスプレイ部５３０から出力することで、可視光現実イメージ情報３１と、可視光拡張現実イメージ４０とが区別されるようにする。
前記ディスプレイ部５３０は、ｍｉｃｒｏ ＯＬＥＤディスプレイ、ｍｉｃｒｏ ＬＥＤディスプレイ、ＬＣｏＳ(Liquid crystal on silicon)ディスプレイ、ＯＬＥＤｏＳ(OLED-on-Silicon)ディスプレイなどで構成され得るのであり、前記イメージ出力ユニット５００が、ホログラフィックディスプレイおよびライトフィールド(ｌｉｇｈｔ ｆｉｅｌｄ)ディスプレイの形態で構成されて、ＶＡＣ（Vergence-accommodation conflict；両肉眼５０の視線が集まる所に、前記イメージ出力ユニット５００から出力された可視光拡張現実イメージ情報４０と、前記対象物から出力された可視光現実イメージ情報３１の焦点とが正確に一致するように調節すべきこと）、および、収差の問題を解決することができる。しかし、前記ディスプレイの種類はこれに限定しない。
前記第２入力カプラ５１０は、前記導波管３００の端部に形成されており、前記ディスプレイ部５３０から出力された可視光拡張現実イメージ情報４０を受信する。
前記第２出力カプラ５２０は、前記第２入力カプラ５１０から受信した可視光拡張現実イメージ情報４０が使用者の肉眼５０に出力され得るように設置されるのであり、前記導波管３００に、前記第２入力カプラ５１０から所定間隔だけ離隔して形成される。
ここで、前記第２出力カプラ５２０は、映像出力位置が、前記対象物１０の実際の位置に対応するように形成されることが好ましい。
前記導波管３００は、前記第１入力カプラ２１０と第１出力カプラ２２０との間の非可視光線２０の導波と、前記第２入力カプラ５１０と第２出力カプラ５２０との間の可視光拡張現実イメージ情報４０の導波とが可能であるように、透明な光学素材からなり、平行板であるか、長方形および円形などの形状にかかわらず、非常に軽くて薄い厚さを有することが好ましい。
前記導波管３００は、可視光線３０が通過する透明な光学素材で形成されており、フリーフォーム光学素子（ｆｒｅｅｆｏｒｍ ｏｐｔｉｃ；自由曲面オプティックス）、平面光学素子、または曲面光学素子が使われ得るのであり、一般のメガネのように、使用者の視力矯正機能を添加してもよい。
例えば、前記導波管３００そのものが、平面ではない曲面や自由な形態のレンズとなって視力矯正が可能であり、使用者に応じてオーダーメード型で製作されることもありうる。
前記入力ユニット２００および前記イメージ出力ユニット５００のそれぞれは、一個以上の波長チャネルを有する構造からなり、各チャネルには固有の波長のみが伝達されるようにして色収差を解決できるようにすることもできる。
前記の第１入力カプラ２１０、第１出力カプラ２２０、第２入力カプラ５１０、及び、第２出力カプラ５２０は、１個以上の反射、屈折、回折、ホログラフィックの素子または偏光素子を含めて組み合わせることで８０度以上の大きい視野角を確保することを特徴とする。
前記第１入力カプラ２１０は、入射瞳の拡張（Ｅｎｔｒａｎｃｅ ｐｕｐｉｌ ｅｘｐａｎｓｉｏｎ）を通じて、最大限の非可視光線２０の光量を確保できる構造を有することを特徴とする。
前記第２出力カプラ５２０は、出射瞳の拡張（Ｅｘｉｔ ｐｕｐｉｌ ｅｘｐａｎｓｉｏｎ）を通じての１次元および２次元アイボックスの拡張（Ｅｙｅ－ｂｏｘ ｅｘｐａｎｓｉｏｎ）が可能であるため、肉眼５０に対する前記第１入力カプラ２１０および前記第２出力カプラ５２０の相対的な位置に離隔が発生する時にも、安定した視覚映像を提供することを特徴とする。
前記第１入力カプラ２１０に入力される光と、前記第２出力カプラ５２０から出力される光の焦点が、無限大の位置にあるようにする平行光構造を使って、入射瞳および出射瞳の拡張を具現することが好ましい。平行光構造であると、広い面積に平行に入射する光が前記カメラ部２３０の一点に集まるように、前記第１入力カプラ２１０を含んだ入力ユニット２００を容易に設計することができる。したがって、平行光構造では、入射瞳の大きさを大きくするほどカメラが、より多くの光量を確保することができるようになる。また、平行光構造であると、前記ディスプレイ部５３０の一点から出た光を、平行光にする、前記第２出力カプラ５２０を含んだ前記イメージ出力ユニット５００を容易に作ることもできる。したがって、平行光構造では、出射瞳の拡張を通じてのアイボックスの拡張が容易になされる。
前記焦点調節ユニット６００は、収束－調節不一致(VAC)を防止するために、前記第１焦点調節部６１０と前記第２焦点調節部６２０を使って、デジタル拡張現実映像の虚像をリアルタイムに位置させながらも、前記第１入力カプラ２１０に入力される光と、前記第２出力カプラ５２０で出力される光の焦点が、無限大の位置にあるようにする平行光構造を維持させることができることが好ましい。
前記焦点調節ユニット６００の第１焦点調節部６１０は、前記第１入力カプラ２１０の対象物１０側の方面に設置し、正の焦点距離を有するようにし、第２焦点調節部６２０は、第１焦点調節部６１０と所定距離だけ離隔して、前記第２出力カプラ５２０の肉眼５０側の方面に設置し、負の焦点距離を有するようにするとともに、両焦点距離の絶対値が同じであるようにして、平行光構造を維持しながらも眼球が認識する現実世界に歪みが無いようにすることを特徴とする。
つまり、収束－調節不一致(VAC)の問題を解決するための焦点調節機能を維持しながらも、「同時に」入射瞳および出射瞳の拡張を通じての光量の確保、アイボックスの拡張機能を達成するための方法が「平行光」構造を作るのである。
また、視力矯正が必要な使用者のために、第２焦点調節部６２０の焦点距離に矯正が必要なディオプターだけ追加してもよい。
前記焦点調節ユニット６００は、両肉眼５０の視線が集まる所と前記イメージ出力ユニット５００で出力された可視光拡張現実イメージ情報４０と前記対象物から出る可視光現実イメージ情報３１の焦点が正確に一致するように調節し、第１焦点調節部６１０と、第２焦点調節部６２０を具備する。
前記第１焦点調節部６１０は、１個以上の反射、屈折、回折、ホログラフィックの素子または偏光素子を含み、使用者の両眼に対応するように両側に位置することが好ましい。
前記第１焦点調節部６１０は、前記第１出力カプラ２２０内に設置されたレンズと複合的に作用して、眼球レンズの焦点深さ（Ｄｅｐｔｈ ｏｆ ｆｏｃｕｓ）と同等の効果を示すように構成された時、前記第１焦点調節部６１０が、非可視光線２０情報の入力を受けて前記カメラ部２３０に伝達するとともに、カメラに結ばれたデジタル映像、すなわち非可視光線２０空間情報に、自動で現実感のある光学ブラー（Ｏｐｔｉｃａｌ ｂｌｕｒ）を付与できることを特徴とする。
前記光学ブラーは、肉眼５０が物体を認識して視線を置く時、周囲の環境がぼけやぶれて遠近感を与える役割をするが、光学ブラーがないと遠近感がなくなり、多いと異質感を与え得る。
したがって、本発明は肉眼５０が認識する現実空間での光学ブラーとデジタル映像での光学ブラーが同一であるため、３次元的によく整合した映像を認識できるようにする。
前記第２焦点調節部６２０は１個以上の反射、屈折、回折、ホログラフィック素子または偏光素子を含み、映像出力位置が前記対象物１０を向く視線に整合するように形成されることが好ましい。
前記第１焦点調節部６１０と前記第２焦点調節部６２０は、１個以上の反射、屈折、回折、ホログラフィックの素子または偏光素子を含んで光の屈折を惹き起こす透明な光学系で構成するものの、軽量化のために複数のＰＢＰレンズ（Ｐａｎｃｈａｒａｔｎａｍ－Ｂｅｒｒｙ Ｐｈａｓｅ Ｌｅｎｓ）、パンケーキレンズ（Ｐａｎｃａｋｅ ｌｅｎｓ）、液晶レンズまたは液体レンズといった可変焦点レンズを使用できるが、これに限定しない。
前記眼球追跡ユニット７００は、映像認知距離を予測して、前記焦点調節ユニット６００に距離情報を伝送し、肉眼５０が現実空間を眺める視線を追跡して、映像認知距離を把握する収束追跡機（Ｖｅｒｇｅｎｃｅ ｔｒａｃｋｅｒ）の役割のために、両眼に対応する別途のカメラと照明が配置されるか、両眼の眼電図（Ｅｌｅｃｔｒｏｏｃｕｌｏｇｒａｐｈｙ）信号を使用してもよい。
前記情報処理ユニット４００は、前記カメラ部２３０、ディスプレイ部５３０、第１出力カプラ２２０および第２入力カプラ５１０に信号を送って、レンズの絞り値の調節、焦点調節、フレーム速度の調節、露出時間、及びＩＳＯ調節を遂行できるようにすることが好ましい。
本発明の第１実施例を両眼に適用した時、前記第１入力カプラ２１０は、使用者の両眼に対応するように両側に位置し、前記第１出力カプラ２２０と、カメラ部２３０は、前記両側の第１入力カプラ２１０から離隔して前記メガネ本体内の両側に位置し、第２出力カプラ５２０は使用者の両眼に対応するように両側に位置し、前記ディスプレイ部５３０と第２入力カプラ５１０は、前記両側の第２出力カプラ５２０から離隔して前記メガネ本体内の両側に位置するのであり、前記第２出力カプラ５２０は、映像出力位置が、前記対象物１０を向く視線に整合するように形成されることが好ましい。
前記第１入力カプラ２１０、第１出力カプラ２２０、カメラ部２３０第２入力カプラ５１０、及び第２出力カプラ５２０を除いた残りの構成要素は、すべて前記と同一であるため詳細な説明は省略する。
図４には、本発明に係る非可視光線２０可視化自動整合型拡張現実グラス１の第２実施例が図示されている。
本実施例の場合に、前記第１入力カプラ２１０および第２出力カプラ５２０は、両面ピンミラー２１３で構成されている。
図９～図１０のように、前記第１出力カプラ２２０と第２入力カプラ５１０は、前記カメラ部２３０とディスプレイ部５３０の前方に常にある必要はなく、時には導波管３００の反対側の端部においてバードバス（ｂｉｒｄｂａｔｈ）構造の凹面鏡の形態を有してもよい。
前記第１入力カプラ２１０または前記第１出力カプラ２２０内には、非可視光線２０のみが前記カメラ部２３０に伝達され得るようにする第１フィルタ２３１をさらに具備することが好ましい。
本実施例において、前記導波管３００内の第１入力カプラ２１０と第１出力カプラ２２０および第１フィルタ２３１を除いた残りの構成要素は、第１実施例と同じであるため、詳細な説明は省略する。
図５には、本発明に係る非可視光線可視化自動整合型拡張現実グラス１の第３実施例が図示されている。
前記導波管３００は、第１導波管３０１と第２導波管３０２で形成されており、前記第１導波管３０１は、前記第１導波管３０１の端部に形成されて非可視光線２０が入射する第１入力カプラ２１０と、前記第１導波管３０１に前記第１入力カプラ２１０から所定距離だけ離隔して形成され、前記第１入力カプラ２１０から入射した非可視光線２０を出力する第１出力カプラ２２０とを具備する。
前記第２導波管３０２は、前記第２導波管３０２の端部に形成されて、前記ディスプレイ部５３０から出力されたイメージ情報を受信する第２入力カプラ５１０と、前記第２導波管３０２に前記第２入力カプラ５１０から所定間隔離隔して形成され、前記第２入力カプラ５１０から受信した情報が、使用者の肉眼５０に出力され得るように設置される第２出力カプラ５２０を具備する。
本実施例において、前記第１導波管３０１と第２導波管３０２を除いた残りの構成要素は第１実施例と同じであるため、詳細な説明は省略する。
図６には、本発明に係る非可視光線２０可視化自動整合型拡張現実グラス１の第４実施例が図示されている。
前記第１入力カプラ２１０は、第１導波管３０１の一側に備えられる第１ピンミラー２１１であり、前記第２出力カプラ５２０は、第２導波管３０２の一側に備えられる第２ピンミラー２１２であることを特徴とする。
本実施例で前記第１導波管３０１、第２導波管３０２、第１入力カプラ２１０および第２出力カプラ５２０を除いた残りの構成要素は、第２実施例と同じであるため、詳細な説明は省略する。
図７には、前記第１導波管３０１が３つの波長チャネルを有する形態が図示されている。
前記波長チャネルは、色収差を解決するための構造であり、特定の波長に合う導波路を作ることができるように複数の層が重ね合わされて形成されており、各波長帯の回折角または屈折角を常に同一に固定する。結果として、各波長は、常に同一の位置でカメラ部２３０に入力されることが好ましい。
図８には、前記第２導波管３０２が３つの波長チャネルを有する形態が図示されている
前記波長チャネルは、色収差を解決するための構造であり、特定の波長に合う導波路を作ることができるように複数層の積層で形成されており、各波長帯の回折角または屈折角を常に同一に固定する。結果として、各波長は、常に同一の位置で出力されることが好ましい。
以上で説明した非可視光線可視化自動整合型拡張現実グラス１は、現実空間は目で直接認識し、特定部位からのみ出る近赤外線診断および治療情報のみ現実空間に精巧に整合できるため、手術や施術時、施術者の視線と同軸に近赤外線を整合して拡張現実で見せることができる技術的効果がある。
提示された実施例に対する説明は、任意の本発明の技術分野で通常の知識を有する者が本発明を利用または実施できるように提供される。このような実施例に対する多様な変形は本発明の技術分野で通常の知識を有する者に自明であり、ここに定義された一般的な原理は本発明の範囲を逸脱することなく他の実施例に適用され得る。そして、本発明はここに提示された実施例に限定されるものではなく、ここに提示された原理または新規の特徴と一貫する最広義の範囲で解釈されるべきである。
１：非可視光線可視化自動整合型拡張現実グラス
１０：対象物
２０：非可視光線
３０：可視光線
３１：可視光現実イメージ情報
４０：可視光拡張現実イメージ情報
５０：肉眼
１００：非可視光線照射ユニット
２００：入力ユニット
２１０：第１入力カプラ
２１１：第１ピンミラー
２１２：第２ピンミラー
２１３：両面ピンミラー
２２０：第１出力カプラ
２３０：カメラ部
２３１：第１フィルタ
３００：導波管
３０１：第１導波管
３０２：第２導波管
４００：情報処理ユニット
５００：イメージ出力ユニット
５１０：第２入力カプラ
５２０：第２出力カプラ
５３０：ディスプレイ部
６００：焦点調節ユニット
６１０：第１焦点調節部
６２０：第２焦点調節部
７００：眼球追跡ユニット

Claims (25)

  1. 使用者の顔面に着用するメガネ本体；
    前記メガネ本体の一側に設置されて対象物に向けて非可視光線を照射する非可視光線照射ユニット；
    前記メガネ本体の前面に設置され、前記対象物から放出された非可視光線を可視光線と共に導波管に入力する入力ユニット；
    前記メガネ本体の一側に設置され、前記入力ユニットから受信した非可視光線イメージ情報を人が認識できる可視光イメージ情報に変換する情報処理ユニット；および
    前記メガネ本体の後面に設置され、前記情報処理ユニットで処理された可視光イメージ情報を受信して前記導波管から肉眼に出力するイメージ出力ユニットを含む
    非可視光線可視化自動整合型拡張現実グラス。
  2. 前記メガネ本体の一側に設置されて両肉眼の視線が集まる所と、前記イメージ出力ユニットから出力された現実および拡張現実イメージ情報の焦点とが正確に一致するように調節する焦点調節ユニット；および
    前記メガネ本体の一側に設置され、映像認知距離を予測して前記焦点調節ユニットに距離情報を伝送する眼球追跡ユニットをさらに含む、請求項１に記載の非可視光線可視化自動整合型拡張現実グラス。
  3. 前記入力ユニットは、
    前記導波管の端部に形成され、非可視光線が入射する第１入力カプラ；
    前記導波管の他端部に、前記第１入力カプラと所定距離だけ離隔して形成され、前記第１入力カプラから入射した非可視光線を前記カメラ部に出力する第１出力カプラ；および
    前記第１出力カプラから出力された非可視光線を撮影するカメラ部を具備する、請求項１に記載の非可視光線可視化自動整合型拡張現実グラス。
  4. 前記イメージ出力ユニットは、
    前記情報処理ユニットで受信した情報を出力するディスプレイ部；
    前記導波管の端部に形成され、前記ディスプレイ部から出力されたイメージ情報を受信する第２入力カプラ；
    前記導波管に、前記第２入力カプラと所定間隔だけ離隔して形成され、前記第２入力カプラから受信した情報が、使用者の肉眼に出力され得るように形成される第２出力カプラを具備するとともに、
    前記第２出力カプラは、映像出力位置が、前記対象物の実際の位置に対応するように形成された、請求項１に記載の非可視光線可視化自動整合型拡張現実グラス。
  5. 前記ディスプレイ部は、
    使用者が認識する現実イメージ情報と対比され得る疑似色相（Ｐｓｅｕｄｏ Ｃｏｌｏｒ）を使って、非可視光線が有している情報を、可視光の形態で前記第２入力カプラに送信する、請求項４に記載の非可視光線可視化自動整合型拡張現実グラス。
  6. 前記カメラ部は前記情報処理ユニットに映像情報を送出し、
    前記情報処理ユニットは受信した映像情報を映像処理して前記ディスプレイ部に送出する、請求項３に記載の非可視光線可視化自動整合型拡張現実グラス。
  7. 前記眼球追跡ユニットは、眼球が現実空間を眺める視線を追跡して映像認知距離を把握し、把握された情報を前記情報処理ユニットに入力するようにし、
    前記情報処理ユニットは、入力された情報に基づいて眼球の映像認知距離をリアルタイムに計算する、請求項２に記載の非可視光線可視化自動整合型拡張現実グラス。
  8. 前記焦点調節ユニットは、
    １個以上の反射、屈折、回折、ホログラフィックの素子または偏光素子を含んで光の屈折を惹き起こす透明な光学系で構成された第１焦点調節部；および、
    １個以上の反射、屈折、回折、ホログラフィックの素子または偏光素子を含んで光の屈折を惹き起こす透明な光学系で構成された第２焦点調節部を具備する、請求項２に記載の非可視光線可視化自動整合型拡張現実グラス。
  9. 前記焦点調節ユニットは、
    前記眼球追跡ユニットで測定し、前記情報処理ユニットで計算した映像認知距離情報をリアルタイムに受けて、非可視光線情報が入ったデジタル映像の焦点距離が、眼球の映像認知距離と比較して、その差が０．２５ディオプター以内に維持されるようにする、請求項８に記載の非可視光線可視化自動整合型拡張現実グラス。
  10. 前記第１焦点調節部は、使用者の両眼に対応するように両側に位置し、
    前記第２焦点調節部は、使用者の両眼に対応するように両側に位置するものの、映像出力位置が前記対象物を向く視線に整合するように形成される、請求項８に記載の非可視光線可視化自動整合型拡張現実グラス。
  11. 前記イメージ出力ユニットは、
    前記情報処理ユニットで受信した情報を出力するディスプレイ部；
    前記導波管の端部に形成され、前記ディスプレイ部で出力されたイメージ情報を受信する第２入力カプラ；
    前記導波管に、前記第２入力カプラから所定間隔だけ離隔して形成され、前記第２入力カプラから受信した情報が、使用者の肉眼に出力され得るように設置される第２出力カプラを具備するとともに、
    前記第２出力カプラは、映像出力位置が前記対象物の実際の位置に対応するように形成され、
    前記第１入力カプラ、第１出力カプラ、前記第２入力カプラおよび第２出力カプラは、１個以上の反射、屈折、回折、ホログラフィックの素子または偏光素子を含めて組み合わせることで８０度以上の視野角を確保する、請求項３に記載の非可視光線可視化自動整合型拡張現実グラス。
  12. 前記第１入力カプラは、使用者の両眼に対応するように両側に位置しており、前記第１出力カプラとカメラ部は、前記両側の第１入力カプラから離隔して前記メガネ本体内の両側に位置しており、
    前記第２出力カプラは、使用者の両眼に対応するように両側に位置しており、前記ディスプレイ部と第２入力カプラは、前記両側の第２出力カプラから離隔して前記メガネ本体内の両側に位置するとともに、前記第２出力カプラは、映像出力位置が前記対象物を向く視線に整合するように形成される、請求項１１に記載の非可視光線可視化自動整合型拡張現実グラス。
  13. 前記第１入力カプラと第２出力カプラが、回折光学素子、ホログラフィック光学素子またはピンミラーのうちのいずれか一つであることを特徴とする、請求項１１に記載の非可視光線可視化自動整合型拡張現実グラス。
  14. 前記第１入力カプラまたは第１出力カプラは、非可視光線のみが前記カメラ部に伝達され得るように、前面にフィルタをさらに含むことを特徴とする、請求項３に記載の非可視光線可視化自動整合型拡張現実グラス。
  15. 前記導波管は、
    第１導波管と第２導波管でもって形成され；
    前記第１導波管は、
    前記第１導波管の端部に形成されて非可視光線が入射する第１入力カプラ；
    前記第１導波管に、前記第１入力カプラと所定距離だけ離隔して形成され、前記第１入力カプラから入射した非可視光線を出力する第１出力カプラ、および、前記第１出力カプラから出力された非可視光線を撮影するカメラ部を具備し、
    前記第２導波管は、
    前記第２導波管の端部に形成されて、前記ディスプレイ部から出力されたイメージ情報を受信する第２入力カプラ；および、
    前記第２導波管に、前記第２入力カプラと所定間隔だけ離隔して形成され、前記第２入力カプラから受信した情報が、使用者の肉眼に出力され得るように設置される第２出力カプラを具備する、請求項１に記載の非可視光線可視化自動整合型拡張現実グラス。
  16. 前記第１入力カプラは、第１導波管の一側に備えられる第１回折光学素子、第１ホログラフィック光学素子または第１ピンミラーのうちのいずれか一つであり、
    前記第２出力カプラは第２導波管の一側に備えられる第２回折光学素子、第２ホログラフィック光学素子、または第２ピンミラーのうちのいずれか一つであることを特徴とする、請求項１５に記載の非可視光線可視化自動整合型拡張現実グラス。
  17. 前記第１入力カプラまたは第１出力カプラは、
    非可視光線のみが前記カメラ部に伝達され得るように、前面に第１フィルタをさらに含むことを特徴とする、請求項１５に記載の非可視光線可視化自動整合型拡張現実グラス。
  18. 前記非可視光線照射ユニットは、
    前記対象物に向けて、特定の波長帯域の非可視光線のみを照射できるように第２フィルタを含むことを特徴とする、請求項１に記載の非可視光線可視化自動整合型拡張現実グラス。
  19. 前記焦点調節ユニットは、
    ＶＡＣ問題を解決するための焦点調節機能を維持しながらも、同時に、入射瞳および出射瞳の拡張を通じての光量の確保、および、アイボックスの拡張の機能を達成するための平行光の構造からなることを特徴とする、請求項２に記載の非可視光線可視化自動整合型拡張現実グラス。
  20. 前記導波管は、
    可視光線が通過する透明な光学素材で形成されており、フリーフォーム光学素子（ｆｒｅｅｆｏｒｍ ｏｐｔｉｃ）、平面光学素子、曲面光学素子のうちのいずれか一つが使われ得るのであり、一般のメガネのように、使用者の視力矯正の役割を添加することもできることを特徴とする、請求項１に記載の非可視光線可視化自動整合型拡張現実グラス。
  21. 前記入力ユニットおよび前記イメージ出力ユニットのそれぞれは、一個以上の波長チャネルを有する構造からなり、各チャネルには固有波長のみが伝達されるようにすることで、色収差を解決できる構造からなることを特徴とする、請求項１に記載の非可視光線可視化自動整合型拡張現実グラス。
  22. 前記第１焦点調節部は、
    前記第１出力カプラ内に設置されたレンズと複合的に作用して、眼球レンズの焦点深さと同等の効果を示すように構成されることで、前記カメラ部に自動的に現実感のある光学ブラー（Ｏｐｔｉｃａｌ ｂｌｕｒ）を付与できることを特徴とする、請求項８に記載の非可視光線可視化自動整合型拡張現実グラス。
  23. 前記眼球追跡ユニットは、
    両眼に対応する別途のカメラと照明からなるか、両眼の眼電図信号を使った収束追跡機（Ｖｅｒｇｅｎｃｅ ｔｒａｃｋｅｒ）の構造を有することを特徴とする、請求項２に記載の非可視光線可視化自動整合型拡張現実グラス。
  24. 前記第１出力カプラおよび前記第２入力カプラの形態がｂｉｒｄｂａｔｈ構造を有することを特徴とする、請求項１１に記載の非可視光線可視化自動整合型拡張現実グラス。
  25. 前記第２焦点調節部は、
    視力矯正が必要な各使用者に応じて焦点距離にディオプターを追加できることを特徴とする、請求項８に記載の非可視光線可視化自動整合型拡張現実グラス。
JP2021108638A 2020-07-01 2021-06-30 非可視光線可視化自動整合型拡張現実グラス Active JP7324802B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023124650A JP2023159123A (ja) 2020-07-01 2023-07-31 非可視光線可視化自動整合型拡張現実グラス

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200080871A KR102223621B1 (ko) 2020-07-01 2020-07-01 비가시광선 가시화 자동정합형 증강현실 글래스
KR10-2020-0080871 2020-07-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023124650A Division JP2023159123A (ja) 2020-07-01 2023-07-31 非可視光線可視化自動整合型拡張現実グラス

Publications (2)

Publication Number Publication Date
JP2022013882A true JP2022013882A (ja) 2022-01-18
JP7324802B2 JP7324802B2 (ja) 2023-08-10

Family

ID=75164001

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021108638A Active JP7324802B2 (ja) 2020-07-01 2021-06-30 非可視光線可視化自動整合型拡張現実グラス
JP2023124650A Pending JP2023159123A (ja) 2020-07-01 2023-07-31 非可視光線可視化自動整合型拡張現実グラス

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023124650A Pending JP2023159123A (ja) 2020-07-01 2023-07-31 非可視光線可視化自動整合型拡張現実グラス

Country Status (5)

Country Link
US (1) US11609425B2 (ja)
EP (1) EP3932361A1 (ja)
JP (2) JP7324802B2 (ja)
KR (1) KR102223621B1 (ja)
CN (1) CN113876422B (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022040284A (ja) * 2017-04-27 2022-03-10 株式会社三洋物産 遊技機
JP2022040283A (ja) * 2017-04-27 2022-03-10 株式会社三洋物産 遊技機
JP2022044722A (ja) * 2017-04-27 2022-03-17 株式会社三洋物産 遊技機
JP2022044721A (ja) * 2017-04-27 2022-03-17 株式会社三洋物産 遊技機
JP2022058985A (ja) * 2017-04-27 2022-04-12 株式会社三洋物産 遊技機
JP2022058986A (ja) * 2017-04-27 2022-04-12 株式会社三洋物産 遊技機
JP2022058987A (ja) * 2017-04-27 2022-04-12 株式会社三洋物産 遊技機

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
KR102627825B1 (ko) * 2021-08-30 2024-01-23 주식회사 레티널 회절 소자를 이용한 컴팩트형 증강 현실용 광학 장치
KR102660339B1 (ko) * 2021-10-22 2024-04-26 인하대학교 산학협력단 핀미러 홀로그래픽 광학 소자 배열을 이용해 확장된 아이박스를 갖는 도파관 형태의 투과형 맥스웰리안 근안 디스플레이

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016521480A (ja) * 2013-03-22 2016-07-21 セイコーエプソン株式会社 赤外線ビデオ表示アイウェア
US20170094265A1 (en) * 2015-09-30 2017-03-30 Brian Mullins Bidirectional holographic lens
US20190086674A1 (en) * 2017-09-21 2019-03-21 Magic Leap, Inc. Augmented reality display with waveguide configured to capture images of eye and/or environment
US20190346918A1 (en) * 2018-05-10 2019-11-14 Microsoft Technology Licensing, Llc Reconfigurable optics for switching between near-to-eye display modes
US20200124853A1 (en) * 2018-10-18 2020-04-23 Coretronic Corporation Optical transmitting module and head mounted display device
JP2020514826A (ja) * 2017-03-22 2020-05-21 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 動的視野の可変焦点ディスプレイシステム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB384514A (en) * 1932-03-23 1932-12-08 Arthur Edward Barnwell Improvements relating to the focussing fronts of cameras
JPH11347016A (ja) * 1997-10-01 1999-12-21 Oki Electric Ind Co Ltd 撮像装置
WO2014011156A1 (en) * 2012-07-10 2014-01-16 Empire Technology Development Llc Portable multimedia display
US9459451B2 (en) * 2013-12-26 2016-10-04 Microsoft Technology Licensing, Llc Eye tracking apparatus, method and system
US11103122B2 (en) * 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9377623B2 (en) * 2014-08-11 2016-06-28 Microsoft Technology Licensing, Llc Waveguide eye tracking employing volume Bragg grating
JP6576639B2 (ja) * 2015-01-16 2019-09-18 ミラマサービスインク 電子眼鏡および電子眼鏡の制御方法
US10052162B2 (en) * 2015-08-24 2018-08-21 Synaptive Medical (Barbados) Inc. Medical imaging system for illuminating tissue samples using three-dimensional structured illumination microscopy
KR101791007B1 (ko) * 2015-12-18 2017-10-30 부경대학교 산학협력단 고해상도 강수량자료 복원시스템 및 그 방법
KR101678009B1 (ko) 2016-03-07 2016-11-21 윤석진 웨어러블 디바이스를 활용한 현장 가시화와 요원관리를 위한 종합 시스템 및 그 서비스 방법
KR101807824B1 (ko) * 2016-11-16 2017-12-11 부경대학교 산학협력단 적외선 흡수 특성을 갖는 텍스트 문서를 이용하는 증강현실 시스템 및 그의 구현 방법
KR102662173B1 (ko) * 2017-01-11 2024-04-30 매직 립, 인코포레이티드 의료 보조기
CN106782417B (zh) * 2017-03-03 2019-04-16 京东方科技集团股份有限公司 显示面板、显示系统、显示装置及其驱动方法
EP3612914A1 (en) * 2017-04-17 2020-02-26 Akonia Holographics, LLC Skew mirror auxiliary imaging
US11083537B2 (en) * 2017-04-24 2021-08-10 Alcon Inc. Stereoscopic camera with fluorescence visualization
CN110603476B (zh) * 2017-05-17 2021-12-03 苹果公司 具有视力矫正的头戴式显示设备
US20200018962A1 (en) * 2018-07-11 2020-01-16 Facebook Technologies, Llc Adaptive lenses for near-eye displays
EP3640949A1 (en) * 2018-10-17 2020-04-22 Incremed AG Augmented reality with medical imaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016521480A (ja) * 2013-03-22 2016-07-21 セイコーエプソン株式会社 赤外線ビデオ表示アイウェア
US20170094265A1 (en) * 2015-09-30 2017-03-30 Brian Mullins Bidirectional holographic lens
JP2020514826A (ja) * 2017-03-22 2020-05-21 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 動的視野の可変焦点ディスプレイシステム
US20190086674A1 (en) * 2017-09-21 2019-03-21 Magic Leap, Inc. Augmented reality display with waveguide configured to capture images of eye and/or environment
US20190346918A1 (en) * 2018-05-10 2019-11-14 Microsoft Technology Licensing, Llc Reconfigurable optics for switching between near-to-eye display modes
US20200124853A1 (en) * 2018-10-18 2020-04-23 Coretronic Corporation Optical transmitting module and head mounted display device

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022040284A (ja) * 2017-04-27 2022-03-10 株式会社三洋物産 遊技機
JP2022040283A (ja) * 2017-04-27 2022-03-10 株式会社三洋物産 遊技機
JP2022044722A (ja) * 2017-04-27 2022-03-17 株式会社三洋物産 遊技機
JP2022044721A (ja) * 2017-04-27 2022-03-17 株式会社三洋物産 遊技機
JP2022058985A (ja) * 2017-04-27 2022-04-12 株式会社三洋物産 遊技機
JP2022058986A (ja) * 2017-04-27 2022-04-12 株式会社三洋物産 遊技機
JP2022058987A (ja) * 2017-04-27 2022-04-12 株式会社三洋物産 遊技機

Also Published As

Publication number Publication date
CN113876422A (zh) 2022-01-04
US11609425B2 (en) 2023-03-21
CN113876422B (zh) 2024-04-19
JP7324802B2 (ja) 2023-08-10
US20220003992A1 (en) 2022-01-06
KR102223621B1 (ko) 2021-03-05
JP2023159123A (ja) 2023-10-31
EP3932361A1 (en) 2022-01-05

Similar Documents

Publication Publication Date Title
JP2022013882A (ja) 非可視光線可視化自動整合型拡張現実グラス
US9295388B2 (en) Methods and apparatus for retinal imaging
US8391567B2 (en) Multimodal ocular biometric system
JP6483085B2 (ja) 広視野の眼撮像装置
KR100706109B1 (ko) 망원 안경 형태의 시각 보조장치
US7290880B1 (en) System and method for producing a stereoscopic image of an eye fundus
CN107533362A (zh) 眼睛跟踪设备和用于操作眼睛跟踪设备的方法
JP4658119B2 (ja) 眼科手術用の画像システム
WO2014127134A1 (en) Methods and apparatus for retinal imaging
US11058298B2 (en) Polarization fundus camera for effectively suppressing internal reflection
JP2018060011A (ja) 表示装置
CN217792957U (zh) 内窥镜系统
KR101651271B1 (ko) 광역학 진단 기기
US20140320626A1 (en) Microscope for monitoring optical coherence tomography
NL2023688B1 (en) Binocular device
KR102222076B1 (ko) 증강현실 구현을 위한 광학계 및 이를 포함한 의료용 증강현실 장치
CN117615694A (zh) 多折光路成像系统
KR20160022110A (ko) 근적외선 광원을 이용한 안과 수술용 근적외선 입체 영상 시스템
KR20200111370A (ko) 증강현실 구현을 위한 빔 스플리터 및 이를 포함한 증강현실 광학계
JP2021069714A (ja) 眼底撮像装置および眼疾検査装置
CN116725458A (zh) 内窥镜系统及内窥镜检测方法
PL228993B1 (pl) System interaktywnej rozszerzonej wizualizacji fuzji wielomodalnych obrazów medycznych, w szczególności obrazów fluorescencyjnych

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221122

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230731

R150 Certificate of patent or registration of utility model

Ref document number: 7324802

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150