CN1973311A - 具有三维视觉指示功能的三维立体数字放大镜系统 - Google Patents

具有三维视觉指示功能的三维立体数字放大镜系统 Download PDF

Info

Publication number
CN1973311A
CN1973311A CNA2005800129810A CN200580012981A CN1973311A CN 1973311 A CN1973311 A CN 1973311A CN A2005800129810 A CNA2005800129810 A CN A2005800129810A CN 200580012981 A CN200580012981 A CN 200580012981A CN 1973311 A CN1973311 A CN 1973311A
Authority
CN
China
Prior art keywords
operator
image
director
digital
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800129810A
Other languages
English (en)
Other versions
CN1973311B (zh
Inventor
高桥淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN1973311A publication Critical patent/CN1973311A/zh
Application granted granted Critical
Publication of CN1973311B publication Critical patent/CN1973311B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00221—Electrical control of surgical instruments with wireless transmission of data, e.g. by infrared radiation or radiowaves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3616—Magnifying glass
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Surgery (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Urology & Nephrology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Chemical & Material Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medicinal Chemistry (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)

Abstract

提供三维立体数字放大镜技术支援及指导教育传播系统，具有在操作者佩戴的HMD上提供视觉支援时，通过可以进行包含深度的三维图像指示的图像合成的三维视觉指示功能。具有三维视觉指示功能的三维立体数字放大镜技术支援及指导教育传送系统，其利用操作者及指导者佩戴着的相同的立体数字放大镜，在指导者CCD摄影机图像信息中，仅显示标示装置或各种器具的图像，并且，通过将使所述图像的残像可以在任意的设定时间显示而从图像处理装置输出的三维视觉指示图像，同步合成显示于该操作者佩戴着的立体数字放大镜的CCD摄影机图像信息中，由此，将加入了三维的视觉显示指示图像的指导解说的图像信息，与指导者(讲师组)实际使用的器具等比例尺地显示于操作者的三维HMD上进行图像合成。

Description

具有三维视觉指示功能的三维立体数字放大镜系统
技术领域
本发明涉及利用国际互联网等通信网执行技术指导的系统。更详细而言，该系统是涉及基于人的直视来执行的医学手术或其它以手作业来执行的精密特殊技术教育课程的传送，或特定的顾客执行的医学手术或其它以手作业来执行的精密特殊技术的教育指导(把不具有专门知识的人当作机器人，基于远程观察该当作是机器人的人的视野而得到的信息，以三维的图像合成产生的视觉指示、声音指示等进行控制)，或者，操作者的视线不离开手术范围，将直接手术范围图像和不可视范围的图像信息提供到操作者的视觉视野中的系统。
背景技术
一般来说，以临床现场的方式指导医学手术或其它以手作业来执行的精密特殊技术时，操作者和指导者的视野方向和体位并不相同，因此难以指导正确的使用器具等的手部技术，不仅导致手术时间增加，由于指导者妨碍操作者的视觉而导致需要暂时中断作业，而且如果在涉及下意识的手术现场中，恐怕会成为使患者产生不安而造成心因性的休克等的原因。
反过来说，当指导者对受讲者指导进行的医学手术等精密技术时，从和指导操作者(讲师)相同的理想视野，对闭锁的部位的手术、以及欲实施技术观摩时，不仅是在各施术阶段中必须耗费长时间使多个的受讲者(顾客)依序观摩施术状况，并且因为施术设备的物理限制，使得在可同时观摩的人数上有所限制，因此仅能以少数人为其对象。再者，指导手术者(讲师)和受讲者(顾客)所使用的语言不同时，在施术现场必须要有翻译同席，因此，造成每一位受讲者(顾客)的教育课程学费高涨。
再者，当对操作者进行指导情况下，指导者对受讲者进行指导情况下，实施手术者为了确认X光片、CT、MRI、心电图等的信息，必须将视线从视野挪开而观看，很难在远程实时共享信息。
而且，在医学手术的情况下，难以为了教育课程而将患者移动到远程，其它以手作业执行的特殊技术时，若需要大型设施或无法移动的机械器具时，观摩受讲者(顾客)不仅需将日程调整到施术时间，还需面对大量的交通费和移动所需时间成本。使用各种通信方法传送到远程的情况下，以及将个人的医学手术向第三者基本公开的情况下，基于隐私的问题，必须取得患者本人的同意，也必须对于信息在通信路径中的泄露同样地担负责任。反过来说，实施要在远程实施的精密作业的实技指导或医学手术的指导时，因为指导者(讲师组)必须移动到现场而需要大量的经费，所以不仅是指导的相关诸项费用(交通费和移动的时间成本)高涨，而且如果是在移动上耗费长时间的远程，会使得难以应对紧急医学手术，由多个指导者(导师组)进行指导时，各种费用会更为提高，应对紧急医学手术也更加困难。再者，依据医师执照的法律规定，禁止在海外实施医疗行为，因此，基本上，在诸外各国，指导者(讲师组)无法亲自直接操刀进行实况手术观摩教育课程的授讲以及手术的实技指导。
再者，操作者(顾客)希望实际进行医学手术或其它以手作业执行的精密特殊技术的指导时，使散居各地的具有优秀技能或知识的人才的指导者(讲师组)在指定时间齐聚一堂对手术进行监督或管理，可以说是不可能的。而且，能够对于共享的三维图像显示三维指示图像并进行讨论的系统不存在。
专利文献1：日本国特许第3556829号
发明内容
然而，如前所述，一般而言，以临床现场来指导医学手术或其它以手作业来执行的特殊技术时，通过确保指导者与操作者同一视野，而进行确实的指导，以防止手术时间增加。而且，内容在于，即使在涉及下意识的手术现场，也使患者不会意识到指导者的存在，而使其不必怀有不必要的不安。
反过来说，指导者对受讲者指导执行的医学手术等精密手术时，从和指导者(讲师)相同的理想视野中，对于闭锁的部分的手术，以及欲实施技术观摩时，可以同时让多数人观摩。再者，指导者(讲师)和受讲者(顾客)所使用的语言不同时，无须特别在施述现场安排翻译同席，因此，使每一位受讲者(顾客)的教育授课学费为定额。
再者，当指导操作者的情况下，或指导者指导受讲者的情况下，当实施手术者确认X光片、CT、MRI、心电图等的信息时，可以无须将视线从视野挪开而观看，并能够在远程实时共享信息。
而且，在医学手术的情况下，无须为了教育课程而将患者移动到远程，反之，减轻观摩受讲者(顾客)的交通费和移动所需的时间成本。在上述使用各种通信方法传送到远程的情况下，也能防止个人信息的泄露。反过来说，实施在远程实施的精密作业的实技指导或医学手术的指导时，可以减少指导者(讲师组)的各项费用(交通费和移动的时间成本)，如果是在需要长时间移动的远程，也能够应对紧急医学手术，并且，能够由多个指导者(导师组)来进行指导。再者，规避了医师执照的法律规定，在诸外各国中，指导者(讲师组)能够亲自直接操刀进行实况手术观摩教育课程的授讲以及手术的实技指导。
再者，操作者(顾客)希望实际进行医学手术或其它以手作业执行的精密特殊技术的指导时，能够使散居各地的具有优秀技能或知识的人才的指导者(讲师组)在指定时间齐聚一堂对手术进行监督或管理，并且，能够对于共享三维图像实时进行讨论。
本发明以国际互联网或内部网为通信手段，将多个附加功能加入用于实施基于人的直视来进行医学手术或其它以手作业来执行的精密技术的支援、支援及指导教育课程的三维立体数字放大镜的系统，
具有三维视觉指示功能的三维立体数字放大镜系统，其特征在于：当实施该医学手术或其它精密技术支援、支援以及指导教育课程时，最小的构成为，所述三维立体数字放大镜系统由操作者及指导者所佩戴的同步的同一标准、且设于两眼正前方的一对LCD所构成，从该三维立体数字放大镜前面对应于佩戴作业者左右瞳孔中央部位的位置，使用包含向着裸眼视野方向装设的一对变焦镜头的三维立体数字放大镜构成的装置，在操作者及指导者双方的三维立体数字放大镜LCD监视器所共享显示的操作者佩戴着的三维立体数字放大镜的CCD摄影机所捕捉的操作者视野立体图像上，通过浮动图像处理装置，将指导者端的CCD摄影机所捕捉的指导者端的三维立体数字放大镜CCD摄影机前方视野所有区域覆盖的已设的RGB颜色中，考虑对应视野图像背景色的补色关系，在红、绿、蓝的单一色底色(针对在口腔内的血液及肉的红色的补色的红色为佳)的背景前面，指导者在三维立体数字放大镜的LCD监视器上辨识的同时，仅将为了执行视觉指示所操作的在指导者视野内维持的可自由移动的立体标示装置，或者与操作者使用的器具相同的各种器具(虚拟物)的三维图像抽出，并通过图像色度键合成图像处理装置，将浮动的三维视觉指示图像以0％～100％的比例变更其透明度，或为了使色彩上容易辨别而变换后，合成显示，并在操作者、指导者双方的LCD上合成显示。通过该三维立体数字放大镜系统，操作者或指导操作者无须将视线离开施术范围，在摄影观察视野时，操作者的头等不会造成阻挡，而能够得到理想的摄影角度，因此操作者无须顾虑摄影机位置，能够专注在手术施行。
当然，该指导行为是可能为指导者在离开施术环境的场所进行指导，因此，是在患者完全不知情的情况下实行，所以不仅是不会对患者造成不必要的心理影响，相对操作者通过操作者戴着的三维立体数字放大镜视野图像所捕捉到的眼前的实体(患者)，而将指导者在指导三维立体数字放大镜的操作者视野图像虚拟空间上操作的、与操作者实际使用的器具相同的器具立体图像，在操作者LCD上的立体图像上的作业空间中，同时表现三维的深度，不仅能够接受指导者所施行的具有真实感的模拟的指导，而且对于操作者，操作者自身可以容易地在视觉上做出使用相同器具施术的状况，因此，即使在操作者和指导者由言语造成意思沟通不足的情况下，也可以在视觉上充分弥补。
通过执行视觉指示的实技的教育指导服务，无须一个或多个的指导者(讲师组)的移动相关的时间和金钱的花费，在医学手术中，即使在远程也能够紧急应对。
而且，在医学手术中，无须将患者从任意的手术设施移动，即使当教育课程的指导操作者(讲师)和受讲者(顾客)的医师执照颁发国家不同的情况下，也无须受到医师执照的限制，而可以超越国境指导受讲者(顾客)。将该三维立体数字放大镜装置进一步发展，在操作者和指导者共享的操作者视野图像中，以施术患者的事前CT或MRI等的断层摄影信息为基础所制作的任意的骨、血管、神经组织等的解剖学的三维图像，或所述解剖学的三维透视图像上，更以立体方式合成显示切开或骨切削等的位置的外科手术定位板图像，同样以0％～100％的比例，尤其是变更表示解剖学的指标的部位或组织的透明度或色调，或者通过以线条框来表示对于所述操作者三维立体数字放大镜CCD图像信息提供视觉的差异，合成显示可以图像处理变换成容易判别的三维图像信息，由此可以使操作者犹如可以透视皮肤或软组织，而可以视觉掌握血管或骨的形状，或是进一步透视骨，而可以视觉掌握骨中分布的神经的样子，因此可以实施安全且确实的手术。但是，必须考虑到佩戴着HMD的操作者和手术区域的对象的三维的位置常会有变化。为了解决此问题，必须将该解剖学的三维图像或外科手术定位板图像，正确地叠合于显示在操作者HMD的手术区域图像上，对应于操作者头部的位置变化和患者的体位变化，解剖学的三维透视图像或外科手术定位板图像追踪操作者CCD摄影机所捕捉的手术区域图像。为使如上所述的构成可以应用于临床，从操作者三维立体数字放大镜的左右各个同步的两个CCD摄影机的摄影操作者视野图像中撷取静止画面，在上述各个图像上的如牙齿或骨这样的解剖上普遍的硬组织上的三点设置基准点，记录上述各三点共计六点的位置信息。通过该左右两个CCD摄影机的三点位置测量，记录三维的操作者和患者的位置关系，通过追踪作为操作者视野图像中(动画)基准的三点的位置移动，可以总是掌握到三维的操作者三维立体数字放大镜和患者的体位的位置变化。同时，将与解剖学的三维图像或外科手术定位板图像上的上述硬组织上的基准的三点相同的三点，正确描绘到从上述的操作者三维立体数字放大镜的两个CCD摄影机信息分别撷取出的静止画面上的解剖学普遍的硬组织上的三点，使手术区域图像中的解剖学的三维图像或外科手术定位板图像位置正确叠合，记录手术区域三维图像中的解剖学的三维图像或外科手术定位板图像在操作者三维立体数字放大镜所捕捉的视野空间中的三维的位置。由此，可以依据操作者三维立体数字放大镜和患者的体位的三维位置移动，以三维追踪解剖学的三维图像或外科手术定位板图像。
这些解剖学的三维图像或外科手术定位板图像，可以在远程统一管理运作。举例而言，当离主治医生很远的地区需要紧急手术等情况下，操作者利用各种通信手段，传送正要施行手术的患者的可以从三维立体数字放大镜得到的左右CCD摄影机信息，在远程，从该接收信息(从操作者的三维立体数字放大镜得到的左右CCD摄影机信息)中撷取任意的静止画面，通过将解剖学的三维图像或外科手术定位板图像重叠以校正其位置，执行手术区域图像信息的位置的变化的电子运算处理，依据该三维的移动量，在追踪上述解剖学的三维图像或外科手术定位板图像的基础上，传送叠合的合成图像，并可将其以立体图像显示于操作者佩戴着的三维立体数字放大镜LCD上。
再者，像上述的解剖学的三维图像或外科手术定位板图像的显示或三维视觉的指导，本系统并不限于是操作者和指导者1对1的状况，多个的指导者可以同时参加指导。在这种指导状况中，将操作者视野图像当作一个桌面，在该桌面上，操作者和多个的指导者可以就各个专门领域进行意见交换，此时，桌面的管理实权可以依据预先决定的顺序来运作，由此可以容易地管理操作共享的桌面(显示画面)而不会造成混乱。
同样地，通过将从操作者佩戴着的三维立体数字放大镜的CCD摄影机得到的三维图像信息，以国际互联网或内部网等的通信装置传送，并储存在服务器内，可以使多个同时佩戴了同步的三维立体数字放大镜的人，通过国际互联网或内部网来分享该图像信息。该图像虽为储存动画图像，但是操作者实际施术时的手术区域视野图像，因此，能够非常具有临场感且高真实度。而且，与该多个视听者所共享的手术区域图像信息一样储存于服务器中，使得以施术患者的事前有的CT或MRI等的断层摄影信息为基础所制作的任意的骨、血管、神经组织等的解剖学的三维图像，或该解剖学的三维透视图像上，更通过图像位置校正追踪装置，将切开或骨切削等的位置正确地立体图像合成的外科手术定位板图像，能够由各个视听者随时可以切换显示/不显示，由此，可以得到信息量更多的手术示范。再者，在各个作为视听装置而佩戴着的三维立体数字放大镜的图像中，从利用上述三维立体数字放大镜的CCD摄影机所得到的视听者视野图像中，通过浮动图像处理装置去除背景图像，仅抽出使听者操作的立体标示装置，或与操作者所使用器具相同的各种器具(虚拟物)的图像，以0％～100％的比例变更其透明度，并且，将各个视听者变更色彩的浮动图像，在以可以让各个视听者随时切换显示/不显示的状况下的储存图像上进行色度键合成，利用国际互联网等通信线路，对于三维动画或静止画面，通过双向通信，使得能够讨论或手术模拟。
再者，使用各种通信装置，将在远程的医学手术向第三者公开传播时，关于患者的隐私权的问题，通过认证密码等限制存取，以及在提供三维图像的两通道施以不同的图像重组处理(编码化)，在用作通信设备的计算机上执行软件解码，或在三维立体数字放大镜的硬件内设有具有解码功能的积成电路，或者，通过在三维立体数字放大镜(终端)辨识分割码，以实现更高的安全性。而且，依据这些信息的一定规定的公开，不仅有利于各种技术的发展，而且有能力的技术者(医师等)的发掘，或最新的优良技术，可以很快地以世界规模进行普及。
此外，使用可以阅览、指导、及记录非常多信息的三维立体数字放大镜，而虚拟体验操作者的施术状况时，选定指导者或照护者时，不受到地区或时间的限制，可以在网上提供信息交换场所。而且，因为可以客观核定技量，所以操作者购买支援及指导教育课程时，不仅是指导操作者(讲师)单方面的宣传广告内容，或者已接受教育课程的熟识者的主观评价，而可以提供第三者机关的高可信度的客观评价基准，不仅可以容易地对于指导的技术评价及技术指导费加上其正当性，并且当选定指导者(照顾者)时，通过各个专门领域提示其技能，经验或指导语言等条件以及报酬金额，使得能够容易地依据施术内容选定最适合的人才。
在网上与该注册医师或技术者缔结金钱契约，当操作者或指导者单方不履行该施术指导或照护行为的契约时，依据预先约定的内容对损害进行罚款，通过该系统，未曾谋面的操作者和指导者间的契约事项是在申请时成立其契约，所以不仅是在远程待命的上述人才(指导者)或操作者可以安心接受人才派遣，在网上主掌该申请方法的网络管理者，通过使操作者事先选取对于指导者(照护者)的第二、第三希望人选，而可以弥补操作者的实质损害，依据实际状况，依据指导者的技量而给予折扣，可以避免问题的发生。
而且，在指导者(照护者)使用三维立体数字放大镜系统的施术行为中，当发生医疗过失等不满意的状况时，依据三维立体数字放大镜系统信息的记录，当然可以容易地确认过失的所在，并依据各施术内容的难易度和指导者或照护者的各专门领域的对应相关程度，预先在契约内容中设定责任范围和指导费用的变化，明确对应于依据契约内容的提示操作者的指导费用的责任范围，不仅可以分散医疗过失及瑕疵的赔偿风险，作为一般中途体制交纳保险的保险费判断基准的操作者的技量，而可以对每一施术行为，将病例难易度、指导者(照护者)的技量、及体制(人数)等的因素加入考虑，可以设定更实际而合理的保险费用，该保险费的计算基础为，将该系统的操作者及指导者(照护者)的使用经验和实绩(成功率或预后生存率)进行累计，而可以提升其正确性。
如前所述，该三维立体数字放大镜，是可以虚拟体验操作者的施术状况，关于指导者的技量，将指导者的施术状况，信息量非常大且实时地，能够仅以同一标准的三维立体数字放大镜同时传送的系统，其可靠度极高，可以虚拟体验观察施术状况的三维立体数字放大镜系统，而且，录像于记录介质中，可以客观评估技量。因此，在过去医疗领域中实施医疗行为的监督时，将在诊断内容与医疗行为的整合性的监督的始终相同的监督内容更进一步扩大，因为可以客观评估外科的领域(医师个人的技量)，不仅可以促进医师个人的技量的提升，也可以提升整体的技术水准。
当然，操作者实际下刀施术时，在操作者视野图像中合成显示的解剖学的三维图像、或外科手术定位板图像，或者，多个指导者指导图像，插入操作者和指导者共享的视野图像中，所以上述合成显示图像，其各个或全部，依据操作者或指导者的意思，通过不妨碍操作者或指导者的施术行为相关的使用手或脚的操作的开关，可以进行显示或不显示的操作，由此，三维立体数字放大镜的功能作为纯粹数字式的放大镜，并不会妨碍操作者视野，而可以实施安全的手术。
附图说明
图1是表示三维立体数字放大镜构成的图。
图2是表示利用同一标准的三维立体数字放大镜，进行由浮动图像的色度键合成生成的三维指示的概念图。
图3是表示在图1的三维立体数字放大镜利用国际互联网执行通信的概念图。
图4是表示多个指导者实行图3的构成的概念图。
图5是表示以固定基准平面图像产生的测量三维位置的概念图。
图6是表示解剖学图像的图像合成显示状态的图。
图7是表示本系统中图像信息的流向。
符号说明
1、三维立体数字放大镜1a、耳机1b、麦克风1c-R右侧CCD摄影机1c-L、左侧CCD摄影机1c、CCD摄影机2、图像、声音、输入输出线、3、操作者4图像、声音译码器5生命迹象测量设备(精密技术环境测量仪)6.6a-1～6a-n个人计算机7.(7a-1～7a-n)指导者(视听者)8、服务器9、W.W.W(国际互联网或内部网)10、国际互联网通信线路11、指示鼠标12、指导者13、声音输入麦克风14、受讲者声音发问等的信息/技术指导计划接收费、教育课程受讲申请、受讲费结清15、受讲者声音发问(翻译成为指导操作者使用的语言)等信息、技术指导讲师费、教育课程指导费的支付16、指导手术者(讲师)放大手术区域图像、生命迹象、技术施术状况、指导手术者声音指导等信息的传送、教育课程的宣传广告17、指导手术者(讲师)放大手术区域图像、生命迹象、技术施术状况、指导手术者声音指导(翻译成受讲者使用的语言)等信息的收费传送/募集教育课程的受讲者18、操作者(顾客)放大手术区域图像、生命迹象、技术施术状况/个别技术教育指导计划的购买19、操作者(顾客)放大手术区域图像、生命迹象、技术施术状况/个别技术教育指导费的支付20、指导者声音指导、视觉指示/应征指导者(讲师组)21、指导者声音指导(翻译成操作者的使用的语言)、视觉指示/指导者(讲师组)的公开30、立体指示记号30a、虚拟立体指示记号(虚像)31、单色背景板32、患者33、齿列34a～34c硬组织基准点35、三维位置测量基准平面36、LCD监视器36R，右侧LCD36L、左侧LCD37、头盔40、操作者CCD摄影机图像信息41、指导者CCD摄影机图像信息42、色度键合成图像信息43、指导者CCD摄影机浮动图像44、位置校正外科手术定位板浮动图像
具体实施方式
以下，结合附图说明本发明的实施的方式。
在各图中，赋予同一符号的部分是表示为同一物。图1是表示三维立体数字放大镜1的硬件的基本构成的图。如图1所示，三维立体数字放大镜1内部所设置的左侧LCD36L及右侧LCD36R(监视器)，具有可以涵盖作为指导者或被指导者的操作者3左右各眼的宽度，并由头盔37固定在头(脸)上。而且，在该三维立体数字放大镜1是戴在脸上的状态下，左侧CCD摄影机1c-L和右侧CCD摄影机1c-R是在对应于左右各瞳孔的大约中央的位置，并和三维立体数字放大镜1设置为一体。而且，这两个CCD摄影机1c的图像信息通过在左右各LCD上显示同步的各个的图像，提供给佩戴者的三维图像较少具有像使用光学放大镜时的那种相同的不愉快感。
CCD摄影机1c以具有变焦镜头的自动聚焦CCD摄影机为佳。若为该种摄影机，则对于任意的设定倍率，与操作者头部和操作部位之间的距离无关，自动调整以自动得到适当的焦点，因此，可以将操作者使带着头盔的头部的位置固定而造成的颈部肌肉疲劳降至最低。
而且，如图2所示，利用此种三维立体数字放大镜1系统，将操作者3的左右两个CCD摄影机1c的图像信息，分别投影于同一标准的操作者3以及指导者12所佩戴的三维立体数字放大镜1的LCD，而共享三维视野图像(患者32的口腔内图像)。在该共享的操作者视野图像上，利用指导者12所佩戴的三维立体数字放大镜1的左右CCD摄影机1c，在单色背景板31前面拍摄立体指示记号30，将浮动虚拟立体指示记号(虚像)30a进行色度键合成显示。关于该立体指示记号30的显示，可以通过显示一定时间轨迹，而以线条画显示在操作者3视野图像中，或以静止画面显示。
由此，其为比较简便的系统，因为使用同一标准的CCD摄影机和LCD监视器，所以无须进行复杂的一个校正，指导者12可以对操作者3提供正确的三维图像指示。亦即，操作者3使用其双手，以和实际手术执行情况下相同的姿态，而不是像过去在计算机监视器上执行指示的不自然的动作，而可以以非常自然的体位来指导。将该立体指示记号30换成实际的手术器具等时，指导者12可以对在佩戴的三维立体数字放大镜1LCD画面上进行展开的手术区域，在操作者视野虚拟空间执行与实际执行手术时相同的手技动作。相同地，操作者3可以在犹如亲自执行手术一样的状况下，体验具有三维深度的器具操作。而且，若使用色度键合成图像处理装置，能将合成显示于操作者3视野图像中的指导者12的三维视觉指示浮动图像，以0％～100％的比例变更其透明度，或者变更其色调，则实像和虚像可以容易地判别，所以在操作者3和指导者12使用相同器具的情况下，也不会在监视器画面上造成混乱。
与该指示图像的色度键合成相同，在图4中，可以将储存于个人计算机6.6a-1～6a-n或服务器8等中的解剖学的三维图像、或外科手术定位板图像，色度键合成显示在操作者视野图像上。此时，解剖学的三维图像、或外科手术定位板图像，通过以0％～100％的比例进行图像处理变换、或变更其透明度或色调，或线框处理，对于操作者三维立体数字放大镜CCD图像信息容易地提供视觉差异。像这种解剖学的三维图像、或外科手术定位板图像层，如图5所示的操作者三维立体数字放大镜CCD图像信息中的静止画面中选定：以患者齿列33牙齿上的硬组织基准点34a～34c的三点为基准点，以及该患者的解剖学的三维图像、或三维外科手术定位板图像上的齿列7牙齿上的硬组织同一点为基准点，在图4所示个人计算机6.6a-1～6a-n或服务器8上进行描绘，在操作者3视野图像中作为如图6所示的透视图像，在图1操作者3及指导者12佩戴着的三维立体数字放大镜1的LCD上进行正确叠合使得三维等缩的同时执行三维的位置校正。执行该缩尺校正和位置校正时，根据部位难以直接求得硬组织基准点时，在CT或MRI摄影的情况下，在手术时，通过在可以从三维立体数字放大镜1的CCD摄影机清楚看到的相异三点的皮肤上不动点，贴上铅等标示记号，并且在三维外科手术定位板显示铅等的标示记号，使其与在显示三维立体数字放大镜1的手术区域图像的右侧CCD摄影机1-和左侧CCD摄影机1c-L的各个静止图像上的相异三点的标示记号，皮肤上的同一(相同)点相一致，以正确进行位置校正。此时，虽是难以在左右LCD上同时进行位置校正和等缩校正，但本发明的三维立体数字放大镜1的左右LCD监视器和CCD摄影机是同一标准，因此，在左右任一者的LCD画面上执行等缩操作，在一个LCD监视器上从相异的两方向进行位置校正(叠合)，由此，可以简单地记录位置信息。而且，手术部位为头部时，尤其是跨越上颚下颚时，在各个部位分别求取其三点的基准点，并准备两个独立的外科手术定位板，自动追踪各个浮动外科手术定位板图像。
若缩尺校正和位置校正后的解剖学的三维图像层、或三维外科手术定位板层图像为，患者齿列33牙齿上的硬组织基准点34a～34c的三点所构成的三维位置测量基准平面35的变位捕捉为操作者3三维立体放大镜1的左右两个CCD1c的图像信息，以个人计算机6.6a-1～6a-n或服务器8测量三维位置，针对操作者CCD摄影机位置变化及患者的姿态变化，追踪铅等标示记号或图像上的基准点，自动且实时进行三维的位置校正，而且，将解剖学的三维图像层、或三维外科手术定位板层图像合成显示于操作者视野图像中。此时，也可以如上述那样利用图像作为捕捉患者体位变化的手段，进而，也可以以在图像上更明确显示基准点的目的，在患者头部的普遍的硬组织上取得的相异三点上，设置如LED等的发光体。或者，患者的硬组织等的不动点和操作者佩戴着的三维立体放大镜上，分别装设罗盘结构，记录患者及操作者三维立体放大镜相对于定点(基准点)的三维的位置变化，与从操作者三维立体放大镜得到的左右CCD摄影机信息的静止画面上的基准点正确叠合，使得执行初期校正的解剖学的三维图像、或三维外科手术定位板图像层，能够依据患者体位的变化或者操作者头部的移动进行三维的追踪。
若发展该系统，则如图4所示，可以让多个指导者共享操作者图像，各科的专科医师给予适当的建议。该建议为，将来自生命迹象测量设备5的信号在三维立体放大镜1的LCD监视器边缘显示为字幕，使得不损害手术区域图像，由此，操作者3和全体指导者12可以进行共享，不仅可以更确切地掌握现场状况的同时进行指示，而且操作者3可以无须将视线从手术区域移动到监视器等，而可以集中在手术上。
而且，能够在上述三维立体放大镜1相同的图像上，将加上了由其它的指导者等以立体指示记号30或线条画等写入，或者通过三维标示指示提供的指导解说的图像信息，通过国际互联网等通信网传送时，通过该立体指示记号30提供指导解说时，使动画图像暂时成为静止图像，在该静止图像的状态，执行上述写入或标示指示，将该附有写入或标示指示的静止画面的合成图像，传送到接受指导的多个人的终端。或者，相反地，操作者在操作者监视器上接收来自远程的指导者的写入或标示指示以支援施术时，使由指导者端传送的动画图像暂时成为静止图像，该静止图像上进行写入或标示指示等，该合成静止图像也可以传送到该操作者的监视器。
如上所述的写入或标示指示也可以实施于动画，并不将其排除，但是使动画为静止画面时，将三维立体放大镜1的LCD画面划分，在视野图像中另行显示，之后再回到动画是有效的。而且，如上所述的以标示来指示或写入，在操作者等为指导端时，一般是将操作者的施术图像实况表示的第三者、或具有服务器8的教育系统的服务公司的负责指导者来执行。如上所述，使动画暂时成为静止画面执行标示指示后，再回到动画的手法，是周知的技术，因此不加赘述，亦即，将CCD摄影机等的图像信息的某一瞬间储存在图像存储器中，将其读出的同时，撷取从输入装置输入的标示指示等的图像(此可以为静止，也可以为动画，移动标示指示来说明指导时，标示图像等为动画较佳)，可以将其进行层处理或在存储器上的合成等周知的方法进行合成。由此，将服务器8中储存的三维立体放大镜操作者三维图像信息、和手术区域图像中对三维的正确等比例尺三维透视图像合成显示的外科手术定位板图像信息，利用国际互联网等的通信线路，使多个佩戴着同步的三维立体放大镜的视听者7a-1～7a-n进行共享，可以通过双向通信，针对三维动画或静止图像进行讨论。
通过这些全部图像的通信，从保护患者的隐私权的观点而言，全部的通信数字信号数据，通过图像、声音译码器4显示于三维立体放大镜1上，以不具有硬件解码装置的一般个人计算机装置窃取时，信息泄露的危险性较低。
而且，将从该立体数字放大镜装置1得到的图像信息，及施加于该图像信息上的、在医学手术时表示患者的生命迹象的状况、而在其它的精密技术的情况下表示各个技术施术状况的环境的照度、温度、湿度、压力、速度等的数值或图表的图像信息，从操作者佩戴着的声音麦克风听到的声音信息，及以立体指示记号30等表示的视觉指示信息，从和国际互联网9连接的终端个人计算机6，传送到教育课程传播公司服务器8。
教育课程传播公司服务器8所接收的信息，通过国际互联网9直接传送到终端个人计算机6a，或由教育课程传播公司服务器8施以对应各种语言的翻译或图像处理再传送。相同地，从终端个人计算机6的声音麦克风1b得到的声音信息，及立体指示记号30等的视觉指示信息，从和国际互联网9连接的终端个人计算机6，可传送到教育课程传播公司服务器8。
教育课程传播公司服务器8所接收的信息，通过国际互联网9直接传送到终端个人计算机6a-1～n，或由教育课程传播公司服务器8施以对应各种语言的翻译或图像处理再传送。
接着，在上述图1所示的传播系统中，如图3所示，将实施方法分为操作者3(指导者)对听讲者(顾客)执行指导的情况以及如图4的专门指导者(讲师组)对操作者(顾客)执行指导的情况，并根据附图进行说明。
这样，如图3所示，操作者(指导者)3对听讲者(顾客)实施基于人的直视执行的医学手术或其它精密技术的支援及指导教育课程时，针对从操作者3佩戴着的图1的三维立体数字放大镜1的三维CCD摄影机1c得到的放大手术区域图像，利用终端个人计算机6，将生命迹象监视器5或精密技术环境测量仪5的数据和图像、声音译码器4的信息进行合成，通过图像、声音译码器4，投影在戴在指导操作者(讲师)头部的眼镜型LCD监视器1d上，并施加在放大手术区域图像上。
上述投影在LCD监视器1d的图像信息，及麦克风1b的声音指导信息，从终端个人计算机6，利用国际互联网9，直接传送到特定契约受讲者(顾客)的终端计算机7a-1～7a-N，或传送到技术支援、支援及指导教育传播系统传播公司服务器8。当操作者(指导者)和受讲者(顾客)所使用的语言不同时，该信息在技术支援、支援及指导教育传播系统传播公司服务器8中，教育课程传播中逐一或同时翻译成受讲者(顾客)的语言，并传送给受讲者。由此，多数的特定契约受讲者(顾客)能够以如同在现场一般的临场感，来虚拟体验传送到终端计算机7a-1～7a-N的医学手术或其它精密技术的相关施术状况。
上述通信构成是可以双向利用，因此，受讲者(顾客)的发问事项等，通过终端计算机7a-1～7a-N的麦克风1b输入声音，通过国际互联网9反方向地传送到服务器8，将发问内容整理为没有重复，从技术支援、支援及指导教育传播系统传播公司服务器8，利用国际互联网9，同样地传送到指导操作者(讲师)的耳机1a。
指导操作者(讲师)3a，对于特定受讲者(顾客)的发问，以麦克风1b将声音输入终端个人计算机6a，通过国际互联网9，传送到技术支援、支援及指导教育传播系统传播公司服务器8。再者，受讲者(顾客)和操作者(指导者)使用的语言不同时，在教育课程传播公司服务器8逐一或同时翻译成受讲者(顾客)的语言，通过国际互联网9，传送到受讲者(顾客)的终端计算机7a-1～7a-N。
相反地，如图4所示，专门指导者(讲师组)从远程指导操作者(顾客)3b时，从操作者(顾客)3佩戴着的图1的数字放大镜的二维或三维CCD摄影机1c取得的放大手术区域图像信息A及加在放大手术区域图像上的生命迹象信息B或精密技术环境测量仪的图像信息B，及由麦克风1b输入的顾客操作者的发问内容C，以图像、声音译码器4输入到终端个人计算机6，从终端个人计算机6通过国际互联网9，传送到技术支援、及指导教育传播系统传播公司服务器8。
操作者(顾客)3b和专门指导者(讲师组)7使用的语言不同时，这些信息在教育课程传播公司服务器8逐一或同时翻译成专门指导者(讲师组)的语言，并传送到专门指导者(讲师组)7。在此通过教育传播系统传播公司服务器8，通过国际互联网9，传送到一人，或跨越多个技术内容的领域时传送到多个专门指导者(讲师组)的终端计算机7b-1～7b-N。
专门指导者(讲师组)7，为了观察终端计算机7b-1～7b-N上显示的操作者(顾客)3的放大手术区域图像信息A及加在放大手术区域图像上的生命迹象信息B或精密技术环境测量仪的图像信息B，同时进行技术指导及疑问回答，利用终端计算机7b-1～7a-N，输入以虚拟立体指示记号30a进行图像指示指导，或以麦克风1进行的声音指导，该输入信息通过国际互联网9反方向传送到技术支援及指导教育传播系统传播公司服务器8，并通过国际互联网9传送到操作者(顾客)3端。
在此，专门指导者(讲师组)12和操作者(顾客)3的使用语言不同时，在教育课程传播公司服务器8，逐一或同时翻译成操作者(顾客)3的语言，直接将虚拟立体指示记号30a信息传送到操作者(顾客)3佩戴着的图1的三维立体数字放大镜LCD监视器36上，将声音指导信息传送到耳机1a。如此一来，通过对特定契约者的操作者(顾客)3实行双向通信，可以提供实技的指导服务。
再者，在图1中连接于国际互联网9的终端个人计算机6及终端个人计算机7，因为与国际互联网9连接，所以当然具有可以存取教育课程传播系统传播公司服务器8的主页的功能。
由此，利用教育课程传播系统传播公司服务器8的主页，听讲者(顾客)购买技术支援及指导教育课程时，教育课程传播系统传播公司服务器8的主页上，可以看到各计划的指导操作者(讲师)的经历、技术内容或专门领域、使用语言、指导时间、受讲费等一般广告内容，此外还可以看到实时的各课程的人气指标、已听讲过的受讲者(顾客)的评价，由此，可以得到指导操作者(讲师)方面的宣传广告内容，或已经听讲过同一教育课程的熟识者的主观评价之外的客观判断基准。相同地，当受讲者(顾客)申请参加教育课程时，可以在教育课程传播系统传播公司服务器8的主页上进行事务处理受讲费的结清。
再者，授讲教育课程的指导操作者(讲师)，利用教育课程传播系统传播公司服务器8的主页，可以执行宣传广告及参加受讲申请接收作业及用于正式接收受理的受讲费收款确认作业。
相反地，希望受讲操作者(顾客)在购买多个的各领域的专门指导者(讲师组)的个别技术教育支援及指导教育课程时，可以阅览教育课程传播公司的网络主页网址所公开的指导者(讲师组)的技术内容或专门领域、使用语言及指导时间或、依据施术单位的个别技术指导教育指导的各费用，希望受讲操作者(顾客)，不仅可以依据指导者(讲师组)方面的宣传广告内容，或已经在同一教育课程中听讲过的熟识者的主观评价的价值判断基准，也可以以客观的评价基准进行逆指名。
而且，依据该教育课程传播公司的网络主页网址上公开的明确的指导费，无须进行指导费用的直接交涉，而且，各专门领域的指导者(讲师组)可以由教育课程传播公司编成适当的团队以进行高度指导的。而且，操作者(顾客)可以在教育课程传播公司的网络主页网址上，结清教育指导服务费。
而且，与医学手术或其它精密技术相关，关于以施术内容单位或时间单位收费的实技的教育指导服务讲师费，指导者(讲师组)可以自动收取教育课程传播公司依据指导者(讲师组)的构成人数划分的讲师费，而可以免于事务手续的繁杂。
而且，以上的说明是以国际互联网为前提，但本发明并不限于国际互联网，操作者(或精密作业实施者)端以及从操作者端接收信息的端或接收信息并双向发信端，也可以以内部网等的封闭的网络，或利用其它专用线路的通信装置来连接。而且就通信方法而言，可以适当选取通过通信卫星的通信等。
该系统，信息量多且安全，而且从操作者的视线完全记录操作者的施术状况，通过使用让第三者可以虚拟体验手术的三维立体数字放大镜系统，在网上，对于施术照护者，与上述各种服务的技能或经验或指导语言等的条件一起提示报酬金额，注册医师或技术者缔结契约，接受在远程待命的上述人才(指导者)的人才派遣，对于施术发生医疗过失等不满的状况时，依据三维立体数字放大镜系统记录的评价确认过失的所在，并对应于依据各施术内容和人才与各专门领域的对应相关程度预先订立的契约内容，及依据契约内容的提示操作者的指导费用，使责任范围明确，能分散医疗过失及瑕疵的赔偿风险。
而且，因为是实时且同时仅可以是同一标准的三维立体数字放大镜进行通信的系统，所以难以窜改信息，因此其可靠度非常高，因为可以虚拟体验地观察操作者的施术状况，因而可以在远程客观查验操作者技术及是否存在瑕疵。
将在操作者视野图像中合成显示的指导图像，或者操作者视野图像中合成显示的解剖学的三维图像，或外科手术定位板图像，在操作者主导时依据操作者，而在指导者主导时依据指导者的意思，若使用视线接触开关、或声音指令开关等，不会对于操作者或指导者的施术行为相关的使用手或脚的操作造成妨碍。
图7是表示利用如上述的三维立体数字放大镜1，通过国际互联网进行通信的状况的示意图的一例。如该图所示，输入到操作者个人计算机的操作者CCD摄影机的视野图像信息40是利用国际互联网传送，且在操作者个人计算机中，将从指导者个人计算机通过国际互联网传送的指导者CCD摄影机浮动图像43和色度键图像进行合成，在操作者LCD上显示色度键合成图像信息42。
相同地，在指导者LCD上所显示的通过国际互联网传送的操作者CCD摄影机的视野像信息40上，从指导者CCD摄影机信息41中将浮动图像处理过的图像在指导者个人计算机中进行色度键合成显示，由此，通过在指导者LCD上以实技使用的医疗器具等，指导者能够以犹如自己亲自操刀一般的真实性来进行指导指示。利用同一标准的三维立体数字放大镜1的该系统，该指导者CCD摄影机浮动图像43，通过国际互联网通信线路，若在操作者个人计算机上进行色度键合成处理，则操作者CCD摄影机的视野图像信息40上无须将指导者CCD摄影机浮动图像43进行位置校正，能够在操作者LCD上反映和指导者相同的图像。
再者，将从操作者CCD摄影机取得的信息置入服务器计算机，将经过位置校正及自动追踪处理的位置校正外科手术定位板浮动图像44传送到操作者个人计算机以及指导者个人计算机，若在操作者CCD摄影机的视野图像信息40上进行色度键合成图像处理，则可以在操作者及指导者的LCD上反映外科手术定位板图像。这些操作都是基于操作者CCD摄影机图像信息40来执行，因此，无须执行位置校正，三者可以共享相同的图像。如该模式图所示，操作者三维立体数字放大镜系统和指导者三维立体数字放大镜系统都具有相同的功能，因此，指导者和操作者可以容易地替换。
而且，本发明的三维立体数字放大镜系统的构成及通信的主体，并不限于上述的实施形态，在不脱离本发明的要旨的范围内，当然可以进行各种的变更。
产业上的可利用性
本发明的具有图像合成三维视觉指示功能的三维立体数字放大镜技术支援及指导教育传播系统，是关于利用国际互联网等通信网来执行技术指导的三维立体数字放大镜装置。更详细而言，其是涉及基于人的直视进行医学手术或其它以手作业来执行的精密特殊技术教育课程的传送，或特定的顾客执行的医学手术或其它以手作业来执行的精密特殊技术的教育指导(把不具有专门知识的人当作机器人，从远程依据从该比作是机器人的人的视野观察得到的信息，以视觉指示、声音指示等控制)的三维立体数字放大镜装置，而且，通过操作者和指导者使用同一标准的三维立体数字放大镜，可以构筑一个即使在远程也无须使用大型设备而可以进行色度键合成的工作系统，同时，提供各种教育课程的受讲者和指导者的募集方法，以及更便宜的技术指导的指导费用或受讲者产生的受讲费用的网络结清方法。一般而言，在将医学手术或其它以手作业来执行的特殊技术以实况提供观看的教育课程中，从和指导操作者(讲师)相同的理想视野实施对闭锁的部位的手术以及技术观摩时，不仅是在各施术阶段中必须耗费长时间使多个的受讲者(顾客)依序观摩施术状况，并且因为施术设备的物理限制，使得可能同时观摩的人数有所限制，因此仅能以少数人为实施对象。再者，指导操作者(讲师)和受讲者(顾客)所使用的语言不同时，在施术现场必须要有翻译同席，因此，造成每一位受讲者(顾客)的教育课程学费高涨。
而且，在医学手术的情况下，难以为了教育课程而将患者移动到远程，其它以手作业执行特殊技术时，若需要大型设施或无法移动的机械器具时，观摩受讲者(顾客)需将时程调整到施术时间，还需面对大量的交通费和移动所需的时间成本。此外，在希望受讲者购买教育课程时，仅能依据指导操作者(讲师)方面的宣传广告内容，或已经在同一教育课程中听讲过的熟识者的主观评价的价值判断基准进行购买考虑，而且，受讲费的支付必须依照各讲师指定的支付方法分别支付。反之，授讲教育课程的指导操作者(讲师)，利用各种媒体进行宣传广告，无论受讲者(顾客)的多寡，接受受讲申请之后，为了再度正式受理而必须执行受讲费用的收款确认作业。
相反地，实施在远程执行的精密作业的实技指导或医学手术的指导时，指导者(讲师组)必须移动到现场，由于必须花费大量经费，因此，不仅指导相关的各项费用(交通费和移动的时间成本)提高，且需要耗费长时间在移动，而使得在远程难以应对紧急医学手术，由多个的指导者(讲师组)进行指导时，各种费用会更为提高，紧急医学手术的应对也更加困难。再者，当操作者(顾客)和指导者(讲师组)使用的语言不同时，必须在施术现场与翻译同席。
而且，依据医师执照的法律规定，禁止在海外实施医疗行为，因此，基本上，在该诸外各国中，指导者(讲师组)无法亲自直接操刀进行实况手术观摩教育课程的授讲及手术的实技指导。
再者，操作者(顾客)希望实际进行医学手术或其它以手作业执行的精密特殊技术的指导时，指导者(讲师组)的选择，不得不限定在人脉的范围内，也没有对各个指导者(讲师组)的指导费用的明确计算基准，不得不直接交涉，因此，不仅在指导者(讲师组)的选择上大为苦恼，且各指导费用的支付必须根据指导时间或指导内容，以不同的支付手段分别支付，事务手续很繁杂。
不仅是如此，在以往实施医疗领域中的医疗行为的监督时，在诊断内容和医疗行为的整合性的监督是有用的，即不仅在医疗失误的判断有效，在医疗保险领域中，可以作为对医疗行为的成本计算基准。相同地，因为在学术上可以客观评价外科领域(医师的个人技量)，所以可以通过在国际互联网上的实时发表，来举办医学学会等，这对于医师的直接能力评价，亦即学会认定医师的选定基准非常有用。
在解决这样的各问题的基础上，能够建构一个实施有效率的技术教育的适当的商业系统。

Claims (10)

1.一种三维立体数字放大镜系统，具有三维视觉指示功能，其特征在于：
所述三维立体数字放大镜由操作者及指导者所佩戴的、设于两眼正前方的一对LCD所构成，该系统是利用同一标准的三维立体数字放大镜，将从该三维立体数字放大镜前面对应于佩戴作业者左右瞳孔中央部位的位置的、向着裸眼视野方向装设的一对同步的变焦镜头的自动聚焦CCD摄影机的左侧CCD摄影机图像信息，显示于该三维立体数字放大镜的左侧LCD，并将右侧CCD摄影机的图像信息显示在该三维立体数字放大镜的右侧LCD，通过国际互联网或内部网等的通信手段进行通信，使指导者观看操作者及指导者所共享的操作者手术区域图像的同时，对操作者基于直视执行的医学手术或其它精密技术的支援以及指导教育所使用的系统，其包含：
浮动图像处理装置，其在所述指导者端的三维立体数字放大镜装置的CCD摄影机前方视野前面，从所述指导者端的CCD摄影机所捕捉的指导者视野图像中，仅抽出用于指导者进行视觉指示所操作的立体标示装置或者与操作者使用的器具相同的各种器具(虚拟物)的图像，而去除背景图像；以及
图像色度键合成图像处理装置，在操作者及指导者所共享的操作者三维立体数字放大镜装置的CCD摄影机取得的操作者视野图像上，将从该图像处理装置输出的无背景的浮动三维视觉指示图像合成显示，
最小的构成为，利用操作者及指导者所佩戴的一对以相同标准同步的三维立体数字放大镜，指导者利用指导者所佩戴的三维立体数字放大镜的LCD监视器上投影的操作者的CCD摄影机所捕捉的操作者视野立体图像(对指导者来说是虚拟的立体图像)中进行色度键合成显示的、指导者CCD摄影机所捕捉的指导者视野图像中通过浮动图像处理抽出的、指导者操作的立体标示装置或与操作者所使用的器具相同的各种器具(虚拟物)的图像，在操作者视野立体图像中以立体方式执行具有临场感的视觉指示。
2.一种三维立体数字放大镜系统，具有三维视觉指示功能，其特征在于：
具有合成显示的色度键合成图像处理装置，所述色度键合成图像处理装置将从如权利要求1所述的该图像处理装置输出的指导者所操作的无背景的浮动的立体标示装置或与操作者所使用的器具相同的各种器具(虚拟物)的三维视觉指示图像，在该操作者佩戴的立体数字放大镜的CCD摄影机的操作者视野图像信息上进行色度键合成显示时，使操作者的作业状况视野图像和该指导者的三维视觉指示图像重叠，为了防止对操作者视野和施术行为产生视觉妨碍，并且，使操作者容易地判别指导图像，将所述指导者的三维视觉指示图像以0％～100％的比例变更其透明度，或者变更其色调的基础上进行合成显示。
3.一种三维立体数字放大镜系统，具有三维视觉指示功能，其特征在于：
具有图像位置校正追踪装置，在将如权利要求1及2所述的操作者指导者双方的LCD上显示的操作者三维立体数字放大镜CCD图像信息以0％～100％的比例变更其透明度的图像上，
对在以施术患者的事前有的CT或MRI等的断层摄影信息为基础所制作的任意的骨、血管、神经组织等的解剖学的三维图像，或该解剖学的三维透视图像上，更以立体方式合成显示切开或骨切削等的位置的外科手术定位板图像，同样以0％～100％的比例，尤其是变更表示解剖学的指标的部位或组织的透明度或色调，或者通过以线框显示等来对于所述操作者三维立体数字放大镜CCD图像信息提供视觉的差异，由此，将能够容易判别图像处理变换后的三维图像信息，以操作者三维立体数字放大镜CCD图像信息中的任意指定的如牙齿，或者骨这样的不会变形的硬组织上的三点为基准点，以利用所述三维立体数字放大镜的左右CCD的三维位置测量作为基准三角平面，将解剖学的三维图像，以三维等缩重叠于该操作者三维立体数字放大镜CCD图像上，
针对由操作者CCD摄影机位置变化及患者姿态的变化所造成的三维立体数字放大镜CCD图像信息的基准点的位置变化，所述解剖学的三维图像自动且实时地执行位置校正，
针对操作者对应于患者的视野角度的变化，或者患者姿态的变化，总是自动执行位置校正而显示在三维立体数字放大镜的LCD的操作者视野图像中以三维的方式，合成显示正确的等比例尺三维透视图像。
4.一种三维立体数字放大镜系统，具有三维视觉指示功能，其特征在于：
利用国际互联网或内部网等的通信手段，在远程，以预先在远程保存的施术患者的CT或MRI等的断层摄影信息为基础所制作的任意的骨、血管、神经组织等的解剖学的三维图像，或以该解剖学的三维透视图像为基础，操作者或第三者(其它的医生)将切开或骨切削等的位置预先设计了的外科手术定位板图像，在远程执行与如权利要求1～3所述的该操作者三维立体数字放大镜CCD图像信息进行合成处理，正确进行叠合，将显示如透视实体状况的各个合成显示图像，通过图像位置校正追踪装置，针对操作者CCD摄影机位置变化及患者姿态的变化实时自动地执行位置校正，并能够将合成显示于三维的正确位置的图像传送给该操作者及指导者。
5.一种三维立体数字放大镜系统，具有三维视觉指示功能，其特征在于：
将权利要求1所述的操作者三维立体数字放大镜操作者三维图像信息，以及在权利要求3所述的手术区域图像中的三维合成显示正确的等比例尺三维透视图像的外科手术定位板图像信息，储存于服务器，佩戴了共享该服务器中储存的图像信息的多个的同步的三维数字放大镜的人，可以在各个该操作者三维立体数字放大镜操作者三维图像信息中随时切换显示或不显示所述外科手术定位板图像信息，而且将利用如权利要求1及2所述的各个佩戴着的三维立体数字放大镜CCD摄影机所得到的三维视觉指示图像传送到服务器，并与储存于服务器的操作者三维图像合成显示，利用如国际互联网等的通信线路，对于三维动画或静止画面，进行双向通信，由此能够进行讨论。
6.一种三维立体数字放大镜系统，具有三维视觉指示功能，其特征在于：
该系统具备多台如权利要求1～4所述的各个同步的操作者及指导者佩戴着的三维立体数字放大镜装置及浮动图像处理装置，通过使操作者及指导者共享图像，多个指导者同时对单一操作者，以三维视觉表示显示图像进行指导，或者，依据需要切换显示操作者的多个视野图像，由此，通过国际互联网或内部网等的各种通信装置，实现单一指导者对多个操作者的三维视觉指示指导。
7.一种三维立体数字放大镜系统，具有三维视觉指示功能，其特征在于：
将如权利要求1～2所述的以三维的视觉表示指示图像的指导状况，通过国际互联网等各种通信装置进行实况转播或录像转播，对操作者及指导者以外的多个受讲者或第三者机关传播公开时，将从一端的三维立体数字放大镜的CCD摄影机输出的左右两通道的输出信号，在所述三维立体数字放大镜硬件中加密，通过在另一端的三维立体数字放大镜硬件内进行编码，不利用具有规定的三维立体数字放大镜硬件结构的终端，就无法显示正常的图像，由此达到更高的安全性，而可以保护患者隐私。
8.一种三维立体数字放大镜系统，具有三维视觉指示功能，其特征在于：
使用如权利要求1～5所述的信息非常多、可以虚拟体验操作者的施术状况的三维立体数字放大镜系统，在网上，对施术照护者，与技能、经验、或指导言语等条件一起提示报酬金额，和注册医生或技术者缔结契约，接受在远程待命的该人才(指导者)的人才派遣，对于施术发生医疗失误等情况下，依据三维立体数字放大镜系统的信息的记录，确定过失的所在，并依据各施术内容和人才的各专门领域的对应相关程度，根据预先订立的契约内容和依据契约内容的提示操作者的指导费用，明确责任范围，可以分散对于医疗过失及瑕疵的赔偿风险。
9.一种三维立体数字放大镜系统，具有三维视觉指示功能，其特征在于：
该系统为如权利要求1～5所述的信息量非常多，而且是实时的、同时仅用相同标准的三维立体数字放大镜进行通信的系统，因此其可靠性极高，使用可以进行虚拟体验并能进行观察操作者的施术状况的三维立体数字放大镜系统，可以在远程客观查验操作者技量。
10.一种三维立体数字放大镜系统，其特征在于：
在操作者主导的情况下，是根据操作者，在指导者主导的情况下，是根据指导者的意思，通过不妨碍操作者或指导者的施术行为相关的使用手或脚的操作的开关，可以对如权利要求1～5所述的在操作者视野图像中合成显示的指导图像，或者操作者视野图像中合成显示的解剖学的三维图像，或外科手术定位板图像，进行显示或不显示的操作。
CN2005800129810A 2004-03-26 2005-03-17 具有三维视觉指示功能的三维立体数字放大镜系统 Expired - Fee Related CN1973311B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004091349 2004-03-26
JP091349/2004 2004-03-26
PCT/JP2005/004758 WO2005093687A1 (ja) 2004-03-26 2005-03-17 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム

Publications (2)

Publication Number Publication Date
CN1973311A true CN1973311A (zh) 2007-05-30
CN1973311B CN1973311B (zh) 2010-08-25

Family

ID=35056406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800129810A Expired - Fee Related CN1973311B (zh) 2004-03-26 2005-03-17 具有三维视觉指示功能的三维立体数字放大镜系统

Country Status (12)

Country Link
US (1) US7367809B2 (zh)
EP (1) EP1739642B1 (zh)
JP (1) JP4440893B2 (zh)
KR (1) KR100819819B1 (zh)
CN (1) CN1973311B (zh)
AU (1) AU2005225878B2 (zh)
BR (1) BRPI0508748B1 (zh)
CA (1) CA2561274C (zh)
MX (1) MXPA06011083A (zh)
MY (1) MY154870A (zh)
RU (1) RU2390852C2 (zh)
WO (1) WO2005093687A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102959616A (zh) * 2010-07-20 2013-03-06 普莱姆森斯有限公司 自然交互的交互真实性增强
CN103064188A (zh) * 2011-11-30 2013-04-24 微软公司 基于头戴式显示器的教育和指导
CN103456025A (zh) * 2012-06-01 2013-12-18 波音公司 虚拟和实际环境中的传感器增强的定位
CN103845113A (zh) * 2012-11-29 2014-06-11 索尼公司 无线手术放大镜及其利用方法、装置和系统
CN102036616B (zh) * 2008-03-21 2015-05-13 高桥淳 三维数字放大镜手术支持系统
CN105096372A (zh) * 2007-06-29 2015-11-25 3M创新有限公司 视频数据和三维模型数据的同步视图
CN111565898A (zh) * 2017-11-28 2020-08-21 施耐德电气日本控股有限公司 操作引导系统
CN112634700A (zh) * 2020-12-30 2021-04-09 青岛亿和海丽安防科技有限公司 一种躲避雷电的安全模拟系统及其控制方法

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7689014B2 (en) * 2000-01-18 2010-03-30 Z-Kat Inc Apparatus and method for measuring anatomical objects using coordinated fluoroscopy
WO2005119356A2 (en) 2004-05-28 2005-12-15 Erik Jan Banning Interactive direct-pointing system and calibration method
US8340476B2 (en) 2005-03-18 2012-12-25 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US8290313B2 (en) 2005-03-18 2012-10-16 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US8232979B2 (en) 2005-05-25 2012-07-31 The Invention Science Fund I, Llc Performing an action with respect to hand-formed expression
US8229252B2 (en) 2005-03-18 2012-07-24 The Invention Science Fund I, Llc Electronic association of a user expression and a context of the expression
US8749480B2 (en) 2005-03-18 2014-06-10 The Invention Science Fund I, Llc Article having a writing portion and preformed identifiers
US8599174B2 (en) 2005-03-18 2013-12-03 The Invention Science Fund I, Llc Verifying a written expression
US7826687B2 (en) 2005-03-18 2010-11-02 The Invention Science Fund I, Llc Including contextual information with a formed expression
US7809215B2 (en) 2006-10-11 2010-10-05 The Invention Science Fund I, Llc Contextual information encoded in a formed expression
US8787706B2 (en) * 2005-03-18 2014-07-22 The Invention Science Fund I, Llc Acquisition of a user expression and an environment of the expression
US8102383B2 (en) 2005-03-18 2012-01-24 The Invention Science Fund I, Llc Performing an action with respect to a hand-formed expression
US20060284791A1 (en) * 2005-06-21 2006-12-21 National Applied Research Laboratories National Center For High-Performance Computing Augmented reality system and method with mobile and interactive function for multiple users
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
JP2009540298A (ja) * 2006-06-05 2009-11-19 ヴィジコン インスペクション テクノロジーズ エルエルシー ステント検査システム
EP1884819A1 (en) * 2006-08-02 2008-02-06 Swiss Medical Technology GmbH Eyewear with segmented look-through elements
CN101523924B (zh) * 2006-09-28 2011-07-06 皇家飞利浦电子股份有限公司 3d菜单显示
US8520024B2 (en) * 2007-05-18 2013-08-27 Uab Research Foundation Virtual interactive presence systems and methods
US8690768B2 (en) * 2007-07-26 2014-04-08 David Amitai Patient operable data collection system
US8477149B2 (en) * 2009-04-01 2013-07-02 University Of Central Florida Research Foundation, Inc. Real-time chromakey matting using image statistics
KR101190265B1 (ko) * 2009-06-30 2012-10-12 고려대학교 산학협력단 헤드 마운트 수술용 확대 장치
WO2011025450A1 (en) * 2009-08-25 2011-03-03 Xmreality Research Ab Methods and systems for visual interaction
GB2474083B (en) * 2009-10-05 2015-12-23 Keeler Ltd Improvements in and relating to ophthalmic instruments
US8116685B2 (en) * 2010-01-26 2012-02-14 Samsung Electronics Co., Inc. System and method for visual pairing of mobile devices
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
JP2013521576A (ja) 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US20120242698A1 (en) * 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
IT1398933B1 (it) * 2010-03-04 2013-03-28 Clementoni S P A Sistema multimediale per giochi di apprendimento e puzzle.
DE102010016113A1 (de) * 2010-03-24 2011-09-29 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur Ausbildung eines Besatzungsmitglieds eines insbesondere militärischen Fahrzeugs
US9155503B2 (en) * 2010-10-27 2015-10-13 Cadwell Labs Apparatus, system, and method for mapping the location of a nerve
MX2013006104A (es) 2010-12-02 2013-09-02 Ultradent Products Inc Sistema y metodo para ver y hacer seguimiento de imagenes estereoscopicas de video.
US9847044B1 (en) 2011-01-03 2017-12-19 Smith & Nephew Orthopaedics Ag Surgical implement training process
US9113050B2 (en) * 2011-01-13 2015-08-18 The Boeing Company Augmented collaboration system
FR2970576B1 (fr) * 2011-01-19 2013-02-08 Matchic Labs Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre
MY182291A (en) * 2011-02-22 2021-01-18 Rheinmetall Defence Electronics Gmbh Simulator for training a team,in particular for training a helicopter crew
JP5423716B2 (ja) * 2011-03-30 2014-02-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
US9886552B2 (en) * 2011-08-12 2018-02-06 Help Lighting, Inc. System and method for image registration of multiple video streams
US9910488B2 (en) 2012-04-23 2018-03-06 Japan Science And Technology Agency Motion guide presentation method and system therefor, and motion guide presentation device
US9020203B2 (en) 2012-05-21 2015-04-28 Vipaar, Llc System and method for managing spatiotemporal uncertainty
JP6351579B2 (ja) * 2012-06-01 2018-07-04 ウルトラデント プロダクツ インク． 立体ビデオ撮像
JP5887026B2 (ja) * 2012-09-03 2016-03-16 ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーＳＥＮＳＯＭＯＴＯＲＩＣ ＩＮＳＴＲＵＭＥＮＴＳ Ｇｅｓｅｌｌｓｃｈａｆｔ ｆｕｒ ｉｎｎｏｖａｔｉｖｅ Ｓｅｎｓｏｒｉｋ ｍｂＨ ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法
US9127928B2 (en) * 2012-11-15 2015-09-08 General Electric Company Object location accounting for pitch, yaw and roll of device
CN104813219A (zh) * 2012-11-19 2015-07-29 橙子牙科有限两合公司 具有显示系统的放大镜
US9710968B2 (en) 2012-12-26 2017-07-18 Help Lightning, Inc. System and method for role-switching in multi-reality environments
GB2496064B (en) * 2012-12-31 2015-03-11 Nicholas Jamie Marston Video camera shooting glasses
US10098585B2 (en) 2013-03-15 2018-10-16 Cadwell Laboratories, Inc. Neuromonitoring systems and methods
US9940750B2 (en) 2013-06-27 2018-04-10 Help Lighting, Inc. System and method for role negotiation in multi-reality environments
KR20160033721A (ko) 2013-07-16 2016-03-28 세이코 엡슨 가부시키가이샤 정보 처리 장치, 정보 처리 방법 및, 정보 처리 시스템
KR101579491B1 (ko) * 2013-07-17 2015-12-23 한국과학기술원 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법
US10424115B2 (en) * 2014-04-24 2019-09-24 Christof Ellerbrock Head-worn platform for integrating virtuality with reality
US20170099479A1 (en) * 2014-05-20 2017-04-06 University Of Washington Through Its Center For Commercialization Systems and methods for mediated-reality surgical visualization
KR101580559B1 (ko) * 2014-06-02 2015-12-28 조선대학교산학협력단 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치
US20160000514A1 (en) * 2014-07-03 2016-01-07 Alan Ellman Surgical vision and sensor system
US20160042233A1 (en) * 2014-08-06 2016-02-11 ProSent Mobile Corporation Method and system for facilitating evaluation of visual appeal of two or more objects
KR20160024168A (ko) 2014-08-25 2016-03-04 삼성전자주식회사 전자 장치의 디스플레이 제어 방법 및 전자 장치
JP6437257B2 (ja) * 2014-09-19 2018-12-12 株式会社日立ソリューションズ 作業工程学習支援システム
US10433793B1 (en) 2015-03-27 2019-10-08 Cadwell Laboratories, Inc. Methods and systems for simultaneous review of brain activity and physical manifestations of users
KR102349716B1 (ko) 2015-06-11 2022-01-11 삼성전자주식회사 영상 공유 방법 및 이를 수행하는 전자 장치
JP6611538B2 (ja) * 2015-09-29 2019-11-27 株式会社三菱ケミカルホールディングス 生体信号出力装置
JP2017079385A (ja) * 2015-10-20 2017-04-27 株式会社エヌアイデイ 映像及び音声を送信可能な装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラム
JP5997824B1 (ja) * 2015-11-10 2016-09-28 株式会社オプティム 遠隔端末、遠隔指示方法及び遠隔端末用プログラム
KR101763492B1 (ko) 2015-12-22 2017-08-02 이화여자대학교 산학협력단 로봇 수술용 보조 기기
KR101822471B1 (ko) * 2016-05-26 2018-01-29 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
US11839433B2 (en) * 2016-09-22 2023-12-12 Medtronic Navigation, Inc. System for guided procedures
US10142298B2 (en) * 2016-09-26 2018-11-27 Versa Networks, Inc. Method and system for protecting data flow between pairs of branch nodes in a software-defined wide-area network
JP6867566B2 (ja) * 2016-10-21 2021-04-28 サン電子株式会社 画像表示装置及び画像表示システム
CN106297472A (zh) * 2016-10-25 2017-01-04 深圳市科创数字显示技术有限公司 Ar与vr相结合的眼角膜智能手术培训系统
JP6833460B2 (ja) * 2016-11-08 2021-02-24 株式会社東芝 作業支援システム、作業方法、および処理装置
US11241297B2 (en) 2016-12-12 2022-02-08 Cadwell Laboratories, Inc. System and method for high density electrode management
US10918445B2 (en) * 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
US9935395B1 (en) 2017-01-23 2018-04-03 Cadwell Laboratories, Inc. Mass connection plate for electrical connectors
JP6649912B2 (ja) 2017-03-15 2020-02-19 株式会社モリタ 歯科診療実習装置及び歯科診療実習システム
EP3678577A4 (en) * 2017-09-06 2021-01-27 Covidien LP SYSTEMS, PROCEDURES AND COMPUTER READABLE MEDIA FOR PROVIDING STEREOSCOPIC VISUAL PERCEPTION MESSAGES AND / OR RECOMMENDATIONS DURING A SURGICAL PROCEDURE
US20190175059A1 (en) 2017-12-07 2019-06-13 Medtronic Xomed, Inc. System and Method for Assisting Visualization During a Procedure
US11517239B2 (en) 2018-04-05 2022-12-06 Cadwell Laboratories, Inc. Systems and methods for processing and displaying electromyographic signals
US11596337B2 (en) 2018-04-24 2023-03-07 Cadwell Laboratories, Inc Methods and systems for operating an intraoperative neurophysiological monitoring system in conjunction with electrocautery procedures
US11992339B2 (en) 2018-05-04 2024-05-28 Cadwell Laboratories, Inc. Systems and methods for dynamic neurophysiological stimulation
US11253182B2 (en) 2018-05-04 2022-02-22 Cadwell Laboratories, Inc. Apparatus and method for polyphasic multi-output constant-current and constant-voltage neurophysiological stimulation
US11443649B2 (en) 2018-06-29 2022-09-13 Cadwell Laboratories, Inc. Neurophysiological monitoring training simulator
US11185684B2 (en) 2018-09-18 2021-11-30 Cadwell Laboratories, Inc. Minimally invasive two-dimensional grid electrode
US11517245B2 (en) 2018-10-30 2022-12-06 Cadwell Laboratories, Inc. Method and system for data synchronization
US11471087B2 (en) 2018-11-09 2022-10-18 Cadwell Laboratories, Inc. Integrity verification system for testing high channel count neuromonitoring recording equipment
US11317841B2 (en) 2018-11-14 2022-05-03 Cadwell Laboratories, Inc. Method and system for electrode verification
US11529107B2 (en) 2018-11-27 2022-12-20 Cadwell Laboratories, Inc. Methods for automatic generation of EEG montages
US11128076B2 (en) 2019-01-21 2021-09-21 Cadwell Laboratories, Inc. Connector receptacle
DE102019207454B4 (de) 2019-05-21 2021-05-12 Volkswagen Aktiengesellschaft Augmented-Reality-System
US11006093B1 (en) 2020-01-22 2021-05-11 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
JP7393842B1 (ja) 2022-02-09 2023-12-07 リバーフィールド株式会社 支援システム、支援装置、被支援装置
WO2024047696A1 (ja) * 2022-08-29 2024-03-07 株式会社endov 情報処理システム、情報処理方法及びプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5391081A (en) * 1992-05-13 1995-02-21 University Of Florida Research Foundation, Incorporated Method and apparatus for simulating neuromuscular stimulation during medical surgery
US5769640A (en) * 1992-12-02 1998-06-23 Cybernet Systems Corporation Method and system for simulating medical procedures including virtual reality and control method and system for use therein
US5546943A (en) * 1994-12-09 1996-08-20 Gould; Duncan K. Stimulating a beneficial human response by using visualization of medical scan data to achieve psychoneuroimmunological virtual reality
US6024576A (en) * 1996-09-06 2000-02-15 Immersion Corporation Hemispherical, high bandwidth mechanical interface for computer systems
JPH11161769A (ja) 1997-11-25 1999-06-18 Hitachi Denshi Ltd 動作認識情報入力装置
JPH11197159A (ja) 1998-01-13 1999-07-27 Hitachi Ltd 手術支援システム
US6074213A (en) * 1998-08-17 2000-06-13 Hon; David C. Fractional process simulator with remote apparatus for multi-locational training of medical teams
US6113395A (en) * 1998-08-18 2000-09-05 Hon; David C. Selectable instruments with homing devices for haptic virtual reality medical simulation
JP4288843B2 (ja) * 2000-10-25 2009-07-01 沖電気工業株式会社 遠隔作業支援システム
JP2002207832A (ja) 2000-12-28 2002-07-26 Atsushi Takahashi インターネット技術指導教育配信システム、及び通信網を利用した指導システム
US6659776B1 (en) * 2000-12-28 2003-12-09 3-D Technical Services, Inc. Portable laparoscopic trainer
US6739877B2 (en) * 2001-03-06 2004-05-25 Medical Simulation Corporation Distributive processing simulation method and system for training healthcare teams
US7095388B2 (en) * 2001-04-02 2006-08-22 3-Dac Golf Corporation Method and system for developing consistency of motion
US20020149599A1 (en) * 2001-04-12 2002-10-17 Honeywell International Inc. Methods and apparatus for displaying multiple data categories
US7056123B2 (en) * 2001-07-16 2006-06-06 Immersion Corporation Interface apparatus with cable-driven force feedback and grounded actuators
JP2004089599A (ja) * 2002-09-04 2004-03-25 Hitachi Medical Corp 画像表示装置
AU2003275265A1 (en) * 2002-09-26 2004-04-19 Robert Levine Medical instruction using a virtual patient
US7594815B2 (en) * 2003-09-24 2009-09-29 Toly Christopher C Laparoscopic and endoscopic trainer including a digital camera

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096372A (zh) * 2007-06-29 2015-11-25 3M创新有限公司 视频数据和三维模型数据的同步视图
CN105096372B (zh) * 2007-06-29 2019-10-29 米德马克公司 视频数据和三维模型数据的同步视图
CN102036616B (zh) * 2008-03-21 2015-05-13 高桥淳 三维数字放大镜手术支持系统
CN102959616A (zh) * 2010-07-20 2013-03-06 普莱姆森斯有限公司 自然交互的交互真实性增强
CN103064188A (zh) * 2011-11-30 2013-04-24 微软公司 基于头戴式显示器的教育和指导
CN103456025A (zh) * 2012-06-01 2013-12-18 波音公司 虚拟和实际环境中的传感器增强的定位
CN103456025B (zh) * 2012-06-01 2017-12-12 波音公司 虚拟和实际环境中的传感器增强的定位
CN103845113A (zh) * 2012-11-29 2014-06-11 索尼公司 无线手术放大镜及其利用方法、装置和系统
CN103845113B (zh) * 2012-11-29 2018-02-13 索尼公司 无线手术放大镜及其利用方法、装置和系统
CN111565898A (zh) * 2017-11-28 2020-08-21 施耐德电气日本控股有限公司 操作引导系统
CN112634700A (zh) * 2020-12-30 2021-04-09 青岛亿和海丽安防科技有限公司 一种躲避雷电的安全模拟系统及其控制方法

Also Published As

Publication number Publication date
MXPA06011083A (es) 2007-04-13
CN1973311B (zh) 2010-08-25
BRPI0508748B1 (pt) 2018-05-02
KR20060127251A (ko) 2006-12-11
BRPI0508748A (pt) 2007-09-04
RU2390852C2 (ru) 2010-05-27
EP1739642A4 (en) 2010-04-14
MY154870A (en) 2015-08-14
JPWO2005093687A1 (ja) 2008-02-14
WO2005093687A1 (ja) 2005-10-06
JP4440893B2 (ja) 2010-03-24
RU2006137063A (ru) 2008-05-10
US7367809B2 (en) 2008-05-06
KR100819819B1 (ko) 2008-04-08
AU2005225878A1 (en) 2005-10-06
EP1739642B1 (en) 2017-05-24
CA2561274A1 (en) 2005-10-06
EP1739642A1 (en) 2007-01-03
CA2561274C (en) 2015-08-11
US20070184422A1 (en) 2007-08-09
AU2005225878B2 (en) 2009-09-10

Similar Documents

Publication Publication Date Title
CN1973311B (zh) 具有三维视觉指示功能的三维立体数字放大镜系统
WO2002054309A1 (fr) Systeme de distribution a distance de formation et de guidage technique par internet mettant en application une intervention de praticien et systeme de guidage utilisant un reseau de communication
US10197803B2 (en) Augmented reality glasses for medical applications and corresponding augmented reality system
Casaglia et al. Dental photography today. Part 1: basic concepts
Liu et al. A wearable augmented reality navigation system for surgical telementoring based on Microsoft HoloLens
CN1115152A (zh) 目视信息系统
Bui et al. Tele-mentoring using augmented reality technology in healthcare: A systematic review
Al Shaikhly et al. Comparison of a dental operating microscope and high-resolution videoscope for endodontic procedures
CN113995525A (zh) 可切换视角的基于混合现实的医疗场景同步操作系统及存储介质
SATAVA et al. Virtual reality and telemedicine: exploring advanced concepts
Andersen et al. Augmented visual instruction for surgical practice and training
Olexa et al. The apple vision pro as a neurosurgical planning tool: A case report
Bhandari et al. Virtual and augmented reality changing horizons in dentistry
Westwood Medicine meets virtual reality: the convergence of physical & informational technologies: options for a new era in healthcare
Bavaresco et al. Tele-odontology in Brazil: strategies and challenges for the training of the healthcare network
Wieben Virtual and augmented reality in medicine
Davies et al. Evaluation of virtual reality in orthopaedic training—A pioneering pilot study
Webb et al. Virtual reality and interactive 3D as effective tools for medical training
Brazer Augmented Reality for Otology: A Review of Applications, Benefits, and Limitations
KR20230135754A (ko) 태그가 포함된 수술영상의 거래 및 사용을 위한 중개시스템
Campisi et al. to Patients
Mohsin et al. Innovations in healthcare product development: Exploring AR/VR/MR technologies
Llinás et al. Gluteal biopolymers and aggressive synovitis of the hip joint: A new reported association
WO2023069782A1 (en) Procedure guidance and training apparatus, methods and systems
Hoyle et al. Use of Slowscan Technology in the North Slope Borough Telehealth Project

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100825

CF01 Termination of patent right due to non-payment of annual fee