CN109637622A - 信息处理装置、信息处理方法以及信息处理系统 - Google Patents

信息处理装置、信息处理方法以及信息处理系统 Download PDF

Info

Publication number
CN109637622A
CN109637622A CN201811229131.1A CN201811229131A CN109637622A CN 109637622 A CN109637622 A CN 109637622A CN 201811229131 A CN201811229131 A CN 201811229131A CN 109637622 A CN109637622 A CN 109637622A
Authority
CN
China
Prior art keywords
information
head
prompt
image
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811229131.1A
Other languages
English (en)
Inventor
津田敦也
内山敏
内山敏一
若宫仁美
高野正秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2013147420A external-priority patent/JP2015019679A/ja
Priority claimed from JP2014067406A external-priority patent/JP6311393B2/ja
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN109637622A publication Critical patent/CN109637622A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Urology & Nephrology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种能够将多种多样的医疗用装置的信息一元化，并控制多个图像显示装置的显示的信息处理装置。该信息处理装置具备：获取部，其获取从多个医疗用装置获取的信息亦即多个医疗用装置信息；生成部，其生成包含由获取部获取的多个医疗用装置信息的至少一部分的提示用信息；以及提供部，其对多个图像显示装置输出生成的提示用信息。

Description

信息处理装置、信息处理方法以及信息处理系统
本申请是申请号为201410340206.9，申请日期为2014年07月16日，发明名称为“信息处理装置、信息处理方法以及信息处理系统”的发明专利申请的分案申请。
技术领域
本发明涉及信息处理装置、信息处理方法以及信息处理系统。
背景技术
已知有佩戴于头部的显示装置亦即头部佩戴型显示装置(头戴式显示器(HeadMounted Display，HMD))。头部佩戴型显示装置例如通过利用液晶显示器和光源生成表示图像的图像光，并利用投射光学系统、导光板等将生成的图像光导向使用者的眼睛，来使使用者识别虚像。
专利文献1记载了通过使用这样的头部佩戴型显示装置来改善医疗环境中的信息的显示的系统。在专利文献1所记载的技术中，基于查询而从多个信息源获取信息，并基于规则对获取的信息进行过滤处理，并向头戴式眼镜显示器的目镜投影。另外，在专利文献1所记载的技术中，基于头部佩戴型显示装置的佩戴者的视线来决定关于固定了的大型显示器的显示的控制权、优先权。专利文献2记载有医疗用面部佩戴型影像显示装置(头部佩戴型显示装置)。在专利文献2所记载的技术中，在内视镜检查或者内视镜手术时与内视镜一起使用的内视镜外围设备的动作状态信息被显示于头部佩戴型显示装置。在专利文献3、4中记载了通过在头部佩戴型显示装置中应用增强现实感技术来进行牙科手术中的信息的显示的方法。在专利文献3、4所记载的技术中，针对手术部位的实像重叠术前影像、仿真图像等并显示。
专利文献1：日本特开2006－102495号公报
专利文献2：日本特开2001－104331号公报
专利文献3：日本特开2010－259497号公报
专利文献4：日本特开2013－34764号公报
由于医学的进步和电子设备的进步，当前的医疗现场实现了迅速的进化。在医疗现场，例如使用心电图仪、心率计、血压计、脉搏血氧仪、血糖值计、伦琴射线、内视镜这样的多种多样的医疗用的装置(以下称为“医疗用装置”。)。掌握这样的多种多样的医疗用装置的信息来进行作业对在医疗现场从事工作的人员来说成为较大的负担。因此，期望能够将多种多样的医疗用装置的信息一元化的系统。在专利文献1所记载的技术中，虽然能够从多个信息源(医疗用装置)获取信息，但对于以何种方式使获取的信息在多个头部佩戴型显示装置显示，未进行任何考虑。另外，在专利文献2～4所记载的技术中，由于作为对象的医疗用装置被限定，所以存在不能够将多种多样的医疗用装置的信息一元化这样的课题。
另外，这样的课题并不限定于头部佩戴型显示装置，例如在生成用于显示于头部佩戴型显示装置这样的图像显示装置的信息的所有的信息处理装置中共同的课题。这样，期望一种能够将多种多样的医疗用装置的信息一元化，并且能够控制多个图像显示装置的显示的信息处理装置。另外，对于信息处理装置，还存在通用性的提高、便利性的提高、制造成本的降低、可靠性的提高这样的各种期望。
发明内容
本发明是为了解决上述的课题的至少一部分而完成的，能够作为以下的方式实现。
(1)根据本发明的一方式，提供一种信息处理装置。该信息处理装置具备：获取部，其获取从多个医疗用装置获取的信息亦即多个医疗用装置信息；生成部，其生成包含由上述获取部获取的上述多个医疗用装置信息的至少一部分的提示用信息；以及提供部，其对多个图像显示装置输出生成的上述提示用信息。根据该方式的信息处理装置，生成部使用由获取部获取的多个医疗用装置信息生成来提示用信息，所以能够将与信息处理装置连接的多种多样的医疗用装置的信息(医疗用装置信息)一元化。另外，提供部对多个图像显示装置输出生成的提示用信息，所以能够控制多个图像显示装置的显示。其结果，能够实现将多种多样的医疗用装置的信息一元化，并控制多个图像显示装置的显示的信息处理装置。
(2)在上述方式的信息处理装置中，也可以为上述生成部具有对上述多个图像显示装置生成共用的上述提示用信息的第一模式、以及生成分别与上述多个图像显示装置对应的多个上述提示用信息的第二模式。根据该方式的信息处理装置，生成部具有：使用一元化的医疗用装置信息，针对多个图像显示装置生成共用的提示用信息的第一模式；以及使用一元化的医疗用装置信息，生成分别与多个图像显示装置对应的多个提示用信息的第二模式。信息处理装置通过适当使用生成部的这些模式，能够控制多个图像显示装置的显示。
(3)在上述方式的信息处理装置中，也可以为上述生成部在上述第一模式中生成至少包含由特定的上述图像显示装置的使用者选择出的上述医疗用装置信息的共用的上述提示用信息。根据该方式的信息处理装置，生成部生成至少包含由特定的图像显示装置的使用者选择出的医疗用装置信息的共用的提示用信息，提供部对多个图像显示装置输出生成的共用的提示用信息。其结果，信息处理装置能够基于特定的图像显示装置的使用者的选择来控制多个图像显示装置的显示。
(4)在上述方式的信息处理装置中，也可以为还具备装置间关系存储部，该装置间关系存储部相关联地存储用于相互识别上述多个图像显示装置的信息和表示该图像显示装置是否为上述特定的图像显示装置的信息，上述生成部在上述第一模式中使用上述装置间关系存储部来识别上述特定的图像显示装置。根据该方式的信息处理装置，生成部能够使用装置间关系存储部来容易地从多个图像显示装置识别出特定的图像显示装置。
(5)在上述方式的信息处理装置中，也可以为上述生成部在上述第二模式中生成至少包含分别由上述多个图像显示装置的使用者选择出的获取的上述医疗用装置信息的上述多个提示用信息。根据该方式的信息处理装置，生成部生成至少包含分别由多个图像显示装置的使用者选择出的医疗用装置信息的多个提示用信息，提供部对多个图像显示装置分别输出生成的多个提示用信息。其结果，信息处理装置能够基于各图像显示装置的使用者的选择独立地控制多个图像显示装置的显示。
(6)在上述方式的信息处理装置中，也可以为上述生成部在上述第二模式中生成至少包含从与上述使用者的各个的职责对应的上述医疗用装置获取的上述医疗用装置信息的上述多个提示用信息。根据该方式的信息处理装置，生成部生成至少包含从与使用者的各个的职责对应的医疗用装置获取的医疗用装置信息的多个提示用信息，提供部对多个图像显示装置分别输出生成的多个提示用信息。其结果，信息处理装置能够根据各图像显示装置的使用者的职责独立地控制多个图像显示装置的显示，能够提高图像显示装置的使用者的便利性。
(7)在上述方式的信息处理装置中，也可以为还具备相关联地存储用于相互识别上述多个图像显示装置的信息和该图像显示装置的使用者的职责的职责存储部，上述生成部在上述第二模式中使用上述职责存储部来识别上述使用者的职责。根据该方式的信息处理装置，生成部能够使用职责存储部来容易地识别使用者的职责。
(8)在上述方式的信息处理装置中，也可以为上述生成部在上述第二模式中还生成结合了生成的上述多个提示用信息的结合信息，上述提供部对上述特定的图像显示装置输出生成的上述结合信息。根据该方式的信息处理装置，生成部生成结合了生成的多个提示用信息的结合信息，提供部对特定的图像显示装置输出生成的结合信息。其结果，特定的图像显示装置的使用者能够知晓在与信息处理装置连接的多个图像显示装置中显示何种提示用信息。其结果，能够提高特定的图像显示装置的使用者的便利性。
(9)在上述方式的信息处理装置中，也可以为上述生成部在生成上述提示用信息时在维持在上述医疗用装置信息中包含的图像的长宽比的状态下放大或者缩小上述图像。根据该方式的信息处理装置，生成部在维持在医疗用装置信息中包含的图像的长宽比的状态下放大或者缩小图像，所以能够抑制在生成提示用信息时在由医疗用装置获取的医疗用装置信息中产生未预期的形变。
(10)在上述方式的信息处理装置中，也可以为在上述信息处理装置连接使用者能够视觉识别虚像和外景的头部佩戴型显示装置作为上述图像显示装置。根据该方式的信息处理装置，能够实现将多种多样的医疗用装置的信息一元化，并能够控制多个头部佩戴型显示装置的显示的信息处理装置。
(11)在上述方式的信息处理装置中，也可以为上述提供部还从上述头部佩戴型显示装置获取佩戴了上述头部佩戴型显示装置的状态下的使用者的视野方向的图像；通过图像认识获取的上述视野方向的图像来提取在外景中包含的物体的特征；以及基于提取的上述特征来修正由生成部生成的上述提示用信息，并输出修正后的上述提示用信息。根据该方式的信息处理装置，提供部通过图像认识头部佩戴型显示装置的使用者的视野方向的图像来提取在外景中包含的物体的特征，并基于提取的特征来修正生成的提示用信息。因此，在提示用信息例如包含CT图像、MRI图像、伦琴射线图像等不可视信息的情况下，能够使不可视信息与在外景中包含的物体(例如患者的身体等)一致。其结果，能够提高头部佩戴型显示装置的使用者的便利性。并且，头部佩戴型显示装置能够接收修正后的提示用信息，所以头部佩戴型显示装置直接显示接收的提示用信息即可。其结果，能够使头部佩戴型显示装置的构成简单。
(12)在上述方式的信息处理装置中，也可以为还具备工序管理部，其为将表示预先决定的工序的信息发送给上述生成部的工序管理部，且该工序管理部基于由上述获取部获取的上述多个医疗用装置信息来变更发送的上述工序，上述生成部生成包含接收到的上述工序的上述提示用信息。根据该方式的信息处理装置，工序管理部将表示预先决定的工序的信息发送给生成部，生成部生成包含接收到的工序的提示用信息。因此，信息处理装置能够使预先决定的工序显示于与信息处理装置连接的多个图像显示装置。另外，工序管理部基于由获取部获取的多个医疗用装置信息来变更发送的工序。因此，信息处理装置能够基于从多个医疗用装置获取的信息亦即多个医疗用装置信息来变更显示于多个图像显示装置的工序。其结果，能够提供基于医疗用装置信息灵活地变更预先决定的工序，并且能够将这样的工序通知给图像显示装置的使用者的信息处理装置。
(13)在上述方式的信息处理装置中，也可以为上述工序管理部反复获取上述多个医疗用装置信息，并基于最新的上述多个医疗用装置信息来变更发送给上述生成部的上述工序。根据该方式的信息处理装置，工序管理部反复获取多个医疗用装置信息，并基于最新的多个医疗用装置信息来变更发送给生成部的工序。因此，信息处理装置能够基于从多个医疗用装置获取的信息亦即多个医疗用装置信息来实时地变更显示于多个图像显示装置的工序。
(14)在上述方式的信息处理装置中，也可以为上述工序管理部将表示由多个上述工序构成的一系列的工序且为预先决定的一系列的工序的信息发送给上述生成部，并通过对上述一系列的工序实施新的工序的追加、上述一系列的工序中的至少一部分的工序的删除、以及上述一系列的工序中的至少一部分的工序的置换中的至少任意一个来变更上述工序。根据该方式的信息处理装置，工序管理部能够通过对一系列的工序实施新的工序的追加、一系列的工序中的至少一部分的工序的删除、以及一系列的工序中的至少一部分的工序的置换中的至少任意一个来变更工序。
(15)在上述方式的信息处理装置中，也可以为上述工序管理部将由多个上述工序构成的一系列的工序且为预先决定的一系列的工序中的一个工序依次发送给上述生成部，并通过中止上述一个工序的发送来变更上述工序。根据该方式的信息处理装置，工序管理部能够通过中止工序的发送来变更工序。
(16)在上述方式的信息处理装置中，也可以为上述工序管理部在上述第一模式中将用于上述特定的上述图像显示装置的使用者的上述工序发送给上述生成部。根据该方式的信息处理装置，工序管理部在第一模式中将用于特定的图像显示装置的使用者的工序发送给生成部。因此，信息处理装置能够使多个图像显示装置显示共用的“用于特定的图像显示装置的使用者的工序”。
(17)在上述方式的信息处理装置中，也可以为上述工序管理部在上述第二模式中将与上述使用者的各个的职责对应的上述工序发送给上述生成部。根据该方式的信息处理装置，工序管理部在第二模式中将与使用者的各个的职责对应的工序发送给生成部。因此，信息处理装置能够使多个图像显示装置独立地显示“与图像显示装置的使用者的各个的职责对应的工序”。
(18)根据本发明的一方式，提供一种信息处理系统。该信息处理系统具备：多个医疗用装置；信息处理装置；以及多个头部佩戴型显示装置，这些头部佩戴型显示装置为使用者能够视觉识别虚像和外景的头部佩戴型显示装置，上述信息处理装置具备：获取部，其获取从上述多个医疗用装置获取的信息亦即多个医疗用装置信息；生成部，其生成包含由上述获取部获取的上述多个医疗用装置信息的至少一部分的提示用信息；以及提供部，其对上述多个头部佩戴型显示装置输出生成的上述提示用信息，上述头部佩戴型显示装置具备：提示用信息获取部，其从上述信息处理装置获取上述提示用信息；以及图像显示部，其将获取的上述提示用信息作为上述虚像使上述头部佩戴型显示装置的使用者视觉识别。根据该方式的信息处理系统，能够实现能够将多种多样的医疗用装置的信息(医疗用装置信息)在信息处理装置中一元化，并控制多个头部佩戴型显示装置的显示的信息处理系统。
上述的本发明的各方式所具有的多个构成要素不是全部都是必需的，为了解决上述的课题的一部分或者全部，或者为了实现本说明书所记载的效果的一部分或者全部，能够适当地对上述多个构成要素的一部分的构成要素进行变更、删除、与新的构成要素的替换、限定内容的一部分删除。另外，为了解决上述的课题的一部分或者全部，或者为了实现本说明书所记载的效果的一部分或者全部，也能够将上述的本发明的一方式所包含的技术特征的一部分或者全部与上述的本发明的其他的方式所包含的技术特征的一部分或者全部组合，作为本发明的独立的一方式。
例如，本发明的一方式能够作为具备了获取部、生成部以及提供部的三个要素中的一部分或者全部的要素的装置来实现。即，该装置可以具有获取部，也可以不具有获取部。另外，该装置可以具有生成部，也可以不具有生成部。另外，该装置可以具有提供部，也可以不具有提供部。这样的装置例如能够作为信息处理装置来实现，但也能够作为信息处理装置以外的其他的装置来实现。上述的信息处理装置的各方式的技术特征的一部分或者全部均能够应用于该装置。
此外，本发明能够以各种方式实现，例如能够以信息处理装置、信息处理方法、信息处理系统、头部佩戴型显示装置、头部佩戴型显示装置的控制方法、头戴佩戴型显示系统、用于实现这些方法、装置或者系统的功能的计算机程序、以及记录了该计算机程序的记录介质等方式实现。
附图说明
图1是表示本发明的一实施方式的信息处理系统的概要构成的说明图。
图2是功能性地表示信息处理装置的构成的框图。
图3是表示共用影像规格的一个例子的说明图。
图4是表示管理表格的一个例子的说明图。
图5是功能性地表示头戴式显示器的构成的框图。
图6是表示提示用信息生成处理的顺序的流程图。
图7是用于说明提示用信息的生成方法的说明图。
图8是用于说明提示用信息的生成方法的说明图。
图9是表示提示用信息的第一例的说明图。
图10是表示提示用信息的第二例的说明图。
图11是表示提示用信息的第三例的说明图。
图12是表示在多个头戴式显示器中提示用信息作为虚像显示的情况的说明图。
图13是表示在处于不同的位置的多个头戴式显示器中提示用信息作为虚像显示的情况的说明图。
图14是表示执行两次步骤S122～S134的结果在多个头戴式显示器中提示用信息作为虚像显示的情况的说明图。
图15是功能性地表示第二实施方式中的信息处理装置的构成的框图。
图16是表示结合信息生成处理的顺序的流程图。
图17是用于说明结合信息的生成方法的说明图。
图18是表示在头戴式显示器中结合信息作为虚像显示的情况的说明图。
图19是功能性地表示第三实施方式的信息处理装置的构成的框图。
图20是示意性地表示工序信息的一个例子的说明图。
图21是表示紧急对应信息的一个例子的说明图。
图22是表示工序管理处理的顺序的流程图。
图23是表示变形例中的头戴式显示器的外观的构成的说明图。
具体实施方式
A.第一实施方式：
A－1.信息处理系统的构成：
图1是表示本发明的一实施方式的信息处理系统1000的概要构成的说明图。信息处理系统1000具备多个医疗用装置501～50n、信息处理装置300以及图像显示装置100。信息处理系统1000是在医疗现场使用的系统，信息处理装置300从多个医疗用装置501～50n获取信息并将这些信息一元化，生成用于向图像显示装置100显示的提示用信息。医疗用装置501～50n和图像显示装置100通过有线连接或者无线连接与信息处理装置300连接。此外，以下，作为表示“任意的多个”的文字使用“n”。n是1以上的整数。
在本实施方式中，作为医疗现场，例示手术室中的手术现场，但信息处理系统1000也可以在门诊室、处理室、治疗室、分娩室等中使用。另外，在本实施方式中，作为图像显示装置100例示头部佩戴型显示装置，但图像显示装置100也可以是固定型的显示器、可携带的显示器、智能手机等。以下，也将头部佩戴型显示装置100称为“头戴式显示器100(HeadMounted Display，HMD)”。另外，在图1中图示有一台头戴式显示器100，但如下述的图2所示，也可以为多台头戴式显示器100a～100n与信息处理装置300连接。
此外，在以下的说明中，在不特别地区分头戴式显示器100a～100n而进行说明的情况下，将头戴式显示器100a～100n仅称为“头戴式显示器100”。同样，在不特别地区分医疗用装置501～50n而进行说明的情况下，仅将医疗用装置501～50n称为“医疗用装置500”。
医疗用装置501～50n是在医疗用途中使用的各种装置。作为医疗用装置501～50n的例子，例如能够使用用于拍摄室内外的静态图像以及动态图像的可见光照相机、用于拍摄手术部位的静态图像以及动态图像的可见光照相机、心电图检查装置、手术用计时器、生物体监视器、心率计、脉搏计、血压计、超声波检查装置、脉搏血氧仪、血糖值计、CT(Computed Tomography，计算机断层拍摄)图像拍摄装置、MRI(Magnetic ResonanceImaging，核磁共振图像法)图像拍摄装置、伦琴射线(X射线)图像拍摄装置、透视图像拍摄装置、内视镜图像拍摄装置、热成像图像拍摄装置等。
A－2.信息处理装置的构成：
图2是功能性地表示信息处理装置300的构成的框图。信息处理装置300具备第一输入输出部310、ROM320、RAM330、通信接口340、CPU350以及外部存储装置380，各部通过总线相互连接。
作为获取部的第一输入输出部310具备多个第一输入输出部311～31n。第一输入输出部311～31n例如是依据USB(Universal Serial Bus：串行总线)、HDMI(HighDefinition Multimedia Interface：高清晰度多媒体接口)、DVI(Digital VisualInterface：数字视频接口)、VGA(Video Graphics Array：视频图形阵列)、复合(コンポジット)、RS－232C(Recommended Standard 232：推荐标准232)、红外线无线通信、近距离无线通信(例如Bluetooth(注册商标))、无线LAN(例如IEEE802.11)以及有线LAN(例如IEEE802.3)等通信标准的输入输出接口。第一输入输出部311～31n分别获取从所连接的医疗用装置501～50n输入的信息。所谓从医疗用装置输入的信息是通过医疗用装置测定或者拍摄等而得的信息。以下也称为“医疗用装置信息”。
在本实施方式中，第一输入输出部311是依据DVI的输入输出接口，第一输入输出部312是依据HDMI的输入输出接口，第一输入输出部313是依据HDMI的输入输出接口，第一输入输出部31n是依据无线LAN的输入输出接口。在图2中，在第一输入输出部311上连接有医疗用装置501和固定式的显示器700。同样，在第一输入输出部312上连接有医疗用装置502，在第一输入输出部313上连接有医疗用装置503，在第一输入输出部31n上连接有医疗用装置50n。像这样，第一输入输出部310由依据不同种类的通信标准的第一输入输出部311～31n构成。因此，能够在第一输入输出部310上连接依据各种通信标准的医疗用装置，能够提高信息处理装置300的共同性。应予说明，第一输入输出部310也能够针对例如显示器700等显示装置直接地输出输入的信号。
通信接口(I/F)340是有线LAN的接口。通信接口340除了通过网络INT的线路以能够通信的方式连接于外部施设的医生PR和信息处理装置300之外，还通过局域网以能够通信的方式连接与院内LAN连接的数据库OD和信息处理装置300。假定医生PR例如是对与信息处理装置300连接的头戴式显示器100的使用者进行指导的医生、外部的专科医生等。在数据库OD中存储有表示手术等的处置顺序的顺序信息、电子病历系统、电子化的学术书等。
CPU350通过将储存于ROM320的计算机程序在RAM330展开并执行来控制信息处理装置300。另外，CPU350实现生成部360以及第二输入输出部370的功能。生成部360通过执行下述的提示用信息生成处理来生成用于向头戴式显示器100显示的提示用信息。作为提示用信息生成处理中的处理的模式有以下所示的两种模式。
(1)生成共用的提示用信息的第一模式
(2)生成分别与头戴式显示器100a～100n对应的多个提示用信息的第二模式
作为提供部的第二输入输出部370具备多个第二输入输出部371～37n。与第一输入输出部310相同，第二输入输出部371～37n是依据各种通信标准的输入输出接口。由于与第一输入输出部310相同，所以省略第二输入输出部370的详细内容的说明。
在本实施方式中，第二输入输出部371和第二输入输出部372是依据无线LAN的输入输出接口，第二输入输出部373是依据USB的输入输出接口，第二输入输出部37n是依据DVI的输入输出接口。在图2中，在第二输入输出部371连接有作为图像显示装置的头戴式显示器100a。同样，在第二输入输出部372连接有头戴式显示器100b，在第二输入输出部373连接有头戴式显示器100c，在第二输入输出部37n连接有头戴式显示器100n。像这样，第二输入输出部370由依据不同种类的通信标准的第二输入输出部371～37n构成。因此，能够在第二输入输出部370上连接依据各种通信标准的头戴式显示器，能够提高信息处理装置300的通用性。
外部存储装置380由未图示的ROM、RAM、DRAM、硬盘、闪存等构成。外部存储装置380包括共用影像规格381、管理表格382、作为不可视信息存储部的不可视信息383、手术的记录384以及动作模式385。
图3是表示共用影像规格381的一个例子的说明图。共用影像规格381是针对提示用信息的用于规定影像信号的标准规格的表格。共用影像规格381在提示用信息生成处理中，在生成部360生成提示用信息时被使用。
在本实施方式的共用影像规格381中，作为影像信号的规格包括在影像信号中包含的图像的像素数、长宽比、分辨率、压缩方法以及编码方法。共用影像规格381预先被决定并被存储在外部存储装置380内。优选在决定共用影像规格381时，考虑在与第二输入输出部370连接的头戴式显示器100a～100n中采用的影像信号的规格。
图4是表示管理表格382的一个例子的说明图。作为职责存储部以及装置间关系存储部的管理表格382是用于管理与第二输入输出部370连接的头戴式显示器100的信息的表格，更具体而言是用于管理分别与第二输入输出部371～37n连接的头戴式显示器100a～100n的信息的表格。管理表格382除了在提示用信息生成处理中由生成部360生成提示用信息时被使用之外，还在第二输入输出部371～37n向头戴式显示器100a～100n发送提示用信息时被使用。
本实施方式的管理表格382将标识符、装置间关系、职责以及影像规格相关联并存储。在“标识符”中储存有用于相互识别与第二输入输出部370连接的头戴式显示器100的唯一的标识符。在“装置间关系”中储存有表示与第二输入输出部370连接的多个头戴式显示器100a～100n的主从关系的字符串。在本实施方式中，以一台头戴式显示器100为主(主机)，以其他的头戴式显示器100为从(从机)。在“职责”中储存有表示通过标识符识别的头戴式显示器100的使用者在医疗现场担任何种职责的字符串。在“影像规格”中储存有表示通过标识符识别的头戴式显示器100中的影像信号的规格(在影像信号中包含的图像的像素数、长宽比、分辨率、压缩方法、编码方法等)的类型的字符串。
在图4的例子中，可知通过标识符“1”识别的头戴式显示器100的使用者为“执刀医生”，该头戴式显示器100的影像规格为“规格A”(项目E01)。同样，可知通过标识符“n”识别的头戴式显示器100的使用者为“护士”，该头戴式显示器100的影像规格为“规格E”(项目E0n)。另外，在图4的例子中，可知通过标识符“1”识别的头戴式显示器100为主机，通过其他的标识符识别的头戴式显示器100为从机(项目E01～E0n)。
管理表格382可以预先被决定并被存储于外部存储装置380，也可以在针对信息处理装置300连接头戴式显示器100时，作为初始处理自动地生成。具体而言，例如，生成部360在检测到头戴式显示器100对第二输入输出部370的连接时，对该头戴式显示器100赋予唯一的标识符，并且从头戴式显示器100获取主从(主机/从机)的指定、使用者的职责以及影像规格。生成部360将赋予的标识符、主从的指定、获取的职责以及影像规格储存于管理表格382。生成部360能够通过每当针对第二输入输出部370连接头戴式显示器100a～100n时便进行上述那样的初始处理，从而自动地生成管理表格382。
管理表格382中的“装置间关系”除了如上述那样从头戴式显示器100获取之外，例如还可以利用以下的方法决定。
·根据从头戴式显示器100获取的职责而决定。例如，生成部360将执刀医生的头戴式显示器100作为主机，将执刀医生以外的头戴式显示器100作为从机。
·获取头戴式显示器100的当前位置信息，并根据各头戴式显示器的位置关系而决定。例如，生成部360获取头戴式显示器100的当前位置信息，并将处于最靠近手术台的中央的位置的头戴式显示器100作为主机，将其他的头戴式显示器100作为从机。
·基于头戴式显示器100的硬件、软件构成的差异而决定。例如，生成部360获取头戴式显示器100的型号，并将特定的型号的头戴式显示器100作为主机，将其他的头戴式显示器100作为从机。
管理表格382中的“职责”除了如上述那样从头戴式显示器100获取之外，例如，还可以利用以下的方法来决定。
·基于头戴式显示器100的当前位置信息而决定。例如，在信息处理装置300的外部存储装置380中预先存储包括手术室内的设备(手术台、医疗用装置500)的布局和手术室内的各职责的职员的站立位置的布局的布局信息。而且，生成部360获取头戴式显示器100的当前位置信息，并将获取的当前位置信息与布局信息进行比较，从而决定该头戴式显示器100的使用者的职责。
·基于头戴式显示器100的使用者的视野方向的图像(外景图像)而决定。生成部360从头戴式显示器100获取外景图像，并对外景图像进行图像识别，从而确定出使用者视觉识别的医疗用装置500的种类、手术室内的设备的种类、患者的身体的部分等。生成部360根据确定出的这些信息来决定该头戴式显示器100的使用者的职责。
在图2的不可视信息383(不可视信息存储部)存储有不显于物体的外观的信息亦即不可视信息。不可视信息是表示物体的构造的图像、文字信息，在物体为生物体的情况下，例如是CT图像、MRI图像、伦琴射线(X射线)图像、透视图像、超声波诊断图像、内视镜图像、热成像图像、以及这些图像所附带的文字信息。不可视信息预先被拍摄，并被存储于不可视信息383。
图2的手术的记录384是用于将信息处理装置300获取的医疗用装置信息、信息处理装置300生成的提示用信息以及获取或者生成的日期对应并记录的记录部。所谓信息处理装置300获取的医疗用装置信息指信息处理装置300从分别与第一输入输出部311～31n连接的多个医疗用装置501～50n获取的医疗用装置信息。另外，所谓信息处理装置300生成的提示用信息指生成部360在提示用信息生成处理中生成的所有的提示用信息。信息处理装置300获取及生成的信息的记录几乎能够看成为手术(检查、处理、治疗)的日志。因此，这样一来，能够在手术等结束之后，将手术的日志利用于手术内容的分析、研究、学术等。
在图2的动作模式385中存储有生成部360的提示用信息生成处理中的处理的模式(即生成部360的动作模式)。动作模式385的内容能够通过信息处理装置300具备的未图示的输入设备进行变更。另外，也能够根据来自头戴式显示器100的变更指示进行变更。
A－3.头部佩戴型显示装置的构成：
图5是功能性地表示头戴式显示器100a的构成的框图。以下，作为头戴式显示器100的构成的一个例子例示头戴式显示器100a并说明。头戴式显示器100a是使用者视觉识别虚像的同时也能够直接视觉识别外景的光学透射式的头部佩戴型显示装置，将从信息处理装置300获取的提示用信息作为虚像显示。头戴式显示器100a具备在佩戴于使用者的头部的状态下使使用者视觉识别虚像的图像显示部20和控制图像显示部20的控制部10。图像显示部20与控制部10经由电缆40进行各种信号的传输。
A－3－1.控制部的构成：
控制部10具备获取例如针对触摸板、方向键、脚踏开关、手势、话筒等输入设备的操作输入的输入信息获取部110、由ROM、硬盘等构成的存储部120、向头戴式显示器100a的各部供给电力的电源130、按照无线LAN、Bluetooth等规定的无线通信标准在与其他的设备之间进行无线通信的无线通信部132、当前位置获取部134、CPU140、用于连接信息处理装置300、各种外部设备OA的接口180、以及发送部(Tx)51、52，各部通过未图示的总线相互连接。当前位置获取部134通过接收来自GPS卫星的信号来检测头戴式显示器100a的使用者的当前位置，并生成表示使用者的当前位置的当前位置信息。此外，当前位置获取部134也可以接收多个基地局的电波，并通过判定接收的电波的强弱来生成当前位置信息。当前位置信息例如能够通过表示纬度经度的坐标实现。接口180与信息处理装置300的第一输入输出部310相同，能够依据各种通信标准。
CPU140通过读出储存于存储部120的计算机程序并执行，作为操作系统(ОS)150、图像处理部160、将声音信号供给至右耳机32的扬声器和左耳机34的扬声器的声音处理部170、以及显示控制部190发挥作用。图像处理部160基于经由作为提示用信息获取部的接口180、无线通信部132输入的提示用信息的影像信号生成信号。然后，图像处理部160经由发送部51、52、和电缆40将生成的信号供给至图像显示部20，从而控制图像显示部20中的显示。用于向图像显示部20供给的信号能够使用公知的模拟形式、数字形式。显示控制部190生成控制图像显示部20的右显示驱动部22以及左显示驱动部24的控制信号，并经由发送部51、52发送。所谓控制信号是用于独立地切换由右LCD控制部211进行的右LCD241的驱动开启/关闭、由右背光灯控制部201进行的右背光灯221的驱动开启/关闭、由左LCD控制部212进行的左LCD242的驱动开启/关闭、以及由左背光灯控制部202进行的左背光灯222的驱动开启/关闭的信号。
A－3－2.图像显示部的构成：
图像显示部20是佩戴于使用者的头部的佩戴体，在本实施方式中具有眼镜形状。图像显示部20包括生成表示图像的图像光并射出的右显示驱动部22以及左显示驱动部24、将图像光导向使用者的双眼的右光学像显示部26以及左光学像显示部28(图2)、作为图像获取部的照相机61、以及9轴传感器66。
右显示驱动部22包括接收部(Rx)53、作为光源发挥作用的右背光灯(BL)控制部201以及右背光灯(BL)221、作为显示元件发挥作用的右LCD(Liquid Crystal Display)控制部211以及右LCD241、以及右投射光学系统251。右背光灯控制部201基于经由接收部53输入的控制信号驱动右背光灯221。右背光灯221例如为LED、场致发光(EL)等发光体。右LCD控制部211基于输入的影像信号驱动右LCD241。右LCD241是将多个像素配置成矩阵状的透射式液晶面板。右LCD241通过驱动配置成矩阵状的各像素位置的液晶，使透过右LCD241的光的透过率变化，将从右背光灯221照射的照明光调制为表示图像的有效的图像光。右投射光学系统251由使从右LCD241射出的图像光成为平行状态的光束的准直透镜构成。左显示驱动部24具有与右显示驱动部22相同的构成，并与右显示驱动部22相同地动作。
右光学图像显示部26和左光学图像显示部28以使用者佩戴图像显示部20时位于使用者的左右的眼前的方式配置(图2)。右光学图像显示部26包括由透光性的树脂材料等形成的右导光板261。右导光板261使从右显示驱动部22输出的图像光沿规定的光路反射并导向使用者的右眼RE。右导光板261可以使用衍射光栅也，可以使用半透过反射膜。左光学图像显示部28具有与右光学图像显示部26相同的构成，并与右光学图像显示部26相同地动作。这样，导向头戴式显示器100a的使用者的双眼的图像光在使用者的视网膜成像，从而使用者能够视觉识别虚像。本实施方式的头戴式显示器100a的使用者对于视场中显示虚像的部分，能够同时观察虚像和虚像背后的外景。另外，对于视场中未显示虚像的部分，能够透过左右的光学图像显示部26、28直接观察外景。
9轴传感器66是检测加速度(3轴)、角速度(3轴)以及地磁(3轴)的运动传感器。9轴传感器66作为图像显示部20被佩戴于使用者的头部时检测头戴式显示器100a的使用者的头部的动作的动作检测部发挥作用。这里，所谓头部的动作包括头部的速度、加速度、角速度、方向以及方向的变化。此外，也将头部的方向称为“方位信息”。作为视野图像获取部的照相机61配置于与使用者佩戴图像显示部20时的使用者的眉间对应的位置。照相机61拍摄图像显示部20的表侧方向，换句话说，拍摄佩戴头戴式显示器100a的状态下的使用者的视野方向的外景(外部的景色)，并获取外景图像。照相机61是所谓的可见光照相机。本实施方式中的照相机61为单眼照相机，但也可以采用立体相机。
A－4.提示用信息生成处理：
图6是表示提示用信息生成处理的顺序的流程图。提示用信息生成处理是生成用于使头戴式显示器100显示的提示用信息的处理，信息处理装置300(图2)的生成部360执行该处理。提示用信息生成处理分为生成共用的提示用信息的第一模式和生成分别与头戴式显示器100a～100n对应的多个提示用信息的第二模式。另外，在第二模式中执行的处理能够大致区分为由步骤S120～S134构成的初始处理和由步骤S136～S142构成的独立处理。
生成部360通过参照存储于动作模式385的内容来确认生成部360的动作模式(步骤S100)。
A－4－1.第一模式：
在动作模式为“第一模式”的情况下(步骤S100：第一模式)，生成部360从管理表格382检索作为主机的头戴式显示器100(步骤S110)。具体而言，生成部360参照管理表格382，检索在“装置间关系”中存储成主机的项目，并获取检索出的项目的“标识符”。
生成部360从作为主机的头戴式显示器100获取信息源的选择请求(步骤S112)。具体而言，生成部360向在步骤S110中获取的具有标识符的头戴式显示器100请求发送信息源的选择请求。这里，所谓信息源的选择请求例如是指在以下a1～a6中列举的请求。
(a1)通过医疗用装置500获取的医疗用装置信息的阅览请求
(a2)与外部的施设的医生PR的通话请求
(a3)记录于院内数据库OD的数据的阅览请求
(a4)记录于不可视信息383的数据的阅览请求
(a5)记录于手术的记录384的数据的阅览请求
(a6)头戴式显示器100的使用者视觉识别显示部困难的医疗用装置500的医疗用装置信息的阅览请求
请求a1的情况下的信息源为医疗用装置500。同样地，请求a2的情况下的信息源为医生PR，请求a3的情况下的信息源为数据库OD，请求a4的情况下的信息源为不可视信息383，请求a5的情况下的信息源为手术的记录384，请求a6的情况下的信息源为使用者视觉识别显示部困难的医疗用装置500。这里，所谓“使用者视觉识别显示部困难的医疗用装置500”例如是以下的医疗用装置500的总称。
·医疗用装置500位于使用者的死角，所以不能够从使用者视觉识别显示部(显示器等)或者难以视觉识别显示部的医疗用装置500。
·医疗用装置500位于远离使用者的位置，所以不能从使用者视觉识别显示部或者难以视觉识别显示部的医疗用装置500。
·医疗用装置500虽然不在使用者的死角并且位于靠近使用者的位置，但使用者的视线与显示部不相对，所以不能够从使用者视觉识别显示部或者难以视觉识别显示部的医疗用装置500。
上述的请求a1～a6可以单独地发行也可以组合发行。但在本实施方式中，在信息源的获取请求中至少包含有请求a1。根据头戴式显示器100的使用者的操作适当地发行信息源的选择请求。
头戴式显示器100例如通过以下的顺序b1～b5，能够向信息处理装置300发送信息源的选择请求。
(b1)头戴式显示器100的使用者借助头戴式显示器100的输入设备(触摸板、方向键、脚踏开关、手势、话筒等)输入希望的信息源和用于确定信息源内的信息的信息。作为输入方法，若采用借助话筒的声音输入，则能够使在使用者难以用手操作的医疗现场中使用头戴式显示器100时的使用者的便利性大大地提高。此外，在请求a1、a6的情况下，不需要输入“用于确定信息源内的信息的信息”。
(b2)头戴式显示器100的输入信息获取部110获取与使用者的操作输入对应的信号，并向OS150发送。
(b3)头戴式显示器100的OS150生成信息源的选择请求。具体而言，请求a1的情况下，OS150生成包含头戴式显示器100的标识符和用于确定在顺序b1中指定的信息源的标识符的信息源的选择请求。请求a2～a5的情况下，OS150生成包含头戴式显示器100的标识符、用于确定在顺序b1中指定的信息源的标识符、以及用于确定信息源内的信息的信息的信息源的选择请求。请求a6的情况下，OS150生成包含头戴式显示器100的标识符、头戴式显示器100的当前位置信息、以及方位信息的信息源的选择请求。应予说明，该当前位置信息以及方位信息被用于确定请求a6的“使用者视觉识别显示部困难的医疗用装置500”。
(b4)头戴式显示器100的OS150向经由接口180、无线通信部132连接的信息处理装置300发送在顺序b3中生成的信息源的选择请求。
(b5)信息处理装置300的第二输入输出部370向生成部360发送接收到的信息源的选择请求。
在提示用信息生成处理(图6)的步骤S114中，生成部360获取在信息源的选择请求中包含的用于确定信息源的信息和用于确定信息源内的信息的信息。并且，生成部360作为用于确定信息源的信息，在插入当前位置信息以及方位信息的情况下，将该当前位置信息和方位信息与从其他的所有的医疗用装置500获取的位置信息比较，确定“使用者视觉识别显示部困难的医疗用装置500”。此外，在步骤S114中，生成部360也可以进一步对当前位置信息以及方位信息组合通过头戴式显示器100的9轴传感器66得到的使用者的头部的动作(头部的速度、加速度、角速度、方向、方向的变化)，来确定“使用者视觉识别显示部困难的医疗用装置500”。
生成部360访问被指定(被确定)的信息源，并获取被指定的信息。然后，生成部360使用获取的信息生成用于向与第二输入输出部370连接的所有的头戴式显示器100提供的共用的提示用信息。也将该共用的提示用信息称为“提示用信息PN＊”。生成部360使手术的记录384存储生成的提示用信息PN＊(步骤S116)。
图7是用于说明提示用信息的生成方法的说明图。在通过步骤S116获取的信息为单数的情况下，生成部360通过按照在共用影像规格381中规定的影像信号的规格转换在获取的信息CP1中包含的图像来生成提示用信息PN(图7(A))。在该转换时，特别是在获取的信息CP1中包含的图像的长宽比和在共用影像规格381中规定的图像的长宽比不同的情况下，生成部360维持在获取的信息CP1中包含的图像的长宽比地放大或者缩小图像。于是，在提示用信息PN的纵向或者横向产生没有图像的空白部分(在图中以斜线表示)。
生成部360对于空白部分执行以下的c1、c2的任意一个顺序。由此，空白部分在头戴式显示器100中作为虚像显示，能够抑制遮挡使用者的视野。
(c1)生成部360对提示用信息PN的空白部分插入黑色的虚拟点数据。
(c2)生成部360对提示用信息PN的空白部分，使用于切换头戴式显示器100的右显示驱动部22以及左显示驱动部24中的图像光生成的有效/无效的信号(Enable信号)为Lo值(表示无效的值)。
这样一来，提示用信息PN所包含的图像的长宽比不改变。优选使用信息处理装置300的医疗现场中的图像(例如，手术部位的静态图像以及动态图像、CT图像、MRI图像、伦琴射线图像等)严格地维持在医疗用装置500中拍摄的图像的长宽比，以不损害使用者视觉识别的图像的实际尺寸感觉。这一点若维持由步骤S116获取的信息CP1所包含的图像的长宽比，则在信息源为医疗用装置500的情况下，能够抑制通过医疗用装置500测定或者拍摄等的医疗用装置信息产生未预期的失真。此外，图7(B)示出了不维持获取的信息CP1所包含的图像的长宽比，而配合共用影像规格381所规定的图像的长宽比放大的结果，信息产生了失真的提示用信息PNx。
图8是用于说明提示用信息的生成方法的说明图。由步骤S116获取的信息为多个的情况下，生成部360生成配置了获取的所有的信息(在图10的例子中，为医疗用装置信息CP2、CP3)所包含的图像的第一图像。此时，生成部360也维持获取的信息所包含的图像的长宽比。另外，优选获取的信息所包含的图像配置于第一图像的端部。生成部360将生成的第一图像沿共用影像规格381所规定的影像信号的规格转换，从而生成提示用信息PN(图8)。此外，生成部360对第一图像中，未配置图像的空白部分(在图中以斜线表示)，执行上述的方法c1或者c2的任意一个顺序。由此，空白部分在头戴式显示器100中作为虚像显示，能够抑制遮挡使用者的视野。
图9是表示提示用信息的第一例的说明图。图9(A)是在信息源的选择请求中，指定了存储于不可视信息383的患者的伦琴射线图像(CP4)的情况下，由生成部360生成的提示用信息PN的一个例子。此外，在信息源的选择请求中，指定了能够获取不可视信息的医疗用装置500(伦琴射线图像拍摄装置)的情况下，也生成与图9(A)相同的提示用信息。
图9(B)是在信息源的选择请求中，指定了作为医疗用装置500的手术用计时器、作为医疗用装置500的脉搏计、以及作为医疗用装置500的生物体监视器的情况下，由生成部360生成的提示用信息PN的一个例子。在提示用信息PN的各端部配置有从手术用计时器获取的当前时刻CP5以及从手术开始的经过日期CP7、从脉搏计获取的脉搏的图像CP6、以及从生物体监视器获取的心率(HR)、血压(SYS/DIA)、以及动脉血氧饱和度(SpO2)的图像CP8。
图10是表示提示用信息的第二例的说明图。图10(A)是在信息源的选择请求中，指定了存储于院内数据库OD的学术书(CP9)、和存储于院内数据库OD的手术的顺序信息(CP10)的情况下，由生成部360生成的提示用信息PN的一个例子。图10(B)是在信息源的选择请求中，指定了作为医疗用装置500的用于拍摄手术部位的静态图像以及动态图像的可见光照相机、和与外部的施设的医生PR的通话的情况下，由生成部360生成的提示用信息PN的一个例子。
图11是表示提示用信息的第三例的说明图。图11是在信息源的选择请求中，指定了作为医疗用装置500的生物体监视器的情况下，由生成部360生成的提示用信息PN的一个例子。图11所示的生物体监视器不具备能够与第一输入输出部310连接的接口。但是，信息处理装置300既然构成为具备可见光照相机，所以若可见光照相机拍摄生物体监视器的画面(CP13)，则生成部360能够使用来自不具有能够与第一输入输出部310连接的接口的医疗用装置的医疗用装置信息，如图11那样，生成提示用信息PN。
此外，提示用信息PN的生成时，头戴式显示器100也可以在信息源的选择请求中，直接或者间接地指定各信息源中的信息的“配置”、“大小”、“透射比”等。这里所谓的“直接地指定”是指头戴式显示器100指定表示配置了各信息的坐标、大小、透射比的数值。另外，所谓的“间接地指定”例如是指头戴式显示器100从预先准备了使外景优先的“外景优先模式”、和使图像优先的“图像优先模式”等的显示模式中指定所希望的模式。例如，外景优先模式的情况下，如图8所示，生成部360在端部较小地配置信息，生成不妨碍画面中央的使用者的视野的提示用信息PN。图像优先模式的情况下，如图9(A)所示，生成部360生成在画面中央较大地配置了信息的提示用信息PN。
在提示用信息生成处理(图6)的步骤S118中，生成部360向所有的第二输入输出部370(第二输入输出部371～第二输入输出部37n)发送生成的提示用信息PN＊。第二输入输出部371将接收的提示用信息PN＊所包含的图像沿头戴式显示器100a的影像信号的规格转换。此外，此时，第二输入输出部371也可以参照管理表格382的“影像规格”。影像规格的转换后，第二输入输出部371对头戴式显示器100a发送提示用信息PN＊。同样地，第二输入输出部372～第二输入输出部37n分别将接收的提示用信息PN＊所包含的图像沿头戴式显示器100b～100n的影像信号的规格转换，并分别将转换后的提示用信息PN＊发送给头戴式显示器100b～100n。
图12是表示在多个头戴式显示器100a和100b中，提示用信息PN＊作为虚像显示的情况的说明图。在经由接口180或者无线通信部132接收从第二输入输出部371发送的提示用信息PN＊的头戴式显示器100a中，进行图像处理部160的上述的显示处理。其结果，导至头戴式显示器100a的使用者的双眼的图像光在使用者的视网膜成像，从而头戴式显示器100a的使用者能够在视场VR视觉识别提示用信息PN＊的虚像VI。另外，使用者能够透过右光学图像显示部26以及左光学图像显示部28，直接视觉识别躺卧在手术台上的患者的情况(外景SC)。同样地，在接收了从第二输入输出部372发送的提示用信息PN＊的头戴式显示器100b中，进行图像处理部160的上述的显示处理，头戴式显示器100b的使用者能够在视场VR视觉识别提示用信息PN＊的虚像VI。在图12的例子中，在头戴式显示器100a的使用者视觉识别的虚像VI(PN＊)、和头戴式显示器100b的使用者视觉识别的虚像VI(PN＊)均显示有从用于拍摄手术部位的静态图像以及动态图像的医疗用装置502获取的医疗用装置信息CP。
图13是表示在位于不同的位置的多个头戴式显示器100a和100b中，提示用信息PN＊作为虚像显示的情况的说明图。如图13所示，信息处理装置300的第二输入输出部370(第二输入输出部371～第二输入输出部37n)也可以进行使提示用信息所包含的图像的朝向、大小与外景SC所包含的对象物体的朝向、大小一致的拟合处理。所谓的对象物体，在医疗现场中，例如为患者的身体、身体的一部分。以下，例示第二输入输出部371，对拟合处理进行说明。在提示用信息生成处理(图6)的步骤S118中，第二输入输出部371在将提示用信息PN＊所包含的图像沿头戴式显示器100a的影像信号的规格转换之后，进行以下的顺序d1～d5所示的处理。
(d1)第二输入输出部371对头戴式显示器100a指示使用了照相机61的外景图像的拍摄，并获取拍摄的外景图像。
(d2)第二输入输出部371使用如下述1、2那样的图像识别的方法，提取外景图像所包含的对象物体的特征。此外，方法1和2也可以组合。
1.检测对象物体的边缘(特征)。
2.检测预先附加给对象物体的标记(特征)。此外，附加给物体的标记能够使用各种种类的标记。例如，能够使用窄带、贴纸、万能笔、激光打标机，呢绒带扣(注册商标)等。另外，附加给对象物体的标记的数目任意。
(d3)第二输入输出部371通过对接收的提示用信息所包含的图像进行图像识别，提取对象物体的特征。此时，第二输入输出部371能够使用与上述1、2相同的图像识别的方法。
(d4)第二输入输出部371以在顺序d2提取的外景图像的特征、和在顺序d3提取的提示用信息的特征的位置一致的方式对提示用信息PN＊所包含的图像CP进行修正。具体而言，在顺序d2、d3中使用了方法1的情况下，第二输入输出部371以外景图像的边缘与提示用信息的边缘的、轮廓、特征部位的位置一致的方式对提示用信息PN＊所包含的图像CP进行放大、缩小、旋转、反转、修剪、形变的赋予、噪声的除去的至少任意一个加工。这里，所谓的特征部位在对象物体为生物体的情况，为切开的皮肤的轮廓、内脏的轮廓、关节、四肢的前端、血管、骨等。另一方面，在顺序d2、d3中使用了方法2的情况下，第二输入输出部371以外景图像的标记和提示用信息的标记的位置一致的方式对提示用信息PN＊所包含的图像CP进行放大、缩小、旋转、反转、修剪、形变的赋予、噪声的除去的至少任意一个加工。
这样一来，第二输入输出部370(第二输入输出部371～第二输入输出部37n)通过对头戴式显示器100(头部佩戴型显示装置)的使用者的视野方向的图像进行图像识别提取外景所包含的物体的特征，并基于提取的特征，修正由生成部360生成的提示用信息。因此，在提示用信息例如包括CT图像、MRI图像、伦琴射线图像等不可视信息的情况下，能够使不可视信息与外景所包含的物体(例如，患者的身体等)一致。其结果，能够使头戴式显示器100的使用者的便利性提高。另外，上述的拟合处理在与特定的头戴式显示器100连接的第二输入输出部370中执行，所以不对与其他的头戴式显示器100连接的第二输入输出部370带来处理负担。并且，头戴式显示器100能够接收实施了拟合处理之后的提示用信息，所以头戴式显示器100的图像处理部160直接显示接收的提示用信息即可。其结果，能够使头戴式显示器100的构成简单。
如以上，生成部360的动作模式为“第一模式”的情况下，生成部360生成至少包含由管理表格382的装置间关系为“主机”的头戴式显示器100(即，特定的图像显示装置)的使用者所选择的医疗用装置信息的共用的提示用信息PN＊。第二输入输出部370(提供部)对分别与第二输入输出部371～37n连接的多个头戴式显示器100a～100n(图像显示装置)分别输出生成的共用的提示用信息PN＊。其结果，信息处理装置300能够基于特定的头戴式显示器100的使用者的选择控制多个头戴式显示器100a～100n中的显示。
A－4－2.第二模式(初始处理)：
在提示用信息生成处理(图6)的步骤S100中，动作模式为“第二模式”的情况下(步骤S100：第二模式)，生成部360将在提示用信息生成处理中使用的变量i设为“1”(步骤S120)。其后，生成部360参照管理表格382的第i个项目(步骤S122)。生成部360获取储存于管理表格382的第i个项目的“标识符”、“职责”(步骤S124)。
此外，以下，也将具有在步骤S124中获取的标识符的头戴式显示器100称为“头戴式显示器100i”。头戴式显示器100i是指在初始处理中，处于当前处理中的头戴式显示器100。例如，变量i＝1的情况下，头戴式显示器100i是指储存于管理表格382的第一个项目E01的、标识符为1的执刀医生的头戴式显示器100a。
在提示用信息生成处理(图6)的步骤S126中，生成部360确定与头戴式显示器100i的使用者的职责对应的医疗用装置500。具体而言，生成部360使用在步骤S124获取的“职责”，确定进行该职责时，头戴式显示器100i的使用者应该检查的医疗用装置500。这按照在医疗现场的惯例确定。例如，若职责为执刀医生，则获取CT图像、伦琴射线图像等不可视信息的装置作为医疗用装置500确定，若职责为麻醉科医生，则血压计、心电图仪、气道内压计、换气量计、二氧化碳描记图、脉搏血氧仪作为医疗用装置500确定。此外，信息处理装置300也可以预先将使职责、和根据职责需要的医疗用装置500相关联的表格存储于外部存储装置380。
确定医疗用装置500后，在步骤S128中生成部360使用第一输入输出部311～31n获取的医疗用装置501～50n的医疗用装置信息中，从在步骤S126确定的医疗用装置500获取的医疗用装置信息，生成用于向头戴式显示器100i发送的提示用信息PNi。此外，生成部360生成提示用信息的方法如图7以及图8所说明的。其后，生成部360将生成的提示用信息PNi存储于手术的记录384。
在步骤S130中，生成部360将在步骤S124生成的提示用信息PNi发送给连接了头戴式显示器100i的第二输入输出部370i。第二输入输出部370i将接收的提示用信息PNi所包含的图像沿头戴式显示器100i的影像信号的规格转换。另外，此时，第二输入输出部370i也可以执行拟合处理。详细如步骤S118所说明的。
图14是表示执行了两次步骤S122～S134的结果，在多个头戴式显示器100a和100b中，提示用信息PNi作为虚像显示的情况的说明图。在经由接口180或者无线通信部132接收了提示用信息PNi的头戴式显示器100i中，进行图像处理部160的上述的显示处理。其结果，头戴式显示器100i的使用者能够视觉识别包含了从与自身的职责对应的医疗用装置500获取的医疗用装置信息的提示用信息PNi的虚像。在图14的例子中，在头戴式显示器100a的使用者视觉识别的虚像VI(i)显示有从执刀医生应该检查的医疗用装置500获取的医疗用装置信息CP4。另外，在头戴式显示器100b的使用者视觉识别的虚像VI(i)显示有从第一助手应该检查的医疗用装置500获取的医疗用装置信息CP2、和CP3。
在提示用信息生成处理(图6)的步骤S132中，生成部360使变量i自加1。其后，生成部360判定变量i是否在n以上(步骤S134)。变量i未满n(步骤S134：否)，即、意味着与第二输入输出部370连接的头戴式显示器100中，存在初始处理未结束的头戴式显示器100。因此，生成部360将处理移至步骤S122，继续初始处理。另一方面，变量i在n以上(步骤S134：是)意味着所有的头戴式显示器100的初始处理均结束。因此，生成部360将处理移至步骤S136的独立处理。
如以上，生成部360的动作模式为“第二模式”的情况下，生成部360反复执行初始处理的步骤S122～S134，从而生成至少包括从与多个头戴式显示器100i(100a～100n)的使用者的各个的职责对应的医疗用装置500获取的医疗用装置信息的、多个提示用信息PNi，第二输入输出部370(提供部)对分别与第二输入输出部371～37n连接的多个头戴式显示器100a～100n(图像显示装置)依次输出生成的多个提示用信息PNi。其结果，信息处理装置300能够根据各头戴式显示器100的使用者的职责独立地控制多个头戴式显示器100a～100n中的显示，能够提高头戴式显示器100的使用者的便利性。
A－4－3.第二模式(独立处理)：
在独立处理中，生成部360基于来自头戴式显示器100的请求，生成包含从请求的医疗用装置500获取的医疗用装置信息、从请求的医疗用装置500以外的信息源获取的信息的提示用信息。
在提示用信息生成处理(图6)的步骤S136中，生成部360判定是否从头戴式显示器100接收了信息源的选择请求。所谓的信息源的选择请求与步骤S112中说明的请求a1～a6相同。未接收信息源的选择请求的情况下(步骤S136：无)，生成部360将处理移至步骤S136，等待信息源的选择请求的接收。
另一方面，接收了信息源的选择请求的情况下(步骤S136：有)，生成部360获取信息源的选择请求所包含的头戴式显示器100i的标识符、用于确定信息源的信息、以及用于确定信息源内的信息的信息(步骤S128)。并且，生成部360在作为用于确定信息源的信息而插入了当前位置信息以及方位信息的情况下，将该当前位置信息和方位信息与从其他的所有的医疗用装置500获取的位置信息比较，确定“使用者による显示部的视觉识别が困难な医疗用装置500”。这里，生成部360与步骤S114相同，也可以对当前位置信息以及方位信息组合头戴式显示器100使用者的头部的动作。此外，所谓的头戴式显示器100i是指作为信息源的选择请求的发行源的头戴式显示器100(即，当前处理中的头戴式显示器100)。
在步骤S140中，生成部360访问指定的信息源，获取指定的信息。然后，生成部360使用获取的信息，生成头戴式显示器100i用的提示用信息PNi，并将生成的提示用信息PNi存储于手术的记录384。此外，生成部360生成提示用信息的方法如图7以及图8所说明的。其后，生成部360将生成的提示用信息PNi存储于手术的记录384。
在步骤S142中，生成部360将在步骤S140生成的提示用信息PNi发送给连接了头戴式显示器100i的第二输入输出部370i。第二输入输出部370i将接收的提示用信息PNi所包含的图像沿头戴式显示器100i的影像信号的规格转换。另外，此时，第二输入输出部370i也可以执行拟合处理。详细如步骤S118所说明的。
在经由接口180或者无线通信部132接收了提示用信息PNi的头戴式显示器100i中，进行图像处理部160的上述的显示处理。其结果，发送了信息源的选择请求的头戴式显示器100i的使用者能够视觉识别包含从信息源的选择请求中指定的信息源获取的信息的提示用信息PNi的虚像。
如以上，生成部360的动作模式为“第二模式”的情况下，生成部360通过执行独立处理，生成至少包含分别由多个头戴式显示器100i(100a～100n)的使用者选择的医疗用装置信息的、多个提示用信息PNi。第二输入输出部370(提供部)对分别与第二输入输出部371～37n连接的多个头戴式显示器100a～100n(图像显示装置)依次输出生成的多个提示用信息PNi。其结果，信息处理装置300能够基于各头戴式显示器100的使用者的选择独立地控制多个头戴式显示器100a～100n中的显示。
如以上，根据第一实施方式的信息处理装置300，生成部360使用由第一输入输出部310(获取部、第一输入输出部311～第一输入输出部31n)获取的多个医疗用装置信息生成提示用信息PN，所以能够使与信息处理装置300的第一输入输出部310连接的多种多样的医疗用装置500(医疗用装置501～50n)的信息(医疗用装置信息)一元化。另外，第二输入输出部370(提供部)对多个头戴式显示器100a～100n(图像显示装置)输出生成的提示用信息PN，所以能够控制多个头戴式显示器100a～100n中的显示。其结果，能够实现能够使多种多样的医疗用装置500的信息一元化，并控制多个头戴式显示器100a～100n中的显示的信息处理装置300。
并且，生成部360具有根据一元化的医疗用装置信息，生成对多个头戴式显示器100a～100n(图像显示装置)共用的共用的提示用信息PN＊的第一模式、和生成分别与多个头戴式显示器100a～100n对应的多个提示用信息PNi的第二模式。因此，信息处理装置300通过分开使用生成部360中的这些模式，也能够控制多个头戴式显示器100a～100n中的显示。
如以上说明的，根据第一实施方式的信息处理系统1000，能够实现能够使多种多样的医疗用装置500(医疗用装置501～50n)的信息(医疗用装置信息)在信息处理装置300一元化，并控制多个头戴式显示器100a～100n(头部佩戴型显示装置)中的显示的信息处理系统1000。
A－5.附加的处理：
此外，在提示用信息生成处理(图6)中，也可以进一步执行以下那样的附加的处理。附加的处理可以单独地附加，也可以组合地附加。
A－5－1.附加的处理1：
在附加的处理1中，信息处理装置300进行针对提示用信息的颜色转换处理。具体而言，从生成部360接收了提示用信息的第二输入输出部370使头戴式显示器100的照相机61获取外景图像。然后，第二输入输出部370根据获取的外景图像的亮度、对比度、彩度、色相，实施使提示用信息所包含的图像的视觉辨认度提高的颜色转换处理。例如，第二输入输出部370能够进行将提示用信息所包含的图像的色相转换为外景图像的色相的补色的颜色转换处理。
这样，根据附加的处理1，能够使对于头戴式显示器100的使用者的虚像VI的视觉辨认度进一步提高。
A－5－2.附加的处理2：
在附加的处理2中，信息处理装置300实现抑制随着头戴式显示器100的使用者的头部的较小的抖动而带来的虚像VI的摇动的、所谓的稳定器功能。具体而言，从生成部360接收了提示用信息的第二输入输出部370每隔规定的日期，反复在上述顺序d1～d4说明的拟合处理、和提示用信息生成处理的步骤S118、S130、S142的提示用信息的发送。由此，每隔规定的日期，重复外景图像的拍摄、和提示用信息所包含的图像的修正以及显示，所以能够使追随使用者的头部的随日期的动作的提示用信息作为虚像VI显示。
然而，随着头戴式显示器100的使用者的头部的微小的动作、起伏而提示用信息屡次变化反而带来引起使用者的眼疲劳、妨碍使用者的集中力的问题。因此，第二输入输出部370也可以在上述顺序d1与顺序d2之间进一步进行以下的顺序e1、e2所示的处理。
(e1)第二输入输出部370求出在顺序c1拍摄的外景图像与在上一次执行的拟合处理的顺序d1拍摄的外景图像之间的RGB直方图的变化量。
(e2)第二输入输出部370在顺序f1所求出的变化量超过规定的阈值的情况下，继续顺序d2以下的处理。
这样，根据附加的处理2，第二输入输出部370在上一次执行的拟合处理中的外景图像与当前执行中的拟合处理中的外景图像之间的变化量较小的情况下，即、头戴式显示器100的使用者的头部的动作微小的情况下，不进行提示用信息所包含的图像的修正。其结果，能够抑制随着头戴式显示器100的使用者的头部的微小的动作、起伏而提示用信息屡次变化，所以能够抑制使用者的眼疲劳、集中力降低。此外，也可以构成为能够由使用者指定稳定器功能的开启/关闭。
A－5－3.附加的处理3：
在附加的处理3中，信息处理装置300根据头戴式显示器100的图像显示部20与处于使用者的视野方向的物体之间的距离，变更提示用信息所包含的图像作为虚像VI显示的大小。具体而言，从生成部360接收了提示用信息的第二输入输出部370能够代替在上述顺序d1～d4说明的拟合处理，而进行以下的顺序f1～f3所示的处理。此外，实施本处理的情况下，构成为头戴式显示器100还具备测距传感器。测距传感器是用于利用反射光获取处于使用者的视野方向的物体与图像显示部20之间的距离的传感器，例如，能够配置于照相机61的附近。
(f1)第二输入输出部370定期地从头戴式显示器100获取测距传感器的测定值。
(f2)第二输入输出部370根据获取的测距传感器的测定值决定放大率(或者缩小率)。
(f3)第二输入输出部370使用决定的放大、缩小率，对提示用信息所包含的图像进行放大、缩小、旋转、反转、修剪、形变的赋予、噪声的除去的至少任意一个加工。
这样，根据附加的处理3，第二输入输出部370能够根据处于头戴式显示器100的使用者的视野方向的物体与图像显示部20之间的距离，变更提示用信息作为虚像VI显示的大小。因此，能够提高头戴式显示器100的使用者的便利性。
B.第二实施方式：
在本发明的第二实施方式中，对生成部360能够生成结合信息的构成进行说明。以下，仅对具有与第一实施方式不同的构成以及动作的部分进行说明。此外，在图中对与第一实施方式相同的构成部分附加与前面所说明的第一实施方式相同的符号，并省略其详细的说明。
B－1.信息处理系统的构成：
第二实施方式的信息处理系统1000a的概要构成与图1所示的第一实施方式几乎相同。但是，第二实施方式的信息处理系统1000a代替信息处理装置300而具备信息处理装置300a。
B－2.信息处理装置的构成：
图15是功能性地表示第二实施方式的信息处理装置300a的构成的框图。与图2所示的第一实施方式的不同在于代替生成部360而具备生成部360a的点。生成部360a在动作模式为“第二模式”的情况下，与提示用信息生成处理平行地执行下述的结合信息生成处理。结合信息生成处理是生成结合了与第二输入输出部370连接的所有的头戴式显示器100(头戴式显示器100a～100n)的提示用信息的结合信息的处理。
B－3.头部佩戴型显示装置的构成：
第二实施方式的头戴式显示器100的概要构成与图5所示的第一实施方式相同。
B－4.提示用信息生成处理：
第二实施方式的提示用信息生成处理的顺序与图6所示的第一实施方式相同。
B－5.附加的处理：
此外，在第二实施方式的提示用信息生成处理中，也可以执行在“A－5－1.附加的处理1”～“A－5－3.附加的处理3”中说明的与第一实施方式相同的附加的处理。
B－6.结合信息生成处理：
图16是表示结合信息生成处理的顺序的流程图。结合信息生成处理是生成用于使头戴式显示器100显示的结合信息的处理，由信息处理装置300a(图15)的生成部360a来执行。结合信息生成处理在提示用信息生成处理(图6)的步骤S100中，在动作模式为“第二模式”的情况下(步骤S100：第二模式)，与图6所说明的初始处理和独立处理平行地执行。
生成部360a判定是否从头戴式显示器100接收了结合信息的请求(步骤S200)。这里，所谓的结合信息的请求是请求结合信息的发送的主旨的请求，与请求源的头戴式显示器100的标识符一起发送。未接收到结合信息的请求的情况下(步骤S200：无)，生成部360a将处理移至步骤S200，等待结合信息的请求的接收。
另一方面，接收了结合信息的请求的情况下(步骤S200：有)，生成部360a获取结合信息的请求所包含的、请求源的头戴式显示器100i的标识符(步骤S202)。这里，所谓的头戴式显示器100i是指作为结合信息的请求的发行源的头戴式显示器100(即，当前处理中的头戴式显示器100)。
在步骤S204中，生成部360a访问手术的记录384。而且，生成部360a对与第二输入输出部370连接的所有的头戴式显示器100(头戴式显示器100a～100n)，分别获取生成部360a生成的最新的提示用信息。此外，为最新的提示用信息能够根据在手术的记录384中，与提示用信息相关联地存储的“生成的日期”来判断。此外，这里，也可以将请求源的头戴式显示器100i的提示用信息从获取对象除去。生成部360a结合获取的多个提示用信息，生成结合信息。
图17是用于说明结合信息的生成方法的说明图。生成部360a对获取的多个提示用信息，进行以下的顺序g1～g4所示的处理。
(g1)生成部360a根据获取的提示用信息的总数、和共用影像规格381所存储的分辨率，决定提示用信息的缩小率。
(g2)生成部360a以在顺序g1决定的缩小率缩小第i个提示用信息(提示用信息PNi)所包含的图像。
(g3)生成部360a将在顺序g2缩小的图像分层配置在不与其他的图像重叠的位置并覆盖保存，作为结合信息JN。
(g4)生成部360a使变量i自加1，反复上述顺序g2、g3直至“i≥获取的提示用信息的总数”成立。
(g5)生成部360a对结合信息JN中，未配置提示用信息的图像的空白部分(在图中以斜线表示)，执行与上述c1、c2所说明的相同的顺序，进行虚拟点数据的插入，或者Enable信号的调整。
(g6)生成部360a将生成的结合信息JN所包含的图像沿共用影像规格381所规定的影像信号的规格转换。
图17的例子例示了如上述那样生成的、六个提示用信息PN1～PN6分别配置在不重叠的位置的结合信息JN。
在结合信息生成处理(图16)的步骤S206中，生成部360a将在步骤S204生成的结合信息JN发送给连接了头戴式显示器100i的第二输入输出部370i，之后将处理移至步骤S200。第二输入输出部370i将接收的提示用信息PNi所包含的图像沿头戴式显示器100i的影像信号的规格转换。
图18是表示在头戴式显示器100i中，结合信息JN作为虚像显示的情况的说明图。在经由接口180或者无线通信部132接收了从第二输入输出部370i发送的结合信息JN的头戴式显示器100i中，进行图像处理部160的上述的显示处理。其结果，导向头戴式显示器100i的使用者的双眼的图像光在使用者的视网膜成像，从而头戴式显示器100i的使用者能够在视场VR视觉识别结合信息JN的虚像VI。在图18的例子中，在头戴式显示器100g的使用者的视场VR中，显示表示结合了头戴式显示器100a～100f用的提示用信息PN1～6的结合信息JN的虚像VI。此外，在图18中，由于篇幅的限制，省略提示用信息PN3～6的图示。
如以上，第二实施方式的生成部360a生成结合了在提示用信息生成处理生成的多个提示用信息PNi的结合信息JN，且第二输入输出部370(提供部)对发行了结合信息的请求的特定的头戴式显示器100i(图像显示装置)输出生成的结合信息JN。其结果，特定的头戴式显示器100i的使用者能够知晓在与信息处理装置300连接的多个头戴式显示器100a～100n(图像显示装置)中，显示何种提示用信息PN，能够提高特定的头戴式显示器100i的使用者的便利性。
C.第三实施方式：
在本发明的第三实施方式中，对能够对头戴式显示器的利用者通知预先决定的一系列的工序，并基于医疗用装置信息，实时地变更通知的工序的构成进行说明。以下，仅对具有与第一实施方式不同的构成以及动作的部分进行说明。此外，在图中对与第一实施方式相同的构成部分附加与前面说明的第一实施方式相同的符号，并省略其详细的说明。
C－1.信息处理系统的构成：
第三实施方式中的信息处理系统1000b的概要构成与图1所示的第一实施方式几乎相同。但是，第二实施方式的信息处理系统1000b代替信息处理装置300而具备信息处理装置300b。
C－2.信息处理装置的构成：
图19是功能性地表示第三实施方式的信息处理装置300b的构成的框图。与图2所示的第一实施方式的不同在于代替CPU350而具备CPU350b的点、和代替外部存储装置380而具备外部存储装置380b的点。CPU350b代替生成部360而具备生成部360b，并且，具备工序管理部365。
生成部360b执行的提示用信息生成处理的处理内容的一部分与图6所示的第一实施方式不同。工序管理部365与生成部360执行的提示用信息生成处理平行地执行下述的工序管理处理。工序管理处理是将通知给头戴式显示器100的利用者的一系列的工序发送给生成部360b，并与根据医疗用装置信息推断的患者的状态对应地变更该工序的处理。
外部存储装置380b除了第一实施方式所说明的各信息，还具备工序信息386、和紧急对应信息387。
图20是示意地表示工序信息386的一个例子的说明图。本实施方式的工序信息386是针对各种的手术，分别预先存储一系列的工序的表格(或者由多个表格构成的数据库)。在工序管理处理中，工序信息386被参照以对头戴式显示器100的利用者通知工序。此外，在图20中，为了方便图示，仅例示一个手术，另外，省略具体的手术名称、手术方式名、工序的内容的图示。在“手术名称”储存有用于确定手术的名称。在“手术方式”储存有用于确定手术方式的名称。也有手术存在多个不同的手术方式的情况，所以组合手术名称和手术方式确定工序。在“工序”有顺序地储存有由手术名称以及手术方式确定的一系列的工序的内容。在手术中，也有根据患者的症状、状态而执行的工序的一部分不同的情况，所以在图20的例子中，工序存在分支。此外，在提示用信息生成处理(图6)中，实现生成多个提示用信息的第二模式的情况下，构成为在工序信息386，具备对于各种手术，按照职责，分别存储了一系列的工序的表格等。
图21是表示紧急对应信息387的一个例子的说明图。本实施方式的紧急对应信息387预先相关联地存储手术方式、条件、症状、以及紧急对应。紧急对应信息387在工序管理处理中被参照用于变更向头戴式显示器100的利用者通知的工序。在“手术方式”储存有用于确定手术方式的名称。手术方式用于与工序信息386的“手术方式”相对应。在“条件”储存有针对医疗用装置信息的判断条件。在“症状”储存有表示在医疗用装置信息满足存储于“条件”的条件的情况下，推断患者所产生的症状的名称。在“紧急对应”储存有用于消除或者缓和该症状的措施。
C－3.头部佩戴型显示装置的构成：
第三实施方式的头戴式显示器100的概要构成与图5所示的第一实施方式相同。
C－4.提示用信息生成处理：
第三实施方式的提示用信息生成处理的顺序除了以下所说明的点之外，与图6所示的第一实施方式相同。对为成共用的提示用信息的第一模式的情况下的提示用信息生成处理进行说明。在图6的步骤S114中生成部360b从头戴式显示器100接收“(a7)手术顺序的通知请求”作为信息源的选择请求。其后，生成部360b对工序管理部365请求工序管理处理的执行。此外，请求a7可以单独地发行，也可以与第一实施方式的请求a1～a6组合。在步骤S116中生成部360b从工序管理部365接收工序，并使用接收的信息生成提示用信息PN＊。
对生成多个提示用信息的第二模式的情况下的提示用信息生成处理进行说明。在图6的步骤S126中生成部360b将头戴式显示器100i的使用者的职责发送给工序管理部365。其后，生成部360b对工序管理部365发送使用者的职责，并且请求工序管理处理的执行。在步骤S128中生成部360b从工序管理部365接收与头戴式显示器100i的使用者的职责对应的工序，并使用接收的信息生成提示用信息PNi。
C－5.附加的处理：
此外，在第三实施方式的提示用信息生成处理中，也可以执行“A－5－1.附加的处理1”～“A－5－3.附加的处理3”中说明的与第一实施方式相同的附加的处理。
C－6.工序管理处理：
图22是表示工序管理处理的顺序的流程图。工序管理处理是将向头戴式显示器100的利用者通知的工序发送给生成部360b，并且与根据医疗用装置信息推断的患者的状态对应地变更该工序的处理。
在步骤S300中工序管理部365参照工序信息386，获取预先决定的一系列的工序。这里，所谓的“预先决定的一系列的工序”是指存储于工序信息386的手术、手术方式、工序的组合中，由执刀医生、其他的医生等预先决定的一组一系列的工序(图20，实线框L1)。此外，预先决定的一系列的工序也可以在存储于工序信息386的一系列的工序的中途结束(图20，虚线框L2)。例如，实际实施手术，并优选在观察患者的情况的同时选择最佳的工序的情况下等，预定虚线框L2那样的工序。
此外，提示用信息生成处理为第一模式的情况下(换句话说，仅从生成部360b指示了工序管理处理的执行的情况下)，且工序信息386存储了与使用者的职责对应的工序的情况下，在步骤S300中工序管理部365获取管理表格382(图4)的装置间关系为“主机”的头戴式显示器100的使用者的职责用的“预先决定的一系列的工序”。另一方面，提示用信息生成处理为第二模式的情况下(换句话说，从生成部360指示了使用者的职责和工序管理处理的执行的情况下)，在步骤S300中工序管理部365从工序信息386，获取接收的使用者的职责用的“预先决定的一系列的工序”。
在步骤S302中工序管理部365从在步骤S300获取的一系列的工序获取一个工序，并发送给生成部360b。接收了一个工序的生成部360b经由提示用信息生成处理，生成用于对该工序进行通知的提示用信息PN＊或者提示用信息PNi，并发送给头戴式显示器100。
在步骤S304中工序管理部365检查患者的状态。具体而言，工序管理部365经由第一输入输出部310(获取部，第一输入输出部311～第一输入输出部31n)，获取由测定患者的状态的医疗用装置测定的所有的医疗用装置信息。
在步骤S306中工序管理部365判定患者是否产生紧急情况。具体而言，工序管理部365针对在步骤S304接收的所有的医疗用装置信息，判定医疗用装置信息是否满足存储于紧急对应信息387的“条件”。所有的医疗用装置信息均不满足条件的情况下(步骤S306：否)，工序管理部365将处理移至步骤S314。另一方面，至少一个医疗用装置信息满足条件的情况下(步骤S306：是)，工序管理部365将处理移至步骤S308。
在步骤S308中工序管理部365参照紧急对应信息387，获取与患者的状态对应的紧急对应。具体而言，工序管理部365参照紧急对应信息387中，医疗用装置信息满足了“条件”的项目，并参照该项目的“紧急对应”。
在步骤S310中工序管理部365将紧急对应的内容发送给生成部360b。这在提示用信息生成处理为第一模式的情况下与为第二模式的情况下均相同。接收了紧急对应的生成部360b经由提示用信息生成处理，生成用于对紧急对应进行通知的提示用信息PN＊或者提示用信息PNi，并发送给头戴式显示器100。
在步骤S312中工序管理部365检查患者的状态。详细与步骤S304相同。此外，优选在步骤S310与步骤S312之间空出假定通过紧急对应患者的状态稳定的程度的日期。
在步骤S314中工序管理部365判定当前通知中的一系列的工序是否适当。具体而言，工序管理部365对在步骤S312接收的所有的医疗用装置信息，判定医疗用装置信息是否满足存储于紧急对应信息387的“条件”。所有的医疗用装置信息条件均不满足的情况下(步骤S314：是)，工序管理部365推断当前通知中的一系列的工序适当，并将处理移至步骤S302。其后，在步骤S302中工序管理部365从在步骤S300获取的一系列的工序获取下一个工序，发送给生成部360b，并检查患者的状态，反复上述的处理。
这样，工序管理部365反复获取多个医疗用装置信息，并基于最新的多个医疗用装置信息，变更向生成部发送的一系列的工序。因此，信息处理装置300b能够基于从多个医疗用装置获取的信息亦即多个医疗用装置信息，实时地变更多个头戴式显示器100a～100n所显示的一系列的工序。
另一方面，在至少一个医疗用装置信息满足条件的情况下(步骤S306：是)，工序管理部365推断为当前通知中的一系列的工序不适当，并将处理移至步骤S316。在步骤S316中，工序管理部365将患者的状态不好，所以推断为当前通知中的一系列的工序不适当的主旨的通知发送给生成部360b。这在提示用信息生成处理为第一模式的情况下与为第二模式的情况下均相同。接收到了不适当的主旨的通知的生成部360b经由提示用信息生成处理生成用于实施不适当的主旨的通知的提示用信息PN＊或者提示用信息PNi，并发送给头戴式显示器100。其后，工序管理部365中止以后的工序的发送，使处理结束。
此外，在步骤S310中工序管理部365通过向生成部360b发送与获取的医疗用装置信息对应的紧急对应，对“预先决定的一系列的工序”“追加新的工序”。但是，在步骤S310中工序管理部365也可以实施针对“预先决定的一系列的工序”的“一部分的工序的删除”、“一部分的工序的置换”。这例如能够通过对紧急对应信息387的“紧急对应”预先存储应该删除的工序、应该置换的工序来实现。在本实施方式中，将步骤S310所例示的新的工序的追加(或者，一部分的工序的删除、一部分的工序的置换)与步骤S316所例示的工序的发送的中止总称为“一系列的工序的变更”。
如以上，根据第三实施方式的信息处理装置300b，工序管理部365将表示预先决定的一系列的工序的信息发送给生成部360b，且生成部360b生成包含接收的工序的提示用信息PN＊、PNi。因此，信息处理装置300b能够使预先决定的一系列的工序显示于与信息处理装置300b连接的多个头戴式显示器100a～100n(图像显示装置)。另外，工序管理部365基于由第一输入输出部311～31n(获取部)获取的多个医疗用装置信息，变更发送的一系列的工序。因此，信息处理装置300b能够基于从多个医疗用装置获取的信息亦即多个医疗用装置信息，变更显示于多个头戴式显示器100a～100n的一系列的工序。其结果，能够提供能够基于医疗用装置信息灵活地变更预先决定的一系列的工序，并且，将这样的工序通知给头戴式显示器100a～100n的使用者的信息处理装置300b。
并且，根据第三实施方式的信息处理装置300b，工序管理部365在第一模式中，将用于管理表格382的装置间关系为“主机”的头戴式显示器100(即，特定的图像显示装置)的使用者的一系列的工序发送给生成部360b。因此，信息处理装置300b能够在第一模式中，使多个头戴式显示器100a～100n(图像显示装置)显示共用的“用于特定的图像显示装置的使用者的一系列的工序”。另外，工序管理部365在第二模式中，将与多个头戴式显示器100a～100n的使用者的各个的职责对应的一系列的工序发送给生成部360b。因此，信息处理装置300b能够在第二模式中，使多个头戴式显示器100a～100n独立地显示“与图像显示装置的使用者的各个的职责对应的一系列的工序”。
D.变形例：
在上述实施方式中，也可以将由硬件实现的构成的一部分置换为软件，相反地，也可以将由软件实现的构成的一部分置换为硬件。另外，也能够进行以下那样的变形。
·变形例1：
在上述实施方式中，例示了信息处理系统的构成。但是，信息处理系统的构成能够在不脱离本发明的主旨的范围内任意地决定，例如，能够进行构成信息处理系统的各装置的追加、删除、转换等。另外，能够进行构成信息处理系统的装置的网络构成的变更。
例如，信息处理装置的管理表格、不可视信息、手术的记录也可以储存于与院内LAN连接的数据库OD。另外，数据库OD并不限定于院内，也可以设于经由网络INT的外部(例如设于院外的云服务器等)。
·变形例2：
在上述实施方式中，例示了信息处理装置的构成。但是，信息处理装置的构成能够在不脱离本发明的主旨的范围内任意地决定，例如，能够进行各构成部的追加、删除、转换等。
例如，信息处理装置也可以具备触摸面板、输入按钮、键盘、鼠标、话筒、照相机等各种输入设备。同样地，信息处理装置也可以具备显示器、指示器、用于输出与手术有关的简易的日志的打印机等各种输出设备。
例如，以生成部、第二输入输出部(提供部)的各功能通过CPU将储存于ROM、硬盘的计算机程序在RAM展开并执行来实现为例进行了记载。但是，这些功能也可以使用为了实现该功能而设计的ASIC(Application Specific Integrated Circuit：专用集成电路)来实现。
例如，也可以在信息处理装置中，构成为具备显示器。其后，信息处理装置的生成部使在结合信息生成处理生成的结合信息显示于信息处理装置的显示器。这样一来，在信息处理装置的附近的利用者能够一看即把握所有的头戴式显示器(图像显示装置)的显示内容，而便利。
·变形例3：
在上述实施方式中，例示了头戴式显示器的构成。但是，头戴式显示器的构成能够在不脱离本发明的主旨的范围内任意地决定，例如，能够进行各构成部的追加、删除、转换等。例如，控制部和图像显示部也可以通过经由无线LAN、红外线通信、Bluetooth等无线的信号传输路的连接来连接。另外，例如，作为电源，也可以采用一次电池、燃料电池、太阳能电池、热电池等。
上述实施方式中的针对控制部、和图像显示部的构成要素的分配仅是一个例子，能够采用各种方式。例如，也可以为以下那样的方式。(i)控制部搭载CPU、存储器等处理功能，图像显示部仅搭载显示功能的方式，(ii)控制部与图像显示部双方搭载CPU、存储器等处理功能的方式，(iii)使控制部与图像显示部一体化的方式(例如，在图像显示部包含控制部作为眼镜型的可穿戴式计算机发挥作用的方式)，(iv)代替控制部而使用智能手机、便携式游戏机的方式，(v)通过使控制部和图像显示部构成为能够进行无线通信并且进行无线供电，来废除电缆的方式。
例如，输入信息获取部也可以使用上述实施方式多例示的以外的各种方法，获取来自使用者的操作输入。例如，也可以获取脚踏开关(由使用者的脚进行操作的开关)的操作输入。另外，例如，也可以在图像显示部设置红外线传感器等视线检测部，之后检测使用者的视线，并获取与视线的移动相对应的指令的操作输入。另外，例如，也可以使用照相机检测使用者的手势，并获取与手势相对应的指令的操作输入。手势检测时，能够将使用者的指尖、在使用者的手佩戴的戒指、使用者的手所操作的医疗器具等作为用于动作检测的标记。若能够获取脚踏开关、视线的操作输入，则输入信息获取部即使在使用者难以放手的医疗现场，也能够容易地获取来自使用者的操作输入。
例如，头戴式显示器以双眼式的透射式头戴式显示器为例进行了说明，但也可以为单眼式的头戴式显示器。另外，也可以构成为在使用者佩戴了头戴式显示器的状态下遮断外景的透过的非透射式头戴式显示器。在上述实施方式中，以如眼镜那样佩戴图像显示部的头戴式显示器为例进行了说明，但例如，也可以为采用了如帽子那样佩戴的类型的图像显示部等其他的形状的图像显示部的头戴式显示器。另外，耳机可以采用挂耳式、头戴式，也可以省略。并且，例如，也可以构成为搭载于汽车、飞机等车辆的平视显示器(HUD，Head-Up Display)。另外，也可以构成为内置于安全帽等身体防护具的头戴式显示器。
图23是表示变形例的头戴式显示器的外观的构成的说明图。图23(A)的例子的情况下，图像显示部20a代替右光学图像显示部26而具备右光学图像显示部26a，代替左光学图像显示部28而具备左光学图像显示部28a。右光学图像显示部26a与第一实施方式的光学部件相比较小地形成，配置于头戴式显示器的佩戴时的使用者的右眼的斜上方。同样地，左光学图像显示部28a与第一实施方式的光学部件相比较小地形成，配置于头戴式显示器的佩戴时的使用者的左眼的斜上方。图23(B)的例子的情况下，图像显示部20b代替右光学图像显示部26而具备右光学图像显示部26b，代替左光学图像显示部28而具备左光学图像显示部28b。右光学图像显示部26b与第一实施方式的光学部件相比较小地形成，配置于头戴式显示器的佩戴时的使用者的右眼的斜下方。左光学图像显示部28b与第一实施方式的光学部件相比较小地形成，配置于头戴式显示器的佩戴时的使用者的左眼的斜下方。这样，光学图像显示部配置在使用者的眼睛的附近即可。另外，形成光学图像显示部的光学部件的大小也任意，也能够实现光学图像显示部仅覆盖使用者的眼睛的一部分的方式，也就是光学图像显示部未完全地覆盖使用者的眼睛的方式的头戴式显示器。
例如，在上述实施方式中，显示驱动部使用背光灯、背光灯控制部、LCD、LCD控制部、以及投射光学系统构成。但是，上述的方式仅是例示。显示驱动部也可以与这些构成部一起，或者代替这些构成部，而具备用于实现其他的方式的构成部。例如，显示驱动部也可以使用前照方式、反射方式射出图像光。另外，例如，显示驱动部也可以构成为具备有机EL(有机场致发光，Organic Electro-Luminescence)的显示器、有机EL控制部、以及投射光学系统。另外，例如，显示驱动部也能够代替LCD而使用数字微镜设备等。另外，例如，也能够对激光视网膜投影型的头部佩戴型显示装置应用本发明。
·变形例4：
在上述实施方式中，示出了提示用信息生成处理的一个例子。但是，提示用信息生成处理的顺序仅是一个例子，能够进行各种变形。例如，也可以省略一部分的步骤，也可以进一步追加其他的步骤。另外，也可以变更执行的步骤的顺序。
例如，上述实施方式所说明的不可视信息假定为二维地表现的图像。但是，也可以连接能够拍摄三维的不可视图像的装置作为医疗用装置。另外，存储于外部存储装置的不可视信息也可以是由使用拍摄设备拍摄的多个图像生成的三维模型。使用三维地表现的不可视信息的情况下，生成部在提示用信息的生成之前，进行三维模型的渲染。然后，使用渲染后的图像，生成提示用信息。这样一来，能够从各种方向视觉识别对象物体的外观所显现的信息。
例如，在第一模式的提示用信息生成处理中，生成部也可以生成多个共用的提示用信息。具体而言，例如，也可以将与第二输入输出部连接的头戴式显示器分割为m(m是1以上的整数)个组。之后，生成部以在第一组生成共用的提示用信息···在第m的组生成共用的提示用信息的的方式在各组生成多个共用的提示用信息。
例如，在第二模式的提示用信息生成处理(初始处理)中，对于与第二输入输出部连接的多个头戴式显示器，使用变量i串行地进行初始处理。但是，初始处理也可以关于与第二输入输出部连接的多个头戴式显示器并列地执行。
例如，第二模式的提示用信息生成处理中，也可以省略初始处理、和独立处理中的任意一个。另外，初始处理也可以不在开始了第二模式的提示用信息生成处理之后执行。也可以根据来自使用者、其他的应用的请求，适当地执行与初始处理相同的处理。
例如，也可以第一模式以及第二模式共同地在接收了提示用信息的头戴式显示器中，根据使用者的请求，放大、缩小提示用信息所包含的图像作为虚像VI显示的大小。同样地，头戴式显示器也可以根据使用者的请求，使提示用信息所包含的图像非显示，也可以针对提示用信息所包含的图像进行颜色转换。另外，作为来自使用者的请求的输入方法，若采用经由话筒的声音输入，则能够使在使用者使用手进行操作困难的医疗现场使用了头戴式显示器的情况下的、使用者的便利性较大地提高。
·变形例5：
在上述实施方式中，示出了结合信息生成处理的一个例子。但是，结合信息生成处理的顺序仅是一个例子，能够进行各种变形。例如，也可以省略一部分的步骤，也可以进一步追加其他的步骤。另外，也可以变更执行的步骤的顺序。
例如，生成部也可以使生成的结合信息包含提示用信息的缩小图像以外的、其他的信息。例如，也可以使其包含以下列举的信息。
·用于识别供给该提示用信息的头戴式显示器的字符串、图像
·表示供给该提示用信息的头戴式显示器的使用者的职位的字符串、图像
·医疗用装置的医疗用装置信息
·记录于院内数据库的数据
·记录于不可视信息的数据
·记录于不可视信息的数据
·显示部的视觉识别困难的医疗用装置的医疗用装置信息
例如，也可以生成部仅能够从特定的头戴式显示器接受结合信息的请求。所谓的特定的头戴式显示器例如是作为主机的头戴式显示器、使用者担任特定的职责的头戴式显示器等。
·变形例6：
在上述实施方式中，示出了工序管理处理的一个例子。但是，工序管理处理的顺序仅是一个例子，能够进行各种变形。例如，也可以省略一部分的步骤，也可以进一步追加其他的步骤。另外，也可以变更执行的步骤的顺序。
例如，也可以构成为代替步骤S310所例示的新的工序的追加(或者，一部分的工序的删除、一部分的工序的置换)，或者，与新的工序的追加、删除、置换一起，实现与外部的施设的医生PR(图19)的通话，从而能够提供医生PR的补充意见。
例如，也可以省略步骤S310所例示的新的工序的追加(或者，一部分的工序的删除、一部分的工序的置换)、和步骤S316所例示的工序的发送的中止的任意一个。
例如，“预先决定的一系列的工序”由执刀医生、其他的医生等决定。工序管理部也可以构成为对头戴式显示器的使用者提出应该成为这样的“预先决定的一系列的工序”的候补的一系列的工序(必要的话提出多组的一系列的工序)。该情况下，例如工序管理部能够通过基于预先获取的医疗用装置信息检索工序信息，来导出候补。
例如，工序管理处理也可以仅能够与提示用信息生成处理的第一模式和第二模式的任意一个对应。
·变形例7：
在上述实施方式中，示出了共用影像规格、管理表格、工序信息、以及紧急对应信息的一个例子。但是，这些信息的详细内容仅是一个例子，能够进行各种变更。例如，能够进行字段(项目)的追加、删除、变更。另外，管理表格也可以分割为多个表格并标准化。
例如，也可以替换用于相互识别头戴式显示器的标识符，或者在管理表格与标识符一起存储头戴式显示器的使用者的声纹。这样一来，信息处理装置能够基于经由话筒获取的使用者的声纹来获取该使用者使用的头戴式显示器的装置间关系、职责、影像规格，并执行提示用信息生成处理。
例如，在管理表格也可以存储有与头戴式显示器的标识符相对应，并且用于头戴式显示器与信息处理装置的通信的信息(例如头戴式显示器的IP地址、MAC地址、加密密钥等)。另外，也可以替换表示影像信号的规格的图案的“影像规格”，在管理表格存储在各头戴式显示器中采用的实际的影像规格自身(即，与存储于共用影像规格的项目相同的项目)。
例如，管理表格按照头戴式显示器的标识符存储装置间关系、职责、以及影像规格。但是，也可以对每个使用者分配“用户ID”，并按照该用户ID存储装置间关系、职责、以及影像规格。
例如预先存储于紧急对应信息的“紧急对应”是一种对应，但也可以在紧急对应存储有多种对应。而且，工序管理部也可以将该多种对应通知给图像显示装置的使用者。这样一来，图像显示装置的使用者能够根据自身的经验、情况从多种紧急对应选择认为最佳的紧急对应。其结果，能够进一步提高信息处理装置的便利性。
·变形例8：
本发明并不限定于上述的实施方式、实施例、变形例，在不脱离其主旨的范围内能够以各种构成实现。例如，为了解决上述的课题的一部分或者全部，或者为了实现上述的效果的一部分或者全部，能够适当地替换、组合与发明的概要栏所记载的各方式中的技术特征对应的实施方式、实施例、变形例中的技术特征。另外，若该技术特征在本说明书中未作为必需的技术特征进行说明，则能够适当地删除。
符号说明：10…控制部，20…图像显示部，22…右显示驱动部，24…左显示驱动部，26…右光学图像显示部，28…左光学图像显示部，32…右耳机，34…左耳机，40…电缆，51…发送部，52…发送部，53…接收部，54…接收部，61…照相机(图像获取部)，110…输入信息获取部，100…头戴式显示器(图像显示装置、头部佩戴型显示装置)，120…存储部，130…电源，140…CPU，160…图像处理部，170…声音处理部，180…接口，190…显示控制部，201…右背光灯控制部，202…左背光灯控制部，211…右LCD控制部，212…左LCD控制部，221…右背光灯，222…左背光灯，241…右LCD，242…左LCD，251…右投射光学系统，252…左投射光学系统，261…右导光板，262…左导光板，300…信息处理装置，310…第一输入输出部，311～31n…第一输入输出部(获取部)，320…ROM，330…RAM，340…通信接口，350…CPU，360…生成部，365…工序管理部，370…第二输入输出部(提供部)，371～37n…第二输入输出部，380…外部存储装置，381…共用影像规格，382…管理表格(职责存储部、装置间关系存储部)，383…不可视信息，384…手术的记录，385…动作模式，386…工序信息，387…紧急对应信息，500…医疗用装置，501～50n…医疗用装置，700…显示器，1000…信息处理系统，OA…外部设备，PC…个人计算机，OD…数据库，VI…虚像，PN…提示用信息，JN…结合信息，VR…视场，PR…医生，MP1…位置，UP1…当前位置，CP1…医疗用装置信息。

Claims (29)

1.一种信息处理装置，其特征在于，具备：
获取部，获取从多个医疗用装置获取的信息亦即多个医疗用装置信息；
生成部，生成包含由所述获取部获取的所述多个医疗用装置信息的至少一部分的提示用信息；以及
提供部，对多个图像显示装置输出生成的所述提示用信息，
所述生成部具有：生成对所述多个图像显示装置共用的所述提示用信息的第一模式；以及生成分别与所述多个图像显示装置对应的多个所述提示用信息的第二模式，
在所述第一模式中，基于来自所述多个图像显示装置中作为主机发挥功能的一个图像显示装置的请求来生成共用的所述提示用信息，并对所述多个图像显示装置进行输出，
在所述第二模式中，根据从所述多个图像显示装置获取到的各图像显示装置的使用者的职责来生成各图像显示装置用的所述提示用信息，并对所述多个图像显示装置进行输出，
在所述信息处理装置连接有透射式的头部佩戴型显示装置，所述头部佩戴型显示装置作为所述图像显示装置能够使使用者同时视觉识别虚像和外景。
2.根据权利要求1所述的信息处理装置，其特征在于，
所述生成部在所述第一模式中生成至少包含由特定的所述图像显示装置的使用者选择出的所述医疗用装置信息的、共用的所述提示用信息。
3.根据权利要求2所述的信息处理装置，其特征在于，还具备：
装置间关系存储部，其相关联地存储用于相互识别所述多个图像显示装置的信息和表示该图像显示装置是否为所述特定的图像显示装置的信息，
所述生成部在所述第一模式中使用所述装置间关系存储部来识别所述特定的图像显示装置。
4.根据权利要求1～3中任意一项所述的信息处理装置，其特征在于，
所述生成部在所述第二模式中生成至少包含分别由所述多个图像显示装置的使用者选择出的所述医疗用装置信息的、所述多个提示用信息。
5.根据权利要求1～3中任意一项所述的信息处理装置，其特征在于，
所述生成部在所述第二模式中生成至少包含从与所述多个图像显示装置的使用者各自的职责对应的所述医疗用装置获取的所述医疗用装置信息的、所述多个提示用信息。
6.根据权利要求5所述的信息处理装置，其特征在于，还具备：
职责存储部，其相关联地存储用于相互识别所述多个图像显示装置的信息和该图像显示装置的使用者的职责，
所述生成部在所述第二模式中使用所述职责存储部来识别所述使用者的职责。
7.根据权利要求2或3所述的信息处理装置，其特征在于，
所述生成部在所述第二模式中还生成结合了生成的所述多个提示用信息的结合信息，
所述提供部对所述特定的图像显示装置输出生成的所述结合信息。
8.根据权利要求1所述的信息处理装置，其特征在于，
所述提示用信息包括通过放大或者缩小而被操作的医疗用装置信息。
9.根据权利要求8所述的信息处理装置，其特征在于，
以确定所述提示用信息中的对象物体的边缘的方式来操作所述医疗用装置信息。
10.根据权利要求8所述的信息处理装置，其特征在于，
以确定所述提示用信息中的对象物体的一个或多个标记的方式来操作所述医疗用装置信息。
11.根据权利要求9或10所述的信息处理装置，其特征在于，
还被配置成进行旋转、形变的赋予或除去所述提示用信息中的噪声。
12.根据权利要求8所述的信息处理装置，其特征在于，
在操作所述医疗用装置信息时保持所述医疗用装置信息中包含的图像的长宽比。
13.根据权利要求1所述的信息处理装置，其特征在于，
使从所述提示用信息的图像中提取出的所述特征与从所述视野方向的图像中提取出的所述特征拟合的处理通过检测所述对象物体的边缘并使用所述边缘而进行。
14.根据权利要求13所述的信息处理装置，其特征在于，在所述对象物体是生物体的情况下，所述边缘的检测使用被切开的皮肤的轮廓、内脏的轮廓、关节、四肢的前端、血管以及骨头中的至少一个而进行。
15.根据权利要求1所述的信息处理装置，其特征在于，
使从所述提示用信息的图像中提取出的所述特征与从所述视野方向的图像中提取出的所述特征拟合的处理通过检测预先附加给所述对象物体的标记并使用所述标记而进行。
16.根据权利要求1～3中任意一项所述的信息处理装置，其特征在于，还具备：
工序管理部，其为将表示要引导所述图像显示装置的使用者的工序的信息发送给所述生成部的工序管理部，并基于由所述获取部获取的所述多个医疗用装置信息来变更发送的所述工序，
所述生成部生成包含接收到的所述工序的所述提示用信息。
17.根据权利要求16所述的信息处理装置，其特征在于，
所述工序管理部反复获取所述多个医疗用装置信息，并基于最新的所述多个医疗用装置信息来变更发送给所述生成部的所述工序。
18.根据权利要求16所述的信息处理装置，其特征在于，
所述工序管理部将表示由多个所述工序构成且为预先决定的一系列的工序的信息发送给所述生成部，
并通过对所述一系列的工序实施新的工序的追加、所述一系列的工序中的至少一部分的工序的删除、以及所述一系列的工序中的至少一部分的工序的置换中的、至少任意一个来变更所述工序。
19.根据权利要求16所述的信息处理装置，其特征在于，
所述工序管理部将由多个所述工序构成且为预先决定的一系列的工序按每一个工序依次发送给所述生成部，
并通过中止所述一个工序的发送来变更所述工序。
20.根据引用权利要求3的权利要求16所述的信息处理装置，其特征在于，
所述工序管理部在所述第一模式中将用于所述特定的所述图像显示装置的使用者的所述工序发送给所述生成部。
21.根据引用权利要求2的权利要求16所述的信息处理装置，其特征在于，
所述工序管理部在所述第二模式中将与所述使用者各自的职责对应的所述工序发送给所述生成部。
22.根据权利要求1所述的信息处理装置，其特征在于，
通过操作所述提示用信息的亮度、对比度、色度和/或颜色来对所述提示用信息执行颜色转换处理。
23.根据权利要求1所述的信息处理装置，其特征在于，
计算在预定时间间隔期间所述提示用信息的变化量，
将所述变化量与预定阈值进行比较，以及
如果所述变化量大于所述预定阈值，则更新输出到所述图像显示装置的所生成的提示用信息。
24.根据权利要求1所述的信息处理装置，其特征在于，
确定所述图像显示装置与对象物体之间的距离，并且基于所述距离来操作所述医疗用装置信息。
25.根据权利要求1所述的信息处理装置，其特征在于，
输出到所述图像显示装置的所生成的提示用信息是三维图像。
26.根据权利要求1所述的信息处理装置，其特征在于，
使用者能够在所述图像显示装置上看到所生成的提示用信息和外景。
27.根据引用权利要求1所述的信息处理装置，其特征在于，
使用者能够在所述图像显示装置上看到所生成的提示用信息但是不能够看到外景。
28.一种信息处理方法，其特征在于，具备：
(a)获取从多个医疗用装置获取的信息亦即多个医疗用装置信息的工序；
(b)生成包含获取的所述多个医疗用装置信息的至少一部分的提示用信息的工序；以及
(c)对多个图像显示装置输出生成的所述提示用信息的工序，
在工序(b)中执行生成对所述多个图像显示装置共用的所述提示用信息的第一工序、以及生成分别与所述多个图像显示装置对应的多个所述提示用信息的第二工序中的任意一个工序，
在所述第一工序中，基于来自所述多个图像显示装置中作为主机发挥功能的一个图像显示装置的请求来生成共用的所述提示用信息，并对所述多个图像显示装置进行输出，
在所述第二工序中，根据从所述多个图像显示装置获取到的各图像显示装置的使用者的职责来生成各图像显示装置用的所述提示用信息，并对所述多个图像显示装置进行输出，
在工序(c)中，对作为所述图像显示装置能够使使用者同时视觉识别虚像和外景的透射式的头部佩戴型显示装置输出生成的所述提示用信息。
29.一种信息处理系统，其特征在于，具备：
多个医疗用装置；
信息处理装置；以及
多个头部佩戴型显示装置，所述多个头部佩戴型显示装置为使用者能够视觉识别虚像和外景的头部佩戴型显示装置，
所述信息处理装置具备：
获取部，其获取从所述多个医疗用装置获取的信息亦即多个医疗用装置信息；
生成部，其生成包含由所述获取部获取的所述多个医疗用装置信息的至少一部分的提示用信息；以及
提供部，其对所述多个头部佩戴型显示装置输出生成的所述提示用信息，
所述头部佩戴型显示装置具备：
提示用信息获取部，其从所述信息处理装置获取所述提示用信息；以及
图像显示部，其将获取的所述提示用信息作为所述虚像使所述头部佩戴型显示装置的使用者视觉识别，
所述生成部具有：生成对所述多个头部佩戴型显示装置共用的所述提示用信息的第一模式；以及生成分别与所述多个头部佩戴型显示装置对应的多个所述提示用信息的第二模式，
在所述第一模式中，基于来自所述多个图像显示装置中作为主机发挥功能的一个图像显示装置的请求来生成共用的所述提示用信息，并对所述多个图像显示装置进行输出，
在所述第二模式中，根据从所述多个图像显示装置获取到的各图像显示装置的使用者的职责来生成各图像显示装置用的所述提示用信息，并对所述多个图像显示装置进行输出。
CN201811229131.1A 2013-07-16 2014-07-16 信息处理装置、信息处理方法以及信息处理系统 Pending CN109637622A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013-147420 2013-07-16
JP2013147420A JP2015019679A (ja) 2013-07-16 2013-07-16 情報処理装置、情報処理方法、および、情報処理システム
JP2014-067406 2014-03-28
JP2014067406A JP6311393B2 (ja) 2014-03-28 2014-03-28 情報処理装置、情報処理方法、および、情報処理システム
CN201410340206.9A CN104298344B (zh) 2013-07-16 2014-07-16 信息处理装置、信息处理方法以及信息处理系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201410340206.9A Division CN104298344B (zh) 2013-07-16 2014-07-16 信息处理装置、信息处理方法以及信息处理系统

Publications (1)

Publication Number Publication Date
CN109637622A true CN109637622A (zh) 2019-04-16

Family

ID=51399746

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410340206.9A Active CN104298344B (zh) 2013-07-16 2014-07-16 信息处理装置、信息处理方法以及信息处理系统
CN201811229131.1A Pending CN109637622A (zh) 2013-07-16 2014-07-16 信息处理装置、信息处理方法以及信息处理系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201410340206.9A Active CN104298344B (zh) 2013-07-16 2014-07-16 信息处理装置、信息处理方法以及信息处理系统

Country Status (7)

Country Link
US (3) US10042598B2 (zh)
EP (1) EP3022672A2 (zh)
KR (1) KR20160033721A (zh)
CN (2) CN104298344B (zh)
RU (1) RU2642941C2 (zh)
TW (1) TW201505603A (zh)
WO (1) WO2015008470A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111863179A (zh) * 2019-04-24 2020-10-30 佳能医疗系统株式会社 医用信息处理装置、医用信息处理方法及程序

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11896350B2 (en) * 2009-05-20 2024-02-13 Sotera Wireless, Inc. Cable system for generating signals for detecting motion and measuring vital signs
AU2011336647B2 (en) * 2010-12-02 2015-02-12 Ultradent Products, Inc. System and method of viewing and tracking stereoscopic video images
WO2013180773A1 (en) 2012-06-01 2013-12-05 Ultradent Products, Inc. Stereoscopic video imaging
TW201505603A (zh) * 2013-07-16 2015-02-16 Seiko Epson Corp 資訊處理裝置、資訊處理方法及資訊處理系統
JP6264087B2 (ja) * 2014-02-21 2018-01-24 ソニー株式会社 表示制御装置、表示装置および表示制御システム
US11547499B2 (en) 2014-04-04 2023-01-10 Surgical Theater, Inc. Dynamic and interactive navigation in a surgical environment
JP6574939B2 (ja) * 2014-09-16 2019-09-18 ソニー株式会社 表示制御装置、表示制御方法、表示制御システムおよび頭部装着ディスプレイ
US9541998B2 (en) * 2015-01-29 2017-01-10 Samsung Electronics Co., Ltd. Electronic system with gaze alignment mechanism and method of operation thereof
US10146998B2 (en) * 2015-02-13 2018-12-04 Halliburton Energy Services, Inc. Distributing information using role-specific augmented reality devices
MX2017009878A (es) * 2015-02-13 2017-11-15 Halliburton Energy Services Inc Uso de realidad aumentada para recopilar, procesar y compartir informacion.
WO2016187002A1 (en) * 2015-05-15 2016-11-24 Mako Surgical Corp. Systems and methods for providing guidance for a robotic medical procedure
CN104881128B (zh) * 2015-06-18 2018-01-16 北京国承万通信息科技有限公司 基于实物在虚拟现实场景中显示目标图像的方法及系统
CN104950450A (zh) * 2015-07-21 2015-09-30 吴高全 一种医疗智能眼镜及其应用方法
WO2017066373A1 (en) 2015-10-14 2017-04-20 Surgical Theater LLC Augmented reality surgical navigation
US10052170B2 (en) * 2015-12-18 2018-08-21 MediLux Capitol Holdings, S.A.R.L. Mixed reality imaging system, apparatus and surgical suite
WO2017114834A1 (en) * 2015-12-29 2017-07-06 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
US10069697B2 (en) * 2016-01-29 2018-09-04 Microsoft Technology Licensing, Llc Routing actions to user devices based on a user graph
US11278369B2 (en) 2016-04-28 2022-03-22 Sony Corporation Control device, control method, and surgical system
JP2018038503A (ja) * 2016-09-06 2018-03-15 ソニー株式会社 医療用画像処理装置、画像処理方法、及びプログラム
EP3512452A1 (en) * 2016-09-16 2019-07-24 Zimmer, Inc. Augmented reality surgical technique guidance
JP6828465B2 (ja) * 2017-01-30 2021-02-10 セイコーエプソン株式会社 内視鏡操作支援システム
CA3055941C (en) 2017-03-13 2023-06-20 Zimmer, Inc. Augmented reality diagnosis guidance
US11219422B2 (en) * 2017-03-14 2022-01-11 Canon Medical Systems Corporation Image displaying system, image processing apparatus and x-ray imaging system
WO2018175971A1 (en) * 2017-03-24 2018-09-27 Surgical Theater LLC System and method for training and collaborating in a virtual environment
US9892564B1 (en) * 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
US11432877B2 (en) 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
US10861236B2 (en) 2017-09-08 2020-12-08 Surgical Theater, Inc. Dual mode augmented reality surgical system and method
WO2019176556A1 (ja) * 2018-03-13 2019-09-19 ソニー株式会社 医療機器管理システム及び医療機器管理方法
US20190333274A1 (en) * 2018-04-27 2019-10-31 International Business Machines Corporation Augmented Reality Presentation Associated with a Patient's Medical Condition and/or Treatment
TWI678181B (zh) * 2018-04-30 2019-12-01 長庚大學 手術導引系統
KR102270170B1 (ko) * 2018-11-14 2021-06-25 임승준 증강 현실을 이용한 수술 보조 장치
CN109862378B (zh) * 2018-12-29 2021-05-18 广州中智达信科技有限公司 一种手术记录方法
CN111885554B (zh) * 2020-04-24 2023-09-12 珠海市杰理科技股份有限公司 基于双无线蓝牙通信的链路切换方法及相关设备
CN111599427B (zh) * 2020-05-14 2023-03-31 郑州大学第一附属医院 一种一元化诊断的推荐方法、装置、电子设备及存储介质
CN112235560B (zh) * 2020-09-22 2023-01-24 上海视天科技有限公司 一种vr眼镜
US11748924B2 (en) * 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US11992372B2 (en) 2020-10-02 2024-05-28 Cilag Gmbh International Cooperative surgical displays
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
US11877897B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
CN112263331B (zh) * 2020-10-30 2022-04-05 上海初云开锐管理咨询有限公司 一种体内医疗器械视觉呈现系统及方法
US20220257332A1 (en) * 2021-02-17 2022-08-18 Derek Duong Augmented reality dental surgery
US11944508B1 (en) 2022-01-13 2024-04-02 Altair Innovations, LLC Augmented reality surgical assistance system

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2425075A1 (en) * 2000-10-05 2002-04-11 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US20020082498A1 (en) * 2000-10-05 2002-06-27 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US20050206583A1 (en) * 1996-10-02 2005-09-22 Lemelson Jerome H Selectively controllable heads-up display system
US20060074711A1 (en) * 2004-10-01 2006-04-06 Prakash Mahesh System and method for handling multiple radiology applications and workflows
CN1770063A (zh) * 2004-10-01 2006-05-10 通用电气公司 信息显示、凝视探测和用户控制权优先化的方法和设备
JP2007293721A (ja) * 2006-04-26 2007-11-08 Shimadzu Corp 巡回点検支援システム
CN101138522A (zh) * 2006-09-05 2008-03-12 株式会社东芝 医疗信息系统
CN102006818A (zh) * 2008-01-24 2011-04-06 救生外科系统公司 胆总管手术成像系统
CN102668556A (zh) * 2010-12-17 2012-09-12 松下电器产业株式会社 医疗支援装置，医疗支援方法以及医疗支援系统
WO2012165013A1 (ja) * 2011-05-31 2012-12-06 ブラザー工業株式会社 ヘッドマウントディスプレイ連携装置、ヘッドマウントディスプレイの連携プログラム、及びヘッドマウントディスプレイ
JP2013110662A (ja) * 2011-11-24 2013-06-06 Seiko Epson Corp 装置、頭部装着型表示装置、装置の制御方法および頭部装着型表示装置の制御方法
CN104298344A (zh) * 2013-07-16 2015-01-21 精工爱普生株式会社 信息处理装置、信息处理方法以及信息处理系统

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001104331A (ja) 1999-10-06 2001-04-17 Olympus Optical Co Ltd 医療用顔面装着型映像表示装置
US7478071B2 (en) * 2001-06-11 2009-01-13 Hrl Laboratories, Llc Method and apparatus for determining and assessing information to be collected based on information-theoretic measures
JP2005208823A (ja) 2004-01-21 2005-08-04 Seiko Epson Corp プロジェクタのネットワークシステム
US7367809B2 (en) * 2004-03-26 2008-05-06 Atsushi Takahashi Three-dimensional digital entity mesoscope system equipped with three-dimensional visual instruction functions
KR100606785B1 (ko) * 2004-07-07 2006-08-01 엘지전자 주식회사 네트워크를 통한 원격 멀티미디어 서비스 제공시스템에서의 동영상 및 이미지 데이터의 동기화 방법
US20060044399A1 (en) * 2004-09-01 2006-03-02 Eastman Kodak Company Control system for an image capture device
DE102004046430A1 (de) * 2004-09-24 2006-04-06 Siemens Ag System zur visuellen Situations-bedingten Echtzeit-basierten Unterstützung eines Chirurgen und Echtzeit-basierter Dokumentation und Archivierung der vom Chirurgen während der Operation visuell wahrgenommenen Unterstützungs-basierten Eindrücke
US8099296B2 (en) * 2004-10-01 2012-01-17 General Electric Company System and method for rules-based context management in a medical environment
US7501995B2 (en) * 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
US8040361B2 (en) * 2005-04-11 2011-10-18 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
WO2007060794A1 (ja) * 2005-11-22 2007-05-31 Matsushita Electric Industrial Co., Ltd. 撮影装置、携帯端末装置、撮影方法、およびプログラム
JP4773522B2 (ja) 2006-08-30 2011-09-14 東京特殊電線株式会社 画像表示装置および画像表示プログラム
JP4762160B2 (ja) 2007-01-16 2011-08-31 株式会社日立メディコ 手術支援システム
JP4917930B2 (ja) 2007-03-16 2012-04-18 株式会社リコー 画面共有システム、画面共有プログラム
US20090326336A1 (en) 2008-06-25 2009-12-31 Heinz Ulrich Lemke Process for comprehensive surgical assist system by means of a therapy imaging and model management system (TIMMS)
US20100249540A1 (en) * 2009-03-31 2010-09-30 Nellcor Puritan Bennett Llc Medical Monitoring System With Open Device Architecture
JP5476036B2 (ja) 2009-04-30 2014-04-23 国立大学法人大阪大学 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法
US20100299627A1 (en) 2009-05-20 2010-11-25 Qualcomm Incorporated Method and apparatus for content boundary detection and scaling
KR101402622B1 (ko) * 2009-07-01 2014-06-09 삼성전자주식회사 영상표시장치 및 영상표시방법
RU93655U1 (ru) * 2009-12-22 2010-05-10 Государственное научно-учебное учреждение "Учебно-исследовательский Центр космической биомедицины" Носимый телемедицинский диагностический комплект
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US20110250962A1 (en) * 2010-04-09 2011-10-13 Feiner Steven K System and method for a 3d computer game with true vector of gravity
EP4026508B1 (en) 2010-06-28 2023-10-18 Brainlab AG Generating images for at least two displays in image-guided surgery
DE102010052244A1 (de) * 2010-11-23 2012-05-24 Pierre-Alain Cotte Verfahren und Vorrichtung zur Darstellung einer grafischen Benutzeroberfläche einer tragbaren Recheneinheit auf einem externen Anzeigegerät
JP5874176B2 (ja) * 2011-03-06 2016-03-02 ソニー株式会社 表示装置、並びに中継装置
EP2544039A1 (en) 2011-07-04 2013-01-09 BAE Systems Plc. Display system
JP2013034764A (ja) 2011-08-10 2013-02-21 Akira Takebayashi サージカルガイド装置及びドリルの位置決め方法
US8681073B1 (en) * 2011-09-29 2014-03-25 Rockwell Collins, Inc. System for and method of controlling contrast or color contrast in see-through displays

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050206583A1 (en) * 1996-10-02 2005-09-22 Lemelson Jerome H Selectively controllable heads-up display system
CA2425075A1 (en) * 2000-10-05 2002-04-11 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US20020082498A1 (en) * 2000-10-05 2002-06-27 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US20060074711A1 (en) * 2004-10-01 2006-04-06 Prakash Mahesh System and method for handling multiple radiology applications and workflows
CN1770063A (zh) * 2004-10-01 2006-05-10 通用电气公司 信息显示、凝视探测和用户控制权优先化的方法和设备
JP2007293721A (ja) * 2006-04-26 2007-11-08 Shimadzu Corp 巡回点検支援システム
CN101138522A (zh) * 2006-09-05 2008-03-12 株式会社东芝 医疗信息系统
CN102006818A (zh) * 2008-01-24 2011-04-06 救生外科系统公司 胆总管手术成像系统
CN102668556A (zh) * 2010-12-17 2012-09-12 松下电器产业株式会社 医疗支援装置，医疗支援方法以及医疗支援系统
WO2012165013A1 (ja) * 2011-05-31 2012-12-06 ブラザー工業株式会社 ヘッドマウントディスプレイ連携装置、ヘッドマウントディスプレイの連携プログラム、及びヘッドマウントディスプレイ
JP2013110662A (ja) * 2011-11-24 2013-06-06 Seiko Epson Corp 装置、頭部装着型表示装置、装置の制御方法および頭部装着型表示装置の制御方法
CN104298344A (zh) * 2013-07-16 2015-01-21 精工爱普生株式会社 信息处理装置、信息处理方法以及信息处理系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111863179A (zh) * 2019-04-24 2020-10-30 佳能医疗系统株式会社 医用信息处理装置、医用信息处理方法及程序
CN111863179B (zh) * 2019-04-24 2024-01-16 佳能医疗系统株式会社 医用信息处理装置、医用信息处理方法及程序

Also Published As

Publication number Publication date
US10664216B2 (en) 2020-05-26
US20180364965A1 (en) 2018-12-20
US11341726B2 (en) 2022-05-24
KR20160033721A (ko) 2016-03-28
RU2642941C2 (ru) 2018-01-29
CN104298344B (zh) 2018-11-20
TW201505603A (zh) 2015-02-16
CN104298344A (zh) 2015-01-21
US10042598B2 (en) 2018-08-07
RU2016104900A (ru) 2017-08-21
EP3022672A2 (en) 2016-05-25
WO2015008470A2 (en) 2015-01-22
US20200257485A1 (en) 2020-08-13
WO2015008470A3 (en) 2015-06-11
US20160154620A1 (en) 2016-06-02

Similar Documents

Publication Publication Date Title
CN104298344B (zh) 信息处理装置、信息处理方法以及信息处理系统
CN104298499B (zh) 信息处理装置、信息处理方法、以及信息处理系统
US10169925B2 (en) Head mounted display and control method for head mounted display
JP6299067B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2015019679A (ja) 情報処理装置、情報処理方法、および、情報処理システム
US11628038B2 (en) Multi-option all-digital 3D surgery visualization system and control
JP6311393B2 (ja) 情報処理装置、情報処理方法、および、情報処理システム
JP6264855B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20210335483A1 (en) Surgery visualization theatre
EP4106664A1 (en) All-digital multi-option 3d surgery visualization system and control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination