CN111093552A - 优化立体视觉内容的感知 - Google Patents
优化立体视觉内容的感知 Download PDFInfo
- Publication number
- CN111093552A CN111093552A CN201880058541.6A CN201880058541A CN111093552A CN 111093552 A CN111093552 A CN 111093552A CN 201880058541 A CN201880058541 A CN 201880058541A CN 111093552 A CN111093552 A CN 111093552A
- Authority
- CN
- China
- Prior art keywords
- observer
- viewer
- display device
- message
- stereoscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008447 perception Effects 0.000 title claims abstract description 60
- 230000000007 visual effect Effects 0.000 claims abstract description 153
- 238000000034 method Methods 0.000 claims abstract description 68
- 230000010287 polarization Effects 0.000 claims description 95
- 210000003128 head Anatomy 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 31
- 239000011521 glass Substances 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/30—Polarising elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/327—Calibration thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/337—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/372—Details of monitor hardware
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
- A61B2090/502—Headgear, e.g. helmet, spectacles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Physics & Mathematics (AREA)
- Robotics (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
提供了用于控制立体显示设备以改善立体视觉内容的感知的系统、方法和计算机可读介质。一种方法包括:通过偏振滤光器的第一部分显示第一视觉内容项,以及通过所述偏振滤光器的所述第一部分和/或第二部分显示第一消息,所述第一消息基于所述第一视觉内容项是对所述观察者的第一只眼睛可见还是对第二只眼睛可见。另一种方法包括:捕获观察者的图像,基于所捕获的图像确定所述观察者的位置,将所确定的位置与预定的位置标准进行比较,以及使基于比较结果的消息提供给所述观察者。在另一种方法中,基于所述比较结果来重新定位所述显示设备。
Description
背景技术
立体显示器,有时被称为三维(3D)显示器,在许多设置中被采用以使得观察者能够感知所呈现的图像中的深度。例如,立体显示器可以被临床医生用作机器人手术系统的一部分。立体显示器通过将图像作为分别提供给左眼和右眼的一对不同的图像呈现给观察者来促进图像中的深度感知。成对的图像被创建以复制左右眼之间的偏移效果,这会导致每只眼睛在显示器中看到的内容有所不同。由每只眼睛在显示器中看到的不同图像被感知为图像中的对象的深度的差异,例如,这是基于要观察的对象的深度在显示器的不同区域中的图像偏移的变化而导致的结果。
典型的无源立体显示器包括与显示器的像素密切对齐的膜,其与观察者佩戴的相应的立体眼镜对相结合,使得某些像素行能够被一只眼睛看到,而其它像素行能够被另一只眼睛看到。具体地,该膜根据第一偏振类型对显示器的某些像素(在示例中,奇数像素行)进行滤波,并且根据第二偏振类型对显示器的其他像素(在示例中,偶数像素行)进行滤波。眼镜的左镜片与第一偏振类型相匹配,并被设计成允许根据第一偏振类型而偏振的视觉内容到达左眼,并且阻止根据第二偏振类型而偏振的视觉内容到达左眼。眼镜的右镜片与第二偏振类型相匹配,并被设计成允许根据第二偏振类型而偏振的视觉内容到达右眼,并且阻止根据第一偏振类型而偏振的视觉内容到达右眼。这样,显示器可以通过奇数像素行向其中一个眼睛提供第一图像,并通过偶数像素行向另一个眼睛提供第二图像。
当观察者的眼睛位于相对于显示器平面的适当的位置和方位(在一定的容差量内)时,上述的立体显示方案能够很好地工作。然而,当观察者的眼睛位于容差量之外的位置时,例如在相对于显示器平面处于相对于理想位置的不适当的位置和/或方位时,观察者对视觉内容的感知会降低,这是因为预期用于特定眼睛的图像的部分到达另一只眼睛并且被另一只眼睛感知,反之亦然。这种未对齐导致观察者体验到被称为重影的现象。因此,存在对通过优化观察者眼睛和立体显示器之间的位置关系来改善立体视觉内容的感知的系统和方法的需求。
发明内容
根据本公开的一个方面,提供了一种立体显示系统,其包括:显示设备、偏振滤光器、存储指令的存储器,以及被配置为执行指令的处理器。该显示设备包括第一像素组和第二像素组。偏振滤光器粘附到显示设备或者与显示设备集成,并且包括根据第一偏振对视觉内容进行滤光并且与显示设备的第一多个像素对齐的第一部分,和根据第二偏振对视觉内容进行滤光并且与显示设备的第二多个像素对齐的第二部分。处理器执行指令以使显示设备通过偏振滤光器的第一部分显示第一视觉内容项,并通过偏振滤光器的第一和/或第二部分显示第一消息。第一消息至少部分地基于该第一视觉内容项是意在对观察者的第一只眼睛可见还是对观察者的第二只眼睛可见。
在本公开的另一方面中,处理器还被配置为执行指令以使显示设备通过偏振滤光器的第二部分显示第二视觉内容项,并通过偏振滤光器的第一和/或第二部分显示第二消息。第二消息基于第二视觉内容项是意在对观察者的第一只眼睛可见还是对观察者的第二只眼睛可见。
在本公开的另一方面中,第一视觉内容项、第二视觉内容项、第一消息和/或第二消息中的一个或多个与第一视觉内容项、第二视觉内容项、第一消息和/或第二消息中的另外一个或多个同时显示。
在本公开的另一方面中,第一视觉内容项和/或第二视觉内容项中的一个或多个包括预定颜色、预定图案和/或预定文本内容中的一个或多个,并且第一视觉内容项不同于第二视觉内容项。
在本公开的另一方面中,第一消息包括与观察者的眼睛的重新定位有关的查询和/或指令中的一个或多个,以使得第一视觉内容项对观察者的第一只眼睛可见,而对观察者的第二只眼睛不可见。第二消息包括与观察者的眼睛的重新定位有关的查询和/或指令中的一个或多个,以使得第二视觉内容项对观察者的第二只眼睛可见,而对观察者的第一只眼睛不可见。
在本公开的另一方面中,第一偏振是顺时针圆偏振并且第二偏振是逆时针圆偏振,或者第一偏振是第一线性偏振并且第二偏振是相对于第一线性偏振异相九十度的第二线性偏振。
根据本公开的另一方面,提供了一种用于控制立体显示设备的计算机实施的方法。该方法包括通过偏振滤光器的第一部分显示第一视觉内容项,以及通过偏振滤光器的第一和/或第二部分显示第一消息。偏振滤光器的第一部分根据第一偏振来对视觉内容进行滤光并与显示设备的第一多个像素对齐,以及偏振滤光器的第二部分根据第二偏振来对视觉内容进行滤光并与显示设备的第二多个像素对齐。第一消息基于第一视觉内容项是意在对观察者的第一只眼睛可见还是对观察者的第二只眼睛可见。
在本公开的另一方面中,计算机实施的方法另外包括通过偏振滤光器的第二部分显示第二视觉内容项,以及通过偏振滤光器的第一和/或第二部分显示第二消息。第二消息基于第二视觉内容项是意在对观察者的第一只眼睛可见还是对观察者的第二只眼睛可见。
在本公开的另一方面中,第一视觉内容项、第二视觉内容项、第一消息和/或第二消息中的一个或多个与第一视觉内容项、第二视觉内容项、第一消息和/或第二消息中的另外一个或多个同时显示。
在本公开的另一方面中,第一视觉内容项和/或第二视觉内容项中的一个或多个包括预定颜色、预定图案和/或预定文本内容中的一个或多个,并且第一视觉内容项不同于第二视觉内容项。
在本公开的另一方面中,第一消息包括与观察者的眼睛的重新定位有关的查询和/或指令中的一个或多个,以使得第一视觉内容项对观察者的第一只眼睛可见,而对观察者的第二只眼睛不可见。第二消息包括与观察者的眼睛的重新定位有关的查询和/或指令中的一个或多个,以使得第二视觉内容项对观察者的第二只眼睛可见,而对观察者的第一只眼睛不可见。
在本公开的另一方面中,第一偏振是顺时针圆偏振并且第二偏振是逆时针圆偏振,或者第一偏振是第一线性偏振并且第二偏振是相对于第一线性偏振异相九十度的第二线性偏振。
根据本公开的另一方面,提供了一种非暂时性计算机可读介质。非暂时性计算机可读介质在其上存储有指令,这些指令在由处理器执行时使显示设备通过偏振滤光器的第一部分显示第一视觉内容项,并且通过偏振滤光器的第一部分和/或通过偏振滤光器的第二部分显示第一消息。第一消息基于第一视觉内容项是意在对观察者的第一只眼睛可见还是对观察者的第二只眼睛可见。偏振滤光器的第一部分根据第一偏振来对视觉内容进行滤光并与显示设备的第一多个像素对齐,以及偏振滤光器的第二部分根据第二偏振来对视觉内容进行滤光并与显示设备的第二多个像素对齐。
在本公开的另一方面中,这些指令在由处理器执行时另外使得显示设备通过偏振滤光器的第二部分显示第二视觉内容项,并且通过偏振滤光器的第一和/或第二部分显示第二消息。第二消息基于第二视觉内容项是意在对观察者的第一只眼睛可见还是对观察者的第二只眼睛可见。
在本公开的另一方面中,第一视觉内容项、第二视觉内容项、第一消息和/或第二消息中的一个或多个与第一视觉内容项、第二视觉内容项、第一消息和/或第二消息中的另外一个或多个同时显示。
在本公开的另一方面中,第一视觉内容项和/或第二视觉内容项中的一个或多个包括预定颜色、预定图案和/或预定文本内容中的一个或多个,并且第一视觉内容项不同于第二视觉内容项。
在本公开的另一方面中,第一消息包括与观察者的眼睛的重新定位有关的查询和/或指令中的一个或多个,以使得第一视觉内容项对观察者的第一只眼睛可见,而对观察者的第二只眼睛不可见。第二消息包括与观察者的眼睛的重新定位有关的查询和/或指令中的一个或多个,以使得第二视觉内容项对观察者的第二只眼睛可见,而对观察者的第一只眼睛不可见。
在本公开的另一方面中,第一偏振是顺时针圆偏振并且第二偏振是逆时针圆偏振,或者第一偏振是第一线性偏振并且第二偏振是相对于第一线性偏振异相九十度的第二线性偏振。
根据本公开的另一方面,提供了一种用于改善立体视觉内容的感知的系统,该系统包括:图像捕获设备,其被配置为捕获观察者的图像;以及处理器,其被配置为基于所捕获的图像来确定观察者的位置,将所确定的观察者的位置与预定的位置标准进行比较,以及使基于比较结果的消息提供给观察者。
在本发明的另一方面中,所述系统另外包含显示设备和/或音频设备中的一个或多个。显示设备被配置为,在比较结果指示观察者的位置应当被校正以改善立体视觉内容的感知的情况下,以指示某一方向的显示内容的形式提供消息,观察者应当沿着所述方向移动到正确位置以改善立体视觉内容的感知。音频设备被配置为,在比较结果指示观察者的位置应当被校正以改善立体视觉内容的感知的情况下,以指示某一方向的音频内容的形式提供所述消息,观察者应当沿着所述方向移动到正确位置以改善立体视觉内容的感知。
在本公开的又一方面中,确定观察者位置包括确定观察者的眼睛、观察者佩戴的立体眼镜,和/或观察者的头部中的一个或多个相对于图像捕获设备和/或显示设备中的一个或多个的相对位置。
在本发明的另一方面中,该系统另外包括显示设备和音频设备中的一个或多个。该显示设备被配置为在比较结果指示观察者被正确地定位以感知立体视觉内容的情况下,以显示内容的形式提供消息,该显示内容指示观察者被正确地定位以感知立体视觉内容。该音频设备被配置为在比较结果指示观察者被正确地定位以感知立体视觉内容的情况下,以音频内容的形式提供消息,该音频内容指示观察者被正确地定位以感知立体视觉内容。
在本公开的另一方面中,预定的位置标准包括用于感知立体视觉内容的可接受的观察者位置的范围或用于感知立体视觉内容的不可接受的观察者位置的范围。
根据本公开的另一方面,提供了一种用于改善立体视觉内容的感知的计算机实施的方法。该方法包括捕获观察者的图像,基于所捕获的图像确定观察者的位置,将所确定的观察者的位置与预定的位置标准进行比较,以及使基于比较结果的消息提供给观察者。
在本公开的另一方面中,所述计算机实施的方法另外包括以下中的一个或多个:(1)在比较结果指示应当校正观察者的位置以改善立体视觉内容的感知的情况下,以指示某一方向的显示内容的形式提供消息,观察者应当沿着所述方向移动到正确位置以改善立体视觉内容的感知;和/或(2)在比较结果指示应当校正观察者的位置以改善立体视觉内容的感知的情况下,以指示某一方向的音频内容的形式提供所述消息,观察者应当沿着所述方向移动到正确位置以改善立体视觉内容的感知。
在本公开的又一方面中,确定观察者位置包括确定观察者的眼睛、观察者佩戴的立体眼镜,和/或观察者的头部中的一个或多个相对于图像捕获设备和/或显示设备中的一个或多个的相对位置。
在本公开的另一方面中,所述计算机实施的方法另外包括以下一种或多种:(1)在比较结果指示观察者被正确地定位以感知立体视觉内容的情况下,以显示内容的形式提供消息,该显示内容指示观察者被正确地定位以感知立体视觉内容;和/或(2)在比较结果指示观察者被正确地定位以感知立体视觉内容的情况下,以音频内容的形式提供消息,该音频内容指示观察者被正确地定位以感知立体视觉内容。
在本公开的另一方面中,预定的位置标准包括用于感知立体视觉内容的可接受的观察者位置的范围或用于感知立体视觉内容的不可接受的观察者位置的范围。
根据本公开的另一方面,提供一种存储指令的非暂时性计算机可读介质,所述指令在由处理器执行时使图像捕获设备捕获观察者的图像,并使该处理器基于所捕获的图像确定该观察者的位置,将所确定的观察者的位置与预定的位置标准进行比较,以及使基于比较结果的消息提供给观察者。
在本公开的另一方面中,这些指令在由处理器执行时还致使以下中的一个或多个:(1)显示设备,用于在比较结果指示应当校正观察者的位置以改善立体视觉内容的感知的情况下,以指示某一方向的显示内容的形式提供消息,观察者应当沿着所述方向移动到正确位置以改善立体视觉内容的感知;和/或(2)音频设备,用于在比较结果指示应当校正观察者的位置以改善立体视觉内容的感知的情况下,以指示某一方向的音频内容的形式提供所述消息,观察者应当沿着所述方向移动到正确位置以改善立体视觉内容的感知。
在本公开的又一方面中,确定观察者位置包括确定观察者的眼睛、观察者佩戴的立体眼镜,和/或观察者的头部中的一个或多个相对于图像捕获设备和/或显示设备中的一个或多个的相对位置。
在本公开的另一方面中,这些指令在由处理器执行时还致使以下中的一个或多个:(1)显示设备,用于在比较结果指示观察者被正确地定位以感知立体视觉内容的情况下,以显示内容的形式提供消息,该显示内容指示观察者被正确地定位以感知立体视觉内容;和/或(2)音频设备,用于在比较结果指示观察者被正确地定位以感知立体视觉内容的情况下,以音频内容的形式提供消息,该音频内容指示观察者被正确地定位以感知立体视觉内容。
在本公开的另一方面中,预定的位置标准包括用于感知立体视觉内容的可接受的观察者位置的范围或用于感知立体视觉内容的不可接受的观察者位置的范围。
根据本公开的另一方面,提供了一种用于改善立体视觉内容的感知的系统,该系统包括:显示设备,其被配置为捕获观察者的图像的图像捕获设备,以及处理器,其被配置为:基于所捕获的观察者的图像来确定观察者的位置,将所确定的观察者的位置与预定的位置标准进行比较,以及基于比较结果来使显示设备重新定位。
在本公开的另一方面中,观察者的位置包括观察者的眼睛、观察者佩戴的立体眼镜,和/或观察者的头部中的一个或多个相对于图像捕获设备和/或显示设备中的一个或多个的相对位置。
在本公开的又一方面中,预定的位置标准包括相对于图像捕获设备的位置和/或显示设备的位置中的一个或多个的用于感知立体视觉内容的至少一个可接受的观察者位置。将所确定的观察者的位置与预定的位置标准进行比较包括计算所确定的观察者的位置和用于感知立体视觉内容的可接受的观察者位置之间的差。
在本公开的另一方面中,使显示设备重新定位包括使显示设备重新定位到将所确定的观察者位置与用于感知立体视觉内容的可接受的观察者位置之间的差减小到预定阈值内。
在本公开的另一方面中,使显示设备重新定位包括仅当所计算的误差超过预定阈值时才使显示设备重新定位。
根据本公开的另一方面,提供了一种用于改善立体视觉内容的感知的计算机实施的方法,该方法包括:经由图像捕获设备捕获观察者的图像;基于所捕获的观察者的图像来确定观察者的位置;将所确定的观察者的位置与预定的位置标准进行比较;以及基于比较结果使显示设备重新定位。
在本公开的另一方面中,观察者的位置包括观察者的眼睛、观察者佩戴的立体眼镜,和/或观察者的头部中的一个或多个相对于图像捕获设备和/或显示设备中的一个或多个的相对位置。
在本公开的又一方面中,预定的位置标准包括相对于图像捕获设备的位置和/或显示设备的位置中的一个或多个的用于感知立体视觉内容的至少一个可接受的观察者位置。将所确定的观察者的位置与预定的位置标准进行比较包括计算所确定的观察者的位置和用于感知立体视觉内容的可接受的观察者位置之间的差。
在本公开的另一方面中,使显示设备重新定位包括使显示设备重新定位到将所确定的观察者位置与用于感知立体视觉内容的可接受的观察者位置之间的差减小到预定阈值内。
在本公开的另一方面中,使显示设备重新定位包括仅当所计算的误差超过预定阈值时才使显示设备重新定位。
根据本公开的另一方面,提供一种非暂时性计算机可读介质,该非暂时性计算机可读介质存储指令,在该指令被处理器执行时使图像捕获设备捕获观察者的图像,并使处理器基于所捕获的观察者的图像来确定观察者的位置,将所确定的观察者的位置与预定的位置标准进行比较,以及基于比较结果来使显示设备重新定位。
在本公开的另一方面中,观察者的位置包括观察者的眼睛、观察者佩戴的立体眼镜,和/或观察者的头部中的一个或多个相对于图像捕获设备和/或显示设备中的一个或多个的相对位置。
在本公开的又一方面中,预定的位置标准包括相对于图像捕获设备的位置和/或显示设备的位置中的一个或多个的用于感知立体视觉内容的至少一个可接受的观察者位置。将所确定的观察者的位置与预定的位置标准进行比较包括计算所确定的观察者的位置和用于感知立体视觉内容的可接受的观察者位置之间的差。
在本公开的另一方面中,使显示设备重新定位包括使显示设备重新定位到将所确定的观察者位置与用于感知立体视觉内容的可接受的观察者位置之间的差减小到预定阈值内。
在本公开的另一方面中,使显示设备重新定位包括仅当所计算的误差超过预定阈值时才使显示设备重新定位。
附图说明
根据以下结合附图的详细描述,本公开的上述和其他方面、特征和优点将变得更加明显,在附图中:
图1是根据本公开的实施例的包括立体显示器的示例机器人手术系统的图;
图2绘示了图1中所示的示例立体显示系统的附加方面;
图3绘示了图2所示的立体显示系统的显示设备的附加方面;
图4描绘了根据本文中的第一示例实施例的用于控制显示设备的计算机实施的过程;
图5描绘了根据本文中的第二示例实施例的用于控制显示设备的计算机实施的过程;以及
图6描绘了根据本文中的第三示例实施例的用于控制显示设备的计算机实施的过程。
具体实施方式
如在本文中所使用的,术语“临床医生”,“外科医生”,“观察者”通常指的是在本文中所描述的立体显示设备的用户。另外,尽管术语“第一只眼睛”和“第二只眼睛”在本文中分别用于指观察者的左眼和右眼,但是这种使用是以示例的方式提供的,并且不应被解释为限制性的。
图1示出了可根据本文中的各种示例的实施例采用的示例机器人手术系统100。图1中所示的系统100的组件的特定数量及其布置和配置仅出于说明性目的而提供,并且不应被解释为限制性的。例如,本文中的各种实施例采用比图1所示的所有组件更少或更多的组件。另外,图1中所描绘的示例的机器人手术系统100被提供以作为其中可应用各种示例的实施例的示例环境。然而,本文中的各种示例的实施例也可应用于除机器人外科手术系统以外的环境中,例如,在一般的立体显示环境中。
系统100包括手术台102、机器人臂106、控制台110,在手术过程中患者104躺在手术台102上,机器人臂106具有可互换地紧固到其上的对应的手术器械108,控制台110具有手柄112,临床医生(在本文中也称为“观察者”)在手术过程中与手柄112相互作用,以及控制器114和一个或多个电机116,控制台110通过电机116连接到机器人臂106和手术器械108。机器人臂106被粘附到手术台102和/或邻近手术台102而被布置在患者104经历手术过程的范围内。
控制器114包括一个或多个处理器118和存储器120,并且可以与控制台110集成在一起或作为手术室内的独立设备而被提供。如下面进一步详细描述的,处理器118执行存储在存储器120中的指令136(在示例中为软件),以执行本文中各种实施例的过程。应当理解,处理器118和存储器120的实施方式仅以示例的方式提供,并且不应被解释为限制性的。例如,本公开的任何实施例的过程可以通过硬件组件、固件组件、软件组件和/或其任何组合来实施。
在手术系统100的操作期间,手柄112被临床医生移动以产生机器人臂106和/或手术器械108的工作端的相应移动和/或致动。手柄112向控制器114提供信号,控制器114随后将相应的信号提供给一个或多个驱动电机116。一个或多个驱动电机116连接到机器人臂106,以便移动机器人臂106和/或手术器械108。
手柄112可以包括各种触觉件124,以向临床医生提供关于各种组织参数或状况的反馈,在示例中,组织参数或状况为由于操作、切割或其他处理而导致的组织阻力,仪器对组织的压力,组织温度,组织阻抗等。可以理解,这种触觉件124为临床医生提供了模拟实际操作条件的增强的触觉反馈。触觉件124可以包括振动电机、电活性聚合物、压电设备、静电设备、亚音速声波表面致动设备、反向电振动或能够向用户提供触觉反馈的任何其它设备。手柄112还可以包括用于精细的组织操作或治疗的各种不同的致动器126,从而进一步增强了临床医生模仿实际操作条件的能力。
手术器械108可以是任何类型的手术器械,例如但不限于图像捕获设备、探头、末端执行器、抓紧器、刀和/或剪刀之类的。根据本文中的一些实施例,手术器械108中的一个或多个可以是包括立体图像捕获设备的探针。将探针插入患者体内,以便在手术过程中捕获患者体内感兴趣区域的立体图像。根据本文中的一些实施例,由图像捕获设备捕获的立体图像被传送到控制台110的立体显示设备122(本文中也被称为“显示设备”或简称为“显示器”),其通过由临床医生所佩戴的立体眼镜(图1中未示出)向临床医生显示图像。
如下文进一步详细描述的,在本文中的一些示例性实施例中,控制台110包括捕获观察者的图像(图1中未示出)的图像捕获设备128(在示例中,照相机)。图像捕获设备128可与显示器122集成和/或在位置上被固定到显示器122,使得图像捕获设备128与显示器122之间的位置关系是已知的并且能够由处理器118在各种计算中可靠。在一个示例中,处理器118利用由图像捕获设备128捕获的图像来确定观察者的位置,将所确定的观察者的位置与预定的位置标准进行比较,并且使基于比较结果的消息提供给观察者,例如,通过显示器122可视地被提供,通过一个或多个音频设备(在示例中,扬声器)130可听地被提供,和/或通过手柄112触觉反馈被提供。如果需要的话,向观察者提供这样的消息可以通知观察者如何移动到对于改善立体视觉内容的感知是更理想的位置。
还如下面进一步详细描述的,在本文中另一示例性实施例中,控制台110还包括被配置为对显示器122进行重新定位的一个或多个电机132,并且处理器118被配置为基于所捕获的观察者的图像来确定观察者的位置,将所确定的观察者的位置与预定的位置标准进行比较,以及基于比较结果来使电机132重新定位显示器122。一个或多个电机132可以是单轴电机或多轴(在示例中,3轴)电机,其分别促进沿着单个轴或沿着多个轴的显示器122的重新定位。基于观察者的位置来重新定位显示器122能够使得显示器122保持相对于观察者的对于改进的立体视觉内容的感知是更理想的位置。
系统100的某些组件(例如,组件114、118、120、122、128、130和/或132)可以表示根据本文中的一些示例的实施例的立体显示系统134。现在将参考图2和图3,其示出了示例的立体显示系统134及其显示设备122的附加方面。图2和图3中所示的系统134的部件的具体数目及其布置和配置仅出于说明性目的而提供,并且不应被解释为限制性的。例如,本文中的一些实施例采用比图2和图3中所示的组件更少或更多的组件。另外,为了清楚起见,在图2和图3中省略了系统134的一些部件。此外,本文中的立体显示系统134还可应用于除了机器人手术系统之外的环境中,例如,在一般的立体显示环境中。
图2包括立体显示系统134的一部分的透视图,示出了根据本文中的各个实施例的图像捕获设备128、音频装置130、电机132和偏振滤光器202的示例性布置。在图3中示出了可以粘附到显示设备122的屏幕或与显示设备122的屏幕集成的偏振滤光器202的方面。图3中所示的示例性实施例示出了显示设备122的一部分,该部分包括四行像素,每行为六个像素宽。偏振滤光器202与显示设备122的像素对齐,以便通过由观察者204佩戴的相应的立体眼镜206的镜片208和210将由某些像素显示的视觉内容引导至观察者204的某些眼睛。具体地,如图3所示,偏振滤光器202包括第一部分302和第二部分304。偏振滤光器202的第一部分302与显示设备122的第一像素组306(在示例中是奇数像素行)对齐,并且根据第一偏振对由第一组像素306显示的视觉内容进行滤光。偏振滤光器202的第二部分304与显示设备122的第二像素组308(在示例中是偶数像素行)对齐,并且根据第二偏振对由第二像素组308显示的视觉内容进行滤光。
回到图2,如上文所简述的,由显示设备122的观察者204佩戴的立体眼镜206包括左和右镜片208、210。眼镜206的左镜片208与第一偏振类型匹配并且被设计成允许根据第一偏振类型而偏振的视觉内容(在一个示例中是由第一像素组306或奇数像素行而显示的视觉内容)到达左眼,并防止根据第二偏振类型而偏振的视觉内容(在一个示例中是由第二像素组308或甚至偶数像素行而显示的视觉内容)到达左眼。眼镜206的右镜片210与第二偏振类型相匹配,并且被设计成允许根据第二偏振类型而偏振的视觉内容到达右眼,并且防止根据第一偏振类型而偏振的视觉内容到达右眼。作为非限制性示例,提供了眼镜的左镜片208和右镜片210分别与第一偏振类型和第二偏振类型的匹配。
第一和第二偏振可以是任何相互不同类型的偏振。例如,第一和第二偏振可以分别是顺时针圆偏振和逆时针圆偏振。可替代地,第一和第二偏振可以分别是第一线性偏振和第二线性偏振,第二线性偏振相对于第一线性偏振异相九十度。
已经描述了示例的立体显示系统134,现在将参考图4,其描绘了根据本文中的第一实施例的用于控制立体显示设备134的示例的计算机实施的过程400。可以至少部分地由处理器118执行存储在存储器120(图1)中的指令136来实施过程400。另外,图4所示的过程400中的特定步骤序列是作为示例而非限制来提供的。因此,在不脱离本公开的范围的情况下,可以以不同于图4所示的顺序的顺序来执行过程400的步骤。此外,在图4的过程400中所示的一些步骤可以相对于彼此同时地被执行,而不是相对于彼此顺序地被执行。
在框402处,自动地(例如,在显示设备122通电时,或响应于命令(例如,由观察者204通过用户输入设备(在示例中是鼠标、键盘、触摸屏、麦克风、和/或被通信地连接至处理器118的任何其他合适的用户输入设备)输入的命令)启动用于确保观察者204的正确对齐以改进立体视觉内容的感知的校准例程。控制然后跳转到框404。
在框404处,作出对左眼、右眼还是同时对双眼执行校准例程的确定。可以自动地或响应于命令来进行在框404处的确定。例如,处理器118可以被配置为自动地按顺序多次执行校准例程,例如首先针对左眼实施校准序列,然后针对右眼实施校准序列,然后同时执行双眼的校准序列。作为替代,在框404处的确定可以响应于观察者204通过用户输入设备所输入的选择校准例程之一的命令而被作出。
如果在框404处确定要执行针对左眼的校准例程,则控制跳转到框406和框408以执行针对左眼的校准例程。
在框406处,通过偏振滤光器202的第一部分302来显示第一视觉内容项(在示例中是意在通过左眼可见的视觉内容),偏振滤光器202的第一部分302与显示设备122的第一像素组306对齐并且根据第一偏振来对第一视觉内容项进行滤光。第一视觉内容项例如可以包括观察者204容易感知的预定颜色、预定图案和/或预定文本内容中的一个或多个。
在框408,通过偏振滤光器202的第一部分302和/或通过偏振滤光器202的第二部分304来显示第一消息。以这种方式,第一消息可以分别通过立体眼镜206的镜片208和210中的一个或两个到达观察者204的一只或两只眼睛。在一个示例中,第一消息的内容是基于第一视觉内容项是意在对观察者204的第一只眼睛可见还是对观察者的第二只眼睛可见。例如,第一消息可以指示第一视觉内容项(在示例中是三角形的图像)意在对观察者204的第一只眼睛(在示例中是左眼)而不是对观察者204的第二只眼睛(在示例中是右眼)可见。
观察者204对第一视觉内容项的感知至少部分地取决于观察者204的眼睛的位置和/或方位。例如,如果观察者204的眼睛被定位在相对于显示器122的平面的适当的位置和方位(例如,如下面进一步详细描述的),则第一视觉内容项可以分别通过眼镜的第一和第二镜片208、210而基本上完全对第一只眼睛可见并且基本上对第二眼睛不可见。然而,当观察者204的眼睛被定位在相对于显示器122的平面的不适当的位置和/或方位时,观察者204对第一视觉内容项的感知可能会由于重影而降低,其中眼镜206允许第一视觉内容项的至少一部分对观察者204的第二只眼睛至少部分地可见和/或对观察者204的第一只眼睛部分地不可见。
在一个方面中,第一消息包括与观察者204的眼睛的重新定位有关的查询和/或指令,以使得第一视觉内容项对观察者204的第一只眼睛可见,而对观察者204的第二只眼睛不可见。例如,第一消息可以指示观察者204交替地关闭他们的左眼和右眼,并且重新定位他们的头部和/或眼睛,直到第一视觉内容项对通过眼镜206的第一镜片208的他们的左眼可见,但对通过眼镜206的第二镜片210的他们的右眼不可见。在另一个例子中,第一消息可以包括一对图像,当观察者204的眼睛被定位在不适当的观察者位置时,该对图像表现为分离的图像,并且当观察者204的眼睛位于适当的位置时,该对图像会聚(表现为对齐的和/或单个组合图像)。在又一示例中,可以基于例如由图像捕获设备128所确定的观察者204的位置来主动地控制和/或改变第一消息。以这种方式,可以优化观察者204的眼睛与立体显示器122之间的位置关系,从而改善观察者204对立体视觉内容的感知。
从框408起,控制可以从框408跳转到可选的框414。在框414,可以通过用户输入设备(例如,鼠标、键盘、触摸屏、麦克风和/或可通信地连接到处理器118的任何其他合适的用户输入设备)从观察者204接收用户输入。例如,用户输入可以是对在框408处所提供的作为第一消息的一部分的查询的响应,该第一消息考虑了第一视觉内容项是否对观察者204的预期眼睛可见。用户输入可替换地或可附加地包括使与第一视觉内容项不同的视觉内容项(在示例中,在颜色、形状、尺寸上,内容意在通过其他或另一特征而对眼睛可见)被显示的命令。控制然后跳转到框418,其在下面将进一步详细描述。可替换地,在实施例中,控制可以从框408直接跳转到框418,而不执行框414的例程。
回到框404,如果确定将要执行针对右眼的校准例程,则控制跳转到框410和框412,以执行针对右眼的校准例程。
在框410处,通过偏振滤光器202的第二部分304来显示第二视觉内容项(在示例中是意在对右眼可视的视觉内容),偏振滤光器202的第二部分304与显示设备122的第二像素组308对齐并且根据第二偏振来对第二视觉内容项进行滤光。
通常,第一视觉内容项与第二视觉内容项不同,以使观察者204能够区分意在对观察者204的特定眼睛可视的视觉内容项。例如,在一些示例中,第一视觉内容项和第二视觉内容项可以包括各自的由观察者容易地区分彼此的预定颜色、预定图案和/或预定文本内容。
在框412处,通过偏振滤光器202的第一部分302和/或通过偏振滤光器202的第二部分304显示第二消息。以这种方式,第二消息可以通过立体眼镜206的镜片208和210中的一者或两者到达观察者204的一只或两只眼睛。在一个示例中,第二消息的内容基于第二视觉内容项是意在对观察者204的第一只眼睛可见还是对观察者的第二只眼睛可视。例如,第二消息可以指示第二视觉内容项(在示例中是圆形的图像)意在对观察者204的第二只眼睛(在示例中是右眼)而不是对观察者204的第一只眼睛(在示例中是左眼)可见。
如上面所描述的在第一视觉内容项的环境中,观察者204对第二视觉内容的感知至少部分地取决于观察者204的眼睛的位置和/或方位。一方面,第二消息包括与观察者204的眼睛的重新定位有关的查询和/或指令,以使得第二视觉内容项对观察者204的第二只眼睛可见,但对观察者204的第一只眼睛可见。例如,第二消息可以指导观察者204重新定位他们的头部和/或眼睛,直到第二视觉内容项对通过眼镜206的第二镜片210的他们的右眼可见,但是对通过眼镜206的第一镜片208的他们的左眼不可见。以这种方式,可以优化观察者204的眼睛与立体显示器122之间的位置关系,从而改善观察者204对立体视觉内容的感知。
从框412起,控制可以从框412跳转到可选的框416。在框416处,可以通过用户输入设备(例如,鼠标、键盘、触摸屏、麦克风和/或可通信地连接到处理器118的任何其他合适的用户输入设备)从观察者204接收用户输入。例如,用户输入可以是对在框412处提供的作为第二消息的一部分的查询的响应,该第二消息考虑了第二视觉内容项是否对观察者204的预期眼睛可见。可替换或可附加地,用户输入包括使与第二视觉内容项不同的视觉内容项(在示例中,在颜色、形状、尺寸上,内容意在通过其他或另一特征而对眼睛可见)被显示的命令。控制然后跳转到框418,其在下面将进一步详细描述。可替换地,如下面描述的,从框412起的控制可直接跳转至框418。
回到框404,如果确定要同时对左眼和右眼执行校准例程,则控制从框404转到框406、框408、框410和框412,以上述相应的方式(同时和/或依次)针对左眼和右眼执行校准例程。在一个示例中,第一视觉内容项、第二视觉内容项、第一消息和/或第二消息与第一视觉内容项、第二视觉内容项、第一消息和/或第二消息中的另外一个或多个同时显示。控制从框406和框410跳转到框418。在实施例中,从框408和/或框412起,控制可以分别跳转到框414和/或框416,以执行上述的各个例程。可替换地,控制可以直接从框408和/或框412跳转到框418。
在框418处,向观察者204呈现(在示例中,经由显示设备122可视地呈现,经由扬声器130可听地呈现,和/或经由手柄112通过触觉反馈呈现)重复过程400的选项(在示例中,如果是针对一只眼睛,那么是针对另一只眼睛执行的,或者,如果是用视觉内容项,那么是用其它视觉内容项执行的)或终止过程400。可以通过用户输入设备(例如,鼠标、键盘、触摸屏、麦克风和/或可通信地连接到处理器118的任何其他合适的用户输入设备)选择是重复过程400还是终止过程400来从观察者204接收用户输入。如果在框418处,接收到用户输入,选定终止过程400,则该过程终止。另一方面,如果在框418处接收到选定重复过程400的用户输入,则控制跳转到框420。
在框420处,向观察者204呈现(在示例中,经由显示设备122可视地呈现,经由扬声器130可听地呈现,和/或经由手柄112通过触觉反馈呈现)选择要在过程400的后续迭代期间使用的一个或多个标准的选项。例如,观察者204可以选择特定的眼睛来经历校准例程、一个或多个特定的视觉内容项,和/或在过程400的后续迭代期间要使用的其他标准。如上面所描述的,然后控制跳转到框402。
本文中已经描述了根据第一实施例的用于控制立体显示设备134的示例的计算机实施的过程400,现在将参考图5,其描绘了根据本文中第二实施例的用于控制立体显示设备134的示例的计算机实施的过程500。过程500可以至少部分地由处理器118执行存储在存储器120中的指令136(图1)来实施。可附加地,图5的过程500中所示的步骤的特定顺序是作为示例而非限制来提供的。在不脱离本公开的范围的情况下,可以以不同于图5所示的顺序的顺序来执行过程500的步骤。此外,图5的过程500中所示的一些步骤可以被同时执行而不是被顺序执行。
在框502处,由图像捕获设备128捕获观察者204的至少一部分(在一示例中为脸部)的图像。
在框504处,基于在框502处所捕获的图像来确定观察者204的位置和/或方位。虽然术语“位置”,“方位”和“姿势”被使用在本公开的各个部分中,但是本领域普通技术人员应当理解,在本公开的至少某些部分中,通常指位置和方位的术语“位置”和“方位”和/或术语“姿势”可以互换使用。在框504处所执行的观察者204的位置的确定可以包括例如确定以下中的一个或多个的相对位置:(1)观察者204的眼睛,(2)观察者204所佩戴的立体眼镜206,和/或(3)观察者204的头部,和/或(4)观察者204相对于图像捕获设备128和/或显示设备122的另一特征(例如鼻子)。例如,在框504处,采用一种或多种已知的跟踪算法(在示例中,头部跟踪、眼睛跟踪、眼镜跟踪、和/或之类的跟踪算法)来确定观察者204的位置。举例来说,跟踪算法可以基于从三个或更多个标记估计的刚体跟踪,该跟踪可以被包括在眼镜上,或者可以基于几何特征提取,例如眼睛和/或鼻子提取,其被用于估计头部位置或姿势。在一个例子中,图像捕获设备128和显示设备122之间的位置关系,无论是固定的还是可变的,都是已知的,并且在框504处被用来确定观察者204相对于显示设备122的位置。举例来说,基于显示设备122的设计和制造规范,可以将图像捕获设备128和显示设备122之间的位置关系假定是在某个容差内。可替换地或可附加地,图像捕获设备128和显示设备122之间的位置关系为可以通过例如将一组形状定位在相对于图像捕获设备128和/或相对于显示设备122的已知位置(例如,通过附着到图像捕获设备128和/或显示设备122(包括一组形状的校准夹具)),利用图像捕获设备128来捕获形状的图像,并利用处理器118基于所捕获的形状的图像来确定显示设备122的前表面相对于图像捕获设备128的位置和/或方位。
在框506处,将在框504处所确定的观察者204的位置和/或方位与一个或多个预定的位置标准,方位标准和/或姿势标准进行比较。在一些示例中,预定的位置标准包括用于感知立体视觉内容的可接受的观察者位置范围(其也可被称为适当的观察者位置)和/或用于感知立体视觉内容的不可接受的观察者位置范围(其也可被称为不适当的观察者位置)。例如,可接受的观察者位置的范围可以被定义为包括理想的观察者位置和在一个、两个和/或三个维度中(例如,在相对于显示设备122的坐标系的x方向,y方向和/或z方向中)偏离理想位置的一个或多个相应的预定的允许量或容差量;并且可以将不可接受的观察者位置范围定义为包括未被包括在可接受的观察者位置的范围内的所有位置。在一个示例中,理想的观察者位置可以被定义为观察者面对显示设备122,相对于显示设备122垂直和水平居中的位置,并且被定位成使得由观察者的眼睛的前中心表面限定的平面平行于由显示设备122所限定的平面,并与显示设备122的前表面所定义的平面相距预定的推荐观看距离,并且使得由观察者的眼睛的前中心表面限定的线平行于由显示设备122的水平边缘所限定的线。在一些示例中,针对不同的尺寸或方位采用不同的容差量。例如,在相对于理想观察者位置的特定水平偏移量不像对类似垂直偏移量那样不利于立体内容的最佳感知的情况下,与理想的观察者位置的水平偏差所采用的容差量可以大于与理想的观察者位置的垂直偏差所采用的容差量。在一些示例中,可接受的观察者位置的范围和/或不可接受的观察者位置的范围至少部分地基于客观可测量和/或数值标准来定义。举例来说,可接受的观察者位置的范围可以基于距显示设备122的140厘米的推荐观看范围,以及加上或减去10度的垂直容差量,以及例如其它各个维度或方向的其它容差量来定义。
在框508处,取决于在框506处执行的比较结果,控制跳转到框510或返回到框502。例如,如果在框506处执行的比较结果指示在框504处确定的观察者204的位置在立体视觉内容的正确感知的可接受的位置范围内,则控制跳转回框502以连续跟踪观察者204的位置,并向观察者204提供视觉、听觉、触觉和/或任何其它类型的反馈,以使观察者204能够保持用于感知由显示器122提供的立体视觉内容的正确位置。在实施例中,当所确定的观察者204的位置和可接受的位置范围之间的差落入预定阈值内时,框506的结果指示观察者204的位置在立体视觉内容的正确感知的可接受的位置范围内。
虽然在图5中未示出,但是在另一示例中,过程500可以包括一个或多个附加操作。例如,可以在框508之后并且在控制跳转到框502之前添加一个或多个附加操作。在实施例中,在框506处执行的比较结果指示观察者204被正确地定位以感知立体视觉内容的情况下,通过显示设备122以显示内容的形式,通过扬声器130以可听方式提供消息,和/或通过经由手柄112以触觉反馈方式来提供消息,以指示观察者204被正确地定位以感知立体视觉内容。
另一方面,如果在框506处执行的比较结果指示在框504处所确定的观察者204的位置在立体视觉内容的正确感知的可接受的位置范围之外,则控制跳转到框510。
在框510处,将基于在框506处所执行的比较的结果的消息提供给观察者204(在示例中,通过显示器122可视地,通过扬声器130可听地,和/或通过经由手柄112的触觉反馈)。该消息可以指示例如观察者204应当采取的一个或多个校正动作,以改善对由显示设备122显示的立体视觉内容的感知。举例来说,在框506处执行的比较结果指示应当校正观察者204的位置以改善立体视觉内容的感知的情况下,通过显示设备122以指示某一方向的显示内容的形式提供消息,观察者204应当沿着所述方向移动以校正其位置,从而改善对立体视觉内容的感知。可替代地或可附加地,在框506处所执行的比较结果指示应当校正观察者204的位置以改善对立体视觉内容的感知的情况下,通过扬声器130以指示某一方向的音频内容的形式可听地提供消息,观察者204应当沿着所述方向移动以校正其位置,从而改善对立体视觉内容的感知。如上面所描述的,控制然后返回到框502。
已经分别描述了根据第一和第二实施例的用于控制立体显示设备134的示例的由计算机实施的过程400和500,现在将参考图6,图6描述了根据本文中第三实施例的用于控制立体显示设备134的示例的由计算机实施的过程600。过程600可以至少部分地由处理器118执行存储在存储器120(图1)中的指令136来实施。另外,在图6的过程600中所示的步骤的特定顺序是作为示例而非限制来提供的。在不脱离本公开的范围的情况下,可以以不同于在图6中所示的顺序的顺序来执行过程600的步骤。此外,在图6的过程600中所示的一些步骤可以同时被执行而不是顺序被执行。
在框602处,由图像捕获设备128捕获观察者204的至少一部分(在示例中为脸部)的图像。举例来说,如下面所描述的,观察者的头部、眼睛和/或眼镜206的图像可以被包括在所捕获的图像中,以使得能够跟踪观察者204的头部、眼睛和/或眼镜。
在框604处,基于在框602处所捕获的图像来确定观察者204的位置。在框604处执行的观察者204的位置的确定可以包括例如确定观察者204的眼睛,观察者204佩戴的立体眼镜206和/或观察者204的头部中的一个或多个相对于图像捕获设备128和/或显示设备122的相对位置。例如,如上文进一步详细描述的,在框504处,采用一种或多种已知的跟踪算法(在示例中,头部跟踪、眼睛跟踪,眼镜跟踪和/或类似算法)来确定观察者204的位置。在一个示例中,如上面进一步详细描述的,图像捕获设备128和显示设备122之间的位置关系,无论是固定的还是可变的,其都是已知的,并在框504处被用来确定观察者204相对于显示设备122的位置。
在框606处,将在框604处所确定的观测者204的位置与一个或多个预定的位置标准进行比较。如上面进一步详细描述的,预定的位置标准可以包括用于感知立体视觉内容的可接受的观察者位置的范围或者用于感知立体视觉内容的不可接受的观察者位置的范围。
在一个示例中,预定位置标准包括相对于图像捕获设备128的位置和/或显示设备122的位置,用于正确感知立体视觉内容的至少一个可接受的观察者位置,并且在框606处所执行的比较包括计算在框604处所确定的观察者204的位置与至少一个可接受的观察者位置之间的差。
在框608处,取决于在框606处执行的比较的结果,控制跳转到框610或返回到框602。例如,如果在框606处执行的比较结果指示在框604处所确定的观察者204的位置在立体视觉内容的正确感知可接受的位置范围内,则控制跳转回框602,以连续地使显示设备122跟踪观察者204的位置,以保持对由显示器122提供的立体视觉内容的最佳感知的正确位置。
另一方面,如果在框606处执行的比较结果指示在框604处确定的观察者204的位置在立体视觉内容的正确感知可接受的位置范围之外,则控制跳转至框610。
在框610处,基于在框606处执行的比较结果,致动电机132以使显示设备122重新定位。例如,电机132可以使显示设备122重新定位到将在框604处确定的观察者位置与被认为是立体视觉内容的正确感知可接受的观察者位置之间的差减小到预定阈值内的位置(基于在框606处所利用的预定的位置标准)。在另一示例中,可提供磁滞,从而仅在所计算的差超过预定阈值时才重新定位显示设备122。以这种方式,观察者204的位置可以被连续地跟踪,并且显示设备122可以连续地跟随观察者204的被跟踪的位置,以便在观察者204和显示设备122之间保持对由显示设备122提供的立体视觉内容的最佳感知的正确的位置关系。然后,如上面所描述的,控制返回到框602。
本文中所公开的实施例是本公开的示例,并且可以以各种形式实施。例如,尽管本文中的某些实施例被描述为单独的实施例,但本文中的每个实施例可与本文中的一个或多个其它的实施例组合。因此,本文中公开的具体结构和功能细节不应被解释为限制性的,而仅仅是作为权利要求的基础和作为教导本领域技术人员以实际上任何适当的详细结构不同地采用本公开的代表基础。在关于附图的整个描述中,相同的附图标记表示相似或相同的元件。
短语“在实施例中”、“在一些实施例中”或“在其它实施例中”可以各自指代根据本公开内容的相同或不同实施例中的一个或多个。“A或B”形式的短语表示“(A)、(B)或(A和B)”。“A、B或C中的至少一个”形式的短语表示“(A);(B);(C);(A和B);(A和C);(B和C);或(A,B和C)”。术语“临床医生”可以指临床医生或执行医疗过程的任何医疗专业人员,例如医生、护士、技术人员、医疗助手或之类的人员。
本文中所描述的系统还可以利用一个或多个控制器来接收各种信息并转换所接收的信息以生成输出。控制器可以包括任何类型的计算设备、计算电路、或能够执行存储在存储器中的一系列指令的任何类型的处理器或处理电路。控制器可以包括多个处理器和/或多核中央处理单元(CPU),并且可以包括任何类型的处理器,例如微处理器、数字信号处理器、微控制器、可编程逻辑器件(PLD),现场可编程门阵列(FPGA)或之类的处理器。控制器还可以包括用于存储数据和/或指令的存储器,当所述数据和/或指令由一个或多个处理器执行时,使一个或多个处理器执行一种或多种方法和/或算法。
本文中所描述的方法、程序、算法或代码中的任一者可被转换为编程语言或计算机程序或以编程语言或计算机程序表达。如本文中所使用的术语“编程语言”和“计算机程序”各自包括用来指定针对计算机的指令的任何语言,并且包括(但不限于)以下语言及其派生词:汇编语言、Basic、Batch文件、BCPL、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器代码、操作系统命令语言、Pascal、Perl、PLl、脚本语言、VisualBasic、本身指定程序的元语言,以及所有第一、第二、第三、第四、第五或其他代计算机语言。还包括数据库和其它数据模式,以及任何其它元语言。在解释、编译或使用编译和解释方法的语言之间没有区别。在程序的编译版本和源版本之间没有区别。因此,对程序(其中编程语言可以存在多于一个状态(例如源、编译的、对象或链接的))的引用是对任何和所有此类状态的引用。对程序的引用可以包含实际指令和/或那些指令的意图。
本文中所描述的任何方法、程序、算法或代码可以被包含在一个或多个机器可读介质或存储器上。术语“存储器”可以包括以机器(例如,处理器、计算机或数字处理设备)可读的形式提供(在示例中是存储和/或传输)信息的机构。例如,存储器可包含只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪存设备或任何其它易失性或非易失性存储器存储设备。被包含在其上的代码或指令可由载波信号、红外信号、数字信号和其它类似信号表示。
应该理解,前文的描述仅仅是对本公开的说明。在不背离本公开的情况下,本领域技术人员可以设计各种替代和修改。因此,本公开旨在涵盖所有这样的替代、修改和变型。参照附图描述的实施例仅用于说明本公开的某些示例。与上述和/或所附权利要求中所描述的元件、步骤、方法和技术没有实质性不同的其它元件、步骤、方法和技术也旨在于本公开的范围内。
Claims (48)
1.一种立体显示系统,其包含:
包括第一多个像素和第二多个像素的显示设备;
粘附到所述显示设备或与所述显示设备集成的偏振滤光器,所述偏振滤光器包括:
第一部分,其根据第一偏振来对视觉内容进行滤光并且与所述显示设备的所述第一多个像素对齐,以及
第二部分,其根据第二偏振来对视觉内容进行滤光并且与所述显示设备的所述第二多个像素对齐;
存储器,其存储指令;以及
处理器,其被配置为执行所述指令以使所述显示设备:
通过所述偏振滤光器的所述第一部分显示第一视觉内容项,以及
通过所述偏振滤光器的所述第一部分或所述偏振滤光器的所述第二部分中的至少一个显示第一消息,所述第一消息基于所述第一视觉内容项是意在对观察者的第一只眼睛可见还是对所述观察者的第二只眼睛可见。
2.根据权利要求1所述的系统,其中所述处理器另外被配置为执行所述指令以使所述显示设备:
通过所述偏振滤光器的所述第二部分显示第二视觉内容项,以及
通过所述偏振滤光器的所述第一部分或所述偏振滤光器的所述第二部分中的至少一个显示第二消息,所述第二消息基于所述第二视觉内容项是意在对所述观察者的所述第一只眼睛可见还是对所述观察者的所述第二只眼睛可见。
3.根据权利要求2所述的系统,其中所述第一视觉内容项、所述第二视觉内容项、所述第一消息或所述第二消息中的至少一个与所述第一视觉内容项、所述第二视觉内容项、所述第一消息或所述第二消息中的至少另一个同时显示。
4.根据权利要求1所述的系统,其中,所述第一视觉内容项或所述第二视觉内容项中的至少一个包括预定颜色、预定图案或预定文本内容中的至少一个,所述第一视觉内容项与所述第二视觉内容项不同。
5.根据权利要求1所述的系统,其中,所述第一消息包括与所述观察者的眼睛的重新定位相关的查询或指令中的至少一个,以使得所述第一视觉内容项对所述观察者的所述第一只眼睛可见而对所述观察者的所述第二只眼睛不可见,并且所述第二消息包括与所述观察者的眼睛的重新定位相关的查询或指令中的至少一个,以使得所述第二视觉内容项对所述观察者的所述第二只眼睛可见而对所述观察者的所述第一只眼睛不可见。
6.根据权利要求1所述的系统,其中,所述第一偏振是顺时针圆偏振并且所述第二偏振是逆时针圆偏振,或者所述第一偏振是第一线性偏振并且所述第二偏振是相对于所述第一线性偏振异相九十度的第二线性偏振。
7.一种用于控制立体显示设备的计算机实施的方法,其包含:
通过偏振滤光器的第一部分显示第一视觉内容项,所述第一部分根据第一偏振来对视觉内容进行滤光并且与显示设备的第一多个像素对齐,以及
通过所述偏振滤光器的所述第一部分或所述偏振滤光器的第二部分中的至少一个来显示第一消息,所述第二部分根据第二偏振来对视觉内容进行滤光并且与所述显示设备的第二多个像素对齐,所述第一消息基于所述第一视觉内容项是意在对所述观察者的第一只眼睛可见还是对所述观察者的第二只眼睛可见。
8.根据权利要求7所述的计算机实施的方法,其另外包含:
通过所述偏振滤光器的所述第二部分显示第二视觉内容项;以及
通过所述偏振滤光器的所述第一部分或所述偏振滤光器的所述第二部分中的至少一个来显示第二消息,所述第二消息基于所述第二视觉内容项是意在对所述观察者的所述第一只眼睛可见还是对所述观察者的所述第二只眼睛可见。
9.根据权利要求8所述的计算机实施的方法,其中,所述第一视觉内容项、所述第二视觉内容项、所述第一消息或所述第二消息中的至少一个与所述第一视觉内容项、所述第二视觉内容项、所述第一消息或所述第二消息中的至少另一个同时显示。
10.根据权利要求7所述的计算机实施的方法,其中,所述第一视觉内容项或所述第二视觉内容项中的至少一个包括预定颜色、预定图案或预定文本内容中的至少一个,所述第一视觉内容项与所述第二视觉内容项不同。
11.根据权利要求7所述的计算机实施的方法,其中,所述第一消息包括与所述观察者的眼睛的重新定位相关的查询或指令中的至少一个,以使得所述第一视觉内容项对所述观察者的所述第一只眼睛可见而对所述观察者的所述第二只眼睛不可见,并且所述第二消息包括与所述观察者的眼睛的重新定位相关的查询或指令中的至少一个,以使得所述第二视觉内容项对所述观察者的所述第二只眼睛可见而对所述观察者的所述第一只眼睛不可见。
12.根据权利要求7所述的计算机实施的方法,其中,所述第一偏振是顺时针圆偏振并且所述第二偏振是逆时针圆偏振,或者所述第一偏振是第一线性偏振并且所述第二偏振是相对于所述第一线性偏振异相九十度的第二线性偏振。
13.一种非暂时性计算机可读介质,其上存储有指令,所述指令在由处理器执行时使显示设备:
通过偏振滤光器的第一部分显示第一视觉内容项,所述第一部分根据第一偏振对视觉内容进行滤光并且与显示设备的第一多个像素对齐,以及
通过所述偏振滤光器的所述第一部分或所述偏振滤光器的第二部分中的至少一个来显示第一消息,所述第二部分根据第二偏振对视觉内容进行滤光并且与所述显示设备的第二多个像素对齐,所述第一消息基于所述第一视觉内容项是意在对观察者的第一只眼睛可见还是对所述观察者的第二只眼睛可见。
14.根据权利要求13所述的非暂时性计算机可读介质,其中所述指令在由所述处理器执行时另外使所述显示设备:
通过所述偏振滤光器的所述第二部分显示第二视觉内容项;以及
通过所述偏振滤光器的所述第一部分或所述偏振滤光器的所述第二部分中的至少一个显示第二消息,所述第二消息基于所述第二视觉内容项是意在对所述观察者的所述第一只眼睛可见还是对所述观察者的所述第二只眼睛可见。
15.根据权利要求14所述的非暂时性计算机可读介质,其中,所述第一视觉内容项、所述第二视觉内容项、所述第一消息或所述第二消息中的至少一个与所述第一视觉内容项、所述第二视觉内容项、所述第一消息或所述第二消息中的至少另一个同时显示。
16.根据权利要求13所述的非暂时性计算机可读介质,其中,所述第一视觉内容项或所述第二视觉内容项中的至少一个包括预定颜色,预定图案或预定文本内容中的至少一个,所述第一视觉内容项与所述第二视觉内容项不同。
17.根据权利要求13所述的非暂时性计算机可读介质,其中,所述第一消息包括与所述观察者的眼睛的重新定位相关的查询或指令中的至少一个,以使得所述第一视觉内容项对所述观察者的所述第一只眼睛可见而对所述观察者的第二只眼睛不可见,并且所述第二消息包括与所述观察者的眼睛的重新定位相关的查询或指令中的至少一个,以使得所述第二视觉内容项对所述观察者的所述第二只眼睛可见而对所述观察者的所述第一只眼睛不可见。
18.根据权利要求13所述的非暂时性计算机可读介质,其中,所述第一偏振是顺时针圆偏振并且所述第二偏振是逆时针圆偏振,或者所述第一偏振是第一线性偏振并且所述第二偏振是相对于所述第一线性偏振异相九十度的第二线性偏振。
19.一种用于改善立体视觉内容的感知的系统,其包含:
图像捕获设备,其被配置为捕获观察者的图像;以及
处理器,其被配置为:
基于所捕获的图像确定所述观察者的位置,
将所确定的所述观察者的位置与预定的位置标准进行比较,以及
使基于比较结果的消息提供给所述观察者。
20.根据权利要求19所述的系统,其另外包含以下中的至少一个:
显示设备,其被配置为在所述比较结果指示所述观察者的所述位置应当被校正以改善立体视觉内容的感知的情况下,以指示某一方向的显示内容的形式提供所述消息,所述观察者应当沿着所述方向移动到正确位置以改善立体视觉内容的感知;或
音频设备,其被配置为在所述比较结果指示所述观察者的所述位置应当被校正以改善立体视觉内容的感知的情况下,以指示某一方向的音频内容的形式提供所述消息,所述观察者应当沿着所述方向移动到正确位置以改善立体视觉内容的感知。
21.根据权利要求20所述的系统,其中,确定所述观察者的所述位置包括:确定所述观察者的眼睛、所述观察者佩戴的立体眼镜或所述观察者的头部中的至少一个相对于所述图像捕捕获设备或所述显示设备中的至少一个的相对位置。
22.根据权利要求19所述的系统,其另外包含以下中的至少一个:
显示设备,其被配置为在所述比较结果指示所述观察者被正确地定位以感知立体视觉内容的情况下,以显示内容的形式提供所述消息,所述显示内容指示所述观察者被正确地定位以感知立体视觉内容;或者
音频设备,其被配置为在所述比较结果指示所述观察者被正确地定位以感知立体视觉内容的情况下,以音频内容的形式提供所述消息,所述音频内容指示所述观察者被正确地定位以感知立体视觉内容。
23.根据权利要求19所述的系统,其中,所述预定的位置标准包括用于感知立体视觉内容的可接受的观察者位置的范围或用于感知立体视觉内容的不可接受的观察者位置的范围。
24.一种用于改善立体视觉内容的感知的计算机实施的方法,其包含:
捕获观察者的图像;
基于所捕获的图像确定所述观察者的位置;
将所确定的所述观察者的位置与预定的位置标准进行比较;以及
使基于比较结果的消息提供给所述观察者。
25.根据权利要求24所述的计算机实施的方法,其另外包含以下中的至少一个:
在所述比较结果指示所述观察者的所述位置应当被校正以改善立体视觉内容的感知的情况下,以指示某一方向的显示内容的形式提供所述消息,所述观察者应当沿着所述方向移动到正确位置以改善立体视觉内容的感知;或者
在所述比较结果指示所述观察者的所述位置应当被校正以改善立体视觉内容的感知的情况下,以指示某一方向的音频内容的形式提供所述消息,所述观察者应当沿着所述方向移动到正确位置以改善立体视觉内容的感知。
26.根据权利要求25所述的计算机实施的方法,其中,确定所述观察者的所述位置包括:确定所述观察者的眼睛、所述观察者佩戴的立体眼镜或所述观察者的头部中的至少一个相对于图像捕获设备或显示设备中的至少一个的相对位置。
27.根据权利要求24所述的计算机实施的方法,其另外包含以下中的至少一个:
在所述比较结果指示所述观察者被正确地定位以感知立体视觉内容的情况下,以显示内容的形式提供所述消息,所述显示内容指示所述观察者被正确地定位以感知立体视觉内容;或者
在所述比较结果指示所述观察者被正确地定位以感知立体视觉内容的情况下,以音频内容的形式提供所述消息,所述音频内容指示所述观察者被正确地定位以感知立体视觉内容。
28.根据权利要求24所述的计算机实施的方法,其中,所述预定的位置标准包括用于感知立体视觉内容的可接受的观察者位置的范围或用于感知立体视觉内容的不可接受的观察者位置的范围。
29.一种非暂时性计算机可读介质,其上存储有指令,所述指令在由处理器执行时使得以下操作得以执行:
图像捕获设备捕获观察者的图像;以及
所述处理器进行以下操作:
基于所捕获的图像来确定所述观察者的位置;
将所确定的所述观察者的位置与预定的位置标准进行比较;以及
使基于比较结果的消息提供给所述观察者。
30.根据权利要求29所述的非暂时性计算机可读介质,其中所述指令在由所述处理器执行时另外使以下操作得以执行:
在所述比较结果指示所述观察者的所述位置应当被校正以改善立体视觉内容的感知的情况下,显示设备以指示某一方向的显示内容的形式提供所述消息,所述观察者应当沿着所述方向移动到正确位置以改善立体视觉内容的感知;和/或
在所述比较结果指示所述观察者的所述位置应当被校正以改善立体视觉内容的感知的情况下,音频设备以指示某一方向的音频内容的形式提供所述消息,所述观察者应当沿着所述方向移动到正确位置以改善立体视觉内容的感知。
31.根据权利要求30所述的非暂时性计算机可读介质,其中,确定所述观察者的所述位置包括:确定所述观察者的眼睛、观察者佩戴的立体眼镜或观察者的头部中的至少一个相对于所述图像捕获设备或显示设备中的至少一个的相对位置。
32.根据权利要求29所述的非暂时性计算机可读介质,其中所述指令在由所述处理器执行时另外使以下操作得以执行:
在所述比较结果指示所述观察者被正确地定位以感知立体视觉内容的情况下,显示设备以显示内容的形式提供所述消息,所述显示内容指示所述观察者被正确地定位以感知立体视觉内容;和/或
在所述比较结果指示所述观察者被正确地定位以感知立体视觉内容的情况下,音频设备以音频内容的形式提供所述消息,所述音频内容指示所述观察者被正确地定位以感知立体视觉内容。
33.根据权利要求29所述的非暂时性计算机可读介质,其中,所述预定的位置标准包括用于感知立体视觉内容的可接受的观察者位置的范围或用于感知立体视觉内容的不可接受的观察者位置的范围。
34.一种用于改善立体视觉内容的感知的系统,其包含:
显示设备;
图像捕获设备,其被配置为捕获观察者的图像;以及
处理器,其被配置为:
基于所捕获的所述观察者的图像来确定所述观察者的位置,
将所确定的所述观察者的位置与预定的位置标准进行比较,以及
基于比较结果,使所述显示设备重新定位。
35.根据权利要求34所述的系统,其中所述观察者的所述位置包括:所述观察者的眼睛、所述观察者佩戴的立体眼镜或所述观察者的头部中的至少一个相对于所述图像捕获设备的位置或所述显示设备的位置中的至少一个的相对位置。
36.根据权利要求34所述的系统,
其中,所述预定的位置标准包括相对于所述图像捕获设备的位置或所述显示设备的位置中的至少一个的用于感知立体视觉内容的至少一个可接受的观察者位置,以及
其中,所述将所述所确定的所述观察者的位置与所述预定的位置标准进行比较包括:计算所述所确定的所述观察者的位置与用于感知立体视觉内容的所述可接受的观察者位置之间的差。
37.根据权利要求36所述的系统,其中,所述使所述显示设备重新定位包括使所述显示设备重新定位到一个位置,所述位置将所述所确定的所述观察者的位置与用于感知立体视觉内容的所述可接受的观察者位置之间的差减小到预定阈值内。
38.根据权利要求37所述的系统,其中,所述使所述显示设备重新定位包括:仅当所计算的误差超过所述预定阈值时才使所述显示设备重新定位。
39.一种用于改善立体视觉内容的感知的计算机实施的方法,其包含:
经由图像捕获设备来捕获观察者的图像;
基于所捕获的所述观察者的图像来确定所述观察者的位置;
将所确定的所述观察者的位置与预定的位置标准进行比较;以及
基于比较结果,使显示设备重新定位。
40.根据权利要求39所述的计算机实施的方法,其中,所述观察者的所述位置包括:所述观察者的眼睛、所述观察者佩戴的立体眼镜或所述观察者的头部中的至少一个相对于所述图像捕获设备的位置或所述显示设备的位置中的至少一个的相对位置。
41.根据权利要求39所述的计算机实施的方法,
其中,所述预定的位置标准包括相对于所述图像捕获设备的位置或所述显示设备的位置中的至少一个的用于感知立体视觉内容的至少一个可接受的观察者位置,且
其中,所述将所述所确定的所述观察者的位置与所述预定的位置标准进行比较包括:计算所述所确定的所述观察者的位置与用于感知立体视觉内容的所述可接受的观察者位置之间的差。
42.根据权利要求41所述的计算机实施的方法,其中,所述使所述显示设备重新定位包括使所述显示设备重新定位到一个位置,所述位置将所述所确定的所述观察者的位置与用于感知立体视觉内容的所述可接受的观察者位置之间的差减小到预定阈值内。
43.根据权利要求42所述的计算机实施的方法,其中,所述使所述显示设备重新定位包括:仅当所计算的误差超过所述预定阈值时才使所述显示设备重新定位。
44.一种非暂时性计算机可读介质,其上存储有指令,所述指令在由处理器执行时使得以下操作得以执行:
图像捕获设备捕获观察者的图像;以及
所述处理器进行以下操作:
基于所捕获的所述观察者的图像确定所述观察者的位置;
将所确定的所述观察者的位置与预定的位置标准进行比较;以及
基于比较结果,使显示设备重新定位。
45.根据权利要求44所述的非暂时性计算机可读介质,其中,所述观察者的所述位置包括:所述观察者的眼睛、所述观察者佩戴的立体眼镜或所述观察者的头部中的至少一个相对于所述图像捕获设备的位置或所述显示设备的位置中的至少一个的相对位置。
46.根据权利要求44所述的非暂时性计算机可读介质,
其中,所述预定的位置标准包括相对于所述图像捕获设备的位置或所述显示设备的位置中的至少一个的用于感知立体视觉内容的至少一个可接受的观察者位置,且
其中,所述将所述所确定的所述观察者的位置与所述预定的位置标准进行比较包括:计算所述所确定的所述观察者的位置与用于感知立体视觉内容的所述可接受的观察者位置之间的差。
47.根据权利要求46所述的非暂时性计算机可读介质,其中,所述使所述显示设备重新定位包括使所述显示设备重新定位到一个位置,所述位置将所述所确定的所述观察者的位置与用于感知立体视觉内容的所述可接受的观察者位置之间的差减小到预定阈值内。
48.根据权利要求47所述的非暂时性计算机可读介质,其中,所述使所述显示设备重新定位包括:仅当所计算的误差超过所述预定阈值时才使所述显示设备重新定位。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762546306P | 2017-08-16 | 2017-08-16 | |
US62/546,306 | 2017-08-16 | ||
PCT/US2018/000290 WO2019036005A2 (en) | 2017-08-16 | 2018-08-16 | OPTIMIZING THE PERCEPTION OF STEREOSCOPIC VISUAL CONTENT |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111093552A true CN111093552A (zh) | 2020-05-01 |
Family
ID=65362696
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880058541.6A Pending CN111093552A (zh) | 2017-08-16 | 2018-08-16 | 优化立体视觉内容的感知 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20200169724A1 (zh) |
EP (1) | EP3668438A4 (zh) |
CN (1) | CN111093552A (zh) |
WO (1) | WO2019036005A2 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10179407B2 (en) * | 2014-11-16 | 2019-01-15 | Robologics Ltd. | Dynamic multi-sensor and multi-robot interface system |
US11100360B2 (en) * | 2016-12-14 | 2021-08-24 | Koninklijke Philips N.V. | Tracking a head of a subject |
CN111989065A (zh) * | 2018-04-20 | 2020-11-24 | 柯惠Lp公司 | 具有立体显示器的机器人手术系统中的观察者移动的补偿 |
US10895757B2 (en) * | 2018-07-03 | 2021-01-19 | Verb Surgical Inc. | Systems and methods for three-dimensional visualization during robotic surgery |
WO2024006518A1 (en) * | 2022-06-30 | 2024-01-04 | University Of South Florida | Simultaneous polarized light viewing/imaging through a split polarizer |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070040905A1 (en) * | 2005-08-18 | 2007-02-22 | Vesely Michael A | Stereoscopic display using polarized eyewear |
US20110157555A1 (en) * | 2009-12-28 | 2011-06-30 | Sanyo Electric Co., Ltd. | Stereoscopic-image display device |
US20140121834A1 (en) * | 2011-07-15 | 2014-05-01 | Olympus Corporation | Manipulator system |
US20160048203A1 (en) * | 2014-08-18 | 2016-02-18 | Universal City Studios Llc | Systems and methods for generating augmented and virtual reality images |
US20170180720A1 (en) * | 2014-03-19 | 2017-06-22 | Intuitive Surgical Operations, Inc. | Medical devices, systems, and methods using eye gaze tracking for stereo viewer |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1930605B (zh) * | 2004-01-20 | 2010-05-05 | 埃克兰斯波莱尔斯股份有限公司 | 立体显示系统和方法 |
US20070085903A1 (en) * | 2005-10-17 | 2007-04-19 | Via Technologies, Inc. | 3-d stereoscopic image display system |
JP2011071898A (ja) * | 2009-09-28 | 2011-04-07 | Panasonic Corp | 立体映像表示装置および立体映像表示方法 |
WO2011069469A1 (en) * | 2009-12-11 | 2011-06-16 | Hospital Authority | Stereoscopic visualization system for surgery |
KR102019125B1 (ko) * | 2013-03-18 | 2019-09-06 | 엘지전자 주식회사 | 3d 디스플레이 디바이스 장치 및 제어 방법 |
-
2018
- 2018-08-16 US US16/634,284 patent/US20200169724A1/en not_active Abandoned
- 2018-08-16 WO PCT/US2018/000290 patent/WO2019036005A2/en unknown
- 2018-08-16 CN CN201880058541.6A patent/CN111093552A/zh active Pending
- 2018-08-16 EP EP18846550.4A patent/EP3668438A4/en not_active Withdrawn
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070040905A1 (en) * | 2005-08-18 | 2007-02-22 | Vesely Michael A | Stereoscopic display using polarized eyewear |
US20110157555A1 (en) * | 2009-12-28 | 2011-06-30 | Sanyo Electric Co., Ltd. | Stereoscopic-image display device |
US20140121834A1 (en) * | 2011-07-15 | 2014-05-01 | Olympus Corporation | Manipulator system |
US20170180720A1 (en) * | 2014-03-19 | 2017-06-22 | Intuitive Surgical Operations, Inc. | Medical devices, systems, and methods using eye gaze tracking for stereo viewer |
US20160048203A1 (en) * | 2014-08-18 | 2016-02-18 | Universal City Studios Llc | Systems and methods for generating augmented and virtual reality images |
Also Published As
Publication number | Publication date |
---|---|
WO2019036005A2 (en) | 2019-02-21 |
WO2019036005A3 (en) | 2019-04-18 |
EP3668438A4 (en) | 2021-08-18 |
EP3668438A2 (en) | 2020-06-24 |
US20200169724A1 (en) | 2020-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111093552A (zh) | 优化立体视觉内容的感知 | |
US11547520B2 (en) | Systems, methods, and computer-readable storage media for controlling aspects of a robotic surgical device and viewer adaptive stereoscopic display | |
US10888389B2 (en) | Systems and methods for arbitrary viewpoint robotic manipulation and robotic surgical assistance | |
AU2018280144B2 (en) | User interface systems for sterile fields and other working environments | |
US20140285641A1 (en) | Three-dimensional display device, three-dimensional image processing device, and three-dimensional display method | |
CN113194862A (zh) | 使用增强反射镜显示器设置外科机器人 | |
US10764560B2 (en) | System for three-dimensional visualization | |
CN113010125A (zh) | 方法、计算机程序产品和双目式头戴装置控制器 | |
US20220272272A1 (en) | System and method for autofocusing of a camera assembly of a surgical robotic system | |
KR101818839B1 (ko) | 스테레오 삼차원 영상 콘텐츠 디스플레이 제작 및 재생 방법 | |
KR20160062499A (ko) | 3차원 상호작용 컴퓨팅 장치 및 방법 | |
CN112971877B (zh) | 一种用于眼睑翻开的软体装置及方法 | |
Ferre et al. | Stereoscopic human interfaces | |
JPH06131442A (ja) | 3次元虚像造形装置 | |
JP2008233081A (ja) | 視空間点認知の方法 | |
Gao et al. | Modeling the convergence accommodation of stereo vision for binocular endoscopy | |
CN110900606B (zh) | 一种基于小型机械臂手眼联动系统及其控制方法 | |
KR20170142896A (ko) | 컨버전스 매칭을 이용한 개인용 3차원 영상 제공 방법 및 장치 | |
Kamei et al. | Study on master manipulator design parameters for robotic microsurgery | |
JP2006123102A (ja) | 眼球制御装置、眼球制御方法および眼球制御プログラム | |
Yang et al. | EyeLS: Shadow-Guided Instrument Landing System for Target Approaching in Robotic Eye Surgery | |
Yang et al. | EyeLS: Shadow-Guided Instrument Landing System for Intraocular Target Approaching in Robotic Eye Surgery | |
Cutolo | Wearable Stereoscopic Augmented Reality System for Medical Procedures. | |
CN115192207A (zh) | 手术机器人、主操作台及其控制方法、控制装置 | |
Bergeon et al. | Stereo vision for teleoperated robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200501 |
|
WD01 | Invention patent application deemed withdrawn after publication |