CN104603690A - 基于观看者的视角来改变显微图像设备的视角 - Google Patents

基于观看者的视角来改变显微图像设备的视角 Download PDF

Info

Publication number
CN104603690A
CN104603690A CN201380045602.2A CN201380045602A CN104603690A CN 104603690 A CN104603690 A CN 104603690A CN 201380045602 A CN201380045602 A CN 201380045602A CN 104603690 A CN104603690 A CN 104603690A
Authority
CN
China
Prior art keywords
beholder
visual angle
image
display
imageing sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380045602.2A
Other languages
English (en)
Inventor
C·N·鲍朗格
P·H·迪茨
S·N·巴思彻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN104603690A publication Critical patent/CN104603690A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0016—Technical microscopes, e.g. for inspection or measuring in industrial production processes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本文描述了用于基于观看者的视角改变显微图像设备的视角的各种装置和技术。这些技术的各种实施例基于观看者头部位置来传感观看者的视角的改变，并控制显微图像设备用于基于观看者的视角的改变来显示对象的图像。

Description

基于观看者的视角来改变显微图像设备的视角
背景
光学检查显微镜长期被用于工业和医学以提供感兴趣区域(诸如印刷电路板、皮肤或肌肉的部分)的放大的视图。最近，立体光学检查显微镜已被使用，从而提供感兴趣区域的三维的放大视图。然而这些立体显微镜仍受到限制。遮挡可使得不重新放置正在观察的对象就难以或不可能看见一些特征。此外，许多人因一只眼睛视力差或眼间协调有问题而不能够充分利用这些立体显微镜的优点。
发明内容
本文描述了用于基于观看者的视角改变显微图像设备的视角的各种装置和技术。这些设备和技术使得观看者，甚至是有些视力问题的观看者，能够从不同视角观察感兴趣的区域。这些不同的视角可随着观看者移动他或她的头部而被实时提供。在这样做时，观看者可诸如“环顾”遮挡之类而无需重新放置正在观察的对象。同样，这些装置和技术使得观看者能够使用运动视差来三维地感知该区域。
提供本发明内容以便以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容不旨在标识所要求保护的主题的关键或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
附图说明
参考附图来描述具体实施方式。在附图中，附图标记中最左边的数字标识该附图标记首次出现的附图。在说明书和附图的不同实例中使用相同的附图标记可指示相似或相同的项目。
图1示出了在其中可实现这些技术的示例环境。
图2示出了示例台式计算机、显示器、收集观看者位置数据的传感器，和观看者。
图3示出了能够提供3D图像而无需使用特殊眼镜的示例显示器。
图4是描绘用于基于观看者的视角来改变显微图像设备的视角的示例方法的流程图。
图5示出了示例观看者、显微图像设备、显示器和电路板。
图6是描绘用于基于观看者的视角，包括基于观看者头部位置的实时改变，来改变显微图像设备的视角的示例方法的流程图。
图7示出了其中可实现用于基于观看者的视角来改变显微图像设备的视角的各技术的示例设备。
详细描述
概述
本文描述了用于基于观看者的视角改变显微图像设备的视角的各种装置和技术。这些技术的各种实施例基于观看者头部位置来传感观看者的视角的改变，并控制显微图像设备用于基于观看者的视角的改变来显示对象的图像。
在一些实施例中，这些装置包括电子的或部分电子的(而不是纯光学的)显微图像设备，该显微图像设备具有电子图像传感器、致动器、以及与显示器和能够传感观看者的传感器进行通信的控制器。
针对第一示例，假设，技术人员使用该装置将计算芯片焊接到电路板。技术人员在显示器上以二维或三维(取决于装置包括一个还是两个电子图像传感器)观察芯片和电路板的区域。还假设，技术人员双手使用精密仪器将芯片焊接到板，同时看着显示器而不是芯片或板。假设在某些时候，技术人员需要围绕遮挡住焊接点的电容器结构进行观看。技术人员可相对于显示器上的电容器来移动他或她的头部，就像他或她正环顾电路板上的电容器结构那样，而不是不得不使用他或她的手来操纵电路板来围绕电容器结构进行观看(这需要技术人员停止他或她的一只手或双手工作)。传感器传感观看者的视角的改变并将该数据发送到控制器，然后控制器控制致动器以将电子图像传感器移动到与观看者的视角大致匹配的视角。通过这样做，观看者可围绕电容器结构进行观看以查看焊接点。
针对第二示例，假设，外科医生正使用该装置作为内窥镜的一部分来进行微创手术。外科医生可以使用他或她的手来进行手术并使用他或她的头部来引起相机的视角的改变。通过这样做，外科医生可以更好地观察感兴趣的器官或团块而无需打断外科医生的手的使用。
在这些或其它示例情况中，观看者可向后和向前移动他或她的头部以获得视图的实时改变。这些视图改变为观看者提供运动视差，这允许观看者以三维来感知对象(即使显示器仅提供二维图像)或比静态三维图像更好地以三维来感知对象。
示例环境
图1是在其中可实现基于观看者的视角改变显微图像设备的视角的示例环境100的图示。环境100包括显示器设备102和显微图像设备104。显示器设备102以示例而非限制的方式被显示为智能电话106、膝上型计算机108、电视设备110、台式计算机112，或平板计算机114之一。通常，显示设备102可向观看者提供一个或多个二维(2D)或三维(3D)内容。在一个非限制性实施例中，显示设备102向观看者提供3D内容而无需使用特殊的3D眼镜。3D内容可包括图像(例如，立体视觉图像)和/或视频，用于使得在显示时观看者能够感觉到内容内的深度。
显示设备102包括处理器116和包括存储器介质120和存储介质122的计算机可读介质118。实现为计算机可读存储器118上的计算机可读指令的应用和/或操作系统(未示出)可被处理器116执行以提供在此描述的一些或全部功能。计算机可读介质118还包括立体视觉管理器124和控制器126。立体视觉管理器124允许图像三维显示无需特殊眼镜，尽管对于在此描述的装置的操作或技术而言这并不需要。控制器126可被包括在显示器设备102和/或显微图像设备104内，或与显示器设备102和/或显微图像设备104进行通信。以下更详细描述控制器126如何变换实现和使用。
显示设备102还包括显示器128、传感器130、输入/输出(I/O)端口132，和网络接口134。显示器128能够以二或三维(2D或3D)来呈现图像。在以3D生成图像时，显示器128可使用传统方式(例如，使用特殊眼镜)或通过生成无需使用特殊眼镜就可观看的立体视觉3D内容来这样做。显示器128可以与显示设备102分开或与显示设备102集成；集成的示例包括智能电话106、膝上型计算机108，和平板112；分开的示例包括电视机设备110以及(在某些情况下)台式计算机112(例如，当实现为如所示的分开的塔式机箱和监视器时)。
传感器130收集对确定观看者的诸如相对于显示器128的视角有用的观看者位置数据。考虑如图2所示的观看者位置数据的一些示例。图2示出了台式计算机112、显示器128、收集观看者位置数据的示例传感器202，和观看者204。注意在观看者头部208和显示器128之间的距离206可被收集和/或确定，并且还注意到这个距离206可基于平行于显示器128的平面210与显示器128有关。距离206是相对Z位置，在观看者头部208的平面210内从左到右布置是相对X位置，且在平面210内上下布置是相对Y位置。观看者位置数据不限于X、Y、和Z轴，并且举例来说可包括观看者眼睛位置(例如，观看者的眼睛正在看何处)，或头部208的前倾、偏斜，或晃动，仅举一些。尽管传感器202被描述为具有众多能力，但所描述的技术和装置的许多实施例可用简单和/或不昂贵的类型的传感器130，诸如摄像头，来执行。示例的简单类型的传感器在图1中以传感器130－1和130－2示出，两者都与显示设备120集成。
来自传感器202的位置数据可被用于确定观看者相对于显示器128的一部分(诸如显示器128上显示的特定对象或区域)的位置。因此，观看者204可相对于对象214的区域212(而不是一般地相对于显示器128)移动头部208。观看者位置数据可被用于确定相对于区域212的这一移动，控制器126可基于区域212而不是显示器128的中心点216使用这一移动来改变显微图像设备104的视角。
回到图1，传感器130可与显示设备102分开或与显示设备102集成；集成示例包括电视机设备110的传感器130－1和平板计算机114的传感器130－2；分开的示例包括单独的传感器，诸如可操作地与显示设备102耦合的传感器、机顶盒，或游戏设备。
传感器130可通过各种传感技术，或单独工作或相互协作，来收集观看者位置数据。传感技术可包括，作为示例而非显示，光学、无线电频率、声学的(有源或无源的)、微机电系统(MEMS)、超声波、红外、压敏等等。在一些实施例中，传感器130可接收额外的数据或者与和一个或多个观看者相关联的远程控制设备或游戏控制器协同工作以生成观看者位置数据。
内容(例如2D或3D图像)由显示设备102通过显示设备102的一个或多个I/O端口132从显微图像设备104接收。显示设备102的I/O端口132还能够一般地与显微图像设备104交互，诸如提供控制或观看者位置数据。I/O端口132可包括各种端口，诸如作为示例而非限制，高清晰度多媒体(HDMI)、数字视频接口(DVI)、显示端口、光纤或基于光的、音频端口(例如，模拟、光学，或数字)、USB接口、串行高级技术附件(SATA)端口、基于高速外围组件互连(PCI)的端口或卡槽、串行端口、并行端口，或其它传统端口。
显示设备102还可包括网络接口134，用于通过有线、无线，或光学网络来进行数据通信。通过这样的网络传递的数据可包括控制、观看者位置数据和可通过显示器128显示或交互的内容。作为示例而非限制，网络接口134可通过局域网(LAN)、无线局域网(WLAN)、个人区域网(PAN)、广域网(WAN)、内联网、互联网、对等网络、点对点网络、网格网络等来进行数据通信。
如上面注意的，在一些实施例中，显示器128能够提供3D图像而无需使用特殊眼镜。图3示出了显示器128的这个实施例的详细的示例。在此，显示器128包括透镜结构302、光入射系统304、光重新定向器306，和空间光调制器308。显示器128可被配置为非基于投影的平板显示器，其具有类似液晶显示器(LCD)面板等的深度或厚度。当从光入射系统304接收光时，透镜结构302从表面发射光。从透镜结果302发射的光可以是准直光。在一些情况中，透镜结构302是具有接收光的薄端310、用于(例如通过端反射器或反射镀层)反射光的厚端312，和观看表面314(在其上光作为准直光被发射)的光楔(optical wedge)。
在一些实现中，光楔可包括光学透镜或光导，该光学透镜或光导允许在光楔的边缘(例如薄端310)输入的光在到达用于内反射的临界角并经由光楔的另一表面(例如观看表面314)出射之前在光楔内通过内部全反射扇出(fan out)。光可以以相对于观看表面314的掠射角离开光楔。
由透镜结构302发射的光可通过改变由光入射系统304生成的光或其入射位置而被扫描。通常，扫描光使得无需使用特殊眼镜可看的3D内容能够显示。经扫描的光使得不同立体视觉图像对各观看者的每个眼睛能够显示。
空间光调制器308用视觉信息调制光以形成由会聚在观看者316的眼睛上的光显示的图像。在一些情形中，视觉信息是指向观看者316的不同眼睛以提供3D内容的视差信息。例如，空间光调制器308可用立体视觉图像的一帧调制指向观看者的左眼的光，并接着用立体视觉图像的另一帧调制指向观看者的右眼的光。因此，通过同步(准直的或其它的)光的扫描和调制，3D内容可被提供给观看者。
在这个特定示例中，立体视觉管理器124可操作地耦合到光入射系统304和传感器130。在一些情况中，立体视觉管理器124可操作地与空间光调制器308或与之相关联的调制控制器耦合。立体视觉管理器124接收观看者位置信息，诸如由传感器130收集的到观看者的距离，并可控制内置光入射源304用于通过显示器128以各种不同距离显示3D图像。
如上面提到的，显示器128并不被要求提供需要或不需要使用特殊眼镜的3D图像。显示器128也可简单提供来自显微图像设备的对象或其区域的2D图像。
回到图1的显微图像设备104，显微图像设备104能够从多视角提供对象的图像。在一些实施例中，这些多个视角通过移动一个或多个图像传感器来提供。替换地或附加地，这些多个视角可由图像传感器阵列提供，阵列的每个图像传感器具有一不同视角。此外，虽然在此描述的装置和技术以显微图像设备上下文来描述，这些装置和技术也可或替代地基于观看者的视角来改变包括那些提供其它显微图像(例如扫描电子显微图像)或非显微图像(诸如非放大图像、高清视频图像、IMAX和其它大屏幕图像等等)的其它图像设备的视角。
显微图像设备104包括处理器136、具有存储器介质140和存储介质142的计算机可读介质138，类似上面针对显示设备102提出的。计算机可读介质138还包括控制器126，尽管控制器126也可或替代地从显示设备102操作，和/或操作为硬件或固件。
显微图像设备104还包括一个或多个图像传感器144、致动器146，和光源148。图像传感器144能够从多个视角传感对象的图像。在一些实施例中，显微图像设备104可放弃包括致动器146。在这样的情况中，显微图像设备104包括多个固定的图像传感器的阵列，固定的图像传感器的每一个提供对象的一个不同视角。
致动器146连接到图像传感器144的一个可移动图像传感器(或其立体组)。致动器146能够响应于控制器126的控制来移动图像传感器144，诸如围绕对象或其部分(例如图2的对象214或区域212)。
取决于显微图像设备104的配置，光源148可以是固定的或可移动的。在一些情况中，每个图像传感器144包括光源148，使得当(或如果)图像传感器被移动时，光源148也被移动。
控制器126能够控制图像传感器144，无论它来自一个传感器、一组立体传感器，或传感器阵列。另外或替代，通过确定图像传感器144的哪个图像最匹配观看者的视角，控制器126可控制图像传感器144阵列而无需移动传感器。
更详细而言，控制器126可从传感器130接收观看者位置数据。如所注意的，这个观看者位置数据指示或能决定指示观看者的视角。控制器126接着确定多个视角中的哪一个最匹配观看者视角，是从正在移动的一个图像传感器144接收还是从固定或移动的图像传感器阵列144接收，并接着使得显示器128呈现所确定的视角。
在控制器126移动图像传感器的情况中，控制器126使得致动器146移动可移动图像传感器用于改变可移动图像传感器的视角，被改变的视角是多个视角之一，从中控制器能够确定最佳匹配。
示例方法
图4是描绘用于基于观看者的视角改变显微图像设备的视角的示例方法400的流程图。
框402接收观看者位置数据，观看者位置数据使得能够确定或指示观看者位置的改变。例如，这个观看者位置数据可基于观看者的头部、眼睛，或身体位置。位置的改变是相对于对象的图像当前正被呈现于其上的显示器的。如上面关于图2的部分中注意的，观看者位置数据可指示或被用于确定各种位置、朝向等。
作为示例，考虑图5，其示出了示例观看者502、显微图像设备504、显示器506，和电路板508。在此，观看者502是在电路板508上焊接对象510的技术人员。注意该技术人员正在显示器506上看对象510的放大的视图512，而不是看电路板508上的对象510。在此示例中，(图1的)控制器126(图5未示出)可接收观看者位置数据并基于观看者位置数据来确定观看者的视角。例如，控制器126可基于观看者头部位置的多个自由度来这样做，诸如前倾、偏斜，或晃动，X、Y、Z轴(示出)方向的位置、头部抬起、脸部角度，和眼睛位置，此处仅举一些例。对于该示例，假设观看者502沿着X轴移动他或她的头部，试图更好地观看对象510的一部分。观看者位置数据的其它示例以及它如何可被使用描述如下。
框404相对于对象并基于观看者相对于显示器的位置的改变来改变图像传感器的视角。继续图5中所示的示例，假设显微图像设备504包括摄像头和伺服电动机(未示出)，摄像头是图像传感器144的简单示例，而伺服电动机是致动器146的示例，两者都在上面结合图1描述了。在框404，控制器126使用伺服电动机并基于观看者502头部位置相对于X轴的改变来移动摄像头。该移动可以是沿着X轴线性的，因此平行于技术人员的头部的移动来移动摄像头也沿着X轴。
更一般地，注意控制器126不需要如观看者的头部位置一样的线性方式来移动图像传感器。假设观看者位置数据在框402被接收，该数据指示观看者的头部平行于显示器的线性移动。在这样的情况中，通过大致以围绕大致处于对象处的枢轴点的弧形移动图像传感器，控制器126可改变图像传感器相对于正在被图像传感器传感的对象的视角。因此平行于显示器的这一线性移动(例如在图2的平面210内或沿着图5的X轴)可被控制器126使用以提供替代的围绕该对象的弧形的视角。通常，平行于显示器移动的观看者不试图以那个视角而是以弧形查看对象。如果观看者移离显示器的中心点，完全相符的视角将使得图像传感器移离对象，提供了距对象的改变的距离及改变的角度。然而，视角的弧度改变提供了距对象大致一致的距离但具有改变的角度。
然而，在一些情况中，观看者位置数据指示观看者正在围绕显示器、对象、或对象的图像的某区域的弧形中移动他或她的头部。在这样的情形中，基于对象的与观看者相对于显示器上一位置的移动的图像枢轴点相关的所确定的部分，控制器126可跟随那个弧形。这样做时，控制器126提供非常类似于观看者的头部移动的视角。
框406从图像传感器接收图像数据，图像数据以改变了的视角示出该对象。因此，控制器126可从图像传感器144接收图像并使得显示器128呈现这些图像，这可以是无缝的且实时的，尽管不是必需的。如果控制器126在显微图像设备104内，则控制器126通过I/O端口132和/或网络接口134从传感器130接收数据。如果控制器126在显示设备102内，则控制器126通过这些端口和/或接口向显微图像设备104发送命令。
框408促成显示器基于所接收的图像数据来呈现对象的图像。总结正在进行的示例，假设在框406接收到来自不同视角的放大的视图，并且控制器126在框408在显示器506(未示出)上呈现改变了的放大的视图。
如上面所提到的，来自图像传感器的图像数据可包括立体或单一图像，并且可被显示为2D、3D，或无需使用特殊眼镜的3D。同样，如以上部分中提到的，各技术可向观看者提供对象的运动视差。例如，如果观看者不能分辨对象的某方面，则观看者可诸如向后和向前移动他或她的头部，并因此分辨该方面。运动视差是人类和动物同样使用的用于以三维区分对象的已知的效果，并且因此不在此详述。
图6是描绘用于基于观看者的视角，包括基于观看者头部位置的实时改变，来改变显微图像设备的视角的示例方法600的流程图。方法400和600，以及本文中其它地方描述的操作方面，可分开实现或以整体或部分相结合来实现。
框602从传感器接收观看者位置数据，观看者位置数据使得能够确定或指示观看者头部位置的实时改变，头部位置的实时改变是相对于对象的图像在其上实时显示的显示器的。
框604基于观看者头部位置的实时改变确定对象的视角的相应改变。
框606使得显微图像设备提供对应于观看者的头部位置的实时改变的视角的对象的实时图像数据，或从所提供的实时图像数据确定对应于观看者的头部位置的实时改变的视角的对象的实时图像数据。
框606可以用显微图像设备的一个或多个移动图像传感器或多个固定的移动图像传感器来执行。因此，在一些情形中，固定的图像传感器阵列从对象的许多视角提供图像。在这一情形中，控制器126确定所提供的图像的哪一个对应于框604中确定的观看者的视角。在其它一些情形中，控制器126使得显微图像设备，通过将一个(或复数个)可移动图像传感器移动到在框604确定的视角，或使得显微图像设备提供来自对应于在框604中确定的视角的固定的图像传感器或传感器阵列的实时图像数据，或过滤掉不对应于所确定的视角的那些图像从而留下对应的那些图像，来提供实时图像数据。
框608促成显示器基于实时图像数据来实时呈现对象的图像，该图像用于在显示器上提供对象的运动视差。
方法400和/或600的各框可被重复，用以持续地提供以对应于观看者相对于显示器或其部分的位置的视角呈现在显示器上的对象的图像。
前面的讨论描述了其中各技术可基于观看者的视角改变显微图像设备的视角的方法。这些方法被示为指定所执行的操作的各组框，但不必限于所示次序来执行相应框的操作。
这些方法的各方面可用硬件(例如，固定逻辑电路)、固件、片上系统(SoC)、软件、手动处理、或其任何组合来实现。软件实现表示在被计算机处理器执行时执行指定任务的程序代码，诸如软件、应用、例程、程序、对象、组件、数据结构、规程、模块、函数等。程序代码可被存储在计算机处理器本地和/或远程的一个或多个计算机可读存储器设备中。方法还可以在分布式计算环境中由多个计算设备实施。
示例设备
图7示出了可被实现为参考之前的图1-6来描述的任何类型的客户机、服务器、和/或显示设备来实现用于基于观看者的视角改变显微图像设备的视角的各技术的示例设备700的各个组件。在各实施例中，设备700可被实现为有线和/或无线设备中的一个或其组合，被实现为平板显示器、电视机、电视客户机设备(例如，电视机顶盒、数字录像机(DVR)等等)、消费设备、计算机设备、服务器设备、便携式计算机设备、观看者设备、通信设备、视频处理和/或呈现设备、电器设备、游戏设备、电子设备的形式，和/或被实现为另一类型的设备。设备700还可与观看者(例如，人或用户)和/或操作该设备的实体相关联，从而使得设备描述包括观看者、软件、固件和/或各设备的组合的各逻辑设备。
设备700包括实现设备数据704(例如，所接收的数据、正被接收的数据、排定用于广播的数据、数据的数据包等等)的有线和/或无线通信的通信设备702。设备数据704或其他设备内容可以包括设备的配置设置、存储在设备上的媒体内容、和/或与设备的观看者相关联的信息。存储在设备700上的媒体内容可以包括任何类型的音频、视频和/或图像数据。设备700包括经由其可以接收任何类型的数据、媒体内容和/或输入的一个或多个数据输入706，诸如观看者可选输入、观看者的位置改变、消息、音乐、电视媒体内容、所记录的视频内容以及从任何内容和/或数据源接收的任何其他类型的音频、视频和/或图像数据。
设备700还包括通信接口708，其可被实现为串行和/或并行接口、无线接口、任何类型的网络接口、调制解调器、和任何其他类型的通信接口中的任一个或多个。通信接口708提供设备700和通信网络之间的连接和/或通信链路，其他电子、计算和通信设备通过所述连接和/或通信链路来与设备700传递数据。
设备700包括一个或多个处理器710(例如，微处理器、控制器等中的任何一个)，该处理器处理各种计算机可执行指令以控制设备700的操作和实现用于基于观看者的视角改变显微图像设备的视角的各技术。作为补充或替换，设备700可被实现为具有与在712处概括标识的处理和控制电路有关地实现的硬件、固件、或固定逻辑电路中的任何一个或组合。虽然未示出，但是设备700可包括耦合设备内的各种组件的系统总线或数据传输系统。系统总线可包括不同总线结构中的任一个或组合，诸如存储器总线或存储器控制器、外围总线、通用串行总线、和/或利用各种总线架构中的任一种的处理器或局部总线。
设备700还包括诸如一个或多个存储器设备等启用持久和/或非暂态数据存储(即，与仅仅信号传输相对比)的计算机可读介质714，存储器设备的示例包括随机存取存储器(RAM)、非易失性存储器(例如，只读存储器(ROM)、非易失性RAM(NVRAM)、闪存、EPROM、EEPROM等中的任一个或多个)、以及盘存储设备。盘存储设备可被实现为任何类型的磁性或光学存储设备，如硬盘驱动器、可记录和/或可重写紧致盘(CD)、任何类型的数字多功能盘(DVD)等等。设备700还可包括大容量存储介质设备716。
计算机可读存储介质714提供数据存储机制以便存储设备数据704、以及各种设备应用718和关于设备700的各操作方面的任何其它类型的信息和/或数据。例如，操作系统720可以用计算机可读存储介质714作为计算机应用来维护并在处理器710上执行。设备应用718可以包括设备管理器，如任何形式的控制应用、软件应用、信号处理和控制模块、特定设备本地的代码、特定设备的硬件抽象层等等。设备应用718还包括实现这些所描述的技术的任何系统组件或模块。在此示例中，设备应用718可包括控制器126。
此外，设备700可包括显示器128、传感器130、图像传感器144，和/或致动器146，或可以与显示器128、传感器130、图像传感器144，和/或致动器146进行通信。
结语
本文描述了用于基于观看者的视角改变显微图像设备的视角的各种装置和技术。虽然已经用对结构特征和/或方法动作专用的语言描述了本发明，但是应该理解，在所附权利要求中定义的本发明不必限于所述的具体特征或动作。相反，这些具体特征和动作是作为实现所要求保护的本发明的示例形式而公开的。

Claims (10)

1.一种方法，包括：
接收观看者位置数据，所述观看者位置数据使得能够确定或指示观看者头部位置的改变，所述头部位置的所述改变相对于对象的图像当前正被呈现于其上的显示器；
相对于所述对象并基于相对于所述显示器的头部位置的所述改变来改变图像传感器的视角；
从所述图像传感器接收图像数据，所述图像数据以改变了的视角示出所述对象；以及
使得所述显示器基于所接收的图像数据来呈现所述对象的图像。
2.如权利要求1所述的方法，其特征在于，使得所述显示器呈现图像提供所述图像用以提供所述对象的运动视差。
3.如权利要求1所述的方法，其特征在于，所述观看者位置数据使得能够确定或指示平行于所述显示器的线性移动，并且改变所述图像传感器相对于所述对象的视角以围绕大致处于所述对象处的枢轴点的弧形移动所述图像传感器，所述弧形相对于所述对象非线性。
4.如权利要求1所述的方法，其特征在于，所述观看者位置数据随所述观看者的头部位置的改变使得能够确定或指示弧形移动，所述弧形移动具有在所述显示器上的位置处的图像枢轴点，并进一步包括确定所述对象的与所述图像枢轴点相关联的所述弧形移动围绕其沿弧形进行的部分，并且其中相对于所述对象改变所述图像传感器的视角将所述图像传感器以围绕大致在与所述图像枢轴点相关联的对象的部分处的对象枢轴点的弧形移动。
5.如权利要求1所述的方法，其特征在于，所述图像传感器是立体图像传感器，所述图像数据是立体图像数据，并且使得所述显示器呈现图像使得所述显示器呈现所述对象的立体图像。
6.一种装置，包括：
能够从多个视角传感对象的图像的一个或多个图像传感器；以及
控制器，所述控制器能够：
接收观看者位置数据，所述观看者位置数据使得能够确定或指示观看者视角；
确定所述多个视角中的哪一个与所述观看者的视角最匹配；以及
促成显示器呈现所确定的视角。
7.如权利要求6所述的装置，其特征在于，还包括连接到一个或多个图像传感器的一个可移动图像传感器的致动器，并且其中所述控制器还能够使得所述致动器移动所述可移动图像传感器用于改变可移动图像传感器的视角，所改变的视角是多个视角之一，所述控制器能够从所述多个视角中确定最佳匹配。
8.如权利要求6所述的装置，其特征在于，所述一个或多个图像传感器包括多个固定图像传感器的阵列。
9.如权利要求6所述的装置，其特征在于，随着所述对象被显示在所述显示器上，所述观看者的视角是相对于所述对象而言的，并且随着所述对象被显示在所述显示器上，确定所述多个视角中的哪一个最匹配所述观看者的视角是基于观看者相对于所述对象的视角。
10.如权利要求6所述的装置，其特征在于，所述控制器能够实时用于所述接收、所述确定，和所述促成，用于在所述显示器上提供所述对象的运动视差。
CN201380045602.2A 2012-08-30 2013-08-20 基于观看者的视角来改变显微图像设备的视角 Pending CN104603690A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/598,898 2012-08-30
US13/598,898 US20140063198A1 (en) 2012-08-30 2012-08-30 Changing perspectives of a microscopic-image device based on a viewer' s perspective
PCT/US2013/055679 WO2014035717A1 (en) 2012-08-30 2013-08-20 Changing perspectives of a microscopic-image device based on a viewer's perspective

Publications (1)

Publication Number Publication Date
CN104603690A true CN104603690A (zh) 2015-05-06

Family

ID=49085202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380045602.2A Pending CN104603690A (zh) 2012-08-30 2013-08-20 基于观看者的视角来改变显微图像设备的视角

Country Status (4)

Country Link
US (1) US20140063198A1 (zh)
EP (1) EP2891013A1 (zh)
CN (1) CN104603690A (zh)
WO (1) WO2014035717A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109565567A (zh) * 2016-09-09 2019-04-02 谷歌有限责任公司 三维遥现系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9354748B2 (en) 2012-02-13 2016-05-31 Microsoft Technology Licensing, Llc Optical stylus interaction
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
US8873227B2 (en) 2012-03-02 2014-10-28 Microsoft Corporation Flexible hinge support layer
US9158383B2 (en) 2012-03-02 2015-10-13 Microsoft Technology Licensing, Llc Force concentrator
US9870066B2 (en) 2012-03-02 2018-01-16 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US8947353B2 (en) 2012-06-12 2015-02-03 Microsoft Corporation Photosensor array gesture detection
US8964379B2 (en) 2012-08-20 2015-02-24 Microsoft Corporation Switchable magnetic lock
US10120420B2 (en) 2014-03-21 2018-11-06 Microsoft Technology Licensing, Llc Lockable display and techniques enabling use of lockable displays
US10324733B2 (en) 2014-07-30 2019-06-18 Microsoft Technology Licensing, Llc Shutdown notifications
US9563270B2 (en) * 2014-12-26 2017-02-07 Microsoft Technology Licensing, Llc Head-based targeting with pitch amplification
KR20170127505A (ko) 2015-03-01 2017-11-21 넥스트브이알 인코포레이티드 환경 측정들을 하고 및/또는 ３ｄ 이미지 렌더링에서 이러한 측정들을 사용하기 위한 방법들 및 장치
US10908679B2 (en) 2017-04-24 2021-02-02 Intel Corporation Viewing angles influenced by head and body movements

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10234057A (ja) * 1997-02-17 1998-09-02 Canon Inc 立体映像装置及びこれを含むコンピュータシステム
US6411266B1 (en) * 1993-08-23 2002-06-25 Francis J. Maguire, Jr. Apparatus and method for providing images of real and virtual objects in a head mounted display
CN1607418A (zh) * 2003-08-30 2005-04-20 夏普株式会社 一种多视角方向显示器
CN101072366A (zh) * 2007-05-24 2007-11-14 上海大学 基于光场和双目视觉技术的自由立体显示系统和方法
CN101909219A (zh) * 2010-07-09 2010-12-08 深圳超多维光电子有限公司 一种立体显示方法、跟踪式立体显示器及图像处理装置
US20100322479A1 (en) * 2009-06-17 2010-12-23 Lc Technologies Inc. Systems and methods for 3-d target location
CN101933082A (zh) * 2007-11-30 2010-12-29 夏普株式会社 基于用户图像数据的显示器观看者运动补偿方法和系统
CN102014280A (zh) * 2010-12-22 2011-04-13 Tcl集团股份有限公司 一种多视点视频节目传输方法及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886675A (en) * 1995-07-05 1999-03-23 Physical Optics Corporation Autostereoscopic display system with fan-out multiplexer
US5825982A (en) * 1995-09-15 1998-10-20 Wright; James Head cursor control interface for an automated endoscope system for optimal positioning
US6351273B1 (en) * 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
JP4288753B2 (ja) * 1999-05-31 2009-07-01 コニカミノルタセンシング株式会社 ３次元データ入力装置
CN1409925A (zh) * 1999-10-15 2003-04-09 凯瓦津格公司 采用可巡视的摄像机阵列的用于比较多个图像的方法及系统
KR100779634B1 (ko) * 2003-06-20 2007-11-26 니폰 덴신 덴와 가부시끼가이샤 가상시점 화상 생성방법 및 3차원 화상 표시방법 및 장치
US7580178B2 (en) * 2004-02-13 2009-08-25 Angstrom, Inc. Image-guided microsurgery system and method
US20060028476A1 (en) * 2004-08-03 2006-02-09 Irwin Sobel Method and system for providing extensive coverage of an object using virtual cameras
WO2008094458A1 (en) * 2007-01-26 2008-08-07 F-Origin, Inc. Viewing images with tilt control on a hand-held device
US20100013738A1 (en) * 2008-07-15 2010-01-21 Edward Covannon Image capture and display configuration
US20100110069A1 (en) * 2008-10-31 2010-05-06 Sharp Laboratories Of America, Inc. System for rendering virtual see-through scenes
US20100128112A1 (en) * 2008-11-26 2010-05-27 Samsung Electronics Co., Ltd Immersive display system for interacting with three-dimensional content
WO2010060211A1 (en) * 2008-11-28 2010-06-03 Nortel Networks Limited Method and apparatus for controling a camera view into a three dimensional computer-generated virtual environment
US20100238270A1 (en) * 2009-03-20 2010-09-23 Intrepid Management Group, Inc. Endoscopic apparatus and method for producing via a holographic optical element an autostereoscopic 3-d image
US9955209B2 (en) * 2010-04-14 2018-04-24 Alcatel-Lucent Usa Inc. Immersive viewer, a method of providing scenes on a display and an immersive viewing system
US8315443B2 (en) * 2010-04-22 2012-11-20 Qualcomm Incorporated Viewpoint detector based on skin color area and face area
SG182880A1 (en) * 2011-02-01 2012-08-30 Univ Singapore A method and system for interaction with micro-objects
US20130100008A1 (en) * 2011-10-19 2013-04-25 Stefan J. Marti Haptic Response Module
US9380295B2 (en) * 2013-04-21 2016-06-28 Zspace, Inc. Non-linear navigation of a three dimensional stereoscopic display

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6411266B1 (en) * 1993-08-23 2002-06-25 Francis J. Maguire, Jr. Apparatus and method for providing images of real and virtual objects in a head mounted display
JPH10234057A (ja) * 1997-02-17 1998-09-02 Canon Inc 立体映像装置及びこれを含むコンピュータシステム
CN1607418A (zh) * 2003-08-30 2005-04-20 夏普株式会社 一种多视角方向显示器
CN101072366A (zh) * 2007-05-24 2007-11-14 上海大学 基于光场和双目视觉技术的自由立体显示系统和方法
CN101933082A (zh) * 2007-11-30 2010-12-29 夏普株式会社 基于用户图像数据的显示器观看者运动补偿方法和系统
US20100322479A1 (en) * 2009-06-17 2010-12-23 Lc Technologies Inc. Systems and methods for 3-d target location
CN101909219A (zh) * 2010-07-09 2010-12-08 深圳超多维光电子有限公司 一种立体显示方法、跟踪式立体显示器及图像处理装置
CN102014280A (zh) * 2010-12-22 2011-04-13 Tcl集团股份有限公司 一种多视点视频节目传输方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109565567A (zh) * 2016-09-09 2019-04-02 谷歌有限责任公司 三维遥现系统
US10880582B2 (en) 2016-09-09 2020-12-29 Google Llc Three-dimensional telepresence system

Also Published As

Publication number Publication date
EP2891013A1 (en) 2015-07-08
WO2014035717A1 (en) 2014-03-06
US20140063198A1 (en) 2014-03-06

Similar Documents

Publication Publication Date Title
CN104603690A (zh) 基于观看者的视角来改变显微图像设备的视角
CA2694095C (en) Virtual interactive presence systems and methods
US9886552B2 (en) System and method for image registration of multiple video streams
US8581966B2 (en) Tracking-enhanced three-dimensional display method and system
Livatino et al. Stereoscopic visualization and 3-D technologies in medical endoscopic teleoperation
EP2641392B1 (en) Automatic focus improvement for augmented reality displays
CN102566049A (zh) 用于扩展现实显示的自动可变虚拟焦点
KR20160016468A (ko) 리얼 3d 영상 생성 방법 및 그 장치
CN103179896A (zh) 具有数字图像输出的眼睛检查设备
US20200265594A1 (en) Glasses-Free Determination of Absolute Motion
US20240155096A1 (en) 2d image capture system & display of 3d digital image
JP2010107685A (ja) ３次元表示装置および方法並びにプログラム
Hua Past and future of wearable augmented reality displays and their applications
KR20120093693A (ko) 입체영상표시장치 및 그 구동방법
JP2010267192A (ja) 立体結像のタッチ制御装置
US20210297647A1 (en) 2d image capture system, transmission & display of 3d digital image
Queisner MEDICAL SCREEN OPERATIONS: HOW HEAD-MOUNTED DISPLAYS TRANSFORM ACTION AND PERCEPTION IN SURGICAL PRACTICE.
Hua et al. Head-mounted projection display technology and applications
Pastoor et al. Mixed reality displays
US20240143083A1 (en) Interactive simulation system with stereoscopic image and method for operating the same
Kim et al. A tangible floating display system for interaction
Fukuda et al. Head mounted display implementations for use in industrial augmented and virtual reality applications
Booth et al. Gaze3D: Framework for gaze analysis on 3D reconstructed scenes
Connolly Stereoscopic imaging
WO2022024254A1 (ja) 視線追従システム、視線追従方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20171023

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20150506

RJ01 Rejection of invention patent application after publication