CN112285915A - 增强现实组件以及显微镜 - Google Patents

增强现实组件以及显微镜 Download PDF

Info

Publication number
CN112285915A
CN112285915A CN202011156154.1A CN202011156154A CN112285915A CN 112285915 A CN112285915 A CN 112285915A CN 202011156154 A CN202011156154 A CN 202011156154A CN 112285915 A CN112285915 A CN 112285915A
Authority
CN
China
Prior art keywords
augmented reality
image
observer
image projection
microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011156154.1A
Other languages
English (en)
Other versions
CN112285915B (zh
Inventor
廖俊
姚建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011156154.1A priority Critical patent/CN112285915B/zh
Publication of CN112285915A publication Critical patent/CN112285915A/zh
Application granted granted Critical
Publication of CN112285915B publication Critical patent/CN112285915B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/364—Projection microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/32—Micromanipulators structurally combined with microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本公开提供一种增强现实组件以及显微镜；涉及光学仪器技术领域。所述增强现实组件包括：图像投影装置，用于获取增强图像并投影至显微镜的目标光路；所述目标光路为被观测物自所述显微镜的物镜出射的光线的光路；信息采集装置，用于采集所述显微镜的观察者的指定信息；模式控制装置，用于根据观察者的所述指定信息切换所述图像投影装置的工作模式；其中，在不同的工作模式下，所述图像投影装置的功耗不同。本公开可以在一定程度上降低增强现实组件的整体功耗。

Description

增强现实组件以及显微镜
技术领域
本公开涉及光学仪器技术领域，具体而言，涉及一种增强现实组件以及显微镜。
背景技术
显微镜技术是光学仪器的一个重要分支，是例如医院部分科室检查、生命科学研究、精密工业检测等领域必不可少的工具。随着图像处理以及人工智能技术的发展，增强现实显微镜(Augmented Reality Microscope，ARM)应运而生。
增强现实显微镜在传统显微镜的基础上添加了增强现实组件，这样，则能够方便观察者在显微镜下观察被观测物时，能够同时获取到其他增强信息，进而帮助观察者快速定位和量化感兴趣的特征。
但现有技术中的部分增强现实组件，在系统功耗以及使用寿命方面，仍存在待改善之处。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开实施例的目的在于提供一种增强现实组件以及显微镜，从而至少在一定程度上降低增强现实组件的系统功耗以及提升使用寿命。
根据本公开的一个方面，提供一种增强现实组件，包括：图像投影装置，用于获取增强图像并投影至显微镜的目标光路；所述目标光路为被观测物自所述显微镜的物镜出射的光线的光路；信息采集装置，用于采集所述显微镜的观察者的指定信息；模式控制装置，用于根据观察者的所述指定信息切换所述图像投影装置的工作模式；其中，在不同的工作模式下，所述图像投影装置的功耗不同。
根据本公开的一个方面，提供一种增强现实方法，应用于显微镜，包括：获取增强图像并投影至显微镜的目标光路；所述目标光路为被观测物自所述显微镜的物镜出射的光线的光路；采集所述显微镜的观察者的指定信息；根据观察者的所述指定信息切换所述图像投影装置的工作模式；其中，在不同的工作模式下，所述图像投影装置的功耗不同。
在本公开的一种示例性实施例中，所述指定信息为距离信息；其中：采集所述显微镜的观察者的指定信息包括，获取所述观察者与所述增强现实组件间的距离；切换所述图像投影装置的工作模式包括，根据所述观察者与所述增强现实组件间的距离切换所述图像投影装置的工作模式。
在本公开的一种示例性实施例中，切换所述图像投影装置的工作模式具体包括：在所述观察者与所述增强现实组件间的距离位于预设距离区间时，切换所述图像投影装置至第一工作模式；在所述观察者与所述增强现实组件间的距离超出所述预设距离区间时，切换所述图像投影装置至第二工作模式；所述第二工作模式的功耗小于所述第一工作模式的功耗。
在本公开的一种示例性实施例中，切换所述图像投影装置的工作模式具体包括，在所述观察者与所述增强现实组件间的距离超出所述预设距离区间达到预设时长时，切换所述图像投影装置至第二工作模式。
在本公开的一种示例性实施例中，切换所述图像投影装置的工作模式具体包括，在所述观察者与所述增强现实组件间的距离位于预设距离区间时，切换所述图像投影装置至第一工作模式；在所述观察者与所述增强现实组件间的距离超出所述预设距离区间且未达到预设时长时，切换所述图像投影装置至第二工作模式；在所述观察者与所述增强现实组件间的距离超出所述预设距离区间且达到预设时长时，切换所述图像投影装置至第三工作模式；所述第二工作模式的功耗小于所述第一工作模式的功耗；所述第三工作模式的功耗小于所述第二工作模式的功耗。
在本公开的一种示例性实施例中，切换所述图像投影装置的工作模式具体包括，在所述观察者与所述增强现实组件间的距离位于预设距离区间时，切换所述图像投影装置至第一工作模式；在所述观察者与所述增强现实组件间的距离超出所述预设距离区间且未达到预设距离值时，切换所述图像投影装置至第二工作模式；在所述观察者与所述增强现实组件间的距离超出所述预设距离区间且达到预设距离值时，切换所述图像投影装置至第三工作模式；所述第二工作模式的功耗小于所述第一工作模式的功耗；所述第三工作模式的功耗小于所述第二工作模式的功耗。
在本公开的一种示例性实施例中，所述增强现实方法还包括：获取所述显微镜当前装配的物镜的图像，以基于所述物镜的图像判断所述物镜的倍率。
在本公开的一种示例性实施例中，所述增强现实方法还包括：根据观察者的所述指定信息切换所述图像传感器的工作模式；其中，在不同的工作模式下，所述图像传感器的功耗不同。
在本公开的一种示例性实施例中，所述图像投影装置包括：投影模组，用于获取所述增强图像，并基于所述增强图像生成投影光线；透镜模组，用于将所述投影光线投影至分光模组，以使所述投影光线与所述被观测物光线在所述分光模组处汇合，得到汇合光线；分光模组，用于使一部分所述汇合光线进入所述显微镜的目镜，另一部分所述汇合光线进入图像采集装置；所述增强现实方法还包括：根据观察者的所述指定信息切换所述图像采集装置的工作模式；其中，在不同的工作模式下，所述图像采集装置的功耗不同。
根据本公开的一个方面，提供一种显微镜，包括：物镜、多目观察筒、图像采集装置以及增强现实组件；其中，被观测物在观测时产生的光线经由所述物镜进入目标光路；所述多目观察筒的观测端设有目镜；所述图像采集装置通过所述多目观察筒上的物理接口与所述多目观察筒连接，用于采集图像以便于基于采集的图像生成增强图像；所述增强现实组件包括图像投影装置、信息采集装置以及模式控制装置；其中，图像投影装置，用于获取所述增强图像并投影至所述目标光路形成汇合光线，且一部分所述汇合光线进入所述目镜，另一部分所述汇合光线进入所述图像采集装置；信息采集装置，用于采集所述显微镜的观察者的指定信息；以及模式控制装置，用于根据观察者的所述指定信息切换所述图像投影装置的工作模式；其中，在不同的工作模式下，所述图像投影装置的功耗不同。
根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。
根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法。
根据本公开的一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的各种可选实现方式中提供的方法。
本公开示例性实施例可以具有以下部分或全部有益效果：
基于本示例实施方式中所提供的增强现实组件，能够根据采集到的观察者的指定信息的不同，而适应性的调整图像投影装置的工作模式，从而可以使得图像投影装置无需一直在高功耗状态下工作，进而相比于现有技术能够在一定程度上降低增强现实组件的整体功耗；而且，无需一直在高功耗状态下工作，也就意味着图像投影装置无需一直处于高亮度状态，进而可以提高图像投影装置的使用寿命，进而使得增强现实组件的使用寿命得以延长。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出了根据本公开的一个实施例的显微镜系统的结构示意图。
图2示意性示出了根据本公开的一个实施例的显微镜部分组件分解结构示意图。
图3示意性示出了根据本公开的一个实施例的显微镜的使用场景示意图。
图4示意性示出了根据本公开的一个实施例的工作模式切换步骤的流程图。
图5示意性示出了根据本公开的一个实施例的工作模式切换步骤的流程图。
图6示意性示出了根据本公开的一个实施例的工作模式切换步骤的流程图。
图7示意性示出了根据本公开的一个实施例的显微镜的结构示意图。
图8示意性示出了根据本公开的一个实施例的显微镜倍率识别模块的结构示意图。
图9示意性示出了根据本公开的一个实施例的增强现实方法流程图。
图10示出了适于用来实现本公开实施例方法的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
参考图1所示，为发明人提供的一种显微镜的结构示意图。该显微镜100主要包括物镜110、多目观察筒120、图像采集装置130(主相机)以及增强现实组件140；此外，还可以包括图像处理服务器200等其他结构。
在一个示例性实施例中，被观测物在观测时产生的光线经由物镜110进入目标光路150；参考图2所示，增强现实组件140包括图像投影装置141，图像投影装置141可以获取增强图像并投影至目标光路150，与被观测物在观测时产生的光线汇合形成汇合光线151；之后，一部分所述汇合光线151通过所述多目观察筒120进入所述目镜121，另一部分所述汇合光线151通过所述多目观察筒120进入所述图像采集装置130，图像采集装置130将采集的图像发送至图像处理服务器200，由所述图像处理服务器200对所述图像进行处理以生成上述增强图像并发送给图像投影装置141。
以病理诊断场景为例，被观测物可以为病理切片；图像采集装置130在获取病理切片图像之后将该图像传递给图像处理服务器200；该图像处理服务器200利用人工智能(Artificial Intelligence，AI)算法进行图像处理得到增强图像，并将增强图像输出至增强现实组件140的图像投影装置141，该增强图像包括但不限于轮廓图、热图、标注信息等；然后图像投影装置141将增强图像投影至目标光路150，使得用户可以通过目镜121观察到增强图像与病理切片图像叠加后的场景。该叠加后的场景也可以通过与图像处理服务器200相连的显示器300进行显示，以便于进行肿瘤区域检测和分割、细胞计数等等。
其中，物镜110决定了显微镜100的放大能力。本示例实施方式中，为了对色差进行校正，以提高成像质量，物镜110可以为消色差物镜、平场消色差物镜、平场半复消色差物镜或平场复消色差物镜中的任意一种或多种。此外，考虑到在进行样本观测时，可能存在不同放大倍数的需求；例如针对同一被观测物如细胞的轮廓和内核需要采用不同放大倍数，或者针对不同大小的被观测物需要采用不同放大倍数；本示例实施方式中，可以提供具有不同放大倍数的物镜组合供用户选择。例如，可以提供放大倍数为4.0倍、10.0倍、20.0倍、60.0倍和100.0倍等的物镜组合，供用户选择。
多目观察筒120例如可以为三目观察筒，三路光路分别对应图像采集装置130以及两个目镜121。当然，在一些可能的实现方式中，可以由两个操作人员同时基于该增强现实显微镜100进行观察，基于此，可以将多目观察筒120设置为六目观察筒，此时，光路数量具体为六，分别对应两个图像采集装置以及四个目镜。需要说明，以上仅为多目观察筒120的一些具体示例，多目观察筒120对应光路数量可以根据实际需求而设置。
图像采集装置130可以是相机，例如，基于感光芯片的相机。多目观察筒120顶端提供有物理接口，该物理接口例如可以是标准相机接口，以便基于该标准相机接口连接所述多目观察筒120和相机，实现图像采集。上述基于感光芯片的相机可以是大感光面积相机，例如包括但不限于：基于25MP(Mega pixels)的感光芯片VITA25K或Python25K或NOIP1SE025KA-GDI/ON Semi的相机、基于50MP的感光芯片ams/CMOSIS CMV50000的相机以及基于全画幅APS-H(Advanced Photo System-H)或中画幅尺寸感光芯片的相机。上述基于感光芯片的相机也可以是小感光面积相机，例如包括但不限于：基于Sony尺寸从1/3英寸到4/3英寸之间的感光芯片所生产的相机等。
本示例实施方式中，增强现实组件140可以是可拆卸的，通过将其与普通显微镜组合可以形成本申请的增强现实显微镜；但本示例实施方式并不以此为限，在其他示例性实施例中，增强现实组件140也可以是与显微镜100固定连接的。以可拆卸的为例，增强现实组件140可以提供标准接口，然后通过转接件适配多种显微镜，包括但不限于Nikon、Olympus、Leica、Zeiss、Motic、舜宇等正置或者倒置或者体式显微镜。
本示例实施方式中，增强现实组件140可以包括图像投影装置141以及分光模组143。其中，该图像投影装置141具体可以是基于有机发光二极管(Organic light-EmittingDiode，OLED)、液晶显示器件(Liquid Crystal Display，LCD)、数字微镜器件(DigitalMicromirror Device，DMD)、反射式投影显示(LiquidCrystalonSilicon，LCoS)或micro-LED的显示器件。该分光模组143具体可以是分束器或分束镜，分束器或分束镜的作用在于使得一部分光线投射，另一部分光线反射，从而实现分光。在实际应用时，所述分光模组143包括立方体分束镜、平板分束镜或薄膜分束镜。其中，上述分光模组143可以是偏振分束镜，也可以是非偏振分束镜。
此外，增强现实组件140还可以包括透镜模组142等其他结构。例如，投影模组在获取所述增强图像之后，基于所述增强图像生成投影光线。透镜模组142将所述投影光线投影至分光模组143，以使所述投影光线与所述被观测物光线在所述分光模组143处汇合，得到汇合光线151；而分光模组143用于使一部分所述汇合光线151进入所述显微镜的目镜121，另一部分所述汇合光线151进入图像采集装置130。
本示例实施方式中所提供的增强现实组件140，能够将图像获取光路和图像投影光路隔离，避免二者相互干扰，以便图像重合校准，保证最终处理结果的精确性，从而提高增强现实图像的质量。而且，无需叠加多个分光模组，大幅降低了增强现实显微镜被图像投影装置垫高的高度，而且也避免了多个分光装置叠加导致的光源强度损失，同时还可以节省元件，简化结构，为光路的进一步改造提供了硬件空间，具有较好的扩展性。
当然，在本公开的其他示例性实施例中，上述增强现实组件140也可以为其他结构，例如，可以设置多个分光模组等等，这同样属于本公开的保护范围。
在上述增强现实组件140中，为了获得较高的对比度，核心部件之一图像投影装置141通常为高亮度的显示器件；例如上述的OLED显示器件等。此类显示器件的显色性较好，对比度较高，但存在功耗较高、使用寿命较短(如寿命仅为数千小时)、长时间工作易烧屏(指显示器件长时间显示某个静止的图像画面，留下残影的现象)以及亮度随使用时间的增加明显降低等问题中。
参考图3所示，基于上述一个或多个问题，本示例实施方式中所提供的增强现实组件140，除了包括上述的图像投影装置141，用于获取所述增强图像并投影至所述目标光路150形成汇合光线151，且一部分所述汇合光线151进入所述目镜121，另一部分所述汇合光线151进入所述图像采集装置130；还包括信息采集装置144以及模式控制装置(未示出)。其中，信息采集装置144用于采集所述显微镜100的观察者400的指定信息；模式控制装置用于根据观察者400的指定信息切换所述图像投影装置141的工作模式；其中，在不同的工作模式下，所述图像投影装置141的功耗不同。
通过本示例实施方式中所提供的增强现实组件140，能够根据采集到的观察者400的指定信息的不同，而适应性的调整图像投影装置141的工作模式，从而可以使得图像投影装置141无需一直在高功耗状态下工作，进而相比于现有技术能够在一定程度上降低增强现实组件140的整体功耗；而且，无需一直在高功耗状态下工作，也就意味着图像投影装置141无需一直处于高亮度状态，进而可以提高图像投影装置141的使用寿命，进而使得增强现实组件的使用寿命得以延长。下面，对本示例实施方式中的增强现实组件140进行更加详细的说明。
本示例实施方式中，上述指定信息可以为所述观察者400与所述增强现实组件140间的距离信息。也即，所述信息采集装置144用于获取所述观察者400与所述增强现实组件140间的距离；所述模式控制装置用于根据所述观察者400与所述增强现实组件140间的距离切换所述图像投影装置141的工作模式。
举例而言，本示例实施方式中可以通过距离传感器测量所述观察者400与所述增强现实组件140间的距离。距离传感器包括信号发射器、信号接收器以及信号处理器。其中，信号发射器用于发射测距信号，信号接收器用于接收测距信号对应的反馈信号，信号处理器用于根据测距信号以及反馈信号计算距离信息。其中信号发射器和信号接收器可以为同一端口，也即该端口可以同时具备信号发射和接收的功能。
以红外激光距离传感器为例，将信号发射器向目标物发射红外激光信号的时刻记为t1，将信号接收器接受反射回的红外激光信号的时刻记为t2。则利用飞行时间法，可以计算得到红外激光距离传感器(实际为信号发射器)距离目标物的距离L为：
L＝c*(t2-t1)/2
其中，*表示乘法运算，c表示空气中光速，约为3*108m/s；L的单位为米，t1与t2的单位为秒。
本领域技术人员容易理解的是，在本公开的其他示例性实施例中，距离传感器也可以为其他类型的能够获取距离信息的传感器。例如，距离传感器也可以是光电开关式距离传感器、红外激光漫反射式位移传感器、超声波距离传感器或者其他基于机器视觉的距离传感器等等；在一些示例性实施例中，也可以通过图像识别等方法，获得所述观察者400与所述增强现实组件140间的距离信息；这些均属于本公开的保护范围。
继续参考图3所示，本示例实施方式中，所述增强现实组件140中的主要部件，如图像投影装置141、分光模组143以及透镜模组142等均可以容置在封装壳体145内。所述信息采集装置144亦可安装于所述封装壳体145，从而与所述增强现实组件140形成一体式的产品。例如，所述信息采集装置144可以安装在封装壳体145的外表面，或者，所述信息采集装置144也可以嵌入在所述封装壳体145，但信号接收和发射端口位于封装壳体145外部等。
在一些示例性实施例中，所述信息采集装置144可以是可调节的安装在封装壳体145，从而便于调整信息采集装置144的信息采集方位。在一些示例性实施例中，所述信息采集装置144还可以包括封盖或者其他的保护部件。在一些示例性实施例中，所述信息采集装置144还可以包括开关元件，便于观察者400能够通过开关元件自主控制是否开启信息采集装置144等。本示例性实施例中对这些进一步的改进不做特殊限定。
在获得所述观察者400与所述增强现实组件140间的距离信息之后，即可以通过多种方式根据距离信息切换所述图像投影装置141的工作模式。举例而言：
在一些示例性实施例中，参考图4所示，所述模式控制装置具体用于：
步骤S410、判断所述观察者400与所述增强现实组件140间的距离是否位于预设距离区间。如果是，则转至步骤S420；否则，转至步骤S430。
本示例实施方式中，如果所述观察者400与所述增强现实组件140间的距离位于预设距离区间则可以认为观察者400正在正常使用显微镜100。该预设距离区间可以通过如下方式确定，例如首先根据经验获得观察者正常使用显微镜100时与增强现实组件140之间的距离L0；如安排不同性别、不同年龄、不同身高等条件的观察者正常使用显微镜100，并根据这些观察者正常使用显微镜100时与增强现实组件140之间的距离的平均值得到上述距离L0。其次，在距离L0的基础上设置一定的上下浮动空间，得到上述预设距离区间[L1,L2]。
在部分示例性实施例中，也可以通过其他方式确定预设距离区间。例如，可以由观察者400或者其他人员提前对预设距离区间进行自定义配置；如给用户提供一个初始预设距离区间，并由用户对初始预设距离区间的端点值进行微调等。又例如，还可以根据所述观察者400与所述增强现实组件140间的距离的历史数据，自动确定预设距离区间等；并且，本示例性实施例中并不以此为限。
步骤S420、在所述观察者400与所述增强现实组件140间的距离位于预设距离区间时，切换所述图像投影装置141至第一工作模式。
本示例实施方式中，所述第一工作模式例如可以是高亮度工作模式，也即所述图像投影装置141的默认工作模式。在图像投影装置141工作在高亮度工作模式时，可以获得较高的对比度。也即当观察者400持续正常使用显微镜100或者从离开状态回到观察状态时，本示例实施方式中均会自动控制图像投影装置141工作在高亮度工作模式。
步骤S430、在所述观察者400与所述增强现实组件140间的距离超出预设距离区间时，切换所述图像投影装置141至第二工作模式；所述第二工作模式的功耗小于所述第一工作模式的功耗。
本示例实施方式中，所述第二工作模式例如可以是低亮度工作模式或者息屏工作模式。在图像投影装置141工作在低亮度工作模式或者息屏工作模式时，功耗相对较低；同时，可以延长图像投影装置141的使用寿命。也即当观察者400远离显微镜100，例如处于离开状态时，本示例实施方式中会自动控制图像投影装置141工作在低亮度工作模式或者息屏工作模式。此外，在部分示例性实施例中，所述第二工作模式也可以为其他低功耗工作模式，例如休眠模式等，本示例性实施例中对此不做特殊限定。
进一步的，本示例实施方式中，所述模式控制装置还可以在所述观察者400与所述增强现实组件140间的距离超出所述预设距离区间之后启动计时，并且在所述观察者400与所述增强现实组件140间的距离超出所述预设距离区间达到预设时长时，才切换所述图像投影装置141至第二工作模式。这样，则可以减少工作模式的误切换或者频繁切换；例如，在观察者400观察过程中如果有幅度较大的动作或者观察者400短暂离开时，会由于超出所述预设距离区间的时长未达到预设时长而不触发工作模式的切换。本示例实施方式中，所述预设时长可以根据经验值确定，例如10秒、30秒等等，本示例性实施例中对此不做特殊限定。
上述模式控制装置可以为集成于图像投影装置141的驱动电路板的切换电路，该控制电路能够根据上述距离传感器发送的信号，切换图像投影装置141的工作模式。例如，在所述观察者400与所述增强现实组件140间的距离超出预设距离区间时，所述距离传感器发送第一控制信号至所述切换电路；所述切换电路响应该第一控制信号切换图像投影装置141至低亮度工作模式或者息屏工作模式。在所述观察者400与所述增强现实组件140间的距离进入预设距离区间时，所述距离传感器发送第二控制信号至所述切换电路；所述切换电路响应该第二控制信号切换图像投影装置141至高亮度工作模式。上述切换电路可以为薄膜晶体管(TFT)开关电路或者绝缘栅双极型晶体管(IGBT)开关电路等。
在部分示例性实施例中，上述模式控制装置也可以为单独设置的处理模块，该处理模块可以包含一个或多个处理器以及一个或多个存储器。其中，处理器可以包含如数字信号处理器(DSP)、现场可编程门阵列(FPGA)、特定用途集成电路(ASIC)等中的一种或组合，存储器可以包含如随机存取存储器(RAM)、只读存储器(ROM)、闪存(Flash)等中的一种或组合。存储器可以用于存储上述预设距离区间等信息；处理器在接收到距离传感器发送的距离信息之后，可以从存储器读取预设距离区间并进行判定，进而控制图像投影装置141工作模式的切换。
在部分示例性实施例中，上述模式控制装置也可以通过上述图1中所示的图像处理服务器200或者显微镜系统中的其他上位机来实现，这样则无需额外增设新的控制模块。这些同样属于本公开的保护范围。
在一些示例性实施例中，参考图5所示，所述模式控制装置也可以是具体用于：
步骤S510、判断所述观察者400与所述增强现实组件140间的距离是否位于预设距离区间。如果是，则转至步骤S520；否则，转至步骤S530。该步骤与上述步骤S410类似，因此不再重复赘述。
步骤S520、在所述观察者400与所述增强现实组件140间的距离位于预设距离区间时，切换所述图像投影装置141至第一工作模式。本示例实施方式中，所述第一工作模式例如可以是高亮度工作模式，也即所述图像投影装置141的默认工作模式。在图像投影装置141工作在高亮度工作模式时，可以获得较高的对比度。也即当观察者400持续正常使用显微镜100或者从离开状态回到观察状态时，本示例实施方式中均会自动控制图像投影装置141工作在高亮度工作模式。
步骤S530、在所述观察者400与所述增强现实组件140间的距离超出所述预设距离区间之后启动计时，并判断所述观察者400与所述增强现实组件140间的距离超出所述预设距离区间的持续时间是否超过预设时长。在所述观察者400与所述增强现实组件140间的距离超出所述预设距离区间超过预设时长时，转至下述步骤S550；否则，转至下述步骤S540。本示例实施方式中，所述预设时长可以根据经验值确定，例如10秒、30秒等等，本示例性实施例中对此不做特殊限定。
步骤S540、在所述观察者400与所述增强现实组件140间的距离超出所述预设距离区间且未达到预设时长时，切换所述图像投影装置141至第二工作模式；所述第二工作模式的功耗小于所述第一工作模式的功耗。本示例实施方式中，所述第二工作模式例如可以是低亮度工作模式。
步骤S550、在所述观察者400与所述增强现实组件140间的距离超出所述预设距离区间且达到预设时长时，切换所述图像投影装置141至第三工作模式；所述第三工作模式的功耗小于所述第二工作模式的功耗。本示例实施方式中，所述第二工作模式例如可以是息屏工作模式或者休眠工作模式等。
通过上述步骤S510至步骤S550，一方面，可以在观察者400远离显微镜100，例如处于离开状态时，自动控制图像投影装置141工作在低亮度工作模式、息屏工作模式或者休眠工作模式，从而可以降低增强现实组件140的整体功耗，同时可以延长图像投影装置141的使用寿命。另一方面，在观察者400短暂离开时，可以将控制图像投影装置141工作在低亮度工作模式，而非息屏工作模式或者休眠工作模式；这样在观察者400回到观察状态时，则可以更加快速的切换到高亮度工作模式，提高增强现实组件140的响应速度。
在一些示例性实施例中，参考图6所示，所述模式控制装置还可以是具体用于：
步骤S610、判断所述观察者400与所述增强现实组件140间的距离是否位于预设距离区间。如果是，则转至步骤S620；否则，转至步骤S630。该步骤与上述步骤S410类似，因此不再重复赘述。
步骤S620、在所述观察者400与所述增强现实组件140间的距离位于预设距离区间时，切换所述图像投影装置141至第一工作模式。本示例实施方式中，所述第一工作模式例如可以是高亮度工作模式，也即所述图像投影装置141的默认工作模式。在图像投影装置141工作在高亮度工作模式时，可以获得较高的对比度。也即当观察者400持续正常使用显微镜100或者从离开状态回到观察状态时，本示例实施方式中均会自动控制图像投影装置141工作在高亮度工作模式。
步骤S630、在所述观察者400与所述增强现实组件140间的距离超出所述预设距离区间之后，判断所述观察者400与所述增强现实组件140间的距离是否达到预设距离值。如果所述观察者400与所述增强现实组件140间的距离达到预设距离值，转至下述步骤S650；否则，转至下述步骤S640。本示例实施方式中，所述预设距离值可以根据经验值确定，例如1.5米、2米等等，本示例性实施例中对此不做特殊限定。
步骤S640、在所述观察者400与所述增强现实组件140间的距离超出所述预设距离区间且未达到预设距离值时，切换所述图像投影装置141至第二工作模式；所述第二工作模式的功耗小于所述第一工作模式的功耗。本示例实施方式中，所述第二工作模式例如可以是低亮度工作模式。
步骤S650、在所述观察者400与所述增强现实组件140间的距离超出所述预设距离区间且达到预设距离值时，切换所述图像投影装置141至第三工作模式；所述第三工作模式的功耗小于所述第二工作模式的功耗。本示例实施方式中，所述第二工作模式例如可以是息屏工作模式或者休眠工作模式等。
通过上述步骤S610至步骤S650，一方面，可以在观察者400远离显微镜100，例如处于离开状态时，自动控制图像投影装置141工作在低亮度工作模式、息屏工作模式或者休眠工作模式，从而可以降低增强现实组件140的整体功耗，同时可以延长图像投影装置141的使用寿命。另一方面，在观察者400短暂离开时，可以将控制图像投影装置141工作在低亮度工作模式，而非息屏工作模式或者休眠工作模式；这样在观察者400回到观察状态时，则可以更加快速的切换到高亮度工作模式，提高增强现实组件140的响应速度。
需要说明的是，在本公开的其他示例性实施例中，也可以采集观察者400的其他指定信息，并根据这些指定信息确定观察者400是否处于观察状态，进而根据观察者400是否处于观察状态适应性的调整图像投影装置141的工作模式。例如，在其他示例性实施例中，也可以通过热红外人体感应技术，判断观察者400是否位于显微镜100的指定范围之内，从而据此确定观察者400是否处于观察状态，进而根据观察者400是否处于观察状态适应性的调整图像投影装置141的工作模式等。又例如，在其他示例性实施例中，也可以借助观察者400的可穿戴设备或者其他电子设备，如智能手环、智能手表、智能手机等，判断观察者400是否处于观察状态，进而根据观察者400是否处于观察状态适应性的调整图像投影装置141的工作模式。这些同样均属于本公开的保护范围。
进一步的，现有技术中，部分显微镜配备有编码型物镜转盘，这样在更换物镜110时，编码型物镜转盘会输出物镜切换信号以及物镜倍率相关的信号。但也有部分显微镜未配备编码型物镜转盘，而是配置的普通物镜转盘，这样就导致在更换物镜110时，上位机无法实时得到物镜切换相关的信息。此外，即使是编码型物镜转盘，其输出的信号也通常仅在显微镜内部电路和其相关软件之间传递，而不一定提供给开发者，导致物镜110切换相关的信息无法被增强现实相关的算法利用。
基于上述问题，本示例实施方式中，还在上述示例性实施例的增强现实组件140基础上进行了进一步的改进。具体而言，本示例实施方式中，所述增强现实组件140还可以包括倍率识别模块146；倍率识别模块146能够获取所述显微镜100当前装配的物镜110的图像，以基于所述物镜110的图像判断所述物镜110的倍率。这样，一方面，通过在增强现实组件140中集成倍率识别模块146，可以适配于多数显微镜，进而能够方便的获取这些显微镜的物镜切换相关的信息，从而为后续的增强现实相关的算法提供数据支持；另一方面，通过在增强现实组件140中集成倍率识别模块146，而无需要求显微镜设置编码型物镜转盘，可以降低显微镜的成本以及简化显微镜的结构。
参考图7所示，本示例实施方式中，所述倍率识别模块146可以包括图像传感器1461以及光学组件1462。
其中，光学组件1462用于接收来自所述显微镜100当前装配的物镜110的光线并出射至所述图像传感器1461。本示例实施方式中，所述光学组件1462可以包括平面镜、透镜以及棱镜中的一种或多种；此外，为了便于采集入射光，在图像传感器1461的入射光光路上，还可以设置如滤光片、微透镜阵列(Micro Lens Array，MLA)等其他光学组件。参考图8所示，以所述光学组件1462为平面镜为例，显微镜100当前装配的物镜110的光线入射至平面镜之后，平面镜将之反射至图像传感器1461。通过利用平面镜反射，可以使得倍率识别模块146的结构更加简洁，图像传感器1461无需下探到物镜110所在平面，进而避免了图像传感器1461形成遮挡或对观察者400的使用形成阻碍。
图像传感器1461用于接收入射光线并基于所述入射光线生成所述显微镜100当前装配的物镜110的图像。本示例实施方式中，图像传感器1461可以为电荷藕合器件图像传感器1461(Charge Coupled Device，CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)图像传感器1461等。图像传感器1461在生成所述显微镜100当前装配的物镜110的图像之后，则可以将其发送至图像识别模块(未示出)，以便于图像识别模块据以判断所述物镜110的倍率。该图像识别模块可以是单独设置的模块，也可以通过上述图1中所示的图像处理服务器200或者显微镜系统中的其他上位机来实现，这样则无需额外增设新的模块。这些同样属于本公开的保护范围。
继续参考图7所示，本示例实施方式中，所述倍率识别模块146还可以包括支承件1463；所述支承件1463的第一端与封装壳体145连接，第二端用于安装所述图像传感器1461以及光学组件1462。这样，倍率识别模块146的整体结构为在增强现实组件140的封装外壳上横向伸出的小组件。在本公开的其他示例性实施例中，所述支承件1463的第一端与封装壳体145可以是可调节连接；例如，可伸缩连接或者可旋转连接等；同时，所述光学组件1462的角度亦可在一定范围内调节。这样，则可以更好的适配不同型号的显微镜。本示例性实施例中对这些不做特殊限定。
本示例实施方式中，为了便于倍率识别模块146更加准确和高效识别出物镜110的倍率，还可以在物镜110上预先添加指定的标记信息。所述标记信息例如可以是色环、颜色贴片、数字标签、条形码、二维码等。这样，则可以根据物镜110的图像中的标记信息，更加准确和高效识别出物镜110的倍率。
以颜色贴片识别为例，本示例实施方式中可以在不同倍率的物镜110上贴附不同的颜色卡；例如4倍物镜上贴附红色标签，10倍物镜上贴附黄色标签，20倍物镜上贴附绿色标签，40倍物镜上贴附蓝色标签。此外，还可以将所述图像传感器1461的视野中物镜110落位时颜色贴片所在区域设置为感兴趣区域(ROI)，图像传感器1461可以获取感兴趣区域的图像并发送至图像识别模块处理，这样则可以减少图像识别模块的运算量以及提高识别效率。感兴趣区域的大小和位置可以由本领域技术人员基于经验或者实验确定。
图像识别模块可以通过多种方法进行识别。举例而言，可以使用图像的RGB(红绿蓝)三通道分解方法；也即，首先将拍摄到的彩色的物镜图像分解为RGB三个通道；其次，分析RGB三通道中各通道的强度值以及相对比例，进而根据预先设定的颜色卡规则识别出物镜110的倍率。例如，贴附有绿色标签的20倍物镜图像的感兴趣区域中的G通道则会比R通道和B通道的强度值高很多；贴附有红色标签的4倍物镜图像的感兴趣区域中的R通道则会比G通道和B通道的强度值高很多等。
此外，由于感兴趣区域通常很小，因此本示例实施方式中的倍率识别模块146一般可以在较短的时间内完成图像识别获取倍率信息；甚至在物镜110完全落位之前就已识别出物镜110的倍率。这样，则可以为后续的增强现实相关的算法提供数据支持。例如，在病灶区域分割等算法中，在更快的获取物镜110的倍率之后，可以提前根据物镜110的倍率配置不同的分割算法或者配置不同的算法参数，进而提高系统的整体响应速度。
进一步的，本示例实施方式中，所述模式控制装置还可以用于，根据观察者400的指定信息切换所述图像传感器1461的工作模式；其中，在不同的工作模式下，所述图像传感器1461的功耗不同。举例而言，在上述步骤S410、上述步骤S510或者上述步骤S610中，如果判断所述观察者400与所述增强现实组件140间的距离超出所述预设距离区间，也即观察者400未处于观察状态，则可以控制所述图像传感器1461进入休眠状态；而如果判断所述观察者400与所述增强现实组件140间的距离位于所述预设距离区间，也即观察者400处于正常观察状态或者回到观察状态，则可以控制所述图像传感器1461进入激活状态。这样，则可以进一步的降低增强现实组件140的整体功耗。
此外，本示例实施方式中，所述模式控制装置还可以用于，根据观察者400的指定信息切换所述图像采集装置130(主相机)的工作模式；其中，在不同的工作模式下，所述图像采集装置130的功耗不同。举例而言，在上述步骤S410、上述步骤S510或者上述步骤S610中，如果判断所述观察者400与所述增强现实组件140间的距离超出所述预设距离区间，也即观察者400未处于观察状态，则可以控制所述图像采集装置130进入休眠状态；而如果判断所述观察者400与所述增强现实组件140间的距离位于所述预设距离区间，也即观察者400处于正常观察状态或者回到观察状态，则可以控制所述图像采集装置130进入激活状态。这样，则可以进一步的降低显微镜系统的整体功耗。
为了便于对于增强现实组件140中的图像投影装置141、增强现实组件140中倍率识别模块146的图像传感器1461以及显微镜系统中的图像采集装置130的工作模式的统一调节，本示例实施方式中，上述模式控制装置可以集成于上述图像处理服务器200中。当然，在本公开的其他示例性实施例中，模式控制装置可以包含分别对应于增强现实组件140中的图像投影装置141、增强现实组件140中倍率识别模块146的图像传感器1461以及显微镜系统中的图像采集装置130的多个子模块，从而便于对于各耗能器件的独立调节；本示例性实施例中对此不做特殊限定。
本公开中还提供了一种显微镜，包括：物镜、多目观察筒、图像采集装置以及增强现实组件；其中，被观测物在观测时产生的光线经由所述物镜进入目标光路；所述多目观察筒的观测端设有目镜；所述图像采集装置通过所述多目观察筒上的物理接口与所述多目观察筒连接，用于采集图像以便于基于采集的图像生成增强图像；所述增强现实组件包括图像投影装置、信息采集装置以及模式控制装置；其中，图像投影装置，用于获取所述增强图像并投影至所述目标光路形成汇合光线，且一部分所述汇合光线进入所述目镜，另一部分所述汇合光线进入所述图像采集装置；信息采集装置，用于采集所述显微镜的观察者的指定信息；以及模式控制装置，用于根据观察者的所述指定信息切换所述图像投影装置的工作模式；其中，在不同的工作模式下，所述图像投影装置的功耗不同。
所述显微镜中各模块或组件的具体细节已经在上述示例性实施例中进行了详细的描述，因此此处不再赘述。
本公开中还提供了一种增强现实方法，应用于显微镜。参考图9所示，该方法可以包括下述步骤S910以及步骤S930。其中：
步骤S910、获取增强图像并投影至显微镜的目标光路；所述目标光路为被观测物自所述显微镜的物镜出射的光线的光路；
步骤S920、采集所述显微镜的观察者的指定信息；
步骤S930、根据观察者的所述指定信息切换所述图像投影装置的工作模式；其中，在不同的工作模式下，所述图像投影装置的功耗不同。
在本公开的一种示例性实施例中：采集所述显微镜的观察者的指定信息包括，获取所述观察者与所述增强现实组件间的距离；切换所述图像投影装置的工作模式包括，根据所述观察者与所述增强现实组件间的距离切换所述图像投影装置的工作模式。
在本公开的一种示例性实施例中，切换所述图像投影装置的工作模式具体包括：在所述观察者与所述增强现实组件间的距离位于预设距离区间时，切换所述图像投影装置至第一工作模式；在所述观察者与所述增强现实组件间的距离超出所述预设距离区间时，切换所述图像投影装置至第二工作模式；所述第二工作模式的功耗小于所述第一工作模式的功耗。
在本公开的一种示例性实施例中，切换所述图像投影装置的工作模式具体包括，在所述观察者与所述增强现实组件间的距离超出所述预设距离区间达到预设时长时，切换所述图像投影装置至第二工作模式。
在本公开的一种示例性实施例中，切换所述图像投影装置的工作模式具体包括，在所述观察者与所述增强现实组件间的距离位于预设距离区间时，切换所述图像投影装置至第一工作模式；在所述观察者与所述增强现实组件间的距离超出所述预设距离区间且未达到预设时长时，切换所述图像投影装置至第二工作模式；在所述观察者与所述增强现实组件间的距离超出所述预设距离区间且达到预设时长时，切换所述图像投影装置至第三工作模式；所述第二工作模式的功耗小于所述第一工作模式的功耗；所述第三工作模式的功耗小于所述第二工作模式的功耗。
在本公开的一种示例性实施例中，切换所述图像投影装置的工作模式具体包括，在所述观察者与所述增强现实组件间的距离位于预设距离区间时，切换所述图像投影装置至第一工作模式；在所述观察者与所述增强现实组件间的距离超出所述预设距离区间且未达到预设距离值时，切换所述图像投影装置至第二工作模式；在所述观察者与所述增强现实组件间的距离超出所述预设距离区间且达到预设距离值时，切换所述图像投影装置至第三工作模式；所述第二工作模式的功耗小于所述第一工作模式的功耗；所述第三工作模式的功耗小于所述第二工作模式的功耗。
在本公开的一种示例性实施例中，所述增强现实方法还包括：获取所述显微镜当前装配的物镜的图像，以便于基于所述物镜的图像判断所述物镜的倍率。
在本公开的一种示例性实施例中，所述增强现实方法还包括：根据观察者的所述指定信息切换所述图像传感器的工作模式；其中，在不同的工作模式下，所述图像传感器的功耗不同。
在本公开的一种示例性实施例中，所述图像投影装置包括：投影模组，用于获取所述增强图像，并基于所述增强图像生成投影光线；透镜模组，用于将所述投影光线投影至分光模组，以使所述投影光线与所述被观测物光线在所述分光模组处汇合，得到汇合光线；分光模组，用于使一部分所述汇合光线进入所述显微镜的目镜，另一部分所述汇合光线进入图像采集装置；所述增强现实方法还包括：根据观察者的所述指定信息切换所述图像采集装置的工作模式；其中，在不同的工作模式下，所述图像采集装置的功耗不同。
上述增强现实方法中各步骤的具体细节已经在上文的增强现实组件相关的示例性实施例中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
图10示出了适于用来实现本公开实施例中方法的电子设备的计算机系统的结构示意图。
需要说明的是，图10示出的电子设备的计算机系统1000仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示，计算机系统1000包括中央处理单元(CPU)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从储存部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有系统操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的储存部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入储存部分1008。
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的方法和装置中限定的各种功能。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如上述方法的各个步骤等。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种增强现实组件，其特征在于，包括：
图像投影装置，用于获取增强图像并投影至显微镜的目标光路；所述目标光路为被观测物自所述显微镜的物镜出射的光路；
信息采集装置，用于采集所述显微镜的观察者的指定信息；
模式控制装置，用于根据观察者的所述指定信息切换所述图像投影装置的工作模式；其中，在不同的工作模式下，所述图像投影装置的功耗不同。
2.根据权利要求1所述的增强现实组件，其特征在于，所述指定信息为距离信息；其中：
所述信息采集装置用于获取所述观察者与所述增强现实组件间的距离；
所述模式控制装置用于根据所述观察者与所述增强现实组件间的距离切换所述图像投影装置的工作模式。
3.根据权利要求2所述的增强现实组件，其特征在于，所述模式控制装置具体用于：
在所述观察者与所述增强现实组件间的距离位于预设距离区间时，切换所述图像投影装置至第一工作模式；
在所述观察者与所述增强现实组件间的距离超出所述预设距离区间时，切换所述图像投影装置至第二工作模式；
所述第二工作模式的功耗小于所述第一工作模式的功耗。
4.根据权利要求3所述的增强现实组件，其特征在于，所述模式控制装置具体用于，在所述观察者与所述增强现实组件间的距离超出所述预设距离区间达到预设时长时，切换所述图像投影装置至第二工作模式。
5.根据权利要求2所述的增强现实组件，其特征在于，所述模式控制装置具体用于：
在所述观察者与所述增强现实组件间的距离位于预设距离区间时，切换所述图像投影装置至第一工作模式；
在所述观察者与所述增强现实组件间的距离超出所述预设距离区间且未达到预设时长时，切换所述图像投影装置至第二工作模式；
在所述观察者与所述增强现实组件间的距离超出所述预设距离区间且达到预设时长时，切换所述图像投影装置至第三工作模式；
所述第二工作模式的功耗小于所述第一工作模式的功耗；所述第三工作模式的功耗小于所述第二工作模式的功耗。
6.根据权利要求2所述的增强现实组件，其特征在于，所述模式控制装置具体用于：
在所述观察者与所述增强现实组件间的距离位于预设距离区间时，切换所述图像投影装置至第一工作模式；
在所述观察者与所述增强现实组件间的距离超出所述预设距离区间且未达到预设距离值时，切换所述图像投影装置至第二工作模式；
在所述观察者与所述增强现实组件间的距离超出所述预设距离区间且达到预设距离值时，切换所述图像投影装置至第三工作模式；
所述第二工作模式的功耗小于所述第一工作模式的功耗；所述第三工作模式的功耗小于所述第二工作模式的功耗。
7.根据权利要求1所述的增强现实组件，其特征在于，所述增强现实组件还包括：
封装壳体，用于容置所述图像投影装置；且所述信息采集装置安装于所述封装壳体。
8.根据权利要求1所述的增强现实组件，其特征在于，所述增强现实组件还包括：
倍率识别模块，用于获取所述显微镜当前装配的物镜的图像，以基于所述物镜的图像判断所述物镜的倍率。
9.根据权利要求8所述的增强现实组件，其特征在于，所述倍率识别模块包括：
图像传感器，用于接收入射光线并基于所述入射光线生成所述显微镜当前装配物镜的图像；
光学组件，用于接收来自所述显微镜当前装配的物镜的光线并出射至所述图像传感器。
10.根据权利要求9所述的增强现实组件，其特征在于：
所述增强现实组件还包括：
封装壳体，用于容置所述图像投影装置；
所述倍率识别模块还包括：
支承件，所述支承件的第一端与封装壳体连接，第二端用于安装所述图像传感器以及光学组件。
11.根据权利要求9所述的增强现实组件，其特征在于，所述模式控制装置还用于，根据观察者的所述指定信息切换所述图像传感器的工作模式；其中，在不同的工作模式下，所述图像传感器的功耗不同。
12.根据权利要求1～11任意一项所述的增强现实组件，其特征在于，所述图像投影装置包括：
投影模组，用于获取所述增强图像，并基于所述增强图像生成投影光线；
透镜模组，用于将所述投影光线投影至分光模组，以使所述投影光线与所述被观测物光线在所述分光模组处汇合，得到汇合光线；
所述分光模组，用于使一部分所述汇合光线进入所述显微镜的目镜，另一部分所述汇合光线进入图像采集装置。
13.根据权利要求12所述的增强现实组件，其特征在于，所述模式控制装置还用于，根据观察者的所述指定信息切换所述图像采集装置的工作模式；其中，在不同的工作模式下，所述图像采集装置的功耗不同。
14.一种显微镜，其特征在于，包括：
物镜；被观测物在观测时产生的光线经由所述物镜进入目标光路；
多目观察筒，且所述多目观察筒的观测端设有目镜；
图像采集装置，通过所述多目观察筒上的物理接口与所述多目观察筒连接，用于采集图像以便于基于采集的图像生成增强图像；
增强现实组件，包括：
图像投影装置，用于获取所述增强图像并投影至所述目标光路形成汇合光线，且一部分所述汇合光线进入所述目镜，另一部分所述汇合光线进入所述图像采集装置；
信息采集装置，用于采集所述显微镜的观察者的指定信息；以及
模式控制装置，用于根据观察者的所述指定信息切换所述图像投影装置的工作模式；其中，在不同的工作模式下，所述图像投影装置的功耗不同。
CN202011156154.1A 2020-10-26 2020-10-26 增强现实组件以及显微镜 Active CN112285915B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011156154.1A CN112285915B (zh) 2020-10-26 2020-10-26 增强现实组件以及显微镜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011156154.1A CN112285915B (zh) 2020-10-26 2020-10-26 增强现实组件以及显微镜

Publications (2)

Publication Number Publication Date
CN112285915A true CN112285915A (zh) 2021-01-29
CN112285915B CN112285915B (zh) 2023-07-18

Family

ID=74373051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011156154.1A Active CN112285915B (zh) 2020-10-26 2020-10-26 增强现实组件以及显微镜

Country Status (1)

Country Link
CN (1) CN112285915B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105183156A (zh) * 2015-08-31 2015-12-23 小米科技有限责任公司 屏幕控制方法及装置
CN105808997A (zh) * 2014-12-31 2016-07-27 联想(北京)有限公司 一种控制方法及电子设备
US20170045928A1 (en) * 2014-02-21 2017-02-16 Sony Corporation Electronic apparatus and method of controlling power supply
KR20180017109A (ko) * 2015-06-09 2018-02-20 노키아 테크놀로지스 오와이 머리 착용 디스플레이를 제 1 전력 모드의 동작으로부터 제 2 전력 모드의 동작으로 전이시키는 기법
CN110488479A (zh) * 2019-08-23 2019-11-22 腾讯科技（深圳）有限公司 一种增强现实显微镜、图像投影设备及图像处理系统
CN110679147A (zh) * 2017-03-22 2020-01-10 奇跃公司 用于显示系统的基于深度的凹式渲染

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170045928A1 (en) * 2014-02-21 2017-02-16 Sony Corporation Electronic apparatus and method of controlling power supply
CN105808997A (zh) * 2014-12-31 2016-07-27 联想(北京)有限公司 一种控制方法及电子设备
KR20180017109A (ko) * 2015-06-09 2018-02-20 노키아 테크놀로지스 오와이 머리 착용 디스플레이를 제 1 전력 모드의 동작으로부터 제 2 전력 모드의 동작으로 전이시키는 기법
CN105183156A (zh) * 2015-08-31 2015-12-23 小米科技有限责任公司 屏幕控制方法及装置
CN110679147A (zh) * 2017-03-22 2020-01-10 奇跃公司 用于显示系统的基于深度的凹式渲染
CN110488479A (zh) * 2019-08-23 2019-11-22 腾讯科技（深圳）有限公司 一种增强现实显微镜、图像投影设备及图像处理系统

Also Published As

Publication number Publication date
CN112285915B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
TWI810304B (zh) 用於產生影像圖框之設備及方法
US8066375B2 (en) Eye tracker having an extended span of operating distances
US20210405340A1 (en) Augmented reality microscope, image projection device and image processing system
CN108307675A (zh) 用于vr/ar应用中的深度增强的多基线相机阵列系统架构
JP2020528622A (ja) 画像処理方法、装置および機器
CN106210520B (zh) 一种自动调焦电子目镜及系统
KR101799522B1 (ko) 교환렌즈 형태를 채용한 3차원 영상 획득 장치
US20170085832A1 (en) Method and an apparatus for generating data representative of a light field
JP5406151B2 (ja) ３次元撮像装置
US20210217190A1 (en) Analyzer for three-dimensionally analyzing a medical sample by means of a light field camera
JP2012015642A (ja) 撮像装置
CN113534596B (zh) Rgbd立体相机及成像方法
JPWO2017203777A1 (ja) 電子装置、電子装置の制御方法、および、プログラム
CN112285915B (zh) 增强现实组件以及显微镜
US20180365840A1 (en) Optical module and a method for objects' tracking under poor light conditions
JP2020187065A (ja) 電子機器及びその制御方法、プログラム
KR102562696B1 (ko) 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법
CN116670713A (zh) 使用基于核线所选择的候选图像进行深度感测的方法
JP2023535916A (ja) 深度データ測定機器及び構造化光投影ユニット
JP2013232757A (ja) 撮像装置、画像処理装置、画像処理方法及びプログラム
KR102402432B1 (ko) 픽셀 빔을 표현하는 데이터를 생성하기 위한 장치 및 방법
JP7311617B2 (ja) 処理装置、電子機器、処理方法、及びプログラム
CN111679422B (zh) 显微镜、图像处理系统及图像处理方法
CN113902791B (zh) 一种基于液态镜头深度聚焦的三维重建方法及装置
US11831858B2 (en) Passive three-dimensional image sensing based on referential image blurring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant