CN110381808B - 自定向成像设备及使用方法 - Google Patents

Abstract

自定向成像设备及使用方法感测手持成像的方向，并通过旋转所要显示的图像进行旋转校正。当使用扫描仪时，调节扫描仪中的扫描元件，以使最终的扫描方向相对受试者的解剖结构保持不变。用于扫描仪的自定向机构可以在硬件机构中实施。

Description

自定向成像设备及使用方法

背景技术

在耳镜成像中，通常使用手持式成像仪。根据受试者的姿势，不同的操作人员操作和定位手持式成像仪的方式不同。图1A在左侧示出了成像仪沿着受试者的上-下轴放置的情况，以及在右侧示出了沿着受试者的前-后轴放置的情况。虚线圆圈表示正在成像的解剖结构，该解剖结构两种情况下是相同的。当使用数字成像技术时，捕捉的图像通常显示在独立显示器上，如图1B所示。在该示例中，由于成像仪的朝向不同，因此实际图像具有90°的旋转差，如图1A和图1B所示。通过保持成像仪静止而“旋转”受试者，也可以很容易的理解方向的差异。旋转后的图像可能会引起混淆，因为在旋转后的图像中，解剖学上的下方向是指向左边的。

当操作人员开始移动成像仪定位感兴趣的区域时，事情会变得更加混乱。在成像仪保持直立的情况下，移动成像仪是直观的。例如，当操作人员在显示器的底部发现感兴趣的区域时，他或她可以简单地将成像仪朝着受试者的下方移动。原因是下方向与显示器向下的方向对齐。然而，在旋转90°的场景中，如果操作人员将手持成像仪移动至低于受试者，显示器上的图像将向左移动。操作人员必须适应解剖结构和图像显示器之间的分离，这是反直觉的并强加了一个陡峭的学习曲线。

当成像显示器没有固定在手持成像仪上时会出现这种混淆。

成像仪可以使用扫描机构并控制成像光束以获得数据。扫描组件固定在手持式扫描仪上。扫描方向通常沿一个机械震荡轴预先确定。通过在该预先确定的方向上扫描一定距离，可以沿着扫描线获得图像信息。通过移动或旋转手持式扫描仪，可以移动扫描线对不同组织采样。然而，在某些情况下，扫描线固定在受试者的解剖结构上比固定在扫描仪上更有价值。

例如，光学相干断层扫描(OCT)沿着成像激光束的方向生成一维图像数据。通过扫描，生成2D断面图像或B形扫描。B形扫描的一个轴是沿光束轴的深度，另一个轴是沿扫描方向。由于OCT成像速度十分快，B形扫描通常用于实时监控。对于图1A和图1B所示的耳镜成像，沿受试者的上下轴扫描并不是优选的。原因在于，人类的耳膜通常沿这个方向以不同角度倾斜。从组织到扫描仪的距离有更多变化。当沿着正交的前后轴扫描时，组织可以更容易定位在OCT焦点范围和成像范围内。

前者的范围决定了成像的横向分辨率，而后者防止混叠伪影。无论扫描仪的方向如何，都需要保持前后扫描。需要一种自方向成像仪和/或扫描仪，操作人员能够利用其轻松地将显示图像与受试者的组织结构相关联。

对手持式成像仪或扫描仪的第二个普遍需求来源于其高度地可移动性质。例如，手持设备的运动携带着设备可能正在使用的信息。我们可以利用这些设备状态的信息。另一方面是这样的设备受手的运动支配，更容易掉落。检测手持设备的运动对于运动伪影校正甚至电压降检测可能是有用的。

本发明试图解决这些问题以及其他问题。

发明内容

本发明提供了用于自定向成像设备以及使用方法的的系统、方法和装置。所述方法、系统和装置部分地在下面的描述中阐述，并且在描述中部分是显而易见的，或者可以通过实践所述方法、装置或系统来学习。所述方法、装置和系统的优点将通过所附权利要求书中特别指出的要素和组合来实现和得到。应当理解，上述一般描述和以下详细描述都只是示例性和解释性的，并不是对要求保护的方法、设备和系统的限制。

附图说明

在附图中，在本发明的几个优选实施例中，相同的元件有相同的附图标记识别。

图1A-图1B为手持式成像仪用于对人耳膜进行成像的示意图，其中，成像仪的方向不同在独立显示器上产生不同的图像。

图2A为方向传感器的装置的示意图，其中，传感器的轴必须与成像仪的轴校准且只描绘两个轴；图2B是图2A的带有传感器轴的方向传感器的放大部分；图2C示出了示例性的变换矩阵，其中扫描仪和传感器的z轴对齐且x-y平面旋转θ°。

图3A为对受试者成像时自定向工作流程的示意性流程图并且适用于一般的成像仪。图3B是对受试者成像时自定向工作流程的示意性流程图并且适用于带有扫描机构的成像仪。

图4A-图4B为示出耳镜和光纤视镜之间的旋转不一致的示意图。

图5为示出了定向补偿工艺流程的流程图。

具体实施方式

结合附图，从以下示例性实施例的详细描述中可以明显得出本发明的上述以及其他特征和优点。详细的描述和附图仅仅是对本发明的示例性说明而不是限制，本发明的范围由所附权利要求及其等同物限定。

本发明的实施例将参考附图进行描述，其中相同的数字始终表示相同的元件。本描述中所使用术语不旨在以任何受限或限制性的方式进行解释，仅仅因为它是与本发明的某些具体实施例的详细描述一起使用。此外，本发明的实施例可以包括若干新特征，其中没有单一的特征独自地负责其所需的属性或者对于实践本文所述的发明是必不可少的。在本文中使用词语近端的和远端以表示本文所述器械的部件的特定末端。近端指当使用仪器时，仪器更接近仪器的操作人员的一端。远端指部件远离操作人员且朝向受试者和/或植入物的区域延伸的一端。

在描述本发明的上下文中，术语“一个”和“所述”以及类似的指示物应被解释为同时包含单数和复数，除非文中另有说明或与上下文明显矛盾。进一步理解，文中使用的术语“包括、”“包含”，指定了所述特征、整数、步骤、操作、元件、和/或部件的存在，但不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或其他组。

除非本文另有说明，否则本文中对数值范围的描述仅旨在用作单独引用落入该范围内的每个单独值的简写方法，并且如同其在本文中单独记载的一样，每个单独的值并入本说明书中。当伴随数值时，词语“约”应被解释为表示与所述数值达到并包括10％的偏差。除非另外声明，否则本文提供的任何和所有实例或示例性语言(“例如”或“诸如”)的使用仅旨在更好地说明本发明，而不是对本发明的范围进行限制。说明书中的任何语言都不应被解释为表明对于本发明的实践至关重要的任何未声明的元件。

对“一个实施例”、“实施例”、“示例性实施例”、“各种实施例”等，可能表明本发明的所述实施例可能包括特定的特征、结构或特性，但并非每个实施例必须包括特定的特征、结构或特性。此外，重复使用“在一个实施例中”或“在示例性的实施例中”并不一定表示是相同的实施例，尽管它们可能是。

文中所用术语“方法”是指用于完成给定任务的方式、手段、技术和程序，包括但不限于已知的方式、手段、技术和程序，或者由化学、药理学、生物学、生物化学和医学领域的从业者从已知的方式、手段、技术和程序发展而来的方式、手段、技术和程序。

自定向成像设备及使用方法感知手持成像的方向，并通过旋转要显示的图像进行旋转校正。自定向成像设备及方法包括方向感测方法和校正方法。

方向传感器(如加速度计、陀螺仪、磁力仪或其任何组合)可用于传感。例如，将来自全部加速度计、陀螺仪和磁力仪的数据进行融合能够很好的利用陀螺仪的快速响应时间和灵敏度，而加速度计和磁力仪可以长时间矫正陀螺仪的漂移。加速度计是用于测量加速力的机电设备。这些力可以是静态的，如连续的重力，或像许多移动设备一样，这些力可以是动态的以感知运动或振动。

当使用扫描仪时，通过调整扫描仪中的扫描元件，替代方案是可行的，以使得最终的扫描方向相对于受试者的解剖结构保持不变。自定向机制能够在硬件上实现，而无需对显示的图像进行方向校正。另外的核心技术在于扫描调整方法。

诸如微机电系统(MEMS)、压电设备或检流计的2D扫描元件可以被用于调整方向。这些元件由独立的波形驱动而可以在两个正交方向上振荡。通过采用两种不同振幅的同相波形可以实现任意方向的扫描。

图2A示出了传感设计。如图2B所示，方向传感器可以固定到手持扫描仪上。如果进行校准以将传感器的轴与扫描仪的轴对齐，则传感器相对于扫描仪的相对方向可以是任意的。通过将扫描仪定位在一个或几个预定义的方向上完成该对齐。相应的传感器方向用于计算坐标变换矩阵。图2C示出了扫描仪和传感器的z轴对准并且x-y平面旋转角度θ时的示例性变换矩阵。

在一个实施例中，图3A示出了对受试者成像的过程。首先，手持设备确定优选的显示方向，其可以在校准步骤期间进行。在一个实施例中，手持扫描仪的默认扫描方向为沿后-前轴对齐；然而，手持扫描仪可以与其他轴对齐，例如上-下轴或左-右轴。对齐后，操作人员会触发校准信号，以便扫描仪记录优选的显示方向。在另一实施例中，采用了软件方法。操作人员使成像仪保持静止，软件将提供选项以将显示图像旋转到优选的方向。这种方法等同于第一种方法，具有较少的硬件设计要求。然后，操作人员开始成像并可以以任何需要的方式操作扫描仪。新的扫描方向可以从方向传感器获得。通过对比新的方向以及优选的方向计算补偿量，所述补偿量为软件将要补偿的旋转角度。所述旋转角度可以是360度范围内的任意角度。用户可以以多种方式手持设备，包括倒置。如果成像没有结束，算法返回到方向感测步骤。

在扫描情况下，传感器装置将与一般手持成像仪实施例相同，其中，方向传感器可以沿任何位置固定到扫描仪。额外的硬件配置将扫描角度校准为驱动波形要求。如图3B所示，自定向工作流程的不同之处在于是调整扫描角度而不是对显示图像进行旋转。调整角度被转换为2D扫描元件的驱动波形幅度。如果成像没有结束，则算法返回到方向感测步骤。所述调整角度可以是360度范围内的任意角度。用户可以以多种方式手持设备，包括倒置。要驱动的波形的大小范围取决于所使用的扫描仪的类型。

当图像显示器没有固定到红外手持成像仪时，所述自定向成像设备和方法解决了对图像方向不变性的需求。虽然固定在手持设备上的显示器不需要图像校正，但它不能解决扫描问题。扫描问题总是需要校正。在没有校正的情况下，当操作人员改变成像仪的方向时，显示的图像会旋转。这在操纵成像仪或将图像与受试者的组织结构相关连时会产生混淆。与受试者的姿势一致并且不管成像方向如何，保持图像方向会提供图像一致性和操作便利性。所述自方向成像设备和方法通过实时地将显示的图像自定向来提供新的用户体验。所述自定向成像设备和方法包括具有足够灵敏度和快速响应时间的方向传感器的识别，传感器和光纤视镜的方向之间的校准算法，与患者一起校准光纤视镜的操作程序，以及应用传感器数据校正方向的软件算法。在使用扫描机构的情况下，在硬件水平上补偿方向。所述设计要求将驱动波形与扫描角度相关联的校准程序，以及将扫描线控制到正确方向的控制算法。

类似的方向补偿可以应用于视频耳镜，其可以是OCT扫描仪中的附加显像模式。

所述自定向成像设备和方法包括方向传感器，扫描仪以及补偿算法。并不一定需要2D扫描仪。备选方案是安装在旋转执行器上的一维扫描仪，在这种情况下，补偿通过旋转执行器来完成。

当通过耳镜和光纤视镜观察垂直箭头时，顶行中的两个图(图1A)显示通过标准耳镜的视图。灰色阴影区域显示了耳镜边框，其中设置有放大镜。两种情况之间的区别在于左耳镜是垂直的，而右耳镜旋转到角度θ。可以想象，无论角度θ为多少，通过放大镜的箭头的图像始终保持相同。

然而，当使用光纤视镜时，视频图像是不同的且违反直觉。原因在于，摄像机固定在光纤视镜手持框架上。当手柄逆时针转动角度θ时，相当于保持相机静止并从成像角度顺时针旋转角度θ。最终图像实际上是顺时针方向旋转角度θ的箭头，如右下图所示。光纤视镜图像不仅与标准耳镜不同(图4Avs.图4B)，而且它也以反直觉的方式旋转。培训过程可能非常耗时，学习经历可能令人沮丧。

在另一实施例中，运动和/或方向传感器也可以可操作地联接到手持设备以提高可用性、设备性能和可靠性。所述运动和/或方向传感器检测设备状态的变化并预测下一个用户动作。在一个实施例中，当在手持设备闲置一段时间(被计时器或实时时钟检测)后将其拿起时，表明该设备将再次被使用。闲置的时间段可以是至少1分钟。设备运动可以被运动检测器检测并且可以使用触发器唤醒硬件外围设备。也可以使用更复杂的运动模式以避免不必要地唤醒系统。在一个实施例中，“唤醒”触发器可以来回摇动手持设备两次。当加速度在相反方向上多次改变时，运动检测器将考虑有效触发。

当运动伪影影响设备性能时，传感器的运动检测器可以警示操作人员和/或甚至帮助去除这种伪影。在图像采集期间，伴随着患者的自愿或非自愿运动会发生运动伪影。运动警报可以通过检测设备的角速度或加速度是否高于预定阈值来触发。在一个实施例中，角速度阈值约大于0.001rad/s。检测到的运动信息还可用于补偿采集的数据中的伪影。例如，运动模糊是常见的伪影。角速度检测可用于计算焦平面处的线性运动伪影的量，其可用于图像去模糊。

当手持设备掉落时，当设备碰触到坚硬表面时，速度会突然改变。设备可能会被损坏。可以主动使用运动传感器来检测这种剧烈运动并警示操作人员可能的损坏。

使用成像设备的规定运动或姿态可以执行命令，例如校准、扫描、感测方向，或校正方法。在特定的实施例中，规定的运动或姿态集中于设备所走过的实际路线，且是所经过的一组点的整体视图。例如，以“O”形式的运动经识别出设备已经以“O”的形式行进，因为在基于姿态的输入中，设备集中在姿态的起点和终点之间的运动或移动的行进路径(例如，即使起点和终点可以是相同的)。这个姿态“O”移动可以映射到特定的功能，如此，当设备识别出它已经沿着路径行进以构成“O”姿态时，它就可以执行命令。在特定的实施例中，意图作为姿态的设备移动可以通过将该移动的加速度的一系列、序列或模式与定义姿态数据库的姿态的一系列、序列或模式相匹配，被所述设备识别为手势。这种姿态是将设备从患者的一只耳朵切换到另一只耳朵。

所提出的自定向解决方案是感测光纤视镜的旋转，并在图像显示之前应用旋转角度进行数字补偿。核心技术是感测和补偿光纤视镜的方向。所提出的可用性、性能和可靠性的改进的解决方案也感测运动。

运动传感器，例如Bosch BNO055，可用于感测。所述传感器包括加速度计、陀螺仪以及磁力计，数据从该传感器被融合到稳定的三轴方向输出中。所述方向参考重力方向和地球磁场。所述传感器的芯片足够小以连接到光纤视镜的手持件上。在单独使用时，加速度计可以检测加速度，陀螺仪可以检测角速度。在一个实施例中，加速度计包括高交叉轴灵敏度，其中加速度计检测到ΔX＝0.002，ΔY＝0.001，ΔZ＝0.000的扰动。

在一个实施例中，为构建自定向光纤视镜，方向传感器芯片将被固定到光纤视镜上。校准算法在制造期间将芯片的轴对齐到光纤视镜的轴上，使得传感器芯片的方向可以转换为光纤视镜的方向。

图5示出了方向补偿的过程。作为第一步，设置默认的姿态方向，其中图像优选在该姿态方向上显示。一个自然的选择是沿着人的上-下轴保持手柄，窥镜的末端指向上方。当捕获光纤视镜的图像开始时，可以从方向传感器中获取新方向并与默认方向相比较。方向补偿可以通过对捕获的图像应用反向旋转完成。观察补偿的图像与通过传统耳镜观察相同。

如本文所用，属于“方法”指用于完成给定任务的方式、手段、技术或程序，包括但不限于已知的方式、手段、技术和程序，或者由化学、药理学、生物学、生物化学和医学领域的从业者从已知的方式、手段、技术和程序发展而来的方式、手段、技术和程序。

如本申请中所使用的，属于“组件”和“系统”旨在指代与计算机相关的实体、硬件、硬件和软件的结合、软件或者执行中的软件。例如，组件可以但不限于，处理器上运行的进程、处理器、对象、可执行的文件、执行线程、程序和/或计算机。举例来说，在服务器上运行的应用程序和所述服务器都可以是组件。一个或多个组件可以属于进程和/或执行线程内，并且组件可以位于计算机和/或分布在两台或更多台计算机之间。

通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构等。此外，本领域技术人员将理解，本发明的方法可以用其他的计算机系统配置实践，包括单处理器或者多处理器计算机系统、小型计算机、大型机以及个人计算机、手持计算机设备、基于微处理器或可编程的消费电子产品等，每一种都可以可操作地联接到一个或多个相关设备。

所描述的创造性方面还可以在分布式计算环境中实践，其中某些任务通过通信网络连接的远程处理设备执行。在分布式计算环境中，程序模块可以位于本地和远程存储器设备中。

计算机通常包括各种计算机可读介质。计算机可读介质可以是可由计算机访问的任何可用介质，并且包括易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以任何方法或技术实现用于存储诸如计算机可读指令、数据结构、程序模块或其他数据类信息的易失性和非易失性、可移动和不可移介质。计算机存储介质包括但不限于，RAM、ROM、EEPROM、闪存存储器或其他存储技术、CD-ROM、数字通用盘(DVD)或其他光盘存储器，磁性录音带、磁带、磁盘存储器或其他磁存储设备，或任何其他可用于存储所需信息并且可由计算机访问的介质。

通信介质通常以诸如载波或其他传输机制等已调至数据信号来体现计算机可读指令、数据结构、程序模块或其他数据，并且包括任何信息传递介质。术语“已调制数据信号”表示以对信号中的信息进行编码的方式设置或改变其一个或多个特征的信号。作为示例而非限制，通信介质包括诸如有限网络或直接有线连接的有线介质、以及诸如声学、RF、红外和其他无线介质的无线介质。上述的任何组合也应包括在计算机可读介质的范围内。

软件包括应用程序和算法。软件可以在智能电话、平板电脑或个人计算机中、在云中、在可穿戴设备、或其他计算或处理设备上执行。软件可以包括日志、日记、表格、游戏、录音、通信、SMS消息、网站、图表、交互式工具、社交网络、VOIP(互联网协议录音)、电子邮件和视频。

在一些实施例中，本文描述的一些或所有功能或过程由计算机程序执行，该计算机程序可由计算机可读程序代码形成并体现在计算机可读介质中。短语“计算机可读程序代码”包括任意类型的代码，包括源代码、目标代码、可执行代码、固件、软件等。短语“计算机可读介质”包括能够被计算机访问的任意类型的介质，例如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频光盘(DVD)或任何其他形式的内存。

本发明书中提到的所有出版物和专利申请均通过引用并入本文，其程度与每个单独的出版物或专利申请被具体地和单独地通过引用并入本文的程度相同。

虽然已经结合各种实施例描述了本发明，但是应该理解，本发明能够进行进一步地修改。一般地，本申请旨在覆盖本发明的任何改变、使用或改编，并且包括在本发明所属领域内的已知和惯常实践范围内对本发明的任何改变、使用或改编。

Claims (14)

1.一种自定向耳镜设备的方法，包括：

a.校准可操作地固定到扫描仪或成像仪上的传感器的方向；

b.扫描仪和传感器的z轴对准并且x-y平面旋转角度θ时，从所述方向计算变换矩阵；

c.通过沿轴对齐扫描仪的默认扫描方向获得优选的显示方向；

d.用扫描仪成像并获得新的扫描器方向；以及

e.对新的扫描方向与优选的显示方向通过旋转的角度进行比较。

2.根据权利要求1所述的方法，其特征在于，所述扫描仪的默认扫描方向为沿后-前轴对齐。

3.根据权利要求1所述的方法，其特征在于，获取优选的显示方向包括保持所述扫描仪固定并提供选项将显示图像旋转到优选的方向。

4.根据权利要求3所述的方法，其特征在于，所述扫描仪为光纤视镜。

5.根据权利要求4所述的方法，其特征在于，所述扫描仪为可操作地联接到光学相干断层扫描成像设备的手持成像仪。

6.根据权利要求1所述的方法，其特征在于，所述方向传感器选自加速度计、陀螺仪、磁力仪或其任何组合组成的集合。

7.一种自定向耳镜设备的方法，包括：

a.设置优选的B形扫描方向，将方向传感器固定到扫描仪上并校准所述扫描仪的扫描角度以驱动波形要求；

b.通过调整角调整所述扫描角度；

c.转换所述调整角以驱动所述扫描仪的波形要求；以及

d.用所述扫描仪成像。

8.根据权利要求7所述的方法，还包括在正确的方向上控制扫描线并且成像设备是光学相干断层扫描成像设备。

9.根据权利要求8所述的方法，其特征在于，所述调整所述扫描角度可以通过MEMS、压电设备或检流计完成。

10.一种自定向耳镜设备的方法，包括：

a.通过运动检测器检测成像设备的运动，并准备所述设备备用或将运动模式转换为对设备的用户命令以及校准固定地联接到扫描仪的传感器的方向；

b.从所述方向计算变换矩阵；

c.获得优选的扫描方向；

d.校准扫描仪的扫描角度以驱动所述扫描仪的波形要求；

e.通过调整角度调整所述扫描角度；

f.转换所述调整角度以驱动波形要求；以及

g.用所述扫描仪成像。

11.根据权利要求10所述的方法，其特征在于，所述调整所述扫描角度可以通过MEMS、压电设备或检流计完成。

12.根据权利要求10所述的方法，其特征在于，所述成像设备是光学相干断层扫描成像设备。

13.根据权利要求10所述的方法，还包括通过传感器检测运动伪影；以及通过检测所述设备的角速度或加速度是否高于预先确定的阈值来触发运动警报。

14.根据权利要求10所述的方法，还包括通过运动检测器检测所述成像设备的姿态并利用所述成像设备的所述姿态来执行选自校准、扫描、感测方向和校正方法的集合中的命令。

Images