CN113508356A - 利用用户跟踪自动调整显示系统的系统和方法 - Google Patents

Abstract

根据一个或多个实施例，提供了用于自动调整超声显示器的系统和方法。计算系统可包括供用户在程序中查看的显示器、耦合到显示器以调整显示器的位置或方向中的至少一个的致动器，以及图像采集设备。图像数据可由图像采集设备从本地环境采集。可以基于图像数据识别和/或定位目标对象。致动器可以根据识别的目标的位置调整显示器的位置或方向中的至少一个。该过程可根据频率或延迟期重复进行，以便在用户在环境中移动时持续跟踪用户并相应地调整显示器。

Description

利用用户跟踪自动调整显示系统的系统和方法

技术领域

本申请涉及超声显示系统领域，尤其是一种利用用户跟踪自动调整显示系统的系统和方法。

背景技术

在诊断性医疗产品中，例如超声系统，显示器可以通过将图形数据投射到用户可以查看的屏幕上来输出信息。显示器可以通过图形用户界面接收信息输入，该界面呈现一系列选项供用户选择。

发明内容

本发明的各种实施例涉及一种计算系统。所述计算系统可包括用于在程序期间向用户查看数据的显示器、与显示器耦合的致动器，所述致动器用于调整显示器的位置或方向中的至少一个、以及用于采集局部环境的图像的一个或多个图像采集设备。所述计算系统可以在由图像采集设备采集的图像中定位目标对象。所述计算系统可将目标对象在图像内的位置与本地环境内的位置相关联。所述计算系统可以确定对显示器的调整，以改善用户的可见度或视角。所述计算系统可以使致动器基于计算出的调整来调整显示器的位置或方向中的至少一个。所述计算系统可以根据频率或时间延迟重复此过程。所述计算系统还可以包括音频采集设备。其中，语音命令可以使致动器调整显示器的位置或方向。所述计算系统可以被配置为根据指定的参数或偏好来操作。所述计算系统可以用于跟踪一个以上的目标对象。所述计算系统还可以具有眩光消除技术。

本发明的各种实施例涉及由计算系统实现的方法。所述方法可以包括从图像采集设备接收图像数据。所述方法可以包括在图像数据中识别对象。所述方法可以包括在局部环境中定位对象。所述方法可包括基于对象在局部环境中的位置确定对显示的调整。所述方法可以包括使耦合到计算系统的致动器基于确定的调整，来调整显示器的位置或方向中的至少一个。所述方法可以根据频率或延迟期重复进行。所述方法可以包括从音频采集设备接收语音命令，并使致动器基于语音命令调整显示器的位置或方向。所述方法可以包括识别和跟踪第二对象，并使致动器基于第二对象调整显示器的位置或方向。

本发明的各种实施例涉及一种计算系统。所述计算系统可包括用于在程序期间向用户查看数据的显示器、与显示器连接并配置为调整显示器的位置和/或方向的致动器，以及能够与远程信标通信的传感器设备。当用户在当地环境中移动时，远程信标可以佩戴在用户的身上。所述计算系统可以向信标发送第一信号。信标可以响应于第一信号向计算系统发送第二信号。所述计算系统可以接收来自信标的第二信号并确定信标在本地环境中的位置。所述计算系统可以根据确定的信标的位置，使致动器调整显示器的位置或方向中的至少一个。所述计算系统可以根据性能参数和用户设置来操作。所述计算系统可以包括音频采集设备，其用于接收语音命令并使致动器基于语音命令调整显示器的位置或方向中的至少一个。所述计算系统向多个信标发送和接收信号，并根据多个信标的位置调整显示器。

本发明的各种实施例涉及一种自动调整显示器的方法。所述方法可以包括：初始化自动显示控制；接收图像数据；基于所述图像数据确定目标相对于所述显示器的位置或方向；基于所述目标相对于所述显示器的位置或方向，计算所述显示器的调整；以及基于所述显示器的调整控制至少一个致动器，从而移动所述显示器。

上文的概述仅是说明性的，并以任何方式限制本发明。除了上述的方面、实施例和特征之外，通过参考附图和下文的详细描述，进一步的方面、实施例和特征可以被清楚地阐述。

附图说明

图1示出了一个环境，其中可以使用一种能够响应用户跟踪而自动调整的显示系统。

图2示出了一种超声显示器。

图3示出了一种超声系统。

图4示出了一种超声系统的框图。

图5示出了一种显示调节控制器的框图。

图6示出了一种利用用户跟踪自动调整显示的方法的流程图。

图7示出了二维平面图中物体运动跟踪的一个示例。

图8示出了物体运动跟踪的一个示例。

图9示出了一种红外跟踪显示调整方法的流程图。

具体实施方式

在详细说明示出实施例的附图之前，应当理解，本申请可能不限于描述中提出的细节或图中说明的方法。还应当理解，术语可能仅用于描述，而不应被视为限制性的。

本发明的附图中，公开了具有有利的外形尺寸、模块化、用户界面和/或显示操作特征的自动显示控制设备、系统和方法。本发明的各种特征可以在各种显示系统中实现，包括但不限于医学成像显示(例如，超声、计算机断层扫描(CT)成像或磁共振成像(MRI)显示)。

本发明提供了一种改进医疗显示系统的解决方案。在用户可能利用诊断医疗系统的各种医疗环境中，用户可能在程序(例如但不限于：检查、测试、操作或其他医疗程序)中依赖用户界面显示器来浏览信息。用户可能处于某一位置或在各种位置之间切换，以执行程序的所需任务，因此用户对显示器的视角可能会改变。在大视角(与偏角视角互换使用)下，显示器的输出质量可能会出现减弱，并导致用户难以查看屏幕上显示的信息或难以向用户界面提供输入。其他因素也可能存在，例如眩光反射，这损害了用户正浏览的信息的可见性，或者损害了对显示器上的用户界面控制的输入访问。

本发明提供了解决上述问题的方法，当用户在环境中移动时，通过实现自动跟踪用户的系统，相应地调整显示器，从而保持显示器的充分可见性。在一些实施例中，系统包括减少眩光的方法和设备，以自动减少眩光干扰。通过这些改进，用户将不再需要在每次改变环境中的位置时手动调整显示器，或者让房间中的另一个人为其调整显示器。现有的一些显示系统已经使用了远程用户输入设备，以及连接在显示器上的电机组合，这样用户就可以远程调节屏幕。然而，这种方案也不总是理想的，因为手动控制显示器可能会让用户感到厌倦和吃力。此外，在需要用户使用双手的程序中，用户不能同时操作远程设备和执行程序(例如，在使用超声程序时，用户可能使用一只手操作超声探头，而另一只手操作用户界面，例如键盘。因此将没有空闲的手来操作远程设备)。本发明的实施例提供了一种无需手动操作的解决方案，用户可以在其中执行程序，而不必停下来调整显示器。

在各种实施例中，超声系统，例如便携式超声车系统，可以包括平台、定位在平台上的超声系统、用于超声设备和工具(例如，传感器/探针、凝胶、瓶子、湿巾等)的挂接/连接件，和/或安装/固定结构、手柄、电源(例如，电池、备用电池)。超声系统可以包括超声电子模块、显示器、传感器、以及附加组件和电子器件(例如，电源、处理器、存储器等)。超声电子模块可以是模块化的和/或可拆卸的，从而超声车系统可以被定制、升级或以其他方式调整以适应特定的用户要求。超声电子模块可以包括一个或多个用户界面。显示器可以连接到平台，并且在一些实施例中，可以包括沿显示器的周边定位的传感器。超声系统还可以包括其他传感器，例如图像传感器、接近传感器、声传感器或红外传感器。该平台可以包括外壳。外壳可以包括位于外壳内的致动部件，其用于控制/指示显示器的位置和方向，例如用于沿第一轴线(例如，从平台的第一侧到第二侧的横轴)移动显示器，围绕第二轴线(例如，大致垂直于平台所在平面的旋转轴)旋转显示器，和/或围绕第三轴线(例如，平行于第一轴线或与第一轴线对齐的倾斜轴)旋转显示器。在一些实施例中，可以通过基于多个传感器和/或在超声电子模块的一个或多个输入接口处接收到的用户输入中的至少一个来控制致动部件，从而电动控制显示器的位置和方向。在一些实施例中，显示器的位置和方向可以另外地或备选地基于在沿显示器的周边定位的传感器处接收到的用户输入和施加到显示器上的力来手动调整。本发明所公开的自动显示控制系统的实施例还提供了有利的外形尺寸、模块化、用户界面和显示操纵的特征。例如，通过允许将显示器直接连接到平台并以电子、手动或同时以电子和手动方式控制；将用于控制/铰接显示器位置和方向的致动部件定位在壳体内；使用可由用户替换的模块化超声电子模块等。

在本发明的各个实施例中，超声系统可以根据其环境中的跟踪对象自动调整显示器的位置或方向中的至少一个。对象跟踪可以基于来自超声系统中的各种传感器的输入，例如图像采集设备、音频采集设备、用户输入设备、无线信号发射器/接收器或其他设备。系统可以在自动跟踪模式下操作。其中，系统跟踪一系列图像中的目标并相应地调整显示。系统可以分析来自各种输入和传感器接口的输入，计算出所需的显示姿势调整，并根据确定的参数驱动电机进行调整。当自动跟踪模式脱离或以其他方式中断时，系统将根据手动指令或输入，例如但不限于通过音频采集设备的语音指令，通过诸如键盘、鼠标、触控板或遥控器等用户输入设备的手势输入，或手动操作物理显示器来调整显示器。一些实施例包括附加的或替代的功能，例如但不限于语音命令控制中断、语音跟踪、无线信号信标跟踪、减少眩光的方法或设备或其他功能。实施例中还可以包括便于用户调整系统设置的初始化过程。

被跟踪的目标可以是各种特征。在一些实施例中，目标被识别为用户的脸或眼睛。在一些实施例中，目标被标识为用户的躯干。在一些实施例中，目标被指示为用户的整个身体。在一些实施例中，目标为用户携带的信标。在一些实施例中，目标的身份可以影响自动显示控制系统如何调整屏幕。

各种使用场景可以说明根据一些实施例的潜在操作。例如，医师可以通过初始化超声显示系统以进行自动跟踪来准备进行超声检查。当医师在检查期间在房间内移动时，医师可能更希望自动跟踪被启用。如果要长时间保持静止不动，医师可能更愿意解除自动跟踪。医师可通过语音命令向上或向下调整显示屏。在低能见度的条件下，系统可以使用信标跟踪系统，而不是图像跟踪系统，来跟踪房间内的医师。还存在其他几种使用场景，在这些场景中，所公开的系统和方法可用于改进医疗显示系统。

参考图1，图1描述了一种用于医疗程序的环境100。环境100可以包括患者105、医疗设备110和操作者115。医疗设备110可以是任何医疗设备，例如但不限于医疗成像设备、手术设备或诊断设备。在一些实施例中，医疗设备110是用于生成超声图像的超声系统。医疗设备310可以包括手持工具120和显示器125。操作者115可以使用医疗设备310对患者105执行一些程序或诊断。操作者115还可以使用与医疗设备310相关联的手持工具120来执行所述程序或诊断。操作者还可以在程序之前、期间或之后使用显示器125来分析与程序相关的各种测量、参数或其他相关数据。

参考图2，图2根据一些实施例示出了一种便携式超声系统200。便携式超声系统200可以包括用于容纳便携式超声系统200的部件的平台205、容纳在平台205中的电子模块210，该电子模块可以包括处理电子元件、连接到平台205的用于用户查看信息的显示器215、以及连接到平台205的手柄220，该手柄220与超声电子模块210接收在平台205中的位置相邻，用于移动、携带或处理便携式超声系统200。手柄225可以位于平台205的与手柄220相反的一侧。

参考图3，图3根据一些实施例示出了便携式超声系统200的显示器215和电子模块210。显示器215可以包括显示屏幕(例如，主屏幕315)。电子模块210可以包括一个或多个用户界面，例如触摸屏310、320。主屏幕315和触摸屏310、320可以显示信息，例如显示与程序相关的诊断信息。触摸屏310、320可以接收用户输入，例如来自用户手指的触摸输入、来自触摸设备(例如，触控笔、笔)的触摸输入等。在一些实施例中，主屏幕315可以是触摸屏，或包括一个或多个的触感或其他可选择部分。在一些实施例中，主屏幕315可以包括一个或多个传感器，例如接近传感器、图像传感器、亮度传感器、红外传感器或声传感器。可选地，平台205可以包括所述一个或多个传感器。

参考图4，便携式超声系统200可以包括主电路板405。主电路板405执行计算任务以支持便携式超声系统200的功能，并提供便携式超声系统200的各种组件之间的连接和通信。在一些实施例中，主电路板405被配置成可更换和/或可升级的模块。

为了执行计算、控制和/或通信任务，主电路板405包括处理电路410。处理电路410用于执行一般处理，以及执行与便携式超声系统200的特定功能相关的处理和计算任务。例如，处理电路410可以执行与如下相关的计算和/或操作：从成像设备提供的信号和/或数据中产生图像、运行便携式超声系统200的操作系统、接收用户输入等。处理电路410可以包括用于处理任务的存储器415和处理器420。例如，处理电路可以执行计算和/或操作。

处理器420可以是，或者可以包括一个或多个微处理器、应用特定集成电路(ASIC)、包含一个或多个处理组件的电路、一组分布式处理组件、用于支持微处理器的电路、或用于处理的其他硬件。处理器420用于执行计算机代码。计算机代码可以存储在存储器415中，以完成和促进本文所述的关于便携式超声系统200的活动。在其他实施例中，计算机代码可以从硬盘存储器425或通信接口440检索并提供给处理器420(例如，计算机代码可以从主电路板405外部的源提供)。

存储器415可以是能够存储与本文所述活动有关的数据或计算机代码的任何易失性或非易失性计算机可读存储介质。例如，存储器415可以包括模块，这些模块被配置为由处理器420执行的计算机代码模块(例如，可执行代码、对象代码、源代码、脚本代码、机器代码等)。存储器415可以包括与包括超声成像、电池管理、处理用户输入、显示数据、使用无线通信设备发送和接收数据等功能相关的计算机可执行代码。在一些实施例中，处理电路410可以代表多个处理设备的集合(例如，多个处理器等)。在这种情况下，处理器420代表设备的集体处理器，存储器415代表设备的集体存储设备。当由处理器420执行时，处理电路410用于完成本文所述的与便携式超声系统200相关的活动。

硬盘存储器425可以是存储器415的一部分和/或用于便携式超声系统200的非易失性长期存储器。硬盘存储器425可以存储本地文件、临时文件、超声图像、患者数据、操作系统、可执行代码以及用于支持本文所述便携式超声系统200的活动的任何其他数据。在一些实施例中，硬盘存储器嵌入在主电路板405上。在其他实施例中，硬盘存储器425位于远离主电路板405的位置，并与之耦合，以允许数据、电力和/或控制信号的传输。硬盘425可以是光驱、磁驱、固态硬盘、闪存等。

在一些实施例中，主电路板405包括通信接口440。通信接口440可以包括使主电路板405的组件和通信硬件之间进行通信的连接。例如，通信接口440可以提供主电路板405和网络设备(例如，网卡、无线发射器/接收器等)之间的连接。在一些实施例中，通信接口440可以包括额外的电路，以支持所连接的通信硬件的功能或促进通信硬件和主电路板405之间的数据传输。在其他实施例中，通信接口440可以是允许传输数据和接收数据的片上系统(SOC)或其他集成系统。在这种情况下，通信接口440可以作为可移动封装或嵌入式封装直接耦合到主电路板405。

在一些实施例中，便携式超声系统200包括电源板450。电源板450包括用于向便携式超声系统200内和/或连接到便携式超声系统200的组件和设备提供电源的组件和电路。在一些实施例中，电源板450包括用于交流电和直流电转换、变换电压、提供稳定电源等的组件。这些元件可以包括变压器、电容器、调制器等，以实现上述功能。在一些实施例中，电源板450包括用于确定电池电源的可用功率的电路。电源板450可以包括用于在电源之间切换的电路。例如，电源板450可以在主电池被切换时从备用电池中吸取电力。在一些实施例中，电源板450包括与备用电池一起作为不间断电源操作的电路。电源板450还包括与主电路板405的连接。该连接可允许电源板450从主电路板405发送和接收信息。例如，电源板450可以向主电路板405发送信息，允许确定剩余电池功率。与主电路板405的连接还可以允许主电路板405向电源板450发送命令。例如，主电路板405可以向电源板450发送命令以从电源切换到另一电源(例如，在主电池切换时切换到备用电池)。在一些实施例中，电源板450被配置为模块。在这种情况下，电源板450可以被配置成可更换和/或可升级的模块。

主电路板405还可以包括电源接口430，便于在电源板450和主电路板405之间进行上述通信。电源接口430可以包括使主电路板405和电源板450的组件之间进行通信的连接。在一些实施例中，电源接口430包括额外的电路以支持电源板450的功能。例如，电源接口430可以包括便于计算剩余电池功率、管理可用电源之间的切换等的电路。在其他实施例中，电源板450的上述功能可以由电源接口430来实现。例如，电源接口430可以是SOC或其他集成系统。在这种情况下，电源接口430可以作为可拆卸封装或嵌入式封装直接耦合到主电路板405。电源接口430可以用于在电源板450和其他组件(例如超声板480)之间进行通信。

继续参考图4，在一些实施例中，主电路板405包括用户输入接口435。用户输入接口435可以包括使主电路板405的组件和用户输入设备硬件之间进行通信的连接。例如，用户输入接口435可以提供主电路板405与电容式触摸屏、电阻式触摸屏、鼠标、键盘、按钮和/或前述控制器之间的连接。在一些实施例中，用户输入接口435将触摸屏110、触摸屏120和主屏幕315的控制器耦合到主电路板405。在其他实施例中，用户输入接口435包括用于触摸屏310、触摸屏320和主屏幕315的控制器电路。在一些实施例中，主电路板405包括多个用户输入接口435。例如，每个用户输入接口435可以与单个输入设备(例如，触摸屏310、触摸屏320、键盘、按钮等)相关联。在一些实施例中，一个或多个用户输入接口435可以与显示器215的传感器相关联(例如，沿显示器215的周边定位的传感器，用于接收用户输入以控制显示器215的位置和方向等)。

在一些实施例中，用户输入接口435可以包括额外的电路，以支持所连接的用户输入硬件的功能或便于用户输入硬件和主电路板405之间的数据传输。例如，用户输入接口435可以包括控制器电路，以便作为触摸屏控制器发挥作用。用户输入接口435还可以包括用于控制与用户输入硬件相关联的触觉反馈设备的电路。在其他实施例中，用户输入接口435可以是允许接收用户输入或以其他方式控制用户输入硬件的SOC或其他集成系统。在这种情况下，用户输入接口435可以作为可移动封装或嵌入式封装直接耦合到主电路板405。

在一些实施例中，电子模块210包括诊断板480。在一些实施例中，诊断板480是超声系统。主电路板405可以包括超声板接口475，便于超声板480和主电路板405之间的通信。超声板接口475可以包括使主电路板405的组件和超声板480之间进行通信的连接。在一些实施例中，超声板接口475包括额外的电路以支持超声板480的功能。例如，超声板接口475可以包括电路，以方便计算用于从超声板480提供的超声数据生成图像的参数。在一些实施例中，超声板接口475是SOC或其他集成系统。在这种情况下，超声板接口475可以作为可拆卸封装或嵌入式封装直接耦合到主电路板405。超声板接口475包括便于使用模块化超声板480的连接。超声板480可以是能够执行与超声成像相关的功能(例如，复用来自超声探头/传感器的传感器信号、控制由超声探头/传感器产生的超声波的频率等)的模块(例如，超声模块)。超声板接口475的连接可以便于超声板480的更换(例如，用升级的板或用于不同应用的板来更换超声板480)。例如，超声板接口475可以包括有助于准确对准超声板480和/或减少在移除和/或连接期间损坏超声板480的可能性的连接(例如，通过减少连接和/或移除板所需的力，通过以机械优势协助连接和/或移除板等)。

在包括超声板480的便携式超声系统200的实施例中，超声板480包括用于支持便携式超声系统200的超声成像功能的组件和电路。在一些实施例中，超声板480包括集成电路、处理器和存储器。超声板480还可以包括一个或多个换能器/探针插座接口465。换能器/探针插座接口465能够使超声换能器/探针470(例如，具有插座型连接器的探针)与超声板480接口。例如，换能器/探头插座接口465可以包括将超声换能器/探头470连接到超声板480的电路和/或硬件，以传输电力和/或数据。换能器/探针插座接口465可以包括将超声换能器/探针470锁定到位的硬件(例如，当超声换能器/探针470旋转时，接受超声换能器/探针470上的销的槽)。在一些实施例中，超声板480包括两个换能器/探针插座接口465，以允许连接两个插座型超声换能器/探针470。

在一些实施例中，超声板480还包括一个或多个换能器/探针引脚接口455。换能器/探针引脚接口455能够使超声换能器/探针460(例如，具有针型连接器的探针)与超声板480接口。换能器/探针引脚接口455可以包括将超声换能器/探头460连接到超声板480的电路和/或硬件，以传输电力和/或数据。换能器/探针引脚接口455可以包括将超声换能器/探针460锁定到位的硬件。在一些实施例中，超声换能器/探针460用锁定杆系统锁定到位。在一些实施例中，超声板480包括一个以上的换能器/探针引脚接口455，以允许连接两个或多个引脚型超声换能器/探针460。在这种情况下，便携式超声系统200可以包括一个或多个锁定杆系统。在一些实施例中，超声板480可以包括用于附加类型的换能器/探针连接的接口。

继续参考图4，主电路板405的一些实施例包括显示接口430。显示接口430可以包括使主电路板405的组件和显示设备硬件之间进行通信的连接。例如，显示接口430可以提供主电路板405与液晶显示器、等离子体显示器、阴极射线管显示器、发光二极管显示器、有机发光二极管显示器和/或用于进行或其他类型的显示硬件的显示控制器或图形处理单元之间的连接。在一些实施例中，通过显示接口430将显示硬件连接到主电路板405，允许主电路板405上的处理器或专用图形处理单元控制和/或向显示硬件发送数据。显示接口430可用于将显示数据发送到显示设备硬件以产生图像。在一些实施例中，主电路板405包括用于多个显示设备的多个显示接口430(例如，三个显示接口430将三个显示器连接到主电路板405)。在其他实施例中，一个显示接口430可以连接和/或支持多个显示器。在一些实施例中，三个显示接口430将触摸屏310、触摸屏320和主屏幕315耦合到主电路板405。

在一些实施例中，显示接口430可以包括额外的电路，以支持所连接的显示硬件的功能，或者促进显示硬件和主电路板405之间的数据传输。例如，显示接口430可以包括控制器电路、图形处理单元、视频显示控制器等。在一些实施例中，显示接口430可以是SOC或其他集成系统，其允许用显示硬件显示图像或以其他方式控制显示硬件。显示接口430可以作为可移动封装或嵌入式封装直接耦合到主电路板405。处理电路410结合一个或多个显示接口430可以在触摸屏310、触摸屏、320和主屏幕315中的一个或多个上显示图像。

一般来说，显示电路可以提供在显示屏幕上显示的图像。该图像可以来自用户输入(例如，响应于用户在触摸设备上的输入或通过计算机鼠标的输入而显示为在显示器上移动的指针)。该图像也可以是在发生某些触发事件、输入和/或对象时显示的图像。在本发明的一些实施例中，使用多显示器设备的多个显示器显示图像。

仍参考图4，本发明的一些实施例包括在便携式超声系统200上显示图像。在其它实施例中，图像可以在其它设备(例如，便携式计算设备、个人计算设备等)上或与其它设备一起显示。在一些实施例中，主电路板405和/或一个或多个显示接口430控制一个或多个显示器。控制显示器以在一个或多个显示器上产生一个或多个图像。处理电路410可以确定要显示哪些图像以及这些图像的特征。处理电路410可以进一步确定在多显示器设备的情况下，在哪个显示器上显示图像。在一些实施例中，这些确定是基于用户输入进行的。在其他实施例中，这些确定是响应于触发事件、输入和/或对象而做出的。处理电路410可以通过使用处理器420执行存储在存储器415中、存储在硬盘存储425中和/或使用通信接口440获取的指令或计算机代码来进行这些确定。在一些实施例中，处理电路410从存储器415和/或硬盘存储425中检索要响应于执行的代码和/或指令而显示的图像的显示指令。然后，处理电路410可将控制指令发送到一个或多个显示接口430，该接口根据这些指令在一个或多个显示器上显示图像。在一些实施例中，主电路板405和/或显示接口430可以包括执行或协助预执行这些功能的图形处理单元。

对于一些事件，用于显示某一对应图像或一系列图像的指令可以存储在存储器415和/或硬盘存储器425中。事件的发生可以触发处理器420检索指令并执行指令的实例。这样的事件之一可以是接收用户输入，例如在触摸屏310、320或在定位在显示器215周围的外围传感器处接收用户输入。通过执行显示与事件相对应的图像的指令，处理电路410、一个或多个显示接口430和/或显示硬件导致向用户显示图像或一系列图像。

在一些实施例中，主电路板405包括显示控制接口485。显示控制接口485可以类似于主电路板405的其他组件，例如超声板接口475。显示控制接口用于与显示控制模块490通信。显示控制接口485接收与显示器215的位置和/或方向有关的命令，并将命令传送到显示控制模块490。例如，显示控制接口485可以接收由处理电路410产生的命令，以响应于在触摸屏310、320和/或通过用户输入接口435定位在显示器周围的外围传感器处接收的用户输入，并将命令传送到显示控制模块490。显示控制模块490可以接收命令并控制显示器215的操作(例如，使用用于控制/铰接显示器215的执行元件)。在一些实施例中，显示控制接口485传送响应于在触摸屏310、320处接收到的用户输入而产生的横移、倾斜和/或旋转命令，并且显示控制模块490基于横移、倾斜和/或旋转命令电动控制显示器215的位置和/或方向。在一些实施例中，显示控制接口485传送被配置为停用显示器215的位置或方向的至少一个的电动控制的命令，并且显示控制模块490停用电动控制(例如，通过将执行组件与显示器215解耦)，允许用户手动调整显示器215的位置或方向的至少一个。其中，所述电动控制的命令的产生响应于在定位在显示器215周围的外围传感器处接收到的用户输入。

在一些实施例中，主电路板405包括环境传感器接口495。环境传感器接口495可以类似于主电路板405的其他组件，例如超声波板接口475或用户输入接口435。环境传感器接口495被配置为与一个或多个对环境进行各种测量的传感器通信。例如，环境传感器接口495可以与图像采集设备(例如照相机)接口。环境传感器接口495还可以与声传感器接口。环境传感器接口495还可以与各种其他传感器，例如接近传感器、环境光传感器或红外传感器接口。环境传感器接口495可以接收与执行或采集环境数据有关的命令，并将信号传输到一个或多个接口传感器。与环境传感器接口495接口的任何传感器可以独立地固定到超声系统200的某些部分，例如显示器215。在其它实施例中，传感器可以被安装成使它们被动态调整或移动。

在各种实施例中，显示接口430、用户输入接口435、环境传感器接口495或显示控制接口485的任意组合都可以包括在单个接口或模块中。例如，同一接口可用于传输要显示在触摸屏310、320和/或主屏幕315上的视觉信息，接收来自触摸屏310、320和/或位于显示器215周围的外围传感器的用户输入，以及传输位置和/或方向命令以控制显示器215的位置和/或方向。在一些实施例中，第一组合接口可用于与超声电子模块210及其组件通信，并且第二组合接口可用于与显示器210及其组件通信。

参考图5，根据一些实施例，图5示出了用于控制显示器215的位置和/或方向的控制系统500的框图。图示的组件可以与参照图4描述的组件相似或相同。控制系统500包括处理电子设备585。处理电子器件585可以类似于图3中所示的主电路板480。处理电子设备585包括处理电路505，其包括存储器510和处理器515、用户输入接口520、显示控制接口530和环境传感器接口550，其可以包括图像采集接口555、音频采集接口565和辅助传感器接口575。

用户输入接口520用于从用户输入设备525接收用户输入。用户输入设备525可以与触摸屏310、320、键盘或其他用户输入设备(例如，图3中所示的其他输入设备)相似或相同。用户输入设备525可以与位于显示器215周围的传感器相似或相同。

用户输入设备525接收可以指示来自用户的命令的用户输入。例如，用户输入可以指示调整显示器215的位置或方向的至少一个命令，例如横移、倾斜或旋转命令中的一个或多个。处理电路505可以通过用户输入接口520接收用户输入，并根据用户输入指示的命令生成输出命令以传送到控制显示器215。例如，处理电路505可以对用户输入进行处理，以确定用户输入指示了将显示器215的位置从平台205的第一侧沿第一轴线移动到平台205的第二侧的命令，根据该确定生成输出命令，并通过显示控制接口530将输出命令传送到显示控制模块535。显示控制接口530接收被配置为控制显示器215的位置/方向的输出命令，并将输出命令传送到显示控制模块535。在一些实施例中，单个命令(例如，触摸敏感界面上的单个手势)可用于触发多个方向的运动。例如，单次轻扫可由处理电路505转化为横移和旋转运动(例如，基于输入到显示器215的运动的存储映射)。

在一些实施例中，处理电路505通过能够基于从任何超声电子模块210的触摸屏接收到的用户输入来生成输出命令，提供有利的模块化。例如，处理电路505能够处理来自各种超声电子模块210的用户输入设备的用户输入，确定用户输入是否指示横移、倾斜或旋转命令中的一个或多个，并基于该确定生成输出命令。在一些实施例中，超声电子模块210用于处理用户输入以确定用户输入是否指示横移、倾斜或旋转命令中的一个或多个。

显示控制模块535用于控制显示器215的位置或方向中的至少一个。在一些实施例中，显示控制模块535位于控制系统500的电子器件中。显示控制模块535可以与显示器215的显示电子设备相关联，以便通过主屏幕315输出显示信息。显示控制模块535用于将控制命令传送到显示控制制动器540和驱动机构545。显示控制模块535可以包括：包括存储器的处理电子器件，例如用于存储关于驱动机构545是否与显示器215耦合的状态信息，以及关于显示器215和/或驱动机构545或其组件的位置/方向信息。显示控制模块535可以从显示控制制动器540和驱动机构545接收状态信息。在一些实施例中，状态信息可以包括显示器215的默认或原点位置/方向，并且处理电子设备585可以用于响应于相应的触发条件(例如复位命令、超声电子模块210的上电或断电、预定的时间到期等)而使显示器215置于原点位置/方向。这样的原点位置可以被配置为将显示器215与系统的其他组件对齐。从而，如果显示器215向前倾斜，则其可以与设备的下部配接或锁定接触，以便安全移动和/或存储。

在一些实施例中，驱动机构545用于当显示器215在沿横轴的中心位置之外时，限制围绕倾斜轴的运动(例如，防止显示器215向下倾斜，除非显示器215对准适当的位置以便收起在默认位置)。在一些实施例中，驱动机构436包括凸轮或斜面，其用于当显示器215旋转到默认位置时，将显示器215对齐到关于旋转轴的中心位置。凸轮或斜面可以引导显示器215围绕旋转轴线旋转。

显示控制致动器540用于激活或停用显示器215的电动控制或衔接。例如，显示控制致动器540可以响应于从显示控制模块490接收到的耦合/脱钩命令，将驱动机构545从显示器215机械地耦合/脱钩(例如，将驱动机构545从显示器215啮合/脱钩)。显示控制致动器540也可以中断显示控制模块535和驱动机构545之间的电子连接(例如，中断电路)，例如通过直接从显示控制接口530接收中断命令。在一些实施例中，显示控制制动器540被配置为默认维持驱动机构545与显示器215处于啮合状态，除非接收到带有指令的命令以脱离驱动机构545(例如，基于在传感器280处接收到的用户输入而生成和接收的命令，将驱动机构545设置为中性状态，将驱动机构545设置为允许用户手动调整显示器215的位置和/或方向的手动模式等)。在一些实施例中，位于显示器215或其一部分的周围的外围传感器可以额外地或替代地引起显示器215的移动。例如，检测显示器215的左侧或附近的按压或移动，可以引起在左侧方向上的横移，并且在右侧或附近的按压或移动可以引起在右侧方向上的移动。

在一些实施例中，将驱动机构545从显示器215脱离可以便于在自由运动的操作模式中操作显示器215。例如，驱动机构545可以被配置为在第一模式中操作。其中，驱动系统与显示器215脱离，使得显示器215被配置为响应于接收大于第一力阈值的力而移动。驱动机构545可以被配置为在第二模式下操作。其中，驱动机构545与显示器215接合，使得显示器被配置为响应于接收大于第二力阈值的力而移动。第二力阈值大于第一力阈值。在一些这样的实施例中，试图移动显示器215的用户可能感知到，当驱动机构545与显示器215接合时，显示器215不移动(例如，第二力阈值大于包括显示器215在内的整个超声系统移动的力，而不是显示器215相对于超声系统的其余部分移动的力)。

在一些实施例中，处理电子设备585可以用于从位于显示器215周围的外围传感器接收用户输入，并控制驱动机构545的操作，以根据命令控制或辅助显示器215的运动。例如，用户输入可以指示横移、旋转或倾斜运动中的一个或多个。处理电子设备585可以用于使驱动机构545与显示器215接合(或保持接合)，并且使驱动机构545基于用户输入向显示器215提供横移、倾斜和/或旋转输出。

驱动机构545用于导致显示器215在位置或方向中的至少一个中改变。例如，驱动机构545可以位于平台205的外壳的内部，并且被配置为与显示器215或其组件耦合(例如，啮合)。驱动机构545可以包括一个或多个驱动设备(例如，电机、线性致动器等)，其用于向显示器215施加力，以响应于通过显示控制模块535接收的命令来调整显示器215的位置和/或方向。例如，驱动机构545可以用于沿着轴线平移显示器215(例如，沿着横移轴线将显示器215的位置侧向移动)，以及围绕一个或多个轴线旋转显示器215(例如，围绕倾斜轴线和/或旋转轴线旋转显示器215)。在一些实施例中，驱动机构545包括多个驱动设备，每个驱动设备专门用于引起横移运动、旋转运动或倾斜运动中的一个。

例如，显示控制模块535可以接收来自显示控制接口530的命令，该命令包括指示将显示器215向左横移一定距离(基于用户面对显示器215的主屏幕315的参考框架)，并将显示器215向平台205倾斜15度。显示控制模块535控制显示控制致动器540的操作，使驱动机构545与显示器215接合。显示控制模块535控制驱动机构545使显示器215进行所需的横移和倾斜。

在另一个例子中，显示控制模块535可以从显示控制接口530接收命令，该命令包括使驱动机构545与显示器215脱开的指令。在一些实施例中，显示控制模块535向显示控制致动器540发送命令，该命令被配置为将驱动机构545与显示器215机械地脱开。在一些实施例中，显示控制致动器540直接接收来自显示控制接口530的中断命令，以中断显示控制模块535和驱动机构545之间的电子连接。

在一些实施例中，关于显示器215的外围传感器用于检测与用户输入相关联的力或方向中的至少一个。显示控制模块535可以基于由外围传感器检测到的用户输入，引起显示器215进行由力辅助的移动。例如，显示控制模块535可以基于检测到的力大于力阈值而引起显示器215的移动。显示控制致动器540可以使驱动机构545在与检测到的方向相对应的方向上移动显示器215(例如，横移、倾斜或旋转显示器215)(例如，在同一方向上移动；在基于将检测到的方向分解为沿着横移轴、旋转轴或倾斜轴中的至少一个或围绕所述至少一个的移动而确定的方向上移动)。在一些实施例中，显示控制模块535可以实现由力辅助的移动，从而用户向外围传感器施加力时，感知显示器215与用户施加的力一起移动。例如，显示控制致动器540可以被配置为在外围传感器接收到用户输入后，使显示器215在预定时间内移动。

环境传感器接口550可以用于从便携式超声系统200运行的环境100中接收数据。在各种实施例中，环境传感器接口550可以包括但不限于图像采集接口555、音频采集接口565、辅助传感器接口575或其中的任意组合。在各种实施例中，图像采集接口555、音频采集接口565或辅助传感器接口575可以作为单独的不同接口或组件来实现。

图像采集接口555可以从图像采集设备560发送和接收信号，并将数据传输到处理电路510。图像采集设备560可以是但不限于静止图像相机、视频相机或红外相机。图像采集接口555可以向图像采集设备560发送指令。图像采集接口555可以接收图像采集设备560形成的图像数据。接收的图像数据可以包括一个或多个采集的图像。在一些实施例中，图像采集设备560可以配置在便携式超声系统200内。在一些实施例中，图像采集设备560可以放置或安装在便携式超声系统200的外部。

在一些实施例中，图像采集设备560可以安装在显示器215上。在一些实施例中，图像采集设备560可以安装或放置在环境内，并连接到便携式超声系统200。在一些实施例中，图像采集设备560可以通过便携式超声系统200的网络接口连接。

在一些实施例中，多个图像采集设备560可以连接到图像采集接口555。在一些这样的实施例中，多个图像采集设备560可以被配置为立体地提供采集图像的深度感知。在一些实施例中，多个图像采集设备560可以提供更大的视野用于对象跟踪。在一些实施例中，多个图像采集设备560可用于减少图像信号的误差。

音频采集接口565可以从音频采集设备570发送和接收信号，并将数据传输到处理电路510。音频采集设备570可以是任何能够感应、收集或过滤声能为电信号的设备。在一些实施例中，音频采集设备570是麦克风。音频采集接口565可以能够向音频采集设备570发送指令。音频采集接口565可以接收由音频采集设备570采集的音频数据。音频数据可以包括由用户给出的语音命令。音频数据还可用于定位环境内的声信号的来源。音频采集设备570可以位于便携式超声系统200内、安装在其上或放置在其上。在一些实施例中，音频采集设备570可以放置或安装在环境中，并通过导线、或无线发射器和接收器连接到便携式超声系统200。

在一些实施例中，多个音频采集设备570可以连接到音频采集接口565并组合使用。在一些实施例中，多个音频采集设备570可以用于采集来自环境的不同部分的声信号。在一些实施例中，多个音频采集设备570可以用于三角测量声信号源(例如人)或指定为目标的用户的位置。在一些实施例中，多个音频采集设备570可以用于减少采集的音频数据中的信号误差。

辅助传感器接口575可用于向一个或多个辅助传感器580发送信号和接收信号。在一些实施例中，辅助传感器580是测量环境的环境光强度的光传感器。在一些这样的实施例中，一个或多个光传感器被安装在显示器215附近或一个显示器215上，以测量针对显示器215的光强度以预测眩光强度。在一些实施例中，辅助传感器580是接近传感器，例如但不限于雷达、光电、超声波、声纳、红外或激光传感器。近距离传感器可用于测量目标或物体与显示器215或便携式超声系统200的距离。在一些实施例中，辅助传感器580用于通过向信标发射信号和接收来自信标的返回信号来定位用户携带的信标。在一些这样的实施例中，辅助传感器580可以向信标发送无线功率信号。信标跟踪实施例将在参考图9中更详细地讨论。

多个辅助传感器580可以连接到辅助传感器接口575。多个辅助传感器580可以是不同类型的传感器并提供不同的功能。在一些实施例中，多个辅助传感器580是相同类型的传感器，并且可以提供与多个图像采集设备560或多个音频采集设备570所讨论的类似的优点，例如信号误差降低、位置三角测量或位置专用信号采集。

参考图6，根据一些实施例，图6示出了用于利用图像数据自动调整显示器的流程图600。流程图600的功能可以由本文所述的各种系统执行，包括便携式超声系统200或控制系统500。例如，控制系统500可以根据各种输入，通过显示控制模块535调整显示器215的位置或方向中的至少一个。控制系统500可以根据通过图像采集接口555对采集图像中的目标的识别来跟踪环境中的指定目标。流程图600中所述的功能或其部分功能可以基于在使用过程中能够动态改变的设置来执行。流程图600的功能可以进行多次迭代，以便连续或周期性地自动调整显示。

在610处，控制系统初始化自动显示控制设备。自动显示控制的初始化可以包括定义各种设置和确定系统要跟踪的一个或多个目标。在初始化过程完成之后，控制系统可以开始自动跟踪和显示调整。在一些实施例中，系统等待进入自动跟踪，直到在用户输入界面接收到指示系统应该开始自动跟踪的用户输入。

在一些实施例中，控制系统响应于便携式超声系统从睡眠状态或断电状态接通电源而进入初始化阶段。在一些实施例中，自动显示控制的初始化响应于系统在用户输入接口处接收到用户输入设备上的用户输入，其指示自动显示控制应被初始化或自动对象跟踪应启用。在一些实施例中，可以根据存储在存储器中的预定设置来初始化自动显示控制。在一些实施例中，控制系统可以在显示器上生成图形用户界面，并接受来自用户输入设备之一的输入以定义系统设置。

在一些实施例中，可以通过用户输入接口接收包括输入凭证、登录或其他身份信息中的一个或多个的输入，使用户能够向系统识别自己。响应于接收输入，可以根据用户的身份和用户的偏好自动定义系统设置。在一些实施例中，系统使用面部识别软件或语音识别软件来识别用户。系统可以从存储器中存储和检索这些设置。在其他实施例中，系统可以在外部服务器或数据库中存储和检索这些设置。同样，系统可以检索与识别的用户相关联的模板图像，以在随后的图像数据中自动将用户识别为目标。

在一些实施例中，控制系统可以检测到自动跟踪模式被启用，确定应该锁定目标，并且作为响应，执行一系列步骤以确定要在自动跟踪模式中跟踪的目标。在一些实施例中，用于识别目标或用户的信息被保存在存储器中，并且与一个或多个采集的图像进行比较以使用图像处理技术识别目标。图像处理技术，包括面部识别算法，将结合步骤620更详细地讨论。在一些实施例中，可以通过采集数据和提示用户输入以指示图像数据内的目标来手动识别目标。例如，作为初始化过程的一部分，系统可以通过用户输入接口输出提示，指示用户站在图像框内的指令，用图像采集设备采集图像，通过图像采集接口接收图像，并识别采集图像中的哪一组像素与系统要跟踪的目标相关联。在一些实施例中，可以通过显示器提示用户使用其中一个用户输入设备围绕目标构建一个方框。在其他实施例中，控制系统可以使用面部识别算法来识别采集的图像或图像中的目标，并且可以提示用户确认计算系统正确识别了图像中要跟踪的目标。在一些实施例中，控制系统可以被配置为使用通用的面部识别算法来识别人脸或身体的特征，从而个人被识别和跟踪，但不与特定用户的身份相关联。

在初始化期间，控制系统还可以确定目标观看设置。在一些实施例中，目标观看设置包括目标视角。目标视角可以设置为使屏幕与目标的视线直接呈法线(通常定义为0度的视角)。在一些实施例中，用户可以根据自己的喜好调整目标视角。这种调整可以通过存储在存储器中的设置来体现，该设置存储沿一个或多个运动度的位置或方向。所存储的目标观察角度是一个相对角度(例如，高于显示器正常值3度)，或者是一个绝对角度(例如，45度的观察角度)。目标观看设置还可以根据环境因素或用户的偏好禁用各种运动度。

其他和替代的设置将在下文中更详细地描述。所有这些设置都可以在本文所述的初始化过程中进行定义。

在615处，自动跟踪开始迭代。在615处，在图像采集接口处从图像采集设备接收图像数据。图像数据包含关于目标或目标在环境中的位置的信息。在一些实施例中，图像数据可以从图像传感器实时接收或更新。在一些实施例中，处理电路通过图像采集接口向图像采集设备发送命令或请求以采集图像。在一些实施例中，从存储器中检索图像数据。在一些实施例中，在615处接收的图像数据可以包含多个图像。

在620处，从采集的图像数据确定目标的位置。在一些实施例中，位置是相对于便携式超声系统确定的。在一些实施例中，目标或目标的位置相对于显示器的位置或方向中的至少一个定位。在一些实施例中，目标或目标的位置是相对于图像采集设备确定的。在一些实施例中，目标或目标的位置可以被确定为坐标网格上的坐标。在一些实施例中，坐标网格是从图像采集设备接收的图像数据的坐标系。

在一些实施例中，通过对多个帧进行运动跟踪分析以识别多个帧之间的运动来确定目标的位置。在一些实施例中，可以从一帧或多帧图像中提取像素，将一帧的像素与另一帧的像素进行比较以识别帧之间的物体运动，将识别的运动与目标的先前已知位置进行比较，基于目标的先前已知位置将运动归因于目标，并基于识别的运动确定目标的新位置。

在一些实施例中，控制系统被配置为将在615处接收的图像与参考图像(也称为模板或模板图像)进行比较，以识别图像帧内的目标的位置。在一些实施例中，参考图像可以在610处的初始化过程中被采集。在模板匹配算法中，可以从存储的参考图像数据库中检索参考图像。然后，控制系统可以从图像数据中提取像素，将像素与参考图像进行比较，并且在一些实施例中，给提取的像素分配匹配分数。最接近参考图像的提取像素可以被指定为目标。在具有匹配分数的实施例中，可以将匹配分数最高的像素指定为目标。在一些实施例中，可以将阈值分数与提取像素的匹配分数进行比较，如果匹配分数小于阈值分数，则可以认为该像素不符合条件而被视为目标。在一些实施例中，模板匹配算法可以使用目标的先前位置来更有效地识别目标。

在一些实施例中，控制系统被配置为将采集的图像输入到机器学习模型中。在一些这样的实施例中，通过监督学习(例如但不限于神经网络或支持向量机)或无监督学习(例如但不限于分类器算法)来训练机器学习模型。然后，机器学习模型被配置为输出目标在图像数据中的位置。

在一些实施例中，在图像数据内识别目标的情况下，可能需要将特定的像素或像素组定义为目标的位置，而不是整个像素组。例如，可将识别的区域或像素组的中心作为目标的位置。在另一个例子中，可以使用像素的特定特征，例如与用户的眼睛相关联的像素。

在一些实施例中，通过处理目标在图像数据中的位置来定位周围环境中的目标。在一些实施例中，系统保持相对于便携式超声系统或显示器的位置和距离的映射。

在一些实施例中，该映射使用非相对网格系统。为了定位目标的位置，系统可以保有关于图像采集设备的当前姿势和位置的信息。在一些实施例中，在确定目标的位置时考虑相机相对于显示器或便携式超声系统的位置。控制系统可以使用几何算法来估计目标在网格系统中的位置。可以使用图像处理算法来确定采集图像中的物体与图像采集设备的距离。例如，可以以像素为单位测量目标的高度，并将其与目标的已知维度(例如用户的高度，或用户的平均高度)进行比较，以进行距离估计。此外或备选地，可以使用接近传感器来测量目标与便携式超声系统的距离。这些指标的组合等，可用于将图像数据中识别的目标映射到地图中的位置。

在不能在图像中识别目标的迭代目标识别中，可以实施其他方法来调节缺陷。

在一些实施例中，可以使用图像处理技术从其他数据中插值目标的位置。例如，系统可以被配置为识别用户的脸，但用户可能已经远离摄像机。在这样的例子中，系统可以能够将用户的后脑勺识别为代理目标，并且将根据识别的代理目标调整显示。在一些实施例中，系统可以使用其他跟踪手段，例如语音跟踪。在这样的例子中，系统可以被配置为在采集的音频数据中识别用户的声音，并根据识别的声音特征识别用户的位置。在一些实施例中，可以使系统停止自动显示调整，直到目标可以在采集的图像数据中再次被正确识别。例如，另一个人或物体可能已经移动到图像采集设备和目标之间，阻碍了目标的视线。系统可以继续采集图像，直到可以再次定位目标，并随后恢复自动调整。

在625处，在确定要跟踪的目标的位置后，计算出对显示器的必要调整，以适应其中一个目标对位置或状况的改变。在一些实施例中，计算出的调整是基于目标的新位置(即，绝对调整)。在其他实施例中，系统存储显示器的先前位置和方向，以计算相对于先前位置和方向的新位置和方向(即，相对调整)。在使用运动跟踪的实施例中，调整可以基于计算出的运动。调整可以基于配置的一个或多个可用致动器的运动度。在具有多个致动器的系统中，可以基于控制设置来计算更复杂的调整。系统可以利用控制算法，例如确定目标姿势和显示器的实际姿势之间的差异，并基于该差异产生控制信号。控制算法可以是，例如，闭环控制、PID或任何其他控制算法。

在一些实施例中，对目标自上次测量以来是否移动了位置进行判定。为此，可以将目标的当前识别位置与目标的先前位置之间的差值与给定阈值进行比较，如果差值小于阈值，则判定目标没有移动，并且可以使显示器不进行调整。在一些实施例中，可以将计算出的调整量与给定阈值进行比较，如果计算出的调整量小于给定阈值，则判定为目标没有移动，并且可以使显示器不进行调整。在控制系统选择不对显示器的位置或方向进行调整的迭代中，控制系统可以跳过后续功能并返回到步骤615。

在630处，根据计算出的调整来控制驱动机构。在一些实施例中，调整是驱动机构的控制状态的增量变化。在一些实施例中，调整是由显示控制模块维护的控制算法的输入或状态。显示器的位置和方向可以通过由驱动机构的配置所定义的各种自由度的配置来操纵。驱动机构可以包括组合使用的多个驱动机构，以实现所需的调整。驱动机构可以单独由控制算法控制，例如，闭环控制、PID或任何其他控制算法。

在630处结束显示调整之后，控制系统可以被配置为通过路径635开始自动跟踪和调整的另一次迭代。控制系统可以被配置为从615处开始自动跟踪的新迭代。在一些实施例中，控制系统在635处确定自动跟踪是否被激活，以及是否应该基于调整频率设置(即，显示控制自动调整显示的频率)调整显示。调整频率可以在610处的初始化期间由用户定义或从存储器中检索。在一些实施例中，控制系统使用被配置为根据确定的调整频率激活的定时器触发器。

在一些实施例中，显示控制可以连续调整显示。对显示的连续调整可能受到硬件和软件操作速度的限制，因此应该理解为控制系统在615处再次重复流程图600的功能，而不会有意延迟。在一些实施例中，调整频率被设置为使控制系统根据时间延迟或重复周期性地调整显示。在使用过程中，可以根据用户输入动态地改变显示控制调整显示的频率。调整频率的设置可能有助于减少分散注意力的动作或烦扰。

在一些实施例中，显示控制系统只调整一次显示，并在再次移动屏幕之前等待额外的用户输入(可称为单次调整)。当控制系统没有进入另一次迭代的显示调整时，控制系统可以进入睡眠状态以等待调整显示的指示。在一些实施例中，该指示是通过用户输入接口或来自传感器接口的新用户输入。

在自动显示控制600的一些实施例中，可以指示多个目标由控制系统跟踪。例如，在一些实施例中，如610处讨论的那样，用户指示存在于图像帧内的多个目标进行跟踪。在一些实施例中，系统使用面部识别软件来识别帧中的多个用户。在各种实施例中，可以动态地添加或删除用户作为目标。例如，在一些实施例中，如果用户离开图像帧，则该用户将被移除为目标，不再被跟踪。在一些实施例中，进入图像帧的新用户将被面部识别软件识别并添加为新的目标进行跟踪。在610处定义的附加设置可以包括如何调整多个目标的显示。在一些实施例中，系统将显示调整为多个识别目标之间的平均位置。在另一个实施例中，系统识别一个优先目标，并根据其目标设置仅对识别的优先目标调整屏幕，并允许根据用户输入在用户之间切换显示跟踪。

在自动显示控制600的一些实施例中，可以定义显示器的一个或多个原点位置。原点位置可以被定义为默认驻留在其中的显示器的位置和方向。原点位置可以用于断电模式。原点位置可以是利用某些输入设备的用户的默认观看位置，如图2所示。可以为任何数量的用例定义多个原点位置。为了确定原点位置，可以将位置和方向作为静态状态存储在存储器中。在一些实施例中，用户可以手动调整显示并指示最终位置和方向应被定义为原点位置。

在自动显示控制600的一些实施例中，可以在有限的一组离散的显示位置之间而不是在连续的频谱上调整显示。例如，无论是用户，还是系统配置，都可以定义一组可以调整显示的位置。在这样的实施例中，自动显示系统响应于用户和传感器输入，以根据哪个位置将最适合目标的当前位置来调整这些定义的位置之间的显示，但不将显示调整到集合中未定义的位置。当用户可能处于的位置的数量和性质是常规的或有限的时候，这样的实施例可以减少不必要的动作。

在自动显示控制600的一些实施例中，控制系统可以检索从存储器存储的语音识别算法，以处理在音频采集接口处接收的音频数据，以在图像跟踪之外或替代图像跟踪进一步定位环境中的用户。在一些实施例中，可以从存储器中检索特定用户的语音特征，并与采集的音频数据进行比较，以在接收的音频数据中识别用户的声音，并确定所识别的语音的源位置。可以响应于识别目标或用户而检索这种语音特征数据，例如在610处所描述的内容。

在自动显示控制600的一些实施例中，控制系统可以被配置为覆盖的输入中断。在一些实施例中，覆盖可以在自动显示控制600的实施中的任何点中断控制系统。在其他实施例中，覆盖可以仅在路径635期间中断该方法，以便不停止或中断显示调整的迭代。覆盖可以是但不限于显示调整命令或设置改变。覆盖可以从各种输入方法产生，例如能够分析由音频采集设备采集的音频数据的语音识别软件、通过用户输入接口的用户输入或显示控制系统可以识别用户覆盖的一些其他传感器。在一些实施例中，覆盖可以固有地停用自动跟踪模式或在615处再次重新启动自动显示控制系统600之前设置预定义的等待期。覆盖也可以进入系统进入步骤610以重新配置控制设置。

配置为覆盖的显示调整命令可以将屏幕调整到指定的位置或方向。在一些实施例中，调整命令可以将显示器返回到预先定义的原点位置。在一些实施例中，覆盖命令可以增量地调整屏幕位置或方向(例如，将屏幕向上倾斜5度，将屏幕提高2英寸等)。在一些实施例中，当显示器处于睡眠状态时，覆盖命令可以向系统指示进行单一的显示调整(即，执行615-630的功能而不自动重复之后的操作)。示例性的调整命令可以包括但不限于，保持显示器在原地(即，睡眠、等待、停止或暂停命令)、增量运动、返回到原点位置或进行单一调整(“这里”、“更新”、“跟着我”、“看着我”)。调整命令可以根据用户或用例的偏好来选择。

覆盖也可以改变系统操作设置。例如，用户可以指示启用或禁用自动跟踪模式。在其他情况下，用户可以改变显示自动调整的频率。在步骤610中所述的任何设置或参数都可以用覆盖来改变。

覆盖也可以是手动覆盖。在一些实施例中，显示器的周边具有传感器，当传感器检测到用户的触摸时，使用显示控制制动器将驱动机构从显示器上电性地脱离，以允许用户手动调节显示器。在一些实施例中，显示系统具有物理锁扣，当拉动该锁扣时，允许使用显示控制致动器将驱动机构从显示器上脱离，从而调整显示器。这样的手动覆盖可以使处理电路停止执行自动显示控制600的概述功能。

除了所述功能和配置外，显示器还可以实现自动减少眩光的方法。在各种实施例中，光强度传感器用于测量照射在显示器上的光量。在一些实施例中，系统调整显示器，直到由环境光传感器测量的光强度可接受且能够观看。在其他实施例中，系统调整屏幕亮度，使得当检测到有更强烈的光时，显示屏更亮，而当测量到有较弱的光时，显示屏变暗。在另一个实施例中，屏幕可以包括添加到显示屏上的电致变色材料，该电致变色材料根据所施加的电压而变暗或变亮。在这样一个实施例中，系统根据检测到的光量改变电致变色材料的电压以减少观看眩光。这样的功能可以在配置或初始化阶段被启用或禁用。此外或替代性地，防眩光功能可以用覆盖调整，例如来自用户输入设备的语音命令或用户输入。

便携式超声系统还可以被配置为接收命令以调整其屏幕上显示的信息。例如，用户可以发出语音命令来放大或缩小屏幕上显示的数据，导航菜单或显示结构，或进入不同的观看模式。在一些实施例中，用户可以调整超声处理系统的设置，例如但不限于帧率、深度、超声频率、成像模式等。同样，这样的屏幕命令也可以通过自动显示控制600的显示调整来实现。例如，便携式超声系统200可以被配置为当系统识别到用户离显示屏有一定距离时，自动放大显示在屏幕315上的数据或图像。在另一个例子中，当用户直接定位在用户输入设备(例如平台210)前面时，超声系统可以自动进入菜单模式，否则当用户在局部环境中移动时，显示超声成像模式。

参考图7，根据一些实施例，图7示出了控制系统500的一个用例。在环境700中，用户705对观看超声系统710的显示器715的屏幕感兴趣。显示屏715通过一个或多个电机安装到超声系统710上，使得显示屏可以各种方式旋转和移动。在图7A中，用户705对显示器715具有视线720，显示器715可以对其进行调整以反映所述用户偏好的目标视角或调整。在图7B中，用户705已经相对于超声系统710移动到房间中的不同位置。因此，超声系统内的处理电子设备自动跟踪用户705的移动，并调整显示器715以建立新的视线725。因此，用户705可以在环境700中移动，同时仍然保持显示器715的视线。

参考图8，根据一些实施例，图8示出了控制系统500的另一个用例。在环境800中，用户805有兴趣查看超声系统810的显示器815。在图8A中，用户805站立并以视线820观看显示器815。用户805可以改变他们的姿势或位置，例如站立、坐着、俯身、靠在膝盖上、跪着、蹲着或其他一些姿势，使得显示器变得不在目标视野内，或完全不在视野内。在图8B中，用户805采取坐姿，耦合到超声系统810的处理电子设备自动调整显示器815，使屏幕向下旋转，从而使用户805可以保持视线825。图7和图8中演示的调整可以单独利用或组合利用，以使用户在本地环境中移动时保持显示器的所需视线。

参考图9，根据一些实施例，图9示出了由信标系统进行自动显示控制的流程图900。流程图900的功能可以由例如便携式超声系统200或控制系统500利用用户携带的信标标签来定位目标对象。该系统可以采用任何类型的信标，例如但不限于射频(RF)、红外或其他一些通信发射器和接收器。潜在的信标设备可以包括但不限于夹式徽章、专用眼镜、挂绳、芯片、移动电话或其他一些技术。便携式超声系统200可以包括一个或多个能够检测信标与在环境中的位置的接收器，例如辅助传感器接口575处的辅助传感器580。在一些实施例中，信标是有源组件，并且周期性地向接收器发送信号。在一些实施例中，信标是被动设备，并且仅在由便携式超声系统的请求信号触发时发送信号。在另一个实施例中，信标可以是由用户携带的移动用户设备，例如移动电话。

与流程图600中610处的功能类似，控制系统可以在910处开始初始化。初始化可以包括与流程图600的610处的初始化相关讨论的任何设置或配置。在910处的初始化还可以包括与信标系统相关的附加配置。例如，步骤910可以在任何组合或子集中确定控制系统应该跟踪多少个信标、多个信标中的哪个信标可以被指定为优先信标、信号特性如信号频率或信号功率、分配的信标地址或标识符、蓝牙初始化、信标ping信号之间的周期、用户的身高或发射机-接收器对所需的任何其他初始化。

通过在915处向信标发送ping信号开始自动跟踪。在一些实施例中，处理电路向换能器发送指令以发送ping信号。ping信号一般指示向信标发送可用于定位信标的响应信号。ping信号可以包括多个或重复信号。在一些实施例中，当信标是无源组件时，ping信号还可以包括无线电源组件，以给信标临时供电。在一些实施例中，信标是有源组件，步骤915可以被省略，并且信标可以被配置为周期性地向超声系统发送响应信号。

然后，控制系统在920处接收来自信标的信号。在一些实施例中，控制系统从所连接的传感器或其他接收元件接收信号。接收到的响应信号包括在本地环境中定位信标的信息。在一些实施例中，信标响应信号可以包括多个或重复信号。在一些实施例中，响应信号可以在耦合到超声系统的多个接收器传感器处接收。在920处执行的功能可以包括任何滤波、放大、降噪、包络检测或任何其他信号处理，以从接收到的响应信号中检索信息，并且可以通过模拟或数字硬件完成。

在925处，根据接收到的响应信号将信标定位在本地环境中。在一些实施例中，在多个接收器处接收响应信号，并根据接收数据的差异计算信标的位置，例如三角测量技术。在一些实施例中，超声系统使用已知的时序参数，根据ping信号的响应信号延迟来确定信标的位置。其他实施例则依靠信号的接收和相应的时间戳之间的延迟。任何这样的位置检测方法都可以由控制系统在925处使用。

在930处，根据系统设置和配置计算出显示姿势的必要调整。在930处执行的功能可以包括在流程图600的625处讨论的任何配置。可以考虑到用户的高度，以知道显示器应该以什么角度定位。控制系统可以根据信标距离地面的高度的相对变化，对用户的姿势(即，站立、坐着、跪着、靠着等)进行判断。

在935处，控制系统根据930中确定的计算调整来驱动电机。935的功能可以与流程图600的630处的功能类似地执行。控制系统调整显示屏，使得用户在环境中移动时可以更好地查看显示屏。

流程图900的功能可以通过路径940重复。流程图900可以重复类似于流程600的功能。控制系统可以在915处再次重复流程图900的功能。显示调整可以基于下一次显示调整之前的预定时间量停止，例如调整频率设置。控制系统可以包括类似于在流程图600处讨论的中断。中断和覆盖可以来自任何输入设备或传感器，例如图像采集设备、音频采集设备、远程控制器、信标上的输入接口或任何其他讨论的方式。

如图9中讨论的信标-接收器实施例允许自动显示调整系统在难以识别图像帧内的目标的条件下操作，例如在低光条件下或当物体从图像采集设备的视野中阻挡目标时。信标接收器实施例可用于本文所述的图像跟踪系统之外，或替代其使用。

虽然图中可能显示了方法步骤的具体顺序，但步骤的顺序可能与所描述的不同。此外，两个或更多的步骤可以同时执行或部分并发。这种变化将取决于所选择的软件和硬件系统以及设计者的选择。所有这样的变化都在本发明的范围内。同样，软件实现可以用标准编程技术与基于规则的逻辑和其他逻辑来完成各种连接步骤、处理步骤、比较步骤和决策步骤。

虽然本文已经公开了各种方面和实施例，但对于本领域的技术人员来说，其他方面和实施例将是显而易见的。这里公开的各种方面和实施例是为了说明的目的，而不是为了限制。

Claims (40)

1.一种自动调节显示器的方法，其特征在于，包括：

初始化自动显示控制；

接收图像数据；

基于所述图像数据确定目标相对于所述显示器的位置或方向；

基于所述目标相对于所述显示器的位置或方向，计算所述显示器的调整；以及

基于所述显示器的调整控制至少一个致动器，从而移动所述显示器。

2.根据权利要求1所述的方法，其特征在于，在基于所述显示器的调整控制所述至少一个致动器，从而移动所述显示器之后，所述方法还包括：

在所述接收图像数据的开始处开始所述方法的迭代。

3.根据权利要求2所述的方法，其特征在于，在所述接收图像数据的开始处开始所述方法的迭代之前，所述方法还包括：

确定是否启动自动跟踪，以及是否基于调整频率调整所述显示器；以及

当所述自动跟踪被启用时，在所述接收图像数据的开始处，通过所述调整频率开始所述方法的迭代。

4.根据权利要求3所述的方法，其特征在于，所述调整频率是动态改变的。

5.根据权利要求1所述的方法，其特征在于，所述基于所述图像数据确定所述目标相对于所述显示器的位置或方向包括：

对所述目标的多个帧进行运动跟踪分析，以识别所述多个帧之间的运动。

6.根据权利要求5所述的方法，其特征在于，所述基于所述目标相对于所述显示器的所述位置或方向，计算所述显示器的调整包括：

基于所述运动跟踪分析的结果，计算所述显示器的移动；以及

调整所述至少一个致动器的运动度，以实现所述显示器的移动。

7.根据权利要求1所述的方法，其特征在于，当所述目标的位置或方向未被确定时，所述方法还包括：

通过图像处理技术从其他数据中插值所述目标的位置或方向；或

进行语音跟踪；或

在所述接收图像数据的开始处开始所述方法的迭代，直到确定所述目标的位置或方向。

8.根据权利要求1所述的方法，其特征在于，所述基于所述目标相对于所述显示器的所述位置或方向，计算所述显示器的调整包括：

确定目所述标的位置或方向与所述目标的初始位置或初始方向之间的差值；

将所述差值与阈值进行比较；以及

当所述差值小于所述阈值时，确定所述显示器的调整为零。

9.根据权利要求1所述的方法，其特征在于，所述基于所述目标相对于所述显示器的所述位置或方向，计算所述显示器的调整包括：

当被识别的目标的数量大于一个时，基于所述被识别的目标的平均位置或平均方向计算所述显示器的调整。

10.根据权利要求1所述的方法，其特征在于，所述基于所述目标相对于所述显示器的所述位置或方向，计算所述显示器的调整包括：

当被识别的目标的数量大于一个时，将所述被识别的目标中的一个设置为优先目标；以及

基于所述优先目标的位置或方向计算所述显示器的调整；

其中，所述优先目标基于用户输入在所述被识别的目标中切换。

11.根据权利要求1所述的方法，其特征在于，所述基于所述显示器的调整控制所述至少一个致动器，从而移动所述显示器包括：

控制所述至少一个致动器在有限集中选择的某一位置或某一位置方向移动所述显示器。

12.根据权利要求1所述的方法，其特征在于，还包括：

接收音频数据；以及

基于所述音频数据确定所述目标相对于所述显示器的位置或方向。

13.根据权利要求1所述的方法，其特征在于，当接收到被配置为覆盖的输入时，所述方法被中断、终止、设置或复位。

14.根据权利要求1所述的方法，其特征在于，还包括：

接收用户手势；以及

基于所述用户手势控制所述显示器的位置或方向。

15.根据权利要求14所述的方法，其特征在于，在基于所述用户手势控制所述显示器的位置或方向之前，所述方法还包括：

当检测到用户触摸时，从所述显示器上电性脱离驱动机构，以允许手动调整所述显示器。

16.根据权利要求1所述的方法，其特征在于，还包括：

接收来自所述目标的响应信号；以及

基于所述响应信号确定所述目标相对于所述显示器的位置或方向。

17.根据权利要求16所述的方法，其特征在于，当所述目标是被动组件时，在接收来自所述目标的响应信号之前，所述方法还包括：

向所述目标发送ping信号。

18.根据权利要求16所述的方法，其特征在于，当所述目标是主动组件时，所述目标被配置为周期性地发送所述响应信号。

19.根据权利要求16所述的方法，其特征在于，所述响应信号是射频或红外信号。

20.一种显示器调整系统，其特征在于，包括：

显示器；

至少一个致动器；其中，所述至少一个致动器能够移动所述显示器；

图像采集设备；其中，所述图像采集设备安装在所述显示器上，且用于接收图像数据；以及

处理电子装置；其中，所述处理电子装置用于执行自动调整显示器的方法；所述方法包括：

初始化自动显示控制；

接收图像数据；

基于所述图像数据确定目标相对于所述显示器的位置或方向；

基于所述目标相对于所述显示器的位置或方向，计算所述显示器的调整；以及

基于所述显示器的调整控制至少一个致动器，从而移动所述显示器。

21.一种显示器调整系统，其特征在于，包括：

显示器；

致动器，用于控制所述显示器的位置和方向中的至少一个；

图像采集设备；其中，所述图像采集设备安装在所述显示器上；以及

处理电子装置，用于执行：

从所述图像采集设备检测到的图像中识别对象；

识别所述对象相对于所述显示器的位置；以及

使所述致动器基于识别到的所述对象的所述位置，调整所述显示器的位置或方向中的至少一个。

22.根据权利要求21所述的显示器调整系统，其特征在于，还包括音频采集设备；其中，所述处理电子装置还用于执行：

检测来自所述音频采集设备的一个或多个语音命令；以及

使所述致动器基于检测到的所述一个或多个语音命令，调整所述显示器的位置或方向中的至少一个。

23.根据权利要求22所述的显示器调整系统，其特征在于，所述语音命令停止所述致动器的调整。

24.根据权利要求21所述的显示器调整系统，其特征在于，所述显示器设有光电传感器和电致变色材料，以减少屏幕反射。

25.根据权利要求21所述的显示器调整系统，其特征在于，所述显示器包括位于所述显示器的周边的至少一个传感器；用户界面被配置为通过所述至少一个传感器接收用户输入；其中，当所述至少一个传感器接收到用户输入，所述处理电子装置停用所述显示器的电动控制。

26.根据权利要求21所述的显示器调整系统，其特征在于，还包括用于接收用户手势的用户输入设备；其中，所述处理电子装置还用于：使所述致动器至少部分地基于所述用户手势，调整所述显示器的位置或方向中的至少一个。

27.根据权利要求21所述的系统，其特征在于，所述处理电子装置还用于：使所述致动器基于更新频率，调整所述显示器的位置或方向中的至少一个。

28.根据权利要求21所述的显示器调整系统，其特征在于，所述对象是第一对象，所述处理电子装置还用于：

从所述图像捕捉设备检测的所述图像中识别第二对象；

识别所述第二对象相对于所述显示器的位置；以及

使所述致动器基于所述第一对象和所述第二对象的位置，调整所述显示器的位置或方向中的至少一个。

29.根据权利要求28所述的显示器调整系统，其特征在于，所述处理电子装置使致动器基于所述第一对象和所述第二对象的位置的平均位置，调整所述显示器的位置或方向中的至少一个。

30.一种方法，其特征在于，包括：

从安装在显示器上的图像采集设备处接收图像；

从所述图像中识别对象；

识别所述对象相对于所述显示器的位置；以及

致动器基于所述对象的所述位置，控制所述显示器的位置或方向中的至少一个。

31.根据权利要求30所述的方法，其特征在于，还包括：

从音频采集设备处接收一个或多个语音命令；

所述致动器基于检测到的所述一个或多个语音命令，控制所述显示器的位置或方向中的至少一个。

32.根据权利要求30所述的方法，其特征在于，还包括：

从用户输入设备处接收用户手势，

所述致动器至少部分地基于所述用户手势，控制所述显示器的位置或方向中的至少一个。

33.根据权利要求30所述的方法，其特征在于，所述致动器基于所述对象的所述位置，控制所述显示器的位置或方向中的至少一个基于更新频率。

34.根据权利要求30所述的方法，其特征在于，所述对象是第一对象，所述方法还包括：

从所述图像捕捉设备检测的所述图像中识别第二对象；

识别所述第二对象相对于所述显示器的位置；以及

所述致动器基于所述第一对象和所述第二对象的位置，控制所述显示器的位置或方向中的至少一个。

35.根据权利要求34所述的方法，其特征在于，所述处理电子装置使致动器基于所述第一对象和所述第二对象的位置的平均位置，调整所述显示器的位置或方向中的至少一个。

36.一种显示器调整系统，其特征在于，包括：

显示器；

致动器，用于控制所述显示器的位置或方向中的至少一个；

无线收发器；以及

处理电子装置，用于执行：

使所述无线收发器向远程信标广播信号；

通过所述无线收发器，接收来自所述远程信标的响应信号；

基于接收到的所述响应信号，确定所述远程信标相对于所述显示器的位置；以及

使致动器至少基于所述远程信标的识别位置来调整所述显示器的位置或方向中的至少一个。

37.根据权利要求36所述的显示器调整系统，其特征在于，所述广播信号是射频或红外信号。

38.根据权利要求36所述的显示器调整系统，其特征在于，所述处理电子装置还用于：使所述致动器基于更新频率，调整所述显示器的位置或方向中的至少一个。

39.根据权利要求36所述的显示器调整系统，其特征在于，还包括音频采集设备；其中，所述处理电子装置还用于执行：

检测来自所述音频采集设备的一个或多个语音命令；以及

使所述致动器基于检测到的所述一个或多个语音命令，调整所述显示器的位置或方向中的至少一个。

40.根据权利要求36所述的显示器调整系统，其特征在于，所述远程信标是第一远程信标，所述处理电子设备还用于执行：

使所述无线收发器向第二远程信标广播信号；

通过所述无线收发器，接收来自所述第二远程信标的响应信号；

基于接收到的所述响应信号，确定所述第二远程信标相对于所述显示器的位置；以及

使所述致动器至少基于所述第一远程信标的识别位置和所述第二远程信标的识别位置，调整所述显示器的位置或方向中的至少一个。

Images