CN103930817B - 用于数据的自适应传送的系统和方法 - Google Patents

用于数据的自适应传送的系统和方法 Download PDF

Info

Publication number
CN103930817B
CN103930817B CN201280040663.5A CN201280040663A CN103930817B CN 103930817 B CN103930817 B CN 103930817B CN 201280040663 A CN201280040663 A CN 201280040663A CN 103930817 B CN103930817 B CN 103930817B
Authority
CN
China
Prior art keywords
image
interest
data
sent
priority
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280040663.5A
Other languages
English (en)
Other versions
CN103930817A (zh
Inventor
C.C.罗兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN103930817A publication Critical patent/CN103930817A/zh
Application granted granted Critical
Publication of CN103930817B publication Critical patent/CN103930817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开描述了用于发送、接收和显示数据的系统和方法。系统和方法可针对向设备提供恒定或基本上恒定的数据传送速率（例如，每秒帧速率）并且通过呈现针对用户感兴趣的区域的信息来控制带宽。例如，通过呈现针对用户感兴趣的区域（例如，用户正利用抬头显示器看着或“注视”的区域）的高分辨率数据和针对其他区域的较低分辨率数据，可以降低带宽。可以按恒定的帧速率或基本上恒定的帧速率来发送和接收数据，并且可以使用注视方向和渐进压缩/解压缩技术来发送专注于针对用户感兴趣的区域的区域的数据。

Description

用于数据的自适应传送的系统和方法
相关申请的交叉引用
本公开要求2011年6月20日递交的13/164,445号美国专利申请和2012年4月23日递交的13/453,065号美国专利申请的优先权，这里通过引用并入这些美国专利申请的每一个的内容。
背景技术
高分辨率数据或图像流可由主机或发送器利用包括有线或无线连接在内的多种传送技术提供给显示器或接收器。当使用无线连接时，与使用有线连接时相比，可用于传送数据的带宽可能更有限。此外，无线连接的带宽可由于变化的信号状况而动态地变动。在有限的带宽下，可以使用压缩方案来减少要传送的数据的量，但数据压缩可添加等待时间、降低帧速率、降低图像质量，并从而引起系统用户的视觉不适。
可以利用各种技术来无线地接收数据并将数据显示给系统的用户。一些用于显示信息的系统可利用“抬头”显示器（heads-up display）。抬头显示器通常被定位在用户的眼睛附近以允许用户在头部运动很小或没有头部运动的情况下观看显示的图像或信息。为了在显示器上生成图像，可以使用计算机处理系统。这种抬头显示器具有多种应用，例如航空信息系统、车辆导航系统以及视频游戏。
一类抬头显示器是头戴式显示器。头戴式显示器可被包含到用户可佩戴的一副眼镜或头盔中。该显示器通常被校准并与用户的视野对齐。当向抬头显示器提供图像流时，抬头显示器与主机或发送器之间的有限带宽可引起问题。
发明内容
本申请公开了用于发送、接收和显示数据的系统和方法，等等。
在一个示例中，提供了一种用于发送数据的方法。该方法包括接收指示与设备相关联的兴趣图像的信息，并且兴趣图像在设备的视野内。该方法还包括接收指示兴趣图像的内容的优先级的优先级区分指令，并且基于指示兴趣图像的信息和优先级区分指令，确定与兴趣图像的信息相关联的数据的发送顺序。该方法还包括按所确定的顺序发送与兴趣图像相关联的数据，使得具有第一优先级的与兴趣图像有关的数据在第一时间帧槽（timeframe slot）中被发送，然后具有第二优先级的与兴趣图像有关的数据在第二时间帧槽中被发送，其中第一优先级高于第二优先级。该方法还包括在随后的时间帧槽中按所确定的顺序逐步地发送与兴趣图像有关的额外数据，直到与兴趣图像相关联的数据的发送完成为止，或者直到从设备接收到对数据的另一请求为止，并且通过对被分配用来对每个时间帧槽的数据进行编码的时间进行控制来维持基本上恒定的数据传送速率。
在另一示例中，提供了一种制品，该制品包括有形计算机可读介质，其上编码有计算机可读指令。指令包括用于接收指示与设备相关联的兴趣图像的信息的指令，并且兴趣图像在设备的视野内。该方法还包括接收指示兴趣图像的内容的优先级的优先级区分指令，以及基于指示兴趣图像的信息和优先级区分指令，用于确定与兴趣图像相关联的数据的发送顺序的指令。指令还包括用于进行以下操作的指令：按所确定的顺序发送与兴趣图像相关联的数据，使得具有第一优先级的与兴趣图像有关的数据在第一时间帧槽中被发送，然后具有第二优先级的与兴趣图像有关的数据在第二时间帧槽中被发送，并且第一优先级高于第二优先级。指令还包括用于在随后的时间帧槽中按所确定的顺序逐步地发送与兴趣图像有关的额外数据，直到与兴趣图像相关联的数据的发送完成为止或者直到从设备接收到对数据的另一请求为止的指令，以及用于通过对被分配用来对每个时间帧槽的数据进行编码的时间进行控制来维持基本上恒定的数据传送速率的指令。
在另一示例中，提供了一种系统，其包括用于接收指示与设备相关联的兴趣图像的信息的装置，并且兴趣图像在设备的视野内。该系统还包括用于接收指示兴趣图像的内容的优先级的优先级区分指令的装置，以及基于指示兴趣图像的信息和优先级区分指令，用于确定与兴趣图像相关联的数据的发送顺序的装置。该系统还包括用于进行以下操作的装置：按所确定的顺序发送与兴趣图像相关联的数据，使得具有第一优先级的与兴趣图像有关的数据在第一时间帧槽中被发送，然后具有第二优先级的与兴趣图像有关的数据在第二时间帧槽中被发送，并且第一优先级高于第二优先级。该系统还包括用于在随后的时间帧槽中按所确定的顺序逐步地发送与兴趣图像有关的额外数据，直到与兴趣图像相关联的数据的发送完成为止，或者直到从设备接收到对数据的另一请求为止的装置，以及用于通过对被分配用来对每个时间帧槽的数据进行编码的时间进行控制来维持基本上恒定的数据传送速率的装置。
上述发明内容只是说明性的，而并不打算以任何方式进行限定。除了上文描述的说明性方面、实施例和特征以外，通过参考附图和接下来的详细描述，更多的方面、实施例和特征将变得清楚。
附图说明
图1图示了用于发送和接收数据的示例系统。
图2A示出了用于发送和接收数据的系统的另一示例实施例。
图2B示出了用于发送和接收数据的系统的另一示例实施例。
图3A图示了确定兴趣区域或注视方向的示例。
图3B图示了确定注视方向的另一示例。
图4是根据本文描述的至少一些实施例的向设备发送数据的方法的示例框图。
图5是根据本文描述的至少一些实施例的向设备发送数据的方法的另一示例框图。
图6A-6B图示了可被配置为根据图4-5中所示的一个或多个方法来工作的设备的示例。
图6C图示了兴趣区域（region of interest，ROI）的示例。
图7图示了抬头显示器的概念透镜。
图8是图示出根据本文描述的至少一些实施例布置的计算系统中使用的示例计算设备的功能框图。
图9是图示出根据本文给出的至少一些实施例布置的包括用于在计算设备上执行计算机过程的计算机程序的示例计算机程序产品的概念性部分视图的示意图。
具体实施方式
在以下详细描述中，参考形成描述的一部分的附图。在附图中，相似的标号通常标识相似的组件，除非上下文另有指示。详细描述、附图和权利要求中描述的说明性实施例并非意图是限定性的。在不脱离本文给出的主题的精神或范围的情况下，可以利用其他实施例，并且可以进行其他改变。容易理解，本文概括描述并且在附图中图示的本公开的各方面可按许多种不同的配置来布置、替换、组合、分离和设计，所有这些在这里都已明确设想到。
本公开可公开用于发送、接收和显示数据的系统和方法，等等。系统和方法可针对向设备提供恒定或基本上恒定的数据传送速率（例如，每秒帧速率）并且通过呈现针对用户感兴趣的区域的信息来控制带宽。例如，通过呈现针对用户感兴趣的图像的高优先级区域（例如，用户正利用抬头显示器看着或“注视”的区域）的高分辨率数据和针对其他区域的较低分辨率数据，可以降低带宽。在一个示例中，可以按恒定的帧速率或基本上恒定的帧速率来发送和接收数据，并且可以使用注视方向和渐进压缩/解压缩技术来以专注于针对用户感兴趣的图像的区域的区分优先级的方式发送数据或者以更高的分辨率发送针对用户的兴趣图像的数据。
在一个示例中，在绘制（rendering）引擎与显示引擎之间具有低带宽传送信道的布置中，例如移动设备与抬头显示系统具有无线连接，实时、自适应或渐进压缩/解压缩技术中的一种或多种可用于最小化计算工作量和传送带宽，同时在用户的注视方向或者用户的兴趣区域（ROI）的其他代表上提供期望的帧速率和图像分辨率。
现在参考图1，图示了用于发送和接收数据的示例系统100。该系统包括主机102，该主机102利用通信链路106（例如，有线或无线连接）与设备104通信。主机102可以是任何类型的被配置为向设备104发送数据的计算设备或发送器，包括膝上型计算机、移动电话，等等。主机102和设备104可包含使能通信链路106的硬件，例如发送器、接收器、天线，等等。
设备104可以是任何类型的能够接收数据并显示与该数据相对应或相关联的信息的设备。例如，设备104可以是抬头显示系统，例如眼镜或任何类型的包含显示装置的近眼显示单元（例如，头盔、隐形眼镜和护目镜）。其他的示例实施例可包括显示器，例如包括液晶显示器（liquid crystal display，LCD）、发光二极管（light emitting diode，LED）、模制聚合物（molded polymer）显示器、或者自由空间反射显示器，或者其他图像生成手段。另外的示例实施例可包括用于在用户的眼睛前方生成图像的显示器中的波导。显示手段和显示外壳并不打算限制本申请的范围。
在图1中，通信链路106被示为无线连接；然而，也可使用有线连接。例如，通信链路106可以是经由诸如USB之类的串行总线或者并行总线的有线链路。有线连接也可以是专有连接。通信链路106也可以是无线连接，例如蓝牙、IEEE802.11（IEEE802.11可以指IEEE802.11-2007、IEEE802.11n-2009或者任何其他IEEE802.11修订版）、或者其他基于无线的通信链路。
设备104可包括显示系统108，其中有处理器110耦合到显示器112。显示系统108可被配置为与主机102通信（例如，有线或无线地接收和发送数据）。处理器110可接收来自主机102的数据，并且配置该数据以用于显示在显示器112上。处理器110可以是任何类型的处理器，例如微处理器、数字信号处理器（digital signal processor，DSP），等等，并且显示器112可以是任何类型的显示器，包括LCD、等离子体，等等。
显示系统108可耦合到优先级跟踪设备114和感测设备116。优先级跟踪设备114可被配置为确定与设备104的视野中的图像相关联的优先级。在一个示例中，例如，优先级跟踪设备114可测量或接收与“注视”方向或者说由用户的眼球指向的方向确定的用户注视的方向相关联的信息。显示器112可以额外地或替换地具有关联或指定的兴趣区域或与用户的期望或兴趣区域有关的兴趣图像。例如，在显示器112是眼镜形式的抬头显示器的情况中，兴趣图像可包括针对在用户正面对或看着的方向上的区域的图像，并且这样的区域可被称为注视方向。例如，优先级跟踪设备114可包括许多不同类型的传感器，例如加速度计、陀螺仪或者包括罗盘型传感器来确定地理方向和位置的GPS系统。例如，在显示系统108采取由用户佩戴的眼镜的形式的情况中，优先级跟踪设备114可包括分析并解释头部运动以确定要与图像的优先级区分相关联的头部取向的传感器，或者分析并解释相对于眼角的虹膜中心位置以识别与眼睛运动一致的注视方向的传感器（例如相机）。例如，在设备102内可使用任何类型的优先级跟踪设备来识别并确定与设备102相关联的注视方向。此外，注视方向可利用上述示例的任何组合来确定，例如通过使用观看者的眼睛在眼窝中的旋转以及设备的定位来确定。
优先级跟踪设备114可以额外地或者替换地被配置为确定针对所显示的图像流的特定区域中的优先兴趣的方向，或者观看者的其他“兴趣区域”或兴趣图像。图像中观看者正看着的点是兴趣区域的示例，或者额外地，优先级跟踪设备114可具有关于观看者可优先感兴趣的屏幕区域（例如，视野中变化了的或者引起观看者注意的东西）的信息。优先级跟踪设备114还可接收来自设备104上的其他传感器的可用于指示出对所显示数据的偏好的输出（例如，设备104可包括麦克风，该麦克风记录另一兴趣区域中的音频，提示更新针对从中接收到音频的区域的视觉显示）。
从而，优先级跟踪设备114可利用设备104确定观看者的兴趣图像和/或利用设备104确定观看者的注视方向。在一个示例中，兴趣图像可位于用户面对的方向上。
感测设备116可以是或者包括任何数目的传感器，或者可具有任何数目的传感器的功能，例如包括加速度计、陀螺仪、音频传感器、视频传感器（例如，相机）、麦克风，等等。感测设备116的输出可指示眼睛运动、头部运动、周围音频的来源/方向/位置等等中的任何一者，并且可用于指示与设备104相关联的兴趣区域。
系统100的所描述的功能中的一个或多个可被分割到额外的功能或物理组件中，或者被组合到更少的功能或物理组件中。例如，虽然优先级跟踪设备114被图示为设备104的组件，但优先级跟踪设备114可与设备104分离，并从而可与设备104通信。在一些另外的示例中，额外的功能和/或物理组件可被添加到图1所示的示例。
图2A示出了用于发送和接收数据的系统200的另一示例实施例。在系统200中，主机202经由通信链路206耦合到显示设备204。在此示例中，显示设备204是眼镜（例如，头戴式显示器），并且眼镜的每个透镜可包括显示器，并且通信链路206是无线通信链路。
图2B示出了用于发送和接收数据的系统250的另一示例实施例。在系统250中，主机202经由第一通信链路210耦合到网络208，并且网络208可经由第二通信链路212耦合到显示设备204。显示设备204可包含使能无线通信链路的硬件。第一通信链路210可传送数据到网络208（例如，主机202与显示设备204之间的中间网络）。在一些实施例中，第一通信链路210可由互联网提供。这可以是经由同轴线缆、以太网线缆或电话线缆的有线连接。第一通信链路210也可以是无线的（如图所示），根据802.11WiFi协议操作。在一些实施例中，网络208可以是基于蜂窝的连接，例如GSM、CDMA、UMTS、EV-DO、WiMAX或LTE，并且可提供第二通信链路212。此外，例如，网络208可通过一不同的基于射频的网络来提供第二通信链路212，并且可以是具有充分的带宽来传送图像或数据的任何通信链路。
在图2A或2B所示的任一系统内，显示设备可被配置为解释所接收的数据并且显示与该数据相关联的图像、文本或其他信息。此外，显示设备204可以是包括向主机202提供注视方向信息的优先级跟踪器的抬头显示系统，并且主机202可使用注视方向信息来对数据的编码和向显示设备204的发送进行优先级区分。
图3A图示了例如通过确定注视方向来确定兴趣图像的示例。在图3A中，用户302可面对如箭头指示的方向，从而，兴趣图像可以是针对箭头方向上的注视方向的图像。注视方向可指示朝着用户正看着的区域的方向。用户302可能正看着或者有兴趣观看兴趣图像304，从而，注视方向可指示朝着兴趣图像304的方向。图3B是用户302的顶视图，并且基于用户302的观看方向（或注视方向），不同的兴趣图像306、308、310、312和314可由不同的方向指示。
返回参考图2A和2B中所示的系统，在用户佩戴着诸如显示器204之类的抬头显示器的情况中，显示器204可基于用户的注视方向接收与兴趣图像相关联的信息，并且向发送器提供兴趣图像以接收或请求与关于兴趣图像的信息相对应的数据，或者额外地，请求或接收与关于兴趣图像的信息相对应的高分辨率数据和与关于其他区域（例如，外围观看区域）的信息相对应的较低分辨率数据。兴趣图像信息可控制由显示器204发送或接收的数据的内容。在没有兴趣图像信息的情况下，可发送与关于显示器周围的所有区域的信息相对应的数据；然而，利用兴趣图像，可发送更少的数据并且可发送用户更感兴趣的数据。此外，可按用户感兴趣的顺序来发送和接收数据，而该顺序是例如基于注视方向信息来区分优先级的。在一具体示例中，用户可佩戴包括抬头显示器的眼镜，并且每个头部运动或者可能眼睛运动可引起新的兴趣图像。在主机与眼镜之间带宽有限的情况中，可以首先发送与关于针对兴趣图像的区域的信息相对应的数据，然后是与其他区域相对应的数据。在接收到新的兴趣图像信息后，主机可开始新数据的发送，从而显示可以变化。
图4是根据本文描述的至少一些实施例的向设备发送数据的方法的示例框图。图4中所示的方法400给出了一种方法的实施例，该方法例如可与系统100、200和250结合使用，并且可由主机、设备或者主机和设备的组合来执行。方法400可包括如块402-422中的一个或多个所示的一个或多个操作、功能或动作。虽然这些块是按先后顺序示出的，但这些块也可并行执行，和/或按与本文描述的顺序不同的顺序执行。另外，基于期望的实现方式，各种块可被组合成更少的块，被分割成额外的块，和/或被去除。
此外，对于方法400和本文公开的其他过程和方法，流程图示出了当前实施例的一种可能的实现方式的功能和操作。就此，每个块可表示程序代码的模块、片段或部分，程序代码包括可由处理器执行来实现该过程中的特定逻辑功能或步骤的一个或多个指令。程序代码可被存储在任何类型的计算机可读介质上，例如包括盘或硬盘驱动器的存储设备。计算机可读介质可包括非暂态计算机可读介质，例如像寄存存储器、处理器缓存和随机存取存储器（Random Access Memory，RAM）那样短时间存储数据的计算机可读介质。计算机可读介质还可包括非暂态介质，例如次级或永久长期存储装置，比如只读存储器（read onlymemory，ROM）、光盘或磁盘、致密盘只读存储器（compact-disc read only memory，CD-ROM）。计算机可读介质还可以是任何其他易失性或非易失性存储系统。计算机可读介质可被认为是例如计算机可读存储介质，或者有形存储设备。
此外，对于方法400和本文公开的其他过程和方法，图4中的每个块可表示被布线来执行该过程中的特定逻辑功能的电路。
方法400包括在块402接收指示出与设备相关联的兴趣图像的信息。例如，设备可包括注视跟踪器并且可确定设备的注视方向，该注视方向可作为指示兴趣图像的信息被（有线或无线地）发送到发送器。可替换地，设备可包括额外的传感器，例如罗盘和GPS，并且可提供指示设备正面对的方向的信息以及指示设备的位置或设备的用户的注视方向的信息。此外，设备可以可替换地或额外地提供指示用户的兴趣区域（ROI）的信息，作为指示兴趣图像的信息。ROI例如可以是用户前方的区域，或者可基于其他指示物来确定，例如来自设备的其他传感器的输出。在一些示例中，兴趣图像在设备的视野内，或者在佩戴设备的用户的视野内。兴趣图像信息还可指示设备的位置或坐标，或者例如与设备相关联的特定相机参数，例如焦距和视野。与兴趣图像相关联的信息可用于在给定设备的当前位置、取向、设置等等的情况下发送与图像相关联的数据（例如，像素数据）。
在块404，方法400包括接收优先级区分指令。在一个示例中，优先级区分指令指示出兴趣图像的内容的优先级。在一个示例中，可基于优先级区分指令来确定兴趣图像的内容的发送顺序。从而，可识别一般兴趣图像，并且优先级区分指令可识别并指示发送该兴趣图像内的内容的顺序。
在一个示例中，优先级区分指令可包括指示出抬头显示器的用户的注视方向的信息。用户可面对特定方向，或者设备可面对特定方向，并且包括该特定方向上的区域的兴趣图像可被识别。另外，可以确定用户的注视方向（例如，基于眼睛运动）以在更详细的级别上识别兴趣图像内用户感兴趣的内容。例如，如果用户的兴趣图像被识别为大体上是用户前方的区域，并且用户将他/她的眼睛移动到用户前方的该区域的右段，则针对右段的内容可被识别为更高重要性并且可被以比兴趣区域中的其他内容更高的优先级别发送到用户。注视方向信息可用于识别兴趣图像中的以由注视方向指示的兴趣图像中的单点为中心的内容。
作为另一示例，抬头显示器可包括可识别运动物体的基于视觉的传感器，或者可识别具有局部化声音的区域的音频传感器。基于运动的数据或基于音频的数据可被包括在优先级区分指令内，或者可用于生成优先级区分指令，以将针对该运动或音频的内容指示为具有更高优先级别。例如，在空间上局部化周围环境中的音频时，可识别空间上局部化的音频之处或其周围的兴趣区域内的内容，以识别声音附近的内容。音频的方向或音频的位置可被近似并用于配置优先级区分指令。
在另一示例中，抬头显示器可包括运动传感器，并且可检测用户的运动。运动传感器可确定用户的头部正在迅速向右移动，并且这样的信息可用作优先级区分指令来提供用于对要发送的数据进行优先级区分的额外信息。可替换地，主机可基于对信息的请求和对该信息内的图像的分析来检测用户的头部的向右运动（例如，主机可分析所发送的图像/序列以确定用户在特定方向上运动）。
在另一示例中，优先级区分指令可包括加权函数或者可以是基于加权函数来配置的。示例加权函数可考虑许多输入，并且基于这些输入，提供优先级区分指令。输入可包括用户的运动、周围音频的音频采样、用户的注视方向，等等。一个特定的加权函数可被配置成使得如果用户的运动被赋予第一优先级，则用户的注视方向被赋予较低的第二优先级。
另外，优先级区分指令可指示出兴趣区域内的两个或更多个位置，这两个或更多个位置与兴趣区域中的其他区域相比具有高优先级。这些位置可基于注视方向、头部运动、周围音频等等来识别。
在示例内，优先级区分指令可被认为是来自设备的反馈，用以提供特定兴趣图像的第二级别的粒度。例如，除了指示出可用于确定要显示的下一帧的兴趣图像以外，还可向主机提供额外的信息来引导主机编码和发送兴趣图像中的信息。在使用抬头显示器的增强现实示例中，头部运动可驱动要显示的信息，然而，在有限带宽情形中，用户的注视方向也可有帮助，使得所发送的信息中的更多信息可与用户视野中央的像素相关。包括用户头部的运动方向、从周围环境检测到的声音的空间位置或者来自抬头显示器上的其他传感器的反馈在内的其他反馈可用于对数据的发送进行优先级区分。
在块406，与关于兴趣图像的信息相对应的数据可被编码或压缩。主机或发送器可在发送到接收器或显示器之前对数据进行压缩。可以使用任何类型的编码或压缩技术，例如，基于小波的技术（例如，离散小波变换（discrete wavelet transform，DWT）或嵌入式零树小波（embedded zerotree wavelet，EZW））。在一个示例中，可通过对图像的所有像素取平均来减小图像的大小，并且可以以迭代方式执行平均、直到表示图像的数据的大小如所期望为止。在另一示例中，利用DWT或EZW，可以按任何比特率将数据编码和压缩成可单独发送的个体块或子块。可对数据的每个子块执行DWT以将子块分解成不同的时间-频率成分。低频率子块中的系数可以示出子块的背景信息，而更高频率子块中的系数可表示图像的细节和边缘。在计算DWT之后，可根据任何类型的压缩技术对数据进行压缩，其中压缩技术例如是受EZW控制的可变阈值机制，其中大于阈值的系数可被选择来发送。阈值级别例如可决定输出比特流的长度、输入数据的压缩比和/或重构数据的分辨率。关于编码和压缩技术的更多信息，参考Lo等人所著的"An Adaptive Source-Channel Coding with Feedback forProgressive Transmission of Medical Images",International Journal ofTelemedicine and Applications,Vol.2009,Article ID 519417，这里通过引用并入该文献的全部内容。
在块408，与关于兴趣图像的信息相对应的编码数据可被发送到设备。通过发送与关于兴趣图像的信息相对应的数据，所发送的数据很可能是用户感兴趣的。
可选地，在块410，更高分辨率的数据可被逐步地发送到设备。例如，在块406和408，第一分辨率级别的数据可被编码并发送到设备，而在块410，高于第一分辨率的第二分辨率的数据可被编码并发送到设备。这两次数据发送都可包括与关于兴趣图像的信息相对应的数据并且可基于优先级区分指令来具体地有所针对。这样，最初，低分辨率数据（例如，或者高度压缩的数据）可被发送到设备以更迅速地发送少量数据，然后额外的数据可被逐步发送到设备以允许构造更高分辨率的图像。随后发送的额外数据可以是利用更低量的压缩来压缩的数据。此外，如果优先级区分指令（例如，指示注视方向的信息）被提供给发送器，则发送器可以将表示关于注视方向的信息的数据以比表示其他区域的数据更好的质量和更小的失真来编码。设备可最初解码并显示低分辨率图像，并且在接收到额外数据之后，可解码并显示更高分辨率图像。图像可被逐步地揭示；然而，例如，在任何一刻，可以显示原始图像的合理再现。
在块412，作为另一可选步骤，与其他区域相对应的数据可被发送到设备。例如，第一分辨率的与关于兴趣图像的信息相对应的数据可被发送到设备，然后以第二分辨率发送与关于用户附近或周围的其余区域的信息相对应的数据。第一分辨率可以是比第二分辨率更高的分辨率，从而使得与兴趣图像相对应的数据可被显示器更详细地绘制。另外，可替换地，发送器可以按区分优先级的方式来发送数据：首先发送对应于与兴趣图像相关联的信息的数据，随后发送对应于其他区域的数据，并且在此替换示例中所有数据可以按高分辨率或者按多级别分辨率发送。
从而，利用优先级信息，可以确定与关于兴趣图像的区域的信息相关联的数据的发送顺序，并且可以利用渐进压缩技术来发送与兴趣图像的信息相关联的数据，使得低分辨率数据表示在第一时间帧槽中发送，然后是更高分辨率数据表示在第二时间帧槽中发送。例如，关于高优先级区域的高分辨率数据可以首先被发送，然后是关于更低优先级区域的高分辨率数据。
在块414，该方法可选地包括接收指示对数据解码的时间的信息。设备可确定对接收到的压缩数据进行解码的时间，并且向发送器发送对该时间的指示。解码时间可包括接收数据的时间和/或解码和显示数据的时间。例如，数据可包括指示数据被发送的时间的时间戳，从而，基于数据是何时被接收的，设备可确定发送数据的时间。发送数据的时间可用于估计可用带宽的量，或者设备与发送器之间的其他信号状况。
在块416，该方法可选地包括接收指示出成功解码的数据的百分比的信息。设备可确定成功解码的数据的百分比，并且向发送器发送对该百分比的指示。
在块418，该方法可选地包括修改压缩技术或给定时间帧槽中发送的数据量。例如，基于对解码数据的时间和成功解码的数据的百分比中的一者或多者的指示，发送器可例如通过修改用于对数据编码的压缩技术，来修改有多少数据被发送到设备。
在块420，该方法包括确定是否接收到对新数据的请求。例如，设备可例如通过发送与新的兴趣图像相关联的信息来发送对新数据的请求。在设备或使用设备的观看者的兴趣图像改变的情况中，新的兴趣图像（或与新兴趣图像相关联的数据）可被发送到发送器以请求与新兴趣图像相对应的新数据。作为另一示例，如果用户头部的位置和/或取向已改变，则新的兴趣图像可被发送到发送器以请求新数据，无论是否维持恒定的优先级指令。
在块422，该方法包括确定是否已发送了对应于与兴趣图像相关联的信息的所有数据。如果是，则发送器已完成了数据的发送，并且在块420等待接收对新数据的请求。如果否，则在块424，发送器可继续逐步发送对应于与兴趣图像相关联的信息和/或对应于与其他区域相关联的信息的数据。
在一个示例中，在发送器逐步发送与关于兴趣图像的信息相对应的数据的情况中，发送器可在随后的帧槽中发送额外的数据块，从而如果在发送器处未接收到更新，则最终发送图像（或区域）的完整数据流，如块420和422所示。从而，在一个示例中，对应于与兴趣图像相关联的信息的某些数据可被优先发送，并且如果时间充足的话与兴趣图像的外围的区域相关联的其他数据也可被发送（即，与显示器相关联的数据可被完全发送，然而，该显示器的与兴趣图像有关的数据部分可被优先发送）。从而，例如，可以确定整个显示器的数据的发送顺序，其中针对高优先级部位或区域的数据受到优待。完整的数据流可包括关于最高优先级区域的所有数据和/或关于其他数据的额外数据。
否则，当在块420在接收到更新（或者对额外或替换数据的请求）时，在当前数据帧被完全编码和发送之前，编码可在新的或下一个数据帧上开始。
可以执行方法400以在随后的时间帧槽中逐步地发送图像的额外信息，直到与图像相关联的数据发送完成为止或者直到从设备接收到对数据的另一请求为止。另外，通过首先发送针对兴趣图像的高优先级区域的数据，然后发送针对其他区域的数据，可以以区分优先级的方式来发送数据。
方法400的替换实施例可通过执行额外的步骤、去除步骤或者按其他顺序执行步骤来执行。作为另一个示例，可以执行方法400以在维持恒定或基本上恒定的数据传送速率的同时利用渐进压缩技术按预定的分辨率发送针对兴趣图像的数据。方法400可以独立于发送到设备的信息的类型来执行，并且从设备发送的注视方向或其他优先级指令可用于对信息内容的编码、发送、解码和显示进行优先级区分和排序。
还可以通过控制为了对每个时间帧槽的数据进行编码和发送所花费的时间，来以维持基本上恒定的数据传送速率的方式执行方法400。发送器可维持恒定或基本上恒定的数据传送速率以控制带宽限制。
此外，在方法400内，在一些示例中，可以在以所确定的顺序发送与兴趣图像的信息相关联的数据的至少一部分之后接收优先级区分指令。在此示例中，可以确定与兴趣图像相关联的数据的发送的新顺序，并且可以按新顺序来发送与兴趣图像的信息相关联的数据。从而，如果在数据发送期间优先级区分指令变化，例如用户的注视变化，则可以相应地修改发送到设备的数据的顺序。
图5是根据本文描述的至少一些实施例的向设备发送数据的方法的示例框图。图5中所示的方法500给出了一种方法的实施例，该方法例如可与系统100、200和250结合使用，并且可由主机、设备或者主机和设备的组合来执行。方法500可包括如块502-514中的一个或多个所示的一个或多个操作、功能或动作。虽然这些块是按先后顺序示出的，但这些块也可并行执行，和/或按与本文描述的顺序不同的顺序执行。另外，基于期望的实现方式，各种块可被组合成更少的块，被分割成额外的块，和/或被去除。
最初，在块502，在发送器处接收与设备或使用设备的观看者的兴趣图像相关联的信息。与兴趣图像相关联的信息可指示出用户或设备所面对的一般方向，和/或也可以指示出与兴趣图像内的特定区域或内容有关的优先级区分指令。此外，在块504，在发送器处可从设备接收指示出可用于编码/发送数据的时间的信息。另外，在块506，在发送器处可接收指示出在设备处从先前发送成功解码的数据的百分比的信息。
然后，在块508，发送器可确定如何对数据编码以发送到设备。例如，发送器可基于接收器或显示器的兴趣图像，和/或基于有多少时间可用于执行编码、发送、解码和显示图像中的一者或多者，来确定如何压缩图像（即，对于图像的每个区域投入多少比特的信息）。
在块510，如果从设备接收到新信息，例如指示出可用于编码/发送数据的新时间或在设备处成功解码的信息的新百分比的信息，则在块512，发送器可修改压缩技术或在给定时间帧槽中要发送的数据量。随后，发送器可将编码数据发送到设备。在发送器处接收进一步反馈对于扼制或扩大在每个时间帧期间发送的信息量可能是有用的。目标数据传送速率可通过限制在发送器处为了对每个发送帧的数据进行编码和发送所花费的时间并且也限制在设备上为了对每个发送帧的数据进行解码和显示所花费的时间来实现。
发送器与设备之间的近似带宽可被即时（实时）更新，并且例如用于估计传送时间，并因此估计在每个帧槽中要发送的编码信息的大小。在一个示例中，为了控制带宽并且维持基本上恒定的传送帧速率，可以使用来自设备的关于兴趣图像和过去的发送的信息。例如，如上所述，兴趣图像中的兴趣区域可用于确定对于图像的每个区域要编码多少比特的数据，使得与兴趣图像相关联的信息可被以更多的比特编码以提供更多细节，并且表示外围的其他区域的数据可被以更少的比特编码以提供较少的细节。另外，例如，基于有多少时间可用于编码和发送数据（例如，有15ms来编码和发送信息），过去的发送经历可用于确定如何编码数据，例如将图像分割成子区域并且将图像分部分发送。
方法500提供了在指定量的时间中向设备发送不同细节级别的区域以使能随后时间帧槽内的数据发送来以分辨率为代价维持稳定帧速率的示例。方法500可实时执行，并且基于从设备接收的反馈信息（例如，响应于变化的（无线）带宽）来自适应。
设备与发送器之间的闭合环路使得能够向其每一者传达反馈。初始数据传送速率和要发送的数据量可例如基于过去发送的成功来确定。从而，目标帧速率可通过限制为了对每个数据帧进行编码和发送所花费的时间来实现。关于控制带宽和维持基本上恒定的数据传送速率的更多信息，读者请参考Reingold等人所著的"Gaze-contingentMultiresolutional Displays-An Integrative Review",Human Factors:The Journalof the Human Factors and Ergonomics Society,2003;45;p.307-328，这里通过引用并入该文献的全部内容。
图6A图示了可被配置为根据方法400和500中的一个或多个来工作的设备600的一个示例。设备600被示为可由用户佩戴来在眼睛前方投影图像的抬头显示设备，例如眼镜。设备600可具有到电话、计算机等等或其他发送器的无线连接，以接收要显示的数据。设备600与发送器之间的带宽在使用无线传送时可能是有限的（与对于高分辨率视频信号使用可提供更多带宽（例如60fps）的有线连接不同）。此外，带宽可由于变化的无线信号状况而动态地变动。
设备包括透镜，例如透镜602，该透镜包括显示器。兴趣区域（ROI）604可定义为包括在透镜602的中央内的区域，从而定义用户在看着或以其为视野中心的区域。ROI可对应于指示出用户的兴趣图像的信息。指示方向或ROI的信息可被提供给发送器（例如，位置、纬度/经度坐标、罗盘方向，等等）以使得发送器能够发送与ROI604相对应的信息。这样，兴趣信息可被提供给用户。
图6B图示了用户佩戴的设备600的示例。在此示例中，可基于用户眼睛的运动来确定用户的注视方向。用户的注视方向可被确定为朝着ROI604的左侧区域。此外，设备604上的传感器可确定用户的头部运动是向左移动。另外，设备604上的音频传感器可检测到用户左边方向上的音频。这些信息中的任何一个或多个可用于配置优先级区分指令以发送到主机来请求与ROI604的特定区域相关联的数据。在此示例中，与对应于ROI604的图像的最左侧像素相关联的数据可首先被发送到设备600，然后是与对应于ROI604的图像的其他区域的像素相关联的数据。从而，可通过首先提供与用户的注视方向的区域相对应的数据，然后提供与ROI604的其余部分相对应的数据（例如，在图像的从左向右绘制中），来向用户显示与ROI604相对应的图像。
图6C图示了兴趣区域（ROI）604的示例，并且ROI604可与兴趣图像相关联或相对应。ROI604可被分割成数个区域，并且与ROI604的区域相关联的内容可基于优先级区分被发送到设备604。在图6A-6C所示的示例中，与区域#1相关联的内容可首先被发送，因为这些内容可针对用户的注视方向、用户头部的运动以及所感测到的音频的方向。与其余区域相关联的内容可如图所示按从#2-#16的顺序发送，然而，其他顺序也是可能的。在一个示例中，ROI604内的内容可基于与到由优先级区分指令识别的内容的距离的关联来发送。利用此示例，被识别为#2-#6的区域内的内容是所识别的区域#1的内容的相邻内容。
利用图6A-6C中的示例，与针对用户的ROI、更具体而言针对ROI的特定部分的数据相关联的图像的内容可首先被发送，以呈现用户特别感兴趣的子区域的内容。其余子区域的其他内容可随后被发送，并且与针对视野的其余部分的数据相关联的可能其他图像可更随后被发送。
图7图示了抬头显示器的概念透镜700。透镜700被分割成多个兴趣区域，ROI1、ROI2和ROI3，并且每个ROI可被认为是用户感兴趣的图像，或者被包括在用户的兴趣图像内。指示不同ROI的信息可被发送到发送器以使得发送器能够对到设备的数据发送进行优先级区分。例如，发送器可使用ROI信息来控制数据的压缩和发送，如以下表1中所示。
数据发送顺序 发送的数据量
ROI1 1 高分辨率/低压缩
ROI2 2 中分辨率/中等压缩
ROI3 3 低分辨率/高压缩
表1
最初，可以发送表示ROI1中的信息的数据，然后是表示ROI2中的信息的数据，然后是表示ROI3中的信息的数据。类似地，ROI可用于确定要发送多少数据到设备。如表1中所示，对于ROI1中的信息可发送高分辨率/低压缩数据，对于ROI2中的信息可发送中分辨率/中等压缩数据，并且对于ROI3中的信息可发送低分辨率/高压缩数据。利用此示例，用户的视野中心的图像可被更详细显示，而围绕着中心和外围的图像可被不那么详细地显示。
兴趣区域——例如图7中所示的那些——也可利用其他方法来确定。例如，兴趣区域可基于设备的观看者来进一步识别，从而可基于眼睛运动、头部运动或来自设备的观看者的输入来确定。在另一示例中，兴趣区域可基于设备，从而可基于耦合到设备的诸如陀螺仪、加速度计、相机、麦克风等等之类的传感器的输出来确定。这些示例传感器中的任何一者可提供可用于指示兴趣区域的输出。
图8是图示出根据本文描述的至少一些实施例布置的计算系统中使用的示例计算设备800的功能框图。计算设备可以是个人计算机、移动设备、蜂窝电话、视频游戏系统或者全球定位系统，并且可实现为如图1-7中描述的显示设备、发送器、主机或者显示设备、发送器或主机的一部分。在非常基本的配置802中，计算设备800通常可包括一个或多个处理器810和系统存储器820。存储器总线830可用于在处理器810和系统存储器820之间通信。取决于期望的配置，处理器810可以是任何类型的，包括但不限于微处理器（microprocessor，μP）、微控制器（microcontroller，μC）、数字信号处理器（digital signal processor，DSP）或者其任何组合。存储器控制器815也可与处理器810一起使用，或者在一些实现方式中，存储器控制器815可以是处理器810的内部部件。
取决于期望的配置，系统存储器820可以是任何类型的，包括但不限于易失性存储器（例如RAM）、非易失性存储器（例如ROM、闪存，等等）或者其任何组合。系统存储器820可包括一个或多个应用822和程序数据824。应用822可包括根据本公开布置为向电子电路提供输入的图像显示算法823。程序数据824可包括可针对任何数目的类型的数据的内容信息825。在一些示例实施例中，应用822可被布置为在操作系统上与程序数据824一起操作。
计算设备800可具有额外的特征或功能，以及额外的接口，来促进基本配置802与任何设备和接口之间的通信。例如，可提供数据存储设备840，包括可移除存储设备842、不可移除存储设备844或者其组合。仅举几例，可移除存储和不可移除存储设备的示例包括诸如例如软盘驱动器和硬盘驱动器（hard-disk drive，HDD）之类的磁盘设备、诸如致密盘（compact disk，CD）驱动器或数字多功能盘（digital versatile disk，DVD）驱动器之类的光盘驱动器、固态驱动器（solid state drive，SSD）、以及磁带驱动器。计算机存储介质可包括以任何方法或技术实现的易失性和非易失性的、非暂态的、可移除和不可移除的介质，用于存储信息，例如计算机可读指令、数据结构、程序模块或其他数据。
系统存储器820和存储设备840是计算机存储介质的示例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或者其他存储器技术、CD-ROM、数字多功能盘（DVD）、或者其他光存储装置、盒式磁带、磁带、磁盘存储装置、或者其他磁存储设备、或者可用于存储期望的信息并且可被计算设备800访问的任何其他介质。任何这种计算机存储介质都可以是设备800的一部分。
计算设备800还可包括输出接口850，该输出接口850可包括图形处理单元852，该图形处理单元852可被配置为经由一个或多个A/V端口或通信接口870与诸如显示设备860或扬声器之类的各种外部设备通信。通信接口870可包括网络控制器872，该网络控制器872可被布置为促进经由一个或多个通信端口874通过网络通信与一个或多个其他计算设备880的通信。通信连接是通信介质的一个示例。通信介质可由诸如载波或其他传输机制之类的经调制的数据信号中的计算机可读指令、数据结构、程序模块或其他数据来实现，并且包括任何信息输送介质。经调制的数据信号可以是如下信号：该信号的特性中的一个或多个被以在该信号中编码信息的方式来设定或改变。作为示例而非限制，通信介质可包括诸如有线网络或直接布线连接之类的有线介质，以及诸如声音、射频（radio frequency，RF）、红外（infrared，IR）和其他无线介质之类的无线介质。
计算设备800可实现为诸如以下小外形参数便携（或移动）电子设备的一部分：蜂窝电话、个人数字助理（personal data assistant，PDA）、个人媒体播放器设备、无线网络手表设备、个人手持设备、专用设备或者包括上述功能中的任何功能的混合设备。计算设备800还可实现为包括膝上型计算机和非膝上型计算机配置两者的个人计算机。
在一些实施例中，所公开的方法可实现为以机器可读格式编码在计算机可读存储介质上或编码在其他非暂态介质或制品上的计算机程序指令。图9是图示出示例计算机程序产品900的概念性部分视图的示意图，该计算机程序产品900包括用于在根据本文给出的至少一些实施例布置的计算设备上执行计算机过程的计算机程序。在一个实施例中，示例计算机程序产品900是利用信号承载介质901来提供的。信号承载介质901可包括一个或多个程序指令902，所述程序指令902当被一个或多个处理器执行时可提供上文联系图1-8描述的功能或功能的一些部分。从而，例如，参考图4和5中所示的实施例，块402-422和/或块502-514的一个或多个特征可由与信号承载介质901相关联的一个或多个指令实现。
在一些示例中，信号承载介质901可包含计算机可读介质903，例如但不限于硬盘驱动器、致密盘（CD）、数字视频盘（Digital Video Disk，DVD）、数字磁带、存储器，等等。在一些实现方式中，信号承载介质901可包含计算机可记录介质904，例如但不限于存储器、读/写（read/write，R/W）CD、R/W DVD，等等。在一些实现方式中，信号承载介质901可包含通信介质905，例如但不限于数字和/或模拟通信介质（例如，光纤缆线、波导、有线通信链路、无线通信链路，等等）。从而，例如，信号承载介质901可由无线形式的通信介质905（例如，符合IEEE802.11标准或其他传送协议的无线通信介质）来传达。
一个或多个程序指令902例如可以是计算机可执行和/或逻辑实现的指令。在一些示例中，例如图8的计算设备800那样的计算设备可被配置为响应于由计算机可读介质903、计算机可记录介质904和/或通信介质905中的一个或多个传达到计算设备800的程序指令902来提供各种操作、功能或动作。
应当理解，本文描述的布置只是用于作为示例。因此，本领域技术人员将会明白，可以改为使用其他布置和其他元素（例如，机器、接口、功能、顺序以及功能的分组，等等），并且根据期望的结果可以完全省略一些元素。另外，所描述的元素中许多是可实现为分立的或分布式的组件或者与其他组件按任何适当的组合和位置结合实现的功能实体。
虽然本文已公开了各种方面和实施例，但本领域技术人员将会清楚其他方面和实施例。本文公开的各种方面和实施例是为了说明，而并不打算进行限定，真实的范围由权利要求以及这种权利要求所应享有的完整等同范围来指示。还要理解，本文使用的术语只是为了描述特定实施例，而并不打算进行限定。

Claims (12)

1.一种方法，包括：
接收指示与可佩戴设备相关联的兴趣图像的信息，其中所述兴趣图像在所述可佩戴设备的视野内；
接收指示所述兴趣图像的内容的优先级的优先级区分指令；基于指示所述兴趣图像的信息和优先级区分指令，确定与所述兴趣图像相关联的数据的发送顺序；
基于所确定的顺序在时间帧槽中发送经编码的数据，使得具有第一优先级的与所述兴趣图像有关的数据在第一时间帧槽中被发送，然后具有第二优先级的与所述兴趣图像有关的数据在第二时间帧槽中被发送，其中所述第一优先级高于所述第二优先级；
在随后的时间帧槽中按所确定的顺序逐步地发送与所述兴趣图像有关的额外数据，直到与所述兴趣图像相关联的数据的发送完成为止，或者直到从所述可佩戴设备接收到对数据的另一请求为止；以及
通过对被分配用来对每个时间帧槽的数据进行编码的时间进行控制来维持基本上恒定的数据传送速率。
2.如权利要求1所述的方法，还包括：
接收指示所述可佩戴设备的位置和与所述可佩戴设备相关联的注视方向中的一个或多个的信息；以及
基于所述可佩戴设备的位置和与所述可佩戴设备相关联的注视方向中的一个或多个，确定经编码的与所述兴趣图像相关联的数据的发送顺序。
3.如权利要求1所述的方法，还包括：
接收指示与所述可佩戴设备的用户相关联的注视方向的信息；以及
基于与所述可佩戴设备的用户相关联的注视方向，确定经编码的与所述兴趣图像相关联的数据的发送顺序。
4.如权利要求1所述的方法，还包括：
接收指示与由所述可佩戴设备捕捉到的音频相关联的位置的信息；以及
基于与由所述可佩戴设备捕捉到的音频相关联的位置，确定经编码的与所述兴趣图像相关联的数据的发送顺序。
5.如权利要求1所述的方法，还包括：
接收指示与所述可佩戴设备的运动相关联的方向的信息；以及
基于与所述可佩戴设备的运动相关联的方向，确定经编码的与所述兴趣图像相关联的数据的发送顺序。
6.如权利要求1所述的方法，还包括：
在按所确定的顺序发送与所述兴趣图像相关联的数据的至少一部分之后接收指示所述兴趣图像的内容的优先级的优先级区分指令；
基于所述优先级区分指令，确定与所述兴趣图像相关联的数据的发送的新顺序；以及
按所述新顺序发送经编码的与所述兴趣图像相关联的数据。
7.一种发送器，包括：
一个或多个计算设备；以及
存储器，被配置为存储指令，所述指令能够由所述一个或多个计算设备执行来使得所述一个或多个计算设备：
接收指示与可佩戴设备相关联的兴趣图像的信息，其中所述兴趣图像在所述可佩戴设备的视野内；
接收指示所述兴趣图像的内容的优先级的优先级区分指令；
基于指示所述兴趣图像的信息和优先级区分指令，确定与所述兴趣图像相关联的数据的发送顺序；
基于所确定的顺序在时间帧槽中发送经编码的数据，使得具有第一优先级的与所述兴趣图像有关的数据在第一时间帧槽中被发送，然后具有第二优先级的与所述兴趣图像有关的数据在第二时间帧槽中被发送，其中所述第一优先级高于所述第二优先级；
在随后的时间帧槽中按所确定的顺序逐步地发送与所述兴趣图像有关的额外数据，直到与所述兴趣图像相关联的数据的发送完成为止，或者直到从所述可佩戴设备接收到对数据的另一请求为止；以及
通过对被分配用来对每个时间帧槽的数据进行编码的时间进行控制来维持基本上恒定的数据传送速率。
8.如权利要求7所述的发送器，其中，所述指令能够由所述一个或多个计算设备执行来使得所述一个或多个计算设备：
接收指示所述可佩戴设备的位置的信息；以及
基于所述可佩戴设备的位置，确定经编码的与所述兴趣图像相关联的数据的发送顺序。
9.如权利要求7所述的发送器，其中，所述指令能够由所述一个或多个计算设备执行来使得所述一个或多个计算设备：
接收指示与所述可佩戴设备相关联的注视方向的信息；以及
基于与所述可佩戴设备相关联的注视方向，确定经编码的与所述兴趣图像相关联的数据的发送顺序。
10.如权利要求7所述的发送器，其中，所述指令能够由所述一个或多个计算设备执行来使得所述一个或多个计算设备：
接收指示与由所述可佩戴设备捕捉到的音频相关联的位置的信息；以及
基于与由所述可佩戴设备捕捉到的音频相关联的位置，确定经编码的与所述兴趣图像相关联的数据的发送顺序。
11.如权利要求7所述的发送器，其中，所述指令能够由所述一个或多个计算设备执行来使得所述一个或多个计算设备：
接收指示与所述可佩戴设备的运动相关联的方向的信息；以及
基于与所述可佩戴设备的运动相关联的方向，确定经编码的与所述兴趣图像相关联的数据的发送顺序。
12.如权利要求7所述的发送器，其中，所述指令能够由所述一个或多个计算设备执行来使得所述一个或多个计算设备：
在按所确定的顺序发送与所述兴趣图像相关联的数据的至少一部分之后接收指示所述兴趣图像的内容的优先级的优先级区分指令；
基于所述优先级区分指令，确定经编码的与所述兴趣图像相关联的数据的发送的新顺序；以及
按所述新顺序发送经编码的与所述兴趣图像相关联的数据。
CN201280040663.5A 2011-06-20 2012-06-04 用于数据的自适应传送的系统和方法 Active CN103930817B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US13/164,445 US8184069B1 (en) 2011-06-20 2011-06-20 Systems and methods for adaptive transmission of data
US13/164,445 2011-06-20
US13/453,065 2012-04-23
US13/453,065 US8471783B2 (en) 2011-06-20 2012-04-23 Systems and methods for adaptive transmission of data
PCT/US2012/040659 WO2012177378A2 (en) 2011-06-20 2012-06-04 Systems and methods for adaptive transmission of data

Publications (2)

Publication Number Publication Date
CN103930817A CN103930817A (zh) 2014-07-16
CN103930817B true CN103930817B (zh) 2017-12-05

Family

ID=46061274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280040663.5A Active CN103930817B (zh) 2011-06-20 2012-06-04 用于数据的自适应传送的系统和方法

Country Status (4)

Country Link
US (2) US8184069B1 (zh)
EP (1) EP2721599A4 (zh)
CN (1) CN103930817B (zh)
WO (1) WO2012177378A2 (zh)

Families Citing this family (154)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102668551B (zh) * 2010-02-15 2016-07-13 株式会社尼康 图像控制装置以及数字相机
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
CN102906623A (zh) 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US20120327218A1 (en) * 2011-06-21 2012-12-27 Microsoft Corporation Resource conservation based on a region of interest
WO2013093565A1 (en) 2011-12-22 2013-06-27 Nokia Corporation Spatial audio processing apparatus
US9563265B2 (en) * 2012-01-12 2017-02-07 Qualcomm Incorporated Augmented reality with sound and geometric analysis
US9733707B2 (en) 2012-03-22 2017-08-15 Honeywell International Inc. Touch screen display user interface and method for improving touch interface utility on the same employing a rules-based masking system
US9253524B2 (en) * 2012-07-20 2016-02-02 Intel Corporation Selective post-processing of decoded video frames based on focus point determination
US9423871B2 (en) * 2012-08-07 2016-08-23 Honeywell International Inc. System and method for reducing the effects of inadvertent touch on a touch screen controller
JP6054094B2 (ja) * 2012-08-17 2016-12-27 東芝メディカルシステムズ株式会社 超音波診断装置
US9128580B2 (en) 2012-12-07 2015-09-08 Honeywell International Inc. System and method for interacting with a touch screen interface utilizing an intelligent stencil mask
US9100307B2 (en) * 2012-12-11 2015-08-04 General Electric Company Systems and methods for communicating ultrasound data by adjusting compression rate and/or frame rate of region of interest mask
US10514541B2 (en) 2012-12-27 2019-12-24 Microsoft Technology Licensing, Llc Display update time reduction for a near-eye display
US10365874B2 (en) * 2013-01-28 2019-07-30 Sony Corporation Information processing for band control of a communication stream
US10110647B2 (en) * 2013-03-28 2018-10-23 Qualcomm Incorporated Method and apparatus for altering bandwidth consumption
US20140358009A1 (en) * 2013-05-30 2014-12-04 Michael O'Leary System and Method for Collecting Eye-Movement Data
US9685003B2 (en) * 2013-06-03 2017-06-20 Microsoft Technology Licensing, Llc Mixed reality data collaboration
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
RU2682798C2 (ru) * 2013-07-19 2019-03-21 Сони Корпорейшн Устройство обнаружения и способ
CN103595912B (zh) * 2013-09-30 2018-02-06 北京智谷睿拓技术服务有限公司 局部缩放的成像方法和装置
KR102087987B1 (ko) * 2013-10-04 2020-03-11 삼성전자주식회사 마스터 기기, 클라이언트 기기, 및 그에 따른 화면 미러링 방법
US9668916B2 (en) 2013-11-04 2017-06-06 Vance M. Thompson Conjunctival cover and methods therefor
CN103699219B (zh) * 2013-12-06 2017-07-14 中国科学院深圳先进技术研究院 一种智能眼镜交互系统及智能交互方法
WO2015104846A1 (en) * 2014-01-09 2015-07-16 Square Enix Holdings Co., Ltd. Method and system of creating and encoding video game screen images for transmission over a network
GB2525170A (en) 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
US9544497B2 (en) * 2014-05-21 2017-01-10 Qualcomm Incorporated System and method for determining image resolution
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
US9436007B2 (en) * 2014-08-22 2016-09-06 Hyundai Motor Company Integrated cluster and head-up display device for vehicle
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US10257494B2 (en) * 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
US9659410B2 (en) * 2014-10-21 2017-05-23 Honeywell International Inc. Low latency augmented reality display
FR3028767B1 (fr) * 2014-11-26 2017-02-10 Parrot Systeme video pour le pilotage d'un drone en mode immersif
CN113654561A (zh) 2014-12-05 2021-11-16 苹果公司 自主导航系统
US9978341B2 (en) * 2014-12-23 2018-05-22 Mediatek Inc. Visual data processing method and visual data processing system which can perform a process operation according to a gazing point
US10108832B2 (en) * 2014-12-30 2018-10-23 Hand Held Products, Inc. Augmented reality vision barcode scanning system and method
US9871967B2 (en) * 2015-01-22 2018-01-16 Huddly As Video transmission based on independently encoded background updates
US9869883B2 (en) 2015-03-11 2018-01-16 Vance M. Thompson Tear shaping for refractive correction
RU2596062C1 (ru) 2015-03-20 2016-08-27 Автономная Некоммерческая Образовательная Организация Высшего Профессионального Образования "Сколковский Институт Науки И Технологий" Способ коррекции изображения глаз с использованием машинного обучения и способ машинного обучения
CN104767992A (zh) * 2015-04-13 2015-07-08 北京集创北方科技有限公司 头戴式显示系统及影像低频宽传输方法
KR102313485B1 (ko) * 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
US11269403B2 (en) * 2015-05-04 2022-03-08 Disney Enterprises, Inc. Adaptive multi-window configuration based upon gaze tracking
EP3104621B1 (en) * 2015-06-09 2019-04-24 Wipro Limited Method and device for dynamically controlling quality of a video
US10133443B2 (en) 2015-06-14 2018-11-20 Google Llc Systems and methods for smart home automation using a multifunction status and entry point icon
USD812076S1 (en) 2015-06-14 2018-03-06 Google Llc Display screen with graphical user interface for monitoring remote video camera
USD803241S1 (en) 2015-06-14 2017-11-21 Google Inc. Display screen with animated graphical user interface for an alert screen
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
CN106303404A (zh) * 2015-06-29 2017-01-04 北京智谷睿拓技术服务有限公司 可视化内容传输控制方法、发送方法、及其装置
CN106412384A (zh) * 2015-07-31 2017-02-15 展讯通信（上海）有限公司 一种视频处理系统
US11340698B2 (en) 2015-10-30 2022-05-24 University Of Massachusetts System and methods for evaluating images and other subjects
KR101782582B1 (ko) * 2015-12-04 2017-09-28 카페24 주식회사 아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템
JP6798106B2 (ja) * 2015-12-28 2020-12-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN114143495A (zh) 2016-01-05 2022-03-04 瑞尔D斯帕克有限责任公司 多视角图像的注视校正
US10643381B2 (en) * 2016-01-12 2020-05-05 Qualcomm Incorporated Systems and methods for rendering multiple levels of detail
WO2017138458A1 (ja) * 2016-02-09 2017-08-17 株式会社ソニー・インタラクティブエンタテインメント 映像表示システム
US10291910B2 (en) * 2016-02-12 2019-05-14 Gopro, Inc. Systems and methods for spatially adaptive video encoding
US10475370B2 (en) 2016-02-17 2019-11-12 Google Llc Foveally-rendered display
US10540007B2 (en) * 2016-03-04 2020-01-21 Rockwell Collins, Inc. Systems and methods for delivering imagery to head-worn display systems
CN105824419B (zh) * 2016-03-18 2018-12-11 苏州佳世达电通有限公司 穿戴装置交互系统及穿戴装置交互方法
US10460704B2 (en) 2016-04-01 2019-10-29 Movidius Limited Systems and methods for head-mounted display adapted to human visual mechanism
EP3440495A1 (en) * 2016-04-08 2019-02-13 Google LLC Encoding image data at a head mounted display device based on pose information
EP3236306A1 (en) * 2016-04-20 2017-10-25 Hexkraft GmbH A method for rendering a 3d virtual reality and a virtual reality equipment for implementing the method
US10657674B2 (en) 2016-06-17 2020-05-19 Immersive Robotics Pty Ltd. Image compression method and apparatus
WO2017214671A1 (en) * 2016-06-17 2017-12-21 Immersive Robotics Pty Ltd Image compression method and apparatus
GB2556017A (en) * 2016-06-21 2018-05-23 Nokia Technologies Oy Image compression method and technical equipment for the same
GB2551526A (en) 2016-06-21 2017-12-27 Nokia Technologies Oy Image encoding method and technical equipment for the same
CN105979224A (zh) * 2016-06-23 2016-09-28 青岛歌尔声学科技有限公司 一种头戴显示器、视频输出设备和视频处理方法、系统
CN105892061A (zh) * 2016-06-24 2016-08-24 北京国承万通信息科技有限公司 显示装置及方法
CN106060544B (zh) * 2016-06-29 2020-04-28 华为技术有限公司 一种图像编码方法、相关设备及系统
US10805592B2 (en) * 2016-06-30 2020-10-13 Sony Interactive Entertainment Inc. Apparatus and method for gaze tracking
WO2018004934A1 (en) * 2016-06-30 2018-01-04 Sony Interactive Entertainment Inc. Apparatus and method for capturing and displaying segmented content
USD882583S1 (en) 2016-07-12 2020-04-28 Google Llc Display screen with graphical user interface
GB2553086B (en) * 2016-07-20 2022-03-02 V Nova Int Ltd Decoder devices, methods and computer programs
US10438318B2 (en) * 2016-08-30 2019-10-08 Intel IP Corporation Blind spot rendering optimizations for eye tracking head mounted displays
US10353220B2 (en) 2016-10-17 2019-07-16 Vance M. Thompson Tear shaping for refractive correction
KR102277438B1 (ko) 2016-10-21 2021-07-14 삼성전자주식회사 단말 장치들 간의 멀티미디어 통신에 있어서, 오디오 신호를 송신하고 수신된 오디오 신호를 출력하는 방법 및 이를 수행하는 단말 장치
US11238290B2 (en) 2016-10-26 2022-02-01 Google Llc Timeline-video relationship processing for alert events
USD843398S1 (en) 2016-10-26 2019-03-19 Google Llc Display screen with graphical user interface for a timeline-video relationship presentation for alert events
US10386999B2 (en) 2016-10-26 2019-08-20 Google Llc Timeline-video relationship presentation for alert events
US10757221B2 (en) * 2016-10-28 2020-08-25 International Business Machines Corporation Rendering a portion of an image corresponding to an interest of a user
US10564715B2 (en) * 2016-11-14 2020-02-18 Google Llc Dual-path foveated graphics pipeline
KR102633595B1 (ko) 2016-11-21 2024-02-05 삼성전자주식회사 디스플레이장치 및 그 제어방법
EP3548987A4 (en) * 2016-12-01 2020-05-20 Shanghai Yunyinggu Technology Co., Ltd. ZONE-BASED DISPLAY DATA PROCESSING AND TRANSMISSION
US10121337B2 (en) * 2016-12-30 2018-11-06 Axis Ab Gaze controlled bit rate
EP3579941A4 (en) 2017-02-08 2020-10-28 Immersive Robotics Pty Ltd ANTENNA CONTROL FOR COMMUNICATION BETWEEN MOBILE DEVICES
KR102606976B1 (ko) * 2017-02-15 2023-11-29 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 데이터 송수신 방법
CN106851249A (zh) * 2017-03-30 2017-06-13 联想(北京)有限公司 图像处理方法及显示设备
US10506255B2 (en) * 2017-04-01 2019-12-10 Intel Corporation MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video
US10728616B2 (en) * 2017-04-19 2020-07-28 Intel Corporation User interest-based enhancement of media quality
CN107105333A (zh) * 2017-04-26 2017-08-29 电子科技大学 一种基于视线追踪技术的vr视频直播交互方法与装置
US10979685B1 (en) 2017-04-28 2021-04-13 Apple Inc. Focusing for virtual and augmented reality systems
WO2018200993A1 (en) 2017-04-28 2018-11-01 Zermatt Technologies Llc Video pipeline
US10819921B2 (en) 2017-05-25 2020-10-27 Google Llc Camera assembly having a single-piece cover element
US10972685B2 (en) 2017-05-25 2021-04-06 Google Llc Video camera assembly having an IR reflector
US10683962B2 (en) 2017-05-25 2020-06-16 Google Llc Thermal management for a compact electronic device
WO2018223179A1 (en) 2017-06-05 2018-12-13 Immersive Robotics Pty Ltd Digital content stream compression
CN109040740A (zh) * 2017-06-08 2018-12-18 瑞鼎科技股份有限公司 虚拟现实显示系统及显示驱动装置
CN107333119A (zh) 2017-06-09 2017-11-07 歌尔股份有限公司 一种显示数据的处理方法和设备
GB2577024B (en) * 2017-06-09 2022-08-03 Displaylink Uk Ltd Using headset movement for compression
CN107239144B (zh) 2017-06-09 2020-02-07 歌尔股份有限公司 一种设备的输入方法和装置
US10861142B2 (en) * 2017-07-21 2020-12-08 Apple Inc. Gaze direction-based adaptive pre-filtering of video data
ES2967691T3 (es) 2017-08-08 2024-05-03 Reald Spark Llc Ajuste de una representación digital de una región de cabeza
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
WO2019066704A1 (en) * 2017-09-26 2019-04-04 Dozero Tech Ab METHOD IN IMAGE COMPRESSION DEVICE AND IMAGE DECOMPRESSION DEVICE
JP7314798B2 (ja) * 2017-10-16 2023-07-26 ソニーグループ株式会社 撮像装置、画像処理装置、及び、画像処理方法
TW201935927A (zh) 2017-11-21 2019-09-01 澳大利亞商伊門斯機器人控股有限公司 用於影像壓縮之頻率分量選擇
US11153604B2 (en) * 2017-11-21 2021-10-19 Immersive Robotics Pty Ltd Image compression for digital reality
GB2568690A (en) * 2017-11-23 2019-05-29 Nokia Technologies Oy Method for adaptive displaying of video content
US10949947B2 (en) 2017-12-29 2021-03-16 Intel Corporation Foveated image rendering for head-mounted display devices
US11017575B2 (en) 2018-02-26 2021-05-25 Reald Spark, Llc Method and system for generating data to provide an animated visual representation
GB2573271B (en) 2018-03-27 2022-04-06 Displaylink Uk Ltd Data transmission to mobile devices
US10678067B2 (en) 2018-04-06 2020-06-09 Vance M. Thompson Tear shaping for refractive correction
US10721510B2 (en) 2018-05-17 2020-07-21 At&T Intellectual Property I, L.P. Directing user focus in 360 video consumption
US10482653B1 (en) 2018-05-22 2019-11-19 At&T Intellectual Property I, L.P. System for active-focus prediction in 360 video
US10827225B2 (en) 2018-06-01 2020-11-03 AT&T Intellectual Propety I, L.P. Navigation for 360-degree video streaming
EP3804347B1 (en) * 2018-06-04 2023-10-25 Boe Technology Group Co., Ltd. A method for processing image data with reduced transmission bandwidth for display
US11637885B2 (en) * 2018-06-07 2023-04-25 Motorola Solutions, Inc. System and method for sending and rendering an image by a device based on receiver's context
KR102634348B1 (ko) * 2018-08-23 2024-02-07 현대자동차주식회사 차량 디스플레이 제어 장치, 그를 포함한 시스템 및 그 방법
CN116980967A (zh) * 2018-09-28 2023-10-31 苹果公司 基于无线通信信道带宽条件的电子设备内容提供调节
CN110972202B (zh) 2018-09-28 2023-09-01 苹果公司 基于无线通信信道带宽条件的移动设备内容提供调节
CN109302602A (zh) * 2018-10-11 2019-02-01 广州土圭垚信息科技有限公司 一种基于视焦点预测的自适应vr无线传输方法
CN109432779B (zh) * 2018-11-08 2022-05-17 北京旷视科技有限公司 难度调整方法、装置、电子设备及计算机可读存储介质
JP7445653B2 (ja) 2018-11-09 2024-03-07 ベックマン コールター， インコーポレイテッド 選択的データ提供を備えた修理グラス
US10939139B2 (en) * 2018-11-29 2021-03-02 Apple Inc. Adaptive coding and streaming of multi-directional video
US11983959B2 (en) 2019-04-18 2024-05-14 Beckman Coulter, Inc. Securing data of objects in a laboratory environment
US11956295B2 (en) 2019-09-27 2024-04-09 Apple Inc. Client-end enhanced view prediction for multi-view video streaming exploiting pre-fetched data and side information
TWI827874B (zh) * 2019-11-05 2024-01-01 宏達國際電子股份有限公司 顯示系統
CN110853566B (zh) * 2019-11-29 2023-06-13 京东方科技集团股份有限公司 一种硅基驱动背板的驱动方法及显示装置
IL275163B (en) * 2020-06-04 2022-07-01 Elbit Systems Ltd System and method for displaying scene information
CN111711811B (zh) * 2020-06-29 2022-09-13 京东方科技集团股份有限公司 Vr图像处理方法、装置、系统、vr设备及存储介质
US11567567B2 (en) * 2020-11-12 2023-01-31 Varjo Technologies Oy Encoders, methods and display apparatuses incorporating gaze-directed compression ratios
CN114935971B (zh) * 2021-02-05 2024-08-20 京东方科技集团股份有限公司 显示装置和显示驱动方法
CN114630182B (zh) * 2022-02-28 2024-07-23 海信视像科技股份有限公司 一种虚拟现实视频的播放方法及设备
US20230306553A1 (en) * 2022-03-23 2023-09-28 International Business Machines Corporation Mitigating compression induced loss of information in transmitted images

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737012A (en) * 1994-12-01 1998-04-07 Olympus Optical Co., Ltd. Head mounted image display apparatus and image forming apparatus related thereto
JPH08234141A (ja) 1994-12-01 1996-09-13 Olympus Optical Co Ltd 頭部装着型映像表示装置
DE69515838T2 (de) 1995-01-30 2000-10-12 International Business Machines Corp., Armonk Prioritätsgesteuerte Übertragung von Multimedia-Datenströmen über eine Fernmeldeleitung
US6252989B1 (en) 1997-01-07 2001-06-26 Board Of The Regents, The University Of Texas System Foveated image coding system and method for image bandwidth reduction
US6028608A (en) 1997-05-09 2000-02-22 Jenkins; Barry System and method of perception-based image generation and encoding
US6009435A (en) 1997-11-21 1999-12-28 International Business Machines Corporation Progressive compression of clustered multi-resolution polygonal models
US6329986B1 (en) 1998-02-21 2001-12-11 U.S. Philips Corporation Priority-based virtual environment
US6891973B1 (en) 1998-03-20 2005-05-10 Mitsubishi Electronic Corporation Lossy/lossless region-of-interest image coding
JP2955561B1 (ja) 1998-05-29 1999-10-04 株式会社ディジタル・ビジョン・ラボラトリーズ ストリーム通信システム及びストリーム転送制御方法
US20030158786A1 (en) 1999-02-26 2003-08-21 Skyline Software Systems, Inc. Sending three-dimensional images over a network
AU4211000A (en) * 1999-04-08 2000-11-14 New York University Extremely high resolution foveated display
US6263022B1 (en) 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
US8032264B2 (en) 1999-12-15 2011-10-04 Automotive Technologies International, Inc. Vehicular heads-up display system
US7024046B2 (en) 2000-04-18 2006-04-04 Real Time Image Ltd. System and method for the lossless progressive streaming of images over a communication network
US6829391B2 (en) 2000-09-08 2004-12-07 Siemens Corporate Research, Inc. Adaptive resolution system and method for providing efficient low bit rate transmission of image data for distributed applications
US7206804B1 (en) 2000-11-10 2007-04-17 Sharp Laboratories Of America, Inc. Methods and systems for transmitting digital images
US7839926B1 (en) 2000-11-17 2010-11-23 Metzger Raymond R Bandwidth management and control
US6474816B2 (en) 2000-12-29 2002-11-05 Intel Corporation Integrated retinal display
EP1461907B1 (en) * 2001-11-28 2013-01-16 Millennial Net Network protocol for an ad hoc wireless network
US7324695B2 (en) 2002-03-18 2008-01-29 Seimens Medical Solutions Usa, Inc. Prioritized image visualization from scalable compressed data
US7010169B2 (en) * 2002-04-15 2006-03-07 Sbc Technology Resources, Inc. Multi-point predictive foveation for bandwidth reduction of moving images
FI114679B (fi) 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa
US7194000B2 (en) 2002-06-21 2007-03-20 Telefonaktiebolaget L.M. Ericsson Methods and systems for provision of streaming data services in an internet protocol network
US7116833B2 (en) 2002-12-23 2006-10-03 Eastman Kodak Company Method of transmitting selected regions of interest of digital video data at selected resolutions
DE10309165A1 (de) 2003-02-28 2004-09-16 Siemens Ag Medizinische Systemarchitektur zur interaktiven Übertragung und progressiven Darstellung von komprimierten Bilddaten
JP4111926B2 (ja) 2004-03-09 2008-07-02 株式会社リコー 画像処理装置、プログラム、記憶媒体及び画像送信方法
US20060007056A1 (en) 2004-07-09 2006-01-12 Shu-Fong Ou Head mounted display system having virtual keyboard and capable of adjusting focus of display screen and device installed the same
US7734119B2 (en) 2004-09-21 2010-06-08 General Electric Company Method and system for progressive multi-resolution three-dimensional image reconstruction using region of interest information
US7501995B2 (en) 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
US7738684B2 (en) * 2004-11-24 2010-06-15 General Electric Company System and method for displaying images on a PACS workstation based on level of significance
US7624918B2 (en) 2005-02-04 2009-12-01 Philip Morris Usa Inc. Wireless identification based display
JP2006229538A (ja) 2005-02-17 2006-08-31 Fuji Xerox Co Ltd 画像処理システム、画像処理方法及びそのプログラム
DE602005017376D1 (de) 2005-06-27 2009-12-10 Honda Res Inst Europe Gmbh Räumliche Annäherung und Objekterkennung für humanoiden Roboter
US7810750B2 (en) 2006-12-13 2010-10-12 Marcio Marc Abreu Biologically fit wearable electronics apparatus and methods
AU2007223300A1 (en) 2006-01-27 2007-09-13 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
US7996495B2 (en) 2006-04-06 2011-08-09 General Electric Company Adaptive selection of image streaming mode
GB0607726D0 (en) * 2006-04-19 2006-05-31 Setred Ab High speed display shutter
US20080037880A1 (en) 2006-08-11 2008-02-14 Lcj Enterprises Llc Scalable, progressive image compression and archiving system over a low bit rate internet protocol network
US7793228B2 (en) 2006-10-13 2010-09-07 Apple Inc. Method, system, and graphical user interface for text entry with partial word display
US20080186254A1 (en) 2007-02-01 2008-08-07 Simmons Craig L Portable heads-up display system for cellular telephones
US8089522B2 (en) 2007-09-07 2012-01-03 Regents Of The University Of Minnesota Spatial-temporal multi-resolution image sensor with adaptive frame rates for tracking movement in a region of interest
US8792916B2 (en) 2008-01-14 2014-07-29 Blackberry Limited Dynamic prioritization of label downloads
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US20100050221A1 (en) 2008-06-20 2010-02-25 Mccutchen David J Image Delivery System with Image Quality Varying with Frame Rate
US8867622B2 (en) 2008-08-14 2014-10-21 Broadcom Corporation Method and system for priority-based digital multi-stream decoding
US7850306B2 (en) 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US8669941B2 (en) 2009-01-05 2014-03-11 Nuance Communications, Inc. Method and apparatus for text entry
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
KR20110035609A (ko) 2009-09-30 2011-04-06 삼성전자주식회사 움직임 감지 장치 및 방법
CN102906623A (zh) 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容

Also Published As

Publication number Publication date
CN103930817A (zh) 2014-07-16
US20120319928A1 (en) 2012-12-20
EP2721599A4 (en) 2014-11-26
WO2012177378A3 (en) 2013-02-21
US8471783B2 (en) 2013-06-25
EP2721599A2 (en) 2014-04-23
US8184069B1 (en) 2012-05-22
WO2012177378A2 (en) 2012-12-27

Similar Documents

Publication Publication Date Title
CN103930817B (zh) 用于数据的自适应传送的系统和方法
Hu et al. Virtual reality: A survey of enabling technologies and its applications in IoT
JP7415931B2 (ja) 画像周辺領域内のリアルタイム圧縮による画像表示制御
US20220094981A1 (en) Image Compression For Digital Reality
JP6444886B2 (ja) ニアアイ・ディスプレイのディスプレイ更新時間の低減
KR102349716B1 (ko) 영상 공유 방법 및 이를 수행하는 전자 장치
CN104641278B (zh) 用于基于焦距而确定显示的信息的表示的方法和装置
US20210258555A1 (en) Motion smoothing in a distributed system
JP2015525365A (ja) 表示情報のフォーカス補正を行う方法および装置
US11064387B1 (en) Adaptive wireless transmission schemes
US20200097068A1 (en) Method and apparatus for providing immersive reality content
JP2018522430A (ja) ユーザヘッドセットへの球状ビデオ帯域幅を減少させる方法および装置
WO2018221211A1 (ja) 画像処理装置および方法、ファイル生成装置および方法、並びにプログラム
EP3654240A1 (en) Image processing apparatus and control method thereof
KR102437276B1 (ko) 바디 움직임 기반의 클라우드 vr 장치 및 방법
EP4245032A1 (en) Encoders, methods and display apparatuses incorporating gaze-directed compression
KR20210138484A (ko) 깊이 맵 복구를 위한 시스템 및 방법
US20240205294A1 (en) Resilient rendering for augmented-reality devices
US20210058611A1 (en) Multiviewing virtual reality user interface
KR20240110663A (ko) 분산형 그래픽 디스플레이 시스템에서 기하학적 형상 및 색상의 압축 인식 전치 왜곡
US11767022B2 (en) Apparatus for controlling augmented reality, method of implementing augmented reality by using the apparatus, and system of implementing augmented reality by including the apparatus
US20240107086A1 (en) Multi-layer Foveated Streaming
US12015758B1 (en) Holographic video sessions
US11823002B1 (en) Fast data accessing system using optical beacons
US11343567B1 (en) Systems and methods for providing a quality metric for media content

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: Google limited liability company

Address before: American California

Patentee before: Google Inc.