CN101933082B - 基于用户图像数据的显示器观看者运动补偿方法和系统 - Google Patents

基于用户图像数据的显示器观看者运动补偿方法和系统 Download PDF

Info

Publication number
CN101933082B
CN101933082B CN2008801178220A CN200880117822A CN101933082B CN 101933082 B CN101933082 B CN 101933082B CN 2008801178220 A CN2008801178220 A CN 2008801178220A CN 200880117822 A CN200880117822 A CN 200880117822A CN 101933082 B CN101933082 B CN 101933082B
Authority
CN
China
Prior art keywords
user
input picture
display device
display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008801178220A
Other languages
English (en)
Other versions
CN101933082A (zh
Inventor
斯科特·J·戴利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN101933082A publication Critical patent/CN101933082A/zh
Application granted granted Critical
Publication of CN101933082B publication Critical patent/CN101933082B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/007—Use of pixel shift techniques, e.g. by mechanical shift of the physical pixels or by optical shift of the perceived pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供了用于补偿观看者相对于显示设备的运动的系统和方法。使用诸如传感器或摄像机等检测设备来检测观看者相对于显示设备的移动。当使用摄像机时，在两个或更多图像中检测面部特征。据此，可以基于用户相对于摄像机的位置改变来确定用户的运动。然后根据检测的移动，来计算对当前观看到的图像进行调整所需的必要补偿。然后将该计算的补偿应用于当前观看的图像，以产生运动补偿图像。

Description

基于用户图像数据的显示器观看者运动补偿方法和系统
技术领域
本发明涉及用于修改显示图像以补偿观看者的头部与显示器之间的相对运动的方法和系统。
背景技术
移动显示器逐步用于观察视频。当前，移动显示器的质量(在像素维度、对比度、色域以及比特深度方面)典型地低于诸如LCD电视等固定显示器。然而，在一些应用中，与较小移动显示器所增加的方便性相比，由于这些劣势而引起的质量下降是可接受的。尽管移动显示器的质量和性能在快速提高，它们的大小是它们可携带性的根本因素，并始终小于固定设备的大小。这些移动显示器的小尺寸通常导致较小的视野，视野可以用视度(visual degree)来量化。观看距离也可以影响视野，并且变化的观看距离对观看质量有不利的影响。
移动显示器的重要且频繁应用是在交通运输期间观看图像和视频内容。这可以在公交车、地铁、火车、飞机或其他车辆上上下班或旅行时发生。甚至车辆的操作员可以使用移动或紧凑车载显示器用于导航和车辆状况评估。较小显示器通常用于汽车和飞机导航和仪表。在这些交通应用中，通常存在用户相对于显示器的大量移动。这通常是由于不规则的路面或大气状况而导致的，这使得用户相对于车辆和/或显示器拥挤和颠簸。这种移动通常导致不期望和非周期性的振动或随机晃动，这使得视频和图像享用变得困难。
在交通运输期间，出于很多原因可能很难看到显示器。由于运动模糊可能“抹掉”细节(高空间频率)。这是由显示器与眼睛之间的相对运动、并结合眼睛的时间响应而引起的。多边缘也能够引起对整个图像的不期望掩蔽(masking)。晃动的显示器可以包含由于跳阅的眼睛移动引起的多个边缘，由于相对运动这些边缘没有处于它们预期的位置。晕车(船)也能够影响视频质量。这是由眼睛移动和耳朵的前庭管之间的失配引起的。在旅行时享用视频通常还导致头痛。这是由过度矫正眼睛移动和可能的运动模糊以及多边缘因素而产生的。
发明内容
本发明的一些实施例包括用于修改显示图像以补偿观看者头部与显示器之间的相对运动的方法和系统。在一些实施例中，可以使用位于用户头部以及显示设备上的传感器，来测量用户与显示器之间的相对运动。根据这些实施例，提供了一种用于显示运动补偿图像的方法，包括步骤：
a)接收用户头部的坐标；
b)接收显示设备的坐标；
c)使用接收到的坐标来计算所述用户头部相对于所述显示设备的相对位置；
d)使用所述计算的相对位置来计算用户运动特性；
e)接收输入图像；以及
f)通过沿着与所述计算的用户运动特性有关的方向，相对于所述显示设备移动所述输入图像，来修改所述输入图像，从而创建修改的输入图像。
提供了一种基于传感器输入来显示运动补偿图像的相应系统。该系统包括以下组件：
a)头部位置传感器，用于指示用户的头部位置坐标；
b)显示器位置传感器，用于指示所述显示设备的显示器位置坐标；
c)相对位移部分，用于接收(i)来自所述头部位置传感器的所述头部位置坐标，以及(ii)来自所述显示器位置传感器的所述显示器位置坐标，并根据所述接收到的坐标计算相对位移值；
d)运动特性计算器，用于使用利用所述相对位移部分计算的所述相对位移值，来计算用户运动特性；
e)图像接收器，用于接收输入图像；以及
f)图像修改器，用于通过沿着与所述用户运动特性有关的方向，相对于所述显示设备移动所述输入图像，来修改所述输入图像，从而创建修改的输入图像。
在其他实施例中，可以使用显示设备上的一个或多个成像设备(例如，摄像机)来跟踪观看者，并确定观看者与显示器的相对位置。在这些实施例中，提供了一种包括以下步骤的方法：
a)利用成像设备捕获显示设备的用户的第一用户图像；
b)识别所述第一用户图像中的用户面部特征；
c)根据所述用户面部特征来计算相对于所述显示设备的第一用户位置；
d)利用所述成像设备捕获所述显示设备的所述用户的第二用户图像；
e)识别所述第二用户图像中的所述用户面部特征；
f)根据所述用户面部特征来计算相对于所述显示设备的第二用户位置；
g)使用所述第一用户位置和所述第二用户位置来计算用户运动特性；
h)接收输入图像；以及
i)通过沿着与所述用户运动特性有关的方向，相对于所述显示设备移动所述输入图像，来修改所述输入图像，从而创建修改的输入图像。
此外，提供了一种基于来自成像设备的图像来显示运动补偿图像的相应系统。该系统包括以下组件：
a)成像设备，用于捕获所述显示设备的用户的用户图像；
b)面部特征或面部指示符识别器，用于识别所述用户图像中的用户面部特征或面部指示符；
c)用户位置计算器，用于使用所述用户面部特征或面部指示符识别器来计算相对于所述显示设备的用户位置；
d)运动特性计算器，用于使用利用所述用户位置计算器所计算的多个所述用户位置，来计算用户运动特性；
e)图像接收器，用于接收输入图像；
f)图像修改器，用于通过沿着与所述用户运动特性有关的方向，相对于所述显示设备移动所述输入图像，来修改所述输入图像，从而创建修改的输入图像；以及
g)滤波器，用于对所述修改的输入图像进行滤波，以补偿图像模糊。
结合附图，在考虑本发明的以下详细描述时，本发明的上述和其他目的、特征和优点将更容易理解。
附图说明
图1是示出了显示器观看者和示例传感器位置的图；
图2是示出了包括位置补偿和滤波在内的本发明示例性实施例的图；
图3是示出了包括图像扩大、位置补偿以及图像滤波在内的本发明示例性实施例的图；
图4是示出了包括软孔径(soft aperture)处理在内的本发明示例性实施例的图；
图5是示出了具有用于观看者跟踪的内置摄像机的示例显示设备的图；
图6是示出了具有用于观看者跟踪的多个内置成像设备的示例显示设备的图；
图7是示出了包括基于捕获图像中识别的面部特征计算用户运动特性在内的示例性实施例的图；
图8是示出了包括应用运动补偿空间逆滤波器在内的示例性实施例的图；
图9是示出了包括结合关于图2描述的实施例的图像捕获、面部特征识别、以及用户面部位置数据计算在内的示例性实施例的图；
图10是示出了包括结合关于图3描述的实施例的图像捕获、面部特征识别、以及用户面部位置数据计算在内的示例性实施例的图；
图11是示出了包括结合关于图4描述的实施例的图像捕获、面部特征识别、以及用户面部位置数据计算在内的示例性实施例的图；以及
图12是示出了用于图像捕获、面部特征识别以及用户面部位置数据计算以产生滤波、运动补偿图像的系统的组件的图。
具体实施方式
参照附图将更好地理解本发明的实施例，其中，贯穿附图，类似的部件由类似的数字表示。以上所列附图清楚地合并为该详细描述的一部分。
容易理解，如这里在附图中一般性描述和示意的那样，本发明的组件能够按照各种不同配置来布置和设计。因此，以下本发明的方法和系统实施例的更详细描述并不是要限制本发明的范围，而是仅代表本发明的当前优选实施例。
本发明实施例的元件可以以硬件、固件和/或软件(程序)来体现。可以将固件和/或软件(程序)存储在计算机可读介质上。而这里揭示的示例性实施例仅描述这些形式之一，应当理解，本领域技术人员能够以这些形式中的任何形式来实现这些元件，而同时落在本发明的范围内。
本发明的实施例可以大大降低由于移动显示器的非周期性振动而引起的视觉效果。一些实施例可以加宽移动显示器的视野。一些实施例可以包括用于一些运动补偿的缩放(zooming)技术。
本发明的实施例可以包括位置感应技术以补偿显示图像，使得其相对位置在视觉视野中更为稳定地保持。尽管这些方法创建了视觉上更稳定的图像，显示器的边界可能仍然受到非周期性振动的影响。这能够导致显示器周围的模糊或云状边界。
可以关于图1描述本发明的一些实施例。这些实施例可以包括头部位置传感器2和显示器位置传感器4。在一些实施例中，头部位置传感器2可以是发送器，显示器位置传感器4可以是接收器。在其他实施例中，显示器位置传感器4可以包括发送器，头部位置传感器2可以包括接收器。在一些实施例中，传感器2和4均可以包括收发器。在一些实施例中，头部传感器2和显示器传感器4可以或者向另一设备发送信号或者从另一设备接收信号，并可以进行相对于另一设备的位置测量。在一些实施例中，传感器2和4可以与卫星进行通信，或者进行相对于卫星的测量。在一些实施例中，传感器2和4可以进行相对于由第三设备产生的电磁场的测量。
一些实施例可以包括用于测量一个传感器2或4相对于另一传感器2或4的相对位置的仪器。在一些实施例中，可以动态测量传感器2和4的相对位置。典型地，头部位置传感器2位于用户头部上。在一些实施例中，头部位置传感器2可以附着至或集成至音频耳机、头盔、眼镜或其他头戴设备。在一些实施例中，显示器位置传感器4可以附着至或集成至显示器或显示设备。
在一些实施例中，传感器2和4可以测量位置和取向。
本发明的一些实施例可以包括头部位置传感器2和显示器位置传感器4之间的无线通信链路。一些实施例可以包括头部位置传感器2和显示器位置传感器4之间的有线连接。在一些实施例中，可以将有线连接嵌入在用户的衣服中。
在一些实施例中，传感器2和4的时间响应可以与显示器图像刷新率匹配。在一些这样的实施例中，时间响应和刷新率可以是60Hz。在一些实施例中，传感器2和4的位置精度在一个像素维度内。在其他实施例中，位置精度可以是高于显示器像素维度或多个显示器像素维度。在一些实施例中，传感器2和4之间通信链路的范围至少为1米。
本发明的示例性实施例可以包括以下规范：
●无线通信
●在30cm范围为0.038mm分辨率
●7.4x4x2cm传感器2
●6.4x3.6x3.6cm传感器4
●188Hz
●0.254cm静态精度
●5ms等待时间(～1/3视频帧)
当然，一些实施例可以包括不同的规范和特性。在一些实施例中，传感器单元可以小得多，并且在一些实施例中，可以使用MEMS加速度计来减小尺寸。在一些实施例中，可以使用多个头部和/或身体传感器来检测观看者位置和取向。在一些实施例中，传感器可以检测多个身体要素和特性的运动和位置。在一些实施例中，可以跟踪观看者的头部、颈部、肩部以及其他身体部位。在一些实施例中，可以跟踪面部移动和状况来确定观看者的疲劳、斜视、眼睛疲劳以及其他观看者特性。在一些实施例中，可以测量、跟踪观看者眼睛位置、移动以及其他特性(例如，视网膜特性、瞳孔扩大以及其他特性)，并用于图像修改，以改善观看者图像消费。
在本发明的一些实施例中，可以将源图像处理成具有比显示器更大的维度。在一些实施例中，可以在QVGA显示器上显示VGA图像。在其他实施例中，可以在SDTV显示器上显示HDTV信号。在其他实施例中，出于实现本发明实施例的方面的目的，可以将与目标显示器相比具有相同或较小尺寸和分辨率的图像按比例缩放、上采样或外推(extrapolate)成较大尺寸。在一些实施例中，可以将比显示器大的图像存储在缓冲器中。
在本发明的一些实施例中，可以相对于显示器建立坐标系统。水平和垂直维度可以与显示器的平面内维度相对应，并且“z”维度可以与显示器的平面垂直。在这些实施例中，可以响应于用户的头部相对于显示器的移动，相对于水平和垂直轴移动或平移比显示器大的图像。在一些实施例中，可以响应于用户的头部相对于显示器沿着z轴的移动，在显示器上实现缩放功能。在一些实施例中，从物理位置变化至以像素为单位的图像移动的转换可以实现为纯粹的矫正，而无需计算。
在一些实施例中，可以对输入图像进行处理或以其他方式进行缩放，以超过显示器大小一定量，该一定量与用户的头部和显示器之间移动的量成比例。可以在图像显示之前的时间段内对该移动进行确定或采样，以确定要存储在缓冲器中的图像的大小。对于视频应用，一定数量先前帧或场所需的图像大小的统计采样可以用于确定存储视频帧或场的大小。
在包括液晶显示器(LCD)和其他技术的本发明实施例中，显示器上图像数据的快速移动可能导致运动模糊。这是由于显示器的保持型模糊和/或时间响应引起的模糊。在一些实施例中，这可以通过执行运动补偿逆空间滤波处理来校正。在这些实施例中，可以通过图像相对于显示器的空间移动来补偿运动。典型地，这是整个帧的全局运动，以补偿晃动分量。因此，模糊在整个图像上具有相同幅度，并且可以根据运动速度和方向利用逆空间滤波器进行补偿。在一些实施例中，该逆空间滤波器可以实现为针对给定视频帧的1-D滤波器，但是其取向可以改变。
在一些实施例中，该滤波处理可以包括以下步骤中的一个或多个：
●计算空间宽度
●计算幅度的形状
●计算全局运动矢量的取向
●计算1-D取向逆空间滤波器
●应用逆空间滤波器以移除空间模糊
本发明的一些实施例可以包括软孔径处理。具有围绕显示区域的锐利边缘的显示器受到随机晃动或振动时，该显示器可能遭受显示器质量降低。晃动显示器会导致围绕显示图像的多个可见显示边缘。同样，当响应于用户的头部和显示器之间的相对运动而移动或平移图像时，显示边界相对于图像“移动”，并能够引起出现多个边缘。通过使用软孔径可以至少部分校正该效应。软孔径处理在显示器的边界周围分配像素条，来用作过渡区，以使显示器的硬边缘(hard edge)变柔和。这可以通过在显示器边界区域中显示如下图像来进行：所述图像从显示图像过渡到近似围绕显示器的设备边缘的颜色和/或亮度的图像。例如，具有围绕其显示器的黑色边缘的设备可以使用在其外边界过渡至黑色的软孔径。作为另一示例，具有围绕其显示器的亮金属或白色边缘的设备可以使用软孔径来过渡至白色。类似地，具有彩色显示器边缘的彩色显示设备可以使用彩色软孔径。可以在环境照明的情况下进行软孔径颜色与围绕显示器的设备边缘的匹配。
在一些实施例中，软孔径的大小或范围可以根据用户的头部和显示设备之间的移动幅度而变化。例如，当出现高幅度振动时，软孔径的宽度可以增加。
可以关于图2描述本发明的一些实施例。在这些实施例中，接收(S20)头部至显示器的相对位置。如上所述，这可以通过位于用户头部和显示器上的位置传感器来计算。在一些实施例中，可以利用显示器中测量用户头部相对位置的传感器，或者利用附着至用户头部、测量显示器相对位置的传感器，来确定头部位置。也可以使用其他方法来确定用户头部相对于显示器的相对位置。还可以接收输入图像21。在一些实施例中，输入图像21可以是视频帧或场。在一些实施例中，可以将头部的相对位置与先前头部位置数据进行比较，以确定头部相对于先前头部位置的相对移动。可以使用相对头部位置(S20)来确定位置补偿处理(S24)。在一些实施例中，位置补偿处理(S24)可以包括：沿着用户头部位置的方向相对于显示器移动图像。在一些实施例中，位置补偿处理(S24)可以包括缩放功能。在其他实施例中，位置补偿处理(S24)可以包括上述其他补偿方法或与用户头部位置、移动方向、速度、加速度或其他特性有关的其他方法。
在一些实施例中，也可以计算(S23)全局速度。可以基于当前相对头部位置和先前相对头部位置来计算全局速度。也可以接收或计算显示器的时间响应参数22。可以将时间响应参数22和在(S23)中计算的全局速度输入至滤波处理(S25)。滤波处理可以包括滤波器的产生和/或应用，以补偿运动相关模糊和/或由显示响应约束或者其他显示特性引起的显示模糊。在一些实施例中，滤波处理(S25)可以包括运动补偿空间逆滤波。在这些实施例中，输入图像21由位置补偿处理(S24)进行修改，以补偿头部位置，然后由滤波处理(S25)进行滤波，以补偿运动相关和/或显示相关模糊以及其他效应。这些处理的结果是补偿图像26。
可以参照图3描述本发明的一些实施例。在这些实施例中，也可以接收输入图像32。在一些实施例中，输入图像32可以是视频帧或场。也可以接收显示特性31。基于显示特性31和输入图像32特性，可以由图像修改处理(S34)扩大输入图像，或以另外方式对输入图像进行修改。在一些实施例中，当图像足够大时，图像修改处理(S34)不需要对输入图像进行修改，并且可以简单地将图像传递至位置补偿处理(S36)。在其他实施例和情况中，图像修改处理(S34)可以对图像进行上采样、缩放或外推，来为图像缓冲器提供足够数据，该图像缓冲器大于相关显示。
在一些实施例中，也可以接收(S30)头部至显示器的相对位置。如上所述，这可以通过位于用户头部和显示器上的位置传感器来计算。在一些实施例中，可以利用显示器中测量用户头部相对位置的传感器，或者利用附着至用户头部、测量显示器相对位置的传感器，来确定头部位置。也可以使用其他方法来确定用户头部相对于显示器的相对位置。在一些实施例中，可以将头部的相对位置与先前头部位置数据进行比较，来确定头部相对于先前头部位置的相对移动。可以使用相对头部位置(S30)来确定位置补偿处理(S36)。在一些实施例中，位置补偿处理(S36)可以包括：沿着用户头部位置的方向相对于显示器移动图像。在一些实施例中，位置补偿处理(S36)可以包括缩放功能。在其他实施例中，位置补偿处理(S36)可以包括上述其他补偿方法或者与用户头部位置、移动方向、速度、加速度或其他特性有关的其他方法。
在一些实施例中，也可以计算(S35)全局速度。可以基于当前相对头部位置和先前相对头部位置来计算全局速度。也可以接收或计算显示器的时间响应参数33。可以将时间响应参数33和在(S35)中计算的全局速度输入至滤波处理(S37)。滤波处理可以包括滤波器的产生和/或应用，以补偿运动相关模糊和/或由显示响应约束或者其他显示特性引起的显示模糊。在一些实施例中，滤波处理(S37)可以包括运动补偿空间逆滤波。在这些实施例中，输入图像32可以由图像修改处理(S34)修改为足够的图像大小，由位置补偿处理(S36)进行修改以补偿头部位置，然后由滤波处理(S37)进行滤波以补偿运动相关和/或显示相关模糊以及其他效应。这些处理的结果是补偿图像38。
可以参照图4描述本发明的一些实施例。在这些实施例中，也可以接收输入图像42，该输入图像42是要利用M×N的像素维度来显示的图像。在一些实施例中，输入图像42可以是视频帧或场。在一些实施例中，也可以接收或计算(S44)头部至显示器的相对位置。如上所述，这可以通过位于用户头部和显示器上的位置传感器来计算。在一些实施例中，可以利用显示器中测量用户头部相对位置的传感器，或者利用附着至用户头部、测量显示器相对位置的传感器，来确定头部位置。在一些实施例中，可以从头部位置传感器2(头部指示器(marker))接收头部位置坐标40，即，X、Y和Z坐标。在一些实施例中，可以从显示器位置传感器4(显示器指示器)接收显示器位置坐标41，即，X、Y和Z坐标。如上所述，相对于显示器的坐标系统的示例具有显示器平面内的X和Y轴，而Z轴垂直于显示器平面。利用这些坐标，可以计算(S44)位置相对位移ΔX、ΔY和ΔZ。也可以使用其他方法来确定用户头部相对于显示器的相对位置。在一些实施例中，可以将头部的相对位置与先前头部位置数据进行比较，以确定头部相对于先前头部位置的相对移动。可以使用(S44)中计算的相对头部位置来确定位置补偿处理(S45)。在一些实施例中，位置补偿处理(S45)可以包括：沿着用户头部位置的方向相对于显示器移动图像。在一些实施例中，位置补偿处理(S45)可以包括缩放功能。在其他实施例中，位置补偿处理(S45)可以包括上述其他补偿方法或与用户头部位置、移动方向、速度、加速度或其他特性有关的其他方法。
在本发明的一些实施例中，可以监控观看者头部和显示器之间的距离。当头部至显示器的距离改变时，显示器可以执行缩放功能以补偿距离改变。在一些实施例中，缩放处理可以与用户头部与显示器之间距离的改变成比例。
在一些实施例中，也可以计算(S46)全局速度。可以基于当前相对头部位置和先前相对头部位置来计算(S46)中计算的全局速度。也可以接收或计算显示器的时间响应参数43。可以将时间响应参数43和(S43)中计算的全局速度输入至滤波处理(S47)。滤波处理可(S47)以包括滤波器的产生和/或应用，以补偿运动相关模糊和/或由显示器响应约束或者其他显示特性引起的显示模糊。在一些实施例中，滤波处理(S47)可以包括运动补偿空间逆滤波。
本发明的一些实施例可以包括软孔径处理(S48)。在这些实施例中，将围绕显示器外围的像素区域分配为软孔径，其中，图像过渡至显示器边缘的外观，从而消除或减少了围绕显示器的硬边缘。
在这些实施例中，输入图像42可以由位置补偿处理(S45)进行修改以补偿头部位置，然后由滤波处理(S47)进行滤波以补偿运动相关和/或显示相关模糊和其他效应。然后可以对修改和滤波后的图像应用软孔径处理(S48)。这些处理的结果是具有像素维度K×L的振动补偿图像49。可以实现以下结果：K×L＜M×N，但是其他结果也是可接受的。
本发明的一些实施例可以包括成像设备，该成像设备可用于跟踪观看者的特征，并确定观看者相对于显示器的位置。这些实施例可以包括面部跟踪、注视跟踪或其他算法，这些算法识别观看者特征，并监控这些特征的改变以检测观看者相对于显示设备的相对运动。
在一些实施例中，可以使用面部检测或面部特征检测方法。这些方法可以包括基于特征的方法，其中，可以基于特征形状、相对位置、其他几何形状以及其他特性来检测面部特征如眼睛、嘴巴以及鼻子。可以识别和跟踪一组面部特征，以检测观看者相对于显示设备的运动。在一些实施例中，可以确定和跟踪眼睛特征、鼻子特征、嘴巴特征以及面部形状特征中的一个或多个。在一些实施例中，可以确定这些特征之间的关系。在一些实施例中，该关系可以是几何关系。在一些实施例中，该关系可以是相对距离度量或相对角关系，或其组合。在一些实施例中，可以使用特征形状或特征形状的特性来识别和跟踪观看者相对于显示设备的相对位置。
在一些实施例中，面部或面部特征检测还可以包括基于运动的方法，其中，对连续图像帧进行评估以找到帧之间的运动。一些实施例可以对不同图像中找到的形状或特征进行评估，并且跟踪这些形状或特征，以估计观看者相对于显示设备的运动。
在一些实施例中，面部或面部特征检测和跟踪可以包括基于颜色的方法。在这些实施例中，可以检测到具有肤色的对象。在一些实施例中，可以使用肤色对象的大小、形状以及颜色特性。
在一些实施例中，可以使用基于特征的方法、基于运动的方法以及基于颜色的方法的组合，来检测和跟踪一个或多个面部特征。
可以参照图5描述本发明的一些实施例。在这些实施例中，显示设备54可以包括用于向用户52显示内容的显示器58。显示设备54还可以包括或连接至成像设备56，例如摄像机。在一些实施例中，成像设备56可以集成至或物理连接至显示设备54，使得成像设备56保持与显示设备54的固定位置关系。这样，成像设备56相对于显示设备54的相对位置是已知且固定的。在其他实施例中，成像设备56可以在物理上与显示设备54分离，并具有相对于显示设备54的变化位置，但是可以利用传感器(例如，以上针对上述实施例中的头部位置传感器和显示器位置传感器所描述的传感器)跟踪其与显示设备54的相对位置。也可以使用其他方法来跟踪成像设备56与显示设备54的相对位置。
可以参照图6描述本发明的一些实施例。在这些实施例中，显示设备60可以包括用于向用户52显示内容的显示器63。显示设备60还可以包括或连接至多个成像设备61和62，例如摄像机。在一些实施例中，成像设备61和62可以集成至或物理连接至显示设备60，使得成像设备61和62保持与显示设备60的固定位置关系。这样，成像设备61和62相对于显示设备60的相对位置是已知且固定的。在其他实施例中，成像设备61和62可以在物理上与显示设备60分离，并且具有相对于显示设备60的变化位置，但是可以利用传感器(例如，以上针对在上述实施例中的头部位置传感器和显示器位置传感器所描述的传感器)跟踪其与显示设备60的相对位置。也可以使用其他方法来跟踪成像设备61和62与显示设备60的相对位置。
可以参照图7描述本发明的一些实施例的要素。在这些实施例中，与显示设备有关的成像设备可以捕获(S70)显示设备用户的第一用户图像。该图像典型地包括用户的头部和面部的视图。也可以在与第一用户图像不同的时间捕获(S71)第二用户图像。在一些实施例中，可以同时捕获第一组用户图像，并可以在其他时间捕获另一组用户图像。
在捕获用户图像之后，可以在以第一时间间隔捕获的第一用户图像中识别(S72)用户面部特征或面部指示符。这些面部特征或面部指示符可以与特征形状、大小、颜色、位置以及其他特性有关。在一些实施例中，可以使用以下专利中描述的方法来识别和跟踪面部特征或面部指示符：Daly于2000年9月13日提交的题为“Method for AdaptingQuantization in Video Coding Using Face Detection and VisualEccentricity Weighting”的美国专利No.7,181,050，Qian于1999年1月14日提交的题为“Method for Robust Human Face Tracking in Presence ofMultiple Persons”的美国专利No.6,404,900，以及Daly于1998年3月31日提交的题为“Method for Adapting Quantization in Video Coding UsingFace Detection and Visual Eccentricity Weighting”的美国专利No.6,173,069，其全部内容通过引用合并于此。也可以在第二用户图像中识别(S73)这些相同的面部特征或面部指示符。
一旦在不同时间捕获的至少两个用户图像中识别出了面部特征或面部指示符，就可以计算(S74)在图像捕获时间之间的时间间隔期间的用户运动特性。用户运动特性可以包括用户速度、用户加速度、用户运动矢量、用户运动方向、或与用户和显示设备之间的相对运动有关的其他运动特性。在一些实施例中，用户运动特性可以包括实质上与显示设备的显示表面的平面平行的平面中的二维分量。在一些实施例中，用户运动特性可以包括三维分量，该三维分量包括与用户和显示设备之间的距离有关的要素。
在一些实施例中，可以通过使用同时从不同视角捕获的多个用户图像，来确定沿着用户和显示设备之间的方向的用户运动。这可以利用图6所示具有多个成像设备孔径61和62的设备或者通过其他方法来执行。这些实施例可以包括立体方法。
在一些实施例中，用户面部特征或面部指示符与用户输入和加速度计数据相组合，可以用来检测相对于显示设备的用户运动。在这些实施例中，可以在用户进行输入(例如，键盘、手写笔、触摸屏或其他输入)时，捕获用户图像。在这些实施例中，输入指示用户面对显示器，并且图像可以用作进一步运动计算的基础。然后可以使用从用户图像捕获时刻开始的加速度计数据来确定用户位置。在一些实施例中，加速度或加速度计数据的积分可以获得速度，并且速度的积分可以获得位置数据。因此，基本用户图像和后续加速度计数据可以用于跟踪用户运动特性如用户位置。
当确定了用户运动特性时，可以响应于用户运动特性来修改(S75)输入图像。在一些实施例中，修改(S75)可以包括沿着与用户运动特性的方向实质上平行的方向移动图像。在一些实施例中，当用户沿着相对于显示器的方向移动时，可以沿着用户移动的方向来移动所显示的图像。在一些实施例中，输入图像修改可以包括缩放功能，其中，响应于沿着用户和显示设备之间的方向的用户移动，在放大和缩小状况下显示所显示的图像。在一些实施例中，输入图像修改(S75)可以包括运动补偿空间逆滤波。
可以参照图8描述本发明的一些实施例。在这些实施例中，捕获(S80、S81)第一用户图像和第二用户图像，并且在每个用户图像中分别识别(S82)和(S83)用户面部特征。然后，根据两个或多个用户图像之间所识别的面部特征的运动，来计算(S84)用户运动特性。基于用户运动特性，可以对输入图像进行修改(S85)，以适应用户运动。在一些实施例中，该修改(S85)可以包括：移动在显示设备上显示的输入图像，以适应平行于显示面板平面的用户运动。在一些实施例中，该修改(S85)可以包括：对图像执行缩放功能，以适应垂直于显示面板平面的用户运动。
在一些实施例中，也可以对输入图像应用运动补偿空间逆滤波(S86)。在一些实施例中，也可以对图像的外围应用软孔径效果(S87)。在一些实施例中，可以用与图像显示面板周围的显示设备颜色匹配的颜色，来创建软孔径效果(S87)。在一些实施例中，软孔径效果(S87)的宽度可以与用户运动特性的幅度成比例地改变。
可以关于图9描述本发明的一些实施例的方面。在这些实施例中，通过从成像设备捕获(S90)的用户图像，来确定头部至显示器的相对位置。可以在这些图像中识别(S97)用户的面部特征，并且可以基于所识别的面部特征来计算(S99)用户面部或头部位置。也可以确定用户图像的捕获时间之间的时间间隔，并且使用该位置和定时数据来计算(S93)全局速度。
也可以接收输入图像91。在一些实施例中，输入图像91可以是视频帧或场。在一些实施例中，可以将头部的相对位置与来自一个或多个先前用户图像的先前头部位置数据进行比较，以确定头部相对于先前头部位置的相对移动。在(S99)中计算的相对头部位置可以用于确定位置补偿处理(S94)。在一些实施例中，位置补偿处理(S94)可以包括：沿着用户头部位置的方向相对于显示器移动图像。在一些实施例中，位置补偿处理(S94)可以包括缩放功能。在其他实施例中，位置补偿处理(S94)可以包括上述其他补偿方法或者与用户头部位置、移动方向、速度、加速度或其他特性有关的其他方法。
在一些实施例中，也可以计算(S93)全局速度。可以基于当前相对头部位置和先前相对头部位置来计算全局速度。也可以接收或计算显示器的时间响应参数92。可以将时间响应参数92和在(S93)中计算的全局速度输入至滤波处理(S95)。滤波处理可以包括滤波器的产生和/或应用，以补偿运动相关模糊和/或由显示器响应约束或者其他显示特性引起的显示模糊。在一些实施例中，滤波处理(S95)可以包括运动补偿空间逆滤波。在这些实施例中，输入图像91由位置补偿处理(S94)进行修改以补偿头部位置，然后由滤波处理(S95)进行滤波以补偿运动相关和/或显示相关模糊以及其他效应。这些处理的结果是补偿图像96。
可以参照图10描述本发明的一些实施例。在这些实施例中，也可以接收输入图像102。在一些实施例中，输入图像102可以是视频帧或场。也可以接收显示特性101。基于显示特性101和输入图像102特性，可以由图像修改处理(S104)扩大输入图像，或以另外方式对输入图像进行修改。在一些实施例中，当图像足够大时，图像修改处理(S104)不需要对输入图像进行修改，并且可以简单地将图像传递至位置补偿处理(S106)。在其他实施例和情况中，图像修改处理(S104)可以对图像进行上采样、缩放或外推，来为图像缓冲器提供足够数据，该图像缓冲器大于相关显示。
在一些实施例中，通过从成像设备捕获(S100)的用户图像，来确定头部至显示器的相对位置。可以在这些图像中识别(S109)用户面部特征，并且可以基于识别的面部特征来计算(S110)用户面部或头部位置。也可以确定用户图像的捕获时间之间的时间间隔，并且基于该位置和定时数据来计算(S103)全局速度。
在(S110)中计算的相对头部位置可以用于确定位置补偿处理(S106)。在一些实施例中，位置补偿处理(S106)可以包括：沿着用户头部位置的方向相对于显示器移动图像。在一些实施例中，位置补偿处理(S106)可以包括缩放功能。在其他实施例中，位置补偿处理(S106)可以包括上述其他方法或者与用户头部位置、移动方向、速度、加速度或其他特性有关的其他方法。
也可以接收或计算显示器的时间响应参数105。可以将时间响应参数105和在(S103)中计算的全局速度输入至滤波处理(S107)。滤波处理可以包括滤波器的产生和/或应用，以补偿运动相关模糊和/或由显示器响应约束或者其他显示特性引起的显示模糊。在一些实施例中，滤波处理(S107)可以包括运动补偿空间逆滤波。在这些实施例中，输入图像102可以由图像修改处理(S104)修改为足够的图像大小，由位置补偿处理(S106)进行修改以补偿头部位置，然后由滤波处理(S107)进行滤波以补偿运动相关和/或显示相关模糊以及其他效应。这些处理的结果是补偿图像108。
可以参照图11描述本发明的一些实施例。在这些实施例中，也可以接收输入图像122，该输入图像122是要利用M×N的像素维度显示的图像。在一些实施例中，输入图像122可以是视频帧或场。
在一些实施例中，通过从成像设备捕获(S120)的用户图像，来确定头部至显示器的相对位置。可以在这些图像中识别(S121)用户面部特征，并且可以基于识别的面部特征来计算(S124)用户面部或头部位置(ΔX、ΔY、以及ΔZ)。也可以确定用户图像的捕获时间之间的时间间隔，并且可以基于该位置和定时数据来计算126全局速度。
在(S124)中计算的面部/头部位置数据可以用于确定位置补偿处理(S125)。在一些实施例中，位置补偿处理(S125)可以包括：沿着用户头部位置的方向相对于显示器移动图像。在一些实施例中，位置补偿处理(S125)可以包括缩放功能。在其他实施例中，位置补偿处理(S125)可以包括上述其他补偿方法或者与用户头部位置、移动方向、速度、加速度或其他特性有关的其他方法。
在本发明的一些实施例中，可以监控用户头部和显示器之间的距离。当头部至显示器的距离改变时，显示器可以执行缩放功能，以补偿距离改变。在一些实施例中，缩放处理可以与用户头部和显示器之间距离的改变成比例。
在一些实施例中，也可以计算(S126)全局速度。可以基于当前相对头部位置和先前相对头部位置来计算(S126)中计算的全局速度。也可以接收或计算显示器的时间响应参数123。可以将时间响应参数123和(S126)中计算的全局速度输入至滤波处理(S127)。滤波处理可(S127)以包括滤波器的产生和/或应用，以补偿运动相关模糊和/或由显示器响应约束或者其他显示特性引起的显示模糊。在一些实施例中，滤波处理(S127)可以包括运动补偿空间逆滤波。
本发明的一些实施例可以包括软孔径处理(S128)。在这些实施例中，将围绕显示器外围的像素区域分配为软孔径，其中，图像过渡至显示器边缘的外观，从而消除或减少了围绕显示器的硬边缘。
在这些实施例中，输入图像122可以由位置补偿处理(S125)进行修改以补偿头部位置或移动，然后由滤波处理(S127)进行滤波以补偿运动相关和/或显示器相关模糊和其他效应。然后可以对修改和滤波后的图像应用软孔径处理(S128)。这些处理的结果是具有像素维度K×L的补偿图像129。可以实现以下结果：K×L＜M×N，但是其他结果也是可接受的。
图12中可见用于实现上述实施例的系统142。系统142包括：成像设备130，用于捕获使用显示设备的用户的图像。成像设备130可以集成至或物理连接至显示设备，使得成像设备130保持与显示设备的固定位置关系。成像设备130的示例是摄像机。
在以下描述中，用于产生滤波、运动补偿图像的部分位于显示设备内。然而，对于本领域技术人员应当清楚的是，可以在与该显示设备分离的另一设备中实现这些部分中的一些或全部。
一旦成像设备130捕获到用户图像，将这些图像发送至面部特征或面部指示符识别部分131，该部分131从图像中识别用户的面部特征或面部指示符。如上所述，面部特征的一些示例是能够基于特征形状、相对位置、其他几何形状以及其他特性检测到的眼睛、嘴巴以及鼻子。
接着，用户位置计算器部分132接收面部特征或面部指示符识别，并计算相对于显示设备的用户位置。一旦已经基于两个或多个用户图像计算出多个用户位置值，将这些用户位置值传递至运动特性计算器部分133。该部分使用这多个用户位置值来计算用户运动特性。
经由图像接收器135接收输入图像134。在一些实施例中，输入图像134可以是视频帧或场。
然后将用户运动特性以及接收到的图像发送至图像修改器部分136，该部分136基于用户运动特性对接收到的图像进行修改。图像的修改可以包括：沿着由用户运动特性所指示的用户头部位置的方向相对于显示器移动图像。在一些实施例中，修改可以包括缩放功能。在其他实施例中，修改可以包括上述其他补偿方法或者与用户头部位置、移动方向、速度、加速度或其他特性有关的其他方法。
然后，可以将修改后的输入图像发送至滤波器部分139，该滤波器部分139可以产生和/或应用滤波器，以补偿运动相关模糊和/或由显示器响应约束或其他显示特性引起的显示模糊。滤波可以包括运动补偿空间逆滤波操作。此外，可以基于用户的当前相对头部位置以及先前相对头部位置来计算全局速度137。也可以接收或计算显示器的时间响应138。滤波可以基于显示器时间响应138和/或图像相对于显示设备的显示器的全局速度137中的任何一个。
此外，可以存在软孔径处理器140，该软孔径处理器140用于在已经对修改后的输入图像进行滤波之后向该图像应用软孔径区域。软孔径的大小或范围可以相对于用户头部和显示设备之间的移动幅度而改变。例如，当出现高幅度振动时，可以增加软孔径的宽度。可以在环境照明的情况下，进行软孔径颜色与围绕显示器的设备边缘的匹配。
然后将最后的修改图像输出至显示器141，供用户观看。
备选地，可以使得指示用户头部位置的头部位置传感器与指示显示设备位置的显示器位置传感器替代成像设备130。在这种情况下，相对位移部分接收来自头部位置传感器的头部位置坐标以及来自显示器位置传感器的显示器位置坐标，并且计算它们之间的相对位移值。这一旦完成，将相对位移值发送至运动特性计算器部分133，该部分133基于该值来计算用户运动特性。然后，如上所述，图像修改器部分136基于用户运动特性对接收到的图像进行修改。
这样描述了本发明，显而易见的是，可以根据许多方式来改变本发明。这样的变化不应视为与本发明的精神和范围背离，对于本领域技术人员显而易见的是，所有这样的修改应当包括在所附权利要求的范围内。

Claims (15)

1.一种用于显示运动补偿图像的方法，所述方法包括：
(a)利用成像设备捕获显示设备的用户的第一用户图像；
(b)识别所述第一用户图像中的用户面部特征；
(c)根据所述用户面部特征来计算相对于所述显示设备的第一用户位置；
(d)利用所述成像设备捕获所述显示设备的所述用户的第二用户图像；
(e)识别所述第二用户图像中的所述用户面部特征；
(f)根据所述用户面部特征来计算相对于所述显示设备的第二用户位置；
(g)使用所述第一用户位置和所述第二用户位置来计算用户运动特性；
(h)接收输入图像；以及
(i)通过沿着与所述用户运动特性有关的方向，相对于所述显示设备移动所述输入图像，来修改所述输入图像，从而创建修改的输入图像；
(j)对所述修改的图像进行滤波，以补偿由于显示器时间响应而引起的图像模糊，从而创建滤波、修改的输入图像；以及
(k)向所述滤波、修改的输入图像应用软孔径区域，其中，所述软孔径区域的范围随着所述用户运动特性的幅度而改变。
2.根据权利要求1所述的方法，还包括：响应于指示所述用户的头部沿着所述显示设备的方向运动的所述用户运动特性，利用缩放操作来修改所述输入图像。
3.根据权利要求1所述的方法，其中，所述滤波包括运动补偿空间逆滤波操作。
4.根据权利要求1所述的方法，还包括：将所述输入图像扩大至比所述显示设备的显示器的尺寸大的尺寸。
5.根据权利要求1所述的方法，其中，所述滤波基于显示器时间响应参数。
6.根据权利要求1所述的方法，其中，所述滤波基于所述修改的输入图像相对于所述显示设备的全局速度。
7.根据权利要求1所述的方法，其中，所述软孔径区域包括：将所述软孔径区域中的颜色与所述显示设备上的显示器周围的显示设备颜色进行匹配。
8.一种用于显示运动补偿图像的方法，所述方法包括：
(a)接收用户头部的坐标；
(b)接收显示设备的坐标；
(c)使用接收到的坐标来计算所述用户头部相对于所述显示设备的相对位置；
(d)使用所述计算的相对位置来计算用户运动特性；
(e)接收输入图像；以及
(f)通过沿着与所述计算的用户运动特性有关的方向，相对于所述显示设备移动所述输入图像，来修改所述输入图像，从而创建修改的输入图像；
(g)对所述修改的输入图像进行滤波以补偿图像模糊；以及
(h)向所述输入图像应用软孔径区域，其中，所述软孔径区域的范围随着所述用户运动特性的幅度而改变。
9.一种用于利用显示设备来显示运动补偿图像的系统，所述系统包括：
(a)成像设备，用于捕获所述显示设备的用户的用户图像；
(b)面部特征或面部指示符识别器，用于识别所述用户图像中的用户面部特征或面部指示符；
(c)用户位置计算器，用于使用所述用户面部特征或面部指示符识别器，来计算相对于所述显示设备的用户位置；
(d)运动特性计算器，用于使用利用所述用户位置计算器所计算的多个所述用户位置，来计算用户运动特性；
(e)图像接收器，用于接收输入图像；
(f)图像修改器，用于通过沿着与所述用户运动特性有关的方向，相对于所述显示设备移动所述输入图像，来修改所述输入图像，从而创建修改的输入图像；以及
(g)滤波器，用于对所述修改的输入图像进行滤波，以补偿图像模糊；以及
(h)软孔径处理器，用于向所述输入图像应用软孔径区域，其中，由所述软孔径处理器应用的所述软孔径区域的范围随着用户的头部相对于所述显示设备的位置改变的幅度而改变。
10.根据权利要求9所述的系统，其中，所述图像修改器还响应于利用所述用户运动特性确定的所述用户的头部和所述显示设备之间的距离，利用缩放操作来修改所述输入图像。
11.根据权利要求9所述的系统，其中，所述滤波包括运动补偿空间逆滤波操作。
12.根据权利要求9所述的系统，其中，所述滤波基于显示器时间响应。
13.根据权利要求9所述的系统，其中，所述滤波基于所述修改的输入图像相对于所述显示设备的全局速度。
14.根据权利要求9所述的系统，其中，所述软孔径处理器将所述软孔径区域中的颜色与环境照明情况下显示器壳体颜色进行匹配。
15.一种用于利用显示设备显示运动补偿图像的系统，所述系统包括：
(a)头部位置传感器，用于指示用户的头部位置坐标；
(b)显示器位置传感器，用于指示所述显示设备的显示器位置坐标；
(c)相对位移部分，用于接收(i)来自所述头部位置传感器的所述头部位置坐标，以及(ii)来自所述显示器位置传感器的所述显示器位置坐标，并根据所述接收到的坐标计算相对位移值；
(d)运动特性计算器，用于使用利用所述相对位移部分计算的所述相对位移值，来计算用户运动特性；
(e)图像接收器，用于接收输入图像；以及
(f)图像修改器，用于通过沿着与所述用户运动特性有关的方向，相对于所述显示设备移动所述输入图像，来修改所述输入图像，从而创建修改的输入图像；
(g)滤波器，用于对所述修改的输入图像进行滤波，以补偿图像模糊；以及
(h)软孔径处理器，用于向所述输入图像应用软孔径区域，其中，由所述软孔径处理器应用的所述软孔径区域的范围随着用户的头部相对于所述显示设备的位置改变的幅度而改变。
CN2008801178220A 2007-11-30 2008-11-28 基于用户图像数据的显示器观看者运动补偿方法和系统 Expired - Fee Related CN101933082B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/948,959 2007-11-30
US11/948,959 US7903166B2 (en) 2007-02-21 2007-11-30 Methods and systems for display viewer motion compensation based on user image data
PCT/JP2008/072109 WO2009069832A1 (en) 2007-11-30 2008-11-28 Methods and systems for display viewer motion compensation based on user image data

Publications (2)

Publication Number Publication Date
CN101933082A CN101933082A (zh) 2010-12-29
CN101933082B true CN101933082B (zh) 2013-03-27

Family

ID=40678713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801178220A Expired - Fee Related CN101933082B (zh) 2007-11-30 2008-11-28 基于用户图像数据的显示器观看者运动补偿方法和系统

Country Status (3)

Country Link
US (1) US7903166B2 (zh)
CN (1) CN101933082B (zh)
WO (1) WO2009069832A1 (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8050496B2 (en) * 2007-01-09 2011-11-01 Sharp Laboratories Of America, Inc. Color gamut mapping/enhancement technique using skin color detection
JP5538667B2 (ja) * 2007-04-26 2014-07-02 キヤノン株式会社 位置姿勢計測装置及びその制御方法
US8040320B2 (en) * 2007-11-05 2011-10-18 Eldad Shemesh Input device and method of operation thereof
EP2065795A1 (en) * 2007-11-30 2009-06-03 Koninklijke KPN N.V. Auto zoom display system and method
TWI380277B (en) * 2007-12-28 2012-12-21 Altek Corp Anti-vibration system and method for display device
US8131319B2 (en) * 2008-01-17 2012-03-06 Sony Ericsson Mobile Communications Ab Active display readability enhancement for mobile devices depending on movement
US8217964B2 (en) * 2008-02-14 2012-07-10 Nokia Corporation Information presentation based on display screen orientation
BRPI0917133B1 (pt) * 2008-08-22 2021-03-02 Sony Corporation dispositivo de exibição de imagem, método de controle, e, meio de armazenamento legível por computador
WO2010060211A1 (en) * 2008-11-28 2010-06-03 Nortel Networks Limited Method and apparatus for controling a camera view into a three dimensional computer-generated virtual environment
KR101296900B1 (ko) * 2009-01-07 2013-08-14 엘지디스플레이 주식회사 입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치
JP2010176170A (ja) * 2009-01-27 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
US8320623B2 (en) * 2009-06-17 2012-11-27 Lc Technologies, Inc. Systems and methods for 3-D target location
US8976986B2 (en) 2009-09-21 2015-03-10 Microsoft Technology Licensing, Llc Volume adjustment based on listener position
CN102044034A (zh) * 2009-10-22 2011-05-04 鸿富锦精密工业（深圳）有限公司 商品型录展示系统及方法
CN102053775A (zh) * 2009-10-29 2011-05-11 鸿富锦精密工业（深圳）有限公司 图像显示系统及方法
US8416277B2 (en) * 2009-12-10 2013-04-09 Apple Inc. Face detection as a metric to stabilize video during video chat session
US9661232B2 (en) * 2010-08-12 2017-05-23 John G. Posa Apparatus and method providing auto zoom in response to relative movement of target subject matter
US8760517B2 (en) 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
US20120169594A1 (en) * 2010-12-30 2012-07-05 Motorola-Mobility, Inc. Electronic device and method for backlight control
US8682388B2 (en) 2010-12-31 2014-03-25 Motorola Mobility Llc Mobile device and method for proximity detection verification
TW201239644A (en) * 2011-03-24 2012-10-01 Hon Hai Prec Ind Co Ltd System and method for dynamically adjusting font size on screen
TW201239869A (en) * 2011-03-24 2012-10-01 Hon Hai Prec Ind Co Ltd System and method for adjusting font size on screen
EP2505223A1 (en) * 2011-03-31 2012-10-03 Alcatel Lucent Method and device for displaying images
JP4966421B1 (ja) * 2011-03-31 2012-07-04 株式会社東芝 情報処理装置及び情報処理方法
US20120268568A1 (en) * 2011-04-19 2012-10-25 Qualcomm Innovation Center, Inc. Method and apparatus of reducing visual vibration of a mobile electronic display
US20120287031A1 (en) 2011-05-12 2012-11-15 Apple Inc. Presence sensing
CN103534664B (zh) * 2011-05-12 2016-08-31 苹果公司 存在感测
TWI427618B (zh) * 2011-06-16 2014-02-21 Hon Hai Prec Ind Co Ltd 電子裝置及其螢幕資訊調整方法
KR101303939B1 (ko) * 2011-10-17 2013-09-05 한국과학기술연구원 디스플레이 장치 및 컨텐츠 디스플레이 방법
US20130164068A1 (en) 2011-12-21 2013-06-27 Apple Inc. Bonded keyboard and method for making the same
US9158383B2 (en) 2012-03-02 2015-10-13 Microsoft Technology Licensing, Llc Force concentrator
US10629003B2 (en) 2013-03-11 2020-04-21 Magic Leap, Inc. System and method for augmented and virtual reality
US20140055339A1 (en) * 2012-08-22 2014-02-27 David Stanasolovich Adaptive visual output based on motion compensation of a mobile device
US20140063198A1 (en) * 2012-08-30 2014-03-06 Microsoft Corporation Changing perspectives of a microscopic-image device based on a viewer' s perspective
US9417666B2 (en) * 2012-10-19 2016-08-16 Microsoft Technology Licesning, LLC User and device movement based display compensation
US9245497B2 (en) * 2012-11-01 2016-01-26 Google Technology Holdings LLC Systems and methods for configuring the display resolution of an electronic device based on distance and user presbyopia
KR102458124B1 (ko) 2013-03-15 2022-10-21 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US20150177946A1 (en) * 2013-12-20 2015-06-25 Hyundai Motor Company System and method for controlling display of avn
CN104869325B (zh) 2015-05-20 2018-01-09 京东方科技集团股份有限公司 一种显示补偿方法、模块和显示装置
EP3099079A1 (en) * 2015-05-29 2016-11-30 Thomson Licensing Method for displaying, in a vehicle, a content from 4d light field data associated with a scene
US20170039993A1 (en) * 2015-08-04 2017-02-09 International Business Machines Coprporation Optimized Screen Brightness Control Via Display Recognition From a Secondary Device
US10068727B2 (en) 2015-08-04 2018-09-04 Apple Inc. Key surface lighting
US9706086B2 (en) * 2015-08-26 2017-07-11 Intel Corporation Camera-assisted display motion compensation
CN106921890A (zh) * 2015-12-24 2017-07-04 上海贝尔股份有限公司 一种用于促进设备中的视频渲染的方法和装置
US9940696B2 (en) * 2016-03-24 2018-04-10 GM Global Technology Operations LLC Dynamic image adjustment to enhance off- axis viewing in a display assembly
CN105979082A (zh) * 2016-04-29 2016-09-28 努比亚技术有限公司 信息处理方法及电子设备
CN107462989A (zh) * 2016-06-06 2017-12-12 华硕电脑股份有限公司 影像稳定方法与电子装置
KR102360412B1 (ko) * 2017-08-25 2022-02-09 엘지디스플레이 주식회사 영상 생성 방법과 이를 이용한 표시장치
GB2566276B (en) 2017-09-06 2020-07-29 Fovo Tech Limited A method of modifying an image on a computational device
GB2566280B (en) * 2017-09-06 2020-07-29 Fovo Tech Limited A method of modifying an image on a computational device
US10488874B2 (en) 2017-09-14 2019-11-26 Cnh Industrial America Llc Overhead display having multi-color indicators for indicating machine states
US10817594B2 (en) 2017-09-28 2020-10-27 Apple Inc. Wearable electronic device having a light field camera usable to perform bioauthentication from a dorsal side of a forearm near a wrist
WO2020047486A1 (en) 2018-08-31 2020-03-05 Magic Leap, Inc. Spatially-resolved dynamic dimming for augmented reality device
WO2020146760A1 (en) 2019-01-11 2020-07-16 Magic Leap, Inc. Time-multiplexed display of virtual content at various depths
GB2584894A (en) * 2019-06-20 2020-12-23 Supper Benjamin Head tracking device
US10916062B1 (en) * 2019-07-15 2021-02-09 Google Llc 6-DoF tracking using visual cues

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1913585A (zh) * 2005-06-13 2007-02-14 精工爱普生株式会社 数字视频中估算运动并补偿所感知运动模糊的方法及系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4637571A (en) 1985-09-03 1987-01-20 The United States Of America As Represented By The Secretary Of The Army Electronic image stabilization
KR100292475B1 (ko) 1993-12-08 2001-06-01 구자홍 디지탈 영상 흔들림 보상 장치
US5857122A (en) 1994-01-31 1999-01-05 Nikon Corporation Vibration compensation device for a camera and an associated visual display
US5845158A (en) 1994-08-26 1998-12-01 Nikon Corporation Camera having a motion compensation device
JP3727078B2 (ja) * 1994-12-02 2005-12-14 富士通株式会社 表示装置
JPH08328519A (ja) 1995-05-29 1996-12-13 Hitachi Ltd マルチディスプレイ用画像出力装置
JPH1069266A (ja) 1996-08-29 1998-03-10 Sanyo Electric Co Ltd 携帯型表示装置の揺れ補正方法
US6252639B1 (en) 1997-08-25 2001-06-26 Harris Corporation Vibration and shock resistant liquid crystal display and associated methods
US6317114B1 (en) * 1999-01-29 2001-11-13 International Business Machines Corporation Method and apparatus for image stabilization in display device
US6467207B1 (en) 2000-07-21 2002-10-22 Douglas Jones Display apparatus with oscillation
US6679899B2 (en) 2000-10-20 2004-01-20 Ethicon Endo-Surgery, Inc. Method for detecting transverse vibrations in an ultrasonic hand piece
GB2372683A (en) * 2001-02-23 2002-08-28 Ibm Eye tracking display apparatus
JP4387608B2 (ja) 2001-03-30 2009-12-16 矢崎総業株式会社 車両表示システム用コンバイナの支持装置
US7081870B2 (en) 2001-05-09 2006-07-25 Hewlett-Packard Development Company, L.P. Wearable display and method of displaying images using a wearable display
JP3755036B2 (ja) 2002-09-02 2006-03-15 国立大学法人大阪大学 広視野角ヘッドマウントディスプレイ装置
US20040070675A1 (en) * 2002-10-11 2004-04-15 Eastman Kodak Company System and method of processing a digital image for intuitive viewing
JP4300818B2 (ja) * 2002-11-25 2009-07-22 日産自動車株式会社 車載表示装置および携帯表示装置
JP4442112B2 (ja) * 2003-04-16 2010-03-31 ソニー株式会社 画像表示装置及び画像ぶれ防止方法
JP4296032B2 (ja) * 2003-05-13 2009-07-15 富士フイルム株式会社 画像処理装置
JP4153361B2 (ja) 2003-05-19 2008-09-24 フリースケール セミコンダクター インコーポレイテッド 画像表示装置
US7693343B2 (en) * 2003-12-01 2010-04-06 Koninklijke Philips Electronics N.V. Motion-compensated inverse filtering with band-pass filters for motion blur reduction
US20060044399A1 (en) * 2004-09-01 2006-03-02 Eastman Kodak Company Control system for an image capture device
JP2007096405A (ja) * 2005-09-27 2007-04-12 Fujifilm Corp ぶれ方向判定方法および装置ならびにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1913585A (zh) * 2005-06-13 2007-02-14 精工爱普生株式会社 数字视频中估算运动并补偿所感知运动模糊的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开平10-69266A 1998.03.10

Also Published As

Publication number Publication date
US20080199049A1 (en) 2008-08-21
US7903166B2 (en) 2011-03-08
CN101933082A (zh) 2010-12-29
WO2009069832A1 (en) 2009-06-04

Similar Documents

Publication Publication Date Title
CN101933082B (zh) 基于用户图像数据的显示器观看者运动补偿方法和系统
EP3089154B1 (en) Image processing device and image display system for pose prediction-based display
US9864192B2 (en) Image display device, computer program, and image display system
CN106657717B (zh) 一种用于在头戴式显示设备上显示图像的方法
US10353482B2 (en) Systems and methods for tracking motion and gesture of heads and eyes
US20140375816A1 (en) Vehicle Display Device with Movement Compensation
US20160282619A1 (en) Image generation apparatus and image generation method
US8120717B2 (en) Methods and systems for display viewer motion compensation
CN108762492A (zh) 基于虚拟场景实现信息处理的方法、装置、设备及存储介质
CN106663336B (zh) 图像生成装置和图像生成方法
JP2008139600A (ja) 表示装置
CN116209942A (zh) 具有应变仪计算的护目镜
CN107462989A (zh) 影像稳定方法与电子装置
US10558036B2 (en) Using oscillation of optical components to reduce fixed pattern noise in a virtual reality headset
CA2526281A1 (en) Stabilization of the effects of jitter on a displayed image
WO2021117606A1 (ja) 画像処理装置、システム、画像処理方法、および画像処理プログラム
CN208207372U (zh) 增强现实眼镜和系统
CN116205980A (zh) 一种移动空间内虚拟现实定位追踪方法及装置
US20220005225A1 (en) Systems and methods for calibrating imaging and spatial orientation sensors
JP4696825B2 (ja) 車両用死角映像表示装置
US20210239973A1 (en) Video display system, video display device, and video display method
CN104731320A (zh) 电子设备以及显示控制方法
CN110297325A (zh) 增强现实眼镜和系统及增强现实眼镜显示车上信息的方法
KR20170127183A (ko) 떨림보정이 가능한 영상표시장치
Blissing et al. A technical platform using augmented reality for active safety testing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130327

Termination date: 20181128