CN1845612A - 使用混合位置跟踪系统的三维显示装置和方法 - Google Patents

使用混合位置跟踪系统的三维显示装置和方法 Download PDF

Info

Publication number
CN1845612A
CN1845612A CNA2006100581363A CN200610058136A CN1845612A CN 1845612 A CN1845612 A CN 1845612A CN A2006100581363 A CNA2006100581363 A CN A2006100581363A CN 200610058136 A CN200610058136 A CN 200610058136A CN 1845612 A CN1845612 A CN 1845612A
Authority
CN
China
Prior art keywords
display
user
camera
display unit
change amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006100581363A
Other languages
English (en)
Other versions
CN1845612B (zh
Inventor
具宰必
金大式
车景熏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1845612A publication Critical patent/CN1845612A/zh
Application granted granted Critical
Publication of CN1845612B publication Critical patent/CN1845612B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G09G2340/145—Solving problems related to the presentation of information to be displayed related to small screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种使用混合位置跟踪系统的3D显示装置和方法以及一种显示3D图像的方法。所述3D显示装置包括：主体、显示器、照相机、第一计算部分、陀螺仪、第二计算部分和Kalman滤波器。所述显示器提供3D图像，第一计算部分基于由照相机拍摄的图像来计算显示器相对于观看位置的相对姿态改变。陀螺仪安装在主体中以检测显示器的角速度的改变。第二计算部分计算显示器的相对姿态改变，Kalman滤波器接收由第一计算部分和第二计算部分获得的计算结果以计算显示器的纠正的姿态改变量。

Description

使用混合位置跟踪系统的三维显示装置和方法
本申请要求于2005年4月8日在韩国知识产权局提交的第10-2005-0029599号韩国专利申请的优先权，该申请全部公开于此以资参考。
                         技术领域
本发明涉及一种使用混合位置跟踪系统的三维(3D)显示装置和方法，更具体地讲，涉及一种使用这样的混合位置跟踪系统的3D显示装置和方法，所述混合位置跟踪系统能够使用照相机和陀螺仪来跟踪提供3D图像的移动显示装置的姿态(方位)改变。
                         背景技术
3D图像显示装置是将具有双目视差的左眼(LE)图像和右眼(RE)图像分离并将这些图像分别提供给用户的LE和RE的装置。因此，通过在头脑中组合通过用户的双眼视网膜获得的LE图像和RE图像，用户能够观看3D图像。3D图像显示装置能够广泛应用于需要3D图像的各种领域，诸如医疗、游戏、广告、教育以及军事。
近来，随着高质量高清晰度电视(HDTV)和移动通信的发展，需要开发真实感(real-sense)类型的移动3D显示装置。移动3D显示装置可包含在蜂窝电话、个人数字助理(PDA)、平板电脑、笔记本电脑或便携式电视中。考虑到移动3D显示装置的特性，移动3D显示装置的相对位置能够相对于用户双眼的位置改变。因此，需要用于跟踪视点并在左眼(LE)图像信号和右眼(RE)图像信号之间切换的视点跟踪系统，以防止LE图像和RE图像之间的反转。
图1是使用传统技术视点跟踪系统的3D显示装置的示意图。
参照图1，3D显示装置1包括：屏幕3，用于提供RE图像信号和LE图像信号；微粒透镜(lenticular lens)5，设置在屏幕3的前面并将屏幕3上的图像的观看区分离。屏幕3包括微粒透镜屏(lenticular screen)或视差屏障，并使用微粒透镜屏和视差屏障分离对每个观看区所提供的RE图像信号和LE图像信号。微粒透镜5以多个视点分离由屏幕3分离的LE图像信号和RE图像信号，以便能够在各个位置观看这些图像信号。
因此，从屏幕3提供的3D图像在微粒透镜5被进行了观看区分离(viewing-region-separated)并导致了观看区1至8。这里，RE图像信号到达观看区1、3、5和7，LE图像信号到达观看区2、4、6和8。
因此，其RE和LE分别位于观看区1和2、观看区3和4、观看区5和6以及观看区7和8的用户能够看到从显示装置1提供的3D图像。
相反，当用户的RE和LE分别位于观看区2和3、观看区4和5以及观看区6和7时，用户通过RE看到LE图像信号并且通过LE看到RE图像信号。也就是说，其RE和LE分别位于观看区5和6的用户(用户1)能够正确地观看正常的3D图像。相反，其RE和LE分别位于观看区4和5的用户(用户2)看到左右互相反转的3D图像。
为了防止3D图像的反转，3D显示装置1包括能够跟踪眼睛的视点跟踪器7(例如，固体电荷耦合器件(CCD)照相机或红外照相机)。
因此，在用户的RE和LE分别位于观看区5和6的情况下，用户的视点被视点跟踪器7跟踪，并且如图1中所示排列的RE图像信号和LE图像信号在没有图像信号反转的情况下被提供。相反，在用户的RE和LE分别位于观看区4和5的情况下，用户的视点被视点跟踪器7跟踪，并且RE图像信号和LE图像信号被互相反转并随后被提供给用户，从而能够防止3D图像的反转。
在传统技术3D显示装置采用CCD照相机以便跟踪视点的位置的情况下，存在这样的缺点，即CCD照相机对光非常敏感。因此，难以在晚上或在较暗的室内跟踪用户视点的位置。此外，在3D显示装置采用红外照相机的情况下，存在这样的缺点，即红外照相机对除用户瞳孔之外的多种光源敏感。在这种情况下，对视点位置的跟踪可能由于阳光、从白炽灯或荧光灯发出的红外线而被干扰。
此外，与其他种类的跟踪系统相比，使用CCD/红外照相机的3D显示装置具有较慢的响应速度。因此，当发生视点的迅速移动时，对视点的跟踪极可能失败。为了克服以上缺点，需要使用具有高帧率的CCD照相机，但是在这种情况下，生产成本增加。
除照相机之外的诸如陀螺仪、加速计的惯性传感器可用作视点跟踪器。在这种情况下，惯性传感器具有高帧率并且即使当视点快速移动时也能够跟踪位置。然而，对于无加速度的移动或较慢的移动，惯性传感器具有较低的信噪比(SNR)，从而误差随时间而增加。
发明内容
本发明提供了一种使用混合位置跟踪系统的3D显示装置，所述混合位置跟踪系统既采用照相机又采用陀螺仪以便更准确地跟踪移动信息终端的姿态改变。
根据本发明的一方面，提供了一种3D显示装置，包括：主体；显示器，提供3D图像；照相机，安装在主体中并拍摄用户；第一计算部分，基于由照相机拍摄的图像来计算显示器相对于观看位置的相对姿态改变；陀螺仪，安装在主体中并检测显示器的角速度的改变；第二计算部分，基于由陀螺仪检测的角速度的改变来计算显示器相对于观看位置的相对姿态改变；和Kalman滤波器，接收由第一计算部分和第二计算部分获得的计算出的姿态改变量，并计算显示器的纠正的姿态改变量，当用户和显示器之间的相对位置改变时，用户在用户的右眼和左眼分别所在的观看区中观看左眼图像信号和右眼图像信号，而没有图像信号的反转。
第一计算部分可基于通过Bayesian分类器计算的用户双眼之间的间隔d1、通过照相机校准计算的显示器上的用户双眼之间的间隔d2和照相机的焦距f使用三角学来测量间隔(D＝f*d1/d2)，并且可基于通过照相机拍摄并在显示器上显示的用户的位移来计算显示器相对于观看位置的旋转量。
第二计算部分可通过在时间轴上对由陀螺仪检测的角速度求积分来计算显示器的旋转量。
                         附图说明
通过下面结合附图对本发明的示例性实施例进行的详细描述，本发明的以上和其他方面将会变得更加清楚，其中：
图1是使用传统技术视点跟踪系统的3D显示装置的示意图；
图2是使用根据本发明示例性实施例的混合位置跟踪系统的3D显示装置的透视图；
图3是根据本发明示例性实施例的3D显示装置的方框图；
图4是表示根据本发明示例性实施例的3D显示装置的光学排列的示图；
图5A、6A和7A是表示在图2的3D显示装置中相对于用户位置的相对旋转位置的改变的示图；
图5B、6 B和7 B是分别表示在图5A、6A和7A的情况下由3D显示装置的照相机拍摄的屏幕上的用户位置的示图；
图8A和8B是表示当主体从在X、Y和Z轴被设置为(0，0，0)的坐标旋转至任意坐标(X’，Y’，Z’)时眼睛在显示器上的位置的示意性示图；
图9是用于解释计算用户和显示器之间的间隔的方法的示图；
图10A和10B是表示使用Y轴作为旋转轴相对于用户的固定位置在X轴方向将主体旋转角度θ的示图；
图10C是表示在图10A和10B的情况下形成的观看区的示图；
图11A和11B是表示使用X轴作为旋转轴相对于用户的固定位置在Y轴方向将主体旋转角度Φ的示图；
图11C是表示在图11A和11B的情况下形成的观看区的示图；
图12A和12B是表示主体使用Z轴作为旋转轴而旋转的示图；和
图12C是表示在图12A和12B的情况下形成的观看区的示图。
                        具体实施方式
现在将参照附图对本发明进行更充分的描述，其中，本发明的示例性实施例表示在附图中。
图2是使用根据本发明示例性实施例的混合位置跟踪系统的3D显示装置的透视图，图3是根据本发明示例性实施例的3D显示装置的方框图，图4是表示根据本发明示例性实施例的3D显示装置的光学排列的示图。
参照图2至4，根据本发明示例性实施例的3D显示装置包括：主体10；显示器20；照相机30和陀螺仪40，安装在主体10中以检测显示器20相对于用户(用户1)观看位置的姿态；第一计算部分50和第二计算部分60，用于使用检测值计算姿态改变；和Kalman滤波器70。
主体10是用于提供3D图像的装置，并且在本示例性实施例中，以蜂窝电话作为其示例。主体10不局限于蜂窝电话，而是可以为各种移动显示装置(例如，个人数字助理(PDA)、平板电脑、笔记本电脑和便携式电视)。
显示器20包括：屏幕21，用于显示LE的3D图像和RE的3D图像；和观看区分离部分，用于分离显示在屏幕21上的3D图像的观看区。如图所示，所述观看区分离部分包括设置在屏幕21前面的微粒透镜25或视差屏障(未显示)，并且分离屏幕21上的左3D图像和右3D图像的观看区。由于如上所述用于实现3D图像的显示器的结构在本领域是公知的，所以省略对其的详细描述。
照相机30包括电荷耦合器件(CCD)照相机或红外照相机。照相机30安装在主体10的里面或外面，并且采集检测显示器20的姿态改变和跟踪用户的视点所需的基本信息。
也就是说，当用户握住主体10并拍摄他自己或她自己的照片时，照相机30能够如图5A、6A和7A所示改变其相对于用户的相对位置。在这种情况下，显示在显示器20上的用户图像如图5B、6B和7B所示被水平移位。
这里，图5A中所示的位置是用户眼睛的位置位于中央的情况。在这种情况下，用户能够在图4的观看区4和5中观看3D图像。图6A中所示的位置是主体10逆时针旋转的情况。在这种情况下，用户能够在图4的观看区7和8中观看3D图像。图7A中所示的位置是主体10顺时针旋转的情况。在这种情况下，用户能够在图4的观看区1和2中观看3D图像。
图8A和8B表示当主体从在X、Y和Z轴被设置为(0，0，0)的坐标旋转至任意坐标(X’，Y’，Z’)时眼睛在显示器上的位置。在这种情况下，照相机30能够通过在显示器20的屏幕上测量用户眼睛在X轴和Y轴的位移以及在X-Y轴的旋转量来测量显示器20的旋转。在这种情况下，陀螺仪40测量旋转量(滚转，偏转，俯仰)。陀螺仪40安装在主体10的里面或外面，并且检测显示器20相对于每个轴的角速度
Figure A20061005813600091
的改变并检测图像改变。
陀螺仪40是一种惯性传感器，并在X、Y和Z轴方向检测显示器20的姿态改变。例如，在观看者(用户1)用手握住主体10并围绕Y轴将主体向左右旋转的情况下，陀螺仪40能够检测显示器20相对于X轴方向的位移。第一计算部分50基于通过照相机30拍摄的图像计算显示器20相对于观看位置的相对姿态改变。参照图3至图9，第一计算部分50接收通过照相机30拍摄的用户图像以检测用户脸的信息。此外，第一计算部分50基于通过Bayesian分类器计算的用户双眼之间的间隔(d165mm)、通过照相机校准计算的显示器20上的用户双眼之间的间隔‘d2’和照相机的焦距f使用三角学来测量显示器20和用户之间的间隔(D＝f*d1/d2)。因此，通过根据间隔D的差异控制显示器20的屏障间隔能够形成适合于用户的观看距离的观看区。
此外，第一计算部分50测量通过照相机30拍摄的用户图像的位移并计算旋转量。
图10A至10C示例性地表示：通过使用Y轴作为旋转轴，主体10相对于用户的固定位置在X轴方向旋转角度θ，从而图像向显示器20的左侧移动了u。在这种情况下，用户双眼位于观看区7和8，从而用户能够观看从显示器20提供的3D图像。
图11A至11C示例性地表示：通过使用X轴作为旋转轴，主体10相对于用户的固定位置在Y轴方向旋转角度Φ，从而图像向显示器20的上侧移动了v。在这种情况下，用户双眼位于观看区1和2，如图11C所示。
参照图10A至图11C，当图像移动了值u、v时，第一计算部分50使用诸如Bayesian分类器的算法检测用户的脸部区域和眼睛以计算u和v的精确位置。通过分别将计算出的值u和v乘以经实验获得的比例常数α和β，能够使用比例表达式获得照相机的旋转量θc(＝α×u)和Φc(＝β×v)。这里，旋转量θc和Φc的采样周期大约为12-30Hz。
第二计算部分60基于通过陀螺仪40检测的角速度的改变来计算显示器20相对于观看位置的姿态改变。也就是说，第二计算部分60通过在时间轴上对由陀螺仪40检测的角速度求积分来计算显示器20的旋转量θg、Φg，和Ωg。此时，由第二计算部分60计算的显示器的旋转量的采样周期大约为80-120Hz，该采样周期小于通过照相机30获得的旋转量的采样周期。
Kalman滤波器70通过照相机30和陀螺仪40的传感器结合来计算纠正的显示器的旋转量。Kalman滤波器70补偿了由于在θc、Φc和θg、Φg的测量值中或多或少产生误差并且采样周期不同所导致的缺点。也就是说，在主体10移动较慢的情况下，与由第二计算部分60计算的照相机30的旋转量相比，由第一计算部分50计算的照相机30的旋转量较为精确。相反，在主体10移动较快的情况下，与由第一计算部分50计算的照相机30的旋转量相比，由第二计算部分60计算的照相机30的旋转量较为精确。因此，通过在两种情况下经过由第一计算部分50和第二计算部分60计算的值的传感器结合执行混合跟踪，可获得纠正的对于X轴和Y轴的旋转量(θ和Φ)以及较短的采样周期。
显示器20能够根据上述获得的对于X轴和Y轴的旋转量来产生适合于用户双眼的观看区。
图12A至12C示例性地表示主体10使用Z轴作为旋转轴相对于用户的固定位置旋转的情况。此时，通过测量显示器20上的用户眼睛的旋转量ω能够获得照相机的旋转量Ωc(＝γ×ω)。这里，γ是通过实验获得的比例常数。在这种情况下，对于Z轴的旋转量Ωgs通过陀螺仪40和第二计算部分60来测量。
此时，Ωg的采样周期与X轴和Y轴的旋转中的Ωc的采样周期相比较短。使用Kalman滤波器70通过混合跟踪能够纠正这种差异，并且能够获得纠正的旋转量Ω。可基于纠正的旋转量Ω来产生适合于用户的观看区的观看区。
参照图3，在操作中，诸如焦距和折射率的照相机镜头信息通过脱机(off-line)的照相机校准来获得。
当用户的脸或眼睛位于屏幕中央时，显示器20将照相机和陀螺仪的坐标(X，Y，Z)都设置为(0，0，0)。
用户的脸或眼睛的位置在显示器上被检测，并且双眼之间的间隔d2通过使用Bayesian分类器的算法来计算。其后，在考虑显示器20和用户的相对运动的情况下通过照相机的坐标系统的变换来测量用户的相对旋转量。
用户的脸或眼睛相对于显示器屏幕中央的位移量u和v以及ω被计算，从而获得照相机的坐标系统中的旋转量θc、Φc和Ωc。此时，使用用户的脸或眼睛的位移量、双眼之间的间隔和照相机镜头的焦距来计算这些旋转量。
同时，通过在时间轴上对由陀螺仪40获得的各轴的角速度求积分来获得对于各轴的旋转量θg、Φg，和Ωg。
如上所述，由照相机获得的旋转量和由陀螺仪获得的旋转量在它们的采样周期和跟踪的旋转量方面彼此不同。通过经传感器结合来纠正照相机和陀螺仪之间的差异，Kalman滤波器70能够纠正旋转量并且即使快速执行旋转操作时也能够获得稳定的跟踪结果。因此，可基于以上获得的结果来形成适合于用户的观看区。
所述使用混合位置跟踪系统的3D显示装置能够通过使用Kalman滤波器来纠正由照相机和陀螺仪检测出的显示器相对于用户的相对旋转量。
因此，能够实现与使用一个传感器或一个照相机的传统3D显示装置相比具有稳定和改进性能的3D显示装置。根据本发明，即使当显示器快速移动以及当显示器慢速移动时，仍能获得更精确的旋转量。
因此，能够获得适合于位于观看位置的用户的观看区，从而用户能够在较宽的观看区中观看3D图像。此外，通过使用所述位置跟踪系统来跟踪用户的LE和RE，可防止LE图像和RE图像分别被提供给用户的RE和LE。
尽管已参照本发明的示例性实施例具体地表示和描述了本发明，但本领域普通技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对这些实施例进行各种形式和细节上的修改。

Claims (16)

1、一种3D显示装置，包括：
主体；
显示器，用于显示3D图像；
照相机，安装在主体中；
陀螺仪，安装在主体中并检测显示器的角速度的改变；
计算单元，基于由照相机拍摄的用户图像来计算显示器相对于观看位置的第一相对姿态改变量，以及基于由陀螺仪检测的角速度的改变来计算显示器相对于观看位置的第二相对姿态改变量；和
Kalman滤波器，接收由计算单元计算的第一相对姿态改变量和第二相对姿态改变量，并计算显示器的纠正的姿态改变量，
其中，当用户和显示器之间的相对位置改变时，用户能够在用户的左眼和右眼分别所在的观看区中观看左眼图像信号和右眼图像信号，而没有左眼图像信号和右眼图像信号的反转。
2、如权利要求1所述的3D显示装置，其中，所述计算单元包括用于计算第一相对姿态改变量的第一计算部分和用于计算第二相对姿态改变量的第二计算部分。
3、如权利要求2所述的3D显示装置，其中，所述第一计算部分基于通过Bayesian分类器计算的用户左右眼之间的间隔d1、通过照相机校准计算的显示器上的用户左右眼之间的间隔d2和照相机的焦距f使用三角学来测量显示器和用户之间的间隔(D＝f*d1/d2)，并且所述第一计算部分基于通过照相机拍摄并在显示器上显示的用户的位移来计算显示器相对于观看位置的旋转量。
4、如权利要求2或3所述的3D显示装置，其中，由第一计算部分计算的显示器的旋转量的采样周期为大约12至30Hz。
5、如权利要求2至4中的任何一项所述的3D显示装置，其中，所述第二计算部分通过在时间轴上对由陀螺仪检测的角速度求积分来计算显示器的旋转量。
6、如权利要求2至5中的任何一项所述的3D显示装置，其中，由第二计算部分计算的显示器的旋转量的采样周期为大约80至120Hz。
7、如权利要求1至6中的任何一项所述的3D显示装置，其中，Kalman滤波器通过照相机与陀螺仪的传感器结合来计算纠正的显示器的旋转量。
8、如权利要求1至7中的任何一项所述的3D显示装置，其中，照相机和陀螺仪安装在显示器的里面或外面。
9、如权利要求1至8中的任何一项所述的3D显示装置，其中，所述显示器是便携式移动显示器。
10、一种显示3D图像的方法，该方法包括：
基于由3D显示装置的照相机拍摄的用户图像来计算3D显示装置的显示器相对于观看位置的第一相对姿态改变量；
基于由3D显示装置的陀螺仪检测的显示器的角速度的改变来计算显示器相对于观看位置的第二相对姿态改变量；
基于计算出的第一相对姿态改变量和第二相对姿态改变量在3D显示装置的Kalman滤波器中计算显示器的纠正的姿态改变量；
其中，当用户和显示器之间的相对位置改变时，用户能够在用户的左眼和右眼分别所在的观看区中观看左眼图像信号和右眼图像信号，而没有左眼图像信号和右眼图像信号的反转。
11、如权利要求10所述的显示3D图像的方法，其中，所述计算第一相对姿态改变量的步骤包括：基于通过Bayesian分类器计算的用户左右眼之间的间隔d1、通过照相机校准计算的显示器上的用户左右眼之间的间隔d2和照相机的焦距f使用三角学来测量显示器和用户之间的间隔(D＝f*d1/d2)；和基于通过照相机拍摄并在显示器上显示的用户的位移来计算显示器相对于观看位置的旋转量。
12、如权利要求10或11所述的显示3D图像的方法，其中，显示器的旋转量的采样周期为大约12至30Hz。
13、如权利要求10或11所述的显示3D图像的方法，其中，所述计算第二相对姿态改变量的步骤包括：通过在时间轴上对由陀螺仪检测的角速度求积分来计算显示器的旋转量。
14、如权利要求13所述的显示3D图像的方法，其中，显示器的旋转量的采样周期为大约80至120Hz。
15、如权利要求10至14中的任何一项所述的显示3D图像的方法，其中，Kalman滤波器通过照相机与陀螺仪的传感器结合来计算纠正的显示器的旋转量。
16、如权利要求10至15中的任何一项所述的显示3D图像的方法，其中，照相机和陀螺仪安装在显示器的里面或外面。
CN2006100581363A 2005-04-08 2006-03-06 使用混合位置跟踪系统的三维显示装置和方法 Expired - Fee Related CN1845612B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2005-0029599 2005-04-08
KR1020050029599A KR101112735B1 (ko) 2005-04-08 2005-04-08 하이브리드 위치 추적 시스템을 이용한 입체 디스플레이장치
KR1020050029599 2005-04-08

Publications (2)

Publication Number Publication Date
CN1845612A true CN1845612A (zh) 2006-10-11
CN1845612B CN1845612B (zh) 2010-05-12

Family

ID=37064519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006100581363A Expired - Fee Related CN1845612B (zh) 2005-04-08 2006-03-06 使用混合位置跟踪系统的三维显示装置和方法

Country Status (4)

Country Link
US (1) US7616187B2 (zh)
KR (1) KR101112735B1 (zh)
CN (1) CN1845612B (zh)
NL (1) NL1031500C2 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102428431A (zh) * 2009-05-20 2012-04-25 索尼爱立信移动通讯有限公司 包括显示器的便携式电子设备及控制此类设备的方法
CN102541530A (zh) * 2010-12-30 2012-07-04 上海三旗通信科技股份有限公司 通过重力感应旋转主菜单图标
CN102970559A (zh) * 2011-08-31 2013-03-13 株式会社东芝 立体图像显示装置
CN103069821A (zh) * 2010-08-09 2013-04-24 索尼电脑娱乐公司 图像显示装置、图像显示方法及图像修正方法
CN103619090A (zh) * 2013-10-23 2014-03-05 深迪半导体(上海)有限公司 基于微型惯性传感器舞台灯光自动定位和追踪系统和方法
CN104104942A (zh) * 2013-04-09 2014-10-15 乐金显示有限公司 立体图像显示设备及其眼睛追踪方法
CN104683786A (zh) * 2015-02-28 2015-06-03 上海玮舟微电子科技有限公司 裸眼3d设备的人眼跟踪方法及装置
TWI579592B (zh) * 2011-02-16 2017-04-21 半導體能源研究所股份有限公司 顯示裝置
CN111857382A (zh) * 2020-07-31 2020-10-30 京东方科技集团股份有限公司 一种智能笔及基于智能笔的显示方法
CN112951092A (zh) * 2021-02-09 2021-06-11 大连外国语大学 一种新型闸机抬杆信息显示系统
CN113347410A (zh) * 2021-06-01 2021-09-03 广东未来科技有限公司 一种利用陀螺仪辅助人眼追踪的3d显示方法及装置
CN113469058A (zh) * 2021-07-02 2021-10-01 广东未来科技有限公司 一种预防近视的方法和移动设备

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100556856B1 (ko) * 2003-06-14 2006-03-10 엘지전자 주식회사 이동통신 단말기에서 화면 제어 방법 및 장치
KR101249988B1 (ko) * 2006-01-27 2013-04-01 삼성전자주식회사 사용자의 위치에 따른 영상을 디스플레이하는 장치 및 방법
JP4876687B2 (ja) * 2006-04-19 2012-02-15 株式会社日立製作所 注目度計測装置及び注目度計測システム
JP2008136789A (ja) * 2006-12-05 2008-06-19 Nec Corp 眼球パラメータ推定装置及び方法
US10795457B2 (en) 2006-12-28 2020-10-06 D3D Technologies, Inc. Interactive 3D cursor
KR100837819B1 (ko) * 2006-12-28 2008-06-13 주식회사 케이티 관성 센서와 카메라를 이용한 전자기기 제어장치 및 그방법
US11315307B1 (en) 2006-12-28 2022-04-26 Tipping Point Medical Images, Llc Method and apparatus for performing rotating viewpoints using a head display unit
US11275242B1 (en) 2006-12-28 2022-03-15 Tipping Point Medical Images, Llc Method and apparatus for performing stereoscopic rotation of a volume on a head display unit
US9473766B2 (en) * 2006-12-28 2016-10-18 David Byron Douglas Method and apparatus for three dimensional viewing of images
US11228753B1 (en) 2006-12-28 2022-01-18 Robert Edwin Douglas Method and apparatus for performing stereoscopic zooming on a head display unit
US20100026797A1 (en) * 2007-01-03 2010-02-04 Koninklijke Philips Electronics, N.V. Display device
US8244068B2 (en) * 2007-03-28 2012-08-14 Sony Ericsson Mobile Communications Ab Device and method for adjusting orientation of a data representation displayed on a display
KR101502419B1 (ko) 2008-07-11 2015-03-13 삼성디스플레이 주식회사 다시점 영상 표시방법, 이를 수행하기 위한 표시장치
JP5181247B2 (ja) * 2008-12-04 2013-04-10 任天堂株式会社 情報処理装置
JP5493201B2 (ja) * 2008-12-04 2014-05-14 任天堂株式会社 プログラムおよび情報処理装置
US20100156907A1 (en) * 2008-12-23 2010-06-24 Microsoft Corporation Display surface tracking
JP4691697B2 (ja) * 2009-01-27 2011-06-01 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 電子機器、および、プログラム
US20100228494A1 (en) * 2009-03-05 2010-09-09 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Postural information system and method including determining subject advisory information based on prior determined subject advisory information
US20100225474A1 (en) * 2009-03-05 2010-09-09 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Postural information system and method
US9024976B2 (en) 2009-03-05 2015-05-05 The Invention Science Fund I, Llc Postural information system and method
KR101615111B1 (ko) 2009-06-16 2016-04-25 삼성전자주식회사 다시점 영상 표시 장치 및 방법
JP5568929B2 (ja) 2009-09-15 2014-08-13 ソニー株式会社 表示装置および制御方法
EP2354893B1 (en) * 2009-12-31 2018-10-24 Sony Interactive Entertainment Europe Limited Reducing inertial-based motion estimation drift of a game input controller with an image-based motion estimation
US8908015B2 (en) 2010-03-24 2014-12-09 Appcessories Llc Apparatus and method for producing images for stereoscopic viewing
TW201135696A (en) * 2010-04-06 2011-10-16 Hon Hai Prec Ind Co Ltd Electronic device and controlling method thereof
KR101729556B1 (ko) * 2010-08-09 2017-04-24 엘지전자 주식회사 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법, 그리고 위치 추적 장치
US20120062551A1 (en) * 2010-09-13 2012-03-15 Lg Electronics Inc. Image display apparatus and method for operating image display apparatus
KR101667058B1 (ko) * 2010-11-22 2016-10-17 엘지전자 주식회사 입체 영상을 표시하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US20130249792A1 (en) * 2010-12-03 2013-09-26 App.Lab Inc. System and method for presenting images
WO2012087275A1 (en) * 2010-12-20 2012-06-28 Sony Ericsson Mobile Communications Ab Determining device movement and orientation for three dimensional view
JP5594208B2 (ja) * 2011-03-28 2014-09-24 カシオ計算機株式会社 表示装置、表示補助装置、および、表示システム
JP5712737B2 (ja) * 2011-03-31 2015-05-07 ソニー株式会社 表示制御装置、表示制御方法、及びプログラム
US8885882B1 (en) 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
JP5711104B2 (ja) * 2011-12-14 2015-04-30 株式会社東芝 画像表示装置、方法、プログラム、及び画像処理装置
KR20130117525A (ko) * 2012-04-18 2013-10-28 삼성디스플레이 주식회사 영상 표시 시스템 및 이의 구동방법
US9348431B2 (en) * 2012-07-04 2016-05-24 Korea Advanced Institute Of Science And Technology Display device for controlling auto-rotation of content and method for controlling auto-rotation of content displayed on display device
KR102001672B1 (ko) * 2013-05-03 2019-07-18 엘지디스플레이 주식회사 무안경 입체 영상 표시장치
US9933864B1 (en) 2013-08-29 2018-04-03 Amazon Technologies, Inc. Steady content display
CN104331902B (zh) * 2014-10-11 2018-10-16 深圳超多维科技有限公司 目标跟踪方法、跟踪装置和3d显示方法及显示装置
CN105812772B (zh) * 2014-12-29 2019-06-18 深圳超多维科技有限公司 医疗图像立体显示系统及方法
JP2015144457A (ja) * 2015-03-03 2015-08-06 株式会社東芝 画像表示装置、方法、及びプログラム
US10137893B2 (en) * 2016-09-26 2018-11-27 Keith J. Hanna Combining driver alertness with advanced driver assistance systems (ADAS)
CN106454333A (zh) * 2016-11-14 2017-02-22 张家港康得新光电材料有限公司 3d显示装置的检测装置
US20190007672A1 (en) 2017-06-30 2019-01-03 Bobby Gene Burrough Method and Apparatus for Generating Dynamic Real-Time 3D Environment Projections
JP2021536588A (ja) * 2018-08-26 2021-12-27 レイア、インコーポレイテッドLeia Inc. ユーザ追跡を使用したマルチビューディスプレイ、システム、および方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03292093A (ja) 1990-04-10 1991-12-24 Seiko Epson Corp ３次元表示装置
JPH08287291A (ja) 1995-04-13 1996-11-01 Fanuc Ltd 画像表示方式
SE511516C2 (sv) 1997-12-23 1999-10-11 Ericsson Telefon Ab L M Handburen displayenhet och metod att visa skärmbilder
US7239293B2 (en) 1998-01-21 2007-07-03 New York University Autostereoscopic display
JPH11234703A (ja) * 1998-02-09 1999-08-27 Toshiba Corp 立体表示装置
KR20010057718A (ko) 1999-12-23 2001-07-05 오길록 3차원 위치 제어기를 이용한 얼굴 추적 시스템 및 그 방법
KR100710347B1 (ko) 2000-05-12 2007-04-23 엘지전자 주식회사 3차원 영상 디스플레이 장치 및 방법
JP3544171B2 (ja) 2000-06-20 2004-07-21 キヤノン株式会社 立体画像表示装置
AU2001277939A1 (en) * 2000-07-21 2002-02-05 New York University Autostereoscopic display
JP3469884B2 (ja) 2001-03-29 2003-11-25 三洋電機株式会社 立体映像表示装置
US6847351B2 (en) * 2001-08-13 2005-01-25 Siemens Information And Communication Mobile, Llc Tilt-based pointing for hand-held devices
US7714880B2 (en) * 2001-11-16 2010-05-11 Honeywell International Inc. Method and apparatus for displaying images on a display
US7007242B2 (en) * 2002-02-20 2006-02-28 Nokia Corporation Graphical user interface for a mobile device
JP2004040445A (ja) 2002-07-03 2004-02-05 Sharp Corp ３ｄ表示機能を備える携帯機器、及び３ｄ変換プログラム
JP4185052B2 (ja) * 2002-10-15 2008-11-19 ユニバーシティ オブ サザン カリフォルニア 拡張仮想環境
US7362919B2 (en) * 2002-12-12 2008-04-22 Eastman Kodak Company Method for generating customized photo album pages and prints based on people and gender profiles
KR100464040B1 (ko) 2002-12-16 2005-01-03 엘지전자 주식회사 얼굴 움직임을 이용한 이동 통신 단말기의 제어 방법
US7403654B2 (en) * 2004-10-04 2008-07-22 Arcsoft, Inc. Enhanced automatic red eye removal
KR100560464B1 (ko) 2005-03-30 2006-03-13 (주)디노스 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102428431B (zh) * 2009-05-20 2013-11-20 索尼爱立信移动通讯有限公司 包括显示器的便携式电子设备及控制此类设备的方法
CN102428431A (zh) * 2009-05-20 2012-04-25 索尼爱立信移动通讯有限公司 包括显示器的便携式电子设备及控制此类设备的方法
US9253480B2 (en) 2010-08-09 2016-02-02 Sony Corporation Image display device, image display method, and image correction method
CN103069821A (zh) * 2010-08-09 2013-04-24 索尼电脑娱乐公司 图像显示装置、图像显示方法及图像修正方法
CN103069821B (zh) * 2010-08-09 2016-09-14 索尼电脑娱乐公司 图像显示装置、图像显示方法及图像修正方法
CN102541530A (zh) * 2010-12-30 2012-07-04 上海三旗通信科技股份有限公司 通过重力感应旋转主菜单图标
TWI579592B (zh) * 2011-02-16 2017-04-21 半導體能源研究所股份有限公司 顯示裝置
CN102970559A (zh) * 2011-08-31 2013-03-13 株式会社东芝 立体图像显示装置
US9883177B2 (en) 2013-04-09 2018-01-30 Lg Display Co., Ltd. Stereoscopic image display device and eye-tracking method thereof
CN104104942A (zh) * 2013-04-09 2014-10-15 乐金显示有限公司 立体图像显示设备及其眼睛追踪方法
CN104104942B (zh) * 2013-04-09 2017-01-11 乐金显示有限公司 立体图像显示设备及其眼睛追踪方法
CN103619090A (zh) * 2013-10-23 2014-03-05 深迪半导体(上海)有限公司 基于微型惯性传感器舞台灯光自动定位和追踪系统和方法
CN104683786A (zh) * 2015-02-28 2015-06-03 上海玮舟微电子科技有限公司 裸眼3d设备的人眼跟踪方法及装置
CN111857382A (zh) * 2020-07-31 2020-10-30 京东方科技集团股份有限公司 一种智能笔及基于智能笔的显示方法
CN111857382B (zh) * 2020-07-31 2024-01-23 京东方科技集团股份有限公司 一种智能笔及基于智能笔的显示方法
CN112951092A (zh) * 2021-02-09 2021-06-11 大连外国语大学 一种新型闸机抬杆信息显示系统
CN113347410A (zh) * 2021-06-01 2021-09-03 广东未来科技有限公司 一种利用陀螺仪辅助人眼追踪的3d显示方法及装置
CN113347410B (zh) * 2021-06-01 2022-12-30 广东未来科技有限公司 一种利用陀螺仪辅助人眼追踪的3d显示方法及装置
CN113469058A (zh) * 2021-07-02 2021-10-01 广东未来科技有限公司 一种预防近视的方法和移动设备

Also Published As

Publication number Publication date
US20060227103A1 (en) 2006-10-12
KR101112735B1 (ko) 2012-03-13
US7616187B2 (en) 2009-11-10
KR20060106451A (ko) 2006-10-12
NL1031500A1 (nl) 2006-10-10
CN1845612B (zh) 2010-05-12
NL1031500C2 (nl) 2007-06-05

Similar Documents

Publication Publication Date Title
CN1845612A (zh) 使用混合位置跟踪系统的三维显示装置和方法
US9521403B2 (en) Display device and electronic apparatus
US10084962B2 (en) Spherical video stabilization based on accelerometer data
US9294755B2 (en) Correcting frame-to-frame image changes due to motion for three dimensional (3-D) persistent observations
US20150338669A1 (en) Display device, terminal device, and display method
TWI459035B (zh) 立體影像顯示裝置及其驅動方法
US20120200680A1 (en) Display device and method for providing 3D image of the display device
US20120007853A1 (en) Three-dimensional display device, mobile terminal and three-dimensional display tracking method
CN103017730A (zh) 一种单摄像头测距的方法和系统
JP2008015188A (ja) 画像提示装置および画像提示方法
CN104506842A (zh) 三维摄像头模组、终端设备以及测距方法
US20120098931A1 (en) 3d motion picture adaption system
JPH0772445A (ja) ３次元ディスプレイ装置
US9087477B2 (en) Display apparatus and electronic apparatus
US20060227419A1 (en) 3D image display device
US20140293024A1 (en) Foldable display and method and apparatus for controlling the same
CN1530691A (zh) 用于显示三维图像的设备
JP5455033B2 (ja) 距離画像入力装置と車外監視装置
JP2012014019A (ja) 撮像装置及びその制御方法
JPWO2019064399A1 (ja) 情報処理システムおよび対象物情報取得方法
JP4664690B2 (ja) 立体表示装置及び立体表示方法
CN102402014B (zh) 观赏眼镜、三维显示系统及其图像光束调整方法
JP2013074473A (ja) パノラマ撮像装置
WO2018205426A1 (zh) 桌面型空间立体交互系统
CN101640811B (zh) 照相机

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100512

Termination date: 20210306

CF01 Termination of patent right due to non-payment of annual fee