CN107895347A - 一种视觉自适应调节显示装置及方法 - Google Patents
一种视觉自适应调节显示装置及方法 Download PDFInfo
- Publication number
- CN107895347A CN107895347A CN201710596181.2A CN201710596181A CN107895347A CN 107895347 A CN107895347 A CN 107895347A CN 201710596181 A CN201710596181 A CN 201710596181A CN 107895347 A CN107895347 A CN 107895347A
- Authority
- CN
- China
- Prior art keywords
- plane
- perspective transformation
- display
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004438 eyesight Effects 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 title claims abstract description 11
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 230000009466 transformation Effects 0.000 claims description 74
- 230000010365 information processing Effects 0.000 claims description 49
- 239000011159 matrix material Substances 0.000 claims description 32
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 238000004148 unit process Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种视觉自适应调节显示装置及方法，在显示屏正反侧均安装摄像头，正侧左上角摄像头用于捕获人员眼部视线信息，反侧摄像头用于采集需显示的信息，根据观看人员眼部视线方向，运用透视变换的原理动态的调节显示屏显示的信息，从而优化解决了观看人员观看过程中由于视线方向所造成的图像形变的问题，给观看人员提供了更加完美的视觉体验。此外用于采集想要显示的信息的摄像头，其位置与方向可以进行任意调整，从而扩展了此装置的适用范围。
Description
技术领域
本发明涉及一种显示装置，具体涉及一种根据观看人员眼部视线角度动态变化自适应调节显示屏的显示系统。
背景技术
摄像头斜视拍摄一物体后，形成的图像会发生变形，如果将图像映射到拍摄物体平面上，相当于将摄像头垂直于拍摄平面，这样就会得到图像的真实形状。据此，当显示屏后侧摄像头安装完成后，如果摄像头拍摄方向与物体拍摄平面不垂直时，需要对摄像头输出图像进行透视变换得到图像的真实形状。同理，当人的观看视线与显示屏显示平面不垂直时，同样会导致图像形变，从而影响视觉体验。
发明内容
针对现有技术的不足，本发明旨在提供一种视觉自适应调节显示装置及方法，解决由于观看人员视线方向与显示屏所在平面不垂直造成图像形变，从而影响视觉体验的问题。
为了实现上述目的，本发明采用如下技术方案：
一种视觉自适应调节显示装置，包括显示单元、显示图像采集单元、视线信息采集单元和信息处理单元；其中，
所述显示图像采集单元用于采集需要在显示单元上显示的图像并传输至所述信息处理单元；
所述视线信息采集单元用于实时采集观看者的视线方向信息并实时传输至所述信息处理单元；
所述信息处理单元用于根据视线信息采集单元采集到的观看者当前的视线方向信息实时计算该视线方向与显示屏所在平面的交点及在该交点的垂直视线平面，并计算得到垂直视线平面和显示屏所在平面的透视变换矩阵，然后据此对显示图像采集单元采集得到的图像进行透视变换，然后将透视变换后的图像传输至显示单元进行显示。
进一步地，所述信息处理单元还用于对显示图像采集单元采集得到的图像进行畸变矫正，以经过畸变矫正的图像作为透视变换的输入。
进一步地，所述视线信息采集单元为摄像头，用于采集观看者的眼部图像，所述信息处理单元对眼部图像进行图像处理，识别出观看者当前的视线方向。
进一步地，所述视线信息采集单元设于所述显示单元的正侧。
进一步地，所述信息处理单元以显示屏左下角为中心建立空间直角坐标系，以此计算观看者的视线方向与显示屏所在平面的交点以及视线方向在该交点的垂直视线平面；然后作从垂直视线平面向显示屏所在平面的透视变换，得到垂直视线平面和显示屏所在平面的透视变换矩阵，并据此对显示图像采集单元采集得到的图像进行透视变换。
更进一步地，信息处理单元根据观看者的视线方向信息的变化实时调整垂直视线平面以及相应的透视变换矩阵，并采用最新的透视变换矩阵对显示图像采集单元采集得到的图像进行透视变换。
更进一步地，当所述显示图像采集单元的采集平面和采集对象的平面不垂直时，所述信息处理单元还计算显示图像采集单元的采集平面和采集对象的平面的透视变换矩阵，并根据显示图像采集单元的采集平面和采集对象的平面的透视变换矩阵与垂直视线平面和显示屏所在平面的透视变换矩阵对显示图像采集单元采集的图像进行透视变换。
利用上述视觉自适应调节显示装置进行视觉自适应调节显示的方法，包括如下步骤：
S1显示图像采集单元采集需要显示在显示单元上的图像并传输至信息处理单元，而视线信息采集单元实时采集观看者的视线方向信息并传输至所述信息处理单元；
S2所述信息处理单元以显示屏左下角为中心建立空间直角坐标系；
S3所述信息处理单元计算观看者当前的视线方向与显示屏所在平面的交点以及视线方向在该交点的垂直视线平面，然后作从该垂直视线平面向显示屏所在平面的透视变换，得到该垂直视线平面和显示屏所在平面的透视变换矩阵，并据此对显示图像采集单元采集得到的图像进行透视变换；
信息处理单元根据观看者的视线方向的变化实时调整垂直视线平面以及透视变换矩阵，并实时根据最新的透视变换矩阵对显示图像采集单元采集得到的图像进行透视变换。
需要说明的是，步骤S1中，所述视线信息采集单元为摄像头，实时采集观看者当前的眼部图像并实时传输至所述信息处理单元，而步骤S3中，所述信息处理单元对眼部图像进行处理得到观看者当前的视线方向。
需要说明的是，步骤S3中，信息处理单元根据观看者的视线方向信息的变化实时调整垂直视线平面以及相应的透视变换矩阵，并采用最新的透视变换矩阵对显示图像采集单元采集得到的图像进行透视变换。
需要说明的是，当显示图像采集单元的采集平面与采集对象的平面不垂直时，在步骤S3中，所述信息处理单元还作显示图像采集单元的采集平面向采集对象的平面进行透视变换，得到显示图像采集单元的采集平面和采集对象的平面的透视变换矩阵，并且根据垂直视线平面和显示屏所在平面的透视变换矩阵与显示图像采集单元的采集平面和采集对象的平面的透视变换矩阵对显示图像采集单元采集得到的图像进行透视变换。
本发明的有益效果在于：
1、实时根据观看人员眼部视线角度自适应调整透视变换矩阵，显示透视变换后的图像，消除形变对观看人员视觉的影响，解决由于观看人员眼部视线方向与显示屏所在平面不垂直造成图像形变，从而影响视觉体验的问题。
2、适用于在任何位置安装显示图像采集单元以采集所要显示的信息的情况，而不单单局限于显示图像采集单元安装在显示屏反面的情况，从而可以适用于更加复杂的环境中。
附图说明
图1为本发明装置的的硬件布置实施例示意图；
图2为图1中的装置在直角坐标系下的方向角度示意图；
图3为本发明方法的实施流程框图。
具体实施方式
以下将结合附图对本发明作进一步的描述，需要说明的是，以下实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
如图1-2所示，一种视觉自适应调节显示装置，包括显示单元1、显示图像采集单元3、视线信息采集单元2和信息处理单元(图中未示)。
所述显示图像采集单元3用于采集需要在显示单元1上显示的图像并传输至所述信息处理单元。在本实施例中，所述显示图像采集单元3设于所述显示单元的反侧，但是实际上并不限于设于显示单元的反侧，可以根据需要设置在任意的位置。所述显示图像采集单元采用摄像头，所述信息处理单元采用微控制器。
所述视线信息采集单元用于实时采集观看者的视线方向信息并实时传输至所述信息处理单元。在本实施例中，所述视线信息采集单元为摄像头，设于所述显示单元的正侧的左上方，采集的是观看者当前的眼部图像信息。
所述信息处理单元以显示屏左下角为中心建立空间直角坐标系。如图2所示，在本实施例中，所述信息处理单元以显示屏左下角为坐标原点，以显示单元的宽度方向为X轴，以显示单元的长度方向为Y轴，以显示单元的高度方向为Z轴，建立空间直角坐标。
如图3所示，所述信息处理单元对视线信息采集单元2对观看者的眼部101采集的眼部图像进行图像处理，并识别得到观看者当前的视线方向(具体地，信息处理单元将摄像头采集到的图像进行眼部信息识别，根据观看人员眼部所在图像中的位置，利用摄像头标定与空间几何转换算法从而确定观看者当前的视线方向)。然后计算观看者当前的视线方向与显示屏所在平面P的交点以及视线方向在该交点的垂直视线平面Y’，然后作从该垂直视线平面Y’向显示屏所在平面P的透视变换，得到该垂直视线平面Y’和显示屏所在平面P的透视变换矩阵。
由于摄像头拍摄方向与拍摄对象的平面不垂直时，造成拍摄对象的真实形状的变形，可以理解成两个平面间的透视造成物体真实形状的变形，因此当显示图像采集单元的拍摄平面C与拍摄对象的平面W不垂直时，所述信息处理单元作显示图像采集单元的拍摄平面C向拍摄对象的平面W进行透视变换，得到显示图像采集单元的拍摄平面C和拍摄对象的平面W的透视变换矩阵。
摄像头采集到的图像是有畸变的，这是摄像头透镜固有的透视失真造成，因此在对图像进行透视变换前，所述信息处理单元先对显示图像采集单元采集得到的图像进行畸变矫正，并以经过畸变矫正的图像作为透视变换的输入。在透视变换时，信息处理单元依次根据垂直视线平面Y’和显示屏所在平面P的透视变换矩阵Typ与显示图像采集单元3的拍摄平面C和拍摄对象的平面W的透视变换矩阵Tpw对显示图像采集单元3采集得到的图像进行透视变换。
随着观看人员眼部位置的变化，其人眼视线方向也将随之变化，从而导致垂直视线平面Y’的变化，视线信息采集单元2会持续采集观看者的眼部图像传输至信息处理单元，信息处理单元则实时对当前的眼部图像进行处理和识别得出当前的视线方向，并实时根据观看者的视线方向信息的变化调整垂直视线平面以及相应的透视变换矩阵Typ，并采用最新的透视变换矩阵对显示图像采集单元当前采集得到的图像进行透视变换并显示在显示单元上，从而实现根据观看者的视觉自适应调节显示的效果。
对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。
Claims (10)
1.一种视觉自适应调节显示装置，其特征在于，包括显示单元、显示图像采集单元、视线信息采集单元和信息处理单元；其中，
所述显示图像采集单元用于采集需要在显示单元上显示的图像并传输至所述信息处理单元；
所述视线信息采集单元用于实时采集观看者的视线方向信息并实时传输至所述信息处理单元；
所述信息处理单元用于根据视线信息采集单元采集到的观看者当前的视线方向信息实时计算该视线方向与显示屏所在平面的交点及在该交点的垂直视线平面，并计算得到垂直视线平面和显示屏所在平面的透视变换矩阵，然后据此对显示图像采集单元采集得到的图像进行透视变换，然后将透视变换后的图像传输至显示单元进行显示。
2.根据权利要求1所述的视觉自适应调节显示装置，其特征在于，所述信息处理单元还用于对显示图像采集单元采集得到的图像进行畸变矫正，以经过畸变矫正的图像作为透视变换的输入。
3.根据权利要求1所述的视觉自适应调节显示装置，其特征在于，所述视线信息采集单元为摄像头，用于采集观看者的眼部图像，所述信息处理单元对眼部图像进行图像处理，识别出观看者当前的视线方向。
4.根据权利要求1所述的视觉自适应调节显示装置，其特征在于，所述视线信息采集单元设于所述显示单元的正侧。
5.根据权利要求1所述的视觉自适应调节显示装置，其特征在于，所述信息处理单元以显示屏左下角为中心建立空间直角坐标系，以此计算观看者的视线方向与显示屏所在平面的交点以及视线方向在该交点的垂直视线平面；然后作从垂直视线平面向显示屏所在平面的透视变换，得到垂直视线平面和显示屏所在平面的透视变换矩阵，并据此对显示图像采集单元采集得到的图像进行透视变换；
信息处理单元根据观看者的视线方向信息的变化实时调整垂直视线平面以及相应的透视变换矩阵，并采用最新的透视变换矩阵对显示图像采集单元采集得到的图像进行透视变换。
6.根据权利要求5所述的视觉自适应调节显示装置，其特征在于，当所述显示图像采集单元的采集平面和采集对象的平面不垂直时，所述信息处理单元还计算显示图像采集单元的采集平面和采集对象的平面的透视变换矩阵，并根据显示图像采集单元的采集平面和采集对象的平面的透视变换矩阵与垂直视线平面和显示屏所在平面的透视变换矩阵对显示图像采集单元采集的图像进行透视变换。
7.利用权利要求1所述的视觉自适应调节显示装置进行视觉自适应调节显示的方法，其特征在于，包括如下步骤：
S1显示图像采集单元采集需要显示在显示单元上的图像并传输至信息处理单元，而视线信息采集单元实时采集观看者的视线方向信息并传输至所述信息处理单元；
S2所述信息处理单元以显示屏左下角为中心建立空间直角坐标系；
S3所述信息处理单元计算观看者当前的视线方向与显示屏所在平面的交点以及视线方向在该交点的垂直视线平面，然后作从该垂直视线平面向显示屏所在平面的透视变换，得到该垂直视线平面和显示屏所在平面的透视变换矩阵，并据此对显示图像采集单元采集得到的图像进行透视变换；
信息处理单元根据观看者的视线方向的变化实时调整垂直视线平面以及透视变换矩阵，并实时根据最新的透视变换矩阵对显示图像采集单元采集得到的图像进行透视变换。
8.根据权利要求7所述的方法，步骤S1中，所述视线信息采集单元为摄像头，实时采集观看者当前的眼部图像并实时传输至所述信息处理单元，而步骤S3中，所述信息处理单元对眼部图像进行处理得到观看者当前的视线方向。
9.根据权利要求7所述的方法，其特征在于，当显示图像采集单元的采集平面与采集对象的平面不垂直时，在步骤S3中，所述信息处理单元还作显示图像采集单元的采集平面向采集对象的平面进行透视变换，得到显示图像采集单元的采集平面和采集对象的平面的透视变换矩阵，并且根据垂直视线平面和显示屏所在平面的透视变换矩阵与显示图像采集单元的采集平面和采集对象的平面的透视变换矩阵对显示图像采集单元采集得到的图像进行透视变换。
10.根据权利要求7所述的方法，其特征在于，步骤S3中，所述信息处理单元先对显示图像采集单元采集得到的图像进行畸变矫正，并以经过畸变矫正的图像作为透视变换的输入。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710596181.2A CN107895347A (zh) | 2017-07-20 | 2017-07-20 | 一种视觉自适应调节显示装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710596181.2A CN107895347A (zh) | 2017-07-20 | 2017-07-20 | 一种视觉自适应调节显示装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107895347A true CN107895347A (zh) | 2018-04-10 |
Family
ID=61802683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710596181.2A Pending CN107895347A (zh) | 2017-07-20 | 2017-07-20 | 一种视觉自适应调节显示装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107895347A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113628545A (zh) * | 2021-09-06 | 2021-11-09 | 越达光电科技(浙江)有限公司 | 一种全面显示穿戴设备及手表 |
| CN113657258A (zh) * | 2021-08-16 | 2021-11-16 | 前景智能交通科技(苏州)有限公司 | 一种基于图像处理的接触网故障识别系统和识别方法 |
| WO2022143426A1 (zh) * | 2020-12-31 | 2022-07-07 | 华为技术有限公司 | 会议装置和会议系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102867073A (zh) * | 2011-07-08 | 2013-01-09 | 中国民航科学技术研究院 | 一种基于性能导航的飞行程序设计系统及验证平台和验证方法 |
| CN103595997A (zh) * | 2012-08-13 | 2014-02-19 | 辉达公司 | 3d显示系统和3d显示方法 |
| CN104240214A (zh) * | 2012-03-13 | 2014-12-24 | 湖南领创智能科技有限公司 | 一种用于三维重建的深度摄像机快速标定方法 |
| CN105379264A (zh) * | 2013-07-02 | 2016-03-02 | 盖伊·马丁 | 用于成像设备建模与校准的系统和方法 |
-
2017
- 2017-07-20 CN CN201710596181.2A patent/CN107895347A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102867073A (zh) * | 2011-07-08 | 2013-01-09 | 中国民航科学技术研究院 | 一种基于性能导航的飞行程序设计系统及验证平台和验证方法 |
| CN104240214A (zh) * | 2012-03-13 | 2014-12-24 | 湖南领创智能科技有限公司 | 一种用于三维重建的深度摄像机快速标定方法 |
| CN103595997A (zh) * | 2012-08-13 | 2014-02-19 | 辉达公司 | 3d显示系统和3d显示方法 |
| CN105379264A (zh) * | 2013-07-02 | 2016-03-02 | 盖伊·马丁 | 用于成像设备建模与校准的系统和方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022143426A1 (zh) * | 2020-12-31 | 2022-07-07 | 华为技术有限公司 | 会议装置和会议系统 |
| CN113657258A (zh) * | 2021-08-16 | 2021-11-16 | 前景智能交通科技(苏州)有限公司 | 一种基于图像处理的接触网故障识别系统和识别方法 |
| CN113628545A (zh) * | 2021-09-06 | 2021-11-09 | 越达光电科技(浙江)有限公司 | 一种全面显示穿戴设备及手表 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10657903B2 (en) | Display system and driving method for display panel | |
| EP3029935A1 (en) | Holographic displaying method and device based on human eyes tracking | |
| US8000559B2 (en) | Method of correcting image distortion and apparatus for processing image using the method | |
| CN107527324B (zh) | 一种hud的图像畸变矫正方法 | |
| US9824428B2 (en) | Image correction method, image correction apparatus and video system | |
| US20140125760A1 (en) | Visual system having multiple cameras | |
| WO2015085956A1 (zh) | 一种基于投影图像的处理方法及装置 | |
| CN103517060B (zh) | 一种终端设备的显示控制方法及装置 | |
| CN107895347A (zh) | 一种视觉自适应调节显示装置及方法 | |
| CN107368192B (zh) | Vr眼镜的实景观测方法及vr眼镜 | |
| CN110099268B (zh) | 色彩自然匹配与显示区自然融合的盲区透视化显示方法 | |
| US20130088574A1 (en) | Detective Adjusting Apparatus for Stereoscopic Image and Related Method | |
| WO2017187694A1 (ja) | 注目領域画像生成装置 | |
| CN105809654A (zh) | 目标对象跟踪方法、装置和立体显示设备及方法 | |
| CN113240592A (zh) | 基于ar-hud动态眼位下计算虚像平面的畸变矫正方法 | |
| CN105404395A (zh) | 基于增强现实技术的舞台表演辅助训练方法及系统 | |
| CN108040242A (zh) | 一种双摄像头装置的倾斜角度的校正方法及装置 | |
| WO2021227969A1 (zh) | 一种数据处理方法及其设备 | |
| WO2014100985A1 (en) | Method and system for generating a surround view | |
| US8212853B2 (en) | Instant video messaging system and instant video messaging method thereof | |
| KR20090108822A (ko) | 카메라 영상 보정 방법 및 장치 | |
| CN114155300A (zh) | 一种车载hud系统投影效果检测方法及装置 | |
| CN112929638B (zh) | 眼部定位方法、装置及多视点裸眼3d显示方法、设备 | |
| CN109917908B (zh) | 一种ar眼镜的图像获取方法及系统 | |
| CN115689920B (zh) | Hud成像的辅助矫正方法、装置及矫正系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180410 |