CN104902139B - 一种头戴显示器和头戴显示器的视频数据处理方法 - Google Patents

一种头戴显示器和头戴显示器的视频数据处理方法 Download PDF

Info

Publication number
CN104902139B
CN104902139B CN201510217402.1A CN201510217402A CN104902139B CN 104902139 B CN104902139 B CN 104902139B CN 201510217402 A CN201510217402 A CN 201510217402A CN 104902139 B CN104902139 B CN 104902139B
Authority
CN
China
Prior art keywords
distortion
data
image block
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510217402.1A
Other languages
English (en)
Other versions
CN104902139A (zh
Inventor
赵文慧
马金波
范传国
王冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Pico Technology Co Ltd
Original Assignee
Beijing Pico Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Pico Technology Co Ltd filed Critical Beijing Pico Technology Co Ltd
Priority to CN201510217402.1A priority Critical patent/CN104902139B/zh
Publication of CN104902139A publication Critical patent/CN104902139A/zh
Priority to US15/140,636 priority patent/US10578868B2/en
Application granted granted Critical
Publication of CN104902139B publication Critical patent/CN104902139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/18—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors
    • G02B7/182—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors for mirrors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/147—Optical correction of image distortions, e.g. keystone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/001—Arbitration of resources in a display system, e.g. control of access to frame buffer by video controller and/or main processor

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Geometry (AREA)

Abstract

本发明公开了一种头戴显示器和头戴显示器的视频数据处理方法，该头戴显示器包括：视频输入模块，畸变处理模块和视频输出模块，头戴显示器根据畸变处理后图像的图形对应关系将视频中的各图像帧分为多块具有对称性的图像块，对任一图像块进行畸变处理，再根据图形对应关系得到了当前图像帧畸变处理后的数据。本发明提供的技术方案通过对图像帧的分块，实现了以块为单位进行视频中图像数据的传输和处理，代替了现有技术中以帧为单位的方案，从而避免内部存储空间有限的问题；并且对于一个图像帧，只需选取单一图像块即可完成对整个图像帧的畸变处理，大大提高了视频数据的畸变处理效率，保证视频播放流畅，给用户更为完美的视觉体验。

Description

一种头戴显示器和头戴显示器的视频数据处理方法
技术领域
本发明涉及可视设备技术领域，尤其涉及一种头戴显示器和头戴显示器的视频数据处理方法。
背景技术
随着科技的发展，头戴式显示器已逐渐民用化，为越来越多的人提供高品质的视觉体验。当头戴显示器显示输出视频时，显示屏发出的光经过透镜组入射到用户的眼睛中，由于光在传播过程中会产生光学畸变，使得用户所看到的图像相比于显示屏所显示的图像是变形的。为了让用户看到正常图像，需要预先对视频数据进行畸变处理，在显示屏上显示畸变处理后的视频，该畸变可以抵消光在透镜组中传播过程中产生的光学畸变，使得用户能够看到正常的2D或3D效果。
现有技术中，头戴显示器对视频数据的畸变处理是通过对视频中的各图像帧进行畸变处理，具体地，利用FPGA以帧为单位对图像数据进行畸变处理。但由于FPGA的存储空间有限，同时运算能力的限制和传输带宽的限制，单一图像帧的处理需要存储大量数据，因此按照帧为单位处理是行不通的。，同时大量数据处理导致畸变处理带宽利用率低，畸变处理效率低下，无法保证视频播放流畅，不满足用户观看需求。
发明内容
鉴于上述问题，本发明提供了一种头戴显示器和头戴显示器的视频数据处理方法，以解决上述问题或者至少部分地解决上述问题。
依据本发明的一个方面，提供了一种头戴显示器，该头戴显示器包括：
视频输入模块，用于接收视频源设备输入的视频数据，将视频数据中的各图像帧数据依次输出给畸变处理模块；
畸变处理模块，用于根据畸变处理后畸变图像的图形对应关系将输入的每帧图像分为多块具有对称性的图像块；根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据；再根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据；
视频输出模块，用于将畸变处理后的各图像帧数据按照帧率依次输出给头戴显示器的显示屏。
可选地，该头戴显示器进一步包括：图形缩放模块；
视频输入模块，进一步用于将视频数据中的各图像帧数据依次输出给图形缩放模块；
图形缩放模块，用于将图像帧转成统一格式，并将统一格式的图像帧数据输出给畸变处理模块。
可选地，畸变处理模块包括：
DDR读写控制模块，用于控制数据的读写来实现畸变算法，该畸变处理算法指示了同一图像帧畸变处理前后像素点的坐标映射Map关系；以及用于接收输入的图像帧数据；根据所述图形对应关系将每帧图像分为多块具有对称性的图像块，控制图像块数据的写入和读出；
视频数据缓存模块，用于从DDR读写控制模块获取并缓存图像块数据，将缓存的图像块数据输出给畸变数据获取模块；
Map数据缓存模块，用于从DDR读写控制模块获取并缓存所述Map关系，将缓存的Map关系输出给畸变数据获取模块；
畸变数据获取模块，用于根据所述Map关系，将图像块的畸变处理前坐标上的像素点的像素值通过插值算法赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据；再根据所述图形对应关系，通过镜像关系得到当前图像帧畸变处理后的数据。
可选地，畸变数据获取模块，进一步用于对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值，通过插值计算得到该像素点的最优像素值，将该最优像素值赋值给畸变处理后对应坐标上的像素点，根据畸变处理前图像块上的所有像素点的最优像素值，得到该图像块畸变处理后的数据。
可选地，畸变数据获取模块，进一步用于将畸变处理前图像块的坐标数据放大一定倍数；将所述Map关系中的坐标数据的相应小数数位舍去，将舍去相应小数数位的坐标数据放大一定倍数后取整，得到整数形式的Map关系；根据该整数形式的Map关系，将放大的图像块的畸变处理前坐标上的像素点的最优像素值赋值给畸变处理后对应坐标上的像素点，得到放大畸变处理后的图像块数据；将放大畸变处理后的图像块的坐标数据通过移位缩小一定倍数，得到该图像块经畸变处理后的数据。
依据本发明的另一个方面，提供了一种头戴显示器的视频数据处理方法，该方法包括：
接收视频源设备输入的视频数据；
根据畸变处理后畸变图像的图形对应关系将输入视频中的每帧图像分为多块具有对称性的图像块；
根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据；
根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据；
将畸变处理后的各图像帧数据按照帧率依次输出给头戴显示器的显示屏。
可选地，在根据畸变处理后畸变图像的图形对应关系将输入视频中的每帧图像分为多块图像之前，该方法进一步包括：
将输入视频中的图像帧转成统一格式。
可选地，根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据包括：根据同一图像帧畸变处理前后像素点的坐标映射Map关系，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据；
根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据包括：根据所述图形对应关系和所述图像块畸变处理后的数据，通过镜像关系得到当前图像帧畸变处理后的数据。
可选地，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据包括：
对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值，通过插值计算得到该像素点的最优像素值，将该最优像素值赋值给畸变处理后对应坐标上的像素点；
根据畸变处理前图像块上的所有像素点的最优像素值，得到该图像块畸变处理后的数据。
可选地，在对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值之前，该方法进一步包括：
将畸变处理前图像块的坐标数据放大一定倍数；
将所述Map关系中的坐标数据的相应小数数位舍去，将舍去相应小数数位的坐标数据放大一定倍数后取整，得到整数形式的Map关系；
将最优像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据包括：
根据所述整数形式的Map关系，将放大的图像块的畸变处理前坐标上的像素点的最优像素值赋值给畸变处理后对应坐标上的像素点，得到放大畸变处理后的图像块数据；
将放大畸变处理后的图像块的坐标数据缩小一定倍数，得到该图像块畸变处理后的数据。
由上述可知，本发明提供的技术方案根据畸变处理后图像的图形对应关系将视频数据中的各图像帧分为多块具有对称性的图像块，对多块图像块中的任一图像块进行畸变处理，再根据图形对应关系和该图像块畸变处理后的数据得到了当前图像帧畸变处理后的数据，通过此方案，头戴显示器完成了对于视频中的各图像帧的畸变处理，将畸变处理后的视频在显示屏上显示输出，使得用户看到正常的2D或3D效果。本方案通过对图像帧的分块，实现了以块为单位进行视频中图像数据的传输和处理，代替了现有技术中以帧为单位的方案，这样可以避免畸变处理模块存储空间的限制；并且对于一个图像帧，只需选取单一图像块即可完成对整个图像帧的畸变处理，大大提高了视频数据的畸变处理效率，保证视频播放流畅，给用户更为完美的视觉体验。
附图说明
图1示出了根据本发明一个实施例的一种头戴显示器的示意图；
图2示出了根据本发明另一个实施例的一种头戴显示器的示意图；
图3A示出了根据本发明一个实施例的畸变处理前的图像帧的示意图；
图3B示出了根据本发明一个实施例的畸变处理后的图像帧的示意图；
图3C示出了根据本发明一个实施例的图像帧进行分块畸变处理的示意图；
图4示出了根据本发明一个实施例的一种头戴显示器的视频数据处理方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1示出了根据本发明一个实施例的一种头戴显示器的示意图。如图1所示，该头戴显示器100包括：
视频输入模块110，用于接收视频源设备输入的视频数据，将视频数据中的各图像帧数据依次输出给畸变处理模块。
畸变处理模块120，用于根据畸变处理后畸变图像的图形对应关系将每帧图像分为多块具有对称性的图像块；根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据；再根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据。
视频输出模块130，用于将畸变处理后的各图像帧数据按照帧率依次输出给头戴显示器的显示屏。
本方案中，畸变处理前后，图像帧数据中包括坐标数据和像素值数据，具体表示图像中各个坐标位置上的像素点的像素值，能够反映图像的完整信息。
可见，图1所示头戴显示器根据畸变处理后图像的图形对应关系将视频数据中的各图像帧分为多块具有对称性的图像块，对多块图像块中的任一图像块进行畸变处理，再根据图形对应关系和该图像块畸变处理后的数据得到了当前图像帧畸变处理后的数据，通过此方案，头戴显示器完成了对于视频中的各图像帧的畸变处理，将畸变处理后的视频在显示屏上显示输出，使得用户看到正常的2D或3D效果。本方案通过对图像帧的分块，实现了以块为单位进行视频中图像数据的传输和处理，代替了现有技术中以帧为单位的处理，避免了畸变处理模块存储空间的不够的问题；并且对于一个图像帧，只需选取单一图像块即可完成对整个图像帧的畸变处理，大大提高了视频数据的畸变处理效率，保证视频播放流畅，给用户更为完美的视觉体验。
图2示出了根据本发明另一个实施例的一种头戴显示器的示意图。如图2所示，该头戴显示器200包括：视频输入模块210、图形缩放模块220、畸变处理模块230、视频输出模块240和显示屏250。
如图2所示，在本实施例中，视频输入模块210接收外部视频源设备输入的视频数据，实现对输入视频时序的检测以及视频数据的缓存，并将视频数据中的各图像帧数据依次输出给图形缩放模块220；图形缩放模块220将图像帧转成统一格式，并将统一格式的图像帧数据输出给畸变处理模块230，具体地，本实施例中图形缩放模块220将所有图像帧都转成1080P格式；畸变处理模块230对各图像帧进行畸变处理，将各图像帧畸变处理后的数据输出给视频输出模块240；视频输出模块240将畸变处理后的各图像帧数据按照帧率依次输出给显示屏250供用户观看。
其中，畸变处理模块230包括：DDR读写控制模块231、视频数据缓存模块232、Map数据缓存模块233和畸变数据获取模块234。
DDR读写控制模块231，用于控制数据的读写来实现畸变处理算法，该畸变处理算法指示了同一图像帧畸变处理前后像素点的坐标映射Map关系，该坐标映射Map关系是预先根据头戴显示器200中透镜组的配置通过光学空间传递等计算得到的，能够反映本头戴显示器200所需的畸变处理方式，具体为图像帧中各像素点的坐标变换关系；以及用于接收图形缩放模块220输入的图像帧数据；根据所述图形对应关系将每帧图像分为多块具有对称性的图像块，进行图像块数据的写入和读出；本实施例中，DDR读写控制模块231通过DDR3(Double Data Rate 3，第三代双倍速随机存储器)的辅助进行图像块数据的存储，且DDR读写控制模块231均通过DMA(DirectMemory Access,直接内存访问)技术与其他模块进行图像块数据的写入和读出。
视频数据缓存模块232，用于从DDR读写控制模块获取并缓存图像块数据，将缓存的图像块数据输出给畸变数据获取模块234。
Map数据缓存模块233，用于从DDR读写控制模块获取并缓存与视频数据缓存模块232中缓存的图像块数据对应的坐标映射Map关系，将缓存的坐标映射Map关系输出给畸变数据获取模块234，其中，Map关系的数据也以块为单位进行缓存。
畸变数据获取模块234，用于根据坐标映射Map关系，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到畸变处理后所有对应各坐标上的像素点的像素值，进而得到该图像块畸变处理后的数据；再根据前文所述图形对应关系和得到的图像块畸变处理后的数据，通过镜像关系得到当前图像帧畸变处理后的数据。本实施例中，畸变数据获取模块234将得到的图像帧畸变处理后的数据通过DMA写入DDR读写控制模块231中保存，DDR读写控制模块231进一步将各图像帧畸变处理后的数据输出给视频输出模块240。
图3A示出了根据本发明一个实施例的畸变处理前的图像帧的示意图，图3B示出了根据本发明一个实施例的畸变处理后的图像帧的示意图，图中虚线示出了预设参照系的x轴和y轴，由图3A和图3B可以看出，畸变处理前的图像帧的图形是矩形，畸变处理后的图像帧的图形是桶形的。畸变处理后的图像帧的图形关于x轴上下对称、关于y轴左右对称，依据该图形对应关系，为了减少处理数据量，在畸变处理过程中，将图3A所示的图像帧通过x轴和y轴分为4块具有对称性的图像块，任选其中一图像块(如第一象限中的图像块)进行畸变处理，得到该图像块畸变处理后的数据，再根据对称性通过镜像关系得到如图3B所示的畸变处理后的图像帧。
具体地，图3C示出了根据本发明一个实施例的图像帧进行分块畸变处理的示意图。如图3C所示，将未畸变处理的图像帧(矩形图形)按照所述图形对应关系将该图像帧分成四块图像块：01-Part1，02-Part1,01-Part2和02-Part2，由上下左右对称关系，只要需要知道其中一个图像块的对应Map关系，根据该Map完成对该图像块的畸变处理就可以完成对另外三块图像块的畸变处理。因此，选取单一图像块01-Part1，在该单一图像块内部进一步分为多个小图像块，如图3C中所示的小图像块1、小图像块2、小图像块3和小图像块4，根据小图像块1对应的Map关系对小图像块1进行畸变处理，得到畸变处理后的小图像块1，根据所述图形对应关系可知，小图像块1的Map关系分别与其他三个图像块中的小图像块1A、小图像块1D和小图像块1C相同，进而得到畸变处理后的小图像块1A、畸变处理后的小图像块1B和畸变处理后的小图像块1C；同理，对小图像块2的畸变处理，能够得到其他三个图像块中的小图像块2A、小图像块2D和小图像块2C的畸变处理结果；以此类推，完成对单一图像块01-Part1的畸变处理，也就完成了对整个图像帧的畸变处理。又由于从图3B可以看到畸变处理后的图像帧的边界压缩程度大，中间压缩程度小，所以边界块数据量小，中间块数据量大。为了平横带宽速率，本实施例在依次处理单一图像块中的各小图像块时，采用边界小图像块和中间小图像块交替处理的方式来处理数据，即在本实施例中，对于图像块01-Part1的畸变处理，先处理边界小图像块1，再处理中间小图像块2，再处理边界小图像块3，再处理中间小图像块4，依次类推，直至完成图像块的处理。在上面处理过程中，我们采用最大块和最小块相结合的方式，同时也采用对称关系处理相应的对称块。这样做可以避免畸变处理模块内部存储空间的限制，同时减少需要存储的Map关系数据量。
由于本案中所述的各实施例公开的是对于用户的单眼来说，对单眼所接收的图像帧进行畸变处理的方案，对于用户的双眼来说，由于左右两眼所接收的畸变处理的图像帧是一样的，所以将对应于用户单眼的畸变处理后的图像帧经过坐标平移即可实现对应于用户双眼的畸变处理后的图像帧。
在本发明的一个实施例中，为了提高畸变处理后的图像质量，避免其中像素值的突变，图2所示畸变处理模块230中的畸变数据获取模块234，进一步用于对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值，通过插值计算得到该像素点的最优像素值，将该最优像素值赋值给畸变处理后对应坐标上的像素点，根据畸变处理前图像块上的所有像素点的最优像素值，得到畸变处理后所有对应各坐标上的像素点的最优像素值，进而得到该图像块畸变处理后的数据。其中，对像素点周围的多个像素点的像素值进行插值计算可以是对多个像素点的像素值求均值的计算，该处理过程使得镜畸变处理后的图像中像素值变化曲线更加连续平滑，避免了像素值的突变，满足用户的视觉需求。
在本发明的另一个实施例中，由于坐标映射Map关系中的坐标数据的小数可达15位，但是头戴显示器200中畸变处理模块230的数学计算能力有限，如果直接将Map关系中的坐标数据取整，通过Matlab仿真验证发现畸变处理后的图像帧的失真严重，因此在保证用户可以接收的视觉精度范围内，畸变数据获取模块234，进一步用于将畸变处理前图像块的坐标数据放大一定倍数；将所述Map关系中的坐标数据的相应小数数位舍去，将舍去相应小数数位的坐标数据放大一定倍数后取整，得到整数形式的Map关系；根据该整数形式的Map关系，将放大的图像块的畸变处理前坐标上的像素点的最优像素值赋值给畸变处理后对应坐标上的像素点，得到放大畸变处理后的图像块数据；将放大畸变处理后的图像块的坐标数据缩小一定倍数，得到该图像块经畸变处理后的数据。该处理方式可以避免直接用小数进行处理，并且能够保证畸变处理后图像块数据精度。本方案在前期利用Matlab验证了对Map关系中坐标数据的处理的有效范围，在不影响用户视觉体验的前提下降低了畸变处理模块230的数学运算负担，提高了畸变处理的效率。
在一个具体的实施例中，一种已被验证有效的对Map关系中坐标数据的处理方式为：保留3位小数，放大8倍后取整。
图4示出了根据本发明一个实施例的一种头戴显示器的视频数据处理方法的流程图。如图4所示，该方法包括：
步骤S410，接收视频源设备输入的视频数据。
步骤S420，根据畸变处理后畸变图像的图形对应关系将输入视频中的每帧图像分为多块具有对称性的图像块。
步骤S430，根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据。
步骤S440，根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据。
步骤S450，将畸变处理后的各图像帧数据按照帧率依次输出给头戴显示器的显示屏。
可见，图4所示方法根据畸变处理后图像的图形对应关系将视频数据中的各图像帧分为多块具有对称性的图像块，对多块图像块中的任一图像块进行畸变处理，再根据图形对应关系和该图像块畸变处理后的数据得到了当前图像帧畸变处理后的数据，通过此方案，完成了对于视频中的各图像帧的畸变处理，将畸变处理后的视频在显示屏上显示输出，使得用户看到正常的2D或3D效果。本方案通过对图像帧的分块，实现了以块为单位进行视频中图像数据的传输和处理，代替了现有技术中以帧为单位的处理，大大提高了传输带宽的利用率；并且对于一个图像帧，只需选取单一图像块即可完成对整个图像帧的畸变处理，大大提高了视频数据的畸变处理效率，保证视频播放流畅，给用户更为完美的视觉体验。
在本发明的一个实施例中，图4所示方法在根据畸变处理后畸变图像的图形对应关系将输入视频中的每帧图像分为多块图像之前，该方法进一步包括：将输入视频中的图像帧转成统一格式。
在本发明的一个实施例中，图4所示方法的各个步骤的具体实现方式如下：
步骤S430根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据包括：根据同一图像帧畸变处理前后像素点的坐标映射Map关系，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据。
具体地，为了提高畸变处理后的图像质量，避免其中像素值的突变，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据是指：对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值，通过插值计算得到该像素点的最优像素值，将该最优像素值赋值给畸变处理后对应坐标上的像素点；根据畸变处理前图像块上的所有像素点的最优像素值，得到该图像块畸变处理后的数据。
步骤S440根据所述图形对应关系和所述图像块畸变处理后的数据，得到当前图像帧畸变处理后的数据包括：根据所述图形对应关系和所述图像块畸变处理后的数据，通过镜像关系得到当前图像帧畸变处理后的数据。
在本发明的另一个实施例中，为了在保证用户可以接收的视觉精度范围内的前提下降低畸变处理过程的数学运算负担，图4所示方法的步骤S430根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据包括：
步骤S431，将畸变处理前图像块的坐标数据放大一定倍数。
步骤S432，将所述Map关系中的坐标数据的相应小数数位舍去，将舍去相应小数数位的坐标数据放大一定倍数后取整，得到整数形式的Map关系。
步骤S433，根据所述整数形式的Map关系，将放大的图像块的畸变处理前坐标上的像素点的最优像素值赋值给畸变处理后对应坐标上的像素点，得到放大畸变处理后的图像块数据。
步骤S434，将放大畸变处理后的图像块的坐标数据缩小一定倍数，得到该图像块畸变处理后的数据。
图4所示的头戴显示器的视频数据处理方法的各实施例与上文中头戴显示器中各模块进行视频数据处理过程的各实施例相互对应，上文中已详细说明，在此不再赘述。
综上所述，本发明提供的技术方案完成了对于视频中的各图像帧的畸变处理，将畸变处理后的视频在显示屏上显示输出，使得用户看到正常的2D或3D效果。本方案具有以下有益效果：1、通过对图像帧的分块，实现了以块为单位进行视频中图像数据的传输和处理，代替了现有技术中以帧为单位的处理，从而使数据按照块来存储，这样减少了存储的数据量；2、对于一个图像帧，只需选取单一图像块即可完成对整个图像帧的畸变处理，大大提高了视频数据的畸变处理效率；3、通过在对图像块的畸变处理中插值计算每个像素点上的最优像素值，使得畸变处理后的图像帧中像素值变化更加平滑，提高了畸变处理质量；4、通过对坐标映射Map关系中的坐标数据的处理，提高了畸变处理的精度。以上有益效果保证了头戴显示器的视频播放流畅，给用户更为完美的视觉体验。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种头戴显示器，其特征在于，该头戴显示器包括：
视频输入模块，用于接收视频源设备输入的视频数据，将视频数据中的各图像帧数据依次输出给畸变处理模块；
畸变处理模块，用于根据畸变图像图形对应关系将每帧图像分为多块具有对称性的图像块；根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据；再根据所述图形对应关系和所述图像块畸变处理后的数据，通过镜像关系得到当前图像帧畸变处理后的数据；
视频输出模块，用于将畸变处理后的各图像帧数据按照帧率依次输出给头戴显示器的显示屏；
其中，畸变处理模块包括：DDR读写控制模块，用于存储畸变处理算法，该畸变处理算法指示了同一图像帧畸变处理前后像素点的坐标映射Map关系；畸变数据获取模块，用于根据图像块的所述Map关系，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据。
2.如权利要求1所述的头戴显示器，其特征在于，该头戴显示器进一步包括：图形缩放模块；
视频输入模块，进一步用于将视频数据中的各图像帧数据依次输出给图形缩放模块；
图形缩放模块，用于将图像帧转成统一格式，并将统一格式的图像帧数据输出给畸变处理模块。
3.如权利要求2所述的头戴显示器，其特征在于，畸变处理模块还包括：
DDR读写控制模块，还用于接收输入的图像帧数据；根据所述图形对应关系将每帧图像分为多块具有对称性的图像块，进行图像块数据的写入和读出；
视频数据缓存模块，用于从DDR读写控制模块获取并缓存图像块数据，将缓存的图像块数据输出给畸变数据获取模块；
Map数据缓存模块，用于从DDR读写控制模块获取并缓存所述Map关系，将缓存的Map关系输出给畸变数据获取模块。
4.如权利要求3所述的头戴显示器，其特征在于，
畸变数据获取模块，进一步用于对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值，通过插值计算得到该像素点的最优像素值，将该最优像素值赋值给畸变处理后对应坐标上的像素点，根据畸变处理前图像块上的所有像素点的最优像素值，得到该图像块畸变处理后的数据。
5.如权利要求4所述的头戴显示器，其特征在于，
畸变数据获取模块，进一步用于将畸变处理前图像块的坐标数据放大一定倍数；将所述Map关系中的坐标数据的相应小数数位舍去，将舍去相应小数数位的坐标数据放大一定倍数后取整，得到整数形式的Map关系；根据该整数形式的Map关系，将放大的图像块的畸变处理前坐标上的像素点的最优像素值赋值给畸变处理后对应坐标上的像素点，得到放大畸变处理后的图像块数据；将放大畸变处理后的图像块的坐标数据缩小一定倍数，得到该图像块经畸变处理后的数据。
6.一种头戴显示器的视频数据处理方法，其特征在于，该方法包括：
接收视频源设备输入的视频数据；
根据畸变畸变图像图形对应关系将输入视频中的每帧图像分为多块具有对称性的图像块；
根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据；
根据所述图形对应关系和所述图像块畸变处理后的数据，通过镜像关系得到当前图像帧畸变处理后的数据；
将畸变处理后的各图像帧数据按照帧率依次输出给头戴显示器的显示屏；
其中，根据畸变处理算法对多块图像块中任一图像块进行畸变处理，得到该图像块畸变处理后的数据包括：根据同一图像帧畸变处理前后像素点的坐标映射Map关系中所述图像块的Map关系，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据。
7.如权利要求6所述的方法，其特征在于，在根据畸变处理后畸变图像的图形对应关系将输入视频中的每帧图像分为多块图像之前，该方法进一步包括：
将输入视频中的图像帧转成统一格式。
8.如权利要求6所述的方法，其特征在于，将图像块的畸变处理前坐标上的像素点的像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据包括：
对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值，通过插值计算得到该像素点的最优像素值，将该最优像素值赋值给畸变处理后对应坐标上的像素点；
根据畸变处理前图像块上的所有像素点的最优像素值，得到该图像块畸变处理后的数据。
9.如权利要求8所述的方法，其特征在于，在对于畸变处理前图像块上的每个像素点，获取该像素点周围的多个像素点的像素值之前，该方法进一步包括：
将畸变处理前图像块的坐标数据放大一定倍数；
将所述Map关系中的坐标数据的相应小数数位舍去，将舍去相应小数数位的坐标数据放大一定倍数后取整，得到整数形式的Map关系；
将最优像素值赋值给畸变处理后对应坐标上的像素点，得到该图像块畸变处理后的数据包括：
根据所述整数形式的Map关系，将放大的图像块的畸变处理前坐标上的像素点的最优像素值赋值给畸变处理后对应坐标上的像素点，得到放大畸变处理后的图像块数据；
将放大畸变处理后的图像块的坐标数据缩小一定倍数，得到该图像块畸变处理后的数据。
CN201510217402.1A 2015-04-30 2015-04-30 一种头戴显示器和头戴显示器的视频数据处理方法 Active CN104902139B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510217402.1A CN104902139B (zh) 2015-04-30 2015-04-30 一种头戴显示器和头戴显示器的视频数据处理方法
US15/140,636 US10578868B2 (en) 2015-04-30 2016-04-28 Head-mounted display and video data processing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510217402.1A CN104902139B (zh) 2015-04-30 2015-04-30 一种头戴显示器和头戴显示器的视频数据处理方法

Publications (2)

Publication Number Publication Date
CN104902139A CN104902139A (zh) 2015-09-09
CN104902139B true CN104902139B (zh) 2018-10-26

Family

ID=54034512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510217402.1A Active CN104902139B (zh) 2015-04-30 2015-04-30 一种头戴显示器和头戴显示器的视频数据处理方法

Country Status (2)

Country Link
US (1) US10578868B2 (zh)
CN (1) CN104902139B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106646869B (zh) * 2015-10-30 2019-07-26 上海和辉光电有限公司 一种虚拟实境显示装置
US10373297B2 (en) * 2016-10-26 2019-08-06 Valve Corporation Using pupil location to correct optical lens distortion
US10573040B2 (en) * 2016-11-08 2020-02-25 Adobe Inc. Image modification using detected symmetry
CN106780291B (zh) * 2017-01-03 2020-06-23 珠海全志科技股份有限公司 一种实时畸变图像处理加速装置
CN107220925B (zh) * 2017-05-05 2018-10-30 珠海全志科技股份有限公司 一种实时虚拟现实加速方法及装置
WO2019128748A1 (zh) * 2017-12-31 2019-07-04 深圳市虚拟现实科技有限公司 一种虚拟现实显示装置及其方法
CN111684784B (zh) * 2019-04-23 2022-10-25 深圳市大疆创新科技有限公司 图像处理方法和装置
CN112835759A (zh) * 2021-02-01 2021-05-25 百度在线网络技术（北京）有限公司 测试数据处理方法、装置、电子设备以及存储介质
CN113643185B (zh) * 2021-07-02 2023-08-18 西安电子科技大学 一种便携式视频图像旋转装置及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201780766U (zh) * 2010-08-05 2011-03-30 中航华东光电有限公司 数字式头盔显示器实时电子预畸变校正系统
CN102982516A (zh) * 2012-10-25 2013-03-20 西安理工大学 一种基于半球环形全景镜头实现全景图像的方法
CN103533213A (zh) * 2012-07-03 2014-01-22 索尼公司 图像信号处理装置、图像信号处理方法和程序
CN104253989A (zh) * 2014-06-09 2014-12-31 黄石 全视角图像显示装置
CN104469440A (zh) * 2014-04-16 2015-03-25 成都理想境界科技有限公司 视频播放方法、视频播放器及对应的播放设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5796426A (en) * 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
US6456340B1 (en) * 1998-08-12 2002-09-24 Pixonics, Llc Apparatus and method for performing image transforms in a digital display system
KR101127962B1 (ko) * 2008-12-22 2012-03-26 한국전자통신연구원 영상 처리 장치 및 영상 처리를 위한 프레임 메모리 관리 방법
KR20120055102A (ko) * 2010-11-23 2012-05-31 삼성전자주식회사 영상처리장치 및 영상처리방법
US8675115B1 (en) * 2011-02-14 2014-03-18 DigitalOptics Corporation Europe Limited Forward interpolation approach for constructing a second version of an image from a first version of the image
JP5910157B2 (ja) * 2012-02-23 2016-04-27 株式会社リコー 画像投射装置
CN103377030B (zh) * 2012-04-26 2016-12-21 华为技术有限公司 图像旋转控制方法及装置
US9077973B2 (en) * 2012-06-29 2015-07-07 Dri Systems Llc Wide field-of-view stereo vision platform with dynamic control of immersive or heads-up display operation
US9811884B2 (en) * 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
WO2015089113A1 (en) * 2013-12-09 2015-06-18 North Carolina State University Methods, systems, and computer readable media for measuring and correcting drift distortion in images obtained using a scanning microscope
US10228562B2 (en) * 2014-02-21 2019-03-12 Sony Interactive Entertainment Inc. Realtime lens aberration correction from eye tracking
US9691181B2 (en) * 2014-02-24 2017-06-27 Sony Interactive Entertainment Inc. Methods and systems for social sharing head mounted display (HMD) content with a second screen

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201780766U (zh) * 2010-08-05 2011-03-30 中航华东光电有限公司 数字式头盔显示器实时电子预畸变校正系统
CN103533213A (zh) * 2012-07-03 2014-01-22 索尼公司 图像信号处理装置、图像信号处理方法和程序
CN102982516A (zh) * 2012-10-25 2013-03-20 西安理工大学 一种基于半球环形全景镜头实现全景图像的方法
CN104469440A (zh) * 2014-04-16 2015-03-25 成都理想境界科技有限公司 视频播放方法、视频播放器及对应的播放设备
CN104253989A (zh) * 2014-06-09 2014-12-31 黄石 全视角图像显示装置

Also Published As

Publication number Publication date
CN104902139A (zh) 2015-09-09
US20160321787A1 (en) 2016-11-03
US10578868B2 (en) 2020-03-03

Similar Documents

Publication Publication Date Title
CN104902139B (zh) 一种头戴显示器和头戴显示器的视频数据处理方法
CN109618090B (zh) 对通过使用广角透镜捕获的图像的图像失真校正的方法和系统
CN107274338B (zh) 用于深度图的低等待时间变形的系统、方法和装置
US20170206689A1 (en) Image distortion compensation display device and image distortion compensation method using the same
WO2018201652A1 (zh) 一种实时虚拟现实加速方法及装置
CN102263880B (zh) 一种图像缩放的方法和装置
US11100899B2 (en) Systems and methods for foveated rendering
CN111199518B (zh) Vr设备的图像呈现方法、装置、设备和计算机存储介质
WO2016043872A1 (en) Real time skin smoothing image enhancement filter
US8928782B2 (en) Image processing device and image capture device
US8888296B2 (en) LCOS projector having signal correction processing based on projection lens distortion
EP2662837A2 (en) Real-time order-independent transparent rendering
CN109785265A (zh) 畸变矫正图像处理方法及图像处理装置
WO2019205937A1 (zh) 瞳孔中心定位装置和方法、虚拟现实设备
US9269130B2 (en) Image correction method using approximately non-linear regression approach and related image correction circuit
GB2564866A (en) Method of and data processing system for providing an output surface
CN103428449B (zh) 数字图像数据畸变的修正装置及方法
CN104780374A (zh) 一种基于亮度编码的帧缓存有损压缩方法及装置
CN117750003A (zh) 一种基于fpga的实时高分辨率双目相机畸变校正实现方法
CN102821236B (zh) 基于分离式二维压缩感知理论的压缩成像系统
Motten et al. Adaptive memory architecture for real-time image warping
US20220222771A1 (en) Multi-directional rolling cache and methods therefor
US11106042B2 (en) Image processing apparatus, head-mounted display, and image displaying method
Guo et al. Real-time image distortion correction system based on improved bilinear interpolation algorithm
JPH0737079A (ja) 画像歪み補正方法及び装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant