CN108769662A - 一种多视点裸眼3d图像空洞填补方法、装置及电子设备 - Google Patents

一种多视点裸眼3d图像空洞填补方法、装置及电子设备 Download PDF

Info

Publication number
CN108769662A
CN108769662A CN201810717779.7A CN201810717779A CN108769662A CN 108769662 A CN108769662 A CN 108769662A CN 201810717779 A CN201810717779 A CN 201810717779A CN 108769662 A CN108769662 A CN 108769662A
Authority
CN
China
Prior art keywords
hole
pixel point
filling
pixel
nonzero
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810717779.7A
Other languages
English (en)
Other versions
CN108769662B (zh
Inventor
代斌
张小牤
习艳会
孙炎
高延凯
毕育欣
时凌云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810717779.7A priority Critical patent/CN108769662B/zh
Publication of CN108769662A publication Critical patent/CN108769662A/zh
Priority to US16/438,792 priority patent/US11043152B2/en
Application granted granted Critical
Publication of CN108769662B publication Critical patent/CN108769662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/007—Use of pixel shift techniques, e.g. by mechanical shift of the physical pixels or by optical shift of the perceived pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G09G3/3225—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix
    • G09G3/3233—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix with pixel circuitry controlling the current through the light-emitting element
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G09G3/3275—Details of drivers for data electrodes
    • G09G3/3291—Details of drivers for data electrodes in which the data driver supplies a variable data voltage for setting the current through, or the voltage across, the light-emitting elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3607—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals for displaying colours or for displaying grey scales with a specific pixel layout, e.g. using sub-pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/08—Active matrix structure, i.e. with use of active elements, inclusive of non-linear two terminal elements, in the pixels together with light emitting or modulating elements
    • G09G2300/0809—Several active elements per pixel in active matrix panels
    • G09G2300/0819—Several active elements per pixel in active matrix panels used for counteracting undesired variations, e.g. feedback or autozeroing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/04—Maintaining the quality of display appearance
    • G09G2320/043—Preventing or counteracting the effects of ageing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种多视点裸眼3D图像空洞填补方法，包括：将参考相机图像中的第一像素点映射到虚拟相机图像中的第二像素点；依次判断与任意两个在行方向上相邻的所述第一像素点存在映射关系的两个所述第二像素点之间是否存在空洞；若是，则对所述空洞进行标记；根据至少一个与所述空洞相邻的非零第二像素点填充所述空洞。所述方法有助于提升裸眼3D显示画质，给消费者带来更加舒适的裸眼3D显示。

Description

一种多视点裸眼3D图像空洞填补方法、装置及电子设备
技术领域
本发明涉及多视点裸眼3D显示领域，特别是指一种多视点裸眼3D图像空洞填补方法、装置及电子设备。
背景技术
随着显示技术的发展，3D显示技术得到了广泛的应用。3D显示技术的基本原理是：通过视差来使观众产生一种立体的观影效果。在观看立体电视的过程中，观众通过在自己的左右眼同时观察到的不同的视频图像，在大脑中融合产生一个具有深度效果的立体图像。
裸眼3D显示技术观众不需要佩戴任何设备，这是未来的一种主要显示方式。针对裸眼3D存在观察点少、视点不连续的问题，研究者提出了多视点裸眼3D技术，该技术利用棱镜产生多视点的图像，观众能在不同位置都能看到立体图像，但该技术存在一个问题是多视点的图像获取，如采用相机拍摄，例如8视点3D需要8台摄像机进行拍摄，摄像机数量的增多，导致拍摄成本的提高，同时不同摄像机的标定也是一个问题。因此，如何根据一个摄像机拍摄的图像产生虚拟视点的图像具有节约成本，数据传输量少的优点，现有的技术中基于深度图的虚拟视点绘制技术(Depth Image Based Rendering)能解决裸眼3D数据获取问题，但该方法中对原始的参考相机图像进行3D变换后获得的虚拟相机图像很容易产生图像空洞，影响图像的显示画质和观看效果。
发明内容
有鉴于此，本发明实施例的目的在于提出一种多视点裸眼3D图像空洞填补方法、装置及电子设备，能够对图像变换后产生的图像空洞进行填充。
基于上述目的本发明实施例提供的一种多视点裸眼3D图像空洞填补方法，包括：
将参考相机图像中的第一像素点映射到虚拟相机图像中的第二像素点；
依次判断与任意两个在行方向上相邻的所述第一像素点存在映射关系的两个所述第二像素点之间是否存在空洞；
若是，则对所述空洞进行标记；
根据至少一个与所述空洞相邻的非零第二像素点填充所述空洞。
可选的，所述依次判断与任意两个在行方向上相邻的所述第一像素点存在映射关系的两个所述第二像素点之间是否存在空洞包括：
判断两个所述第二像素点的水平坐标的差值是否大于1，若是，则两个所述第二像素点之间存在所述空洞。
可选的，所述对所述空洞进行标记包括：向所述空洞填充特定的颜色。
可选的，所述对所述空洞进行标记之后，还包括：根据所述标记确定所述空洞的坐标。
可选的，所述确定所述空洞的坐标之后还包括：逐行扫描所述虚拟相机图像中的所述第二像素点，确定每一行中是否存在至少三个连续排布的所述空洞。
可选的，若不存在至少三个连续排布的所述空洞，所述根据至少一个与所述空洞相邻的所述非零第二像素点填充所述空洞，包括：
从以所述空洞为中心的像素阵列中获取至少一个所述非零第二像素点，计算所述空洞在至少一个所述非零第二像素点所在方向上的梯度，选择梯度最小的方向上的所述非零第二像素点填充所述空洞。
可选的，若存在至少三个连续排布的所述空洞且所述虚拟相机图像相对于所述参考相机图像右移，则从左至右依次对每个所述空洞执行步骤：
从以所述空洞为中心的像素阵列中获取至少一个所述非零第二像素点，计算所述空洞在至少一个所述非零第二像素点所在方向上的梯度，选择梯度最小的方向上的所述非零第二像素点填充所述空洞。
可选的，若存在至少三个连续排布的所述空洞且所述虚拟相机图像相对于所述参考相机图像左移，则从右至左依次对每个所述空洞执行步骤：
从以所述空洞为中心的像素阵列中获取至少一个所述非零第二像素点，计算所述空洞在至少一个所述非零第二像素点所在方向上的梯度，选择梯度最小的方向上的所述非零第二像素点填充所述空洞。
可选的，所述从以所述空洞为中心的像素阵列中获取至少一个所述非零第二像素点，包括：从所述像素阵列中获取所述空洞的不同方向邻域上的四个所述非零像素点。
本发明实施例还提供一种多视点裸眼3D图像空洞填补装置，包括：
映射模块，用于将参考相机图像中的第一像素点映射到虚拟相机图像中的第二像素点；
判断模块，用于依次判断与任意两个在行方向上相邻的所述第一像素点存在映射关系的两个所述第二像素点之间是否存在空洞；
标记模块，用于对所述空洞进行标记；
填充模块，用于根据至少一个与所述空洞相邻的非零第二像素点填充所述空洞。
本发明实施例还提供一种电子设备，包括至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-9任意一项所述的方法。
从上面所述可以看出，本发明是实施例提供的多视点裸眼3D图像空洞填补方法、装置及电子设备，将参考相机图像作为输入图像，参考相机图像经3D图像变换后得到虚拟相机图像，虚拟相机图像产生的空洞问题，通过本发明实施例所述方法检测出虚拟相机图像中的空洞以及空洞的位置等信息，之后根据至少一个与所述空洞相邻的非零第二像素点对空洞进行填充，最后得到输出图像。通过上述实施例所述方法有助于提升裸眼3D显示画质，给消费者带来更加舒适的裸眼3D显示。
附图说明
图1为参考相机图像与虚拟相机图像的映射关系示意图；
图2为空洞产生原理示意图；
图3为本发明实施例所述多视点裸眼3D图像空洞填补方法的原理图；
图4为本发明实施例所述多视点裸眼3D图像空洞填补方法的流程图；
图5为本发明实施例单空洞示意图；
图6为本发明实施例双空洞示意图；
图7为本发明实施例图像右移空洞示意图；
图8为本发明实施例图像左移空洞示意图；
图9为本发明实施例所述多视点裸眼3D图像空洞填补装置结构示意图；
图10为本发明实施例所述电子设备结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
图1为参考相机图像与虚拟相机图像的映射关系示意图；图2为空洞产生原理示意图。
参照图1所示，参考像机为在真实场景中进行拍摄的相机，对参考像机拍摄的参考相机图像进行3D图像变换求出虚拟像机1、虚拟像机2等多台虚拟相机图像。3D图像变换过程为：将参考相机图像的水平方向像素进行平移，垂直方向像素点位置不变，即可得到虚拟相机图像。对3D图像变换时，可以根据移轴算法进行计算，变换公式为：
其中，(u*,v*)表示虚拟相机图像中像素的坐标，(u,v)表示参考相机图像中像素的坐标，au表示像机参数，tx表示虚拟相机与参考相机之间的物理距离，Z表示拍摄像素点的深度值，Zc表示零视差平面的深度值，Zc值可以根据实际观看人员习惯进行调节。
在上述3D图像变换过程中，在得到虚拟相机图像的过程中，参考相机图像上相邻位置的像素点映射到虚拟相机图像上时可能并不相邻，即参考相机图像上的可见物体在虚拟相机图像上绘制时可能发生扩张。参照图2所示，在参考相机图像上F和B是相邻的两个像素点，映射到虚拟相机图像上后，F映射到F'，B映射到B'，F'和B'之间没有像素点的映射时就会出现空洞。
为解决上述问题，本发明实施例提出一种多视点裸眼3D图像空洞填补方法，图3为本发明实施例所述多视点裸眼3D图像空洞填补方法的原理图，图4为本发明实施例所述多视点裸眼3D图像空洞填补方法的流程图，所述多视点裸眼3D图像空洞填补方法包括：
步骤101，将参考相机图像中的第一像素点映射到虚拟相机图像中的第二像素点。
步骤102，依次判断与任意两个在行方向上相邻的所述第一像素点存在映射关系的两个所述第二像素点之间是否存在空洞。
步骤103，若是，则对所述空洞进行标记。
步骤104，根据至少一个与所述空洞相邻的非零第二像素点填充所述空洞。
在上述实施例中，将参考相机图像作为输入图像，参考相机图像经移轴算法变换后得到虚拟相机图像，虚拟相机图像产生的空洞，采用步骤102-103中所述的方法检测出虚拟相机图像中的空洞以及空洞的位置等信息，之后采用后采用步骤104所述的方法对空洞进行填充，最后得到输出图像。上述实施例所述方法有助于提升裸眼3D显示画质，给消费者带来更加舒适的裸眼3D显示。
在本发明的另一些实施例中，所述依次判断与任意两个在行方向上相邻的所述第一像素点存在映射关系的两个所述第二像素点之间是否存在空洞包括：判断两个所述第二像素点的水平坐标的差值是否大于1，若是，则两个所述第二像素点之间存在所述空洞。参照图2所示，若F、B点映射到虚拟相机图像中F'的水平坐标为Xf、B'的水平坐标为Xb，若满足|Xb-Xf|＞1，则F'、B'之间存在空洞。
在上述实施例中，由于参考相机图像中的第一像素点映射到虚拟相机图像中的第二像素点时，只有水平坐标变化，因此只比较水平坐标即可确定映射后的两个第二像素点之间是否存在空洞。若映射后的两个第二像素点仍然相邻，则二者水平坐标之差为1；若映射后的两个第二像素点之间存在空洞，则二者水平坐标之差会大于1。因此根据两个第二像素点的水平坐标之差的大小即可判定两个第二像素点之间是否存在空洞。
作为本发明的一些实施例，所述对所述空洞进行标记包括：向所述空洞填充特定的颜色。当将参考相机图像中的第一像素点映射到虚拟相机图像中的第二像素点时，若判定与任意两个在行方向上相邻的第一像素点存在映射关系的两个第二像素点之间存在空洞，则在映射时直接对上述两个第二像素点之间像素点填充特定的颜色(R1,G1,B1)。用于填充的这个特定的颜色没有特殊要求，如填充上(255，0，0)或者(255，255，0)等均可。
可选的，所述对所述空洞进行标记之后，还包括：根据所述标记确定所述空洞的坐标。标记后，对虚拟相机图像中的每个第二像素点进行检测，检测每个第二像素点的像素值是否为(R1,G1,B1)，若是，则证明该像素点为空洞。
在上述实施例中，通过采用特定的颜色对空洞进行填充从而成功对空洞进行标记，之后通过检测每个第二像素点是否与用于填充的特定颜色相同，从而获取空洞的坐标位置，以便于后续对空洞进行填充。
在本发明的另一些实施例中，所述确定所述空洞的坐标之后还包括：逐行扫描所述虚拟相机图像中的所述第二像素点，确定每一行中是否存在至少三个连续排布的所述空洞。在本实施例中，可以通过各个空洞的坐标位置来判定是否有至少三个连续排布的空洞，或者，直接通过判断与任意两个在行方向上相邻的第一像素点存在映射关系的两个第二像素点之间的水平坐标之差来判断是否有至少三个连续排布的空洞。在一个可替换的实施例中，可以通过比较第二像素点的灰度值来判断是否有至少三个连续排布的空洞。以相邻的三个第二像素点A11、A12、A13为例，通过比较三个像素点的灰度值判断是否有至少三个连续排布的空洞的方法如下：若A11为空洞，如果A11≠A12，则A12不是空洞，不存在至少三个连续排布的空洞，只存在单空洞；若A11＝A12且A12≠A13，则A11和A12均为空洞，A13不是空洞，则不存在至少三个连续排布的空洞，存在两个连续排布的空洞；若A11＝A12且A12＝A13，则A11，A12，A13均为空洞，则存在至少三个连续排布的空洞。
在一些实施例中，若不存在至少三个连续排布的所述空洞，所述根据至少一个与所述空洞相邻的所述非零第二像素点填充所述空洞，包括：从以所述空洞为中心的像素阵列中获取至少一个所述非零第二像素点，计算所述空洞在至少一个所述非零第二像素点所在方向上的梯度，选择梯度最小的方向上的所述非零第二像素点填充所述空洞。在本实施例中，若每一行中不存在至少三个连续排布的所述空洞，即只有单个空洞或者两个连续的空洞，可以直接采用上述方法对空洞进行填充。其中若存在两个连续的空洞时，则依次填充两个空洞。
作为一个具体的实施例，假设在填充空洞时采用从上到下从左到右的顺序逐个填充。参照图5所示，若检测到A33为空洞，此时选择A33周围的不为空洞的A32、A22、A23、A24，并通过A32、A22、A23、A24分别计算空洞A33在这四个第二像素点所在方向上的梯度，计算公式如下：
其中，分别表示空洞A33在第二像素点A32、A22、A23、A24所在方向上的梯度，|A31-A32|中A31、A32表示对应第二像素点的灰度值。比较的大小获取其中的最小值，若为最小值时，采用A32填补A33。在本实施例中，采用梯度值最小的第二像素点能够保证空洞填充后与周围的像素点的颜色更加接近，不容易出现伪像。
参照图6所示，若A33、A34都为空洞时，则采用上述实施例所述方法先填充A33再填充A34。由于在本实施例中，在填充空洞时采用从上到下从左到右的顺序逐个填充，因此先填充A33后填充A34，从而可以保证计算梯度的四个第二像素点一定不会是空洞。
在一个可选的实施例中，若存在至少三个连续排布的所述空洞且所述虚拟相机图像相对于所述参考相机图像右移，则从左至右依次对每个所述空洞执行步骤：从以所述空洞为中心的像素阵列中获取至少一个所述非零第二像素点，计算所述空洞在至少一个所述非零第二像素点所在方向上的梯度，选择梯度最小的方向上的所述非零第二像素点填充所述空洞。参照图6所示，A33-A37为空洞，当映射到虚拟相机图像中的第二像素点之间不出现空洞时，，A38应该位于A33所在的位置，但是由于空洞的存在造成了虚拟相机图像相对于参考相机图像右移，为了保证多个空洞与周围的像素点的更加完美的融合，此时需要从左到右依次填充A33-A37。
在另一个可选的实施例中，若存在至少三个连续排布的所述空洞且所述虚拟相机图像相对于所述参考相机图像左移，则从右至左依次对每个所述空洞执行步骤：从以所述空洞为中心的像素阵列中获取至少一个所述非零第二像素点，计算所述空洞在至少一个所述非零第二像素点所在方向上的梯度，选择梯度最小的方向上的所述非零第二像素点填充所述空洞。参照图7所示，A33-A37为空洞，当映射到虚拟相机图像中的第二像素点之间不出现空洞时，A32应该位于A37所在的位置，但是由于空洞的存在造成了虚拟相机图像相对于参考相机图像左移，此时需要从右到左依次填充A37-A33。具体方法为：首先通过A37周围的第二像素点A38、A28、A27、A26计算空洞A37在这四个第二像素点所在方向上的梯度，计算公式如下：
其中，β1、β2、β3、β4表示空洞A37在A38、A28、A27、A26所在方向上的梯度，比较β1、β2、β3、β4的大小获得最小值，若β1最小时，采用A38填充A37，之后依次填充A36、A35、A34、A33。
可选的，所述从以所述空洞为中心的像素阵列中获取至少一个所述非零第二像素点，包括：从该3*3像素阵列中获取所述空洞的不同方向邻域上的四个所述非零像素点。即从空洞邻域上的八个像素点中选择四个不同方向邻域上的非零像素点。
在上述实施例中，当空洞小于三个时，由于空洞的范围较小，此时不需要考虑图像偏移的方向，而只需采用与空洞相邻的且梯度最小的像素点进行填充。而当连续的空洞大于等于三个时，由于第二像素点在映射时出现的扩张范围较大，此时需要根据图像偏移的方向，选择合适的像素点进行填充。这样可以最大程度的提高虚拟相机图像的画质，提高裸眼3D显示的用户体验。
本发明的另一个方面提供一种多视点裸眼3D图像空洞填补装置，参照图9所示，包括：
映射模块11，用于将参考相机图像中的第一像素点映射到虚拟相机图像中的第二像素点。
判断模块12，用于依次判断与任意两个在行方向上相邻的所述第一像素点存在映射关系的两个所述第二像素点之间是否存在空洞。
标记模块13，用于对所述空洞进行标记。
填充模块14，用于根据至少一个与所述空洞相邻的非零第二像素点填充所述空洞。
可选的，判断模块12还用于实现：判断两个所述第二像素点的水平坐标的差值是否大于1，若是，则两个所述第二像素点之间存在所述空洞。
可选的，标记模块13还用于实现：向所述空洞填充特定的颜色。
可选的，标记模块13还用于实现：根据所述标记确定所述空洞的坐标。
可选的，填充模块14还用于实现：逐行扫描所述虚拟相机图像中的所述第二像素点，确定每一行中是否存在至少三个连续排布的所述空洞。以及，从所述像素阵列中获取所述空洞的不同方向邻域上的四个所述非零像素点。
可选的，填充模块14还用于实现：若不存在至少三个连续排布的所述空洞，从以所述空洞为中心的像素阵列中获取至少一个所述非零第二像素点，计算所述空洞在至少一个所述非零第二像素点所在方向上的梯度，选择梯度最小的方向上的所述非零第二像素点填充所述空洞。
可选的，填充模块14还用于实现：若存在至少三个连续排布的所述空洞且所述虚拟相机图像相对于所述参考相机图像右移，则从左至右依次对每个所述空洞执行步骤：从以所述空洞为中心的像素阵列中获取至少一个所述非零第二像素点，计算所述空洞在至少一个所述非零第二像素点所在方向上的梯度，选择梯度最小的方向上的所述非零第二像素点填充所述空洞。
可选的，填充模块14还用于实现：若存在至少三个连续排布的所述空洞且所述虚拟相机图像相对于所述参考相机图像左移，则从右至左依次对每个所述空洞执行步骤：从以所述空洞为中心的像素阵列中获取至少一个所述非零第二像素点，计算所述空洞在至少一个所述非零第二像素点所在方向上的梯度，选择梯度最小的方向上的所述非零第二像素点填充所述空洞。
本发明实施例的另一个方面提供一种电子设备，参照图10所示，该电子设备包括：
至少一个处理器201以及存储器202，图10中以一个处理器201为例。
执行多视点裸眼3D图像空洞填补方法的设备还可以包括：输入装置203和输出装置204。
处理器201、存储器202、输入装置203和输出装置204可以通过总线或者其他方式连接，图10中以通过总线连接为例。
存储器202作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的多视点裸眼3D图像空洞填补方法对应的程序指令/模块。处理器201通过运行存储在存储器202中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例多视点裸眼3D图像空洞填补方法。
存储器202可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据多视点裸眼3D图像空洞填补装置的使用所创建的数据等。此外，存储器202可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器202可选包括相对于处理器201远程设置的存储器，这些远程存储器可以通过网络连接至多视点裸眼3D图像空洞填补装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置203可接收输入的数字或字符信息，以及产生与多视点裸眼3D图像空洞填补装置的用户设置以及功能控制有关的键信号输入。输出装置204可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器202中，当被所述一个或者多个处理器201执行时，执行上述任意方法实施例中的多视点裸眼3D图像空洞填补方法。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种多视点裸眼3D图像空洞填补方法，其特征在于，包括：
将参考相机图像中的第一像素点映射到虚拟相机图像中的第二像素点；
依次判断与任意两个在行方向上相邻的所述第一像素点存在映射关系的两个所述第二像素点之间是否存在空洞；
若是，则对所述空洞进行标记；
根据至少一个与所述空洞相邻的非零第二像素点填充所述空洞。
2.根据权利要求1所述的多视点裸眼3D图像空洞填补方法，其特征在于，所述依次判断与任意两个在行方向上相邻的所述第一像素点存在映射关系的两个所述第二像素点之间是否存在空洞包括：
判断两个所述第二像素点的水平坐标的差值是否大于1，若是，则两个所述第二像素点之间存在所述空洞。
3.根据权利要求1所述的多视点裸眼3D图像空洞填补方法，其特征在于，所述对所述空洞进行标记包括：向所述空洞填充特定的颜色。
4.根据权利要求1所述的多视点裸眼3D图像空洞填补方法，其特征在于，所述对所述空洞进行标记之后，还包括：根据所述标记确定所述空洞的坐标。
5.根据权利要求4所述的多视点裸眼3D图像空洞填补方法，其特征在于，所述确定所述空洞的坐标之后还包括：逐行扫描所述虚拟相机图像中的所述第二像素点，确定每一行中是否存在至少三个连续排布的所述空洞。
6.根据权利要求5所述的多视点裸眼3D图像空洞填补方法，其特征在于，若不存在至少三个连续排布的所述空洞，所述根据至少一个与所述空洞相邻的所述非零第二像素点填充所述空洞，包括：
从以所述空洞为中心的像素阵列中获取至少一个所述非零第二像素点，计算所述空洞在至少一个所述非零第二像素点所在方向上的梯度，选择梯度最小的方向上的所述非零第二像素点填充所述空洞。
7.根据权利要求5所述的多视点裸眼3D图像空洞填补方法，其特征在于，若存在至少三个连续排布的所述空洞且所述虚拟相机图像相对于所述参考相机图像右移，则从左至右依次对每个所述空洞执行步骤：
从以所述空洞为中心的像素阵列中获取至少一个所述非零第二像素点，计算所述空洞在至少一个所述非零第二像素点所在方向上的梯度，选择梯度最小的方向上的所述非零第二像素点填充所述空洞。
8.根据权利要求5所述的多视点裸眼3D图像空洞填补方法，其特征在于，若存在至少三个连续排布的所述空洞且所述虚拟相机图像相对于所述参考相机图像左移，则从右至左依次对每个所述空洞执行步骤：
从以所述空洞为中心的像素阵列中获取至少一个所述非零第二像素点，计算所述空洞在至少一个所述非零第二像素点所在方向上的梯度，选择梯度最小的方向上的所述非零第二像素点填充所述空洞。
9.根据权利要求6-8任一所述的多视点裸眼3D图像空洞填补方法，其特征在于，所述从以所述空洞为中心的像素阵列中获取至少一个所述非零第二像素点，包括：从所述像素阵列中获取所述空洞的不同方向邻域上的四个所述非零像素点。
10.一种多视点裸眼3D图像空洞填补装置，其特征在于，包括：
映射模块，用于将参考相机图像中的第一像素点映射到虚拟相机图像中的第二像素点；
判断模块，用于依次判断与任意两个在行方向上相邻的所述第一像素点存在映射关系的两个所述第二像素点之间是否存在空洞；
标记模块，用于对所述空洞进行标记；
填充模块，用于根据至少一个与所述空洞相邻的非零第二像素点填充所述空洞。
11.一种电子设备，其特征在于，包括至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-9任意一项所述的方法。
CN201810717779.7A 2018-07-03 2018-07-03 一种多视点裸眼3d图像空洞填补方法、装置及电子设备 Active CN108769662B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810717779.7A CN108769662B (zh) 2018-07-03 2018-07-03 一种多视点裸眼3d图像空洞填补方法、装置及电子设备
US16/438,792 US11043152B2 (en) 2018-07-03 2019-06-12 Method and apparatus for filling holes in naked-eye 3D multi-viewpoint image, and electronic device for performing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810717779.7A CN108769662B (zh) 2018-07-03 2018-07-03 一种多视点裸眼3d图像空洞填补方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN108769662A true CN108769662A (zh) 2018-11-06
CN108769662B CN108769662B (zh) 2020-01-07

Family

ID=63975922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810717779.7A Active CN108769662B (zh) 2018-07-03 2018-07-03 一种多视点裸眼3d图像空洞填补方法、装置及电子设备

Country Status (2)

Country Link
US (1) US11043152B2 (zh)
CN (1) CN108769662B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113014924A (zh) * 2019-12-20 2021-06-22 中国电信股份有限公司 视频编码方法、服务器、装置及计算机可读存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090190852A1 (en) * 2008-01-28 2009-07-30 Samsung Electronics Co., Ltd. Image inpainting method and apparatus based on viewpoint change
CN101556700A (zh) * 2009-05-15 2009-10-14 宁波大学 一种虚拟视点图像绘制方法
CN102034265A (zh) * 2010-11-24 2011-04-27 清华大学 一种三维视图获取方法
CN102307312A (zh) * 2011-08-31 2012-01-04 四川虹微技术有限公司 一种对dibr技术生成的目标图像进行空洞填充的方法
US20120086775A1 (en) * 2010-10-07 2012-04-12 Sony Corporation Method And Apparatus For Converting A Two-Dimensional Image Into A Three-Dimensional Stereoscopic Image
CN102768761A (zh) * 2012-06-06 2012-11-07 清华大学 一种基于透视变换的立体视频绘制方法
CN103236082A (zh) * 2013-04-27 2013-08-07 南京邮电大学 面向捕获静止场景的二维视频的准三维重建方法
CN103248911A (zh) * 2013-05-20 2013-08-14 山东大学 多视点视频中基于空时结合的虚拟视点绘制方法
CN103369331A (zh) * 2012-03-27 2013-10-23 北京数码视讯科技股份有限公司 图像空洞的填补方法和装置及视频图像的处理方法和装置
CN104780355A (zh) * 2015-03-31 2015-07-15 浙江大学 一种视点合成中基于深度的空洞修复方法
CN104837000A (zh) * 2015-04-17 2015-08-12 东南大学 一种利用轮廓感知的虚拟视点合成方法
CN106060512A (zh) * 2016-06-28 2016-10-26 华中科技大学 一种在虚拟视点合成中选取和填补合理映射点方法
CN107147894A (zh) * 2017-04-10 2017-09-08 四川大学 一种自由立体显示中的虚拟视点图像生成方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101210625B1 (ko) * 2010-12-28 2012-12-11 주식회사 케이티 빈공간 채움 방법 및 이를 수행하는 3차원 비디오 시스템

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090190852A1 (en) * 2008-01-28 2009-07-30 Samsung Electronics Co., Ltd. Image inpainting method and apparatus based on viewpoint change
CN101556700A (zh) * 2009-05-15 2009-10-14 宁波大学 一种虚拟视点图像绘制方法
US20120086775A1 (en) * 2010-10-07 2012-04-12 Sony Corporation Method And Apparatus For Converting A Two-Dimensional Image Into A Three-Dimensional Stereoscopic Image
CN102034265A (zh) * 2010-11-24 2011-04-27 清华大学 一种三维视图获取方法
CN102307312A (zh) * 2011-08-31 2012-01-04 四川虹微技术有限公司 一种对dibr技术生成的目标图像进行空洞填充的方法
CN103369331A (zh) * 2012-03-27 2013-10-23 北京数码视讯科技股份有限公司 图像空洞的填补方法和装置及视频图像的处理方法和装置
CN102768761A (zh) * 2012-06-06 2012-11-07 清华大学 一种基于透视变换的立体视频绘制方法
CN103236082A (zh) * 2013-04-27 2013-08-07 南京邮电大学 面向捕获静止场景的二维视频的准三维重建方法
CN103248911A (zh) * 2013-05-20 2013-08-14 山东大学 多视点视频中基于空时结合的虚拟视点绘制方法
CN104780355A (zh) * 2015-03-31 2015-07-15 浙江大学 一种视点合成中基于深度的空洞修复方法
CN104837000A (zh) * 2015-04-17 2015-08-12 东南大学 一种利用轮廓感知的虚拟视点合成方法
CN106060512A (zh) * 2016-06-28 2016-10-26 华中科技大学 一种在虚拟视点合成中选取和填补合理映射点方法
CN107147894A (zh) * 2017-04-10 2017-09-08 四川大学 一种自由立体显示中的虚拟视点图像生成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113014924A (zh) * 2019-12-20 2021-06-22 中国电信股份有限公司 视频编码方法、服务器、装置及计算机可读存储介质

Also Published As

Publication number Publication date
US20200013322A1 (en) 2020-01-09
US11043152B2 (en) 2021-06-22
CN108769662B (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
US9544576B2 (en) 3D photo creation system and method
US20120113219A1 (en) Image conversion apparatus and display apparatus and methods using the same
CN101247530A (zh) 增强图像的立体效果的三维图像显示设备和方法
KR100795481B1 (ko) 다시점화상의 처리 방법 및 장치
CN103150729B (zh) 一种虚拟视图渲染方法
US20100302234A1 (en) Method of establishing dof data of 3d image and system thereof
WO2007052191A2 (en) Filling in depth results
CN101754042A (zh) 图像重构方法和图像重构系统
US8577202B2 (en) Method for processing a video data set
CN109714587A (zh) 一种多视点图像产生方法、装置、电子设备及存储介质
CN114401391A (zh) 虚拟视点生成方法及装置
CN113793420B (zh) 深度信息处理方法、装置、电子设备及存储介质
KR102319538B1 (ko) 영상 데이터 전송 방법 및 장치, 및 3차원 영상 생성 방법 및 장치
CN108769662B (zh) 一种多视点裸眼3d图像空洞填补方法、装置及电子设备
KR20140074238A (ko) 이미지들 간의 색상 전환 방법 및 장치
CN103731657A (zh) 一种对dibr算法处理后的含有空洞影像的空洞填充处理方法
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
Akin et al. Real-time free viewpoint synthesis using three-camera disparity estimation hardware
CN115022612B (zh) 一种显示装置的驱动方法、装置及显示设备
US9380285B2 (en) Stereo image processing method, stereo image processing device and display device
Ramachandran et al. Multiview synthesis from stereo views
KR101794492B1 (ko) 다시점 영상 디스플레이 시스템
CN115176459B (zh) 虚拟视点合成方法、电子设备和计算机可读介质
Kuo et al. High efficiency depth image-based rendering with simplified inpainting-based hole filling
KR20120059367A (ko) 에너지값을 이용한 이미지 처리 장치와 그 이미지 처리 방법 및 디스플레이 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant