CN116546180A - 裸眼悬浮3d视频生成方法、装置、设备及存储介质 - Google Patents

裸眼悬浮3d视频生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116546180A
CN116546180A CN202310278260.4A CN202310278260A CN116546180A CN 116546180 A CN116546180 A CN 116546180A CN 202310278260 A CN202310278260 A CN 202310278260A CN 116546180 A CN116546180 A CN 116546180A
Authority
CN
China
Prior art keywords
video
foreground
edge
naked eye
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310278260.4A
Other languages
English (en)
Other versions
CN116546180B (zh
Inventor
马凯翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN116546180A publication Critical patent/CN116546180A/zh
Application granted granted Critical
Publication of CN116546180B publication Critical patent/CN116546180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种裸眼悬浮3D视频生成方法、装置、设备及存储介质，该方法包括：获取背景视频和左右格式的前景视频；对背景视频和前景视频进行解码，获取背景序列帧图像和以灰度图像为前景的右侧序列帧图像；对右侧序列帧图像进行抠图处理，获取前景抠像对象；基于前景抠像对象生成多路前景抠图图像；基于各路前景抠图对象和对应的背景序列帧图像生成裸眼3D视频。不同于现有的制作复杂且成本较高的3D视频生成方法，本发明对背景序列帧图像和以灰度图像为前景的右侧序列帧图像进行处理，从右侧序列帧图像抠取待抠图对象，然后基于目标视点参数营造待抠图对象的裸眼悬浮3D效果，提供了一种制作简易且成本较低的裸眼悬浮3D视频生成方法。

Description

裸眼悬浮3D视频生成方法、装置、设备及存储介质
本申请要求于2022年11月21日提交中国专利局、申请号为202211455767.4、发明名称为“裸眼3D视频生成方法、装置、设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在申请中。
技术领域
本发明涉及图像数据处理技术领域，尤其涉及一种裸眼悬浮3D视频生成方法、装置、设备及存储介质。
背景技术
随着当今社会数字信息的快速发展，2D显示逐渐不能满足人类的观看需求，3D显示已成为显示领域中新的发展趋势。
目前，为了获得用于3D显示的多视点立体图像，通常基于平行排列的多个摄像机同时拍摄同一场景，实时采集该场景多个视点的立体图像。但这种方法本身存在许多问题：首先，拍摄系统笨重不便于移动，只能基于固定场景获取图像；其次，为了保证图像质量，对多个摄像机的光学参数和成像参数的一致性程度要求较高，给校准、光学系统的调整带来了很大的难度；最后，通常采集到的多视点图像数据量过大，不利于压缩、传输和存储。因此，现有的3D图像技术制作复杂，非专业人士较难掌握，且成本较高。因此，亟需一种制作简易且成本较低的裸眼3D视频生成方法。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种裸眼悬浮3D视频生成方法、装置、设备及存储介质，旨在解决现有3D视频制作困难且成本较高的技术问题。为实现上述目的，本发明提供了一种裸眼悬浮3D视频生成方法，所述裸眼悬浮3D视频生成方法包括以下步骤：
获取背景视频和左右格式的前景视频；
对所述背景视频和所述前景视频进行解码，获取背景序列帧图像和以灰度图像为前景的右侧序列帧图像；
对所述右侧序列帧图像进行抠图处理，获取前景抠像对象；
基于所述前景抠像对象生成多路前景抠图图像；
基于各路前景抠图对象和对应的背景序列帧图像生成裸眼3D视频。
可选地，所述对所述右侧序列帧图像进行抠图处理，获取前景抠像对象的步骤，包括：
基于所述右侧序列帧图像的梯度信息，获取所述右侧序列帧图像的第一边缘；
基于所述第一边缘对应的第一边缘像素点，确定所述右侧序列帧图像的第二边缘；
获取所述第二边缘对应的第二边缘像素点的纹理特征值；
基于所述纹理特征值和所述第二边缘像素点的法向量，判断所述第二边缘是否为真实边缘；
当所述第二边缘为所述真实边缘时，基于所述第二边缘获取前景抠像对象。
可选地，所述获取所述第二边缘对应的第二边缘像素点的纹理特征值的步骤，包括：
以所述第二边缘对应的第二边缘像素点为中心配置预设窗口，并以所述第二边缘像素点的灰度值作为第一阈值；
获取所述预设窗口内其他像素点的灰度值，并将所述其他像素点的灰度值与所述第一阈值进行比较；
基于比较结果，获取所述第二边缘像素点的纹理特征值。
可选地，所述基于所述纹理特征值和所述第二边缘像素点的法向量，判断所述第二边缘是否为真实边缘的步骤之后，还包括：
当所述第二边缘不为所述真实边缘时，对所述右侧序列帧图像进行色彩转换，并将经过色彩转换后的所述第二边缘作为第三边缘；
检测所述第三边缘上的像素点的亮度值是否小于预设亮度阈值；
若是，则判定所述第三边缘为虚假边缘，从所述右侧序列帧图像中再次提取边缘信息进行检测；
若否，则判定所述第三边缘为所述真实边缘，基于所述第三边缘获取所述前景抠像对象。
可选地，所述基于所述前景抠像对象生成多路前景抠图图像的步骤，包括：
当所述前景视频为2D视频时，基于目标视点参数对所述前景抠像对象进行水平像素偏移，获取多路前景抠图图像；
当所述前景视频为3D视频时，基于目标视点参数对所述前景抠像对象进行画面分割，获取多路前景抠图图像。
可选地，所述基于各路前景抠图对象和对应的背景序列帧图像生成裸眼3D视频的步骤，包括：
将各路前景抠图对象和对应的背景序列帧图像的分辨率均缩放至目标分辨率，并基于缩放后的所述各路前景抠图对象和所述背景序列帧图像，获取多路待合成画面；
对所述多路待合成画面进行叠加，生成裸眼3D视频。
可选地，所述对所述多路待合成画面进行叠加，生成裸眼3D视频的步骤，包括：
获取所述多路待合成画面中每一路合成画面的子像素的灰度值；
确定目标显示终端的子像素映射矩阵；
根据所述子像素映射矩阵和每一路合成画面的子像素的灰度值，确定裸眼3D视频的子像素合成图像；
基于所述子像素合成图像，生成所述裸眼3D视频。
此外，为实现上述目的，本发明还提出一种裸眼悬浮3D视频生成装置，所述裸眼悬浮3D视频生成装置包括：
视频获取模块，用于获取背景视频和左右格式的前景视频；
视频处理模块，用于对所述背景视频和所述前景视频进行解码，获取背景序列帧图像和以灰度图像为前景的右侧序列帧图像；
抠图获取模块，用于对所述右侧序列帧图像进行抠图处理，获取前景抠像对象；
图像生成模块，用于基于所述前景抠像对象生成多路前景抠图图像；
视频合成模块，用于基于各路前景抠图对象和对应的背景序列帧图像生成裸眼悬浮3D视频。
此外，为实现上述目的，本发明还提出一种裸眼悬浮3D视频生成设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的裸眼悬浮3D视频生成程序，所述裸眼悬浮3D视频生成程序配置为实现如上文所述的裸眼悬浮3D视频生成方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有裸眼悬浮3D视频生成程序，所述裸眼悬浮3D视频生成程序被处理器执行时实现如上文所述的裸眼悬浮3D视频生成方法的步骤。
本发明公开了一种裸眼悬浮3D视频生成方法、装置、设备及存储介质，该方法包括：获取背景视频和左右格式的前景视频；对背景视频和前景视频进行解码，获取背景序列帧图像和以灰度图像为前景的右侧序列帧图像；对右侧序列帧图像进行抠图处理，获取前景抠像对象；基于前景抠像对象生成多路前景抠图图像；基于各路前景抠图对象和对应的背景序列帧图像生成裸眼3D视频。不同于现有的制作复杂且成本较高的3D视频生成方法，本发明通过对解码背景视频和左右格式的前景视频后生成的背景序列帧图像和以灰度图像为前景的右侧序列帧图像进行处理，从右侧序列帧图像抠取待抠图对象，然后基于目标视点参数营造待抠图对象的裸眼悬浮3D效果，因此本发明提供了一种制作简易且成本较低的裸眼悬浮3D视频生成方法。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的裸眼悬浮3D视频生成设备的结构示意图；
图2为本发明裸眼悬浮3D视频生成方法第一实施例的流程示意图；
图3为本发明裸眼悬浮3D视频生成方法第一实施例中左右格式的前景序列帧图像示意图；
图4为本发明裸眼悬浮3D视频生成方法第一实施例中2D前景视频生成多路前景抠图图像示意图；
图5为本发明裸眼悬浮3D视频生成方法第一实施例中3D前景视频生成多路前景抠图图像示意图；
图6为本发明裸眼悬浮3D视频生成方法第二实施例的流程示意图；
图7为本发明裸眼悬浮3D视频生成方法第三实施例的流程示意图；
图8为本发明裸眼悬浮3D视频生成方法第三实施例中的子像素合成图像示意图；
图9为本发明裸眼悬浮3D视频生成装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的裸眼悬浮3D视频生成设备结构示意图。
如图1所示，该裸眼悬浮3D视频生成设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对裸眼悬浮3D视频生成设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及裸眼悬浮3D视频生成程序。
在图1所示的裸眼悬浮3D视频生成设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明裸眼悬浮3D视频生成设备中的处理器1001、存储器1005可以设置在裸眼悬浮3D视频生成设备中，所述裸眼悬浮3D视频生成设备通过处理器1001调用存储器1005中存储的裸眼悬浮3D视频生成程序，并执行本发明实施例提供的裸眼悬浮3D视频生成方法。
本发明实施例提供了一种裸眼悬浮3D视频生成方法，参照图2，图2为本发明裸眼悬浮3D视频生成方法第一实施例的流程示意图。
本实施例中，所述裸眼悬浮3D视频生成方法包括以下步骤：
步骤S10：获取背景视频和左右格式的前景视频；
需要说明的是，本实施例方法的执行主体可以是具有数据处理、网络通信以及程序运行功能的计算服务设备，例如手机、平板电脑、个人电脑等，还可以是能够实现相同或相似功能的其他电子设备。此处以上述裸眼悬浮3D视频生成设备(简称视频生成设备)对本实施例和下述各实施例提供的裸眼悬浮3D视频生成方法进行具体说明。
可理解的是，上述背景视频可以是预先制作完成，用于作为最终生成的裸眼3D视频中背景部分的视频，该背景视频的格式一般是2D格式，而前景视频是待抠像的视频，本实施例需要从前景视频中抠取待抠图对象，最后基于该抠图对象营造最终生成视频的裸眼3D效果，该前景视频的格式可以是2D格式，也可以是3D格式。其中，背景视频与前景视频可以是同一个视频，也可以不是同一个视频。
需要说明的是，上述前景视频以左右格式进行存储，是因为传统的视频编码无法对灰度图像进行编码，为了能够加入灰度图像通道信息，需要在生成3D视频前采用左右格式对前景视频进行压缩，从而获取左右格式的前景视频，左右格式的前景视频以左右两路分别进行视频播放，每一路对应视频的分辨率宽度为原视频分辨率的一半，但分辨率高度与原视频分辨率一致。
此外，为保留抠像边界的细节及提升裸眼3D显示分辨率，该左右格式前景视频可采用高分辨率和高码率进行压缩。
步骤S20：对所述背景视频和所述前景视频进行解码，获取背景序列帧图像和以灰度图像为前景的右侧序列帧图像；
需要说明的是，解码后生成的背景序列帧图像和以灰度图像为前景的右侧序列帧图像在时间上是一一对应的关系，因此可以将同一个时间点或同一段时间生成的背景序列帧图像和以灰度图像为前景的右侧序列帧图像置于同一个文件夹或存储地址中，并对文件夹或存储地址按照时间先后顺序进行排序，后续将图像再合成为视频时，按照文件夹或存储地址对应的时间排序合成。
此外，上述右侧序列帧图像可以是以左右格式存储的前景视频的右侧视频的解码后得到的图像。以图3为例，图3为本发明裸眼悬浮3D视频生成方法第一实施例中左右格式的前景序列帧图像示意图，其中301是左侧序列帧图像区域，其背景素材为黑色图像背景，303为前景待抠像对象的彩色图像。其中302是右侧序列帧图像区域，其背景素材为黑色图像背景，304为前景待抠像对象的灰度图像，该灰度图像可为全白图像，也可为待抠像对象的Alpha通道灰度图像。
步骤S30：对所述右侧序列帧图像进行抠图处理，获取前景抠像对象；
步骤S40：基于所述前景抠像对象生成多路前景抠图图像；
需要说明的是，上述前景抠像对象可以是最终生成的视频中需要体现或用于凸显裸眼3D效果的对象。而由上文可知，前景视频的格式可以是2D格式，也可以是3D格式，因此对于不同的格式，获取前景抠图对象的过程也不同。
进一步地，作为一种可实施方式，步骤S40包括；
步骤S401：当所述前景视频为2D视频时，基于目标视点参数对所述前景抠像对象进行水平像素偏移，获取多路前景抠图图像；
步骤S402：当所述前景视频为3D视频时，基于目标视点参数对所述前景抠像对象进行画面分割，获取多路前景抠图图像。
需要说明的是，上述目标视点参数是用于显示裸眼3D视频的目标显示终端的视点参数，当前景视频为2D视频时，为了获取多路前景抠图图像，对抠像对象按照目标终端的视点参数进行水平像素偏移，以图4为例，图4为本发明裸眼悬浮3D视频生成方法第一实施例中2D前景视频生成多路前景抠图图像示意图。若目标显示终端为5视点裸眼3D显示终端，则需要生成5路前景抠图图像，其中401为第1路图像，402为第5路图像，403为水平像素偏移量，假设相邻两路抠像图像的水平偏移量本应该为±m个像素，则第1路图像401和第5路图像402的水平像素偏移量403为±5m个像素，其中±表示向左或向右偏移，不同的方向偏移可控制前景抠像对象是出屏还是入屏画面，以图4为例，若基准图像是第1路图像401，观看图像是第5路图像402，控制第5路图像402的前景抠像对象向右偏移且第5路图像402中的前景抠像对象置于第1路图像401中的前景抠像对象上方，则观看的第5路图像402为出屏画面。
而当前景视频为3D视频时，为了获取多路前景抠图图像，则需要基于目标视点参数对所述前景抠像对象进行画面分割，以图5为例，图5为本发明裸眼悬浮3D视频生成方法第一实施例中3D前景视频生成多路前景抠图图像示意图。此时假设目标视点参数为6视点，则根据目标视点参数将前景抠像对象分割为6路图像，其中501为第1路图像，502为第6路图像，第1路图像501是基于视点1采集的前景抠像对象的图像，第6路图像502是基于视点6采集的前景抠像对象的图像，每一路图像都是基于对应视点采集的图像，各不相同。
步骤S50：基于各路前景抠图对象和对应的背景序列帧图像生成裸眼3D视频。
可理解的是，基于目标视点参数获取多路前景抠图图像后，需要将各路前景抠图对象和与该前景抠图对象处于同一个文件夹或存储地址中的背景序列帧图像进行叠加，然后将叠加后的图像按照时间先后顺序进行合成，生成裸眼3D视频。
在具体实现中，视频生成设备首先获取背景视频和左右格式的前景视频，其中，为保留抠像边界的细节及提升裸眼3D显示分辨率，该左右格式前景视频可采用高分辨率和高码率进行压缩。然后对背景视频和前景视频进行解码，从左右格式的前景视频的解码结果中提取出以灰度图像为前景的右侧序列帧图像，并将同一个时间点或同一段时间生成的背景序列帧图像和右侧序列帧图像置于同一个文件夹或存储地址中，并对文件夹或存储地址按照时间先后顺序进行排序。然后对右侧序列帧图像进行抠图处理，获取前景抠像对象，当前景视频为2D视频时，基于目标视点参数对前景抠像对象进行水平像素偏移，获取多路前景抠图图像；当前景视频为3D视频时，基于目标视点参数将前景抠像对象进行分割为多路前景抠图图像。最后，将各路前景抠图对象和与该前景抠图对象处于同一个文件夹或存储地址中的背景序列帧图像进行叠加，然后将叠加后的图像按照时间先后顺序进行合成，生成裸眼3D视频。
本实施例通过获取背景视频和左右格式的前景视频；对背景视频和前景视频进行解码，获取背景序列帧图像和以灰度图像为前景的右侧序列帧图像；对右侧序列帧图像进行抠图处理，获取前景抠像对象；基于前景抠像对象生成多路前景抠图图像；基于各路前景抠图对象和对应的背景序列帧图像生成裸眼3D视频。不同于现有的制作复杂且成本较高的3D视频生成方法，本实施例通过对解码背景视频和左右格式的前景视频后生成的背景序列帧图像和以灰度图像为前景的右侧序列帧图像进行处理，从右侧序列帧图像抠取待抠图对象，然后基于目标视点参数营造待抠图对象的裸眼悬浮3D效果，因此本实施例提供了一种制作简易且成本较低的裸眼悬浮3D视频生成方法。
参照图6，图6为本发明裸眼悬浮3D视频生成方法第二实施例的流程示意图，基于上述图2所示的实施例，提出本发明裸眼悬浮3D视频生成方法的第二实施例。
本实施例中，步骤S30具体包括：
步骤S301：基于所述右侧序列帧图像的梯度信息，获取所述右侧序列帧图像的第一边缘；
需要说明的是，上述梯度信息可以是右侧序列帧图像中像素点的梯度信息，梯度信息反映了图像信息变化幅度的大小,因此梯度信息对边缘敏感,对光照不敏感，本实施例可以通过右侧序列帧图像中像素点的梯度信息获取右侧序列帧图像的第一边缘，方法可以是Canny边缘检测算法，也可以是Soble边缘检测算法，具体的边缘检测方式本实施例对此不加限制。获取梯度信息的过程可以是，对右侧序列帧图像X方向直线的像素结构元素分别进行膨胀与腐蚀操作，得到图像之后求差值，得到右侧序列帧图像中像素点的X方向梯度。对右侧序列帧图像Y方向直线的像素结构元素分别进行膨胀与腐蚀操作，得到图像之后求差值，得到右侧序列帧图像中像素点的Y方向梯度。
步骤S302：基于所述第一边缘对应的第一边缘像素点，确定所述右侧序列帧图像的第二边缘；
需要说明的是，基于上述第一边缘，可获得右侧序列帧图像的深度图，在深度图中，物体的像素的深度(取值范围为0-1的浮点数)与该物体和图像采集设备(如手机摄像头，摄影机等)的距离有关，物体离图像采集设备越近，深度图上对应的深度值越接近1，越远则深度值越接近，也就是说深度值从0到1代表物体离图像采集设备从远到近。因此深度图中不同物体对应的深度值不同，基于此，可以提取出右侧序列帧图像中的第二边缘。
步骤S303：获取所述第二边缘对应的第二边缘像素点的纹理特征值；
需要说明的是，图形纹理可以是图像像素点灰度值或颜色的某种变化的纹理基元和它的排列规则，因此图形纹理可以描述图像或其中小块区域的空间颜色分布和光强分布。纹理特征值的提取方法一般分为基于结构的方法和基于统计数据的方法，由于基于结构的纹理特征提取方法是将所要检测的纹理进行建模，在图像中搜索重复的模式，该方法对人工合成的纹理识别效果较好，因此本实施例采用基于结构的方法提取纹理特征值。
进一步地，作为一种可实施方式，步骤S303包括：
步骤S3031：以所述第二边缘对应的第二边缘像素点为中心配置预设窗口，并以所述第二边缘像素点的灰度值作为第一阈值；
步骤S3032：获取所述预设窗口内其他像素点的灰度值，并将所述其他像素点的灰度值与所述第一阈值进行比较；
步骤S3033：基于比较结果，获取所述第二边缘像素点的纹理特征值。
需要说明的是，上述预设窗口是以第二边缘中的某个第二边缘像素点作为中心构建的领域预设窗口，所属领域面积可以是3x3，也可以是16x16，预设窗口的具体面积大小，本实施例对此不加限制。
此外，在获取预设窗口中所有像素点的灰度值后，可以将预设窗口中心像素点的灰度值作为第一阈值，将预设窗口中与中心相邻的像素点灰度值与其进行比较，然后通过计算公式获取预设窗口中心像素点(即上述第二边缘像素点)的纹理特征值，所述公式为：
其中，xn和yn表示像素灰度值为in的中心像素点位置，im为与中心像素点相邻的像素点灰度值，如果im≥in，则I(im-in)＝1，否则I(im-in)＝0。
通过对每个像素点的纹理特征值计算，可得到整副右侧序列帧图像的纹理特征图像。
步骤S304：基于所述纹理特征值和所述第二边缘像素点的法向量，判断所述第二边缘是否为真实边缘；
步骤S305：当所述第二边缘为所述真实边缘时，基于所述第二边缘获取前景抠像对象。
需要说明的是，上述第二边缘像素点的法向量的获取过程可以是：以第二边缘像素点的领域内的点构建协方差矩阵，该领域的范围通过设置领域半径确定，因此，领域内的其他点的个数可以是8，也可以更多或更少。对应每个第二边缘像素点pi，其对应的协方差矩阵C为：
其中，k是第二边缘像素点pi的最近邻域点个数，是邻域点集的中心点，第二边缘像素点pi的特征向量即为协方差矩阵的第i个特征值，而其中最小特征值的特征向量即为该第二边缘像素点的法向量。
在获取上述第二边缘中所有第二边缘像素点的纹理特征值和法向量后，再在第二边缘同侧区域(第二边缘内侧或第二边缘外侧)分别选择k个点，定义：
其中，Fi-Fj是以边缘同侧点集中的任意两点和为圆心，以r为半径的圆内纹理特征值的差异，为上述区域平均法线方向之间的夹角，a、b为常数。
如两侧点集的E值越接近0，则可判断该第二边缘为真实边缘，否则判断上述第二边缘为可疑边界。当判定该第二边缘为真实边缘后，基于该第二边缘提取边缘所包围的对象，该对象即为上述前景抠像对象。
可理解的是，当上述第二边缘不为真实边缘时，则将第二边缘判定为可疑边界，并对该可疑边界再次进行检测。
需要说明的是，再次检测的具体过程可以是：对右侧序列帧图像进行色彩转换，并将经过色彩转换后的第二边缘作为第三边缘；检测第三边缘上的像素点的亮度值是否小于预设亮度阈值；若是，则判定第三边缘为虚假边缘，从右侧序列帧图像中再次提取边缘信息进行检测；若否，则判定所述第三边缘为所述真实边缘，基于所述第三边缘获取所述前景抠像对象。
需要说明的是，在RGB空间下，前景待抠像对象的灰度图像304的边界由于视频压缩往往会产生毛刺现象，而根据YUV空间特性，其亮度信号Y与图像像素具有一一对应的关系，由于右侧序列帧图像区域302主要是前景白色和背景黑色两种区域，也就是说Y信号可反应部分边界的特征信息，从而确定对应的像素特征，因此可以对右侧序列帧图像进行色彩转换再次进行检验判断。
在具体实现中，将右侧序列帧图像区域302的灰度图像转换为YUV空间后，由于亮度信号和图像像素具有一一对应关系，可以设定亮度信号阈值为d，针对上述可疑边界的像素点pi，如其亮度值Yi≥d，则该点可判断为真实边缘，否则判断为虚假边缘。
本实施例通过右侧序列帧图像的梯度信息，获取右侧序列帧图像的第一边缘；基于第一边缘对应的第一边缘像素点，确定右侧序列帧图像的第二边缘；获取第二边缘对应的第二边缘像素点的纹理特征值；基于纹理特征值和第二边缘像素点的法向量，判断第二边缘是否为真实边缘；当第二边缘为所述真实边缘时，基于第二边缘获取前景抠像对象。本实施例通过右侧序列帧图像的梯度信息、像素点的纹理特征值和法向量首次获取待抠图对象的边缘，然后基于亮度信息对待抠图对象边缘进行再次检测，获取较为准确的抠图结果，从而基于该结果营造清楚明确的裸眼3D悬浮图像。
参照图7，图7为本发明裸眼悬浮3D视频生成方法第三实施例的流程示意图，基于上述图2或6所示的实施例，提出本发明裸眼悬浮3D视频生成方法的第三实施例，图7以基于图2所示的实施例提出的实施例为例。
本实施例中，步骤S50具体包括：
步骤S501：将各路前景抠图对象和对应的背景序列帧图像的分辨率均缩放至目标分辨率，并基于缩放后的所述各路前景抠图对象和所述背景序列帧图像，获取多路待合成画面；
需要说明的是，为保证背景视频的分辨率不损失，假设用于播放裸眼悬浮3D视频的目标显示终端的分辨率为MxN，可以首先将背景序列帧图像和前景抠像对象的每一路图像同时缩放到MxN的分辨率，然后将背景序列帧图像放在最底层，将前景抠像对象图像叠加到最上层，再对每一路待合成的画面进行保存，从而获取多路待合成画面，例如，若目标显示终端为5视点裸眼3D显示终端，则存在5路待合成的画面。
步骤S502：对所述多路待合成画面进行叠加，生成裸眼3D视频。
可理解的是，因为存在多路待合成画面，因此进行最终合成时，需要确定目标显示终端上给定的子像素应该取自哪个视点，即确定最终生成的裸眼3D视频的子像素合成图像中的子像素应该取自哪一路图像。在获取最终生成的裸眼3D视频的子像素合成图像后，再将子像素合成图像按照时间先后顺序合成，即可获得裸眼3D视频，其中，以图8为例，图8为本发明裸眼悬浮3D视频生成方法第三实施例中的子像素合成图像示意图。
进一步地，作为一种可实施方式，步骤S502包括：
步骤S5021：获取所述多路待合成画面中每一路合成画面的子像素的灰度值；
步骤S5022：确定目标显示终端的子像素映射矩阵；
步骤S5023：根据所述子像素映射矩阵和每一路合成画面的子像素的灰度值，确定裸眼3D视频的子像素合成图像；
步骤S5024：基于所述子像素合成图像，生成所述裸眼3D视频。
需要说明的是，上述子像素映射矩阵的计算公式为：
其中，X为一个光栅周期在水平方向上覆盖RGB子像素的个数，(k,l)为RGB子像素的坐标位置，α为光栅轴相对于LCD显示屏垂直轴的倾斜夹角，koff表示目标显示终端左上边缘与光栅单元边缘点的水平位移量，Ntot表示总视点个数，也就是参与合成的视差图像数量。根据子像素映射矩阵计算公式可计算出目标显示终端上的每个子像素的灰度值应该取自于哪幅视差图像的相应坐标位置的灰度值。在实际应用中，假设Q＝1.57，其可判断其子像素合成图像来自于第2路和第3路视差图像对应的子像素灰度值，其计算公式可为，子像素合成值＝(1-0.57)*第2路图像子像素灰度值+0.57*第3路图像子像素灰度值。
本实施例通过将各路前景抠图对象和对应的背景序列帧图像的分辨率均缩放至目标分辨率，并基于缩放后的各路前景抠图对象和背景序列帧图像，获取多路待合成画面；获取多路待合成画面中每一路合成画面的子像素的灰度值；确定目标显示终端的子像素映射矩阵；根据子像素映射矩阵和每一路合成画面的子像素的灰度值，确定裸眼3D视频的子像素合成图像；基于子像素合成图像，生成所述裸眼3D视频。本实施例首先通过将各路前景抠图对象和对应的背景序列帧图像的分辨率均缩放至目标分辨率，保证了2D背景视频的分辨率不损失，再通过子像素映射矩阵确定最终生成的裸眼3D视频的子像素合成图像中的子像素应该取自哪一路图像，使得待抠图对象更精确地基于目标视点参数进行多视点，多方位的展示，因此本实施例可以营造更清晰更好的裸眼3D悬浮效果。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有裸眼悬浮3D视频生成程序，所述裸眼悬浮3D视频生成程序被处理器执行时实现如上文所述的裸眼悬浮3D视频生成方法的步骤。
参考图9，图9为本发明裸眼悬浮3D视频生成装置第一实施例的结构框图。
如图9所示，本发明实施例提出的裸眼悬浮3D视频生成装置包括：
视频获取模块901，用于获取背景视频和左右格式的前景视频；
视频处理模块902，用于对所述背景视频和所述前景视频进行解码，获取背景序列帧图像和以灰度图像为前景的右侧序列帧图像；
抠图获取模块903，用于对所述右侧序列帧图像进行抠图处理，获取前景抠像对象；
图像生成模块904，用于基于所述前景抠像对象生成多路前景抠图图像；
视频合成模块905，用于基于各路前景抠图对象和对应的背景序列帧图像生成裸眼3D视频。
本实施例通过获取背景视频和左右格式的前景视频；对背景视频和前景视频进行解码，获取背景序列帧图像和以灰度图像为前景的右侧序列帧图像；对右侧序列帧图像进行抠图处理，获取前景抠像对象；基于前景抠像对象生成多路前景抠图图像；基于各路前景抠图对象和对应的背景序列帧图像生成裸眼3D视频。不同于现有的制作复杂的3D视频生成方法，本实施例通过对解码背景视频和左右格式的前景视频后生成的背景序列帧图像和以灰度图像为前景的右侧序列帧图像进行处理，从右侧序列帧图像抠取待抠图对象，然后基于目标视点参数营造待抠图对象的裸眼3D效果，因此本实施例提供了一种制作简易且成本较低的裸眼悬浮3D视频生成方法。
本发明裸眼悬浮3D视频生成装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种裸眼悬浮3D视频生成方法，其特征在于，所述裸眼悬浮3D视频生成方法包括以下步骤：
获取背景视频和左右格式的前景视频；
对所述背景视频和所述前景视频进行解码，获取背景序列帧图像和以灰度图像为前景的右侧序列帧图像；
对所述右侧序列帧图像进行抠图处理，获取前景抠像对象；
基于所述前景抠像对象生成多路前景抠图图像；
基于各路前景抠图对象和对应的背景序列帧图像生成裸眼3D视频。
2.如权利要求1所述的裸眼悬浮3D视频生成方法，其特征在于，所述对所述右侧序列帧图像进行抠图处理，获取前景抠像对象的步骤，包括：
基于所述右侧序列帧图像的梯度信息，获取所述右侧序列帧图像的第一边缘；
基于所述第一边缘对应的第一边缘像素点，确定所述右侧序列帧图像的第二边缘；
获取所述第二边缘对应的第二边缘像素点的纹理特征值；
基于所述纹理特征值和所述第二边缘像素点的法向量，判断所述第二边缘是否为真实边缘；
当所述第二边缘为所述真实边缘时，基于所述第二边缘获取前景抠像对象。
3.如权利要求2所述的裸眼悬浮3D视频生成方法，其特征在于，所述获取所述第二边缘对应的第二边缘像素点的纹理特征值的步骤，包括：
以所述第二边缘对应的第二边缘像素点为中心配置预设窗口，并以所述第二边缘像素点的灰度值作为第一阈值；
获取所述预设窗口内其他像素点的灰度值，并将所述其他像素点的灰度值与所述第一阈值进行比较；
基于比较结果，获取所述第二边缘像素点的纹理特征值。
4.如权利要求2所述的裸眼悬浮3D视频生成方法，其特征在于，所述基于所述纹理特征值和所述第二边缘像素点的法向量，判断所述第二边缘是否为真实边缘的步骤之后，还包括：
当所述第二边缘不为所述真实边缘时，对所述右侧序列帧图像进行色彩转换，并将经过色彩转换后的所述第二边缘作为第三边缘；
检测所述第三边缘上的像素点的亮度值是否小于预设亮度阈值；
若是，则判定所述第三边缘为虚假边缘，从所述右侧序列帧图像中再次提取边缘信息进行检测；
若否，则判定所述第三边缘为所述真实边缘，基于所述第三边缘获取所述前景抠像对象。
5.如权利要求1所述的裸眼悬浮3D视频生成方法，其特征在于，所述基于所述前景抠像对象生成多路前景抠图图像的步骤，包括：
当所述前景视频为2D视频时，基于目标视点参数对所述前景抠像对象进行水平像素偏移，获取多路前景抠图图像；
当所述前景视频为3D视频时，基于目标视点参数对所述前景抠像对象进行画面分割，获取多路前景抠图图像。
6.如权利要求1所述的裸眼悬浮3D视频生成方法，其特征在于，所述基于各路前景抠图对象和对应的背景序列帧图像生成裸眼3D视频的步骤，包括：
将各路前景抠图对象和对应的背景序列帧图像的分辨率均缩放至目标分辨率，并基于缩放后的所述各路前景抠图对象和所述背景序列帧图像，获取多路待合成画面；
对所述多路待合成画面进行叠加，生成裸眼3D视频。
7.如权利要求6所述的裸眼悬浮3D视频生成方法，其特征在于，所述对所述多路待合成画面进行叠加，生成裸眼3D视频的步骤，包括：
获取所述多路待合成画面中每一路合成画面的子像素的灰度值；
确定目标显示终端的子像素映射矩阵；
根据所述子像素映射矩阵和每一路合成画面的子像素的灰度值，确定裸眼3D视频的子像素合成图像；
基于所述子像素合成图像，生成所述裸眼3D视频。
8.一种裸眼悬浮3D视频生成装置，其特征在于，所述裸眼悬浮3D视频生成装置包括：
视频获取模块，用于获取背景视频和左右格式的前景视频；
视频处理模块，用于对所述背景视频和所述前景视频进行解码，获取背景序列帧图像和以灰度图像为前景的右侧序列帧图像；
抠图获取模块，用于对所述右侧序列帧图像进行抠图处理，获取前景抠像对象；
图像生成模块，用于基于所述前景抠像对象生成多路前景抠图图像；
视频合成模块，用于基于各路前景抠图对象和对应的背景序列帧图像生成裸眼3D视频。
9.一种裸眼悬浮3D视频生成设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的裸眼悬浮3D视频生成程序，所述裸眼悬浮3D视频生成程序配置为实现如权利要求1至7中任一项所述的裸眼悬浮3D视频生成方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有裸眼悬浮3D视频生成程序，所述裸眼悬浮3D视频生成程序被处理器执行时实现如权利要求1至7任一项所述的裸眼悬浮3D视频生成方法的步骤。
CN202310278260.4A 2022-11-21 2023-03-20 裸眼悬浮3d视频生成方法、装置、设备及存储介质 Active CN116546180B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2022114557674 2022-11-21
CN202211455767 2022-11-21

Publications (2)

Publication Number Publication Date
CN116546180A true CN116546180A (zh) 2023-08-04
CN116546180B CN116546180B (zh) 2024-02-23

Family

ID=87449527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310278260.4A Active CN116546180B (zh) 2022-11-21 2023-03-20 裸眼悬浮3d视频生成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116546180B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120106797A1 (en) * 2010-08-03 2012-05-03 Empire Technology Development Llc Identification of objects in a video
CN103475826A (zh) * 2013-09-27 2013-12-25 深圳市中视典数字科技有限公司 一种视频抠像合成方法
JP2014072801A (ja) * 2012-09-28 2014-04-21 Sharp Corp 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体
CN104616286A (zh) * 2014-12-17 2015-05-13 浙江大学 快速的半自动多视图深度修复方法
US20160125245A1 (en) * 2014-10-29 2016-05-05 Behavioral Recognition Systems, Inc. Foreground detector for video analytics system
WO2020149143A1 (ja) * 2019-01-15 2020-07-23 富士フイルム株式会社 立体画像表示体
WO2022041865A1 (zh) * 2020-08-28 2022-03-03 稿定（厦门）科技有限公司 基于多背景色统计的自动抠图方法及装置
CN114281234A (zh) * 2021-12-16 2022-04-05 北京沃东天骏信息技术有限公司 图像显示方法、装置及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120106797A1 (en) * 2010-08-03 2012-05-03 Empire Technology Development Llc Identification of objects in a video
JP2014072801A (ja) * 2012-09-28 2014-04-21 Sharp Corp 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体
CN103475826A (zh) * 2013-09-27 2013-12-25 深圳市中视典数字科技有限公司 一种视频抠像合成方法
US20160125245A1 (en) * 2014-10-29 2016-05-05 Behavioral Recognition Systems, Inc. Foreground detector for video analytics system
CN104616286A (zh) * 2014-12-17 2015-05-13 浙江大学 快速的半自动多视图深度修复方法
WO2020149143A1 (ja) * 2019-01-15 2020-07-23 富士フイルム株式会社 立体画像表示体
WO2022041865A1 (zh) * 2020-08-28 2022-03-03 稿定（厦门）科技有限公司 基于多背景色统计的自动抠图方法及装置
CN114281234A (zh) * 2021-12-16 2022-04-05 北京沃东天骏信息技术有限公司 图像显示方法、装置及存储介质

Also Published As

Publication number Publication date
CN116546180B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
US10057562B2 (en) Generating intermediate views using optical flow
US10762655B1 (en) Disparity estimation using sparsely-distributed phase detection pixels
JP4958233B2 (ja) 多眼視画像作成システム及び多眼視画像作成方法
JP7007348B2 (ja) 画像処理装置
US20180014003A1 (en) Measuring Accuracy of Image Based Depth Sensing Systems
CN109360235A (zh) 一种基于光场数据的混合深度估计方法
KR20070008652A (ko) 촬영된 이미지로부터 원 데이터를 추출하는 방법
CN109711246B (zh) 一种动态物体识别方法、计算机装置及可读存储介质
US20100302234A1 (en) Method of establishing dof data of 3d image and system thereof
US20150049937A1 (en) Method and apparatus for processing images
JP2018124890A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2019050038A1 (ja) 画像生成方法および画像生成装置
CN111598777A (zh) 天空云图的处理方法、计算机设备和可读存储介质
EP3327662B1 (en) Image processing device, image processing method, and program
CN112529006B (zh) 全景图片的检测方法、装置、终端及存储介质
CN115941920B (zh) 裸眼3d视频生成方法、装置、设备及存储介质
US20210118216A1 (en) Method of displaying a wide-format augmented reality object
CN116546180B (zh) 裸眼悬浮3d视频生成方法、装置、设备及存储介质
JP7192526B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR102587298B1 (ko) 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템
US9380285B2 (en) Stereo image processing method, stereo image processing device and display device
US20230419524A1 (en) Apparatus and method for processing a depth map
US9602708B2 (en) Rectified stereoscopic 3D panoramic picture
US20230005213A1 (en) Imaging apparatus, imaging method, and program
JP2014164497A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant