CN112929631B - 用于在3d视频中显示弹幕的方法和设备、3d显示设备 - Google Patents

Abstract

本申请涉及3D显示技术领域，公开一种用于在3D视频中显示弹幕的方法，包括：提供3D弹幕；和将3D弹幕嵌入第一3D视频中。该方法能够实现将3D形式的弹幕嵌入3D视频中。3D弹幕的嵌入方式灵活，可沿弹幕移动路径调整位置，以向用户呈现良好的视觉效果。本申请还公开一种用于在3D视频中显示弹幕的设备和3D显示设备。

Description

用于在3D视频中显示弹幕的方法和设备、3D显示设备

技术领域

本申请涉及3D显示技术领域，例如涉及用于在3D视频中显示弹幕的方法和设备、3D显示设备。

背景技术

目前，3D显示技术因为能向用户呈现栩栩如生的视觉体验而成为影像技术中的研究热点。

在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：在3D显示设备中没有为3D视频添加弹幕的解决方案，减少了用户互动的乐趣。

本背景技术仅为了便于了解本领域的相关技术，并不视作对现有技术的承认。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。该概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

本公开实施例提供了一种用于在3D视频中显示弹幕的方法、用于在3D视频中显示弹幕的设备、3D显示设备，以解决向3D视频中添加弹幕的技术问题。

在一些实施例中，提供了一种用于在3D视频中显示弹幕的方法，包括：提供3D弹幕；和将3D弹幕嵌入第一3D视频中。

在一些实施例中，方法还包括：提供具有景深信息的第一3D视频。

在一些实施例中，提供具有景深信息的第一3D视频包括：提供包括景深图像和渲染图像的第一3D视频，其中景深图像具有景深信息；或者提供包括左眼视差图像和右眼视差图像的第一3D视频，并且基于左眼视差图像和右眼视差图像获得景深信息。

在一些实施例中，将3D弹幕嵌入第一3D视频中包括：将3D弹幕按照弹幕移动路径嵌入第一3D视频中；其中，弹幕移动路径包括显示平面位移和景深位移。

在一些实施例中，方法还包括：获取用户的人眼追踪数据；和基于人眼追踪数据，调整弹幕移动路径的景深位移。

在一些实施例中，将3D弹幕按照弹幕移动路径嵌入第一3D视频中包括：将多个3D弹幕按照各自的弹幕移动路径嵌入第一3D视频中。

在一些实施例中，将多个3D弹幕按照各自的弹幕移动路径嵌入第一3D视频中包括：检测多个3D弹幕中至少一个3D弹幕的弹幕移动路径是否与其他3D弹幕的弹幕移动路径在时间和空间上重叠；和响应于多个3D弹幕中至少一个3D弹幕的弹幕移动路径与其他3D弹幕的弹幕移动路径在时间和空间上重叠，调整至少一个3D弹幕的弹幕移动路径的景深位移。

在一些实施例中，方法还包括：响应于所输入的弹幕内容，形成至少一个3D弹幕。

在一些实施例中，方法还包括：得到将3D弹幕嵌入第一3D视频中之后的第二3D视频；和基于第二3D视频渲染多视点裸眼立体显示屏中的复合子像素中的子像素。

在一些实施例中，提供了一种用于在3D视频中显示弹幕的设备，包括：处理器；和存储有程序指令的存储器；其中，处理器被配置为在执行程序指令时，执行如上所述的方法。

在一些实施例中，提供了一种用于在3D视频中显示弹幕的设备，包括：3D弹幕获取装置，被配置为提供3D弹幕；和弹幕嵌入装置，被配置为将3D弹幕嵌入第一3D视频中。

在一些实施例中，设备还包括视频信号接口，被配置为接收具有景深信息的第一3D视频。

在一些实施例中，第一3D视频包括景深图像和渲染图像，其中景深图像具有景深信息；或者第一3D视频包括左眼视差图像和右眼视差图像，其中景深信息基于左眼视差图像和右眼视差图像而获得。

在一些实施例中，弹幕嵌入装置被配置为将3D弹幕按照弹幕移动路径嵌入第一3D视频中；其中，弹幕移动路径包括显示平面位移和景深位移。

在一些实施例中，设备还包括：人眼追踪数据获取装置，被配置为获取用户的人眼追踪数据；弹幕嵌入装置包括景深调整装置，被配置为基于人眼追踪数据调整弹幕移动路径的景深位移。

在一些实施例中，弹幕嵌入装置被配置为将多个3D弹幕按照各自的弹幕移动路径嵌入第一3D视频中。

在一些实施例中，弹幕嵌入装置包括：重叠检测装置，被配置为检测多个3D弹幕中至少一个3D弹幕的弹幕移动路径是否与其他3D弹幕的弹幕移动路径在时间和空间上重叠；和景深调整装置，被配置为响应于多个3D弹幕中至少一个3D弹幕的弹幕移动路径与其他3D弹幕的弹幕移动路径在时间和空间上重叠，调整至少一个3D弹幕的弹幕移动路径的景深位移。

在一些实施例中，设备还包括：弹幕3D化装置，被配置为响应于所输入的弹幕内容，形成至少一个3D弹幕。

在一些实施例中，提供了一种3D显示设备，包括：多视点裸眼3D显示屏，包括多个复合像素，多个复合像素中的每个复合像素包括多个复合子像素，多个复合子像素中的每个复合子像素包括多个子像素；3D处理装置；3D弹幕处理设备，被配置为上述的用于在3D视频中显示弹幕的设备；其中，3D弹幕处理设备的弹幕嵌入装置配置为将3D弹幕嵌入第一3D视频中以获得第二3D视频，3D处理装置配置为基于第二3D视频渲染多视点裸眼立体显示屏中的复合子像素中的相应子像素。

本公开实施例提供的用于在3D视频中显示弹幕的方法、用于在3D视频中显示弹幕的设备、3D显示设备，可以实现以下技术效果：

能够实现将3D形式的弹幕嵌入3D视频中。3D弹幕的嵌入方式灵活，可沿弹幕移动路径调整位置，以向用户呈现良好的视觉效果。此外，实现3D形式弹幕的3D弹幕处理设备可采用多视点裸眼3D显示屏，本公开以复合像素的方式定义多视点裸眼3D显示屏的显示分辨率，在传输和显示时均以由复合像素定义的显示分辨率为考量因素，在确保高清晰度显示效果的情况下减少了传输和渲染的计算量，实现高质量的裸眼式3D显示。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：

图1A至图1E是根据本公开的实施例的3D显示设备的示意图；

图2是根据本公开实施例的在第一3D视频中嵌入弹幕的示意图；

图3是根据本公开实施例的在第一3D视频中嵌入多个弹幕的示意图；

图4是根据本公开实施例的两条弹幕的弹幕移动路径重叠的示意图；

图5是根据本公开实施例的在3D视频中显示弹幕的方法流程图；

图6是根据本公开实施例的3D弹幕系统；

图7是根据本公开实施例的系统架构的示意图；

图8是根据本公开实施例的3D弹幕处理设备的示意图。

附图标记：

100：3D显示设备；110：多视点裸眼3D显示屏；120：处理器；121：寄存器；130：3D处理装置；130：缓存器；140：视频信号接口；150：人眼追踪装置；160：人眼追踪数据接口；170：弹幕嵌入装置；180：弹幕3D化装置；190：3D弹幕处理设备；200：输入模块；210：3D弹幕获取装置；300：服务器；400：复合像素；410：红色复合子像素；420：绿色复合子像素；430：蓝色复合子像素；500：多视点裸眼3D显示设备；600：第一3D视频；610：弹幕；620：弹幕；800：系统架构；801：显示设备；802：显示设备；803：显示设备；804：显示设备；805：网络；806：服务器；900：3D弹幕处理设备；901：中央处理器(CPU)；902：只读存储器(ROM)；903：存储器(RAM)；904：总线；905：输入/输出(I/O)接口；906：输入部分；907：输出部分；908：存储部分；909：通信部分；910：驱动器；911：可拆卸介质。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。

在本文中，“裸眼三维(或称3D)显示”涉及用户无需佩戴3D显示用的眼镜而能在平面显示器上观察到3D的显示图像的技术，包括但不限于“视差屏障”、“柱状透镜”、“指向式背光”技术。

在本文中，“多视点”具有本领域的常规含义，意指在空间中不同位置(视点)处能观看到显示屏的不同像素或子像素显示的不同图像。在本文中，多视点将意味着至少3个视点。

在本文中，“光栅”具有本领域中广义的解释，包括但不限于“视差屏障”光栅和“透镜”光栅、如“柱状透镜”光栅。

在本文中，“透镜”或“透镜光栅”具有本领域的常规含义，例如包括柱状透镜和球面透镜。

常规的“像素”意指2D显示器或者作为2D显示器显示时就其分辨率而言的最小显示单位。

然而，在本文的一些实施例中，当应用于裸眼3D显示领域的多视点技术时所称的“复合像素”指裸眼3D显示器提供多视点显示时的最小显示单位，但不排除用于多视点技术的单个复合像素可包括或呈现为多个2D显示的像素。在本文中，除非具体说明为“3D显示”或“多视点”应用的复合像素或3D像素，像素将指2D显示时的最小显示单位。同样，当描述为多视点的裸眼3D显示“复合子像素”时，将指裸眼3D显示器提供多视点显示时的复合像素中呈现的单个颜色的复合子像素。在本文中，“复合子像素”中的子像素将指单个颜色的最小显示单位，其往往是与视点相对应的。

根据本公开的实施例提供了一种用于在3D视频中显示弹幕的设备，或称3D弹幕处理设备，包括配置为提供3D弹幕的3D弹幕获取装置和配置为将3D弹幕嵌入第一3D视频中的弹幕嵌入装置。在一些实施例中，3D弹幕处理设备应用于3D显示设备或设置于3D显示设备中。

图1A示出了根据本公开的实施例的3D显示设备100的示意图。3D弹幕处理设备190可以设置于3D显示设备100中。如图1A所示，3D显示设备100包括多视点裸眼3D显示屏110、3D处理装置130、接收具有景深信息的第一3D视频的3D信号接口(如视频信号接口140)、3D弹幕处理设备190和处理器120。

在一些实施例中，第一3D视频可以包括景深图像和渲染图像，其中景深信息包含在景深图像中。在一些实施例中，第一3D视频可以包括左眼视差图像和右眼视差图像，其中景深信息基于左眼视差图像和右眼视差图像形成。在一些实施例中，可以借助可行的或典型的计算方法基于左眼视差图像和右眼视差图像算出景深信息，这种计算出来的景深信息可以是近似值。

在一些实施例中，多视点裸眼3D显示屏110可包括显示面板和覆盖显示面板的光栅。显示面板可以包括m列n行个(即m×n阵列式的)复合像素400并因此限定出3D显示设备的m×n的显示分辨率。在一些实施例中，m×n的显示分辨率可以为全高清(FHD)以上的分辨率，包括但不限于：1920×1080、1920×1200、2048×1280、2560×1440、3840×2160等。每个复合像素包括多个复合子像素，每个复合子像素包括对应于i个视点的i个同色子像素，其中i≥3。

图1A示意性地示出了m×n个复合像素中的一个复合像素400，包括由i＝6个红色子像素R构成的红色复合子像素410、由i＝6个绿色子像素G构成的绿色复合子像素420和由i＝6个蓝色子像素B构成的蓝色复合子像素430。3D弹幕处理设备100相应具有i＝6个视点(V1-V6)。在其他实施例中可以想到i为大于或小于6的其他值，如10、30、50、100等。

在一些实施例中，每个复合像素成正方形。每个复合像素中的所有复合子像素可以彼此平行布置。每个复合子像素中的i个子像素可以成行布置。

在本实施例中，每个复合子像素具有对应于视点的相应子像素。每个复合子像素的多个子像素在多视点裸眼3D显示屏的横向上成行布置，且成行的多个子像素的颜色相同。由于3D显示设备的多个视点是大致沿多视点裸眼3D显示屏的横向排布的，这样，在用户移动导致人眼处于不同的视点时，需要相应动态渲染每个复合子像素中对应于相应视点的不同子像素。由于每个复合子像素中的同色子像素成行排列，所以能够避免由于视觉暂留带来的串色问题。此外，由于光栅的折射，有可能会在相邻的视点位置看见当前显示子像素的一部分，而通过同色、同行排列，即使当前显示子像素的一部分被看见，也不会出现混色的问题。

在一些实施例中，3D处理装置为FPGA或ASIC芯片或FPGA或ASIC芯片组。如图1A所示的实施例，3D处理装置130还可以选择性地包括缓存器131，以便缓存所接收到的3D视频信号的图像。

3D弹幕处理设备190包括弹幕嵌入装置170和3D弹幕获取装置210。弹幕嵌入装置170配置为将呈3D形式的弹幕(或称3D弹幕)按照弹幕移动路径嵌入第一3D视频中，从而获得第二3D视频，第二3D视频包含了弹幕嵌入信息和弹幕内容信息。在一些实施例中，弹幕嵌入信息包括弹幕要嵌入的景深信息，例如弹幕沿弹幕移动路径的景深位移。3D形式的弹幕可以是基于例如为输入模块的3D弹幕获取装置所输入的弹幕内容转化而来的。图2示出了嵌入第一3D视频600中的3D弹幕610。在所示出的实施例中，3D弹幕的弹幕移动路径包括显示平面位移和景深位移d。显示平面是指多视点裸眼3D显示屏的显示平面或与多视点裸眼3D显示屏的显示平面平行的平面。在一些实施例中，显示平面位移包括在显示平面中的横向位移(或称水平位移)w和竖向位移(或称高度位移)h中的至少一个，还可以包括横向位移w的分量和竖向位移h的分量中的至少一个。

在一些实施例中，3D弹幕获取装置210可以包括输入模块和与输入模块通信连接的处理模块。弹幕移动路径可根据输入模块的设定而调整。在一些实施例中，弹幕移动路径可基于预设条件的触发而调整。预设条件例如可以是弹幕之间产生时间和空间上的冲突、弹幕与第一3D视频中的3D图像特征产生时间和空间上的冲突等。

在一些实施例中，输入模块可以是硬件，也可以是软件。当输入模块为硬件时，可以是支持数据传输的各种电子设备。输入模块可以集成于3D弹幕处理设备中，也可以与3D弹幕处理设备并列存在且通信连接。

在一些实施例中，如图1B所示，弹幕嵌入装置170可以集成在3D处理装置130中。或者，弹幕嵌入装置170可以与3D处理装置130通信连接。

3D显示设备100还可包括通过视频信号接口140通信连接至3D处理装置130的处理器120。在一些实施例中，处理器120被包括在计算机或智能终端、如移动终端中或作为处理器单元。

在一些实施例中，视频信号接口140为连接处理器120与3D处理装置130的内部接口。这样的3D显示设备100例如可以是移动终端，视频信号接口140可以为MIPI、mini-MIPI接口、LVDS接口、min-LVDS接口或Display Port接口。

在一些实施例中，如图1A所示，3D显示设备100的处理器120还可包括寄存器121。寄存器121可配置为暂存指令、数据和地址。

如图1C所示，3D弹幕处理设备还可以包括弹幕3D化装置180。在一些实施例中，弹幕3D化装置180可以集成在3D处理装置中。在一些实施例中，弹幕3D化装置可以集成在输入模块中，例如集成在输入模块的处理模块中。弹幕3D化装置180配置为响应于所输入的弹幕内容，形成3D弹幕。在一些实施例中，所输入的弹幕内容包括文字内容，从而形成包括3D文字的3D弹幕。在一些实施例中，所输入的弹幕内容包括表情内容，从而形成包括3D表情的3D弹幕。在一些实施例中，所输入的弹幕内容可包括文字内容和表情内容，从而所形成的3D弹幕包括3D文字和3D表情。在一些实施例中，所输入的弹幕内容还可以包括具有特效的文字内容和表情内容中的至少一种。特效可以是基于输入的特效参数生成的。

在一些实施例中，形成3D文字包括自定义弹幕字体、对弹幕字体进行矢量化、增加字体厚度等。具有厚度效果的字体包括倾斜式厚度、波浪形厚度、圆角形厚度等。

在一些实施例中，3D弹幕处理设备190还包括配置为获取人眼追踪数据的人眼追踪装置或人眼追踪数据接口。例如图1D所示的实施例中，3D弹幕处理设备190包括通信连接至3D处理装置130的人眼追踪装置150，由此3D处理装置130可以直接接收人眼追踪数据。在图1E所示的实施例中，人眼追踪装置(未示出)例如可以直接连接处理器120，而3D处理装置130经由人眼追踪数据接口160从处理器120获得人眼追踪数据。在另一些实施例中，人眼追踪装置可同时连接处理器和3D处理装置，使得一方面3D处理装置130可以直接从人眼追踪装置获取人眼追踪数据，另一方面人眼追踪装置获取的其他信息可以被处理单元处理。

在一些实施例中，人眼追踪数据包括表明用户的人眼空间位置的人眼空间位置信息，人眼空间位置信息可以三维坐标形式表现，例如包括用户的眼部/脸部与多视点裸眼3D显示屏或人眼追踪装置之间的间距信息(也就是用户的眼部/脸部的深度信息)、观看的眼部/脸部在多视点裸眼3D显示屏或人眼追踪装置的横向上的位置信息、用户的眼部/脸部在多视点裸眼3D显示屏或人眼追踪装置的竖向上的位置信息。人眼空间位置也可以用包含间距信息、横向位置信息和竖向位置信息中的任意两个信息的二维坐标形式表现。人眼追踪数据还可以包括用户的眼部(例如双眼)所在的视点(视点位置)、用户视角等。

在一些实施例中，人眼追踪装置包括配置为拍摄用户图像(例如用户脸部图像)的人眼追踪器、配置为基于所拍摄的用户图像确定人眼空间位置的人眼追踪图像处理器和配置为传输人眼空间位置信息的人眼追踪数据接口。人眼空间位置信息表明人眼空间位置。

在一些实施例中，人眼追踪器包括配置为拍摄第一图像的第一摄像头和配置为拍摄第二图像的第二摄像头，而人眼追踪图像处理器配置为基于第一图像和第二图像中的至少一副图像识别人眼的存在且基于识别到的人眼确定人眼空间位置。

在一些实施例中，人眼追踪图像处理器可以基于人眼空间位置确定用户眼部所处的视点。在另一些实施例中，由3D处理装置基于获取的人眼空间位置来确定用户眼部所处的视点。

在一些实施例中，人眼追踪器包括配置为拍摄至少一幅图像的至少一个摄像头和配置为获取用户的眼部深度信息的深度检测器，而人眼追踪图像处理器配置为基于所拍摄的至少一幅图像识别人眼的存在，并基于识别到的人眼和眼部深度信息确定人眼空间位置。3D处理装置可基于获取的人眼空间位置来确定用户眼部所处的视点。

为配合用户双眼所在视点位置，弹幕嵌入装置170可以包括景深调整装置。景深调整装置配置为基于用户的人眼追踪数据，调整3D弹幕的弹幕移动路径中的景深位移。在一些实施例中，调整景深位移包括将与用户视线相关位置的3D弹幕突出显示，实现基于用户注意力的3D弹幕显示。在一些实施例中，调整景深位移包括将弹幕缩进显示，例如缩进至第一3D视频的主要特征的背后，可防止3D弹幕遮挡用户感兴趣的画面。

3D处理装置可以基于第二3D视频渲染多视点裸眼3D显示屏中的每个复合子像素中的相应子像素。在一些实施例中，相应子像素包括每个复合子像素中的由人眼追踪数据确定的子像素，例如与用户双眼所在视点位置相对应的子像素。渲染由人眼追踪数据确定的相应子像素可以减少渲染和计算量，减轻处理负担，加快处理进程，有利于3D弹幕处理设备的性能改善。

图3示出了弹幕嵌入装置将多个3D弹幕按照这些3D弹幕各自的弹幕移动路径嵌入第一3D视频600。如图所示，弹幕嵌入装置向第一3D视频600中嵌入了两条3D弹幕610、620。3D弹幕610和3D弹幕620的弹幕移动路径不同，例如可以具有相同的显示平面位移和不同的景深位移。如图所示，3D弹幕610相对于3D弹幕620突出显示，而3D弹幕620相对于3D弹幕610缩进显示，这样，3D弹幕620出现在3D弹幕610的背后，两者在景深方向上区分开。在一些实施例中，不同的3D弹幕可以具有相同的景深位移和不同的显示平面位移，例如竖向位移和横向位移中的至少一个是不同的，从而在多视点裸眼立体显示屏的显示平面上区分开。在一些实施例中，不同的弹幕可以具有不同的景深位移和不同的显示平面位移。

在一些实施例中，弹幕嵌入装置170包括重叠检测装置。重叠检测装置配置为检测多个3D弹幕中的至少一个3D弹幕的弹幕移动路径是否与其他3D弹幕的弹幕移动路径在时间和空间上重叠。图4示出了两条3D弹幕610、620的弹幕移动路径在时间和空间上重叠的示例。在这种情况下，重叠检测装置检测3D弹幕610的弹幕移动路径与3D弹幕620的弹幕移动路径是否在时间和空间上存在重叠，如果存在重叠，则景深调整装置可以响应于所存在的重叠而调整其中一个3D弹幕的景深位移，例如调整3D弹幕610的景深位移，使得3D弹幕610、620分离开。

在一些实施例中，景深调整装置可以基于3D弹幕遮挡或将要遮挡第一3D视频的3D图像中的主要3D图像特征而调整3D弹幕的弹幕移动路径。主要3D图像特征例如可以根据景深信息来判断，将3D图像中最突出显示的3D图像特征(或者称为前景特征)作为为主要3D图像特征，或者将3D图像中满足一定景深阈值的3D图像特征作为主要特征。在一些实施例中，调整方式可以是利用景深调整装置调整3D弹幕的景深位移，使3D弹幕相对于主要3D图像特征缩进显示，这样3D弹幕相对于主要3D图像特征处于背景区域。

在一些实施例中，响应于3D弹幕之间存在重叠而调整3D弹幕的景深位移的景深调整装置、基于用户的人眼追踪数据而调整3D弹幕的景深位移的景深调整装置以及基于3D弹幕与主要特征冲突而调整3D弹幕的景深位移的景深调整装置是同一个元件。在一些实施例中，上述景深调整装置是包含于弹幕嵌入装置的不同元件，各自执行相应的功能。

根据本公开的实施例提供了在3D视频中显示弹幕的方法，如图5所示，该方法包括：

S100，提供3D弹幕；和

S200，将3D弹幕嵌入第一3D视频中。

在一些实施例中，上述方法可应用于前述的3D显示设备或多视点裸眼3D显示屏。

在一些实施例中，上述方法还包括：提供具有景深信息的第一3D视频。

在一些实施例中，提供具有景深信息的第一3D视频包括提供具有景深图像和渲染图像的第一3D视频，其中景深图像具有景深信息。

在一些实施例中，提供具有景深信息的第一3D视频包括提供具有左眼视差图像和右眼视差图像的第一3D视频，其中景深信息是基于左眼视差图像和右眼视差图像而获得。

在一些实施例中，将3D弹幕嵌入第一3D视频中包括将3D弹幕按照弹幕移动路径嵌入第一3D视频中。其中，弹幕移动路径包括显示平面位移和景深位移。

在一些实施例中，上述方法还包括：获取用户的人眼追踪数据；和基于人眼追踪数据，调整弹幕移动路径的景深位移。

在一些实施例中，将3D弹幕按照弹幕移动路径嵌入第一3D视频中包括：将多个3D弹幕按照这些3D弹幕各自的移动路径嵌入第一3D视频中。

在一些实施例中，将多个3D弹幕按照这些3D弹幕各自的弹幕移动路径嵌入第一3D视频中包括：检测多个3D弹幕中的至少一个3D弹幕的弹幕移动路径是否与其他3D弹幕的弹幕移动路径在时间和空间上重叠；和响应于多个3D弹幕中的至少一个3D弹幕的弹幕移动路径与其他3D弹幕的弹幕移动路径在时间和空间上重叠，调整该至少一个3D弹幕的弹幕移动路径的景深位移。

在一些实施例中，将3D弹幕嵌入第一3D视频以获得第二3D视频。第二3D视频包括3D弹幕嵌入信息和3D弹幕内容信息。在一些实施例中，3D弹幕嵌入信息包括3D弹幕要嵌入的景深信息，例如3D弹幕沿弹幕移动路径的景深位移。

在一些实施例中，基于第二3D视频渲染多视点裸眼立体显示屏中的复合子像素中的相应子像素。

在一些实施例中，上述方法还包括：响应于所输入的弹幕内容，形成至少一个3D弹幕。所输入的弹幕内容可以包括文字内容，从而形成包括3D文字的3D弹幕。或者，所输入的弹幕内容可以包括表情内容，从而形成包括3D表情的3D弹幕。或者，所输入的弹幕内容可包括文字内容和表情内容，从而所形成的3D弹幕包括3D文字和3D表情。在一些实施例中，所输入的弹幕内容还可以包括具有特效的文字内容和表情内容中的至少一种。特效可以是基于输入的特效参数生成的。

在一些实施例中，形成3D文字包括自定义弹幕字体、对弹幕字体进行矢量化、增加字体厚度等。具有厚度效果的字体包括倾斜式厚度、波浪形厚度、圆角形厚度等。

在本公开的一些实施例中，如图6所示，提供了一种3D显示系统，包括多视点裸眼3D显示设备500、服务器300和输入模块200。多视点裸眼3D显示设备500包括多视点裸眼3D显示屏、与多视点裸眼3D显示屏通信连接的3D处理装置和与3D处理装置通信连接的人眼追踪装置。通过输入模块200输入弹幕内容并将弹幕内容转化为3D弹幕。转化过程可以借助弹幕3D化装置完成，弹幕3D化装置例如可以集成于输入模块200中。输入模块200将3D弹幕发送至服务器300，由服务器300存储3D弹幕。服务器300根据所存储的第一3D视频和3D形式的弹幕生成第二3D视频，并将第二3D视频发送至多视点裸眼3D显示设备500。多视点裸眼3D显示设备500接收待播放的第二3D视频后，3D处理装置根据待播放的第二3D视频渲染多视点裸眼3D显示屏中每个复合像素的复合子像素中的相应子像素，例如由人眼追踪装置获取的人眼追踪数据所确定的子像素，由此播放第二3D视频。3D处理装置可以预存储视点与子像素对应关系表。

在一些实施例中，输入模块作为提供3D弹幕的3D弹幕获取装置可以与多视点裸眼3D显示设备500集成在一起或集成到多视点裸眼3D显示设备500中。

图7示出了可应用本公开实施例的在3D视频中显示弹幕的方法或设备的示例性系统架构800。如图7所示，系统架构800可包括集成有输入模块的显示设备801、802、803、804，网络805和服务器806。网络805用以在显示设备801、802、803、804与服务器806之间提供通信链路的介质。网络805可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户可以使用显示设备801、802、803、804通过网络805与服务器806交互，以接收或发送数据(例如接收第二3D视频或发送3D形式的弹幕)等。显示设备801、802、803、804可以包括硬件，也可以包括软件。当显示设备801、802、803、804包括硬件时，可以是具有多视点裸眼3D显示屏并且支持数据传输的各种电子设备，包括但不限于台式计算机、膝上型便携计算机、平板电脑、智能手机等等。当显示设备801、802、803、804为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做限定。

服务器806可以是提供各种服务的服务器，例如对显示设备801、802、803、804显示的视频提供支持的后台服务器。后台服务器可以对接收到的图像处理请求等数据进行分析等处理，并将处理结果反馈给与其通信连接的电子设备(例如输入模块)。

在一些实施例中，在3D视频中显示弹幕的方法可以由服务器806执行，相应地，3D弹幕处理设备中的处理器、弹幕嵌入装置可以设置于服务器806中。在一些实施例中，在3D视频中显示弹幕的方法可以由终端设备(例如显示设备801、802、803、804)执行，相应地，3D弹幕处理设备可以设置于终端设备中。

参考图8示出了适于用来实现本公开实施例的3D弹幕处理设备900的结构示意图。图8示出的3D弹幕处理设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图8所示，3D弹幕处理设备900包括中央处理器(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有设备900操作所需的各种程序和数据。CPU901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理器(CPU)901执行时，执行本申请的方法中限定的上述功能。

需要说明的是，本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：根据当前用户的面部图像特征，判断当前用户符合预设条件时，根据当前用户的眼球所在视点信息，控制裸眼3D显示屏显示与眼球所在视点信息对应的视点图像。

在本公开的实施例的方法、程序、设备、装置等，可以在单个或多个连网的计算机中执行或实现，也可以在分布式计算环境中实践。在本说明书实施例中，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。

本领域技术人员应明白，本说明书的实施例可提供为方法、设备或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。

在本公开的一些实施例中，以功能模块/单元的形式来描述装置的部件。可以想到，多个功能模块/单元一个或多个“组合”功能模块/单元和/或一个或多个软件和/或硬件中实现。也可以想到，单个功能模块/单元由多个子功能模块或子单元的组合和/或多个软件和/或硬件实现。功能模块/单元的划分，可以仅为一种逻辑功能划分，在一些实现方式中，多个模块/单元可以结合或者可以集成到另一个系统。此外，本文的模块、单元、装置、系统及其部件的连接包括直接或间接的连接，涵盖可行的电的、机械的、通信的连接，包括各种接口间的有线或无线连接，包括但不限于HDMI、雷电、USB、WiFi、蜂窝网络。

在本公开的实施例中，方法、程序的技术特征、流程图和/或方框图可以应用到相应的装置、设备、系统及其模块、单元、部件中。反过来，装置、设备、系统及其模块、单元、部件的各实施例和特征可以应用至根据本公开实施例的方法、程序中。例如，计算机程序指令可装载到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，其具有实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中相应的功能或特征。

根据本公开实施例的方法、程序可以以计算机程序指令或程序的方式存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读的存储器或介质中。本公开实施例也涉及存储有可实施本公开实施例的方法、程序、指令的可读存储器或介质。

存储介质包括永久性和非永久性、可移动和非可移动的可以由任何方法或技术来实现信息存储的物品。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

除非明确指出，根据本公开实施例记载的方法、程序的动作或步骤并不必须按照特定的顺序来执行并且仍然可以实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

已参考上述实施例示出并描述了本公开的示例性系统及方法，其仅为实施本系统及方法的最佳模式的示例。本领域的技术人员可以理解的是可以在实施本系统及/或方法时对这里描述的系统及方法的实施例做各种改变而不脱离界定在所附权利要求中的本公开的精神及范围。所附权利要求意在界定本系统及方法的范围，故落入这些权利要求中及与其等同的系统及方法可被涵盖。对本系统及方法的以上描述应被理解为包括这里描述的全部的新的及非显而易见的元素的结合，而本申请或后续申请中可存在涉及任何新的及非显而易见的元素的结合的权利要求。此外，上述实施例是示例性的，对于在本申请或后续申请中可以要求保护的全部可能组合中，没有一个单一特征或元素是必不可少的。

Claims (16)

1.一种用于在3D视频中显示弹幕的方法，其特征在于，包括：

提供用于在多视点裸眼3D显示屏中显示的3D弹幕，所述多视点裸眼3D显示屏包括多个复合像素，多个复合像素中的每个复合像素包括多个复合子像素，多个复合子像素中的每个复合子像素包括多个同色子像素；

获取用户的人眼追踪数据，所述人眼追踪数据包括表明用户的人眼空间位置的人眼空间位置信息，根据所述人眼追踪数据确定用户双眼所在视点位置和用户视线；

将所述3D弹幕嵌入第一3D视频中得到将所述3D弹幕嵌入所述第一3D视频之后的第二3D视频，包括：基于所述用户视线，将所述用户视线相关位置的3D弹幕突出显示，

根据用户双眼所在视点位置的变化，基于所述第二3D视频动态渲染多视点裸眼立体显示屏中的复合子像素中对应视点位置的不同子像素。

2.根据权利要求1所述的方法，其特征在于，还包括：提供具有景深信息的所述第一3D视频。

3.根据权利要求2所述的方法，其特征在于，提供具有景深信息的所述第一3D视频包括：

提供包括景深图像和渲染图像的所述第一3D视频，其中所述景深图像具有所述景深信息；或者

提供包括左眼视差图像和右眼视差图像的第一3D视频，并且基于所述左眼视差图像和右眼视差图像获得所述景深信息。

4.根据权利要求1所述的方法，其特征在于，将所述3D弹幕嵌入第一3D视频中包括：

将所述3D弹幕按照弹幕移动路径嵌入所述第一3D视频中；

其中，所述弹幕移动路径包括显示平面位移和景深位移。

5.根据权利要求4所述的方法，其特征在于，将所述3D弹幕按照弹幕移动路径嵌入所述第一3D视频中包括：

将多个3D弹幕按照各自的弹幕移动路径嵌入所述第一3D视频中。

6.根据权利要求5所述的方法，其特征在于，将多个3D弹幕按照各自的弹幕移动路径嵌入所述第一3D视频中包括：

检测所述多个3D弹幕中至少一个3D弹幕的弹幕移动路径是否与其他3D弹幕的弹幕移动路径在时间和空间上重叠；和

响应于所述多个3D弹幕中至少一个3D弹幕的弹幕移动路径与其他3D弹幕的弹幕移动路径在时间和空间上重叠，调整所述至少一个3D弹幕的弹幕移动路径的景深位移。

7.根据权利要求1至6任一项所述的方法，其特征在于，还包括：

响应于所输入的弹幕内容，形成至少一个所述3D弹幕。

8.一种用于在3D视频中显示弹幕的设备，其特征在于，包括：

处理器；和

存储有程序指令的存储器；

其中，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至7任一项所述的方法。

9.一种用于在3D视频中显示弹幕的设备，其特征在于，包括：

3D弹幕获取装置，被配置为提供用于在多视点裸眼3D显示屏中显示的3D弹幕，所述多视点裸眼3D显示屏包括多个复合像素，多个复合像素中的每个复合像素包括多个复合子像素，多个复合子像素中的每个复合子像素包括多个同色子像素；

人眼追踪数据获取装置，被配置为获取用户的人眼追踪数据，所述人眼追踪数据包括表明用户的人眼空间位置的人眼空间位置信息，根据所述人眼追踪数据确定用户双眼所在视点位置和用户视线；

弹幕嵌入装置，被配置为将所述3D弹幕嵌入第一3D视频中得到将所述3D弹幕嵌入所述第一3D视频之后的第二3D视频，所述弹幕嵌入装置包括景深调整装置，被配置为基于所述用户视线将所述用户视线相关位置的3D弹幕突出显示；

3D处理装置，被配置为根据用户双眼所在视点位置的变化，基于所述第二3D视频动态渲染多视点裸眼立体显示屏中的复合子像素中对应视点位置的不同子像素。

10.根据权利要求9所述的设备，其特征在于，还包括视频信号接口，被配置为接收具有景深信息的所述第一3D视频。

11.根据权利要求10所述的设备，其特征在于，所述第一3D视频包括景深图像和渲染图像，其中所述景深图像具有所述景深信息；或者

所述第一3D视频包括左眼视差图像和右眼视差图像，其中所述景深信息基于所述左眼视差图像和右眼视差图像而获得。

12.根据权利要求11所述的设备，其特征在于，所述弹幕嵌入装置被配置为将所述3D弹幕按照弹幕移动路径嵌入所述第一3D视频中；

其中，所述弹幕移动路径包括显示平面位移和所述景深位移。

13.根据权利要求12所述的设备，其特征在于，所述弹幕嵌入装置被配置为将多个3D弹幕按照各自的弹幕移动路径嵌入所述第一3D视频中。

14.根据权利要求13所述的设备，其特征在于，所述弹幕嵌入装置包括：

重叠检测装置，被配置为检测所述多个3D弹幕中至少一个3D弹幕的弹幕移动路径是否与其他3D弹幕的弹幕移动路径在时间和空间上重叠；和

景深调整装置，被配置为响应于所述多个3D弹幕中至少一个3D弹幕的弹幕移动路径与其他3D弹幕的弹幕移动路径在时间和空间上重叠，调整所述至少一个3D弹幕的弹幕移动路径的景深位移。

15.根据权利要求10至14任一项所述的设备，其特征在于，还包括：

弹幕3D化装置，被配置为响应于所输入的弹幕内容，形成至少一个所述3D弹幕。

16.一种3D显示设备，其特征在于，包括：

3D处理装置；

3D弹幕处理设备，被配置为权利要求10至15任一项所述的用于在3D视频中显示弹幕的设备。