CN112929641A - 3d图像显示方法、3d显示设备 - Google Patents

3d图像显示方法、3d显示设备 Download PDF

Info

Publication number
CN112929641A
CN112929641A CN201911231177.1A CN201911231177A CN112929641A CN 112929641 A CN112929641 A CN 112929641A CN 201911231177 A CN201911231177 A CN 201911231177A CN 112929641 A CN112929641 A CN 112929641A
Authority
CN
China
Prior art keywords
image
display
area
feature
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911231177.1A
Other languages
English (en)
Other versions
CN112929641B (zh
Inventor
刁鸿浩
黄玲溪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vision Technology Venture Capital Pte Ltd
Beijing Ivisual 3D Technology Co Ltd
Original Assignee
Vision Technology Venture Capital Pte Ltd
Beijing Ivisual 3D Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vision Technology Venture Capital Pte Ltd, Beijing Ivisual 3D Technology Co Ltd filed Critical Vision Technology Venture Capital Pte Ltd
Priority to CN201911231177.1A priority Critical patent/CN112929641B/zh
Publication of CN112929641A publication Critical patent/CN112929641A/zh
Application granted granted Critical
Publication of CN112929641B publication Critical patent/CN112929641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请涉及3D显示技术领域,公开一种3D图像显示方法,包括:在多视点裸眼3D显示屏的预定播放区域中显示3D图像;基于3D图像中的3D图像特征的至少一部分超出预定播放区域,在预定播放区域之外的补充播放区域显示3D图像特征的至少一部分。借助该方法,补充播放区域可以对预定播放区中显示3D图像的部分特征或特征的一部分进行局部补充显示。本申请还公开一种3D显示设备。

Description

3D图像显示方法、3D显示设备
技术领域
本申请涉及3D显示技术领域,例如涉及3D图像显示方法、3D显示设备。
背景技术
裸眼3D显示技术因为能向用户呈现栩栩如生的视觉体验而成为影像技术中的研究热点。
在实现本公开实施例的过程中,发现相关技术中至少存在如下问题:3D图像所有特征只能在预定纵横比或者显示面积的显示区中进行显示,会造成部分超出显示区的特征无法得到显示。
本背景技术仅为了便于了解本领域的相关技术,并不视作对现有技术的承认。
发明内容
为了对披露的实施例的一些方面有基本的理解,下面给出了简单的概括。该概括不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围,而是作为后面的详细说明的序言。
本公开实施例提供了一种3D图像显示方法和3D显示设备,以解决在超出预定纵横比或显示面积的显示区之外显示部分特征的技术问题。
在一些实施例中,公开了一种3D图像显示方法,包括:在多视点裸眼3D显示屏的预定播放区域中显示3D图像;基于3D图像中的3D图像特征的至少一部分超出预定播放区域,在预定播放区域之外的补充播放区域显示3D图像特征的至少一部分。
在一些实施例中,基于3D图像中的3D图像特征的至少一部分超出预定播放区域包括:选择3D图像中的3D图像特征;确定3D图像特征的至少一部分超出预定播放区域。
在一些实施例中,选择3D图像中的3D图像特征包括:选择3D图像中的前景3D图像特征;确定3D图像特征的至少一部分超出预定播放区域包括:确定前景3D图像特征的至少一部分超出预定播放区域。
在一些实施例中,选择3D图像中的3D图像特征包括:选择3D图像中的运动3D图像特征;确定3D图像特征的至少一部分超出预定播放区域包括:确定运动3D图像特征的至少一部分超出预定播放区域。
在一些实施例中,确定运动3D图像特征的至少一部分超出预定播放区域包括:确定运动3D图像特征在3D图像中的运动轨迹;当运动3D图像特征在运动轨迹中有至少一部分超出预定播放区域时,在补充播放区域显示运动3D图像特征的至少一部分。
在一些实施例中,选择3D图像中的3D图像特征包括:接收具有深度信息的3D图像;基于深度信息选择3D图像特征。
在一些实施例中,选择3D图像中的3D图像特征包括:接收3D模型;基于3D模型生成3D图像;在3D图像中选择3D图像特征。
在一些实施例中,在多视点裸眼3D显示屏的预定播放区域中显示3D图像包括:在具有纵横比的矩形预定播放区域中显示3D图像。
在一些实施例中,在具有纵横比的矩形预定播放区域中显示3D图像包括:在基于3D图像的显示参数可改变纵横比的预定播放区域中显示3D图像。
在一些实施例中,3D图像显示方法还包括:获取用户的人眼追踪数据;基于人眼追踪数据渲染多视点裸眼3D显示屏中的复合子像素中的相应子像素以显示3D图像。
在一些实施例中,公开了一种3D显示设备,包括:处理器;和存储有程序指令的存储器;其中,处理器配置为在执行程序指令时,执行如上所述的方法。
在一些实施例中,公开了一种3D显示设备,包括:多视点裸眼3D显示屏,包括预定播放区域和在预定播放区之外的补充播放区;3D处理装置,被配置为使多视点裸眼3D显示屏在预定播放区域中显示3D图像,并基于3D图像中的3D图像特征的至少一部分超出预定播放区域,使多视点裸眼3D显示屏在补充播放区域显示3D图像特征的至少一部分。
在一些实施例中,3D显示设备还包括:特征选择装置,被配置为选择3D图像中的3D图像特征;3D处理装置被配置为确定3D图像特征的至少一部分超出预定播放区域。
在一些实施例中,特征选择装置被配置为选择3D图像中的前景3D图像特征;3D处理装置被配置为确定前景3D图像特征的至少一部分超出预定播放区域。
在一些实施例中,特征选择装置被配置为选择3D图像中的运动3D图像特征;3D处理装置被配置为确定运动3D图像特征的至少一部分超出预定播放区域。
在一些实施例中,3D处理装置被配置为确定运动3D图像特征在3D图像中的运动轨迹,当运动3D图像特征在运动轨迹中有至少一部分超出预定播放区域时,使多视点裸眼3D显示屏在补充播放区域显示运动3D图像特征的至少一部分。
在一些实施例中,3D显示设备还包括:3D信号接口,被配置为接收具有深度信息的3D图像;特征选择装置被配置为基于深度信息选择3D图像特征。
在一些实施例中,3D显示设备还包括:3D信号接口,被配置为接收3D模型;3D处理装置被配置为基于3D模型生成3D图像;特征选择装置被配置为在3D图像中选择3D图像特征。
在一些实施例中,3D处理装置被配置为使多视点裸眼3D显示屏在具有纵横比的矩形预定播放区域中显示3D图像。
在一些实施例中,3D处理装置被配置为基于3D图像的显示参数使多视点裸眼3D显示屏在可改变纵横比的预定播放区域中显示3D图像。
在一些实施例中,3D显示设备还包括:人眼追踪装置,被配置为获取用户的人眼追踪数据;多视点裸眼3D显示屏包括多个复合像素,多个复合像素中的每个复合像素包括多个复合子像素,多个复合子像素中的每个复合子像素包括对应于多个视点的多个子像素;3D处理装置被配置为基于人眼追踪数据使多视点裸眼3D显示屏渲染相应子像素以显示3D图像。
本公开实施例提供的3D图像显示方法和3D显示设备,可以实现以下技术效果:
多视点裸眼3D显示屏的具有预定纵横比或显示面积的预定播放区可以与边缘背景区相结合实现3D图像的显示,其中边缘背景区可以对因超出预定播放区而无法在该预定播放区中显示的3D图像特征或特征的一部分进行局部补充显示,使多视点裸眼3D显示屏能够提供更为完整且特征更加丰富的3D图像显示。当没有或不需要进行超出预定播放区的显示时,边缘背景区可以用于显示背景色,例如黑色。此外,3D显示设备可采用多视点裸眼3D显示屏,本公开以复合像素的方式定义多视点裸眼3D显示屏的显示分辨率,在传输和显示时均以由复合像素定义的显示分辨率为考量因素,在确保高清晰度显示效果的情况下减少了传输和渲染的计算量,实现高质量的裸眼式3D显示。
以上的总体描述和下文中的描述仅是示例性和解释性的,不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明,这些示例性说明和附图并不构成对实施例的限定,附图中具有相同参考数字标号的元件示为类似的元件,附图不构成比例限制,并且其中:
图1A至图1C示出了根据本公开实施例的3D显示设备
图2A至图2E示出了根据本公开实施例的基于眼球追踪数据渲染复合子像素中的相应子像素;
图3A至图3C示出了根据本公开实施例的多视点裸眼3D显示屏中的预定播放区域和补充播放区域;
图4A和图4B示出了根据本公开实施例的在改变纵横比的预定播放区域中显示3D图像;
图5示出了根据本公开实施例的3D图像的特征位于补充播放区域的示意图;
图6示出了根据本公开实施例的3D显示设备的硬件结构示意图;
图7示出了根据本公开实施例的3D显示设备的软件结构示意图;
图8示出了根据本公开实施例的3D图像显示方法的流程图;以及
图9示出了根据本公开实施例的3D显示设备的示意图。
附图标记:
100:3D显示设备;110:多视点裸眼3D显示屏;1101:预定播放区域;1102:补充播放区域;111:显示面板;120:处理器;121:寄存器;130:3D处理装置;140:3D信号接口;150:人眼追踪装置;160:人眼追踪数据接口;200:3D显示设备;201:处理器;202:多视点裸眼3D显示屏;203:3D处理装置;204:视频信号接口;205:人眼追踪装置;206:摄像装置;207:指示器;208:马达;209:按键;210:存储器;211:用户标识模块(SIM)卡接口;212:外部存储器接口;213:通用串行总线接口;214:充电管理模块;215:电源管理模块;216:电池;217:寄存器;218:GPU;219:编解码器;220:传感器模块;221:接近光传感器;222:环境光传感器;223:压力传感器;224:气压传感器;225:磁传感器;226:重力传感器;227:陀螺仪传感器;228:加速度传感器;229:距离传感器;230:温度传感器;231:指纹传感器;232:触摸传感器;233:骨传导传感器;234:音频模块;235:扬声器;236:受话器;237:麦克风;238:耳机接口;239:天线;240:移动通信模块;241:天线;242:无线通信模块;300:3D显示设备;310:存储器;320:处理器;330:总线;340:通信接口;400:复合像素;410:红色复合子像素;420:绿色复合子像素;430:蓝色复合子像素;500:复合像素;510:红色复合子像素;520:绿色复合子像素;530:蓝色复合子像素;710:应用程序层;720:框架层;730:核心类库和运行时(Runtime);740:内核层。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容,下面结合附图对本公开实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本公开实施例。
在本文中,“裸眼三维(或称3D)显示”涉及用户无需佩戴3D显示用的眼镜而能在平面显示器上观察到3D的显示图像的技术,包括但不限于“视差屏障”、“柱状透镜”、“指向式背光”技术。
在本文中,“多视点”具有本领域的常规含义,意指在空间中不同位置(视点)处能观看到显示屏的不同像素或子像素显示的不同图像。在本文中,多视点将意味着至少3个视点。
在本文中,“光栅”具有本领域中广义的解释,包括但不限于“视差屏障”光栅和“透镜”光栅、如“柱状透镜”光栅。
在本文中,“透镜”或“透镜光栅”具有本领域的常规含义,例如包括柱状透镜和球面透镜。
常规的“像素”意指2D显示器或者作为2D显示器显示时就其分辨率而言的最小显示单位。
然而,在本文的一些实施例中,当应用于裸眼3D显示领域的多视点技术时所称的“复合像素”指裸眼3D显示器提供多视点显示时的最小显示单位,但不排除用于多视点技术的单个复合像素可包括或呈现为多个2D显示的像素。在本文中,除非具体说明为“3D显示”或“多视点”应用的复合像素或3D像素,像素将指2D显示时的最小显示单位。同样,当描述为多视点的裸眼3D显示“复合子像素”时,将指裸眼3D显示器提供多视点显示时的复合像素中呈现的单个颜色的复合子像素。在本文中,“复合子像素”中的子像素将指单个颜色的最小显示单位,其往往是与视点相对应的。
根据本公开的实施例提供了一种3D显示设备,包括多视点裸眼3D显示屏和3D处理装置。多视点裸眼3D显示屏包括预定播放区域和在预定播放区域之外的补充播放区域。在一些实施例中,补充播放区域与预定播放区域相邻。通常情况下,3D显示设备的预定播放区域配置为显示3D图像,补充播放区域配置为以单色填充,例如以黑色填充。例如,当在纵横比为21:9的预定播放区域中播放16:9的3D图像时,在3D图像两侧会出现黑色条状区域,其中播放3D图像的部分即为“预定播放区域”,而黑色条状区域即为“补充播放区域”。在特定情况下,补充播放区域对预定播放区域的显示内容进行补充显示。
3D处理装置被配置为使多视点裸眼3D显示屏在预定播放区域中显示3D图像,并基于3D图像中的3D图像特征的至少一部分超出预定播放区域,使多视点裸眼3D显示屏在补充播放区域显示3D图像特征的至少一部分。
在一些实施例中,3D处理装置与多视点裸眼3D显示屏通信连接。在一些实施例中,3D处理装置与多视点裸眼3D显示屏的驱动装置通信连接。
在一些实施例中,3D图像可以是3D图像流,也就是3D视频。
图1A示出了根据本公开实施例的3D显示设备100。如图1A所示,3D显示设备100包括多视点裸眼3D显示屏110、3D处理装置130、接收3D图像如3D视频信号的3D信号接口140和处理器120。
在一些实施例中,多视点裸眼3D显示屏110可包括显示面板111和覆盖显示面板111的光栅(未示出)。显示面板111可设有m列n行(m×n)个复合像素400并因此限定出m×n的显示分辨率。m×n的显示分辨率例如可以为全高清(FHD)以上的分辨率,包括但不限于:1920×1080、1920×1200、2048×1280、2560×1440、3840×2160等。每个复合像素包括多个复合子像素,每个复合子像素包括对应于3D显示设备的视点数量的子像素。在一些实施例中,3D显示设备的视点数量为3或大于3的整数。在一些实施例中,每个复合子像素由对应于3D显示设备的视点数量的多个同色子像素构成。多个同色子像素与多个视点是一一对应的关系。
在图1A所示出的实施例中,3D显示设备100具有6个视点V1-V6。图1A还示意性地示出了m×n个(即m×n阵列的)复合像素中的一个复合像素400,包括由6个红色子像素R构成的红色复合子像素410、由6个绿色子像素G构成的绿色复合子像素420和由6个蓝色子像素B构成的蓝色复合子像素430。在其他实施例中可以想到3D显示设备具有其他数量的视点,例如8个、10个、30个、50个、100个等。
在一些实施例中,每个复合像素成正方形。每个复合像素中的所有复合子像素彼此平行布置。每个复合子像素中的对应于视点数量的多个子像素可以成行布置。
在本公开的实施例中,每个复合子像素具有对应于视点的相应子像素。每个复合子像素的多个子像素在多视点裸眼3D显示屏的横向上成行布置,且成行的多个子像素的颜色相同。由于3D显示设备的多个视点是大致沿多视点裸眼3D显示屏的横向排布的,这样,在用户移动导致人眼处于不同的视点时,需要相应动态渲染每个复合子像素中对应于相应视点的不同子像素。由于每个复合子像素中的同色子像素成行排列,所以能够避免由于视觉暂留带来的串色问题。此外,由于光栅的折射,有可能会在相邻的视点位置看见当前显示子像素的一部分,而通过同色、同行排列,即使当前显示子像素的一部分被看见,也不会出现混色的问题。
在一些实施例中,3D处理装置为FPGA或ASIC芯片或FPGA或ASIC芯片组。在一些实施例中,3D显示设备100也可设置有一个以上3D处理装置130,它们并行、串行或串并行结合地处理对裸眼3D显示屏110的各复合像素的各复合子像素的子像素的渲染。本领域技术人员将明白,一个以上3D处理装置可以有其他的方式分配且并行处理裸眼3D显示屏110的多行多列复合像素或复合子像素,这落入本公开实施例的范围内。如图1A所示的实施例,3D处理装置130还可以选择性地包括缓存器131,以便缓存所接收到的3D图像。3D显示设备100还可包括通过3D信号接口140通信连接至3D处理装置130的处理器120。在一些实施例中,处理器被包括在计算机或智能终端中,这样的智能终端例如为移动终端。或者,处理器可以作为计算机或智能终端的处理器单元。但是可以想到,在一些实施例中,处理器120可以设置在3D显示设备100的外部,例如3D显示设备100可以为带有3D处理装置的多视点裸眼3D显示器,例如非智能的裸眼3D电视。在一些实施例中,3D显示设备内部包括处理器。基于此,3D信号接口140为连接处理器120与3D处理装置130的内部接口。这样的3D显示设备100例如可以是移动终端,视频信号接口140可以为MIPI、mini-MIPI接口、LVDS接口、min-LVDS接口或Display Port接口。
在一些实施例中,如图1A所示,3D显示设备100的处理器120还可包括寄存器121。寄存器121可配置为暂存指令、数据和地址。在一些实施例中,寄存器121可被配置为接收有关多视点裸眼3D显示屏110的显示要求的信息。在一些实施例中,3D显示设备100还可以包括编解码器,配置为对压缩的3D视频信号解压缩和编解码并将解压缩的3D视频信号经3D信号接口140发送至3D处理装置130。
在一些实施例中,3D显示设备还包括配置为获取人眼追踪数据的人眼追踪装置或人眼追踪数据接口。例如图1B所示的实施例中,3D显示设备100包括通信连接至3D处理装置130的人眼追踪装置150,由此3D处理装置130可以直接接收人眼追踪数据。在图1C所示的实施例中,人眼追踪装置(未示出)例如可以直接连接处理器120,而3D处理装置130经由人眼追踪数据接口160从处理器120获得人眼追踪数据。在另一些实施例中,人眼追踪装置可同时连接处理器和3D处理装置,使得一方面3D处理装置130可以直接从人眼追踪装置获取人眼追踪数据,另一方面可以人眼追踪装置获取的其他信息可以被处理器处理。
下面描述根据本公开实施例的3D显示设备的显示。如上所述,3D显示设备可以具有多个视点。用户的眼睛在各视点位置(空间位置)处可看到多视点裸眼3D显示屏中各复合像素的复合子像素中相应的子像素的显示。用户的两只眼睛在不同的视点位置看到的两个不同画面形成视差,在大脑中合成3D画面。
在一些实施例中,基于人眼追踪装置获取的人眼追踪数据,3D处理装置或处理器可以确定当前用户所在的视点位置,并触发多视点裸眼3D显示屏渲染与当前用户所在的视点位置对应的子像素,从而减少计算量和处理量,加快3D显示设备的反应速度。
在一些实施例中,人眼追踪数据包括表明用户的人眼空间位置的人眼空间位置信息,人眼空间位置信息可以三维坐标形式表现,例如包括用户的眼部/脸部与多视点裸眼3D显示屏或人眼追踪装置之间的间距信息(也就是用户的眼部/脸部的深度信息)、观看的眼部/脸部在多视点裸眼3D显示屏或人眼追踪装置的横向上的位置信息、用户的眼部/脸部在多视点裸眼3D显示屏或人眼追踪装置的竖向上的位置信息。人眼空间位置也可以用包含间距信息、横向位置信息和竖向位置信息中的任意两个信息的二维坐标形式表现。人眼追踪数据还可以包括用户的眼部(例如双眼)所在的视点(视点位置)、用户视角等。
在一些实施例中,人眼追踪装置包括配置为拍摄用户图像(例如用户脸部图像)的人眼追踪器、配置为基于所拍摄的用户图像确定人眼空间位置的人眼追踪图像处理器和配置为传输人眼空间位置信息的人眼追踪数据接口。人眼空间位置信息表明人眼空间位置。
在一些实施例中,人眼追踪器包括配置为拍摄第一图像的第一摄像头和配置为拍摄第二图像的第二摄像头,而人眼追踪图像处理器配置为基于第一图像和第二图像中的至少一副图像识别人眼的存在且基于识别到的人眼确定人眼空间位置。
在一些实施例中,人眼追踪器包括配置为拍摄至少一幅图像的至少一个摄像头和配置为获取用户的眼部深度信息的深度检测器,而人眼追踪图像处理器配置为基于所拍摄的至少一幅图像识别人眼的存在,并基于识别到的人眼和眼部深度信息确定人眼空间位置。
视点与子像素的对应关系例如可以对应关系表的形式存储于3D处理装置中,或存储于处理器中并可以被3D处理装置获取/读取。同理,人眼空间位置与视点的对应关系例如可以对应关系表的形式存储于3D处理装置中,或存储于处理器中并可以被3D处理装置获取/读取。
图2A至图2E示出了基于人眼追踪数据所确定的当前用户视点位置来渲染复合子像素中的相应子像素的示例。在所示出的实施例中,3D显示设备具有8个视点V1-V8。3D显示设备的多视点裸眼3D显示屏中的每个复合像素500由三个复合子像素510、520和530构成。每个复合子像素由对应于8个视点的8个同色子像素构成。如图所示,复合子像素510是由8个红色子像素R构成的红色复合子像素,复合子像素520是由8个绿色子像素G构成的绿色复合子像素,复合子像素530是由8个蓝色子像素B构成的蓝色复合子像素。多个复合像素在多视点裸眼3D显示屏中以阵列形式布置。为清楚起见,图中仅示出了多视点裸眼3D显示屏中的一个复合像素500。其他复合像素的构造和子像素的渲染可以参照对所示出的复合像素的描述。
在一些实施例中,当基于人眼空间位置信息确定用户的双眼各对应一个视点时,依据由3D视频信号所生成的3D图像,3D处理装置可以触发多视点裸眼3D显示屏渲染复合子像素中与用户双眼所处视点对应的子像素。
参考图2A,在所示实施例中,用户的左眼处于视点V2,右眼处于视点V5,3D处理装置基于3D图像生成对应于这两个视点V2和V5的左右眼视差图像,并触发多视点裸眼3D显示屏渲染复合子像素510、520、530各自与这两个视点V2和V5相对应的子像素。
在一些实施例中,当基于人眼空间位置信息确定用户的双眼各对应一个视点时,依据由3D视频信号所生成的3D图像,3D处理装置可以触发多视点裸眼3D显示屏渲染复合子像素中与用户双眼所处视点相对应的子像素,并渲染与用户双眼所处视点相邻的视点所对应的子像素。
参考图2B,在所示实施例中,用户的左眼处于视点V2,右眼处于视点V6,3D处理装置基于3D图像生成对应于这两个视点V2和V6的左右眼视差图像,并触发多视点裸眼3D显示屏渲染复合子像素510、520、530各自与这两个视点V2和V6相对应的子像素,同时还渲染视点V2和V6各自两侧相邻的视点所对应的子像素。在一些实施例中,也可以同时渲染视点V2和V6各自单侧相邻的视点所对应的子像素。
在一些实施例中,当基于人眼空间位置信息确定用户的双眼各自位于两个视点之间时,依据由3D视频信号所生成的3D图像,3D处理装置可以触发多视点裸眼3D显示屏渲染复合子像素中与用户双眼涉及的视点相对应的子像素。
参考图2C,在所示实施例中,用户的左眼处于视点V2和V3之间,右眼处于视点V5和V6之间,3D处理装置基于3D图像生成对应于视点V2、V3和V5、V6的左右眼视差图像,并渲染复合子像素510、520、530各自与视点V2、V3和V5、V6相对应的子像素。
在一些实施例中,当基于人眼空间位置信息确定用户双眼中至少一只眼睛对应的视点位置发生了变化时,依据由3D视频信号生成的3D图像,3D处理装置可以触发多视点裸眼3D显示屏从渲染复合子像素中与变化前的视点对应的子像素切换为渲染复合子像素中与变化后的视点对应的子像素。
参考图2D,用户的左眼从视点V1移动至视点V3,右眼从视点V5移动至视点V7,复合子像素510、520、530各自被渲染的子像素相应进行调整,以适应变化的视点。
在一些实施例中,当基于人眼空间位置信息确定有一个以上用户时,依据由3D视频信号生成的3D图像,3D处理装置可以触发多视点裸眼3D显示屏渲染复合子像素中与每个用户的双眼所在视点对应的子像素。
参考图2E,面向3D显示设备有两个用户,第一个用户的双眼分别处于视点V2和V4,第二个用户的双眼分别处于视点V5和视点V7。3D处理装置基于3D图像生成对应于视点V2和V4的左右眼视差图像,以及对应于视点V5和V7的左右眼视差图像,并触发多视点裸眼3D显示屏渲染复合子像素510、520、530各自对应于视点V2和V4、V5和V7的子像素。
在一些实施例中,3D显示设备的子像素与视点的对应关系存在理论对应关系。这种理论对应关系可以是在3D显示装置从流水线上生产出来时统一设定或调制的,还可以对应关系表的形式存储在3D显示设备中,例如存储在处理器中或3D处理装置中。由于光栅的安装、材质或对位等原因,在实际使用3D显示设备时,可能会出现在空间中的视点位置所观看到的子像素与理论子像素不对应的问题。这对于3D图像的正确显示造成了影响。对3D显示设备实际使用过程中存在的子像素与视点的对应关系进行校准或校正,对于3D显示设备是有利的。在本公开所提供的实施例中,这种在3D显示设备的实际使用过程中存在的视点与子像素的对应关系被称为“校正对应关系”。“校正对应关系”相较于“理论对应关系”可能存在偏差,也有可能是一致的。
获得“校正对应关系”的过程也就是找到视点与子像素在实际显示过程中的对应关系的过程。在一些实施例中,为了确定多视点裸眼3D显示屏中各复合像素的复合子像素中的子像素与视点的校正对应关系,可将多视点裸眼3D显示屏或显示面板分为多个校正区域,分别对每个校正区域中的子像素与视点的校正对应关系进行确定,然后将各区域内的校正对应关系数据按区储存起来,例如以对应关系表的形式存储在处理器或3D处理装置中。
在一些实施例中,每个校正区域中的至少一个子像素与视点的校正对应关系是通过检测得出的,每个校正区域中其他子像素与视点的校正对应关系是参考被检测出来的校正对应关系通过数学计算推算或估算出的。数学计算方法包括:线性差值、线性外推、非线性差值、非线性外推、泰勒级数近似、参考坐标系线性变化、参考坐标系非线性变化、指数模型和三角变换等。
在一些实施例中,多视点裸眼3D显示屏定义有多个校正区域,所有校正区域联合起来的面积范围是多视点裸眼3D显示屏的面积的90%至100%。在一些实施例中,多个校正区域在多视点裸眼3D显示屏中呈阵列形式排布。在一些实施例中,每个校正区域可由包含三个复合子像素的一个复合像素来定义。在一些实施例中,每个校正区域可由两个或两个以上的复合像素来定义。在一些实施例中,每个校正区域可由两个或两个以上的复合子像素来定义。在一些实施例中,每个校正区域可由不属于同一个复合像素的两个或两个以上复合子像素来定义。
在一些实施例中,一个校正区域内的子像素与视点的校正对应关系相较于理论对应关系的偏差与另一个校正区域内的子像素与视点的校正对应关系相较于理论对应关系的偏差相比,可以是一致或基本一致的,也可以是不一致的。
根据本公开的实施例,多视点裸眼3D显示屏的预定播放区域在一般情况下执行播放3D图像的功能,而补充播放区域显示单色,例如黑色、灰色或白色。在播放3D图像过程中,当仅靠预定播放区域无法满足3D图像播放的需求时,补充播放区域的一部分也参与执行播放3D图像,其余部分仍旧显示单色,从而预定播放区域和补充播放区域相配合。在一些实施例中,3D处理装置使多视点裸眼3D显示屏在预定播放区域中显示3D图像,并基于3D图像中的3D图像特征的至少一部分超出预定播放区域,使多视点裸眼3D显示屏在补充播放区域显示3D图像特征的至少一部分。3D处理装置还可以使补充播放区域的一部分用来显示3D图像特征的至少一部分,同时使补充播放区域的其余部分仍旧显示为单色。
图3A至图3C示出了多视点裸眼3D显示屏中预定播放区域和补充播放区域的示例。如图3A所示的实施例,多视点裸眼3D显示屏110中,补充播放区域1102可以位于预定播放区域1101的上下两侧。如图3B所示的实施例,多视点裸眼3D显示屏110中,补充播放区域1102可以位于预定播放区域1101的左右两侧。如图3C所示的实施例,多视点裸眼3D显示屏110中,补充播放区域1102可以四周包围预定播放区域1101的形式存在。
在一些实施例中,预定播放区域是具有纵横比的矩形预定播放区域,例如是16:9的纵横比。3D处理装置可以基于纵横比,根据3D图像触发多视点裸眼3D显示屏渲染每个复合子像素的对应于用户视点的相应子像素,使3D图像在该纵横比的预定播放区域中显示出来。图3A至图3C示出了预定播放区域的各种纵横比的示例。
在一些实施例中,预定播放区域的纵横比可以基于3D图像的显示参数而改变,例如从16:9切换至21:9。3D处理装置可以基于3D图像的显示参数,触发多视点裸眼3D显示屏渲染每个复合子像素的对应于用户视点的相应子像素,使3D图像在改变纵横比的预定播放区域中显示出来。预定播放区域的纵横比的改变例如可以通过格式调整装置实现。格式调整装置可以集成于3D处理装置中,或与3D处理装置通信连接。
图4A和图4B示出了3D图像在改变纵横比的预定播放区域中显示的示例。图4A示出了3D图像在纵横比为16:9的预定播放区域1101的显示。图4B示出了预定播放区域1101从纵横比为16:9改变至21:9之后,3D图像在预定播放区域1101的显示。如图所示,3D图像的全部或部分3D图像特征在预定播放区域1101中进行显示。3D图像特征是3D图像中的显示元素,多个显示元素相组合以形成了3D图像。例如如图A和图B所示,3D图像特征A、B、C、D、E、F、G、H共同构成了所呈现的3D图像。
如图所示,当预定播放区域的纵横比改变时,3D处理装置确定并没有3D图像特征会超出预定播放区域1101,或者超出预定播放区域的3D图像特征或3D图像特征的一部分被3D处理装置确定为非主要特征,在这种情况下,3D处理装置使多视点裸眼3D显示屏在预定播放区域中显示3D图像,并以单色填充补充播放区域1102。
在一些实施例中,基于3D图像,3D处理装置确定一些3D图像特征至少有一部分将要超出预定播放区域的范围。在这种情况下,3D处理装置基于超出的3D图像特征而触发多视点裸眼3D显示屏渲染复合子像素中的相应子像素,使超出预定播放区域的3D图像特征或3D图像特征的超出预定播放区域的部分在补充播放区域中显示,同时3D处理装置将补充播放区域中的其它部分仍旧以单色填充。未超出预定播放区域的3D图像特征或3D图像特征的未超出预定播放区域的部分仍旧显示在预定播放区域中。这样,补充播放区域所显示的3D图像特征或部分3D图像特征可以作为预定播放区域所显示的3D图像特征的局部补充,以形成完整的3D图像。
在一些实施例中,3D处理装置选择3D图像中的主要3D图像特征,并在确定主要3D图像特征的至少一部分将超出预定播放区域时,使超出的主要3D图像特征或主要3D图像特征的超出部分在补充播放区域中显示。3D处理装置可基于预设的条件而选择主要3D图像特征。在一些实施例中,3D图像是具有景深信息的3D图像,例如包括景深信息和渲染图像的3D视频,3D处理装置基于景深信息确定3D图像中的主要3D图像特征和非主要3D图像特征,例如将前景3D图像特征作为主要3D图像特征,将背景或远景3D图像特征作为非主要3D图像特征。在一些实施例中,3D图像是基于3D模型生成的3D图像,3D处理装置可以从3D模型中获取各个3D图像特征的景深信息并将前景3D图像特征作为主要3D图像特征,将背景或远景3D图像特征作为非主要3D图像特征。在一些实施例中,除了景深信息,还可以结合3D图像特征在3D图像中的位置、出现时间、所占面积、重要性等作为选择3D图像特征进行补充显示的依据。
在一些实施例中,3D处理装置选择3D图像中的运动3D图像特征,并确定运动3D图像特征的运动轨迹。当确定运动3D图像特征在运动轨迹中会有至少部分超出预定播放区域时,3D处理装置在补充播放区域显示该运动3D图像特征的超出预定播放区域的至少一部分。运动3D图像特征例如可以是流动的河流、升起的太阳、位置变化的人物(例如主要人物)、时隐时现的星星等。
在一些实施例中,3D处理装置选择3D图像中的主要人物作为被选择的3D图像特征,并在主要人物的至少一部分例如由于运动或姿态的改变而超出预定播放区域时,在补充播放区域中显示超出的这至少一部分。例如,在表现会议场景的3D图像中,主要人物由于准备发言而从静坐姿态改变为站立姿态,3D处理装置选择主要人物为被选择的3D图像特征,并确定主要人物由于呈现站立姿态而使得头部会超出预定播放区域,则触发多视点裸眼3D显示屏在补充播放区域中显示主要人物的头部,同时预定播放区域中显示主要人物的其余部位以及会议场景的其它3D图像特征,从而呈现完整的3D图像,而无需对场景进行缩放等处理。
在一些实施例中,3D处理装置以特定场景作为被选择的3D图像特征,例如3D图像中表示高潮或打斗的场景,并在特定场景的至少一部分超出预定播放区域时,在补充播放区域中显示超出的这至少一部分。
在一些实施例中,接收具有深度信息的3D图像或接收3D模型可以由3D信号接口140实施。在一些实施例中,基于3D模型生成3D图像可以由3D处理装置或处理器实施。
在一些实施例中,选择3D图像特征可以由特征选择装置实施。特征选择装置可以与3D处理装置通信连接,或集成在3D处理装置中。
如上所述,3D处理装置可以基于3D图像中各3D图像特征的景深信息来确定主要3D图像特征,例如将前景或近景3D图像特征确定为主要3D图像特征。在一些实施例中,当3D图像特征的景深信息大于或小于一定阈值时,3D处理装置确定该3D图像特征为主要3D图像特征。在一些实施例中,3D处理装置对3D图像中各个3D图像特征的景深信息进行比较,并基于比较结果对各个3D图像特征的景深进行排序,以此确定出主要3D图像特征。
图5以运动3D图像特征在补充播放区域的显示为例,对本公开进行详细描述。如图所示,3D图像中存在3D图像特征A、B、C、D、E、F、G、H。基于3D图像,3D处理装置或特征选择装置将运动3D图像特征C选择出来。3D处理装置确定3D图像特征C在运动轨迹中是否会超出预定播放区域1101的显示范围。当确定会超出时,3D处理装置基于3D图像特征A、B、D、E、F、G和3D图像特征C位于预定播放区域1101内的部分来触发多视点裸眼3D显示屏渲染复合子像素中相应子像素,以填充预定播放区域1101,并基于3D图像特征C超出预定播放区域1101的部分来触发多视点裸眼3D显示屏渲染复合子像素中相应子像素,以填充补充播放区域1102,同时填充补充播放区域1102的其余部分为单色。由此,预定播放区域1101和补充播放区域1102共同呈现完整的3D图像,而无需对其余的3D图像特征A、B、D、E、F、G进行缩放等处理。
这里补充播放区域不应被理解为是由于预定播放区域被整体放大或缩小或改变纵横比而作为补充显示的区域。常规预定播放区域的放大、缩小、改变纵横比,都可视作是以预定播放区域的规则边缘(例如矩形的直边)整体向内或向外平移。本公开的补充播放区域并不是这种规则边缘整体平移之后的补充显示部分,而是旨在对3D图像中的特定(选定)3D图像特征的超出预定播放区域的部分或全部进行,以呈现完整的3D图像。即使在不改变预定播放区域原本纵横比或显示面积的情况下,也可以在补充播放区域中将从预定播放区域中缺失的3D图像特征的至少一部分显示出来。
示例性的,图6示出了实施为移动终端、如智能蜂窝电话或平板电脑的3D显示设备200的硬件结构示意图。在所示出的实施例中,3D显示设备200可以包括处理器201、外部存储器接口211、(内部)存储器210、通用串行总线(USB)接口213、充电管理模块214、电源管理模块215、电池216、移动通信模块240、无线通信模块242、天线239和241、音频模块234、扬声器235、受话器236、麦克风237、耳机接口238、按键209、马达208、指示器207、用户标识模块(SIM)卡接口221、多视点裸眼3D显示屏202、3D处理装置203、3D信号接口204、摄像装置206、人眼追踪装置205,以及传感器模块220等。
在一些实施例中,传感器模块220可以包括接近光传感器221、环境光传感器222、压力传感器223、气压传感器224、磁传感器225、重力传感器226、陀螺仪传感器227、加速度传感器228、距离传感器229、温度传感器230、指纹传感器231、触摸传感器232和骨传导传感器233等。
在一些实施例中,处理器201可以包括一个或一个以上处理单元。在一些实施例中,处理器201可以包括以下之一或以下至少两种的组合:应用处理器(AP)、调制解调处理器、基带处理器、图形处理器(GPU)、图像信号处理器(ISP)、控制器、存储器、视频编解码器、数字信号处理器(DSP)、基带处理器、神经网络处理器(NPU)等。不同的处理单元可以是独立的器件,也可以集成在一个或一个以上处理器中。
在一些实施例中,处理器201可以包括一个或一个以上接口。接口可以包括集成电路(I2C)接口、集成电路内置音频(I2S)接口、脉冲编码调制(PCM)接口、通用异步收发传输器(UART)接口、移动产业处理器接口(MIPI)、通用输入输出(GPIO)接口、用户标识模块(SIM)接口、通用串行总线(USB)接口等。
USB接口213是符合USB标准规范的接口,可以是Mini USB接口、Micro USB接口、USB Type C接口等。USB接口213可以用于连接充电器为3D显示设备200充电,也可以用于3D显示设备200与外围设备之间传输数据。也可以用于连接耳机并通过耳机播放音频。
3D显示设备200的无线通信功能可以通过天线241和239、移动通信模块240、无线通信模块242、调制解调处理器或基带处理器等实现。
在一些实施例中,3D显示设备200的天线239与移动通信模块240耦合,天线241与无线通信模块242耦合,使得3D显示设备200可以通过无线通信技术与网络以及其他设备通信。
在一些实施例中,用于接收3D视频信号的外部接口可以包括USB接口213、移动通信模块240、无线通信模块242或它们的任意组合。
存储器210可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器201通过运行存储在存储器210中的指令,从而执行3D显示设备200的各种功能应用以及数据处理。
外部存储器接口212可以用于连接外部存储卡,例如Micro SD卡,实现扩展3D显示设备200的存储能力。外部存储卡通过外部存储器接口212与处理器201通信,实现数据存储功能。
在一些实施例中,3D显示设备的存储器可以包括(内部)存储器210、外部存储器接口212连接的外部存储卡或其组合。
在本公开的实施例中,摄像装置206可以采集图像或视频。
在一些实施例中,3D显示设备200通过视频信号接口204、3D处理装置203、多视点裸眼3D显示屏202,以及应用处理器等实现显示功能。
在一些实施例中,3D显示设备200可包括GPU218,例如在处理器201内用于对3D视频图像进行处理,也可以对2D视频图像进行处理。
在一些实施例中,3D显示设备200还包括配置为对数字视频压缩或解压缩的视频编解码器219。
在一些实施例中,视频信号接口204配置为将经GPU218或编解码器219或两者处理的3D视频信号、例如解压缩的3D视频信号的视频帧输出至3D处理装置203。
在一些实施例中,GPU218或编解码器219集成有格式调整器。
在一些实施例中,多视点裸眼3D显示屏202用于显示三维(3D)图像或视频等。多视点裸眼3D显示屏202可以包括显示面板和光栅。
在一些实施例中,人眼追踪装置205通信连接至3D处理装置203,从而3D处理装置203可以基于人眼追踪数据渲染复合像素(复合子像素)中的相应子像素。在一些实施例中,人眼追踪装置205还可连接处理器201,例如旁路连接处理器201。
3D显示设备200可以通过音频模块234、扬声器235、受话器236、麦克风237、耳机接口238以及应用处理器等实现音频功能。
按键209包括开机键、音量键等。按键209可以是机械按键,也可以是触摸式按键。3D显示设备200可以接收按键输入,产生与3D显示设备200的用户设置以及功能控制有关的键信号输入。
马达208可以产生振动提示。马达208可以配置为振动以提示来电,也可以配置为振动以反馈触摸。
SIM卡接口211配置为连接SIM卡。在一些实施例中,3D显示设备200采用嵌入式SIM卡(eSIM)。
压力传感器223配置为感受压力信号,可以将压力信号转换成电信号。
气压传感器224用于测量气压。
磁传感器225包括霍尔传感器。
重力传感器226作为姿态检测装置能够将运动或重力转换为电信号,配置为测量倾斜角、惯性力、冲击及震动等参数。
陀螺仪传感器227作为姿态检测装置配置为确定3D显示设备200的运动姿态。
借助重力传感器226或陀螺仪传感器227能够检测到3D显示设备200处于第一姿态或是处于不同于第一姿态的第二姿态,或是3D显示设备在第一姿态与第二姿态之间转换。
加速度传感器228可检测3D显示设备200在各个方向上(一般为三轴)加速度的大小。
距离传感器229可配置为测量距离
温度传感器230可配置为检测温度。
指纹传感器231可配置为采集指纹。
触摸传感器232可以设置于多视点裸眼3D显示屏202中,由触摸传感器232与多视点裸眼3D显示屏202组成触摸屏,也称“触控屏”。
骨传导传感器233可以获取振动信号。
充电管理模块214配置为从充电器接收充电输入。
电源管理模块215配置为将电池216和充电管理模块214连接至处理器201。电源管理模块215接收电池216或充电管理模块214中至少一项的输入,为处理器201、存储器210、外部存储器、多视点裸眼3D显示屏202、摄像装置206和无线通信模块242等供电。在另一些实施例中,电源管理模块215和充电管理模块214也可以设置于同一个器件中。
3D显示设备200的软件系统可以采用分层架构、事件驱动架构、微核架构、微服务架构或云架构。本公开所示的实施例以分层架构的安卓系统为例,示例性说明3D显示设备200的软件结构。但可以想到,本公开的实施例可以在不同的软件系统、如操作系统中实施。
图7是根据本公开实施例的3D显示设备的软件结构示意图。分层架构将软件分成若干个层。层与层之间通过软件接口通信。在一些实施例中,将安卓系统分为四层,从上至下分别为应用程序层710、框架层720、核心类库和运行时(Runtime)730,以及内核层740。
应用程序层710可以包括一系列应用程序包。如图7所示,应用程序包可以包括蓝牙、WLAN、导航、音乐、相机、日历、通话、视频、图库、地图和短信息等应用程序。
框架层720为应用程序层的应用程序提供应用编程接口(API)和编程框架。如图7所示,框架层720可以包括资源管理器、电话管理器、内容管理器、通知管理器、窗口管理器、视图系统安装包和管理器等。
安卓Runtime(运行时)包括核心库和虚拟机。安卓Runtime负责安卓系统的调度和管理。核心库包含两部分:一部分是java语言要调用的功能函数,另一部分是安卓的核心库。
应用程序层和框架层运行在虚拟机中。虚拟机将应用程序层和框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
核心类库可以包括多个功能模块。例如:3D图形处理库(例如:OpenGL ES)、表面管理器、图像处理库、媒体库和图形引擎(例如:SGL)等。
内核层740是硬件和软件之间的层。内核层至少包含摄像头驱动、音视频接口、通话接口、Wifi接口、传感器驱动、电源管理和GPS接口。
根据本公开的实施例,提供了应用于上述的3D显示设备的3D图像显示方法。如图8所示,3D图像显示方法包括:
S100,在多视点裸眼3D显示屏的预定播放区域中显示3D图像;和
S200,基于3D图像中的3D图像特征的至少一部分超出预定播放区域,在预定播放区域之外的补充播放区域显示3D图像特征的至少一部分。
在一些实施例中,基于3D图像中的3D图像特征的至少一部分超出预定播放区域包括:选择3D图像中的3D图像特征;确定3D图像特征的至少一部分超出预定播放区域。
在一些实施例中,选择3D图像中的3D图像特征包括:选择3D图像中的前景3D图像特征。
在一些实施例中,选择所述3D图像中的3D图像特征包括:选择3D图像中的运动3D图像特征。
在一些实施例中,确定运动3D图像特征的至少一部分超出预定播放区域包括:确定运动3D图像特征在3D图像中的运动轨迹;当确定运动3D图像特征在运动轨迹中有至少一部分超出预定播放区域时,在补充播放区域显示运动3D图像特征的至少一部分。
在一些实施例中,选择3D图像中的3D图像特征包括:接收具有深度信息的3D图像;基于深度信息选择3D图像特征。
在一些实施例中,选择3D图像中的3D图像特征包括:接收3D模型;基于3D模型生成3D图像;在3D图像中选择3D图像特征。
在一些实施例中,在多视点裸眼3D显示屏的预定播放区域中显示3D图像包括:在具有纵横比的矩形预定播放区域中显示3D图像。纵横比例如可以是16:9或21:9。
在一些实施例中,在具有纵横比的矩形预定播放区域中显示3D图像包括:在基于3D图像的显示参数可改变纵横比的预定播放区域中显示3D图像。例如在纵横比从16:9变为21:9的预定播放区域中显示3D图像。
在一些实施例中,3D图像显示方法还包括:获取用户的人眼追踪数据;基于人眼追踪数据渲染多视点裸眼3D显示屏中的复合子像素中的相应子像素以显示3D图像。
本公开实施例提供了一种3D显示设备300,参考图9,3D显示设备300包括处理器320和存储器310。3D显示设备300还可以包括通信接口340和总线330。处理器320、通信接口340和存储器310通过总线330完成相互间的通信。通信接口340可配置为传输信息。处理器320可以调用存储器310中的逻辑指令,以执行上述实施例的在3D显示设备中切换显示3D图像的方法。上述的存储器310中的逻辑指令可以通过软件功能装置的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
以上描述和附图充分地示出了本公开的实施例,以使本领域技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求,否则单独的部件和功能是可选的,并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围,以及权利要求书的所有可获得的等同物。而且,本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。另外,当用于本申请中时,术语“包括”等指陈述的特征、整体、步骤、操作、元素或组件中至少一项的存在,但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件或这些的分组的存在或添加。本文中,每个实施例重点说明的可以是与其他实施例的不同之处,各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言,如果其与实施例公开的方法部分相对应,那么相关之处可以参见方法部分的描述。
本文所披露的实施例中,所揭露的方法、产品(包括但不限于装置、设备等),可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,可以仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外,在本公开实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中,不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生,有时不同的操作或步骤之间不存在特定的顺序。例如,两个连续的操作或步骤实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

Claims (21)

1.一种3D图像显示方法,其特征在于,包括:
在多视点裸眼3D显示屏的预定播放区域中显示3D图像;
基于所述3D图像中的3D图像特征的至少一部分超出所述预定播放区域,在所述预定播放区域之外的补充播放区域显示所述3D图像特征的所述至少一部分。
2.根据权利要求1所述的3D图像显示方法,其特征在于,基于所述3D图像中的3D图像特征的至少一部分超出所述预定播放区域包括:
选择所述3D图像中的3D图像特征;
确定所述3D图像特征的至少一部分超出所述预定播放区域。
3.根据权利要求2所述的3D图像显示方法,其特征在于,
选择所述3D图像中的3D图像特征包括:选择所述3D图像中的前景3D图像特征;
确定所述3D图像特征的至少一部分超出所述预定播放区域包括:确定所述前景3D图像特征的至少一部分超出所述预定播放区域。
4.根据权利要求2所述的3D图像显示方法,其特征在于,
选择所述3D图像中的3D图像特征包括:选择所述3D图像中的运动3D图像特征;
确定所述3D图像特征的至少一部分超出所述预定播放区域包括:确定所述运动3D图像特征的至少一部分超出所述预定播放区域。
5.根据权利要求4所述的3D图像显示方法,其特征在于,确定所述运动3D图像特征的至少一部分超出所述预定播放区域包括:
确定所述运动3D图像特征在所述3D图像中的运动轨迹;
当所述运动3D图像特征在所述运动轨迹中有至少一部分超出所述预定播放区域时,在所述补充播放区域显示所述运动3D图像特征的所述至少一部分。
6.根据权利要求2所述的3D图像显示方法,其特征在于,选择所述3D图像中的3D图像特征包括:
接收具有深度信息的3D图像;
基于所述深度信息选择所述3D图像特征。
7.根据权利要求2所述的3D图像显示方法,其特征在于,选择所述3D图像中的3D图像特征包括:
接收3D模型;
基于所述3D模型生成所述3D图像;
在所述3D图像中选择所述3D图像特征。
8.根据权利要求1至7任一项所述的3D图像显示方法,其特征在于,在多视点裸眼3D显示屏的预定播放区域中显示3D图像包括:
在具有纵横比的矩形预定播放区域中显示3D图像。
9.根据权利要求8所述的3D图像显示方法,其特征在于,在具有纵横比的矩形预定播放区域中显示3D图像包括:
在基于所述3D图像的显示参数可改变纵横比的预定播放区域中显示所述3D图像。
10.根据权利要求1至7任一项所述的3D图像显示方法,其特征在于,还包括:
获取用户的人眼追踪数据;
基于所述人眼追踪数据渲染所述多视点裸眼3D显示屏中的复合子像素中的相应子像素以显示所述3D图像。
11.一种3D显示设备,其特征在于,包括:
处理器;和
存储有程序指令的存储器;
其中,所述处理器配置为在执行所述程序指令时,执行如权利要求1至10任一项所述的方法。
12.一种3D显示设备,其特征在于,包括:
多视点裸眼3D显示屏,包括预定播放区域和在所述预定播放区之外的补充播放区;
3D处理装置,被配置为使所述多视点裸眼3D显示屏在所述预定播放区域中显示3D图像,并基于所述3D图像中的3D图像特征的至少一部分超出所述预定播放区域,使所述多视点裸眼3D显示屏在所述补充播放区域显示所述3D图像特征的所述至少一部分。
13.根据权利要求12所述的3D显示设备,其特征在于,还包括:
特征选择装置,被配置为选择所述3D图像中的3D图像特征;
所述3D处理装置被配置为确定所述3D图像特征的至少一部分超出所述预定播放区域。
14.根据权利要求13所述的3D显示设备,其特征在于,
所述特征选择装置被配置为选择所述3D图像中的前景3D图像特征;
所述3D处理装置被配置为确定所述前景3D图像特征的至少一部分超出所述预定播放区域。
15.根据权利要求13所述的3D显示设备,其特征在于,
所述特征选择装置被配置为选择所述3D图像中的运动3D图像特征;
所述3D处理装置被配置为确定所述运动3D图像特征的至少一部分超出所述预定播放区域。
16.根据权利要求15所述的3D显示设备,其特征在于,所述3D处理装置被配置为确定所述运动3D图像特征在所述3D图像中的运动轨迹,当所述运动3D图像特征在所述运动轨迹中有至少一部分超出所述预定播放区域时,使所述多视点裸眼3D显示屏在所述补充播放区域显示所述运动3D图像特征的所述至少一部分。
17.根据权利要求13所述的3D显示设备,其特征在于,还包括:
3D信号接口,被配置为接收具有深度信息的3D图像;
所述特征选择装置被配置为基于所述深度信息选择所述3D图像特征。
18.根据权利要求13所述的3D显示设备,其特征在于,还包括:
3D信号接口,被配置为接收3D模型;
所述3D处理装置被配置为基于所述3D模型生成所述3D图像;
所述特征选择装置被配置为在所述3D图像中选择所述3D图像特征。
19.根据权利要求12至18任一项所述的3D显示设备,其特征在于,所述3D处理装置被配置为使所述多视点裸眼3D显示屏在具有纵横比的矩形预定播放区域中显示3D图像。
20.根据权利要求19所述的3D显示设备,其特征在于,所述3D处理装置被配置为基于所述3D图像的显示参数使所述多视点裸眼3D显示屏在可改变纵横比的预定播放区域中显示所述3D图像。
21.根据权利要求12至18任一项所述的3D显示设备,其特征在于,还包括:
人眼追踪装置,被配置为获取用户的人眼追踪数据;
所述多视点裸眼3D显示屏包括多个复合像素,所述多个复合像素中的每个复合像素包括多个复合子像素,所述多个复合子像素中的每个复合子像素包括对应于多个视点的多个子像素;
所述3D处理装置被配置为基于所述人眼追踪数据使所述多视点裸眼3D显示屏渲染相应子像素以显示所述3D图像。
CN201911231177.1A 2019-12-05 2019-12-05 3d图像显示方法、3d显示设备 Active CN112929641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911231177.1A CN112929641B (zh) 2019-12-05 2019-12-05 3d图像显示方法、3d显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911231177.1A CN112929641B (zh) 2019-12-05 2019-12-05 3d图像显示方法、3d显示设备

Publications (2)

Publication Number Publication Date
CN112929641A true CN112929641A (zh) 2021-06-08
CN112929641B CN112929641B (zh) 2023-06-20

Family

ID=76160717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911231177.1A Active CN112929641B (zh) 2019-12-05 2019-12-05 3d图像显示方法、3d显示设备

Country Status (1)

Country Link
CN (1) CN112929641B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2806404A1 (en) * 2013-05-23 2014-11-26 AIM Sport AG Image conversion for signage
CN104469132A (zh) * 2013-09-23 2015-03-25 Lg电子株式会社 移动终端和该移动终端的控制方法
CN106604013A (zh) * 2016-12-30 2017-04-26 无锡易维视显示技术有限公司 图像及深度3d影像格式及其多视点裸眼3d显示方法
CN108307171A (zh) * 2016-08-18 2018-07-20 北京康得新创科技股份有限公司 3d电视墙及用于3d电视墙的图像显示方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2806404A1 (en) * 2013-05-23 2014-11-26 AIM Sport AG Image conversion for signage
CN104469132A (zh) * 2013-09-23 2015-03-25 Lg电子株式会社 移动终端和该移动终端的控制方法
CN108307171A (zh) * 2016-08-18 2018-07-20 北京康得新创科技股份有限公司 3d电视墙及用于3d电视墙的图像显示方法和装置
CN106604013A (zh) * 2016-12-30 2017-04-26 无锡易维视显示技术有限公司 图像及深度3d影像格式及其多视点裸眼3d显示方法

Also Published As

Publication number Publication date
CN112929641B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
AU2020250124B2 (en) Image processing method and head mounted display device
TWI746302B (zh) 多視點3d顯示屏、多視點3d顯示終端
TWI818211B (zh) 眼部定位裝置、方法及3d顯示裝置、方法
US9766458B2 (en) Image generating system, image generating method, and information storage medium
WO2019076348A1 (zh) 一种虚拟现实vr界面生成的方法和装置
CN112584125A (zh) 三维图像显示设备及其显示方法
CN211791829U (zh) 3d显示设备
WO2021110027A1 (zh) 实现3d图像显示的方法、3d显示设备
CN112929647A (zh) 3d显示设备、方法和终端
CN112929644A (zh) 多视点裸眼3d显示屏、多视点裸眼3d显示设备
CN112929636A (zh) 3d显示设备、3d图像显示方法
CN211128026U (zh) 多视点裸眼3d显示屏、多视点裸眼3d显示终端
CN211930763U (zh) 3d显示设备
CN112929643B (zh) 3d显示设备、方法及终端
CN112929641B (zh) 3d图像显示方法、3d显示设备
CN211528831U (zh) 多视点裸眼3d显示屏、裸眼3d显示终端
CN112929645A (zh) 3d显示设备、系统和方法及3d视频数据通信方法
WO2021110037A1 (zh) 实现3d图像显示的方法、3d显示设备
WO2016190193A1 (ja) 情報処理装置、出力制御装置、情報処理システム、および動画データ出力方法
CN112925109A (zh) 多视点裸眼3d显示屏、裸眼3d显示终端
WO2021110026A1 (zh) 实现3d图像显示的方法、3d显示设备
JP5901376B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
CN112925430A (zh) 实现悬浮触控的方法、3d显示设备和3d终端
CN113490963A (zh) 显示系统、图形处理器gpu、显示控制器以及显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant