CN108174180A - 一种显示装置、显示系统及三维显示方法 - Google Patents

一种显示装置、显示系统及三维显示方法 Download PDF

Info

Publication number
CN108174180A
CN108174180A CN201810001011.XA CN201810001011A CN108174180A CN 108174180 A CN108174180 A CN 108174180A CN 201810001011 A CN201810001011 A CN 201810001011A CN 108174180 A CN108174180 A CN 108174180A
Authority
CN
China
Prior art keywords
depth
photographic device
display panel
camera
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810001011.XA
Other languages
English (en)
Other versions
CN108174180B (zh
Inventor
丁小梁
董学
王海生
刘英明
王鹏鹏
韩艳玲
张平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810001011.XA priority Critical patent/CN108174180B/zh
Publication of CN108174180A publication Critical patent/CN108174180A/zh
Priority to US16/038,787 priority patent/US10652513B2/en
Application granted granted Critical
Publication of CN108174180B publication Critical patent/CN108174180B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种显示装置、显示系统及三维显示方法,包括:显示面板以及设置在显示面板周边的至少一个摄像装置;其中,各摄像装置包括:至少两个深度摄像头,任意一个深度摄像头的景深范围与其它各深度摄像头的景深范围不完全重叠;显示面板,用于显示对各摄像装置拍摄的图像信息进行处理后的三维图像。由于摄像装置包括至少两个景深范围不相同的深度摄像头,这些深度摄像头在各自的景深范围内拍摄精度较高,并且各深度摄像头的景深范围叠加后比任意一个深度摄像头具有更宽的景深范围,从而可以在拓宽拍摄景深范围内均清晰成像。而在根据需要来设置各深度摄像头的景深范围之后,可以适应近距离操控交互的需求。

Description

一种显示装置、显示系统及三维显示方法
技术领域
本发明涉及显示技术领域,尤其涉及一种显示装置、显示系统及三维显示方法。
背景技术
随着3D技术在显示领域的迅猛发展,基于3D技术的显示产品越来越多样化,目前由操作者与显示器中的三维空间模型进行交互的设备越来越受到用户的欢迎,三维空间交互可以带给操作者有别于平面交互的更生动的立体交互体验。而现阶段的三维空间交互均基于三维空间定位技术。最常见的空间定位技术为双视技术、结构光技术以及飞行时间(Time of Flight,简称TOF)测距技术。上述三种空间定位技术均使用到摄像头,且一般使用的均为定焦摄像头,这就使得目前的空间定位存在两个问题:其一,由于采用定焦摄像头,其检测精度在景深范围内较为精准,一旦超出景深范围其检测精度将迅速下降;其二,目前的空间定位装置的操作空间有限,对于近距离操作的盲区较大。
发明内容
本发明实施例提供了一种显示装置、显示系统及三维显示方法,用以拓宽检测景深范围,以实现近距离操控交互。
第一方面,本发明实施例提供一种显示装置,包括:显示面板以及设置在所述显示面板周边的至少一个摄像装置;其中,
各所述摄像装置包括至少两个深度摄像头,任意一个所述深度摄像头的景深范围与其它各所述深度摄像头的景深范围不完全重叠;
所述显示面板,用于显示对各所述摄像装置拍摄的图像信息进行处理后的三维图像。
在一种可能的实现方式中,在本发明实施例提供的上述显示装置中,所述摄像装置还包括:与各所述深度摄像头相邻的光发射器;
所述光发射器,用于向目标物体出射设定波长的光;
所述深度摄像头,用于拍摄所述目标物体,以及接收由所述目标物体反射的所述设定波长的光以获得图像信息。
在一种可能的实现方式中,在本发明实施例提供的上述显示装置中,同一个所述摄像装置中的各所述深度摄像头共用一个所述光发射器。
在一种可能的实现方式中,在本发明实施例提供的上述显示装置中,同一个所述摄像装置中的各所述深度摄像头的曝光时间互不重叠。
在一种可能的实现方式中,在本发明实施例提供的上述显示装置中,同一个所述摄像装置中的各所述深度摄像头所需要的曝光强度随着各所述深度摄像头的景深的增大而增大;
所述光发射器的发射强度随着各所述深度摄像头的景深的增大而增大。
在一种可能的实现方式中,在本发明实施例提供的上述显示装置中,所述摄像装置包括多个所述深度摄像头;多个所述深度摄像头环绕所述光发射器设置。
在一种可能的实现方式中,在本发明实施例提供的上述显示装置中,所述显示面板为矩形显示面板,各所述摄像装置设置在所述显示面板的两个长边上;
所述摄像装置的视角满足以下关系式:
其中,FOV为所述摄像装置的视角,h为所述摄像装置的近景深,a为所述显示面板的短边长度。
在一种可能的实现方式中,在本发明实施例提供的上述显示装置中,设置于所述显示面板的任意一个长边上的所述摄像装置的数量为大于或等于b/a的整数;
其中,b为所述显示面板的长边的长度,a为所述显示面板的短边的长度。
在一种可能的实现方式中,在本发明实施例提供的上述显示装置中,位于所述显示面板的任意一个长边两侧的边缘位置的两个所述摄像装置的主光轴与所述长边呈设定角度。
在一种可能的实现方式中,在本发明实施例提供的上述显示装置中,设置于所述显示面板的任意一个长边上的各所述摄像装置的视角的叠加覆盖范围大于或等于180度。
在一种可能的实现方式中,在本发明实施例提供的上述显示装置中,所述摄像装置还包括至少一个广角摄像头。
第二方面,本发明实施例提供一种显示系统,包括上述任一显示装置以及处理器;
所述处理器,用于接收所述显示装置中各所述摄像装置拍摄的图像信息,对所述图像信息进行处理得到三维图像,并将所述三维图像传输给所述显示面板进行显示。
第三方面,本发明实施例提供一种基于上述任一显示装置的三维显示方法,包括:
各所述摄像装置中的深度摄像头对目标物体进行拍摄;
对所述图像信息进行处理得到三维图像,并将所述三维图像传输给所述显示面板;
所述显示面板对接收的三维图像进行显示。
在一种可能的实现方式中,在本发明实施例提供的上述三维显示方法中,所述摄像装置还包括:与各所述深度摄像素头相邻的光发射器;
所述各所述摄像装置中的深度摄像头对目标物体进行拍摄,包括:
按照设定的时序以发射强度由大到小的顺序分时驱动所述光发射器向所述目标物体出射光束,同时按照景深由远到近的顺序依次驱动各所述摄像装置中的各所述深度摄像头对所述目标物体进行拍摄。
在一种可能的实现方式中,在本发明实施例提供的上述三维显示方法中,所述摄像装置还包括至少一个广角摄像头;
所述各所述摄像装置中的深度摄像头对目标物体进行拍摄,包括:
所述广角摄像头对所述目标物体进行拍摄;
对所述广角摄像头拍摄图像信息进行分析,判断所述目标物体的位置范围;
根据所述位置范围驱动与所述位置范围相对应的所述深度摄像头对所述目标物体进行拍摄。
本发明有益效果如下:
本发明实施例提供的显示装置、显示系统及三维显示方法,包括:显示面板以及设置在显示面板周边的至少一个摄像装置;其中,各摄像装置包括:至少两个深度摄像头,任意一个深度摄像头的景深范围与其它各深度摄像头的景深范围不完全重叠;显示面板,用于显示对各摄像装置拍摄的图像信息进行处理后的三维图像。由于摄像装置包括至少两个景深范围不相同的深度摄像头,这些深度摄像头在各自的景深范围内拍摄精度较高,并且各深度摄像头的景深范围叠加后比任意一个深度摄像头具有更宽的景深范围,从而可以在拓宽拍摄景深范围内均清晰成像。而在根据需要来设置各深度摄像头的景深范围之后,可以适应近距离操控交互的需求。
附图说明
图1为本发明实施例提供的显示装置的正视结构示意图之一;
图2为本发明实施例提供的摄像装置的结构示意图之一;
图3为本发明实施例提供的拍摄原理图;
图4为本发明实施例提供的摄像装置的拍摄景深示意图之一;
图5为本发明实施例提供的曝光时序图之一;
图6为本发明实施例提供的摄像装置的结构示意图之二;
图7为本发明实施例提供的摄像装置的拍摄景深示意图之二;
图8为本发明实施例提供的摄像装置的分布示意图;
图9为本发明实施例提供的摄像装置的拍摄视角原理图之一;
图10为本发明实施例提供的摄像装置的拍摄视角原理图之二;
图11为本发明实施例提供的显示装置的正视结构示意图之二;
图12为本发明实施例提供的曝光时序图之二;
图13为本发明实施例提供的显示处理系统的结构示意图;
图14为本发明实施例提供的显示装置的三维显示方法的流程示意图。
具体实施方式
针对现有技术存在的问题,本发明实施例提供了一种,用以拓宽检测景深范围,以实现近距离操控交互的显示装置、显示系统及三维显示方法。
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
下面结合附图详细介绍本发明具体实施例提供的显示装置及其三维显示方法。
如图1所示,本发明实施例提供的显示装置,包括:显示面板11以及设置在显示面板周边的至少一个摄像装置12。
其中,各摄像装置12包括:至少两个深度摄像头121,任意一个深度摄像头121的景深范围与其它各深度摄像头的景深范围不完全重叠;
显示面板11,用于显示对各摄像装置12拍摄的图像信息进行处理后的三维图像。
在实际应用中,本发明实施例提供的上述显示面板可为液晶显示面板、有机发光二极管(Organic Light Emitting Diode,OLED)显示面板、电子纸或其它显示终端。在显示面板的边框上集成至少一个摄像装置12,从而使得显示装置具有拍摄深度图像的功能。并且摄像装置12包括至少两个景深范围不完全重叠的深度摄像头121,这些深度摄像头在各自的景深范围内拍摄精度较高,多个深度摄像头的景深范围相互叠加之后可以拓宽摄像装置可清楚拍摄图像的景深范围。作为一种优选的实施方式,各深度摄像头的景深范围叠加为一个连续的景深范围,例如,摄像装置包括两个深度摄像头,其中一个深度摄像头的景深为[a,b],另一个深度摄像头的景深为[b,c],其中,a<b<c,那么两个深度摄像头可以在景深的范围上相互连续,使得该摄像装置即可拍摄景深范围为[a,c]的图像都具有较高的拍摄精度。在实际应用中,上述深度摄像头既可以拍摄获得二维的灰度信息也可以得到深度信息,将两个处理之后可以得到包含灰度和深度的三维图像,显示面板可以对该三维图像进行显示。图像处理的过程可由上述的摄像装置完成,也可由单独的处理器完成;摄像装置、处理器可以与显示面板分开设置,也可以集成于显示面板内部。此外,图像处理可以由软件(例如,图像处理模块)来实现,也可以由硬件来实现。例如可以是具有数据处理能力和/或程序执行能力的处理模块,包括但不限于处理器、单片机、数字信号处理(Digital SignalProcess,DSP)、专用集成电路(Application Specific Integrated Circuits,ASIC)等器件中的一种或多种。处理器例如可以为中央处理单元(CPU)、现场可编程门阵列(FPGA)或张量处理单元(TPU)等。处理模块可以包括上述器件中的一个或多个芯片。
当显示面板显示某一场景图像,而用户在显示面板前方与场景之间互动时,可以实现用户在显示面板前方距离显示面板的距离在一较宽的范围内活动均能够准确拍摄到用户的位置及动作,从而经过处理后显示面板11可显示合成有拍摄的用户图像信息的三维图像,将用户(或目标物体)结合到原本所显示画面的场景中进行三维显示。本发明实施例提供的上述显示装置,可以拓宽拍摄景深范围,在实际应用中可根据需要来设置各深度摄像头的景深范围,从而可以适应近距离操控交互的需求。
在具体实施时,在本发明实施例提供的上述显示装置中,如图2所示,摄像装置12还可包括:与各深度摄像头121相邻的光发射器122。
其中,光发射器122,用于向目标物体出射设定波长的光;
深度摄像头121,用于拍摄目标物体,以及接收由目标物体反射的设定波长的光以获得图像信息。
通过分析光发射器122出射的设定波长的光以及深度摄像头121接收的相同设定波长的光两者之间的波形相位的差异来确定目标物体与显示面板之间的距离。具体来说,本发明实施例提供的上述摄像装置可为采用TOF技术的深度摄像装置,结构如图3所示,为方便说明原理,在图3中将各组成部分用框图示意性说明,并不代表真实的设置位置以及真实尺寸。如图3所示,摄像装置12包括的光发射器122可为红外激光发射器,深度摄像头121可为红外摄像头;在实际应用中,红外摄像头(121)可包括用于接收红外激光并将光信息转化为电信号的光电二极管阵列1211,以及用于采集二维灰度图像的图像传感器1212(如CCD或CMOS等)。并且,光电二极管阵列1211和图像传感器1212分别与处理器13相连。处理器13可以控制红外激光发射器122的发射强度,同时可以接收光电二极管阵列1211发送的电信号,从而可以通过分析红外激光发射器122的出射激光与目标物体的反射激光之间的波形相位差异,从而得到被拍摄目标物体的深度信息;同时处理器也接收图像传感器1212所采集的二维图像以得到被拍摄目标物体的灰度信息;处理器13通过进行灰度和深度信息的处理可以得到包括被拍摄目标物体以及应用场景的三维图像,将该三维图像传输到显示面板后可以进行三维显示。
在具体实施时,摄像装置12包括至少两个深度摄像头121,且各深度摄像头121的景深范围不一致,按照距离显示面板由近到远的顺序各景深范围之间可以相互连续。以图4所示的结构为例,摄像装置12包括两个红外摄像头121a、121b和一个红外激光发射器(图中未示出),其中,红外摄像头121a的景深范围为Δh1,红外摄像头121b的景深范围为Δh2,由图4可以看出,且两个红外摄像头的景深范围叠加之后相互连续,则包括这两个红外摄像头121a、121b的摄像装置,可以在景深范围Δh1+Δh2范围内均具有较高的精度,相比于采用单个摄像头的结构,景深范围拓宽,且在拓宽的景深范围内均可以清晰成像;如果增加近距离景深的摄像头,则可以实现近距离操作交互的使用场景。本发明实施例仅以一个摄像装置包括两个深度摄像头为例进行说明,在实际应用中,一个摄像装置中还可以包括更多的深度摄像头以实现更宽范围的拍摄景深,在此不做限定。
在具体实施时,由于同一个摄像装置包括的多个深度摄像头的拍摄景深范围不完全相同,即各深度摄像头所能够检测到的距离范围各不相同,而光发射器的出射光能量与发射距离有关系,为了防止一些深度摄像头曝光不足而另一些深度摄像头曝光过量的问题,在本发明实施例中,同一个摄像装置中的各深度摄像头的曝光时间互不重叠。即采用分时驱动的方式使各深度摄像头依次曝光,使得各深度摄像头的曝光互不影响,根据每个深度摄像头的景深范围,采用适当的功率驱动光发射器,使得物体在每个深度摄像头景深范围内时,每个深度摄像头都可以处于最佳曝光状态。通过调节深度摄像头的镜头结构,使其焦距与像距相应改变,可以实现不同的拍摄景深范围。此外,还可以直接采用其它方式实现拍摄景深范围的调整,在此不做限定。
进一步地,如上所述,由于各深度摄像头的拍摄景深范围不完全相同,使得各深度摄像头所需要的光能量不相等,因此,在本发明实施例中,同一个摄像装置中的各深度摄像头所需要的曝光强度随着各深度摄像头的景深的增大而增大;那么,光发射器的发射强度随着各深度摄像头的景深的增大而增大。
举例来说,如果一个摄像装置12中包括一个光发射器122(可为红外激光发射器)和三个深度摄像头(可为红外摄像头)121a、121b和121c,而深度摄像头121a的拍摄景深范围比深度摄像头121b的拍摄景深范围更远,而深度摄像头121b的拍摄景深范围比深度摄像头121c的拍摄景深范围更远;则深度摄像头121a所需要的光能量要大于深度摄像头121b所需要的光能量,深度摄像头121b所需要的光能量要大于深度摄像头121c所需要的光能量;因此,在深度摄像头121a、121b和121c依次曝光时,光发射器122的发射强度为深度摄像头121a对应的光发射强度大于深度摄像头121b对应的光发射强度,深度摄像头121b对应的光发射强度大于深度摄像头121c对应的光发射强度。
作为一种优选的实施方式,同一个摄像装置中的各深度摄像头可共用一个光发射器。仍以上述的摄像装置包括三个深度摄像头121a、121b和121c以及一个光发射器122为例,在实际应用中,光发射器122的发射时序如图5所示,光发射器122的脉冲的高度表示出射光的发射强度,而脉冲的宽度表示出射光的发射时长;深度摄像头(121a、121b和121c)在脉冲宽度对应的时间段内曝光拍摄,在脉冲之外的时间段内进行数据传输。如上所述,由于深度摄像头121a的拍摄景深范围比深度摄像头121b的拍摄景深范围更远,而深度摄像头121b的拍摄景深范围比深度摄像头121c的拍摄景深范围更远,因此,按照如上述的规则,三个深度摄像头121a、121b和121c按照先后顺序依次曝光时,光发射器122的发射则分别对应三个曝光脉冲时间段确定时序,且发射强度按照由强到弱的顺序叠加到发射时序中,实现在深度摄像头121a曝光时段发射较强的设定波长的光束,在深度摄像头121b的曝光时段发射相对较弱的设定波长的光束,而在深度摄像头121c的曝光时段发射更弱的设定波长的光束。此外,由于摄像头的曝光时间段相对于数据传输时间段相比要短得多,因此,即使采用依次曝光的方式,只要使各摄像头的曝光时段紧凑仍可以实现在一帧内完成各个摄像头的拍摄过程,因此采用多个摄像头对拍摄帧率的影响极小。
在一种实施的方式中,如图6所示,采用多个深度摄像头共用一个光发射器的形式,摄像装置可包括多个深度摄像头,且多个深度摄像头环绕光发射器设置,以图6所示的结构为例,摄像装置包括四个呈矩阵分布的深度摄像头121;光发射器122位于矩阵的中心。在实际应用中,光发射器122与深度摄像头121之间的距离不宜过大,理论上两者之间的越小越好,这样设置可以避免距离过大而造成测距精度下降的问题。采用图6所示的结构时,光发射器122距离四个深度摄像头121的距离相等,保证各深度摄像头121分别与光发射器122组合时的结构一致性。此外,四个深度摄像头121的景深范围各不相同,按照景深由近到远的顺序可以叠加为一个连续的景深范围,对所需要的景深进行全部覆盖,从而使得在全景深范围内的清晰成像。
可以理解的时,当摄像头的拍摄景深较近时,则其可拍摄的视角相对较大;反之,当摄像头的拍摄景深较远时,则其可拍摄的视角相对较小。而当摄像头的视角过大时不可避免地会影响其成像质量,因此,通常情况下只采用一个摄像装置实现平面视角的覆盖相对困难。以如图7所示的俯视结构为例,在显示面板11对应的一个边框上设置两个摄像装置12,每个摄像装置12中包括两个深度摄像头121a和121b,且深度摄像头121a的景深范围为Δh1,深度摄像头121b的景深范围为Δh2,即深度摄像头121a的景深范围比深度摄像头121b的景深范围更远。并且,深度摄像头121a的视角FOV1小于深度摄像头121b的视角FOV2。其中,Δh1和Δh2连续,则一个摄像装置12拍摄景深范围为Δh1+Δh2,然而一个摄像装置的最大可拍摄的视角为FOV2,因此只采用一个摄像装置12时无法实现显示面板11正面对应的较宽范围内,即如图7所示的矩形虚线框内全部视角的覆盖。而如果采用两个结构相同的摄像装置12时,将两个摄像装置12对称设置,则在景深和视角相互拼接之后,可以实现更大范围内的成像,从而完全覆盖上述矩形虚线框内的全部视角。
进一步地,在显示面板为矩形显示面板时,如图8所示,可将各摄像装置设置在显示面板的两个长边b上,例如对称设置。如果将摄像装置设置在显示面板的短边a上,则需要每个摄像装置具有更大的视角,容易影响到成像质量,因此可优选地将摄像装置设置在显示面板的长边b上。例如,在显示装置中设置2n个摄像装置,其中n个摄像装置设置在显示面板的一个长边b上,另外n个摄像装置对称设置在另一个长边b上。
其中,每个摄像装置的视角应满足以下关系式:
FOV为摄像装置的视角,h为摄像装置的近景深,a为显示面板的短边长度。
如图8所示,当摄像装置设置在显示面板的长边上时,以摄像装置所在的位置为圆心,其最大的视角范围如图8所示的一个圆形所覆盖的范围,在圆形之内的点可拍摄到,而在圆形之外的点则不能被拍摄到。而在实际应用中,需要对显示面板前方一定范围内与显示面板的面积相等的区域内的每个点均能够成像,因此需要沿着显示面板的长边b设置多个摄像装置。如果各摄像装置的结构相同,包括多个深度摄像头可进行拍摄景深的拓展,而每个摄像装置的拍摄视角固定,均为FOV,当每个摄像装置12的视角可至少覆盖其对应的正方形虚线框时,则可以实现所要求范围内的全面覆盖。
如图9所示,当摄像装置的近景深为h,则其覆盖的半视角至少要覆盖显示面板的短边长度的1/2,由此,可以得到摄像装置的最小视角关系式如下:
tan(FOV/2)=a/2h;
那么在实际应用时,每个摄像装置的视角应满足:
进一步地,在确定了显示面板的短边两端设置两个摄像装置的前提下,当各摄像装置的视角满足上述关系式时,设置于显示面板的任意一个长边上的摄像装置的数量为大于或等于b/a的整数;其中,b为显示面板的长边的长度,a为显示面板的短边的长度。若b/a恰好为整数,则设置该整数个摄像装置;若b/a不为整数,则取大于b/a的最小整数,例如当b/a=1.5时,则需要设置两个摄像装置。
在具体实施时,在本发明实施例提供的上述显示装置中,如图10所示,位于显示面板的任意一个长边两侧的边缘位置的两个摄像装置的主光轴与长边呈设定夹角,通常情况下可将两侧绝缘位置的摄像装置的主光轴向着长边的中心点的方向旋转设定角度。如上所述,当摄像装置的视角越大时其成像质量则会相应的降低,那么采用位于边缘位置的摄像装置视角向内侧旋转的方式可以有效减少使用的摄像装置数量,从而采用数量较少的摄像装置即可覆盖较大的拍摄视角,降低了显示装置的功耗。
以图10所示的结构为例,如果采用较常见的水平视角为60度,竖直视角为45度的摄像装置,且如图10所示,将摄像装置12a设置在显示面板的一个长边的中心点的位置,在其两侧分别再设置一个摄像装置(12b和12c),其中,摄像装置12a的主光轴AA’垂直于显示面板的长边,摄像装置12b的主光轴BB’以及摄像装置12c的主光轴CC’向着中心点(即摄像装置12a所在的位置)的方向旋转,在本发明实施例中采用水平视角为60度的摄像装置,因此摄像装置12b和12c的主光轴均向内侧旋转60度,即可实现180度视角的全面覆盖。
在具体实施时,通过旋转摄像装置主光轴使其主光轴与显示面板边缘呈设定角度的实施方式,可将设置于显示面板的任意一个长边上的各摄像装置的视角的叠加覆盖范围大于或等于180度。如图10所示的结构,可实现视角的叠加覆盖范围恰好等于180度,如果将上述的摄像装置12b和12c的主光轴向内侧旋转更大的角度,则可以实现视角的叠加覆盖范围大于180度,在此不做限定。
在另一种可实施的方式中,如图11所示,摄像装置还可包括:至少一个广角摄像头121’。为了对目标物体全方位的检测,需要设置多个摄像装置,其中每个摄像装置中均包括多个深度摄像头,而同时对多组摄像头驱动时功耗较大,并且在摄像头数量较多时处理器处理数据量较大,处理耗时长,因此可以在摄像装置中设置一至两个广角摄像头,从而减少摄像头的使用数量。
在具体实施时,可采用如图12所示的时序来驱动光发射器122以及广角摄像头121’和深度摄像头121。具体地,可首先驱动广角摄像头121’对目标物体进行拍摄;根据广角摄像头121’拍摄的图像信息分析出目标物体的大致位置范围,并根据所确定出的位置范围,在下一帧拍摄时驱动可拍摄到上述位置范围的深度摄像头121对目标物体进行拍摄,从而确定出目标物体的精确位置。由此,对图像信息进行处理得到三维图像传输到显示面板进行三维显示。
基于同一发明构思,本发明实施例还提供一种显示系统,如图13所示,显示系统可包括:上述的任一显示装置100以及处理器200;处理器200可以为设置于显示装置100外部,且与显示装置具有数据传输的处理器,如外置计算器或处理芯片等。此外,处理器200也可以集成于显示装置内部,与显示装置内的显示面板共用相同的显示芯片等。由处理器200电连接或数据连接各摄像装置以及显示面板,从而接收各摄像装置的图像信息,并对图像信息中的灰度信息和深度信息进行处理,以得到包含目标物体的三维图像,将该三维图像传输给显示面板进行三维显示。
如图14所示,本发明具体实施例还提供了一种基于上任一显示装置的三维显示方法,具体可以包括如下步骤:
S100、各摄像装置中的深度摄像头对目标物体进行拍摄;
S200、对图像信息进行处理得到三维图像,并将三维图像传输给显示面板;
S300、显示面板对接收的三维图像进行显示。
由于摄像装置包括至少两个景深范围不完全相等的深度摄像头,这些深度摄像头在各自的景深范围内拍摄精度较高,因此摄像装置可以在比任意一个深度摄像头的景深范围更宽的景深范围内清晰成像。而在根据需要来设置各深度摄像头的景深范围之后,可以适应近距离操控交互的需求。
在具体实施时,在本发明实施例提供的上述显示装置中,摄像装置还可包括:与各深度像素头相邻的发射器;在这种情况下,在上述的步骤S100中,各摄像装置中的深度摄像头对目标物体进行拍摄,具体可以包括:
按照设定的时序以发射强度由大到小的顺序分时驱动光发射器向目标物体出射设定波长的光束,同时按照景深由远到近的顺序依次驱动各摄像装置中的各深度摄像头对目标物体进行拍摄。
在具体实施时,光发射器以及各深度摄像头可按照如图5所示的时序图进行驱动,由此根据不同景深范围的深度摄像头所需要的曝光强度依时序驱动光发射器出射光为不同的强度,而各深度摄像头依时序依次曝光可以都达到最佳的曝光状态,互不影响。
在另一种可实施的方式中,本发明实施例提供的上述摄像装置还可包括:至少一个广角摄像头;在这种情况下,在上述的步骤S100中,各摄像装置中的深度摄像头对目标物体进行拍摄,具体可以包括:
广角摄像头对目标物体进行拍摄;
对广角摄像头拍摄的图像信息进行分析,判断目标物体的位置范围;
根据位置范围驱动与该位置范围相对应的深度摄像头对目标物体进行拍摄。
在实际应用中,广角摄像头和深度摄像头并不在一个拍摄帧内驱动,这是因为在驱动广角摄像头曝光拍摄目标物体之后,需要对拍摄数据进行分析,从而确定出目标物体的大致位置,预判目标物体的位置范围。而在一个拍摄帧内并不能完成上述的运算过程,因此不足以预留出驱动深度摄像头曝光以及数据传输的时间,因此可以在得到预判的位置范围之后,在下一个拍摄帧驱动拍摄范围可以覆盖该位置范围的深度摄像头曝光拍摄,从而确定出目标物体的精确位置。
本发明实施例提供的显示装置、显示系统及三维显示方法,包括:显示面板以及设置在显示面板周边的至少一个摄像装置;其中,各摄像装置包括:至少两个深度摄像头,任意一个深度摄像头的景深范围与其它各深度摄像头的景深范围不完全重叠;显示面板,用于显示对各摄像装置拍摄的图像信息进行处理后的三维图像。由于摄像装置包括至少两个景深范围不相同的深度摄像头,这些深度摄像头在各自的景深范围内拍摄精度较高,并且各深度摄像头的景深范围叠加后比任意一个深度摄像头具有更宽的景深范围,从而可以在拓宽拍摄景深范围内均清晰成像。而在根据需要来设置各深度摄像头的景深范围之后,可以适应近距离操控交互的需求。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (15)

1.一种显示装置,其特征在于,包括:显示面板以及设置在所述显示面板周边的至少一个摄像装置;其中,
各所述摄像装置包括至少两个深度摄像头,任意一个所述深度摄像头的景深范围与其它各所述深度摄像头的景深范围不完全重叠;
所述显示面板,用于显示对各所述摄像装置拍摄的图像信息进行处理后的三维图像。
2.如权利要求1所述的显示装置,其特征在于,所述摄像装置还包括:与各所述深度摄像头相邻的光发射器;
所述光发射器,用于向目标物体出射设定波长的光;
所述深度摄像头,用于拍摄所述目标物体,以及接收由所述目标物体反射的所述设定波长的光以获得图像信息。
3.如权利要求2所述的显示装置,其特征在于,同一个所述摄像装置中的各所述深度摄像头共用一个所述光发射器。
4.如权利要求3所述的显示装置,其特征在于,同一个所述摄像装置中的各所述深度摄像头的曝光时间互不重叠。
5.如权利要求3所述的显示装置,其特征在于,同一个所述摄像装置中的各所述深度摄像头所需要的曝光强度随着各所述深度摄像头的景深的增大而增大;
所述光发射器的发射强度随着各所述深度摄像头的景深的增大而增大。
6.如权利要求3所述的显示装置,其特征在于,所述摄像装置包括多个深度摄像头,多个所述深度摄像头环绕所述光发射器设置。
7.如权利要求1-6任一项所述的显示装置,其特征在于,所述显示面板为矩形显示面板,各所述摄像装置设置在所述显示面板的两个长边上;
所述摄像装置的视角满足以下关系式:
其中,FOV为所述摄像装置的视角,h为所述摄像装置的近景深,a为所述显示面板的短边长度。
8.如权利要求7所述的显示装置,其特征在于,设置于所述显示面板的任意一个长边上的所述摄像装置的数量为大于或等于b/a的整数;
其中,b为所述显示面板的长边的长度,a为所述显示面板的短边的长度。
9.如权利要求7所述的显示装置,其特征在于,位于所述显示面板的任意一个长边两侧的边缘位置的两个所述摄像装置的主光轴与所述长边呈设定角度。
10.如权利要求9所述的显示装置,其特征在于,设置于所述显示面板的任意一个长边上的各所述摄像装置的视角的叠加覆盖范围大于或等于180度。
11.如权利要求7所述显示装置,其特征在于,所述摄像装置还包括至少一个广角摄像头。
12.一种显示系统,其特征在于,包括如权利要求1-11任一项所述的显示装置以及处理器;
所述处理器,用于接收所述显示装置中各所述摄像装置拍摄的图像信息,对所述图像信息进行处理得到三维图像,并将所述三维图像传输给所述显示面板。
13.一种基于权利要求1-11任一项所述的显示装置的三维显示方法,其特征在于,包括:
各所述摄像装置中的深度摄像头对目标物体进行拍摄;
对所述图像信息进行处理得到三维图像,并将所述三维图像传输给所述显示面板;
所述显示面板对接收的三维图像进行显示。
14.如权利要求13所述的三维显示方法,其特征在于,所述摄像装置还包括:与各所述深度摄像素头相邻的光发射器;
所述各所述摄像装置中的深度摄像头对目标物体进行拍摄,包括:
按照设定的时序以发射强度由大到小的顺序分时驱动所述光发射器向所述目标物体出射设定波长的光束,同时按照景深由远到近的顺序依次驱动各所述摄像装置中的各所述深度摄像头对所述目标物体进行拍摄。
15.如权利要求13所述的三维显示方法,其特征在于,所述摄像装置还包括至少一个广角摄像头;
所述各所述摄像装置中的深度摄像头对目标物体进行拍摄,包括:
所述广角摄像头对所述目标物体进行拍摄;
对所述广角摄像头拍摄的图像信息进行分析,判断所述目标物体的位置范围;
根据所述位置范围驱动与所述位置范围相对应的所述深度摄像头对所述目标物体进行拍摄。
CN201810001011.XA 2018-01-02 2018-01-02 一种显示装置、显示系统及三维显示方法 Expired - Fee Related CN108174180B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810001011.XA CN108174180B (zh) 2018-01-02 2018-01-02 一种显示装置、显示系统及三维显示方法
US16/038,787 US10652513B2 (en) 2018-01-02 2018-07-18 Display device, display system and three-dimension display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810001011.XA CN108174180B (zh) 2018-01-02 2018-01-02 一种显示装置、显示系统及三维显示方法

Publications (2)

Publication Number Publication Date
CN108174180A true CN108174180A (zh) 2018-06-15
CN108174180B CN108174180B (zh) 2019-07-30

Family

ID=62516976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810001011.XA Expired - Fee Related CN108174180B (zh) 2018-01-02 2018-01-02 一种显示装置、显示系统及三维显示方法

Country Status (2)

Country Link
US (1) US10652513B2 (zh)
CN (1) CN108174180B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584714A (zh) * 2018-11-30 2019-04-05 Oppo广东移动通信有限公司 显示屏与电子设备
CN109618085A (zh) * 2019-01-04 2019-04-12 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660732A (zh) * 2019-01-04 2019-04-19 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660733A (zh) * 2019-01-04 2019-04-19 Oppo广东移动通信有限公司 电子设备和移动平台
CN109729250A (zh) * 2019-01-04 2019-05-07 Oppo广东移动通信有限公司 电子设备和移动平台
CN110149510A (zh) * 2019-01-17 2019-08-20 深圳市光鉴科技有限公司 用于屏下的3d摄像头模组及电子设备
WO2020125185A1 (zh) * 2018-12-20 2020-06-25 深圳光启空间技术有限公司 一种监控设备、方法及装置、存储介质、电子装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111708039B (zh) * 2020-05-24 2023-09-05 奥比中光科技集团股份有限公司 一种深度测量装置、方法及电子设备
CN112492212B (zh) * 2020-12-02 2022-05-06 维沃移动通信有限公司 拍照方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742349A (zh) * 2010-01-05 2010-06-16 浙江大学 一种对三维场景的表达方法及其电视系统
CN104780315A (zh) * 2015-04-08 2015-07-15 广东欧珀移动通信有限公司 摄像装置拍摄的方法和系统
CN104991684A (zh) * 2015-07-23 2015-10-21 京东方科技集团股份有限公司 触控设备及其工作方法
CN105657394A (zh) * 2014-11-14 2016-06-08 东莞宇龙通信科技有限公司 基于双摄像头的拍摄方法、拍摄装置及移动终端
CN106612392A (zh) * 2015-10-21 2017-05-03 中兴通讯股份有限公司 一种基于双摄像头拍摄图像的方法和装置
US20170237971A1 (en) * 2015-04-15 2017-08-17 Lytro, Inc. Image capture for virtual reality displays
CN107103626A (zh) * 2017-02-17 2017-08-29 杭州电子科技大学 一种基于智能手机的场景重建方法
CN107113379A (zh) * 2016-08-09 2017-08-29 深圳市瑞立视多媒体科技有限公司 红外光源的亮度调节方法与装置、光学动捕摄像机

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8547421B2 (en) * 2010-08-13 2013-10-01 Sharp Laboratories Of America, Inc. System for adaptive displays
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US10419703B2 (en) * 2014-06-20 2019-09-17 Qualcomm Incorporated Automatic multiple depth cameras synchronization using time sharing
US10735711B2 (en) * 2017-05-05 2020-08-04 Motorola Mobility Llc Creating a three-dimensional image via a wide-angle camera sensor
US10816799B2 (en) * 2017-06-14 2020-10-27 Sony Interactive Entertainment Inc. Head-mounted display tracking using corner reflectors

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742349A (zh) * 2010-01-05 2010-06-16 浙江大学 一种对三维场景的表达方法及其电视系统
CN105657394A (zh) * 2014-11-14 2016-06-08 东莞宇龙通信科技有限公司 基于双摄像头的拍摄方法、拍摄装置及移动终端
CN104780315A (zh) * 2015-04-08 2015-07-15 广东欧珀移动通信有限公司 摄像装置拍摄的方法和系统
US20170237971A1 (en) * 2015-04-15 2017-08-17 Lytro, Inc. Image capture for virtual reality displays
CN104991684A (zh) * 2015-07-23 2015-10-21 京东方科技集团股份有限公司 触控设备及其工作方法
CN106612392A (zh) * 2015-10-21 2017-05-03 中兴通讯股份有限公司 一种基于双摄像头拍摄图像的方法和装置
CN107113379A (zh) * 2016-08-09 2017-08-29 深圳市瑞立视多媒体科技有限公司 红外光源的亮度调节方法与装置、光学动捕摄像机
CN107103626A (zh) * 2017-02-17 2017-08-29 杭州电子科技大学 一种基于智能手机的场景重建方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584714A (zh) * 2018-11-30 2019-04-05 Oppo广东移动通信有限公司 显示屏与电子设备
CN109584714B (zh) * 2018-11-30 2021-04-16 Oppo广东移动通信有限公司 显示屏与电子设备
WO2020125185A1 (zh) * 2018-12-20 2020-06-25 深圳光启空间技术有限公司 一种监控设备、方法及装置、存储介质、电子装置
CN109618085A (zh) * 2019-01-04 2019-04-12 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660732A (zh) * 2019-01-04 2019-04-19 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660733A (zh) * 2019-01-04 2019-04-19 Oppo广东移动通信有限公司 电子设备和移动平台
CN109729250A (zh) * 2019-01-04 2019-05-07 Oppo广东移动通信有限公司 电子设备和移动平台
CN109729250B (zh) * 2019-01-04 2021-04-30 Oppo广东移动通信有限公司 电子设备和移动平台
CN109618085B (zh) * 2019-01-04 2021-05-14 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660732B (zh) * 2019-01-04 2021-07-23 Oppo广东移动通信有限公司 电子设备和移动平台
CN110149510A (zh) * 2019-01-17 2019-08-20 深圳市光鉴科技有限公司 用于屏下的3d摄像头模组及电子设备
CN110149510B (zh) * 2019-01-17 2023-09-08 深圳市光鉴科技有限公司 用于屏下的3d摄像头模组及电子设备

Also Published As

Publication number Publication date
US20190208176A1 (en) 2019-07-04
CN108174180B (zh) 2019-07-30
US10652513B2 (en) 2020-05-12

Similar Documents

Publication Publication Date Title
CN108174180B (zh) 一种显示装置、显示系统及三维显示方法
EP2619987B1 (en) Wide angle field of view active illumination imaging system
AU2020417796B2 (en) System and method of capturing and generating panoramic three-dimensional images
CN107800979B (zh) 高动态范围视频拍摄方法及拍摄装置
CN108957478A (zh) 多传感器同步采样系统及其控制方法、车辆
CN107517374B (zh) 一种线阵相机视场的确定方法及装置
US8908054B1 (en) Optics apparatus for hands-free focus
BR102015001708A2 (pt) método para determinar uma polarização de uma cena, e, sistema para adquirir imagens de uma cena
CN104769930A (zh) 具有多个像素阵列的成像装置
US11397475B2 (en) Display device, electronic device and method for driving display device
CN109379578A (zh) 全方位三维视频拼接方法、装置、设备以及存储介质
CN106921824A (zh) 环绕式混合光场成像装置及方法
CN112839215A (zh) 一种摄像模组、摄像头、终端设备及图像信息的确定方法
CN207218846U (zh) 环绕式混合光场成像装置
US20240179416A1 (en) Systems and methods for capturing and generating panoramic three-dimensional models and images
CN109084679B (zh) 一种基于空间光调制器的3d测量及获取装置
CN107981855A (zh) 一种血流成像装置及内窥镜
US20080238820A1 (en) Motion picture image processing system and motion picture image processing method
KR20070074996A (ko) 3차원 구동방식의 양안식 카메라 장치
CN109394170A (zh) 一种无反光的虹膜信息测量系统
CN109618085A (zh) 电子设备和移动平台
CN206251250U (zh) 全景扫描监控系统
CN206248998U (zh) 全景扫描装置
CN112929519B (zh) 深度相机、成像装置和电子设备
CN111258166B (zh) 摄像模组及其潜望式摄像模组和图像获取方法及工作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190730

Termination date: 20210102