CN114840165A - 图像显示方法、图像显示装置、设备及存储介质 - Google Patents

图像显示方法、图像显示装置、设备及存储介质 Download PDF

Info

Publication number
CN114840165A
CN114840165A CN202210426720.9A CN202210426720A CN114840165A CN 114840165 A CN114840165 A CN 114840165A CN 202210426720 A CN202210426720 A CN 202210426720A CN 114840165 A CN114840165 A CN 114840165A
Authority
CN
China
Prior art keywords
image
target
images
target images
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210426720.9A
Other languages
English (en)
Inventor
孙小卫
菲利普·安东尼·苏尔曼
张超键
姚振伟
刘湃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN202210426720.9A priority Critical patent/CN114840165A/zh
Priority to PCT/CN2022/098766 priority patent/WO2023201864A1/zh
Publication of CN114840165A publication Critical patent/CN114840165A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种图像显示方法、图像显示装置、设备及存储介质,方法包括:获取原始图像;根据预设的图像分析模型对所述原始图像进行图像分析,得到目标深度图;根据预设的虚拟视点合成算法对所述目标深度图进行图像合成,得到多个不同视角的目标图像;将多个不同视角的所述目标图像进行汇集,得到目标图像集合;分光设备将所述目标图像集合中的所述目标图像发射到不同方向,以展示多个不同视角的所述目标图像。通过分光设备将多个不同视角的目标图像发射到不同的方向,则用户通过分光设备将不同视角的目标图像发射出来,即可查看到3D显示的图像,且无需佩戴3D眼镜,且无需根据人眼追踪以实现3D图像显示。

Description

图像显示方法、图像显示装置、设备及存储介质
技术领域
本发明涉及图像处理的技术领域,尤其是涉及一种图像显示方法、图像显示装置、设备及存储介质。
背景技术
传统实现3D主要采用显示器向左眼和右眼显示两个不同视角的图像,以通过图像的立体差异特性在大脑中产生可感知的三维图像。
相关技术中,3D影像产生的原因主要是因为眼睛的“视觉移位”,目前已经成熟的偏光式3D显示主要需要借助3D眼镜以观看3D画面,但是长时间佩戴3D眼镜不仅让用户不舒适,且让用户的视觉造成巨大的冲击。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种图像显示方法,能够将不同视角的目标图像直接显示,无需佩戴3D眼镜,提高3D图像查看的便捷性。
本发明还提出一种图像显示装置。
本发明还提出一种电子设备。
本发明还提出一种计算机可读存储介质。
第一方面,本发明的一个实施例提供了图像显示方法,方法包括:
获取原始图像;
根据预设的图像分析模型对所述原始图像进行图像分析,得到目标深度图;
根据预设的虚拟视点合成算法对所述目标深度图进行图像合成,得到多个不同视角的目标图像;
将多个不同视角的所述目标图像进行汇集,得到目标图像集合;
分光设备将所述目标图像集合中的所述目标图像发射到不同方向,以展示多个不同视角的所述目标图像。
本发明实施例的图像显示方法至少具有如下有益效果:通过图像分析模型根据原始图像进行图像分析得到目标深度图,并通过虚拟视点合成算法对目标深度图进行图像合成以得到多个不同视角的目标图像,则分光设备直接将多个不同视角的目标图像发射到不同的方向,以使目标用户通过改变视角即可查看到不同视角的目标图像,无需佩戴3D眼镜即可查看3D图像,既提高了3D图像查看的便利性,又降低3D图像查看的不适感。
根据本发明的另一些实施例的图像显示方法,在分光设备将所述目标图像集合中的所述目标图像发射到不同方向,以展示多个不同视角的所述目标图像之后,所述方法还包括:
调整目标用户的主视区的目标图像,具体包括:
获取目标用户的视角信息;
根据所述视角信息确定所述目标用户的主视区;
将所述主视区的所述目标图像切换为与所述视角信息对应的所述目标图像。
根据本发明的另一些实施例的图像显示方法,所述分光设备上设有分光区域和通孔区域;所述分光设备将所述目标图像集合中的所述目标图像发射到不同方向,以展示多个不同视角的所述目标图像,包括:
所述分光设备的所述分光区域将所述目标图像集合中的所述目标图像发射到不同方向,以展示多个不同视角的所述目标图像。
根据本发明的另一些实施例的图像显示方法,在分光设备将所述目标图像集合中的所述目标图像发射到不同方向,以展示多个不同视角的所述目标图像之后,所述方法还包括:
通过所述分光设备的所述通孔区域将所述目标图像中的目标画面显示,具体包括:
获取显示参数,所述显示参数包括:分辨率和内容类型;
获取所述目标图像中满足所述显示参数的图像画面,得到所述目标画面;
通过所述分光设备的所述通孔区域将所述目标画面显示。
根据本发明的另一些实施例的图像显示方法,在根据预设的图像分析模型对所述原始图像进行图像分析,得到目标深度图之前,所述方法还包括:
对神经网络模型进行训练,得到所述图像分析模型,具体包括:
获取图像训练数据集合和损失函数;
根据所述损失函数和所述图像训练数据集合对所述神经网络模型进行训练,得到所述图像分析模型。
第二方面,本发明的一个实施例提供了图像显示装置,装置包括:
获取模块,用于获取原始图像;
分析模块,用于根据预设的图像分析模型对所述原始图像进行图像分析,得到目标深度图;
合成模块,用于根据预设的虚拟视点合成算法对所述目标深度图进行图像合成,得到多个不同视角的目标图像;
汇集模块,用于将多个不同视角的所述目标图像进行汇集,得到目标图像集合;
分光设备,用于将所述目标图像集合中的所述目标图像发射到不同方向,以展示多个不同视角的所述目标图像。
本发明实施例的图像显示装置至少具有如下有益效果:通过图像分析模型根据原始图像进行图像分析得到目标深度图,并通过虚拟视点合成算法对目标深度图进行图像合成以得到多个不同视角的目标图像,则分光设备直接将多个不同视角的目标图像发射到不同的方向,以使目标用户通过改变视角即可查看到不同视角的目标图像,无需佩戴3D眼镜即可查看3D图像,既提高了3D图像查看的便利性,又降低3D图像查看的不适感。
根据本发明的另一些实施例的图像显示装置,所述获取模块、所述分析模块、所述合成模块、所述汇集模块集成于图像处理终端,所述分光设备包括:光栅屏幕和壳体,所述光栅屏幕承载于所述壳体上,所述壳体套设于所述图像处理终端上,且所述壳体和所述图像处理终端相适配。
根据本发明的另一些实施例的图像显示装置,所述图像处理终端上设有第一图像采集器,所述壳体上开设有与所述第一图像采集器相对应的开孔,所述壳体上设有通孔区域,所述壳体上设有位于所述光栅屏幕两侧的第二图像采集器。
第三方面,本发明的一个实施例提供了电子设备,包括:
至少一个处理器,以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如第一方面所述的方法。
第四方面,本发明的一个实施例提供了计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如第一方面所述的方法。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书以及附图中所特别指出的结构来实现和获得。
附图说明
图1是本发明实施例中图像显示方法的一具体实施例流程示意图;
图2是本发明实施例中图像显示方法的一具体实施例中视频通话的示意图;
图3是本发明实施例中图像显示方法的另一具体实施例流程示意图;
图4是本发明实施例中图像显示方法的一具体实施例中视频通话的示意图;
图5是本发明实施例中图像显示方法的一具体实施例中视频通话的示意图;
图6是图1中步骤S500的流程图;
图7是本发明实施例中图像显示方法的另一具体实施例流程示意图;
图8是本发明实施例中图像显示方法的另一具体实施例流程示意图;
图9是本发明实施例中图像显示装置的一具体实施例模块框图;
图10是本发明实施例中图像显示装置的一具体实施例的结构示意图;
图11是本发明实施例中图像显示装置的一具体实施例的结构示意图;
图12是本发明实施例中电子设备的一具体实施例模块框图。
附图说明:100、图像处理终端;110、获取模块;120、分析模块;130、合成模块;140、汇集模块;150、第一图像采集器;200、分光设备;210、光栅屏幕;220、壳体;221、开孔;222、通孔区域;230、第二图像采集器。
具体实施方式
以下将结合实施例对本发明的构思及产生的技术效果进行清楚、完整地描述,以充分地理解本发明的目的、特征和效果。显然,所描述的实施例只是本发明的一部分实施例,而不是全部实施例,基于本发明的实施例,本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例,均属于本发明保护的范围。
在本发明的描述中,如果涉及到方位描述,例如“上”、“下”、“前”、“后”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。如果某一特征被称为“设置”、“固定”、“连接”、“安装”在另一个特征,它可以直接设置、固定、连接在另一个特征上,也可以间接地设置、固定、连接、安装在另一个特征上。
在本发明实施例的描述中,如果涉及到“若干”,其含义是一个以上,如果涉及到“多个”,其含义是两个以上,如果涉及到“大于”、“小于”、“超过”,均应理解为不包括本数,如果涉及到“以上”、“以下”、“以内”,均应理解为包括本数。如果涉及到“第一”、“第二”,应当理解为用于区分技术特征,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
目前生活中,用户通过电子设备查看的图像是2D图片,由于2D图像是没有深度的视觉信息,但是现实世界却是有深度的,所以感知深度的好处既能够提高图像查看的真实性,又能够传递更多的信息。
为了实现3D图像显示,相关技术中设置显示器,且显示器向左眼和右眼显示图像的两个不同视角就可以通过图像的立体差异特征在大脑中产生可感知的三维图像。除此之外,另一个3D图像显示则是在空间中再现图像,这种方法包括:体积法、全息法、光场法、整体成像法、多视角和超级多视角法。因此,随着数字视听技术进入高清化的时代,立体显示技术已经发展成为继高清显示之后数字视听技术发展历程中的又一焦点。不同于标清到高清的升级,3D图像显示是一种全新的多维度跨越,是一种突破性的技术革新。由于相关技术中的3D图像显示需要借助3D眼镜以实现,但是用户长时间佩戴3D眼镜会对视觉造成巨大的冲击,且对人的健康产生众多不良的影响。
基于此,本申请公开了一种图像显示方法、图像显示装置、设备及存储介质,通过生成多个不同视角的目标图像,并通过分光设备将多个不同视角的目标图像发射到不同的方向,则用户通过分光设备将不同视角的目标图像发射出来,即可查看到3D显示的图像,且无需佩戴3D眼镜,且无需根据人眼追踪以实现3D图像显示。
参照图1,示出了本发明实施例中图像显示方法的流程示意图。在本发明实施例公开了一种图像显示方法,方法包括:步骤S100、步骤S200、步骤S300、步骤S400、步骤S500。可以理解,图像显示方法包括但不限于步骤S100至步骤S600。
步骤S100:获取原始图像。
需要说明的是,原始图像根据当前应用场景所确定,以根据当前应用场景获取对应的原始图像。例如,若当前应用场景为图像查看,则接收查看指令,根据查看指令从图像数据库获取对应的图像以得到原始图像。若当前应用场景为视频通话,获取视频通话的通话人物的图像以得到原始图像。
具体地,若当前应用场景为视频通话,通过图像采集器获取通话人物的图像以得到原始图像。
步骤S200:根据预设的图像分析模型对原始图像进行图像分析,得到目标深度图。
需要说明的是,预设的图像分析模型用于对单张的原始图像进行分析,且图像分析模型对原始图像进行深度评估得到目标深度图。
步骤S300:根据预设的虚拟视点合成算法对目标深度图进行图像合成,得到多个不同视角的目标图像。
需要说明的是,在二维显示器中,每个像素点发出的光在不同方向上的分布通常情况是呈朗伯分布,所以用户查看二维显示器中的目标图像为平面图像。然而,在三维显示器中,每个像素点发出的光所在方向上基本不是相等。例如,在二维显示器中,如果一个被描绘的物体出现在屏幕的正面,那么它的位置不会随着视角的改变而改变,而三维显示器中,物体出现在屏幕面前,它在屏幕上的位置必须随着观察位置向右移动而向左移动,反之亦然。因此,通过虚拟视点合成算法根据目标深度图进行图像合成,也即通过目标深度图构建出原始图像对应的三维模型,再将三维模型进行切分以得到多个不同视角的目标图像。通过多个不同视角的目标图像即可呈现出3D图像显示。
步骤S400:将多个不同视角的目标图像进行汇集,得到目标图像集合。
需要说明的是,由于3D图像显示需要将多个不同视角的目标图像同时呈现,且不同视角的目标图像以不同的方向进行呈现,以便于可以实现3D图像查看。因此,通过将多个不同视角的目标图像汇集得到目标图像集合,也即合成3D图像,即可进行3D图像显示。其中,目标图像集合中的多个目标图像之间的视角不同。
例如,若当前应用场景为视频通话,则实时获取通话人物的原始图像,并实时得出多个不同视角的目标图像,将多个不同视角的目标图像汇集得到目标图像集合,也即得到当前视频通话的3D的通话画面。
步骤S500:分光设备将目标图像集合中的目标图像发射到不同方向,以展示多个不同视角的目标图像。
需要说明的是,为了实现3D图像显示,需要将多个不同视角的目标图像发射到不同方向,所以通过查看目标图像时,改变观看的视角即可看到3D格式的目标图像。因此,通过设置分光设备,通过分光设备将目标图像集合中的目标图像发射到不同的方向。其中,由于多个目标图像之间的视角不同,则分光设备根据目标图像的视角确定发射方向,以在对应的发射方向发射对应视角的目标图像,则用户在查看分光设备发射的目标图像,通过改变视角方向以查看到不同角度的目标图像,以实现目标图像的3D查看。若不采用分光设备,则只显示一个视角角度的目标图像,无论用户如何改变视角,目标图像都是一样的。
例如,请参照图2,分光设备为小人头上的横杠,若当前应用场景为视频通话,通过分光设备将多个不同视角的目标图像发射到对应的方向,目标用户通过分光设备正视时可以查看到视频通话中通话人物的正脸,通过移动到左侧后能够通过分光设备查看到通话人物的侧脸,若目标用户移动到右侧,则可以查看到通话人物的另一边侧脸。因此,通过分光设备将不同视角的目标图像发射到对应的方向,则用户在进行视频通话时实现3D视频通话,既能够提高目标用户的体验感,又能够减轻用户佩戴3D眼镜的不适感。
综上,通过预设的图像分析模型将原始图像进行图像分析以得到目标深度图,并根据虚拟视点合成算法对目标深度图进行图像合成,也即根据目标深度图合成三维模型,再将三维模型进行切分以得到多个不同视角的目标图像。通过将多个不同视角的目标图像汇集得到目标图像集合,也即合成3D图像。最后,通过分光设备将不同视角的目标图像发射到对应的方向,则目标用户可以通过分光设备查看到不同视角的目标图像。因此,无需佩戴3D眼镜即可实现3D图像查看,既提高目标用户查看图像的视觉感,又减轻目标用户的不适感。
在本申请的一些实施例中,在执行步骤S500之后,图像显示方法还可以包括但不限于步骤:调整目标用户的主视区的目标图像。
需要说明的是,为了提高目标用户查看图像或者视频通话过程的体验感,需要根据目标用户选择调整目标用户的主视区的目标图像,以使目标用户始终正视目标图像的正面。其中,通过获取多个目标图像的目标视角,以获取目标视角为正视角度的目标图像,以在目标用户的主视图中显示正视角度的目标图像,以使目标用户始终正视目标图像。
请参照图3,调整目标用户的主视区的目标图像,可以包括但不限于步骤S610、步骤S620和步骤S630。
步骤S610:获取目标用户的视角信息。
需要说明的是,由于目标用户在查看图像或者视频通话过程会不断改变视角,因此根据预设时间间隔周期获取目标用户的视角信息,以确定目标用户的当前视角。其中,通过头部位置跟踪器获取目标用户的视角信息。例如,若当前应用场景为视频通话,则通过头部位置跟踪器获取目标用户的头部角度以确定目标用户的视角信息。
步骤S620:根据视角信息确定目标用户的主视区。
需要说明的是,通过视角信息确定目标用户的当前视角,并根据视角信息确定目标用户的主视区。
请参照图4,例如,P1为目标用户,P2为通话人物,若当前应用场景为视频通话,确定目标用户前面的视角区域为A、B、C、D、E、F六个区域,且每个区域的角度为30°,获取目标用户的视角信息为45°,则可以确定目标用户的主视区为B区域。若目标用户的视角信息为90°,则确定目标用户的主视区为C区域。
步骤S630:将主视区的目标图像切换为与视角信息对应的目标图像。
需要说明的是,由于分光设备可以将不同视角的目标图像发射到不同的方向以实现3D显示,但是用户需要始终正视目标图像的正视视角时,则需要根据目标用户的主视区切换为对应视角的目标图像,以提高目标用户的体验感。
例如,请参照图5,若当前应用场景为视频通话,为了保证目标用户始终正视通话人物,以在视频通话应用中双方可以进行眼神交流,则需要实时矫正当前显示的目标图像。则获取目标图像的目标视角,根据目标用户变化的主视区,将正视角度的目标图像显示在变化的主视区,则目标用户可与通话人物实时进行眼神交流。参照图5可知,通过将目标用户的主视区显示的目标图像调整为与视角信息对应的目标图像,则目标用户和通话人物的视角正视,除此之外,不管目标用户的视角如何变化,通话人物也时刻正视目标用户。
请参照图6,在本申请的一些实施例中,分光设备上设有分光区域和通孔区域,步骤S500可以包括但不限于步骤S510。
步骤S510:分光设备的分光区域将目标图像集合中的目标图像发射到不同方向,以展示多个不同视角的目标图像。
需要说明的是,由于分光设备呈现3D的目标图像的分辨率较低,且分光设备会将目标图像的分辨率损失掉,使得小文本难以看清楚。因此通过在分光设备上设置分光区域和通孔区域,则分光区域将不同视角的目标图像发射到不同方向实现目标图像的3D显示,对于需要高分辨率查看的图像或者文字则通过通孔区域查看,既能够实现3D图像查看又能够查看高分辨率的图像和文字,提高目标用户的使用体验感。
其中,分光区域为光栅屏幕,且光栅屏幕可以实现多视角显示原理,无需佩戴3D眼镜也可以查看3D的目标图像。
在本申请的一些实施例中,执行步骤S500之后,图像显示方法还包括但不限于步骤:通过分光设备的通孔区域将目标图像中的目标画面显示。
需要说明的是,为了便于目标用户查看高分辨率的图像或文字,则需要在分光设备上设置通孔区域将目标图像中的目标画面显示,以实现3D图像和高分辨率画面的同时查看,以提高目标用户的体验感。
请参照图7,通过分光设备的通孔区域将目标图像中的目标画面显示,可以包括但不限于步骤S710、步骤S720和步骤S730。
步骤S710:获取显示参数,显示参数包括:分辨率和内容类型。
需要说明的是,所获取的显示参数由目标用户自定义,通过目标用户自定义的分辨率和内容类型,即可确定目标用户想要查看符合显示参数的目标画面。
步骤S720:获取目标图像中满足显示参数的图像画面,得到目标画面。
需要说明的是,对目标图像中的图像内容和文字内容进行识别,以获取满足显示参数的图像内容和文字内容以得到目标画面。
例如,若分辨率为1000ppi,内容类型文字,则获取目标图像中分辨率满足1000ppi的文字内容,以得到目标画面。
步骤S730:通过分光设备的通孔区域将目标画面显示。
需要说明的是,其中,步骤S100至步骤S400由图像处理终端执行,且图像处理终端上设有分光设备,分光设备盖设于图像处理终端的显示屏前,由于分光设备的通孔区域没有遮挡图像处理终端的显示屏,且目标画面设置于图像处理终端的显示屏与通孔区域对应的区域,则通过通孔区域可以直接查看显示屏上的目标画面,从而实现高分辨率的文字或者图像查看。
本申请的一些实施例中,图像显示方法还包括但不限于步骤:对神经网络模型进行训练,得到图像分析模型。
需要说明的是,为了保证图像分析模型根据原始图像即可分析出可以构建多个不同视角的目标深度图,以提高目标深度图的准确性,则提前对神经网络模型进行训练以得到图像分析模型。
请参照图8,对神经网络模型进行训练,得到图像分析模型,可以包括但不限于步骤S810和步骤S820。
步骤S810:获取图像训练数据集合和损失函数。
需要说明的是,通过收集图像训练数据集合,其中,图像训练数据集合包括视角方向不同的图像。根据目标用户预先设定好的损失函数,即可根据损失函数确定神经网络模型的训练要求。
步骤S820:根据损失函数和图像训练数据集合对神经网络模型进行训练,得到图像分析模型。
需要说明的是,将图像训练数据集合输入至神经网络模型,且利用梯度下降法不断迭代神经网络模型,以根据损失函数调整神经网络模型的参数,直到神经网络模型收敛,以得到图像分析模型。
另外,请参照图9,本发明实施例还公开了一种图像显示装置,图像显示装置应用于上述的图像显示方法,包括:获取模块110,用于获取原始图像;分析模块120,用于根据预设的图像分析模型对原始图像进行图像分析,得到目标深度图;合成模块130,用于根据预设的虚拟视点合成算法对目标深度图进行图像合成,得到多个不同视角的目标图像;汇集模块140,用于将多个不同视角的目标图像进行汇集,得到目标图像集合;分光设备200,用于将目标图像集合中的目标图像发射到不同方向,以展示多个不同视角的目标图像。
通过预设的图像分析模型将原始图像进行图像分析以得到目标深度图,并根据虚拟视点合成算法对目标深度图进行图像合成,也即根据目标深度图合成三维模型,再将三维模型进行切分以得到多个不同视角的目标图像。通过将多个不同视角的目标图像汇集得到目标图像集合,也即合成3D图像。最后,通过分光设备200将不同视角的目标图像发射到对应的方向,则目标用户可以通过分光设备200查看到不同视角的目标图像。因此,无需佩戴3D眼镜即可实现3D图像查看,既提高目标用户查看的视觉感,又减轻目标用户的不适感。
本公开实施例的图像显示装置用于执行上述实施例中图1至图9的图像显示方法,其具体处理过程与上述实施例中的图像显示方法相同,此处不再一一赘述。
请参照图10,获取模块110、分析模块120、合成模块130、汇集模块140集成于图像处理终端100,分光设备200包括:光栅屏幕210和壳体220,光栅屏幕210承载于壳体220上,壳体220套设于图像处理终端100上,且壳体220和图像处理终端100相适配。
例如,若图像处理终端100为移动终端,则壳体220为移动终端的壳体220,且壳体220与图像处理终端100相适配。当需要查看3D的目标图像,或者进行3D的视频通话时,可以将壳体220的光栅屏幕210位于图像处理终端100的显示屏前,若无需进行3D图像查看,则将壳体220套设于图像处理终端100的背面,既能够保护图像处理终端100,又可以防止壳体220丢失难以寻找。
请参照图11,图像处理终端100上设有第一图像采集器150,壳体220上开设有与第一图像采集器150相对应的开孔221,壳体220上设有通孔区域222,壳体220上设有位于光栅屏幕210两侧的第二图像采集器230。
若当前应用场景为视频通话,则原始图像则需要实时获取目标用户的人物图像,则需要通过第一图像采集器150所采集原始图像,通过在壳体220上开设有开孔221,则第一图像采集器150通过开孔221采集到目标用户的人物图像,以得到原始图像。从而提供第一图像采集器150清晰的视野。由于增加光栅屏幕210会造成图像处理终端100的显示屏的分辨率损失,对于文本来说更加难以阅读,由于图像处理终端100所采集的范围大于人的头部,所以设置通孔区域222直接连通显示屏,则可以通过通孔区域222显示高分辨率的图像或文字,从而提高目标用户的阅读体验感。通过在光栅屏幕210设置第二图像采集器230,可以提高原始图像采集的清晰度,且可以增强3D显示的性能。
请参阅图12,图12示意了另一实施例的电子设备的硬件结构,电子设备包括:
处理器101,可以采用通用的CPU(CentralProcessingUnit,中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本公开实施例所提供的技术方案;
存储器102,可以采用ROM(ReadOnlyMemory,只读存储器)、静态存储设备、动态存储设备或者RAM(RandomAccessMemory,随机存取存储器)等形式实现。存储器102可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器102中,并由处理器101来调用执行本公开实施例的图像显示方法;
输入/输出接口103,用于实现信息输入及输出;
通信接口104,用于实现本设备与其他设备的通信交互,可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信;
总线105,在设备的各个组件(例如处理器101、存储器102、输入/输出接口103和通信接口104)之间传输信息;
其中处理器101、存储器102、输入/输出接口103和通信接口104通过总线105实现彼此之间在设备内部的通信连接。
本公开实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如上述的图像显示方法。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明,但是本发明不限于上述实施例,在所属技术领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。此外,在不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合。

Claims (10)

1.一种图像显示方法,其特征在于,方法包括:
获取原始图像;
根据预设的图像分析模型对所述原始图像进行图像分析,得到目标深度图;
根据预设的虚拟视点合成算法对所述目标深度图进行图像合成,得到多个不同视角的目标图像;
将多个不同视角的所述目标图像进行汇集,得到目标图像集合;
分光设备将所述目标图像集合中的所述目标图像发射到不同方向,以展示多个不同视角的所述目标图像。
2.根据权利要求1所述的图像显示方法,其特征在于,在分光设备将所述目标图像集合中的所述目标图像发射到不同方向,以展示多个不同视角的所述目标图像之后,所述方法还包括:
调整目标用户的主视区的目标图像,具体包括:
获取目标用户的视角信息;
根据所述视角信息确定所述目标用户的主视区;
将所述主视区的所述目标图像切换为与所述视角信息对应的所述目标图像。
3.根据权利要求1所述的图像显示方法,其特征在于,所述分光设备上设有分光区域和通孔区域;所述分光设备将所述目标图像集合中的所述目标图像发射到不同方向,以展示多个不同视角的所述目标图像,包括:
所述分光设备的所述分光区域将所述目标图像集合中的所述目标图像发射到不同方向,以展示多个不同视角的所述目标图像。
4.根据权利要求3所述的图像显示方法,其特征在于,在分光设备将所述目标图像集合中的所述目标图像发射到不同方向,以展示多个不同视角的所述目标图像之后,所述方法还包括:
通过所述分光设备的所述通孔区域将所述目标图像中的目标画面显示,具体包括:
获取显示参数,所述显示参数包括:分辨率和内容类型;
获取所述目标图像中满足所述显示参数的图像画面,得到所述目标画面;
通过所述分光设备的所述通孔区域将所述目标画面显示。
5.根据权利要求1至4任一项所述的图像显示方法,其特征在于,在根据预设的图像分析模型对所述原始图像进行图像分析,得到目标深度图之前,所述方法还包括:
对神经网络模型进行训练,得到所述图像分析模型,具体包括:
获取图像训练数据集合和损失函数;
根据所述损失函数和所述图像训练数据集合对所述神经网络模型进行训练,得到所述图像分析模型。
6.一种图像显示装置,其特征在于,装置包括:
获取模块,用于获取原始图像;
分析模块,用于根据预设的图像分析模型对所述原始图像进行图像分析,得到目标深度图;
合成模块,用于根据预设的虚拟视点合成算法对所述目标深度图进行图像合成,得到多个不同视角的目标图像;
汇集模块,用于将多个不同视角的所述目标图像进行汇集,得到目标图像集合;
分光设备,用于将所述目标图像集合中的所述目标图像发射到不同方向,以展示多个不同视角的所述目标图像。
7.根据权利要求6所述的图像显示装置,其特征在于,所述获取模块、所述分析模块、所述合成模块、所述汇集模块集成于图像处理终端,所述分光设备包括:光栅屏幕和壳体,所述光栅屏幕承载于所述壳体上,所述壳体套设于所述图像处理终端上,且所述壳体和所述图像处理终端相适配。
8.根据权利要求7所述的图像显示装置,其特征在于,所述图像处理终端上设有第一图像采集器,所述壳体上开设有与所述第一图像采集器相对应的开孔,所述壳体上设有通孔区域,所述壳体上设有位于所述光栅屏幕两侧的第二图像采集器。
9.一种电子设备,其特征在于,包括:
至少一个处理器,以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的方法。
CN202210426720.9A 2022-04-22 2022-04-22 图像显示方法、图像显示装置、设备及存储介质 Pending CN114840165A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210426720.9A CN114840165A (zh) 2022-04-22 2022-04-22 图像显示方法、图像显示装置、设备及存储介质
PCT/CN2022/098766 WO2023201864A1 (zh) 2022-04-22 2022-06-14 图像显示方法、图像显示装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210426720.9A CN114840165A (zh) 2022-04-22 2022-04-22 图像显示方法、图像显示装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114840165A true CN114840165A (zh) 2022-08-02

Family

ID=82566000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210426720.9A Pending CN114840165A (zh) 2022-04-22 2022-04-22 图像显示方法、图像显示装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN114840165A (zh)
WO (1) WO2023201864A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014135006A (ja) * 2013-01-11 2014-07-24 Canon Inc 画像処理装置、画像処理方法、およびプログラム
CN108495117B (zh) * 2018-03-29 2020-09-01 香港光云科技有限公司 全息图像多视角处理转换、显示方法及设备
CN111667438B (zh) * 2019-03-07 2023-05-26 阿里巴巴集团控股有限公司 视频重建方法、系统、设备及计算机可读存储介质
CN111669570B (zh) * 2019-03-07 2023-12-19 阿里巴巴集团控股有限公司 多角度自由视角视频数据处理方法及装置、介质、设备
CN112255820A (zh) * 2020-12-21 2021-01-22 苏州苏大维格科技集团股份有限公司 裸眼三维显示装置
CN112799237A (zh) * 2021-01-11 2021-05-14 苏州苏大维格科技集团股份有限公司 裸眼三维显示装置

Also Published As

Publication number Publication date
WO2023201864A1 (zh) 2023-10-26

Similar Documents

Publication Publication Date Title
US11024092B2 (en) System and method for augmented reality content delivery in pre-captured environments
US10560687B2 (en) LED-based integral imaging display system as well as its control method and device
US10410562B2 (en) Image generating device and image generating method
JP5969537B2 (ja) 視覚的関心に基づいた2次元映像の3次元映像変換器および変換方法
CN103202026B (zh) 图像转换设备及使用其的显示设备和方法
US8488869B2 (en) Image processing method and apparatus
KR100770019B1 (ko) 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
CN106060523B (zh) 全景立体图像采集、显示方法及相应的装置
CN112352264A (zh) 图像处理装置和图像处理方法
CN106228530A (zh) 一种立体摄影方法、装置及立体摄影设备
CN108363486A (zh) 图像显示装置及方法、图像处理装置及方法和存储介质
CN113253845A (zh) 一种基于人眼追踪视图显示方法、装置、介质及电子设备
JP2849313B2 (ja) 画像記録再生装置
KR101960577B1 (ko) 뷰 공간에 관한 스테레오 정보를 송수신하는 방법
KR20170073937A (ko) 영상 데이터 전송 방법 및 장치, 및 3차원 영상 생성 방법 및 장치
KR20110060180A (ko) 관심 객체 선택을 통한 3차원 모델 생성 방법 및 장치
KR20070010306A (ko) 촬영장치 및 깊이정보를 포함하는 영상의 생성방법
CN114840165A (zh) 图像显示方法、图像显示装置、设备及存储介质
US10277881B2 (en) Methods and devices for determining visual fatigue of three-dimensional image or video and computer readable storage medium
JP6868167B1 (ja) 撮像装置および撮像処理方法
CN114020150A (zh) 图像显示方法、装置、电子设备及介质
JP2011205385A (ja) 立体映像制御装置および立体映像制御方法
KR20210055381A (ko) 스마트 디스플레이를 통해 증강 현실 컨텐츠를 제공하는 장치, 방법 및 컴퓨터 프로그램
KR101632069B1 (ko) 양안 기반에서 굴절 매질을 이용한 깊이 지도 생성 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination