CN113068003A - 数据显示方法、装置、智能眼镜、电子设备和存储介质 - Google Patents
数据显示方法、装置、智能眼镜、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113068003A CN113068003A CN202110135162.6A CN202110135162A CN113068003A CN 113068003 A CN113068003 A CN 113068003A CN 202110135162 A CN202110135162 A CN 202110135162A CN 113068003 A CN113068003 A CN 113068003A
- Authority
- CN
- China
- Prior art keywords
- image
- shared
- real scene
- fused
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 239000011521 glass Substances 0.000 title claims abstract description 18
- 230000004927 fusion Effects 0.000 claims description 35
- 230000011218 segmentation Effects 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 18
- 238000003709 image segmentation Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000003993 interaction Effects 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 13
- 239000004984 smart glass Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000007500 overflow downdraw method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Abstract
本申请实施例涉及图像处理技术领域，提供了一种数据显示方法、装置、智能眼镜、电子设备和存储介质，所述数据显示方法包括：获取现实场景图像；确定待分享文件对应的待分享图像，并将所述现实场景图像和所述待分享图像融合，得到融合图像；将所述融合图像发送至个人显示设备，以供所述个人显示设备显示所述融合图像。本申请实施例提供的数据显示方法、装置、智能眼镜、电子设备和存储介质，通过获取现实场景图像和待分享文件对应的待分享图像，并将现实场景图像和待分享图像融合，得到融合图像，再将融合图像发送至个人显示设备以进行数据显示，提高了数据显示的多样性和清晰度，实现了显示内容阅读和现场人员间互动的兼容。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种数据显示方法、装置、智能眼镜、电子设备和存储介质。
背景技术
目前在多人场景下的数据显示设备包括智能眼镜，例如VR眼镜，以及投影仪、大型显示屏等。其中，智能眼镜可以在镜片上显示影像，引导用户产生一种身临其境的感觉；而投影仪和大型显示屏等设备可以将影像呈现给各个观众，各个观众可以在限定的距离范围内进行观看、共享信息。
然而，利用投影仪进行数据显示时，位置较偏的现场人员难以看清屏幕，并且无论是使用智能眼镜还是使用投影仪等设备进行数据显示，观看者难以做到既观看显示数据，又能同时注意在场其他人员的举动以随时进行交互，使得现场人员之间的互动交流效果欠佳。
发明内容
本申请提供一种数据显示方法、装置、智能眼镜、电子设备和存储介质，以提高数据显示的多样性和清晰度，实现显示内容的阅读和现场人员间的互动的兼容。
本申请提供一种数据显示方法，包括：
获取现实场景图像；
确定待分享文件对应的待分享图像，并将所述现实场景图像和所述待分享图像融合，得到融合图像；
将所述融合图像发送至个人显示设备，以供所述个人显示设备显示所述融合图像。
根据本申请提供的一种数据显示方法，所述将所述现实场景图像和所述待分享图像融合，得到融合图像，具体包括：
对所述现实场景图像进行图像分割，得到所述现实场景图像中的人物前景区域；
将所述人物前景区域对应的前景图像和所述待分享图像融合，得到所述融合图像。
根据本申请提供的一种数据显示方法，所述将所述人物前景区域对应的前景图像和所述待分享图像融合，得到所述融合图像，具体包括：
基于所述待分享图像中最大空白区域的尺寸，对所述前景图像进行缩放；
将缩放后的前景图像置于所述最大空白区域内，得到所述融合图像。
根据本申请提供的一种数据显示方法，所述将所述人物前景区域对应的前景图像和所述待分享图像融合，得到所述融合图像，具体包括：
裁切所述待分享图像中的空白区域，得到所述待分享图像的有效区域图像；
将所述前景图像和所述有效区域图像进行拼接，得到所述融合图像。
根据本申请提供的一种数据显示方法，所述对所述现实场景图像进行图像分割，得到所述现实场景图像中的人物前景区域，具体包括：
将所述现实场景图像输入至目标分割模型，得到所述目标分割模型输出的所述现实场景图像中的人物前景区域；
其中，所述目标分割模型是基于样本场景图像以及所述样本场景图像中的样本人物区域训练得到的。
本申请还提供一种数据显示方法，包括：
采集现实场景图像；
将所述现实场景图像发送至服务器，以供所述服务器将所述现实场景图像和待分享文件对应的待分享图像融合，得到融合图像；
接收并显示所述服务器返回的所述融合图像。
本申请还提供一种数据显示装置，包括：
现实场景图像获取单元，用于获取现实场景图像；
图像融合单元，用于确定待分享文件对应的待分享图像，并将所述现实场景图像和所述待分享图像融合，得到融合图像；
图像发送单元，用于将所述融合图像发送至个人显示设备，以供所述个人显示设备显示所述融合图像。
根据本申请提供的一种数据显示装置，所述图像融合单元，具体包括：
图像分割单元，用于对所述现实场景图像进行图像分割，得到所述现实场景图像中的人物前景区域；
融合子单元，用于将所述人物前景区域对应的前景图像和所述待分享图像融合，得到所述融合图像。
根据本申请提供的一种数据显示装置，所述融合子单元，具体包括：
图像缩放模块，用于基于所述待分享图像中最大空白区域的尺寸，对所述前景图像进行缩放；
图像叠加模块，用于将缩放后的前景图像置于所述待分享图像的空白区域内，得到所述融合图像。
根据本申请提供的一种数据显示装置，所述融合子单元，具体包括：
图像裁切模块，用于裁切所述待分享图像中的空白区域，得到所述待分享图像的有效区域图像；
图像拼接模块，用于将所述前景图像和所述有效区域图像进行拼接，得到所述融合图像。
本申请还提供一种数据显示装置，包括：
图像采集单元，用于采集现实场景图像；
图像传递单元，用于将所述现实场景图像发送至服务器，以供所述服务器将所述现实场景图像和待分享文件对应的待分享图像融合，得到融合图像；
图像显示单元，用于接收并显示所述服务器返回的所述融合图像。
本申请还提供一种智能眼镜，所述智能眼镜包括镜框和镜架，还包括：
摄像头，内嵌于所述镜框的鼻梁架，用于采集现实场景图像；
通信模块，设于所述镜架，用于将所述现实场景图像发送至服务器，以供所述服务器将所述现实场景图像和待分享文件对应的待分享图像融合，得到融合图像，并接收所述服务器返回的所述融合图像；
显示镜片，设于所述镜框内，用于显示所述融合图像；
控制器，所述摄像头、所述通信模块和所述显示镜片均与所述控制器通信连接。
本申请还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述数据显示方法的步骤。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述数据显示方法的步骤。
本申请提供的数据显示方法、装置、智能眼镜、电子设备和存储介质，通过获取现实场景图像和待分享文件对应的待分享图像，并将现实场景图像和待分享图像融合，得到融合图像，再将融合图像发送至个人显示设备以进行数据显示，提高了数据显示的多样性和清晰度，实现了显示内容阅读和现场人员间互动的兼容。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的数据显示方法的流程示意图之一；
图2为本申请实施例提供的图像融合方法的流程示意图；
图3为本申请实施例提供的图像叠加方法的流程示意图；
图4为本申请实施例提供的图像拼接方法的流程示意图；
图5为本申请实施例提供的数据显示方法的流程示意图之二；
图6为本申请实施例提供的数据显示方法的流程示意图之三；
图7为本申请实施例提供的数据显示装置的结构示意图之一；
图8为本申请实施例提供的图像融合单元的结构示意图；
图9为本申请实施例提供的融合子单元的结构示意图之一；
图10为本申请实施例提供的融合子单元的结构示意图之二；
图11为本申请实施例提供的数据显示装置的结构示意图之二；
图12为本申请实施例提供的智能眼镜的结构示意图；
图13是本申请提供的电子设备的结构示意图；
附图标记：
1210：摄像头； 1220：通信模块；
1230：显示镜片； 1240：供电模块。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的数据显示方法的流程示意图之一，如图1所示，该方法可以应用于服务器中，该方法包括：
步骤110，获取现实场景图像。
具体地，现实场景图像为现实场景中摄像头拍摄的包含一个或多个在场人员的图像，例如会议现场中包含一个或多个与会人员的图像。其中，显示场景图像可以为现实场景中固定放置的摄像头拍摄的图像，例如在会议现场的某个角落上方设置摄像头拍摄当前与会人员的图像；也可以由在场人员佩戴的可穿戴设备上设置的摄像头拍摄得到，例如参会人员可以佩戴智能眼镜拍摄前方视角的图像，作为现实场景图像，本申请实施例对此不作具体限定。
步骤120，确定待分享文件对应的待分享图像，并将现实场景图像和待分享图像融合，得到融合图像。
具体地，待分享文件为在场人员需要阅读或观看的文件，例如会议场景中的会议文件，还可以为给在场人员提供的虚拟环境影像，本申请实施例对此不作具体限定。获取待分享文件对应的待分享图像。此处，可以利用图片转换工具或格式转换工具将待分享文件转换为对应的待分享图像，例如可以利用格式转换工具将.ppt或.doc格式的文件转换为图像格式。
为了使在场人员可以在阅读或观看待分享文件的内容时可以兼顾注意其他在场人员的一举一动或神态表情，以方便随时进行互动，本申请实施例将现实场景图像和待分享图像进行了融合，得到融合图像。其中，由于现实场景图像中包含在场人员的影像，而待分享图像中包含在场人员需要阅读或观看的内容，因此将二者进行图像融合后得到的融合图像中，既包括在场人员的面部表情和姿态等信息，还包括待分享文件中需要在场人员阅读或观看的内容，提高了数据显示的多样性，且为在场人员提供了同时阅读待分享文件和与在场其他人员互动的途径。
步骤130，将融合图像发送至个人显示设备，以供个人显示设备显示融合图像。
具体地，个人显示设备可以为现实场景中在场人员的显示设备。将融合图像发送至个人显示设备后，个人显示设备可以显示该融合图像。一方面，在场人员通过自己的个人显示设备查看显示图像，数据显示的清晰度可以不受座位的影响，提高了数据显示的清晰度；另一方面，在场人员通过查看该融合图像，可以同时清楚地阅读或观看待分享文件的内容，以及关注在场其他人员的举动或神态表情，使得其可以随时根据待分享文件的内容以及其他人员的当前状态，与其他人员进行高效率的互动交流。此处，若现实场景图像由现实场景中固定放置的摄像头拍摄得到，则可以将融合图像发送至在场人员的移动设备，例如个人电脑、平板电脑和智能手机等；若现实场景图像由在场人员佩戴的可穿戴设备上设置的摄像头拍摄得到，则可以将融合图像发送至在场人员佩戴的可穿戴设备上设置的显示屏。
本申请实施例提供的方法，通过获取现实场景图像和待分享文件对应的待分享图像，并将现实场景图像和待分享图像融合，得到融合图像，再将融合图像发送至个人显示设备以进行数据显示，提高了数据显示的多样性和清晰度，实现了显示内容阅读和现场人员间互动的兼容。
基于上述实施例，图2为本申请实施例提供的图像融合方法的流程示意图，如图2所示，步骤120具体包括：
步骤121，对现实场景图像进行图像分割，得到现实场景图像中的人物前景区域；
步骤122，将人物前景区域对应的前景图像和待分享图像融合，得到融合图像。
具体地，现实场景图像中既包含在场人员的影像，还包括诸如墙壁、桌椅、桌面物品等背景噪声。当现实场景图像中的背景过于混杂时，会对观看者产生较大干扰，使其无法快速准确地查看现实场景图像中在场人员的面部表情或姿态等。此外，将现实场景图像和待分享图像进行融合时，现实场景图像中过多的背景噪声会影响融合效果，且可能会对待分享图像中的关键内容产生遮挡。因此，为了减轻现实场景图像中背景噪声的干扰以及对待分享图像的遮挡，可以对现实场景图像进行图像分割，确定现实场景图像中的背景区域以及人物前景区域。然后，根据人物前景区域在现实场景图像中的位置，从现实场景图像中裁剪出人物前景区域的部分，得到人物前景区域对应的前景图像。此处，可以直接将现实场景图像中的背景区域去除，得到前景图像，此时前景图像的大小与现实场景图像中的大小相同；也可以在将现实场景图像中的背景去除后，裁切掉其中大面积的空白区域，得到前景图像，此时前景图像的尺寸小于现实场景图像。
然后，将人物前景区域对应的前景图像和待分享图像融合，得到融合图像。其中，由于前景图像中仅包括现实场景图像中在场人员的影像，因此可以直接将前景图像和待分享图像进行叠加，将前景图像的背景替换为待分享图像，得到融合图像。此外，还可以对前景图像或待分享图像进行图像处理后再融合，例如调整图像尺寸、消除图像噪声以及进行图像增强等，以使得融合后的图像中无论是在场人员的影像还是待分享文件的内容都足够清晰和完整，从而提升数据显示的效果。
本申请实施例提供的方法，通过对现实场景图像进行图像分割，得到现实场景图像中的人物前景区域，再将人物前景区域对应的前景图像和待分享图像融合，得到融合图像，减轻了现实场景图像中背景噪声的干扰以及对待分享图像的遮挡，提升了数据显示的效果。
基于上述任一实施例，图3为本申请实施例提供的图像叠加方法的流程示意图，如图3所示，步骤122具体包括：
步骤1221-1，基于待分享图像中最大空白区域的尺寸，对前景图像进行缩放；
步骤1221-2，将缩放后的前景图像置于最大空白区域内，得到融合图像。
具体地，在待分享图像中可能会存在空白区域，例如PowerPoint演示文档中，除中心位置外，四周可能存在大量的空白区域。为了在融合待分享图像和前景图像时，尽可能地减少两个图像间的相互遮挡，以保证融合后的图像中无论是在场人员的影像还是待分享文件的内容都足够完整，可以将前景图像置于待分享图像的空白区域内。
具体而言，可以首先识别待分享图像中的各个空白区域，并挑选出其中的最大空白区域，该最大空白区域用于放置前景图像，以尽量避免将前景图像缩得过小导致图像清晰度下降。其中，空白区域是指不包括待分享文件的有效内容的区域，例如PowerPoint文档中没有图表和文字的区域。然后，根据最大空白区域的尺寸，对前景图像进行缩放。此处，若最大空白区域的尺寸小于前景图像，则可以对前景图像进行尺寸缩小操作，以将前景图像完整置于该最大空白区域内；若最大空白区域的尺寸大于前景图像，则可以对前景图像进行尺寸放大操作，使得前景图像可以填充该最大空白区域，且放大后的前景图像更清晰，有助于提高数据显示的清晰程度。
本申请实施例提供的方法，基于待分享图像中最大空白区域的尺寸，对前景图像进行缩放，并将缩放后的前景图像置于最大空白区域内，得到融合图像，减少了两个图像间的相互遮挡，从而保证了融合后的图像中无论是在场人员的影像还是待分享文件的内容都足够完整。
基于上述任一实施例，图4为本申请实施例提供的图像拼接方法的流程示意图，如图4所示，步骤122具体包括：
步骤1222-1，裁切待分享图像中的空白区域，得到待分享图像的有效区域图像；
步骤1222-2，将前景图像和有效区域图像进行拼接，得到融合图像。
具体地，当待分享图像中的空白区域过小，不足以放置前景图像且保证前景图像足够清晰时，可以将待分享图像和前景图像进行图像拼接操作。其中，可以首先裁切掉待分享图像中的空白区域，得到待分享图像的有效区域图像，以避免空白区域在图像拼接时浪费空间。随后，可以将前景图像和有效区域图像进行拼接，得到融合图像。此处，在进行图像拼接时，可以根据前景图像和有效区域图像的尺寸选择具体的拼接方式。例如，若前景图像和有效区域图像均为横屏图像，即横向尺寸大于纵向尺寸，则可以选择纵向拼接的方式对二者进行拼接，如可以将前景图像拼接至有效区域图像的下方；若前景图像和有效区域图像均为竖屏图像，即纵向尺寸大于横向尺寸，则可以选择横向拼接的方式对二者进行拼接，如可以将前景图像拼接至有效区域图像的右侧。
此外，还可以对前景图像或待分享图像进行尺寸调整后，再进行图像拼接，以使得融合后的图像中无论是在场人员的影像还是待分享文件的内容都足够清晰，从而提升数据显示的效果。例如，当前景图像的尺寸与有效区域图像的尺寸相差过大时，可以按照一定比例将较大尺寸的图像缩小，并将较小尺寸的图像放大，以均衡待拼接图像的尺寸，提升图像拼接的效果。
基于上述任一实施例，步骤121具体包括：
将现实场景图像输入至目标分割模型，得到目标分割模型输出的现实场景图像中的人物前景区域；
其中，目标分割模型是基于样本场景图像以及样本场景图像中的样本人物区域训练得到的。
具体地，为了提高图像分割的准确性，可以利用机器学习方法构建一个目标分割模型，从而准确辨别现实场景图像中为人物前景的像素和背景像素。其中，在使用目标分割模型之前，需要对其进行训练，具体可以通过如下方式训练得到目标分割模型：首先，收集大量样本场景图像，并标注样本场景图像中的样本人物区域。随即，基于样本场景图像以及样本场景图像中的样本人物区域训练初始模型，从而得到目标分割模型。随后，将现实场景图像输入至训练好的目标分割模型中，即可得到目标分割模块输出的现实场景图像中的人物前景区域。
基于上述任一实施例，图5为本申请实施例提供的数据显示方法的流程示意图之二，如图5所示，该方法包括：
步骤510，采集现实场景图像；
步骤520，将现实场景图像发送至服务器，以供服务器将现实场景图像和待分享文件对应的待分享图像融合，得到融合图像；
步骤530，接收并显示服务器返回的融合图像。
具体地，首先采集现实场景图像。此处，可以利用现实场景中固定放置的摄像头拍摄现实场景图像，也可以利用在场人员佩戴的可穿戴设备，例如智能眼镜上设置的摄像头拍摄现实场景图像，本申请实施例对此不作具体限定。随后，将采集到的现实场景图像发送至服务器，以供服务器将显示场景图像和待分享文件对应的待分享图像融合，得到融合图像。其中，图像融合方式可以采用如上述任一实施例提供的图像融合方法，在此不再赘述。最后，接收服务器返回的融合图像，并进行显示。在场人员通过查看该融合图像，可以同时清楚地阅读或观看待分享文件的内容，以及关注在场其他人员的举动或神态表情，使得其可以随时根据待分享文件的内容以及其他人员的当前状态，与其他人员进行高效率的互动交流。
本申请实施例提供的方法，通过采集现实场景图像，并将现实场景图像发送至服务器，以供服务器将现实场景图像和待分享文件对应的待分享图像融合，得到融合图像，再接收和显示融合图像，提高了数据显示的多样性，实现了显示内容阅读和现场人员间互动的兼容。
基于上述任一实施例，图6为本申请实施例提供的数据显示方法的流程示意图之三，如图6所示，该方法包括：
在场人员佩戴智能眼镜，利用智能眼镜上的摄像头采集前方视频图像，作为现实场景图像，并将现实场景图像通过内置的Wi-Fi模块发送至服务器。服务器利用目标分割模型对现实场景图像进行图像分割，去除图像背景且只保留图像内的人物特征，得到前景图像。随后，服务器获取待分享文件(例如PPT、word文档、虚拟环境等)对应的待分享图像，缩小前景图像中人物图像显示比例，并将待分享图像作为背景素材融合到上述前景图像中。将融合得到的融合图像发送至智能眼镜的Wi-Fi模块，智能眼镜将接收到的融合图像显示在左右LED显示镜片上。
下面对本申请提供的数据显示装置进行描述，下文描述的数据显示装置与上文描述的数据显示方法可相互对应参照。
基于上述任一实施例，图7为本申请实施例提供的数据显示装置的结构示意图之一，如图7所示，该装置包括：现实场景图像获取单元710、图像融合单元720和图像发送单元730。
其中，现实场景图像获取单元710用于获取现实场景图像；
图像融合单元720用于确定待分享文件对应的待分享图像，并将现实场景图像和待分享图像融合，得到融合图像；
图像发送单元730用于将融合图像发送至个人显示设备，以供个人显示设备显示融合图像。
本申请实施例提供的装置，通过获取现实场景图像和待分享文件对应的待分享图像，并将现实场景图像和待分享图像融合，得到融合图像，再将融合图像发送至个人显示设备以进行数据显示，提高了数据显示的多样性和清晰度，实现了显示内容阅读和现场人员间互动的兼容。
基于上述任一实施例，图8为本申请实施例提供的图像融合单元的结构示意图，如图8所示，图像融合单元720具体包括：
图像分割单元721，用于对现实场景图像进行图像分割，得到现实场景图像中的人物前景区域；
融合子单元722，用于将人物前景区域对应的前景图像和待分享图像融合，得到融合图像。
本申请实施例提供的装置，通过对现实场景图像进行图像分割，得到现实场景图像中的人物前景区域，再将人物前景区域对应的前景图像和待分享图像融合，得到融合图像，减轻了现实场景图像中背景噪声的干扰以及对待分享图像的遮挡，提升了数据显示的效果。
基于上述任一实施例，图9为本申请实施例提供的融合子单元的结构示意图之一，如图9所示，融合子单元722具体包括：
图像缩放模块7221-1，用于基于待分享图像中最大空白区域的尺寸，对前景图像进行缩放；
图像叠加模块7221-2，用于将缩放后的前景图像置于待分享图像的空白区域内，得到融合图像。
本申请实施例提供的装置，基于待分享图像中最大空白区域的尺寸，对前景图像进行缩放，并将缩放后的前景图像置于最大空白区域内，得到融合图像，减少了两个图像间的相互遮挡，从而保证了融合后的图像中无论是在场人员的影像还是待分享文件的内容都足够完整。
基于上述任一实施例，图10为本申请实施例提供的融合子单元的结构示意图之二，如图10所示，融合子单元722具体包括：
图像裁切模块7222-1，用于裁切待分享图像中的空白区域，得到待分享图像的有效区域图像；
图像拼接模块7222-2，用于将前景图像和有效区域图像进行拼接，得到融合图像。
基于上述任一实施例，图像分割单元721具体用于：
将现实场景图像输入至目标分割模型，得到目标分割模型输出的现实场景图像中的人物前景区域；
其中，目标分割模型是基于样本场景图像以及样本场景图像中的样本人物区域训练得到的。
基于上述任一实施例，图11为本申请实施例提供的数据显示装置的结构示意图之二，如图11所示，该装置包括图像采集单元1110、图像传递单元1120和图像显示单元1130。
其中，图像采集单元1110用于采集现实场景图像；
图像传递单元1120用于将现实场景图像发送至服务器，以供服务器将现实场景图像和待分享文件对应的待分享图像融合，得到融合图像；
图像显示单元1130用于接收并显示服务器返回的融合图像。
本申请实施例提供的装置，通过采集现实场景图像，并将现实场景图像发送至服务器，以供服务器将现实场景图像和待分享文件对应的待分享图像融合，得到融合图像，再接收和显示融合图像，提高了数据显示的多样性，实现了显示内容阅读和现场人员间互动的兼容。
基于上述任一实施例，图12为本申请实施例提供的智能眼镜的结构示意图，如图12所示，该智能眼镜包括镜框和镜架，还包括摄像头1210、通信模块1220、显示镜片1230以及供电模块1240。
其中，摄像头1210内嵌于镜框的鼻梁架，用于采集现实场景图像；
通信模块1220设于镜架，用于将现实场景图像发送至服务器，以供服务器将现实场景图像和待分享文件对应的待分享图像融合，得到融合图像，并接收服务器返回的融合图像；通信模块可以为Wi-Fi设备；
显示镜片1230设于镜框内，用于显示融合图像，其可以为LED显示屏；
供电模块1240设于镜架，用于为各模块供电，其可以为锂电池。
另外，该智能眼镜还包括内置的控制器(图12中未示出)，摄像头1210、通信模块1220和显示镜片1230均与该控制器通信连接。其中，通信连接可以为通过线缆的有线电连接，也可以为通过无线收发器的无线电连接，本申请实施例对此不作具体限定。
本申请实施例提供的智能眼镜，通过采集现实场景图像，并将现实场景图像发送至服务器，以供服务器将现实场景图像和待分享文件对应的待分享图像融合，得到融合图像，再接收和显示融合图像，提高了数据显示的多样性，实现了显示内容阅读和现场人员间互动的兼容。
本申请实施例提供的数据显示装置用于执行上述数据显示方法，其实施方式与本申请提供的数据显示方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
图13示例了一种电子设备的实体结构示意图，如图13所示，该电子设备可以包括：处理器(processor)1310、通信接口(Communications Interface)1320、存储器(memory)1330和通信总线1340，其中，处理器1310，通信接口1320，存储器1330通过通信总线1340完成相互间的通信。处理器1310可以调用存储器1330中的逻辑指令，以执行数据显示方法，该方法包括：获取现实场景图像；确定待分享文件对应的待分享图像，并将所述现实场景图像和所述待分享图像融合，得到融合图像；将所述融合图像发送至个人显示设备，以供所述个人显示设备显示所述融合图像。
处理器1310还可以调用存储器1330中的逻辑指令，以执行数据显示方法，该方法包括：采集现实场景图像；将所述现实场景图像发送至服务器，以供所述服务器将所述现实场景图像和待分享文件对应的待分享图像融合，得到融合图像；接收并显示所述服务器返回的所述融合图像。
此外，上述的存储器1330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器1310可以调用存储器1330中的逻辑指令，实现上述数据显示方法，其实施方式与本申请提供的数据显示方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
另一方面，本申请还提供一种计算机程序产品，下面对本申请提供的计算机程序产品进行描述，下文描述的计算机程序产品与上文描述的数据显示方法可相互对应参照。
所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的数据显示方法，该方法包括：获取现实场景图像；确定待分享文件对应的待分享图像，并将所述现实场景图像和所述待分享图像融合，得到融合图像；将所述融合图像发送至个人显示设备，以供所述个人显示设备显示所述融合图像。
计算机还能够执行上述各方法所提供的数据显示方法，该方法包括：采集现实场景图像；将所述现实场景图像发送至服务器，以供所述服务器将所述现实场景图像和待分享文件对应的待分享图像融合，得到融合图像；接收并显示所述服务器返回的所述融合图像。
本申请实施例提供的计算机程序产品被执行时，实现上述数据显示方法，其实施方式与本申请提供的数据显示方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
又一方面，本申请还提供一种非暂态计算机可读存储介质，下面对本申请提供的非暂态计算机可读存储介质进行描述，下文描述的非暂态计算机可读存储介质与上文描述的数据显示方法可相互对应参照。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的数据显示方法，该方法包括：获取现实场景图像；确定待分享文件对应的待分享图像，并将所述现实场景图像和所述待分享图像融合，得到融合图像；将所述融合图像发送至个人显示设备，以供所述个人显示设备显示所述融合图像。
该计算机程序被处理器执行时还实现以执行上述各方法所提供的数据显示方法，该方法包括：采集现实场景图像；将所述现实场景图像发送至服务器，以供所述服务器将所述现实场景图像和待分享文件对应的待分享图像融合，得到融合图像；接收并显示所述服务器返回的所述融合图像。
本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述数据显示方法，其实施方式与本申请提供的数据显示方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (14)
1.一种数据显示方法，其特征在于，包括：
获取现实场景图像；
确定待分享文件对应的待分享图像，并将所述现实场景图像和所述待分享图像融合，得到融合图像；
将所述融合图像发送至个人显示设备，以供所述个人显示设备显示所述融合图像。
2.根据权利要求1所述的数据显示方法，其特征在于，所述将所述现实场景图像和所述待分享图像融合，得到融合图像，具体包括：
对所述现实场景图像进行图像分割，得到所述现实场景图像中的人物前景区域；
将所述人物前景区域对应的前景图像和所述待分享图像融合，得到所述融合图像。
3.根据权利要求2所述的数据显示方法，其特征在于，所述将所述人物前景区域对应的前景图像和所述待分享图像融合，得到所述融合图像，具体包括：
基于所述待分享图像中最大空白区域的尺寸，对所述前景图像进行缩放；
将缩放后的前景图像置于所述最大空白区域内，得到所述融合图像。
4.根据权利要求2所述的数据显示方法，其特征在于，所述将所述人物前景区域对应的前景图像和所述待分享图像融合，得到所述融合图像，具体包括：
裁切所述待分享图像中的空白区域，得到所述待分享图像的有效区域图像；
将所述前景图像和所述有效区域图像进行拼接，得到所述融合图像。
5.根据权利要求2至4任一项所述的数据显示方法，其特征在于，所述对所述现实场景图像进行图像分割，得到所述现实场景图像中的人物前景区域，具体包括：
将所述现实场景图像输入至目标分割模型，得到所述目标分割模型输出的所述现实场景图像中的人物前景区域；
其中，所述目标分割模型是基于样本场景图像以及所述样本场景图像中的样本人物区域训练得到的。
6.一种数据显示方法，其特征在于，包括：
采集现实场景图像；
将所述现实场景图像发送至服务器，以供所述服务器将所述现实场景图像和待分享文件对应的待分享图像融合，得到融合图像；
接收并显示所述服务器返回的所述融合图像。
7.一种数据显示装置，其特征在于，包括：
现实场景图像获取单元，用于获取现实场景图像；
图像融合单元，用于确定待分享文件对应的待分享图像，并将所述现实场景图像和所述待分享图像融合，得到融合图像；
图像发送单元，用于将所述融合图像发送至个人显示设备，以供所述个人显示设备显示所述融合图像。
8.根据权利要求7所述的数据显示装置，其特征在于，所述图像融合单元，具体包括：
图像分割单元，用于对所述现实场景图像进行图像分割，得到所述现实场景图像中的人物前景区域；
融合子单元，用于将所述人物前景区域对应的前景图像和所述待分享图像融合，得到所述融合图像。
9.根据权利要求8所述的数据显示装置，其特征在于，所述融合子单元，具体包括：
图像缩放模块，用于基于所述待分享图像中最大空白区域的尺寸，对所述前景图像进行缩放；
图像叠加模块，用于将缩放后的前景图像置于所述待分享图像的空白区域内，得到所述融合图像。
10.根据权利要求8所述的数据显示装置，其特征在于，所述融合子单元，具体包括：
图像裁切模块，用于裁切所述待分享图像中的空白区域，得到所述待分享图像的有效区域图像；
图像拼接模块，用于将所述前景图像和所述有效区域图像进行拼接，得到所述融合图像。
11.一种数据显示装置，其特征在于，包括：
图像采集单元，用于采集现实场景图像；
图像传递单元，用于将所述现实场景图像发送至服务器，以供所述服务器将所述现实场景图像和待分享文件对应的待分享图像融合，得到融合图像；
图像显示单元，用于接收并显示所述服务器返回的所述融合图像。
12.一种智能眼镜，所述智能眼镜包括镜框和镜架，其特征在于，还包括：
摄像头，内嵌于所述镜框的鼻梁架，用于采集现实场景图像；
通信模块，设于所述镜架，用于将所述现实场景图像发送至服务器，以供所述服务器将所述现实场景图像和待分享文件对应的待分享图像融合，得到融合图像，并接收所述服务器返回的所述融合图像；
显示镜片，设于所述镜框内，用于显示所述融合图像；
控制器，所述摄像头、所述通信模块和所述显示镜片均与所述控制器通信连接。
13.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述数据显示方法的步骤。
14.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述数据显示方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110135162.6A CN113068003A (zh) | 2021-01-29 | 2021-01-29 | 数据显示方法、装置、智能眼镜、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110135162.6A CN113068003A (zh) | 2021-01-29 | 2021-01-29 | 数据显示方法、装置、智能眼镜、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113068003A true CN113068003A (zh) | 2021-07-02 |
Family
ID=76558720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110135162.6A Pending CN113068003A (zh) | 2021-01-29 | 2021-01-29 | 数据显示方法、装置、智能眼镜、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113068003A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114760291A (zh) * | 2022-06-14 | 2022-07-15 | 深圳乐播科技有限公司 | 一种文件处理方法及装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1852828A2 (en) * | 2006-05-02 | 2007-11-07 | Canon Kabushiki Kaisha | Information processing apparatus and control method thereof, image processing apparatus, computer program, and storage medium |
| CN106844722A (zh) * | 2017-02-09 | 2017-06-13 | 北京理工大学 | 基于Kinect设备的合影系统及方法 |
| US20170301137A1 (en) * | 2016-04-15 | 2017-10-19 | Superd Co., Ltd. | Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality |
| CN107509052A (zh) * | 2017-09-08 | 2017-12-22 | 广州视源电子科技股份有限公司 | 双流视频会议方法、装置、电子设备及系统 |
| CN107622496A (zh) * | 2017-09-11 | 2018-01-23 | 广东欧珀移动通信有限公司 | 图像处理方法及装置 |
| CN107748453A (zh) * | 2017-11-29 | 2018-03-02 | 常州机电职业技术学院 | 一种大数据背景下的智能眼镜 |
| CN108076307A (zh) * | 2018-01-26 | 2018-05-25 | 南京华捷艾米软件科技有限公司 | 基于ar的视频会议系统和基于ar的视频会议方法 |
| CN108932519A (zh) * | 2017-05-23 | 2018-12-04 | 中兴通讯股份有限公司 | 一种会场数据处理、显示方法及装置和智能眼镜 |
| US20200045261A1 (en) * | 2018-08-06 | 2020-02-06 | Microsoft Technology Licensing, Llc | Gaze-correct video conferencing systems and methods |
| CN211037976U (zh) * | 2019-05-15 | 2020-07-17 | 上海卓越睿新数码科技有限公司 | 一种大范围弧形幕布的沉浸式远程直播全景教学装置 |
| CN211457271U (zh) * | 2020-02-07 | 2020-09-08 | 顾得科技教育股份有限公司 | 远距教学在线互动直播系统 |
-
2021
- 2021-01-29 CN CN202110135162.6A patent/CN113068003A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1852828A2 (en) * | 2006-05-02 | 2007-11-07 | Canon Kabushiki Kaisha | Information processing apparatus and control method thereof, image processing apparatus, computer program, and storage medium |
| US20170301137A1 (en) * | 2016-04-15 | 2017-10-19 | Superd Co., Ltd. | Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality |
| CN106844722A (zh) * | 2017-02-09 | 2017-06-13 | 北京理工大学 | 基于Kinect设备的合影系统及方法 |
| CN108932519A (zh) * | 2017-05-23 | 2018-12-04 | 中兴通讯股份有限公司 | 一种会场数据处理、显示方法及装置和智能眼镜 |
| CN107509052A (zh) * | 2017-09-08 | 2017-12-22 | 广州视源电子科技股份有限公司 | 双流视频会议方法、装置、电子设备及系统 |
| CN107622496A (zh) * | 2017-09-11 | 2018-01-23 | 广东欧珀移动通信有限公司 | 图像处理方法及装置 |
| CN107748453A (zh) * | 2017-11-29 | 2018-03-02 | 常州机电职业技术学院 | 一种大数据背景下的智能眼镜 |
| CN108076307A (zh) * | 2018-01-26 | 2018-05-25 | 南京华捷艾米软件科技有限公司 | 基于ar的视频会议系统和基于ar的视频会议方法 |
| US20200045261A1 (en) * | 2018-08-06 | 2020-02-06 | Microsoft Technology Licensing, Llc | Gaze-correct video conferencing systems and methods |
| CN211037976U (zh) * | 2019-05-15 | 2020-07-17 | 上海卓越睿新数码科技有限公司 | 一种大范围弧形幕布的沉浸式远程直播全景教学装置 |
| CN211457271U (zh) * | 2020-02-07 | 2020-09-08 | 顾得科技教育股份有限公司 | 远距教学在线互动直播系统 |
Non-Patent Citations (1)
| Title |
|---|
| 冯太平: "图像信息融合技术的算法研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114760291A (zh) * | 2022-06-14 | 2022-07-15 | 深圳乐播科技有限公司 | 一种文件处理方法及装置 |
| CN114760291B (zh) * | 2022-06-14 | 2022-09-13 | 深圳乐播科技有限公司 | 一种文件处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11076142B2 (en) | Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene | |
| JP6023801B2 (ja) | シミュレーション装置 | |
| CN106484116B (zh) | 媒体文件的处理方法和装置 | |
| CN108282648B (zh) | 一种vr渲染方法、装置、穿戴式设备及可读存储介质 | |
| CN106101741A (zh) | 在网络视频直播平台上观看全景视频的方法及系统 | |
| CN107065197B (zh) | 面向vr眼镜的人眼跟踪远程渲染实时显示方法及系统 | |
| CN105843390A (zh) | 一种图像缩放的方法与基于该方法的ar眼镜 | |
| CN110575373A (zh) | 一种基于vr一体机的视觉训练方法及系统 | |
| CN115423989A (zh) | 一种ar眼镜画面显示的控制方法及其组件 | |
| CN112184359A (zh) | 受引导的消费者体验 | |
| CN113068003A (zh) | 数据显示方法、装置、智能眼镜、电子设备和存储介质 | |
| CN114442814A (zh) | 一种云桌面的展示方法、装置、设备及存储介质 | |
| CN114358112A (zh) | 视频融合方法、计算机程序产品、客户端及存储介质 | |
| CN206833075U (zh) | 头戴式显示设备和电子设备 | |
| US20230281916A1 (en) | Three dimensional scene inpainting using stereo extraction | |
| CN109685911B (zh) | 一种可实现虚拟试衣的ar眼镜及其实现方法 | |
| CN109885172B (zh) | 一种基于增强现实ar的对象互动展示方法及系统 | |
| TW201537219A (zh) | 頭戴式顯示裝置 | |
| CN111736692B (zh) | 显示方法、显示装置、存储介质与头戴式设备 | |
| CN213903982U (zh) | 一种新型智能眼镜及远程可视化系统 | |
| CN213876195U (zh) | 一种眼镜框架及智能导航眼镜 | |
| CN111208964B (zh) | 低视力助视方法、终端及存储介质 | |
| CN209859042U (zh) | 可穿戴式控制设备和虚拟/增强现实系统 | |
| CN117041670B (zh) | 图像处理方法及相关设备 | |
| CN115359159A (zh) | 虚拟视频通信方法、装置、设备、存储介质和程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220815 Address after: 13th Floor, Jingu Jingu Artificial Intelligence Building, Jingshi Road, Jinan Free Trade Pilot Zone, Jinan City, Shandong Province, 250000 Applicant after: Shenlan Artificial Intelligence Application Research Institute (Shandong) Co.,Ltd. Address before: 200336 unit 1001, 369 Weining Road, Changning District, Shanghai Applicant before: DEEPBLUE TECHNOLOGY (SHANGHAI) Co.,Ltd. |
|
| AD01 | Patent right deemed abandoned | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240322 |