CN113784077B - 一种信息处理方法、装置和电子设备 - Google Patents

一种信息处理方法、装置和电子设备 Download PDF

Info

Publication number
CN113784077B
CN113784077B CN202111121383.4A CN202111121383A CN113784077B CN 113784077 B CN113784077 B CN 113784077B CN 202111121383 A CN202111121383 A CN 202111121383A CN 113784077 B CN113784077 B CN 113784077B
Authority
CN
China
Prior art keywords
image
target
images
area
holographic screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111121383.4A
Other languages
English (en)
Other versions
CN113784077A (zh
Inventor
龚江涛
张柳新
张晓平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202111121383.4A priority Critical patent/CN113784077B/zh
Publication of CN113784077A publication Critical patent/CN113784077A/zh
Application granted granted Critical
Publication of CN113784077B publication Critical patent/CN113784077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Holo Graphy (AREA)

Abstract

本申请提供了一种信息处理方法、装置和电子设备，本方案中，在拍摄的目标人物和图像采集装置之间设置全息屏幕，在该全息屏幕中显示虚拟内容，图像采集装置对于目标人物和全息屏幕中显示的虚拟内容进行拍摄，并对于拍摄的视频信息中满足预设条件的目标区域进行处理，以减少由于全息屏幕半透明对于视频中各个影像的影响，提高视频质量，提高观看视频的用户体验。

Description

一种信息处理方法、装置和电子设备
技术领域
本申请涉及信息技术领域，更具体的说，是涉及一种信息处理方法、装置和电子设备。
背景技术
现有的互动演讲视频是在拍摄现场录制得到。一般在拍摄现场有观众和演讲的人，为了提高现场效果，还会在现场设置全息屏幕显示虚拟特效内容，以使得演讲的人根据虚拟特效内容进行演讲。
但是，全息屏幕一般是半透明的，在录制的视频中，演讲人或者全息屏幕中显示的虚拟特效内容容易受到全息屏幕的影响，导致录制的视频的效果较差。
发明内容
有鉴于此，本申请提供了一种信息处理方法，如下：
一种信息处理方法，包括：
获取视频信息，视频信息的至少两帧图像中包括目标人物影像和虚拟内容影像，所述虚拟内容影像是图像采集装置对于全息屏幕中显示的虚拟内容采集得到，所述全息屏幕设置于目标人物和图像采集装置之间，所述目标人物影像是图像采集装置透过全息屏幕采集得到，所述全息屏幕透光率小于预设值；
分析所述视频信息的至少两帧图像中是否存在目标区域满足预设条件；
基于所述至少两帧图像中存在目标区域满足预设条件，对于所述目标区域的目标参数进行处理。
可选的，上述的方法，分析所述视频信息的至少两帧图像中是否存在目标区域满足预设条件，包括：
依次选择所述至少两帧图像中的任一帧图像作为目标图像；
基于所述目标图像中存在预设轮廓且所述预设轮廓的两侧区域预设参数值满足预设的区别条件，确定所述预设轮廓包围的区域为目标区域且所述目标区域满足预设条件，所述目标区域是全息屏幕所在区域。
可选的，上述的方法，分析所述视频信息的至少两帧图像中是否存在目标区域满足预设条件，包括：
依次将所述至少两帧图像中的每一帧作为目标图像；
基于预先训练的神经网络模型分析所述目标图像，得到所述目标图像中满足预设条件的目标区域，所述目标区域是全息屏幕所在区域。
可选的，上述的方法，所述对于所述目标区域的目标参数进行处理，包括：
基于预设的全息屏幕图像分析得到所述全息屏幕的光学参数；
基于所述全息屏幕的光学参数，调整所述目标图像中所述目标区域的像素值。
可选的，上述的方法，所述对于所述目标区域的目标参数进行处理，包括：
基于所述目标区域中存在满足预设人物轮廓的第一区域，确定所述第一区域中包含目标人物影像；
分析所述第一区域中目标人物影像的角度，任意两帧图像中目标人物影像的角度相同或不同；
在目标人物的预设三维人物形象中，选择与所述角度相同的目标影像；
基于目标影像，处理所述第一区域。
可选的，上述的方法，获取视频信息之前，还包括：
从至少两个拍摄角度，获取至少两张包含目标人物影像的第一图像；
基于至少两张第一图像以及与所述第一图像对应的拍摄角度，合成所述目标人物的三维人物形象。
可选的，上述的方法，所述对于所述目标区域的目标参数进行处理，包括：
分析所述目标区域得到虚拟内容的影像，任意两帧图像中虚拟内容相同或不同；
获取与所述虚拟内容对应的原始虚拟内容图像；
基于所述原始虚拟内容图像处理所述虚拟内容影像所在的第二区域。
一种信息处理装置，包括：
获取模块，用于获取视频信息，视频信息的至少两帧图像中包括目标人物影像和虚拟内容影像，所述虚拟内容影像是图像采集装置对于全息屏幕中显示的虚拟内容采集得到，所述全息屏幕设置于目标人物和图像采集装置之间，所述目标人物影像是图像采集装置透过全息屏幕采集得到，所述全息屏幕透光率小于预设值；
分析模块，用于分析所述视频信息的至少两帧图像中是否存在目标区域满足预设条件；
处理模块，用于基于所述至少两帧图像中存在目标区域满足预设条件，对于所述目标区域的目标参数进行处理。
一种电子设备，包括：存储器、处理器；
其中，存储器存储有信息处理程序；
所述处理器用于加载并执行所述存储器存储的所述信息处理程序，以实现如上述任一项所述的信息处理方法的各步骤。
一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器调用并执行，实现如上述任一项所述的信息处理方法的各步骤。
经由上述的技术方案可知，与现有技术相比，本申请提供了一种信息处理方法，包括：获取视频信息，视频信息的至少两帧图像中包括目标人物影像和虚拟内容影像，所述虚拟内容影像是图像采集装置对于全息屏幕中显示的虚拟内容采集得到，所述全息屏幕设置于目标人物和图像采集装置之间，所述目标人物影像是图像采集装置透过全息屏幕采集得到，所述全息屏幕透光率小于预设值；分析所述视频信息的至少两帧图像中是否存在目标区域满足预设条件；基于所述至少两帧图像中存在目标区域满足预设条件，对于所述目标区域的目标参数进行处理。本方案中，在拍摄的目标人物和图像采集装置之间设置全息屏幕，在该全息屏幕中显示虚拟内容，图像采集装置对于目标人物和全息屏幕中显示的虚拟内容进行拍摄，并对于拍摄的视频信息中满足预设条件的目标区域进行处理，以减少由于全息屏幕半透明对于视频中各个影像的影响，提高视频质量，提高观看视频的用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本申请提供的一种信息处理方法实施例1的流程图；
图2是本申请提供的一种信息处理方法实施例1的应用场景示意图；
图3是本申请提供的一种信息处理方法实施例2的流程图；
图4是本申请提供的一种信息处理方法实施例2中处理前目标图像的示意图；
图5是本申请提供的一种信息处理方法实施例3的流程图；
图6是本申请提供的一种信息处理方法实施例4的流程图；
图7是本申请提供的一种信息处理方法实施例5的流程图；
图8是本申请提供的一种信息处理方法实施例5中处理前目标图像的示意图；
图9是本申请提供的一种信息处理方法实施例6的流程图；
图10是本申请提供的一种信息处理方法实施例7的流程图；
图11是本申请提供的一种信息处理方法实施例7中处理前目标图像的示意图；
图12是本申请提供的一种信息处理装置实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示的，是本申请提供的一种信息处理方法实施例1的流程图，该方法应用于一电子设备，该方法包括以下步骤：
步骤S101：获取视频信息，视频信息的至少两帧图像中包括目标人物影像和虚拟内容影像；
其中，所述虚拟内容影像是图像采集装置对于全息屏幕中显示的虚拟内容采集得到，所述全息屏幕设置于目标人物和图像采集装置之间，所述目标人物影像是图像采集装置透过全息屏幕采集得到。
其中，所述全息屏幕透光率小于预设值。
具体的，该全息屏幕并非完全透明的，而是半透明，其透光率小于完全透明的透光率，该预设值是完全透明度透光率。
例如，全透明的透光率为100％，该全息屏幕的透光率是小于100％的数值，但是，其一侧的内容能够透过该全息屏幕被另一侧视觉感知到。
其中，该视频信息是图像采集装置对于目标人物所在现场进行录制得到的视频，执行本方案的电子设备可以是图像采集装置连接的电子设备，该电子设备在图像采集装置采集过程(即视频录制过程)中对于视频信息进行实时处理，也可以在视频采集结束(即视频录制结束)后再对于视频信息进行处理。
如图2所示的是本信息处理方法的应用场景示意图，该场景中包括：待拍摄的目标人物201、全息屏幕202和摄像头203。其中，该全息屏幕是半透明的，目标人物的影像能够透过该全息屏幕采集，该摄像头采集该目标人物的影像和该全息屏幕的影像，其中，该全息屏幕中可以显示虚拟内容，在拍摄得到的一帧帧图像组成视频，该图像中包括该目标人物的影像和该虚拟对象的影像。
具体实施中，该应用场景可以是教学场景，如是在教室中进行视频录制，该场景中，老师在教室中讲课，其在全息屏幕后进行讲解，全息屏幕中显示虚拟内容配合教学内容，在该场景中还有多个学生，并且还有摄像头进行视频录制。其中，学生可以直接观看全息屏幕中显示的虚拟内容结合老师的讲解学习，而未在现场的人，可以通过摄像头录制的视频，也能够看到显示屏幕中显示的虚拟内容和老师讲解的内容，但是，由于该录制的视频中老师的影像和虚拟内容的影像容易受到全息屏幕半透明的影响，所以，本申请中，对于录制的视频信息进行处理，以提高该视频的效果。
具体实施中，该视频信息的图像中，其中的一帧图像可以仅包括目标人物的影像，也可以仅包括虚拟内容，或者是包括目标人物和虚拟内容，或者是空白的(仅有全息屏幕的影像)。
步骤S102：分析所述视频信息的至少两帧图像中是否存在目标区域满足预设条件；
其中，该目标区域满足预设条件是图像中存在全息屏幕的影像，该全息屏幕对应于该目标区域。
具体的，可以根据全息屏幕的边缘进行判断，也可以基于预设的神经网络模型进行分析判断。
步骤S103：基于所述至少两帧图像中存在目标区域满足预设条件，对于所述目标区域的目标参数进行处理。
其中，基于该至少两帧图像中存在目标区域满足预设条件，则表征该至少两帧图像中存在全息屏幕对应区域。
而由于全息屏幕是半透明的影响，导致该全息屏幕所在区域的参数图像颜色、饱和度受到影响，颜色饱和度较低，因此，对于该目标区域的目标参数进行处理。
具体的，可以通过对于目标区域进行处理、对于目标区域中显示的虚拟内容、或者透过目标区域被采集的目标人物影像进行处理。
具体实施中，该目标区域的目标参数可以是该目标区域中像素的RGB(red-green-blue，三原色)值，通过调整该像素的RGB以减少该全息屏幕半透明的影响。
具体实施中，为了降低全息屏幕的半透明影响，还可以在目标人物一侧设置灯光，以增强拍摄的目标人物的影像。
综上，本实施例提供的一种信息处理方法，包括：获取视频信息，视频信息的至少两帧图像中包括目标人物影像和虚拟内容影像，所述虚拟内容影像是图像采集装置对于全息屏幕中显示的虚拟内容采集得到，所述全息屏幕设置于目标人物和图像采集装置之间，所述目标人物影像是图像采集装置透过全息屏幕采集得到，所述全息屏幕透光率小于预设值；分析所述视频信息的至少两帧图像中是否存在目标区域满足预设条件；基于所述至少两帧图像中存在目标区域满足预设条件，对于所述目标区域的目标参数进行处理。本方案中，在拍摄的目标人物和图像采集装置之间设置全息屏幕，在该全息屏幕中显示虚拟内容，图像采集装置对于目标人物和全息屏幕中显示的虚拟内容进行拍摄，并对于拍摄的视频信息中满足预设条件的目标区域进行处理，以减少由于全息屏幕半透明对于视频中各个影像的影响，提高视频质量，提高观看视频的用户体验。
如图3所示的，为本申请提供的一种信息处理方法实施例2的流程图，该方法包括以下步骤：
步骤S301：获取视频信息，视频信息的至少两帧图像中包括目标人物影像和虚拟内容影像；
其中，步骤S301与实施例1中的步骤S101一致，本实施例中不做赘述。
步骤S302：依次选择所述至少两帧图像中的任一帧图像作为目标图像；
步骤S303：基于所述目标图像中存在预设轮廓且所述预设轮廓的两侧区域预设参数值满足预设的区别条件，确定所述预设轮廓包围的区域为目标区域且所述目标区域满足预设条件；
其中，所述目标区域是全息屏幕所在区域。
具体的，在录制视频的场景中，由于图像采集模组的图像采集角度范围与全息屏幕的尺寸一般是固定的，而图像采集模组和全息屏幕之间的相对位置可变化，当二者之间距离较远时，导致全息屏幕可能是在该图像采集角度范围内，使得在录制的视频中全息屏幕在目标图像中占据部分区域。
在本实施例中，全息屏幕在目标图像中占据部分区域。
由于全息屏幕是半透明的，在目标图像中存在全息屏幕的影像时，则全息屏幕所在区域与其他区域之间存在特定的轮廓，并且该轮廓两侧的图像不同。
具体的，分析该目标图像中是否存在特定的轮廓，并且该轮廓两侧的区域存在差别。
其中，该差别可以是两个区域的颜色、饱和度不同等。
具体的，该预设轮廓是全息屏幕的轮廓，例如，该目标图像中存在全息屏幕的轮廓，该轮廓可以是在图像中以三条边和图像边缘组成的区域或者四条边组成的长方形、在图像中以两条边和图像边缘组成的区域或者是一条线的轮廓。
如图4所示的是处理前目标图像的示意图，该图4中轮廓为虚线所示，其中(a)中目标图像中的具有目标区域401，该图中轮廓为四条边，目标区域是该四条边组成的长方形；(b)中目标图像中的具有目标区域402，该图中轮廓为三条边，目标区域是该三条边与图像边缘组成的长方形；(c)中目标图像中的具有目标区域403，该图中轮廓为两条边，目标区域是该两条边与图像两个边缘组成的区域；(d)中目标图像中的具有目标区域404，该图中轮廓是一条线，目标区域是该线与图像三个边缘组成的区域。其中图(4)中的(e)中目标图像是处理后的，其中的目标区域已经被处理，其不再受到全息屏幕半透明的影像。
需要说明的是，采用一条线的轮廓判断时，还可以进一步基于该预设参数进行判断确定满足特定条件的区域为目标区域。例如，饱和度较低的一侧是目标区域。
步骤S304：对于所述目标区域的目标参数进行处理。
其中，步骤S304与实施例1中的步骤S103一致，本实施例中不做赘述。
综上，本实施例提供的一种信息处理方法中，分析所述视频信息的至少两帧图像中是否存在目标区域满足预设条件，包括：依次选择所述至少两帧图像中的任一帧图像作为目标图像；基于所述目标图像中存在预设轮廓且所述预设轮廓的两侧区域预设参数值满足预设的区别条件，确定所述预设轮廓包围的区域为目标区域且所述目标区域满足预设条件，所述目标区域是全息屏幕所在区域。本方案中，基于全息屏幕的边缘轮廓对于目标图像进行分析，在确定目标图像中存在预设轮廓并且轮廓两侧区域的预设参数值满足预设的区别条件时，则确定该预设轮廓包围的区域是目标区域，以便在后续步骤中对于目标区域进行处理，判断方式简单易行。
如图5所示的，为本申请提供的一种信息处理方法实施例3的流程图，该方法包括以下步骤：
步骤S501：获取视频信息，视频信息的至少两帧图像中包括目标人物影像和虚拟内容影像；
其中，步骤S501与实施例1中的步骤S101一致，本实施例中不做赘述。
步骤S502：依次将所述至少两帧图像中的每一帧作为目标图像；
步骤S503：基于预先训练的神经网络模型分析所述目标图像，得到所述目标图像中满足预设条件的目标区域；
其中，所述目标区域是全息屏幕所在区域。
具体的，在录制视频的场景中，由于图像采集模组的图像采集角度范围与全息屏幕的尺寸一般是固定的，而图像采集模组和全息屏幕之间的相对位置可变化，当二者之间距离较近，导致全息屏幕大于图像采集范围，使得在录制的视频中全息屏幕在目标图像中布满。
其中，预先基于标记全息屏幕所在区域的图像对于神经网络模型进行训练，得到训练后的神经网络模型。
将该视频信息中的每一帧图像作为目标图像，将该目标图像输入该训练完成的神经网络模型，以使得该神经网络模型分析识别该目标图像，得到该目标图像中满足预设条件的目标区域，即确定该目标图像中的全息屏幕所在区域。
需要说明的是，该预先训练的神经网络模型，可以对于该目标图像中全息屏幕可以是布满全部，也可以是占据部分区域。
其中，该全息屏幕布满目标图像，是由于图像采集模组的图像采集范围在全息屏幕内，而全息屏幕占据目标图像部分区域，可以是由于全息屏幕与图像采集模组的图像采集范围部分重叠或者是全息屏幕的面积小于图像采集模组的图像采集范围。
其中，该全息屏幕占据目标图像的部分区域的示意图参考图4，本实施例中不做赘述。
步骤S504：对于所述目标区域的目标参数进行处理。
其中，步骤5304与实施例1中的步骤S103一致，本实施例中不做赘述。
综上，本实施例提供的一种信息处理方法中，分析所述视频信息的至少两帧图像中是否存在目标区域满足预设条件，包括：依次将所述至少两帧图像中的每一帧作为目标图像；基于预先训练的神经网络模型分析所述目标图像，得到所述目标图像中满足预设条件的目标区域，所述目标区域是全息屏幕所在区域。本方案中，基于预先训练的神经网络模型对于每帧图像进行分析确定其中的目标区域，分析确定的准确度较高。
如图6所示的，为本申请提供的一种信息处理方法实施例4的流程图，该方法包括以下步骤：
步骤S601：获取视频信息，视频信息的至少两帧图像中包括目标人物影像和虚拟内容影像；
步骤S602：依次将所述至少两帧图像中的每一帧作为目标图像；
步骤S603：基于预先训练的神经网络模型分析所述目标图像，得到所述目标图像中满足预设条件的目标区域；
其中，步骤S601-603与实施例3中的步骤S501-503一致，本实施例中不做赘述。
步骤S604：基于预设的全息屏幕图像分析得到所述全息屏幕的光学参数；
其中，预设的全息屏幕图像是在相同的拍摄环境中，全息屏幕中未显示任何内容、全息屏幕后无目标人物时采集得到的图像。
其中，相同的拍摄环境包括了拍摄角度、环境光亮度等各个拍摄环境相关的参数。
其中，该预设的全息屏幕分析得到该全息屏幕的光学参数，该光学参数是表征该全息屏幕的透明程度的参数，该透明参数的值决定了对于目标图像的目标区域中每个像素值进行调整的方向和幅度值，该幅度值是对于像素值调整的具体取值。
步骤S605：基于所述全息屏幕的光学参数，调整所述目标图像中所述目标区域的像素值。
具体的，基于该全息屏幕的光学参数，对于该目标区域的像素值进行调整，如该光学参数是全息屏幕的透明参数，则可以基于该透明参数对于该目标区域的像素值(RGB)进行相应的调整，以使得去除该全息屏幕对于该目标区域的颜色影响，调整后的该目标区域的饱和度更高。
其中，由于录制的视频信息中包括多帧图像，对于每帧图像的目标区域均进行上述步骤S604-605的处理过程，以使得该视频整体中均消除全息屏幕的半透明影响。
综上，本实施例提供的一种信息处理方法中，对于所述目标区域的目标参数进行处理，包括：基于预设的全息屏幕图像分析得到所述全息屏幕的光学参数；基于所述全息屏幕的光学参数，调整所述目标图像中所述目标区域的像素值。本方案中，预先拍摄全息屏幕图像分析得到该全息屏幕的光学参数，基于该光学参数对于目标图像中的目标区域像素值进行调整，以使得对于录制的视频中整体均减少全息屏幕的影响，调整后的目标图像的饱和度更好，最终得到的视频的视觉效果更优。
如图7所示的，为本申请提供的一种信息处理方法实施例5的流程图，该方法包括以下步骤：
步骤S701：获取视频信息，视频信息的至少两帧图像中包括目标人物影像和虚拟内容影像；
步骤S702：依次将所述至少两帧图像中的每一帧作为目标图像；
步骤S703：基于预先训练的神经网络模型分析所述目标图像，得到所述目标图像中满足预设条件的目标区域；
其中，步骤S701-703与实施例3中的步骤S501-503一致，本实施例中不做赘述。
步骤S704：基于所述目标区域中存在满足预设人物轮廓的第一区域，确定所述第一区域中包含目标人物影像；
其中，基于目标区域中是否存在满足预设人物轮廓的区域，判定该目标区域中是否存在人物的影像。
其中，当该目标区域存在满足预设人物轮廓的区域，确定该区域为第一区域，该第一区域中包含目标人物影像。
需要说明的是，所述目标区域中存在的人物影像均为目标人物影像。
如图8所示的是处理前目标图像的示意图，其中该目标区域801布满目标图像，该目标区域中包括第一区域802，该第一区域中包含人物影像。
步骤S705：分析所述第一区域中目标人物影像的角度，任意两帧图像中目标人物影像的角度相同或不同；
其中，分析该目标区域中人物影像，得到该目标人物影像的角度，如向左、向右、面向前方。
具体的，在拍摄视频过程中，目标人物可能会发生动作变化，因此，该目标人物影像的角度可能发生变化，视频的任意两帧图像中，该目标人物影像的角度相同或者不同。
步骤S706：在目标人物的预设三维人物形象中，选择与所述角度相同的目标影像；
其中，为目标人物预设三维人物形象，从该预设的三维人物形象中，选择与该目标人物影像角度相同的目标影像。
其中，该角度包括了目标人物影像的姿势和方向。
具体的，基于与目标人物影像的姿势和方向，将三维人物形象调整到相应的姿势和方向，确定该姿势和方向对应的二维图像，将该二维图像作为目标影像。
其中，该选择的目标影像是与该目标人物影像匹配，二者的相似度较高。
步骤S707：基于目标影像，处理所述第一区域。
其中，该处理方式包括叠加或者替换等。
具体的，以增加图层的方式，将该目标影像叠加到该第一区域；或者是将该目标影像替换该第一区域中的内容。
需要说明的是，由于将目标影像未受到全息屏幕半透明的影像，其饱和度更高，基于该目标影像处理第一区域，使得该第一区域中目标人物的影像的显示效果更佳。
需要说明的是，本申请中，由于录制的视频信息中包括多帧图像，针对录制的视频信息中包括的图像每一帧进行分析处理，具体的，当该帧图像中有目标人物影像时，才进行本实施例中的步骤704-707，以使得该视频整体中均消除全息屏幕对于目标人物影像的半透明影响。
综上，本实施例提供的一种信息处理方法中，所述对于所述目标区域的目标参数进行处理，包括：基于所述目标区域中存在满足预设人物轮廓的第一区域，确定所述第一区域中包含目标人物影像；分析所述第一区域中目标人物影像的角度，任意两帧图像中目标人物影像的角度相同或不同；在目标人物的预设三维人物形象中，选择与所述角度相同的目标影像；基于目标影像，处理所述第一区域。本方案中，通过预设目标人物的三维人物形象，选择与第一区域中目标人物影像的角度相同的目标影像，并处理该第一区域，以使得该第一区域中的画面不受到全息屏幕半透明的影像，减少由于录制现场的全息屏幕对于录制的视频中目标人物影像的影响，提高该第一区域中目标人物的显示效果。
如图9所示的，为本申请提供的一种信息处理方法实施例6的流程图，该方法包括以下步骤：
步骤S901：从至少两个拍摄角度，获取至少两张包含目标人物影像的第一图像；
其中，对于该目标人物从多个拍摄角度进行拍摄图像，得到该目标人物各个角度的第一图像。
具体实施中，还可以针对每个角度拍摄目标人物不同动作或者姿势的图像，以得到该角度下，用户采用不同的动作或者姿势的图像。
步骤S902：基于至少两张第一图像以及与所述第一图像对应的拍摄角度，合成所述目标人物的三维人物形象；
其中，基于拍摄到的各个角度的图像以及相应的拍摄角度，进行合成三维人物形象。
具体的，可以基于三维合成软件，对于该多个第一图像进行合成，得到三维人物形象。
由于该三维人物形象是与目标人物对应的，能够对于该三维人物形象从各个角度获取该目标人物的二维影像。
建立的三维人物形象，能够为后续步骤中处理目标人物影像对应的第一区域提供依据。
步骤S903：获取视频信息，视频信息的至少两帧图像中包括目标人物影像和虚拟内容影像；
步骤S904：依次将所述至少两帧图像中的每一帧作为目标图像；
步骤S905：基于预先训练的神经网络模型分析所述目标图像，得到所述目标图像中满足预设条件的目标区域；
步骤S906：基于所述目标区域中存在满足预设人物轮廓的第一区域，确定所述第一区域中包含目标人物影像；
步骤S907：分析所述第一区域中目标人物影像的角度，任意两帧图像中目标人物影像的角度相同或不同；
步骤S908：在目标人物的预设三维人物形象中，选择与所述角度相同的目标影像；
步骤S909：基于目标影像，处理所述第一区域。
其中，步骤S903-909与实施例5中的步骤S701-707一致，本实施例中不做赘述。
综上，本实施例提供的一种信息处理方法中，还包括：从至少两个拍摄角度，获取至少两张包含目标人物影像的第一图像；基于至少两张第一图像以及与所述第一图像对应的拍摄角度，合成所述目标人物的三维人物形象。本方案中，预先建立三维人物形象，以便后续基于该三维人物形象从中选择任何角度的平面影像，为基于目标影像处理第一区域提供依据。
如图10所示的，为本申请提供的一种信息处理方法实施例7的流程图，该方法包括以下步骤：
步骤S1001：获取视频信息，视频信息的至少两帧图像中包括目标人物影像和虚拟内容影像；
步骤S1002：依次将所述至少两帧图像中的每一帧作为目标图像；
步骤S1003：基于预先训练的神经网络模型分析所述目标图像，得到所述目标图像中满足预设条件的目标区域；
其中，步骤S1001-1003与实施例3中的步骤S501-503一致，本实施例中不做赘述。
步骤S1004：分析所述目标区域得到虚拟内容的影像，任意两帧图像中虚拟内容相同或不同；
其中，对于包括目标区域的每一帧图像进行分析，确定其中是否包含虚拟内容影像，其中，该虚拟内容所在的区域为第二区域。
具体的，可以是对于目标图像的目标区域中的内容进行分析，确定其中是否存在非现实内容的影像或者是不满足现实物理规律内容的影像。
例如，该影像是动画形象，或者是影像是悬浮于空中的物体等。
具体的，还可以是判断与采集该目标图像相同的时刻全息屏幕是否显示内容，如果显示的话，相同时刻的原始虚拟内容图像与该目标图像进行比对，判断二者是否相同或相似，如果是的话，确定该目标区域中对应的内容是该虚拟内容的影像。
需要说明的是，本申请中，是针对视频信息中包括的图像每一帧进行分析处理，具体的，当该帧图像中有虚拟内容时，才进行本实施例中的步骤S1004-S1006。
步骤S1005：获取与所述虚拟内容对应的原始虚拟内容图像；
其中，从控制全息屏幕播放的处理器获取与该虚拟内容对应的原始虚拟内容图像。
其中，当该虚拟内容是图像时，可以直接获取该图像；如果该虚拟内容是视频或者动态内容时，可以基于采集视频中该目标图像的时刻，选择该时刻对应的虚拟内容播放时刻，从原始虚拟内容数据中确定在该播放时刻输出的原始虚拟内容图像。
其中，该原始虚拟内容影像与该虚拟内容影像匹配，二者的相似度较高。
步骤S1006：基于所述原始虚拟内容图像处理所述虚拟内容影像所在的第二区域。
其中，该处理方式包括叠加或者替换等。
具体的，以增加图层的方式，将该原始虚拟内容图像叠加到该第二区域；或者是将该原始虚拟内容图像替换该第二区域中的内容。
需要说明的是，由于原始虚拟内容图像未受到全息屏幕半透明的影像，其饱和度更高，基于该原始虚拟内容图像处理第二区域，使得该第二区域中虚拟内容的影像的显示效果更佳。
如图11所示的是处理前目标图像的示意图，其中该目标区域1101布满目标图像，该目标区域中包括第二区域1102，该第二区域中包含虚拟内容，该图11中虚拟内容采用一个苹果表示。
需要说明的是，本申请中，由于录制的视频信息中包括多帧图像，针对录制的视频信息中包括的图像每一帧进行分析处理，具体的，当该帧图像中有虚拟内容影像时，才进行本实施例中的步骤704-707，以使得该视频整体中均消除全息屏幕对于虚拟内容影像的半透明影响。
综上，本实施例提供的一种信息处理方法中，所述对于所述目标区域的目标参数进行处理，包括：分析所述目标区域得到虚拟内容的影像，任意两帧图像中虚拟内容相同或不同；获取与所述虚拟内容对应的原始虚拟内容图像；基于所述原始虚拟内容图像处理所述虚拟内容影像所在的第二区域。本方案中，获取原始虚拟内容图像，将其处理目标区域中的虚拟内容影像所在的第二区域，以使得该第二区域中的画面不受到全息屏幕半透明的影像，减少由于录制现场的全息屏幕对于录制的视频中虚拟内容影像的影响，提高该虚拟内容的显示效果。
与上述本申请提供的一种信息处理方法实施例相对应的，本申请还提供了应用该信息处理方法的装置实施例。
如图12所示的为本申请提供的一种信息处理装置实施例的结构示意图，该电子设备包括以下结构：获取模块1201、分析模块1202和处理模块1203；
其中，该获取模块1201，用于获取视频信息，视频信息的至少两帧图像中包括目标人物影像和虚拟内容影像，所述虚拟内容影像是图像采集装置对于全息屏幕中显示的虚拟内容采集得到，所述全息屏幕设置于目标人物和图像采集装置之间，所述目标人物影像是图像采集装置透过全息屏幕采集得到，所述全息屏幕透光率小于预设值；
其中，该分析模块1202，用于分析所述视频信息的至少两帧图像中是否存在目标区域满足预设条件；
其中，该处理模块1203，用于基于所述至少两帧图像中存在目标区域满足预设条件，对于所述目标区域的目标参数进行处理。
可选的，所述分析模块，用于：
依次选择所述至少两帧图像中的任一帧图像作为目标图像；
基于所述目标图像中存在预设轮廓且所述预设轮廓的两侧区域预设参数值满足预设的区别条件，确定所述预设轮廓包围的区域为目标区域且所述目标区域满足预设条件，所述目标区域是全息屏幕所在区域。
可选的，所述分析模块，用于：
依次将所述至少两帧图像中的每一帧作为目标图像；
基于预先训练的神经网络模型分析所述目标图像，得到所述目标图像中满足预设条件的目标区域，所述目标区域是全息屏幕所在区域。
可选的，所述处理模块，用于：
基于预设的全息屏幕图像分析得到所述全息屏幕的光学参数；
基于所述全息屏幕的光学参数，调整所述目标图像中所述目标区域的像素值。
可选的，所述处理模块，用于：
基于所述目标区域中存在满足预设人物轮廓的第一区域，确定所述第一区域中包含目标人物影像；
分析所述第一区域中目标人物影像的角度，任意两帧图像中目标人物影像的角度相同或不同；
在目标人物的预设三维人物形象中，选择与所述角度相同的目标影像；
基于目标影像，处理所述第一区域。
可选的，所述装置还包括：
合成模块，用于从至少两个拍摄角度，获取至少两张包含目标人物影像的第一图像；基于至少两张第一图像以及与所述第一图像对应的拍摄角度，合成所述目标人物的三维人物形象。
可选的，所述处理模块，用于：
分析所述目标区域得到虚拟内容的影像，任意两帧图像中虚拟内容相同或不同；
获取与所述虚拟内容对应的原始虚拟内容图像；
基于所述原始虚拟内容图像处理所述虚拟内容影像所在的第二区域。
其中，本实施例中的信息处理装置中的各个结构的功能解释参考方法实施例中的解释，本实施例中不再赘述。
综上，本实施例提供的一种信息处理装置，包括：获取模块，用于获取视频信息，视频信息的至少两帧图像中包括目标人物影像和虚拟内容影像，所述虚拟内容影像是图像采集装置对于全息屏幕中显示的虚拟内容采集得到，所述全息屏幕设置于目标人物和图像采集装置之间，所述目标人物影像是图像采集装置透过全息屏幕采集得到，所述全息屏幕透光率小于预设值；分析模块，用于分析所述视频信息的至少两帧图像中是否存在目标区域满足预设条件；处理模块，用于基于所述至少两帧图像中存在目标区域满足预设条件，对于所述目标区域的目标参数进行处理。本方案中，在拍摄的目标人物和图像采集装置之间设置全息屏幕，在该全息屏幕中显示虚拟内容，图像采集装置对于目标人物和全息屏幕中显示的虚拟内容进行拍摄，并对于拍摄的视频信息中满足预设条件的目标区域进行处理，以减少由于全息屏幕半透明对于视频中各个影像的影响，提高视频质量，提高观看视频的用户体验。
与上述本申请提供的一种信息处理方法实施例相对应的，本申请还提供了与该信息处理方法相应的电子设备以及可读存储介质。
其中，该电子设备，包括：存储器、处理器；
其中，存储器存储有信息处理程序；
所述处理器用于加载并执行所述存储器存储的所述信息处理程序，以实现如上述任一项所述的信息处理方法的各步骤。
具体该电子设备的实现控制方法，参考前述信息处理方法实施例即可。
其中，该可读存储介质，其上存储有计算机程序，所述计算机程序被处理器调用并执行，实现如权利要求上述任一项所述的信息处理方法的各步骤。
具体该可读存储介质存储的计算机程序执行实现信息处理方法，参考前述信息处理方法实施例即可。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的装置而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所提供的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所提供的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种信息处理方法，包括：
获取视频信息，视频信息的至少两帧图像中包括目标人物影像和虚拟内容影像，所述虚拟内容影像是图像采集装置对于全息屏幕中显示的虚拟内容采集得到，所述全息屏幕设置于目标人物和图像采集装置之间，所述目标人物影像是图像采集装置透过全息屏幕采集得到，所述全息屏幕透光率小于预设值；
分析所述视频信息的至少两帧图像中是否存在目标区域满足预设条件；
基于所述至少两帧图像中存在目标区域满足预设条件，对于所述目标区域的目标参数进行处理。
2.根据权利要求1所述的方法，分析所述视频信息的至少两帧图像中是否存在目标区域满足预设条件，包括：
依次选择所述至少两帧图像中的任一帧图像作为目标图像；
基于所述目标图像中存在预设轮廓且所述预设轮廓的两侧区域预设参数值满足预设的区别条件，确定所述预设轮廓包围的区域为目标区域且所述目标区域满足预设条件，所述目标区域是全息屏幕所在区域。
3.根据权利要求1所述的方法，分析所述视频信息的至少两帧图像中是否存在目标区域满足预设条件，包括：
依次将所述至少两帧图像中的每一帧作为目标图像；
基于预先训练的神经网络模型分析所述目标图像，得到所述目标图像中满足预设条件的目标区域，所述目标区域是全息屏幕所在区域。
4.根据权利要求2-3任一项所述的方法，所述对于所述目标区域的目标参数进行处理，包括：
基于预设的全息屏幕图像分析得到所述全息屏幕的光学参数；
基于所述全息屏幕的光学参数，调整所述目标图像中所述目标区域的像素值。
5.根据权利要求2-3任一项所述的方法，所述对于所述目标区域的目标参数进行处理，包括：
基于所述目标区域中存在满足预设人物轮廓的第一区域，确定所述第一区域中包含目标人物影像；
分析所述第一区域中目标人物影像的角度，任意两帧图像中目标人物影像的角度相同或不同；
在目标人物的预设三维人物形象中，选择与所述角度相同的目标影像；
基于目标影像，处理所述第一区域。
6.根据权利要求5所述的方法，获取视频信息之前，还包括：
从至少两个拍摄角度，获取至少两张包含目标人物影像的第一图像；
基于至少两张第一图像以及与所述第一图像对应的拍摄角度，合成所述目标人物的三维人物形象。
7.根据权利要求2-3任一项所述的方法，所述对于所述目标区域的目标参数进行处理，包括：
分析所述目标区域得到虚拟内容的影像，任意两帧图像中虚拟内容相同或不同；
获取与所述虚拟内容对应的原始虚拟内容图像；
基于所述原始虚拟内容图像处理所述虚拟内容影像所在的第二区域。
8.一种信息处理装置，包括：
获取模块，用于获取视频信息，视频信息的至少两帧图像中包括目标人物影像和虚拟内容影像，所述虚拟内容影像是图像采集装置对于全息屏幕中显示的虚拟内容采集得到，所述全息屏幕设置于目标人物和图像采集装置之间，所述目标人物影像是图像采集装置透过全息屏幕采集得到，所述全息屏幕透光率小于预设值；
分析模块，用于分析所述视频信息的至少两帧图像中是否存在目标区域满足预设条件；
处理模块，用于基于所述至少两帧图像中存在目标区域满足预设条件，对于所述目标区域的目标参数进行处理。
9.一种电子设备，包括：存储器、处理器；
其中，存储器存储有信息处理程序；
所述处理器用于加载并执行所述存储器存储的所述信息处理程序，以实现如权利要求1-7任一项所述的信息处理方法的各步骤。
10.一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器调用并执行，实现如权利要求1-7任一项所述的信息处理方法的各步骤。
CN202111121383.4A 2021-09-24 2021-09-24 一种信息处理方法、装置和电子设备 Active CN113784077B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111121383.4A CN113784077B (zh) 2021-09-24 2021-09-24 一种信息处理方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111121383.4A CN113784077B (zh) 2021-09-24 2021-09-24 一种信息处理方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN113784077A CN113784077A (zh) 2021-12-10
CN113784077B true CN113784077B (zh) 2023-03-21

Family

ID=78853051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111121383.4A Active CN113784077B (zh) 2021-09-24 2021-09-24 一种信息处理方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN113784077B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107105310A (zh) * 2017-05-05 2017-08-29 广州盈可视电子科技有限公司 一种视频直播中人物形象替换方法、装置和一种录播系统
WO2020045837A1 (ko) * 2018-08-28 2020-03-05 김영대 가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002244218A (ja) * 2001-02-13 2002-08-30 Denso Corp ホログラムディスプレイ装置
US9581965B2 (en) * 2007-05-16 2017-02-28 Seereal Technologies S.A. Analytic method for computing video holograms in real time
JP5243365B2 (ja) * 2009-08-10 2013-07-24 日本電信電話株式会社 コンテンツ生成装置，コンテンツ生成方法およびコンテンツ生成プログラム
CN108093201B (zh) * 2018-01-24 2020-07-31 周永业 一种视频会议终端及系统
CN109829958B (zh) * 2018-12-24 2023-01-24 武汉西山艺创文化有限公司 一种基于透明液晶显示屏的虚拟偶像演播方法和装置
CN110443896A (zh) * 2019-07-02 2019-11-12 启东威艾信息技术有限公司 一种ar、全息智能装置
CN110673735A (zh) * 2019-09-30 2020-01-10 长沙自由视像信息科技有限公司 全息虚拟人ar互动展示方法、装置及设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107105310A (zh) * 2017-05-05 2017-08-29 广州盈可视电子科技有限公司 一种视频直播中人物形象替换方法、装置和一种录播系统
WO2020045837A1 (ko) * 2018-08-28 2020-03-05 김영대 가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치

Also Published As

Publication number Publication date
CN113784077A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN110490896B (zh) 一种视频帧图像处理方法和装置
CN109615703B (zh) 增强现实的图像展示方法、装置及设备
JP7476428B2 (ja) 画像の視線補正方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム
US8922628B2 (en) System and process for transforming two-dimensional images into three-dimensional images
CN107909022B (zh) 一种视频处理方法、装置、终端设备和存储介质
CN111242962A (zh) 远程培训视频的生成方法、装置、设备及存储介质
CN112733797B (zh) 人脸图像的视线矫正方法、装置、设备及存储介质
JP7489960B2 (ja) 画像の合成のための方法及びデータ処理システム
KR102612529B1 (ko) 신규 뷰 합성을 위한 신경 블렌딩
CN113343878A (zh) 基于生成对抗网络的高保真人脸隐私保护方法和系统
CN111144356A (zh) 一种远程教学的教师视线跟随方法及装置
Malleson et al. Rapid one-shot acquisition of dynamic VR avatars
KR20180123302A (ko) 볼의 궤적을 시각화하는 방법 및 장치
Chen et al. Sound to visual: Hierarchical cross-modal talking face video generation
Pinhanez et al. Intelligent studios: Using computer vision to control TV cameras
Mattos et al. Multi-view mouth renderization for assisting lip-reading
CN117333645A (zh) 一种环形全息交互系统及其设备
CN113784077B (zh) 一种信息处理方法、装置和电子设备
CN116778121A (zh) 一种虚拟屏幕书写操控合成系统及方法
KR100422470B1 (ko) 3차원 동화상 모델 얼굴 대체 방법 및 장치
US20230139989A1 (en) Videoconference method and videoconference system
CA3103562C (en) Method and system for generating an augmented reality image
CN115035178A (zh) 一种增强现实显示系统、方法及存储介质
JP7011728B2 (ja) 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法
CN116569191A (zh) 对情境注意特征和卷积特征的门控

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant