CN113747113A - 图像显示方法及装置、电子设备、计算机可读存储介质 - Google Patents

图像显示方法及装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN113747113A
CN113747113A CN202010478138.8A CN202010478138A CN113747113A CN 113747113 A CN113747113 A CN 113747113A CN 202010478138 A CN202010478138 A CN 202010478138A CN 113747113 A CN113747113 A CN 113747113A
Authority
CN
China
Prior art keywords
real
time
image
camera
virtual image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010478138.8A
Other languages
English (en)
Inventor
吴慧霞
王倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202010478138.8A priority Critical patent/CN113747113A/zh
Priority to EP20208663.3A priority patent/EP3916683A1/en
Priority to US16/953,937 priority patent/US11308702B2/en
Priority to KR1020200165615A priority patent/KR102557592B1/ko
Priority to JP2020205035A priority patent/JP7160887B2/ja
Publication of CN113747113A publication Critical patent/CN113747113A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本公开是关于图像显示方法、装置、电子设备和计算机可读存储介质，所述方法包括：获取通过所述第一摄像头采集的第一实时图像，以及通过所述第二摄像头采集的第二实时图像，其中，所述第一实时图像和所述第二实时图像不同；确定第一实时图像中的目标物体；生成目标物体对应的实时虚拟图像；在第二实时图像中显示实时虚拟图像。根据本公开的实施例，将实时虚拟图像显示在第二实时图像中，无需预先存储需要显示在现实场景中的虚拟图像，而是可以由用户根据需要实时地拍摄所需的目标物体，并生成对应的实时虚拟图像，便于灵活地将虚拟图像显示在现实场景中。

Description

图像显示方法及装置、电子设备、计算机可读存储介质
技术领域
本公开涉及显示技术领域，尤其涉及图像显示方法、图像显示方法装置、电子设备和计算机可读存储介质。
背景技术
目前AR(Augmented Reality，增强现实)技术，可以将虚拟图像显示在现实场景的图像中。在结合手机等电子设备使用时，可以通过电子设备的摄像头拍摄现实场景的图像，然后将预先存储在电子设备中的虚拟图像显示在拍摄的现实场景的图像中。
这种显示方式需要电子设备预先存储虚拟图像，不便于使用电子设备的用户将虚拟图像显示在现实场景中。
发明内容
本公开提供图像显示方法、图像显示方法装置、电子设备和计算机可读存储介质，以解决相关技术中的不足。
根据本公开实施例的第一方面，提出一种图像显示方法，适用于电子设备，所述电子设备包括第一摄像头和第二摄像头，所述方法包括：
获取通过所述第一摄像头采集的第一实时图像，以及通过所述第二摄像头采集的第二实时图像，其中，所述第一实时图像和所述第二实时图像不同；
确定所述第一实时图像中的目标物体；
生成所述目标物体对应的实时虚拟图像；
在所述第二实时图像中叠加显示所述实时虚拟图像。
可选地，在所述第二实时图像中叠加显示所述实时虚拟图像之前，所述方法还包括：
记录采集每张所述第一实时图像的时间戳和采集每张所述第二实时图像的时间戳；
根据所述目标物体所在的第一实时图像的时间戳，设置所述实施虚拟图像的时间戳；
其中，所述在所述第二实时图像中叠加显示所述实时虚拟图像包括：
在与所述实时虚拟图像具有相同时间戳的第二实时图像中，叠加显示所述实时虚拟图像。
可选地，所述方法还包括：
记录显示有所述实时虚拟图像的所述第二实时图像。
可选地，所述实时虚拟图像为三维图像或二维图像。
可选地，所述第一摄像头为前置摄像头，所述第二摄像头为后置摄像头；
或者，所述第一摄像头为前置摄像头或后置摄像头，所述第二摄像头为可旋转摄像头。
根据本公开实施例的第一方面，提出一种图像显示装置，适用于电子设备，所述电子设备包括第一摄像头和第二摄像头，所述装置包括：
图像采集模块，被配置为获取通过所述第一摄像头采集的第一实时图像，以及通过所述第二摄像头采集的第二实时图像，其中，所述第一实时图像和所述第二实时图像不同；
目标确定模块，被配置为确定所述第一实时图像中的目标物体；
虚拟生成模块，被配置为生成所述目标物体对应的实时虚拟图像；
图像显示模块，被配置为在所述第二实时图像中叠加显示所述实时虚拟图像。
可选地，所述装置还包括：
时间记录模块，被配置为记录采集每张所述第一实时图像的时间戳和采集每张所述第二实时图像的时间戳；
时间设置模块，被配置为根据所述目标物体所在的第一实时图像的时间戳，设置所述实施虚拟图像的时间戳；
其中，所述图像显示模块，被配置为在与所述实时虚拟图像具有相同时间戳的第二实时图像中，叠加显示所述实时虚拟图像。
可选地，所述装置还包括：
视频记录模块，被配置为记录显示有所述实时虚拟图像的所述第二实时图像。
可选地，所述实时虚拟图像为三维图像或二维图像。
可选地，所述第一摄像头为前置摄像头，所述第二摄像头为后置摄像头；
或者，所述第一摄像头为前置摄像头或后置摄像头，所述第二摄像头为可旋转摄像头。
根据本公开实施例的第三方面，提出一种电子设备，包括处理器，所述处理器被配置为实现上述任一实施例所述的方法。
根据本公开实施例的第四方面，提出一种计算机可读存储介质，所述程序被处理器执行时实现上述任一实施例所述方法中的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
根据本公开的实施例，通过第一摄像头和第二摄像头同时采集图像，并将第一摄像头采集到的目标物体的实时虚拟图像显示在第二摄像头采集到的第二实时图像中，由于实时虚拟图像是根据第一实时图像中的目标物体实时生成的，而第二实时图像可以是现实场景，那么将实时虚拟图像显示在第二实时图像中，无需预先存储需要显示在现实场景中的虚拟图像，而是可以由用户根据需要实时地拍摄所需的目标物体，并生成对应的实时虚拟图像，便于灵活地将虚拟图像显示在现实场景中。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据本公开的实施例示出的一种图像显示方法的示意流程图。
图2是根据本公开的实施例示出的另一种图像显示方法的示意流程图。
图3是根据本公开的实施例示出的又一种图像显示方法的示意流程图。
图4是根据本公开的实施例示出的一种图像显示装置的示意框图。
图5是根据本公开的实施例示出的另一种图像显示装置的示意框图。
图6是根据本公开的实施例示出的又一种图像显示装置的示意框图。
图7是根据本公开的实施例示出的一种用于图像显示的装置的示意框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据本公开的实施例示出的一种图像显示方法的示意流程图。本实施例所示的图像显示方法可以适用于电子设备，所述电子设备可以包括第一摄像头和第二摄像头，除了第一摄像头和第二摄像头，所述电子设备还可以包括其他摄像头。所述第一摄像头和第二摄像头是泛指电子设备中任意两个不同的摄像头，而不是特指电子设备中的某两个摄像头。
所述电子设备包括但不限于手机、平板电脑、可穿戴设备等电子设备。以电子设备是手机为例，所述第一摄像头可以设置在手机屏幕外的边框区域；也可以设置在手机屏幕之下，透过手机屏幕采集图像，以便实现全面屏。
其中，所述第一摄像头可以是一个摄像头，也可以是多个摄像头构成的摄像头组，以下实施例中采集的第一实时图像，可以使通过一个摄像头采集的，也可以通过摄像头组采集的。所述第二摄像头可以是一个摄像头，也可以是多个摄像头构成的摄像头组，以下实施例中采集的第二实时图像，可以使通过一个摄像头采集的，也可以通过摄像头组采集的。
如图1所示，所述图像显示方法可以包括以下步骤：
在步骤S101中，获取通过所述第一摄像头采集的第一实时图像，以及通过所述第二摄像头采集的第二实时图像，其中，所述第一实时图像和所述第二实时图像不同；
在步骤S102中，确定所述第一实时图像中的目标物体；
在步骤S103中，生成所述目标物体对应的实时虚拟图像；
在步骤S104中，在所述第二实时图像中叠加显示所述实时虚拟图像。
需要说明的是，上述采集第一实时图像和第二实时图像的主体可以根据需要调换，也即可以通过第二摄像头采集第一实时图像，以及通过第一摄像头采集第二实时图像，具体可以根据需要设置。
在一个实施例中，第一摄像头和第二摄像头的拍摄方向可以不同，从而通过采集不同方向的图像，例如第一摄像头为前置摄像头，第二摄像头为后置摄像头，那么第一摄像头可以采集电子设备正面的图像作为第一实时图像，第二摄像头可以采集电子设备背面的图像作为第二实时图像，从而得到不同的第一实时图像和第二实时图像。
在一个实施例中，第一摄像头和第二摄像头的拍摄方向可以相同，但是拍摄范围不同，例如第一摄像头和第二摄像头都是电子设备的后置摄像头，而第一摄像头位于电子设备后盖的左上角，第二摄像头位于电子设备后盖的右上角，那么第一摄像头可以采集电子设备背面靠左上的图像作为第一实时图像，第二摄像头可以采集电子设备背面的靠右上图像作为第二实时图像，从而得到不同的第一实时图像和第二实时图像。
以下实施例主要在第一摄像头为前置摄像头，第二摄像头为后置摄像头的情况下进行示例性说明。
在一个实施例中，可以同时开启前置摄像头和后置摄像头。其中，可以预先由电子设备的制造商基于硬件去调通电子设备的底层逻辑，以便可以同时通过前置摄像头和后置摄像头采集图像。进而通过两个摄像头同时采集图像，可以通过前置摄像头采集屏幕出光方向一侧(也即电子设备正面)的图像，通过后置摄像头采集屏幕出光方向的反方向一侧(也即电子设备背面)的图像。
在采集到的第一实时图像后，可以在第一实时图像中确定目标物体，其中，目标物体的类型可以根据需要进行设置，例如可以是人，也可以是物，以目标物体是人为例，具体可以是人体的部分，例如手臂、腿等，也可以是完整的人体。
可以预先通过机器学习训练得到用于识别特定类型物体的模型，进而可以将第一实时图像输入到该模型中，以识别出第一实时图像中属于特定类型的目标物体。
进而生成目标物体对应的实时虚拟图形，可以是二维图像，也可以是三维图像，具体可以根据需要进行设置。
以实时虚拟图像是三维图像为例，可以基于动作跟随算法对用户的动作进行机器学习，以便构建能够将用户的二维图像转换为三维图像的模型，进而可以基于构建的模型对第一实时图像中的目标物体进行转换，具体可以确定目标物体中的肢体关节，然后在肢体关节上添加锚点，进而基于锚点的运动将目标物体的二维图像转换为虚拟的三维图像，从而生成目标物体实时的虚拟图像，也即可以使得虚拟的三维图像跟随目标物体执行动作。
在目标物体包括用户人脸的情况下，还可以通过面部特征识别技术，识别出目标物体中的面部特征，并根据所识别出的面部特征，生成对应人脸虚拟图像，以作为实时虚拟图像中人脸部分。
另外，在虚拟图像是二维图像的情况下，也可以通过机器学习得到的模型来生成目标物体对应的实时虚拟图形。
除了上述动作跟随算法，还可以通过其他方式将目标物体的二维图像转换为虚拟的三维图像，例如可以创建DIB-R的渲染框架(一种可微分的基于插值的渲染器)，DIB-R通过使用编码器-解码器体系结构(一种将输入转换为特征图或向量的神经网络，用于预测形状，颜色，纹理和照明等特定信息)来生成三维图像，那么可以将目标物体的二维图像输入到该渲染框架中，以输出对应的虚拟的三维图像。
在一个实施例，通过第一摄像头和第二摄像头同时采集图像，并将第一摄像头采集到的目标物体的实时虚拟图像显示在第二摄像头采集到的第二实时图像中，由于实时虚拟图像是根据第一实时图像中的目标物体实时生成的，而第二实时图像可以是现实场景，那么将实时虚拟图像叠加显示在第二实时图像中，无需预先存储需要显示在现实场景中的虚拟图像，而是可以由用户根据需要实时地拍摄所需的目标物体，并生成对应的实时虚拟图像，便于灵活地将虚拟图像显示在现实场景中。
需要说明的是，将实时虚拟图像叠加显示在第二实时图像中的深度，可以根据需要进行设定。
例如目标物体为用户自己，那么用户可以通过前置摄像头拍摄自己，通过后置摄像头拍摄现实场景，从而可以生成自己的虚拟图像，并且所生成的虚拟图像可以跟随现实场景中的用户执行动作，进而将自己的虚拟图像显示在现实场景中，从而可以方便地将实时拍摄到的自己的虚拟图像应用到实时拍摄到的现实场景中，那么将多帧实时虚拟图像叠加显示在对应的多帧第二实时图像中，就可以显示将虚拟图像显示在现实图像中的视频，并且所显示的虚拟图像的动作与现实场景中用户的动作一致，一方面通过虚拟图像展示与用户一致的动作，另一方面可以以用户所处环境作为背景展示虚拟图像，从而灵活地实现AR显示，例如基于此可以进行vlog、AR虚拟形象教学，将用户自己的动作通过虚拟图像展示，并以AR的形式呈现给观众。
可选地，所述实时虚拟图像为三维图像或二维图像。
在一个实施例中，根据目标物体生成的虚拟图像可以使三维图像，也可以是二维图像，具体可以根据需要进行设置。
图2是根据本公开的实施例示出的另一种图像显示方法的示意流程图。如图2所示，在所述第二实时图像中叠加显示所述实时虚拟图像之前，所述方法还包括：
在步骤S105中，记录采集每张所述第一实时图像的时间戳和采集每张所述第二实时图像的时间戳；
在步骤S106中，根据所述目标物体所在的第一实时图像的时间戳，设置所述实施虚拟图像的时间戳；
其中，所述在所述第二实时图像中叠加显示所述实时虚拟图像包括：
在步骤S1041中，在与所述实时虚拟图像具有相同时间戳的第二实时图像中，叠加显示所述实时虚拟图像。
在一个实施例中，可以记录采集每张所述第一实时图像的时间戳和采集每张所述第二实时图像的时间戳，进而可以根据所述目标物体所在的第一实时图像的时间戳，设置所述实施虚拟图像的时间戳，确保实施虚拟图像与对应目标物体所在第一实时图像的时间戳相同，然后可以在与所述实时虚拟图像具有相同时间戳的第二实时图像中，叠加显示所述实时虚拟图像，确保显示在第二实时图像中的实时虚拟图像，对应于与第二实时图像同时拍摄的第一实时图像中的目标物体。
图3是根据本公开的实施例示出的又一种图像显示方法的示意流程图。如图3所示，所述方法还包括：
在步骤S107中，记录显示有所述实时虚拟图像的所述第二实时图像。
在一个实施例中，由于第二实时图像可以作为现实图像，实时虚拟图像可以作为虚拟图像现实在第二图像中，那么多帧显示有所述实时虚拟图像的所述第二实时图像可以构成AR视频，从而可以记录显示有所述实时虚拟图像的所述第二实时图像作为AR视频(也可以记录某几帧显示有实时虚拟图像的第二实时图像作为AR图像)，并存储该AR视频，以便用户后续使用，例如可以作为vlog、AR虚拟形象教学视频进行。
可选地，所述第一摄像头为前置摄像头，所述第二摄像头为后置摄像头。
在一个实施例中，第一摄像头可以为前置摄像头，第二摄像头可以为后置摄像头，从而通过前置摄像头采集屏幕出光方向一侧(也即电子设备正面)的图像，通过后置摄像头采集屏幕出光方向的反方向一侧(也即电子设备背面)的图像，可以得到不同的第一实时图像和第二实时图像。
可选地，所述第一摄像头为前置摄像头或后置摄像头，所述第二摄像头为可旋转摄像头。
在一个实施例中，第一摄像头可以为前置摄像头或后置摄像头，第二摄像头为可旋转摄像头。例如第二摄像头可以为伸缩式摄像头，可以从电子设备边框中伸出和缩回，在摄像头伸出的情况下，可以以伸缩方向为轴转动；例如电子设备上设置有可旋转的结构，第二摄像头可以位于该结构上，例如该结构为手机的前盖，前盖可以翻转，那么第二摄像头可以位于该前盖上，随着前盖一起翻转。
具体地，在第一摄像头为前置摄像头的情况下，第二摄像头可以通过旋转朝向电子设备背面一侧，以拍摄电子设备背面的图像，或者第二摄像头可以通过旋转朝向电子设备的侧面(该侧面为与电子设备正面和电子设备背面相接的某一侧面)，以拍摄电子设备相应侧面的图像；在第一摄像头为后置摄像头的情况下，第二摄像头可以通过旋转朝向电子设备正面一侧，以拍摄电子设备正面的图像，或者第二摄像头可以通过旋转朝向电子设备的侧面(该侧面为与电子设备正面和电子设备背面相接的某一侧面)，以拍摄电子设备相应侧面的图像。
与前述的图像显示方法的实施例相对应，本公开还提供了图像显示装置的实施例。
图4是根据本公开的实施例示出的一种图像显示装置的示意框图。本实施例所示的图像显示装置可以适用于电子设备，所述电子设备可以包括第一摄像头和第二摄像头，除了第一摄像头和第二摄像头，所述电子设备还可以包括其他摄像头。所述第一摄像头和第二摄像头是泛指电子设备中任意两个不同的摄像头，而不是特指电子设备中的某两个摄像头。所述电子设备包括但不限于手机、平板电脑、可穿戴设备等电子设备。以电子设备是手机为例，所述第一摄像头可以设置在手机屏幕外的边框区域；也可以设置在手机屏幕之下，透过手机屏幕采集图像，以便实现全面屏。
其中，所述第一摄像头可以是一个摄像头，也可以是多个摄像头，以下实施例中采集的第一实时图像，可以使通过一个摄像头采集的，也可以通过多个摄像头采集的。所述第二摄像头可以是一个摄像头，也可以是多个摄像头，以下实施例中采集的第二实时图像，可以使通过一个摄像头采集的，也可以通过多个摄像头采集的。
如图4所示，所述图像显示装置可以包括：
图像采集模块101，被配置为获取通过所述第一摄像头采集的第一实时图像，以及通过所述第二摄像头采集的第二实时图像，其中，所述第一实时图像和所述第二实时图像不同；
目标确定模块102，被配置为确定所述第一实时图像中的目标物体；
虚拟生成模块103，被配置为生成所述目标物体对应的实时虚拟图像；
图像显示模块104，被配置为在所述第二实时图像中叠加显示所述实时虚拟图像。
可选地，所述实时虚拟图像为三维图像或二维图像。
图5是根据本公开的实施例示出的另一种图像显示装置的示意框图。如图5所示，所述装置还包括：
时间记录模块105，被配置为记录采集每张所述第一实时图像的时间戳和采集每张所述第二实时图像的时间戳；
时间设置模块106，被配置为根据所述目标物体所在的第一实时图像的时间戳，设置所述实施虚拟图像的时间戳；
其中，所述图像显示模块104，被配置为在与所述实时虚拟图像具有相同时间戳的第二实时图像中，叠加显示所述实时虚拟图像。
图6是根据本公开的实施例示出的又一种图像显示装置的示意框图。如图6所示，所述装置还包括：
视频记录模块107，被配置为记录显示有所述实时虚拟图像的所述第二实时图像。
可选地，所述第一摄像头为前置摄像头，所述第二摄像头为后置摄像头。
可选地，所述第一摄像头为前置摄像头或后置摄像头，所述第二摄像头为可旋转摄像头。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在相关方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本公开的实施例还提出一种电子设备，包括：处理器，所述处理器被配置为实现上述任一实施例所述的方法。
本公开的实施例还提出一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述方法中的步骤。
图7是根据本公开的实施例示出的一种用于图像显示的装置700的示意框图。例如，装置700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图7，装置700可以包括以下一个或多个组件：处理组件702，存储器704，电源组件706，多媒体组件708，音频组件710，输入/输出(I/O)的接口712，传感器组件714，以及通信组件716。
处理组件702通常控制装置700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。
存储器704被配置为存储各种类型的数据以支持在装置700的操作。这些数据的示例包括用于在装置700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件706为装置700的各种组件提供电力。电源组件706可以包括电源管理系统，一个或多个电源，及其他与为装置700生成、管理和分配电力相关联的组件。
多媒体组件708包括在所述装置700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个第一摄像头和/或第二摄像头。当装置700处于操作模式，如拍摄模式或视频模式时，第一摄像头和/或第二摄像头可以接收外部的多媒体数据。每个第一摄像头和第二摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当装置700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。
I/O接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件714包括一个或多个传感器，用于为装置700提供各个方面的状态评估。例如，传感器组件714可以检测到装置700的打开/关闭状态，组件的相对定位，例如所述组件为装置700的显示器和小键盘，传感器组件714还可以检测装置700或装置700一个组件的位置改变，用户与装置700接触的存在或不存在，装置700方位或加速/减速和装置700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件716被配置为便于装置700和其他设备之间有线或无线方式的通信。装置700可以接入基于通信标准的无线网络，如WiFi，2G或3G，4G LTE、5G NR或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述任一实施例所述的方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由装置700的处理器720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种图像显示方法，其特征在于，适用于电子设备，所述电子设备包括第一摄像头和第二摄像头，所述方法包括：
获取通过所述第一摄像头采集的第一实时图像，以及通过所述第二摄像头采集的第二实时图像，其中，所述第一实时图像和所述第二实时图像不同；
确定所述第一实时图像中的目标物体；
生成所述目标物体对应的实时虚拟图像；
在所述第二实时图像中叠加显示所述实时虚拟图像。
2.根据权利要求1所述的方法，其特征在于，在所述第二实时图像中叠加显示所述实时虚拟图像之前，所述方法还包括：
记录采集每张所述第一实时图像的时间戳和采集每张所述第二实时图像的时间戳；
根据所述目标物体所在的第一实时图像的时间戳，设置所述实施虚拟图像的时间戳；
其中，所述在所述第二实时图像中叠加显示所述实时虚拟图像包括：
在与所述实时虚拟图像具有相同时间戳的第二实时图像中，叠加显示所述实时虚拟图像。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
记录显示有所述实时虚拟图像的所述第二实时图像。
4.根据权利要求1所述的方法，其特征在于，所述实时虚拟图像为三维图像或二维图像。
5.根据权利要求1所述的方法，其特征在于，所述第一摄像头为前置摄像头，所述第二摄像头为后置摄像头；
或者，所述第一摄像头为前置摄像头或后置摄像头，所述第二摄像头为可旋转摄像头。
6.一种图像显示装置，其特征在于，适用于电子设备，所述电子设备包括第一摄像头和第二摄像头，所述装置包括：
图像采集模块，被配置为获取通过所述第一摄像头采集的第一实时图像，以及通过所述第二摄像头采集的第二实时图像，其中，所述第一实时图像和所述第二实时图像不同；
目标确定模块，被配置为确定所述第一实时图像中的目标物体；
虚拟生成模块，被配置为生成所述目标物体对应的实时虚拟图像；
图像显示模块，被配置为在所述第二实时图像中叠加显示所述实时虚拟图像。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
时间记录模块，被配置为记录采集每张所述第一实时图像的时间戳和采集每张所述第二实时图像的时间戳；
时间设置模块，被配置为根据所述目标物体所在的第一实时图像的时间戳，设置所述实施虚拟图像的时间戳；
其中，所述图像显示模块，被配置为在与所述实时虚拟图像具有相同时间戳的第二实时图像中，叠加显示所述实时虚拟图像。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
视频记录模块，被配置为记录显示有所述实时虚拟图像的所述第二实时图像。
9.根据权利要求6所述的装置，其特征在于，所述实时虚拟图像为三维图像或二维图像。
10.根据权利要求6所述的装置，其特征在于，所述第一摄像头为前置摄像头，所述第二摄像头为后置摄像头；
或者，所述第一摄像头为前置摄像头或后置摄像头，所述第二摄像头为可旋转摄像头。
11.一种电子设备，其特征在于，包括处理器，所述处理器被配置为实现权利要求1至5中任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述程序被处理器执行时实现权利要求1至5中任一项所述方法中的步骤。
CN202010478138.8A 2020-05-29 2020-05-29 图像显示方法及装置、电子设备、计算机可读存储介质 Pending CN113747113A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010478138.8A CN113747113A (zh) 2020-05-29 2020-05-29 图像显示方法及装置、电子设备、计算机可读存储介质
EP20208663.3A EP3916683A1 (en) 2020-05-29 2020-11-19 Method and apparatus for displaying an image, electronic device and computer-readable storage medium
US16/953,937 US11308702B2 (en) 2020-05-29 2020-11-20 Method and apparatus for displaying an image, electronic device and computer-readable storage medium
KR1020200165615A KR102557592B1 (ko) 2020-05-29 2020-12-01 이미지 표시 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체
JP2020205035A JP7160887B2 (ja) 2020-05-29 2020-12-10 画像表示方法及び装置、電子機器、コンピュータ読み取り可能な記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010478138.8A CN113747113A (zh) 2020-05-29 2020-05-29 图像显示方法及装置、电子设备、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113747113A true CN113747113A (zh) 2021-12-03

Family

ID=73497624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010478138.8A Pending CN113747113A (zh) 2020-05-29 2020-05-29 图像显示方法及装置、电子设备、计算机可读存储介质

Country Status (5)

Country Link
US (1) US11308702B2 (zh)
EP (1) EP3916683A1 (zh)
JP (1) JP7160887B2 (zh)
KR (1) KR102557592B1 (zh)
CN (1) CN113747113A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091675A (zh) * 2023-04-06 2023-05-09 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007259263A (ja) * 2006-03-24 2007-10-04 Canon Inc 画像処理方法、画像処理装置、プログラム、および記憶媒体
CN106454079A (zh) * 2016-09-28 2017-02-22 北京旷视科技有限公司 图像处理方法及装置和相机
KR20170124313A (ko) * 2016-05-02 2017-11-10 홍익대학교세종캠퍼스산학협력단 실시간 사용자 시각에 대응되는 3차원 증강 현실 영상 시현 장치 및 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 시스템
CN108093171A (zh) * 2017-11-30 2018-05-29 努比亚技术有限公司 一种拍照方法、终端及计算机可读存储介质
CN108416832A (zh) * 2018-01-30 2018-08-17 腾讯科技（深圳）有限公司 媒体信息的显示方法、装置和存储介质
CN109146949A (zh) * 2018-09-05 2019-01-04 天目爱视（北京）科技有限公司 一种基于视频数据的3d测量及信息获取装置
CN109274983A (zh) * 2018-12-06 2019-01-25 广州酷狗计算机科技有限公司 进行直播的方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007060446A (ja) * 2005-08-26 2007-03-08 Sony Corp メタデータ生成装置、情報処理装置、撮像装置、テレビ会議システム、セキュリティシステム、メタデータ生成方法及びプログラム
US20070064813A1 (en) * 2005-09-16 2007-03-22 Terayon Communication Systems, Inc., A Delaware Corporation Distributed synchronous program superimposition
US7855737B2 (en) * 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
KR102079097B1 (ko) * 2013-04-09 2020-04-07 삼성전자주식회사 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
US9354702B2 (en) 2013-06-03 2016-05-31 Daqri, Llc Manipulation of virtual object in augmented reality via thought
KR102148443B1 (ko) * 2016-03-01 2020-10-14 구글 엘엘씨 핸즈프리 서비스 요청에서 얼굴 템플릿 및 토큰 프리-페치
US10210648B2 (en) * 2017-05-16 2019-02-19 Apple Inc. Emojicon puppeting
US10504003B1 (en) * 2017-05-16 2019-12-10 State Farm Mutual Automobile Insurance Company Systems and methods for 3D image distification
US10627985B2 (en) * 2017-06-16 2020-04-21 Lenovo (Singapore) Pte. Ltd. Manipulation of a virtual object during a conversational session
CN113424131A (zh) * 2018-11-12 2021-09-21 开放空间实验室公司 图像到视频的自动空间索引
KR102022559B1 (ko) * 2019-05-23 2019-09-18 주식회사 티슈 듀얼 카메라를 이용한 무배경 이미지 촬영과 이를 이용한 합성사진 촬영 방법 및 컴퓨터 프로그램
US11223855B2 (en) * 2019-09-18 2022-01-11 Loop Now Technologies Inc. System and method of real-time video overlaying or superimposing display

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007259263A (ja) * 2006-03-24 2007-10-04 Canon Inc 画像処理方法、画像処理装置、プログラム、および記憶媒体
KR20170124313A (ko) * 2016-05-02 2017-11-10 홍익대학교세종캠퍼스산학협력단 실시간 사용자 시각에 대응되는 3차원 증강 현실 영상 시현 장치 및 복수의 사용자가 동시 참여하는 3차원 증강 현실 구현 시스템
CN106454079A (zh) * 2016-09-28 2017-02-22 北京旷视科技有限公司 图像处理方法及装置和相机
CN108093171A (zh) * 2017-11-30 2018-05-29 努比亚技术有限公司 一种拍照方法、终端及计算机可读存储介质
CN108416832A (zh) * 2018-01-30 2018-08-17 腾讯科技（深圳）有限公司 媒体信息的显示方法、装置和存储介质
CN109146949A (zh) * 2018-09-05 2019-01-04 天目爱视（北京）科技有限公司 一种基于视频数据的3d测量及信息获取装置
CN109274983A (zh) * 2018-12-06 2019-01-25 广州酷狗计算机科技有限公司 进行直播的方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091675A (zh) * 2023-04-06 2023-05-09 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP2021190076A (ja) 2021-12-13
JP7160887B2 (ja) 2022-10-25
KR20210147843A (ko) 2021-12-07
US20210375051A1 (en) 2021-12-02
EP3916683A1 (en) 2021-12-01
US11308702B2 (en) 2022-04-19
KR102557592B1 (ko) 2023-07-20

Similar Documents

Publication Publication Date Title
KR102194094B1 (ko) 가상과 실제 물체의 합성 방법, 장치, 프로그램 및 기록매체
US20170304735A1 (en) Method and Apparatus for Performing Live Broadcast on Game
CN108495032B (zh) 图像处理方法、装置、存储介质及电子设备
CN112153400B (zh) 直播互动方法、装置、电子设备及存储介质
EP3174283A1 (en) Preview image display method and apparatus, computer program and recording medium
KR20210133112A (ko) 비디오 처리 방법, 장치 및 저장 매체
CN109922252B (zh) 短视频的生成方法及装置、电子设备
CN113238656B (zh) 三维图像的显示方法、装置、电子设备及存储介质
CN114170302A (zh) 相机外参标定方法、装置、电子设备及存储介质
CN114025105B (zh) 视频处理方法、装置、电子设备、存储介质
CN109218709B (zh) 全息内容的调整方法及装置和计算机可读存储介质
EP3916683A1 (en) Method and apparatus for displaying an image, electronic device and computer-readable storage medium
CN111355879B (zh) 包含特效图案的图像获取方法、装置和电子设备
CN113286073A (zh) 拍摄方法、拍摄装置及存储介质
CN115914721A (zh) 直播画面处理方法、装置、电子设备及存储介质
CN111586296B (zh) 图像拍摄方法、图像拍摄装置及存储介质
CN110312117B (zh) 数据刷新方法及装置
CN108924529B (zh) 图像显示的控制方法及装置
CN114078280A (zh) 动作捕捉方法、装置、电子设备及存储介质
CN112906467A (zh) 合影图像生成方法及装置、电子设备和存储介质
CN114430457A (zh) 拍摄方法、装置、电子设备和存储介质
CN114078279A (zh) 动作捕捉方法、装置、电子设备及存储介质
CN111862288A (zh) 一种位姿渲染方法、装置及介质
CN113315903A (zh) 图像获取方法和装置、电子设备、存储介质
CN110276841B (zh) 应用于增强现实设备的运动轨迹确定方法、装置及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination