CN108615261B - 增强现实中图像的处理方法、处理装置及存储介质 - Google Patents

增强现实中图像的处理方法、处理装置及存储介质 Download PDF

Info

Publication number
CN108615261B
CN108615261B CN201810370548.3A CN201810370548A CN108615261B CN 108615261 B CN108615261 B CN 108615261B CN 201810370548 A CN201810370548 A CN 201810370548A CN 108615261 B CN108615261 B CN 108615261B
Authority
CN
China
Prior art keywords
human body
image
scene picture
augmented reality
body image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810370548.3A
Other languages
English (en)
Other versions
CN108615261A (zh
Inventor
高雅雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tiangui Nianhua Culture Technology Co ltd
Original Assignee
Shenzhen Tiangui Nianhua Culture Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tiangui Nianhua Culture Technology Co ltd filed Critical Shenzhen Tiangui Nianhua Culture Technology Co ltd
Priority to CN201810370548.3A priority Critical patent/CN108615261B/zh
Publication of CN108615261A publication Critical patent/CN108615261A/zh
Application granted granted Critical
Publication of CN108615261B publication Critical patent/CN108615261B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种增强现实中图像的处理方法，所述增强现实中图像的处理方法包括以下步骤：接收到摄像头获取的场景画面时，获取所述场景画面中的目标人体图像；向所述场景画面中添加虚拟投射物；当所述虚拟投射物和所述目标人体图像发生重叠时，对所述虚拟投射物与所述目标人体图像重叠的部分进行遮挡剔除。本发明还提供一种增强现实中图像的处理装置和存储介质。本发明能够使增强现实图像中目标人体图像被显露出来，形成目标人体图像遮挡虚拟投射物的视觉效果。

Description

增强现实中图像的处理方法、处理装置及存储介质
技术领域
本发明涉及增强现实领域，尤其涉及增强现实中图像的处理方法、处理装置及存储介质。
背景技术
AR(现实增强)技术是一种通过摄像获取到真实环境信息，然后将虚拟投射物叠加到获取到的真实环境信息中，再展示给用户，从而实现用户在感官上同时看到虚拟物体存在于现实环境的视觉效果。
然而，目前的显示增强技术中，获取到的真实环境的场景画面仅仅作为虚拟投射物的背景，从而使得常作为视觉参照、需要在虚拟投射物之前的人体在得到的增强现实图像中也被虚拟投射物遮挡。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种增强现实中图像的处理方法，旨在解决当前常作为视觉参照、需要在虚拟投射物之前的人体在得到的增强现实图像中也被虚拟投射物遮挡的技术问题。
为实现上述目的，本发明提供一种增强现实中图像的处理方法，所述增强现实中图像的处理方法包括以下步骤：
接收到摄像头获取的场景画面时，获取所述场景画面中的目标人体图像；
向所述场景画面中添加虚拟投射物；
当所述虚拟投射物和所述目标人体图像发生重叠时，对所述虚拟投射物与所述目标人体图像重叠的部分进行遮挡剔除。
优选地，所述接收到摄像头获取的场景画面时，获取所述场景画面中的目标人体图像的步骤包括：
接收到摄像头获取的场景画面时，获取所述场景画面中的人体图像；
将所述场景画面输出至显示器显示，以供用户对所述人体图像进行选择；
当接收到用户的选择指令时，根据所述选择指令包含的人体图像信息，获取所述用户选中的人体图像；
将所述用户选中的人体图像作为所述目标人体图像。
优选地，所述接收到摄像头获取的场景画面时，获取所述场景画面中的目标人体图像的步骤之后，还包括：
获取所述目标人体图像的轮廓；
根据所述目标人体图像的轮廓建立所述目标人体图像的三维透明替代物；
所述当所述虚拟投射物和所述目标人体图像发生重叠时，对所述虚拟投射物与所述目标人体图像重叠的部分进行遮挡剔除的步骤包括：
当所述虚拟投射物和所述三维透明替代物发生相交时，对所述虚拟投射物与所述三维透明替代物相交的部分不进行渲染。
优选地，所述接收到摄像头获取的场景画面时，获取所述场景画面中的人体图像的步骤包括：
接收到摄像头获取的场景画面时，调取预存的人体识别算法；
利用所述人体识别算法对所述场景画面进行处理，获取所述场景画面中的人体图像。
优选地，所述获取所述目标人体图像的轮廓的步骤包括：
获取所述场景图像的颜色信息；
根据所述目标人体图像和所述场景画面中的背景图像的颜色差异，获取所述目标人体图像的轮廓。
优选地，所述的增强现实中图像的处理方法还包括：
接收到摄像头获取的场景画面时，判断所述场景画面中是否存在人体图像；
当判定所述场景画面中存在人体图像时，执行所述获取所述场景画面中的目标人体图像的步骤。
优选地，所述增强现实中图像的处理方法还包括：
获取所述目标人体图像中预设的人体特征部位；
获取所述人体特征部位的动作信息；
根据预设的动作信息和交互操作的对应关系表，获取所述人体特征部位的动作信息对应的交互操作；
执行所述交互操作。
此外，为实现上述目的，本发明还提供一种增强现实中图像的处理装置，所述增强现实中图像的处理包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的增强现实中图像的处理程序，所述增强现实中图像的处理程序被所述处理器执行时实现如上所述的增强现实中图像的处理方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有增强现实中图像的处理程序，所述增强现实中图像的处理程序被处理器执行时实现如上所述的增强现实中图像的处理方法的步骤。
本发明实施例提出的一种增强现实中图像的处理方法，终端接收到摄像头获取的场景画面时，获取所述场景画面中的人体图像，当向所述场景画面中添加虚拟投射物时，对所述虚拟投射物与所述人体图像重叠的部分进行遮挡剔除，从而使得最终的增强现实图像中人体图像被显露出来，形成人体图像遮挡虚拟投射物的视觉效果。
附图说明
图1是本发明实施例方案涉及的增强现实中图像的处理装置的硬件结构示意图；
图2为本发明增强现实中图像的处理方法第一实施例流程示意图；
图3为本发明增强现实中图像的处理方法第二实施例流程示意图；
图4为本发明增强现实中图像的处理方法第三实施例流程示意图；
图5为本发明增强现实中图像的处理方法第四实施例流程示意图；
图6为本发明增强现实中图像的处理方法第五实施例流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：终端接收到摄像头获取的场景画面时，获取所述场景画面中的目标人体图像，然后向所述场景画面中添加虚拟投射物，当所述虚拟投射物和所述目标人体图像发生重叠时，对所述虚拟投射物与所述目标人体图像重叠的部分进行遮挡剔除。
由于现有技术中，获取到的真实环境的场景画面仅仅作为虚拟投射物的背景，从而使得常作为视觉参照、需要在虚拟投射物之前的人体在得到的增强现实图像中也被虚拟投射物遮挡。
本发明提供一种解决方案，使得最终的增强现实图像中人体图像被显露出来，形成人体图像遮挡虚拟投射物的视觉效果
如图1所示，图1是本发明实施例方案涉及的增强现实中图像的处理装置的硬件结构示意图。
本发明实施例终端可以是智能手机，也可以是PC、平板电脑、便携计算机等具有显示功能的终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，用户接口1003，存储器1004，通信总线1002，摄像头1005、显示器1006。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括输入单元比如键盘(Keyboard)、鼠标，可选用户接口1003还可以包括标准的有线接口、无线接口。存储器1004可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1004可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1004中可以包括操作系统、网络通信模块、用户接口模块以及增强现实中图像的处理程序。
在图1所示的终端中，摄像头1005用于获取场景画面；显示器1006用于显示场景画面和增强现实图像；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1004中存储的增强现实中图像的处理程序，并执行以下操作：
接收到摄像头获取的场景画面时，获取所述场景画面中的目标人体图像；
向所述场景画面中添加虚拟投射物；
当所述虚拟投射物和所述目标人体图像发生重叠时，对所述虚拟投射物与所述目标人体图像重叠的部分进行遮挡剔除。
进一步地，处理器1001可以调用存储器1004中存储的增强现实中图像的处理程序，还执行以下操作：
接收到摄像头获取的场景画面时，获取所述场景画面中的人体图像；
将所述场景画面输出至显示器显示，以供用户对所述人体图像进行选择；
当接收到用户的选择指令时，根据所述选择指令包含的人体图像信息，获取所述用户选中的人体图像；
将所述用户选中的人体图像作为所述目标人体图像。
进一步地，处理器1001可以调用存储器1004中存储的增强现实中图像的处理程序，还执行以下操作：
获取所述目标人体图像的轮廓；
根据所述目标人体图像的轮廓建立所述目标人体图像的三维透明替代物；
所述当所述虚拟投射物和所述目标人体图像发生重叠时，对所述虚拟投射物与所述目标人体图像重叠的部分进行遮挡剔除的步骤包括：
当所述虚拟投射物和所述三维透明替代物发生相交时，对所述虚拟投射物与所述三维透明替代物相交的部分不进行渲染。
进一步地，处理器1001可以调用存储器1004中存储的增强现实中图像的处理程序，还执行以下操作：
接收到摄像头获取的场景画面时，调取预存的人体识别算法；
利用所述人体识别算法对所述场景画面进行处理，获取所述场景画面中的人体图像。
进一步地，处理器1001可以调用存储器1004中存储的增强现实中图像的处理程序，还执行以下操作：
获取所述场景图像的颜色信息；
根据所述目标人体图像和所述场景画面中的背景图像的颜色差异，获取所述目标人体图像的轮廓。
进一步地，处理器1001可以调用存储器1004中存储的增强现实中图像的处理程序，还执行以下操作：
接收到摄像头获取的场景画面时，判断所述场景画面中是否存在人体图像；
当判定所述场景画面中存在人体图像时，执行所述获取所述场景画面中的目标人体图像的步骤。
进一步地，处理器1001可以调用存储器1004中存储的增强现实中图像的处理程序，还执行以下操作：
获取所述目标人体图像中预设的人体特征部位；
获取所述人体特征部位的动作信息；
根据预设的动作信息和交互操作的对应关系表，获取所述人体特征部位的动作信息对应的交互操作；
执行所述交互操作。
参照图2，本发明增强现实中图像的处理方法第一实施例的流程示意图，所述增强现实中图像的处理方法包括：
步骤S100，接收到摄像头获取的场景画面时，获取所述场景画面中的目标人体图像；
本发明提供的增强现实中图像的处理方法主要用于基于显示器的增强现实实现方案，也可以应用于其他增强现实实现方案。本发明提供的增强现实中图像的处理方法涉及的终端包括但不限于手机、平板电脑和电脑等，所述终端带有摄像头，所述摄像头包括标准的二维摄像头，例如可以是一般电子设备(例如手机)所携带的摄像头。
终端开启增强现实功能后，首先通过摄像头获取真实环境中所需场景的视频画面，所述视频画面以序列帧的形式获取。终端接收到场景画面后，识别场景画面中的人体图像，可以理解的是，所述人体图像可以是整个人的图像，也可以是人的一个部位的图像，例如手、面部等。获取场景画面中人体图像的方法可以根据需要自行设置，在此不做具体限制。优选地，终端获取到场景视频画面后，先识别判断场景画面中是否存在人体图像，当判定存在人体图像时，在执行获取人体图像的步骤。
终端获取到场景画面中的人体图像后，进一步获取场景画面中的目标人体图像，可以理解的是，所述目标人体图像可以根据实际需要自行设置，在此不做具体限制。例如，可以设置为场景画面中获取到的所有人体图像均为目标人体图像；或者某种人体的特征部位的图像为目标人体图像，例如设置手的图像为目标人体图像；还可以设置为识别出人体图像后，用户自行选择哪些人体图像为目标人体图像。
步骤S200，向所述场景画面中添加虚拟投射物；
增强现实技术是通过向获取到的真实场景画面中添加虚拟的投射物，然后将虚拟投射物与真实场景画面相结合并输出结合后的图像，得到最终的增强现实图像。在本实施例中，终端将摄像头获取到的场景画面作为背景，然后在该场景画面背景上建立虚拟投射物的模型，再对虚拟投射物模型进行渲染从而得到虚拟投射物，虚拟投射物与场景画面结合得到增强现实图像。本实施例中，在场景画面中添加虚拟投射物，得到增强现实图像的软件可以根据需要自行选择，在此不做具体限制，优选地，可以通过Unity3D软件实现。
步骤S300，当所述虚拟投射物和所述目标人体图像发生重叠时，对所述虚拟投射物与所述目标人体图像重叠的部分进行遮挡剔除。
当再场景画面上添加虚拟投射物时，终端识别虚拟投射物的位置和场景画面中目标人体图像的位置，判断所述虚拟投射物和目标人体图像是否发生重叠，当判定所述虚拟投射物和目标人体图像发生重叠时，获取到所述虚拟投射物和人体图像重叠的部分，对该部分的虚拟投射物进行遮挡剔除，从而使得虚拟投射物上产生与目标人体图像相同的缺口。终端对虚拟投射物与目标人体图像重叠的部分进行遮挡剔除的方法可以根据实际情况自行设置，在此不做具体限制。例如，例如，可以通过以下方法实现虚拟投射物与目标人体图像重叠的部分进行遮挡剔除：首先将虚拟投射物投射到场景画面中，然后将目标人体图像作为前景图像，即覆盖到虚拟投射物上，从而实现人体图像对虚拟投射物的遮挡，然后再对被遮挡的虚拟投射物的部分不进行渲染。
终端完成虚拟投射物的添加和所述虚拟投射物的遮挡剔除后，将上述场景画面和虚拟投射物的结合得到增强现实图像，并将该增强现实图像输出到终端的显示器上。在该增强现实图像中，由于虚拟投射物与目标人体图像重叠的部分进行了遮挡剔除，存在与目标人体图像相同的缺口，虚拟投射物的和场景画面结合得到增强现实图像时，目标人体图像就会从缺口显露出来，形成目标人体图像遮挡虚拟投射物的视觉效果。
本实施例提供的技术方案，终端接收到摄像头获取的场景画面时，获取所述场景画面中的目标人体图像，然后向所述场景画面中添加虚拟投射物，当所述虚拟投射物和所述目标人体图像发生重叠时，对所述虚拟投射物与所述目标人体图像重叠的部分进行遮挡剔除，从而使得最终的增强现实图像中目标人体图像被显露出来，形成目标人体图像遮挡虚拟投射物的视觉效果。
参照图3，图3为本发明增强现实中图像的处理方法第二实施例的流程示意图，基于第一实施例，所述步骤S100的细化步骤包括：
步骤S110，接收到摄像头获取的场景画面时，获取所述场景画面中的人体图像；
步骤S120，将所述场景画面输出至显示器显示，以供用户对所述人体图像进行选择；
步骤S130，当接收到用户的选择指令时，根据所述选择指令包含的人体图像信息，获取所述用户选中的人体图像；
步骤S140，将所述用户选中的人体图像作为所述目标人体图像。
在实际使用情况中，可能会存在终端获取到的场景画面中，存在多个人体图像，其中有的人体图像作为遮挡物遮挡虚拟投射物，而其他人体图像需要被虚拟投射物遮挡，因此，本实施例提供的技术方案中，用户可以选择终端获取到的场景画面中的哪些人体图像作为遮挡虚拟投射物的人体图像。
具体地，终端接收到摄像头获取的场景画面，识别并获取到场景画面中的人体图像，然后将包含人体图像信息的场景画面输出至显示器上进行显示，以使的用户可以对人体图像进行选择。场景画面在显示屏上显示后，用户可以根据实际需要选择需要对虚拟投射物进行遮挡的人体图像。终端接收到用户的选择指令后，根据所述选择指令获取用户选中的人体图像，并将所述用户选中的人体图像作为目标人体图像。此外，该选择指令还可以触发增强现实中添加虚拟投射物的步骤。当终端向所述场景画面中添加虚拟投射物时，只对所述虚拟投射物与用户选中的部分进行遮挡剔除，而不对虚拟投射物与除用户选中的人体图像外的人体图像相交的部分进行遮挡剔除。从而使得用户能够根据实际需要选择遮挡虚拟投射物的人体图像。
本实施例提供的技术方案，终端接收到摄像头获取的场景画面时，获取所述场景画面中的人体图像，将所述场景画面输出至显示器显示，以供用户对所述人体图像进行选择，当终端接收到用户的选择指令时，根据所述选择指令包含的人体图像信息，获取所述用户选中的人体图像并将所述用户选中的人体图像作为所述目标人体图像，从而使得用户能够根据实际需要选择遮挡虚拟投射物的人体图像，更合理的实现了增强现实图像中人体图像和虚拟投射物的遮挡效果。
参照图4，图4为本发明增强现实中图像的处理方法第三实施例的流程示意图，基于第一和第二实施例，所述步骤S100之后，还包括：
步骤S400，获取所述目标人体图像的轮廓；
步骤S500，根据所述目标人体图像的轮廓建立所述目标人体图像的三维透明替代物；
所述步骤S300的细化步骤包括：
步骤S310，当所述虚拟投射物和所述三维透明替代物发生相交时，对所述虚拟投射物与所述三维透明替代物相交的部分不进行渲染。
,本实施例中，当向所述场景画面中添加虚拟投射物，当所述虚拟投射物和所述目标人体图像发生重叠时，对所述虚拟投射物与所述目标人体图像重叠的部分进行遮挡剔除的步骤通过建立目标人体图像的三维透明替代物，进而对虚拟投射物与该三维透明替代物重叠的部分不进行渲染来实现。
具体地，终端获取到当场景画面中的目标人体图像后，进一步获取该目标人体图像的轮廓，然后将包含目标人体图像轮廓信息的场景画面传输至增强现实图像生成软件中作为增强现实图像的背景，在该场景画面背景上建立横切面轮廓与目标人体图像轮廓相同的三维透明替代物，所述三维透明替代物贯穿所述场景画面至增强现实软件的虚拟摄像头之间的空间。当向所述场景画面中投射虚拟投射物时，如果虚拟投射物与该三维透明替代物存在相交部分，则不渲染虚拟投射物与透明替代物相交的部分，从而使得虚拟投射物产生与目标人体图像轮廓一致的缺口，实现虚拟投射物与目标人体图像重叠部分的遮挡剔除。
本实施例提供的技术方案，终端获取所述目标人体图像的轮廓，当场景画面作为增强现实图像的背景时，根据所述目标人体图像的轮廓建立所述目标人体图像的三维透明替代物，当所述虚拟投射物和所述三维透明替代物发生重叠时，则不渲染所述虚拟投射物与所述三维透明替代物重叠的部分，从而更为便捷的实现虚拟投射物与人体图像重叠部分的遮挡剔除。
参照图5，图5为本发明增强现实中图像的处理方法第四实施例的流程示意图，基于第一至第三实施例，所述步骤S110的细化步骤包括：
步骤S111，接收到摄像头获取的场景画面时，调取预存的人体识别算法；
步骤S112，利用所述人体识别的算法对所述场景画面进行处理，获取所述场景画面中的人体图像。
本实施例中，利用人体识别算法对场景画面进行处理，识别并获取场景画面中的人体图像。可以理解的是，所述人体识别算法可以根据实际情况自行设定，在此不做具体限制。例如可以是用户自行开发的存储在终端中的人体识别算法。优选地，本实施例中，利用OpenCV(Open Source Computer Vision Library,开源计算机视觉库)中的人体识别算法对获取到的场画面像进行处理，获取场景画面中的人体图像。
具体地，终端接收到摄像头获取的视频场景画面后，将所述视频场景画面以帧序列的形式发送至OpenCV中人体识别处理的模块进行处理；OpenCV模块接收到场景画面后，调取人体识别算法对场景画面进行处理，识别并获取场景画面中的人体图像，然后根据预设条件，获取场景画面中的目标人体图像。
进一步的，获取到场景画面中的目标人体图像后，也可以通过OpenCV的相关模块获取所述目标人体图像的轮廓。具体地，OpenCV的相关模块调取OpenCV中的轮廓提取算法，获取场景画面的颜色信息，可以理解的是，所述场景画面的颜色包括目标人体图像的颜色和场景画面中背景图像的颜色，然后根据所述目标人体图像和场景画面中背景图像的颜色颜差异，获取所述目标人体图像的轮廓。
处理完成后，OpenCV的相应处理模块将包含有目标人体图像轮廓信息的场景图像发送至增强现实图像生成软件，以进行遮挡现实的图像的生成。可以理解的是，增强现实图像生成软件可以根据实际情况自行选取，在此不做具体限制。
优选地，OpenCV对场景画面进行处理后，将处理后的场景画面发送至Unity3D软件，利用Unity3D软件来实现最终的增强现实图像。具体地，处理完成后，OpenCV将包含有目标人体图像轮廓信息的场景图像发送至Unity3D软件，Unity3D软件接收到场景画面后，根据目标人体图像的轮廓生成横切面与目标人体图像相同的三维透明替代物，所述透明替代物贯穿所述场景画面至Unity3D的摄像头之间的空间。当Unity3D向所述场景画面中投射虚拟投射物时，如果虚拟投射物将与该三维透明替代物存在重叠的部分，则不渲染重叠的部分的虚拟投射物，从而使得虚拟投射物出现与目标人体图像轮廓一致的缺口。Unity3D将带有所述缺口的所述虚拟投射物与所述场景画面结合，生成最终的增强现实图像，输出值终端显示器。由于缺口轮廓和目标人体部位的轮廓是一致的，从而使得在最终的增强现实图像中所述目标人体部位被显现出来，形成人体部位遮挡虚拟投射物的视觉效果。
本实施例提供的技术方案，终端接收到摄像头获取的场景画面时，接收到摄像头获取的场景画面时，调取开源计算机视觉库中的人体识别算法，利用所述人体识别算法对所述场景画面进行处理，获取所述场景画面中的人体图像，从而无需单独开发相应软件，使得普通的终端即可实现人体图像的识别和获取。
参照图6，图6为本发明增强现实中图像的处理方法第五实施例的流程示意图，基于第一至第四实施例，所述增强现实中图像的处理方法还包括：
步骤S600，获取所述目标人体图像中预设的人体特征部位；
步骤S700，获取所述人体特征部位的动作信息；
步骤S800，根据预设的动作信息和交互操作的对应关系表，获取所述人体特征部位的动作信息对应的交互操作；
步骤S900，执行所述交互操作。
在本实施例中，基于上述实施例，在增强现实图像中，实现了人体图像对虚拟投射物的遮挡之后，人体图像被显露出来，在此基础上即可以获取人体图像中特征部位的动作，根据动作激活预设的交互操作，即可实现人体与增强现实场景的交互。
具体地，终端的存储器中存储有预设的人体特征部位、人体特征部位的动作信息和所述动作信息对应的交互操作，所述预设特征点包括但不限于手指尖、眼球、嘴和鼻尖。可以理解的是，人体特征部位的动作信息及所述动作信息对应的交互操作可以根据实际情况自行设置，在此不做具体限制；例如所述人体所述交互操作可以包括人体与虚拟投射物的交互，例如可以预设控制虚拟投射物旋转、放大等的动作，还可以包括人体和终端的其他交互，例如可以预设结束增强现实场景的动作。
终端接收到摄像头获取的场景图像后，获取该人体图像中的预设特征点，进一步获取所述特征点的动作信息，可以理解的是，获取特征点动作信息的方法可以根据实际情况自行设置，在此不做具体限制，优选地，获取人体特征部位的动作信息通过OpenCV中的动作识别算法实现。终端获取到特征部位的动作信息后，根据预设的动作信息和交互操作的对应关系表，获取特征部位的动作信息对应的交互操作，然后执行该交互操作，从而实现人体和增强现实场景的交互。例如，终端中存储有人体特征部位手指尖滑动的动作为旋转虚拟投射物，则当终端识别到场景画面中的手指尖滑动时，控制增强现实图像中的虚拟投射物旋转，使得用户能够全方位的观察虚拟投射物；又例如，终端中存储有人体特征部位手指尖点击三下的动作为结束增强现实场景，则终端识别到场景画面中的手指尖点击三下时，结束增强现实场景。
本实施例提供的技术方案，终端获取所述目标人体图像中预设的人体特征部位，然后获取所述人体特征部位的动作信息，根据预设的动作信息和交互操作的对应关系表，获取所述人体特征部位的动作信息对应的交互操作，执行获取到的交互操作，从而实现了人体和增强现实场景的交互。
此外，本发明实施例还提供一种增强现实中图像的处理装置，所述增强现实中图像的处理包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的增强现实中图像的处理程序，所述增强现实中图像的处理程序被所述处理器执行时实现如上实施例所述的增强现实中图像的处理方法的步骤。
此外，本发明实施例还提供一种存储介质，所述存储介质上存储有增强现实中图像的处理程序，所述增强现实中图像的处理程序被处理器执行时实现如上实施例所述的增强现实中图像的处理方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种增强现实中图像的处理方法，其特征在于，所述增强现实中图像的处理方法包括以下步骤：
接收到摄像头获取的场景画面时，获取所述场景画面中的目标人体图像；
获取所述目标人体图像的轮廓；
根据所述目标人体图像的轮廓建立横切面轮廓与所述目标人体图像的轮廓相同的三维透明替代物，其中，所述三维透明替代物贯穿所述场景画面至摄像头之间的空间；
向所述场景画面中添加虚拟投射物；
当所述虚拟投射物和所述三维透明替代物发生相交时，对所述虚拟投射物与所述三维透明替代物相交的部分不进行渲染。
2.如权利要求1所述的增强现实中图像的处理方法，其特征在于，所述接收到摄像头获取的场景画面时，获取所述场景画面中的目标人体图像的步骤包括：
接收到摄像头获取的场景画面时，获取所述场景画面中的人体图像；
将所述场景画面输出至显示器显示，以供用户对所述人体图像进行选择；
当接收到用户的选择指令时，根据所述选择指令包含的人体图像信息，获取所述用户选中的人体图像；
将所述用户选中的人体图像作为所述目标人体图像。
3.如权利要求2所述的增强现实中图像的处理方法，其特征在于，所述接收到摄像头获取的场景画面时，获取所述场景画面中的人体图像的步骤包括：
接收到摄像头获取的场景画面时，调取预存的人体识别算法；
利用所述人体识别算法对所述场景画面进行处理，获取所述场景画面中的人体图像。
4.如权利要求1所述的增强现实中图像的处理方法，其特征在于，所述获取所述目标人体图像的轮廓的步骤包括：
获取所述场景图像的颜色信息；
根据所述目标人体图像和所述场景画面中的背景图像的颜色差异，获取所述目标人体图像的轮廓。
5.如权利要求1-4任一项所述的增强现实中图像的处理方法，其特征在于，所述的增强现实中图像的处理方法还包括：
接收到摄像头获取的场景画面时，判断所述场景画面中是否存在人体图像；
当判定所述场景画面中存在人体图像时，执行所述获取所述场景画面中的目标人体图像的步骤。
6.如权利要求1-4任一项所述的增强现实中图像的处理方法，其特征在于，所述增强现实中图像的处理方法还包括：
获取所述目标人体图像中预设的人体特征部位；
获取所述人体特征部位的动作信息；
根据预设的动作信息和交互操作的对应关系表，获取所述人体特征部位的动作信息对应的交互操作；
执行所述交互操作。
7.一种增强现实中图像的处理装置，其特征在于，所述增强现实中图像的处理包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的增强现实中图像的处理程序，所述增强现实中图像的处理程序被所述处理器执行时实现如权利要求1至6中任一项所述的增强现实中图像的处理方法的步骤。
8.一种存储介质，其特征在于，所述存储介质上存储有增强现实中图像的处理程序，所述增强现实中图像的处理程序被处理器执行时实现如权利要求1至6中任一项所述的增强现实中图像的处理方法的步骤。
CN201810370548.3A 2018-04-20 2018-04-20 增强现实中图像的处理方法、处理装置及存储介质 Expired - Fee Related CN108615261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810370548.3A CN108615261B (zh) 2018-04-20 2018-04-20 增强现实中图像的处理方法、处理装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810370548.3A CN108615261B (zh) 2018-04-20 2018-04-20 增强现实中图像的处理方法、处理装置及存储介质

Publications (2)

Publication Number Publication Date
CN108615261A CN108615261A (zh) 2018-10-02
CN108615261B true CN108615261B (zh) 2022-09-09

Family

ID=63660399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810370548.3A Expired - Fee Related CN108615261B (zh) 2018-04-20 2018-04-20 增强现实中图像的处理方法、处理装置及存储介质

Country Status (1)

Country Link
CN (1) CN108615261B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862866B (zh) * 2020-07-09 2022-06-03 北京市商汤科技开发有限公司 图像显示方法、装置、设备及计算机可读存储介质
CN112860061A (zh) * 2021-01-15 2021-05-28 深圳市慧鲤科技有限公司 场景图像展示方法及装置、电子设备和存储介质
CN113066189B (zh) * 2021-04-06 2022-06-14 海信视像科技股份有限公司 一种增强现实设备及虚实物体遮挡显示方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156810A (zh) * 2011-03-30 2011-08-17 北京触角科技有限公司 增强现实实时虚拟试衣系统及方法
CN102509343A (zh) * 2011-09-30 2012-06-20 北京航空航天大学 一种基于双目图像和对象轮廓的虚实遮挡处理方法
CN103489214A (zh) * 2013-09-10 2014-01-01 北京邮电大学 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法
CN103493106A (zh) * 2011-03-29 2014-01-01 高通股份有限公司 使用骨骼跟踪来选择性地将手遮蔽在物理表面上的虚拟投影之上
CN105931289A (zh) * 2016-04-14 2016-09-07 大连新锐天地传媒有限公司 实现真实模型遮盖虚拟物体的系统及方法
CN106104635A (zh) * 2013-12-06 2016-11-09 奥瑞斯玛有限公司 遮挡增强现实对象
CN107728792A (zh) * 2017-11-17 2018-02-23 浙江大学 一种基于手势识别的增强现实三维绘图系统及绘图方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100240988A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360 degree heads up display of safety/mission critical data
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
EP3308539A1 (en) * 2015-06-12 2018-04-18 Microsoft Technology Licensing, LLC Display for stereoscopic augmented reality
CN107481310B (zh) * 2017-08-14 2020-05-08 迈吉客科技（北京）有限公司 一种图像渲染方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103493106A (zh) * 2011-03-29 2014-01-01 高通股份有限公司 使用骨骼跟踪来选择性地将手遮蔽在物理表面上的虚拟投影之上
CN102156810A (zh) * 2011-03-30 2011-08-17 北京触角科技有限公司 增强现实实时虚拟试衣系统及方法
CN102509343A (zh) * 2011-09-30 2012-06-20 北京航空航天大学 一种基于双目图像和对象轮廓的虚实遮挡处理方法
CN103489214A (zh) * 2013-09-10 2014-01-01 北京邮电大学 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法
CN106104635A (zh) * 2013-12-06 2016-11-09 奥瑞斯玛有限公司 遮挡增强现实对象
CN105931289A (zh) * 2016-04-14 2016-09-07 大连新锐天地传媒有限公司 实现真实模型遮盖虚拟物体的系统及方法
CN107728792A (zh) * 2017-11-17 2018-02-23 浙江大学 一种基于手势识别的增强现实三维绘图系统及绘图方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Kinect增强现实的虚实注册与遮挡技术研究;易柳;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170615(第06期);I138-1446 *

Also Published As

Publication number Publication date
CN108615261A (zh) 2018-10-02

Similar Documents

Publication Publication Date Title
US10460512B2 (en) 3D skeletonization using truncated epipolar lines
EP3713220B1 (en) Video image processing method and apparatus, and terminal
CN111641844B (zh) 直播互动方法、装置、直播系统及电子设备
CN109829981B (zh) 三维场景呈现方法、装置、设备及存储介质
CN106385591B (zh) 视频处理方法及视频处理装置
US9654734B1 (en) Virtual conference room
EP3511864A1 (en) Method and apparatus for synthesizing virtual and real objects
CN108615261B (zh) 增强现实中图像的处理方法、处理装置及存储介质
KR102386639B1 (ko) 스트로크 특수 효과 프로그램 파일 패키지의 생성 및 스트로크 특수 효과 생성 방법과 장치
US10810801B2 (en) Method of displaying at least one virtual object in mixed reality, and an associated terminal and system
CN110554770A (zh) 静态遮挡物
CN111626183A (zh) 一种目标对象展示方法及装置、电子设备和存储介质
US10955911B2 (en) Gazed virtual object identification module, a system for implementing gaze translucency, and a related method
CN113763286A (zh) 图像处理方法及装置、电子设备和存储介质
CN112348841B (zh) 虚拟对象的处理方法、装置、电子设备及存储介质
CN114067085A (zh) 一种虚拟对象的显示方法及装置、电子设备和存储介质
CN113269781A (zh) 数据生成方法、装置及电子设备
CN113223186B (zh) 实现增强现实的处理方法、设备、产品和装置
CN110597397A (zh) 增强现实的实现方法、移动终端及存储介质
CN113301243B (zh) 图像处理方法、交互方法、系统、装置、设备和存储介质
CN106775245B (zh) 基于虚拟现实的用户属性设置方法及装置
CN113012052A (zh) 图像处理方法及装置、电子设备和存储介质
CN109800652A (zh) 文字翻译方法及装置
JP7319575B2 (ja) 画像処理装置と、その処理方法、プログラム
JP7148779B2 (ja) 画像処理装置と、その処理方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220909

CF01 Termination of patent right due to non-payment of annual fee