CN106445131A - 虚拟目标操作方法和装置 - Google Patents

虚拟目标操作方法和装置 Download PDF

Info

Publication number
CN106445131A
CN106445131A CN201610831338.0A CN201610831338A CN106445131A CN 106445131 A CN106445131 A CN 106445131A CN 201610831338 A CN201610831338 A CN 201610831338A CN 106445131 A CN106445131 A CN 106445131A
Authority
CN
China
Prior art keywords
image
virtual target
interactive interface
virtual
real scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610831338.0A
Other languages
English (en)
Other versions
CN106445131B (zh
Inventor
吴雁林
李德元
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610831338.0A priority Critical patent/CN106445131B/zh
Publication of CN106445131A publication Critical patent/CN106445131A/zh
Application granted granted Critical
Publication of CN106445131B publication Critical patent/CN106445131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Abstract

本发明涉及一种虚拟目标操作方法和装置,该方法包括:采集实景图像;将所述实景图像作为交互界面的背景图像;在所述实景图像中检测人脸图像;根据检测到的人脸图像生成作为所述交互界面的前景图像的虚拟目标;获取针对所述虚拟目标的操作指令;根据所述操作指令对所述虚拟目标执行预定义操作。本发明提供的虚拟目标操作方法和装置,将虚拟场景和现实场景进行了结合,通过该交互界面可以实现在虚拟场景和现实场景之间进行交互的效果,传递的信息量不仅限于虚拟场景传递的信息量,还包括现实场景所传递的信息量,从而可以传递更丰富的信息量。

Description

虚拟目标操作方法和装置
技术领域
本发明涉及终端技术领域,特别是涉及一种虚拟目标操作方法和装置。
背景技术
虚拟目标是可被终端展示并可被操作的数据对象,比如电子游戏中的游戏角色或者应用中的界面元素等。目前,虚拟目标通常是使用预先设计的素材图片来表示,将该素材图片展示在预定义的位置处,用以表示虚拟目标。用户可直接操作该图片,从而实现对虚拟目标的操作。
然而,目前虚拟目标的形象和展示位置均是已知且鲜有变化的,用户每次看到和操作的虚拟目标都是基本相同的,传递的信息量少。
发明内容
基于此,有必要针对目前操作虚拟目标传递的信息量少的问题,提供一种虚拟目标操作方法和装置。
一种虚拟目标操作方法,包括:
采集实景图像;
将所述实景图像作为交互界面的背景图像;
在所述实景图像中检测人脸图像;
根据检测到的人脸图像生成作为所述交互界面的前景图像的虚拟目标;
获取针对所述虚拟目标的操作指令;
根据所述操作指令对所述虚拟目标执行预定义操作。
一种虚拟目标操作装置,包括:
实景图像采集模块,用于采集实景图像;
背景设置模块,用于将所述实景图像作为交互界面的背景图像;
人脸检测模块,用于在所述实景图像中检测人脸图像;
虚拟目标生成模块,用于根据检测到的人脸图像生成作为所述交互界面的前景图像的虚拟目标;
虚拟目标操作模块,用于获取针对所述虚拟目标的操作指令;根据所述操作指令对所述虚拟目标执行预定义操作。
上述虚拟目标操作方法和装置,将实景图像作为交互界面的背景图像,根据实景图像中检测到的人脸图像生成作为前景图像的虚拟目标,当接收到针对虚拟目标的操作指令时,对该虚拟目标执行预定义操作。在交互界面中,虚拟目标融合到实景图像所表示现实场景中,将虚拟场景和现实场景进行了结合,通过该交互界面可以实现在虚拟场景和现实场景之间进行交互的效果,传递的信息量不仅限于虚拟场景传递的信息量,还包括现实场景所传递的信息量,从而可以传递更丰富的信息量。
附图说明
图1为一个实施例中移动终端的内部结构示意图;
图2为一个实施例中虚拟目标操作方法的流程示意图;
图3为一个实施例中人眼观看到的交互界面的效果示意图;
图4为一个示例中实景图像的示意图;
图5为一个示例中将实景图像作为交互界面背景图像的示意图;
图6为一个示例中将预定义图像作为前景图像在背景图像中确定的位置处进行展示的示意图;
图7为一个实施例中生成被控目标并控制被控目标运动的步骤的流程示意图;
图8为一个实施例中电子游戏场景中交互界面的示意图;
图9为一个实施例中根据检测到的人脸图像生成作为交互界面的前景图像的虚拟目标的步骤的流程示意图;
图10为另一个实施例中虚拟目标操作方法的流程示意图;
图11为一个实施例中虚拟目标操作装置的结构框图;
图12为再一个实施例中虚拟目标操作装置的结构框图;
图13为另一个实施例中虚拟目标操作装置的结构框图;
图14为又一个实施例中虚拟目标操作装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1为一个实施例中移动终端的内部结构示意图。参照图1,该移动终端包括通过系统总线连接的处理器、非易失性存储介质、内存储器、运动传感器、摄像头、显示屏和输入装置。其中,移动终端的非易失性存储介质存储有操作系统,还包括一种虚拟目标操作装置,该虚拟目标操作装置用于实现一种虚拟目标操作方法。该处理器用于提供计算和控制能力,支撑整个移动终端的运行。移动终端中的内存储器为非易失性存储介质中的虚拟目标操作装置的运行提供环境,该内存储器中可存储有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器执行一种虚拟目标操作方法。移动终端的显示屏可以是液晶显示屏或者电子墨水显示屏等,输入装置可以是显示屏上覆盖的触摸层,也可以是移动终端外壳上设置的按键、轨迹球或触控板,也可以是外接的键盘、触控板或鼠标等。该移动终端可以是手机、掌上游戏机、平板电脑、个人数字助理或穿戴式设备等。本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的移动终端的限定,具体的移动终端可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本发明实施例基于增强现实技术(Augmented Reality,简称AR)实现一种虚拟目标操作方法。其中,增强现实技术是一种将真实世界信息和虚拟世界信息融合的新技术,是把原本在现实世界的一定时间和空间范围内很难体验到的实体信息(如视觉信息、声音、味道或触觉等),通过电脑等科学技术,模拟仿真后再叠加,将虚拟的信息应用到真实世界,被人类感官所感知,从而达到超越现实的感官体验。
图2为一个实施例中虚拟目标操作方法的流程示意图。本实施例以该方法应用于图1所示的移动终端来举例说明。本发明实施例主要基于增强现实技术,将现实世界的视觉信息与移动终端上的虚拟世界进行结合,以实现一种虚拟目标操作方法。参照图2,该虚拟目标操作方法具体包括如下步骤:
S202,采集实景图像。
其中,实景图像是呈现现实场景中景象的图像。移动终端具体可通过移动终端上设置的摄像头采集实景图像,也可以通过与移动终端连接的外接摄像头采集实景图像。移动终端可定期采集实景图像,或者可在检测到实景图像采集指令时采集实景图像。
S204,将实景图像作为交互界面的背景图像。
其中,交互界面是用户与移动终端进行交互的界面。该交互界面可由移动终端上运行的应用提供,该应用可以是游戏应用、拍照应用或者社交应用。背景图像是交互界面底层的图像。移动终端具体可实时采集实景图像,并实时将实景图像作为交互界面的背景图像。采集的实景图像发生变化,将导致交互界面的背景图像也发生变化。移动终端还可以将实景图像进行滤镜处理后作为交互界面的背景图像。滤镜处理主要是用来实现图像的各种特殊效果,如夜视效果或者红外成像效果。
S206,在实景图像中检测人脸图像。
其中,人脸检测是指对于任意一幅给定的图像,采用一定的策略对其进行搜索以确定其中是否含有人脸,若是则提取人脸的位置等信息的过程。移动终端可通过模板匹配方式,肤色匹配方式,ANN(Artificial Neural Network,人工神经网络)模型,SVM(SupportVector Machine,支持向量机)模型或者Adaboost模型等从实景图像中检测人脸图像。模板匹配的基本思想是在待检测的图像中搜索与人脸模板匹配的位置,若搜索到则检测到人脸图像。
S208,根据检测到的人脸图像生成作为交互界面的前景图像的虚拟目标。
移动终端具体可根据人脸图像本身的内容生成虚拟目标,也可以根据人脸图像在背景图像中的位置生成虚拟目标。其中,前景图像是位于背景图像上层的可遮盖背景图像的图层。虚拟目标是交互界面中渲染出的可被操作的数据对象。交互界面的背景图像中,显示前景图像的位置处该前景图像对于人眼可见,而背景图像中该处的局部区域被该前景图像所覆盖。移动终端还可以将检测到的人脸图像作为虚拟目标的头像显示在交互界面中,并显示该虚拟目标对应的状态。移动终端还可以对应于显示的头像显示预设文本,预设文本比如非玩家控制角色在游戏场景中的对白。
S210,获取针对虚拟目标的操作指令。
具体地,移动终端可检测作用于虚拟目标的预设操作,从而在检测到该预设操作时触发针对虚拟目标的操作指令。其中,操作指令可通过光标点击操作、物理按键的按压操作、体感操作、声控操作或者触摸操作等预设操作触发。
S212,根据操作指令对虚拟目标执行预定义操作。
其中,预定义操作可与操作指令一一对应,是预先定义的在触发针对虚拟目标的操作指令时应当对虚拟目标执行的操作。操作指令可以存在多种,相应的预定义操作也可以存在多种。其中,预定义操作可以是对表示虚拟目标的图像的操作。对表示虚拟目标的图像的操作比如改变相应图像的形状和/或颜色。
在一个实施例中,预定义操作也可以是对该虚拟目标对应的属性值的操作。虚拟目标的属性值可在生成虚拟目标时一并生成并存储。若虚拟目标为电子游戏中的非玩家控制角色(Non-Player Character,缩写为NPC),则虚拟目标的属性值可以是非玩家控制角色的生命值或者角色状态等属性值。
上述虚拟目标操作方法,将实景图像作为交互界面的背景图像,根据实景图像中检测到的人脸图像生成作为前景图像的虚拟目标,当接收到针对虚拟目标的操作指令时,对该虚拟目标执行预定义操作。图3为一个实施例中人眼观看到的交互界面的效果示意图。参照图3,在交互界面中,虚拟目标融合到实景图像所表示现实场景中,将虚拟场景和现实场景进行了结合,通过该交互界面可以实现在虚拟场景和现实场景之间进行交互的效果,传递的信息量不仅限于虚拟场景传递的信息量,还包括现实场景所传递的信息量,从而可以传递更丰富的信息量。
在一个实施例中,步骤S208包括:确定检测到的人脸图像在背景图像中的位置;将预定义图像作为前景图像在背景图像中确定的位置处进行展示,展示的预定义图像表示虚拟目标。
具体地,移动终端在检测人脸图像的同时可获得该人脸图像在实景图像中的位置,因该实景图像作为交互界面的背景图像,则该位置也是人脸图像在背景图像中的位置。该位置可以用人脸图像所包括的所有像素点的坐标表示,也可以用人脸图像的轮廓中的像素点的坐标表示。
预定义图像是预先生成的图像,可以是卡通角色图像、交通工具图像、人物头像、动物图像或者武器图像等,用于表示虚拟目标。预定义图像的具体内容可根据交互界面中当前的交互需求预先设定。预定义图像可以是实施虚拟目标操作方法的应用自带的图像,也可以是由用户预先选择的图像。展示的预定义图像的尺寸与人脸图像的尺寸相匹配,比如预定义图像可以刚好覆盖背景图像中的人脸图像。
本实施例中,移动终端将预定义图像作为交互界面的一个前景图像,在背景图像中前述确定的位置处进行展示,以覆盖背景图像中的人脸图像,从而呈现预定义图像的内容替换实景图像所表示现实场景中的人脸的特殊效果。展示的虚拟目标与作为背景图像的实景图像相结合,从而将虚拟场景和现实场景动态结合,不仅可以传递更丰富的信息量,还可以增强用户体验。
举例说明,参照图4、图5和图6,其中图4为实景图像的示意图,图5为将实景图像作为交互界面背景图像的示意图,图6为将预定义图像作为前景图像在背景图像中确定的位置处进行展示的示意图。图6所示的交互界面中,预定义图像601的内容为恶魔卡通角色的头像,覆盖图5中背景图像中的人脸图像501,并显示该预定义图像601所表示的恶魔卡通角色的生命值。
在一个实施例中,该虚拟目标操作方法还包括:实时跟踪人脸图像在当前的背景图像中的最新位置;实时控制预定义图像移动至最新位置处。具体地,移动终端可在检测到人脸图像后,基于目标跟踪算法跟踪人脸图像,从而将预定义图像实时刷新显示到人脸图像的最新位置处,以实现虚拟场景中的虚拟目标跟随现实场景中人脸的运动而运动,增加虚拟场景和现实场景之间的互动方式,增强用户体验。目标跟踪算法可采用粒子滤波算法、Mean-Shift(均值漂移)算法或者Cam Shift(Continuously Adaptive Mean-Shift,连续自适应均值漂移)算法等。
图7为一个实施例中生成被控目标并控制被控目标运动的步骤的流程示意图。参照图7,该生成被控目标并控制被控目标运动的步骤具体包括如下步骤:
S702,生成作为交互界面的前景图像的被控目标。
其中,被控目标是可以被当前移动终端的用户主动控制的目标,该被控目标与前述的虚拟目标不同。交互界面的背景图像中,被控目标对于人眼可见,而背景图像中被该被控目标覆盖的区域则对于人眼不可见。
S704,获取采集实景图像的移动终端的运动参数。
其中,实景图像由移动终端采集,具体由移动终端上设置的摄像头采集。该移动终端内置有运动传感器,用于感测移动终端的运动参数。该运动传感器可以是陀螺仪、加速度计或者重力传感器等。移动终端的运动参数是指表示移动终端运动特性的参数。运动参数可以包括移动终端的位置变化参数和姿态变化参数。位置变化参数比如移动速度、加速度和移动方向中的至少一种。姿态变化参数比如旋转角度和旋转方向中的至少一种。
S706,根据运动参数控制被控目标相对于虚拟目标的位置发生变化。
移动终端可根据运动参数确定被控目标的运动参数,从而控制该被控目标按照被控目标的运动参数在交互界面中变化。具体地,移动终端可根据确定的运动参数计算被控目标在交互界面中实时的最新位置,从而将被控目标刷新显示在该最新位置处,以实现控制被控目标的位置相对于虚拟目标的位置变化。移动终端具体可控制被控目标随着移动终端的运动而同步运动,从而实现虚拟场景中的运动和现实场景中的运动保持一致。
在一个实施例中,被控目标可用于表示玩家控制角色,运动参数可以是旋转参数。若玩家控制角色采用第一人称视角,则可以用相对于玩家控制角色同步运动的方向参照物来表示玩家控制角色的朝向,从而根据旋转参数控制方向参照物在交互界面中变化,从而表示玩家控制角色朝向的同步改变。
本实施例中,通过控制采集实景图像的移动终端的运动,可以实现对被控目标运动的控制,是非常适用于虚拟场景和现实场景相结合的一种操作方式,提高了操作便利性。
在一个实施例中,步骤S210具体包括:当被控目标的中心与虚拟目标重叠且检测到预设操作时,触发针对虚拟目标的操作指令。
被控目标的中心是指被控目标的中央位置,可以是被控目标中央一个像素点的位置,也可以是被控目标中央小于被控目标的像素点总数的多个像素点的位置。被控目标的中心与虚拟目标重叠,是指背景图像中展示的被控目标的中心在展示的虚拟目标的范围内。预设操作可以是光标点击操作、物理按键的按压操作、体感操作、声控操作或者触摸操作等。
具体地,移动终端的运动可使得被控目标在交互界面中的位置和/或占用区域面积发生变化,从而导致被控目标的中心与虚拟目标可能重叠也可能不重叠。被控目标的中心与虚拟目标重叠,以及检测到预设操作是触发针对虚拟目标的操作指令的两个条件,当两个条件均成立时触发针对虚拟目标的操作指令。
在一个实施例中,移动终端具体可先检测被控目标的中心与虚拟目标是否重叠。若检测到被控目标的中心与虚拟目标重叠则进一步检测预设操作。若检测到预设操作则触发针对虚拟目标的操作指令。若检测到被控目标的中心与虚拟目标不重叠,或者检测到重叠但未检测到预设操作则可以无动作或者执行其它设定好的操作。
在另一个实施实例中,移动终端具体可先检测预设操作。若检测到预设操作则进一步检测被控目标的中心与虚拟目标是否重叠。若检测到被控目标的中心与虚拟目标重叠则触发针对虚拟目标的操作指令。若未检测到预设操作,或者虽检测到预设操作但被控目标的中心与虚拟目标不重叠,则可以无动作或者执行其它设定好的操作。
上述实施例中,当被控目标的中心与虚拟目标重叠且检测到预设操作时,触发针对虚拟目标的操作指令,可以结合移动终端的运动和预设操作来实现针对虚拟目标的预定义操作,扩展了对虚拟目标的操作方式,使得虚拟目标的操作方式更加丰富。
举例说明,图8为一个实施例中电子游戏场景中交互界面的示意图。参照图8,玩家控制角色采用第一人称视角,可以用相对于玩家控制角色同步运动的方向参照物即瞄准镜801来表示玩家控制角色的朝向。当用户持有移动终端发生运动时,交互界面的背景图像发生变化,虚拟目标802也发生变化,瞄准镜801相对于虚拟目标802的位置也发生变化。当瞄准镜801与虚拟目标802重叠,且检测到用户点击图标803的操作时,移动终端触发针对虚拟目标802的操作指令,进而根据该操作指令修改该虚拟目标的属性值,比如减少虚拟目标的生命值。
图9为另一个实施例中步骤S208,根据检测到的人脸图像生成作为交互界面的前景图像的虚拟目标的步骤的流程示意图。参照图9,步骤S208具体包括如下步骤:
S902,从实景图像中截取人脸图像。
具体地,移动终端可确定人脸图像在实景图像中的位置,进而根据确定的位置从实景图像中拷贝相应的像素值得到截取的人脸图像。
S904,将截取的人脸图像置于预设图像模板中的人脸区域,生成虚拟目标。
其中,预设图像模板是预先生成的图像,包括虚拟目标的部分图像和用于容置截取的人脸图像的人脸区域。该人脸区域可以是纯色、透明或者默认人脸图像。虚拟目标的部分图像可与人脸图像在内容上融合,虚拟目标的部分图像比如可以是头饰图像、发型图像或者角状物图像等,其中头饰比如头盔或者发箍。移动终端将人脸图像置于预设图像模板中的人脸区域,从而将该部分图像与人脸区域所置的人脸图像共同构成虚拟目标。
S906,将虚拟目标作为交互界面的前景图像进行展示。
具体地,移动终端可将生成的虚拟目标展示在交互界面中的随机位置处或者预设位置处,还可以确定检测到的人脸图像在背景图像中的位置;将生成的虚拟目标在背景图像中确定的位置处进行展示。
上述实施例中,将人脸图像置于预设图像模板中的人脸区域来生成虚拟目标,可以采集自现实场景中的人脸图像融合到虚拟场景中进行交互,通过该交互界面可以实现在虚拟场景和现实场景之间进行交互的效果,进而可以传达源自于现实场景的丰富的信息量。
在一个实施例中,步骤S206之前,该虚拟目标操作方法还包括:判断交互界面中的交互进度是否满足人脸检测触发条件;当满足人脸检测触发条件时,执行步骤S206;当不满足人脸检测触发条件时,在交互界面的随机位置或者预设位置生成虚拟目标。
其中,交互进度是指通过交互界面所进行交互的进展情况的量化值,比如当前游戏剧情所发展至的关卡数,或者是否已开启根据人脸生成虚拟目标的功能等。人脸检测触发条件是指触发在实景图像中检测人脸图像的动作时交互进度应当满足的条件,比如当前游戏剧情所发展至预设关卡数,或者已开启根据人脸生成虚拟目标的功能。
具体地,移动终端可在交互界面中的交互进度发生变化时,判断最新的交互进度是否满足人脸检测触发条件。当判定满足人脸检测触发条件时,根据人脸图像生成虚拟目标。当判定不满足人脸检测触发条件时,则无需依赖于人脸图像,而是在交互界面的随机位置或者预设位置根据预设资源自动生成虚拟目标。
本实施例中,在虚拟场景和现实场景的互动中,根据交互进度的不同分别采用基于人脸图像和不依赖于人脸图像的方式生成虚拟目标,使得虚拟场景和现实场景之间互动的方式更加多样化。
图10为另一个实施例中虚拟目标操作方法的流程示意图。参照图10,该方法具体包括如下步骤:
S1002,采集实景图像。
S1004,获取采集实景图像的移动终端的旋转参数。
S1006,根据旋转参数控制玩家控制角色的方向参照物在游戏界面中移动,使得由方向参照物移动所表示的玩家控制角色的旋转与移动终端的旋转同步。
S1008,将实景图像作为游戏界面的背景图像。
S1010,判断游戏界面中的游戏进度是否满足人脸检测触发条件。若满足,则执行步骤S1012;若不满足,则执行步骤S1018。
S1012,在实景图像中检测人脸图像。
S1014,判断是否检测到人脸图像。若是,则执行步骤S1016;若否,则执行步骤S1018。
S1016,根据检测到的人脸图像生成作为游戏界面的前景图像的虚拟目标,该虚拟目标表示非玩家控制角色。
S1018,在游戏界面的随机位置或者预设位置生成表示非玩家控制角色的虚拟目标。
S1020,获取针对虚拟目标的操作指令;根据操作指令更改虚拟目标所表示非玩家控制角色的属性值。
上述虚拟目标操作方法,在游戏界面中,表示非玩家控制角色的虚拟目标融合到实景图像所表示现实场景中,将游戏场景和现实场景进行了结合,通过该游戏界面可以实现在游戏场景和现实场景之间进行交互的效果。不仅可以传递游戏中出现的信息,还可以向游戏玩家传递所处现实场景中的信息,因而可以传递更丰富的信息量,并为游戏玩家提供一种新的游戏互动方式。而且通过旋转移动终端可以实现对玩家控制角色的控制,非常适合于游戏玩家在游戏场景和现实场景之间进行交互。而且根据游戏进度的不同分别采用基于人脸图像和不依赖于人脸图像的方式生成虚拟目标,可以呈现更加丰富的游戏场景,使得游戏场景和现实场景之间互动的方式更加多样化。
图11为一个实施例中虚拟目标操作装置1100的结构框图。参照图11,虚拟目标操作装置1100包括:实景图像采集模块1110、背景设置模块1120、人脸检测模块1130、虚拟目标生成模块1140和虚拟目标操作模块1150。
实景图像采集模块1110,用于采集实景图像。
背景设置模块1120,用于将实景图像作为交互界面的背景图像。
人脸检测模块1130,用于在实景图像中检测人脸图像。
虚拟目标生成模块1140,用于根据检测到的人脸图像生成作为交互界面的前景图像的虚拟目标。
虚拟目标操作模块1150,用于获取针对虚拟目标的操作指令;根据操作指令对虚拟目标执行预定义操作。
上述虚拟目标操作装置1100,将实景图像作为交互界面的背景图像,根据实景图像中检测到的人脸图像生成作为前景图像的虚拟目标,当接收到针对虚拟目标的操作指令时,对该虚拟目标执行预定义操作。在交互界面中,虚拟目标融合到实景图像所表示现实场景中,将虚拟场景和现实场景进行了结合,通过该交互界面可以实现在虚拟场景和现实场景之间进行交互的效果,传递的信息量不仅限于虚拟场景传递的信息量,还包括现实场景所传递的信息量,从而可以传递更丰富的信息量。
图12为另一个实施例中虚拟目标操作装置1100的结构框图。参照图12,虚拟目标操作装置1100还包括:被控目标控制模块1160,用于生成作为交互界面的前景图像的被控目标;获取采集实景图像的移动终端的运动参数;根据运动参数控制被控目标相对于虚拟目标的位置发生变化。
本实施例中,通过控制采集实景图像的移动终端的运动,可以实现对被控目标运动的控制,是非常适用于虚拟场景和现实场景相结合的一种操作方式,提高了操作便利性。
在一个实施例中,虚拟目标操作模块1150还用于当被控目标的中心与虚拟目标重叠且检测到预设操作时,触发针对虚拟目标的操作指令。
本实施例中,当被控目标的中心与虚拟目标重叠且检测到预设操作时,触发针对虚拟目标的操作指令,可以结合移动终端的运动和预设操作来实现针对虚拟目标的预定义操作,扩展了对虚拟目标的操作方式,使得虚拟目标的操作方式更加丰富。
在一个实施例中,虚拟目标表示非玩家控制角色;被控目标表示玩家控制角色。
在一个实施例中,虚拟目标生成模块1140还用于确定检测到的人脸图像在背景图像中的位置;将预定义图像作为前景图像在背景图像中确定的位置处进行展示,展示的预定义图像表示虚拟目标。
本实施例中,将预定义图像作为交互界面的一个前景图像,在背景图像中前述确定的位置处进行展示,以覆盖背景图像中的人脸图像,从而呈现预定义图像的内容替换实景图像所表示现实场景中的人脸的特殊效果。展示的虚拟目标与作为背景图像的实景图像相结合,从而将虚拟场景和现实场景动态结合,不仅可以传递更丰富的信息量,还可以增强用户体验。
图13为再一个实施例中虚拟目标操作装置1100的结构框图。参照图13,虚拟目标操作装置1100还包括:虚拟目标更新模块1170,用于实时跟踪人脸图像在当前的背景图像中的最新位置;实时控制预定义图像移动至最新位置处。
具体地,虚拟目标更新模块1170可在检测到人脸图像后,基于目标跟踪算法跟踪人脸图像,从而将预定义图像实时刷新显示到人脸图像的最新位置处,以实现虚拟场景中的虚拟目标跟随现实场景中人脸的运动而运动,增加虚拟场景和现实场景之间的互动方式,增强用户体验。
在一个实施例中,虚拟目标生成模块1140还用于从实景图像中截取人脸图像;将截取的人脸图像置于预设图像模板中的人脸区域,生成虚拟目标;将虚拟目标作为交互界面的前景图像进行展示。
本实施例中,将人脸图像置于预设图像模板中的人脸区域来生成虚拟目标,可以采集自现实场景中的人脸图像融合到虚拟场景中进行交互,通过该交互界面可以实现在虚拟场景和现实场景之间进行交互的效果,进而可以传达源自于现实场景的丰富的信息量。
图14为又一个实施例中虚拟目标操作装置1100的结构框图。参照图14,虚拟目标操作装置1100还包括:判断模块1180,用于判断交互界面中的交互进度是否满足人脸检测触发条件。
人脸检测模块1130还用于当满足人脸检测触发条件时,在实景图像中检测人脸图像。
虚拟目标生成模块1140还用于当不满足人脸检测触发条件时,在交互界面的随机位置或者预设位置生成虚拟目标。
本实施例中,在虚拟场景和现实场景的互动中,根据交互进度的不同分别采用基于人脸图像和不依赖于人脸图像的方式生成虚拟目标,使得虚拟场景和现实场景之间互动的方式更加多样化。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,该存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种虚拟目标操作方法,包括:
采集实景图像;
将所述实景图像作为交互界面的背景图像;
在所述实景图像中检测人脸图像;
根据检测到的人脸图像生成作为所述交互界面的前景图像的虚拟目标;
获取针对所述虚拟目标的操作指令;
根据所述操作指令对所述虚拟目标执行预定义操作。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
生成作为所述交互界面的前景图像的被控目标;
获取采集所述实景图像的移动终端的运动参数;
根据所述运动参数控制所述被控目标相对于所述虚拟目标的位置发生变化。
3.根据权利要求2所述的方法,其特征在于,所述获取针对所述虚拟目标的操作指令的步骤包括:
当所述被控目标的中心与所述虚拟目标重叠且检测到预设操作时,触发针对所述虚拟目标的操作指令。
4.根据权利要求2或3所述的方法,其特征在于,所述虚拟目标表示非玩家控制角色;所述被控目标表示玩家控制角色。
5.根据权利要求1所述的方法,其特征在于,所述根据检测到的人脸图像生成作为所述交互界面的前景图像的虚拟目标的步骤包括:
确定检测到的所述人脸图像在背景图像中的位置;
将预定义图像作为前景图像在所述背景图像中确定的所述位置处进行展示,展示的所述预定义图像表示虚拟目标。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
实时跟踪所述人脸图像在当前的背景图像中的最新位置;
实时控制所述预定义图像移动至所述最新位置处。
7.根据权利要求1所述的方法,其特征在于,所述根据检测到的人脸图像生成作为所述交互界面的前景图像的虚拟目标的步骤包括:
从所述实景图像中截取所述人脸图像;
将截取的所述人脸图像置于预设图像模板中的人脸区域,生成虚拟目标;
将所述虚拟目标作为所述交互界面的前景图像进行展示。
8.根据权利要求1所述的方法,其特征在于,所述在所述实景图像中检测人脸图像的步骤之前,所述方法还包括:
判断交互界面中的交互进度是否满足人脸检测触发条件;
当满足所述人脸检测触发条件时,执行所述在所述实景图像中检测人脸图像的步骤;
当不满足所述人脸检测触发条件时,在交互界面的随机位置或者预设位置生成虚拟目标。
9.一种虚拟目标操作装置,其特征在于,包括:
实景图像采集模块,用于采集实景图像;
背景设置模块,用于将所述实景图像作为交互界面的背景图像;
人脸检测模块,用于在所述实景图像中检测人脸图像;
虚拟目标生成模块,用于根据检测到的人脸图像生成作为所述交互界面的前景图像的虚拟目标;
虚拟目标操作模块,用于获取针对所述虚拟目标的操作指令;根据所述操作指令对所述虚拟目标执行预定义操作。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
被控目标控制模块,用于生成作为所述交互界面的前景图像的被控目标;获取采集所述实景图像的移动终端的运动参数;根据所述运动参数控制所述被控目标相对于所述虚拟目标的位置发生变化。
11.根据权利要求10所述的装置,其特征在于,所述虚拟目标操作模块还用于当所述被控目标的中心与所述虚拟目标重叠且检测到预设操作时,触发针对所述虚拟目标的操作指令。
12.根据权利要求10或11所述的装置,其特征在于,所述虚拟目标表示非玩家控制角色;所述被控目标表示玩家控制角色。
13.根据权利要求9所述的装置,其特征在于,所述虚拟目标生成模块还用于确定检测到的所述人脸图像在背景图像中的位置;将预定义图像作为前景图像在所述背景图像中确定的所述位置处进行展示,展示的所述预定义图像表示虚拟目标。
14.根据权利要求13所述的装置,其特征在于,所述装置还包括:
虚拟目标更新模块,用于实时跟踪所述人脸图像在当前的背景图像中的最新位置;实时控制所述预定义图像移动至所述最新位置处。
15.根据权利要求9所述的装置,其特征在于,所述虚拟目标生成模块还用于从所述实景图像中截取所述人脸图像;将截取的所述人脸图像置于预设图像模板中的人脸区域,生成虚拟目标;将所述虚拟目标作为所述交互界面的前景图像进行展示。
16.根据权利要求9所述的装置,其特征在于,所述装置还包括:
判断模块,用于判断交互界面中的交互进度是否满足人脸检测触发条件;
所述人脸检测模块还用于当满足所述人脸检测触发条件时,在所述实景图像中检测人脸图像;
所述虚拟目标生成模块还用于当不满足所述人脸检测触发条件时,在交互界面的随机位置或者预设位置生成虚拟目标。
CN201610831338.0A 2016-09-18 2016-09-18 虚拟目标操作方法和装置 Active CN106445131B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610831338.0A CN106445131B (zh) 2016-09-18 2016-09-18 虚拟目标操作方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610831338.0A CN106445131B (zh) 2016-09-18 2016-09-18 虚拟目标操作方法和装置

Publications (2)

Publication Number Publication Date
CN106445131A true CN106445131A (zh) 2017-02-22
CN106445131B CN106445131B (zh) 2018-10-02

Family

ID=58165712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610831338.0A Active CN106445131B (zh) 2016-09-18 2016-09-18 虚拟目标操作方法和装置

Country Status (1)

Country Link
CN (1) CN106445131B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108255304A (zh) * 2018-01-26 2018-07-06 腾讯科技(深圳)有限公司 基于增强现实的视频数据处理方法、装置和存储介质
CN109120504A (zh) * 2017-06-26 2019-01-01 金德奎 一种影像设备共享方法及其社交方法
CN109508095A (zh) * 2018-12-29 2019-03-22 北京强氧新科信息技术有限公司 一种虚拟现实视频的合成方法及装置
CN109523604A (zh) * 2018-11-14 2019-03-26 珠海金山网络游戏科技有限公司 一种虚拟脸型生成方法、装置、电子设备以及存储介质
CN109954274A (zh) * 2017-12-23 2019-07-02 金德奎 一种基于人脸检测跟踪的交互方法及游戏方法
CN110119700A (zh) * 2019-04-30 2019-08-13 广州虎牙信息科技有限公司 虚拟形象控制方法、虚拟形象控制装置和电子设备
CN110384924A (zh) * 2019-08-21 2019-10-29 网易(杭州)网络有限公司 游戏场景中虚拟对象的显示控制方法、装置、介质及设备
CN111768479A (zh) * 2020-07-29 2020-10-13 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备以及存储介质
WO2021258978A1 (zh) * 2020-06-24 2021-12-30 北京字节跳动网络技术有限公司 一种操作控制的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004552A (zh) * 2010-12-06 2011-04-06 深圳泰山在线科技有限公司 一种基于跟踪点识别的加强用户现场运动体验的方法和系统
CN105491365A (zh) * 2015-11-25 2016-04-13 罗军 基于移动终端的图像处理方法、装置及系统
CN105681684A (zh) * 2016-03-09 2016-06-15 北京奇虎科技有限公司 基于移动终端的图像实时处理方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004552A (zh) * 2010-12-06 2011-04-06 深圳泰山在线科技有限公司 一种基于跟踪点识别的加强用户现场运动体验的方法和系统
CN105491365A (zh) * 2015-11-25 2016-04-13 罗军 基于移动终端的图像处理方法、装置及系统
CN105681684A (zh) * 2016-03-09 2016-06-15 北京奇虎科技有限公司 基于移动终端的图像实时处理方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120504A (zh) * 2017-06-26 2019-01-01 金德奎 一种影像设备共享方法及其社交方法
CN109120504B (zh) * 2017-06-26 2023-05-09 深圳脸网科技有限公司 一种影像设备共享方法及其社交方法
CN109954274A (zh) * 2017-12-23 2019-07-02 金德奎 一种基于人脸检测跟踪的交互方法及游戏方法
CN108255304A (zh) * 2018-01-26 2018-07-06 腾讯科技(深圳)有限公司 基于增强现实的视频数据处理方法、装置和存储介质
CN108255304B (zh) * 2018-01-26 2022-10-04 腾讯科技(深圳)有限公司 基于增强现实的视频数据处理方法、装置和存储介质
CN109523604A (zh) * 2018-11-14 2019-03-26 珠海金山网络游戏科技有限公司 一种虚拟脸型生成方法、装置、电子设备以及存储介质
CN109508095A (zh) * 2018-12-29 2019-03-22 北京强氧新科信息技术有限公司 一种虚拟现实视频的合成方法及装置
CN110119700A (zh) * 2019-04-30 2019-08-13 广州虎牙信息科技有限公司 虚拟形象控制方法、虚拟形象控制装置和电子设备
CN110384924A (zh) * 2019-08-21 2019-10-29 网易(杭州)网络有限公司 游戏场景中虚拟对象的显示控制方法、装置、介质及设备
WO2021258978A1 (zh) * 2020-06-24 2021-12-30 北京字节跳动网络技术有限公司 一种操作控制的方法及装置
CN111768479A (zh) * 2020-07-29 2020-10-13 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备以及存储介质

Also Published As

Publication number Publication date
CN106445131B (zh) 2018-10-02

Similar Documents

Publication Publication Date Title
CN106445131B (zh) 虚拟目标操作方法和装置
CN106873778B (zh) 一种应用的运行控制方法、装置和虚拟现实设备
US20230333378A1 (en) Wristwatch based interface for augmented reality eyewear
CN108234891B (zh) 一种拍照方法及移动终端
US10026232B2 (en) Apparatuses, methods and systems for application of forces within a 3D virtual environment
CN110456907A (zh) 虚拟画面的控制方法、装置、终端设备及存储介质
US10949671B2 (en) Augmented reality system capable of manipulating an augmented reality object and an augmented reality method using the same
US10665036B1 (en) Augmented reality system and method with dynamic representation technique of augmented images
US10719993B1 (en) Augmented reality system and method with space and object recognition
KR102461232B1 (ko) 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체
CN105955456A (zh) 虚拟现实与增强现实融合的方法、装置及智能穿戴设备
CN112396679B (zh) 虚拟对象显示方法及装置、电子设备、介质
CN110427151A (zh) 一种控制用户界面的方法及电子设备
JP2014509758A (ja) リアルタイムの仮想反射
AU2021290132B2 (en) Presenting avatars in three-dimensional environments
CN103649874A (zh) 使用眼睛跟踪隐形镜片的接口
US10726631B1 (en) Augmented reality system and method with frame region recording and reproduction technology based on object tracking
CN109992175B (zh) 用于模拟盲人感受的物体显示方法、装置及存储介质
CN110287891A (zh) 基于人体关键点的手势控制方法、装置及电子设备
CN110070551A (zh) 视频图像的渲染方法、装置和电子设备
KR20110070514A (ko) 헤드 마운트 디스플레이 장치 및 3차원 그래픽 사용자 인터페이스 상에서 3차원 공간 터치를 제어하는 방법
CN109426342B (zh) 基于增强现实的文档阅读方法和装置
CN110717993B (zh) 一种分体式ar眼镜系统的交互方法、系统及介质
CN112837339B (zh) 基于运动捕捉技术的轨迹绘制方法及装置
CN113194329B (zh) 直播互动方法、装置、终端及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant