CN111881861B - 一种展示方法、装置、设备及存储介质 - Google Patents
一种展示方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111881861B CN111881861B CN202010763328.4A CN202010763328A CN111881861B CN 111881861 B CN111881861 B CN 111881861B CN 202010763328 A CN202010763328 A CN 202010763328A CN 111881861 B CN111881861 B CN 111881861B
- Authority
- CN
- China
- Prior art keywords
- display
- determining
- virtual object
- real
- viewing angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000000694 effects Effects 0.000 claims abstract description 142
- 230000003190 augmentative effect Effects 0.000 claims abstract description 75
- 238000004590 computer program Methods 0.000 claims description 8
- 230000003993 interaction Effects 0.000 abstract description 26
- 230000003287 optical effect Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 210000001747 pupil Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000000149 penetrating effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例公开了一种展示方法、装置、设备及存储介质,其中,所述方法包括:确定与真实场景中真实对象匹配的虚拟对象;通过对包括当前观看用户的图像进行识别,确定目标观看视角;根据所述目标观看视角,确定所述虚拟对象的显示效果;根据所述显示效果,通过显示设备展示所述真实场景与所述虚拟对象相叠加的增强现实效果。这样,在进行增强现实效果展示时,可以根据当前观看用户的实际情况,确定目标观看视角,并基于该目标观看视角来改变当前虚拟对象的显示效果,进而改变当前展示的真实场景与虚拟对象相叠加的增强现实效果,从而可以自动满足用户的观看或智能互动的需求。
Description
技术领域
本申请涉及但不限于计算机视觉技术领域,尤其涉及一种展示方法、装置、设备及存储介质。
背景技术
增强现实(Augmented Reality,AR)技术是一种将虚拟信息与真实世界信息进行融合的技术,该技术通过在实时影像中渲染虚拟对象的方式实现将虚拟对象加载到真实世界中并进行互动,从而将真实的环境和虚拟对象实时地在同一个界面展示。比如,基于增强现实技术,用户可以看到叠加在真实的校园操场上的虚拟大树、叠加在天空中的虚拟飞翔小鸟等。然而,在相关技术中,当观看用户有多个时,增强现实场景的展示存在一定的局限性,从而影响到用户的观看或互动体验。
发明内容
有鉴于此,本申请实施例提供一种展示方法、装置、设备及存储介质。
本申请实施例的技术方案是这样实现的:
一方面,本申请实施例提供一种展示方法,所述方法包括:确定与真实场景中真实对象匹配的虚拟对象;通过对包括当前观看用户的图像进行识别,确定目标观看视角;根据所述目标观看视角,确定所述虚拟对象的显示效果;根据所述显示效果,通过显示设备展示所述真实场景与所述虚拟对象相叠加的增强现实效果。
在一些实施例中,所述通过对包括当前观看用户的图像进行识别,确定目标观看视角,包括以下之一:
通过对所述图像中的用户数目进行识别,确定用户数目最多的图像区域;根据所述图像区域,确定用户在显示设备前的观看位置;将所述观看位置的观看视角确定为目标观看视角;
通过对所述图像中的用户身份进行识别,确定所述当前观看用户的身份;将所述图像中具有特定身份的用户的观看视角确定为目标观看视角;
通过对所述图像中的用户视线进行识别,确定所述图像中各用户的双眼视线方向;根据各用户的双眼视线方向,确定各用户的观看专注度;将观看专注度最高的用户的观看视角确定为目标观看视角;
通过对所述图像中的人脸图像进行识别,确定与特定的人脸匹配的目标用户;将所述目标用户的观看视角确定为目标观看视角。
这样,在进行增强现实效果展示时,可以根据观看用户的数目、身份、观看专注度或者观看用户的人脸图像确定目标观看视角,进而改变当前虚拟对象的显示效果,从而当显示设备前的用户处于不同位置或者显示设备前有多个用户时,可以更好地满足用户的观看或互动需求。
在一些实施例中,所述目标观看视角包括特定平面维度上各方向上的观看视角;所述显示效果包括所述虚拟对象的显示轨迹;所述根据所述目标观看视角,确定所述虚拟对象的显示效果,包括:确定每一所述方向上的观看视角对应的所述虚拟对象的显示位置;根据所述虚拟对象的各显示位置,确定所述虚拟对象的显示轨迹;所述根据所述显示效果,通过显示设备展示所述真实场景与所述虚拟对象相叠加的增强现实效果,包括:根据所述显示轨迹,通过所述显示设备展示所述真实场景与所述虚拟对象相叠加的增强现实效果,使得所述虚拟对象在所述显示设备上按照所述显示轨迹移动。
这样,由于虚拟对象的显示轨迹包括了特定平面维度上各方向上的观看视角对应的显示位置,因此,用户在特定平面维度的各个方向对该增强现实效果进行观看时,都可以有机会看到预期的展示效果,从而可以更好地满足用户的观看或互动需求。
在一些实施例中,所述根据所述目标观看视角,确定所述虚拟对象的显示效果,还包括:通过对所述图像进行识别,确定所述虚拟对象在各显示位置对应的显示时长;对应地,所述根据所述虚拟对象的各显示位置,确定所述虚拟对象的显示轨迹,包括:根据所述虚拟对象的各显示位置和每一显示位置对应的显示时长,确定所述虚拟对象的显示轨迹。
这样,可以根据图像中当前观看用户的情况,确定虚拟对象在各显示位置处的显示时长,从而可以进一步提升用户的观看或互动体验。
在一些实施例中,所述通过对所述图像进行识别,确定所述虚拟对象在各显示位置对应的显示时长,包括:通过对所述图像进行识别,确定所述图像中各用户的观看视角;针对每一显示位置,确定所述图像中观看视角与所述显示位置对应的观看视角一致的用户的数目;根据所述用户的数目,查询特定的用户的数目与显示时长之间的对应关系,确定所述显示位置对应的显示时长。
这样,可以根据观看视角分别与各显示位置对应的观看视角一致的用户的数目,确定虚拟对象在各显示位置处的显示时长,从而可以进一步提升用户的观看或互动体验。
在一些实施例中,所述根据所述目标观看视角,确定所述虚拟对象的显示效果,包括:获得所述真实场景中真实对象的位置;根据所述真实对象的位置和所述目标观看视角,确定所述虚拟对象的显示效果。
这样,由于在确定虚拟对象的显示效果时,同时考虑了目标观看角度和真实对象在真实世界中的位置,因而可以确定更加合适的虚拟对象的显示效果,从而可以进一步提升用户的观看或互动体验。
在一些实施例中,所述获得真实场景中真实对象的位置,包括:通过所述显示设备的摄像头采集包括所述真实对象的图像;根据所述包括所述真实对象的图像,确定所述真实对象的位置;或者,
所述获得真实场景中真实对象的位置,包括:向所述真实场景发射特定的第一光线;接收所述真实场景中的真实对象对所述第一光线反射回的第二光线;根据所述第一光线的发射参数和所述第二光线的反射参数确定所述真实对象的位置。
这样,由于对包括所述真实对象的图像进行识别确定真实对象的位置的方式,以及根据向真实场景发射光线的参数和接收的反射光线的参数确定真实对象的位置的方式,处理效率快且可以较为准确地确定真实对象的位置,因而可以提升增强现实效果的展示效率和展示效果,从而可以进一步提升用户的观看或互动体验。
在一些实施例中,所述显示设备包括在预设的滑轨上可移动且设置有摄像头的显示屏;所述方法还包括:在所述显示屏移动到特定位置的情况下,通过所述摄像头采集所述包括当前观看用户的图像。
这样,在进行增强现实效果展示时,可以根据实际情况自动调整显示屏的位置,从而可以获得更准确的当前观看用户的情况,进而可以获得更准确的目标观看视角,确定更加合适的虚拟对象的显示效果,以进一步提升用户的观看或互动体验。
在一些实施例中,所述真实场景中包括至少一个真实对象,所述虚拟对象包括虚拟标签和所述虚拟标签对应的引导线;对应地,所述确定与真实场景中真实对象匹配的虚拟对象,包括:确定真实场景中每一真实对象的属性信息;根据所述每一真实对象的属性信息,确定与所述真实对象匹配的虚拟标签;确定与每一所述虚拟标签对应的引导线。
这样,可以通过虚拟标签和引导线对真实对象的属性信息进行直观的显示,从而可以提升用户的观看或互动体验。
在一些实施例中,所述虚拟对象的显示效果包括每一虚拟标签的显示位置和所述虚拟标签对应的引导线的显示位置;对应地,所述根据所述显示效果,通过显示设备展示所述真实场景与所述虚拟对象相叠加的增强现实效果,包括:针对每一虚拟标签,根据所述虚拟标签的显示位置,在所述显示设备上显示所述虚拟标签;根据所述虚拟标签对应的引导线的显示位置,在所述显示设备上显示所述引导线,使得所述引导线的两个端点分别指引所述虚拟标签和与所述虚拟标签匹配的真实对象。
这样,可以更准确地引导虚拟标签对应的真实对象,从而可以展示出更好的增强现实效果,进而可以提升用户的观看或互动体验。
另一方面,本申请实施例提供一种展示装置,所述装置包括:第一确定模块,用于确定与真实场景中真实对象匹配的虚拟对象;第二确定模块,用于通过对包括当前观看用户的图像进行识别,确定目标观看视角;第三确定模块,用于根据所述目标观看视角,确定所述虚拟对象的显示效果;展示模块,用于根据所述显示效果,通过显示设备展示所述真实场景与所述虚拟对象相叠加的增强现实效果。
再一方面,本申请实施例提供一种展示设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法中的步骤。
又一方面,本申请实施例提供一种计算机存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法中的步骤。
又一方面,本申请实施例提供一种计算机程序,包括计算机可读代码,当所述计算机可读代码在展示设备中运行时,所述展示设备中的处理器执行用于实现上述方法中的步骤。
本申请实施例中,首先确定与真实场景中真实对象匹配的虚拟对象;然后通过对包括当前观看用户的图像进行识别,确定目标观看视角;进而根据所述目标观看视角,确定所述虚拟对象的显示效果;最后根据所述显示效果,通过显示设备展示所述真实场景与所述虚拟对象相叠加的增强现实效果。这样,在进行增强现实效果展示时,可以根据当前观看用户的实际情况,确定目标观看视角,并基于该目标观看视角来改变当前虚拟对象的显示效果,进而改变当前展示的真实场景与虚拟对象相叠加的增强现实效果,从而可以自动满足用户的观看或智能互动的需求。进一步地,可以根据观看用户的数目、身份、观看专注度或者观看用户的人脸图像确定目标观看视角,进而改变当前虚拟对象的显示效果,这样,当显示设备前的用户处于不同位置或者显示设备前有多个用户时,可以更好地满足用户的观看或互动需求。
附图说明
图1为本申请实施例提供的一种展示方法的实现流程示意图;
图2为本申请实施例提供的一种展示方法的实现流程示意图;
图3为本申请实施例提供的一种展示方法的实现流程示意图;
图4为本申请实施例提供的一种展示方法的实现流程示意图;
图5A为本申请实施例提供的一种展示方法的实现流程示意图;
图5B为本申请实施例提供的一种真实场景与虚拟对象相叠加的增强现实效果的展示效果示意图;
图6为本申请实施例提供的一种展示装置的组成结构示意图;
图7为本申请实施例提供的一种展示设备的硬件实体示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图和实施例对本申请的技术方案进一步详细阐述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
如果申请文件中出现“第一/第二”的类似描述则增加以下的说明,在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请的目的,不是旨在限制本申请。
为了更好地理解本申请实施例提供的展示方法,首先对相关技术中的展示方法进行说明。
在相关技术中,真实场景与虚拟对象实时叠加的增强现实效果可以基于光学原理进行展示,也可以基于视频合成技术进行展示。基于光学原理展示增强现实效果时,显示设备可以采用透明显示屏。在相关技术中,透明显示屏可以设置于真实场景与用户之间,可以接收真实场景中反射来并穿透显示屏的光线,并且还可以显示需要叠加在真实场景中的虚拟对象,这样,用户可以通过该透明显示屏观看到真实场景与虚拟对象实时叠加的画面。基于视频合成技术展示增强现实效果时,可以通过摄像头获取真实世界的图像或视频,将获取到的图像或视频与虚拟对象进行合成,最终通过显示设备显示合成后的图像或视频,实现真实场景与虚拟对象实时叠加的增强现实效果。
但是,相关技术中,通过显示设备展示增强现实场景时,增强现实场景的展示内容和展示效果通常与显示设备前观看的用户无关,或者仅根据显示设备前的单个用户的面部或者肢体状态来改变展示内容和展示效果。而当显示设备前的用户处于不同位置或者显示设备前有多个用户时,显示设备展示的增强现实效果不能很好地满足用户的观看或互动需求。
以上述基于光学原理呈现增强现实效果的展示方案为例,由于用户是通过从显示设备中穿透出来的真实场景的反射光线观看到真实场景的,因此,当用户处于显示设备前不同位置时,观看到的真实场景中的真实对象在显示设备上的位置也是不同的,进而会导致不同位置的用户观看到的真实场景与虚拟对象的实时叠加效果存在差异,也即从不同的观看视角观看到的真实场景与虚拟对象的实时叠加效果存在差异。从而,只有特定观看视角的用户才能观看到预期的叠加效果,而其他观看视角的用户观看到的叠加效果会存在一定的偏差。
可见,在实现增强现实场景的展示时,需要更智能的解决方案来提高增强现实场景的展示效果,以更好地满足用户的观看或互动需求。
本申请实施例提供一种展示方法,该方法可以由处理器执行,处理器可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。这里,处理器可以是通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者任何常规的处理器等。
图1为本申请实施例的展示方法的实现流程示意图,如图1所示,该方法包括以下步骤:
步骤S101,确定与真实场景中真实对象匹配的虚拟对象;
这里,真实场景可以是真实世界中的任意合适的场景,比如校园操场、天空、办公室、博物馆等。真实场景中可以有一个或多个真实对象,真实对象可以是真实存在于真实场景中的任意合适的对象,比如校园操场上的旗杆、天空中的云、办公室的办公桌、博物馆的展览品等。
虚拟对象可以是与真实对象匹配的虚拟的影像或文字等信息。比如,用于实现真实办公室场景中办公桌的装扮效果的虚拟道具,即为与真实办公室场景中的办公桌匹配的虚拟对象;或者用于对真实博物馆场景中的展览品进行讲解的虚拟数字人,即为与真实博物馆场景中的展览品匹配的虚拟对象;或者用于对真实楼盘场景中的每一建筑物进行标注说明的虚拟标签和每一所述虚拟标签对应的引导线,即为与真实楼盘场景中的每一建筑物匹配的虚拟对象。在实施时,虚拟对象可以根据特定的真实对象与虚拟对象之间的匹配关系来确定,也可以按照特定的虚拟对象生成策略,利用图像、视频或者三维(3D,Three-Dimensional)模型生成等技术,根据真实对象来生成。本领域技术人员可以根据实际情况选择与真实对象匹配的虚拟对象,并选择合适的方式确定虚拟对象,这里并不限定。
在一些实施例中,虚拟对象还可以与观看的用户进行实时交互,例如,在增强现实类游戏场景中,可以通过与游戏配套的手套或手棒控制游戏中虚拟人物的打斗动作;或者,在进行增强现实的棋类比赛中,通过与比赛配套的手套控制虚拟棋子的移动等。
步骤S102,通过对包括当前观看用户的图像进行识别,确定目标观看视角;
这里,当前观看用户为当前在显示设备前进行观看的用户。包括当前观看用户的图像可以是通过设置在显示设备内的图像采集装置实时采集的,也可以是通过显示设备外部的其他图像采集装置采集的,这里并不限定。
观看视角为真实场景中用户观看显示设备或真实对象时的视角,目标观看视角则为可以观看到预期的增强现实效果的观看视角。在实施时,可以通过对包括当前观看用户的图像进行图像识别,根据该图像中的当前观看用户的观看情况,确定目标观看视角。目标观看视角的确定方法可以根据实际情况确定,本申请实施例对此不作限定。例如,可以根据当前观看用户所在的区域确定目标观看视角,或者根据当前用户的视线方向确定目标观看视角等。
步骤S103,根据所述目标观看视角,确定所述虚拟对象的显示效果;
这里,虚拟对象的显示效果为虚拟对象在显示设备上显示时的效果,可以包括但不限于虚拟对象在显示设备上的显示位置、显示时长、显示颜色、互动方式、显示大小等中的一种或多种。
虚拟对象的显示效果可以根据特定的目标观看视角与显示效果之间的对应关系来确定,也可以根据目标观看视角,结合与该虚拟对象匹配的真实对象的信息,通过渲染模型渲染得到。本领域技术人员在实施时,可以根据实际情况选择合适的方式确定虚拟对象的显示效果,这里并不限定。
步骤S104,根据所述显示效果,通过显示设备展示所述真实场景与所述虚拟对象相叠加的增强现实效果。
这里,显示设备可以是任意合适的支持增强现实显示功能的电子设备,可以包括但不限于智能电视、手机、平板、显示屏等中的一种或多种。此外,显示设备还可以是一种较为新颖的显示屏,该显示屏可以在滑轨上移动或通过其他方式移动。当显示屏移动到特定位置时,通过该显示屏可以展示出真实场景与虚拟对象相叠加的增强现实效果。在一些实施例中,用户还可以对显示屏显示的增强现实效果上的相关信息进行触发,以获取更详细的信息或者其它相关的信息。这里,不对显示屏的种类进行限制,显示屏可以是触摸屏也可以是非触摸屏。
在实施时,可以根据虚拟对象的显示效果,在显示设备上显示该虚拟对象,进而通过显示设备展示真实场景与虚拟对象相叠加的增强现实效果。真实场景与虚拟对象相叠加的增强现实效果,可以基于光学原理进行展示,也可以基于视频合成技术进行展示。这里,还可以采用其他合适的方式,根据虚拟对象的显示效果,通过显示设备展示真实场景与虚拟对象相叠加的增强现实效果,本申请实施例对此并不限定。
在一些实施例中,可以基于光学原理进行真实场景与虚拟对象相叠加的增强现实效果的展示。在实施时,显示设备为透明显示屏,显示屏设置在观看用户与真实场景之间,用户可以透过该透明显示屏观看到真实场景。在基于光学原理进行增强现实效果展示时,用户观看到的虚拟对象是根据虚拟对象的显示效果,由显示设备本身显示的,用户观看到的真实场景是真实世界中的真实场景基于光学原理透过显示设备展示出来的。
在一些实施例中,可以基于视频合成技术进行真实场景与虚拟对象相叠加的增强现实效果的展示。在实施时,可以通过摄像头采集真实场景的图像或视频,并根据虚拟对象的显示效果,将虚拟对象与采集到的真实场景的图像或视频进行合成,最终将合成后的图像或视频通过显示设备显示出来,从而实现真实场景与虚拟对象相叠加的增强现实效果的展示。
在一些实施例中,上述步骤S102可以包括以下之一:
步骤S102a,通过对所述图像中的用户数目进行识别,确定用户数目最多的图像区域;根据所述图像区域,确定用户在显示设备前的观看位置;将所述观看位置的观看视角确定为目标观看视角;
这里,可以采用任意合适的图像识别算法对图像中的用户数目进行识别,确定用户数目最多的图像区域。观看位置为真实场景中用户在显示设备前观看的位置。对于用户数目最多的图像区域,可以根据该图像区域在图像中的位置,按照特定的映射公式,计算得到该图像区域对应的用户在显示设备前的观看位置;也可以根据特定的图像区域在图像中的位置与对应的真实世界的观看位置之间的对应关系,确定该图像区域对应的用户在显示设备前的观看位置。在实施时,该映射公式和该对应关系可以预先通过标定或大数据分析等方式确定。
观看位置的观看视角为用户从观看位置观看显示设备或真实对象的视角。在实施时,可以利用真实场景中观看位置在三维空间中的坐标以及真实对象在三维空间中的坐标进行计算,得到该观看位置的观看视角,作为目标观看视角;也可以根据观看位置,查询特定的观看位置与观看视角之间的对应关系,得到该观看位置的观看视角。本领域技术人员可以根据实际情况选择合适的方式确定观看位置的观看视角,这里不作限定。
步骤S102b,通过对所述图像中的用户身份进行识别,确定所述当前观看用户的身份;将所述图像中具有特定身份的用户的观看视角确定为目标观看视角;
这里,可以采用任意合适的图像识别算法,通过图像中用户的特征来识别用户的身份。用户的特征可以包括但不限于用户的人脸特征、穿着特征、身形特征等。特定身份可以是预先设定的身份,可以包括但不限于具有特定观看优先级的身份或者具有特定观看权限的身份等。可以将图像中具有特定身份的用户的观看视角确定为目标观看视角。
例如,若当前观看场景为老师带领一个或多个小学生观看博物馆中通过增强现实技术展示的展品,则可以通过图像识别算法,根据图像中用户的穿着特征和/或身形特征,识别当前观看用户中的老师和小学生,并将该一个或多个小学生的观看视角确定为目标观看视角,从而为小学生提供预期的增强现实展示效果,满足小学生对展品的好奇心和求知欲。
再如,若当前观看场景为导游带领旅游团游览景点时观看通过增强现实技术展示的特色建筑物时,则可以通过图像识别算法,根据图像中用户的面部表情特征和/或穿着特征等,识别当前观看用户中的旅游团成员,并将旅游团成员的观看视角确定为目标观看视角,从而为旅游团成员提供预期的增强现实展示效果,提高旅游团成员的游览体验。
又如,若当前观看场景为多人进行增强现实游戏的互动时,则可以通过图像识别算法,根据图像中用户的人脸特征,识别当前观看用户中的高级(Very Important Person,VIP)用户,并将该VIP用户的观看视角确定为目标观看视角,从而为该VIP用户提供预期的增强现实展示效果,提高该VIP用户的游戏互动体验。在实施时,可以预先设置VIP用户的人脸特征,在进行身份识别时,根据图像中用户的人脸特征,与预先设置的VIP用户的人脸特征进行匹配,从而识别当前观看用户中的VIP用户。
步骤S102c,通过对所述图像中的用户视线进行识别,确定所述图像中各用户的双眼视线方向;根据各用户的双眼视线方向,确定各用户的观看专注度;将观看专注度最高的用户的观看视角确定为目标观看视角;
这里,观看专注度为用户在观看真实对象或显示设备时的专注程度,可以通过对图像中用户双眼的视线方向进行检测而确定。例如,当显示设备前有多个用户时,可以检测图像中每个用户的双眼视线方向,根据双眼视线方向确定用户观看的专注度,这时可以将观看专注度最高的用户的观看视角确定为目标观看视角,保证观看最专注的用户可以观看到预期的增强现实效果。在实施时,可以采用任意合适的算法确定用户的双眼视线方向,以及与双眼视线方向对应的用户的观看专注度,本申请实施例对此并不限定。
步骤S102d,通过对所述图像中的人脸图像进行识别,确定与特定的人脸匹配的目标用户;将所述目标用户的观看视角确定为目标观看视角。
这里,特定的人脸可以是预先设定的,可以包括但不限于具有特定观看优先级的用户的人脸或者具有特定观看权限的用户的人脸等。在实施时,可以采用任意合适的人脸识别算法对图像中的人脸图像进行识别,本申请实施例对此并不限定。
本申请实施例提供的展示方法,首先确定与真实场景中真实对象匹配的虚拟对象;然后通过对包括当前观看用户的图像进行识别,确定目标观看视角;进而根据所述目标观看视角,确定所述虚拟对象的显示效果;最后根据所述显示效果,通过显示设备展示所述真实场景与所述虚拟对象相叠加的增强现实效果。这样,在进行增强现实效果展示时,可以根据当前观看用户的实际情况,确定目标观看视角,并基于该目标观看视角来改变当前虚拟对象的显示效果,进而改变当前展示的真实场景与虚拟对象相叠加的增强现实效果,从而可以自动满足用户的观看或智能互动的需求。进一步地,可以根据观看用户的数目、身份、观看专注度或者观看用户的人脸图像确定目标观看视角,进而改变当前虚拟对象的显示效果,这样,当显示设备前的用户处于不同位置或者显示设备前有多个用户时,可以更好地满足用户的观看或互动需求。
本申请实施例提供一种展示方法,该方法可以由处理器执行,如图2所示,该方法包括以下步骤:
步骤S201,确定与真实场景中真实对象匹配的虚拟对象;
这里,步骤S201与前述步骤S101对应,在实施时可以参照前述步骤S101的具体实施方式。
步骤S202,通过对包括当前观看用户的图像进行识别,确定目标观看视角,所述目标观看视角包括特定平面维度上各方向上的观看视角;
这里,特定平面维度可以包括特定的水平面、垂直面等平面维度中的一种或多种。特定平面维度上各方向上的观看视角包括在显示设备前沿着该特定平面维度的各个方向观看真实对象或显示设备时的视角。例如,在显示设备前从左到右的不同位置处用户观看真实对象或显示设备时的视角,可以对应水平面维度上各个方向上的观看视角;在显示设备前同一位置不同身高的用户观看真实对象或显示设备时的视角,或者同一位置用户站立或蹲下时观看真实对象或显示设备时的视角,可以对应垂直平面维度上各个方向上的观看视角。
步骤S203,确定每一所述方向上的观看视角对应的所述虚拟对象的显示位置;
这里,每一观看视角对应的虚拟对象的显示位置可以根据特定的观看视角与显示位置之间的对应关系来确定,也可以根据每一观看视角,结合与该虚拟对象匹配的真实对象的信息,通过特定的运算模型计算得到。在实施时,可以根据实际情况选择合适的方式确定虚拟对象的显示位置,这里并不限定。
步骤S204,根据所述虚拟对象的各显示位置,确定所述虚拟对象的显示轨迹;
这里,显示轨迹包括显示设备上虚拟对象可以显示的各个位置。虚拟对象可以按照随机的或特定的顺序在显示设备的各个位置处切换显示,从而可以在显示设备上按照该显示轨迹移动。
步骤S205,根据所述显示轨迹,通过所述显示设备展示所述真实场景与所述虚拟对象相叠加的增强现实效果,使得所述虚拟对象在所述显示设备上按照所述显示轨迹移动。
这里,虚拟对象在显示设备上按照显示轨迹移动时,在特定平面维度的各个方向都可以有机会看到预期的展示效果。例如,当显示设备前的左、中、右三个方向都有观看用户时,可以在这三个方向的视角分别对应的位置处轮流显示虚拟对象,以使这三个方向的用户可以分别在特定的时间内观看到预期的显示效果。
在一些实施例中,上述步骤S203还可以包括:步骤S203a,通过对所述图像进行识别,确定所述虚拟对象在各显示位置对应的显示时长。对应地,上述步骤S204可以包括:根据所述虚拟对象的各显示位置和每一显示位置对应的显示时长,确定所述虚拟对象的显示轨迹。这里,显示轨迹包括虚拟对象的各显示位置以及虚拟对象在每一显示位置处的显示时长。当虚拟对象在显示设备上按照显示轨迹移动时,虚拟对象可以按照随机的或特定的顺序在各个位置处切换显示,在每个位置处显示时可以显示对应的显示时长。例如,当显示设备前的左、中、右三个方向都有观看用户时,可以在这三个方向的视角分别对应的位置处轮流按照对应的显示时长显示虚拟标签,以使这三个方向的用户可以分别在特定的时间内观看到预期的显示效果。
在一些实施例中,上述步骤S203a可以包括:
步骤S231,通过对所述图像进行识别,确定所述图像中各用户的观看视角;
步骤S232,针对每一显示位置,确定所述图像中观看视角与所述显示位置对应的观看视角一致的用户的数目;
步骤S233,根据所述用户的数目,查询特定的用户的数目与显示时长之间的对应关系,确定所述显示位置对应的显示时长。
这里,特定的用户的数目与显示时长之间的对应关系可以是用户根据实际需求预设的,这里并不限定。在一些实施例中,用户的数目与显示时长之间可以是正比关系,即在用户数目越多的显示位置,虚拟对象对应的显示时长越长。
本申请实施例提供的展示方法,在进行增强现实效果展示时,根据特定平面维度上各方向上的观看视角确定虚拟对象的显示轨迹,并根据该显示轨迹,通过显示设备展示真实场景与该虚拟对象相叠加的增强现实效果,使得该虚拟对象在显示设备上按照所述显示轨迹移动。这样,由于虚拟对象的显示轨迹包括了特定平面维度上各方向上的观看视角对应的显示位置,因此,用户在特定平面维度的各个方向对该增强现实效果进行观看时,都可以有机会看到预期的展示效果,从而,可以更好地满足用户的观看或互动需求。进一步地,还可以根据观看视角分别与各显示位置对应的观看视角一致的用户的数目,确定虚拟对象在各显示位置处的显示时长,从而可以进一步提升用户的观看或互动体验。
本申请实施例提供一种展示方法,该方法可以由处理器执行,如图3所示,该方法包括以下步骤:
步骤S301,确定与真实场景中真实对象匹配的虚拟对象;
步骤S302,通过对包括当前观看用户的图像进行识别,确定目标观看视角;
这里,上述步骤S301至S302分别与前述步骤S101至S102对应,在实施时可以参照前述步骤S101至S102的具体实施方式。
步骤S303,获得所述真实场景中真实对象的位置;
这里,真实场景中真实对象的位置为该真实对象在真实世界中的位置。在实施时,真实对象的位置可以是预先设定的,也可以是通过对真实场景中的真实对象进行检测得到的。本领域技术人员在实施时可以根据实际情况选择合适的方式获得真实对象的位置,这里并不限定。
步骤S304,根据所述真实对象的位置和所述目标观看视角,确定所述虚拟对象的显示效果;
这里,虚拟对象的显示效果可以根据与虚拟对象匹配的真实对象的位置和目标观看视角来确定。本领域技术人员在实施时,可以基于光学原理,根据实际需要选择合适的方式确定虚拟对象的显示效果,这里并不限定。
步骤S305,根据所述显示效果,通过显示设备展示所述真实场景与所述虚拟对象相叠加的增强现实效果。
这里,步骤S305与前述步骤S104对应,在实施时可以参照前述步骤S104的具体实施方式。
在一些实施例中,上述步骤S303可以包括:步骤S331a和步骤S332a,其中:
步骤S331a,通过所述显示设备的摄像头采集包括所述真实对象的图像;
这里,摄像头可以包括但不限于定标准摄像头、长焦摄像头、广角镜头、变焦摄像头、数字光场摄像头和数码摄像头等中的一种或多种。摄像头可以设置于显示设备的任意合适位置,可以包括但不限于显示屏的上部、下部、前方、侧面等。在实施时,摄像头可以内置于显示设备中,也可以设置在显示设备外部,这里并不限定。
步骤S332a,根据所述包括所述真实对象的图像,确定所述真实对象的位置。
这里,可以根据该真实对象在图像中的位置,按照特定的映射公式计算得到该真实对象在真实世界的位置;也可以根据特定的真实对象在图像中的位置与对应的真实对象在真实世界的位置之间的对应关系,确定该真实对象在真实世界的位置。在实施时,该映射公式和该对应关系可以预先通过标定或大数据分析等方式确定。
在一些实施例中,上述步骤S303可以包括:步骤S331b、步骤S332b和步骤S333b,其中:
步骤S331b,向所述真实场景发射特定的第一光线;
这里,第一光线可以是显示设备发射的,也可以是显示设备以外的其他发射的。第一光线可以包括但不限于红外光、可见光等任意合适的光线。
步骤S332b,接收所述真实场景中的真实对象对所述第一光线反射回的第二光线;
这里,可以通过任意合适的感光器件接收第二光线,感光器件可以包括但不限于红外传感器、图像传感器等。
步骤S333b,根据所述第一光线的发射参数和所述第二光线的反射参数确定所述真实对象的位置。
这里,第一光线的发射参数可以包括但不限于发射时间、光线方向、光线强度等中的一种或多种。第二光线的反射参数可以包括但不限于第二光线的接收时间、光线方向、光线强度等中的一种或多种。在实施时,可以根据第一光线的发射参数和第二光线的反射参数,采用任意合适的方法确定真实对象的位置。例如,可以根据第一光线的发射时间和第二光线的接收时间之间的间隔,结合光的传播速度,确定真实对象的位置;或者可以根据第一光线的光线方向与第二光线的光线方向,并结合发射第一光线的装置的位置和接收第二光线的装置的位置,共同确定真实对象的位置。
本申请实施例提供的展示方法,通过获得真实场景中真实对象的位置,并根据真实对象的位置和目标观看视角,确定虚拟对象的显示效果。这样,由于在确定虚拟对象的显示效果时,同时考虑了目标观看角度和真实对象在真实世界中的位置,因而可以确定更加合适的虚拟对象的显示效果,从而可以进一步提升用户的观看或互动体验。此外,可以通过对包括所述真实对象的图像进行识别确定真实对象的位置,或者根据向真实场景发射光线的参数和接收的反射光线的参数确定真实对象的位置,这样处理效率快且可以较为准确地确定真实对象的位置,因而可以提升增强现实效果的展示效率和展示效果,从而可以更进一步地提升用户的观看或互动体验。
本申请实施例提供一种展示方法,该方法可以由处理器执行,如图4所示,该方法包括以下步骤:
步骤S401,在显示屏移动到特定位置的情况下,通过所述摄像头采集所述包括当前观看用户的图像;其中,所述显示屏在预设的滑轨上可移动且设置有摄像头;
这里,特定位置为可以展示真实场景与虚拟对象相叠加的增强现实效果的合适的位置,可以是预先设定的位置,也可以是检测到特定的真实场景或真实对象时显示屏所处的位置,本申请实施例对此并不限定。
摄像头可以设置于显示屏的任意合适位置,可以包括但不限于显示屏的上部、下部、前方、侧面等。在实施时,摄像头可以内置于显示屏中,也可以设置在显示屏外部,这里并不限定。
步骤S402,确定与真实场景中真实对象匹配的虚拟对象;
步骤S403,通过对包括当前观看用户的图像进行识别,确定目标观看视角;
步骤S404,根据所述目标观看视角,确定所述虚拟对象的显示效果;
步骤S405,根据所述显示效果,通过显示设备展示所述真实场景与所述虚拟对象相叠加的增强现实效果。
这里,上述步骤S402至S405分别对应前述步骤S101至S104,在实施时,可以参照前述步骤S101至S104的具体实施方式。
本申请实施例提供的展示方法,显示设备为在预设的滑轨上可移动且设置有摄像头的显示屏,这样,在进行增强现实效果展示时,可以根据实际情况自动调整显示屏的位置。并且,在显示屏移动到特定位置的情况下,可以通过摄像头采集包括当前观看用户的图像,这样,可以获得更准确的当前观看用户的情况,从而可以获得更准确的目标观看视角,进而可以确定更加合适的虚拟对象的显示效果,以进一步提升用户的观看或互动体验。
本申请实施例提供一种展示方法,该方法可以由处理器执行,如图5A所示,该方法包括以下步骤:
步骤S501,确定真实场景中每一真实对象的属性信息;
这里,属性信息可以包括但不限于真实对象的名称、类型、描述等说明性信息。在实施时,真实对象的属性信息可以是预先设定后存储在本地存储器或者数据库中的,可以通过读取本地存储器或者查询数据库确定每一真实对象的属性信息;真实对象的属性信息还可以是通过采集包含每一真实对象的图像,并对包含每一真实对象的图像进行识别而确定的。本领域技术人员可以根据实际情况选择合适的方式确定真实场景中每一真实对象的属性信息,这里并不限定。
步骤S502,根据所述每一真实对象的属性信息,确定与所述真实对象匹配的虚拟标签;
这里,虚拟标签可以是包括对应的真实对象的属性信息的一种虚拟对象,可以包括但不限于用于表示属性信息的文字或图像等。
步骤S503,确定与每一所述虚拟标签对应的引导线;
这里,引导线可以是用于引导虚拟标签与对应的真实对象之间的关联关系的一种虚拟对象。引导线可以包括但不限于直线、曲线、折线等中的任意一种或多种。在实施时,引导线可以包括实线、虚线以及虚线和实线的任意组合等。
步骤S504,通过对包括当前观看用户的图像进行识别,确定目标观看视角;
步骤S505,根据所述目标观看视角,确定每一虚拟标签和所述虚拟标签对应的引导线的显示效果;
步骤S506,根据所述显示效果,通过显示设备展示所述真实场景与每一虚拟标签和所述虚拟标签对应的引导线相叠加的增强现实效果。
这里,上述步骤S504至S506分别对应前述步骤S102至S104,在实施时,可以参照前述步骤S102至S104的具体实施方式。
在一些实施例中,虚拟对象的显示效果包括每一虚拟标签的显示位置和每一虚拟标签对应的引导线的显示位置。对应地,上述步骤S506可以包括:
步骤S511,针对每一虚拟标签,根据所述虚拟标签的显示位置,在所述显示设备上显示所述虚拟标签;
步骤S512,根据所述虚拟标签对应的引导线的显示位置,在所述显示设备上显示所述引导线,使得所述引导线的两个端点分别指引所述虚拟标签和与所述虚拟标签匹配的真实对象。
图5B为本申请实施例提供的一种真实场景与虚拟对象相叠加的增强现实效果的展示效果示意图,如图5B所示,在增强现实效果中,真实场景10与虚拟对象20相叠加,真实场景中包括真实对象11,虚拟对象20包括与真实对像11匹配的虚拟标签21以及与虚拟标签21对应的引导线22,引导线22的两个端点分别指引虚拟标签21和真实对象11。
本申请实施例提供的展示方法,可以根据真实对象的属性信息,确定与真实对象匹配的虚拟标签,并通过引导线引导虚拟标签与真实对象之间的对应关系。这样,可以通过虚拟标签和引导线对真实对象的属性信息进行直观的显示。并且根据目标观看视角确定虚拟标签和对应的引导线的显示效果,这样,可以更准确地引导虚拟标签对应的真实对象,从而可以展示出更好的增强现实效果,进而可以提升用户的观看或互动体验。
基于前述的实施例,本申请实施例提供一种展示装置,该装置包括所包括的各单元、以及各单元所包括的各模块,可以通过展示设备中的处理器来实现;当然也可通过具体的逻辑电路实现。在实施的过程中,展示设备可以是任意合适的具备信息处理能力的电子设备,可以具备显示功能(如智能显示屏、智能手机、平板电脑、笔记本电脑、智能电视等),也可以不具备显示功能(如服务器、嵌入式计算设备等);处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图6为本申请实施例展示装置的组成结构示意图,如图6所示,展示装置600包括:第一确定模块610、第二确定模块620、第三确定模块630和展示模块640,其中:
第一确定模块610,用于确定与真实场景中真实对象匹配的虚拟对象;
第二确定模块620,用于通过对包括当前观看用户的图像进行识别,确定目标观看视角;
第三确定模块630,用于根据所述目标观看视角,确定所述虚拟对象的显示效果;
展示模块640,用于根据所述显示效果,通过显示设备展示所述真实场景与所述虚拟对象相叠加的增强现实效果。
在一些实施例中,所述第二确定模块还用于以下之一:
通过对所述图像中的用户数目进行识别,确定用户数目最多的图像区域;根据所述图像区域,确定用户在显示设备前的观看位置;将所述观看位置的观看视角确定为目标观看视角;
通过对所述图像中的用户身份进行识别,确定所述当前观看用户的身份;将所述图像中具有特定身份的用户的观看视角确定为目标观看视角;
通过对所述图像中的用户视线进行识别,确定所述图像中各用户的双眼视线方向;根据各用户的双眼视线方向,确定各用户的观看专注度;将观看专注度最高的用户的观看视角确定为目标观看视角;
通过对所述图像中的人脸图像进行识别,确定与特定的人脸匹配的目标用户;将所述目标用户的观看视角确定为目标观看视角。
在一些实施例中,所述目标观看视角包括特定平面维度上各方向上的观看视角,所述显示效果包括所述虚拟对象的显示轨迹。所述第三确定模块包括:第一确定子模块,用于确定每一所述方向上的观看视角对应的所述虚拟对象的显示位置;第二确定子模块,用于根据所述虚拟对象的各显示位置,确定所述虚拟对象的显示轨迹。所述展示模块还用于:根据所述显示轨迹,通过所述显示设备展示所述真实场景与所述虚拟对象相叠加的增强现实效果,使得所述虚拟对象在所述显示设备上按照所述显示轨迹移动。
在一些实施例中,所述第三确定模块还包括:第三确定子模块,用于通过对所述图像进行识别,确定所述虚拟对象在各显示位置对应的显示时长。对应地,所述第三确定子模块还用于:根据所述虚拟对象的各显示位置和每一显示位置对应的显示时长,确定所述虚拟对象的显示轨迹。
在一些实施例中,所述第三确定子模块还用于:通过对所述图像进行识别,确定所述图像中各用户的观看视角;针对每一显示位置,确定所述图像中观看视角与所述显示位置对应的观看视角一致的用户的数目;根据所述用户的数目,查询特定的用户的数目与显示时长之间的对应关系,确定所述显示位置对应的显示时长。
在一些实施例中,所述第三确定模块还包括:获得子模块,用于获得所述真实场景中真实对象的位置;第四确定子模块,用于根据所述真实对象的位置和所述目标观看视角,确定所述虚拟对象的显示效果。
在一些实施例中,所述获得子模块还用于:通过所述显示设备的摄像头采集包括所述真实对象的图像;根据所述包括所述真实对象的图像,确定所述真实对象的位置;
在一些实施例中,所述获得子模块还用于:向所述真实场景发射特定的第一光线;接收所述真实场景中的真实对象对所述第一光线反射回的第二光线;根据所述第一光线的发射参数和所述第二光线的反射参数确定所述真实对象的位置。
在一些实施例中,所述显示设备包括在预设的滑轨上可移动且设置有摄像头的显示屏;所述展示装置还包括:采集模块,用于在所述显示屏移动到特定位置的情况下,通过所述摄像头采集所述包括当前观看用户的图像。
在一些实施例中,所述真实场景中包括至少一个真实对象,所述虚拟对象包括虚拟标签和所述虚拟标签对应的引导线。对应地,所述第一确定模块还用于:确定真实场景中每一真实对象的属性信息;根据所述每一真实对象的属性信息,确定与所述真实对象匹配的虚拟标签;确定与每一所述虚拟标签对应的引导线。
在一些实施例中,所述虚拟对象的显示效果包括每一虚拟标签的显示位置和所述虚拟标签对应的引导线的显示位置。对应地,所述展示模块还用于:针对每一虚拟标签,根据所述虚拟标签的显示位置,在所述显示设备上显示所述虚拟标签;根据所述虚拟标签对应的引导线的显示位置,在所述显示设备上显示所述引导线,使得所述引导线的两个端点分别指引所述虚拟标签和与所述虚拟标签匹配的真实对象。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的展示方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一台展示设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
对应地,本申请实施例提供一种展示设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法中的步骤。
对应地,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法中的步骤。
对应地,本申请实施例提供一种计算机程序,包括计算机可读代码,当所述计算机可读代码在展示设备中运行时,所述展示设备中的处理器执行用于实现上述方法中的步骤。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,图7为本申请实施例中展示设备的一种硬件实体示意图,如图7所示,该展示设备700的硬件实体包括:处理器701、通信接口702和存储器703,其中
处理器701通常控制展示设备700的总体操作。
通信接口702可以使展示设备通过网络与其他设备通信。
存储器703配置为存储由处理器701可执行的指令和应用,还可以缓存待处理器701以及展示设备700中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory,RAM)实现。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台展示设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (12)
1.一种展示方法,其特征在于,所述方法包括:
确定与真实场景中真实对象匹配的虚拟对象;
通过对包括当前观看用户的图像进行识别,确定目标观看视角;
根据所述目标观看视角,确定所述虚拟对象的显示效果,所述显示效果包括所述虚拟对象的显示轨迹;
根据所述显示轨迹,通过显示设备展示所述真实场景与所述虚拟对象相叠加的增强现实效果;
所述根据所述目标观看视角,确定所述虚拟对象的显示效果,包括:
确定目标观看视角对应的所述虚拟对象的显示位置,所述目标观看视角包括特定平面维度上各方向上的观看视角;
通过对所述图像进行识别,确定所述虚拟对象在各显示位置对应的显示时长;
根据所述虚拟对象的各显示位置和每一显示位置对应的显示时长,确定所述虚拟对象的显示轨迹。
2.根据权利要求1所述的方法,其特征在于,所述通过对包括当前观看用户的图像进行识别,确定目标观看视角,包括以下之一:
通过对所述图像中的用户数目进行识别,确定用户数目最多的图像区域;根据所述图像区域,确定用户在显示设备前的观看位置;将所述观看位置的观看视角确定为目标观看视角;
通过对所述图像中的用户身份进行识别,确定所述当前观看用户的身份;将所述图像中具有特定身份的用户的观看视角确定为目标观看视角;
通过对所述图像中的用户视线进行识别,确定所述图像中各用户的双眼视线方向;根据各用户的双眼视线方向,确定各用户的观看专注度;将观看专注度最高的用户的观看视角确定为目标观看视角;
通过对所述图像中的人脸图像进行识别,确定与特定的人脸匹配的目标用户;将所述目标用户的观看视角确定为目标观看视角。
3.根据权利要求1所述的方法,其特征在于,所述根据所述显示轨迹,通过显示设备展示所述真实场景与所述虚拟对象相叠加的增强现实效果,包括:
根据所述显示轨迹,通过所述显示设备展示所述真实场景与所述虚拟对象相叠加的增强现实效果,使得所述虚拟对象在所述显示设备上按照所述显示轨迹移动。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述通过对所述图像进行识别,确定所述虚拟对象在各显示位置对应的显示时长,包括:
通过对所述图像进行识别,确定所述图像中各用户的观看视角;
针对每一显示位置,确定所述图像中观看视角与所述显示位置对应的观看视角一致的用户的数目;
根据所述用户的数目,查询特定的用户的数目与显示时长之间的对应关系,确定所述显示位置对应的显示时长。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述根据所述目标观看视角,确定所述虚拟对象的显示效果,包括:
获得所述真实场景中真实对象的位置;
根据所述真实对象的位置和所述目标观看视角,确定所述虚拟对象的显示效果。
6.根据权利要求5所述的方法,其特征在于,所述获得所述真实场景中真实对象的位置,包括:
通过所述显示设备的摄像头采集包括所述真实对象的图像;根据所述包括所述真实对象的图像,确定所述真实对象的位置;
或者,向所述真实场景发射特定的第一光线;接收所述真实场景中的真实对象对所述第一光线反射回的第二光线;根据所述第一光线的发射参数和所述第二光线的反射参数确定所述真实对象的位置。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述显示设备包括在预设的滑轨上可移动且设置有摄像头的显示屏;所述方法还包括:
在所述显示屏移动到特定位置的情况下,通过所述摄像头采集所述包括当前观看用户的图像。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述真实场景中包括至少一个真实对象,所述虚拟对象包括虚拟标签和所述虚拟标签对应的引导线;
对应地,所述确定与真实场景中真实对象匹配的虚拟对象,包括:
确定真实场景中每一真实对象的属性信息;
根据所述每一真实对象的属性信息,确定与所述真实对象匹配的虚拟标签;
确定与每一所述虚拟标签对应的引导线。
9.根据权利要求8所述的方法,其特征在于,所述虚拟对象的显示效果还包括每一虚拟标签的显示位置和所述虚拟标签对应的引导线的显示位置;
对应地,所述根据所述显示轨迹,通过显示设备展示所述真实场景与所述虚拟对象相叠加的增强现实效果,包括:
针对每一虚拟标签,根据所述虚拟标签的显示位置,在所述显示设备上显示所述虚拟标签;
根据所述虚拟标签对应的引导线的显示位置,在所述显示设备上显示所述引导线,使得所述引导线的两个端点分别指引所述虚拟标签和与所述虚拟标签匹配的真实对象。
10.一种展示装置,其特征在于,包括:
第一确定模块,用于确定与真实场景中真实对象匹配的虚拟对象;
第二确定模块,用于通过对包括当前观看用户的图像进行识别,确定目标观看视角;
第三确定模块,用于根据所述目标观看视角,确定所述虚拟对象的显示效果,所述显示效果包括所述虚拟对象的显示轨迹;
展示模块,用于根据所述显示轨迹,通过显示设备展示所述真实场景与所述虚拟对象相叠加的增强现实效果;
所述第三确定模块,还用于:确定目标观看视角对应的所述虚拟对象的显示位置,所述目标观看视角包括特定平面维度上各方向上的观看视角;通过对所述图像进行识别,确定所述虚拟对象在各显示位置对应的显示时长;根据所述虚拟对象的各显示位置和每一显示位置对应的显示时长,确定所述虚拟对象的显示轨迹。
11.一种展示设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至9任一项所述方法中的步骤。
12.一种计算机存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至9任一项所述方法中的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010763328.4A CN111881861B (zh) | 2020-07-31 | 2020-07-31 | 一种展示方法、装置、设备及存储介质 |
PCT/CN2021/095861 WO2022022036A1 (zh) | 2020-07-31 | 2021-05-25 | 一种展示方法、装置、设备、存储介质及计算机程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010763328.4A CN111881861B (zh) | 2020-07-31 | 2020-07-31 | 一种展示方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111881861A CN111881861A (zh) | 2020-11-03 |
CN111881861B true CN111881861B (zh) | 2023-07-21 |
Family
ID=73205335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010763328.4A Active CN111881861B (zh) | 2020-07-31 | 2020-07-31 | 一种展示方法、装置、设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111881861B (zh) |
WO (1) | WO2022022036A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111881861B (zh) * | 2020-07-31 | 2023-07-21 | 北京市商汤科技开发有限公司 | 一种展示方法、装置、设备及存储介质 |
CN112365317A (zh) * | 2020-11-12 | 2021-02-12 | 东方明珠新媒体股份有限公司 | 一种基于场景化虚拟餐桌的下单方法及设备 |
CN114584681A (zh) * | 2020-11-30 | 2022-06-03 | 北京市商汤科技开发有限公司 | 目标对象的运动展示方法、装置、电子设备及存储介质 |
CN112601067B (zh) * | 2020-12-11 | 2023-08-15 | 京东方科技集团股份有限公司 | 增强现实显示装置及其显示方法 |
CN112634773B (zh) * | 2020-12-25 | 2022-11-22 | 北京市商汤科技开发有限公司 | 增强现实的呈现方法、装置、展示设备及存储介质 |
CN112632349B (zh) * | 2020-12-31 | 2023-10-20 | 北京市商汤科技开发有限公司 | 展区指示方法、装置、电子设备及存储介质 |
CN113625872A (zh) * | 2021-07-30 | 2021-11-09 | 深圳盈天下视觉科技有限公司 | 一种展示方法、系统、终端及存储介质 |
CN113794824B (zh) * | 2021-09-15 | 2023-10-20 | 深圳市智像科技有限公司 | 室内可视化文档智能交互式采集方法、装置、系统及介质 |
CN114706511B (zh) * | 2021-12-29 | 2024-07-23 | 联想(北京)有限公司 | 交互处理方法、装置及电子设备 |
CN114911382A (zh) * | 2022-05-06 | 2022-08-16 | 深圳市商汤科技有限公司 | 一种签名展示方法、装置及其相关设备和存储介质 |
CN115760269B (zh) * | 2022-10-26 | 2024-01-09 | 北京城市网邻信息技术有限公司 | 户型特征生成方法、装置、电子设备及存储介质 |
CN117170504B (zh) * | 2023-11-01 | 2024-01-19 | 南京维赛客网络科技有限公司 | 在虚拟人物交互场景中带人观看的方法、系统及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109829977A (zh) * | 2018-12-30 | 2019-05-31 | 贝壳技术有限公司 | 在虚拟三维空间中看房的方法、装置、电子设备及介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008108246A (ja) * | 2006-10-23 | 2008-05-08 | Internatl Business Mach Corp <Ibm> | 閲覧者の位置に従って仮想画像を生成するための方法、システム、およびコンピュータ・プログラム |
US9901828B2 (en) * | 2010-03-30 | 2018-02-27 | Sony Interactive Entertainment America Llc | Method for an augmented reality character to maintain and exhibit awareness of an observer |
CN104995665B (zh) * | 2012-12-21 | 2018-01-26 | Metaio有限公司 | 用于在真实环境中表示虚拟信息的方法 |
CN107074110B (zh) * | 2014-10-29 | 2019-07-05 | 松下知识产权经营株式会社 | 显示控制装置以及记录了显示控制程序的记录介质 |
WO2017054185A1 (zh) * | 2015-09-30 | 2017-04-06 | 华为技术有限公司 | 一种展示全景视觉内容的方法、装置及终端 |
CN109840947B (zh) * | 2017-11-28 | 2023-05-09 | 广州腾讯科技有限公司 | 增强现实场景的实现方法、装置、设备及存储介质 |
CN109978945B (zh) * | 2019-02-26 | 2021-08-31 | 浙江舜宇光学有限公司 | 一种增强现实的信息处理方法和装置 |
CN110263657B (zh) * | 2019-05-24 | 2023-04-18 | 亿信科技发展有限公司 | 一种人眼追踪方法、装置、系统、设备和存储介质 |
CN110321005A (zh) * | 2019-06-14 | 2019-10-11 | 深圳传音控股股份有限公司 | 一种提高ar设备虚拟物件显示效果的方法、装置、ar设备和存储介质 |
CN110716645A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
CN111881861B (zh) * | 2020-07-31 | 2023-07-21 | 北京市商汤科技开发有限公司 | 一种展示方法、装置、设备及存储介质 |
-
2020
- 2020-07-31 CN CN202010763328.4A patent/CN111881861B/zh active Active
-
2021
- 2021-05-25 WO PCT/CN2021/095861 patent/WO2022022036A1/zh active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109829977A (zh) * | 2018-12-30 | 2019-05-31 | 贝壳技术有限公司 | 在虚拟三维空间中看房的方法、装置、电子设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111881861A (zh) | 2020-11-03 |
WO2022022036A1 (zh) | 2022-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111881861B (zh) | 一种展示方法、装置、设备及存储介质 | |
US9836889B2 (en) | Executable virtual objects associated with real objects | |
US20180239137A1 (en) | Apparatus, systems and methods for providing motion tracking using a personal viewing device | |
EP2936444B1 (en) | User interface for augmented reality enabled devices | |
CN111833458B (zh) | 图像显示方法及装置、设备、计算机可读存储介质 | |
KR102355135B1 (ko) | 정보 처리 장치, 정보 처리 방법, 및 프로그램 | |
JP2022545851A (ja) | 仮想対象制御方法及び装置、機器、コンピュータ可読記憶媒体 | |
CN112037314A (zh) | 图像显示方法、装置、显示设备及计算机可读存储介质 | |
US11232636B2 (en) | Methods, devices, and systems for producing augmented reality | |
JP2015001875A (ja) | 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット | |
WO2013162235A1 (ko) | 포인터가 불필요한 3차원 가상 객체 정보 획득 장치 | |
US20170053449A1 (en) | Apparatus for providing virtual contents to augment usability of real object and method using the same | |
CN110215706B (zh) | 虚拟对象的位置确定方法、装置、终端及存储介质 | |
CN111815782A (zh) | Ar场景内容的显示方法、装置、设备及计算机存储介质 | |
KR101983233B1 (ko) | 깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법 | |
CN112947756A (zh) | 内容导览方法、装置、系统、计算机设备及存储介质 | |
CN111569421A (zh) | 虚拟场景变化同步方法、系统、vr播放设备及存储介质 | |
CN113867875A (zh) | 标记对象的编辑及显示方法、装置、设备、存储介质 | |
CN111918114A (zh) | 图像显示方法、装置、显示设备及计算机可读存储介质 | |
CN111913560B (zh) | 虚拟内容的显示方法、装置、系统、终端设备及存储介质 | |
KR20200123988A (ko) | Vr 영상 콘텐츠의 자막 처리 기기 | |
CN111833455B (zh) | 图像处理方法、装置、显示设备及计算机存储介质 | |
CN112634773B (zh) | 增强现实的呈现方法、装置、展示设备及存储介质 | |
CN113015018B (zh) | 弹幕信息的展示方法、装置、系统、电子设备及存储介质 | |
US20230334792A1 (en) | Interactive reality computing experience using optical lenticular multi-perspective simulation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40039071 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |