CN112684885A - 一种显示控制方法及装置 - Google Patents

一种显示控制方法及装置 Download PDF

Info

Publication number
CN112684885A
CN112684885A CN202011565110.4A CN202011565110A CN112684885A CN 112684885 A CN112684885 A CN 112684885A CN 202011565110 A CN202011565110 A CN 202011565110A CN 112684885 A CN112684885 A CN 112684885A
Authority
CN
China
Prior art keywords
display position
display
field angle
determining
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011565110.4A
Other languages
English (en)
Other versions
CN112684885B (zh
Inventor
罗颖灵
崔斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202011565110.4A priority Critical patent/CN112684885B/zh
Publication of CN112684885A publication Critical patent/CN112684885A/zh
Priority to US17/474,713 priority patent/US11721074B2/en
Application granted granted Critical
Publication of CN112684885B publication Critical patent/CN112684885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种显示控制方法及装置，方法包括：对增强现实AR设备前视场角范围内的实体环境进行平面检测，确定所述实体环境中的第一对象；至少基于所述第一对象和所述AR设备当前的视场角确定第二对象的显示位置，所述显示位置包括显示高度和显示距离；在所述显示位置显示所述第二对象。上述实现方式对于需要显示的虚拟对象，不会将其设置在固定的位置，而是会根据当前的实体环境和AR设备的视场角综合确定虚拟对象的显示位置，控制其显示在便于用户操作并且不影响用户观察其他对象的位置显示，从而方便用户操作，提升用户的使用体验。

Description

一种显示控制方法及装置
技术领域
本申请涉及增强现实技术，更具体的说，是涉及一种显示控制方法及装置。
背景技术
随着AR(Augmented Reality，增强现实)技术的不断发展，通过AR设备显示的虚拟物体与现实物体的相结合的应用越来越广泛。例如，通过虚拟现实技术将虚拟家居放置在实际房屋环境中，预先“观看”到装修效果。
当前对于虚拟对象的控制有多种方式，但其控制效果均不能够满足用户多样化的需求，难以达到理想的控制效果。
发明内容
有鉴于此，本申请提供如下技术方案：
一种显示控制方法，应用于增强现实AR设备，包括：
对所述AR设备前视场角范围内的实体环境进行平面检测，确定所述实体环境中的第一对象；
至少基于所述第一对象和所述AR设备当前的视场角确定第二对象的显示位置，所述显示位置包括显示高度和显示距离；
在所述显示位置显示所述第二对象。
可选的，所述至少基于所述第一对象和所述AR设备当前的视场角确定第二对象的显示位置，包括：
基于所述AR设备当前的视场角范围和第二对象的尺寸确定所述第二对象的第一显示位置；
基于所述第一显示位置和所述第一对象将所述第一显示位置调整至第二显示位置，使得所述第二对象处于所述第二显示位置上时与所述第一对象满足第一关系，所述第一显示位置和所述第二显示位置相同或不同。
可选的，所述第一关系为所述第一对象和所述第二对象不存在遮挡关系，则所述基于所述第一显示位置和所述第一对象将所述第一显示位置调整至第二显示位置，包括：
确定所述第二对象处于所述第一显示位置上时与所述第一对象是否存在遮挡关系，所述遮挡关系包括所述第一对象和所述第二对象存在遮挡情况或遮挡面积大于第一阈值；
若存在，将所述第二对象的显示位置由所述第一显示位置调整至第二显示位置，使得所述第二对象处于调整后的所述第二显示位置上时与所述第一对象不存在遮挡。
可选的，所述至少基于所述第一对象和所述AR设备当前的视场角确定第二对象的显示位置，包括：
基于所述第一对象和所述AR设备用户的位置和姿态确定所述第二对象的显示位置，使得所述显示位置与所述AR设备当前视场角的范围边界之间的距离不小于第一距离，且与所述AR设备之间的距离不大于第二距离。
可选的，还包括：
在所述视场角发生位移的情况下，若所述第二对象与所述视场角的范围不满足第二关系，所述第二对象的显示位置不变；
若所述第二对象与所述视场角的范围满足第二关系，控制所述第二对象的显示位置基于所述视场角的位移数据进行移动。
可选的，所述控制所述第二对象的显示位置基于所述视场角的位移数据进行移动后，还包括：
在所述第二对象与所述平面检测的检测范围边界的距离小于第三距离，且所述视场角继续向其位移方向移动的情况下，停止所述控制所述第二对象的显示位置基于所述视场角的位移数据进行移动的操作。
可选的，所述第二对象包括多个第三对象，则还包括：
获取第一操作，所述第一操作为放置移动对象的操作，所述移动对象为所述多个第三对象中的任意一个对象；
基于所述第一操作，控制所述移动对象放置在第一位置，所述第一位置位于所述第一对象上方并与所述第一对象接触。
可选的，不同的第三对象之间具有固定的相对位置关系，则在所述控制所述移动对象放置在第一位置前，还包括:
获取第二操作，所述第二操作为抓取所述移动对象的操作；
控制所述移动对象解除与其他的所述第三对象之间的相对位置关系。
可选的，还包括：
在获取到所述第二操作的情况下，锁定所述第二对象的显示位置。
本申请还提供了一种显示控制装置，应用于增强现实AR设备，包括：
检测确定模块，用于对所述AR设备前视场角范围内的实体环境进行平面检测，确定所述实体环境中的第一对象；
位置确定模块，用于至少基于所述第一对象和所述AR设备当前的视场角确定第二对象的显示位置，所述显示位置包括显示高度和显示距离；
对象显示模块，用于在所述显示位置显示所述第二对象。
本申请还提供了一种存储介质，其上存储有程序，该程序被处理器运行时执行如下操作：对所述AR设备前视场角范围内的实体环境进行平面检测，确定所述实体环境中的第一对象；至少基于所述第一对象和所述AR设备当前的视场角确定第二对象的显示位置，所述显示位置包括显示高度和显示距离；在所述显示位置显示所述第二对象。
经由上述的技术方案可知，与现有技术相比，本申请实施例公开了一种显示控制方法及装置，方法包括：对所述AR设备前视场角范围内的实体环境进行平面检测，确定所述实体环境中的第一对象；至少基于所述第一对象和所述AR设备当前的视场角确定第二对象的显示位置，所述显示位置包括显示高度和显示距离；在所述显示位置显示所述第二对象。上述实现方式对于需要显示的虚拟对象，不会将其设置在固定的位置，而是会根据当前的实体环境和AR设备的视场角综合确定虚拟对象的显示位置，控制其显示在便于用户操作并且不影响用户观察其他对象的位置显示，从而方便用户操作，提升用户的使用体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例公开的一种显示控制方法的流程图；
图2为本发明实施例公开的确定第二对象的显示位置的流程图；
图3为本发明实施例公开的另一种显示控制方法的流程图；
图4为本发明实施例公开的一个第二对象跟随视场角范围移动的过程示意图；
图5本发明实施例公开的另一个第二对象跟随视场角范围移动的过程示意图；
图6为本发明实施例公开的一种显示控制装置的结构示意图。
具体实施方式
为了引用和清楚起见，下文中使用的技术名词的说明、简写或缩写总结如下：
AR：Augmented Reality，增强现实，该技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。
FOV：Field ofView，视场角，在光学仪器中，以光学仪器的镜头为顶点，以被测目标的物像可通过镜头的最大范围的两条边缘构成的夹角，称为视场角。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例可以应用于具有AR功能的电子设备，本申请对该电子设备的产品形式不做限定，可以包括但并不局限于智能手机、平板电脑、可穿戴设备、个人计算机(personal computer，PC)、上网本等，可以依据应用需求选择。
图1为本申请实施例公开的一种显示控制方法的流程图，图1所示方法应用于增强现实AR设备。参见图1所示，显示控制方法可以包括：
步骤101：对所述AR设备前视场角范围内的实体环境进行平面检测，确定所述实体环境中的第一对象。
AR设备均具备平面检测功能，基于该平面检测功能，AR设备可以扫描获取其视场角范围内的实体环境，确定实体环境中包含的环境对象，然后基于检测到的环境对象进行后续增强现实的相关处理工作。需要说明的是，所述平面检测并不是指对于处于一个平面上的实体环境进行检测，而是对检测范围内的立体空间环境进行检测，如其能检测到距离AR设备1m处的环境对象，也能够检测到距离AR设备3m处的环境对象。
本申请实施例中，实体环境中的第一对象可以是某类具有相同特性的对象，例如，第一对象为可放置实体物品的水平台面、竖直平面等，其对应到实际环境中可以是桌子平面、地板、墙面等，后续可在前述台面、平面上放置或悬挂虚拟物品；当然，第一对象也可以为服装展示人台，也即服装店中的模特模型，后续可在该服装展示人台上进行虚拟试衣。本申请对第一对象的具体形式和特性并不做固定限制，可根据实际应用场景确定。
可以理解的，AR设备进行平面检测检测到的环境对象包含上述第一对象。
步骤102：至少基于所述第一对象和所述AR设备当前的视场角确定第二对象的显示位置，所述显示位置包括显示高度和显示距离。
在进行平面检测确定了实体环境中的第一对象后，可以控制第二对象的显示，其中第二对象为虚拟对象；第二对象显示后，便于用户后续对第二对象进行相关控制，使其能够应用于实体环境，和前述第一对象进行结合应用，实现AR技术。
本实施例中，在控制第二对象显示前，需要首先确定第二对象的显示位置。第二对象的显示位置不能任意设定，而需要综合考虑用户需求和主观使用体验。例如，由于用户后续需要对第二对象进行相关操作，因此，第二对象的显示范围应当处于便于用户操作的范围内，如用户手臂能够触及的范围内；同时，需要考虑第二对象显示后会不会与现实环境中的第一对象存在遮挡关系；因此，本申请实施例中，显示位置可以包括显示高度和显示距离。
确定第二对象的显示位置可以基于第一对象和AR设备当前的视场角来综合确定，需要保证第二对象的显示位置位于AR设备的视场角内，便于用户阅读识别，还需要满足前述对于显示高度和显示距离的要求。确定第二对象显示位置的具体实现将在后面的实施例中详细记载，在此不再过多介绍。
步骤103：在所述显示位置显示所述第二对象。
在确定了第二对象的显示位置后，直接控制第二对象在所述显示位置显示，满足后续相关功能的实现需要。
本实施例所述显示控制方法对于需要显示的虚拟对象，不会将其设置在固定的位置，而是会根据当前的实体环境和AR设备的视场角综合确定虚拟对象的显示位置，控制其显示在便于用户操作并且不影响用户观察其他对象的位置显示，从而方便用户操作，提升用户的使用体验。
图2为本发明实施例公开的确定第二对象的显示位置的流程图，结合图2所示，在一个示意性的示例中，所述至少基于所述第一对象和所述AR设备当前的视场角确定第二对象的显示位置，可以包括：
步骤201：基于所述AR设备当前的视场角范围和第二对象的尺寸确定所述第二对象的第一显示位置。
第二对象虽为虚拟对象，但其也具有默认的配置尺寸，和实体物品类似的，对于尺寸固定的第二对象而言，当其距离用户眼睛较近时，用户看到的第二对象偏大，而当其距离用户眼睛较远时，用户看到的第二对象偏小。因此本是实施例中，需要基于第二对象的尺寸确定其在距离用户眼睛的距离，使得第二对象在显示后能够使用户以一种舒适距离的感觉观看到。
由于用户后续需要对显示的第二对象进行操作，因此需要保证第二对象的显示位置处于AR设备当前的视场角范围内。
步骤202：基于所述第一显示位置和所述第一对象将所述第一显示位置调整至第二显示位置，使得所述第二对象处于所述第二显示位置上时与所述第一对象满足第一关系。
其中，所述第一显示位置和所述第二显示位置相同或不同。
由于第一对象和第二对象均为立体对象且具有立体空间位置，对于用户的眼睛来说，同时存在的且位置固定第一对象和第二对象可能存在遮挡，例如，对于一个桌子平面的第一对象而言，一个虚拟花瓶的第二对象的显示位置在空间上与桌子平面的空间位置存在交叉范围，这就会导致虚拟花瓶在显示后用户只能看到上半部分，而看不到虚拟花瓶的下半部分；可以理解的，实际上虚拟花瓶的下半部分并不是没有显示，而是由于其显示空间位置与桌子平面的空间位置交叉，使得其下半部分被桌子平面挡住，无法被佩戴AR设备的用户看到。
因此，第二对象的尺寸还有一个作用，即确定其在第一显示位置正常显示后，会不会与第一对象存在遮挡关系。本申请实施例中，需要保证第二对象在第一显示位置显示后与所述第一对象满足第一关系，因此，前述第一显示位置和所述第二显示位置相同或不同。在第一显示位置和第二显示位置相同时，说明第二对象在第一位置显示后，不会与AR设备视场角范围内的第一对象构成遮挡关系，因此不需要再调整第二对象的显示位置；在第一显示位置和第二显示位置不相同时，说明第二对象在第一位置显示后，会与AR设备视场角范围内的第一对象构成遮挡关系，因此需要进一步调整其位置，使得第二对象处于第二显示位置上时与第一对象满足第一关系。第一关系的具体内容并没有固定限制，可根据应用场景需求来设定。
上述第一关系可以为所述第一对象和所述第二对象不存在遮挡关系，则所述基于所述第一显示位置和所述第一对象将所述第一显示位置调整至第二显示位置，可以包括：确定所述第二对象处于所述第一显示位置上时与所述第一对象是否存在遮挡关系，所述遮挡关系包括所述第一对象和所述第二对象存在遮挡情况或遮挡面积大于第一阈值；若存在，将所述第二对象的显示位置由所述第一显示位置调整至第二显示位置，使得所述第二对象处于调整后的所述第二显示位置上时与所述第一对象不存在遮挡。
其中，遮挡面积大于第一阈值，可以是被遮挡部分的面积达到被遮挡对象全部面积的一个百分比。
另一个实现中，所述至少基于所述第一对象和所述AR设备当前的视场角确定第二对象的显示位置，可以包括：基于所述第一对象和所述AR设备用户的位置和姿态确定所述第二对象的显示位置，使得所述显示位置与所述AR设备当前视场角的范围边界之间的距离不小于第一距离，且与所述AR设备之间的距离不大于第二距离。
由于用户佩戴AR设备，因此AR设备的视场角也可以根据用户的位置和姿态确定，在本实现中，用户的位置和姿态和AR设备的视场角具有相同的作用，都用于确定第二对象的显示范围，该显示范围对应AR设备的视场角。
此外，本实现中第二对象的显示位置与AR设备当前视场角的范围边界之间的距离不小于第一距离，这样使得第二对象的显示位置不会紧贴视场角的范围边界，从而用户从视觉感官的角度觉得第二对象的显示位置和整个AR设备的视场角的范围的关系会比较和谐舒适。同时，第二对象显示位置与AR设备之间的距离不大于第二距离，保证用户在手臂可触及范围内能够轻松的对第二对象进行手动操作，如拿取第二对象。
在上述本申请公开的实施例的基础上，图3示出了另一种显示控制方法的流程图，结合图3所示，显示控制方法可以包括：
步骤301：对所述AR设备前视场角范围内的实体环境进行平面检测，确定所述实体环境中的第一对象。
步骤302：至少基于所述第一对象和所述AR设备当前的视场角确定第二对象的显示位置，所述显示位置包括显示高度和显示距离。
步骤303：在所述显示位置显示所述第二对象。
步骤304：在所述视场角发生位移的情况下，若所述第二对象与所述视场角的范围不满足第二关系，所述第二对象的显示位置不变。
一个实现中，在确定了第二对象的显示位置后，直接将第二对象固定在所述显示位置，当AR设备的视场角随着用户身体或头部小幅度移动时，认为用户并没有主观改变可视范围的动机，则第二对象的显示位置保持不变；当用户的身体或头部大幅移动或转向时，认为用户是想要观看其他方向或当前视场角范围之外的对象，此时可以控制第二对象的显示位置跟随AR设备的视场角移动，以方便用户随时操作第二对象。
因此，需要设定一个判断条件，基于该判断条件确定是否控制第二对象的显示位置跟随AR设备的视场角移动。本实施例中，在视场角发生位移的情况下，将第二对象与视场角的范围之间的位置关系作为判断条件，在第二对象与视场角的范围不满足第二关系时，所述第二对象的显示位置不变。其中第二关系可以但不限制为包括第二对象超过一半的体积位于AR设备视场角的范围之外。
步骤305：若所述第二对象与所述视场角的范围满足第二关系，控制所述第二对象的显示位置基于所述视场角的位移数据进行移动。
沿用上述例子，最初第二对象整体位于AR设备的视场角范围内，随着AR设备的视场角范围的移动，使得固定显示的第二对象从一侧开始慢慢的移出AR设备的视场角范围边界；在第二对象超过一半的体积位于AR设备视场角的范围之外时，认为AR设备用户需要变换当前场景，则会控制第二对象跟随AR设备的视场角范围的移动而移动。
图4为本发明实施例公开的一个第二对象跟随视场角范围移动的过程示意图，其中虚线框区域为AR设备的视场角范围，带有5个人偶的操作栏为第二对象，其余部分为平面检测检测到的第一对象。结合图4，其中左侧的图像为第二对象初始显示位置；然后AR设备的视场角范围开始右移至中间图像所示，由于操作栏处于AR设备的视场角范围之外的体积没有达到设定值50％，则第二对象保持不动；AR设备的视场角范围继续右移，当操作栏处于AR设备的视场角范围之外的体积达到或超过设定值50％时，操作栏跟随AR设备的视场角范围向右移动。
具体的第二对象跟随AR设备的视场角位移的实现有多种方式，如基于视场角的位移数据同步移动，使得第二对象与AR设备的视场角范围的相对位置与AR设备的视场角移动之前相同，或者设置一定的跟随移动比例，或者实时的基于最新检测到的第一对象和AR设备当前的视场角确定第二对象的显示位置。
上述实施例中，在所述控制所述第二对象的显示位置基于所述视场角的位移数据进行移动后，还可以包括：在所述第二对象与所述平面检测的检测范围边界的距离小于第三距离，且所述视场角继续向其位移方向移动的情况下，停止所述控制所述第二对象的显示位置基于所述视场角的位移数据进行移动的操作。
一些情况下，AR设备进行平面检测的检测范围确定了，其能够检测到的第一对象也就确定了，这种情况下，即使佩戴AR设备的用户将头部转向其他方位，也看不到检测范围之外的第一对象。因此，这种情况下，可以默认将第二对象的显示范围限定在检测范围边界内；本实施例中，在第二对象与平面检测的检测范围边界的距离小于第三距离，且视场角继续向其位移方向移动的情况下，停止控制第二对象进行移动的操作。也即，在检测范围边界区域中，第二对象可以跟随视场角的移动而移动，但当其将要移出或接近检测范围边界时，达到移动限值，此时无论视场角是否继续移动，第二对象将不再继续跟随其移动。其中的第三距离可以但不限定为5cm。
图5本发明实施例公开的另一个第二对象跟随视场角范围移动的过程示意图，结合图5所示，在初始位置时，用户视线与操作栏上的人偶平齐，操作栏的显示位置如图5中左侧图像示意，然后用户视线上移，当操作栏底部与FOV下边缘距离大于等于X时，操作栏不动；当操作栏底部与FOV下边缘距离小于X时，操作栏随视线移动。在用户视线下移时，操作栏底部在FOV上边缘下方时，操作栏不随之移动；在操作栏底部与FOV上边缘齐平时，操作栏随之移动；在操作栏底部与下方检测平面边界距离小于Y时，操作栏不再随视线移动。
前述实施例中，所述第二对象可以包括多个第三对象，如图4中示出的操作栏，其为第二对象，操作栏包括多个人偶，为第三对象。则在一个实现中，显示控制方法还可以包括：获取第一操作，所述第一操作为放置移动对象的操作，所述移动对象为所述多个第三对象中的任意一个对象；基于所述第一操作，控制所述移动对象放置在第一位置，所述第一位置位于所述第一对象上方并与所述第一对象接触。
例如一个应用场景中，对于一间屋子，需要通过AR技术实现将一些家居饰品布置在该屋子中，使得用户能够观看到虚拟的装修布置效果；通过平面检测到屋子中的第一对象有地面、桌面和墙面，显示的虚拟的第二对象包括一个花瓶、一个植物盆栽和一幅画，则用户可以根据意愿，用手操作，控制将“一幅画”挂在墙面上，也可以控制将“花瓶”放置在桌面上。
当然，实现对第三对象的放置，需要首先将第三对象“拿起”。一个实现中，多个第三对象之间具有固定的相对位置关系，如图4中5个人偶之间具有相对位置关系，在操作栏移动时，5个人偶会与操作栏锁定状态同步移动。因此显示控制方法中，在控制所述移动对象放置在第一位置前，还可以包括:获取第二操作，所述第二操作为抓取所述移动对象的操作；控制所述移动对象解除与其他的所述第三对象之间的相对位置关系。实现用户“抓取”移动对象，则必须解除移动对象与其他第三对象之间的相对位置关系，这样对于用户而言，其“拿起”移动对象后，其他的第三对象仍旧保持在原有显示位置不变，而用户自己可以将移动对象移动至任意位置。
一个实现中，显示控制方法还可以包括：在获取到所述第二操作的情况下，锁定所述第二对象的显示位置。本实现中，在确定了第二对象显示位置后，只要用户还没有开始操作第二对象，则第二对象会实时的根据第一对象和AR设备当前的视场角确定显示位置，即只要用户头部移动，第二对象的显示位置也会移动。只有当用户开始操作第二对象后，如图4中操作栏上的5个人偶，只要用户开始拿取其中的任意一个第三对象，则认为用户开始操作第二对象，此时需要锁定第二对象的显示位置，以拟合现实世界中用户从某一固定位置处拿取东西的习惯。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
上述本申请公开的实施例中详细描述了方法，对于本申请的方法可采用多种形式的装置实现，因此本申请还公开了一种装置，下面给出具体的实施例进行详细说明。
图6为本发明实施例公开的一种显示控制装置的结构示意图，图6所示装置应用于增强现实AR设备，如图6所示，显示控制装置60可以包括：
检测确定模块601，用于对AR设备前视场角范围内的实体环境进行平面检测，确定所述实体环境中的第一对象。
位置确定模块602，用于至少基于所述第一对象和所述AR设备当前的视场角确定第二对象的显示位置，所述显示位置包括显示高度和显示距离。
对象显示模块603，用于在所述显示位置显示所述第二对象。
本实施例所述显示控制方法对于需要显示的虚拟装置，不会将其设置在固定的位置，而是会根据当前的实体环境和AR设备的视场角综合确定虚拟对象的显示位置，控制其显示在便于用户操作并且不影响用户观察其他对象的位置显示，从而方便用户操作，提升用户的使用体验。
一个实现中，位置确定模块可以包括：初始位置确定模块，用于基于所述AR设备当前的视场角范围和第二对象的尺寸确定所述第二对象的第一显示位置；位置调整模块，用于基于所述第一显示位置和所述第一对象将所述第一显示位置调整至第二显示位置，使得所述第二对象处于所述第二显示位置上时与所述第一对象满足第一关系，所述第一显示位置和所述第二显示位置相同或不同。
一个实现中，所述第一关系为所述第一对象和所述第二对象不存在遮挡关系，则所述位置调整模块具体可用于：确定所述第二对象处于所述第一显示位置上时与所述第一对象是否存在遮挡关系，所述遮挡关系包括所述第一对象和所述第二对象存在遮挡情况或遮挡面积大于第一阈值；若存在，将所述第二对象的显示位置由所述第一显示位置调整至第二显示位置，使得所述第二对象处于调整后的所述第二显示位置上时与所述第一对象不存在遮挡。
一个实现中，所述位置确定模块602具体可用于：基于所述第一对象和所述AR设备用户的位置和姿态确定所述第二对象的显示位置，使得所述显示位置与所述AR设备当前视场角的范围边界之间的距离不小于第一距离，且与所述AR设备之间的距离不大于第二距离。
一个实现中，显示控制装置还可以包括：视场角跟随模块，用于在所述视场角发生位移的情况下，若所述第二对象与所述视场角的范围不满足第二关系，所述第二对象的显示位置不变；若所述第二对象与所述视场角的范围满足第二关系，控制所述第二对象的显示位置基于所述视场角的位移数据进行移动。
在前述内容的基础上，进一步的，视场角跟随模块还可以用于：在所述第二对象与所述平面检测的检测范围边界的距离小于第三距离，且所述视场角继续向其位移方向移动的情况下，停止所述控制所述第二对象的显示位置基于所述视场角的位移数据进行移动的操作。
一个实现中，所述第二对象包括多个第三对象，则显示控制装置还可以包括：操作获取模块，用于获取第一操作，所述第一操作为放置移动对象的操作，所述移动对象为所述多个第三对象中的任意一个对象；对象放置模块，用于基于所述第一操作，控制所述移动对象放置在第一位置，所述第一位置位于所述第一对象上方并与所述第一对象接触。
一个实现中，所述操作获取模块还用于：获取第二操作，所述第二操作为抓取所述移动对象的操作；则显示控制装置还包括：位置解锁模块，用于控制所述移动对象解除与其他的所述第三对象之间的相对位置关系。
一个实现中，显示控制装置还可以包括：对象锁定模块，用于在获取到所述第二操作的情况下，锁定所述第二对象的显示位置。
上述显示控制装置及其各个模块的具体实现、可能的扩展方式以及各个实现所能够实现的技术效果，可参见方法实施例中相关部分的内容介绍，在此不再重复赘述。
上述实施例中的所述的任意一种显示控制包括处理器和存储器，上述实施例中的检测确定模块、位置确定模块和对象显示模块等均作为程序模块存储在存储器中，由处理器执行存储在所述存储器中的上述程序模块来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序模块。内核可以设置一个或多个，通过调整内核参数来实现回访数据的处理。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本申请实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述实施例中所述的显示控制方法。
本申请实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述实施例中所述的显示控制方法。
进一步，本实施例提供了一种电子设备，包括处理器以及存储器。其中存储器用于存储所述处理器的可执行指令，所述处理器配置为经由执行所述可执行指令来执行上述实施例中所述的显示控制方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种显示控制方法，应用于增强现实AR设备，包括：
对所述AR设备前视场角范围内的实体环境进行平面检测，确定所述实体环境中的第一对象；
至少基于所述第一对象和所述AR设备当前的视场角确定第二对象的显示位置，所述显示位置包括显示高度和显示距离；
在所述显示位置显示所述第二对象。
2.根据权利要求1所述的显示控制方法，所述至少基于所述第一对象和所述AR设备当前的视场角确定第二对象的显示位置，包括：
基于所述AR设备当前的视场角范围和第二对象的尺寸确定所述第二对象的第一显示位置；
基于所述第一显示位置和所述第一对象将所述第一显示位置调整至第二显示位置，使得所述第二对象处于所述第二显示位置上时与所述第一对象满足第一关系，所述第一显示位置和所述第二显示位置相同或不同。
3.根据权利要求2所述的显示控制方法，所述第一关系为所述第一对象和所述第二对象不存在遮挡关系，则所述基于所述第一显示位置和所述第一对象将所述第一显示位置调整至第二显示位置，包括：
确定所述第二对象处于所述第一显示位置上时与所述第一对象是否存在遮挡关系，所述遮挡关系包括所述第一对象和所述第二对象存在遮挡情况或遮挡面积大于第一阈值；
若存在，将所述第二对象的显示位置由所述第一显示位置调整至第二显示位置，使得所述第二对象处于调整后的所述第二显示位置上时与所述第一对象不存在遮挡。
4.根据权利要求1所述的显示控制方法，所述至少基于所述第一对象和所述AR设备当前的视场角确定第二对象的显示位置，包括：
基于所述第一对象和所述AR设备用户的位置和姿态确定所述第二对象的显示位置，使得所述显示位置与所述AR设备当前视场角的范围边界之间的距离不小于第一距离，且与所述AR设备之间的距离不大于第二距离。
5.根据权利要求1所述的显示控制方法，还包括：
在所述视场角发生位移的情况下，若所述第二对象与所述视场角的范围不满足第二关系，所述第二对象的显示位置不变；
若所述第二对象与所述视场角的范围满足第二关系，控制所述第二对象的显示位置基于所述视场角的位移数据进行移动。
6.根据权利要求5所述的显示控制方法，所述控制所述第二对象的显示位置基于所述视场角的位移数据进行移动后，还包括：
在所述第二对象与所述平面检测的检测范围边界的距离小于第三距离，且所述视场角继续向其位移方向移动的情况下，停止所述控制所述第二对象的显示位置基于所述视场角的位移数据进行移动的操作。
7.根据权利要求1-6任一项所述的显示控制方法，所述第二对象包括多个第三对象，则还包括：
获取第一操作，所述第一操作为放置移动对象的操作，所述移动对象为所述多个第三对象中的任意一个对象；
基于所述第一操作，控制所述移动对象放置在第一位置，所述第一位置位于所述第一对象上方并与所述第一对象接触。
8.根据权利要求7所述的显示控制方法，不同的第三对象之间具有固定的相对位置关系，则在所述控制所述移动对象放置在第一位置前，还包括:
获取第二操作，所述第二操作为抓取所述移动对象的操作；
控制所述移动对象解除与其他的所述第三对象之间的相对位置关系。
9.根据权利要求8所述的显示控制方法，还包括：
在获取到所述第二操作的情况下，锁定所述第二对象的显示位置。
10.一种显示控制装置，应用于增强现实AR设备，包括：
检测确定模块，用于对所述AR设备前视场角范围内的实体环境进行平面检测，确定所述实体环境中的第一对象；
位置确定模块，用于至少基于所述第一对象和所述AR设备当前的视场角确定第二对象的显示位置，所述显示位置包括显示高度和显示距离；
对象显示模块，用于在所述显示位置显示所述第二对象。
CN202011565110.4A 2020-12-25 2020-12-25 一种显示控制方法及装置 Active CN112684885B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011565110.4A CN112684885B (zh) 2020-12-25 2020-12-25 一种显示控制方法及装置
US17/474,713 US11721074B2 (en) 2020-12-25 2021-09-14 Display control method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011565110.4A CN112684885B (zh) 2020-12-25 2020-12-25 一种显示控制方法及装置

Publications (2)

Publication Number Publication Date
CN112684885A true CN112684885A (zh) 2021-04-20
CN112684885B CN112684885B (zh) 2023-05-02

Family

ID=75453333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011565110.4A Active CN112684885B (zh) 2020-12-25 2020-12-25 一种显示控制方法及装置

Country Status (2)

Country Link
US (1) US11721074B2 (zh)
CN (1) CN112684885B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160025981A1 (en) * 2014-07-25 2016-01-28 Aaron Burns Smart placement of virtual objects to stay in the field of view of a head mounted display
US20160026242A1 (en) * 2014-07-25 2016-01-28 Aaron Burns Gaze-based object placement within a virtual reality environment
US20160027215A1 (en) * 2014-07-25 2016-01-28 Aaron Burns Virtual reality environment with real world objects
CN105378625A (zh) * 2013-06-25 2016-03-02 微软技术许可有限责任公司 指示视野外的增强现实图像
CN106095092A (zh) * 2016-06-08 2016-11-09 北京行云时空科技有限公司 基于三维空间的头戴设备的光标控制方法和装置
CN107291237A (zh) * 2017-06-23 2017-10-24 联想(北京)有限公司 信息处理方法及头戴式电子设备
CN107562197A (zh) * 2017-08-24 2018-01-09 北京灵犀微光科技有限公司 显示方法及装置
CN107615228A (zh) * 2015-06-12 2018-01-19 日商可乐普拉股份有限公司 浮动的图形用户界面
CN109685909A (zh) * 2018-11-12 2019-04-26 腾讯科技（深圳）有限公司 图像的显示方法、装置、存储介质和电子装置
CN110476142A (zh) * 2017-04-03 2019-11-19 微软技术许可有限责任公司 虚拟对象用户界面显示
CN111095165A (zh) * 2017-08-31 2020-05-01 苹果公司 用于与增强和虚拟现实环境交互的系统、方法和图形用户界面
CN111860252A (zh) * 2020-07-09 2020-10-30 北京市商汤科技开发有限公司 图像处理方法、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8912979B1 (en) * 2011-07-14 2014-12-16 Google Inc. Virtual window in head-mounted display
JP6780642B2 (ja) * 2015-06-15 2020-11-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20190340821A1 (en) * 2018-05-04 2019-11-07 Microsoft Technology Licensing, Llc Multi-surface object re-mapping in three-dimensional use modes
CN110533780B (zh) * 2019-08-28 2023-02-24 深圳市商汤科技有限公司 一种图像处理方法及其装置、设备和存储介质
US11727650B2 (en) * 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105378625A (zh) * 2013-06-25 2016-03-02 微软技术许可有限责任公司 指示视野外的增强现实图像
US20160025981A1 (en) * 2014-07-25 2016-01-28 Aaron Burns Smart placement of virtual objects to stay in the field of view of a head mounted display
US20160026242A1 (en) * 2014-07-25 2016-01-28 Aaron Burns Gaze-based object placement within a virtual reality environment
US20160027215A1 (en) * 2014-07-25 2016-01-28 Aaron Burns Virtual reality environment with real world objects
CN107615228A (zh) * 2015-06-12 2018-01-19 日商可乐普拉股份有限公司 浮动的图形用户界面
CN106095092A (zh) * 2016-06-08 2016-11-09 北京行云时空科技有限公司 基于三维空间的头戴设备的光标控制方法和装置
CN110476142A (zh) * 2017-04-03 2019-11-19 微软技术许可有限责任公司 虚拟对象用户界面显示
CN107291237A (zh) * 2017-06-23 2017-10-24 联想(北京)有限公司 信息处理方法及头戴式电子设备
CN107562197A (zh) * 2017-08-24 2018-01-09 北京灵犀微光科技有限公司 显示方法及装置
CN111095165A (zh) * 2017-08-31 2020-05-01 苹果公司 用于与增强和虚拟现实环境交互的系统、方法和图形用户界面
CN109685909A (zh) * 2018-11-12 2019-04-26 腾讯科技（深圳）有限公司 图像的显示方法、装置、存储介质和电子装置
CN111860252A (zh) * 2020-07-09 2020-10-30 北京市商汤科技开发有限公司 图像处理方法、设备及存储介质

Also Published As

Publication number Publication date
US20220207835A1 (en) 2022-06-30
US11721074B2 (en) 2023-08-08
CN112684885B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
US10733801B2 (en) Markerless image analysis for augmented reality
US11557102B2 (en) Methods for manipulating objects in an environment
CN109564472B (zh) 用于选取与虚拟对象的交互方法的方法、介质和系统
CN107209570B (zh) 动态自适应虚拟列表
US9208618B2 (en) Interactive three dimensional displays on handheld devices
US20240062413A1 (en) Methods and Devices for Detecting and Identifying Features in an AR/VR Scene
US8872854B1 (en) Methods for real-time navigation and display of virtual worlds
US10319104B2 (en) Method and system for determining datum plane
US11170521B1 (en) Position estimation based on eye gaze
CN106530404A (zh) 基于ar虚拟现实技术和云存储的待售房屋考察系统
US20150002419A1 (en) Recognizing interactions with hot zones
US9716842B1 (en) Augmented reality presentation
CN104685869A (zh) 显示装置、控制方法和控制程序
CN106527719A (zh) 基于ar虚拟现实技术和实时三维建模的待售房屋考察系统
KR20200138349A (ko) 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체
JP2021527252A (ja) 自動化された表面選択設置およびコンテンツ配向設置を用いた拡張現実ビューア
CN105204646A (zh) 一种穿戴式电子设备及信息处理方法
CN112684885A (zh) 一种显示控制方法及装置
US11353953B2 (en) Method of modifying an image on a computational device
US11893207B2 (en) Generating a semantic construction of a physical setting
TW561423B (en) Video-based image control system
CN113888257A (zh) 基于物品的展示方法、装置及程序产品
US20210278954A1 (en) Projecting inputs to three-dimensional object representations
US20210343040A1 (en) Object tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant