CN109448132B - 显示控制方法及装置、电子设备、计算机可读存储介质 - Google Patents

显示控制方法及装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN109448132B
CN109448132B CN201811249398.7A CN201811249398A CN109448132B CN 109448132 B CN109448132 B CN 109448132B CN 201811249398 A CN201811249398 A CN 201811249398A CN 109448132 B CN109448132 B CN 109448132B
Authority
CN
China
Prior art keywords
image
target
media information
user
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811249398.7A
Other languages
English (en)
Other versions
CN109448132A (zh
Inventor
付文君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201811249398.7A priority Critical patent/CN109448132B/zh
Publication of CN109448132A publication Critical patent/CN109448132A/zh
Application granted granted Critical
Publication of CN109448132B publication Critical patent/CN109448132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/12Hotels or restaurants

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开是关于一种显示控制方法及装置、电子设备、计算机可读存储介质。所述方法包括:确定现实场景内的目标物体上的目标媒体信息;其中,所述目标媒体信息包括目标文本和/或目标图片;在所述现实场景内的预设位置显示虚拟出的所述目标媒体信息所描述物体的影像。本公开实施例中通过在现实场景中显示虚拟出的目标媒体信息所描述物体的影像,通过影像可以使用户更直观的感受目标文本所描述物体,例如用户在点菜时,可以根据用户选择的菜品展现相应的菜品,可以提升用户在点菜过程中的体验和趣味性。

Description

显示控制方法及装置、电子设备、计算机可读存储介质
技术领域
本公开涉及控制技术领域,尤其涉及一种显示控制方法及装置、电子设备、计算机可读存储介质。
背景技术
增强现实技术(Augmented Reality,简称AR),是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术,是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等),通过电脑等科学技术,模拟仿真后将虚拟信息再叠加真实世界,即真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在,从而达到超越现实的感官体验。
然而,现有的AR设备仅能显示预先设定的虚拟信息,无法满足用户在一些特定场景下的需求。
发明内容
本公开提供一种显示控制方法及装置、电子设备、计算机可读存储介质,以解决相关技术的不足。
根据本公开实施例的第一方面,提供一种显示控制方法,所述方法包括:
确定现实场景内的目标物体上的目标媒体信息;其中,所述目标媒体信息包括目标文本和/或目标图片;
在所述现实场景内的预设位置显示虚拟出的所述目标媒体信息所描述物体的影像。
可选地,确定现实场景内的目标物体,包括:
对用户针对现实场景内各目标物体的操作进行监测;
响应于监测到用户发出的第一选择操作,确定所述第一选择操作针对的位置;
将距离所述位置最近的媒体条目确定为目标媒体信息。
可选地,在所述现实场景内的预设位置显示虚拟出的所述目标媒体信息所描述物体的影像之后,所述方法还包括:
对用户针对所述目标物体和/或当前影像的操作进行监测;
响应于监测到用户发出针对所述目标物体的第二选择操作,确定所述第二选择操作针对的位置;确定距离所述位置最近的媒体条目为新的目标媒体信息;停止显示当前影像,并显示虚拟出的所述新的目标媒体信息所描述物体的新的影像;将所述新的影像作为当前影像,继续对用户针对所述目标物体和/或当前影像的操作进行监测;
响应于监测到用户发出针对当前影像的第三选择操作,将当前影像对应的目标媒体信息对应的文本信息添加到清单中;继续对用户针对所述目标物体的操作进行检测。
可选地,所述方法还包括:
在另一预设位置显示所述清单的影像;
对用户针对所述清单的影像的操作进行监测;
响应于监测到用户发出的第四选择操作,确定所述第四选择操作针对的操作位置;
确定距离所述操作位置最近的媒体条目影像;
将确定的媒体条目影像从所述清单的影像中移除。
可选地,在所述现实场景内的预设位置显示虚拟出的所述目标媒体信息所描述物体的影像,包括:
获取所述目标媒体信息所描述物体的属性信息;所述属性信息至少包括温度;
在所述现实场景内的预设位置显示虚拟出的所述目标媒体信息所描述物体的影像,其中所述影像具有根据所述温度渲染的温度效果。
可选地,在所述现实场景内的预设位置显示虚拟出的所述目标媒体信息所描述物体的影像,包括:
基于预先设置的搭配原则,获取所述目标媒体信息所描述物体的搭配物体;
在所述现实场景内的第一预设位置显示虚拟出的所述目标媒体信息所描述物体的影像;
在所述影像周围的第二预设位置显示虚拟出的搭配物体影像以及所述搭配物体在所述目标物体上的媒体条目的影像。
可选地,在所述现实场景内的预设位置显示虚拟出的所述目标媒体信息所描述物体的影像,包括:
确定所述目标媒体信息所描述物体的属性信息;所述属性信息包括以下至少一种:营养成分、营养搭配、食用禁忌、食用方式、产地、生长周期或品质等级;
在所述现实场景内的第一预设位置显示虚拟出的所述目标媒体信息所描述物体的影像;
在所述影像周围的第三预设位置显示所述属性信息。
根据本公开实施例的第三方面,提供一种显示控制装置,包括:
信息确定模块,用于确定现实场景内的目标物体上的目标媒体信息;其中,所述目标媒体信息包括目标文本和/或目标图片;
影像虚拟模块,用于在所述现实场景内的预设位置显示虚拟出的所述目标媒体信息所描述物体的影像。
可选地,所述信息确定模块包括:
第一操作监测单元,用于对用户针对现实场景内各目标物体的操作进行监测;
位置确定单元,用于响应于监测到用户发出的第一选择操作,确定所述第一选择操作针对的位置;
目标物体确定单元,用于将距离所述位置最近的媒体条目确定为目标媒体信息。
可选地,所述装置还包括:
第二操作监测模块,用于对用户针对所述目标物体和/或当前影像的操作进行监测;
当前影像更新模块,用于响应于监测到用户发出针对所述目标物体的第二选择操作,确定所述第二选择操作针对的位置;确定距离所述位置最近的媒体条目为新的目标媒体信息;停止显示当前影像,并显示虚拟出的所述新的目标媒体信息所描述物体的新的影像;将所述新的影像作为当前影像,继续对用户针对所述目标物体和/或当前影像的操作进行监测;
媒体信息添加模块,用于响应于监测到用户发出针对当前影像的第三选择操作,将当前影像对应的目标媒体信息对应的文本信息添加到清单中;继续对用户针对所述目标物体的操作进行检测。
可选地,所述装置还包括:
清单影像显示模块,用于在另一预设位置显示所述清单的影像;
第四操作监测模块,用于对用户针对所述清单的影像的操作进行监测;
操作位置确定模块,用于响应于监测到用户发出的第四选择操作,确定所述第四选择操作针对的操作位置;
媒体条目确定模块,用于确定距离所述操作位置最近的媒体条目影像;
媒体影像移除模块,用于将确定的媒体条目影像从所述清单的影像中移除。
可选地,所述影像虚拟模块包括:
属性信息获取模块,用于获取所述目标媒体信息所描述物体的属性信息;所述属性信息至少包括温度;
温度效果显示模块,用于在所述现实场景内的预设位置显示虚拟出的所述目标媒体信息所描述物体的影像,其中所述影像具有根据所述温度渲染的温度效果。
可选地,所述影像虚拟模块包括:
搭配物体获取单元,用于基于预先设置的搭配原则,获取所述目标媒体信息所描述物体的搭配物体;
第一影像虚拟单元,用于在所述现实场景内的第一预设位置显示虚拟出的所述目标媒体信息所描述物体的影像;
第二影像虚拟单元,用于在所述影像周围的第二预设位置显示虚拟出的搭配物体影像以及所述搭配物体在所述目标物体上的媒体条目的影像。
可选地,所述影像虚拟模块包括:
属性信息确定单元,用于确定所述目标媒体信息所描述物体的属性信息;所述属性信息包括以下至少一种:营养成分、营养搭配、食用禁忌、食用方式、产地、生长周期或品质等级;
第一影像虚拟单元,用于在所述现实场景内的第一预设位置显示虚拟出的所述目标媒体信息所描述物体的影像;
第三影像虚拟单元,用于在所述影像周围的第三预设位置显示所述属性信息。
根据本公开实施例的第三方面,提供一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器被配置为执行所述存储器中的可执行指令以实现第一方面所述方法的步骤。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面所述的方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:
由上述实施例可知,本公开实施例中通过在现实场景中显示虚拟出的目标媒体信息所描述物体的影像,通过影像可以使用户更直观的感受目标媒体信息所描述物体,例如用户在点菜时,可以根据用户选择的菜品展现相应的菜品,可以提升用户在点菜过程中的体验和趣味性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种显示控制方法的流程示意图;
图2是根据一示例性实施例示出的一种应用场景的示意图;
图3是根据一示例性实施例示出的一种确定目标物体的流程示意图;
图4是根据一示例性实施例示出的一种应用场景的示意图;
图5是根据又一示例性实施例示出的一种显示控制方法的流程示意图;
图6是根据一示例性实施例示出的一种应用场景的效果示意图;
图7是根据又一示例性实施例示出的一种显示控制方法的流程示意图;
图8(a)和图8(b)是根据一示例性实施例示出的一种应用场景的效果示意图;
图9是根据又一示例性实施例示出的一种显示控制方法的流程示意图;
图10是根据一示例性实施例示出的一种应用场景的效果示意图;
图11是根据又一示例性实施例示出的一种显示控制方法的流程示意图;
图12是根据一示例性实施例示出的一种应用场景的效果示意图;
图13是根据又一示例性实施例示出的一种显示控制方法的流程示意图;
图14是根据一示例性实施例示出的一种应用场景的效果示意图;
图15~图21是根据一示例性实施例示出的一种解绑设备的装置的框图;
图22是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置例子。
需要说明的是,本实施例中,目标媒体信息可以包括以下至少一种:目标文本、目标图片。需要说明的是,本申请实施例可以应用于AR设备,例如:AR眼镜等。AR设备中可以预先设置识别图片或者文本的算法,通过调用该算法可以识别出图片或者文本信息。可理解的是,该算法可以利用相关技术中的图像识别算法实现,在此不作限定。
鉴于现有的增强现实设备(即AR设备)仅能显示预先设定的虚拟信息,无法满足用户在一些特定场景下的需求,为此,本公开实施例提供了一种显示控制方法,可以应用于AR设备,后续以AR设备为例说明该显示控制方法,图1是根据一示例性实施例示出的一种显示控制方法的流程示意图。参见图1,一种显示控制方法,包括:
101,确定现实场景内的目标物体上的目标媒体信息,其中,所述目标媒体信息包括目标文本和/或目标图片。
实际应用中,用户穿戴AR设备后,通过调整AR设备的角度,可以使期望区域对应现实场景内的目标区域,在该期望区域内可以包括各种物体,例如桌子,以及桌子上的菜单、瓷碗等。参见图2,AR设备的现实场景11内可以覆盖桌子12,这样现实场景11内可以包括桌子上的菜单13、瓷碗14。
本实施例中,AR设备可以在执行本步骤之前,先确定现实场景内的目标物体,包括以下方式:
方式一,用户操作选择方式。AR设备对用户针对现实场景内各物体的操作进行监测。其中,用户的操作可以为预设手势,例如,单击、双击、左右滑动、双指捏合(pinch)等,还可以为手掌覆盖、圈选等,也可以为触发选择按钮等。技术人可以设置操作方式,在此不作限定。
当监测到用户的操作后,AR设备响应于监测到用户发出的选择操作,从而可以确定选择操作针对的位置。继续参见图2,以操作方式为单击为例,AR设备将现实场景内手指落下与抬起的转折位置作为该单击操作的位置,基于单击操作位置与现实场景的左边界和上边界的距离x和y,可以得到该单击操作的位置的坐标,即得到第一选择操作针对的位置。
之后,AR设备获取选择操作针对的位置与现实场景中各物体的距离,并将距离该位置最近的物体确定为目标物体。继续参见图2,在第一选择操作为单击操作时,单击操作针对的位置为A点,获取位置A到菜单之间的距离即线段AB以及位置A到瓷碗之间的距离即线段AC(C为瓷碗上距离位置A最近的一点),然后比较线段AB和线段AC的大小。由于AB小于AC,则将菜单确定为目标物体。
方式二,预先设置方式。用户可以预先设置目标物体,AR设备可以主动识别目标物体,即AR设备可以通过识别现实场景内各物体上媒体条目来确定哪个物体为目标物体。例如,用户设置目标物体为“菜单”、“Memu”和“菜谱”等。此场景下,AR设备在确定物体上包含“菜单”、“Memu”或“菜谱”的文本/图片时确定为目标物体。
方式三,预先设置方式。AR设备还可以综合现实场景内的各物体的尺寸、形状以及媒体条目来确定哪个是目标物体。例如,现实场景内其中一个物体上包含多个文本条目或者图片“酸辣土豆丝”、“红烧鲤鱼”和“葱爆海参”,由于多个文本条目都是菜品名,或者图片都是菜品,因此AR设备可以确定该物体为菜单即目标物体。
方式四,提醒选择方式。AR设备还可以提醒用户选择目标物体、选择目标媒体信息等,例如,提醒用户可以通过至少两次操作确定目标媒体信息,包括:第一次操作选择目标物体;确定目标物体后,再提醒用户第二次操作选择目标媒体信息,同样可以达到获取目标媒体信息的效果,相应方案落入本申请的保护范围。
最后,在确定目标物体后,AR设备还可以确定目标媒体信息。参见图3,AR设备对用户针对现实场景内各目标物体的操作进行监测(对应步骤301)。其中,用户的操作可以为预设手势,例如,单击、双击、左右滑动、双指捏合(pinch)等,还可以为手掌覆盖、圈选等,也可以为触发选择按钮等。技术人可以设置操作方式,在此不作限定。
当监测到用户的操作后,AR设备响应于监测到用户发出的第一选择操作,从而可以确定第一选择操作针对的位置(对应步骤302)。之后,AR设备获取第一选择操作针对的位置与现实场景中目标物体上各媒体条目的距离,并将距离第一选择操作针对位置最近的媒体条目确定为目标媒体信息(对应步骤303)。需要说明的是,AR设备根据第一选择操作的位置确定目标媒体信息的方式可以参考基于选择操作的位置确定目标物体的方式,在此不再赘述。
在一些实施例中,由于各文本条目的距离较小,第一选择操作的位置有可能与两条文本条目的距离相同,为方便用户明确所选择的文本条目,参见图4,AR设备可以将虚拟出的目标文本的影像在第一选择操作针对的位置的周围进行显示,从而提示用户所选择的文本条目。
102,在所述现实场景内的预设位置显示虚拟出的所述目标媒体信息所描述物体的影像。
在一些实施例中,AR设备中可以预先存储媒体信息和其所描述影像的对应关系。在确定出目标媒体信息后,AR设备可以调用该目标媒体信息和其所描述影像的对应关系,然后基于目标媒体信息查找到所描述物体的影像,并显示在现实场景内的预设位置。进一步地,该影像可以包括二维图像、三维图像、甚至能散发气味的多维图像、动画、视频等影像。
在另一些实施例中,在确定出目标媒体信息后,AR设备还可以根据目标媒体信息从网络上搜索合适的目标媒体信息所描述物体的影像,并在现实场景中的预设位置显示出来。
例如,当目标媒体信息为“北京烤鸭”时,继续参见图4,AR设备可以在现实场景中显示“北京烤鸭”所描述菜品的影像。
至此,本公开实施例中通过在现实场景中显示虚拟出的目标媒体信息所描述物体的影像,通过影像可以使用户更直观的感受目标媒体信息所描述物体,例如用户在点菜时,可以根据用户选择的菜品展现相应的菜品,可以提升用户在点菜过程中的体验和趣味性。
在一些实施例中,参见图5,在AR设备在现实场景中显示虚拟出的目标媒体信息所描述物体的影像后,AR设备可以对用户针对当前影像的操作进行监测(对应步骤501),当监测到操作后进行判断该操作是针对目标物体还是针对当前影像的选择操作(对应步骤502)。
继续参见图5,若选择操作为针对当前影像的第三选择操作,将当前影像对应的目标媒体信息对应的文本信息添加到清单中(对应步骤504)。此时可以停止显示当前影像,也可以使当前影像继续显示,直到用户选择下一个目标媒体信息,或者对目标物体的操作完毕。继续对用户针对现实场景内目标物体的操作进行监测,即跳转到步骤301。参见图6,当用户针对影像“北京烧鸭”发生第三选择操作后,AR设置将当前影像对应的目标媒体信息“北京烧鸭”添加到清单中。该清单可以在另一预设位置显示,还可以在现实场景中随机选择空白区域进行显示,在此不作限定。另外,AR设备在未检测到第三选择操作或者超时时,停止显示当前影像。
进一步地,第三选择操作也可以针对当前影像对应的媒体条目进行,也就是说,当“北京烤鸭”的影像为当前影像时,用户针对当前影像,或者针对当前影像对应的菜单上的媒体条目均可以进行第三选择,选择的结果都会将“北京烧鸭”添加到清单中。
需要说明的是,由于目标媒体条目可以包括目标文本和/或目标图片,因此清单中可以仅存储目标文本,还可以仅存储目标图片,又可以同时存储目标文本和目标图片,以及目标文本和目标图片对应的影像。因此AR设备可以增加相应的设置框,这样用户通过该设置框可以设置清单所包含的条目。
继续参见图5,若选择操作为针对目标物体的第二选择操作后,AR设备响应于该第二选择操作,确定第二选择操作针对的位置,确定距离位置最近的媒体条目为新的目标媒体信息;停止显示当前影像,并显示虚拟出的新的目标媒体信息所描述物体的新的影像,然后将新的影像作为当前影像(对应步骤503)。也就是说,用户对目标物体再次选择操作时,重新执行步骤101和步骤102。
以目标物体为菜单为例,对用户针对菜单的操作进行监测,响应于用户发出的第一选择操作,确定第一选择操作针对的位置,将距离该位置最近的媒体条目(菜品文本名称和/或菜品图片)确定为目标媒体信息,在预设位置(例如餐桌中央位置或者餐桌上距离用户较近位置)显示虚拟出的菜品影像。此时,对用户针对菜单或者当前显示影像的操作进行监控。如果用户对当前显示影像对应的菜品满意并确定该菜品,即发出针对当前影像的第三选择操作,将对应目标媒体信息添加到清单中(已点菜品清单),继续对用户针对菜单的操作进行监测;如果用户对当前显示影像对应产品不满意,需要继续看其他菜品,即发出针对菜单的第二选择操作,则确定该第二选择操作针对的位置,确定距离该位置最近的媒体条目(菜品文本名称和/或菜品图片)为新的目标媒体信息,停止显示当前菜品影像,并显示该新选择菜品对应的影像,继续对用户的操作进行监测。
需要说明的是,图5实施例所示场景中,AR设备每次仅为显示一个影像。在一些实施例中,现实场景内可以同时显示多个影像,这样按照用户选择多个目标媒体信息的先后顺序,在现实场景内的预设位置依次显示各目标媒体信息所描述的影像,可以达到图5所示实施例的效果。
在一些实施例中,用户需要对所选择的多个目标媒体信息重新调整。参见图7,AR设备在另一预设位置显示清单的影像(对应步骤701)。在显示影像的过程中,AR设备可以对用户针对清单的影像的操作进行监测(对应步骤702)。若未监测到针对清单的影像的操作,则继续监测。若监测到针对清单的影像的操作,则AR设备响应于监测到用户发出的第四选择操作,则确定第四选择操作针对的操作位置(对应步骤703)。然后,AR设备确定距离操作位置最近的媒体条目影像(对应步骤703)。最后,AR设备将确定的媒体条目影像从清单的影像中移除(对应步骤704)。
例如,参见图8(a),继续以目标物体为菜单为例,清单的影像16中表征清单包括“1,鱼香肉丝”、“2,北京烤鸭”、“……”等。当监测到用户有针对清单的影像的第四选择操作后,确定第四选择操作针对的操作位置A,由于距离操作位置A最近的媒体条目影像“2,北京烤鸭”,因此,将“2,北京烤鸭”从清单的影像16中移除,得到图8(b)所示的清单的影像。
本实施例中,通过显示清单的影像可以方便用户进行移除操作。当然,在一些实施例中,还可以根据用户的第四选择操作调整清单的影像中媒体条目的顺序,使顺序靠前的媒体条目所描述的物体具备优先出现。例如,若店家按照清单顺序上菜,则调整顺序可以满足不同用户的需求。
进一步地,还可以设置表征用户对目标物体操作完毕的操作接口。
在一些实施例中,可以通过用户对影像的预设操作,标识对目标物体操作结束。实施时可以在能够进行影像显示区域显示表征操作完毕的选择开关影像,例如在当前显示影像周围或者清单中设置按钮影像,并对用户针对该按钮影像的操作进行监控,响应于检测到用户对该按钮影像的选择操作,则确定针对目标物体的操作结束。以目标物体为菜单为例,若监测到用户针对选择开关影像的操作,则确定用户点餐完毕;
在另一些实施例中,可以通过用户对目标物体的预设操作,标识对目标物体操作结束。实施时可以在目标物体中加入标识操作结束的媒体信息(文字和/或图片)(例如在菜单中加入表征点餐结束的文字或者图片),当用户选择该媒体信息时,表征对目标物体操作结束;或者对用户对目标物体的操作动作进行监控,若监测到用户对目标物体的预设操作动作(例如将菜单关闭合拢,或者递给服务员等动作),则确定用户对目标物体操作结束。
在一些实施例中,AR设备还可以对显示的影像作一些渲染效果。参见图9,AR设备可以获取目标媒体信息所描述物体的属性信息。属性信息可以包括温度(对应步骤901)。然后,AR设备在现实场景内的预设位置显示虚拟出的目标媒体信息所描述物体的影像,其中影像具有根据温度渲染的温度效果(对应步骤902)。其中,温度效果可以为热气效果或者冷气效果。
参见图10,以目标媒体信息是“北京烤鸭”为例,由于目标媒体信息“北京烤鸭”的属性信息为热菜,其温度高于60-70摄氏度时食用口感较佳,因此目标媒体信息所描述物体“北京烤鸭”的属性信息包括温度。然后,在显示虚拟出的“北京烤鸭”的影像中,还具有根据温度渲染的温度效果,温度效果如图10中标号17所示。
本实施例中,通过影像中渲染属性信息的效果,可以更好显示目标媒体信息所描述的物体,让用户有更好的观看体验。
在一些实施例中,目标媒体信息所描述物体的属性信息还可以包括以下至少一种:营养成分、营养搭配、食用禁忌、食用方式、产地、生长周期或品质等级。当然,属性信息还可以根据具体场景进行设置,例如最佳使用时间等,在此不作限定。
此场景下,参见图11,AR设备确定目标媒体信息所描述物体的属性信息;所述属性信息包括以下至少一种:营养成分、营养搭配、食用禁忌、食用方式、产地、生长周期或品质等级(对应步骤1101)。然后,AR设备在现实场景内的第一预设位置显示虚拟出的目标媒体信息所描述物体的影像(对应步骤1102),之后,AR设备在影像周围的第三预设位置显示属性信息(对应步骤1103)。
参见图12,以目标媒体信息“北京烤鸭”为例,由于目标媒体信息所描述物体“北京烤鸭”为热菜,AR设备可以在影像“北京烤鸭”周围的第三预设位置显示包括“食用方式18”的属性信息,例如,食用方式可包括:本菜品外焦里嫩……。
本实施例中,通过显示目标媒体信息所描述物体的属性信息,从而降低用户选择目标媒体信息的工作量以及选择目标媒体信息的效率,进一步提升用户使用AR设备的体验。
实际应用中,目标媒体信息所描述物体有可能是一个个体,其搭配一些物体形成的组合会有更好的效果。在一些实施例中,AR设备中还预先设置搭配原则,搭配原则可以包括颜色搭配原则、味道搭配原则、营养搭配原则、药性搭配原则、食用方法搭配原则等等,可以根据期望物体图像的类型选择不同的搭配原则。
本实施例中,AR设备获取预先设置的搭配原则。其中搭配原则可以包括颜色搭配原则、味道搭配原则、营养搭配原则、药性搭配原则、食用方法搭配原则等等,可以根据期望物体图像的类型选择不同的搭配原则。参见图13,基于搭配原则,AR设备可以获取到目标媒体信息所描述物体的搭配物体(对应步骤1301)。AR设备在现实场景内的第一预设位置显示虚拟出的目标媒体信息所描述特征的影像(对应步骤1302),然后在影像周围的第二预设位置显示虚拟出的搭配物体影像以及搭配物体在所述目标物体上的媒体条目的影像(对应步骤1303)。
例如,参见图14,根据味道搭配原则,AR设备为目标媒体信息“北京烤鸭”的搭配物体为“秘制酱料”,然后,AR设备在现实场景内的第一预设位置显示目标媒体信息所描述物体“北京烤鸭”的影像17,在第二预设位置显示虚拟出的搭配物体“秘制酱料”的影像19以及搭配物体在目标物体上的媒体条目的影像19。
本实施例中,通过搭配原则,在现实场景内分别显示目标文本所描述的物体及其搭配物体的影像,可以使用户有更直接的观看体验,有利于减少选择时间。
图15是根据一示例性实施例示出的一种显示控制装置的框图。参见图15,一种显示控制装置1500,包括:
信息确定模块1501,用于确定现实场景内的目标物体上的目标媒体信息;其中,所述目标媒体信息包括目标文本和/或目标图片;
影像虚拟模块1502,用于在所述现实场景内的预设位置显示虚拟出的所述目标媒体信息所描述物体的影像。
可选地,参见图16,在图15所示显示控制装置1500的基础上,所述信息确定模块1501包括:
第一操作监测单元1601,用于对用户针对现实场景内各目标物体的操作进行监测;
位置确定单元1602,用于响应于监测到用户发出的第一选择操作,确定所述第一选择操作针对的位置;
目标物体确定单元1603,用于将距离所述位置最近的媒体条目确定为目标媒体信息。
可选地,参见图17,在图15所示显示控制装置1500的基础上,所述装置1500还包括:
第二操作监测模块1701,用于对用户针对所述目标物体和/或当前影像的操作进行监测;
当前影像更新模块1702,用于响应于监测到用户发出针对所述目标物体的第二选择操作,确定所述第二选择操作针对的位置;确定距离所述位置最近的媒体条目为新的目标媒体信息;停止显示当前影像,并显示虚拟出的所述新的目标媒体信息所描述物体的新的影像;将所述新的影像作为当前影像,继续对用户针对所述目标物体和/或当前影像的操作进行监测;
媒体信息添加模块1703,用于响应于监测到用户发出针对当前影像的第三选择操作,将当前影像对应的目标媒体信息对应的文本信息添加到清单中;继续对用户针对所述目标物体的操作进行检测。
可选地,参见图18,在图15所示显示控制装置1500的基础上,所述装置1500还包括:
清单影像显示模块1801,用于在另一预设位置显示所述清单的影像;
第四操作监测模块1802,用于对用户针对所述清单的影像的操作进行监测;
操作位置确定模块1803,用于响应于监测到用户发出的第四选择操作,确定所述第四选择操作针对的操作位置;
媒体条目确定模块1804,用于确定距离所述操作位置最近的媒体条目影像;
媒体影像移除模块1805,用于将确定的媒体条目影像从所述清单的影像中移除。
可选地,参见图19,在图15所示显示控制装置1500的基础上,所述影像虚拟模块1502包括:
属性信息获取模块1901,用于获取所述目标媒体信息所描述物体的属性信息;所述属性信息至少包括温度;
温度效果显示模块1902,用于在所述现实场景内的预设位置显示虚拟出的所述目标媒体信息所描述物体的影像,其中所述影像具有根据所述温度渲染的温度效果。
可选地,参见图20,在图15所示显示控制装置1500的基础上,所述影像虚拟模块1502包括:
搭配物体获取单元2001,用于基于预先设置的搭配原则,获取所述目标媒体信息所描述物体的搭配物体;
第一影像虚拟单元2002,用于在所述现实场景内的第一预设位置显示虚拟出的所述目标媒体信息所描述物体的影像;
第二影像虚拟单元2003,用于在所述影像周围的第二预设位置显示虚拟出的搭配物体影像以及所述搭配物体在所述目标物体上的媒体条目的影像。
可选地,参见图21,在图15所示显示控制装置1500的基础上,所述影像虚拟模块1502包括:
属性信息确定单元2101,用于确定所述目标媒体信息所描述物体的属性信息;所述属性信息包括以下至少一种:营养成分、营养搭配、食用禁忌、食用方式、产地、生长周期或品质等级;
第一影像虚拟单元2102,用于在所述现实场景内的第一预设位置显示虚拟出的所述目标媒体信息所描述物体的影像;
第三影像虚拟单元2103,用于在所述影像周围的第三预设位置显示所述属性信息。
可理解的是,本发明实施例提供的显示控制装置与上述显示控制方法相对应,具体内容可以参考方法各实施例的内容,在此不再赘述。
图22是根据一示例性实施例示出的一种电子设备的框图。例如,电子设备2200可以是智能手机,计算机,数字广播终端,平板设备,医疗设备,健身设备,个人数字助理等。
参照图22,电子设备2200可以包括以下一个或多个组件:处理组件2202,存储器2204,电源组件2206,多媒体组件2208,音频组件2210,输入/输出(I/O)的接口2212,传感器组件2214,通信组件2216,以及图像采集组件2218。
处理组件2202通常电子设备2200的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件2202可以包括一个或多个处理器2220来执行指令。此外,处理组件2202可以包括一个或多个模块,便于处理组件2202和其他组件之间的交互。例如,处理组件2202可以包括多媒体模块,以方便多媒体组件2208和处理组件2202之间的交互。在进行交互时,处理器2220可以从存储器2204中读取可执行指令,在实现图1~图7以及图8(a)和图8(b)所示显示控制方法的步骤。
存储器2204被配置为存储各种类型的数据以支持在电子设备2200的操作。这些数据的示例包括用于在电子设备2200上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器2204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件2206为电子设备2200的各种组件提供电力。电源组件2206可以包括电源管理系统,一个或多个电源,及其他与为电子设备2200生成、管理和分配电力相关联的组件。
多媒体组件2208包括在所述电子设备2200和目标对象之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示屏(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自目标对象的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
音频组件2210被配置为输出和/或输入音频信号。例如,音频组件2210包括一个麦克风(MIC),当电子设备1100处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器2204或经由通信组件2216发送。在一些实施例中,音频组件2210还包括一个扬声器,用于输出音频信号。
I/O接口2212为处理组件2202和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。
传感器组件2214包括一个或多个传感器,用于为电子设备2200提供各个方面的状态评估。例如,传感器组件2214可以检测到电子设备2200的打开/关闭状态,组件的相对定位,例如所述组件为电子设备2200的显示屏和小键盘,传感器组件2214还可以检测电子设备2200或一个组件的位置改变,目标对象与电子设备2200接触的存在或不存在,电子设备2200方位或加速/减速和电子设备2200的温度变化。
通信组件2216被配置为便于电子设备2200和其他设备之间有线或无线方式的通信。电子设备2200可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件2216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件2216还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备2200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器2204,上述指令可由电子设备2200的处理器2220执行。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种显示控制方法,其特征在于,所述方法包括:
确定现实场景内的目标物体上的目标媒体信息;
其中,所述目标媒体信息包括目标文本和/或目标图片;
在所述现实场景内的预设位置显示虚拟出的所述目标媒体信息所描述物体的影像;
在所述现实场景内的预设位置显示虚拟出的所述目标媒体信息所描述物体的影像,包括:
获取所述目标媒体信息所描述物体的属性信息;所述属性信息至少包括温度;
在所述现实场景内的第一预设位置显示虚拟出的所述目标媒体信息所描述物体的影像,其中所述影像具有根据所述温度渲染的温度效果。
2.根据权利要求1所述的显示控制方法,其特征在于,确定现实场景内的目标物体上的目标媒体信息,包括:
对用户针对现实场景内目标物体的操作进行监测;
响应于监测到用户发出的第一选择操作,确定所述第一选择操作针对的位置;
将距离所述位置最近的媒体条目确定为目标媒体信息。
3.根据权利要求2所述的显示控制方法,其特征在于,在所述现实场景内的预设位置显示虚拟出的所述目标媒体信息所描述物体的影像之后,所述方法还包括:
对用户针对所述目标物体和/或当前影像的操作进行监测;
响应于监测到用户发出针对所述目标物体的第二选择操作,确定所述第二选择操作针对的位置;确定距离所述位置最近的媒体条目为新的目标媒体信息;停止显示当前影像,并显示虚拟出的所述新的目标媒体信息所描述物体的新的影像;将所述新的影像作为当前影像,继续对用户针对所述目标物体和/或当前影像的操作进行监测;
响应于监测到用户发出针对当前影像的第三选择操作,将当前影像对应的目标媒体信息对应的文本信息添加到清单中;继续对用户针对所述目标物体的操作进行监测。
4.根据权利要求3所述的显示控制方法,其特征在于,所述方法还包括:
在另一预设位置显示所述清单的影像;
对用户针对所述清单的影像的操作进行监测;
响应于监测到用户发出的第四选择操作,确定所述第四选择操作针对的操作位置;
确定距离所述操作位置最近的媒体条目影像;
将确定的媒体条目影像从所述清单的影像中移除。
5.根据权利要求1所述的显示控制方法,其特征在于,在所述现实场景内的预设位置显示虚拟出的所述目标媒体信息所描述物体的影像,还包括:
基于预先设置的搭配原则,获取所述目标媒体信息所描述物体的搭配物体;
在所述影像周围的第二预设位置显示虚拟出的搭配物体影像以及所述搭配物体在所述目标物体上的媒体条目的影像。
6.根据权利要求1所述的显示控制方法,其特征在于,在所述现实场景内的预设位置显示虚拟出的所述目标媒体信息所描述物体的影像,还包括:
确定所述目标媒体信息所描述物体的属性信息;所述属性信息包括以下至少一种:营养成分、营养搭配、食用禁忌、食用方式、产地、生长周期或品质等级;
在所述影像周围的第三预设位置显示所述属性信息。
7.一种显示控制装置,其特征在于,所述装置包括:
信息确定模块,用于确定现实场景内的目标物体上的目标媒体信息;其中,所述目标媒体信息包括目标文本和/或目标图片;
影像虚拟模块,用于在所述现实场景内的预设位置显示虚拟出的所述目标媒体信息所描述物体的影像;
所述影像虚拟模块包括:
属性信息获取模块,用于获取所述目标媒体信息所描述物体的属性信息;所述属性信息至少包括温度;
温度效果显示模块,用于在所述现实场景内的第一预设位置显示虚拟出的所述目标媒体信息所描述物体的影像,其中所述影像具有根据所述温度渲染的温度效果。
8.根据权利要求7所述的显示控制装置,其特征在于,所述信息确定模块包括:
第一操作监测单元,用于对用户针对现实场景内各目标物体的操作进行监测;
位置确定单元,用于响应于监测到用户发出的第一选择操作,确定所述第一选择操作针对的位置;
目标物体确定单元,用于将距离所述位置最近的媒体条目确定为目标媒体信息。
9.根据权利要求8所述的显示控制装置,其特征在于,所述装置还包括:
第二操作监测模块,用于对用户针对所述目标物体和/或当前影像的操作进行监测;
当前影像更新模块,用于响应于监测到用户发出针对所述目标物体的第二选择操作,确定所述第二选择操作针对的位置;确定距离所述位置最近的媒体条目为新的目标媒体信息;停止显示当前影像,并显示虚拟出的所述新的目标媒体信息所描述物体的新的影像;将所述新的影像作为当前影像,继续对用户针对所述目标物体和/或当前影像的操作进行监测;
媒体信息添加模块,用于响应于监测到用户发出针对当前影像的第三选择操作,将当前影像对应的目标媒体信息对应的文本信息添加到清单中;继续对用户针对所述目标物体的操作进行检测。
10.根据权利要求9所述的显示控制装置,其特征在于,所述装置还包括:
清单影像显示模块,用于在另一预设位置显示所述清单的影像;
第四操作监测模块,用于对用户针对所述清单的影像的操作进行监测;
操作位置确定模块,用于响应于监测到用户发出的第四选择操作,确定所述第四选择操作针对的操作位置;
媒体条目确定模块,用于确定距离所述操作位置最近的媒体条目影像;
媒体影像移除模块,用于将确定的媒体条目影像从所述清单的影像中移除。
11.根据权利要求7所述的显示控制装置,其特征在于,所述影像虚拟模块还包括:
搭配物体获取单元,用于基于预先设置的搭配原则,获取所述目标媒体信息所描述物体的搭配物体;
第二影像虚拟单元,用于在所述影像周围的第二预设位置显示虚拟出的搭配物体影像以及所述搭配物体在所述目标物体上的媒体条目的影像。
12.根据权利要求7所述的显示控制装置,其特征在于,所述影像虚拟模块还包括:
属性信息确定单元,用于确定所述目标媒体信息所描述物体的属性信息;所述属性信息包括以下至少一种:营养成分、营养搭配、食用禁忌、食用方式、产地、生长周期或品质等级;
第三影像虚拟单元,用于在所述影像周围的第三预设位置显示所述属性信息。
13.一种电子设备,其特征在于,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器被配置为执行所述存储器中的可执行指令以实现权利要求1~6任一项所述方法的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1~6任一项所述的方法的步骤。
CN201811249398.7A 2018-10-25 2018-10-25 显示控制方法及装置、电子设备、计算机可读存储介质 Active CN109448132B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811249398.7A CN109448132B (zh) 2018-10-25 2018-10-25 显示控制方法及装置、电子设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811249398.7A CN109448132B (zh) 2018-10-25 2018-10-25 显示控制方法及装置、电子设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109448132A CN109448132A (zh) 2019-03-08
CN109448132B true CN109448132B (zh) 2023-03-14

Family

ID=65548114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811249398.7A Active CN109448132B (zh) 2018-10-25 2018-10-25 显示控制方法及装置、电子设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109448132B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445545B (zh) * 2020-02-27 2023-08-18 北京大米未来科技有限公司 一种文本转贴图方法、装置、存储介质及电子设备
CN112365317A (zh) * 2020-11-12 2021-02-12 东方明珠新媒体股份有限公司 一种基于场景化虚拟餐桌的下单方法及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022873B (zh) * 2016-05-17 2020-01-17 暨南大学 一种基于增强现实的自助点餐系统
CN106485782A (zh) * 2016-09-30 2017-03-08 珠海市魅族科技有限公司 一种现实场景在虚拟场景中展示的方法以及装置
CN108245891B (zh) * 2016-12-29 2023-07-18 南京中兴新软件有限责任公司 一种头戴式设备、游戏交互平台、桌游实现系统及方法
CN108520552A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN109448132A (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
US11386600B2 (en) System and method for displaying virtual image through HMD device
KR101730759B1 (ko) 의도를 통한 증강 현실에서의 가상 객체의 조작
US9286727B2 (en) System and method for presenting true product dimensions within an augmented real-world setting
US20150185825A1 (en) Assigning a virtual user interface to a physical object
JP6586758B2 (ja) 情報処理システム、情報処理方法及びプログラム
CN109189986B (zh) 信息推荐方法、装置、电子设备和可读存储介质
AU2014275189A1 (en) Manipulation of virtual object in augmented reality via thought
EP3090425A1 (en) Visualization of physical characteristics in augmented reality
US10856037B2 (en) Augmented reality apparatus and method
US20170213073A1 (en) Electronic apparatus and controlling method thereof
US20170228936A1 (en) Systems and methods for using augmented reality with the internet of things
CN110751707B (zh) 动画显示方法、装置、电子设备及存储介质
CN109448132B (zh) 显示控制方法及装置、电子设备、计算机可读存储介质
CN108132983A (zh) 服饰搭配的推荐方法及装置、可读存储介质、电子设备
CN108346179B (zh) Ar设备显示方法和装置
CN109683711B (zh) 产品展示方法及装置
CN108401173A (zh) 移动直播的互动终端、方法及计算机可读存储介质
CN113362146A (zh) 信息显示方法、装置、电子设备、存储介质及产品
CN112669233A (zh) 图像处理方法、装置、电子设备、存储介质及程序产品
CN109544698B (zh) 图像展示方法、装置及电子设备
WO2022262211A1 (zh) 内容处理方法及装置
CN107657235A (zh) 基于增强现实的识别方法及装置
CN106598217B (zh) 显示方法、显示装置和电子设备
WO2024051063A1 (zh) 信息展示方法、装置及电子设备
CN110662103A (zh) 多媒体对象重构方法及装置、电子设备、可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant