CN107977080A - 产品使用展示方法及装置 - Google Patents

产品使用展示方法及装置 Download PDF

Info

Publication number
CN107977080A
CN107977080A CN201711268336.6A CN201711268336A CN107977080A CN 107977080 A CN107977080 A CN 107977080A CN 201711268336 A CN201711268336 A CN 201711268336A CN 107977080 A CN107977080 A CN 107977080A
Authority
CN
China
Prior art keywords
product
maloperation
user
dish
washing machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711268336.6A
Other languages
English (en)
Other versions
CN107977080B (zh
Inventor
付文君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201711268336.6A priority Critical patent/CN107977080B/zh
Publication of CN107977080A publication Critical patent/CN107977080A/zh
Application granted granted Critical
Publication of CN107977080B publication Critical patent/CN107977080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Abstract

本公开是关于一种产品使用展示方法及装置。该方法应用于终端设备,包括:获取待使用产品的产品信息;通过终端设备图像获取装置获取针对周围环境取景画面;根据产品信息确定取景画面中关联设备位置,关联设备位置影响待使用产品摆放位置;根据关联设备位置及取景画面中可用空间,确定放置待使用产品的建议位置,在建议位置以AR增强现实方式展示待使用产品虚拟模型。根据本公开实施例,通过获取待使用产品的产品信息以及针对周围环境取景画面,根据关联设备位置以及取景画面中可用空间,确定放置待使用产品的建议位置,在建议位置以AR增强现实方式展示待使用产品虚拟模型,从而以更加直观的方式指导用户快速掌握使用产品的方法。

Description

产品使用展示方法及装置
技术领域
本公开涉及计算机技术领域,尤其涉及一种产品使用展示方法及装置。
背景技术
随着科技的发展,人们发明了越来越多功能强大的智能产品,例如,洗碗机、厨房机等。相关技术中,通常是通过产品说明书以全文字或图文等形式指导用户使用智能产品。然而,产品说明书具有内容杂乱、不直观等缺点,导致用户根据说明书无法直观、快速的掌握使用智能产品的方法。
发明内容
为克服相关技术中存在的问题,本公开提供一种产品使用展示方法及装置。
根据本公开实施例的第一方面,提供一种产品使用展示方法,应用于终端设备中,所述方法包括:
获取待使用产品的产品信息;
通过终端设备的图像获取装置获取针对周围环境的取景画面;
根据所述产品信息,确定所述取景画面中关联设备的位置,其中,所述关联设备的位置影响所述待使用产品的摆放位置;
根据所述关联设备的位置以及所述取景画面中的可用空间,确定放置所述待使用产品的建议位置,
在所述建议位置,以AR(Augmented Reality)增强现实方式展示所述待使用产品的虚拟模型。
对于以上方法,在一种可能的实现方式中,所述方法还包括:
根据所述待使用产品的虚拟模型,以AR增强现实方式展示所述待使用产品的使用过程。
对于以上方法,在一种可能的实现方式中,以AR增强现实方式展示所述待使用产品的使用过程包括以下至少一种:
展示所述待使用产品与所述关联设备之间的连接过程;
展示所述待使用产品的启动、运行及停止过程。
对于以上方法,在一种可能的实现方式中,所述方法还包括:
在用户放置并使用所述待使用产品的操作过程中,监测用户是否存在误操作;
当用户存在误操作时,发出与所述误操作相关联的提示。
对于以上方法,在一种可能的实现方式中,当用户存在误操作时,发出与所述误操作相关联的提示包括以下至少一种:
当所述误操作为所述待使用产品未处于所述建议位置时,以AR增强现实方式展示所述建议位置;
当所述误操作为所述待使用产品与所述关联设备之间的连接操作有误时,以AR增强现实方式展示所述待使用产品与所述关联设备之间正确的连接过程;
当所述误操作为所述待使用产品的启动、运行或停止操作有误时,以AR增强现实方式展示所述待使用产品正确的启动、运行或停止过程。
根据本公开实施例的第二方面,提供一种产品使用展示装置,应用于终端设备中,所述装置包括:
产品信息获取模块,用于获取待使用产品的产品信息;
取景画面获取模块,用于通过终端设备的图像获取装置获取针对周围环境的取景画面;
位置确定模块,用于根据所述产品信息,确定所述取景画面中关联设备的位置,其中,所述关联设备的位置影响所述待使用产品的摆放位置;
建议位置确定模块,用于根据所述关联设备的位置以及所述取景画面中的可用空间,确定放置所述待使用产品的建议位置;
虚拟模型展示模块,用于在所述建议位置,以AR增强现实方式展示所述待使用产品的虚拟模型。
对于上述装置,在一种可能的实现方式中,所述装置还包括:
使用过程展示模块,用于根据所述待使用产品的虚拟模型,以AR增强现实方式展示所述待使用产品的使用过程。
对于上述装置,在一种可能的实现方式中,所述使用过程展示模块包括以下子模块中至少一个:
第一展示子模块,用于展示所述待使用产品与所述关联设备之间的连接过程;
第二展示子模块,用于展示所述待使用产品的启动、运行及停止过程。
对于上述装置,在一种可能的实现方式中,所述装置还包括:
操作监测模块,用于在用户放置并使用所述待使用产品的操作过程中,监测用户是否存在误操作;
提示模块,用于当用户存在误操作时,发出与所述误操作相关联的提示。
对于上述装置,在一种可能的实现方式中,所述提示模块包括以下子模块中的至少一个:
第三展示子模块,用于当所述误操作为所述待使用产品未处于所述建议位置时,以AR增强现实方式展示所述建议位置;
第四展示子模块,用于当所述误操作为所述待使用产品与所述关联设备之间的连接操作有误时,以AR增强现实方式展示所述待使用产品与所述关联设备之间正确的连接过程;
第五展示子模块,用于当所述误操作为所述待使用产品的启动、运行或停止操作有误时,以AR增强现实方式展示所述待使用产品正确的启动、运行或停止过程。
根据本公开实施例的第三方面,提供一种产品使用展示装置,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述方法。
根据本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由处理器执行时,使得处理器能够执行上述产品使用展示方法。
本公开的实施例提供的技术方案可以包括以下有益效果:通过获取待使用产品的产品信息以及针对周围环境取景画面,根据关联设备位置以及取景画面中可用空间,确定放置待使用产品的建议位置,在建议位置以AR增强现实方式展示待使用产品虚拟模型,从而以更加直观的方式指导用户快速掌握使用产品的方法。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种产品使用展示方法的流程图。
图2是根据一示例性实施例示出的一种产品使用展示方法的应用场景的示意图。
图3是根据一示例性实施例示出的一种产品使用展示方法的流程图。
图4是根据一示例性实施例示出的一种产品使用展示方法的流程图。
图5是根据一示例性实施例示出的一种产品使用展示方法的应用场景的示意图。
图6是根据一示例性实施例示出的一种产品使用展示方法的应用场景的示意图。
图7是根据一示例性实施例示出的一种产品使用展示方法的流程图。
图8是根据一示例性实施例示出的一种产品使用展示方法的流程图。
图9是根据一示例性实施例示出的一种产品使用展示方法的应用场景的示意图。
图10是根据一示例性实施例示出的一种产品使用展示装置的框图。
图11是根据一示例性实施例示出的一种产品使用展示装置的框图。
图12是根据一示例性实施例示出的一种产品使用展示装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种产品使用展示方法的流程图。如图1所示,该方法用于终端设备中,例如,手机、平板电脑、AR眼镜等,本公开对此不作限制。根据本公开实施例的产品使用展示方法包括:
在步骤S11中,获取待使用产品的产品信息;
在步骤S12中,通过终端设备的图像获取装置获取针对周围环境的取景画面;
在步骤S13中,根据所述产品信息,确定所述取景画面中关联设备的位置,其中,所述关联设备的位置影响所述待使用产品的摆放位置;
在步骤S14中,根据所述关联设备的位置以及所述取景画面中的可用空间,确定放置所述待使用产品的建议位置;
在步骤S15中,在所述建议位置,以AR增强现实方式展示所述待使用产品的虚拟模型。
根据本公开实施例,通过获取待使用产品的产品信息以及针对周围环境取景画面,根据关联设备位置以及取景画面中可用空间,确定放置待使用产品的建议位置,在建议位置以AR增强现实方式展示待使用产品虚拟模型,从而以更加直观的方式指导用户快速掌握使用产品的方法。
举例来说,用户购买了待使用产品(例如,洗碗机),该待使用产品的产品说明书图文内容复杂,且该待使用产品还有需要组装的多种配件。例如,该洗碗机包括需要组装的多个水管等。此时,该用户可以通过终端设备学习快速掌握使用该待使用产品的方法。
举例来说,当用户希望通过其终端设备学习使用该待使用产品时,该用户的终端设备可以通过加载、调用等方式获取该待使用产品的产品信息。例如,当用户希望通过其AR眼镜学习使用洗碗机时,可以在其AR眼镜上加载该洗碗机的产品说明书,以获取该洗碗机的产品信息。这样,终端设备可以了解待使用产品的产品信息,以实现根据该待使用产品的产品信息来指导用户使用该待使用产品。本领域技术人员应理解,终端设备可以通过多种方式获取待使用产品的产品信息,例如,联网下载等,本公开对此不作限制。
在一种可能的实现方式中,终端设备可以建议用户使用该待使用产品的使用区域。
举例来说,该终端设备可以根据其获取的该待使用产品的产品信息,确定该待使用产品的合理使用区域。例如,用户的AR眼镜可以根据其获取的该洗碗机的产品信息,确定该洗碗机的合理使用区域为厨房,该AR眼镜可以建议用户该洗碗机的使用区域为厨房,例如,可以通过语音或文字等方式建议用户将该洗碗机放置在厨房中。
在一种可能的实现方式中,终端设备通过其图像获取装置获取针对周围环境的取景画面,并根据产品信息,确定取景画面中关联设备的位置,其中,关联设备的位置影响待使用产品的摆放位置。
举例来说,终端设备可以通过其图像获取装置获取针对周围环境的取景画面,例如,终端设备开启其摄像装置(例如,摄像头),通过摄像头获取针对周围环境的取景画面。终端设备可以根据其获取的待使用产品的产品信息,检测取景画面中是否存在影响待使用产品摆放位置的关联设备,例如,对取景画面进行图像识别,确定存在的关联设备的位置。例如,用户戴着AR眼镜进入厨房,AR眼镜可以开启其摄像装置(例如,摄像头),通过摄像头获取针对周围环境的取景画面。并根据洗碗机的产品信息,确定影响洗碗机的摆放位置的关联设备(例如,电源插座、进水口、排水口等)的位置。本领域技术人员应理解,可以采用相关技术实现终端设备通过其图像获取装置获取针对周围环境的取景画面以及根据待使用产品的产品信息,确定取景画面中关联设备的位置,例如,通过图像识别技术等,关联设备也可以包括多种形式,只要是影响待使用产品的摆放位置的关联设备即可,本公开对此不作限制。
在一种可能的实现方式中,终端设备根据所述关联设备的位置以及所述取景画面中的可用空间,确定放置所述待使用产品的建议位置。
举例来说,终端设备可以根据所述关联设备的位置以及所述取景画面中的可用空间,来确定放置该待使用产品的建议位置。例如,与使用洗碗机相关联的关联设备为电源插座、进水口、排水口,AR眼镜可以根据电源插座的位置、进水口的位置、排水口的位置以及取景画面中的可用空间,来确定可以放置该洗碗机的建议位置,保证用户将洗碗机放置在该建议位置内后,该洗碗机能够正常使用。例如,AR眼镜可以根据洗碗机的产品信息得到该洗碗机的机身的尺寸、该洗碗机的配件的尺寸(例如,洗碗机的电源线的长度、进水管的长度、排水管的长度等),并根据电源插座的位置、进水口的位置以及排水口的位置进行分析,确定可以放置该洗碗机的建议位置,使得该建议位置可以同时保证该洗碗机的电源插头能够插到电源插座中、该洗碗机的进水管能够连接到进水口以及该洗碗机的排水管可以连接到排水口。这样,无需用户手动反复试验可以放置待使用产品的建议位置,便利用户操作。本领域技术人员应理解,可以采用相关技术实现终端设备根据关联设备的位置以及所述取景画面中的可用空间,确定放置待使用产品的建议位置,本公开对此不作限制。
在一种可能的实现方式中,终端设备在建议位置,以AR增强现实方式展示所述待使用产品的虚拟模型。
举例来说,终端设备可以在其确定的可用于放置该待使用产品的建议位置,以AR增强现实方式展示该待使用产品的虚拟模型,例如,将虚拟模型叠加在终端设备所拍摄的取景画面中的建议位置处,也可以将虚拟模型叠加在终端设备所获取的真实场景中建议位置处。例如,用户的AR眼镜经过分析,确定出放置该洗碗机的建议位置,该AR眼镜可以将该待使用产品的虚拟模型(例如,一个与该洗碗机同样大小的卡通洗碗机)叠加在该AR眼镜所获取的真实场景中的该建议位置上。这样,通过以AR增强现实方式展示待使用产品的虚拟模型,可以更加直观、准确地告知用户该待使用产品的合理摆放位置,无需用户根据待使用产品本身反复寻找其合理摆放位置,便利用户操作。本领域技术人员应理解,可以采用相关技术实现在建议位置,以AR增强现实方式展示待使用产品的虚拟模型,另外,以AR增强现实方式展示待使用产品的虚拟模型可以包括多种形式,例如,卡通虚拟模型、填充了颜色的待使用产品模型等,本公开对此不作限制。
图2是根据一示例性实施例示出的一种产品使用展示方法的应用场景的示意图。用户通过AR眼镜学习使用洗碗机。该AR眼镜获取该洗碗机的产品信息,并根据该产品信息,告知用户该洗碗机的使用区域为厨房,例如,AR眼镜发出“请将洗碗机放厨房中使用”这一语音提示。用户佩戴其AR眼镜进入厨房,AR眼镜通过摄像头获取针对厨房环境的取景画面,并根据洗碗机的产品信息,确定影响洗碗机的摆放位置的关联设备(电源插座、进水口以及排水口)的位置。AR眼镜通过关联设备的位置、洗碗机的尺寸以及取景画面中的可用空间,确定放置洗碗机的建议位置。AR眼镜在该建议位置,以AR增强现实方式展示洗碗机的虚拟模型。例如,如图5所示,AR眼镜将填充了斜线的洗碗机虚拟模型叠加在AR眼镜所获取的真实场景中的该建议位置处。
图3是根据一示例性实施例示出的一种产品使用展示方法的流程图。在一种可能的实现方式中,如图3所示,该方法还包括:
在步骤S16中,根据所述待使用产品的虚拟模型,以AR增强现实方式展示所述待使用产品的使用过程。
举例来说,终端设备可以根据待使用产品的虚拟模型,以AR增强现实方式展示待使用产品的使用过程,从而指导用户正确使用该待使用产品。例如,用户的AR眼镜可以根据洗碗机的虚拟模型,以AR增强现实方式展示该洗碗机的使用过程,例如,展示安装洗碗机、使用洗碗机的步骤等。
图4是根据一示例性实施例示出的一种产品使用展示方法的流程图。在一种可能的实现方式中,如图4所示,步骤S16可以包括以下至少一种:
在步骤S161中,展示所述待使用产品与所述关联设备之间的连接过程。
举例来说,终端设备可以根据待使用产品的虚拟模型,以AR增强现实方式展示待使用产品与关联设备之间的连接过程。例如,AR眼镜将洗碗机的虚拟模型叠加在该AR眼镜所拍摄的取景画面中的该建议位置上,该AR眼镜可以展示该洗碗机与关联设备之间的连接过程。例如,在该洗碗机的产品说明书中建议用户第一步先连接该洗碗机的排水管与排水口,第二步连接该洗碗机的进水管与进水口,第三步连接该洗碗机的电源插头与电源插座中时,该AR眼镜可以根据上述步骤以AR增强现实方式展示该洗碗机与关联设备之间的连接过程。例如,该AR眼镜可以将关于步骤的虚拟文字叠加在该AR眼镜所获取的真实场景中,例如,将“步骤1:连接排水管与排水口”的虚拟文字叠加在该AR所获取的真实场景中,并将排水管的虚拟模型(例如,虚拟排水管)以及排水口的虚拟模型(例如,虚拟排水口)叠加在该AR所获取的真实场景中,通过动态虚拟图像展示虚拟排水管连接虚拟排水口的连接过程。在该连接过程展示结束后,该AR眼镜还可以以AR增强现实方式展示该洗碗机与其他关联设备之间连接过程,例如,展示洗碗机的进水管与进水口的连接过程、展示洗碗机的电源插头与电源插座的连接过程等,在此不再赘述。
通过这种方式,用户可以清楚、直观地了解待使用产品与关联设备之间的连接过程,便利用户操作。本领域技术人员应理解,可以采用相关技术实现终端设备根据待使用产品的虚拟模型,以AR增强现实方式展示待使用产品与关联设备之间的连接过程,以AR增强现实方式展示待使用产品与关联设备之间的连接过程也可以包括多种形式,例如,虚拟文字叠加在终端设备的取景画面中、动态虚拟图像叠加终端设备的取景画面中、将待使用产品的虚拟模型和关联设备的虚拟模型叠加在终端设备所获取的真实场景中,并突出展示虚拟模型之间的连接过程等,只要终端设备可以根据待使用产品的虚拟模型,以AR增强现实方式展示待使用产品与关联设备之间的连接过程即可,本公开对此不作限制。
图5是根据一示例性实施例示出的一种产品使用展示方法的应用场景的示意图。用户的AR眼镜根据洗碗机的虚拟模型,以AR增强现实方式展示洗碗机的使用过程,例如,如图5所示,AR眼镜可以以AR增强现实方式先展示洗碗机的排水管与排水口的连接过程。例如,将“步骤1:连接排水管与排水口”的虚拟文字叠加在该AR眼镜所获取的真实场景中,并将洗碗机的虚拟模型中的排水管的排水出口以及真实场景中的排水口通过虚拟方块圈出来,以指导用户连接洗碗机与关联设备。
在步骤S162中,展示所述待使用产品的启动、运行及停止过程。
举例来说,终端设备可以根据待使用产品的虚拟模型,以AR增强现实方式展示待使用产品的启动、运行及停止过程等使用过程,从而指导用户如何使用该待使用的产品。例如,该AR眼镜可以以AR增强现实方式展示如何将待清洗的餐具放入到洗碗机中,并启动洗碗机这一使用过程。
举例来说,该AR眼镜可以将餐具的虚拟模型叠加在该AR所获取的真实场景中,并将用于指导用户如何对餐具进行预处理的虚拟文字(例如,简单清除餐具上残留食物,无需冲洗餐具)叠加在该AR所获取的真实场景中。该AR眼镜还可以以AR增强现实方式展示餐具在洗碗篮中的正确摆放方式,例如,该AR眼镜可以将餐具在洗碗篮中的正确摆放方式的虚拟形象叠加在该AR所获取的真实场景中,并在该正确摆放方式的虚拟形象旁边叠加一个虚拟对号。该AR眼镜也可以以AR增强现实方式展示餐具在洗碗篮中的错误摆放方式,并在该错误摆放方式的虚拟形象旁边叠加一个虚拟错号,以提示用户避免错误摆放餐具。该AR眼镜还可以以AR增强现实方式展示如何将用于洗碗的洗涤块加入到洗碗机中。例如,该AR眼镜可以将用于指导用户将洗涤块加入到洗碗机中的动态虚拟图像(可以表明如何打开洗涤块入口、如何放入洗涤块以及如何关闭洗涤块入口等过程)叠加在该AR所获取的真实场景中。该AR眼镜还可以以AR增强现实方式展示该洗碗机的多种洗涤程序,例如,可以将对多种洗涤程序的解释内容分别以虚拟文字的形式叠加在该AR所获取的真实场景中该洗碗机虚拟模型的相应按钮旁,以使用户可以直观了解不同洗涤程序的特点等。该AR眼镜还可以以AR增强现实方式展示如何启动该洗碗机,例如,可以将虚拟手指按压启动键的虚拟动态图像叠加在AR眼镜所拍摄的取景画面中。
该AR眼镜还可以以AR增强现实方式展示洗碗机的运行,例如,可以将表示洗碗机运行的动态图像叠加在AR所获取的真实场景中。该AR眼镜还可以以AR增强现实方式展示洗碗机的停止过程,例如,可以将虚拟手指按压停止键的虚拟动态图像叠加在AR所获取的真实场景中。
通过这种方式,可以使得用户快速、直观地了解如何使用待使用产品。本领域技术人员应理解,待使用产品的使用过程可以包括多个步骤,不限于待使用产品与关联设备之间的连接过程、待使用产品的启动、运行及停止过程,只要是针对待使用产品的使用过程即可,以AR增强现实方式展示待使用产品的使用过程也可以包括多种方式,本公开对此不作限制。
图6是根据一示例性实施例示出的一种产品使用展示方法的应用场景的示意图。用户的AR眼镜根据洗碗机的虚拟模型,以AR增强现实方式展示洗碗机的使用过程,例如,如图6所示,AR眼镜可以以AR增强现实方式先展示如何启动洗碗机。例如,可以将虚拟手指按压洗碗机虚拟模型中的启动键的虚拟图像叠加在AR所获取的真实场景中,以指导用户启动洗碗机。
本领域技术人员应理解,以AR增强现实方式展示所述待使用产品的使用过程包括待使用产品与所述关联设备之间的连接过程以及待使用产品的启动、运行及停止过程中的一种或多种,本公开对此不作限制。
图7是根据一示例性实施例示出的一种产品使用展示方法的流程图。在一种可能的实现方式中,如图7所示,该方法还包括:
在步骤S17中,在用户放置并使用所述待使用产品的操作过程中,监测用户是否存在误操作;
在步骤S18中,当用户存在误操作时,发出与所述误操作相关联的提示。
举例来说,终端设备可以在用户放置并使用该待使用产品的操作过程中,监测用户是否存在误操作,并当用户存在误操作时,可以发出与误操作相关联的提示。例如,该用户的AR眼镜可以监测用户的操作,当用户将洗碗机放置在建议位置外时,当用户先连接洗碗机的电源插头和电源插座时,或者该用户将餐具错误摆放在洗碗篮中时,该用户的AR眼镜可以监测到用户存在误操作,该AR眼镜可以发出与误操作相关联的提示,例如,AR眼镜可以通过动态虚拟图像纠正用户的误操作,以AR增强现实方式展示正确的操作方式等。
通过这种方式,可以及时纠正用户在放置以及使用待使用产品的操作过程中的误操作,直观、快速指导用户正确使用待使用产品。本领域技术人员应理解,可以采用相关技术实现终端设备在用户放置并使用待使用产品的操作过程中,监测用户是否存在误操作,并当用户存在误操作时,发出与误操作相关联的提示,发出与误操作相关联的提示可以包括多种方式,例如,反复展示正确操作过程等,本公开对此不作限制。
图8是根据一示例性实施例示出的一种产品使用展示方法的流程图。在一种可能的实现方式中,如图8所示,步骤S18可以包括以下至少一种:
在步骤S181中,当所述误操作为所述待使用产品未处于所述建议位置时,以AR增强现实方式展示所述建议位置;
在步骤S182中,当所述误操作为所述待使用产品与所述关联设备之间的连接操作有误时,以AR增强现实方式展示所述待使用产品与所述关联设备之间正确的连接过程;
在步骤S183中,当所述误操作为所述待使用产品的启动、运行或停止操作有误时,以AR增强现实方式展示所述待使用产品正确的启动、运行或停止过程。
举例来说,当终端设备监测误操作为待使用产品未处于所述建议位置时,以AR增强现实方式展示述建议位置。例如,用户将洗碗机放在了建议位置外时,AR眼镜可以以AR增强现实方式展示述建议位置,如前文所述,在此不再赘述。当终端设备监测误操作为待使用产品与关联设备之间的连接操作有误时,以AR增强现实方式展示待使用产品与关联设备之间正确的连接过程。例如,用户将洗碗机放在了建议位置内,并开始连接洗碗机的进水管和进水口,当AR眼镜监测到用户将洗碗机的进水管连接到排水口时,监测到用户存在误操作,AR眼镜可以以AR增强现实方式展示待使用产品与关联设备之间正确的连接过程,如前文所述,在此不再赘述。当终端设备监测误操作为待使用产品的启动、运行或停止操作有误时,以AR增强现实方式展示待使用产品正确的启动、运行或停止过程。例如,当AR眼镜监测到用户将洗涤块放入用于清洗洗碗机本身的入口,而不是用于洗碗的洗涤块入口时,监测到用户存在误操作,AR眼镜可以以AR增强现实方式展示待使用产品正确的启动、运行或停止过程,如前文所述,在此不再赘述。
通过这种方式,可以及时纠正用户在放置以及使用待使用产品的操作过程中的误操作,并展示合理的操作过程,直观、快速指导用户正确使用待使用产品。本领域技术人员应理解,可以采用相关技术实现在用户存在误操作时,发出与误操作相关联的提示,发出与误操作相关联的提示可以包括多种方式,例如,反复展示正确操作过程等,只要在监测到用户存在误操作时,发出与误操作相关联的提示即可,本公开对此不作限制。
应用示例
以下结合“用户通过手机学习使用洗碗机”作为一个示例性应用场景,给出根据本公开实施例的应用示例,以便于理解产品使用展示方法的流程。本领域技术人员应理解,以下应用示例仅仅是出于便于理解本公开实施例的目的,不应视为对本公开实施例的限制。
图9是根据一示例性实施例示出的一种产品使用展示方法的应用场景的示意图。在该应用示例中,用户购买了洗碗机,该洗碗机的产品说明书图文内容复杂、不清楚。用户希望通过其手机学习使用洗碗机。用户通过其手机下载该洗碗机的产品说明书。在该应用示例中,用户的手机可以根据该洗碗机的产品说明书,可以获取该洗碗机的产品信息(例如,该洗碗机的尺寸、该洗碗机的安装方法、使用步骤等)。在该应用示例中,用户的手机可以通过摄像头获取针对周围环境的取景画面,并可以根据洗碗机的产品信息,确定手机所拍摄的取景画面中影响洗碗机摆放位置的关联设备的位置。例如,用户的手机根据洗碗机的产品信息可以确定影响洗碗机摆放位置的关联设备包括电源插座、进水口以及排水口,并确定手机摄像头所拍摄的取景画面中电源插座、进水口以及排水口的位置。在该应用示例中,用户的手机可以根据电源插座、进水口、排水口的位置、洗碗机的尺寸以及取景画面中的可用空间,确定放置该洗碗机的建议位置,例如,该建议位置为同时距离电源插座、进水口以及排水口较近的区域。在该应用示例中,用户的手机可以在该建议位置,以AR增强现实方式展示该洗碗机的虚拟模型。例如,用户的手机可以将洗碗机的虚拟模型(例如,同比例的卡通洗碗机等)叠加在手机摄像头所拍摄的取景画面中建议位置上,并可以将多个虚拟箭头叠加在手机摄像头所拍摄的取景画面中,指向洗碗机虚拟模型的方向,以突出展示该洗碗机的虚拟模型。
在该应用示例中,用户的手机可以根据洗碗机的虚拟模型,以AR增强现实方式展示该洗碗机的使用过程。例如,该手机可以将表明洗碗机与电源插座、进水口以及排水口连接过程的虚拟动态图像叠加在该手机摄像头所拍摄的取景画面中,该手机还可以将与洗碗机启动、运行及停止过程相关的虚拟文字叠加在该手机摄像头所拍摄的取景画面中。
在该应用示例中,用户的手机还可以在用户放置并使用洗碗机的操作过程中,监测用户是否存在误操作,并在用户存在误操作时,发出与误操作相关联的提示。例如,如图9所示,用户将洗碗机放置在建议位置之外时,该手机监测到用户存在误操作,该手机可以将洗碗机的虚拟模型叠加在该手机摄像头所拍摄的取景画面的建议位置处,并可以将提示用户合理操作的虚拟文字叠加在该手机摄像头所拍摄的取景画面中。例如,将填充了线条的洗碗机的虚拟模型叠加在手机摄像头所拍摄的取景画面中的建议位置处,并将“此处为最佳摆放位置”虚拟文字叠加在该手机摄像头所拍摄的取景画面中,通过虚拟箭头指向建议位置,以突出展示该建议位置。当用户在使用洗碗机的操作过程中,忘记放洗涤块直接启动洗碗机时,该手机监测到用户存在误操作,该手机可以将如何将洗涤块放入洗碗机的虚拟动态图像叠加在该手机摄像头所拍摄的取景画面中。
根据本公开实施例,通过获取待使用产品的产品信息以及针对周围环境取景画面,根据关联设备位置以及取景画面中可用空间,确定放置待使用产品的建议位置,在建议位置以AR增强现实方式展示待使用产品虚拟模型,从而以更加直观的方式指导用户快速掌握使用产品的方法。
图10是根据一示例性实施例示出的一种产品使用展示装置的框图。参照图10,该装置包括产品信息获取模块71,取景画面获取模块72,位置确定模块73,建议位置确定模块74和虚拟模型展示模块75。
该产品信息获取模块71,被配置为获取待使用产品的产品信息;
该取景画面获取模块72,被配置为通过终端设备的图像获取装置获取针对周围环境的取景画面;
该位置确定模块73,被配置为根据所述产品信息,确定所述取景画面中关联设备的位置,其中,所述关联设备的位置影响所述待使用产品的摆放位置;
该建议位置确定模块74,被配置为根据所述关联设备的位置以及所述取景画面中的可用空间,确定放置所述待使用产品的建议位置;
该虚拟模型展示模块75,被配置为在所述建议位置,以AR增强现实方式展示所述待使用产品的虚拟模型。
图11是根据一示例性实施例示出的一种产品使用展示装置的框图。参照图11,在一种可能的实现方式中,所述装置还包括:
使用过程展示模块76,被配置为根据所述待使用产品的虚拟模型,以AR增强现实方式展示所述待使用产品的使用过程。
参照图11,在一种可能的实现方式中,所述使用过程展示模块76包括以下子模块中至少一个:
第一展示子模块761,被配置为展示所述待使用产品与所述关联设备之间的连接过程;
第二展示子模块762,被配置为展示所述待使用产品的启动、运行及停止过程。
参照图11,在一种可能的实现方式中,所述装置还包括:
操作监测模块77,被配置为在用户放置并使用所述待使用产品的操作过程中,监测用户是否存在误操作;
提示模块78,被配置为当用户存在误操作时,发出与所述误操作相关联的提示。
参照图11,在一种可能的实现方式中,所述提示模块78包括以下子模块中的至少一个:
第三展示子模块781,被配置为当所述误操作为所述待使用产品未处于所述建议位置时,以AR增强现实方式展示所述建议位置;
第四展示子模块782,被配置为当所述误操作为所述待使用产品与所述关联设备之间的连接操作有误时,以AR增强现实方式展示所述待使用产品与所述关联设备之间正确的连接过程;
第五展示子模块783,被配置为当所述误操作为所述待使用产品的启动、运行或停止操作有误时,以AR增强现实方式展示所述待使用产品正确的启动、运行或停止过程。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图12是根据一示例性实施例示出的一种产品使用展示装置的框图。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图12,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到装置800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (7)

1.一种产品使用展示方法,其特征在于,应用于终端设备中,所述方法包括:
获取待使用产品的产品信息;
通过终端设备的图像获取装置获取针对周围环境的取景画面;
根据所述产品信息,确定所述取景画面中关联设备的位置,其中,所述关联设备的位置影响所述待使用产品的摆放位置;
根据所述关联设备的位置以及所述取景画面中的可用空间,确定放置所述待使用产品的建议位置;
在所述建议位置,以AR增强现实方式展示所述待使用产品的虚拟模型。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述待使用产品的虚拟模型,以AR增强现实方式展示所述待使用产品的使用过程。
3.根据权利要求2所述的方法,其特征在于,以AR增强现实方式展示所述待使用产品的使用过程包括以下至少一种:
展示所述待使用产品与所述关联设备之间的连接过程;
展示所述待使用产品的启动、运行及停止过程。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在用户放置并使用所述待使用产品的操作过程中,监测用户是否存在误操作;
当用户存在误操作时,发出与所述误操作相关联的提示。
5.根据权利要求4所述的方法,其特征在于,当用户存在误操作时,发出与所述误操作相关联的提示包括以下至少一种:
当所述误操作为所述待使用产品未处于所述建议位置时,以AR增强现实方式展示所述建议位置;
当所述误操作为所述待使用产品与所述关联设备之间的连接操作有误时,以AR增强现实方式展示所述待使用产品与所述关联设备之间正确的连接过程;
当所述误操作为所述待使用产品的启动、运行或停止操作有误时,以AR增强现实方式展示所述待使用产品正确的启动、运行或停止过程。
6.一种产品使用展示装置,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:执行权利要求1-5中任意一项所述的方法。
7.一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由处理器执行时,使得处理器能够执行根据权利要求1-5中任意一项所述的方法。
CN201711268336.6A 2017-12-05 2017-12-05 产品使用展示方法及装置 Active CN107977080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711268336.6A CN107977080B (zh) 2017-12-05 2017-12-05 产品使用展示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711268336.6A CN107977080B (zh) 2017-12-05 2017-12-05 产品使用展示方法及装置

Publications (2)

Publication Number Publication Date
CN107977080A true CN107977080A (zh) 2018-05-01
CN107977080B CN107977080B (zh) 2021-03-30

Family

ID=62009400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711268336.6A Active CN107977080B (zh) 2017-12-05 2017-12-05 产品使用展示方法及装置

Country Status (1)

Country Link
CN (1) CN107977080B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109545003A (zh) * 2018-12-24 2019-03-29 北京卡路里信息技术有限公司 一种显示方法、装置、终端设备及存储介质
CN109814709A (zh) * 2018-12-27 2019-05-28 北京航天智造科技发展有限公司 基于ar系统的操作指导方法及装置
CN110858376A (zh) * 2018-08-22 2020-03-03 阿里巴巴集团控股有限公司 服务提供方法、设备、系统及存储介质
CN111338737A (zh) * 2020-02-28 2020-06-26 华为技术有限公司 内容呈现方法、装置、终端设备及计算机可读存储介质
WO2021088573A1 (en) * 2019-11-04 2021-05-14 Midea Group Co., Ltd. System and method for recommending object placement
CN113298588A (zh) * 2020-06-19 2021-08-24 阿里巴巴集团控股有限公司 提供物品对象信息的方法、装置及电子设备
US11957292B2 (en) 2022-04-28 2024-04-16 Haier Us Appliance Solutions, Inc. Dishwasher coverage alert system and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102789514A (zh) * 2012-04-20 2012-11-21 青岛理工大学 一种机械设备拆装3d在线诱导系统的诱导方法
CN104656901A (zh) * 2009-12-22 2015-05-27 电子湾有限公司 用于在情景环境中显示物品图像的增强现实系统方法和装置
CN105786432A (zh) * 2016-03-18 2016-07-20 北京奇虎科技有限公司 在移动终端上展示虚拟画面的方法及装置
US20170031502A1 (en) * 2014-09-26 2017-02-02 Sensel Inc. Systems and methods for manipulating a virtual environment
CN106843150A (zh) * 2017-02-28 2017-06-13 清华大学 一种工业现场仿真模拟方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104656901A (zh) * 2009-12-22 2015-05-27 电子湾有限公司 用于在情景环境中显示物品图像的增强现实系统方法和装置
CN102789514A (zh) * 2012-04-20 2012-11-21 青岛理工大学 一种机械设备拆装3d在线诱导系统的诱导方法
US20170031502A1 (en) * 2014-09-26 2017-02-02 Sensel Inc. Systems and methods for manipulating a virtual environment
CN105786432A (zh) * 2016-03-18 2016-07-20 北京奇虎科技有限公司 在移动终端上展示虚拟画面的方法及装置
CN106843150A (zh) * 2017-02-28 2017-06-13 清华大学 一种工业现场仿真模拟方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈成军: "基于三维CAD模型的复杂机械设备拆装智能诱导系统", 《计算机集成制造系统》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110858376A (zh) * 2018-08-22 2020-03-03 阿里巴巴集团控股有限公司 服务提供方法、设备、系统及存储介质
CN109545003A (zh) * 2018-12-24 2019-03-29 北京卡路里信息技术有限公司 一种显示方法、装置、终端设备及存储介质
CN109814709A (zh) * 2018-12-27 2019-05-28 北京航天智造科技发展有限公司 基于ar系统的操作指导方法及装置
WO2021088573A1 (en) * 2019-11-04 2021-05-14 Midea Group Co., Ltd. System and method for recommending object placement
US11439292B2 (en) 2019-11-04 2022-09-13 Midea Group Co. Ltd. System and method for recommending object placement
CN111338737A (zh) * 2020-02-28 2020-06-26 华为技术有限公司 内容呈现方法、装置、终端设备及计算机可读存储介质
CN111338737B (zh) * 2020-02-28 2022-04-08 华为技术有限公司 内容呈现方法、装置、终端设备及计算机可读存储介质
CN113298588A (zh) * 2020-06-19 2021-08-24 阿里巴巴集团控股有限公司 提供物品对象信息的方法、装置及电子设备
US11957292B2 (en) 2022-04-28 2024-04-16 Haier Us Appliance Solutions, Inc. Dishwasher coverage alert system and method

Also Published As

Publication number Publication date
CN107977080B (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN107977080A (zh) 产品使用展示方法及装置
CN105848190A (zh) Ota升级方法和装置
CN104598093A (zh) 锁屏时提醒信息的方法及装置
CN104836897A (zh) 通过可穿戴设备控制终端通信的方法及装置
CN104717366A (zh) 联系人头像的推荐方法及装置
CN104394137B (zh) 一种提醒语音通话的方法及装置
CN108038602A (zh) 洗衣提醒方法、装置及存储介质
CN105607834A (zh) 屏幕控制方法、装置及终端
CN104717554A (zh) 智能电视的控制方法及装置、电子设备
CN105491236A (zh) 终端解锁方法及装置
CN104020628B (zh) 闪光灯的提醒方法及装置
CN104063654A (zh) 应用程序的监控方法和装置
CN105117006B (zh) 信息输入方法及装置
CN105956199A (zh) 信息展示方法及装置
CN105426060A (zh) 应用控制方法及装置
CN106709304A (zh) 终端设备控制方法及装置
CN104182039A (zh) 设备控制方法、装置及电子设备
CN105589345A (zh) 设备控制的方法及装置
RU2609138C2 (ru) Способ, аппарат и терминал для перевода вызова
CN104375760B (zh) 信息显示方法和装置
CN105739840A (zh) 终端及终端中应用程序的启动方法
CN105902138A (zh) 电饭煲清洗信息提示方法和装置
CN106790018A (zh) 资源共享播放方法及装置
CN105975305A (zh) 操作系统事件处理方法、装置及终端
CN105472132A (zh) 联系人管理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant