CN113139492A - 物品识别方法、装置、电子设备及存储介质 - Google Patents
物品识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113139492A CN113139492A CN202110485352.0A CN202110485352A CN113139492A CN 113139492 A CN113139492 A CN 113139492A CN 202110485352 A CN202110485352 A CN 202110485352A CN 113139492 A CN113139492 A CN 113139492A
- Authority
- CN
- China
- Prior art keywords
- article
- identification information
- information
- search result
- article identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000003287 optical effect Effects 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 10
- 239000000126 substance Substances 0.000 claims description 2
- 230000004438 eyesight Effects 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 230000001149 cognitive effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 235000013399 edible fruits Nutrition 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 231100000870 cognitive problem Toxicity 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 235000009508 confectionery Nutrition 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9532—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9538—Presentation of query results
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供了一种物品识别方法、装置、电子设备及存储介质,涉及人工智能技术领域,尤其涉及计算机视觉、语音技术、智能搜索等技术领域。具体实现方案为:根据投射指令投射光信号;确定光信号投射范围;根据物品识别指令,获取光信号投射范围内的待识别物品的图像;根据待识别物品的图像,获得物品识别信息。本公开实施例能够丰富物品识别的实现方式。
Description
技术领域
本公开涉及人工智能技术领域,尤其涉及计算机视觉、语音技术、智能搜索等技术领域。
背景技术
随着计算机技术的发展,用户可以利用电子产品进行实物的物体识别。比如,用户可以通过移动终端的摄像头,拍摄实物的图像,利用搜索引擎等搜索工具,对图像进行搜索,获得被拍摄实物的识别结果。
然而,一般情况下,对物体的识别需要借助于电子产品的显示屏,需要从显示屏上确认实物。由于移动终端显示屏的显示区域有限,导致部分具有护眼需求或者用眼困难的用户群体可能不方便通过移动终端的一般识图功能进行物体识别。
发明内容
本公开提供了一种物品识别方法、装置、电子设备及存储介质。
根据本公开的一方面,提供了一种物品识别方法,包括:
根据投射指令投射光信号;
确定光信号投射范围;
根据物品识别指令,获取光信号投射范围内的待识别物品的图像;
根据待识别物品的图像,获得物品识别信息。
根据本公开的另一方面,提供了一种物品识别装置,包括:
投射模块,用于根据投射指令投射光信号;
范围模块,用于确定光信号投射范围;
图像模块,用于根据物品识别指令,获取光信号投射范围内的待识别物品的图像;
识别信息模块,用于根据待识别物品的图像,获得物品识别信息。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与该至少一个处理器通信连接的存储器;其中,
该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行本公开任一实施例中的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行本公开任一实施例中的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现本公开任一实施例中的方法。
根据本公开的技术,能够将视觉搜索应用到物品识别过程中,通过投射的光信号确定一定的范围,然后获取光信号投射范围内的待识别物品的图像,从而无需用户通过显示屏执行物品拍摄等操作,为老年、幼年用户等因为视力有限或具有视力保护需求等特殊用户群体提供了便利。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开一实施例的物品识别方法流程示意图;
图2A、2B是根据本公开一示例的光圈示意图;
图3是根据本公开另一实施例的物品识别方法流程示意图;
图4是根据本公开又一实施例的物品识别方法流程示意图;
图5是根据本公开又一实施例的物品识别方法流程示意图;
图6是根据本公开一示例的物品识别产品流程示意图;
图7是根据本公开一实施例的物品识别装置流程示意图;
图8是根据本公开另一实施例的物品识别装置流程示意图;
图9是根据本公开又一实施例的物品识别装置流程示意图;
图10是根据本公开又一实施例的物品识别装置流程示意图;
图11是根据本公开又一实施例的物品识别装置流程示意图;
图12是用来实现本公开实施例的物品识别方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本公开实施例首先提供一种物品识别方法,如图1所示,包括:
步骤S11:根据投射指令投射光信号;
步骤S12:确定光信号投射范围;
步骤S13:根据物品识别指令,获取光信号的投射范围内的待识别物品的图像;
步骤S14:根据待识别物品的图像,获得物品识别信息。
在一种可能的实现方式中,光信号可以是任何可被肉眼观看到的信号。光信号也可以是可以投射到实际物体上的信号。
投射指令可以用于打开发光装置。根据投射指令投射光信号,可以是根据发光装置开启指令,开启发光装置,使得发光装置发出光信号。光信号可以在实际物体上产生基本封闭的光圈。比如图2A、图2B所示的光圈。
在可能的实现方式中,光信号可以产生任意形状的光圈。
在一种实现方式中,确定光信号投射范围,可以是根据用户实际下发的圈定指令,确定光信号的投射范围。比如,用户通过点击按钮,产生圈定指令,接收到圈定指令后,确定光信号的投射范围。
在另一种实现方式中,确定光信号投射范围,可以是根据用户调节光信号的指令,确定调节后的光信号的投射范围。
在另一种实现方式中,还可以在一定条件下默认执行确定光信号投射范围的操作。比如,在光信号的范围、位置基本不发生变动持续设定时长时,默认执行确定光信号投射范围的操作,从而将光信号范围内的物品作为待识别物品。
在一种可能的实现方式中,可确定光信号投射范围的过程中,使得待识别物品落入投射信号的投射范围内,可以在默认或明确接收到圈定指令的情况下,固定投射的光信号的范围。
在一种可能的实现方式中,本公开实施例提供的物体识别方法,可以应用于能够产生光信号的电子设备,包括带有计算功能的手电、移动终端、笔记本、平板电脑等设备。用户可以通过移动上述设备,改变光信号的投射位置,也可通过调节上述设备,改变光信号的投射范围大小。
在一种可能的实现方式中,物品识别指令,可以是在确定光信号投射范围后默认接收到的指令。比如,在光信号的范围、位置基本不发生变动持续设定时长时,确定光信号的投射范围,并获取光信号的投射范围内的待识别物体的图像。
在另一种可能的实现方式中,物品识别指令也可以是实际接收到的指令。比如,在确定了光信号的投射范围的情况下,接收到用户通过点击按钮下发的物品识别指令,根据物品识别指令,获取光信号的投射范围内的待识别物品的图像。
在一种实现方式中,在光信号投射范围内存在多个物品的情况下,可关于多个物品生成询问信息,使得用户根据询问信息进行选择。从而向用户提供更为精准的识别结果。也可通过光信号投射范围内的物品所占面积比例,默认其中占比较大的物品为待识别物品。
根据待识别物品的图像,获得物品识别信息,可以是根据待识别物品的图像进行识图,获得识图结果,作为物品识别信息。识图的具体方式可以是进行图像搜索、图像与预设知识进行匹配等。
本公开实施例中,能够通过投射的光信号确定一定的范围,然后获取光信号投射范围内的待识别物品的图像,从而无需用户通过显示屏执行物品拍摄等操作,为老年、幼年用户等因为视力有限或具有视力保护需求等特殊用户群体提供了便利。
本公开实施例可用于幼年用户的认知教育。随着用户生活节奏的加快,有子女的用户可能难以拥有大量的空闲时间对子女的认知问题进行逐一、深入、细致的解答。从而,如今儿童认知教育(泛指4-12岁的儿童对于万事万物是什么、为什么等认知诉求)持续被关注,但受家长无时间、家长能力不足等问题影响,二通的认知环节多被敷衍或者相对低质量的解决,比如多数家长只能告诉儿童物品是什么,却几乎不太能回答儿童关于物品的进一步的多个追问;同时,在多语种的互动学习中,多数家长也无法以标准发音告知儿童物品的多育种发音等,从而无法足够深入第对儿童进行认知教育。
在本公开实施例应用于儿童认知教育的情况下,可以通过对待识别物品进行圈定、图像获取,对待识别物品进行查询,获得待识别物品的信息,从而,能够保证儿童的认知教育时间与儿童需要的时间相符合,且认知教育的深度可以通过数据库、本地存储等方式进行扩展,提高儿童认知教育的质量。
在一种实施方式中,如图3所示,物品识别方法还包括:
步骤S31:根据待识别物品所在位置生成虚拟屏幕;
步骤S32:在虚拟屏幕上全息投射显示物品识别信息。
在具体实现方式中,根据待识别物品所在位置生成虚拟屏幕,可以是在待识别物品周围的位置生成虚拟屏幕。虚拟屏幕可以是全息投射虚拟屏幕。
目前的平板电脑、手机等产品,可以一定程度上辅助家长完成儿童深度认知问题的回答,但这些设备使用场景受限,电子显示屏具有视力伤害性等不便使用的因素,使得在日常生活中无法最大化促进儿童认知深度教育。本公开实施例应用于儿童认知教育时,能够随时随地在待识别物品的位置周围生成虚拟屏幕,在虚拟屏幕上全息投射物品识别信息,扩展了物品识别的场景,用户可以随时随地对需要认知的物品进行识别,并随时随地获得识别结果。
本实施例中,通过虚拟屏幕显示物品识别信息,从而能够使得用户无需电子显示屏,即可获取物品识别信息,为老年、幼年用户等因为视力有限或而具有视力保护需求等特殊用户群体提供了便利。
在一种实施方式中,如图4所示,物品识别方法还包括:
步骤S41:接收物品识别信息清除指令;
步骤S42:根据物品识别信息清除指令和设定的清除效果,清除显示的物品识别信息。
本实施例中,物品识别信息清除指令,可以是用户通过特定的清除按钮下发的物品识别信息清除指令,用于清除虚拟屏幕或者其它方式显示的物品识别信息。
在一种可能的实现方式中,设定的清除效果,可以是具有娱乐性质的清除效果,比如爆炸消失、擦除式消失、渐变消失等。
在一种可能的实现方式中,物品识别清除指令可以用于全部或部分清除物品识别信息。
本实施例中,能够通过设定效果清除物品识别信息,从而增加物品识别的趣味性。
在一种实施方式中,如图5所示,物品识别方法还包括:
步骤S51:获得关于物品识别信息的询问信息;
步骤S52:根据询问信息,获得关于物品识别信息的答复信息。
在一种可能的实现方式中,关于物品识别信息的询问信息,可以是针对待识别物品的进一步的询问信息。比如,待识别物品为A物品,物品识别信息为关于A物品的介绍信息,关于物品识别信息的询问信息可以进一步询问关于A物品的属性,比如,A物品的颜色、材质、产地、形状等。
关于物品识别信息的询问信息,具体可以是语音信息、画面信息、文字信息等。
在一种实现方式中,根据询问信息,获得关于物品识别信息的答复信息之后,还可以进一步通过设定的方式显示关于物品识别信息的答复信息。
本实施例中,可以根据询问信息进一步获得关于物品识别信息的答复信息,从而提高物品识别过程的互动性,提高物品识别趣味性,吸引用户使用物品识别功能。
在一种实施方式中,根据待识别物品的图像,获得物品识别信息,包括:
根据待识别物品的图像进行搜索,获得搜索结果;
根据搜索结果,获得物品识别信息。
在一种实现方式中,若关于待识别物品的搜索结果,包含多个垂类,则可确定最细垂类的搜索结果为需要获取的搜索结果。
若最细垂类的搜索结果不是用户所需要的搜索结果,可以在接收用户的更改指令的情况下,向用户通过关于其它垂类的搜索结果的选项,由用户对选项进行选择。
在一种可能的实现方式中,根据待识别物品的图像进行搜索,可以是采用搜索引擎等搜索工具进行网络搜索,获得搜索结果。
在另一种可能的实现方式中,根据待识别物品的图像进行搜索,可以是根据待识别物品的图像进行本地搜索,获得搜索结果。
在另一种可能的实现方式中,根据待识别物品的图像进行搜索,可以是根据待识别物品的图像进行特定服务端的搜索,比如在XX物理学习平台的服务端进行搜索等。
根据搜索结果,获得物品识别信息,可以是将搜索结果作为物品识别信息,也可以是将搜索结果中,排序靠前的N个搜索结果作为物品识别信息(N≥1)。
在本实施例中,可以对待识别物品进行不借助显示屏情况下的视觉搜索,为不便使用电子显示屏的用户群体提供了更多便利。
在一种实施方式中,根据搜索结果,获得物品识别信息,包括:
根据预设的用户信息,对搜索结果进行修改,获得与用户信息对应的搜索结果;
将与用户信息对应的搜索结果作为物品识别信息。
本实施例中,预设的用户信息,可以是用户预先设定的关于用户的年龄、性别等信息。
在用户信息为用户年龄的情况下,根据预设的用户信息,对搜索结果进行修改,可以是对搜索结果进行与用户年龄相符的文字、图像等内容的修改。比如,用户信息中的年龄设定为幼龄的情况下,可以对搜索结果中的文字和图片进行低龄的趣味化处理。
具体例如,待识别物品为B水果,则搜索结果包含关于B水果的百科解释,可以从关于B水果的搜索结果中,选择对B水果进行定义的文字,并对选择的文字进行低龄化处理。比如,搜索结果中对B水果进行定义的文字为:“B水果为一种热带或亚热带水果,味酸或甜,X月份时成熟”。可以对该文章进行低龄化处理,修改为“B为一种酸酸甜甜的水果,生长在温暖的亚热带地区,也生长在炎热的热带地区,到了X月份的时候,我们就可以品质到每位的B水果了”。在低龄化处理时,可对水果图像进行拟人化处理,并播放讲解动画等。
再如,用户信息中的年龄设定为老龄的情况下,可以对搜索结果进行简单通俗化处理,比如,对长句进行断句、将书面语言改为容易理解的通俗化语言等。
再如,用户信息可以设定职业为某学科的研究人员,则可对搜索结果进行过滤修改,滤除不属于用户所研究学科的搜索结果。
在一种可能的实现方式中,用户信息还可以为学龄用户所在的年级、所学习的课程等。从而根据搜索到的用户所学习的课程,将课程中关于待识别物品的信息摘选出来,作为物品识别信息。
在另一种可能的实现方式中,用户信息还可以为教育级别,比如,义务教育、高等教育等。从而针对义务教育的用户,在搜索结果中默认选择义务教育难度的内容作为物品识别信息;针对高等教育的用户,在搜索结果中默认选择高等教育难度的内容作为物品识别信息。
本实施例中,能够根据用户信息对搜索结果进行修改,使得产品具有更准确的个性化服务,针对不同的用户群体获得不同的物品识别信息,提高在不同用户群体中的适应性。
在一种实施方式中,根据搜索结果,获得物品识别信息,包括:
根据搜索结果,获得预先存储的展示信息;
将展示信息与搜索结果结合,生成物品识别信息。
本实施例中,当物品识别产品应用于某种用户团体时,可通过预先存储功能,存储展示信息,展示信息可以为语音信息、图像信息、文字信息、文档信息、视频信息等可以展示的信息,使得用户团体之间的不同成员可以相互之间通过物品识别活动传递预先存储的展示信息。
例如,教师在讲授课程之前,可以针对一个物品进行视频、文档等展示信息的制作,将展示信息预先存储。在课堂上对物品进行识别后,可对展示信息进行展示。
再如,家庭成员可以为需要认知记忆家庭、家庭中的物件的年幼或老年成员添加关于物品的展示信息,帮助年幼或老年家庭成员使用家中高新家电等物品。
用户自身也可以通过展示信息提醒、强化对某个物品的记忆。比如,用户在学习第二语言时,可以预先添加关于待识别物品的第二语言的介绍信息,从而在用户再次识别该待识别物品时,可以展示介绍信息,帮助用户学习第二语言。
本实施例中,可以通过预先存储展示信息,实现在识别待识别物品之后,向用户展示预先存储的展示信息,借助对物品的识别过程,帮助用户实现识别物品之外的扩展功能和目的。
在本公开一种示例中,物品识别方法可利用任意能够投射光线的产品实现。比如,可通过手电实现投射光信号,进而进行后续操作完成物品识别。如图6所示,可通过手电筒的开关,打开光源,投射光信号,对光信号产生的光圈内的物品进行视觉搜索。
当儿童遇到一个不太认识的物品(如苹果)时,可直接举起手电筒照射该物品,手电筒会将投射的光信号的光圈内的图片检测到的物品主体回传至百度大脑,并以该图片主体发起视觉搜索。在具体实现时,可设置最远识别距离,在最远是被距离内设置默认的投射范围大小。用户可通过移动手电筒,调整光信号投射范围的大小。
光圈锁定物品成功后,用户即可放下手电筒。在具体实现时,可在锁定物品时对用户进行反馈。比如,投射的光信号对准物品超过一定时间没有离开或变动,则进行识别,发出闪烁信号或开启语音对话功能,确定物品的锁定。锁定后,可通过搜索等方式,确定物品识别信息。比如,在待识别物品为苹果时,物品识别信息可以包括苹果的英文单词(Apple)以及对应的发音,以及关于苹果生长过程、功效、实用主义事项等内容的可播放信息。
在展示物品识别信息时,可在光信号的光圈外自动生成全息投影虚拟幕布(虚拟屏幕),将物品识别信息投射在该幕布上,如苹果,Apple,以及苹果这种水果的特点、功效等内容。
结合不同年龄段默认内容会有所区别,如低幼儿童动画讲解,小高年级儿童科学化讲解等。
用户可以通过手电筒上的按钮控制继续播放/关闭相关识别结果。
同时,用户可以通过按住手电筒的语音按钮,发出关于物品识别信息的询问信息。如,用户可按住手电筒发出询问信息:“苹果有几种颜色?”。在用户发出关于物品识别信息的询问信息后,虚拟屏幕上将展示语音搜索请求内容,发起语音搜索,并将搜索结果展示在虚拟屏幕上。例如,针对询问信息:“苹果有几种颜色?”,获得关于苹果颜色的答复内容,通过语音、动画、图像、文字等方式向用户展示答复内容。
从而,用户对于所见物理世界的任何物品可以通过照射(视觉搜索)、追问(语音搜索)以及硬件控制结合的方式,实现自助互动、随时随地学习,并且该探索式互动学习因为有现实物品作为学习参照,因此其记忆也将更为强化;
为了提升用户的产品接受度,儿童使用过程中除了可以学习外,也可以发挥创造力的对物品识别信息的展示效果进行娱乐化创意化改造,如可以通过AR(AugmentedReality,增强现实)化处理,将被照射到的物体爆炸删除、放大无数倍、缩小无数倍、拟人化、无限复制等。
可以通过AR留言板预先存储展示信息。比如,用户可以对检测到的物品做留言,如对着苹果留言一句“妈妈辛苦了”,当下次用户的妈妈照射或者采用复习功能看到苹果时,则会看到该留言内容。
在本实施例中,物品识别方法可通过手电筒等产品实现,应用于儿童认知教育时,产品形态小且便携,是儿童的“神奇玩具”,让泛认知学习随时随地进行;还可通过语音搜索、视觉搜索等多模态交互提高物品识别的趣味性,自然且高效,大幅提升儿童学习效率和质量;同时还可寓教于乐,实现互动化独立自主探索,大幅解放家长认知教育参与时长;此外,通过全息投影显示物品识别信息,为认知过程提供独立学习工具,有效规避电子产品伤眼且注意力易被分散问题。
在本实施例中,通过形态为便携的“智能硬件”——手电筒,低龄用户可手持产品,便捷化地在室内外使用,实现自助学习不受场地场景限制,用户所学知识内容完全通过多模态(多种模式的交互形态,文本搜索、语音搜索、视觉搜索)交互获取,并以全息投影方式呈现,有效规避电子屏伤眼问题。
本公开实施例还提供一种物品识别装置,如图7所示,包括:
投射模块71,用于根据投射指令投射光信号;
范围模块72,用于确定光信号投射范围;
图像模块73,用于根据物品识别指令,获取光信号投射范围内的待识别物品的图像;
识别信息模块74,用于根据待识别物品的图像,获得物品识别信息。
在一种实施方式中,如图8所示,物品识别装置还包括:
屏幕模块81,用于在待识别物品所在位置生成虚拟屏幕;
显示模块82,用于在虚拟屏幕上全息投射显示物品识别信息。
在一种实施方式中,如图9所示,物品识别装置还包括:
清除指令接收模块91,用于接收物品识别信息清除指令;
清除模块92,用于根据物品识别信息清除指令和设定的清除效果,清除显示的物品识别信息。
在一种实施方式中,如图10所示,物品识别装置还包括:
询问模块101,用于获得关于物品识别信息的询问信息;
答复模块102,用于根据询问信息,获得关于物品识别信息的答复信息。
在一种实施方式中,如图11所示,识别信息模块包括:
搜索结果单元111,用于根据待识别物品的图像进行搜索,获得搜索结果;
搜索结果处理单元112,用于根据搜索结果,获得物品识别信息。
在一种实施方式中,搜索结果处理单元还用于:
根据预设的用户信息,对搜索结果进行修改,获得与用户信息对应的搜索结果;
将与用户信息对应的搜索结果作为物品识别信息。
在一种实施方式中,搜索结果处理单元还用于:
根据搜索结果,获得预先存储的展示信息;
将展示信息与搜索结果结合,生成物品识别信息。
本公开实施例可应用于工智能技术领域,尤其应用于计算机视觉、语音技术、智能搜索等技术领域。
本公开实施例可将视觉搜索应用于认知教育等领域,视觉搜索是认知物理世界极为高效的交互形式,它可以实现所见即所学,根据实体物品的直接学习其记忆稳固性也会大大增强;语音搜索是人们互动沟通的高效表达形式,通过追问搜索实现快速解决用户问题;全息投影技术将在不伤害用户眼睛的前提下,将更多丰富有效的内容信息呈现给用户,辅助学习。
从而,本公开实施例提供了基于多模态交互的、具有全息投影能力的、自助学习智能硬件,有效解决儿童泛认知学习需求,同时自助式的学习方式,将大幅减少家长的教育参与时间。最终实现,在家长较少参与的情况下,儿童完成深度高质量学习。
本公开实施例各装置中的各单元、模块或子模块的功能可以参见上述方法实施例中的对应描述,在此不再赘述。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。本公开实施例的电子设备可以是手电筒,该手电筒包括本公开任意实施例提供的物品识别装置。
图12示出了可以用来实施本公开的实施例的示例电子设备120的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或要求的本公开的实现。
如图12所示,电子设备120包括计算单元121,其可以根据存储在只读存储器(ROM)122中的计算机程序或者从存储单元128加载到随机访问存储器(RAM)123中的计算机程序来执行各种适当的动作和处理。在RAM 123中,还可存储电子设备120操作所需的各种程序和数据。计算单元121、ROM 122以及RAM 123通过总线124彼此相连。输入输出(I/O)接口125也连接至总线124。
电子设备120中的多个部件连接至I/O接口125,包括:输入单元126,例如键盘、鼠标等;输出单元127,例如各种类型的显示器、扬声器等;存储单元128,例如磁盘、光盘等;以及通信单元129,例如网卡、调制解调器、无线通信收发机等。通信单元129允许电子设备120通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元121可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元121的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元121执行上文所描述的各个方法和处理,例如物品识别方法。例如,在一些实施例中,物品识别方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元128。在一些实施例中,计算机程序的部分或者全部可以经由ROM 122和/或通信单元129而被载入和/或安装到电子设备120上。当计算机程序加载到RAM 123并由计算单元121执行时,可以执行上文描述的物品识别方法的一个或多个步骤。备选地,在其他实施例中,计算单元121可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行物品识别方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (17)
1.一种物品识别方法,包括:
根据投射指令投射光信号;
确定所述光信号投射范围;
根据物品识别指令,获取所述光信号投射范围内的待识别物品的图像;
根据所述待识别物品的图像,获得物品识别信息。
2.根据权利要求1所述的方法,其中,还包括:
根据所述待识别物品所在位置生成虚拟屏幕;
在所述虚拟屏幕上全息投射显示所述物品识别信息。
3.根据权利要求2所述的方法,其中,还包括:
接收物品识别信息清除指令;
根据所述物品识别信息清除指令和设定的清除效果,清除显示的所述物品识别信息。
4.根据权利要求1-3中任意一项所述的方法,其中,还包括:
获得关于所述物品识别信息的询问信息;
根据所述询问信息,获得关于所述物品识别信息的答复信息。
5.根据权利要求1所述的方法,其中,所述根据待识别物品的图像,获得物品识别信息,包括:
根据所述待识别物品的图像进行搜索,获得搜索结果;
根据所述搜索结果,获得物品识别信息。
6.根据权利要求5所述的方法,其中,所述根据所述搜索结果,获得物品识别信息,包括:
根据预设的用户信息,对所述搜索结果进行修改,获得与用户信息对应的搜索结果;
将所述与用户信息对应的搜索结果作为所述物品识别信息。
7.根据权利要求5所述的方法,其中,所述根据所述搜索结果,获得物品识别信息,包括:
根据所述搜索结果,获得预先存储的展示信息;
将所述展示信息与所述搜索结果结合,生成所述物品识别信息。
8.一种物品识别装置,包括:
投射模块,用于根据投射指令投射光信号;
范围模块,用于确定所述光信号投射范围;
图像模块,用于根据物品识别指令,获取所述光信号投射范围内的待识别物品的图像;
识别信息模块,用于根据所述待识别物品的图像,获得物品识别信息。
9.根据权利要求8所述的装置,其中,还包括:
屏幕模块,用于根据所述待识别物品所在位置生成虚拟屏幕;
显示模块,用于在所述虚拟屏幕上全息投射显示所述物品识别信息。
10.根据权利要求9所述的装置,其中,还包括:
清除指令接收模块,用于接收物品识别信息清除指令;
清除模块,用于根据所述物品识别信息清除指令和设定的清除效果,清除显示的所述物品识别信息。
11.根据权利要求8-10中任意一项所述的装置,其中,还包括:
询问模块,用于获得关于所述物品识别信息的询问信息;
答复模块,用于根据所述询问信息,获得关于所述物品识别信息的答复信息。
12.根据权利要求8所述的装置,其中,所述识别信息模块包括:
搜索结果单元,用于根据所述待识别物品的图像进行搜索,获得搜索结果;
搜索结果处理单元,用于根据所述搜索结果,获得物品识别信息。
13.根据权利要求12所述的装置,其中,所述搜索结果处理单元还用于:
根据预设的用户信息,对所述搜索结果进行修改,获得与用户信息对应的搜索结果;
将所述与用户信息对应的搜索结果作为所述物品识别信息。
14.根据权利要求12所述的装置,其中,所述搜索结果处理单元还用于:
根据所述搜索结果,获得预先存储的展示信息;
将所述展示信息与所述搜索结果结合,生成所述物品识别信息。
15.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使计算机执行权利要求1-7中任一项所述的方法。
17.一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110485352.0A CN113139492A (zh) | 2021-04-30 | 2021-04-30 | 物品识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110485352.0A CN113139492A (zh) | 2021-04-30 | 2021-04-30 | 物品识别方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113139492A true CN113139492A (zh) | 2021-07-20 |
Family
ID=76816825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110485352.0A Pending CN113139492A (zh) | 2021-04-30 | 2021-04-30 | 物品识别方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113139492A (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000039475A (ja) * | 1998-07-23 | 2000-02-08 | Omron Corp | 物体識別装置 |
CN102326187A (zh) * | 2008-12-23 | 2012-01-18 | 数据逻辑扫描公司 | 识别和结算物体的方法和系统 |
CN102473235A (zh) * | 2009-07-09 | 2012-05-23 | 比尔凯科技新加坡有限公司 | 能够对标签或被适配为有待识别的物品进行识别的读取装置、相关方法及系统 |
US20170287007A1 (en) * | 2016-04-03 | 2017-10-05 | Integem Inc. | Real-time and context based advertisement with augmented reality enhancement |
US20190163700A1 (en) * | 2017-11-28 | 2019-05-30 | Muso.Ai Inc. | Obtaining details regarding an image based on search intent and determining royalty distributions of musical projects |
CN109857840A (zh) * | 2018-11-26 | 2019-06-07 | 珠海格力电器股份有限公司 | 一种物品信息查询方法、装置、存储介质及终端 |
US10546204B1 (en) * | 2013-03-05 | 2020-01-28 | Amazon Technologies, Inc. | Item information discovery with a wearable device |
CN111553915A (zh) * | 2020-05-08 | 2020-08-18 | 深圳前海微众银行股份有限公司 | 物品识别检测方法、装置、设备和可读存储介质 |
CN112269553A (zh) * | 2019-11-04 | 2021-01-26 | 青岛海信激光显示股份有限公司 | 显示系统、显示方法及计算设备 |
-
2021
- 2021-04-30 CN CN202110485352.0A patent/CN113139492A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000039475A (ja) * | 1998-07-23 | 2000-02-08 | Omron Corp | 物体識別装置 |
CN102326187A (zh) * | 2008-12-23 | 2012-01-18 | 数据逻辑扫描公司 | 识别和结算物体的方法和系统 |
CN102473235A (zh) * | 2009-07-09 | 2012-05-23 | 比尔凯科技新加坡有限公司 | 能够对标签或被适配为有待识别的物品进行识别的读取装置、相关方法及系统 |
US10546204B1 (en) * | 2013-03-05 | 2020-01-28 | Amazon Technologies, Inc. | Item information discovery with a wearable device |
US20170287007A1 (en) * | 2016-04-03 | 2017-10-05 | Integem Inc. | Real-time and context based advertisement with augmented reality enhancement |
US20190163700A1 (en) * | 2017-11-28 | 2019-05-30 | Muso.Ai Inc. | Obtaining details regarding an image based on search intent and determining royalty distributions of musical projects |
CN109857840A (zh) * | 2018-11-26 | 2019-06-07 | 珠海格力电器股份有限公司 | 一种物品信息查询方法、装置、存储介质及终端 |
CN112269553A (zh) * | 2019-11-04 | 2021-01-26 | 青岛海信激光显示股份有限公司 | 显示系统、显示方法及计算设备 |
CN111553915A (zh) * | 2020-05-08 | 2020-08-18 | 深圳前海微众银行股份有限公司 | 物品识别检测方法、装置、设备和可读存储介质 |
Non-Patent Citations (1)
Title |
---|
郭鹏: "《基于搜索社交电商视角的互动营销研究》", 31 December 2019, 中国纺织出版社, pages: 126 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
De Lauretis | Aesthetic and feminist theory: rethinking women’s cinema | |
Ware | Visual thinking for design | |
Fay et al. | How to bootstrap a human communication system | |
CN112073741B (zh) | 直播信息的处理方法、装置、电子设备及存储介质 | |
CN109729426B (zh) | 一种视频封面图像的生成方法及装置 | |
CN111339246B (zh) | 查询语句模板的生成方法、装置、设备及介质 | |
Shipley et al. | Understanding events: From perception to action | |
JP6912588B2 (ja) | 画像分類出力分布のフィルタリングを伴う画像認識 | |
CN106648082A (zh) | 一种模拟真人互动的智能服务设备及方法 | |
US20170017642A1 (en) | Second language acquisition systems, methods, and devices | |
CN109637207A (zh) | 一种学前教育互动教学装置及教学方法 | |
CN110929045B (zh) | 诗歌-语义知识图谱的构建方法及系统 | |
CN109063662A (zh) | 数据处理方法、装置、设备及存储介质 | |
Ware | Visual thinking for information design | |
CN206224438U (zh) | 一种智能电子宠物语音交互系统 | |
Denson | Post-Cinematic Bodies | |
CN116168134B (zh) | 数字人的控制方法、装置、电子设备以及存储介质 | |
CN113139492A (zh) | 物品识别方法、装置、电子设备及存储介质 | |
CN113806620B (zh) | 内容推荐方法、设备、系统及存储介质 | |
CN112148884B (zh) | 用于孤独症干预的系统及方法 | |
CN114117106A (zh) | 基于儿童绘本的智能交互方法、装置、设备和存储介质 | |
KR20210020382A (ko) | 이야기 생성을 위한 카드세트 및 이를 이용한 이야기 생성 방법 | |
KR20160131304A (ko) | 연결어 블랭크와 추론어 블랭크를 이용한 새 단어(외국어단어 및 전문용어 또는 광고내용)의 의미를 쉽게 암기시키기 위한 방법 및 장치 | |
Neuman | Evolutionary Intelligence: How Technology Will Make Us Smarter | |
KR102328998B1 (ko) | 감정 학습 및 소통 장치, 그 동작 방법, 및 동영상 추천 및 재생 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |