CN116348922A - 基于用户熟悉度终止执行图像分类 - Google Patents
基于用户熟悉度终止执行图像分类 Download PDFInfo
- Publication number
- CN116348922A CN116348922A CN202080106123.7A CN202080106123A CN116348922A CN 116348922 A CN116348922 A CN 116348922A CN 202080106123 A CN202080106123 A CN 202080106123A CN 116348922 A CN116348922 A CN 116348922A
- Authority
- CN
- China
- Prior art keywords
- function
- user
- image
- displayed image
- storage medium
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004044 response Effects 0.000 claims abstract description 35
- 230000006870 function Effects 0.000 claims description 201
- 238000000034 method Methods 0.000 claims description 44
- 238000012015 optical character recognition Methods 0.000 claims description 10
- 230000005236 sound signal Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 3
- 230000015654 memory Effects 0.000 description 37
- 238000004891 communication Methods 0.000 description 21
- 241001465754 Metazoa Species 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000000977 initiatory effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/96—Management of image or video recognition tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/453—Help systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/17—Image acquisition using hand-held instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
计算系统可以:在显示的图像内执行图像分类;在执行图像分类的同时,确定对象类别的第一对象存在于显示的图像内;在显示的图像内呈现提示;响应于提示而接收来自用户的第一对象的选择;响应于接收到第一对象的选择,对于第一对象执行功能;基于响应于提示的第一对象的选择,确定用户熟悉该功能;基于确定用户熟悉该功能,终止在显示的图像内执行图像分类;并且,响应于用户在显示的图像内选择该对象类别的第二对象,对第二对象执行该功能。
Description
技术领域
本说明书涉及对图像执行功能。
背景技术
可以对图像文件执行各种功能,例如光学字符识别或扫描。持续地对文件执行图像分类以确定可以执行的功能会消耗计算资源。
发明内容
根据示例,非暂时性计算机可读存储介质包括存储在其上的指令。当由至少一个处理器执行时,指令可以被配置为使计算系统:在显示的图像内执行图像分类;在执行图像分类的同时,确定对象类别的第一对象存在于显示的图像内;生成提示;响应于接收到第一对象的选择而接收来自用户的第一对象的选择;基于第一对象的选择而对于第一对象执行功能;基于第一对象的选择而确定用户熟悉该功能;基于确定用户熟悉该功能,终止在显示的图像内执行图像分类;并且,响应于接收到在显示的图像内选择该对象类别的第二对象,对第二对象执行该功能。
根据示例,计算系统可以包括:至少一个处理器;以及包括存储在其上的指令的非暂时性计算机可读存储介质。当由至少一个处理器执行时,该指令可以被配置为使计算系统:在显示的图像内执行图像分类;在执行图像分类的同时,确定对象类别的第一对象存在于显示的图像内;生成提示;响应于接收到第一对象的选择而接收来自用户的第一对象的选择;基于第一对象的选择而对于第一对象执行功能;确定用户熟悉该功能;基于确定用户熟悉该功能,终止在显示的图像内执行图像分类;并且,响应于接收到在显示的图像内选择该对象类别的第二对象,对第二对象执行该功能。
一种方法可以包括:由计算系统在显示的图像内执行图像分类;在执行图像分类的同时,确定对象类别的第一对象存在于显示的图像内;生成提示;响应于接收到第一对象的选择而接收来自用户的第一对象的选择;基于第一对象的选择而对于第一对象执行功能;确定用户熟悉该功能;基于确定用户熟悉该功能,终止在显示的图像内执行图像分类;并且,响应于接收到在显示的图像内选择该对象类别的第二对象,对第二对象执行该功能。
一种或多种实施方式的细节在附图和下面的描述中阐述。其他特征将从描述和附图以及从权利要求显而易见。
附图说明
图1A示出了在显示器内呈现第一对象的电子设备。
图1B示出了呈现与第一对象相关联的提示的电子设备。
图1C示出了用户选择第一对象的电子设备。
图1D示出了在对第一对象执行功能之后的电子设备。
图1E示出了在显示器内呈现第二对象的电子设备。
图1F示出了用户选择第二对象的电子设备。
图1G示出了在对第二对象执行功能之后的电子设备。
图2是电子设备的框图。
图3是由电子设备执行的方法的流程图。
图4是由电子设备执行的方法的流程图。
图5示出了可用于实现此处描述的技术的计算机设备和移动计算机设备的示例。
相同的附图标号指代相同的元件。
具体实施方式
诸如智能手机之类的电子设备,无论是自身还是与服务器通信,都可以对电子设备显示的对象和/或图像执行功能。这些功能可以包括例如:对图像内包括的文本执行光学字符识别(OCR);扫描图像内包括的文档;识别图像内包括的人、动物或纪念物;基于图像内包括的联系信息发起通信(例如电子邮件或电话呼叫);或解码图像中包括的条形码。可以在视觉搜索应用中执行这些功能中的一个或多个。可以结合增强现实环境和/或应用来执行这些功能中的一个或多个。
用户最初可能不知道电子设备可以对图像(例如,在增强现实交互和/或会话期间捕获的图像)内的对象执行哪些功能。电子设备可以通过对对象执行图像分类来对用户教导和/或训练电子设备可以对对象执行功能,并且如果电子设备可以对电子设备确定对象属于的对象类别执行功能,则呈现使得用户选择对象的提示(prompt)。用户可以与提示和对象之一或两者交互和/或选择提示和对象之一或两者。电子设备可以响应于用户选择对象而对对象执行功能。可以结合视觉搜索(例如,增强现实视觉搜索)来执行上述这些特征中的一个或多个。
执行图像分类会消耗计算资源,例如处理器资源、存储器资源,和/或耗尽电子设备的电池。为了减少计算资源的消耗,电子设备可以在用户已经熟悉该功能时停止和/或终止执行图像分类。电子设备可以基于电子设备接收到对象的选择以提示电子设备执行功能的历史和/或电子设备向用户呈现提示的历史来确定用户熟悉该功能。用户在没有提示和/或电子设备不执行图像分类的情况下仍然可以选择对象,并且电子设备可以通过执行与所选对象的对象类别对应的功能来响应于接收到对象的选择。在一些示例中,电子设备可以在接收到对象的选择之后对选择的对象执行图像分类。
图1A示出了在显示器102内呈现第一对象104A的电子设备100。电子设备100可以包括例如作为非限制示例的智能手机、平板计算机、平板手机、笔记本计算机或膝上型计算机、或台式计算机。
电子设备100可以包括显示器102。显示器102可以呈现、显示和/或输出图形输出和/或一个或多个图像。在一些示例中,显示器102可以包括接收和/或处理来自用户的触摸输入的触摸屏。
由显示器102显示和/或呈现的图像可以包括一个或多个对象104A。对象104A可以包括例如作为非限制示例的文本、条形码和/或快速响应(QR)码、诸如文本文档或图像文档的文档、人和动物、或纪念物。
电子设备100可以对显示器102呈现的图像的部分和/或显示器102呈现的图像内包括的一个或多个对象(例如对象104A)执行图像分类。电子设备100可以确定诸如对象104A之类的对象是否属于电子设备100可以对其执行功能的对象类别。在一些示例中,电子设备100可以确定多个对象类别的任何对象是否存在于由显示器102显示的图像内。在一些示例中,每个对象类别可以对应于电子设备100可以对于对象执行的单个功能。在一些示例中,可以对多于一个对象类别的对象执行一个或多个功能。在该示例中,电子设备100确定对象104A是对象类别的成员,和/或该对象类别的对象104存在于显示器102显示的图像内。
图1B示出呈现与第一对象104A相关联的提示106的电子设备100。在显示器内呈现提示是生成提示的示例。生成的提示的其他示例包括听觉和/或口头提示(例如代替文本和/或补充文本而说出文字的语音)和/或来自显示器102的触觉反馈。提示106可以指示响应于用户选择第一对象104A,电子设备100将对第一对象104A执行的功能。该提示可以是信息性的,指示电子设备100可以执行的功能。例如,提示106可以指示电子设备100将向对象104A中包括的电话号码或电子邮件地址发起电话呼叫或电子邮件,将扫描和/或解码对象104A中包括的条形码或QR码,对对象104A中包括的文本执行光学字符识别(OCR),扫描对象104A中包括的文档,识别对象104A中包括的人和/或人类,识别对象104A中包括的动物类型和/或品种,和/或识别包括在对象104A中的纪念物或兴趣点。
用户可以通过选择对象104A来响应于提示106。在显示器102是触摸屏的示例中,用户可以通过将预定手势输入显示器102来选择对象104A。预定手势的示例包括在呈现对象104A的显示器102的一部分上点击,和/或在呈现对象104A的显示器102的部分上点击并保持手指。当诸如计算机鼠标的输入设备可用时,选择对象104A的示例包括当光标位于呈现对象104A的显示器102的部分上时点击鼠标和/或双击鼠标。
图1C示出了用户选择第一对象104A的电子设备100。可以通过用户点击和/或点击并保持显示器102的呈现对象104A的部分来执行用户对对象104A的选择108A。选择108A可以容易地消除歧义和/或指定要对其执行功能的对象。电子设备100可以接收和/或处理选择108A。响应于接收和/或处理选择108A,电子设备100可以执行功能。电子设备100执行的功能可以基于在电子设备100在执行图像分类时确定对象104A所属的对象类别。在一些示例中,电子设备100可以通过执行功能来转换对象104A。
图1D示出了在已经对第一对象104A(图1D中未示出)执行功能之后的电子设备100。该功能可以将第一对象104A转换成第一转换的对象110A。在第一对象104A的对象类别是电话号码的一些示例中,该功能可以包括发起对该电话号码的呼叫,并且转换的对象110A可以包括正在执行电话呼叫的视觉指示符。在第一对象104A的对象类别是电子邮件地址的一些示例中,该功能可以包括开始起草到该电子邮件地址的电子邮件,并且转换的对象110A可以包括空白电子邮件,在该空白电子邮件的“收件人”行中有来自第一对象104A的电子邮件地址。在第一对象104A的对象类别是条形码或QR码的一些示例中,该功能可以包括解码条形码或QR码,并且转换的对象110A可以包括由包括在第一对象104A中的条形码或QR码识别的项目的文本描述和/或由包括在第一对象104A中的条形码或QR码识别的项目的图像。在第一对象104A的对象类别包括文本的一些示例中,该功能可以包括对文本执行光学字符识别,并且转换的对象110A可以包括来自第一对象104A的以不同的、更易读的格式的识别的文本。在第一对象104A的对象类别是文档的指示符的一些示例中,该功能可以包括扫描文档,并且转换的对象110A可以包括来自第一对象104A的文档被扫描的指示符。在第一对象104A的对象类别是人、动物或纪念物或地标的一些示例中,该功能可以包括识别人和/或人类、动物、纪念物或地标,并且转换的对象110A可以包括第一对象104A中包括的人、动物、纪念物或地标的文本描述或和/或名称。
在被呈现提示106、执行第一对象104A的选择108A并且看到功能的结果和/或转换的对象110A之后,用户可以熟悉该功能并且不再需要提示106以选择电子设备100对其执行功能的对象。电子设备100可以基于接收到包括在与功能相关联的对象类别中的对象104A的选择108A来确定用户熟悉该功能。在一个实施例中,熟悉度的确定可以取决于第一对象104A的选择108A的数量,特别是在预定时间间隔内第一对象104A的选择108A的数量。如果电子设备100多次接收到选择108A,则电子设备100可以确定和/或可以假定用户对该选择具有一定的熟悉度。确定熟悉度的另一个准则可能是对象104A的显示和进行选择108A之间的时间、用户可能对其的熟悉度。这些准则可以组合使用,并且这些是结合以下进一步描述的熟悉度确定器210使用的示例。
基于确定用户熟悉该功能,电子设备100可以终止和/或停止执行图像分类,和/或不向用户呈现提示106。
图1E示出了在显示器102内呈现第二对象104B的电子设备100。图1E中的显示器102呈现的图像(包括第二对象104B)可以不同于图1A中的显示器呈现的图像。第二对象104B可以属于与第一对象104A相同的对象类别,和/或第二对象104B的对象类别可以与对于第一对象104A执行的相同功能相关联。基于电子设备100确定用户熟悉对象类别和/或对第一对象104A执行的功能,电子设备100将终止执行图像分类和/或将不呈现用于用户请求对第二对象104B执行的功能的提示106。基于用户对该功能的熟悉程度,用户可以在没有提示106的情况下选择对象104B。
图1F示出了用户选择第二对象104B的电子设备100。基于用户对功能的熟悉程度,用户可以在没有提示106的情况下以类似于输入选择108A的方式输入选择108B。电子设备100可以接收对象104B的选择。基于接收到对象104B的选择,电子设备100可以对对象104B执行图像分类和/或确定对象104B与对象104A属于相同的对象类别。基于确定对象104B属于对象类别,电子设备100可以接收选择108B并以与针对对象104A执行的功能类似的方式执行与对象104B的对象类别相关联的功能。
图1G示出了在对第二对象104B执行功能之后的电子设备100。电子设备100可对对象104B执行功能,以便以类似于对对象104A执行功能以生成上述转换的对象110A的方式,产生由图1G中的显示器102呈现的转换的对象110B。
图2是电子设备100的框图。电子设备100可以包括图像呈现器202。图像呈现器202可以生成和/或呈现图像以供显示器102呈现和/或显示。可以基于由在电子设备100上运行和/或执行的应用处理的数据生成图像,该应用例如作为非限制性示例的网络浏览器、相机应用、视频播放器或社交媒体应用。由图像呈现器202生成和/或呈现的图像可以包括对象,例如对象104A、104B和/或转换的对象110A、110B。
电子设备100可以包括图像分类器204。图像分类器204可以对图像内的对象进行分类,和/或确定图像内的对象是否是对象类别的成员。在一些示例中,图像分类器204可以确定显示图像的每一帧内的对象是否是对象类别的成员。在一些示例中,为了减少计算资源的消耗,图像分类器204可以确定所显示的图像的每第n帧内的对象(例如每第四帧内的对象)是否是对象类别的成员。图像分类器204可以通过将对象的特征与对象类别的特征执行比较来确定显示图像内的对象是否是对象类别的成员。图像分类器204可以通过执行设备上机器学习技术,诸如作为非限制性示例的人工神经网络、卷积神经网络、K最近邻分类、决策树或支持向量机(SVM),来确定在显示的图像内的对象是否是对象类别的成员。在一些示例中,图像分类器204可以确定给定显示图像内的每个对象和/或给定显示图像的多个部分是否是多个类别的成员。在一些示例中,图像分类器204可以顺序地确定图像的对象和/或部分是否是多个不同对象类别的成员。
图像分类器204可以包括和/或可以访问类别库206。类别库206可以包括和/或存储多个对象类别。图像分类器204可以将显示器102呈现的对象(例如对象104A、104B)的特征与存储在类别库206中的对象类别的特征执行比较,以确定该对象是否是存储在类别库206中的对象类别的成员。
图像分类器204可以包括图像检测器208。图像检测器208可以检测图像分类器204已经确定的对象在显示器102上的位置是对象类别的成员。提示生成器214可以使用图像检测器208确定的位置来确定呈现提示(例如提示106)的位置。
电子设备100可以包括熟悉度确定器210。熟悉度确定器210可以确定用户是否熟悉对象类别和/或与对象类别相关联的功能,和/或用户对其的熟悉程度。熟悉度可以与登录、活动和/或与电子设备100交互的用户和/或账户相关联。在一些示例中,熟悉度确定器210可以为用户生成二进制值,指示用户不熟悉对象类别和/或相关功能,并且应被提示请求对对象类别的对象执行功能,或者指示用户熟悉对象类别和/或相关功能,并且不应被提示请求对对象类别的对象执行功能。在一些示例中,熟悉度确定器210可以为用户生成范围内的多个熟悉度值之一,并且电子设备100可以基于熟悉度值和场境(context)信息的组合来确定是否向用户呈现提示。
熟悉度确定器210可以确定用户对于每个对象类别和/或功能的熟悉度值。熟悉度值可以基于用于执行功能的提示和/或关于给定对象类别的对象的提示已经呈现给用户的次数和/或频率,关于对象和/或对象类别的提示的更大的数量和/或频率增加熟悉度值。熟悉度值可以基于用户选择给定对象类别的对象的次数和/或关于给定功能进行选择的次数,用户对于要执行的功能选择对象的更多次数增加关于对象的功能和/或对象类别的熟悉度值。熟悉度值可以基于自用户选择给定对象类别的对象和/或相对于给定功能进行选择以来的时间长度,自用户选择给定对象的对象和/或相对于给定功能进行选择以来的更长时间长度降低熟悉度值。在一些示例中,电子设备100可以确定用户足够熟悉功能和/或与该功能相关联的对象类别,并且停止和/或终止针对该对象类别执行图像分类并且停止呈现对于与对象类别相关联的功能的提示,并且然后在用户一段时间长度没有选择对象类别的对象和/或与对象类别相关联的功能后,确定用户不再熟悉该功能和/或与该功能关联的对象类别。基于确定用户不再熟悉该功能和/或与该功能关联的对象类别,电子设备100可以恢复相对于该图像类别执行图像分类,并呈现用于用户选择对象类别的对象以执行与对象类别关联的功能的提示。如果达到熟悉度值的预定第一阈值,则熟悉度确定器210可以控制分类的终止,并且如果达到熟悉度值的预定第二阈值,则熟悉度确定器210可以控制分类的恢复。这考虑到用户可能在一些使用后变得熟悉,但在一段时间不使用后失去熟悉。在一个实施例中,第一阈值和第二阈值可以相同。
电子设备100可以包括场境处理器212。场境处理器212可以处理场境信息,电子设备100可以将该场境信息与熟悉度值组合以确定是否执行图像分类和/或呈现提示。场境信息可以包括例如计算资源的状态,诸如电子设备100中包括的电池的充电水平(计算资源的其他示例包括存储器的可用性、处理器资源、与网络的连接强度或摄影模态)、一天中的时间、电子设备100中包括的麦克风接收到的音频信号、电子设备100的位置和/或用户对特定对象类别(例如人或特定类型的动物,例如狗或猫)的图像的兴趣,如用户查看对象类别的图像和/或存储对象类别的图像所示。如果电池的充电水平低,则尽管用户不熟悉功能和/或对象类别,电子设备100可以不执行图像分类以节省电池电量。如果一天的时间是用户可能对执行特定功能不感兴趣的时间,则尽管用户不熟悉那些特定功能和/或对象类别,但电子设备100可能不会针对与那些特定功能相关联的对象类别执行图像分类,除非熟悉度值非常低,在这种情况下电子设备100可以执行图像分类。如果音频信号指示特定环境,例如咖啡店,则电子设备100可以执行与诸如咖啡或菜单的特定环境相关联的对象类别的图像分类,尽管用户对与特定环境关联的对象类别具有相对高的熟悉度值。如果用户在特定位置,例如餐厅区,则电子设备可以执行与特定位置相关联的对象类别的对象的图像分类,例如标志和/或菜单,尽管用户对于与特定位置关联的对象类别相对熟悉。如果电子设备100已经确定用户对特定对象类别的图像具有高兴趣,则尽管用户相对熟悉对象类别和/或与对象类别相关联的功能,电子设备100可以对特定对象类别的对象执行图像分类。
电子设备100可以包括提示生成器214。提示生成器214可以生成提示,例如关于图1B所示和描述的提示106,以供用户选择要对其执行功能的对象。提示生成器214可以基于和/或响应于图像分类器204确定对象是电子设备100可以对其执行功能的对象类别的成员,来生成和/或在显示器102上显示提示。提示生成器214可以基于图像检测器208确定的对象的位置在显示器102上靠近对象的位置生成提示。提示可以识别和/或描述(例如用文本)要对于对象执行的功能。要执行的功能可以与要对其执行功能的对象的对象类别相关联。
电子设备100可以包括选择处理器216。选择处理器216可以处理诸如对象104A、104B中的任一个的对象的选择,诸如选择108A、108B中的任一个,该对象是与功能关联的对象类别的成员。选择可以在显示器102是触摸屏的示例中包括在呈现和/或显示所选对象的显示器102的一部分上的手势,例如点击或点击并保持手势,或当光标在呈现和/或显示所选对象的显示器102的部分上方时是单击或双击鼠标。选择处理器216可以确定输入是否满足关于显示器102呈现和/或显示的对象的预定义手势的准则。如果选择处理器216确定输入确实满足相对于由显示器102呈现和/或显示的对象的预定义手势的准则,则选择处理器216可以确定用户已经选择了该对象。基于确定用户已经选择了对象,选择处理器可以提示和/或指令功能处理器218对于对象和/或相对于对象执行功能。
电子设备100可以包括功能处理器218。功能处理器218可以对选择处理器216确定用户选择的对象执行功能。功能处理器218可以基于图像分类器204确定对象所属的对象类别来执行和/或选择功能。功能处理器218可以将对象作为参数传递到功能中。作为参数传递到功能中的对象可以包括显示器102呈现的图像的一部分。功能处理器218传递到参数中的图像的部分可以基于图像检测器208确定的对象的位置。由功能处理器执行和/或选择的功能可以包括例如:发起对包括在对象中的电话号码的电话呼叫;开始起草至包括在对象中的电子邮件地址的电子邮件;解码包括在对象中的条形码或QR码;对包括在对象中的文本执行光学字符识别;扫描包括在对象中和/或由对象识别的文档;或识别包括在对象中的人和/或人类、动物、纪念物或地标。在一些示例中,功能处理器218可以在电子设备100上本地执行功能。在一些示例中,功能处理器218可以通过向服务器发送请求来执行功能,该请求包括对象,例如通过调用以对象作为参数的应用编程接口(API),并响应于发送请求从服务器接收转换的对象。在执行功能之后,功能处理器218可以生成转换对象,例如转换的对象110A、110B,以供显示器102呈现和/或显示。
电子设备100可以包括至少一个处理器220。至少一个处理器220可以执行指令,例如存储在至少一个存储器设备222中的指令,以使电子设备100执行此处描述的方法、功能和/或技术的任何组合。
电子设备100可以包括至少一个存储器设备222。至少一个存储器设备222可以包括非暂时性计算机可读存储介质。至少一个存储器设备222可以在其上存储数据和指令,当由至少一个处理器(例如处理器220)执行时,这些数据和指令被配置为使计算系统(例如电子设备100)执行此处描述的方法、功能和/或技术的任何组合。因此,在本文描述的任何实施方式中(即使没有与特定实施方式有关地明确指出),与电子设备100相关联或包括在其中的软件(例如,处理模块、存储指令)和/或硬件(例如,处理器、存储设备等)可以被配置为单独地或者与电子设备100结合地执行这里描述的方法、功能和/或技术的任何组合。
电子设备100可以包括至少一个输入/输出节点224。至少一个输入/输出节点224可以接收和/或发送数据,和/或可以从用户接收输入并向用户提供输出。输入和输出功能可以组合成单个节点,或者可以分成单独的输入和输出节点。输入/输出节点224可以包括例如显示器(其可以是触摸屏显示器,例如显示器102)、相机、扬声器、麦克风、一个或多个按钮、运动检测器和/或加速度计、温度计、光传感器和/或一个或多个用于与其他计算设备通信的有线或无线接口。
图3是由电子设备100执行的方法的流程图。图3示出了电子设备100根据用户是否熟悉功能和/或与该功能相关联的对象类别来循环执行图像分类。图像呈现器202可以呈现图像(302)。图像呈现器202可以在显示器102上呈现图像。图像可以基于在电子设备上运行的应用,例如网络浏览器、相机或社交媒体应用。
图像分类器204可以对显示器102呈现的图像(304)和/或图像的一部分进行分类。图像分类器204可以对图像进行分类,同时开启针对特定对象类别执行图像分类的循环。图像的部分可以被认为是对象,例如对象104A、104B。图像分类器204可以通过确定图像和/或对象是否是存储在类别库中的一个或多个对象类别的成员来对图像和/或对象进行分类。
熟悉度确定器210结合场境处理器212可以确定用户是否熟悉(306)对象的对象类别和/或与对象相关联的功能。熟悉度确定器210结合场境处理器212可以基于作为非限制性示例的以下部分的一个或多个的组合来确定用户是否熟悉对象的对象类别和/或与对象相关联的功能:已向用户呈现提示(例如提示106)以对于对象类别的对象执行该功能的次数;用户选择了对象类别的对象多少次;自用户选择对象类别的对象以来经过了多长时间;电子设备100中包括的电池的充电水平;一天中的时间;由电子设备100中包括的麦克风接收的音频信号;电子设备100的位置;和/或,用户对特定对象类别的图像的兴趣,如用户查看对象类别的图像和/或存储对象类别的图像所示。
如果熟悉度确定器210结合场境处理器212确定用户熟悉对象类别和/或功能,则电子设备100可以关闭相对于对象类别和/或功能的图像分类或功能的循环。基于熟悉度确定器确定用户熟悉对象类别和/或功能,和/或关闭相对于对象类别和/或功能的图像分类的循环,选择处理器216可以确定电子设备100是否接收对象的选择(308),如下所述。在一些示例中,如果熟悉度确定器210结合场境处理器212确定用户熟悉对象类别和/或功能,则图像分类器204可以停止基于电子设备100关闭相对于对象类别和/或功能的图像分类的循环确定熟悉对象类别的对象是否存在。如果熟悉度确定器210结合场境处理器212确定用户不熟悉对象类别和/或功能,和/或相对于对象类别和/或功能开启图像分类的循环,则提示生成器214可以呈现提示(312)(和/或电子设备100可以开启相对于对象类别和/或功能的图像分类的循环)。诸如提示106的提示可以指示和/或描述要对对象执行的功能。提示的表示可以基于图像检测器208确定的对象的位置和对象的对象类别和/或要对对象执行的功能。
在呈现提示(312)和/或确定用户熟悉对象类别和/或功能之后,电子设备100和/或选择处理器216可以确定电子设备100是否接收到对象的选择。选择处理器216可以基于电子设备100是否接收到预定手势来确定电子设备100是否接收到对象的选择,预定手势诸如是在呈现对象的显示器102的区域上的点击或点击并保持,或当光标在呈现对象的显示器102的区域上方时的鼠标单击或双击。
如果选择处理器216确定电子设备100没有接收到对象的选择,则电子设备100可以继续呈现图像(302)。如果选择处理器216确定电子设备100确实接收到对象的选择,则功能处理器218可以对对象执行功能(310)。在执行功能(310)之后,电子设备100可以继续呈现图像(302)。
图4是由电子设备100执行的方法的流程图。该方法可以包括在显示的图像内执行图像分类(402)。该方法可以包括,在执行图像分类时,确定对象类别的第一对象104A存在于显示的图像内(404)。该方法可以包括生成提示,例如在所显示的图像内呈现提示106(406)。该方法可以包括,例如响应于提示106,从用户接收第一对象104A的选择108A(408)。该方法可以包括,响应于接收到对第一对象104A的选择,对第一对象104A执行功能(410)。该方法可以包括,基于可以响应于提示106的第一对象104A的选择,确定用户熟悉该功能(412)。该方法可以包括,基于确定用户熟悉该功能,终止在显示的图像内执行图像分类(414)。该方法可以包括,响应于用户选择所显示的图像内的对象类别的第二对象104B,对第二对象104B执行该功能(416)。
在一些示例中,对第一对象执行功能可以包括对显示的图像执行局部图像识别功能。
在一些示例中,对第一对象执行功能可以包括将显示的图像发送到服务器,以及从服务器接收转换的对象。
在一些示例中,对象类别可以包括文本。在一些示例中,该功能可以包括对第一对象执行光学字符识别。
在一些示例中,对象类别可以包括条形码。在一些示例中,该功能可以包括解码第一对象。
在一些示例中,对象类别可以包括人类。在一些示例中,该功能可以包括确定与第一对象相关联的名称。
在一些示例中,该方法还可以包括基于计算系统的位置来确定对象类别。
在一些示例中,该方法还可以包括基于用户先前查看的图像来确定对象类别。
在一些示例中,用户熟悉功能的确定可包括确定用户熟悉相对于对象类别的功能,并且终止执行显示图像内的图像分类可包括终止相对于对象类别在显示图像内执行图像分类。
在一些示例中,终止在显示的图像内执行图像分类可以基于确定用户熟悉该功能和一天中的时间。
在一些示例中,终止在显示的图像内执行图像分类可以基于确定用户熟悉功能和计算系统中包括的电池的充电水平。
在一些示例中,终止在显示的图像内执行图像分类可以基于确定用户熟悉功能和计算系统中包括的麦克风所接收的音频信号。
在一些示例中,该方法还可以包括,响应于接收到对第二对象的选择而对第二对象执行图像分类并确定第二对象属于对象类别,以及对第二对象执行该功能可以基于确定第二对象属于对象类别。
在一些示例中,该方法还可以包括,在确定对象类别的第一对象存在于显示的图像内之后,对第一对象执行图像检测。在显示的图像内呈现提示可以包括,基于在显示的图像内检测到第一对象的位置在显示的图像内的位置呈现提示。
在一些示例中,该方法还可以包括:显示多个附加图像;基于用户没有选择所显示的多个附加图像的部分,确定用户不再熟悉该功能;并且基于确定用户不再熟悉功能,在后续显示的图像内执行图像分类;在后续显示的图像内执行图像分类的同时,确定后续显示的图像内存在该对象类别的后续对象;并在后续显示的图像内执行后续提示。
在一些示例中,对象类别可以包括第一对象类别,提示可以包括第一提示,并且功能可以包括第一功能。该方法还可以包括:在后续显示的图像内执行图像分类;在后续显示的图像内执行图像分类的同时,检测后续显示的图像内的第二对象类别的第二对象,第二对象类别不同于第一对象类别;在后续显示的图像内呈现第二提示;从用户接收对第二对象的选择;并且响应于接收到对第二对象的选择,对第二对象执行第二功能,第二功能不同于第一功能。
图5示出了通用计算机设备500和通用移动计算机设备550的示例,其可以用于此处描述的技术。计算设备500旨在表示各种形式的数字计算机,例如膝上型计算机、台式计算机、平板计算机、工作站、个人数字助理、电视、服务器、刀片服务器、大型机和可以与电子设备100通信的其他适当的计算设备。计算设备550旨在表示各种形式的移动设备,例如个人数字助理、蜂窝电话、智能手机和可以作为电子设备100示例的其他类似计算设备。此处所示的组件、它们的连接和关系及其功能仅是示例性的,并不意味着限制本文档中描述和/或要求保护的发明的实施方式。
计算设备500包括处理器502、存储器504、存储设备506、连接到存储器504和高速扩展端口510的高速接口508、以及连接到低速总线514和存储设备506的低速接口512。处理器502可以是基于半导体的处理器。存储器504可以是基于半导体的存储器。组件502、504、506、508、510和512中的每一个都使用各种总线互连,并且可以安装在公共母板上或以其他合适的方式安装。处理器502可以处理用于在计算设备500内执行的指令,包括存储在存储器504中或存储设备506上以在外部输入/输出设备(例如耦合到高速接口508的显示器516)上显示用于GUI的图形信息的指令。在其他实施方式中,可以适当地使用多个处理器和/或多条总线以及多个存储器和多种类型的存储器。此外,可以连接多个计算设备500,每个设备提供必要操作的部分(例如,作为服务器组、一组刀片服务器或多处理器系统)。
存储器504将信息存储在计算设备500内。在一种实施方式中,存储器504是一个或多个易失性存储器单元。在另一种实施方式中,存储器504是一个或多个非易失性存储单元。存储器504也可以是另一种形式的计算机可读介质,例如磁盘或光盘。
存储设备506能够为计算设备500提供大容量存储。在一种实施方式中,存储设备506可以是或包含计算机可读介质,例如软盘设备、硬盘设备、光盘设备、或磁带设备,闪存或其他类似的固态存储设备、或设备阵列,包括存储区域网络或其他配置中的设备。计算机程序产品可以有形地体现在信息载体中。计算机程序产品还可以包括指令,这些指令在被执行时执行一种或多种方法,例如上面描述的那些。信息载体是计算机或机器可读介质,例如存储器504、存储设备506或处理器502上的存储器。
高速控制器508管理计算设备500的带宽密集型操作,而低速控制器512管理较低带宽密集型操作。这样的功能分配只是示例性的。在一种实施方式中,高速控制器508耦合到存储器504、显示器516(例如,通过图形处理器或加速器),以及耦合到可以接受各种扩展卡(未示出)的高速扩展端口510。在该实施方式中,低速控制器512耦合到存储设备506和低速扩展端口514。可以包括各种通信端口(例如,USB、蓝牙、以太网、无线以太网)的低速扩展端口可以是例如通过网络适配器耦合到一个或多个输入/输出设备,例如键盘、定点设备、扫描仪或网络设备,例如交换机或路由器。
计算设备500可以以多种不同的形式实现,如图所示。例如,它可以实现为标准服务器520,或者在一组这样的服务器中多次实现。它也可以作为机架服务器系统524的一部分来实现。此外,它可以在诸如膝上型计算机522的个人计算机中实现。或者,来自计算设备500的组件可以与诸如设备550的移动设备(未示出)中的其他组件组合。这样的设备中的每一个可以包括计算设备500、550中的一个或多个,并且整个系统可以由相互通信的多个计算设备500、550组成。
计算设备550包括处理器552、存储器564、诸如显示器554的输入/输出设备、通信接口566和收发器568以及其他组件。设备550还可以配备有存储设备,例如微型驱动器或其他设备,以提供额外的存储。组件550、552、564、554、566和568中的每一个都使用各种总线互连,并且组件中的几个可以安装在公共母板上或以其他适当的方式安装。
处理器552可以执行计算设备550内的指令,包括存储在存储器564中的指令。处理器可以实现为包括单独的和多个模拟和数字处理器的芯片组。处理器可以提供例如设备550的其他组件的协调,例如用户接口的控制、设备550运行的应用和设备550的无线通信。
处理器552可以通过耦合到显示器554的控制接口558和显示接口556与用户通信。显示器554可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其他适当的显示技术。显示接口556可以包括用于驱动显示器554以向用户呈现图形和其他信息的适当电路。控制接口558可以从用户接收命令并将它们转换以提交给处理器552。此外,可以提供与处理器552通信的外部接口562,以便实现设备550与其他设备的近区域通信。外部接口562可以例如在一些实施方式中提供有线通信,或者在其他实施方式中提供无线通信,并且也可以使用多个接口。
存储器564将信息存储在计算设备550内。存储器564可以实现为一个或多个计算机可读介质、一个或多个易失性存储器单元或一个或多个非易失性存储器单元中的一个或多个。还可以提供扩展存储器574并将其通过扩展接口572连接到设备550,扩展接口572可以包括例如SIMM(单列直插式存储器模块)卡接口。这样的扩展存储器574可以为设备550提供额外的存储空间,或者也可以为设备550存储应用或其他信息。具体地,扩展存储器574可以包括执行或补充上述过程的指令,并且还可以包括安全信息。因此,例如,扩展存储器574可以作为设备550的安全模块提供,并且可以用允许安全使用设备550的指令执行编程。此外,可以通过SIMM卡提供安全应用以及附加信息,例如以不可破解的方式在SIMM卡上放置识别信息。
存储器可以包括例如闪存和/或NVRAM存储器,如下面所讨论的。在一种实施方式中,计算机程序产品有形地体现在信息载体中。计算机程序产品包含指令,这些指令在执行时执行一种或多种方法,例如上述方法。信息载体是计算机或机器可读介质,例如存储器564、扩展存储器574或处理器552上的存储器,其可以例如通过收发器568或外部接口562接收。
设备550可以通过通信接口566执行无线通信,必要时通信接口566可以包括数字信号处理电路。通信接口566可以提供各种模式或协议下的通信,例如GSM语音呼叫、SMS、EMS或MMS消息传递、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这样的通信可以例如通过射频收发器568发生。此外,可以例如使用蓝牙、WiFi或其他这样的收发器(未示出)发生短程通信。此外,GPS(全球定位系统)接收器模块570可以向设备550提供额外的导航和位置相关的无线数据,这些数据可以由在设备550上运行的应用酌情使用。
设备550也可以使用音频编解码器560执行有声通信,音频编解码器560可以从用户接收口头信息并将其转换为可用的数字信息。音频编解码器560可以类似地诸如通过例如在设备550的手机中的扬声器为用户生成可听见的声音。这样的声音可以包括来自语音电话呼叫的声音,可以包括记录的声音(例如,语音消息、音乐文件等)并且还可以包括由在设备550上运行的应用生成的声音。
计算设备550可以以多种不同的形式实现,如图所示。例如,它可以被实现为蜂窝电话580。它也可以被实现为智能电话582、个人数字助理或其他类似移动设备的一部分。
这里描述的系统和技术的各种实施方式可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实施方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式,该可编程系统包括至少一个可编程处理器,其可以是特殊的或通用的,耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令,并且向存储系统、至少一个输入设备和至少一个输出设备发送数据和指令。
这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令,并且可以以高级过程和/或面向对象的编程语言和/或汇编/机器语言实现。如本文所使用的,术语“机器可读介质”、“计算机可读介质”是指任何计算机程序产品、装置和/或设备(例如,磁盘、光盘、存储器、可编程逻辑器件(PLD)),用于将机器指令和/或数据提供给可编程处理器,该可编程处理器包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互,这里描述的系统和技术可以在计算机上实现,该计算机具有:显示设备(例如,CRT(阴极射线管)或LCD(液晶显示器)监视器),用于向用户显示信息;以及,用户可以通过其向计算机提供输入的键盘和定点设备(例如,鼠标或轨迹球)。其他类型的设备也可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的感觉反馈(例如,视觉反馈、听觉反馈或触觉反馈);并且可以以任何形式接收来自用户的输入,包括声学、语音或触觉输入。
这里描述的系统和技术可以实现在计算系统中,该计算系统包括(诸如作为数据服务器的)后端组件,或者包括(诸如应用服务器的)中间件组件,或者包括(诸如具有用户可以通过其与在此描述的系统和技术的实施方式进行交互的图形用户接口或Web浏览器的客户端计算机的)前端组件,或者包括这样的后端、中间件或前端组件的任何组合。系统的组件可以通过任何形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和互联网。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络进行交互。客户端和服务器的关系是通过运行在相应计算机上并且彼此具有客户端-服务器关系的计算机程序产生的。
已经描述了多个实施例。然而,应当理解,在不脱离本发明的精神和范围的情况下可以进行各种修改。
下面描述一些示例。
示例1:一种非暂时性计算机可读存储介质,包括存储在其上的指令,所述指令当由至少一个处理器执行时,被配置为使计算系统:
在显示的图像内执行图像分类;
在执行所述图像分类的同时,确定对象类别的第一对象存在于所显示的图像内;
在所显示的图像内呈现提示;
响应于所述提示,从用户接收所述第一对象的选择;
响应于接收到所述第一对象的所述选择,对所述第一对象执行功能;
基于响应于所述提示的所述第一对象的所述选择,确定所述用户熟悉所述功能;
基于确定所述用户熟悉所述功能,终止在所显示的图像内执行图像分类;以及
响应于所述用户在所显示的图像内选择所述对象类别的第二对象,对所述第二对象执行所述功能。
示例2:示例1的非暂时性计算机可读存储介质,其中,对所述第一对象执行所述功能包括对所显示的图像执行局部图像识别功能。
示例3:示例1或2的非暂时性计算机可读存储介质,其中,对所述第一对象执行所述功能包括:
将所显示的图像发送到服务器;以及
从所述服务器接收转换的对象。
示例4:前述示例中的至少一项的非暂时性计算机可读存储介质,其中,所述对象类别包括文本。
示例5:示例4的非暂时性计算机可读存储介质,其中,所述功能包括对所述第一对象执行光学字符识别。
示例6:前述示例中的至少一项的非暂时性计算机可读存储介质,其中,所述对象类别包括条形码。
示例7:示例6的非暂时性计算机可读存储介质,其中,所述功能包括解码所述第一对象。
示例8:前述示例中的至少一项的非暂时性计算机可读存储介质,其中,所述对象类别包括人类。
示例9:示例8的非暂时性计算机可读存储介质,其中,所述功能包括确定与所述第一对象相关联的名称。
示例10:前述示例中的至少一项的非暂时性计算机可读存储介质,其中,所述指令还被配置为使所述计算系统基于所述计算系统的位置来确定所述对象类别。
示例11:前述示例中至少一项的非暂时性计算机可读存储介质,其中,所述指令还被配置为使所述计算系统基于所述用户先前查看的图像来确定所述对象类别。
示例12:前述示例中的至少一项的非暂时性计算机可读存储介质,其中,所述指令还被配置为使所述计算系统确定对象是否属于所述电子设备能够对其执行功能的对象类别。
示例13:前述示例中的至少一项的非暂时性计算机可读存储介质,其中,熟悉度确定器对熟悉度的确定取决于对象的选择次数,特别是预定时间间隔中的对象的选择次数,和/或取决于在所述对象的所述显示和所述选择之间的时间,并且特别地熟悉度值被生成。
示例14:示例13的非暂时性计算机可读存储介质,其中,如果达到熟悉度值的预定第一阈值,则所述熟悉度确定器控制所述分类的终止,并且如果达到所述熟悉度值的预定第二阈值,则控制所述分类的恢复。
示例15:示例13或14的非暂时性计算机可读存储介质,其中,场境处理器处理场境信息,所述电子设备能够将所述场境信息与所述熟悉度值组合以确定是否执行图像分类和/或呈现提示,所述场境信息特别是所述电子设备中包括的电池的充电水平、一天中的时间、由在所述电子设备中包括的麦克风接收到的音频信号、所述电子设备的位置,和/或由查看所述对象类别的图像和/或存储所述对象类别的图像的所述用户示出的所述用户对于特定对象类别的图像的兴趣。
示例16:前述示例中的至少一项的非暂时性计算机可读存储介质,其中:
所述用户熟悉所述功能的所述确定包括相对于所述对象类别确定所述用户熟悉所述功能;以及
所述终止在所显示的图像内执行图像分类包括相对于所述对象类别终止在所显示的图像内执行图像分类。
示例17:前述示例中的至少一项的非暂时性计算机可读存储介质,其中,所述指令被配置为使所述计算系统基于确定所述用户熟悉所述功能和一天中的时间而终止在所显示的图像内执行图像分类。
示例18:前述示例中的至少一项的非暂时性计算机可读存储介质,其中,所述指令被配置为使所述计算系统基于确定所述用户熟悉所述功能以及包括在所述计算系统中的电池的充电水平而终止在所显示的图像内执行图像分类。
示例19:前述示例中的至少一项的非暂时性计算机可读存储介质,其中,所述指令被配置为使所述计算系统基于确定所述用户熟悉所述功能和由在所述计算系统中包括的麦克风接收的音频信号而终止在所显示的图像内执行图像分类。
示例20:根据前述权利要求中至少一项的非暂时性计算机可读存储介质,其中:
所述指令还被配置为在确定所述对象类别的所述第一对象存在于所显示的图像内之后使所述计算系统对所述第一对象执行图像检测;以及
在所显示的图像内呈现所述提示包括基于在所显示的图像内检测到所述第一对象的位置在所显示的图像内的位置呈现提示。
示例21:前述示例中的至少一项的非暂时性计算机可读存储介质,其中,所述指令还被配置为使所述计算系统:
显示多个附加图像;
基于所述用户没有选择所显示的多个附加图像的部分,确定所述用户不再熟悉所述功能;以及
基于确定所述用户不再熟悉所述功能:
在后续显示的图像内执行图像分类;
在所述后续显示的图像内执行所述图像分类的同时,确定所述对象类别的后续对象存在于所述后续显示的图像内;以及
在所述后续显示的图像内呈现后续提示。
示例22:根据前述权利要求中至少一项的非暂时性计算机可读存储介质,其中:
所述对象类别包括第一对象类别;
所述提示包括第一提示;
所述功能包括第一功能;以及
所述指令还被配置为使所述计算系统:
在后续显示的图像内执行图像分类;
在所述后续显示的图像内执行所述图像分类的同时,检测在所述后续显示的图像内第二对象类别的第二对象,所述第二对象类别不同于所述第一对象类别;
在所述后续显示的图像内呈现第二提示;
从所述用户接收所述第二对象的选择;以及
响应于接收到所述第二对象的所述选择,对所述第二对象执行第二功能,所述第二功能不同于所述第一功能。
示例23:一种计算系统,包括:
至少一个处理器;以及
示例1-22中任一项的所述非暂时性计算机可读存储介质。
示例24:一种方法,包括:
由计算系统执行显示的图像内的图像分类;
在执行所述图像分类的同时,确定对象类别的第一对象存在于所显示的图像内;
在所显示的图像内呈现提示;
从用户接收所述第一的选择;
响应于接收到所述提示的所述选择,对所述第一对象执行功能;
基于所述提示的所述选择,确定所述用户熟悉所述功能;
基于确定所述用户熟悉所述功能,终止执行在所显示的图像内的图像分类;以及
响应于所述用户在所显示的图像内选择所述对象类别的第二对象,对所述第二对象执行所述功能。
此外,图中描绘的逻辑流程不需要所示的特定顺序或连续顺序来实现期望的结果。此外,相对于所描述的流程可以提供其他步骤,或者可以去除步骤,并且可以向所描述的系统添加其他组件或从所描述的系统中移除其他组件。因此,其他实施例在所附权利要求的范围内。
Claims (24)
1.一种非暂时性计算机可读存储介质,包括存储在其上的指令,所述指令当由至少一个处理器执行时,被配置为使计算系统:
在显示的图像内执行图像分类;
在执行所述图像分类的同时,确定对象类别的第一对象存在于所述显示的图像内;
在所述显示的图像内呈现提示;
响应于所述提示,从用户接收所述第一对象的选择;
响应于接收到所述第一对象的所述选择,对所述第一对象执行功能;
基于响应于所述提示的所述第一对象的所述选择,确定所述用户熟悉所述功能;
基于确定所述用户熟悉所述功能,终止在所述显示的图像内执行图像分类;以及
响应于所述用户在所述显示的图像内选择所述对象类别的第二对象,对所述第二对象执行所述功能。
2.根据权利要求1所述的非暂时性计算机可读存储介质,其中,对所述第一对象执行所述功能包括对所述显示的图像执行局部图像识别功能。
3.根据权利要求1或2所述的非暂时性计算机可读存储介质,其中,对所述第一对象执行所述功能包括:
将所述显示的图像发送到服务器;以及
从所述服务器接收转换的对象。
4.根据前述权利要求中的至少一项所述的非暂时性计算机可读存储介质,其中,所述对象类别包括文本。
5.根据权利要求4所述的非暂时性计算机可读存储介质,其中,所述功能包括对所述第一对象执行光学字符识别。
6.根据前述权利要求中的至少一项所述的非暂时性计算机可读存储介质,其中,所述对象类别包括条形码。
7.根据权利要求6所述的非暂时性计算机可读存储介质,其中,所述功能包括解码所述第一对象。
8.根据前述权利要求中的至少一项所述的非暂时性计算机可读存储介质,其中,所述对象类别包括人类。
9.根据权利要求8所述的非暂时性计算机可读存储介质,其中,所述功能包括确定与所述第一对象相关联的名称。
10.根据前述权利要求中的至少一项所述的非暂时性计算机可读存储介质,其中,所述指令还被配置为使所述计算系统基于所述计算系统的位置来确定所述对象类别。
11.根据前述权利要求中的至少一项所述的非暂时性计算机可读存储介质,其中,所述指令还被配置为使所述计算系统基于所述用户先前查看的图像来确定所述对象类别。
12.根据前述权利要求中的至少一项所述的非暂时性计算机可读存储介质,其中,所述指令还被配置为使所述计算系统确定对象是否属于所述电子设备能够对其执行功能的对象类别。
13.根据前述权利要求中的至少一项所述的非暂时性计算机可读存储介质,其中,熟悉度确定器对熟悉度的确定取决于对象的选择次数,特别是预定时间间隔中的对象的选择次数,和/或取决于在所述对象的所述显示和所述选择之间的时间,并且特别地熟悉度值被生成。
14.根据权利要求13所述的非暂时性计算机可读存储介质,其中,如果达到熟悉度值的预定第一阈值,则所述熟悉度确定器控制所述分类的终止,并且如果达到所述熟悉度值的预定第二阈值,则控制所述分类的恢复。
15.根据权利要求13或14所述的非暂时性计算机可读存储介质,其中,场境处理器处理场境信息,所述电子设备能够将所述场境信息与所述熟悉度值组合以确定是否执行图像分类和/或呈现提示,所述场境信息特别是所述电子设备中包括的电池的充电水平、一天中的时间、由在所述电子设备中包括的麦克风接收到的音频信号、所述电子设备的位置,和/或由查看所述对象类别的图像和/或存储所述对象类别的图像的所述用户示出的所述用户对于特定对象类别的图像的兴趣。
16.根据前述权利要求中的至少一项所述的非暂时性计算机可读存储介质,其中:
所述用户熟悉所述功能的所述确定包括相对于所述对象类别确定所述用户熟悉所述功能;以及
终止在所述显示的图像内执行图像分类包括相对于所述对象类别终止在所述显示的图像内执行图像分类。
17.根据前述权利要求中的至少一项所述的非暂时性计算机可读存储介质,其中,所述指令被配置为使所述计算系统基于确定所述用户熟悉所述功能和一天中的时间而终止在所述显示的图像内执行图像分类。
18.根据前述权利要求中的至少一项所述的非暂时性计算机可读存储介质,其中,所述指令被配置为使所述计算系统基于确定所述用户熟悉所述功能以及包括在所述计算系统中的电池的充电水平而终止在所述显示的图像内执行图像分类。
19.根据前述权利要求中的至少一项所述的非暂时性计算机可读存储介质,其中,所述指令被配置为使所述计算系统基于确定所述用户熟悉所述功能以及由在所述计算系统中包括的麦克风接收的音频信号而终止在所述显示的图像内执行图像分类。
20.根据前述权利要求中的至少一项所述的非暂时性计算机可读存储介质,其中:
所述指令还被配置为在确定所述对象类别的所述第一对象存在于所述显示的图像内之后使所述计算系统对所述第一对象执行图像检测;以及
在所述显示的图像内呈现所述提示包括基于在所述显示的图像内检测到所述第一对象的位置在所述显示的图像内的位置呈现提示。
21.根据前述权利要求中的至少一项所述的非暂时性计算机可读存储介质,其中,所述指令还被配置为使所述计算系统:
显示多个附加图像;
基于所述用户没有选择所显示的多个附加图像的部分,确定所述用户不再熟悉所述功能;以及
基于确定所述用户不再熟悉所述功能:
在后续显示的图像内执行图像分类;
在所述后续显示的图像内执行所述图像分类的同时,确定所述对象类别的后续对象存在于所述后续显示的图像内;以及
在所述后续显示的图像内呈现后续提示。
22.根据前述权利要求中的至少一项所述的非暂时性计算机可读存储介质,其中:
所述对象类别包括第一对象类别;
所述提示包括第一提示;
所述功能包括第一功能;以及
所述指令还被配置为使所述计算系统:
在后续显示的图像内执行图像分类;
在所述后续显示的图像内执行所述图像分类的同时,检测在所述后续显示的图像内第二对象类别的第二对象,所述第二对象类别不同于所述第一对象类别;
在所述后续显示的图像内呈现第二提示;
从所述用户接收所述第二对象的选择;以及
响应于接收到所述第二对象的所述选择,对所述第二对象执行第二功能,所述第二功能不同于所述第一功能。
23.一种计算系统,包括:
至少一个处理器;以及
根据权利要求1-22中任一项所述的非暂时性计算机可读存储介质。
24.一种方法,包括:
由计算系统执行显示的图像内的图像分类;
在执行所述图像分类的同时,确定对象类别的第一对象存在于所述显示的图像内;
在所述显示的图像内呈现提示;
从用户接收所述第一的选择;
响应于接收到所述提示的所述选择,对所述第一对象执行功能;
基于所述提示的所述选择,确定所述用户熟悉所述功能;
基于确定所述用户熟悉所述功能,终止执行在所述显示的图像内的图像分类;以及
响应于所述用户在所述显示的图像内选择所述对象类别的第二对象,对所述第二对象执行所述功能。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2020/070658 WO2022081191A1 (en) | 2020-10-13 | 2020-10-13 | Termination of performing image classification based on user familiarity |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116348922A true CN116348922A (zh) | 2023-06-27 |
Family
ID=73198562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080106123.7A Pending CN116348922A (zh) | 2020-10-13 | 2020-10-13 | 基于用户熟悉度终止执行图像分类 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230410498A1 (zh) |
EP (1) | EP4229541A1 (zh) |
JP (1) | JP2023545307A (zh) |
KR (1) | KR20230066084A (zh) |
CN (1) | CN116348922A (zh) |
WO (1) | WO2022081191A1 (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160217794A1 (en) * | 2013-09-11 | 2016-07-28 | Sony Corporation | Information processing apparatus, information processing method, and program |
CN105867720A (zh) * | 2015-12-15 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 一种信息提示方法及装置 |
CN107517310A (zh) * | 2017-08-09 | 2017-12-26 | 重庆长安汽车股份有限公司 | 语音交互引导系统及方法 |
CN108537086A (zh) * | 2018-03-29 | 2018-09-14 | 广东欧珀移动通信有限公司 | 信息显示方法、装置、存储介质及移动终端 |
JP2020021354A (ja) * | 2018-08-02 | 2020-02-06 | コニカミノルタ株式会社 | 表示装置、表示処理システム及びプログラム |
CN111274842A (zh) * | 2020-02-25 | 2020-06-12 | 维沃移动通信有限公司 | 编码图像的识别方法及电子设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007213183A (ja) * | 2006-02-08 | 2007-08-23 | Seiko Epson Corp | デジタル画像データの分類装置、デジタル画像データの分類方法およびデジタル画像データの分類プログラム |
-
2020
- 2020-10-13 EP EP20804151.7A patent/EP4229541A1/en active Pending
- 2020-10-13 US US18/248,148 patent/US20230410498A1/en active Pending
- 2020-10-13 WO PCT/US2020/070658 patent/WO2022081191A1/en active Application Filing
- 2020-10-13 KR KR1020237012226A patent/KR20230066084A/ko unknown
- 2020-10-13 JP JP2023522530A patent/JP2023545307A/ja active Pending
- 2020-10-13 CN CN202080106123.7A patent/CN116348922A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160217794A1 (en) * | 2013-09-11 | 2016-07-28 | Sony Corporation | Information processing apparatus, information processing method, and program |
CN105867720A (zh) * | 2015-12-15 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 一种信息提示方法及装置 |
CN107517310A (zh) * | 2017-08-09 | 2017-12-26 | 重庆长安汽车股份有限公司 | 语音交互引导系统及方法 |
CN108537086A (zh) * | 2018-03-29 | 2018-09-14 | 广东欧珀移动通信有限公司 | 信息显示方法、装置、存储介质及移动终端 |
JP2020021354A (ja) * | 2018-08-02 | 2020-02-06 | コニカミノルタ株式会社 | 表示装置、表示処理システム及びプログラム |
CN111274842A (zh) * | 2020-02-25 | 2020-06-12 | 维沃移动通信有限公司 | 编码图像的识别方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2022081191A1 (en) | 2022-04-21 |
US20230410498A1 (en) | 2023-12-21 |
EP4229541A1 (en) | 2023-08-23 |
JP2023545307A (ja) | 2023-10-27 |
KR20230066084A (ko) | 2023-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220318039A1 (en) | Suggesting Actions Based on Machine Learning | |
US9105269B2 (en) | Method, apparatus, and system for automatically monitoring for voice input based on context | |
US9363104B2 (en) | Customized speech generation | |
US11849256B2 (en) | Systems and methods for dynamically concealing sensitive information | |
JP2020521167A (ja) | 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決 | |
US10346026B1 (en) | User interface | |
US11710001B2 (en) | Identity-based display of text | |
US20140007115A1 (en) | Multi-modal behavior awareness for human natural command control | |
CN113678133A (zh) | 用于对话中断检测的具有全局和局部编码的上下文丰富的注意记忆网络的系统和方法 | |
US20210112309A1 (en) | Generating an interactive digital video content item | |
US20140288916A1 (en) | Method and apparatus for function control based on speech recognition | |
WO2023158468A1 (en) | Intelligent meeting agent | |
US11163378B2 (en) | Electronic device and operating method therefor | |
US20230410498A1 (en) | Cycling performing image classification based on user familiarity | |
US11112943B1 (en) | Electronic devices and corresponding methods for using episodic data in media content transmission preclusion overrides | |
US20180356973A1 (en) | Method And System For Enhanced Touchscreen Input And Emotional Expressiveness | |
CN111880854B (zh) | 用于处理语音的方法和装置 | |
US20240212670A1 (en) | Communication support system, communication support method, and non-transitory recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |