CN107864678A - 对视觉指示器的检测和解译 - Google Patents

对视觉指示器的检测和解译 Download PDF

Info

Publication number
CN107864678A
CN107864678A CN201680036189.7A CN201680036189A CN107864678A CN 107864678 A CN107864678 A CN 107864678A CN 201680036189 A CN201680036189 A CN 201680036189A CN 107864678 A CN107864678 A CN 107864678A
Authority
CN
China
Prior art keywords
image
data
user
implication
visual detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680036189.7A
Other languages
English (en)
Other versions
CN107864678B (zh
Inventor
伊利亚·弗拉基米罗维奇·布赖洛夫斯基
保罗·贝伦贝格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazon Technologies Inc
Original Assignee
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amazon Technologies Inc filed Critical Amazon Technologies Inc
Publication of CN107864678A publication Critical patent/CN107864678A/zh
Application granted granted Critical
Publication of CN107864678B publication Critical patent/CN107864678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/04—Billing or invoicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B1/00—Systems for signalling characterised solely by the form of transmission of the signal
    • G08B1/08—Systems for signalling characterised solely by the form of transmission of the signal using electric transmission ; transformation of alarm signals to electrical signals from a different medium, e.g. transmission of an electric alarm signal upon detection of an audible alarm signal
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了检测和解译装置的视觉指示器(诸如LED)的含义并且向用户提供潜在故障信息和其解决方案的装置、系统和方法。例如，所述视觉指示器的图像数据可以由图像捕获装置(诸如相机)捕获。然后可以分析所述图像数据以识别所述图像数据中捕获的对象。对应于所述对象的视觉指示器的所述图像数据中的像素值的光度可以用于确定所述视觉指示器的序列。然后，可以将对应于所述序列的含义的信息发送到所述对象的用户或所有者的装置。

Description

对视觉指示器的检测和解译
背景技术
随着技术的进步，电子装置的使用和普及已大大增加。人们普遍拥有多个家用电子装置和电器。这些装置中的一些具有诸如发光二极管(LED)等指示器，其闪烁或照亮以向用户指示某些信息(诸如电池电量低、电源开启、电源关闭等)。然而，对于一些装置，通过闪烁或照亮一个或多个LED或激活其他这样的模糊指示器，用户可能不容易确定装置在传达什么内容。
附图说明
为了更全面地理解本公开，现在参考下文结合附图进行的描述。
图1示出了用于实施本公开的实施方案的系统的概况。
图2示出了根据本公开的实施方案的视觉指示器的示例性解译；
图3示出了用于实施本公开的实施方案的系统的另一概况。
图4是概念性地示出根据本公开的实施方案的示例性装置的框图。
图5是概念性地示出根据本公开的实施方案的示例性计算装置的框图。
图6示出了根据本公开的实施方案的识别对象的示例性方法。
图7示出了根据本公开的实施方案的解译视觉指示器的示例性方法。
图8示出了用于实施本公开的实施方案的系统的另一概况。
图9示出了用于实施本公开的实施方案的系统的另一概况。
图10示出了根据本公开的实施方案的识别对象并解译视觉指示器的示例性方法。
图11示出了用于实施本公开的实施方案的系统的另一概况。
图12示出了对应于用于实施本公开的实施方案的对象识别符的数据类型流结构的概况。
图13示出了对应于用于实施本公开的实施方案的用户简档的数据类型流结构的概况。
图14示出了对应于用于实施本公开的实施方案的装置识别符的数据类型流结构的概况。
图15示出了根据本公开的实施方案的结合分布式处理使用的网络。
具体实施方式
家用电子装置(诸如DVD/蓝光播放器、无线路由器、电视机、立体音响等)和电器(烟雾检测器、恒温器、冰箱、炉灶、热水器、熔炉等)无处不在。这些装置中的许多装置不具有用于向用户呈现信息的任何有线或无线连接。相反，这样的装置可以包括接口，所述接口包括以特定序列闪烁/闪光或照亮的一个或多个视觉指示器(诸如发光二极管(LED))或以特定序列发出嘟嘟声以将一些信息传达给用户的音频指示器(诸如输出嘟嘟声的扬声器)。例如，炉灶可能具有照亮以指示炉灶何时是开启的视觉指示器；无线路由器可能具有开启或关闭以指示互联网连接何时在工作或不工作的视觉指示器；咖啡机可能具有照亮以指示咖啡仍然是暖的的视觉指示器；烟雾检测器可能具有激活以指示电池电量低的视觉指示器和/或音频指示器；一氧化碳传感器可以具有激活以指示发生故障等的视觉指示器和/或音频指示器。可以容易地想象许多其他这样的示例。由于这种装置无处不在，以及相对缺乏其各自指示器的直观含义，用户很难一眼就看出任何特定指示器的含义。此外，在多个装置上追踪这样的指示器可能是困难的。本发明提供了对解译和监控这些指示器的状态的改进。
本发明公开了检测和解译装置的视觉和/或音频指示器的含义并向用户提供潜在的故障的信息和解决方案的系统和方法。例如，家庭电子装置和其他装置产生的视觉指示器(诸如LED)和/或音频指示器(诸如输出嘟嘟声的扬声器)的序列可以使用用户的家中或办公室中的图像捕获组件(诸如相机、平板计算机、智能手机等)或音频捕获组件(诸如麦克风)进行监控，并且可以解译所述序列以向用户提供关于装置问题、如何修复装置、购买新装置、提供维修服务、购买组件或补充品的能力(在指示器对应于电池电量低或咖啡再充的情况下，诸如电池)等的信息。所述系统和方法还可以在用户远离相应的装置时向用户提供与这种指示器相关的通知。
例如，图像捕获装置可以捕获用户家中的装置(例如，熔炉)的视觉指示器的图像数据，并将该数据发送到远程装置用于处理。远程装置可以识别指示器图案或序列并识别该图案的对应含义。例如，视觉指示器可以指示热水器由于压力增加而不能正常工作。在这种情况下，远程装置可以发送消息或其他通知(诸如文本消息、电子邮件、电话等)给用户，通知用户该问题。远程装置还可以给本地维修服务(或简称为用户的维修人员或服务)提供释放压力的指令和/或联系信息。这样的系统在装置(例如，熔炉)本身没有配备通信组件的情况下特别有用。
在另一实施方案中，所述系统和方法包括图像捕获装置(诸如相机)和/或音频捕获装置(诸如麦克风)，其配置成捕获指示器的图像和/或音频数据，并将所述数据发送到远程装置用于处理。图像数据可以是单个图像、连续捕获的具有足够长度以捕获由视觉指示器输出的序列的多个图像、具有足够长度以捕获由视觉指示器输出的序列的视频等。
图像和/或音频捕获装置可以与装置ID相关联，并且将所述ID连同数据一起发送到远程装置。在这个方面，ID可以与一个或多个对象相关联。所述对象可以是在图像数据中表示的对象和/或发出音频指示器的对象。因此，远程装置可以使用ID来识别对象，并且然后解译指示器。所述ID还可以与用户ID(诸如与特定用户相关联的号码)或其他类型的用户简档(其可以包括与特定用户有关的各种数据，包括用户姓名、邮寄地址信息、账单/支付信息、偏好信息、订单历史信息以及订购和完成产品的订购/购买的其他信息等)相关联，例如，对象的拥有者的简档可以通过先前的购买历史、系统配置等链接到对象的装置ID。用户简档还可以配置成允许订购对应于指示器的解译的产品。例如，当所述对象中的一个是咖啡机时，指示器可以指示咖啡机没有咖啡了或者咖啡很少了，并且远程装置可以简单地为咖啡机订购更多的咖啡再装料(根据用户偏好)并将咖啡运送给用户。指示器或指示器序列还可以对应于任何数量的其他动作。例如，指示器可以对应于咖啡机发生故障的情况。在这种情况下，远程装置可以将通知发送到有问题的用户装置并提供维修服务，提供购买新咖啡机的选项，提供关于如何修复咖啡机的指示，呼叫维修人员或服务，安排维修服务到用户家中并查看/修复咖啡机等。
在示例中，安装在家中的相机可以捕获具有一个或多个照亮的闪光灯的咖啡机的图像。可以将来自相机的这个图像数据发送到远程服务器。服务器分析数据并基于机器的外观，远程装置可以识别咖啡机的品牌和型号。然后，服务器可以使用查找表(LUT)或匹配灯到咖啡机模型的其他数据库来确定特定闪光灯的含义。例如，服务器可以确定咖啡机没有水了、仍然是热的等等。相机也可以与装置ID相关联，使得当发送数据到服务器时，也发送装置ID(或者由服务器查找)，使得服务器可以基于灯闪光的方式访问任何待执行的预配置动作。例如，服务器可以从灯确定咖啡机没有咖啡了。因为装置和/或相机也可以链接到用户简档(在这种情况下是机器的所有者)，所以服务器可以简单地订购更多的咖啡并且以在用户简档中列出的用户的家庭地址向用户发送咖啡。
本文描述的系统和方法允许对象和其他产品的先前的制造商维持其当前的设计，并利用这些指示器提供物联网(IoT)自动化，而无需WiFi、蓝牙或其他联网硬件的成本。此外，所述系统和方法允许通过用可被解译以向用户提供通信并执行动作的指示器替换较传统的显示器(诸如液晶显示器(LCD))，来降低对象和其他产品的制造成本。
图1示出了用于实施本公开的实施方案的系统100的概况。所述系统包括可以通过网络108彼此通信的用户装置102、远程装置104以及一个或多个数据库106。在此实施方案中，用户装置102可以捕获具有视觉指示器112(诸如LED)的对象110(在所述实施方案中为无线电)的图像数据。图像数据可以是单个图像、连续捕获的具有足够长度以捕获由视觉指示器112输出的序列的多个图像、具有足够长度以捕获由视觉指示器112输出的序列的视频等。
因此，用户装置102捕获对象110的图像数据，如框114所示。用户装置102然后将捕获的图像数据发送到远程装置104，如框116所示。远程装置104接收图像数据，如框118所示，并识别图像数据中表示的对象110，如框120所示。远程装置104可以基于用户简档中用户的购买历史来识别对象110(诸如收音机、微波炉、电视机、DVD/蓝光播放器、玩具、安全装置等的类型和型号)。例如，如果用户从与远程装置104相关联的商家处购买了对象110或者将特定对象110添加/标记为在家中或在相机的视野中，则这可以用于识别对象110，和/或缩小图像数据中表示的选项的范围。
远程装置104可以使用各种图像匹配技术来识别对象110。一种这样的技术可以包括识别图像数据中表示的对象110的特征点。特征可以包括图像数据中表示的对象110的特征点(如下文进一步详细描述和如本领域已知)、图像数据中的纹理、图像数据中的色彩等。然后，远程装置104可以将特征点与存储在数据库106(诸如产品图像和信息数据库)中的一个或多个已知对象的已知特征点进行比较。远程装置104还可以执行几何验证以确认对象是否匹配。
远程装置104还识别指示器112的位置(诸如图像帧中对应于指示器相对于对象的位置的像素坐标)，如框122所示。作为产品图像和信息数据库106中的数据的一部分，已知对象中的指示器的已知位置被存储为参考数据。因此，一旦捕获的图像数据中的对象110与已知对象匹配并被识别，远程装置104便可以基于存储在产品图像和信息数据库106中的信息来识别图像数据中对象110的指示器112的位置。
远程装置104然后可以确定图像数据中指示器112的指示器图案(在本文中也称为序列)，如框124所示。这可以通过确定指示器112的位置中的像素值的光度和/或色彩以及将光度和/或色彩与对应于所识别的对象110的已知指示器图案(也作为参考数据的一部分存储并且称为参考指示器图案)进行比较而执行，所述已知的指示器图案存储在产品图像和信息数据库106中。远程装置104还可以确定对应于指示器图案的信息，如框126所示。此数据也可以作为参考数据的一部分存储在产品图像和信息数据库106中。例如，产品图像和信息数据库106可以包括与同已知指示器图案相关的已知对象有关的数据，所述已知指示器图案与基于所述图案的潜在解决方案相关。这允许远程装置104确定指示器图案，确定对应于指示器图案的信息，并且确定对应于解决方案的信息，如框128所示，以修复对象112可能遇到的任何问题。解决方案可以是关于如何修复对象的指令、可以联系的可选本地维修服务、购买新对象/产品的选项等。
参考图2，示出了对应于对象110的指示器图案的信息的表格200。如图所示，对象110具有八个不同的指示器图案202-216。指示器图案202对应于指示器112关闭(或未照亮)，其对应于对象110处于断电模式或无电力模式。指示器图案204对应于指示器112，其以长时间闪光照亮一次，接着是相同持续时间的不照亮，这对应于对象110没有连接到计算机。指示器图案206对应于指示器112以短时间闪光照亮一次，接着是不照亮，这对应于对象110具有串行连接但处于关闭模式。指示器图案208对应于指示器112以长时间闪光照亮一次，这对应于对象110具有串行连接并处于开启模式。指示器图案210对应于指示器112以两次短时间闪光照亮两次，这对应于对象110具有通用串行总线(USB)连接但处于关闭模式。指示器图案212对应于指示器112照亮两次，一次是短时间闪光，接着是一次长时间闪光，这对应于对象110具有USB连接但处于开启模式。指示器图案214对应于指示器112照亮三次，两次照亮是两次短时间闪光，接着是一次长时间闪光，这对应于对象110具有USB连接但是未安装驱动器。指示器图案216对应于指示器112以三次短时间闪光照亮三次，这对应于对象110具有USB连接、安装了驱动器，但应用程序未运行。
返回参考图1，远程装置104将对应于与指示器图案对应的信息和/或与解决方案对应的信息的消息(如果存在问题)发送到用户装置102，如框130所示。用户装置102接收对应于指示器图案的信息和/或对应于解决方案的信息，如框132所示。用户可以根据需要使用此信息。包括所述信息的消息可以根据系统/用户装置102的配置以各种方式发送。例如，如果用户正在使用智能手机、护目镜等操作增强现实系统，其中视频数据被捕获并以附加的增强现实信息显示给用户，则包括关于指示器图案的信息的消息可以显示在视频数据上(例如，在视频数据中可视指示器的表示附近)，从而提供指示器图案的含义的增强现实呈现。所述信息也可以在用户装置102上滚动，作为电子邮件、文本/SMS消息等发送。
例如，参考图1和2，当确定对象110的指示器图案为指示器图案204时，用户装置102可以接收通知用户对象110的指示器112呈现一次长时间闪光的信息，所述呈现意味着对象110没有连接到计算机。用户装置102还可以接收关于如何将对象110连接到计算机的指令。用户装置102还可以接收有关在用户想要以潜在客户帮助的形式(例如对象110的制造商的客户服务)将对象110连接到计算机的帮助或用户可以联系的维修服务的情况下做什么的信息。在用户想要新的无线电的情况下，用户装置102还可以接收购买新对象110或其他类似对象的选项。
如上所述，远程装置104使用存储在产品图像和信息数据库106中的数据来确定图像数据中指示器112的指示器图案和对应于指示器图案的含义的信息。然而，远程装置104也可以与第三方数据库134(诸如对象110的制造商)进行通信以获得与指示器图案有关的数据和对应于指示器图案的信息。例如，当产品图像和信息数据库106具有与对象110有关的有限数据时，远程装置104可以向第三方134发送对与指示器图案有关的数据和对应于指示器图案的信息的请求。
图3示出了用于实施本公开的实施方案的系统300的另一概况。所述系统包括可以通过网络108彼此通信的用户装置102、远程装置104、一个或多个数据库106和图像捕获装置302。在此实施方案中，图像捕获装置302可以是捕获具有多于一个视觉指示器306(诸如LED)的对象304(在此实施方案中为路由器)的图像数据的独立相机。图像数据可以是单个图像、连续捕获的具有足够长度以捕获由视觉指示器306输出的序列的多个图像、具有足够长度以捕获由视觉指示器306输出的序列的视频等。
在此实施方案中，图像捕获装置302可以通过捕获图像数据或周期性捕获图像数据(诸如每分钟、每10分钟、每30分钟、每小时、每日一次等)连续地监控对象304。当图像捕获装置302连接到连续的电源时，图像捕获装置302可以连续或更频繁地捕获图像数据。然而，当图像捕获装置302没有连接到连续的电源而是具有电池时，可能期望使图像捕获装置302不太频繁地捕获图像数据以节省电力。
如上所述，图像捕获装置302捕获对象304的图像数据。图像捕获装置302然后可以通过网络108将捕获的图像数据直接发送到远程装置104。可选地，图像捕获装置302可以经由带外通信(诸如蓝牙)将捕获的图像数据发送到家中的用户装置102或者其他装置，并且家中的用户装置102或其他装置然后可以通过网络108将捕获的图像数据发送到远程装置104，如框308所示。
一旦图像数据被捕获并发送到远程装置104，方法便以与上文参考图1描述的类似的方式继续。例如，远程装置104接收图像数据，如框118所示，并识别图像数据中表示的对象304，如框120所示。远程装置104识别指示器306的位置，如框122所示。远程装置104确定图像数据中指示器306的指示器图案，如框124所示。远程装置104确定对应于指示器图案的信息，如框126所示，并确定对应于解决方案的信息，如框128所示。然后，远程装置104将包括对应于指示器图案的信息和/或对应于解决方案的信息(如果存在问题)的消息发送到用户装置102，如框130所示。用户装置102接收对应于指示器图案的信息和/或对应于解决方案的信息，如框132所示。用户可以根据需要使用此信息。例如，如图3所示，对象304的指示器图案包括两个照亮的LED。在此示例中，用户装置102可以接收通知用户对象304连接到互联网并且正常运作的信息。
图4是概念性地示出图像捕获装置302的示例性组件的框图。图像捕获装置302。在操作中，图像捕获装置302可以包括驻留在图像捕获装置302上的计算机可读和计算机可执行指令，如下所述。
图像捕获装置302可以包括用于在图像捕获装置302的组件之间传送数据的地址/数据总线402。除了通过总线402连接到其他组件之外(或者代替其)，图像捕获装置302内的每个组件还可以直接连接到其他组件。
图像捕获装置302可以包括一个或多个控制器/处理器404，其可以各自包括用于处理数据和计算机可读指令的中央处理单元(CPU)，以及用于存储数据和指令的存储器406。存储器406可以包括易失性随机存取存储器(RAM)、非易失性只读存储器(ROM)、非易失性磁阻(MRAM)和/或其他类型的存储器。图像捕获装置302可以可选地包括数据存储组件408，用于存储数据和控制器/处理器可执行指令。数据存储组件408可以包括一个或多个非易失性存储器类型，诸如磁存储装置、光存储装置、固态存储装置等。
用于操作图像捕获装置302和其各种组件的计算机指令可以由控制器/处理器404使用存储器406作为运行时的临时“工作”存储装置来执行。计算机指令可以以非临时性方式存储在非易失性存储器406、存储装置408或外部装置中。另选地，除了软件之外或代替软件，一些或全部可执行指令可以嵌入在硬件或固件中。计算机指令可以包括执行本文描述的一种或多种方法(例如结合图3和8-14描述的方法)的指令。
图像捕获装置302包括输入/输出装置接口410。各种组件可以通过输入/输出装置接口410(诸如一个或多个音频捕获装置(诸如麦克风，未示出)、相机412和/或其他这样的组件)连接。输入/输出装置接口410还可以包括用于外部外围装置连接诸如通用串行总线(USB)、FireWire、Thunderbolt或其他连接协议的接口。输入/输出装置接口410还可以包括经由天线414、以太网端口、无线局域网(WLAN)(诸如WiFi)无线电、蓝牙和/或无线网络无线电(诸如能够与诸如长期演进(LTE)网络、WiMAX网络、3G网络等的无线通信网络通信的无线电)与一个或多个网络108的连接。例如，天线414可以连接到网络108和/或用户装置102(例如经由蓝牙)。
图像捕获装置302可以包括上述组件的全部或子集。应该理解，以上参考图4描述的一个或多个组件可以用于执行本文描述的一种或多种方法的步骤。
图5是概念性地示出计算装置500的示例性组件的框图。计算装置500可以是用户装置102和/或远程装置104的示例。在操作中，计算装置500可以包括驻留在计算装置500上的计算机可读指令和计算机可执行指令，如下所述。
计算装置500可以包括用于在计算装置500的组件之间传送数据的地址/数据总线502。除了通过总线502连接到其他组件之外(或者代替其)，计算装置500内的每个组件还可以直接连接到其他组件。
计算装置500可以包括一个或多个控制器/处理器504，其可以各自包括用于处理数据和计算机可读指令的中央处理单元(CPU)以及用于存储数据和指令的存储器506。存储器506可以包括易失性随机存取存储器(RAM)、非易失性只读存储器(ROM)、非易失性磁阻(MRAM)和/或其他类型的存储器。计算装置500还可以包括数据存储组件508，用于存储数据和控制器/处理器可执行指令(例如，用于执行本文中示出和描述的算法和方法的指令)。数据存储组件508可以包括一个或多个非易失性存储器类型，诸如磁存储装置、光存储装置、固态存储装置等。计算装置500还可以通过输入/输出装置接口510连接到可抽换或外部的非易失性存储器和/或存储装置(诸如可抽换存储卡、存储密钥驱动器、联网存储装置等)。
用于操作计算装置500和其各种组件的计算机指令可以由控制器/处理器504使用存储器506作为运行时的临时“工作”存储装置来执行。计算机指令可以以非临时性方式存储在非易失性存储器506、存储装置508或外部装置中。另选地，除了软件之外或代替软件，一些或全部可执行指令可以嵌入在硬件或固件中。
计算装置500包括输入/输出装置接口510。各种组件可以通过输入/输出装置接口510连接，诸如显示器512、一个或多个音频捕获装置(诸如麦克风或麦克风阵列514)、用于产生声音的音频输出装置(诸如扬声器516)、相机518和/或其它这样的组件。输入/输出装置接口510还可以包括用于外部外围装置连接诸如通用串行总线(USB)、FireWire、Thunderbolt或其他连接协议的接口。输入/输出装置接口510还可以包括经由天线520、以太网端口、无线局域网(WLAN)(诸如WiFi)无线电、蓝牙和/或无线网络无线电(诸如能够与诸如长期演进(LTE)网络、WiMAX网络、3G网络等的无线通信网络通信的无线电)与一个或多个网络108的连接。
显示器512可以是任何合适技术的显示器，诸如液晶显示器、有机发光二极管显示器、电子纸、电致变色显示器、阴极射线管显示器、微型投影仪或其他合适的组件。相机518和显示器512可以集成到计算装置500中或者可以是分离的。
计算装置500还包括图像处理模块522和/或音频处理模块524。根据本文所述的方法，图像处理模块522接收捕获的图像数据并使用各种图像匹配技术来识别对象。一种这样的技术可以包括识别图像数据中的对象的特征点；将特征点与存储在数据库中的一个或多个已知对象的已知特征点进行比较；执行几何验证以确认对象是否匹配等。根据本文描述的方法，图像处理模块522还可以识别对象的指示器的位置和指示器图案。根据本文描述的方法，这允许图像处理模块522和/或一个或多个控制器/处理器504基于图案来确定对应于指示器图案的信息和解决方案的信息。
音频处理模块524接收与对象的可听指示器相关的所捕获的音频数据。所捕获的音频可以与用户简档中的对象相关联和/或用户可以向计算装置500通知音频数据所涉及的对象。这允许音频处理模块524和/或一个或多个控制器/处理器504使用音频匹配技术将捕获的音频数据匹配到已知对象的已知指示器图案。音频匹配技术可以包括音频指纹识别，其中每个指示器图案的已知对象的音频指纹存储在例如上述存储装置508和/或数据库106中。可以生成捕获的音频数据的音频指纹，并将其与存储的音频指纹进行比较，以找到所存储的指纹与输入音频之间的匹配。根据本文描述的方法，这允许音频处理模块524和/或一个或多个控制器/处理器504确定对应于指示器图案和基于图案的解决方案的信息，所述信息也可以存储在本文所述的存储装置508和/或(多个)数据库106中。
计算装置500可以包括上述组件的全部或子集。应该理解，参考图1-3和6-14描述的每种方法都可以与一种或多种其他方法组合，并且方法的一个或多个步骤可以并入到其他方法中。此外，上文参考图5描述的一个或多个组件可以用于执行参考图1-3和6-14描述的方法的步骤。
图6示出了根据本公开的实施方案的执行图像匹配的示例性方法600。应该理解，图像和视频可以具有不同的格式，例如，图像可以是JPEG、GIF、BMP、MPEG等。此外，图像和/或视频的质量和分辨率可能因应用程序而异。图像和/或视频不需要完全相同，而是相互转换的版本。因此，在图像匹配中，图像以特定格式表示，使得图像/视频可以彼此匹配。
在框602中，远程装置接收图像数据。远程装置可以对所接收的图像数据执行一些预处理以提高质量(诸如调整曝光、聚焦、照明、裁剪等)，并且可以从图像数据中选择帧或图像以执行图像匹配。然后远程装置可以确定所选帧/图像的内容的特征点、特征向量、关键字或其他表示(诸如纹理，色彩等)，如框604所示。可以基于与所选帧/图像的特征点和/或特征向量有关的数学函数来确定关键字。特征点是图像中的特定点，对图像旋转、比例、视点或照明条件的变化具有鲁棒性。这意味着即使这两个图像以前面所述的方式不同，这些特征点通常也会出现在这两个图像中。这些特征点也可以称为“兴趣点”。因此，图像匹配的第一阶段可以包括在所选的帧/图像中找到这些特征点。
在框606中，远程装置确定存储的潜在匹配图像。远程装置可以使用所选帧/图像(例如，关键字)的一个或多个表示来确定一个或多个推定的匹配存储图像。对应于对象的对象识别符(其可以是唯一的字母数字代码)可以与表示对象的所存储的图像相关联。所存储的图像可以每个图像仅包括一个对象(其帮助图像映射)，或者在某些情况下可以一个图像中包括多个对象。在该情况下，特定的存储图像可以与多个对象识别符相关联。远程装置可以识别所选帧/图像的视觉特征(诸如在关键字中指示的那些特征)，并且基于视觉特征遍历图像/对象树以识别一个或多个潜在匹配的存储图像。所选帧/图像与存储图像之间的比较可以生成一个或多个分数，包括匹配分数、置信度分数等。基于分数值，远程装置可以选择可能匹配的存储图像。例如，如果存储图像与所选帧/图像的比较生成高于特定阈值的分数，则可以将所存储的图像选择为潜在的匹配图像。
远程装置然后可以执行图像匹配，如框608所示。图像匹配可以包括比较所选帧/图像和所存储的图像之间的特征点。当足够数量的特征点在视觉上和几何上均匹配时，可以确定该对是匹配的。彼此靠近的特征向量在视觉上类似，并且对应的特征点称为“对应关系”。对应关系可以通过找到所选帧/图像的特征向量与所存储的图像的特征向量之间的点积来确定。当其特征向量的点积的量值大于预定义值时，该对特征点是对应的。然后可以通过统计算法处理对应关系以测试几何一致性。可以用于图像的几何匹配的一种统计算法是随机抽样一致性(RANSAC)算法，但是也可以使用RANSAC样算法或其他统计算法的其他变型。在RANSAC中，小的对应关系集是随机抽样的。之后，使用这些抽样的特征点来生成几何变换。在生成变换之后，确定适合模型的对应关系。这些对应关系适合模型并且在几何上是一致的，并称为“内点”。内点是特征点对，每个图像一对，可以彼此对应，其中该对在特征点的视觉(和其他)内容的某个比较阈值内适合模型，并且在几何上是一致的(如下面关于运动估计所解释)。可以确定内点的总数。可以重复上述步骤，直到重复/试验次数大于预定义阈值，或者图像的内点数量足够高以确定图像为匹配(例如内点数量超过阈值)。RANSAC算法返回最高内点数量与模型对应的模型。远程装置还可以执行单应变换或其他几何验证，以检查所选帧/图像与潜在匹配存储图像之间的几何形状。如果特征向量、其他特征/表示以及单应变换的比较得到足够高的分数(诸如比较分数、置信度分数等)，则可确定潜在匹配的存储图像为匹配。
当确定匹配图像时，系统可以识别匹配图像中表示的对象，如框610所示。此识别可以基于与匹配图像相关联的对象识别符来进行。为了确认匹配，远程装置还可以再次执行与其中表示对象的潜在匹配的第二存储图像(例如，从与候选图像不同的角度表示的对象)的图像比较。
一旦识别捕获的图像数据中的对象，便可以分析指示器图案或序列。图7示出了根据本公开的实施方案的确定和解译指示器图案或序列的示例性方法700。在框702中，远程装置可以接收图像数据。如上所述，识别图像数据中的对象。然后远程装置识别图像数据或图像数据的所选帧/图像中视觉指示器的位置，如框704所示。数据库中的存储对象或图像可以包括关于存储图像中的已知对象的已知指示器位于何处的位置或坐标信息。使用此信息，远程装置可以识别所选帧/图像中的对象的对应位置或坐标。
然后远程装置可以确定每个帧/图像的图像数据中指示器的位置处的像素值的平均色彩和/或光度光，如框706所示。在示例中，远程装置可以用界定区域(诸如框、矩形、圆或其他几何形状)界定指示器的位置。然后远程装置可以确定与像素值的色彩和/或光度相关联的数据集。这可以包括对界定区域应用离散余弦变换(DCT)，并为每个帧/图像确定图像数据的光度/色度(YUV)色彩空间的光度分量的DC系数。换句话说，确定每个帧/图像的图像数据的此界定区域中的所有像素值的平均光度。因此，获得DC(1),DC(2),…,DC(t)整数值的时间序列。然后如下执行这个时间序列的标准化：
其中θ是经验性定义的阈值参数。可以修改或偏置所述θ参数以更精确地估计二进制序列(例如，在一些环境中可以偏向正常照度级)。二进制序列然后可以经历变换。在一个示例中，计数二进制序列中的每个“1”和“0”的数量。例如：(1,1,1,0,0,0,0,1,1,0,0,…)→(3,4,2,…)。
远程装置然后可以生成对应于指示器图案的矢量，如框708所示。例如，可能生成整数自然数的有限向量Vtest。这个向量的长度由对象的指示器的基本序列或图案定义(给定对象的所有信号具有有限的持续时间)。每个有效信号的整数参考向量集Vref i也可以生成并结合对象识别符存储。然后可以使用这些矢量来确定图像数据中的指示器图案/序列。
但是，在一些情况下，外部照亮可能影响图像数据的光度。为了减少由诸如频闪等外部照亮改变所引起的错误检测，远程装置然后可以确定靠近每个帧/图像的图像数据中指示器的位置的第二界定区域中的像素值的平均色彩和/或光度，如框710所示。对于此第二界定区域，远程装置可以对包括指示器的界定区域执行与上述相同的分析，并产生第二数据集(诸如整数自然数的第二向量Vtest)，如框712所示。然后可以修改或抵消Vtest指示器的和Vtest第二界定区域的，如框714所示。例如，当Vtest指示器的类似于或接近Vtest第二界定区域的时，可以确定信号由外力产生并且Vtest指示器的可能由Vtest第二界定地区的抵消或者Vtest可能丢弃指示器的。
一旦确定图像数据中的指示器的数据集(诸如Vtest)，Vtest指示器的便可以与对应于对象的存储数据集(诸如存储向量)进行比较以确定匹配，如框716所示。例如，可以实施以下规则(其中α1和α2是另外的调整参数)：
对应于
如果
n＝m
当找到匹配时，远程装置确定图像数据中的指示器图案/序列对应于匹配图案/序列，如框718所示。一些指示器序列是使用彩色信号来定义，例如，序列可以包括3次红色闪光和7次黄色闪光。在这种情况下，可以对每种色彩执行上述相同的分析，并相应地检测序列。在另一示例中，可以修改上述分析以支持图像捕获装置的可变帧率。在这种情况下，指示器的向量的分量Vtest对应于帧率序列。
在另一示例中，具有指示器的对象可以以通用文本格式(例如，美国信息交换标准代码(ASCII))输出文本数据，并且指示器输出波特率(LR)低于图像捕获装置的帧率(FR)(例如每第二个(FPS)图像捕获有16个击穿二极管(BOD)闪光图案和25个帧)。因此，图像捕获装置捕获指示器序列的向量而不丢失位。捕获产生冗余。如果FR不能被LR整除，则冗余位不一致。指示器可以产生可重复的简明同步序列。鉴于一秒对齐的波特率，一秒是确定同步图案所需的最短时间。指示器可以产生交替1和0的序列持续至少1秒(例如在16BOD，装置发送2个十六进制55的八位字节)。如果完整一秒捕获成功，则图像捕获装置接收FR减LR冗余命中。这个序列是可重复的，并取决于抵消量。图像捕获装置可以识别与前一位相同的所有位(例如，FR＝25，LR＝16；2,5,8,11,13,16,19,22,24(0-24计数))。然后，图像捕获装置在对后续数据进行实时捕获或捕获后分析期间跳过每个FR长序列位中的这些位。
为了输出封装的文本并具有分离消息的能力，图像捕获装置可以使用高级数据链路控制(HDLC)成帧。指示器/对象可以在同步前导码之后开始输出HDLC成帧数据，例如如下所示：
如上所述，在其他实施方案中，系统和方法包括图像捕获装置(诸如相机)和/或音频捕获装置(诸如麦克风)，其配置成捕获指示器的图像和/或音频数据，并且将数据发送到远程装置用于处理。图像和/或音频捕获装置可以与装置ID相关联，并且将装置ID连同数据一起发送到远程装置。在这个方面，装置ID可以与一个或多个对象相关联。所述对象可以是在图像数据中捕获的对象和/或发出音频指示器的对象。因此，远程装置可以使用装置ID来识别对象，并且然后解译指示器。
图8示出了用于实施本公开的实施方案的系统800的另一概况。所述系统包括通过网络108彼此通信的图像捕获302、远程装置104以及可以一个或多个数据库106。在此实施方案中，图像捕获装置302可以是捕获具有一个或多个视觉指示器804(诸如LED)的对象802(在此实施方案中为洗衣机)的图像数据的独立相机。图像数据可以是单个图像、连续捕获的具有足够长度以捕获由视觉指示器804输出的序列的多个图像、具有足够长度以捕获由视觉指示器804输出的序列的视频等。
在此实施方案中，图像捕获装置302可通过捕获图像数据或周期性地捕获图像数据(诸如每分钟、每10分钟、每30分钟、每小时、每日一次等)而连续地监控对象802。当图像捕获装置302连接到连续的电源时，图像捕获装置302可以连续或更频繁地捕获图像数据。然而，当图像捕获装置302没有连接到连续的电源而是具有电池时，可能期望使图像捕获装置302不太频繁地捕获图像数据以节省电力。
如上所述，图像捕获装置302捕获对象802的图像数据。图像捕获装置302然后可以通过网络108将捕获的图像数据连同装置识别符(ID)一起直接发送到远程装置104，如框806所示。另选地，图像捕获装置302可以经由带外通信(诸如蓝牙)将所捕获的图像数据连同装置ID一起发送到用户装置102或家中的其他装置，并且用户装置102或家中的其他装置然后可以通过网络108将所捕获的图像数据发送到远程装置104。
装置ID可以是将图像捕获装置302连接到特定对象、一个或多个消费型产品、用户ID或其他类型的用户简档(包括用户姓名、邮寄地址、计费/支付信息、偏好、订单历史以及订购和完成产品的订购/购买等的其他信息)等的识别符。此信息可以存储在用户简档/信息数据库106中。用户可以访问此信息，并且可以编辑、修改、更改或以其他方式设置用户偏好。这允许用户控制当在一种或多种情况下检测到对象802上的指示器图案/序列时发生的情况。例如，在此示例中，装置ID与对象802的特定模型洗衣机、用户简档以及特定品牌的衣物洗涤剂相关联。
一旦图像数据被捕获并发送到远程装置104，远程装置104便接收图像数据和装置ID，如框808所示。远程装置访问数据库106并识别对应于装置ID的所有信息。例如，远程装置104识别对应于装置ID的对象802，如框810所示。远程装置104还可以识别对应于装置ID的用户以及其他设置和偏好。
远程装置104然后确定图像数据中(多个)指示器804的指示器图案，如框812所示。此确定可以如上所述执行。远程装置然后执行对应于指示器图案的动作，如框814所示。例如，对象802的一个存储的指示器图案可以对应于订购消费品(诸如根据用户简档中的用户偏好的某种洗衣产品)并将产品运送到用户的地址的动作。远程装置104可以设置为自动订购和运送产品，或者可以经由用户装置(诸如用户装置102)将消息发送给用户以确认订单或者识别已经下单，如框816所示。例如，消息可以包括任何数量的消息，诸如通知用户他/她产品没有了或者产品很少了；通知用户对象802产品没有了或者产品很少了；发送运送通知、产品购买的收据等。可以以任何格式提供消息，包括使用蜂窝电话、谷歌护目镜等的增强现实格式。
远程装置104可以利用用户简档(包括过去的购买历史、用户偏好等)和其他数据(包括产品的顾客评级等)来确定最佳产品(诸如对应于产品识别符(即，基于哪些产品当前有库存、与对象802兼容等来订购的亚马逊标准识别码(ASIN)的产品)。作为订购产品的过程的一部分或者在订购产品之前，远程装置104可以检查用户简档中用户的购买历史以确定最近是否订购过产品。在一些实施方案中，如果产品最近未被订购，则远程装置104可以重新订购产品和/或用产品的“一键”重新订购按钮(例如，在用户装置上经由电子邮件、短信等)提示用户。
在另一示例中，当指示器804的指示器图案对应于对象802损坏或出现故障时，远程装置104可以检查用户简档中用户的日历以确定是否已经安排维修服务来帮助用户修复问题。当尚未安排维修服务时，远程装置104可以为用户识别维修服务，并且在与用户简档相关联的日历上为用户安排预约和/或向用户提供关于维修服务的建议。在此示例中，框816中提到的消息可以包括指示对象802正在遭遇可由ABC维修服务修复的问题、对象802正在遭遇问题并且将已经安排了与ABC维修服务的预约添加到您的日历等的通知。
应该理解，指示器图案/序列可以与上文描述的类似，其中可以识别关于对象的功能的某些信息并将其发送到用户装置。另外，在检测到某个指示器图案/序列时，可以预编程任何数量的待起始的动作。这些动作也可以由用户经由用户简档或用户的账户进行修改等。
在一些情况下，单个图像捕获装置302可以结合多于一个对象使用。在这些情况下，图像处理可以包括识别多于一个对象(如上所述)。另选地，图像捕获装置302可以与装置ID相关联，并且装置ID可以与图像捕获装置302捕获的每个对象的位置和对象识别符相关联。
图9示出了用于实施本公开的实施方案的系统900的另一概况。所述系统包括可以通过网络108彼此通信的图像捕获302、用户装置102、远程装置104以及一个或多个数据库106。在此实施方案中，图像捕获装置302可以是捕获具有一个或多个视觉指示器804(诸如LED)的对象802(在此实施方案中为洗衣机)和具有一个或多个视觉指示器904(诸如LED)的对象902(在此实施方案中为咖啡机)的图像数据的独立相机。
如上所述，图像捕获装置302捕获对象802和902的图像数据。图像捕获装置302然后可以通过网络108将捕获的图像数据连同装置识别符(ID)一起直接发送到远程装置104，如框806所示。另选地，图像捕获装置302可以经由带外通信(诸如蓝牙)将所捕获的图像数据连同装置ID一起发送到用户装置102或家中的其他装置，并且用户装置102或家中的其他装置然后可以通过网络108将所捕获的图像数据发送到远程装置104。
一旦图像数据被捕获并发送到远程装置104，远程装置104便接收图像数据和装置ID，如框808所示。可以通知或询问与装置ID相关联的用户装置102来输入对应于对象802和902的输入数据及其在所捕获的图像数据中的相应位置。远程装置104接收输入数据，如框906所示。远程装置104然后可以更新(多个)数据库106以使装置ID与对象802和902及其位置相关联。这允许分析后续的捕获图像数据并允许快速有效地确定指示器图案。
如上所述，远程装置104可以执行对应于指示器图案的一个或多个动作，如框814所示。例如，对象802的一个存储的指示器图案可以对应于订购消费品(诸如根据用户简档中的用户偏好的某种洗衣产品)并将产品运送到用户的地址的动作。对象902的另一个存储的指示器图案可以对应于订购消费品(诸如根据用户简档中的用户偏好的某种咖啡)并将产品运送到用户的地址的动作。远程装置104可以设置为自动地订购和运送产品，或者可以经由用户装置(诸如用户装置102)将消息发送给用户以确认订单或者与一些其他通知等有关的消息等，如框816所示。
图10示出了根据本公开的实施方案的使装置ID与用户ID和对象相关联的方法1000。在框1002中，远程装置使装置ID(诸如对应于装置102、302等的ID)相关联。此关联可以存储在用户简档中，所述用户简档存储在一个或多个数据库(诸如数据库106)中。远程装置还可以使对象(或对象识别符)与装置ID和/或用户ID相关联，如框1004所示。此关联还可以存储在用户简档中，所述用户简档存储在一个或多个数据库(诸如数据库106)中。对象识别符可以由远程装置根据本文描述的图像匹配技术来确定。另选地，用户可以输入或选择对象的模型，并且远程装置可以基于模型来确定对象识别符，例如通过在产品图像和(多个)信息数据库106中的查找表(LUT)中查找模型。类似地，可以基于用户的购买历史和/或用户简档、来自用户的输入、预配置等来确定关联。
远程装置还可以使图像中的一个或多个对象的位置与对象识别符、装置ID和/或用户ID相关联，如框1006所示。此关联还可以存储在用户简档中，所述用户简档存储在一个或多个数据库(诸如数据库106)中。所述位置可以由远程装置根据本文描述的图像匹配技术来确定。另选地，用户可以输入对象的位置。
远程装置还可以使动作与对应于每个对象的某些指示器序列/图案的每个对象识别符相关联，每个序列/图案具有相应的对象识别符、装置ID和/或用户ID，如框1008所示。此关联还可以存储在用户简档中，所述用户简档存储在一个或多个数据库(诸如数据库106)中。所述动作可以由用户选择，或者可以是默认动作。这些动作可以包括与所述对象有关的任何数量的动作。例如，所述动作可以涉及订购消费品，通知用户故障，通知用户指示器图案/序列的含义，提供潜在的替换产品，提供维修和/或客户服务信息，提供关于如何处理问题的指令，安排维修服务预约等。
然后远程装置可以响应于检测到某个指示器图案/序列来执行这样的动作。例如，远程装置可以接收图像数据和装置ID，如框1010所示。远程装置访问数据库(诸如数据库106)并且识别对应于装置ID的一个或多个对象，如框1012所示。然后远程装置确定图像数据中每个对象的每个指示器的指示器图案，如框1014所示。然后远程装置可以将指示器图案匹配到已知图案并且确定与每个检测到的指示器图案相关联的动作，如框1016所示。然后远程装置可以执行对应于指示器图案的动作，如框1018所示。
在其他实施方案中，代替上述视觉指示器或除了上述视觉指示器之外，指示器可以是可听指示器。在这个方面，远程装置可以采用音频匹配技术来将音频指示器图案/序列匹配到存储的音频图案/序，并且如上所述执行动作或向用户装置提供信息。图11示出了用于关于音频指示器实施本公开的实施方案的系统1100的概况。所述系统包括可以通过网络108彼此通信的音频捕获装置1102(诸如麦克风)、用户装置102、远程装置104以及一个或多个数据库106。在此实施方案中，音频捕获装置1102可以是捕获具有一个或多个音频指示器1106(诸如扬声器)的对象1104(在此实施方案中为咖啡机)的音频数据的独立装置。
音频捕获装置1102捕获对象1104的音频数据。音频捕获装置1102然后可以通过网络108将所捕获的音频数据连同装置识别符(ID)一起直接发送到远程装置104，如框1108所示。另选地，音频捕获装置1102可以经由带外通信(诸如蓝牙)将所捕获的音频数据连同装置ID一起发送到用户装置102或家中的其他装置，并且用户装置102或家中的其他装置然后可以通过网络108将所捕获的音频数据发送到远程装置104。
一旦音频数据被捕获并发送到远程装置104，远程装置104便接收音频数据和装置ID，如框1110所示。远程装置然后使用装置ID来查找数据库(诸如数据库106)中的查找表(LUT)中的对应对象，如框1112所示。如上所述，装置ID、用户ID、对象识别符、用户简档等可以全部彼此链接。另外，一个或多个指示器序列/图案可以链接到对象识别符，并且一个或多个动作可以链接到每个指示器序列/图案，如上所述。
远程装置104可以基于音频数据确定指示器的图案/序列，如框1114所示。图案/序列可以使用音频指纹技术来确定。例如，可以基于音频的频率、强度、时间和其他参数来生成包括已知指示器图案/序列的已知音频的数字摘要。此数字摘要然后可以与装置ID、用户ID、对象识别符、用户简档等相关联地存储在例如数据库106中。远程装置可以生成诸如接收到的音频数据中的音频的数字摘要(或音频指纹)并且将接收到的音频数据的音频指纹与存储的音频指纹进行比较，以确定指示器图案/序列。
远程装置104然后可以执行对应于检测到的指示器图案的一个或多个动作，如框1116所示。例如，对象1104的一个存储的指示器图案可以对应于订购消费品(诸如根据用户简档中的用户偏好的某种咖啡)并将产品运送到用户的地址的动作。远程装置104可以设置为自动地订购和运送产品，或者可以经由用户装置(诸如用户装置102)将消息发送给向用户以确认订单或者与一些其他通知有关的消息等，如框1118所示。
如上所述，系统和方法可以包括识别对象；确定与对象相关联的指示器的含义；以及基于指示器的含义发送消息/执行动作。为了执行本文描述的方法，可以使用各种数据和数据结构。与对象ID有关的数据类型流结构1200的示例示于图12中。在此示例中，远程装置可以识别对象并确定对应于对象的对象ID 1202。对象ID 1202可以与对象的类型、品牌、制造商、型号、年份等相关联。对象ID 1202可以与用户简档1204(即对象的所有者的简档)和装置ID 1206(即，对应于图像捕获装置的ID)相关联。如上所述，对象可以包括指示器或与指示器相关联。在这个方面，对象ID 1210还可以与一个或多个指示器序列1208-1212(其可以用于确定对象的所接收图像或音频数据中表示的指示器的序列)相关联。
如图所示，序列1 1208与序列1 1214的含义相关联。例如，序列1 1208可以涉及被照亮的指示器，并且此序列的含义可以涉及订购可补充的产品。产品类型1216还可以与对象ID和/或序列1 1214的含义相关联。例如，当对象ID 1202对应于型号为XYZ的品牌X咖啡机时，产品类型可以涉及与咖啡机兼容的杯子类别。此产品类型1216还可以与各种可用的产品相关联，并且可以购买所述产品并将其运送给用户，诸如产品1 1218和产品2 1220。由于对象ID 1202与用户简档1204相关联，所以系统和方法还可以参考用户简档1204以确定用户想要购买哪个产品，并自动购买正确的产品并将产品运送给用户。
序列2 1210与序列2 1222的含义相关联。例如，序列2 1210可以涉及指示器持续闪烁，并且此序列的含义可以涉及与正需要维修的对象ID 1202相关联的对象。维修服务1224的类型也可以与对象ID和/或序列2 1222的含义相关联。例如，维修服务1224可以涉及型号为XYZ的品牌X咖啡机的维修服务的类别。这种类型的维修服务1224还可以与可以联系以维修型号为XYZ的品牌X咖啡机的各种维修服务(诸如维修服务1 1226和维修服务21228)相关联。由于对象ID 1202与用户简档1204相关联，所以系统和方法还可以参考用户简档1204以确定对象的位置(即，以用户的家庭地址)并且为用户确定适当的维修服务。
类似地，序列3 1212与序列3 1230的含义相关联。例如，序列3 1212可以涉及指示器闪烁两次，并且此序列的含义可以涉及对象的电池电量低。电池类型1232也可以与对象ID和/或序列3 1230的含义相关联。例如，当对象ID 1202对应于型号为XYZ的品牌X烟雾检测器时，电池类型可以涉及与烟雾检测器兼容的9伏类型电池的类别(诸如劲量电池、金霸王电池等)。这种电池类型1232还可以与各种可用的产品相关联，并且可以购买所述产品并将其运送给用户，诸如电池1 1234和电池2 1236。由于对象ID 1202与用户简档1204相关联，所以系统和方法还可以参考用户简档1204以确定用户想要购买哪种替换电池，并自动购买正确的替换电池并将替换电池运送给用户。
图13中示出了与用户简档有关的数据类型流结构1300的示例。在此示例中，用户简档1204可以包括一个或多个装置ID 1302(诸如装置ID 1 1304(例如，对应于用户家中的相机)和装置ID 2 1306(例如，对应于用户的智能手机))和/或与其相关联。这些装置ID中的任何一个都可以是装置ID 1206。用户简档1204还可以包括一个或多个对象ID 1308(诸如对象ID 1 1310(例如，对应于特定品牌和型号的咖啡机)和对象ID 2 1312(例如，对应于特定品牌和型号的洗衣机))和/或与其相关联。这些对象ID中的任何一个都可以是对象ID1202，并且与序列、序列的含义、产品、维修服务等相关联。
用户简档1204还可以包括偏好1314(诸如对应于特定类型的产品(诸如品牌X、榛果、咖啡K杯)的产品1 1316)以及对应于特定类型的电池(诸如品牌Y，9伏电池)的电池11318或与其相关联。这些偏好可以用于确定自动为用户订购哪种产品。例如，参考图12和13，对象ID 1202可以对应于型号为XYZ的品牌X咖啡机。当确定具有与订购可补充产品有关的含义1214的序列1 1208发生时，系统和方法可以参考用户简档1204并确定应该订购对应于品牌X、榛果、咖啡K杯的产品1 1316并以用户的邮寄地址将其运送给用户。
在订购对应于品牌X、榛果、咖啡K杯的产品1 1316之前，系统和方法可以检查用户的购买历史1320，用户的购买历史也可以包括在用户简档1204中和/或与用户简档1204相关联。例如，系统和方法可以检查以确定产品1 1316最近是否被订购过，并且如果未订购过，则订购产品1 1316并且将产品1 1316运送到用户的地址和/或用产品1 1316的“一键”订购按钮发送带有提示的消息给用户(例如，经由诸如装置ID 2 1306的装置、经由电子邮件等)。
购买历史1320还可以包括对象ID 1 1310或与其相关联。此信息意味着用户先前购买了与对象1ID 1310相关联的对象。此信息可以用于帮助识别图像数据或音频数据中表示的对象。例如，如果图像数据中表示的对象涉及咖啡机，但是不清楚咖啡机涉及哪个品牌和型号，则用户购买与对象1ID 1310相关联的品牌和型号的咖啡机的事实可以用于识别对象。因此，可以确定图像数据中表示的对象对应于对象1ID 1310的先前购买的对象。
类似地，购买历史1320可以包括装置ID 1 1304、产品2 1322、过去使用的维修服务(诸如图12中示出的维修服务2 1228)等或与其相关联。所有此信息可以用于帮助识别对象和选择产品、维修服务等。
用户简档1204可以包括支付和运送信息1324或与其相关联以允许自动购买产品并将那些产品运送到用户的地址。用户简档1204还可以包括用户1326的日历或与其相关联。日历1326可以用于维修服务的安排、产品的运送等中。例如，参考图12和13，对象ID1202可以对应于型号为XYZ的品牌X咖啡机。当确定具有与需要维修的对象有关的含义1222的序列2 1210发生时，系统和方法可以参考用户简档1204并且日历1326确定是否已经安排维修服务来修复问题。当尚未安排维修服务时，可以为用户选择本地维修服务(诸如维修服务2 1228)。所述系统和方法还可以在日历1326上安排预约和/或向用户提供关于维修服务的建议(即，您的咖啡机需要维修，其可以由公司Y维修服务来修复)。
当偏好1314和1320不提供足够的信息来允许为用户选择关于哪个产品、维修服务等的决定时，系统和方法可以利用顾客评级和其他这样的数据来为用户选择适当的产品、维修服务等。
装置ID还可以与某些信息相关联，这可以帮助识别对象和选择产品、维修服务等。图14中示出了与装置ID有关的数据类型流结构1400的示例。在此示例中，装置ID 1 1304可以与对象ID相关联，诸如对象ID 1 1310和对象ID 3 1404。对象ID与装置ID的关联可以用于识别在与装置ID相关联的装置的视野内的对象。例如，装置ID 1 1304可以对应于位于用户的厨房中的相机，并且对象ID 1 1310可以对应于位于相机的视野的右侧的咖啡机，并且对象ID 3 1404可以对应于位于相机视场左侧的冰箱。此信息可以与装置ID 1 1304以及对象ID 1 1310和对象ID 3 1404相关联地存储。这允许系统和方法快速识别从相机接收的图像数据中表示的对象。例如，当连同装置ID一起从相机接收到图像数据时，系统和方法可以参考与装置ID相关联的信息，并且从而理解左侧的对象是与对象ID 3 1404相关联的对象，而右侧的对象是与对象ID 1 1310相关联的对象。
类似地，装置ID 3 1402(对应于用户家中的第二相机)可以与对象ID(诸如对象ID2 1312(对应于洗衣机))相关联。每个装置ID还可以与彼此以及用户简档1204相关联。
用户简档1204还可以是用户可访问的，以允许用户输入、修改、删除偏好、支付信息、地址等等。用户还可以使用用户简档1204来确认对应装置的视野中的所识别对象通过在线访问用户简档1204而正确识别。
应该理解，图12-14所示的数据流结构仅仅是示例性的，并且各种数据片可以以任何适用的方式彼此相关联并进行组织。
还应该理解，代替以类似的方式描述的视觉指示器或除了其之外，可以使用音频指示器。因此，本文描述的任何方法可以与本文描述的一种或多种其他方法组合，步骤可以互换等。
本文公开的概念可以应用在多个不同的装置和计算机系统内，包括例如通用计算系统、多媒体机顶盒、电视机、立体音响、无线电、服务器-客户端计算系统、主机计算系统、电话计算系统、膝上型计算机、蜂窝电话、个人数字助理(PDA)、平板计算机、可佩戴计算装置(手表、眼镜等)、其他移动装置等。通过网络108，可以跨网络环境分布一个或多个组件。例如，可以在系统中采用多个计算装置(诸如用户装置102、图像/捕获装置302、远程装置104等)。在这样的多装置系统中，每个装置可以包括用于执行本文描述的过程的不同方面的不同组件。多个装置可以包括重叠的组件。
如图15所示，多个装置(102、104、110、302、306、802、902、1102、1110和1502-1506等)可以包含系统的组件，并且装置可以通过网络108连接。网络108可以包括本地或专用网络，或者可以包括诸如互联网的广域网。装置可以通过有线或无线连接而连接到网络108。例如，智能手机1502、膝上型计算机1504、台式计算机1506以及用户装置102、图像捕获装置302、对象110、802、902和远程装置104可以通过无线服务商、通过WiFi或蜂窝网络连接等或有限连接连接到网络108。这些联网装置可以包括嵌入式音频输入装置，诸如内部麦克风和扬声器，并且一个或多个装置可以包括音频处理模块。
本文公开的概念可以应用在多个不同的装置和计算机系统内，包括例如通用计算系统、电视机、立体音响、无线电、服务器-客户端计算系统、主机计算系统、电话计算系统、膝上型计算机、手机、个人数字助理(PDA)、平板计算机、可佩戴计算装置(手表、眼镜等)、其他移动装置等。
所公开的系统和方法的各个方面可以应用于工业环境中。例如，图像捕获装置可以是永久安装的相机(诸如安全相机)，并且指示器可以属于工厂或其他工业设备。
此外，视觉指示器可以是许多不同类型的组件，诸如LED、灯、改变色彩的基于化学品的指示器(诸如集成电路的指示器)、易碎指示器或任何其他类型的可视觉感知的指示。
所公开的系统的多个方面可以实施为计算机方法或诸如存储器装置或非暂时性计算机可读存储介质之类的制品。计算机可读存储介质可以是计算机可读的并且可以包括用于促使计算机或其他装置执行本公开中描述的程序的指令。计算机可读存储介质可以由易失性计算机存储器、非易失性计算机存储器、硬盘驱动器、固态存储器、闪存驱动器、可抽换磁盘和/或其他介质来实施。另外，用户装置102、图像捕获装置302或远程装置104的一个或多个组件可以实施固件或硬件中的状态机。例如，至少处理模块可以实施为专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或其某种组合。
前述内容也可以根据以下条款来理解。
1.一种用于检测和解译视觉指示器的计算机实施的方法，其包括：
从与用户简档相关联的用户装置接收表示电器的发光二极管(LED)的图像数据；
使用所述图像数据识别所述电器的类型；
确定对应于所述LED相对于所述电器的参考位置的存储的像素坐标和所述LED的存储的照明序列；
基于所述参考数据来识别图像帧中的像素坐标，所述像素坐标对应于所述图像数据中所述LED的位置；
确定所述图像数据的第一图像中的第一像素值的第一光度值和第一色彩值，其中所述第一像素值对应于所述第一图像中所述LED的所述位置，并且所述第一图像对应于第一时间；
确定所述图像数据的第二图像中的第二像素值的第二光度值和第二色彩值，其中所述第二像素值对应于所述第二图像中所述LED的所述位置，并且所述第二图像对应于所述第一时间之后的第二时间；
确定所述第一光度值、所述第一色彩值、所述第二光度值和所述第二色彩值对应于所述LED的所述存储的照明序列；
识别与所述存储的照明序列相关联的信息，所述信息与所述电器有关；以及
将所述信息发送到所述用户装置。
2.根据条款1所述的计算机实施的方法，其中：
识别所述电器的类型包括确定所述电器对应于与所述用户简档相关联的先前购买的电器；并且
识别与所述存储的照明序列相关联的所述信息包括：确定将订购与所述电器有关的产品；
所述方法还包括：
确定与所述用户简档相关联的优选产品，
确定与所述用户简档相关联的邮寄地址，以及
自动订购所述优选产品以运送到所述邮寄地址；以及
其中将所述信息发送到所述用户装置包括发送购买所述优选产品的收据。
3.根据条款1所述的计算机实施的方法，其还包括：
使所述存储的像素坐标与所述电器的类型相关联；
使所述存储的照明序列与所述电器的类型相关联；
使与所述存储的照明序列相关联的所述信息与所述电器的类型相关联；以及
使兼容产品与所述电器的类型相关联。
4.一种计算机实施的方法，其包括：
接收与用户简档相关联表示具有照亮的视觉指示器的对象的图像数据；
识别所述图像数据中表示的所述对象；
确定所述照亮的视觉指示器的含义；
识别对应于所述含义的信息；以及
将消息发送到与所述用户简档相关联的装置。
5.根据条款4所述的计算机实施的方法，其中确定所述含义包括基于参考数据识别对应于所述图像数据中所述视觉指示器的位置的像素坐标，其中所述参考数据包括对应于所述视觉指示器相对于所述识别对象的参考位置的存储的像素坐标。
6.根据条款5所述的计算机实施的方法，其中确定所述含义包括：
界定对应于所述视觉指示器的所述位置的区域；以及
确定所述界定区域内的图像数据的一个或多个像素值的光度值。
7.根据条款6所述的计算机实施的方法，其中确定所述光度值包括：
对所述界定区域应用离散余弦变换；以及
根据所述图像数据的亮度和色度YUV色彩空间的亮度分量来确定系数。
8.根据条款6所述的计算机实施的方法，其中确定所述含义包括：
确定所述图像数据的第一图像中的第一像素值的第一光度值，其中所述第一像素值对应于所述第一图像中所述视觉指示器的所述位置，并且所述第一图像对应于第一时间；
确定所述图像数据的第二图像中的第二像素值的第二光度值，其中所述第二像素值对应于所述第二图像中所述视觉指示器的所述位置，并且所述第二图像对应于第二时间；以及
基于所述第一和第二光度值生成第一数据集。
9.根据条款8所述的计算机实施的方法，其中确定所述含义包括：
界定对应于靠近所述视觉指示器的所述位置的第二位置的第二区域；
确定对应于所述第二位置的所述图像数据的所述第一图像中的第三像素值的第三光度值；
确定对应于所述第二位置的所述图像数据的所述第二图像中的第四像素值的第四光度值；
生成对应于所述第三和第四光度值的第二数据集；以及
确定所述第一和第二光度值由所述视觉指示器引起，而不是基于基本上不匹配所述第二数据集的所述第一数据集的外部效应。
10.根据条款8所述的计算机实施的方法，其中确定所述含义包括使所述第一数据集匹配于与所述识别对象相关联的存储的数据集。
11.根据条款4所述的计算机实施的方法，其中将所述消息发送到与所述用户简档相关联的所述装置包括发送所述照明序列的所述含义、对应于如何修复所述对象的指令、所述对象的潜在替换部件、购买潜在替换对象的选项、维修服务的联系信息或购买与所述对象相关联的消费型物品的选项中的至少一个。
12.根据条款4所述的计算机实施的方法，其还包括：
接收对应于所述对象的音频数据，所述音频数据包括与所述对象相关联的音频指示器；
将音频指纹与对应于与所述对象相关联的存储的音频序列的存储的音频指纹进行比较；
基于所述音频指纹匹配存储的音频指纹来确定所述音频指示器的音频序列；以及
其中识别对应于所述照明序列的信息包括识别对应于所述音频序列的信息。
13.一种装置，其包括：
至少一个处理器；以及
存储器装置，其包括可操作以由所述至少一个处理器执行以执行动作集的指令，将所述至少一个处理器配置成：
接收与用户简档相关联表示具有照亮的视觉指示器的对象的图像数据；
识别所述图像数据中表示的对象；
确定所述照亮的视觉指示器的含义；
识别对应于所述含义的信息；以及
将消息发送到与所述用户简档相关联的装置。
14.根据条款13所述的装置，其中所述至少一个处理器还配置成通过基于参考数据识别对应于所述图像数据中所述视觉指示器的位置的像素坐标来确定所述含义，其中所述参考数据包括对应于所述视觉指示器相对于所述识别对象的参考位置的存储的像素坐标。
15.根据条款14所述的装置，其中所述至少一个处理器还配置成通过以下步骤来确定所述含义：
界定对应于所述视觉指示器的所述位置的区域；以及
确定所述界定区域内的所述图像数据的一个或多个像素值的光度值。
16.根据条款15所述的装置，其中所述至少一个处理器还配置成通过以下步骤来确定所述含义：
对所述界定区域应用离散余弦变换；以及
根据所述图像数据的亮度和色度YUV色彩空间的亮度分量来确定系数。
17.根据条款15所述的装置，其中所述至少一个处理器还配置成通过以下步骤来确定所述含义：
确定所述图像数据的第一图像中的第一像素值的第一光度值，其中所述第一像素值对应于所述第一图像中的所述视觉指示器的所述位置，并且所述第一图像对应于第一时间；
确定所述图像数据的第二图像中的第二像素值的第二光度值，其中所述第二像素值对应于所述第二图像中的所述视觉指示器的所述位置，并且所述第二图像对应于第二时间；以及
基于所述第一和第二光度值生成第一数据集。
18.根据条款17所述的装置，其中所述至少一个处理器还配置成通过以下步骤来确定所述含义：
界定对应于靠近所述视觉指示器的所述位置的第二位置的第二区域；
确定对应于所述第二位置的所述图像数据的所述第一图像中的第三像素值的第三光度值；
确定对应于所述第二位置的所述图像数据的所述第二图像中的第四像素值的第四光度值；
生成对应于所述第三和第四光度值的第二数据集；以及
确定所述第一和第二光度值由所述视觉指示器引起，而不是基于基本上不匹配所述第二数据集的所述第一数据集的外部效应。
19.根据条款13所述的装置，其中所述至少一个处理器还配置成通过使所述第一数据集匹配于与所述识别对象相关联的存储的数据集来确定所述含义。
20.根据条款13所述的装置，其中所述至少一个处理器还配置成将所述消息发送到与所述用户简档相关联的所述装置，其包括发送所述照明序列的所述含义、对应于如何修复所述对象的指令、所述对象的潜在替换部件、购买潜在替换对象的选项、维修服务的联系信息或购买与所述对象相关联的消费型物品的选项中的至少一个。
如本公开中所使用，除非另有具体说明，否则术语“一”或“一个”可以包括一个或多个物品。此外，除非另有具体说明，否则措辞“基于”旨在表示“至少部分基于”。

Claims (15)

1.一种计算机实施的方法，其包括：
接收与用户简档相关联表示具有照亮的视觉指示器的对象的图像数据；
识别所述图像数据中表示的所述对象；
确定所述照亮的视觉指示器的含义；
识别对应于所述含义的信息；以及
将消息发送到与所述用户简档相关联的装置。
2.根据权利要求1所述的计算机实施的方法，其中确定所述含义包括基于参考数据来识别对应于所述图像数据中所述视觉指示器的位置的像素坐标，其中所述参考数据包括对应于所述视觉指示器相对于所述识别对象的参考位置的存储的像素坐标。
3.根据权利要求2所述的计算机实施的方法，其中确定所述含义包括：
界定对应于所述视觉指示器的所述位置的区域；以及
确定所述界定区域内的所述图像数据的一个或多个像素值的光度值。
4.根据权利要求3所述的计算机实施的方法，其中确定所述光度值包括：
对所述界定区域应用离散余弦变换；以及
根据所述图像数据的光度和色度YUV色彩空间的光度分量来确定系数。
5.根据权利要求3所述的计算机实施的方法，其中确定所述含义包括：
确定所述图像数据的第一图像中的第一像素值的第一光度值，其中所述第一像素值对应于所述第一图像中的所述视觉指示器的所述位置，并且所述第一图像对应于第一时间；
确定所述图像数据的第二图像中的第二像素值的第二光度值，其中所述第二像素值对应于所述第二图像中的所述视觉指示器的所述位置，并且所述第二图像对应于第二时间；以及
基于所述第一和第二光度值生成第一数据集。
6.根据权利要求5所述的计算机实施的方法，其中确定所述含义包括：
界定对应于靠近所述视觉指示器的所述位置的第二位置的第二区域；
确定所述图像数据的所述第一图像中对应于所述第二位置的第三像素值的第三光度值；
确定所述图像数据的所述第二图像中对应于所述第二位置的第四像素值的第四光度值；
生成对应于所述第三和第四光度值的第二数据集；以及
确定所述第一和第二光度值由所述视觉指示器引起，而不是基于基本上不匹配所述第二数据集的所述第一数据集的外部效应。
7.根据权利要求5所述的计算机实施的方法，其中确定所述含义包括使所述第一数据集匹配于与所述识别对象相关联的存储的数据集。
8.根据权利要求1所述的计算机实施的方法，其中将所述消息发送到与所述用户简档相关联的所述装置包括发送所述照明序列的所述含义、对应于如何修复所述对象的指令、所述对象的潜在替换部件、购买潜在替换对象的选项、维修服务的联系信息或购买与所述对象相关联的消费型物品的选项中的至少一个。
9.根据权利要求1所述的计算机实施的方法，其还包括：
接收对应于所述对象的音频数据，所述音频数据包括与所述对象相关联的音频指示器；
将音频指纹与对应于与所述对象相关联的存储的音频序列的存储的音频指纹进行比较；
基于所述音频指纹匹配存储的音频指纹来确定所述音频指示器的音频序列；以及
其中识别对应于所述照明序列的信息包括识别对应于所述音频序列的信息。
10.一种装置，其包括：
至少一个处理器；以及
存储器装置，其包括可操作以由所述至少一个处理器执行以执行动作集的指令，将所述至少一个处理器配置成：
接收与用户简档相关联表示具有照亮的视觉指示器的对象的图像数据；
识别所述图像数据中表示的所述对象；
确定所述照亮的视觉指示器的含义；
识别对应于所述含义的信息；以及
将消息发送到与所述用户简档相关联的装置。
11.根据权利要求10所述的装置，其中所述至少一个处理器还配置成通过基于参考数据识别对应于所述图像数据中所述视觉指示器的位置的像素坐标来确定所述含义，其中所述参考数据包括对应于所述视觉指示器相对于所述识别对象的参考位置的存储的像素坐标。
12.根据权利要求11所述的装置，其中所述至少一个处理器还配置成通过以下步骤确定所述含义：
对所界定区域应用离散余弦变换；以及
根据所述图像数据的光度和色度YUV色彩空间的光度分量来确定系数。
13.根据权利要求11所述的装置，其中所述至少一个处理器还配置成通过以下步骤确定所述含义：
确定所述图像数据的第一图像中的第一像素值的第一光度值，其中所述第一像素值对应于所述第一图像中所述视觉指示器的所述位置，并且所述第一图像对应于第一时间；
确定所述图像数据的第二图像中的第二像素值的第二光度值，其中所述第二像素值对应于所述第二图像中所述视觉指示器的所述位置，并且所述第二图像对应于第二时间；以及
基于所述第一和第二光度值生成第一数据集。
14.根据权利要求10所述的装置，其中所述至少一个处理器还配置成通过使所述第一数据集匹配于与所述识别对象相关联的存储的数据集来确定所述含义。
15.根据权利要求10所述的装置，其中所述至少一个处理器还配置成将所述消息发送到与所述用户简档相关联的所述装置，其包括发送所述照明序列的所述含义、对应于如何修复所述对象的指令、所述对象的潜在替换部件、购买潜在替换对象的选项、维修服务的联系信息或购买与所述对象相关联的消费型物品的选项中的至少一个。
CN201680036189.7A 2015-06-26 2016-06-22 对视觉指示器的检测和解译 Active CN107864678B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/751,468 2015-06-26
US14/751,468 US10157372B2 (en) 2015-06-26 2015-06-26 Detection and interpretation of visual indicators
PCT/US2016/038636 WO2016209875A1 (en) 2015-06-26 2016-06-22 Detection and interpretation of visual indicators

Publications (2)

Publication Number Publication Date
CN107864678A true CN107864678A (zh) 2018-03-30
CN107864678B CN107864678B (zh) 2021-09-28

Family

ID=56409682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680036189.7A Active CN107864678B (zh) 2015-06-26 2016-06-22 对视觉指示器的检测和解译

Country Status (6)

Country Link
US (1) US10157372B2 (zh)
EP (1) EP3314526B1 (zh)
JP (1) JP6945459B2 (zh)
KR (1) KR102603345B1 (zh)
CN (1) CN107864678B (zh)
WO (1) WO2016209875A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109150718A (zh) * 2018-08-17 2019-01-04 张利军 路由器实时探知机构
CN109410085A (zh) * 2018-11-01 2019-03-01 日立楼宇技术（广州）有限公司 一种养殖场设备的绑定系统和方法
CN114202865A (zh) * 2021-11-16 2022-03-18 杭州华橙软件技术有限公司 一种监控警告方法、装置及电子设备
CN114202865B (zh) * 2021-11-16 2024-05-14 杭州华橙软件技术有限公司 一种监控警告方法、装置及电子设备

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9659447B2 (en) 2014-04-08 2017-05-23 Bally Gaming, Inc. System and method for augmented wagering
US10198620B2 (en) 2015-07-06 2019-02-05 Accenture Global Services Limited Augmented reality based component replacement and maintenance
US10482705B2 (en) 2015-08-11 2019-11-19 Bally Gaming, Inc. Gaming machine and system for concurrent gaming player interface manipulation based on visual focus
US10021461B2 (en) * 2016-02-29 2018-07-10 Rovi Guides, Inc. Systems and methods for performing an action based on context of a feature in a media asset
US10187288B2 (en) * 2017-03-09 2019-01-22 Caterpillar Inc. Communicating data link information using a light source
US11416714B2 (en) * 2017-03-24 2022-08-16 Revealit Corporation Method, system, and apparatus for identifying and revealing selected objects from video
US10612175B2 (en) 2017-09-28 2020-04-07 Midea Group Co., Ltd. Automatic color composition detection for laundry washing machine
US10694338B2 (en) 2017-11-07 2020-06-23 Pica Product Development, Llc Cellular automated external defibrillator (AED) tracker
US10798541B2 (en) 2017-11-07 2020-10-06 Pica Product Development, Llc Systems, methods and devices for remote trap monitoring
US10999560B2 (en) 2017-11-07 2021-05-04 Readiness Systems, LLC Remote electronic monitoring infrastructure
US10909830B1 (en) 2017-11-07 2021-02-02 Pica Product Development, Llc Personal emergency alert system, method and device
US10747968B2 (en) 2017-11-22 2020-08-18 Jeffrey S. Melcher Wireless device and selective user control and management of a wireless device and data
US11200892B1 (en) 2018-12-10 2021-12-14 Amazon Technologies, Inc. Speech-enabled augmented reality user interface
US11157220B2 (en) 2018-12-17 2021-10-26 Canon Kabushiki Kaisha Connecting an image processing device via a mobile device
US11113568B2 (en) 2019-06-14 2021-09-07 Canon Kabushiki Kaisha Devices, systems, and methods for device-error analysis using computer vision and machine learning
US11603969B2 (en) * 2019-09-05 2023-03-14 Eaton Intelligent Power Limited Interactive power distribution units (PDUs) and related systems
US11580869B2 (en) * 2019-09-23 2023-02-14 Revealit Corporation Computer-implemented interfaces for identifying and revealing selected objects from video
US20210157791A1 (en) * 2019-11-27 2021-05-27 Klarna Bank Ab Image-based record linkage
US11288935B2 (en) * 2020-01-21 2022-03-29 Arris Enterprises Llc Relaying device status information using light indicator patterns
US20210334390A1 (en) * 2020-04-22 2021-10-28 EYE Media, LLC System for on-demand capture and exchange of media items that are not recorded at the point of capture
US20220189266A1 (en) * 2020-12-11 2022-06-16 Patriot One Technologies Inc. System and method for real-time multi-person threat tracking and re-identification
US11773524B2 (en) 2020-12-18 2023-10-03 Midea Group Co., Ltd. Laundry washing machine color composition analysis during loading
US11898289B2 (en) 2020-12-18 2024-02-13 Midea Group Co., Ltd. Laundry washing machine calibration
US11866868B2 (en) 2020-12-18 2024-01-09 Midea Group Co., Ltd. Laundry washing machine color composition analysis with article alerts

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006011141A2 (en) * 2004-07-25 2006-02-02 Israel Aerospace Industries Ltd. Method and system for the acquisition of data and for the display of data
CN101828191A (zh) * 2007-08-17 2010-09-08 贝尔直升机泰克斯特龙公司 用于人类可读仪器、信号器和控制器的光学识别、解释和数字化的系统
CN102164284A (zh) * 2010-02-24 2011-08-24 富士通株式会社 视频解码方法和系统
CN103440313A (zh) * 2013-08-27 2013-12-11 复旦大学 基于音频指纹特征的音乐检索系统
CN103959375A (zh) * 2011-11-30 2014-07-30 杜比国际公司 增强的从音频编解码器的色度提取
CN103999473A (zh) * 2011-12-20 2014-08-20 雅虎公司 用于内容识别的音频指纹

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02121008A (ja) * 1988-10-31 1990-05-08 Toshiba Corp プラント監視装置
US6650761B1 (en) * 1999-05-19 2003-11-18 Digimarc Corporation Watermarked business cards and methods
JP3213284B2 (ja) * 1998-12-10 2001-10-02 株式会社東芝 プラント監視装置
US6937747B2 (en) * 2001-09-24 2005-08-30 Hewlett Packard Development Company, L.P. System and method for capturing non-audible information for processing
JP4839611B2 (ja) * 2004-04-28 2011-12-21 日産自動車株式会社 車載表示計の自動評価装置
JP2006054549A (ja) * 2004-08-10 2006-02-23 Nec Corp 携帯通信端末装置、及び、動作モード設定システム
US8406531B2 (en) * 2008-05-15 2013-03-26 Yahoo! Inc. Data access based on content of image recorded by a mobile device
US8319666B2 (en) 2009-02-20 2012-11-27 Appareo Systems, Llc Optical image monitoring system and method for vehicles
US8886206B2 (en) * 2009-05-01 2014-11-11 Digimarc Corporation Methods and systems for content processing
WO2011011542A1 (en) * 2009-07-21 2011-01-27 Integrated Device Technology, Inc. A method and system for detection and enhancement of video images
US8768313B2 (en) * 2009-08-17 2014-07-01 Digimarc Corporation Methods and systems for image or audio recognition processing
US8611601B2 (en) * 2011-03-08 2013-12-17 Bank Of America Corporation Dynamically indentifying individuals from a captured image
KR101797946B1 (ko) * 2011-05-25 2017-12-12 삼성전자주식회사 가전기기의 자가 진단 시스템 및 그 동작 방법
US9350944B2 (en) * 2012-08-24 2016-05-24 Qualcomm Incorporated Connecting to an onscreen entity
US9681468B2 (en) * 2012-08-24 2017-06-13 Qualcomm Incorporated Joining communication groups with pattern sequenced light and/or sound signals as data transmissions
KR102037416B1 (ko) * 2012-12-17 2019-10-28 삼성전자주식회사 외부 기기 관리 방법, 외부 기기의 동작 방법, 호스트 단말, 관리 서버 및 외부 기기
US9098986B2 (en) 2013-10-17 2015-08-04 Rockwell Automation Technologies, Inc. Indicator light interpretation device and method for indicator lights of an electronic device
JP6171882B2 (ja) * 2013-11-19 2017-08-02 日本精機株式会社 車両用警告システム、車載装置、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006011141A2 (en) * 2004-07-25 2006-02-02 Israel Aerospace Industries Ltd. Method and system for the acquisition of data and for the display of data
CN101828191A (zh) * 2007-08-17 2010-09-08 贝尔直升机泰克斯特龙公司 用于人类可读仪器、信号器和控制器的光学识别、解释和数字化的系统
CN102164284A (zh) * 2010-02-24 2011-08-24 富士通株式会社 视频解码方法和系统
CN103959375A (zh) * 2011-11-30 2014-07-30 杜比国际公司 增强的从音频编解码器的色度提取
CN103999473A (zh) * 2011-12-20 2014-08-20 雅虎公司 用于内容识别的音频指纹
CN103440313A (zh) * 2013-08-27 2013-12-11 复旦大学 基于音频指纹特征的音乐检索系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109150718A (zh) * 2018-08-17 2019-01-04 张利军 路由器实时探知机构
CN109410085A (zh) * 2018-11-01 2019-03-01 日立楼宇技术（广州）有限公司 一种养殖场设备的绑定系统和方法
CN109410085B (zh) * 2018-11-01 2021-06-29 日立楼宇技术（广州）有限公司 一种养殖场设备的绑定系统和方法
CN114202865A (zh) * 2021-11-16 2022-03-18 杭州华橙软件技术有限公司 一种监控警告方法、装置及电子设备
CN114202865B (zh) * 2021-11-16 2024-05-14 杭州华橙软件技术有限公司 一种监控警告方法、装置及电子设备

Also Published As

Publication number Publication date
CN107864678B (zh) 2021-09-28
WO2016209875A1 (en) 2016-12-29
US20160379176A1 (en) 2016-12-29
JP6945459B2 (ja) 2021-10-06
US10157372B2 (en) 2018-12-18
KR102603345B1 (ko) 2023-11-16
EP3314526B1 (en) 2023-09-06
JP2018527648A (ja) 2018-09-20
EP3314526A1 (en) 2018-05-02
KR20180021707A (ko) 2018-03-05

Similar Documents

Publication Publication Date Title
CN107864678A (zh) 对视觉指示器的检测和解译
US10193622B2 (en) Artificial light source based messaging platform
US10019747B2 (en) Enhancing a user's shopping experience
US20200058000A1 (en) Detection and interpretation of visual indicators
CN105718854B (zh) 远程食材管理系统
US10677854B2 (en) Apparatus and methods for gathering and using operating data from a lighting product
CN104516283A (zh) 控制装置、被控制设备、控制方法、控制系统以及报知设备
US10210444B2 (en) Cooking assistance method and cooking apparatus
US20170284733A1 (en) Remote food management system
AU2012246932A1 (en) Method for displaying status of power consumption and portable device thereof
CN105165119B (zh) 照明设备及用于管理照明系统的方法
US9224123B2 (en) Electric product and method of controlling the same
US20140278936A1 (en) Appliance controller application
WO2013085865A1 (en) System and method for determining the state of a beverage
CN109187618B (zh) 物流箱监测机构及系统
KR20180086712A (ko) 사물인터넷 기반 식재료 조회 및 레시피 컨텐츠 제공 플랫폼
TW201543404A (zh) 消耗品資訊通知系統及消耗品資訊通知方法
US20150248612A1 (en) Information processing system for identifying used commodities in domestic electrical appliances, and security system
US11200513B2 (en) Real estate image analysis
US20160161337A1 (en) Portable color detector, system and method for color inspection
ITUB20155785A1 (it) Impianto di illuminazione
US20220094899A1 (en) Method for processing image data, image data processing apparatus, and image data processing system
CN116070133A (zh) 检测方法、装置、电子设备及存储介质
CN116406958A (zh) 用于烹饪设备的提示方法及装置、烹饪设备
GR20150200142U (el) Συστημα απομακρυσμενης τηλεμετρησης, διαχειρισης, ελεγχου και επικοινωνιας ψυγειων - icc (intelligent cooler control)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant