CN109644052B - 对光通信源的数据处理和认证 - Google Patents

对光通信源的数据处理和认证 Download PDF

Info

Publication number
CN109644052B
CN109644052B CN201780053468.9A CN201780053468A CN109644052B CN 109644052 B CN109644052 B CN 109644052B CN 201780053468 A CN201780053468 A CN 201780053468A CN 109644052 B CN109644052 B CN 109644052B
Authority
CN
China
Prior art keywords
data
source
modulated light
image
light data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780053468.9A
Other languages
English (en)
Other versions
CN109644052A (zh
Inventor
R·D·罗伯茨
P·塞德伊拉德
J·佩雷兹-拉米雷兹
R·阿比里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN109644052A publication Critical patent/CN109644052A/zh
Application granted granted Critical
Publication of CN109644052B publication Critical patent/CN109644052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/80—Optical aspects relating to the use of optical transmission for specific applications, not provided for in groups H04B10/03 - H04B10/70, e.g. optical power feeding or optical transmission through water
    • H04B10/85—Protection from unauthorised access, e.g. eavesdrop protection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H04W12/069—Authentication using certificates or pre-shared keys
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Communication System (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了用于使用光学相机通信技术标识和执行对可见光通信的认证的各种系统和方法。在示例中，用于认证特定发光源的电子处理系统包括用于进行以下各项的电子操作：从图像数据中检测从发光物体发射的调制光数据，其中，所述图像数据描绘所述发光物体，并且其中，所述图像数据是用(例如，相机的)图像传感器捕获的；从所述图像数据中标识所述发光物体作为所述调制光数据的源；接收用于将所述发光物体选择为所述调制光数据的经认证源的指示；以及执行用于处理来自所述经认证源的所述调制光数据的命令，其中，所述命令是响应于用于将所述发光物体选择为所述调制光数据的所述经认证源的所述指示而执行的。

Description

对光通信源的数据处理和认证
优先权申请
本申请要求2016年9月30日提交的美国申请序列号 15/282328的优先权权益，所述美国申请通过引用以其全部内容结合在此。
技术领域
本文所描述的实施例总体上涉及对来自光通信源的数据的处理技术，并且更具体地涉及对经由光学相机通信源从可见光获得的数据使用认证和数据解释技术。
背景技术
可见光通信在各种新兴的无线通信技术中体现，如在利用诸如发光二极管(LED)标牌和LED灯等光源来广播消息的通信技术中体现。已经在可见光通信领域提出了各种应用，包括专门部署无线数据网络，所述无线数据网络充当用于网络连接的最后一英里传输的高速链路。在可见光通信的许多用途中，光源的亮度的调节速度比人眼可以观察到的更快，这允许光源在没有可感知闪烁的情况下传输消息。
可见光通信的一种实施方式，光学相机通信，也称为“CamCom”，使用相机内的图像传感器来接收和处理可见(人或相机可见) 光数据。目前，短距离光学无线通信任务组正在开发一项针对光学相机通信标准化的提议，以修订IEEE 802.15.7-2011规范。例如，该任务组正在开发使用光学相机通信的增强的标准，以便使用如闪光灯、显示器和图像传感器等光学装置作为发射或接收装置实现可扩展数据速率、定位 (positioning)/定位(localization)、和消息广播。
附图说明
在不必按比例绘制的附图中，相同数字可以描述不同视图中的类似部件。具有不同字母后缀的相同数字可以表示类似部件的不同实例。一些实施例以举例的方式示出并且不限制于附图的图中，在附图中：
图1展示了根据示例的用于使用机动车辆的部件处理和认证光通信源的操作环境；
图2A展示了根据示例的从机动车辆观察到的相机捕获的场景的程式化表示，所述程式化表示指示多个光通信源；
图2B展示了根据示例的从机动车辆观察到的相机捕获的场景的程式化表示，所述程式化表示指示对来自多个光通信源当中的特定光通信源的认证；
图3展示了根据示例的来自机动车辆的相机捕获的场景的程式化表示，所述程式化表示指示在受限制的视野中对多个光通信源的认证；
图4展示了根据示例的用于在光学相机通信系统的部件之间选择和解释光学通信数据的操作的序列图；
图5是流程图，展示了根据示例的使用用户认证技术在光学相机通信系统中获得和处理调制光数据的方法；
图6是流程图，展示了根据示例的使用自动认证技术在光学相机通信系统中获得和处理调制光数据的方法；
图7展示了根据示例的用于使用光学相机通信处理和认证调制光数据的示例系统中的部件的框图；并且
图8展示了根据示例的可以在其上执行本文所讨论的技术中的任何一种或多种技术(例如，操作、过程、方法和方法论)的示例电子处理系统架构的框图。
具体实施方式
在以下描述中，公开了用于处理和认证从相机图像对象源检测到的图像数据，例如指示使用可见光通信传送的调制光的图像数据的方法、配置和相关设备。具体地，本文所讨论的技术与通常被称为光学相机通信的可见光通信的应用相关，所述可见光通信利用如LED标牌和LED 灯等发光物体来输出(发射)要经由相机中的图像传感器捕获(接收)的数据。本文公开了用于分析包括调制光数据的这种图像数据以及认证来自图像数据的调制光数据源的各种基于装置和基于系统的技术。
如在本文所讨论的上下文中所使用的，认证是指在数据源与数据宿相关联(例如，向其提供数据)之前提供或确定身份证明。作为认证的类似示例，在IEEE 802.11(Wi-Fi)无线通信网络中，认证帧交换用于确保站在能够与无线网络建立连接之前具有正确的认证信息(例如，预共享的WEP/WPA加密密钥)。在这种设置中，假设如果加密密钥已知，则站就被授权与网络相关联。在光学相机通信领域，存在类似的技术挑战，以确保在允许所接收数据在接收装置上发起进一步动作之前从经认证源提供所接收数据流。因为许多类型的可见光通信在可观察的光范围内公开广播给任何收听者，所以仅从期望或可信位置获得数据的能力变成复杂但重要的问题。
在本文所讨论的光学相机通信的示例中，通过在视觉上标识图像数据中的数据源以确认数据宿期望从视觉上观察到的数据源接收数据而在较低处理层执行认证。对期望的数据源的标识可以用于定位、选择、访问和处理来自期望的发光物体的调制光数据，同时忽略从其他发光物体检测到的调制光数据。因此，未经认证的光源可能会被忽略和无视，从而防止使用未知的、不需要的、未经验证的、未经授权的或非法数据。
如本文所讨论的，光学相机通信认证技术可以包括标识和选择调制光数据源，所述标识和选择使用人类输入或对发光物体的图像数据进行的自动物体识别来执行。使用图像数据进行认证实现对来自期望的源的调制光数据的正确验证，因为由相机传感器获得的图像数据捕获光以在视觉上识别物体，就像它还捕获用于传输调制数据的光一样。因此，本文讨论的光学相机通信认证技术提供了超过现有方法的显著的操作和安全性优势，所述现有方法选择在不进行认证的情况下消耗和处理所有可用调制光数据源。
图1展示了用于使用机动车辆的部件处理和认证光通信源的示例操作环境。图1至图3的以下示例特别描述涉及从定位在机动车辆乘员角度的相机捕获图像数据和调制光数据的用例，如当乘员在道路上操作机动车辆时可能发生的用例。可以使用工厂集成的远程信息处理和信息娱乐系统或者使用附加的远程信息处理和信息娱乐装置在机动车辆中提供对以下示例特征的整合。然而，应当理解，以下光学相机通信认证特征还可以适用于独立于机动车辆运行的其他形式的移动计算装置，如具有在智能手机、可穿戴装置、平板电脑、便携式个人计算机以及嵌入其他操作系统的用户交互/客户端装置中提供的图像和数据处理能力。
如所示出的，在图1中，机动车辆110包括相机装置112，所述相机装置被定位成向外面向机动车辆110和周围环境，以检测和捕获视野内的场景。相机装置112被示出为从机动车辆110的向前方向获得视野的光学图像，所述光学图像包括从发光物体(如LED标牌)传输至机动车辆110的可见光通信信息120。发光物体中的光被迅速调制，以便以人眼通常看不到或观察不到的方式指示数据(例如，使用人类无法察觉的快速闪烁的光)。相机装置112包括用于捕获场景的图像数据的至少一个传感器，并且相机装置112可以包括或可操作地耦合至处理电路系统以检测发光物体的至少一种光被数据调制(例如，正发射可见光通信信息120)。
机动车辆110包括多个处理部件130，以获得、处理、和评估在机动车辆前方观察的视野中的场景。这种处理能力用于捕获现实世界物体的图像数据(如LED标牌的静态RGB图像)和在可见光通信信息120 中提供的调制光数据(如由LED标牌的操作提供的调制光数据)。例如，处理部件130可以包括：相机传感器132(例如，CMOS/CCD传感器)，用于捕获场景的图像数据；相机数据处理部件134(例如，用程控电路系统来实施)，用于处理、存储、和提取来自所捕获图像数据的数据；以及可见光通信处理部件136(例如，用程控电路系统来实施)，用于检测和解释从场景中的物体发出的调制光数据。
处理部件130还可以包括：认证数据处理部件138(例如，用程控电路系统来实施)，用于实施用户交互或对来自发光源(物体)的光调制数据的自动认证；用户界面显示处理部件140(例如，用程控电路系统来实施)，用于接收用户交互控制，所述用户交互控制包括生成图像数据的增强显示；以及交互显示单元142(例如，触摸屏显示硬件)，用于输出对图像数据的显示并且接收用户输入和用于显示图像数据的命令。
处理部件130或与机动车辆110整合的另一个部件还可以用于访问外部网络源150(例如，经由互联网)，以获得在使用可见光通信信息120对数据进行认证或处理时使用的补充数据160。例如，外部网络源 150可以提供联网数据处理服务器152(例如，web服务器)和数据托管系统154(例如，数据库)以便响应于来自处理部件130的请求或查询而提供补充数据。例如，可见光通信信息120可以包括指示外部网络源150的统一请求定位符(URL)的数据，其中，数据处理服务器152和数据托管系统154适用于响应于请求或查询而提供补充数据160。
图2A展示了从机动车辆观察到的示例相机捕获的场景的程式化表示200A，所述程式化表示指示多个光通信源。所述程式化表示200A 展示了包括现实世界环境中的三个发光标牌的图像的图像数据的输出：冰淇淋店标牌202、咖啡店标牌204、和交通标牌206。每个发光标牌包括以特定模式调制光数据的LED，以便发送待经由相机接收和解调的各自的可见光通信数据组。
因此，在图2A的程式化表示200A中，三个发光标牌202、 204、206中的每一个提供光输出，所述光输出以某种模式被调制成信号数据。作为初始处理步骤，与相机相关联的信号处理器确定(例如，定位、观察)所捕获场景中的哪些物体正在传输光学相机通信数据。这很重要，因为在一些示例中，仅场景中的少数可用LED光发射器实际上传输可用数据。在示例中，使用专用像机通信波形来执行对发光源的标识，如使用起始帧定界符。在其他示例中，光可以使用专用信号输出来指示它们是调制光数据源。响应于这个确定，与相相机相关联的信号处理器标识正在向可用观察者发射(例如，播放)数据的可用光源。
在认证过程中使用关于所标识光源的信息来确定所标识光源中的哪些提供可用于由相关联处理系统消耗的数据流。然后可以执行手动或自动认证过程以从可用的(标识的)光源中选择数据。例如，如图2A中所示出的，图像处理器可以在正传输调制数据的每个光源(例如，标牌202、 204、206)周围生成实心框(例如，彩色框)。在示例中，图像处理器提供该指示作为图像数据上的覆盖，以突出或强调所标识的调制光数据源的真实世界位置。标识用于向人类用户或自动机制突出或标记可用数据源(这种自动机制包括图像识别技术或图像处理算法)。还可以使用用于标记、列出、或标识发光源的其他方法和机制。
在示例中，由调制光数据发送的信息可以包括图形的、文本的、或其他可软件解释的内容形式的编码信息。如以上针对图1所讨论的，由调制光数据发送的信息还可以包括将由处理系统用来访问补充数据的 URL地址(例如，经由如Wi-Fi或3G/4G数据连接等无线电接入网络)。在捕获和解码数据之后，可以更新程式化表示200A以显示图形的、文本的或软件解释的内容。
图2B展示了从机动车辆观察到的示例相机捕获的场景的程式化表示200B，所述程式化表示指示对来自多个光通信源当中的特定光通信源的认证。在程式化表示200B中，对从冰淇淋店标牌202中选择调制光数据的认证导致处理和接收用于显示上下文菜单212的信息。上下文菜单 212被提供为以增强现实输出的形式覆盖在紧挨着冰淇淋店标牌202的图像显示的显示输出上的消息。
图2B因此以内容覆盖的形式展示了图形显示上的输出，所述输出响应于对特定光通信源(冰淇淋店标牌202)的认证和对来自该特定光通信源的信息的处理而输出。在示例中，可以使用手动、用户启动的过程发生对光通信源的认证；在另一个示例中，可以使用自动化过程发生对光通信源的认证。在进行认证之后，然后图像处理算法被授权以从所选光源摄取数据。
在手动认证操作中，人类用户可以如通过到图形用户界面的输入提供指示，以指示用户希望与哪个数据源进行认证以及从哪个数据源下载数据。例如，用户可以在发光源(冰淇淋店标牌202的显示)的表示处提供触摸输入220以触发用于认证的用户界面命令，如程式化表示200B 中所示出的。响应于触摸输入220，可以解析和解释来自冰淇淋店标牌202的调制光数据，以获得内容。在这种情境下，从光学相机通信信息接收用于填充冰淇淋店设施的可用上下文菜单(食物菜单)的一组内容，并且将该组内容覆盖在紧挨着传输数据的物体的表示的图像数据(作为上下文消息212)上。因此，可以在程式化表示200B中以增强现实的形式对用户显示和覆盖从发光源获得的内容；应当理解，从发光源获得的内容可以与响应认证的其他类型的装置和输出格式一起输出。
在自动认证操作中，可以自动进行认证以访问和解析来自特定数据源的数据。这种自动认证可以通过图像识别算法进行，所述图像识别算法在物体的形状、分类、特性或标识或物体的类型(如特定标牌、与标牌相关联的业务类型等)的基础上为用户选择数据源。例如，在受控模式中，图像识别算法可以用于仅允许从如行人控制灯或交通信号等先前已知的物体中下载和处理数据。作为另一个示例，用于与所有所标识源进行认证并处理来自所有所标识源的数据的自动模式(称为“混杂模式”)可以用于从可用源获得更大的数据集。然而，可以基于视野中的物体的位置进一步限制对来自所有可用源的数据的选择(如以下参照图3进一步描述的)。
在某些示例中，可以基于由图像捕获的视野的视角来调整在图形显示中被覆盖的内容的类型、格式或特性。当各个光源的尺寸和可观察特性变化时，尤其是当从不同距离捕获场景的图像时，图形显示的这种变化可能会发生。在示例中，对图形显示的覆盖内容的生成可以适用于处理如标牌等发光物体在视野中但与其他光源混合的情境(例如，当远距离观察时)；当如标牌等发光物体可见并且与视野中的其他物体分离时(例如，如图2A和图2B中描绘的)；或当如标牌等发光物体在所捕获的视野中仅部分可见时(例如，当近距离观察时)。
例如，当机动车辆在道路上行驶并且距离光源很远时，场景的图像可以描绘将被重叠并集中在图像的区域中的多个光源。(然而，调制光数据可以从这些不同源检测和处理。)在更近的位置处，各个光在视野中是可区分且彼此分离的。在甚至更近的位置处，当观察者非常靠近或部分地通过发光物体时，物体可能变扭曲或不完全可见。在光源被遮挡的情况下，图形显示可以提供替代图形、检测到的光源的列表、上下文菜单和其他形式的增强视图，以允许标识和区分被遮挡的光源和物体。
图3展示了来自机动车辆的相机捕获的场景的程式化表示 300，所述程式化表示指示在受限制的视野中对多个光通信源的认证的示例。图3特别展示了方法的结果，在所述方法中仅与相机在大致相同平面中的光源被自动认证(以及忽略对哪些光的认证)。
程式化表示300描绘了基于相机视野的仰角选择期望的源，如对应视图区域310、320和330中所示出的。在相机视野中，第一视图区域310适用于标识过高的高度，并且第二视图区域330适用于标识过低的高度；而第三视图区域320适用于标识物体的最有可能提供调制光数据的高度。例如，第三视图区域320 可以是最可能提供车辆感兴趣的调制光数据(如制动系统数据或其他车辆与车辆通信)的区域。在其他示例中，其他高度或视图区域还可以提供调制光数据。在由程式化表示300描绘的情境中，来自相机前方视野中的其他机动车辆的光(例如，光322A、322B、 322C、322D、322E、322F、322G、322H)使用对应车辆的后向灯(尾灯) 传送调制光数据，其中，调制光数据指示如机动车辆速度、系统事件、道路状况等数据。
在示例中，对各个光通信源的认证是基于到达角的。以这种方式，相机可以与相对于相机位置+-5度的高度的光进行自动认证。例如，在驾驶机动车辆时捕获的视野中，这个狭窄的区域从视野中消除了许多头顶路灯和反光。因此，在视图区域310中，忽略头顶灯312A、312B、312C、 312D、312E；同样地，在视图区域330中，忽略光反射332A、332B、332C、332D、332E。
在更进一步的示例中，可以基于各个光源的距离、清晰度和观察特性来修改视野、所观察的仰角和用于自动认证的区域。例如，如果因为观察者太远、太近或超过发光物体的观察角度而使光源被遮挡或不完全可见，则视野可以被修改成包括或不包括附加观察区域。
尽管参照机动车辆中的信息娱乐或远程信息处理系统显示提供了图1至图3的先前示例，但是应当理解，所述技术可以用于由包括移动通信装置、可穿戴装置等个人电子装置捕获的电子图像的其他变体。例如，包括相机和投影显示器的头戴式眼镜可以操作以使用以上所讨论的技术提供增强现实显示。同样地，包括相机和触摸屏显示器的智能手机可以提供用于浏览接近用户的附近信息源的增强现实或模拟现实显示。进一步地，除了以上提出的商业和广告用例之外，调制光源还可以用于传递游戏、娱乐、公共安全以及许多其他用例的信息。
图4展示了用于在光学相机通信系统的部件之间选择和解释光学通信数据的示例操作的序列图。如所示出的，光学相机通信系统包括光显示器402(例如，LED发光装置)；相机404；处理系统406(例如，电子处理系统)；用户界面装置408(带有车载信息娱乐系统或移动计算装置的显示输出)；以及第三方数据源410(例如，远程web服务)。
如图所示，序列图包括采用调制光将数据消息从光显示器 402传输到相机404(操作411)。相机404操作以接收、检测和存储调制光数据(操作412)，如通过对图像数据的缓冲。相机404进一步操作以向处理系统406提供所捕获场景的图像数据(操作413)，并且还向处理系统 406提供对调制光的指示(操作414)。
处理系统406操作以生成图像数据的输出从而包括光显示器 402的指示作为图像数据的覆盖(例如，增强现实显示)(操作415)。根据该覆盖的图像数据，生成图像数据的用户界面以使用用户界面装置408 进行输出(操作416)。该用户界面包括标识调制光的各个数据源到人类用户的位置的指示，如可以在用户界面屏幕上直接突出或概述。然后，用户界面装置408在用户界面中接收用户输入选择以认证位于用户输入位置的光显示器(操作417)，这使得处理系统406处理与用户输入位置相对应的数据(操作418)(例如，从光显示器402获得的调制光)。
在一些示例中，从用户输入位置指示的数据(例如，从光显示器402获得的调制光)包括对如第三方数据源410等另一个源处的补充数据的指示。作为响应，处理系统406可以发射用于从第三方数据源410 获得补充数据的请求(操作419)，并且响应于该请求而从第三方数据源 410接收补充数据(操作420)。
基于从光显示器402获得的处理后的调制光数据和从第三方数据源410获得的任何补充数据，处理系统操作以生成图像数据的已更新用户界面以在用户界面装置408上输出(操作421)。如以上所讨论的，这可以包括处理内容的增强现实作为图像数据上的覆盖；还可以经由用户界面装置408输出包括模拟内容、图形内容、多媒体和交互内容等其他类型的数据输出。
图5是流程图500，展示了使用用户认证技术在光学相机通信系统中获得和处理调制光数据的示例方法。流程图500的以下操作可以由适用于处理光学相机通信的电子处理系统(包括专用计算系统)来进行。应当理解，流程图500的操作也可以由其他装置执行，其中流程图500的操作的顺序和类型可能基于以上提供的其他认证示例而被修改。
流程图500的操作包括用于激活图像传感器或相机的其他操作部件的可选操作(操作510)；在其他示例中，图像传感器已被激活或被另一个系统部件激活。操作相机系统以用相机捕获场景的图像数据(操作 520)，其中该图像数据包括对调制光数据的捕获。从图像数据中检测调制光数据(操作530)，并且在图像数据中标识调制光数据的位置(例如，源) (操作540)。
生成对调制光数据的位置的对应指示(操作550)，并且输出对图像数据的显示和对调制光数据的位置的指示(操作560)。可以在用户界面中通过用户选择调制光数据的位置来接收用户认证(操作570)。响应于用户认证，可以如通过重新处理图像数据或重新捕获来自所选位置的调制光数据来处理(例如，解析和解释)从所选位置传送的调制光数据(操作580)。对调制光数据的处理可以导致获得附加内容、信息、或从所选位置处的调制光数据提供的其他数据，并且可以更新对图像数据的显示和对调制光数据的位置的指示以便反映该附加内容、信息或数据(操作590)。
图6是流程图600，展示了使用自动认证技术在光学相机通信系统中获得和处理调制光数据的示例方法。类似于图5，流程图600的操作可以由适用于处理光学相机通信的电子处理系统(包括专用计算系统) 来进行。尽管流程图600描绘了自动操作，但是应当理解，流程图600的操作可以基于本文讨论的附加用户认证和交互操作来修改。
流程图600的操作包括使用相机系统以便利用相机捕获场景的图像数据(操作610)，其中该图像数据包括对调制光数据的捕获。在可选示例中，基于图像区域的仰角确定变窄的评估区域(操作620)。例如，这个变窄的高度区域可以用来忽略图像数据中不太可能包括(或无法包括) 相关发光源的区域。
在评估区域内，在图像数据中检测调制光数据(操作630)，并且检测图像数据中的调制光数据的位置(操作640)。然后，处理系统操作以执行对调制光数据的一个或多个位置的自动认证(操作650)，如可以基于对特定物体、物体类型、或对从特定物体传送的数据信号(例如，信号、命令)的检测的图像识别。然后处理来自一个或多个经认证位置的调制光数据(操作660)，并且从所述一个或多个经认证位置的调制光数据获得的信息被传送至另一个控制子系统(操作670)。这可能包括将相关数据传送至车辆控制子系统，或生成用于在显示系统上输出的信息。
图7展示了用于使用光学相机通信处理和认证调制光数据的示例系统中的部件的框图。如图所示，框图描绘了电子处理系统710(例如，计算系统)、外部数据系统750和光源系统740。电子处理系统710包括可操作地耦合至光学图像捕获系统720和认证数据处理部件730的电路系统 (以下描述的)。
电子处理系统710被描绘为包括：电路系统，用于实施用户界面712例如以便使用用户界面硬件装置输出显示)；通信总线713，用于在光学图像捕获系统720和电子处理系统710的其他部件之间传送数据；数据存储装置714，用于存储图像数据、认证数据、以及用于操作电子处理系统的控制指令；无线收发器715，用于与外部网络或装置无线地通信；以及处理电路系统716(例如，CPU)和存储器717(例如，易失性或非易失性存储器)，用于托管和处理图像数据、认证数据、以及用于操作电子处理系统的控制指令。在示例中，可以从独立于处理电路系统716和存储器 717操作的专用硬件提供认证数据处理部件730；在其他示例中，认证数据处理部件730可以是使用处理电路系统716和存储器717实施的软件配置的硬件(例如，通过由处理电路系统716和存储器717执行的指令)。
在电子处理系统710中，用户界面712可以用于输出命令和控制界面，以便选择和接收用于认证的用户输入，如用于认证特定数据源。来自用户界面712的用户认证的输入可以用于控制操作并使用认证数据处理部件730发起动作。认证数据处理部件730被描绘为包括：图像数据处理732，用于执行对图像数据的检测和分析；自动认证处理734，用于执行对调制光数据源和内容操作的自动识别；用户认证处理736，用于生成用户控制的界面和输入，以便执行对在图像中标识的图像源的手动认证；以及图像识别处理738，用于执行对特定物体、物体类型、光源和光类型等的自动标识。认证数据处理部件730和电子处理系统还可以包括未描绘的用于实施其他形式的认证和用户交互操作的其他部件，如输入控制部件(例如，按钮、触摸屏输入、外部外围装置)和输出部件(例如，触摸屏显示屏、视频或音频输出等)。
光学图像捕获系统720被描绘为包括：图像传感器722，用于捕获场景的图像数据(包括场景中的各个物体发出的调制光数据)；存储存储器724，用于缓冲和存储场景的图像数据；处理电路系统726，用于对场景的图像数据执行图像处理，并且标识场景中的调制光数据；以及通信电路系统728，用于将图像数据传送至另一个位置。在示例中，光学图像捕获系统720适用于捕获人类可见光；在一些示例中，光学图像捕获系统 720另外适用于捕获红外和近红外光的方面。
光源系统740被描绘为包括：数据存储装置742，用于存储用于经由调制光输出进行通信的命令和内容；处理电路系统744，用于控制调制光输出；以及光发射器746(例如，LED或LED阵列)，用于生成调制光输出。
外部数据750被描绘为包括：数据存储装置752，用于托管用于由电子处理系统710访问的补充内容；处理器754和存储器756，用于响应于来自电子处理系统710的请求而执行用于托管和提供补充内容的软件指令；以及通信电路系统758，用于响应于来自电子处理系统710的请求而传输补充数据。
图8是框图，展示了根据示例实施例的采用电子处理系统800 的示例形式的机器，在所述机器中可以执行指令集或序列，从而使所述机器执行本文中所讨论的方法论中的任何一种。机器可以是车辆信息或娱乐系统、个人计算机(PC)、平板PC、私人数字助理(PDA)、移动电话或智能手机、或能够执行该机器要采取的指定动作的指令(顺序的或其他的) 的任何机器。进一步地，虽然仅示出了单个机器，但术语“机器”也应视为包括机器的任何集合，所述机器单独地或联合地执行一个(或多个)指令集以便执行本文所讨论的方法论中的任何一种或多种方法论。类似地，术语“基于处理器的系统”应当被认为包括一个或多个机器的任何集合，所述机器被处理器(例如，计算机)控制或操作以单独地或联合地执行本文所讨论的方法论中的任何一种或多种的指令。
示例电子处理系统800包括至少一个处理器802(例如，中央处理单元(CPU)、图形处理单元(GPU)或两者、处理器核、计算节点等)、主存储器804和静态存储器806，其经由互联808(例如，链路、总线等)彼此通信。电子处理系统800可以进一步包括视频显示单元810、输入装置812(例如，字母数字键盘)、和用户界面(UI)控制装置814(例如，鼠标、按钮控制等)。在一个实施例中，视频显示单元810、输入装置 812和UI导航装置814被并入触摸屏显示器。电子处理系统800可以另外地包括存储装置816(例如，驱动单元)、信号生成装置818(例如，扬声器)、输出控制器832(例如，用于控制致动器、发动机等)、网络接口装置820(所述网络接口装置可以包括一个或多个天线828 、收发器或其他无线通信硬件或与其可操作地通信)、以及一个或多个传感器830 (例如，相机)，如全球定位系统(GPS)传感器、罗盘、加速计、位置传感器或其他传感器。
储存装置816包括在其上存储了一个或多个数据结构和指令集824(例如，软件)的机器可读介质822，所述一个或多个数据结构和指令集体现本文所描述的方法论或功能中的任何一个或多个，或者被其利用。指令824还可以完全地或至少部分地驻留在主存储器804、静态存储器806 中，和/或在电子处理系统800执行其过程中驻留在处理器802中，其中主存储器804、静态存储器806和处理器802同样也构成机器可读介质。
虽然机器可读介质822在示例实施例中被展示为单个介质，但是术语“机器可读介质”可以包括存储一个或多个指令824的单个介质或多个介质(例如，集中或分布式数据库、和/或相关联的高速缓存和服务器)。术语“机器可读介质”还应被视为包括任何有形介质，所述有形介质能够存储、编码或携带指令，所述指令由机器执行并且使机器执行本公开的方法论中的任何一个或多个，或者所述有形介质能够存储、编码或携带由此类指令所利用或与此类指令相关联的数据结构。术语“机器可读介质”应相应地被视为包括但不限于固态存储器、以及光学介质和磁性介质。机器可读介质的特定示例包括非易失性存储器，所述非易失性存储器通过示例的方式包括但不限于半导体存储器装置(例如，电可编程只读存储器 (EPROM)、电可擦除可编程只读存储器(EEPROM))和闪存装置；磁盘，如内置硬盘和可移除磁盘；磁光盘；以及CD-ROM和DVD-ROM磁盘。
可以利用许多传输协议(例如，HTTP)中的任何一个经由网络接口装置820使用传输介质而在通信网络826 上进一步发射或接收指令 824。通信网络的示例包括局域网(LAN)、广域网(WAN)、互联网、移动电话网络、普通老式电话(POTS)网络和无线数据网络(例如，Wi-Fi、 2G/3G、和4G LTE/LTE-A或WiMAX网络)。术语“传输介质”应被视为包括能够存储、编码或携带由机器执行的指令的任何无形介质，并且包括数字或模拟通信信号或者促进这种软件通信的其他无形介质。
用于促进和执行本文描述的技术的实施例可以在硬件、固件和软件中的一个或组合中实施。实施例还可以被实施为存储在机器可读存储装置上的指令，所述指令可以被至少一个处理器读取并执行以执行本文所描述的操作。计算机可读存储装置可以包括用于以机器(例如，计算机) 可读的形式存储信息的任何非暂时的机构。例如，机器可读存储装置可以包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存器、以及其他存储装置和介质。
应当理解，本说明书中所描述的功能单元或能力可以被称为或标记为部件或模块，以更加特别地强调其实施独立性。这些部件可以由任何数量的软件或硬件的形式体现。例如，部件或模块可以被实施为硬件电路，所述硬件电路包括定制超大规模集成(VLSI)电路或门阵列、现货供应的半导体，如逻辑芯片、晶体管、或其他分立部件。部件或模块还可以在如现场可编程门阵列、可编程阵列逻辑、可编程逻辑器件等可编程硬件装置中实施。部件或模块还可以在由各种类型的处理器执行的软件中实施。可执行代码的所标识部件或模块可以包括例如计算机指令的一个或多个物理块或逻辑块，所述物理块或逻辑块可以被组织为例如对象、程序或函数。然而，所标识部件或模块的可执行部分不需要物理上定位在一起，而是可以包括存储在不同位置的不同指令，这些指令当被逻辑地连接在一起时包括所述部件或模块并且实现所述部件或模块的所阐述的目的。
实际上，可执行代码的部件或模块可以是单个指令，或许多指令，并且甚至可分布在若干不同代码段中、在不同程序之间、并且跨越若干存储器装置或处理系统。具体地，所描述的过程的一些方面(如代码重写和代码分析)可以在不同的处理系统上(例如，在数据中心中的计算机中)发生，而不是在其中部署代码的处理系统上(例如，在嵌入传感器或机器人中的计算机中)。类似地，本文中操作数据可以在部件或模块内被标识和展示，并且可以以任何合适的形式体现并且组织在任何合适类型的数据结构中。操作数据可以被收集为单个数据集，或可以分布在包括不同存储装置上的不同位置上，并且可以至少部分地仅作为电子信号存在于系统或网络上。所述部件或模块可以是被动或主动的，包括可操作以执行期望功能的代理。
当前描述的方法、系统和装置实施例的附加示例包括以下非限制性配置。以下非限制性示例中的每一个可以独立存在，或可以以任何排列或组合与在下文或在贯穿本公开提供的其他示例中的任何一个或多个组合。
示例1是一种用于执行对来自发光物体的光学相机通信的装置认证的，所述装置包括：处理电路系统，用于：从图像数据中检测自所述发光物体发射的调制光数据，其中，所述图像数据描绘所述发光物体，并且其中，所述图像数据是用图像传感器捕获的；从所述图像数据中标识所述发光物体作为所述调制光数据的源；接收用于将所述发光物体选择为所述调制光数据的经认证源的指示；并且响应于用于将所述发光物体选择为所述调制光数据的所述经认证源的所述指示而执行用于处理来自所述经认证源的所述调制光数据的命令。
在示例2中，示例1的主题任选地包括：其中，所述图像数据指示多个可用调制光数据源，其中，所述多个源包括所述经认证源和另一个源，并且其中，用于标识所述调制光数据的所述源的操作是通过用于将所述经认证源检测为第一组可用调制光数据的第一源并将所述另一个源检测为第二组可用调制光数据的第二源的操作来执行的。
在示例3中，示例2的主题任选地包括：其中，执行用于处理所述调制光数据的所述命令的操作包括用于解码所述第一组可用调制光数据并且不解码所述第二组可用调制光数据的操作。
在示例4中，示例3主题任选地包括：所述处理电路系统进一步用于通过以下操作实现对所述调制光数据的所述经认证源的用户认证：生成图形用户界面显示，所述图形用户界面显示包括所述图像数据的输出上的覆盖，所述覆盖提供对所述多个可用调制光数据源的标识；以及接收用于从在所述图形用户界面显示中接收的用户输入中选择所述调制光数据的所述经认证源的所述指示，所述用户输入是在所述图形用户界面显示中对所述图像数据的所述输出进行所述覆盖时接收的；其中，用于标识所述发光物体的所述操作包括生成所述图形用户界面显示以便指示所述经认证源和所述另一个源，对所述经认证源和所述另一个源的所述指示在所述图形用户界面显示中被提供为对所述图像数据的输出的覆盖。
在示例5中，示例4的主题任选地包括：所述处理电路系统进一步用于通过以下操作输出在对所述调制光数据的所述经认证源进行所述用户认证的情况下选择的数据：解码和解释来自从所述经认证源获得的所述调制光数据的内容；以及更新所述图形用户界面显示以输出来自所述调制光数据的所述已解码和已解释内容。
在示例6中，示例3至5中任一项或多项的主题任选地包括：所述处理电路系统进一步用于通过以下操作实现对所述调制光数据的所述经认证源的自动认证：对所述图像数据执行图像识别；其中，用于标识所述发光物体的所述操作包括对所述图像数据进行图像识别以指示所述经认证源和所述另一个源；并且其中，根据图像识别技术提供用于将所述发光物体选择为所述经认证源的所述指示，对表示所述图像数据中的所述调制光数据的所述源的物体自动执行所述图像识别技术。
在示例7中，示例1至6中任一项或多项的主题任选地包括：所述处理电路系统进一步用于通过以下操作获得在所述调制光数据中指示的补充数据：解码和解析从来自所述经认证源的所述调制光数据获得的信息，其中，从所述调制光数据获得的所述信息指示来自另一个数据源的所述补充数据的标识符；以及使用所述补充数据的所述标识符从所述另一个数据源获得所述补充数据。
在示例8中，示例7的主题任选地包括：其中，所述标识符是统一资源定位符(URL)，并且其中，用于从所述另一个数据源获得所述补充数据的操作包括使用无线通信网络访问所述URL。
在示例9中，示例1至8中任一项或多项的主题任选地包括：其中，所述图像数据是从相机获得的，所述相机被定位在机动车辆中以在远离所述机动车辆的方向上捕获场景的图像，并且其中，所述调制光数据用于生成对从覆盖所述场景的所述图像的所述调制光数据获得的信息的自动现实显示。
在示例10中，示例9的主题任选地包括：所述处理电路系统进一步用于通过以下操作从所述图像数据中标识有限评估区域以便自动认证所述经认证源：基于如从所述相机的某个位置捕获的、在远离所述机动车辆的方向上所述场景的仰角来标识所述图像数据的所述有限评估区域；其中，用于检测所述调制光数据的操作是在所述有限评估区域上执行的，并且其中，用于标识所述调制光数据的操作是在所述有限评估区域上执行的。
示例11是至少一种机器可读存储介质，包括适用于执行对来自发光物体的光学相机通信的认证的多个指令，其中，所述指令响应于利用机器的处理器电路系统执行而使所述机器执行以下操作：从图像数据中检测自所述发光物体发射的调制光数据，其中，所述图像数据描绘所述发光物体，并且其中，所述图像数据是用图像传感器捕获的；从所述图像数据中标识所述发光物体作为所述调制光数据的源；接收用于将所述发光物体选择为所述调制光数据的经认证源的指示；并且响应于用于将所述发光物体选择为所述调制光数据的所述经认证源的所述指示而执行用于处理来自所述经认证源的所述调制光数据的命令。
在示例12中，示例11的主题任选地包括：其中，所述图像数据指示多个可用调制光数据源，其中，所述多个源包括所述经认证源和另一个源，并且其中，用于标识所述调制光数据的所述源的操作是通过用于将所述经认证源检测为第一组可用调制光数据的第一源并将所述另一个源检测为第二组可用调制光数据的第二源的操作来执行的。
在示例13中，示例12的主题任选地包括：其中，执行用于处理所述调制光数据的所述命令的操作包括用于解码所述第一组可用调制光数据并且不解码所述第二组可用调制光数据的操作。
在示例14中，示例13的主题任选地包括：其中，所述指令进一步使所述机器通过以下操作实现对所述调制光数据的所述经认证源的用户认证：生成图形用户界面显示，所述图形用户界面显示包括所述图像数据的输出上的覆盖，所述覆盖提供对所述多个可用调制光数据源的标识；以及接收用于从在所述图形用户界面显示中接收的用户输入中选择所述调制光数据的所述经认证源的所述指示，所述用户输入是在所述图形用户界面显示中对所述图像数据的所述输出进行所述覆盖时接收的；其中，用于标识所述发光物体的所述操作包括生成所述图形用户界面显示以便指示所述经认证源和所述另一个源，对所述经认证源和所述另一个源的所述指示在所述图形用户界面显示中被提供为对所述图像数据的输出的覆盖。
在示例15中，示例14的主题任选地包括：其中，所述指令进一步使所述机器通过以下操作输出在对所述调制光数据的所述经认证源进行所述用户认证的情况下选择的数据：解码和解释来自从所述经认证源获得的所述调制光数据的内容；以及更新所述图形用户界面显示以输出来自所述调制光数据的所述已解码和已解释内容。
在示例16中，示例13至15中任一项或多项的主题任选地包括：其中，所述指令进一步使所述机器通过以下操作实现对所述调制光数据的所述经认证源的自动认证：对所述图像数据执行图像识别；其中，用于标识所述发光物体的所述操作包括对所述图像数据进行图像识别以指示所述经认证源和所述另一个源；并且其中，根据图像识别技术提供用于将所述发光物体选择为所述经认证源的所述指示，对表示所述图像数据中的所述调制光数据的所述源的物体自动执行所述图像识别技术。
在示例17中，示例11至16中任一项或多项的主题任选地包括：其中，所述指令进一步使所述机器通过以下操作获得在所述调制光数据中指示的补充数据：解码和解析从来自所述经认证源的所述调制光数据获得的信息，其中，从所述调制光数据获得的所述信息指示来自另一个数据源的所述补充数据的标识符；以及使用所述补充数据的所述标识符从所述另一个数据源获得所述补充数据。
在示例18中，示例17的主题任选地包括：其中，所述标识符是统一资源定位符(URL)，并且其中，用于从所述另一个数据源获得所述补充数据的操作包括使用无线通信网络访问所述URL。
在示例19中，示例11至18中任一项或多项的主题任选地包括：其中，所述图像数据是从相机获得的，所述相机被定位在机动车辆中以在远离所述机动车辆的方向上捕获场景的图像，并且其中，所述调制光数据用于生成对从覆盖所述场景的所述图像的所述调制光数据获得的信息的自动现实显示。
在示例20中，示例19的主题任选地包括：其中，所述指令进一步使所述机器通过以下操作从所述图像数据中标识有限评估区域以便自动认证所述经认证源：基于如从所述相机的某个位置捕获的、在远离所述机动车辆的方向上所述场景的仰角来标识所述图像数据的所述有限评估区域；其中，用于检测所述调制光数据的操作是在所述有限评估区域上执行的，并且其中，用于标识所述调制光数据的操作是在所述有限评估区域上执行的。
示例21是一种执行对来自发光物体的光学相机通信的认证的方法，所述方法包括电子操作，所述电子操作包括：从图像数据中检测从所述发光物体发射的调制光数据，其中，所述图像数据描绘所述发光物体，并且其中，所述图像数据是用图像传感器捕获的；从所述图像数据中标识所述发光物体作为所述调制光数据的源；接收用于将所述发光物体选择为所述调制光数据的经认证源的指示；并且响应于用于将所述发光物体选择为所述调制光数据的所述经认证源的所述指示而执行用于处理来自所述经认证源的所述调制光数据的命令。
在示例22中，示例21的主题任选地包括：其中，所述图像数据指示多个可用调制光数据源，其中，所述多个源包括所述经认证源和另一个源，并且其中，标识所述调制光数据的所述源是通过将所述经认证源检测为第一组可用调制光数据的第一源并将所述另一个源检测为第二组可用调制光数据的第二源来执行的。
在示例23中，示例22的主题任选地包括：其中，执行用于处理所述调制光数据的所述命令包括解码所述第一组可用调制光数据并且不解码所述第二组可用调制光数据。
在示例24中，示例23的主题任选地包括：所述电子操作进一步包括通过进行以下各项实现对所述调制光数据的所述经认证源的用户认证：生成图形用户界面显示，所述图形用户界面显示包括所述图像数据的输出上的覆盖，所述覆盖提供对所述多个可用调制光数据源的标识；并且接收用于从在所述图形用户界面显示中接收的用户输入中选择所述调制光数据的所述经认证源的所述指示，所述用户输入是在所述图形用户界面显示中对所述图像数据的所述输出进行所述覆盖时接收的；其中，标识所述发光物体包括生成所述图形用户界面显示以便指示所述经认证源和所述另一个源，对所述经认证源和所述另一个源的所述指示在所述图形用户界面显示中被提供为对所述图像数据的输出的覆盖。
在示例25中，示例24的主题任选地包括：所述电子操作进一步包括通过进行以下各项输出在对所述调制光数据的所述经认证源进行所述用户认证的情况下选择的数据：解码和解释来自从所述经认证源获得的所述调制光数据的内容；以及更新所述图形用户界面显示以输出来自所述调制光数据的所述已解码和已解释内容。
在示例26中，示例23至到25中任一项或多项的主题任选地包括：所述电子操作进一步包括通过进行以下各项实现对所述调制光数据的所述经认证源的自动认证：对所述图像数据执行图像识别；其中，标识所述发光物体包括对所述图像数据进行图像识别以指示所述经认证源和所述另一个源；并且其中，根据图像识别技术提供用于将所述发光物体选择为所述经认证源的所述指示，对表示所述图像数据中的所述调制光数据的所述源的物体自动执行所述图像识别技术。
在示例27中，示例21至26中任一项或多项的主题任选地包括：所述电子操作进一步包括通过进行以下各项获得在所述调制光数据中指示的补充数据：解码和解析从来自所述经认证源的所述调制光数据获得的信息，其中，从所述调制光数据获得的所述信息指示来自另一个数据源的所述补充数据的标识符；以及使用所述补充数据的所述标识符从所述另一个数据源获得所述补充数据。
在示例28中，示例27的主题任选地包括：其中，所述标识符是统一资源定位符(URL)，并且其中，从所述另一个数据源获得所述补充数据包括使用无线通信网络访问所述URL。
在示例29中，示例21至28中任一项或多项的主题任选地包括：其中，所述图像数据是从相机获得的，所述相机被定位在机动车辆中以在远离所述机动车辆的方向上捕获场景的图像，并且其中，所述调制光数据用于生成对从覆盖所述场景的所述图像的所述调制光数据获得的信息的自动现实显示。
在示例30中，示例29的主题任选地包括：所述电子操作进一步包括通过进行以下各项从所述图像数据中标识有限评估区域以便自动认证所述经认证源：基于如从所述相机的某个位置捕获的、在远离所述机动车辆的方向上所述场景的仰角来标识所述图像数据的所述有限评估区域；其中，检测所述调制光数据是在所述有限评估区域上执行的，并且其中，标识所述调制光数据是在所述有限评估区域上执行的。
示例31是一种设备，所述设备包括用于执行示例21至30 所述的方法中的任一种方法的装置。
示例32是至少一种包括指令的计算机可读介质，所述指令当被计算系统执行时使所述计算系统执行如示例21至30所述的方法中的任一种方法。
示例33是一种用于使用光学相机通信处理和认证调制光数据的系统，包括：光学图像捕获系统；处理系统，包括：处理电路系统；图像数据处理电路系统，用于评估图像数据，所述图像数据包括对来自光源的调制光数据的指示，其中，所述图像数据是用图像传感器捕获的；认证数据处理电路系统，用于：从图像数据中检测从所述光源发射的调制光数据；从所述图像数据中标识所述光源作为所述调制光数据的源；接收用于将所述光源选择为所述调制光数据的经认证源的指示；并且响应于用于将所述光源选择为所述调制光数据的所述经认证源的指示而执行用于处理来自所述经认证源的所述调制光数据的命令。
在示例34中，示例33的主题任选地包括：光源系统，包括：数据存储装置，用于存储待用调制光输出传输的数据；光发射器，用于用所述调制光输出输出所述数据；以及处理电路系统，耦合至所述数据存储装置和所述光发射器，所述处理电路系统用于控制经由所述光发射器通过所述调制光输出对所述数据的发射。
在示例35中，示例33至34中任一项或多项的主题任选地包括：能够经由网络连接访问的外部数据系统，所述外部数据系统包括：数据存储装置，用于存储数据；通信电路系统，用于接收针对补充数据的请求；以及处理器和存储器，用于处理用于提供所述补充数据的请求，并且响应所述请求而传输所述补充数据；其中，响应于从所述光源读取所述调制光数据而从所述处理系统提供所述针对补充数据的请求，其中，所述调制光数据指示所述针对补充数据的请求的细节。
示例36是一种设备，包括：用于捕获图像数据的装置；用于从所述图像数据中检测从发光物体发射的调制光数据的装置；用于从所述图像数据中标识所述发光物体作为所述调制光数据的源的装置；用于接收用于将所述发光物体选择为所述调制光数据的经认证源的指示的装置；以及用于响应于用于将所述发光物体选择为所述调制光数据的所述经认证源的所述指示而执行用于处理来自所述经认证源的所述调制光数据的命令的装置。
在示例37中，示例36的主题任选地包括：其中，所述图像数据指示多个可用调制光数据源，其中，所述多个源包括所述经认证源和另一个源，所述设备进一步包括：用于将所述经认证源检测为第一组可用调制光数据的第一源并将所述另一个源检测为第二组可用调制光数据的第二源的装置。
在示例38中，示例37的主题任选地包括：用于通过解码所述第一组可用调制光数据并且不解码所述第二组可用调制光数据来执行用于处理所述调制光数据的所述命令的装置。
在示例39中，示例38的主题任选地包括：用于实现对所述调制光数据的所述经认证源的用户认证的装置，所述装置包括：用于生成图形用户界面显示的装置，所述图形用户界面显示包括所述图像数据的输出上的覆盖，所述覆盖提供对所述多个可用调制光数据源的标识；以及用于接收用于从在所述图形用户界面显示中接收的用户输入中选择所述调制光数据的所述经认证源的所述指示的装置，所述用户输入是在所述图形用户界面显示中对所述图像数据的所述输出进行所述覆盖时接收的；用于通过生成图形用户界面显示以便指示所述经认证源和所述另一个源来标识所述发光物体的装置，对所述经认证源和所述另一个源的所述指示在所述图形用户界面显示中被提供为对所述图像数据的输出的覆盖。
在示例40中，示例39的主题任选地包括：用于输出在对所述调制光数据的所述经认证源进行所述用户认证的情况下选择的数据的装置，所述装置包括：用于解码和解释来自从所述经认证源获得的所述调制光数据的内容的装置；以及用于更新所述图形用户界面显示以输出来自所述调制光数据的所述已解码和已解释内容的装置。
在示例41中，示例38至40中任一项或多项的主题任选地包括：用于实现对所述调制光数据的所述经认证源的自动认证的装置，所述装置包括：用于对所述图像数据执行图像识别的装置；用于通过对所述图像数据进行图像识别以指示所述经认证源和所述另一个源来标识所述发光物体的装置；以及用于根据图像识别技术获得用于将所述发光物体选择为所述经认证源的所述指示的装置，对表示所述图像数据中的所述调制光数据的所述源的物体自动执行所述图像识别技术。
在示例42中，示例36至41中任一项或多项的主题任选地包括：用于获得在所述调制光数据中指示的补充数据的装置，所述装置包括：用于解码和解析从来自所述经认证源的所述调制光数据获得的信息的装置，其中，从所述调制光数据获得的所述信息指示来自另一个数据源的所述补充数据的标识符；以及用于使用所述补充数据的所述标识符从所述另一个数据源获得所述补充数据的装置。
在示例43中，示例42的主题任选地包括：用于通过使用无线通信网络访问统一资源定位符(URL)而从所述另一个数据源获得所述补充数据的装置，其中，所述标识符指示所述URL。
在示例44中，示例36至43中任一项或多项的主题任选地包括：用于获得所述图像数据以在远离所述设备的方向上捕获场景的图像的装置；以及用于使用所述调制光数据生成对从覆盖所述场景的所述图像的所述调制光数据获得的信息的自动现实显示的装置。
在示例45中，示例44的主题任选地包括：用于从所述图像数据中标识有限评估区域以便自动认证所述经认证源的装置，所述装置包括：用于基于如从所述设备的位置捕获的所述场景在远离所述设备的方向上的仰角来标识所述图像数据的所述有限评估区域的装置；用于在所述有限评估区域上检测所述调制光数据的装置，并且其中，标识所述调制光数据是在所述有限评估区域上执行的。
在以上具体实施方式中，可以将各种特征组合在一起以便精简本公开。然而，权利要求书可以不对本文中公开的每一个特征进行阐述，因为实施例可能表征所述特征的子集。进一步地，实施例可以包括比在特定示例中公开的更少的特征。因此，以下权利要求书据此被并入具体实施方式中，其中，权利要求作为单独的实施例而独立存在。

Claims (25)

1.一种适用于执行对来自发光物体的光学相机通信的认证的装置，所述装置包括：
处理电路系统，用于：
从图像数据中检测自所述发光物体发射的调制光数据，其中，所述图像数据描绘所述发光物体，并且其中，所述图像数据是用图像传感器捕获的；
从所述图像数据中标识所述发光物体作为所述调制光数据的源；
接收对将所述发光物体选择为所述调制光数据的经认证源的指示；
响应于对将所述发光物体选择为所述调制光数据的所述经认证源的所述指示而执行用于处理来自所述经认证源的所述调制光数据的命令；以及
结合来自另一个源的补充数据来生成图形用户界面，所述图形用户界面包括视野上的覆盖。
2.如权利要求1所述的装置，其中，所述图像数据指示多个可用调制光数据源，其中，所述多个可用调制光数据源包括所述经认证源和另一个源，并且其中，用于标识所述调制光数据的所述源的操作是通过用于将所述经认证源检测为第一组可用调制光数据的第一源并将所述另一个源检测为第二组可用调制光数据的第二源的操作来执行的。
3.如权利要求2所述的装置，其中，执行用于处理所述调制光数据的所述命令的操作包括用于解码所述第一组可用调制光数据并且不解码所述第二组可用调制光数据的操作。
4.如权利要求3所述的装置，所述处理电路系统进一步用于通过以下操作来实现对所述调制光数据的所述经认证源的用户认证：
在图形用户界面显示上包括所述图像数据的输出上的覆盖，所述覆盖提供对所述多个可用调制光数据源的标识；以及
接收对从在所述图形用户界面显示中接收的用户输入中选择所述调制光数据的所述经认证源的所述指示，所述用户输入是在所述图形用户界面显示中对所述图像数据的所述输出进行所述覆盖时接收的；
其中，用于标识所述发光物体的所述操作包括生成所述图形用户界面显示以便指示所述经认证源和所述另一个源，对所述经认证源和所述另一个源的所述指示在所述图形用户界面显示中被提供为对所述图像数据的输出的覆盖。
5.如权利要求4所述的装置，所述处理电路系统进一步用于通过以下操作来输出在对所述调制光数据的所述经认证源进行所述用户认证的情况下选择的数据：
解码和解释来自从所述经认证源获得的所述调制光数据的内容；以及
更新所述图形用户界面显示以输出来自所述调制光数据的已解码和已解释内容。
6.如权利要求3所述的装置，所述处理电路系统进一步用于通过以下操作来实现对所述调制光数据的所述经认证源的自动认证：
对所述图像数据执行图像识别；
其中，用于标识所述发光物体的所述操作包括对所述图像数据进行图像识别以指示所述经认证源和所述另一个源；并且
其中，根据图像识别技术提供对将所述发光物体选择为所述经认证源的所述指示，对表示所述图像数据中的所述调制光数据的所述源的物体自动执行所述图像识别技术。
7.如权利要求1所述的装置，所述处理电路系统进一步用于通过以下操作来获得在所述调制光数据中指示的补充数据：
解码和解析从来自所述经认证源的所述调制光数据获得的信息，其中，从所述调制光数据获得的所述信息指示来自另一个数据源的所述补充数据的标识符；以及
使用所述补充数据的所述标识符从所述另一个数据源获得所述补充数据。
8.如权利要求7所述的装置，其中，所述标识符是统一资源定位符URL，并且其中，用于从所述另一个数据源获得所述补充数据的操作包括使用无线通信网络访问所述URL。
9.如权利要求1所述的装置，其中，所述图像数据是从相机获得的，所述相机被定位在机动车辆中以在远离所述机动车辆的方向上捕获场景的图像，并且其中，所述调制光数据用于生成对从覆盖所述场景的所述图像的所述调制光数据获得的信息的自动现实显示。
10.如权利要求9所述的装置，所述处理电路系统进一步用于通过以下操作从所述图像数据中标识有限评估区域以便自动认证所述经认证源：
基于从所述相机的某个位置捕获的、在远离所述机动车辆的方向上所述场景的仰角来标识所述图像数据的所述有限评估区域；
其中，用于检测所述调制光数据的操作是在所述有限评估区域上执行的，并且其中，用于标识所述调制光数据的操作是在所述有限评估区域上执行的。
11.一种执行对来自发光物体的光学相机通信的认证的方法，所述方法包括电子操作，所述电子操作包括：
从图像数据中检测从所述发光物体发射的调制光数据，其中，所述图像数据描绘所述发光物体，并且其中，所述图像数据是用图像传感器捕获的；
从所述图像数据中标识所述发光物体作为所述调制光数据的源；
接收用于将所述发光物体选择为所述调制光数据的经认证源的指示；
响应于对将所述发光物体选择为所述调制光数据的所述经认证源的所述指示而执行用于处理来自所述经认证源的所述调制光数据的命令；
结合来自另一个源的补充数据来生成图形用户界面，所述图形用户界面包括视野上的覆盖。
12.如权利要求11所述的方法，其中，所述图像数据指示多个可用调制光数据源，其中，所述多个可用调制光数据源包括所述经认证源和另一个源，并且其中，标识所述调制光数据的所述源是通过将所述经认证源检测为第一组可用调制光数据的第一源并将所述另一个源检测为第二组可用调制光数据的第二源来执行的。
13.如权利要求12所述的方法，其中，执行用于处理所述调制光数据的所述命令包括解码所述第一组可用调制光数据并且不解码所述第二组可用调制光数据。
14.如权利要求13所述的方法，所述电子操作进一步包括通过进行以下各项实现对所述调制光数据的所述经认证源的用户认证：
在图形用户界面显示上包括所述图像数据的输出上的覆盖，所述覆盖提供对所述多个可用调制光数据源的标识；以及
接收对从在所述图形用户界面显示中接收的用户输入中选择所述调制光数据的所述经认证源的所述指示，所述用户输入是在所述图形用户界面显示中对所述图像数据的所述输出进行所述覆盖时接收的；
其中，标识所述发光物体包括生成所述图形用户界面显示以便指示所述经认证源和所述另一个源，对所述经认证源和所述另一个源的所述指示在所述图形用户界面显示中被提供为对所述图像数据的输出的覆盖。
15.如权利要求14所述的方法，所述电子操作进一步包括通过进行以下各项输出在对所述调制光数据的所述经认证源进行所述用户认证的情况下选择的数据：
解码和解释来自从所述经认证源获得的所述调制光数据的内容；以及
更新所述图形用户界面显示以输出来自所述调制光数据的已解码和已解释内容。
16.如权利要求13所述的方法，所述电子操作进一步包括通过进行以下各项实现对所述调制光数据的所述经认证源的自动认证：
对所述图像数据执行图像识别；
其中，标识所述发光物体包括对所述图像数据进行图像识别以指示所述经认证源和所述另一个源；并且
其中，根据图像识别技术提供对将所述发光物体选择为所述经认证源的所述指示，对表示所述图像数据中的所述调制光数据的所述源的物体自动执行所述图像识别技术。
17.如权利要求11所述的方法，所述电子操作进一步包括通过进行以下各项获得在所述调制光数据中指示的补充数据：
解码和解析从来自所述经认证源的所述调制光数据获得的信息，其中，从所述调制光数据获得的所述信息指示来自另一个数据源的所述补充数据的标识符；以及
使用所述补充数据的所述标识符从所述另一个数据源获得所述补充数据。
18.如权利要求17所述的方法，其中，所述标识符是统一资源定位符URL，并且其中，从所述另一个数据源获得所述补充数据包括使用无线通信网络访问所述URL。
19.如权利要求11所述的方法，其中，所述图像数据是从相机获得的，所述相机被定位在机动车辆中以在远离所述机动车辆的方向上捕获场景的图像，并且其中，所述调制光数据用于生成对从覆盖所述场景的所述图像的所述调制光数据获得的信息的自动现实显示。
20.如权利要求19所述的方法，所述电子操作进一步包括通过进行以下各项从所述图像数据中标识有限评估区域以便自动认证所述经认证源：
基于从所述相机的某个位置捕获的、在远离所述机动车辆的方向上所述场景的仰角来标识所述图像数据的所述有限评估区域；
其中，检测所述调制光数据是在所述有限评估区域上执行的，并且其中，标识所述调制光数据是在所述有限评估区域上执行的。
21.一种设备，包括用于执行如权利要求11至20所述的方法中的任一种方法的装置。
22.至少一种包括指令的计算机可读介质，所述指令当被计算系统执行时使所述计算系统执行如权利要求11至20所述的方法中的任一种方法。
23.一种用于使用光学相机通信处理和认证调制光数据的系统，包括：
光学图像捕获系统；
处理系统，包括：
处理电路系统；
图像数据处理电路系统，用于评估图像数据，所述图像数据包括对来自光源的调制光数据的指示，其中，所述图像数据是用图像传感器捕获的；
认证数据处理电路系统，用于：
从图像数据中检测从所述光源发射的调制光数据；
从所述图像数据中标识所述光源作为所述调制光数据的源；
接收对将所述光源选择为所述调制光数据的经认证源的指示；
响应于对将所述光源选择为所述调制光数据的所述经认证源的指示而执行用于处理来自所述经认证源的所述调制光数据的命令；
结合来自另一个源的补充数据来生成图形用户界面，所述图形用户界面包括视野上的覆盖。
24.如权利要求23所述的系统，进一步包括：
光源系统，包括：
数据存储装置，用于存储待用调制光输出传输的数据；
光发射器，用于用所述调制光输出来输出所述数据；以及
处理电路系统，耦合至所述数据存储装置和所述光发射器，所述处理电路系统用于控制经由所述光发射器通过所述调制光输出对所述数据的发射。
25.如权利要求23所述的系统，进一步包括：
经由网络连接能够访问的外部数据系统，所述外部数据系统包括：
数据存储装置，用于存储数据；
通信电路系统，用于接收针对补充数据的请求；以及
处理器和存储器，用于处理对提供所述补充数据的请求，并且响应所述请求而传送所述补充数据；
其中，响应于从所述光源读取所述调制光数据而从所述处理系统提供所述针对补充数据的请求，其中，所述调制光数据指示所述针对补充数据的请求的细节。
CN201780053468.9A 2016-09-30 2017-08-11 对光通信源的数据处理和认证 Active CN109644052B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/282,328 US20180098215A1 (en) 2016-09-30 2016-09-30 Data processing and authentication of light communication sources
US15/282,328 2016-09-30
PCT/US2017/046611 WO2018063532A1 (en) 2016-09-30 2017-08-11 Data processing and authentication of light communication sources

Publications (2)

Publication Number Publication Date
CN109644052A CN109644052A (zh) 2019-04-16
CN109644052B true CN109644052B (zh) 2023-03-17

Family

ID=61758633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780053468.9A Active CN109644052B (zh) 2016-09-30 2017-08-11 对光通信源的数据处理和认证

Country Status (6)

Country Link
US (1) US20180098215A1 (zh)
EP (1) EP3520251B1 (zh)
JP (1) JP7172004B2 (zh)
KR (1) KR102488828B1 (zh)
CN (1) CN109644052B (zh)
WO (1) WO2018063532A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017025854A1 (en) * 2015-08-07 2017-02-16 Tridonic Gmbh & Co Kg Commissioning device for commissioning installed building technology devices
US11817900B2 (en) * 2016-11-29 2023-11-14 Signify Holding B.V. Visible light communication detecting and/or decoding
CN106788727B (zh) * 2017-01-06 2019-09-06 京东方科技集团股份有限公司 车载可见光发射系统和接收系统以及通信网络
DE102018005870A1 (de) * 2018-07-25 2020-01-30 Zf Active Safety Gmbh System zur Ortung und Klassifikation von Objeketen
KR102639260B1 (ko) * 2019-01-03 2024-02-22 삼성전자주식회사 전자장치 및 그 제어방법
CN110133685B (zh) * 2019-05-22 2023-04-14 吉林大学 基于occ的路灯辅助手机详细定位通信系统
CN110649971A (zh) * 2019-09-29 2020-01-03 福州京东方光电科技有限公司 可见光产生、通信方法和装置及可见光通信系统
US11445369B2 (en) * 2020-02-25 2022-09-13 International Business Machines Corporation System and method for credential generation for wireless infrastructure and security
WO2021259502A1 (en) * 2020-06-26 2021-12-30 Telefonaktiebolaget Lm Ericsson (Publ) Enabling rendering of user-specific information using a display device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104520841A (zh) * 2012-09-13 2015-04-15 英特尔公司 用于改进用户体验的方法和装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4765027B2 (ja) * 2005-07-29 2011-09-07 国立大学法人 奈良先端科学技術大学院大学 情報処理装置及び情報処理システム
JP2007295490A (ja) * 2006-04-27 2007-11-08 Kyocera Corp 可視光通信装置および可視光受信方法
EP1981183A3 (en) * 2007-04-09 2008-11-05 Ajang Bahar Devices, systems and methods for ad hoc wireless communication
US7974536B2 (en) * 2007-09-06 2011-07-05 Motorola Mobility, Inc. System and method for pre-configuring and authenticating data communication links
JP2009212768A (ja) * 2008-03-04 2009-09-17 Victor Co Of Japan Ltd 可視光通信光送信装置、情報提供装置、及び情報提供システム
JP2010212920A (ja) * 2009-03-10 2010-09-24 Panasonic Corp 可視光通信装置及び方法
JP5282899B2 (ja) * 2009-03-19 2013-09-04 カシオ計算機株式会社 情報復元装置及び情報復元方法
EP2503852A1 (en) * 2011-03-22 2012-09-26 Koninklijke Philips Electronics N.V. Light detection system and method
EP2748950B1 (en) * 2011-10-14 2018-11-28 Philips Lighting Holding B.V. Coded light detector
US10552846B2 (en) * 2012-10-12 2020-02-04 Document Security Systems, Inc. Authenticated barcode patterns
EP2910019A4 (en) * 2012-10-19 2016-08-24 Daniel Ryan SELF-IDENTIFICATING UNIDIRECTIONAL AUTHENTICATION PROCEDURE USING OPTICAL SIGNALS
US20150062114A1 (en) * 2012-10-23 2015-03-05 Andrew Ofstad Displaying textual information related to geolocated images
US8922666B2 (en) * 2012-12-27 2014-12-30 Panasonic Intellectual Property Corporation Of America Information communication method
JP5530578B1 (ja) 2012-12-27 2014-06-25 パナソニック株式会社 情報通信方法
CN104919727B (zh) 2012-12-27 2018-11-23 松下电器（美国）知识产权公司 信息通信方法、信息通信装置、以及记录介质
KR101447602B1 (ko) * 2013-06-12 2014-10-07 부경대학교 산학협력단 단말기의 조도 센서를 활용한 광통신 시스템 및 그 방법
CA2934784A1 (en) * 2013-12-27 2015-07-02 Panasonic Intellectual Property Corporation Of America Visible light communication method, identification signal, and receiver
JP6434724B2 (ja) 2014-07-01 2018-12-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報通信方法
US20160036484A1 (en) * 2014-08-02 2016-02-04 Obx Computing Corporation Networkable light emitting device and methods and systems for using same
EP3264636B1 (en) * 2015-02-27 2023-11-08 Panasonic Intellectual Property Corporation of America Signal generation method, signal generation device and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104520841A (zh) * 2012-09-13 2015-04-15 英特尔公司 用于改进用户体验的方法和装置

Also Published As

Publication number Publication date
US20180098215A1 (en) 2018-04-05
KR20190050768A (ko) 2019-05-13
CN109644052A (zh) 2019-04-16
EP3520251A4 (en) 2020-06-24
JP7172004B2 (ja) 2022-11-16
JP2019532389A (ja) 2019-11-07
WO2018063532A1 (en) 2018-04-05
EP3520251A1 (en) 2019-08-07
KR102488828B1 (ko) 2023-01-17
EP3520251B1 (en) 2022-10-26

Similar Documents

Publication Publication Date Title
CN109644052B (zh) 对光通信源的数据处理和认证
US11686586B2 (en) Facilitating rider pick-up for a transport service
US11526325B2 (en) Projection, control, and management of user device applications using a connected resource
CN107835500B (zh) 使用移动设备识别车辆
CN109154980A (zh) 用于验证交通标志的内容和安装地点的方法
US20170294130A1 (en) Rider-vehicle handshake
KR102440381B1 (ko) 차량을 호출함
WO2015013375A1 (en) Augmented reality graphical user interface for network controlled lighting systems
US20190215654A1 (en) A method of locating a mobile device in a group of mobile devices
US20190164325A1 (en) Augmented reality positioning and tracking system and method
KR20220024302A (ko) 블록체인과 해쉬 암호화 기술을 기반으로 한 영상 인증 시스템 및 그 방법
US10366286B2 (en) Detection of traffic light signal changes
US20160117553A1 (en) Method, device and system for realizing visual identification
CN115803796A (zh) 用于为车辆检测交通杆攻击的系统和方法
WO2020139490A1 (en) Authentication by navigation-correlated sensing
US20230062244A1 (en) Extended reality control of smart devices
JP7210050B2 (ja) 方法およびシステム
KR20150124055A (ko) 차량용 단말장치를 이용한 컨텐츠 공유 방법 및 그를 이용하는 장치
KR20230056856A (ko) 차량에 탑재된 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant