CN111753565A - 用于呈现与光通信装置有关的信息的方法和电子设备 - Google Patents

用于呈现与光通信装置有关的信息的方法和电子设备 Download PDF

Info

Publication number
CN111753565A
CN111753565A CN201910237930.1A CN201910237930A CN111753565A CN 111753565 A CN111753565 A CN 111753565A CN 201910237930 A CN201910237930 A CN 201910237930A CN 111753565 A CN111753565 A CN 111753565A
Authority
CN
China
Prior art keywords
communication device
optical communication
camera
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910237930.1A
Other languages
English (en)
Other versions
CN111753565B (zh
Inventor
方俊
牛旭恒
王强
李江亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Whyhow Information Technology Co Ltd
Original Assignee
Beijing Whyhow Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Whyhow Information Technology Co Ltd filed Critical Beijing Whyhow Information Technology Co Ltd
Priority to CN201910237930.1A priority Critical patent/CN111753565B/zh
Priority to PCT/CN2020/080160 priority patent/WO2020192543A1/zh
Priority to TW109110632A priority patent/TW202103045A/zh
Publication of CN111753565A publication Critical patent/CN111753565A/zh
Application granted granted Critical
Publication of CN111753565B publication Critical patent/CN111753565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)

Abstract

提供了用于呈现与光通信装置有关的信息的方法和电子设备，该方法包括：使用第一摄像头在光通信装置识别模式下获得包含光通信装置的第一图像；基于所述第一图像获得所述光通信装置相对于第一摄像头的位置信息；根据所述光通信装置相对于第一摄像头的位置信息获得所述光通信装置相对于第二摄像头的位置信息；使用第二摄像头获得包含所述光通信装置的第二图像；以及根据所述光通信装置相对于第二摄像头的位置信息在所述第二图像上呈现与所述光通信装置有关的信息。

Description

用于呈现与光通信装置有关的信息的方法和电子设备
技术领域
本发明属于光信息技术领域，尤其涉及一种用于呈现与光通信装置有关的信息的方法和电子设备。
背景技术
本部分的陈述仅仅是为了提供与本发明相关的背景信息，以帮助理解本发明，这些背景信息并不一定构成现有技术。
光通信装置也称为光标签，这两个术语在本文中可以互换使用。光标签能够通过发出不同的光来传递信息，其具有识别距离远、可见光条件要求宽松、指向性强的优势，并且光标签所传递的信息可以随时间变化，从而可以提供大的信息容量和灵活的配置能力。相比于传统的二维码，光标签具有更远的识别距离和更强的信息交互能力，从而可以为用户和商家提供巨大的便利性。
光标签识别设备例如可以是用户携带的移动设备(例如，带有摄像头的手机、平板电脑、智能眼镜、智能头盔、智能手表等等)，也可以是能够自主移动的机器(例如，无人机、无人驾驶汽车、机器人等等)。在很多情况下，为了识别光标签传递的信息或者为了避免环境光的干扰，识别设备需要通过其上的摄像头在特定的光标签识别模式(例如，低曝光模式)下对光标签进行图像采集来获得光标签的图像，并通过内置的应用程序来分析这些图像以识别出光标签传递的信息。但是，以特定的光标签识别模式拍摄的包含光标签的图像通常不能良好地再现光标签周围的环境信息，这对于用户体验或后续的用户交互是非常不利的。例如，对于在低曝光模式下拍摄的包含光标签的图像，光标签周围环境的成像的亮度通常非常低，甚至一团漆黑。当在光标签识别设备的显示屏幕上显示这样的图像时，会影响用户的交互体验。图1示出了一个示例性的在低曝光模式下拍摄的包含光标签的图像，在该图的上部的中间位置具有光标签的成像，但是，由于光标签周围的物体通常亮度较低，因此很难从该低曝光模式下拍摄的图像中分辨出光标签周围的物体。在正常拍摄模式下获得的图像虽然能够示出光标签周围的环境信息，但是，由于该图像不是在光标签识别模式下拍摄的，因此基于该图像无法实现光标签的识别(也即，无法识别出光标签或者光标签传递的信息)，因此无法在该图像上呈现与光标签对应的交互信息(例如，交互图标)。
因此，需要一种改善的用于呈现与光标签有关的信息的方法和电子设备。
发明内容
本发明的一个方面涉及一种用于呈现与光通信装置有关的信息的方法，包括：使用第一摄像头在光通信装置识别模式下获得包含光通信装置的第一图像；基于所述第一图像获得所述光通信装置相对于第一摄像头的位置信息；根据所述光通信装置相对于第一摄像头的位置信息获得所述光通信装置相对于第二摄像头的位置信息；使用第二摄像头获得包含所述光通信装置的第二图像；以及根据所述光通信装置相对于第二摄像头的位置信息在所述第二图像上呈现与所述光通信装置有关的信息。
可选地，其中，根据所述光通信装置相对于第一摄像头的位置信息获得所述光通信装置相对于第二摄像头的位置信息包括：根据所述光通信装置相对于第一摄像头的位置信息，使用第一摄像头与第二摄像头之间的旋转矩阵和位移向量，获得所述光通信装置相对于第二摄像头的位置信息。
可选地，其中，基于所述第一图像获得所述光通信装置相对于第一摄像头的位置信息包括：基于所述第一图像中的光通信装置的成像来获得所述光通信装置相对于第一摄像头的位置信息。
可选地，其中，所述基于所述第一图像中的光通信装置的成像来获得所述光通信装置相对于第一摄像头的位置信息包括：基于所述第一图像中的光通信装置的成像大小来获得光通信装置相对于第一摄像头的距离；基于所述第一图像中的光通信装置的成像位置来获得光通信装置相对于第一摄像头的方向；以及通过光通信装置相对于第一摄像头的距离和方向来获得所述光通信装置相对于第一摄像头的位置信息。
可选地，其中，所述基于所述第一图像中的光通信装置的成像来获得所述光通信装置相对于第一摄像头的位置信息包括：根据光通信装置上的一些点在光通信装置坐标系中的坐标以及这些点在所述第一图像中的成像位置，并结合第一摄像头的内参信息，获得所述光通信装置相对于第一摄像头的位置信息。
可选地，上述方法还包括：基于所述第一图像获得所述光通信装置相对于第一摄像头的姿态信息；根据所述光通信装置相对于第一摄像头的姿态信息获得所述光通信装置相对于第二摄像头的姿态信息，以及其中，所述根据所述光通信装置相对于第二摄像头的位置信息在所述第二图像上呈现与所述光通信装置有关的信息包括：根据所述光通信装置相对于第二摄像头的位置信息和姿态信息在所述第二图像上呈现与所述光通信装置有关的信息。
可选地，其中，基于所述第一图像获得所述光通信装置相对于第一摄像头的姿态信息包括：基于所述第一图像中的光通信装置的成像来获得所述光通信装置相对于第一摄像头的姿态信息。
可选地，其中，所述基于所述第一图像中的光通信装置的成像来获得所述光通信装置相对于第一摄像头的姿态信息包括：通过确定所述第一图像中的光通信装置的成像的透视变形，来获得所述光通信装置相对于第一摄像头的姿态信息。
可选地，其中，所述基于所述第一图像中的光通信装置的成像来获得所述光通信装置相对于第一摄像头的姿态信息包括：根据光通信装置上的一些点在光通信装置坐标系中的坐标以及这些点在所述第一图像中的成像位置，获得所述光通信装置相对于第一摄像头的姿态信息。
可选地，其中，根据光通信装置的物理尺寸信息和/或物理形状信息来确定光通信装置上的一些点在光通信装置坐标系中的坐标。
可选地，其中，根据所述光通信装置相对于第二摄像头的位置信息在所述第二图像上呈现与所述光通信装置有关的信息包括：根据所述光通信装置相对于第二摄像头的位置信息，确定与该位置信息对应的在所述第二图像中的成像位置，并在所述第二图像中的所述成像位置处呈现与所述光通信装置有关的信息。
可选地，其中，所述第二图像为正常曝光的实景图像。
可选地，上述方法还包括：基于所述第一图像获得所述光通信装置的标识信息。
本发明的另一个方面涉及一种用于呈现与光通信装置有关的信息的方法，包括：使用第一摄像头在光通信装置识别模式下获得包含光通信装置的第一图像；获得所述光通信装置在第一图像中的第一成像位置；使用第二摄像头获得包含所述光通信装置的第二图像；以及根据所述第一成像位置在所述第二图像中的第二成像位置处呈现与所述光通信装置有关的信息，其中，所述第一摄像头和第二摄像头安装于同一平面并具有相同的姿态和内参。
可选地，其中，所述第二成像位置与所述第一成像位置相同。
可选地，其中，根据第一摄像头和第二摄像头之间的相对偏移、所述第一成像位置、所述光通信装置在第一摄像头坐标系或第二摄像头坐标系中的Z坐标或者所述光通信装置到第一摄像头和第二摄像头的安装平面的垂直距离，来确定所述第二成像位置。
可选地，其中，根据第一摄像头和第二摄像头之间的相对偏移、所述第一成像位置、所述光通信装置到第一摄像头或第二摄像头的距离，来确定所述第二成像位置。
本发明的另一个方面涉及一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，能够用于实现上述的方法。
本发明的再一个方面涉及一种电子设备，其中包括处理器和存储器，在存储器中存储有计算机程序，当该计算机程序被处理器执行时，能够用于实现上述的方法。
本发明的方案提供一种用于呈现与光通信装置有关的信息的方法，通过该方法，可以在非光标签识别模式下拍摄的图像(例如正常模式下拍摄的实景图像)上呈现与光标签有关的信息，因此，使得用户不仅能够通过设备呈现的图像与光标签进行交互操作，也能够感知光标签周围的环境信息，从而提高了交互效率，改善了交互体验。
附图说明
以下参照附图对本发明实施例作进一步说明，其中：
图1示出了一个示例性的在低曝光模式下拍摄的包含光标签的图像；
图2示出了一种示例性的光标签；
图3示出了由滚动快门成像设备在低曝光模式下拍摄的光标签的一张图像；
图4示出了根据本发明的一个实施例的用于呈现与光标签有关的信息的方法；
图5示出了一个示例性的包含光标签的正常曝光的图像；
图6示出了一个示例性的根据本发明的实施例呈现的图像；以及
图7示出了根据本发明的另一个实施例的用于呈现与光标签有关的信息的方法。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
光标签中通常可以包括控制器和至少一个光源，该控制器可以通过不同的驱动模式来驱动光源，以向外传递不同的信息。为了基于光标签向用户和商家提供相应的服务，每个光标签可以被分配一个标识信息(ID)，该标识信息用于由光标签的制造者、管理者或使用者等唯一地识别或标识光标签。通常，可由光标签中的控制器驱动光源以向外传递该标识信息，而用户可以使用光标签识别设备对光标签进行连续的图像采集来获得该光标签传递的标识信息，从而可以基于该标识信息来访问相应的服务，例如，访问与光标签的标识信息相关联的网页、获取与标识信息相关联的其他信息(例如，与该标识信息对应的光标签的位置信息)、等等。
图2示出了一种示例性的光标签100，其包括三个光源(分别是第一光源101、第二光源102、第三光源103)。光标签100还包括控制器(在图2中未示出)，其用于根据要传递的信息为每个光源选择相应的驱动模式。例如，在不同的驱动模式下，控制器可以使用具有不同频率的驱动信号来控制光源的开启和关闭，从而使得当使用滚动快门成像设备(例如CMOS成像设备)在低曝光模式下拍摄光标签100时，其中的光源的图像可以呈现出不同的条纹。图3示出了当光标签100在传递信息时由滚动快门成像设备在低曝光模式下拍摄的光标签100的一张图像，其中，第一光源101的图像呈现出相对较窄的条纹，第二光源102和第三光源103的图像呈现出相对较宽的条纹。通过分析光标签100中的光源的成像，可以解析出各个光源此刻的驱动模式，从而解析出光标签100此刻传递的信息。
光标签中还可以另外包括位于用于传递信息的光源附近的一个或多个定位标识，该定位标识例如可以是特定形状或颜色的灯，该灯例如可以在工作时保持常亮。
光标签识别设备例如可以是用户携带的设备(例如，带有摄像头的手机、平板电脑、智能眼镜、智能头盔、智能手表等等)，也可以是能够自主移动的机器(例如，无人机、无人驾驶汽车、机器人等等)。光标签识别设备可以通过其上的摄像头对光标签进行连续的图像采集来获得包含光标签的多张图像，并通过分析每张图像中的光标签(或光标签中的各个光源)的成像以识别出光标签传递的信息。
可以将光标签的标识信息(ID)以及任何其他信息存储于服务器中，该其他信息例如是与光标签相关的服务信息、与光标签相关的描述信息或属性信息，如光标签的位置信息、物理尺寸信息、物理形状信息、朝向信息等。光标签也可以具有统一的或默认的物理尺寸信息和物理形状信息等。设备可以使用识别出的光标签的标识信息来从服务器查询获得与该光标签有关的其他信息。服务器可以是在计算装置上运行的软件程序、一台计算装置或者由多台计算装置构成的集群。光标签可以是离线的，也即，光标签不需要与服务器进行通信。当然，可以理解，能够与服务器进行通信的在线光标签也是可行的。
图4示出了根据本发明的一个实施例的用于呈现与光标签有关的信息的方法，该方法可以由使用了两个摄像头(分别称为第一摄像头和第二摄像头)的设备来执行，其中，第一摄像头用于在光标签识别模式下操作以识别光标签，第二摄像头用于拍摄包含光标签的图像(例如，正常曝光下的实景图像)。第一摄像头和第二摄像头可以具有固定的相对关系(例如，相对位置关系和相对方向关系)。在一个实施例中，第一摄像头和第二摄像头可以安装于同一个设备(例如，具有至少两个摄像头的手机)上。然而，第一摄像头和第二摄像头中的任一个或两者也可以不安装于设备上，而是与该设备可通信地连接。可以预先确定第一摄像头与第二摄像头之间(也可以称为第一摄像头坐标系与第二摄像头坐标系之间)的旋转矩阵R0和位移向量t0，以及这两个摄像头的内参信息等。旋转矩阵R0表示两个摄像头之间的相对姿态信息，位移向量t0表示两个摄像头之间的相对位移信息。通过使用该旋转矩阵R0和位移向量t0，可以通过旋转操作和位移操作将第一摄像头坐标系中的位置信息转换为在第二摄像头坐标系中的位置信息。在一些具有两个摄像头的设备(例如具有两个摄像头的手机)中，两个摄像头的姿态是相同的，在这种情况下，旋转矩阵R0为单位矩阵，因此实际上可以不进行两个摄像头坐标系之间的旋转操作。该方法包括如下步骤：
步骤401：使用第一摄像头在光标签识别模式下获得包含光标签的第一图像。
当第一摄像头在光标签识别模式下工作时，其可以拍摄包含光标签的第一图像(例如，图1所示的图像)。通过分析该第一图像，可以获得光标签的成像位置以及光标签传递的信息。光标签识别模式通常与摄像头的正常拍摄模式不同，例如，在光标签识别模式下，摄像头可以被设置到预定的低曝光模式，以便能够从拍摄的第一图像中识别出光标签传递的信息。在识别出了光标签传递的信息之后，可以在光标签的成像位置处呈现与该光标签对应的交互信息(例如，交互图标)，供用户操作。但是，该第一图像可能并不是用户友好的，因为用户通过肉眼观察该第一图像时可能难以获得有用的其他信息，例如光标签周围环境的信息。因此，直接在使用光标签识别模式获得的图像上呈现与光标签对应的交互信息不能提供良好的用户体验。
另外，需要说明的是，虽然光标签识别模式通常与摄像头的正常拍摄模式不同，但是本发明并不排除光标签识别模式与正常拍摄模式相同或基本相同的方案。
步骤402：基于第一图像获得光标签相对于第一摄像头的位置信息。
可以通过分析在第一图像中的光标签的成像来获得光标签相对于第一摄像头的位置信息，其可以被表示为光标签在第一摄像头坐标系中的位置信息。例如，该位置信息可以由以第一摄像头为原点的坐标系中的坐标(X1,Y1,Z1)来表示，并可以被称为位移向量t1。光标签的位置信息可以由一个点的位置信息来表示，例如，可以由光标签的中心点的位置信息来表示光标签的位置信息；光标签的位置信息也可以由多个点的位置信息来表示，例如，可以由能够限定光标签的大致轮廓的多个点的位置信息来表示光标签的位置信息；光标签的位置信息也可以由一个区域的位置信息来表示；等等。
在一个实施例中，可以通过分析在第一图像中的光标签的成像来确定光标签相对于第一摄像头的距离和方向，从而确定其相对于第一摄像头的位置信息。例如，可以通过第一图像中的光标签成像大小以及可选的其他信息(例如，光标签的实际物理尺寸信息、摄像头内参)来确定光标签与第一摄像头的相对距离(成像越大，距离越近；成像越小，距离越远)。第一摄像头所在的设备可以从服务器获得光标签的实际物理尺寸信息，或者光标签可以具有默认的统一的物理尺寸(其可以存储在设备上)。可以通过分析第一图像中的光标签成像位置，来确定光标签相对于第一摄像头的方向。
另外地或者可选地，还可以进一步通过分析在第一图像中的光标签的成像来确定光标签成像的透视变形，从而确定光标签相对于第一摄像头的姿态信息(也可称为方向信息或朝向信息)，例如，光标签在第一摄像头坐标系中的姿态信息。第一摄像头所在的设备可以从服务器获得光标签的实际物理形状信息，或者光标签可以具有默认的统一的物理形状(其可以存储在设备上)。所确定的光标签相对于第一摄像头的姿态信息可以由一个旋转矩阵R1表示。旋转矩阵在成像领域中是已知的，为了不模糊本发明，在此不再详细描述。
在一个实施例中，可以根据光标签建立一个坐标系，该坐标系可以被称为世界坐标系或光标签坐标系。可以将光标签上的一些点确定为在该世界坐标系中的一些空间点，并且可以根据光标签的物理尺寸信息和/或物理形状信息来确定这些空间点在该世界坐标系中的坐标。第一摄像头所在的设备可以从服务器获得光标签的物理尺寸信息和/或物理形状信息，或者光标签可以具有默认的统一的物理尺寸信息和/或物理形状信息，并且设备可以存储该物理尺寸信息和/或物理形状信息。光标签上的一些点例如可以是光标签的外壳的角、光标签中的光源的端部、光标签中的一些标识点、等等。根据光标签的物体结构特征或几何结构特征，可以在第一图像中找到与这些空间点分别对应的像点，并确定各个像点在第一图像中的位置。根据各个空间点在世界坐标系中的坐标以及对应的各个像点在第一图像中的位置，结合第一摄像头的内参信息，可以计算得到光标签在第一摄像头坐标系中的位置信息，其可以用位移向量t1来表示。另外地或者可选地，根据各个空间点在世界坐标系中的坐标以及对应的各个像点在第一图像中的位置，还可以计算得到光标签在第一摄像头坐标系中的姿态信息，其可以用旋转矩阵R1来表示。旋转矩阵R1与位移向量t1的组合(R1，t1)即为光标签在第一摄像头坐标系中的位姿信息(也即，位置和姿态信息)。根据各个空间点在世界坐标系中的坐标以及对应的各个像点在图像中的位置来计算旋转矩阵R和位移向量t的方法在现有技术中是已知的，例如，可以利用3D-2D的PnP(Perspective-n-Point)方法来计算R、t，为了不模糊本发明，在此不再详细介绍。旋转矩阵R和位移向量t实际上可以描述如何将某个点的坐标在世界坐标系和摄像头坐标系之间转换。例如，通过旋转矩阵R和位移向量t，可以将某个空间点在世界坐标系中的坐标转换为在摄像头坐标系中的坐标，并可以进一步转换为图像中的像点的位置。
在一个实施例中，可以进一步基于第一图像中光标签的成像来获得光标签传递的信息，例如光标签的标识信息。
步骤403：根据光标签相对于第一摄像头的位置信息获得光标签相对于第二摄像头的位置信息。
在获得了光标签相对于第一摄像头的位置信息(例如由位移向量t1表示的位置信息)之后，可以根据该位置信息，使用第一摄像头与第二摄像头之间的旋转矩阵R0和位移向量t0，获得光标签相对于第二摄像头的位置信息，该位置信息例如可以是光标签在第二摄像头坐标系中的位置信息，并可以由位移向量t2表示。
另外地或者可选地，如果在步骤402中还获得了光标签相对于第一摄像头的姿态信息(例如由旋转矩阵R1表示的姿态信息)，可以根据该姿态信息，使用第一摄像头与第二摄像头之间的旋转矩阵R0，获得光标签相对于第二摄像头的姿态信息，例如，光标签在第二摄像头坐标系中的姿态信息，该姿态信息可以由旋转矩阵R2表示。
步骤404：使用第二摄像头获得包含光标签的第二图像。
第二摄像头所获得的包含光标签的第二图像例如可以是正常曝光的实景图像，其中包含了光标签以及其周围环境的信息。图5示出了一个示例性的包含光标签的正常曝光的图像，其与图1所示的低曝光图像对应，其中示出了一个餐厅的门，以及在门的上方的一个矩形的光标签。该第二图像虽然能够示出光标签周围的环境信息(也即，第二图像是用户友好的)，但是，由于该第二图像不是在光标签识别模式下拍摄的，因此基于该第二图像无法实现光标签的识别(也即，无法识别出光标签或者光标签传递的信息)，从而也就无法在该第二图像上呈现与该光标签对应的信息(例如，交互图标)。
第二摄像头所获得的包含光标签的第二图像优选的是正常曝光的实景图像，但这并非限制，根据实际需要，第二图像也可以是摄像头在其他拍摄模式下获得的图像，例如灰度图像等。
步骤405：根据光标签相对于第二摄像头的位置信息，在所述第二图像上呈现与所述光标签有关的信息。
在一个实施例中，在获得了光标签相对于第二摄像头的位置信息之后，可以根据该位置信息，结合第二摄像头的内参信息，利用成像公式计算光标签在第二摄像头拍摄的第二图像上应该处于的显示位置。根据某个点相对于摄像头的位置信息利用成像公式计算该点的成像位置在本领域中是公知的，在此不再详细描述，以免模糊本发明。根据所计算的显示位置，可以在第二图像上的合适位置处呈现(例如，叠加、嵌入、覆盖等等)与光标签有关的信息，该合适位置优选地是所计算的显示位置。与光标签有关的信息可以是各种信息，例如，光标签的图像、光标签的标志、光标签的标识信息、与光标签或其标识信息相关联的图标、与光标签或其标识信息相关联的店铺名称、与光标签或其标识信息相关联的任何其他信息，以及它们的各种组合。
另外地或者可选地，如果在步骤403中还获得了光标签相对于第二摄像头的姿态信息，则在所述第二图像上呈现与光标签有关的信息时，还可以进一步基于该姿态信息来呈现与光标签有关的信息。例如，在呈现光标签的图像、标志、图标等时，可以基于光标签在第二摄像头坐标系中的姿态信息，设置这些图像、标志、图标等的姿态信息。这是有利的，特别是当与光标签对应的标志或图标等是三维虚拟对象时。
图6示出了一个示例性的根据本发明的实施例呈现的图像，其在图5所示的图像的基础上叠加了一个与其中的光标签相关联的圆形图标，该圆形图标的显示位置为光标签的成像位置。该图标可以具有交互功能，用户在点击该图标之后，可以访问相应餐厅的信息，并可以执行预定、排队、点餐等操作。如此，使得用户不仅能够通过设备呈现的图像与光标签进行交互操作，也能够感知光标签周围的环境信息。
可以理解，上文所述的获得第一图像、获得第二图像等步骤可以以任何合适的顺序执行，并且可以并发执行。另外，这些步骤也可以根据需要重复执行，以不断更新摄像头所显示的场景和光标签的显示位置。
根据本发明的一个实施例，设备的第一摄像头和第二摄像头安装于同一平面(也即，第一摄像头坐标系与第二摄像头坐标系在Z轴方向不存在偏移)，并且具有相同的内参和相同的姿态(也即，第一摄像头坐标系与第二摄像头坐标系的姿态相同，两者之间的旋转矩阵为单位矩阵，因此不需要进行两个摄像头坐标系之间的旋转操作)，例如，一种装配了具有相同内参的两个摄像头的手机，这两个摄像头的方向也相同，仅安装位置存在一些差别(例如，两者的安装位置存在几毫米的偏移)。在这种情况下，光标签在这两个摄像头拍摄的图像中的成像位置基本相同(特别是在光标签距离摄像头比较远的情况下)，仅存在不明显的偏移。针对这种情况，在本发明的一个实施例中，可以直接根据光标签在第一摄像头(工作于光标签识别模式)拍摄的图像中的成像位置来确定光标签在第二摄像头(工作于非光标签识别模式)拍摄的图像中的成像位置。图7示出了根据该实施例的用于呈现与光标签有关的信息的方法，其可以包括如下步骤：
步骤701：使用第一摄像头在光标签识别模式下获得包含光标签的第一图像。
步骤702：获得光标签在第一图像中的第一成像位置。
光标签在图像中的成像位置可以由一个点的位置信息来表示，例如，可以由光标签的中心点的位置信息来表示光标签在图像中的成像位置；光标签在图像中的成像位置也可以由多个点的位置信息来表示，例如，可以由能够限定光标签的大致轮廓的多个点的位置信息来表示光标签在图像中的成像位置；光标签在图像中的成像位置也可以由一个区域的位置信息来表示；等等。
步骤703：使用第二摄像头获得包含所述光标签的第二图像。
步骤704：根据所述第一成像位置在所述第二图像中的第二成像位置处呈现与所述光标签有关的信息。
在一个实施例中，在步骤704中，可以根据成像公式来基于第一成像位置推导第二成像位置。
具体地，对于安装于同一平面的具有相同内参和相同姿态的两个摄像头，假设两个摄像头坐标系仅仅在X轴方向上有偏移d，如此，两个摄像头坐标系之间的位移向量T便为(d，0，0)。对于第一摄像头坐标系中的点(X,Y,Z)，其在第二摄像头坐标系中的坐标为(X+d,Y,Z)。根据成像公式，该点在第一摄像头拍摄的图像中的成像位置(u1,v1)和在第二摄像头拍摄的图像中的成像位置(u2,v2)可以计算为：
Figure BDA0002008778100000121
Figure BDA0002008778100000122
联立上式可得：
Figure BDA0002008778100000123
其中，fx,fy为相机在x,y方向上的焦距；(cx,cy)为相机小孔在相机坐标系中的坐标。
从上可以看出，对于空间中的同一个点，当上述两个摄像头坐标系仅在X轴方向上有偏移d时(例如，当两个摄像头水平排列时，该偏移d可以被预先测定)，对于它们的成像位置(u1,v1)和(u2,v2)，存在
Figure BDA0002008778100000131
以及v1＝v2。
类似地，对于空间中的同一个点，当上述两个摄像头坐标系仅仅在Y轴方向上有偏移d时(例如，当两个摄像头竖直排列时，该偏移d可以被预先测定)，对于它们的成像位置(u1,v1)和(u2,v2)，存在
Figure BDA0002008778100000132
以及u1＝u2。
相应地，对于空间中的同一个点，如果上述两个摄像头坐标系在X轴和Y轴方向上分别有偏移dx和dy(可以被预先测定)时，对于它们的成像位置(u1,v1)和(u2,v2)，存在
Figure BDA0002008778100000133
以及
Figure BDA0002008778100000134
对于安装了该第一摄像头和第二摄像头的设备而言，fx,fy是摄像头固有的参数值。因此，只要能够预先知道第一摄像头和第二摄像头之间的相对偏移(包括偏移方向和偏移距离)，在获得了某个点在第一摄像头坐标系或第二摄像头坐标系中的Z坐标后，便可以基于该点在一个摄像头拍摄的图像中的成像位置推导出其在另一个摄像头拍摄的图像中的成像位置。由于第一摄像头和第二摄像头安装于同一平面(也即，第一摄像头坐标系与第二摄像头坐标系在Z轴方向不存在偏移)，因此，点在第一摄像头坐标系或第二摄像头坐标系中的Z坐标是相同的，都大致等于该点到摄像头的安装平面的垂直距离。因此，在一个实施例中，可以根据光标签在第一摄像头坐标系或第二摄像头坐标系中的Z坐标(或者光标签到两个摄像头的安装平面的垂直距离)以及光标签在第一摄像头拍摄的第一图像中的第一成像位置，来确定光标签在第二摄像头拍摄的第二图像中的第二成像位置。可以使用在上文的步骤402中描述的任何方法来获得光标签在摄像头坐标系中的Z坐标或者光标签到摄像头的安装平面的垂直距离。
在某些应用中，在扫描识别光标签时，光标签通常位于屏幕正中附近，在这种情况下，可以使用光标签到第一摄像头或第二摄像头的距离来作为光标签到两个摄像头的安装平面的垂直距离的近似值。光标签到摄像头的距离更易于测定，例如，可以如上文所述通过光标签成像大小来确定光标签到摄像头的距离，或者可以通过双目摄像头来测定光标签到摄像头的距离。如此，能够以可接受的误差来更便捷或更快地确定光标签在第二摄像头拍摄的第二图像中的第二成像位置。
在另一个实施例中，在步骤704中，可以将第二成像位置设置为与第一成像位置相同。在上文中，推导得到了
Figure BDA0002008778100000141
以及
Figure BDA0002008778100000142
其中，fx,fy为相机在x,y方向上的焦距，dx,dy为两个摄像头坐标系在X轴和Y轴方向上的偏移。fx,fy,dx,dy与Z(通常为几米到几十米的距离)相比通常会小很多，因此，在一些对精度要求不高的应用下，可以认为
Figure BDA0002008778100000143
和
Figure BDA0002008778100000144
约等于0，从而将第二成像位置设置为与第一成像位置相同。这种将光标签在第一图像中的成像位置直接作为其在第二图像中的成像位置的方式会带来一些误差，但其提高了效率，减轻了计算量，因此在一些对精度要求不高的应用中是非常有利的。特别是，对于在远距离识别光标签的情况(Z很大)，上述方式带来的误差实际上是非常小的，并不会影响用户的使用体验。
本文中提到的设备可以是用户携带的设备(例如，手机、平板电脑、智能眼镜、智能头盔、智能手表、等等)，但是可以理解，该设备也可以是能够自主移动的机器，例如，无人机、无人驾驶汽车、机器人等，该设备上安装有图像采集器件，例如摄像头。
在本发明的一个实施例中，可以以计算机程序的形式来实现本发明。计算机程序可以存储于各种存储介质(例如，硬盘、光盘、闪存等)中，当该计算机程序被处理器执行时，能够用于实现本发明的方法。
在本发明的另一个实施例中，可以以电子设备的形式来实现本发明。该电子设备包括处理器和存储器，在存储器中存储有计算机程序，当该计算机程序被处理器执行时，能够用于实现本发明的方法。
本文中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合所述实施例所描述的特定特征、结构、或性质包括在至少一个实施例中。因此，短语“在各个实施例中”、“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个本文中各处的出现并非必须指代相同的实施例。此外，特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此，结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合，只要该组合不是非逻辑性的或不能工作。本文中出现的类似于“根据A”或“基于A”的表述意指非排他性的，也即，“根据A”可以涵盖“仅仅根据A”，也可以涵盖“根据A和B”，除非特别声明或者根据上下文明确可知其含义为“仅仅根据A”。在方法流程中按照一定顺序进行描述的各个步骤并非必须按照该顺序执行，相反，其中的一些步骤的执行顺序可以改变，并且一些步骤可以并发执行，只要不影响方案的实现即可。另外，本申请附图中的各个元素仅仅为了示意说明，并非按比例绘制。
由此描述了本发明的至少一个实施例的几个方面，可以理解，对本领域技术人员来说容易地进行各种改变、修改和改进。这种改变、修改和改进意于在本发明的精神和范围内。虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。

Claims (19)

1.一种用于呈现与光通信装置有关的信息的方法，包括：
使用第一摄像头在光通信装置识别模式下获得包含光通信装置的第一图像；
基于所述第一图像获得所述光通信装置相对于第一摄像头的位置信息；
根据所述光通信装置相对于第一摄像头的位置信息获得所述光通信装置相对于第二摄像头的位置信息；
使用第二摄像头获得包含所述光通信装置的第二图像；以及
根据所述光通信装置相对于第二摄像头的位置信息在所述第二图像上呈现与所述光通信装置有关的信息。
2.根据权利要求1所述的方法，其中，根据所述光通信装置相对于第一摄像头的位置信息获得所述光通信装置相对于第二摄像头的位置信息包括：
根据所述光通信装置相对于第一摄像头的位置信息，使用第一摄像头与第二摄像头之间的旋转矩阵和位移向量，获得所述光通信装置相对于第二摄像头的位置信息。
3.根据权利要求1所述的方法，其中，基于所述第一图像获得所述光通信装置相对于第一摄像头的位置信息包括：
基于所述第一图像中的光通信装置的成像来获得所述光通信装置相对于第一摄像头的位置信息。
4.根据权利要求3所述的方法，其中，所述基于所述第一图像中的光通信装置的成像来获得所述光通信装置相对于第一摄像头的位置信息包括：
基于所述第一图像中的光通信装置的成像大小来获得光通信装置相对于第一摄像头的距离；
基于所述第一图像中的光通信装置的成像位置来获得光通信装置相对于第一摄像头的方向；以及
通过光通信装置相对于第一摄像头的距离和方向来获得所述光通信装置相对于第一摄像头的位置信息。
5.根据权利要求3所述的方法，其中，所述基于所述第一图像中的光通信装置的成像来获得所述光通信装置相对于第一摄像头的位置信息包括：
根据光通信装置上的一些点在光通信装置坐标系中的坐标以及这些点在所述第一图像中的成像位置，并结合第一摄像头的内参信息，获得所述光通信装置相对于第一摄像头的位置信息。
6.根据权利要求1所述的方法，还包括：
基于所述第一图像获得所述光通信装置相对于第一摄像头的姿态信息；
根据所述光通信装置相对于第一摄像头的姿态信息获得所述光通信装置相对于第二摄像头的姿态信息，
以及其中，所述根据所述光通信装置相对于第二摄像头的位置信息在所述第二图像上呈现与所述光通信装置有关的信息包括：
根据所述光通信装置相对于第二摄像头的位置信息和姿态信息在所述第二图像上呈现与所述光通信装置有关的信息。
7.根据权利要求6所述的方法，其中，基于所述第一图像获得所述光通信装置相对于第一摄像头的姿态信息包括：
基于所述第一图像中的光通信装置的成像来获得所述光通信装置相对于第一摄像头的姿态信息。
8.根据权利要求7所述的方法，其中，所述基于所述第一图像中的光通信装置的成像来获得所述光通信装置相对于第一摄像头的姿态信息包括：
通过确定所述第一图像中的光通信装置的成像的透视变形，来获得所述光通信装置相对于第一摄像头的姿态信息。
9.根据权利要求7所述的方法，其中，所述基于所述第一图像中的光通信装置的成像来获得所述光通信装置相对于第一摄像头的姿态信息包括：
根据光通信装置上的一些点在光通信装置坐标系中的坐标以及这些点在所述第一图像中的成像位置，获得所述光通信装置相对于第一摄像头的姿态信息。
10.根据权利要求5或9所述的方法，其中，
根据光通信装置的物理尺寸信息和/或物理形状信息来确定光通信装置上的一些点在光通信装置坐标系中的坐标。
11.根据权利要求1所述的方法，其中，根据所述光通信装置相对于第二摄像头的位置信息在所述第二图像上呈现与所述光通信装置有关的信息包括：
根据所述光通信装置相对于第二摄像头的位置信息，确定与该位置信息对应的在所述第二图像中的成像位置，并在所述第二图像中的所述成像位置处呈现与所述光通信装置有关的信息。
12.根据权利要求1所述的方法，其中，所述第二图像为正常曝光的实景图像。
13.根据权利要求1所述的方法，还包括：
基于所述第一图像获得所述光通信装置的标识信息。
14.一种用于呈现与光通信装置有关的信息的方法，包括：
使用第一摄像头在光通信装置识别模式下获得包含光通信装置的第一图像；
获得所述光通信装置在第一图像中的第一成像位置；
使用第二摄像头获得包含所述光通信装置的第二图像；以及
根据所述第一成像位置在所述第二图像中的第二成像位置处呈现与所述光通信装置有关的信息，
其中，所述第一摄像头和第二摄像头安装于同一平面并具有相同的姿态和内参。
15.根据权利要求14所述的方法，其中，
所述第二成像位置与所述第一成像位置相同。
16.根据权利要求14所述的方法，其中，
根据第一摄像头和第二摄像头之间的相对偏移、所述第一成像位置、所述光通信装置在第一摄像头坐标系或第二摄像头坐标系中的Z坐标或者所述光通信装置到第一摄像头和第二摄像头的安装平面的垂直距离，来确定所述第二成像位置。
17.根据权利要求14所述的方法，其中，
根据第一摄像头和第二摄像头之间的相对偏移、所述第一成像位置、所述光通信装置到第一摄像头或第二摄像头的距离，来确定所述第二成像位置。
18.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，能够用于实现权利要求1-17中任一项所述的方法。
19.一种电子设备，其中包括处理器和存储器，在存储器中存储有计算机程序，当该计算机程序被处理器执行时，能够用于实现权利要求1-17中任一项所述的方法。
CN201910237930.1A 2019-03-27 2019-03-27 用于呈现与光通信装置有关的信息的方法和电子设备 Active CN111753565B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910237930.1A CN111753565B (zh) 2019-03-27 2019-03-27 用于呈现与光通信装置有关的信息的方法和电子设备
PCT/CN2020/080160 WO2020192543A1 (zh) 2019-03-27 2020-03-19 用于呈现与光通信装置有关的信息的方法和电子设备
TW109110632A TW202103045A (zh) 2019-03-27 2020-03-27 用於呈現與光通信裝置有關的資訊的方法和電子設備

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910237930.1A CN111753565B (zh) 2019-03-27 2019-03-27 用于呈现与光通信装置有关的信息的方法和电子设备

Publications (2)

Publication Number Publication Date
CN111753565A true CN111753565A (zh) 2020-10-09
CN111753565B CN111753565B (zh) 2021-12-24

Family

ID=72608886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910237930.1A Active CN111753565B (zh) 2019-03-27 2019-03-27 用于呈现与光通信装置有关的信息的方法和电子设备

Country Status (3)

Country Link
CN (1) CN111753565B (zh)
TW (1) TW202103045A (zh)
WO (1) WO2020192543A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114726996B (zh) * 2021-01-04 2024-03-15 北京外号信息技术有限公司 用于建立空间位置与成像位置之间的映射的方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130256118A1 (en) * 2010-05-11 2013-10-03 Trustees Of Boston University Use of Nanopore Arrays For Multiplex Sequencing of Nucleic Acids
CN104715753A (zh) * 2013-12-12 2015-06-17 联想(北京)有限公司 一种数据处理的方法及电子设备
CN106372556A (zh) * 2016-08-30 2017-02-01 西安小光子网络科技有限公司 一种光标签的识别方法
CN106446749A (zh) * 2016-08-30 2017-02-22 西安小光子网络科技有限公司 一种光标签拍摄和光标签解码接力工作方法
CN106525021A (zh) * 2015-09-14 2017-03-22 中兴通讯股份有限公司 位置确定方法、装置、系统及处理中心
CN206210121U (zh) * 2016-12-03 2017-05-31 河池学院 一种基于智能手机的停车场停车寻车系统
CN109242912A (zh) * 2018-08-29 2019-01-18 杭州迦智科技有限公司 采集装置外参标定方法、电子设备、存储介质
CN109413324A (zh) * 2017-08-16 2019-03-01 中兴通讯股份有限公司 一种拍摄方法和移动终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102333193B (zh) * 2011-09-19 2015-04-29 深圳超多维光电子有限公司 一种终端设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130256118A1 (en) * 2010-05-11 2013-10-03 Trustees Of Boston University Use of Nanopore Arrays For Multiplex Sequencing of Nucleic Acids
CN104715753A (zh) * 2013-12-12 2015-06-17 联想(北京)有限公司 一种数据处理的方法及电子设备
CN106525021A (zh) * 2015-09-14 2017-03-22 中兴通讯股份有限公司 位置确定方法、装置、系统及处理中心
CN106372556A (zh) * 2016-08-30 2017-02-01 西安小光子网络科技有限公司 一种光标签的识别方法
CN106446749A (zh) * 2016-08-30 2017-02-22 西安小光子网络科技有限公司 一种光标签拍摄和光标签解码接力工作方法
CN206210121U (zh) * 2016-12-03 2017-05-31 河池学院 一种基于智能手机的停车场停车寻车系统
CN109413324A (zh) * 2017-08-16 2019-03-01 中兴通讯股份有限公司 一种拍摄方法和移动终端
CN109242912A (zh) * 2018-08-29 2019-01-18 杭州迦智科技有限公司 采集装置外参标定方法、电子设备、存储介质

Also Published As

Publication number Publication date
TW202103045A (zh) 2021-01-16
WO2020192543A1 (zh) 2020-10-01
CN111753565B (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
US11887312B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
US8860760B2 (en) Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
JP2019536170A (ja) 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法
CN110572630B (zh) 三维图像拍摄系统、方法、装置、设备以及存储介质
CN110111388B (zh) 三维物体位姿参数估计方法及视觉设备
CN107646109B (zh) 管理电子设备上的环境映射的特征数据
CN112652016A (zh) 点云预测模型的生成方法、位姿估计方法及其装置
CN108430032B (zh) 一种实现vr/ar设备位置共享的方法及设备
US11263818B2 (en) Augmented reality system using visual object recognition and stored geometry to create and render virtual objects
CN112288825A (zh) 相机标定方法、装置、电子设备、存储介质和路侧设备
CN111753565B (zh) 用于呈现与光通信装置有关的信息的方法和电子设备
CN112912936A (zh) 混合现实系统、程序、移动终端装置和方法
CN110120100B (zh) 图像处理方法、装置及识别跟踪系统
CN112528699B (zh) 用于获得场景中的设备或其用户的标识信息的方法和系统
CN112788443B (zh) 基于光通信装置的交互方法和系统
CN111242107B (zh) 用于设置空间中的虚拟对象的方法和电子设备
WO2020244480A1 (zh) 一种用于实现相对定位的装置以及相应的相对定位方法
CN112417904B (zh) 用于呈现与光通信装置有关的信息的方法和电子设备
CN111639735A (zh) 一种用于定位的装置以及基于其的定位方法
JP2018032991A (ja) 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム
CN112581630A (zh) 一种用户交互方法和系统
US20220345621A1 (en) Scene lock mode for capturing camera images
CN112051546B (zh) 一种用于实现相对定位的装置以及相应的相对定位方法
JP2014225782A (ja) 情報処理装置、通信端末およびデータ取得方法
TWI759764B (zh) 基於光通信裝置疊加虛擬物件的方法、電子設備以及電腦可讀取記錄媒體

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20201009

Assignee: Beijing Intellectual Property Management Co.,Ltd.

Assignor: BEIJING WHYHOW INFORMATION TECHNOLOGY Co.,Ltd.

Contract record no.: X2023110000069

Denomination of invention: Method and electronic device for presenting information related to optical communication devices

Granted publication date: 20211224

License type: Common License

Record date: 20230531

EE01 Entry into force of recordation of patent licensing contract