CN112417904B - 用于呈现与光通信装置有关的信息的方法和电子设备 - Google Patents
用于呈现与光通信装置有关的信息的方法和电子设备 Download PDFInfo
- Publication number
- CN112417904B CN112417904B CN201910777971.XA CN201910777971A CN112417904B CN 112417904 B CN112417904 B CN 112417904B CN 201910777971 A CN201910777971 A CN 201910777971A CN 112417904 B CN112417904 B CN 112417904B
- Authority
- CN
- China
- Prior art keywords
- image
- optical communication
- information
- communication device
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 345
- 238000004891 communication Methods 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000003384 imaging method Methods 0.000 claims description 75
- 230000008859 change Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000001627 detrimental effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
- G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
- H04B10/114—Indoor or close-range type systems
- H04B10/116—Visible light communication
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Artificial Intelligence (AREA)
- Toxicology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
提供了一种用于呈现与光通信装置有关的信息的方法和电子设备，该方法包括：使用设备的图像采集器件在第一工作模式下获得包含光通信装置的第一图像，其中，所述第一工作模式是光通信装置识别模式；基于所述第一图像获得所述光通信装置相对于所述图像采集器件的位置信息；使用所述图像采集器件在第二工作模式下获得包含所述光通信装置的第二图像；以及根据所述光通信装置相对于所述图像采集器件的位置信息在所呈现的第二图像上叠加与所述光通信装置有关的信息。
Description
技术领域
本发明属于信息交互技术领域，尤其涉及一种用于呈现与光通信装置有关的信息的方法和电子设备。
背景技术
本部分的陈述仅仅是为了提供与本发明相关的背景信息，以帮助理解本发明，这些背景信息并不一定构成现有技术。
光通信装置也称为光标签，这两个术语在本文中可以互换使用。光标签能够通过不同的发光方式来传递信息，其具有识别距离远、可见光条件要求宽松的优势，并且光标签所传递的信息可以随时间变化，从而可以提供大的信息容量和灵活的配置能力。相比于传统的二维码，光标签具有更远的识别距离和更强的信息交互能力，从而可以为用户提供巨大的便利性。
光标签识别设备例如可以是用户携带的移动设备(例如，带有图像采集器件的手机、平板电脑、智能眼镜、智能头盔、智能手表等等)，也可以是能够自主移动的机器(例如，带有图像采集器件的无人机、无人驾驶汽车、机器人等等)。在很多情况下，为了识别光标签传递的信息或者为了避免环境光的干扰，识别设备需要通过其上的图像采集器件在特定的光标签识别模式(例如，低曝光模式或者针对光的某个特定波长范围的识别模式)下对光标签进行图像采集来获得光标签的图像，并分析这些图像以识别出光标签传递的信息。但是，以特定的光标签识别模式拍摄的包含光标签的图像通常不能良好地再现光标签周围的环境信息，这对于用户体验或后续的用户交互是不利的。例如，对于在低曝光模式下拍摄的包含光标签的图像，光标签周围环境的成像的亮度通常非常低，甚至一团漆黑。当在光标签识别设备的显示屏幕上显示这样的图像时，会影响用户的交互体验。图1示出了一个示例性的在低曝光模式下拍摄的包含光标签的图像，在该图的上部的中间位置具有光标签的成像，但是，由于光标签周围的物体通常亮度较低，因此很难从该低曝光模式下拍摄的图像中分辨出光标签周围的物体。在正常曝光模式下获得的图像虽然能够示出光标签周围的环境信息，但是，由于该图像不是在光标签识别模式下拍摄的，因此基于该图像可能无法实现光标签的识别(也即，无法识别出光标签或者光标签传递的信息)，因此无法在该图像上呈现与光标签对应的交互信息(例如，交互图标)。
因此，需要一种改善的用于呈现与光标签有关的信息的方法和电子设备。
发明内容
本发明的一个方面涉及一种用于呈现与光通信装置有关的信息的方法，包括：
使用设备的图像采集器件在第一工作模式下获得包含光通信装置的第一图像，其中，所述第一工作模式是光通信装置识别模式；
基于所述第一图像获得所述光通信装置相对于所述图像采集器件的位置信息；
使用所述图像采集器件在第二工作模式下获得包含所述光通信装置的第二图像；以及
根据所述光通信装置相对于所述图像采集器件的位置信息在所呈现的第二图像上叠加与所述光通信装置有关的信息。
可选地，所述方法还包括：基于所述第一图像获得所述光通信装置传递的标识信息；以及通过所述标识信息获得与所述光通信装置有关的信息。
可选地，其中，所述第二工作模式是正常曝光模式。
可选地，其中，所述基于所述第一图像获得所述光通信装置相对于所述图像采集器件的位置信息包括：
基于所述第一图像中的光通信装置的成像大小来获得所述光通信装置相对于所述图像采集器件的距离；
基于所述第一图像中的光通信装置的成像位置来获得所述光通信装置相对于所述图像采集器件的方向；以及
通过所述光通信装置相对于所述图像采集器件的距离和方向来获得所述光通信装置相对于所述图像采集器件的位置信息。
可选地，其中，所述基于所述第一图像获得所述光通信装置相对于所述图像采集器件的位置信息包括：
根据光通信装置上的一些点在光通信装置坐标系中的坐标、这些点在所述第一图像中的成像位置、以及所述图像采集器件的内参信息，获得所述光通信装置相对于所述图像采集器件的位置信息。
可选地，所述方法还包括：
基于所述第一图像获得所述光通信装置相对于所述图像采集器件的姿态信息；
以及其中，所述根据所述光通信装置相对于所述图像采集器件的位置信息在所呈现的第二图像上叠加与所述光通信装置有关的信息包括：
根据所述光通信装置相对于所述图像采集器件的位置信息和姿态信息在所呈现的第二图像上叠加与所述光通信装置有关的信息。
可选地，其中，所述基于所述第一图像获得所述光通信装置相对于所述图像采集器件的姿态信息包括：
通过分析所述第一图像中的光通信装置的成像的透视变形，来获得所述光通信装置相对于所述图像采集器件的姿态信息；或者
根据光通信装置上的一些点在光通信装置坐标系中的坐标以及这些点在所述第一图像中的成像位置，获得所述光通信装置相对于所述图像采集器件的姿态信息。
可选地，其中，所述根据所述光通信装置相对于所述图像采集器件的位置信息在所呈现的第二图像上叠加与所述光通信装置有关的信息包括：
根据所述光通信装置相对于所述图像采集器件的位置信息，确定与该位置信息对应的在所述第二图像中的成像位置，并在所述第二图像中的所述成像位置处叠加与所述光通信装置有关的信息。
可选地，所述方法还包括：
确定所述设备在所述第一图像的拍摄时刻和所述第二图像的拍摄时刻之间的位置和姿态变化；
以及其中，所述根据所述光通信装置相对于所述图像采集器件的位置信息在所呈现的第二图像上叠加与所述光通信装置有关的信息包括：
根据所述光通信装置相对于所述图像采集器件的位置信息以及所述位置和姿态变化，确定在所述第二图像的拍摄时刻所述光通信装置相对于所述图像采集器件的位置信息；以及
根据在所述第二图像的拍摄时刻所述光通信装置相对于所述图像采集器件的位置信息，在所呈现的第二图像上叠加与所述光通信装置有关的信息。
本发明的另一个方面涉及一种用于呈现与光通信装置有关的信息的方法，包括：
使用设备的图像采集器件在第一工作模式下获得包含光通信装置的第一图像，其中，所述第一工作模式是光通信装置识别模式；
分析所述第一图像以获得与所述光通信装置在所述第一图像中的成像位置有关的信息；
使用所述图像采集器件在第二工作模式下获得包含所述光通信装置的第二图像；以及
根据与所述成像位置有关的信息在所呈现的第二图像上叠加与所述光通信装置有关的信息。
可选地，所述方法还包括：
基于所述第一图像获得所述光通信装置传递的标识信息；以及
通过所述标识信息获得与所述光通信装置有关的信息。
可选地，其中，所述第二工作模式是所述图像采集器件的正常曝光模式。
可选地，所述方法，还包括：
通过分析所述第一图像中的光通信装置的成像的透视变形，来获得所述光通信装置相对于所述图像采集器件的姿态信息；
以及其中，所述根据与所述成像位置有关的信息在所呈现的第二图像上叠加与所述光通信装置有关的信息包括：
根据与所述成像位置有关的信息和所述姿态信息在所呈现的第二图像上叠加与所述光通信装置有关的信息。
可选地，其中，所述根据与所述成像位置有关的信息在所呈现的第二图像上叠加与所述光通信装置有关的信息包括：
在所述第二图像中的所述成像位置处叠加与所述光通信装置有关的信息。
可选地，所述方法还包括：
确定所述设备在所述第一图像的拍摄时刻和所述第二图像的拍摄时刻之间的位置和姿态变化；
以及其中，所述根据与所述成像位置有关的信息在所呈现的第二图像上叠加与所述光通信装置有关的信息包括：
根据与所述成像位置有关的信息和所述位置和姿态变化确定与所述光通信装置有关的信息在所述第二图像上的呈现位置；以及
在所述第二图像上的所述呈现位置处叠加与所述光通信装置有关的信息。
可选地，其中，所述第一工作模式和第二工作模式使用不同的焦距，以及其中，所述根据与所述成像位置有关的信息在所呈现的第二图像上叠加与所述光通信装置有关的信息包括：
根据所述第一工作模式和第二工作模式的不同焦距以及与所述成像位置有关的信息在所呈现的第二图像上叠加与所述光通信装置有关的信息。
本发明的另一个方面涉及一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，能够用于实现上述的方法。
本发明的再一个方面涉及一种电子设备，其中包括处理器和存储器，在存储器中存储有计算机程序，当该计算机程序被处理器执行时，能够用于实现上述的方法。
本发明的方案提供一种用于呈现与光标签有关的信息的方法，通过该方法，可以在非光标签识别模式下拍摄的图像(例如正常拍摄模式下拍摄的实景图像)上呈现与光标签有关的信息，如此，使得设备的用户不仅能够与光标签进行交互操作，还能够感知光标签周围的环境信息，从而提高了交互效率，改善了交互体验。
附图说明
以下参照附图对本发明实施例作进一步说明，其中：
图1示出了一个示例性的在低曝光模式下拍摄的包含光标签的图像；
图2示出了一种示例性的光标签；
图3示出了由滚动快门成像设备在低曝光模式下拍摄的光标签的一张图像；
图4示出了根据本发明的一个实施例的用于呈现与光标签有关的信息的方法；
图5示出了一个示例性的在正常曝光模式下拍摄的包含光标签的图像；
图6示出了一个示例性的根据本发明的方法呈现的图像；以及
图7示出了根据本发明的另一个实施例的用于呈现与光标签有关的信息的方法；
图8示出了根据本发明的再一个实施例的用于呈现与光标签有关的信息的方法；以及
图9示出了根据本发明的再一个实施例的用于呈现与光标签有关的信息的方法。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明。
光标签中通常可以包括控制器和至少一个光源，该控制器可以通过不同的驱动模式来驱动光源，以向外传递不同的信息。为了基于光标签向用户和商家提供相应的服务，每个光标签可以被分配一个标识信息(ID)，该标识信息用于由光标签的制造者、管理者或使用者等唯一地识别或标识光标签。通常，可由光标签中的控制器驱动光源以向外传递该标识信息，而用户可以使用光标签识别设备对光标签进行连续的图像采集来获得该光标签传递的标识信息，从而可以基于该标识信息来访问相应的服务，例如，访问与光标签的标识信息相关联的网页、获取与标识信息相关联的其他信息(例如，与该标识信息对应的光标签的位置信息)、等等。
图2示出了一种示例性的光标签100，其包括三个光源(分别是第一光源101、第二光源102、第三光源103)。光标签100还包括控制器(在图2中未示出)，其用于根据要传递的信息为每个光源选择相应的驱动模式。例如，在不同的驱动模式下，控制器可以使用不同的驱动信号来控制光源的发光方式，从而使得当使用具有成像功能的设备拍摄光标签100时，其中的光源的成像可以呈现出不同的外观(例如，不同的颜色、图案、亮度、等等)。通过分析光标签100中的光源的成像，可以解析出各个光源此刻的驱动模式，从而解析出光标签100此刻传递的信息。
图3示出了当光标签100在传递信息时由滚动快门成像设备在低曝光模式下拍摄的光标签100的一张图像，其中，第一光源101的图像呈现出相对较窄的条纹，第二光源102和第三光源103的图像呈现出相对较宽的条纹。光标签100也可以通过其中的各个光源的明暗变化(例如，通过开启或关闭光源)或颜色变化等方式来传递信息，只要这些变化可被人眼或计算机区分即可。
光标签中还可以另外包括位于用于传递信息的光源附近的一个或多个定位标识，该定位标识例如可以是特定形状或颜色的灯，该灯例如可以在工作时保持常亮。
光标签识别设备可以通过其上的图像采集器件对光标签进行连续的图像采集来获得包含光标签的多张图像，并通过分析每张图像中的光标签(或光标签中的各个光源)的成像以识别出光标签传递的信息。
可以将光标签的标识信息(ID)以及任何其他信息存储于服务器中，该其他信息例如是与光标签相关的服务信息、与光标签相关的描述信息或属性信息，如光标签的位置信息、型号信息、物理尺寸信息、物理形状信息、姿态或朝向信息等。光标签也可以具有统一的或默认的物理尺寸信息和物理形状信息等。设备可以使用识别出的光标签的标识信息来从服务器查询获得与该光标签有关的其他信息。服务器可以是在计算装置上运行的软件程序、一台计算装置或者由多台计算装置构成的集群。光标签可以是离线的，也即，光标签不需要与服务器进行通信。当然，可以理解，能够与服务器进行通信的在线光标签也是可行的。
如前文提到的，在使用设备识别光标签传递的信息时，设备通常需要工作于特定的光标签识别模式下，然而，这种模式通常不利于采集和呈现光标签周围的环境信息。根据本发明的一个实施例，可以将设备的图像采集器件配置为能够工作于不同的模式，其中，在第一工作模式(也即光标签识别模式)下，设备的图像采集器件采集包括光标签的第一图像并实现对光标签的识别，在第二工作模式(例如，正常曝光模式或者某种特定的场景拍摄模式)下，设备的图像采集器件采集包括光标签的第二图像。然后，设备可以根据对光标签的识别来在第二图像上的合适位置处叠加与光标签有关的信息，并呈现叠加后的第二图像。第一工作模式和第二工作模式可以使用相同或不同的焦距。
在本发明的一个实施例中，可以根据光标签在第一图像中的成像位置来确定与光标签有关的信息在第二图像上的叠加位置。图4示出了根据一个实施例的用于呈现与光标签有关的信息的方法，其可以包括如下步骤：
步骤401：使用设备的图像采集器件在第一工作模式下获得包含光标签的第一图像，其中，所述第一工作模式是光标签识别模式。
在光标签识别模式(例如低曝光模式)下，设备的图像采集器件可以采集包含光标签的一张或多张图像，例如图1所示的图像。通过分析该图像，可以识别出光标签中的各个光源的成像所呈现的外观(例如，亮度、颜色、图案等)，从而可以解析出各个光源此刻的驱动模式，进而可以解析出光标签此刻传递的信息，例如光标签的标识信息。
步骤402：分析所述第一图像以获得与所述光标签在所述第一图像中的成像位置有关的信息。
可以根据光标签的结构特征或形状特征等来在第一图像中查找光标签的成像位置。在一个实施例中，与光标签的成像位置有关的信息可以是一个点的位置信息，例如，光标签的成像区域的中心点的位置信息，或者光标签上的某个特征点的成像位置信息。在一个实施例中，与光标签的成像位置有关的信息可以是与光标签的整个成像区域有关的信息，通过该信息可以确定光标签在图像中的成像区域(例如，成像区域的形状和/或大小)。在一个实施例中，可以由能够限定光标签的成像区域的多个点的位置信息来表示该成像区域。
步骤403：使用所述图像采集器件在第二工作模式下获得包含所述光标签的第二图像。
第二工作模式例如可以是设备的图像采集器件的正常曝光模式，但是也可以是其他模式。图5示出了一个示例性的在正常曝光模式下拍摄的包含光标签的图像，其与图1所示的低曝光图像对应，其中示出了一个餐厅的门，以及在门的上方的一个矩形的光标签。该图像虽然能够示出光标签周围的环境信息，但是，由于该图像不是在光标签识别模式下拍摄的，因此基于该图像可能无法实现光标签的识别(也即，无法识别出光标签或者光标签传递的信息)，从而也就无法在该图像上呈现与该光标签对应的信息(例如，交互图标)。
步骤404：根据与所述成像位置有关的信息在所述第二图像上叠加与所述光标签有关的信息，并呈现叠加后的所述第二图像。
在一个实施例中，可以根据光标签在第一图像中的成像位置，在第二图像中的相同的成像位置处叠加与光标签有关的信息，但在其他实施例中，也可以第二图像中的其他位置处叠加与光标签有关的信息。与光标签有关的信息可以是各种信息，例如，光标签的图像、光标签的标志、光标签的标识信息、与光标签或其标识信息相关联的图标、与光标签或其标识信息相关联的店铺名称、与光标签或其标识信息相关联的任何其他信息，以及它们的各种组合。设备的用户可以通过该信息(例如，通过对该信息进行点击或选择)来实现与相应光标签的交互。与光标签有关的信息可以是默认的信息(例如，预先存储于设备处的默认图标)，也可以是通过使用光标签的标识信息进行查询而获得的信息。叠加后的第二图像可以由设备的显示媒介进行显示，也可以由其他设备进行显示。例如，在一个实施例中，可以将叠加后的第二图像发送到其他设备进行显示。在另一个实施例中，可以将与光标签在第一图像中的成像位置有关的信息以及第二图像发送到其他设备，该其他设备可以根据与所述成像位置有关的信息在第二图像上叠加与光标签有关的信息，并呈现叠加后的第二图像。
在一些实施例中，还可以进一步通过分析在第一图像中的光标签的成像来确定光标签成像的透视变形，从而确定光标签相对于图像采集器件的姿态信息(也可称为方向信息或朝向信息)，例如，光标签在图像采集器件坐标系中的姿态信息。图像采集器件所在的设备可以从服务器(例如通过使用光标签的标识信息)获得光标签的实际物理形状信息，或者光标签可以具有默认的统一的物理形状(其可以存储在设备上)。所确定的光标签相对于图像采集器件的姿态信息可以由一个旋转矩阵R1表示。旋转矩阵在成像领域中是已知的，为了不模糊本发明，在此不再详细描述。如果获得了光标签相对于图像采集器件的姿态信息，则在第二图像上呈现与光标签有关的信息时，可以进一步基于该姿态信息来呈现与光标签有关的信息。例如，在呈现光标签的图像、标志、图标等时，可以基于光标签在图像采集器件坐标系中的姿态信息，设置这些图像、标志、图标等的姿态。这是非常有利的，特别是当与光标签对应的标志或图标等是三维虚拟对象时，其会使得相应的标志或图标的呈现姿态随着光标签本身相对于设备的姿态变化而变化，从而显著改善设备用户的使用体验。
在某些情况下，如果第一工作模式和第二工作模式使用不同的焦距，则在第二图像上叠加与光标签有关的信息时可以进一步考虑第一工作模式和第二工作模式的不同焦距，以便在第二图像上的合适位置处叠加与光标签有关的信息。在一个实施例中，在第一工作模式下，为了实现更远的光标签识别距离，可以采用比第二工作模式更长的焦距。如此，在获得了与光标签在第一图像中的成像位置有关的信息之后，可以根据第一工作模式和第二工作模式的不同焦距，进行变换，确定光标签在第二图像中的成像位置，进而根据该成像位置在第二图像上叠加与光标签有关的信息。
在某些情况下，在第一图像的拍摄时刻和第二图像的拍摄时刻之间，由于设备用户的移动或者用户的手的抖动，设备的位置和/或姿态可能会发生变化(例如，设备发生平移和/或旋转)，相应地，设备的图像采集器件的位置和/或姿态也会发生变化。由于图像采集器件的位置和/或姿态变化，在第一图像和第二图像中的光标签的成像位置可能会发生偏移。为了尽可能地减小该偏移，可以使得第一图像和第二图像的拍摄时刻尽量接近。目前使用的图像采集器件的拍摄帧率通常能够达到60帧/秒或120帧/秒，因此，在交替拍摄第一图像和第二图像的情况下，第一图像和第二图像的拍摄时刻可以例如仅相差0.017秒(针对60帧/秒的帧率)或0.008秒(针对120帧/秒的帧率)。在很多情况下，可以忽略设备在第一图像的拍摄时刻和第二图像的拍摄时刻之间的位置和姿态变化，从而可以将光标签在第一图像中的成像位置认为是其在第二图像中的成像位置。但是需要说明的是，与光标签有关的信息的叠加位置并不一定是光标签的成像位置，例如，可以在光标签的成像位置附近叠加与光标签有关的信息。
可以理解，上文所述的获得第一图像、获得第二图像等步骤可以以任何合适的顺序执行。另外，这些步骤也可以根据需要重复执行，以不断更新所呈现的现实场景以及与光标签有关的信息的显示位置。
图6示出了一个示例性的根据本发明的方法呈现的图像，其在图5所示的图像上的光标签成像位置处叠加了与光标签关联的圆形图标。该图标可以具有交互功能，用户在点击该图标之后，可以访问相应餐厅的信息，并可以执行预定、排队、点餐等操作。如此，使得用户不仅能够通过设备呈现的图标与光标签进行交互操作，也能够感知光标签周围的环境信息。
尽管通过使得第一图像和第二图像的拍摄时刻尽量接近可以尽可能地减小光标签的成像位置在第一图像和第二图像之间的偏移，但在某些情况下，仍期望能够识别该偏移并对其进行补偿或校正。图7示出了根据另一个实施例的用于呈现与光标签有关的信息的方法，其可以包括如下步骤(部分步骤与图4所示的步骤类似，在此不再详细描述)：
步骤701：使用设备的图像采集器件在第一工作模式下获得包含光标签的第一图像，其中，所述第一工作模式是光标签识别模式。
步骤702：分析所述第一图像以获得与所述光标签在所述第一图像中的成像位置有关的信息。
步骤703：使用所述图像采集器件在第二工作模式下获得包含所述光标签的第二图像。
步骤704：确定所述设备在所述第一图像的拍摄时刻和所述第二图像的拍摄时刻之间的位置和姿态变化。
可以使用本领域已知的各种方法(例如，诸如手机之类的设备可使用其内置的加速度传感器、陀螺仪、视觉里程计等)来跟踪设备的平移和旋转，从而可以确定设备在一段时间期间的位置和姿态变化。
步骤705：根据与所述成像位置有关的信息和所述位置和姿态变化在所述第二图像上叠加与所述光标签有关的信息，并呈现叠加后的所述第二图像。
在确定了与光标签在第一图像中的成像位置有关的信息以及设备在第一图像的拍摄时刻和第二图像的拍摄时刻之间的位置和姿态变化之后，可以基于该位置和姿态变化对与所述成像位置有关的信息进行调整或补偿，从而更为精确地确定相应的光标签在第二图像中的实际成像位置，并进而确定与光标签有关的信息在第二图像上的呈现位置或叠加位置。
在一些实施例中，在使用设备的图像采集器件在第一工作模式下拍摄包含光标签的第一图像后，可以通过分析该第一图像来获得光标签相对于图像采集器件的位置信息以及可选的姿态信息，并基于该位置信息以及可选的姿态信息在使用第二工作模式拍摄的第二图像上叠加与光标签有关的信息。图8示出了根据本发明的再一个实施例的用于呈现与光标签有关的信息的方法，其包括如下步骤：
步骤801：使用设备的图像采集器件在第一工作模式下获得包含光标签的第一图像，其中，所述第一工作模式是光标签识别模式。
步骤802：基于所述第一图像获得所述光标签相对于所述图像采集器件的位置信息以及可选的姿态信息。
可以通过分析在第一图像中的光标签的成像来获得光标签相对于图像采集器件的位置信息，其可以被表示为光标签在图像采集器件坐标系中的位置信息。例如，该位置信息可以由以图像采集器件为原点的坐标系中的坐标(X1,Y1,Z1)来表示，并可以被称为位移向量t1。光标签的位置信息可以由一个点的位置信息来表示，例如，可以由光标签的中心点的位置信息来表示光标签的位置信息；光标签的位置信息也可以由多个点的位置信息来表示，例如，可以由能够限定光标签的大致轮廓的多个点的位置信息来表示光标签的位置信息；光标签的位置信息也可以由一个区域的位置信息来表示；等等。
在一个实施例中，可以通过分析在第一图像中的光标签的成像来确定光标签相对于图像采集器件的距离和方向，从而确定其相对于图像采集器件的位置信息。例如，可以通过第一图像中的光标签成像大小以及可选的其他信息(例如，光标签的实际物理尺寸信息、图像采集器件内参(例如，焦距、缩放比例因子、图像主点)来确定光标签与图像采集器件的相对距离(成像越大，距离越近；成像越小，距离越远)。图像采集器件所在的设备可以从服务器(例如通过使用光标签的标识信息)获得光标签的实际物理尺寸信息，或者光标签可以具有默认的统一的物理尺寸(其可以存储在设备上)。可以通过分析第一图像中的光标签成像位置，来确定光标签相对于图像采集器件的方向。
另外地或者可选地，还可以进一步通过分析在第一图像中的光标签的成像来确定光标签成像的透视变形，从而确定光标签相对于图像采集器件的姿态信息(也可称为方向信息或朝向信息)，例如，光标签在图像采集器件坐标系中的姿态信息。图像采集器件所在的设备可以从服务器(例如通过使用光标签的标识信息)获得光标签的实际物理形状信息，或者光标签可以具有默认的统一的物理形状(其可以存储在设备上)。所确定的光标签相对于图像采集器件的姿态信息可以由一个旋转矩阵R1表示。
在一个实施例中，也可以根据光标签建立一个坐标系，该坐标系可以被称为世界坐标系或光标签坐标系。可以将光标签上的一些点确定为在该世界坐标系中的一些空间点，并且可以根据光标签的物理尺寸信息和/或物理形状信息来确定这些空间点在该世界坐标系中的坐标。图像采集器件所在的设备可以从服务器获得光标签的物理尺寸信息和/或物理形状信息，或者光标签可以具有默认的统一的物理尺寸信息和/或物理形状信息，并且设备可以存储该物理尺寸信息和/或物理形状信息。光标签上的一些点例如可以是光标签的外壳的角、光标签中的光源的端部、光标签中的一些标识点、等等。根据光标签的物体结构特征或几何结构特征，可以在第一图像中找到与这些空间点分别对应的像点，并确定各个像点在第一图像中的位置。根据各个空间点在世界坐标系中的坐标以及对应的各个像点在第一图像中的位置，结合图像采集器件的内参信息，可以计算得到光标签在图像采集器件坐标系中的位置信息，其可以用位移向量t1来表示。另外地或者可选地，根据各个空间点在世界坐标系中的坐标以及对应的各个像点在第一图像中的位置，还可以计算得到光标签在图像采集器件坐标系中的姿态信息，其可以用旋转矩阵R1来表示。旋转矩阵R1与位移向量t1的组合(R1，t1)即为光标签在图像采集器件坐标系中的位姿信息(也即，位置和姿态信息)。根据各个空间点在世界坐标系中的坐标以及对应的各个像点在图像中的位置来计算旋转矩阵R和位移向量t的方法在现有技术中是已知的，例如，可以利用3D-2D的PnP(Perspective-n-Point)方法来计算R、t，为了不模糊本发明，在此不再详细介绍。旋转矩阵R和位移向量t实际上可以描述如何将某个点的坐标在世界坐标系和图像采集器件坐标系之间转换。例如，通过旋转矩阵R和位移向量t，可以将某个空间点在世界坐标系中的坐标转换为在图像采集器件坐标系中的坐标，并可以进一步转换为图像中的像点的位置。
步骤803：使用所述图像采集器件在第二工作模式下获得包含所述光标签的第二图像。
步骤804：根据所述光标签相对于所述图像采集器件的位置信息以及可选的姿态信息在所述第二图像上叠加与所述光标签有关的信息，并呈现叠加后的所述第二图像。
在一个实施例中，在获得了光标签相对于图像采集器件的位置信息之后，可以根据该位置信息，结合图像采集器件的内参信息，利用成像公式计算光标签在图像采集器件拍摄的第二图像上应该处于的显示位置。根据某个点相对于图像采集器件的位置信息利用成像公式计算该点的成像位置在本领域中是公知的，在此不再详细描述，以免模糊本发明。根据所计算的显示位置，可以在第二图像上的合适位置处叠加与光标签有关的信息，该合适位置优选地是所计算的显示位置。
另外地或者可选地，如果在步骤802中还获得了光标签相对于图像采集器件的姿态信息，则在第二图像上呈现与光标签有关的信息时，还可以进一步基于该姿态信息来呈现与光标签有关的信息。例如，在呈现光标签的图像、标志、图标等时，可以基于光标签在图像采集器件坐标系中的姿态信息，设置这些图像、标志、图标等的姿态。
图9示出了根据再一个实施例的用于呈现与光标签有关的信息的方法，其在图8所示的方法的基础上进一步考虑了设备在第一图像和第二图像的拍摄时刻之间的位置和/或姿态变化，并可以包括如下步骤：
步骤901：使用设备的图像采集器件在第一工作模式下获得包含光标签的第一图像，其中，所述第一工作模式是光标签识别模式。
步骤902：基于所述第一图像获得所述光标签相对于所述图像采集器件的位置信息以及可选的姿态信息。
步骤903：使用所述图像采集器件在第二工作模式下获得包含所述光标签的第二图像。
步骤904：确定所述设备在所述第一图像的拍摄时刻和所述第二图像的拍摄时刻之间的位置和姿态变化。
步骤905：根据所述光标签相对于所述图像采集器件的位置信息以及可选的姿态信息以及所述位置和姿态变化，确定在所述第二图像的拍摄时刻所述光标签相对于所述图像采集器件的位置信息以及可选的姿态信息。
可以根据设备的位置和姿态变化，确定在第一图像的拍摄时刻时图像采集器件的坐标系与在第二图像的拍摄时刻时图像采集器件的坐标系之间的旋转矩阵R和位移向量t，从而可以将在第一图像的拍摄时刻光标签相对于图像采集器件的原始位置信息和姿态信息转换为在第二图像的拍摄时刻光标签相对于图像采集器件的新的位置信息和姿态信息。
步骤906：根据在所述第二图像的拍摄时刻所述光标签相对于所述图像采集器件的位置信息以及可选的姿态信息，在所述第二图像上叠加与所述光标签有关的信息，并呈现叠加后的所述第二图像。
在本发明的一个实施例中，可以以计算机程序的形式来实现本发明。计算机程序可以存储于各种存储介质(例如，硬盘、光盘、闪存等)中，当该计算机程序被处理器执行时，能够用于实现本发明的方法。
在本发明的另一个实施例中，可以以电子设备的形式来实现本发明。该电子设备包括处理器和存储器，在存储器中存储有计算机程序，当该计算机程序被处理器执行时，能够用于实现本发明的方法。
本文中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合所述实施例所描述的特定特征、结构、或性质包括在至少一个实施例中。因此，短语“在各个实施例中”、“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个本文中各处的出现并非必须指代相同的实施例。此外，特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此，结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合，只要该组合不是不符合逻辑的或不能工作。本文中出现的类似于“根据A”、“基于A”、“通过A”或“使用A”的表述意指非排他性的，也即，“根据A”可以涵盖“仅仅根据A”，也可以涵盖“根据A和B”，除非特别声明或者根据上下文明确可知其含义为“仅仅根据A”。在本申请中为了清楚说明，以一定的顺序描述了一些示意性的操作步骤，但本领域技术人员可以理解，这些操作步骤中的每一个并非是必不可少的，其中的一些步骤可以被省略或者被其他步骤替代。这些操作步骤也并非必须以所示的方式依次执行，相反，这些操作步骤中的一些可以根据实际需要以不同的顺序执行，或者并行执行，只要新的执行方式不是不符合逻辑的或不能工作。
由此描述了本发明的至少一个实施例的几个方面，可以理解，对本领域技术人员来说容易地进行各种改变、修改和改进。这种改变、修改和改进意于在本发明的精神和范围内。虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。
Claims (12)
1.一种用于呈现与光通信装置有关的信息的方法，包括：
使用设备的图像采集器件在第一工作模式下获得包含光通信装置的第一图像，其中，所述第一工作模式是光通信装置识别模式；
基于所述第一图像获得所述光通信装置相对于所述图像采集器件的位置信息和姿态信息；
使用所述图像采集器件在第二工作模式下获得包含所述光通信装置的第二图像；
确定所述设备在所述第一图像的拍摄时刻和所述第二图像的拍摄时刻之间的位置和姿态变化；
根据所述光通信装置相对于所述图像采集器件的位置信息和姿态信息以及所述位置和姿态变化，确定在所述第二图像的拍摄时刻所述光通信装置相对于所述图像采集器件的位置信息和姿态信息；以及
根据在所述第二图像的拍摄时刻所述光通信装置相对于所述图像采集器件的位置信息和姿态信息，在所呈现的第二图像上叠加与所述光通信装置有关的信息。
2.根据权利要求1所述的方法，还包括：
基于所述第一图像获得所述光通信装置传递的标识信息；以及
通过所述标识信息获得与所述光通信装置有关的信息。
3.根据权利要求1所述的方法，其中，所述第二工作模式是正常曝光模式。
4.根据权利要求1-3中任一项所述的方法，其中，所述基于所述第一图像获得所述光通信装置相对于所述图像采集器件的位置信息包括：
基于所述第一图像中的光通信装置的成像大小来获得所述光通信装置相对于所述图像采集器件的距离；
基于所述第一图像中的光通信装置的成像位置来获得所述光通信装置相对于所述图像采集器件的方向；以及
通过所述光通信装置相对于所述图像采集器件的距离和方向来获得所述光通信装置相对于所述图像采集器件的位置信息。
5.根据权利要求1-3中任一项所述的方法，其中，所述基于所述第一图像获得所述光通信装置相对于所述图像采集器件的位置信息包括：
根据光通信装置上的一些点在光通信装置坐标系中的坐标、这些点在所述第一图像中的成像位置、以及所述图像采集器件的内参信息，获得所述光通信装置相对于所述图像采集器件的位置信息。
6.根据权利要求1所述的方法，其中，所述基于所述第一图像获得所述光通信装置相对于所述图像采集器件的姿态信息包括：
通过分析所述第一图像中的光通信装置的成像的透视变形，来获得所述光通信装置相对于所述图像采集器件的姿态信息；或者
根据光通信装置上的一些点在光通信装置坐标系中的坐标以及这些点在所述第一图像中的成像位置，获得所述光通信装置相对于所述图像采集器件的姿态信息。
7.一种用于呈现与光通信装置有关的信息的方法，包括：
使用设备的图像采集器件在第一工作模式下获得包含光通信装置的第一图像，其中，所述第一工作模式是光通信装置识别模式；
分析所述第一图像以获得与所述光通信装置在所述第一图像中的成像位置有关的信息和所述光通信装置相对于所述图像采集器件的姿态信息；
使用所述图像采集器件在第二工作模式下获得包含所述光通信装置的第二图像；
确定所述设备在所述第一图像的拍摄时刻和所述第二图像的拍摄时刻之间的位置和姿态变化；
根据与所述成像位置有关的信息和所述姿态信息以及所述位置和姿态变化确定与所述光通信装置有关的信息在所述第二图像上的呈现位置；以及
在所述第二图像上的所述呈现位置处叠加与所述光通信装置有关的信息。
8.根据权利要求7所述的方法，还包括：
基于所述第一图像获得所述光通信装置传递的标识信息；以及
通过所述标识信息获得与所述光通信装置有关的信息。
9.根据权利要求7所述的方法，其中，所述第二工作模式是所述图像采集器件的正常曝光模式。
10.根据权利要求7-9中任一项所述的方法，还包括：
通过分析所述第一图像中的光通信装置的成像的透视变形，来获得所述光通信装置相对于所述图像采集器件的姿态信息。
11.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，能够用于实现权利要求1-10中任一项所述的方法。
12.一种电子设备，其中包括处理器和存储器，在存储器中存储有计算机程序，当该计算机程序被处理器执行时，能够用于实现权利要求1-10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910777971.XA CN112417904B (zh) | 2019-08-22 | 2019-08-22 | 用于呈现与光通信装置有关的信息的方法和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910777971.XA CN112417904B (zh) | 2019-08-22 | 2019-08-22 | 用于呈现与光通信装置有关的信息的方法和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112417904A CN112417904A (zh) | 2021-02-26 |
| CN112417904B true CN112417904B (zh) | 2024-03-08 |
Family
ID=74780202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910777971.XA Active CN112417904B (zh) | 2019-08-22 | 2019-08-22 | 用于呈现与光通信装置有关的信息的方法和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112417904B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010118966A (ja) * | 2008-11-13 | 2010-05-27 | Sony Corp | 受信装置、情報提示方法および光通信システム |
| CN102419165A (zh) * | 2011-08-16 | 2012-04-18 | 福建汇川数码技术科技有限公司 | 基于激光与摄像机同轴实现的远程测距系统的测距激光点定位方法 |
| CN106446749A (zh) * | 2016-08-30 | 2017-02-22 | 西安小光子网络科技有限公司 | 一种光标签拍摄和光标签解码接力工作方法 |
-
2019
- 2019-08-22 CN CN201910777971.XA patent/CN112417904B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010118966A (ja) * | 2008-11-13 | 2010-05-27 | Sony Corp | 受信装置、情報提示方法および光通信システム |
| CN102419165A (zh) * | 2011-08-16 | 2012-04-18 | 福建汇川数码技术科技有限公司 | 基于激光与摄像机同轴实现的远程测距系统的测距激光点定位方法 |
| CN106446749A (zh) * | 2016-08-30 | 2017-02-22 | 西安小光子网络科技有限公司 | 一种光标签拍摄和光标签解码接力工作方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112417904A (zh) | 2021-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11887312B2 (en) | Fiducial marker patterns, their automatic detection in images, and applications thereof | |
| Raskar et al. | RFIG lamps: interacting with a self-describing world via photosensing wireless tags and projectors | |
| US8860760B2 (en) | Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene | |
| US7558403B2 (en) | Information processing apparatus and information processing method | |
| US11275453B1 (en) | Smart ring for manipulating virtual objects displayed by a wearable device | |
| US10186084B2 (en) | Image processing to enhance variety of displayable augmented reality objects | |
| JP2019536170A (ja) | 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法 | |
| CN110073313A (zh) | 使用母设备和至少一个伴随设备与环境交互 | |
| US20220124295A1 (en) | Marker-based guided ar experience | |
| KR20230028532A (ko) | 가상 현실 경험들을 위한 지상 실측값 데이터세트들의 생성 | |
| CN112528699B (zh) | 用于获得场景中的设备或其用户的标识信息的方法和系统 | |
| KR102309297B1 (ko) | 단말기 및 그 제어 방법 | |
| CN112788443B (zh) | 基于光通信装置的交互方法和系统 | |
| CN112417904B (zh) | 用于呈现与光通信装置有关的信息的方法和电子设备 | |
| CN111753565B (zh) | 用于呈现与光通信装置有关的信息的方法和电子设备 | |
| CN112561952A (zh) | 用于为目标设置可呈现的虚拟对象的方法和系统 | |
| CN111242107B (zh) | 用于设置空间中的虚拟对象的方法和电子设备 | |
| CN112051919B (zh) | 一种基于位置的交互方法和交互系统 | |
| WO2020244480A1 (zh) | 一种用于实现相对定位的装置以及相应的相对定位方法 | |
| CN112581630A (zh) | 一种用户交互方法和系统 | |
| JP2000098300A (ja) | 仮想画像立体合成装置、仮想画像立体合成方法、ゲーム装置及び記録媒体 | |
| WO2020244576A1 (zh) | 基于光通信装置叠加虚拟对象的方法和相应的电子设备 | |
| TWI759764B (zh) | 基於光通信裝置疊加虛擬物件的方法、電子設備以及電腦可讀取記錄媒體 | |
| CN114827338A (zh) | 用于在设备的显示媒介上呈现虚拟对象的方法和电子装置 | |
| US11671718B1 (en) | High dynamic range for dual pixel sensors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |