CN113196742B - 计算机实现的方法、系统和计算机可读介质 - Google Patents

计算机实现的方法、系统和计算机可读介质 Download PDF

Info

Publication number
CN113196742B
CN113196742B CN201880099703.0A CN201880099703A CN113196742B CN 113196742 B CN113196742 B CN 113196742B CN 201880099703 A CN201880099703 A CN 201880099703A CN 113196742 B CN113196742 B CN 113196742B
Authority
CN
China
Prior art keywords
frame portion
region
data sequence
current frame
signal pulses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880099703.0A
Other languages
English (en)
Other versions
CN113196742A (zh
Inventor
张洪伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN113196742A publication Critical patent/CN113196742A/zh
Application granted granted Critical
Publication of CN113196742B publication Critical patent/CN113196742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/1141—One-way transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/1149—Arrangements for indoor wireless networking of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Abstract

一种计算机实现的方法，包括：使相机模块以采样时钟周期的曝光时间捕获多个帧部分。帧部分对应地反映由光源周期性地产生的预定数量的第一信号脉冲。曝光时间对应于预定数量的第一信号脉冲中的一个的持续时间。将第一数据序列编码到第一信号脉冲中。采样时钟周期不同于第一数据序列的持续时间，使得第二数据序列从循环通过所有的第一数据序列获得。

Description

计算机实现的方法、系统和计算机可读介质
1、本公开的领域
本公开涉及图像传感器通信领域，尤其涉及使用不同的发送数据序列速率和接收帧速率的图像传感器通信的方法、系统和计算机可读介质。
2、相关技术的描述
对于图像传感器通信(ISC)，发送端包括发送将数据序列编码到其中的光脉冲的光源，并且接收端包括捕获对应地反映采样的光脉冲的帧的相机、以及处理帧以获得数据序列的至少一个处理器。ISC可以用于例如室内导航和数字标牌。
发明内容
本公开的目的是提出用于使用不同的发送数据序列速率和接收帧速率的图像传感器通信的方法、系统和计算机可读介质。
在本公开的第一方面中，一种计算机实现的方法包括：使相机模块以采样时钟周期的曝光时间捕获多个帧部分。帧部分对应地反映由光源周期性地产生的预定数量的第一信号脉冲。曝光时间对应于预定数量的第一信号脉冲中的一个的持续时间。将第一数据序列编码到第一信号脉冲中。采样时钟周期不同于第一数据序列的持续时间，使得第二数据序列从循环通过所有的第一数据序列获得。
在本公开的第二方面，一种系统包括相机模块、至少一个存储器和至少一个处理器。至少一个存储器被配置为存储程序指令。至少一个处理器被配置为执行程序指令，所述程序指令使至少一个处理器执行步骤，所述步骤包括：使相机模块以采样时钟周期的曝光时间捕获多个帧部分。帧部分对应地反映由光源周期性地产生的预定数量的第一信号脉冲。曝光时间对应于预定数量的第一信号脉冲中的一个的持续时间。将第一数据序列编码到第一信号脉冲中。采样时钟周期不同于第一数据序列的持续时间，使得第二数据序列从循环通过所有的第一数据序列获得。
在本公开的第三方面，提供了一种在其上存储有程序指令的非暂时性计算机可读介质。当程序指令由至少一个处理器执行时，使至少一个处理器执行步骤，所述步骤包括：使相机模块以采样时钟周期的曝光时间捕获多个帧部分。帧部分对应地反映由光源周期性地产生的预定数量的第一信号脉冲。曝光时间对应于预定数量的第一信号脉冲中的一个的持续时间。将第一数据序列编码到第一信号脉冲中。采样时钟周期不同于第一数据序列的持续时间，使得第二数据序列从循环通过所有的第一数据序列获得。
附图的简要说明
为了更清楚地图示本公开或相关技术的实施例，将简要介绍在实施例中描述的以下附图。显然，附图仅仅是本公开的一些实施例，本领域普通技术人员可以在不付出的前提下，根据这些附图获得其他附图。
图1是图示根据本公开的实施例的在接收终端中的输入、控制和处理以及输出硬件模块的框图。
图2是图示根据本公开的实施例的光源和使用全局快门采样方法的相机的图。
图3是图示根据本公开的实施例的光源和使用卷帘快门采样方法的相机的图。
图4是图示根据本公开的实施例的使用发送数据序列速率的信号脉冲发送方法和使用不同于发送数据序列速率的接收帧速率的信号脉冲采样方法的时序图。
图5是图示根据本公开的另一实施例的使用发送数据序列速率的信号脉冲发送方法和使用不同于发送数据序列速率的接收帧速率的信号脉冲采样方法的时序图。
图6是图示根据本公开的实施例的图像处理方法的流程图。
图7是图示根据本公开的实施例的图像处理方法中的检测步骤的流程图。
图8是图示根据本公开的实施例的图像处理方法中的跟踪步骤的流程图。
图9是图示根据本公开的实施例的图像处理方法中的解码步骤的流程图。
图10是图示根据本公开的实施例的解码步骤中用于数据比特的解码步骤的流程图。
图11是图示根据本公开的实施例的像素值集合的一部分被解码的图。
实施例的具体描述
以下参照附图以技术问题、结构特征、实现的目的以及效果详细地描述本公开的实施例。具体地，本公开的实施例中的术语仅用于描述特定实施例的目的，并不用于限制本发明。
如本文中所使用的，术语“使用”是指其中直接使用对象以执行步骤的情况，或者通过至少一个中间步骤修改对象并且直接使用修改后的对象执行步骤的情况。
图1是图示根据本公开的实施例的在接收终端100中的输入、控制和处理以及输出硬件模块的框图。参照图1，接收终端100包括相机模块102、处理器模块104、存储器模块106，显示模块108、存储模块110、有线或无线通信模块112以及总线114。接收终端100可以是例如手机、智能手机、平板电脑、笔记本计算机或台式计算机。
相机模块102是输入硬件模块，并且被配置为执行将参照图4或图5描述的采样方法，以捕获多个帧部分，每个帧部分将通过总线114传输到处理器模块104。相机模块102包括具有二维光电二极管(PD)阵列结构的图像传感器。图像传感器可以是电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。在将参照图4描述的实施例中，相机模块102是彩色相机。可替代地，相机模块102是灰度相机。还可替代地，相机模块102是红外相机。在将参照图5描述的实施例中，相机模块102是彩色相机。
存储器模块106可以是暂时性或非暂时性计算机可读介质，其包括存储程序指令的至少一个存储器，该程序指令在由处理器模块104执行时使处理器模块104控制相机模块102执行将参照图4或图5描述的信号脉冲采样方法，使用将参照图6至图11描述的图像处理方法处理帧部分，并且对处理帧部分的结果进行后处理用于不同应用，诸如室内导航和数字标牌。处理器模块104包括至少一个处理器，至少一个处理器将信号经由总线114直接或间接发送到相机模块102、存储模块106、显示模块108、存储模块110和有线或无线通信模块112，和/或经由总线114直接或间接从相机模块102、存储模块106、显示模块108、存储模块110和有线或无线通信模块112接收信号。至少一个处理器可以是(一个或多个)中央处理单元(CPU)、(一个或多个)图形处理单元(GPU)和/或(一个或多个)数字信号处理器(DSP)。CPU可以经由总线114将帧部分、一些程序指令和其他数据或指令发送到(一个或多个)GPU和/或(一个或多个)DSP。
显示模块108是输出硬件模块，并且被配置为显示通过总线114从处理器模块104接收到的后处理结果。可替代地，可以使用另一个输出硬件模块输出后处理结果，诸如存储模块110或有线或无线通信模块112。存储模块110被配置为存储通过总线114从处理器模块104接收到的后处理结果。有线或无线通信模块112被配置为通过有线或无线通信将后处理结果传输到网络，其中通过总线114从处理器模块104接收到后处理结果。
接收终端100是一种类型的计算系统，其所有组件通过总线114集合成在一起。其他类型的计算系统，诸如具有远程相机模块而不是相机模块102的计算系统，在本公开的预期范围内。
图2是图示根据本公开的实施例的光源204和使用全局快门采样方法的相机206的图。对于图像传感器通信(ISC)的发送端，配备源的发送终端202包括发送设备(未示出)，该发送设备包括光源204和脉冲驱动器(未示出)，该脉冲驱动器被配置为控制光源204使用将参照图4或图5描述的信号脉冲发送方法发送多个光脉冲。在整个本公开中，术语“光脉冲”也被称为“信号脉冲”。配备源的发送终端202可以是例如手机、智能手机、平板电脑、笔记本计算机、台式计算机或显示装置。光源204可以发射可见光或诸如红外的不可见光。光源204包括至少一个发光二极管(LED)、至少一个荧光灯或至少一个垂直腔表面发射激光器(VCSEL)。对于ISC的接收端，接收终端(未示出)包括相机206，相机206被配置为捕获多个帧部分208，在多个帧部分208中反映对应的多个采样光脉冲。接收终端和相机206可以对应地是参照图1描述的接收终端100和相机模块102。使用将参照图4或图5描述的信号脉冲采样方法对采样光脉冲进行采样。在实施例中，相机206使用全局快门采样方法，使得帧部分208中的每个包括由相机206的图像传感器的所有二维PD阵列结构产生的像素。
图3是图示根据本公开的实施例的光源204和使用卷帘快门采样方法的相机306的图。与参照图2描述的ISC的接收端相比，本实施例中ISC的接收端使用相机306而不是相机206。相机306使用卷帘快门采样方法，使得帧部分308中的每个包括由相机306的图像传感器的二维PD阵列结构的一部分(例如，一行)产生的像素。以下对信号脉冲采样方法实施例和图像处理方法实施例的描述可以在必要的变通之后应用于本实施例中ISC的接收端。
图4是图示根据本公开的实施例的使用发送数据序列速率的信号脉冲发送方法和使用不同于发送数据序列速率的接收帧速率的信号脉冲采样方法的时序图。对于信号脉冲发送方法，光源204(如图2所示)每隔信号时钟SG_CLK4的半个周期发送第一信号脉冲PWM_SP中的对应一个。第一数据序列被编码为由光源204以发送数据序列速率周期性地产生的预定数量的第一信号脉冲(在第一信号脉冲PWM_SP中)。发送数据序列速率是第一数据序列的持续时间D_TP4的倒数。通过脉冲宽度调制(PWM)将第一数据序列编码为第一信号脉冲。周期性地产生的第一信号脉冲集合中信号脉冲(在第一信号脉冲PWM_SP中)的第一集合用作描述PWM的示例。在信号时钟SG_CLK4的时刻t41和t46之间产生信号脉冲的第一集合。信号脉冲的第一集合被划分为5个部分，对应地在时刻t41和t43之间、在时刻t43和t44之间、在时刻t44和t45之间、在时刻t45和t46之间以及在时刻t46和t47之间。每个部分具有6个信号脉冲。对于PWM，在每个部分的6个信号脉冲中的例如亮脉冲的对应宽度用于对第一数据序列中的对应数据比特或空格进行编码。在此示例中，亮脉冲在第一信号脉冲PWM_SP中被示出为高值，以及暗脉冲在第一信号脉冲PWM_SP中被示出为低值。在实施例中，当亮脉冲的宽度小于或等于2时，数据比特0被编码。当亮脉冲的宽度大于或等于3且小于或等于4时，数据比特1被编码。当亮脉冲的宽度等于0时，空格被编码。在图4的示例中，对于时刻t41与t43之间的部分，亮脉冲的宽度为2并因此数据比特0被编码。对于时刻t43和t44之间的部分，以及类似对应地在时刻t44和t45之间以及时刻t45和t46之间的部分，亮脉冲的宽度为4并因此数据比特1被编码。对于时刻t46和t47之间的部分，亮脉冲的宽度为0并因此空格被编码。在第一数据序列中，“0111”是数据部分以及“space”是空格部分。部分中其他数量的信号脉冲、用于解码“1”，“0”和空格的亮脉冲的其他宽度以及紧接在数据部分之前的空格部分均在本公开的预期范围内。
对于信号脉冲采样方法，处理器模块104(如图1所示)被配置为使相机206(如图2所示)以采样时钟周期的曝光时间捕获帧部分208(如图2所示)。在图4中，采样时钟SP_CLK4具有采样时钟周期。采样时钟周期不同于第一数据序列的持续时间D_TP4，使得第二数据序列从循环通过所有的所述第一数据序列获得。接收帧速率是采样时钟周期的倒数，并因此不同于发送数据序列速率。在实施例中，采样时钟周期超过第一数据序列的持续时间至少一个信号脉冲的持续时间。可替代地，采样时钟周期可以比第一数据序列的持续时间短至少一个信号脉冲的持续时间。至少一个信号脉冲的持续时间可以短于或长于第一数据序列的持续时间D_TP4。取决于采样时钟周期，可以以非倒序或以逆序循环通过第一数据序列。在实施例中，第二序列还包括数据部分和空格部分。在实施例中，如果光源204的脉冲速率低于阈值，则光源204具有使人眼闪烁(flicker)的区域。由于发送数据序列速率和接收帧速率不同，当相机206是低帧速率相机时，脉冲速率可以足够高以使第一信号脉冲PWM_SP对人眼抑制闪烁。在示例中，信号时钟SG_CLK4具有930Hz的频率，并且采样时钟SP_CLK4具有60Hz的频率。
在图4的示例中，采样时钟周期超过第一数据序列的持续时间D_TP4具有一个信号脉冲的持续时间的时间段(例如，在时刻t47和t48之间)。曝光时间等于一个信号脉冲的持续时间。在图4中，采样定时SP_T4示出在相机206进行曝光的采样时钟SP_CLK4的每个周期期间的对应时间段(例如，在时刻t41和t42之间)，其具有等于曝光时间的持续时间。因此，在第一SP_CLK4周期中，针对第一数据序列的第一比特，采样6个信号脉冲中的第一信号脉冲。在第二SP_CLK4周期中，针对第一数据序列的第一比特，采样6个信号脉冲中的第二信号脉冲。在第三SP_CLK4周期中，针对第一数据序列的第一比特，采样6个信号脉冲中的第三信号脉冲。为了简单起见，省略了后续的SP_CLK4周期。逐个信号脉冲地循环通过第一数据序列的一个比特，并且逐个比特地循环通过整个第一数据序列。
图5是图示根据本公开的另一实施例的使用发送数据序列速率的信号脉冲发送方法和使用不同于发送数据序列速率的接收帧速率的信号脉冲采样方法的时序图。对于信号脉冲发送方法，光源204(如图2所示)每隔信号时钟SG_CLK5的半个周期发送第一信号脉冲C_SP中的对应一个。第一数据序列被编码为由光源204以发送数据序列速率周期性地产生的预定数量的第一信号脉冲(在第一信号脉冲C_SP中)。发送数据序列速率是第一数据序列的持续时间D_TP5的倒数。通过差分相移键控(DPSK)将第一数据序列编码为第一信号脉冲。周期性产生的第一信号脉冲集合中信号脉冲(在第一信号脉冲C_SP中)的第一集合用作描述DPSK的示例。在信号时钟SG_CLK5的时刻t51和t59之间生成信号脉冲的第一集合。信号脉冲的第一集合被划分为6个部分，对应地在时刻t51和t54之间、在时刻t54和t55之间、在时刻t55和t56之间、在时刻t56和t57之间、在时刻t57和t58之间以及在时刻t58和t59之间。每个部分具有4个信号脉冲。4个信号脉冲的前三个(例如，在时刻t51和t53之间)具有三种颜色中的一种以及4个信号脉冲的最后一个(例如，在时刻t53和t54之间)是黑色的。在图5的示例中，三种颜色分别是红色、绿色和蓝色。对于DPSK，每相邻的两个部分中的第一个的对应第一种颜色与每相邻的两个部分中的第二个的对应第二种颜色之间的颜色差异用于编码数据比特或空格。在实施例中，当颜色差异是从绿色到蓝色的变化时，数据比特0被编码。当颜色差异是从蓝色到红色的变化时，数据比特0被编码。当颜色差异是从红色到绿色的变化时，数据比特0被编码。当颜色差异是从绿色到红色的变化时，数据比特1被编码。当颜色差异是从红色到蓝色的变化时，数据比特1被编码。当颜色差异从蓝色到绿色的变化时，数据比特1被编码。当颜色差异是没有变化的颜色(诸如从绿色到绿色，从红色到红色以及从蓝色到蓝色)时，空格被编码。每个部分均包括黑色定时，以避免相位误差。在图5的示例中，在时刻t51和t54之间的部分与在时刻t54和t55之间的部分之间的颜色差异是从绿色到蓝色的变化，因此数据比特0被编码。在时刻t54和t55之间的部分与在时刻t55和t56之间的部分之间的颜色差异是从蓝色到绿色的变化，因此数据比特1被编码。在时刻t55和t56之间的部分与在时刻t56和t57之间的部分之间的颜色差异是从绿色到红色的变化，因此数据比特1被编码。在时刻t56和t57之间的部分与在时刻t57和t58之间的部分之间的颜色差异是从红色到蓝色的变化，因此数据比特1被编码。在时刻t57和t58之间的部分与在时刻t58和t59之间的部分之间的颜色差异没有变化(即从蓝色到蓝色)，因此空格被编码。在第一数据序列中，“0111”是数据部分，“space”是空格部分。部分中其他数量的信号脉冲以及用于解码“1”、“0”和空格的其他颜色差异以及紧邻数据部分之前的空格部分均在本公开的预期范围内。
对于信号脉冲采样方法，处理器模块104(如图1所示)被配置为使相机206(如图2所示)以采样时钟周期的曝光时间捕获帧部分208(如图2所示)。在图5中，采样时钟SP_CLK5具有采样时钟周期。采样时钟周期不同于第一数据序列的持续时间D_TP5，使得第二数据序列从循环通过所有的第一数据序列获得。接收帧速率是采样时钟周期的倒数，并因此不同于发送数据序列速率。在实施例中，采样时钟周期超过第一数据序列的持续时间至少一个信号脉冲的持续时间。可替代地，采样时钟周期可以比第一数据序列的持续时间短至少一个信号脉冲的持续时间。至少一个信号脉冲的持续时间可以短于或长于第一数据序列的持续时间D_TP5。取决于采样时钟周期，可以以非倒序或以逆序循环通过第一数据序列。在实施例中，第二序列还包括数据部分和空格部分。在实施例中，如果光源204的脉冲速率低于阈值，则光源204具有使人眼闪烁的区域。由于发送数据序列速率和接收帧速率不同，当相机206是低帧速率相机时，脉冲速率可以足够高以使第一信号脉冲C_SP对人眼抑制闪烁。在示例中，信号时钟SG_CLK5具有720Hz的频率，并且采样时钟SP_CLK5具有60Hz的频率。
在图5的示例中，采样时钟周期超过第一数据序列的持续时间D_TP5具有两个信号脉冲的持续时间的时间段(例如，在时刻t59和t510之间)。曝光时间等于一个信号脉冲的持续时间。在图5中，采样定时SP_T5示出在相机206进行曝光的采样时钟SP_CLK5的每个周期期间的对应时间段(例如，在时刻t51和t52之间)，其具有等于曝光时间的持续时间。因此，在第一SP_CLK5周期中，针对第一数据序列的第一比特的第一种颜色，采样4个信号脉冲中的第一信号脉冲。在第二SP_CLK5周期中，针对第一数据序列的第一比特的第一种颜色，采样4个信号脉冲中的第三信号脉冲。在第三SP_CLK5周期中，针对第一数据序列的第一比特的第二种颜色，采样4个信号脉冲中的第一信号脉冲。在第四SP_CLK5周期中，针对第一数据序列的第一比特的第二种颜色，采样4个信号脉冲中的第三信号脉冲。为了简单起见，省略了后续的SP_CLK5周期。逐两个信号脉冲地循环通过一种颜色，逐个颜色地循环通过整个第一数据序列。
图6是图示根据本公开的实施例的图像处理方法600的流程图。在实施例中，图像处理方法600由图1中的处理器模块104执行。在下文中，参照图4描述的实施例用作图示图像处理方法600的示例。图像处理方法600可以在必要的变通之后应用于参照图5描述的实施例。在步骤602中，从相机模块102接收帧部分208的当前帧部分。在步骤604中，执行检测步骤。该检测步骤包括：获取当前帧部分中的第一区域，以及如果第一区域对应于与第二数据序列相对应的第二信号脉冲中的第一个，则创建跟踪表并在跟踪表中注册与第一区域相关的第一参数集合。在步骤606中，执行跟踪步骤。该跟踪步骤包括：如果第一区域对应于第二信号脉冲中的下一个，则在跟踪表中注册与第一区域相关的第一参数集合；以及如果在跟踪表中存在对应于第二数据序列的空格部分的多个第二像素值集合，则指示第一参数集合对应于第二信号脉冲中的最后一个。第一参数集合包括第一区域的第一像素值集合。在实施例中，第一像素值集合是色度像素值。可替代地，第一像素值集合是RGB像素值。在步骤608中，执行解码步骤。该解码步骤包括：解码跟踪表中的多个第三像素值集合。第三像素值集合是跟踪表中的所有像素值集合。对于帧部分208的下一帧部分，在步骤608之后，图像处理方法600循环回到步骤602。
在参照图6描述的实施例中，图像处理方法600与接收帧速率同步并且跨步骤602-608具有处理循环。其他图像处理方法，诸如与接收帧速率异步并且在对应于图像处理方法600的步骤602-608的步骤中的每个步骤中具有对应处理循环的图像处理方法，都在本公开的预期范围内。
图7是图示根据本公开的实施例的图像处理方法600中的步骤604的流程图。在步骤702中，使用当前帧部分执行二值化，以获得黑白图像。在步骤704中，标记黑白图像中的第一连续区域。在步骤706中，提取第一连续区域，从而获得对应于第一连续区域的第一区域。在步骤708中，如果基于帧部分208的前一帧部分的第一参数集合是否对应于由第三数据序列编码的第二信号脉冲中的最后一个的指示、以及当前帧部分中的第一区域和前一帧部分中的第一区域之间的第一距离，当前帧部分中的第一区域对应于第二信号脉冲中的第一个，则执行步骤710；否则，步骤604进行到将参照图8描述的步骤802。在实施例中，该指示是从对于前一帧部分执行图6中的步骤606获得的。如果指示为真，并且如果第一距离大于将参照图8描述的第一阈值，第三数据序列可以不同于第二数据序列，因此当前帧部分中的第一区域被确定为对应于第二信号脉冲中的第一个。在实施例中，还基于第一区域的大小和/或第一区域的颜色类型，确定当前帧部分中的第一区域是否对应于第二信号脉冲中的第一个。在实施例中，存在两种颜色类型，一种是黑白颜色类型以及另一种是红色、绿色和蓝色颜色类型。在步骤710中，创建跟踪表并在跟踪表中注册与第一区域相关的第一参数集合。在步骤712中，基于光源在当前帧部分中的第一位置估计光源在下一帧部分中的第二位置。当前帧部分的第一参数集合还包括光源在当前帧部分中的第一位置。在实施例中，第一位置与第二位置的估计值的上限或下限之间的距离是第二阈值。在步骤714中，将第二位置添加到当前帧部分的第一参数集合中，用于确定下一帧部分的第一区域是否对应于第二信号脉冲中的下一个。在美国专利申请公开号2015/0023673A1中更详细地描述了二值化、标记、提取和第一参数集合的参数的示例。
图8是图示根据本公开的实施例的图像处理方法600中的步骤606的流程图。在步骤802中，如果基于帧部分的当前帧部分中的第一区域和前一帧部分中的第一区域之间的第二距离，第一区域对应于第二信号脉冲的下一个，则执行步骤804；否则，步骤606进行到将参照图9描述的步骤902。在实施例中，如果第二距离大于当前一帧部分对应于第二信号脉冲中的第一个时的第二阈值，或者当前一帧部分对应于第二信号的一部分中的一个(除了第二信号脉冲的第一个和最后一个)时的第一阈值。在实施例中，还基于第一区域的大小和/或第一区域的颜色类型，确定第一区域是否对应于第二信号脉冲中的下一个。在步骤804中，在跟踪表中注册与第一区域相关的第一参数集合。在步骤806中，基于光源在当前帧部分中的第三位置估计光源在下一帧部分中的第四位置。当前帧部分的第一参数集合还包括光源在当前帧部分中的第三位置。在实施例中，第三位置与第四位置的估计值的上限或下限之间的距离是第一阈值。在步骤808中，将第四位置添加到当前帧部分的第一参数集合，用于确定对于下一帧部分，当前帧部分中的第一区域是否对应于第二信号脉冲中的第一个，和/或第一区域是否对应于第二信号脉冲中的下一个。在步骤810中，如果在跟踪表中存在对应于第二数据序列的空格部分的第二像素值集合，则执行步骤812；否则，步骤606进行到步骤902。在实施例中，第二像素值集合包括第一像素值集合和紧接在第一像素值集合之前的至少一个第四像素值集合。在图4的示例中，第二像素值集合的像素值集合的数量为六个或更多。在步骤812中，指示第一参数集合对应于第二信号脉冲中的最后一个。
图9是图示根据本公开的实施例的图像处理方法600中的步骤608的流程图。在步骤902中，如果第三像素值集合的数量等于第一信号脉冲的数量，则执行步骤904；否则，执行步骤912。在步骤904中，解码第三像素值集合中对应于第二数据序列中的数据比特的一部分。在步骤912中，输出错误。在步骤906中，如果解码了第三像素值集合的对应于第二数据序列中的数据比特的每个部分，则执行步骤908；否则，步骤608循环回到步骤904。在步骤908中，如果奇偶校验成功，则执行步骤910；否则，执行步骤912。在步骤910中，输出第二数据序列的数据比特。
在参照图9描述的实施例中，使用奇偶性完成错误检测。诸如更复杂的循环冗余校验(CRC)的其他错误检测方法在本公开的预期范围内。
图10是图示根据本公开的实施例的图9中步骤608中的步骤904的流程图。在步骤1002中，在第三像素值集合的一部分中交替地搜索亮像素值集合和暗像素值集合，直到到达第三像素值集合的该部分的末端为止。在步骤1004中，基于在步骤1002中找到的像素值集合的位置，计算出在第三像素值集合的该部分中的至少一个亮像素值集合的数量。可替代地，基于在步骤1002中找到的像素值集合的位置，计算出在第三像素值集合的该部分中的至少一个暗像素值集合的数量。在步骤1006中，基于至少一个亮像素值集合的数量确定第二数据序列的数据比特。在实施例中，如果至少一个亮像素值的数量≤2，则数据比特为0；如果3≤至少一个亮像素值的数量≤4，则数据比特为1；如果至少一个亮像素值的个数≥5，则该数据比特为错误。
图11是图示根据本公开的实施例的被解码的第三像素值集合1102的部分(例如1104)的图。图11的示例基于图4的示例。在图11的示例中。在图11中，亮像素值由“1”表示，暗像素值由“0”表示。在第三像素值集合1102的部分(例如1104)中存在七个像素值。以第三像素值集合1102的部分1106为例。第三像素值集合1102的部分1106的第一像素值是第三像素值集合1102的部分1104的最后一个像素值。在实施例中，第三像素值集合1102的每个部分的最后一个像素值始终是暗像素值。在图11的示例中，第三像素值集合1102的部分1104的至少一个亮像素值的数量为2，并因此第二数据序列中的对应数据比特为0。第三像素值集合1102的部分1106的至少一个亮像素值的数量为4，并因此第二数据序列中的对应数据比特为1。第三像素值集合1102的部分1108的至少一个亮像素值的数量为4，并因此第二数据序列中的对应数据比特为1。第三像素值集合1102的部分1110的至少一个亮像素值的数量为4，并因此第二像素序列中的对应数据比特(同样还是奇偶性比特)为1。在图11的示例中，使用奇数奇偶性。除了奇偶性比特，第二数据序列中存在偶数个“1”，并且奇偶性比特为1。因此，奇偶校验成功。可替代地，可以使用偶数奇偶性。
一些实施例具有以下特征和/或优点中的一个或组合。在实施例中，使相机模块以采样时钟周期捕获多个帧部分。帧部分对应地反映由光源周期性地产生的预定数量的采样信号脉冲。将第一数据序列编码为信号脉冲。采样时钟周期不同于第一数据序列的持续时间，使第二数据序列从循环通过所有的第一数据序列获得。与使用以与信号脉冲的脉冲速率相同的帧速率对信号脉冲进行采样的相机的相关技术相比，本实施例的相机模块可以是低帧速率相机，同时光源可以使用使信号脉冲对人眼抑制闪烁的高脉冲速率。
本领域普通技术人员可以理解，使用硬件、固件、软件或其组合来实现本公开的实施例中描述和公开的系统或计算机实现的方法的单元、模块、层、框、算法和步骤中的每个。功能是以硬件、固件还是软件运行，取决于应用条件和技术计划的设计要求。本领域普通技术人员可以使用不同的方式来实现每个特定应用的功能，而这种实现不应超出本公开的范围。
应当理解，本公开的实施例中所公开的系统和计算机实现的方法可以用其他方式来实现。上述实施例仅是示例性的。模块的划分仅基于逻辑功能，而在实现中存在其他划分。这些模块可以是、也可以不是物理模块。可能将多个模块组合或集合成到一个物理模块中。也可能将模块中的任一个划分为多个物理模块。也可能省略或跳过某些特性。另一方面，示出或讨论的相互耦合、直接耦合或通信耦合无论间接地还是通过电子、机械或其它种类的形式通信地通过某些端口、设备或模块操作。
用于解释的作为单独组件的模块在物理上是或不是分离的。这些模块位于一个位置或分布在多个网络模块上。根据实施例的目的，使用模块中的一些或全部。
如果软件功能模块被实现并作为产品销售，则可以将其存储在计算机可读存储介质中。基于该理解，可以将本公开提出的技术计划本质上或部分地实现为软件产品的形式。或者，可以将对传统技术有益的技术计划的一部分实现为软件产品的形式。该软件产品存储在计算机可读存储介质中，其包括用于系统的至少一个处理器以运行由本公开的实施例公开的步骤中的全部或一些的多个命令。存储介质包括USB盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、软盘或其他能够存储程序指令的介质。
尽管已经结合被认为是最实际和优选的实施例描述了本公开，但是应当理解，本公开不限于所公开的实施例，而是意图覆盖所做出的各种布置而不脱离所附权利要求书的最广泛解释的范围。

Claims (42)

1.一种计算机实现的方法，包括：
使包括图像传感器的相机模块以采样时钟周期的曝光时间捕获多个帧部分的当前帧部分和下一帧部分之间，以使用不同的发送数据序列速率和接收帧速率进行图像传感器通信；其中
所述帧部分对应地反映由光源周期性地产生的预定数量的第一信号脉冲；
所述曝光时间对应于所述预定数量的第一信号脉冲中的一个的持续时间；
将第一数据序列采用脉冲宽度调制或差分相移键控的方式编码到所述第一信号脉冲中；和
所述采样时钟周期不同于所述第一数据序列的持续时间，使得第二数据序列从循环通过的所有所述第一数据序列中获得，其中，所述采样时钟周期超过所述第一数据序列的持续时间至少一个信号脉冲的持续时间或所述采样时钟周期比所述第一数据序列的持续时间短至少一个信号脉冲的持续时间。
2.根据权利要求1所述的方法，其中
通过脉冲宽度调制(PWM)将所述第一数据序列编码到所述第一信号脉冲中；和
所述第一信号脉冲中的一个是亮或暗。
3.根据权利要求1所述的方法，其中
通过差分相移键控(DPSK)将所述第一数据序列编码到所述第一信号脉冲中；和
所述第一信号脉冲中的一个具有三种颜色中的一种。
4.根据权利要求3所述的方法，其中
所述第一信号脉冲的第一部分具有所述三种颜色中的第一种颜色；
紧接在所述第一信号脉冲的所述第一部分之后的所述第一信号脉冲的第二部分是黑色；
紧接在所述第一信号脉冲的所述第二部分之后的所述第一信号脉冲的第三部分具有所述三种颜色中的第二种颜色；和
所述三种颜色的所述第一种颜色和所述三种颜色中的所述第二种颜色是相同或不同的。
5.根据权利要求1所述的方法，其中，所述第二数据序列包括数据部分和紧接在所述数据部分之前或之后的空格部分。
6.根据权利要求5所述的方法，在所述相机模块捕获所述帧部分的当前帧部分和下一帧部分之间中，还包括以下步骤：
步骤A1，从所述相机模块接收所述当前帧部分；和
步骤A2，获取所述当前帧部分中的第一区域，以及如果所述第一区域对应于与所述第二数据序列相对应的第二信号脉冲中的第一个，创建跟踪表并在所述跟踪表中注册与所述第一区域相关的第一参数集合，其中，所述第一参数集合包括所述第一区域的第一像素值集合；
步骤A3，如果所述第一区域对应于所述第二信号脉冲中的下一个，在所述跟踪表中注册与所述第一区域相关的第一参数集合，以及如果在所述跟踪表中存在对应于所述第二数据序列的所述空格部分的多个第二像素值集合，指示所述第一参数集合对应于所述第二信号脉冲中的最后一个；和
步骤A4，解码所述跟踪表中的多个第三像素值集合，其中所述第三像素值集合是所述跟踪表中所有的像素值集合。
7.根据权利要求6所述的方法，其中，所述步骤A2包括：
使用所述当前帧部分执行二值化，以获得黑白图像；
标记所述黑白图像中的第一连续区域；和
提取所述第一连续区域，从而获得对应于所述第一连续区域的所述第一区域。
8.根据权利要求6所述的方法，其中，所述步骤A2包括：
基于前一帧部分的所述第一参数集合是否对应于将第三数据序列编码到其中的第二信号脉冲中的最后一个的指示、以及所述当前帧部分中的所述第一区域和所述前一帧部分中的所述第一区域之间的第一距离，确定所述当前帧部分中的所述第一区域是否对应于所述第二信号脉冲中的第一个。
9.根据权利要求8所述的方法，其中，所述步骤A2还包括：
如果所述当前帧部分中的所述第一区域对应于所述第二信号脉冲中的第一个，
基于所述光源在所述当前帧部分中的第一位置估计所述光源在所述下一帧部分中的第二位置，其中，所述当前帧部分的所述第一参数集合还包括所述光源在所述当前帧部分中的所述第一位置；和
将所述第二位置添加到所述当前帧部分的所述第一参数集合中，用于确定对于所述下一帧部分，所述第一区域是否对应于所述第二信号脉冲中的下一个。
10.根据权利要求8所述的方法，其中，所述步骤A3包括：
基于所述帧部分的所述当前帧部分中的所述第一区域和所述前一帧部分中的所述第一区域之间的第二距离，确定所述第一区域是否对应于所述第二信号脉冲中的下一个。
11.根据权利要求10所述的方法，其中，步骤A3还包括：
如果所述第一区域对应于所述第二信号脉冲中的下一个，
基于所述光源在所述当前帧部分中的第三位置估计所述光源在所述下一帧部分中的第四位置，其中，所述当前帧部分的所述第一参数集合还包括所述光源在所述当前帧部分中的所述第三位置；和
将所述第四位置添加到所述当前帧部分的所述第一参数集合中，用于确定对于所述下一帧部分，所述第一区域是否对应于所述第二信号脉冲中的第一个，和/或所述第一区域是否对应于所述第二信号脉冲中的下一个。
12.根据权利要求6所述的方法，其中，所述步骤A4包括：
如果所述第三像素值集合的数量不等于所述第一信号脉冲的数量，输出错误；和
如果所述第三像素值集合的数量等于第一信号脉冲的数量，解码所述第三像素值集合。
13.根据权利要求12所述的方法，其中，解码所述第三像素值集合的步骤包括：
步骤B1，在所述第三像素值集合的一部分中交替地搜索亮像素值集合和暗像素值集合，直到到达所述第三像素值集合的所述部分的末端为止；
步骤B2，基于步骤B1中找到的像素值集合的位置，计算出所述第三像素值集合的所述部分中至少一个亮像素值集合或暗像素值集合的数量；和
步骤B3，基于至少一个亮像素值集合或暗像素值集合的数量，确定所述第二数据序列的数据比特。
14.根据权利要求1所述的方法，其中，所述第一信号脉冲的脉冲速率使所述第一信号脉冲抑制闪烁。
15.一种系统，包括：
包括图像传感器的相机模块；以及
至少一个存储器，被配置为存储程序指令；和
至少一个处理器，被配置为执行所述程序指令，所述程序指令使所述至少一个处理器执行步骤，所述步骤包括：
使相机模块以采样时钟周期的曝光时间捕获多个帧部分的当前帧部分和下一帧部分之间，以使用不同的发送数据序列速率和接收帧速率进行图像传感器通信；
其中
所述帧部分对应地反映由光源周期性地产生的预定数量的第一信号脉冲；
所述曝光时间对应于所述预定数量的第一信号脉冲中的一个的持续时间；
将第一数据序列采用脉冲宽度调制或差分相移键控的方式编码到所述第一信号脉冲中；和
所述采样时钟周期不同于所述第一数据序列的持续时间，使得第二数据序列从循环通过的所有所述第一数据序列中获得，其中，所述采样时钟周期超过所述第一数据序列的持续时间至少一个信号脉冲的持续时间或所述采样时钟周期比所述第一数据序列的持续时间短至少一个信号脉冲的持续时间。
16.根据权利要求15所述的系统，其中
通过脉冲宽度调制(PWM)将所述第一数据序列编码到所述第一信号脉冲中；和
所述第一信号脉冲中的一个是亮或暗。
17.根据权利要求15所述的系统，其中
通过差分相移键控(DPSK)将所述第一数据序列编码到所述第一信号脉冲中；和
所述第一信号脉冲中的一个具有三种颜色中的一种。
18.根据权利要求17所述的系统，其中
所述第一信号脉冲的第一部分具有所述三种颜色中的第一种颜色；
紧接在所述第一信号脉冲的所述第一部分之后的所述第一信号脉冲的第二部分是黑色；
紧接在所述第一信号脉冲的所述第二部分之后的所述第一信号脉冲的第三部分具有所述三种颜色中的第二种颜色；和
所述三种颜色的所述第一种颜色和所述三种颜色中的所述第二种颜色是相同或不同的。
19.根据权利要求15所述的系统，其中，所述第二数据序列包括数据部分和紧接在所述数据部分之前或之后的空格部分。
20.根据权利要求19所述的系统，其中，在所述相机模块捕获所述帧部分的当前帧部分和下一帧部分之间的步骤中还包括以下步骤：
步骤A1，从所述相机模块接收所述当前帧部分；
步骤A2，获取所述当前帧部分中的第一区域，以及如果所述第一区域对应于与所述第二数据序列相对应的第二信号脉冲中的第一个，创建跟踪表并在所述跟踪表中注册与所述第一区域相关的第一参数集合，其中，所述第一参数集合包括所述第一区域的第一像素值集合；
步骤A3，如果所述第一区域对应于所述第二信号脉冲中的下一个，在所述跟踪表中注册与所述第一区域相关的第一参数集合，以及如果在所述跟踪表中存在对应于所述第二数据序列的所述空格部分的多个第二像素值集合，指示所述第一参数集合对应于所述第二信号脉冲中的最后一个；和
步骤A4，解码所述跟踪表中的多个第三像素值集合，其中所述第三像素值集合是所述跟踪表中所有的像素值集合。
21.根据权利要求20所述的系统，其中，所述步骤A2包括：
使用所述当前帧部分执行二值化，以获得黑白图像；
标记所述黑白图像中的第一连续区域；和
提取所述第一连续区域，从而获得对应于所述第一连续区域的所述第一区域。
22.根据权利要求20所述的系统，其中，所述步骤A2包括：
基于前一帧部分的所述第一参数集合是否对应于将第三数据序列编码到其中的第二信号脉冲中的最后一个的指示、以及所述当前帧部分中的所述第一区域和所述前一帧部分中的所述第一区域之间的第一距离，确定所述当前帧部分中的所述第一区域是否对应于所述第二信号脉冲中的第一个。
23.根据权利要求22所述的系统，其中，所述步骤A2还包括：
如果所述当前帧部分中的所述第一区域对应于所述第二信号脉冲中的第一个，
基于所述光源在所述当前帧部分中的第一位置估计所述光源在所述下一帧部分中的第二位置，其中，所述当前帧部分的所述第一参数集合还包括所述光源在所述当前帧部分中的所述第一位置；和
将所述第二位置添加到所述当前帧部分的所述第一参数集合中，用于确定对于所述下一帧部分，所述第一区域是否对应于所述第二信号脉冲中的下一个。
24.根据权利要求22所述的系统，其中，所述步骤A3包括：
基于所述帧部分的所述当前帧部分中的所述第一区域和所述前一帧部分中的所述第一区域之间的第二距离，确定所述第一区域是否对应于所述第二信号脉冲中的下一个。
25.根据权利要求24所述的系统，其中，所述步骤A3还包括：
如果所述第一区域对应于所述第二信号脉冲中的下一个，
基于所述光源在所述当前帧部分中的第三位置估计所述光源在所述下一帧部分中的第四位置，其中，所述当前帧部分的所述第一参数集合还包括所述光源在所述当前帧部分中的所述第三位置；和
将所述第四位置添加到所述当前帧部分的所述第一参数集合中，用于确定对于所述下一帧部分，所述第一区域是否对应于所述第二信号脉冲中的第一个，和/或所述第一区域是否对应于所述第二信号脉冲中的下一个。
26.根据权利要求20所述的系统，其中，所述步骤A4包括：
如果所述第三像素值集合的数量不等于所述第一信号脉冲的数量，输出错误；和
如果所述第三像素值集合的数量等于第一信号脉冲的数量，解码所述第三像素值集合。
27.根据权利要求26所述的系统，其中，解码所述第三像素值集合的步骤包括：
步骤B1，在所述第三像素值集合的一部分中交替地搜索亮像素值集合和暗像素值集合，直到到达所述第三像素值集合的所述部分的末端为止；
步骤B2，基于步骤B1中找到的像素值集合的位置，计算出所述第三像素值集合的所述部分中至少一个亮像素值集合或暗像素值集合的数量；和
步骤B3，基于至少一个亮像素值集合或暗像素值集合的数量，确定所述第二数据序列的数据比特。
28.根据权利要求15所述的系统，其中，所述第一信号脉冲的脉冲速率使所述第一信号脉冲抑制闪烁。
29.一种在其上存储有程序指令的非暂时性计算机可读介质，所述程序指令在由至少一个处理器执行时使所述至少一个处理器执行步骤，所述步骤包括：
使包括图像传感器的相机模块以采样时钟周期的曝光时间捕获多个帧部分的当前帧部分和下一帧部分之间，以使用不同的发送数据序列速率和接收帧速率进行包括图像传感器通信；
其中
所述帧部分对应地反映由光源周期性地产生的预定数量的第一信号脉冲；
所述曝光时间对应于所述预定数量的第一信号脉冲中的一个的持续时间；
将第一数据序列采用脉冲宽度调制或差分相移键控的方式编码到所述第一信号脉冲中；和
所述采样时钟周期不同于所述第一数据序列的持续时间，使得第二数据序列从循环通过的所有所述第一数据序列中获得，其中，所述采样时钟周期超过所述第一数据序列的持续时间至少一个信号脉冲的持续时间或所述采样时钟周期比所述第一数据序列的持续时间短至少一个信号脉冲的持续时间。
30.根据权利要求29所述的非暂时性计算机可读介质，其中
通过脉冲宽度调制(PWM)将所述第一数据序列编码到所述第一信号脉冲中；和
所述第一信号脉冲中的一个是亮或暗。
31.根据权利要求29所述的非暂时性计算机可读介质，其中
通过差分相移键控(DPSK)将所述第一数据序列编码到所述第一信号脉冲中；和
所述第一信号脉冲中的一个具有三种颜色中的一种。
32.根据权利要求31所述的非暂时性计算机可读介质，其中
所述第一信号脉冲的第一部分具有所述三种颜色中的第一种颜色；
紧接在所述第一信号脉冲的所述第一部分之后的所述第一信号脉冲的第二部分是黑色；
紧接在所述第一信号脉冲的所述第二部分之后的所述第一信号脉冲的第三部分具有所述三种颜色中的第二种颜色；和
所述三种颜色的所述第一种颜色和所述三种颜色中的所述第二种颜色是相同或不同的。
33.根据权利要求29所述的非暂时性计算机可读介质，其中，所述第二数据序列包括数据部分和紧接在所述数据部分之前或之后的空格部分。
34.根据权利要求33所述的非暂时性计算机可读介质，在所述相机模块捕获所述帧部分的当前帧部分和下一帧部分之间中，还包括以下步骤：
步骤A1，从所述相机模块接收所述当前帧部分；和
步骤A2，获取所述当前帧部分中的第一区域，以及如果所述第一区域对应于与所述第二数据序列相对应的第二信号脉冲中的第一个，创建跟踪表并在所述跟踪表中注册与所述第一区域相关的第一参数集合，其中，所述第一参数集合包括所述第一区域的第一像素值集合；
步骤A3，如果所述第一区域对应于所述第二信号脉冲中的下一个，在所述跟踪表中注册与所述第一区域相关的第一参数集合，以及如果在所述跟踪表中存在对应于所述第二数据序列的所述空格部分的多个第二像素值集合，指示所述第一参数集合对应于所述第二信号脉冲中的最后一个；和
步骤A4，解码所述跟踪表中的多个第三像素值集合，其中所述第三像素值集合是所述跟踪表中所有的像素值集合。
35.根据权利要求34所述的非暂时性计算机可读介质，其中，所述步骤A2包括：
使用所述当前帧部分执行二值化，以获得黑白图像；
标记所述黑白图像中的第一连续区域；和
提取所述第一连续区域，从而获得对应于所述第一连续区域的所述第一区域。
36.根据权利要求34所述的非暂时性计算机可读介质，其中，所述步骤A2包括：
基于前一帧部分的所述第一参数集合是否对应于将第三数据序列编码到其中的第二信号脉冲中的最后一个的指示、以及所述当前帧部分中的所述第一区域和所述前一帧部分中的所述第一区域之间的第一距离，确定所述当前帧部分中的所述第一区域是否对应于所述第二信号脉冲中的第一个。
37.根据权利要求36所述的非暂时性计算机可读介质，其中，所述步骤A2还包括：
如果所述当前帧部分中的所述第一区域对应于所述第二信号脉冲中的第一个，
基于所述光源在所述当前帧部分中的第一位置估计所述光源在所述下一帧部分中的第二位置，其中，所述当前帧部分的所述第一参数集合还包括所述光源在所述当前帧部分中的所述第一位置；和
将所述第二位置添加到所述当前帧部分的所述第一参数集合中，用于确定对于所述下一帧部分，所述第一区域是否对应于所述第二信号脉冲中的下一个。
38.根据权利要求36所述的非暂时性计算机可读介质，其中，所述步骤A3包括：
基于所述帧部分的所述当前帧部分中的所述第一区域和所述前一帧部分中的所述第一区域之间的第二距离，确定所述第一区域是否对应于所述第二信号脉冲中的下一个。
39.根据权利要求38所述的非暂时性计算机可读介质，其中，步骤A3还包括：
如果所述第一区域对应于所述第二信号脉冲中的下一个，
基于所述光源在所述当前帧部分中的第三位置估计所述光源在所述下一帧部分中的第四位置，其中，所述当前帧部分的所述第一参数集合还包括所述光源在所述当前帧部分中的所述第三位置；和
将所述第四位置添加到所述当前帧部分的所述第一参数集合中，用于确定对于所述下一帧部分，所述第一区域是否对应于所述第二信号脉冲中的第一个，和/或所述第一区域是否对应于所述第二信号脉冲中的下一个。
40.根据权利要求34所述的非暂时性计算机可读介质，其中，所述步骤A4包括：
如果所述第三像素值集合的数量不等于所述第一信号脉冲的数量，输出错误；和
如果所述第三像素值集合的数量等于第一信号脉冲的数量，解码所述第三像素值集合。
41.根据权利要求40所述的非暂时性计算机可读介质，其中，解码所述第三像素值集合的步骤包括：
步骤B1，在所述第三像素值集合的一部分中交替地搜索亮像素值集合和暗像素值集合，直到到达所述第三像素值集合的所述部分的末端为止；
步骤B2，基于步骤B1中找到的像素值集合的位置，计算出所述第三像素值集合的所述部分中至少一个亮像素值集合或暗像素值集合的数量；和
步骤B3，基于至少一个亮像素值集合或暗像素值集合的数量，确定所述第二数据序列的数据比特。
42.根据权利要求29所述的非暂时性计算机可读介质，其中，所述第一信号脉冲的脉冲速率使所述第一信号脉冲抑制闪烁。
CN201880099703.0A 2018-11-26 2018-11-26 计算机实现的方法、系统和计算机可读介质 Active CN113196742B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/117445 WO2020107152A1 (en) 2018-11-26 2018-11-26 Method, system, and computer-readable medium for image sensor communication using different sending data sequence rate and receiving frame rate

Publications (2)

Publication Number Publication Date
CN113196742A CN113196742A (zh) 2021-07-30
CN113196742B true CN113196742B (zh) 2023-04-25

Family

ID=70854711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880099703.0A Active CN113196742B (zh) 2018-11-26 2018-11-26 计算机实现的方法、系统和计算机可读介质

Country Status (4)

Country Link
US (1) US11570355B2 (zh)
EP (1) EP3884659A4 (zh)
CN (1) CN113196742B (zh)
WO (1) WO2020107152A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020210926A1 (en) * 2019-04-15 2020-10-22 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and system for invisible light communication using visible light camera
CN114677956B (zh) * 2022-03-28 2023-09-29 暨南大学 一种长距离实时显示摄像通信系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014144986A1 (en) * 2013-03-15 2014-09-18 Olive Medical Corporation Scope sensing in a light controlled environment
CN105391948A (zh) * 2015-11-05 2016-03-09 浙江宇视科技有限公司 一种具有夜视透雾功能的前端设备及其控制方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4303087B2 (ja) 2003-10-30 2009-07-29 日本電信電話株式会社 データ信号の送信方法と受信方法及びその装置、システム、プログラム並びに記録媒体
JP2011193065A (ja) * 2010-03-12 2011-09-29 Hitachi Ltd 撮像装置
EP2538584B1 (en) 2011-06-23 2018-12-05 Casio Computer Co., Ltd. Information Transmission System, and Information Transmission Method
JP5294096B2 (ja) 2011-06-23 2013-09-18 カシオ計算機株式会社 情報伝送システム、受光装置、情報伝送方法、及び、プログラム
JP5521125B2 (ja) 2012-05-24 2014-06-11 パナソニック株式会社 情報通信方法
US9046738B2 (en) * 2012-06-28 2015-06-02 International Business Machines Corporation Digital image capture under conditions of varying light intensity
US10848242B2 (en) * 2015-02-10 2020-11-24 Brightcodes Technologies Ltd. System and method for providing optically coding of information combining color and luminosity
CN107210815B (zh) 2015-02-10 2020-07-31 布莱特编码技术有限公司 用于提供光学编码信息的系统和方法
US9521331B2 (en) * 2015-04-21 2016-12-13 Hand Held Products, Inc. Capturing a graphic information presentation
US9622326B1 (en) * 2015-12-18 2017-04-11 Amazon Technologies, Inc. Method and device for determining emitted light intensity level
US9866323B2 (en) 2015-12-29 2018-01-09 Intel Corporation Techniques for optical wireless communication

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014144986A1 (en) * 2013-03-15 2014-09-18 Olive Medical Corporation Scope sensing in a light controlled environment
CN105391948A (zh) * 2015-11-05 2016-03-09 浙江宇视科技有限公司 一种具有夜视透雾功能的前端设备及其控制方法

Also Published As

Publication number Publication date
WO2020107152A1 (en) 2020-06-04
CN113196742A (zh) 2021-07-30
EP3884659A4 (en) 2021-12-15
US20210274090A1 (en) 2021-09-02
US11570355B2 (en) 2023-01-31
EP3884659A1 (en) 2021-09-29

Similar Documents

Publication Publication Date Title
CN106663308B (zh) 用于在计算设备之间传输信息的不可见光学标签
Danakis et al. Using a CMOS camera sensor for visible light communication
US20150023673A1 (en) Information transmission system, information sending device, information receiving device, information transmission method, information sending method, information receiving method and program product
US20180198525A1 (en) Techniques for optical wireless communication
US9247109B2 (en) Performing spatial and temporal image contrast detection in pixel array
US11765337B2 (en) Multi-processor support for array imagers
CN112165621B (zh) 场景切换帧的检测方法及装置、存储介质、电子设备
CN113196742B (zh) 计算机实现的方法、系统和计算机可读介质
US10057554B2 (en) Projection control device, projection control method and non-transitory storage medium
CN108924426B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP5294096B2 (ja) 情報伝送システム、受光装置、情報伝送方法、及び、プログラム
US9705596B2 (en) Optical communication apparatus, wavelength band estimating apparatus, optical communication method and storage medium
KR101706849B1 (ko) 가시광 통신 시스템을 이용한 데이터 송수신 방법 및 장치
JP2013255253A (ja) 情報送信装置、情報送信方法、及び、プログラム
JP5366026B2 (ja) 情報伝送システム、情報送信装置、情報受信装置、情報伝送方法、情報送信方法、情報受信方法、及び、プログラム
US11741612B2 (en) Image binarization method and electronic device
JP5877931B2 (ja) 画素補間装置およびその動作制御方法
CN109120846B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US10251057B2 (en) Authentication for device connection using visible patterns
US11870493B2 (en) Method and system for invisible light communication using visible light camera
CN106550236B (zh) 产生与解码具有验证数据的影像串流的方法与装置
TWI533633B (zh) 無線傳輸系統之裝置及其程式
CN113170044B (zh) 接收装置和发送装置
CN117319815A (zh) 基于图像传感器的视频流识别方法和装置、设备、介质
CN117764834A (zh) 一种图像复原方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant