CN103581567A - 可视编码序列处理方法及其系统、可视编码序列播放及其系统 - Google Patents

Abstract

本发明的实施方式总体上涉及数据处理，进一步本发明的实施方式涉及可视编码序列处理方法及其系统和可视编码序列播放及其系统。本发明创造性的提出了通过同步帧从而确定采样频率的方案从而实现有效的可视编码序列处理。本发明的可视编码序列处理方案可以帮助拍摄端进行可视编码的同步，从而使得拍摄端能够确定合适的采样频率和采样时间，这样拍摄端能够有效的获取可是编码序列，既减少了资源浪费，而且能够获取完整的可视编码序列。

Description

可视编码序列处理方法及其系统、可视编码序列播放及其系统

技术领域

本发明的实施方式总体上涉及数据处理，进一步本发明的实施方式涉及可视编码序列处理方法及其系统和可视编码序列播放及其系统。

背景技术

信息传递从传递渠道上可以分为纸面传递方式和电子传递方式。随着通信和网络技术的发展，电子传递方式也衍生成多种多样的形式，包括依靠网络进行信息传递（比如WiFi、3G、蓝牙等），和非依靠网络进行信息传递（比如条形码、二维码扫描等）。对于依靠网络的信息传递模式而言，需要有网络环境的支持。

对于非依靠网络进行的信息传递虽然不要求网络环境，但是其传递的信息量往往比较有限。以二维码（2-dimensional bar code）为例，二维码是用某种特定的几何图形按一定规律在平面（二维方向上）分布的黑白相间的图形记录数据符号信息的图形码。目前二维码已经广泛应用于工业自动识别、物流行业、电子票务、商店等领域。二维码的格式存在多个标准，包括Codabar、RSS-14(all variants)、QR Code、Data Matrix、Aztec('beta'quality)、PDF417('alpha'quality)等。以PDF417码进行编码的二维码图形的最大数据容量是928个码字。也就是说，每个二维码大约可容纳1850个字符（扩展的字母数字压缩格式），1108个字节（二进制/ASCII格式），2710个数字（数字压缩格式）。但是以一张二维码图形所承载的信息量仍然非常有限。为了提供一种信息量更大的二维码数据传递方法，现有技术已经披露了通过播放连续的二维码序列从而传递更多的信息。

发明内容

然而，播放连续的二维码序列需要摄像设备能够密集的对二维码序列进行采样才能保证获取完成的二维码序列。如果要完整获取二维码序列中的每一帧二维码，采样的密度就必须设置的足够高，才能确保没有遗漏的二维码帧。但是如果摄像设备不清楚二维码序列的播放频率，则摄像设备很难确定自己的采样密度应当如何设置才能不遗漏二维码帧。如果摄像设备永远使用其最大采样密度进行二维码帧的采样，则可能造成资源的浪费，包括处理资源和电力的浪费。对于摄像设备而言（特别对于手机上的摄像设备而言），电力能源成本有限，因此需要以最少的能源消耗完成尽量多的摄像任务。

本发明创造性的提出了通过同步帧从而确定采样频率的方案从而实现有效的可视编码序列处理。

具体而言，本发明提供一种可视编码序列处理方法，其中所述可视编码序列包括多个在时间上连续的帧，所述多个在时间上连续的帧包括多个数据帧和至少一个同步帧，所述方法包括：检测所述可视编码序列中包含的至少一个同步帧；根据所述至少一个同步帧计算采样频率和采样起始时间；以及根据所述采样频率和采样起始时间拍摄所述可视编码序列。

本发明还提供一种可视编码序列播放方法，包括：将原始数据编码为可视编码序列，所述可视编码序列包括多个在时间上连续的帧，所述多个在时间上连续的帧包括多个数据帧；在所述可视编码序列中入同步帧；以及播放所述可视编码序列以便于按照上文所述的可视编码序列处理方法进行处理。

本发明还提供一种可视编码序列处理系统，其中所述可视编码序列包括多个在时间上连续的帧，所述多个在时间上连续的帧包括多个数据帧和至少一个同步帧，所述系统包括：第一检测装置，被配置为检测所述可视编码序列中包含的至少一个同步帧；第一计算装置，被配置为根据所述至少一个同步帧计算采样频率和采样起始时间；以及拍摄装置，被配置为根据所述采样频率和采样起始时间拍摄所述可视编码序列。

本发明还提供一种可视编码序列播放系统，包括：编码装置，被配置为将原始数据编码为可视编码序列，所述可视编码序列包括多个在时间上连续的帧，所述多个在时间上连续的帧包括多个数据帧；第一插入装置，被配置为在所述可视编码序列中插入同步帧；以及播放装置，被配置为播放所述可视编码序列以便于按照上文所述的可视编码处理系统对所述可视编码序列进行处理。

本发明的可视编码序列处理方案可以帮助拍摄端进行可视编码的同步，从而使得拍摄端能够确定合适的采样频率和采样时间，这样拍摄端能够有效的获取可是编码序列，既减少了资源浪费（包括处理资源和电力资源的浪费），而且能够获取完整的可视编码序列。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了适于用来实现本发明实施方式的示例性计算系统100的框图。

图2A示出了本发明的一个实施例的可视编码序列处理方法流程图。

图2B示出了本发明的另一个实施例的可视编码序列处理方法流程图。

图3A示出了按照本发明的一个实施例的同步帧示意图。

图3B示出了按照本发明的另一个实施例的同步帧示意图。

图3C示出了按照本发明的又一个实施例的同步帧示意图。

图4示出了本发明的可视编码序列播放方法流程图。

图5A示出了按照本发明的一个实施例的可视编码序列示意图。

图5B示出了按照本发明的另一个实施例的可视编码序列示意图。

图5C示出了按照本发明的又一个实施例的可视编码序列示意图。

图6A示出了本发明的一个实施例的可视编码序列处理系统框图。

图6B示出了本发明的一个实施例的可视编码序列处理系统框图。

图7示出了本发明的可视编码序列播放系统框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了适于用来实现本发明实施方式的示例性计算系统100的框图。如图1所示，计算机系统100可以包括：CPU（中央处理单元）101、RAM（随机存取存储器）102、ROM（只读存储器）103、系统总线104、硬盘控制器105、键盘控制器106、串行接口控制器107、并行接口控制器108、显示控制器109、硬盘110、键盘111、串行外部设备112、并行外部设备113和显示器114。在这些设备中，与系统总线104耦合的有CPU 101、RAM 102、ROM 103、硬盘控制器105、键盘控制器106、串行控制器107、并行控制器108和显示控制器109。硬盘110与硬盘控制器105耦合，键盘111与键盘控制器106耦合，串行外部设备112与串行接口控制器107耦合，并行外部设备113与并行接口控制器108耦合，以及显示器114与显示控制器109耦合。应当理解，图1所述的结构框图仅仅是为了示例的目的，而不是对本发明范围的限制。在某些情况下，可以根据具体情况增加或减少某些设备

所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件（包括固件、驻留软件、微代码等），还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

下面将参照本发明实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。

也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instruction means)的制造品（manufacture）。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

图2示出了本发明的可视编码序列处理方法流程图。所述可视编码序列包括多个在时间上连续的帧，所述多个在时间上连续的帧包括多个数据帧和至少一个同步帧。所述可视编码可以是下列各项中的至少一项：一维码、二维码、其它可视编码。所述二维码可以包括下列各项中的至少一项：黑白二维码、彩色二维码。所述数据帧用于承载所要传递的信息。所述同步帧用于在可视编码序列的播放端和可视编码序列的拍摄端进行同步。

图2A中的所述可视编码序列处理方法包括：步骤201检测所述可视编码序列中包含的至少一个同步帧；步骤203根据所述至少一个同步帧计算采样频率和采样起始时间；步骤205根据所述采样频率和采样起始时间拍摄所述可视编码序列。

在步骤201中检测所述可视编码序列中包含的至少一个同步帧。其中所述检测可以通过密集采样所述可视编码序列进行。所述密集采样可以采用一个预设的、足够高的采样频率对可视编码序列进行拍摄。所述足够高的采样频率保证对于每帧都至少采样两次或者两次以上。按照本发明的一个实施例，所述同步帧至少包括下列各项中的至少一项：一帧白帧；一帧黑帧。黑帧和白帧由于其容易检测的特点，因此比较适合用作同步帧。按照本发明的另一个实施例，所述至少一个同步帧的边界至少包括黑帧到白帧的跳变和白帧到黑帧的跳变，比如连续的黑帧、白帧、黑帧，连续的白帧、黑帧、白帧，连续的黑帧、白帧、白帧、黑帧，连续的白帧、黑帧、黑帧、白帧等。以连续的黑帧、白帧、黑帧为例，其中包含一次黑帧到白帧的跳变、和一次白帧到黑帧的跳变，因此能够使得对于同步帧的检测更加准确。当然，按照本发明的其它实施例，所述同步帧还可以包括绿帧、红帧、蓝帧、半黑半白帧等其它各种类型的帧。

步骤203根据所述至少一个同步帧计算采样频率和采样起始时间。所述采样频率取决于帧长度，所述采样起始时间取决于帧的起始时间和帧长度。在一种实施例中，可以对每个数据帧进行一次采样。如果对每个数据帧仅采样一次，可以在数据帧显示的中间时间进行采样，比如某个数据帧在屏幕上显示0.1秒，则可以选择在0.05秒时刻进行采样，从而提高数据采样的准确性。在另一种实施例中，可以对每个数据帧进行多次采样以用于误码纠正，比如某个数据帧在屏幕上显示0.1秒，则可以选择在0.03秒、0.07秒时刻进行采样，。

根据本发明的一个实施例，步骤201进一步包括根据感光设备的电压变化检测同步帧的阶跃信号，以及通过所述阶跃信号确定同步帧。对于拍摄设备而言，其感光设备的电压会随着被拍摄图像的色彩发生变化。通常情况下，拍摄黑色物体，感光设备的电压就会变低，拍摄白色物体，感光设备的电压就会变高，对于介于黑色物体和白色物体中间的颜色，感光设备的电压就会承中间值。由于感光设备的电压取决于具体的电路设计，因此电压与黑白物体的对应关系也不是固定的，取决于具体的电路设计也可能实现与上述例子中相反的变化趋势。可以根据感光设备的电压的变化判断是否出现黑帧或白帧的阶跃信号，从而检测出同步帧。并且，在这一实施例中，步骤203进一步包括：根据所述同步帧的长度T计算所述采样频率，并根据阶跃信号的时间和同步帧的长度T计算所述采样起始时间。比如所述采样频率可以为1/T，所述采样起始时间可以为数据帧开始后的T/2的时刻。当然，本发明并不仅限于在数据帧的T/2时刻进行采样，也可以在T/3时刻、T/4时刻等进行采样。下面以图3A－3C为例对上述实施例中的步骤201和步骤203进行更详细的描述。

以图3A为例，同步帧为一帧白帧。当可视编码序列中的数据帧变为白帧时，感光设备的电压由中间电压值跳变为高电压值；当可视编码序列中的白帧变为数据帧时，感光设备的电压由高电压值变为中间电压值。由于各个感光设备的电路设计不同，因此其电压的高电压值、低电压值和中间电压值都有所不同，因此图3A中仅仅是示意性的描述感光设备的电压变化。此外，由于电压是模拟信号，因此在实际测量过程中，感光设备的电压是逐渐变化的。图3A中出现了两次阶跃信号，分别是阶跃信号11和阶跃信号12。通过检测同步信号的阶跃信号，可以确定同步帧。确定同步帧中包含一帧后,可以计算同步帧长度T，并且由此计算出采样频率1/T。假设阶跃信号的时间为阶跃信号11的时间，则所述采样起始时间可以为阶跃信号11的时间+1.5T。假设阶跃信号的时间为阶跃信号12的时间，则所述采样起始时间为阶跃信号12的时间+0.5T。本领域的普通技术人员理解，所述采样起始时间也可以为下列各项中的至少一项：阶跃信号11的时间+1.5T+N×T，阶跃信号12的时间+0.5T+N×T。其中N为自然数。也就是说，可以从同步帧后的第N+1个数据帧开始采样。

以图3B为例，同步帧为一白帧和一黑帧。当可视编码序列中的数据帧变为白帧时，感光设备的电压由中间电压值跳变为高电压值；当可视编码序列中的白帧变为黑帧时，感光设备的电压由高电压值变为低电压值；当可视编码序列中的黑帧变为数据帧时，感光设备的电压由低电压值变为中间电压值。图3B中分别出现三处阶跃信号，分别是阶跃信号21、阶跃信号22、和阶跃信号23。本发明的发明人进一步发现，阶跃信号22比阶跃信号21和阶跃信号23更容易检测出来，因为阶跃信号22的跳变更加明显（电压从高电平变为低电平），因此阶跃信号22更不容易被误判。也就是说从黑帧到白帧，和从白帧到黑帧的跳变更能够准确的判断出同步帧。或者说，从黑帧到白帧，和从白帧到黑帧的跳变更容易使感光设备的电压产生明显变化，从而进一步减小由于外界环境的影响所导致的电压变化幅度不大时产生的误判。确定同步帧中包含两帧后,可以计算同步帧长度2T，并且由此计算出采样频率1/T。假设阶跃信号的时间为阶跃信号21的时间，则所述采样起始时间可以为阶跃信号21的时间+2.5T。假设阶跃信号的时间为阶跃信号22的时间，则所述采样起始时间为阶跃信号22的时间+1.5T。假设阶跃信号的时间为阶跃信号23的时间，则所述采样起始时间为阶跃信号23的时间+0.5T。同理，可以从同步帧后的第N+1个数据帧开始采样，其中N为自然数。

以图3C为例，同步帧为连续的黑帧、白帧、黑帧。图3C中分别出现四处阶跃信号，分别是阶跃信号31、阶跃信号32、阶跃信号33、和阶跃信号34。其中，阶跃信号32、阶跃信号33的电压变化比阶跃信号31和阶跃信号34的电压变化更加明显。用阶跃信号32和阶跃信号33来检测同步帧将更加准确。确定同步帧中包含三帧后,可以计算同步帧长度3T，并且由此计算出采样频率1/T。假设阶跃信号的时间为阶跃信号31的时间，则所述采样起始时间可以为阶跃信号31的时间+3.5T。以此类推，阶跃信号的时间也可以为阶跃信号32、33、34的时间。同理，可以从同步帧后的第N+1个数据帧开始采样，其中N为自然数。

根据本发明的另一个实施例，步骤201检测所述可视编码序列中包含的至少一个同步帧进一步包括：通过图像处理技术DSP检测所述可视编码序列中的亮度变化，以及通过所述亮度变化检测所述同步帧。由于图像处理技术属于现有技术，因此在此对如何运用图像处理技术检测黑帧、白帧不做具体说明。在本实施例中，步骤203根据所述同步帧计算采样频率和采样起始时间进一步包括：根据所述同步帧的长度计算采样频率，并根据所述同步帧的边界时间和同步帧的长度计算采样起始时间。比如如果所述同步帧的长度为T，则采样频率可以为1/T。所述同步帧的边界时间可以为下列各项中的一项：同步帧的起始时间、同步帧的终止时间。如果所述同步帧包括多个帧，那么所述同步帧的边界时间可以进一步包括同步帧中至少一个帧的起始或终止时间。下面以图3A－3C为例对本实施例进行更具体的描述。

图3A中，可以使用图像处理技术检测中同步帧为一白帧。然后根据同步帧的长度T计算采样频率为1/T。采样起始时间为下列各项中的至少一项：边界11的时间+1.5T，边界12的时间+0.5T，边界11的时间+1.5T+N×T，边界12的时间+0.5T+N×T。其中N为自然数。

图3B中，可以使用图像处理技术检测中同步帧为一白帧和一黑帧。然后根据同步帧的长度2T计算采样频率为1/T。采样起始时间为下列各项中的至少一项：边界21的时间+2.5T，边界22的时间+1.5T，边界23的时间+0.5T。同理，可以从同步帧后的第N+1个数据帧开始采样，其中N为自然数。

图3C中，可以使用图像处理技术检测中同步帧为连续的黑帧、白帧和黑帧。然后根据同步帧的长度3T计算采样频率为1/T。采样起始时间为下列各项中的至少一项：边界31的时间+3.5T，边界32的时间+2.5T，边界33的时间+1.5T，边界34的时间+0.5T。同理，可以从同步帧后的第N+1个数据帧开始采样，其中N为自然数。

回到图2A，在步骤205根据所述采样频率和采样起始时间拍摄所述可视编码序列。按照本发明的一个实施例，所述拍摄包括下列各项中的至少一项：拍照、录像、扫描。所述拍照可以由照相机或者带有照相功能的手持移动终端完成。所述录像可以由录像机或者带有录像功能的手持移动终端完成。所述扫描可以由带有扫描功能的设备（比如红外线扫描器）完成。

使用本发明中的可视编码序列处理方法，可以准确掌握可视编码序列播放中的帧播放频率，从而准确获取数据帧中的信息。如果不采用本发明而是对可视编码序列进行高密度采样，采样后还需要额外的步骤进行去重，即去除重复采样的数据帧，并且拍摄时还需要浪费没有必要的电力资源和处理资源。因此本发明中的可视编码序列处理方法可以实现准确而有效的数据帧拍摄，既节省了成本，又能够准确拍摄可视编码序列中的数据帧，进而使得使用可视编码序列传递信息的方式更加切实可行。

图2B示出了本发明的另一个实施例的可视编码序列处理方法流程图。图2B中的步骤201、203、205与图2A中的步骤相同，在此不再重复。下面着重对图2B中与图2A不同的步骤进行描述。

步骤207判断所述可视编码序列是否拍摄完成。按照本发明的一个实施例，步骤207进一步包括：对数据帧进行第一解码以获取可视编码序列长度；根据所述可视编码序列长度确定拍摄时长；以及根据所述拍摄时长判断所述可视编码序列拍摄是否完成。数据帧格式如下表1所示。

帧序号
	可视编码序列长度
数据

表1

表1中，帧序号表示数据帧在可视编码序列中的序号。可视编码序列长度表示可视编码序列中的帧个数。通过对数据帧进行第一解码可以获得可视编码序列长度的值。可选的，所述第一解码可以包括对整个数据帧进行解码以获得帧序号、可视编码序列长度和数据。

可选的，所述第一解码也可以仅对可视编码序列长度进行解码。例如，可视编码序列长度可以被编码在可视编码的某个固定区域内，比如二维码的左上角，这样第一解码只用对二维码左上角部分的内容进行解码，就可以用比较快速确定可视编码序列的长度，而无需对整个数据帧进行解码。再例如，可以对可视编码序列长度按照编码规则A进行编码，对数据按照编码规则B进行编码，编码规则A和编码规则B的复杂程度可能不同，比如编码规则A相对简单，而编码规则B比较复杂，这样第一解码仅对可视编码序列长度进行解码，可以节省计算资源。因为获取可视编码序列长度的目的是为了判断所述可视编码序列是否拍摄完成，因此对可视编码序列长度进行解码和对数据进行解码不必同时进行。

在一个例子中，可以在每个数据帧中都插入可视编码序列长度，这样无论对哪个数据帧进行第一解码，都可以获得可视编码序列长度。在另一个例子中，可以仅在一部分数据帧中插入可视编码序列长度，这样只有对被插入可视编码序列长度的数据帧进行第一解码，才能够获得可视编码序列长度。

在一个例子中，如果可视编码序列的长度为1000，拍摄时长可以为1000×T。T为帧长度。在另一个例子中，如果从同步帧后的第一个数据帧开始拍摄，可以将末尾的同步帧从总拍摄时长中扣除，比如拍摄时长为1000×T－M×T。其中M为同步帧中的帧个数。

按照本发明的另一个实施例，步骤207判断所述可视编码序列是否拍摄完成进一步包括：检测所述可视编码序列的标志帧；以及根据拍摄到的标志帧，判断所述可视编码序列是否拍摄完成。

在一个例子中，所述标志帧可以包括可视编码序列的起始帧和结束帧。这样，数据帧的采样起始时间可以为标志帧的起始时间。在另一个例子中，所述标志帧可以插入可视编码序列中的任意位置，这样，当检测到两个标志帧时，则可以判断拍摄完成，而且在这个例子中数据帧的采样时间可以从任意数据帧开始。

在一个例子中，所述标志帧为不承载数据信息的帧，比如一个或多个黑帧、白帧、或特殊图案的帧。

在另一个例子中，所述标志帧为含有特殊标志的数据帧，其帧结构如下表2所示。通过数据帧中的特殊标志判断该数据帧是否是标志帧。在这个例子中，需要对数据帧进行解码，以至少解码出所述特殊标志进行判断。

帧序号
	特殊标志
数据

表2

按照本发明的又一个实施例，步骤207判断所述可视编码序列是否拍摄完成进一步包括：检测所拍摄到的可视编码序列中的数据帧是否存在失误；对于存在失误且无法纠正的数据帧重新拍摄。所述失误包括未能正确捕获所述数据帧。具体而言所述失误包括下列各项中的至少一项：拍摄失误、帧遗漏。所述拍摄失误包括由于拍摄过程中的失误所导致无法正确捕获可视编码序列的情况，比如由于手抖动导致捕获的图像不清晰，由于拍摄端被移动导致至少一个数据帧的部分或全部没有被拍摄到，由于其它物品遮挡或者光线不足导致至少一个帧的部分或全部没有被拍摄到等。可视编码序列通常具有一定纠错能力，以二维码为例，其纠错功能是通过部分信息重复表示来实现的，比如在二维码中某一行除了包含本行的信息外，还有一些反应其他位置上的字符信息从而可以纠正其他行由于污损所导致的信息丢失。但是如果二维码中的错误程度达到一定阈值，则无法进行数据纠正，而需要对该数据帧进行重拍。如果可视编码序列被循环播放，可以在下一个循环中对该数据帧进行重拍。本实施例保证存在失误的数据帧可以及时得到重拍，从而保证拍摄到的可视编码序列中的数据的完整性。

所述帧遗漏包括在拍摄过程中遗漏掉至少一个数据帧，比如在拍摄过程中，对于采样频率和采样起始时间的计算可能随着拍摄的不断进行而导致累计误差，从而使得一个或多个数据帧未能被拍摄到，这样可以利用上述表1或表2中的帧序号判断所述可视编码序列中是否存在漏帧的情况。由于无法纠正被遗漏的帧，本实施例可以对于被遗漏的帧进行重拍，从而保证拍摄到的可视编码序列中的数据的完整性。

在图2B中的步骤209，响应于所述可视编码序列拍摄完成，发出通知。所述发出通知可以通过下列各项中的至少一项进行：通过光信号通知拍摄完成（如信号灯）、通过语音信号通知拍摄完成（如特定的音符）、通过图像信号通知拍摄完成（如在照相设备的显示屏幕上显示特定图像）、通过文字信号通知拍摄完成（如在照相设备的显示屏幕上显示特定文字）、自动结束拍摄。

步骤207和步骤209可以实现自动通知拍摄者何时拍摄完成，这样拍摄者可以更加清楚的了解拍摄进度，而无需自行对拍摄完成与否进行监控。

按照本发明的另一个实施例，如果没有步骤207、209，  则拍摄者需要自行对拍摄是否完成进行监控。比如如果可视编码序列被循环播放，拍摄者可以根据特定的说明自己监控是否已经拍摄了全部的可视编码序列。再比如如果可视编码序列不是循环播放，而是响应于拍摄者按下播放按钮后播放一遍或多遍，则拍摄者可以根据播放是否完成来决定是否结束拍摄。

可选的，在步骤211对所述可视编码序列进行第二解码以恢复出可视编码序列数据帧中的原始数据。所述第二解码可以与上文中描述的第一解码相同，也可以与上文中描述的第一解码不同。在一个实施例中，如果在数据帧中包含帧序号（如上文表1和表2所示），则在进行第二解码时可以根据帧序号判断各个数据帧之间的先后顺序。在另一个实施例中，如果在数据帧中不包含帧序号，则可以根据可视编码序列的起始帧和结束帧，顺序拍摄从起始帧到结束帧的每个数据帧以便进行第二解码。

可选的，在步骤213中根据所述同步帧的RGB值（三原色）调整所拍摄到的可视编码序列的黑白平衡。进一步所述调整黑白平衡包括调整拍摄时所使用的曝光量和曝光速度。现有的拍摄设备很多都允许拍摄者在拍摄前对黑白平衡进行调整，比如选择夜景模式、日照模式、阴天模式等，因此可以利用现有拍摄设备中的调整黑白平衡的功能对拍摄可视编码序列的黑白平衡进行调整，从而在拍摄时反映真实的颜色，避免由于偏色而导致的后续解码错误。举例而言，在理想状况下，黑色的RGB值为（0、0、0），白色的RGB值为（255、255、255）。如果存在偏色，比如所拍摄的白色的RGB值可能变成（255、255、240），为了对白色的RGB值进行补偿，可以根据拍摄到的同步帧中白帧RGB值（255、255、240）对拍摄的数据帧的RGB值进行补偿，使拍摄到的白色的RGB值还原为（255、255、255）。通过调整曝光速度和曝光量可以实现对拍摄的RGB值进行校正和补偿。当然，如果同步帧包括绿帧、红帧、蓝帧、半黑半白帧等也可以实现对RGB值进行校正和补偿。如果所述数据帧以彩色二维码表示，则本实施例将带来突出的效果，因为彩色二维码产生偏色的可能比较大，因此采用同步帧对可视编码序列的黑白平衡进行调整将尤其有助于防止偏色所导致的色差，从而防止后续的解码错误。

按照图2B所示的实施例，步骤213在拍摄数据帧前进行，因为在拍摄前进行黑白平衡的调整更有助于防止偏色所导致的误差。按照本发明的另一个实施例，步骤213可以在拍摄数据帧后进行，如可以在步骤205或者209后进行，拍摄后仍然可以在一定程度上调整可视编码序列的黑白平衡。现有的图像处理工具很多都能够提供调整黑白平衡的功能，因此具体细节在此不再赘述

图4示出了本发明的可视编码序列播放方法流程图。在步骤401将原始数据编码为可视编码序列，所述可视编码序列包括多个在时间上连续的帧，所述多个在时间上连续的帧包括多个数据帧。其中所述原始数据可以是下列各项中的一项或多项：文本数据、图像数据、音频数据、视频数据、多媒体数据、其它可编码的数据。本发明对编码规则不做特别限定。

在步骤403在所述可视编码序列中插入同步帧。按照本发明的一个实施例，在一个可视编码序列中(所述可视编码序列具有n个数据帧)，可以仅插入一次同步帧，如图5A所示（所述同步帧以黑帧、白帧、黑帧进行示例性表示）。这样拍摄端最多等待n+2帧可以检测到完整的同步帧。

按照本发明的另一个实施例，在一个可视编码序列中(所述可视编码序列具有n个数据帧)，可以插入多次同步帧（所述多次插入的同步帧可以是非连续的插入，比如两次插入同步帧，第一次是在第1帧数据帧之前，第二次是在第5帧数据帧之前），如图5B所示。这样拍摄端最多等待n－2帧可以检测到完整的同步帧。多次插入同步帧，可以多次对采样频率和采样起始时间进行校正，比如在每次检测到同步帧时，重新计算采样频率和采样起始时间，并且按照新计算的采样频率和采样起始时间拍摄可视编码序列的剩余部分。本实施例对于长可视编码序列尤其有益，因为可视编码序列越长，初始计算的采样频率和采样起始时间的累计误差可能越大，因此越需要在可视编码序列中多插入同步帧以对采样频率和采样起始时间进行校正。

为了进一步对采样频率和采样起始时间进行校正，按照本发明的又一个实施例，在一个可视编码序列中，可以每隔一个数据帧就插入一个同步帧，如图5C所示。这样可以最大限度的对采样频率和采样起始时间进行校正。

回到图4，在步骤405播放所述可视编码序列以便于按照上文描述的可视编码序列处理方法进行可视编码序列的处理。按照本发明的一个实施例，可以循环播放所述可视编码序列，这样拍摄端可以随时对可视编码序列进行拍摄处理。按照本发明的另一个实施例，所述可视编码序列可以响应于播放指令进行播放。例如，所述播放指令可以是一个按钮，当所述按钮被按下后，播放端开始播放可视编码序列。再例如，所述播放指令可以是定时播放指令，在预订的时间开始播放所述可视编码序列。

通过使用本发明中的可视编码序列播放方法，可以将信息以连续的数据帧的形式传递给信息接收端，并且由于可视编码序列中被插入了同步帧，信息接收端能够准确的了解可视编码序列中帧播放的频率，信息接收端可以以节约成本的方式获取可视编码序列中的数据帧，从而降低了信息接收端所需要耗费的电力资源和处理资源。

上文描述了本发明中的可视编码序列处理方法，和可视编码序列播放方法，下面将结合图6A、图6B、图7描述在同一发明构思下的可视编码序列处理系统和可视编码序列播放系统，其中相同或相应的实现细节由于在上文中已经进行了详细和完整的描述，因此在下文中将不再进行赘述。

图6A示出了按照本发明的一个实施例的可视编码序列处理系统框图。其中所述可视编码序列包括多个在时间上连续的帧，所述多个在时间上连续的帧包括多个数据帧和至少一个同步帧。所述可视编码序列处理系统包括：第一检测装置，被配置为检测所述可视编码序列中包含的至少一个同步帧；第一计算装置，被配置为根据所述至少一个同步帧计算采样频率和采样起始时间；以及拍摄装置，被配置为根据所述采样频率和采样起始时间拍摄所述可视编码序列。

按照本发明的一个实施例，所述至少一个同步帧至少包括下列各项中的至少一项：一帧白帧，一帧黑帧。

按照本发明的另一个实施例，其中所述至少一个同步帧中至少包括黑帧到白帧的跳变和白帧到黑帧的跳变。

按照本发明的一个实施例，所述第一检测装置进一步包括：第二检测装置，被配置为根据感光设备的电压变化检测同步帧的阶跃信号，以及第一确定装置，被配置为通过所述阶跃信号确定同步帧；并且，所述第一计算装置进一步包括：第二计算装置，被配置为根据所述同步帧的长度计算所述采样频率，并根据所述阶跃信号的时间和所述同步帧的长度计算所述采样起始时间。

按照本发明的另一个实施例，其中所述第一检测装置进一步包括：第三检测装置，被配置为通过图像处理技术检测所述可视编码序列中的亮度变化，以及第二确定装置，被配置为通过所述亮度变化确定所述同步帧；并且，其中所述第一计算装置进一步包括：第三计算装置，被配置为根据所述同步帧的长度计算采样频率，并根据所述同步帧的边界时间和所述同步帧的长度计算采样起始时间。

图6B示出了按照本发明的另一个实施例的可视编码序列处理系统框图。其中第一检测装置、第一计算装置和拍摄装置与图6A中的装置相同，在此不再对其进行重复描述。进一步，图6B中的系统还包括，第一判断装置、通知装置、第二解码装置、调整装置。

按照本发明的一个实施例，所述第一判断装置，被配置为判断所述可视编码序列是否拍摄完成；以及所述通知装置，被配置为响应于所述可视编码序列拍摄完成，发出通知。

按照本发明的一个实施例，所述第一判断装置进一步包括：第一解码装置，被配置为对数据帧进行第一解码以获取可视编码序列长度；第三确定装置，被配置为根据所述可视编码序列长度确定拍摄时长；以及第二判断装置，被配置为根据所述拍摄时长判断所述可视编码序列拍摄是否完成。

按照本发明的另一个实施例，所述第一判断装置进一步包括：第四检测装置，被配置为检测所述可视编码序列的标志帧；以及第三判断装置，被配置为根据拍摄到的标志帧，判断所述可视编码序列是否拍摄完成。

按照本发明的一个实施例，所述调整装置，被配置为根据所述同步帧的RGB值调整所拍摄到的可视编码序列的黑白平衡。

按照本发明的一个实施例，所述第二解码装置，被配置为对所述可视编码序列进行第二解码以恢复出数据帧中的原始数据。

图7示出了本发明的可视编码序列播放系统框图。图7中的可视编码序列播放系统包括：编码装置，被配置为将原始数据编码为可视编码序列，所述可视编码序列包括多个在时间上连续的帧，所述多个在时间上连续的帧包括多个数据帧；第一插入装置，被配置为在所述可视编码序列中插入同步帧；以及播放装置，被配置为播放所述可视编码序列以便于按照上文所述的可视编码序列处理系统可以对所述可视编码序列进行处理。

按照本发明的一个实施例，所述第一插入装置进一步包括下列各项中的至少一项：第二插入装置，被配置为在所述可视编码序列中插入一个同步帧；第三插入装置，被配置为在所述可视编码序列中插入多个同步帧；第四插入装置，被配置为在所述可视编码序列的每两个数据帧之间插入一个同步帧。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (25)

1.一种可视编码序列处理方法，其中所述可视编码序列包括多个在时间上连续的帧，所述多个在时间上连续的帧包括多个数据帧和至少一个同步帧，所述方法包括：

检测所述可视编码序列中包含的至少一个同步帧；

根据所述至少一个同步帧计算采样频率和采样起始时间；以及

根据所述采样频率和采样起始时间拍摄所述可视编码序列。

2.如权利要求1所述的方法，其中所述至少一个同步帧至少包括下列各项中的至少一项：一帧白帧，一帧黑帧。

3.如权利要求1或2所述的方法，其中所述至少一个同步帧的边界至少包括黑帧到白帧的跳变和白帧到黑帧的跳变。

4.如权利要求1或2所述的方法，其中所述检测所述可视编码序列中包含的至少一个同步帧进一步包括：

根据感光设备的电压变化检测同步帧的阶跃信号，以及

通过所述阶跃信号确定同步帧；

并且，其中所述根据所述至少一个同步帧计算采样频率和采样起始时间进一步包括：

根据所述同步帧的长度计算所述采样频率，并根据所述阶跃信号的时间和所述同步帧的长度计算所述采样起始时间。

5.根据权利要求1或2所述的方法，其中所述检测所述可视编码序列中包含的至少一个同步帧进一步包括：

通过图像处理技术检测所述可视编码序列中的亮度变化，以及

通过所述亮度变化确定所述同步帧；

并且，其中根据所述同步帧计算采样频率和采样起始时间进一步包括：

根据所述同步帧的长度计算采样频率，并根据所述同步帧的边界时间和所述同步帧的长度计算采样起始时间。

6.如权利要求1或2所述的方法，所述方法进一步包括：

判断所述可视编码序列是否拍摄完成；以及

响应于所述可视编码序列拍摄完成，发出通知。

7.如权利要求6所述的方法，其中所述判断所述可视编码序列是否拍摄完成进一步包括：

对数据帧进行第一解码以获取可视编码序列长度；

根据所述可视编码序列长度确定拍摄时长；以及

根据所述拍摄时长判断所述可视编码序列拍摄是否完成。

8.如权利要求6所述的方法，其中所述判断所述可视编码序列是否拍摄完成进一步包括：

检测所述可视编码序列的标志帧；以及

根据拍摄到的标志帧，判断所述可视编码序列是否拍摄完成。

9.如权利要求6所述的方法，其中所述判断所述可视编码序列是否拍摄完成进一步包括：

检测所拍摄到的可视编码序列中的数据帧是否有失误；以及

对于存在失误且无法纠正的数据帧重新拍摄。

10.如权利要求1或2所述的方法，进一步包括：

根据所述同步帧的RGB值调整所拍摄到的可视编码序列的黑白平衡。

11.如权利要求1或2所述的方法，进一步包括：

对所述可视编码序列进行第二解码以恢复出数据帧中的原始数据。

12.一种可视编码序列播放方法，包括：

将原始数据编码为可视编码序列，所述可视编码序列包括多个在时间上连续的帧，所述多个在时间上连续的帧包括多个数据帧；

在所述可视编码序列中插入同步帧；以及

播放所述可视编码序列以便于按照权利要求1－11所述的方法进行可视编码序列的处理。

13.如权利要求12所述的方法，其中所述在所述可视编码序列中插入同步帧进一步包括下列各项中的至少一项：

在所述可视编码序列中插入一个同步帧；

在所述可视编码序列中插入多个同步帧；

在所述可视编码序列的每两个数据帧之间插入一个同步帧。

14.一种可视编码序列处理系统，其中所述可视编码序列包括多个在时间上连续的帧，所述多个在时间上连续的帧包括多个数据帧和至少一个同步帧，所述系统包括：

第一检测装置，被配置为检测所述可视编码序列中包含的至少一个同步帧；

第一计算装置，被配置为根据所述至少一个同步帧计算采样频率和采样起始时间；以及

拍摄装置，被配置为根据所述采样频率和采样起始时间拍摄所述可视编码序列。

15.如权利要求14所述的系统，其中所述至少一个同步帧至少包括下列各项中的至少一项：一帧白帧，一帧黑帧。

16.如权利要求14或15所述的系统，其中所述至少一个同步帧的边界至少包括黑帧到白帧的跳变和白帧到黑帧的跳变。

17.如权利要求14或15所述的系统，其中所述第一检测装置进一步包括：

第二检测装置，被配置为根据感光设备的电压变化检测同步帧的阶跃信号，以及

第一确定装置，被配置为通过所述阶跃信号确定同步帧；

并且，其中所述第一计算装置进一步包括：

第二计算装置，被配置为根据所述同步帧的长度计算所述采样频率，并根据所述阶跃信号的时间和所述同步帧的长度计算所述采样起始时间。

18.根据权利要求14或15所述的系统，其中所述第一检测装置进一步包括：

第三检测装置，被配置为通过图像处理技术检测所述可视编码序列中的亮度变化，以及

第二确定装置，被配置为通过所述亮度变化确定所述同步帧；

并且，其中所述第一计算装置进一步包括：

第三计算装置，被配置为根据所述同步帧的长度计算采样频率，并根据所述同步帧的边界时间和所述同步帧的长度计算采样起始时间。

19.如权利要求14或15所述的系统，其进一步包括：

第一判断装置，被配置为判断所述可视编码序列是否拍摄完成；以及

通知装置，被配置为响应于所述可视编码序列拍摄完成，发出通知。

20.如权利要求19所述的系统，其中所述第一判断装置进一步包括：

第一解码装置，被配置为对数据帧进行第一解码以获取可视编码序列长度；

第三确定装置，被配置为根据所述可视编码序列长度确定拍摄时长；以及

第二判断装置，被配置为根据所述拍摄时长判断所述可视编码序列拍摄是否完成。

21.如权利要求19所述的系统，其中所述第一判断装置进一步包括：

第四检测装置，被配置为检测所述可视编码序列的标志帧；以及

第三判断装置，被配置为根据拍摄到的标志帧，判断所述可视编码序列是否拍摄完成。

22.如权利要求14或15所述的系统，进一步包括：

调整装置，被配置为根据所述同步帧的RGB值调整所拍摄到的可视编码序列的黑白平衡。

23.如权利要求14或15所述的系统，进一步包括：

第二解码装置，被配置为对所述可视编码序列进行第二解码以恢复出数据帧中的原始数据。

24.一种可视编码序列播放系统，包括：

编码装置，被配置为将原始数据编码为可视编码序列，所述可视编码序列包括多个在时间上连续的帧，所述多个在时间上连续的帧包括多个数据帧；

第一插入装置，被配置为在所述可视编码序列中插入同步帧；以及

播放装置，被配置为播放所述可视编码序列以便于按照权利要求14－23所述的系统可以对所述可视编码序列进行处理。

25.如权利要求24所述的系统，其中所述第一插入装置进一步包括下列各项中的至少一项：

第二插入装置，被配置为在所述可视编码序列中插入一个同步帧；

第三插入装置，被配置为在所述可视编码序列中插入多个同步帧；

第四插入装置，被配置为在所述可视编码序列的每两个数据帧之间插入一个同步帧。

Images