CN115146664B - 图像采集方法及装置 - Google Patents

Abstract

本申请涉及一种图像采集方法及装置，图像采集装置包括图像传感器，用以采集和输出多帧图像数据；多个缓冲器，用以依次缓存多帧所述图像数据；处理器，包括多个核心，多个所述核心配置为由多个所述缓冲器依次取出多帧所述图像数据和解码多帧所述图像数据；其中：配置所述图像传感器的帧率FPS、多个所述缓冲器的数量N和所述处理器每一核心的解码超时时间T，使三者满足如下关系：FPS*T≤N。采用本发明的图像采集方法及装置不会造成图像数据的浪费，且充分利用处理器的多个核心的性能，提高了解码效率。

Description

图像采集方法及装置

技术领域

本申请涉及图像采集技术领域，尤指一种图像采集方法及装置。

背景技术

基于图像扫描的光学信息采集，包括对机器可读的各种光学信息的采集，常见的机器可读光学信息包括一维码、二维码、OCR图文、紫外防伪码、红外防伪码等。

现有的条码读取器，通常以数十帧甚至超过一百帧的帧率采集图像数据，然而条码阅读器解码图像数据耗时较长，往往一帧图像数据还没有解码完成，条码读取器已经采集了多帧图像数据，而后续采集的图像数据会覆盖前面采集的图像数据，例如，当第一帧图像数据解码超时，图像传感器已经采集到第五帧图像数据，第二至四帧图像数据被覆盖，造成了图像资源的浪费，同时解码效率低。

另有一种通过多核处理器解码图像数据的技术方案，通过处理器的多个核心并行解码同一张图像数据，以期提高解码速度。然而，如果这一帧图像数据质量较低，导致多个核心均不能解码成功，解码效率反而不高。

需要开发一些新的技术来解决上述问题。

发明内容

本发明的目的在于提供一种通过处理器的多个核心解码多帧图像数据的图像采集方法及装置。

为实现上述目的，本申请采用以下技术手段：

本申请提供一种图像采集方法，其特征在于，包括：配置图像传感器的帧率FPS、缓存图像数据的多个缓冲器的数量N和处理器的每一核心的解码超时时间T，使三者满足如下关系：FPS*T≤N；通过所述图像传感器采集和输出多帧图像数据；通过多个所述缓冲器依次缓存多帧所述图像数据；通过处理器的多个核心由多个所述缓冲器依次取出多帧所述图像数据和解码多帧所述图像数据。

可选地，所述处理器的核心的数量C≤N。

可选地， C=N，每一所述处理器的核心对应配置一对应缓冲器，每一所述处理器从所述对应缓冲器中取图。

可选地， C=N-1，每一所述处理器的核心对应配置一对应缓冲器，以及包括一备用缓冲器，每一所述核心优先从所述对应缓冲器取图，当一所述核心的对应缓冲器中没有图像数据缓存时，所述核心即从所述备用缓冲器取图。

可选地，每一所述缓冲器的大小与所述图像传感器的像素值相对应。

本申请提供一种图像采集装置，其特征在于，包括：图像传感器，用以采集和输出多帧图像数据；多个缓冲器，用以依次缓存多帧所述图像数据；处理器，包括多个核心，多个所述核心配置为由多个所述缓冲器依次取出多帧所述图像数据和解码多帧所述图像数据；其中：配置所述图像传感器的帧率FPS、多个所述缓冲器的数量N和所述处理器每一核心的解码超时时间T，使三者满足如下关系：FPS*T≤N。

可选地，所述处理器的核心的数量C≤N。

可选地， C=N，每一所述处理器的核心对应配置一对应缓冲器，每一所述处理器从所述对应缓冲器中取图。

可选地， C=N-1，每一所述处理器的核心对应配置一对应缓冲器，以及包括一备用缓冲器，每一所述核心优先从所述对应缓冲器取图，当一所述核心的对应缓冲器中没有图像数据缓存时，所述核心即从所述备用缓冲器取图。

可选地，每一所述缓冲器的大小与所述图像传感器的像素值相对应。

与现有技术相比，本申请具有以下有益效果：

通过配置图像传感器的帧率FPS、缓存图像数据的多个缓冲器的数量N和所述处理器的每一核心的解码超时时间T，使三者满足如下关系：FPS*T≤N，进而通过处理器的多个核心解码多帧图像数据，使得当一帧图像数据解码超时时，后续采集的图像数据有足够的缓冲器进行缓存，不会造成图像数据的浪费；且通过多个核心解码多帧图像数据时，只要存在一帧图像数据被解码成功时，图像数据即成功解码，充分利用处理器的多个核心的性能，提高了解码效率。

附图说明

图1为本申请一种实施例图像采集装置的实现框图。

图2为本申请一种实施例图像采集装置的示意图。

图3为图2中的图像采集装置的立体图。

图4为本申请一种实施例图像采集装置采集图像数据的简化逻辑框图。

图5为本申请一种实施例图像采集装置采集图像数据的时序图。

图6为本申请另一种实施例图像采集装置采集图像数据的简化逻辑框图。

具体实施方式

为便于更好的理解本申请的目的、结构、特征以及功效等，现结合附图和具体实施方式对本申请作进一步说明。

参照图1所示，为一种实施例的图像采集装置100的实现框图。如下面进一步详细说明的，所述图像采集装置100可用于采集一种或多种光学信息，如一维码、二维码、OCR图文、紫外防伪码、红外防伪码等。

所述图像采集装置100包括可以捕获光线的光学系统1（lens）与将光学系统1捕获的光线进行光电转化的图像传感器2（sensor）的组合，所述光学系统1可以包括一个或多个反射镜、棱镜、透镜或其组合，所述图像传感器2也可以为一个或多个，可以是一个所述图像传感器2对应一个/一套所述光学系统1，或者多个所述图像传感器2可以共用同一个/一套光学系统1，或者多个/多套光学系统1可以共用同一个图像传感器2。所述图像传感器2可以是CCD或CMOS或其它类型的图像传感器2，所述图像传感器2用以将光信号转化为电信号，进而输出图像数据的数字信号。

所述图像传感器2包括像素阵列3，所述像素阵列3通常为方形，根据像素阵列3的像素值，输出对应大小的图像数据。比如，像素阵列3为1280*800=1024000像素，每个像素具有Y、U、V分量，即每个像素占用24位，则所述像素阵列3输出的彩色图像数据需1024000*3字节（byte）；本申请中所述图像传感器2输出的图像数据，只取Y分量（亮度分量），每个像素占用8位，则图像传感器2输出的图像数据的大小与像素值相对应，也即当像素值为1024000，每一帧图像数据为1024000字节。一些实施例中，每一像素可占用10位、16位等。

图1中的实施例示出了处理器4具有多个核心51-54，且集成图像信号处理器6，如中国专利CN201811115589.4公开了一种集成了图像信号处理器6的处理器4，其全部内容作为参考引用于此；可选地，所述图像信号处理器6的部分或全部功能模块可集成于所述图像传感器2。当通过图像信号处理器6对图像数据进行优化处理时，图像信号处理器6优选地集成于所述处理器4，从而可以节省成本；当然，图像信号处理器6也可以不集成于处理器4；或者可以不具有图像信号处理器6，不具有图像信号处理器6的实施例也将在下面详述。

图像传感器2采集的图像数据通过MIPI接口（移动产业处理器接口MobileIndustry Processor Interface ，简称MIPI）传输至图像信号处理器6(Image SignalProcessor，简称ISP)，图像信号处理器6用以对所述图像传感器2采集的图像数据进行优化处理，优化处理包括线性纠正、噪点去除、坏点修补、颜色插值、白平衡矫正、曝光校正等中的一种或多种，以优化图像数据的质量。对于不需要进行颜色识别的光学信息，前述优化处理中的部分或全部，比如颜色插值等，不是必须的。图像信号处理器6可以是通过单核单线程地一次处理一帧图像数据，图像信号处理器6也可以是多核多线程同时处理多帧图像数据。可选地，所述图像采集装置100可以不具有图像信号处理器6，或不通过图像信号处理器6对图像数据进行优化处理。

所述图像信号处理器6将多帧所述图像数据依次输入存储器7中预先配置的多个缓冲器81-84中，本实施例中，所述存储器7中预先配置有缓冲器一81、缓冲器二82、缓冲器三83、缓冲器四84共四个缓冲器，可以同时存储四帧图像数据。如前述，所述图像传感器2输出的图像数据，每一像素占用一个字节的空间，则每一所述缓冲器81~84的大小均与所述图像传感器2的像素值相对应，具体来说，所述图像传感器2的像素值为1024000，则每一所述缓冲器81-84的大小为1024000字节，充分利用存储空间。可选的，每一所述缓冲器81-84的大小可以大于所述图像传感器2的像素值。容易理解的是，每一所述缓冲器81-84的大小可以根据图像数据的大小进行配置。可选地，所述存储器7也可以集成于所述处理器4。

处理器4具有与多个所述缓冲器的数量相对应的多个核心（核心一51、核心二52、核心三53、核心四54），多个核心配置为从对应的缓冲器81-84取图（取出图像数据），具体来说，核心一51从缓冲器一81取图、核心二52从缓冲器二82取图、核心三53从缓冲器三83取图、核心四54从缓冲器四84取图。具体流程将在后面详述。

如图2和图3示出了作为所述图像采集装置100的一种具体实施例的手持终端的示意图，所述手持终端包括壳体9、显示屏11和按钮12。所述壳体9的前端设有扫描窗10，所述光学系统1收容于壳体9内部，且可以透过所述扫描窗10捕获光学信息。可选地，所述图像采集装置100可以不具有显示屏11，而是将信息输出至单独的显示屏11进行显示。可选地，所述图像采集装置100可以为固定式、桌面式或其它形式的终端，所述图像采集装置100也可以作为其它设备的一部分而集成于其它设备。

可选地，所述图像采集装置100可包括一个或多个补光灯12，所述补光灯12用以在所述图像传感器2采集图像数据时，照亮光学信息。当然，在合适的环境光照条件下，可以不使用补光灯12进行补光，或者，所述图像采集装置100可以不具有补光灯12。所述补光灯12的补光方式可以有多种形式：比如所述补光灯12在所述图像传感器2采集光学信息时持续补光；或者所述补光灯12可以是与图像传感器2的曝光时间同步补光，其中，中国专利CN201810098421.0公开了一种补光灯12与图像传感器2的曝光时间同步补光的技术方案，其全部内容作为参考引用于此；所述补光灯12还可以是脉冲式补光，其脉冲时间与图像传感器2的曝光时间的一部分重叠。

如图4示出了一种实施例所述图像采集装置100采集图像数据简化逻辑框图，其中，未通过图像信号处理器6对图像数据进行优化处理；对应的，图5示出了所述图像采集装置100采集图像数据的时序图200，时序图200示出了图像传感器2采集图像数据的采集时序201、以及多个核心51-54解码图像数据的解码时序202-205。具体来说，多个所述缓冲器81-84的数量N与所述核心51-54的数量C相等，且多个所述缓冲器81-84与多个所述核心51-54一一对应，所述图像传感器2连续采集多帧图像数据，核心一51的解码时序202中，第一帧图像数据PIC1缓存于缓冲器一81、核心一51由缓冲器一81取出第一帧图像数据PIC1并解码第一帧图像数据PIC1，核心二52的解码时序203中，第二帧图像数据PIC2缓存于缓冲器二82、核心二52由缓冲器二82取出第二帧图像数据PIC2并解码第二帧图像数据PIC2，核心三53的解码时序204中，第三帧图像数据PIC3缓存于缓冲器三83、核心三53由缓冲器三83取出第三帧图像数据PIC3并解码第三帧图像数据PIC3，核心四54的解码时序205中，第四帧图像数据PIC4缓存于缓冲器四84、核心四54由缓冲器四84取出第四帧图像数据PIC4并解码第四帧图像数据PIC4，作为示例性的实施例，第一至三帧图像数据PIC1-3均没有成功解码，第四帧图像数据PIC4成功解码，且第四帧图像数据PIC4正在解码时，解码时序202中，核心一51解码第一帧图像数据PIC1超时，第五帧图像数据已采集并再次缓存于缓冲器一81、核心一51再次由缓冲器一81取出第五帧图像数据并解码第五帧图像数据；当核心四54成功解码第四帧图像数据PIC4时，正在解码的其它核心51-53停止解码。本实施例中，所述图像传感器2的帧率FPS、多个所述缓冲器81-84的数量N和每一核心51-54的解码超时时间T被预先配置为满足如下关系：FPS*T≤N，以本实施例为例，多个所述缓冲器81-84的数量N=4，帧率FPS=60帧/s，则解码超时时间T≤4/60≈66.7ms，本实施例中可选择解码超时时间为60ms，使得当第一帧图像数据PIC1未成功解码而解码超时，根据以上设置，当图像传感器2采集第五帧图像数据时，缓冲器一81中的第一帧图像数据PIC1已经被取出，第五帧图像数据可以继续缓存于缓冲器一81中，不会造成图像数据的浪费，且同时通过多个核心51-54解码同一光学信息（同一一维码或二维码等）的多帧图像数据，可以提高解码效率；本实施例的图像采集方法尤其与图像采集装置100的实际使用情况相符：当用户手持图像采集装置100采集条码图像数据，由于用户手部的移动，采集的第一帧图像数据PIC1（或前几帧图像数据）可能质量较低而无法成功解码，当用户手部稳定之后，图像采集装置100采集到了清晰的图像数据，清晰的图像数据也可以即时被某一核心51、52、53、54解码，提高解码效率。

图6示出了另一种实施例所述图像采集装置100采集图像数据简化逻辑框图，与图4中的实施例的区别在于：所述缓冲器81-85的数量N多于所述核心51-54的数量C，优选为C=N-1，每一所述核心51-54配置一个对应缓冲器，多的一个缓冲器五85作为备用缓冲器，每一核心51-54优先从对应缓冲器取图，且当对应缓冲器中没有缓存图像，则从备用缓冲器取图。这也是与实际情况相符的，由于解码时间长于图像采集的周期，对于一些难以解码的光学信息，当多个核心51-54均正在解码时，图像传感器2可能又采集了多帧图像数据，若多帧图像数据没有被对应的核心51-54及时取出，则需要通过所述备用缓冲器缓存采集的图像数据，避免图像数据没有被及时取出而被覆盖，造成图像数据浪费。可选的C=N-2，则配置了两个备用缓冲器。

前述实施例中，每一核心51-54配置了一个对应缓冲器，每一核心51-54从对应缓冲器取图或优先从对应缓冲器取图；一种实施例中（未图示，下同），多个缓冲器81-84的数量N和多个核心51-54的数量C仍满足C≤N，不同的是，每一核心51-54没有配置对应缓冲器，每一核心51-54在取图时，通过依次查询缓冲器51-54中是否缓存了图像数据，从而当某一缓冲器81-84中缓存了图像数据时，即取出图像数据，而当某一缓冲器81-84中没有缓存图像数据时，继续询问下一个缓冲器81-84是否缓存图像数据。显然，当每一核心51-54配置了对应缓冲器时，无需询问。

本申请实施例中，每一帧图像数据中可以包括一个条码（一维码/二维码）、一个/一行OCR图文；可选地，每一帧图像数据中可以包括多个条码（一维码、二维码或一维码&二维码组合）、多个/多行OCR图文。

本申请中所述存储器7可以包括一个或多个非暂态存储介质，例如可以是固定的或可移动的易失性和/或非易失性存储器。具体来说，存储器7可以被配置成存储信息、数据、应用、指令等用于使处理模块能够执行根据本发明的示例实施例的各种功能。例如，存储器7可以被配置成缓冲输入数据用于处理器4处理。另外地或者替代地，存储器7可以被配置成存储由处理器4执行的指令。存储器7可以被认为是主存储器并且被包括在例如以RAM或其他形式的易失性存储装置中，易失性存储装置仅在操作期间保持其内容，和/或存储器7可以被包括在非易失性存储装置中，诸如ROM、EPROM、EEPROM、FLASH或其他类型的存储装置，非易失性存储装置独立于处理模块的电源状态保持存储器内容。存储器7还可以被包括在存储大量数据的辅助存储设备、诸如外部磁盘存储器中。在一些实施例中，存储器7可以使用输入/输出部件经由数据总线或其它路由部件与处理器4通信。辅助存储器可以包括硬盘、紧致盘、DVD、存储卡或本领域技术人员已知的任何其它类型的大容量存储类型。所述存储器7可以存储了接下来将要描述的多种光学信息采集、传输、处理和解码的流程或方法中的一种或多种。

一种实施例中，图像传感器2的帧率FPS、多个缓冲器81-84的数量N和处理器4的每一核心51-54的解码超时时间T无需严格满足FPS*T≤N，而仅仅是通过多个核心51-54分别解码多帧图像数据，也可以提高解码效率。

本申请的图像采集装置和图像采集方法具有以下有益效果：

通过配置图像传感器2的帧率FPS、缓存图像的多个缓冲器81-84的数量N和所述处理器4的每一核心的解码超时时间T，使三者满足如下关系：FPS*T≤N，进而通过处理器的多个核心51-54解码多帧所述图像数据，使得当一帧图像数据解码超时，后续采集的图像数据有足够的缓冲器81-84进行缓存，不会造成图像数据的浪费；且通过多个核心51-54解码多帧所述图像数据，只要存在一帧图像数据被解码成功时，图像数据即成功解码，充分利用处理器的多个核心51-54的性能，提高解码效率。

以上详细说明仅为本申请之较佳实施例的说明，非因此局限本申请之专利范围，所以，凡运用本创作说明书及图示内容所为之等效技术变化，均包含于本创作之专利范围内。

Claims (4)

1.一种图像采集方法，其特征在于，包括：

配置图像传感器的帧率FPS、缓存图像数据的多个缓冲器的数量N和处理器的每一核心的解码超时时间T，使三者满足如下关系：FPS*T≤N；

通过所述图像传感器采集和输出多帧图像数据；

通过多个所述缓冲器依次缓存多帧所述图像数据，每一所述缓冲器的大小与所述图像传感器的像素值相对应；

通过处理器的多个核心由多个所述缓冲器依次取出多帧所述图像数据和解码多帧所述图像数据，其中，所述处理器的核心的数量C=N，每一所述处理器的核心对应配置一对应缓冲器，每一所述处理器从所述对应缓冲器中取图，且当一帧图像数据解码超时，后续采集的图像数据继续缓存于缓冲器中。

2.如权利要求1所述的图像采集方法，其特征在于：所述处理器的核心的数量C=N-1，每一所述处理器的核心对应配置一对应缓冲器，以及包括一备用缓冲器，每一所述核心优先从所述对应缓冲器取图，当一所述核心的对应缓冲器中没有图像数据缓存时，所述核心即从所述备用缓冲器取图。

3.一种图像采集装置，其特征在于，包括：

图像传感器，用以采集和输出多帧图像数据；

多个缓冲器，用以依次缓存多帧所述图像数据，每一所述缓冲器的大小与所述图像传感器的像素值相对应；

处理器，包括多个核心，多个所述核心配置为由多个所述缓冲器依次取出多帧所述图像数据和解码多帧所述图像数据，所述处理器的核心的数量C=N，每一所述处理器的核心对应配置一对应缓冲器，每一所述处理器从所述对应缓冲器中取图；其中：

配置所述图像传感器的帧率FPS、多个所述缓冲器的数量N和所述处理器每一核心的解码超时时间T，使三者满足如下关系：FPS*T≤N，且当一帧图像数据解码超时，后续采集的图像数据继续缓存于缓冲器中。

4.如权利要求3所述的图像采集装置，其特征在于：所述处理器的核心的数量C=N-1，每一所述处理器的核心对应配置一对应缓冲器，以及包括一备用缓冲器，每一所述核心优先从所述对应缓冲器取图，当一所述核心的对应缓冲器中没有图像数据缓存时，所述核心即从所述备用缓冲器取图。

Images