CN108206913A - 一种图像采集方法、装置、嵌入式系统和存储介质 - Google Patents

一种图像采集方法、装置、嵌入式系统和存储介质 Download PDF

Info

Publication number
CN108206913A
CN108206913A CN201710579655.2A CN201710579655A CN108206913A CN 108206913 A CN108206913 A CN 108206913A CN 201710579655 A CN201710579655 A CN 201710579655A CN 108206913 A CN108206913 A CN 108206913A
Authority
CN
China
Prior art keywords
image
compressed format
memory
camera
format image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710579655.2A
Other languages
English (en)
Other versions
CN108206913B (zh
Inventor
杨涛
颜深根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201710579655.2A priority Critical patent/CN108206913B/zh
Publication of CN108206913A publication Critical patent/CN108206913A/zh
Application granted granted Critical
Publication of CN108206913B publication Critical patent/CN108206913B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding

Abstract

本发明实施例公开了一种图像采集方法、装置、嵌入式系统和存储介质,应用于嵌入式系统,其中,所述嵌入式系统包括:摄像头和内存,所述摄像头用于采集图像;所述内存用于存储所述摄像头采集到的图像;所述图像采集方法包括:按照摄像头的压缩参数,采集压缩格式图像;将所述压缩格式图像存储在所述内存中;对所述压缩格式图像进行解压处理,得到非压缩格式图像;将所述非压缩格式图像输入至深度学习网络。通过采用上述技术方案,降低了嵌入式系统内存的存储压力,解决在图像采集在过程中的系统卡顿以及图像存储时的内存溢出等问题,提高了嵌入式系统的处理效率。

Description

一种图像采集方法、装置、嵌入式系统和存储介质
技术领域
本发明实施例涉及嵌入式系统的数据处理技术,尤其涉及一种图像采集方法、装置、嵌入式系统和存储介质。
背景技术
随着科学技术的发展,以ARM(Advanced RISC Machines,处理器)为主控芯片的图像采集系统正被越来越多的嵌入式手持设备所采用。其中,在无人驾驶领域,经常使用集成有双目摄像头的图像采集系统。其中,双目摄像头通过两个摄像头同时采集两幅图像。
在现有技术中,输入到神经网络进行图像处理的图像一般要求为原图格式。而对于采用小内存嵌入式系统的设备而言,双目摄像头在采集图像的过程中,由于需要采集左右两幅图片,因此内存占用较大,导致易出现系统卡顿以及嵌入式系统的整体处理速度较慢等问题。
发明内容
本发明实施例提供一种图像采集方法、装置、嵌入式系统和存储介质,解决在图像采集过程中的卡顿以及视频采集速率较低等问题,提高了嵌入式系统的处理效率。
为实现上述目的,本发明实施例采用如下技术方案:
第一方面,本发明实施例提供了一种图像采集方法,应用于嵌入式系统,其中,所述嵌入式系统包括:摄像头和内存,所述摄像头用于采集图像;所述内存用于存储所述摄像头采集到的图像;所述图像采集方法包括:
按照摄像头的压缩参数,采集压缩格式图像;
将所述压缩格式图像存储在所述内存中;
对所述压缩格式图像进行解压处理,得到非压缩格式图像;
将所述非压缩格式图像输入至深度学习网络。
进一步的,所述摄像头包括双目摄像头;
所述压缩格式图像包括压缩格式左图及压缩格式右图。
进一步的,所述嵌入式系统还包括通用串行总线USB接口,所述USB接口用于传输所述压缩格式左图及所述压缩格式右图。
进一步的,所述USB接口传输的所述压缩格式左图及所述压缩格式右图拼接在一起。
进一步的,所述嵌入式系统还包括芯片,在所述芯片中包括缓存;
所述将所述压缩格式图像存储在所述内存中之前,还包括:
将所述压缩格式图像存储到所述缓存中。
进一步的,按照摄像头的压缩参数,采集压缩格式图像之前,还包括:
基于Linux系统的视频采集框架中的应用程序编程接口,配置所述摄像头的压缩参数。
进一步的,所述压缩参数包括压缩格式。
进一步的,所述压缩参数包括图像缓存区域个数。
进一步的,所述压缩参数包括图片点阵的大小和格式、图像缓存区域的大小和格式、与用户空间的映射关系、以及视频流参数。
进一步的,所述嵌入式系统还包括存储器,所述存储器用于存储开源计算机视觉库;
对所述压缩格式图像进行解压处理,得到非压缩格式图像包括:
基于所述开源计算机视觉库中的解压缩函数对所述压缩格式图像进行解压处理,得到非压缩格式图像。
进一步的,所述方法还包括:
将初始开源计算机视觉源码中的显示源码删除,得到目标开源计算机视觉源码;
对所述目标开源计算机视觉源码进行编辑,得到所述开源计算机视觉库。
进一步的,所述压缩格式图像占用的存储空间小于所述非压缩格式图像占用的存储空间。
进一步的,所述压缩格式图像包括MJPEG格式图像;
所述非压缩格式图像包括RGB格式图像。
第二方面,本发明实施例提供了一种图像采集装置,所述装置包括:
图像采集模块,用于按照摄像头的压缩参数,采集压缩格式图像;
图像存储模块,用于将所述压缩格式图像存储在所述内存中;
图像解压模块,用于对所述压缩格式图像进行解压处理,得到非压缩格式图像;
图像处理模块,用于将所述非压缩格式图像输入至深度学习网络。
进一步的,所述摄像头包括双目摄像头;
所述压缩格式图像包括压缩格式左图及压缩格式右图。
进一步的,所述嵌入式系统还包括通用串行总线USB接口,所述USB接口用于传输所述压缩格式左图及所述压缩格式右图。
进一步的,所述USB接口传输的所述压缩格式左图及所述压缩格式右图拼接在一起。
进一步的,所述嵌入式系统还包括芯片,在所述芯片中包括缓存;所述装置还包括:
图像缓存模块,用于将所述压缩格式图像存储在所述内存中之前,将所述压缩格式图像存储到所述缓存中。
进一步的,所述装置还包括:
压缩参数配置模块,用于按照摄像头的压缩参数,采集压缩格式图像之前,基于Linux系统的视频采集框架中的应用程序编程接口,配置所述摄像头的压缩参数。
进一步的,所述压缩参数包括压缩格式。
进一步的,所述压缩参数包括图像缓存区域个数。
进一步的,所述压缩参数包括图片点阵的大小和格式、图像缓存区域的大小和格式、与用户空间的映射关系、以及视频流参数。
进一步的,所述嵌入式系统还包括存储器,所述存储器用于存储开源计算机视觉库;
所述图像解压模块,具体用于:基于所述开源计算机视觉库中的解压缩函数对所述压缩格式图像进行解压处理,得到非压缩格式图像。
进一步的,所述装置还包括:
显示源码删除模块,用于将初始开源计算机视觉源码中的显示源码删除,得到目标开源计算机视觉源码;
编辑模块,用于对所述目标开源计算机视觉源码进行编辑,得到所述开源计算机视觉库。
进一步的,所述压缩格式图像占用的存储空间小于所述非压缩格式图像占用的存储空间。
进一步的,所述压缩格式图像包括MJPEG格式图像;
所述非压缩格式图像包括RGB格式图像。
第三方面,本发明实施例提供了一种嵌入式系统,其中,嵌入式系统包括:摄像头、内存和处理器;其中,
所述摄像头,用于按压缩参数,采集压缩格式图像;
所述内存,用于存储所述压缩格式图像;
所述处理器,用于对所述压缩格式图像进行解压处理,得到非压缩格式图像,并将所述非压缩格式图像输入至深度学习网络。
进一步的,所述摄像头包括双目摄像头;
所述双目摄像头采集的所述压缩格式图像包括压缩格式左图及压缩格式右图。
进一步的,所述嵌入式系统还包括:通用串行总线USB接口,所述USB接口用于传输所述压缩格式左图及所述压缩格式右图。
进一步的,所述嵌入式系统还包括:芯片,所述芯片包括缓存;
所述缓存,用于存储所述压缩格式图像。
进一步的,所述嵌入式系统还包括存储器,所述存储器用于存储开源计算机视觉库;
所述开源计算机视觉库,用于向处理器提供解压缩函数。
第四方面,本发明实施例提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行本发明任意实施例所提供的所述图像采集方法。
本发明实施例提供的技术方案,应用于嵌入式系统,其中,嵌入式系统包括摄像头,用于采集图像;嵌入式系统还包括内存,用于存储摄像头所采集到的图像。在图像采集的过程中,按照摄像头的压缩参数,采集压缩格式图像。由于压缩格式的图像相对于非压缩格式的图像,占用的内存空间较小,因此,将压缩格式图像存储在嵌入式系统的内存中,可降低对内存的占用量,减小内存的存储压力,解决了嵌入式系统由于内存较小而导致的内存溢出,系统卡顿等问题,使得嵌入式系统的处理速度得到有效提升。从内存中读出压缩格式图像后,可对所述压缩格式图像进行解压处理,得到非压缩格式图像,从而可以为深度学习网络提供非压缩格式图像,以实现深度学习网络对图像的进一步处理。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据本发明实施例的内容和这些附图获得其他的附图。
图1为本发明实施例一提供的一种图像采集方法的流程示意图;
图2为本发明实施例二提供的一种优选的图像采集方法的流程示意图;
图3为本发明实施例三提供的一种图像采集装置的结构框图;
图4为本发明实施例四提供的一种嵌入式系统的结构框图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚,下面将结合附图对本发明实施例的技术方案作进一步的详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
图1为本发明实施例一提供的一种图像采集方法的流程示意图。本实施例的方法可以由图像采集装置来执行,其中该装置可由软件和/或硬件实现,一般可集成到嵌入式系统中,该嵌入式系统可应用于自动驾驶领域,典型的是装配在无人驾驶的汽车这样的电子设备中。如图1所示,该方法可以包括:
S110:按照摄像头的压缩参数,采集压缩格式图像。
示例性的,嵌入式系统由于成本和体积等客观原因,不会为其配置较大的内存空间,一般地,为其配置的内存空间小于512MB,即小内存嵌入式系统。在利用这些嵌入式系统进行如图片或视频等数据量较大的应用开发时,小内存嵌入式系统往往容易发生内存溢出,卡顿等现象,严重影响了图像或视频的处理效率。尤其在一些对实时性要求较高的场合下,嵌入式系统的处理效率较低则会对应用开发造成严重的影响。
示例性的,本发明实施例提供的技术方案所应用的嵌入式系统优选为基于Xilinx的ZC706开发板实现,该开发板内存容量小于512MB,且该开发板优选使用双核A9系列的ARM处理器。
其中,本实施例的嵌入式系统包括摄像头和内存,摄像头用于采集图像,内存用于存储摄像头采集到的图像。
示例性的,对于摄像头而言,一般支持按照压缩格式和非压缩格式采集图像。由于压缩格式的图像,相对于非压缩格式的图像对系统内存的占用量较小,因此,为了避免存储非压缩格式的图像出现内存溢出、系统卡顿等问题,可预先配置摄像头按照压缩格式采集图像。
在配置完成摄像头采集图像的格式后,可驱动摄像头按照配置的压缩参数采集压缩格式的图像。
优选的,在配置摄像头采集压缩格式的图像时,可利用V4L2(基于Linux系统的视频采集框架)的API(Application Programming Interface,应用程序编程接口)编写摄像头驱动程序,由于V4L2的API中提供了相应的函数可用来配置摄像头按照压缩格式采集图像,因此利用V4L2的API可实现对摄像头的精准控制,同时其可操作性和灵活性也较强。
S120:将压缩格式图像存储在嵌入式系统的内存中。
示例性的,对于本实施例提供的小于512M的小内存嵌入式系统而言,若存储的是非压缩格式图像,由于非压缩格式的图像占用的内存空间较大(例如大于512M),则经常会出现内存溢出的现象。即使是非压缩格式的图像所占用的内存空间小于512M,则在存储非压缩格式的图像后,也经常会出现由于内存空间中剩余的存储容量较小而导致的内存卡顿等问题。相对于非压缩格式的图像,压缩格式的图像对内存的占用量较小,存储压缩格式图像可减轻内存的存储压力。
优选的,本实施例中的压缩格式图像为MJPEG(Motion Joint PhotographicExperts Group,技术即运动静止图像压缩技术)格式图像,单帧图片的格式如JPEG(JointPhotographic Experts Group,第一个国际图像压缩标准)格式。在具体实现过程中,驱动摄像头按照MJPEG格式采集图像的方式,图像的压缩比可达到16:1,使得内存中存储的数据量得到大幅度减小,避免了内存溢出和卡顿等现象发生。
S130:对压缩格式图像进行解压处理,得到非压缩格式图像。
示例性的,在应用深度学习网络模型处理图像的过程中,由于输入到深度学习网络中的图像格式一般要求为非压缩格式,因此,在采集到压缩格式的图像后,需要对图像进行解压处理后才可作为深度学习网络输入层的目标图像数据。
本领域技术人员可以理解的是,可在嵌入式系统上部署OPENCV库(Open SourceComputer Vision Library,开源计算机视觉库),即将OPENCV库存储到嵌入式系统的存储器中。在对压缩格式图像进行解压时,可调用OPENCV的解压缩函数cvDecode Image对压缩格式的图像进行解压处理,得到非压缩格式图像。由于上述解压缩函数只有两个参数,简单易用,相对于研发人员基于V4L2编写解压缩程序的解压方式,本发明实施例通过采用调用OPENCV的解压缩函数的方式省时省力,也可实现压缩格式到非压缩格式的快速转换。
示例性的,非压缩格式包括RGB(RED GREEN BLUE,红绿蓝色彩模式)格式、YUV(明亮度,色度)格式等。对于单帧图片而言,非压缩格式的具体格式由深度学习网络所支持处理的格式来决定,本实施例中优选为RGB格式。
S140:将非压缩格式图像输入至深度学习网络。
其中,深度学习网络模型有多种,如深度信念网络,卷积神经网络等。利用深度学习网络可对输入的非压缩格式图像进行如特征提取、图像比对、目标跟踪等处理,且处理结果的准确性较高。本领域技术人员可以理解的是,可基于深度学习网络编写编写对应的图像识别算法,并预先对深度学习网络进行训练。在进行图像识别的过程中,通过将提取出的图像特征输入到已完成训练的深度学习网络模型中,经过深度学习网络模型对图像特征进行识别处理后,可输出对应的比对结果。
本发明实施例提供了一种图像采集方法,可应用于内存小于512M的小内存嵌入式系统。在图像采集的过程中,按照摄像头的压缩参数,采集压缩格式图像。由于压缩格式的图像相对于非压缩格式的图像,占用的内存空间较小,因此,将压缩格式图像存储在嵌入式系统的内存中,可降低对内存的占用量,减小内存的存储压力,解决了嵌入式系统由于内存较小而导致的内存溢出、卡顿等问题,使得嵌入式系统的处理速度得到有效提升。从内存中读出压缩格式图像后,可对压缩格式图像进行解压处理,得到非压缩格式图像。由于深度学习网络所支持处理的图像格式为非压缩格式,因此可将非压缩格式图像输至深度学习网络中作为后续图像处理的数据基础。同时,深度学习网络的使用也进一步提高了图像识别的准确性。
实施例二
图2为本发明实施例二提供的一种优选的图像采集方法的流程示意图。本实施例二在前述实施例技术方案的基础上,对嵌入式系统的配置以及“按照摄像头的压缩参数,采集压缩格式图像”之前和之后步骤进行了细化,参照图2,本发明实施例二具体包括如下步骤:
S210:基于Linux系统的视频采集框架中的应用程序编程接口,配置摄像头的压缩参数。
其中,摄像头的压缩参数包括压缩格式。
示例性的,由于Linux系统的视频采集框架中提供了与图像缓存相关的多个函数,因此,通过调用函数并设置相应的参数,可为采集到的图像配置除压缩格式之外的多个压缩参数。
示例性的,配置的压缩参数还包括:图片点阵的大小和格式、与用户空间的映射关系以及如视频的宽度和高度等视频流参数。当上述配置完成后,摄像头采集到的图像信息都符合预先配置的压缩参数。需要说明的是,为了提高图像的分辨率,本发明实施例所使用的摄像头优选为双目摄像头。通过双目摄像头采集到的压缩格式图像包括压缩格式左图和压缩格式右图。
示例性的,可在嵌入式系统上可配置USB(Universal Serial Bus,通用串行总线)接口与摄像头连接,用于传输压缩格式左图和压缩格式右图。其中,USB接口的个数可以为一个也可以为两个。由于USB接口本身需要占用一定的内存空间,因此,为了减小对内存的占用量,可优选在开发板上设置单个USB口与双目摄像头连接。
优选的,对于单个USB接口而言,传输的压缩格式图像为压缩格式左图及压缩格式右图拼接在一起的图像,其具体拼接过程可在双目摄像头内部完成。这样处理的好处在于:双目摄像头在采集图像数据时,双目共用一条数据通道,在利用V4L2来配置存储图像的内存时,对于拼接后的一张图像,只需申请一次即可。
此外,由于图像在压缩过程中不可避免地会存在失真的情况,可选的,将两张图像在压缩前,先将其进行拼接处理,这种处理方式相对于在压缩后进行拼接处理的方式,前者更能减小图像的失真,图像的还原度较高。
S220:按照摄像头的压缩参数,采集压缩格式图像。
S230:将压缩格式图像存储在嵌入式系统的芯片的缓存中。
其中,本实施例所采用的嵌入式系统还包括芯片,芯片中包括缓存。
示例性的,压缩参数还包括配置图像缓存区域的个数,在对采集到的压缩图像进行缓存时,可根据图像缓存区域的个数进行缓存处理。其中,每个缓存区域可用于存储一张图像。例如,若分配了5个缓存区域,则可同时缓存5张图像。此外,摄像头的压缩参数时还包括图像缓存区域的大小和格式。
当摄像头采集到压缩格式的图像后,可先将压缩格式图像存储到预先申请的缓存中作为过渡。
S240:将压缩格式图像存储在嵌入式系统的内存中。
由于压缩格式图像占用的存储空间小于非压缩格式图像占用的存储空间,因此,在内存中存储压缩格式图像可减小内存的占用量,提升嵌入式系统的处理速率。
S250:基于开源计算机视觉库中的解压缩函数对压缩格式图像进行解压处理,得到非压缩格式图像。
示例性的,初始开源计算机视觉源码中包含有显示源码,通过调用显示源码,可显示采集到的图像。但由于本发明实施例在图像采集的过程中无需进行相应的显示,因此,可将初始开源计算机视觉源码中的显示源码删除,得到目标开源计算机视觉源码;对目标开源计算机视觉源码进行编辑,可得到开源计算机视觉库。
示例性的,本实施例提供的技术方案中,为了基于A9系统的ARM的petalinux操作系统调用开源计算机视觉库的相关解压缩函数,可使用特定的交叉编译工具对目标开源计算机视觉库中的源码进行编译。由于目标开源计算机视觉源码已删除了显示源码,使得在编译过程中不需要依赖GTX(和显示有关的一个OPENCV依赖库),进而完成了正常的交叉编译操作,且交叉编译后的开源计算机视觉库体积减小,在一定程度上可提高系统的处理速率。
进一步的,通过调用开源计算机视觉库的解压函数解压采集到的压缩格式图像,相对于通过研发人员手动编写解压程序的方式,有效地节省了研发人员的工作量,同时调用函数实现解压的方式在一定程度上也可以达到提升嵌入式系统的处理速度的效果。
还需要说明的是,OPENCV中也存在函数cvCreateCameraCapture,可实现对摄像头的驱动。然而,由于OPENCV库中并没有开放多个参数来配置摄像头,因此不能指定摄像头采集图像时使用压缩格式,因此,通过OPENCV库中的函数来驱动摄像头依然会造成小内存嵌入式系统卡顿等问题。所以,本发明实施例通过利用V4L2的API驱动摄像头按照压缩格式采集图像,并将采集到的压缩格式图像存储到内存中的方式,对于进行如图片或视频等相关的数据量较大的应用开发时,有效地解决了系统卡顿以及视频采集效率较低的问题。同时,通过调用OPENCV中的解压缩函数对压缩图像进行解压的方式,进一步提升了小内存嵌入式系统的处理效率,并且本发明实施例提供的的技术方案可应用在对图像处理的实时性要求较高的场合。
S260:将非压缩格式图像输入至深度学习网络。
本实施例二在上述实施例的基础上,通过基于Linux系统的视频采集框架,配置摄像头的图像采集格式,可以使得当前摄像头按照压缩格式采集图像,将压缩图像存储到内存中,占用较少的内存空间,解决了嵌入式系统由于内存容量小而产生的系统卡顿以及系统处理速度较慢等问题。通过利用双目摄像头采集图像,且为双目摄像头配置单个USB接口来传输压缩格式图像,相对于配置两个USB接口的方式,进一步减小了USB接口对内存的占用量,提升了嵌入式系统的处理速率。
实施例三
图3为本发明实施例三提供的一种图像采集装置的结构框图。该装置可由软件和/或硬件实现,一般可集成在嵌入式系统中,该嵌入式系统可应用于自动驾驶领域。如图3所示,该装置包括:图像采集模块310、图像存储模块320、图像解压模块330和图像处理模块340。
其中,图像采集模块310,用于按照摄像头的压缩参数,采集压缩格式图像;图像存储模块320,用于将所述压缩格式图像存储在所述内存中;图像解压模块330,用于对所述压缩格式图像进行解压处理,得到非压缩格式图像;图像处理模块340,用于将所述非压缩格式图像输入至深度学习网络。
本发明实施例提供了一种图像采集装置,可应用于内存小于512M的小内存嵌入式系统。在图像采集的过程中,按照摄像头的压缩参数,采集压缩格式图像。由于压缩格式的图像相对于非压缩格式的图像,占用的内存空间较小,因此,将压缩格式图像存储在嵌入式系统的内存中,可降低对内存的占用量,减小内存的存储压力,解决了嵌入式系统由于内存较小而导致的内存溢出、卡顿等问题,使得嵌入式系统的处理速度得到有效提升。从内存中读出压缩格式图像后,可对所述压缩格式图像进行解压处理,得到非压缩格式图像。由于深度学习网络所支持处理的图像格式为非压缩格式,因此可将非压缩格式图像输至深度学习网络中作为后续图像处理的数据基础。同时,深度学习网络的使用也进一步提高了图像识别的准确性。
在上述实施例的基础上,所述摄像头包括双目摄像头;
所述压缩格式图像包括压缩格式左图及压缩格式右图。
在上述实施例的基础上,所述嵌入式系统还包括通用串行总线USB接口,所述USB接口用于传输所述压缩格式左图及所述压缩格式右图。
在上述实施例的基础上,所述USB接口传输的所述压缩格式左图及所述压缩格式右图拼接在一起。
在上述实施例的基础上,所述嵌入式系统还包括芯片,在所述芯片中包括缓存;该装置还包括:
图像缓存模块,用于将所述压缩格式图像存储在所述内存中之前,将所述压缩格式图像存储到所述缓存中。
在上述实施例的基础上,该装置还包括:
压缩参数配置模块,用于按照摄像头的压缩参数,采集压缩格式图像之前,基于Linux系统的视频采集框架中的应用程序编程接口,配置所述摄像头的压缩参数。
在上述实施例的基础上,所述压缩参数包括压缩格式。
在上述实施例的基础上,所述压缩参数包括图像缓存区域个数。
在上述实施例的基础上,所述压缩参数包括图片点阵的大小和格式、图像缓存区域的大小和格式、与用户空间的映射关系、以及视频流参数。
在上述实施例的基础上,所述嵌入式系统还包括存储器,所述存储器用于存储开源计算机视觉库;
所述图像解压模块,具体用于:基于所述开源计算机视觉库中的解压缩函数对所述压缩格式图像进行解压处理,得到非压缩格式图像。
在上述实施例的基础上,该装置还包括:
显示源码删除模块,用于将初始开源计算机视觉源码中的显示源码删除,得到目标开源计算机视觉源码;
编辑模块,用于对所述目标开源计算机视觉源码进行编辑,得到所述开源计算机视觉库。
在上述实施例的基础上,所述压缩格式图像占用的存储空间小于所述非压缩格式图像占用的存储空间。
在上述实施例的基础上,所述压缩格式图像包括MJPEG格式图像;
所述非压缩格式图像包括RGB格式图像。
实施例四
图4为本发明实施例四提供的一种嵌入式系统的结构框图,如图4所示,该嵌入式系统400包括摄像头410、内存420和处理器430。
示例性的,本实施例中的嵌入式系统400优选为内存空间小于512MB的小内存嵌入式系统。
其中,摄像头410,用于按压缩参数,采集压缩格式图像;内存420,用于存储所述压缩格式图像;处理器430,与内存420相连,用于对所述压缩格式图像进行解压处理,得到非压缩格式图像;并将所述非压缩格式图像输入至深度学习网络。
示例性的,摄像头410包括双目摄像头;摄像头410采集的所述压缩格式图像包括压缩格式左图及压缩格式右图。
进一步的,嵌入式系统400还包括:通用串行总线USB接口440,USB接口440用于传输压缩格式左图及压缩格式右图。
示例性的,为了节省USB接口对嵌入式系统的占用量,本实施例中优选配置单个USB接口440与摄像头410相连。
进一步的,嵌入式系统400还包括:芯片450,与USB接口440相连,芯片450包括缓存451;
其中,缓存451,用于存储所述压缩格式图像。
进一步的,嵌入式系统400还包括存储器460,所述存储器460与所述处理器430相连,用于存储开源计算机视觉库,所述开源计算机视觉库,用于向处理器提供解压缩函数。
示例性的,存储器460作为一种计算机可读存储介质,还可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的图像采集方法对应的程序指令/模块(例如,图像采集装置中的图像采集模块310、图像存储模块320、图像解压模块330和图像处理模块340)。处理器430通过运行存储在存储器460中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的图像采集方法。
存储器460可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器460可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器460可进一步包括相对于处理器430远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
具体的,在利用嵌入式系统400进行图像采集的过程中,摄像头410按照压缩参数采集到压缩格式图像后,先通过USB接口440将压缩格式图像存储到缓存451中作为过渡,然后再将压缩格式图像存储到内存420中。处理器430从内存420中读出压缩格式图像后,利用存储器460中存储的开源计算机视觉库中的解压函数对压缩格式图像进行解压处理,得到非压缩格式图像,并将非压缩格式图像输入至深度学习网络中作为后续图像处理的基础。
本发明实施例提供的嵌入式系统可执行本发明任意实施例所提供的图像采集方法,具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的图像采集方法。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种图像采集方法,该方法包括:
按照摄像头的压缩参数,采集压缩格式图像;
将所述压缩格式图像存储在所述内存中;
对所述压缩格式图像进行解压处理,得到非压缩格式图像;
将所述非压缩格式图像输入至深度学习网络。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的图像采集方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述图像采集装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种图像采集方法,应用于嵌入式系统,其特征在于,所述嵌入式系统包括:摄像头和内存,所述摄像头用于采集图像;所述内存用于存储所述摄像头采集到的图像;所述图像采集方法包括:
按照摄像头的压缩参数,采集压缩格式图像;
将所述压缩格式图像存储在所述内存中;
对所述压缩格式图像进行解压处理,得到非压缩格式图像;
将所述非压缩格式图像输入至深度学习网络。
2.根据权利要求1所述的方法,其特征在于:
所述摄像头包括双目摄像头;
所述压缩格式图像包括压缩格式左图及压缩格式右图;
所述嵌入式系统还包括通用串行总线USB接口,所述USB接口用于传输所述压缩格式左图及所述压缩格式右图;
所述USB接口传输的所述压缩格式左图及所述压缩格式右图拼接在一起。
3.根据权利要求1所述的方法,其特征在于,所述嵌入式系统还包括芯片,在所述芯片中包括缓存;
所述将所述压缩格式图像存储在所述内存中之前,还包括:
将所述压缩格式图像存储到所述缓存中。
4.根据权利要求1所述的方法,其特征在于,按照摄像头的压缩参数,采集压缩格式图像之前,还包括:
基于Linux系统的视频采集框架中的应用程序编程接口,配置所述摄像头的压缩参数。
5.根据权利要求4所述的方法,其特征在于,所述压缩参数包括压缩格式、图像缓存区域个数、图像点阵的大小和格式、图像缓存区域的大小和格式、与用户空间的映射关系以及视频流参数。
6.根据权利要求1所述的方法,其特征在于,所述嵌入式系统还包括存储器,所述存储器用于存储开源计算机视觉库;
对所述压缩格式图像进行解压处理,得到非压缩格式图像包括:
基于所述开源计算机视觉库中的解压缩函数对所述压缩格式图像进行解压处理,得到非压缩格式图像。
7.根据权利要求6所述的方法,其特征在于,还包括:
将初始开源计算机视觉源码中的显示源码删除,得到目标开源计算机视觉源码;
对所述目标开源计算机视觉源码进行编辑,得到所述开源计算机视觉库。
8.一种图像采集装置,其特征在于,所述装置包括:
图像采集模块,用于按照摄像头的压缩参数,采集压缩格式图像;
图像存储模块,用于将所述压缩格式图像存储在所述内存中;
图像解压模块,用于对所述压缩格式图像进行解压处理,得到非压缩格式图像;
图像处理模块,用于将所述非压缩格式图像输入至深度学习网络。
9.一种嵌入式系统,其特征在于,包括:摄像头、内存和处理器;其中,
所述摄像头,用于按压缩参数,采集压缩格式图像;
所述内存,用于存储所述压缩格式图像;
所述处理器,用于对所述压缩格式图像进行解压处理,得到非压缩格式图像,并将所述非压缩格式图像输入至深度学习网络。
10.一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的图像采集方法。
CN201710579655.2A 2017-07-17 2017-07-17 一种图像采集方法、装置、嵌入式系统和存储介质 Active CN108206913B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710579655.2A CN108206913B (zh) 2017-07-17 2017-07-17 一种图像采集方法、装置、嵌入式系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710579655.2A CN108206913B (zh) 2017-07-17 2017-07-17 一种图像采集方法、装置、嵌入式系统和存储介质

Publications (2)

Publication Number Publication Date
CN108206913A true CN108206913A (zh) 2018-06-26
CN108206913B CN108206913B (zh) 2021-03-09

Family

ID=62603707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710579655.2A Active CN108206913B (zh) 2017-07-17 2017-07-17 一种图像采集方法、装置、嵌入式系统和存储介质

Country Status (1)

Country Link
CN (1) CN108206913B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110418061A (zh) * 2019-08-26 2019-11-05 Oppo广东移动通信有限公司 图像处理方法、图像处理器、拍照装置及电子设备
CN113112431A (zh) * 2021-05-10 2021-07-13 苏州大学 一种嵌入式系统中的图像处理方法
CN115065868A (zh) * 2022-04-12 2022-09-16 北京字节跳动网络技术有限公司 图像处理方法、装置、设备、系统及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040070667A1 (en) * 2002-10-10 2004-04-15 Fuji Photo Optical Co., Ltd. Electronic stereoscopic imaging system
CN1558682A (zh) * 2004-01-14 2004-12-29 华中科技大学 嵌入式图象处理器
CN101325712A (zh) * 2008-07-17 2008-12-17 武汉科技大学 一种基于arm的便携式图像实时采集和显示终端
CN101729869A (zh) * 2009-12-21 2010-06-09 山东大学 一种嵌入式摄像头视频采集及网络传输模块及其工作方法
CN201774556U (zh) * 2010-09-03 2011-03-23 西安全星智能电子有限责任公司 具有图像采集功能的嵌入式总线设备服务器系统
CN102226852A (zh) * 2011-06-13 2011-10-26 广州市晶华光学电子有限公司 一种数码体视显微镜的成像系统
CN103402068A (zh) * 2013-08-09 2013-11-20 西安电子科技大学 非压缩式视频播放系统及播放方法
CN104320617A (zh) * 2014-10-20 2015-01-28 中国科学院自动化研究所 一种基于深度学习的全天候视频监控方法
CN104320622A (zh) * 2014-10-30 2015-01-28 上海电力学院 一种开源服务器软件的嵌入式视频增强系统
CN105391985A (zh) * 2015-12-07 2016-03-09 哈尔滨工业大学深圳研究生院 一种基于嵌入式Linux的视频监控系统与方法
CN105578008A (zh) * 2015-12-23 2016-05-11 福建星网智慧科技股份有限公司 一种基于android终端提高USB2.0摄像头高分辨率高帧率的方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040070667A1 (en) * 2002-10-10 2004-04-15 Fuji Photo Optical Co., Ltd. Electronic stereoscopic imaging system
CN1558682A (zh) * 2004-01-14 2004-12-29 华中科技大学 嵌入式图象处理器
CN101325712A (zh) * 2008-07-17 2008-12-17 武汉科技大学 一种基于arm的便携式图像实时采集和显示终端
CN101729869A (zh) * 2009-12-21 2010-06-09 山东大学 一种嵌入式摄像头视频采集及网络传输模块及其工作方法
CN201774556U (zh) * 2010-09-03 2011-03-23 西安全星智能电子有限责任公司 具有图像采集功能的嵌入式总线设备服务器系统
CN102226852A (zh) * 2011-06-13 2011-10-26 广州市晶华光学电子有限公司 一种数码体视显微镜的成像系统
CN103402068A (zh) * 2013-08-09 2013-11-20 西安电子科技大学 非压缩式视频播放系统及播放方法
CN104320617A (zh) * 2014-10-20 2015-01-28 中国科学院自动化研究所 一种基于深度学习的全天候视频监控方法
CN104320622A (zh) * 2014-10-30 2015-01-28 上海电力学院 一种开源服务器软件的嵌入式视频增强系统
CN105391985A (zh) * 2015-12-07 2016-03-09 哈尔滨工业大学深圳研究生院 一种基于嵌入式Linux的视频监控系统与方法
CN105578008A (zh) * 2015-12-23 2016-05-11 福建星网智慧科技股份有限公司 一种基于android终端提高USB2.0摄像头高分辨率高帧率的方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110418061A (zh) * 2019-08-26 2019-11-05 Oppo广东移动通信有限公司 图像处理方法、图像处理器、拍照装置及电子设备
CN110418061B (zh) * 2019-08-26 2021-04-23 Oppo广东移动通信有限公司 图像处理方法、图像处理器、拍照装置及电子设备
CN113112431A (zh) * 2021-05-10 2021-07-13 苏州大学 一种嵌入式系统中的图像处理方法
CN113112431B (zh) * 2021-05-10 2023-08-15 苏州大学 一种嵌入式系统中的图像处理方法
CN115065868A (zh) * 2022-04-12 2022-09-16 北京字节跳动网络技术有限公司 图像处理方法、装置、设备、系统及介质

Also Published As

Publication number Publication date
CN108206913B (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN104737223B (zh) 数据处理装置以及相关数据处理方法
US8130279B2 (en) Image sensing apparatus sensing moving and still images, method thereof, storage medium and computer program
JP3033575B1 (ja) 画像処理装置
JP2016197858A (ja) リアルタイム画像ステッチ装置およびリアルタイム画像ステッチ方法
CN108206913A (zh) 一种图像采集方法、装置、嵌入式系统和存储介质
JP2008526143A (ja) カメラ付き携帯電話をコンピュータのカメラとして用いて、ビデオデータを獲得する方法
WO2020093850A1 (zh) 双光图像整合方法、整合设备及无人机
US11430094B2 (en) Guided multi-exposure image fusion
WO2021078001A1 (zh) 一种图像增强方法及装置
CN105262944A (zh) 用于利用自校准的自动聚焦的方法和系统
CN113473214B (zh) 一种屏幕录制方法、装置、计算设备及可读存储介质
US9432574B2 (en) Method of developing an image from raw data and electronic apparatus
CN100505891C (zh) 信息终端
US20080158379A1 (en) Image compression apparatus and method, image regeneration apparatus, camera and camera system
CN103108118A (zh) 数字图像捕捉方法和装置
CN108492266B (zh) 图像处理方法、装置、存储介质及电子设备
CN111510629A (zh) 数据显示方法、图像处理器、拍摄装置和电子设备
EP4148656A1 (en) Multimedia processing chip, electronic device, and dynamic image processing method
CN111491101B (zh) 图像处理器、图像处理方法、拍摄装置和电子设备
CN104105011A (zh) 水印处理装置和方法以及图像捕捉设备
JP2008288863A (ja) 画像処理装置、撮像装置及びプログラム
US20170109329A1 (en) Method, system and apparatus for processing a document
KR101610007B1 (ko) 동영상 생성 방법
CN113747046B (zh) 图像处理方法、装置、存储介质及电子设备
WO2022168667A1 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant