CN108307113B - 图像采集方法、图像采集控制方法及相关装置 - Google Patents

图像采集方法、图像采集控制方法及相关装置 Download PDF

Info

Publication number
CN108307113B
CN108307113B CN201810076488.4A CN201810076488A CN108307113B CN 108307113 B CN108307113 B CN 108307113B CN 201810076488 A CN201810076488 A CN 201810076488A CN 108307113 B CN108307113 B CN 108307113B
Authority
CN
China
Prior art keywords
pixel data
frame image
current frame
roi
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810076488.4A
Other languages
English (en)
Other versions
CN108307113A (zh
Inventor
王明
孙杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tusimple Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Technology Co Ltd filed Critical Beijing Tusimple Technology Co Ltd
Priority to CN201810076488.4A priority Critical patent/CN108307113B/zh
Publication of CN108307113A publication Critical patent/CN108307113A/zh
Priority to US16/250,959 priority patent/US11275962B2/en
Application granted granted Critical
Publication of CN108307113B publication Critical patent/CN108307113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明提供图像采集方法、图像控制方法及相关装置,以解决现有图像采集技术不能兼顾分辨率和传输速度的问题。图像采集方法包括:获取当前帧图像对应的目标ROI的ROI信息;缓存采集得到的当前帧图像的像素数据;在确定当前帧图像的像素数据缓存完毕时,若能获取到当前帧图像对应的目标ROI的ROI信息,则根据所述ROI信息从缓存的当前帧图像的像素数据中获取与所述目标ROI对应的像素数据;输出所述目标ROI对应的像素数据。采用本发明技术方案,既能提供高分辨率图像数据,还能提高图像数据的传输速度。

Description

图像采集方法、图像采集控制方法及相关装置
技术领域
本发明涉及图像采集领域,特别涉及一种图像采集方法及其装置、一种图像采集控制方法及装置、一种图像采集系统和一种摄像机。
背景技术
随着无人机、无人船舶、无人驾驶、VR(Virtual Reality,虚拟现实)、三维扫描、机器人避障、SLAM(Simultaneous Localization And Mapping,即时定位与地图构建)等技术领域的发展,摄像机在这些技术领域被大量使用。由于这些领域对摄像机的分辨率要求较高,因此,现有技术,一般使用较高分辨率(例如4096*4096)的摄像机采集图像,但是由于分辨率高,摄像机传输的数据量较大,因此,图像数据的传输速度相对较慢,如何能够实现既能获取到高分辨率的图像数据又能提高图像数据的传输速度,则成为本领域技术人员亟待解决的技术问题。
另外,为使得摄像机输出的图像数据适应于人眼观看,目前一般在摄像机中集成一个ISP(Image Signal Processing,图像信号处理,如图1A所示),或者,与摄像机分立设置一个ISP(如图1B所示);摄像机的图像传感器将采集得到的像素数据发送给ISP处理,由该ISP对像素数据进行处理后输出,但是实际上ISP在对像素数据进行处理时会丢掉像素数据中的一些细节信息,因此经过ISP处理后的图像数据还会在一定程度上存在信息丢失的问题。
发明内容
本发明提供了图像采集方法、图像采集控制方法及相关装置,以解决现有图像采集技术不能兼顾分辨率和传输速度的问题。
为达到上述目的,本发明提供以下技术方案:
第一方面,本发明实施例提供一种图像采集方法,包括:
获取当前帧图像对应的目标感兴趣区域ROI的ROI信息;
缓存采集得到的当前帧图像的像素数据;
在确定当前帧图像的像素数据缓存完毕时,若能获取到当前帧图像对应的目标ROI的ROI信息,则根据所述ROI信息从缓存的当前帧图像的像素数据中获取与所述目标ROI对应的像素数据;
输出所述目标ROI对应的像素数据。
第二方面,本发明实施例提供一种图像采集控制方法,包括:
根据前一帧图像的物体跟踪结果预测目标物体在下一帧图像中的位置区域,并将该位置区域确定为所述下一帧图像对应的目标ROI;
将下一帧图像对应的目标ROI的ROI信息发送给摄像机。
第三方面,本发明实施例提供一种图像采集装置,包括:
参数获取单元,用于获取当前帧图像对应的目标ROI的ROI信息;
像素数据接收单元,用于缓存采集得到的当前帧图像的像素数据;
获取单元,用于在确定当前帧图像的像素数据缓存完毕时,若能从所述参数获取单元获取到当前帧图像对应的目标ROI的ROI信息,则根据所述ROI信息从缓存的当前帧图像的像素数据中获取与所述目标ROI对应的像素数据,并将所述目标ROI对应的像素数据发送给传输单元;
传输单元,用于输出所述目标ROI对应的像素数据。
第四方面,本发明实施例提供一种图像采集控制装置,包括:
ROI确定单元,用于根据前一帧图像的物体跟踪结果预测目标物体在下一帧图像中的位置区域,并将该位置区域确定为所述下一帧图像对应的目标ROI;
发送单元,用于将下一帧图像对应的目标ROI的ROI信息发送给摄像机。
第五方面,本发明实施例提供一种摄像机,包括:
图像传感器,用于根据预置的摄像机参数采集当前帧图像的像素数据,并将采集的像素数据传输给图像采集装置;
图像采集装置,用于获取当前帧图像对应的目标ROI的ROI信息;从所述图像传感器接收当前帧图像的像素数据并缓存;在确定当前帧图像的像素数据缓存完毕时,若能获取到当前帧图像对应的目标ROI的ROI信息,则根据所述ROI信息从缓存的当前帧图像的像素数据中获取与所述目标ROI对应的像素数据;输出所述目标ROI对应的像素数据。
第六方面,本发明实施例提供一种图像采集系统,包括:
图像采集控制装置,用于根据前一帧图像的物体跟踪结果预测目标物体在下一帧图像中的位置区域,并将该位置区域确定为下一帧图像对应的目标ROI;将下一帧图像对应的目标ROI的ROI信息发送给摄像机;
摄像机,用于从图像采集控制装置获取当前帧图像对应的目标ROI的ROI信息;根据预置的摄像机参数采集当前帧图像的像素数据,并缓存当前帧图像的像素数据;在确定当前帧图像的像素数据缓存完毕时,若能获取到当前帧图像对应的目标ROI的ROI信息,则根据所述ROI信息从缓存的当前帧图像的像素数据中获取与所述目标ROI对应的像素数据;输出所述目标ROI对应的像素数据。
本发明实施例提供的技术方案,采集到一帧图像时先缓存该一帧图像对应的像素数据,再根据该一帧图像对应的目标ROI的ROI信息从缓存的该一帧图像对应的像素数据中获取与目标ROI对应的像素数据,并传输目标ROI对应的像素数据。即采用本发明技术方案,一方面,可以通过高分辨率的摄像机采集像素数据,以得到每个像素数据的细节信息;另一方面,在传输图像数据时并不是将整帧图像的像素数据全部传输,而是仅传输目标ROI对应的像素数据,而目标ROI对应的像素数据往往是对图像数据需求端有用的数据,从而降低数据传输量,提高图像数据传输速度;再一方面,本发明技术方案,摄像机采集得到的像素数据不需要经过ISP处理,因此不会丢失像素数据的细节信息,能够保留像素数据的所有细节信息,提高像素数据的准确性和完整性,并且由于无需ISP处理,节省了ISP的处理时间,更进一步提高图像数据的传输速度。因此,采用本发明技术方案,即可向图像数据需求端提供高分辨率的图像数据,而且能够提高图像数据的传输速度,还能保留图像数据的所有细节信息,提高图像数据的准确性。
附图说明
图1A、图1B为现有技术中摄像机与ISP的结构示意图;
图2为本发明实施例中图像采集方法的流程图之一;
图3A、图3B为本发明实施例中一帧图像对应的目标ROI的示意图;
图4为本发明实施例中步骤103的具体流程图;
图5A、图5B和图5C为目标ROI对应的位置区域及ROI信息的示意图;
图6为本发明实施例中图像采集方法的流程图之二;
图7A、图7B和图7C为本发明实施例中相邻n个像素数据的示意图;
图7D为本发明实施例中一帧图像的示意图;
图7E、图7F为本发明实施例中对图7D所示的一帧图像中的像素数据进行合并的示意图;
图7G为本发明实施例中将多个像素数据合并成一个像素数据的示意图;
图8为本发明实施例中图像采集控制方法的流程图之一;
图9为本发明实施例中图像采集控制方法的流程图之二;
图10A为本发明实施例中前一帧图像的物体跟踪结果的示意图;
图10B为本发明实施例中下一帧图像对应的目标ROI的示意图;
图11A为本发明实施例中当前帧图像的物体检测结果的示意图;
图11B为本发明实施例中前一帧图像的物体跟踪结果的示意图;
图11C为本发明实施例中当前帧图像对应的物体跟踪结果的示意图;
图12为本发明实施例中图像采集装置的结构示意图;
图13为本发明实施例中摄像机的结构示意图;
图14为本发明实施例中图像采集控制装置的结构示意图之一;
图15为本发明实施例中图像采集控制装置的结构示意图之二;
图16为本发明实施例中图像采集系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的技术方案,可以适用于无人驾驶车辆(包括卡车、公交车、大巴车、小车、拖拉机、洒水车、垃圾车等)、无人机、无人船舶、机器人等,本申请不对本发明技术方案的应用场景作严格限定。
实施例一
本发明实施例一,提供一种图像采集方法,该方法适用于摄像机,该方法的流程图如图2所示,包括:
步骤101、获取当前帧图像对应的目标ROI(Region Of Interest,感兴趣区域)的ROI信息;
步骤102、缓存采集得到的当前帧图像的像素数据;
步骤103、在确定当前帧图像的像素数据缓存完毕时,判断是否能获取到当前帧图像对应的目标ROI的ROI信息,若是则执行步骤104;
步骤104、根据所述ROI信息从缓存的当前帧图像的像素数据中获取与所述目标ROI对应的像素数据;
步骤105、输出所述目标ROI对应的像素数据。
本发明实施例一中,步骤101与步骤102之间没有严格的先后执行顺序,可以是先执行步骤101再执行步骤102,也可以是先执行步骤102再执行步骤101,也可以是同时执行步骤101和步骤102。
假设一帧图像的分辨率为4096*4096,即一帧图像包含4096行和4096列的像素数据。步骤103确定当前帧图像的像素数据是否已缓存完毕,具体可通过但不仅限于以下方式实现:1)在当前帧图像的帧有效信号结束时,确定当前帧图像的像素数据缓存完毕;2)在当前帧图像的帧有效信号的有效期间内接收到4096*4096个像素数据时,则确定当前帧图像的像素数据缓存完毕。
本发明实施例中,一帧图像对应的目标ROI可以为一个也可以为多个,各帧图像各自包含的目标ROI的数量可以相同也可以不相同。如图3A所示一帧图像对应一个目标ROI,如图3B所示一帧图像对应三个目标ROI。
优选地,所述步骤104中,根据所述ROI信息从缓存的当前帧图像的像素数据中获取与所述目标ROI对应的像素数据,具体实现可参见图4所示的流程,该流程包括:
步骤a、根据所述ROI信息确定当前帧图像的像素数据中与所述目标ROI对应的像素数据;
步骤b、确定目标ROI对应的像素数据在缓存中的存储地址;
步骤c、从所述存储地址读取相应的像素数据,以获取到所述目标ROI对应的像素数据。
本发明实施例中,可以是一帧图像的每个目标ROI对应一条ROI信息,也可以是一帧图像的多个目标ROI对应一条ROI信息。在ROI信息中包含目标ROI在该一帧图像中的位置区域的描述信息,例如,假设目标ROI为矩形,则该目标ROI对应的ROI信息包括该矩形的起点位置(用(x0,y0)表示)、宽(用W表示)和高(用H表示),目标ROI的位置区域如图5A所示;或者,目标ROI对应的ROI信息包括该矩形的起点位置和终点位置(终点位置用(x,y)表示),该目标ROI的位置区域如图5B所示,图5A和图5B所示区域的边界上和区域内的像素数据即为目标ROI对应的像素数据。还例如,假设目标ROI为圆形,则该目标ROI对应的ROI信息包括该圆形的原点位置(用(x0,y0)表示)和半径(用r表示),则该目标ROI的位置区域如图5C所示,将图5C所示区域的边界上和区域内的像素数据确定为目标ROI对应的像素数据。当然,前述目标ROI的位置区域的形状还可以是其他几何形状,例如三角形、方形、椭圆形等,本申请不一一列举。
本发明实施例中,可预先分配一块用于缓存一帧图像的像素数据的固定存储空间,将当前帧图像的像素数据按照输出的先后顺序依次存储到所述存储空间中,当输出当前帧图像对应的目标ROI对应的像素数据之后,将存储空间中缓存的该当前帧图像的像素数据删除,以便在该存储空间中缓存下一帧图像的像素数据。
本发明实施例中,可预先为一帧图像的像素点进行编号,并建立各编号与存储空间中用于存储该编号对应的像素数据的存储地址的对应关系;前述步骤b,具体实现可如下:根据目标ROI对应的各像素数据的编号从所述对应关系中确定各像素数据对应的存储地址。
当然本领域技术人员还可以通过其他方式从存储空间中获得目标ROI对应的像素数据。例如:预先存储一帧图像的起始像素数据对应的存储地址、其他各像素点与该起始像素点的地址偏移量;当确定出目标ROI对应的像素数据时,针对每个像素数据执行以下步骤:以起始像素数据的存储地址为起始地址,通过指针偏移与该像素数据与起始像素数据的地址偏移量的方式,移动到该像素数据的存储地址,并读取该存储地址的像素数据。
在实际应用中,可能存在某一帧图像没有对应的目标ROI的ROI信息的情况,为成功传输该一帧图像的图像数据且提高传输该一帧图像数据的速度,本发明实施例中,在前述图2所示的流程还包括步骤106~步骤107,如图6所示,其中:
步骤103还包括:若否则执行步骤106;
步骤106、依次将当前帧图像的像素数据中相邻n*m个像素数据合并成一个像素数据,得到当前帧图像对应的压缩像素数据;所述n为能够被当前帧图像的总行数整除的自然数,m为能够被当前帧图像的总列数整除的自然数;
步骤107、传输所述压缩像素数据。
本发明实施例中,n可以取值为1,m取值为大于1的自然数,则前述步骤106中n*m个相邻像素数据可以是指在横向连续相邻的m个像素数据,如图7A所示(每个方块表示一个像素数据)。本发明实施例中,m可以取值为1,n取值为大于1的自然数,则前述步骤106中n*m个相邻像素数据可以是指在纵向连续相邻的n个像素数据,如图7B所示。本发明实施例中,n、m均可以是大于1的自然数,前述步骤106中n*m个相邻像素数据构成一个矩形或方形,如图图7C所示。本领域技术人员可以根据实际需求灵活设置n和m的取值,本申请不做严格限定。
假设一帧图像的像素数据包括4096*4096,如图7D所示(每个方块表示一个像素数据);若m、n的取值均为2,则将该一帧图像像素中相邻四个像素数据合并成一个像素数据,则得到2048*2048的压缩像素数据,如图7E所示(图7E中左侧填充斜线的四个方块表示相邻四个像素数据,右侧填充斜线的一个方块表示该四个相邻像素合并的一个像素数据);若n的取值为2,m的取值为4,则将该一帧图像像素中相邻8个像素数据合并成一个像素数据,则得到2048*1024的压缩像素数据,如图7F所示(图7F中左侧填充斜线的八个方块表示相邻八个像素数据,右侧填充斜线的一个方块表示该八个相邻像素合并的一个像素数据)。
本发明实施例中,将多个像素数据合并成一个像素数据,即具体实现可采用以下任意一种方式:
方式1、取该多个像素数据的取值的平均值得到合成的一个像素数据的取值,例如每个像素数据包括R、G、G、B四个值,将多个像素数据的R值的平均值作为合成的一个像素数据的R值,将多个像素数据的G值的平均值作为合成的一个像素数据的G值,依此类推,如图7G所示为将四个像素数据合并成一个像素数据的示意图,一个黑粗线框表示一个像素数据,每个像素数据包括R、G、G、B四个取值,左侧为四个相邻像素数据,右侧为该四个相邻像素数据合成的一个像素数据,该合成的像素数据的R值为四个相邻像素数据的R的平均值,其他取值同理。
方式2、取该多个像素数据的取值的和值得到合成的一个像素数据的取值,例如每个像素数据包括R、G、G、B四个值,将多个像素数据的R值的和值作为合成的一个像素数据的R取值,将多个像素数据的G值的和值得到合成的一个像素数据的G值,依此类推。
前述方式1适用于光照条件较好的环境,前述方式2适用于光照较暗的环境。本发明实施例中,可以根据摄像机的使用环境确定采用方式1或方式2来对多个像素数据进行合并。例如在光照条件较好时采用方式1合并多个像素数据,在光照较暗时采用方式2合并多个像素数据。本领域技术人员可以灵活设置,本申请不做严格限定。
该种像素数据合并的方式,不仅能够降低数据传输量,而且在低光照的情况下,通过方式2的方式积累多个像素数据的取值,相当于增加了单个像素数据的量子转化率,增加了像素数据的灵敏度。在正常光照的情况下,通过方式1使用相邻像素数据累加再平均可以是图像的细节信息得以保留,而不会造成像素值的溢出。
实施例二
本发明实施例二提供一种图像采集控制方法,该方法适应于图像采集控制端(例如FPGA(Field-Programmable Gate Array),即现场可编程门阵列)、CPU(CentralProcessing Unit,中央处理器)、微处理器等),方法流程如图8所示,方法包括:
步骤201、根据前一帧图像的物体跟踪结果预测目标物体在下一帧图像中的位置区域,并将该位置区域确定为所述下一帧图像对应的目标ROI;
步骤202、将下一帧图像对应的目标ROI的ROI信息发送给摄像机。
优选地,图8所示的方法流程还可进一步包括步骤203~步骤205,如图9所示,其中:
步骤203、从摄像机接收当前帧图像对应的目标ROI的像素数据;
步骤204、对当前帧图像对应的目标ROI的像素数据进行物体检测,得到当前帧图像对应的物体检测结果;
步骤205、根据当前帧图像对应的物体检测结果与前一帧图像对应的物体跟踪结果,确定当前帧图像对应的物体跟踪结果。
本发明实施例中,步骤201可利用现有的物体跟踪算法根据前一帧图像的物体跟踪结果预测每个目标物体在下一帧图像中的位置区域,本申请对步骤201的具体实现不做严格限定。如图10A所示为前一帧图像的物体跟踪结果(假设包括物体A和物体B),如图10B所示为根据前一帧图像的物体跟踪结果预测得到的各目标物体在下一帧图像中的位置区域(如虚框所示),并将该位置区域确定为下一帧图像对应的目标ROI。
本发明实施例中,ROI信息中包含目标ROI在该一帧图像中的位置区域的描述信息,具体可参见前述实施例一的相关内容,在此不再赘述。
本发明实施例中,步骤204可利用现有的物体检测算法得到当前帧图像的物体检测结果,本申请不对步骤204的具体实现作严格限定。
步骤205具体实现可如下:将当前帧图像的物体检测结果(包含的目标物体以下称为检测目标)与前一帧图像对应的物体跟踪结果(包含的目标物体以下称为跟踪目标)进行匹配,得到匹配成功的跟踪目标和检测目标、匹配失败的跟踪目标和检测目标;利用卡尔曼滤波器和特征融合对匹配成功的跟踪目标进行处理后放入预置的T_1集合中;利用卡尔曼滤波器预测或者移除匹配失败的跟踪目标,得到T_2集合;将匹配失败的检测目标放入预置的集合T_3中;将T_1集合、T_2集合和T_3集合的并集确定为当前帧图像的物体跟踪结果。如图11A所示为当前帧图像的物体检测结果(检测目标包括A、B、C),如图11B为前一帧图像对应的物体跟踪结果(跟踪目标包括A、B、D、E),如图11C为当前帧图像对应的物体跟踪结果(跟踪目标包括A、B、C、D)。
当然,对于前述步骤205,本领域技术人员也可采用现有的物体跟踪技术得到当前帧图像对应的物体跟踪结果,本申请不做严格限定。
实施例三
基于前述实施例一提供的一种图像采集方法的相同构思,本发明实施例还提供一种图像采集装置,图像采集装置1适用于摄像机,图像采集装置1的结构如图12所示,包括:
参数获取单元11,用于获取当前帧图像对应的目标ROI的ROI信息;
像素数据接收单元12,用于缓存采集得到的当前帧图像的像素数据;
获取单元13,用于在确定当前帧图像的像素数据缓存完毕时,若能从所述参数获取单元11获取到当前帧图像对应的目标ROI的ROI信息,则根据所述ROI信息从缓存的当前帧图像的像素数据中获取与所述目标ROI对应的像素数据,并将所述目标ROI对应的像素数据发送给传输单元14;
传输单元14,用于输出所述目标ROI对应的像素数据。
优选地,获取单元13根据所述ROI信息从缓存的当前帧图像的像素数据中获取与所述目标ROI对应的像素数据,具体用于:根据所述ROI信息确定当前帧图像的像素数据中与所述目标ROI对应的像素数据;确定目标ROI对应的像素数据在缓存中的存储地址;从所述存储地址读取相应的像素数据,以得到所述目标ROI对应的像素数据。
优选地,所述获取单元13进一步用于:若未能从参数获取单元11获取到当前帧图像对应的目标ROI的ROI信息,则依次将当前帧图像的像素数据中相邻n*m个像素数据合并成一个像素数据,得到当前帧图像对应的压缩像素数据,并将所述压缩像素数据发送给传输单元14;所述n为能够被当前帧图像的总行数整除的自然数,m为能够被当前帧图像的总列数整除的自然数。相应地,所述传输单元14进一步用于,传输当前帧图像对应的压缩像素数据。
本发明实施例中,获取单元13具体实现可参见实施例一中步骤104和步骤105的相关内容,在此不再赘述。
实施例四、
本发明实施例四,提供一种摄像机,该摄像机2的结构如图13所示,具体可包括:
图像传感器21,用于根据预置的摄像机参数采集当前帧图像的像素数据,并将采集的像素数据传输给图像采集装置1;
图像采集装置1,用于获取当前帧图像对应的目标ROI的ROI信息;从所述图像传感器21接收当前帧图像的像素数据并缓存;在确定当前帧图像的像素数据缓存完毕时,若能获取到当前帧图像对应的目标ROI的ROI信息,则根据所述ROI信息从缓存的当前帧图像的像素数据中获取与所述目标ROI对应的像素数据;输出所述目标ROI对应的像素数据。
优选地,所述图像采集装置1进一步用于:若未能获取到当前帧图像对应的目标ROI的ROI信息,则:依次将当前帧图像的像素数据中相邻n*m个像素数据合并成一个像素数据,得到当前帧图像对应的压缩像素数据,并输出所述压缩像素数据;所述n为能够被当前帧图像的总行数整除的自然数,m为能够被当前帧图像的总列数整除的自然数。
图像采集装置1通过相应的接口时序不间断接收图像传感器21传输的像素数据,根据时序里的行列信息将接收到的像素数据按图像传感器21的分辨率大小缓存在预置的存储空间中。
本发明实施例四中,图像采集装置1的相关内容请参见实施例三,在此不再赘述。
实施例五
基于前述实施例二提供的图像采集控制方法的相同构思,本发明实施例还提供一种图像采集控制装置,该图像采集控制装置3适应于图像采集控制端(例如FPGA、CPU、微处理器等),该图像采集控制装置3结构如图14所示,包括:
ROI确定单元31,用于根据前一帧图像的物体跟踪结果预测目标物体在下一帧图像中的位置区域,并将该位置区域确定为所述下一帧图像对应的目标ROI;
发送单元32,用于将下一帧图像对应的目标ROI的ROI信息发送给摄像机。
优选地,图14所述的图像采集控制装置3还可进一步包括图像接收单元33、物体检测单元34和物体跟踪单元35,如图15所示,其中:
图像接收单元33,用于从摄像机接收当前帧图像对应的目标ROI的像素数据;
物体检测单元34,用于对当前帧图像对应的目标ROI的像素数据进行物体检测,得到当前帧图像对应的物体检测结果;
物体跟踪单元35,用于根据当前帧图像对应的物体检测结果与前一帧图像对应的物体跟踪结果,确定当前帧图像对应的物体跟踪结果。
本发明实施例五中,物体检测单元34可采用现有的物体检测技术目标ROI的像素数据进行物体检测,在此不再赘述。
本发明实施例五中,物体跟踪单元35可以采用现有的物体跟踪技术得到当前帧图像对应的物体跟踪结果,也可以采用实施例二中步骤205的方式进行物体跟踪,在此不在赘述。
实施例六
本发明实施例六提供一种图像采集系统,该系统包括摄像机2和图像采集控制装置3,如图16所示,其中:
图像采集控制装置3,用于根据前一帧图像的物体跟踪结果预测目标物体在下一帧图像中的位置区域,并将该位置区域确定为下一帧图像对应的目标ROI;将下一帧图像对应的目标ROI的ROI信息发送给摄像机2;
摄像机2,用于从图像采集控制装置3获取当前帧图像对应的目标ROI的ROI信息;根据预置的摄像机参数采集当前帧图像的像素数据,并缓存当前帧图像的像素数据;在确定当前帧图像的像素数据缓存完毕时,若能获取到当前帧图像对应的目标ROI的ROI信息,则根据所述ROI信息从缓存的当前帧图像的像素数据中获取与所述目标ROI对应的像素数据;输出所述目标ROI对应的像素数据。
优选地,摄像机2进一步用于:若未能获取到当前帧图像对应的目标ROI的ROI信息,则:依次将当前帧图像的像素数据中相邻n*m个像素数据合并成一个像素数据,得到当前帧图像对应的压缩像素数据,并输出所述压缩像素数据;所述n为能够被当前帧图像的总行数整除的自然数,m为能够被当前帧图像的总列数整除的自然数。
本发明实施例六中,图像采集控制装置3的结构详见实施例五,在此不再赘述;摄像机2的结构详见实施例四,在此不再赘述。
本发明实施例中,预先在摄像机2的图像采集装置与图像采集控制装置之间约定图像数据传输协议,在该协议中约定图像采集装置向图像采集控制装置传输的一帧图像的目标ROI的像素数据的格式信息,以一帧图像对应一条图像数据为例,该格式信息中约定一条图像数据包括哪些字段以及这些字段的先后顺序,例如,一条图像数据依次包括以下三个字段:用于表示开始传输当前帧图像的声明信息的字段、描述当前帧图像包含的目标ROI的数量的字段、包含当前帧图像的所有目标ROI的像素数据的字段。
以上结合具体实施例描述了本发明的基本原理,但是,需要指出的是,对本领域普通技术人员而言,能够理解本发明的方法和装置的全部或者任何步骤或者部件可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中,以硬件固件、软件或者他们的组合加以实现,这是本领域普通技术人员在阅读了本发明的说明的情况下运用它们的基本编程技能就能实现的。
本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的上述实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括上述实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种图像采集方法,其特征在于,方法包括:
缓存采集得到的当前帧图像的像素数据;
在缓存完毕之前,获取来自图像采集控制装置的当前帧图像对应的目标感兴趣区域ROI的ROI信息;
在确定当前帧图像的像素数据缓存完毕时,若能获取到当前帧图像对应的目标ROI的ROI信息,则根据所述ROI信息从缓存的当前帧图像的像素数据中获取与所述目标ROI对应的像素数据;
输出所述目标ROI对应的像素数据。
2.根据权利要求1所述的方法,其特征在于,根据所述ROI信息从缓存的当前帧图像的像素数据中获取与所述目标ROI对应的像素数据,具体包括:
根据所述ROI信息确定当前帧图像的像素数据中与所述目标ROI对应的像素数据;
确定目标ROI对应的像素数据在缓存中的存储地址;
从所述存储地址读取相应的像素数据,以获取到所述目标ROI对应的像素数据。
3.根据权利要求1或2所述的方法,其特征在于,在确定当前帧图像的像素数据缓存完毕之后,还包括:
若未能获取到当前帧图像对应的目标ROI的ROI信息,则:
依次将当前帧图像的像素数据中相邻n*m个像素数据合并成一个像素数据,得到当前帧图像对应的压缩像素数据,并输出所述压缩像素数据;所述n为能够被当前帧图像的总行数整除的自然数,m为能够被当前帧图像的总列数整除的自然数。
4.一种图像采集控制方法,其特征在于,方法包括:
根据前一帧图像的物体跟踪结果预测目标物体在当前帧图像中的位置区域,并将该位置区域确定为所述当前帧图像对应的目标ROI;
将当前帧图像对应的目标ROI的ROI信息发送给图像采集装置,以使图像采集装置在缓存完当前帧图像的像素数据之前接收到ROI信息,并根据接收到的ROI信息获取ROI对应的像素数据,从而输出所述目标ROI对应的像素数据。
5.根据权利要求4所述的方法,其特征在于,还包括:从摄像机接收当前帧图像对应的目标ROI的像素数据;
对当前帧图像对应的目标ROI的像素数据进行物体检测,得到当前帧图像对应物体的检测结果;
根据当前帧图像对应的物体检测结果与前一帧图像对应的物体跟踪结果,确定当前帧图像对应的物体跟踪结果。
6.一种图像采集装置,其特征在于,包括:
像素数据接收单元,用于缓存采集得到的当前帧图像的像素数据;
参数获取单元,用于在像素数据接收单元缓存完毕之前,获取来自图像采集控制装置的当前帧图像对应的目标ROI的ROI信息;
获取单元,用于在确定当前帧图像的像素数据缓存完毕时,若能从所述参数获取单元获取当前帧图像对应的目标ROI的ROI信息,则根据所述ROI信息从缓存的当前帧图像的像素数据中获取与所述目标ROI对应的像素数据,并将所述目标ROI对应的像素数据发送给传输单元;
传输单元,用于输出所述目标ROI对应的像素数据。
7.根据权利要求6所述的装置,其特征在于,获取单元根据所述ROI信息从缓存的当前帧图像的像素数据中获取与所述目标ROI对应的像素数据,具体用于:
根据所述ROI信息确定当前帧图像的像素数据中与所述目标ROI对应的像素数据;
确定目标ROI对应的像素数据在缓存中的存储地址;
从所述存储地址读取相应的像素数据,以得到所述目标ROI对应的像素数据。
8.根据权利要求6或7所述的装置,其特征在于,所述获取单元进一步用于:
若未能从参数获取单元获取到当前帧图像对应的目标ROI的ROI信息,则:依次将当前帧图像的像素数据中相邻n*m个像素数据合并成一个像素数据,得到当前帧图像对应的压缩像素数据,并将所述压缩像素数据发送给传输单元;所述n为能够被当前帧图像的总行数整除的自然数,m为能够被当前帧图像的总列数整除的自然数;
所述传输单元进一步用于,输出当前帧图像对应的压缩像素数据。
9.一种图像采集控制装置,其特征在于,包括:
ROI确定单元,用于根据前一帧图像的物体跟踪结果预测目标物体在当前帧图像中的位置区域,并将该位置区域确定为所述当前帧图像对应的目标ROI;
发送单元,用于将当前帧图像对应的目标ROI的ROI信息发送给图像采集装置,以使图像采集装置在缓存完当前帧图像的像素数据之前接收到ROI信息,并根据接收到的ROI信息获取ROI对应的像素数据,从而输出所述目标ROI对应的像素数据。
10.根据权利要求9所述的装置,其特征在于,还包括:
图像接收单元,用于从摄像机接收当前帧图像对应的目标ROI的像素数据;
物体检测单元,用于对当前帧图像对应的目标ROI的像素数据进行物体检测,得到当前帧图像对应的物体检测结果;
物体跟踪单元,用于根据当前帧图像对应的物体检测结果与前一帧图像对应的物体跟踪结果,确定当前帧图像对应的物体跟踪结果。
11.一种摄像机,其特征在于,包括:
图像传感器,用于根据预置的摄像机参数采集当前帧图像的像素数据,并将采集的像素数据传输给图像采集装置;
图像采集装置,用于从所述图像传感器接收当前帧图像的像素数据并缓存;在缓存完毕之前,获取来自图像采集控制装置的当前帧图像对应的目标ROI的ROI信息;在确定当前帧图像的像素数据缓存完毕时,若能获取到当前帧图像对应的目标ROI的ROI信息,则根据所述ROI信息从缓存的当前帧图像的像素数据中获取与所述目标ROI对应的像素数据;输出所述目标ROI对应的像素数据。
12.根据权利要求11所述的摄像机,其特征在于,所述图像采集装置进一步用于:
若未能获取到当前帧图像对应的目标ROI的ROI信息,则:依次将当前帧图像的像素数据中相邻n*m个像素数据合并成一个像素数据,得到当前帧图像对应的压缩像素数据,并输出所述压缩像素数据;所述n为能够被当前帧图像的总行数整除的自然数,m为能够被当前帧图像的总列数整除的自然数。
13.一种图像采集系统,其特征在于,包括:
图像采集控制装置,用于根据前一帧图像的物体跟踪结果预测目标物体在当前帧图像中的位置区域,并将该位置区域确定为当前帧图像对应的目标ROI;将当前帧图像对应的目标ROI的ROI信息发送给摄像机;
摄像机,用于根据预置的摄像机参数采集当前帧图像的像素数据,并缓存当前帧图像的像素数据;在缓存完毕之前,获取来自图像采集控制装置的当前帧图像对应的目标ROI的ROI信息;在确定当前帧图像的像素数据缓存完毕时,若能获取到当前帧图像对应的目标ROI的ROI信息,则根据所述ROI信息从缓存的当前帧图像的像素数据中获取与所述目标ROI对应的像素数据;输出所述目标ROI对应的像素数据。
14.根据权利要求13所述的系统,其特征在于,所述摄像机进一步用于:
若未能获取到当前帧图像对应的目标ROI的ROI信息,则:依次将当前帧图像的像素数据中相邻n*m个像素数据合并成一个像素数据,得到当前帧图像对应的压缩像素数据,并输出所述压缩像素数据;所述n为能够被当前帧图像的总行数整除的自然数,m为能够被当前帧图像的总列数整除的自然数。
CN201810076488.4A 2018-01-26 2018-01-26 图像采集方法、图像采集控制方法及相关装置 Active CN108307113B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810076488.4A CN108307113B (zh) 2018-01-26 2018-01-26 图像采集方法、图像采集控制方法及相关装置
US16/250,959 US11275962B2 (en) 2018-01-26 2019-01-17 Method of controlling image acquisition and other related tools

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810076488.4A CN108307113B (zh) 2018-01-26 2018-01-26 图像采集方法、图像采集控制方法及相关装置

Publications (2)

Publication Number Publication Date
CN108307113A CN108307113A (zh) 2018-07-20
CN108307113B true CN108307113B (zh) 2020-10-09

Family

ID=62866566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810076488.4A Active CN108307113B (zh) 2018-01-26 2018-01-26 图像采集方法、图像采集控制方法及相关装置

Country Status (2)

Country Link
US (1) US11275962B2 (zh)
CN (1) CN108307113B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
US10552979B2 (en) 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
US10671083B2 (en) 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
CN109034136B (zh) * 2018-09-06 2021-07-20 湖北亿咖通科技有限公司 图像处理方法、装置、摄像设备及存储介质
CN109410198B (zh) * 2018-10-25 2022-04-22 北京奇艺世纪科技有限公司 一种时序动作检测方法、装置及设备
TW202107892A (zh) * 2019-07-31 2021-02-16 日商索尼半導體解決方案公司 發送裝置、接收裝置及通信系統
CN110555867B (zh) * 2019-09-05 2023-07-07 杭州智爱时刻科技有限公司 一种融合物体捕获识别技术的多目标物体跟踪方法
CN113079311B (zh) 2020-01-06 2023-06-27 北京小米移动软件有限公司 图像获取方法及装置、电子设备、存储介质
CN112601004B (zh) * 2020-03-19 2022-11-18 西安诺瓦星云科技股份有限公司 采集图像预览方法、装置及系统和计算机可读存储介质
CN111915590B (zh) * 2020-07-31 2022-12-20 标旗(武汉)信息技术有限公司 雾炮车喷雾次数统计方法、系统及存储介质
US11756283B2 (en) * 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes
CN115100431B (zh) * 2022-07-26 2023-08-08 北京百度网讯科技有限公司 目标检测方法、神经网络及其训练方法、设备和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101631251A (zh) * 2008-07-17 2010-01-20 佳能株式会社 图像处理设备和图像处理方法
CN106815287A (zh) * 2016-12-06 2017-06-09 中国银联股份有限公司 一种缓存管理方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7680324B2 (en) * 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US20060045381A1 (en) * 2004-08-31 2006-03-02 Sanyo Electric Co., Ltd. Image processing apparatus, shooting apparatus and image display apparatus
US8085302B2 (en) * 2005-11-21 2011-12-27 Microsoft Corporation Combined digital and mechanical tracking of a person or object using a single video camera
CN101350923B (zh) * 2008-09-03 2010-11-17 中国科学院上海技术物理研究所 一种交互式医学图像通信与显示方法
KR101201620B1 (ko) * 2010-01-26 2012-11-14 삼성전자주식회사 휴대단말기의 영상 개선장치 및 방법
CN101872483A (zh) * 2010-06-18 2010-10-27 广州卓佳科技有限公司 抽象定位自动跟踪
CN102801962A (zh) * 2012-08-22 2012-11-28 华南师范大学 用于物联网的在线物体图像信息获取装置及获取方法
SG11201501691VA (en) * 2012-09-05 2015-04-29 Element Inc Biometric authentication in connection with camera-equipped devices
JP6693509B2 (ja) * 2015-04-14 2020-05-13 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
US10586102B2 (en) * 2015-08-18 2020-03-10 Qualcomm Incorporated Systems and methods for object tracking
EP3341912B1 (en) * 2015-08-26 2020-07-08 FotoNation Limited Image processing apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101631251A (zh) * 2008-07-17 2010-01-20 佳能株式会社 图像处理设备和图像处理方法
CN106815287A (zh) * 2016-12-06 2017-06-09 中国银联股份有限公司 一种缓存管理方法及装置

Also Published As

Publication number Publication date
US11275962B2 (en) 2022-03-15
US20190236393A1 (en) 2019-08-01
CN108307113A (zh) 2018-07-20

Similar Documents

Publication Publication Date Title
CN108307113B (zh) 图像采集方法、图像采集控制方法及相关装置
CN110766716B (zh) 一种空间未知运动目标的信息获取方法及系统
CN107273788B (zh) 在车辆中执行车道检测的成像系统与车辆成像系统
EP2725548A2 (en) Image processing apparatus and method
CN112880687A (zh) 一种室内定位方法、装置、设备和计算机可读存储介质
CN110336973B (zh) 信息处理方法及其装置、电子设备和介质
CN112927306B (zh) 拍摄装置的标定方法、装置及终端设备
CN112561941A (zh) 一种悬崖检测方法、装置和机器人
CN115082565A (zh) 相机标定方法、装置、服务器及介质
JP7095559B2 (ja) 区画線検出装置及び区画線検出方法
CN108460368B (zh) 三维图像合成方法、装置及计算机可读存储介质
CN116863124B (zh) 车辆姿态确定方法、控制器及存储介质
CN111157012B (zh) 一种机器人导航方法、装置、可读存储介质及机器人
CN114821544B (zh) 感知信息生成方法、装置、车辆、电子设备及存储介质
CN114037977B (zh) 道路灭点的检测方法、装置、设备及存储介质
CN112966658B (zh) 机器人导航方法、装置、终端设备及计算机可读存储介质
CN112489240B (zh) 一种商品陈列巡检方法、巡检机器人以及存储介质
CN115240150A (zh) 基于单目相机的车道偏离预警方法、系统、设备及介质
JP5395373B2 (ja) 周辺監視装置
CN113255405B (zh) 车位线识别方法及其系统、车位线识别设备、存储介质
WO2014033731A2 (en) A system and method for depth estimation
CN113147746A (zh) 坡道车位的探测方法及装置
CN113297995B (zh) 一种人体姿态估计方法及终端设备
CN112614181B (zh) 一种基于高亮目标的机器人定位方法及装置
CN114898325B (zh) 一种车辆危险变道检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200327

Address after: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant after: BEIJING TUSENZHITU TECHNOLOGY Co.,Ltd.

Address before: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant before: TuSimple

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant