CN106447596A - 图像处理中数据流的控制方法 - Google Patents

图像处理中数据流的控制方法 Download PDF

Info

Publication number
CN106447596A
CN106447596A CN201610867530.5A CN201610867530A CN106447596A CN 106447596 A CN106447596 A CN 106447596A CN 201610867530 A CN201610867530 A CN 201610867530A CN 106447596 A CN106447596 A CN 106447596A
Authority
CN
China
Prior art keywords
buffer
processing unit
image
write
fifo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610867530.5A
Other languages
English (en)
Inventor
张兆丰
牟永强
杨龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN201610867530.5A priority Critical patent/CN106447596A/zh
Publication of CN106447596A publication Critical patent/CN106447596A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0811—Multiuser, multiprocessor or multiprocessing cache systems with multilevel cache hierarchies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理领域，其公开了一种图像处理中数据流的控制方法，外部存储器开辟多个buffer，图像处理芯片的采集单元将采集的图像依次写入多个buffer，每个buffer用于存储一帧图像；图像处理芯片内部根据图像处理任务不同，按处理的先后顺序划分为多级处理单元；下一级处理单元等待上一级处理单元处理完成该buffer之后再处理该buffer。本发明的有益效果是：从源头上实现丢帧操作，不将数据写入buffer，降低了功耗；多个处理单元存在时，等待机制使各处理单元的同步控制方式简单，易于实现级联。

Description

图像处理中数据流的控制方法
技术领域
本发明涉及图像处理领域，尤其涉及一种图像处理中数据流的控制方法。
背景技术
目前在数据流控制方面主要存在两类方法：一类方法是采集的图像用片内缓存的方法，即在片内开辟多个buffer，片内图像处理单元被划分成多个图像处理单元，处理单元会依次访问片内的buffer，此种方法当需要缓存的数据量大于芯片的存储资源时，此种方法不可行； 另外一类方法是将采集的图像数据存储到片外专用存储芯片的中，即在片外开辟多个buffer，片内处理单元被划分成多个处理单元，处理单元依次访问片外的buffer，由于每级处理单元时间不同，此时就需要设定一种同步机制，避免多个处理单元访问同一块buffer造成数据处理混乱异常，同时当输入图像的帧率过快时，需做好必要的丢帧操作。
目前多个处理单元同步的机制主要有两种:1 第一种机制是主从模式，即上一级模块处理完成一块buffer后会依次访问下一块buffer，不用关心下一级模块是否正在处理该buffer，下一级模块处理完成一块buffer后依次访问下一块buffer时会判断上一级模块是否正在处理该buffer，如果上一级模块正在处理，那么就跳过该buffer，处理下一块buffer，实现丢帧操； 2 第二种是互动模式，与第一种机制类似，只是上一级模块完成处理一次访问下一块buffer时，也需要进行判断下一级模块是否正在处理该buffer，如果有也需跳过该buffer。
上述两种控制机制，每一帧图像都会写入buffer，丢帧的处理是通过跳转buffer的方式实现的，实际上被丢弃的帧也已经被存储到buffer里，浪费了功耗；另外多个模块互联时，多个模块之间同步机制比较复杂，不易于多个模块的级联。
发明内容
为了解决现有技术中的问题，本发明提供了一种图像处理中数据流的控制方法，解决现有技术中多个模块之间同步机制比较复杂，不易于多个模块的级联的问题。
本发明是通过以下技术方案实现的：设计、制造了一种图像处理中数据流的控制方法，外部存储器开辟多个buffer，图像处理芯片的采集单元将采集的图像依次写入多个buffer，每个buffer用于存储一帧图像；图像处理芯片内部根据图像处理任务不同，按处理的先后顺序划分为多级处理单元；下一级处理单元等待上一级处理单元处理完成该buffer之后再处理该buffer。
作为本发明的进一步改进：图像采集单元将图像写入每一个buffer，写入对应的一帧后将依次开始写入下一块buffer，同时产生启动使能信号并将其写到对应的处理单元的FIFO中。
作为本发明的进一步改进：当某一级处理单元空闲时，读取FIFO的状态，以判断是否有需要处理的图像，如果没有则等待对应的采集单元完成一帧图像的采集；如果有，则处理该buffer，完成处理任务后再将启动使能写入下一级处理单元的FIFO，并重新进入空闲状态，再次通过判断FIFO状态，来判断是否处理下一块buffer。
作为本发明的进一步改进：当采集单元完成一块buffer写入后，如需再次写入同一块buffer，则需要通过读取FIFO 状态来判断该buffer是否已经被最后一级处理单元完成，如果完成则写入该buffer；如果没有完成，则实现丢帧操作，不会将这帧图像写入该buffer，直至最后一级处理单元完成该buffer处理后，才再继续采集数据，写入该buffer。
作为本发明的进一步改进：每级处理单元会按先后顺序依次访问对应的buffer，上一级处理单元完成一块buffer后将启动使能写入下一级处理单元的FIFO中，下一级处理单元在空闲时，通过FIFO状态来判断是否有需要处理的buffer。
本发明的有益效果是：从源头上实现丢帧操作，不将数据写入buffer，降低了功耗；多个处理单元存在时，等待机制使各处理单元的同步控制方式简单，易于实现级联。
【附图说明】
图1为本发明一帧图像处理流程示意图;
图2为本发明图像处理结构示意图。
【具体实施方式】
下面结合具体实施方式对本发明进一步说明。
一种图像处理中数据流的控制方法，外部存储器开辟多个buffer，图像处理芯片的采集单元将采集的图像依次写入多个buffer，每个buffer用于存储一帧图像；图像处理芯片内部根据图像处理任务不同，按处理的先后顺序划分为多级处理单元；下一级处理单元等待上一级处理单元处理完成该buffer之后再处理该buffer。
图像采集单元将图像写入每一个buffer，写入对应的一帧后将依次开始写入下一块buffer，同时产生启动使能信号并将其写到对应的处理单元的FIFO中。
当某一级处理单元空闲时，读取FIFO的状态，以判断是否有需要处理的图像，如果没有则等待对应的采集单元完成一帧图像的采集；如果有，则处理该buffer，完成处理任务后再将启动使能写入下一级处理单元的FIFO，并重新进入空闲状态，再次通过判断FIFO状态，来判断是否处理下一块buffer。
当采集单元完成一块buffer写入后，如需再次写入同一块buffer，则需要通过读取FIFO 状态来判断该buffer是否已经被最后一级处理单元完成，如果完成则写入该buffer；如果没有完成，则实现丢帧操作，不会将这帧图像写入该buffer，直至最后一级处理单元完成该buffer处理后，才再继续采集数据，写入该buffer。
每级处理单元会按先后顺序依次访问对应的buffer，上一级处理单元完成一块buffer后将启动使能写入下一级处理单元的FIFO中，下一级处理单元在空闲时，通过FIFO状态来判断是否有需要处理的buffer。
在一实施例中，本发明提出的一种数据流控制的一种方法，该方法会在外部存储器开辟多个buffer，多个处理单元处理完成各自任务后会依次访问各自的下一块buffer，不同地方是 下一级处理单元 必须等待 上一级处理单元处理完成该buffer后，才能处理该buffer。上一级处理单元完成一块buffer后将启动使能写入下一级处理单元的FIFO中。下一级处理单元在空闲时，通过FIFO状态来判断是否有需要处理的buffer。如果有则处理，没有则继续等待。采集单位再次写入同一块buffer时，需要通过读取FIFO，来判断该buffer是否已被最后一级处理单元处理完成，如果有则正常采集数据。如果没有，则实现丢帧操作，数据不被写入buffer中，直至最后一级处理完该buffer后再开始采集数据。控制简单，易于多个处理单元的级联。
采集单位再次写入同一块buffer时，需要通过读取FIFO，来判断该buffer是否已被最后一级处理单元处理完成，如果有则正常采集数据。如果没有，则实现丢帧操作，直至最后一级处理完该buffer后再开始采集数据。
每级处理单元会按先后顺序依次访问buffer，上一级处理单元完成一块buffer后将启动使能写入下一级处理单元的FIFO中，下一级处理单元在空闲时，通过FIFO状态来判断是否有需要处理的buffer。
在一具体实施例中，如图2，外部存储器开辟多个buffer，每个buffer用于存储一帧图像。图像处理芯片的采集单元将采集的图像依次写入buffer。即第一帧图像写入buffer0，第二帧图像写入buffer1，第三帧图像写入buffer2，依次类推，写完最后一块buffer后，重新开始写入buffer0，开始新一轮循环。图像处理芯片内部根据图像处理任务不同，按处理的先后顺序划分为多级处理单元。即一帧图像的处理顺序是第一级处理单元，第二级处理单元，第三级处理单元，依次进行直至最后一级处理单元,如图1。数据流的控制具体流程是：首先图像采集单元将图像写入buffer0，写入一帧后将依次开始写入下一块buffer，同时产生启动使能信号并将其写到第一级处理单元的FIFO中。第一级处理单元空闲时，读取FIFO的状态，以判断是否有需要处理的图像，如果没有则等待采集单元完成一帧图像的采集；如果有，则处理该buffer，完成处理任务后再将启动使能写入下一级处理单元的FIFO，并重新进入空闲状态，再次通过判断FIFO状态，来判断是否处理下一块buffer。当第二级处理单元空闲时，读取FIFO的状态，以判断是否有需要处理的图像，如果没有则等待上一级单元处理完成；如果有，则处理该buffer，完成任务后再将启动使能写入下一级处理单元的FIFO，并重新进入空闲状态，通过判断FIFO状态，来判断是否处理下一块buffer。其他级处理单元的控制机制类似，直至最后一级处理单元。最后一级处理单元处理完成后，将启动使能写入采集单元的FIFO中，并重新进入空闲状态，通过判断FIFO状态，来判断是否处理下一块buffer。当采集单元完成一块buffer写入后，如需再次写入同一块buffer，则需要通过读取FIFO 状态来判断该buffer是否已经被最后一级处理单元完成，如果完成则写入该buffer。如果没有完成，则实现丢帧操作，不会将这帧图像写入buffer，直至最后一级处理单元完成该buffer处理后，才再继续采集数据，写入buffer。综上所述：每级处理单元会按先后顺序依次访问buffer，上一级处理单元完成一块buffer后将启动使能写入下一级处理单元的FIFO中，下一级处理单元在空闲时，通过FIFO状态来判断是否有需要处理的buffer。如果有则处理，没有则继续等待。采集单位再次写入同一块buffer时，需要通过读取FIFO，来判断该buffer是否已被最后一级处理单元处理完成，如果有则正常采集数据。如果没有，则实现丢帧操作，直至最后一级处理完该buffer后再开始采集数据。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (5)

1.一种图像处理中数据流的控制方法，其特征在于：外部存储器开辟多个buffer，图像处理芯片的采集单元将采集的图像依次写入多个buffer，每个buffer用于存储一帧图像；图像处理芯片内部根据图像处理任务不同，按处理的先后顺序划分为多级处理单元；下一级处理单元等待上一级处理单元处理完成该buffer之后再处理该buffer。
2.根据权利要求1所述的图像处理中数据流的控制方法，其特征在于：图像采集单元将图像写入每一个buffer，写入对应的一帧后将依次开始写入下一块buffer，同时产生启动使能信号并将其写到对应的处理单元的FIFO中。
3.根据权利要求1所述的图像处理中数据流的控制方法，其特征在于：当某一级处理单元空闲时，读取FIFO的状态，以判断是否有需要处理的图像，如果没有则等待对应的采集单元完成一帧图像的采集；如果有，则处理该buffer，完成处理任务后再将启动使能写入下一级处理单元的FIFO，并重新进入空闲状态，再次通过判断FIFO状态，来判断是否处理下一块buffer。
4.根据权利要求1所述的图像处理中数据流的控制方法，其特征在于：当采集单元完成一块buffer写入后，如需再次写入同一块buffer，则需要通过读取FIFO 状态来判断该buffer是否已经被最后一级处理单元完成，如果完成则写入该buffer；如果没有完成，则实现丢帧操作，不会将这帧图像写入该buffer，直至最后一级处理单元完成该buffer处理后，才再继续采集数据，写入该buffer。
5.根据权利要求1所述的图像处理中数据流的控制方法，其特征在于：每级处理单元会按先后顺序依次访问对应的buffer，上一级处理单元完成一块buffer后将启动使能写入下一级处理单元的FIFO中，下一级处理单元在空闲时，通过FIFO状态来判断是否有需要处理的buffer。
CN201610867530.5A 2016-09-30 2016-09-30 图像处理中数据流的控制方法 Pending CN106447596A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610867530.5A CN106447596A (zh) 2016-09-30 2016-09-30 图像处理中数据流的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610867530.5A CN106447596A (zh) 2016-09-30 2016-09-30 图像处理中数据流的控制方法

Publications (1)

Publication Number Publication Date
CN106447596A true CN106447596A (zh) 2017-02-22

Family

ID=58171466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610867530.5A Pending CN106447596A (zh) 2016-09-30 2016-09-30 图像处理中数据流的控制方法

Country Status (1)

Country Link
CN (1) CN106447596A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019000363A1 (en) * 2017-06-30 2019-01-03 SZ DJI Technology Co., Ltd. SYSTEM AND METHOD FOR SUPPORTING DATA COMMUNICATION IN A MOBILE PLATFORM
CN114390187A (zh) * 2020-10-22 2022-04-22 格科微电子（上海）有限公司 被动式图像采集设备及其数据读取方法、存储介质、终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101042854A (zh) * 2006-03-22 2007-09-26 株式会社东芝 信息再现设备和信息再现方法
CN102012818A (zh) * 2010-12-01 2011-04-13 广东威创视讯科技股份有限公司 屏幕录制方法与装置
CN102420931A (zh) * 2011-07-26 2012-04-18 西安费斯达自动化工程有限公司 一种基于fpga的全帧率图像处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101042854A (zh) * 2006-03-22 2007-09-26 株式会社东芝 信息再现设备和信息再现方法
CN102012818A (zh) * 2010-12-01 2011-04-13 广东威创视讯科技股份有限公司 屏幕录制方法与装置
CN102420931A (zh) * 2011-07-26 2012-04-18 西安费斯达自动化工程有限公司 一种基于fpga的全帧率图像处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨帆等: "基于FPGA的图像处理系统", 《华中科技大学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019000363A1 (en) * 2017-06-30 2019-01-03 SZ DJI Technology Co., Ltd. SYSTEM AND METHOD FOR SUPPORTING DATA COMMUNICATION IN A MOBILE PLATFORM
CN110651328A (zh) * 2017-06-30 2020-01-03 深圳市大疆创新科技有限公司 用于支持可移动平台中的数据通信的系统和方法
US11138052B2 (en) 2017-06-30 2021-10-05 SZ DJI Technology Co., Ltd. System and method for supporting data communication in a movable platform
CN114390187A (zh) * 2020-10-22 2022-04-22 格科微电子（上海）有限公司 被动式图像采集设备及其数据读取方法、存储介质、终端
CN114390187B (zh) * 2020-10-22 2024-02-27 格科微电子（上海）有限公司 被动式图像采集设备及其数据读取方法、存储介质、终端

Similar Documents

Publication Publication Date Title
US9075428B2 (en) Results generation for state machine engines
WO2020034500A1 (zh) 一种基于二值化算法的加速控制系统、芯片及机器人
NO321931B1 (no) Mikroprosesseringsenhet som har programm±rbare ventetilstander
CN103348320A (zh) 通用图形处理单元中的计算资源管线化
CN105979218A (zh) 一种高清实时监控视频高效传输方法
CN106447596A (zh) 图像处理中数据流的控制方法
WO2024031825A1 (zh) 基于fpga的图像重叠滑窗分割方法及系统
CN106873954A (zh) 初始化周边装置的方法与使用此方法的电子装置
US20130019052A1 (en) Effective utilization of flash interface
US9472167B2 (en) Video capture through hardware
TW201437812A (zh) 記憶體存取方法、記憶體存取控制方法、記憶體裝置與記憶體控制器
CN113286174A (zh) 视频抽帧方法、装置、电子设备、计算机可读存储介质
CN111696468B (zh) 显示驱动器装置和显示驱动器装置的操作方法及显示装置
WO2023124361A1 (zh) 芯片、加速卡、电子设备和数据处理方法
CN106126472A (zh) 一种实现静态与动态存储控制器访问无缝切换的控制结构
US11048650B1 (en) Method and system for integrating processing-in-sensor unit and in-memory computing unit
US6271851B1 (en) Z-buffer pre-test for 3D graphic performance enhancement
TW591407B (en) Method for a display controller to access data stored in a system memory of a computer device
CN110399883A (zh) 图像特征提取方法、装置、设备及计算机可读存储介质
CN115761742A (zh) 识别方法和系统、芯片、终端设备及存储介质
CN107025159A (zh) 测试主板问题的诊断卡及诊断方法
JPS6362083A (ja) 射影デ−タ生成方式
CN109040550A (zh) 基于sopc的视频监测系统
CN116304123A (zh) 缓存控制方法、装置、计算机设备和计算机可读存储介质
CN116188246A (zh) 一种4k医疗图像内存读取方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170222

RJ01 Rejection of invention patent application after publication