CN114584731A - 一种usb3.0接口显微相机的实时图像重传方法与系统 - Google Patents

一种usb3.0接口显微相机的实时图像重传方法与系统 Download PDF

Info

Publication number
CN114584731A
CN114584731A CN202210197447.7A CN202210197447A CN114584731A CN 114584731 A CN114584731 A CN 114584731A CN 202210197447 A CN202210197447 A CN 202210197447A CN 114584731 A CN114584731 A CN 114584731A
Authority
CN
China
Prior art keywords
image
camera
retransmission
real
receiving module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210197447.7A
Other languages
English (en)
Inventor
余飞鸿
郭晓龙
周林鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Touptek Photoelectric Technology Co ltd
Original Assignee
Hangzhou Touptek Photoelectric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Touptek Photoelectric Technology Co ltd filed Critical Hangzhou Touptek Photoelectric Technology Co ltd
Priority to CN202210197447.7A priority Critical patent/CN114584731A/zh
Publication of CN114584731A publication Critical patent/CN114584731A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1829—Arrangements specially adapted for the receiver end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1867—Arrangements specially adapted for the transmitter end
    • H04L1/1874—Buffer management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种USB3.0接口显微相机的实时图像重传方法：图像传感器在工作模式下采集图像并同时向DDR3SDRAM存储器和非易失性存储器中缓存图像；当相机在正常工作模式下，图像接收模块接收的图像数据不完整时，发送重传指令给重传控制模块，重传控制模块控制DDR3SDRAM存储器实时重传缓存的丢失图像；当相机在待机模式下，用户发送重传指令与任意M帧的帧序号给重传控制模块，控制非易失性存储器重传缓存的任意M帧图片；其中，只有图像接收模块明确接收到第T帧图像后，非易失性存储器才允许存储覆盖第T帧图像。本发明还公开了一种USB3.0接口显微相机的实时图像重传系统。该方法与系统提高了相机的数据传输稳定性，保证相机在恶劣传输条件下不丢失图像。

Description

一种USB3.0接口显微相机的实时图像重传方法与系统
技术领域
本发明涉及嵌入式机器视觉领域，尤其涉及一种USB3.0接口显微相机的实时图像重传方法与系统。
背景技术
目前USB3.0接口显微相机理论最快速率为5Gbps，实际图像传输带宽在380MB/s，40MP的相机可以达到9.5fps。随着医疗及健康产业的发展，USB3.0接口显微相机的应用领域越来越广，且对相机图像传输的稳定性提出了近乎苛刻的要求，以此来直面过去在教育科研、医疗诊断、快速检测等领域难以攻克的难题。如公开号为CN210112127U的中国专利公开了一种主控电路板与图像传感电路板独立的显微相机系统；如公开号为CN215494331U的中国专利公开了一种提升检测效率的多镜头显微相机模组，包括相机本体、副支撑臂、目镜本体和物镜本体。
USB3.0接口显微相机一般使用PC接收并显示视频图像，当使用的PC性能较差或者工作状态不稳定时，会导致在视频图像接收过程中丢失数据，然而特别是对于长时间曝光工作获取图像的荧光检测或化学发光领域而言，图像丢失是不能接受的。USB3.0接口显微相机主要用于实时视频观察和图像采集，相机内部缓存的图像帧数有限，且掉电后数据全部丢失，不可能在相机掉电后重新获得之前采集到的图像。
因此引入一种功能全面且稳定性强的实时图像重传机制，提高USB3.0接口显微相机的数据传输稳定性，有利于相机的广泛应用和推广。
发明内容
本发明的目的在于提供一种USB3.0接口显微相机的实时图像重传方法与系统，该方法与系统提高了相机的数据传输稳定性，保证相机在恶劣传输条件下不丢失图像，即使相机重启后仍可获取缓存图片。
本发明的目的是通过以下技术方案来实现的：
一种USB3.0接口显微相机的实时图像重传方法，所述实时图像重传方法包括：
当相机在正常工作模式下，图像接收模块接收的图像数据不完整时，发送重传指令给重传控制模块，重传控制模块控制DDR3 SDRAM存储器实时重传缓存的丢失图像；
当相机在待机模式下，用户发送重传指令与任意M帧的帧序号给重传控制模块，控制非易失性存储器重传缓存的任意M帧图片；
其中，只有图像接收模块明确接收到第T帧图像后，非易失性存储器才允许存储覆盖第T帧图像。
本发明提供的相机提供了一种图像永不丢失模式。
USB3.0接口显微相机的正常工作模式即自由运行模式和触发工作模式；待机模式即图像传感器停止工作但其他模块正常运行的模式，包括相机掉电后重启的待机模式。
USB3.0接口显微相机在工作模式下，同时向DDR3 SDRAM存储器和非易失性存储器写入具有帧序号的图像，DDR3 SDRAM存储器和非易失性存储器存满后会从头开始覆盖存储。
视频图像序列进入存储单元(DDR3 SDRAM存储器/非易失性存储器)前会被分配具有连续性的数字序号，即图像的帧序号，该序号包含该图像获取时的时间信息。
当相机在正常工作模式下，图像接收模块检测图像数据量，如果数据量正常则保持相机的正常工作模式，如果数据量不正常则重传丢失图像，若重传次数超过3次则自动初始化相机。
当图像接收模块实时发送重传指令给重传控制模块，重传控制模块会在DDR3SDRAM存储器读出新的一帧图像前，修改DDR3 SDRAM存储器的读地址，再次读出丢失图像传输给图像接收模块。
当相机在待机模式下，用户发送的任意M帧的帧序号必须从属于非易失性存储器中的N帧图像的帧序号，帧序号按从小到大的顺序传输给重传控制模块，重传控制模块从最小的帧序号开始从非易失性存储器中读出M帧图像传输给图像接收模块。
当相机在待机模式下，图像接收模块检测非易失性存储器输出的图像数据量，如果数据量正常则传输下一个帧序号的图像，如果数据量不正常继续重传当前帧序号图像，若重传次数超过5次则自动初始化相机。
与现有技术相比，本发明的技术效果主要体现在以下方面：
1、具有实时图像重传功能的USB3.0接口显微相机能在恶劣传输条件或者较差的数据采集条件下保证图像数据不丢失，相机能够实时的重传丢失掉的不完整帧，极大的提高了相机的稳定性和传输可靠性。
2、USB3.0接口显微相机使用大容量非易失性存储器，能够缓存许多帧的图像，即使相机掉电后也不会丢失，允许用户可以灵活的重新获取之前缓存的图片，为用户提供了稳定高效的解决方案。离线图像重传功能增加了相机的图像获取途径，允许用户采集图像后在离线传输，拓宽了相机的应用场景。并具有功能全面、稳定性高和低成本等优点。
附图说明
图1是本发明的USB3.0接口显微相机实时图像重传机制的系统示意图。
图2是本发明的USB3.0接口显微相机的正常工作模式下实时图像重传流程图。
图3是本发明的USB3.0接口显微相机的待机模式下图像重传流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体事例仅仅用以解释本发明，并不限定本发明。
根据本发明的实施方式，如图1所示，本发明提供了一种USB3.0接口显微相机的实时图像重传系统，由图像传感器101、DDR3 SDRAM存储器102、非易失性存储器103、重传控制模块104和图像接收模块105组成。图像传感器101在工作模式下采集图像并同时向DDR3SDRAM存储器102和非易失性存储器103中缓存图像。
DDR SDRAM存储器102实现正常工作模式下的图像缓存和实时图像重传功能；非易失性存储器103在正常工作模式下缓存大量图像，在待机模式下实现非易失性存储器103中任意M帧图像重传功能；重传控制模块104控制DDR3 SDRAM存储器102和非易失性存储器103实现实时图像重传功能；图像接收模块105接收图像并判断该帧图像数据量是否等于正常数据量，并且发送重传指令给重传控制模块104实现图像重传。
正常工作模式下实时图像重传功能如图2所示，具体步骤如下：
步骤201：初始化显微相机，包括插拔电源和开关上位机软件等，重置显微相机的运行环境；
步骤202：选择相机的工作模式为正常工作模式，包括自由运行模式和触发工作模式，初始化图像重传计数K为1；
步骤203：图像接收模块105(PC)收到传输来的图像帧，提取出该图像的数据量F_SUM；
步骤204：判断图像数据量F_SUM是否等于正常数据量F_SUM(N)，如果满足条件则传输下一帧图像，否则便进入步骤205进行判断；
步骤205：判断图像重传计数K是否大于3次，如果满足条件则表明相机传输不正常，需要初始化相机，否则发送重传指令继续进行图像重传功能；
步骤206：图像接收模块105发送重传指令给重传控制模块104，要求执行图像重传功能，并将图像重传计数K加1；
步骤207：重传控制模块104控制DDR3 SDRAM存储器102重传丢失图像。
待机模式下图像重传功能如图3所示，具体步骤如下：
步骤301：初始化相机，包括插拔电源和开关软件等，重置相机的运行环境；
步骤302：选择相机的工作模式为待机模式，包括相机掉电后重启的待机模式，初始化帧计数N为1和图像重传计数K为1；
步骤303：用户可发送重传指令与任意M帧的帧序号，帧序号按从小到大的顺序传输给重传控制模块104，任意M帧的帧序号必须从属于非易失性存储器存储的图像帧序号；
步骤304：重传控制模块104控制非易失性存储器103从最小的帧序号开始依次读出M帧图像传输给图像接收模块(PC)。
步骤305：图像接收模块105(PC)收到传输来的图像帧，提取出该图像的数据量F_SUM；
步骤306：判断图像数据量F_SUM是否等于正常数据量F_SUM(N)，如果满足条件则传输下个帧序号的图像，否则继续传输当前帧序号的图像；
步骤307：传输下个帧序号图像，并将帧计数N加1；
步骤308：判断帧计数N是否大于M，如果满足条件则进入休眠模式，否则继续传输下个帧序号图像；
步骤309：从非易失性存储器重传当前帧序号的图像，并将重传计数K加1；
步骤310：判断重传计数K是否大于5次，如果满足条件则表明相机传输不正常，需要初始化相机，否则重传当前帧序号的图像。
本实施方式中，图像传感器101为Sony公司的IMX269芯片，其最大输出分辨率为5280×3956，支持12/8/6路LVDS输出和12位/10位两种数据位宽，每路LVDS通道最高输出速率为648MHz,最大分辨率下的最快帧率为27.27fps。帧重传控制芯片(重传控制模块101)为Xilinx公司的Spartan-6XC6SLX150T芯片，该芯片有147443个逻辑单元、4.8Mbit片内BlockRAM、4个数据量高达800Mb/s的DDR接口、支持多电平标准的SelectIO技术，能在功耗、性能、成本之间很好的平衡。DDR3存储芯片(DDR3 SDRAM存储器102)选择Micron公司的MT41K256M16TW-107IT芯片，它的最大传输速率为1866Mb/s，存储容量为4Gb，位宽为16bit。非易失性存储芯片(非易失性存储器103)选用Sandisk公司的DSDXXG-256G-ZN4IN，它的最大传输速率为1360Mb/s，存储容量为256GB，符合本显微相机实时图像重传功能的要求。
以上给出的实施例仅用以说明本发明和它的实际应用，并非对本发明作任何形式上的限制，任何一个本专业的技术人员在不偏离本发明技术方案的范围内，依据以上技术和方法作一定的修饰和变更视为等同变化的等效实施例。因此，所有等同的技术方案也应该属于本发明的范畴，应由各权利要求限制。

Claims (9)

1.一种USB3.0接口显微相机的实时图像重传方法，其特征在于，所述实时图像重传方法包括：
图像传感器在工作模式下采集图像并同时向DDR3 SDRAM存储器和非易失性存储器中缓存图像；
当相机在正常工作模式下，图像接收模块接收的图像数据不完整时，发送重传指令给重传控制模块，重传控制模块控制DDR3 SDRAM存储器实时重传缓存的丢失图像；
当相机在待机模式下，用户发送重传指令与任意M帧的帧序号给重传控制模块，控制非易失性存储器重传缓存的任意M帧图片；
其中，只有图像接收模块明确接收到第T帧图像后，非易失性存储器才允许存储覆盖第T帧图像。
2.根据权利要求1所述的USB3.0接口显微相机的实时图像重传方法，其特征在于，所述相机的正常工作模式包括自由运行模式和触发工作模式；所述待机模式为图像传感器停止工作但其他模块正常运行的模式，包括相机掉电后重启的待机模式。
3.根据权利要求1所述的USB3.0接口显微相机的实时图像重传方法，其特征在于，相机在工作模式下，同时向DDR3 SDRAM存储器和非易失性存储器写入具有帧序号的图像，DDR3SDRAM存储器和非易失性存储器存满后会从头开始覆盖存储。
4.根据权利要求3所述的USB3.0接口显微相机的实时图像重传方法，其特征在于，视频图像序列进入DDR3 SDRAM存储器和非易失性存储器前会被分配具有连续性的数字序号，即图像的帧序号，帧序号中包括该图像获取时的时间信息。
5.根据权利要求1所述的USB3.0接口显微相机的实时图像重传方法，其特征在于，当相机在正常工作模式下，图像接收模块检测图像数据量，如果数据量正常则保持相机的正常工作模式，如果数据量不正常则重传丢失图像，若重传次数超过3次则自动初始化相机。
6.根据权利要求1所述的USB3.0接口显微相机的实时图像重传方法，其特征在于，当图像接收模块实时发送重传指令给重传控制模块，重传控制模块会在DDR3 SDRAM存储器读出新的一帧图像前，修改DDR3 SDRAM存储器读地址，再次读出丢失图像传输给图像接收模块。
7.根据权利要求1所述的USB3.0接口显微相机的实时图像重传方法，其特征在于，当相机在待机模式下，用户发送的任意M帧的帧序号必须从属于非易失性存储器中的N帧图像的帧序号，帧序号按从小到大的顺序传输给重传控制模块，重传控制模块从最小的帧序号开始从非易失性存储器中读出M帧图像传输给图像接收模块。
8.根据权利要求7所述的USB3.0接口显微相机的实时图像重传方法，其特征在于，当相机在待机模式下，图像接收模块检测非易失性存储器输出的图像数据量，如果数据量正常则传输下一个帧序号的图像，如果数据量不正常继续重传当前帧序号图像，若重传次数超过5次则自动初始化相机。
9.一种USB3.0接口显微相机的实时图像重传系统，其特征在于，所述实时图像重传系统包括：
图像传感器，在工作模式下采集图像并向存储单元缓存图像；
存储单元，包括DDR3 SDRAM存储器和非易失性存储器；
重传控制模块，接收图像接收接收模块的重传指令，在正常工作模式下，控制DDR3SDRAM存储器重传图像至图像接收模块，在待机模式下，控制非易失性存储器图像至图像接收模块；
图像接收模块，接收图像并判断该帧图像数据量是否等于正常数据量，如不等于正常数据量则发送重传指令至重传控制模块。
CN202210197447.7A 2022-03-02 2022-03-02 一种usb3.0接口显微相机的实时图像重传方法与系统 Pending CN114584731A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210197447.7A CN114584731A (zh) 2022-03-02 2022-03-02 一种usb3.0接口显微相机的实时图像重传方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210197447.7A CN114584731A (zh) 2022-03-02 2022-03-02 一种usb3.0接口显微相机的实时图像重传方法与系统

Publications (1)

Publication Number Publication Date
CN114584731A true CN114584731A (zh) 2022-06-03

Family

ID=81771635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210197447.7A Pending CN114584731A (zh) 2022-03-02 2022-03-02 一种usb3.0接口显微相机的实时图像重传方法与系统

Country Status (1)

Country Link
CN (1) CN114584731A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101008883A (zh) * 2006-01-26 2007-08-01 中国科学院长春光学精密机械与物理研究所 一种非易失性半导体大容量图像存储器
US20080256271A1 (en) * 2006-12-12 2008-10-16 Breed Paul T Methods and apparatus for reducing storage usage in devices
KR20160120058A (ko) * 2015-04-07 2016-10-17 한화테크윈 주식회사 이미지 센서 및 카메라 장치
CN107656881A (zh) * 2017-09-13 2018-02-02 中国科学院半导体研究所 基于fpga的数据存储通路系统
CN112291523A (zh) * 2020-10-29 2021-01-29 合肥安迅精密技术有限公司 一种贴片机设备的图像数据接收系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101008883A (zh) * 2006-01-26 2007-08-01 中国科学院长春光学精密机械与物理研究所 一种非易失性半导体大容量图像存储器
US20080256271A1 (en) * 2006-12-12 2008-10-16 Breed Paul T Methods and apparatus for reducing storage usage in devices
KR20160120058A (ko) * 2015-04-07 2016-10-17 한화테크윈 주식회사 이미지 센서 및 카메라 장치
CN107656881A (zh) * 2017-09-13 2018-02-02 中国科学院半导体研究所 基于fpga的数据存储通路系统
CN112291523A (zh) * 2020-10-29 2021-01-29 合肥安迅精密技术有限公司 一种贴片机设备的图像数据接收系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
唐新华: "《材料制造数字化控制基础》", 30 September 2015, 上海交通大学出版社, pages: 231 - 237 *

Similar Documents

Publication Publication Date Title
CN101346708B (zh) 全缓冲dimm读数据替代写确认
KR101497001B1 (ko) 그래픽스 멀티미디어 ｉｃ 및 그것의 동작 방법
CN101866328B (zh) 一种自动访问的串行总线读写控制方法
US7404016B2 (en) Enhanced power reduction capabilities for streaming direct memory access engine
CN111314641B (zh) 一种高帧频图像的采集存储显示系统及方法
CN1688980A (zh) 具有内部行高速缓存的内存集线器及访问方法
US20150234632A1 (en) Multi-processor video processing system and video image synchronous transmission and display method therein
CN102202171A (zh) 一种嵌入式高速多通道图像采集与存储系统
CN115580727B (zh) 一种视频压缩的丢帧处理方法、装置、服务器及存储介质
CN114286035B (zh) 图像采集卡、图像采集方法及图像采集系统
CN111221759A (zh) 一种基于dma的数据处理系统及方法
CN113099133A (zh) 串行解串器链路传输高带宽相机数据的方法
CN103019645A (zh) Ccd信号处理电路高速数据流仲裁控制方法
CN116996647A (zh) Bmc的视频传输方法、bmc和系统级芯片
CN116684659A (zh) Bmc芯片的视频输出控制模块、方法、设备和服务器
CN114584731A (zh) 一种usb3.0接口显微相机的实时图像重传方法与系统
CN110445730A (zh) 基于WinPcap的网络数据实时采集存储方法和装置
CN108134912B (zh) 一种视频流转换方法
CN1207644C (zh) 电子设备和使用该电子设备的外部装置
CN117032598A (zh) Yuv视频传输框架、基板管理控制器、方法、设备和介质
CN117093157A (zh) 一种用于单向光传输的ddr高速读写方法及系统
CN102012948B (zh) 基于usb的数据实时采集和存储系统及方法
CN103838694B (zh) 一种fpga高速读取usb接口数据的方法
TWI446766B (zh) 管理執行之方法及具有執行管理能力之裝置
CN100549928C (zh) 一种虚拟先入先出内存的实现方法和控制装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination