CN112995493A - 一种图像处理设备、方法及装置 - Google Patents

一种图像处理设备、方法及装置 Download PDF

Info

Publication number
CN112995493A
CN112995493A CN201911303063.3A CN201911303063A CN112995493A CN 112995493 A CN112995493 A CN 112995493A CN 201911303063 A CN201911303063 A CN 201911303063A CN 112995493 A CN112995493 A CN 112995493A
Authority
CN
China
Prior art keywords
information
image data
superposed
synchronization
fpga
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911303063.3A
Other languages
English (en)
Other versions
CN112995493B (zh
Inventor
安鹏洲
刘衍平
郝李鹏
尹浪
曾文智
方怡新
周雄
董月锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201911303063.3A priority Critical patent/CN112995493B/zh
Publication of CN112995493A publication Critical patent/CN112995493A/zh
Application granted granted Critical
Publication of CN112995493B publication Critical patent/CN112995493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种图像处理设备、方法及装置，FPGA，用于通过控制图像传感器的输出时序信号，控制所述图像传感器向CPU传输图像数据；所述FPGA，还用于向所述CPU传输待叠加信息；所述CPU，用于将所述待叠加信息叠加至所述图像数据中。由于在本发明实施例中，FPGA通过控制图像传感器的输出时序信号，控制图像传感器向CPU传输图像数据，FPGA向CPU传输待叠加信息，CPU将所述待叠加信息叠加至所述图像数据中。本发明实施例中，FPGA不采集图像数据，降低了设备对FPGA的性能要求，避免了由于FPGA的技术瓶颈导致不能满足使用要求的问题。

Description

一种图像处理设备、方法及装置
技术领域
本发明涉及视频监控技术领域，尤其涉及一种图像处理设备、方法及装置。
背景技术
在智能交通领域，违法取证设备需要严格的时序控制，需要采用现场可编程逻辑门阵列FPGA来生成相关的控制时序。
现有技术中FPGA输出控制时序，控制图像传感器sensor输出图像数据。同时，FPGA采集sensor输出的图像数据，在FPGA内部叠加上抓拍信息后输出给处理器CPU，CPU采集到带有抓拍信息的图像后根据抓拍信息进行相应的处理。
现有技术存在的问题是，由于FPGA要完成sensor数据的采集，抓拍信息的叠加以及叠加后的图像数据输出，所以需要大量的FPGA逻辑单元，管脚等资源，对FPGA的工作频率也有很高的要求。并且随着分辨率和帧率的不断提高对FPGA资源和工作频率的要求也不断提高，甚至形成技术瓶颈，导致FPGA不能满足使用要求。
发明内容
本发明实施例提供了一种图像处理设备、方法及装置，用以解决现有技术中随着分辨率和帧率的不断提高对FPGA资源和工作频率的要求也不断提高，甚至形成技术瓶颈，导致FPGA不能满足使用要求的问题。
本发明实施例提供了一种图像处理设备，所述设备包括：图像传感器、现场可编程逻辑门阵列FPGA和处理器CPU；
所述FPGA分别与所述图像传感器和所述CPU连接，所述图像传感器与所述CPU连接；
所述FPGA，用于通过控制所述图像传感器的输出时序信号，控制所述图像传感器向所述CPU传输图像数据；
所述FPGA，还用于向所述CPU传输待叠加信息；
所述CPU，用于将所述待叠加信息叠加至所述图像数据中。
进一步地，所述CPU，具体用于根据接收到图像数据携带的时间信息和待叠加信息携带的时间信息，确定匹配的图像数据和待叠加信息，将待叠加信息叠加至与其匹配的图像数据中。
进一步地，所述FPGA，具体用于向所述CPU传输伪图像数据，在所述伪图像数据中携带所述待叠加信息。
进一步地，所述FPGA，还用于对双快门参数进行设置及控制工频同步。
进一步地，所述CPU，具体用于当接收到图像数据，确定同步开始，并等待触发同步；当接收到待叠加信息，判断是否同步开始，如果是，将所述待叠加信息添加至同步队列并触发同步；
所述CPU，具体用于在等待触发同步时，判断预设时间长度内是否触发同步，如果是，获取所述同步队列中的所述待叠加信息，并将所述待叠加信息叠加至所述图像数据中。
另一方面，本发明实施例提供了一种图像处理方法，所述方法包括：
接收图像传感器传输的图像数据，其中，所述图像数据是FPGA通过控制所述图像传感器的输出时序信号，控制所述图像传感器传输的；
接收所述FPGA传输的待叠加信息；
将所述待叠加信息叠加至所述图像数据中。
进一步地，所述将所述待叠加信息叠加至所述图像数据中包括：
根据接收到图像数据携带的时间信息和待叠加信息携带的时间信息，确定匹配的图像数据和待叠加信息，将待叠加信息叠加至与其匹配的图像数据中。
进一步地，所述接收所述FPGA传输的待叠加信息包括：
接收所述FPGA传输的伪图像数据，其中，所述伪图像数据中携带所述待叠加信息。
进一步地，所述接收图像传感器传输的图像数据之后，所述方法还包括：
确定同步开始，并等待触发同步；
所述接收所述FPGA传输的待叠加信息之后，所述方法还包括：
判断是否同步开始，如果是，将所述待叠加信息添加至同步队列并触发同步；
所述将所述待叠加信息叠加至所述图像数据中包括：
在等待触发同步时，判断预设时间长度内是否触发同步，如果是，获取所述同步队列中的所述待叠加信息，并将所述待叠加信息叠加至所述图像数据中。
另一方面，本发明实施例提供了一种图像处理装置，所述装置包括：
第一接收模块，用于接收图像传感器传输的图像数据，其中，所述图像数据是FPGA通过控制所述图像传感器的输出时序信号，控制所述图像传感器传输的；
第二接收模块，用于接收所述FPGA传输的待叠加信息；
叠加模块，用于将所述待叠加信息叠加至所述图像数据中。
进一步地，所述叠加模块，具体用于根据接收到图像数据携带的时间信息和待叠加信息携带的时间信息，确定匹配的图像数据和待叠加信息，将待叠加信息叠加至与其匹配的图像数据中。
进一步地，所述第二接收模块，具体用于接收所述FPGA传输的伪图像数据，其中，所述伪图像数据中携带所述待叠加信息。
进一步地，所述装置还包括：
等待模块，用于确定同步开始，并等待触发同步；
所述装置还包括：
添加模块，用于判断是否同步开始，如果是，将所述待叠加信息添加至同步队列并触发同步；
所述叠加模块，具体用于在等待触发同步时，判断预设时间长度内是否触发同步，如果是，获取所述同步队列中的所述待叠加信息，并将所述待叠加信息叠加至所述图像数据中。
本发明实施例提供了一种图像处理设备、方法及装置，所述设备包括：图像传感器、现场可编程逻辑门阵列FPGA和处理器CPU；所述FPGA分别与所述图像传感器和所述CPU连接，所述图像传感器与所述CPU连接；所述FPGA，用于通过控制所述图像传感器的输出时序信号，控制所述图像传感器向所述CPU传输图像数据；所述FPGA，还用于向所述CPU传输待叠加信息；所述CPU，用于将所述待叠加信息叠加至所述图像数据中。
由于在本发明实施例中，FPGA通过控制图像传感器的输出时序信号，控制图像传感器向CPU传输图像数据，FPGA向CPU传输待叠加信息，CPU将所述待叠加信息叠加至所述图像数据中。本发明实施例中，FPGA不采集图像数据，降低了设备对FPGA的性能要求，避免了由于FPGA的技术瓶颈导致不能满足使用要求的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像处理设备结构示意图；
图2为本发明实施例提供的另一图像处理设备结构示意图；
图3为本发明实施例提供的CPU对图像数据的处理线程；
图4为本发明实施例提供的CPU对待叠加信息的处理线程；
图5为本发明实施例提供的同步信息结构示意图；
图6为本发明实施例提供的CPU对图像数据和待叠加信息处理流程图；
图7为本发明实施例提供的图像处理过程示意图；
图8为本发明实施例提供的图像处理装置结构示意图。
具体实施方式
下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明实施例提供的图像处理设备结构示意图，所述设备包括：图像传感器11、现场可编程逻辑门阵列FPGA12和处理器CPU13；
所述FPGA分别与所述图像传感器和所述CPU连接，所述图像传感器与所述CPU连接；
所述FPGA，用于通过控制所述图像传感器的输出时序信号，控制所述图像传感器向所述CPU传输图像数据；
所述FPGA，还用于向所述CPU传输待叠加信息；
所述CPU，用于将所述待叠加信息叠加至所述图像数据中。
如图1所示，FPGA通过控制所述图像传感器的输出时序信号，控制图像传感器向CPU传输图像数据。输出时序信号包括行同步HS信号和帧同步VS信号。FPGA向CPU传输待叠加信息，待叠加信息可以是抓拍信息、通过对图像进行智能分析获得的信息等。CPU将待叠加信息叠加至图像数据中。
图2为本发明实施例提供的图像处理设备结构示意图，FPGA输入市电同步信号50Hz作为外同步源。SPI0作为通信接口向FPGA设置待叠加信息的通信通道。SPI1作为FPGA配置图像传感器sensor寄存器的通信通道。VS、HS为sensor采集同步信号。采用双SPI通道是为了保证待叠加信息能够及时送至FPGA，不会因为配置sensor而被阻塞。
FPGA通过控制sensor的输出时序信号，如：行同步HS信号，帧同步VS信号，控制sensor输出一路图像数据到CPU的0号采集端口VP0，同时，FPGA依赖此时序将待叠加信息输出到CPU的1号采集端口VP1。由于sensor和待叠加信息的输出都依赖于相同的同步时序信号，所以可以保证图像数据和待叠加信息在时域上是同步的。
CPU在两个采集端口上同时采集sensor发送的图像数据(来自0号采集端口VP0)和FPGA同步发送的待叠加信息(来自1号采集端口VP1)，在CPU内部进行图像数据和待叠加信息的匹配，将待叠加信息叠加至图像数据中，送至后面流程进行处理。
所述CPU，具体用于根据接收到图像数据携带的时间信息和待叠加信息携带的时间信息，确定匹配的图像数据和待叠加信息，将待叠加信息叠加至与其匹配的图像数据中。
由于图像数据和待叠加信息在时域上是同步的，因此，相匹配的图像数据和待叠加信息携带的时间信息是相同的。因此，根据接收到图像数据携带的时间信息和待叠加信息携带的时间信息，确定匹配的图像数据和待叠加信息，将待叠加信息叠加至与其匹配的图像数据中。
在本发明实施例中，所述FPGA，具体用于向所述CPU传输伪图像数据，在所述伪图像数据中携带所述待叠加信息。
待叠加信息，例如抓拍信息的同步由于只要在一帧时间内(一般10毫秒级别)能够完成就可以满足要求，所以根据实现方式的难易程度和程序的兼容性，采用由FPGA同步sensor的输出，输出一个伪图像数据，在伪图像数据中携带所述待叠加信息，利用sensor图像传输协议将该伪图像数据发送到CPU，由CPU同时接收图像数据和伪图像数据后进行匹配，把伪图像数据中的待叠加信息叠加到sensor图像数据上。其中，采用图像帧协议格式传输待叠加信息，主要原因是因为方案CPU采用图像数据采集接口接收图像数据和待叠加信息，在硬件保证时序的基础上，一般情况下通过时间信息可确待定叠加信息和图像数据之间的匹配关系，在同一时间周期内接收到多帧待叠加信息或者多帧图像数据时，通过帧序号或者携带的时间信息，将待叠加信息和图像数据进行匹配。
另外，由于CPU操作系统调度原因，无法做到精确的时间同步(微妙级)，所以仍然需要FPGA完成精确的双快门参数设置及控制工频同步，并且同步抓拍功能和外同步功能也需要FPGA完成配置。
在本发明实施例中，所述CPU，具体用于当接收到图像数据，确定同步开始，并等待触发同步；当接收到待叠加信息，判断是否同步开始，如果是，将所述待叠加信息添加至同步队列并触发同步；
所述CPU，具体用于在等待触发同步时，判断预设时间长度内是否触发同步，如果是，获取所述同步队列中的所述待叠加信息，并将所述待叠加信息叠加至所述图像数据中。
图3为CPU对图像数据的处理线程，如图3所示，当接收到图像数据，确定同步开始，并等待触发同步。在等待触发同步时，判断预设时间长度内是否触发同步，如果是，获取同步队列中的待叠加信息，并将待叠加信息叠加至图像数据中，如果否，则释放图像数据。将待叠加信息叠加至图像数据中之后，进入下一级处理，并释放叠加后的数据。
图4为CPU对待叠加信息的处理线程，如图4所示，当接收到待叠加信息，判断是否同步开始，如果否，释放待叠加信息，如果是，将待叠加信息添加至同步队列并触发同步，触发同步后，释放待叠加信息。
图5为本发明实施例提供的同步信息结构示意图，如图5所示，同步信息结构包括标准/通用图像传输格式或协议和同步信息传递协议及数据，其中，同步信息传递协议及数据包括数据头、帧序号、帧类型、同步类型、同步信息、其他信息和数据尾。
在本发明实施例中，情况1：待叠加数据先于图像数据收到，释放待叠加数据，会导致图像数据收到后等待同步超时，释放图像数据，并进入下次同步循环。如果每次待叠加数据都先于图像数据，且提前时间满足0<T<Tf/2时，无法实现同步，其中Tf为帧间隔时间。
情况2：待叠加数据晚于图像数据收到，如果同步开始标记为真，则同步可以正常完成；如果同步开始标记为假，说明发生了情况1，则处理方式同情况1。
由于sensor硬件时序和FPGA逻辑实现的关系，sensor的输出和FPGA的输出在时间上或多或少会有一些差异，导致CPU并不能同时收到分别来自sensor和FPGA的数据；另外，由于CPU操作系统调度的延时，且在调度延时时间不固定的情况下，无法使sensor和FPGA两个线程“认为”同时收到了分别来自sensor和FPGA的数据。并且sensor和FPGA发送数据是一个连续过程，在不知道顺序的前提下，如果图像数据早于或晚于待叠加信息半个帧间隔以上，程序将无法判断图像数据和待叠加信息的对应关系。
图6为CPU对图像数据和待叠加信息处理流程图，如图6所示，情况1，待叠加数据先于图像数据收到，同步未开始，释放待叠加信息，导致图像数据收到后等待同步超时，释放图像数据。情况2，待叠加数据晚于图像数据收到，同步开始标记为真，获取图像数据以及待叠加数据，将待叠加数据叠加至图像数据，并送下一级处理，处理完释放数据，同步完成。
图7为本发明实施例提供的图像处理过程示意图，该过程包括：
S101：接收图像传感器传输的图像数据，其中，所述图像数据是FPGA通过控制所述图像传感器的输出时序信号，控制所述图像传感器传输的。
S102：接收所述FPGA传输的待叠加信息。
S103：将所述待叠加信息叠加至所述图像数据中。
FPGA通过控制所述图像传感器的输出时序信号，控制图像传感器向CPU传输图像数据。输出时序信号包括行同步HS信号和帧同步VS信号。FPGA向CPU传输待叠加信息，待叠加信息可以是抓拍信息、通过对图像进行智能分析获得的信息等。CPU将待叠加信息叠加至图像数据中。
FPGA输入市电同步信号50Hz作为外同步源。SPI0作为通信接口向FPGA设置待叠加信息的通信通道。SPI1作为FPGA配置图像传感器sensor寄存器的通信通道。VS、HS为sensor采集同步信号。采用双SPI通道是为了保证待叠加信息能够及时送至FPGA，不会因为配置sensor而被阻塞。
FPGA通过控制sensor的输出时序信号，如：行同步HS信号，帧同步VS信号，控制sensor输出一路图像数据到CPU的0号采集端口VP0，同时，FPGA依赖此时序将待叠加信息输出到CPU的1号采集端口VP1。由于sensor和待叠加信息的输出都依赖于相同的同步时序信号，所以可以保证图像数据和待叠加信息在时域上是同步的。
CPU在两个采集端口上同时采集sensor发送的图像数据(来自0号采集端口VP0)和FPGA同步发送的待叠加信息(来自1号采集端口VP1)，在CPU内部进行图像数据和待叠加信息的匹配，将待叠加信息叠加至图像数据中，送至后面流程进行处理。
所述将所述待叠加信息叠加至所述图像数据中包括：
根据接收到图像数据携带的时间信息和待叠加信息携带的时间信息，确定匹配的图像数据和待叠加信息，将待叠加信息叠加至与其匹配的图像数据中。
由于图像数据和待叠加信息在时域上是同步的，因此，相匹配的图像数据和待叠加信息携带的时间信息是相同的。因此，根据接收到图像数据携带的时间信息和待叠加信息携带的时间信息，确定匹配的图像数据和待叠加信息，将待叠加信息叠加至与其匹配的图像数据中。
所述接收所述FPGA传输的待叠加信息包括：
接收所述FPGA传输的伪图像数据，其中，所述伪图像数据中携带所述待叠加信息。
待叠加信息，例如抓拍信息的同步由于只要在一帧时间内(一般10毫秒级别)能够完成就可以满足要求，所以根据实现方式的难易程度和程序的兼容性，采用由FPGA同步sensor的输出，输出一个伪图像数据，在伪图像数据中携带所述待叠加信息，利用sensor图像传输协议将该伪图像数据发送到CPU，由CPU同时接收图像数据和伪图像数据后进行匹配，把伪图像数据中的待叠加信息叠加到sensor图像数据上。其中，采用图像帧协议格式传输待叠加信息，主要原因是因为方案CPU采用图像数据采集接口接收图像数据和待叠加信息，在硬件保证时序的基础上，一般情况下通过时间信息可确待定叠加信息和图像数据之间的匹配关系，在同一时间周期内接收到多帧待叠加信息或者多帧图像数据时，通过帧序号或者携带的时间信息，将待叠加信息和图像数据进行匹配。
另外，由于CPU操作系统调度原因，无法做到精确的时间同步(微妙级)，所以仍然需要FPGA完成精确的双快门参数设置及控制工频同步，并且同步抓拍功能和外同步功能也需要FPGA完成配置。
所述接收图像传感器传输的图像数据之后，所述方法还包括：
确定同步开始，并等待触发同步；
所述接收所述FPGA传输的待叠加信息之后，所述方法还包括：
判断是否同步开始，如果是，将所述待叠加信息添加至同步队列并触发同步；
所述将所述待叠加信息叠加至所述图像数据中包括：
在等待触发同步时，判断预设时间长度内是否触发同步，如果是，获取所述同步队列中的所述待叠加信息，并将所述待叠加信息叠加至所述图像数据中。
当接收到图像数据，确定同步开始，并等待触发同步。在等待触发同步时，判断预设时间长度内是否触发同步，如果是，获取同步队列中的待叠加信息，并将待叠加信息叠加至图像数据中，如果否，则释放图像数据。将待叠加信息叠加至图像数据中之后，进入下一级处理，并释放叠加后的数据。
当接收到待叠加信息，判断是否同步开始，如果否，释放待叠加信息，如果是，将待叠加信息添加至同步队列并触发同步，触发同步后，释放待叠加信息。
在本发明实施例中，情况1：待叠加数据先于图像数据收到，释放待叠加数据，会导致图像数据收到后等待同步超时，释放图像数据，并进入下次同步循环。如果每次待叠加数据都先于图像数据，且提前时间满足0<T<Tf/2时，无法实现同步，其中Tf为帧间隔时间。
情况2：待叠加数据晚于图像数据收到，如果同步开始标记为真，则同步可以正常完成；如果同步开始标记为假，说明发生了情况1，则处理方式同情况1。
由于sensor硬件时序和FPGA逻辑实现的关系，sensor的输出和FPGA的输出在时间上或多或少会有一些差异，导致CPU并不能同时收到分别来自sensor和FPGA的数据；另外，由于CPU操作系统调度的延时，且在调度延时时间不固定的情况下，无法使sensor和FPGA两个线程“认为”同时收到了分别来自sensor和FPGA的数据。并且sensor和FPGA发送数据是一个连续过程，在不知道顺序的前提下，如果图像数据早于或晚于待叠加信息半个帧间隔以上，程序将无法判断图像数据和待叠加信息的对应关系。
图8为本发明实施例提供的图像处理装置结构示意图，该装置包括：
第一接收模块81，用于接收图像传感器传输的图像数据，其中，所述图像数据是FPGA通过控制所述图像传感器的输出时序信号，控制所述图像传感器传输的；
第二接收模块82，用于接收所述FPGA传输的待叠加信息；
叠加模块83，用于将所述待叠加信息叠加至所述图像数据中。
所述叠加模块83，具体用于根据接收到图像数据携带的时间信息和待叠加信息携带的时间信息，确定匹配的图像数据和待叠加信息，将待叠加信息叠加至与其匹配的图像数据中。
所述第二接收模块82，具体用于接收所述FPGA传输的伪图像数据，其中，所述伪图像数据中携带所述待叠加信息。
所述装置还包括：
等待模块84，用于确定同步开始，并等待触发同步；
所述装置还包括：
添加模块85，用于判断是否同步开始，如果是，将所述待叠加信息添加至同步队列并触发同步；
所述叠加模块83，具体用于在等待触发同步时，判断预设时间长度内是否触发同步，如果是，获取所述同步队列中的所述待叠加信息，并将所述待叠加信息叠加至所述图像数据中。
本发明实施例提供了一种图像处理设备、方法及装置，所述设备包括：图像传感器、现场可编程逻辑门阵列FPGA和处理器CPU；所述FPGA分别与所述图像传感器和所述CPU连接，所述图像传感器与所述CPU连接；所述FPGA，用于通过控制所述图像传感器的输出时序信号，控制所述图像传感器向所述CPU传输图像数据；所述FPGA，还用于向所述CPU传输待叠加信息；所述CPU，用于将所述待叠加信息叠加至所述图像数据中。
由于在本发明实施例中，FPGA通过控制图像传感器的输出时序信号，控制图像传感器向CPU传输图像数据，FPGA向CPU传输待叠加信息，CPU将所述待叠加信息叠加至所述图像数据中。本发明实施例中，FPGA不采集图像数据，降低了设备对FPGA的性能要求，避免了由于FPGA的技术瓶颈导致不能满足使用要求的问题。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (13)

1.一种图像处理设备，其特征在于，所述设备包括：图像传感器、现场可编程逻辑门阵列FPGA和处理器CPU；
所述FPGA分别与所述图像传感器和所述CPU连接，所述图像传感器与所述CPU连接；
所述FPGA，用于通过控制所述图像传感器的输出时序信号，控制所述图像传感器向所述CPU传输图像数据；
所述FPGA，还用于向所述CPU传输待叠加信息；
所述CPU，用于将所述待叠加信息叠加至所述图像数据中。
2.如权利要求1所述的设备，其特征在于，所述CPU，具体用于根据接收到图像数据携带的时间信息和待叠加信息携带的时间信息，确定匹配的图像数据和待叠加信息，将待叠加信息叠加至与其匹配的图像数据中。
3.如权利要求1所述的设备，其特征在于，所述FPGA，具体用于向所述CPU传输伪图像数据，在所述伪图像数据中携带所述待叠加信息。
4.如权利要求1所述的设备，其特征在于，所述FPGA，还用于对双快门参数进行设置及控制工频同步。
5.如权利要求1所述的设备，其特征在于，所述CPU，具体用于当接收到图像数据，确定同步开始，并等待触发同步；当接收到待叠加信息，判断是否同步开始，如果是，将所述待叠加信息添加至同步队列并触发同步；
所述CPU，具体用于在等待触发同步时，判断预设时间长度内是否触发同步，如果是，获取所述同步队列中的所述待叠加信息，并将所述待叠加信息叠加至所述图像数据中。
6.一种图像处理方法，其特征在于，所述方法包括：
接收图像传感器传输的图像数据，其中，所述图像数据是FPGA通过控制所述图像传感器的输出时序信号，控制所述图像传感器传输的；
接收所述FPGA传输的待叠加信息；
将所述待叠加信息叠加至所述图像数据中。
7.如权利要求6所述的方法，其特征在于，所述将所述待叠加信息叠加至所述图像数据中包括：
根据接收到图像数据携带的时间信息和待叠加信息携带的时间信息，确定匹配的图像数据和待叠加信息，将待叠加信息叠加至与其匹配的图像数据中。
8.如权利要求6所述的方法，其特征在于，所述接收所述FPGA传输的待叠加信息包括：
接收所述FPGA传输的伪图像数据，其中，所述伪图像数据中携带所述待叠加信息。
9.如权利要求6所述的方法，其特征在于，所述接收图像传感器传输的图像数据之后，所述方法还包括：
确定同步开始，并等待触发同步；
所述接收所述FPGA传输的待叠加信息之后，所述方法还包括：
判断是否同步开始，如果是，将所述待叠加信息添加至同步队列并触发同步；
所述将所述待叠加信息叠加至所述图像数据中包括：
在等待触发同步时，判断预设时间长度内是否触发同步，如果是，获取所述同步队列中的所述待叠加信息，并将所述待叠加信息叠加至所述图像数据中。
10.一种图像处理装置，其特征在于，所述装置包括：
第一接收模块，用于接收图像传感器传输的图像数据，其中，所述图像数据是FPGA通过控制所述图像传感器的输出时序信号，控制所述图像传感器传输的；
第二接收模块，用于接收所述FPGA传输的待叠加信息；
叠加模块，用于将所述待叠加信息叠加至所述图像数据中。
11.如权利要求10所述的装置，其特征在于，所述叠加模块，具体用于根据接收到图像数据携带的时间信息和待叠加信息携带的时间信息，确定匹配的图像数据和待叠加信息，将待叠加信息叠加至与其匹配的图像数据中。
12.如权利要求10所述的装置，其特征在于，所述第二接收模块，具体用于接收所述FPGA传输的伪图像数据，其中，所述伪图像数据中携带所述待叠加信息。
13.如权利要求10所述的装置，其特征在于，所述装置还包括：
等待模块，用于确定同步开始，并等待触发同步；
所述装置还包括：
添加模块，用于判断是否同步开始，如果是，将所述待叠加信息添加至同步队列并触发同步；
所述叠加模块，具体用于在等待触发同步时，判断预设时间长度内是否触发同步，如果是，获取所述同步队列中的所述待叠加信息，并将所述待叠加信息叠加至所述图像数据中。
CN201911303063.3A 2019-12-17 2019-12-17 一种图像处理设备、方法及装置 Active CN112995493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911303063.3A CN112995493B (zh) 2019-12-17 2019-12-17 一种图像处理设备、方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911303063.3A CN112995493B (zh) 2019-12-17 2019-12-17 一种图像处理设备、方法及装置

Publications (2)

Publication Number Publication Date
CN112995493A true CN112995493A (zh) 2021-06-18
CN112995493B CN112995493B (zh) 2022-08-23

Family

ID=76342342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911303063.3A Active CN112995493B (zh) 2019-12-17 2019-12-17 一种图像处理设备、方法及装置

Country Status (1)

Country Link
CN (1) CN112995493B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001211354A (ja) * 2000-01-26 2001-08-03 Nikon Corp 電子カメラ
CN101426127A (zh) * 2007-10-31 2009-05-06 中国科学院沈阳自动化研究所 一种视频目标发生装置
CN104023182A (zh) * 2013-12-16 2014-09-03 天津天地伟业数码科技有限公司 基于fpga的字符叠加装置及叠加方法
CN108307128A (zh) * 2018-03-21 2018-07-20 中国航空工业集团公司洛阳电光设备研究所 一种视频显示处理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001211354A (ja) * 2000-01-26 2001-08-03 Nikon Corp 電子カメラ
CN101426127A (zh) * 2007-10-31 2009-05-06 中国科学院沈阳自动化研究所 一种视频目标发生装置
CN104023182A (zh) * 2013-12-16 2014-09-03 天津天地伟业数码科技有限公司 基于fpga的字符叠加装置及叠加方法
CN108307128A (zh) * 2018-03-21 2018-07-20 中国航空工业集团公司洛阳电光设备研究所 一种视频显示处理装置

Also Published As

Publication number Publication date
CN112995493B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
JP6401716B2 (ja) スプライススクリーンの立体表示の同期信号処理方法及び装置、スプライススクリーン
US9906320B2 (en) Industrial network apparatus and data communication method
CN110493744A (zh) 一种主从式无线传感器的数据同步采集方法与系统
CN107147465B (zh) 一种面向时间触发网络的交换机时钟同步控制器及控制方法
CN107948463B (zh) 一种相机同步方法、装置及系统
CN107465474A (zh) 数控系统总线设备的时间同步系统及方法
CN109257132A (zh) 一种基于时间同步的多传感器数据感知方法与系统
CN106210503A (zh) 车载以太网通信网络中相机快门同步的控制方法和设备
CN104035901A (zh) 一种ttcan总线对时及发送数据的方法
CN111107248A (zh) 一种多路视频采集的同步系统、方法和采集控制器
CN112995493B (zh) 一种图像处理设备、方法及装置
US20150023395A1 (en) Wireless communication system including frequency hopping electronic devices, and control method and storage medium therefor
CN111372111A (zh) 一种数据确定方法、装置及车载终端
CA2339811C (en) Apparatus controller, device and method for controlling data transmission of digital apparatus, and data transmission control system
JP2003179584A (ja) ネットワークシステムの同期方法
CN114071022B (zh) 一种图像采集设备的控制方法、装置、设备及存储介质
CN114363478B (zh) 信号处理单元、方法、加速单元、电子设备和片上系统
CN205385561U (zh) 一种多屏拼接显示系统
CN104333771B (zh) 视频流的同步控制方法和装置
CN113689707B (zh) 视频数据处理方法、装置以及计算机可读存储介质
CN108769609A (zh) 一种视频显示方法及装置
CN110753189B (zh) 一种相机取像方法及系统
CN103297090B (zh) 工频载波通讯总线的抢占方法和装置
CN110248222B (zh) 一种多窗口同步显示的方法、装置及系统
CN116614199B (zh) 时钟同步方法、装置、从时钟设备、时钟同步系统和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant