CN107786866A - 一种双目视觉图像合成系统及方法 - Google Patents

一种双目视觉图像合成系统及方法 Download PDF

Info

Publication number
CN107786866A
CN107786866A CN201710914429.5A CN201710914429A CN107786866A CN 107786866 A CN107786866 A CN 107786866A CN 201710914429 A CN201710914429 A CN 201710914429A CN 107786866 A CN107786866 A CN 107786866A
Authority
CN
China
Prior art keywords
video camera
camera module
frame
image
picture frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710914429.5A
Other languages
English (en)
Other versions
CN107786866B (zh
Inventor
周学兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jing Ling Technology Co Ltd
Original Assignee
Shenzhen Jing Ling Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jing Ling Technology Co Ltd filed Critical Shenzhen Jing Ling Technology Co Ltd
Priority to CN201710914429.5A priority Critical patent/CN107786866B/zh
Publication of CN107786866A publication Critical patent/CN107786866A/zh
Application granted granted Critical
Publication of CN107786866B publication Critical patent/CN107786866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种双目视觉图像合成系统，包括处理器、代理器、左摄像机模组、右摄像机模组和合成器；所述处理器用于向所述代理器发送拍摄指令；所述代理器用于解析所述拍摄指令，并同时向所述左摄像机模组和所述右摄像机模组发送控制指令；所述左摄像机模组和所述右摄像机模组分别用于根据所述控制指令采集图像帧并输出至所述合成器；所述合成器用于对所述左摄像机模组和所述右摄像机模组采集的图像帧进行合成，并将合成图像输出至所述处理器。另外，本发明公开了一种双目视觉图像合成方法。本发明能够降低左右摄像机模组采集图像帧的不同步的差异程度，提高双目视觉图像合成的准确率。

Description

一种双目视觉图像合成系统及方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种双目视觉图像合成系统及方法。
背景技术
自主机器人或智能机器人应用中，常采用双目视觉算法来进行位置定位及三维空间的构建，而实现双目视觉算法通常需要采用左/右两路摄像头模拟“机器人的眼睛“，以获取周围环境(图像)的各种数据，比如景深信息等。
而左/右两路摄像头在物理位置上分开的，对周围环境图像的获取需先经过CPU对左/右摄像头进行参数配置，左/右摄像头拍摄的图像或视频在送达CPU进行处理前需将左/右两路视频源进行双目合成或拼接处理。其中，左/右摄像头并非上电后一直连续工作，平时处于待机或断电的状态，只有在CPU的激发控制下，才进行图像采集或获取动作。
现有技术中，CPU需要通过左/右摄像头获取图像时，先需通过不同的I2C接口，分时去配置左/右摄像头内部寄存器，设定其工作模式。但由于左/右摄像头工作模式配置时间的差异，左/右摄像头本身响应时间的差异，以及PCB走线的差异等原因，导致左/右摄像头采集的视频帧完全不同步。特别是由于左/右摄像头在CPU控制下间歇性的工作，左/右视频帧不同步问题在趋势上或程度上是随机的，从而导致后期左/右视频帧合成的准确度低下。
发明内容
本发明针对现有技术中存在的问题，提供了一种双目视觉图像合成系统及方法，能够降低左右摄像机模组采集图像帧的不同步的差异程度，提高双目视觉图像合成的准确率。
本发明就上述技术问题而提出的技术方案如下：
一方面，本发明提供一种双目视觉图像合成系统，包括处理器、代理器、左摄像机模组、右摄像机模组和合成器；
所述处理器用于向所述代理器发送拍摄指令；
所述代理器用于解析所述拍摄指令，并同时向所述左摄像机模组和所述右摄像机模组发送控制指令；
所述左摄像机模组和所述右摄像机模组分别用于根据所述控制指令采集图像帧并输出至所述合成器；
所述合成器用于对所述左摄像机模组和所述右摄像机模组采集的图像帧进行合成，并将合成图像输出至所述处理器。
进一步地，所述代理器包括代理控制器和代理寄存器；
所述处理器还用于发送读取指令；
所述代理控制器用于根据所述读取指令设置所述代理寄存器，以读取所述处理器所要读取的摄像机模组的配置信息，并反馈给所述处理器。
进一步地，所述左摄像机模组输出第一图像帧，所述右摄像机模组输出第二图像帧；
所述合成器包括缓冲模块、视频帧合成模块和视频帧同步控制模块；
所述视频帧同步控制模块用于当检测到所述第一图像帧和所述第二图像帧在有效时间内输出时，获取第一有效图像帧和第二有效图像帧，并将所述第一有效图像帧和所述第二有效图像帧分别按图像行有序存入所述缓冲模块；
所述视频帧合成模块用于从所述缓冲模块中依次读取所述第一有效图像帧和所述第二有效图像帧相对应的图像行，并依次对所述相对应的图像行进行合成，以将合成图像输出至所述处理器。
进一步地，所述左摄像机模组和所述右摄像机模组在接收到所述控制指令后分别输出同步信号；
所述视频帧同步控制模块具体用于若在所述左摄像机模组输出同步信号到输出所述第一图像帧的第一条图像行的时间内，检测到所述右摄像机模组输出同步信号，则判定在有效时间内所述第一图像帧超前所述第二图像帧输出，并设置超前标志为1；若在所述右摄像机模组输出同步信号到输出所述第二图像帧的第一条图像行的时间内，检测到所述左摄像机模组输出同步信号，则判定在有效时间内所述第二图像帧超前所述第一图像帧输出，并设置超前标志为0。
进一步地，所述视频帧同步控制模块包括图像帧过滤计数器；
所述视频帧同步控制模块具体用于在所述超前标志为1时，通过所述图像帧过滤计数器对所述左摄像机模组在时间上连续输出的第一图像帧进行统计，并在统计的值达到预设值时，将连续输出的第一图像帧作为第一有效图像帧；在所述超前标志为0时，通过所述图像帧过滤计数器对所述右摄像机模组在时间上连续输出的第二图像帧进行统计，并在统计的值达到预设值时，将连续输出的第二图像帧作为第二有效图像帧。
进一步地，所述缓冲模块包括第一行缓冲写控制单元、第二行缓冲写控制单元、第一行缓冲单元、第二行缓冲单元、第一行缓冲读控制单元和第二行缓冲读控制单元；
所述视频帧同步控制模块具体用于控制所述第一行缓冲写控制单元将所述第一有效图像帧按图像行有序存入所述第一行缓冲单元，以及控制所述第二行缓冲写控制单元将所述第二有效图像帧按图像行有序存入所述第二行缓冲单元；进而控制所述第一行缓冲读控制单元从所述第一行缓冲单元中依次读取第一有效图像帧的图像行至所述视频帧合成模块，以及控制所述第二行缓冲读控制单元从所述第二行缓冲单元中读取相对应的第二有效图像帧的图像行至视频帧合成模块。
进一步地，所述系统还包括锁相环；
所述锁相环用于实现图像帧的采集速率与合成图像的输出速率的匹配。
另一方面，本发明提供一种双目视觉图像合成方法，所述方法应用于上述述双目视觉图像合成系统中，所述方法包括：
处理器向代理器发送拍摄指令；
所述代理器解析所述拍摄指令，并同时向左摄像机模组和右摄像机模组发送控制指令；
所述左摄像机模组和所述右摄像机模组分别根据所述控制指令采集图像帧并输出至所述合成器；
所述合成器对所述左摄像机模组和所述右摄像机模组采集的图像帧进行合成，并将合成图像输出至所述处理器。
进一步地，所述左摄像机模组输出第一图像帧，所述右摄像机模组输出第二图像帧；
所述合成器对所述左摄像机模组和所述右摄像机模组采集的图像帧进行合成，并将合成图像输出至所述处理器，具体包括：
当检测到所述第一图像帧和所述第二图像帧在有效时间内输出时，获取第一有效图像帧和第二有效图像帧；
将所述第一有效图像帧和所述第二有效图像帧分别按图像行有序进行缓存；
从所述缓冲模块中依次读取所述第一有效图像帧和所述第二有效图像帧相对应的图像行；
依次对所述相对应的图像行进行合成，以将合成图像输出至所述处理器。
进一步地，所述当检测到所述第一图像帧和所述第二图像帧在有效时间内输出时，获取第一有效图像帧和第二有效图像帧，具体包括：
分别对所述左摄像机模组和所述右摄像机模组的输出进行检测；
若在所述左摄像机模组输出同步信号到输出所述第一图像帧的第一条图像行的时间内，检测到所述右摄像机模组输出同步信号，则判定在有效时间内所述第一图像帧超前所述第二图像帧输出；对所述左摄像机模组在时间上连续输出的第一图像帧进行统计，并在统计的值达到预设值时，将连续输出的第一图像帧作为第一有效图像帧；
若在所述右摄像机模组输出同步信号到输出所述第二图像帧的第一条图像行的时间内，检测到所述左摄像机模组输出同步信号，则判定在有效时间内所述第二图像帧超前所述第一图像帧输出，并设置超前标志为0；对所述右摄像机模组在时间上连续输出的第二图像帧进行统计，并在统计的值达到预设值时，将连续输出的第二图像帧作为第二有效图像帧。
本发明实施例提供的技术方案带来的有益效果是：
通过在处理器与左右摄像机模组之间设置代理器，使代理器对处理器所发送的指令进行解析，实现对左右摄像机模组工作模式的并发配置，降低左右摄像机模组采集图像帧的不同步的差异程度，提高双目视觉图像合成的准确率；在对左右摄像机模组输出的图像帧进行合成时，无需采用外部存储器进行缓存管理，同时通过特别的图像帧同步管理机制、图像帧过滤机制，保证图像帧的准确合成；另外，有效的降低设计成本、设计难度，达到低功耗要求，提升产品的整体竞争力。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的双目视觉图像合成系统的一种结构示意图；
图2是本发明实施例提供的双目视觉图像合成系统中代理模块的一种结构示意图；
图3是本发明实施例提供的双目视觉图像合成系统的另一种结构示意图；
图4是本发明实施例提供的双目视觉图像合成系统中第一视频帧超前第二视频帧时合成图像的示意图；
图5是本发明实施例提供的双目视觉图像合成系统中第二视频帧超前第一视频帧时合成图像的示意图；
图6是本发明实施例提供的双目视觉图像合成方法的一种流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种双目视觉图像合成系统，参见图1，该系统包括处理器1、代理器2、左摄像机模组3、右摄像机模组4和合成器5；
所述处理器1用于向所述代理器2发送拍摄指令；
所述代理器2用于解析所述拍摄指令，并同时向所述左摄像机模组3和所述右摄像机模组4发送控制指令；
所述左摄像机模组3和所述右摄像机模组4分别用于根据所述控制指令采集图像帧并输出至所述合成器5；
所述合成器5用于对所述左摄像机模组3和所述右摄像机模组4采集的图像帧进行合成，并将合成图像输出至所述处理器1。
需要说明的是，针对现有技术中CPU分时控制左右摄像机模组的工作模式，造成左右摄像机模组在配置时间上的差异问题，本实施例在处理器和左右摄像机模组之间设置一个代理器。其中，处理器为CPU，代理器为I2C代理器且设置在FPGA(Field－ProgrammableGate Array，现场可编程逻辑门阵列)中。代理器通过独立的I2C接口和I2C总线与处理器连接，且通过I2C_L接口和I2C总线与左摄像机模组连接，通过I2C_R接口和I2C总线与右摄像机模组连接。而左右摄像机模组的图像帧传输接口适用于各种图像传输接口，例如DVP、MIPI等。
代理器在接收到处理器通过I2C总线发过来的拍摄指令时，对拍摄指令进行实时解析，并将控制指令通过I2C_L接口和I2C_R接口同时传送给左右摄像机模组，以控制左右摄像机模组同时采集图像帧。即使在左右摄像机模组的I2C地址完全相同的情况下，处理器也可通过代理器实现对左右摄像机模组的内部寄存器的工作模式的同时设定。这种对左右摄像机模组的工作模式的并发配置方式，可大幅降低左右摄像机模组采集图像帧不同步的差异程度，以将差异程度控制在数个图像行范围内。
进一步地，如图2所示，所述代理器2包括代理控制器21和代理寄存器22；
所述处理器1还用于向所述代理控制器21发送读取指令；
所述代理控制器21用于根据所述读取指令设置所述代理寄存器22，以读取所述处理器1所要读取的摄像机模组的配置信息，并反馈给所述处理器1。
需要说明的是，代理器中设置有内部寄存器，即代理寄存器，可进行模式控制与状态访问，且代理寄存器的I2C地址设计为区分于左右摄像机模组的内部寄存器的I2C地址。代理器中还设置有代理控制器，实现处理器I2C总线到左右摄像机模组两个I2C总线的路由控制。另外，如图2所示，代理器2所在的代理模块6还设置有三态门23和复用器24，代理控制器21分别通过三态门23与左摄像机模组、右摄像机模组连接，代理控制器还通过复用器、三态门与处理器连接，代理控制器还与代理寄存器连接。三态门23用于I2C双向信号的输入/输出控制，复用器24用于将多个输入的数据流结合为单个输出的数据流。
当处理器需要对左右摄像机模组的内部寄存器进行配置时，代理控制器对处理器发送的拍摄指令进行解析，实现处理器I2C总线到左右摄像机模组I2C总线的并发路由；当处理器需要读取左摄像机模组或右摄像机模组的配置信息时，代理器根据处理器发送的读取指令设置代理寄存器，告知代理器当前读取哪个摄像机模组的配置信息，代理控制器将当前选择的摄像机模组的I2C总线连通到处理器I2C总线。此外，代理器还实现对左右摄像机模组和处理器I2C总线的三态控制，实现将硬件中各模块的工作状态上报给处理器。
进一步地，所述左摄像机模组输出第一图像帧，所述右摄像机模组输出第二图像帧。
如图3所示，所述合成器5包括缓冲模块、视频帧合成模块51和视频帧同步控制模块52；
所述视频帧同步控制模块52用于当检测到所述第一图像帧和所述第二图像帧在有效时间内输出时，获取第一有效图像帧和第二有效图像帧，并将所述第一有效图像帧和所述第二有效图像帧分别按图像行有序存入所述缓冲模块；
所述视频帧合成模块51用于从所述缓冲模块中依次读取所述第一有效图像帧和所述第二有效图像帧相对应的图像行，并依次对所述相对应的图像行进行合成，以将合成图像输出至所述处理器。
需要说明的是，针对现有技术中左右摄像机模组在不同时刻开启时，左右摄像机模组输出的图像帧的时间量不一致的问题，本实施例特别设计有图像帧同步检测、管理机制，为避免摄像头启动后输出不稳定问题，特别设计有图像帧过滤机制，从而保证合成图像的左右图像行对位准确，提高合成准确率。
其中，缓冲模块、视频帧合成模块和视频帧同步控制模块均设置在FPGA中，即本实施例中的代理器和合成器位于同一个芯片中。对于左右摄像机模组采集的图像帧，通过设计的缓冲模块实现缓冲管理。本实施例无需额外的外部存储器DDR(Double Data Rate，双倍速率同步动态随机存储器)来实现帧缓存管理，只需少量SRAM(Static Random AccessMemory，静态随机存取存储器)即可实现图像帧对齐合成的目的，有效的降低设计成本、设计难度，且能达到低功耗要求。
进一步地，所述左摄像机模组和所述右摄像机模组在接收到所述控制指令后分别输出同步信号；
所述视频帧同步控制模块具体用于若在所述左摄像机模组输出同步信号到输出其第一条图像行的时间内，检测到所述右摄像机模组输出同步信号，则判定在有效时间内所述第一图像帧超前所述第二图像帧输出，并设置超前标志为1；若在所述右摄像机模组输出同步信号到输出其第一条图像行的时间内，检测到所述左摄像机模组输出同步信号，则判定在有效时间内所述第二图像帧超前所述第一图像帧输出，并设置超前标志为0。
进一步地，所述视频帧同步控制模块包括图像帧过滤计数器(图中未示出)。上电复位后或者超前标志发生切换时，图像帧过滤计数器将清零。
所述视频帧同步控制模块具体用于在所述超前标志为1时，通过所述图像帧过滤计数器对所述左摄像机模组在时间上连续输出的第一图像帧进行统计，并在统计的值达到预设值时，将连续输出的第一图像帧作为第一有效图像帧；在所述超前标志为0时，通过所述图像帧过滤计数器对所述右摄像机模组在时间上连续输出的第二图像帧进行统计，并在统计的值达到预设值时，将连续输出的第二图像帧作为第二有效图像帧。
下面对图像帧同步检测、管理机制及图像帧过滤机制进行详细描述：
上电初始化后，默认右摄像机模组提前输出图像帧，设定超前标志camera_advance_flag＝0。
在连续时间上，在左摄像机模组输出同步信号到其第一条图像行到来的时间内，判断是否检测到右摄像机模组输出同步信号；若能检测到，则设定标志位left_advance_right_flag＝1，否则为0。
与此同时，在右摄像机模组输出同步信号到其第一条图像行到来的时间内，判断是否检测到左摄像机模组输出同步信号；若能检测到，则设定标志位right_advance_left_flag＝1，否则为0。
判断left_advance_right_flag、right_advance_left_flag两个标志位；若left_advance_right_flag＝＝1，则camera_advance_flag修改为1，表示目前检测到左摄像机模组输出的第一图像帧将在时间上超前于右摄像机模组输出的第二图像帧；若right_advance_left_flag＝＝1，则camera_advance_flag保持为0，表示目前检测到右摄像机模组输出的第二图像帧将在时间上超前于左摄像机模组输出的第一图像帧。
在camera_advance_flag＝＝1时间范围内，图像帧过滤计数器将针对左摄像机模组输出的时间上连续的第一图像帧进行统计；在camera_advance_flag＝＝0时间范围内，图像帧过滤计数器将针对右摄像机模组输出的时间上连续的第二图像帧进行统计。当图像帧过滤计数器统计的值达到预设值(具体数量值可设定)时，设定有效图像帧开始标志frame_start为有效状态。
当有效图像帧开始标志frame_start有效时，将左右摄像机模组采集的图像帧按图像行有序地存入缓冲模块中各自对应的行缓冲区中，行缓冲区根据硬件自身能力，其深度可做适当调整。
当有效图像帧开始标志frame_start有效，且camera_advance_flag＝＝1时，表示当前时间范围内，左摄像机模组采集的第一图像帧在时间上超前于右摄像机模组采集的第二图像帧；若检测到右摄像机模组采集第二图像帧的第一条有效图像行已存入行缓冲区中时，开始启动第一图像帧和第二图像帧的合成处理，在双目合成图像帧一条图像行时间内，先从第一图像帧所对应的行缓冲区中读取第一条图像行数据，再从第二图像帧所对应的行缓冲区中读取第一条图像行数据进行拼接输出，如图4所示。如此反复，直到第一图像帧和第二图像帧的最后一条图像行拼接输出。
当有效图像帧开始标志frame_start有效，且camera_advance_flag＝＝0时，表示当前时间范围内，右摄像机模组采集的第二图像帧在时间上超前于左摄像机模组采集的第一图像帧；若检测到左摄像机模组采集第一图像帧的第一条有效图像行已存入行缓冲区中时，开始启动第一图像帧和第二图像帧的合成处理，在双目合成图像帧一条图像行时间内，先从第二图像帧所对应的行缓冲区中读取第一条图像行数据，再从第一图像帧所对应的行缓冲区中读取第一条图像行数据进行拼接输出，如图5所示，如此反复，直到第一图像帧和第二图像帧的最后一条图像行拼接输出。
进一步地，如图3所示，所述缓冲模块包括第一行缓冲写控制单元53、第二行缓冲写控制单元54、第一行缓冲单元55、第二行缓冲单元56、第一行缓冲读控制单元57和第二行缓冲读控制单元58；
所述视频帧同步控制模块52具体用于控制所述第一行缓冲写控制单元53将所述第一有效图像帧按图像行有序存入所述第一行缓冲单元55，以及控制所述第二行缓冲写控制单元54将所述第二有效图像帧按图像行有序存入所述第二行缓冲单元56；进而控制所述第一行缓冲读控制单元57从所述第一行缓冲单元55中依次读取第一有效图像帧的图像行至所述视频帧合成模块51，以及控制所述第二行缓冲读控制单元58从所述第二行缓冲单元56中读取相对应的第二有效图像帧的图像行至视频帧合成模块51。
其中，行缓冲写控制单元用于检测并解析器对应的摄像机模组的接口数据，并将检测到的有效图像行存入其对应的行缓冲单元。行缓冲单元用于实现其对应的图像行数据的缓存。行缓冲读控制单元用于在视频帧同步控制模块的控制下，分时从其对应的行缓冲单元中读取图像行数据。
进一步地，如图3所示，所述系统还包括锁相环59；
所述锁相环59用于实现图像帧的采集速率与合成图像的输出速率的匹配。
需要说明的是，锁相环设置在FPGA中，为保证双目合成后的图像帧，与前端左右摄像机模组采集的图像帧在速率上的一致，在硬件上采用PLL(锁相环)来实现双目合成前/后速率的匹配。假定左右摄像机模组采集输出的图像帧分辨率均为N行*M列，则合成后的图像帧为N行*2M列，在传送给处理器时，合成的图像帧传输速率为左右摄像机模组采集输出图像帧的2倍。
本发明实施例通过在处理器与左右摄像机模组之间设置代理器，使代理器对处理器所发送的指令进行解析，实现对左右摄像机模组工作模式的并发配置，降低左右摄像机模组采集图像帧的不同步的差异程度，提高双目视觉图像合成的准确率；在对左右摄像机模组输出的图像帧进行合成时，无需采用外部存储器进行缓存管理，同时通过特别的图像帧同步管理机制、图像帧过滤机制，保证图像帧的准确合成；另外，有效的降低设计成本、设计难度，达到低功耗要求，提升产品的整体竞争力。
相应的，本发明实施例提供了一种双目视觉图像合成方法，能够应用于上述述双目视觉图像合成系统中，如图6所示，所述方法包括：
S1、处理器向代理器发送拍摄指令；
S2、所述代理器解析所述拍摄指令，并同时向左摄像机模组和右摄像机模组发送控制指令；
S3、所述左摄像机模组和所述右摄像机模组分别根据所述控制指令采集图像帧并输出至所述合成器；
S4、所述合成器对所述左摄像机模组和所述右摄像机模组采集的图像帧进行合成，并将合成图像输出至所述处理器。
进一步地，所述左摄像机模组输出第一图像帧，所述右摄像机模组输出第二图像帧；
所述合成器对所述左摄像机模组和所述右摄像机模组采集的图像帧进行合成，并将合成图像输出至所述处理器，具体包括：
当检测到所述第一图像帧和所述第二图像帧在有效时间内输出时，获取第一有效图像帧和第二有效图像帧；
将所述第一有效图像帧和所述第二有效图像帧分别按图像行有序进行缓存；
从所述缓冲模块中依次读取所述第一有效图像帧和所述第二有效图像帧相对应的图像行；
依次对所述相对应的图像行进行合成，以将合成图像输出至所述处理器。
进一步地，所述当检测到所述第一图像帧和所述第二图像帧在有效时间内输出时，获取第一有效图像帧和第二有效图像帧，具体包括：
分别对所述左摄像机模组和所述右摄像机模组的输出进行检测；
若在所述左摄像机模组输出同步信号到输出所述第一图像帧的第一条图像行的时间内，检测到所述右摄像机模组输出同步信号，则判定在有效时间内所述第一图像帧超前所述第二图像帧输出；对所述左摄像机模组在时间上连续输出的第一图像帧进行统计，并在统计的值达到预设值时，将连续输出的第一图像帧作为第一有效图像帧；
若在所述右摄像机模组输出同步信号到输出所述第二图像帧的第一条图像行的时间内，检测到所述左摄像机模组输出同步信号，则判定在有效时间内所述第二图像帧超前所述第一图像帧输出，并设置超前标志为0；对所述右摄像机模组在时间上连续输出的第二图像帧进行统计，并在统计的值达到预设值时，将连续输出的第二图像帧作为第二有效图像帧。
本发明实施例通过在处理器与左右摄像机模组之间设置代理器，使代理器对处理器所发送的指令进行解析，实现对左右摄像机模组工作模式的并发配置，降低左右摄像机模组采集图像帧的不同步的差异程度，提高双目视觉图像合成的准确率；在对左右摄像机模组输出的图像帧进行合成时，无需采用外部存储器进行缓存管理，同时通过特别的图像帧同步管理机制、图像帧过滤机制，保证图像帧的准确合成；另外，有效的降低设计成本、设计难度，达到低功耗要求，提升产品的整体竞争力。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种双目视觉图像合成系统，其特征在于，包括处理器、代理器、左摄像机模组、右摄像机模组和合成器；
所述处理器用于向所述代理器发送拍摄指令；
所述代理器用于解析所述拍摄指令，并同时向所述左摄像机模组和所述右摄像机模组发送控制指令；
所述左摄像机模组和所述右摄像机模组分别用于根据所述控制指令采集图像帧并输出至所述合成器；
所述合成器用于对所述左摄像机模组和所述右摄像机模组采集的图像帧进行合成，并将合成图像输出至所述处理器。
2.如权利要求1所述的双目视觉图像合成系统，其特征在于，所述代理器包括代理控制器和代理寄存器；
所述处理器还用于发送读取指令；
所述代理控制器用于根据所述读取指令设置所述代理寄存器，以读取所述处理器所要读取的摄像机模组的配置信息，并反馈给所述处理器。
3.如权利要求1所述的双目视觉图像合成系统，其特征在于，所述左摄像机模组输出第一图像帧，所述右摄像机模组输出第二图像帧；
所述合成器包括缓冲模块、视频帧合成模块和视频帧同步控制模块；
所述视频帧同步控制模块用于当检测到所述第一图像帧和所述第二图像帧在有效时间内输出时，获取第一有效图像帧和第二有效图像帧，并将所述第一有效图像帧和所述第二有效图像帧分别按图像行有序存入所述缓冲模块；
所述视频帧合成模块用于从所述缓冲模块中依次读取所述第一有效图像帧和所述第二有效图像帧相对应的图像行，并依次对所述相对应的图像行进行合成，以将合成图像输出至所述处理器。
4.如权利要求3所述的双目视觉图像合成系统，其特征在于，所述左摄像机模组和所述右摄像机模组在接收到所述控制指令后分别输出同步信号；
所述视频帧同步控制模块具体用于若在所述左摄像机模组输出同步信号到输出其第一条图像行的时间内，检测到所述右摄像机模组输出同步信号，则判定在有效时间内所述第一图像帧超前所述第二图像帧输出，并设置超前标志为1；若在所述右摄像机模组输出同步信号到输出其第一条图像行的时间内，检测到所述左摄像机模组输出同步信号，则判定在有效时间内所述第二图像帧超前所述第一图像帧输出，并设置超前标志为0。
5.如权利要求4所述的双目视觉图像合成系统，其特征在于，所述视频帧同步控制模块包括图像帧过滤计数器；
所述视频帧同步控制模块具体用于在所述超前标志为1时，通过所述图像帧过滤计数器对所述左摄像机模组在时间上连续输出的第一图像帧进行统计，并在统计的值达到预设值时，将连续输出的第一图像帧作为第一有效图像帧；在所述超前标志为0时，通过所述图像帧过滤计数器对所述右摄像机模组在时间上连续输出的第二图像帧进行统计，并在统计的值达到预设值时，将连续输出的第二图像帧作为第二有效图像帧。
6.如权利要求5所述的双目视觉图像合成系统，其特征在于，所述缓冲模块包括第一行缓冲写控制单元、第二行缓冲写控制单元、第一行缓冲单元、第二行缓冲单元、第一行缓冲读控制单元和第二行缓冲读控制单元；
所述视频帧同步控制模块具体用于控制所述第一行缓冲写控制单元将所述第一有效图像帧按图像行有序存入所述第一行缓冲单元，以及控制所述第二行缓冲写控制单元将所述第二有效图像帧按图像行有序存入所述第二行缓冲单元；进而控制所述第一行缓冲读控制单元从所述第一行缓冲单元中依次读取第一有效图像帧的图像行至所述视频帧合成模块，以及控制所述第二行缓冲读控制单元从所述第二行缓冲单元中读取相对应的第二有效图像帧的图像行至视频帧合成模块。
7.如权利要求5所述的双目视觉图像合成系统，其特征在于，所述系统还包括锁相环；
所述锁相环用于实现图像帧的采集速率与合成图像的输出速率的匹配。
8.一种双目视觉图像合成方法，其特征在于，所述方法应用于如权利要求1至7任一项所述的双目视觉图像合成系统，所述方法包括：
处理器向代理器发送拍摄指令；
所述代理器解析所述拍摄指令，并同时向左摄像机模组和右摄像机模组发送控制指令；
所述左摄像机模组和所述右摄像机模组分别根据所述控制指令采集图像帧并输出至所述合成器；
所述合成器对所述左摄像机模组和所述右摄像机模组采集的图像帧进行合成，并将合成图像输出至所述处理器。
9.如权利要求8所述的双目视觉图像合成方法，其特征在于，所述左摄像机模组输出第一图像帧，所述右摄像机模组输出第二图像帧；
所述合成器对所述左摄像机模组和所述右摄像机模组采集的图像帧进行合成，并将合成图像输出至所述处理器，具体包括：
当检测到所述第一图像帧和所述第二图像帧在有效时间内输出时，获取第一有效图像帧和第二有效图像帧；
将所述第一有效图像帧和所述第二有效图像帧分别按图像行有序进行缓存；
从所述缓冲模块中依次读取所述第一有效图像帧和所述第二有效图像帧相对应的图像行；
依次对所述相对应的图像行进行合成，以将合成图像输出至所述处理器。
10.如权利要求9所述的双目视觉图像合成方法，其特征在于，所述当检测到所述第一图像帧和所述第二图像帧在有效时间内输出时，获取第一有效图像帧和第二有效图像帧，具体包括：
分别对所述左摄像机模组和所述右摄像机模组的输出进行检测；
若在所述左摄像机模组输出同步信号到输出其第一条图像行的时间内，检测到所述右摄像机模组输出同步信号，则判定在有效时间内所述第一图像帧超前所述第二图像帧输出；对所述左摄像机模组在时间上连续输出的第一图像帧进行统计，并在统计的值达到预设值时，将连续输出的第一图像帧作为第一有效图像帧；
若在所述右摄像机模组输出同步信号到输出其第一条图像行的时间内，检测到所述左摄像机模组输出同步信号，则判定在有效时间内所述第二图像帧超前所述第一图像帧输出，并设置超前标志为0；对所述右摄像机模组在时间上连续输出的第二图像帧进行统计，并在统计的值达到预设值时，将连续输出的第二图像帧作为第二有效图像帧。
CN201710914429.5A 2017-09-30 2017-09-30 一种双目视觉图像合成系统及方法 Active CN107786866B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710914429.5A CN107786866B (zh) 2017-09-30 2017-09-30 一种双目视觉图像合成系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710914429.5A CN107786866B (zh) 2017-09-30 2017-09-30 一种双目视觉图像合成系统及方法

Publications (2)

Publication Number Publication Date
CN107786866A true CN107786866A (zh) 2018-03-09
CN107786866B CN107786866B (zh) 2020-05-19

Family

ID=61433671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710914429.5A Active CN107786866B (zh) 2017-09-30 2017-09-30 一种双目视觉图像合成系统及方法

Country Status (1)

Country Link
CN (1) CN107786866B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112770046A (zh) * 2020-12-21 2021-05-07 深圳市瑞立视多媒体科技有限公司 双目usb相机的控制sdk的生成方法及双目usb相机的控制方法
CN113949784A (zh) * 2021-09-03 2022-01-18 北京旷视科技有限公司 同步成像控制方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101808250A (zh) * 2009-02-13 2010-08-18 北京邮电大学 基于双路视觉的立体影像合成方法及系统
CN102316253A (zh) * 2010-07-05 2012-01-11 东莞德英电子通讯设备有限公司 一种立体数码相机及同步拍摄方法
WO2014180255A1 (zh) * 2013-10-22 2014-11-13 中兴通讯股份有限公司 一种数据处理方法、装置、计算机存储介质及用户终端
CN105430368A (zh) * 2014-09-22 2016-03-23 中兴通讯股份有限公司 一种两视点立体图像合成方法及系统
CN106162150A (zh) * 2016-09-30 2016-11-23 维沃移动通信有限公司 一种拍照方法及移动终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101808250A (zh) * 2009-02-13 2010-08-18 北京邮电大学 基于双路视觉的立体影像合成方法及系统
CN102316253A (zh) * 2010-07-05 2012-01-11 东莞德英电子通讯设备有限公司 一种立体数码相机及同步拍摄方法
WO2014180255A1 (zh) * 2013-10-22 2014-11-13 中兴通讯股份有限公司 一种数据处理方法、装置、计算机存储介质及用户终端
CN105430368A (zh) * 2014-09-22 2016-03-23 中兴通讯股份有限公司 一种两视点立体图像合成方法及系统
CN106162150A (zh) * 2016-09-30 2016-11-23 维沃移动通信有限公司 一种拍照方法及移动终端

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112770046A (zh) * 2020-12-21 2021-05-07 深圳市瑞立视多媒体科技有限公司 双目usb相机的控制sdk的生成方法及双目usb相机的控制方法
CN112770046B (zh) * 2020-12-21 2022-04-01 深圳市瑞立视多媒体科技有限公司 双目usb相机的控制sdk的生成方法及双目usb相机的控制方法
CN114615424A (zh) * 2020-12-21 2022-06-10 深圳市瑞立视多媒体科技有限公司 一种双目usb相机的控制sdk的生成方法及双目usb相机的控制方法
CN114615425A (zh) * 2020-12-21 2022-06-10 深圳市瑞立视多媒体科技有限公司 双目usb相机的控制sdk的生成方法及双目usb相机的控制方法
CN114615425B (zh) * 2020-12-21 2024-04-16 深圳市瑞立视多媒体科技有限公司 双目usb相机的控制方法
CN114615424B (zh) * 2020-12-21 2024-05-21 深圳市瑞立视多媒体科技有限公司 一种双目usb相机的控制sdk的生成方法及双目usb相机的控制方法
CN113949784A (zh) * 2021-09-03 2022-01-18 北京旷视科技有限公司 同步成像控制方法、装置及存储介质

Also Published As

Publication number Publication date
CN107786866B (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
TWI713907B (zh) 基於cpu、gpu及fpga架構的自動光學檢測系統
CN109413392B (zh) 一种嵌入式多通道视频图像采集与并行处理的系统及方法
US4800431A (en) Video stream processing frame buffer controller
US9813783B2 (en) Multi-camera dataset assembly and management with high precision timestamp requirements
CN103595924B (zh) 一种基于Cameralink的图像融合系统及其方法
CN107817217B (zh) 一种适用于lcm自动光学检测的图像加速处理系统
CN107977988A (zh) 视频目标跟踪系统、方法、所述系统的控制板
CN107786866A (zh) 一种双目视觉图像合成系统及方法
CN112256627A (zh) 一种光电跟踪系统高清高帧频实时图像处理平台及方法
CN105898521A (zh) 弹幕添加装置和方法
CN107861906A (zh) 一种fpga与arm处理器的高速数据交互系统及方法
CN104883517A (zh) 一种对三路高分辨率视频流进行叠加的系统和方法
CN106851183A (zh) 基于fpga的多路视频处理系统及其方法
CN105898122B (zh) 一种光电感知系统
CN213879937U (zh) 一种基于Zynq的实时多路图像拼接装置
CN207503284U (zh) 图像边缘检测系统
CN203722737U (zh) 一拖多个成像传感器同步成像的一体化相机电路
CN206195927U (zh) 一种用于手势图像实时处理的装置
CN208691415U (zh) 多通道实时高清图像传输系统
CN205540060U (zh) 一种多功能景观亮化控制装置
CN205680092U (zh) 双口ram共享接口电路
CN218959033U (zh) 一种低延迟抗旋转图像采集装置
CN203675196U (zh) 网络控制3g-sdi高清字符叠加器
CN209044332U (zh) 同步处理电路、同步处理装置以及同步处理系统
CN209402618U (zh) 一种基于fpga采集工业相机图像的usb传输装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant