CN107613262A - 一种视觉信息处理系统与方法 - Google Patents
一种视觉信息处理系统与方法 Download PDFInfo
- Publication number
- CN107613262A CN107613262A CN201710932144.4A CN201710932144A CN107613262A CN 107613262 A CN107613262 A CN 107613262A CN 201710932144 A CN201710932144 A CN 201710932144A CN 107613262 A CN107613262 A CN 107613262A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- information
- processing
- submodule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Studio Devices (AREA)
Abstract
本申请的目的是提供一种视觉信息处理系统或方法;所述系统包括摄像模块、控制模块及与所述控制模块通过高速数据总线连接的计算模块,其中,所述摄像模块包括用于采集图像信息的一个或多个摄像头;所述控制模块包括所述图像接收子模块用于接收从所述一个或多个摄像头中的目标摄像头中采集到的目标图像信息,还包括所述图像前期处理子模块用于对所述目标图像信息进行图像前期处理;所述计算模块包括用于对经过所述前期处理的目标图像信息进行图像后期处理的图像后期处理子模块。与现有技术相比,本申请可以实现对多种视觉功能的集成处理,使得视觉信息处理更加灵活、并具有较高的功能扩展性,同时,在整体上有效地节约了设备部署成本。
Description
技术领域
本申请涉及自动驾驶领域,尤其涉及一种视觉信息处理系统技术。
背景技术
在现有技术中,对于视觉信息的处理通常是基于单一功能的单一控制器完成的,即不同场景下的视觉功能对应的视觉信息处理是相对独立的。例如,机器人、自动驾驶等人工智能需要实现多种视觉功能时,通常会为每一种视觉功能分别匹配独立的摄像装置和控制器,如,在自动驾驶技术中,若自动驾驶车辆同时配置有360环视系统和视觉定位系统,则需要为360环视系统匹配由4颗鱼眼摄像头及与该摄像头匹配的控制器,同时还需要为视觉定位系统另行配置前视和后视两颗摄像头及与该摄像头匹配的控制器。因此,当需要实现的视觉功能增加或调整时,也需要相应增加或是调整相应的硬件配置,使得视觉信息处理的部署成本较高,资源消耗较大,并且每一组摄像装置和控制器对应的处理功能单一、灵活性较差、扩展性不高。
发明内容
本申请的目的是提供一种视觉信息处理系统与方法。
根据本申请的一个方面,提供了一种视觉信息处理系统,其中,所述系统包括摄像模块、控制模块及与所述控制模块通过高速数据总线连接的计算模块,其中,
所述摄像模块包括用于采集图像信息的一个或多个摄像头;
所述控制模块包括图像接收子模块和图像前期处理子模块,其中,所述图像接收子模块用于接收从所述一个或多个摄像头中的目标摄像头中采集到的目标图像信息,所述图像前期处理子模块用于对所述目标图像信息进行图像前期处理;
所述计算模块包括图像后期处理子模块,所述图像后期处理子模块用于对经过所述前期处理的目标图像信息进行图像后期处理。
根据本申请的另一个方面,提供了一种在系统中进行视觉信息处理的方法,其中,所述系统包括摄像模块、控制模块及与所述控制模块通过高速数据总线连接的计算模块,所述方法包括:
所述控制模块接收利用所述摄像模块中目标摄像头采集到的目标图像信息;对所述目标图像信息进行图像前期处理;并将经过所述图像前期处理的目标图像信息发送至计算模块;
所述计算模块接收所述经过所述前期处理的目标图像信息,并对所述经过所述前期处理的目标图像信息进行图像后期处理。
根据本申请的另一方面,还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序可被处理器执行以下操作:
所述控制模块接收利用所述摄像模块中目标摄像头采集到的目标图像信息;对所述目标图像信息进行图像前期处理;并将经过所述图像前期处理的目标图像信息发送至计算模块;
所述计算模块接收所述经过所述前期处理的目标图像信息,并对所述经过所述前期处理的目标图像信息进行图像后期处理。
与现有技术相比,本申请提供了一种异构计算的视觉信息处理系统,该系统包括摄像模块、控制模块及与控制模块通过高速数据总线连接的计算模块,在此,将控制模块具有的可进行大规模并行运算、可编程的灵活性的特性与计算模块具有的可进行复杂、融合计算的优势相结合,实现对多种视觉功能的集成处理,突破了现有的视觉功能处理一对一的局限性,打破了机器人、自动驾驶等人工智能技术中在实现多种视觉功能时,各种视觉功能处理相对孤立、处理功能单一的弊端,使得视觉信息处理更加灵活、并具有较高的功能扩展性,同时,在整体上有效地节约了设备部署成本,降低了资源消耗。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出根据本申请一个方面的一种视觉信息处理系统的示意图;
图2示出根据本申请一个方面的一种在系统中进行视觉信息处理的方法流程图;
图3示出了可被用于实施本申请中所述的各个实施例的示例性系统。
图4示出根据本申请一个方面的一个实施例的一种视觉信息处理系统的示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
图1示出根据本申请一个方面的一种视觉信息处理系统1的示意图。
其中,所述系统1包括摄像模块11、控制模块12及与所述控制模块通过高速数据总线连接的计算模块13。其中,所述摄像模块11包括用于采集图像信息的一个或多个摄像头;所述控制模块12包括图像接收子模块121和图像前期处理子模块122,其中,所述图像接收子模块121用于接收从所述一个或多个摄像头中的目标摄像头中采集到的目标图像信息,所述图像前期处理子模块122用于对所述目标图像信息进行图像前期处理;所述计算模块13包括图像后期处理子模块131,所述图像后期处理子模块用于对经过所述前期处理的目标图像信息进行图像后期处理。
具体地,在一种实现方式中,所述摄像模块11与所述控制模块12可以通过数据总线进行连接,例如,通过DVP或者MIPI数据总线进行连接。所述控制模块通过高速数据总线连接的计算模块13,其中,所述高速数据总线可以包括GHz以上的通用数据总线,例如,PCI、PCIE等GHz以上的通用数据总线。所述摄像模块11包括用于采集图像信息的一个或多个摄像头,所述摄像头可以包括但不限于单目摄像头、双目摄像头、多目摄像头、全景摄像头等。
所述控制模块12包括图像接收子模块121和图像前期处理子模块122,其中,所述图像接收子模块121用于接收从所述一个或多个摄像头中的目标摄像头中采集到的目标图像信息。在一种实现方式中,所述目标图像信息可以与需要获取图像的目标视觉功能相匹配。对于所采集到的所述目标图像信息可以由所述图像前期处理子模块122对其进行图像前期处理。在一种实现方式中,所述图像前期处理可以包括需要并行执行的图形处理操作。例如,不同视觉功能对应的信息处理中,需要进行高速并行计算的图形处理操作。以驾驶应用场景,例如自动驾驶应用为例,自动驾驶车辆可以配置有多种视觉功能,例如配置有360度环视,视觉里程计,障碍物检测/分类/估计/预测,车道线检测,标牌识别/交通信号识别,车位搜索/自动泊车/泊车辅助或动态内外参标定等各种视觉功能,在此,所述图像前期处理可以设置为上述自动驾驶应用中各个视觉功能的信息处理操作中需要进行高速并行计算的部分步骤,例如,视觉里程计功能中,图像前期处理可以对应为特征提取、静止目标特征匹配等操作;又如,障碍物检测/分类/估计/预测功能中,如通过双目相机进行障碍物检测/分类/估计/预测时,图像前期处理可以对应为双目立体匹配、点云计算等操作;又如,车道线检测功能中,图像前期处理可以对应为车道线检测等操作。在此,一种实现方式中,所述车辆可以包括但不限于以完全人类驾驶模式、辅助驾驶模式、部分自动驾驶模式、有条件自动驾驶模式、高度自动驾驶模式或完全自动驾驶模式等任意模式行驶的车辆。
所述计算模块13包括图像后期处理子模块131,所述图像后期处理子模块用于对经过所述前期处理的目标图像信息进行图像后期处理。在此,所述图像后期处理与所述图像前期处理相对应。在一种实现方式中,经过所述图像前期处理和对应的所述图像后期处理,可以完整地实现对图像的功能性处理,以满足相应的视觉功能的信息获取需求。在一种实现方式中,所述图像后期处理可以是除可并行执行的图像处理操作外,图像处理算法中的其他图像处理操作,例如,跳转频繁,包含复杂数据融合的算法的图像处理操作。以上述自动驾驶应用场景为例,例如,视觉里程计功能中,图像后期处理可以对应为历史帧融合估计、里程计结果计算等操作;又如,障碍物检测/分类/估计/预测功能中,如通过双目相机进行障碍物检测/分类/估计/预测时,图像后期处理可以对应为点云融合、RGBD深度学习网络计算等操作;又如,车道线检测功能中,图像后期处理可以对应为车道线类型识别等操作。
在此,本领域技术人员应该能够理解,上述图像前期处理、图像后期处理的具体内容仅为举例,现有或今后出现的其他图像前期处理、图像后期处理如果能够适用于本申请,也应该包含在本申请的保护范围内,并以引用的形式包含于此。
在本申请的一个实施例中,所述控制模块可以基于FPGA(Field-ProgrammableGate Array,现场可编程门阵列)来实现,或者所述计算模块可以基于SOC(System onChip,系统级芯片)来实现。
在本申请中,不同的模块,例如各个算法模块将根据FPGA与SOC配合的异构方式,合理地将适合进行高速并行计算的模块分配到FPGA对应的控制模块中进行计算,将跳转频繁,包含复杂数据融合的模块分配到SOC对应的计算模块中进行处理,并通过高速数据总线以及实现定义好的传输协议将控制模块与计算模块配合起来。充分发挥FPGA与SOC的异构优势,确保计算资源,存储资源,功耗资源得到有序,充分,合理,高效的使用。
图4示出根据本申请一个方面的一个实施例的一种视觉信息处理系统1的示意图。其中,所述系统1包括所述系统1包括摄像模块11、控制模块12及与所述控制模块通过高速数据总线连接的计算模块13,其中,所述控制模块12包括图像接收子模块121、图像前期处理子模块122、摄像头控制子模块123、图像预处理子模块124和设备参数计算子模块125;所述计算模块13包括图像后期处理子模块131、视觉功能调度信息获取子模块132、设备参数计算触发子模块133和呈现子模块134。
在本申请的一个实施例中,所述控制模块12还包括摄像头控制子模块123,所述摄像头控制子模块123可以基于视觉功能调度信息,在所述一个或多个摄像头中选择目标摄像头;其中,所述图像接收子模块121可以接收从所述目标摄像头中采集到的目标图像信息。在一种实现方式中,所述视觉调度功能信息包括具体视觉功能的调度指令,即调度哪一种具体的视觉功能,以驾驶应用场景,例如自动驾驶应用为例,对应的视觉功能,可以包括360度环视,视觉里程计,障碍物检测/分类/估计/预测,车道线检测,标牌识别/交通信号识别,车位搜索/自动泊车/泊车辅助或动态内外参标定等一个或多个。所述摄像头控制子模块123可以基于获取到的视觉功能调度信息,确定当前是哪个目标视觉功能需要进行视觉信息处理,进而可以在摄像模块11中的一个或多个摄像头中选择、切换至与该目标视觉功能相匹配的一个或多个目标摄像头。例如,在360环视系统通常需要4颗鱼眼镜头组成360的环视系统,所以当视觉功能调度信息对应为360环视系统的调度指令时,则将选择相应的4颗鱼眼镜头为目标摄像头;又如,若是视觉功能调度信息对应为视觉定位系统,则选择视觉定位系统需要的前后两颗摄像头为目标摄像头。
在此,基于上述举例,若是需要同时部署360环视系统和视觉定位系统,在现有的非异构系统中,通常需要4+2共六颗摄像头分别为两套独立的系统服务,而基于本申请的异构系统,可以基于摄像模块中摄像头的切换共享,则仅需要使用4颗摄像头即可同时满足上述两套系统功能的实现
在一种实现方式中,所述摄像头控制子模块123可以从计算模块13中获取相应的视觉功能调度信息,也可以从控制模块的其他系统组件、或计算模块之外的其他系统组件中获取所述视觉功能调度信息。在一个实施例中,所述计算模块13还包括视觉功能调度信息获取子模块132:所述视觉功能调度信息获取子模块132可以获取与目标视觉功能对应的视觉功能调度信息。例如,基于用户的人工选择、或是系统基于预设的触发条件自动选择目标视觉功能,从而生成相对应的视觉功能调度信息。
在一个实施例中,所述摄像头控制子模块123还可以对所述目标摄像头的图像采集参数进行调整;其中,所述图像接收子模块121可以接收从经过图像采集参数调整的所述目标摄像头中采集到的目标图像信息。
具体地,在一种实现方式中,所述图像采集参数可以包括但不限于摄像头采集图像时的图像帧率参数、图像曝光参数。在一个实施例中,对所述图像采集参数的调整还可以结合视觉功能调度信息和/或环境信息,以自动车辆驾驶场景为例,所述环境信息可以包括但不限于车辆行驶状态信息,例如车速;车辆行驶的周围环境信息,如其他车辆或障碍物信息。在一种实现方式中,所述图像采集参数包括所述图像帧率参数,则可以基于视觉功能调度信息,确定目标视觉功能,进而针对所采集图像需要实现的视觉功能的需求,对摄像头的帧率进行调整;进一步,还可以结合环境信息,例如自动车辆驾驶场景下的当前车速,调整所需的图像帧率,如当车辆运行在高速公路时,将探测前方障碍物的摄像头调整为更高的帧率,用于及时判断障碍物并进行规避,而当车辆运行在低速状态时,可以将摄像头的帧率调整为较低的采样率也是可行的。在另一种实现方式中,所述图像采集参数包括所述图像曝光参数,则可以基于视觉功能调度信息,如不同的视觉功能需要,或是基于环境信息,如环境的亮度变化等,通过实时计算当前的画面亮度,动态的调整所述图像曝光参数,从而调整所采集的图像的质量。
在此,现有技术中,图像帧率参数、图像曝光参数的调整通常是使用硬件固化的数字逻辑通过寄存器的配置进行功能的实现。而本申请中的图像采集参数的调整则通过可编程的逻辑,例如基于FPGA进行这些功能的实现。因此,当硬件固化的数字逻辑不能满足日益变化的摄像头图像采集需求时,FPGA则能够显示出可编程的灵活的优势。例如,当一款新的双目摄像头的自动曝光模式需要定制化触发信号时,通过对FPGA逻辑的重新编程,即可实现,而不支持此功能的SOC则无法实现。
在本申请的一个实施例中,所述控制模块12还包括用于对所述目标图像信息进行图像预处理的图像预处理子模块124;其中,所述图像前期处理子模块可以对经过所述预处理的目标图像信息进行图像前期处理。在此,所述图像预处理可以包括但不限于色彩空间转换、去畸变、动态范围调整、降噪等图像处理操作。在一种实现方式中,可以基于所述视觉功能调度指令,基于不同视觉功能对图像预处理的不同需求,为所述目标图像信息匹配相应的图像与预处理操作。
进一步,在一个实施例中,所述图像预处理子模块124可以根据所述目标摄像头的设备参数对所述目标图像信息进行图像预处理。在此,所述设备参数可以包括摄像头的内参或外参,所述内参主要包括但不限于焦距长度,投影中心,倾斜系数,畸变系数等,所述外参主要包括但不限于旋转,平移等参数。在一种实现方式中,若需要对所述目标图像信息进行去畸变操作,则可以基于目标摄像头的畸变参数的特定信息进行相应的去畸变操作,因为,需要根据不同摄像头的镜头畸变情况进行特定的去畸变操作。
在本申请的一个实施例中,所述控制模块12还包括设备参数计算子模块125,所述设备参数计算子模块125可以计算所述目标摄像头的设备参数变化信息;其中,所述摄像头控制子模块123还可以基于所述设备参数变化信息,对所述目标摄像头的设备参数进行调整。
具体地,在一种实现方式中,所述设备参数可以包括摄像头的内参或外参,所述内参主要包括但不限于焦距长度,投影中心,倾斜系数,畸变系数等,所述外参主要包括但不限于旋转,平移等参数。原理上,摄像头的内参表征了所采集的图像信息,如目标图像信息上的每个点到设备坐标系的映射关系,而摄像头的外参则表征了所拍摄的三维空间中的某个点到设备坐标系的映射关系。一般情况下理论上,当镜头,摄像头,摄像头在车辆上的安装位置全部固定后,整个系统的内外参数便已经是已知的,而且的不变的,通过前期标定的方式可以获得的,但在实际的机器人、自动驾驶等人工智能应用中,如自动驾驶过程中,由于车辆处于长期运行,振动中,受到风吹日晒雨淋等自身、环境气候影响,镜头与摄像头之间的相对位置,摄像头与车辆之间的相对位置,都是产生轻微的变化,若是不加以调整,对于精确度要求较高的适用场景将会带来一定的误差和不利影响。
在此,本申请为了提高基于内外参数的算法的准确性,提供了实时标定内外参数的方法,即实时计算所述目标摄像头的设备参数变化信息。现有的基于单一功能的单一控制器完成的视觉功能处理由于受限于硬件固化的数字逻辑,并不能实现内外参数的实时标定,而本申请则通过可编程的逻辑,例如基于FPGA实现实时计算所述目标摄像头的设备参数变化信息,从而实现设备的标定。在此,所述设备参数计算子模块125可以实时计算所述目标摄像头的设备参数变化信息,在一种实现方式中,可以采用包括但不限于线性标定方法、非线性标定方法、Tsai的经典两步法等标定方法实现所述目标摄像头的设备参数变化信息的计算;进而所述摄像头控制子模块123还可以基于所述设备参数变化信息,对所述目标摄像头的设备参数进行调整,由此,通过对目标摄像头不断标定内外参数的方式,适应设备对应的这些相对位置的变化,从而确保后续基于内外参的算法可以保持一贯的可靠效果。
进一步,在一个实施例中,所述图像接收子模块121还可以接收从所述目标摄像头中采集到的参考图像信息;其中,所述设备参数计算子模块125可以基于所述参考图像信息计算所述目标摄像头的设备参数变化信息。在一种实现方式中,可以通过采集到的参考图像信息,对目标摄像头的内外参数进行计算与更新,所述参考图像可以包括基于预设的条件,例如预定的时间、位置、信号等状态下采集到的特殊图像信息,例如二维码,圆周图,数字坐标等特殊图像。
在一个实施例中,所述计算模块13包括设备参数计算触发子模块133,当设备参数计算对应的触发条件满足时,设备参数计算触发子模块133可以生成设备参数计算指令;接着,所述图像接收子模块121还可以基于设备参数计算指令,接收从所述目标摄像头中采集到的参考图像信息。在一个实施例中,所述触发条件可以包括但不限于:预定的触发时间;预定的触发位置;或预定的人工触发操作。在一种实现方式中,设备参数计算触发子模块133可以对预定的触发时间;预定的触发位置;或预定的人工触发操作进行实时检测,当识别检测到任意一个触发条件满足时,例如,到了预定的触发时间T,或是车辆行驶到预定的触发位置P,或是获取到了车辆中乘客的一个手动操作,则可以生成设备参数计算指令,所述设备参数计算指令可以包括控制所述控制模块12进行设备参数计算对应的参考图像采集操作的指令。进一步,所述设备参数计算指令还可以包括控制所述控制模块12进行设备参数计算的指令、或是还可以包括控制对目标摄像头的设备参数进行调整的指令。
在一个实施例中,所述计算模块还包括呈现子模块134,所述呈现子模块134可以呈现经过所述图像后期处理得到的视觉信息。以驾驶应用场景,例如自动驾驶应用为例,所述障碍物检测/分类/估计/预测的视觉功能对应的视觉信息可以包括检测、分类、估计或预测对应的具体的判断结果;所述标牌识别/交通信号识别对应的视觉信息可以包括识别结果等。
图2示出根据本申请一个方面的一种在系统中进行视觉信息处理的方法流程图。
其中,所述系统包括摄像模块11、控制模块12及与所述控制模块12通过高速数据总线连接的计算模块13,所述方法包括步骤S201和步骤S202,其中,在步骤S201中,所述控制模块12可以接收利用所述摄像模块中目标摄像头采集到的目标图像信息;接着,对所述目标图像信息进行图像前期处理;接着,将经过所述图像前期处理的目标图像信息发送至计算模块13;在步骤S202中,所述计算模块13可以接收所述经过所述前期处理的目标图像信息,并对所述经过所述前期处理的目标图像信息进行图像后期处理。
具体地,在一种实现方式中,所述摄像模块11与所述控制模块12可以通过数据总线进行连接,例如,通过DVP或者MIPI数据总线进行连接。所述控制模块通过高速数据总线连接的计算模块13,其中,所述高速数据总线可以包括GHz以上的通用数据总线,例如,PCI、PCIE等GHz以上的通用数据总线。所述摄像模块11包括用于采集图像信息的一个或多个摄像头,所述摄像头可以包括但不限于单目摄像头、双目摄像头、多目摄像头、全景摄像头等。
在步骤S201中,所述控制模块12可以接收利用所述摄像模块中目标摄像头采集到的目标图像信息。在一种实现方式中,所述目标图像信息可以与需要获取图像的目标视觉功能相匹配。接着,对所述目标图像信息进行图像前期处理。在一种实现方式中,所述图像前期处理可以包括需要并行执行的图形处理操作。例如,不同视觉功能对应的信息处理中,需要进行高速并行计算的图形处理操作。以驾驶应用场景,例如自动驾驶应用为例,自动驾驶车辆可以配置有多种视觉功能,例如配置有360度环视,视觉里程计,障碍物检测/分类/估计/预测,车道线检测,标牌识别/交通信号识别,车位搜索/自动泊车/泊车辅助或动态内外参标定等各种视觉功能,在此,所述图像前期处理可以设置为上述自动驾驶应用中各个视觉功能的信息处理操作中需要进行高速并行计算的部分步骤,例如,视觉里程计功能中,图像前期处理可以对应为特征提取、静止目标特征匹配等操作;又如,障碍物检测/分类/估计/预测功能中,如通过双目相机进行障碍物检测/分类/估计/预测时,图像前期处理可以对应为双目立体匹配、点云计算等操作;又如,车道线检测功能中,图像前期处理可以对应为车道线检测等操作。在此,一种实现方式中,所述车辆可以包括但不限于以完全人类驾驶模式、辅助驾驶模式、部分自动驾驶模式、有条件自动驾驶模式、高度自动驾驶模式或完全自动驾驶模式等任意模式行驶的车辆。接着,可以将经过所述图像前期处理的目标图像信息发送至计算模块13。
在步骤S202中,所述计算模块13可以接收所述经过所述前期处理的目标图像信息,并对所述经过所述前期处理的目标图像信息进行图像后期处理。在此,所述图像后期处理与所述图像前期处理相对应。在一种实现方式中,经过所述图像前期处理和对应的所述图像后期处理,可以完整地实现对图像的功能性处理,以满足相应的视觉功能的信息获取需求。在一种实现方式中,所述图像后期处理可以是除可并行执行的图像处理操作外,图像处理算法中的其他图像处理操作,例如,跳转频繁,包含复杂数据融合的算法的图像处理操作。以上述自动驾驶应用场景为例,例如,视觉里程计功能中,图像后期处理可以对应为历史帧融合估计、里程计结果计算等操作;又如,障碍物检测/分类/估计/预测功能中,如通过双目相机进行障碍物检测/分类/估计/预测时,图像后期处理可以对应为点云融合、RGBD深度学习网络计算等操作;又如,车道线检测功能中,图像后期处理可以对应为车道线类型识别等操作。
在此,本领域技术人员应该能够理解,上述图像前期处理、图像后期处理的具体内容仅为举例,现有或今后出现的其他图像前期处理、图像后期处理如果能够适用于本申请,也应该包含在本申请的保护范围内,并以引用的形式包含于此。
在本申请的一个实施例中,所述控制模块可以基于FPGA(Field-ProgrammableGate Array,现场可编程门阵列)来实现,或者所述计算模块可以基于SOC(System onChip,系统级芯片)来实现。
在本申请中,不同的模块,例如各个算法模块将根据FPGA与SOC配合的异构方式,合理地将适合进行高速并行计算的模块分配到FPGA对应的控制模块中进行计算,将跳转频繁,包含复杂数据融合的模块分配到SOC对应的计算模块中进行处理,并通过高速数据总线以及实现定义好的传输协议将控制模块与计算模块配合起来。充分发挥FPGA与SOC的异构优势,确保计算资源,存储资源,功耗资源得到有序,充分,合理,高效的使用。
在本申请的一个实施例中,所述方法还包括步骤S203(未示出),在步骤S203中,所述控制模块12可以基于视觉功能调度信息,在所述一个或多个摄像头中选择目标摄像头;接着,在步骤S201中,所述控制模块12可以接收利用所述目标摄像头采集到的目标图像信息;对所述目标图像信息进行图像前期处理;并将经过所述图像前期处理的目标图像信息发送至计算模块13。
在一种实现方式中,所述视觉调度功能信息包括具体视觉功能的调度指令,即调度哪一种具体的视觉功能,以驾驶应用场景,例如自动驾驶应用为例,对应的视觉功能,可以包括360度环视,视觉里程计,障碍物检测/分类/估计/预测,车道线检测,标牌识别/交通信号识别,车位搜索/自动泊车/泊车辅助或动态内外参标定等一个或多个。所述控制模块12可以基于获取到的视觉功能调度信息,确定当前是哪个目标视觉功能需要进行视觉信息处理,进而可以在摄像模块11中的一个或多个摄像头中选择、切换至与该目标视觉功能相匹配的一个或多个目标摄像头。例如,在360环视系统通常需要4颗鱼眼镜头组成360的环视系统,所以当视觉功能调度信息对应为360环视系统的调度指令时,则将选择相应的4颗鱼眼镜头为目标摄像头;又如,若是视觉功能调度信息对应为视觉定位系统,则选择视觉定位系统需要的前后两颗摄像头为目标摄像头。
在此,基于上述举例,若是需要同时部署360环视系统和视觉定位系统,在现有的非异构系统中,通常需要4+2共六颗摄像头分别为两套独立的系统服务,而基于本申请的异构系统,可以基于摄像模块中摄像头的切换共享,则仅需要使用4颗摄像头即可同时满足上述两套系统功能的实现
在一种实现方式中,所述控制模块12可以从计算模块13中获取相应的视觉功能调度信息,也可以从计算模块之外的其他系统组件中获取所述视觉功能调度信息。在一个实施例中,所述方法还包括步骤S204(未示出),在步骤S204中,所述计算模块13还可以获取与目标视觉功能对应的视觉功能调度信息,并将所述视觉功能调度信息发送至对应的控制模块。例如,基于用户的人工选择、或是系统基于预设的触发条件自动选择目标视觉功能,从而生成相对应的视觉功能调度信息。
在一个实施例中,所述方法还包括步骤S205(未示出),在步骤S205中,所述控制装置12还可以对所述目标摄像头的图像采集参数进行调整;其中,在步骤S201中,所述控制装置12可以接收利用经过图像采集参数调整的所述目标摄像头采集到的目标图像信息;对所述目标图像信息进行图像前期处理;并将经过所述图像前期处理的目标图像信息发送至计算模块。
具体地,在一种实现方式中,所述图像采集参数可以包括但不限于摄像头采集图像时的图像帧率参数、图像曝光参数。在一个实施例中,对所述图像采集参数的调整还可以结合视觉功能调度信息和/或环境信息,以自动车辆驾驶场景为例,所述环境信息可以包括但不限于车辆行驶状态信息,例如车速;车辆行驶的周围环境信息,如其他车辆或障碍物信息。在一种实现方式中,所述图像采集参数包括所述图像帧率参数,则可以基于视觉功能调度信息,确定目标视觉功能,进而针对所采集图像需要实现的视觉功能的需求,对摄像头的帧率进行调整;进一步,还可以结合环境信息,例如自动车辆驾驶场景下的当前车速,调整所需的图像帧率,如当车辆运行在高速公路时,将探测前方障碍物的摄像头调整为更高的帧率,用于及时判断障碍物并进行规避,而当车辆运行在低速状态时,可以将摄像头的帧率调整为较低的采样率也是可行的。在另一种实现方式中,所述图像采集参数包括所述图像曝光参数,则可以基于视觉功能调度信息,如不同的视觉功能需要,或是基于环境信息,如环境的亮度变化等,通过实时计算当前的画面亮度,动态的调整所述图像曝光参数,从而调整所采集的图像的质量。
在此,现有技术中,图像帧率参数、图像曝光参数的调整通常是使用硬件固化的数字逻辑通过寄存器的配置进行功能的实现。而本申请中的图像采集参数的调整则通过可编程的逻辑,例如基于FPGA进行这些功能的实现。因此,当硬件固化的数字逻辑不能满足日益变化的摄像头图像采集需求时,FPGA则能够显示出可编程的灵活的优势。例如,当一款新的双目摄像头的自动曝光模式需要定制化触发信号时,通过对FPGA逻辑的重新编程,即可实现,而不支持此功能的SOC则无法实现。
在本申请的一个实施例中,在步骤S201中,所述控制装置12可以接收利用所述摄像模块中的目标摄像头采集到的目标图像信息;对所述目标图像信息进行图像预处理;对经过所述预处理的目标图像信息进行图像前期处理;并将经过所述图像前期处理的目标图像信息发送至计算模块13。在此,所述图像预处理可以包括但不限于色彩空间转换、去畸变、动态范围调整、降噪等图像处理操作。在一种实现方式中,可以基于所述视觉功能调度指令,基于不同视觉功能对图像预处理的不同需求,为所述目标图像信息匹配相应的图像与预处理操作。
进一步,在一个实施例中,所述对所述目标图像信息进行图像预处理可以包括根据所述目标摄像头的设备参数对所述目标图像信息进行图像预处理。在此,所述设备参数可以包括摄像头的内参或外参,所述内参主要包括但不限于焦距长度,投影中心,倾斜系数,畸变系数等,所述外参主要包括但不限于旋转,平移等参数。在一种实现方式中,若需要对所述目标图像信息进行去畸变操作,则可以基于目标摄像头的畸变参数的特定信息进行相应的去畸变操作,因为,需要根据不同摄像头的镜头畸变情况进行特定的去畸变操作。
在本申请的一个实施例中,所述方法还包括步骤S206(未示出),在步骤S206中,所述控制装置12可以计算所述目标摄像头的设备参数变化信息;基于所述设备参数变化信息,对所述目标摄像头的设备参数进行调整。
具体地,在一种实现方式中,所述设备参数可以包括摄像头的内参或外参,所述内参主要包括但不限于焦距长度,投影中心,倾斜系数,畸变系数等,所述外参主要包括但不限于旋转,平移等参数。原理上,摄像头的内参表征了所采集的图像信息,如目标图像信息上的每个点到设备坐标系的映射关系,而摄像头的外参则表征了所拍摄的三维空间中的某个点到设备坐标系的映射关系。一般情况下理论上,当镜头,摄像头,摄像头在车辆上的安装位置全部固定后,整个系统的内外参数便已经是已知的,而且的不变的,通过前期标定的方式可以获得的,但在实际的机器人、自动驾驶等人工智能应用中,如自动驾驶过程中,由于车辆处于长期运行,振动中,受到风吹日晒雨淋等自身、环境气候影响,镜头与摄像头之间的相对位置,摄像头与车辆之间的相对位置,都是产生轻微的变化,若是不加以调整,对于精确度要求较高的适用场景将会带来一定的误差和不利影响。
在此,本申请为了提高基于内外参数的算法的准确性,提供了实时标定内外参数的方法,即实时计算所述目标摄像头的设备参数变化信息。现有的基于单一功能的单一控制器完成的视觉功能处理由于受限于硬件固化的数字逻辑,并不能实现内外参数的实时标定,而本申请则通过可编程的逻辑,例如基于FPGA实现实时计算所述目标摄像头的设备参数变化信息,从而实现设备的标定。在此,所述控制模块12可以实时计算所述目标摄像头的设备参数变化信息,在一种实现方式中,可以采用包括但不限于线性标定方法、非线性标定方法、Tsai的经典两步法等标定方法实现所述目标摄像头的设备参数变化信息的计算;进而所述摄像头控制子模块123还可以基于所述设备参数变化信息,对所述目标摄像头的设备参数进行调整,由此,通过对目标摄像头不断标定内外参数的方式,适应设备对应的这些相对位置的变化,从而确保后续基于内外参的算法可以保持一贯的可靠效果。
进一步,在一个实施例中,所述方法还包括步骤S207(未示出),在步骤S207中,所述控制装置12可以接收从所述目标摄像头中采集到的参考图像信息。接着,在步骤S206中,所述控制模块12可以基于所述参考图像信息计算所述目标摄像头的设备参数变化信息;基于所述设备参数变化信息,对所述目标摄像头的设备参数进行调整。
所述控制模块12还可以接收从所述目标摄像头中采集到的参考图像信息;进而,可以基于所述参考图像信息计算所述目标摄像头的设备参数变化信息。在一种实现方式中,可以通过采集到的参考图像信息,对目标摄像头的内外参数进行计算与更新,所述参考图像可以包括基于预设的条件,例如预定的时间、位置、信号等状态下采集到的特殊图像信息,例如二维码,圆周图,数字坐标等特殊图像。
在一个实施例中,所述方法还包括步骤S208(未示出),在步骤S208中,所述计算模块13可以在当设备参数计算对应的触发条件满足时,生成设备参数计算指令;并将所述设备参数计算指令发送至对应的控制模块12;接着,在步骤S207中,所述控制模块12可以基于从所述计算模块13获取到的设备参数计算指令,接收从所述目标摄像头中采集到的参考图像信息。在一个实施例中,所述触发条件可以包括但不限于:预定的触发时间;预定的触发位置;或预定的人工触发操作。在一种实现方式中,可以对预定的触发时间;预定的触发位置;或预定的人工触发操作进行实时检测,当识别检测到任意一个触发条件满足时,例如,到了预定的触发时间T,或是车辆行驶到预定的触发位置P,或是获取到了车辆中乘客的一个手动操作,则可以生成设备参数计算指令,所述设备参数计算指令可以包括控制所述控制模块12进行设备参数计算对应的参考图像采集操作的指令。进一步,所述设备参数计算指令还可以包括控制所述控制模块12进行设备参数计算的指令、或是还可以包括控制对目标摄像头的设备参数进行调整的指令。
在一个实施例中,所述方法还包括步骤S209(未示出),在步骤S209中,所述计算模块13所述计算模块可以呈现经过所述图像后期处理得到的视觉信息。以驾驶应用场景,例如自动驾驶应用为例,所述障碍物检测/分类/估计/预测的视觉功能对应的视觉信息可以包括检测、分类、估计或预测对应的具体的判断结果;所述标牌识别/交通信号识别对应的视觉信息可以包括识别结果等。
本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序可被处理器执行以下操作:
所述控制模块接收利用所述摄像模块中目标摄像头采集到的目标图像信息;对所述目标图像信息进行图像前期处理;并将经过所述图像前期处理的目标图像信息发送至计算模块;
所述计算模块接收所述经过所述前期处理的目标图像信息,并对所述经过所述前期处理的目标图像信息进行图像后期处理。
进一步,所述计算机程序还可被处理器执行基于上述操作的其他相关实施例中的对应操作。
图3示出了可被用于实施本申请中所述的各个实施例的示例性系统;
如图3所示在一些实施例中,系统300能够作为图1、图2、图4所示的实施例或其他所述实施例中的任意一个视觉信息处理系统1。在一些实施例中,系统300可包括具有指令的一个或多个计算机可读介质(例如,系统存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如,(一个或多个)处理器305)。
对于一个实施例,系统控制模块310可包括任意适当的接口控制器,以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块310可包括存储器控制器模块330,以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例,系统存储器315可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例,系统控制模块310可包括一个或多个输入/输出(I/O)控制器,以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如,NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源,或者其可被该设备访问而不必作为该设备的一部分。例如,NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如,存储器控制器模块330)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中,系统300可以但不限于是:服务器、工作站、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中,系统300可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,系统300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
需要注意的是,本发明可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本发明的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本发明的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令,可能被存储在固定的或可移动的记录介质中,和/或通过广播或其他信号承载媒体中的数据流而被传输,和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此,根据本发明的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
在权利要求书中规定了各个实施例的各个方面。在下列编号条款中规定了各个实施例的这些和其他方面:
1.一种视觉信息处理系统,其中,所述系统包括摄像模块、控制模块及与所述控制模块通过高速数据总线连接的计算模块,其中,
所述摄像模块包括用于采集图像信息的一个或多个摄像头;
所述控制模块包括图像接收子模块和图像前期处理子模块,其中,所述图像接收子模块用于接收从所述一个或多个摄像头中的目标摄像头中采集到的目标图像信息,所述图像前期处理子模块用于对所述目标图像信息进行图像前期处理;
所述计算模块包括图像后期处理子模块,所述图像后期处理子模块用于对经过所述前期处理的目标图像信息进行图像后期处理。
2.根据条款1所述的系统,其中,所述控制模块基于FPGA实现,或者所述计算模块基于SOC实现。
3.根据条款1所述的系统,其中,所述控制模块还包括
摄像头控制子模块,用于基于视觉功能调度信息,在所述一个或多个摄像头中选择目标摄像头;
其中,所述图像接收子模块用于:
接收从所述目标摄像头中采集到的目标图像信息。
4.根据条款3所述的系统,其中,所述摄像头控制子模块还用于:
对所述目标摄像头的图像采集参数进行调整;
其中,所述图像接收子模块用于:
接收从经过图像采集参数调整的所述目标摄像头中采集到的目标图像信息。
5.根据条款4所述的系统,其中,对所述目标摄像头的图像采集参数进行调整包括:
基于视觉功能调度信息和/或环境信息,对所述目标摄像头的图像采集参数进行调整。
6.根据条款1所述的系统,其中,所述计算模块还包括:
视觉功能调度信息获取子模块,用于获取与目标视觉功能对应的视觉功能调度信息。
7.根据条款1所述的系统,所述控制模块还包括用于对所述目标图像信息进行图像预处理的图像预处理子模块;
其中,所述图像前期处理子模块用于:
对经过所述预处理的目标图像信息进行图像前期处理。
8.根据条款7所述的系统,其中,所述图像预处理子模块用于根据所述目标摄像头的设备参数对所述目标图像信息进行图像预处理。
9.根据条款1所述的系统,其中,所述控制模块还包括:
设备参数计算子模块,用于计算所述目标摄像头的设备参数变化信息;
其中,所述摄像头控制子模块还用于:
基于所述设备参数变化信息,对所述目标摄像头的设备参数进行调整。
10.根据条款9所述的系统,其中,所述图像接收子模块还用于:
接收从所述目标摄像头中采集到的参考图像信息;
其中,所述设备参数计算子模块用于:
基于所述参考图像信息计算所述目标摄像头的设备参数变化信息。
11.根据条款10所述的系统,其中,所述计算模块还包括:
设备参数计算触发子模块,用于当设备参数计算对应的触发条件满足时,生成设备参数计算指令;
其中,所述图像接收子模块还用于:
基于设备参数计算指令,接收从所述目标摄像头中采集到的参考图像信息。
12.根据条款11的系统,其中,所述触发条件包括:
预定的触发时间;
预定的触发位置;
预定的人工触发操作。
13.根据条款1所述的系统,其中,所述计算模块还包括:
呈现子模块,用于呈现经过所述图像后期处理得到的视觉信息。
14.一种在系统中进行视觉信息处理的方法,其中,所述系统包括摄像模块、控制模块及与所述控制模块通过高速数据总线连接的计算模块,所述方法包括:
所述控制模块接收利用所述摄像模块中目标摄像头采集到的目标图像信息;对所述目标图像信息进行图像前期处理;并将经过所述图像前期处理的目标图像信息发送至计算模块;
所述计算模块接收所述经过所述前期处理的目标图像信息,并对所述经过所述前期处理的目标图像信息进行图像后期处理。
15.根据条款14所述的方法,其中,所述控制模块基于FPGA实现,或者所述计算模块基于SOC实现。
16.根据条款14所述的方法,其中,所述方法还包括:
控制模块基于视觉功能调度信息,在所述一个或多个摄像头中选择目标摄像头;
其中,所述所述控制模块接收利用所述摄像模块中目标摄像头采集到的目标图像信息;对所述目标图像信息进行图像前期处理;并将经过所述图像前期处理的目标图像信息发送至计算模块包括:
所述控制模块接收利用所述目标摄像头采集到的目标图像信息;对所述目标图像信息进行图像前期处理;并将经过所述图像前期处理的目标图像信息发送至计算模块。
17.根据条款14所述的方法,其中,所述方法还包括:
控制模块对所述目标摄像头的图像采集参数进行调整;
其中,所述所述控制模块接收利用所述摄像模块中目标摄像头采集到的目标图像信息;对所述目标图像信息进行图像前期处理;并将经过所述图像前期处理的目标图像信息发送至计算模块包括:
所述控制模块接收利用经过图像采集参数调整的所述目标摄像头采集到的目标图像信息;对所述目标图像信息进行图像前期处理;并将经过所述图像前期处理的目标图像信息发送至计算模块。
18.根据条款17所述的方法,其中,所述控制模块对所述目标摄像头的图像采集参数进行调整包括:
控制模块基于视觉功能调度信息和/或环境信息,对所述目标摄像头的图像采集参数进行调整。
19.根据条款14所述的方法,其中,所述方法还包括:
计算模块获取与目标视觉功能对应的视觉功能调度信息,并将所述视觉功能调度信息发送至对应的控制模块。
20.根据条款14所述的方法,其中,所述所述控制模块接收利用所述摄像模块中目标摄像头采集到的目标图像信息;对所述目标图像信息进行图像前期处理;并将经过所述图像前期处理的目标图像信息发送至计算模块包括:
控制模块接收利用所述摄像模块中的目标摄像头采集到的目标图像信息;对所述目标图像信息进行图像预处理;对经过所述预处理的目标图像信息进行图像前期处理;并将经过所述图像前期处理的目标图像信息发送至计算模块。
21.根据条款20所述的方法,其中,所述对所述目标图像信息进行图像预处理包括:
根据所述目标摄像头的设备参数对所述目标图像信息进行图像预处理。
22.根据条款14所述的方法,其中,所述方法还包括:
控制模块计算所述目标摄像头的设备参数变化信息;基于所述设备参数变化信息,对所述目标摄像头的设备参数进行调整。
23.根据条款22所述的方法,其中,所述方法还包括:
控制模块接收从所述目标摄像头中采集到的参考图像信息;
其中,所述控制模块计算所述目标摄像头的设备参数变化信息;基于所述设备参数变化信息,对所述目标摄像头的设备参数进行调整包括:
所述控制模块基于所述参考图像信息计算所述目标摄像头的设备参数变化信息;基于所述设备参数变化信息,对所述目标摄像头的设备参数进行调整。
24.根据条款23所述的方法,其中,所述方法还包括:
计算模块在当设备参数计算对应的触发条件满足时,生成设备参数计算指令;并将所述设备参数计算指令发送至对应的控制模块;
其中,所述控制模块接收从所述目标摄像头中采集到的参考图像信息包括:
所述控制模块基于从所述计算模块获取到的设备参数计算指令,接收从所述目标摄像头中采集到的参考图像信息。
25.根据条款24所述的方法,其中,所述触发条件包括:
预定的触发时间;
预定的触发位置;
预定的人工触发操作。
26.根据条款14所述的方法,其中,所述方法还包括:
计算模块呈现经过所述图像后期处理得到的视觉信息。
27.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序可被处理器执行如条款14-26中任一项所述的方法。
Claims (10)
1.一种视觉信息处理系统,其中,所述系统包括摄像模块、控制模块及与所述控制模块通过高速数据总线连接的计算模块,其中,
所述摄像模块包括用于采集图像信息的一个或多个摄像头;
所述控制模块包括图像接收子模块和图像前期处理子模块,其中,所述图像接收子模块用于接收从所述一个或多个摄像头中的目标摄像头中采集到的目标图像信息,所述图像前期处理子模块用于对所述目标图像信息进行图像前期处理;
所述计算模块包括图像后期处理子模块,所述图像后期处理子模块用于对经过所述前期处理的目标图像信息进行图像后期处理。
2.根据权利要求1所述的系统,其中,所述控制模块基于FPGA实现,或者所述计算模块基于SOC实现。
3.根据权利要求1所述的系统,其中,所述控制模块还包括
摄像头控制子模块,用于基于视觉功能调度信息,在所述一个或多个摄像头中选择目标摄像头;
其中,所述图像接收子模块用于:
接收从所述目标摄像头中采集到的目标图像信息。
4.根据权利要求3所述的系统,其中,所述摄像头控制子模块还用于:
对所述目标摄像头的图像采集参数进行调整;
其中,所述图像接收子模块用于:
接收从经过图像采集参数调整的所述目标摄像头中采集到的目标图像信息。
5.根据权利要求4所述的系统,其中,对所述目标摄像头的图像采集参数进行调整包括:
基于视觉功能调度信息和/或环境信息,对所述目标摄像头的图像采集参数进行调整。
6.根据权利要求1所述的系统,其中,所述计算模块还包括:
视觉功能调度信息获取子模块,用于获取与目标视觉功能对应的视觉功能调度信息。
7.根据权利要求1所述的系统,所述控制模块还包括用于对所述目标图像信息进行图像预处理的图像预处理子模块;
其中,所述图像前期处理子模块用于:
对经过所述预处理的目标图像信息进行图像前期处理。
8.根据权利要求1所述的系统,其中,所述控制模块还包括:
设备参数计算子模块,用于计算所述目标摄像头的设备参数变化信息;
其中,所述摄像头控制子模块还用于:
基于所述设备参数变化信息,对所述目标摄像头的设备参数进行调整。
9.一种在系统中进行视觉信息处理的方法,其中,所述系统包括摄像模块、控制模块及与所述控制模块通过高速数据总线连接的计算模块,所述方法包括:
所述控制模块接收利用所述摄像模块中目标摄像头采集到的目标图像信息;对所述目标图像信息进行图像前期处理;并将经过所述图像前期处理的目标图像信息发送至计算模块;
所述计算模块接收所述经过所述前期处理的目标图像信息,并对所述经过所述前期处理的目标图像信息进行图像后期处理。
10.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序可被处理器执行如权利要求9所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710932144.4A CN107613262B (zh) | 2017-09-30 | 2017-09-30 | 一种视觉信息处理系统与方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710932144.4A CN107613262B (zh) | 2017-09-30 | 2017-09-30 | 一种视觉信息处理系统与方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107613262A true CN107613262A (zh) | 2018-01-19 |
CN107613262B CN107613262B (zh) | 2021-04-16 |
Family
ID=61068128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710932144.4A Active CN107613262B (zh) | 2017-09-30 | 2017-09-30 | 一种视觉信息处理系统与方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107613262B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109612455A (zh) * | 2018-12-04 | 2019-04-12 | 天津职业技术师范大学 | 一种室内定位方法及系统 |
CN110386081A (zh) * | 2018-04-16 | 2019-10-29 | 比亚迪股份有限公司 | 车辆的多媒体娱乐系统、方法及车辆 |
CN110488805A (zh) * | 2018-05-15 | 2019-11-22 | 武汉小狮科技有限公司 | 一种基于3d立体视觉的无人车避障系统及方法 |
CN110910311A (zh) * | 2019-10-30 | 2020-03-24 | 同济大学 | 一种基于二维码的多路环视相机自动拼接方法 |
CN111845714A (zh) * | 2019-04-26 | 2020-10-30 | 东莞潜星电子科技有限公司 | 一种基于智能视觉深度学习的自动泊车系统 |
CN112164155A (zh) * | 2020-09-29 | 2021-01-01 | 广州小鹏自动驾驶科技有限公司 | 一种车辆数据的采集方法和装置 |
CN113442938A (zh) * | 2021-08-31 | 2021-09-28 | 国汽智控(北京)科技有限公司 | 车载计算系统、电子设备和车辆 |
CN115004256A (zh) * | 2020-03-03 | 2022-09-02 | 赫尔实验室有限公司 | 使用基于概率信号时间逻辑的优化来进行基于对比度和熵的感知调整 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070146798A1 (en) * | 2005-12-28 | 2007-06-28 | Fujitsu Limited | Image processing system, image processing method, image processing program, image processing apparatus, and communication terminal device |
CN202872972U (zh) * | 2012-08-24 | 2013-04-10 | 中国人民解放军理工大学气象学院 | 一种图像监测处理装置 |
CN106926800A (zh) * | 2017-03-28 | 2017-07-07 | 重庆大学 | 多摄像头适配的车载视觉感知系统 |
-
2017
- 2017-09-30 CN CN201710932144.4A patent/CN107613262B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070146798A1 (en) * | 2005-12-28 | 2007-06-28 | Fujitsu Limited | Image processing system, image processing method, image processing program, image processing apparatus, and communication terminal device |
CN202872972U (zh) * | 2012-08-24 | 2013-04-10 | 中国人民解放军理工大学气象学院 | 一种图像监测处理装置 |
CN106926800A (zh) * | 2017-03-28 | 2017-07-07 | 重庆大学 | 多摄像头适配的车载视觉感知系统 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110386081A (zh) * | 2018-04-16 | 2019-10-29 | 比亚迪股份有限公司 | 车辆的多媒体娱乐系统、方法及车辆 |
CN110488805A (zh) * | 2018-05-15 | 2019-11-22 | 武汉小狮科技有限公司 | 一种基于3d立体视觉的无人车避障系统及方法 |
CN109612455A (zh) * | 2018-12-04 | 2019-04-12 | 天津职业技术师范大学 | 一种室内定位方法及系统 |
CN111845714A (zh) * | 2019-04-26 | 2020-10-30 | 东莞潜星电子科技有限公司 | 一种基于智能视觉深度学习的自动泊车系统 |
CN110910311A (zh) * | 2019-10-30 | 2020-03-24 | 同济大学 | 一种基于二维码的多路环视相机自动拼接方法 |
CN110910311B (zh) * | 2019-10-30 | 2023-09-26 | 同济大学 | 一种基于二维码的多路环视相机自动拼接方法 |
CN115004256A (zh) * | 2020-03-03 | 2022-09-02 | 赫尔实验室有限公司 | 使用基于概率信号时间逻辑的优化来进行基于对比度和熵的感知调整 |
CN112164155A (zh) * | 2020-09-29 | 2021-01-01 | 广州小鹏自动驾驶科技有限公司 | 一种车辆数据的采集方法和装置 |
CN113442938A (zh) * | 2021-08-31 | 2021-09-28 | 国汽智控(北京)科技有限公司 | 车载计算系统、电子设备和车辆 |
Also Published As
Publication number | Publication date |
---|---|
CN107613262B (zh) | 2021-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107613262A (zh) | 一种视觉信息处理系统与方法 | |
US11158056B2 (en) | Surround camera system with seamless stitching for arbitrary viewpoint selection | |
US10032302B2 (en) | Rebuilding images based on historical image data | |
EP3144918B1 (en) | Computer system and method for monitoring a traffic system | |
US10999534B2 (en) | Optimized video review using motion recap images | |
CN107610084A (zh) | 一种对深度图像和激光点云图进行信息融合的方法与设备 | |
EP3839888B1 (en) | Compute device and method for detection of occlusions on a camera | |
US9922560B2 (en) | Interactive camera viewpoint and adjustment sharing system | |
WO2020231401A1 (en) | A neural network for head pose and gaze estimation using photorealistic synthetic data | |
US11176427B2 (en) | Overlapping CNN cache reuse in high resolution and streaming-based deep learning inference engines | |
CN109902610A (zh) | 交通标志识别方法和装置 | |
CN105522971A (zh) | 车辆外部图像输出控制装置及方法 | |
US10275608B2 (en) | Object-centric video redaction | |
CN111222522B (zh) | 神经网络训练、路面检测、智能驾驶控制方法和装置 | |
EP4352692A1 (en) | Volumetric sampling with correlative characterization for dense estimation | |
CN110489182A (zh) | 一种带有自主导航模块的机器人云平台设计方法 | |
CN113033715B (zh) | 目标检测模型训练方法和目标车辆检测信息生成方法 | |
CN112329616B (zh) | 目标检测方法、装置、设备以及存储介质 | |
CN113378605B (zh) | 多源信息融合方法及装置、电子设备和存储介质 | |
EP4296973A1 (en) | System and method for localization of anomalous phenomena in assets | |
US10735660B2 (en) | Method and device for object identification | |
CN111460854B (zh) | 一种远距离目标检测方法、装置及系统 | |
WO2022243337A2 (en) | System for detection and management of uncertainty in perception systems, for new object detection and for situation anticipation | |
US20230005214A1 (en) | Use of Real-World Lighting Parameters to Generate Virtual Environments | |
US20220396278A1 (en) | Sensor performance validation in advanced driver-assistance system verification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |