CN111200727A - 一种基于深度感知的三维图像处理系统 - Google Patents

一种基于深度感知的三维图像处理系统 Download PDF

Info

Publication number
CN111200727A
CN111200727A CN201911406049.6A CN201911406049A CN111200727A CN 111200727 A CN111200727 A CN 111200727A CN 201911406049 A CN201911406049 A CN 201911406049A CN 111200727 A CN111200727 A CN 111200727A
Authority
CN
China
Prior art keywords
module
image
dimensional
image processing
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911406049.6A
Other languages
English (en)
Inventor
张小迎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Longhao Technology Co Ltd
Original Assignee
Suzhou Longhao Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Longhao Technology Co Ltd filed Critical Suzhou Longhao Technology Co Ltd
Priority to CN201911406049.6A priority Critical patent/CN111200727A/zh
Publication of CN111200727A publication Critical patent/CN111200727A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及三维图像处理技术领域，尤其涉及一种基于深度感知的三维图像处理系统，包括图像采集模块、图像预处理模块、三维重建模块、中央处理模块、接口模块、PC机和储存模块，所述图像采集模块采集的多路模拟视频信号经多路复用器按需要选定后，送入模数视频转换器，将CCD摄像机输出的模拟全电视信号CVBS转换成数字视频信号，之后视频信号进入图像预处理模块，图像经过处理生成主、副两种动态模式。本发明达到了处理数据量大，处理速度高，同时算法结构相对比较简单的目的，可同时兼顾速度和灵活性，对于高层处理算法数据量较少、算法结构简便化，并且运算速度快、寻址方式灵活、通信机制强大，能够对三维图像进行高速度处理应用。

Description

一种基于深度感知的三维图像处理系统
技术领域
本发明涉及三维图像处理技术领域，尤其涉及一种基于深度感知的三维图像处理系统。
背景技术
三维图像信息处理一直是图像视频处理领域的热点和难点，目前国内外成熟的三维信息处理系统不多，已有的系统主要依赖高性能通用PC完成图像采集、预处理、重建、构型等囊括底层和高层的处理工作。三维图像处理数据量特别大、运算复杂，单纯依靠通用PC很难达到实时性要求，不能满足现行高速三维图像处理应用。
而且，三维图像显示装置需要具备能够处理2倍帧速率的图像处理电路，在想要实现这样的高性能的图像处理电路的情况下，发生成本的增加、以及需要从以往的图像显示装置的大幅的电路变更的问题，同时，通过使多个图形处理部并行动作，不具备高性能的图像处理电路而实现高速的图像处理，但是，在使用多个图像处理电路(图形处理部)的情况下，也通过该图像处理电路的数量增加，发生成本的增加。
发明内容
（一）解决的技术问题
针对现有技术的不足，本发明提供了一种基于深度感知的三维图像处理系统，达到了处理数据量大，处理速度高，同时算法结构相对比较简单的目的，可同时兼顾速度和灵活性，对于高层处理算法数据量较少、算法结构简便化，并且运算速度快、寻址方式灵活、通信机制强大，能够对三维图像进行高速度处理应用。
（二）技术方案
为实现上述技术问题，本发明提供了如下技术方案：一种基于深度感知的三维图像处理系统，包括图像采集模块、图像预处理模块、三维重建模块、中央处理模块、接口模块、PC机和储存模块，所述图像采集模块采集的多路模拟视频信号经多路复用器按需要选定后，送入模数视频转换器，将CCD摄像机输出的模拟全电视信号CVBS转换成数字视频信号，之后视频信号进入图像预处理模块，图像经过处理生成主、副两种动态模式，经过提取中心颜色线、提取激光标志线和物体轮廓线的预处理后，由位移量计算单元进行定标参数计算、坐标计算和位移量计算后生成视差图像，之后送入三维重建模块进行三维重建、滤波处理、图像分析、数据融合以及三维构型的核心运算进行输出，随后传输至中央处理模块对生成图像进行边幅修饰以及图像确定处理，最后将DXF文件数据经由接口模块传送到PC机，完成三维图像变换和显示等最终处理，其中中央处理模块将处理后的图像经过储存模块进行本地储存。
进一步地，所述图像采集模块包括CCD摄像机、三百六十度调节系统、声音采集模块、光补偿模块和数字化模块，其中三百六十度调节系统驱动CCD摄像机进行无死角自由调节，确保图像采集的完整性。
进一步地，所述图像预处理模块包括主图像处理模块、副图像处理模块、位移量计算单元和合成模块，其中视频信号经过系统计算分为两部分，主图像处理模块和副图像处理模块均同时对图像进行预处理，以此提高运行速率，缩短处理时长，同时经过位移量计算单元计算解析生成视差图像。
进一步地，所述三维重建模块包括三维建模模块、三维图像滤波模块、分析模块和输出模块，三维建模模块对视差图像进行重新建模，建模后的图像经过滤波处理生成清晰完整图像，由分析模块进行整个图像数字解析生成底层原始对比图像。
进一步地，所述多路复用器的型号为MAX440，模数视频转换器的型号为SAA7111A，图像预处理模块采用型号为XC3S400的图像预处理器，XC3S400芯片内部时钟频率可达326MHz，信号摆幅1.14V和3.45V，I/O口支持622Mbps的数据传输率，具有高性能SelectRAM内部存储器，多达4个数字时钟管理器模块和8个全局时钟多路复用缓冲器。
进一步地，所述三维重建模块采用型号为ADSP-TS201，内设双运算模块，每个包含一个ALU、MUL、64bit移位寄存器、32个32bit寄存器组和一个128bit通信逻辑单元，相关的数据对齐缓冲器，双整数ALU，各有独立的寄存器组，提供数据寻址和指针操作，4个128bit宽度内部总线，每个都连接到6个4Mbit的内部存储器块，提供与主机处理器、多处理器空间、片外存储器映射外设、外部SRAM和SDRAM相连的外部端口，14通道DMA控制器，4个全双工低电压差分信号输入的Link Port，具有片内仲裁总线，用于多DSP无缝的连接。
进一步地，所述滤波处理布置为与所述显示器相距规定距离，以调整显示的视图图像的光路，当环境光的亮度小于或等于规定值时，光补偿模块进行光照补偿，CCD摄像机继续摄录，滤波处理同时动作以改变显示的视图图像清晰度。
（三）有益效果
本发明提供了一种基于深度感知的三维图像处理系统，具备以下有益效果：
1、本发明能够实现底层的信号预处理算法，其处理数据量大，处理速度高，同时算法结构相对比较简单，可同时兼顾速度和灵活性，对于高层处理算法数据量较少、算法结构简便化，并且运算速度快、寻址方式灵活、通信机制强大，能够对三维图像进行高速度处理应用，并且提高三维图像的显示分辨率，依靠通用PC也能达到实时性要求，因此满足了现行高速三维图像的处理应用技术需求。
2、本发明通过将三维图像分割为两个图像，将分割后的两个图像用两个图像处理模块并行处理，因此，在画面内显示主画面图像及副画面图像时，将用于该主画面图像的处理的图像处理模块、和用于该副画面图像的处理的图像处理模块在该并行处理中使用，因此能够抑制电路的追加，以此提高运行速率，缩短处理时长，所以能够在抑制成本增加的同时生成高画质的三维图像。
3、本发明所提供三维图像处理系统，图像具有很强的视觉冲击力，留下深刻的印象，整体给人以真实、栩栩如生，人物呼之欲出，有身临其境的感觉，其中三百六十度调节系统驱动CCD摄像机进行无死角自由调节，确保图像采集的完整性。
附图说明
图1为本发明三维图像处理系统的原理框图；
图2为本发明图像采集系统的原理框图；
图3为本发明图像预处理模块的原理框图；
图4为本发明三维重建模块的原理框图；
图5为本发明结构位移量计算单元的系统流程图。
图中：1、图像采集模块；2、图像预处理模块；3、三维重建模块；4、中央处理模块；5、接口模块；6、PC机；7、储存模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-5，本发明提供了一种技术方案：一种基于深度感知的三维图像处理系统，包括图像采集模块1、图像预处理模块2、三维重建模块3、中央处理模块4、接口模块5、PC机6和储存模块7，图像采集模块1采集的多路模拟视频信号经多路复用器按需要选定后，送入模数视频转换器，将CCD摄像机输出的模拟全电视信号CVBS转换成数字视频信号，之后视频信号进入图像预处理模块2，图像经过处理生成主、副两种动态模式，经过提取中心颜色线、提取激光标志线和物体轮廓线的预处理后，由位移量计算单元进行定标参数计算、坐标计算和位移量计算后生成视差图像，之后送入三维重建模块3进行三维重建、滤波处理、图像分析、数据融合以及三维构型的核心运算进行输出，随后传输至中央处理模块4对生成图像进行边幅修饰以及图像确定处理，最后将DXF文件数据经由接口模块5传送到PC机6，完成三维图像变换和显示等最终处理，其中中央处理模块4将处理后的图像经过储存模块7进行本地储存。
图像采集模块1包括CCD摄像机、三百六十度调节系统、声音采集模块、光补偿模块和数字化模块，其中三百六十度调节系统驱动CCD摄像机进行无死角自由调节，确保图像采集的完整性，图像预处理模块2包括主图像处理模块、副图像处理模块、位移量计算单元和合成模块，其中视频信号经过系统计算分为两部分，主图像处理模块和副图像处理模块均同时对图像进行预处理，以此提高运行速率，缩短处理时长，同时经过位移量计算单元计算解析生成视差图像，三维重建模块3包括三维建模模块、三维图像滤波模块、分析模块和输出模块，三维建模模块对视差图像进行重新建模，建模后的图像经过滤波处理生成清晰完整图像，由分析模块进行整个图像数字解析生成底层原始对比图像，多路复用器的型号为MAX440，模数视频转换器的型号为SAA7111A，图像预处理模块2采用型号为XC3S400的图像预处理器，XC3S400芯片内部时钟频率可达326MHz，信号摆幅1.14V和3.45V，I/O口支持622Mbps的数据传输率，具有高性能SelectRAM内部存储器，多达4个数字时钟管理器模块和8个全局时钟多路复用缓冲器，三维重建模块3采用型号为ADSP-TS201，内设双运算模块，每个包含一个ALU、MUL、64bit移位寄存器、32个32bit寄存器组和一个128bit通信逻辑单元，相关的数据对齐缓冲器，双整数ALU，各有独立的寄存器组，提供数据寻址和指针操作，4个128bit宽度内部总线，每个都连接到6个4Mbit的内部存储器块，提供与主机处理器、多处理器空间、片外存储器映射外设、外部SRAM和SDRAM相连的外部端口，14通道DMA控制器，4个全双工低电压差分信号输入的Link Port，具有片内仲裁总线，用于多DSP无缝的连接，滤波处理布置为与显示器相距规定距离，以调整显示的视图图像的光路，当环境光的亮度小于或等于规定值时，光补偿模块进行光照补偿，CCD摄像机继续摄录，滤波处理同时动作以改变显示的视图图像清晰度。
本发明的有益效果为：本发明能够实现底层的信号预处理算法，其处理数据量大，处理速度高，同时算法结构相对比较简单，可同时兼顾速度和灵活性，对于高层处理算法数据量较少、算法结构简便化，并且运算速度快、寻址方式灵活、通信机制强大，能够对三维图像进行高速度处理应用，并且提高三维图像的显示分辨率，依靠通用PC也能达到实时性要求，因此满足了现行高速三维图像的处理应用技术需求，本发明通过将三维图像分割为两个图像，将分割后的两个图像用两个图像处理模块并行处理，因此，在画面内显示主画面图像及副画面图像时，将用于该主画面图像的处理的图像处理模块、和用于该副画面图像的处理的图像处理模块在该并行处理中使用，因此能够抑制电路的追加，以此提高运行速率，缩短处理时长，所以能够在抑制成本增加的同时生成高画质的三维图像，本发明所提供三维图像处理系统，图像具有很强的视觉冲击力，留下深刻的印象，整体给人以真实、栩栩如生，人物呼之欲出，有身临其境的感觉，其中三百六十度调节系统驱动CCD摄像机进行无死角自由调节，确保图像采集的完整性。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种基于深度感知的三维图像处理系统，包括图像采集模块（1）、图像预处理模块（2）、三维重建模块（3）、中央处理模块（4）、接口模块（5）、PC机（6）和储存模块（7），其特征在于：所述图像采集模块（1）采集的多路模拟视频信号经多路复用器按需要选定后，送入模数视频转换器，将CCD摄像机输出的模拟全电视信号CVBS转换成数字视频信号，之后视频信号进入图像预处理模块（2），图像经过处理生成主、副两种动态模式，经过提取中心颜色线、提取激光标志线和物体轮廓线的预处理后，由位移量计算单元进行定标参数计算、坐标计算和位移量计算后生成视差图像，之后送入三维重建模块（3）进行三维重建、滤波处理、图像分析、数据融合以及三维构型的核心运算进行输出，随后传输至中央处理模块（4）对生成图像进行边幅修饰以及图像确定处理，最后将DXF文件数据经由接口模块（5）传送到PC机（6），完成三维图像变换和显示等最终处理，其中中央处理模块（4）将处理后的图像经过储存模块（7）进行本地储存。
2.根据权利要求1所述的一种基于深度感知的三维图像处理系统，其特征在于：所述图像采集模块（1）包括CCD摄像机、三百六十度调节系统、声音采集模块、光补偿模块和数字化模块，其中三百六十度调节系统驱动CCD摄像机进行无死角自由调节，确保图像采集的完整性。
3.根据权利要求1所述的一种基于深度感知的三维图像处理系统，其特征在于：所述图像预处理模块（2）包括主图像处理模块、副图像处理模块、位移量计算单元和合成模块，其中视频信号经过系统计算分为两部分，主图像处理模块和副图像处理模块均同时对图像进行预处理，以此提高运行速率，缩短处理时长，同时经过位移量计算单元计算解析生成视差图像。
4.根据权利要求1所述的一种基于深度感知的三维图像处理系统，其特征在于：所述三维重建模块（3）包括三维建模模块、三维图像滤波模块、分析模块和输出模块，三维建模模块对视差图像进行重新建模，建模后的图像经过滤波处理生成清晰完整图像，由分析模块进行整个图像数字解析生成底层原始对比图像。
5.根据权利要求1所述的一种基于深度感知的三维图像处理系统，其特征在于：所述多路复用器的型号为MAX440，模数视频转换器的型号为SAA7111A，图像预处理模块（2）采用型号为XC3S400的图像预处理器，XC3S400芯片内部时钟频率可达326MHz，信号摆幅1.14V和3.45V，I/O口支持622Mbps的数据传输率，具有高性能SelectRAM内部存储器，多达4个数字时钟管理器模块和8个全局时钟多路复用缓冲器。
6.根据权利要求1所述的一种基于深度感知的三维图像处理系统，其特征在于：所述三维重建模块（3）采用型号为ADSP-TS201，内设双运算模块，每个包含一个ALU、MUL、64bit移位寄存器、32个32bit寄存器组和一个128bit通信逻辑单元，相关的数据对齐缓冲器，双整数ALU，各有独立的寄存器组，提供数据寻址和指针操作，4个128bit宽度内部总线，每个都连接到6个4Mbit的内部存储器块，提供与主机处理器、多处理器空间、片外存储器映射外设、外部SRAM和SDRAM相连的外部端口，14通道DMA控制器，4个全双工低电压差分信号输入的Link Port，具有片内仲裁总线，用于多DSP无缝的连接。
7.根据权利要求1所述的一种基于深度感知的三维图像处理系统，其特征在于：所述滤波处理布置为与所述显示器相距规定距离，以调整显示的视图图像的光路，当环境光的亮度小于或等于规定值时，光补偿模块进行光照补偿，CCD摄像机继续摄录，滤波处理同时动作以改变显示的视图图像清晰度。
CN201911406049.6A 2019-12-31 2019-12-31 一种基于深度感知的三维图像处理系统 Pending CN111200727A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911406049.6A CN111200727A (zh) 2019-12-31 2019-12-31 一种基于深度感知的三维图像处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911406049.6A CN111200727A (zh) 2019-12-31 2019-12-31 一种基于深度感知的三维图像处理系统

Publications (1)

Publication Number Publication Date
CN111200727A true CN111200727A (zh) 2020-05-26

Family

ID=70747226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911406049.6A Pending CN111200727A (zh) 2019-12-31 2019-12-31 一种基于深度感知的三维图像处理系统

Country Status (1)

Country Link
CN (1) CN111200727A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118013901A (zh) * 2024-04-10 2024-05-10 芯动微电子科技(武汉)有限公司 一种图像信号处理器的原型验证系统和方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118013901A (zh) * 2024-04-10 2024-05-10 芯动微电子科技(武汉)有限公司 一种图像信号处理器的原型验证系统和方法

Similar Documents

Publication Publication Date Title
CN108806243B (zh) 一种基于Zynq-7000的交通流量信息采集终端
CN103945208B (zh) 一种针对多视点裸眼3d显示的并行同步缩放引擎及方法
US20160227160A1 (en) Image signal processor and devices including the same
CN106603953A (zh) 一种hdmi接口转化成mipi接口的视频显示方法及系统
CN101105929A (zh) 数据处理器
CN103442180B (zh) 基于sopc的双目视频拼装置及双目视频拼接方法
CN103139509A (zh) 一种基于axi总线协议的osd控制显示方法及装置
CN108616717B (zh) 一种实时全景视频拼接显示装置及其方法
CN103220545A (zh) 一种立体视频实时深度估计系统硬件实现方法
CN101527033A (zh) 超分辨率重建和自动配准的工业ccd彩色成像系统
CN104243781A (zh) 一种基于sopc的全方位视觉系统
CN110730304B (zh) 一种加速图像采集和显示的智能相机
CN208956216U (zh) 基于低照度摄像头同步采集长距传输的大型车环视系统
CN108200324A (zh) 一种基于可变焦距镜头的成像系统及成像方法
CN101729919A (zh) 基于fpga的全自动平面视频转立体视频系统
CN108742495A (zh) 一种用于医疗领域的三维立体腹腔镜系统及立体匹配方法
CN111200727A (zh) 一种基于深度感知的三维图像处理系统
CN117726547A (zh) 基于改进暗通道算法的去雾实现方法、系统
CN109089048A (zh) 多镜头全景联动装置及方法
CN109688314B (zh) 低延时少缓存且数据输出方式可控的摄像头系统及方法
CN109873954B (zh) 一种基于FPGA实现Bayer阵列彩色恢复方法
CN107945197A (zh) 一种用于图像边缘提取的智能图像处理仪
TWI517666B (zh) 以單一影像擷取裝置產生立體影像之方法及其裝置
CN206195927U (zh) 一种用于手势图像实时处理的装置
Lee et al. High-Speed CMOS Color Stereo Camera with Low Complexity VLSI Implementation for Real-Time 3D Vision Applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200526