CN110971888A - 一种双目体视集成图像处理系统 - Google Patents

一种双目体视集成图像处理系统 Download PDF

Info

Publication number
CN110971888A
CN110971888A CN201911023845.1A CN201911023845A CN110971888A CN 110971888 A CN110971888 A CN 110971888A CN 201911023845 A CN201911023845 A CN 201911023845A CN 110971888 A CN110971888 A CN 110971888A
Authority
CN
China
Prior art keywords
stereoscopic
module
image
video
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911023845.1A
Other languages
English (en)
Inventor
徐立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Rongcesi Technology Development Co Ltd
Original Assignee
Jiangsu Rongcesi Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Rongcesi Technology Development Co Ltd filed Critical Jiangsu Rongcesi Technology Development Co Ltd
Priority to CN201911023845.1A priority Critical patent/CN110971888A/zh
Publication of CN110971888A publication Critical patent/CN110971888A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种双目体视集成图像处理系统,包括立体视觉探测单元、视频图像处理单元和立体显示头盔，所述立体视觉单元具体由前视探测模块、立体探测模块和泊位探测模块组成，其中立体视觉单元还包括有激光辅助照明，所述视频图像处理单元具体包括电源控制板、图像融合模块、电子稳像模块、增强与透雾模块、信号叠加模块，所述图像融合模块可分为前视图像融合和周视图像融合，所述立体显示头盔具体包括穿透式眼镜，本发明的有益效果是：利用前视、周视视频采集的2D图像和双目体视3D图像结合方式解决了立体视频失真的问题；同时采用立体头盔和头部转向检测和转向角度追踪来解决3D立体视频在移动中显示不稳定的缺陷。

Description

一种双目体视集成图像处理系统
技术领域
本发明涉及立体视频处理技术领域，具体为一种双目体视集成图像处理系统。
背景技术
立体视频已经广范地应用在人类生活的各个领域。相应的，一系列立体视频处理技术也随之而来，并对立体内容造成不同程度的失真。一个有效的立体视频质量评价算法不仅可以很好地评价立体视频的失真程度，而且能够为一系列的3D技术提供技术支持。因此，立体视频的质量评价方法研究是一项有意义的任务。同时，立体视频的质量评价方法研究也是一项有挑战性的任务。因为立体视频质量包含空间、时间、深度这些不同的维度的质量，尤其是双目产生的深度感知，目前还不能准确地度。
而对于移动中的立体视频跟踪更是成为了立体视频研究当中的一大难题。
发明内容
本发明的目的在于提供一种双目体视集成图像处理系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种双目体视集成图像处理系统,包括立体视觉探测单元、视频图像处理单元和立体显示头盔，所述立体视觉单元具体由前视探测模块、立体探测模块和泊位探测模块组成，其中立体视觉单元还包括有激光辅助照明；
所述视频图像处理单元具体包括电源控制板、图像融合模块、电子稳像模块、增强与透雾模块、信号叠加模块；所述图像融合模块可分为前视图像融合和周视图像融合；
所述立体显示头盔具体包括穿透式眼镜，所述穿透式眼镜具体由分布在左右两侧的光波导近眼显示器构成；所述立体显示头盔还设置有转角传感组件；
其具体步骤如下：
步骤一：所述立体视觉探测单元低照度摄像机对图像进行采集，所述激光辅助照明对图像采集进行辅助照明，采集到的图像通过视频数据传输接口将其传输至视频图像处理单元；
步骤二：所述视频图像处理单元对视频图像数据进行检测，在检测后，图像融合模块分别对前视探测模块和泊位探测模块的图像进行融合，将两则融合进立体探测模块的图像当中；
步骤三：所述视频图像处理单元根据融合后图像的清晰程度分别对其进行稳固、增透、透雾、叠加处理；处理完成后将图像传送给立体显示头盔；
步骤四：所述转角传感组件对人体头部的转动角度进行感应，随着人体头部的转动，所述光波到近眼显示器上的画面随着人体头部转动方向进行移动，且移动的速度和角度均相同。
优选的，所述电源控制板根据外界光照强度自动控制激光辅助照明是否进行开关。
优选的，所述转角传感组件还包括头部姿态检测模块，对于步骤四中，所述转角传感组件首先对人体头部转动角度进行感应；与此同时，头部姿态检测模块对人体头部的转动方向进行感应，两者结合共同决定立体显示头盔中显示的图像。
优选的，对于步骤一中，当来自前视探测单元和泊位探测单元的2D视频信号进来时，进行全景图像融合和2D开窗显示；当立体探测模块的双目视频信号进来时，进行头部位置跟踪和3D重投影稳像显示。
与现有技术相比，本发明的有益效果是：利用前视、周视视频采集的2D图像和双目体视3D图像结合方式解决了立体视频失真的问题；同时采用立体头盔和头部转向检测和转向角度追踪来解决3D立体视频在移动中显示不稳定的缺陷。
附图说明
图1为本发明系统流程框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种双目体视集成图像处理系统,包括立体视觉探测单元、视频图像处理单元和立体显示头盔，所述立体视觉单元具体由前视探测模块、立体探测模块和泊位探测模块组成，其中立体视觉单元还包括有激光辅助照明；
所述视频图像处理单元具体包括电源控制板、图像融合模块、电子稳像模块、增强与透雾模块、信号叠加模块；所述图像融合模块可分为前视图像融合和周视图像融合；
所述立体显示头盔具体包括穿透式眼镜，所述穿透式眼镜具体由分布在左右两侧的光波导近眼显示器构成；所述立体显示头盔还设置有转角传感组件；
其具体步骤如下：
步骤一：所述立体视觉探测单元低照度摄像机对图像进行采集，所述激光辅助照明对图像采集进行辅助照明，采集到的图像通过视频数据传输接口将其传输至视频图像处理单元；
步骤二：所述视频图像处理单元对视频图像数据进行检测，在检测后，图像融合模块分别对前视探测模块和泊位探测模块的图像进行融合，将两则融合进立体探测模块的图像当中；
步骤三：所述视频图像处理单元根据融合后图像的清晰程度分别对其进行稳固、增透、透雾、叠加处理；处理完成后将图像传送给立体显示头盔；
步骤四：所述转角传感组件对人体头部的转动角度进行感应，随着人体头部的转动，所述光波到近眼显示器上的画面随着人体头部转动方向进行移动，且移动的速度和角度均相同。
值得注意的是，所述电源控制板根据外界光照强度自动控制激光辅助照明是否进行开关。
值得注意的是，所述转角传感组件还包括头部姿态检测模块，对于步骤四中，所述转角传感组件首先对人体头部转动角度进行感应；与此同时，头部姿态检测模块对人体头部的转动方向进行感应，两者结合共同决定立体显示头盔中显示的图像.
值得注意的是，对于步骤一中，当来自前视探测单元和泊位探测单元的2D视频信号进来时，进行全景图像融合和2D开窗显示；当立体探测模块的双目视频信号进来时，进行头部位置跟踪和3D重投影稳像显示。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种双目体视集成图像处理系统,包括立体视觉探测单元、视频图像处理单元和立体显示头盔，其特征在于：所述立体视觉单元具体由前视探测模块、立体探测模块和泊位探测模块组成，其中立体视觉单元还包括有激光辅助照明；
所述视频图像处理单元具体包括电源控制板、图像融合模块、电子稳像模块、增强与透雾模块、信号叠加模块；所述图像融合模块可分为前视图像融合和周视图像融合；
所述立体显示头盔具体包括穿透式眼镜，所述穿透式眼镜具体由分布在左右两侧的光波导近眼显示器构成；所述立体显示头盔还设置有转角传感组件；
其具体步骤如下：
步骤一：所述立体视觉探测单元低照度摄像机对图像进行采集，所述激光辅助照明对图像采集进行辅助照明，采集到的图像通过视频数据传输接口将其传输至视频图像处理单元；
步骤二：所述视频图像处理单元对视频图像数据进行检测，在检测后，图像融合模块分别对前视探测模块和泊位探测模块的图像进行融合，将两则融合进立体探测模块的图像当中；
步骤三：所述视频图像处理单元根据融合后图像的清晰程度分别对其进行稳固、增透、透雾、叠加处理；处理完成后将图像传送给立体显示头盔；
步骤四：所述转角传感组件对人体头部的转动角度进行感应，随着人体头部的转动，所述光波到近眼显示器上的画面随着人体头部转动方向进行移动，且移动的速度和角度均相同。
2.根据权利要求1所述的一种双目体视集成图像处理系统，其特征在于：所述电源控制板根据外界光照强度自动控制激光辅助照明是否进行开关。
3.根据权利要求1所述的一种双目体视集成图像处理系统，其特征在于：所述转角传感组件还包括头部姿态检测模块，对于步骤四中，所述转角传感组件首先对人体头部转动角度进行感应；与此同时，头部姿态检测模块对人体头部的转动方向进行感应，两者结合共同决定立体显示头盔中显示的图像。
4.根据权利要求1所述的一种双目体视集成图像处理系统，其特征在于：对于步骤一中，当来自前视探测单元和泊位探测单元的2D视频信号进来时，进行全景图像融合和2D开窗显示；当立体探测模块的双目视频信号进来时，进行头部位置跟踪和3D重投影稳像显示。
CN201911023845.1A 2019-10-25 2019-10-25 一种双目体视集成图像处理系统 Withdrawn CN110971888A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911023845.1A CN110971888A (zh) 2019-10-25 2019-10-25 一种双目体视集成图像处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911023845.1A CN110971888A (zh) 2019-10-25 2019-10-25 一种双目体视集成图像处理系统

Publications (1)

Publication Number Publication Date
CN110971888A true CN110971888A (zh) 2020-04-07

Family

ID=70029825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911023845.1A Withdrawn CN110971888A (zh) 2019-10-25 2019-10-25 一种双目体视集成图像处理系统

Country Status (1)

Country Link
CN (1) CN110971888A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103802728A (zh) * 2013-11-08 2014-05-21 广东好帮手电子科技股份有限公司 基于头盔显示器进行自动选景显示的驾驶辅助系统及方法
CN104102007A (zh) * 2013-04-12 2014-10-15 聚晶半导体股份有限公司 头戴式显示器及其控制方法
CN206908701U (zh) * 2017-06-19 2018-01-19 余鹏鲲 一种车载夜视系统
US9908482B1 (en) * 2015-03-27 2018-03-06 EVOX Productions, LLC Method and apparatus for creation of three-dimensional photography of automotive vehicle interiors for use with a virtual reality display
CN109076163A (zh) * 2016-04-27 2018-12-21 索尼公司 成像控制装置、成像控制方法以及成像装置
CN109774604A (zh) * 2019-03-08 2019-05-21 王桂佼 一种360°全景高级驾驶辅助系统
CN110121066A (zh) * 2019-01-23 2019-08-13 北京中科戎大科技股份有限公司 一种基于立体视觉的特种车辆辅助驾驶系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102007A (zh) * 2013-04-12 2014-10-15 聚晶半导体股份有限公司 头戴式显示器及其控制方法
CN103802728A (zh) * 2013-11-08 2014-05-21 广东好帮手电子科技股份有限公司 基于头盔显示器进行自动选景显示的驾驶辅助系统及方法
US9908482B1 (en) * 2015-03-27 2018-03-06 EVOX Productions, LLC Method and apparatus for creation of three-dimensional photography of automotive vehicle interiors for use with a virtual reality display
CN109076163A (zh) * 2016-04-27 2018-12-21 索尼公司 成像控制装置、成像控制方法以及成像装置
CN206908701U (zh) * 2017-06-19 2018-01-19 余鹏鲲 一种车载夜视系统
CN110121066A (zh) * 2019-01-23 2019-08-13 北京中科戎大科技股份有限公司 一种基于立体视觉的特种车辆辅助驾驶系统
CN109774604A (zh) * 2019-03-08 2019-05-21 王桂佼 一种360°全景高级驾驶辅助系统

Similar Documents

Publication Publication Date Title
US10598948B2 (en) Display device and display method
US9710059B2 (en) Transparent display system and apparatus provided with the same
US20170161950A1 (en) Augmented reality system and image processing of obscured objects
CN107003521B (zh) 基于眼睛会聚的显示能见度
CN104883554B (zh) 通过虚拟透视仪器群集显示直播视频的方法和系统
US8704882B2 (en) Simulated head mounted display system and method
US11049277B1 (en) Using 6DOF pose information to align images from separated cameras
EP1408703A2 (en) Electronic stereoscopic imaging system
US20180107863A1 (en) Electronic device, face recognition and tracking method and three-dimensional display method
CN104570350B (zh) 一种车窗显示系统和方法
EA032105B1 (ru) Способ и система для отображения трехмерных объектов
US11122249B2 (en) Dynamic covergence adjustment in augmented reality headsets
US20180345867A1 (en) Display system, electronic mirror system, and moving body
US11513591B2 (en) Wearable device including eye tracking apparatus and operation method of the wearable device
CN210234807U (zh) 一种拖挂车360°环视系统
CN105988220A (zh) 用于运行车辆用的自动立体观测的视野显示器的方法和控制设备
WO2017134629A1 (en) Adaptive transparent display system and method for adaptive optical shielding
KR102223852B1 (ko) 영상 디스플레이 시스템 및 방법
JP4270347B2 (ja) 距離演算装置
CN110121066A (zh) 一种基于立体视觉的特种车辆辅助驾驶系统
WO2019131160A1 (ja) 情報処理装置、情報処理方法、および記録媒体
CN204143073U (zh) 显示设备及显示系统
CN110971888A (zh) 一种双目体视集成图像处理系统
CN111781727B (zh) 基于凸透镜/凹面镜的车头盲区透视虚拟显示设备及方法
JP2018202950A (ja) 表示システム、電子ミラーシステム及び移動体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200407