CN112422769B - 一种实现字符和视频同步记录控制的平视显示器 - Google Patents
一种实现字符和视频同步记录控制的平视显示器 Download PDFInfo
- Publication number
- CN112422769B CN112422769B CN202011315851.7A CN202011315851A CN112422769B CN 112422769 B CN112422769 B CN 112422769B CN 202011315851 A CN202011315851 A CN 202011315851A CN 112422769 B CN112422769 B CN 112422769B
- Authority
- CN
- China
- Prior art keywords
- display
- video
- head
- character
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
本发明针对航空器中飞行复盘回放分析的需要，提出了一种平视显示器，在满足飞行员正常通过平显观察飞机正前方的外景和平显上显示的字符需求的同时，还能够同步将飞行员通过平显观察到的信息记录下来，形成记录视频。本发明包括座舱摄像机、图形处理模块和数字像源；图形处理模块包括GPU字符绘制单元和FPGA视频处理单元；通过缓存多帧绘图指令或者绘图帧画面来延迟输出绘制字符，实现平视显示器显示的字符与座舱摄像机拍摄的记录视频的同步记录。本发明利用绘图字符的缓存帧数灵活性解决了平视显示器显示字符与座舱摄像机拍摄视频的不同步问题，提高了平视显示器记录画面与实际观察到的字符和座舱外景的一致性，从而提高平视显示器记录视频可信度。
Description
技术领域
本发明涉及一种平视显示器及字符和视频同步记录控制方法，属于显示设备中字符视频图像处理技术领域。
背景技术
平视显示器简称平显，是目前普遍运用在航空器上的飞行辅助设备。平视的意思是指飞行员不需要低头就能看到飞行器的相关信息。平视显示器一般使用投影的方式将飞行员需要的字符信息显示到飞行员正前方的透明玻璃上，飞行员可以通过平视显示器同时观察飞机正前方的外景和平显上显示的字符。
由于飞行复盘回放分析的要求，需要将飞行员通过平显观察到的信息记录下来，但由于飞行员通过平显观察到的信息是有外景和显示字符叠加组成的，难以采用常规图像采集的方式进行记录。
发明内容
为解决现有技术存在的问题，将飞行员通过平显观察到的信息记录下来，本发明首先提出一种平视显示器，包括座舱摄像机；所述座舱摄像机是安装在座舱前方的视频拍摄设备，它拍摄的飞机正前方视频与飞行员通过平显观察的飞机正前方外景一致。这样如果将座舱摄像机拍摄的飞机正前方视频画面与平显输出的字符画面叠加，也就能够得到平显的记录视频，从而实现记录飞行员通过平显观察到的平显字符和飞机正前方外景情况。
上述这种方式中，记录视频的产生涉及两个视频源的叠加环节，因此需要考虑两者之间的同时性，主要原因是先座舱摄像机在拍摄外景视频时，需经过摄像机曝光、成像、图像处理等环节后才能用于记录视频的叠加，比飞行员通过平显观察到相同外景的时刻有延时；而记录视频中的平显字符则就是飞行员通过平显观察到的平显上显示的字符，这样如果不考虑座舱摄像机拍摄外景视频的处理延时，就会导致实际记录视频中，拍摄的外景视频与飞行员观察到的外景视频时刻不一致，这直接影响了记录视频的真实还原能力和飞行复盘回放分析的准确性。
为解决上述问题，本发明提出的平视显示器中还包括图形处理模块和数字像源；所述图形处理模块包括GPU字符绘制单元和FPGA视频处理单元，
所述GPU字符绘制单元使用串行总线接收外部主机发来的具体绘图指令，通过指令解析、符号绘制等处理步骤完成常规的平显显示字符画面的绘制，同时也完成记录视频所需字符画面的绘制。
所述GPU字符绘制单元绘制完成后的字符画面送入FPGA视频处理单元；FPGA视频处理单元将其中的平显显示字符画面经过视频编码之后用于点亮数字像源，实现平视显示器的正常显示；同时还将记录视频所需字符画面进行帧缓存，并将缓存后的字符画面与对应时间的座舱摄像机拍摄的视频图像叠加后外送用于记录。
那么这里需要事先测量确定座舱摄像机拍摄的视频图像的延迟时间T，并根据平显刷新率，确定缓存一帧字符画面的延时时间，从而确定FPGA视频处理单元中需要缓存的记录视频所需字符画面的帧数。
当然，我们还有另一种方案，通过缓存绘图指令来进行延时，这种方案的延时准确率更高，而且能够更好适应记录视频与平显视频分辨率不一致的情况。具体过程是：
所述GPU字符绘制单元使用串行总线接收外部主机发来的具体绘图指令，通过指令解析、符号绘制等处理步骤，按照当前接收到的绘图指令绘制平显显示字符画面；并且给当前绘图指令增加时间戳标志，同步缓存绘图指令和时间戳标志；根据事先测量的座舱摄像机拍摄的视频图像的延迟时间T，通过时间戳读取T时长之前收到的绘图指令，使用该绘图指令绘制记录视频所需字符画面。
所述GPU字符绘制单元绘制完成后的字符画面送入FPGA视频处理单元；FPGA视频处理单元将其中的平显显示字符画面经过视频编码之后用于点亮数字像源，实现平视显示器的正常显示；同时还将记录视频所需字符画面与当前时刻座舱摄像机处理好的视频图像叠加后外送用于记录。
进一步的，所述平显显示字符画面的分辨率为1280*1024，视频刷新率60Hz。
进一步的，所述记录视频所需字符画面座舱摄像机拍摄的视频图像叠加后的叠加画面分辨率范围支持720*576到1600*1200，视频刷新率范围支持25～60Hz。
有益效果
本发明利用缓存绘图字符指令或画面的灵活性解决了平视显示器显示字符与座舱摄像机拍摄视频的不同步问题，提高了平视显示器记录画面与实际观察到的字符和座舱外景的一致性，从而提高平视显示器记录视频可信度。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明平视显示器字符和视频同步记录控制的总体框架图；
图2是本发明平视显示器连接关系图；
图3是本发明平视显示器字符和视频同步记录控制实施1示意图；
图4是本发明平视显示器字符和视频同步记录控制实施2示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本发明针对航空器中飞行复盘回放分析的需要，提出了一种平视显示器，在满足飞行员正常通过平显观察飞机正前方的外景和平显上显示的字符需求的同时，还能够同步将飞行员通过平显观察到的信息记录下来，形成记录视频，而且在记录视频中，确保拍摄的外景视频与飞行员观察到的外景视频时刻一致。
实施例1：
如图2所示，该平视显示器包括座舱摄像机、图形处理模块和数字像源；所述图形处理模块包括GPU字符绘制单元和FPGA视频处理单元。
如图3所示，所述GPU字符绘制单元使用串行总线接收外部主机发来的具体绘图指令，通过指令解析、符号绘制等处理步骤完成常规的平显显示字符画面的绘制，同时也完成记录视频所需字符画面的绘制。
本实施例中，最终记录视频信号输出分辨率为1280*1024，刷新率60Hz；由于记录视频与平显显示视频分辨率一致，所以这里GPU字符绘制单元可以只绘制平显显示字符画面，将绘制完成后的字符画面送入FPGA视频处理单元后，由FPGA视频处理单元在分为平显显示字符画面和记录视频所需字符画面进行相应处理。
所述GPU字符绘制单元绘制完成后的字符画面送入FPGA视频处理单元；FPGA视频处理单元将其中的平显显示字符画面经过视频编码之后用于点亮数字像源，实现平视显示器的正常显示；同时还将记录视频所需字符画面进行帧缓存，并将缓存后的字符画面与对应时间的座舱摄像机拍摄的视频图像叠加后外送用于记录。
当然，如果记录视频与平显显示视频分辨率一致，FPGA视频处理单元将输入的绘制完成后的字符画面分为两路，一路经过视频编码之后用于点亮数字像源，实现平视显示器的正常显示，另一路进行帧缓存，并将缓存后的字符画面与对应时间的座舱摄像机拍摄的视频图像叠加后外送用于记录。
为了在记录视频中，确保拍摄的外景视频与飞行员观察到的外景视频时刻一致，需要事先测量确定座舱摄像机拍摄的视频图像的延迟时间T。本实施例中延迟时间T存在62ms延迟，该延迟由以下环节组成：摄像头传感器曝光时间12ms，摄像头成像并输出整帧画面16.67ms，座舱摄像机内部图像非均匀性校正、图像增强、高斯滤波等视频处理环节33.33ms。
根据平显刷新率60Hz，确定缓存一帧字符画面的延时时间为16.67ms，从而确定FPGA视频处理单元中需要缓存的记录视频所需字符画面的帧数为4帧。通过在进行帧缓存时，同步增加帧编号标识，这样通过帧编号标识，就可以读取4帧之前的记录视频所需字符画面与当前时刻座舱摄像机处理好的视频图像叠加后外送用于记录。
实施例2：
如图2所示，该平视显示器包括座舱摄像机、图形处理模块和数字像源；所述图形处理模块包括GPU字符绘制单元和FPGA视频处理单元。
本实施例中记录视频信号输出分辨率为1024*768，刷新率60Hz，由于记录视频与平显显示视频分辨率不一致，需要GPU字符绘制单元分别绘制平显显示字符画面和记录视频所需字符画面，所以这里我们采用指令缓存的方式。
如图4所示，所述GPU字符绘制单元使用串行总线接收外部主机发来的具体绘图指令，通过指令解析、符号绘制等处理步骤，按照当前接收到的绘图指令绘制平显显示字符画面；并且给当前绘图指令增加时间戳标志，同步缓存绘图指令和时间戳标志；根据事先测量的座舱摄像机拍摄的视频图像的延迟时间T，通过时间戳读取缓存的T时长之前收到的绘图指令，使用该绘图指令绘制记录视频所需字符画面。
所述GPU字符绘制单元绘制完成后的字符画面送入FPGA视频处理单元；FPGA视频处理单元将其中的平显显示字符画面经过视频编码之后用于点亮数字像源，实现平视显示器的正常显示；同时还将记录视频所需字符画面与当前时刻座舱摄像机处理好的视频图像叠加后外送用于记录。
实施例1的方案，对于记录视频与平显显示视频分辨率一致的情况，在GPU中只需要进行一次绘图，资源消耗少，但由于座舱摄像机的延时时间不一定是帧延时的倍数，所以实施例1的方案还会略微有时间上的差异，但这个差异已经很小，人眼难以分辨，所以不影响复盘使用。
实施例2的方案，更加适用于记录视频与平显显示视频分辨率不一致的情况，通过对指令进行延时缓存，进行两次绘制，可以严格保证拍摄的外景视频与飞行员观察到的外景视频时刻一致。
上述两种方案均可较好的实现平视显示器记录视频要求，满足视频回放分析的准确性需要。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (9)
1.一种平视显示器，包括数字像源，其特征在于：还包括座舱摄像机、图形处理模块；所述图形处理模块包括字符绘制单元和视频处理单元；
所述字符绘制单元接收外部主机发来的绘图指令，根据绘图指令完成平显显示字符画面的绘制和记录视频所需字符画面的绘制；
所述字符绘制单元绘制完成后的字符画面送入视频处理单元；视频处理单元将其中的平显显示字符画面经过视频编码之后用于点亮数字像源，实现平视显示器的正常显示；同时还将记录视频所需字符画面进行帧缓存，并将缓存后的字符画面与对应时间的座舱摄像机拍摄的视频图像叠加后外送；
根据平显刷新率，确定缓存一帧字符画面的延时时间，并结合座舱摄像机拍摄的视频图像的延迟时间T，确定视频处理单元中需要缓存的记录视频所需字符画面的帧数。
2.根据权利要求1所述一种平视显示器，其特征在于：当记录视频与平显显示视频分辨率一致时，字符绘制单元根据绘图指令进行字符画面的绘制，并送入视频处理单元，视频处理单元将字符画面分为平显显示字符画面和记录视频所需字符画面两路，一路平显显示字符画面经过视频编码之后用于点亮数字像源，实现平视显示器的正常显示，另一路记录视频所需字符画面进行帧缓存，并将缓存后的字符画面与对应时间的座舱摄像机拍摄的视频图像叠加后外送用于记录。
3.根据权利要求1所述一种平视显示器，其特征在于：所述字符绘制单元采用GPU字符绘制单元。
4.根据权利要求1所述一种平视显示器，其特征在于：所述视频处理单元采用FPGA视频处理单元。
5.根据权利要求1所述一种平视显示器，其特征在于：所述平显显示字符画面的分辨率为1280*1024，视频刷新率60Hz。
6.一种平视显示器，包括数字像源，其特征在于：还包括座舱摄像机、图形处理模块；所述图形处理模块包括字符绘制单元和视频处理单元；
所述字符绘制单元接收外部主机发来的绘图指令，根据当前接收到的绘图指令绘制平显显示字符画面；并且给当前绘图指令增加时间戳标志，同步缓存绘图指令和时间戳标志；字符绘制单元还根据事先测量的座舱摄像机拍摄的视频图像的延迟时间T，通过时间戳读取缓存的T时长之前收到的绘图指令，使用该绘图指令绘制记录视频所需字符画面；
所述字符绘制单元绘制完成后的字符画面送入视频处理单元；视频处理单元将其中的平显显示字符画面经过视频编码之后用于点亮数字像源，实现平视显示器的正常显示；同时还将记录视频所需字符画面与当前时刻座舱摄像机处理好的视频图像叠加后外送。
7.根据权利要求6所述一种平视显示器，其特征在于：所述平显显示字符画面的分辨率为1280*1024，视频刷新率60Hz；所述记录视频所需字符画面座舱摄像机拍摄的视频图像叠加后的叠加画面分辨率范围支持720*576到1600*1200，视频刷新率范围支持25～60Hz。
8.根据权利要求6所述一种平视显示器，其特征在于：所述字符绘制单元采用GPU字符绘制单元。
9.根据权利要求6所述一种平视显示器，其特征在于：所述视频处理单元采用FPGA视频处理单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011315851.7A CN112422769B (zh) | 2020-11-22 | 2020-11-22 | 一种实现字符和视频同步记录控制的平视显示器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011315851.7A CN112422769B (zh) | 2020-11-22 | 2020-11-22 | 一种实现字符和视频同步记录控制的平视显示器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112422769A CN112422769A (zh) | 2021-02-26 |
| CN112422769B true CN112422769B (zh) | 2022-11-01 |
Family
ID=74777856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011315851.7A Active CN112422769B (zh) | 2020-11-22 | 2020-11-22 | 一种实现字符和视频同步记录控制的平视显示器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112422769B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116055843A (zh) * | 2022-12-26 | 2023-05-02 | 江西洪都航空工业集团有限责任公司 | 一种用于教练机的平视显示系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106444044A (zh) * | 2016-12-12 | 2017-02-22 | 中国航空工业集团公司洛阳电光设备研究所 | 一种民用飞机的头戴式显示器 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007164071A (ja) * | 2005-12-16 | 2007-06-28 | Toshiba Corp | 情報処理装置および動作速度制御方法 |
| JP2009290252A (ja) * | 2008-05-27 | 2009-12-10 | Ikegami Tsushinki Co Ltd | テレビカメラ |
| KR101138547B1 (ko) * | 2011-09-26 | 2012-05-10 | 한국항공우주산업 주식회사 | 동기화 가능한 이중 그래픽 프로세서 모듈을 가진 임무 컴퓨터 시스템 및 그 이중 그래픽 프로세서 모듈 간의 동기화 방법 |
| CN104660917A (zh) * | 2013-11-18 | 2015-05-27 | 田荣侠 | 一种信息发布终端显示系统 |
| CN104299546B (zh) * | 2013-11-28 | 2018-01-02 | 中国航空工业集团公司洛阳电光设备研究所 | 一种平视显示器及实现其同源的方法 |
| CN104299544B (zh) * | 2013-11-29 | 2017-01-04 | 中国航空工业集团公司洛阳电光设备研究所 | 一种平视显示器及提高其分时叠加显示效果的方法 |
| JP2016138901A (ja) * | 2015-01-26 | 2016-08-04 | 株式会社日立エルジーデータストレージ | 光モジュール、及び走査型画像表示装置 |
| CN206431885U (zh) * | 2017-02-09 | 2017-08-22 | 天津酷雷尔科技有限公司 | 战斗机飞行模拟器及战斗模拟系统 |
| CN107490866B (zh) * | 2017-09-20 | 2019-11-29 | 中国航空工业集团公司洛阳电光设备研究所 | 一种飞行员可穿戴显示系统及其定位头部姿态的方法 |
| CN109850169B (zh) * | 2018-11-26 | 2022-01-28 | 中国航空工业集团公司洛阳电光设备研究所 | 一种用于机载hud显示系统的监控方法 |
| CN111099037B (zh) * | 2019-12-16 | 2023-02-10 | 中国航空工业集团公司洛阳电光设备研究所 | 一种民机平视显示器显示画面安全性监控的方法 |
| CN210694186U (zh) * | 2019-12-18 | 2020-06-05 | 江西洪都航空工业集团有限责任公司 | 一种后舱平显架构 |
| CN111669636B (zh) * | 2020-06-19 | 2022-02-25 | 海信视像科技股份有限公司 | 一种音画同步的视频录制方法及显示设备 |
-
2020
- 2020-11-22 CN CN202011315851.7A patent/CN112422769B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106444044A (zh) * | 2016-12-12 | 2017-02-22 | 中国航空工业集团公司洛阳电光设备研究所 | 一种民用飞机的头戴式显示器 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112422769A (zh) | 2021-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102384232B1 (ko) | 증강 현실 데이터를 레코딩하기 위한 기술 | |
| US8711207B2 (en) | Method and system for presenting live video from video capture devices on a computer monitor | |
| CN111656433B (zh) | 减轻头戴式显示器中动显延迟的装置、系统和方法 | |
| US8497816B2 (en) | Crossed monitoring device for head-up displays | |
| JP2008146109A (ja) | 画像処理方法、画像処理装置 | |
| US20090315887A1 (en) | Image display apparatus and method for controlling the same | |
| US6943799B2 (en) | Gaze directed visual system | |
| JP2018191098A (ja) | 画像表示システム、画像表示装置および画像表示方法 | |
| US20210368152A1 (en) | Information processing apparatus, information processing method, and program | |
| CN112422769B (zh) | 一种实现字符和视频同步记录控制的平视显示器 | |
| CN108241211B (zh) | 一种头戴显示设备及图像渲染方法 | |
| US10931938B2 (en) | Method and system for stereoscopic simulation of a performance of a head-up display (HUD) | |
| CN111902842A (zh) | 在头戴式显示器中实现帧内图像处理的装置、系统和方法 | |
| US20220036779A1 (en) | Information processing apparatus, information processing method, and recording medium | |
| CN114125301A (zh) | 一种虚拟现实技术拍摄延迟处理方法及装置 | |
| CN110855907B (zh) | 一种基于预测的低延时视频叠加帧缓存调度器 | |
| CN113923354A (zh) | 基于多帧图像的视频处理方法、设备及虚拟背景拍摄系统 | |
| EP3521899A1 (en) | Apparatus, system, and method for achieving intraframe image processing in head-mounted displays | |
| CN108924261B (zh) | 一种高速帧精确内容馈送显示系统 | |
| JP4889036B2 (ja) | 画像処理装置、画像処理方法 | |
| EP3522150A2 (en) | Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays | |
| CN113315964B (zh) | 一种3d图像的显示方法、装置及电子设备 | |
| JP3913076B2 (ja) | 画像合成処理装置 | |
| JP2018191053A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
| JP6614835B2 (ja) | 通信装置、ヘッドマウントディスプレイ、画像処理システム、通信方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |