CN113316009A - 雷达距离与视频图像叠加展示的方法、系统及存储介质 - Google Patents

雷达距离与视频图像叠加展示的方法、系统及存储介质 Download PDF

Info

Publication number
CN113316009A
CN113316009A CN202110403912.3A CN202110403912A CN113316009A CN 113316009 A CN113316009 A CN 113316009A CN 202110403912 A CN202110403912 A CN 202110403912A CN 113316009 A CN113316009 A CN 113316009A
Authority
CN
China
Prior art keywords
display
video image
distance
displaying
imx6
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110403912.3A
Other languages
English (en)
Other versions
CN113316009B (zh
Inventor
吕小强
陈晓晶
程刘胜
张吉祥
单成伟
贾文琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tiandi Changzhou Automation Co Ltd
Changzhou Research Institute of China Coal Technology and Engineering Group Corp
Original Assignee
Tiandi Changzhou Automation Co Ltd
Changzhou Research Institute of China Coal Technology and Engineering Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tiandi Changzhou Automation Co Ltd, Changzhou Research Institute of China Coal Technology and Engineering Group Corp filed Critical Tiandi Changzhou Automation Co Ltd
Priority to CN202110403912.3A priority Critical patent/CN113316009B/zh
Publication of CN113316009A publication Critical patent/CN113316009A/zh
Application granted granted Critical
Publication of CN113316009B publication Critical patent/CN113316009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9315—Monitoring blind spots
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种雷达距离与视频图像叠加展示的方法，应用于矿用车载设备，包括利用IMX6核心处理器加载Linux操作系统及QT界面设计框架；通过雷达探测器获取雷达测量的距离数据，通过摄像头获取视频图像数据，并将视频图像数据发送给IMX6核心处理器；开辟多个用于显示距离数据的第一显示窗口以及用于显示视频图像数据的第二显示窗口；将第一显示窗口与第二显示窗口进行叠加融合，将叠加后的显示窗口传输给正在行驶的所述交通工具的显示屏展示画面A，所述画面A能够显示所述交通工具目前所处的环境位置，以及该位置与所述所处环境周围障碍物之间的距离。利用本发明，可以实现距离数据与视频图像数据的叠加显示，降低事故发生率。

Description

雷达距离与视频图像叠加展示的方法、系统及存储介质
技术领域
本发明涉及交通设备技术领域，尤其涉及一种雷达距离与视频图像叠加展示的方法。
背景技术
矿用无轨胶轮车在煤矿辅助运输中扮演者越来越重要的角色，特别是有条件的煤矿使用无轨胶轮车作为辅助运输设备占比很大，矿用无轨胶轮车必须要配备行标规定的车载设备，这些车载设备发展方向是越来越智能化，智能化的车载设备作为辅助驾驶手段之一能提高驾驶安全性，减少事故发生。
目前常用的辅助驾驶技术包括：雷达测距技术、视频影像技术、多传感融合技术、人机交互技术等，多种辅助驾驶技术能够在行车过程中给司机提供车辆周围的环境情况，辅助司机驾驶判断，减少司机视觉盲区，减少司机误操作，提高驾驶安全性。
虽然目前很多辅助驾驶技术已应用于矿用无轨胶轮车，车上也装载了很多种类的辅助驾驶智能化设备，但是仍存在着一些缺陷，例如，有些车辆上只能安装雷达测距或者摄像头，雷达系统和视频影像系统独立运行，无法融合，造成了安装设备繁多且达不到辅助效果，同时人机交互无法给司机简洁明了的提示，测距距离和视频图像无法叠加、明了的显示。
发明内容
本发明要解决的技术问题是：为了解决现有技术中雷达系统和视频影像系统没有融合，测距距离和视频图像无法叠加显示的技术问题，本发明提供一种雷达距离与视频图像叠加展示的方法，能够同时接收和处理雷达测距距离数据和实时视频图像数据，并进行叠加展示，从而减少盲区，降低事故发生率。
本发明解决其技术问题所采用的技术方案是：一种雷达距离与视频图像叠加展示的方法，应用于矿用车载设备，包括以下步骤：
S1：利用IMX6核心处理器加载Linux操作系统及QT界面设计框架；
S2：通过雷达探测器获取雷达测量的距离数据，并将所述距离数据发送给所述IMX6核心处理器；
S3：通过摄像头获取视频图像数据，并将所述视频图像数据发送给所述IMX6核心处理器；
S4：利用所述IMX6核心处理器运行所述Linux操作系统及QT界面设计框架，开辟多个用于显示所述距离数据的第一显示窗口；
S5：利用所述IMX6核心处理器运行所述Linux操作系统及QT界面设计框架，开辟用于显示所述视频图像数据的第二显示窗口；
S6：利用所述IMX6核心处理器运行所述Linux操作系统及QT界面设计框架，将所述第一显示窗口与所述第二显示窗口进行叠加融合，将叠加后的显示窗口传输给正在行驶的所述交通工具的显示屏展示画面A，所述画面A能够显示所述交通工具目前所处的环境位置，以及该位置与所述所处环境周围障碍物之间的距离。
本发明的雷达距离与视频图像叠加展示的方法，通过IMX6核心处理器同时接收雷达测距数据及视频图像数据，结合Linux操作系统和QT界面设计框架，将第一显示窗口与第二显示窗口进行叠加融合，叠加后的显示窗口传输给显示屏进行展示，可以减少和优化辅助驾驶设备的安装，能清晰直观的提供给驾驶员图像和距离数据叠加后的图像显示，减少盲区，降低事故发生率。
进一步，具体的，所述步骤S2具体包括：将多个所述雷达探测器分别设置在所述交通工具的不同方位进行距离测量，得到不同方位所述交通工具与所述障碍物之间的距离数据，所述IMX6核心处理器通过通信传输协议接收所述雷达探测器传输的不同方位的所述距离数据。不同方位包括目标车辆的前、后、左、右、左前、右前、左侧、右侧、左后、右后等不同的方位，根据事先定义好的传输协议，在传输过程中对测量到的距离数据进行方位标记，IMX6核心处理器接收该距离数据并进行解析得到带有方位标记的距离值。
进一步，具体的，所述步骤S3具体包括：将所述摄像头设置在所述交通工具的前方进行拍摄，得到所述交通工具目前所处环境的AHD高清视频图像；通过NVP6芯片将所述AHD高清视频图像转换成CSI视频图像数据，并将所述CSI视频图像数据传输给所述IMX6核心处理器。IMX6核心处理器支持CSI信号接入，将AHD信号格式的视频图像数据转换成CSI信号格式，可以被IMX6核心处理器进行识别。
进一步，具体的，所述步骤S4中，开辟多个用于显示所述距离数据的第一显示窗口具体包括：通过所述Linux操作系统调用所述QT界面设计框架的窗口类控件，利用所述窗口类控件中的API函数生成多个所述第一显示窗口。每个第一显示窗口仅显示一个带方位的距离数据，便于驾驶员识别。
进一步，具体的，所述步骤S5中，开辟用于显示所述视频图像数据的第二显示窗口具体包括：通过所述Linux操作系统调用所述QT界面设计框架的窗口类控件，利用所述窗口类控件中的API函数生成一个所述第二显示窗口。
进一步，具体的，所述步骤S6中，将所述第一显示窗口与所述第二显示窗口进行叠加融合具体包括：
S61：通过Linux操作系统接收多个所述距离数据和所述视频图像数据进行缓存；
S62：运行所述QT界面设计框架将缓存的所述视频图像数据通过第二显示窗口进行显示画面a，所述画面a能够显示所述交通工具目前所处的环境位置；
S63：运行所述QT界面设计框架将缓存的多个所述距离数据通过多个第一显示窗口显示多个画面b，所述画面b能够显示所述交通工具目前所在位置与周围环境障碍物之间的方位和距离，并且，一个所述画面b仅显示一种所述方位和所述距离数据；
S64：依次设置多个所述第一显示窗口的显示特征，将所述多个第一显示窗口依次叠加显示在所述第二显示窗口的边界处得到所述画面A，所述画面A同时包括多个所述画面b与所述画面a。
QT界面设计框架负责窗口类控件的管理，支持多个窗口类控件运行，多个第一显示窗口按照方位标记依次显示在第二显示窗口的边界处，驾驶员可以通过显示屏同时看到视频图像以及交通工具与周边障碍物之间的距离，减少盲区，提高安全性。
进一步，具体的，所述显示特征包括窗口的大小、透明度及位置。通过设置第一显示窗口的边界大小、透明度以及排列的位置，使得显示更加清晰明了。
本发明还提供一种雷达距离与视频图像叠加展示的系统，实现如上所述的雷达距离与视频图像叠加展示的方法，包括：雷达探测器、摄像头、IMX6核心处理器及显示屏，其中，所述雷达探测器用于获取雷达测量的距离数据，并将所述距离数据发送给所述IMX6核心处理器；所述摄像头用于获取视频图像数据，并将所述视频图像数据发送给所述IMX6核心处理器；所述IMX6核心处理器被配置为加载并运行Linux操作系统及QT界面设计框架，开辟多个用于显示所述距离数据的第一显示窗口以及用于显示所述视频图像数据的第二显示窗口，将所述第一显示窗口与所述第二显示窗口进行叠加融合，将叠加后的显示窗口传输给正在行驶的交通工具的显示屏展示画面A，所述画面A能够显示所述交通工具目前所处的环境位置，以及该位置与所述所处环境周围障碍物之间的距离。
本发明的雷达距离与视频图像叠加展示的系统，通过IMX6核心处理器同时接收雷达测距数据及视频图像数据，结合Linux操作系统和QT界面设计框架，将第一显示窗口与第二显示窗口进行叠加融合，叠加后的显示窗口传输给显示屏进行展示，可以减少和优化辅助驾驶设备的安装，能清晰明了的提供给驾驶员图像和距离数据叠加后的图像显示，减少盲区，降低事故发生率。
本发明还提供了一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机程序被处理器执行时，实现如上所述的雷达距离与视频图像叠加展示的方法。
本发明的有益效果是，本发明的雷达距离与视频图像叠加展示的方法及系统，通过IMX6核心处理器同时接收雷达测距数据及视频图像数据，结合Linux操作系统和QT界面设计框架，将第一显示窗口与第二显示窗口进行叠加融合，叠加后的显示窗口传输给显示屏进行展示，可以减少和优化辅助驾驶设备的安装，能清晰明了的提供给驾驶员图像和距离数据叠加后的图像显示，减少盲区，降低事故发生率；通过将多个第一显示窗口按照方位标记依次显示在第二显示窗口的边界处，不会缩小第二显示窗口在显示屏中的显示区域，驾驶员可以通过显示屏同时看到图像以及车辆与周边障碍物之间的距离，简洁明了；同时，第一显示窗口也不会额外增加显示屏的显示区域，从而增加设备的成本。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的雷达距离与视频图像叠加展示的方法的流程图；
图2是本发明的第一显示窗口与所述第二显示窗口进行叠加融合的流程图；
图3是本发明的雷达距离与视频图像叠加展示的系统的结构示意图；
图4是本发明的第一显示窗口和第二显示窗口叠加显示画面A的示意图。
图中：1、雷达探测器，2、摄像头，3、IMX6核心处理器，4、显示屏，5、图像处理器。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
【实施例1】
如图1-2所示，一种雷达距离与视频图像叠加展示的方法，应用于交通工具的显示设备(交通工具可以包括车辆、火车等)，包括以下步骤：
S1：利用IMX6核心处理器加载Linux操作系统及QT界面设计框架。
需要说明的是，本实施例所用的IMX6核心处理器为IMX6核心板，采用NXP Cortex-A9四核处理器，计算能力强劲，具有1G的主频、2G的DDR3内存、16G的EMMC、4MB的EEPROM等参数性能，支持多种接口接入，例如以太网、Rs485、CAN、GPS、4G、wifi、CSI等接口，显示与图像处理能力强劲，支持LVDS显示输出接口、CSI视频接入接口，具备1080P视频解码能力及2D/3D加速算法的能力，符合本实施例的开发需求。Linux操作系统由众多微内核组成，其源代码完全开源，具有非常强大的网络功能，其支持所有的因特网协议，包括TCP/IPv4、TCP/IPv6和链路层拓扑程序等，简单操作就可以配置出合适的开发环境，可以简化开发过程，减少开发中仿真工具的障碍，使系统具有较强的移植性。
S2：通过雷达探测器获取雷达测量的距离数据，并将距离数据发送给IMX6核心处理器。
需要说明的是，步骤S2具体包括：将多个雷达探测器分别设置在交通工具的不同方位进行距离测量，得到不同方位交通工具与障碍物之间的距离数据，IMX6核心处理器通过通信传输协议接收雷达探测器传输的不同方位的距离数据。
S3：通过摄像头获取视频图像数据，并将视频图像数据发送给IMX6核心处理器。
需要说明的是，步骤S3具体包括：将摄像头设置在交通工具的前方进行拍摄，得到交通工具目前所处环境的AHD高清视频图像；再通过NVP6芯片将AHD高清视频图像转换成CSI视频图像数据，并将CSI视频图像数据传输给IMX6核心处理器。
S4：利用IMX6核心处理器运行Linux操作系统及QT界面设计框架，开辟多个用于显示距离数据的第一显示窗口。
需要说明的是，可以通过Linux操作系统调用QT界面设计框架的窗口类控件，利用窗口类控件中的API函数生成多个第一显示窗口。
S5：利用IMX6核心处理器运行Linux操作系统及QT界面设计框架，开辟用于显示视频图像数据的第二显示窗口。
需要说明的是，可以通过Linux操作系统调用QT界面设计框架的窗口类控件，利用窗口类控件中的API函数生成一个第二显示窗口。
S6：利用IMX6核心处理器运行Linux操作系统及QT界面设计框架，将第一显示窗口与第二显示窗口进行叠加融合，将叠加后的显示窗口传输给正在行驶的交通工具的显示屏展示画面A，画面A能够显示交通工具目前所处的环境位置，以及该位置与所处环境周围障碍物之间的距离。
需要说明的是，将第一显示窗口与第二显示窗口进行叠加融合具体包括：
S61：通过Linux操作系统接收多个距离数据和视频图像数据进行缓存；
S62：运行QT界面设计框架将缓存的视频图像数据通过第二显示窗口进行显示画面a，画面a能够显示交通工具目前所处的环境位置；
S63：运行QT界面设计框架将缓存的多个距离数据通过多个第一显示窗口显示多个画面b，画面b能够显示交通工具目前所在位置与周围环境障碍物之间的方位和距离，并且，一个画面b仅显示一种方位和距离数据；
S64：依次设置多个第一显示窗口的显示特征，将多个第一显示窗口依次叠加显示在第二显示窗口的边界处得到画面A，画面A同时包括多个画面b与画面a。
在本实施例中，显示特征包括窗口的大小、透明度及位置。Linux操作系统负责任务管理循环，先运行接收视频图像数据和雷达距离数据的任务，然后进行缓存待使用；运行QT界面设计任务时，把每个缓存的数据用一个显示窗口进行显示，QT负责窗口类控件的管理，支持多个窗口类控件，每个显示窗口可以设置边界大小及透明度等特征，规划好不同的显示窗口层次，首先设置第二显示窗口特征并运行显示视频图像数据，然后依次设置多个第一显示窗口特征并依次运行显示不同方位的距离数据。例如，设置有10个第一显示窗口，则依次在第二显示窗口边界处的显示范围显示，根据不同的方位排列整齐并设置好边界大小及透明度(如图4所示，以隧道、车辆为例，多个第一显示窗口的透明度为100％，多个画面b按照方位显示在画面a的边界处的对应位置组成画面A，既不会遮挡画面a的视频图像，又可以直观地表明在不同方位，车辆与周围障碍物之间的距离，提醒驾驶员要小心行驶)，完成两种数据的叠加展示。在本实施例中，显示屏可以是彩色液晶显示屏，带有LVDS接口，尺寸为7-15寸，将叠加后的数据通过IMX6核心处理器的LVDS输出接口编码成LVDS信号，再传输至显示屏进行显示。
【实施例2】
如图3所示，一种雷达距离与视频图像叠加展示的系统，包括雷达探测器1、摄像头2、IMX6核心处理器3及显示屏4，雷达探测器1与IMX6核心处理器3连接，摄像头2与IMX6核心处理器3连接，显示屏4与IMX6核心处理器3连接，其中，雷达探测器1用于获取雷达测量的距离数据，并将距离数据发送给IMX6核心处理器；摄像头2用于获取视频图像数据，并将视频图像数据发送给IMX6核心处理器；IMX6核心处理器3被配置为加载并运行Linux操作系统及QT界面设计框架，开辟多个用于显示距离数据的第一显示窗口以及用于显示视频图像数据的第二显示窗口，将第一显示窗口与第二显示窗口进行叠加融合，将叠加后的显示窗口传输给正在行驶的交通工具的显示屏4展示画面A，画面A能够显示交通工具目前所处的环境位置，以及该位置与所处环境周围障碍物之间的距离。
雷达距离与视频图像叠加展示的系统还包括一图像处理器5，图像处理器5与摄像头2连接，图像处理器4与IMX6核心处理器3连接，图像处理器4用于将摄像头2获取的AHD高清视频图像转换成CSI视频图像数据，并将CSI视频图像数据传输给IMX6核心处理器3。
在本实施例中，雷达探测器1与IMX6核心处理器3通过通信接口实现连接，例如Rs485、CAN总线、以太网等等，CAN总线接口由CAN收发器、光耦隔离器、电源隔离等组成，Rs485接口由MAX3085收发器、光耦隔离器、电源隔离等组成，以太网接口由千兆以太网芯片、以太网变压器等组成。图像处理器4可以为NVP6系列视频芯片，可以将AHD高清模拟视频图像转换成CSI视频图像。
需要说明的是，在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意结合来实现，当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如：同轴电缆、光纤、数据用户线(DigitalSubscriber Line，DSL))或无线(例如：红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如：软盘、硬盘、磁带)、光介质(例如：数字通用光盘(DigitalVersatile Disc，DVD))、或者半导体介质(例如：固态硬盘(Solid State Disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要如权利要求范围来确定其技术性范围。

Claims (10)

1.一种雷达距离与视频图像叠加展示的方法，应用于交通工具的显示设备，其特征在于，包括以下步骤：
S1：利用IMX6核心处理器加载Linux操作系统及QT界面设计框架；
S2：通过雷达探测器获取雷达测量的距离数据，并将所述距离数据发送给所述IMX6核心处理器；
S3：通过摄像头获取视频图像数据，并将所述视频图像数据发送给所述IMX6核心处理器；
S4：利用所述IMX6核心处理器运行所述Linux操作系统及QT界面设计框架，开辟多个用于显示所述距离数据的第一显示窗口；
S5：利用所述IMX6核心处理器运行所述Linux操作系统及QT界面设计框架，开辟用于显示所述视频图像数据的第二显示窗口；
S6：利用所述IMX6核心处理器运行所述Linux操作系统及QT界面设计框架，将所述第一显示窗口与所述第二显示窗口进行叠加融合，将叠加后的显示窗口传输给正在行驶的所述交通工具的显示屏展示画面A，所述画面A能够显示所述交通工具目前所处的环境位置，以及该位置与所述所处环境周围障碍物之间的距离。
2.如权利要求1所述的雷达距离与视频图像叠加展示的方法，其特征在于，所述步骤S2具体包括：
将多个所述雷达探测器分别设置在所述交通工具的不同方位进行距离测量，得到不同方位所述交通工具与所述障碍物之间的距离数据，所述IMX6核心处理器通过通信传输协议接收所述雷达探测器传输的不同方位的所述距离数据。
3.如权利要求1所述的雷达距离与视频图像叠加展示的方法，其特征在于，所述步骤S3具体包括：
将所述摄像头设置在所述交通工具的前方进行拍摄，得到所述交通工具目前所处环境的AHD高清视频图像；
通过NVP6芯片将所述AHD高清视频图像转换成CSI视频图像数据，并将所述CSI视频图像数据传输给所述IMX6核心处理器。
4.如权利要求1所述的雷达距离与视频图像叠加展示的方法，其特征在于，所述步骤S4中，开辟多个用于显示所述距离数据的第一显示窗口具体包括：
通过所述Linux操作系统调用所述QT界面设计框架的窗口类控件，利用所述窗口类控件中的API函数生成多个所述第一显示窗口。
5.如权利要求1所述的雷达距离与视频图像叠加展示的方法，其特征在于，所述步骤S5中，开辟用于显示所述视频图像数据的第二显示窗口具体包括：
通过所述Linux操作系统调用所述QT界面设计框架的窗口类控件，利用所述窗口类控件中的API函数生成一个所述第二显示窗口。
6.如权利要求1所述的雷达距离与视频图像叠加展示的方法，其特征在于，所述步骤S6中，将所述第一显示窗口与所述第二显示窗口进行叠加融合具体包括：
S61：通过Linux操作系统接收多个所述距离数据和所述视频图像数据进行缓存；
S62：运行所述QT界面设计框架，将缓存的所述视频图像数据通过第二显示窗口显示画面a，所述画面a能够显示所述交通工具目前所处的环境位置；
S63：运行所述QT界面设计框架将缓存的多个所述距离数据通过多个第一显示窗口显示多个画面b，所述画面b能够显示所述交通工具目前所在位置与周围环境障碍物之间的方位和距离，并且，一个所述画面b仅显示一种所述方位和所述距离数据；
S64：依次设置多个所述第一显示窗口的显示特征，将所述多个第一显示窗口依次叠加显示在所述第二显示窗口的边界处得到所述画面A，所述画面A同时包括多个所述画面b与所述画面a。
7.如权利要求6所述的雷达距离与视频图像叠加展示的方法，其特征在于，所述显示特征包括窗口的大小、透明度及位置。
8.一种实现如权利要求1-7任一项所述的雷达距离与视频图像叠加展示的方法的系统，其特征在于，包括：雷达探测器(1)、摄像头(2)、IMX6核心处理器(3)及显示屏(4)，
其中，所述雷达探测器(1)用于获取雷达测量的距离数据，并将所述距离数据发送给所述IMX6核心处理器；
所述摄像头(2)用于获取视频图像数据，并将所述视频图像数据发送给所述IMX6核心处理器；
所述IMX6核心处理器(3)被配置为加载并运行Linux操作系统及QT界面设计框架，开辟多个用于显示所述距离数据的第一显示窗口以及用于显示所述视频图像数据的第二显示窗口，将所述第一显示窗口与所述第二显示窗口进行叠加融合，将叠加后的显示窗口传输给正在行驶的交通工具的显示屏(4)展示画面A，所述画面A能够显示所述交通工具目前所处的环境位置，以及该位置与所述所处环境周围障碍物之间的距离。
9.如权利要求8所述的雷达距离与视频图像叠加展示的方法的系统，其特征在于，还包括图像处理器(5)，
所述图像处理器(5)用于将所述摄像头(2)获取的AHD高清视频图像转换成CSI视频图像数据，并将所述CSI视频图像数据传输给所述IMX6核心处理器(3)。
10.一种计算机可读存储介质，其上存储有计算机可读指令，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至7中的任一项所述的雷达距离与视频图像叠加展示的方法。
CN202110403912.3A 2021-04-15 2021-04-15 雷达距离与视频图像叠加展示的方法、系统及存储介质 Active CN113316009B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110403912.3A CN113316009B (zh) 2021-04-15 2021-04-15 雷达距离与视频图像叠加展示的方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110403912.3A CN113316009B (zh) 2021-04-15 2021-04-15 雷达距离与视频图像叠加展示的方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN113316009A true CN113316009A (zh) 2021-08-27
CN113316009B CN113316009B (zh) 2023-02-03

Family

ID=77372320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110403912.3A Active CN113316009B (zh) 2021-04-15 2021-04-15 雷达距离与视频图像叠加展示的方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113316009B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006352368A (ja) * 2005-06-14 2006-12-28 Nissan Motor Co Ltd 車両周囲監視装置及び車両周囲監視方法
CN102114809A (zh) * 2011-03-11 2011-07-06 同致电子科技（厦门）有限公司 一体式视觉化倒车雷达影像辅助系统及信号的叠加方法
CN107133559A (zh) * 2017-03-14 2017-09-05 湖北工业大学 基于360度全景的运动物体检测方法
CN109159738A (zh) * 2018-09-06 2019-01-08 珠海翔越电子有限公司 一种基于图像叠加的前盲区图像显示方法和系统
CN110525360A (zh) * 2019-08-26 2019-12-03 广汽蔚来新能源汽车科技有限公司 基于车载终端的辅助驾驶方法、装置、系统及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006352368A (ja) * 2005-06-14 2006-12-28 Nissan Motor Co Ltd 車両周囲監視装置及び車両周囲監視方法
CN102114809A (zh) * 2011-03-11 2011-07-06 同致电子科技（厦门）有限公司 一体式视觉化倒车雷达影像辅助系统及信号的叠加方法
CN107133559A (zh) * 2017-03-14 2017-09-05 湖北工业大学 基于360度全景的运动物体检测方法
CN109159738A (zh) * 2018-09-06 2019-01-08 珠海翔越电子有限公司 一种基于图像叠加的前盲区图像显示方法和系统
CN110525360A (zh) * 2019-08-26 2019-12-03 广汽蔚来新能源汽车科技有限公司 基于车载终端的辅助驾驶方法、装置、系统及存储介质

Also Published As

Publication number Publication date
CN113316009B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
US20230418307A1 (en) Autonomous Vehicle Collision Mitigation Systems and Methods
US9898011B2 (en) Driving assistance system and program for driving according to operations management
CN107274695B (zh) 智能照明系统、智能车辆及其车辆辅助驾驶系统和方法
US10493622B2 (en) Systems and methods for communicating future vehicle actions to be performed by an autonomous vehicle
WO2022134364A1 (zh) 车辆的控制方法、装置、系统、设备及存储介质
US10996668B2 (en) Systems and methods for on-site recovery of autonomous vehicles
CN109572555A (zh) 一种应用于无人车的遮挡信息显示方法和系统
US10102747B2 (en) Intersection traffic signal indicator systems and methods for vehicles
CN113612969A (zh) 用于无人驾驶设备远程遥控的视频数据传输的方法及装置
CN103448628A (zh) 一种用于接入车联网的工程车安全装置及系统
WO2021259280A1 (zh) 一种车辆泊车方法、装置、车载设备及存储介质
TW201217200A (en) capable of controlling throttle, braking or steering according to the re-constructed environment information so as to improve driving safety
DE102019218971A1 (de) Fahrzeug und Verfahren zum Steuern eines Fahrzeugbilds
CN113316009B (zh) 雷达距离与视频图像叠加展示的方法、系统及存储介质
JP2019519051A (ja) 知的照明システム、照明デバイス、車両、車載端末、車両運転支援システム及び車両運転支援方法
US11697380B2 (en) System and method for displaying vehicle driving information
US11318933B2 (en) Vehicle and method for controlling thereof
WO2024027112A1 (zh) 车辆控制方法、装置、自动泊车辅助控制器、终端及系统
EP3702864B1 (en) Accounting for latency in teleoperated remote driving
CN214564975U (zh) 一种矿用自卸车的全景影像系统及矿用自卸车
CN215097402U (zh) 一种驾驶辅助系统和自动驾驶车辆
US20230367311A1 (en) Remote monitoring system, remote monitoring apparatus, and remote monitoring method
CN112987699A (zh) 一种基于叠加式抬头显示的矿用卡车远程应急接管系统
CN214775846U (zh) 一种基于雷达与视觉的智能辅助停车装置
CN215944489U (zh) 一种驾驶辅助系统和自动驾驶车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant