CN110312072A - 一种流媒体后视镜图像抖动补偿方法及其装置 - Google Patents

一种流媒体后视镜图像抖动补偿方法及其装置 Download PDF

Info

Publication number
CN110312072A
CN110312072A CN201910398775.1A CN201910398775A CN110312072A CN 110312072 A CN110312072 A CN 110312072A CN 201910398775 A CN201910398775 A CN 201910398775A CN 110312072 A CN110312072 A CN 110312072A
Authority
CN
China
Prior art keywords
rearview mirror
streaming media
compensation
media rearview
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910398775.1A
Other languages
English (en)
Inventor
张丽娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Gemeidi Industrial Co Ltd
Original Assignee
Shenzhen Gemeidi Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Gemeidi Industrial Co Ltd filed Critical Shenzhen Gemeidi Industrial Co Ltd
Priority to CN201910398775.1A priority Critical patent/CN110312072A/zh
Priority to PCT/CN2019/089866 priority patent/WO2020228071A1/zh
Publication of CN110312072A publication Critical patent/CN110312072A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供了一种流媒体后视镜图像抖动补偿方法及其装置。所述方法包括：获取流媒体后视镜的振动状态信息；根据所述振动状态信息判断所述流媒体后视镜是否需要进行图像抖动补偿；若是，则获取视频流数据并根据所述振动状态信息对所述视频流数据进行抖动补偿，以便于在所述流媒体后视镜中显示抖动补偿后的所述视频流数据。本发明通过利用震动状态信息对视频流数据进行抖动补偿，从而达到消除抖动的目的，为驾驶员对后视镜所对应的视野进行清晰完整无抖动的观察带来了方便。

Description

一种流媒体后视镜图像抖动补偿方法及其装置
技术领域
本发明涉及流媒体后视镜技术领域，更具体地说，涉及一种流媒体后视镜图像抖动补偿方法及其装置。
背景技术
后视镜是驾驶员坐在驾驶室座位上直接获取汽车后方、侧方和下方等外部信息的工具。为了驾驶员操作方便，防止行车安全事故的发生，保障人身安全，各国均规定了汽车上必须安装后视镜，且所有后视镜都必须能调整方向。
汽车在行驶过程中，不可避免的将振动传递到后视镜，引起后视镜抖动，进而驾驶员看到的图像也是抖动的，造成驾驶员无法对后视镜所对应的视野进行清晰完整的观察，为驾驶员的车辆驾驶带来安全隐患。
发明内容
有鉴于此，本发明提供一种流媒体后视镜图像抖动补偿方法及其装置以解决现有技术的不足。
为解决上述问题，本发明提供一种流媒体后视镜图像抖动补偿方法，包括：
获取流媒体后视镜的振动状态信息；
根据所述振动状态信息判断所述流媒体后视镜是否需要进行图像抖动补偿；
若是，则获取视频流数据并根据所述振动状态信息对所述视频流数据进行抖动补偿，以便于在所述流媒体后视镜中显示抖动补偿后的所述视频流数据。
优选地，所述振动状态信息包括所述流媒体后视镜的振幅和振动频率。
优选地，所述“获取视频流数据并根据所述振动状态信息对所述视频流数据进行抖动补偿，以便于在所述流媒体后视镜中显示抖动补偿后的所述视频流数据”，包括：
获取所述流媒体后视镜的振动方向；
获取所述视频流数据；
根据所述振动方向、所述振幅和所述振动频率对所述视频流数据进行抖动补偿。
优选地，所述“根据所述振动方向、所述振幅和所述振动频率对所述视频流数据进行抖动补偿”包括：
获取与所述振动方向对应的反方向的反向振动方向；
根据所述反向振动方向和所述振动状态信息中的所述振幅和所述振动频率生成补偿设置信息；
根据所述补偿设置信息，控制所述流媒体后视镜显示与所述振动方向的方向相反的所述反向振动方向、并且具有相同振幅的视频流数据。
优选地，所述“根据所述振动状态信息判断所述流媒体后视镜是否需要进行图像抖动补偿”，包括：
将所述振幅与预设振幅阈值进行比较；以及，将所述振动频率与预设振动频率阈值进行比较；
若所述振幅达到所述预设振幅阈值，并且所述振动频率达到所述预设振动频率阈值，则判定所述流媒体后视镜需要进行图像抖动补偿。
优选地，所述“获取流媒体后视镜的振动状态信息”之前，还包括：
采集用户的驾驶图像；
根据所述驾驶图像对所述用户进行瞳孔追踪，以确定所述用户的视线聚焦位置；
当所述视线聚焦位置进入所述流媒体后视镜对应的后视区域范围，则判定所述用户处于查看后视镜状态，以便于执行所述“获取流媒体后视镜的振动状态信息”。
此外，为解决上述问题，本发明还提供一种流媒体后视镜图像抖动补偿装置，包括：微控制单元，以及均与所述微控制单元电性连接的振动传感器、显示屏和摄像头模块；
所述振动传感器采集流媒体后视镜的振动状态信息；其中，所述振动状态信息包括所述流媒体后视镜的振幅和振动频率；所述振动传感器将所述振幅和所述振动频率发送至所述微控制单元；所述微控制单元根据所述振幅和所述振动频率判断是否需要进行抖动补偿；在判定需要进行抖动补偿时，所述微控制单元根据所述振幅和所述振动频率对所述摄像头模块传输的视频流数据进行抖动补偿，并将抖动补偿后的视频流数据显示于所述流媒体后视镜的显示屏中。
此外，为解决上述问题，本发明还提供一种流媒体后视镜图像抖动补偿装置，包括：
获取模块，用于获取流媒体后视镜的振动状态信息；
判断模块，用于根据所述振动状态信息判断所述流媒体后视镜是否需要进行图像抖动补偿；
补偿模块，用于在所述流媒体后视镜需要进行图像抖动补偿时，获取视频流数据并根据所述振动状态信息对所述视频流数据进行抖动补偿，以便于在所述流媒体后视镜中显示抖动补偿后的所述视频流数据。
此外，为解决上述问题，本发明还提供一种计算机设备，包括存储器以及处理器；所述存储器用于存储流媒体后视镜图像抖动补偿程序，所述处理器运行所述流媒体后视镜图像抖动补偿程序以使所述计算机设备执行如上述所述流媒体后视镜图像抖动补偿方法。
此外，为解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有流媒体后视镜图像抖动补偿程序，所述流媒体后视镜图像抖动补偿程序被处理器执行时实现如上述所述流媒体后视镜图像抖动补偿方法。
本发明提供的一种流媒体后视镜图像抖动补偿方法及其装置。其中，所述方法通过利用振动状态信息对视频流数据进行抖动补偿，从而使流媒体后视镜中显示抖动补偿后的所述视频流数据。本发明通过利用震动状态信息对视频流数据进行抖动补偿，从而达到消除抖动的目的，为驾驶员对后视镜所对应的视野进行清晰完整无抖动的观察带来了方便。
附图说明
图1为本发明流媒体后视镜图像抖动补偿方法实施例方案涉及的硬件运行环境的结构示意图；
图2为本发明流媒体后视镜图像抖动补偿方法第一实施例的流程示意图；
图3为本发明流媒体后视镜图像抖动补偿方法第二实施例步骤S300细化的流程示意图；
图4为本发明流媒体后视镜图像抖动补偿方法第二实施例中步骤S330 细化的流程示意图；
图5为本发明流媒体后视镜图像抖动补偿方法第二实施例中步骤S200 细化的流程示意图；
图6为本发明流媒体后视镜图像抖动补偿方法第二实施例中流媒体后视镜向上振动的图像抖动补偿原理示意图；
图7为本发明流媒体后视镜图像抖动补偿方法第二实施例中流媒体后视镜斜向上振动的图像抖动补偿原理示意图；
图8为本发明流媒体后视镜图像抖动补偿方法第二实施例中流媒体后视镜斜在显示平面内顺时针椭圆振动的图像抖动补偿原理示意图；
图9为本发明流媒体后视镜图像抖动补偿方法第三实施例的另一种实施方式的流程示意图；
图10为本发明流媒体后视镜图像抖动补偿装置的模块电路连接示意图；
图11为本发明另一种流媒体后视镜图像抖动补偿装置的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面详细描述本发明的实施例，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的终端的硬件运行环境的结构示意图。
本发明实施例计算机设备包括可以是的PC，也可以是智能手机、平板电脑或者便携计算机等可移动式终端设备。如图1所示，该计算机设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏、输入单元比如键盘、遥控器，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004 可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005 可以是高速RAM存储器，也可以是稳定的存储器，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。可选地，计算机设备还可以包括RF(Radio Frequency，射频)电路、音频电路、WiFi 模块等等。此外，该计算机设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的计算机设备并不构成对其的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、数据接口控制程序、网络连接程序以及流媒体后视镜图像抖动补偿程序。
本发明提供的一种流媒体后视镜图像抖动补偿方法及其装置。其中，所述方法通过利用震动状态信息对视频流数据进行抖动补偿，从而达到消除抖动的目的，为驾驶员对后视镜所对应的视野进行清晰完整无抖动的观察带来了方便。
实施例1：
参照图2，本发明第一实施例提供一种流媒体后视镜图像抖动补偿方法，应用于终端与点播平台端之间，包括：
步骤S100，获取流媒体后视镜的振动状态信息；
步骤S200，根据所述振动状态信息判断所述流媒体后视镜是否需要进行图像抖动补偿；
步骤S300，若是，则获取视频流数据并根据所述振动状态信息对所述视频流数据进行抖动补偿，以便于在所述流媒体后视镜中显示抖动补偿后的所述视频流数据。
上述，需要说明的是，为了扩展视野，目前车载的后视镜采用流媒体后视镜，即将图像用显示屏显示在后视镜里面，比较常见的是将车后的图像实时传送到显示屏上进行显示。流媒体后视镜即为替代了传统后视镜，它的外表和传统后视镜一样，但是结构却不一样，传统后视镜就是一块镜子，而流媒体后视镜是一个多媒体显示屏。它和倒车影像相结合，可以通过后方的摄像头把影像传送投射到流媒体后视镜屏幕上，我们能看到比传统后视镜更加好的视角，屏幕上还有各种多媒体功能可以操作。
上述，振动状态信息，为流媒体后视镜在车辆行驶过程中，与振动有关的参数信息，例如，实时的振动的频率、振幅、速度、速率、方向等等参数信息。
上述，视频流数据，即为实时在流媒体后视镜中显示的后视镜视野中的图像。
上述，在需要进行抖动补偿时，根据振动状态信息对所获取的视频流数据进行实时转换，从而在流媒体后视镜中得到转换后的进行抖动补偿的视频流数据，使驾驶员看到的流媒体后视镜本身发生抖动或振动，但其中所播放的视频流数据保持不发生抖动的效果，即通过抖动补偿，消除了图像抖动的缺陷。
此外，如果不需要进行图像抖动补偿，则可返回步骤S100，进行重新获取流媒体后视镜的振动状态信息。
本发明提供的一种流媒体后视镜图像抖动补偿方法，通过利用振动状态信息对视频流数据进行抖动补偿，从而使流媒体后视镜中显示抖动补偿后的所述视频流数据。本发明通过利用震动状态信息对视频流数据进行抖动补偿，从而达到消除抖动的目的，为驾驶员对后视镜所对应的视野进行清晰完整无抖动的观察带来了方便。
实施例2：
参照图3-5，本发明第二实施例提供一种流媒体后视镜图像抖动补偿方法，基于上述图2所示的第一实施例，所述振动状态信息包括所述流媒体后视镜的振幅和振动频率。
所述步骤S300，“获取视频流数据并根据所述振动状态信息对所述视频流数据进行抖动补偿，以便于在所述流媒体后视镜中显示抖动补偿后的所述视频流数据”，包括：
步骤S310，获取所述流媒体后视镜的振动方向；
上述，流媒体后视镜在振动过程中，会出现朝向不同的方向进行振动的情况，例如，垂直向上，垂直向下，斜向上，斜向下；甚至，后视镜会在振动过程中发生基于显示平面的旋转，例如，显示平面内顺时针椭圆振动，逆时针椭圆振动等等。
步骤S320，获取所述视频流数据；
上述，视频流数据为流媒体后视镜中实时显示的处于后视镜视野区域内的视频。获取当前的实时的视频流数据，可进一步应用于抖动补偿。
步骤S330，根据所述振动方向、所述振幅和所述振动频率对所述视频流数据进行抖动补偿。
本实施例中，通过利用所述振动方向、所述振幅和所述振动频率，对视频流进行抖动补偿，从而达到消除抖动的目的，为驾驶员对后视镜所对应的视野进行清晰完整无抖动的观察带来了方便。
所述步骤S330，“根据所述振动方向、所述振幅和所述振动频率对所述视频流数据进行抖动补偿”包括：
步骤S331，将与所述振动方向对应的反方向，作为反向振动方向；并且，根据所述反向振动方向和所述振动状态信息中的所述振幅和所述振动频率生成补偿设置信息；
上述，补偿设置信息，即为用于对实时的视频流进行转换的设置信息，
步骤S332，根据所述补偿设置信息，对所述视频流数据的每个关键帧进行逐帧变换补偿，得到基于所述反向振动方向、并且具有相同振幅和振动频率的补偿后视频流；并将所述补偿后视频流替换原有的所述视频流数据，显示于所述流媒体后视镜中。
上述，在生成一补偿设置信息后，根据该信息，对视频流数据的每一帧进行逐帧调整，具体的，根据补偿设置信息，对每一帧进行转转，调整为相对的反向振动，并保持原有振幅和频率，并且实时的对调整后的该帧在流媒体后视镜的显示屏中进行实时同步显示。例如：
1、参考图6，如果后视镜图像向上振动Δt1，则显示图像相应的向下振动Δt2，其中，保持Δt1＝Δt2；反之亦然；
2、参考图7，如果后视镜图像斜向上振动Δt3，则显示图像相应的斜向下振动Δt4，其中，保持Δt3＝Δt4；反之亦然；
3、参考图8，如果后视镜在显示屏幕内顺时针椭圆振动Δt5，则显示图像在显示平面内做逆时针椭圆振动Δt6，保持Δt5＝Δt6；反之亦然。
所述步骤S200，“根据所述振动状态信息判断所述流媒体后视镜是否需要进行图像抖动补偿”，包括：
步骤S210，将所述振幅与预设振幅阈值进行比较；以及，将所述振动频率与预设振动频率阈值进行比较；
步骤S220，若所述振幅达到所述预设振幅阈值，并且所述振动频率达到所述预设振动频率阈值，则判定所述流媒体后视镜需要进行图像抖动补偿。
上述，预设振动频率阈值、预设振幅阈值为预先设定的用于判断是否达到振动状态、需要进行抖动补偿调整的评判指标，将当前的振幅与预设振动频率阈值，以及振动频率与预设振动频率阈值进行分别比较，当两者均达到对应的阈值，则可判定所述流媒体后视镜需要进行图像抖动补偿。从而准确的判定出达到的振动状态，并且需要进行抖动补偿调整，避免了单独对其中振幅或振动频率某一项进行判断，所出现的判断误差，提高了判断的准确度。
本实施例中，流媒体后视镜通过对振幅、振动频率和振动方向，进行参数获取，而后对该视频流进行补偿处理，让画面反方向同频率，同振幅，反方向，抖动图像画面。达到后视镜外壳在抖动，但是屏幕上的画面没有抖动的目的。所测到的后视镜抖动的轨迹，大部分后视镜会是上下方向的直线振动，个别后视镜会是椭圆形轨迹振动，或斜方向直线振动，或其他形状轨迹振动。最终驾驶员看到的结果是，后视镜外壳(本体)在抖动，但是显示屏上的画面没有抖动，从而达到消除抖动的目的，为驾驶员对后视镜所对应的视野进行清晰完整无抖动的观察带来了方便。
实施例3：
参照图,9，本发明第三实施例提供一种流媒体后视镜图像抖动补偿方法，基于上述图2所示的第一实施例，所述步骤S100，“获取流媒体后视镜的振动状态信息”之前，还包括：
步骤S400，采集用户的驾驶图像；
流媒体后视镜，实时的播放后视视野区域内对应的图像。如果每次在后视镜发生抖动，并判定为需要进行图像抖动补偿，则均会进行对于视频流数据的处理，从而得到并在后视镜中显示补偿后的视频流数据。而驾驶员不会持续的观察后视镜中的图像，而是在有需要的时候才会进行观察，如果每次发生抖动即进行图像抖动补偿处理，则会耗费和占用大量的系统资源，减少流媒体后视镜的使用寿命。
为解决该问题，本实施例中提供一种流媒体后视镜图像抖动补偿方法，避免在驾驶员未观察后视镜时，该后视镜也实时进行图像抖动补偿处理，耗费和占用大量的系统资源，减少流媒体后视镜的使用寿命的缺陷。
上述，用户即为驾驶员，在车辆内的驾驶员。对车辆内的驾驶员进行实时的图像采集，从而得到驾驶图像。驾驶图像，即为驾驶室中的图像。
步骤S500，根据所述驾驶图像对所述用户进行瞳孔追踪，以确定所述用户的视线聚焦位置；
上述，瞳孔追踪，即为利用眼球中心定位跟踪算法，进行对用户的眼球中心即为瞳孔进行捕捉和定位，从而确定用户的视线聚焦位置是否在直视指定区域。
需要说明的是，人眼中心定位是一个用于眼部追踪的算法，基于C++ 语言实现，依赖OpenCV库。可由图像采集设备获取视频，进行人脸检测，再根据检测到的人脸图像截取左眼和右眼的ROI区域，最后根据截取到的 ROI进行眼球中心检测与跟踪。所以算法的主要包含三个部分：人脸检测， ROI截取，眼球中心定位，从而最终得到视线聚焦位置。
步骤S600，当所述视线聚焦位置进入所述流媒体后视镜对应的后视区域范围，则判定所述用户处于查看后视镜状态，以便于执行所述“获取流媒体后视镜的振动状态信息”。
上述，后视区域范围，即为用于判定用户的视线是否集中在流媒体后视镜的评价区域。该区域的大小可大于实际后视镜的区域，也可以小于该区域。本实施例中，通过利用瞳孔追踪技术，基于驾驶图像对用户是否处于查看后视镜状态进行判断，如果为查看后视镜状态，则可进行进一步的流媒体后视镜图像抖动补偿，如果没有达到该状态，则判定用户未直视后视镜，则无需进行后视镜图像抖动补偿，避免实时进行图像抖动补偿所占用的大量的系统资源和耗电，在一定程度上延长流媒体后视镜的使用寿命。
此外，参考图10，本发明还提供一种流媒体后视镜图像抖动补偿装置，包括：微控制单元11，以及均与所述微控制单元11电性连接的振动传感器 12、显示屏13和摄像头模块14；
所述振动传感器12采集流媒体后视镜1的振动状态信息；其中，所述振动状态信息包括所述流媒体后视镜1的振幅和振动频率；所述振动传感器12将所述振幅和所述振动频率发送至所述微控制单元11；所述微控制单元11根据所述振幅和所述振动频率判断是否需要进行抖动补偿；在判定需要进行抖动补偿时，所述微控制单元11根据所述振幅和所述振动频率对所述摄像头模块14传输的视频流数据进行抖动补偿，并将抖动补偿后的视频流数据显示于所述流媒体后视镜1的所述显示屏14中。
上述，本实施例中所提供的装置，主要由振动传感器、MCU(微控制单元)、显示屏、摄像头模块构成。振动传感器安装在后视镜内部，与MCU 进行电性连接。显示屏与MCU电性连接，在MCU判断需要进行抖动消除时，显示经过补偿后的图像，不需要进行抖动消除时，显示未经补偿的图像。
摄像头模块与MCU电性连接，将采集好的图像信号传递给MCU,进而进行显示。采用了通过在后视镜内安装振动传感器，检测后视镜振动的振幅和频率，将两个参数传给MCU，MCU收到参数后，按照相同频率，相反方向振幅对视频的每一帧进行补偿，消除显示器图像因为后视镜振动产生的抖动。
如果后视镜图像向上(或者斜向上)振动Δt，则显示图像相应的向下 (或者斜向下)振动Δt，反之亦然。如果后视镜在显示屏幕内顺时针椭圆振动，则显示图像在显示平面内做逆时针椭圆振动。反之亦然。
电路对振幅，振动频率，振动方向，进行测定，而后传递给画面电路，让画面反方向同频率，同振幅，反方向，抖动图像画面。达到后视镜壳子在抖动但是屏幕上的画面没有抖动的目的。所测到的后视镜抖动的轨迹，大部分后视镜会是上下方向的直线振动，个别后视镜会是椭圆形轨迹振动，或斜方向直线振动，或其他形状轨迹振动。最终驾驶员看到的结果是，后视镜壳子在抖动，但是屏幕上的画面没有抖动。
本实施例采用算法控制，通过检测后视镜的抖动的振幅和频率，通过算法让图像做与抖动相反的方向运动(MCU能直接让图片上下运动，对摄像头传过来的帧做一些加权位移，使得实际显示位置比正常的高或者低，从而达到消除后视镜后壳产生的抖动)，从而达到消除抖动的目的。
此外，参考图11，本发明还提供一种流媒体后视镜图像抖动补偿装置，包括：
获取模块10，用于获取流媒体后视镜的振动状态信息；
判断模块20，用于根据所述振动状态信息判断所述流媒体后视镜是否需要进行图像抖动补偿；
补偿模块30，用于在所述流媒体后视镜需要进行图像抖动补偿时，获取视频流数据并根据所述振动状态信息对所述视频流数据进行抖动补偿，以便于在所述流媒体后视镜中显示抖动补偿后的所述视频流数据。
此外，本发明还提供一种计算机设备，包括存储器以及处理器；所述存储器用于存储流媒体后视镜图像抖动补偿程序，所述处理器运行所述流媒体后视镜图像抖动补偿程序以使所述计算机设备执行如上述所述流媒体后视镜图像抖动补偿方法。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有流媒体后视镜图像抖动补偿程序，所述流媒体后视镜图像抖动补偿程序被处理器执行时实现如上述所述流媒体后视镜图像抖动补偿方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如 ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种流媒体后视镜图像抖动补偿方法，其特征在于，包括：
获取流媒体后视镜的振动状态信息；
根据所述振动状态信息判断所述流媒体后视镜是否需要进行图像抖动补偿；
若是，则获取视频流数据并根据所述振动状态信息对所述视频流数据进行抖动补偿，以便于在所述流媒体后视镜中显示抖动补偿后的所述视频流数据。
2.如权利要求1所述流媒体后视镜图像抖动补偿方法，其特征在于，所述振动状态信息包括所述流媒体后视镜的振幅和振动频率。
3.如权利要求2所述流媒体后视镜图像抖动补偿方法，其特征在于，所述“获取视频流数据并根据所述振动状态信息对所述视频流数据进行抖动补偿，以便于在所述流媒体后视镜中显示抖动补偿后的所述视频流数据”，包括：
获取所述流媒体后视镜的振动方向；
获取所述视频流数据；
根据所述振动方向、所述振幅和所述振动频率对所述视频流数据进行抖动补偿。
4.如权利要求3所述流媒体后视镜图像抖动补偿方法，其特征在于，所述“根据所述振动方向、所述振幅和所述振动频率对所述视频流数据进行抖动补偿”包括：
将与所述振动方向对应的反方向，作为反向振动方向；并且，根据所述反向振动方向和所述振动状态信息中的所述振幅和所述振动频率生成补偿设置信息；
根据所述补偿设置信息，对所述视频流数据的每个关键帧进行逐帧变换补偿，得到基于所述反向振动方向、并且具有相同振幅和振动频率的补偿后视频流；并将所述补偿后视频流替换原有的所述视频流数据，显示于所述流媒体后视镜中。
5.如权利要求2-4任一项所述流媒体后视镜图像抖动补偿方法，其特征在于，所述“根据所述振动状态信息判断所述流媒体后视镜是否需要进行图像抖动补偿”，包括：
将所述振幅与预设振幅阈值进行比较；以及，将所述振动频率与预设振动频率阈值进行比较；
若所述振幅达到所述预设振幅阈值，并且所述振动频率达到所述预设振动频率阈值，则判定所述流媒体后视镜需要进行图像抖动补偿。
6.如权利要求1所述流媒体后视镜图像抖动补偿方法，其特征在于，所述“获取流媒体后视镜的振动状态信息”之前，还包括：
采集用户的驾驶图像；
根据所述驾驶图像对所述用户进行瞳孔追踪，以确定所述用户的视线聚焦位置；
当所述视线聚焦位置进入所述流媒体后视镜对应的后视区域范围，则判定所述用户处于查看后视镜状态，以便于执行所述“获取流媒体后视镜的振动状态信息”。
7.一种流媒体后视镜图像抖动补偿装置，其特征在于，包括：微控制单元，以及均与所述微控制单元电性连接的振动传感器、显示屏和摄像头模块；
所述振动传感器采集流媒体后视镜的振动状态信息；其中，所述振动状态信息包括所述流媒体后视镜的振幅和振动频率；所述振动传感器将所述振幅和所述振动频率发送至所述微控制单元；所述微控制单元根据所述振幅和所述振动频率判断是否需要进行抖动补偿；在判定需要进行抖动补偿时，所述微控制单元根据所述振幅和所述振动频率对所述摄像头模块传输的视频流数据进行抖动补偿，并将抖动补偿后的视频流数据显示于所述流媒体后视镜的所述显示屏中。
8.一种流媒体后视镜图像抖动补偿装置，其特征在于，包括：
获取模块，用于获取流媒体后视镜的振动状态信息；
判断模块，用于根据所述振动状态信息判断所述流媒体后视镜是否需要进行图像抖动补偿；
补偿模块，用于在所述流媒体后视镜需要进行图像抖动补偿时，获取视频流数据并根据所述振动状态信息对所述视频流数据进行抖动补偿，以便于在所述流媒体后视镜中显示抖动补偿后的所述视频流数据。
9.一种计算机设备，其特征在于，包括存储器以及处理器；所述存储器用于存储流媒体后视镜图像抖动补偿程序，所述处理器运行所述流媒体后视镜图像抖动补偿程序以使所述计算机设备执行如权利要求1-6中任一项所述流媒体后视镜图像抖动补偿方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有流媒体后视镜图像抖动补偿程序，所述流媒体后视镜图像抖动补偿程序被处理器执行时实现如权利要求1-6中任一项所述流媒体后视镜图像抖动补偿方法。
CN201910398775.1A 2019-05-14 2019-05-14 一种流媒体后视镜图像抖动补偿方法及其装置 Pending CN110312072A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910398775.1A CN110312072A (zh) 2019-05-14 2019-05-14 一种流媒体后视镜图像抖动补偿方法及其装置
PCT/CN2019/089866 WO2020228071A1 (zh) 2019-05-14 2019-06-03 一种流媒体后视镜图像抖动补偿方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910398775.1A CN110312072A (zh) 2019-05-14 2019-05-14 一种流媒体后视镜图像抖动补偿方法及其装置

Publications (1)

Publication Number Publication Date
CN110312072A true CN110312072A (zh) 2019-10-08

Family

ID=68075488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910398775.1A Pending CN110312072A (zh) 2019-05-14 2019-05-14 一种流媒体后视镜图像抖动补偿方法及其装置

Country Status (2)

Country Link
CN (1) CN110312072A (zh)
WO (1) WO2020228071A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866395A (zh) * 2020-08-07 2020-10-30 苏州臻迪智能科技有限公司 增稳处理模组、无人机摄像系统以及图像增稳处理方法
CN116723401A (zh) * 2023-08-11 2023-09-08 深圳金语科技有限公司 一种流媒体后视镜图像抖动补偿方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114441138A (zh) * 2022-01-28 2022-05-06 中国第一汽车股份有限公司 一种流媒体后视镜测试设备及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000067021A (ko) * 1999-04-22 2000-11-15 윤장진 카 오디오/비디오 시스템의 화면 떨림 방지 회로
CN1838222A (zh) * 2005-03-25 2006-09-27 华为技术有限公司 一种显示信息的方法及装置
CN1918901A (zh) * 2004-02-16 2007-02-21 松下电器产业株式会社 驾驶辅助装置
CN102165392A (zh) * 2008-09-26 2011-08-24 微软公司 对设备的预期移动的补偿
CN102198819A (zh) * 2010-03-24 2011-09-28 索尼公司 用于车辆的后视系统、后视设备和显示稳定图像的方法
CN105578146A (zh) * 2016-01-07 2016-05-11 浙江宇视科技有限公司 一种机芯防抖处理方法及装置
CN105835776A (zh) * 2016-03-28 2016-08-10 乐视控股（北京）有限公司 一种车辆屏幕防抖方法及装置
CN106080398A (zh) * 2016-08-27 2016-11-09 时空链（北京）科技有限公司 一种汽车安全监测系统和方法
CN108058643A (zh) * 2016-11-08 2018-05-22 丰田自动车株式会社 车辆后方区域图像显示装置以及存储车辆后方区域图像显示程序的计算机可读介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7872764B2 (en) * 2007-10-16 2011-01-18 Magna Electronics Inc. Machine vision for predictive suspension
JP6150655B2 (ja) * 2013-08-01 2017-06-21 キヤノン株式会社 像振れ補正装置およびその制御方法、レンズ鏡筒、光学機器、並びに撮像装置
CN108492287B (zh) * 2018-03-14 2020-06-02 罗普特（厦门）科技集团有限公司 一种视频抖动检测方法、终端设备及存储介质
CN208585172U (zh) * 2018-06-28 2019-03-08 广州引力科视电子设备有限公司 一种具有预警功能的流媒体后视镜系统
CN109591706A (zh) * 2018-12-05 2019-04-09 深圳创维数字技术有限公司 后视镜控制方法、后视镜、行车记录仪、系统及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000067021A (ko) * 1999-04-22 2000-11-15 윤장진 카 오디오/비디오 시스템의 화면 떨림 방지 회로
CN1918901A (zh) * 2004-02-16 2007-02-21 松下电器产业株式会社 驾驶辅助装置
CN1838222A (zh) * 2005-03-25 2006-09-27 华为技术有限公司 一种显示信息的方法及装置
CN102165392A (zh) * 2008-09-26 2011-08-24 微软公司 对设备的预期移动的补偿
CN102198819A (zh) * 2010-03-24 2011-09-28 索尼公司 用于车辆的后视系统、后视设备和显示稳定图像的方法
CN105578146A (zh) * 2016-01-07 2016-05-11 浙江宇视科技有限公司 一种机芯防抖处理方法及装置
CN105835776A (zh) * 2016-03-28 2016-08-10 乐视控股（北京）有限公司 一种车辆屏幕防抖方法及装置
CN106080398A (zh) * 2016-08-27 2016-11-09 时空链（北京）科技有限公司 一种汽车安全监测系统和方法
CN108058643A (zh) * 2016-11-08 2018-05-22 丰田自动车株式会社 车辆后方区域图像显示装置以及存储车辆后方区域图像显示程序的计算机可读介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866395A (zh) * 2020-08-07 2020-10-30 苏州臻迪智能科技有限公司 增稳处理模组、无人机摄像系统以及图像增稳处理方法
CN116723401A (zh) * 2023-08-11 2023-09-08 深圳金语科技有限公司 一种流媒体后视镜图像抖动补偿方法及装置

Also Published As

Publication number Publication date
WO2020228071A1 (zh) 2020-11-19

Similar Documents

Publication Publication Date Title
US10867195B2 (en) Systems and methods for monitoring driver state
CN110312072A (zh) 一种流媒体后视镜图像抖动补偿方法及其装置
US10423837B2 (en) Method and apparatus for a wearable computer
CN109791739B (zh) 晕车估计装置、晕车防止装置和晕车估计方法
CN106062826B (zh) 图像生成装置以及图像生成方法
CN109002757A (zh) 驾驶管理方法和系统、车载智能系统、电子设备、介质
US9508008B2 (en) Wearable emotion detection and feedback system
CN109726771A (zh) 异常驾驶检测模型建立方法、装置及存储介质
CN108819900A (zh) 车辆控制方法和系统、车载智能系统、电子设备、介质
EP3089154A1 (en) Image processing device, image processing method, computer program, and image display system
JP5030142B2 (ja) 集中度評価装置及びこれを用いた車両用表示装置
CN108366764B (zh) 观看者情绪判定装置、观看者情绪判定系统和程序
US20210053491A1 (en) Video image output apparatus, video image output method, and medium
JP6501743B2 (ja) 画像安定化方法及び電子デバイス
CN106850967A (zh) 一种自适应屏显方法、系统及头戴设备
US20180279032A1 (en) Smart Windshield for Utilization with Wireless Earpieces
CN109885368A (zh) 一种界面显示防抖方法及移动终端
CN107077822A (zh) 控制设备、控制方法和程序
CN111213375B (zh) 信息处理装置、信息处理方法以及程序
EP1336916B1 (en) Position-direction measuring apparatus and information processing method
JP2020182246A (ja) 情報処理装置、制御方法、及びプログラム
CN114374832B (zh) 虚拟现实体验的控制方法、装置、用户设备及网络设备
CN111583669B (zh) 一种超速检测方法、装置、控制设备和存储介质
JP2020177303A (ja) 監視システム、移動体、監視方法及びプログラム
US20230015904A1 (en) System and method for providing visual assistance to an individual suffering from motion sickness

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191008

RJ01 Rejection of invention patent application after publication