CN112135007B - 一种流媒体视角切换方法及系统 - Google Patents

Abstract

本发明涉及流媒体后视镜技术领域，提供一种流媒体视角切换方法及系统，以控制模块、图像信号处理器以及图像传感器为基础建立后视镜流媒体视角切换系统，以图像信号处理器为控制命令的中转站，控制图像传感器工作在外部触发模式，将图像数据的曝光与输出控制移交到控制模块；控制模块以图像传感器的第一触发信号的频率为常量，计算得到第二触发信号的预设频率，以及对应于视角切换操作延迟处理的预设时间，为图像数据的曝光和输出提供了充足的处理时间，使得流媒体后视镜在视角切换过程中也可保证连贯且流畅的图像输出。

Description

一种流媒体视角切换方法及系统

技术领域

本发明涉及流媒体后视镜技术领域，尤其涉及一种流媒体视角切换方法及系统。

背景技术

目前，流媒体后视镜因为其视角不受后窗玻璃遮挡或脏污影响而得到越来越广泛的应用，大有替代传统后视镜的趋势。现有技术中，流媒体后视镜由显示屏和摄像头组成，而摄像头模块则由传感器和ISP(图像信号处理器)组成。

在现有技术中，流媒体后视镜在未执行视角切换的情况下，车载摄像头传感器发送每帧数据时，均会检测帧同步信号。而在执行视角切换时，控制模块(微控制单元)通过I2C总线发送视角切换指令给ISP(图像信号处理器)，由ISP执行视角切换，整个过程需要耗费一定时间，而此时摄像头传感器依然根据Trigger(触发)信号定时输出1帧图像数据，详细时序图参见图1(输出图像数据、场同步信号、行同步信号和触发信号，其中黑色部分为图像数据的输出阶段)：

在t1时刻：控制模块接收到切换视角指令，并通过I2C总线发出控制指令(切换视角指令)到摄像头传感器(sensor)，控制摄像头传感器(sensor)传输不同行的图像数据。

在t1-t2时间段：为视角切换后的数据处理时间，而此时图像帧数不据包含t0-t1时间段中的部分行数据，仅包含t1-t2时间段中的部分行数据，在ISP(图像信号处理器)完成场同步后，由于图像数据不完整，使得场景不连贯，从而导致流媒体后视镜在视角切换时出现图像闪烁的问题。

发明内容

本发明提供一种流媒体视角切换方法，解决了现有流媒体在进行视角切换时，因图像数据不完整，使得场景不连贯、出现图像闪烁的技术问题。

为解决以上技术问题，本发明提供一种流媒体视角切换方法，包括步骤：

S1、根据视角切换指令获取图像传感器的第一触发信号的频率，并控制所述图像传感器切换到外部触发模式；

S2、根据所述第一触发信号的频率计算预设频率以及预设时间，以所述预设频率生成外部控制信号控制所述图像传感器生成第二触发信号；

S3、确定当前帧图像数据，并根据所述预设时间对其进行曝光处理；

S4、在所述第二触发信号的控制下，所述图像传感器输出所述当前帧图像数据，完成视角切换。

本基础方案在收到视角切换指令后，直接接管图像传感器的图像数据输出控制，并根据图像传感器在主动触发模式下的第一触发信号的频率，计算得到图像数据接收时间更为充裕的预设频率，从而能够有足够的时间得到完整的当前帧图像数据，使得图像数据连贯，有效地避免了流媒体后视镜在视角切换时出现图像闪烁的问题。

在进一步的实施方案中，在所述步骤S4之后还包括：

S5、当完成视角切换后，控制所述图像传感器恢复到初始工作模式。

在进一步的实施方案中，所述步骤S1包括步骤：

S11、预先存储对应于图像传感器的第一触发信号的频率，在接收到视角切换指令后直接获取所述第一触发信号的频率；

或者，监测场同步信号的发送间隔时间，根据所述发送间隔时间计算得到图像传感器的第一触发信号的频率；

本方案在设备运行之初就预先存储图像传感器的第一触发信号的频率，在接收到视角切换指令后直接进行获取，可节省频率检测步骤；检测与图像传感器同步的场同步信号的发送间隔时间，间接却准确地获取图像传感器的发送间隔时间，进而得到其第一触发信号的频率。

S12、在接收到视角切换指令后的第一帧图像数据采集时间内，配置与所述图像传感器对应的寄存器，控制所述图像传感器工作在外部触发模式。

在进一步的实施方案中，在所述步骤S2中，所述根据所述第一触发信号的频率计算预设频率以及预设时间，包括步骤：

S21、获取所述图像传感器切换工作模式时的切换间隔时间以及预设安全余量时间；

S22、根据所述发送间隔时间、所述切换间隔时间以及所述预设安全余量时间，计算预设频率以及预设时间。

在进一步的实施方案中，所述步骤S3包括步骤：

S31、确定所述图像传感器在切换到外部触发模式后采集的当前帧图像数据；

S32、在所述图像传感器原有曝光时间的基础上延长所述预设时间，对所述当前帧图像数据的进行曝光，并在曝光后进行曝光修正。

本方案通过设置预设安全余量时间，为图像传感器输出切换工作模式后采集的当前帧图像数据提供了足够的缓冲时间。

在进一步的实施方案中，在所述步骤S4中，所述完成视角切换具体为：根据所述切换指令，控制图像信号处理器接收所述当前帧图像数据中对应行的图像数据。

本方案通过控制图像信号处理器接收图像传感器输出的图像数据中不同行的图像数据，实现视角的切换，例如仰视、平视、俯视等。

在进一步的实施方案中，所述初始工作模式为主动触发模式，在所述主动触发模式下，所述第一触发信号由图像传感器自主控制生成；在所述外部触发模式下，所述第二触发信号由外部控制图像传感器生成。

本方案设置两个触发模式，在进行视角切换时，进入外部触发模式可直接接管图像传感器的图像数据输出控制，控制图像数据的曝光处理以及图像数据输出时间间隔，进而消除视角切换时间间隔对图像数据接收的影响。

本发明还提供应用上述流媒体视角切换方法的流媒体视角切换系统，包括控制模块以及与其连接的图像信号处理器，以及与所述图像信号处理器连接的图像传感器；

所述控制模块，用于根据用户的视角切换指令，获取所述图像传感器的第一触发信号的频率，并控制所述图像传感器切换到外部触发模式；还用于根据所述第一触发信号的频率计算预设频率以及预设时间，并以所述预设频率生成外部控制信号发送到所述图像信号处理器；

所述图像信号处理器，用于接收所述控制模块的控制指令及所述外部控制信号并下发到所述图像传感器；

所述图像传感器，用于响应所述控制指令切换到所述外部触发模式，响应所述外部控制信号生成第二触发信号，并在所述第二触发信号的控制下输出当前帧图像数据；

所述图像信号处理器，还用于对所述当前帧图像数据进行曝光修正处理；

所述控制模块，还用于在完成视角切换后，控制所述图像传感器恢复到初始工作模式。

本基础方案以控制模块、图像信号处理器以及图像传感器为基础建立后视镜流媒体视角切换系统，以图像信号处理器为控制命令的中转站，控制图像传感器工作在外部触发模式，将图像数据的曝光与输出控制移交到控制模块；控制模块以图像传感器的第一触发信号的频率为常量，计算得到第二触发信号的预设频率，以及对应于视角切换操作延迟处理的预设时间，为图像数据的曝光和输出提供了充足的处理时间，使得流媒体后视镜在视角切换过程中也可保证连贯且流畅的图像输出。

在进一步的实施方案中，所述初始工作模式为主动触发模式，在所述主动触发模式下，所述第一触发信号由图像传感器自主控制生成；在所述外部触发模式下，所述第二触发信号由外部控制图像传感器生成。

本方案设置两个触发模式，在进行视角切换时，进入外部触发模式可直接接管图像传感器的图像数据输出控制，控制图像数据的曝光处理以及图像数据输出时间间隔，进而消除视角切换时间间隔对图像数据接收的影响。

在进一步的实施方案中，本发明提供的一种流媒体视角切换系统，还包括与所述控制模块、所述图像信号处理器连接的显示驱动模块，以及与所述显示驱动模块连接的显示模块；

所述显示驱动模块用于接收所述图像数据并发送到所述显示模块；

所述控制模块还用于生成显示指令控制所述显示驱动模块生成驱动信号；

所述显示驱动模块响应所述显示指令向所述显示模块发出驱动信号；

所述显示模块用于在所述驱动信号的控制下播放所述图像数据。

附图说明

图1是现有技术中流媒体后视镜的时序图；

图2是本发明实施例1提供的一种流媒体视角切换方法的工作流程图；

图3是本发明实施例1提供的图像传感器与图像信号处理器输出的图像数据的分辨率对比示意图；

图4是本发明实施例2提供的一种流媒体视角切换系统的系统框架图。

具体实施方式

下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。

实施例1

本发明实施例提供的一种流媒体视角切换方法，如图2所示，在本实施例中，包括步骤S1～S5：

S1、根据视角切换指令获取图像传感器的第一触发信号的频率f1，并控制图像传感器切换到外部触发模式。

在本实施例中，图像传感器的初始工作模式为主动触发模式，在所述主动触发模式下，由图像传感器自主控制生成的触发信号，定义为第一触发信号；在所述外部触发模式下，由外部控制图像传感器生成的触发信号，定义为第二触发信号。

包括步骤S11～S12：

S11、预先存储对应于图像传感器的第一触发信号的频率f1，在接收到视角切换指令后直接获取第一触发信号的频率f1；

或者，监测场同步信号的发送间隔时间ΔT1，根据发送间隔时间ΔT1计算得到图像传感器的第一触发信号的频率f1；

具体地，在本实施例中，图像传感器的第一触发信号的频率f1与场同步信号的发送频率f1'(1/ΔT1)相同，在因此可通过获取一次或多次的场同步信号的发送间隔时间ΔT1，进行计算获取准确的第一触发信号的频率f1。

本实施例在设备运行之初就预先存储图像传感器的第一触发信号的频率f1，在接收到视角切换指令后直接进行获取，可节省频率检测步骤；检测与图像传感器同步的场同步信号的发送间隔时间ΔT1，间接却准确地获取图像传感器的发送间隔时间ΔT1，进而得到其第一触发信号的频率f1。

S12、在接收到视角切换指令后的第一帧图像数据采集时间内，配置图像传感器对应的寄存器，控制图像传感器工作在外部触发模式。

S2、根据所述第一触发信号的频率f1计算预设频率f以及预设时间t，以所述预设频率f生成外部控制信号控制所述图像传感器生成第二触发信号；

在本实施例中，图像传感器的图像采集动作不受第一触发信号、第二触发信号的控制，第一触发信号、第二触发信号主要用于控制图像传感器的曝光工作和数据处理工作。

在本实施例中，根据所述第一触发信号的频率f1计算预设频率f以及预设时间t，包括步骤S21～S22：

S21、获取图像传感器切换工作模式时的切换间隔时间ΔT2以及预设安全余量时间ΔT3；

S22、根据发送间隔时间ΔT1、切换间隔时间ΔT2以及预设安全余量时间ΔT3，计算预设频率f及预设时间t。

其中，预设频率f为发送间隔时间ΔT1、切换间隔时间ΔT2以及预设安全余量时间ΔT3之和的倒数，具体如下：

所述预设时间t等于或大于预设安全余量时间ΔT3。

S3、确定当前帧图像数据，并根据预设时间t对其进行曝光处理，包括步骤S31～S32：

S31、确定图像传感器在切换到外部触发模式后采集的当前帧图像数据；

S32、在图像传感器原有曝光时间的基础上延长预设时间t，对当前帧图像数据的进行曝光，并在曝光后进行曝光修正。

曝光修正主要是使当前帧图像亮度与上一帧图像亮度一致。

本实施例通过设置预设安全余量时间ΔT3，为图像传感器输出切换工作模式后采集完整的当前帧图像数据提供了足够的缓冲时间。

S4、在第二触发信号的控制下，图像传感器输出当前帧图像数据，完成视角切换。

在本实施例中，完成视角切换具体为：根据切换指令，控制图像信号处理器接收当前帧图像数据中对应行的图像数据。

参见图3，在本实施例中，图像信号处理器输出的图像数据的分辨率小于图像传感器输出的图像数据的分辨率，且不具备数据缓存功能。例如图像传感器分辨率为1920*1080(附图3中的a区域)、帧率为60FPS，图像信号处理器输出的图像分辨率则仅为1920*400(附图3中的b区域)。因此可通过控制图像信号处理器接收不同行的图像数据，实现流媒体后视镜视角的切换。例如在视角切换前，图像信号处理器接收1～384行的图像数据，视角切换后，图像信号处理器接收385～768行的图像数据。

本实施例通过控制图像信号处理器接收图像传感器输出的图像数据中不同行的图像数据，实现视角的切换，例如仰视、平视、俯视等。

S5、当完成视角切换后，控制图像传感器恢复到初始工作模式，具体包括：

在图像信号处理器执行完视角切换后，外部控制模块可立即退出对图像传感器的第二触发信号的接管，也可以设置间隔预设时间(例如1～10帧)后退出对第二触发信号的接管。

例如，外部控制模块发出恢复指令给图像传感器的寄存器进行初始化，恢复到初始工作模式，释放对第二触发信号的控制(将图像传感器的I/O端口拉低)，外部控制模块释放对第二触发信号的控制的时间与执行切换时的切换时间(T1)相等。其中，图像传感器在采集图像数据时，其接收的触发信号(第一触发信号和第二触发信号)为低电平，且不发送场同步信号和图像数据。

本实施例在收到视角切换指令后，直接接管图像传感器的图像数据输出控制，并根据图像传感器在主动触发模式下的第一触发信号的频率f1，计算得到图像数据接收时间更为充裕的预设频率f，从而能够有足够的时间得到完整的当前帧图像数据，使得图像数据连贯，有效地避免了流媒体后视镜在视角切换时出现图像闪烁的问题。

本实施例设置两个触发模式，在进行视角切换时，进入外部触发模式可直接接管图像传感器的图像数据输出控制，控制图像数据的曝光处理以及图像数据输出时间间隔，进而消除视角切换时间间隔对图像数据接收的影响。

实施例2

本发明实施例还提供应用实施例1的一种流媒体视角切换系统，参见图4，包括控制模块1以及与其连接的图像信号处理器2，以及与图像信号处理器2连接的图像传感器3；

所述控制模块1，用于根据用户的视角切换指令，获取所述图像传感器3的第一触发信号的频率f1，并控制所述图像传感器3切换到外部触发模式；还用于根据所述第一触发信号的频率f1计算预设频率f以及预设时间t，以所述预设频率f生成外部控制信号控制所述图像传感器3；

所述图像信号处理器2，用于接收所述控制模块1的控制指令及所述外部控制信号并下发到所述图像传感器3；

所述图像传感器3，用于响应所述控制指令切换到所述外部触发模式，响应所述外部控制信号生成第二触发信号，在所述第二触发信号的控制下输出当前帧图像数据；

所述图像信号处理器2，还用于对所述当前帧图像数据进行曝光修正处理；

所述控制模块1，还用于在完成视角切换后，控制所述图像传感器3恢复到初始工作模式。

本实施例以控制模块1、图像信号处理器2以及图像传感器3为基础建立后视镜流媒体视角切换系统，以图像信号处理器2为控制命令的中转站，控制图像传感器3工作在外部触发模式，将图像数据的曝光与输出控制移交到控制模块1；控制模块1以图像传感器3的第一触发信号的频率f1计算得到第二触发信号的预设频率f，以及对应于视角切换操作延迟处理的预设时间t，为图像数据的曝光和输出提供了充足的处理时间，使得流媒体后视镜在视角切换过程中也可保证连贯且流畅的图像输出。

在本实施例中，图像传感器3的初始工作模式为主动触发模式，在所述主动触发模式下，所述第一触发信号由图像传感器3自主控制生成；在所述外部触发模式下，所述第二触发信号由控制模块1控制图像传感器3生成，具体为：控制模块1通过控制图像传感器3的I/O口发送外部控制信号，控制图像传感器3的第二触发信号的产生时间和发送频率。

其中，控制模块1控制控制图像传感器3切换到外部触发模式或恢复到初始工作模式具体为：控制模块1通过I2C总线，配置与图像传感器3对应的寄存器，图像传感器3接收到控制命令后，驱动相应的寄存器初始化，进入外部触发模式或初始工作模式。

本实施例设置两个触发模式，在进行视角切换时，进入外部触发模式可直接接管图像传感器3的图像数据输出控制，控制图像数据的曝光处理以及图像数据输出时间间隔，进而消除视角切换时间间隔对图像数据接收的影响。

在本实施例中，本发明提供的一种流媒体视角切换系统，还包括与所述控制模块1、所述图像信号处理器2连接的显示驱动模块4，以及与所述显示驱动模块4连接的显示模块5；

所述显示驱动模块4用于接收所述图像数据并发送到所述显示模块5；

所述控制模块1还用于生成显示指令控制所述显示驱动模块4生成驱动信号；

所述显示驱动模块4响应所述显示指令向所述显示模块5发出驱动信号；

所述显示模块5用于在所述驱动信号的控制下播放所述图像数据。

在另一种实施例中，控制模块1和图像信号处理器2之间还可通过设置串化器和解串器进行数据传输，例如控制模块1、串化器、解串器和图像信号处理器2进行顺序连接。

而因第二触发信号是通过串化芯片(串化器和解串器)映射过去的，信号容易受到干扰，因此，控制模块1接管第二触发信号的时间不宜过长。

本实施例所提供的切换系统采用各个模块实现切换方法中的各个步骤，为切换方法提供硬件基础，便于方法实施，鉴于上述各个模块主要是用于执行实施例1中的各个步骤，而步骤S1～S5中更具体的内容实施例1已经说明，本实施例则不再赘述。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种流媒体视角切换方法，其特征在于，包括步骤：

S1、根据视角切换指令获取图像传感器的第一触发信号的频率，并控制所述图像传感器切换到外部触发模式；

S2、根据所述第一触发信号的频率计算预设频率以及预设时间，以所述预设频率生成外部控制信号控制所述图像传感器生成第二触发信号；

S3、确定当前帧图像数据，并根据所述预设时间对其进行曝光处理；

S4、在所述第二触发信号的控制下，所述图像传感器输出所述当前帧图像数据，完成视角切换；

所述步骤S3包括步骤：

S31、确定所述图像传感器在切换到外部触发模式后采集的当前帧图像数据；

S32、在所述图像传感器原有曝光时间的基础上延长所述预设时间，对所述当前帧图像数据的进行曝光，并在曝光后进行曝光修正；

在所述步骤S2中，所述根据所述第一触发信号的频率计算预设频率以及预设时间，包括步骤：

S21、获取所述图像传感器切换工作模式时的切换间隔时间以及预设安全余量时间；

S22、根据所述第一触发信号的频率、所述切换间隔时间以及所述预设安全余量时间，计算预设频率以及预设时间。

2.如权利要求1所述的一种流媒体视角切换方法，其特征在于，所述步骤S1包括步骤：

S11、预先存储对应于图像传感器的第一触发信号的频率，在接收到视角切换指令后直接获取所述第一触发信号的频率；

或者，监测场同步信号的发送间隔时间，根据所述发送间隔时间计算得到图像传感器的第一触发信号的频率；

S12、在接收到视角切换指令后的第一帧图像数据采集时间内，配置与所述图像传感器对应的寄存器，控制所述图像传感器工作在外部触发模式。

3.如权利要求1所述的一种流媒体视角切换方法，其特征在于，在所述步骤S4中，所述完成视角切换具体为：根据所述切换指令，控制图像信号处理器接收所述当前帧图像数据中对应行的图像数据。

4.如权利要求1所述的一种流媒体视角切换方法，其特征在于，还包括：

S5、当完成视角切换后，控制所述图像传感器恢复到初始工作模式。

5.如权利要求4所述的一种流媒体视角切换方法，其特征在于，

所述初始工作模式为主动触发模式，在所述主动触发模式下，所述第一触发信号由图像传感器自主控制生成；在所述外部触发模式下，所述第二触发信号由外部控制图像传感器生成。

6.一种流媒体视角切换系统，应用于实现如权利要求1~5任一项所述的一种流媒体视角切换方法，其特征在于：包括控制模块以及与其连接的图像信号处理器，以及与所述图像信号处理器连接的图像传感器；

所述控制模块，用于根据用户的视角切换指令，获取所述图像传感器的第一触发信号的频率，并控制所述图像传感器切换到外部触发模式；还用于根据所述第一触发信号的频率计算预设频率以及预设时间，以所述预设频率生成外部控制信号控制所述图像传感器；

所述图像信号处理器，用于接收所述控制模块的控制指令及所述外部控制信号并下发到所述图像传感器；

所述图像传感器，用于响应所述控制指令切换到所述外部触发模式，响应所述外部控制信号生成第二触发信号，并在所述第二触发信号的控制下输出当前帧图像数据；

所述图像信号处理器，还用于对所述当前帧图像数据进行曝光修正处理；

所述控制模块，还用于在完成视角切换后，控制所述图像传感器恢复到初始工作模式。

7.如权利要求6所述的一种流媒体视角切换系统，其特征在于：所述初始工作模式为主动触发模式，在所述主动触发模式下，所述第一触发信号由图像传感器自主控制生成；在所述外部触发模式下，所述第二触发信号由外部控制图像传感器生成。

8.如权利要求6所述的一种流媒体视角切换系统，其特征在于：还包括与所述控制模块、所述图像信号处理器连接的显示驱动模块，以及与所述显示驱动模块连接的显示模块；

所述显示驱动模块用于接收所述图像数据并发送到所述显示模块；

所述控制模块还用于生成显示指令控制所述显示驱动模块生成驱动信号；

所述显示驱动模块响应所述显示指令向所述显示模块发出驱动信号；

所述显示模块用于在所述驱动信号的控制下播放所述图像数据。

Images