CN114208164B - 动态控制视频编码码率的方法、智能设备和运动相机 - Google Patents

动态控制视频编码码率的方法、智能设备和运动相机 Download PDF

Info

Publication number
CN114208164B
CN114208164B CN201980099154.1A CN201980099154A CN114208164B CN 114208164 B CN114208164 B CN 114208164B CN 201980099154 A CN201980099154 A CN 201980099154A CN 114208164 B CN114208164 B CN 114208164B
Authority
CN
China
Prior art keywords
value
image sharpness
sharpness
motion state
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980099154.1A
Other languages
English (en)
Other versions
CN114208164A (zh
Inventor
谭坤
郭奕滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Publication of CN114208164A publication Critical patent/CN114208164A/zh
Application granted granted Critical
Publication of CN114208164B publication Critical patent/CN114208164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

本发明属于视频拍摄领域,涉及动态控制视频编码码率的方法、智能设备和运动相机。该方法包括检测智能设备的运动状态;根据运动状态确定图像锐度阈值范围;根据当前图像锐度值与图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率。本发明根据智能设备的不同运动状态来相应地动态调整视频编码的码率,可在保证视频图像质量的情况下,提升视频传输和视频存储的效率。

Description

动态控制视频编码码率的方法、智能设备和运动相机
技术领域
本发明属于视频拍摄领域,尤其涉及一种动态控制视频编码码率的方法、智能设备和运动相机。
背景技术
在视频拍摄领域,为了在保证图像质量的同时,有效控制视频编码的码率变得越来越重要。在现有技术中,主要根据录像视频帧的锐度来动态调整编码码率,当锐度值小时就降低编码码率。然而在运动摄像的情景下,录像装置处于运动的状态时,由于视频帧存在运动模糊,计算到的锐度值会比静止状态的低,现有技术方案会机械地降低编码码率,从而导致编码码率不足,图像会出现马赛克等问题。
发明概述
技术问题
本发明的目的在于提供一种动态控制视频编码码率的方法、智能设备和运动相机,解决在具有视频拍摄功能的智能设备在不同的运动状态下动态调整其视频编码码率的问题,既能保证拍摄视频的图像质量,又能提升视频传输和视频存储的效率。
问题的解决方案
技术解决方案
本发明提供了一种动态控制视频编码码率的方法,用于具有视频拍摄功能的智能设备,包括步骤:检测所述智能设备的运动状态;根据所述运动状态确定图像锐度阈值范围;根据当前图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率。
进一步地,上述方法中,所述编码码率在所述编码码率范围中的变化与所述当前图像锐度值在所述图像锐度阈值范围中的变化呈线性正相关。
进一步地,上述方法中,所述检测所述智能设备的运动状态,进一步包括:读取陀螺仪数据;计算所述陀螺仪数据与上一次读取的陀螺仪数据之间的差值;根据所述差值确定所述运动状态。
进一步地,上述方法中,所述陀螺仪为六轴陀螺仪,所述陀螺仪数据包括三轴加速器数据和三轴陀螺仪数据;所述计算所述陀螺仪数据与上一次读取的陀螺仪数据之间的差值,进一步包括:计算所述三轴加速器数据与上一次读取的三轴加速器数据之间的第一差值;计算所述三轴陀螺仪数据与上一次读取的三轴陀螺仪数据之间的第二差值;所述根据所述差值确定所述运动状态,进一步包括:根据所述第一差值和所述第二差值确定所述运动状态。
进一步地,上述方法中,所述第一差值包括所述三轴加速器数据与上一次读取的三轴加速器数据之间差值绝对值中的最大值;所述第二差值包括所述三轴陀螺仪数据与上一次读取的三轴陀螺仪数据之间差值绝对值中的最大值。
进一步地,上述方法中,所述根据所述第一差值和所述第二差值确定所述运动状态,进一步包括:将所述第一差值与一个或者多个第一临界值进行第一比较;将所述第二差值与一个或者多个第二临界值进行第二比较;根据所述第一比较的结果和所述第二比较的结果确定所述运动状态。
进一步地,上述方法中,所述读取陀螺仪数据包括以预设的时间间隔重复读取所述陀螺仪数据。
进一步地,上述方法中,所述运动状态包括两种或者两种以上;所述图像锐度阈值范围包括两种或者两种以上,并与所述两种或者两种以上所述运动状态相对应;当所述运动状态越慢时,所述图像锐度阈值范围越高。
进一步地,上述方法中,所述根据所述运动状态确定图像锐度阈值范围,进一步包括:根据所述运动状态,从预设的两个或者两个以上所述图像锐度阈值范围中选择一个。
进一步地,上述方法中,所述根据所述运动状态确定图像锐度阈值范围,进一步包括:根据所述运动状态和视频分辨率确定所述图像锐度阈值范围。
进一步地,上述方法中,在所述根据当前图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率的步骤之前,还包括步骤:计算当前图像锐度值。
进一步地,上述方法中,所述图像锐度阈值范围包括锐度最低值、锐度中值和锐度最高值;所述编码码率范围包括码率最低值、码率中值和码率最高值;所述根据当前图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率,进一步包括:根据所述当前图像锐度值在所述图像锐度阈值范围中的位置,以所述锐度最低值和所述锐度中值为参照或者以所述锐度中值和所述锐度最高值为参照,采用线性插值法,并以所述码率最低值和所述码率中值为参照或者以所述码率中值和所述码率最高值为参照,确定所述编码码率在所述编码码率范围中的位置。
进一步地,上述方法中,在所述根据当前图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率的步骤之前还包括:从两个或者两个以上预设的编码码率范围中选择一个编码码率范围。
进一步地,上述方法中,所述运动状态包括静止、走路、跑步、驾车、抛掷、滑雪、登山、滑翔中的一个或者多个。
进一步地,上述方法中,所述智能设备为运动相机、全景相机、手机、平板电脑、摄像无人机或者可穿戴相机中的一种。
另一方面,本发明还提供了一种智能设备,具有视频拍摄功能,包括:运动状态检测模块,用于检测所述智能设备的运动状态;锐度阈值确定模块,用于根据所述运动状态确定图像锐度阈值范围;编码码率确定模块,用于根据当前图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率。
进一步地,上述智能设备中,所述编码码率在所述编码码率范围中的变化与所述当前图像锐度值在所述图像锐度阈值范围中的变化呈线性正相关。
进一步地,上述智能设备中,所述运动状态检测模块,进一步包括:陀螺仪单元,用于读取陀螺仪数据;差值计算单元,用于计算所述陀螺仪数据与上一次读取的陀螺仪数据之间的差值;状态判断单元,用于根据所述差值确定所述运动状态。
进一步地,上述智能设备中,所述陀螺仪为六轴陀螺仪,所述陀螺仪数据包括三轴加速器数据和三轴陀螺仪数据;所述计算所述陀螺仪数据与上一次读取的陀螺仪数据之间的差值,进一步包括:计算所述三轴加速器数据与上一次读取的三轴加速器数据之间的第一差值;计算所述三轴陀螺仪数据与上一次读取的三轴陀螺仪数据之间的第二差值;所述根据所述差值确定所述运动状态,进一步包括:根据所述第一差值和所述第二差值确定所述运动状态。
进一步地,上述智能设备中,所述第一差值包括所述三轴加速器数据与上一次读取的三轴加速器数据之间差值绝对值中的最大值;所述第二差值包括所述三轴陀螺仪数据与上一次读取的三轴陀螺仪数据之间差值绝对值中的最大值。
进一步地,上述智能设备中,所述根据所述第一差值和所述第二差值确定所述运动状态,进一步包括:将所述第一差值与一个或者多个第一临界值进行第一比较;将所述第二差值与一个或者多个第二临界值进行第二比较;根据所述第一比较的结果和所述第二比较的结果确定所述运动状态。
进一步地,上述智能设备中,所述陀螺仪单元还用于以预设的时间间隔重复读取所述陀螺仪数据。
进一步地,上述智能设备中,所述运动状态包括两种或者两种以上;所述图像锐度阈值范围包括两种或者两种以上,并与所述两种或者两种以上所述运动状态相对应;当所述运动状态越慢时,所述图像锐度阈值范围越高。
进一步地,上述智能设备中,所述锐度阈值确定模块还用于:根据所述运动状态,从预设的两个或者两个以上所述图像锐度阈值范围中选择一个。
进一步地,上述智能设备中,所述锐度阈值确定模块还用于:根据所述运动状态和视频分辨率确定所述图像锐度阈值范围。
进一步地,上述智能设备中,还包括锐度计算模块,用于计算当前图像锐度值。
进一步地,上述智能设备中,所述图像锐度阈值范围包括锐度最低值、锐度中值和锐度最高值;所述编码码率范围包括码率最低值、码率中值和码率最高值;所述根据当前图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率,进一步包括:根据所述当前图像锐度值在所述图像锐度阈值范围中的位置,以所述锐度最低值和所述锐度中值为参照或者以所述锐度中值和所述锐度最高值为参照,采用线性插值法,并以所述码率最低值和所述码率中值为参照或者以所述码率中值和所述码率最高值为参照,确定所述编码码率在所述编码码率范围中的位置。
进一步地,上述智能设备中,还包括码率范围确定模块,用于从两个或者两个以上预设的编码码率范围中选择一个编码码率范围。
进一步地,上述智能设备中,所述运动状态包括静止、走路、跑步、驾车、抛掷、滑雪、登山、滑翔中的一个或者多个。
进一步地,上述智能设备中,所述智能设备为运动相机、全景相机、手机、平板电脑、摄像无人机或者可穿戴相机中的一种。
另一方面,一种运动相机,具有视频拍摄功能,包括处理器和视频编码器,其特征在于,所述处理器用于:检测所述运动相机的运动状态;根据所述运动状态确定图像锐度阈值范围;根据当前图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率;所述视频编码器用于按照所述编码码率进行视频编码。
进一步地,上述运动相机中,所述编码码率在所述编码码率范围中的变化与所述当前图像锐度值在所述图像锐度阈值范围中的变化呈线性正相关。
进一步地,上述运动相机中,所述检测所述运动相机的运动状态,进一步包括:读取陀螺仪数据;计算所述陀螺仪数据与上一次读取的陀螺仪数据之间的差值;根据所述差值确定所述运动状态。
进一步地,上述运动相机中,所述陀螺仪为六轴陀螺仪,所述陀螺仪数据包括三轴加速器数据和三轴陀螺仪数据;所述计算所述陀螺仪数据与上一次读取的陀螺仪数据之间的差值,进一步包括:计算所述三轴加速器数据与上一次读取的三轴加速器数据之间的第一差值;计算所述三轴陀螺仪数据与上一次读取的三轴陀螺仪数据之间的第二差值;所述根据所述差值确定所述运动状态,进一步包括:根据所述第一差值和所述第二差值确定所述运动状态。
进一步地,上述运动相机中,所述第一差值包括所述三轴加速器数据与上一次读取的三轴加速器数据之间差值绝对值中的最大值;所述第二差值包括所述三轴陀螺仪数据与上一次读取的三轴陀螺仪数据之间差值绝对值中的最大值。
进一步地,上述运动相机中,所述根据所述第一差值和所述第二差值确定所述运动状态,进一步包括:将所述第一差值与一个或者多个第一临界值进行第一比较;将所述第二差值与一个或者多个第二临界值进行第二比较;根据所述第一比较的结果和所述第二比较的结果确定所述运动状态。
进一步地,上述运动相机中,所述读取陀螺仪数据包括以预设的时间间隔重复读取所述陀螺仪数据。
进一步地,上述运动相机中,所述运动状态包括两种或者两种以上;所述图像锐度阈值范围包括两种或者两种以上,并与所述两种或者两种以上所述运动状态相对应;当所述运动状态越慢时,所述图像锐度阈值范围越高。
进一步地,上述运动相机中,所述根据所述运动状态确定图像锐度阈值范围,进一步包括:根据所述运动状态,从预设的两个或者两个以上所述图像锐度阈值范围中选择一个。
进一步地,上述运动相机中,所述根据所述运动状态确定图像锐度阈值范围,进一步包括:根据所述运动状态和视频分辨率确定所述图像锐度阈值范围。
进一步地,上述运动相机中,在所述根据当前图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率的步骤之前,还包括步骤:计算当前图像锐度值。
进一步地,上述运动相机中,所述图像锐度阈值范围包括锐度最低值、锐度中值和锐度最高值;所述编码码率范围包括码率最低值、码率中值和码率最高值;所述根据当前图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率,进一步包括:根据所述当前图像锐度值在所述图像锐度阈值范围中的位置,以所述锐度最低值和所述锐度中值为参照或者以所述锐度中值和所述锐度最高值为参照,采用线性插值法,并以所述码率最低值和所述码率中值为参照或者以所述码率中值和所述码率最高值为参照,确定所述编码码率在所述编码码率范围中的位置。
进一步地,上述运动相机中,在所述根据当前图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率的步骤之前还包括:从两个或者两个以上预设的编码码率范围中选择一个编码码率范围。
进一步地,上述运动相机中,所述运动状态包括静止、走路、跑步、驾车、抛掷、滑雪、登山、滑翔中的一个或者多个。
发明的有益效果
有益效果
本发明提供的动态控制视频编码码率的方法、智能设备和运动相机,根据智能设备的不同运动状态来选取不同的图像锐度阈值范围,从而相应地动态调整视频编码的码率,避免了当运动引起锐度降低时编码码率骤降或者过低的情况,可以更加平滑地控制视频编码的码率,在保证视频图像质量的情况下,提升视频传输和视频存储的效率。
对附图的简要说明
附图说明
图1是本发明一实施例中动态控制视频编码码率的方法的示意图。
图2是本发明一实施例中检测智能设备的运动状态的方法的示意图。
图3是本发明一实施例中智能设备的示意图。
图4是本发明一实施例中运动状态检测模块的示意图。
图5是本发明一实施例中运动相机的示意图。
发明实施例
本发明的实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
请参照图1,本发明实施例提供了一种动态控制视频编码码率的方法,用于具有视频拍摄功能的智能设备,该方法具体包括以下步骤:
S1.检测所述智能设备的运动状态;
S2.根据所述运动状态确定图像锐度阈值范围;
S3.根据当前视频帧的图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率。
参照图2,在上述动态控制视频编码码率的方法中,步骤S1具体又包括:
S11.读取陀螺仪数据;
S12.计算所述陀螺仪数据与上一次读取的陀螺仪数据之间的差值;
S13.根据所述差值确定所述运动状态。
本实施例中,智能设备中的陀螺仪为六轴陀螺仪,陀螺仪数据又包括三轴加速器数据和三轴陀螺仪数据。其中,S12计算陀螺仪数据与上一次读取的陀螺仪数据之间的差值的步骤,又进一步包括:计算三轴加速器数据与上一次读取的三轴加速器数据之间的第一差值;计算三轴陀螺仪数据与上一次读取的三轴陀螺仪数据之间的第二差值。相应的,S13根据所述差值确定所述运动状态的步骤,又进一步包括:根据上述第一差值和上述第二差值确定智能设备的运动状态。
应当理解,本发明其他实施例中,也可能采用视觉传感器或者其他传感器来检测智能设备的运动状态,也可能虽然采用陀螺仪检测智能设备的运动状态但陀螺仪为三轴陀螺仪或者只包含三轴加速度器的陀螺仪,本发明对此不做限定,其他检测智能设备运动状态的方案也在本发明的保护范围之内。
本实施例中,上述第一差值包括所述三轴加速器数据与上一次读取的三轴加速器数据之间差值绝对值中的最大值;上述第二差值包括所述三轴陀螺仪数据与上一次读取的三轴陀螺仪数据之间差值绝对值中的最大值。具体来说,本实施例中,S12中,三轴加速度器在三维坐标系中分别检测智能设备在三个坐标轴方向上的加速度值。将当前智能设备在三个坐标轴方向上的加速度值与上一次检测到的智能设备在三个坐标轴方向上的加速度值相减,得到差值的绝对值,将三个差值绝对值中的最大值作为第一差值。本实施例中,S12中,三轴陀螺仪在三维坐标系中分别检测智能设备在三个轴向上的角速度值。将当前智能设备在三个轴向上的角速度值与上一次检测到的智能设备在三个轴向上的角速度值相减,得到差值的绝对值,将三个差值绝对值中的最大值作为第二差值。
应当理解,本发明其他实施例中也可以采用分别检测并比较三维方向上线速度的方案,也可以采用检测并比较三维轴向上角加速度的方案,本发明对此不做限制,其他方案也在本发明的保护范围内。
本实施例中,S13根据所述第一差值和所述第二差值确定所述运动状态的步骤,进一步包括:将上述第一差值与一个或者多个第一临界值进行第一比较;将上述第二差值与一个或者多个第二临界值进行第二比较;根据上述第一比较的结果和上述第二比较的结果来确定智能设备的运动状态。
本发明实施例中,智能设备的运动状态可以预设为包括静止、走路、跑步、驾车、抛掷、滑雪、登山、滑翔中的一个或者多个,也可以预设其他一些运动状态,本发明对此不做限制。
为了便于说明本发明的方案,本实施例中,智能设备预设快和慢两种运动状态,相应的,预设一个第一临界值,预设一个第二临界值。当第一比较中第一差值小于等于第一临界值,并且第二比较中,第二差值小于等于第二临界值时,检测智能设备的运动状态为慢状态;当第一比较中第一差值大于第一临界值,或者第二比较中第二差值大于第二临界值时,检测智能设备的运动状态为快状态。
应当理解,本发明实施例中,第一临界值或者第二临界值可以有一个,也可以有两个或者两个以上,第一差值和第二差值分别与第一临界值和第二临界值相比较,所得出的多种结果分别可以对应智能设备多种运动状态,本发明对此不做限制,上述其他方案也应当在本发明的保护范围内。
本实施例中,S11读取陀螺仪数据的步骤具体包括以预设的时间间隔重复读取所述陀螺仪数据。因此检测并比较前后两次加速度器和陀螺仪的数据考虑了时间因素,考虑单位时间内线性加速度和角速度的变化量,并以此作为判断智能设备运动状态快慢的依据。应当理解,在一些其他应用场景中,在本发明其他的实施例中,也可以不按照预设时间间隔或者以不规则的时间间隔去检测陀螺仪数据,例如在匀速运动或者静止状态的使用场景中,可以不考虑时间间隔,本发明对此不做限定。
本发明实施例中,在S2根据所述运动状态确定图像锐度阈值范围的步骤中,智能设备的运动状态可以包括两种或者两种以上;上述图像锐度阈值范围可以包括两种或者两种以上,并与上述两种或者两种以上上述运动状态相对应。例如
,当智能设备的运动状态越慢时,上述图像锐度阈值范围越高。
具体来说,本实施例中,智能设备的运动状态包括快慢两种,相应的,图像锐度阈值范围也包括两种。一种图像锐度阈值范围可以是一段连续的图像锐度取值范围,可以整体上偏高或者偏低。本实施例中,当智能设备的运动状态为慢状态时,图像锐度阈值范围为偏高的一段锐度取值范围;当智能设备的运动状态为快状态时,图像锐度阈值范围为偏低的一段锐度取值范围。
本发明实施例中,S2根据所述运动状态确定图像锐度阈值范围的步骤,可以进一步包括:根据所述运动状态,从预设的两个或者两个以上所述图像锐度阈值范围中选择一个。本实施例中,对应智能设备预设的快和慢种两种运动状态,预设有高和低两个图像锐度阈值范围。应当理解,本发明其他实施例中,智能设备的运动状态可以包括一种或者三种以上,并且可以按照静止、走路、跑步、驾车、抛掷、滑雪、登山、滑翔等应用场景进行划分,也可以对不同的应用场景进行智能识别。图像锐度阈值范围也可以包括相应的一种或者三种以上,并与上述运动状态一一对应,本发明对此不做限制。
本实施例中,S2根据所述运动状态确定图像锐度阈值范围的步骤中,还进一步包括根据智能设备的运动状态和当前的视频分辨率确定图像锐度阈值范围。具体来说,在确定图像锐度阈值范围时,同时将智能设备当前的运动状态和智能设备当前的分辨率作为参考依据。比如,当视频分辨率高时,所选取的图像锐度阈值范围相对偏高,当视频分辨率低时,所选取的图像锐度阈值范围相对较低。当然根据应用场景的需要,上述图像锐度阈值范围和智能设备的运动状态以及视频分辨率之间也可以有其他的对应关系,本发明不做具体限定。比如,当图像锐度不均匀,而智能设备所拍摄视频中小分辨率的图像又包含于大分辨率图像之中时,锐度值不一定随着分辨率变小而减小,此时分辨率和图像锐度阈值范围并非同向变化。本发明其他实施例中,确定图像锐度阈值范围时还可以参考当前视频帧的图像锐度值或者其他因素,在此不做限定,都应属于本发明的保护范围。
本实施例中,为了得到当前视频帧的图像锐度值,由智能设备中的锐度计算模块对当前视频帧的图像锐度值进行计算。其中,此处的当前视频帧的图像锐度值可以是当前一帧的图像锐度值,也可以是当前帧之前若干帧图像锐度值的平均值、最高值或者最低值,可以根据需求灵活设置,都在本发明保护范围之内。本发明其他实施例中,也可以由其他方式获得当前视频帧的图像锐度值,本发明不做限定。本发明其他一些实施例中,被对应到图像锐度值范围的当前图像锐度值也可以包括在一定时间范围内或者一定连续视频帧范围内计算或者统计所得的图像锐度值,或者若干图像锐度值的平均值、中值、最大值、最小值或者预测值。一些实施例中,计算同一帧内图像的锐度值也可以划分区块,分别计算每一区块的锐度值,然后将这些区块锐度值的平均值、最小值、最大值、中值或者预测值等,作为当前视频帧的图像锐度值。
本实施例中,S3根据当前视频帧的图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率的步骤中,具体来说,上述编码码率在上述编码码率范围中的变化与上述当前视频帧的图像锐度值在所述图像锐度阈值范围中的变化呈线性正相关,当前视频帧的图像锐度值在图像锐度阈值范围中越是偏高,编码码率在编码码率范围中的取值也就越大,反之亦然。
本实施例中,上述图像锐度阈值范围包括锐度最低值、锐度中值和锐度最高值,相应的,上述编码码率范围包括码率最低值、码率中值和码率最高值。在根据当前视频帧的图像锐度值与图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率时,根据当前视频帧的图像锐度值在所述图像锐度阈值范围中的位置,以上述锐度最低值和上述锐度中值为参照,或者以上述锐度中值和上述锐度最高值为参照,采用线性插值法,并以上述码率最低值和上述码率中值为参照,或者以上述码率中值和上述码率最高值为参照,确定所述编码码率在所述编码码率范围中的位置。也即,将图像锐度阈值范围进一步以锐度中值为界,划分为锐度最低值至锐度中值和锐度中值至锐度最高值两段,并将编码码率范围进一步划分为编码码率最低值至编码码率中值和编码码率中值至编码码率最高值两段,两段编码码率范围与两段图像锐度阈值范围分别相对应。计算编码码率,使得编码码率在两段编码码率范围中的取值与当前视频帧的锐度值在图像锐度值阈值范围中的取值呈线性正相关。具体来说,当当前视频帧的锐度值取锐度最低值或者小于锐度最低值时,编码码率取编码码率范围中的编码码率最低值;当当前视频帧的锐度值取锐度中值时,编码码率取编码码率范围中的编码码率中值;当当前视频帧的锐度值取锐度最高值或者大于锐度最高值时,编码码率取编码码率范围中的编码码率最高值;当当前视频帧的锐度取图像锐度值阈值范围中的其他值时,则根据线性正相关的关系,在相应的编码码率范围内计算编码码率。
因为当前视频帧的锐度值不断变化,相应的编码码率也会被不断动态调整,可以避免在视频图像锐度下降时编码码率骤然下降的情况,以达到保证图像质量的同时,减轻视频传输和视频存储压力的效果。
本发明其他实施例中,图像锐度值阈值范围和编码码率范围也可以分别只有一个最高值和最低值。编码码率和当前视频帧的锐度值也可以遵循线性正相关之外的其他对应关系,或者两者的线性正相关存在一定的误差,在计算时可以消除误差。本发明不做限定,这些方案都应理解为在本发明的保护范围之内。例如,其他一些实施例中,图像锐度值阈值范围和编码码率范围都可以是离散的数值,并根据当前视频帧的图像锐度与图像锐度值阈值范围的对应关系,在编码码率范围中确定或者推出相应的编码码率。
本发明其他一些实施例中,编码码率范围可以预设有两个或者两个以上,为了计算即将适用的编码码率,需要根据使用场景、视频传输环境、视频存储环境等情况,从预设的编码码率范围中选择一个编码码率范围,作为计算编码码率的参照。
本发明实施例中,上述智能设备可以是普通相机、运动相机、全景相机、手机、摄像无人机、平板电脑、可穿戴相机或者其他具有视频拍摄功能的设备。
本实施例中,上述根据当前视频帧的图像锐度计算所得的编码码率,会被发送到视频编码器,由视频编码器按照该编码码率进行视频编码。
参照图3,本发明还提供了一种智能设备3,具有视频拍摄功能,包括:
运动状态检测模块31,用于检测所述智能设备的运动状态;
锐度阈值确定模块32,用于根据所述运动状态确定图像锐度阈值范围;
编码码率确定模块33,用于根据当前视频帧的图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率。
参照图4,在上述智能设备3中,运动状态检测模块31具体又包括:
陀螺仪单元311,用于读取陀螺仪数据;
差值计算单元312,用于计算所述陀螺仪数据与上一次读取的陀螺仪数据之间的差值;
状态判断单元313,用于根据所述差值确定所述运动状态。
本实施例中,智能设备3中的陀螺仪为六轴陀螺仪,陀螺仪数据又包括三轴加速器数据和三轴陀螺仪数据。其中,差值计算单元312计算陀螺仪数据与上一次读取的陀螺仪数据之间的差值的步骤,又进一步包括:计算三轴加速器数据与上一次读取的三轴加速器数据之间的第一差值;计算三轴陀螺仪数据与上一次读取的三轴陀螺仪数据之间的第二差值。相应的,状态判断单元313根据所述差值确定所述运动状态的步骤,又进一步包括:根据上述第一差值和上述第二差值确定智能设备3的运动状态。
应当理解,本发明其他实施例中,也可能采用视觉传感器或者其他传感器来检测智能设备3的运动状态,也可能虽然采用陀螺仪检测智能设备3的运动状态但陀螺仪为三轴陀螺仪或者只包含三轴加速度器的陀螺仪,本发明对此不做限定,其他检测智能设备3运动状态的方案也在本发明的保护范围之内。
本实施例中,上述第一差值包括所述三轴加速器数据与上一次读取的三轴加速器数据之间差值绝对值中的最大值;上述第二差值包括所述三轴陀螺仪数据与上一次读取的三轴陀螺仪数据之间差值绝对值中的最大值。具体来说,本实施例中,差值计算单元312中,三轴加速度器在三维坐标系中分别检测智能设备3在三个坐标轴方向上的加速度值。将当前智能设备3在三个坐标轴方向上的加速度值与上一次检测到的智能设备3在三个坐标轴方向上的加速度值相减,得到差值的绝对值,将三个差值绝对值中的最大值作为第一差值。本实施例中,差值计算单元312中,三轴陀螺仪在三维坐标系中分别检测智能设备3在三个轴向上的角速度值。将当前智能设备3在三个轴向上的角速度值与上一次检测到的智能设备3在三个轴向上的角速度值相减,得到差值的绝对值,将三个差值绝对值中的最大值作为第二差值。
应当理解,本发明其他实施例中也可以采用分别检测并比较三维方向上线速度的方案,也可以采用检测并比较三维轴向上角加速度的方案,本发明对此不做限制,其他方案也在本发明的保护范围内。
本实施例中,状态判断单元313根据所述第一差值和所述第二差值确定所述运动状态的步骤,进一步包括:将上述第一差值与一个或者多个第一临界值进行第一比较;将上述第二差值与一个或者多个第二临界值进行第二比较;根据上述第一比较的结果和上述第二比较的结果来确定智能设备3的运动状态。
本发明实施例中,智能设备3的运动状态可以预设为包括静止、走路、跑步、驾车、抛掷、滑雪、登山、滑翔中的一个或者多个,也可以预设其他一些运动状态,本发明对此不做限制。
为了便于说明本发明的方案,本实施例中,智能设备3预设快和慢两种运动状态,相应的,预设一个第一临界值,预设一个第二临界值。当第一比较中第一差值小于等于第一临界值,并且第二比较中,第二差值小于等于第二临界值时,检测智能设备3的运动状态为慢状态;当第一比较中第一差值大于第一临界值,或者第二比较中第二差值大于第二临界值时,检测智能设备3的运动状态为快状态。
应当理解,本发明实施例中,第一临界值或者第二临界值可以有一个,也可以有两个或者两个以上,第一差值和第二差值分别与第一临界值和第二临界值相比较,所得出的多种结果分别可以对应智能设备3多种运动状态,本发明对此不做限制,上述其他方案也应当在本发明的保护范围内。
本实施例中,陀螺仪单元311读取陀螺仪数据的步骤具体包括以预设的时间间隔重复读取所述陀螺仪数据。因此检测并比较前后两次加速度器和陀螺仪的数据考虑了时间因素,考虑单位时间内线性加速度和角速度的变化量,并以此作为判断智能设备3运动状态快慢的依据。应当理解,在一些其他应用场景中,在本发明其他的实施例中,也可以不按照预设时间间隔或者以不规则的时间间隔去检测陀螺仪数据,例如在匀速运动或者静止状态的使用场景中,可以不考虑时间间隔,本发明对此不做限定。
本发明实施例中,在锐度阈值确定模块32根据所述运动状态确定图像锐度阈值范围的步骤中,智能设备3的运动状态可以包括两种或者两种以上;上述图像锐度阈值范围可以包括两种或者两种以上,并与上述两种或者两种以上上述运动状态相对应。例如,当智能设备3的运动状态越慢时,上述图像锐度阈值范围越高。
具体来说,本实施例中,智能设备3的运动状态包括快慢两种,相应的,图像锐度阈值范围也包括两种。一种图像锐度阈值范围可以是一段连续的图像锐度取值范围,可以整体上偏高或者偏低。本实施例中,当智能设备3的运动状态为慢状态时,图像锐度阈值范围为偏高的一段锐度取值范围;当智能设备3的运动状态为快状态时,图像锐度阈值范围为偏低的一段锐度取值范围。
本发明实施例中,锐度阈值确定模块32根据所述运动状态确定图像锐度阈值范围的步骤,可以进一步包括:根据所述运动状态,从预设的两个或者两个以上所述图像锐度阈值范围中选择一个。本实施例中,对应智能设备3预设的快和慢种两种运动状态,预设有高和低两个图像锐度阈值范围。应当理解,本发明其他实施例中,智能设备3的运动状态可以包括一种或者三种以上,并且可以按照静止、走路、跑步、驾车、抛掷、滑雪、登山、滑翔等应用场景进行划分,也可以对不同的应用场景进行智能识别。图像锐度阈值范围也可以包括相应的一种或者三种以上,并与上述运动状态一一对应,本发明对此不做限制。
本实施例中,锐度阈值确定模块32根据所述运动状态确定图像锐度阈值范围的步骤中,还进一步包括根据智能设备3的运动状态和当前的视频分辨率确定图像锐度阈值范围。具体来说,在确定图像锐度阈值范围时,同时将智能设备3当前的运动状态和智能设备3当前的分辨率作为参考依据。比如,当视频分辨率高时,所选取的图像锐度阈值范围相对偏高,当视频分辨率低时,所选取的图像锐度阈值范围相对较低。当然根据应用场景的需要,上述图像锐度阈值范围和智能设备3的运动状态以及视频分辨率之间也可以有其他的对应关系,本发明不做具体限定。比如,当图像锐度不均匀,而智能设备所拍摄视频中小分辨率的图像又包含于大分辨率图像之中时,锐度值不一定随着分辨率变小而减小,此时分辨率和图像锐度阈值范围并非同向变化。本发明其他实施例中,确定图像锐度阈值范围时还可以参考当前视频帧的图像锐度值或者其他因素,在此不做限定,都应属于本发明的保护范围。
本实施例中,为了得到当前视频帧的图像锐度值,由智能设备3中的锐度计算模块对当前视频帧的图像锐度值进行计算。其中,此处的当前视频帧的图像锐度值可以是当前一帧的图像锐度值,也可以是当前帧之前若干帧图像锐度值的平均值、最高值或者最低值,可以根据需求灵活设置,都在本发明保护范围之内。本发明其他实施例中,也可以由其他方式获得当前视频帧的图像锐度值,本发明不做限定。本发明其他一些实施例中,被对应到图像锐度值范围的当前图像锐度值也可以包括在一定时间范围内或者一定连续视频帧范围内计算或者统计所得的图像锐度值,或者若干图像锐度值的平均值、中值、最大值、最小值或者预测值。一些实施例中,计算同一帧内图像的锐度值也可以划分区块,分别计算每一区块的锐度值,然后将这些区块锐度值的平均值、最小值、最大值、中值或者预测值等,作为当前视频帧的图像锐度值。
本实施例中,编码码率确定模块33根据当前视频帧的图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率的步骤中,具体来说,上述编码码率在上述编码码率范围中的变化与上述当前视频帧的图像锐度值在所述图像锐度阈值范围中的变化呈线性正相关,当前视频帧的图像锐度值在图像锐度阈值范围中越是偏高,编码码率在编码码率范围中的取值也就越大,反之亦然。
本实施例中,上述图像锐度阈值范围包括锐度最低值、锐度中值和锐度最高值,相应的,上述编码码率范围包括码率最低值、码率中值和码率最高值。在根据当前视频帧的图像锐度值与图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率时,根据当前视频帧的图像锐度值在所述图像锐度阈值范围中的位置,以上述锐度最低值和上述锐度中值为参照,或者以上述锐度中值和上述锐度最高值为参照,采用线性插值法,并以上述码率最低值和上述码率中值为参照,或者以上述码率中值和上述码率最高值为参照,确定所述编码码率在所述编码码率范围中的位置。也即,将图像锐度阈值范围进一步以锐度中值为界,划分为锐度最低值至锐度中值和锐度中值至锐度最高值两段,并将编码码率范围进一步划分为编码码率最低值至编码码率中值和编码码率中值至编码码率最高值两段,两段编码码率范围与两段图像锐度阈值范围分别相对应。计算编码码率,使得编码码率在两段编码码率范围中的取值与当前视频帧的锐度值在图像锐度值阈值范围中的取值呈线性正相关。具体来说,当当前视频帧的锐度值取锐度最低值或者小于锐度最低值时,编码码率取编码码率范围中的编码码率最低值;当当前视频帧的锐度值取锐度中值时,编码码率取编码码率范围中的编码码率中值;当当前视频帧的锐度值取锐度最高值或者大于锐度最高值时,编码码率取编码码率范围中的编码码率最高值;当当前视频帧的锐度取图像锐度值阈值范围中的其他值时,则根据两者之间线性正相关的关系,在相应的编码码率范围内计算编码码率。
因为当前视频帧的锐度值不断变化,相应的编码码率也会被不断动态调整,可以避免在视频图像锐度下降时编码码率骤然下降的情况,以达到保证图像质量的同时,减轻视频传输和视频存储压力的效果。
本发明其他实施例中,图像锐度值阈值范围和编码码率范围也可以分别只有一个最高值和最低值。编码码率和当前视频帧的锐度值也可以遵循线性正相关之外的其他对应关系,或者两者的线性正相关存在一定的误差,在计算时可以消除误差。本发明不做限定,这些方案都应理解为在本发明的保护范围之内。例如,其他一些实施例中,图像锐度值阈值范围和编码码率范围都可以是离散的数值,并根据当前视频帧的图像锐度与图像锐度值阈值范围的对应关系,在编码码率范围中确定或者推出相应的编码码率。
本发明其他一些实施例中,编码码率范围可以预设有两个或者两个以上,为了计算即将适用的编码码率,需要根据使用场景、视频传输环境、视频存储环境等情况,从预设的编码码率范围中选择一个编码码率范围,作为计算编码码率的参照。
本发明实施例中,上述智能设备3可以是普通相机、运动相机、全景相机、手机、摄像无人机、平板电脑、可穿戴相机或者其他具有视频拍摄功能的设备。
本实施例中,上述根据当前视频帧的图像锐度计算所得的编码码率,会被发送到视频编码器,由视频编码器按照该编码码率进行视频编码。
参照图5,本发明还提供了一种运动相机5,该运动相机具有视频拍摄功能,包括处理器51和视频编码器52,所述处理器用于:检测所述运动相机的运动状态;根据所述运动状态确定图像锐度阈值范围;根据当前视频帧的图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率;所述视频编码器52用于按照所述编码码率进行视频编码。
处理器51执行检测所述运动相机的运动状态时,还用于:读取陀螺仪数据;计算所述陀螺仪数据与上一次读取的陀螺仪数据之间的差值;根据所述差值确定所述运动状态。
本实施例中,运动相机5中的陀螺仪为六轴陀螺仪,陀螺仪数据又包括三轴加速器数据和三轴陀螺仪数据。其中,计算陀螺仪数据与上一次读取的陀螺仪数据之间的差值的步骤,又进一步包括:计算三轴加速器数据与上一次读取的三轴加速器数据之间的第一差值;计算三轴陀螺仪数据与上一次读取的三轴陀螺仪数据之间的第二差值。相应的,根据所述差值确定所述运动状态的步骤,又进一步包括:根据上述第一差值和上述第二差值确定运动相机的运动状态。
应当理解,本发明其他实施例中,也可能采用视觉传感器或者其他传感器来检测运动相机的运动状态,也可能虽然采用陀螺仪检测运动相机5的运动状态但陀螺仪为三轴陀螺仪或者只包含三轴加速度器的陀螺仪,本发明对此不做限定,其他检测智能相机的运动状态的方案也在本发明的保护范围之内。
本实施例中,上述第一差值包括所述三轴加速器数据与上一次读取的三轴加速器数据之间差值绝对值中的最大值;上述第二差值包括所述三轴陀螺仪数据与上一次读取的三轴陀螺仪数据之间差值绝对值中的最大值。具体来说,本实施例中,三轴加速度器在三维坐标系中分别检测运动相机5在三个坐标轴方向上的加速度值。将当前运动相机5在三个坐标轴方向上的加速度值与上一次检测到的运动相机5在三个坐标轴方向上的加速度值相减,得到差值的绝对值,将三个差值绝对值中的最大值作为第一差值。本实施例中,三轴陀螺仪在三维坐标系中分别检测运动相机5在三个轴向上的角速度值。将当前运动相机5在三个轴向上的角速度值与上一次检测到的运动相机5在三个轴向上的角速度值相减,得到差值的绝对值,将三个差值绝对值中的最大值作为第二差值。
本实施例中,处理器读取一次陀螺仪数据,与上一次数据进行相减求绝对值,六轴陀螺仪包含三轴加速器和三轴陀螺仪,用X1、Y1、Z1和Ro1、Pi1、Ya1分别表示当前读取到的陀螺仪数据,X0、Y0、Z0和Ro0、Pi0、Ya0表示上一次读取的陀螺仪数据,计算两次陀螺仪数据的差值的绝对值:Xd=abs(X1-X0),Yd=abs(Y1-Y0),Zd=abs(Z1-Z0),Rod=abs(Ro1-Ro0),Pid=abs(Pi1-Pi0),Yad=abs(Ya1-Ya0)。第一差值Ad=max(Xd,max(Yd,Zd)),第二差值Gd=max(Rod,max(Pid,Yad))。
应当理解,本发明其他实施例中也可以采用分别检测并比较三维方向上线速度的方案,也可以采用检测并比较三维轴向上角加速度的方案,本发明对此不做限制,其他方案也在本发明的保护范围内。
本实施例中,根据所述第一差值和所述第二差值确定所述运动状态的步骤,进一步包括:将上述第一差值与一个或者多个第一临界值进行第一比较;将上述第二差值与一个或者多个第二临界值进行第二比较;根据上述第一比较的结果和上述第二比较的结果来确定运动相机5的运动状态。
判断运动状态Md的具体步骤为:当Ad<0.1且Gd<0.3时,Md=0;当Ad≥0.1或者Gd≥0.3时,Md=1。
本发明实施例中,运动相机5的运动状态可以预设为包括静止、走路、跑步、驾车、抛掷、滑雪、登山、滑翔中的一个或者多个,也可以预设其他一些运动状态,本发明对此不做限制。
为了便于说明本发明的方案,本实施例中,运动相机5预设快1和慢0两种运动状态,相应的,预设一个第一临界值0.1,预设一个第二临界值0.3。当第一比较中第一差值Ad小于等于第一临界值0.1,并且第二比较中,第二差值Gd小于等于第二临界值0.3时,检测运动相机5的运动状态为慢状态0;当第一比较中第一差值Ad大于第一临界值0.1,或者第二比较中第二差值Gd大于第二临界值0.3时,检测运动相机5的运动状态为快状态1。
应当理解,本发明实施例中,第一临界值或者第二临界值可以有一个,也可以有两个或者两个以上,第一差值和第二差值分别与第一临界值和第二临界值相比较,所得出的多种结果分别可以对应运动相机5多种运动状态,本发明对此不做限制,上述其他方案也应当在本发明的保护范围内。
本实施例中,读取陀螺仪数据的步骤具体包括以预设的时间间隔重复读取所述陀螺仪数据。因此检测并比较前后两次加速度器和陀螺仪的数据考虑了时间因素,考虑单位时间内线性加速度和角速度的变化量,并以此作为判断运动相机5运动状态快慢的依据。应当理解,在一些其他应用场景中,在本发明其他的实施例中,也可以不按照预设时间间隔或者以不规则的时间间隔去检测陀螺仪数据,例如在匀速运动或者静止状态的使用场景中,可以不考虑时间间隔,本发明对此不做限定。
本发明实施例中,在根据所述运动状态确定图像锐度阈值范围的步骤中,运动相机5的运动状态可以包括两种或者两种以上;上述图像锐度阈值范围可以包括两种或者两种以上,并与上述两种或者两种以上上述运动状态相对应。例如,当运动相机5的运动状态越慢时,上述图像锐度阈值范围越高。
具体来说,本实施例中,运动相机5的运动状态包括快慢两种,相应的,图像锐度阈值范围也包括Lut0和Lut1两种。一种图像锐度阈值范围可以是一段连续的图像锐度取值范围,可以整体上偏高或者偏低。本实施例中,当运动相机5的运动状态为慢状态0时,图像锐度阈值范围为偏高的一段锐度取值范围Lut0;当运动相机5的运动状态为快状态1时,图像锐度阈值范围为偏低的一段锐度取值范围Lut1。
本发明实施例中,根据所述运动状态确定图像锐度阈值范围的步骤,可以进一步包括:根据所述运动状态,从预设的两个或者两个以上所述图像锐度阈值范围中选择一个。本实施例中,对应运动相机5预设的快和慢种两种运动状态,预设有高和低两个图像锐度阈值范围。应当理解,本发明其他实施例中,运动相机5的运动状态可以包括一种或者三种以上,并且可以按照静止、走路、跑步、驾车、抛掷、滑雪、登山、滑翔等应用场景进行划分,也可以对不同的应用场景进行智能识别。图像锐度阈值范围也可以包括相应的一种或者三种以上,并与上述运动状态一一对应,本发明对此不做限制。
本实施例中,根据所述运动状态确定图像锐度阈值范围的步骤中,还进一步包括根据运动相机5的运动状态和当前的视频分辨率确定图像锐度阈值范围。具体来说,在确定图像锐度阈值范围时,同时将运动相机5当前的运动状态和运动相机5当前的分辨率作为参考依据。比如,当视频分辨率高时,所选取的图像锐度阈值范围相对偏高,当视频分辨率低时,所选取的图像锐度阈值范围相对较低。当然根据应用场景的需要,上述图像锐度阈值范围和运动相机5的运动状态以及视频分辨率之间也可以有其他的对应关系,本发明不做具体限定。比如,当图像锐度不均匀,而智能设备所拍摄视频中小分辨率的图像又包含于大分辨率图像之中时,锐度值不一定随着分辨率变小而减小,此时分辨率和图像锐度阈值范围并非同向变化。本发明其他实施例中,确定图像锐度阈值范围时还可以参考当前视频帧的图像锐度值或者其他因素,在此不做限定,都应属于本发明的保护范围。
本实施例中,为了得到当前视频帧的图像锐度值,由运动相机5中的锐度计算模块对当前视频帧的图像锐度值进行计算。其中,此处的当前视频帧的图像锐度值可以是当前一帧的图像锐度值,也可以是当前帧之前若干帧图像锐度值的平均值、最高值或者最低值,可以根据需求灵活设置,都在本发明保护范围之内。本发明其他实施例中,也可以由其他方式获得当前视频帧的图像锐度值,本发明不做限定。本发明其他一些实施例中,被对应到图像锐度值范围的当前图像锐度值也可以包括在一定时间范围内或者一定连续视频帧范围内计算或者统计所得的图像锐度值,或者若干图像锐度值的平均值、中值、最大值、最小值或者预测值。一些实施例中,计算同一帧内图像的锐度值也可以划分区块,分别计算每一区块的锐度值,然后将这些区块锐度值的平均值、最小值、最大值、中值或者预测值等,作为当前视频帧的图像锐度值。
本实施例中,根据当前视频帧的图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率的步骤中,具体来说,上述编码码率在上述编码码率范围中的变化与上述当前视频帧的图像锐度值在所述图像锐度阈值范围中的变化呈线性正相关,当前视频帧的图像锐度值在图像锐度阈值范围中越是偏高,编码码率在编码码率范围中的取值也就越大,反之亦然。
本实施例中,上述图像锐度阈值范围包括锐度最低值Smin、锐度中值Smid和锐度最高值Smax,相应的,上述编码码率范围包括码率最低值BRmin、码率中值BRavg和码率最高值BRmax。在根据当前视频帧的图像锐度值与图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率BRcur时,根据当前视频帧的图像锐度值Scur在所述图像锐度阈值范围中的位置,以上述锐度最低值和上述锐度中值为参照,或者以上述锐度中值和上述锐度最高值为参照,采用线性插值法,并以上述码率最低值和上述码率中值为参照,或者以上述码率中值和上述码率最高值为参照,确定所述编码码率在所述编码码率范围中的位置。也即,将图像锐度阈值范围进一步以锐度中值为界,划分为锐度最低值至锐度中值和锐度中值至锐度最高值两段,并将编码码率范围进一步划分为编码码率最低值至编码码率中值和编码码率中值至编码码率最高值两段,两段编码码率范围与两段图像锐度阈值范围分别相对应。计算编码码率,使得编码码率在两段编码码率范围中的取值与当前视频帧的锐度值在图像锐度值阈值范围中的取值呈线性正相关。具体来说,当当前视频帧的锐度值取锐度最低值或者小于锐度最低值时,编码码率取编码码率范围中的编码码率最低值;当当前视频帧的锐度值取锐度中值时,编码码率取编码码率范围中的编码码率中值;当当前视频帧的锐度值取锐度最高值或者大于锐度最高值时,编码码率取编码码率范围中的编码码率最高值;当当前视频帧的锐度取图像锐度值阈值范围中的其他值时,则根据线性正相关的关系,在相应的编码码率范围内计算编码码率。
本实施例中,根据上述简单的线性相关关系,令Slope0=(BRavg-BRmin)÷(Smid-Smin),Slope1=(BRmax-BRavg)÷(Smax-Smid),则
当Scur<Smin时,BRcur=BRmin;
当Smin<Scur<Smid时,BRcur=BRmin+(Scur-Smin)×Slope0;
当Scur==Smid时,BRcur=BRavg;
当Smid<Scur<Smax时,BRcur=BRmid+Smax-Smid×Slope1;
当Scur≥Smax时,BRcur=BRmax。
处理器51将编码码率BRcur发送到视频编码器52,视频编码器52按照编码码率BRcur进行视频编码,因为当前视频帧的锐度值不断变化,相应的编码码率BRcur也会被不断动态调整,可以避免在视频图像锐度下降时编码码率骤然下降的情况,以达到保证图像质量的同时,减轻视频传输和视频存储压力的效果。
本发明其他实施例中,图像锐度值阈值范围和编码码率范围也可以分别只有一个最高值和最低值。编码码率和当前视频帧的锐度值也可以遵循线性正相关之外的其他对应关系,或者两者的线性正相关存在一定的误差,在计算时可以消除误差。本发明不做限定,这些方案都应理解为在本发明的保护范围之内。例如,其他一些实施例中,图像锐度值阈值范围和编码码率范围都可以是离散的数值,并根据当前视频帧的图像锐度与图像锐度值阈值范围的对应关系,在编码码率范围中确定或者推出相应的编码码率。
本发明其他一些实施例中,编码码率范围可以预设有两个或者两个以上,为了计算即将适用的编码码率,需要根据使用场景、视频传输环境、视频存储环境等情况,从预设的编码码率范围中选择一个编码码率范围,作为计算编码码率的参照。
在本发明所提供的几个实施例中,应该理解到,所揭露的相关装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得计算机处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read_OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

Claims (41)

1.一种动态控制视频编码码率的方法,用于具有视频拍摄功能的智能设备,其特征在于,包括步骤:
读取陀螺仪数据;计算所述陀螺仪数据与上一次读取的陀螺仪数据之间的差值;根据所述差值确定所述智能设备的运动状态;
根据所述运动状态确定图像锐度阈值范围;
根据当前图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率。
2.如权利要求1所述的方法,其特征在于,所述编码码率在所述编码码率范围中的变化与所述当前图像锐度值在所述图像锐度阈值范围中的变化呈线性正相关。
3.如权利要求1所述的方法,其特征在于,所述陀螺仪为六轴陀螺仪,所述陀螺仪数据包括三轴加速器数据和三轴陀螺仪数据;所述计算所述陀螺仪数据与上一次读取的陀螺仪数据之间的差值,进一步包括:
计算所述三轴加速器数据与上一次读取的三轴加速器数据之间的第一差值;
计算所述三轴陀螺仪数据与上一次读取的三轴陀螺仪数据之间的第二差值;
所述根据所述差值确定所述运动状态,进一步包括:
根据所述第一差值和所述第二差值确定所述运动状态。
4.如权利要求3所述的方法,其特征在于,所述第一差值包括所述三轴加速器数据与上一次读取的三轴加速器数据之间差值绝对值中的最大值;所述第二差值包括所述三轴陀螺仪数据与上一次读取的三轴陀螺仪数据之间差值绝对值中的最大值。
5.如权利要求3所述的方法,其特征在于,所述根据所述第一差值和所述第二差值确定所述运动状态,进一步包括:
将所述第一差值与一个或者多个第一临界值进行第一比较;
将所述第二差值与一个或者多个第二临界值进行第二比较;
根据所述第一比较的结果和所述第二比较的结果确定所述运动状态。
6.如权利要求1所述的方法,其特征在于,所述读取陀螺仪数据包括以预设的时间间隔重复读取所述陀螺仪数据。
7.如权利要求1所述的方法,其特征在于,所述运动状态包括两种或者两种以上;所述图像锐度阈值范围包括两种或者两种以上,并与所述两种或者两种以上所述运动状态相对应;当所述运动状态越慢时,所述图像锐度阈值范围越高。
8.如权利要求1所述的方法,其特征在于,所述根据所述运动状态确定图像锐度阈值范围,进一步包括:
根据所述运动状态,从预设的两个或者两个以上所述图像锐度阈值范围中选择一个。
9.如权利要求1所述的方法,其特征在于,所述根据所述运动状态确定图像锐度阈值范围,进一步包括:
根据所述运动状态和视频分辨率确定所述图像锐度阈值范围。
10.如权利要求1所述的方法,其特征在于,在所述根据当前图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率的步骤之前,还包括步骤:计算当前图像锐度值。
11.如权利要求2所述的方法,其特征在于,所述图像锐度阈值范围包括锐度最低值、锐度中值和锐度最高值;所述编码码率范围包括码率最低值、码率中值和码率最高值;所述根据当前图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率,进一步包括:
根据所述当前图像锐度值在所述图像锐度阈值范围中的位置,以所述锐度最低值和所述锐度中值为参照或者以所述锐度中值和所述锐度最高值为参照,采用线性插值法,并以所述码率最低值和所述码率中值为参照或者以所述码率中值和所述码率最高值为参照,确定所述编码码率在所述编码码率范围中的位置。
12.如权利要求1所述的方法,其特征在于,在所述根据当前图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率的步骤之前还包括:
从两个或者两个以上预设的编码码率范围中选择一个编码码率范围。
13.如权利要求1所述的方法,其特征在于,所述运动状态包括静止、走路、跑步、驾车、抛掷、滑雪、登山、滑翔中的一个或者多个。
14.如权利要求1所述的方法,其特征在于,所述智能设备为运动相机、全景相机、手机、平板电脑、摄像无人机或者可穿戴相机中的一种。
15.一种智能设备,具有视频拍摄功能,其特征在于,包括:
运动状态检测模块,用于读取陀螺仪数据;计算所述陀螺仪数据与上一次读取的陀螺仪数据之间的差值;根据所述差值确定所述智能设备的运动状态;
锐度阈值确定模块,用于根据所述运动状态确定图像锐度阈值范围;
编码码率确定模块,用于根据当前图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率。
16.如权利要求15所述的智能设备,其特征在于,所述编码码率在所述编码码率范围中的变化与所述当前图像锐度值在所述图像锐度阈值范围中的变化呈线性正相关。
17.如权利要求15所述的智能设备,其特征在于,所述陀螺仪为六轴陀螺仪,所述陀螺仪数据包括三轴加速器数据和三轴陀螺仪数据;所述计算所述陀螺仪数据与上一次读取的陀螺仪数据之间的差值,进一步包括:
计算所述三轴加速器数据与上一次读取的三轴加速器数据之间的第一差值;
计算所述三轴陀螺仪数据与上一次读取的三轴陀螺仪数据之间的第二差值;
所述根据所述差值确定所述运动状态,进一步包括:
根据所述第一差值和所述第二差值确定所述运动状态。
18.如权利要求17所述的智能设备,其特征在于,
所述第一差值包括所述三轴加速器数据与上一次读取的三轴加速器数据之间差值绝对值中的最大值;所述第二差值包括所述三轴陀螺仪数据与上一次读取的三轴陀螺仪数据之间差值绝对值中的最大值。
19.如权利要求17所述的智能设备,其特征在于,所述根据所述第一差值和所述第二差值确定所述运动状态,进一步包括:
将所述第一差值与一个或者多个第一临界值进行第一比较;
将所述第二差值与一个或者多个第二临界值进行第二比较;
根据所述第一比较的结果和所述第二比较的结果确定所述运动状态。
20.如权利要求15所述的智能设备,其特征在于,所述运动状态检测模块还用于以预设的时间间隔重复读取所述陀螺仪数据。
21.如权利要求15所述的智能设备,其特征在于,所述运动状态包括两种或者两种以上;所述图像锐度阈值范围包括两种或者两种以上,并与所述两种或者两种以上所述运动状态相对应;当所述运动状态越慢时,所述图像锐度阈值范围越高。
22.如权利要求15所述的智能设备,其特征在于,所述锐度阈值确定模块还用于:
根据所述运动状态,从预设的两个或者两个以上所述图像锐度阈值范围中选择一个。
23.如权利要求15所述的智能设备,其特征在于,所述锐度阈值确定模块还用于:
根据所述运动状态和视频分辨率确定所述图像锐度阈值范围。
24.如权利要求15所述的智能设备,其特征在于,还包括锐度计算模块,用于计算当前图像锐度值。
25.如权利要求16所述的智能设备,其特征在于,所述图像锐度阈值范围包括锐度最低值、锐度中值和锐度最高值;所述编码码率范围包括码率最低值、码率中值和码率最高值;所述根据当前图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率,进一步包括:
根据所述当前图像锐度值在所述图像锐度阈值范围中的位置,以所述锐度最低值和所述锐度中值为参照或者以所述锐度中值和所述锐度最高值为参照,采用线性插值法,并以所述码率最低值和所述码率中值为参照或者以所述码率中值和所述码率最高值为参照,确定所述编码码率在所述编码码率范围中的位置。
26.如权利要求15所述的智能设备,其特征在于,还包括:
码率范围确定模块,用于从两个或者两个以上预设的编码码率范围中选择一个编码码率范围。
27.如权利要求15所述的智能设备,其特征在于,所述运动状态包括静止、走路、跑步、驾车、抛掷、滑雪、登山、滑翔中的一个或者多个。
28.如权利要求15所述的智能设备,其特征在于,所述智能设备为运动相机、全景相机、手机、平板电脑、摄像无人机或者可穿戴相机中的一种。
29.一种运动相机,具有视频拍摄功能,包括处理器和视频编码器,其特征在于,
所述处理器用于:
读取陀螺仪数据;计算所述陀螺仪数据与上一次读取的陀螺仪数据之间的差值;根据所述差值确定所述运动相机的运动状态;
根据所述运动状态确定图像锐度阈值范围;
根据当前图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率;
所述视频编码器用于按照所述编码码率进行视频编码。
30.如权利要求29所述的运动相机,其特征在于,所述编码码率在所述编码码率范围中的变化与所述当前图像锐度值在所述图像锐度阈值范围中的变化呈线性正相关。
31.如权利要求29所述的运动相机,其特征在于,所述陀螺仪为六轴陀螺仪,所述陀螺仪数据包括三轴加速器数据和三轴陀螺仪数据;所述计算所述陀螺仪数据与上一次读取的陀螺仪数据之间的差值,进一步包括:
计算所述三轴加速器数据与上一次读取的三轴加速器数据之间的第一差值;
计算所述三轴陀螺仪数据与上一次读取的三轴陀螺仪数据之间的第二差值;
所述根据所述差值确定所述运动状态,进一步包括:
根据所述第一差值和所述第二差值确定所述运动状态。
32.如权利要求31所述的运动相机,其特征在于,
所述第一差值包括所述三轴加速器数据与上一次读取的三轴加速器数据之间差值绝对值中的最大值;所述第二差值包括所述三轴陀螺仪数据与上一次读取的三轴陀螺仪数据之间差值绝对值中的最大值。
33.如权利要求31所述的运动相机,其特征在于,所述根据所述第一差值和所述第二差值确定所述运动状态,进一步包括:
将所述第一差值与一个或者多个第一临界值进行第一比较;
将所述第二差值与一个或者多个第二临界值进行第二比较;
根据所述第一比较的结果和所述第二比较的结果确定所述运动状态。
34.如权利要求29所述的运动相机,其特征在于,所述读取陀螺仪数据包括以预设的时间间隔重复读取所述陀螺仪数据。
35.如权利要求29所述的运动相机,其特征在于,所述运动状态包括两种或者两种以上;所述图像锐度阈值范围包括两种或者两种以上,并与所述两种或者两种以上所述运动状态相对应;当所述运动状态越慢时,所述图像锐度阈值范围越高。
36.如权利要求29所述的运动相机,其特征在于,所述根据所述运动状态确定图像锐度阈值范围,进一步包括:
根据所述运动状态,从预设的两个或者两个以上所述图像锐度阈值范围中选择一个。
37.如权利要求29所述的运动相机,其特征在于,所述根据所述运动状态确定图像锐度阈值范围,进一步包括:
根据所述运动状态和视频分辨率确定所述图像锐度阈值范围。
38.如权利要求29所述的运动相机,其特征在于,在所述根据当前图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率的步骤之前,还包括步骤:计算当前图像锐度值。
39.如权利要求30所述的运动相机,其特征在于,所述图像锐度阈值范围包括锐度最低值、锐度中值和锐度最高值;所述编码码率范围包括码率最低值、码率中值和码率最高值;所述根据当前图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率,进一步包括:
根据所述当前图像锐度值在所述图像锐度阈值范围中的位置,以所述锐度最低值和所述锐度中值为参照或者以所述锐度中值和所述锐度最高值为参照,采用线性插值法,并以所述码率最低值和所述码率中值为参照或者以所述码率中值和所述码率最高值为参照,确定所述编码码率在所述编码码率范围中的位置。
40.如权利要求29所述的运动相机,其特征在于,在所述根据当前图像锐度值与所述图像锐度阈值范围的对应关系,从编码码率范围中确定编码码率的步骤之前还包括:
从两个或者两个以上预设的编码码率范围中选择一个编码码率范围。
41.如权利要求29所述的运动相机,其特征在于,所述运动状态包括静止、走路、跑步、驾车、抛掷、滑雪、登山、滑翔中的一个或者多个。
CN201980099154.1A 2019-08-16 2019-08-16 动态控制视频编码码率的方法、智能设备和运动相机 Active CN114208164B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/100990 WO2021030936A1 (zh) 2019-08-16 2019-08-16 动态控制视频编码码率的方法、智能设备和运动相机

Publications (2)

Publication Number Publication Date
CN114208164A CN114208164A (zh) 2022-03-18
CN114208164B true CN114208164B (zh) 2024-02-09

Family

ID=74659470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980099154.1A Active CN114208164B (zh) 2019-08-16 2019-08-16 动态控制视频编码码率的方法、智能设备和运动相机

Country Status (2)

Country Link
CN (1) CN114208164B (zh)
WO (1) WO2021030936A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115065781B (zh) * 2022-04-28 2024-04-19 深圳绿米联创科技有限公司 拍摄处理方法、装置、设备和计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537618A (zh) * 2014-12-24 2015-04-22 浙江宇视科技有限公司 图像处理方法及装置
CN106792156A (zh) * 2016-12-08 2017-05-31 深圳Tcl新技术有限公司 提升网络视频清晰度的方法及装置
CN107714227A (zh) * 2017-11-15 2018-02-23 北京朗萌科技发展有限公司 刷牙行为的监控方法、装置和智能牙刷
WO2018223381A1 (zh) * 2017-06-09 2018-12-13 厦门美图之家科技有限公司 一种视频防抖方法及移动设备
CN109905711A (zh) * 2019-02-28 2019-06-18 深圳英飞拓智能技术有限公司 一种图像的处理方法、系统及终端设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8755446B2 (en) * 2005-05-04 2014-06-17 Intel Corporation Varying sharpness based on motion in video sequences
CN102148984B (zh) * 2010-02-08 2015-01-21 北京中星微电子有限公司 一种调整jpeg编码码率的方法及设备
JP2017207818A (ja) * 2016-05-16 2017-11-24 キヤノン株式会社 画像処理装置、画像処理方法、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537618A (zh) * 2014-12-24 2015-04-22 浙江宇视科技有限公司 图像处理方法及装置
CN106792156A (zh) * 2016-12-08 2017-05-31 深圳Tcl新技术有限公司 提升网络视频清晰度的方法及装置
WO2018223381A1 (zh) * 2017-06-09 2018-12-13 厦门美图之家科技有限公司 一种视频防抖方法及移动设备
CN107714227A (zh) * 2017-11-15 2018-02-23 北京朗萌科技发展有限公司 刷牙行为的监控方法、装置和智能牙刷
CN109905711A (zh) * 2019-02-28 2019-06-18 深圳英飞拓智能技术有限公司 一种图像的处理方法、系统及终端设备

Also Published As

Publication number Publication date
CN114208164A (zh) 2022-03-18
WO2021030936A1 (zh) 2021-02-25

Similar Documents

Publication Publication Date Title
KR101850586B1 (ko) 향상된 안구 추적을 위한 장면 분석
CN112616019B (zh) 目标跟踪方法、装置、云台及存储介质
CN109314748B (zh) 电子图像稳定频率估计器
US11258999B2 (en) Method and device for reducing motion sickness when providing 360-degree video
KR20210107185A (ko) 3d 공간에서의 포즈 추정
JP7151488B2 (ja) 移動物体検出装置、移動物体検出方法及びプログラム
US10110929B2 (en) Method of pre-processing digital images, and digital image preprocessing system
CN106780674B (zh) 镜头移动方法和装置
US8169501B2 (en) Output apparatus, output method and program
CN107295296B (zh) 一种监控视频选择性存储与恢复方法及系统
WO2017201266A2 (en) Real-time visual-inertial motion tracking fault detection
CN114208164B (zh) 动态控制视频编码码率的方法、智能设备和运动相机
CN111788538B (zh) 头戴式显示器以及减少所连接的远程显示器中视觉诱发运动疾病的方法
JP6338587B2 (ja) ビデオ安定化のインテリジェントな無効化によるモーションアーチファクトの防止
EP3349101B1 (en) Movement tracking method and movement tracking system
US11265469B1 (en) System to mitigate image jitter by an actuator driven camera
KR101434072B1 (ko) 안정화 방법 및 컴퓨터 시스템
CN114095780A (zh) 一种全景视频剪辑方法、装置、存储介质及设备
KR101677699B1 (ko) 카메라 모듈 및 이를 포함한 이동통신 단말기
US20200065979A1 (en) Imaging system and method with motion detection
CN117425064A (zh) 帧率调节方法、装置、设备及系统
JP5033412B2 (ja) 監視システム、監視方法、及びプログラム
CN110248100B (zh) 一种拍摄方法、装置及存储介质
CN108153406B (zh) 一种控制hmd视角的方法及头戴显示设备
EP4415374A1 (en) Adaptive frame rate for low power slam in xr

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant