CN109873953A - 图像处理方法、夜间拍摄方法、图像处理芯片及航拍相机 - Google Patents

图像处理方法、夜间拍摄方法、图像处理芯片及航拍相机 Download PDF

Info

Publication number
CN109873953A
CN109873953A CN201910167837.8A CN201910167837A CN109873953A CN 109873953 A CN109873953 A CN 109873953A CN 201910167837 A CN201910167837 A CN 201910167837A CN 109873953 A CN109873953 A CN 109873953A
Authority
CN
China
Prior art keywords
image
target image
frame
target
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910167837.8A
Other languages
English (en)
Inventor
李昭早
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Original Assignee
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Autel Intelligent Aviation Technology Co Ltd filed Critical Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority to CN201910167837.8A priority Critical patent/CN109873953A/zh
Publication of CN109873953A publication Critical patent/CN109873953A/zh
Priority to PCT/CN2020/077821 priority patent/WO2020177723A1/zh
Priority to US17/467,366 priority patent/US20210400172A1/en
Pending legal-status Critical Current

Links

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Abstract

本发明实施例涉及图像处理方法、夜间拍摄方法、图像处理芯片以及航拍相机。所述方法包括：获取多帧目标图像；对所述多帧目标图像中的每一帧目标图像均执行第一降噪处理，以获得所述多帧目标图像的帧内处理结果。对所述多帧目标图像中任意相邻两帧目标图像执行第二降噪处理，以获得帧间处理结果；根据所述帧内处理结果和帧间处理结果，形成所述目标图像的夜景效果增强图像。该方法以多个连续的目标图像为基础，分别对空间域和时间域的噪声进行处理，可以极大的提升在低亮度或者昏暗环境下的拍摄效果，为用户呈现锐利并且低噪声的夜景效果增强图像。

Description

图像处理方法、夜间拍摄方法、图像处理芯片及航拍相机
【技术领域】
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、夜间拍摄方法、图像处理芯片以及航拍相机。
【背景技术】
自从CMOS和CCD等将光信号采集转换为对应模拟电信号的图像传感器问世以来，数码相机由于具有数据存储便捷、体积小巧、拍摄参数容易调节控制等优势，受到了人们的欢迎，并广泛的应用于许多不同的领域，在人们生活中发挥着重要的作用。
但是，受到图像传感器自身物理结构和制作工艺的限制，在一些光线不足，亮度较低的环境下进行拍摄(例如夜间的户外、环境昏暗的礼堂)时，数码相机很难提供优秀的拍摄效果，容易在照片中出现拖影或者噪点过多等的问题。
提升光学镜头的性能或者增大图像传感器的尺寸是改善拍摄效果的可行方式。但是这些硬件上的提升需要以成本上升或者相机体积增大为代价，能够应用的场合会受到很大的限制。
【发明内容】
为了解决上述技术问题，本发明实施例提供一种能够改善数码相机拍摄效果的图像处理方法、夜间拍摄方法、图像处理芯片以及航拍相机。
为解决上述技术问题，本发明实施例提供以下技术方案：一种图像处理方法。该图像处理方法包括：
获取多帧目标图像；
对所述多帧目标图像中的每一帧目标图像均执行第一降噪处理，以获得所述多帧目标图像的帧内处理结果，其中，所述第一降噪处理用于滤除所述多帧目标图像中每一帧目标图像的空间域噪声；
对所述多帧目标图像中任意相邻两帧目标图像执行第二降噪处理，以获得帧间处理结果，其中，所述第二降噪处理用于滤除所述多帧目标图像中任意相邻两帧目标图像之间的时间域噪声；
根据所述帧内处理结果和帧间处理结果，形成所述目标图像的夜景效果增强图像。
可选地，
所述对所述多帧目标图像种的每一帧目标图像均执行第一降噪处理，以获得所述帧内处理结果，包括：
依次检测所述多帧目标图像中每一帧目标图像中每个像素点在空间域上的频率特性；
根据所述每个像素点在空间域上的频率特性，使用与所述频率特性对应的图像滤波处理，以获得所述帧内处理结果。
可选地，
所述依次检测所述多帧目标图像中每一帧目标图像中每个像素点在空间域上的频率特性，包括：
分别计算选定的目标像素点和与所述目标像素点相邻的多个像素点之间的空域距离，其中，所述空域距离是指所述选定的目标像素点和与所述目标像素点相邻的像素点的灰度差；
根据所述空域距离和频率阈值，确定所述目标像素点的频率特性。
可选地，
所述频率特性包括低频和高频；
所述根据所述空域距离和频率阈值，确定所述目标像素点的频率特性，具体包括：
判断所述目标像素点和与所述目标像素点相邻的多个像素点之间的空域距离是否均小于所述频率阈值；
若是，则确定所述目标像素点的频率特性为低频；
若否，则确定所述目标像素点的频率特性为高频。
可选地，
所述根据所述每个像素点在空间域上的频率特性，使用与所述频率特性对应的图像滤波处理，包括：
在所述频率特性为低频的目标像素点上使用第一图像滤波处理，并且在所述频率特性为高频的目标像素点上使用平滑强度小于所述第一图像滤波处理的第二图像滤波处理；
其中，所述第一图像滤波处理为均值滤波，所述第二图像滤波处理为加权均值滤波。
可选地，所述第一图像滤波处理使用的第一滤波矩阵的大于所述第二图像滤波处理使用的第二滤波矩阵。
可选地，所述第二图像滤波处理使用的第二滤波矩阵的中心值大于周边值。
可选地，所述与所述目标像素点相邻的像素点包括：与所述目标像素点在同一行，位于所述目标像素点左侧的左像素点和位于所述目标像素点右侧的右像素点；以及
与所述目标像素点在同一列，位于所述目标像素点上方的上像素点和位于所述目标像素点下方的下像素点。
可选地，
所述对所述多帧目标图像中任意相邻两帧目标图像执行第二降噪处理，以获得帧间处理结果，包括：
依次检测所述多帧目标图像在每个像素位置上的信号变化特性；
根据所述信号变化特性，计算每个像素点位置上的灰度值。
可选地，
所述依次检测所述多帧目标图像在每个像素位置上的信号变化特性，包括：
在选定的像素位置，依次计算所述多帧目标图像中，任意两帧目标图像之间的时域距离，其中，所述时域距离是指所述多帧目标图像中任意相邻两帧目标图像中位置对应的像素的灰度差；
根据所述时域距离，确定每一帧目标图像在所述选定的像素位置的信号变化特性。
可选地，所述信号变化特性包括静止像素和运动像素；则，
所述根据所述时域距离，确定每一帧目标图像在所述选定的像素位置的像素点的信号变化特性，具体包括：
选定一帧目标图像；
依次计算所述选定的目标图像与另一帧目标图像在预设采样窗的每一个像素位置上的时域距离；所述预设采样窗的中心为所述选定的像素位置；
判断在所述预设采样窗内，所有像素位置上的时域距离是否均大于预设的阈值；
若是，则确定所述选定的目标图像在所述选定的像素位置的像素点为运动像素；
若否，则确定所述选定的目标图像在所述选定的像素位置的像素点为静止像素。
可选地，所述根据所述信号变化特性，计算每个像素点位置上的输出结果，具体包括：
计算在选定的像素位置上，所述多帧目标图像的像素点和所有静止像素的平均值；
确定所述平均值为所述选定的像素位置的灰度值。
可选地，所述根据所述帧内处理结果和帧间处理结果，形成所述目标图像帧的夜景拍摄效果增强图像，具体包括：
确定所述帧内处理结果和所述帧间处理结果的权重；
加权计算所述帧内处理结果和所述帧间处理结果，获得所述夜景效果增强图像。
可选地，通过如下算式加权计算所述帧内处理结果和所述帧间处理结果：
Y＝(1-a)*Ys+a*Yt
其中，Y为图像处理结果；Ys为帧内处理结果，Yt为帧间处理结果，a为帧间处理结果的权重。
为解决上述技术问题，本发明实施例还提供以下技术方案：一种夜间拍摄方法。所述夜间拍摄方法包括：
接收拍摄触发指令；
以预设的速度，连续采集两帧或以上的目标图像；
对多帧所述目标图像执行如上所述的图像处理方法，获得夜景效果增强图像。
为解决上述技术问题，本发明实施例还提供以下技术方案：一种图像处理芯片。
所述图像处理芯片包括：处理器以及与所述处理器通信连接的存储器；所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器调用时，以使所述处理器执行如上所述的图像处理方法。
为解决上述技术问题，本发明实施例还提供以下技术方案：一种航拍相机。所述航拍相机包括：
图像传感器，所述图像传感器用于以设定的拍摄参数，采集多帧图像；控制器；所述控制器与所述图像传感器连接，用于触发所述图像传感器以设定的速度连续曝光以采集至少两帧图像；图像处理器，所述图像处理器用于接收所述图像传感器通过连续曝光采集的至少两帧图像，并对接收到的所述至少两帧图像执行如上所述的图像处理方法，获得夜景效果增强图像；存储设备，所述存储器与所述图像处理器连接，用于存储所述夜景效果增强图像。
可选地，所述航拍相机还包括亮度传感器；所述亮度传感器用于感知当前的环境亮度并提供所述环境亮度至所述控制器；所述控制器用于在所述环境亮度低于设定值时，触发所述图像传感器以设定的速度连续曝光以采集至少两帧图像帧。
与现有技术相比较，本发明实施例的图像处理方法以多个连续的图像帧为基础，分别对空间域和时间域的噪声进行处理，可以达到较好的降噪效果，尤其是能够极大的提升在低亮度或者昏暗环境下的拍摄效果，为用户呈现锐利并且低噪声的图像。
【附图说明】
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1为本发明实施例的应用场景的示意图；
图2为本发明实施例提供的航拍相机的结构框图；
图3为本发明实施例提供的图像处理芯片的结构示意图；
图4为本发明实施例提供的图像处理方法的方法流程图；
图5为本发明实施例提供的频率特性检测方法的方法流程图；
图6为本发明实施例提供的图像帧处理的示意图；
图7为本发明实施例提供的信号变化特性的方法流程图；
图8为本发明实施例提供的第二降噪处理的方法流程图。
【具体实施方式】
为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。需要说明的是，当元件被表述“固定于”另一个元件，它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件，它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“上”、“下”、“内”、“外”、“底部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
此外，下面所描述的本发明不同实施例中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
在相机拍摄照片时，通过相机的光学组件进入到感光元件的通光量是一项非常重要的指标。因此，在外部环境光线不足(如夜景拍摄)的情况下进行拍摄时，通常会采用延长曝光时间和调高感光元件的灵敏度的方式来应对外部环境光线不足的情况。
在相机中应用本发明实施例提供的拍摄方法可以有效的减缓拍摄图像出现拖影和高ISO引发的噪点过多的问题，以增强昏暗环境下的图像拍摄效果。
图1为本发明实施例提供的航拍相机的应用场景。如图1所示，在该应用场景中，包括了搭载了航拍相机的无人机10、智能终端20以及无线网络30。
无人机10可以是以任何类型的动力驱动的无人飞行载具，包括但不限于四轴无人机、固定翼飞行器以及直升机模型等。其可以根据实际情况的需要，具备相应的体积或者动力，从而提供能够满足使用需要的载重能力、飞行速度以及飞行续航里程等。
航拍相机可以是任何类型的图像采集设备，包括运动相机、高清相机或者广角相机。其航拍相机作为无人机上搭载的其中一种功能模块，可以通过云台等安装固定支架，安装固定在无人机上，并受控于无人机10，执行图像采集的任务。
当然，无人机上还可以添加有一种或者多种功能模块，令无人机能够实现相应的功能，例如内置的主控芯片，作为无人机飞行和数据传输等的控制核心或者是图传装置，将采集获得的图像信息上传至与无人机建立连接的设备中。
智能终端20可以是任何类型，用以与无人机建立通信连接的智能设备，例如手机、平板电脑或者智能遥控器等。该智能终端20可以装配有一种或者多种不同的用户交互装置，用以采集用户指令或者向用户展示和反馈信息。
这些交互装置包括但不限于：按键、显示屏、触摸屏、扬声器以及遥控操作杆。例如，智能终端20可以装配有触控显示屏，通过该触控显示屏接收用户对无人机的遥控指令并通过触控显示屏向用户展示由航拍相机获得的图像信息，用户还可以通过遥控触摸屏切换显示屏当前显示的图像信息。
在一些实施例中，无人机10与智能终端20之间还可以融合现有的图像视觉处理技术，进一步的提供更智能化的服务。例如无人机10可以通过航拍相机采集图像，然后由智能终端20对图像中的操作手势进行解析，最终实现用户对于无人机10的手势控制。
无线网络30可以是基于任何类型的数据传输原理，用于建立两个节点之间的数据传输信道的无线通信网络，例如位于特定信号频段的蓝牙网络、WiFi网络、无线蜂窝网络或者其结合。
图2为本发明实施例提供的航拍相机11的结构框图。如图2所示，该航拍相机11可以包括：图像传感器111，控制器112，图像处理器113以及存储设备114。
其中，图像传感器111是用于以设定的拍摄参数，采集图像帧的功能模组。其通过镜头和相关光学组件将视觉画面对应的光信号投射到感光元件上，并由感光元件将光信号转换为相应的电信号。
该拍摄参数是图像传感器111在图像采集过程中，与镜头和相关光学组件结构(如快门)相关，可以调整的参数变量，例如光圈、焦距或者曝光时间等。而目标图像是指图像传感器111通过一次曝光采集获得图像数据。
控制器112是图像传感器111的控制核心。其与所述图像传感器连接，可以根据接收到的指令，相应的控制图像传感器111的拍摄行为，例如设定图像传感器111的一个或者多个拍摄参数。
在合适的触发条件下，控制器112可以触发所述图像传感器以设定的速度连续曝光以采集至少两帧目标图像。该设定的速度是一个人为设定的常数值，其可以是技术人员预先设定的默认值，也可以是用户在使用过程中，根据实际情况的需要设定的数值。
图像处理器113是用于图像效果增强的功能模组。其可以接收所述图像传感器通过连续曝光采集的至少两帧目标图像并对其执行相应的图像处理方法，获得夜景效果增强图像。
该夜景效果增强图像是图像处理器113基于采集获得的多帧目标图像，进行图像处理后整合得到输出结果，可以具有比原始采集的目标图像更好的锐度，更低的噪声等。
存储设备114是用于存储航拍相机11在使用过程中产生的数据信息，如夜景效果增强图像的设备。其具体可以采用任何类型的，具有合适容量的非易失性存储器，如SD卡、闪存或者固态硬盘等。
在一些实施例中，存储设备114还可以是可拆卸结构或者是分布式布置的结构。航拍相机可以仅设置有数据接口，将夜景效果增强图像等的数据通过该数据接口传递到相应的设备中进行存储。
应当说明的是，图2所示的航拍相机11的一个或者多个功能模组(如控制器、图像处理器和存储设备)也可以整合到无人机10中，作为无人机10的其中一部分。图2中仅基于图像采集的过程对所述航拍相机11的功能模块进行示例性描述，而不用于限制航拍相机11所具有的功能模组。
图3为本发明实施例提供的图像处理芯片的结构框图。该图像处理芯片可以用于实现图像处理器和/或控制器中的全部或者部分的功能。如图3所示，该图像处理芯片100可以包括：处理器110以及存储器120。
所述处理器110以及存储器120之间通过总线的方式，建立任意两者之间的通信连接。
处理器110可以为任何类型，具备一个或者多个处理核心的处理器。其可以执行单线程或者多线程的操作，用于解析指令以执行获取数据、执行逻辑运算功能以及下发运算处理结果等操作。
存储器120作为一种非易失性计算机可读存储介质，例如至少一个磁盘存储器件、闪存器件、相对于处理器110远程设置的分布式存储设备或者其他非易失性固态存储器件。
存储器120可以具有程序存储区，用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，供处理器110调用以使处理器110执行一个或者多个方法步骤。存储器120还可以具有数据存储区，用以存储处理器110下发输出的运算处理结果。
请继续参阅图1，在实际使用过程中，无人机10搭载的航拍相机根据不同的拍摄环境，具体的使用情况可以采用不同的拍摄模式。
一方面，当环境亮度正常，通光量充足的情况下，无人机10搭载的航拍相机可以根据用户在智能终端20发出的拍摄指令，开始进行拍摄动作，并反馈拍摄获得的目标图像。
另一方面，当无人机10在夜间户外等昏暗环境下进行拍摄任务时，受限于环境光线的问题，在接收到拍摄指令后，航拍相机通常需要使用较长的曝光时间和高的感光灵敏度来进行拍摄。
这样的，原始拍摄获得的图像容易因长曝光时间而出现拖影以及使用高感光度而引发大量背景噪声。
由此，在昏暗环境下拍摄时，航拍相机可以采用本发明实施例提供的图像处理方法以避免拖影和噪点的问题。
控制器可以触发图像传感器连续曝光，采集多帧目标图像并提供给图像处理器进行综合处理。最终经过图像处理器执行的图像处理方法以后，获得图像背景干净、物体轮廓锐利清晰的夜景效果增强图像。
这些夜景效果增强图像可以提供给智能终端20进行存储或者向用户展示，同时也可以被航拍相机11自身的存储设备存储。
在较佳的实施例中，请继续参阅图2，为了适时的执行该图像处理方法。该航拍相机还包括亮度传感器115。
该亮度传感器115可以设置在航拍相机的外部，用于感知当前的环境亮度。控制器112可以根据当前的环境亮度，确定是否需要执行图像处理方法。例如，在所述环境亮度低于设定值时，执行图像处理方法。
在另一些实施例中，控制器112也可以采用提示信息的方式，在所述环境亮度低于设定值时，在智能终端显示提示信息，提示用户需要执行图像处理方法。
虽然，图1所示的应用场景中以图像处理方法应用在无人机搭载的航拍相机为例。但是，本领域技术人员可以理解的是，该图像处理方法还可以其它类型的图像采集装置使用，以提高图像采集装置在昏暗环境下的拍摄效果。本发明实施例公开图像处理方法并不限于在图1所示的无人机上应用。
图4为本发明实施例提供的图像处理方法的方法流程图。如图4所示，该图像处理方法包括如下步骤：
410、获取多帧目标图像。
获取的各帧图像之间具有时间线性关系，可以按时间排列为一个图像序列。
具体的，其可以由图像传感器以连续曝光的方式获得的一系列图像。连续曝光的次数和间隔时间是人为设定的数值，可以由技术人员或者用户根据实际情况的需要所设定。
420、对所述多帧目标图像中的每一帧目标图像均执行第一降噪处理，获得帧内处理结果。
该第一降噪处理是指在图像空间域上，对各个像素点进行的一个或者多个运算步骤的集合。其处理的效果在于降低目标图像的空间域噪声(亦即图1所示的应用场景中的背景噪点)。
由于在这一降噪过程中，仅参考使用了目标图像帧自身，没有考虑其它的目标图像帧。因此，在此使用“帧内处理结果”来表示目标图像帧经过第一降噪处理后的输出。
430、对所述多帧目标图像中任意相邻两帧目标图像执行第二降噪处理，以获得帧间处理结果。
该第二降噪处理是指根据相邻目标图像的信号变化，对各个像素点进行的一个或者多个运算步骤的集合。其处理的目的在于尽可能的降低长曝光时间所导致的拖影现象。而拖影是由于图像信号在不同时刻的变化过大所导致的。因此，拖影也可以被认为是时间域噪声。
由于在第二降噪过程中，滤除的是时间域噪声，需要参考使用目标图像帧与相邻图像帧之间的关系。因此，在此使用“帧间处理结果”来表示目标图像帧经过第二降噪处理后的输出。
440、根据所述帧内处理结果和帧间处理结果，形成所述目标图像的夜景效果增强图像。
基于两种不同的降噪目的获得的帧内处理结果和帧间处理结果最终还需要按照设定好的方式结合到一起，形成最终的夜景效果增强图像输出。
“结合”是综合考虑帧内处理结果和帧间处理结果，基于两个输入数据计算确定一个输出的处理过程。其具体可以根据实际应用的需要或者拍摄环境的特点，采用任何类型的模型或者函数计算。
在一些实施例中，可以采用加权计算的方式。首先，确定所述帧内处理结果和所述帧间处理结果的权重。然后，加权计算所述帧内处理结果和所述帧间处理结果，获得所夜景效果增强图像。
具体的，可以通过如下所示的算式(1)计算获得图像处理结果：
Y＝(1-a)*Ys+a*Yt (1)
其中，Y为输出；Ys为帧内处理结果，Yt为帧间处理结果，a为帧间处理结果的权重。
在本实施例中，所述帧内处理结果和所述帧间处理结果的权重之和为1。技术人员可以通过调节数值a的取值，相应的改变图像处理结果对于时间域噪声和空间域噪声的降噪强度以适应不同的拍摄环境，输出相应的夜景效果增强图像。
例如，当数值a提高时，可以提高对于时间域噪声的降噪强度，令图像处理结果更锐利，边缘更清晰。而当数值a降低时，可以提高对于空间域噪声的降噪强度，令图像处理结果背景的噪点可以被平滑消除。
本发明实施例提供的图像处理方法分别使用了第一降噪处理和第二降噪处理，同时考虑到了空间域噪声和时间域噪声的消除，可以对昏暗环境拍摄的图像帧取得较好的降噪效果。
在一些实施例中，为了提高第一降噪处理的效果，还可以根据每个像素点的特点，适应性的调整具体的采用的降噪方法以获得更好的帧内处理结果。
首先，依次检测所述目标图像帧的每个像素点在空间域上的频率特性。然后，对每个所述像素点使用与所述频率特性对应的图像滤波处理。
在空间域上的频率特性是指该像素点相对于周边相邻的像素点之间的信号变化频率的大小。该频率特性与图像画面相关，是图像处理中比较重要的参数。例如，在图像边缘部分的像素点会具有较高的信号变化频率，而图像的背景部分则具有较低的信号变化频率。
典型的降噪处理都是以像素点为单位的图像滤波过程。不同的图像滤波处理基于矩阵尺寸或者权重分配等的区别，都具有对应的特点。
以像素点的频率特性为基准，选择为其分配对应的图像滤波处理可以提供自适应的能力，令第一降噪处理能够根据目标图像帧在不同部分的画面而相应作出调整，从而有效的提升了降噪处理的效果。
惯常可以通过傅里叶变换的方式，获得目标图像帧中每个像素点具体的信号变化频率。但是傅里叶变换是复杂的计算过程，需要耗费大量的计算资源。由此，在较佳的实施例中，还可以使用图5所示的检测方法来简单的确定像素点的频率特性，以降低计算量。
如图5所示，该检测方法可以包括如下步骤：
510、选定目标图像帧中的目标像素点。
具体可以采用任何方式或者遵循任何规则，从目标图像帧中选定目标像素点，只需要保证已经确定频率特性的像素点不会被重复选定即可。
520、分别计算选定的目标像素点和与所述目标像素点相邻的多个像素点之间的空域距离。
空域距离是指在同一个图像帧中的两个像素点之间的信号差别。具体的，在预处理为亮度图像后的图像帧中，空域距离可以是指所述选定的目标像素点和与所述目标像素点相邻的像素点的灰度差。
根据检测时使用的取样模板的不同，相邻像素点的数量也会发生相应的改变。具体的，如图6所示，该取样模板M可以呈十字形，每次采样的相邻像素点包括：与所述目标像素点在同一行，分别位于所述目标像素点左侧和右侧的左像素点L、右像素点R以及与所述目标像素点在同一列，分别位于所述目标像素点上方和下方的上像素点T、下像素点B。
530、判断所述目标像素点与相邻的多个像素点之间的空域距离是否均小于所述频率阈值。若是，执行步骤540，若否，执行步骤550。
“频率阈值”是一个用于划定高频与低频部分的标准，既可以由技术人员根据实际情况的需要而设置，也可以是跟随情况变化而自适应调整的数值。
540、确定所述目标像素点的频率特性为低频。低频是一个相对性概念，其表明当前检测的像素点在整体的图像帧中属于相对低频的部分。
550、确定所述目标像素点的频率特性为高频。高频是一个相对性概念，其表明当前检测的像素点在整体的图像帧中属于相对高频的部分。
560、判断目标图像帧所有像素点的频率特性是否均被确定。若否，返回步骤510，若是，结束检测。
整个检测过程以像素点为单位逐次进行，直至所有的像素点均被遍历一次以后结束。
虽然在图5所示的频率特性检测方法中以二分法(即根据一个频率阈值划分为两种不同的频率特性)为例进行描述。但是本领域技术人员可以理解的是，还可以根据已知的频率阈值和空域距离，使用其它不同类型的判断方式来确定频率特性的种类数量和像素点所属的频率特性，例如根据两个频率阈值，划分为三种不同的频率特性。
基于高频和低频的划分结果，在一些实施例中，可以在低频上使用第一图像滤波处理，并且在高频上使用平滑强度小于所述第一图像滤波处理的第二图像滤波处理。
其中，所述第一图像滤波处理为均值滤波，所述第二图像滤波处理为加权均值滤波。
均值滤波是以滤波矩阵为基础进行的窗处理过程。如图6所示，其大致可以包括如下的几个步骤：取样窗首先选取与滤波矩阵大小相当的像素区域，然后令每个像素点的信号与滤波矩阵中对应位置的元素相乘。最后，叠加所有像素点的信号计算结果作为目标像素点的信号。
可以理解的，滤波矩阵越大，包含的元素越多，其对应的平滑强度就越大，令像素点的信号趋向于平均。另外，滤波矩阵中的元素可以取不同的值，从而在平滑时为不同的像素点赋予不同的权重，以突出某部分的像素点，使用这样的滤波矩阵时，也可以被称为“加权均值滤波”。
如上实施例所记载的，低频大概率可以被认为是目标图像帧中的背景部分，而背景部分由是在高感光度拍摄时最容易出现噪点的区域。因此，对于低频部分可以选择使用平滑强度非常大的均值滤波进行降噪处理，以尽可能的消除噪点。
具体的，为了保证足够的平滑强度，所述第一图像滤波处理使用的第一滤波矩阵大于所述第二图像滤波处理使用的第二滤波矩阵以取得更强的平滑效果，尽可能的消除噪点。
而高频则应当被归为目标图像帧中的前景部分，包含了用户想要观察的拍摄目标。因此，总是希望尽可能多的保留这些高频部分的纹理信息以确保图像的清晰度。
具体的，为了保留高频的纹理信息，所述第二图像滤波处理使用的第二滤波矩阵的中心值大于周边值。亦即，滤波矩阵中位于中心的元素取值较大，而位于边缘的元素取值较少，从而更好的凸出位于滤波矩阵中心的像素点的信号特点。
这样的第一降噪处理方法将目标图像中高频和低频分别进行不同的滤波处理，各有侧重，可以获得更优秀的降噪效果。
在另一些实施例中，第二降噪处理可以以像素点位置为处理单元，依次检测所述多帧目标图像在每个像素位置上的信号变化特性。然后，根据所述信号变化特性，计算每个像素点位置上的输出结果。
信号变化特性是衡量目标图像与相邻的目标图像之间的信号变化幅度大小的指标。基于相机采集目标图像的方式，技术人员可以理解，该信号变化特性表示了该像素位置上的拖影现象，可以作为计算的基础来去除时间域噪声。
图7为本发明实施例提供的检测信号变化特性的方法流程图。如图7所示，该方法包括如下步骤：
710、在目标图像帧中选定一个像素位置。
具体可以采用任何方式或者遵循任何规则，从目标图像中依次序的选定一个像素位置，只需要保证目标图像中的每一个像素位置均能够被遍历即可。
720、在选定的像素位置，依次计算所述多帧目标图像中，任意两帧目标图像之间的时域距离。
所述时域距离是指所述多帧目标图像中任意相邻两帧目标图像中，选定位置的灰度差。
具体的，计算所述时域距离时，采用预设采样窗的方式来进行计算。预设采样窗是一个设定尺寸，包含了多个像素位置的区域，用以采集该区域范围内的像素点信号。该预设采样窗以所述选定的像素位置为中心，向外扩展而形成。
时域距离表明了在多次曝光过程中，相邻目标图像之间随时间的信号变化。
730、判断在所述预设采样窗内，所有像素位置上的时域距离是否均大于预设的阈值。若是，执行步骤740，若否，执行步骤750。
该预设的“阈值”是一个用于划定运动和静止的标准，既可以由技术人员根据实际情况的需要而设置，也可以是跟随情况变化而自适应调整的数值。
740、确定所述目标图像在所述选定的像素位置的像素点为运动像素。运动像素是一个相对性概念，其表明在该像素位置的信号变化过大，很有可能出现拖影的现象。
750、确定所述目标图像在所述选定的像素位置的像素点为静止像素。
静止像素也是一个相对性概念，其表明在该像素位置的信号变化比较小，这个位置基本不可能出现拖影。
760、判断在所有像素位置的信号变化特性是否均被确定，若是，返回步骤710；若是，结束信号变化特性的检测。
虽然，在图7所示的实施例中，每个像素位置的信号变化特性根据变化幅度的大小，被简单的划分为运动像素和静止像素两种。但本领域技术人员可以理解的是，还可以使用其它不同类型的判断方式来确定具体的信号变化特性。
基于运动像素和静止像素的划分结果，在一些实施例中，可以采用图8所示的第二降噪处理方法来实现对时域噪声的滤除，增加图像的锐度。如图8所示，该第二降噪处理方法可以包括如下步骤：
810、计算在选定的像素位置上，所述目标图像的像素点和所有静止像素的平均值。该平均值是指像素点的信号平均值，具体的，可以选择使用灰度值。
820、确定所述平均值为所述选定的像素位置的灰度值。
在一个像素位置的灰度值被确定以后，还可以重复执行步骤810和820直至所有像素位置的灰度值均被确定以获得最终的帧间处理结果。
在本实施例进行第二降噪处理过程中，筛除运动像素的干扰，可以较好的规避拍摄时出现的拖影现象。另外，对静止像素进行均值滤波的过程也可以很好的消除时域噪声。
以下结合具体实例，详细描述本发明实施例揭露的图像处理方法的执行过程。假设在接收到拍摄指令以后，控制器控制图像传感器连续曝光，依次采集获得如图6所示的4帧目标图像Y1，Y2，Y3以及Y4，每个目标图像由M行乘N列的像素点组成，像素点为灰度值。
1)第一降噪处理的过程：选定的目标像素点通过Y1 m，n表示，其中m和n表示目标像素点处于目标图像Y1的第m行和第n列。
首先通过十字形的检测窗D，获取4个相邻像素点并计算各个相邻像素点与位于中心的目标像素点之间的灰度值的差K1，K2，K3和K4。
以频率阈值S为判断标准，根据K1，K2，K3和K4确定目标像素点的频率特性为低频还是高频，只有当目标像素点同时满足K1小于频率阈值S，K2小于频率阈值S，K3小于频率阈值S以及K4小于频率阈值S时，确定该目标像素点为低频。否则，确定目标像素点为高频。具体的，S的取值为20。
然后，对属于低频的像素点使用5乘5的滤波矩阵进行均值滤波。亦即，通过如下算式(2)计算获得该像素点的帧内处理结果：
其中，Ysm,n为帧内处理结果。对于低频部分采用较大尺寸的均值滤波矩阵时，可以实现大幅度的降低空间域噪声的效果。
最后，对属于高频的像素点3乘3的滤波矩阵进行加权均值滤波。亦即，通过如下算式(3)计算获得该像素点的帧内处理结果：
其中，Ysm,n为帧内处理结果。加权均值滤波使用的滤波矩阵具有中心值大，周边值小的特点，而且矩阵尺寸远小于低频部分使用的均值滤波矩阵，可以更好的保留高频部分的纹理信息。
2)第二降噪处理的过程：在本实施例中，选定的像素位置由Ym，n表示，下标m和n分别表示第m行和第n行的像素，预设采样窗L为3乘3的矩形。
首先，根据选定的像素位置，依次计算目标图像帧Y1和目标图像帧Y2在预设采样窗的所有像素位置上的时域距离。
然后，通过如下算式(4)判断在选定像素位置的像素点为静止像素还是运动像素。只有在算式(4)显示的所有条件均符合时，确定该像素点为静止像素，否则为运动像素。
其中，T为变动阈值，Y2 m,n为图像帧Y2在第m行，第n列的像素点。
最后，筛除所有的运动像素，计算所述目标图像帧在选定像素位置的像素点和所有静止像素的灰度平均值作为选定像素位置的帧间处理结果。
例如，当Y2，Y3以及Y4在选定像素位置的像素点都属于静止像素时，可以通过如下算式(5)计算在选定像素位置的输出结果。
其中，Ytm,n为选定像素位置的输出结果。
而在Y2，Y3以及Y4在选定像素位置的像素点都属于运动像素时，可以直接将目标图像的灰度值作为输出结果。
使用上述第一降噪处理和第二降噪处理的方法遍历目标图像所有的像素点或其像素位置以后，便可以输出获得目标图像的帧间处理结果和帧内处理结果。
3)帧间处理结果和帧内处理结果的结合：
在获得目标图像帧的帧间处理结果和帧内处理结果后，可以按照算式(1)的方式，对两者进行整合以得到最终的夜景效果增强图像。
本领域技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的示例性的双光图像整合方法的各个步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。
本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所述的计算机软件可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (18)

1.一种图像处理方法，用于航拍相机，其特征在于，包括：
获取多帧目标图像；
对所述多帧目标图像中的每一帧目标图像均执行第一降噪处理，以获得所述多帧目标图像的帧内处理结果，其中，所述第一降噪处理用于滤除所述多帧目标图像中每一帧目标图像的空间域噪声；
对所述多帧目标图像中任意相邻两帧目标图像执行第二降噪处理，以获得帧间处理结果，其中，所述第二降噪处理用于滤除所述多帧目标图像中任意相邻两帧目标图像之间的时间域噪声；
根据所述帧内处理结果和帧间处理结果，形成所述目标图像的夜景效果增强图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述多帧目标图像种的每一帧目标图像均执行第一降噪处理，以获得所述帧内处理结果，包括：
依次检测所述多帧目标图像中每一帧目标图像中每个像素点在空间域上的频率特性；
根据所述每个像素点在空间域上的频率特性，使用与所述频率特性对应的图像滤波处理，以获得所述帧内处理结果。
3.根据权利要求2所述的方法，其特征在于，所述依次检测所述多帧目标图像中每一帧目标图像中每个像素点在空间域上的频率特性，包括：
分别计算选定的目标像素点和与所述目标像素点相邻的多个像素点之间的空域距离，其中，所述空域距离是指所述选定的目标像素点和与所述目标像素点相邻的像素点的灰度差；
根据所述空域距离和频率阈值，确定所述目标像素点的频率特性。
4.根据权利要求3所述的方法，其特征在于，所述频率特性包括低频和高频；则，
所述根据所述空域距离和频率阈值，确定所述目标像素点的频率特性，具体包括：
判断所述目标像素点和与所述目标像素点相邻的多个像素点之间的空域距离是否均小于所述频率阈值；
若是，则确定所述目标像素点的频率特性为低频；
若否，则确定所述目标像素点的频率特性为高频。
5.根据权利要求4所述的方法，其特征在于，所述根据所述每个像素点在空间域上的频率特性，使用与所述频率特性对应的图像滤波处理，包括：
在所述频率特性为低频的目标像素点上使用第一图像滤波处理，并且在所述频率特性为高频的目标像素点上使用平滑强度小于所述第一图像滤波处理的第二图像滤波处理；
其中，所述第一图像滤波处理为均值滤波，所述第二图像滤波处理为加权均值滤波。
6.根据权利要求5所述的方法，其特征在于，所述第一图像滤波处理使用的第一滤波矩阵的大于所述第二图像滤波处理使用的第二滤波矩阵。
7.根据权利要求5或6所述的方法，其特征在于，所述第二图像滤波处理使用的第二滤波矩阵的中心值大于周边值。
8.根据权利要求3-7中任一项所述的方法，其特征在于，所述与所述目标像素点相邻的像素点包括：与所述目标像素点在同一行，位于所述目标像素点左侧的左像素点和位于所述目标像素点右侧的右像素点；以及
与所述目标像素点在同一列，位于所述目标像素点上方的上像素点和位于所述目标像素点下方的下像素点。
9.根据权利要求1-8中任一项所述的方法，其特征在于，所述对所述多帧目标图像中任意相邻两帧目标图像执行第二降噪处理，以获得帧间处理结果，包括：
依次检测所述多帧目标图像在每个像素位置上的信号变化特性；
根据所述信号变化特性，计算每个像素点位置上的灰度值。
10.根据权利要求9所述的方法，其特征在于，所述依次检测所述多帧目标图像在每个像素位置上的信号变化特性，包括：
在选定的像素位置，依次计算所述多帧目标图像中，任意两帧目标图像之间的时域距离，其中，所述时域距离是指所述多帧目标图像中任意相邻两帧目标图像中位置对应的像素的灰度差；
根据所述时域距离，确定每一帧目标图像在所述选定的像素位置的信号变化特性。
11.根据权利要求10所述的方法，其特征在于，所述信号变化特性包括静止像素和运动像素；则，
所述根据所述时域距离，确定每一帧目标图像在所述选定的像素位置的像素点的信号变化特性，具体包括：
选定一帧目标图像；
依次计算所述选定的目标图像与另一帧目标图像在预设采样窗的每一个像素位置上的时域距离；所述预设采样窗的中心为所述选定的像素位置；
判断在所述预设采样窗内，所有像素位置上的时域距离是否均大于预设的阈值；
若是，则确定所述选定的目标图像在所述选定的像素位置的像素点为运动像素；
若否，则确定所述选定的目标图像在所述选定的像素位置的像素点为静止像素。
12.根据权利要求11所述的方法，其特征在于，所述根据所述信号变化特性，计算每个像素点位置上的输出结果，具体包括：
计算在选定的像素位置上，所述多帧目标图像的像素点和所有静止像素的平均值；
确定所述平均值为所述选定的像素位置的灰度值。
13.根据权利要求1-12任一项所述的方法，其特征在于，所述根据所述帧内处理结果和帧间处理结果，形成所述目标图像帧的夜景拍摄效果增强图像，具体包括：
确定所述帧内处理结果和所述帧间处理结果的权重；
加权计算所述帧内处理结果和所述帧间处理结果，获得所述夜景效果增强图像。
14.根据权利要求13所述的方法，其特征在于，通过如下算式加权计算所述帧内处理结果和所述帧间处理结果：
Y＝(1-a)*Ys+a*Yt
其中，Y为图像处理结果；Ys为帧内处理结果，Yt为帧间处理结果，a为帧间处理结果的权重。
15.一种夜间拍摄方法，其特征在于，包括：
接收拍摄触发指令；
以预设的速度，连续采集两帧或以上的目标图像；
对多帧所述目标图像执行如权利要求1-14任一项所述的图像处理方法，获得夜景效果增强图像。
16.一种图像处理芯片，其特征在于，包括：处理器以及与所述处理器通信连接的存储器；
所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器调用时，以使所述处理器执行如权利要求1-14任一项所述的图像处理方法。
17.一种航拍相机，其特征在于，包括：
图像传感器，所述图像传感器用于以设定的拍摄参数，采集多帧图像；
控制器；所述控制器与所述图像传感器连接，用于触发所述图像传感器以设定的速度连续曝光以采集至少两帧图像；
图像处理器，所述图像处理器用于接收所述图像传感器通过连续曝光采集的至少两帧图像，并对接收到的所述至少两帧图像执行如权利要求1-14任一项所述的图像处理方法，获得夜景效果增强图像；
存储设备，所述存储设备与所述图像处理器连接，用于存储所述夜景效果增强图像帧。
18.根据权利要求17所述的航拍相机，其特征在于，所述航拍相机还包括亮度传感器；所述亮度传感器用于感知当前的环境亮度并提供所述环境亮度至所述控制器。
CN201910167837.8A 2019-03-06 2019-03-06 图像处理方法、夜间拍摄方法、图像处理芯片及航拍相机 Pending CN109873953A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910167837.8A CN109873953A (zh) 2019-03-06 2019-03-06 图像处理方法、夜间拍摄方法、图像处理芯片及航拍相机
PCT/CN2020/077821 WO2020177723A1 (zh) 2019-03-06 2020-03-04 图像处理方法、夜间拍摄方法、图像处理芯片及航拍相机
US17/467,366 US20210400172A1 (en) 2019-03-06 2021-09-06 Imaging processing method and apparatus for a camera module in a night scene, an electronic device, and a storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910167837.8A CN109873953A (zh) 2019-03-06 2019-03-06 图像处理方法、夜间拍摄方法、图像处理芯片及航拍相机

Publications (1)

Publication Number Publication Date
CN109873953A true CN109873953A (zh) 2019-06-11

Family

ID=66919908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910167837.8A Pending CN109873953A (zh) 2019-03-06 2019-03-06 图像处理方法、夜间拍摄方法、图像处理芯片及航拍相机

Country Status (3)

Country Link
US (1) US20210400172A1 (zh)
CN (1) CN109873953A (zh)
WO (1) WO2020177723A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143589A (zh) * 2019-12-06 2020-05-12 Oppo广东移动通信有限公司 一种图像处理方法及装置、存储介质
CN111369465A (zh) * 2020-03-04 2020-07-03 沈阳先进医疗设备技术孵化中心有限公司 Ct动态图像增强方法及装置
WO2020177723A1 (zh) * 2019-03-06 2020-09-10 深圳市道通智能航空技术有限公司 图像处理方法、夜间拍摄方法、图像处理芯片及航拍相机
CN112929558A (zh) * 2019-12-06 2021-06-08 荣耀终端有限公司 图像处理方法和电子设备
CN113011433A (zh) * 2019-12-20 2021-06-22 杭州海康威视数字技术股份有限公司 一种滤波参数调整方法及装置
CN116582741A (zh) * 2020-05-07 2023-08-11 华为技术有限公司 一种拍摄方法及设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220060628A1 (en) * 2020-08-19 2022-02-24 Honeywell International Inc. Active gimbal stabilized aerial visual-inertial navigation system
CN115314627B (zh) * 2021-05-08 2024-03-01 杭州海康威视数字技术股份有限公司 一种图像处理方法、系统及摄像机
CN115188091B (zh) * 2022-07-13 2023-10-13 国网江苏省电力有限公司泰州供电分公司 一种融合电力输变配设备的无人机网格化巡检系统及方法
CN115393406A (zh) * 2022-08-17 2022-11-25 武汉华中天经通视科技有限公司 一种基于孪生卷积网络的图像配准方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1761286A (zh) * 2005-11-03 2006-04-19 上海交通大学 用边缘检测、运动检测和中值滤波去除蚊式噪声的方法
CN1874420A (zh) * 2006-06-13 2006-12-06 北京中星微电子有限公司 图像序列帧间闪烁噪声消除方法
CN101106685A (zh) * 2007-08-31 2008-01-16 湖北科创高新网络视频股份有限公司 一种基于运动检测的去隔行方法和装置
CN101299269A (zh) * 2008-06-13 2008-11-05 北京中星微电子有限公司 静止场景的标定方法及装置
CN101640761A (zh) * 2009-08-31 2010-02-03 杭州新源电子研究所 车载数字电视信号处理方法
CN102238316A (zh) * 2010-04-29 2011-11-09 北京科迪讯通科技有限公司 一种3d数字视频图像的自适应实时降噪方案
CN102306278A (zh) * 2011-07-08 2012-01-04 中兴智能交通（无锡）有限公司 一种基于视频的烟火检测方法和装置
CN103179325A (zh) * 2013-03-26 2013-06-26 北京理工大学 一种固定场景下低信噪比视频的自适应3d降噪方法
CN104767913A (zh) * 2015-04-16 2015-07-08 中国科学院自动化研究所 一种对比度自适应的视频去噪系统
US20150373235A1 (en) * 2014-06-24 2015-12-24 Realtek Semiconductor Corp. De-noising method and image system
CN105654428A (zh) * 2014-11-14 2016-06-08 联芯科技有限公司 图像降噪方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8149336B2 (en) * 2008-05-07 2012-04-03 Honeywell International Inc. Method for digital noise reduction in low light video
CN105809630B (zh) * 2014-12-30 2019-03-12 展讯通信(天津)有限公司 一种图像噪声过滤方法及系统
CN105208376B (zh) * 2015-08-28 2017-09-12 青岛中星微电子有限公司 一种数字降噪方法和装置
EP3466051A1 (en) * 2016-05-25 2019-04-10 GoPro, Inc. Three-dimensional noise reduction
US10448014B2 (en) * 2017-05-23 2019-10-15 Intel Corporation Content adaptive motion compensated temporal filtering for denoising of noisy video for efficient coding
CN109348089B (zh) * 2018-11-22 2020-05-22 Oppo广东移动通信有限公司 夜景图像处理方法、装置、电子设备及存储介质
CN109873953A (zh) * 2019-03-06 2019-06-11 深圳市道通智能航空技术有限公司 图像处理方法、夜间拍摄方法、图像处理芯片及航拍相机
CN111010495B (zh) * 2019-12-09 2023-03-14 腾讯科技（深圳）有限公司 一种视频降噪处理方法及装置
US11902661B2 (en) * 2022-01-06 2024-02-13 Lenovo (Singapore) Pte. Ltd. Device motion aware temporal denoising

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1761286A (zh) * 2005-11-03 2006-04-19 上海交通大学 用边缘检测、运动检测和中值滤波去除蚊式噪声的方法
CN1874420A (zh) * 2006-06-13 2006-12-06 北京中星微电子有限公司 图像序列帧间闪烁噪声消除方法
CN101106685A (zh) * 2007-08-31 2008-01-16 湖北科创高新网络视频股份有限公司 一种基于运动检测的去隔行方法和装置
CN101299269A (zh) * 2008-06-13 2008-11-05 北京中星微电子有限公司 静止场景的标定方法及装置
CN101640761A (zh) * 2009-08-31 2010-02-03 杭州新源电子研究所 车载数字电视信号处理方法
CN102238316A (zh) * 2010-04-29 2011-11-09 北京科迪讯通科技有限公司 一种3d数字视频图像的自适应实时降噪方案
CN102306278A (zh) * 2011-07-08 2012-01-04 中兴智能交通（无锡）有限公司 一种基于视频的烟火检测方法和装置
CN103179325A (zh) * 2013-03-26 2013-06-26 北京理工大学 一种固定场景下低信噪比视频的自适应3d降噪方法
US20150373235A1 (en) * 2014-06-24 2015-12-24 Realtek Semiconductor Corp. De-noising method and image system
CN105654428A (zh) * 2014-11-14 2016-06-08 联芯科技有限公司 图像降噪方法及系统
CN104767913A (zh) * 2015-04-16 2015-07-08 中国科学院自动化研究所 一种对比度自适应的视频去噪系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020177723A1 (zh) * 2019-03-06 2020-09-10 深圳市道通智能航空技术有限公司 图像处理方法、夜间拍摄方法、图像处理芯片及航拍相机
CN111143589A (zh) * 2019-12-06 2020-05-12 Oppo广东移动通信有限公司 一种图像处理方法及装置、存储介质
CN112929558A (zh) * 2019-12-06 2021-06-08 荣耀终端有限公司 图像处理方法和电子设备
CN112929558B (zh) * 2019-12-06 2023-03-28 荣耀终端有限公司 图像处理方法和电子设备
CN113011433A (zh) * 2019-12-20 2021-06-22 杭州海康威视数字技术股份有限公司 一种滤波参数调整方法及装置
CN113011433B (zh) * 2019-12-20 2023-10-13 杭州海康威视数字技术股份有限公司 一种滤波参数调整方法及装置
CN111369465A (zh) * 2020-03-04 2020-07-03 沈阳先进医疗设备技术孵化中心有限公司 Ct动态图像增强方法及装置
CN111369465B (zh) * 2020-03-04 2024-03-08 东软医疗系统股份有限公司 Ct动态图像增强方法及装置
CN116582741A (zh) * 2020-05-07 2023-08-11 华为技术有限公司 一种拍摄方法及设备
CN116582741B (zh) * 2020-05-07 2023-11-28 华为技术有限公司 一种拍摄方法及设备

Also Published As

Publication number Publication date
WO2020177723A1 (zh) 2020-09-10
US20210400172A1 (en) 2021-12-23

Similar Documents

Publication Publication Date Title
CN109873953A (zh) 图像处理方法、夜间拍摄方法、图像处理芯片及航拍相机
US20220210313A1 (en) System and method for generating a digital image
US8472671B2 (en) Tracking apparatus, tracking method, and computer-readable storage medium
CN110691193B (zh) 摄像头切换方法、装置、存储介质及电子设备
WO2021208706A1 (zh) 高动态范围图像合成方法、装置、图像处理芯片及航拍相机
CN102932582B (zh) 实现运动检测的方法及装置
CN110505411A (zh) 图像拍摄方法、装置、存储介质及电子设备
KR20200108790A (ko) 화상 처리 장치, 화상 처리 장치의 제어 방법, 및 비일시적인 컴퓨터 판독가능한 저장 매체
EP3105713A1 (en) System and method for generating a digital image
GB2464574A (en) Combining multiple images to enhance dynamic range
CN111107276B (zh) 信息处理设备及其控制方法、存储介质以及摄像系统
CN102404495B (zh) 数字相机的拍摄参数的调整方法
CN109688351A (zh) 一种图像信号处理方法、装置及设备
CN106598257A (zh) 基于移动终端的阅读控制方法及装置
KR20210118233A (ko) 모바일 전자 기기를 사용한 고품질 플래쉬 사진을 위해 복수의 이미지를 촬영 및 블렌딩하는 장치 및 방법
CN104793742B (zh) 拍摄预览方法及装置
KR20170050556A (ko) 다중 노출 센서를 이용하는 촬영 장치 및 이의 촬영 방법
US20210235016A1 (en) Generating an image using automatic mode settings while in manual mode
CN110493532A (zh) 一种图像处理方法和系统
WO2023137956A1 (zh) 图像处理方法、装置、电子设备及存储介质
US9648261B2 (en) Account for clipped pixels in auto-focus statistics collection
US9596410B2 (en) Vision systems and methods for analysing images taken by image sensors
CN108961169A (zh) 监控抓拍方法及装置
CN108833801B (zh) 基于图像序列的自适应运动检测方法
JP2003234950A (ja) 画像処理装置、画像処理プログラム、および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1

Applicant after: Shenzhen daotong intelligent Aviation Technology Co.,Ltd.

Address before: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1

Applicant before: AUTEL ROBOTICS Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20190611

RJ01 Rejection of invention patent application after publication