CN108702463A - 一种图像处理方法、装置以及终端 - Google Patents

一种图像处理方法、装置以及终端 Download PDF

Info

Publication number
CN108702463A
CN108702463A CN201780009967.8A CN201780009967A CN108702463A CN 108702463 A CN108702463 A CN 108702463A CN 201780009967 A CN201780009967 A CN 201780009967A CN 108702463 A CN108702463 A CN 108702463A
Authority
CN
China
Prior art keywords
image
foreground
subgraph
frame
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780009967.8A
Other languages
English (en)
Other versions
CN108702463B (zh
Inventor
何展鹏
张立天
吴博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Priority to CN202011396682.4A priority Critical patent/CN112541414A/zh
Publication of CN108702463A publication Critical patent/CN108702463A/zh
Application granted granted Critical
Publication of CN108702463B publication Critical patent/CN108702463B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures

Abstract

一种图像处理方法、装置以及终端，其中方法包括：根据目标视频数据对应的图像选取算法，在目标视频数据中选取至少两帧关键图像，各帧关键图像均包括前景物体；在各帧关键图像中获取包含前景物体的前景子图像；将各帧前景子图像和目标视频数据的背景图像进行图像融合，得到曝光图像。本发明操作便捷，可有效实现多重曝光，降低拍摄难度。

Description

一种图像处理方法、装置以及终端
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置以及终端。
背景技术
多重曝光是一种拍摄技法，多重曝光技术的原理是：通过两次或多次曝光，将一个运动物体在一个时间片段内的影像都记录在一张图片上，可以呈现出魔术般无中生有的效果。但是上述多重曝光技术需要多步精细的操作，拍摄难度较大。
发明内容
本发明实施例提供一种图像处理方法、装置以及终端，操作便捷，可有效实现多重曝光，降低拍摄难度。
本发明实施例第一方面公开了一种图像处理方法，包括：
根据目标视频数据对应的图像选取算法，在所述目标视频数据中选取至少两帧关键图像，各帧所述关键图像均包括前景物体；
在各帧所述关键图像中获取包含所述前景物体的前景子图像；
将各帧所述前景子图像和所述目标视频数据的背景图像进行图像融合，得到曝光图像。
本发明实施例第二方面公开了一种图像处理装置，包括：
图像获取模块，用于根据目标视频数据对应的图像选取算法，在所述目标视频数据中选取至少两帧关键图像，各帧所述关键图像均包括前景物体；
子图像获取模块，用于在各帧所述关键图像中获取包含所述前景物体的前景子图像；
图像融合模块，用于将各帧所述前景子图像和所述目标视频数据的背景图像进行图像融合，得到曝光图像。
本发明实施例第三方面公开了一种终端，包括：存储器和处理器，
所述存储器，用于存储程序指令；
所述处理器，用于调用所述程序指令，当所述程序指令被执行时，执行以下操作：
根据目标视频数据对应的图像选取算法，在所述目标视频数据中选取至少两帧关键图像，各帧所述关键图像均包括前景物体；
在各帧所述关键图像中获取包含所述前景物体的前景子图像；
将各帧所述前景子图像和所述目标视频数据的背景图像进行图像融合，得到曝光图像。
本发明实施例根据目标视频数据对应的图像选取算法，在目标视频数据中选取至少两帧关键图像，在各帧关键图像中获取包含前景物体的前景子图像，将各帧前景子图像和目标视频数据的背景图像进行图像融合，得到曝光图像，相对传统的多重曝光技术需要多步精细的操作，拍摄难度较大，本发明实施例操作便捷，可有效实现多重曝光，降低拍摄难度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种图像处理方法的流程示意图；
图2是本发明实施例公开的一种背景图像的界面示意图；
图3是本发明实施例公开的一种关键图像的界面示意图；
图4是本发明实施例公开的一种曝光图像的界面示意图；
图5是本发明实施例公开的一种图像处理装置的结构示意图；
图6是本发明实施例公开的一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中的终端可以包括个人电脑、智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑、移动互联网设备(MID，Mobile Internet Devices)、穿戴式智能设备、飞行器或者无人机地面控制站等。
其中，目标视频数据可以是通过摄像装置采集到的，也可以是在终端的存储器中或者互联网中获取到的，具体不受本发明实施例的限制。其中摄像装置可以集成在终端中，也可以外接终端。目标视频数据可以包括至少两帧图像。
其中，背景图像所包含的内容可以为目标视频数据所包含的至少两帧图像中的背景。前景物体可以为目标视频数据所包含的至少两帧图像中相对背景的物体，例如行人、动物或者道具(例如滑板、皮球等)等。终端可以在目标视频数据中选取包含前景物体的图像，将在包含前景物体的图像中选取的至少两帧指定图像作为关键图像。前景子图像可以为关键图像中包含前景物体的区域，例如该区域的边缘与前景物体的边缘相重合，又如该区域的边缘与前景物体的边缘之间的距离小于预设距离阈值。曝光图像可以为通过图像融合技术对前景子图像和背景图像进行处理后得到的图像。
请参阅图1，图1为本发明实施例提供的一种图像处理方法的流程示意图。具体的，如图1所示，本发明实施例的图像处理方法可以包括以下步骤：
101、根据目标视频数据对应的图像选取算法，在目标视频数据中选取至少两帧关键图像。
具体地，终端可以预先建立不同视频数据对应的图像选取算法，在需要对目标视频数据进行处理时，终端可以获取目标视频数据对应的图像选取算法，在目标视频数据中选取至少两帧关键图像。其中，图像选取算法用于选取关键图像，关键图像可以包括前景物体。例如，终端可以在目标视频数据所包含的至少两帧图像中获取各个图像所包含的前景子图像，通过前景子图像的统计信息，获取位于中心点的前景子图像，并根据位于中心点的前景子图像的空间信息和时间信息，将选取得到的前景子图像所属的图像确定为关键图像，关键图像可以如图3所示。
可选的，终端可以获取目标视频数据的应用场景，根据预先设定的应用场景和图像选取算法的对应关系，获取应用场景对应的图像选取算法，将目标视频数据作为图像选取算法的输入，得到至少两帧关键图像。
具体地，终端可以预先建立不同应用场景对应的图像选取算法，在需要对目标视频数据进行处理时，终端可以获取目标视频数据的应用场景，获取该应用场景对应的图像选取算法，终端可以将该应用场景对应的图像选取算法作为该目标视频数据对应的图像选取算法，进而将目标视频数据作为该图像选取算法的输入，将该图像选取算法输出的图像作为至少两帧关键图像。其中，应用场景可以包括前景物体的运动姿态，例如跳跃姿态、呈现千手观音姿态或者武术动作姿态等。
可选的，图像选取算法具体可以为：每间隔预设数量帧在目标视频数据中获取一帧图像，将获取到的图像作为关键图像。其中，预设数量帧可以为预先设定的，例如每间隔三帧或者每间隔五帧等。
例如，目标视频数据包括10帧图像，终端可以每间隔二帧在目标视频数据中获取一帧图像，即终端可以将第一帧图像、第四帧图像、第七帧图像以及第十帧图像作为关键图像。
示例性的，当前景物体的运动姿态呈现千手观音姿态或者武术动作姿态，则终端可以确定目标视频数据的应用场景为第一应用场景，进而获取第一应用场景对应的图像选取算法，将目标视频数据作为该图像选取算法的输入，终端可每间隔预设数量帧在目标视频数据中获取一帧图像，将获取到的图像作为关键图像。
可选的，终端可以根据背景图像，在目标视频数据所包含的每一帧图像中获取前景子图像，根据各个前景子图像的空间信息和时间信息，选取目标前景子图像，将目标前景子图像所属图像确定为关键图像。
例如，目标视频数据所包含至少两帧图像中前景物体的运动姿态为跳跃姿态，则终端根据背景图像，在目标视频数据所包含的每一帧图像中获取前景子图像之后，可以根据各个前景子图像的空间信息和时间信息，选取前景物体的运动姿态为起跳、跳跃至最高点以及落地的前景子图像，并将上述选取的前景子图像作为目标前景子图像，进而将前景子图像所属的图像作为关键图像。
示例性的，当前景物体的运动姿态为跳跃姿态，则终端可以确定目标视频数据的应用场景为第二应用场景，进而获取第二应用场景对应的图像选取算法，将目标视频数据作为该图像选取算法的输入，终端可根据背景图像，在目标视频数据所包含的每一帧图像中获取前景子图像，根据各个前景子图像的空间信息和时间信息，选取目标前景子图像，将目标前景子图像所属图像确定为关键图像。
102、在各帧关键图像中获取包含前景物体的前景子图像。
具体地，终端根据目标视频数据对应的图像选取算法，在目标视频数据中选取至少两帧关键图像之后，可以对各帧关键图像进行处理，在关键图像中获取包含前景物体的前景子图像。如图3所示，前景子图像可以包括一个运动姿态为起跳的行人。
可选的，终端可以根据背景图像，在各帧关键图像中获取包含前景物体的前景子图像。
具体地，终端可以将背景图像与至少两帧关键图像进行比较，在各帧关键图像中获取包含前景物体的前景子图像。例如，终端可以基于全局变化因素，将背景图像与关键图像进行比较。而且由于场景的多变性，这里还选用了切换分支算法的策略，即根据目标视频数据的应用场景来选取实用的子算法，根据该子算法对背景图像和关键图像进行处理，获取包含前景物体的前景子图像。其中，在一个关键图像中可以获取至少一个前景子图像。
可选的，当前景物体为行人时，终端可以根据行人识别算法对各帧关键图像进行行人识别，得到包含行人的前景子图像。
具体地，终端可以对关键图像进行人脸识别，当在关键图像中识别到人脸时，终端可以确定前景物体为行人，进而终端可以根据行人识别算法对关键图像进行行人识别，得到包含行人的前景子图像。
例如，终端确定前景物体为行人时，可以在关键图像中进行特征提取，以得到方向梯度直方图(Histogram of Oriented Gradient，HOG)特征，进而将HOG特征作为SVM分类器的输入，以得到包含行人的前景子图像。
又如，终端可以通过卷积神经网络特征(Regions with Convolutional NeuralNetwork，R-CNN)、快速卷积神经网络特征Fast-RCNN或者较快卷积神经网络特征Faster-RCNN等行人识别算法对关键图像进行行人识别，得到包含行人的前景子图像。
本发明实施例根据行人识别算法对关键图像进行行人识别，得到包含行人的前景子图像，即使目标视频数据中的前景物体处于非运动状态(即静止状态)，终端也可以通过上述方法得到前景子图像，可提高前景物体的识别效率，有效实现多重曝光。
可选的，终端在关键图像中获取包含前景物体的前景子图像之后，可以根据前景子图像的时间信息，在目标视频数据中获取时间信息大于前景子图像的时间信息的图像，将前景子图像和各个获取到的图像进行图像融合，以对获取到的图像进行更新，根据更新后的图像，对目标视频数据进行更新，更新后的目标视频数据包括更新后的图像。
例如，终端在目标视频数据中选取了4帧关键图像，分别为目标视频数据中的第一帧图像、第四帧图像、第七帧图像以及第十帧图像；在第一帧图像中获取到的第一个前景子图像所包含的前景物体的运动姿态为助跑，在第四帧图像中获取到的第二个前景子图像所包含的前景物体的运动姿态为起跳，在第七帧图像中获取到的第三个前景子图像所包含的前景物体的运动姿态为跳跃至最高点，在第十帧图像中获取到的第四个前景子图像所包含的前景物体的运动姿态为落地。终端可以确定第一个前景子图像的时间信息为第一帧，则目标视频数据中时间信息大于第一帧的图像为第2-10帧图像，进而将第一个前景子图像分别和第2-10帧图像进行图像融合，得到更新后的第2-10帧图像。同理，终端可以确定第二个前景子图像的时间信息为第四帧，则目标视频数据中时间信息大于第四帧的图像为第5-10帧图像，进而将第二个前景子图像分别和上述更新后的第5-10帧图像进行图像融合，得到更新后的第5-10帧图像。同理，终端可以确定第三个前景子图像的时间信息为第七帧，则目标视频数据中时间信息大于第七帧的图像为第8-10帧图像，进而将第三个前景子图像分别和上述更新后的第8-10帧图像进行图像融合，得到更新后的第8-10帧图像。终端可以确定第四个前景子图像的时间信息为第十帧，目标视频数据中不存在时间信息大于第十帧的图像，则终端可以对目标视频数据进行更新，更新后的目标视频数据包括更新后的图像，例如目标视频数据包括第一帧图像，以及更新后的第2-10帧图像，其中更新后的第二帧图像为第一个前景子图像和第二帧图像进行图像融合后得到的，更新后的第五帧图像为第一个前景子图像、第二个前景子图像和第五帧图像进行图像融合后得到的，更新后的第八帧图像为第一个前景子图像、第二个前景子图像、第三个前景子图像和第五帧图像进行图像融合后得到的，更新后的第十帧图像为第一个前景子图像、第二个前景子图像、第三个前景子图像、第四个前景子图像和第五帧图像进行图像融合后得到的。
103、将各帧前景子图像和目标视频数据的背景图像进行图像融合，得到曝光图像。
具体地，终端可以将所有前景子图像和背景图像进行图像融合，得到曝光图像，曝光图像可以如图4所示。其中，背景图像可以是终端对目标视频数据进行处理得到的，也可以是终端通过摄像装置采集、在本地存储器或者通过互联网获取得到的。
可选的，终端将各帧前景子图像和目标视频数据的背景图像进行图像融合，得到曝光图像之前，可以对目标视频数据进行处理，得到背景图像，背景图像可以如图2所示。
可选的，终端可以获取各帧前景子图像在前景子图像所属关键图像中的位置，根据位置，将前景子图像和背景图像进行图像融合，得到曝光图像。
例如，第一个前景子图像所包含前景物体位于第一帧图像的右侧，则终端根据该位置将第一个前景子图像和背景图像进行融合，得到曝光图像，该曝光图像中第一个前景子图像所包含的前景物体位于曝光图像的右侧，且该前景物体与曝光图像各个边缘之间的距离，和该前景物体与第一帧图像对应边缘之间的距离相同。
本发明实施例根据目标视频数据对应的图像选取算法，在目标视频数据中选取关键图像，在关键图像中获取包含前景物体的前景子图像，将前景子图像和目标视频数据的背景图像进行图像融合，得到曝光图像，操作便捷，可有效实现多重曝光，降低拍摄难度。
本发明实施例还提供了一种计算机存储介质，该计算机存储介质中存储有程序指令，所述程序执行时可包括如图1对应实施例中的图像处理方法的部分或全部步骤。
请参阅图5，为本发明实施例提供的一种图像处理装置的结构示意图。本实施例中所描述的图像处理装置，包括：
图像获取模块501，用于根据目标视频数据对应的图像选取算法，在所述目标视频数据中选取至少两帧关键图像，各帧所述关键图像均包括前景物体；
子图像获取模块502，用于在各帧所述关键图像中获取包含所述前景物体的前景子图像；
图像融合模块503，用于将各帧所述前景子图像和所述目标视频数据的背景图像进行图像融合，得到曝光图像。
可选的，所述子图像获取模块502，具体用于根据所述背景图像，在各帧所述关键图像中获取包含所述前景物体的前景子图像。
可选的，所述前景物体为行人，则所述子图像获取模块502，具体用于根据行人识别算法对各帧所述关键图像进行行人识别，得到包含所述行人的前景子图像。
可选的，所述图像获取模块501，还用于所述图像融合模块503将各帧所述前景子图像和所述目标视频数据的背景图像进行图像融合，得到曝光图像之前，对所述目标视频数据进行处理，得到所述背景图像。
可选的，所述图像获取模块501，具体用于：
获取所述目标视频数据的应用场景；
根据预先设定的应用场景和图像选取算法的对应关系，获取所述应用场景对应的图像选取算法；
将所述目标视频数据作为所述图像选取算法的输入，得到所述至少两帧关键图像。
可选的，所述图像获取模块501将所述目标视频数据作为所述图像选取算法的输入，得到所述关键图像，具体用于：
每间隔预设数量帧在所述目标视频数据中获取一帧图像；
将获取到的图像作为所述关键图像。
可选的，所述图像获取模块501将所述目标视频数据作为所述图像选取算法的输入，得到所述关键图像，具体用于：
根据所述背景图像，在所述目标视频数据所包含的每一帧图像中获取前景子图像；
根据各个所述前景子图像的空间信息和时间信息，选取目标前景子图像；
将所述目标前景子图像所属图像确定为关键图像。
可选的，所述图像融合模块503，具体用于：
获取各帧所述前景子图像在所述前景子图像所属关键图像中的位置；
根据所述位置，将所述前景子图像和所述背景图像进行图像融合，得到所述曝光图像。
可选的，所述图像获取模块501，还用于所述子图像获取模块502在各帧所述关键图像中获取包含所述前景物体的前景子图像之后，根据所述前景子图像的时间信息，在所述目标视频数据中获取时间信息大于所述前景子图像的时间信息的图像；
所述图像融合模块503，还用于将所述前景子图像和各个获取到的图像进行图像融合，以对所述获取到的图像进行更新；
所述图像处理装置还包括：
更新模块504，用于根据更新后的图像，对所述目标视频数据进行更新，更新后的目标视频数据包括所述更新后的图像。
可以理解的是，本发明实施例的图像处理装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
本发明实施例中图像获取模块501根据目标视频数据对应的图像选取算法，在目标视频数据中选取关键图像，子图像获取模块502在关键图像中获取包含前景物体的前景子图像，图像融合模块503将前景子图像和目标视频数据的背景图像进行图像融合，得到曝光图像，操作便捷，可有效实现多重曝光，降低拍摄难度。
请参阅图6，为本发明实施例提供的一种终端的结构示意图。本实施例中所描述的终端，包括：存储器601和处理器602。上述处理器602和存储器601通过总线连接。
上述处理器602可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述存储器601可以包括只读存储器和随机存取存储器，并向处理器602提供指令和数据。存储器601的一部分还可以包括非易失性随机存取存储器。其中：
所述存储器601，用于存储程序指令；
所述处理器602，用于调用所述程序指令，当所述程序指令被执行时，执行以下操作：
根据目标视频数据对应的图像选取算法，在所述目标视频数据中选取至少两帧关键图像，各帧所述关键图像均包括前景物体；
在各帧所述关键图像中获取包含所述前景物体的前景子图像；
将各帧所述前景子图像和所述目标视频数据的背景图像进行图像融合，得到曝光图像。
可选的，所述处理器602在各帧所述关键图像中获取包含所述前景物体的前景子图像，具体用于：
根据所述背景图像，在各帧所述关键图像中获取包含所述前景物体的前景子图像。
可选的，所述前景物体为行人，则所述处理器602在各帧所述关键图像中获取包含所述前景物体的前景子图像，具体用于：
根据行人识别算法对各帧所述关键图像进行行人识别，得到包含所述行人的前景子图像。
可选的，所述处理器602，还用于将各帧所述前景子图像和所述目标视频数据的背景图像进行图像融合，得到曝光图像之前，对所述目标视频数据进行处理，得到所述背景图像。
可选的，所述处理器602根据目标视频数据对应的图像选取算法，在所述目标视频数据中选取至少两帧关键图像，具体用于：
获取所述目标视频数据的应用场景；
根据预先设定的应用场景和图像选取算法的对应关系，获取所述应用场景对应的图像选取算法；
将所述目标视频数据作为所述图像选取算法的输入，得到所述至少两帧关键图像。
可选的，所述处理器602将所述目标视频数据作为所述图像选取算法的输入，得到所述至少两帧关键图像，具体用于：
每间隔预设数量帧在所述目标视频数据中获取一帧图像；
将获取到的图像作为所述关键图像。
可选的，所述处理器602将所述目标视频数据作为所述图像选取算法的输入，得到所述至少两帧关键图像，具体用于：
根据所述背景图像，在所述目标视频数据所包含的每一帧图像中获取前景子图像；
根据各个所述前景子图像的空间信息和时间信息，选取目标前景子图像；
将所述目标前景子图像所属图像确定为关键图像。
可选的，所述处理器602将各帧所述前景子图像和所述背景图像进行图像融合，得到曝光图像，具体用于：
获取各帧所述前景子图像在所述前景子图像所属关键图像中的位置；
根据所述位置，将所述前景子图像和所述背景图像进行图像融合，得到所述曝光图像。
可选的，所述处理器602，还用于在各帧所述关键图像中获取包含所述前景物体的前景子图像之后，根据所述前景子图像的时间信息，在所述目标视频数据中获取时间信息大于所述前景子图像的时间信息的图像；
所述处理器602，还用于将所述前景子图像和各个获取到的图像进行图像融合，以对所述获取到的图像进行更新；
所述处理器602，还用于根据更新后的图像，对所述目标视频数据进行更新，更新后的目标视频数据包括所述更新后的图像。
具体实现中，本发明实施例中所描述处理器602可执行本发明实施例图1提供的图像处理方法中所描述的实现方式，也可执行本发明实施例图5所描述的图像处理装置的实现方式，在此不再赘述。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。
以上对本发明实施例所提供的一种控制终端的控制方法、装置、设备及飞行器进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (27)

1.一种图像处理方法，其特征在于，所述方法包括：
根据目标视频数据对应的图像选取算法，在所述目标视频数据中选取至少两帧关键图像，各帧所述关键图像均包括前景物体；
在各帧所述关键图像中获取包含所述前景物体的前景子图像；
将各帧所述前景子图像和所述目标视频数据的背景图像进行图像融合，得到曝光图像。
2.如权利要求1所述的方法，其特征在于，所述在各帧所述关键图像中获取包含所述前景物体的前景子图像，包括：
根据所述背景图像，在各帧所述关键图像中获取包含所述前景物体的前景子图像。
3.如权利要求1所述的方法，其特征在于，所述前景物体为行人；
所述在各帧所述关键图像中获取包含所述前景物体的前景子图像，包括：
根据行人识别算法对各帧所述关键图像进行行人识别，得到包含所述行人的前景子图像。
4.如权利要求1所述的方法，其特征在于，所述将各帧所述前景子图像和所述目标视频数据的背景图像进行图像融合，得到曝光图像之前，还包括：
对所述目标视频数据进行处理，得到所述背景图像。
5.如权利要求1所述的方法，其特征在于，所述根据目标视频数据对应的图像选取算法，在所述目标视频数据中选取至少两帧关键图像，包括：
获取所述目标视频数据的应用场景；
根据预先设定的应用场景和图像选取算法的对应关系，获取所述应用场景对应的图像选取算法；
将所述目标视频数据作为所述图像选取算法的输入，得到所述至少两帧关键图像。
6.如权利要求5所述的方法，其特征在于，所述将所述目标视频数据作为所述图像选取算法的输入，得到所述至少两帧关键图像，包括：
每间隔预设数量帧在所述目标视频数据中获取一帧图像；
将获取到的图像作为所述关键图像。
7.如权利要求5所述的方法，其特征在于，所述将所述目标视频数据作为所述图像选取算法的输入，得到所述至少两帧关键图像，包括：
根据所述背景图像，在所述目标视频数据所包含的每一帧图像中获取前景子图像；
根据各个所述前景子图像的空间信息和时间信息，选取目标前景子图像；
将所述目标前景子图像所属图像确定为所述关键图像。
8.如权利要求1所述的方法，其特征在于，所述将各帧所述前景子图像和所述目标视频数据的背景图像进行图像融合，得到曝光图像，包括：
获取各帧所述前景子图像在所述前景子图像所属关键图像中的位置；
根据所述位置，将所述前景子图像和所述背景图像进行图像融合，得到所述曝光图像。
9.如权利要求1所述的方法，其特征在于，所述在各帧所述关键图像中获取包含所述前景物体的前景子图像之后，还包括：
根据所述前景子图像的时间信息，在所述目标视频数据中获取时间信息大于所述前景子图像的时间信息的图像；
将所述前景子图像和各个获取到的图像进行图像融合，以对所述获取到的图像进行更新；
根据更新后的图像，对所述目标视频数据进行更新，更新后的目标视频数据包括所述更新后的图像。
10.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于根据目标视频数据对应的图像选取算法，在所述目标视频数据中选取至少两帧关键图像，各帧所述关键图像均包括前景物体；
子图像获取模块，用于在各帧所述关键图像中获取包含所述前景物体的前景子图像；
图像融合模块，用于将各帧所述前景子图像和所述目标视频数据的背景图像进行图像融合，得到曝光图像。
11.如权利要求10所述的装置，其特征在于，
所述子图像获取模块，具体用于根据所述背景图像，在各帧所述关键图像中获取包含所述前景物体的前景子图像。
12.如权利要求10所述的装置，其特征在于，所述前景物体为行人；
所述子图像获取模块，具体用于根据行人识别算法对各帧所述关键图像进行行人识别，得到包含所述行人的前景子图像。
13.如权利要求10所述的装置，其特征在于，
所述图像获取模块，还用于所述图像融合模块将各帧所述前景子图像和所述目标视频数据的背景图像进行图像融合，得到曝光图像之前，对所述目标视频数据进行处理，得到所述背景图像。
14.如权利要求10所述的装置，其特征在于，所述图像获取模块，具体用于：
获取所述目标视频数据的应用场景；
根据预先设定的应用场景和图像选取算法的对应关系，获取所述应用场景对应的图像选取算法；
将所述目标视频数据作为所述图像选取算法的输入，得到所述至少两帧关键图像。
15.如权利要求14所述的装置，其特征在于，所述图像获取模块将所述目标视频数据作为所述图像选取算法的输入，得到所述关键图像，具体用于：
每间隔预设数量帧在所述目标视频数据中获取一帧图像；
将获取到的图像作为所述关键图像。
16.如权利要求14所述的装置，其特征在于，所述图像获取模块将所述目标视频数据作为所述图像选取算法的输入，得到所述关键图像，具体用于：
根据所述背景图像，在所述目标视频数据所包含的每一帧图像中获取前景子图像；
根据各个所述前景子图像的空间信息和时间信息，选取目标前景子图像；
将所述目标前景子图像所属图像确定为所述关键图像。
17.如权利要求10所述的装置，其特征在于，所述图像融合模块，具体用于：
获取各帧所述前景子图像在所述前景子图像所属关键图像中的位置；
根据所述位置，将所述前景子图像和所述背景图像进行图像融合，得到所述曝光图像。
18.如权利要求10所述的装置，其特征在于，
所述图像获取模块，还用于所述子图像获取模块在各帧所述关键图像中获取包含所述前景物体的前景子图像之后，根据所述前景子图像的时间信息，在所述目标视频数据中获取时间信息大于所述前景子图像的时间信息的图像；
所述图像融合模块，还用于将所述前景子图像和各个获取到的图像进行图像融合，以对所述获取到的图像进行更新；
所述图像处理装置还包括：
更新模块，用于根据更新后的图像，对所述目标视频数据进行更新，更新后的目标视频数据包括所述更新后的图像。
19.一种终端，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，用于调用所述程序指令，当所述程序指令被执行时，执行以下操作：
根据目标视频数据对应的图像选取算法，在所述目标视频数据中选取至少两帧关键图像，各帧所述关键图像均包括前景物体；
在各帧所述关键图像中获取包含所述前景物体的前景子图像；
将各帧所述前景子图像和所述目标视频数据的背景图像进行图像融合，得到曝光图像。
20.如权利要求19所述的终端，其特征在于，所述处理器在各帧所述关键图像中获取包含所述前景物体的前景子图像，具体用于：
根据所述背景图像，在各帧所述关键图像中获取包含所述前景物体的前景子图像。
21.如权利要求19所述的终端，其特征在于，所述前景物体为行人；
所述处理器在各帧所述关键图像中获取包含所述前景物体的前景子图像，具体用于：
根据行人识别算法对各帧所述关键图像进行行人识别，得到包含所述行人的前景子图像。
22.如权利要求19所述的终端，其特征在于，
所述处理器，还用于将各帧所述前景子图像和所述目标视频数据的背景图像进行图像融合，得到曝光图像之前，对所述目标视频数据进行处理，得到所述背景图像。
23.如权利要求19所述的终端，其特征在于，所述处理器根据目标视频数据对应的图像选取算法，在所述目标视频数据中选取至少两帧关键图像，具体用于：
获取所述目标视频数据的应用场景；
根据预先设定的应用场景和图像选取算法的对应关系，获取所述应用场景对应的图像选取算法；
将所述目标视频数据作为所述图像选取算法的输入，得到所述至少两帧关键图像。
24.如权利要求23所述的终端，其特征在于，所述处理器将所述目标视频数据作为所述图像选取算法的输入，得到所述至少两帧关键图像，具体用于：
每间隔预设数量帧在所述目标视频数据中获取一帧图像；
将获取到的图像作为所述关键图像。
25.如权利要求23所述的终端，其特征在于，所述处理器将所述目标视频数据作为所述图像选取算法的输入，得到所述至少两帧关键图像，具体用于：
根据所述背景图像，在所述目标视频数据所包含的每一帧图像中获取前景子图像；
根据各个所述前景子图像的空间信息和时间信息，选取目标前景子图像；
将所述目标前景子图像所属图像确定为关键图像。
26.如权利要求19所述的终端，其特征在于，所述处理器将各帧所述前景子图像和所述背景图像进行图像融合，得到曝光图像，具体用于：
获取各帧所述前景子图像在所述前景子图像所属关键图像中的位置；
根据所述位置，将所述前景子图像和所述背景图像进行图像融合，得到所述曝光图像。
27.如权利要求19所述的终端，其特征在于，
所述处理器，还用于在各帧所述关键图像中获取包含所述前景物体的前景子图像之后，根据所述前景子图像的时间信息，在所述目标视频数据中获取时间信息大于所述前景子图像的时间信息的图像；
所述处理器，还用于将所述前景子图像和各个获取到的图像进行图像融合，以对所述获取到的图像进行更新；
所述处理器，还用于根据更新后的图像，对所述目标视频数据进行更新，更新后的目标视频数据包括所述更新后的图像。
CN201780009967.8A 2017-10-30 2017-10-30 一种图像处理方法、装置以及终端 Expired - Fee Related CN108702463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011396682.4A CN112541414A (zh) 2017-10-30 2017-10-30 一种图像处理方法、装置以及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/108314 WO2019084712A1 (zh) 2017-10-30 2017-10-30 一种图像处理方法、装置以及终端

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011396682.4A Division CN112541414A (zh) 2017-10-30 2017-10-30 一种图像处理方法、装置以及终端

Publications (2)

Publication Number Publication Date
CN108702463A true CN108702463A (zh) 2018-10-23
CN108702463B CN108702463B (zh) 2020-12-29

Family

ID=63844127

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011396682.4A Pending CN112541414A (zh) 2017-10-30 2017-10-30 一种图像处理方法、装置以及终端
CN201780009967.8A Expired - Fee Related CN108702463B (zh) 2017-10-30 2017-10-30 一种图像处理方法、装置以及终端

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011396682.4A Pending CN112541414A (zh) 2017-10-30 2017-10-30 一种图像处理方法、装置以及终端

Country Status (2)

Country Link
CN (2) CN112541414A (zh)
WO (1) WO2019084712A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070551A (zh) * 2019-04-29 2019-07-30 北京字节跳动网络技术有限公司 视频图像的渲染方法、装置和电子设备
WO2021135864A1 (zh) * 2019-12-30 2021-07-08 北京字节跳动网络技术有限公司 图像处理方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313788A (zh) * 2020-02-26 2021-08-27 北京小米移动软件有限公司 图像处理方法和装置、电子设备以及计算机可读存储介质
CN113808066A (zh) * 2020-05-29 2021-12-17 Oppo广东移动通信有限公司 图像选取方法、装置、存储介质及电子设备
CN114795072B (zh) * 2022-07-01 2022-10-04 广东欧谱曼迪科技有限公司 一种内窥镜光源控制方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1093851A (ja) * 1996-05-06 1998-04-10 Samsung Aerospace Ind Ltd 多重露出機能を有するディジタルスチルカメラ
CN103035013A (zh) * 2013-01-08 2013-04-10 东北师范大学 一种基于多特征融合的精确运动阴影检测方法
CN103327253A (zh) * 2013-06-26 2013-09-25 深圳市中兴移动通信有限公司 多重曝光方法和摄像装置
CN105847694A (zh) * 2016-04-27 2016-08-10 乐视控股（北京）有限公司 基于图片合成的多次曝光拍照方法和系统
CN105959535A (zh) * 2016-04-27 2016-09-21 乐视控股（北京）有限公司 基于图片合成的多次曝光方法和系统
US20170094205A1 (en) * 2010-08-23 2017-03-30 Red.Com, Inc. Multi-exposure imaging
US20170134754A1 (en) * 2015-11-06 2017-05-11 Raytheon Company Efficient video data representation and content based video retrieval framework
CN106851125A (zh) * 2017-03-31 2017-06-13 努比亚技术有限公司 一种移动终端及多重曝光拍摄方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1093851A (ja) * 1996-05-06 1998-04-10 Samsung Aerospace Ind Ltd 多重露出機能を有するディジタルスチルカメラ
US20170094205A1 (en) * 2010-08-23 2017-03-30 Red.Com, Inc. Multi-exposure imaging
CN103035013A (zh) * 2013-01-08 2013-04-10 东北师范大学 一种基于多特征融合的精确运动阴影检测方法
CN103327253A (zh) * 2013-06-26 2013-09-25 深圳市中兴移动通信有限公司 多重曝光方法和摄像装置
US20170134754A1 (en) * 2015-11-06 2017-05-11 Raytheon Company Efficient video data representation and content based video retrieval framework
CN105847694A (zh) * 2016-04-27 2016-08-10 乐视控股（北京）有限公司 基于图片合成的多次曝光拍照方法和系统
CN105959535A (zh) * 2016-04-27 2016-09-21 乐视控股（北京）有限公司 基于图片合成的多次曝光方法和系统
CN106851125A (zh) * 2017-03-31 2017-06-13 努比亚技术有限公司 一种移动终端及多重曝光拍摄方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070551A (zh) * 2019-04-29 2019-07-30 北京字节跳动网络技术有限公司 视频图像的渲染方法、装置和电子设备
CN110070551B (zh) * 2019-04-29 2020-06-30 北京字节跳动网络技术有限公司 视频图像的渲染方法、装置和电子设备
WO2021135864A1 (zh) * 2019-12-30 2021-07-08 北京字节跳动网络技术有限公司 图像处理方法及装置
CN113132795A (zh) * 2019-12-30 2021-07-16 北京字节跳动网络技术有限公司 图像处理方法及装置
US11798596B2 (en) 2019-12-30 2023-10-24 Beijing Bytedance Network Technology Co., Ltd. Image processing method and apparatus

Also Published As

Publication number Publication date
WO2019084712A1 (zh) 2019-05-09
CN108702463B (zh) 2020-12-29
CN112541414A (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
CN108702463A (zh) 一种图像处理方法、装置以及终端
KR102529574B1 (ko) 소프트 교차-엔트로피 손실을 갖는 시맨틱 분할
CN111179311B (zh) 多目标跟踪方法、装置及电子设备
CN109325954B (zh) 图像分割方法、装置及电子设备
KR20230013243A (ko) 프레임에서 타겟 오브젝트를 위한 고정된 크기 유지
CN105144710B (zh) 用于增加深度相机图像的精度的技术
US10121256B2 (en) Temporal saliency map
US10620826B2 (en) Object selection based on region of interest fusion
CN107211100A (zh) 用于图像的运动去模糊的方法、装置和计算机程序产品
JP2017512335A (ja) デバイスのための画像編集技法
CN107465855B (zh) 图像的拍摄方法及装置、无人机
CN108848301A (zh) 一种票据拍摄交互方法、装置、处理设备及客户端
CN105247567A (zh) 图像重新聚焦
CN113011403B (zh) 手势识别方法、系统、介质及设备
CN112380955B (zh) 动作的识别方法及装置
CN110378305A (zh) 茶叶病害识别方法、设备、存储介质及装置
JP2022013648A (ja) 画像を処理するための方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
CN113160231A (zh) 一种样本生成方法、样本生成装置及电子设备
CN111199169A (zh) 图像处理方法和装置
CN108776800A (zh) 一种图像处理方法、移动终端及计算机可读存储介质
Alotibi et al. Cnn-based crowd counting through iot: Application for saudi public places
KR102203109B1 (ko) 인공 신경망에 기반한 영상 처리 방법 및 장치
CN109598195B (zh) 一种基于监控视频的清晰人脸图像处理方法与装置
CN109034059B (zh) 静默式人脸活体检测方法、装置、存储介质及处理器
CN115830342A (zh) 检测框的确定方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201229