CN112136311A - 一种图像处理方法、设备、成像系统及存储介质 - Google Patents

一种图像处理方法、设备、成像系统及存储介质 Download PDF

Info

Publication number
CN112136311A
CN112136311A CN201980030357.5A CN201980030357A CN112136311A CN 112136311 A CN112136311 A CN 112136311A CN 201980030357 A CN201980030357 A CN 201980030357A CN 112136311 A CN112136311 A CN 112136311A
Authority
CN
China
Prior art keywords
image frames
initial video
image
video
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980030357.5A
Other languages
English (en)
Other versions
CN112136311B (zh
Inventor
李兵
邹文
杨芳沛
林光远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112136311A publication Critical patent/CN112136311A/zh
Application granted granted Critical
Publication of CN112136311B publication Critical patent/CN112136311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

一种图像处理方法、设备、成像系统及存储介质，其中，所述方法包括：获取拍摄装置在固定视角下拍摄得到的初始视频，所述初始视频包括多个图像帧；根据预设轨迹对所述初始视频中的多个图像帧进行裁切；将裁切后的多个图像帧进行拼接，以得到目标视频。通过这种实施方式，可以通过固定视角拍摄的视频获取视野平滑移动的视频，提高用户拍摄体验。

Description

一种图像处理方法、设备、成像系统及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、设备、成像系统及存储介质。
背景技术
目前，拍摄装置可以设置在云台等增稳装置上实现视频的稳定拍摄。然而，对于不具有云台等增稳装置的成像系统，往往难以得到视野平滑移动的视频，降低了用户拍摄体验。
发明内容
本发明实施例公开了一种图像处理方法、设备、成像系统及存储介质，可以通过固定视角拍摄的视频获取视野平滑移动的视频，提高用户拍摄体验。
第一方面，本发明实施例提供了一种图像处理方法，包括：
获取拍摄装置在固定视角下拍摄得到的初始视频，所述初始视频包括多个图像帧；
根据预设轨迹对所述初始视频中的多个图像帧进行裁切；
将裁切后的多个图像帧进行拼接，以得到目标视频。
第二方面，本发明实施例提供了一种图像处理设备，包括：存储器和处理器，
所述存储器，用于存储程序；
所述处理器，用于执行所述存储器存储的程序，当所述程序被执行时，所述处理器用于：
获取拍摄装置在固定视角下拍摄得到的初始视频，所述初始视频包括多个图像帧；
根据预设轨迹对所述初始视频中的多个图像帧进行裁切；
将裁切后的多个图像帧进行拼接，以得到目标视频。
第三方面，本发明实施例提供了一种成像系统，包括：
拍摄装置和上述第一方面所述的图像处理设备。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述方法的步骤。
本发明实施例可以获取拍摄装置在固定视角下拍摄得到的初始视频，所述初始视频包括多个图像帧，并根据预设轨迹对所述初始视频中的多个图像帧进行裁切，从而将裁切后的多个图像帧进行拼接，以得到目标视频。通过这种实施方式，可以通过固定视角拍摄的初始视频获取视野沿预设轨迹平滑移动的目标视频，提高用户拍摄体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种成像系统的结构示意图；
图2是本发明实施例提供的一种图像处理方法的流程示意图；
图3是本发明实施例提供的一种固定视角的拍摄示意图；
图4a是本发明实施例提供的一种固定视角拍摄的图像帧的示意图；
图4b是本发明实施例提供的一种裁切图像帧的示意图；
图5是本发明实施例提供的一种转换视角的示意图；
图6a是本发明实施例提供的一种对变换后的图像进行裁切的示意图；
图6b是本发明实施例提供的另一种对变换后的图像进行裁切的示意图；
图6c是本发明实施例提供的又一种对变换后的图像进行裁切的示意图；
图7是本发明实施例提供的一种图像处理设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
延时摄影是一种将时间压缩的拍摄技术。其拍摄的是一组照片或是视频，后期通过照片串联或是视频抽帧，把几分钟、几小时甚至是几天几年的过程压缩在一个较短的时间内，以视频的方式播放。在一段延时摄影视频中，物体或者景物缓慢变化的过程被压缩到一个较短的时间内，呈现出平时用肉眼无法察觉的奇异精彩的景象。延时摄影通常应用在拍摄城市风光、自然风景、天文现象、城市生活、建筑制造、生物演变等题材上。
目前延时摄影主要分为拍摄装置的视角不变的静止延时摄影，和拍摄装置的视角变化的运动延时摄影，当拍摄装置设置在云台等增稳装置上时，可以实现稳定的运动延时摄影，然而，对于不具有云台等增稳装置的成像系统，往往难以得到视野平滑移动的运动延时摄影效果，降低了用户拍摄体验。
本发明实施例提出了一种成像系统，可以通过固定视角拍摄的初始视频获取视野沿预设轨迹平滑移动的目标视频(例如运动延时视频)，提高用户拍摄体验。
本发明实施例中提供的图像处理方法可以由一种成像系统执行，其中，所述成像系统可以包括拍摄装置和图像处理设备，在某些实施例中，所述拍摄装置可以与图像处理设备集成；在某些实施例中，所述拍摄装置可以在空间上独立于图像处理设备，所述拍摄装置与所述图像处理设备通过有线或无线的方式建立通信连接。
下面结合附图1对本发明实施例提供的成像系统进行示意性说明。
请参见图1，本实施例以运动相机为例进行说明。运动相机100可以包括触控屏110、摄像头120、外壳130；运动相机100的外壳130通常为密封防水壳体，在外壳130的容腔内设置有图像处理设备(图中未示出)。
用户可通过手持运动相机100或将运动相机100放置在固定位置以拍摄得到视角固定的初始视频，需要说明的是，本发明实施例中的固定视角是指拍摄装置在拍摄初始视频的过程中，视角不变或者视角在一个较小的范围内变化。该初始视频包括多个图像帧，图像处理装置可获取该多个图像帧并根据预设轨迹对初始视频中的多个图像帧进行裁切，以及将裁切后的多个图像帧进行拼接，得到目标视频。通过这种实施方式可以通过固定视角拍摄的初始视频获取视野沿预设轨迹平滑移动的目标视频，提高用户拍摄体验。
下面结合附图对本发明实施例提供的图像处理方法进行示意性说明。
具体请参见图2，图2是本发明实施例提供的一种图像处理方法的流程示意图，所述方法可以由图像处理设备执行，其中，图像处理设备的具体解释如前所述。具体地，本发明实施例的所述方法包括如下步骤。
S201：获取拍摄装置在固定视角下拍摄得到的初始视频，所述初始视频包括多个图像帧。
本发明实施例中，图像处理设备可以获取拍摄装置在固定视角下拍摄得到的初始视频，所述初始视频包括多个图像帧。在某些实施例中，所述固定视角可以是预先设置的拍摄装置拍摄视频时的任意视角。在某些实施例中，所述拍摄装置可以包括但不限于运动相机、全景相机、鱼眼相机等。在某些实施例中，所述拍摄装置的数量可以为一个或多个，当拍摄装置的数量为多个时，多个拍摄装置可以安装在可移动平台的不同位置，以构成比较广的视角，相应的，初始视频对应于一比较广的视角。在某些实施例中，所述可移动平台可以为无人飞行器、无人车、手持设备。
具体可以图3为例进行说明，图3是本发明实施例提供的一种固定视角的拍摄示意图，如图3所示，假设拍摄装置31处于固定视角32，则图像处理设备可以获取到该拍摄装置31在该固定视角32拍摄得到的初始视频，其中，该初始视频中包括多个图像帧。具体可以图4a为例，图4a是本发明实施例提供的一种固定视角拍摄的图像帧的示意图。
S202：根据预设轨迹对所述初始视频中的多个图像帧进行裁切。
本发明实施例中，图像处理设备可以根据预设轨迹对所述初始视频中的多个图像帧进行裁切。
在一些实施例中，所述预设轨迹包括直线、曲线、标记点中的任意一种或多种。在某些实施例中，所述预设轨迹可以是任意方向的直线或曲线，如所述预设轨迹可以是水平方向的直线，又如所述预设轨迹可以是垂直于水平方向的直线，又如所述预设轨迹可以是离散的多个标记点。示例的，所述预设轨迹可以是用户通过如图1所示的触摸屏110输入的。
在一个实施例中，图像处理设备可以直接根据预设轨迹对所述初始视频中的多个图像帧进行裁切。在某些实施例中，所述裁切得到的各图像帧对应的视野不同。
以图4b为例，图4b是本发明实施例提供的一种裁切图像帧的示意图，如图4b所示，图像处理设备在获取到初始视频后，可以根据预设轨迹如水平方向直线对初始视频中的多个图像帧进行裁切，得到如图4b中的区域41、区域42和区域43内的图像帧，其中，区域41中的图像帧对应视角44，区域42中的图像帧对应视角45，区域43中的图像帧对应视角46，且视角44、视角45和视角46为水平方向上不同的视角。
在一个实施例中，图像处理设备在根据预设轨迹对所述多个图像帧进行裁切之前，可以根据所述预设轨迹转换所述固定视角，得到视角变换后的多个图像帧，并根据所述预设轨迹对所述变换后的多个图像帧进行裁切。在某些实施例中，所述视角变换后的图像帧对应的视角与所述固定视角不相同。在某些实施例中，所述视角变换后的多个图像帧中各个图像帧对应的视角不相同。
在一种实施方式中，所述预设轨迹可以为水平方向的直线，图像处理设备可以根据所述水平方向的直线平滑转换固定视角，并在转换视角过程中获取不同视角下的多个图像帧，以及对所述不同视角下的多个图像帧进行裁切。
在一种实施方式中，所述预设轨迹可以为水平方向的标记点，图像处理设备可以根据所述水平方向的标记点转换固定视角，并在转换视角过程中获取不同标记点对应的不同视角下的多个图像帧，以及对所述不同视角下的多个图像帧进行裁切。
通过图4b所示的实施方式裁切图像时，裁切后的图像区域对应的视角并不是以拍摄装置的光轴为中轴线，例如区域41对应的视角44并非以光轴441为中轴线，这样会导致图像区域41在视觉上存在畸变，通过在裁切之前对多个图像帧的视角进行变换，对变换视角后的多个图像帧进行裁切的方式，有助于消除这种视觉上的畸变，更有效的模拟拍摄装置在拍摄视频的过程中转换视角的拍摄效果，提高目标视频的质量和稳定性。
在一个实施例中，图像处理设备在根据所述预设轨迹转换所述固定视角时，可以根据所述预设轨迹，确定所述多个图像帧中各个图像帧对应的转换角度，并按照所述转换角度转换所述固定视角。
在一种实施方式中，图像处理设备可以根据预设轨迹，确定所述多个图像帧中各个图像帧对应的转换角度，并按照所述转换角度转换所述固定角度。在某些实施例中，所述转换角度可以是预先设置的拍摄装置的任意拍摄角度，本发明实施例不做具体限定。
具体可以图5为例进行说明，图5是本发明实施例提供的一种转换视角的示意图。假设所述预设轨迹为水平方向的直线，则可以确定多个图像帧中各个图像帧在水平方向上需要转换的角度；假设所述预设轨迹为垂直于水平方向的直线，则可以确定多个图像帧中各个图像帧在垂直于水平方向上需要转换的角度；假设所述预设轨迹为如图4a所示的图像帧的对角线方向的直线，则可以确定多个图像帧中各个图像帧在对角线方向上需要转换的角度。本发明实施例根据预设轨迹确定多个图像帧中每个图像帧对应的转换角度，不限定预设轨迹的形状和表示方式。
例如，多个图像帧中包括100帧图像，预设轨迹为水平方向的直线，获取该预设轨迹对应的转动角度范围，示例的，对应于拍摄装置的光轴在水平方向上从-10度转动到10度，如此，多个图像帧以0.2度为步长进行视角的转换，即多个图像帧中的每个图像帧对应的转换角度为-10度、-9.8度、……、-0.2度、0度、0.2度、……、9.8度、10度。
以第1帧，第50帧和第100帧为例，对于第1帧，视角转动到-10度，对变换后的图像进行裁切，如图6a所示的区域61为裁切得到的图像，其中，图6a是本发明实施例提供的一种对变换后的图像进行裁切的示意图；对于第50帧，视角转动0度，即可以不进行视角的转换直接进行裁切，如图6b所示的区域62为裁切得到的图像，其中，图6b是本发明实施例提供的另一种对变换后的图像进行裁切的示意图；对于第100帧，视角转动到10度，对变换后的图像进行裁切，如图6c所示的区域63为裁切得到的图像，其中，图6c是本发明实施例提供的又一种对变换后的图像进行裁切的示意图。
在一个实施例中，图像处理设备在按照所述转换角度转换所述固定视角时，可以根据所述转换角度，确定所述各个图像帧对应的旋转矩阵，并按照所述旋转矩阵转换所述固定视角。
在按照旋转矩阵转换所述固定视角的过程中可以基于以下公式：
Figure BDA0002761143820000061
其中，(u,v)为转换视角之前图像帧中各个像素的坐标，(u',v')转换视角之后图像帧中各个像素的坐标，Rt为根据转换角度所确定的图像帧对应的旋转矩阵，K为拍摄装置的内参矩阵，内参矩阵是根据多个内参数确定得到，内参数包括焦距、像主点坐标等，是通过对拍摄装置进行预先标定得到的。
通过确定所述各个图像帧对应的旋转矩阵，并按照所述旋转矩阵转换所述固定视角可以更有效的模拟拍摄装置在拍摄视频的过程中转换视角的拍摄效果，提高目标视频的质量和稳定性。
在一个实施例中，图像处理设备在对所述初始视频中的多个图像帧进行裁切之前，还可以从所述初始视频的所有图像帧中抽取所述多个图像帧。例如，假设以固定视角拍摄得到的初始视频为5s的视频，帧率是60帧每秒，总共有300帧图像，可以将初始视频压缩为2.5秒的延时摄影视频，如此，需要从300帧图像中抽取150帧图像。
例如，从初始视频的所有图像帧中抽取多个图像帧的抽取方式可以为每隔一帧获取一帧图像，并进行变换和裁切，如可以抽取第1帧、第3帧、第5帧等多个图像帧。
在一种实施方式中，图像处理设备可以在获取到初始视频中所有的图像帧之后，再选取对应的图像帧进行变换和裁切。
在一种实施方式中，图像处理设备可以在采集到所需要抽取的帧时就进行变换和裁切。通过这种实施方式可以实现图像采集和图像处理同步进行，节省时间。
在一个实施例中，图像处理设备在从所述初始视频的所有图像帧中抽取所述多个图像帧时，可以根据所述初始视频的时长和目标视频的目标时长，从所述初始视频的所有图像帧中抽取所述多个图像帧。
在一种实施方式中，图像处理设备可以根据所述初始视频的时长和目标视频的目标时长的比例，从所述初始视频的所有图像帧中抽取所述多个图像帧。在某些实施例中，本发明实施例对从所述图像处理设备中抽取所述多个图像帧的方式不做具体限定。
例如，假设初始所述初始视频的时长为10s，目标视频的目标时长5s，则可以确定所述初始视频的时长和目标视频的目标时长的比例为10:5即2:1，如果初始视频包括100帧图像，则图像处理设备可以根据所述初始视频的时长和目标视频的目标时长的比例2:1，从所述初始视频的100帧图像中抽取所述50帧图像。在某些实施例中，图像处理设备可以从100帧图像中任意抽取50帧图像，在某些实施例中，图像处理设备可以从100帧图像中每间隔1帧图像抽取一帧图像，以得到50帧图像。
在一种实施方式中，图像处理设备可以根据所述初始视频的时长和目标视频的目标时长，确定抽取时间间隔，并根据所述抽取时间间隔从所述初始视频的所有图像帧中抽取所述多个图像帧。
例如，假设初始视频包括100帧图像，初始视频的时长为10s，即拍摄装置每隔0.1s采集一帧图像，若目标视频的目标时长5s，则目标视频包括50帧图像，则可以确定抽取时间间隔为0.2s，即图像处理设备可以每隔0.2s抽取一帧拍摄装置拍摄的图像帧，从所述100帧图像中抽取50帧图像。
在其他实施例中，图像处理设备还可以根据预设的抽取时间间隔或预设的抽取图像帧间隔，从所述初始视频的所有图像帧中抽取所述多个图像帧。本发明实施例对抽取图像帧的方式不做具体限定。
在一个实施例中，图像处理设备在对所述初始视频中的多个图像帧进行裁切之前，还可以对所述初始视频中的所述多个图像帧进行去畸变处理。例如通过畸变参数对图像进行畸变校正。通过对图像帧进行去畸变处理，可以进一步提高目标视频的质量。
在一个实施例中，图像处理设备可以先对多个图像帧进行去畸变的操作，再将去畸变后的多个图像帧转换至对应的视角。在一个实施例中，图像处理设备可以先对图像帧进行视角变换的操作，再针对视角变换后的多个图像帧去畸变。在一个实施例中，图像处理设备可以同时对图像帧进行视角变换和去畸变的操作。
S203：将裁切后的多个图像帧进行拼接，以得到目标视频。
本发明实施例中，图像处理设备可以将裁切后的多个图像帧进行拼接，以得到目标视频。在一种实施方式中，图像处理设备可以将裁切后的多个图像帧进行存储或顺序播放。
本发明实施例中，图像处理设备可以获取拍摄装置在固定视角下拍摄得到的初始视频，所述初始视频包括多个图像帧，并根据预设轨迹对所述初始视频中的多个图像帧进行裁切，从而将裁切后的多个图像帧进行拼接，以得到目标视频。通过这种实施方式，可以通过固定视角拍摄的初始视频获取视野沿预设轨迹平滑移动的目标视频，提高用户拍摄体验。
请参见图7，图7是本发明实施例提供的一种图像处理设备的结构示意图。具体的，所述图像处理设备包括：存储器701、处理器702。
在一种实施例中，所述图像处理设备还包括数据接口703，所述数据接口703，用于传递图像处理设备和其他设备之间的数据信息。
所述存储器701可以包括易失性存储器(volatile memory)；存储器701也可以包括非易失性存储器(non-volatile memory)；存储器701还可以包括上述种类的存储器的组合。所述处理器702可以是中央处理器(central processing unit，CPU)。所述处理器702还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)或其任意组合。
所述存储器701用于存储程序，所述处理器702可以调用存储701中存储的程序，用于执行如下步骤：
获取拍摄装置在固定视角下拍摄得到的初始视频，所述初始视频包括多个图像帧；
根据预设轨迹对所述初始视频中的多个图像帧进行裁切；
将裁切后的多个图像帧进行拼接，以得到目标视频。
进一步地，所述处理器702根据预设轨迹对所述多个图像帧进行裁切之前，还用于：
根据所述预设轨迹转换所述固定视角，得到视角变换后的多个图像帧；
所述根据预设轨迹对所述多个图像帧进行裁切，包括：
根据所述预设轨迹对所述变换后的多个图像帧进行裁切。
进一步地，所述视角变换后的多个图像帧中各个图像帧对应的视角不同。
进一步地，所述处理器702根据所述预设轨迹转换所述固定视角时，具体用于：
根据所述预设轨迹，确定所述多个图像帧中各个图像帧对应的转换角度；
按照所述转换角度转换所述固定视角。
进一步地，所述处理器702按照所述转换角度转换所述固定视角时，具体用于：
根据所述转换角度，确定所述各个图像帧对应的旋转矩阵；
按照所述旋转矩阵转换所述固定视角。
进一步地，所述预设轨迹包括直线、曲线、标记点中的任意一种或多种。
进一步地，所述处理器702对所述初始视频中的多个图像帧进行裁切之前，还用于：
从所述初始视频的所有图像帧中抽取所述多个图像帧。
进一步地，所述处理器702从所述初始视频的所有图像帧中抽取所述多个图像帧时，具体用于：
根据所述初始视频的时长和目标视频的目标时长，从所述初始视频的所有图像帧中抽取所述多个图像帧。
进一步地，所述处理器702对所述初始视频中的多个图像帧进行裁切之前，还用于：
对所述初始视频中的所述多个图像帧进行去畸变处理。
本发明实施例中，图像处理设备可以获取拍摄装置在固定视角下拍摄得到的初始视频，所述初始视频包括多个图像帧，并根据预设轨迹对所述初始视频中的多个图像帧进行裁切，从而将裁切后的多个图像帧进行拼接，以得到目标视频。通过这种实施方式，可以通过固定视角拍摄的初始视频获取视野沿预设轨迹平滑移动的目标视频，提高用户拍摄体验。
本发明实施例还提供了一种成像系统，包括：拍摄装置以及上述图像处理设备。本发明实施例中，可以通过获取拍摄装置在固定视角下拍摄得到的初始视频，所述初始视频包括多个图像帧，并根据预设轨迹对所述初始视频中的多个图像帧进行裁切，从而将裁切后的多个图像帧进行拼接，以得到目标视频。通过这种实施方式，可以通过固定视角拍摄的初始视频获取视野沿预设轨迹平滑移动的目标视频，提高用户拍摄体验。
本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明图2所对应实施例中描述的方法，也可实现图7所述本发明所对应实施例的设备，在此不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的设备的内部存储单元，例如设备的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备，例如所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (20)

1.一种图像处理方法，其特征在于，包括：
获取拍摄装置在固定视角下拍摄得到的初始视频，所述初始视频包括多个图像帧；
根据预设轨迹对所述初始视频中的多个图像帧进行裁切；
将裁切后的多个图像帧进行拼接，以得到目标视频。
2.根据权利要求1所述的方法，其特征在于，所述根据预设轨迹对所述多个图像帧进行裁切之前，还包括：
根据所述预设轨迹转换所述固定视角，得到视角变换后的多个图像帧；
所述根据预设轨迹对所述多个图像帧进行裁切，包括：
根据所述预设轨迹对所述变换后的多个图像帧进行裁切。
3.根据权利要求2所述的方法，其特征在于，
所述视角变换后的多个图像帧中各个图像帧对应的视角不同。
4.根据权利要求2所述的方法，其特征在于，所述根据所述预设轨迹转换所述固定视角，包括：
根据所述预设轨迹，确定所述多个图像帧中各个图像帧对应的转换角度；
按照所述转换角度转换所述固定视角。
5.根据权利要求4所述的方法，其特征在于，所述按照所述转换角度转换所述固定视角，包括：
根据所述转换角度，确定所述各个图像帧对应的旋转矩阵；
按照所述旋转矩阵转换所述固定视角。
6.根据权利要求1所述的方法，其特征在于，
所述预设轨迹包括直线、曲线、标记点中的任意一种或多种。
7.根据权利要求1所述的方法，其特征在于，所述对所述初始视频中的多个图像帧进行裁切之前，还包括：
从所述初始视频的所有图像帧中抽取所述多个图像帧。
8.根据权利要求7所述的方法，其特征在于，所述从所述初始视频的所有图像帧中抽取所述多个图像帧，包括：
根据所述初始视频的时长和目标视频的目标时长，从所述初始视频的所有图像帧中抽取所述多个图像帧。
9.根据权利要求1所述的方法，其特征在于，所述对所述初始视频中的多个图像帧进行裁切之前，还包括：
对所述初始视频中的所述多个图像帧进行去畸变处理。
10.一种图像处理设备，其特征在于，包括：存储器和处理器，
所述存储器，用于存储程序；
所述处理器，用于执行所述存储器存储的程序，当所述程序被执行时，所述处理器用于：
获取拍摄装置在固定视角下拍摄得到的初始视频，所述初始视频包括多个图像帧；
根据预设轨迹对所述初始视频中的多个图像帧进行裁切；
将裁切后的多个图像帧进行拼接，以得到目标视频。
11.根据权利要求10所述的设备，其特征在于，所述处理器根据预设轨迹对所述多个图像帧进行裁切之前，还用于：
根据所述预设轨迹转换所述固定视角，得到视角变换后的多个图像帧；
所述根据预设轨迹对所述多个图像帧进行裁切，包括：
根据所述预设轨迹对所述变换后的多个图像帧进行裁切。
12.根据权利要求11所述的设备，其特征在于，
所述视角变换后的多个图像帧中各个图像帧对应的视角不同。
13.根据权利要求11所述的设备，其特征在于，所述处理器根据所述预设轨迹转换所述固定视角时，具体用于：
根据所述预设轨迹，确定所述多个图像帧中各个图像帧对应的转换角度；
按照所述转换角度转换所述固定视角。
14.根据权利要求13所述的设备，其特征在于，所述处理器按照所述转换角度转换所述固定视角时，具体用于：
根据所述转换角度，确定所述各个图像帧对应的旋转矩阵；
按照所述旋转矩阵转换所述固定视角。
15.根据权利要求10所述的设备，其特征在于，
所述预设轨迹包括直线、曲线、标记点中的任意一种或多种。
16.根据权利要求10所述的设备，其特征在于，所述处理器对所述初始视频中的多个图像帧进行裁切之前，还用于：
从所述初始视频的所有图像帧中抽取所述多个图像帧。
17.根据权利要求16所述的设备，其特征在于，所述处理器从所述初始视频的所有图像帧中抽取所述多个图像帧时，具体用于：
根据所述初始视频的时长和目标视频的目标时长，从所述初始视频的所有图像帧中抽取所述多个图像帧。
18.根据权利要求10所述的设备，其特征在于，所述处理器对所述初始视频中的多个图像帧进行裁切之前，还用于：
对所述初始视频中的所述多个图像帧进行去畸变处理。
19.一种成像系统，其特征在于，包括：
拍摄装置和权利要求10-18任一项所述的图像处理设备。
20.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述方法的步骤。
CN201980030357.5A 2019-10-22 2019-10-22 一种图像处理方法、设备、成像系统及存储介质 Active CN112136311B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/112429 WO2021077279A1 (zh) 2019-10-22 2019-10-22 一种图像处理方法、设备、成像系统及存储介质

Publications (2)

Publication Number Publication Date
CN112136311A true CN112136311A (zh) 2020-12-25
CN112136311B CN112136311B (zh) 2022-07-12

Family

ID=73849584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980030357.5A Active CN112136311B (zh) 2019-10-22 2019-10-22 一种图像处理方法、设备、成像系统及存储介质

Country Status (3)

Country Link
US (1) US20220232173A1 (zh)
CN (1) CN112136311B (zh)
WO (1) WO2021077279A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113986057A (zh) * 2021-10-22 2022-01-28 北京三快在线科技有限公司 图像处理方法、装置、可读存储介质及无人设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010057069A (ja) * 2008-08-29 2010-03-11 Sony Corp 映像表示装置、映像表示システムおよび映像表示方法
CN103377488A (zh) * 2012-04-18 2013-10-30 三星电子株式会社 用于显示增强现实图像的方法及其电子装置
CN103488975A (zh) * 2013-09-17 2014-01-01 北京联合大学 一种基于智能驾驶的斑马线实时检测的方法
CN104885441A (zh) * 2012-12-26 2015-09-02 索尼公司 图像处理装置和方法、以及程序
CN105844256A (zh) * 2016-04-07 2016-08-10 广州盈可视电子科技有限公司 一种全景视频帧图像处理方法和装置
CN106780344A (zh) * 2017-01-06 2017-05-31 苏州大学 基于偏差转移和拆分的汽车360°环视图像拼接方法
CN107431762A (zh) * 2015-04-14 2017-12-01 索尼公司 图像处理设备、图像处理方法以及图像处理系统
CN108876717A (zh) * 2017-05-08 2018-11-23 伟诠电子股份有限公司 图像视角转换方法及其系统
CN109005334A (zh) * 2018-06-15 2018-12-14 清华-伯克利深圳学院筹备办公室 一种成像方法、装置、终端和存储介质
CN109104562A (zh) * 2017-06-21 2018-12-28 佳能株式会社 信息处理设备、信息处理方法和记录介质
CN109257559A (zh) * 2018-09-28 2019-01-22 苏州科达科技股份有限公司 一种全景视频会议的图像显示方法、装置及视频会议系统
CN109547743A (zh) * 2017-09-22 2019-03-29 佳能株式会社 信息处理装置、摄像装置、信息处理方法及记录介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3103045B2 (ja) * 1997-07-10 2000-10-23 三菱電機株式会社 画像撮影再生方式及び方法並びに画像再生プログラムを記録した記録媒体
JP5649429B2 (ja) * 2010-12-14 2015-01-07 パナソニックＩｐマネジメント株式会社 映像処理装置、カメラ装置および映像処理方法
US8810666B2 (en) * 2012-01-16 2014-08-19 Google Inc. Methods and systems for processing a video for stabilization using dynamic crop
US20130215221A1 (en) * 2012-02-21 2013-08-22 Sen Wang Key video frame selection method
JP2013239986A (ja) * 2012-05-17 2013-11-28 Panasonic Corp 補助情報生成装置、撮影画像表示システム、補助情報生成方法、撮影画像表示方法、及びコンピュータプログラム
JP6249202B2 (ja) * 2013-05-10 2017-12-20 ソニー株式会社 画像表示装置、画像表示方法、およびプログラム
KR20180130504A (ko) * 2016-03-31 2018-12-07 소니 주식회사 정보 처리 장치, 정보 처리 방법, 프로그램
GB2550112B (en) * 2016-04-29 2019-10-09 Marss Ventures S A Method of verifying a potential detection of a man overboard event and alert verification processing apparatus
US9992449B1 (en) * 2017-08-10 2018-06-05 Everysight Ltd. System and method for sharing sensed data between remote users
KR102028469B1 (ko) * 2018-01-15 2019-10-04 주식회사 스트리스 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
CN108537876B (zh) * 2018-03-05 2020-10-16 清华-伯克利深圳学院筹备办公室 三维重建方法、装置、设备及存储介质
CN110189378B (zh) * 2019-05-23 2022-03-04 北京奇艺世纪科技有限公司 一种视频处理方法、装置及电子设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010057069A (ja) * 2008-08-29 2010-03-11 Sony Corp 映像表示装置、映像表示システムおよび映像表示方法
CN103377488A (zh) * 2012-04-18 2013-10-30 三星电子株式会社 用于显示增强现实图像的方法及其电子装置
CN104885441A (zh) * 2012-12-26 2015-09-02 索尼公司 图像处理装置和方法、以及程序
CN103488975A (zh) * 2013-09-17 2014-01-01 北京联合大学 一种基于智能驾驶的斑马线实时检测的方法
CN107431762A (zh) * 2015-04-14 2017-12-01 索尼公司 图像处理设备、图像处理方法以及图像处理系统
CN105844256A (zh) * 2016-04-07 2016-08-10 广州盈可视电子科技有限公司 一种全景视频帧图像处理方法和装置
CN106780344A (zh) * 2017-01-06 2017-05-31 苏州大学 基于偏差转移和拆分的汽车360°环视图像拼接方法
CN108876717A (zh) * 2017-05-08 2018-11-23 伟诠电子股份有限公司 图像视角转换方法及其系统
CN109104562A (zh) * 2017-06-21 2018-12-28 佳能株式会社 信息处理设备、信息处理方法和记录介质
CN109547743A (zh) * 2017-09-22 2019-03-29 佳能株式会社 信息处理装置、摄像装置、信息处理方法及记录介质
CN109005334A (zh) * 2018-06-15 2018-12-14 清华-伯克利深圳学院筹备办公室 一种成像方法、装置、终端和存储介质
CN109257559A (zh) * 2018-09-28 2019-01-22 苏州科达科技股份有限公司 一种全景视频会议的图像显示方法、装置及视频会议系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113986057A (zh) * 2021-10-22 2022-01-28 北京三快在线科技有限公司 图像处理方法、装置、可读存储介质及无人设备

Also Published As

Publication number Publication date
WO2021077279A1 (zh) 2021-04-29
CN112136311B (zh) 2022-07-12
US20220232173A1 (en) 2022-07-21

Similar Documents

Publication Publication Date Title
KR101888470B1 (ko) 촬상 시스템, 촬상 장치, 컴퓨터 프로그램 및 시스템
CN101689292B (zh) Banana多媒体数字信号编解码器
CN109474780B (zh) 一种用于图像处理的方法和装置
KR20160118963A (ko) 실시간 이미지 스티칭 장치 및 실시간 이미지 스티칭 방법
WO2017045558A1 (zh) 景深调节方法、装置及终端
CN110072058B (zh) 图像拍摄装置、方法及终端
US10721450B2 (en) Post production replication of optical processing for digital cinema cameras using metadata
JPWO2006028109A1 (ja) 撮影システム及びその撮影条件の設定方法と、それに用いられる端末及びサーバ
JP2013168942A (ja) カメラのデータ処理装置及び方法
KR101433119B1 (ko) 소정의 종횡비의 합성 화상을 생성하는 화상 처리 장치
JP2014164172A (ja) 撮像装置およびプログラム
CN104883494B (zh) 一种图像抓拍的方法及装置
JP7174120B2 (ja) 撮像装置、プログラム、記録媒体、及び制御方法
CN110177212A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN112136311B (zh) 一种图像处理方法、设备、成像系统及存储介质
JP4647518B2 (ja) 撮影装置
CN112640420B (zh) 电子装置的控制方法、装置、设备及系统
CN109218602A (zh) 影像撷取装置、影像处理方法及电子装置
CN112104796B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP2009253925A (ja) 撮像装置及び撮像方法と、撮影制御プログラム
KR101407119B1 (ko) 초광각 카메라를 이용한 카메라 시스템
JP2008048152A (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JP2016092467A (ja) 撮像装置、その制御方法とプログラム
US10911676B2 (en) Memory card and moving image reproduction device
KR20120097213A (ko) 어안 렌즈를 이용한 촬상 장치 및 그 촬상 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant