CN112383677A - 视频处理方法及装置 - Google Patents

视频处理方法及装置 Download PDF

Info

Publication number
CN112383677A
CN112383677A CN202011215856.2A CN202011215856A CN112383677A CN 112383677 A CN112383677 A CN 112383677A CN 202011215856 A CN202011215856 A CN 202011215856A CN 112383677 A CN112383677 A CN 112383677A
Authority
CN
China
Prior art keywords
camera
motion
target object
video
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011215856.2A
Other languages
English (en)
Other versions
CN112383677B (zh
Inventor
徐苏琴
侍球干
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN202011215856.2A priority Critical patent/CN112383677B/zh
Publication of CN112383677A publication Critical patent/CN112383677A/zh
Priority to PCT/KR2021/015690 priority patent/WO2022098050A1/en
Application granted granted Critical
Publication of CN112383677B publication Critical patent/CN112383677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供一种视频处理方法及装置。该视频处理方法包括：在预设时间段内，获取目标对象的运动轨迹作为第一运动轨迹，并获取相机的运动轨迹作为第二运动轨迹；基于第一运动轨迹和第二运动轨迹计算目标对象在所述预设时间段内相对于相机的目标移动向量；基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量；并且根据目标对象的运动向量对相机拍摄的视频进行处理，从而通过基于目标对象的运动轨迹和相机的运动轨迹来获取运动向量，减少了获取运动向量的计算量，提高了获取运动向量的效率，进而提高了视频处理的效率。

Description

视频处理方法及装置
技术领域
本公开涉及视频处理技术领域。更具体地，本公开涉及一种视频处理方法及装置。
背景技术
视频处理中通常需要计算相邻两帧的运动向量，运动向量的搜索是一个计算量大的工程。
UWB定位技术在室内定位方面有着很广泛的应用，甚至应用到文件分享方面(将离得近的设备优先显示在分享设备列表中)。
发明内容
本公开的示例性实施例在于提供一种视频处理方法及装置，以通过减少获取运动向量的计算量来提高获取运动向量的效率，进而提高视频处理的效率。
根据本公开的示例性实施例，提供一种视频处理方法，包括：在预设时间段内，获取目标对象的运动轨迹作为第一运动轨迹，并获取相机的运动轨迹作为第二运动轨迹；基于第一运动轨迹和第二运动轨迹计算目标对象在所述预设时间段内相对于相机的目标移动向量；基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量；并且根据目标对象的运动向量对相机拍摄的视频进行处理。
可选地，获取目标对象的运动轨迹的步骤可包括：通过UWB定位技术获取在所述预设时间段内的每个时刻目标对象相对于相机的相对位置；基于目标对象相对于相机的相对位置确定坐标系，并在所述坐标系中确定在所述每个时刻目标对象相对于相机的UWB距离和UWB角度；并且根据在所述每个时刻目标对象相对于相机的UWB距离和UWB角度确定目标对象在所述预设时间段内的运动轨迹。
可选地，获取相机的运动轨迹的步骤可包括：获取相机在所述预设时间段内的加速度；并且基于相机的加速度确定相机的运动速度，并基于相机的运动速度确定相机在所述预设时间段内的运动轨迹。
可选地，基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量的步骤可包括：确定目标移动向量是否是目标对象在相机拍摄的视频中的运动向量；并且当目标移动向量不是目标对象在相机拍摄的视频中的运动向量时，在相机拍摄的视频中以目标移动向量为基准在其周围搜索目标对象的运动向量。
可选地，视频处理可包括以下至少一个：视频编码或者视频压缩、视频插帧、给视频增加标签。
根据本公开的示例性实施例，提供一种视频处理装置，包括：轨迹获取单元，被配置为在预设时间段内，获取目标对象的运动轨迹作为第一运动轨迹，并获取相机的运动轨迹作为第二运动轨迹；移动向量计算单元，被配置为基于第一运动轨迹和第二运动轨迹计算目标对象在所述预设时间段内相对于相机的目标移动向量；运动向量搜索单元，被配置为基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量；和视频处理单元，被配置为根据目标对象的运动向量对相机拍摄的视频进行处理。
可选地，轨迹获取单元可被配置为：通过UWB定位技术获取在所述预设时间段内的每个时刻目标对象相对于相机的相对位置；基于目标对象相对于相机的相对位置确定坐标系，并在所述坐标系中确定在所述每个时刻目标对象相对于相机的UWB距离和UWB角度；并且根据在所述每个时刻目标对象相对于相机的UWB距离和UWB角度确定目标对象在所述预设时间段内的运动轨迹。
可选地，轨迹获取单元可被配置为：获取相机在所述预设时间段内的加速度；并且基于相机的加速度确定相机的运动速度，并基于相机的运动速度确定相机在所述预设时间段内的运动轨迹。
可选地，运动向量搜索单元可被配置为：确定目标移动向量是否是目标对象在相机拍摄的视频中的运动向量；并且当目标移动向量不是目标对象在相机拍摄的视频中的运动向量时，在相机拍摄的视频中以目标移动向量为基准在其周围搜索目标对象的运动向量。
可选地，视频处理可包括以下至少一个：视频编码或者视频压缩、视频插帧、给视频增加标签。
根据本公开的示例性实施例，提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现根据本公开的示例性实施例的视频处理方法。
根据本公开的示例性实施例，提供一种计算装置，包括：处理器；存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现根据本公开的示例性实施例的视频处理方法。
根据本公开的示例性实施例的视频处理方法及装置，通过在预设时间段内，获取目标对象的运动轨迹作为第一运动轨迹，并获取相机的运动轨迹作为第二运动轨迹；基于第一运动轨迹和第二运动轨迹计算目标对象在所述预设时间段内相对于相机的目标移动向量；基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量；并且根据目标对象的运动向量对相机拍摄的视频进行处理，从而通过基于目标对象的运动轨迹和相机的运动轨迹来获取运动向量，减少了获取运动向量的计算量，提高了获取运动向量的效率，进而提高了视频处理的效率。当将根据本公开的示例性实施例的视频处理方法用于视频编码或者视频压缩时，可提高视频编码或者视频压缩的速度。当将根据本公开的示例性实施例的视频处理方法用于视频插帧时，可提高视频插帧的速度和精确度。当将根据本公开的示例性实施例的视频处理方法用于增加视频标签时，可提高增加视频标签的速度，并且提高增加的视频标签的语义精准度。
将在接下来的描述中部分阐述本公开总体构思另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本公开总体构思的实施而得知。
附图说明
通过下面结合示例性地示出实施例的附图进行的描述，本公开的示例性实施例的上述和其他目的和特点将会变得更加清楚，其中：
图1示出根据本公开的示例性实施例的视频处理方法的流程图；
图2示出目标对象和包含相机的电子设备的示例的示图；
图3示出在预设时间段内目标对象和相机的运动的示图；
图4和图5示出目标对象在相机拍摄的视频帧中的运动的示图；
图6示出根据本公开的示例性实施例的视频插帧的示图；
图7示出将30FPS的视频插帧到60FPS的示图；
图8示出根据本公开的示例性实施例的视频增加标签的示图；
图9示出根据本公开的示例性实施例的视频处理装置的框图；和
图10示出根据本公开的示例性实施例的计算装置的示意图。
具体实施方式
现将详细参照本公开的示例性实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本公开。
图1示出根据本公开的示例性实施例的视频处理方法的流程图。这里，视频处理包括以下至少一个：视频编码或者视频压缩、视频插帧、给视频增加标签。图1中的视频处理方法可由具有相机功能的电子设备执行，电子设备可以是例如，但不限于，移动电话、PDA(个人数字助理)、PAD(平板电脑)、相机、手表、学习机等。
参照图1，在步骤S101，在预设时间段内，获取目标对象的运动轨迹作为第一运动轨迹，并获取相机的运动轨迹作为第二运动轨迹。这里，预设时间段是一段短时间或者极短的时间，例如，但不限于，0.001ms、0.05ms、0.1ms、0.2ms、0.3ms、1s、2s等。
在本公开的示例性实施例中，在获取目标对象的运动轨迹时，可首先通过UWB定位技术获取在预设时间段内的每个时刻目标对象相对于相机的相对位置，基于目标对象相对于相机的相对位置确定坐标系，并在所述坐标系中确定在所述每个时刻目标对象相对于相机的UWB距离和UWB角度，然后根据在所述每个时刻目标对象相对于相机的UWB距离和UWB角度确定目标对象在所述预设时间段内的运动轨迹，从而方便地获取目标对象的运动轨迹。具体来说，由于UWB定位技术可以获取任意时刻相机和目标的相对位置。因此，可以获得任意时刻目标的运动轨迹M1。在通过UWB定位技术获取在所述预设时间段内的每个时刻目标对象相对于相机的相对位置时，可通过双向飞行的方式获取相机到目标的距离。
在本公开的示例性实施例中，在获取相机的运动轨迹时，可首先获取相机在所述预设时间段内的加速度，然后基于相机的加速度确定相机的运动速度，并基于相机的运动速度确定相机在所述预设时间段内的运动轨迹。
图2示出目标对象和包含相机的电子设备的示例的示图。具体来说，由于电子设备的陀螺仪和加速度感应器可获得相机(电子设备上的相机)，因此，可以得到任意时刻手机的运动轨迹M2。获取相机在所述预设时间段内的加速度之后，可通过对加速度执行积分操作来获取相机的运动速度，并通过对相机的运动速度执行积分操作来得到相机在所述预设时间段内的位移(即，运动轨迹)。
在步骤S102，基于第一运动轨迹和第二运动轨迹计算目标对象在预设时间段内相对于相机的目标移动向量。
图3示出在预设时间段内目标对象和相机的运动的示图。具体来说，如图3所示，可通过以下步骤计算目标对象在预设时间段内相对于相机的目标移动向量：
a、用电子设备的相机拍摄一段目标对象运动的视频；
b、在极短的时间T1(预设时间段)内，相机随着电子设备从A点移动到B点，可从M2获取向量
Figure BDA0002760318290000051
c、目标对象从C点到D点，可从M1获取到向量
Figure BDA0002760318290000052
和向量
Figure BDA0002760318290000053
d、基于向量
Figure BDA0002760318290000054
和向量
Figure BDA0002760318290000055
计算目标移动向量。由于
Figure BDA0002760318290000056
Figure BDA0002760318290000057
因此，目标移动向量
Figure BDA0002760318290000058
Figure BDA0002760318290000059
在本公开的示例性实施例中，可存在一些特殊的情形：
(1)电子设备不移动，即
Figure BDA00027603182900000510
目标对象从C点移动到D点，
Figure BDA00027603182900000511
(2)目标对象没有移动，电子设备从A点移动到B点，
Figure BDA00027603182900000512
(3)目标对象和电子设备都没有移动，
Figure BDA00027603182900000513
在步骤S103，基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量。
在本公开的示例性实施例中，在基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量时，可首先确定目标移动向量是否是目标对象在相机拍摄的视频中的运动向量，然后当目标移动向量不是目标对象在相机拍摄的视频中的运动向量时，在相机拍摄的视频中以目标移动向量为基准在其周围搜索目标对象的运动向量，从而优化了获得运动向量的过程，提高了获得运动向量的效率。
图4和图5示出目标对象在相机拍摄的视频帧中的运动的示图。
在步骤S104，根据目标对象的运动向量对相机拍摄的视频进行处理。
在本公开的示例性实施例中，可根据视频的运动向量进行视频编码或者视频压缩、视频插帧等，还可根据视频的运动向量为视频增加标签。
图6示出根据本公开的示例性实施例的视频插帧的示图。图7示出将30FPS的视频插帧到60FPS的示图。
如图6所示，基于运动向量在视频的第t帧和第t+1帧之间插入一帧(或者两帧、或者更多帧)，从而提高视频帧率。具体来说，在将30FPS的视频插帧到60FPS时，如果相邻两帧之间的时间差是T，则将获取目标移动向量的时间T1设置为T/2。如图7所示，将30FPS的视频插帧到60FPS之后，视频更加清晰。
图8示出根据本公开的示例性实施例的视频增加标签的示图。如图8所示，根据目标对象的运动轨迹来给视频增加2个标签“骑山地车”和“山地车表演秀”，从而使得增加的标签更清晰更符合视频的含义。
具体来说，当将根据本公开的示例性实施例的视频处理方法用于视频编码或者视频压缩时，可提高视频编码或者视频压缩的速度。当将根据本公开的示例性实施例的视频处理方法用于视频插帧时，可提高视频插帧的速度和精确度。当将根据本公开的示例性实施例的视频处理方法用于增加视频标签时，可提高增加视频标签的速度，并且提高增加的视频标签的语义精准度。
此外，根据本公开的示例性实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被执行时，实现根据本公开的示例性实施例的视频处理方法。
在本公开的示例性实施例中，所述计算机可读存储介质可承载有一个或者多个程序，当所述计算机程序被执行时可实现以下步骤：在预设时间段内，获取目标对象的运动轨迹作为第一运动轨迹，并获取相机的运动轨迹作为第二运动轨迹；基于第一运动轨迹和第二运动轨迹计算目标对象在所述预设时间段内相对于相机的目标移动向量；基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量；并且根据目标对象的运动向量对相机拍摄的视频进行处理。
计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储计算机程序的有形介质，该计算机程序可以被指令执行系统、装置或者器件使用或者与其结合使用。计算机可读存储介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。计算机可读存储介质可以包含在任意装置中；也可以单独存在，而未装配入该装置中。
以上已经结合图1至图8对根据本公开的示例性实施例的视频处理方法进行了描述。在下文中，将参照图9对根据本公开的示例性实施例的视频处理装置及其单元进行描述。
图9示出根据本公开的示例性实施例的视频处理装置的框图。
在本公开的示例性实施例中，视频处理可包括以下至少一个：视频编码或者视频压缩、视频插帧、给视频增加标签。
参照图9，视频处理装置包括轨迹获取单元91、移动向量计算单元92、运动向量搜索单元93和视频处理单元94。
轨迹获取单元91被配置为在预设时间段内，获取目标对象的运动轨迹作为第一运动轨迹，并获取相机的运动轨迹作为第二运动轨迹。
在本公开的示例性实施例中，轨迹获取单元91可被配置为：通过UWB定位技术获取在所述预设时间段内的每个时刻目标对象相对于相机的相对位置；基于目标对象相对于相机的相对位置确定坐标系，并在所述坐标系中确定在所述每个时刻目标对象相对于相机的UWB距离和UWB角度；并且根据在所述每个时刻目标对象相对于相机的UWB距离和UWB角度确定目标对象在所述预设时间段内的运动轨迹。
在本公开的示例性实施例中，轨迹获取单元91可被配置为：获取相机在所述预设时间段内的加速度；并且基于相机的加速度确定相机的运动速度，并基于相机的运动速度确定相机在所述预设时间段内的运动轨迹。
移动向量计算单元92被配置为基于第一运动轨迹和第二运动轨迹计算目标对象在所述预设时间段内相对于相机的目标移动向量。
运动向量搜索单元93被配置为基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量。
在本公开的示例性实施例中，运动向量搜索单元93可被配置为：确定目标移动向量是否是目标对象在相机拍摄的视频中的运动向量；并且当目标移动向量不是目标对象在相机拍摄的视频中的运动向量时，在相机拍摄的视频中以目标移动向量为基准在其周围搜索目标对象的运动向量。
视频处理单元94被配置为根据目标对象的运动向量对相机拍摄的视频进行处理。
以上已经结合图9对根据本公开的示例性实施例的视频处理装置进行了描述。接下来，结合图10对根据本公开的示例性实施例的计算装置进行描述。
图10示出根据本公开的示例性实施例的计算装置的示意图。
参照图10，根据本公开的示例性实施例的计算装置10，包括存储器101和处理器102，所述存储器101上存储有计算机程序，当所述计算机程序被处理器102执行时，实现根据本公开的示例性实施例的视频处理方法。
在本公开的示例性实施例中，当所述计算机程序被处理器102执行时，可实现以下步骤：在预设时间段内，获取目标对象的运动轨迹作为第一运动轨迹，并获取相机的运动轨迹作为第二运动轨迹；基于第一运动轨迹和第二运动轨迹计算目标对象在所述预设时间段内相对于相机的目标移动向量；基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量；并且根据目标对象的运动向量对相机拍摄的视频进行处理。
本公开实施例中的计算装置可以包括但不限于诸如移动电话、笔记本电脑、PDA(个人数字助理)、PAD(平板电脑)、相机、手表、学习机等的装置。图10示出的计算装置仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
以上已参照图1至图10描述了根据本公开的示例性实施例的视频处理方法及装置。然而，应该理解的是：图9中所示的视频处理装置及其单元可分别被配置为执行特定功能的软件、硬件、固件或上述项的任意组合，图10中所示的计算装置并不限于包括以上示出的组件，而是可根据需要增加或删除一些组件，并且以上组件也可被组合。
根据本公开的示例性实施例的视频处理方法及装置，通过在预设时间段内，获取目标对象的运动轨迹作为第一运动轨迹，并获取相机的运动轨迹作为第二运动轨迹；基于第一运动轨迹和第二运动轨迹计算目标对象在所述预设时间段内相对于相机的目标移动向量；基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量；并且根据目标对象的运动向量对相机拍摄的视频进行处理，从而通过基于目标对象的运动轨迹和相机的运动轨迹来获取运动向量，减少了获取运动向量的计算量，提高了获取运动向量的效率，进而提高了视频处理的效率。当将根据本公开的示例性实施例的视频处理方法用于视频编码或者视频压缩时，可提高视频编码或者视频压缩的速度。当将根据本公开的示例性实施例的视频处理方法用于视频插帧时，可提高视频插帧的速度和精确度。当将根据本公开的示例性实施例的视频处理方法用于增加视频标签时，可提高增加视频标签的速度，并且提高增加的视频标签的语义精准度。
尽管已经参照其示例性实施例具体显示和描述了本公开，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本公开的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (12)

1.一种视频处理方法，包括：
在预设时间段内，获取目标对象的运动轨迹作为第一运动轨迹，并获取相机的运动轨迹作为第二运动轨迹；
基于第一运动轨迹和第二运动轨迹计算目标对象在所述预设时间段内相对于相机的目标移动向量；
基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量；并且
根据目标对象的运动向量对相机拍摄的视频进行处理。
2.根据权利要求1所述的方法，其中，获取目标对象的运动轨迹的步骤包括：
通过超宽带UWB定位技术获取在所述预设时间段内的每个时刻目标对象相对于相机的相对位置；
基于目标对象相对于相机的相对位置确定坐标系，并在所述坐标系中确定在所述每个时刻目标对象相对于相机的UWB距离和UWB角度；并且
根据在所述每个时刻目标对象相对于相机的UWB距离和UWB角度确定目标对象在所述预设时间段内的运动轨迹。
3.根据权利要求1所述的方法，其中，获取相机的运动轨迹的步骤包括：
获取相机在所述预设时间段内的加速度；并且
基于相机的加速度确定相机的运动速度，并基于相机的运动速度确定相机在所述预设时间段内的运动轨迹。
4.根据权利要求1所述的方法，其中，基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量的步骤包括：
确定目标移动向量是否是目标对象在相机拍摄的视频中的运动向量；并且
当目标移动向量不是目标对象在相机拍摄的视频中的运动向量时，在相机拍摄的视频中以目标移动向量为基准在其周围搜索目标对象的运动向量。
5.根据权利要求1所述的方法，其中，视频处理包括以下至少一个：视频编码或者视频压缩、视频插帧、给视频增加标签。
6.一种视频处理装置，包括：
轨迹获取单元，被配置为在预设时间段内，获取目标对象的运动轨迹作为第一运动轨迹，并获取相机的运动轨迹作为第二运动轨迹；
移动向量计算单元，被配置为基于第一运动轨迹和第二运动轨迹计算目标对象在所述预设时间段内相对于相机的目标移动向量；
运动向量搜索单元，被配置为基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量；和
视频处理单元，被配置为根据目标对象的运动向量对相机拍摄的视频进行处理。
7.根据权利要求6所述的装置，其中，轨迹获取单元被配置为：
通过UWB定位技术获取在所述预设时间段内的每个时刻目标对象相对于相机的相对位置；
基于目标对象相对于相机的相对位置确定坐标系，并在所述坐标系中确定在所述每个时刻目标对象相对于相机的UWB距离和UWB角度；并且
根据在所述每个时刻目标对象相对于相机的UWB距离和UWB角度确定目标对象在所述预设时间段内的运动轨迹。
8.根据权利要求6所述的装置，其中，轨迹获取单元被配置为：
获取相机在所述预设时间段内的加速度；并且
基于相机的加速度确定相机的运动速度，并基于相机的运动速度确定相机在所述预设时间段内的运动轨迹。
9.根据权利要求6所述的装置，其中，运动向量搜索单元被配置为：
确定目标移动向量是否是目标对象在相机拍摄的视频中的运动向量；并且
当目标移动向量不是目标对象在相机拍摄的视频中的运动向量时，在相机拍摄的视频中以目标移动向量为基准在其周围搜索目标对象的运动向量。
10.根据权利要求6所述的装置，其中，视频处理包括以下至少一个：视频编码或者视频压缩、视频插帧、给视频增加标签。
11.一种存储有计算机程序的计算机可读存储介质，其中，当所述计算机程序被处理器执行时，实现权利要求1至5中任一项所述的视频处理方法。
12.一种计算装置，包括：
处理器；
存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现权利要求1至5中任一项所述的视频处理方法。
CN202011215856.2A 2020-11-04 2020-11-04 视频处理方法及装置 Active CN112383677B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011215856.2A CN112383677B (zh) 2020-11-04 2020-11-04 视频处理方法及装置
PCT/KR2021/015690 WO2022098050A1 (en) 2020-11-04 2021-11-02 A method and an electronic device for video processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011215856.2A CN112383677B (zh) 2020-11-04 2020-11-04 视频处理方法及装置

Publications (2)

Publication Number Publication Date
CN112383677A true CN112383677A (zh) 2021-02-19
CN112383677B CN112383677B (zh) 2023-04-28

Family

ID=74578808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011215856.2A Active CN112383677B (zh) 2020-11-04 2020-11-04 视频处理方法及装置

Country Status (2)

Country Link
CN (1) CN112383677B (zh)
WO (1) WO2022098050A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469930A (zh) * 2021-09-06 2021-10-01 腾讯科技（深圳）有限公司 图像处理方法、装置、及计算机设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101090456A (zh) * 2006-06-14 2007-12-19 索尼株式会社 图像处理装置和方法、图像拾取装置和方法
CN103905735A (zh) * 2014-04-17 2014-07-02 深圳市世尊科技有限公司 具有动态追拍功能的移动终端及其动态追拍方法
CN105872371A (zh) * 2016-03-31 2016-08-17 纳恩博（北京）科技有限公司 一种信息处理方法和电子设备
US20170155840A1 (en) * 2015-11-27 2017-06-01 Casio Computer Co., Ltd. Motion detecting device, motion detecting method, and non-transitory recording medium
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
CN111161354A (zh) * 2019-12-30 2020-05-15 广东博智林机器人有限公司 相机位姿确定方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI453415B (zh) * 2012-11-02 2014-09-21 Univ Nat Taiwan 利用超寬頻雷達偵測物體之運動狀態之成像方法及系統
KR102282470B1 (ko) * 2014-05-14 2021-07-28 한화테크윈 주식회사 카메라 장치 및 이를 이용한 객체 추적 방법
US10989791B2 (en) * 2016-12-05 2021-04-27 Trackman A/S Device, system, and method for tracking an object using radar data and imager data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101090456A (zh) * 2006-06-14 2007-12-19 索尼株式会社 图像处理装置和方法、图像拾取装置和方法
CN103905735A (zh) * 2014-04-17 2014-07-02 深圳市世尊科技有限公司 具有动态追拍功能的移动终端及其动态追拍方法
US20170155840A1 (en) * 2015-11-27 2017-06-01 Casio Computer Co., Ltd. Motion detecting device, motion detecting method, and non-transitory recording medium
CN105872371A (zh) * 2016-03-31 2016-08-17 纳恩博（北京）科技有限公司 一种信息处理方法和电子设备
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
CN111161354A (zh) * 2019-12-30 2020-05-15 广东博智林机器人有限公司 相机位姿确定方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469930A (zh) * 2021-09-06 2021-10-01 腾讯科技（深圳）有限公司 图像处理方法、装置、及计算机设备

Also Published As

Publication number Publication date
WO2022098050A1 (en) 2022-05-12
CN112383677B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN110866496B (zh) 基于深度图像的机器人定位与建图方法和装置
CN107888828B (zh) 空间定位方法及装置、电子设备、以及存储介质
CN107990899B (zh) 一种基于slam的定位方法和系统
US10255504B2 (en) Object position tracking using motion estimation
US10073531B2 (en) Electronic device pose identification based on imagery and non-image sensor data
US20160350926A1 (en) Visual-Based Inertial Navigation
JP2017529620A (ja) 姿勢推定のシステムおよび方法
EP4030391A1 (en) Virtual object display method and electronic device
CN112819860B (zh) 视觉惯性系统初始化方法及装置、介质和电子设备
US20220084249A1 (en) Method for information processing, electronic equipment, and storage medium
CN107194968B (zh) 图像的识别跟踪方法、装置、智能终端和可读存储介质
WO2014070391A1 (en) Adaptive scale and/or gravity estimation
CN107094234B (zh) 一种应用于移动摄像终端的拍摄区域遮挡方法和装置
US10705408B2 (en) Electronic device to autofocus on objects of interest within field-of-view of electronic device
CN112383677B (zh) 视频处理方法及装置
JP2007158649A (ja) 映像メタデータ補正装置及びプログラム
CN113587928B (zh) 导航方法、装置、电子设备、存储介质及计算机程序产品
CN112087728B (zh) 获取Wi-Fi指纹空间分布的方法、装置和电子设备
CN112700468A (zh) 位姿确定方法及装置、电子设备和存储介质
CN115065827A (zh) 视频编码方法、装置、电子设备及介质
US10848920B1 (en) Generation of precise geospatial coordinates
CN114740854A (zh) 一种机器人避障控制方法和装置
CN114648556A (zh) 视觉跟踪方法、装置和电子设备
US10708501B2 (en) Prominent region detection in scenes from sequence of image frames
JP2012129731A (ja) 携帯端末および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant