CN112887793A - 视频处理方法、显示设备和存储介质 - Google Patents

视频处理方法、显示设备和存储介质 Download PDF

Info

Publication number
CN112887793A
CN112887793A CN202110096253.3A CN202110096253A CN112887793A CN 112887793 A CN112887793 A CN 112887793A CN 202110096253 A CN202110096253 A CN 202110096253A CN 112887793 A CN112887793 A CN 112887793A
Authority
CN
China
Prior art keywords
pose
video
video frame
display device
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110096253.3A
Other languages
English (en)
Other versions
CN112887793B (zh
Inventor
陈志立
罗琳捷
杨骁�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lemon Inc Cayman Island
Original Assignee
Lemon Inc Cayman Island
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lemon Inc Cayman Island filed Critical Lemon Inc Cayman Island
Priority to CN202110096253.3A priority Critical patent/CN112887793B/zh
Publication of CN112887793A publication Critical patent/CN112887793A/zh
Application granted granted Critical
Publication of CN112887793B publication Critical patent/CN112887793B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

一种视频处理方法、显示设备和非瞬时性计算机可读存储介质。该视频处理方法应用于显示设备，且包括：获取待处理视频，其中，待处理视频包括多个视频帧；采用目标跟踪方法对待处理视频进行目标检测；响应于根据目标跟踪方法在待处理视频的第n个视频帧检测到目标对象，从第n个视频帧开始，根据目标跟踪方法对目标对象进行目标跟踪处理；响应于目标跟踪方法在待处理视频的第m个视频帧无法检测到目标对象，从第m个视频帧开始，根据位姿估计方法获取显示设备的位姿数据，基于获取到的位姿数据，对目标对象进行目标跟踪处理，n和m为小于等于多个视频帧的数量的正整数，且n小于m。

Description

视频处理方法、显示设备和存储介质
技术领域
本公开的实施例涉及一种视频处理方法、显示设备和非瞬时性计算机可读存储介质。
背景技术
短视频具有社交属性强、易创作、时长短的特点，更符合移动互联网时代用户的碎片化内容消费习惯。增强现实(AR，Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等领域，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，真实世界的信息和虚拟信息互为补充，从而实现对真实世界的“增强”。AR独特的虚实融合特效，决定了AR在短视频领域具有无限的拓展空间。
发明内容
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
本公开至少一实施例提供一种视频处理方法，应用于显示设备，包括：获取待处理视频，其中，待处理视频包括多个视频帧；采用目标跟踪方法对待处理视频进行目标检测；响应于根据目标跟踪方法在待处理视频的第n个视频帧检测到目标对象，从第n个视频帧开始，根据目标跟踪方法对目标对象进行目标跟踪处理；响应于目标跟踪方法在待处理视频的第m个视频帧无法检测到目标对象，从第m个视频帧开始，根据位姿估计方法获取显示设备的位姿数据，基于获取到的位姿数据，对目标对象进行目标跟踪处理。n和m为小于等于多个视频帧的数量的正整数，且n小于m。
本公开至少一实施例提供一种显示设备，包括：存储器，用于非瞬时性地存储计算机可读指令；处理器，用于运行计算机可读指令，计算机可读指令被处理器运行时实现根据本公开任一实施例所述的视频处理方法。
本公开至少一实施例提供一种非瞬时性计算机可读存储介质，其中，非瞬时性计算机可读存储介质存储有计算机可读指令，计算机可读指令被处理器执行时实现根据本公开任一实施例所述的视频处理方法。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开至少一实施例提供的一种视频处理方法的示意性流程图；
图2为本公开一些实施例提供的一种表示不同视频帧的位姿的示意图；
图3为本公开一些实施例提供的一种大地坐标系和虚拟坐标系的示意图；
图4为本公开至少一实施例提供的一种显示设备的示意性框图；
图5为本公开至少一实施例提供的一种非瞬时性计算机可读存储介质的示意图；
图6为本公开至少一实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
目前，在触发电子装置(例如，手机等)中的地标AR特效后，AR特效可以跟随电子装置的移动或转动而相应在电子装置的屏幕中实时(实际上可能有很小的可以忽略的延迟)地移动或转动(AR特效可能移出屏幕外)，即AR特效的运动和电子装置的运动是一致的。地标AR特效是短视频领域的热点之一，地标AR特效可以增加拍摄的趣味性，促使用户更加主动地去拍摄和记录。
当前，一种显示地标AR特效的方法包括：当在手机拍摄的视频画面中检测到地标后，触发并显示AR特效；当在手机拍摄的视频画面中检测不到地标(例如，手机移动而导致地标移出视频画面，或者手机摇晃太快而导致地标虽然保留在视频画面中但无法检测到)后，则停止显示AR特效。该显示地标AR特效的方法过于简单，难以满足用户的对大尺度特效(例如，转动手机以观看大尺度特效时，允许地标移出手机拍摄的视频画面，同时特效仍然可以在手机的屏幕上显示)的需求。
本公开至少一实施例提供一种视频处理方法、显示设备和非瞬时性计算机可读存储介质。该视频处理方法应用于显示设备，且包括：获取待处理视频；采用目标跟踪方法对待处理视频进行目标检测；响应于根据目标跟踪方法在待处理视频的第n个视频帧检测到目标对象，从第n个视频帧开始，根据目标跟踪方法对目标对象进行目标跟踪处理；响应于目标跟踪方法在待处理视频的第m个视频帧无法检测到目标对象，从第m个视频帧开始，根据位姿估计方法获取显示设备的位姿数据，基于获取到的位姿数据，对目标对象进行目标跟踪处理。待处理视频包括多个视频帧，n和m为小于等于多个视频帧的数量的正整数，且n小于m。
该视频处理方法可以融合基于外部位姿传感器的位姿估计方法与三维目标跟踪方法以进行目标跟踪，以实现在目标对象移出视频画面时仍对目标对象进行实时跟踪，满足用户的不同需求。
当该视频处理方法应用于地标特效显示时，可以丰富特效的应用场景，例如，该视频处理方法可以在基于目标跟踪方法跟丢或者目标对象离开视频画面时仍然能显示特效，具体可以应用在以下两种情况中：第一、在显示设备晃动太快、晃动幅度较大时，特效不会消失，显示设备还能继续显示该特效，只是特效的位置稍有不准，但是该位置误差可以接受；第二、可以支持在建筑之外显示特效，例如，实际应用中，如果有飞机从东方明珠塔飞出飞到位于外滩的用户的头上，如果用户要看飞机时，会转动手机，此时拍摄的视频中则没有东方明珠台，从而目标跟踪方法会跟踪失败，此时，可以基于位姿估计方法进行目标跟踪，以实现在显示设备中继续显示特效。
需要说明的是，本公开实施例提供的视频处理方法可被配置于本公开实施例提供的显示设备上，例如，在一些示例中，视频处理方法可以配置于显示设备的应用程序中。该显示设备可以是个人计算机、移动终端等，该移动终端可以是手机、平板电脑等具有各种操作系统的硬件设备。应用程序可以为抖音等。
下面结合附图对本公开的实施例进行详细说明，但是本公开并不限于这些具体的实施例。
图1为本公开至少一实施例提供的一种视频处理方法的示意性流程图。
例如，该视频处理方法可以应用于显示设备，如图1所示，该视频处理方法包括步骤S10至S13。
步骤S10：获取待处理视频，其中，待处理视频包括多个视频帧；
步骤S11：采用目标跟踪方法对待处理视频进行目标检测；
步骤S12：响应于根据目标跟踪方法在待处理视频的第n个视频帧检测到目标对象，从第n个视频帧开始，根据目标跟踪方法对目标对象进行目标跟踪处理；
步骤S13：响应于目标跟踪方法在待处理视频的第m个视频帧无法检测到目标对象，从第m个视频帧开始，根据位姿估计方法获取显示设备的位姿数据，基于获取到的位姿数据，对目标对象进行目标跟踪处理。
在本公开的实施例提供的视频处理方法中，首先基于目标跟踪方法对待处理视频进行目标检测，当首次在待处理视频中检测到目标对象，则通过目标跟踪方法对目标对象实时进行目标跟踪处理，当目标跟踪方法无法跟踪到目标对象，则通过位姿估计方法对目标对象进行目标跟踪处理。目标跟踪方法和位姿估计方法可以交替进行目标跟踪。
例如，n和m为小于等于多个视频帧的数量的正整数，且n小于m。需要说明的是，在本公开中，待处理视频中多个视频帧按照拍摄时间顺序排列，并从1开始基于自然数对该多个视频帧进行编号，即在多个视频帧中，第一个视频帧对应的拍摄时间早于第二个视频帧对应的拍摄时间，以此类推。由此，由于n小于m，第n个视频帧对应的拍摄时间早于第m个视频帧对应的拍摄时间。
例如，显示设备可以包括视频采集装置，视频采集装置用于拍摄图像和/或视频等。视频采集装置可以包括相机、摄像机等。视频采集装置可以与显示设备一体设置，视频采集装置也可以与显示设备分开设置，而通过无线(例如，蓝牙等)或有线等方式与显示设备通信连接。
例如，步骤S10包括：利用视频采集装置采集包括目标对象的视频以得到待处理视频。
例如，目标跟踪方法可以为3D目标跟踪方法，3D目标跟踪方法可以为显示设备本身设置的跟踪方法。3D目标跟踪方法具有以下特点：第一、该3D目标跟踪方法属于指定对象跟踪，跟踪精度较高；第二、该3D目标跟踪方法的应用条件较严苛，该应用条件包括：相邻的两个视频帧画面之间变化较小，即在拍摄对象时，视频采集装置(例如，手机上的相机)不能移动的太快。例如，当视频采集装置移动太快，从而导致在拍摄得到的相邻两个视频帧画面中，对象的移动距离超过特定距离，例如10个像素，或者，指定的对象离开拍摄画面时，例如在拍摄画面中，指定的对象的特征点匹配低于阈值(例如，30％)，即拍摄画面中的指定的对象的特征不够丰富，则该3D目标跟踪方法跟踪失败；又例如，基于3D目标跟踪方法检测到在当前视频帧的相邻上一视频帧中目标对象处于某个位置PP，而在当前视频帧中的该位置PP的附近特定范围(例如，特定范围可以由用户根据实际情况设置)无法检测到该目标对象，则该3D目标跟踪方法跟踪失败。
例如，待处理视频可以是视频采集装置实时采集的视频，也可以是预先采集并存储在显示设备中的视频。
例如，待处理视频包括目标对象，目标对象包括地标建筑(例如，岳阳的岳阳楼、南昌的滕王阁、武汉的黄鹤楼、北京三里屯的太古里等)等室外物体，也可以包括桌子和柜子等室内物体，还可以是自然景物，例如，加州红杉树等。当目标对象为地标建筑时，该视频处理方法可以应用于地标特效的显示，以在地标移出视频画面时，仍支持特效持续显示，满足用户的对大尺度特效显示的需求。
例如，显示设备还可以包括位姿估计装置，位姿估计方法由位姿估计装置实现。例如，位姿估计方法属于非指定对象跟踪，跟踪的误差较大，但是因为位姿估计方法属于不指定对象跟踪，所以不会跟丢对象。例如，位姿估计方法可以基于视觉(Visual)的SLAM(同步摄像机定位与地图重建，Simultaneously Localization and Mapping)技术实现目标跟踪。
例如，位姿估计装置用于采集显示设备的位姿数据。位姿估计装置可以与显示设备一体设置，位姿估计装置也可以与显示设备分开设置，而通过无线(例如，蓝牙等)或有线等方式与显示设备通信连接。需要说明的是，在本公开的实施例中，“显示设备的位姿数据”可以表示显示设备中的视频采集装置的位姿数据。
例如，在一些实施例中，位姿估计装置配置为可执行ARKit/ARCore且包括位姿采集元件，也就是说，在显示设备可执行ARKit/ARCore时，当基于目标跟踪方法无法跟踪目标对象时，首先，基于ARKit/ARCore进行目标跟踪，然后，当ARKit/ARCore无法跟踪目标对象时，则启用基于位姿采集元件的方法进行目标跟踪。
例如，在本实施例中，在步骤S12中，从第m个视频帧开始，根据位姿估计方法获取显示设备的位姿数据，基于获取到的位姿数据，对目标对象进行目标跟踪处理，包括：从第m个视频帧开始，使用ARKit/ARCore获取显示设备的至少一个第一相对位姿，响应于根据至少一个第一相对位姿跟踪到目标对象，基于至少一个第一相对位姿进行目标跟踪处理，以跟踪目标对象；响应于根据至少一个第一相对位姿无法在待处理视频的第p个视频帧跟踪到目标对象，从第p个视频帧开始，利用位姿采集元件获取显示设备的至少一个第二相对位姿，基于至少一个第二相对位姿进行目标跟踪处理，以跟踪目标对象。
例如，位姿数据包括至少一个第一相对位姿和至少一个第二相对位姿，p为小于等于多个视频帧的数量的正整数，且p大于m。需要说明的是，本公开不限于p大于m的情况，在本公开的一些实施例中，p与m还可以相等，当p等于m时，则表示在第m个视频帧，基于ARKit/ARCore无法跟踪到目标对象，由此，从第m个视频帧开始，可以直接采用基于位姿采集元件的方法进行目标跟踪处理，此时，位姿数据仅包括至少一个第二相对位姿。
例如，在进行目标跟踪处理时，ARKit/ARCore可以设置返回值，该返回值用于说明ARKit/ARCore的跟踪状态，返回值包括正常或失败，当ARKit/ARCore的返回值为失败，则表示基于ARKit/ARCore无法跟踪到目标对象。例如，在拍摄对象时，当视频采集装置移动太快和/或晃动幅度较大，则可能导致ARKit/ARCore跟踪失败。
例如，基于至少一个第一相对位姿进行目标跟踪处理，以跟踪目标对象，包括：获取基于目标跟踪方法得到的显示设备在第(m-1)个视频帧时的位姿；获取基于ARKit/ARCore获取的显示设备在第(m+t1)个视频帧时的第一相对位姿；根据第(m-1)个视频帧时的位姿与目标对象所在的位置之间的关系和第(m+t1)个视频帧时的第一相对位姿，确定显示设备在第(m+t1)个视频帧时的位姿；基于显示设备在第(m+t1)个视频帧时的位姿进行目标跟踪处理，以跟踪目标对象。例如，t1为自然数，且0≤t1＜(p-m)。
例如，基于目标跟踪方法得到的显示设备的位姿可以直接表示该显示设备与目标对象之间的相对位姿，即该显示设备相对于目标对象的位置和角度等信息。
例如，在基于ARKit/ARCore进行目标跟踪时，可以将基于目标跟踪方法得到的显示设备在第(m-1)个视频帧时的位姿作为第一参考位姿，基于ARKit/ARCore获取的显示设备的第一相对位姿是以第一参考位姿作为基准的相对位姿，即表示显示设备的当前位姿和第一参考位姿之间的相对差异，例如，显示设备在第(m+t1)个视频帧时的第一相对位姿表示显示设备在第(m+t1)个视频帧时的位姿和显示设备在第(m-1)个视频帧时的位姿之间的差异，也就是说，基于ARKit/ARCore可以得到显示设备在第(m+t1)个视频帧时的位姿与第一参考位姿之间的相对位姿，即第一相对位姿。
例如，基于至少一个第二相对位姿进行目标跟踪处理，以跟踪目标对象，包括：获取显示设备在第(p-1)个视频帧时的位姿；获取基于位姿采集元件采集的显示设备在第(p+t2)个视频帧时的第二相对位姿；根据第(p-1)个视频帧时的位姿与目标对象所在的位置之间的关系和第(p+t2)个视频帧时的第二相对位姿，确定显示设备在第(p+t2)个视频帧时的位姿；基于显示设备在第(p+t2)个视频帧时的位姿进行目标跟踪处理，以跟踪目标对象。例如，t2为自然数。
例如，在一些实施例中，获取显示设备在第(p-1)个视频帧时的位姿包括：获取基于目标跟踪方法得到的显示设备在第(m-1)个视频帧时的位姿；获取基于ARKit/ARCore获取的显示设备在所述第(p-1)个视频帧时的第一相对位姿；根据第(m-1)个视频帧时的位姿与目标对象所在的位置之间的关系和第(p-1)个视频帧时的第一相对位姿，确定显示设备在第(p-1)个视频帧时的位姿。
例如，在采用基于位姿采集元件的方法进行目标跟踪时，可以将显示设备在第(p-1)个视频帧时的位姿作为第二参考位姿，基于位姿采集元件获取的显示设备的第二相对位姿是以第二参考位姿作为基准的相对位姿，即表示显示设备的当前位姿和第二参考位姿之间的相对差异，例如，显示设备在第(p+t2)个视频帧时的第二相对位姿表示显示设备在第(p+t2)个视频帧时的位姿和显示设备在第(p-1)个视频帧时的位姿之间的差异，也就是说，基于位姿采集元件可以得到显示设备在第(p+t2)个视频帧时的位姿与第二参考位姿之间的相对位姿。
需要说明的是，本公开包括但不限于上述情况，在另一些实施例中，在采用基于位姿采集元件的方法进行目标跟踪时，可以将基于目标跟踪方法得到的显示设备在第(m-1)个视频帧时的位姿作为第二参考位姿，基于位姿采集元件获取的显示设备的第二相对位姿是以显示设备在第(m-1)个视频帧时的位姿作为基准的相对位姿，即表示显示设备的当前位姿和显示设备在第(m-1)个视频帧时的位姿之间的相对差异，例如，显示设备在第(p+t2)个视频帧时的第二相对位姿表示显示设备在第(p+t2)个视频帧时的位姿和显示设备在第(m-1)个视频帧时的位姿之间的差异。
需要说明的是，在本公开的实施例中，“显示设备在某个视频帧时的位姿”可以表示在显示设备的视频采集装置拍摄该某个视频帧时，该显示设备相对于目标对象的位置和角度等信息。“显示设备在某个视频帧时的第一相对位姿”可以表示在显示设备的视频采集装置拍摄该某个视频帧时，该显示设备相对于第一参考位姿的位置和角度等信息，“显示设备在某个视频帧时的第二相对位姿”可以表示在显示设备的视频采集装置拍摄该某个视频帧时，该显示设备相对于第二参考位姿的位置和角度等信息。
图2为本公开一些实施例提供的一种表示不同视频帧的位姿的示意图。图3为本公开一些实施例提供的一种大地坐标系和虚拟坐标系的示意图。
例如，如图2所示，目标对象100可以为大厦，视频采集装置110可以采集该目标对象100的视频以得到待处理视频。待处理视频包括与不同位姿(例如，图2所示的位姿A、B、C、D、E、F和G)对应的多个视频帧。位姿A、位姿B、位姿C、位姿D、位姿E、位姿F和位姿G分别对应不同的视频帧，例如在一些示例中，位姿A表示视频采集装置110在拍摄第n个视频帧时的位姿，位姿B表示视频采集装置110在拍摄第(m-1)个视频帧时的位姿，位姿C表示视频采集装置110在拍摄第m个视频帧时的位姿，位姿D表示视频采集装置110在拍摄第(m+t1)个视频帧时的位姿，位姿E表示视频采集装置110在拍摄第(p-1)个视频帧时的位姿，位姿F表示视频采集装置110在拍摄第p个视频帧时的位姿，位姿G表示视频采集装置110在拍摄第(p+t2)个视频帧时的位姿。
例如，下面结合附图2对计算视频帧的位姿的过程进行说明，例如，以计算显示设备在第(m+t1)个视频帧时的位姿，即位姿D，为例进行说明，首先，确定第(m-1)个视频帧的位姿，即位姿C，并基于位姿C确定位姿C和目标对象100所在的位置之间的相对关系，即位姿C和目标对象100之间的位置差异和视角差异；然后，确定第(m+t1)个视频帧的相对位姿，即位姿D和位姿C之间的位置差异和视角差异；最后，根据第(m+t1)个视频帧的相对位姿以及位姿C和目标对象100所在的位置之间的相对关系，确定第(m+t1)个视频帧的位姿D，即位姿D和目标对象100之间的位置差异和视角差异。
需要说明的是，图2所示的位姿A、B、C、D、E、F和G仅是示意性的，且为了清楚示出位姿A、B、C、D、E、F和G，位姿A、B、C、D、E、F和G之间的位置被夸大，实际上，位姿A、B、C、D、E、F和G相对目标对象100的移动可能很小，例如，不超过拍摄该待处理视频的用户身体的范围。
例如，如图3所示，大地坐标系表示为坐标系OXYZ。大地坐标系OXYZ是大地测量中以参考椭球面为基准面建立起来的坐标系。在大地坐标系OXYZ中，地面点的位置用大地经度(即经度)、大地纬度(即纬度)和大地高度(即海拔高度)表示。例如，大地坐标系OXYZ可以为WGS-84坐标系或GCJ-02坐标系。例如，WGS-84坐标系的X轴指向BIH(国际时间服务机构)1984.0定义的零子午面(Greenwich)和协议地球极(CTP)赤道的交点，Z轴指向CTP方向，Y轴与X、Z轴构成右手坐标系。
例如，在一些实施例中，可以建立虚拟坐标系，如图3所示，虚拟坐标系可以为站心坐标系O’ENU(即东北天坐标系(ENU坐标系))，站心坐标系O’ENU为直角坐标系，站心坐标系O’ENU的原点O’为目标对象所在的位置，站心坐标系O’ENU的Z轴(即U轴)与参考椭球的法线重合(指向天顶)，Y轴(即N轴)与参考椭球的短半轴重合(指向北边)，X轴(即E轴)与参考椭球的长半轴重合(指向东边)。站心坐标系O’ENU具有容易跟地图对齐，便于计算等特点。需要说明的是，本公开的实施例不限于虚拟坐标系为站心坐标系，虚拟坐标系还可以为其他合适的坐标系，由用户根据实际情况进行设置。
例如，视频帧对应的位姿、相对位姿等均是基于虚拟坐标系确定的。当站心坐标系O’ENU的原点O’为目标对象所在的位置时，任一视频帧对应的位姿可以包括拍摄该任一视频帧时，视频采集装置在该虚拟坐标系中的坐标。
例如，在另一些实施例中，若显示设备无法执行ARKit/ARCore，此时，位姿估计装置仅包括位姿采集元件，当基于目标跟踪方法无法跟踪目标对象时，则启用基于位姿采集元件的方法进行目标跟踪。
例如，在本实施例中，在步骤S12中，根据位姿估计方法获取显示设备的位姿数据，基于获取到的位姿数据，对目标对象进行目标跟踪处理，包括：从第m个视频帧开始，利用位姿采集元件获取显示设备的至少一个第二相对位姿，基于至少一个第二相对位姿进行目标跟踪处理，以跟踪目标对象。例如，位姿数据包括至少一个第二相对位姿。
例如，在本实施例中，基于至少一个第二相对位姿进行目标跟踪处理，以跟踪目标对象，包括：获取基于目标跟踪方法得到的显示设备在第(m-1)个视频帧时的位姿；获取基于位姿采集元件采集的显示设备在第(m+t3)个视频帧时的第二相对位姿；根据第(m-1)个视频帧时的位姿与目标对象所在的位置之间的关系和第(m+t3)个视频帧时的第二相对位姿，确定显示设备在第(m+t3)个视频帧时的位姿；基于显示设备在第(m+t3)个视频帧时的位姿进行目标跟踪处理，以跟踪目标对象。例如，t3为自然数。
例如，在一些实施例中，位姿采集元件可以包括陀螺仪(Gyro)等器件；在另一些实施例中，位姿采集元件可以包括陀螺仪和加速度传感器等器件。陀螺仪可以采集视频采集装置的旋转角度等信息，加速度传感器可以采集视频采集装置的平移距离等信息。例如，在一些实施例中，在拍摄地标建筑时，相对于地标建筑和视频采集装置之间的距离，该视频采集装置本身移动的距离十分小，对位姿的影响较小，可以忽略不计，从而可以仅采集视频采集装置相对于地标建筑的旋转角度即可，即可以仅基于陀螺仪进行目标跟踪处理。
值得注意的是，基于陀螺仪和加速度传感器进行目标跟踪处理具有以下特点：采集位姿数据较快、支持的电子设备较多等。由于大部分电子设备均配置有陀螺仪和加速度传感器，从而该视频采集方法可以与大部分电子设备进行兼容，即可以适用于大部分电子设备。
例如，在一些实施例中，视频处理方法还包括：响应于根据目标跟踪方法在待处理视频的第n个视频帧检测到目标对象，从第n个视频帧开始，基于检测到的目标对象，在显示设备上显示与目标对象对应的虚拟模型；响应于目标跟踪方法无法在待处理视频的第m个视频帧检测到目标对象，从第m个视频帧开始，基于获取到的位姿数据，在显示设备上显示与目标对象对应的虚拟模型。
例如，虚拟模型为增强现实特效模型等。虚拟模型可以包括文字、图像、三维模型、音乐、视频等虚拟特效。虚拟模型可以为预先建模得到的模型。
例如，从第n个视频帧开始，基于检测到的目标对象，在显示设备上显示与目标对象对应的虚拟模型，包括：从第1个视频帧至第n个视频帧中获取第一待显示的视频帧，根据目标跟踪方法确定该第一待显示的视频帧对应的位姿；基于与第一待显示的视频帧对应的位姿，对待处理的虚拟模型的姿态进行调整，以得到与第一待显示的视频帧对应的虚拟模型；通过显示设备同时显示第一待显示的视频帧和与第一待显示的视频帧对应的虚拟模型。
例如，从第m个视频帧开始，基于获取到的位姿数据，在显示设备上显示与目标对象对应的虚拟模型，包括：从第m个视频帧开始，获取第二待显示的视频帧，基于获取到的位姿数据，确定该第二待显示的视频帧对应的位姿；基于与第二待显示的视频帧对应的位姿，对待处理的虚拟模型的姿态进行调整，以得到与第二待显示的视频帧对应的虚拟模型；通过显示设备同时显示第二待显示的视频帧和与第二待显示的视频帧对应的虚拟模型。
例如，在显示设备上显示与目标对象对应的虚拟模型，包括：显示待处理视频；将虚拟模型叠加在待处理视频上进行显示。
例如，待处理视频和虚拟模型同时显示在显示设备上。
本公开至少一实施例还提供一种显示设备，图4为本公开至少一实施例提供的一种显示设备的示意性框图。
例如，如图4所示，显示设备20包括处理器200和存储器210。应当注意，图4所示的显示设备20的组件只是示例性的，而非限制性的，根据实际应用需要，该显示设备20还可以具有其他组件。
例如，处理器200和存储器210之间可以直接或间接地互相通信。
例如，处理器200和存储器210可以通过网络进行通信。网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合。处理器200和存储器210之间也可以通过系统总线实现相互通信，本公开对此不作限制。
例如，存储器210用于非瞬时性地存储计算机可读指令。处理器200用于运行计算机可读指令时，计算机可读指令被处理器200运行时实现根据上述任一实施例所述的视频处理方法。关于该视频处理方法的各个步骤的具体实现以及相关解释内容可以参见上述视频处理方法的实施例，重复之处在此不作赘述。
例如，处理器200和存储器210可以设置在服务器端(或云端)。
例如，处理器200可以控制显示设备20中的其它组件以执行期望的功能。处理器200可以是中央处理器(CPU)、网络处理器(NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。中央处理元(CPU)可以为X86或ARM架构等。
例如，存储器210可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机可读指令，处理器200可以运行所述计算机可读指令，以实现显示设备20的各种功能。在存储介质中还可以存储各种应用程序和各种数据等。
例如，在一些实施例中，显示设备20还包括视频采集装置和位姿估计装置。视频采集装置被配置为采集包括目标对象的视频以得到待处理视频；位姿估计装置被配置为实现位姿估计方法。
例如，视频采集装置可以包括相机、摄像机等可以拍摄视频和/或图像的装置。
例如，位姿估计装置配置可执行ARKit/ARCore，即位姿估计装置也可以通过ARKit软件、ARcore软件等实现采集位姿数据的功能。例如，位姿估计装置可以包括陀螺仪、加速度传感器和/或卫星定位装置等。又例如，位姿估计装置还可以通过SLAM技术实现采集位姿数据的功能。
例如，在一些实施例中，显示设备20可以为移动终端，例如，手机、平板电脑等，位姿估计装置和视频采集装置均设置在移动终端上，例如，位姿估计装置可以为移动终端内部设置的陀螺仪，视频采集装置可以为移动装置上的摄像头(例如，可以包括屏下摄像头等)。本公开不限于此，视频采集装置也可以设置在移动终端之外，例如，视频采集装置可以远程采集视频并通过网络传输到移动终端，以供移动终端进行后续处理。需要说明的是，视频采集装置和位姿估计装置需要一体设置，以便于位姿估计装置采集视频采集装置的位姿数据。
例如，显示设备20还可以包括显示面板，显示面板用于显示待处理视频和虚拟模型。例如，显示面板可以为矩形面板、圆形面板、椭圆形面板或多边形面板等。另外，显示面板不仅可以为平面面板，也可以为曲面面板，甚至球面面板。
例如，显示设备20可以具备触控功能，即显示设备20可以为触控显示设备。
例如，关于显示设备20执行视频处理方法的过程的详细说明可以参考视频处理方法的实施例中的相关描述，重复之处不再赘述。
图5为本公开至少一实施例提供的一种非瞬时性计算机可读存储介质的示意图。例如，如图5所示，在存储介质300上可以非暂时性地存储一个或多个计算机可读指令310。例如，当计算机可读指令310由处理器执行时可以执行根据上文所述的视频处理方法中的一个或多个步骤。
例如，该存储介质300可以应用于上述显示设备20中。例如，存储介质300可以包括显示设备20中的存储器210。
例如，关于存储介质300的说明可以参考显示设备20的实施例中对于存储器210的描述，重复之处不再赘述。
图6示出了适于用来实现本公开实施例的电子设备(例如电子设备可以包括上述实施例描述的显示设备)600的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置606加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置606；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置606被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，在本公开的上下文中，计算机可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是，但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(，包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
根据本公开的一个或多个实施例，一种视频处理方法用于显示设备，该视频处理方法包括：获取待处理视频，其中，待处理视频包括多个视频帧；采用目标跟踪方法对待处理视频进行目标检测；响应于根据目标跟踪方法在待处理视频的第n个视频帧检测到目标对象，从第n个视频帧开始，根据目标跟踪方法对目标对象进行目标跟踪处理；响应于目标跟踪方法在待处理视频的第m个视频帧无法检测到目标对象，从第m个视频帧开始，根据位姿估计方法获取显示设备的位姿数据，基于获取到的位姿数据，对目标对象进行目标跟踪处理，其中，n和m为小于等于多个视频帧的数量的正整数，且n小于m。
根据本公开的一个或多个实施例，视频处理方法还包括：响应于根据目标跟踪方法在待处理视频的第n个视频帧检测到目标对象，从第n个视频帧开始，基于检测到的目标对象，在显示设备上显示与目标对象对应的虚拟模型；响应于目标跟踪方法无法在待处理视频的第m个视频帧检测到目标对象，从第m个视频帧开始，基于获取到的位姿数据，在显示设备上显示与目标对象对应的虚拟模型。
根据本公开的一个或多个实施例，显示设备包括位姿估计装置，位姿估计方法由位姿估计装置实现，位姿估计装置配置为可执行ARKit/ARCore且包括位姿采集元件，从第m个视频帧开始，根据位姿估计方法获取显示设备的位姿数据，基于获取到的位姿数据，对目标对象进行目标跟踪处理，包括：从第m个视频帧开始，使用ARKit/ARCore获取显示设备的至少一个第一相对位姿，响应于根据至少一个第一相对位姿跟踪到目标对象，基于至少一个第一相对位姿进行目标跟踪处理，以跟踪目标对象；响应于根据至少一个第一相对位姿无法在待处理视频的第p个视频帧跟踪到目标对象，从第p个视频帧开始，利用位姿采集元件获取显示设备的至少一个第二相对位姿，基于至少一个第二相对位姿进行目标跟踪处理，以跟踪目标对象，其中，位姿数据包括至少一个第一相对位姿和至少一个第二相对位姿，p为小于等于多个视频帧的数量的正整数，且p大于m。
根据本公开的一个或多个实施例，基于所述至少一个第一相对位姿进行目标跟踪处理，以跟踪所述目标对象，包括：获取基于所述目标跟踪方法得到的所述显示设备在第(m-1)个视频帧时的位姿；获取基于所述ARKit/ARCore获取的所述显示设备在第(m+t1)个视频帧时的第一相对位姿；根据所述第(m-1)个视频帧时的位姿与所述目标对象所在的位置之间的关系和所述第(m+t1)个视频帧时的第一相对位姿，确定所述显示设备在所述第(m+t1)个视频帧时的位姿；基于所述显示设备在所述第(m+t1)个视频帧时的位姿进行目标跟踪处理，以跟踪所述目标对象，其中，t1为自然数，且0≤t1＜(p-m)。
根据本公开的一个或多个实施例，基于所述至少一个第二相对位姿进行目标跟踪处理，以跟踪所述目标对象，包括：获取所述显示设备在第(p-1)个视频帧时的位姿；获取基于所述位姿采集元件采集的所述显示设备在第(p+t2)个视频帧时的第二相对位姿；根据所述第(p-1)个视频帧时的位姿与所述目标对象所在的位置之间的关系和所述第(p+t2)个视频帧时的第二相对位姿，确定所述显示设备在所述第(p+t2)个视频帧时的位姿；基于所述显示设备在所述第(p+t2)个视频帧时的位姿进行目标跟踪处理，以跟踪所述目标对象，其中，t2为自然数。
根据本公开的一个或多个实施例，获取所述显示设备在第(p-1)个视频帧时的位姿包括：获取基于所述目标跟踪方法得到的所述显示设备在第(m-1)个视频帧时的位姿；获取基于所述ARKit/ARCore获取的所述显示设备在所述第(p-1)个视频帧时的第一相对位姿；根据所述第(m-1)个视频帧时的位姿与所述目标对象所在的位置之间的关系和所述第(p-1)个视频帧时的第一相对位姿，确定所述显示设备在所述第(p-1)个视频帧时的位姿。
根据本公开的一个或多个实施例，所述显示设备包括位姿估计装置，所述位姿估计方法由所述位姿估计装置实现，所述位姿估计装置包括位姿采集元件，根据位姿估计方法获取所述显示设备的位姿数据，基于获取到的所述位姿数据，对所述目标对象进行目标跟踪处理，包括：从所述第m个视频帧开始，利用所述位姿采集元件获取所述显示设备的至少一个第二相对位姿，基于所述至少一个第二相对位姿进行目标跟踪处理，以跟踪所述目标对象，其中，所述位姿数据包括所述至少一个第二相对位姿。
根据本公开的一个或多个实施例，基于所述至少一个第二相对位姿进行目标跟踪处理，以跟踪所述目标对象，包括：获取基于所述目标跟踪方法得到的所述显示设备在第(m-1)个视频帧时的位姿；获取基于所述位姿采集元件采集的所述显示设备在第(m+t3)个视频帧时的第二相对位姿；根据所述第(m-1)个视频帧时的位姿与所述目标对象所在的位置之间的关系和所述第(m+t3)个视频帧时的第二相对位姿，确定所述显示设备在所述第(m+t3)个视频帧时的位姿；基于所述显示设备在所述第(m+t3)个视频帧时的位姿进行目标跟踪处理，以跟踪所述目标对象，其中，t3为自然数。
根据本公开的一个或多个实施例，所述位姿采集元件包括陀螺仪；或者，所述位姿采集元件包括陀螺仪和加速度传感器。
根据本公开的一个或多个实施例，所述待处理视频包括所述目标对象，所述目标对象包括地标建筑，所述显示设备包括视频采集装置，获取待处理视频包括：利用所述视频采集装置采集包括所述目标对象的视频以得到所述待处理视频。
根据本公开的一个或多个实施例，所述虚拟模型为增强现实特效模型。
根据本公开的一个或多个实施例，在所述显示设备上显示与所述目标对象对应的所述虚拟模型，包括：显示所述待处理视频；将所述虚拟模型叠加在所述待处理视频上进行显示。
根据本公开的一个或多个实施例，一种显示设备，包括：存储器，用于非瞬时性地存储计算机可读指令；处理器，用于运行所述计算机可读指令，所述计算机可读指令被所述处理器运行时实现根据本公开任一实施例所述的视频处理方法。
根据本公开的一个或多个实施例，显示设备还包括：视频采集装置和位姿估计装置，视频采集装置被配置为采集包括所述目标对象的视频以得到所述待处理视频；所述位姿估计装置被配置为实现所述位姿估计方法。
根据本公开的一个或多个实施例，所述视频采集装置包括相机，所述位姿估计装置配置可执行ARKit/ARCore，且包括陀螺仪、加速度传感器和/或卫星定位装置。
根据本公开的一个或多个实施例，所述显示设备为移动终端，所述位姿估计装置和所述视频采集装置均设置在所述移动终端上。
根据本公开的一个或多个实施例，一种非瞬时性计算机可读存储介质，其中，非瞬时性计算机可读存储介质存储有计算机可读指令，计算机可读指令被处理器执行时实现根据本公开任一实施例所述的视频处理方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
对于本公开，还有以下几点需要说明：
(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。
(2)为了清晰起见，在用于描述本发明的实施例的附图中，层或结构的厚度和尺寸被放大。可以理解，当诸如层、膜、区域或基板之类的元件被称作位于另一元件“上”或“下”时，该元件可以“直接”位于另一元件“上”或“下”，或者可以存在中间元件。
(3)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上所述仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种视频处理方法，应用于显示设备，包括：
获取待处理视频，其中，所述待处理视频包括多个视频帧；
采用目标跟踪方法对所述待处理视频进行目标检测；
响应于根据所述目标跟踪方法在所述待处理视频的第n个视频帧检测到目标对象，从所述第n个视频帧开始，根据所述目标跟踪方法对所述目标对象进行目标跟踪处理；
响应于所述目标跟踪方法在所述待处理视频的第m个视频帧无法检测到所述目标对象，从所述第m个视频帧开始，根据位姿估计方法获取所述显示设备的位姿数据，基于获取到的所述位姿数据，对所述目标对象进行目标跟踪处理，
其中，n和m为小于等于所述多个视频帧的数量的正整数，且n小于m。
2.根据权利要求1所述的视频处理方法，还包括：
响应于根据所述目标跟踪方法在所述待处理视频的第n个视频帧检测到所述目标对象，从所述第n个视频帧开始，基于检测到的所述目标对象，在所述显示设备上显示与所述目标对象对应的虚拟模型；
响应于所述目标跟踪方法无法在所述待处理视频的第m个视频帧检测到所述目标对象，从所述第m个视频帧开始，基于获取到的所述位姿数据，在所述显示设备上显示与所述目标对象对应的所述虚拟模型。
3.根据权利要求1所述的视频处理方法，其中，所述显示设备包括位姿估计装置，所述位姿估计方法由所述位姿估计装置实现，所述位姿估计装置配置为可执行ARKit/ARCore且包括位姿采集元件，
从所述第m个视频帧开始，根据位姿估计方法获取所述显示设备的位姿数据，基于获取到的所述位姿数据，对所述目标对象进行目标跟踪处理，包括：
从所述第m个视频帧开始，使用所述ARKit/ARCore获取所述显示设备的至少一个第一相对位姿，响应于根据所述至少一个第一相对位姿跟踪到所述目标对象，基于所述至少一个第一相对位姿进行目标跟踪处理，以跟踪所述目标对象；
响应于根据所述至少一个第一相对位姿无法在所述待处理视频的第p个视频帧跟踪到所述目标对象，从所述第p个视频帧开始，利用所述位姿采集元件获取所述显示设备的至少一个第二相对位姿，基于所述至少一个第二相对位姿进行目标跟踪处理，以跟踪所述目标对象，
其中，所述位姿数据包括所述至少一个第一相对位姿和所述至少一个第二相对位姿，p为小于等于所述多个视频帧的数量的正整数，且p大于m。
4.根据权利要求3所述的视频处理方法，其中，基于所述至少一个第一相对位姿进行目标跟踪处理，以跟踪所述目标对象，包括：
获取基于所述目标跟踪方法得到的所述显示设备在第(m-1)个视频帧时的位姿；
获取基于所述ARKit/ARCore获取的所述显示设备在第(m+t1)个视频帧时的第一相对位姿；
根据所述第(m-1)个视频帧时的位姿与所述目标对象所在的位置之间的关系和所述第(m+t1)个视频帧时的第一相对位姿，确定所述显示设备在所述第(m+t1)个视频帧时的位姿；
基于所述显示设备在所述第(m+t1)个视频帧时的位姿进行目标跟踪处理，以跟踪所述目标对象，
其中，t1为自然数，且0≤t1＜(p-m)。
5.根据权利要求3所述的视频处理方法，其中，基于所述至少一个第二相对位姿进行目标跟踪处理，以跟踪所述目标对象，包括：
获取所述显示设备在第(p-1)个视频帧时的位姿；
获取基于所述位姿采集元件采集的所述显示设备在第(p+t2)个视频帧时的第二相对位姿；
根据所述第(p-1)个视频帧时的位姿与所述目标对象所在的位置之间的关系和所述第(p+t2)个视频帧时的第二相对位姿，确定所述显示设备在所述第(p+t2)个视频帧时的位姿；
基于所述显示设备在所述第(p+t2)个视频帧时的位姿进行目标跟踪处理，以跟踪所述目标对象，
其中，t2为自然数。
6.根据权利要求5所述的视频处理方法，其中，获取所述显示设备在第(p-1)个视频帧时的位姿包括：
获取基于所述目标跟踪方法得到的所述显示设备在第(m-1)个视频帧时的位姿；
获取基于所述ARKit/ARCore获取的所述显示设备在所述第(p-1)个视频帧时的第一相对位姿；
根据所述第(m-1)个视频帧时的位姿与所述目标对象所在的位置之间的关系和所述第(p-1)个视频帧时的第一相对位姿，确定所述显示设备在所述第(p-1)个视频帧时的位姿。
7.根据权利要求1所述的视频处理方法，其中，所述显示设备包括位姿估计装置，所述位姿估计方法由所述位姿估计装置实现，所述位姿估计装置包括位姿采集元件，
根据位姿估计方法获取所述显示设备的位姿数据，基于获取到的所述位姿数据，对所述目标对象进行目标跟踪处理，包括：
从所述第m个视频帧开始，利用所述位姿采集元件获取所述显示设备的至少一个第二相对位姿，基于所述至少一个第二相对位姿进行目标跟踪处理，以跟踪所述目标对象，
其中，所述位姿数据包括所述至少一个第二相对位姿。
8.根据权利要求7所述的视频处理方法，其中，基于所述至少一个第二相对位姿进行目标跟踪处理，以跟踪所述目标对象，包括：
获取基于所述目标跟踪方法得到的所述显示设备在第(m-1)个视频帧时的位姿；
获取基于所述位姿采集元件采集的所述显示设备在第(m+t3)个视频帧时的第二相对位姿；
根据所述第(m-1)个视频帧时的位姿与所述目标对象所在的位置之间的关系和所述第(m+t3)个视频帧时的第二相对位姿，确定所述显示设备在所述第(m+t3)个视频帧时的位姿；
基于所述显示设备在所述第(m+t3)个视频帧时的位姿进行目标跟踪处理，以跟踪所述目标对象，
其中，t3为自然数。
9.根据权利要求3-8任一项所述的视频处理方法，其中，所述位姿采集元件包括陀螺仪；或者，所述位姿采集元件包括陀螺仪和加速度传感器。
10.根据权利要求1-8任一项所述视频处理方法，其中，所述待处理视频包括所述目标对象，所述目标对象包括地标建筑，所述显示设备包括视频采集装置，
获取待处理视频包括：利用所述视频采集装置采集包括所述目标对象的视频以得到所述待处理视频。
11.根据权利要求2所述视频处理方法，其中，所述虚拟模型为增强现实特效模型。
12.根据权利要求2或11所述视频处理方法，其中，在所述显示设备上显示与所述目标对象对应的所述虚拟模型，包括：
显示所述待处理视频；
将所述虚拟模型叠加在所述待处理视频上进行显示。
13.一种显示设备，包括：
存储器，用于非瞬时性地存储计算机可读指令；
处理器，用于运行所述计算机可读指令，所述计算机可读指令被所述处理器运行时实现根据权利要求1～12任一项所述的视频处理方法。
14.根据权利要求13所述的显示设备，还包括：视频采集装置和位姿估计装置，
其中，所述视频采集装置被配置为采集包括所述目标对象的视频以得到所述待处理视频；
所述位姿估计装置被配置为实现所述位姿估计方法。
15.根据权利要求14所述的显示设备，其中，所述视频采集装置包括相机，所述位姿估计装置配置可执行ARKit/ARCore，且包括陀螺仪、加速度传感器和/或卫星定位装置。
16.根据权利要求14或15所述的显示设备，其中，所述显示设备为移动终端，所述位姿估计装置和所述视频采集装置均设置在所述移动终端上。
17.一种非瞬时性计算机可读存储介质，其中，所述非瞬时性计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现根据权利要求1～12中任一项所述的视频处理方法。
CN202110096253.3A 2021-01-25 2021-01-25 视频处理方法、显示设备和存储介质 Active CN112887793B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110096253.3A CN112887793B (zh) 2021-01-25 2021-01-25 视频处理方法、显示设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110096253.3A CN112887793B (zh) 2021-01-25 2021-01-25 视频处理方法、显示设备和存储介质

Publications (2)

Publication Number Publication Date
CN112887793A true CN112887793A (zh) 2021-06-01
CN112887793B CN112887793B (zh) 2023-06-13

Family

ID=76050880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110096253.3A Active CN112887793B (zh) 2021-01-25 2021-01-25 视频处理方法、显示设备和存储介质

Country Status (1)

Country Link
CN (1) CN112887793B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658232A (zh) * 2021-07-13 2021-11-16 广东技术师范大学 基于视频跟踪的建模方法、装置及计算机可读程序介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120224068A1 (en) * 2011-03-04 2012-09-06 Qualcomm Incorporated Dynamic template tracking
WO2015051324A1 (en) * 2013-10-04 2015-04-09 Qualcomm Incorporated Dynamic extension of map data for object detection and tracking
WO2015050773A1 (en) * 2013-10-04 2015-04-09 Qualcomm Incorporated Object tracking based on dynamically built environment map data
CN106303706A (zh) * 2016-08-31 2017-01-04 杭州当虹科技有限公司 基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法
CN108564045A (zh) * 2018-04-17 2018-09-21 广州腾讯科技有限公司 增强现实的数据处理方法、装置、存储介质和计算机设备
US20180300950A1 (en) * 2017-04-17 2018-10-18 Htc Corporation 3d model reconstruction method, electronic device, and non-transitory computer readable storage medium
CN109635657A (zh) * 2018-11-12 2019-04-16 平安科技（深圳）有限公司 目标跟踪方法、装置、设备及存储介质
CN110599605A (zh) * 2019-09-10 2019-12-20 腾讯科技（深圳）有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
CN110858414A (zh) * 2018-08-13 2020-03-03 北京嘀嘀无限科技发展有限公司 图像处理方法、装置、可读存储介质与增强现实系统
CN111311758A (zh) * 2020-02-24 2020-06-19 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备
WO2020135529A1 (zh) * 2018-12-25 2020-07-02 浙江商汤科技开发有限公司 位姿估计方法及装置、电子设备和存储介质
CN111768454A (zh) * 2020-08-05 2020-10-13 腾讯科技（深圳）有限公司 位姿确定方法、装置、设备及存储介质
CN112102364A (zh) * 2020-09-22 2020-12-18 广州华多网络科技有限公司 目标物跟踪方法、装置、电子设备及存储介质
CN112233252A (zh) * 2020-10-23 2021-01-15 上海影谱科技有限公司 一种基于特征匹配与光流融合的ar目标跟踪方法及系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120224068A1 (en) * 2011-03-04 2012-09-06 Qualcomm Incorporated Dynamic template tracking
WO2015051324A1 (en) * 2013-10-04 2015-04-09 Qualcomm Incorporated Dynamic extension of map data for object detection and tracking
WO2015050773A1 (en) * 2013-10-04 2015-04-09 Qualcomm Incorporated Object tracking based on dynamically built environment map data
CN106303706A (zh) * 2016-08-31 2017-01-04 杭州当虹科技有限公司 基于人脸和物件跟踪实现以主角跟随视角观看虚拟现实视频的方法
US20180300950A1 (en) * 2017-04-17 2018-10-18 Htc Corporation 3d model reconstruction method, electronic device, and non-transitory computer readable storage medium
CN108564045A (zh) * 2018-04-17 2018-09-21 广州腾讯科技有限公司 增强现实的数据处理方法、装置、存储介质和计算机设备
CN110858414A (zh) * 2018-08-13 2020-03-03 北京嘀嘀无限科技发展有限公司 图像处理方法、装置、可读存储介质与增强现实系统
CN109635657A (zh) * 2018-11-12 2019-04-16 平安科技（深圳）有限公司 目标跟踪方法、装置、设备及存储介质
WO2020135529A1 (zh) * 2018-12-25 2020-07-02 浙江商汤科技开发有限公司 位姿估计方法及装置、电子设备和存储介质
CN110599605A (zh) * 2019-09-10 2019-12-20 腾讯科技（深圳）有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
CN111311758A (zh) * 2020-02-24 2020-06-19 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备
CN111768454A (zh) * 2020-08-05 2020-10-13 腾讯科技（深圳）有限公司 位姿确定方法、装置、设备及存储介质
CN112102364A (zh) * 2020-09-22 2020-12-18 广州华多网络科技有限公司 目标物跟踪方法、装置、电子设备及存储介质
CN112233252A (zh) * 2020-10-23 2021-01-15 上海影谱科技有限公司 一种基于特征匹配与光流融合的ar目标跟踪方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘紫燕;唐虎;冯亮;: "基于FPGA的机器视觉技术视频跟踪系统实现", 电子科技 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658232A (zh) * 2021-07-13 2021-11-16 广东技术师范大学 基于视频跟踪的建模方法、装置及计算机可读程序介质
CN113658232B (zh) * 2021-07-13 2024-01-05 杭州追形视频科技有限公司 基于视频跟踪的建模方法、装置及计算机可读程序介质

Also Published As

Publication number Publication date
CN112887793B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US9558559B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
CN112333491B (zh) 视频处理方法、显示装置和存储介质
US9031283B2 (en) Sensor-aided wide-area localization on mobile devices
CN112288853B (zh) 三维重建方法、三维重建装置、存储介质
CN111127563A (zh) 联合标定方法、装置、电子设备及存储介质
CN109461208B (zh) 三维地图处理方法、装置、介质和计算设备
CN112907652B (zh) 相机姿态获取方法、视频处理方法、显示设备和存储介质
JP2017146749A (ja) 制御プログラム、制御方法およびコンピュータ
US9600932B2 (en) Three dimensional navigation among photos
CN102446048A (zh) 信息处理设备以及信息处理方法
CN112815923B (zh) 视觉定位方法和装置
WO2018214778A1 (zh) 一种虚拟对象的展示方法及装置
CN115439528B (zh) 一种获取目标对象的图像位置信息的方法与设备
CN112887793B (zh) 视频处理方法、显示设备和存储介质
CN114185073A (zh) 一种位姿显示方法、装置及系统
CN116858215B (zh) 一种ar导航地图生成方法及装置
WO2012004622A1 (en) An augmented reality method, and a corresponding system and software
CN112068703A (zh) 目标物体的控制方法、装置、电子设备及存储介质
CN112132909B (zh) 参数获取方法及装置、媒体数据处理方法和存储介质
CN114529452A (zh) 用于显示图像的方法、装置和电子设备
CN114332224A (zh) 3d目标检测样本的生成方法、装置、设备及存储介质
CN111581322A (zh) 视频中兴趣区域在地图窗口内显示的方法和装置及设备
Chang et al. Augmented reality services of photos and videos from filming sites using their shooting locations and attitudes
CN115967796A (zh) Ar对象共享方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant