CN115361576A - 视频数据处理方法、装置，以及，电子设备 - Google Patents

视频数据处理方法、装置，以及，电子设备 Download PDF

Info

Publication number
CN115361576A
CN115361576A CN202210852428.3A CN202210852428A CN115361576A CN 115361576 A CN115361576 A CN 115361576A CN 202210852428 A CN202210852428 A CN 202210852428A CN 115361576 A CN115361576 A CN 115361576A
Authority
CN
China
Prior art keywords
image frame
target
image
real
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210852428.3A
Other languages
English (en)
Inventor
李武璇
陈芃
朱雄增
谢苑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202210852428.3A priority Critical patent/CN115361576A/zh
Publication of CN115361576A publication Critical patent/CN115361576A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种视频数据处理方法及装置，属于AR技术领域，能够提升AR应用场景下虚拟信息与真实场景的融合度，识别准确性。所述方法包括：从目标现实场景的实时三维视频流中获取N个图像帧，发送至不同计算节点进行视频图像处理，得到每个图像帧中各目标物的目标物信息和位置；将目标物信息在相应图像帧中进行三维注册，得到叠加有目标物信息的相应图像帧数据；根据图像帧数据进行图层渲染，得到相应图像帧对应的渲染图像；按照相应图像帧的时间戳先后顺序，将渲染图像发送至显示设备进行显示。本方法提升了虚拟信息与真实场景的融合度、目标物体识别准确性。

Description

视频数据处理方法、装置，以及，电子设备
技术领域
本申请涉及AR技术领域，特别是涉及视频数据处理方法、装置、电子设备及计算机可读存储介质。
背景技术
在AR(增强现实，Augmented Reality，简称AR)技术应用过程中，通常需利用AR设备对真实场景的二维视频图像进行实时采集，对所采集的场景图像中目标物进行识别后，将识别得到的目标物信息叠加在真实场景图像上。这种AR应用可以为个人及企业用户提供快速扫描识别及实时AR融合输出能力，有助于实现传统巡检、监管等场景向创新化信息直观展示模式的转变。然而，二维图像不能全面反映物体的实际位置、姿态，无法反映出真实场景中的深度信息，且较难判断物体间是否有相互遮挡，导致在AR技术应用场景下，虚拟信息与真实场景的融合度不足、识别准确性低。
可见，现有技术中的视频场景的AR应用还需要改进。
发明内容
本申请实施例提供一种视频数据处理方法及装置，能够提升AR技术应用场景下，虚拟信息与真实场景的融合度，目标物识别准确性。
第一方面，本申请实施例提供了一种视频数据处理方法，包括：
从目标现实场景的实时三维视频流中获取N个图像帧，分别发送至不同计算节点进行视频图像处理，得到每个所述图像帧中各目标物的目标物信息和位置，其中，N为大于1的自然数；
按照所述位置，分别对各所述计算节点得到的所述目标物信息在相应所述图像帧中进行三维注册，得到叠加有所述目标物信息的相应图像帧数据；
根据所述图像帧数据分别进行图层渲染，得到相应所述图像帧对应的渲染图像；
按照相应图像帧的时间戳先后顺序，将所述渲染图像发送至指定显示设备进行显示。
可选的，所述从目标现实场景的实时三维视频流中获取N个图像帧，分别发送至不同计算节点进行视频图像处理，得到每个所述图像帧中各目标物的目标物信息和位置的步骤，包括：
从目标现实场景的实时三维视频流中获取N个图像帧；
将每个所述图像帧发送至不同计算节点进行视频图像处理，得到相应所述图像帧中各目标物的目标特征描述符和位置；
对于每个所述图像帧，基于预设目标物特征描述符数据库，分别对所述图像帧中各目标物的所述目标特征描述符进行匹配识别，获取所述图像帧中各所述目标物各自的目标物信息。
可选的，所述从目标现实场景的实时三维视频流中获取N个图像帧，包括：
通过分布式数据处理技术，分解目标现实场景的实时三维视频流的视频图像处理任务，得到N个图像帧。
可选的，通过分布式数据处理技术，分解目标现实场景的实时三维视频流的视频图像处理任务，得到N个图像帧，包括：
从目标现实场景的实时三维视频流中采集N个图像帧的视频数据；
将每个所述图像帧的所述视频数据独立封装成二进制视频流，发送到分布式消息队列中；
从所述分布式消息队列中获取各所述二进制视频流，并根据所述二进制视频流生成对应的图像帧。
可选的，所述从所述分布式消息队列中获取各所述二进制视频流，并根据所述二进制视频流生成对应的图像帧，包括：
采用数据执行引擎Spark从所述分布式消息队列中获取所述二进制视频流；
根据所述二进制视频流解码生成对应的图像帧。
可选的，所述预设目标物特征描述符数据库是预先离线建立的，所述预设目标物特征描述符数据库中包括：目标物的目标特征描述符和目标物信息的关联关系。
第二方面，本申请实施例提供了一种视频数据处理装置，包括：
目标物信息和位置获取模块，用于从目标现实场景的实时三维视频流中获取N个图像帧，分别发送至不同计算节点进行视频图像处理，得到每个所述图像帧中各目标物的目标物信息和位置，其中，N为大于1的自然数；
目标物信息叠加模块，用于按照所述位置，分别对各所述计算节点得到的所述目标物信息在相应所述图像帧中进行三维注册，得到叠加有所述目标物信息的相应图像帧数据；
渲染模块，用于根据所述图像帧数据分别进行图层渲染，得到相应所述图像帧对应的渲染图像；
显示模块，用于按照相应图像帧的时间戳先后顺序，将所述渲染图像发送至指定显示设备进行显示。
可选的，所述目标物信息和位置获取模块，进一步用于：
从目标现实场景的实时三维视频流中获取N个图像帧；
将每个所述图像帧发送至不同计算节点进行视频图像处理，得到相应所述图像帧中各目标物的目标特征描述符和位置；
对于每个所述图像帧，基于预设目标物特征描述符数据库，分别对所述图像帧中各目标物的所述目标特征描述符进行匹配识别，获取所述图像帧中各所述目标物各自的目标物信息。
可选的，所述从目标现实场景的实时三维视频流中获取N个图像帧，包括：
通过分布式数据处理技术，分解目标现实场景的实时三维视频流的视频图像处理任务，得到N个图像帧
可选的，通过分布式数据处理技术，分解目标现实场景的实时三维视频流的视频图像处理任务，得到N个图像帧，包括：
从目标现实场景的实时三维视频流中采集N个图像帧的视频数据；
将每个所述图像帧的所述视频数据独立封装成二进制视频流，发送到分布式消息队列中；
从所述分布式消息队列中获取各所述二进制视频流，并根据所述二进制视频流生成对应的图像帧。
本申请的一些实施例中，所述从所述分布式消息队列中获取各所述二进制视频流，并根据所述二进制视频流生成对应的图像帧，包括：
采用数据执行引擎Spark从所述分布式消息队列中获取所述二进制视频流；
根据所述二进制视频流解码生成对应的图像帧。
本申请的一些实施例中，所述预设目标物特征描述符数据库是预先离线建立的，所述预设目标物特征描述符数据库中包括：目标物的目标特征描述符和目标物信息的关联关系。
第三方面，本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的视频数据处理方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的视频数据处理方法的步骤。
本申请实施例公开的视频数据处理方法，通过从目标现实场景的实时三维视频流中获取N个图像帧，分别发送至不同计算节点进行视频图像处理，得到每个所述图像帧中各目标物的目标物信息和位置，其中，N为大于1的自然数；按照所述位置，分别对各所述计算节点得到的所述目标物信息在相应所述图像帧中进行三维注册，得到叠加有所述目标物信息的相应图像帧数据；根据所述图像帧数据分别进行图层渲染，得到相应所述图像帧对应的渲染图像；按照相应图像帧的时间戳先后顺序，将所述渲染图像发送至指定显示设备进行显示，能够提升AR技术应用场景下，虚拟信息与真实场景的融合度，目标物识别准确性，并且，能够保障现实场景信息和虚拟信息的融合显示实时性。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1是本申请实施例中的视频数据处理方法流程图之一；
图2是本申请实施例中的视频数据处理方法实施系统架构示意图；
图3是本申请实施例中的视频数据处理方法应用场景示意图；
图4是本申请实施例中的视频数据处理装置结构示意图；
图5示意性地示出了用于执行根据本申请的方法的电子设备的框图；以及
图6示意性地示出了用于保持或者携带实现根据本申请的方法的程序代码的存储单元。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
如图1所示，本申请实施例公开的一种视频数据处理方法，包括：步骤100至步骤140。
步骤110，从目标现实场景的实时三维视频流中获取N个图像帧，分别发送至不同计算节点进行视频图像处理，得到每个所述图像帧中各目标物的目标物信息和位置。
其中，N为大于1的自然数。
本申请实施例中所述的目标现实场景为基于采集的视频图像进行场景展示的场景，包括但不限于：交互式展示与培训、智慧监管、数字化巡检等场景。
随着三维数据采集设备逐渐普遍，将三维图像中物体进行识别结果应用于AR技术中，能改提升目标物信息获取的准确度，以及，有助于应用可拓展性。本申请的实施例中，基于目标现实场景的实时三维视频流进行视频数据处理，以从原始视频图像中获取更加丰富的信息，例如提取目标物的几何、结构、色彩、坐标等信息，以提升视频图像中目标物识别的准确度，并可以拓展更加丰富的AR应用。因此，本申请实施例中，从目标现实场景的实时三维视频流中采样视频图像帧，以用于后续的虚实融合的场景信息展示。
本申请实施例中所述的实时三维视频流可以为通过部署在该目标现实场景中的三维视频图像采集设备采集的视频流，也可以为通过部署在目标现实场景中的多个二维图像采集的二维视频流，之后，对二位视频流进行点云化，得到的三维视频流。本申请实施例中，对实时三维视频流的获取方法不做限定。
其中，所述N个图像帧可以为按照预设频率，从目标现实场景的实时三维视频流中采样得到的图像帧。例如，数字化巡检的机房实时三维视频流为每秒采集30帧视频图像的视频流，则可以按照每秒采样3帧的频率，从这30帧视频图像中采集3帧图像帧。
之后，采集的N帧图像帧分别发送至不同计算节点进行视频图像处理，得到每个所述图像帧中各目标物的目标物信息和位置。其中，所述进行视频图像处理包括但不限于：识别每帧图像帧中包括的各个目标物、获取每个所述目标物在相应图像中的位置坐标、各个所述目标物匹配的目标物信息。
本申请的实施例中，所述目标物信息根据具体应用确定，不同目标无的目标物信息类别可以相同也可以不同。例如，对于机房场景，目标物可以为服务器，相应的，目标物信息可以为服务器的型号、性能、当前使用状态等信息。
三维物体识别通常是基于三维点云数据来进行识别的，由于三维点云数据中包括了物体的几何、结构、色彩、坐标等组合信息，存在数据量巨大的特点，现有技术中基于三维图像的AR应用存在计算速度慢，识别效率低，实时性差的缺陷。本申请的实施例中，为了提升AR应用的实时性，即提升在现实场景的实时视频流中叠加显示目标物信息的实时性，将N个图像帧发送到N个计算节点进行视频图像处理，每个计算节点对一帧图像帧进行视频图像处理，以得到该图像帧中各目标物的目标物信息和位置，从而提升N帧视频图像的处理速度。
步骤120，按照所述位置，分别对各所述计算节点得到的所述目标物信息在相应所述图像帧中进行三维注册，得到叠加有所述目标物信息的相应图像帧数据。
三维注册指的是通过计算机图形学的分析过程,获得三维空间中具体物体准确的坐标,然后根据获得的坐标把计算机生成的虚拟物体拼接到实景空间中去,使得真实环境和虚拟物体能够准确地无缝融合。
本申请的实施例中，在得到每个所述计算节点对相应图像帧进行视频图像处理得到该图像帧中的各个目标物的目标物信息和位置之后，对于每个图像帧，进一步将该图像帧中各个目标物的目标物信息，叠加在该目标物在图像中的位置附近，得到叠加有所述目标物信息的相应图像帧数据，以实现基于叠加有所述目标物信息的相应图像帧数据进行图像显示时，在相应目标物附近显示有该目标物的所述目标物信息的显示效果。目标物信息可以跟随目标物移动，实现了真实环境和目标物信息(即虚拟信息)的无缝融合。
步骤130，根据所述图像帧数据分别进行图层渲染，得到相应所述图像帧对应的渲染图像。
接下来，根据叠加有所述目标物信息的相应图像帧数据，进行图层渲染，得到相应所述图像帧对应的渲染图像。例如，根据所述图像帧数据中的原始图象数据进行底层图像渲染，根据所述图像帧数据中的目标物信息进行顶层图像渲染，从而得到相应所述图像帧对应的渲染图像。
本申请的一些实施例中，所述图像帧数据中还可以包括多个图层的数据，不同图层的数据对应三维图像中不同深度的目标物的图像数据。进一步的，可以根据不同图层的数据依次进行图像渲染，从而得到该图像帧对应的渲染图像。
按照此方法，N个图像帧分别融合目标物数据后，得到N帧图像帧数据。根据每帧图像帧数据进行分层渲染之后，可以得到N幅渲染图像，其中，每幅渲染图像对应一个图像帧。
步骤140，按照相应图像帧的时间戳先后顺序，将所述渲染图像发送至指定显示设备进行显示。
经过前述步骤之后，可以得到N帧图像帧各自对应的一幅渲染图像，接下来，按照N帧图像帧各自的时间戳的先后顺序，依次将各帧图像帧对应的渲染图像发送到指定显示设备进行显示。例如，将各帧图像帧对应的渲染图像依次发送至AR设备进行显示。
为了便于读者理解本申请实施例中公开的AR应用中的视频数据处理方法，下面对从图像帧中获取目标物信息和位置的具体实施方式进行进一步说明。
本申请的一些实施例中，所述从目标现实场景的实时三维视频流中获取N个图像帧，分别发送至不同计算节点进行视频图像处理，得到每个所述图像帧中各目标物的目标物信息和位置，包括：从目标现实场景的实时三维视频流中获取N个图像帧；将每个所述图像帧发送至不同计算节点进行视频图像处理，得到相应所述图像帧中各目标物的目标特征描述符和位置；对于每个所述图像帧，基于预设目标物特征描述符数据库，分别对所述图像帧中各目标物的所述目标特征描述符进行匹配识别，获取所述图像帧中各所述目标物各自的目标物信息。
从目标现实场景的实时三维视频流中获取N个图像帧的具体实施方式如前文所述，此处不再赘述。
将每个所述图像帧发送至不同计算节点进行视频图像处理之后，每个所述计算节点分别对一帧图像帧进行视频图像处理，得到相应所述图像帧中各目标物的目标特征描述符和位置。其中，所述目标特征描述符为描述目标无特征的向量表示。本申请的一些实施例中，计算节点在识别到图像帧中的目标物之后，首先确定目标物在该图像帧中的位置坐标，之后，可以将目标物关键点邻域内每两个点的法向量角度差值和距离差值使用直方图进行统计，计算出的特征向量，作为该目标物的目标特征描述符。这样，对于每帧图像帧，计算节点可以得到其中的各个目标物的目标特征描述符。
本申请的另一些实施例中，还可以采用其他方法计算目标特征描述符，本申请实施例中，对视频图像帧中识别目标无的具体方法不做限定，对获取目标物的目标特征描述符的具体实施方式不做限定。
本申请的一些实施例中，在从目标现实场景的实时三维视频流中获取N个图像帧，分别发送至不同计算节点进行视频图像处理，得到每个所述图像帧中各目标物的目标物信息和位置之前，还包括：离线建立目标物特征描述符数据库。所述目标物特征描述符数据库中包括：目标物的目标特征描述符和目标物信息的关联关系。
例如，通过预先采集可能在视频图像中出现的目标物的图像，并采用前述方法，获取每幅图像中的目标物的所述目标特征描述符，之后，将各个目标物的所述目标特征描述符与相应目标物的目标物信息关联存储在数据库中，作为离线数据，供后续匹配使用。
在每个所述图像帧中各目标物各自匹配的目标物信息之后，对于每个所述图像帧，可以将其中包括的每个目标物的目标特征描述符(例如记为C_cur)作为待识别目标特征描述符，分别与预设目标物特征描述符数据库中的目标特征描述符(例如记为Ci)进行匹配，并将匹配成功的预设目标物特征描述符数据库中的目标特征描述符(如前述Ci)关联存储的目标物信息，作为该待识别目标特征描述符(如前述C_cur)所对应的目标物的目标物信息。
本申请的一些实施例中，为了保障AR应用的实时性，采用主流的J2EE开发标准，微服务体系结构，容器化承载，支持跨平台、跨数据库应用。通过调用Open CV库(一种开源接口库)、点云PCL库中的函数接口，结合docker对服务、插件和中间件(如Tomcat、Nginx、Mycat、Mysql、ElasticSearch)进行容器化部署。整体算法技术路线先进、可行、合理、成熟。
本申请的一些实施例中，所述从目标现实场景的实时三维视频流中获取N个图像帧，包括：通过分布式数据处理技术，分解目标现实场景的实时三维视频流的视频图像处理任务，得到N个图像帧。所述分布式数据处理技术包括：实时数据流处理技术和数据传输技术。
本申请的一些实施例中，通过分布式数据处理技术，分解目标现实场景的实时三维视频流的视频图像处理任务，得到N个图像帧，包括：从目标现实场景的实时三维视频流中采集N个图像帧的视频数据；将每个所述图像帧的所述视频数据独立封装成二进制视频流，发送到分布式消息队列中；从所述分布式消息队列中获取各所述二进制视频流，并根据所述二进制视频流生成对应的图像帧。例如，可以将每一帧图像帧作为一个基本单元，将每一帧图像帧的图像数据封装成封装成一个二进制视频流，发送到kafka(一种分布式消息队列)分布式消息队列中。通过将每一帧所述图像帧单独封装一个二进制视频流，独立分发，便于后续独立读取，从而实现分布式处理。
本申请的一些实施例中，所述从所述分布式消息队列中获取各所述二进制视频流，并根据所述二进制视频流生成对应的图像帧，包括：采用数据执行引擎Spark从所述分布式消息队列中获取所述二进制视频流；根据所述二进制视频流解码生成对应的图像帧。例如，利用Spark Streaming框架(一种实时视频流技术)，由数据执行引擎Spark从Kafka端获取二进制视频流数据，之后，将获取的二进制视频流数据解码为图片，即视频图像。通过利用Spark技术对视频流的分发和计算进行加速，有助于提升目标物识别的速录，从而提升AR应用的实时性。
下面结合图2所示的视频数据处理方法一种实施系统架构示意图，图本方法的实施方式进行进一步说明。
如图2所示，所述实施系统架构包括：数据采集、数据存储、数据处理、数据服务，以及，业务应用共五个模块。下面分别对各个模块在视频数据处理方法中的作用进行举例说明。
数据采集模块利用Flume对海量分布式数据进行采集、聚合和传输、处理。例如，用于在离线建立预设目标物特征描述符数据库时，通过部署在各个场景的AR设备采集、聚合和传输目标物图像、在具体应用过程中，采集各个现实场景的实时三维视频流，并进行聚合、传输等。
数据存储模块通过Mysql、Hdfs等数据存储技术对分布式列式数据提供存储服务。由Sqoop工具在Hive与Mysql间进行数据传递。用Mq(消息队列)消息技术解决流量削峰等问题，实现高性能，高可用，可伸缩和最终一致性架构。
数据处理模块用于进行离线数据处理和实时数据处理。例如，对离线采集的目标物的图像进行目标特征描述符提取，又例如，对实施采集的目标现实场景的图像帧进行目标物识别和目标物信息获取。数据处理模块通过MapReduce计算模型，分解大型数据处理任务，快速并行地处理大量前端所扫描的数据，利用Spark数据分析引擎，基于内存来高效处理数据流，实现实时数据的可拓展和高吞吐量，保证展示实时性。同时，数据处理模块通过Spark Streaming进行实时数据(临时存储在Hive)与离线数据(存储在mysql，hive和mysql中的数据)的匹配比，完成目标物识别(确定图像帧中目标物的位置和目标物信息)。
数据服务模块用于接收数据处理模块进行数据处理后得到的结果，并为业务应用模块提供服务接口。
业务应用模块用于实现AR应用，如进行图层渲染、显示，实现AR交互等应用。
本申请的一些实施例中，所述数据采集模块、数据存储模块、数据处理模块，以及数据服务模块通常部署在服务器端，所述业务应用模块通常部署在终端侧，如显示设备端。以图3所示的交互式展示与培训场景中的AR应用为例，其中，AR眼镜310用于采集目标现实场景的实时三维视频流，AR眼镜310和智能手机330作为显示设备用于实时显示融合了该目标现实场景中目标物信息的视频流。在展示或培训时，介绍者佩戴AR眼镜310，通过AR眼镜310采集目标现实场景的实时三维视频流，并将采集的实时三维视频流发送到服务器320；之后，服务器320从目标现实场景的实时三维视频流中获取N个图像帧，分别发送至不同计算节点进行视频图像处理，得到每个所述图像帧中各目标物的目标物信息和位置，其中，N为大于1的自然数，并按照所述位置，分别对各所述计算节点得到的所述目标物信息在相应所述图像帧中进行三维注册，得到叠加有所述目标物信息的相应图像帧数据，然后，根据所述图像帧数据分别进行图层渲染，得到相应所述图像帧对应的渲染图像，并按照相应图像帧的时间戳先后顺序，将所述渲染图像发送至智能手机330进行显示。同时，服务器320还可以将所述渲染图像发送至AR眼镜进行显示。
通过采用本申请实施例中公开的视频数据处理方法，实现了展示或培训时，介绍者佩戴AR眼镜，扫描并识别眼前现实场景中的物体，观看者终端实时显示第一视角画面叠加虚拟视频、图文介绍等信息，相比于单纯的视频画面或文件交流，更具有宣传感染力，易于观看者掌握介绍的物体信息。
本申请实施例公开的视频数据处理方法还可以应用于如银行智慧监管场景。例如，银行工作人员在机房佩戴AR眼镜，扫描机柜设备，即可读取其对应的实时物联网数据，并在观看端融合现实场景显示在实时画面中，实现从传统监管向信息直观显示化智能监管模式的转变，降低安全风险，减少人工成本，提高了企业决策效率。
又例如，本申请实施例公开的视频数据处理方法应员工与数字化巡检场景中时，巡检人员佩戴AR眼镜，扫描现场图像，即可获取到现场中物体的相关信息，可将巡检监察画面及AR信息以第一视角实况录像方式进行展现，形成现场作业巡检、回看的全过程闭环。智能化AR识别及巡检可以突破空间、时间的限制，解放双手，确保作业现场安全。在短时间内完成巡检人员值班、生产运行、物资保障等项目的详尽巡检。
以上AR应用场景，仅仅是为了便于读者理解而例举的部分应用场景，并非本申请实施例公开的视频数据处理方法的全部应用场景。本领域技术人员应当理解，本申请实施例公开的视频数据处理方法还可以应用其他场景中。
本申请实施例公开的视频数据处理方法，通过从目标现实场景的实时三维视频流中获取N个图像帧，分别发送至不同计算节点进行视频图像处理，得到每个所述图像帧中各目标物的目标物信息和位置，其中，N为大于1的自然数；按照所述位置，分别对各所述计算节点得到的所述目标物信息在相应所述图像帧中进行三维注册，得到叠加有所述目标物信息的相应图像帧数据；根据所述图像帧数据分别进行图层渲染，得到相应所述图像帧对应的渲染图像；按照相应图像帧的时间戳先后顺序，将所述渲染图像发送至指定显示设备进行显示，能够提升AR技术应用场景下，虚拟信息与真实场景的融合度、目标物识别准确性，并且，能够保障现实场景信息和虚拟信息的融合显示实时性。
本申请实施例公开的视频数据处理方法，通过采集现实场景的实施三维视频用于AR应用中，能够获取现实场景中目标物更加丰富的信息，从而可以提升虚拟信息与真实场景的融合度、目标物识别准确性。进一步的，通过将三维视频图像帧，分别发送至不同计算节点进行并行分布式视频图像处理，可以有效解决由于三维视频图像数据量大，采用传统数据处理方法，处理速度慢，无法满足虚拟信息与真实场景的实时融合显示的问题，可以有效提升现实场景信息和虚拟信息的融合显示实时性。本申请实施例中公开的视频数据处理方法，为提升AR技术交互性，以及满足更高的用户体验感提供了技术支撑。
进一步的，本申请实施例中，通过将实时视频封装成可并行分布式处理的二进制数据流进行分发和传输，通过分布式处理算法，并采用Spark数据分析引擎技术，分解数据流计算任务，再分发给其他节点进行处理，将数据导入内存进行计算，能够保证在AR实时识别三维物体并显示图层信息这样高计算量场景下的实时性。
实施例二
本申请实施例公开的一种视频数据处理装置，如图4所示，所述装置包括：
目标物信息和位置获取模块410，用于从目标现实场景的实时三维视频流中获取N个图像帧，分别发送至不同计算节点进行视频图像处理，得到每个所述图像帧中各目标物的目标物信息和位置，其中，N为大于1的自然数；
目标物信息叠加模块420，用于按照所述位置，分别对各所述计算节点得到的所述目标物信息在相应所述图像帧中进行三维注册，得到叠加有所述目标物信息的相应图像帧数据；
渲染模块430，用于根据所述图像帧数据分别进行图层渲染，得到相应所述图像帧对应的渲染图像；
显示模块440，用于按照相应图像帧的时间戳先后顺序，将所述渲染图像发送至指定显示设备进行显示。
本申请的一些实施例中，所述目标物信息和位置获取模块410，进一步用于：
从目标现实场景的实时三维视频流中获取N个图像帧；
将每个所述图像帧发送至不同计算节点进行视频图像处理，得到相应所述图像帧中各目标物的目标特征描述符和位置；
对于每个所述图像帧，基于预设目标物特征描述符数据库，分别对所述图像帧中各目标物的所述目标特征描述符进行匹配识别，获取所述图像帧中各所述目标物各自的目标物信息。
本申请的一些实施例中，所述从目标现实场景的实时三维视频流中获取N个图像帧，包括：
通过分布式数据处理技术，分解目标现实场景的实时三维视频流的视频图像处理任务，得到N个图像帧。
本申请的一些实施例中，通过分布式数据处理技术，分解目标现实场景的实时三维视频流的视频图像处理任务，得到N个图像帧，包括：
从目标现实场景的实时三维视频流中采集N个图像帧的视频数据；
将每个所述图像帧的所述视频数据独立封装成二进制视频流，发送到分布式消息队列中；
从所述分布式消息队列中获取各所述二进制视频流，并根据所述二进制视频流生成对应的图像帧。
本申请的一些实施例中，所述从所述分布式消息队列中获取各所述二进制视频流，并根据所述二进制视频流生成对应的图像帧，包括：
采用数据执行引擎Spark从所述分布式消息队列中获取所述二进制视频流；
根据所述二进制视频流解码生成对应的图像帧。
本申请的一些实施例中，所述预设目标物特征描述符数据库是预先离线建立的，所述预设目标物特征描述符数据库中包括：目标物的目标特征描述符和目标物信息的关联关系。
本申请实施例公开的视频数据处理装置，用于实现本申请实施例一中所述的视频数据处理方法，装置的各模块的具体实施方式不再赘述，可参见方法实施例相应步骤的具体实施方式。
本申请实施例公开的视频数据处理装置，通过从目标现实场景的实时三维视频流中获取N个图像帧，分别发送至不同计算节点进行视频图像处理，得到每个所述图像帧中各目标物的目标物信息和位置，其中，N为大于1的自然数；按照所述位置，分别对各所述计算节点得到的所述目标物信息在相应所述图像帧中进行三维注册，得到叠加有所述目标物信息的相应图像帧数据；根据所述图像帧数据分别进行图层渲染，得到相应所述图像帧对应的渲染图像；按照相应图像帧的时间戳先后顺序，将所述渲染图像发送至指定显示设备进行显示，能够提升AR技术应用场景下，虚拟信息与真实场景的融合度、目标物识别准确性，并且，能够保障现实场景信息和虚拟信息的融合显示实时性。
本申请实施例公开的视频数据处理装置，通过采集现实场景的实施三维视频用于AR应用中，能够获取现实场景中目标物更加丰富的信息，从而可以提升虚拟信息与真实场景的融合度、识别准确性。进一步的，通过将三维视频图像帧，分别发送至不同计算节点进行并行分布式视频图像处理，可以有效解决由于三维视频图像数据量大，采用传统数据处理方法，处理速度慢，无法满足虚拟信息与真实场景的实时融合显示的问题，可以有效提升现实场景信息和虚拟信息的融合显示实时性。本申请实施例中公开的视频数据处理方法，为提升AR技术交互性，以及满足更高的用户体验感提供了技术支撑。
进一步的，本申请实施例中，通过将实时视频封装成可并行分布式处理的二进制数据流进行分发和传输，通过分布式处理算法，并采用Spark数据分析引擎技术，分解数据流计算任务，再分发给其他节点进行处理，将数据导入内存进行计算，能够保证在AR实时识别三维物体并显示图层信息这样高计算量场景下的实时性。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上对本申请提供的一种视频数据处理方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其一种核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的电子设备中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图5示出了可以实现根据本申请的方法的电子设备。所述电子设备可以为PC机、移动终端、个人数字助理、平板电脑等。该电子设备传统上包括处理器510和存储器520及存储在所述存储器520上并可在处理器510上运行的程序代码530，所述处理器510执行所述程序代码530时实现上述实施例中所述的方法。所述存储器520可以为计算机程序产品或者计算机可读介质。存储器520可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器520具有用于执行上述方法中的任何方法步骤的计算机程序的程序代码530的存储空间5201。例如，用于程序代码530的存储空间5201可以包括分别用于实现上面的方法中的各种步骤的各个计算机程序。所述程序代码530为计算机可读代码。这些计算机程序可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。所述计算机程序包括计算机可读代码，当所述计算机可读代码在电子设备上运行时，导致所述电子设备执行根据上述实施例的方法。
本申请实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例一所述的视频数据处理方法的步骤。
这样的计算机程序产品可以为计算机可读存储介质，该计算机可读存储介质可以具有与图5所示的电子设备中的存储器520类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩存储在所述计算机可读存储介质中。所述计算机可读存储介质通常为如参考图6所述的便携式或者固定存储单元。通常，存储单元包括计算机可读代码530’，所述计算机可读代码530’为由处理器读取的代码，这些代码被处理器执行时，实现上面所描述的方法中的各个步骤。
本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着，结合实施例描述的特定特征、结构或者特性包括在本申请的至少一个实施例中。此外，请注意，这里“在一个实施例中”的词语例子不一定全指同一个实施例。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种视频数据处理方法，其特征在于，包括：
从目标现实场景的实时三维视频流中获取N个图像帧，分别发送至不同计算节点进行视频图像处理，得到每个所述图像帧中各目标物的目标物信息和位置，其中，N为大于1的自然数；
按照所述位置，分别对各所述计算节点得到的所述目标物信息在相应所述图像帧中进行三维注册，得到叠加有所述目标物信息的相应图像帧数据；
根据所述图像帧数据分别进行图层渲染，得到相应所述图像帧对应的渲染图像；
按照相应图像帧的时间戳先后顺序，将所述渲染图像发送至指定显示设备进行显示。
2.根据权利要求1所述的方法，其特征在于，所述从目标现实场景的实时三维视频流中获取N个图像帧，分别发送至不同计算节点进行视频图像处理，得到每个所述图像帧中各目标物的目标物信息和位置的步骤，包括：
从目标现实场景的实时三维视频流中获取N个图像帧；
将每个所述图像帧发送至不同计算节点进行视频图像处理，得到相应所述图像帧中各目标物的目标特征描述符和位置；
对于每个所述图像帧，基于预设目标物特征描述符数据库，分别对所述图像帧中各目标物的所述目标特征描述符进行匹配识别，获取所述图像帧中各所述目标物各自的目标物信息。
3.根据权利要求2所述的方法，其特征在于，所述从目标现实场景的实时三维视频流中获取N个图像帧，包括：
通过分布式数据处理技术，分解目标现实场景的实时三维视频流的视频图像处理任务，得到N个图像帧。
4.根据权利要求3所述的方法，其特征在于，所述通过分布式数据处理技术，分解目标现实场景的实时三维视频流的视频图像处理任务，得到N个图像帧，包括：
从目标现实场景的实时三维视频流中采集N个图像帧的视频数据；
将每个所述图像帧的所述视频数据独立封装成二进制视频流，发送到分布式消息队列中；
从所述分布式消息队列中获取各所述二进制视频流，并根据所述二进制视频流生成对应的图像帧。
5.根据权利要求3所述的方法，其特征在于，所述从所述分布式消息队列中获取各所述二进制视频流，并根据所述二进制视频流生成对应的图像帧，包括：
采用数据执行引擎Spark从所述分布式消息队列中获取所述二进制视频流；
根据所述二进制视频流解码生成对应的图像帧。
6.根据权利要求2至5任一项所述的方法，其特征在于，所述预设目标物特征描述符数据库是预先离线建立的，所述预设目标物特征描述符数据库中包括：目标物的目标特征描述符和目标物信息的关联关系。
7.一种视频数据处理装置，其特征在于，包括：
目标物信息和位置获取模块，用于从目标现实场景的实时三维视频流中获取N个图像帧，分别发送至不同计算节点进行视频图像处理，得到每个所述图像帧中各目标物的目标物信息和位置，其中，N为大于1的自然数；
目标物信息叠加模块，用于按照所述位置，分别对各所述计算节点得到的所述目标物信息在相应所述图像帧中进行三维注册，得到叠加有所述目标物信息的相应图像帧数据；
渲染模块，用于根据所述图像帧数据分别进行图层渲染，得到相应所述图像帧对应的渲染图像；
显示模块，用于按照相应图像帧的时间戳先后顺序，将所述渲染图像发送至指定显示设备进行显示。
8.根据权利要求7所述的装置，其特征在于，所述目标物信息和位置获取模块，进一步用于：
从目标现实场景的实时三维视频流中获取N个图像帧；
将每个所述图像帧发送至不同计算节点进行视频图像处理，得到相应所述图像帧中各目标物的目标特征描述符和位置；
对于每个所述图像帧，基于预设目标物特征描述符数据库，分别对所述图像帧中各目标物的所述目标特征描述符进行匹配识别，获取所述图像帧中各所述目标物各自的目标物信息。
9.根据权利要求8所述的装置，其特征在于，所述从目标现实场景的实时三维视频流中获取N个图像帧，包括：
通过分布式数据处理技术，分解目标现实场景的实时三维视频流的视频图像处理任务，得到N个图像帧。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的程序代码，其特征在于，所述处理器执行所述程序代码时实现权利要求1至6任意一项所述的视频数据处理方法。
11.一种计算机可读存储介质，其上存储有程序代码，其特征在于，该程序代码被处理器执行时实现权利要求1至6任意一项所述的视频数据处理方法的步骤。
CN202210852428.3A 2022-07-20 2022-07-20 视频数据处理方法、装置，以及，电子设备 Pending CN115361576A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210852428.3A CN115361576A (zh) 2022-07-20 2022-07-20 视频数据处理方法、装置，以及，电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210852428.3A CN115361576A (zh) 2022-07-20 2022-07-20 视频数据处理方法、装置，以及，电子设备

Publications (1)

Publication Number Publication Date
CN115361576A true CN115361576A (zh) 2022-11-18

Family

ID=84031932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210852428.3A Pending CN115361576A (zh) 2022-07-20 2022-07-20 视频数据处理方法、装置，以及，电子设备

Country Status (1)

Country Link
CN (1) CN115361576A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116017010A (zh) * 2022-12-01 2023-04-25 凡游在线科技(成都)有限公司 基于视频的ar融合处理方法、电子设备和计算机可读介质
CN117726969A (zh) * 2023-11-15 2024-03-19 北京汉王智远科技有限公司 视频智能分析方法、装置、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018210055A1 (zh) * 2017-05-15 2018-11-22 腾讯科技（深圳）有限公司 增强现实处理方法及装置、显示终端及计算机存储介质
CN109922315A (zh) * 2019-03-01 2019-06-21 西安电子科技大学 一种基于Spark与OpenCV的实时视频行为分析方法
US20200012854A1 (en) * 2017-09-08 2020-01-09 Tencent Technology (Shenzhen) Company Ltd Processing method for augmented reality scene, terminal device, system, and computer storage medium
CN111400405A (zh) * 2020-03-30 2020-07-10 兰州交通大学 一种基于分布式的监控视频数据并行处理系统及方法
CN111832366A (zh) * 2019-04-22 2020-10-27 鸿富锦精密电子(天津)有限公司 图像识别装置及方法
CN112017300A (zh) * 2020-07-22 2020-12-01 青岛小鸟看看科技有限公司 混合现实图像的处理方法、装置及设备
CN112581629A (zh) * 2020-12-09 2021-03-30 中国科学院深圳先进技术研究院 增强现实显示方法、装置、电子设备及存储介质
CN112738534A (zh) * 2019-10-28 2021-04-30 阿里巴巴集团控股有限公司 数据处理方法及系统、服务器和存储介质
CN112954292A (zh) * 2021-01-26 2021-06-11 北京航天创智科技有限公司 一种基于增强现实的数字博物馆导览系统和方法
CN113784148A (zh) * 2020-06-10 2021-12-10 阿里巴巴集团控股有限公司 数据处理方法、系统、相关设备和存储介质
CN114549766A (zh) * 2022-04-24 2022-05-27 成都纵横自动化技术股份有限公司 一种实时ar可视化方法、装置、设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018210055A1 (zh) * 2017-05-15 2018-11-22 腾讯科技（深圳）有限公司 增强现实处理方法及装置、显示终端及计算机存储介质
US20200012854A1 (en) * 2017-09-08 2020-01-09 Tencent Technology (Shenzhen) Company Ltd Processing method for augmented reality scene, terminal device, system, and computer storage medium
CN109922315A (zh) * 2019-03-01 2019-06-21 西安电子科技大学 一种基于Spark与OpenCV的实时视频行为分析方法
CN111832366A (zh) * 2019-04-22 2020-10-27 鸿富锦精密电子(天津)有限公司 图像识别装置及方法
CN112738534A (zh) * 2019-10-28 2021-04-30 阿里巴巴集团控股有限公司 数据处理方法及系统、服务器和存储介质
CN111400405A (zh) * 2020-03-30 2020-07-10 兰州交通大学 一种基于分布式的监控视频数据并行处理系统及方法
CN113784148A (zh) * 2020-06-10 2021-12-10 阿里巴巴集团控股有限公司 数据处理方法、系统、相关设备和存储介质
CN112017300A (zh) * 2020-07-22 2020-12-01 青岛小鸟看看科技有限公司 混合现实图像的处理方法、装置及设备
CN112581629A (zh) * 2020-12-09 2021-03-30 中国科学院深圳先进技术研究院 增强现实显示方法、装置、电子设备及存储介质
CN112954292A (zh) * 2021-01-26 2021-06-11 北京航天创智科技有限公司 一种基于增强现实的数字博物馆导览系统和方法
CN114549766A (zh) * 2022-04-24 2022-05-27 成都纵横自动化技术股份有限公司 一种实时ar可视化方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116017010A (zh) * 2022-12-01 2023-04-25 凡游在线科技(成都)有限公司 基于视频的ar融合处理方法、电子设备和计算机可读介质
CN116017010B (zh) * 2022-12-01 2024-05-17 凡游在线科技(成都)有限公司 基于视频的ar融合处理方法、电子设备和计算机可读介质
CN117726969A (zh) * 2023-11-15 2024-03-19 北京汉王智远科技有限公司 视频智能分析方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11762475B2 (en) AR scenario-based gesture interaction method, storage medium, and communication terminal
CN106816077B (zh) 基于二维码和增强现实技术的互动沙盘展示方法
US9384588B2 (en) Video playing method and system based on augmented reality technology and mobile terminal
US8442307B1 (en) Appearance augmented 3-D point clouds for trajectory and camera localization
US20220385721A1 (en) 3d mesh generation on a server
CN106846497B (zh) 应用于终端的呈现三维地图的方法和装置
CN111626218A (zh) 基于人工智能的图像生成方法、装置、设备及存储介质
CN113220251B (zh) 物体显示方法、装置、电子设备及存储介质
CN103959220B (zh) 一种实现增强现实的方法及用户设备
US11836887B2 (en) Video generation method and apparatus, and readable medium and electronic device
CN115361576A (zh) 视频数据处理方法、装置，以及，电子设备
CN114998935A (zh) 图像处理方法、装置、计算机设备及存储介质
CN114463470A (zh) 虚拟空间浏览方法、装置、电子设备和可读存储介质
CN113965773A (zh) 直播展示方法和装置、存储介质及电子设备
CN113515997A (zh) 一种视频数据处理方法、装置以及可读存储介质
CN114299230A (zh) 一种数据生成方法、装置、电子设备及存储介质
CN109816791B (zh) 用于生成信息的方法和装置
CN115984943B (zh) 面部表情捕捉及模型训练方法、装置、设备、介质及产品
Gomes Jr et al. Semi-automatic methodology for augmented panorama development in industrial outdoor environments
WO2023109666A1 (zh) 虚拟换装方法、装置、电子设备及可读介质
CN113168706A (zh) 视频流的帧中的对象位置确定
Moliner et al. Geometry-Biased Transformer for Robust Multi-View 3D Human Pose Reconstruction
CN110298921B (zh) 具有人物语义信息的三维地图的构建方法以及处理设备
CN113761281A (zh) 虚拟资源处理方法、装置、介质及电子设备
US20230101254A1 (en) Creation and use of digital humans

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination