CN114697633B - 视频传输方法、装置、设备及存储介质 - Google Patents

视频传输方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114697633B
CN114697633B CN202210320297.4A CN202210320297A CN114697633B CN 114697633 B CN114697633 B CN 114697633B CN 202210320297 A CN202210320297 A CN 202210320297A CN 114697633 B CN114697633 B CN 114697633B
Authority
CN
China
Prior art keywords
target
video
virtual object
compression coefficient
display interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210320297.4A
Other languages
English (en)
Other versions
CN114697633A (zh
Inventor
阳帆
黄舒婷
周子鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202210320297.4A priority Critical patent/CN114697633B/zh
Publication of CN114697633A publication Critical patent/CN114697633A/zh
Application granted granted Critical
Publication of CN114697633B publication Critical patent/CN114697633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开提供了一种视频传输方法、装置、设备及存储介质，其中，所述方法包括：获取目标信息，所述目标信息表征当前所述增强现实装置的显示界面是否显示有虚拟对象；基于所述目标信息，确定目标压缩系数；基于所述目标压缩系数，将目标视频进行传输，所述目标视频根据所述增强现实装置当前录制的外部环境视频和当前所述显示界面显示的视频得到。

Description

视频传输方法、装置、设备及存储介质
技术领域
本公开涉及视频处理技术领域，尤其涉及一种视频传输方法、装置、设备及存储介质。
背景技术
为实现增强现实(AR)设备视频的传输，AR设备通常采用预设的压缩系数对要传输的视频进行压缩，并在压缩完成后进行视频的传输。这种传输压缩后的视频的方案可加快传输、缩短传输时间。然而，相关技术中对AR视频进行压缩时采用的压缩系数为固定值，采用这样的压缩系数进行AR视频的压缩，灵活性不足。传输采用固定的压缩系数进行压缩的视频，无法实现高效传输。
发明内容
本公开提供了一种视频传输方法、装置、设备及存储介质，以至少解决现有技术中存在的以上技术问题。
根据本公开的第一方面，提供了一种视频传输方法，所述方法包括：
获取目标信息，所述目标信息表征当前所述增强现实装置的显示界面是否显示有虚拟对象；
基于所述目标信息，确定目标压缩系数；
基于所述目标压缩系数，将目标视频进行传输，所述目标视频根据所述增强现实装置当前录制的外部环境视频和当前所述显示界面显示的视频得到。
在一可实施方式中，所述基于所述目标信息，确定目标压缩系数，包括：
确定所述目标信息表征当前所述增强现实装置的显示界面显示有虚拟对象；
基于第一目标参数和第二目标参数的至少之一，对初始压缩系数进行调整，得到所述目标压缩系数；
其中，所述第一目标参数表征所述虚拟对象相对于目标显示屏的显示占比；所述第二目标参数表征与所述虚拟对象的深度信息相关的参数。
在一可实施方式中，所述基于所述目标信息，确定目标压缩系数，包括：
确定所述目标信息表征当前所述增强现实装置的显示界面未显示有虚拟对象；
对初始压缩系数进行预设倍数的增大，得到所述目标压缩系数。
在一可实施方式中，所述基于所述目标信息，确定所述三维目标图像的目标压缩系数，包括：
确定所述目标信息表征当前所述增强现实装置的显示界面显示有虚拟对象的情况下，确定第一目标系数为所述目标压缩系数；
确定所述目标信息表征当前所述增强现实装置的显示界面未显示有虚拟对象的情况下，确定第二目标系数为所述目标压缩系数；
其中，所述第一目标系数、第二目标系数均为预先设置的、且所述第二目标系数大于所述第一目标系数。
在一可实施方式中，所述第一目标参数的确定包括：
获取所述虚拟对象的二维图像投影参数；
根据所述二维图像投影参数，确定所述虚拟对象相对于目标显示屏的显示占比，以得到所述第一目标参数。
在一可实施方式中，在所述深度信息D大于或等于预设深度阈值P的情况下，所述第二目标参数为(P/D)2；
在所述深度信息D小于所述深度阈值P的情况下，所述第二目标参数为预设值。
根据本公开的第二方面，提供了一种视频传输装置，所述装置包括：
获取单元，用于获取目标信息；
确定单元，用于基于所述目标信息，确定目标压缩系数；
传输单元，用于基于所述目标压缩系数，将目标视频进行传输，所述目标视频根据所述增强现实装置当前录制的外部环境视频和显示界面显示的视频得到。
在一可实施方式中，所述确定单元，用于：
确定所述目标信息为当前所述增强现实装置的显示界面显示有虚拟对象；
基于第一目标参数和第二目标参数中的至少之一，对初始压缩系数进行调整，得到所述目标压缩系数；
其中，所述第一目标参数表征所述虚拟对象相对于目标显示屏的显示占比；所述第二目标参数表征与所述虚拟对象的深度信息相关的参数。
根据本公开的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开所述的方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开所述的方法。
本公开的视频传输方法、装置、设备及存储介质，基于当前增强显示装置的显示界面是否显示有虚拟对象的结果，对视频的压缩系数(目标压缩系数)进行确定，实现了对目标压缩系数的灵活确定。利用灵活的目标压缩系数对目标视频进行传输，可实现对视频的高效传输。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
在附图中，相同或对应的标号表示相同或对应的部分。
图1示出了本公开实施例数据传输方法的实现流程示意图一；
图2示出了本公开实施例数据传输方法的实现流程示意图二；
图3示出了本公开实施例数据传输方法的实现流程示意图三；
图4示出了本公开实施例数据传输方法的实现流程示意图四；
图5示出了本公开实施例的AR设备的移动路径示意图；
图6示出了本公开实施例的AR设备的一应用场景示意图；
图7示出了本公开实施例数据传输装置的组成结构示意图；
图8示出了本公开实施例一种电子设备的组成结构示意图。
具体实施方式
为使本公开的目的、特征、优点能够更加的明显和易懂，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而非全部实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
通常，同一AR(增强现实)设备被佩戴在佩戴者的相同佩戴部位如头部。在这种情况下，AR设备显示界面中显示的内容与佩戴者所处的位置(AR设备所处的位置)和在佩戴者佩戴AR设备时对外部环境的观看视角有关。即，AR设备所处的位置和观看视角之一发生变化，AR设备的显示界面中显示的内容通常不同。
AR设备可在佩戴者进行移动的情形下而处于不同的位置。在各位置处，佩戴者可通过AR设备的目标显示屏观看到相应位置处的外部环境。AR设备的显示界面中显示的内容不同可以是：在某个位置的外部环境中，如果存在有需要AR设备显示虚拟对象的现实对象，则AR设备会将现实对象的虚拟对象显示在AR设备的显示界面中，以增强对现实的渲染。从用户体验层面来看，佩戴者通过AR设备看到的是包括有虚拟对象的显示界面视频(为显示界面显示的视频的简称)与外部环境视频二者相叠加的视频。
如果未存在需要AR设备显示虚拟对象的现实对象，则AR设备的显示界面中不会显示虚拟对象。从用户体验层面来看，佩戴者通过AR设备看到的是外部环境视频。
综上而言，本公开方案中所述的AR设备的显示界面中显示的内容不同主要在于显示界面中是否显示有虚拟对象。
AR设备对各位置处的外部视频进行录制，得到外部环境视频。并将录制的外部环境视频和AR设备处于各位置处时显示界面视频进行叠加，得到各位置处的目标视频。如果在各位置处AR设备传输相应位置的目标视频、或者AR设备将各位置处的目标视频传输至可与AR设备进行通信的其他设备如服务器和/或其他AR设备，服务器可以存储AR设备传输的视频，以便后续的使用，如利用存储的视频对现实对象1出现的问题(如无法正常工作)进行排查。还可以，其他AR设备的佩戴者对AR设备传输的视频进行观看，以解决其他AR设备的佩戴者无法到达现场进行AR视频观看的问题，诸如赛事直播、卫星上天等重大事件的直播。
相关技术中，对于AR设备要传输至其他设备的视频，需先采用固定的压缩系数进行压缩，压缩完成后传输至其他设备。因为传输会占用到带宽，同时被传输至其他设备的视频在被其他设备使用时需要考虑解压缩后的视频质量如清晰度，采用固定的压缩系数对AR视频进行压缩，无法兼顾传输带宽和视频质量，进而无法实现高效传输。
本公开提供的视频传输方案，基于当前增强现实装置的显示界面是否显示有虚拟对象的结果，灵活确定对AR视频的压缩系数(目标压缩系数)；采用灵活确定的压缩系数将目标视频传输，能够兼顾传输带宽和视频质量，进而实现对AR视频的高效传输。
下面对本公开的视频传输方案进行详细说明。
本公开的AR设备包括但不限于以下几种：AR眼镜、AR头盔、AR体感设备。
本公开的视频传输方法应用在增强现实装置中。增强现实(AR)装置可作为AR设备的一组成部分进行使用，还可以独立使用，不做具体限定。
需要说明的是，以下方案中的AR设备是设置有增强现实装置的AR设备。
图1示出了本公开实施例中数据传输方法的实现流程示意图一。如图1所示，所述方法包括：
S101：获取目标信息，所述目标信息表征当前所述增强现实装置的显示界面是否显示有虚拟对象；
本步骤中，识别当前增强现实装置的显示界面中是否显示有虚拟对象，得到当前增强现实装置的显示界面显示有虚拟对象或未显示有虚拟对象的识别结果。
当前增强显示装置的显示界面可以是在AR设备处于当前所处位置时产生的显示界面。显示界面显示的视频为处于当前所处位置时产生的显示界面视频。当前增强显示装置的显示界面还可以是AR设备处于相同位置不同观看视角时产生的显示界面。显示界面显示的视频为处于所述相同位置不同观看视角时产生的显示界面视频。
增强现实的显示界面，为通过birdbath结构、光波导结构或自由曲面结构等光学近眼显示结构呈现的显示界面，增强现实装置将虚拟对象在显示界面中显示，用户既能通过近眼显示结构看到虚拟对象，又能透过近眼显示结构看到外部环境。
S102：基于所述目标信息，确定目标压缩系数；
本步骤中，针对当前增强现实装置的显示界面显示有虚拟对象或未显示有虚拟对象的识别结果，确定对目标视频的目标压缩系数。即，根据不同的识别结果，确定目标视频的不同的目标压缩系数，为一种灵活确定压缩系数的方案。
其中，目标视频为AR视频，可由增强现实装置当前录制的外部环境视频和当前增强现实装置的显示界面显示的视频的二者叠加而得到。
S103：基于所述目标压缩系数，将目标视频进行传输，所述目标视频根据所述增强现实装置当前录制的外部环境视频和当前所述显示界面显示的视频得到。
在一些特定场景中，如设备检测场景，用户佩戴增强现实装置观察待检测的设备，则增强现实装置会显示与设备对应的渲染图像，如部件名称或为部件覆盖高亮显示图像。在用户的视角中，渲染图像的显示位置与用户视角中的被检测设备是对应的，如部件名称显示的位置为在用户视角中部件所在的位置。为了将用户视角所看到的信息以视频形式传输给远端的专家端，以使专家端能够基于视频对设备作出判断，增强现实装置需要采集与用户同一视角的外部环境视频，并获取自身显示界面显示的视频对应的视频数据，将两个视频合并后，可令远端的专家端能够看到与用户视角中看到的内容相一致的视频。
本步骤中，采用目标压缩系数对目标视频进行压缩，并传输如发送压缩后的目标视频。
S101-S103中，基于当前增强现实装置的显示界面是否显示有虚拟对象的结果，灵活确定对目标视频的压缩系数(目标压缩系数)；基于灵活确定的目标压缩系数进行视频的压缩并传输，能够兼顾传输带宽和视频质量，进而实现对AR视频的高效传输。
本公开一个可选方案中，在当前增强现实装置的显示界面显示有虚拟对象和未显示有虚拟对象的情况下为目标视频所确定出的压缩系数不同。这种不同可通过预先设置而实现。具体的，针对显示界面显示有虚拟对象的情况，预先设置第一目标系数为对目标视频进行压缩的压缩系数。针对显示界面未显示有虚拟对象的情况，预先设置第二目标系数为对目标视频进行压缩的压缩系数。
其中，第一目标系数和第二目标系数均为符合诸如MPEG、H.264等各视频压缩标准的系数。如在符合MPEG标准的情况下，第一目标系数为25帧/秒，第二目标系数为30帧/秒。
在实际应用中，考虑到相比于显示界面显示有虚拟对象的AR视频，显示界面未显示有虚拟对象的AR视频，因为其未显示虚拟对象，视频中体现的信息量相对于显示有虚拟对象的AR视频体现的信息量小、对视频质量的要求可以降低一个等级如从超高清降低到高清、从高清降低到标清，但需满足正常的观看需求，所以可对未显示有虚拟对象的AR视频进行较大压缩系数的压缩，可对显示有虚拟对象的AR视频进行较小压缩系数的压缩。基于此，预先设置第二目标系数大于第一目标系数。
利用较大的压缩系数对AR视频进行压缩，可以有效减少对传输带宽的占用。单位传输时间内被传输的视频量增多，视频传输效率被提高。利用较小的压缩系数对AR视频进行压缩，可大大保证视频质量。
可见，AR视频的压缩系数的灵活确定，可兼顾视频质量和对传输带宽的占用，在视频质量和传输带宽之间做个折中。
上述方案中，所说的较大压缩系数和较小压缩系数是相对而言的，均需满足各视频压缩标准。其中，较大压缩系数既需满足解压后的视频可被正常观看、还需要满足与显示有虚拟对象的AR视频采用的压缩系数相比要大的要求。
图2示出了本公开实施例中数据传输方法的实现流程示意图二。如图2所示，前述的S102为S102’：
确定所述目标信息为当前所述增强现实装置的显示界面显示有虚拟对象的情况下，确定第一目标系数为所述目标压缩系数；
确定所述目标信息为当前所述增强现实装置的显示界面未显示有虚拟对象的情况下，确定第二目标系数为所述目标压缩系数；
其中，所述第一目标系数、第二目标系数均为预先设置的、且所述第二目标系数大于所述第一目标系数。
利用S101、S102和S103所示的方案，在当前增强现实装置的显示界面未显示有虚拟对象，可利用较大压缩系数(第二目标压缩系数)对AR视频进行压缩。在当前增强现实装置的显示界面显示有虚拟对象，利用较小压缩系数(第一目标压缩系数)对AR视频进行压缩。实现了对AR视频的灵活压缩，采用灵活的目标压缩系数对目标视频进行传输，可兼顾视频质量和对传输带宽的占用，从而实现了高效传输。
本公开一个可选方案中，可预先设置一个初始压缩系数，并基于当前增强现实装置的显示界面是否显示有虚拟对象的结果，通过对初始压缩系数的调整实现对目标压缩系数的确定。该初始压缩系数可以为相关技术中使用的固定压缩系数。在这种情况下，如图3和图4所示的方案。
在图3所示的方案中，
S101为S301：获取目标信息，所述目标信息表征当前所述增强现实装置的显示界面显示有虚拟对象；
即，确定所述目标信息为当前所述增强现实装置的显示界面显示有虚拟对象的结果。
S102为S302：基于第一目标参数和第二目标参数的至少之一，对初始压缩系数进行调整，得到所述目标压缩系数；其中，所述第一目标参数表征所述虚拟对象相对于目标显示屏的显示占比；所述第二目标参数表征与所述虚拟对象的深度信息相关的参数。
可以理解，目标显示屏为AR设备的显示屏。该显示屏为二维(平面)屏幕，能够基于诸如双目视觉原理等三维图像显示原理对三维视频如AR视频进行显示。
本步骤包括三种情形：
第一种情形为：基于第一目标参数，对初始压缩系数进行调整，得到所述目标压缩系数。
第二种情形为：基于第二目标参数，对初始压缩系数进行调整，得到所述目标压缩系数。
第三种情形为：基于第一目标参数和第二目标参数，对初始压缩系数进行调整，得到所述目标压缩系数。
本可选方案中，基于第一目标参数对初始压缩系数进行调整，是考虑到了虚拟对象在目标显示屏上的显示大小对目标压缩系数取值的影响。可以理解，虚拟对象在目标显示屏上显示得越大，说明显示的虚拟对象的内容越多，需要得视频质量越高，考虑到视频清晰度，无需对AR视频进行较大程度的压缩，对初始压缩系数进行较小程度的调整即可。反之，即虚拟对象在目标显示屏上显示得越小，说明显示的虚拟对象的内容越少，无需高质量的视频质量，对初始压缩系数进行较大程度的调整即可。
本可选方案中，基于第二目标参数对初始压缩系数进行调整，是考虑到了虚拟对象在当前增强现实装置的显示界面中的(显示)深度信息对目标压缩系数取值的影响。深度信息越大，虚拟对象距离眼睛的距离越远，无需高的视频质量，对初始压缩系数进行较大程度的调整即可。反之，深度信息越小，说明虚拟对象距离眼睛的距离越近，需要的视频质量越高，对初始压缩系数进行较小程度的调整即可。
在具体实现上，前述的对初始压缩系数进行较小程度的调整可以是对初始压缩系数S进行1～M倍的调整。对初始压缩系数进行较大程度的调整可以是对初始压缩系数S进行M～N倍的调整。其中，M、N均为预先设置的正数，且N大于M。
在具体实现上，还可根据公式(1)-(3)对初始压缩系数进行调整；
X＝(1+(1-A))*S； (1)；
X＝(1+(1-B))*S； (2)；
X＝(1+(1-A)+(1-B))*S； (3)；
在前述公式中，S为初始压缩系数，A为第一目标参数；B为第二目标参数；X为经对初始压缩系数S进行调整后得到的目标压缩系数。
其中，公式(1)-(3)对应前述的三种情形。公式(3)是同时考虑到了虚拟对象在目标显示屏上的显示大小以及虚拟对象在当前增强现实装置的显示界面中的(显示)深度信息对目标压缩系数取值的影响。
S103为S303：基于所述目标压缩系数，将目标视频进行传输，所述目标视频根据所述增强现实装置当前录制的外部环境视频和当前所述显示界面显示的视频得到。
在S301～S303中，考虑到了虚拟对象在目标显示屏上的显示大小和/或虚拟对象在当前增强现实装置的显示界面中的(显示)深度信息对目标压缩系数取值的影响。基于第一目标参数和第二目标参数中的至少之一参数对初始压缩系数进行调整，可实现目标压缩系数的灵活且准确计算。目标压缩系数的计算准确且灵活，可保证目标视频的灵活且准确传输，可有效兼顾视频质量和对传输带宽的占用，从而实现高效传输。
在图4所示的方案中，
S101为S401：获取目标信息，所述目标信息表征当前所述增强现实装置的显示界面未显示有虚拟对象；
即，确定所述目标信息为当前所述增强现实装置的显示界面未显示有虚拟对象的结果。
S102为S402：对初始压缩系数进行预设倍数的增大，得到所述目标压缩系数。
在具体实现上，可以对初始压缩系数S进行Y倍(预设倍数)的增大，即，目标压缩系数＝Y*S；其中，Y为预先设置的大于1的整数，如为2倍、3倍等。
在具体实现上，还可以根据前述的公式(1)-(3)进行计算。在当前增强现实装置的显示界面未显示有虚拟对象的情况下，前述公式(1)和(3)中的A为0，前述公式(2)和(3)中的B为0，如此便可实现对初始压缩系数的2倍(根据公式1和/或(2)而得)的增大或3倍(根据公式(3)而得)的增大。
S103为S403：基于所述目标压缩系数，将目标视频进行传输，所述目标视频根据所述增强现实装置当前录制的外部环境视频和当前所述显示界面显示的视频得到。
S401～S403中，在当前增强现实装置的显示界面未显示有虚拟对象的结果的情况下，对目标视频进行压缩采用的目标压缩系数为初始压缩系数的预设倍数的增大。即对目标视频可采用大于初始压缩系数的目标压缩系数进行压缩，被压缩后的视频的传输可有效减少对传输带宽的占用，有效提高传输效率。
在图3和图4所示的方案中，S303和S403的说明请参见前述对S101的描述，重复之处不赘述。
下面对图3和图4所示的方案中的第一目标参数A和第二目标参数B的由来进行介绍。
可以理解，AR设备的佩戴者在AR设备中看到的虚拟对象是三维信息在二维(目标显示)屏幕上的投影。虚拟信息占比是虚拟对象在目标显示屏上的投影占目标显示屏的比重。该比重越大，说明显示的虚拟信息越多，需要越高的视频质量。反之，则可认为需要越低的视频质量。
在一个特殊的实施例中，虚拟信息占比为1时，说明虚拟信息占满了整个屏幕，此时要保证最大的清晰度。
基于此，可将虚拟信息占比作为第一目标参数A，如此便可得出公式(4)：
在使用公式(4)计算第一目标参数时，可先获取虚拟对象的二维图像投影参数；根据二维图像投影参数，确定虚拟对象相对于目标显示屏的显示占比以得到第一目标参数。其中，投影参数可以为虚拟对象从三维图像转换到二维图像时使用的投影矩阵。
投影矩阵可以是虚拟对象所在的三维坐标系与目标显示屏所在二维坐标系之间的转换关系。在具体实现上，将虚拟对象在三维图像中的大小与投影矩阵相乘，得到虚拟对象在二维图像上的投影，计算虚拟对象在二维图像上的投影面积。将虚拟对象在平面图像上的投影面积与目标显示屏的面积相除，得到第一目标参数A。其中，目标显示屏的面积可以根据目标显示屏的长与宽的相乘操作而得到。
其中，转移关系可通过相关技术中对空间几何体从三维图像映射到二维图像的原理而得到，不赘述。
根据公式(4)可得到灵活的第一目标参数，实现对初始压缩系数的灵活调整，进而可得到灵活的目标压缩系数，实现高效传输。
针对第二目标参数B，在虚拟对象在当前增强现实装置的显示界面中的深度信息D大于或等于预设深度阈值P的情况下，将第二目标参数取为(P/D)2。在深度信息D小于深度阈值P的情况下，将第二目标参数取为预设值，如预设值为1。通过公式进行体现即为公式(5)：
在设置深度阈值P＝3的情况下，公式(5)变成了公式(6)：
待到使用时，可使用公式(6)进行第二目标参数B的计算。
可以理解，P可根据实际情况而灵活设定。任何合理的情况均覆盖在本公开方案的保护范围内。
根据公式(5)或(6)可得到灵活的第二目标参数，实现对初始压缩系数的灵活调整得到灵活的目标压缩系数，进而实现对AR视频的高效传输。
下面结合图5和图6所示的场景对本公开的技术方案进行详细说明。
以AR设备应用在AR巡检的场景如电力系统巡检为例，AR设备的佩戴者产生如图5所示的移动路径(巡检路径)，以对该移动路径中出现的电力系统进行巡检。假定在移动路径中的位置1、3、5处出现有电力系统如电力服务器，其他位置(如位置2和4)未出现电力服务器。
图5中的三角形表示AR设备在位置1、3、5处进行外部环境的观看且在该位置处出现有电力服务器这一现实对象。相邻两条虚线表示观看外部环境时AR设备的佩戴位置如头部的转动程度，也可看成是佩戴者对外部环境进行观看的观看视角。在该观看视角时AR设备观看到的外部环境中出现有电力服务器这一现实对象。针对外部环境中出现的现实对象，AR设备可产生如图6中的显示界面，显示界面中显示有虚拟对象。虚拟对象用于表示电力服务器这一现实对象的编号、CPU运行状态以及机器型号等电力服务器的相关信息。
可以理解，在实际应用中，AR设备的佩戴者在某个位置处如位置1处采用如图5所示的观看视角对外部环境进行观看(假定AR设备在位置1-5中的观看视角相同)时，外部环境中出现的服务器的数量可以为一个，可以为两个，还可以为多个，根据外部环境的实际情况而定。
以当前增强显示装置的显示界面为AR设备处于位置1且以图5所示的观看视角观看外部环境视频时而呈现的显示界面为例，参见图6，在显示界面中出现有针对现实对象的虚拟对象(服务器的编号、中央处理器CPU运行状态以及机器型号)。从用户层面来看，通过此时的目标显示屏用户观看到的是外部环境视频和包括有虚拟对象的显示界面视频二者相互叠加的视频。该叠加的视频可视为AR设备处于位置1且以图5所示的观看视角观看外部环境视频时而得到的目标视频。
在AR设备处于各位置时、如处于位置1时，AR设备显示有显示界面，识别显示界面中是否出现虚拟对象，识别为出现有虚拟对象的情况下，根据公式(4)计算第一目标参数A。或者，根据公式(6)和虚拟对象在显示界面中的深度信息D，计算第二目标参数B。或者根据公式(4)计算第一目标参数A、以及根据公式(6)和虚拟对象在显示界面中的深度信息D，计算第二目标参数B。优选为，对第一目标参数A和第二目标参数B均进行计算。
在仅计算出第一目标参数A的情况下，将第一目标参数A和预设的初始压缩系数代入至公式(1)，得到目标压缩系数。
在仅计算出第二目标参数B的情况下，将第二目标参数B和预设的初始压缩系数代入至公式(2)，得到目标压缩系数。
在计算出第一目标参数A和第二目标参数B的情况下，将计算出的第一目标参数A、第二目标参数B和预设的初始压缩系数代入至公式(3)，得到目标压缩系数。
采用目标压缩系数对AR设备的目标视频进行压缩。其中，目标视频是AR设备在处于位置1处且以图5所示的观看视角录制的外部环境视频和显示界面视频二者叠加的视频，该视频与图6所示的图像相同或相似。
将压缩后的目标视频传输至其他设备如后台服务器，以实现对AR视频的存储。后续如果有对服务器进行故障排查的需求时，可将存储的AR视频进行解压，基于AR视频呈现的画面实现对视频中的服务器的故障检测。
可以理解，在显示界面未显示有虚拟对象的情况下，A＝0，B＝0，根据公式(3)计算得到的目标压缩系数X是初始压缩系数S的3倍。
在显示界面显示有虚拟对象的情况下，在公式(4)中A可取得的最大值为1。根据公式(3)计算得到的目标压缩系数X是大于初始压缩系数S且小于3倍的初始压缩系数S。
可见，在显示界面未显示有虚拟对象的情况下对目标视频的压缩程度高于在显示界面显示有虚拟对象的情况下对目标视频的压缩程度。
在显示界面未显示有虚拟对象的情况下对目标视频的压缩程度高，可以有效减少对传输带宽的占用。单位传输时间内被传输的视频量增多，传输效率被提高。
在显示界面显示有虚拟对象的情况下对目标视频的压缩程度低，可有效保证视频质量，传输到其他设备的AR视频被解压后可清晰地看到视频内容，避免因为压缩过度而导致的解压后无法清晰看到视频内容的情形。
可见，本公开方案实现了对视频质量和传输带宽占用的兼顾，实现了高效传输。其中，在显示界面未显示有虚拟对象的情况下对目标视频的压缩程度高，还可以减小其他设备存储压缩后的目标视频的存储量，还可以有效提高AR设备的续航能力。
当虚拟对象占满目标显示屏(A＝1)和虚拟对象距离眼睛的距离位于3米以内(D＜3、B＝1)时，目标压缩系数即为预设的初始压缩系数，保证了视频清晰度。
针对图5所示的巡检轨迹，因为在位置1、3、5处显示界面中是显示有虚拟对象的，而在位置2、4处显示界面中是未显示有显示对象的，所以从位置1依次移动至位置5的过程中，AR设备持续向后台服务器传输的AR视频采用的压缩系数是不同的。
示例性地，以在位置1和位置2这两个位置处为例，在位置1处，显示界面中显示有虚拟对象，采用目标压缩系数1.5S(假定A＝0.5且通过公式(1)计算而得)对位置1处的目标视频进行压缩并传输。在位置2(假定位置1和位置2处的观看视角相同)处，显示界面中未显示虚拟对象，采用目标压缩系数2S(A＝0且通过公式(1)计算而得)对位置2处的目标视频进行压缩并传输。实现了在不同位置处采用相应压缩系数对不同位置处的目标视频进行压缩的方案，实现了灵活压缩，做到了高效传输。
前述方案是以AR设备处于不同位置时显示的显示界面作为当前AR设备的显示界面。当前录制的外部环境视频是当前AR在不同位置时对外部环境进行录制而得到的视频。将在AR设备处于不同位置时录制的外部环境视频和处于不同位置时AR设备的显示界面视频作为各位置下的目标视频。
在实际应用中，当前AR设备的显示界面还可以是AR设备处于相同位置、不同观看视角时AR设备显示的显示界面。当前录制的外部环境视频是当前AR在相同位置、不同观看视角时对外部环境进行录制而得到的视频。将在AR设备处于相同位置、不同观看视角时录制的外部环境视频和处于相同位置、不同观看视角时AR设备的显示界面视频作为该相同位置不同视角下的目标视频。
针对AR设备处于相同位置但处于不同观看视角、显示界面中均显示有虚拟对象的情况，由于观看视角的不同可能会导致出现在显示界面中的虚拟对象(的类型和/或数量)不同，这种情况下，按照公式(1)-(3)中的其中之一的公式进行计算而得到的目标压缩系数也可能不同。
前述方案实现了在相同位置处不同观看视角的情况下采用相应压缩系数对相同位置处不同观看视角下的目标视频进行压缩的方案，实现了灵活压缩，做到了高效传输。
其中，针对AR设备进行电力巡检的场景，虚拟对象的类型可以包括电力服务器、电缆、电力电源等。
与相关技术中采用固定的压缩系数进行压缩的方案相比，可根据某个位置处的AR显示界面中是否显示有虚拟对象的情况，采用相应的目标压缩系数进行压缩。或者，在某个位置处的AR显示界面中显示有虚拟对象且该位置处的不同观看视角下的虚拟对象的类型和数量之一不同，也采用相应的目标压缩系数进行压缩。这样做符合了实际使用需求：在显示虚拟对象的情况下，需优先保证视频质量，以对AR视频的电力服务器进行故障排查时可清晰地看到AR视频。在不显示虚拟对象的情形下，需优先保证减少对传输带宽的占用。
本公开还提供一种视频传输装置的实施例，如图7所示，所述装置包括：
获取单元701，用于获取目标信息；
确定单元702，用于基于所述目标信息，确定目标压缩系数；
传输单元703，用于基于所述目标压缩系数，将目标视频传输，所述目标视频根据所述增强现实装置当前录制的外部环境视频和当前所述显示界面显示的视频得到。
其中，所述确定单元702，用于：
确定所述目标信息为当前所述增强现实装置的显示界面显示有虚拟对象；
基于第一目标参数和第二目标参数中的至少之一，对初始压缩系数进行调整，得到所述目标压缩系数；
其中，所述目标参数包括第一目标参数和/或第二目标参数，所述第一目标参数表征所述虚拟对象相对于目标显示屏的显示占比；所述第二目标参数表征与所述虚拟对象的深度信息相关的参数。
其中，所述确定单元702，用于确定所述目标信息为当前所述增强现实装置的显示界面未显示有虚拟对象；
对初始压缩系数进行预设倍数的增大，得到所述目标压缩系数。
其中，所述确定单元702，用于在目标信息表征所述三维目标图像中出现针对所述现实对象的虚拟对象的情况下，确定第一目标系数为所述目标压缩系数；
在目标信息表征所述三维目标图像中未出现针对所述现实对象的虚拟对象的情况下，确定第二目标系数为所述目标压缩系数；
其中，所述第一目标系数、第二目标系数均为预先设置的、且所述第二目标系数大于所述第一目标系数。
其中，所述确定单元702，用于获取所述虚拟对象的二维图像投影参数；
根据所述二维图像投影参数，确定所述虚拟对象相对于目标显示屏的显示占比，以得到所述第一目标参数。
其中，所述确定单元702，用于在所述深度信息D大于或等于预设深度阈值P的情况下，所述第二目标参数为(P/D)2；在所述深度信息D小于所述深度阈值P的情况下，所述第二目标参数为预设值。
需要说明的是，本申请实施例的视频传输装置，由于该视频传输装置解决问题的原理与前述的视频传输方法相似，因此，视频传输装置的实施过程及实施原理均可以参见前述方法的实施过程及实施原理描述，重复之处不再赘述。
本公开实施例的视频传输装置如前述的增强现实(AR)装置。
根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如视频传输方法。例如，在一些实施例中，视频传输方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的视频传输方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频传输方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种视频传输方法，应用于增强现实装置，所述方法包括：
获取目标信息，所述目标信息表征当前所述增强现实装置的显示界面是否显示有虚拟对象；
确定所述目标信息表征当前所述增强现实装置的显示界面显示有虚拟对象；
基于第一目标参数和第二目标参数的至少之一，对初始压缩系数进行调整，得到目标压缩系数；
其中，所述第一目标参数表征所述虚拟对象相对于目标显示屏的显示占比；所述第二目标参数表征与所述虚拟对象的深度信息相关的参数；
基于所述目标压缩系数，将目标视频进行传输，所述目标视频根据所述增强现实装置当前录制的外部环境视频和当前所述显示界面显示的视频得到。
2.根据权利要求1所述的方法，其中，所述基于所述目标信息，确定目标压缩系数，包括：
确定所述目标信息表征当前所述增强现实装置的显示界面显示有虚拟对象的情况下，确定第一目标系数为所述目标压缩系数；
确定所述目标信息表征当前所述增强现实装置的显示界面未显示有虚拟对象的情况下，确定第二目标系数为所述目标压缩系数；
其中，所述第一目标系数、第二目标系数均为预先设置的、且所述第二目标系数大于所述第一目标系数。
3.根据权利要求1所述的方法，其中，所述第一目标参数的确定包括：
获取所述虚拟对象的二维图像投影参数；
根据所述二维图像投影参数，确定所述虚拟对象相对于目标显示屏的显示占比，以得到所述第一目标参数。
4.根据权利要求1所述的方法，其中，
在所述深度信息D大于或等于预设深度阈值P的情况下，所述第二目标参数为（P/D）2；
在所述深度信息D小于所述深度阈值P的情况下，所述第二目标参数为预设值。
5.一种视频传输装置，所述装置包括：
获取单元，用于获取目标信息；
传输单元，用于基于目标压缩系数，将目标视频进行传输，所述目标视频根据增强现实装置当前录制的外部环境视频和当前显示界面显示的视频得到；
确定单元，用于确定所述目标信息为当前所述增强现实装置的显示界面显示有虚拟对象；基于第一目标参数和第二目标参数中的至少之一，对初始压缩系数进行调整，得到所述目标压缩系数；其中，所述第一目标参数表征所述虚拟对象相对于目标显示屏的显示占比；所述第二目标参数表征与所述虚拟对象的深度信息相关的参数。
6.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。
7.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-4中任一项所述的方法。
CN202210320297.4A 2022-03-29 2022-03-29 视频传输方法、装置、设备及存储介质 Active CN114697633B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210320297.4A CN114697633B (zh) 2022-03-29 2022-03-29 视频传输方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210320297.4A CN114697633B (zh) 2022-03-29 2022-03-29 视频传输方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114697633A CN114697633A (zh) 2022-07-01
CN114697633B true CN114697633B (zh) 2023-09-19

Family

ID=82140794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210320297.4A Active CN114697633B (zh) 2022-03-29 2022-03-29 视频传输方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114697633B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067705A (zh) * 2012-12-19 2013-04-24 宁波大学 一种多视点深度视频预处理方法
CN103888764A (zh) * 2014-03-14 2014-06-25 西安交通大学 一种自适应补偿视频压缩失真的系统及方法
CN106982367A (zh) * 2017-03-31 2017-07-25 联想(北京)有限公司 视频传输方法及其装置
CN110166787A (zh) * 2018-07-05 2019-08-23 腾讯数码（天津）有限公司 增强现实数据传播方法、系统和存储介质
CN111699693A (zh) * 2017-11-21 2020-09-22 因默希弗机器人私人有限公司 用于数字现实的图像压缩
CN112906721A (zh) * 2021-05-07 2021-06-04 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN114007059A (zh) * 2020-07-28 2022-02-01 阿里巴巴集团控股有限公司 视频压缩方法、解压方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9055027B2 (en) * 2012-02-13 2015-06-09 Lenovo (Beijing) Co., Ltd. Transmission method and electronic device
US10567771B2 (en) * 2014-12-15 2020-02-18 Miovision Technologies Incorporated System and method for compressing video data
JPWO2019198501A1 (ja) * 2018-04-10 2021-05-13 ソニーグループ株式会社 画像処理装置、画像処理方法、プログラム、および画像伝送システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067705A (zh) * 2012-12-19 2013-04-24 宁波大学 一种多视点深度视频预处理方法
CN103888764A (zh) * 2014-03-14 2014-06-25 西安交通大学 一种自适应补偿视频压缩失真的系统及方法
CN106982367A (zh) * 2017-03-31 2017-07-25 联想(北京)有限公司 视频传输方法及其装置
CN111699693A (zh) * 2017-11-21 2020-09-22 因默希弗机器人私人有限公司 用于数字现实的图像压缩
CN110166787A (zh) * 2018-07-05 2019-08-23 腾讯数码（天津）有限公司 增强现实数据传播方法、系统和存储介质
CN114007059A (zh) * 2020-07-28 2022-02-01 阿里巴巴集团控股有限公司 视频压缩方法、解压方法、装置、电子设备及存储介质
CN112906721A (zh) * 2021-05-07 2021-06-04 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN114697633A (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
EP3852068A1 (en) Method for training generative network, method for generating near-infrared image and apparatuses
US20180324415A1 (en) Real-time automatic vehicle camera calibration
JP2019534606A (ja) ライトフィールドデータを使用して場面を表す点群を再構築するための方法および装置
US9661298B2 (en) Depth image enhancement for hardware generated depth images
US11373337B2 (en) Image processing method of virtual reality and apparatus thereof
US20140375634A1 (en) Hybrid client-server rendering with low latency in view
CN112017222A (zh) 视频全景拼接与三维融合方法及装置
CN113014936B (zh) 视频插帧方法、装置、设备以及存储介质
CN112468796B (zh) 注视点生成方法、系统及设备
US9111392B2 (en) Stochastic depth buffer compression using generalized plane encoding
EP2854101A2 (en) Compressed 3D graphics rendering exploiting psychovisual properties
CN113365146A (zh) 用于处理视频的方法、装置、设备、介质和产品
EP4142288A1 (en) Image processing method and apparatus for head-mounted display device, and electronic device
CN114697633B (zh) 视频传输方法、装置、设备及存储介质
CN110619670A (zh) 人脸互换方法、装置、计算机设备及存储介质
US20150249812A1 (en) Stereoscopic image processing device, stereoscopic image processing method, and recording medium
US9262841B2 (en) Front to back compositing
CN115131507B (zh) 图像处理方法、图像处理设备和元宇宙三维重建方法
CN115576470A (zh) 图像处理方法和装置、增强现实系统及介质
CN114363530B (zh) 基于亿级像素设备的云端视频监控方法与监控平台
CN113810755B (zh) 全景视频预览的方法、装置、电子设备及存储介质
CN110933493A (zh) 视频绘制系统、方法及计算机可读存储介质
CN112203079A (zh) 一种面向三维球体可视化系统
CN114513646A (zh) 一种三维虚拟场景中全景视频的生成方法及设备
CN113784217A (zh) 视频播放方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant