CN112929650B - 一种多视角虚拟显示信号处理方法、系统、计算机可读存储介质及电子设备 - Google Patents
一种多视角虚拟显示信号处理方法、系统、计算机可读存储介质及电子设备 Download PDFInfo
- Publication number
- CN112929650B CN112929650B CN202110090248.1A CN202110090248A CN112929650B CN 112929650 B CN112929650 B CN 112929650B CN 202110090248 A CN202110090248 A CN 202110090248A CN 112929650 B CN112929650 B CN 112929650B
- Authority
- CN
- China
- Prior art keywords
- signals
- view
- visual angle
- signal
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 52
- 230000005236 sound signal Effects 0.000 claims abstract description 52
- 230000000007 visual effect Effects 0.000 claims description 56
- 230000001360 synchronised effect Effects 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 12
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 239000011521 glass Substances 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000007654 immersion Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
- H04N13/354—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying sequentially
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/008—Aspects relating to glasses for viewing stereoscopic images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明涉及虚拟现实技术领域，具体涉及一种多视角虚拟显示信号处理方法、系统、计算机可读存储介质及电子设备，其中一种多视角虚拟显示信号处理方法，包括，于接收到预定频率的至少两个视角信号状态下，对至少两个所述视角信号做同步处理以形成一多视角视频信号和多频道音频信号输出；根据所述多视角视频信号形成与所述多视角视频信号匹配的第一类控制信号输出。
Description
技术领域
本发明涉及虚拟现实技术领域，具体涉及一种多视角虚拟显示信号处理方法、系统、计算机可读存储介质及电子设备。
背景技术
随着网络技术的发展，图像处理技术以及大数据处理能力的提升，可穿戴虚拟现实设备得到用户越来越多的青睐，同时随着智能终端和物联网技术的快速发展，人们使用的智能设备越来越多，尤其是带有显示屏幕的智能终端设备，例如电脑、智能手机、智能电视等。虚拟现实(简称：VR)体验具有3I的特征，分别是沉浸感(Immersion)、交互性(Interaction)和想象性(Imagination)，这三个特征体现了VR的主要优势。其中和显示系统相关性最大的就是沉浸感，一个显示设备是否可用于VR的首要判断标准就是是否可以为体验者提供足够沉浸的观看体验。
随着VR技术和设备性能的发展，VR目前广泛应用在教育教学、工业设计、军事、应急等许多领域，用于提升各行业的工作效率。VR应用方式根据VR显示设备的特点可简单分为：单人使用的VR头戴显示器、可多人同时观看的中大型立体显示系统。对于VR头戴显示器，可很好的进行沉浸体验，但存在隔离自然交流的问题，体验者和其他人必须通过VR技术在虚拟环境中以较低的效率进行交流，存在明显的交流障碍。对于可多人观看的中大型立体显示系统，采用现有的立体显示技术可以提供一个立体感的视角，结合其它VR技术提供一位体验者的沉浸感体验，但无法顾及更多的观看者，导致其它观看者的沉浸式体验效果很不理想。
发明内容
基于现有技术的缺陷，本发明提供一种多视角虚拟显示信号处理方法、系统、计算机可读存储介质及电子设备，具体地：
一方面，本发明提供一种多视角虚拟显示信号处理方法，其中：
于接收到预定频率的至少两个视角信号状态下，对至少两个所述视角信号做同步处理以形成一多视角视频信号和多频道音频信号输出；
根据所述多视角视频信号形成与所述多视角视频信号匹配的第一类控制信号输出。
优选地，上述的一种多视角虚拟显示信号处理方法，其中：还包括：
外部设备于所述第一类控制信号的作用下执行与所述第一类控制信号匹配的动作。
优选地，上述的一种多视角虚拟显示信号处理方法，其中：所述视角信号包括视角音频信号和视角视频信号，于接收到预定频率至少两个视角信号的状态下，对至少两个所述视角信号做同步处理以形成多视角视频信号和多频道音频信号输出，具体包括：
于接收到至少两个视角信号的状态下，获取与所述视角信号对应的视角音频信号和视角视频信号；
对所述视角视频信号作缓存处理，对缓存处理的所述视角视频信号做排序处理以形成多视角视频信号，根据所述视角视频信号、所述预定频率形成输出频率，根据所述输出频率输出所述多视角视频信号；
根据所述多视角视频信号、所述视角音频信号形成与所述多视角视频信号匹配的多频道音频信号。
优选地，上述的一种多视角虚拟显示信号处理方法，其中：所述外部设备包括视频观看装置以及音频播放装置。
再一方面，本发明再提供一种多视角虚拟显示信号处理系统，其中，包括：
同步输出设备，用于输出至少两个视角信号，
信号处理设备，于接收到预定频率的至少两个视角信号状态下，对至少两个所述视角信号做同步处理以形成一多视角视频信号和多频道音频信号输出；根据所述多视角视频信号形成与所述多视角视频信号匹配的第一类控制信号输出；
信号发射单元，输出所述第一类控制信号；
高频显示设备，接收并显示所述多视角视频信号。
优选地，上述的一种多视角虚拟显示信号处理系统，其中：还包括：
外部设备，于所述第一类控制信号的作用下执行与所述第一类控制信号匹配的动作。
优选地，上述的一种多视角虚拟显示信号处理系统，其中：所述外部设备包括视频观看装置以及音频播放装置。
再一方面，本发明实施例再提供一种计算机可读存储介质，其上存储有计算机程序，其中：所述计算机程序被处理器执行时实现上述的一种多视角虚拟显示信号处理方法。
再一方面，本发明实施例再提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种多视角虚拟显示信号处理方法。
与现有技术相比，本发明的优点在于：
本发明通过对视角视频信号和音频信号做处理形成频率较高的多视角视频信号和相对应的多频道音频信号，通过高频显示设备实现多视角视频信号的播放，通过第一类控制信号控制视频播放装置切换不同的工作状态以实现同一个物理显示区域播放多视角视频画面时，让观众可以看到不同的画面，同时通过音频播放装置分别播放与视角对应的频道的音频信号，为不同的观看者提供更好的沉浸感体验。
附图说明
图1为本发明提供一种多视角虚拟显示信号处理方法流程示意图；
图2为本发明提供一种多视角虚拟显示信号示意图；
图3为本发明提供一种多视角虚拟显示信号示意图；
图4为本发明提供一种多视角虚拟显示信号示意图；
图5为本发明提供一种多视角虚拟显示信号处理系统的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其它优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，虽图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的形态、数量及比例可为一种随意的改变，且其组件布局形态也可能更为复杂。
实施例一
一方面，如图1所示，本发明提供一种多视角虚拟显示信号处理方法，其中：
步骤S110、于接收到预定频率的至少两个视角信号状态下，对至少两个所述视角信号做同步处理以形成一多视角视频信号和多频道音频信号输出；其中，所述视角信号包括视角音频信号和视角视频信号，于接收到预定频率至少两个视角信号的状态下，对至少两个所述视角信号做同步处理以形成多视角视频信号和多频道音频信号输出具体包括：
步骤S1101、于接收到至少两个视角信号的状态下，获取与所述视角信号对应的视角音频信号和视角视频信号。
同步输出设备输出至少两个视角信号，同步输出设备可由一台或多台图形工作站形成，当视角信号数据量相对较大，且一个图形工作站无法处理的情况下，则该视角信号可由多个图形工作站进行完成处理并输出，并由信号处理设备接收经过处理后的视角信号。
步骤S1102、对所述视角视频信号作缓存处理，对缓存处理的所述视角视频信号做排序处理以形成多视角视频信号，根据所述视角视频信号、所述预定频率形成输出频率，根据所述输出频率输出所述多视角视频信号；具体地，
信号处理设备接收视角信号，并对多个所述视角信号中的视频信号做同步处理，具体的，信号处理设备接收到多个视角信号，并对多个视角信号做缓存处理，以保证同一时刻中的多个视频信号均被接收，之后对多个视角的视频信号做同步处理。
例如，如图2所示，当前至少有三路视频信号输入，分别为视频信号A、视频信号B和视频信号C，该三路视频信号同步输入信号处理设备，视频信号A包含后三个时刻的视频信号，分别为第一时刻的视频信号A1、第二时刻的视频信号A2、第三时刻的视频信号A3，同样视频信号B包含后三个时刻的视频信号，分别为第一时刻的视频信号B1、第二时刻的视频信号B2、第三时刻的视频信号B3，视频信号C包含后三个时刻的视频信号，分别为第一时刻的视频信号C1、第二时刻的视频信号C2、第三时刻的视频信号C3，信号处理设备接收三路视频信号的第一时刻的视频信号、第二时刻的视频信号、第三时刻的视频信号，第一时刻的视频信号A1、第一时刻的视频信号B1、第一时刻的视频信号C1全部接收完成后对第一时刻的视频信号A1、第一时刻的视频信号B1、第一时刻的视频信号C1做缓存处理，缓存完成后对第一时刻的视频信号A1、第一时刻的视频信号B1、第一时刻的视频信号C1做同步混合处理以使得第一时刻的视频信号A1、第一时刻的视频信号B1、第一时刻的视频信号C1按照预定的顺序被输出，例如输出顺序为视频信号A1L(第一时刻的视频信号A1的左眼信号)、视频信号B1L、视频信号C1L、视频信号A1R(第一时刻的视频信号A1的右眼信号)、视频信号B1R、视频信号C1R。其中预定顺序输出的输出顺序为视频信号A1L、视频信号B1L、视频信号C1L、视频信号A1R、视频信号B1R、视频信号C1R即为多视角视频信号。
根据所述视角视频信号、所述预定频率形成输出频率，具体地，例如视角视频信号的频率为f1，当视角数量为3的情况下，输出频率为3*f1。
步骤S1103、根据所述多视角视频信号、所述视角音频信号形成与所述多视角视频信号匹配的多频道音频信号。
信号处理设备接收视角信号，根据所述多视角视频信号、所述视角音频信号形成与所述多视角视频信号匹配的多频道音频信号，也可以理解为信号处理设备根据多个所述视角信号中的音频信号形成于与视角数量匹配的多频道音频信号，具体地，如当前有三个视角，则形成三视角音频信号，每个视角音频信号均有一个独立的频率，例如与视频信号A对应的音频信号为A频率音频信号，与视频信号B对应的音频信号为B频率音频信号，与视频信号C对应的音频信号为C频率音频信号，A频率音频信号、B频率音频信号、C频率音频信号形成所述多频道音频信号。
步骤S120、根据所述多视角立体视频信号形成与所述多视角立体视频信号匹配的第一类控制信号输出。
具体地，第一类控制信号的形成方式有两种，一种形成方式为同一个脉冲信号中分时段控制不同的外部设备，此时需要先对外部设备做相应的延时设置，一种形成方式为多个不同的脉冲信号通过编码信息控制不同的外部设备。具体地：
当所述第一类控制信号为同一个脉冲信号时，以两路信号为例，如图3所示，第一类控制控制信号比所述视角视频信号延迟一个脉冲周期，通常也可以延迟半个脉冲周期，仅需要保证在延时的时间内信号处理设备完成多视角视频信号的排序处理即可。示意性地，脉冲信号的高电平状态下形成外部设备的左眼控制信号，脉冲信号的低电平状态下形成外部设备的右眼控制信号，在脉冲信号的高电平状态下，对高电平持续的时间做分时操作，例如高电平的前半部用于控制第一外部设备的左眼装置(空心椭圆表示开启、实心椭圆表示关闭)，后半部分用于第二外部设备的右眼装置，如有三个视角，则需要三个外部设备，同时对高电平的持续时间做三等分处理，每一个部分控制不同的外部设备。外部设备包括外部音频播放装置和视频观看装置。外部设备在使用时可任意选择多视角中的某个视角，选择方式包括但不限于：通过设备自带的部件进行设置、通过有线或无线方式连接电脑等信息设备进行设置、通过NFC技术与保存有设置数据的载体近距离接触进行数据交换实现快速设置等。
当所述第一类控制信号为多个脉冲信号时，以两路信号为例，如图4所示，第一类控制信号分别包含控制第一外部设备的第一控制信号和控制第二外部设备的第二控制信号。
步骤S130、外部设备于所述第一类控制信号的作用下执行与所述第一类控制信号匹配的动作。具体的，例如外部的视频观看装置于第一类控制信号的作用下切换左右镜片的工作状态，同时外部的音频播放装置播放与当前视角视频信号匹配的视角音频信号。
本发明通过对视角视频信号和音频信号做处理形成频率较高的多视角音视频信号，通过高频显示设备实现多视角视频信号的播放，通过第一类控制信号控制视频播放装置切换不同的工作状态以实现同一个物理显示区域播放多视角视频画面，让观众可以看到不同的画面，同时通过音频播放装置播放与视角数量匹配的音频信号，为不同的观看者提供更好的沉浸感体验。
实施例二
如图5所示，再一方面，本发明再提供一种多视角虚拟显示信号处理系统，其中，包括：
同步输出设备，用于输出至少两个视角信号，
信号处理设备，于接收到预定频率的至少两个视角信号状态下，对至少两个所述视角信号做同步处理以形成一多视角视频信号和多频道音频信号输出；根据所述多视角视频信号形成与所述多视角视频信号匹配的第一类控制信号输出；
高频显示设备，接收并显示所述多视角视频信号。其中，高频显示设备为可以按60hz以上的频率快速刷新，例如240hz或更高。高频显示设备包括但不限于：LCD显示器、OLED显示器、LED显示器、投影设备。由于高频显示设备上在轮流显示不同视角的画面，裸眼观看显示器会看到画面叠加的画面，所以需要佩戴专用的快门式立体眼镜进行观看。人的两只眼睛必须看到不同的具有视差的画面才能有立体感，因此必须实现让某只眼睛只看到对应的画面。和视频播放装置(立体眼镜)配套的信号发射单元会将信号处理设备输出的同步信号无线发送出来，立体眼镜根据无线信号切换镜片的可见性，比如视角A的眼镜只在显示A组画面时开启对应镜片，即视角A的左眼镜片只在A1L、A2L、A3L……的画面显示时可见，视角A的右眼镜片只在A1R、A2R、A3R……的画面显示时可见，则视角A就能感受到A路的立体画面。视角B的眼镜只在显示B组画面时开启对应镜片。显示切换的帧率足够高，每个镜片每秒都会打开60次查看相应画面，由于人眼的视觉暂留效应，观看者感受不到镜片的快速切换，最终体验和佩戴普通眼镜观看显示器的体验相同。
信号发射单元，输出所述第一类控制信号；信号发射单元可以接收同步信号，然后通过专用协议编码后在2.4G频段上发送出去，眼镜接收后按同步信号和设置进行和画面相匹配的切换。无线信号发射器同时可以接收多路音频信号，将每个音频信号压缩编码后分别通过不同2.4G信道发送出去。观众佩戴的耳机可以和眼镜相连，根据眼镜的设置可以自动选择对应的音频信道，接收到音频数据后解码播放，实现同一空间内，眼镜处于相同视角的观众听到相同的声音，不同视角的观众听到不同的声音。
作为进一步优选实施方案，上述的一种多视角虚拟显示信号处理系统，其中：还包括：
外部设备，于所述第一类控制信号的作用下执行与所述第一类控制信号匹配的动作。
作为进一步优选实施方案，上述的一种多视角虚拟显示信号处理系统，其中：所述外部设备包括视频观看装置以及音频播放装置。
上述了一种多视角虚拟显示信号处理系统，其工作原理与实施例一中的一种多视角虚拟显示信号处理方法的工作原理相同，此处不做赘述。
再一方面，本发明实施例再提供一种计算机可读存储介质，其上存储有计算机程序，其中：所述计算机程序被处理器执行时实现上述的一种多视角虚拟显示信号处理方法。
再一方面，本发明实施例再提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种多视角虚拟显示信号处理方法。
在本申请所提供的上述实施例中，应该理解到，所揭露的方法、装置、计算机可读存储介质以及电子设备，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个组件或模块可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或组件或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的组件可以是或者也可以不是物理上分开的，作为组件显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部组件来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个组件单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种多视角虚拟显示信号处理方法，其特征在于：应用于虚拟现实设备，包括，
于接收到预定频率的至少两个视角信号状态下，对至少两个所述视角信号做同步处理以形成一多视角视频信号和多频道音频信号输出；
根据所述多视角视频信号形成与所述多视角视频信号匹配的第一类控制信号输出，其中所述视角信号包括视角音频信号和视角视频信号，于接收到预定频率至少两个视角信号的状态下，对至少两个所述视角信号做同步处理以形成多视角视频信号和多频道音频信号输出具体包括：
于接收到至少两个视角信号的状态下，获取与所述视角信号对应的视角音频信号和视角视频信号；
对所述视角视频信号作缓存处理，对缓存处理的所述视角视频信号做排序处理以形成多视角视频信号，根据所述视角视频信号、所述预定频率形成输出频率，根据所述输出频率输出所述多视角视频信号；
根据所述多视角视频信号、所述视角音频信号形成与所述多视角视频信号匹配的多频道音频信号。
2.根据权利要求1所述的一种多视角虚拟显示信号处理方法，其特征在于：还包括：
外部设备于所述第一类控制信号的作用下执行与所述第一类控制信号匹配的动作。
3.根据权利要求2所述的一种多视角虚拟显示信号处理方法，其特征在于：所述外部设备包括视频观看装置以及音频播放装置。
4.一种多视角虚拟显示信号处理系统，其特征在于，应用于虚拟现实设备，包括：
同步输出设备，用于输出至少两个视角信号；
信号处理设备，于接收到预定频率的至少两个视角信号状态下，对至少两个所述视角信号做同步处理以形成一多视角视频信号和多频道音频信号输出；
根据所述多视角视频信号形成与所述多视角视频信号匹配的第一类控制信号输出；其中所述视角信号包括视角音频信号和视角视频信号，于接收到预定频率至少两个视角信号的状态下，对至少两个所述视角信号做同步处理以形成多视角视频信号和多频道音频信号输出具体包括：于接收到至少两个视角信号的状态下，获取与所述视角信号对应的视角音频信号和视角视频信号；对所述视角视频信号作缓存处理，对缓存处理的所述视角视频信号做排序处理以形成多视角视频信号，根据所述视角视频信号、所述预定频率形成输出频率，根据所述输出频率输出所述多视角视频信号；根据所述多视角视频信号、所述视角音频信号形成与所述多视角视频信号匹配的多频道音频信号；
信号发射单元，输出所述第一类控制信号；
高频显示设备，接收并显示所述多视角视频信号。
5.根据权利要求4所述的一种多视角虚拟显示信号处理系统，其特征在于：还包括：
外部设备，于所述第一类控制信号的作用下执行与所述第一类控制信号匹配的动作。
6.根据权利要求5所述的一种多视角虚拟显示信号处理系统，其特征在于：所述外部设备包括视频观看装置以及音频播放装置。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-3任意一项所述的一种多视角虚拟显示信号处理方法。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-3任意一项所述的一种多视角虚拟显示信号处理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110090248.1A CN112929650B (zh) | 2021-01-22 | 2021-01-22 | 一种多视角虚拟显示信号处理方法、系统、计算机可读存储介质及电子设备 |
| US18/269,954 US20230396758A1 (en) | 2021-01-22 | 2022-01-18 | Multi-view virtual display signal processing method and system, computer readable storage medium, and electronic device |
| PCT/CN2022/072511 WO2022156671A1 (zh) | 2021-01-22 | 2022-01-18 | 多视角虚拟显示信号处理方法、系统、计算机可读存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110090248.1A CN112929650B (zh) | 2021-01-22 | 2021-01-22 | 一种多视角虚拟显示信号处理方法、系统、计算机可读存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112929650A CN112929650A (zh) | 2021-06-08 |
| CN112929650B true CN112929650B (zh) | 2022-11-25 |
Family
ID=76165149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110090248.1A Active CN112929650B (zh) | 2021-01-22 | 2021-01-22 | 一种多视角虚拟显示信号处理方法、系统、计算机可读存储介质及电子设备 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230396758A1 (zh) |
| CN (1) | CN112929650B (zh) |
| WO (1) | WO2022156671A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112929650B (zh) * | 2021-01-22 | 2022-11-25 | 上海曼恒数字技术股份有限公司 | 一种多视角虚拟显示信号处理方法、系统、计算机可读存储介质及电子设备 |
| CN114339188B (zh) * | 2021-12-30 | 2024-02-27 | 上海曼恒数字技术股份有限公司 | 一种多视角虚拟现实沉浸式显示方法、装置、介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107343206A (zh) * | 2017-08-11 | 2017-11-10 | 北京铂石空间科技有限公司 | 支持多视角观看的视频生成方法、装置、介质和电子设备 |
| CN108701369A (zh) * | 2015-10-09 | 2018-10-23 | 华纳兄弟娱乐公司 | 针对虚拟现实的娱乐数据的制作与封装 |
| CN111698520A (zh) * | 2020-06-24 | 2020-09-22 | 北京奇艺世纪科技有限公司 | 一种多视角视频的播放方法、装置、终端及存储介质 |
| CN211606691U (zh) * | 2020-03-18 | 2020-09-29 | 上海三思电子工程有限公司 | 一种单屏多画面共享系统 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070153122A1 (en) * | 2005-12-30 | 2007-07-05 | Ayite Nii A | Apparatus and method for simultaneous multiple video channel viewing |
| CN101047872B (zh) * | 2006-03-28 | 2011-07-13 | 深圳Tcl新技术有限公司 | 用于电视的立体音视频装置 |
| US8269822B2 (en) * | 2007-04-03 | 2012-09-18 | Sony Computer Entertainment America, LLC | Display viewing system and methods for optimizing display view based on active tracking |
| JP5343714B2 (ja) * | 2009-06-05 | 2013-11-13 | ソニー株式会社 | 映像処理装置、表示装置および表示システム |
| JP2012023553A (ja) * | 2010-07-14 | 2012-02-02 | Panasonic Corp | 映像視聴システム、表示装置、操作装置及び眼鏡装置 |
| US20120169852A1 (en) * | 2011-01-04 | 2012-07-05 | Samsung Electronics Co., Ltd. | Display apparatus and system |
| CN102740015B (zh) * | 2011-04-13 | 2015-03-11 | 鸿富锦精密工业（深圳）有限公司 | 同时播放不同频道的电视系统 |
| CN102231842A (zh) * | 2011-06-30 | 2011-11-02 | 深圳Tcl新技术有限公司 | 3d视频显示系统、方法及3d显示装置和3d眼镜 |
| US20130169755A1 (en) * | 2011-12-28 | 2013-07-04 | Samsung Electronics Co., Ltd. | Signal processing device for processing plurality of 3d content, display device for displaying the content, and methods thereof |
| TW201506445A (zh) * | 2013-08-01 | 2015-02-16 | Hon Hai Prec Ind Co Ltd | 顯示系統及顯示系統的顯示方法 |
| CN106791769A (zh) * | 2016-12-16 | 2017-05-31 | 广东威创视讯科技股份有限公司 | 虚拟现实实现方法及系统 |
| CN212909830U (zh) * | 2020-04-20 | 2021-04-06 | 上海曼恒数字技术股份有限公司 | 一种用于多视角虚拟现实立体显示系统 |
| CN112929650B (zh) * | 2021-01-22 | 2022-11-25 | 上海曼恒数字技术股份有限公司 | 一种多视角虚拟显示信号处理方法、系统、计算机可读存储介质及电子设备 |
-
2021
- 2021-01-22 CN CN202110090248.1A patent/CN112929650B/zh active Active
-
2022
- 2022-01-18 WO PCT/CN2022/072511 patent/WO2022156671A1/zh active Application Filing
- 2022-01-18 US US18/269,954 patent/US20230396758A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108701369A (zh) * | 2015-10-09 | 2018-10-23 | 华纳兄弟娱乐公司 | 针对虚拟现实的娱乐数据的制作与封装 |
| CN107343206A (zh) * | 2017-08-11 | 2017-11-10 | 北京铂石空间科技有限公司 | 支持多视角观看的视频生成方法、装置、介质和电子设备 |
| CN211606691U (zh) * | 2020-03-18 | 2020-09-29 | 上海三思电子工程有限公司 | 一种单屏多画面共享系统 |
| CN111698520A (zh) * | 2020-06-24 | 2020-09-22 | 北京奇艺世纪科技有限公司 | 一种多视角视频的播放方法、装置、终端及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022156671A1 (zh) | 2022-07-28 |
| US20230396758A1 (en) | 2023-12-07 |
| CN112929650A (zh) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101719583B1 (ko) | 멀티뷰 디스플레이 시스템 | |
| CN102196285B (zh) | 调整3d图像质量的方法和3d显示设备 | |
| US20220264068A1 (en) | Telepresence system and method | |
| CN112929650B (zh) | 一种多视角虚拟显示信号处理方法、系统、计算机可读存储介质及电子设备 | |
| CN101072406B (zh) | 用于显示图像的移动通信终端和方法 | |
| EP2248108A2 (en) | Non-linear depth rendering of stereoscopic animated images | |
| CN102256144A (zh) | 使用眼镜识别装置、影像观赏系统及眼镜、显示装置 | |
| CN105959666A (zh) | 一种虚拟现实系统中分享3d影像的方法和装置 | |
| CN211606691U (zh) | 一种单屏多画面共享系统 | |
| CN102802011A (zh) | 双视显示方法和显示设备 | |
| KR101329057B1 (ko) | 다시점 입체 동영상 송신 장치 및 방법 | |
| CN108989784A (zh) | 虚拟现实设备的图像显示方法、装置、设备及存储介质 | |
| CN101094370A (zh) | 用来发送和接收广播信号的装置和方法及其数据结构 | |
| WO2008021857A2 (en) | Method and system for multi-channel viewing applications | |
| CN212909830U (zh) | 一种用于多视角虚拟现实立体显示系统 | |
| KR101935418B1 (ko) | Hmd 장치를 이용한 가상현실 서비스 제공 방법 및 이를 구현하는 가상현실 시스템 | |
| CN103209335A (zh) | 支持高屏幕刷新率的立体电影播放方法及系统 | |
| CN101742172A (zh) | 具有立体显示功能的子母画面显示装置及画面显示方法 | |
| EP3422743B1 (en) | An apparatus and associated methods for audio presented as spatial audio | |
| CN102469320A (zh) | 单屏幕多频同步2d及3d影音系统 | |
| Zhang et al. | Challenges and road ahead for wireless networks to serve immersive human centric applications | |
| US20110310222A1 (en) | Image distributing apparatus, display apparatus, and image distributing method thereof | |
| CN101193322B (zh) | 立体影像显示方法及应用该方法的显示系统 | |
| CN202332125U (zh) | 主动式3d led显示屏 | |
| CN203219433U (zh) | 支持高屏幕刷新率的立体电影播放系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210608 Assignee: Manhengweitu (Shanghai) Software Technology Co.,Ltd. Assignor: SHANGHAI MANHENG DIGITAL TECHNOLOGY Co.,Ltd. Contract record no.: X2023980048048 Denomination of invention: A multi view virtual display signal processing method, system, computer-readable storage medium, and electronic device Granted publication date: 20221125 License type: Common License Record date: 20231124 |
|
| EE01 | Entry into force of recordation of patent licensing contract |