CN111752660A - 电子白板的画布反向控制方法、系统及装置 - Google Patents
电子白板的画布反向控制方法、系统及装置 Download PDFInfo
- Publication number
- CN111752660A CN111752660A CN202010588059.2A CN202010588059A CN111752660A CN 111752660 A CN111752660 A CN 111752660A CN 202010588059 A CN202010588059 A CN 202010588059A CN 111752660 A CN111752660 A CN 111752660A
- Authority
- CN
- China
- Prior art keywords
- value
- maximum value
- current
- electronic whiteboard
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000004364 calculation method Methods 0.000 claims description 34
- 238000009877 rendering Methods 0.000 claims description 15
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 claims description 6
- FEPMHVLSLDOMQC-UHFFFAOYSA-N virginiamycin-S1 Natural products CC1OC(=O)C(C=2C=CC=CC=2)NC(=O)C2CC(=O)CCN2C(=O)C(CC=2C=CC=CC=2)N(C)C(=O)C2CCCN2C(=O)C(CC)NC(=O)C1NC(=O)C1=NC=CC=C1O FEPMHVLSLDOMQC-UHFFFAOYSA-N 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 4
- 239000000243 solution Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/26—Special purpose or proprietary protocols or architectures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computer Security & Cryptography (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明属于电子白板技术领域，具体涉及了一种电子白板的画布反向控制方法、系统、装置，旨在解决电子白板分辨率较高时，无法对电子白板工具实现低延迟、高画质的反向控制的问题。本发明包括：获取初始相机参数、缩放系数和当前X、Y、Z值，根据标准比例和非标比例的电子白板分辨率，通过不同的方法计算X、Y、Z方向的最值；在反控端进行操作后，重新计算最值，若超出最值区域则进行最值更新，并根据不同的指令计算反控坐标偏移值；最后电子白板主机解析反控指令，结合更新的参数，实现电子白板的画布反向控制。本发明对于高分辨率的电子白板的画布，可实现低延迟、高画质的反向控制。
Description
技术领域
本发明属于电子白板技术领域，具体涉及一种电子白板的画布反向控制方法、系统及装置。
背景技术
电子白板工具已经是会场中很常见的设备。在会议进行过程中，演讲者通常习惯在座位上进行讲解，因此需要电脑客户端的软件解码RTSP流(RTST，Real Time StreamingProtocol，实时流传输协议，是TCP/IP协议体系中的一个应用层协议，该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据)渲染播放后，根据显示的画面对电子白板工具进行反向控制。因此，画面的渲染延迟以及画面的质量是十分重要的。
现在的会议室中，电子白板工具的显示分辨率越来越大(电子白板工具大多为4k及以上分辨率)，甚至采用拼接屏幕时，会达到更高的分辨率。然而，过高的分辨率会导致编码延迟，进而造成客户端渲染画面的延迟，严重影响反控体验。若是将高分辨率的画质压缩后再进行编码，虽然解决了延迟问题，但画面质量会大打折加。
总的来说，现有的电子白板工具显示分辨率较高，无法实现低延迟的反向控制，而通过压缩画面解决延迟问题，则会导致画面质量的下降，本领域尚未有低延迟、高画质的方法，可以实现高分辨率的电子白板工具的反向控制。
发明内容
为了解决现有技术中的上述问题，即为了解决电子白板分辨率较高时，无法实现对电子白板工具的低延迟、高画质的反向控制的问题，本发明提供了一种电子白板的画布反向控制方法，该反向控制方法包括：
步骤S10，获取3D相机视场角α、当前缩放系数s和X、Y、Z方向的当前值并保存；所述X、Y方向分别为3D相机在视口区域的正对点指向的正左侧、正上方；所述Z方向为3D相机垂直于视口区域的正前方；
步骤S20，基于所述3D相机视场角α、当前缩放系数s，计算初始的X、Y、Z方向的最值以及3D相机的最大缩放系数；所述最值包括最大值和最小值；
步骤S30，电子白板主机将所述3D相机中的图像数据以1920×1080为基准进行缩放后编码，并生成RTSP流；
步骤S40，反控端获取RTSP流后解码，并渲染解码结果；反控端基于X、Y、Z方向的当前值以及最值，初始化UI界面；
步骤S50，若反控端的指令为缩放，电子白板主机获取缩放指令与当前缩放系数，结合初始的X、Y、Z方向的最值，计算当前X、Y方向的最值，并判断其是否超出最值，若超出则将其设置为新的最值，获取X、Y方向的反控坐标偏移值；若反控端的指令为调整X、Y坐标，电子白板主机获取指令与调整的X值、Y值，并判断调整的X值、Y值是否超出最值，若超出则将其设置为新的最值，获取X、Y方向的反控坐标偏移值；
步骤S60，基于所述当前X、Y方向的最值、初始的Z方向的最值，X、Y方向的反控坐标偏移值，实现电子白板的画布反向控制。
在一些优选的实施例中，步骤S20中“基于所述3D相机视场角α、当前缩放系数s，计算初始的X、Y、Z方向的最值以及3D相机的最大缩放系数”，其方法为：
判断所述视口区域分辨率的宽高比是否为标准比例，若是，则通过预设的第一最值计算方法获取X、Y、Z方向的最值；若不是，则通过预设的第二最值计算方法获取X、Y、Z方向的最值；
3D相机的最大缩放系数，其计算方法为：
其中，smax代表3D相机的最大缩放系数，HB代表视口区域分辨率的高度。
在一些优选的实施例中，所述预设的第一最值计算方法为：
其中，Xmax、Ymax、Zmax分别代表当前视口区域的X、Y、Z方向的最大值，Xmin、Ymin、Zmin分别代表当前视口区域的X、Y、Z方向的最小值，HB代表当前视口区域分辨率的高度，α为3D相机视场角，aspect为当前视口区域分辨率的高宽比。
在一些优选的实施例中，所述预设的第二最值计算方法为：
其中，Xmax、Ymax、Zmax分别代表当前视口区域的X、Y、Z方向的最大值，Xmin、Ymin、Zmin分别代表当前视口区域的X、Y、Z方向的最小值，WB和HB分别代表当前视口区域分辨率的宽度和高度，α为3D相机视场角，aspect为当前视口区域分辨率的高宽比。
在一些优选的实施例中，步骤S50中“获取X、Y方向的反控坐标偏移值”，其方法为：
若反控端的指令为缩放，且视口区域分辨率的宽高比为标准比例，则通过预设的第一反控坐标偏移值计算方法获取X、Y方向的反控坐标偏移值；
若反控端的指令为缩放，且视口区域分辨率的宽高比为非标准比例，则通过预设的第二反控坐标偏移值计算方法获取X、Y方向的反控坐标偏移值；
若反控端的指令为调整X、Y坐标，且视口区域分辨率的宽高比为标准比例，则通过预设的第三反控坐标偏移值计算方法获取X、Y方向的反控坐标偏移值；
若反控端的指令为调整X、Y坐标，且视口区域分辨率的宽高比为非标准比例，则通过预设的第四反控坐标偏移值计算方法获取X、Y方向的反控坐标偏移值。
在一些优选的实施例中，所述预设的第一反控坐标偏移值计算方法为：
其中，Xn、Yn分别代表反控坐标的X、Y方向的坐标偏移值，WB和HB分别代表视口区域分辨率的宽度和高度，Xmax和Xd分别代表X方向的最大值和当前坐标值,Ymax和Yd分别代表Y方向的最大值和当前坐标值，smax、smin和s分别代表3D相机的最大缩放系数、最小缩放系数和当前缩放系数。
在一些优选的实施例中，所述预设的第二反控坐标偏移值计算方法为：
其中，Xn、Yn分别代表反控坐标的X、Y方向的坐标偏移值，WB和HB分别代表视口区域分辨率的宽度和高度，Xmax和Xd分别代表X方向的最大值和当前坐标值,Ymax和Yd分别代表Y方向的最大值和当前坐标值，smax、smin和s分别代表3D相机的最大缩放系数、最小缩放系数和当前缩放系数。
在一些优选的实施例中，所述预设的第三反控坐标偏移值计算方法为：
其中，Xn、Yn分别代表反控坐标的X、Y方向的坐标偏移值，WB和HB分别代表视口区域分辨率的宽度和高度，Xmax代表X方向的最大值,Ymax代表Y方向的最大值，smax、smin和s分别代表3D相机的最大缩放系数、最小缩放系数和当前缩放系数。
在一些优选的实施例中，所述预设的第四反控坐标偏移值计算方法为：
其中，Xn、Yn分别代表反控坐标的X、Y方向的坐标偏移值，WB和HB分别代表视口区域分辨率的宽度和高度，Xmax代表X方向的最大值,Ymax代表Y方向的最大值，smax、smin和s分别代表3D相机的最大缩放系数、最小缩放系数和当前缩放系数。
本发明的另一方面，提出了一种电子白板的画布反向控制系统，该反向控制系统包括参数获取及定义模块、最值及反控计算模块、RTSP流生成模块、渲染及界面初始化模块、最值及反控更新模块、反控模块；
所述参数获取及定义模块，配置为获取3D相机视场角α、当前缩放系数s和X、Y、Z方向的当前值并保存；所述X、Y方向分别为3D相机在视口区域的正对点指向的正左侧、正上方；所述Z方向为3D相机垂直于视口区域的正前方；
所述最值及反控计算模块，配置为基于所述3D相机视场角α、当前缩放系数s，计算初始的X、Y、Z方向的最值以及计算3D相机的最大缩放系数；所述最值包括最大值和最小值；
所述RTSP流生成模块，配置为将所述3D相机中的图像数据以1920×1080为基准进行缩放后编码，并生成RTSP流；
所述渲染及界面初始化模块，配置为获取RTSP流后解码，并渲染解码结果；基于X、Y、Z方向的当前值及最值，初始化UI界面；
所述最值及反控更新模块，配置为若反控端的指令为缩放，电子白板主机获取缩放指令与当前缩放系数，结合初始的X、Y、Z方向的最值，获取当前X、Y方向的最值，并计算X、Y方向的反控坐标偏移值；若反控端的指令为调整X、Y坐标，电子白板主机获取指令与调整的X值、Y值，并判断调整的X值、Y值是否超出最值，若超出则将其设置为新的最值，并获取X、Y方向的反控坐标偏移值；
所述反控模块，配置为基于所述当前X、Y方向的最值、初始的Z方向的最值，X、Y方向的反控坐标偏移值，实现电子白板的画布反向控制。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的电子白板的画布反向控制方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的电子白板的画布反向控制方法。
本发明的有益效果：
本发明电子白板的画布反向控制方法，在进行反向控制时，不进行图像的压缩，通过实时的X、Y、Z方向的最值以及X、Y方法反控坐标偏移值的计算，在反控指令下，不断更新坐标，并进行数据同步，避免了高分辨率导致的编码延迟，进而造成的客户端渲染画面的延迟，从而本发明电子白板的画布反向控制延迟低、画面质量高。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明电子白板的画布反向控制方法一种实施例的相机、画布以及X、Y、Z方向示意图；
图2是本发明电子白板的画布反向控制方法一种实施例的系统框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的一种电子白板的画布反向控制方法，该反向控制方法包括：
步骤S10，获取3D相机视场角α、当前缩放系数s和X、Y、Z方向的当前值并保存；所述X、Y方向分别为3D相机在视口区域的正对点指向的正左侧、正上方；所述Z方向为3D相机垂直于视口区域的正前方；
步骤S20，基于所述3D相机视场角α、当前缩放系数s，计算初始的X、Y、Z方向的最值以及3D相机的最大缩放系数；所述最值包括最大值和最小值；
步骤S30，电子白板主机将所述3D相机中的图像数据以1920×1080为基准进行缩放后编码，并生成RTSP流；
步骤S40，反控端获取RTSP流后解码，并渲染解码结果；反控端基于X、Y、Z方向的当前值以及最值，初始化UI界面；
步骤S50，若反控端的指令为缩放，电子白板主机获取缩放指令与当前缩放系数，结合初始的X、Y、Z方向的最值，计算当前X、Y方向的最值，并判断其是否超出最值，若超出则将其设置为新的最值，获取X、Y方向的反控坐标偏移值；若反控端的指令为调整X、Y坐标，电子白板主机获取指令与调整的X值、Y值，并判断调整的X值、Y值是否超出最值，若超出则将其设置为新的最值，获取X、Y方向的反控坐标偏移值；
步骤S60，基于所述当前X、Y方向的最值、初始的Z方向的最值，X、Y方向的反控坐标偏移值，实现电子白板的画布反向控制。
为了更清晰地对本发明电子白板的画布反向控制方法进行说明，下面结合图1对本方发明方法一种实施例中各步骤进行展开详述。
本发明一种实施例的电子白板的画布反向控制方法，包括步骤S10-步骤S60，各步骤详细描述如下：
步骤S10，获取3D相机视场角α、当前缩放系数s和X、Y、Z方向的当前值并保存；所述X、Y方向分别为3D相机在视口区域的正对点指向的正左侧、正上方；所述Z方向为3D相机垂直于视口区域的正前方。
电子白板主机启动之后，默认编码整个视口区域，获取此时的3D相机视场角α以及当前的缩放系数，系统开机时默认当前缩放系数为100％，且视场角(Field Of View)已固定。
步骤S20，基于所述3D相机视场角α、当前缩放系数s，计算初始的X、Y、Z方向的最值以及计算3D相机的最大缩放系数；所述最值包括最大值和最小值。
计算3D相机的最大缩放系数，如式(1)所示：
其中，smax代表3D相机的最大缩放系数，HB代表视口区域分辨率的高度。
本发明应用中，涉及到不同分辨率尺寸的电子白板，有些视口区域为标准比例的分辨率(标准为16:9)，而有些则不是标准比例的，对于标准和非标准的两种电子白板，为其最值分别设置了不同的计算方法。本发明一个实施例中，以分辨率1920×1080作为标准的16:9的电子白板分辨率，最值计算以及反控坐标偏移值计算也以此为标准，在其他实施例中，也可以选择其他的分辨率作为电子白板的标准比例分辨率，采用其他分辨率的宽度和/或高度值替换本发明计算方法中的1920和/或1080，也可以实现本发明低延迟、高画质的电子白板的画布反向控制，本发明在此不一一详述。
若视口区域分辨率的宽高比为标准比例，则通过预设的第一最值计算方法获取X、Y、Z方向的最值；若不是，则通过预设的第二最值计算方法获取X、Y、Z方向的最值。
预设的第一最值计算方法如式(2)所示：
其中，Xmax、Ymax、Zmax分别代表当前视口区域的X、Y、Z方向的最大值，Xmin、Ymin、Zmin分别代表当前视口区域的X、Y、Z方向的最小值，HB代表当前视口区域分辨率的高度，α为3D相机视场角，aspect为当前视口区域分辨率的高宽比。
预设的第二最值计算方法如式(3)所示：
其中，Xmax、Ymax、Zmax分别代表当前视口区域的X、Y、Z方向的最大值，Xmin、Ymin、Zmin分别代表当前视口区域的X、Y、Z方向的最小值，WB和HB分别代表当前视口区域分辨率的宽度和高度，α为3D相机视场角，aspect为当前视口区域分辨率的高宽比。
步骤S30，电子白板主机将所述3D相机中的图像数据以1920×1080为基准进行缩放后编码，并生成RTSP流。
电子白板启动并计算了相关的参数之后，开始从3D相机的显卡纹理中获取图像数据，并以1920×1080为基准进行缩放后编码，最终生成并发布RTSP流。
步骤S40，反控端获取RTSP流后解码，并渲染解码结果；反控端基于X、Y、Z方向的当前值以及最值，初始化UI界面。
反控端(即客户控制端，比如计算机、平板、手机等)连接到电子白板主机后，接收上述计算的参数以及RTSP流的访问地址。
反控端创建解码渲染窗口，根据上述的RTSP流地址，进行协议的连接，然后获取编码数据，最后解码并将解码结果渲染到窗口上，还根据上述计算的参数，初始化UI界面上的控制组件，比如：缩放系数滑动条、控制视口区域X、Y坐标的摇杆在X、Y方向的位置值等。
步骤S50，若反控端的指令为缩放，电子白板主机获取缩放指令与当前缩放系数，结合初始的X、Y、Z方向的最值，计算当前X、Y方向的最值，并判断其是否超出最值，若超出则将其设置为新的最值，获取X、Y方向的反控坐标偏移值；若反控端的指令为调整X、Y坐标，电子白板主机获取指令与调整的X值、Y值，并判断调整的X值、Y值是否超出最值，若超出则将其设置为新的最值，获取X、Y方向的反控坐标偏移值。
本发明应用中，涉及到不同分辨率尺寸的电子白板，有些视口区域为标准比例的分辨率(标准为16:9)，而有些则不是标准比例的，对于标准和非标准的两种电子白板，分别为其反控坐标偏移值在不同的反控指令下设置了不同的计算方法。
若反控端的指令为缩放，且视口区域分辨率的宽高比为标准比例，则通过预设的第一反控坐标偏移值计算方法获取X、Y方向的反控坐标偏移值，如式(4)和式(5)所示：
其中，Xn、Yn分别代表反控坐标的X、Y方向的坐标偏移值，WB和HB分别代表视口区域分辨率的宽度和高度，Xmax和Xd分别代表X方向的最大值和当前坐标值,Ymax和Yd分别代表Y方向的最大值和当前坐标值，smax、smin和s分别代表3D相机的最大缩放系数、最小缩放系数和当前缩放系数。
若反控端的指令为缩放，且视口区域分辨率的宽高比为非标准比例，则通过预设的第二反控坐标偏移值计算方法获取X、Y方向的反控坐标偏移值，如式(6)和式(7)所示：
其中，Xn、Yn分别代表反控坐标的X、Y方向的坐标偏移值，WB和HB分别代表视口区域分辨率的宽度和高度，Xmax和Xd分别代表X方向的最大值和当前坐标值,Ymax和Yd分别代表Y方向的最大值和当前坐标值，smax、smin和s分别代表3D相机的最大缩放系数、最小缩放系数和当前缩放系数。
若反控端的指令为调整X、Y坐标，且视口区域分辨率的宽高比为标准比例，则通过预设的第三反控坐标偏移值计算方法获取X、Y方向的反控坐标偏移值，如式(8)和式(9)所示：
其中，Xn、Yn分别代表反控坐标的X、Y方向的坐标偏移值，WB和HB分别代表视口区域分辨率的宽度和高度，Xmax代表X方向的最大值,Ymax代表Y方向的最大值，smax、smin和s分别代表3D相机的最大缩放系数、最小缩放系数和当前缩放系数。
若反控端的指令为调整X、Y坐标，且视口区域分辨率的宽高比为非标准比例，则通过预设的第四反控坐标偏移值计算方法获取X、Y方向的反控坐标偏移值，如式(10)和式(11)所示：
其中，Xn、Yn分别代表反控坐标的X、Y方向的坐标偏移值，WB和HB分别代表视口区域分辨率的宽度和高度，Xmax代表X方向的最大值,Ymax代表Y方向的最大值，smax、smin和s分别代表3D相机的最大缩放系数、最小缩放系数和当前缩放系数。
反控端进行反向控制时，还获取控制点的坐标并进行相对渲染窗口左上角的归一化处理，并将处理后的数据按照设定的精度处理后，传输给电子白板主机。
本发明采用的归一化是通过将待归一化的数据除以设定数，获得(0,1)之间的小数，比如将待归一化的数据除以1000、10000等。
归一化之后的小数，只有一定精度内的值是有意义的，因此，反控端和电子白板主机约定相同的精度。本发明一个实施例中，归一化的小数保留小数点后4位数字。
当反控端接收到修改缩放系数的指令时，先对修改的缩放系数值进行设定的精度处理后，传输给电子白板主机。
电子白板主机根据接收到的当前缩放系数，结合相机参数，按照上述方法，重新计算X、Y方向的最大值和最小值以及X、Y方向的反控坐标偏移值。
当反控端接收到修改视口区域的X、Y坐标的指令时，也先对修改的值进行设定的精度处理后，传输给电子白板主机。
电子白板主机根据接收的修改视口区域的X、Y坐标，结合相机参数，按照上述方法，重新计算X、Y方向的反控坐标偏移值。
无论反控指令是修改缩放系数还是修改视口区域的X、Y坐标，电子白板主机都要判断当前的X、Y值是否超出了最值区域，若超出了，需要将当前超出的X值和/或Y值设置为新的最值。
将更新后的X、Y、Z的当前值设置到3D相机上(若只修改视口区域的X、Y坐标，则无需更新Z值)，同时更新记录的X、Y、Z当前位置值，并发送给各反控端，进行数据同步(可以根据现场的需求设置多个反控端)。
步骤S60，基于所述当前X、Y方向的最值、初始的Z方向的最值，X、Y方向的反控坐标偏移值，实现电子白板的画布反向控制。
反控端发出反控指令后，电子白板主机解析反控指令，根据设定的精度进行数据转换后，获得相对左上角视角的坐标，结合更新后的X、Y、Z方向的最大值和最小值，X、Y方向的反控坐标偏移值，实现电子白板的画布反向控制。
本发明第二实施例的电子白板的画布反向控制系统，该反向控制系统包括参数获取及定义模块、最值及反控计算模块、RTSP流生成模块、渲染及界面初始化模块、最值及反控更新模块、反控模块；
所述参数获取及定义模块，配置为获取3D相机视场角α、当前缩放系数s和X、Y、Z方向的当前值并保存；所述X、Y方向分别为3D相机在视口区域的正对点指向的正左侧、正上方；所述Z方向为3D相机垂直于视口区域的正前方；
所述最值及反控计算模块，配置为基于所述3D相机视场角α、当前缩放系数s，计算初始的X、Y、Z方向的最值以及计算3D相机的最大缩放系数；所述最值包括最大值和最小值；
所述RTSP流生成模块，配置为将所述3D相机中的图像数据以1920×1080为基准进行缩放后编码，并生成RTSP流；
所述渲染及界面初始化模块，配置为获取RTSP流后解码，并渲染解码结果；基于X、Y、Z方向的当前值及最值，初始化UI界面；
所述最值及反控更新模块，配置为若反控端的指令为缩放，电子白板主机获取缩放指令与当前缩放系数，结合初始的X、Y、Z方向的最值，获取当前X、Y方向的最值，并计算X、Y方向的反控坐标偏移值；若反控端的指令为调整X、Y坐标，电子白板主机获取指令与调整的X值、Y值，并判断调整的X值、Y值是否超出最值，若超出则将其设置为新的最值，并获取X、Y方向的反控坐标偏移值；
所述反控模块，配置为基于所述当前X、Y方向的最值、初始的Z方向的最值，X、Y方向的反控坐标偏移值，实现电子白板的画布反向控制。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明第三实施例的电子白板的画布反向控制系统，该反向控制系统包括抓屏编码模块、解码渲染模块、反向控制模块、控制注入模块；
所述抓屏编码模块，配置为将整个电子白板视口内容进行编码，并发布RTSP流，编码的内容区域默认为整个电子白板的视口，之后内容区域会根据客户端(即反控端)的位置控制而改变。
所述解码渲染模块，配置为将电子白板的RTSP流媒体解码并渲染出来。
所述反向控制模块，配置为采集渲染电子白板窗口的控制命令，进行坐标转换后，通过MQTT通讯协议发给电子白板；同时，该模块还可以修改观察的视口位置和大小，最小分辨率为1920×1080，该模块修改位置和大小参数后，通过MQTT通讯协议发送到电子白板主机，主机的抓屏编码模块根据当前的内容区域进行编码，然后客户端(即反控端)看到的画面就会实时更新。
如图2所示，为本发明电子白板的画布反向控制方法一种实施例的系统框图，抓屏编码模块、控制注入模块设置于电子白板主机中，解码渲染模块、反向控制模块设置于电子白板客户端(即反控端)中，两者之间通过MQTT通讯协议进行数据传输。
所述控制注入模块，配置为根据通讯传过来的反向控制命令，解析命令进行坐标转换之后，将反控指令注入到操作系统中。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的电子白板的画布反向控制系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第四实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的电子白板的画布反向控制方法。
本发明第五实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的电子白板的画布反向控制方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种电子白板的画布反向控制方法，其特征在于，该反向控制方法包括：
步骤S10，获取3D相机视场角α、当前缩放系数s和X、Y、Z方向的当前值并保存；所述X、Y方向分别为3D相机在视口区域的正对点指向的正左侧、正上方；所述Z方向为3D相机垂直于视口区域的正前方；
步骤S20，基于所述3D相机视场角α、当前缩放系数s，计算初始的X、Y、Z方向的最值以及3D相机的最大缩放系数；所述最值包括最大值和最小值；
步骤S30，电子白板主机将所述3D相机中的图像数据以1920×1080为基准进行缩放后编码，并生成RTSP流；
步骤S40，反控端获取RTSP流后解码，并渲染解码结果；反控端基于X、Y、Z方向的当前值以及最值，初始化UI界面；
步骤S50，若反控端的指令为缩放，电子白板主机获取缩放指令与当前缩放系数，结合初始的X、Y、Z方向的最值，计算当前X、Y方向的最值，并判断其是否超出最值，若超出则将其设置为新的最值，获取X、Y方向的反控坐标偏移值；若反控端的指令为调整X、Y坐标，电子白板主机获取指令与调整的X值、Y值，并判断调整的X值、Y值是否超出最值，若超出则将其设置为新的最值，获取X、Y方向的反控坐标偏移值；
步骤S60，基于所述当前X、Y方向的最值、初始的Z方向的最值，X、Y方向的反控坐标偏移值，实现电子白板的画布反向控制。
2.根据权利要求1所述的电子白板的画布反向控制方法，其特征在于，步骤S20中“基于所述3D相机视场角α、当前缩放系数s，计算初始的X、Y、Z方向的最值以及3D相机的最大缩放系数”，其方法为：
判断所述视口区域分辨率的宽高比是否为标准比例，若是，则通过预设的第一最值计算方法获取X、Y、Z方向的最值；若不是，则通过预设的第二最值计算方法获取X、Y、Z方向的最值；
3D相机的最大缩放系数，其计算方法为：
其中，smax代表3D相机的最大缩放系数，HB代表视口区域分辨率的高度。
3.根据权利要求2所述的电子白板的画布反向控制方法，其特征在于，所述预设的第一最值计算方法为：
其中，Xmax、Ymax、Zmax分别代表当前视口区域的X、Y、Z方向的最大值，Xmin、Ymin、Zmin分别代表当前视口区域的X、Y、Z方向的最小值，HB代表当前视口区域分辨率的高度，α为3D相机视场角，aspect为当前视口区域分辨率的高宽比。
4.根据权利要求2所述的电子白板的画布反向控制方法，其特征在于，所述预设的第二最值计算方法为：
其中，Xmax、Ymax、Zmax分别代表当前视口区域的X、Y、Z方向的最大值，Xmin、Ymin、Zmin分别代表当前视口区域的X、Y、Z方向的最小值，WB和HB分别代表当前视口区域分辨率的宽度和高度，α为3D相机视场角，aspect为当前视口区域分辨率的高宽比。
5.根据权利要求1所述的电子白板的画布反向控制方法，其特征在于，步骤S50中“获取X、Y方向的反控坐标偏移值”，其方法为：
若反控端的指令为缩放，且视口区域分辨率的宽高比为标准比例，则通过预设的第一反控坐标偏移值计算方法获取X、Y方向的反控坐标偏移值；
若反控端的指令为缩放，且视口区域分辨率的宽高比为非标准比例，则通过预设的第二反控坐标偏移值计算方法获取X、Y方向的反控坐标偏移值；
若反控端的指令为调整X、Y坐标，且视口区域分辨率的宽高比为标准比例，则通过预设的第三反控坐标偏移值计算方法获取X、Y方向的反控坐标偏移值；
若反控端的指令为调整X、Y坐标，且视口区域分辨率的宽高比为非标准比例，则通过预设的第四反控坐标偏移值计算方法获取X、Y方向的反控坐标偏移值。
6.根据权利要求5所述的电子白板的画布反向控制方法，其特征在于，所述预设的第一反控坐标偏移值计算方法为：
其中，Xn、Yn分别代表反控坐标的X、Y方向的坐标偏移值，WB和HB分别代表视口区域分辨率的宽度和高度，Xmax和Xd分别代表X方向的最大值和当前坐标值,Ymax和Yd分别代表Y方向的最大值和当前坐标值，smax、smin和s分别代表3D相机的最大缩放系数、最小缩放系数和当前缩放系数。
7.根据权利要求5所述的电子白板的画布反向控制方法，其特征在于，所述预设的第二反控坐标偏移值计算方法为：
其中，Xn、Yn分别代表反控坐标的X、Y方向的坐标偏移值，WB和HB分别代表视口区域分辨率的宽度和高度，Xmax和Xd分别代表X方向的最大值和当前坐标值,Ymax和Yd分别代表Y方向的最大值和当前坐标值，smax、smin和s分别代表3D相机的最大缩放系数、最小缩放系数和当前缩放系数。
8.根据权利要求5所述的电子白板的画布反向控制方法，其特征在于，所述预设的第三反控坐标偏移值计算方法为：
其中，Xn、Yn分别代表反控坐标的X、Y方向的坐标偏移值，WB和HB分别代表视口区域分辨率的宽度和高度，Xmax代表X方向的最大值,Ymax代表Y方向的最大值，smax、smin和s分别代表3D相机的最大缩放系数、最小缩放系数和当前缩放系数。
9.根据权利要求5所述的电子白板的画布反向控制方法，其特征在于，所述预设的第四反控坐标偏移值计算方法为：
其中，Xn、Yn分别代表反控坐标的X、Y方向的坐标偏移值，WB和HB分别代表视口区域分辨率的宽度和高度，Xmax代表X方向的最大值,Ymax代表Y方向的最大值，smax、smin和s分别代表3D相机的最大缩放系数、最小缩放系数和当前缩放系数。
10.一种电子白板的画布反向控制系统，其特征在于，该反向控制系统包括参数获取及定义模块、最值及反控计算模块、RTSP流生成模块、渲染及界面初始化模块、最值及反控更新模块、反控模块；
所述参数获取及定义模块，配置为获取3D相机视场角α、当前缩放系数s和X、Y、Z方向的当前值并保存；所述X、Y方向分别为3D相机在视口区域的正对点指向的正左侧、正上方；所述Z方向为3D相机垂直于视口区域的正前方；
所述最值及反控计算模块，配置为基于所述3D相机视场角α、当前缩放系数s，计算初始的X、Y、Z方向的最值以及计算3D相机的最大缩放系数；所述最值包括最大值和最小值；
所述RTSP流生成模块，配置为将所述3D相机中的图像数据以1920×1080为基准进行缩放后编码，并生成RTSP流；
所述渲染及界面初始化模块，配置为获取RTSP流后解码，并渲染解码结果；基于X、Y、Z方向的当前值及最值，初始化UI界面；
所述最值及反控更新模块，配置为若反控端的指令为缩放，电子白板主机获取缩放指令与当前缩放系数，结合初始的X、Y、Z方向的最值，获取当前X、Y方向的最值，并计算X、Y方向的反控坐标偏移值；若反控端的指令为调整X、Y坐标，电子白板主机获取指令与调整的X值、Y值，并判断调整的X值、Y值是否超出最值，若超出则将其设置为新的最值，并获取X、Y方向的反控坐标偏移值；
所述反控模块，配置为基于所述当前X、Y方向的最值、初始的Z方向的最值，X、Y方向的反控坐标偏移值，实现电子白板的画布反向控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010588059.2A CN111752660B (zh) | 2020-06-24 | 2020-06-24 | 电子白板的画布反向控制方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010588059.2A CN111752660B (zh) | 2020-06-24 | 2020-06-24 | 电子白板的画布反向控制方法、系统及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111752660A true CN111752660A (zh) | 2020-10-09 |
| CN111752660B CN111752660B (zh) | 2023-11-28 |
Family
ID=72677099
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010588059.2A Active CN111752660B (zh) | 2020-06-24 | 2020-06-24 | 电子白板的画布反向控制方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111752660B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112684962A (zh) * | 2021-01-19 | 2021-04-20 | 广州视源电子科技股份有限公司 | 画布扩展方法、装置、存储介质及终端 |
| CN113709107A (zh) * | 2021-07-27 | 2021-11-26 | 中国人民解放军91977部队 | 一种异地多人协同标绘的电子白板系统 |
| CN114706508A (zh) * | 2022-04-28 | 2022-07-05 | 山东亿云信息技术有限公司 | Web端的画布放大、缩小偏移控制方法及画布重绘方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107479871A (zh) * | 2017-06-30 | 2017-12-15 | 广东南方数码科技股份有限公司 | 一种海量的矢量数据的访问和渲染方法、电子设备及存储介质 |
| CN110392063A (zh) * | 2019-08-27 | 2019-10-29 | 深圳市威屏科技有限公司 | 电子白板数据同步方法、装置、设备及介质 |
-
2020
- 2020-06-24 CN CN202010588059.2A patent/CN111752660B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107479871A (zh) * | 2017-06-30 | 2017-12-15 | 广东南方数码科技股份有限公司 | 一种海量的矢量数据的访问和渲染方法、电子设备及存储介质 |
| CN110392063A (zh) * | 2019-08-27 | 2019-10-29 | 深圳市威屏科技有限公司 | 电子白板数据同步方法、装置、设备及介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112684962A (zh) * | 2021-01-19 | 2021-04-20 | 广州视源电子科技股份有限公司 | 画布扩展方法、装置、存储介质及终端 |
| CN112684962B (zh) * | 2021-01-19 | 2022-03-29 | 广州视源电子科技股份有限公司 | 画布扩展方法、装置、存储介质及终端 |
| CN113709107A (zh) * | 2021-07-27 | 2021-11-26 | 中国人民解放军91977部队 | 一种异地多人协同标绘的电子白板系统 |
| CN114706508A (zh) * | 2022-04-28 | 2022-07-05 | 山东亿云信息技术有限公司 | Web端的画布放大、缩小偏移控制方法及画布重绘方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111752660B (zh) | 2023-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111752660A (zh) | 电子白板的画布反向控制方法、系统及装置 | |
| US11075974B2 (en) | Video data processing method and apparatus | |
| US10574955B2 (en) | Re-projecting flat projections of pictures of panoramic video for rendering by application | |
| US8773498B2 (en) | Background compression and resolution enhancement technique for video telephony and video conferencing | |
| JP5326234B2 (ja) | 画像送信装置、画像送信方法および画像送信システム | |
| CN107113396B (zh) | 视频通话期间在用户终端处实现的方法、用户终端及计算机可读存储介质 | |
| US9183642B2 (en) | Graphical data processing | |
| US20030220971A1 (en) | Method and apparatus for video conferencing with audio redirection within a 360 degree view | |
| US20100329358A1 (en) | Multi-view video compression and streaming | |
| CN106534859B (zh) | 基于spice协议的图像传输方法及装置 | |
| CN109547724B (zh) | 一种视频流数据的处理方法、电子设备及存储装置 | |
| JP2019530296A (ja) | 回転情報のシンタックス要素シグナリングを備えたビデオエンコーディング機能を有する方法及び装置、並びに関連するビデオデコーディング機能を有する方法及び装置 | |
| US10044979B2 (en) | Acquiring regions of remote shared content with high resolution | |
| CN110769323B (zh) | 一种视频通信方法、系统、装置和终端设备 | |
| CN107945101B (zh) | 图像处理方法和装置 | |
| WO2023071586A1 (zh) | 画面生成方法、装置、设备及介质 | |
| CN114979672A (zh) | 视频编码方法、解码方法、电子设备及存储介质 | |
| CN114979755A (zh) | 投屏方法、装置、终端设备及计算机可读存储介质 | |
| CN113596571B (zh) | 屏幕分享方法、装置、系统、存储介质以及计算机设备 | |
| Frieß et al. | Foveated encoding for large high-resolution displays | |
| CN113315927B (zh) | 视频处理方法和装置、电子设备和存储介质 | |
| Hristova et al. | Heterogeneous spatial quality for omnidirectional video | |
| US6654414B1 (en) | Video conferencing using camera environment panoramas | |
| WO2021057464A1 (zh) | 视频处理方法和装置、存储介质和电子装置 | |
| CN113992951A (zh) | 投屏方法、投影仪及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |