CN103581603A - 一种多媒体数据的传输方法及电子设备 - Google Patents
一种多媒体数据的传输方法及电子设备 Download PDFInfo
- Publication number
- CN103581603A CN103581603A CN201210258688.4A CN201210258688A CN103581603A CN 103581603 A CN103581603 A CN 103581603A CN 201210258688 A CN201210258688 A CN 201210258688A CN 103581603 A CN103581603 A CN 103581603A
- Authority
- CN
- China
- Prior art keywords
- data
- area
- processing mode
- volume
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种多媒体数据的传输方法及电子设备，当第一终端向第二终端发送多媒体数据之前，该方法包括：根据预设的数据划分策略将待传输多媒体数据划分为第一数据和第二数据；通过第一处理方式对所述第一数据进行处理得到第三数据，并通过第二处理方式对所述第二数据进行处理得到第四数据，其中，所述第三数据和所述第四数据的总数据量小于所述第一数据和所述第二数据的总数量，所述第一处理方式与所述第二处理方式不同；将所述第三数据和所述第四数据发送到所述第二终端，使第二终端根据与所述划分策略对应的组合策略将所述第三数据和第四数据组合。本发明公开的方法和装置在减小传输数据量的同时还能够保持关注区域的视频质量。
Description
技术领域
本发明涉及电子信息技术领域，尤其涉及一种多媒体数据的传输方法及电子设备。
背景技术
目前，视频技术的应用范围很广，如网上可视会议、网上可视电子商务、网上政务、网上购物、网上学校、远程医疗、网上研讨会、网上展示厅、个人网上聊天、可视咨询等业务。
例如，现有的生活环境中，当用户A与用户B进行Mobile或IM视频通话，在通信带宽有限的情况下，清晰度越高所需传输数据的量越大，从而则会使得传输流畅性越差，相同传输时长数据量越大。
现有技术中解决上述问题时，一般会采取降低视频源分辨率，降低清晰度和每帧图像的数据大小的方法。但是通过上述方法虽然能实现提高多媒体数据的传输效率但是接收方接收到数据后的显示效果会比较差。
发明内容
本发明提供一种多媒体数据的传输方法及电子设备，本发明所提供的方法和装置解决现有技术中多媒体数据的传输效率和显示效果不能同时兼备的问题。
本发明提供一种多媒体数据的传输方法，应用于第一终端，当所述第一终端向第二终端发送多媒体数据之前，该方法包括：
根据预设的数据划分策略将待传输的多媒体数据划分为第一数据和第二数据；
通过第一处理方式对所述第一数据进行处理得到第三数据，并通过第二处理方式对所述第二数据进行处理得到第四数据，其中，所述第三数据和所述第四数据的总数据量小于所述第一数据和所述第二数据的总数量，且所述第一处理方式与所述第二处理方式不同；
将所述第三数据和所述第四数据发送到所述第二终端，使所述第二终端能播放组合多媒体数据，所述组合多媒体数据是所述第二终端根据与所述划分策略对应的组合策略组合所述第三数据和所述第四数据而得到的数据。
所述第三数据所对应的第三数据量减去所述第一数据对应的第一数据量得到第一差值；所述第四数据所对应的第四数据量减去所述第二数据对应的第二数据量得到第二差值；且所述第一差值大于所述第二差值。
通过第一处理方式对所述第一数据进行处理得到第三数据，并通过第二处理方式对所述第二数据进行处理得到第四数据包括：
通过所述第一处理方式对所述第一数据进行处理得到所述第三数据，所述第一数据量与所述第三数据量相等；
通过所述第二处理方式对所述第二数据进行处理得到所述第四数据，所述第四数据量小于所述第二数据量。
通过第一处理方式对所述第一数据进行处理得到第三数据，并通过第二处理方式对所述第二数据进行处理得到第四数据包括：
通过所述第一处理方式对所述第一数据进行处理得到所述第三数据，所述第三数据量小于所述第一数据量；
通过所述第二处理方式对所述第二数据进行处理得到所述第四数据，所述第四数据量小于所述第二数据量；
其中，所述第三数据量与所述第一数据量的第一比值大于所述第四数据量与所述第二数据量的第二比值。
通过第一处理方式对所述第一数据进行处理得到第三数据，并通过第二处理方式对所述第二数据进行处理得到第四数据包括：
通过所诉第一处理方式对所述第一数据进行处理得到所述第三数据，所述第三数据量大于所述第一数据量；
通过所述第二处理方式对所述第二数据进行处理得到所述第四数据，所述第二数据量大于所述第四数据量；
其中，所述第三数据量减去所述第一数据量的第一差值小于所述第二数据量减去所述第四数据量的第三差值。
所述通过第二处理方式对所述第二数据进行处理得到第四数据，所述第二数据的数据量小于所述第四数据的数据量包括：
根据所述第一差值，确定所述第四数据量的上限阈值；
根据所述第四数据量上限阈值，通过所述第二处理方式对所述第二数据进行处理得到所述第四数据。
当所述待传输多媒体数据为图像数据，第一终端根据预设的数据划分策略将待传输多媒体数据划分为第一数据和第二数据包括：
根据图像划分信息，将所述图像数据中的帧画面划分为第一区域和第二区域，所述第一区域的图像数据对应所述第一数据，所述第二区域的图像数据对应所述第二数据。
根据所述图像划分信息，将所述图像数据中的帧画面划分为第一区域和第二区域之前，进一步包括：
第一终端生成将帧画面划分为第一区域和第二区域的图像划分信息，或者接收第二终端生成的将帧画面划分为第一区域和第二区域的图像划分信息。
生成将帧画面划分为第一区域和第二区域的图像划分信息包括：
接收用户的输入信息；
根据所述输入信息生成将帧画面划分为第一区域和第二区域的图像划分信息。
生成的将帧画面划分为第一区域和第二区域的图像划分信息包括：
通过图像识别方式从帧画面中确定目标区域的边界信息；
根据所述边界信息生成将帧画面划分为第一区域和第二区域的图像划分信息。
根据所述图像划分信息，将所述图像数据中的帧画面划分为第一区域和第二区域包括：
根据所述图像划分信息，在显示所述图像数据的显示单元中确定图像数据选择区；
所述图像数据选择区对应第一区域，每帧图像中去除第一区域的部分为第二区域。
所述根据所述图像划分信息，将所述图像数据中的帧画面划分为第一区域和第二区域包括：
根据所述图像划分信息，在显示所述图像数据的显示单元中确定图像数据选择区；
确定当前帧图像数据中所述图像数据选择区对应图像数据为图像数据对象；
将所述图像数据对象与所述图像数据中的每帧图像数据进行匹配，与所述图像数据对象匹配的区域对应第一区域，每帧图像中去除第一区域的部分为第二区域。
当所述待传输多媒体数据为音频数据，第一终端根据预设的数据划分策略将待传输多媒体数据划分为第一数据和第二数据包括：
根据预设的声音选择信息，确定所述音频数据中的通话音数据和背景音数据；
其中，所述通话音数据对应所述第一数据，所述背景音数据对应所述第二数据。
一种电子设备，当该电子设备向第二电子设备发送多媒体数据，电子设备包括：
数据划分单元，用于根据预设的数据划分策略将待传输多媒体数据划分为第一数据和第二数据；
数据转换单元，用于通过第一处理方式对所述第一数据进行处理得到第三数据，并通过第二处理方式对所述第二数据进行处理得到第四数据，其中，所述第三数据和所述第四数据的总数据量小于所述第一数据和所述第二数据的总数量，所述第一处理方式与所述第二处理方式不同；
数据传输单元，用于将所述第三数据和所述第四数据发送到所述第二终端，使所述第二终端能播放组合多媒体数据，所述组合多媒体数据是所述第二终端根据与所述划分策略对应的组合策略组合所述第三数据和所述第四数据而得到的数据。
当所述待传输多媒体数据为图像数据，则所述数据划分单元还用于将所述图像数据中的帧画面划分为第一区域和第二区域，所述第一区域的图像数据对应所述第一数据，所述第二区域的图像数据对应所述第二数据。
则所述数据划分单元还用于生成将帧画面划分为第一区域和第二区域的图像划分信息，或者接收第二终端生成的将帧画面划分为第一区域和第二区域的图像划分信息。
该装置还包括：
第二图像划分信息生成单元，用于接通过图像识别方式从帧画面中确定目标区域的边界信息；根据所述边界信息生成将帧画面划分为第一区域和第二区域的图像划分信息。
将该装置还包括：
第二图像划分信息生成单元，用于通过数据传输通道接收第二终端发送来的将待传输图像数据中的帧画面划分为第一区域和第二区域的图像划分信息。
则所述数据划分单元还用于根据所述图像划分信息，在显示所述图像数据的显示单元中确定图像数据选择区；所述图像数据选择区对应第一区域，每帧图像中去除第一区域的部分为第二区域。
则所述数据划分单元还用于根据所述图像划分信息，在显示所述图像数据的显示单元中确定图像数据选择区；确定当前帧图像数据中所述图像数据选择区对应图像数据为图像数据对象；将所述图像数据对象与所述图像数据中的每帧图像数据进行匹配，与所述图像数据对象匹配的区域对应第一区域，每帧图像中去除第一区域的部分为第二区域。
上述技术方案中的一个或两个，至少具有如下技术效果：
本发明实施例所提供的方法和装置通过根据预设的数据划分策略将待传输多媒体数据划分为第一数据和第二数据；通过第一处理方式对所述第一数据进行处理得到第三数据，并通过第二处理方式对所述第二数据进行处理得到第四数据，其中，所述第三数据和所述第四数据的总数据量小于所述第一数据和所述第二数据的总数量，所述第一处理方式与所述第二处理方式不同；将所述第三数据和所述第四数据发送到所述第二终端，使第二终端根据与所述划分策略对应的组合策略将所述第一数据和第二数据组合的方式；在减小传输数据量的同时还能够保持关注区域的视频质量。
附图说明
图1为本发明实施例一种多媒体数据的传输方法的流程图；
图2为本发明实施例中通过用户数据的图像划分信息对图像数据进行划分的方法流程图；
图3为本发明实施例中通过图像识别方式对图像数据进行划分的方法流程图；
图4为本发明实施例中对音频数据进行划分的方法流程图；
图5为本发明实施例(一)将所述图像数据中的帧画面划分为第一区域和第二区域；
图6为本发明实施例(二)将所述图像数据中的帧画面划分为第一区域和第二区域；
图6A为本发明实施例中图像划分的示意图；
图7为本发明实施例一种电子设备的结构示意图。
具体实施方式
本发明实施例提供一种多媒体数据的传输方法，应用于第一终端，其当所述第一终端向第二终端发送多媒体数据之前，该方法包括：根据预设的数据划分策略将待传输多媒体数据划分为第一数据和第二数据；通过第一处理方式对所述第一数据进行处理得到第三数据，并通过第二处理方式对所述第二数据进行处理得到第四数据，其中，所述第三数据和所述第四数据的总数据量小于所述第一数据和所述第二数据的总数量，所述第一处理方式与所述第二处理方式不同；将所述第三数据和所述第四数据发送到所述第二终端，使第二终端根据与所述划分策略对应的组合策略将所述第一数据和第二数据组合。
如图1所示，本发明实施例提供一种多媒体数据的传输方法，下面结合说明书附图对本发明的具体实施方式进行详细说明：
随着电子设备的智能化的提高以及手机功能的多样化，使得网络数据传输的数据量大幅度增加，为了达到数据传输稳定性的同时减少数据量的传输，本发明实施例提供以下方案：
在本发明实施例中，需要减少整个传输数据的数据量，所以启动数据分块压缩的方式，需要首先判定当前系统的是否满足预订条件。具体的预定条件可以是：用户手动触发某一物理键，或者电子设备的通信质量下降，或者确定电子设备的通信费用超过阈值。
应用于第一终端，当所述第一终端向第二终端发送多媒体数据之前，该方法包括：
步骤101，根据预设的数据划分策略将待传输多媒体数据划分为第一数据和第二数据；
因为具体的实现环境中，会存在大量数据传输的情况一般是图像数据、视频数据和音频数据。其中所述视频数据则可视为图像数据和音频数据的集合，所以本发明实施例中将图像数据和音频数据划分为第一数据和第二数据的具体实现方式可以包括：
对于图像数据：
接收用户输入的图像划分信息；根据所述图像划分信息，将所述图像数据中帧画面划分为第一区域和第二区域，所述第一区域的图像数据对应第一数据，所述第二区域的图像数据对应第二数据(在该实施例中可以是第一数据对应目标数据，第二数据对应背景数据)。
对于音频数据：
根据预设的声音选择信息，确定所述音频数据中的目标音数据和背景数据，其中，目标数据对应第一数据，背景数据对应第二数据。
例如：若第一终端与第二终端正在进行视频通话，则两个正在进行通话的用户所产生的通话音为目标音频数据，而除开目标用户通话音的音频数据，则可被定义为背景音数据。则在该实施例中通话音数据和背景音数据分别对应第一数据和第二数据。
步骤102，通过第一处理方式对所述第一数据进行处理得到第三数据，并通过第二处理方式对所述第二数据进行处理得到第四数据，其中，所述第三数据和所述第四数据的总数据量小于所述第一数据和所述第二数据的总数量，所述第一处理方式与所述第二处理方式不同；
在本发明实施例中，所述第一处理方式和第二处理方式分别对应调整所述第一数据和第二数据的数据量。在本发明实施例中对于背景数据的处理方式可以是直接丢弃。
步骤103，将所述第三数据和所述第四数据发送到所述第二终端，使所述第二终端能播放组合多媒体数据，所述组合多媒体数据是所述第二终端根据与所述划分策略对应的组合策略组合所述第三数据和所述第四数据而得到的数据。
因为在本发明实施例中，将原来完整的数据进行划分后生成了第一数据和第二数据，所以为了使第二终端接收到处理后的第三数据和第四数据后根据与所述划分策略对应的组合策略将所述第三数据和第四数据组合形成完整的能够进行播放的多媒体数据，在该实施例中以图像数据为例，第二终端组合第三数据和第四数据的方式可以是：
第一终端向第二终端发送数据时，以帧画面为单位将每帧图像对应的所述第三数据和所述第四数据进行组合发送到第二终端；
第二终端接收到所述第三数据和第四数据后以帧画面为单位将每帧图像的第三数据和第四数据进行组合形成完整的帧图像数据。
在该实施例中，如果在步骤102中将第二数据丢弃，则在第二终端则可以调用预设的图像数据填充帧图像中第二数据所占区域。为了便于实现还可以在帧图像中第二数据所占区域填充默认颜色。
如果将音频数据划分为了目标数据和背景数据两个部分，为了在第二终端能够将两部分数据组合，则在该实施例中还可以分别根据目标数据和背景数据的生成时间，将待传输的目标数据和背景数据分成多块。然后第二终端接收到传输数据后根据目标数据和背景数据的时间，将时间相同的目标数据和背景数据合并在一起形成完整的数据。
在该实施例中，如果在步骤102中将第二数据丢弃，则在第二终端则可以调用预设的背景音数据与目标数据结合播放；也可以直接播放目标数据。
在本发明实施例中，通过预设的数据划分策略将待传输的数据分成两部分(一部分为目标数据，一部分为背景数据等辅助数据)后，对两部分数据分别进行处理使得一部分数据的数据量小于原始采集来的数据(在具体实现时，可以利用数据压缩的方式对辅助数据进行压缩，使得辅助数据的数据量明显减小)。
本发明实施例中，总体要达的目的是将待传输数据的总体数据量减小，并且在数据量减小时，需要根据用户对数据的不同需求，减小背景数据对应的数据量，并且保证目标数据能够高保真的传输，即使目标数据在传输时需要压缩，该目标数据的压缩量也小于背景数据的压缩量。
在本发明实施例中，目标数据和背景数据的划分可以是根据用户对数据的关注度确定的，目标数据可以是用户关注度高的数据，背景数据为用户关注度低的数据，且所述第一差值大于所述第二差值，所述第三数据所对应的第三数据量减去所述第一数据对应的第一数据量得到第一差值；所述第四数据所对应的第四数据量减去所述第二数据对应的第二数据量得到第二差值，具体实现包括以下三种方式：
a，根据用户对待传输数据的不同关注度，可以对第一数据和第二数据中的任一部分数据的数据量进行调整，该处以第一数据为用户关注度高的数据为例，则实现数据量改变的方法包括：
通过所述第一处理方式对所述第一数据进行处理得到所述第三数据，所述第一数据量与所述第三数据量相等；
通过所述第二处理方式对所述第二数据进行处理得到所述第四数据，所述第四数据量小于所述第二数据量。
在该实施例中，第二处理方式可以是数据压缩方式，因为用户对第二数据的关注度比第一数据的要低，所以采用数据压缩方式对第二数据进行压缩(若第二数据量为10单位，经过压缩过后的第四数据量可以是6单位)。使得第一终端向第二终端发送数据时，所传送的第三数据和第四数据对应的第三数据量(可取值10单位)与第四数据量(可取值6单位)的总和(16单位)比第一数据量(可取值10单位)与第二数据量(可取值10单位)的总和(20单位)要小。
b，根据用户关注度对数据的不同关注度，可以对第一数据和第二数据的数据量都调小，该处以第一图像数据为用户关注度高的数据为例，则实现数据量改变的方法包括：
通过所述第一处理方式对所述第一数据进行处理得到所述第三数据，所述第三数据量小于所述第一数据量；
通过所述第二处理方式对所述第二数据进行处理得到所述第四数据，所述第四数据量小于所述第二数据量；
其中，所述第三数据量与所述第一数据量的第一比值大于所述第四数据量与所述第二数据量的第二比值。
在该实施例中，第二处理方式和第一处理方式可是采用数据压缩，因为用户对第二数据的关注度比第一数据的要低，所以第二处理方式和第一处理方式可以采用不同数据压缩比对第二数据和第一数据进行压缩(若第一数据量为10单位，经过压缩过后的第三数据量可以是8单位；第二数据量为10单位，经过压缩过后的第四数据量可以是6单位)。使得第一终端向第二终端发送数据时，所传送的第三数据量(8单位)与第四数据量(6单位)的总和(14单位)比第一数据量(10单位)与第二数据量(10单位)的总和(20单位)要小；而且在该实施例中第一数据的数据压缩比(第三数据量/第一数据量＝8/10)要小于第二数据的数据压缩比(第四数据量/第二数据量＝6/10)。
c，根据用户关注度对数据的不同关注度，可以对第一数据和第二数据中一份数据的数据量增加，另外一份数据的数据量减小，该处以第一图像数据为用户关注度高的数据为例，则实现数据量改变的方法包括：
通过所诉第一处理方式对所述第一数据进行处理得到所述第三数据，所述第三数据量大于所述第一数据量；
在具体的实施过程中，在确定第一数据为用户关注度高的数据后，如果第一处理方式是为了增加第一数据的播放效果而增加一些附加信息到第一数据中，则第一数据经过第一处理方式处理后生成的第三数据的数据量会大于第一数据量。
通过所述第二处理方式对所述第二数据进行处理得到所述第四数据，所述第二数据量大于所述第四数据量；
其中，所述第三数据量减去所述第一数据量的第一差值小于所述第二数据量减去所述第四数据量的第三差值。
在该实施例中，第一处理方式可以是对第一数据进行效果处理(防止数据丢失将关注数据传送两份，或者额外增加校验数据，或者发送冗余数据)，则通过第一方式对第一数据进行处理后得到的第三数据的第三数据量会大于第一数据量，则所述第一数据量可以是10单位，则第三数据量可以是12单位。另外，为了实现整个待传输数据的数据量不增加，则第二处理方式对第二数据进行处理后得到的第四数据的数据量则需要减小，即所述第二数据量可以是10单位，则第四数据量可以是8单位(或者是小于8单位)。
为了不增加传输过程中的数据量，则在第三数据的数据量相对于第一数据的第一数据量增加的基础上，对应的需要将第二数据的数据量减小生成第四数据。
针对上述c方式在第一数据的数据量增加和第二数据的数据量减小时，可以通过以下方式实现数据量增加和减少的平衡：
确定第三数据的第三数据与第一数据的第一数据量的数据量差值；
根据所述数据量差值，确定所述第四数据的数据量的上限阈值；
根据所述数据量上限阈值，通过第二处理方式对第二数据进行处理得到第四数据。
在本发明实施例中针对图像数据和音频数据在划分第一数据和第二数据时通过不同的方式实现。本发明实施例中对于步骤101根据预设的数据划分策略将待传输多媒体数据划分为第一数据和第二数据可以是：
根据图像划分信息，将所述图像数据中的帧画面划分为第一区域和第二区域，所述第一区域的图像数据对应所述第一数据，所述第二区域的图像数据对应所述第二数据。
如图2所示，在本发明实施例中，根据图像划分信息，将所述图像数据中的帧画面划分为第一区域和第二区域的具体实现方式包括：
步骤201，第一终端生成将帧画面划分为第一区域和第二区域的图像划分信息，或者接收第二终端生成的将帧画面划分为第一区域和第二区域的图像划分信息；
在本发明实施例中，通过第一终端生成图像划分信息还是通过第二终端生成图像划分信息，都可以通过以下两种具体的方式实现：
A，接收用户的输入信息；根据所述输入信息生成将帧画面划分为第一区域和第二区域的图像划分信息。
例如：若第一终端与第二终端正在进行视频通话，在确定启用数据分块压缩的方式后，则
如图3所示，检测是否接收到用户输入的在当前图像显示的区域(区域A)的光标移动轨迹，并根据所述移动轨迹确定图像划分信息。如果所述移动轨迹圈定了一个封闭区域(区域B)，则确定所述封闭区域为第一区域，封闭区域外的区域为第二区域(区域C，图中阴影部分)。则可以确定区域B为第一区域，区域C为第二区域。
B，通过预设的默认区域选择信息确定区域选择信息，确定图像划分信息。
例如：若第一终端与第二终端正在进行视频通话，在确定启用数据分块压缩的方式后，则
获取预设的默认区域选择信息，根据默认的区域选择信息从显示图像的区域中确定一设定面积的区域。例如，可以预先设置以整个图像显示区域的中心点为中心设置一个面积为S的区域(区域的形状可以是三角、方形、以及圆形)为选中区域。
例如：若第一终端与第二终端正在进行视频通话，在确定启用数据分块压缩的方式后，则
因为视频通话的过程中，通话双方关注度比较高的一般是用户的头像，所以通过图像识别用户的头像也可以确定图像划分信息。
通过图像识别方式确定用户头像所占显示区域的边界信息，确定头像所在的区域为第一区域，则显示区域中除开头像的区域为第二区域。
在本发明实施例中，因为不一定都是对用户的头像关注度高，所以在实施该实施例的方法时，还可以根据用户输入的选择信息确定图像识别后需要关注的图像类别。
步骤202，根据所述图像划分信息，将所述图像数据中的帧画面划分为第一区域和第二区域，所述第一区域的图像数据对应所述第一数据，所述第二区域的图像数据对应所述第二数据。
步骤201中的图像划分信息，可以用于确定每帧图像区域划分。但是为了使得该实施例所提供方法的使用度更高，则可以通过上述方式A、B、C所提供的方式确定第一帧的帧画面中的第一区域和第二区域，后续帧画面中第一区域和第二区域的确定，则可以通过以下方式实现：
实施例一、如图4所示，根据所述图像划分信息，将所述图像数据中的帧画面划分为第一区域和第二区域包括：
步骤401，根据所述图像划分信息，在显示所述图像数据的显示单元中确定图像数据选择区；
步骤402，所述图像数据选择区对应第一区域，每帧图像中去除第一区域的部分为第二区域。
该实施例中，将第一帧的帧画面中所确定的第一区域的边界信息作为一个选择第一数据的选择框，则当后续帧图像的传输过程中，则将显示在所述选择框中的图像数据作为第一数据；选择框外的图像数据作为第二数据。
实施例二、如图5所示，根据所述图像划分信息，将所述图像数据中的帧画面划分为第一区域和第二区域包括：
步骤501，根据所述图像划分信息，在显示所述图像数据的显示单元中确定图像数据选择区；
步骤502，确定当前帧图像数据中所述图像数据选择区对应图像数据为图像数据对象；
步骤503，将所述图像数据对象与所述图像数据中的每帧图像数据进行匹配，与所述图像数据对象匹配的区域对应第一区域，每帧图像中去除第一区域的部分为第二区域。
在该实施例中，该实施例中，将第一帧的帧画面中所确定的第一区域中的图像数据作为模板(即图像数据对象)。后续帧图像的传输过程中，则将该图像数据对象与显示的内容进行比对，那部分的图像数据与所述图像数据对象相似(即相似度大于一预设阈值)或相同，则确定相同或相似的图像数据为第一数据。
如图6所示，因为音频数据在收集的过程中会收集到一定的背景音数据，因为在大部分情况下用户比较关注的数据一般都是目标数据，所以在本发明实施例中还可以通过确定音频数据中目标数据和背景数据后对两部分数据分别进行处理，具体实现包括：
步骤601，根据预设的声音选择信息，确定所述音频数据中的目标数据和背景数据；
在本发明实施例中，因为大部分时间用户比较关注的都是用户的通话音数据，所以在音频数据的划分中，则可将音频数据中的通话音数据设置为目标数据，而采集到的背景音数据设置为背景数据。
在本发明实施例中为了实现通话音和背景音的识别，可以在电子设备中设置两个收音装置。设置其中一个为主收音装置(主收音装置正面朝向用户，主要接收用户通话时候的声音信息)，则主收音装置所收集到的大部分声音信息被确定为通话音；另外一个收音装置为从收音装置，该从收音装置的背面朝向用户，则从收音装置所收集到的大部分声音信息被确定为背景音。当主从收音装置都接收到声音信息后，则将主从收音装置接收到的数据进行互相关从而确定收集到的声音信息中的通话音和背景音。
步骤602，目标数据对应第一数据，所述背景音数据对应第二数据。
在本发明实施例中，因为视频数据是图像数据和音频数据的结合，则本发明实施例所提供的方法中，在确定关注度高的图像数据和音频数据时，可以将两者结合考虑。
在本发明实施例中，在采集图像的采集区域确定的情况下，将采集到的图像画面划分为多个子图像区域，并每个子图像区域对应多个不同的方位信息。则在该实施例中，可以在确定目标图像数据后，确定目标图像数据对应的方位信息，然后根据声音定位方式确定所述方位信息对应方位的声音数据，并将确定的声音数据确定为目标声音数据。
另外，还可以在确定目标声音数据后，根据声音定位方式确定所述目标声音数据所对应的声源位置，并根据所述声源位置与所述方位信息进行比较，如果某一方位信息与所述声源位置匹配，则将所述某一方位信息所对应子图像区域，确定为目标区域，并将目标区域中的数据确定为目标图像数据。
在该实施例中，第目标图像数据和目标声音数据对应第一数据。
例如：若第一终端与第二终端正在进行视频通话，在确定启用数据分块压缩的方式后，如果第一终端通过图像采集装置采集到的图像，则根据方位的不同可以对图像进行划分(如图6A所示)，生成的子图像区域包括a，b，c和d区域。其中当用户设定为对人的通话音作为目标数据，即确定c区域为目标区域。则声音采集装置则对应的采集c区域所在方位的声音数据。然后将c区域的图像数据和c区域的声音数据结合之后形成第一数据。
如图7所示，根据图1所示的方法本发明还提供一种电子设备，当该电子设备向第二电子设备发送多媒体数据，电子设备包括：
数据划分单元701，用于根据预设的数据划分策略将待传输多媒体数据划分为第一数据和第二数据；
因为具体的实现环境中，会存在大量数据传输的情况一般是图像数据、视频数据和音频数据。其中所述视频数据则可视为图像数据和音频数据的集合，所以本发明实施例中数据划分单元701将图像数据和音频数据划分为第一数据和第二数据可以是：
当所述待传输多媒体数据为图像数据，则所述数据划分单元701还用于将所述图像数据中的帧画面划分为第一区域和第二区域，所述第一区域的图像数据对应所述第一数据，所述第二区域的图像数据对应所述第二数据。和/或
该数据划分单元701还用于生成将帧画面划分为第一区域和第二区域的图像划分信息，或者接收第二终端生成的将帧画面划分为第一区域和第二区域的图像划分信息
当所述待传输多媒体数据为音频数据，则所述数据划分单元701还用于根据预设的声音选择信息，确定所述音频数据中的通话音数据和背景音数据；其中，所述通话音数据对应所述第一数据，所述背景音数据对应所述第二数据。
数据转换单元702，用于通过第一处理方式对所述第一数据进行处理得到第三数据，并通过第二处理方式对所述第二数据进行处理得到第四数据，其中，所述第三数据和所述第四数据的总数据量小于所述第一数据和所述第二数据的总数量，所述第一处理方式与所述第二处理方式不同；
数据传输单元703，用于将所述第三数据和所述第四数据发送到所述第二终端，使所述第二终端能播放组合多媒体数据，所述组合多媒体数据是所述第二终端根据与所述划分策略对应的组合策略组合所述第三数据和所述第四数据而得到的数据。
在本发明实施例中，可以通过不同的方式生成图像划分信息，则该电子设备还可以包括：
第一图像划分信息生成单元704，用户接收用户的输入信息；根据所述输入信息生成将帧画面划分为第一区域和第二区域的图像划分信息。
第二图像划分信息生成单元705，通过图像识别方式从帧画面中确定目标区域的边界信息；根据所述边界信息生成将帧画面划分为第一区域和第二区域的图像划分信息。
上述三种实现方式可以单独实现也可以三者结合在一起使用。
为了使得该实施例所提供方法的使用度更高，则可以通过上述方式第一图像划分信息生成单元704和第二图像划分信息生成单元705所提供的方式确定第一帧的帧画面中的第一区域和第二区域，数据划分单元701在确定后续帧画面中第一区域和第二区域时，包括：
所述数据划分单元701还用于根据所述图像划分信息，在显示所述图像数据的显示单元中确定图像数据选择区；所述图像数据选择区对应第一区域，每帧图像中去除第一区域的部分为第二区域。
所述数据划分单元701还用于根据所述图像划分信息，在显示所述图像数据的显示单元中确定图像数据选择区；确定当前帧图像数据中所述图像数据选择区对应图像数据为图像数据对象；将所述图像数据对象与所述图像数据中的每帧图像数据进行匹配，与所述图像数据对象匹配的区域对应第一区域，每帧图像中去除第一区域的部分为第二区域。
本申请实施例中的上述一个或多个技术方案，至少具有如下的技术效果：
本发明实施例所提供给的方法，可以定义当前传输画面的关注区域，数据源方，在进行视频传输之前，将整帧画面中除关注区域和非关注区域进行区别处理，在减小传输数据量的同时还能够保持关注区域的视频质量。使用灵活方便，效果明显。
本发明所述的方法并不限于具体实施方式中所述的实施例，本领域技术人员根据本发明的技术方案得出其它的实施方式，同样属于本发明的技术创新范围。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (20)
1.一种多媒体数据的传输方法，应用于第一终端，其特征在于，当所述第一终端向第二终端发送多媒体数据之前，该方法包括：
根据预设的数据划分策略将待传输的多媒体数据划分为第一数据和第二数据；
通过第一处理方式对所述第一数据进行处理得到第三数据，并通过第二处理方式对所述第二数据进行处理得到第四数据，其中，所述第三数据和所述第四数据的总数据量小于所述第一数据和所述第二数据的总数量，且所述第一处理方式与所述第二处理方式不同；
将所述第三数据和所述第四数据发送到所述第二终端，使所述第二终端能播放组合多媒体数据，所述组合多媒体数据是所述第二终端根据与所述划分策略对应的组合策略组合所述第三数据和所述第四数据而得到的数据。
2.如权利要求1所述的方法，其特征在于，所述第三数据所对应的第三数据量减去所述第一数据对应的第一数据量得到第一差值；所述第四数据所对应的第四数据量减去所述第二数据对应的第二数据量得到第二差值；且所述第一差值大于所述第二差值。
3.如权利要求2所述的方法，其特征在于，通过第一处理方式对所述第一数据进行处理得到第三数据，并通过第二处理方式对所述第二数据进行处理得到第四数据包括：
通过所述第一处理方式对所述第一数据进行处理得到所述第三数据，所述第一数据量与所述第三数据量相等；
通过所述第二处理方式对所述第二数据进行处理得到所述第四数据，所述第四数据量小于所述第二数据量。
4.如权利要求2所述的方法，其特征在于，通过第一处理方式对所述第一数据进行处理得到第三数据，并通过第二处理方式对所述第二数据进行处理得到第四数据包括：
通过所述第一处理方式对所述第一数据进行处理得到所述第三数据，所述第三数据量小于所述第一数据量；
通过所述第二处理方式对所述第二数据进行处理得到所述第四数据，所述第四数据量小于所述第二数据量；
其中，所述第三数据量与所述第一数据量的第一比值大于所述第四数据量与所述第二数据量的第二比值。
5.如权利要求2所述的方法，其特征在于，通过第一处理方式对所述第一数据进行处理得到第三数据，并通过第二处理方式对所述第二数据进行处理得到第四数据包括：
通过所诉第一处理方式对所述第一数据进行处理得到所述第三数据，所述第三数据量大于所述第一数据量；
通过所述第二处理方式对所述第二数据进行处理得到所述第四数据，所述第二数据量大于所述第四数据量；
其中，所述第三数据量减去所述第一数据量的第一差值小于所述第二数据量减去所述第四数据量的第三差值。
6.如权利要求5所述的方法，其特征在于，所述通过第二处理方式对所述第二数据进行处理得到第四数据，所述第二数据的数据量小于所述第四数据的数据量包括：
根据所述第一差值，确定所述第四数据量的上限阈值；
根据所述第四数据量上限阈值，通过所述第二处理方式对所述第二数据进行处理得到所述第四数据。
7.如权利要求1-6任一权项所述的方法，其特征在于，当所述待传输多媒体数据为图像数据，第一终端根据预设的数据划分策略将待传输多媒体数据划分为第一数据和第二数据包括：
根据图像划分信息，将所述图像数据中的帧画面划分为第一区域和第二区域，所述第一区域的图像数据对应所述第一数据，所述第二区域的图像数据对应所述第二数据。
8.如权利要求7所述的方法，其特征在于，根据所述图像划分信息，将所述图像数据中的帧画面划分为第一区域和第二区域之前，进一步包括：
第一终端生成将帧画面划分为第一区域和第二区域的图像划分信息，或者接收第二终端生成的将帧画面划分为第一区域和第二区域的图像划分信息。
9.如权利要求8所述的方法，其特征在于，生成将帧画面划分为第一区域和第二区域的图像划分信息包括：
接收用户的输入信息；
根据所述输入信息生成将帧画面划分为第一区域和第二区域的图像划分信息。
10.如权利要求8所述的方法，其特征在于，生成的将帧画面划分为第一区域和第二区域的图像划分信息包括：
通过图像识别方式从帧画面中确定目标区域的边界信息；
根据所述边界信息生成将帧画面划分为第一区域和第二区域的图像划分信息。
11.如权利要求8-10任一权项所述的方法，其特征在于，根据所述图像划分信息，将所述图像数据中的帧画面划分为第一区域和第二区域包括：
根据所述图像划分信息，在显示所述图像数据的显示单元中确定图像数据选择区；
所述图像数据选择区对应第一区域，每帧图像中去除第一区域的部分为第二区域。
12.如权利要求8-10任一权项所述的方法，其特征在于，所述根据所述图像划分信息，将所述图像数据中的帧画面划分为第一区域和第二区域包括：
根据所述图像划分信息，在显示所述图像数据的显示单元中确定图像数据选择区；
确定当前帧图像数据中所述图像数据选择区对应图像数据为图像数据对象；
将所述图像数据对象与所述图像数据中的每帧图像数据进行匹配，与所述图像数据对象匹配的区域对应第一区域，每帧图像中去除第一区域的部分为第二区域。
13.如权利要求1-6任一权项所述的方法，其特征在于，当所述待传输多媒体数据为音频数据，第一终端根据预设的数据划分策略将待传输多媒体数据划分为第一数据和第二数据包括：
根据预设的声音选择信息，确定所述音频数据中的通话音数据和背景音数据；
其中，所述通话音数据对应所述第一数据，所述背景音数据对应所述第二数据。
14.一种电子设备，其特征在于，当该电子设备向第二电子设备发送多媒体数据，电子设备包括：
数据划分单元，用于根据预设的数据划分策略将待传输多媒体数据划分为第一数据和第二数据；
数据转换单元，用于通过第一处理方式对所述第一数据进行处理得到第三数据，并通过第二处理方式对所述第二数据进行处理得到第四数据，其中，所述第三数据和所述第四数据的总数据量小于所述第一数据和所述第二数据的总数量，所述第一处理方式与所述第二处理方式不同；
数据传输单元，用于将所述第三数据和所述第四数据发送到所述第二终端，使所述第二终端能播放组合多媒体数据，所述组合多媒体数据是所述第二终端根据与所述划分策略对应的组合策略组合所述第三数据和所述第四数据而得到的数据。
15.如权利要求14所述的电子设备，其特征在于，当所述待传输多媒体数据为图像数据，则所述数据划分单元还用于将所述图像数据中的帧画面划分为第一区域和第二区域，所述第一区域的图像数据对应所述第一数据，所述第二区域的图像数据对应所述第二数据。
16.如权利要求15所述的电子设备，其特征在于，则所述数据划分单元还用于生成将帧画面划分为第一区域和第二区域的图像划分信息，或者接收第二终端生成的将帧画面划分为第一区域和第二区域的图像划分信息。
17.如权利要求16所述的电子设备，其特征在于，该装置还包括：
第二图像划分信息生成单元，用于接通过图像识别方式从帧画面中确定目标区域的边界信息；根据所述边界信息生成将帧画面划分为第一区域和第二区域的图像划分信息。
18.如权利要求15所述的电子设备，其特征在于，将该装置还包括：
第二图像划分信息生成单元，用于通过数据传输通道接收第二终端发送来的将待传输图像数据中的帧画面划分为第一区域和第二区域的图像划分信息。
19.如权利要求16-18任一所述的电子设备，其特征在于，则所述数据划分单元还用于根据所述图像划分信息，在显示所述图像数据的显示单元中确定图像数据选择区；所述图像数据选择区对应第一区域，每帧图像中去除第一区域的部分为第二区域。
20.如权利要求16-18任一所述的电子设备，其特征在于，则所述数据划分单元还用于根据所述图像划分信息，在显示所述图像数据的显示单元中确定图像数据选择区；确定当前帧图像数据中所述图像数据选择区对应图像数据为图像数据对象；将所述图像数据对象与所述图像数据中的每帧图像数据进行匹配，与所述图像数据对象匹配的区域对应第一区域，每帧图像中去除第一区域的部分为第二区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210258688.4A CN103581603B (zh) | 2012-07-24 | 2012-07-24 | 一种多媒体数据的传输方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210258688.4A CN103581603B (zh) | 2012-07-24 | 2012-07-24 | 一种多媒体数据的传输方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103581603A true CN103581603A (zh) | 2014-02-12 |
| CN103581603B CN103581603B (zh) | 2017-06-27 |
Family
ID=50052403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210258688.4A Active CN103581603B (zh) | 2012-07-24 | 2012-07-24 | 一种多媒体数据的传输方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103581603B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106338711A (zh) * | 2016-08-30 | 2017-01-18 | 康佳集团股份有限公司 | 一种基于智能设备的语音定向方法及系统 |
| CN107135369A (zh) * | 2017-06-12 | 2017-09-05 | 宇龙计算机通信科技(深圳)有限公司 | 视频传送及显示方法、系统和终端 |
| WO2019196589A1 (zh) * | 2018-04-11 | 2019-10-17 | 京东方科技集团股份有限公司 | 图像处理方法、设备、装置、图像贴合方法、设备、显示方法、装置及计算机可读介质 |
| CN111901552A (zh) * | 2020-06-29 | 2020-11-06 | 维沃移动通信有限公司 | 多媒体数据传输方法、装置及电子设备 |
| WO2021237464A1 (zh) * | 2020-05-26 | 2021-12-02 | 华为技术有限公司 | 视频图像处理方法及装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1282952A (zh) * | 1999-06-18 | 2001-02-07 | 索尼公司 | 语音编码方法和装置,输入信号判别方法,语音解码方法和装置以及程序提供介质 |
| CN1678075A (zh) * | 2004-04-02 | 2005-10-05 | 索尼公司 | 图像编码方法、成像装置、以及计算机程序 |
| CN1989563A (zh) * | 2005-02-01 | 2007-06-27 | 松下电器产业株式会社 | 再现装置、程序和再现方法 |
| US20070183661A1 (en) * | 2006-02-07 | 2007-08-09 | El-Maleh Khaled H | Multi-mode region-of-interest video object segmentation |
| CN101171841A (zh) * | 2005-03-09 | 2008-04-30 | 高通股份有限公司 | 用于视频电话的关注区提取 |
| US20090192789A1 (en) * | 2008-01-29 | 2009-07-30 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding/decoding audio signals |
| CN101785306A (zh) * | 2007-07-13 | 2010-07-21 | 坦德伯格电信公司 | 用于自动摄像机控制的方法和系统 |
| CN101945275A (zh) * | 2010-08-18 | 2011-01-12 | 镇江唐桥微电子有限公司 | 一种基于感兴趣区域的视频编码方法 |
| WO2011027483A1 (ja) * | 2009-09-03 | 2011-03-10 | パナソニック株式会社 | 画像処理装置及び画像処理方法 |
| CN102170552A (zh) * | 2010-02-25 | 2011-08-31 | 株式会社理光 | 一种视频会议系统及其中使用的处理方法 |
| CN102244779A (zh) * | 2010-05-11 | 2011-11-16 | 联想(北京)有限公司 | 数据的发送和接收方法及设备、数据传输系统 |
-
2012
- 2012-07-24 CN CN201210258688.4A patent/CN103581603B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1282952A (zh) * | 1999-06-18 | 2001-02-07 | 索尼公司 | 语音编码方法和装置,输入信号判别方法,语音解码方法和装置以及程序提供介质 |
| CN1678075A (zh) * | 2004-04-02 | 2005-10-05 | 索尼公司 | 图像编码方法、成像装置、以及计算机程序 |
| CN1989563A (zh) * | 2005-02-01 | 2007-06-27 | 松下电器产业株式会社 | 再现装置、程序和再现方法 |
| CN101171841A (zh) * | 2005-03-09 | 2008-04-30 | 高通股份有限公司 | 用于视频电话的关注区提取 |
| US20070183661A1 (en) * | 2006-02-07 | 2007-08-09 | El-Maleh Khaled H | Multi-mode region-of-interest video object segmentation |
| CN101785306A (zh) * | 2007-07-13 | 2010-07-21 | 坦德伯格电信公司 | 用于自动摄像机控制的方法和系统 |
| US20090192789A1 (en) * | 2008-01-29 | 2009-07-30 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding/decoding audio signals |
| WO2011027483A1 (ja) * | 2009-09-03 | 2011-03-10 | パナソニック株式会社 | 画像処理装置及び画像処理方法 |
| CN102170552A (zh) * | 2010-02-25 | 2011-08-31 | 株式会社理光 | 一种视频会议系统及其中使用的处理方法 |
| CN102244779A (zh) * | 2010-05-11 | 2011-11-16 | 联想(北京)有限公司 | 数据的发送和接收方法及设备、数据传输系统 |
| CN101945275A (zh) * | 2010-08-18 | 2011-01-12 | 镇江唐桥微电子有限公司 | 一种基于感兴趣区域的视频编码方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106338711A (zh) * | 2016-08-30 | 2017-01-18 | 康佳集团股份有限公司 | 一种基于智能设备的语音定向方法及系统 |
| CN107135369A (zh) * | 2017-06-12 | 2017-09-05 | 宇龙计算机通信科技(深圳)有限公司 | 视频传送及显示方法、系统和终端 |
| CN107135369B (zh) * | 2017-06-12 | 2019-11-12 | 宇龙计算机通信科技(深圳)有限公司 | 视频传送及显示方法、系统和终端 |
| WO2019196589A1 (zh) * | 2018-04-11 | 2019-10-17 | 京东方科技集团股份有限公司 | 图像处理方法、设备、装置、图像贴合方法、设备、显示方法、装置及计算机可读介质 |
| CN110365917A (zh) * | 2018-04-11 | 2019-10-22 | 京东方科技集团股份有限公司 | 图像处理方法、计算机产品、显示装置及计算机可读介质 |
| CN110365917B (zh) * | 2018-04-11 | 2021-08-03 | 京东方科技集团股份有限公司 | 图像处理方法、计算机产品、显示装置及计算机可读介质 |
| US11783445B2 (en) | 2018-04-11 | 2023-10-10 | Beijing Boe Optoelectronics Technology Co., Ltd. | Image processing method, device and apparatus, image fitting method and device, display method and apparatus, and computer readable medium |
| WO2021237464A1 (zh) * | 2020-05-26 | 2021-12-02 | 华为技术有限公司 | 视频图像处理方法及装置 |
| CN111901552A (zh) * | 2020-06-29 | 2020-11-06 | 维沃移动通信有限公司 | 多媒体数据传输方法、装置及电子设备 |
| CN111901552B (zh) * | 2020-06-29 | 2022-10-25 | 维沃移动通信有限公司 | 多媒体数据传输方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103581603B (zh) | 2017-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105812951B (zh) | 流媒体数据交互方法、终端、服务器及系统 | |
| CN103517142B (zh) | 一种基于智能电视的互动评论信息处理方法及系统 | |
| CN104363476B (zh) | 一种基于在线直播的组队活动方法、相关装置及系统 | |
| EP2472858B1 (en) | Method, device and system for presenting virtual conference site of video conference | |
| CN104065911B (zh) | 显示控制方法及装置 | |
| CN103581603A (zh) | 一种多媒体数据的传输方法及电子设备 | |
| CN105721821A (zh) | 视频通话方法及装置 | |
| KR101861590B1 (ko) | 휴대용 단말기에서 입체 데이터를 생성하기 위한 장치 및 방법 | |
| EP2940940A1 (en) | Methods for sending and receiving video short message, apparatus and handheld electronic device thereof | |
| US20140078240A1 (en) | Method and apparatus for video resource management in video conference | |
| CN108040061B (zh) | 一种云会议直播方法 | |
| CN103051864B (zh) | 移动视频会议方法 | |
| CN105872835A (zh) | 实现异地同步观影的方法、装置及智能设备 | |
| EP2892205B1 (en) | Method and device for determining a sharing terminal | |
| CN112714327B (zh) | 基于直播应用程序的互动方法、装置、设备及存储介质 | |
| CN110035250A (zh) | 音频处理方法、处理设备、终端及计算机可读存储介质 | |
| CN104918132A (zh) | 一种智能电视音视频通讯的方法及系统 | |
| KR101535574B1 (ko) | 3d 캐릭터를 이용한 소셜 네트워크 이모티콘 제공 시스템 및 방법 | |
| CN114531564B (zh) | 处理方法及电子设备 | |
| KR102335043B1 (ko) | 채팅 서비스 제공 방법 및 시스템, 그리고 채팅 서버 | |
| CN103051858A (zh) | 视讯通信实时屏幕互动装置、方法及系统 | |
| CN103294193A (zh) | 多终端互动的方法、装置和系统 | |
| CN114827647B (zh) | 直播数据生成方法、装置、设备、介质及程序产品 | |
| CN103905483A (zh) | 音视频共享方法、设备和系统 | |
| CN107872683A (zh) | 一种视频数据处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |