CN107018421B - 一种图像发送、接收方法及装置、系统 - Google Patents

一种图像发送、接收方法及装置、系统 Download PDF

Info

Publication number
CN107018421B
CN107018421B CN201610053570.6A CN201610053570A CN107018421B CN 107018421 B CN107018421 B CN 107018421B CN 201610053570 A CN201610053570 A CN 201610053570A CN 107018421 B CN107018421 B CN 107018421B
Authority
CN
China
Prior art keywords
subgraph
information
model
image
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610053570.6A
Other languages
English (en)
Other versions
CN107018421A (zh
Inventor
刘畅
何松林
田霖
刘济远
石晶林
周一青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaian Zhongke Jingshang Intelligent Network Research Institute Co.,Ltd.
Original Assignee
BEIJING ZHONGKE JINGSHANG TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING ZHONGKE JINGSHANG TECHNOLOGY Co Ltd filed Critical BEIJING ZHONGKE JINGSHANG TECHNOLOGY Co Ltd
Priority to CN201610053570.6A priority Critical patent/CN107018421B/zh
Publication of CN107018421A publication Critical patent/CN107018421A/zh
Application granted granted Critical
Publication of CN107018421B publication Critical patent/CN107018421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请提供了一种图像发送、接收方法及装置、系统，该方法包括：获取待发送的图像；根据该图像中的内容与预先设置的模型的对应关系，将该图像拆分为第一子图像和第二子图像；其中，该第一子图像为一个或多个；该一个或多个第一子图像包括与该一个或多个模型对应的一个或多个内容；该第二子图像包括该图像中除该第一子图像之外的图像内容；生成各该第一子图像的标签信息；其中，该标签信息包括各第一子图像对应的模型的信息、各第一子图像在该图像中的位置信息；并发送各第一子图像对应的标签信息和第二子图像。采用本申请中的方案，能够减少发送的数据量，降低传输网的压力。

Description

一种图像发送、接收方法及装置、系统
技术领域
本申请涉及图像处理技术，尤其涉及一种图像发送、接收方法及装置、系统。
背景技术
随着互联网产业的飞速发展，视频业务的比重在不断提高。视频业务传送的内容是视频图像，并可以伴有音频信息。与其他业务，例如，语音业务、文本业务相比，视频业务的主要特征就是业务质量要求高，且业务数据量庞大。然而，通信网络作为视频业务传输的媒介，尽管不断地通过技术演进与革新以增加带宽，却无法从根本上解决带宽不足的问题。目前，带宽问题也成为了制约视频业务发展的最主要原因之一。因此，如何以现有的硬件技术来存储和传输大量的数字化信息成为当今通信行业迫切需要解决的问题之一。
随着现代电子技术与工艺的进步，通信网络设备的计算、存储能力日益强大；另一方面，通信(Communication)、计算(Computing)和存储(Caching)3C融合也成为了通信系统发展的趋势。考虑到网络设备能力的进步，在终端进行复杂计算与存储已不是难事，然而，通信带宽是有限的，通信资源的匮乏却造成了传输的压力。
为了缓解数据传输的压力，通常会对数据进行压缩。数据压缩技术是指在不丢失有用信息的前提下，缩减数据量以减少数据占用的存储空间，即减少冗余，以提高对数据的传输、存储和处理效率，并成为解决上述问题的一个有效途径。目前，针对多媒体视频业务的压缩方法主要有无损压缩和有损压缩两种，其中，针对静态图像的JPEG(JointPhotographic Experts Group，联合图像专家小组)和动态图像的MPEG(Motion PictureExperts Group，动态图像专家组)系列压缩标准(MPEG-1、MPEG-2、MPEG-4、H.264)是最具代表性的压缩技术。
现有技术中的图像发送方法，通常是将待发送的图像整体进行压缩，以改变整个文件的数据量，然后将压缩后的数据发送至对端；对端再进行解压缩以恢复图像。
采用现有技术中的图像发送方法，发送的数据量仍然较大，不能有效的缓决传输网络的压力。
发明内容
本申请实施例中提供了一种图像发送、接收方法及装置、系统，用于解决现有技术中的图像发送方法发送的数据量较大，不能有效缓决传输网络压力的问题。
根据本申请实施例中的第一个方面，提供了一种图像发送方法，包括：获取待发送的图像；根据该图像中的内容与预先设置的模型的对应关系，将该图像拆分为第一子图像和第二子图像；其中，该第一子图像为一个或多个；该一个或多个第一子图像包括与该一个或多个模型对应的一个或多个内容；该第二子图像包括该图像中除该第一子图像之外的图像内容；生成各该第一子图像的标签信息；其中，该标签信息包括各第一子图像对应的模型的信息、各第一子图像在该图像中的位置信息；发送各第一子图像对应的标签信息和第二子图像。
根据本申请实施例中的第二个方面，提供了一种图像接收方法，包括：接收图像数据；从该图像数据获取第一子图像的标签信息和第二子图像数据；其中，该第一子图像的标签信息为一个或多个；该标签信息包括各第一子图像对应的模型的信息、各第一子图像在该图像中的位置信息；根据各标签信息和预先设置的各模型，确定各第一子图像的内容和位置；根据各第一子图像的内容和位置、以及第二子图像数据，得到该图像。
根据本申请实施例中的第三个方面，提供了一种图像发送装置，包括：第一获取模块，用于获取待发送的图像；拆分模块，用于根据该图像中的内容与预先设置的模型的对应关系，将该图像拆分为第一子图像和第二子图像；其中，该第一子图像为一个或多个；该一个或多个第一子图像包括与该一个或多个模型对应的一个或多个内容；该第二子图像包括该图像中除该第一子图像之外的图像内容；标签信息生成模块，用于生成各该第一子图像的标签信息；其中，该标签信息包括各第一子图像对应的模型的信息、各第一子图像在该图像中的位置信息；发送模块，用于发送各第一子图像对应的标签信息和第二子图像。
根据本申请实施例中的第四个方面，提供了一种图像接收装置，包括：接收模块，用于接收图像数据；第二获取模块，用于从该图像数据获取第一子图像的标签信息和第二子图像数据；其中，该第一子图像的标签信息为一个或多个；该标签信息包括各第一子图像对应的模型的信息、各第一子图像在该图像中的位置信息；内容和位置确定模块，用于根据各标签信息和预先设置的各模型，确定各第一子图像的内容和位置；恢复模块，用于根据各第一子图像的内容和位置、以及第二子图像数据，得到该图像。
根据本申请实施例中的第五个方面，提供了一种图像传输系统，包括：根据本申请实施例中的第三个方面的图像发送装置；以及根据本申请实施例中的第四个方面的图像接收装置。
采用本申请实施例中的图像发送方法，根据图像中的内容与预先设置的模型的对应关系，将图像拆分为包括与模型对应的图像内容的第一子图像和其他的第二子图像；然后针对各第一子图像，生成包括各第一子图像对应的模型的信息、各第一子图像在图像中的位置信息的标签信息；并发送各第一子图像对应的标签信息和第二子图像；由于发送数据量较小的第一子图像的标签信息，因此减少了发送的数据量，从而降低了传输网的压力。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例一的图像发送方法的流程图；
图2为本申请实施例一的图像拆分的示意图；
图3为本申请实施例一的模型和图像内容分别对应的两组特征点点集的示意图；
图4为本申请实施例一的基于参考点生成每个特征点的差异向量的示意图；
图5为本申请实施例二的图像发送方法的流程图；
图6为本申请实施例三的图像接收方法的流程图；
图7为本申请实施例四所示图像发送装置的结构示意图；
图8为本申请实施例五所示图像接收装置的结构示意图；
图9为本申请实施例六所示的图像传输系统的结构示意图。
具体实施方式
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
在实现本申请的过程中，发明人发现，采用现有技术中的图像发送方法，通常是将待发送的图像整体进行压缩，以改变整个文件的数据量，然后将压缩后的数据发送至对端；对端再进行解压缩以恢复图像；在此过程中，发送的数据量仍然较大，不能有效的缓决传输网络的压力。
发明人在研究过程中认为，现有技术中将图像整体压缩后再发送的方案是面向存储的，即，有利于存储。然而，随着终端存储能力的飞速发展，发明人发现，目前对数据量要求最苛刻的反而是带宽，而对于现有技术中面向存储的图像发送方法，所发送的图像在传输过程中还具有一定的压缩空间；所以，本申请实施例中提出了一种有利于传输的压缩方法。
发明人认为，针对同样量度的信息，如何在保障其有用信息不丢失(例如，视频质量不降低)的前提下，尽可能减少在其传输过程中对传输资源(即带宽)的消耗。例如，对于同一部影片，可以有I种不同的压缩方法SI，而其中第i种压缩方法Si在视频质量不低于要求的前提下传输消耗最小(即对带宽的占用情况最少)，则可以称方法Si为所有方法中节带化程度(Bandwidth Saving Level，BSL)最高的。方法Si的节带化程度可以定义为
其中，表示方法Si的平均传输速率，B表示系统带宽，一般为定值，Mi表示方法Si所传输的视频大小，T为视频的传输时间，对于同一视频来说，不同方法的T都相等。因此，BSLi是一个平均值，也可以表述为压缩方法Si在单位时间中、单位带宽上传输的数据流大小，BSLi的单位可以表示为Mb/MHz/s。
综上所述，需要优化的性能指标是传输的信息量大小(即视频业务中方法Si所传输的视频大小Mi)。在3C融合的背景下，若要减少通信所带来的开销，则必须提高计算与存储的复杂度，适当地通过加强计算和存储来缓解通信的压力。同时，在通信系统带宽受限的前提下，提高网络设备的计算能力和存储能力是相对简单、可行的方法。因此，本申请实施例的核心思想就是利用适当的网元计算与存储能力，换取或节约网络传输的带宽消耗。
发明人经研究发现，在某些图像传输场景中，例如，视频内容的传输中，往往存在大量重复出现的可描述图像内容的传输。对于这类重复现的图像内容，对其多次传输将造成巨额冗余。因此，如果能够从图像内容出发，对这些频繁出现的静态图像信息进行建模，在下次出现时进行识别、匹配与描述，将极大地减少冗余，从而减少传输的数据量，达到提高带宽资源的利用效率的目的。
然而，现有的图像处理技术并未真正对图像内容进行理解，例如，MPEG-1、MPEG-2图像压缩标准仅仅针对传统的编码冗余、像素间冗余与心理视觉冗余进行压缩。同时，目前主流的MPEG-4和H.264压缩标准也仅仅是加入了运动补偿等技术实现连续帧之间的差分传输。即，目前的图像处理技术均未为进一步压缩图像中的内容冗余提供基础和框架。
因此，在本申请实施例中，发明人结合通信网络设备的通信、计算与存储能力，提出一种效率更高的图像发送、接收方法及装置、系统，该方法及系统通过对待发送图像的内容进行识别，在发送端识别图像中重复出现的图像内容，并对其建模、存储与匹配，并生成与模型匹配的图像内容的标签信息，未匹配的图像内容可以利用传统图像压缩编码技术进行压缩处理，并将标签信息与已压缩图像内容一起发送给接收端，在接收端根据利用压缩解码技术和图像模型库完成图像重构，并最终恢复出原始图像。
本申请实施例中的方案可以应用于各种图像传输场景中，例如，静态图像传输、视频传输、流媒体传输等，本申请实施例中的方案尤其适用于具有大量重复图像内容的多个图像的传输。
实施例一
图1为本申请实施例一的图像发送方法的流程图。
在本申请实施例中，以实时流媒体业务为例，说明图像发送方法的流程。
在本申请实施例中，可以通过现有技术中常用的目标建模和基于背景建模的目标检测方法来识别各个图像帧中的多个内容。例如，可以采用SIFT(Scale-invariantfeature transform，尺度不变特征转换)算法来识别各个图像帧中的多个内容。即，将待发送的图像与创建的多个模型进行匹配，如果匹配上，则判断图像帧中的内容与对应的参考模型具有对应关系，并可以进一步得到彼此匹配的特征点点集。
图像的SIFT特征点是物体上的一些局部外观的兴趣点，而与影像的大小和旋转无关，对于光线、噪声、微视角改变的容忍度也相当高。基于这些特征点，很容易辨识物体而且鲜有误认。SIFT特征的信息量大，适合在海量数据库中快速准确匹配。
在实现本申请实施例时，也可以采用其他算法识别图像内容，并执行图像内容的匹配，本申请对此不作限制。
如图1所示，本申请实施例一的图像发送方法包括以下步骤：
S101，创建存储多个模型的信息的模型库；
S102，获取待发送的图像；
S103，根据图像中的内容与预先设置的模型的对应关系，将图像拆分为第一子图像和第二子图像；其中，第一子图像为一个或多个；一个或多个第一子图像包括与一个或多个模型对应的一个或多个内容；第二子图像包括图像中除第一子图像之外的图像内容；
S104，生成各第一子图像的标签信息；其中，标签信息包括各第一子图像对应的模型的信息、各第一子图像在图像中的位置信息；
S105，发送各第一子图像对应的标签信息和第二子图像。
在具体实施时，待发送的图像可以为静态图像，也可以为视频和流媒体中的一个图像帧。
在在S101的一种具体实施方式中，在待发送的图像为静态图像，即，为图像文本时，可以在开始发送该图像之前，创建模型库，该模型库中可以存储多个模型；该多个模型分别对应多个图像内容。
在S101的另一种具体实施方式中，在待发送的图像为流媒体的一个图像帧时，可以在开始发送该流媒体之前，创建模型库，该模型库中可以存储多个模型，为识别该多个模型，该多个模型还可以具有编号等标识信息。
具体地，可以以下述方式创建模型库：可以获取N个图像帧；N为预设的自然数；识别N个图像帧的多个内容；分别统计该N个图像帧中的各内容在N个图像帧中的出现次数；将出现次数超过第一预设阈值的内容作为模型，存储至模型库；或者将出现次数超过第二预设阈值的内容用为候选模型，并将多个候选模型按照出现次数排序，选取出现次数前X的内容作为模型，存储至模型库。即，在获取N个图像帧之后，根据获取的图像帧中的内容建立模型库。在具体实施时，该N个图像帧可以是待发送的图像所属的流媒体中的图像帧，也可以是其他流媒体的图像帧，还可以是其他能够获取的图像帧，本申请对此不作限制。即，可以在发送流媒体之前，预先创建模型库，也可以一边发送该流媒体，一边创建模型库，并随着发送的图像帧的数量的增加，不断的完善模型库，本申请对此均不作限制。
具体地，如上所述，仍然可以通过现有技术中常用的目标建模和基于背景建模的目标检测方法来识别各个图像帧中的多个内容，重复之处不再赘述。
具体地，当预先创建模型库，且该N个图像帧是待发送的图像所属的流媒体中的图像帧时，N可以根据该流媒体的图像帧数量决定，具体地，N可以是该流媒体的总图像帧数，也可以占该流媒体的总图像帧的预定百分比，如百分之五十，二十等。在具体实施时，该N还可以为设置的自然数值，如10、20等。
具体地，该第一预设阈值可以是设置的任一数值，可以设置为大于1的自然数，当设置为1时，即，将所有出现次数等于或大于2的内容作为模型；也可以根据模型库的存储容量来确定，例如，可以设置为5、6等。
具体地，该第二预设阈值也可以是设置的任一数值，可以与第一预设阈值相同，也可以不同。该X可以设置为任一数值，可以设置为10、20、30等自然数值。例如，在预先创建模型库时，可以将所有出现次数超过1的内容作为候选模型，并根据候选模型的出现次数从大到小排序，选取出现次数排在前100的内容作为模型，存储至模型库。
具体地，该作为模型的内容，可以是例如图像中的任意一个内容，例如，桌子、杯子、电视、台灯等。
具体地，获取等发送的图像后，还可以进一步确定该待发送图像中是否包括第一信息，该第一信息包括：模型库中已有模型的更新信息，或者，新增模型的信息；如果包括，则根据该第一信息更新模型库。即，随着发送的图像帧的增加，不断的更新模型库中已有模型，或者新增模型。具体地，当第一信息包括已有模型的更新信息时，可以根据第一信息更新对应的模型；当第一信息包括新增模型的信息时，可以根据新增模型的信息在模型库中新建模型。
在一种具体实施方式中，可以通过下述方式确定该待发送图像中是否包括第一信息：将待发送图像中的内容与流媒体已发送的K个图像帧中的内容进行比较；K为预设的自然数；分别统计待发送图像的多个内容分别在K个图像帧中的出现次数；当待发送图像的任一内容在K个图像帧中的出现次数超过第三预设阈值时，确定待发送图像中的、出现次数超过第三预设阈值的内容为第一信息。即，当待发送图像中的内容出现次数较多时，可以判断该内容符合建立模型的条件；此时，可以进一步在模型库中搜索待发送图像中的内容的对应模型，如果模型库中存在待发送图像中的内容的对应模型，则计算待发送图像中的内容与对应的模型的差异信息；将差异信息作为模型库中已有模型的更新信息；并将模型库不存在对应模型、但出现次数超过第三预设阈值的内容作为新建模型进行存储。
在具体实施时，随着K数值的增加，模型库中存在与该图像帧中的内容匹配的模型的可能性也增加，但同时计算的复杂度会提高，同时实时性也相应降低。具体地，该K可以设置为大于等于1的自然数，可以为用户根据经验设置的值，例如，如2、5、10等。K可以小于等于N。具体实施时，还可以针对某一特定视频业务，从将K从2开始，至N结束，逐一取值，并绘制出横轴为K取值，双纵轴且纵轴1为节省的数据量，纵轴2为复杂度的图表，并根据处理需求选取最优取值，具体的图表的绘制方式可以采用本领域技术人员的常规技术手段，本申请不作限制；根据图表选择最优K取值的方式也可以采用本领域技术人员的常规技术手段，本申请同样不作限制。
具体地，该第三预设阈值可以设置为大于1的自然数，当设置为1时，即，将所有出现次数等于或大于2的内容作为可以压缩的内容；也可以根据模型库的存储容量来确定，例如，可以设置为5、6等。
在另一种具体实施方式中，还可以通过下述方式确定该待发送图像中是否包括已有模型的更新信息：可以先在模型库中搜索待发送图像中的内容的对应模型，如果模型库中存在待发送图像中的内容的对应模型，则计算待发送图像中的内容与对应的模型的差异信息；将差异信息作为模型库中已有模型的更新信息。即，当待发送图像中的内容存在对应的模型时，如果待发送图像中的内容携带的特征信息，比模型库中存储的模型携带的特征信息更多，更完善时，可以根据待发送图像中的内容更新模型。
在具体实施时，可以先判断该待发送图像中是否包括已有模型的更新信息，再判断该待发送图像中是否包括新增模型的信息；也可以先判断是否包括新增模型的信息，再判断该待发送图像中是否包括已有模型的更新信息；还可以同时判断待发送图像中是否包括已有模型的更新信息和判断该待发送图像中是否包括新增模型的信息，本申请对此不作限制。
在具体实施时，在根据第一信息更新模型库之后，还可以进一步包括：发送第一信息；以使得接收端能够同步更新模型库，以便于恢复图像。
在具体实施时，可以直接发送该第一信息，也可以根据在根据第一信息更新模型库后，根据该第一信息生成模型库的更新信息，并发送该模型库的更新信息。
在具体实施时，该第一信息可以与图像数据一起发送，也可以分开发送，本申请对此不作限制。
在具体实施时，在步骤103中，根据图像中的内容与预先设置的模型的对应关系，将图像拆分为第一子图像和第二子图像具体包括：将图像中的各内容与预先设置的模型进行匹配；当存在与图像中的一个或多个内容分别对应的一个或多个模型时，将图像拆分为第二子图像和一个或多个第一子图像。
下面举特例进行说明对图像内容与模型的匹配和拆分过程。例如，采取SIFT算法，基于参考模型对图像内容和模型进行匹配。在图像识别后，模型和图像内容分别对应两组特征点点集，A与B。其中，A＝{x1，x2，…，xk-1，xk}对应参考模型中的特征点集，xk为相应的特征点，B＝{y1，y2，…，yk-1，yk}对应实际图像中的特征点集，yk为相应的特征点，xk与yk之间为一一对应的关系；完成特征点匹配之后，需要进行误差点分析，在此过程中，难免会产生掉落在实际区域之外的特征点，我们称之为误差点，可以根据RANSAC等筛选算法进行优化，删除误差点。完成筛选之后，基于delaunay三角形算法，根据特征点的位置信息，通过构造特征点之间的连线，勾勒出最大匹配区域多边形，并完成该图像内容的拆分。
在具体实施时，在从待发送图像中拆分出一个或多个与模型对应的第一子图像之后，将剩余的其他部分图像作为第二子图像。
例如，在图2中，经与预先设置的模型库匹配，拆分出包括灯、沙发、电视、门等内容的12个第一子图像，以及除该12个第一子图像之外的其余部分的第二子图像。
在具体实施时，在步骤104中，生成各第一子图像的标签信息；其中，标签信息包括各第一子图像对应的模型的信息、各第一子图像在图像中的位置信息。具体地，各第一子图像对应的模型的信息可以包括：各第一子图像对应的模型的标识信息；各第一子图像在图像中的位置信息可以包括：各第一子图像的参考点在图像中的位置信息。
更具体地，由于考虑到实际图像中的内容和模型图像之间的差异(形变、色变等等)，还可以在标签中对差异信息进行描述。即，该标签信息中还可以进一步包括：各第一子图像与对应的模型的对应情况；该对应情况包括：各第一子图像包括对应的模型的全部特征点，或部分特征点；和/或各第一子图像的形变特征。
在具体实施时，各第一子图像对应的模型的标识信息可以为对应模型的编号，例如，1，2，3等。该各第一子图像的参考点在图像中的位置信息可以为在图像中的位置编号，例如，1，2，3等；也可以是各第一子图像的某一特征点在图像帧中的坐标信息，也可以是各第一子图像的边缘特征点的坐标信息，也可以是各第一子图像确定的中心点的坐标信息，本申请对此不作限制。各第一子图像与对应的模型的对应情况可以为第一子图像的特征点集为对应模型的特征点集的子集情况，即，第一子图像的特征点集包括对应模型的特征点集的哪个部分，例如，各第一子图像的多个边缘特征点的坐标。在利用SIFT算法进行内容识别和匹配时，各第一子图像的形变特征可以为各第一子图像与对应模型，基于各第一子图像的参考点的差异向量集合。
在具体实施时，该形变特征的计算方法可以如下：
假设模型和图像内容分别对应两组特征点点集，A与B。其中，A＝{x1，x2，…，xk-1，xk}对应参考模型中的特征点集，xk为相应的特征点，B＝{y1，y2，…，yk-1，yk}对应实际图像中的特征点集，yk为相应的特征点，xk与yk之间为一一对应的关系；在A与B中找到一个参考点xk(对应yk)，例如图3中的圆心，并记录参考点在实际图像中的位置信息随后，分析集合A与B中所有点基于参考点的相对改变量。如图4所示，基于参考点xk(对应yk)，可以生成每个特征点xn(对应yk)的差异向量并形成差异向量集合
可以将参考点的位置信息作为标签信息中的位置信息，将差异向量集合Sv作为形变特征。进一步的，为了减少差异向量的重复描述，以应对平移、缩放等简单形变，还可以基于角度或向量的模进行进一步优化，将差异向量集合Sv中的重复(包括部分重复)的向量进行合并，对于改变量相同的特征点，描述一次即可；本申请对此不作限制。
仍然以图2为例，在拆分出12个第一子图像之后，可以分别针对各第一子图像生成标签信息，并在标签信息中包括：各第一子图像对应的模型的标识信息、各第一子图像在所述图像中的位置信息、各第一子图像与对应的模型的对应情况、以及各第一子图像的形变特征。
具体地，各第一子图像在图像中的位置信息可以是相对位置信息，也可以是在图像中的绝对位置信息，例如，可以是该第一子图像在图像中的位置编号，也可以是该第一子图像的某一特定点在图像中的坐标等，该特定点可以是中心点。
例如，电视对应的模型的编号为100、电视在图像中的位置信息为(21，3)、在该图像中电视与模型的对应情况为包括全部特征点，并且没有形变特征，因此，电视对应的标签信息为：100、(21，3)、全部、无。
门对应的模型的编号为102、门在图像中的位置信息为12、在该图像中门与模型的对应情况为包括右边50％的特征点，形变特征为因此，门对应的标签信息为：100、9、右边50％、
在具体实施时，可以直接发送各第一子图像分别对应的标签信息和第二子图像，也可以在步骤105之前，进一步包括：计算各第一子图像分别对应的标签信息的数据量和各第一子图像的数据量；以确定各第一子图像分别对应的标签信息的数据量，分别小于各第一子图像的数据量。
具体地，当存在对应的标签信息的数据量大于或等于第一子图像的数据量的第一子图像时，确定第一子图像为第三子图像；发送除第三子图像之外的各第一子图像对应的标签信息、第二子图像、和第三子图像。即，在第一子图像和对应的标签信息之间，选择数据量较小的进行传输。具体地，还可以压缩第二子图像和第三子图像；并发送除第三子图像之外的各第一子图像对应的标签信息、和压缩的第二子图像和第三子图像。
当不存在对应的标签信息的数据量大于或等于第一子图像的数据量的第一子图像时，可以压缩第二子图像，并发送各第一子图像对应的标签信息、和压缩的第二子图像。
具体地，对第二子图像或第二子图像与第三子图像的压缩方式可以采用例如MPEG系列/H.264等标准。
仍然以图2为例，在拆分出12个第一子图像之后，可以分别针对各第一子图像生成标签信息，然后再计算各第一子图像的数据量和对应的标签信息的数据量。例如，电视图像的数据量为10kb，电视对应的标签信息的数据量为10bit，那么，电视的标签信息的数据量小；传输电视标签信息。而门的数据量为10kb，门由于形变较大，生成的标签信息的数据量为11kb，此时，可以将门重新放回原图像中去，与第二子图像一起传输，不再传输标签信息。
采用本申请实施例中的图像发送方法，根据图像中的内容与预先设置的模型的对应关系，将图像拆分为包括与模型对应的图像内容的第一子图像和其他的第二子图像；然后针对各第一子图像，生成包括各第一子图像对应的模型的信息、各第一子图像在图像中的位置信息的标签信息；并在各第一子图像的标签信息的数据量小于各第一子图像的数据量时，发送各第一子图像对应的标签信息和第二子图像；由于发送数据量较小的第一子图像的标签信息，因此减少了发送的数据量，从而降低了传输网的压力。
实施例二
图5为本申请实施例二的图像发送方法的流程图。
在本申请实施例中，将以视频图像帧的发送为例，对本申请实施例二的图像发送方法的实施进行描述。在本申请实施例中，将预先建立模型库。
如图5所示，本申请实施例二的图像发送方法包括以下步骤：
S501，获取待发送的图像帧；
S502，识别当前图像帧中的多个内容；
S503，判断该多个内容中是否存在第一信息，该第一信息包括：已有模型的更新信息或者新增模型信息；如果存在，则执行S504，如果不存在，则执行S508；
S504，判断模型库中是否存在该第一信息的对应模型；如果存在，则执行S505，如果不存在，则执行S506；
S505，计算第一信息与对应的模型的差异信息；
S506，根据第一信息创建新模型；
S507，根据该差异信息或新模型信息，更新模型库，并生成模型库的更新信息，并发送；
S508，将该多个内容与模型库中的模型进行匹配；
S509，如果存在能够匹配的模型，则执行S510，如果不存在，则执行S514-516；
S510，将与模型匹配的一个或多个内容分别作为一个或多个第一子图像；将剩余的图像内容作为第二子图像；
S511，分别针对各第一子图像生成标签信息；
S512，判断各第一子图像的标签信息的数据量是否低于对应的第一子图像；如果是，执行S515-S516；如果否，执行S513、S515和S516；
S513，将标签信息的数据量大于对应第一子图像的图像内容恢复至第二子图像；
S514，将整个图像作为第二子图像；
S515，压缩第二子图像；
S516，发送各第一子图像的标签信息和压缩的第二子图像。
采用本申请实施例中的图像发送方法，根据图像中的内容与预先设置的模型的对应关系，将图像拆分为包括与模型对应的图像内容的第一子图像和其他的第二子图像；然后针对各第一子图像，生成包括各第一子图像对应的模型的信息、各第一子图像在图像中的位置信息的标签信息；并在各第一子图像的标签信息的数据量小于各第一子图像的数据量时，发送各第一子图像对应的标签信息和第二子图像；由于发送数据量较小的第一子图像的标签信息，因此减少了发送的数据量，从而降低了传输网的压力。
实施例三
图6为本申请实施例三的图像接收方法的流程图。
在本申请实施例中，将预先在接收端建立模型库，该模型库中存储与发送端一致的多个模型；并且与发送端同步更新该模型库。
在本申请实施例中，可以预先判断接收到的数据中是否存在第一信息，若存在，则依照该信息对模型库进行更新，否则，将获取第一子图像的标签信息和第二子图像数据，并将二者分开处理。具体地，可以通过接收端的模型库恢复标签信息对应的原始图像，并将已压缩的第二子图像经过解压缩恢复出对应的原始图像，并执行与拆分相逆的重构操作，将原始图像帧恢复出来。
如图6所示，本申请实施例三的图像接收方法包括以下步骤：
S601，接收图像数据；
S602，判断该图像数据中是否包括第一信息，其中，第一信息包括：模型库中已有模型的更新信息，或者，新增模型的信息；如果包括，则执行S603，如果不包括，则执行S604；
S603，根据第一信息更新模型库；
S604，从图像数据获取第一子图像的标签信息和第二子图像数据；其中，该第一子图像的标签信息为一个或多个；该标签信息包括各第一子图像对应的模型的信息、各第一子图像在图像中的位置信息；
S605，根据各标签信息和预先设置的各模型，确定各第一子图像的内容和位置；
S606，解压缩第二子图像；
在具体实施时，步骤605和步骤606之间没有严格的时序关系，即，可以先执行步骤605，再执行步骤606，也可以先执行步骤606，再执行步骤605，还可以同时执行步骤605和步骤606，本申请对此均不作限制。
S607，根据各第一子图像的内容和位置、以及第二子图像的内容，得到图像。
在具体实施时，可以采用与发送端一致的压缩算法对第二子图像进行解压缩。
采用本申请实施例中的图像接收方法，从图像数据获取第一子图像的标签信息和第二子图像数据，并根据各标签信息和预先设置的各模型，确定各第一子图像的内容和位置；并以此得到图像；从而能够根据较标签信息在接收端恢复图像，与发送端配合，在发送较小数据量的同时实现了图像的传输，因此减少了发送的数据量，从而降低了传输网的压力。
基于同一发明构思，本申请实施例中还提供了一种图像发送装置，由于该装置解决问题的原理与本申请实施例一所提供的图像发送方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
实施例四
图7为本申请实施例四所示图像发送装置的结构示意图。
如图7所示，根据本申请实施例四所示的图像发送装置700，包括：第一获取模块701，用于获取待发送的图像；拆分模块702，用于根据该图像中的内容与预先设置的模型的对应关系，将该图像拆分为第一子图像和第二子图像；其中，该第一子图像为一个或多个；该一个或多个第一子图像包括与该一个或多个模型对应的一个或多个内容；该第二子图像包括该图像中除该第一子图像之外的图像内容；标签信息生成模块703，用于生成各该第一子图像的标签信息；其中，该标签信息包括各第一子图像对应的模型的信息、各第一子图像在该图像中的位置信息；发送模块704，用于发送各第一子图像对应的标签信息和第二子图像。
在具体实施时，根据本申请实施例四所示的图像发送装置还可以包括：第一创建和存储模块705，用于创建模型库，该模型库中存储多个模型的信息。
在具体实施时，创建和存储模块可以具体包括：第一获取子模块，用于获取N个图像帧；该N为预设的自然数；第一识别子模块，用于识别该N个图像帧的多个内容；第一统计子模块，用于分别统计该N个图像帧中的各内容在该N个图像帧中的出现次数；模型确定子模块，用于将出现次数超过第一预设阈值的内容作为模型，存储至该模型库。
在具体实施时，根据本申请实施例四所示的图像发送装置还可以包括：第一信息确定模块，用于确定该待发送图像中是否包括第一信息，该第一信息包括：已有模型的更新信息，或者，新增模型的信息；第一更新模块，用于在包括时，根据该第一信息更新该模型库。
在具体实施时，第一信息确定模块具体可以包括：第二获取子模块，用于获取该流媒体已发送的K个图像帧；该K为预设的自然数；第二识别子模块，用于识别该K个图像帧和该待发送图像的多个内容；第二统计子模块，用于分别统计该待发送图像的多个内容分别在该K个图像帧中的出现次数；第一信息确定子模块，用于当该待发送图像的任一内容在该K个图像帧中的出现次数超过第三预设阈值时，确定该待发送图像中的、出现次数超过第三预设阈值的内容为第一信息。
在具体实施时，第一信息确定模块具体可以包括：对应模块确定子模块，用于确定该模型库中是否存在该待发送图像中的内容的对应模型；差异信息计算模块，用于在存在时，计算该待发送图像中的内容与对应的模型的差异信息；更新信息确定子模块，用于将该差异信息作为该模型库中已有模型的更新信息。
在具体实施时，根据本申请实施例四所示的图像发送装置还可以包括：第一信息发送模块，用于发送该第一信息。
在具体实施时，拆分模块具体可以包括：匹配子模块，用于将该图像中的各内容与预先设置的模型进行匹配；拆分子模块，用于在存在与该图像中的一个或多个内容分别对应的一个或多个模型时，将该图像拆分为第二子图像和一个或多个第一子图像。
在具体实施时，该标签信息还可以包括：各第一子图像与对应的模型的对应情况；该对应情况包括：各第一子图像包括对应的模型的全部特征点，或部分特征点；和/或各第一子图像的形变特征。
在具体实施时，根据本申请实施例四所示的图像发送装置还可以包括：数据量确定模块，用于确定各第一子图像分别对应的标签信息的数据量，分别小于各第一子图像的数据量。
在具体实施时，当存在对应的标签信息的数据量大于或等于该第一子图像的数据量的第一子图像时，确定该第一子图像为第三子图像；该发送模块，还用于发送除该第三子图像之外的各第一子图像对应的标签信息、第二子图像、和该第三子图像。
在具体实施时，该发送模块，具体用于压缩该第二子图像和该第三子图像；发送除该第三子图像之外的各第一子图像对应的标签信息、和压缩的该第二子图像和该第三子图像。
在具体实施时，该发送模块，具体用于：压缩该第二子图像；发送各第一子图像对应的标签信息、和压缩的该第二子图像。
采用本申请实施例中的图像发送装置，根据图像中的内容与预先设置的模型的对应关系，将图像拆分为包括与模型对应的图像内容的第一子图像和其他的第二子图像；然后针对各第一子图像，生成包括各第一子图像对应的模型的信息、各第一子图像在图像中的位置信息的标签信息；并在各第一子图像的标签信息的数据量小于各第一子图像的数据量时，发送各第一子图像对应的标签信息和第二子图像；由于发送数据量较小的第一子图像的标签信息，因此减少了发送的数据量，从而降低了传输网的压力。
基于同一发明构思，本申请实施例中还提供了一种图像接收装置，由于该装置解决问题的原理与本申请实施例三所提供的图像接收方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
实施例五
如图8所示，根据本申请实施例五所示的图像接收装置800，包括：接收模块801，用于接收图像数据；第二获取模块802，用于从该图像数据获取第一子图像的标签信息和第二子图像数据；其中，该第一子图像的标签信息为一个或多个；该标签信息包括各第一子图像对应的模型的信息、各第一子图像在该图像中的位置信息；内容和位置确定模块803，用于根据各标签信息和预先设置的各模型，确定各第一子图像的内容和位置；恢复模块804，用于根据各第一子图像的内容和位置、以及第二子图像数据，得到该图像。
在具体实施时，根据本申请实施例五所示的图像接收装置还可以包括：第二创建和存储模块805，用于创建模型库，该模型库中存储与发送端一致的多个模型。
在具体实施时，接收模块还可以用于接收第一信息，其中，该第一信息包括：该模型库中已有模型的更新信息，或者，新增模型的信息；该装置还包括：第二更新模块，用于根据该第一信息更新该模型库。
采用本申请实施例中的图像接收装置，从图像数据获取第一子图像的标签信息和第二子图像数据，并根据各标签信息和预先设置的各模型，确定各第一子图像的内容和位置；并以此得到图像；从而能够根据较标签信息在接收端恢复图像，与发送端配合，在发送较小数据量的同时实现了图像的传输，因此减少了发送的数据量，从而降低了传输网的压力。
基于同一发明构思，本申请实施例中还提供了一种图像传输系统，由于该系统解决问题的原理与本申请实施例一和三所提供的图像接收及发送方法相似，因此该系统的实施可以参见方法的实施，重复之处不再赘述。
实施例六
图9为本申请实施例六所示的图像传输系统的结构示意图。
如图9所示，根据本申请实施例六所示的图像传输系统900，包括：图像发送装置700；以及图像接收装置800。
采用本申请实施例中的图像传输系统，在发送端，根据图像中的内容与预先设置的模型的对应关系，将图像拆分为包括与模型对应的图像内容的第一子图像和其他的第二子图像；然后针对各第一子图像，生成包括各第一子图像对应的模型的信息、各第一子图像在图像中的位置信息的标签信息；并在各第一子图像的标签信息的数据量小于各第一子图像的数据量时，发送各第一子图像对应的标签信息和第二子图像；在接收端，从图像数据获取第一子图像的标签信息和第二子图像数据，并根据各标签信息和预先设置的各模型，确定各第一子图像的内容和位置；并以此得到图像；从而能够根据较标签信息在接收端恢复图像，与发送端配合，在发送较小数据量的同时实现了图像的传输，因此减少了发送的数据量，从而降低了传输网的压力。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (37)

1.一种图像发送方法，其特征在于，包括：
获取待发送的图像；
根据所述图像中的内容与预先设置的模型的对应关系，将所述图像拆分为第一子图像和第二子图像；其中，所述第一子图像为一个或多个；所述一个或多个第一子图像包括与所述一个或多个模型对应的一个或多个内容；所述第二子图像包括所述图像中除所述第一子图像之外的图像内容；
生成各所述第一子图像的标签信息；其中，所述标签信息包括各第一子图像对应的模型的信息、各第一子图像在所述图像中的位置信息；
发送各第一子图像对应的标签信息和第二子图像。
2.根据权利要求1所述的方法，其特征在于，在根据所述图像中的内容与预先设置的模型的对应关系，将所述图像拆分为第一子图像和第二子图像之前，还包括：
创建模型库，所述模型库中存储多个模型的信息。
3.根据权利要求2所述的方法，其特征在于，所述待发送的图像为流媒体的一个图像帧，创建模型库具体包括：
获取N个图像帧；所述N为预设的自然数；
识别所述N个图像帧的多个内容；
分别统计所述N个图像帧中的各内容在所述N个图像帧中的出现次数；
将出现次数超过第一预设阈值的内容作为模型，存储至所述模型库；或者，将出现次数超过第二预设阈值的内容用为候选模型，并将所述多个候选模型按照出现次数排序，选取出现次数前X的内容作为模型，存储至所述模型库。
4.根据权利要求3所述的方法，其特征在于，在根据所述图像中的内容与预先设置的模型的对应关系，将所述图像拆分为第一子图像和第二子图像之前，还包括：
确定所述待发送图像中是否包括第一信息，所述第一信息包括：已有模型的更新信息，或者，新增模型的信息；
如果包括，则根据所述第一信息更新所述模型库。
5.根据权利要求4所述的方法，其特征在于，确定所述待发送图像中是否包括第一信息，具体包括：
获取所述流媒体已发送的K个图像帧；所述K为预设的自然数；
识别所述K个图像帧和所述待发送图像的多个内容；
分别统计所述待发送图像的多个内容分别在所述K个图像帧中的出现次数；
当所述待发送图像的任一内容在所述K个图像帧中的出现次数超过第三预设阈值时，确定所述待发送图像中的、出现次数超过第三预设阈值的内容为第一信息。
6.根据权利要求4所述的方法，其特征在于，确定所述待发送图像中是否包括已有模型的更新信息，具体包括：
确定所述模型库中是否存在所述待发送图像中的内容的对应模型；
如果存在，则计算所述待发送图像中的内容与对应的模型的差异信息；
将所述差异信息作为所述模型库中已有模型的更新信息。
7.根据权利要求4所述的方法，其特征在于，
当所述第一信息包括已有模型的更新信息时，根据所述第一信息更新所述模型库，具体包括：根据所述第一信息更新所述对应的模型；
当所述第一信息包括新增模型的信息时，根据所述第一信息更新所述模型库，具体包括：根据所述新增模型的信息在所述模型库中新建模型。
8.根据权利要求4所述的方法，其特征在于，在根据所述第一信息更新所述模型库之后，还包括：
发送所述第一信息。
9.根据权利要求1所述的方法，其特征在于，根据所述图像中的内容与预先设置的模型的对应关系，将所述图像拆分为第一子图像和第二子图像具体包括：
将所述图像中的各内容与预先设置的模型进行匹配；
当存在与所述图像中的一个或多个内容分别对应的一个或多个模型时，将所述图像拆分为第二子图像和一个或多个第一子图像。
10.根据权利要求1所述的方法，其特征在于，各第一子图像对应的模型的信息，包括：各第一子图像对应的模型的标识信息。
11.根据权利要求1所述的方法，其特征在于，各第一子图像在所述图像中的位置信息，包括：各第一子图像的参考点在所述图像中的位置信息。
12.根据权利要求1所述的方法，其特征在于，所述标签信息还包括：
各第一子图像与对应的模型的对应情况；所述对应情况包括：各第一子图像包括对应的模型的全部特征点，或部分特征点；和/或
各第一子图像的形变特征。
13.根据权利要求12所述的方法，其特征在于，所述形变特征包括：各第一子图像与对应模型，基于各第一子图像的参考点的差异向量集合。
14.根据权利要求1所述的方法，其特征在于，在生成各第一子图像的标签信息之后，在发送各第一子图像对应的标签信息和第二子图像之前，还包括：
确定各第一子图像分别对应的标签信息的数据量，分别小于各第一子图像的数据量。
15.根据权利要求14所述的方法，其特征在于，还包括：
当存在对应的标签信息的数据量大于或等于所述第一子图像的数据量的第一子图像时，确定所述第一子图像为第三子图像；
发送除所述第三子图像之外的各第一子图像对应的标签信息、第二子图像、和所述第三子图像。
16.根据权利要求15所述的方法，其特征在于，发送除所述第三子图像之外的各第一子图像对应的标签信息、第二子图像、和所述第三子图像，具体包括：
压缩所述第二子图像和所述第三子图像；
发送除所述第三子图像之外的各第一子图像对应的标签信息、和压缩的所述第二子图像和所述第三子图像。
17.根据权利要求1所述的方法，其特征在于，发送各第一子图像对应的标签信息和第二子图像，具体包括：
压缩所述第二子图像；
发送各第一子图像对应的标签信息、和压缩的所述第二子图像。
18.一种图像接收方法，其特征在于，包括：
接收图像数据；
从所述图像数据获取第一子图像的标签信息和第二子图像数据；其中，所述第一子图像的标签信息为一个或多个；所述标签信息包括各第一子图像对应的模型的信息、各第一子图像在所述图像中的位置信息；
根据各标签信息和预先设置的各模型，确定各第一子图像的内容和位置；
根据各第一子图像的内容和位置、以及第二子图像数据，得到所述图像。
19.根据权利要求18所述的方法，其特征在于，在根据各标签信息和预先设置的各模型，确定各第一子图像的内容和位置之前，还包括：
创建模型库，所述模型库中存储与发送端一致的多个模型。
20.根据权利要求19所述的方法，其特征在于，在根据各标签信息和预先设置的各模型，确定各第一子图像的内容和位置之前，还包括：
接收第一信息，其中，所述第一信息包括：所述模型库中已有模型的更新信息，或者，新增模型的信息；
根据所述第一信息更新所述模型库。
21.一种图像发送装置，其特征在于，包括：
第一获取模块，用于获取待发送的图像；
拆分模块，用于根据所述图像中的内容与预先设置的模型的对应关系，将所述图像拆分为第一子图像和第二子图像；其中，所述第一子图像为一个或多个；所述一个或多个第一子图像包括与所述一个或多个模型对应的一个或多个内容；所述第二子图像包括所述图像中除所述第一子图像之外的图像内容；
标签信息生成模块，用于生成各所述第一子图像的标签信息；其中，所述标签信息包括各第一子图像对应的模型的信息、各第一子图像在所述图像中的位置信息；
发送模块，用于发送各第一子图像对应的标签信息和第二子图像。
22.根据权利要求21所述的装置，其特征在于，还包括：
第一创建和存储模块，用于创建模型库，所述模型库中存储多个模型的信息。
23.根据权利要求22所述的装置，其特征在于，所述第一创建和存储模块具体包括：
第一获取子模块，用于获取N个图像帧；所述N为预设的自然数；
第一识别子模块，用于识别所述N个图像帧的多个内容；
第一统计子模块，用于分别统计所述N个图像帧中的各内容在所述N个图像帧中的出现次数；
模型确定子模块，用于将出现次数超过第一预设阈值的内容作为模型，存储至所述模型库，或者，用于将出现次数超过第二预设阈值的内容用为候选模型，并将所述多个候选模型按照出现次数排序，选取出现次数前X的内容作为模型，存储至所述模型库。
24.根据权利要求23所述的装置，其特征在于，还包括：
第一信息确定模块，用于确定所述待发送图像中是否包括第一信息，所述第一信息包括：已有模型的更新信息，或者，新增模型的信息；
第一更新模块，用于在包括时，根据所述第一信息更新所述模型库。
25.根据权利要求24所述的装置，其特征在于，第一信息确定模块具体包括：
第二获取子模块，用于获取流媒体已发送的K个图像帧；所述K为预设的自然数；
第二识别子模块，用于识别所述K个图像帧和所述待发送图像的多个内容；
第二统计子模块，用于分别统计所述待发送图像的多个内容分别在所述K个图像帧中的出现次数；
第一信息确定子模块，用于当所述待发送图像的任一内容在所述K个图像帧中的出现次数超过第三预设阈值时，确定所述待发送图像中的、出现次数超过第三预设阈值的内容为第一信息。
26.根据权利要求24所述的装置，其特征在于，第一信息确定模块具体包括：
对应模块确定子模块，用于确定所述模型库中是否存在所述待发送图像中的内容的对应模型；
差异信息计算模块，用于在存在时，计算所述待发送图像中的内容与对应的模型的差异信息；
更新信息确定子模块，用于将所述差异信息作为所述模型库中已有模型的更新信息。
27.根据权利要求24所述的装置，其特征在于，还包括：
第一信息发送模块，用于发送所述第一信息。
28.根据权利要求21所述的装置，其特征在于，拆分模块具体包括：
匹配子模块，用于将所述图像中的各内容与预先设置的模型进行匹配；
拆分子模块，用于在存在与所述图像中的一个或多个内容分别对应的一个或多个模型时，将所述图像拆分为第二子图像和一个或多个第一子图像。
29.根据权利要求21所述的装置，其特征在于，所述标签信息还包括：
各第一子图像与对应的模型的对应情况；所述对应情况包括：各第一子图像包括对应的模型的全部特征点，或部分特征点；和/或
各第一子图像的形变特征。
30.根据权利要求21所述的装置，其特征在于，还包括：
数据量确定模块，用于确定各第一子图像分别对应的标签信息的数据量，分别小于各第一子图像的数据量。
31.根据权利要求30所述的装置，其特征在于，当存在对应的标签信息的数据量大于或等于所述第一子图像的数据量的第一子图像时，确定所述第一子图像为第三子图像；所述发送模块，还用于发送除所述第三子图像之外的各第一子图像对应的标签信息、第二子图像、和所述第三子图像。
32.根据权利要求31所述的装置，其特征在于，所述发送模块，具体用于压缩所述第二子图像和所述第三子图像；发送除所述第三子图像之外的各第一子图像对应的标签信息、和压缩的所述第二子图像和所述第三子图像。
33.根据权利要求21所述的装置，其特征在于，所述发送模块，具体用于：压缩所述第二子图像；发送各第一子图像对应的标签信息、和压缩的所述第二子图像。
34.一种图像接收装置，其特征在于，包括：
接收模块，用于接收图像数据；
第二获取模块，用于从所述图像数据获取第一子图像的标签信息和第二子图像数据；其中，所述第一子图像的标签信息为一个或多个；所述标签信息包括各第一子图像对应的模型的信息、各第一子图像在所述图像中的位置信息；
内容和位置确定模块，用于根据各标签信息和预先设置的各模型，确定各第一子图像的内容和位置；
恢复模块，用于根据各第一子图像的内容和位置、以及第二子图像数据，得到所述图像。
35.根据权利要求34所述的装置，其特征在于，还包括：
第二创建和存储模块，用于创建模型库，所述模型库中存储与发送端一致的多个模型。
36.根据权利要求34所述的装置，其特征在于，接收模块还用于接收第一信息，其中，所述第一信息包括：所述模型库中已有模型的更新信息，或者，新增模型的信息；所述装置还包括：
第二更新模块，用于根据所述第一信息更新所述模型库。
37.一种图像传输系统，其特征在于，包括：
根据权利要求21-33中任一项所述的图像发送装置；以及
根据权利要求34-36中任一项所述的图像接收装置。
CN201610053570.6A 2016-01-27 2016-01-27 一种图像发送、接收方法及装置、系统 Active CN107018421B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610053570.6A CN107018421B (zh) 2016-01-27 2016-01-27 一种图像发送、接收方法及装置、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610053570.6A CN107018421B (zh) 2016-01-27 2016-01-27 一种图像发送、接收方法及装置、系统

Publications (2)

Publication Number Publication Date
CN107018421A CN107018421A (zh) 2017-08-04
CN107018421B true CN107018421B (zh) 2019-08-23

Family

ID=59438872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610053570.6A Active CN107018421B (zh) 2016-01-27 2016-01-27 一种图像发送、接收方法及装置、系统

Country Status (1)

Country Link
CN (1) CN107018421B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3427664A1 (en) * 2017-07-13 2019-01-16 Koninklijke Philips N.V. A device for scatter correction in an x-ray image and a method for scatter correction in an xray image
CN109413514A (zh) * 2018-10-12 2019-03-01 广州物道水务科技有限公司 一种数据传输方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101668211A (zh) * 2009-09-18 2010-03-10 杭州电子科技大学 一种图像和视频编解码的方法
CN102970510A (zh) * 2012-11-23 2013-03-13 清华大学 人脸视频传输方法
CN104320663A (zh) * 2014-11-14 2015-01-28 中国建设银行股份有限公司 一种视频压缩方法及装置和视频传输系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123734A1 (en) * 2001-12-28 2003-07-03 Koninklijke Philips Electronics N.V. Methods and apparatus for object recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101668211A (zh) * 2009-09-18 2010-03-10 杭州电子科技大学 一种图像和视频编解码的方法
CN102970510A (zh) * 2012-11-23 2013-03-13 清华大学 人脸视频传输方法
CN104320663A (zh) * 2014-11-14 2015-01-28 中国建设银行股份有限公司 一种视频压缩方法及装置和视频传输系统

Also Published As

Publication number Publication date
CN107018421A (zh) 2017-08-04

Similar Documents

Publication Publication Date Title
Huang et al. Deep learning-based image semantic coding for semantic communications
CN108780499B (zh) 基于量化参数的视频处理的系统和方法
CN108632625A (zh) 一种视频编码方法、视频解码方法和相关设备
JP2013211908A (ja) ビデオ圧縮方法
CN105263050A (zh) 基于云平台的移动终端实时渲染系统及其方法
CN104641643A (zh) 在分层层级中信号编码、解码和重构期间残差数据的分解
CN110267045A (zh) 一种视频处理及编码的方法、装置及可读存储介质
WO2022121648A1 (zh) 点云数据编码方法、解码方法、设备、介质及程序产品
CN108156459A (zh) 可伸缩视频传输方法及系统
CN107071440A (zh) 使用先前帧残差的运动矢量预测
CN109688407A (zh) 编码单元的参考块选择方法、装置、电子设备及存储介质
CN107018421B (zh) 一种图像发送、接收方法及装置、系统
CN103020138A (zh) 一种视频检索的方法和装置
WO2023050720A1 (zh) 图像处理方法、图像处理装置、模型训练方法
KR102238091B1 (ko) 3d 모델 압축 및 압축해제 시스템 및 방법
Huang et al. A cloud computing based deep compression framework for UHD video delivery
US20210092403A1 (en) Object manipulation video conference compression
CN104320661B (zh) 基于差分熵和结构相似性的图像编码质量预测方法
CN115361556A (zh) 一种基于自适应的高效视频压缩算法及其系统
CN106878728B (zh) 图像的压缩方法和装置
KR101581131B1 (ko) 영상 정보를 전달하는 방법, 영상 부호기 및 영상 복호기
US20240089475A1 (en) Distributed computational system and method for artificial neural network
CN111885378B (zh) 多媒体数据编码方法、装置、设备以及介质
CN117061792B (zh) 云视频协作渲染方法、装置及计算机设备
WO2024007144A1 (zh) 编解码方法、码流、编码器、解码器以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 100098 Beijing Haidian District North Fourth Ring West Road No. 9, 18th Floor 1811

Patentee after: Beijing Zhongke Polytron Technologies Inc

Address before: 100190 No. 10 South Road, Haidian District Academy of Sciences, Beijing

Patentee before: Beijing Zhongke Jingshang Technology Co., Ltd.

CP03 Change of name, title or address
TR01 Transfer of patent right

Effective date of registration: 20200609

Address after: 223001 Incubation Building, No. 12 Tongyuan Road, Huaian Economic and Technological Development Zone, Huaian City, Jiangsu Province

Patentee after: Huaian Zhongke Jingshang Intelligent Network Research Institute Co.,Ltd.

Address before: 100098 Beijing Haidian District North Fourth Ring West Road No. 9, 18th Floor 1811

Patentee before: BEIJING SYLINCOM TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right