CN103489170B - 一种jpeg图片合成、叠加osd信息方法及装置 - Google Patents

一种jpeg图片合成、叠加osd信息方法及装置 Download PDF

Info

Publication number
CN103489170B
CN103489170B CN201310399912.6A CN201310399912A CN103489170B CN 103489170 B CN103489170 B CN 103489170B CN 201310399912 A CN201310399912 A CN 201310399912A CN 103489170 B CN103489170 B CN 103489170B
Authority
CN
China
Prior art keywords
picture
jpeg
coefficient
dct
dct coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310399912.6A
Other languages
English (en)
Other versions
CN103489170A (zh
Inventor
吴参毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201310399912.6A priority Critical patent/CN103489170B/zh
Publication of CN103489170A publication Critical patent/CN103489170A/zh
Priority to US14/914,319 priority patent/US20160219307A1/en
Priority to EP14842007.8A priority patent/EP3043313A4/en
Priority to PCT/CN2014/085951 priority patent/WO2015032339A1/zh
Application granted granted Critical
Publication of CN103489170B publication Critical patent/CN103489170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明公开了一种JPEG图片合成、叠加OSD信息方法及装置，该合成方法对第一图片和第二图片的JPEG位数据流进行熵解码、AC/DC系数解码、反DC预测和反量化，然后根据图片拼接模式按照JPEG光栅扫描顺序进行DCT系数合成，再进行量化、DC预测、AC/DC系数编码和熵编码形成合成图片的JPEG位数据流。对于叠加OSD信息，仅对需要叠加OSD信息的区域进行IDCT变化，在YUV平面进行OSD信息的叠加后再进行DCT变换为DCT系数，将该DCT系数与非叠加区域的DCT系数进行DCT系数的合成。本发明还同时公开了JPEG图片合成装置，包括DCT解码模块、DCT系数合成模块和熵编码模块。本发明的方法和装置不需要对整个JPEG图片进行IDCT变换和DCT变换，计算量小，合成效率高。

Description

一种JPEG图片合成、叠加OSD信息方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及JPEG图片的合成、叠加OSD信息方法及装置。
背景技术
智能交通系统ITS（Intelligent Transport System）中的电子警察子系统和卡口子系统中，前端设备捕获的路口违章车辆或者流量记录车辆的图片，需要通过几张图片来完整记录其违章过程以及车牌放大特写，通常，对某一具体的车辆的几个图片一般合成为一张大分辨率图片进行保存。
前端设备抓拍的单张图片和合成图片格式都是JPEG（JointPhotographic Experts Group）格式，视具体应用，合成格式各异。一般具有图1～图3几种模式，图1中由两张JPEG图片合成为一张图片，图1a为两张图片竖直方向合成，此时两张图片宽度相同，且等于合成图片宽度；图1b两张图片按照水平方向合成，此时两张图片高度相同，且等于合成图片高度。
图2中由三种图片合成，图2a中图片2和图片3高度相同，首先水平方向合成；然后合成图片再和图片1按照竖直方向合成。图2b中图片2和图片3宽度相同，首先按照竖直方向合成；然后合成图片再和图片1按照水平方向合成。
图3中由4张图片合成，图3a中图片2、图片3和图片4高度相同，首先按照水平方向合成；然后合成图片进一步和图片1竖直方向合成；图3b中图片2、图片3和图片4宽度相同，首先按照竖直方向合成，然后合成图片进一步和图片1水平方向合成。
在现有的JPEG图片合成中，首先需要把所有需要解码的JPEG图片分别解码，得到每个图片的YUV格式，然后把每个YUV格式图片按照合成模式进行合成，合成后再进行JPEG编码。以两个JPEG图片合成为例，如图4所示，两个JPEG图片分别按照JPEG标准的解码流程（熵解码-＞AC/DC解码-＞反DC预测-＞反量化-＞IDCT）解码得到YUV图片，然后按照合成模式，对YUV图片进行合成，合成完毕后，再按照JPEG标准的编码流程（DCT-＞量化-＞DC预测-＞AC/DC编码->熵编码）得到合成的JPEG图片。
由于待合成图片分辨率一般为200万或者500万，若按照两个图片合成的话，相当于进行400万或者100万图片的解码和编码操作。若按照4个图片合成的话，则相当于进行800万或2000万图片的解码和编码。可见JPE解码盒编码的计算量非常大。在后端服务器通用CPU上运行时，这是一个巨大的性能瓶颈。同时由于解码后再编码，也会造成图片质量降低。
在电子警察或者卡口子系统中除了图片合成业务外，还需要在合成图片中添加一些智能识别结果等视频字符叠加OSD（On Screen Display）信息。这些信息往往是在图片已经JPEG编码完毕之后需要叠加的。如图5a所示的OSD1；此外，在视频监控系统中，按照国家标准，下级部门把本辖区内采集的JPEG图片上报给上级部门时，需要在图片OSD信息上方额外的添加本地区OSD编码，如图5b所示，JPEG图片已经存在OSD2，上传时需要添加OSD1。对JPEG图片后期叠加OSD来说，同样的也是对JPEG图片按照标准的解码流程解码后，在得到的YUV平面进行OSD叠加，完毕后再按照JPEG标准的编码流程进行编码，得到新的添加了OSD的JPEG图片。现有的OSD叠加方案，需要进行整幅图片解码再编码，不仅计算量耗费，同时也降低了整个图片由于解码和编码无谓操作带来的图片质量降低。
发明内容
本发明的目的是针对现有技术JPEG图片合成时计算量大，合成图片质量降低的技术问题，提出一种JPEG图片合成方法、叠加OSD信息方法及装置，降低了合成图片时的计算量。
为了实现上述发明目的，本发明的技术方案如下：
一种JPEG图片合成方法，用于合成第一图片和第二图片，该方法包括步骤：
对第一图片和第二图片的JPEG位数据流进行熵解码、AC/DC系数解码、反DC预测和反量化，得到DCT系数；
根据图片拼接模式进行DCT系数合成；
对合成后的DCT系数进行量化、DC预测、AC/DC系数编码和熵编码，形成合成图片的位数据流。
进一步地，所述JPEG图片合成方法还包括步骤：
保留第一图片或第二图片的头部作为合成图片的头部，并修改头部中的图像高度和宽度信息为合成图片的图像高度和宽度信息。在智能交通系统ITS中，图片的格式一般是相同的，其JPEG图片文件头部的信息一般也是相同的，在进行JPEG图片合成时，保留一个图片文件的头部作为合成图片的头部。
进一步地，所述根据图片拼接模式进行DCT系数合成是指根据图片拼接模式按照JPEG光栅扫描顺序对所述第一图片和第二图片的DCT系数进行排列。图片拼接模式有水平拼接模式和垂直拼接模式，根据不同的拼接模式，按照JPEG光栅扫描顺序排列DCT系数，对于垂直拼接模式，第二图片的DCT系数接在第一图片的最后一行之后；对于水平拼接模式，合成图片的DCT系数第一行的前半行是第一图片的第一行的DCT系数，合成图片的DCT系数第一行的后半行是第二图片的第一行的DCT系数，依次类推。
本发明还提出了一种JPEG图片叠加OSD信息的方法，该方法包括步骤：
对待叠加OSD信息的JPEG图片位数据流进行熵解码、AC/DC系数解码、反DC预测和反量化，得到DCT系数；
抽取需要叠加OSD信息的区域的DCT系数进行IDCT变换到YUV平面，在YUV平面叠加OSD信息后再进行DCT变换；
将叠加了OSD信息的DCT系数与非叠加区域的DCT系数进行DCT系数合成；
对合成的DCT系数进行量化、DC预测、AC/DC系数编码和熵编码，形成合成图片的位数据流。
所述抽取需要叠加OSD信息的区域的DCT系数，是根据所述JPEG图片上需要叠加OSD信息的区域的坐标信息，从所述JPEG图片的DCT系数中抽取需要叠加OSD信息的区域的DCT系数。仅对需要叠加OSD信息的区域进行IDCT变化，在YUV平面进行OSD信息的叠加后再进行DCT变换为DCT系数。显然仅对需要叠加OSD信息的区域进行了IDCT和DCT变换，而非对整个JPEG图片都进行完全的JPEG解码和编码，降低了计算工作量。
本发明同时提出的一种JPEG图片合成装置，用于合成JPEG图片，所述合成装置包括：
DCT解码模块，用于对待合成JPEG图片的位数据流进行熵解码、AC/DC系数解码、反DC预测和反量化；
DCT系数合成模块，用于根据JPEG光栅扫描顺序进行DCT系数合成；
编码模块，用于对合成后的DCT重新进行量化、DC预测、AC/DC系数编码和熵编码，形成合成的JPEG位数据流。
其中所述DCT系数解码模块还包括：熵解码单元、AC/DC系数解码单元、反DC预测单元和反量化单元，对待合成JPEG图片的位数据流进行熵解码、AC/DC系数解码、反DC预测和反量化。所述编码模块还包括：量化单元、DC预测单元、AC/DC系数编码单元和熵编码单元，分别按照JPEG标准对输入的DCT系数图片进行量化、DC预测、AC/DC系数编码和熵编码。
进一步地，所述装置还包括OSD信息叠加模块，用于抽取需要叠加OSD信息的区域的DCT系数进行IDCT变换到YUV平面，在YUV平面叠加OSD信息后再进行DCT变换。
进一步地，所述OSD信息叠加模块包括控制单元，IDCT变换单元，OSD叠加单元和DCT变换单元，所述控制单元抽取需要叠加OSD信息的区域像素块的DCT系数，输入IDCT变换单元进行IDCT变换，随后在OSD叠加单元进行OSD信息叠加，最后通过DCT变换单元再次变换到DCT系数图片。
本发明提出的一种JPEG图片合成、叠加OSD信息方法及装置，通过对JPEG图片位数据流进行熵解码、AC/DC系数解码、反DC预测和反量化，在DCT系数平面根据拼接模式按照JPEG光栅扫描顺序进行DCT系数合成，然后进行量化、DC预测、AC/DC系数编码和熵编码，形成JPEG图片位数据流。对于叠加OSD信息，对JPEG图片进行熵解码、AC/DC系数解码、反DC预测和反量化，然后仅对需要叠加OSD信息的区域进行IDCT变化，在YUV平面进行OSD信息的叠加后再进行DCT变换为DCT系数，将该DCT系数与非叠加区域的DCT系数进行DCT系数的合成，对合成的DCT系数进行量化、DC预测、AC/DC系数编码和熵编码，形成合成图片的位数据流。本发明在DCT系数平面完成图片的合成，不需要对整个JPEG图片进行IDCT变换和DCT变换，计算量小，合成效率高。
附图说明
图1a为竖直方向两张JPEG图片合成的模式；
图1b为水平方向两张JPEG图片合成的模式；
图2a为竖直方向三张JPEG图片合成的模式；
图2b为水平方向三张JPEG图片合成的模式；
图3a为竖直方向四张JPEG图片合成的模式；
图3b为水平方向四张JPEG图片合成的模式；
图4为现有技术JPEG图片合成编解码算法示意图；
图5a为JPEG图片叠加OSD信息示意图；
图5b为JPEG图片后期叠加OSD信息示意图；
图6a为JPEG图片光栅扫描示意图；
图6b为水平拼接JPEG图片光栅扫描示意图；
图6c为垂直拼接JPEF图片光栅扫描示意图；
图7为本发明JPEG合成方法示意图；
图8为本发明叠加OSD信息方法示意图；
图9为本发明JPEG合成装置结构示意图。
具体实施方式
下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。
由于JPEG编码标准中对图片中的所有8x8像素块（以下简称像素块）按照从左到右，从上到下的光栅扫描顺序进行编码，对其中一个像素块来说，DCT变换后，形成一个DC系数和63个AC系数，对DC系数和AC系数分别进行量化，然后进行DC预测，再进行AC系数和DC系数编码（简称AC/DC系数编码），最后进行熵编码形成位数据流。其中DC预测就是计算其DC系数量化值DCn与按照光栅扫描顺序前一个相邻像素块的DC系数量化值DCn-1的残差，即diff=DCn-DCn-1；对图片中的首个像素块，由于其没有前一个相邻像素块，此时的前一个相邻像素块的DC系数量化值取缺省值default，即diff=DC1-default，其中DC1为首个像素块的DC系数量化值。而对DC系数编码是采用差分脉冲调制编码DPCM（DifferentialPulse Code Modulation），对AC系数编码是采用行程长度编码RLE（Run-Length Encoding）。JPEG图片解码过程就是上述编码过程的反向过程，即先进行熵解码，然后进行AC系数和DC系数解码（简称AC/DC系数解码），再进行反DC预测，再对AC系数和DC系数分别进行反量化，最后进行IDCT变换，其中反DC预测就是根据DCn=diff+DCn-1来计算DC系数量化值。
假设待合成的图片1和图片2每行都有K个8x8像素块，每列有M个8x8像素块，则图片1光栅扫描顺序如图6a所示。而根据JPEG编码标准，两个图片进行拼接后，拼接的模式有图1a的水平拼接模式，其对应的光栅扫描如图6b所示；拼接的模式还有如图1b的垂直拼接模式，其对应的光栅扫描如图6c所示。
需要说明的是，ITS系统中的图片都是采用JPEG格式进行保存，且图片的大小相同，本发明不限于用于拼接的图片大小是否相同，对于不同大小的JPEG图片，按照拼接的模式根据光栅扫描顺序排列即可。
可见拼接后图片1、图片2的像素块在合成图片中的排列次序发生了变化，由于像素块排列次序发生变化导致像素块的DC系数编码发生了变化，其他均未发生变化，因此通过对图片像素块的DC系数进行重新编码，并重组位数码流即可完成图片的拼接。
本发明根据上述的图片合成特点，对待合成图片1和图片2进行熵解码、AC/DC系数解码、反DC预测、反量化后，在DCT系数平面对图片进行合成，然后重新进行量化、DC预测、AC/DC系数编码、熵编码，形成合成的图片。
图7为本发明JPEG图片合成方法流程图，包括步骤：
步骤S1、对待合成的图片1和图片2的JPEG位数据流进行熵解码、AC/DC系数解码、反DC预测和反量化，得到DCT系数。
ITS系统中的图片都是采用JPEG格式进行保存，保存的JPEG图片是经过熵编码后的JPEG位数据流（JPEG bitstream），因此需要进行图片1和图片2的合成时，首先需要对图片1和图片2进行熵解码，传统的方法是对待合成的图片1和图片2进行标准的完全JPEG解码，然后在YUV平面上进行合成。而本发明仅对待合成图片1和图片2进行熵解码、AC/DC系数解码、反DC预测、反量化得到DCT系数。
步骤S2、根据图片拼接模式进行DCT系数合成。
这里的DCT系数即为步骤S1中的反量化后的DC系数和AC系数，每个像素块的DCT系数包括一个DC系数和63个AC系数，由于JPEG标准对DC系数进行差分脉冲调制编码，按照JPEG光栅扫描标准，图片1和图片2的像素块在拼接后的合成图片中的顺序位置发生了变化。如图6b的水平拼接模式，图片2的第一行成为了合成图片的第一行的后半行，图片1的第一行成为了合成图片的第一行的前半行，依此类推，图片2第一列像素块的前一个相邻像素块均发生了变化，同时图片1第一列除首个像素块的前一个相邻像素块未发生变化外，其他像素块的前一个相邻像素块也发生了变化，因此这些像素块在合成图片中的DC系数发生了变化；而如图6c所示的垂直拼接模式，图片2的第一行接在图片1的最后一行之后，图片2的首个像素块在合成图片中其前一个像素快发生了变化，而其他像素块的前一个相邻像素块均未发生变化。
由于在合成图片中这些前一个相邻像素块发生变化的像素块DC系数会发生变化，因此需要按照JPEG光栅扫描标准进行重新排序。
本步骤根据图片拼接模式进行DCT系数合成即对图片1和图片2像素块根据拼接的模式按照JPEG光栅扫描顺序进行重新排列。拼接的模式有图1a的水平拼接模式，其对应的光栅扫描如图6b所示；拼接的模式还有如图1b的垂直拼接模式，其对应的光栅扫描如图6c所示。
经过按照JPEG光栅扫描顺序重新排列后，合成图片中部分像素块的前一个相邻像素块发生了变化，因此其对应的DC系数按照差分脉冲调制编码方法也会发生改变。
步骤S3、对合成后的DCT系数进行量化、DC预测、AC/DC系数编码和熵编码，形成合成图片的位数据流。
在重新排列后，按照新排列的像素块顺序，进行量化和DC预测，就能够对合成图片进行正确的DC预测，然后进行AC/DC系数编码和熵编码，并按照光栅扫描顺序形成合成图片的位数据流，完成图片合成。
可见本发明在图片拼接时，对原JPEG图片进行非完全解码，合成时也不是在YUV层面进行，而是在DCT系数层面进行合成。相比标准JPEG编解码，节省了解码过程的IDCT变换和编码过程中的DCT变换，节省了计算资源。
需要说明的是，在智能交通系统ITS中，图片的格式一般是相同的，其JPEG图片文件头部的信息一般也是相同的，在进行JPEG图片合成时，保留一个图片文件的头部作为合成图片的头部，并把头部中有关图像高度和图像宽度的信息修改为合成图片的高度和宽度信息。
在电子警察或者卡口子系统中除了图片合成业务外，还需要在合成图片中添加一些智能识别结果等视频字符叠加OSD信息。在图片上叠加OSD信息在现有技术中同样的也是对JPEG图片按照标准的解码流程解码后，在得到的YUV平面进行OSD叠加，完毕后再按照JPEG标准的编码流程进行编码，得到新的添加了OSD的JPEG图片。本实施例运用基于上述JPEG图片合成方法的原理，提出一种JPEG图片叠加OSD信息的方法，如图8所示，包括步骤：
步骤S801、对待叠加OSD信息的JPEG图片位数据流进行熵解码、AC/DC系数解码、反DC预测和反量化，得到DCT系数。
与现有技术将待叠加OSD信息的JPEG图片进行标准的JPEG解码，然后在YUV平面上进行叠加OSD信息不同的是，本实施例对待叠加OSD信息的JPEG图片仅解码到DCT系数平面。
步骤S802、抽取需要叠加OSD信息的区域进行IDCT变换到YUV平面，在YUV平面叠加OSD信息后再进行DCT变换。
在JPEG图片上叠加OSD信息，叠加OSD信息的区域都有明确的坐标来进行划分，因此叠加OSD信息的区域在JPEG图片上是一个有明确界限的区域。对于该区域在进行熵解码、AC/DC系数解码、反DC预测和反量化的基础上，继续进行IDCT变换，即完成整个JPEG解码流程，得到该区域的YUV平面。
在该区域的YUV平面进行OSD信息的叠加，是现有技术中常用的技术手段，因此在叠加OSD信息的区域进行的解码和OSD信息叠加都是现有技术的范畴，这里不再赘述。
本实施例所不同的是，对于JPEG图片进行熵解码、AC/DC系数解码、反DC预测和反量化，然后仅对需要叠加OSD信息的区域进行IDCT变化，在YUV平面进行OSD信息的叠加后再进行DCT变换为DCT系数。显然仅对需要叠加OSD信息的区域进行了IDCT和DCT变换，而非对整个JPEG图片都进行完全的JPEG解码和编码，降低了计算工作量。
需要说明的是，JPEG图片中每个像素块按照光栅顺序扫描编码，同时JPEG图片文件有严格的文件格式。JPEG图片文件头部包含图像的高度和宽度信息，在解码JPEG图片时，首先就要解码JPEG图片文件的头部，从而知道图像的高度和宽度信息，按照JPEG码流标准格式，就会依次寻找到每个像素块的码流位置（包含DC和AC位置）和长度。因此可以根据需要叠加OSD信息的区域的坐标直接对其中的像素块进行操作，以下不再赘述。
步骤S803、将叠加了OSD信息的DCT系数与非叠加区域的DCT系数进行DCT系数合成。
上一步骤完成了OSD信息的叠加，并进行DCT变换后形成叠加了OSD信息的叠加OSD信息区域的DCT系数，将该DCT系数与非叠加区域的DCT系数进行DCT系数的合成。其中非叠加区域是指JPEG图片上叠加OSD区域以外的区域。
按照JPEG图片的光栅扫描顺序，将叠加了OSD信息的区域的DCT系数与非叠加区域的DCT系数进行合成。可见在JPEG图片上叠加OSD信息，JPEG图片的光栅扫描顺序并没有发生改变，被抽取的DCT系数经过变换后重新被排列进原来的位置。
步骤S804、对合成的DCT系数进行量化、DC预测、AC/DC系数编码和熵编码，形成合成图片的位数据流。
可见，对需要叠加OSD信息的区域进行JPEG解码，得到YUV子图，在YUV子图上叠加OSD信息后，重新进行DCT变换；对非OSD叠加区域，只进行熵解码、AC/DC系数解码、反DC预测和反量化，然后和叠加OSD的区域进行DCT系数合成，最后对合成的DCT系数图片进行剩余的JPEG编码步骤：量化、DC预测、AC/DC系数编码熵编码。
本发明还提出了采用上述JPEG图片合成方法用来实现JPEG图片合成的装置，如图9所示，一种JPEG图片合成装置，包括：
DCT解码模块901，用于对待合成的JPEG图片的位数据流进行熵解码、AC/DC系数解码、反DC预测和反量化。
DCT系数合成模块902，用于根据JPEG光栅扫描顺序进行DCT系数合成。
编码模块903，用于对合成后的DCT系数重新进行量化、DC预测、AC/DC系数编码和熵编码，形成合成的JPEG位数据流。
进一步地，DCT解码模块901还包括熵解码单元、AC/DC系数解码单元、反DC预测单元和反量化单元，分别按照JPEG标准对输入的JPEG位数据流进行熵解码、AC/DC系数解码、反DC预测和反量化。编码模块903还包括量化单元、DC预测单元、AC/DC系数编码单元和熵编码单元，分别按照JPEG标准对输入的DCT系数图片进行量化、DC预测、AC/DC系数编码和熵编码。
对于OSD信息叠加，本实施例JPEG图片合成装置还包括OSD信息叠加模块904，用于抽取需要叠加OSD信息的区域的DCT系数进行IDCT变换到YUV平面，在YUV平面叠加OSD信息后再进行DCT变换。
具体地，OSD信息叠加模块904包括控制单元，IDCT变换单元，OSD叠加单元，DCT变换单元。控制单元抽取需要叠加OSD信息区域像素块的DCT系数，输入IDCT变换单元进行IDCT变换，随后在OSD叠加单元进行OSD信息叠加，最后通过DCT变换单元再次变换到DCT系数图片。
以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.一种JPEG图片合成方法，用于合成第一图片和第二图片，其特征在于，该方法包括步骤：
对第一图片和第二图片的JPEG位数据流进行熵解码、AC/DC系数解码、反DC预测和反量化，得到DCT系数；
根据图片拼接模式进行DCT系数合成，所述根据图片拼接模式进行DCT系数合成是指根据图片拼接模式按照JPEG光栅扫描顺序对所述第一图片和第二图片的DCT系数进行排列；
对合成后的DCT系数进行量化、DC预测、AC/DC系数编码和熵编码，形成合成图片的位数据流。
2.根据权利要求1所述的JPEG图片合成方法，其特征在于，所述JPEG图片合成方法还包括步骤：
保留第一图片或第二图片的头部作为合成图片的头部，并修改头部中的图像高度和宽度信息为合成图片的图像高度和宽度信息。
3.根据权利要求1所述的JPEG图片合成方法，其特征在于，所述拼接模式包括垂直拼接模式和水平拼接模式，对于垂直拼接模式，第二图片的DCT系数接在第一图片的最后一行之后；对于水平拼接模式，合成图片的DCT系数第一行的前半行是第一图片的第一行的DCT系数，合成图片的DCT系数第一行的后半行是第二图片的第一行的DCT系数，依次类推。
4.一种JPEG图片叠加OSD信息的方法，其特征在于，该方法包括步骤：
对待叠加OSD信息的JPEG图片位数据流进行熵解码、AC/DC系数解码、反DC预测和反量化，得到DCT系数；
抽取需要叠加OSD信息的区域的DCT系数进行IDCT变换到YUV平面，在YUV平面叠加OSD信息后再进行DCT变换；
将叠加了OSD信息的DCT系数与非叠加区域的DCT系数进行DCT系数合成，所述进行DCT系数合成是按照JPEG图片的光栅扫描顺序，将叠加了OSD信息的区域的DCT系数与非叠加区域的DCT系数进行合成；
对合成的DCT系数进行量化、DC预测、AC/DC系数编码和熵编码，形成合成图片的位数据流。
5.根据权利要求4所述的图片叠加OSD信息的方法，其特征在于，所述抽取需要叠加OSD信息的区域的DCT系数，是根据所述JPEG图片上需要叠加OSD信息的区域的坐标信息，从所述JPEG图片的DCT系数中抽取需要叠加OSD信息的区域的DCT系数。
6.一种JPEG图片合成装置，用于合成JPEG图片，其特征在于，所述合成装置包括：
DCT解码模块，用于对待合成JPEG图片的位数据流进行熵解码、AC/DC系数解码、反DC预测和反量化；
DCT系数合成模块，用于根据JPEG光栅扫描顺序进行DCT系数合成；
编码模块，用于对合成后的DCT重新进行量化、DC预测、AC/DC系数编码和熵编码，形成合成的JPEG位数据流。
7.根据权利要求6所述的JPEG图片合成装置，其特征在于，所述DCT系数解码模块还包括：熵解码单元、AC/DC系数解码单元、反DC预测单元和反量化单元；所述编码模块还包括：量化单元、DC预测单元、AC/DC系数编码单元和熵编码单元。
8.根据权利要求6所述的JPEG图片合成装置，其特征在于，所述装置还包括OSD信息叠加模块，用于抽取需要叠加OSD信息的区域的DCT系数进行IDCT变换到YUV平面，在YUV平面叠加OSD信息后再进行DCT变换。
9.根据权利要求8所述的JPEG图片合成装置，其特征在于，所述OSD信息叠加模块包括控制单元，IDCT变换单元，OSD叠加单元和DCT变换单元，所述控制单元抽取需要叠加OSD信息的区域像素块的DCT系数，输入IDCT变换单元进行IDCT变换，随后在OSD叠加单元进行OSD信息叠加，最后通过DCT变换单元再次变换到DCT系数图片。
CN201310399912.6A 2013-09-05 2013-09-05 一种jpeg图片合成、叠加osd信息方法及装置 Active CN103489170B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201310399912.6A CN103489170B (zh) 2013-09-05 2013-09-05 一种jpeg图片合成、叠加osd信息方法及装置
US14/914,319 US20160219307A1 (en) 2013-09-05 2014-09-04 Method for synthesizing jpeg images and method and apparatus for superimposing osd information onto jpeg image
EP14842007.8A EP3043313A4 (en) 2013-09-05 2014-09-04 COMPOSITE METHOD ASSOCIATED WITH JPEG IMAGES AND METHOD AND APPARATUS FOR OVERLAPING OSD INFORMATION
PCT/CN2014/085951 WO2015032339A1 (zh) 2013-09-05 2014-09-04 一种jpeg图片的合成方法及叠加osd信息的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310399912.6A CN103489170B (zh) 2013-09-05 2013-09-05 一种jpeg图片合成、叠加osd信息方法及装置

Publications (2)

Publication Number Publication Date
CN103489170A CN103489170A (zh) 2014-01-01
CN103489170B true CN103489170B (zh) 2017-01-11

Family

ID=49829369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310399912.6A Active CN103489170B (zh) 2013-09-05 2013-09-05 一种jpeg图片合成、叠加osd信息方法及装置

Country Status (4)

Country Link
US (1) US20160219307A1 (zh)
EP (1) EP3043313A4 (zh)
CN (1) CN103489170B (zh)
WO (1) WO2015032339A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489170B (zh) * 2013-09-05 2017-01-11 浙江宇视科技有限公司 一种jpeg图片合成、叠加osd信息方法及装置
CN104244000B (zh) * 2014-09-19 2018-01-16 浙江宇视科技有限公司 一种jpeg图片快速拼接方法及装置
CN104506873A (zh) * 2014-12-24 2015-04-08 南京金智视讯技术有限公司 基于压缩域的快速jpg图像合成方法
US20170332096A1 (en) * 2016-05-11 2017-11-16 Advanced Micro Devices, Inc. System and method for dynamically stitching video streams
CN107391052A (zh) * 2016-05-16 2017-11-24 山东新北洋信息技术股份有限公司 快递面单打印方法及装置
CN111510717B (zh) * 2019-01-31 2022-04-26 杭州海康威视数字技术股份有限公司 图像拼接方法和装置
CN112449185B (zh) * 2019-08-28 2022-01-25 腾讯科技（深圳）有限公司 视频解码方法、编码方法、装置、介质及电子设备
CN111968031B (zh) * 2020-07-14 2024-07-16 浙江大华技术股份有限公司 一种图像拼接方法、装置、存储介质及电子装置
CN113658085B (zh) * 2021-10-20 2022-02-01 北京优幕科技有限责任公司 图像处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101401431A (zh) * 2006-03-10 2009-04-01 株式会社东芝 信息传递设备、信息接收设备和计算机程序
CN101651821A (zh) * 2009-07-31 2010-02-17 中国科学技术大学 互动电视广告实现系统及方法
CN101707678A (zh) * 2009-12-11 2010-05-12 华亚微电子（上海）有限公司 Osd控制器
US8090216B2 (en) * 2008-04-16 2012-01-03 Aptina Imaging Corporation Image noise level estimation from JPEG data
CN102572435A (zh) * 2012-01-16 2012-07-11 中南民族大学 基于压缩采样的视频编解码系统及其方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151420A (en) * 1995-12-15 2000-11-21 Polaroid Corporation Minimizing blocking artifacts in a filtered image
JP2000023167A (ja) * 1998-07-07 2000-01-21 Sony Corp 映像復号化装置とその方法、受信装置および再生装置
WO2002101934A1 (en) * 2001-06-06 2002-12-19 Seiko Epson Corporation Decoding apparatus, decoding method, lookup table, and decoding program
JP3680846B2 (ja) * 2003-05-28 2005-08-10 セイコーエプソン株式会社 動画像の圧縮装置及びそれを用いた撮像装置
JP4527720B2 (ja) * 2004-02-23 2010-08-18 ティーオーエー株式会社 画像圧縮法、画像圧縮装置、画像伝送システム、データ圧縮前処理装置及びコンピュータプログラム
US8068693B2 (en) * 2007-07-18 2011-11-29 Samsung Electronics Co., Ltd. Method for constructing a composite image
US8509518B2 (en) * 2009-01-08 2013-08-13 Samsung Electronics Co., Ltd. Real-time image collage method and apparatus
CN103413287B (zh) * 2013-08-27 2016-09-14 浙江宇视科技有限公司 一种jpeg图片合成方法及装置
CN103489170B (zh) * 2013-09-05 2017-01-11 浙江宇视科技有限公司 一种jpeg图片合成、叠加osd信息方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101401431A (zh) * 2006-03-10 2009-04-01 株式会社东芝 信息传递设备、信息接收设备和计算机程序
US8090216B2 (en) * 2008-04-16 2012-01-03 Aptina Imaging Corporation Image noise level estimation from JPEG data
CN101651821A (zh) * 2009-07-31 2010-02-17 中国科学技术大学 互动电视广告实现系统及方法
CN101707678A (zh) * 2009-12-11 2010-05-12 华亚微电子（上海）有限公司 Osd控制器
CN102572435A (zh) * 2012-01-16 2012-07-11 中南民族大学 基于压缩采样的视频编解码系统及其方法

Also Published As

Publication number Publication date
US20160219307A1 (en) 2016-07-28
EP3043313A4 (en) 2016-11-30
CN103489170A (zh) 2014-01-01
WO2015032339A1 (zh) 2015-03-12
EP3043313A1 (en) 2016-07-13

Similar Documents

Publication Publication Date Title
CN103489170B (zh) 一种jpeg图片合成、叠加osd信息方法及装置
CN103413287B (zh) 一种jpeg图片合成方法及装置
US11394970B2 (en) Image encoding and decoding method and device
WO2016082699A1 (zh) 图像编码方法、解码方法、编码装置和解码装置
WO2015078304A1 (en) Method of video coding using prediction based on intra picture block copy
CN111800641A (zh) 同模式采用不同种类重构像素的图像编码解码方法和装置
CN104378644A (zh) 定宽度变长度像素样值串匹配增强的图像压缩方法和装置
CN110675403B (zh) 一种基于编码辅助信息的多实例图像分割方法
CN111107367B (zh) 块分割方法和装置
US20220124376A1 (en) Joint termination of bidirectional data blocks for parallel coding
CN105122809A (zh) 帧内编码的预测值派生的方法和装置
Liang et al. Detection of double compression for HEVC videos with fake bitrate
CN103763556B (zh) 视频图像编解码装置及其方法、传输系统及其方法
CN111510731B (zh) 交通图像的拼接系统及方法
US8582876B2 (en) Hybrid codec for compound image compression
CN105850132A (zh) 颜色指数预测的方法和装置
CN117056863B (zh) 一种基于多模态数据融合的大数据处理方法
CN113784124A (zh) 使用多种形状子块进行精细划分的块匹配编码和解码方法
CN101291436B (zh) 视频编/解码方法和视频编/解码装置
CN109996083B (zh) 帧内预测方法及装置
CN106031168A (zh) 具有减少色彩分辨率的视频流的自适应处理
CN102497552A (zh) 一种包含构造图像的视频位流的解码缓冲区管理控制方法
CN117975418A (zh) 一种基于改进rt-detr的交通标识检测方法
CN111968031B (zh) 一种图像拼接方法、装置、存储介质及电子装置
CN103069798B (zh) 用于在实施变换域估计过程中对至少一个图像进行编码和解码的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant