CN117560497A - 图像处理方法及图像处理装置 - Google Patents

图像处理方法及图像处理装置 Download PDF

Info

Publication number
CN117560497A
CN117560497A CN202211159990.4A CN202211159990A CN117560497A CN 117560497 A CN117560497 A CN 117560497A CN 202211159990 A CN202211159990 A CN 202211159990A CN 117560497 A CN117560497 A CN 117560497A
Authority
CN
China
Prior art keywords
frame
encoded
luminance
color
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211159990.4A
Other languages
English (en)
Inventor
吴柏贤
曾逸晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Realtek Semiconductor Corp
Original Assignee
Realtek Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realtek Semiconductor Corp filed Critical Realtek Semiconductor Corp
Publication of CN117560497A publication Critical patent/CN117560497A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/646—Transmitting or storing colour television type signals, e.g. PAL, Lab; Their conversion into additive or subtractive colour signals or vice versa therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

一种图像处理方法，包括接收图像帧，从图像帧分别获取亮度信息及颜色信息，对亮度信息进行编码以产生编码后的亮度帧，对颜色信息进行编码以产生编码后的颜色帧，将编码后的亮度帧写入至存储器的第一存储器部分，及将编码后的颜色帧写入至存储器的第二存储器部分。图像处理方法还包括读取第一存储器部分中的编码后的亮度帧，并对其进行解码以产生解码后的亮度信息，及读取第二存储器部分中的编码后的颜色帧，并对其进行解码以产生解码后的颜色信息。

Description

图像处理方法及图像处理装置
技术领域
本发明关于图像处理，特别是增强图像处理效能的图像处理方法及图像处理装置。
背景技术
显示设备为一种显示图像数据的装置。图像数据可以多种格式存储。YUV格式为一种常用的格式，其中每个像素以亮度分量(luma component)及颜色分量(chromacomponent)表示。当以YUV格式中的NV12格式传送图像时，会先传送所有像素的亮度分量，再传送所有像素的颜色分量。在符合运动联合图像专家小组(motion joint photographicexperts group，MJPEG)标准及动态图像专家小组(moving picture experts group，MPEG)标准的相关技术中，所有像素的亮度分量及颜色分量都会被编码成同一压缩文件。由于图像解码器的存储器有限，导致在需要传送所有像素的亮度分量时，图像解码器需对压缩文件进行一次解码以产生所有像素的亮度分量，而在需要传送所有像素的颜色分量时，图像解码器则需对压缩文件进行另一次解码才能产生所有像素的颜色分量。若原本图像解码器每秒可产生的帧数目为60，由于需要2次解码，因此图像解码器每秒可产生的帧数目会减半变成30，大幅降低效能。
此外，由于必须等所有像素的颜色分量解码完成才能释放存储器，因此存储器的空间大小必须至少可以存储2张图像的压缩文件，一半的存储器空间用于暂存正在解码的压缩文件，另一半的存储器空间用于暂存新写入的压缩文件，大幅增加所需存储器空间。
发明内容
本发明实施例提供一种图像处理方法，包括接收图像帧，从图像帧分别获取亮度信息及颜色信息，对亮度信息进行编码以产生编码后的亮度帧，对颜色信息进行编码以产生编码后的颜色帧，将编码后的亮度帧写入至存储器的第一存储器部分，将编码后的颜色帧写入至存储器的第二存储器部分，读取第一存储器部分中的编码后的亮度帧，并对其进行解码以产生解码后的亮度信息，及读取第二存储器部分中的编码后的颜色帧，并对其进行解码以产生解码后的颜色信息。
本发明实施例还提供一种图像处理方法，包括接收图像帧，从图像帧仅获取亮度信息，对亮度信息进行编码以产生编码后的亮度帧，将编码后的亮度帧写入至存储器，及读取存储器中的编码后的亮度帧，并对其进行解码以产生解码后的亮度信息。
本发明实施例还提供一种图像处理装置，包括接收图像帧，从图像帧仅获取颜色信息，对颜色信息进行编码以产生编码后的颜色帧，将编码后的颜色帧写入至存储器，及读取存储器中的编码后的颜色帧，并对其进行解码以产生解码后的颜色信息。
附图说明
图1为本发明实施例中的一种图像处理装置的方块图。
图2为图1中的图像处理装置适用的一种图像处理方法的流程图。
图3A为图1中的图像处理装置传送YUV帧的示意图。
图3B为图1中的图像处理装置进行亮度处理的示意图。
图3C为图1中的图像处理装置进行色彩处理的示意图。
图4为本发明实施例中的另一种图像处理装置的方块图。
图5A及图5B为图4中的图像处理装置适用的一种图像处理方法的流程图。
具体实施方式
图1为本发明实施例中的一种图像处理装置1的方块图。图像处理装置1可转换输入图像帧IMGi的帧率以产生并传送多种格式的输出图像帧IMGo至显示设备或处理器。显示设备可为电视、计算机屏幕、平板计算机、智能型手机或其他显示设备。处理器可为图形处理器、中央处理器或其他种类的处理器。图像处理装置1可支持通用串行总线视频类(universal serial bus video class，UVC)标准以传送输出图像帧IMGo。输入图像帧IMGi及输出图像帧IMGo可为静态图像或视频图像，及可为包括亮度(luminance)信息及颜色(chrominance)信息的YUV图像帧，例如YUV420图像帧。输入图像帧IMGi及输出图像帧IMGo的格式、帧率(frame rate)及分辨率可相同或不同。例如，输入图像帧IMGi的格式可为NV12，帧率可为30帧/秒，分辨率可为4K超高画质(ultra-high-definition，UHD)；输出图像帧IMGo的格式可为NV12，帧率可为60帧/秒，分辨率可为4K UHD。
当输出图像帧IMGo以平面(planar)格式，例如NV12格式传送时，图像处理装置1需先将输出图像帧IMGo中的亮度信息全传送完才能再传送输出图像帧IMGo中的颜色信息。在实施例中，图像处理装置1可分开对输入图像帧IMGi中的亮度信息及颜色信息进行编码，当需要传送输出图像帧IMGo中的亮度信息时，仅对编码后的亮度信息进行解码并传送，且当需要传送输出图像帧IMGo中的颜色信息时，仅对编码后的颜色信息进行解码并传送，由此减少解码次数，降低所需运算能力，及增强图像处理效能。
图像处理装置1可包括图像编码器10、存储器12及图像解码器14。存储器12耦接于图像编码器10，且图像解码器14耦接于存储器12。图像编码器10及图像解码器14可支持运动联合图像专家小组(motion joint photographic experts group，MJPEG)标准、动态图像专家小组(moving picture experts group，MPEG)标准、或其他图像压缩标准。
图像编码器10可从视频源接收输入图像帧IMGi，视频源可为电视调谐器(TVtuner)卡、相机、录像机、图像存储媒体或其他数字图像源。输入图像帧IMGi可包括多个亮度信息及多个颜色信息，亮度信息可为输入图像帧IMGi中每个像素的亮度分量(lumacomponent)，颜色信息可为输入图像帧IMGi中每个像素的颜色分量(chroma component)。图像编码器10可从输入图像帧IMGi分别获取该多个亮度信息及该多个颜色信息，对该多个亮度信息进行编码以产生编码后的亮度帧，对该多个颜色信息进行编码以产生编码后的颜色帧，及将编码后的亮度帧及编码后的颜色帧分开存储于存储器12。在一些实施例中，该多个亮度信息可为输入图像帧IMGi中的全部亮度信息，且该多个颜色信息可为输入图像帧IMGi中的全部颜色信息。
存储器12可包括第一存储器部分及第二存储器部分，第一存储器部分可存储编码后的亮度帧，第二存储器部分可存储编码后的颜色帧。存储器12可为帧缓冲器，具有足够同时存储编码后的亮度帧及编码后的颜色帧的空间。第二存储器部分的空间可小于第一存储器部分的空间。
当以NV12格式传送输出图像帧IMGo时，图像解码器14可从存储器12的第一存储器部分读取编码后的亮度帧，对编码后的亮度帧进行解码以产生多个解码后的亮度信息，及通过UVC驱动器传送该多个解码后的亮度信息至显示设备。于传送完该多个解码后的亮度信息之后，图像解码器14可从存储器12的第二存储器部分读取编码后的颜色帧，对编码后的颜色帧进行解码以产生多个解码后的颜色信息，及通过UVC驱动器传送该多个解码后的颜色信息至显示设备。该多个解码后的亮度信息及该多个解码后的颜色信息可形成输出图像帧IMGo。在一些实施例中，当图像解码器14在对编码后的亮度帧进行解码时，存储器12的第一存储器部分可被释放，因此图像编码器10可将下一个编码后的亮度帧写入存储器12的第一存储器部分。当图像解码器14在对编码后的颜色帧进行解码时，存储器12的第二存储器部分可被释放，因此图像编码器10可将下一个编码后的颜色帧写入存储器12的第二存储器部分。
输入图像帧IMGi中的亮度信息及输出图像帧IMGo中的解码后的亮度信息可具有相同或不同的帧率。输入图像帧IMGi中的颜色信息及输出图像帧IMGo中的解码后的颜色信息可具有相同或不同的帧率。输入图像帧IMGi中的亮度信息及颜色信息可具有相同的帧率，输出图像帧IMGo中的解码后的亮度信息及解码后的颜色信息可具有相同的帧率。例如，输入图像帧IMGi中的亮度信息的帧率及输入图像帧IMGi中的颜色信息的帧率可为30帧/秒，输出图像帧IMGo中的亮度信息的帧率及输出图像帧IMGo中的颜色信息的帧率可为60帧/秒。
输入图像帧IMGi中的亮度信息及输出图像帧IMGo中的解码后的亮度信息可具有相同或不同的分辨率。输入图像帧IMGi中的颜色信息及输出图像帧IMGo中的解码后的颜色信息可具有相同或不同的分辨率。输入图像帧IMGi中的亮度信息及颜色信息可具有不同的分辨率，输出图像帧IMGo中的解码后的亮度信息及解码后的颜色信息可具有不同的分辨率。例如，输入图像帧IMGi中的亮度信息的分辨率可为4K UHD，及输入图像帧IMGi中的颜色信息的分辨率可为1080p高清(high definition HD)，输出图像帧IMGo中的亮度信息的分辨率可为4K UHD，及输出图像帧IMGo中的颜色信息的帧率可为1080p HD。
在一些实施例中，图像处理装置1可实现显示设备的亮度处理功能，例如锐利度处理或区域调光(local dimming)。在进行锐利度处理时，处理器可加强输出图像帧IMGo中所有亮度数据的明暗对比。在进行区域调光(local dimming)时，显示设备可依照不同区域分别驱动显示设备的背光模块，由此加强显示设备的明暗对比及达成超高画质。在亮度处理应用中，图像处理装置1仅需传送亮度信息而无须传送颜色信息至显示设备。图像编码器10可从输入图像帧IMGi仅获取多个亮度信息，对该多个亮度信息进行编码以产生编码后的亮度帧，及将编码后的亮度帧存储于存储器12。和传送NV12图像帧的应用相比，由于存储器12仅需存储编码后的亮度帧，因此存储器12的所需存储器空间可等于编码后的亮度帧的大小，进一步节省存储器空间，缩短解码时间，降低所需运算能力，及增强图像处理效能。当需要传送亮度信息时，图像解码器14可从存储器12读取编码后的亮度帧，对编码后的亮度帧进行解码以产生多个解码后的亮度信息，及传送该多个解码后的亮度信息至显示设备以提供亮度处理功能。
在另一些实施例中，图像处理装置1可实现显示设备的色彩处理功能，例如彩度校正处理或饱和度校正处理。在色彩处理的应用中，图像处理装置1仅需传送颜色信息而无须传送亮度信息至显示设备。图像编码器10可从输入图像帧IMGi仅获取该多个颜色信息，对该多个颜色信息进行编码以产生编码后的颜色帧，及将编码后的颜色帧存储于存储器12。和传送NV12图像帧的应用相比，由于存储器12仅需存储编码后的颜色帧，因此存储器12的所需存储器空间可等于编码后的颜色帧的大小，进一步节省存储器空间，缩短解码时间，降低所需运算能力，及增强图像处理效能。当需要传送颜色信息时，图像解码器14可从存储器12读取编码后的颜色帧，对编码后的颜色帧进行解码以产生多个解码后的颜色信息，及传送该多个解码后的颜色信息至显示设备以提供色彩处理功能。
虽然图1的说明是以依照UVC标准传送NV12图像帧为例，但是图像处理装置1亦可采用其他通信标准传送其他格式的图像帧，例如YUY2图像帧或RGB444图像帧。此外，虽然前面段落仅说明单一输入图像帧IMGi的处理方式，本领域技术人员可依照本案精神依序对多个输入图像帧IMGi的亮度信息及颜色信息进行分开处理，及以先全部亮度信息后全部颜色信息的传送顺序依序传送每个输出图像帧IMGo。
图2为图像处理装置1适用的一种图像处理方法200的流程图。图像处理方法200包括步骤S202至S216，其中步骤S202至S208用以处理及传送亮度信息，且步骤S210至S216用以处理及传送颜色信息。任何合理的步骤改变、顺序或调整都落在本公开内容的范围内。步骤S202至S216说明如下：
步骤S202:图像编码器10接收输入图像帧IMGi，及从输入图像帧IMGi仅获取亮度信息；
步骤S204:图像编码器10对亮度信息进行编码以产生编码后的亮度帧；
步骤S206:图像编码器10将编码后的亮度帧写入至存储器12的第一存储器部分；
步骤S208:图像解码器14读取第一存储器部分中的编码后的亮度帧，并对编码后的亮度帧进行解码以产生及传送解码后的亮度信息；
步骤S210:图像编码器10从输入图像帧IMGi仅获取颜色信息；
步骤S212:图像编码器10对颜色信息进行编码以产生编码后的颜色帧；
步骤S214:图像编码器10将编码后的颜色帧写入至存储器12的第二存储器部分；
步骤S216:图像解码器14读取第二存储器部分中的编码后的颜色帧，并对编码后的颜色帧进行解码以产生及传送解码后的颜色信息。
步骤S202至S216可适用于传送YUV帧，例如NV12格式的YUV帧，步骤S210至S214亦可提前至步骤S208之前执行，步骤S208完成后才会执行步骤S216。图3A为图像处理装置1用于传送YUV帧的示意图，以下搭配图3A说明步骤S202至S216。
在传送YUV帧的亮度信息时，图像编码器10先从输入图像帧IMGi仅获取亮度信息(步骤S202)，及依据预定编码区块大小对亮度信息进行编码以产生编码后的亮度信息Y121至Y12N，编码后的亮度信息Y121至Y12N可形成编码后的亮度帧，编码后的亮度信息Y121至Y12N的大小可相同或不同，N可为大于1的正整数，预定编码区块大小可为16x16(步骤S204)。接着，图像编码器10将编码后的亮度信息Y121至Y12N写入至存储器12的第一存储器部分121(步骤S206)，图像解码器14读取并解码第一存储器部分121中的编码后的亮度信息Y121至Y12N，及通过UVC驱动器传送这些解码后的亮度信息至显示设备(步骤S208)。
在传送YUV帧的颜色信息时，图像编码器10先从输入图像帧IMGi仅获取颜色信息(步骤S210)，及依据预定编码区块大小对颜色信息进行编码以产生编码后的颜色信息C121至C12N，编码后的颜色信息C121至C12N可形成编码后的颜色帧，编码后的颜色信息C121至C12N的大小可相同或不同，预定编码区块大小可为8x8(步骤S212)。接着，图像编码器10将编码后的颜色信息C121至C12N写入至存储器12的第二存储器部分122(步骤S214)，图像解码器14读取并解码第二存储器部分122中的编码后的颜色信息C121至C12N，及通过UVC驱动器传送这些解码后的颜色信息至显示设备(步骤S216)。
在亮度处理的应用中，图像处理装置1可只执行步骤S202至S208而不执行步骤S210至S216，并且在步骤S206将编码后的亮度帧写入存储器12。图3B为图像处理装置1进行亮度处理的示意图，以下搭配图3B说明图像处理装置1进行亮度处理的步骤S202至S208。
图像编码器10先从输入图像帧IMGi仅获取亮度信息(步骤S202)，及依据预定编码区块大小对亮度信息进行编码以产生编码后的亮度信息Y121至Y12N，编码后的亮度信息Y121至Y12N可形成编码后的亮度帧，编码后的亮度信息Y121至Y12N的大小可相同或不同，N可为大于1的正整数，预定编码区块大小可为16x16(步骤S204)。接着，图像编码器10将编码后的亮度信息Y121至Y12N写入至存储器12(步骤S206)，图像解码器14读取并解码存储器12中的编码后的亮度信息Y121至Y12N，及传送这些解码后的亮度信息至处理器或显示设备(步骤S208)。处理器或显示设备再依据这些解码后的亮度信息进行亮度处理，例如锐利度处理或区域调光等亮度处理。在进行亮度处理的应用中，图像处理装置1无须处理及存储输入图像帧IMGi中的颜色信息，由此节省存储器空间，缩短解码时间，降低所需运算能力，及增强图像处理效能。
在色彩处理的应用中，图像处理装置1可只执行步骤S210至S216而不执行步骤S202至S208，并且在步骤S214将编码后的颜色帧写入存储器12。图3C为图像处理装置1进行色彩处理的示意图，以下搭配图3C说明图像处理装置1进行色彩处理的步骤S210至S216。
图像编码器10先从输入图像帧IMGi仅获取颜色信息(步骤S210)，及依据预定编码区块大小对颜色信息进行编码以产生编码后的颜色信息C121至C12N，编码后的颜色信息C121至C12N可形成编码后的颜色帧，编码后的颜色信息C121至C12N的大小可相同或不同，N可为大于1的正整数，预定编码区块大小可为8x8(步骤S212)。接着，图像编码器10将编码后的颜色信息C121至C12N写入至存储器12(步骤S214)，图像解码器14读取并解码存储器12中的编码后的颜色信息C121至C12N，及传送这些解码后的颜色信息至处理器或显示设备(步骤S216)。处理器或显示设备再依据这些解码后的颜色信息进行色彩处理，例如彩度校正处理或饱和度校正处理等色彩处理。在进行色彩处理的应用中，图像处理装置1无须处理及存储输入图像帧IMGi中的亮度信息，由此节省存储器空间，缩短解码时间，降低所需运算能力，及增强图像处理效能。
图1、图2、及图3A至图3C的实施例用以分开对输入图像帧IMGi中的亮度信息及颜色信息进行编码，当需要传送图像帧中的亮度信息时，仅对编码后的亮度信息进行解码并传送，且当需要传送图像帧中的颜色信息时，仅对编码后的颜色信息进行解码并传送，由此减少解码次数，降低所需运算能力，及增强图像处理效能。
图4为本发明实施例中的另一种图像处理装置4的方块图。图像处理装置4与图像处理装置1相似，主要差异在于存储器42的空间管理及存取方式。以下针对图像处理装置4和图像处理装置1的差异进行说明。
存储器42可包括第一存储器部分421、第二存储器部分422及第三存储器部分423。第一存储器部分421可存储编码后的亮度帧，第二存储器部分422及第三存储器部分423可轮流存储编码后的颜色帧。由于YUV420图像帧的颜色信息的数据量是亮度信息的数据量的1/2，且颜色信息的压缩率可大于亮度信息的压缩率，因此第一存储器部分421的存储器大小可超出第二存储器部分422的存储器大小，且第一存储器部分421的存储器大小可超出第三存储器部分423的存储器大小。第二存储器部分422的存储器大小可等于第三存储器部分423的存储器大小。在一些实施例中，第二存储器部分422的存储器大小及第三存储器部分423的存储器大小皆可为第一存储器部分421的存储器大小的1/8，进一步节省存储器42的存储器空间。
在编码后，图像编码器10可重复存储多个输入图像帧IMGi的编码后的亮度帧至第一存储器部分421，及轮流存储该多个输入图像帧IMGi的编码后的颜色帧至第二存储器部分422及第三存储器部分423。相应地，当解码时，图像解码器14可重复从第一存储器部分421读取多个输入图像帧IMGi的编码后的亮度帧，及轮流从第二存储器部分422及第三存储器部分423读取多个输入图像帧IMGi的编码后的颜色帧。
图5A及图5B为图像处理装置4适用的一种图像处理方法500的流程图。图像处理方法500包括步骤S502至S526，其中步骤S502至S516用以分开处理及传送第一输出图像帧IMGo的第一解码后的亮度信息及第一解码后的颜色信息，步骤S518至S526用以分开处理及传送第二输出图像帧IMGo的第二解码后的亮度信息及第二解码后的颜色信息。任何合理的步骤改变、顺序或调整都落在本公开内容的范围内。步骤S502至S526说明如下：
步骤S502:图像编码器10接收第一输入图像帧IMGi，及从第一输入图像帧IMGi分别获取第一亮度信息及第一颜色信息；
步骤S504:图像编码器10对第一亮度信息进行编码以产生第一编码后的亮度帧，及对第一颜色信息进行编码以产生第一编码后的颜色帧；
步骤S506:图像编码器10将第一编码后的亮度帧写入至第一存储器部分421，及将第一编码后的颜色帧写入至第二存储器部分422；
步骤S508:图像解码器14从第一存储器部分421读取第一编码后的亮度帧以对第一编码后的亮度帧进行解码；
步骤S510:当图像解码器14对第一编码后的亮度帧进行解码时，图像编码器10接收第二输入图像帧IMGi，及从第二输入图像帧IMGi分别获取第二亮度信息及第二颜色信息；
步骤S512:图像编码器10对第二亮度信息进行编码以产生第二编码后的亮度帧，及对第二颜色信息进行编码以产生第二编码后的颜色帧；
步骤S514:图像编码器10将第二编码后的亮度帧写入至第一存储器部分421，及将第二编码后的颜色帧写入至第三存储器部分423；
步骤S516:完成第一编码后的亮度帧的解码后，图像解码器14从第二存储器部分422读取第一编码后的颜色帧以对第一编码后的颜色帧进行解码；
步骤S518:图像解码器14从第一存储器部分421读取第二编码后的亮度帧以对第二编码后的亮度帧进行解码；
步骤S520:当图像解码器14对第二编码后的亮度帧进行解码时，图像编码器10接收第三输入图像帧IMGi，及从第三输入图像帧IMGi分别获取第三亮度信息及第三颜色信息；
步骤S522:图像编码器10对第三亮度信息进行编码以产生第三编码后的亮度帧，及对第三颜色信息进行编码以产生第三编码后的颜色帧；
步骤S524:图像编码器10将第三编码后的亮度帧写入至第一存储器部分421，及将第三编码后的颜色帧写入至第二存储器部分422；
步骤S526:完成第二编码后的亮度帧的解码后，图像解码器14从第三存储器部分423读取第二编码后的颜色帧以对第二编码后的颜色帧进行解码。
以下搭配图像处理装置4说明图像处理方法500。在步骤S506，由于第一存储器部分421、第二存储器部分422及第三存储器部分423皆未存储数据，图像编码器10将第一编码后的亮度帧写入至第一存储器部分421，及将第一编码后的颜色帧写入至第二存储器部分422。在步骤S508，图像解码器14从第一存储器部分421读取第一编码后的亮度帧，并对第一编码后的亮度帧进行解码以产生及传送第一解码后的亮度信息。由于第一编码后的亮度帧已被读取但第一编码后的颜色帧尚未被读取，因此第一存储器部分421的空间可被释放，且第二存储器部分422的空间仍由第一编码后的颜色帧占用。因此，在步骤S510至S514，当图像解码器14对该第一编码后的亮度帧进行解码时，图像编码器10继续接收第二输入图像帧IMGi，对第二输入图像帧IMGi的第二亮度信息及第二颜色信息分开编码以产生第二编码后的亮度帧及第二编码后的颜色帧，及将第二编码后的亮度帧写入第一存储器部分421且将第二编码后的颜色帧写入至第三存储器部分423。当执行步骤S508时，步骤S510至S514会依序进行。在步骤S516，第一编码后的亮度帧的解码已完成，因此图像解码器14从第二存储器部分422读取第一编码后的颜色帧，并对第一编码后的颜色帧进行解码以产生及传送第二解码后的颜色信息，由此完成第一输出图像帧IMGo的传送。由于第一编码后的颜色帧已被读取但第二编码后的亮度帧及第二编码后的颜色帧尚未被读取，因此第二存储器部分422的空间可被释放，第一存储器部分421的空间仍由第二编码后的亮度帧占用，及第三存储器部分423的空间仍由第二编码后的颜色帧占用。
在步骤S518，图像解码器14从第一存储器部分421读取第二编码后的亮度帧，并对第二编码后的亮度帧进行解码以产生及传送第二解码后的亮度信息。由于第二编码后的亮度帧已被读取但第二编码后的颜色帧尚未被读取，因此第一存储器部分421的空间可被释放，且第三存储器部分423的空间仍由第二编码后的颜色帧占用。因此，在步骤S520至S524，当图像解码器14对该第二编码后的亮度帧进行解码时，图像编码器10继续接收第三输入图像帧IMGi，对第三输入图像帧IMGi的第三亮度信息及第三颜色信息分开编码以产生第三编码后的亮度帧及第三编码后的颜色帧，及将第三编码后的亮度帧写入第一存储器部分421且将第三编码后的颜色帧写入至第二存储器部分422。当执行步骤S518时，步骤S520至S524会依序进行。在步骤S526，第二编码后的亮度帧的解码已完成，因此图像解码器14从第三存储器部分423读取第二编码后的颜色帧，并对第二编码后的颜色帧进行解码以产生及传送第二解码后的颜色信息，由此完成第二输出图像帧IMGo的传送。由于第二编码后的颜色帧已被读取但第三编码后的亮度帧及第三编码后的颜色帧尚未被读取，因此第三存储器部分423的空间可被释放，第一存储器部分421的空间仍由第三编码后的亮度帧占用，及第二存储器部分422的空间仍由第三编码后的颜色帧占用。
当处理多个输入图像帧IMGi时，步骤S508至S516及步骤S518至S526可交替执行，由此重复使用第一存储器部分421来存储该多个输入图像帧IMGi的编码后的亮度帧，及轮流使用第二存储器部分422及第三存储器部分423来存储该多个输入图像帧IMGi的编码后的颜色帧，由此节省存储器42的存储器空间。
图4及图5A、图5B的实施例用以分开对输入图像帧IMGi中的亮度信息及颜色信息进行编码，重复使用第一存储器部分421来存储多个输入图像帧IMGi的编码后的亮度帧，及轮流使用第二存储器部分422及第三存储器部分423来存储该多个输入图像帧IMGi的编码后的颜色帧，由此节省存储器空间，减少解码次数，降低所需运算能力，及增强图像处理效能。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
附图标记说明：
1,4:图像处理装置
10:图像编码器
12,42:存储器
14:图像解码器
200,500:图像处理方法
S202至S216,S502至S526:步骤
121,421:第一存储器部分
122,422:第二存储器部分
423:第三存储器部分
C121至C12N:编码后的颜色信息
IMGi:输入图像帧
IMGo:输出图像帧
Y121至Y12N:编码后的亮度信息

Claims (6)

1.一种图像处理方法，包括：
接收图像帧；
从该图像帧分别获取亮度信息及颜色信息；
对该亮度信息进行编码以产生编码后的亮度帧；
对该颜色信息进行编码以产生编码后的颜色帧；
将该编码后的亮度帧写入至存储器的第一存储器部分；
将该编码后的颜色帧写入至该存储器的第二存储器部分；
读取该第一存储器部分中的该编码后的亮度帧，并对其进行解码以产生解码后的亮度信息；及
读取该第二存储器部分中的该编码后的颜色帧，并对其进行解码以产生解码后的颜色信息。
2.一种图像处理方法，包括：
接收图像帧；
从该图像帧仅获取亮度信息；
对该亮度信息进行编码以产生编码后的亮度帧；
将该编码后的亮度帧写入至存储器；及
读取该存储器中的该编码后的亮度帧，并对其进行解码以产生解码后的亮度信息。
3.如权利要求1或2所述的方法，其中该图像帧中的该亮度信息及该解码后的亮度信息具有不同的帧率。
4.一种图像处理方法，包括：
接收图像帧；
从该图像帧仅获取颜色信息；
对该颜色信息进行编码以产生编码后的颜色帧；
将该编码后的颜色帧写入至存储器；及
读取该存储器中的该编码后的颜色帧，并对其进行解码以产生解码后的颜色信息。
5.如权利要求1或4所述的方法，其中该图像帧中的该颜色信息及该解码后的颜色信息具有不同的帧率。
6.如权利要求1或4所述的方法，其中该图像帧中的该颜色信息及该解码后的颜色信息具有不同的分辨率。
CN202211159990.4A 2022-08-05 2022-09-22 图像处理方法及图像处理装置 Pending CN117560497A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW111129510A TWI835238B (zh) 2022-08-05 2022-08-05 影像處理方法及影像處理裝置
TW111129510 2022-08-05

Publications (1)

Publication Number Publication Date
CN117560497A true CN117560497A (zh) 2024-02-13

Family

ID=89768853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211159990.4A Pending CN117560497A (zh) 2022-08-05 2022-09-22 图像处理方法及图像处理装置

Country Status (3)

Country Link
US (1) US20240048734A1 (zh)
CN (1) CN117560497A (zh)
TW (1) TWI835238B (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10939742B2 (en) * 2017-07-13 2021-03-09 Shiseido Company, Limited Systems and methods for virtual facial makeup removal and simulation, fast facial detection and landmark tracking, reduction in input video lag and shaking, and a method for recommending makeup
WO2020228566A1 (en) * 2019-05-10 2020-11-19 Mediatek Inc. Method and apparatus of chroma direct mode generation for video coding

Also Published As

Publication number Publication date
TW202408219A (zh) 2024-02-16
TWI835238B (zh) 2024-03-11
US20240048734A1 (en) 2024-02-08

Similar Documents

Publication Publication Date Title
CN101350929B (zh) 表示图像帧的非帧边缘区块时的增强的压缩方法
US8558909B2 (en) Method and apparatus for generating compressed file, camera module associated therewith, and terminal including the same
TW201725905A (zh) 用於非４：４：４色度子採樣之顯示串流壓縮（ｄｓｃ）之熵寫碼技術
US11949853B2 (en) Data decoding method and apparatus, and data coding method and apparatus
CN112929590B (zh) 开机动画播放系统、压缩方法、装置及解压方法、装置
WO2016184532A1 (en) Methods, receiving device and sending device for managing a picture
EP1389873A2 (en) Image processing apparatus, image processing method, recording medium and program
CN112136330B (zh) 视频解码器芯片组
JP2010098352A (ja) 画像情報符号化装置
CN105472442A (zh) 一种用于超高清帧率上变换的片外缓存压缩系统
US20090022229A1 (en) Efficient image transmission between TV chipset and display device
US8311123B2 (en) TV signal processing circuit
TWI835238B (zh) 影像處理方法及影像處理裝置
TWI835236B (zh) 影像處理方法及影像處理裝置
US20060061822A1 (en) Method and device for temporarily storing image data
CN114727116A (zh) 编码方法及装置
US7787700B2 (en) Signal processing method, signal processing apparatus, computer-readable medium and a data recording medium
CN112261441A (zh) 一种视频数据的处理方法、系统、设备及存储介质
JPH09275563A (ja) Ｏｓｄ機能を有する圧縮画像データの復号装置、及びこれに用いるｏｓｄデータの圧縮方法
US20110249719A1 (en) Video compression
CN115623217B (zh) 一种图像预处理方法、装置及系统
JP2003179826A (ja) 画像再生表示装置
CN100481954C (zh) 一种运动补偿系统和方法
US20110286663A1 (en) Method And Apparatus Of Color Image Rotation For Display And Recording Using JPEG
CN118214872A (zh) 一种超高清无损图像编解码方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination