CN111343456A - 视频编码设备及其操作方法以及配备有视频编码设备的车辆 - Google Patents

视频编码设备及其操作方法以及配备有视频编码设备的车辆 Download PDF

Info

Publication number
CN111343456A
CN111343456A CN201911158718.2A CN201911158718A CN111343456A CN 111343456 A CN111343456 A CN 111343456A CN 201911158718 A CN201911158718 A CN 201911158718A CN 111343456 A CN111343456 A CN 111343456A
Authority
CN
China
Prior art keywords
unit
memory
reference image
compressed data
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911158718.2A
Other languages
English (en)
Inventor
细川磨生
加谷俊之
柴山哲也
望月诚二
宇根智浩
秋江一志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Publication of CN111343456A publication Critical patent/CN111343456A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频编码设备包括：局部解码生成单元，用于基于分割图像的编码结果来生成参考图像；压缩单元，用于压缩参考图像以生成压缩数据；参考图像存储确定单元，用于确定是否将压缩数据存储在存储器中；以及帧间预测单元，基于存储在存储器中的参考图像来执行运动矢量搜索以进行帧间编码。参考图像存储确定单元针对运动图像数据的每个确定的区域来设置用于存储参考图像的可允许数据量，并且基于可允许数据量来确定是否将通过压缩参考图像而获得的压缩数据存储在存储器中。帧间预测单元将与存储器中存储的压缩数据相对应的参考图像设置为运动矢量搜索的搜索范围。

Description

视频编码设备及其操作方法以及配备有视频编码设备的车辆
相关申请的交叉引用
包括说明书、附图和摘要在内的于2018年12月18日提交的日本专利申请号2018-236818的公开的全部内容通过引用并入本文。
技术领域
本发明涉及一种配备有视频编码设备的车辆和视频编码设备的操作方法、以及配备有视频编码设备的车辆，例如，本发明涉及一种适用于压缩图像数据的视频编码设备及其操作方法、以及配备有视频编码设备的车辆。
背景技术
图像具有大量信息，而该图像在同一帧中彼此靠近的像素之间或在位于该帧中的同一坐标的相邻帧之间具有很强的相关性，因此通过使用该相关性来压缩代码量。例如，作为典型国际标准，对用于压缩以及编码和解码诸如MPEG-2(ITU-T Rec.H.262|ISO/IEC13818-2)和MPEG-4(ISO/IEC 14496-2)，H.264(ITU-T Rec.H.264|ISO/IEC 14496-10)和H.265(ISO/IEC23008-2HEVC)的运动图片的方法进行标准化。在这些编码方案中，采用预测编码以减少代码量；并且当编码时，对由某种方法预测的图像(预测图像)与输入图像之间的差异进行编码。反之，在解码时，通过将该差异添加到预测图像来获得解码图片。
对每个视频画面(帧或场)执行上述编码处理，并且通过细分画面所获得的块是处理单位。
预测图像生成方法大致分为两种类型。一种是使用单个帧在同一画面上执行预测的方法(内预测、帧内预测或画面内预测)。另一种是通过使用与要编码的帧不同的帧来执行预测的技术(间预测、帧间预测或图片间预测)。
在帧间编码(帧间预测编码)中，视频编码设备对输入的编码目标帧的原始图像与帧间预测的预测图像之间的差异进行正交变换，对结果进行量化，对可变长度进行编码，并且传输结果。另一方面，视频编码设备对量化处理的结果执行逆量化和逆正交变换，以生成参考图像(局部解码图像)，并且将该参考图像存储在参考帧存储器中，以在随后的间编码中用作预测图像。也就是说，视频编码设备经由写入总线将与编码流的相应图像相对应的参考图像写入到存储器，并且经由读取总线读取写入到存储器的另一参考图像，并且通过将其作为参考图像用于帧间预测来对要编码的图像进行编码。
如上所述，帧间编码需要用于存储参考图像的存储器。在这点上，在日本未审专利申请公开号2004/266731中公开了一种其中可用作参考图像存储器的存储器容量受到限制的运动图片编码技术。日本未审专利申请公开号2004/266731中描述的视频编码设备基于可以用作参考图像存储器的存储器容量来确定一个图像帧内用于帧间编码的宏块的最大数目，并且基于当前图像代码时的图像数据和代码量来确定下一帧处用于帧内编码和帧间编码的宏块位置。更进一步地，日本未审专利申请公开号2004/266731中描述的视频编码设备仅针对判定在下一帧中进行帧间编码的宏块位置，通过将参考图像存储在参考图像存储器中来减少参考图像存储器。
关于上述问题，在日本未审专利申请公开号2009/260977中公开了一种用于将视频数据压缩为较小大小并且使用有损压缩和无损压缩的组合将附加信息合并到压缩数据中的方法和设备。
发明内容
因为帧间编码的压缩效率通常高于帧内编码的压缩效率，所以当帧间编码的比例较小时，在相同压缩比例下，图像质量劣化。在日本未审专利申请公开号2004/266731中描述的视频编码设备中，由于提前确定了通过帧间编码而编码的宏块的最大数目，所以如果参考图像存储器较小，则帧间编码的最大宏块数目较小。因此，存在编码效率下降以及图像质量下降的问题。
另一方面，在日本未审专利申请公开号2009/260977中描述的编码器中，如果压缩之后的数据量在预定的可允许范围内，则执行无损压缩；并且如果在可允许范围之外，则执行有损压缩。进一步地，在日本未审专利申请公开号2009/260977中描述的编码器中，当确定有损压缩的噪声较大时，不对编码器进行压缩。也就是说，如图20中的第二MB的处理所示，在日本未审专利申请公开号2009/260977中公开的编码器中，存储器中存储的最大数据大小是非压缩时的数据大小。由此，在日本未审专利申请公开号2009/260977中描述的编码器中，与非压缩时的数据大小相对应的存储器容量被确保为可以用于一个宏块的存储器容量。
如图20所示，当存储器大小较大时，所有宏块的参考图像都可以存储在存储器中，而无需进行压缩。然而，如图20所示，当存储器容量较小时，日本未审专利申请公开号2009/260977中描述的编码器不能针对所有宏块确保与未压缩时的数据大小相对应的存储器容量。因此，日本未审专利申请公开号2009/260977中公开的技术难以应用于其中可以使用小容量存储器来编码运动图像的设备。
本公开的目的是提供一种视频编码设备，其能够使用小容量存储器(例如，SRAM(静态随机存取存储器))执行高质量编码处理。其他目的和新颖特征将根据说明书和附图的描述变得显而易见。
解决问题的手段
根据一个实施例的运动图像编码设备包括：图像编码单元，通过获得要进行预测编码的分割图像与参考图像之间的差异来执行预测编码；局部解码生成单元，基于分割图像的编码结果来生成参考图像；压缩单元，压缩参考图像以生成压缩数据；可允许数据量设置单元，针对运动图片数据的每个确定区域预设存储器中存储的压缩数据的可允许数据量；参考图像存储确定单元，确定是否将压缩数据存储在存储器中；以及帧间预测单元，基于存储器中存储的参考图像来执行运动矢量搜索以进行帧间编码，其中参考图像存储确定单元基于可允许数据量来确定是否将压缩数据存储在存储器中，并且基于确定结果来将压缩数据存储在存储器中，压缩数据存储确定单元将压缩数据存储在存储器中。与存储器中存储的压缩数据相对应的参考图像被定义为运动矢量搜索的搜索范围。
根据另一实施例的运动图片编码设备的操作方法是运动图片编码设备的操作方法，该运动图像编码设备包括：图像编码单元，通过获得要进行预测编码的分割图像与参考图像之间的差异来执行预测编码；局部解码生成单元，基于分割图像的编码结果来生成参考图像；压缩单元，压缩参考图像以生成压缩数据；可允许数据量设置单元，针对运动图片数据的每个确定区域来预设在存储器中存储的压缩数据的可允许数据量；参考图像存储确定单元，确定是否将压缩数据存储在存储器中；以及帧间预测单元，基于存储器中存储的参考图像来检测用于帧间编码的运动矢量，其中参考图像存储确定单元基于可允许数据量来确定是否将压缩数据存储在存储器中，并且帧间预测单元基于参考图像存储确定单元确定是否将压缩数据存储在存储器中的确定结果来将压缩数据存储在存储器中。与存储器中存储的压缩数据相对应的参考图像被定义为运动矢量搜索的搜索范围。
根据另一实施例的车辆包括：相机，用于输出运动图像数据；运动图像编码设备，用于输入从相机输出的运动图像数据；以及存储器，该运动图像编码设备包括：图像编码单元，用于通过确定要进行预测编码的分割图像与参考图像之间的差异来执行预测编码；局部解码生成单元，用于基于分割图像的编码结果来生成参考图像；压缩单元，用于压缩参考图像以生成压缩数据；可允许数据量设置单元，用于针对运动图像数据的每个区域设置存储器中存储的压缩数据的可允许数据量；参考图像存储确定单元，用于确定是否在存储器中存储压缩数据；以及帧间预测单元，用于基于存储器中存储的参考图像来执行运动矢量搜索以进行帧间编码；以及参考图像存储确定单元，用于基于可允许数据量来确定是否将压缩数据存储在存储器中。基于压缩数据要被存储在存储器中的确定结果，压缩数据被存储在存储器中，帧间预测单元将与存储器中存储的压缩数据相对应的参考图像设置为用于运动矢量搜索的搜索范围，并且运动图像编码设备根据驾驶模式将存储器的使用量设置为可变。
根据一个实施例，视频编码设备可以使用小容量存储器来执行高质量编码。
附图说明
图1是示出了根据第一实施例的相机模块的示例性配置的框图。
图2是示出了包括根据第一实施例的视频编码设备的半导体器件的示例性配置的框图。
图3是示出了根据第一实施例的视频编码设备的示例性配置的框图。
图4是示出了根据第一实施例的参考图像存储确定单元的示例性配置的框图。
图5是示出了根据第一实施例的视频编码设备如何将一个帧的图像分割为多个图像并且以确定次序对分割图像进行编码的图。
图6是图示了根据第一实施例的视频编码设备的示例性操作的图。
图7是示出了确定根据第一实施例的参考图像存储确定单元是否将通过压缩参考图像而获得的压缩数据存储在参考图像存储器中的示例性过程的流程图。
图8是示出了当根据第一实施例的帧间预测单元执行运动矢量搜索时的示例性搜索范围的图。
图9是示出了根据第一实施例的视频编码设备中的示例性帧内帧间编码确定过程的流程图。
图10是示出了根据第二实施例的参考图像存储确定单元的示例性配置的框图。
图11是示出了根据第二实施例的视频编码设备中的示例性参考图像存储确定过程的流程图。
图12是示出了根据第三实施例的视频编码设备的示例性配置的框图。
图13是图示了根据第一实施例的视频编码设备的示例性参考图像存储结果的图。
图14是图示了根据第三实施例的视频编码设备的示例性操作的图。
图15是示出了根据第四实施例的视频编码设备的示例性配置的框图。
图16是示出了存储在与第四实施例有关的复杂度存储单元和替换信息存储单元中存储的数据的示例的图。
图17是示出了根据第四实施例的视频编码设备中的示例性参考图像存储确定过程的流程图。
图18是示出了根据第五实施例的车辆控制系统的示例性配置的框图。
图19是示出了根据第五实施例的相机模块的示例性配置的框图。
图20是示出了当根据现有技术的编码器压缩参考图像时的示例性操作的图。
具体实施方式
为了解释清楚，适当地省略和简化了以下描述和附图。另外，在附图中被描述为用于执行各种过程的功能块的元件可以在硬件方面被配置为CPU(中央处理单元)、存储器、以及其他电路，并且在软件方面通过加载到存储器中的程序来实现。因此，本领域技术人员应当理解，这些功能块可以通过单独的硬件、单独的软件或它们的组合以各种形式实现，并且本发明不限于它们中的任一个。在附图中，相同元件由相同附图标记表示，并且根据需要省略其重复描述。
此外，可以使用各种类型的非瞬态计算机可读介质来存储上文所描述的程序并且将其提供给计算机。非瞬态计算机可读介质包括各种类型的有形存储介质。非瞬态计算机可读介质的示例包括磁记录介质(例如，软盘、磁带、硬盘驱动器)、磁光记录介质(例如，磁光盘)、CD-ROM(只读存储器、CD-R、CD-R/W、固态存储器(例如，掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪存ROM、RAM(随机存取存储器))。程序也可以通过各种类型的瞬态计算机可读介质提供给计算机。瞬态计算机可读介质的示例包括电信号、光信号和电磁波。瞬态计算机可读介质可以经由有线或无线通信路径(诸如电线和光纤)向计算机提供程序。
第一实施例
图1是示出了根据第一实施例的相机模块1的示例性配置的框图。根据本实施例的相机模块1例如设置在车辆的右前、左前、右后和左后，并且捕获车辆外围的图像作为运动图像。如图1所示，相机模块1包括相机传感器10、相机ISP(图像信号处理器)11、包括视频编码设备的半导体器件12、以及发射器13。
相机传感器10是用于拾取外围运动图像的图像拾取设备，并且将拾取的运动图像输出到相机ISP 11。
相机ISP 11接收由相机传感器10拍摄的数据，调整白平衡，校正畸变，并且转换数据的格式，并且将运动图像输出到半导体器件12。相机ISP所执行的处理不限于上述示例，并且可以包括用于运动图像数据的各种处理。
半导体器件12包括视频编码设备。半导体器件12通过对从相机ISP 11输入的要编码的输入运动图片进行编码来生成编码流。半导体器件12将所生成的比特流输出至发射器13。
发射器13经由有线网络或无线电网络将比特流传输到相机模块1外部的图像解码设备14。
图1是示出了相机模块1的示例性配置的框图，并且该框图可以与图1的框图不同。例如，相机ISP 11可以被包括在半导体器件12中。发射器13的一部分可以被包括在半导体器件12中。
接下来，图2是示出了包括根据第一实施例的视频编码设备的半导体器件12的示例性配置的框图。如图2所示，半导体器件12包括CPU 15、总线16、ROM 17、视频编码设备18、以及SRAM 19。
CPU 15经由总线16读取ROM 17中存储的程序，并且执行指令。CPU 15可以执行程序以将设置写入到控制视频编码设备18的操作的各种控制寄存器(未示出)中，并且还可以读取诸如控制寄存器的各种寄存器以及读取指示视频编码设备18的处理状态的状态寄存器。视频编码设备18可以经由总线16向SRAM19写入参考图像以及从SRAM 19读取参考图像。
图2是示出了半导体器件12的示例性配置的框图，并且框图可以不同于该框图。例如，在图2中，用于存储由CPU 15执行的程序的ROM 17被内置在半导体器件12中，但是可以在半导体器件12的外部提供用于存储程序的ROM。
接下来，图3是示出了视频编码设备18的示例性配置的框图。如图3所示，视频编码设备18包括图像输入单元100、帧内预测单元101、帧间预测单元102、帧内帧间确定单元103、正交变换单元104、量化单元105、局部解码生成单元106、压缩单元110、参考图像存储确定单元111、存储器控制单元112、标志存储单元114、参考图像存在判断单元115、解压缩单元116、编码单元117、代码量控制单元118、减法器120、以及加法器121。图3所示的参考图像存储器113被提供作为SRAM 19的一部分或整个区域。
图像输入单元100接收输入运动图片DVin。图像输入单元100具有调整输入运动图片DVin的频率与视频编码设备18的操作频率之间的差异的功能。例如，图像输入单元100通过提供用于临时存储输入运动图片DVin的缓冲器来调整频率间隙。
在接收到的输入运动图片DVin的基础上，图像输入单元100根据运动图片编码的国际标准将要进行预测编码的图像分割为具有各种大小的块，并且将这些块传输到帧内预测单元101、帧间预测单元102、以及减法器120。
帧内预测单元101计算对输入图像执行帧内编码所需的帧内编码成本，并且将其传输到帧内帧间确定单元103。进一步地，帧内预测单元101向帧内帧间确定单元103传输用于帧内预测的帧内预测图像。
帧间预测单元102执行运动估计。另外，帧间预测单元102基于运动估计的结果，使用输入图像与参考图像之间的差异来计算帧间编码所需的帧间编码成本。为了计算帧间编码成本，帧间预测单元102将参考图像设置为运动矢量搜索的搜索范围，该参考图像通过解压缩单元116对压缩数据进行解压缩而获得。进一步地，帧间预测单元102将帧间编码成本被最小化的参考图像作为用于帧间预测的帧间预测图像传输到帧内帧间确定单元103。
在从帧内预测单元101传输的帧内编码成本、从帧间预测单元102传输的帧间编码成本、以及从参考图像存在判断单元传输的关于作为预测编码的目标的分割图像的参考图像存在信息的基础上，帧内帧间确定单元103确定是执行帧内编码还是帧间编码。帧内帧间确定单元103根据确定的预测模式将所选择的预测图像传输到减法器120。
减法器120计算输入图像与从帧内帧间确定单元103传输的预测图像之间的差异。
正交变换单元(T)104对减法器120输出的输入图像与预测图像之间的差异图像执行诸如DCT(离散余弦变换)或DST(离散正弦变换)的正交变换处理。例如，如果正交变换单元104的正交变换是DCT，则正交变换单元(T)104计算DCT系数，并且将该DCT系数传输到量化单元105。
量化单元(Q)105对正交变换单元104进行的正交变换处理的结果执行量化处理。例如，如果正交变换单元104的正交变换是DCT，则量化单元105对从正交变换单元104输出的DCT系数进行量化。
局部解码单元106包括逆量化单元(IQ)107、逆正交变换单元(IT)108、加法器121、以及解块(deblocking)滤波器单元109。局部解码单元106基于从量化单元105传输的量化结果和预测图像来生成参考图像，并且将该参考图像输出到压缩单元110。
逆量化单元107对量化单元105的量化处理结果执行逆量化处理。逆正交变换单元108对逆量化单元107的逆量化处理结果执行逆正交变换处理。例如，如果正交变换单元104的正交变换是DCT，则逆量化单元107对量化的DCT系数执行逆量化。逆正交变换单元108通过对由逆量化单元107反量化的DCT系数执行逆DCT来输出差异解码图像。
加法器121将从逆正交变换单元108传输的差异解码图像和预测图像相加，并且将相加结果输出到解块滤波器单元109。
解块滤波器单元109对加法器121的相加结果执行解块滤波处理以生成参考图像。当在解块滤波器单元109中关闭滤波时，从解块滤波器单元109直接输出加法器121的相加结果作为参考图像。当在解块滤波器单元109中开启滤波时，从解块滤波器单元109输出对加法器121的相加结果进行解块滤波的结果作为参考图像。
压缩单元110无损压缩从局部解码生成单元106接收的参考图像，并且将该参考图像输出到参考图像存储确定单元111。
参考图像存储确定单元111确定是否将从压缩单元110接收的参考图像的压缩数据(有时称为“参考图像的压缩数据”)存储在参考图像存储器113中。当将压缩数据存储在参考图像存储器113中时，参考图像存储确定单元111请求存储器控制单元112写入参考图像存储器113，并且传输压缩数据。参考图像存储确定单元111包括可允许数据量设置单元141，并且稍后参考图4对可允许数据量设置单元141进行描述。
标志存储单元114基于参考图像存储确定单元111的确定结果来存储指示是否已经在参考图像存储器113中存储了压缩数据的标志。
存储器控制单元112基于来自视频编码设备18的相应单元的请求来执行用于将压缩数据写入参考图像存储器113的控制以及执行用于从参考图像存储器113读取压缩数据的控制。更具体地，存储器控制单元112经由总线16通过读取或写入来访问SRAM中的参考图像存储器113。
参考图像存储器113是用于存储通过压缩参考图像而获得的压缩数据的存储设备。
参考图像存在判断单元115读取标志存储单元114中存储的关于参考图像的存在与否的信息。如果参考图像的压缩数据被存储在参考图像存储器113中，则参考图像存在判断单元115请求存储器控制单元112读取参考图像。基于该请求，存储器控制单元112从参考图像存储器113读取参考图像的压缩数据，并且经由参考图像存在判断单元115将压缩数据传输到解压缩单元116。
解压缩单元116对从参考图像存储器113读取的参考图像的压缩数据执行解压缩处理，并且将作为解压缩处理的结果的参考图像传输到帧间预测单元102。
编码单元117通过对量化单元105的量化处理的结果执行编码处理来生成比特流BSout。
代码量控制单元118基于由编码单元117生成的代码量来调整量化比例，并且将调整后的量化比例传输到量化单元105。
图4是示出了参考图像存储确定单元111的示例性配置的框图。如图4所示，参考图像存储确定单元111包括压缩数据量检测单元140、可允许数据量设置单元141、存储数据量计算单元142、数据量比较单元146、以及存储确定单元147。
压缩数据量检测单元140计算从压缩单元110传输的压缩数据的数据大小。
可允许数据量设置单元141针对输入图像中的每个预定区域(以下有时称为“单位区域”)预设要存储在参考图像存储器113中的压缩数据的可允许数据量。例如，可允许数据量设置单元141由可写入寄存器组成，并且通过执行视频编码设备18的驱动器来设置CPU15。
可以任意设置单位区域。例如，单位区域可以是MPEG的一个宏块行、两个宏块行或一个编码单元行。
还可以任意设置可允许数据量145。例如，可以在可允许数据量设置单元141中将通过使可用存储器容量除以输入运动图片DVin的一个帧中包括的宏块行的数目而获得的值设为可允许数据量145。
存储数据量计算单元142将参考图像存储器113中存储的数据量(以下称为“存储数据量”)和由压缩数据量检测单元140检测到的针对单位区域的压缩数据的数据大小相加，并且将相加的结果作为存储数据量144传输到数据量比较单元146。由于针对每个单位区域计算存储数据量144，所以每次开始单位区域的处理时，对存储数据量计算单元142进行初始化。也就是说，当开始单位区域的处理时，存储数据量被初始化为零。
数据量比较单元146将在可允许数据量设置单元141中设置的可允许数据量145与从存储数据量计算单元142传输的存储数据量144进行比较，并且将比较结果传输到存储确定单元147。
存储确定单元147基于数据量比较单元146的比较结果来确定是否将压缩数据存储在参考图像存储器113中。如果存储数据量144小于或等于可允许数据量145，则存储确定单元147向存储器控制单元112、标志存储单元114、以及存储数据量计算单元142发送确定结果信息148，以允许压缩数据存储在参考图像存储器113中。如果存储确定单元147确定参考图像的压缩数据要存储在参考图像存储器113中，则它还将要存储的数据的数据大小信息传输到标志存储单元114。存储数据量计算单元142保持并且存储与指示准许将压缩数据存储在参考图像存储器113中的信息相对应的存储数据量。
另一方面，当存储数据量144大于可允许数据量145时，存储确定单元147基于数据量比较单元146的比较结果来向存储器控制单元112、标志存储单元114、以及存储数据量计算单元142传输指示不准许在参考图像存储器113中存储压缩数据的确定结果信息148。存储数据量计算单元142保存并且存储与指示不准许在参考图像存储器113中存储压缩数据的信息相对应的存储数据量。
接下来，对视频编码设备18的操作进行描述。图5是示出了根据第一实施例的视频编码设备18如何将一个帧的图像分割为多个图像并且以确定次序对分割图像进行编码的图。如图5所示，帧中的图像被分割为多个矩形块。例如，在MPEG中，通常将其分割为称为16×16像素的宏块(MB)的矩形块，并且对每个宏块执行编码。在一个帧中，视频编码设备18以从左上到右下的箭头的次序对矩形块进行编码。在下文中，作为图像预测编码的目标的分割图像(即，要编码的块)被描述为宏块，但是要分割的块的单元不限于宏块。例如，它可以是编码单元，编码单元是当根据HEVC标准执行编码时的编码处理单元。当分割图像是宏块时，从图5的顶部起第三行中的矩形块用粗线包围的区域与1个宏块行相对应。在下文中，假定单位区域是1个宏块行。
返回图3，对视频编码设备18的编码操作进行描述。图像输入单元100将要被编码的输入运动图片DVin的宏块输出到帧内预测单元101、帧间预测单元102、以及减法器120。尽管稍后对帧内预测单元101和帧间预测单元102的详细操作进行描述，但是所计算出的编码成本和预测图像被传输到帧内帧间确定单元103。
帧内帧间确定单元103基于输入编码成本来确定对要编码的宏块执行帧内编码还是帧间编码。然后，帧内帧间确定单元103向减法器120传输与选择的编码方法相对应的预测图像。减法器120计算输入图像(要编码的宏块)与预测图像之间的差异，并且将差异图像传输到正交变换单元104。
正交变换单元104对由减法器120计算出的减法结果执行正交变换处理，并且将正交变换结果输出到量化单元105。量化单元105根据从代码量控制单元118输入的量化比例对正交变换单元104的正交变换处理的结果执行量化处理。
编码单元117通过对由量化单元105执行的量化处理的结果执行编码处理来生成比特流BSout。
更进一步地，参考图3，对视频编码设备18的局部解码操作进行描述。局部解码生成单元106对由量化单元105进行的量化处理的结果由逆量化单元107执行逆量化并且由逆正交变换单元108执行逆正交变换，以生成差异解码图像。加法器121将解码后的差异图像和预测图像相加。解块滤波器单元109对加法器121的相加结果执行解块滤波处理，生成参考图像，并且将该参考图像输出到压缩单元110。
接下来，对由图3所示的压缩单元110执行的参考图像的无损压缩进行描述。压缩单元110接收参考图像并且对其进行无损压缩以生成压缩数据。由于压缩之后的数据长度在无损压缩中是可变的，所以如果针对每个宏块执行处理，则压缩之后的数据量可能会比压缩之前的数据量增加。在这种情况下，可能重写(overwriting)与参考图像存储器113中尚未读取的参考图像相对应的压缩数据。因此，为了防止重写数据，本实施例控制是否针对每个单位区域将压缩数据存储在参考图像存储器113中。
接下来，参考图6，将对参考图像存储器中的存储确定操作进行描述。根据本实施例的视频编码设备18针对每个宏块对参考图像进行可逆压缩，并且将通过压缩参考图像而获得的压缩数据存储在参考图像存储器113中。图6示出了当单位区域是1个宏块行时的示例性操作。如图6所示，当压缩单元110压缩与宏块行的第一宏块(MacroBlock，MB)相对应的参考图像时，压缩数据的大小从原始数据大小减小。然而，当压缩单元110无损压缩与第二MB相对应的参考图像时，压缩数据的大小从原始数据大小增加。然而，由于本实施例控制要写入参考图像存储器113的数据量，以使得针对每个宏块行不超过由可允许数据量设置单元141设置的数据量，因此不会出现重写数据的问题。接下来，当压缩单元110将与xMB相对应的压缩数据存储在参考图像存储器113中时，在可允许数据量设置单元141中设置的存储量耗尽。因此，参考图像存储确定单元111确定没有剩余的参考图像存储器113的容量用于后续MB，并且不将压缩数据存储在参考图像存储器113中。
图7是示出了确定根据本实施例的参考图像存储确定单元111是否将通过压缩参考图像而获得的压缩数据存储在参考图像存储器113中的示例性过程的流程图。参考图像存储确定单元111从压缩单元110接收参考图像的压缩数据(步骤S100)，并且确定是否可以将压缩数据存储在参考图像存储器113中(步骤S101)。如果参考图像存储器113中有可用空间(步骤S101：是)，则参考图像存储确定单元111将指示可以进行存储的确定结果信息传输到标志存储单元114。标志存储单元114存储指示信息被存储的标志(例如，1)以及压缩数据的长度信息(步骤S102)。参考图像存储确定单元111还将确定结果信息148发送到指示准备存储的存储器控制单元112。存储器控制单元112将压缩数据存储在参考图像存储器113中(步骤S103)，并且结束该过程(步骤S104)。当参考图像存储器113的容量不足时(S101：否)，参考图像存储确定单元111将指示不能进行存储的确定结果信息传输到标志存储单元114。标志存储单元114存储指示不能进行存储的标志(例如，0)(步骤S105)，并且结束该过程(步骤S104)。
接下来，对帧内帧间编码确定过程进行描述。如图3所示，图像输入单元100将输入图像分别传输到帧内预测单元101和帧间预测单元102。
帧内预测单元101估计在以多种帧内模式对输入图像进行编码时的代码量。帧内预测单元101计算与估计的代码量相对应的成本，并且将最低成本作为最低帧内编码成本传输到帧内帧间确定单元103。帧内预测单元101还将帧内预测图像传输到帧内帧间确定单元103。
另一方面，帧间预测单元102需要当前帧之前的帧的图像数据(参考图像)，以便检测输入图像和参考图像之间的运动(差异)。因此，参考图像存在判断单元115检查参考图像是否存储在要编码的宏块可以被参考的区域(可搜索范围)中。然后，帧间预测单元102将与参考图像存储器113中存储的压缩数据相对应的可搜索范围的参考图像设置为运动矢量搜索的搜索范围。参考
图8，对这种情况进行详细描述。图8是示出了根据本实施例的帧间预测单元102的运动矢量搜索的搜索范围的图。在图8中，MB5与要编码的MB位置相对应。如果可搜索范围被定义为例如编码位置的MB之外最多1MB，则在对MB5进行编码时，MB1-MB9九个宏块是可搜索范围。在图8中，针对MB1-MB5和MB7的六个MB，参考图像的压缩数据被存储在参考图像存储器113中。另一方面，对于MB6和MB8-MB9这三个MB，参考图像的压缩数据没有被存储在参考图像存储器113中。在根据本实施例的视频编码设备18中，帧间预测单元102仅接收与参考图像存储器113中存储的压缩数据相对应的参考图像。在图8的情况下，帧间预测单元102仅接收MB1-MB5和MB7，并且将其设置为运动矢量搜索的搜索范围。
图9是示出了根据本实施例的视频编码设备18中的示例性帧内帧间编码确定过程的流程图。由于帧间预测单元102使用参考图像执行运动矢量搜索，所以参考图像存在判断单元115参考标志存储单元114中存储的信息，并且读出参考图像存在与否的信息、以及在可搜索范围的范围内可以参考的宏块的信息(步骤S120)。如果参考图像被存储在参考图像存储器113中(S121)，则参考图像存在判断单元115请求存储器控制单元112从参考图像存储器113中读取。存储器控制单元112读取请求从参考图像存储器113读取的压缩数据，并且将其传输到参考图像存在判断单元115。参考图像存在判断单元115将读取的压缩数据传输到解压缩单元116。解压缩单元116对接收的压缩数据进行解压缩(步骤S122)，并且将其传输到帧间预测单元102(步骤S123)。基于可搜索范围和标志存储单元114存储的标志的状态来确定要发送到帧间预测单元102的参考图像的数目。步骤S123中传输到帧间预测单元102的参考图像的数目可以是一个或多个，并且可以大于一个。
帧间预测单元102针对运动矢量搜索的搜索范围中所包括的每个参考图像基于输入图像与参考图像之间的差异来估计帧间编码时的代码量，并且计算与所估计的代码量相对应的帧间编码成本。帧间预测单元102还对所计算的一个或多个帧间编码成本中的最小帧间编码成本进行计算，并且将该最小帧间编码成本传输到帧内帧间确定单元。进一步地，帧间预测单元102将帧间预测图像传输到帧内帧间确定单元103。
帧内帧间确定单元103比较最小帧内编码成本和最小帧间编码成本，确定具有较低编码成本的预测模式，将帧间预测图像作为预测图像传输到减法器120(步骤S124)，并且结束帧内帧间编码确定过程(步骤S125)。
另一方面，如果在可搜索范围的范围内没有将参考图像存储在参考图像存储器113中(步骤S121：否)，则参考图像存在判断单元115向帧内帧间确定单元103传输强迫执行帧内编码的指令(步骤S126)。帧内帧间确定单元103接收指令强制帧内编码的信息，决定对要编码的宏块执行帧内编码，将帧内预测图像作为预测图像传输到减法器120(步骤S127)，并且结束帧内帧间编码确定过程(步骤S125)。
根据第一实施例，视频编码设备18包括无损压缩参考图像以生成压缩数据的压缩单元110、可允许数据量设置单元141、以及参考图像存储确定单元111。因此，参考图像存储确定单元111可以基于在可允许数据量设置单元141中设置的可允许数据量来确定是否将通过压缩单元110对参考图像进行压缩而获得的压缩数据存储在参考图像存储器113中。因此，即使当可以用作参考图像存储器113的存储器容量较小时，也可以根据压缩单元110的压缩结果来增加存储在参考图像存储器113中的参考图像的数目。结果，可以使参考图像存储器113中存储的参考图像的数目最大化，并且可以在抑制由存储器容量小而导致的图像质量劣化的同时，执行编码。
通常，车载相机模块具有防水性，因为相机位于车辆外部。因此，安装在车辆上的相机模块的内部被密封，并且容易被加热。因此，在用于对从车载相机输入的运动图像进行编码的视频编码设备中，由于热和空间问题，所以难以在视频编码设备外部具有大容量DRAM(动态随机存取存储器)，并且从成本和电路大小的角度来看，同样难以具有容量与视频编码设备内部的DRAM的容量相当的SRAM。因此，可以使用小容量存储器对运动图像进行编码的根据本实施例的视频编码设备18可以最佳地应用于安装在车辆上的相机模块。
第一实施例的修改示例
在以上说明中，在关注一个MB的情况下，已经对运动图像编码设备12的一系列操作进行了描述。然而，视频编码设备18可以操作，从而针对多个MB以流水线方式并行执行上述一系列过程。结果，可以改善运动图像编码设备12的过程。
第二实施例
接下来，对第二实施例进行描述。图10是示出了根据第二实施例的参考图像存储确定单元111B的示例性配置的框图。如图10所示，与第一实施例中描述的参考图像存储确定单元(见图4)相比，参考图像存储确定单元111B还包括复杂度阈值设置单元201、复杂度检测单元202、以及复杂度比较单元203。其他配置和操作与第一实施例中描述的参考图像存储确定单元111的配置和操作相同，因此，相同部件由相同附图标记表示，并且省略重复描述。
第二实施例与第一实施例的不同之处在于，当参考图像存储确定单元111B确定是否将压缩数据存储在参考图像存储器113中时，其还将与压缩数据相对应的参考图像的复杂度添加到准则。
本文中，图像的复杂度是表示局部不平坦度的参数。例如，作为表示复杂度的参数的示例，可以引用MPEG-2速率控制模型TM5的参数“空间活动”和步骤3。
由等式1表达由帧结构的四个亮度子块(n＝1-4)和场结构的四个亮度子块(n＝5-8)组成的宏块j的空间活动。
【等式1】
Figure BDA0002285475160000205
【等式2】
Figure BDA0002285475160000201
【等式3】
Figure BDA0002285475160000202
Figure BDA0002285475160000203
代表原始块8x8中的像素值中的一个像素值。
Figure BDA0002285475160000206
代表原始块8x8中像素值的平均值。
Figure BDA0002285475160000204
代表方差。因此，宏块的空间活动是代表宏块中像素值的变化的参数。
通常，当图像的复杂度高时，从编码效率的角度来看，优选帧内编码。因此，在判断是否将压缩数据存储在参考图像存储器113中时，根据第二实施例的参考图像存储确定单元111B基于与压缩数据相对应的参考图像的复杂度来估计要编码的分割图像(例如，宏块)在下一帧中是帧内编码还是帧间编码。本文中，参考图像存储确定单元111B估计、而不是确定执行帧内编码还是帧间编码。也就是说，当参考图像的复杂度较大时，确定与参考图像相对应的压缩数据没有被存储在参考图像存储器113中，从而间接促进帧内帧间确定单元103确定要执行帧内编码。最终，通过帧内帧间确定单元103的确定结果来确定帧内编码或帧间编码。
如图10所示，在第二实施例中，除了压缩单元110之外，局部解码生成单元106还将参考图像传输到复杂度检测单元202。
如果参考图像的复杂度大于预定阈值(以下有时称为“复杂度阈值”)，则参考图像存储确定单元111B确定没有将压缩数据存储在参考图像存储器113中。复杂度阈值设置单元201被配置为设置复杂度阈值。例如，复杂度阈值设置单元201由可写入寄存器组成，该可写入寄存器通过执行视频编码设备18的驱动器由CPU 15设置。
复杂度检测单元从局部解码生成单元106接收并且分析参考图像，并且计算参考图像的复杂度。
复杂度比较单元203将在复杂度阈值设置单元201中设置的复杂度阈值与由复杂度检测单元202计算出的参考图像的复杂度进行比较，并且将比较结果输出到存储确定单元147。
图11是示出了根据第二实施例的视频编码设备18中的示例性参考图像存储确定过程的流程图。
如图11所示，当要进行存储确定的压缩数据被输入到参考图像存储确定单元111B时(步骤S200)，复杂度比较单元203将参考图像的复杂度与预定的复杂度阈值进行比较(步骤S201)。如果参考图像的复杂度大于复杂度阈值(S201：否)，则与参考图像相对应的压缩数据没有被存储在参考图像存储器113中。也就是说，不管可允许数据量与存储数据量之间的幅度关系如何，存储确定单元147没有将与参考图像相对应的压缩数据存储在参考图像存储器113中。存储确定单元147向存储器控制单元112、标志存储单元114、以及存储数据量计算单元142传输作为确定结果信息148的、指示压缩数据未被存储在参考图像存储器113中的信息。在这种情况下，存储器控制单元112没有将压缩数据存储在参考图像存储器113中。标志存储单元114存储指示不能进行存储的标志(例如，0)。存储数据量计算单元142根据指示压缩数据没有被存储在参考图像存储器113中的信息，而保持并且存储存储数据量(步骤S206)。在存储器控制单元112、标志存储单元114和存储数据量计算单元142的处理之后，参考图像存储确定单元111B的处理结束(步骤S205)。
另一方面，当参考图像的复杂度等于或小于阈值时(步骤S201：是)，存储确定单元147基于数据量比较单元146的比较结果来确定是否将压缩数据存储在参考图像存储器113中。也就是说，数据量比较单元146在步骤S203中将在可允许数据量设置单元141中设置的可允许数据量与从存储数据量计算单元142传输的存储数据量进行比较。
当存储数据量等于或小于可允许数据量时，也就是说，当存在剩余存储器量时(S203：是)，存储确定单元147向存储器控制单元112、标志存储单元114、以及存储数据量计算单元142传输指示准许压缩数据存储在参考图像存储器113中的信息作为确定结果信息148。存储器控制单元112将压缩数据存储在参考图像存储器113中。标志存储单元114存储指示已经存储了参考图像的标志(例如，1)以及压缩数据的长度数据。存储数据量计算单元142存储并且保持存储数据量144作为存储数据量(步骤S204)。在存储器控制单元112、标志存储单元114和存储数据量计算单元142的处理之后，参考图像存储确定单元111B的处理结束(步骤S205)。
当存储数据量大于可允许数据量时(步骤S203：否)，存储确定单元147向存储器控制单元112、标志存储单元114、以及存储数据量计算单元142传输指示没有准许将压缩数据存储在参考图像存储器113中的信息作为确定结果信息148(步骤S206)。根据第二实施例，与第一实施例的参考图像存储确定单元111相比，参考图像存储确定单元111B还包括复杂度阈值设置单元201、复杂度检测单元202、以及复杂度比较单元203。因此，当复杂度比较单元203输出指示由复杂度检测单元202检测到的参考图像的复杂度大于在复杂度阈值设置单元201中设置的复杂度阈值的比较结果时，参考图像存储确定单元111B确定与参考图像相对应的压缩数据没有被存储在参考图像存储器113中。因此，视频编码设备18可以通过不在参考图像存储器113中存储具有较大复杂度的参考图像(其不适合于进行帧间编码)来优化要存储在参考图像存储器113中的参考图像。也就是说，视频编码设备18可以仅将帧间预测被估计为适合的参考图像存储在参考图像存储器113中。结果，可以提高视频编码设备18的编码率，并且可以提高图像质量。
第三实施例
接下来，对第三实施例进行描述。第三实施例与第一实施例的不同之处在于，它具有帧内刷新功能，并且使帧内刷新目标区域(以下称为“帧内刷新区域”)的大小可变。
通常，存在称为帧内刷新的功能。该功能对固定区域(其位置针对每个帧而改变)强制执行帧内编码，从而防止在帧之间传播预测误差并且提高图像质量。在第三实施例中，根据不能被存储在参考图像存储器113中的参考图像的数目来改变帧内刷新区域的大小。
图12是示出了根据第三实施例的视频编码设备的示例性配置的框图。如图12所示，第三实施例与第一实施例(参见图3和图4)的不同之处在于，参考图像存储确定单元111C包括未存储图像计数单元301，视频编码设备18包括帧内刷新区域确定单元302，并且从帧内刷新区域确定单元302向存储确定单元147传输控制信号303。其他配置和操作与在第一实施例中描述的视频编码设备18和参考图像存储确定单元111的配置和操作相同，因此，相同附图标记指派给相同配置，并且省略重复描述。
未存储图像计数单元301对压缩数据不能被存储在参考图像存储器113中的参考图像的数目进行计数。未存储图像计数单元301在开始单位区域的编码处理之前或在单位区域的编码处理完成时进行初始化。
在本实施例中，视频编码设备18还包括帧内刷新区域确定单元302。在随后的帧中，帧内刷新区域确定单元302确定要强制进行帧内编码的帧内刷新区域的大小和位置。帧内刷新区域确定单元302基于从未存储图像计数单元301传输的、不能被存储在参考图像存储器113中的分割图像(例如，宏块)的数目来调整帧内刷新区域的大小。
图13是图示了根据第一实施例的视频编码设备18的示例性参考图像存储结果的图。如图5所示，在同一行中从左向右对分割图像(矩形块)进行编码。因此，当单位区域是1个宏块行(1MBL)时，如图13所示，位于宏块行左侧的MB可以容易地将通过压缩参考图像而获得的压缩数据存储在参考图像存储器113中。另一方面，在位于宏块行右侧的MB中，通过压缩参考图像而获得的压缩数据几乎没有被存储在参考图像存储器113中。因此，当仅将参考图像的剩余存储器容量用作确定是否将参考图像存储在参考图像存储器113中的准则时，存在在一个帧内可以进行帧间编码的MB的位置出现偏差的问题。根据第三实施例的视频编码设备18解决了以下问题：通过可变地控制帧内刷新区域，来偏置可以通过帧间编码来编码的MB的位置。
图14是图示了根据第三实施例的视频编码设备18的示例性操作的图。在根据本实施例的视频编码设备18中，未存储图像计数单元301接收从存储确定单元147输出的确定结果信息148。如果确定结果信息148被通知没有将压缩数据存储在参考图像存储器113中，则未存储图像计数单元301进行计数。例如，当单位区域是1个宏块行时，未存储图像计数单元301对不能被存储在参考图像存储器113中的MB的数目进行计数。当单位区域的处理完成时，未存储图像计数单元301将未被存储的MB的数目的总和传输到帧内刷新区域确定单元302。
帧内刷新区域确定单元302基于未被存储的MB的数目的总和来确定帧内刷新区域的大小。例如，当存在未被存储的MB时，帧内刷新区域的大小增加。相反，当不存在未被存储的MB时，可以减小帧内刷新区域的大小。帧内刷新区域确定单元302将确定的帧内刷新区域的大小和位置传输到存储确定单元147作为控制信号303。
当压缩数据被包括在帧内刷新区域中时，存储确定单元147确定不将压缩数据存储在参考图像存储器113中。另一方面，当压缩数据没有被包括在帧内刷新区域中时，存储确定单元147基于数据量比较单元146输出的比较结果来确定是否将压缩数据存储在参考图像存储器113中。
根据第三实施例，视频编码设备18还包括未存储图像计数单元301和帧内刷新区域确定单元302。帧内刷新区域确定单元302根据未存储图像计数单元301所计数的、不能被存储在参考图像存储器113中的MB的数目来确定帧内刷新区域的大小。因此，可以根据未存储在参考图像存储器113中的图像的数目来改变帧内刷新区域的大小。与帧内刷新区域中的分割图像(例如，MB)的参考图像相对应的压缩数据不需要存储在参考图像存储器113中。因此，在根据第三实施例的视频编码设备18中，可以通过调整帧内刷新区域的大小来减少存储在参考图像存储器113中的压缩数据的数目(参考图像的数目)。结果，帧的右端(单位区域的右端)的参考图像存储器113的剩余容量的不足可以被减少。进一步地，由于帧内刷新区域的位置对于每个帧而言不同，所以可以针对整个帧消除帧内编码和帧间编码宏块的位置的偏差。以这种方式，根据第三实施例的视频编码设备18可以消除帧内编码宏块和帧间编码宏块的位置的偏差，并且可以改善图像质量。
第四实施例
接下来，对第四实施例进行描述。为了优化参考图像存储器113中存储的参考图像，第四实施例与第一实施例至第三实施例的不同之处在于，即使参考图像已经存储在参考图像存储器中，该参考图像也被更合适的参考图像替换。
图15是示出了根据第四实施例的视频编码设备的示例性配置的框图。根据第四实施例的视频编码设备18与在第二实施例中描述的参考图像存储确定单元111B(参见图10)的不同之处在于，参考图像存储确定单元111D还包括复杂度存储单元401和替换信息存储单元402。其他配置和操作与第二实施例中描述的参考图像存储确定单元111B的配置和操作相同，因此，相同附图标记指派给相同配置，并且省略重复描述。
当与参考图像相对应的压缩数据被存储在参考图像存储器113中时，复杂度存储单元401存储对应参考图像的复杂度。
在将与参考图像相对应的压缩数据存储在参考图像存储器113中之后，存储确定单元147在出现更合适的参考图像时替换存储在参考图像存储器113中的压缩数据。
当存储确定单元147执行替换参考图像的处理时，替换信息存储单元402存储替换之前的参考图像的信息和替换之后的参考图像的信息。
图16是示出了根据本实施例的复杂度存储单元401和替换信息存储单元402中存储的数据的示例的图。在本实施例中，单位区域被描述为1个宏块行(MBL)。例如，复杂度的可能值假定为0至63。
复杂度存储单元401存储参考图像存储器113中所存储的压缩数据的宏块编号和参考图像的复杂度。例如，在图16中，在复杂度存储单元401中存储的是：具有复杂度10的宏块编号1的参考图像、具有复杂度12的宏块编号2的参考图像、具有复杂度18的宏块编号3的参考图像、具有复杂度28的宏块编号5的参考图像、以及具有复杂度22的宏块编号7的参考图像已经被存储在参考存储器113中。
图17是示出了根据第四实施例的视频编码设备18中的示例性参考图像存储确定过程的流程图。如图17所示，当参考图像和压缩数据被录入到参考图像存储确定单元111D中时(步骤S400)，复杂度比较单元203将参考图像的复杂度与预定阈值进行比较(步骤S401)。如果参考图像的复杂度大于复杂度阈值(步骤S401：否)，则存储确定单元147确定不将压缩数据存储在参考图像存储器113中(步骤S402)。也就是说，不管可允许数据量与存储数据量之间的幅度关系如何，存储确定单元147都确定不将压缩数据存储在参考图像存储器113中。存储确定单元147向存储器控制单元112、标志存储单元114、以及存储数据量计算单元142传输表示压缩数据未被存储在参考图像存储器113中的信息作为确定结果信息148。
另一方面，当参考图像的复杂度等于或小于复杂度阈值时(步骤S401：是)，数据量比较单元146将在可允许数据量设置单元141中设置的可允许数据量与从存储数据量计算单元142传输的存储数据量进行比较(步骤S403)。当存储数据量等于或小于可允许数据量时，也就是说，当存在剩余存储器容量时(步骤S403：是)，存储确定单元147基于数据量比较单元146的比较结果来向存储器控制单元112、标志存储单元114和存储数据量计算单元142传输用于在参考图像存储器113中存储压缩数据的确定结果信息148(步骤S404)，并且结束存储确定过程(步骤S409)。
另一方面，如果存储数据量大于可允许数据量(步骤S403：否)，则存储确定单元147从复杂度存储单元401读取所存储的分割图像(例如，宏块)的复杂度(步骤S405)。本文中，要确定是否存储的压缩数据被称为CDnew，与CDnew相对应的参考图像被称为RPnew，存储的压缩数据被称为CDold，并且与CDold相对应的参考图像被称为RPold。如果未找到复杂度比RPnew的复杂度更大的参考图像RPold(步骤S406：否)，则存储确定单元147确定压缩数据CDnew不被存储在参考图像存储器113中(步骤S402)。
如果与参考图像RPnew的复杂度相比，发现具有更大复杂度的参考图像RPold(步骤S406：是)，则存储确定单元147比较压缩数据CDnew和压缩数据CDold的数据大小(步骤S407)。当压缩数据CDnew的数据量大于存储的压缩数据CDold的数据量时，参考图像存储器113的存储器容量不足。因此，存储确定单元147确定压缩数据CDnew不被存储在参考图像存储器113中(步骤S402)。另一方面，当压缩数据CDnew的数据量等于或小于存储的压缩数据CDold的数据量时，存储确定单元147将指示参考图像要被替换的信息写入替换信息存储单元402中(步骤S408)。接下来，存储确定单元147向存储器控制单元112、标志存储单元114、以及存储数据量计算单元142传输指示压缩数据CDnew要被存储在参考图像存储器113中的信息作为确定结果信息148(步骤S404)，并且结束该过程(步骤S409)。
每当针对1MBL的所有MB替换压缩数据时或在完成压缩数据存储确定之后，存储确定单元147将替换信息存储单元402中存储的信息传输到标志存储单元114，并且更新标志存储单元114中存储的信息。
当在步骤S406中找到复杂度比参考图像RPnew的复杂度更大的多个参考图像RPold时，存储确定单元147在步骤S407中将多个替换候选中具有最大数据量的所存储的压缩数据的数据量与压缩数据CDnew的数据量进行比较，并且使具有最大数据量的所存储的压缩数据成为替换目标。当找到复杂度比参考图像RPnew的复杂度更大的多个参考图像RPold时，存储确定单元147可以按参考图像RPold的复杂度降序搜索数据量等于或小于压缩数据CDnew的数据量的压缩数据CDold。
可以根据复杂度存储单元401的大小来简化复杂度存储单元401中存储的复杂度值。当复杂度的可能值为0至63时，对这种情况进行例示。在这种情况下，例如，当复杂度为0至15时，复杂度存储单元401中存储的图片复杂度的值C为0；当复杂度为16至31时，值C为1；当复杂度为32至47时，值C为2；并且当复杂度为48至63时，值C为3。
以这种方式，通过针对一定范围的复杂度设置相同的值C，可以减少用于表达复杂度存储单元401中的复杂度所需的比特的数目。因此，复杂度存储单元401所需的电路的大小可以减少。此外，如果使复杂度的可能值小到0至63，则搜索要替换的所存储的压缩数据CDold所需的时间增加。因此，通过减少复杂度的可能值，诸如值C，可以减少搜索所存储的参考图像RPold和压缩数据CDold所需的时间。因此，可以提高参考图像存储确定单元111D的吞吐量。
根据第四实施例，与第二实施例的参考图像存储确定单元111B相比，参考图像存储确定单元111D还包括复杂度存储单元401和替换信息存储单元402。因此，视频编码设备18可以基于参考图像的压缩数据的数据大小和复杂度根据需要替换要存储的参考图像，并且可以进一步优化数据大小。由此，视频编码设备18可以进一步提高编码效率和图像质量。
第五实施例
第五实施例是其上安装有与第一实施例至第四实施例有关的视频编码设备18的车辆。在根据本实施例的车辆中，视频编码设备18根据车辆的驾驶模式可变地调整存储器使用。
图18是示出了其中安装了视频编码设备18的车辆控制系统的示例性配置的框图。安装在本实施例上的视频编码设备根据驾驶模式切换是否无损压缩用于帧间预测的参考图像。
如图18所示，车辆控制系统501安装在车辆500上。车辆控制系统501包括一个或多个相机模块1E、车辆控制单元502、驾驶模式确定单元503、车载网络505、以及半导体器件506。
车辆500包括至少两种不同的驾驶模式。也就是说，车辆500包括作为第一驾驶模式的人类的手动驾驶模式以及作为第二驾驶模式的自动驾驶模式。在图18中，在车辆500的右前、左前、右后、以及左后设置有四个相机模块1E，但是设置在车辆500中的相机模块的数目不限于四个。
车辆控制单元502执行车辆的各种控制。例如，车辆控制单元控制车辆500的档位和行驶速度。
驾驶模式确定单元503基于从车辆控制单元502输出的车辆控制数据504来确定车辆500的驾驶模式是手动驾驶模式还是自动驾驶模式。本文中，车辆控制信息504可以是但不限于车辆500的驾驶员向车辆500提供的驾驶模式控制指令信息。例如，车辆控制信息504可以是车辆500的档位信息、车辆500的速度信息、或驾驶场所(例如，在高速公路上)。
车载网络505可以是有线网络或无线电网络。
半导体器件506还包括CPU 507、视频解码器508、图形处理器509、图像识别单元510、总线512、以及DDR存储器控制器513。
CPU 507执行程序，并且控制整个半导体器件506。
视频解码器508对从相机模块1E接收的比特流BSout进行解码。
图形处理器509对由视频解码器508解码的图像执行图像处理。例如，图形处理器509对由视频解码器508解码的图像执行放大和缩小处理。
图像识别单元510基于由视频解码器508解码的图像来执行图像识别处理。例如，图像识别单元510识别其他车辆、人、交通信号灯和道路标志，并且经由DDR存储器控制器513将图像识别结果写入到DDR存储器514。
DDR存储器控制器513从总线主控器(例如，CPU 507或图像识别单元510)接收对DDR存储器514的写入请求和来自DDR存储器514的读取请求，并且控制对DDR存储器514的写入访问和对DDR存储器514的读取访问。
DDR存储器514是固态存储设备，该固态存储设备存储要由CPU 507处理的程序、输入到视频解码器508、图形处理器509和图像识别单元510的数据、临时数据、以及处理结果。
图19是示出了根据本实施例的相机模块1E的示例性配置的框图。在本实施例中，半导体器件12不具有内置SRAM，并且使用DDR存储器514作为存储设备。
当根据本实施例的车辆500在自动驾驶模式下行驶时，需要在识别车辆500的周围条件(例如，行驶车道、信号、道路标志、其他车辆和行人)之后对车辆500进行控制。因此，车辆控制单元502和半导体器件506需要执行大量的信息处理，并且在DDR存储器514上使用大量存储器。
另一方面，当驾驶员以手动驾驶模式驾驶时，车辆500的驾驶员本人识别出车辆500的周围条件。因此，与自动驾驶模式相比，车辆控制单元502和半导体器件506仅使用少量DDR存储器514。
根据本实施例的视频编码设备18可以根据车辆的驾驶模式可变地调整要使用的DDR存储器的容量。例如，视频编码设备18可以根据车辆的驾驶模式来开启和关闭无损压缩参考图像的功能。视频编码设备18还可以根据可用存储器的量来调整DDR存储器514中存储的参考图像的数目。
当关闭无损压缩时，参考图像存储器的存储器容量很大，从而可以针对所有分割图像(例如，宏块)存储参考图像。视频编码设备18可以最佳地选择要进行帧内编码或帧间编码的宏块，而不受限于存储器容量。因此，提高了编码效率，并且改善了图像质量。另一方面，当无损压缩参考图像的功能开启时，因为不能充分确保存储器容量，所以视频编码设备18中的参考图像存储确定单元111基于与第一实施例至第四实施例有关的确定方法来确定是否将参考图像的压缩数据存储在参考图像存储器113中。因此，视频编码设备18可以在抑制图像质量下降的同时对输入运动图片DVin进行编码。也就是说，由于车辆500具有驾驶模式确定单元503，所以可以使视频编码设备18根据车辆500的驾驶模式来执行最佳运动图像编码。
尽管已经基于上述实施例对由本发明做出的发明进行了具体描述，但是本发明不限于已经描述的实施例，并且在不脱离其要旨的情况下可以进行各种修改。例如，第三实施例可以与第二实施例、第四实施例或第五实施例组合。
进一步地，在第一实施例4的说明中，当执行单位区域(例如，MBL)的编码处理时，针对分割图像(例如，MB)中的每个分割图像，参考图像被存储在参考图像存储器113中。然而，参考图像可以被存储在参考图像存储器113中，例如，在确定是否将被包括在单位区域中的所有分割图像(例如，所有MB)存储在参考图像存储器113中之后，所有的分割图像可以被存储在单位区域中。也就是说，可以在确定1MBL中的所有MB是否可以被存储在参考图像存储器113中之后，共同执行参考图像在参考图像存储器113中的存储。

Claims (20)

1.一种用于对运动图片数据进行编码的运动图片编码设备，包括：
图像编码单元，用于通过获得要经受预测编码的分割图像与参考图像之间的差异来执行预测编码；
局部解码生成单元，用于基于所述分割图像的编码结果来生成所述参考图像；
压缩单元，用于压缩所述参考图像以生成压缩数据；
可允许数据量设置单元，用于针对所述运动图片数据的每个预定区域提前设置在存储器中存储的所述压缩数据的可允许数据量；以及
参考图像存储确定单元，用于确定是否将所述压缩数据存储在所述存储器中；以及
帧间预测单元，用于基于在所述存储器中存储的所述参考图像来执行运动矢量搜索以进行帧间编码，
其中所述参考图像存储确定单元基于所述可允许数据量来确定是否将所述压缩数据存储在所述存储器中，并且基于用于将所述压缩数据存储在所述存储器中的确定结果来将所述压缩数据存储在所述存储器中。
2.根据权利要求1所述的运动图片编码设备，其中所述帧间预测单元搜索与所述存储器中存储的所述压缩数据相对应的所述参考图像作为运动矢量搜索的搜索范围。
3.根据权利要求2所述的视频编码设备，其中所述压缩单元无损压缩所述参考图像以生成所述压缩数据。
4.根据权利要求3所述的运动图像编码设备，还包括：
存储数据量计算单元，用于计算当在所述存储器中的所述压缩数据被存储时所需的所述预定区域的存储数据量；以及
比较单元，用于将所述可允许数据量与所述存储数据量进行比较并且输出比较结果；
其中所述参考图像存储确定单元基于所述比较结果来确定是否将所述压缩数据存储在所述存储器中。
5.根据权利要求4所述的运动图像编码设备，还包括：
标志存储单元，存储指示所述压缩数据是否被存储在所述存储器中的标志；
参考图像存在判断单元，基于所述标志来确定所述参考图像是否被存储在所述存储器中；以及
解压缩单元，扩展在所述存储器中存储的所述压缩数据，
其中所述参考图像存在判断单元读取所述标志存储单元中存储的、关于所述参考图像存在与否的参考图像信息，以及
当所述参考图像信息指示所述压缩数据被存储在所述存储器中时，所述参考图像存在判断单元从所述存储器读取所述压缩数据，并且将所述压缩数据传输到所述解压缩单元，并且所述解压缩单元将通过解压缩所述压缩数据而生成的所述参考图像传输到所述帧间预测单元。
6.根据权利要求4所述的运动图像编码设备，还包括：
帧内预测单元，用于计算所述分割图片的帧内编码所需的第一编码成本；以及
帧内帧间确定单元，用于确定所述分割图片是通过帧内编码还是帧间编码而被编码；
所述帧内预测单元将所述第一编码成本传输到所述帧内帧间确定单元，
所述帧间预测单元使用所述分割图片与所述参考图片之间的差异来计算帧间编码所需的第二编码成本，所述第二编码成本被传输到所述帧内帧间确定单元，以及
所述帧内帧间确定单元基于所述第一编码成本和所述第二编码成本的成本比较结果来确定所述分割图片是通过帧内编码还是帧间编码而被编码。
7.根据权利要求5所述的运动图像编码设备，
其中所述参考图像存在判断单元基于所述参考图像信息来确定所述参考图像是否被存储在所述参考图像能够被参考以对所述分割图像进行帧间编码的区域中，并且当所述区域中没有要参考的参考图像时，所述参考图像存在判断单元向所述帧内帧间确定单元传输要进行帧内编码的指令信息。
8.根据权利要求6所述的运动图像编码设备，其中所述帧内预测单元估计在多个帧内模式下对所述分割图像进行编码所需的多个代码量，基于所估计的多个代码量来计算多个编码成本，并且将所述多个编码成本中的最小编码成本作为所述第一编码成本传输到所述帧内帧间确定单元。
9.根据权利要求6所述的运动图像编码设备，其中所述帧间预测单元基于所述分割图像与多个参考图像中的每个参考图像之间的差异来估计通过帧间编码对所述分割图像进行编码所需的多个代码量，所述多个参考图像能够被参考以对所述分割图像进行编码，所述帧间预测单元基于所估计的多个代码量来计算多个编码成本，并且将所述多个编码成本中的最小编码成本作为所述第二编码成本传输到所述帧内帧间确定单元。
10.根据权利要求4所述的运动图像编码设备，
其中所述参考图像存储确定单元基于要存储在所述存储器中的所述参考图像的复杂度和所述参考图像的所述复杂度的预定阈值，确定是否将所述参考图像存储在所述存储器中；以及
其中所述复杂度是表示所述运动图像数据的局部不平坦度的参数。
11.根据权利要求10所述的运动图像编码设备，其中所述参考图像存储确定单元基于所述比较结果和通过将所述参考图像的所述复杂度与所述复杂度的所述预定阈值进行比较而得到的复杂度比较结果，搜索所述存储器中存储的另外的压缩数据，并且基于所述参考图像的所述复杂度、所述另外的压缩数据的复杂度、与所述参考图像相对应的所述压缩数据的数据量、以及所述另外的压缩数据的数据量，用所述压缩数据来替换所述另外的压缩数据。
12.根据权利要求4所述的运动图像编码设备，还包括帧内刷新区域确定单元，其中所述帧内刷新区域确定单元基于不能被存储在所述存储器中的所述参考图像的数目来改变帧内刷新区域的大小。
13.根据权利要求4所述的运动图片编码设备，
其中所述预定区域是宏块行，以及
其中所述可允许数据量针对被包括在所述运动图片数据中的多个宏块行中的每个宏块行而被预先确定。
14.一种运动图片编码设备的操作方法，所述运动图片编码设备包括图像编码单元、局部解码生成单元、压缩单元、可允许数据量设置单元、参考图像存储确定单元、以及帧间预测单元，所述操作方法包括：
由所述图像编码单元通过计算要经受预测编码的分割图像与参考图像之间的差异，来执行预测编码；
通过所述局部解码生成单元、基于所述分割图像的编码结果来生成参考图像；
通过所述压缩单元来压缩所述参考图像以生成压缩数据；
通过所述可允许数据量设置单元、针对所述运动图片数据的每个预定区域来设置存储器中存储的所述压缩数据的可允许数据量；
通过所述参考图像存储确定单元来确定是否将所述压缩数据存储在所述存储器中；
通过所述参考图像存储确定单元将所述压缩数据存储在所述存储器中；以及
通过所述帧间预测单元、基于所述存储器中存储的所述参考图像来执行运动矢量搜索以进行帧间编码，
其中所述确定包括：基于所述可允许数据量来确定是否将所述压缩数据存储在所述存储器中，
其中所述存储基于所述确定的结果，以及
其中执行所述运动矢量搜索包括：搜索搜索范围，在所述搜索范围内，与所述参考图像相对应的所述压缩数据被存储在所述存储器中。
15.根据权利要求14所述的运动图片编码设备的操作方法，所述运动图片编码设备还包括存储数据量计算单元和比较单元；
其中所述确定包括：
计算存储数据量，所述存储数据量是当所述压缩数据被存储在所述存储器中时所述预定区域所消耗的数据量；
通过所述比较单元将所述可允许数据量与所述存储数据量进行比较；以及
通过所述比较单元输出比较结果，
其中所述压缩包括：压缩所述参考图像以无损地生成所述压缩数据，以及
其中所述参考图像存储确定单元的所述确定包括：基于所述比较结果来确定是否将所述压缩数据存储在所述存储器中。
16.根据权利要求15所述的运动图片编码设备的操作方法，
其中所述预定区域是宏块行，以及
其中所述可允许数据量针对被包括在所述运动图片数据中的多个宏块行中的每个宏块行而被预先确定。
17.根据权利要求15所述的运动图片编码设备的所述操作方法，所述运动图片编码设备还包括标志存储单元、参考图像存在判断单元、以及解压缩单元，所述操作方法还包括：
通过所述标志存储单元来存储指示所述压缩数据是否被存储在所述存储器中的标志；
通过所述参考图像存在判断单元、基于所述标志来确定所述参考图像是否被存储在所述存储器中；以及
通过所述解压缩单元来扩展存储在所述存储器中的所述压缩数据，
其中执行所述运动矢量搜索还包括：
通过所述参考图像存在判断单元来读取关于所述标志存储单元中存储的所述参考图像存在与否的参考图像信息，以及
通过所述参考图像存在判断单元、当所述参考图像信息指示所述压缩数据被存储在所述存储器中时从所述存储器中读取所述压缩数据，以及
通过所述参考图像存在判断单元向所述解压缩单元传输所述压缩数据，以及
通过所述解压缩单元向所述帧间预测单元传输所述压缩数据。
18.一种车辆，包括：
相机，用于输出运动图像数据；
运动图像编码设备，用于输入从所述相机输出的所述运动图像数据；以及
存储器，
其中所述运动图像编码设备包括：
图像编码单元，用于通过确定要经受预测编码的分割图像与参考图像之间的差异来执行预测编码；
局部解码生成单元，用于基于所述分割图像的编码结果来生成参考图像；
压缩单元，用于压缩所述参考图像以生成压缩数据；
可允许数据量设置单元，用于针对所述运动图像数据的每个预定区域设置在存储器中存储的所述压缩数据的可允许数据量；
参考图像存储确定单元，用于确定是否将所述压缩数据存储在所述存储器中；以及
帧间预测单元，用于基于在所述存储器中存储的所述参考图像来执行运动矢量搜索以进行帧间编码，
其中所述参考图像存储确定单元基于所述可允许数据量来确定是否将所述压缩数据存储在所述存储器中，并且基于所述压缩数据被存储在所述存储器中的确定结果来将所述压缩数据存储在所述存储器中；
其中所述帧间预测单元搜索与在所述存储器中存储的所述压缩数据相对应的所述参考图像以用于运动矢量搜索，以及
其中所述运动图像编码设备根据驾驶模式改变要使用的所述存储器的量。
19.根据权利要求18所述的车辆，
其中所述车辆包括第一驾驶模式和不同于所述第一驾驶模式的第二驾驶模式作为所述驾驶模式，
其中所述视频编码设备在所述车辆以自动操作运行的所述第一驾驶模式下使用所述存储器的第一存储器量，
其中所述视频编码设备在所述车辆以手动操作运行的所述第二驾驶模式下使用所述存储器的第二存储器量，以及
其中所述第一存储器量小于所述第二存储器量。
20.根据权利要求19所述的车辆，
其中所述运动图片编码设备的所述无损压缩功能在所述第一驾驶模式下被启用，
其中所述可允许数据量根据所述第一存储器量被调整，以及
其中所述运动图片编码设备的所述无损压缩功能在所述第二驾驶模式下被禁用。
CN201911158718.2A 2018-12-18 2019-11-22 视频编码设备及其操作方法以及配备有视频编码设备的车辆 Pending CN111343456A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-236818 2018-12-18
JP2018236818A JP7224892B2 (ja) 2018-12-18 2018-12-18 動画像符号化装置及びその動作方法、動画像符号化装置を搭載する車両

Publications (1)

Publication Number Publication Date
CN111343456A true CN111343456A (zh) 2020-06-26

Family

ID=68655299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911158718.2A Pending CN111343456A (zh) 2018-12-18 2019-11-22 视频编码设备及其操作方法以及配备有视频编码设备的车辆

Country Status (5)

Country Link
US (2) US11102475B2 (zh)
EP (1) EP3672247B1 (zh)
JP (1) JP7224892B2 (zh)
KR (1) KR20200075736A (zh)
CN (1) CN111343456A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022110131A1 (zh) * 2020-11-30 2022-06-02 深圳市大疆创新科技有限公司 帧间预测方法、装置、编码器、解码器和存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11184623B2 (en) 2011-09-26 2021-11-23 Texas Instruments Incorporated Method and system for lossless coding mode in video coding
JP7224892B2 (ja) 2018-12-18 2023-02-20 ルネサスエレクトロニクス株式会社 動画像符号化装置及びその動作方法、動画像符号化装置を搭載する車両
CN112714316B (zh) * 2020-12-21 2023-01-31 太原智林信息技术股份有限公司 基于视频码流的规则标志检测和分类识别方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001045423A2 (en) * 1999-12-14 2001-06-21 Kabushiki Kaisha Toshiba Moving image encoding apparatus
US20040175049A1 (en) * 2003-03-04 2004-09-09 Matsushita Electric Industrial Co., Ltd Moving image coding method and apparatus
US20070025443A1 (en) * 2005-07-27 2007-02-01 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus, method and program
US20080056368A1 (en) * 2006-08-30 2008-03-06 Oki Electric Industry Co., Ltd. Motion vector search apparatus
CN101547354A (zh) * 2008-03-26 2009-09-30 联发科技股份有限公司 实现运动估计的视频编码器与其运动估计方法
US20100316123A1 (en) * 2008-04-24 2010-12-16 Panasonic Corporation Moving image coding device, imaging device and moving image coding method
US20110051815A1 (en) * 2009-08-25 2011-03-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding data and method and apparatus for decoding data
CN102769753A (zh) * 2012-08-02 2012-11-07 豪威科技(上海)有限公司 H264编码器及编码方法
CN102823245A (zh) * 2010-04-07 2012-12-12 文森索·利古奥里 具有减少的内存需求的视频传输系统
WO2013080789A1 (en) * 2011-11-28 2013-06-06 Canon Kabushiki Kaisha Moving image encoding apparatus, method of controlling the same, and program
CN104333760A (zh) * 2014-10-10 2015-02-04 华为技术有限公司 三维图像编码方法和三维图像解码方法及相关装置
US20170280137A1 (en) * 2016-03-28 2017-09-28 Fujitsu Limited Image compressing device and image compressing method
US20180109802A1 (en) * 2016-10-19 2018-04-19 Canon Kabushiki Kaisha Image coding apparatus, image coding method, and non-transitory computer-readable storage medium

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08116539A (ja) * 1994-10-17 1996-05-07 Hitachi Ltd 動画像符号化装置と動画像符号化方法
EP2141930A4 (en) * 2007-04-26 2011-03-23 Panasonic Corp MOTION DETECTION APPARATUS, MOTION DETECTION METHOD, AND MOTION DETECTION PROGRAM
JP5427785B2 (ja) * 2007-09-28 2014-02-26 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ圧縮技法及びビデオ伝達技法
US8194736B2 (en) 2008-04-15 2012-06-05 Sony Corporation Video data compression with integrated lossy and lossless compression
US20100098166A1 (en) 2008-10-17 2010-04-22 Texas Instruments Incorporated Video coding with compressed reference frames
JP5328629B2 (ja) * 2009-12-17 2013-10-30 株式会社メガチップス エンコーダおよび画像変換装置
JP5396302B2 (ja) * 2010-02-08 2014-01-22 パナソニック株式会社 映像信号符号化装置及び映像信号符号化方法
JP5583439B2 (ja) * 2010-03-17 2014-09-03 パナソニック株式会社 画像符号化装置及びカメラシステム
JP5585271B2 (ja) * 2010-07-27 2014-09-10 富士通株式会社 動画像符号化装置
JP5585290B2 (ja) * 2010-08-12 2014-09-10 富士通株式会社 動画像符号化装置
JP5767816B2 (ja) * 2011-01-20 2015-08-19 ルネサスエレクトロニクス株式会社 記録装置に搭載可能な半導体集積回路およびその動作方法
JP6066557B2 (ja) * 2011-12-26 2017-01-25 株式会社メガチップス データ記憶制御装置、データ記憶装置、データ記憶方法、圧縮回路、および圧縮方法
US8873872B1 (en) * 2012-04-18 2014-10-28 Matrox Graphics Inc. Division of entropy coding in codecs
EP3033876A4 (en) * 2013-08-12 2017-07-12 Intel Corporation Techniques for low power image compression and display
JP6410495B2 (ja) * 2014-07-07 2018-10-24 ルネサスエレクトロニクス株式会社 画像符号化装置、画像復号装置、および画像通信システム
US20160277767A1 (en) * 2015-03-16 2016-09-22 Thomson Licensing Methods, systems and apparatus for determining prediction adjustment factors
US10743023B2 (en) * 2015-12-04 2020-08-11 Sony Corporation Image processing apparatus and image processing method
CN110036639B (zh) * 2016-12-12 2022-02-11 索尼公司 图像处理装置及方法
US10972738B2 (en) * 2018-03-29 2021-04-06 Mediatek Inc. Video encoding apparatus having reconstruction buffer with fixed size and/or bandwidth limitation and associated video encoding method
BR112020024142A2 (pt) * 2018-06-29 2021-03-02 Beijing Bytedance Network Technology Co., Ltd. método para processamento de vídeo, aparelho para codificação de dados de vídeo, meio de armazenamento e meio de gravação legíveis por computador não transitório
US11109023B2 (en) * 2018-11-27 2021-08-31 Tencent America LLC Intra mode selection in intra prediction
JP7224892B2 (ja) * 2018-12-18 2023-02-20 ルネサスエレクトロニクス株式会社 動画像符号化装置及びその動作方法、動画像符号化装置を搭載する車両
US10855983B2 (en) * 2019-06-13 2020-12-01 Intel Corporation Encoding video using two-stage intra search

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001045423A2 (en) * 1999-12-14 2001-06-21 Kabushiki Kaisha Toshiba Moving image encoding apparatus
US20040175049A1 (en) * 2003-03-04 2004-09-09 Matsushita Electric Industrial Co., Ltd Moving image coding method and apparatus
US20070025443A1 (en) * 2005-07-27 2007-02-01 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus, method and program
US20080056368A1 (en) * 2006-08-30 2008-03-06 Oki Electric Industry Co., Ltd. Motion vector search apparatus
CN101547354A (zh) * 2008-03-26 2009-09-30 联发科技股份有限公司 实现运动估计的视频编码器与其运动估计方法
CN101960858A (zh) * 2008-04-24 2011-01-26 松下电器产业株式会社 运动图像编码装置、摄像装置以及运动图像编码方法
US20100316123A1 (en) * 2008-04-24 2010-12-16 Panasonic Corporation Moving image coding device, imaging device and moving image coding method
US20110051815A1 (en) * 2009-08-25 2011-03-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding data and method and apparatus for decoding data
CN102823245A (zh) * 2010-04-07 2012-12-12 文森索·利古奥里 具有减少的内存需求的视频传输系统
WO2013080789A1 (en) * 2011-11-28 2013-06-06 Canon Kabushiki Kaisha Moving image encoding apparatus, method of controlling the same, and program
CN102769753A (zh) * 2012-08-02 2012-11-07 豪威科技(上海)有限公司 H264编码器及编码方法
CN104333760A (zh) * 2014-10-10 2015-02-04 华为技术有限公司 三维图像编码方法和三维图像解码方法及相关装置
US20170280137A1 (en) * 2016-03-28 2017-09-28 Fujitsu Limited Image compressing device and image compressing method
US20180109802A1 (en) * 2016-10-19 2018-04-19 Canon Kabushiki Kaisha Image coding apparatus, image coding method, and non-transitory computer-readable storage medium

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022110131A1 (zh) * 2020-11-30 2022-06-02 深圳市大疆创新科技有限公司 帧间预测方法、装置、编码器、解码器和存储介质

Also Published As

Publication number Publication date
EP3672247A1 (en) 2020-06-24
JP7224892B2 (ja) 2023-02-20
US11606552B2 (en) 2023-03-14
US11102475B2 (en) 2021-08-24
JP2020099013A (ja) 2020-06-25
EP3672247B1 (en) 2023-07-05
KR20200075736A (ko) 2020-06-26
US20210352278A1 (en) 2021-11-11
US20200195918A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
CN111343456A (zh) 视频编码设备及其操作方法以及配备有视频编码设备的车辆
US7532764B2 (en) Prediction method, apparatus, and medium for video encoder
US8331449B2 (en) Fast encoding method and system using adaptive intra prediction
KR101362590B1 (ko) 화상 처리 장치 및 방법
US11064203B2 (en) SSIM-based rate distortion optimization for improved video perceptual quality
KR20170083455A (ko) 참조 이미지 프로세싱을 위한 방법, 애플리케이션 프로세서 및 모바일 기기
WO2016196843A1 (en) Techniques for resource conservation during performance of intra block copy prediction searches
CN106604036B (zh) 数据编码设备和数据编码方法
US20080037637A1 (en) Moving picture encoding apparatus
CN109819248B (zh) 视频解码装置、包括该装置的计算系统和视频解码方法
US8290041B2 (en) Communication terminal
CN108156461B (zh) 一种Bayer图像压缩方法及装置
JP5649296B2 (ja) 画像符号化装置
KR102413038B1 (ko) 예측 화상 보정 장치, 화상 부호화 장치, 화상 복호 장치, 및 프로그램
EP1784984A1 (en) Fast motion estimation for multiple reference pictures
JP2010233263A (ja) 画像処理装置および方法、プログラム、並びに、記録媒体
US11683497B2 (en) Moving picture encoding device and method of operating the same
US8249373B2 (en) Image data decoding apparatus and method for decoding image data
JP4823150B2 (ja) 符号化装置並びに符号化方法
WO2022140905A1 (zh) 预测方法、编码器、解码器以及存储介质
KR102163556B1 (ko) 압축 영역에서 야간 영상의 장면 전환 검출 방법 및 장치
US10992942B2 (en) Coding method, decoding method, and coding device
TWI788268B (zh) 圖像編碼裝置、圖像解碼裝置、其等之控制方法及程式
KR100507441B1 (ko) 가변장 부호의 입력 특성을 이용한 영상 신호 압축 방법및 상기 방법을 수행하는 비디오 인코더
JP2005176095A (ja) 画像符号化装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination