CN100563321C - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN100563321C
CN100563321C CNB2005800095335A CN200580009533A CN100563321C CN 100563321 C CN100563321 C CN 100563321C CN B2005800095335 A CNB2005800095335 A CN B2005800095335A CN 200580009533 A CN200580009533 A CN 200580009533A CN 100563321 C CN100563321 C CN 100563321C
Authority
CN
China
Prior art keywords
data
memory cell
coding
implemented
jpeg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2005800095335A
Other languages
English (en)
Other versions
CN1934859A (zh
Inventor
郭顺也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN1934859A publication Critical patent/CN1934859A/zh
Application granted granted Critical
Publication of CN100563321C publication Critical patent/CN100563321C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

多个GOP分别包含正方向的起始帧被实施了帧内编码、且在正方向上与起始帧连续的帧被实施了交互编码的多个帧的图像数据。CPU(36)向逆方向顺序地指定该多个GOP块。MPEG4编解码器(38)对在被指定的GOP块中所包含的多个帧的图像数据向正方向进行解码。JPEG编解码器(40)对被解码的多个帧的各个图像数据向正方向实施帧内编码。CPU(36)判断被实施了帧内编码的帧数是否大于等于阈值。JPEG编解码器(40)在CPU(36)的判断结果为肯定时，对被实施了帧内编码的多个帧的图像数据向逆方向进行解码。

Description

图像处理装置
技术领域
本发明涉及图像处理装置，特别涉及例如对包含被实施了帧内(intraencoding)编码的画面和被实施了交互编码的画面的多个画面的图像数据进行处理的图像处理装置。
背景技术
关于以往的这种装置，在2003年2月21日公布的特开2003-52020号公报中公开了其中一例。根据该以往技术，当接收到反向再生指令时，形成MPEG视频流的B画面和P画面沿着正方向(第1时间轴方向)被解码，被解码的图像数据沿着反方向(第2时间轴方向)被再编码成B画面，然后生成由形成MPEG视频流的I画面和被再编码的B画面构成的再编码化数据串。MPEG视频解码器把这样生成的再编码化数据串，向反方向解码，并把被解码的图像数据输出到显示电路。由此，可实现顺利的反向再生。但是，采用以往技术需要准备2个MPEG解码器，所以存在着增大电路规模的问题。
发明内容
因此，本发明的主要目的是，提供一种新型的图像处理装置。
本发明的其他目的是，提供一种可抑制电路规模，且能够把沿着第1时间轴方向被实施了帧内编码和交互编码的多个画面的图像数据，向与第1时间轴方向相反的方向的第2时间轴方向再现的图像处理装置。
根据本发明之1，图像处理装置由搭载了多任务OS的处理器并行进行多个任务处理来执行动态图像再生处理，该图像处理装置包括如下部分：第1解码单元，其根据第1任务而进行动作，该第1任务为：对于分别包含第1时间轴方向的起始画面实施帧内编码、且在第1时间轴方向上与起始画面连续的画面被实施了交互编码的多个画面的图像数据的多个数据块，沿着与第1时间轴方向相反的第2时间轴方向顺序地进行指定，并对该指定的数据块中所包含的多个画面的图像数据，沿着第1时间轴方向顺序地进行解码；编码单元，其根据第2任务而进行动作，该第2任务为：对由第1解码单元解码的图像数据实施帧内编码，并依次存储到存储器中；和第2解码单元，其根据第3任务而进行动作，该第3任务为：对由编码单元实施了帧内编码的图像数据，按照与存储时的顺序相反的顺序从所述存储器中进行解码；所述第2解码单元判断被所述编码单元实施了帧内编码的画面数是否在规定数量以上，在判断结果为肯定时，进行解码处理。
多个数据块分别包含第1时间轴方向的起始画面被实施了帧内编码、且在第1时间轴方向上与起始画面连续的画面被实施了交互编码的多个画面的图像数据。指定单元沿着与第1时间轴方向相反的第2时间轴方向顺序地进行指定该多个数据块。第1解码单元对指定的数据块中所包含的多个画面的图像数据，沿着第1时间轴方向顺序地进行解码；编码单元对被解码的多个画面的图像数据的各个，沿着第1时间轴方向实施帧内编码。由第2解码单元对被编码的多个画面的图像数据，沿着第2时间轴方向顺序地进行解码。
即，由第1解码单元在第1时间轴方向解码的图像数据由编码单元在第1时间轴方向实施帧内编码。被实施了帧内编码的图像数据之后由第2解码单元在第2时间轴方向解码。通过采用帧内编码，可抑制电路规模，可在第2时间轴方向再现图像数据。
根据基于本发明之1的本发明之2，图像处理装置还包括判断被实施了帧内编码的画面数是否大于等于阈值的判断单元，第2解码单元在判断单元的判断结果为肯定时，进行解码处理。
图像数据的帧内编码处理沿着第1时间轴方向执行，另一方面，被实施了帧内编码的图像数据的解码处理是沿着第2时间轴方向执行。因此，在本发明之2中，判断被实施了帧内编码的画面数是否超过了阈值，在判断结果为肯定时执行解码处理。由此，可避免处理的破绽。
根据基于本发明之1或2的本发明之3，在图像处理装置中编码单元和第2解码单元按照JPEG方式进行编码和解码。
根据基于本发明之1至3中任一发明的本发明之4，在图像处理装置中，第1时间轴方向是正方向，第2时间轴方向是逆方向。
根据本发明之5，通过图像处理装置的处理器来执行的图像处理程序包括如下步骤：指定步骤，该步骤对于分别包含第1时间轴方向的起始画面实施了帧内编码、且在第1时间轴方向上与起始画面连续的画面实施了交互编码的多个画面的图像数据的多个数据块，沿着与第1时间轴方向相反的第2时间轴方向顺序地进行指定；第1解码步骤，该步骤对在指定步骤中指定的数据块中所包含的多个画面的图像数据，沿着第1时间轴方向顺序地进行解码；编码步骤，该步骤对在第1解码步骤中解码的多个画面的图像数据的各个，沿着第1时间轴方向实施帧内编码；和第2解码步骤，该步骤对在编码步骤中被编码的多个画面的图像数据，沿着第2时间轴方向顺序地进行解码。
与本发明之1同样，由第1解码步骤在第1时间轴方向解码的图像数据由编码步骤在第1时间轴方向实施帧内编码。被实施了帧内编码的图像数据，之后由第2解码步骤在第2时间轴方向解码。通过采用帧内编码，可抑制电路规模，可在第2时间轴方向再现图像数据。
根据本发明之6，图像处理装置包括如下部分：处理器，其对于分别包含第1时间轴方向的起始画面被实施了帧内编码、且在第1时间轴方向上与起始画面连续的画面被实施了交互编码的多个画面的图像数据的多个数据块，沿着与第1时间轴方向相反的第2时间轴方向顺序地进行指定；解码器，其对由处理器指定的数据块中所包含的多个画面的图像数据，沿着第1时间轴方向顺序地进行解码；和编解码器，其对由解码器所解码的多个画面的图像数据的各个，沿着第1时间轴方向实施帧内编码，并且对被实施了帧内编码的多个画面的图像数据，沿着第2时间轴方向顺序地进行解码。
多个数据块分别包含第1时间轴方向的起始画面被实施了帧内编码、且在第1时间轴方向上与起始画面连续的画面被实施了交互编码的多个画面的图像数据。处理器沿着与第1时间轴方向相反的第2时间轴方向顺序地进行指定该多个数据块。解码器对指定的数据块中所包含的多个画面的图像数据，沿着第1时间轴方向顺序地进行解码；编解码器对被解码的多个画面的图像数据的各个，沿着第1时间轴方向实施帧内编码，并且对被编码的多个画面的图像数据，沿着第2时间轴方向顺序地进行解码。
与本发明之1或5同样，可抑制电路规模，可在第2时间轴方向再现图像数据。
根据基于本发明之6的本发明之7，在图像处理装置中，处理器交替地命令编解码器进行编码处理和解码处理，编解码器执行根据来自处理器的命令的处理。
关于本发明的上述的目的、其他目的、特征以及优点，通过参照附图进行的对以下的实施例的详细说明，可进一步加深理解。
附图说明
图1是表示本发明的一个实施例的结构的方框图。
图2是表示在图1的实施例中使用的SDRAM的映射状态的一例的图解图。
图3是表示图1的实施例的动作的一部分的图解图。
图4是表示图1的实施例的动作的另外一部分的图解图。
图5(A)是表示图1的实施例的动作的另外一部分的图解图。
图5(B)是表示图1的实施例的动作的另外一部分的图解图。
图5(C)是表示图1的实施例的动作的另外一部分的图解图。
图5(D)是表示图1的实施例的动作的另外一部分的图解图。
图6是表示图1的实施例中使用的CPU的动作的一部分的流程图。
图7是表示图1的实施例中使用的CPU的动作的另外一部分的流程图。
图8是表示图1的实施例中使用的CPU的动作的另外一部分的流程图。
图9是表示图1的实施例中使用的CPU的动作的另外一部分的流程图。
图10是表示图1的实施例中使用的CPU的动作的另外一部分的流程图。
图11是表示图1的实施例中使用的CPU的动作的另外一部分的流程图。
图12是表示图1的实施例中使用的CPU的动作的另外一部分的流程图。
具体实施方式
参照图1，本实施例的数字摄像机10包括光学透镜12。被摄景物的光学影像通过光学透镜12照射在图像传感器14的摄像面上。摄像面通过光电转换，生成与被摄景物的光学影像对应的电荷，即原图像信号。
当利用设置在键输入装置46上的模式键46a选择了摄像模式时，执行直通图像处理，也就是把被摄景物的实时动态图像显示在LCD监视器30上的处理。CPU36首先命令驱动器16反复进行预曝光和间隔提取读出。响应根据时钟CLK1从分频器34输出的垂直同步信号Vsync1来执行预曝光和抽样读出。垂直同步信号Vsync1以1/30秒一次的比例产生，并且从图像传感器14以30fps的帧速率输出与被摄景物的光学影像对应的低分辨率的原图像信号。
被输出的各个帧的原图像信号，由CDS/AGC/AD电路18实施噪声除去、电平调整和A/D转换的一系列的处理，由此可获得数字信号的原图像数据。信号处理电路20对从CDS/AGC/AD电路18输出的原图像数据实施白平衡调整、色分离、YUV转换等处理，生成YUV形式的图像数据。所生成的各个帧的图像数据由存储器控制电路24写入SDRAM26。
视频编码器28响应根据时钟CLK2从分频器32输出的垂直同步信号Vsync2，请求存储器控制电路24读出图像数据。垂直同步信号Vsync2也是以1/30秒一次的比例产生，图像数据以30fps的帧速率从SDRAM26被转送到视频编码器28。
视频编码器28根据NTSC格式把被转送来的图像数据转换成组合视频信号，并把被转换的组合视频信号提供给LCD监视器30。其结果，被摄景物的直通图像被显示在监视器画面上。另外，虽然在以下的说明中进行了适当的省略，但对SDRAM26的访问必须通过存储器控制电路24进行。
当操作了静态图像摄影键46e时，CPU36命令驱动器16进行一次正式曝光和一次全体像素的读出。驱动器16逐一执行图像传感器14的正式曝光、和由此生成的原图像信号的全体像素的读出。由此，从图像传感器14输出与被摄景物的光学影像对应的高分辨率的原图像信号。被输出的原图像信号通过与上述同样的处理，被转换成YUV形式的静态图像数据，被转换的静态图像数据被写入SDRAM26。
CPU36还向JPEG编解码器40输出压缩命令。JPEG编解码器40从SDRAM26读出静态图像数据，对读出的静态图像数据进行JPEG压缩，然后把压缩静态图像数据，也就是JPEG数据写入SDRAM26。CPU36然后从SDRAM26中读出JPEG数据，把包含JPEG数据的JPEG文件通过I/F42记录到记录介质44上。
另外，记录介质44是装卸自如的半导体存储器，在安装在未图示的插槽上时，通过I/F42可进行存取。
当在直通图像被显示在LCD监视器30上的状态下，操作了动态摄影键46时，CPU36启动MPEG4编解码器34。MPEG4编解码器34在每次产生垂直同步信号Vsync1时，从SDRAM26中读出各个帧的图像数据，对读出的图像数据实施根据MPEG4格式的单描述文件(signal profile)的压缩处理。图像数据以大约15帧一次的比例被实施帧内编码，在其余的帧实施交互编码。把这样生成的压缩动态图像数据，即MPEG数据写入SDRAM26中。
把被实施了帧内编码的帧定义为“I帧”，把被实施了交互编码的帧定义为“P帧”。另外，把由I帧和接在其后的多个P帧构成的块定义为“GOP(Group Of Pictures)”。于是，MPEG数据成为具有图3所示的数据结构的数据。对各个GOP分配有从“0”开始的识别编号。
CPU40把被存储在SDRAM26中的MPEG数据周期性地读出，并把读出的MPEG数据通过I/F42记录到记录介质44中。当再次操作了动态图像摄影键46d时，CPU36使MPEG4编解码器38无效，并把残留在SDRAM26中的MPEG数据记录到记录介质44中，在记录介质44内，作成包含多个帧的MPEG数据的MPEG文件。
当利用模式键46a选择了再现模式，并利用光标键46c和设置键46b选择了所希望的JPEG文件时，CPU36把被存放在该JPEG文件中的JPEG数据从记录介质44转送到SDRAM26，并且向JPEG编解码器40发出解压缩命令。JPEG编解码器40从SDRAM26读出JPEG数据，对读出的JPEG数据进行解压缩，并把被解压缩后的图像数据写入SDRAM26。视频编码器28在每次产生垂直同步信号Vsync2时，从SDRAM26中读出图像数据，把读出的图像数据转换成NTSC格式的组合视频信号，然后把被转换的组合视频信号提供给LCD监视器30。由此，静态图像被显示在LCD监视器30上。
当在选择了再现模式的状态下利用光标键46c和设置键46b选择了所希望的MPEG文件时，执行该MPEG文件的再现处理。CPU36首先把被存放在MPEG文件中的起始帧的MPEG数据从记录介质44转送到SDRAM26，并向MPEG4编解码器38输出解压缩命令。MPEG编解码器38从SDRAM26中读出起始帧的MPEG数据，并对被读出的MPEG数据进行解压缩，然后把被解压缩的图像数据写入SDRAM26。视频编码器28进行与上述相同的处理，其结果，在LCD监视器30上显示起始帧的静态图像。
这里，当再次操作了设置键46b时，进行动态图像的再现。CPU36以相当于1个GOP的周期，把存放在所希望的MPEG文件中的MPEG数据以每1个GOP转送到SDRAM26，并且响应垂直同步信号Vsync1，向MPEG4编解码器38输出解压缩命令。MPEG4编解码器38响应垂直同步信号Vsync1，执行与上述同样的处理。视频编码器28在每次产生垂直同步信号Vxync2时，从SDRAM26读出图像数据，把读出的图像数据转换成NTSC格式的组合视频信号，然后把转换的组合视频信号提供给LCD监视器30。结果，接在起始帧之后的动态图像被显示在LCD监视器30上。
这样，在动态图像向正方向进行再现的途中，当用光标键36c指定了右方向时，动态图像向逆方向再现。此时，CPU36并行地执行图6～图7所示的MPEG解压缩任务，图8～图10所示的JPEG压缩任务，图11所示的JPEG解压缩任务以及图12所示的显示任务。
另外，CPU36在如μITRON那样的多任务OS的控制下，执行图6～图12所示的任务。与上述的任务对应的控制程序被存储在闪存存储器22中。
在再现模式下，SDRAM26按照如图2所示那样进行映射。存储单元26a(存储单元0)、存储单元26b(存储单元1)和存储单元26c(存储单元2)各个是存放被解压缩的1帧图像数据的区域。JPEG数据区域26d是存放各个帧的JIPEG数据的区域。JPEG索引区域26e是存放被存放在JPEG数据区域26d中的各个帧的JPEG数据的起始地址值的区域，其由45个列JPEG_index[0]～JPEG_index[44]形成。MPEG4数据区域26f是存放从记录介质44读出的MPEG数据的区域。
另外，从记录介质44向MPEG4数据区域26f的MPEG数据的转送是通过未图示的任务周期地进行。
参照图6，在步骤S1，进行各种变量的初始化。具体是，把GOP编号gop_num设定为“#”，把帧数vop_num设定为“*”，把列编号K设定为“vop_num-1”，而且把地址值jenc_adr设定为“JPG_START”。并且，把标志mdec_end、jenc_flg、jdec_flg以及disp_flg设定为“0”，把帧编号mdec_num、jenc_num以及jdec_num设定为“0”，而且把存储单元编号mbank、jbank、和dbank设定为“0”。
这里，GOP编号gop_num是关注的GOP的识别编号，“#”表示在指示了逆方向的动态图像再现的时刻被再现的帧所属的GOP的识别编号。帧数vop_num是应从关注的GOP再现的帧的数量，“*”表示对在被指示了逆方向的动态图像再现的时间点被再现的帧的编号加“1”后的值。
在属于图3所示的GOP(n+1)的15帧中，从被分配了帧编号“2”的帧开始进行逆方向再现的情况下，“#”表示n+1，“*”表示3。
列编号K是形成在图2所示的JPEG索引区域26e列的识别编号。地址值jenc_adr是开始JPEG数据的写入的地址的值，“JPG_START”是JPEG数据区域26d的起始地址值。
标志mdec_end是用于识别再现帧是否到达了MPEG文件的起始帧的标志。“0”表示未到达，“1”表示已经到达。标志jdec_flg是用于识别是否许可进行JPEG编解码器40的压缩处理的标志。“0”表示禁止，“1”表示许可。标志jdec_flg是用于识别是否许可JPEG编解码器40的解压缩处理的标志，“0”表示禁止，“1”表示许可。标志disp_flg是用于识别是否许可视频编码器28的编码处理的标志，“0”表示禁止，“1”表示许可。
帧编号mdec_num是应由MPEG4编解码器38解压缩的帧的识别编号。帧编号jenc_num是应由JPEG编解码器40进行压缩的帧的识别编号。帧编号jdec_num是应由JPEG编解码器40解压缩的帧的识别编号。
存储单元mbank是应存放由MPEG4编解码器38解压缩后的1帧的图像数据的存储单元的识别编号。存储单元jbank是存放了应由JPEG编解码器40进行压缩的1帧的图像数据的存储单元、或应存放由JPEG编解码器40解压缩的1帧的图像数据的存储单元的识别编号。存储单元dbank是存放了应显示在LCD监视器30上的1帧的图像数据的存储单元的识别编号。
在步骤S3中，判断是否产生了垂直同步信号Vsync1，如果是，则在步骤S5判断标志mdec_end是否为“1”。如果mdec_end＝0，则进入步骤S9以后的处理。如果mdec_end＝1，则在步骤S7把标志jdec_flg设定为“1”，然后返回步骤S3。
另外，在再现帧到达了MPEG文件的起始帧时，在后述的步骤S37中把标志mdec_end设定为“1”。另外，步骤S7是用于在完成了MPEG文件的起始帧的JPEG压缩后，取代后述的步骤S69来把标志jdec_flg设定为“1”的步骤。
在步骤S9中，把帧编号mdec_num设定为帧编号jenc_num。在步骤S11中把帧数vop_num设定为帧数jvop_nom，在步骤S13中把GOP编号gop_num设定为GOP编号jgop_num，在步骤S15中把存储单元编号mbank设定为存储单元编号jbank。
帧编号mdec_num、帧数vop_num、GOP编号gop_num以及存储单元编号mbank在MPEG解压缩任务中被参照，帧编号jenc_num、帧数jvop_num、GOP编号jgop_num以及存储单元编号jbank在JPEG压缩任务中被参照。通过步骤S9～S15的处理，对于相互关连的参数确保了同步。另外，从步骤S1的处理可看出，第1次的步骤S9的处理没有意义。
在步骤S17中，向GPEG4编解码器38发出1帧的解压缩命令。在发出的解压缩命令中包含GOP编号gop_num、帧编号mdec_num以及存储单元编号mbank。MPEG4编解码器38把根据GOP编号gop_num和帧编号mdec_num而确定的1帧的MPEG数据从图4所述的MPEG4数据区域26f中读出，并对被读出的MPEG数据进行解压缩，然后把被解压缩的图像数据写入图4所示的存储单元0～2中的与存储编号mbank对应的存储单元中。
在结束了解压缩处理后，在步骤S19判断为是，在步骤S21中把标志jenc_flg设定为“1”。由此，开始图8所示的步骤S43以后的处理。在步骤S23中，根据式1更新存储单元编号mbank。根据式1，通过用“3”除“mbank+1”所得到的余数被设定为存储单元编号mbank。
[式1]
mbank＝(mbank+1)％3
在步骤S25中，增加帧编号mdec_num，在步骤S27中判断被增加的帧编号mdec_num是否与帧数vop_num一致。这里，如果为否，则认为从关注的GOP中应再现的帧的MPEG解压缩还未完成，并直接返回步骤S3。
而在步骤S27中如果判断为是，则在应变更关注的GOP的步骤S29中减少GOP编号gop_num。在步骤S31中，判断被减少的GOP编号gop_num是否下降到“0”以下。
如果GOP编号gop_num为“0”以上，则进入步骤S33，把帧数vop_num设定为与GOP编号gop_num对应的GOP的帧数。然后，在步骤S35把帧编号mdec_num设定为“0”，并返回步骤S3。另一方面，如果GOP编号gop_num小于“0”，则为了结束MPEG解压缩处理而在步骤S37把标志mdec_end设定为“1”。在完成了步骤S37的处理后，返回步骤S3。
通过执行上述的MPEG解压缩任务，如图3所示，形成MPEG数据的多个GOP向逆方向被顺序地指定，形成被指定的GOP的多个帧被向正方向指定。MPEG4编解码器38按照存储单元0→存储单元1→存储单元2→存储单元0→…的顺序被写入存储单元0～2的各个中。
参照图8，在步骤S41中，判断标志jdec_flg是否表示“1”，如果是，则进入步骤S43。如上述那样，标志jdec_flg在完成了第1次的MPEG解压缩时，在步骤S21被更新为“1”。因此，步骤S43以后的处理在1帧的图像数据被确保了被存放在与存储单元编号mbank对应的存储单元中的时间点开始。
在步骤S43中，向JPEG编解码器40发出压缩命令。在被发出的压缩命令中，包含存储单元jbank(＝mbank)和地址值jenc_adr。JPEG编解码器40从图4所示的存储单元0～2中的与存储单元编号jmank对应的存储单元读出1帧的图像数据，对读出的图像数据实施JPEG压缩，然后把生成的JPEG数据写入与图4所示的JPEG数据区域26d的地址值jenc_adr对应的地址之后的地址。
在完成了JPEG压缩时，在步骤S45判断为是，在步骤S47把地址值jenc_adr写入图2所示的JPEG索引区域26e的列JPEG_index[K]中。在步骤S49中，根据式2更新地址值jenc_adr，在步骤S51中，判断是否满足式3的条件。
[式2]
jenc_adr＝jenc_adr+压缩容量
[式3]
jenc_adr+(压缩容量+α)≤JPEG_END
另外，式2和式3中所示的“压缩容量”是通过上一步骤的步骤S43的处理而作成的JPEG数据的容量。另外，“JPEG_END”是图2所示的JPEG数据区域26d的末尾地址值，“α”是余量(margin)。
在满足式3的条件时，直接进入步骤S55。而在不满足式3的条件时，在步骤S52把地址值jenc_adr设定为“JPEG_START”，然后进入步骤S55。在步骤S55中，减少列编号K，接下来在步骤S57判断列编号K是否下降到“0”以下。如果列编号K在“0”以上，则直接进入步骤S61。另一方面，如果列编号K小于“0”，则在步骤S59把列编号K设定为“MAX_J_IDX-1”，然后进入步骤S61。
这里，“MAX_J_IDX”是形成在JPEG索引区域26d中的列的总数。从图2中可看出，在本实施例中“MAX_J_IDX”表示“45”。
在步骤S61中，判断帧编号jenc_num是否与“Jvop_num-1”一致。即，判断被实施了JPEG压缩的帧是否是应从关注的GOP再现的末尾的帧。这里，如果为否，则在步骤S63判断GOP编号Jgop_num是否大于等于“#-2”，在步骤S65判断被写入列JPEG_index[jenc_num]中的地址值是否大于等于“0”。
步骤S63是用于判断在JPEG数据区域26d内是否蓄积了足够帧数的JPEG数据的步骤。步骤S65是用于判断在列JPEG_index[jdec_num中是否设定了有效的地址值的步骤。
当步骤S63和S65中的任一步骤判断为否时，直接进入步骤S69。在步骤S65和S67双方都判断为是时，在步骤S67把标志jdec_flg设定为“1”，然后进入步骤S69。通过步骤S67的处理，开始图11所示的步骤S93之后的处理。在步骤S69中，为了禁止JPEG压缩处理，把标志jenc_flg设定为“0”，然后返回步骤S41。
当在步骤S61判断为是时，在步骤S71把列编号K更新为“+jvop_num”，在步骤S73中判断被更新的列编号K是否大于等于“MAX_J_IDX”。这里，如果为否，则直接进入步骤S77，如果为是，则在步骤S75把变量K更新为“K-MAX_J_IDX”，然后进入步骤S77。由此，形成在JPEG索引区域26e中的列可被循环地指定。
在步骤S77中，判断GOP编号jgop_num是否为“0”。这里，当判断为是时，在步骤S79中把标志jenc_flg设定为“0”，然后返回步骤S41。
另一方面，如果在步骤S77判断为否，则执行步骤S81以后的处理。在步骤S81中，把与GOP编号jgop_num对应的GOP的帧数加在列编号K上，利用由此获得的相加值更新列编号K。在步骤S83中，判断被更新的列编号K是否大于等于“MAX_J_IDX”。然后，如果为否，则直接转移到步骤S63，如果为是，则在步骤S85把列编号K更新为“K-MAX_J_IDX”，然后转移到步骤S63。
通过上述的JPEG压缩任务，从向逆方向被按顺序指定的各个GOP中向正方向被解压缩的各个帧的图像数据，向正方向被实施了JPEG压缩。这样获得的各个帧的JPEG数据被写入JPEG数据区域26d中。另外，各个帧的JPEG数据的起始地址值以图5(A)～图5(D)所示的方式写入到JPEG索引区域26e中。
如果关注JPEG索引区域26e，则首先把与GOP(n+1)的3帧有关的3个起始地址值以图5(A)所示的方式分别写入列JPEG_index[2]～JPEG_index[0]中。然后，把与GOP(n)的15帧有关的15个起始地址值以图5(B)所示的方式分别写入列JPEG_index[17]～JPEG_index[3]中。
在开始了与GOP(n-1)有关的JPEG压缩时，在步骤S63(和步骤S65)判断为是，在步骤S67中，标志jdec_flg被设定为“1”。即，许可JPEG数据的解压缩处理。被存放在JPEG索引区域26e中的起始地址值通过后述的JPEG解压缩任务，以图5(C)和图5(D)所示的方式被读出。
在与GOP(n-2)的15个帧有关的15个起始地址值中的头的3个起始地址值分别被写入JPEG_index[2]～JPEG_index[0]，其余的12个起始地址值分别被写入JPEG_index[44]～JPEG_index[32]中(参照图5(D)。
参照图11，在步骤S91中，判断标志jdec_flg是否表示“1”，如果是，则在步骤S93向JPEG编解码器40发出1帧的的解压缩命令。在解压缩命令中包含被写入列JPEG_index[jdec_num]中的地址值和存储单元编号jbank。JPEG编解码器40根据解压缩命令中包含的地址值，从JPEG数据区域26e中读出1帧的JPEG数据，把读出的JPEG数据解压缩，然后把解压缩后的图像数据写入与存储单元编号jbank对应的存储单元中。
在完成了上述JPEG解压缩处理时，在步骤S95判断为是，在步骤S97把标志disp_flg设定为“1”，并且在步骤S99中，增加列编号jdec_num。在步骤S101中，判断被更新的列编号jdec_num是否大于等于“MAX_J_IDX”。这里，如果为否，则直接进入步骤S105，如果为是，则在步骤S103中把列编号jdec_num设定为“0”，然后进入步骤S105。在步骤S105中，把标志jdec_flg设定为“0”，然后返回步骤S91。
通过上述的JPEG解压缩任务，各个帧的JPEG数据的起始地址值以图5(A)～图5(D)的方式从JPEG索引区域26d中被读出。
参照图12，在步骤S111中，判断标志disp_flg是否为“1”。这里，如果为是，则在步骤S113中，等待垂直同步信号Vxync2的产生，然后，在步骤S115中，根据式4更新存储单元编号dbank。根据式4，把通过用“3”除“jbank+2”所得到的余数设定为存储单元编号dbank。
[式4]
dbank＝(jbank+2)％3
在步骤S117中，把被更新的存储单元编号dbank设定在视频编码器28中，然后返回步骤S111。
通过上述的显示任务，图2所示的存储单元0～2被循环指定，在LCD监视器30上显示向逆方向再现的动态图像。
根据以上的说明可了解到，多个GOP的各个包括，正方向的起始帧被实施帧内编码，并且在正方向上与起始帧相连续的帧被实施了交互编码的多个帧的图像数据。CPU36向逆方向顺序地指定上述的多个GOP块(S29)。MPEG4编解码器38向正方向对被指定的GOP中所包含的多个帧的图像数据进行解码，JPEG编解码器40向正方向对被解码的多个帧的图像数据的各个进行帧内编码。CPU36判断被实施了帧内编码的帧数是否大于等于阈值(S63)。JPEG编解码器40在CPU36的判断结果为肯定时，向逆方向对被实施了帧内编码的多个帧的图像数据进行解码。
即，由MPEG4编解码器38向正方向解码的图像数据，由JPEG编解码器40向正方向实施了帧内编码。被实施了帧内编码的图像数据然后由JPEG编解码器40向逆方向解码。通过采用帧内编码，可抑制电路规模，向逆方向再现图像数据。
另外，在本实施例中，在各个帧的图像数据的帧内编码中采用了JPEG方式，但也可以取代JPEG方式而采用JPEG2000方式。
以上，对本发明进行了详细的说明，并进行了图示，但这些只是用于图解说明本发明的一例，显然不能被解释为对本发明的限定，本发明的精神和范围只受附加的权利要求书中的所述内容所限定。

Claims (5)

1.一种图像处理装置，其中，由搭载了多任务OS的处理器并行进行多个任务处理来执行动态图像再生处理，该图像处理装置包括如下部分：
第1解码单元，其根据第1任务而进行动作，该第1任务为：对于分别包含第1时间轴方向的起始画面被实施了帧内编码、且在所述第1时间轴方向上与所述起始画面连续的画面被实施了交互编码的多个画面的图像数据的多个数据块，沿着与所述第1时间轴方向相反的第2时间轴方向顺序地进行指定，并对该指定的数据块中所包含的多个画面的图像数据，沿着所述第1时间轴方向顺序地进行解码；
编码单元，其根据第2任务而进行动作，该第2任务为：对由所述第1解码单元解码后的图像数据实施帧内编码，并依次存储到存储器中；和
第2解码单元，其根据第3任务而进行动作，该第3任务为：对由所述编码单元实施了帧内编码的图像数据，按照与存储时的顺序相反的顺序从所述存储器中进行解码；
所述第2解码单元判断被所述编码单元实施了帧内编码的画面数是否在规定数量以上，在判断结果为肯定时，进行解码处理。
2.根据权利要求1所述的图像处理装置，其中，
所述编码单元和所述第2解码单元按照JPEG方式进行编码和解码。
3.根据权利要求1或2所述的图像处理装置，其中，
具备包括多个存储单元区域和数据区域的存储器，
由所述第1解码单元对第1帧解码后的数据被存储到第1存储单元区域，并且切换到第2存储单元对第2帧进行解码，
若完成了向所述第1存储单元区域的存储，则所述编码单元对第1存储单元区域的数据进行帧内编码并存储到数据区域中，
依次循环利用存储单元区域来切换执行所述第1任务和所述第2任务。
4.根据权利要求3所述的图像处理装置，其中，
设置有由分别存储所述数据区域中存储的编码数据的起始地址的多个列构成的索引区域，
所述编码单元将编码数据的起始地址依次循环地存储到所述多个列中，
所述第2解码单元按逆序读出所述列中存储的地址，并从所述数据区域中读出对应的编码数据来进行解码。
5.根据权利要求4所述的图像处理装置，其中，
所述多个存储单元区域的数量为3，
该图像处理装置还具备将存储单元区域的数据依次显示到监视器上的显示单元，
该图像处理装置循环利用存储单元来切换执行下述处理：
由所述第1解码单元将解码后的数据存储到第1存储单元区域中的处理；
由所述编码单元对第2存储单元区域中存储的数据进行帧内编码后存储到数据区域中的处理；
由所述第2解码单元从数据区域中读出编码后的数据进行解码并存储到第2存储单元区域中的处理；和
由所述显示单元将第3存储单元区域的数据显示到监视器上的处理。
CNB2005800095335A 2004-05-17 2005-04-18 图像处理装置 Expired - Fee Related CN100563321C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP146162/2004 2004-05-17
JP2004146162A JP4190458B2 (ja) 2004-05-17 2004-05-17 画像処理装置

Publications (2)

Publication Number Publication Date
CN1934859A CN1934859A (zh) 2007-03-21
CN100563321C true CN100563321C (zh) 2009-11-25

Family

ID=35394526

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005800095335A Expired - Fee Related CN100563321C (zh) 2004-05-17 2005-04-18 图像处理装置

Country Status (4)

Country Link
US (1) US20080008453A1 (zh)
JP (1) JP4190458B2 (zh)
CN (1) CN100563321C (zh)
WO (1) WO2005112446A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102723986A (zh) * 2012-06-28 2012-10-10 无锡莱吉特信息科技有限公司 基于usb接口的水下led通信系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07162805A (ja) * 1993-12-08 1995-06-23 Toshiba Corp 圧縮画像用特殊再生装置
JP3663559B2 (ja) * 1996-07-16 2005-06-22 富士通株式会社 リアルタイム逆方向再生用動画像符号化方式
JP3922490B2 (ja) * 1998-02-27 2007-05-30 ソニー株式会社 映像信号再符号化装置及びその方法並びに映像信号記録再符号化装置及びその方法
JP3374128B2 (ja) * 1999-12-15 2003-02-04 三洋電機株式会社 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機
US7706445B2 (en) * 2001-05-31 2010-04-27 Sanyo Electric Co., Ltd. Image processing employing picture type conversion
US7245821B2 (en) * 2001-05-31 2007-07-17 Sanyo Electric Co., Ltd. Image processing using shared frame memory
US7940844B2 (en) * 2002-06-18 2011-05-10 Qualcomm Incorporated Video encoding and decoding techniques

Also Published As

Publication number Publication date
US20080008453A1 (en) 2008-01-10
JP2005328432A (ja) 2005-11-24
CN1934859A (zh) 2007-03-21
JP4190458B2 (ja) 2008-12-03
WO2005112446A1 (ja) 2005-11-24

Similar Documents

Publication Publication Date Title
CN100508585C (zh) 用于控制数字视频比特流逆向播放的装置和方法
JP4682102B2 (ja) 画像符号化装置及び画像符号化方法
CN1087556C (zh) 图像信息处理方法和装置
CN103581678B (zh) 通过使用多个解码器信道来改良解码器性能的方法与系统
CN1280741A (zh) 具有快速重放能力的按要求提供视频的方法和设备
US9167199B2 (en) Image input apparatus with high-speed, high-quality still image successive capturing capability and still image successive capturing method using the same
CN101346719A (zh) 从视频帧中选择关键帧
US8184700B2 (en) Image decoder
CN102906746B (zh) 排序具有视频帧的时间序列的数字视频的关键视频帧的方法和装置
CN101364403B (zh) 图像处理装置及其控制方法
JP2001258031A (ja) 信号処理方法、画像符号化装置及び画像復号装置
CN101540867A (zh) 摄像设备
CN101998051A (zh) 图像显示控制装置、图像处理装置及搭载其的摄像装置
CN102833480B (zh) 再现设备和再现方法
KR100793286B1 (ko) 버퍼 메모리의 사용량이 작은 디지털 영상 코덱 및 그 제어방법
CN102630003A (zh) 图像数据记录设备及其控制方法
CN100563321C (zh) 图像处理装置
CN102547253A (zh) 图像处理设备、图像处理系统、图像处理方法和程序
US6249617B1 (en) Video encounter having an integrated scaling mechanism
JP2006352335A (ja) 画像符号化装置
US7460719B2 (en) Image processing apparatus and method of encoding image data therefor
JP4559785B2 (ja) 信号処理方法および信号処理装置
CN100474914C (zh) 控制数字视频数据的比特率的方法和装置
US8463055B2 (en) Method for progressive JPEG image decoding and method for controlling decoder
CN102132568A (zh) 运动检测装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20091125

Termination date: 20140418