CN101090488B - 运动图像处理装置 - Google Patents

运动图像处理装置 Download PDF

Info

Publication number
CN101090488B
CN101090488B CN2007101044399A CN200710104439A CN101090488B CN 101090488 B CN101090488 B CN 101090488B CN 2007101044399 A CN2007101044399 A CN 2007101044399A CN 200710104439 A CN200710104439 A CN 200710104439A CN 101090488 B CN101090488 B CN 101090488B
Authority
CN
China
Prior art keywords
signal
view data
aforementioned
circuit
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007101044399A
Other languages
English (en)
Other versions
CN101090488A (zh
Inventor
平崎新也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lapis Semiconductor Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Publication of CN101090488A publication Critical patent/CN101090488A/zh
Application granted granted Critical
Publication of CN101090488B publication Critical patent/CN101090488B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/557Motion estimation characterised by stopping computation or iteration based on certain criteria, e.g. error magnitude being too large or early exit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • H04N19/433Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种运动图像处理装置,其使未得到处理而具有间隔的图像数据减少,减少所输出的运动图像的质量恶化。本发明使用计数器来执行如下处理:当其计数值达到了存储器电路的存储单元数(这里为3个)时,输出忙碌信号,其中,所述计数器构成为,利用当将1个画面量的图像数据取入到缓存中时,图像数据取入部所输出的有效信号来向上计数,利用当在编码电路中进行压缩编码而得到的输出信号的外部输出结束时输出的结束信号来向下计数。由此,只要在存储器电路的所有存储单元都处于使用中时,通过忙碌信号来抑制图像数据的取入,因此使得未得到处理而具有间隔的图像数据的量减少,从而能够实现很多图像数据的处理,可以获得质量恶化少的输出信号。

Description

运动图像处理装置
技术领域
本发明涉及一种在流水线(pipe line)处理中实时地处理运动图像的运动图像处理装置,本发明特别涉及当发生了在规定时间内未完成图像数据的处理的失败时的处理。
背景技术
图2是现有的运动图像处理装置的结构图。
该运动图像处理装置对从摄像机输出的图像数据进行实时处理而对其进行编码,并具有:由输入电路10、运动搜索电路20以及编码电路30来实现的流水线处理电路;在流水线处理中的处理途中用作数据交换用缓存的存储器40以及存储器控制电路50,这些输入电路10、运动搜索电路20以及编码电路30通过总线60被连接到存储器控制电路50上。并且,该运动图像处理装置具有失败控制电路70,以使流水线处理不会陷入异常状态。
输入电路10取入由摄像机提供的图像信号VIN并以1帧单位写入到存储器40中,并且,该输入电路10具有:从该图像信号VIN检测出垂直同步信号SYN并输出的同步检测部11;根据失败控制电路70所给的开始信号STA取入图像信号VIN中的图像数据的图像数据取入部12;将所取入的图像数据暂时保持的缓存13;和用于将保持在该缓存13中的图像数据通过总线60写入到存储器40中的总线接口(以下,称为[总线I/F])14。总线I/F14构成为在将缓存13内的1帧的图像数据写入到存储器40中的时刻,将结束信号END1输出给失败控制电路70。
运动搜索电路20用于执行如下处理:对输入电路10和编码电路30写入到存储器40中的图像数据进行运动搜索,将其结果输出给存储器40。编码电路30用于执行如下处理:进行运动搜索之外的编码处理,生成MPEG-4(Motion Picture Expert Group 4,运动图像专家组4)编码数据,将再构成图像写入到存储器40中,同时,作为输出数据OUT输出。运动搜索电路20和编码电路30也根据失败控制电路70所给的开始信号STA开始进行处理,在处理结束的时刻,分别将结束信号END2,END3输出给该失败控制电路70。
存储器40由存储单元(bank)BK1,BK2,BK3的3个存储单元构成,在各存储单元BK1~BK3中,可以写入1帧图像数据的处理所需的数据。还有,输入电路10、运动搜索电路20以及编码电路30的各个电路从存储单元BK1开始依次使用,且构成为在使用存储单元BK3后就再次使用存储单元BK1。
另一方面,失败控制电路70用于执行如下处理:当发生了在规定时间内未完成图像数据的处理的失败时,通过停止开始信号STA的输出,来防止流水线处理陷于异常状态。该失败控制电路70例如具有与门(以下,称为[AND])71,该与门71通过动作许可信号ENA对由输入电路10提供的垂直同步信号SYN进行门(gate)控制,作为开始信号STA提供给输入电路10、运动搜索电路20以及编码电路30。
开始信号STA还被提供给失败控制电路70内的置位(set)型触发器(以下,称为[FF])72a,72b,72c的置位端子S。对于FF 72a~72c的复位端子R,分别通过2输入的或门(以下,称为[OR])73a,73b,73c,提供了来自输入电路10、运动搜索电路20以及编码电路30的结束信号END1~END3。另外,对于OR73a~73c的另一输入侧,提供了系统信号RST。FF72a~72c的输出侧被连接到3输入的或非门(以下,称为[NOR])74,动作许可信号ENA从该NOR74输出而提供给AND71。
图3是表示图2的动作的信号波形图。下面,参照该图3对图2的动作进行说明。
对于输入电路10,作为图像信号VIN以一定周期从摄像机提供通过按照每一帧以垂直同步方式进行分割而得到的图像数据#1,#2,#3,...。在同步检测部11中,检测出不存在图像信号VIN中的图像数据#1,#2,#3,...的垂直同步期间,以一定周期向失败控制电路70输出垂直同步信号SYN。
根据动作开始时所给的系统信号RST,失败控制电路70中的FF72a~72c全部被复位,因此,从NOR74输出的动作许可信号ENA的电平为“H”。由此,从AND71按照与垂直同步信号SYN相同的定时输出开始信号STA,提供给输入电路10、运动搜索电路20以及编码电路30。开始信号STA被进一步提供给FF72a~72c,这些FF72a~72c被置位,从而动作许可信号ENA变为“L”。
输入电路10通过图像数据取入部12开始图像数据#1的取入以及向存储器40的存储单元BK1写入等的输入处理。另一方面,在运动搜索电路20以及编码电路30中,由于不存在应当处理的图像数据,所以直接输出结束信号END1,END2。由此,FF72b,72c被复位。如果输入电路10取入全部图像数据#1而写入到存储器40的存储单元BK1中,则该输入电路10输出结束信号END1,FF72a被复位。从而,动作许可信号ENA成为“H”。
通过对应于下一个垂直同步信号SYN的开始信号STA,输入电路10取入图像数据#2而进行向存储器40的存储单元BK2写入的输入处理,运动搜索电路20进行针对存储单元BK1中的图像数据#1的运动搜索处理。另一方面,在编码电路30中,由于不存在应当处理的图像数据,因此直接输出结束信号END2。输入电路10和运动搜索电路20在各自的处理结束的时刻输出结束信号END1,END2。
通过对应于下一个垂直同步信号SYN的开始信号STA,输入电路10取入图像数据#3而进行向存储单元BK3写入的输入处理,运动搜索电路20进行针对存储单元BK2中的图像数据#2的运动搜索处理。另一方面,编码电路30进行存储单元BK1中的图像数据#1的编码处理,作为输出数据OUT输出。这些输入电路10、运动搜索电路20以及编码电路30在各自的处理结束的时刻输出结束信号END1,END2,END3。
这里,当由于总线60的竞争等而导致运动搜索电路20的处理延迟,在对应于下一个垂直同步信号SYN的时刻之前没有结束时,FF72b不被复位,动作许可信号ENA仍然保持“L”。因此,下一个开始信号STA的输出受到抑制,不进行由输入电路10来实现的图像数据#4的输入处理。此后,在运动搜索电路20的处理结束的时刻输出结束信号END2,动作许可信号ENA变成“H”。
通过对应于下一个垂直同步信号SYN的开始信号STA,输入电路10取入图像数据#5而进行向存储单元BK1写入的输入处理,运动搜索电路20进行针对存储单元BK3中的图像数据#3的运动搜索处理,编码电路30进行存储单元BK2中的图像数据#2的编码处理并输出输出数据OUT。这里,当由于总线60的竞争等引起编码电路30的处理延迟,对应于下一个垂直同步信号SYN的时刻之前没有结束时,FF72c不被复位,动作许可信号ENA仍然保持“L”。因此,下一个开始信号STA的输出受到抑制,不进行由输入电路10来实现的图像数据#6的输入处理。此后,在编码电路30的处理结束的时刻输出结束信号END3,动作许可信号ENA变成“H”。
这样,在图2的运动图像处理装置中,由于具有失败控制电路70,因此当发生了在规定的时间(1帧的时间)内未完成图像数据的处理的失败时,可以防止流水线处理陷于异常状态,其中,所述失败控制电路70当在1帧的时间内,输入电路10、运动搜索电路20以及编码电路30的处理全都结束时,输出用于进行下一个图像数据的输入处理的动作许可信号ENA。
【专利文献1】日本特开2002-245022号公报
然而,在上述运动图像处理装置中,在输入电路10、运动搜索电路20以及编码电路30中,只要还有1个电路的处理未结束,就抑制下一个图像数据的取入处理,因此未取入而具有间隔的图像数据的频度变多,作为输出数据OUT被输出的运动图像的质量有恶化的危险。
发明内容
本发明的目的在于通过减少形成间隔的图像数据,来降低所输出的运动图像的质量恶化。
本发明的运动图像处理装置的特征在于,该运动图像处理装置具有如下的输入电路、运动搜索电路、编码电路以及失败控制电路。
输入电路具有:缓存,其用于暂时保持图像数据,该图像数据是根据同步信号、按照一定周期来获得的;图像数据取入部,其当获得了许可信号时,根据前述同步信号开始取入前述图像数据,在将所取入的1个画面量的图像数据存储到前述缓存中的时刻,输出有效信号;以及总线I/F,其通过公共总线将前述缓存所保持的1个画面量的图像数据存储在具有3个以上的区域的存储器电路的一个区域中,当该存储结束时输出第1结束信号。
运动搜索电路以如下方式构成:通过前述公共总线连接到前述存储器电路上,根据该存储器电路的1个区域所存储的最新的图像数据和其他区域所存储的在此之前的图像数据,搜索图像的运动状况,从而生成运动数据并将其存储在与该最新的图像数据所处的区域相同的区域中,同时,当该存储结束时,输出第2结束信号。
编码电路以如下方式构成:通过前述公共总线连接到前述存储器电路上,在获得了前述第1结束信号时,对存储在该存储器电路的1个区域中的最新的图像数据和运动数据进行压缩编码而将输出信号向外部输出,当向外部进行的输出结束时,输出第3结束信号。
失败控制电路具有:计数器,其通过前述有效信号来向上计数,通过前述第3结束信号来向下计数,从而对在前述存储器电路中处于使用中的区域的个数进行计数;以及许可信号输出部,其当前述计数器的计数值小于前述存储器电路的区域的个数时,输出前述许可信号,当该计数值达到了该区域的个数时,停止输出该许可信号。
本发明中,在输入电路中使用计数器来进行如下处理,即,当其计数值小于存储器电路的区域的个数时,输出许可信号,当计数值达到了区域的个数时,停止许可信号的输出,该计数器构成为,利用当将1个画面量的图像数据取入到暂时保持根据同步信号、按照一定周期提供的图像数据的缓存中时,图像数据取入部所输出的有效信号来向上计数,利用当由编码电路进行了压缩编码后的输出信号向外部的输出结束时输出的第3结束信号来向下计数。由此,只要是在存储器电路的所有区域处于使用中的情况下,停止许可信号的输出,图像数据的取入受到抑制,因此,与现有的运动图像处理装置相比,抑制了取入的图像数据的数量减少,能够实现很多图像数据的处理。因此,具有能获得质量恶化少的运动图像的输出信号的效果。
附图说明
图1是表示本发明的实施例1的运动图像处理装置的结构图。
图2是现有的运动图像处理装置的结构图。
图3是表示图2的动作的信号波形图。
图4是表示图1的动作的信号波形图。
图5是表示本发明的实施例2的运动图像处理装置的结构图。
图6是表示图5的动作的信号波形图。
图7是用于进行实施例1和实施例2的动作的比较说明的信号波形图。
具体实施方式
参照附图而阅读以下的优选实施例的说明,会更全面地了解本发明的前述以及其他目的和新特征。其中,附图终究是用来解释的,并不限定本发明的范围。
图1是表示本发明的实施例1的运动图像处理装置的结构图,对于与图2的元件共同使用的元件附以共同的符号。
该运动图像处理装置用于对未图示的摄像机等所给的图像信号VIN实时地进行处理而进行编码,并具有:由输入电路10A、运动搜索电路20以及编码电路30来实现的流水线处理电路;作为在流水线处理的处理途中的数据的交换用缓存而使用的存储器40以及存储器控制电路50。这些输入电路10A、运动搜索电路20以及编码电路30分别通过总线60被连接到存储器控制电路50上。还有,该运动图像处理装置具有进行控制而使流水线处理不会陷于异常状态的失败控制电路70A。
输入电路10A从图像信号VIN取入图像数据,以1帧单位写入到存储器40中,该输入电路10A具有:从该图像信号VIN检测出垂直同步信号SYN而输出的同步检测部11;根据基于该垂直同步信号SYN生成的开始信号STA,从图像信号VIN取入图像数据的图像数据取入部12A;暂时保持所取入的图像数据的缓存13;以及用于将该缓存13所保持的图像数据通过总线60写入到存储器40中的总线I/F14。
并且,该输入电路10A具有2输入的AND15,对于该2输入的AND15的一个输入端子提供垂直同步信号SYN,对于另一个输入端子,提供通过反相器16对来自失败控制电路70A的忙碌信号BSY进行反转后的信号。从AND15的输出端子输出开始信号STA,提供给图像数据取入部12A。
另外,图像数据取入部12A对向缓存13取入图像数据的取入次数进行计数,当结束了对应于1个画面量的图像大小的必需的取入次数时,向失败控制电路70A输出有效信号VAL。另外,总线I/F14对通过总线60取入到存储器40中的图像数据的传输次数进行计数,当结束了对应于1个画面量的图像大小的必需的传输次数时,将结束信号END1作为对运动搜索电路20的起动信号而进行输出。
运动搜索电路20对输入电路10A和编码电路30向存储器40输出的图像数据进行运动搜索,将其结果输出给存储器40。该运动搜索电路20构成为,将输入电路10A所给的结束信号END1作为起动信号开始处理,当处理结束的时刻,将结束信号END2作为对编码电路30的起动信号输出。
编码电路30进行例如离散余弦变换、量化、可变长编码、逆离散余弦变换、逆量化、运动补偿等的运动搜索以外的编码处理,生成MPEG-4编码数据而向存储器40输出再构成图像,同时,作为输出数据OUT向外部输出。该编码电路30构成为,将运动搜索电路20所给的结束信号END2作为起动信号开始处理,当处理结束的时刻,向失败控制电路70A输出结束信号END3。
存储器40具有存储单元BK1,BK2,BK3的3个区域,对各个存储单元BK1~BK3可以写入1帧量的图像数据的处理所需的数据。另外,对于输入电路10A、运动搜索电路20以及编码电路30的各电路,从存储单元BK1开始依次使用,使用存储单元BK3后就再次使用存储单元BK1。
失败控制电路70A在存储器40的存储单元BK1~BK3都处于使用中的状态而不能写入新一帧的图像数据时,通过输出忙碌信号BSY来防止流水线处理陷于异常状态。该失败控制电路70A具有:计数器75,其利用输入电路10A所给的有效信号VAL来对计数值CNT加1,利用编码电路30所给的结束信号END3来对该计数值CNT减1;和忙碌检测部76,其在该计数器75的计数值CNT是3时,输出忙碌信号BSY。另外,计数器75根据系统信号RST来将计数值CNT复位为0。
图4是表示图1的动作的信号波形图。下面,参照图4对图1的动作进行说明。
(1)为表示针对每一帧为有效数据,先行于图像数据#1,#2,#3...,从摄像机等提供具有不存在图像数据的垂直同步期间的图像信号VIN。另外,通过动作开始时所给的系统信号RST,失败控制电路70A中的计数器75被复位,计数值CNT变为0。由此,从忙碌检测部76输出的忙碌信号BSY变为“L”。
(2)输入电路10A的同步检测部11从图像信号VIN检测出垂直同步期间,并将垂直同步信号SYN输出给AND15。此时,由于忙碌信号BSY为“L”,因此从AND15将开始信号STA提供给图像数据取入部12A。图像数据取入部12A从与所设定的图像数据量对应的时间起开始取入图像数据#1,将所取入的图像数据#1依次存储在缓存13中。另一方面,总线I/F14将存储在缓存13中的图像数据#1依次写入到存储器40的存储单元BK1中。图像数据取入部12A在缓存13所存储的图像数据#1达到相当于1个画面量的所需量时,输出脉冲状的有效信号VAL。另外,当将缓存13所存储的图像数据#1全部写入到存储单元BK1中时,总线I/F14将脉冲状的结束信号END1输出到运动搜索电路20中。
(3)失败控制电路70A中的计数器75的计数值CNT根据输入电路10A所提供的有效信号VAL被加为1。即,表示存储器40的1个存储单元处于使用中。
(4)运动搜索电路20根据输入电路10A所提供的结束信号END1来得到起动,开始运动搜索处理。在运动搜索处理中,根据需要读出存储器40的存储单元BK1所存储的图像数据#1和存储单元BK2,BK3所存储的以前的图像数据而提取运动信息,该被提取的处理结果被写入到存储单元BK1中。当图像数据#1的处理结束的时刻,运动搜索电路20将脉冲状的结束信号END2输出给编码电路30。
(5)编码电路30根据运动搜索电路20所给的结束信号END2而被起动,开始编码处理。在编码处理中,读出存储器40的存储单元BK1所存储的图像数据#1和运动搜索处理的结果,生成MPEG-4编码数据而将再构成图像存储到存储器40中,同时,作为输出数据OUT输出到外部。当图像数据#1的编码处理结束的时刻,编码电路30将脉冲状的结束信号END3输出给失败控制电路70A。
(6)失败控制电路70A中的计数器75的计数值CNT,根据编码电路30所提供的结束信号END3相应地减少1。即,表示存储器40中仅有1个处于使用中的存储单元得到了释放。
在以上(1)~(6)中,着眼于作为图像信号VIN提供的最初的图像数据#1,对构成流水线处理电路的各个电路的动作进行了说明,但通过输入电路10A、运动搜索电路20以及编码电路30,可对于第2个图像数据#2之后的图像数据连续并行地进行同样的处理。
(7)失败控制电路70A中的计数器75的计数值CNT,根据输入电路10A所提供的有效信号VAL相应地加1,根据编码电路30所提供的结束信号END3相应地减1。即,计数器75的计数值CNT表示存储器40的处于使用中的存储单元数。因此,当计数值CNT是3时,表示存储器40的存储单元都在得到使用,不存在用于写入新一帧的图像数据的存储单元。因此,如图4中的时刻T1所示,利用有效信号VAL使计数值CNT成为3时,从忙碌检测部76输出的忙碌信号BSY变为“H”。
(8)在输入电路10A中,当所提供的忙碌信号BSY变为“H”时,如时刻T2所示,利用AND15将垂直同步信号SYN屏蔽,针对图像数据取入部12A的开始信号STA停止。由此,图像数据#5的取入受到抑制。因此,与该图像数据#5对应的有效信号VAL也无法输出,所以计数值CNT不会超过3。
(9)在时刻T3,从编码电路30输出结束信号END3时,计数器75的计数值CNT变为2,忙碌信号BSY变为“L”。由此,在时刻T4,如果输入电路10A的同步检测部11检测出垂直同步期间而输出垂直同步信号SYN,则该垂直同步信号SYN作为开始信号STA从AND15提供给图像数据取入部12A,由图像数据取入部12A重新开始图像数据的取入处理。
综上,在该实施例1的运动图像处理装置中,当在图像数据取入部12A完成了向缓存13取入图像数据的处理的时刻输出的有效信号VAL的定时生成忙碌信号BSY,同时,以判定是否发生针对存储器40的覆盖这样的失败的定时作为开始取入图像数据的时刻,即作为垂直同步信号SYN的定时。
在由输入电路10A来判定是否要取入图像数据时,如果使用在完成了向存储器40写入图像数据的时刻发生的结束信号END1,则由于总线60的竞争而导致从输入电路10A向存储器40的写入的等待,在该输入电路10A中检测出下一帧的垂直同步信号SYN后,有时会产生结束信号END1。因此,失败控制电路如果通过结束信号END1判断可否取入图像数据,则忙碌信号BSY的输出会比垂直同步信号SYN迟,无法在输入电路10A中抑制下一帧的取入。因此,出现通过编码电路30对处于处理中的存储单元覆盖下一帧的图像数据的问题。
对此,在该实施例1中,利用必定比下一帧的垂直同步信号SYN提早发生的有效信号VAL,来管理存储器40的存储单元使用状况,在所有的存储单元处于使用中的情况下,会输出忙碌信号BSY,因此能够可靠地抑制下一帧的图像数据。
还有,比较图3和图4可知,在现有的运动图像处理装置中,由于针对图像数据#1,通过运动搜索处理和编码处理来进行了2次失败处理,所以从图像数据#1到图像数据#7之间,2个图像数据#4,#6的取入被抑制。与之对应的是,在本实施例1的运动图像处理装置中,只是1个图像数据#5的取入被抑制,从而可以实现很多图像数据的处理。
根据本实施例1的运动图像处理装置,失败条件的判定是通过存储器40的存储单元BK1~BK3的使用状况来进行的。即,通过用计数器75对输入电路10A的有效信号VAL和编码电路30的结束信号END3进行计数,判定存储单元BK1~BK3的使用状况,根据忙碌BSY控制由输入电路10A实现的图像数据取入。由此,即使运动搜索处理和编码处理所需的时间和以往相同,由于能够抑制失败的发生,缩短不进行处理的时间,增加能够处理的图像数据的量,因此仍具有减少运动图像的质量恶化的优点。
图5是表示本发明的实施例2的运动图像处理装置的结构图,对于与图1中的元件共同的元件附以共同的符号。
该运动图像处理装置取代图1中的输入电路10A设置了若干结构不同的输入电路10B。即,该输入电路10B用于从图像信号VIN取入图像数据,以1帧单位写入到存储器40中,且该输入电路10B具有:从该图像信号VIN检测出垂直同步信号SYN并输出的同步检测部11;根据该垂直同步信号SYN从图像信号VIN取入图像数据的图像数据取入部12B;暂时保持所取入的图像数据的缓存13A;用于通过总线60将该缓存13A所保持的图像数据写入到存储器40中的总线I/F14。
还有,该输入电路10B具有2输入的AND17,对于该2输入的AND17的一个输入端子,提供来自总线I/F14的总线权请求信号RQ,对于另一个输入端子,提供通过反相器16对来自失败控制电路70A的忙碌信号BSY进行反转后的信号。并且,构成为,从AND17的输出端子将对反转后的忙碌信号BSY进行屏蔽的总线权请求信号BRQ输出给总线60。
另外,缓存13A构成为,当向存储器40的输出延迟而溢出(overflow)时,向图像数据取入部12B输出溢出信号OVF。另一方面,图像数据取入部12B在获得了溢出信号OVF时,停止图像数据的取入处理,直到获得下一帧的垂直同步信号SYN为止。还有,从总线I/F14输出的结束信号END1作为对运动搜索电路20的起动信号而提供,同时,作为向上计数用的信号被提供给失败控制电路70A的计数器75。其他结构与图1相同。
图6是表示图5的动作的信号波形图。下面,参照该图6对图5的动作进行说明。
(1)通过动作开始时所提供的系统信号RST,失败控制电路70A中的计数器75被复位,计数值CNT变为0。由此,从忙碌检测部76输出的忙碌信号BSY变为“L”。
(2)输入电路10B的同步检测部11从摄像机等提供的图像信号VIN检测出垂直同步期间并将垂直同步信号SYN输出给图像数据取入部12B。此时,由于缓存13A没有溢出,没有输出溢出信号OVF。由此,图像数据取入部12B根据与所设定的图像数据量对应的时间开始取入图像数据#1,将所取入的图像数据#1依次存储到缓存13A中。另一方面,总线I/F14将缓存13A所存储的图像数据#1依次写入到存储器40的存储单元BK1中。此时,由于忙碌信号BSY为“L”,因此AND17开启,从总线I/F14输出的总线权请求信号RQ直接作为总线权请求信号BRQ输出给总线60。总线I/F14在将缓存13A所存储的图像数据#1全部写入到存储单元BK1中后,将脉冲状的结束信号END1输出给运动搜索电路20和失败控制电路70A。
(3)失败控制电路70A中的计数器75的计数值CNT通过输入电路10B所提供的结束信号END1被加为1。即,表示存储器40的1个存储单元处于使用中。
(4)运动搜索电路20根据输入电路10B所提供的结束信号END1被起动,开始运动搜索处理。在运动搜索处理中,根据需要读出存储器40的存储单元BK1所存储的图像数据#1和根据存储单元BK2,BK3所存储的以前的图像数据而提取运动信息,该被提取的处理结果被写入到存储单元BK1中。当图像数据#1的处理结束的时刻,运动搜索电路20将脉冲状的结束信号END2输出给编码电路30。
(5)编码电路30根据运动搜索电路20所给的结束信号END2被起动,开始编码处理。在编码处理中,读出存储器40的存储单元BK1所存储的图像数据#1和运动搜索处理的结果,生成MPEG-4编码数据而将再构成图像存储到存储器40中,同时,作为输出数据OUT输出到外部。当图像数据#1的编码处理结束的时刻,编码电路30将脉冲状的结束信号END3输出给失败控制电路70A。
(6)失败控制电路70A中的计数器75的计数值CNT,通过编码电路40所提供的结束信号END3而相应地减1。即,表示存储器40中仅有1个处于使用中的存储单元被释放。
在以上(1)~(6)中,着眼于作为图像信号VIN提供的最初的图像数据#1,对构成流水线处理电路的各个电路的动作进行了说明,但通过输入电路10B、运动搜索电路20以及编码电路30,可对第2个图像数据#2之后的图像数据连续并行地进行同样的处理。
(7)失败控制电路70A中的计数器75的计数值CNT,通过输入电路10B所提供的结束信号END1而相应地加1,通过编码电路30所提供的结束信号END3而相应地减1。即,计数器75的计数值CNT表示存储器40的处于使用中的存储单元数。因此,当计数值CNT是3时,表示存储器40的存储单元都在得到使用,不存在用于写入新一帧的图像数据的存储单元。因此,如图6中的时刻t1所示,利用结束信号END1使计数值CNT成为3时,从忙碌检测部76输出的忙碌信号BSY变为“H”。
(8)在输入电路10B中,所提供的忙碌信号BSY变为“H”时,通过AND17将总线权请求信号RQ屏蔽,从缓存13A到存储器40的图像数据的写入被停止。因此,缓存13A中的图像数据急剧增加,如时间t2所示,从该缓存13A输出的溢出信号OVF成为“H”。由此,图像数据取入部12B和总线I/F14的缓存访问回到前头地址,总线I/F14向存储器40的写入地址回到存储单元的前头地址。并且,图像数据取入部12B停止处理,直到检测出下一个垂直同步信号SYN为止。因此,图像数据#5的取入受到抑制。
(9)在时刻t3,如果从编码电路30输出结束信号END3,则计数器75的计数值CNT变为2,忙碌信号BSY变为“L”。由此,AND17开启。从而,检测出下一个垂直同步信号时,重新开始由图像数据取入部12B来实现的取入下一个图像数据的处理。
图7是用于进行实施例1(图1)和实施例2(图5)的动作的比较说明的信号波形图。
在实施例1中,在1帧量的图像数据被取入到缓存13中的时刻,即,当有效信号VAL被输出的时刻,视为使用了存储器40的1个存储单元,将计数器75向上计数。另一方面,在实施例2中,当缓存13A内的图像数据都被写入到存储器40中时,即,当结束信号END1被输出的时刻,视为使用了存储器40的1个存储单元,将计数器75向上计数。因此,在实施例2中,与实施例1相比,忙碌信号BSY输出的定时更迟。还有,在忙碌信号BSY被输出的情况下,在实施例1中,该忙碌信号BSY被输出的期间的针对图像数据取入部12A的开始信号STA受到抑制,但在实施例2中,在缓存13A溢出的时刻,图像数据取入部12B的动作停止。由此,在实施例2中,与实施例1相比,可以增加能够处理的图像数据的量,因此具有进一步减少运动图像的质量恶化的优点。
另外,本发明不限于上述的实施例,还可以有各种变形。作为该变形例,有以下的例子。
(a)编码电路30中的编码方式不限于MPEG-4。
(b)通过流水线处理来并行处理的电路的数量不限定为输入电路、运动搜索电路以及编码电路的3个电路。
(c)存储器40的存储单元数不限定为3个,只要是通过流水线处理来并行处理电路的数量以上就行。此时,有必要构成为,在失败控制电路70A的忙碌检测部76中,计数器75的计数值达到存储器40的存储单元数时,输出忙碌信号BSY。
(d)输入电路10A,10B以及失败控制电路70A不限于例示的结构,只要有同样的功能就可以。例如,当从摄像机与图像信号VIN分开地提供垂直同步信号SYN的情况下,不需要同步检测部11。还有,在失败控制电路70A中,虽然构成为对输入电路10A,10B输出用于停止取入的忙碌信号BSY,但也可以是与以往的失败控制电路70相同,输出将忙碌信号BSY反转而得到的动作许可信号ENA。

Claims (2)

1.一种运动图像处理装置,其特征在于,该运动图像处理装置具有:输入电路、运动搜索电路、编码电路以及失败控制电路,
输入电路具有:
缓存,其用于暂时保持图像数据,该图像数据是根据同步信号,按照一定周期来获得的,
图像数据取入部,其当获得了许可信号时,根据前述同步信号开始取入前述图像数据,在将所取入的1个画面量的图像数据存储到前述缓存中的时刻,输出有效信号,以及
总线接口,其通过公共总线将前述缓存所保持的1个画面量的图像数据存储在具有3个以上的区域的存储器电路的一个区域中,当该存储结束时,输出第1结束信号;
运动搜索电路,其通过前述公共总线连接到前述存储器电路上,根据该存储器电路的1个区域所存储的最新的图像数据和其他区域所存储的在此之前的图像数据来搜索图像的运动状况,从而生成运动数据并将其存储在与该最新的图像数据所处的区域相同的区域中,同时,当该存储结束时,输出第2结束信号;
编码电路,其通过前述公共总线连接到前述存储器电路上,在获得了前述第1结束信号时,对存储在该存储器电路的1个区域中的最新的图像数据和运动数据进行压缩编码而将输出信号向外部输出,当向外部进行的输出结束时,输出第3结束信号;
失败控制电路具有:
计数器,其通过前述有效信号来向上计数,通过前述第3结束信号来向下计数,从而对在前述存储器电路中处于使用中的区域的个数进行计数,以及
许可信号输出部,其当前述计数器的计数值小于前述存储器电路的区域的个数时,输出前述许可信号,当该计数值达到了该区域的个数时,停止输出该许可信号。
2.一种运动图像处理装置,其特征在于,该运动图像处理装置具有:输入电路、运动搜索电路、编码电路以及失败控制电路,
输入电路具有:
缓存,其用于暂时保持图像数据,并且当积蓄了一定量以上的图像数据时,输出溢出信号,所述图像数据是按照一定周期,根据同步信号来获得的,
图像数据取入部,其在未输出有前述溢出信号的期间,根据前述同步信号开始取入前述图像数据,并将所取入的图像数据存储到前述缓存中,当输出了该溢出信号时,停止取入该图像数据,直到获得下一个同步信号为止,以及
总线接口,其当获得了许可信号时,通过公共总线将前述缓存所保持的图像数据存储在具有3个以上的区域的存储器电路的一个区域中,在该存储结束时,输出第1结束信号;
运动搜索电路,其通过前述公共总线连接到前述存储器电路上,根据该存储器电路的1个区域所存储的最新的图像数据和其他区域所存储的在此之前的图像数据来搜索图像的运动状况,从而生成运动数据并将其存储在与该最新的图像数据所处的区域相同的区域中,同时,当该存储结束时,输出第2结束信号;
编码电路,其通过前述公共总线连接到前述存储器电路上,在获得了前述第1结束信号时,对存储在该存储器电路的1个区域中的最新的图像数据和运动数据进行压缩编码而将输出信号向外部输出,当向外部进行的输出结束时,输出第3结束信号;
失败控制电路具有:
计数器,其通过前述第1结束信号来向上计数,通过前述第3结束信号来向下计数,从而对在前述存储器电路中处于使用中的区域的个数进行计数,以及
许可信号输出部,其当前述计数器的计数值小于前述存储器电路的区域的个数时,输出前述许可信号,当该计数值达到了该区域的个数时,停止输出该许可信号。
CN2007101044399A 2006-06-13 2007-04-20 运动图像处理装置 Expired - Fee Related CN101090488B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006163000 2006-06-13
JP2006163000A JP4610523B2 (ja) 2006-06-13 2006-06-13 動画処理装置
JP2006-163000 2006-06-13

Publications (2)

Publication Number Publication Date
CN101090488A CN101090488A (zh) 2007-12-19
CN101090488B true CN101090488B (zh) 2010-10-20

Family

ID=38821944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101044399A Expired - Fee Related CN101090488B (zh) 2006-06-13 2007-04-20 运动图像处理装置

Country Status (4)

Country Link
US (1) US7778475B2 (zh)
JP (1) JP4610523B2 (zh)
KR (1) KR101378804B1 (zh)
CN (1) CN101090488B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5817093B2 (ja) * 2010-08-20 2015-11-18 セイコーエプソン株式会社 映像処理装置、及び映像表示装置
JP2012044504A (ja) * 2010-08-20 2012-03-01 Seiko Epson Corp 映像処理装置、映像表示装置及び映像処理方法
CN109222853A (zh) * 2018-11-19 2019-01-18 苏州新光维医疗科技有限公司 内窥镜及内窥镜工作方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1415171A (zh) * 2000-10-27 2003-04-30 三菱电机株式会社 运动矢量检测装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3007612B2 (ja) * 1997-09-01 2000-02-07 松下電器産業株式会社 マイクロコントローラ、データ処理システム及びタスクスイッチの制御方法
CN1112654C (zh) 1998-06-25 2003-06-25 松下电器产业株式会社 图像处理装置
JP3656438B2 (ja) * 1998-11-02 2005-06-08 松下電器産業株式会社 高速画像入力変換装置
WO2000033199A1 (fr) * 1998-12-03 2000-06-08 Hitachi, Ltd. Circuit de traitement de signal
KR100727910B1 (ko) * 2000-10-11 2007-06-13 삼성전자주식회사 하이브리드형 고속 움직임 추정 방법 및 그 장치
US7616690B2 (en) * 2000-10-31 2009-11-10 Imec Method and apparatus for adaptive encoding framed data sequences
JP4394298B2 (ja) * 2001-02-20 2010-01-06 日本電気株式会社 マルチプロセッサシステムとその共有メモリ制御方法、及び共有メモリ制御プログラム
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
JP2005165588A (ja) 2003-12-02 2005-06-23 Hitachi Ltd マイクロプロセッサ
KR101160640B1 (ko) * 2003-12-30 2012-06-28 삼성전자주식회사 데이터 처리 시스템 및 데이터 처리 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1415171A (zh) * 2000-10-27 2003-04-30 三菱电机株式会社 运动矢量检测装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JP特开平11-243552A 1999.09.07
JP特开平8-205192A 1996.08.09

Also Published As

Publication number Publication date
CN101090488A (zh) 2007-12-19
JP4610523B2 (ja) 2011-01-12
KR20070118948A (ko) 2007-12-18
US7778475B2 (en) 2010-08-17
US20070286285A1 (en) 2007-12-13
KR101378804B1 (ko) 2014-03-27
JP2007336023A (ja) 2007-12-27

Similar Documents

Publication Publication Date Title
CN100562114C (zh) 视频解码方法与解码装置
CN101090488B (zh) 运动图像处理装置
DE19735880A1 (de) Verfahren und Vorrichtung zum Verarbeiten von Videodaten
AU2400499A (en) A parallel huffman decoder
EP1160759A2 (en) Image output device and image output control method
WO2008036237A2 (en) Multiprocessor decoder system and method
CN1215281A (zh) 处理器
CN1192106A (zh) Mpeg解码器存储器管理器
CN101193306A (zh) 运动矢量检测装置和运动矢量检测方法
CN101166277A (zh) 在用于处理运动图像的设备中访问存储器的方法
CN101873498B (zh) 一种视频解码方法、装置及视音频播放系统
CN103634604A (zh) 一种面向多核dsp运动估计的数据预取方法
CN106375767A (zh) 混合视频解码器和相关的混合视频解码方法
CN116233453B (zh) 一种视频编码方法及装置
CN101443808B (zh) 用于图像和视频处理的存储器组织方案和控制器结构
CN103975583A (zh) 捕获多个视频通道用于视频分析和编码
CN202995701U (zh) 基于预先解码分析的数据信息缓存管理系统
CN113630565B (zh) 具备机内实时图像处理功能的scmos成像电路及方法
CN102982509B (zh) 图像处理电路
KR101386313B1 (ko) 이미지 센서에서 하이 다이나믹 레인지 이미지 프레임을 판독하는 방법 및 이를 이용한 장치
CN101115153B (zh) 模拟前端装置和图像拾取装置
CN101005619B (zh) 一种环路滤波的方法
CN103034455A (zh) 基于预先解码分析的数据信息缓存管理方法及系统
CN100576917C (zh) 逆扫描频率系数的方法和系统
US9762776B2 (en) Device and method for resizing image, and imaging device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: OKI SEMICONDUCTOR CO., LTD.

Free format text: FORMER OWNER: OKI ELECTRIC INDUSTRY CO., LTD.

Effective date: 20131127

C41 Transfer of patent application or patent right or utility model
C56 Change in the name or address of the patentee
CP03 Change of name, title or address

Address after: Kanagawa

Patentee after: LAPIS SEMICONDUCTOR Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: OKI Semiconductor Corp.

TR01 Transfer of patent right

Effective date of registration: 20131127

Address after: Tokyo, Japan

Patentee after: OKI Semiconductor Corp.

Address before: Tokyo, Japan

Patentee before: Oki Electric Industry Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101020

CF01 Termination of patent right due to non-payment of annual fee