CN101557520B - 动态图像处理装置、动态图像处理方法 - Google Patents

动态图像处理装置、动态图像处理方法 Download PDF

Info

Publication number
CN101557520B
CN101557520B CN200910128376XA CN200910128376A CN101557520B CN 101557520 B CN101557520 B CN 101557520B CN 200910128376X A CN200910128376X A CN 200910128376XA CN 200910128376 A CN200910128376 A CN 200910128376A CN 101557520 B CN101557520 B CN 101557520B
Authority
CN
China
Prior art keywords
frame
image
image processing
color
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200910128376XA
Other languages
English (en)
Other versions
CN101557520A (zh
Inventor
沢田保宏
森住哲也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Acutelogic Corp
Original Assignee
Acutelogic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Acutelogic Corp filed Critical Acutelogic Corp
Publication of CN101557520A publication Critical patent/CN101557520A/zh
Application granted granted Critical
Publication of CN101557520B publication Critical patent/CN101557520B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/048—Picture signal generators using solid-state devices having several pick-up sensors
    • H04N2209/049—Picture signal generators using solid-state devices having several pick-up sensors having three pick-up sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Color Television Systems (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本发明提供一种在根据从彩色图像传感器输出的图像数据，进行反马赛克处理和压缩流的生成时，能够降低用于帧重新排列的存储容量和频带，实现低功耗化和低成本化的动态图像处理装置、动态图像处理方法及动态图像处理程序。该动态图像处理装置具有与压缩流的处理顺序对应地对从摄像部(110)输出的由第一数据形式构成的帧序列进行排序的帧重新排列部(130)；将由帧重新排列部(130)排序的帧序列中的第一数据形式转换为彩色图像的彩色图像生成部(140)；以及根据时间上前后的多个帧间的差分对转换为彩色图像的帧序列进行编码并压缩的动态图像压缩部(150)。

Description

动态图像处理装置、动态图像处理方法
技术领域
本发明涉及对从彩色图像传感器按照时间顺序分割成多个帧而输出的动态图像的帧序列进行编码来生成压缩流的动态图像处理装置、动态图像处理方法及动态图像处理程序。
背景技术
以往，公知有如下的动态图像处理技术(MPEG：Moving PictureExperts Group：运动图像专家小组)：在拍摄动态图像的摄像机中，经由镜头在摄像元件上成像被摄体像，通过该摄像元件对被摄体像进行光电转换，按照时间顺序生成多个帧数据，并预测该多个帧之间的运动(所谓的帧间预测化方式)，生成压缩流。
在动态图像处理技术中，一般通过如下方式来压缩传送信息：对用矢量表示当前帧的像素和以前帧的像素相比运动了多少的运动矢量进行推断(预测)，传送这些运动矢量的差来代替传送整个图像。
具体而言，在以MPEG为代表的动态图像处理技术中，帧的种类由以下类型的帧构成：不使用帧间预测地直接对帧内的图像信号进行编码的I帧；对与时间上在前的参照帧的图像信号的差分进行编码的P帧；以及对时间上在前的参照帧和时间上在后的参照帧的差分进行编码的B帧，设定这些帧的排列和重复周期。
例如，如图2(b)所示，对于M＝3的MPEG，GOP(Group of Pictures：图像组)由以I为基准如I、B、B、P、B、B、P、B、B、P、B、B、I…、等那样地按照时间顺序连续的帧构成。
另一方面，这样输入的帧顺序与编码后传送的顺序不同，因此在编码时需要重新排列帧的顺序。此外，为了重新排列，需要用于临时存储B帧的帧缓冲存储器。例如，在I和P之间插入2个B帧的M＝3的情况下，为了存储B帧需要2帧的存储器(例如，参照专利文献1)。
此外，具有以下技术：作为单板式的摄像元件，多个光电转换元件构成为矩阵状，并且在其前面与光电转换元件对应地具有R(红)G(绿)B(蓝)的各滤色器，对经由该滤色器所输出的单一颜色的图像信号施加信号处理从而生成彩色图像。
经由单板式的摄像元件所输出的图像是各像素只具有单一颜色的颜色信息的颜色马赛克图像，为了生成彩色图像，各像素中需要具有红色(R)、绿色(G)、蓝色(B)等多个颜色信息。
因此，在使用了单板式摄像元件的图像处理中，根据各像素具有仅是R、G、B成分中的任意一个的颜色信息的颜色马赛克图像，进行反马赛克处理(也称作颜色插值处理)，从颜色马赛克图像生成彩色图像。此处，所谓反马赛克处理，是指以下的处理：对于在颜色马赛克图像的各像素中不足的其他颜色信息，通过使用该像素周围的其他像素的颜色信息来进行插值运算，由此生成各像素分别具有R、G、B成分的所有颜色信息的彩色图像(所谓的颜色插值处理)。
【专利文献1】日本特开平10-056652号公报
但是，根据现有的动态图像处理技术，一般地在帧的排序时，存储在帧缓冲器中的图像数据是按照每个像素具有多个颜色的颜色信息的彩色图像，没有公开与需要反马赛克处理的图像数据相关联、对于存储器容量的降低有效的动态图像处理技术。
发明内容
因此，本发明的目的在于，提供一种动态图像处理装置、动态图像处理方法及动态图像处理程序，在根据从彩色图像传感器输出的图像数据进行反马赛克处理(所谓的本发明中的彩色图像生成处理)和压缩流的生成时，能够降低用于帧重新排列的存储容量和频带，实现低功耗化和低成本化。
为了达到相关目的而完成的第1方面记载的发明是一种动态图像处理装置，其根据从彩色图像传感器按照时间顺序分割成多个帧并以第一数据形式输出的动态图像的帧序列，生成通过帧间预测化方式编码的彩色动态图像的压缩流，其特征在于，该动态图像处理装置具有：帧重新排列部，其与所述压缩流的处理顺序对应地对由所述第一数据形式构成的帧序列进行排序；彩色图像生成部，其将由所述帧重新排列部排序的帧序列中的所述第一数据形式转换为彩色图像；以及动态图像压缩部，其根据时间上前后的多个帧间的差分对转换为所述彩色图像的所述帧序列进行编码并压缩。
根据第1方面记载的动态图像处理装置，具有与压缩流的处理顺序对应地对由第一数据形式构成的帧序列进行排序的帧重新排列部；将由帧重新排列部排序的帧序列中的第一数据形式转换为彩色图像的彩色图像生成部；以及根据时间上前后的多个帧间的差分对转换为彩色图像的所述帧序列进行编码并压缩的动态图像压缩部。由此，能够降低帧重新排列所需要的存储器容量和频带(帧缓冲器的存储器容量和频带)，能够实现低功耗化、低成本化、和伴随低功耗化的该动态图像处理电路中的散热量的降低。
即，帧重新排列中使用的帧数据是生成彩色图像前的、从图像传感器输出的第一数据形式，因此，与在帧重新排列时使用彩色图像数据相比，能够降低帧重新排列所需要的存储器容量和频带。
此外，第1方面记载的动态图像处理装置，如第2方面记载的发明那样，所述彩色图像传感器具有配置成矩阵状的多个光电转换元件、以及与该光电转换元件分别对应的多个颜色光的滤色器，所述彩色图像传感器是按照每个所述光电转换元件输出多个颜色光内的单一颜色光的像素信息的单板彩色图像传感器，所述第一数据形式是按照每个像素具有单一颜色光的颜色信息的颜色马赛克图像，所述彩色图像生成部构成为进行按照每个所述像素生成多个颜色光的像素信息的反马赛克处理。由此，在根据从彩色图像传感器输出的图像数据进行反马赛克处理和压缩流的生成时，能够降低帧重新排列所需要的存储容量和频带。
此外，第1方面记载的动态图像处理装置，如第3方面记载的发明那样，所述彩色图像传感器由光谱响应分布不同的多个彩色图像传感器构成，各自的受光面在像素配置方向上错开配置，所述第一数据形式是从所述多个彩色图像传感器内分别输出的图像数据，所述彩色图像生成部构成为对所述多个彩色图像传感器的图像数据进行合成从而提高分辨率。由此，在根据从彩色图像传感器输出的图像数据进行彩色图像的生成和压缩流的生成时，能够降低帧重新配置所需要的存储容量和频带。
此外，第1方面记载的动态图像处理装置，如第4方面记载的发明那样，能够适用于如下情况：所述多个帧由不参照时间上在后的帧而进行编码的NonF帧和参照时间上在后的帧而进行编码的F帧构成，所述帧重新排列部构成为根据所述输入的NonF帧和F帧的种类赋予延迟并输出。
此外，第4方面记载的动态图像处理装置，如第5方面记载的发明那样，能够适用于如下情况：所述NonF帧还包括不使用所述帧间预测而直接对帧内的图像信号进行编码的I帧、以及对与时间上在前的参照帧的图像信号之间的差分进行编码的P帧，所述F帧是对时间上在前的参照帧和时间上在后的参照帧的差分进行编码的B帧，所述帧重新排列部构成为根据所述输入的I帧、P帧、B帧的种类赋予延迟并输出。
此外，第1方面记载的动态图像处理装置，如第6方面记载的发明那样，所述帧重新排列部构成为对所述多个帧种类中的一部分帧种类赋予延迟并输出即可。
此外，第1方面记载的动态图像处理装置，如第7方面记载的发明那样，优选在所述帧重新排列部中，具有按照所述第一数据形式的图像数据中的、至少各2帧来存储图像数据的帧缓冲器。由此，在一般的动态图像处理技术即M＝3的MPEG中，能够存储在I帧和P帧之间排列的2个B帧。
此外，第1方面记载的动态图像处理装置，如第8方面记载的发明那样，优选在所述图像生成部中，具有进行所述彩色图像的图像变形的图像变形处理部。由此，作为进行彩色图像的变形处理时所需要的帧缓冲器，能够利用帧重新排列部的帧缓冲器，能够降低其他图像变形所需要的存储容量和频带。
此外，第8方面记载的动态图像处理装置，如第9方面记载的发明那样，优选所述帧重新排列部构成为按照非光栅顺序输出帧内的图像数据。由此，能够利用帧重新排列部的帧缓冲器进行数字变焦和抖动、像差校正等图像变形，而不用另行准备图像变形用的帧缓冲器。
此外，第1方面记载的动态图像处理装置，如第10方面记载的发明那样，该动态图像处理装置具有生成向取景器输出的彩色图像的第2图像生成部，在该第2图像生成部中，生成彩色图像而不进行所述帧重新排列部中的帧重新配置。由此，在取景器中生成彩色图像时，在取景器中以显示顺序显示图像，没有帧重新配置造成的延迟，能够良好地维持相对于来自彩色图像传感器的输出的追随性。
此外，第1方面记载的动态图像处理装置，如第11方面记载的发明那样，该动态图像处理装置具有重新排列部迂回单元，该重新排列部迂回单元使从所述彩色图像传感器输出的帧序列不通过所述帧重新排列部而输出到所述彩色图像生成部，该动态图像处理装置构成为能够对输入到所述彩色图像生成部的帧序列的从所述彩色图像传感器输出的帧顺序和从所述帧重新排列部输出的帧顺序进行切换。由此，能够根据需要选择帧重新排列的有无从而能够提高便利性。
此外，如第12方面记载的发明那样，可以使用第1方面记载的动态图像处理装置和彩色图像传感器、以及对由所述动态图像处理装置中的动态图像压缩部所压缩的动态图像信息进行存储的记录装置来构成摄像机。由此，在摄像机中，在生成动态图像的帧序列的压缩流时，能够降低帧重新排列所需要的存储器容量和频带(帧缓冲器的存储器容量和频带)，能够实现低功耗化、低成本化、和动态图像处理电路中的散热量的降低。
此外，如第13方面记载的发明那样，可以使用第1方面记载的动态图像处理装置和彩色图像传感器、以及将由所述动态图像处理装置中的动态图像压缩部所压缩的动态图像信息发送到外部设备的发送装置来构成远程监视器用照相机。由此，在远程监视器用照相机中，在生成动态图像的帧序列的压缩流时，能够降低帧重新排列所需要的存储器容量和频带(帧缓冲器的存储器容量和频带)，能够实现低功耗化、低成本化、和动态图像处理电路中的散热量的降低。
接下来，第14方面记载的发明是一种动态图像处理方法，其根据从彩色图像传感器按照时间顺序分割成多个帧并以第一数据形式输出的动态图像的帧序列，生成通过帧间预测化方式编码的彩色动态图像的压缩流，其特征在于，该动态图像处理方法使用以下步骤：帧重新排列步骤，与所述压缩流的处理顺序对应地对由所述第一数据形式构成的帧序列进行排序；彩色图像生成步骤，将在所述帧重新排列步骤中排序的帧序列中的所述第一数据形式转换为彩色图像；以及动态图像压缩步骤，根据时间上前后的多个帧间的差分对转换为所述彩色图像的所述帧序列进行编码并压缩。
根据第14方面记载的动态图像处理方法，使用与压缩流的处理顺序对应地对由第一数据形式构成的帧序列进行排序的帧重新排列步骤；将在帧重新排列步骤中排序的帧序列中的第一数据形式转换为彩色图像的彩色图像生成步骤；以及根据时间上前后的多个帧间的差分对转换为彩色图像的帧序列进行编码并压缩的动态图像压缩步骤。由此，与第1方面记载的发明同样地，能够降低帧重新排列所需要的存储器容量和频带(帧缓冲器的存储器容量和频带)，能够实现低功耗化、低成本化、和伴随低功耗化的该动态图像处理电路中的散热量的降低。
本发明的动态图像处理装置、动态图像处理方法及动态图像处理程序构成为与压缩流的处理顺序对应地对由第一数据形式构成的帧序列进行排序，接着，将所排序的帧序列中的第一数据形式转换为彩色图像，并根据时间上前后的多个帧间的差分对转换为彩色图像的帧序列进行编码并压缩，因此，能够降低帧重新排列所需要的存储器容量和频带(帧缓冲器的存储器容量和频带)，能够实现低功耗化、低成本化、和伴随低功耗化的该动态图像处理电路中的散热量的降低。
此外，使用本发明中的动态图像处理装置和彩色图像传感器、以及对由所述动态图像处理装置的动态图像压缩部所压缩的动态图像信息进行存储的记录装置构成摄像机，由此，在摄像机中，在生成动态图像的帧序列的压缩流时，能够降低帧重新排列所需要的存储器容量和频带(帧缓冲器的存储器容量和频带)，能够实现低功耗化、低成本化、和动态图像处理电路中的散热量的降低。
此外，使用本发明中的动态图像处理装置和彩色图像传感器、以及将由所述动态图像处理装置的动态图像压缩部所压缩的动态图像信息发送到外部设备的发送装置构成远程监视器用照相机，由此，在远程监视器用照相机中，在生成动态图像的帧序列的压缩流时，能够降低帧重新排列所需要的存储器容量和频带(帧缓冲器的存储器容量和频带)，能够实现低功耗化、低成本化、和动态图像处理电路中的散热量的降低。
附图说明
图1(a)是表示本发明的第1实施方式中的使用本发明的动态图像处理装置的摄像装置1A的结构的框图，图1(b)是该摄像装置1A中的摄像部的说明图。
图2是该第1实施方式的摄像装置1A中的帧重新排列部的动作的说明图。
图3(a)是表示本发明的第2实施方式中的使用本发明的动态图像处理装置的摄像装置1B的结构的框图，图3(b)是该摄像装置1B中的摄像部的说明图，图3(c)是该摄像装置1B中的图像数据合成处理的说明图。
图4是该第2实施方式的摄像装置1B中的帧重新排列部的动作的说明图。
图5是表示本发明的第3实施方式中的使用本发明的动态图像处理装置的摄像装置1C的结构的框图。
图6是表示本发明的第4实施方式中的使用本发明的动态图像处理装置的摄像装置1D的结构的框图。
标号说明：
1A、1B、1C、1D：摄像装置；110、111、112：摄像部；111a、111b、111c：摄像元件；120：AFE(Analog Front End：模拟前端)；130、131、132：帧重新排列部；130a～130d、131a、131b：帧缓冲器；135：CCD(Charge Coupled Devices：电容耦合器件)；135s：受光区域；135a、135b：缓冲器区域；140、141：图像生成部；150：动态图像压缩部；150a、150b：预测存储器；160：记录部；170：信号分割单元；180：第2图像生成部；190：取景器；200：帧重新排列迂回单元；210：输出切换单元；220：监视器输出部；225：外部高分辨率显示器。
具体实施方式
(第1实施方式)
接下来，使用图1、图2对本发明的第1实施方式进行说明。
在图1中，图1(a)是表示使用本发明的动态图像处理装置的第1实施方式的摄像装置1A的结构的框图，图1(b)是该摄像装置1A中的摄像部的说明图。此外，图2是该第1实施方式的摄像装置1A中的帧重新排列部的动作的说明图。
如图1(a)所示，摄像装置1A是例如视频摄像机，由以下部件等构成：依次将所拍摄的图像信号转换为模拟电信号并输出的摄像部110；将从摄像部110输出的模拟电信号转换为数字数据并输出的AFE 120；按照每帧对从AFE 120输出的数字数据进行分割，并变更该帧顺序然后输出(所谓的重新排列帧)的帧重新排列部130；将从帧重新排列部130输出的各帧的图像数据转换为彩色图像的图像生成部140；将从图像生成部140输出的彩色图像的帧序列压缩为动态图像，并输出压缩流的动态图像压缩部150；以及将从动态图像压缩部150输出的压缩流记录到例如闪存或光/磁记录介质中的记录部160。
并且，在摄像装置1A中具有未图示的CPU(Central Processing Unit：中央处理单元)和ROM(Read Only Memory：只读存储器)，CPU根据存储在ROM中的控制用程序，对该摄像装置1A的各处理进行控制。
摄像部110是单板式的彩色摄像元件(是本发明中的单板彩色图像传感器)，其构成为多个光电转换元件配置为矩阵状，并且如图1(b)所示，在其前面与光电转换元件对应地具有由R(红)、G(绿)、B(蓝)三原色的拜尔(Bayer)排列构成的滤色器，将通过各色的滤色部的单一颜色的光量转换为电信号。此外，如图1(b)所示，拜尔排列中，G色的滤色器以格子图案配置，G色滤色器和R色滤色器交替配置的列与G色滤色器和B色滤色器交替配置的列交替配置。
AFE 120由以下部件等构成：针对从摄像部110输出的模拟图像信号进行相关二重取样，去除噪声的相关二重取样电路(CDS：CorelatedDouble Sampling)；对通过相关二重取样电路输入的模拟图像信号进行放大的可变增益放大器(AGC：Automatic Gain Control：自动增益控制)；以及将通过可变增益放大器输入的模拟图像信号转换成数字图像信号的A/D转换器，AFE 120将从摄像部110输出的帧的模拟图像信号转换为与拜尔排列对应的数字图像信号并输出到帧重新排列部130。
此处，如果摄像部110由2M像素构成，并将AFE 120的A/D转换的精度设为8bit，则从AFE 120输出的每1帧的图像信号成为16Mbit(2M*8bit＝16Mbit)。
帧重新排列部130将以显示顺序输入的数字化的拜尔数据的帧顺序转换为与动态图像压缩部150的处理顺序对应的传送顺序。
例如，在动态图像压缩部150中，在生成M＝3的MPEG流时，如图2(a)所示，针对第k个输入的输入帧(k)，如果k≡2(mod 3)，则成为I帧或P帧，如果k≡0或1(mod 3)，则成为B帧。mod是预定的数值(k)除以mod数来求取其余数的运算符。
因此，在帧重新排列部130中，针对B帧，赋予比I帧或P帧多3帧的延迟并输出到图像生成部140。在本实施方式中，具有4帧的帧缓冲器130a～130d，通过对输入和输出适当分配帧缓冲器130a～130d来实现帧的重新排列。帧缓冲器130a～130d各自具有16Mbit的容量，合计具有64Mbit的存储器。
图像生成部140将从帧重新排列部130输出的帧依次从拜尔图像转换为彩色图像。作为YCrCb＝4:2:2生成彩色图像信号。此时，在拜尔图像中，每1像素用1个值＝8bit/pix进行表示，与此相对，在彩色图像中，每1像素倍增成2个值＝16bit/pix，每1帧的彩色图像信号变为32Mbit(16bit/pix*2Mpix＝32Mbit)。此外，在所述彩色图像信号中，Y是亮度，Cr是R相对于Y的色差，Cb是B相对于Y的色差。
在本实施例中，构成为无论针对哪个帧，都能够针对帧重新排列部130参照帧缓冲器130a～130d。因此，图像生成部140能够对拜尔图像进行非光栅顺序的存取。
由此，本实施方式中的摄像装置1A不用另行准备图像变形用的缓冲器，利用帧缓冲器130a～130d，就能够进行数字变焦和抖动、颜色像差以及歪曲像差校正等图像变形。
动态图像压缩部150对从图像生成部140输出的彩色图像的帧序列进行压缩。在本实施例中，进行出现I帧或P帧的周期M为3帧间隔(M＝3)的MPEG压缩。此外，在MPEG的动态图像压缩部150中，具有用于进行帧间预测的2个预测存储器150a、150b。并且，各帧的压缩数据作为一系列的压缩流输出到记录部160。
接下来，对生成压缩流的动作的具体情况进行说明。首先，在摄像部110中，每隔预定时间(例如，1/60秒)进行曝光，每次曝光时，将各光电转换元件中的曝光量作为模拟电信号，依次输出到AFE 120。此时，从各光电转换元件输出的模拟电信号的集合成为与拜尔排列的滤色器对应的拜尔图像信号。此外，因为是动态图像摄影，所以当一次曝光结束时，同时开始下一帧的曝光，依次连续地输出模拟图像信号。此外，将各图像作为帧，按照该帧序列形成动态图像。
接下来，从摄像部110输出的模拟电信号在AFE 120中转换为数字信号。该数字信号是与摄像部的拜尔排列对应的拜尔图像信号，是第一数据形式。此外，从AFE 120输出的拜尔图像信号按照摄像部110的曝光顺序依次输出(在本说明书中，将该输出顺序称作显示顺序)。
接下来，如图2(a)所示，针对各帧，按照显示顺序赋予k＝0、1、2…、这样的帧号码，将k≡2(mod 3)的帧设为I帧或P帧，将k≡0(mod3)或k≡1(mod 3)的帧设为B帧，将各帧输入到帧重新排列部130。此外，此时以显示顺序输出的拜尔图像信号以光栅顺序输入到帧重新排列部130。
接下来，在帧重新排列部130中，从AFE 120输入的输入帧(k)存储在帧缓冲器(图2(a)中的输入缓冲器)130a～130d中的任意一个中，按照与存储的顺序不同的顺序输出到图像生成部140(本发明中的帧重新排列步骤)。
具体而言，如图2(a)、(b)所示，对I帧或P帧进行一帧的延迟，对B帧进行4帧的延迟。此时，在本发明中，不管延迟的绝对量怎样，针对B帧赋予比I帧或P帧多M(M在MPEG动态图像处理技术中为出现I帧或P帧的周期)帧的延迟非常重要。由此，输入到图像生成部140的帧顺序成为传送顺序。
接下来，在图像生成部140中，将经由帧重新排列部130输入的各帧从拜尔图像信号转换为彩色图像信号(本发明中的彩色图像生成步骤)。此处，除了一般公知的颜色插值处理或反马赛克处理之外，还进行颜色转换、图像的边缘强调、噪声抑制、色调曲线(tone curve)处理等图像处理，成为适合欣赏的画质。
此外，在图像生成部140中，按照非光栅顺序读取存储在帧重新排列部130的帧缓冲器130a～130d中的拜尔图像信号，能够进行放大、缩小、旋转等图像变形。在图像生成部140中所转换的彩色图像信号输出到动态图像压缩部150。
接下来，在动态图像压缩部150中，进行从图像生成部140输入的彩色图像的帧序列的压缩处理(本发明中的动态图像压缩步骤)。
在本实施例中，进行M＝3的MPEG压缩处理，针对I帧、P帧、B帧三种帧使用不同的压缩法。此外，本发明中的NonF帧相当于I帧和P帧，本发明中的F帧相当于B帧。
具体而言，针对I帧进行不使用预测存储器的帧内编码，输出到记录部160，并且输入到预测存储器150a或150b中更新历史比较旧的一方(即，先被更新的一方)进行更新。
针对P帧，使用与存储在预测存储器150a或150b中更新历史比较新的一方中的帧之间的帧间预测来进行编码，输出到记录部160，并且输入到预测存储器150a或150b中更新历史比较旧的一方进行更新。当P帧输入到图像生成部140时，在预测存储器150a或150b中任意一个比较新的一方中，存储有在3帧之前所输入的I帧或P帧。
针对B帧，使用与存储在预测存储器150a和150b中的两个帧之间的帧间预测来进行编码，输出到记录部160。当B帧输入到动态图像压缩部150时，在预测存储器150a或150b中任意一个比较新的一方中，存储有刚刚输入到图像生成部140的I帧或P帧，在另一方中(即，预测存储器150a或150b中任意一个比较旧的一方)，还存储有在其3帧之前所输入的I帧或P帧。
但是，输入到图像生成部140的帧的顺序是在帧重新排列部130中重新排列的传送顺序，以显示顺序来说的话，在预测存储器150a或150b中任意一个比较旧的一方中，存储有在摄像部110中(作为处理对象的B帧的)之前曝光的I帧或P帧，在另一方中，存储有在摄像部110中(作为处理对象的B帧的)之后曝光的I帧或P帧(所谓的存储有本发明中的时间上在前的参照帧和时间上在后的参照帧)，由此在B帧中实现双向预测。
接下来，在记录部160中，记录由动态图像压缩部150编码的图像序列的压缩流。
此外，在摄像装置1A中，也可以代替记录部160而具有发送部。此时，发送部经由有线或无线的通信手段与其他的影像设备连接。此外，发送部将由动态图像压缩部150编码的图像序列作为压缩流发送到其他的影像设备。由此能够构成远程监视器用照相机。
如上所述，第1实施方式中记载的摄像装置1A，不是针对彩色图像而是针对拜尔图像进行一般在MPEG压缩中必要的帧重新排列处理，由此能够削减帧重新排列所需要的存储器容量和频带。此外，在图像生成部140中，利用在帧重新排列中使用的帧缓冲器130a～130d来进行图像变形，由此不需要其他用于图像变形的存储器就能够进行图像变形。
即，如以往那样在图像生成部的后面构成帧重新排列部和动态图像压缩部时，在帧重新排列部中，为了对彩色图像进行排序，与本第1实施方式比较，需要较大的存储器容量的帧缓冲器，所需频带也变大。此外，根据现有例，一般在图像生成部中另行需要图像变形用的帧缓冲器。此外，也可以在本实施方式的摄像部110中设为100万像素(1M像素)的PIA(Pixel Interleaved Array：像素插值阵列)排列，在图像生成部140中除了反马赛克处理以外还进行高像素化处理。此时，通过使用本发明，能够使帧重新排列所需要的存储器容量和频带进一步减半。这里，PIA排列是使正方格子旋转45度的像素排列，与拜尔排列比较，能够拓宽聚光面积，能够以1M像素取得与拜尔排列的2M像素接近的分辨率。
(第2实施方式)
接下来，使用图3和图4说明本发明的第2实施方式。在图3中，图3(a)是表示使用本发明的动态图像处理装置的第2实施方式的摄像装置1B的结构的框图，图3(b)是该摄像装置1B中的摄像部的说明图，图3(c)是该摄像装置1B中的图像数据合成处理的说明图。此外，图4是该实施方式的摄像装置1B中的帧重新排列部的动作的说明图。
此外，第2实施方式中的摄像装置1B基本上与第1实施方式中表示的摄像装置1A为相同的结构，所以对共同的结构部分赋予相同的标号并省略详细说明，对成为特征的部分进行以下说明。
如图3(a)所示，摄像装置1B是例如视频摄像机，由以下部件等构成：依次将所拍摄的图像信号转换为模拟电信号并输出的摄像部111；将从摄像部111输出的模拟电信号转换为数字数据并输出的AFE 120；按照每帧对从AFE 120输出的数字数据进行分割，并变更其帧顺序然后输出(所谓的重新排列帧)的帧重新排列部131；将从帧重新排列部131输出的各帧数据转换为与彩色图像对应的彩色数据的图像生成部141；将从图像生成部141输出的彩色图像的帧序列压缩为动态图像，并输出压缩流的动态图像压缩部150；以及将从动态图像压缩部150输出的压缩流记录到例如闪存或光/磁记录介质中的记录部160。
摄像部111由光谱响应分布不同的3个摄像元件111a、111b、111c构成，各自的受光面在像素配置方向上错开配置。
具体而言，摄像部111是如下的三板彩色照相机：用于分离R、G、B的颜色光的颜色分解棱镜配置在成像光学系统的光路上，在各颜色光的成像面上配置有摄像元件111a、111b、111c。
此外，如图3(b)所示，构成为通过用子像素的精度错开摄像元件111a、111b、111c的位置，由此得到比每个摄像元件111a、111b、111c的像素数都高的分辨率。
即，摄像部111由彩色图像传感器构成，所述彩色图像传感器由光谱响应分布不同的多个摄像元件111a、111b、111c构成，各自的受光面在像素配置方向上错开配置。
在该第2实施方式中，设为得到满高清(full high definition)的2M像素的分辨率，每个摄像元件111a、111b、111c由0.5M像素构成，R和B相对于G在纵横方向上分别错开半个像素((Py/2)和(Px/2))地进行配置。
与第1实施方式同样地，AFE 120将从摄像部111输出的模拟图像信号转换为由R、G、B的3个平面构成的数字图像信号并输出到帧重新排列部131。
此处，如果将AFE 120的A/D转换的精度设为8bit，则从AFE 120输出的每1帧的图像信号成为12Mbit(0.5M*8bit*3平面＝12Mbit)。
与第1实施方式同样地，帧重新排列部131将以显示顺序输入的数字化的像素错开数据的帧顺序转换为与动态图像压缩部150的处理顺序对应的传送顺序。在该第2实施方式中，帧重新排列部131中具有2帧的帧缓冲器131a、131b，根据来自摄像部111的输入，适当地分配帧缓冲器131a、131b，或者直接将输入作为输出，由此实现帧的重新排列。帧缓冲器131a、131b各自具有12Mbit的容量，合计具有24Mbit的存储器。
图像生成部141将从帧重新排列部131输出的帧依次根据像素错开图像进行高分辨率化处理，并转换为2M像素的彩色图像，所述彩色图像的每1帧的像素数成为各摄像元件111a、111b、111c中的像素数的4倍。即，使用如图3(c)所示R和B相对于G在纵横方向上分别错开半个像素((Px/2)和(Py/2))地进行配置的图像信号，针对每1帧插值生成(高密度插值处理)4倍的像素数，按照每个像素，作为YCrCb＝4:2:2生成彩色图像信号。
此时，在像素错开图像中，每1帧的图像信号用12Mbit表示，与此相对，在彩色图像中，每1帧的彩色图像信号变为32Mbit(16bit/pix*2Mpix＝32Mbit)。
接下来，与第1实施方式同样地，在动态图像压缩部150中，对从图像生成部141输出的彩色图像的帧序列进行压缩，各帧的压缩数据作为一系列的压缩流输出到记录部160。
接下来，对生成压缩流的动作的具体情况进行说明。首先，在摄像部111中，每隔预定时间(例如，1/60秒)进行曝光，每次曝光时，将各光电转换元件中的曝光量作为模拟电信号，依次输出到AFE 120。
此时，因为摄像部111由3个摄像元件111a、111b、111c构成，因此，从各光电转换元件输出的模拟电信号的集合成为3平面的模拟图像信号。此外，在各平面中是0.5M像素的低分辨率的动态图像摄影。当一次曝光结束时，同时开始下一帧的曝光，依次连续输出像素错开3平面的模拟图像信号。
此外，此时对与一次曝光对应的3平面的图像信号进行集合而作为1帧，按照其帧序列形成动态图像。
接下来，从摄像部111输出的像素错开3平面的模拟电信号(本发明中的第一数据形式)在AFE 120中转换为数字信号。此外，从AFE 120输出的数字图像信号按照摄像部111的曝光顺序依次输出(在本说明书中，将该输出顺序称作显示顺序)。
接下来，如图4(a)所示，针对各帧，按照显示顺序赋予k＝0、1、2…、这样的帧号码，将k≡2(mod 3)的帧设为I帧或P帧，将k≡0(mod3)或k≡1(mod 3)的帧设为B帧，将各帧输入到帧重新排列部131。此外，此时以显示顺序输出的像素错开3平面的图像信号输入到帧重新排列部131。
接下来，如图4(a)、(b)所示，在帧重新排列部131中，如果所输入的输入帧(k)是I帧或P帧，则直接输出到图像生成部141。此外，在帧重新排列部131中，如果所输入的输入帧(k)是B帧，则对于其数据，在帧缓冲器131a、131b中临时交替记录输入信号的同时，将原先记录在帧缓冲器131a、131b内的数据输出到图像生成部141。
由此，对B帧进行3帧的延迟处理，输入到图像生成部141的帧顺序成为传送顺序。
接下来，在图像生成部141中，将经由帧重新排列部131输入的各帧从3平面图像信号转换为高分辨率的彩色图像信号。此处，除了一般公知的被称为高分辨率化处理(高密度插值处理)的处理之外，还进行颜色转换、图像的边缘强调、噪声抑制、色调曲线处理等图像处理，成为适合欣赏的画质。
接下来，在图像生成部141中所转换的彩色图像信号输出到动态图像压缩部150。在动态图像压缩部150中，进行从图像生成部140输入的彩色图像的帧序列的压缩处理，在记录部160中，记录该压缩数据。
(第3实施方式)
接下来，使用图5说明本发明的第3实施方式。图5是表示使用本发明的动态图像处理装置的第3实施方式的摄像装置1C的结构的框图。
此外，第3实施方式中的摄像装置1C基本上与第1、第2实施方式中表示的摄像装置1A、1B为相同的结构，所以对共同的结构部分赋予相同的标号并省略详细说明，对成为特征的部分进行以下说明。
如图5所示，摄像装置1C是例如视频摄像机，构成为能够应对向取景器190的图像显示功能、向监视器输出部220的图像输出功能的要求。
具体而言，摄像装置1C为了生成向取景器190输出的彩色图像，在AFE 120和帧重新排列部131之间构成有信号分割单元170，能够通过信号分割单元170将来自AFE 120的输出输出到帧重新排列部131和第2图像生成部180两方。
在第2图像生成部180中，生成彩色图像并输出到取景器190，而不进行帧重新排列部131中的帧重新配置。此时，第2图像生成部180不要求像图像生成部141那样生成高分辨率的图像，因此设为比图像生成部141更简单的结构。
摄像装置1C在取景器190中以显示顺序显示图像，不进行帧重新排列部131的帧的延迟处理，因此对该摄像装置的用户而言，能够进行追随性良好的摄影。
取景器190由例如小型的布劳恩管或被称作液晶画面的影像显示设备构成，显示在第2图像生成部180中生成的图像信号。
此外，摄像装置1C具有以下部件等：将从信号分割单元170输出的显示顺序的图像信号绕过帧重新排列部131而输入到图像生成部141的帧重新排列迂回单元200；将从图像生成部141输出的彩色图像的帧数据的输入目的地切换为动态图像压缩部150和监视器输出部220中的任意一个的输出切换单元210；以及将经由输出切换单元210输入的彩色图像的图像信号输出到外部高分辨率显示器225的监视器输出部220。此外，本发明中的重新排列部迂回单元通过帧重新排列迂回单元200发挥其功能。
帧重新排列迂回单元200与帧重新排列部131平行配置，与输出切换单元210联动地将显示顺序的图像信号输出到图像生成部141。此时，帧重新排列迂回单元200也可以构成为控制帧重新排列部131而将来自帧重新排列部131的输出设为显示顺序。
输出切换单元210设置在图像生成部141和动态图像压缩部150之间，在影像记录时，将图像生成部141的输出输入到动态图像压缩部150，在向监视器输出时，将图像生成部141的输出输入到监视器输出部220。
监视器输出部220被设置成将图像信号从该摄像装置1C向外部输出的影像输出端子，在经由该影像输出端子连接高分辨率显示器225等时，将影像信号输出到连接目的地。
此外，摄像装置1C设定为在将影像输出到外部高分辨率显示器225时，输出切换单元210将图像生成部141的输出输入到监视器输出部220，并且终止帧重新排列部131的输出，帧重新排列迂回单元200工作从而将显示顺序的图像输入到图像生成部141，高分辨率的显示顺序的影像信号输出到外部高分辨率显示器225上进行显示。
另一方面，摄像装置1C设定为在记录影像时，输出切换单元210将图像生成部141的输出输入到动态图像压缩部150，并且帧重新排列迂回单元200不工作，经由帧重新排列部131的传送顺序的图像输入到图像生成部141和动态图像压缩部150。
由此，摄像装置1C经由图像生成部141而具有彩色动态图像的监视器输出和压缩记录两种功能。
接下来，使用图6说明本发明的第4实施方式。图6(a)是表示使用本发明的动态图像处理装置的第4实施方式的摄像装置1D的结构的框图，图6(b)是该实施方式中的摄像部的结构图。
此外，第4实施方式中的摄像装置1D基本上与第1实施方式中表示的摄像装置1A为相同的结构，所以对共同的结构部分赋予相同的标号并省略详细说明，对成为特征的部分进行以下说明。
如图6(a)所示，摄像装置1D由以下部件等构成：摄像部112、与从摄像部112输出的模拟信号对应的帧重新排列部132、AFE 120、图像生成部140、动态图像压缩部150以及记录部160。
此外，摄像装置1D在摄像部112和AFE 120之间设置有帧重新排列部132，以针对从摄像部112输出的模拟信号进行帧序列的排序。
与第1实施方式同样地，摄像部112由单板式彩色摄像元件构成。此外，帧重新排列部132使用作为帧缓冲器的模拟存储器的CCD(ChargeCoupled Devices：电容耦合器件)构成。
此外，摄像部112与帧重新排列部132同样地使用CCD的图像传感器构成，由此如图6(b)所示，能够通过一体的CCD 135构成摄像部112和帧重新排列部132。
如图6(b)所示，CCD 135由作为摄像部的受光区域135s；两个缓冲器区域135a、135b；I/P帧用水平转送部(I帧和P帧用水平转送部)以及B帧用水平转送部构成。
在受光区域135s和缓冲器区域135a、135b之间具有I/P帧用水平转送部，在隔着缓冲器区域135a位于受光区域135s的相对侧的缓冲器区域135b的端部具有B帧用水平转送部。
此外，通过该两个缓冲器区域135a、135b、I/P帧用水平转送部以及B帧用水平转送部发挥帧重新排列部132的功能。
此外，在受光区域135s中，在CCD 135的各元件(所谓的与各像素对应的元件)中，具有光电转换元件和马赛克滤色器(通过RGB内的单一颜色光的滤色器)。
接下来，对CCD 135中的摄像和帧重新排列动作进行说明。首先，在受光区域135s中进行预定时间的曝光，将各光电转换元件中的曝光量作为电荷进行蓄积(本发明中的第一数据形式成为该电荷量)。
此外，如果所曝光的图像帧是I帧或P帧，则对受光区域135s应用垂直转送，并且使I/P帧用水平转送部工作，将受光区域135s中的各像素的电荷作为模拟信号依次输出到AFE 120。
另一方面，如果所曝光的图像帧是B帧，则对CCD 135整体应用垂直转送，并且使B帧用水平转送部工作，将蓄积在缓冲器区域135b中的电荷作为模拟信号输出到AFE 120。此时，蓄积在受光区域135s中的电荷被蓄积到缓冲器区域135a，蓄积在缓冲器区域135a中的电荷被转送到缓冲器区域135b。
由此，如果I帧或P帧每隔3帧地进行排列，则与第2实施方式(图3(b))同样地，B帧在曝光的3帧后输出到AFE 120。此外，I帧或P帧在曝光之后立即输出到AFE 120，因此与第2实施方式中的帧重新排列部131同样地，输入到AFE 120和图像生成部140的帧顺序成为传送顺序。
如上所述，根据第4实施方式的摄像装置1D，能够在与图像传感器一体化的CCD 135中设置帧重新排列部132，不需要作为其他数字处理的帧重新排列。
以上，对本发明的一个实施例进行了说明，但是本发明不限于上述实施例，能够采取各种方式。

Claims (14)

1.一种动态图像处理装置，其根据从彩色图像传感器按照时间顺序分割成多个帧并以第一数据形式输出的动态图像的帧序列，生成通过帧间预测化方式编码的彩色动态图像的压缩流，其特征在于，该动态图像处理装置具有：
帧重新排列部，其与所述压缩流的处理顺序对应地对由所述第一数据形式构成的帧序列进行排序；
彩色图像生成部，其将由所述帧重新排列部排序的帧序列中的所述第一数据形式转换为彩色图像；以及
动态图像压缩部，其根据时间上前后的多个帧间的差分对转换为所述彩色图像的所述帧序列进行编码并压缩。
2.根据权利要求1所述的动态图像处理装置，其特征在于，
所述彩色图像传感器具有配置成矩阵状的多个光电转换元件、以及与该光电转换元件分别对应的多个颜色光的滤色器，所述彩色图像传感器是按照每个所述光电转换元件输出多个颜色光内的单一颜色光的像素信息的单板彩色图像传感器，
所述第一数据形式是按照每个像素具有单一颜色光的颜色信息的颜色马赛克图像，
所述彩色图像生成部构成为进行按照每个所述像素生成多个颜色光的像素信息的反马赛克处理。
3.根据权利要求1所述的动态图像处理装置，其特征在于，
所述彩色图像传感器由光谱响应分布不同的多个彩色图像传感器构成，各自的受光面在像素配置方向上错开配置，
所述第一数据形式是从所述多个彩色图像传感器内分别输出的图像数据，
所述彩色图像生成部构成为对所述多个彩色图像传感器的图像数据进行合成从而提高分辨率。
4.根据权利要求1所述的动态图像处理装置，其特征在于，
所述多个帧由不参照时间上在后的帧而进行编码的NonF帧和参照时间上在后的帧而进行编码的F帧构成，
所述帧重新排列部构成为根据所述输入的NonF帧和F帧的种类赋予延迟并输出。
5.根据权利要求4所述的动态图像处理装置，其特征在于，
所述NonF帧还包括不使用所述帧间预测而直接对帧内的图像信号进行编码的I帧、以及对与时间上在前的参照帧的图像信号之间的差分进行编码的P帧，
所述F帧是对时间上在前的参照帧和时间上在后的参照帧的差分进行编码的B帧，
所述帧重新排列部构成为根据所述输入的I帧、P帧、B帧的种类赋予所述延迟并输出。
6.根据权利要求1所述的动态图像处理装置，其特征在于，
所述帧重新排列部构成为对所述多个帧种类中的一部分帧种类赋予延迟并输出。
7.根据权利要求1所述的动态图像处理装置，其特征在于，
在所述帧重新排列部中，具有按照所述第一数据形式的图像数据中的至少各2帧来存储图像数据的帧缓冲器。
8.根据权利要求1所述的动态图像处理装置，其特征在于，
在所述图像生成部中，具有进行所述彩色图像的图像变形的图像变形处理部。
9.根据权利要求8所述的动态图像处理装置，其特征在于，
所述帧重新排列部构成为按照非光栅顺序输出帧内的图像数据。
10.根据权利要求1所述的动态图像处理装置，其特征在于，
该动态图像处理装置具有生成向取景器输出的彩色图像的第2图像生成部，在该第2图像生成部中，生成彩色图像而不进行所述帧重新排列部中的帧重新配置。
11.根据权利要求1所述的动态图像处理装置，其特征在于，
该动态图像处理装置具有重新排列部迂回单元，该重新排列部迂回单元使从所述彩色图像传感器输出的帧序列不通过所述帧重新排列部而输出到所述彩色图像生成部，
该动态图像处理装置构成为能够对输入到所述彩色图像生成部的帧序列的从所述彩色图像传感器输出的帧顺序和从所述帧重新排列部输出的帧顺序进行切换。
12.一种摄像机，其特征在于，该摄像机由权利要求1所述的动态图像处理装置和彩色图像传感器、以及对由所述动态图像处理装置中的动态图像压缩部所压缩的动态图像信息进行存储的记录装置构成。
13.一种远程监视器用照相机，其特征在于，该远程监视器用照相机由权利要求1所述的动态图像处理装置和彩色图像传感器、以及将由所述动态图像处理装置中的动态图像压缩部所压缩的动态图像信息发送到外部设备的发送装置构成。
14.一种动态图像处理方法，其根据从彩色图像传感器按照时间顺序分割成多个帧并以第一数据形式输出的动态图像的帧序列，生成通过帧间预测化方式编码的彩色动态图像的压缩流，其特征在于，该动态图像处理方法使用以下步骤：
帧重新排列步骤，与所述压缩流的处理顺序对应地对由所述第一数据形式构成的帧序列进行排序；
彩色图像生成步骤，将在所述帧重新排列步骤中排序的帧序列中的所述第一数据形式转换为彩色图像；以及
动态图像压缩步骤，根据时间上前后的多个帧间的差分对转换为所述彩色图像的所述帧序列进行编码并压缩。
CN200910128376XA 2008-04-07 2009-04-07 动态图像处理装置、动态图像处理方法 Expired - Fee Related CN101557520B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008-099110 2008-04-07
JP2008099110A JP4494490B2 (ja) 2008-04-07 2008-04-07 動画処理装置及び動画処理方法、動画処理プログラム
JP2008099110 2008-04-07

Publications (2)

Publication Number Publication Date
CN101557520A CN101557520A (zh) 2009-10-14
CN101557520B true CN101557520B (zh) 2011-08-24

Family

ID=41161807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910128376XA Expired - Fee Related CN101557520B (zh) 2008-04-07 2009-04-07 动态图像处理装置、动态图像处理方法

Country Status (5)

Country Link
JP (1) JP4494490B2 (zh)
KR (1) KR101046012B1 (zh)
CN (1) CN101557520B (zh)
TW (1) TW200943973A (zh)
WO (1) WO2009125673A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102439978A (zh) * 2010-03-12 2012-05-02 联发科技（新加坡）私人有限公司 运动预测方法
US20130004071A1 (en) * 2011-07-01 2013-01-03 Chang Yuh-Lin E Image signal processor architecture optimized for low-power, processing flexibility, and user experience
US20140078343A1 (en) * 2012-09-20 2014-03-20 Htc Corporation Methods for generating video and multiple still images simultaneously and apparatuses using the same
WO2016140414A1 (ko) * 2015-03-02 2016-09-09 삼성전자 주식회사 촬영 정보에 기초하여 영상을 압축하는 방법 및 장치
JP6006389B1 (ja) 2015-08-26 2016-10-12 オリンパス株式会社 撮像装置、撮像方法及び撮像プログラム
CN110168611A (zh) * 2017-03-22 2019-08-23 惠普发展公司，有限责任合伙企业 基于数据关系的图像数据的压缩版本
CN109429067B (zh) * 2017-08-31 2022-10-25 腾讯科技（深圳）有限公司 动态图片压缩方法及装置、计算机设备及存储介质
CN110120982B (zh) * 2019-05-29 2021-02-09 精英数智科技股份有限公司 一种基于煤矿安全监控联网系统的传感器数据压缩方法
CN116709042A (zh) * 2022-02-24 2023-09-05 荣耀终端有限公司 一种图像处理方法和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1196641A (zh) * 1997-02-27 1998-10-21 松下电器产业株式会社 图像信号转换方法和设备以及图像提供系统
CN1220806A (zh) * 1997-03-21 1999-06-23 三菱电机株式会社 图象处理装置、静止图象摄像装置及图象处理方法
CN101014135A (zh) * 2006-09-04 2007-08-08 钮旋 对图象流数据的预处理方法及压缩与解压缩方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002247376A (ja) * 2001-02-20 2002-08-30 Rohm Co Ltd 画像処理装置
JP2003069893A (ja) * 2001-08-28 2003-03-07 Olympus Optical Co Ltd 撮像装置
JP2007158524A (ja) * 2005-12-01 2007-06-21 Masaru Kamiya 画像符号化装置及び画像符号化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1196641A (zh) * 1997-02-27 1998-10-21 松下电器产业株式会社 图像信号转换方法和设备以及图像提供系统
CN1220806A (zh) * 1997-03-21 1999-06-23 三菱电机株式会社 图象处理装置、静止图象摄像装置及图象处理方法
CN101014135A (zh) * 2006-09-04 2007-08-08 钮旋 对图象流数据的预处理方法及压缩与解压缩方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JP特开2002-247376A 2002.08.30
JP特开2003-69893A 2003.03.07
JP特开2007-158524A 2007.06.21

Also Published As

Publication number Publication date
TWI354497B (zh) 2011-12-11
JP2009253667A (ja) 2009-10-29
TW200943973A (en) 2009-10-16
CN101557520A (zh) 2009-10-14
KR20100124855A (ko) 2010-11-29
WO2009125673A1 (ja) 2009-10-15
KR101046012B1 (ko) 2011-07-01
JP4494490B2 (ja) 2010-06-30

Similar Documents

Publication Publication Date Title
CN101557520B (zh) 动态图像处理装置、动态图像处理方法
US9560256B2 (en) Image capture apparatus and image capture method in which an image is processed by a plurality of image processing devices
CN104702926B (zh) 摄像机
JP4769039B2 (ja) デジタル信号符号化および復号化装置ならびにその方法
CN101690190A (zh) 成像设备、成像方法、记录介质和程序
WO2007029738A1 (ja) 撮像素子
JP2873046B2 (ja) 画像信号処理装置
US8111298B2 (en) Imaging circuit and image pickup device
CN103416067A (zh) 摄像装置及摄像程序
US6990240B2 (en) Image processing apparatus
US5734779A (en) Image pickup device having a plurality of pickup element regions and a color filter
US7236194B2 (en) Image signal processing apparatus
JPH11112977A (ja) 画像撮像圧縮システム
WO2011010431A1 (ja) 画像処理装置、画像処理方法および撮像装置
US20150332433A1 (en) Imaging device
JP3932006B2 (ja) 撮像装置
JP3095507B2 (ja) データ圧縮・記録方法
US20040252894A1 (en) Image compression apparatus and image processing system
JPH0937202A (ja) デジタルカメラ
JPH1169377A (ja) 画像情報符号化装置及びそれを応用した装置
JPH04170886A (ja) 撮像装置及び記録再生方式
US8363138B2 (en) Digital photographing apparatus
JP2002171531A (ja) 単板カラーカメラの画素信号処理方法
JPH0870469A (ja) ディジタル・スチル・ビデオ・カメラおよび画像データ記録方法ならびに画像データ再生装置および画像データ再生方法
JPH10126813A (ja) 撮像装置、記録媒体及び画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110824

Termination date: 20180407