CN105659594A - 发送/接收图片的压缩的像素数据组和像素数据分组设定的指示信息的数据处理装置以及相关数据处理方法 - Google Patents

发送/接收图片的压缩的像素数据组和像素数据分组设定的指示信息的数据处理装置以及相关数据处理方法 Download PDF

Info

Publication number
CN105659594A
CN105659594A CN201480057209.XA CN201480057209A CN105659594A CN 105659594 A CN105659594 A CN 105659594A CN 201480057209 A CN201480057209 A CN 201480057209A CN 105659594 A CN105659594 A CN 105659594A
Authority
CN
China
Prior art keywords
pixel
pixel data
data processing
interface
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480057209.XA
Other languages
English (en)
Inventor
朱启诚
刘子明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN105659594A publication Critical patent/CN105659594A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/68—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/63—Generation or supply of power specially adapted for television receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种数据处理装置包含映射器、多个压缩器和输出接口。映射器接收图片的多个像素的像素数据，并将图片的像素的像素数据拆分为多个像素数据组。压缩器分别压缩像素数据组并生成多个压缩的像素数据组。输出接口打包压缩的像素数据组为至少一个输出比特流，并经由照相机接口输出至少一个输出比特流。

Description

发送/接收图片的压缩的像素数据组和像素数据分组设定的指示信息的数据处理装置以及相关数据处理方法
【相关申请的交叉参考】
本发明要求2013年10月17日申请的序列号为61/892,227的美国临时专利申请的优先权，美国临时专利申请在此全部并入参考。
【技术领域】
本发明的实施例关于通过照相机接口发送和接收数据，且更特别地，关于发送/接收图片的压缩的像素数据组和像素数据分组设定的指示信息的数据处理装置以及相关数据处理方法。
【背景技术】
照相机接口位于第一芯片和第二芯片之间，以从第一芯片发送多媒体数据到第二芯片用于进一步处理。例如，第一芯片可包含照相机模块，以及第二芯片可包含图像信号处理器(ISP)。多媒体数据可包含图像数据(即，单个静止图像)或视频数据(即，包含连续图像的视频序列)。当具有高分辨率的照相机传感器在照相机模块中采用，通过照相机接口发送的多媒体数据将具有更大的数据大小/数据率，其必然增加照相机接口的功耗。如果照相机模块和ISP均位于由电池装置供电的便携式装置(例如，智能电话)，则电池寿命将由于照相机接口的增加的功耗而缩短。因此，需要一种新颖的设计，其可有效地降低照相机接口的功耗。
【发明内容】
根据示范性本发明的实施例，提出一种发送/接收图片的压缩的像素数据组和像素数据分组设定的指示信息的数据处理装置以及相关数据处理方法。
根据本发明的第一方面，揭示一种示范性数据处理装置。示范性数据处理装置包含映射器、多个压缩器和输出接口。映射器，用于接收图片的多个像素的像素数据，并将图片的多个像素的像素数据拆分为多个像素数据组。多个压缩器，用于分别压缩多个像素数据组并生成多个压缩的像素数据组。输出接口，用于打包压缩的像素数据组为至少一个输出比特流，并经由照相机接口输出至少一个输出比特流。
根据本发明的第二方面，揭示一种示范性数据处理装置。示范性数据处理装置包含输入接口、多个解压缩器和解映射器。输入接口，用于从照相机接口接收至少一个输入比特流，以及解打包至少一个输入比特流为图片的多个压缩的像素数据组。多个解压缩器，用于解压缩多个压缩的像素数据组并分别生成多个解压缩的像素数据组。解映射器，用于将多个解压缩的像素数据组合并为图片的多个像素的像素数据。
根据本发明的第三方面，揭示一种示范性数据处理装置。示范性数据处理装置包含压缩电路、第一输出接口和第二输出接口。压缩电路，用于通过基于图片的像素数据分组设定压缩图片的多个像素的像素数据，生成多个压缩的像素数据组。第一输出接口，用于打包多个压缩的像素数据组为输出比特流，并经由照相机接口输出所述输出比特流。第二输出接口，不同于第一输出接口。指示信息响应于压缩电路采用的像素数据分组设定来设置，并经由所述第一输出接口和所述第二输出接口中的一个输出。
根据本发明的第四方面，揭示一种示范性数据处理装置。示范性数据处理装置包含多个解压缩器、第一输入接口和第二输入接口。多个解压缩器，每个用于当被使能时解压缩从输入比特流派生的压缩的像素数据组。第一输入接口，用于经由照相机接口接收输入比特流。第二输入接口，不同于第一输入接口。指示信息是从第一输入接口和第二接口接收，且选自多个解压缩器的多个解压缩器是基于所接收的指示信息使能的。
根据本发明的第五方面，揭示一种示范性数据处理方法。示范性数据处理方法包含接收图片的多个像素的像素数据，并将图片的像素的像素数据拆分为多个像素数据组；压缩多个像素数据组以分别生成多个压缩的像素数据组；打包多个压缩的像素数据组为至少一个输出比特流，并经由照相机接口输出至少一个输出比特流。
根据本发明的第六方面，揭示一种示范性数据处理方法。示范性数据处理方法包含：从照相机接口接收至少一个输入比特流，并解打包至少一个输入比特流为图片的多个压缩的像素数据组；解压缩多个压缩的像素数据组以分别生成多个解压缩的像素数据组；以及将多个解压缩的像素数据组合并为所述图片的多个像素的像素数据。
根据本发明的第七方面，揭示一种示范性数据处理方法。示范性数据处理方法包含通过基于图片的像素数据分组设定压缩图片的多个像素的像素数据，生成多个压缩的像素数据组；打包多个压缩的像素数据组为输出比特流，并经由照相机接口输出输出比特流；其中指示信息是响应于像素数据分组设定设置的，并经由照相机接口和不同于照相机接口的带外信道中的一个输出。
根据本发明的第八方面，揭示一种示范性数据处理方法。示范性数据处理方法包含经由照相机接口接收输入比特流；以及基于从照相机接口和带外信道中的一个接收的指示信息，使能从多个解压缩器选择的至少一个解压缩器，其中带外信道不同于照相机接口，且每个解压缩器用于当被使能时解压缩从输入比特流派生的压缩的像素数据组。
在阅读了图示于各种图和附图中的优先实施例的以下详细描述后，本发明的这些和其它目的将对本领域的普通技术人员变得明显。
【附图说明】
图1是图示根据本发明的实施例的数据处理系统的示意图。
图2是图示基于第一像素数据分组设计由映射器执行的像素数据拆分操作的示意图。
图3是图示基于第一像素数据分组设计由解映射器执行的像素数据合并操作的示意图。
图4是图示基于第二像素数据分组设计由映射器执行的像素数据拆分操作的示意图。
图5是图示基于第二像素数据分组设计的由解映射器执行的像素数据合并操作的示意图。
图6是图示根据本发明的实施例的基于第一像素片段的像素数据分组设计的示意图。
图7时图示根据本发明的实施例的基于第二像素片段的像素数据分组设计的示意图。
图8是图示根据本发明的实施例的显示于图1中的数据处理系统的控制和数据流的流程图。
图9是图示根据本发明的实施例的位置识别率控制机制的示意图。
图10是图示于图8中步骤806的备选设计的示意图。
图11是图示根据本发明的实施例的修改的压缩机制的示意图。
图12是图示显示于图8中的步骤808的备选设计的示意图。
图13是图示根据本发明的实施例的另一数据处理系统的示意图。
图14是图示每个在第一方向分割一个图片的示范性像素数据分组样式的示意图。
图15是图示每个在第二方向分割一个图片的示范性像素数据分组样式的示意图。
图16是图示根据本发明的实施例的从照相机模块到图像信号处理器生成输出比特流的数据结构的示意图。
图17是图示照相机模块和图像信号处理器之间信息握手的示例的示意图。
图18是图示根据本发明的实施例的显示于图13的数据处理系统的控制和数据流的流程图。
图19是图示根据本发明的实施例的使用具有压缩命令的I2C协议的示例。
图20是图示根据本发明的实施例的显示于图13的数据处理系统的另一控制和数据流的流程图。
【具体实施方式】
遍及整篇描述和权利要求的某些术语用于指代特定部件。如本领域的技术人员意识到的，制造商可用不同的名称指代部件。此文档不打算区别名称不同但功能相同的部件。在权利要求和下文的描述中，术语“包括”和“包含”用于开放方式，且因此应该解释为意思是“包含，但不限于”。而且，术语“耦合”意于表示间接或直接电连接。因此，如果一个装置耦合到另一装置，那个连接可以通过直接电连接，或通过经由其它装置和连接的间接电连接。
本发明提出将数据压缩应用到多媒体数据，并然后通过照相机接口发送压缩的多媒体数据。由于压缩的多媒体数据的数据大小/数据率小于原始未压缩的多媒体数据的数据大小/数据率，照相机接口的功耗对应地降低。然而，由于以前压缩的/重建的数据的长数据依赖，压缩/解压缩系统存在通过量瓶颈。为了最小化或消除压缩/解压缩系统的通过量瓶颈，本发明还提出数据平行设计。例如，率控制打算最佳地或次最佳地调整每个压缩单元的比特率，以便实现内容识别比特预算分配，并因此改进视觉的质量。然而，率控制通常遭遇长数据依赖。当采用提出的数据平行设计时，在处理通过量和率控制性能之间存在折中。以此方式，多个压缩的像素数据组在发送端独立生成，且多个解压缩的像素数据组在接收端独立生成。应该注意到，提出的数据平行设计不限于率控制的增强，使用提出的数据平行设计的任何压缩/解压缩系统落入本发明的范围。提出的数据平行设计的进一步细节在说明书第一部分中描述。
此外，由接收端采用的解压缩配置要求兼容发送端采用的压缩配置；否则，接收端不能正确地解压缩压缩的多媒体数据。本发明还提出经由带内信道或带外信道发送/接收像素数据分组设定的指示信息，以便接收端的解压缩配置可以基于所接收的指示信息正确地配置。提出的信息握手设计的进一步细节在说明书的第二部分中描述。
图1是图示根据本发明的实施例的数据处理系统的示意图。数据处理系统100包含多个数据处理装置，例如，照相机模块102和图像信号处理器(ISP)104。图像信号处理器104可以是应用处理器(AP)的部分。照相机模块102和图像信号处理器104可以实施于不同的芯片，以及照相机模块102可经由照相机接口103与图像信号处理器104通信。在本实施例中，照相机接口103可以是由移动产业处理器接口(MIPI)标准化的照相机串行接口(CSI)。
照相机模块102耦合到照相机接口103，并支持压缩的数据传送。照相机模块102包含照相机传感器105、照相机控制器111、输出接口112和处理电路113。照相机传感器105用于获得输入多媒体数据。由照相机传感器105获得的输入多媒体数据可以是单个俘获的图片或包含多个连续俘获的图片的视频序列。此外，由照相机传感器105获得的输入多媒体数据可以是单个视图数据用于2D显示或多个视图数据用于3D显示。输入多媒体数据可包含待处理的一个图片的多个像素的像素数据DI。如图1所示，处理电路113包含要求处理像素数据DI以生成多个压缩的像素数据组(例如，本实施例中两个压缩的像素数据组DG1’和DG2’)的电路元件。例如，处理电路113包含映射器114、多个压缩器(例如，本实施例中两个压缩器115_1和115_2)、率控制器116和其它电路117。例如，其它电路117可包含照相机缓冲器、复用器等。在一个示范性设计中，照相机缓冲器可用于缓冲像素数据DI，并通过复用器输出缓冲的像素数据DI到映射器114。在另一示范性设计中，像素数据DI可旁路照相机缓冲器并通过复用器直接发送到映射器114。换句话说，待由映射器114处理的像素数据DI可以直接从照相机传感器105提供或间接地从照相机传感器105通过照相机缓冲器提供。
映射器114用作拆分器，并用于接收一个图片的像素数据DI，并根据像素数据分组设定DGSET将一个图片的像素数据DI拆分为多个像素数据组(例如，本实施例中的两个像素数据组DG1和DG2)。映射器114的进一步细节将在以后描述。因为像素数据DI拆分为两个像素数据组DG1和DG2，两个压缩器115_1和115_2选自处理电路113中的多个预置压缩器，并被使能以压缩像素数据组DG1和DG2，以分别生成压缩的像素数据组DG1’和DG2’。换句话说，使能的压缩器的数目取决于从映射器114生成的像素数据组的数目。
每个压缩器115_1和115_2可采用无损压缩算法或有损压缩算法，取决于实际设计考虑。率控制器116用于将比特率控制(即，比特预算分配)分别应用于压缩器115_1和115_2。以此方式，每个压缩的像素数据组DG1’和DG2’以所希望的比特率生成。在本实施例中，由压缩器115_1和115_2执行的压缩操作彼此独立，由此使能数据平行的率控制。因为长数据依赖减轻，所以率控制性能可改善。
输出接口112用于根据照相机接口103的传送协议打包/分组压缩的像素数据组DG1’和DG2’为至少一个输出比特流，并将至少一个输出比特流经由照相机接口103发送到图像信号处理器104。以示例的方式，一个比特流BS可以经由照相机接口103的一个照相机端口从照相机模块102生成到图像信号处理器104。
关于图像信号处理器104，其与照相机模块102经由照相机接口103通信。在本实施例中，图像信号处理器104耦合到照相机接口103，并支持压缩的数据接收。当照相机模块102发送压缩的多媒体数据(例如，打包于比特流BS中的压缩的像素数据组DG1’和DG2’)到图像信号处理器104时，图像信号处理器104用于从照相机接口103接收压缩的多媒体数据，并从压缩的多媒体数据派生重建的多媒体数据。
如图1所示，图像信号处理器104包含ISP控制器121、输入接口122和处理电路123。输入接口122用于从照相机接口103接收至少一个输入比特流(例如，由照相机接口103的一个照相机端口接收的比特流BS)，并解打包/解分组至少一个输入比特流为图片的多个压缩的像素数据组(例如，本实施例中两个压缩的像素数据组DG3’和DG4’)。应该注意到，如果在数据传送期间没有错误引入，则从输入接口122生成的压缩的像素数据组DG3’应该与从输出接口112接收的压缩的像素数据组DG1’相同，以及从输入接口122生成的压缩的像素数据组DG4’应该与由输出接口112接收的压缩得像素数据组DG2’相同。
处理电路123可包含从压缩的多媒体数据派生重建的多媒体数据所需的电路元件，且还可包含用于在输出重建的图片的多个像素的像素数据DO之前应用附加的处理的其它电路元件。例如，处理电路123包含解映射器124、多个解压缩器(例如，本实施例中两个解压缩器125_1和125_2)和其它电路127。例如，其它电路127可具有直接存储器访问(DMA)控制器、复用器、开关、图像处理器、照相机处理器、视频处理器、图形处理器等。解压缩器125_1用于解压缩压缩的像素数据组DG3’以生成解压缩的像素数据组DG3，以及解压缩器125_2用于解压缩压缩的像素数据组DG4’，以生成解压缩的像素数据组DG4。在本实施例中，由解压缩器125_1和125_2执行的解压缩操作彼此独立。以此方式，解压缩通过量可由于数据平行而改善。
由解压缩器125_1和125_2的每个采用的解压缩算法应该合适地与压缩器115_1和115_2的每个采用的压缩算法匹配。换句话说，当压缩器115_1和115_2用于执行无损压缩时，解压缩器125_1和125_2用于执行无损解压缩；以及当压缩器115_1和115_2用于执行有损压缩时，解压缩器125_1和125_2用于执行有损解压缩。如果在数据传送期间没有错误引入且无损压缩算法由压缩器115_1和115_2采用，则发送到解映射器124的解压缩的像素数据组DG3应该与从映射器114生成的像素数据组DG1相同，以及发送到解映射器124的解压缩的像素数据组DG4应该与从映射器114生成的像素数据组DG2相同。
解映射器124用作合成器，并用于基于由映射器114采用的像素数据分组设定DGSET，将解压缩的像素数据组合并为重建的图片的多个像素的像素数据DO。由映射器114采用的像素数据分组设定DGSET可以从照相机模块102经由带内信道(即，照相机接口103)或带外信道107发送到图像信号处理器104。例如，带外信道107可以是I2C(间集成电路)总线。对于另一示例，带外信道107可以是控制总线，例如，照相机控制接口(CCI)，用于MIPI的CSI接口。
具体地，照相机控制器111控制照相机模块102的操作，以及ISP控制器121控制图像信号处理器104的操作。因此，照相机控制器111可首先检查图像信号处理器104的解压缩能力和要求，并且然后响应于检查结果确定像素数据组的数目。此外，照相机控制器111还可确定由映射器114采用的像素数据分组设定DGSET，以生成满足图像信号处理器104的解压缩能力和要求的像素数据组，并发送像素数据分组设定DGSET。当接收从照相机控制器111发出的询问时，ISP控制器121可通知照相机控制器111图像信号处理器104的解压缩能力和要求。此外，当从照相机接口103或带外信道107接收像素数据分组设定DGSET时，ISP控制器121可控制解映射器124以基于所接收的像素数据分组设定DGSET执行像素数据合并操作。提出的信息握手机制的进一步描述将在以后描述。
关于数据平行，本发明提出可用于将一个图片的多个像素的像素数据拆分为多个像素数据组的若干像素数据分组设计。提出的像素数据分组设计的示例在以下详细描述。
由于一个图片的像素的像素数据DI从照相机传感器105生成，每个像素的像素数据格式取决于照相机传感器105的设计。例如，当照相机传感器105采用BGGR拜耳图案滤色器阵列(CFA)时，每个以下提及的像素可包含一个蓝色组分(B)，两个绿色组分(G)，以及一个红色组分(R)。对于另一示例，当照相机传感器105采用拜耳图案CFA并在YUV颜色空间中执行颜色去马赛克时，每个以下提及的像素中可包含一个亮度组分(Y)和两个色度组分(U，V)。应该注意到此仅仅是用于说明性的目的，并非是本发明的限制。本领域的技术人员应该意识到提出的像素数据分组可以应用于由照相机传感器105支持的任何像素数据格式。
在第一像素数据分组设计中，映射器114将一个图片的像素的像素数据DI通过分割比特深度/比特平面拆分为不同组。图2是图示基于第一像素数据分组设计由映射器114执行的像素数据拆分操作的示意图。如图2所示，图片200的宽度是W，以及图片200的高度是H。因此，图片200具有WxH个像素201。在本实施例中，每个像素201的像素数据具有对应于不同比特平面的多个比特。例如，对于每个颜色通道(例如，R/G/B或Y/U/V)每个像素201具有12比特B0-B11。比特B0-B11对应于不同的比特平面：比特平面[0]-比特平面[11]。具体地，最低有效位(LSB)B0对应于比特平面位平面[0]，以及最高有效位(MSB)B11对应于位平面位平面[11]。当采用第一像素数据分组设计时，照相机控制器111控制像素数据分组设定DGSET，以指示映射器114将每个像素的像素数据的比特拆分为多个比特组(例如，本实施例中两个比特组BG1和BG2)，并将比特组分别分配为像素数据组(例如，本实施例中像素数据组DG1和DG2)。关于每个像素201的不同颜色通道(例如，BGGR或YUV))的比特B0-B11，映射器114可将偶数比特B0，B2，B4，B6，B8，B10分组为一个比特组BG1，并将奇数比特B1，B3，B5，B7，B9，B11分组为另一比特组BG2。然而，此仅仅是用于说明性的目的，并非是本发明的限制。在备选设计中，映射器114可将较高比特B6-B11分组为一个比特组BG1，并将较低比特B0-B5分组为另一比特组BG2。简而言之，能将图片200的每个像素201的像素数据的比特拆分为多个比特组的任何比特交错方式可以由映射器114采用。
如上所述，像素数据组DG1和DG2在经历数据压缩后从照相机模块102发送到图像信号处理器104。因此，在数据解压缩执行后，图像信号处理器104获得对应于像素数据组DG1的一个解压缩的像素数据组DG3以及对应于像素数据组DG2的另一解压缩的像素数据组DG4。图3是图示由解映射器124基于第一像素数据分组设计执行的像素数据合并操作的示意图。解映射器124的操作可以看作映射器114的逆操作。因此，基于由映射器114采用的像素数据分组设定DGSET，解映射器124分别从解压缩的像素数据组(例如，本实施例中两个解压缩的像素数据组DG3和DG4)获得多个比特组(例如，本实施例中两个比特BG1和BG2)，并合并比特组以获得重建的图片200’的每个像素201’的像素数据的比特。在图像信号处理器104生成的重建的图片200’的分辨率与在照相机模块102处理的图片200的分辨率相同。因此，重建的图片200’的宽度是W，以及重建的图片200’的高度是H。重建的图片200’的每个像素201’的像素数据包含对应于不同比特平面比特平面[0]-比特平面[11]多个比特B0-B11。例如，重建的图片200’中一个像素201’的每个颜色通道(例如，R/G/B或Y/U/V)包含12比特B0-B11。解映射器124可获得包含像素201’的颜色通道的偶数比特B0，B2，B4，B6，B8，B10的比特组BG1，获得包含像素201’的颜色通道的奇数比特B1，B3，B5，B7，B9，B11的另一比特组BG2，然后合并比特组BG1和BG2以恢复像素201’的像素数据的所有比特B0-B11。然而，此仅仅是用于说明性的目的，并非是本发明的限制。在映射器114将较高比特B6-B11分组为一个比特组BG1以及将较低比特B0-B5分组为另一比特组BG2的另一情形中，解映射器124可获得包含像素201’的颜色通道的较高比特B6-B11的比特组BG1，获得包含像素201’的颜色通道的较低比特B0-B5的比特组BG2，并合并比特组BG1和BG2以恢复像素201’的像素数据的所有比特B0-B11。简而言之，由解映射器124采用的比特解交错方式取决于由映射器114采用的比特交错方式。
在第二像素数据分组设计中，映射器114通过分割完整像素将一个图片的像素的像素数据DI拆分为不同组。图4是图示由映射器114基于第二像素数据分组设计执行的像素数据拆分操作的示意图。如图4所示，图片400的宽度是W，以及图片400的高度是H。因此，图片400具有WxH个像素。如图4所示，位于相同像素线(例如，本实施例中相同像素行)的像素包含多个像素P0，P1，P2，P3…PW-2，PW-1。当采用第二像素数据分组设计时，照相机控制器111控制像素数据分组设定DGSET以指示映射器114拆分图片400的像素为多个像素组(例如，本实施例中两个像素组PG1和PG2)，并将像素组的像素数据分别分配到像素数据组(例如，本实施例中两个像素数据组DG1和DG2)。例如，位于相同像素线(例如，本实施例中相同像素行)的邻近像素分别分配为不同组。因此，像素组PG1包含图片400的偶数像素列C0，C2…CW-2的所有像素，以及像素组PG1包含图片400的奇数像素列C1，C3…CW-1的所有像素。如图4所示，像素数据组DG1包含Hx(W/2)像素的像素数据，以及像素数据组DG2包含Hx(W/2)像素的像素数据。然而，此仅仅是用于说明性的目的，且并非是本发明的限制。在备选设计中，前述像素线可以是像素列。因此，位于相同像素列的邻近像素分别分配到不同组。像素组PG1可包含图片400的偶数像素列的所有像素，以及像素组PG2可包含图片400的奇数像素列的所有像素。换句话说，像素数据组DG1可以通过搜集(H/2)xW像素的像素数据来形成，以及像素数据组DG2可以通过搜集(H/2)xW像素的像素数据形成。简而言之，能够将图片400的邻近像素拆分到不同像素组的任何像素交错方式可以由映射器114采用。
如上所述，像素数据组DG1和DG2在经历数据压缩后从照相机模块102发送到图像信号处理器104。因此，在数据解压缩执行后，图像信号处理器104获得对应于像素数据组DG1的一个解压缩的像素数据组DG3以及对应于像素数据组DG2的另一解压缩的像素数据组DG4。图5是图示由解映射器124基于第二像素数据分组设计执行的像素数据合并操作的示意图。解映射器124的操作可以看作映射器114的逆操作。因此，基于由映射器114采用的像素数据分组设定DGSET，解映射器124分别从解压缩的像素数据组(例如，本实施例中两个像素数据组DG3和DG4)获得多个像素组(例如，本实施例中两个像素组PG1和PG2)的像素数据，并合并像素组的像素数据以获得重建的图片400’的像素的像素数据，其中位于重建的图片400’的相同像素线(例如，相同像素行)的邻近像素分别从不同像素组获得。然而，此仅仅是用于说明性的目的，并非是本发明的限制。在映射器114分别将位于相同像素列的邻近像素分配为不同组另一情形中，解映射器124可分别从解压缩的像素数据组获得多个像素组的像素数据，并合并像素组的像素数据以获得重建的图片400’的像素的像素数据，其中位于重建的图片400’的相同像素列的邻近像素分别从不同像素组获得。简而言之，由解映射器124采用的像素解交错方式取决于由映射器114采用的像素交错方式。
关于以上提及的第二像素数据分组设计，像素以基于单个像素的方式分组为不同像素组。在一个备选设计中，像素可以以基于像素片段的方式分组为不同像素组，其中每个像素片段包含位于相同像素线(例如，相同像素行或相同像素列)的多个连续像素。图6是图示根据本发明的实施例的基于第一像素片段的像素数据分组设计的示意图。每个像素线(例如，本实施例中像素行R0-RH-1)分割为多个像素片段(例如，本实施例中两个像素片段S1和S2)，以及位于相同像素线的像素片段的数目等于像素数据组(例如，本实施例中两个像素数据组DG1和DG2)的数目。关于像素数据拆分操作，位于相同像素线(例如，本实施例中相同像素行)的邻近像素片段分别分配到不同像素组(例如，本实施例中两个像素组PG1和PG2)。因此，如图6所示，像素组PG1包含像素片段S1，每个像素片段从图片400的像素行R0-RH-1的一个提取，以及像素组PG2包含像素片段S2，每个像素片段从图片400的像素行R0-RH-1的一个提取。
关于像素数据合并操作，位于相同像素线(例如，本实施例中的相同像素行)的邻近像素片段分别从不同像素组(例如，本实施例中两个像素组PG1和PG2)获得。因此，如图6所示，重建的图片400’具有每个通过将从像素组PG1获得的一个像素片段S1与从像素组PG2获得的另一像素片段S2合并重建的像素行R0-RH-1。
应该注意到，在另一示范性实施中，前述像素线可以是像素列。因此，每个像素列分割为多个像素片段，位于相同像素列的像素片段的数目等于像素数据组的数目。关于像素数据拆分操作，位于相同像素列的邻近像素片段分别分配到不同像素组。关于像素数据合并操作，位于相同像素列的邻近像素片段分别从不同像素组获得。
图7是图示根据本发明的实施例的基于第二像素片段的像素数据分组设计的示意图。每个像素线(例如，本实施例中像素行R0-RH-1)分割为多个像素片段(例如，本实施例中四个像素片段S1，S2，S3和S4)，且位于相同像素线的像素片段的数目大于像素数据组(例如，本实施例中两个像素数据组DG1和DG2)的数目。关于像素数据拆分操作，位于相同像素线(例如，本实施例中相同像素行)的邻近像素片段分别分配到不同像素组(例如，本实施例中两个像素组PG1和PG2)。因此，如图7所示，像素组PG1包含像素片段S1，每个从图片400的像素行R0-RH-1的一个提取，以及像素片段S3，每个从图片400的像素行R0-RH-1的一个提取；以及像素组PG2包含像素片段S2，每个从图片400的像素行R0-RH-1的一个提取，以及像素片段S4，每个从图片400的像素行R0-RH-1的一个提取。关于像素数据合并操作，位于相同像素线(例如，本实施例中相同像素行)的邻近像素片段分别从不同像素组(例如，本实施例中两个像素组PG1和PG2)获得。因此，如图7所示，重建的图片400’具有像素行R0-RH-1，每个通过将从像素组PG1获得的像素片段S1和S3以及从像素组PG2获得的像素片段S2和S4合并来重建。
应该注意到，在另一示范性实施中前述像素线可以是像素列。因此，每个像素列分割为多个像素片段，以及位于相同像素列的像素片段的数目大于像素数据组的数目。关于像素数据拆分操作，位于相同像素列的邻近像素片段分别分配到不同像素组。关于像素数据合并操作，位于相同像素列的邻近像素片段分别从不同像素组获得。
图8是图示根据本发明的实施例的显示于图1中的数据处理系统的控制和数据流的流程图。假设结果基本相同，步骤不要求以显示于图8中的精确顺序执行。示范性控制和数据流可以简短地由以下步骤概括。
步骤802：检查图像信号处理器(ISP)的解压缩能力和要求。
步骤803：通知照相机模块解压缩能力和要求。
步骤804：根据检查结果确定像素数据分组设定。
步骤806：独立地将率控制应用到多个压缩器。
步骤808：通过使用压缩器以基于像素数据分组设定压缩从图片的多个像素的像素数据获得的多个像素数据组，生成多个压缩的像素数据组。例如，像素数据组可以基于显示于图2、图4、图6和图7中提出的任何像素数据分组设计生成。
步骤810：打包/分组压缩的像素数据组为输出比特流。
步骤812：经由照相机接口发送输出比特流。
步骤814：经由带内信道(即，照相机接口)或带外信道(例如，I2C总线或CCI总线)发送像素数据分组设定。
步骤816：从带内信道(即，照相机接口)或带外信道(例如，I2C总线或CCI总线)接收像素数据分组设定。
步骤818：从照相机接口接收输入比特流。
步骤820：解打包/解分组输入比特流为多个压缩的数据组。
步骤822：通过使用多个解压缩器以独立地解压缩压缩的像素数据组，生成重建的图片的多个像素的像素数据，并然后基于像素数据分组设定合并多个解压缩的像素数据组。
应该注意到步骤802和804-814由照相机模块102执行，步骤803和816-822由图像信号处理器104执行。本领域技术人员在阅读了以上段落后可以容易理解显示于图8中的每个步骤得细节，为了简洁此处省略进一步描述。
此外，当在照相机侧使用单个压缩器并在ISP侧的单个解压缩器能够满足通过量要求时，提出的数据平行方案可以不激活。例如，照相机模块可参考由图像信号处理通知的解压缩能力和要求的信息，以决定图像信号处理器中一个解压缩器的通过量M(像素每时钟周期)以及紧接着图像信号处理器的电路块的目标通过量要求N(像素每时钟周期)。假设照相机模块中的一个压缩器的通过量也是M(像素每时钟周期)。当N/M不大于一，此表示在照相机侧使用单个压缩器且在ISP侧的单个解压缩器能够满足通过量要求。因此，提出的数据平行方案不激活，且执行现有的率控制压缩和解压缩。当N/M大于一，此表示在照相机侧使用单个压缩器且在ISP侧的单个解压缩器不能满足通过量要求。因此，激活提出的数据平行方案。此外，在照相机模块中使能的压缩器的数目以及在图像信号处理器中使能的解压缩器的数目可以基于N/M的值确定。
由映射器114执行的像素数据拆分操作是生成将经历独立率控制压缩的多个像素数据组。然而，原始图片中的邻近像素线(例如，像素行或像素列)的像素数据可能分到不同像素数据组。率控制通常依据像素内容而不是像素位置优化比特率。像素边界可能引入伪影，因为率控制不知道边界位置。以显示于图6中的像素数据分组设计为例，应用于像素行R0的像素片段S1的率控制独立于应用于相同像素行R0的像素片段S2的率控制。具体地，像素片段S1是以从P0到PM的顺序压缩，以及像素片段S2是以从PM+1到PW-1的顺序压缩。关于像素片段S1和S2之间的像素边界的相反侧的像素PM和PM+1，像素PM可以是具有第一比特预算分配的压缩单元的部分，以及像素PM+1可以是具有不同于第一比特预算分配的第二比特预算分配的另一压缩单元的部分。第一比特预算分配和第二比特预算分配之间的差别很大。其结果是，率控制器116可在像素边界上不等地分配比特率，故导致重建的图片中像素边界上降级的图像质量。为了避免或缓解由像素边界上的伪影导致的图像质量降级，本发明还提出位置识别率控制机制器依据像素位置优化比特预算。
图9是图示根据本发明的实施例的位置识别率控制机制的示意图。如图9所示，在像素边界的一侧有压缩单元CU1和CU2以及在像素边界的另一侧有压缩单元CU3和CU4。压缩单元CU1和CU2属于一个像素组PG1，以及压缩单元CU1比压缩单元CU2更靠近像素边界。压缩单元CU3和CU4属于另一像素组PG2，以及压缩单元CU3比压缩单元CU4更靠近像素边界。在一个示范性实施例中，每个压缩单元CU1-CU4可包含XxY个像素，以及压缩单元CU1-CU4可以在图片中水平或垂直邻近。例如，X可以是4以及Y可以是2。当激活位置识别率控制机制时，率控制器116可以用于根据不同像素组之间每个像素边界的位置调整比特率控制。例如，率控制器116增加分配给压缩单元CU1的原始比特预算BBori_CU1调整值Δ1(Δ1>0)，以由此确定最终比特预算BBtar_CU1，并减少分配给压缩单元CU2的原始比特预算BBori_CU2调整值Δ1，以由此确定最终比特预算BBtar_CU2。此外，率控制器116增加分配给压缩单元CU3的原始比特预算BBori_CU3调整值Δ2(Δ2>0)，以由此确定最终比特预算BBtar_CU3，以及减少分配给压缩单元CU4的原始比特预算BBori_CU4调整值Δ2，以由此确定最终比特预算BBtar_CU4。调整值Δ2可以是等于或不等于调整值Δ1，取决于实际设计考虑。因为提出的位置识别率控制趋于在靠近像素边界设置更大的比特预算，像素边界上的伪影可减小。以此方式，重建的图片中像素边界附近的图像质量可改善。
在采用位置识别率控制的情形中，显示于图8流程中步骤806的可以修改为用显示于图10中的以下步骤代替。
步骤1002：根据像素边界位置独立地将率控制应用于多个压缩器。
本领域的技术人员在阅读以上段落后可以容易理解步骤1002的细节，为了简洁此处省略进一步描述。
以显示于图6中的像素数据分组设计为例，应用于像素行R0的像素片段S1的率控制独立于应用于相同像素行R0的像素片段S2的率控制。像素片段S1以P0到PM的顺序压缩，以及像素片段S2是PM+1到PW-1的顺序压缩。其结果是，像素PM(像素片段S1中最后压缩的像素)的比特预算分配条件可以不同于像素PM+1(像素片段S2中最先压缩的像素)的比特预算分配条件。为了避免或减少像素边界上的伪影，本发明还提出具有基于像素边界位置设置的压缩顺序的修改的压缩机制。图11是图示根据本发明的实施例的修改的压缩机制的示意图。如图11所示，像素边界的一侧有压缩单元CU1和CU2以及像素边界的另一侧有压缩单元CU3和CU4。压缩单元CU1和CU2属于一个像素组PG1，以及压缩单元CU1比压缩单元CU2更靠近像素边界。压缩单元CU3和CU4属于另一像素组PG2，以及压缩单元CU3比压缩单元CU4更靠近像素边界。在一个示范性实施例中，每个压缩单元CU1-CU4可包含XxY个像素，以及压缩单元CU1-CU4可以在图片中水平或垂直邻近。例如，X可以是4以及Y可以是2。当激活修改后的压缩机制时，每个压缩器115_1和115_2可以用于根据不同像素组之间每个像素边界的位置设置压缩顺序。例如，压缩器115_1在压缩压缩单元CU2之前压缩压缩单元CU1，以及压缩器115_2在压缩压缩单元CU4之前压缩压缩单元CU3。换句话说，位于相同像素线的两个邻近像素片段以相反的压缩顺序压缩。因为修改的压缩方案从靠近邻近像素组之间的像素边界的压缩单元开始压缩，靠近像素边界的比特预算分配条件可以更类似。以此方式，重建的图片中像素边界附近的图像质量可改善。当在照相机侧激活修改的压缩机制时，当合并解压缩的像素数据组DG3和DG4时，ISP侧的解映射器124可以用于进一步考虑压缩顺序。
在采用修改的压缩机制的情形中，显示于图8流程中的步骤808可以修改为用显示于图12中的以下步骤代替。
步骤1202：通过基于像素数据分组设定将图片的多个像素的像素数据拆分为多个像素数据组，并根据基于像素边界位置设置的压缩顺序使用压缩器以压缩像素数据组，以生成多个压缩的像素数据组。
本领域的技术人员在阅读以上段落后可以容易理解步骤1202的细节，为了简洁此处省略进一步描述。
图8中的步骤814和816用于使图像信号处理器中的解压缩配置匹配照相机传感器中的压缩配置，用于允许数据平行设计以正常操作。具体地，图像信号处理器中的解压缩配置和照相机传感器中的压缩配置可基于以下说明的提出的信息握手机制合适地设置。
图13是图示根据本发明的实施例的另一数据处理系统的示意图。数据处理系统1300包含多个数据处理装置，例如，照相机模块1302和图像信号处理器1304。图像信号处理器1304可以是应用处理器(AP)的部分。照相机模块1302和图像信号处理器1304可以实施于不同芯片，以及照相机模块1302经由前述照相机接口(例如，MIPI的CSI)103与图像信号处理器1304通信。
照相机模块1302耦合到照相机接口103，并支持压缩的数据传送。照相机模块1302包含处理电路1313和前述照相机传感器105、照相机控制器111和输出接口112。处理电路1313包含要求用于处理一个图片的像素的像素数据DI以生成多个压缩的像素数据组DG1’-DGN’的电路元件，其中N是正整数。在本实施例中，处理电路1313包含压缩电路1314和前述其它电路117。压缩电路1314可具有映射器/拆分器、多个压缩器等。例如，压缩电路1314可包含显示于图1中的映射器114、率控制器116和压缩器115_1-115_2。
关于压缩电路1314，其可使用映射器/拆分器以根据像素数据分组设定DGSET’将一个图片的像素数据DI拆分为N个像素数据组。接着，压缩电路1314可使能选自多个预置压缩器的N个压缩器以压缩N个像素数据组，以分别生成压缩的像素数据组DG1’-DGN’。具体地，使能的压缩器的数目取决于像素数据组的数目。此外，每个使能的压缩器可采用无损压缩算法或有损压缩算法，取决于实际设计考虑。在本实施例中，由使能的压缩器执行的压缩操作彼此独立。以此方式，照相机模块1302的压缩通过量由于数据平行可改善。
输出接口112用于根据照相机接口103的传送协议打包/分组压缩的像素数据组DG1’-DGN’为至少一个输出比特流，并经由照相机接口103发送至少一个输出比特流到图像信号处理器1304。以示例的方式，一个比特流BS’可以经由照相机接口103的一个照相机端口从照相机模块1302生成到图像信号处理器1304。
关于图像信号处理器1304，其经由照相机接口103与照相机模块1302通信。在本实施例中，图像信号处理器1304耦合到照相机接口103，并支持压缩的数据接收。当照相机模块1302发送压缩的多媒体数据(例如，打包于比特流BS’中的压缩的像素数据组DG1’-DGN’)到图像信号处理器1304，图像信号处理器1304用于从照相机接口103接收压缩的多媒体数据并从压缩的多媒体数据派生重建的多媒体数据。
如图13所示，图像信号处理器1304包含处理电路1323和前述ISP控制器121以及输入接口122。输入接口122用于从照相机接口103(例如，由照相机接口103的一个照相机端口接收的比特流BS’)接收至少一个输入比特流，并解打包/解分组至少一个输入比特流为图片的多个压缩的像素数据组(例如，N个压缩的像素数据组)。应该注意到，如果在数据传送期间没有错误引入，从输入接口122生成的压缩的像素数据组应该与由输出接口112接收的压缩的像素数据组DG1’-DGN’相同。
处理电路1323可包含要求从压缩的多媒体数据派生重建的多媒体数据的电路元件，并还可包含用于在输出重建的图片的多个像素的像素数据DO之前应用附加的处理的其它电路元件。在本实施例中，处理电路1323包含多个解压缩器(例如，M个解压缩器125_1-125_M，其中M是正整数且M≧N)、多个开关(例如，M个开关126_1-126_M)以及其它电路1327。其它的电路1327可包含解映射器/组合器(例如，显示于图1中的解映射器124)、DMA控制器、复用器、图像处理器、照相机处理器、视频处理器、图形处理器等。
每个解压缩器125_1-125_M用于当被选择时解压缩压缩的像素数据组。应该注意到，开关126_1-126_M的数目等于解压缩器125_1-125_M的数目。因此，每个开关126_1-126_M控制对应解压缩器是否选择用于数据解压缩。在本实施例中，开关126_1-126_M分别由从ISP控制器121生成的多个使能信号EN1-ENM控制。当使能信号具有第一逻辑值(例如，‘1’)时，使能对应开关(即，闭合)以使后续解压缩器被选择；且当使能信号具有第二逻辑值(例如，‘0’)时，禁能对应开关(即，断开)以使后续的解压缩器不被选择。
图像信号处理器1304具有多个预置解压缩器(例如，多个核)以实现不同解压缩能力(或通过量)。在本实施例中，因为输入接口122通过解打包/解分组比特流BS’获得N个压缩的像素数据组，ISP控制器121用于从解压缩器125_1-125_M选择N个解压缩器用于数据解压缩。在本实施例中，未选择的(M-N)解压缩器可以是时钟门(clock-gated)用于节省电力。选择的解压缩器用于解压缩N个压缩的像素数据组，以分别生成多个解压缩的像素数据组。在本实施例中，由选择的解压缩器执行的解压缩操作彼此独立。以此方式，解压缩通过量由于数据平行而改进。
由图像信号处理器1304中每个选择的解压缩器采用的解压缩算法应该合适地配置为与由压缩电路1314中的每个压缩器采用的压缩算法匹配。换句话说，当压缩电路1314中的压缩器用于执行无损压缩时，选择的解压缩器用于执行无损解压缩；当压缩电路1314中的压缩器用于执行有损压缩时，选择的解压缩器用于执行有损解压缩。其它电路1327中的解映射器/组合器(未示出)用于基于由压缩电路1314中的映射器/拆分器(未示出)采用的像素数据分组设定DGSET’，将解压缩的像素数据组合并为重建的图片的多个像素的像素数据DO。
像素数据分组设定DGSET’关于由压缩电路1314处理的像素数据组的数目。换句话说，像素数据分设定DGSET’是关于压缩电路1314中压缩器的数目。在一个示范性实现中，由压缩电路1314采用的像素数据分组设定DGSET’可以从照相机模块1302经由带内信道(即，照相机接口103)发送到图像信号处理器1304。具体地，照相机控制器111控制照相机模块1302的操作，以及ISP控制器121控制图像信号处理器1304的操作。因此，照相机控制器111可首先检查图像信号处理器1304的解压缩能力和要求，并且然后响应于检查结果确定像素数据组的数目。此外，照相机控制器111还可确定由压缩电路1314采用的像素数据分组设定DGSET’，以生成满足图像信号处理器1304的解压缩能力和要求的像素数据组，并通过照相机接口103发送像素数据分组设定DGSET’。当接收从照相机控制器111发送的询问时，ISP控制器121通知照相机控制器111图像信号处理器1304的解压缩能力和要求。此外，当接收来自照相机接口103的像素数据分组设定DGSET’时，ISP控制器121参考所接收的像素数据分组设定DGSET’，以合适地设置使能信号EN1-ENM，以便正确地选择多个解压缩器用于数据解压缩。
例如，照相机模块1302可参考由图像信号处理器1304通知的解压缩能力和要求的信息，以决定图像信号处理器1304中一个解压缩器的通过量P1(像素每时钟周期)以及紧接着图像信号处理器1304的电路块的目标通过量要求P2(像素每时钟周期)。假设照相机模块1302中一个压缩器的通过量也是P1(像素每时钟周期)。当P2/P1不大于一时，此表示在照相机侧使用单个压缩器以及在ISP侧的单个解压缩器能够满足通过量要求。因此，不激活提出的数据平行方案，以及执行现有的压缩和解压缩。在此情况下，使能信号EN1-EN4可以由{1、0、0、0}设置用于允许单个解压缩器被使能。当P2/P1大于一时，此表示在照相机侧使用单个压缩器以及在ISP侧的单个解压缩器不能满足通过量要求。因此，激活提出的数据平行方案。此外，在照相机模块1302中使能的压缩器的数目以及在图像信号处理器1304中使能的解压缩器的数目可以基于P2/P1的值确定(其将由照相机控制器111考虑以确定像素数据分组设定DGSET’)。
以示例的方式，但非限制，若干像素数据分组样式可用于将一个图片的多个像素的像素数据拆分为多个像素数据组。图14是图示每个在第一方向分割一个图片的示范性像素数据分组样式的示意图。假设实施于图像信号处理器1304中的解压缩器125_1-125_M的数目是四(即，M＝4)。因此，四个使能信号EN1-EN4应该合适地设置以决定哪个解压缩器应该用于解压缩。当图14中的子图(A)中的像素数据分组样式被采用时，像素数据分组设定DGSET’由照相机控制器111设定，以指示压缩电路1314中的映射器/拆分器以将具有WxH的分辨率的一个图片拆分为每个具有(W/4)xH分辨率的四个子图片A1、A2、A3、A4。因此，从压缩电路1314生成的压缩的像素数据组DG1’-DGN’的数目等于四(即，N＝4)。例如，压缩电路1314使能四个压缩器以将子图片A1-A4的像素数据分别压缩为四个压缩的像素数据组。因此，当接收像素数据分组设定DGSET’时，ISP控制器121用{1、1、1、1}设置使能信号EN1-EN4，以便四个解压缩器被选择以分别解压缩四个压缩的像素数据组。
当采用图14的子图(B)中的像素数据分组样式时，像素数据分组设定DGSET’由照相机控制器111设置，以指示压缩电路1314中的映射器/拆分器将具有WxH分辨率的一个图片拆分为每个具有(W/3)xH分辨率的三个子图片A1，A2，A3。因此，从压缩电路1314生成的压缩的像素数据组DG1’-DGN’的数目等于三(即，N＝3)。例如，压缩电路1314使能三个压缩器以分别将子图片A1-A3的像素数据压缩为三个压缩的像素数据组。因此，当接收像素数据分组设定DGSET’时，ISP控制器121用{1、1、1、0}设置使能信号EN1-EN4，以便三个解压缩器被选择以分别解压缩三个压缩的像素数据组。
当采用图14的子图(C)中的像素数据分组样式时，像素数据分组设定DGSET’由照相机控制器111设置，以指示压缩电路1314中的映射器/拆分器将具有WxH分辨率的一个图片拆分为每个具有(W/2)xH分辨率的两个子图片A1和A2。因此，从压缩电路1314生成的压缩的像素数据组DG1’-DGN’的数目等于二(即，N＝2)。例如，压缩电路1314使能两个压缩器以将子图片A1和A2的像素数据分别压缩为两个压缩的像素数据组。因此，当接收像素数据分组设定DGSET’时，ISP控制器121用{1、1、0、0}设置使能信号EN1-EN4，以便两个解压缩器被选择以分别解压缩两个压缩的像素数据组。
在显示于图14中的示范性像素数据分组样式中，图片的每个像素行分割为多个片段，而相同图片的每个像素列保持不变。备选地，图片的每个像素列可以分割为多个片段，而相同图片中的每个像素行保持不变。图15是图示每个在第二方向分割一个图片的示范性像素数据分组样式的示意图。当采用显示于图15的子图(A)中的像素数据分组样式时，像素数据分组设定DGSET’由照相机控制器111设置以指示压缩电路1314中的映射器/拆分器将具有WxH分辨率的一个图片拆分为具有Wx(H/4)分辨率的四个子图片B1、B2、B3、B4。因此，从压缩电路1314生成的压缩的像素数据组DG1’-DGN’的数目等于四(即，N＝4)。例如，压缩电路1314使能四个压缩器以将子图片B1-B4的像素数据分别压缩为四个压缩的像素数据组。因此，当接收像素数据分组设定DGSET’时，ISP控制器121用{1、1、1、1}设置使能信号EN1-EN4，以便四个解压缩器被选择以分别解压缩四个压缩的像素数据组。
当采用图15的子图(B)中的像素数据分组样式被采用时，像素数据分组设定DGSET’由照相机控制器111设置，以指示压缩电路1314中的映射器/拆分器将具有WxH分辨率的一个图片拆分为每个具有Wx(H/3)分辨率的三个子图片B1、B2、B3。因此，从压缩电路1314生成的压缩的像素数据组DG1’-DGN’的数目等于三(即，N＝3)。例如，压缩电路1314使能三个压缩器以将子图片B1-B3的像素数据分别压缩为三个压缩的像素数据组。因此，当接收像素数据分组设定DGSET’时，ISP控制器121用{1、1、1、0}设置使能信号EN1-EN4，以便三个解压缩器被选择以分别解压缩三个压缩的像素数据组。
当图15的子图(C)中的像素数据分组样式被采用时，像素数据分组设定DGSET’被设置以指示压缩电路1314中的映射器/拆分器将具有WxH分辨率的一个图片拆分为每个具有Wx(H/2)分辨率的两个子图片B1和B2。因此，从压缩电路1314生成的压缩的像素数据组DG1’-DGN’的数目等于二(即，N＝2)。例如，压缩电路1314使能两个压缩器以将子图片B1和B2的像素数据分别压缩为两个压缩的像素数据组。因此，当接收像素数据分组设定DGSET’时，ISP控制器121用{1、1、0、0}设置使能信号EN1-EN4，以便两个解压缩器被选择以分别解压缩两个压缩的像素数据组。
如图14所示，水平图像分区应用于图片，由此导致多个子图片水平分布于图片。如图15所示，垂直图像分区应用于图片，由此导致多个子图片垂直分布于图片。然而，这些仅仅是用于说明性的目的，且并非是本发明的限制。在实践中，本发明在像素数据分组样式的设计上没有限制。例如，一个图片可以基于逐行交错样式拆分为子图片。以此方式，每个子图片包含一个像素线(例如，像素行或像素列)的像素。对于另一示例，一个图片可以基于棋盘(checkerboard)样式拆分为子图片。以此方式，每个子图片包含一个AxB块的像素，其中A和B是正整数，以及A可以等于或不等于B。这些备选像素数据分组样式设计均落入本发明的范围。
在一个示范性实现中，输出接口112通过设置在照相机接口103发送的输出比特流的负载部分中的命令组，记录输出比特流中像素数据分组设定DGSET’的指示信息INF，以及输入接口122通过解析从照相机接口103接收的输入比特流的负载部分中的命令组，获得像素数据分组设定DGSET’的指示信息INF。请参考图16，图16是图示根据本发明的实施例的从照相机模块1302到图像信号处理器1304生成输出比特流的数据结构的示意图。照相机模块1302和图像信号处理器1304之间的信息握手可以通过在发送的负载中定义一组命令来实现。例如，这些命令可以在用户命令组或基于照相机命令组(CCS)规格制造的命令组指定，其中命令组中的每个命令可以是8比特代码，以及命令组可用于在照相机模块1302和图像信号处理器1304之间通信像素数据分组设定DGSET’。请参考图17，图17是图示照相机模块1302和图像信号处理器1304之间信息握手的示例的示意图。在此示例中，照相机模块1302可支持至少六个像素数据分组样式，如图14和图15所示。此外，图像信号处理器1304可支持至少三个设置用于使能信号EN1-EN4，如图14和图15所示。照相机模块1302通过从照相机接口103发送请求到图像信号处理器1304，检查图像信号处理器1304解压缩能力和要求，以及图像信号处理器1304通过从照相机接口103发送响应到照相机模块1302，通知照相机模块1302其解压缩能力和要求。基于由图像信号处理器1304给出的信息，通过使用像素数据分组样式#0，照相机模块1302确定像素数据分组设定DGSET’。因此，指示信息INF由8比特代码8’h00设置，以指示像素数据分组样式#0的使用。指示信息INF由从照相机模块1302经由照相机接口103发送到图像信号处理器1304的命令组承载。图像信号处理器1304通过照相机接口103接收指示信息INF，并参考8比特代码8’h00以知道像素数据分组样式#0由照相机模块1302选择。因此，基于像素数据分组设定DGSET’的指示信息INF，图像信号处理器1304对应地由{1、1、1、1}设置使能信号EN1-EN4。
图18是图示根据本发明的实施例的显示于图13的数据处理系统1300的控制和数据流的流程图。假设结果基本相同，步骤不要求以显示于图18中的精确顺序来执行。示范性控制和数据流可以简短地由以下步骤概括。
步骤1802：检查图像信号处理器(ISP)的解压缩能力和要求。
步骤1803：通知照相机模块解压缩能力和要求。
步骤1804：根据检查结果确定像素数据分组设定。例如，显示于图14和图15中的一个像素数据分组样式可以被选择。
步骤1806：通过使用压缩器以压缩基于像素数据分组设定从图片的多个像素的像素数据获得的多个像素数据组，生成多个压缩的像素数据组。
步骤1808：打包/分组压缩的像素数据组为输出比特流。
步骤1810：记录输出比特流中的像素数据分组设定的指示信息。例如，指示信息记录于输出比特流的负载部分中的命令组。
步骤1812：经由照相机接口发送输出比特流。
步骤1814：从照相机接口接收输入比特流。
步骤1816：解析来自输入比特流的像素数据分组设定的指示信息。例如，指示信息从输入比特流的负载部分中的命令组获得。
步骤1818：解打包/解分组输入比特流为多个压缩的数据组。
步骤1820：根据指示信息选择多个解压缩器。
步骤1822：使用选择的解压缩器以独立地解压缩压缩的像素数据组，生成重建的图片的多个像素的像素数据，并然后基于由指示信息指示的像素数据分组设定合并多个解压缩的像素数据组。
应该注意到步骤1802和1804-1812由照相机模块1302执行，且步骤1803和1814-1822由图像信号处理器1304执行。本领域技术人员在阅读以上段落后可以容易理解显示于图18中的每个步骤的细节，为了简洁此处省略进一步描述。
在另一示范性实现中，像素数据分组设定DGSET’可以从照相机传感器1302经由带外信道107发送到图像信号处理器1304，例如，I2C总线或CCI总线。例如，照相机控制器111可将像素数据分组设定DGSET’的指示信息INF通过带外信道107写入到至少一个控制寄存器。图19是图示根据本发明的实施例的使用具有压缩命令的I2C协议的示例。图像信号处理器1304可以是I2C总线上的从装置，以及照相机模块1302可以是I2C总线上的主装置。图像信号处理器1304的ISP控制器121发送类型A消息(例如，确认消息)到照相机模块1302的照相机控制器111，并然后照相机模块1302的照相机控制器111通过发送8比特命令ADDR＝h’32到图像信号处理器1304的ISP控制器121选择地址h’32上的控制寄存器。接着，图像信号处理器1304的ISP控制器121发送另一类型A消息(例如，另一确认消息)到照相机模块1302的照相机控制器111，并然后照相机模块1302的照相机控制器111通过发送8比特命令数据＝h’0F到图像信号处理器1304的ISP控制器121，输出待记录于选择的控制寄存器的指示信息INF。基于指示信息INF(通过在地址h’32设置控制寄存器为h’0F记录)，图像信号处理器1304用{1、1、1、1}对应地设置使能信号EN1-EN4。
图20是图示根据本发明的实施例的显示于图13的数据处理系统的另一控制和数据流的流程图。显示于图20和图18的流程图的主要差别是步骤1810和1816分别由以下步骤2010和2016替代。
步骤2010：通过带外信道(例如，I2C总线或CCI总线)输出像素数据分组设定的指示信息。
步骤2016：从带外信道(例如，I2C总线或CCI总线)接收像素数据分组设定的指示信息。
应该注意到步骤2010由照相机模块1302执行，且步骤2016由图像信号处理器1304执行。本领域技术人员在阅读以上段落后可以容易理解显示于图20中的每个步骤的细节，为了简洁此处省略进一步描述。
本领域技术人员将容易观察到，在保留本发明的教导之下，可以对装置和方法进行许多修改和替换。因此，以上揭示应该解释为仅仅由所附的权利要求的精神和界限所限制。

Claims (41)

1.一种数据处理装置，包含：
映射器，用于接收图片的多个像素的像素数据，并将所述图片的所述多个像素的所述像素数据拆分为多个像素数据组；
多个压缩器，用于分别压缩所述多个像素数据组并生成多个压缩的像素数据组；以及
输出接口，用于打包所述压缩的像素数据组为至少一个输出比特流，并经由照相机接口输出所述至少一个输出比特流。
2.如权利要求1所述的数据处理装置，其特征在于，由所述多个压缩器执行的压缩操作彼此独立。
3.如权利要求2所述的数据处理装置，其特征在于，还包括：
率控制器，用于将比特率控制分别应用到所述多个压缩器。
4.如权利要求1所述的数据处理装置，其特征在于，所述照相机接口是由移动产业处理器接口(MIPI)标准化的照相机串行接口(CSI)。
5.如权利要求1所述的数据处理装置，其特征在于，所述图片的每个像素的像素数据包含对应于不同比特平面的多个比特，以及所述映射器用于将所述图片的每个像素的像素数据的比特拆分为多个比特组，并将所述多个比特组分别分配为所述多个像素数据组。
6.如权利要求1所述的数据处理装置，其特征在于，所述映射器用于将所述图片的所述像素拆分为多个像素组，并分别将所述多个像素组的像素数据分配到所述多个像素数据组。
7.如权利要求6所述的数据处理装置，其特征在于，位于所述图片的相同像素线的邻近像素分别分配于不同像素组。
8.如权利要求6所述的数据处理装置，其特征在于，位于所述图片的相同像素线的邻近像素片段分别分配于不同像素组，且每个所述邻近像素片段包含多个连续像素。
9.如权利要求8所述的数据处理装置，其特征在于，所述图片的至少一个像素线分割为多个像素片段，且所述多个像素片段的数目等于所述多个像素数据组的数目。
10.如权利要求8所述的数据处理装置，其特征在于，所述图片的至少一个像素线分割为多个像素片段，以及所述多个像素片段的数目大于所述多个像素数据组的数目。
11.如权利要求6所述的数据处理装置，其特征在于，还包括：
率控制器，用于分别将比特率控制应用于所述多个压缩器；
其中所述率控制器根据不同像素组之间每个像素边界的位置调整所述比特率控制。
12.如权利要求11所述的数据处理装置，其特征在于，关于第一像素组和第二像素组之间的特定像素边界，所述率控制器用于将分配给第一压缩单元的原始比特预算增加调整值，以及将分配给第二压缩单元的原始比特预算减少所述调整值；所述第一压缩单元和所述第二压缩单元在所述第一像素组和所述第二像素组的任何一个中是邻近压缩单元；以及所述第一压缩单元比所述第二压缩单元更靠近所述特定像素边界。
13.如权利要求6所述的数据处理装置，其特征在于，每个所述压缩器还用于根据不同像素组之间每个像素边界的位置设置压缩顺序。
14.如权利要求13所述的数据处理装置，其特征在于，关于第一像素组和第二像素组之间的特定像素边界，第一压缩器用于在压缩第二压缩单元之前压缩第一压缩单元，以及第二压缩器用于在压缩第四压缩单元之前压缩第三压缩单元；所述第一压缩单元和所述第二压缩单元在第一像素组中是邻近压缩单元，以及所述第一压缩单元比所述第二压缩单元更靠近所述特定像素边界；以及所述第三压缩单元和所述第四第二压缩单元在所述第二像素组中是邻近压缩单元，以及所述第三压缩单元比所述第四压缩单元更靠近所述特定像素边界。
15.如权利要求1所述的数据处理装置，其特征在于，所述数据处理装置经由所述照相机接口耦合到另一数据处理装置；以及所述映射器还用于通知所述另一数据处理装置采用于拆分所述图片的所述像素的所述像素数据的像素数据分组设定。
16.如权利要求1所述的数据处理装置，其特征在于，所述数据处理装置经由所述照相机接口耦合到另一数据处理装置，以及所述数据处理装置还包括：
控制器，用于检查所述另一数据处理装置的解压缩能力和要求，并响应于检查结果确定所述多个像素数据组的数目。
17.一种数据处理装置，包含：
输入接口，用于从照相机接口接收至少一个输入比特流，以及解打包所述至少一个输入比特流为图片的多个压缩的像素数据组；
多个解压缩器，用于解压缩所述多个压缩的像素数据组并分别生成多个解压缩的像素数据组；以及
解映射器，用于将所述多个解压缩的像素数据组合并为所述图片的多个像素的像素数据。
18.如权利要求17所述的数据处理装置，其特征在于，由所述多个解压缩器执行的解压缩操作彼此独立。
19.如权利要求17所述的数据处理装置，其特征在于，所述照相机接口是由移动产业处理器接口(MIPI)标准化的照相机串行接口(CSI)。
20.如权利要求17所述的数据处理装置，其特征在于，所述图片的每个像素的像素数据包含对应于不同比特平面的多个比特，以及所述多个解映射器用于分别从所述多个解压缩的像素数据组获得多个比特组，并将所述多个比特组合并以获得所述图片的每个像素的像素数据的多个比特。
21.如权利要求17所述的数据处理装置，其特征在于，所述多个解映射器用于分别从所述多个解压缩的像素数据组获得多个像素组的像素数据，并将所述多个像素组的像素数据合并以获得所述图片的像素的像素数据。
22.如权利要求21所述的数据处理装置，其特征在于，位于所述图片的相同像素线的邻近像素是分别从不同像素组获得的。
23.如权利要求21所述的数据处理装置，其特征在于，位于所述图片的相同像素线的邻近像素片段是分别从不同像素组获得的，以及每个所述邻近像素片段包含多个连续像素。
24.如权利要求23所述的数据处理装置，其特征在于，所述图片的至少一个像素线是通过合并多个像素片段获得，且所述多个像素片段的数目等于所述多个解压缩的像素数据组的数目。
25.如权利要求23所述的数据处理装置，其特征在于，所述图片的至少一个像素线是通过合并多个像素片段获得，以及所述多个像素片段的数目大于所述多个解压缩的像素数据组的数目。
26.如权利要求17所述的数据处理装置，其特征在于，所述数据处理装置经由所述照相机接口耦合到另一数据处理装置；以及所述多个解映射器还用于从所述另一数据处理装置接收差分所述图片的像素的像素数据的像素数据分组设定。
27.如权利要求17所述的数据处理装置，其特征在于，所述数据处理装置经由所述照相机接口耦合到另一数据处理装置，且所述数据处理装置还包括：
控制器，用于通知所述另一数据处理装置所述数据处理装置的解压缩能力和要求。
28.一种数据处理装置，包含：
压缩电路，用于通过基于图片的像素数据分组设定压缩所述图片的多个像素的像素数据，生成多个压缩的像素数据组；
第一输出接口，用于打包所述多个压缩的像素数据组为输出比特流，并经由照相机接口输出所述输出比特流；以及
第二输出接口，不同于所述第一输出接口；
其中响应于所述压缩电路采用的像素数据分组设定设置指示信息，并经由所述第一输出接口和所述第二输出接口中的一个输出。
29.如权利要求28所述的数据处理装置，其特征在于，所述照相机接口是由移动产业处理器接口(MIPI)标准化的照相机串行接口(CSI)。
30.如权利要求28所述的数据处理装置，其特征在于，所述第一输出接口还用于通过设置所述输出比特流的负载部分中的命令组，记录所述输出比特流中的所述指示信息。
31.如权利要求28所述的数据处理装置，其特征在于，所述第二输出接口用于经由由移动产业处理器接口(MIPI)标准化的照相机控制接口(CCI)输出所述信息。
32.如权利要求28所述的数据处理装置，其特征在于，所述数据处理装置经由所述照相机接口耦合到另一数据处理装置，且所述数据处理装置还包括：
控制器，用于检查另一数据处理装置的解压缩能力和要求，并响应于检查结果确定所述图片的像素数据分组设定。
33.一种数据处理装置，包含：
多个解压缩器，每个用于当被使能时解压缩从输入比特流派生的压缩的像素数据组；
第一输入接口，用于经由照相机接口接收所述输入比特流；以及
第二输入接口，不同于所述第一输入接口；
其中指示信息是从所述第一输入接口和所述第二接口接收，且选自所述多个解压缩器的多个解压缩器是基于所述所接收的指示信息使能的。
34.如权利要求33所述的数据处理装置，其特征在于，所述照相机接口是由移动产业处理器接口(MIPI)标准化的照相机串行接口(CSI)。
35.如权利要求33所述的数据处理装置，其特征在于，所述第一输入接口还用于通过解析所述输入比特流的负载部分中的命令组获得所述指示信息。
36.如权利要求33所述的数据处理装置，其特征在于，所述第二输出接口用于经由由移动产业处理器接口(MIPI)标准化的照相机控制接口(CCI)接收所述指示信息。
37.如权利要求33所述的数据处理装置，其特征在于，所述数据处理装置经由所述照相机接口耦合到另一数据处理装置，且所述数据处理装置还包括：
控制器，用于通知所述另一数据处理装置所述数据处理装置的解压缩能力和要求。
38.一种数据处理方法，包含：
接收图片的多个像素的像素数据，并将所述图片的像素的像素数据拆分为多个像素数据组；
压缩所述多个像素数据组以分别生成多个压缩的像素数据组；以及
打包所述多个压缩的像素数据组为至少一个输出比特流，并经由照相机接口输出所述至少一个输出比特流。
39.一种数据处理方法，包含：
从照相机接口接收至少一个输入比特流，并解打包所述至少一个输入比特流为图片的多个压缩的像素数据组；
解压缩所述多个压缩的像素数据组以分别生成多个解压缩的像素数据组；以及
将所述多个解压缩的像素数据组合并为所述图片的多个像素的像素数据。
40.一种数据处理方法，包含：
通过基于图片的像素数据分组设定压缩所述图片的多个像素的像素数据，生成多个压缩的像素数据组；
打包所述多个压缩的像素数据组为输出比特流，并经由照相机接口输出所述输出比特流；
其中响应于所述像素数据分组设定，指示信息被设置，并经由所述照相机接口和不同于所述照相机接口的带外信道中的一个输出。
41.一种数据处理方法，包含：
经由照相机接口接收输入比特流；以及
基于从所述照相机接口和带外信道中的一个接收的指示信息，使能从多个解压缩器选择的至少一个解压缩器，其中所述带外信道不同于所述照相机接口，且每个所述解压缩器用于当被使能时解压缩从输入比特流派生的压缩的像素数据组。
CN201480057209.XA 2013-10-17 2014-10-10 发送/接收图片的压缩的像素数据组和像素数据分组设定的指示信息的数据处理装置以及相关数据处理方法 Pending CN105659594A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361892227P 2013-10-17 2013-10-17
US61/892,227 2013-10-17
PCT/CN2014/088286 WO2015055093A1 (en) 2013-10-17 2014-10-10 Data processing apparatus for transmitting/receiving compressed pixel data groups of picture and indication information of pixel data grouping setting and related data processing method

Publications (1)

Publication Number Publication Date
CN105659594A true CN105659594A (zh) 2016-06-08

Family

ID=52827656

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201480057209.XA Pending CN105659594A (zh) 2013-10-17 2014-10-10 发送/接收图片的压缩的像素数据组和像素数据分组设定的指示信息的数据处理装置以及相关数据处理方法
CN201480057207.0A Pending CN105659608A (zh) 2013-10-17 2014-10-15 经由照相机接口的多个照相机端口发送/接收压缩的像素数据组的数据处理装置以及相关数据处理方法
CN201480057138.3A Pending CN105637849A (zh) 2013-10-17 2014-10-16 发送/接收随机存取压缩像素数据组的数据处理装置以及相关数据处理方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201480057207.0A Pending CN105659608A (zh) 2013-10-17 2014-10-15 经由照相机接口的多个照相机端口发送/接收压缩的像素数据组的数据处理装置以及相关数据处理方法
CN201480057138.3A Pending CN105637849A (zh) 2013-10-17 2014-10-16 发送/接收随机存取压缩像素数据组的数据处理装置以及相关数据处理方法

Country Status (4)

Country Link
US (3) US20160234514A1 (zh)
EP (3) EP3036905A4 (zh)
CN (3) CN105659594A (zh)
WO (3) WO2015055093A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107918533A (zh) * 2016-10-10 2018-04-17 青岛海信电器股份有限公司 一种打包模块和打包方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105659594A (zh) * 2013-10-17 2016-06-08 联发科技股份有限公司 发送/接收图片的压缩的像素数据组和像素数据分组设定的指示信息的数据处理装置以及相关数据处理方法
WO2016179830A1 (en) * 2015-05-14 2016-11-17 Intel Corporation Fast mrf energy optimization for solving scene labeling problems
JP6618536B2 (ja) * 2015-07-29 2019-12-11 株式会社ワコム 座標入力装置
US9911174B2 (en) 2015-08-26 2018-03-06 Apple Inc. Multi-rate processing for image data in an image processing pipeline
US10647266B2 (en) * 2016-05-17 2020-05-12 Magna Electronics Inc. Vehicle vision system with forward viewing camera
JP6948810B2 (ja) * 2017-03-16 2021-10-13 キヤノン株式会社 画像処理システム
KR102412007B1 (ko) * 2017-07-20 2022-06-22 삼성전자주식회사 전자 장치 및 전자 장치에서 하이 다이나믹 레인지 이미지 데이터를 압축하는 방법
KR102385365B1 (ko) * 2017-07-21 2022-04-12 삼성전자주식회사 전자 장치 및 전자 장치에서 이미지 데이터를 압축하는 방법
EP3442235B1 (en) * 2017-08-10 2022-03-16 Continental Automotive GmbH Device and method for raw image data compression
GB2608575B (en) * 2018-01-03 2023-03-15 Displaylink Uk Ltd Encoding image data for transmission to a display device
US11270412B2 (en) * 2019-10-31 2022-03-08 Apical Limited Image signal processor, method, and system for environmental mapping
CN111741259B (zh) * 2020-06-11 2022-05-06 北京三快在线科技有限公司 无人驾驶设备的控制方法及装置
US11513732B2 (en) 2020-08-13 2022-11-29 Raytheon Company Fast data compression for systems with large dynamic ranges or other systems
US20230239429A1 (en) * 2022-01-25 2023-07-27 Mediatek Inc. Communication system and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1398116A (zh) * 2001-07-12 2003-02-19 三洋电机株式会社 图像编码设备与图像编码方法
CN1406431A (zh) * 2000-05-25 2003-03-26 皇家菲利浦电子有限公司 依赖位平面的信号压缩
CN1750592A (zh) * 2004-09-15 2006-03-22 乐金电子（昆山）电脑有限公司 便携式信息处理终端的高清晰度图像处理装置及其方法
US20100220792A1 (en) * 2007-11-13 2010-09-02 Fujitsu Limited Encoding device and decoding device
US20130101216A1 (en) * 2011-10-19 2013-04-25 Electronics And Telecommunications Research Institute Method and device for image processing by image division

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998033281A1 (en) * 1997-01-23 1998-07-30 Sony Corporation Device and method for generating compressed data
JP4151149B2 (ja) * 1999-03-12 2008-09-17 富士ゼロックス株式会社 画像形成装置
US7050497B2 (en) * 2001-03-28 2006-05-23 Thomson Licensing Process and device for the video coding of high definition images
JP2002300581A (ja) * 2001-03-29 2002-10-11 Matsushita Electric Ind Co Ltd 映像符号化装置、及び映像符号化プログラム
JP4139633B2 (ja) * 2002-06-28 2008-08-27 株式会社リコー 画像処理装置
US7277586B2 (en) * 2003-01-15 2007-10-02 Fujifilm Corporation Images combination processing system, images combination processing method, and images combination processing program
JP4403396B2 (ja) * 2004-07-13 2010-01-27 ソニー株式会社 撮像装置及び撮像素子の集積回路
JP2006074635A (ja) * 2004-09-06 2006-03-16 Hitachi Ltd 符号化映像信号変換方法及び装置
US7630565B2 (en) * 2004-11-30 2009-12-08 Lsi Corporation Parallel video encoder with whole picture deblocking and/or whole picture compressed as a single slice
US7548657B2 (en) * 2005-06-25 2009-06-16 General Electric Company Adaptive video compression of graphical user interfaces using application metadata
JP2007104217A (ja) * 2005-10-03 2007-04-19 Canon Inc 画像圧縮データ処理方法および画像圧縮データ処理装置
GB2443700A (en) * 2006-11-10 2008-05-14 Tandberg Television Asa Reduction of blocking artefacts in decompressed images
US8515194B2 (en) * 2007-02-21 2013-08-20 Microsoft Corporation Signaling and uses of windowing information for images
US8649615B2 (en) * 2007-06-18 2014-02-11 Canon Kabushiki Kaisha Moving picture compression coding apparatus
US8942490B2 (en) * 2008-07-08 2015-01-27 Yin-Chun Blue Lan Method of high performance image compression
CN101930282A (zh) * 2009-06-27 2010-12-29 英华达(上海)电子有限公司 移动终端、基于移动终端的输入方法
US8520958B2 (en) * 2009-12-21 2013-08-27 Stmicroelectronics International N.V. Parallelization of variable length decoding
KR20110125153A (ko) * 2010-05-12 2011-11-18 에스케이 텔레콤주식회사 영상의 필터링 방법 및 장치와 그를 이용한 부호화/복호화를 위한 방법 및 장치
US20120256957A1 (en) * 2011-04-10 2012-10-11 Sau-Kwo Chiu Image processing method of performing scaling operations upon respective data portions for multi-channel transmission and image processing apparatus thereof
US20120281748A1 (en) * 2011-05-02 2012-11-08 Futurewei Technologies, Inc. Rate Control for Cloud Transcoding
US20140092439A1 (en) * 2012-09-28 2014-04-03 Scott A. Krig Encoding images using a 3d mesh of polygons and corresponding textures
US20140362098A1 (en) * 2013-06-10 2014-12-11 Sharp Laboratories Of America, Inc. Display stream compression
KR102167350B1 (ko) * 2013-07-22 2020-10-19 르네사스 일렉트로닉스 가부시키가이샤 동화상 부호화 장치 및 그 동작 방법
CN105659594A (zh) * 2013-10-17 2016-06-08 联发科技股份有限公司 发送/接收图片的压缩的像素数据组和像素数据分组设定的指示信息的数据处理装置以及相关数据处理方法
US10602153B2 (en) * 2015-09-11 2020-03-24 Facebook, Inc. Ultra-high video compression
US10341561B2 (en) * 2015-09-11 2019-07-02 Facebook, Inc. Distributed image stabilization
US10063872B2 (en) * 2015-09-11 2018-08-28 Facebook, Inc. Segment based encoding of video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1406431A (zh) * 2000-05-25 2003-03-26 皇家菲利浦电子有限公司 依赖位平面的信号压缩
CN1398116A (zh) * 2001-07-12 2003-02-19 三洋电机株式会社 图像编码设备与图像编码方法
CN1750592A (zh) * 2004-09-15 2006-03-22 乐金电子（昆山）电脑有限公司 便携式信息处理终端的高清晰度图像处理装置及其方法
US20100220792A1 (en) * 2007-11-13 2010-09-02 Fujitsu Limited Encoding device and decoding device
US20130101216A1 (en) * 2011-10-19 2013-04-25 Electronics And Telecommunications Research Institute Method and device for image processing by image division

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《上海交通大学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107918533A (zh) * 2016-10-10 2018-04-17 青岛海信电器股份有限公司 一种打包模块和打包方法
CN107918533B (zh) * 2016-10-10 2021-03-05 海信视像科技股份有限公司 一种打包模块和打包方法

Also Published As

Publication number Publication date
CN105637849A (zh) 2016-06-01
WO2015055121A1 (en) 2015-04-23
WO2015055133A1 (en) 2015-04-23
EP3031200A1 (en) 2016-06-15
EP3036905A4 (en) 2017-03-08
EP3036907A1 (en) 2016-06-29
EP3036907A4 (en) 2017-05-10
WO2015055093A1 (en) 2015-04-23
CN105659608A (zh) 2016-06-08
EP3031200A4 (en) 2016-10-12
US20160234456A1 (en) 2016-08-11
US20160234514A1 (en) 2016-08-11
EP3036905A1 (en) 2016-06-29
US20160234513A1 (en) 2016-08-11

Similar Documents

Publication Publication Date Title
CN105659594A (zh) 发送/接收图片的压缩的像素数据组和像素数据分组设定的指示信息的数据处理装置以及相关数据处理方法
CN104376831B (zh) 数据处理装置以及相关数据处理方法
US11212539B2 (en) Efficient lossless compression of captured raw image information systems and methods
US10165293B2 (en) Method and apparatus for processing video
US8654860B2 (en) Apparatus and method for high efficiency video coding using flexible slice structure
JP7205038B2 (ja) 任意のｃｔｕサイズのためのｉｂｃ検索範囲最適化を用いるエンコーダ、デコーダおよび対応する方法
US20200221126A1 (en) Image processing apparatus and image processing method
EP3554085A1 (en) Image processing device and image processing method
CN101150724B (zh) 用于处理经由网络传送的内容的多图形处理器系统和方法
KR20120116483A (ko) 감소된 채널 포맷으로의 멀티채널 신호의 송신 및 검출
AU2019359490B2 (en) Apparatus and method for deblocking filter in video coding
TW202016875A (zh) 用於高速壓縮處理使用卷積類神經網路的系統的特徵圖的電子裝置及其控制方法
CN111918065A (zh) 一种信息压缩/解压缩方法及装置
TWI487366B (zh) 用於無線ｈｄ１.１規範中的圖形模式壓縮的位元流語法
KR20220127314A (ko) 적응적 루프 필터링을 위한 인코더, 디코더, 및 대응하는 방법
US10304213B2 (en) Near lossless compression scheme and system for processing high dynamic range (HDR) images
CN108881915B (zh) 基于dsc编码技术视频播放的装置和方法
WO2021058381A1 (en) Unification of context-coded bins (ccb) count method
WO2020185492A1 (en) Transform selection and signaling for video encoding or decoding
EP3635953B1 (en) Electronic device for high-speed compression processing of feature map of cnn utilizing system and controlling method thereof
CN107172366A (zh) 一种视频预览方法
CN104581186B (zh) 一种图像压缩中对帧内移动矢量进行编码和解码的方法
US11490126B1 (en) Video processing
WO2023213506A1 (en) Method for sharing neural network inference information in video compression
CN114041286A (zh) 用于视频编码和解码的色度格式相关量化矩阵

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160608