AU2014339383A1 - Method and apparatus for controlling transmission of compressed picture according to transmission synchronization events - Google Patents

Method and apparatus for controlling transmission of compressed picture according to transmission synchronization events

Info

Publication number
AU2014339383A1
AU2014339383A1 AU2014339383A AU2014339383A AU2014339383A1 AU 2014339383 A1 AU2014339383 A1 AU 2014339383A1 AU 2014339383 A AU2014339383 A AU 2014339383A AU 2014339383 A AU2014339383 A AU 2014339383A AU 2014339383 A1 AU2014339383 A1 AU 2014339383A1
Authority
AU
Australia
Prior art keywords
transmission
slice
encoded data
synchronization event
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
AU2014339383A
Other versions
AU2014339383B2 (en
Inventor
Han-Liang Chou
Kun-Bin Lee
Tung-Hsing Wu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Priority claimed from PCT/CN2014/089477 external-priority patent/WO2015058718A1/en
Publication of AU2014339383A1 publication Critical patent/AU2014339383A1/en
Application granted granted Critical
Publication of AU2014339383B2 publication Critical patent/AU2014339383B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

METHOD AND APPARATUS FOR CONTROLLING TRANSMISSION OF COMPRESSED PICTURE ACCORDING TO TRANSMISSION SYNCHRONIZATION EVENTS
CROSS REFERENCE TO RELATED APPLICATIONS
This application claims the benefit of U.S. provisional application No. 61/904,490 (filed on 11/15/2013) , U.S. provisional application No. 61/895,454 (filed on 10/25/2013) , and U.S. provisional application No. 61/895,461 (filed on 10/25/2013) . The entire contents of the related applications are incorporated herein by reference.
TECHNICAL FIELD
The disclosed embodiments of the present invention relate to transmitting compressed data over a transmission channel, and more particularly, to a method and apparatus for controlling transmission of a compressed picture according to transmission synchronization events.
BACKGROUND
A display interface may be disposed between an application processor (AP) and a display driver integrated circuit (DDIC) to transmit display data from the AP to the DDIC for further processing. When a display panel supports a higher display resolution, 2D/3D display with higher resolution can be realized. Hence, the display data transmitted over the display interface would have a larger data size/data rate, which increases the power consumption of the display interface inevitably. If the AP and the DDIC are both located at a portable device (e.g., a smartphone) powered by a battery device, the battery life is shortened due to the increased power consumption of the display interface.
Similarly, a camera interface may be disposed between a camera module and an image signal processor (ISP) to transmit multimedia data from the camera module to  the ISP for further processing. The ISP may be part of an application processor. When a camera sensor with a higher resolution is employed in the camera module, the captured image data transmitted over the camera interface would have a larger data size/data rate, which increases the power consumption of the camera interface inevitably. If the camera module and the ISP are both located at a portable device (e.g., a smartphone) powered by a battery device, the battery life is shortened due to the increased power consumption of the camera interface.
Data compression may be employed to reduce the data size/data rate of data transmitted over a transmission interface such as the display interface or the camera interface. However, there may be certain requirements for decoding and transmission of the compressed data. Hence, there is a need for an innovative design which can meet the requirements while transmitting a compressed picture from an encoder side to a decoder side.
SUMMARY
In accordance with exemplary embodiments of the present invention, an image processing method for controlling transmission of a compressed picture according to transmission synchronization events and a related image processing apparatus are proposed.
According to a first aspect of the present invention, an exemplary image processing method is disclosed. The exemplary image processing method includes: partitioning a picture into a plurality of slices, wherein each slice row in the picture includes at least one slice; generating a compressed picture by encoding each of the slices; and controlling at least one of start of transmission of encoded data of a slice row and end of the transmission of encoded data of the slice row according to a transmission synchronization event.
According to a second aspect of the present invention, an exemplary image processing apparatus is disclosed. The exemplary image processing apparatus includes a compressor and an output interface. The compressor is configured to partition a picture into a plurality of slices, and generate a compressed picture by encoding each of the slices, wherein each slice row in the picture includes at least one slice. The output interface is configured to control at least one of start of transmission  of encoded data of a slice row and end of the transmission of encoded data of the slice row according to a transmission synchronization event.
According to a third aspect of the present invention, an exemplary method of transmitting a compressed picture is disclosed. The exemplary method includes: partitioning a picture into multiple slices; encoding each of slices; and controlling transmission of compressed data of a vertical adjacent slice to synchronize with a synchronization event.
These and other objectives of the present invention will no doubt become obvious to those of ordinary skill in the art after reading the following detailed description of the preferred embodiment that is illustrated in the various figures and drawings.
BRIEF DESCRIPTION OF DRAWINGS
FIG. 1 is a block diagram illustrating an image processing apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a first partitioning setting of a picture according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating a second partitioning setting of a picture according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating a compressed data transmission controlled by the output interface shown in FIG. 1 according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating another compressed data transmission controlled by the output interface shown in FIG. 1 according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating the operation of aligning at least one of start of transmission of encoded data of a slice row and end of the transmission of encoded data of the slice row towards a transmission synchronization event.
DETAILED DESCRIPTION
Certain terms are used throughout the description and following claims to refer  to particular components. As one skilled in the art will appreciate, manufacturers may refer to a component by different names. This document does not intend to distinguish between components that differ in name but not function. In the following description and in the claims, the terms "include" and "comprise" are used in an open-ended fashion, and thus should be interpreted to mean "include, but not limited to ... ". Also, the term "couple" is intended to mean either an indirect or direct electrical connection. Accordingly, if one device is coupled to another device, that connection may be through a direct electrical connection, or through an indirect electrical connection via other devices and connections.
The present invention proposes applying data compression to a picture and then transmitting a compressed picture over a transmission channel. As the data size/data rate of the compressed picture is smaller than that of the original un-compressed picture, the power consumption of a transmission interface is reduced correspondingly. In addition, the data compression may be standardized by a Video Electronics Standards Association (VESA) display stream compression (DSC) . Hence, in accordance with VESA DSC, there is a requirement requesting that the delay from the start of transmission to the start of decoding and the delay from the end of transmission to the end of decoding must be the same as one another and the same for each slice. The present invention further proposes controlling transmission of the compressed picture according to transmission synchronization events. For example, at least one of the start and the end of transmission of encoded data (i.e., compressed data) of a slice row (which may include one or more slices, depending upon the partitioning design of the picture) is intentionally aligned towards a transmission synchronization event. In this way, the requirement specified in VESA DSC may be partially or fully satisfied. Further details of the proposed image processing design with transmission synchronization event based control of compressed data transmission will be described as below.
FIG. 1 is a block diagram illustrating an image processing apparatus according to an embodiment of the present invention. The image processing apparatus 100 includes a compressor 102, an output interface 104, and a configuration register 105. It should be noted that only the circuit components pertinent to the present invention are shown in FIG. 1. In practice, the image processing apparatus 100 may be configured to have additional circuit components. The image processing apparatus 100 is located at an encoder side, and generates a bitstream BS to a decoder side through one transmission  port 108 of a transmission interface 101. Hence, the bitstream BS is transmitted from the encoder side to the decoder side via a transmission channel 106 of the transmission interface 101.
In one exemplary implementation, the image processing apparatus 100 may be part of a camera module, and a picture IMG to be processed by the proposed image processing apparatus 100 may be derived from an output of a camera sensor implemented in the camera module. In addition, the transmission interface 101 may be a camera serial interface (CSI) standardized by a Mobile Industry Processor Interface (MIPI) . Hence, the transmission port 108 is a camera port of the CSI. In a case where the camera module is coupled to a single image signal processor (ISP) through the transmission port 108 only, the picture IMG is one complete captured image generated from the camera sensor, and a single-port compressed data transmission is employed by the camera module. In another case where the camera module is coupled to multiple ISPs through multiple camera ports, the picture IMG is part of one complete captured image generated from the camera sensor. In other words, the camera module may be configured to have multiple image processing apparatuses 100 included therein. The image processing apparatuses 100 are used for processing different image regions of one complete captured image and transmitting compressed data of the different image regions to the ISPs, respectively. Therefore, the transmission port 108 is one of the camera ports of the CSI, and a multi-port compressed data transmission is employed by the camera module.
In another exemplary implementation, the image processing apparatus 100 may be part of an application processor (AP) , and the picture IMG to be processed by the proposed image processing apparatus 100 may be generated at the AP. In addition, the transmission interface 101 may be a display serial interface (DSI) standardized by a Mobile Industry Processor Interface (MIPI) . Hence, the transmission port 108 is one display port of the DSI. In a case where the AP is coupled to a single display driver integrated circuit (DDIC) through the transmission port 108 only, the picture IMG is one complete image to be displayed on a display screen driven by the DDIC, and a single-port compressed data transmission is employed by the AP. In another case where the AP is coupled to multiple DDICs through multiple display ports, the picture IMG is part of one complete image to be displayed on a display screen. In other words, the AP may be configured to have multiple image processing apparatuses 100 included therein. The image processing apparatuses 100 are used for processing  different image regions of one complete image and transmitting compressed data of the different image regions to the DDICs, respectively. Different display areas of the display screen are driven by the DDICs, respectively. Therefore, the transmission port 108 is one of the display ports of the DSI, and a multi-port compressed data transmission is employed by the AP.
The configuration register 105 may be programmed to store a control setting used for configuring the compressor 102 and the output interface 104. In other words, behaviors of the compressor 102 and the output interface 104 depend on the control setting programmed in the configuration register 105. The compressor 102 receives the picture IMG, partitions the picture IMG into a plurality of slices, and generates a compressed picture IMG’by encoding each of the slices. After partitioning is applied to the picture IMG, the picture IMG may be regarded as having slice rows arranged vertically. Each slice row in the picture IMG includes at least one slice. The term “slice row” mentioned hereinafter may mean a single slice or a combination of slices arranged horizontally.
FIG. 2 is a diagram illustrating a first partitioning setting of the picture IMG according to an embodiment of the present invention. In this case, the compressor 102 partitions the picture IMG into four slices Slice_1, Slice_2, Slice_3, Slice_4 that are arranged vertically. It is possible that the original picture height PS of the picture IMG is not divisible by the slice height HS. The compressor 102 may add padding pixels below the last line (i.e., the last pixel row) of the picture IMG to serve as part of the slice Slice_4 with the slice height HS. In this way, each of the slices Slice_1, Slice_2, Slice_3, Slice_4 has the same slice height HS. After the pseudo picture region is added due to pixel padding, the picture height PS is extended to cover this pseudo picture region.
In this example shown in FIG. 2, each slice row includes a single slice only. However, it is possible that more than one slice is created in the horizontal direction. FIG. 3 is a diagram illustrating a second partitioning setting of the picture IMG according to an embodiment of the present invention. In this case, the compressor 102 partitions the picture IMG into eight slices including Slice (H1, V1) , Slice (H1, V2) , Slice (H1, V3) , Slice (H1, V4) arranged vertically and Slice (H2, V1) , Slice (H2, V2) , Slice (H2, V3) , Slice (H2, V4) arranged vertically. Similarly, the compressor 102 may add padding pixels below the last line (i.e., the last pixel row) of the picture IMG to serve as part of the slice Slice (H1, V4) and Slice (H2, V4) , thereby making each of  the slices has the same slice height HS. In this example, each slice row includes multiple slices arranged horizontally.
The number of lines (i.e., pixel rows) included in one slice is equal to the slice height HS. In addition, each slice includes a plurality of groups, and each group includes a plurality of pixels. For example, each group may be an mxn pixel block, where m and n are positive integers. When m=1, each group is a one-dimensional pixel block. When m>1, each group is a two-dimensional pixel block.
The compressor 102 outputs encoded data of each slice to the output interface 104 for transmission. It should be noted that when one slice row includes multiple slices, encoded data of the slices are multiplexed and then transmitted. Hence, encoded data of one slice row having a single slice only and encoded data of one slice row having multiple slices may be transmitted in the same way. For clarity and simplicity, the following assumes that first partitioning setting of the picture IMG is employed such that each slice row is one slice.
The output interface 104 is configured to control at least one of start of transmission of encoded data of a slice row and end of the transmission of encoded data of the slice row according to a transmission synchronization event SYNC. For example, the transmission synchronization event SYNC may be a horizontal synchronization event used to indicate that one line of the picture is transmitted. For another example, the transmission synchronization event SYNC may be a vertical synchronization event used to indicate that one entire picture is transmitted. It should be noted that, the first line of a current picture may start with a vertical synchronization event due to the end of a previous picture, and all other lines of the picture may start with a horizontal synchronization event due to the end of a previous line. In one exemplary embodiment of the present invention, the start of transmission of encoded data of any slice row in the picture IMG and/or the end of transmission of encoded data of any slice row in the picture IMG may be controlled to be synchronized with closest horizontal synchronization events. In another exemplary embodiment of the present invention, the start of transmission of encoded data of the first slice row in the picture IMG and/or the end of transmission of encoded data of the last slice row in the picture IMG may be controlled to be synchronized with closest vertical synchronization events; the end of transmission of encoded data of the first slice row in the picture IMG and/or the start of transmission of encoded data of the last slice row in the picture IMG may be controlled to be synchronized with  closest horizontal synchronization events; and the start of transmission of encoded data of other slice rows in the picture IMG and/or the end of transmission of encoded data of other slice rows in the picture IMG may be controlled to be synchronized with closest horizontal synchronization events.
As shown in FIG. 1, the compressor 102 may include an encoder 112 and a rate controller 114, where the encoder 112 may perform lossy compression upon each slice, and the rate controller 114 may apply bit rate control to each compression operation to ensure that encoded data of a slice satisfies a bit budget allocated to the slice. In this embodiment, the rate controller 114 may employ a fixed rate control method, and the encoder 112 may generate the compressed picture IMG’through a lossy compression method with the fixed rate control method applied thereto. Hence, based on a desired compression ratio CR of the compressed picture IMG’, a bit budget allocated to a slice row (which may include one or more slices, depending upon the employed partitioning setting of the picture) is determined, where In one exemplary design, the fixed rate control method is performed by the rate controller 114 such that each of the slices is assigned with the same bit budget calculated based at least partly on the picture size of the picture IMG and the desired compression ratio CR. Therefore, the ratio of the size of encoded data of a slice row to the size of original data of the slice row is equal to CR. Since the encoded data of the slice row is transmitted over the transmission channel 106, a transmission rate controller 116 implemented in the output interface 104 may refer to compression-related parameters (e.g., picture size and compression ratio) to adjust transmission rate and timing of the transmission channel 106 to thereby make the start of transmission of encoded data of a slice row be aligned towards one transmission synchronization event SYNC and/or the end of transmission of encoded data of the slice row be aligned towards another transmission synchronization event SYNC. More specifically, compressed data transmission may be correlated to data compression, especially the compression ratio. The transmission synchronization event used for controlling transmission timing of one slice row may be a horizontal synchronization event or a vertical synchronization event, depending upon actual design consideration.
FIG. 4 is a diagram illustrating a compressed data transmission controlled by the output interface shown in FIG. 1 according to an embodiment of the present invention.  Suppose that the slice height HS is set by 8. Hence, each of the slices has 8 lines (i.e., pixel rows) . In this embodiment, the transmission rate and timing of the transmission channel 106 is adjusted by the transmission rate controller 116 according to the compression ratio CR of the compressed picture IMG’, such that encoded data of each slice row is ensured to be transmitted within an integer number of transmission time slots that is smaller than the slice height (i.e., the number of lines in each slice row) . In this example, the start of transmission of encoded data of a slice row is aligned towards one transmission synchronization event SYNC, and the end of transmission of encoded data of the slice row is aligned towards another transmission synchronization event SYNC. Hence, it is possible that partial encoded data of one slice row and partial encoded data of another slice row are not transmitted within the same transmission time slot. The output interface 104 may transmit the compressed picture IMG’by using a transmission time slot size originally used for transmitting the picture IMG. Hence, the size of data allowed to be transmitted in each transmission time slot with an active period T1 may be equal to the size of original data of one line (i.e., one pixel row) in the picture IMG. Suppose that the compression ratio CR of the compressed picture IMG’is equal toThe output interface 104 transmits encoded data of one slice row (e.g., Slice_1 in FIG. 2) within three consecutive transmission time slots, and transmits encoded data of the next slice row (e.g., Slice_2 in FIG. 2) within three consecutive transmission time slots. As can be seen from FIG. 4, there is one horizontal synchronization event (e.g., HSYNC and HSYNC1-HSYNC6) at the end of each transmission time slot; in addition, there is one vertical synchronization event at the end of one entire picture (e.g., VSYNC) . The output interface 104 properly controls timing of the transmission channel 106. In this way, the start of transmission of encoded data of the slice row (e.g., Slice_1 in FIG. 2) is aligned towards a horizontal synchronization event HSYNC generated due to the end of the last line in the previous entire picture or a vertical synchronization event VSYNC generated due to the end of the previous entire picture, and/or the end of transmission of encoded data of the slice row (e.g., Slice_1 in FIG. 2) is aligned towards a horizontal synchronization event HSYNC3 generated due to the end of the last line in the slice row. The start of transmission of encoded data of another slice row (e.g., Slice_2 in FIG. 2) is aligned towards a horizontal synchronization event HSYNC3 generated due to the end of the last line in the previous slice row, and/or the  end of transmission of encoded data of another slice row (e.g., Slice_2 in FIG. 2) is aligned towards a horizontal synchronization event HSYNC6 generated due to the end of the last line in the another slice row.
Further, to fully utilize the bandwidth of the transmission channel 106, the transmission rate of the transmission channel 106 may be derived from calculating as a positive integer, where the value of the positive integer depends on the actual design consideration. Alternatively, the transmission rate of the transmission channel 106 may be derived from calculating as a positive integer, where the value of the positive integer depends on the actual design consideration. The bitrate of encoded data in one slice row (or the bitrate of the compressed picture IMG’) may be estimated using the compression-related parameters, including picture size, compression ratio, etc. It should be noted that the transmission clock should be adjusted accordingly. Moreover, since transmission synchronization events SYNC are also transmitted via the transmission channel 106, the setting of the transmission rate may further consider the channel bandwidth occupied by the transmission synchronization events SYNC. Besides, if the transmission channel is shared by multiple devices, the transmission rate also needs to be adjusted accordingly. In another embodiment, the initial transmission rate of the transmission channel 106 may be derived from calculating as a positive integer, where the value of the positive integer depends on the actual design consideration. The bitrate of encoded data in one slice row may be estimated using the compression-related parameters, including picture size, compression ratio, etc. Then the transmission clock should be adjusted accordingly with consideration of synchronization event and transmission protocols.
In one exemplary implementation, an initial transmission rate of the transmission channel 106 may be set by a positive value which is an integer multiple of a bitrate of encoded data in one slice row, a bitrate of compressed picture IMG’or a bitrate of compressed group line in one slice. Next, the initial transmission rate of the transmission channel 106 may be fine tuned (e.g., increased or decreased) to a final transmission rate actually set to the transmission channel 106 for compressed data  transmission based on certain factors taken into consideration. For example, the channel bandwidth occupied by the transmission synchronization events SYNC and/or whether the transmission channel is shared by multiple devices may be taken into consideration. Hence, the final transmission rate may not be necessarily divisible by bitrate of encoded data in one slice row/bitrate of compressed picture IMG’/bitrate of compressed group line in one slice. By way of example, a positive integer derived from applying a floor function (or a ceiling function) to may be equal toa positive integer derived from applying a floor function (or a ceiling function) tomay be equal toand a positive integer derived from applying a floor function (or a ceiling function) to may be equal toHowever, this is for illustrative purposes only, and is not meant to be a limitation of the present invention.
FIG. 5 is a diagram illustrating another compressed data transmission controlled by the output interface shown in FIG. 1 according to an embodiment of the present invention. In this example, the transmission rate and timing of the transmission channel 106 is adjusted by the transmission rate controller 116 according to the compression ratio CR of the compressed picture IMG’, such that encoded data of each slice row is ensured to be transmitted within an integer number of transmission time slots that is equal to the slice height (i.e., the number of lines in each slice row) . In this example, the start of transmission of encoded data of a slice row is aligned towards one transmission synchronization event SYNC, and the end of transmission of encoded data of the slice row is aligned towards another transmission synchronization event SYNC. Hence, partial encoded data of one slice row and partial encoded data of another slice row are not transmitted within the same transmission time slot.
For example, based on the picture size and the compression ratio, the output interface 104 knows the bit budget allocated to each of the slice rows (e.g., Slice_1-Slice_4 in FIG. 2) , and then divides the bit budget by the number of lines in each slice row to determine the amount of encoded data required to be transmitted within one transmission time slot. Next, the transmission rate controller 116 of the output interface 104 may adjust transmission rate and timing of the transmission channel 106 to thereby make the start of transmission of encoded data of a slice row aligned towards one transmission synchronization event SYNC and/or the end of transmission of encoded data of the slice row aligned towards another transmission synchronization event SYNC.
In this example, the encoded data of one slice row (e.g., Sclice_2 in FIG. 2) is evenly divided into 8 payload sections P1-P8, such that the payload sections P1-P8 have the same size. As mentioned above, each slice includes a plurality of groups, and each group includes a plurality of pixels. The total size of all encoded group rows corresponding to the same slice row is equal to the bit budget allocated to compression of the slice row. However, due to lossy compression employed by the encoder 112, each of the encoded group rows may have different bitstream sizes. Hence, each of the payload sections P1-P8 may include encoded data belonging to the same group row only, or may include encoded data belonging to adjacent group rows. For example, the payload section P1 may include all encoded data of group row 1 and partial encoded data of group row 2; and the payload section P2 may include remaining encoded data of group row 2. For another example, the payload section P1 may include all encoded data of group row 1 and partial encoded data of group row 2; the payload section P2 may include another partial encoded data of group row 2; and the payload section P3 may include remaining partial encoded data of group row 2.
As shown in FIG. 5, the size of data transmitted in each transmission time slot with an active period T2 is equal toThe output interface 104 transmits encoded data of the slice row (e.g., Slice_2 in FIG. 2) within eight transmission time slots. Specifically, the equal-sized payload sections P1-P8 are transmitted within the transmission time slots, respectively. As can be seen from FIG. 5, there is one horizontal synchronization event at the start of each transmission time slot. The transmission rate controller 116 of the output interface 104 properly controls  transmission rate and timing of the transmission channel 106. In this way, the start of transmission of encoded data of the slice row (e.g., slice Slice_2 in FIG. 2) is aligned towards an Nth horizontal synchronization event (e.g., HSYNC8) , and/or the end of transmission of encoded data of the slice row (e.g., Slice_2 in FIG. 2) is aligned towards an (N+M) th horizontal synchronization event (e.g., HSYNC16) , where M corresponds to the slice height. More specifically, the value of M is equal to the slice height.
It should be noted that the aforementioned transmission timing alignment operation depends on the packet structure of the bitstream BS. FIG. 6 is a diagram illustrating the operation of aligning at least one of start of transmission of encoded data of a slice row and end of the transmission of encoded data of the slice row towards a transmission synchronization event. A data packet of the bitstream BS may include a header section, a payload section, and a footer section. The payload section is used to carry the encoded slice data. The header section is used to carry header information of the data packet and has a fixed length (e.g., 4 bytes) . In addition, there may be other pre-defined comments/packets (e.g., HBP (Horizontal Back Porch) Packet) transmitted between a transmission synchronization event (e.g., HSS (Horizontal Sync Start) Packet) and the data packet (which carries encoded slice data) . Hence, when the function of aligning start of transmission of encoded data of a slice row towards a transmission synchronization event is enabled, the output interface 104 determines the start time TS to ensure that an interval TP1 between a preceding transmission synchronization event (e.g., a horizontal synchronization event HSYNC_1) and the start time TS of transmitting the encoded slice data (e.g., the timing when the first bit of encoded data of one slice row) is a predetermined value.
The footer section may be used to carry checksum information for CRC check and has a fixed length (e.g., 2 bytes) . Similarly, when the function of aligning end of transmission of encoded data of a slice row towards a transmission synchronization event is enabled, the output interface 104 determines the end time TE to ensure that an interval TP2 between a following transmission synchronization event (e.g., a horizontal synchronization event HSYNC_2) and the end time TE of transmission of encoded slice data (e.g., the last bit of encoded data of the slice row) is a predetermined value.
For example, the encoded data of one slice row shown in FIG. 4 is transmitted using three data packets, each having the packet structure shown in FIG. 6 and  transmitted within one transmission time slot. Regarding the data packet transmitted within the first one of the three consecutive transmission time slots, the output interface 104 controls the start time of transmitting the first bit of encoded data of one slice row based on the predetermined time interval TP1. Regarding the data packet transmitted within the last one of the three consecutive transmission time slots, the output interface 104 controls the end time of transmitting the last bit of encoded data of one slice row based on the predetermined time interval TP2.
For another example, the packet sections P1-P8 shown in FIG. 5 are carried by a plurality of data packets, each having the packet structure shown in FIG. 6. Regarding the data packet carrying the payload section P1, the output interface 104 controls the start time of transmitting the first bit of encoded data of one slice row based on the predetermined time interval TP1. Regarding the data packet carrying the payload section P8, the output interface 104 controls the end time of transmitting the last bit of encoded data of one slice row based on the predetermined time interval TP2.
Those skilled in the art will readily observe that numerous modifications and alterations of the device and method may be made while retaining the teachings of the invention. Accordingly, the above disclosure should be construed as limited only by the metes and bounds of the appended claims.

Claims (20)

  1. An image processing method, comprising:
    partitioning a picture into a plurality of slices, wherein each slice row in the picture includes at least one slice;
    generating a compressed picture by encoding each of the slices; and
    controlling at least one of start of transmission of encoded data of a slice row and end of the transmission of encoded data of the slice row according to a transmission synchronization event.
  2. The image processing method of clam 1, wherein the transmission synchronization event is a horizontal synchronization event.
  3. The image processing method of clam 1, wherein the transmission synchronization event is a vertical synchronization event.
  4. The image processing method of clam 1, wherein the step of controlling at least one of the start of the transmission of encoded data of the slice row and the end of the transmission of encoded data of the slice row according to the transmission synchronization event comprises:
    aligning at least one of the start of the transmission of encoded data of the slice row and the end of the transmission of encoded data of the slice row towards the transmission synchronization event.
  5. The image processing method of claim 4, wherein encoded data of the slice row is transmitted over a transmission channel, and the step of aligning at least one of the start of the transmission of encoded data of the slice row and the end of the transmission of encoded data of the slice row towards the transmission synchronization event comprises:
    adjusting transmission rate and timing of the transmission channel for aligning the start of the transmission of encoded data of the slice row towards the transmission synchronization event and aligning the end of the transmission of encoded data of the slice row towards another transmission synchronization event.
  6. The image processing method of clam 5, wherein the transmission synchronization event is an Nth transmission synchronization event, the another transmission synchronization event is an (N+M) th transmission synchronization event, N and M are positive integers, and M corresponds to a slice height of the slice row. 
  7. The image processing method of clam 1, wherein the transmission of encoded data of the slice row is controlled to start or end at a specific time point, wherein an interval between the specific time point and the transmission synchronization event is a predetermined value.
  8. The image processing method of claim 1, wherein encoded data of the slice row is transmitted over a transmission channel, and the image processing method further comprises:
    adjusting transmission rate and timing of the transmission channel according to a compression ratio of the compressed picture.
  9. The image processing method of claim 1, wherein the step of generating the compressed picture further comprises:
    generating the compressed picture by a lossy compression method with a fixed rate control method applied thereto.
  10. An image processing apparatus, comprising:
    a compressor, configured to partition a picture into a plurality of slices, and generate a compressed picture by encoding each of the slices, wherein each slice row in the picture includes at least one slice; and
    an output interface, configured to control at least one of start of transmission of encoded data of a slice row and end of the transmission of encoded data of the slice row according to a transmission synchronization event.
  11. The image processing apparatus of clam 10, wherein the transmission synchronization event is a horizontal synchronization event.
  12. The image processing apparatus of clam 10, wherein the transmission synchronization event is a vertical synchronization event.
  13. The image processing apparatus of clam 10, wherein the output interface aligns at least one of the start of the transmission of encoded data of the slice row and the end of the transmission of encoded data of the slice row towards the transmission synchronization event.
  14. The image processing apparatus of claim 13, wherein encoded data of the slice row is transmitted over a transmission channel; and the output interface comprises a transmission rate controller configured to adjust transmission rate and timing of the transmission channel for aligning the start of the transmission of encoded data of the slice row towards the transmission synchronization event and aligning the end of the transmission of encoded data of the slice row towards another  transmission synchronization event.
  15. The image processing apparatus of clam 14, wherein the transmission synchronization event is an Nth transmission synchronization event, the another transmission synchronization event is an (N+M) th transmission synchronization event, N and M are positive integers, and M corresponds to a slice height of the slice row.
  16. The image processing apparatus of clam 10, wherein the output interface controls the transmission of encoded data of the slice row to start or end at a specific time point, and an interval between the specific time point and the transmission synchronization event is a predetermined value.
  17. The image processing apparatus of claim 10, wherein encoded data of the slice row is transmitted over a transmission channel, and the output interface comprises a transmission rate controller configured to adjust transmission rate and timing of the transmission channel according to a compression ratio of the compressed picture.
  18. The image processing apparatus of claim 10, wherein the compressor comprises:
    a rate controller, configured to perform a fixed rate control method; and
    an encoder, configured to generate the compressed picture by a lossy compression method with the fixed rate control method applied thereto.
  19.  Amethod of transmitting a compressed picture comprising
    partitioning a picture into multiple slices;
    encoding each of slices; and
    controlling transmission of compressed data of a vertical adjacent slice to synchronize with a synchronization event.
  20. The method of claim 19, further comprising:
    compressing the picture through a fixed rate control method with a compression ratio; and
    adjusting transmission rate and timing of a transmission channel according to the compression ratio.
AU2014339383A 2013-10-25 2014-10-24 Method and apparatus for controlling transmission of compressed picture according to transmission synchronization events Active AU2014339383B2 (en)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361895461P 2013-10-25 2013-10-25
US201361895454P 2013-10-25 2013-10-25
US61/895,454 2013-10-25
US61/895,461 2013-10-25
US201361904490P 2013-11-15 2013-11-15
US61/904,490 2013-11-15
PCT/CN2014/089477 WO2015058718A1 (en) 2013-10-25 2014-10-24 Method and apparatus for controlling transmission of compressed picture according to transmission synchronization events

Publications (2)

Publication Number Publication Date
AU2014339383A1 true AU2014339383A1 (en) 2016-05-12
AU2014339383B2 AU2014339383B2 (en) 2017-03-30

Family

ID=52992296

Family Applications (2)

Application Number Title Priority Date Filing Date
AU2014339383A Active AU2014339383B2 (en) 2013-10-25 2014-10-24 Method and apparatus for controlling transmission of compressed picture according to transmission synchronization events
AU2014339384A Active AU2014339384B2 (en) 2013-10-25 2014-10-24 Method and apparatus for processing picture having picture height not evenly divisible by slice height and/or slice width not evenly divisible by pixel group width

Family Applications After (1)

Application Number Title Priority Date Filing Date
AU2014339384A Active AU2014339384B2 (en) 2013-10-25 2014-10-24 Method and apparatus for processing picture having picture height not evenly divisible by slice height and/or slice width not evenly divisible by pixel group width

Country Status (8)

Country Link
US (4) US10038904B2 (en)
EP (2) EP3036689B8 (en)
JP (3) JP6309092B2 (en)
KR (3) KR101994599B1 (en)
CN (3) CN104871538B (en)
AU (2) AU2014339383B2 (en)
BR (2) BR112016009085B1 (en)
WO (3) WO2015058718A1 (en)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9729599B2 (en) 2014-06-04 2017-08-08 Sonos, Inc. Cloud queue access control
US20150355818A1 (en) 2014-06-04 2015-12-10 Sonos, Inc. Continuous Playback Queue
US9720642B2 (en) 2014-06-04 2017-08-01 Sonos, Inc. Prioritizing media content requests
CN104506381A (en) * 2014-12-16 2015-04-08 新余兴邦信息产业有限公司 Method and device for monitoring file uploading through instrument
KR102602476B1 (en) * 2015-07-03 2023-11-14 인텔 코포레이션 Apparatus and method for data compression in wearable devices
GB2544800A (en) * 2015-11-27 2017-05-31 V-Nova Ltd Adaptive bit rate ratio control
CN105828082B (en) * 2016-03-25 2018-12-04 北京环境特性研究所 Video image Fast Compression system and method
KR102603110B1 (en) * 2016-05-20 2023-11-17 삼성디스플레이 주식회사 Image compression device and image decompression device
JP6387511B2 (en) * 2016-06-17 2018-09-12 株式会社アクセル Image data processing method
CN109996076B (en) * 2016-10-12 2021-08-06 深圳市大疆创新科技有限公司 Code rate control method, computer system and device
JP6732337B2 (en) 2016-12-09 2020-07-29 株式会社アクセル Image data processing method
WO2018105515A1 (en) * 2016-12-09 2018-06-14 株式会社アクセル Image data processing method
CN110709920B (en) 2017-06-08 2022-11-08 佳能株式会社 Image processing apparatus and control method thereof
US10721469B2 (en) * 2017-11-28 2020-07-21 Qualcomm Incorporated Line buffer reduction for adaptive loop filtering in video coding
US10790932B2 (en) * 2018-01-12 2020-09-29 Apple Inc. Padding bits for CSI report coding
WO2019208677A1 (en) * 2018-04-27 2019-10-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Coding device, decoding device, coding method, and decoding method
KR102618692B1 (en) * 2018-06-15 2024-01-02 삼성전자주식회사 Display driver circuit and method for reducing influence of noise or dither
FR3088124A1 (en) * 2018-11-06 2020-05-08 Stmicroelectronics (Rousset) Sas METHOD FOR PRODUCING TRIGGERING SIGNALS FOR CONTROLLING A MULTIMEDIA INTERFACE, AND CORRESPONDING INTEGRATED CIRCUIT
FR3088125A1 (en) 2018-11-06 2020-05-08 Stmicroelectronics (Rousset) Sas METHOD FOR MONITORING A TASK, IN PARTICULAR A GRAPHIC TASK, FOR AN ELECTRONIC MODULE, PARTICULARLY A MULTIMEDIA INTERFACE, AND CORRESPONDING DEVICE.
WO2020209478A1 (en) * 2019-04-08 2020-10-15 엘지전자 주식회사 Method and device for partitioning picture into plurality of tiles
WO2020209477A1 (en) * 2019-04-08 2020-10-15 엘지전자 주식회사 Picture partitioning-based coding method and device
US11259040B1 (en) * 2019-04-25 2022-02-22 Amazon Technologies, Inc. Adaptive multi-pass risk-based video encoding
CN116112684A (en) * 2019-10-09 2023-05-12 苹果公司 Method for encoding/decoding image signal and apparatus therefor
MX2022006485A (en) * 2019-11-28 2022-10-10 Lg Electronics Inc Slice and tile configuration for image/video coding.
CN114902664A (en) * 2019-11-28 2022-08-12 Lg 电子株式会社 Image/video encoding/decoding method and apparatus
EP4068786A4 (en) 2019-11-28 2023-10-11 LG Electronics Inc. Method and device for signaling information related to slice in image/video encoding/decoding system
CN114930820A (en) * 2019-11-28 2022-08-19 Lg 电子株式会社 Image/video compiling method and device based on picture division structure
KR20220087514A (en) * 2019-11-28 2022-06-24 엘지전자 주식회사 Video/Video Coding Method and Apparatus

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940011605B1 (en) * 1991-12-20 1994-12-22 삼성전자 주식회사 Image compressing method
JP2959353B2 (en) * 1993-09-07 1999-10-06 三菱電機株式会社 Echo canceller device
CA2157066C (en) * 1994-10-21 1999-09-21 Nelson Botsford Iii Method for controlling a compressed data buffer
JPH10224792A (en) * 1997-02-12 1998-08-21 Hitachi Ltd Method and device for encoding picture signal
FI106071B (en) * 1997-03-13 2000-11-15 Nokia Mobile Phones Ltd Adaptive filter
FI103003B (en) * 1997-06-13 1999-03-31 Nokia Corp Filtering procedure, filter and mobile terminal
JP3380763B2 (en) 1998-01-23 2003-02-24 松下電器産業株式会社 Image processing method
US6963608B1 (en) * 1998-10-02 2005-11-08 General Instrument Corporation Method and apparatus for providing rate control in a video encoder
JP2000152174A (en) 1998-11-09 2000-05-30 Sony Corp Image data processor its method and image data recorder
US7061878B2 (en) * 1999-11-24 2006-06-13 Lg Electronics Inc. Method and apparatus for stopping data/packet transmission
US7003174B2 (en) * 2001-07-02 2006-02-21 Corel Corporation Removal of block encoding artifacts
JP2003037737A (en) * 2001-07-23 2003-02-07 Matsushita Electric Ind Co Ltd Image processor
WO2003021936A2 (en) * 2001-09-05 2003-03-13 Emblaze Semi Conductor Ltd Method for reducing blocking artifacts
US6983079B2 (en) * 2001-09-20 2006-01-03 Seiko Epson Corporation Reducing blocking and ringing artifacts in low-bit-rate coding
MXPA03006715A (en) * 2001-11-29 2003-10-24 Matsushita Electric Ind Co Ltd Coding distortion removal method, video encoding method, video decoding method, and apparatus and program for the same.
US7412109B2 (en) * 2003-11-07 2008-08-12 Mitsubishi Electric Research Laboratories, Inc. System and method for filtering artifacts in images
US7460596B2 (en) * 2004-04-29 2008-12-02 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US20060013315A1 (en) * 2004-07-19 2006-01-19 Samsung Electronics Co., Ltd. Filtering method, apparatus, and medium used in audio-video codec
EP1638333A1 (en) * 2004-09-17 2006-03-22 Mitsubishi Electric Information Technology Centre Europe B.V. Rate adaptive video coding
US7839933B2 (en) * 2004-10-06 2010-11-23 Microsoft Corporation Adaptive vertical macroblock alignment for mixed frame video sequences
EP1813117A1 (en) 2004-11-04 2007-08-01 Koninklijke Philips Electronics N.V. Method and device for processing coded video data
US7746928B2 (en) 2004-12-30 2010-06-29 General Instruments Corporation Method and apparatus for providing rate control
US7602974B2 (en) * 2005-10-21 2009-10-13 Mobilic Technology (Cayman) Corp. Universal fixed-pixel-size ISP scheme
JP4455487B2 (en) * 2005-12-16 2010-04-21 株式会社東芝 Decoding device, decoding method, and program
WO2007110814A1 (en) * 2006-03-27 2007-10-04 Koninklijke Philips Electronics N.V. Encoding and decoding apparatuses and methods
CN1968410A (en) 2006-11-23 2007-05-23 中兴通讯股份有限公司 Adaptive video data splitting method
JP4607856B2 (en) * 2006-12-26 2011-01-05 富士通株式会社 Encoding / decoding system and encoding / decoding method
CN101321277A (en) * 2007-06-09 2008-12-10 华为技术有限公司 Method and apparatus for removing block effect
JP4967921B2 (en) * 2007-08-10 2012-07-04 セイコーエプソン株式会社 Apparatus, method, and program for image processing
EP2183922A4 (en) 2007-08-16 2011-04-27 Nokia Corp A method and apparatuses for encoding and decoding an image
US8457214B2 (en) * 2007-09-10 2013-06-04 Cisco Technology, Inc. Video compositing of an arbitrary number of source streams using flexible macroblock ordering
CN101453651B (en) * 2007-11-30 2012-02-01 华为技术有限公司 A deblocking filtering method and apparatus
JP5593596B2 (en) * 2008-02-04 2014-09-24 ソニー株式会社 Video signal transmitting apparatus and video signal transmitting method
US9118944B2 (en) * 2009-02-05 2015-08-25 Cisco Technology, Inc. System and method for rate control in a network environment
CA2759880C (en) * 2009-03-23 2013-09-24 Azuki Systems, Inc. Method and system for efficient streaming video dynamic rate adaptation
US8891609B2 (en) * 2009-03-24 2014-11-18 Samsung Electronics Co., Ltd. System and method for measuring blockiness level in compressed digital video
JP2010226672A (en) * 2009-03-25 2010-10-07 Nippon Hoso Kyokai <Nhk> Image dividing device, divided image encoder and program
WO2010126437A1 (en) * 2009-04-28 2010-11-04 Telefonaktiebolaget Lm Ericsson (Publ) Distortion weighing
CN101610417B (en) * 2009-07-09 2013-06-12 华为技术有限公司 Image filling method, device and equipment
US20110030025A1 (en) * 2009-07-31 2011-02-03 Azure Communications Inc. High speed wireless video transmission
EP2285112A1 (en) * 2009-08-07 2011-02-16 Canon Kabushiki Kaisha Method for sending compressed data representing a digital image and corresponding device
US8879623B2 (en) * 2009-09-02 2014-11-04 Sony Computer Entertainment Inc. Picture-level rate control for video encoding a scene-change I picture
KR101534049B1 (en) * 2009-10-21 2015-07-07 에스케이텔레콤 주식회사 Video Coding and Decoding Method and Apparatus
KR101452713B1 (en) 2009-10-30 2014-10-21 삼성전자주식회사 Method and apparatus for encoding and decoding coding unit of picture boundary
US20110149032A1 (en) * 2009-12-17 2011-06-23 Silicon Image, Inc. Transmission and handling of three-dimensional video content
US8885969B2 (en) * 2010-03-29 2014-11-11 Sony Corporation Method and apparatus for detecting coding artifacts in an image
JP2011216968A (en) * 2010-03-31 2011-10-27 Sony Corp Image processing control device and method
KR101791242B1 (en) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 Video Coding and Decoding Method and Apparatus
US8711933B2 (en) * 2010-08-09 2014-04-29 Sony Computer Entertainment Inc. Random access point (RAP) formation using intra refreshing technique in video coding
US20120243602A1 (en) * 2010-09-23 2012-09-27 Qualcomm Incorporated Method and apparatus for pipelined slicing for wireless display
CN103339932B (en) 2010-10-01 2017-05-31 谷歌技术控股有限责任公司 The code filled up using picture boundary in flexible piecemeal and decoding
JP5811097B2 (en) 2010-11-01 2015-11-11 日本電気株式会社 Moving image distribution system, moving image distribution method, and moving image distribution program
KR101868651B1 (en) * 2010-12-07 2018-06-18 소니 주식회사 Image processing device, image processing method and recording medium
ES2767926T3 (en) * 2010-12-21 2020-06-19 Ntt Docomo Inc Enhanced intra-prediction encoding and decoding using flat representations
JP5684407B2 (en) * 2011-01-14 2015-03-11 テレフオンアクチーボラゲット エル エム エリクソン(パブル) Method for reducing blocking artifacts, deblocking filter unit, encoder, decoder, user equipment, network device, computer program and computer program storage medium
KR101863397B1 (en) * 2011-02-25 2018-05-31 선 페이턴트 트러스트 Efficient decisions for deblocking
EP2533537A1 (en) * 2011-06-10 2012-12-12 Panasonic Corporation Transmission of picture size for image or video coding
US20120314767A1 (en) * 2011-06-13 2012-12-13 Qualcomm Incorporated Border pixel padding for intra prediction in video coding
JP2013031024A (en) 2011-07-29 2013-02-07 Hitachi Consumer Electronics Co Ltd Image transmission device, image transmission method, image receiving device, and image receiving method
WO2013064654A1 (en) * 2011-11-03 2013-05-10 Panasonic Corporation Efficient rounding for deblocking
US20130128986A1 (en) * 2011-11-23 2013-05-23 Mediatek Inc. Method and Apparatus of Slice Boundary Padding for Loop Filtering
US9510021B2 (en) * 2013-05-24 2016-11-29 Electronics And Telecommunications Research Institute Method and apparatus for filtering pixel blocks
US20140362098A1 (en) 2013-06-10 2014-12-11 Sharp Laboratories Of America, Inc. Display stream compression
JP6305279B2 (en) * 2014-08-26 2018-04-04 株式会社東芝 Video compression device and video playback device

Similar Documents

Publication Publication Date Title
US10038904B2 (en) Method and apparatus for controlling transmission of compressed picture according to transmission synchronization events
AU2014339383A1 (en) Method and apparatus for controlling transmission of compressed picture according to transmission synchronization events
US9875723B2 (en) Data processing apparatus for transmitting/receiving randomly accessible compressed pixel data groups over display interface and related data processing method
US20040184523A1 (en) Method and system for providing reduced bandwidth for picture in picture video transmissions
US8773469B2 (en) Video multiviewer system with serial digital interface and related methods
US20160234513A1 (en) Data processing apparatus and method for compressed pixel data groups
CN103347163A (en) Ultra high definition video image processing and transmitting system and method thereof
JP2013545374A (en) Combining video data streams of different dimensions for simultaneous display
US20120147976A1 (en) Video Transmission On A Serial Interface
US9288418B2 (en) Video signal transmitter apparatus and receiver apparatus using uncompressed transmission system of video signal
CA2661760C (en) Video multiviewer system with switcher and distributed scaling and related methods
CA2661768C (en) Video multiviewer system with distributed scaling and related methods
JP4940030B2 (en) Transmission device, reception device, and program
KR101739822B1 (en) Method and apparatus for compressing analog image signal
CA2903429A1 (en) Standardized hot-pluggable transceiving unit with signal encoding or decoding capabilities
US20110199456A1 (en) Apparatus for image reproduction and method therefor
US8115823B2 (en) Image processing system capable of reducing image data needed to be transmitted and method thereof
US20160057436A1 (en) Video processing apparatus and video display apparatus