JP2009290662A - Image transmitting apparatus and image receiving apparatus - Google Patents

Image transmitting apparatus and image receiving apparatus Download PDF

Info

Publication number
JP2009290662A
JP2009290662A JP2008142391A JP2008142391A JP2009290662A JP 2009290662 A JP2009290662 A JP 2009290662A JP 2008142391 A JP2008142391 A JP 2008142391A JP 2008142391 A JP2008142391 A JP 2008142391A JP 2009290662 A JP2009290662 A JP 2009290662A
Authority
JP
Japan
Prior art keywords
image
color component
unit
image data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008142391A
Other languages
Japanese (ja)
Inventor
Nozomi Tanaka
望美 田中
Shinji Yamamoto
真嗣 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2008142391A priority Critical patent/JP2009290662A/en
Priority to PCT/JP2009/002196 priority patent/WO2009144886A1/en
Priority to CN2009801198854A priority patent/CN102047664A/en
Publication of JP2009290662A publication Critical patent/JP2009290662A/en
Priority to US12/948,486 priority patent/US20110064276A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Abstract

<P>PROBLEM TO BE SOLVED: To reproduce original input image data in a deterioration reduced state at a receiving side by transmitting image data in a deterioration reduced state even if transmission capacity of a data communication line is limited. <P>SOLUTION: In an image transmitting apparatus 10, an encoder 12 selects and encodes a part of a plurality of color components constituting image data captured by an image capturing section 11 as a color component to be encoded and cyclically switches the selected color component. A data transfer section 13 transfers encoded data of the selected color component to a network 30. In an image receiving apparatus 20, a data receiver 21 receives the encoded data of the selected color component via the network 30, a decoder 22 decodes the received encoded data of the selected color component, and an accumulator 23 accumulates the decoded data of the selected color component. A combiner 24 combines the image data of decoded the selected color component and image data of decoded selected color component already accumulated in the accumulator while differing a color component, thereby reproducing an image. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、ネットワークなどの伝送容量が限られたデータ通信回線に接続された機器間で動画像を送受信するシステムにおける画像送信装置および画像受信装置に関する。   The present invention relates to an image transmission apparatus and an image reception apparatus in a system that transmits and receives moving images between devices connected to a data communication line with a limited transmission capacity such as a network.

従来、帯域の制限されたネットワークを介して画像データを送信する場合に、画像の注目領域の解像度を高く設定する一方、その他の領域の解像度を低く設定して画像データを符号化することにより、情報量を削減しつつ、所望の画質を確保するシステムが開示されている(例えば特許文献1参照)。
特開平7−288806号公報(第5−10頁、第1−10図)
Conventionally, when transmitting image data via a network with a limited bandwidth, by setting the resolution of the attention area of the image high, while encoding the image data by setting the resolution of the other area low, A system that secures desired image quality while reducing the amount of information is disclosed (see, for example, Patent Document 1).
JP-A-7-288806 (page 5-10, FIG. 1-10)

近年、撮像素子の高画素化が進み、その結果として画像データのデータ量は益々増加している。このような状況下、ネットワークカメラなどネットワーク上に画像データを送信する装置において、画質劣化を最小限にとどめて動画像をネットワーク送信する技術が求められている。特許文献1のシステムでは、注目領域の解像度を高く設定した場合、その他の領域の解像度が著しく低く設定されてしまい、受信装置で画像を再生した場合に、画像の劣化が激しく内容を判別できない領域を含んでいる可能性がある。   In recent years, the number of pixels of an image sensor has increased, and as a result, the amount of image data has been increasing. Under such circumstances, there is a need for a technique for transmitting a moving image over a network with minimal image quality degradation in an apparatus that transmits image data over a network, such as a network camera. In the system of Patent Document 1, when the resolution of the attention area is set high, the resolution of other areas is set extremely low, and when the image is reproduced by the receiving device, the image quality is so severe that the contents cannot be discriminated. May contain.

本発明による画像送信装置は、
外部からの入力画像データを取得する画像取得部と、
前記画像取得部で取得した画像データの色情報を構成する複数の色成分の一部を限定された符号化対象の色成分としてその都度に選択し、その選択色成分の画像データを所定の方式で符号化するとともに、前記選択色成分をサイクリックに入れ替える符号化部と、
前記符号化部で符号化された選択色成分の画像データをデータ通信回線に転送するデータ転送部とを備えたものである。
An image transmission apparatus according to the present invention includes:
An image acquisition unit for acquiring input image data from the outside;
A part of a plurality of color components constituting the color information of the image data acquired by the image acquisition unit is selected as a limited encoding target color component each time, and the image data of the selected color component is selected in a predetermined method And an encoding unit that cyclically replaces the selected color component;
A data transfer unit that transfers the image data of the selected color component encoded by the encoding unit to a data communication line.

また、本発明による画像受信装置は、
サイクリックに入れ替えられて符号化された選択色成分の画像データをデータ通信回線を介して受信するデータ受信部と、
前記データ受信部で受信された選択色成分の画像データを復号化する復号化部と、
前記復号化部で復号化された選択色成分の画像データを蓄積する蓄積部と、
前記復号化部で復号化された選択色成分の画像データと、色成分を異にする状態ですでに前記蓄積部に蓄積されている復号化された選択色成分の画像データとを合成して画像を再生する合成部とを備えたものである。
An image receiving apparatus according to the present invention is
A data receiving unit that receives image data of a selected color component that is cyclically replaced and encoded via a data communication line;
A decoding unit for decoding the image data of the selected color component received by the data receiving unit;
An accumulation unit for accumulating image data of the selected color component decoded by the decoding unit;
The selected color component image data decoded by the decoding unit is combined with the decoded selected color component image data already stored in the storage unit in a different color component state. And a composition unit for reproducing an image.

上記構成の画像送信装置において、符号化部は、入力画像データにおける複数の色成分の一部を限定された符号化対象の色成分としてその都度に選択し、その選択色成分の画像データを所定の方式で符号化した上で、データ転送部に渡す。データ転送部は、符号化された選択色成分の画像データをデータ通信回線を介して画像受信装置に転送する。符号化部は、選択色成分をサイクリックに入れ替えながら、符号化を繰り返す。この方式においては、符号化部による符号化の対象およびデータ転送部によるデータ転送の対象として、画像取得部における入力画像データの一部の色成分に限定している。したがって、処理すべき画像データの情報量が削減され、符号化率が抑圧され、その結果、データ通信回線の伝送容量が限られている場合でも、画像データを劣化の少ない状態で送信することが可能となる。   In the image transmission apparatus having the above configuration, the encoding unit selects a part of the plurality of color components in the input image data as limited color components to be encoded each time, and the image data of the selected color component is predetermined. After being encoded by the above method, the data is transferred to the data transfer unit. The data transfer unit transfers the encoded image data of the selected color component to the image receiving device via the data communication line. The encoding unit repeats encoding while cyclically replacing the selected color component. In this method, the encoding target by the encoding unit and the data transfer target by the data transfer unit are limited to some color components of the input image data in the image acquisition unit. Therefore, the amount of information of image data to be processed is reduced, the coding rate is suppressed, and as a result, even when the transmission capacity of the data communication line is limited, the image data can be transmitted with little deterioration. It becomes possible.

また、上記構成の画像受信装置において、合成部は、復号化部で復号化された現在の選択色成分の画像データと、色成分を異にする状態ですでに蓄積部に蓄積されている復号化された過去の選択色成分の画像データとを合成して、画像を再生する。このような蓄積部を付帯する合成部の機能により、データ通信回線を介して送られてくる画像データが、入力画像データにおける複数の色成分のうちから選択された一部に限定されたもの(選択色成分の画像データ)であっても、元の入力画像データを劣化のない状態で再現することが可能となる。   Further, in the image receiving apparatus having the above configuration, the synthesizing unit decodes the image data of the currently selected color component decoded by the decoding unit and the decoding already stored in the storage unit in a state where the color component is different. The generated image data of the past selected color component is synthesized to reproduce the image. Due to the function of the combining unit attached to the storage unit, the image data sent via the data communication line is limited to a part selected from a plurality of color components in the input image data ( The original input image data can be reproduced with no deterioration even if the selected color component image data).

上記構成の画像送信装置において、前記符号化部は、前記画像取得部で取得する画像データにおける選択色成分をY成分、U成分、Y成分、V成分、Y成分、U成分のようにフレーム毎に入れ替えて繰り返し符号化するという態様がある。   In the image transmission apparatus having the above-described configuration, the encoding unit selects the selected color component in the image data acquired by the image acquisition unit for each frame such as a Y component, a U component, a Y component, a V component, a Y component, and a U component. There is a mode in which the coding is repeated and replaced.

また上記構成の画像送信装置において、前記符号化部は、前記画像取得部で取得する画像データにおける選択色成分をY成分、UV成分、Y成分、UV成分のようにフレーム毎に入れ替えて繰り返し符号化するという態様がある。   Further, in the image transmission device having the above configuration, the encoding unit may repeatedly encode the selected color component in the image data acquired by the image acquisition unit for each frame such as a Y component, a UV component, a Y component, and a UV component. There is a mode of becoming.

また上記構成の画像送信装置において、さらに、色成分分割パターンを変更可能な分割パターン設定部を備え、前記符号化部は、前記分割パターン設定部で設定した色成分分割パターンに則って前記画像取得部で取得した画像データの色成分を選択し、選択色成分をフレーム毎に入れ替えながら選択色成分の画像データを符号化し、前記符号化された選択色成分の画像データに前記分割パターン設定部による色成分分割パターン情報を付加して前記データ転送部より転送するという態様がある。このように構成した場合、データ通信回線の混雑状況の変化に応じて、分割パターン設定部での色成分分割パターンを適応的に設定することが可能となる。すなわち、データ通信回線の混雑状況の変化にかかわらず、画像データを劣化の少ない状態で送信することが可能となる。   The image transmitting apparatus having the above configuration further includes a division pattern setting unit capable of changing a color component division pattern, and the encoding unit acquires the image in accordance with the color component division pattern set by the division pattern setting unit. The image data of the selected color component is encoded while the selected color component is replaced for each frame, and the divided pattern setting unit adds the encoded color data of the selected color component to the encoded image data of the selected color component. There is a mode in which color component division pattern information is added and transferred from the data transfer unit. When configured in this way, it is possible to adaptively set the color component division pattern in the division pattern setting unit in accordance with changes in the congestion status of the data communication line. In other words, it is possible to transmit image data with little deterioration regardless of changes in the congestion status of the data communication line.

また上記構成の画像送信装置において、さらに、前記画像取得部で取得した画像データから再生される画像の動き量を検出する動き検出部を備え、前記符号化部は、前記動き検出部で検出した画像の動き量が所定の閾値よりも大きくなった場合には、画像データの色成分の選択に代えて画像データのすべての色成分の画像データを符号化するという態様がある。画像の動きが速いときは、解像度が低いことに起因して画質劣化が生じても、視覚上はあまり問題とならない。そこで、画像の動き量が所定の閾値より大きいときは、色成分の選択をやめ、すべての色成分の画像データの符号化に切り替える。その結果として、画像処理の速度アップを図ることが可能となる。   The image transmission apparatus having the above configuration further includes a motion detection unit that detects a motion amount of an image reproduced from the image data acquired by the image acquisition unit, and the encoding unit detects the motion detection unit. When the amount of motion of the image becomes larger than a predetermined threshold, there is a mode in which the image data of all the color components of the image data is encoded instead of selecting the color component of the image data. When the motion of the image is fast, even if the image quality is deteriorated due to the low resolution, there is not much visual problem. Therefore, when the amount of motion of the image is larger than the predetermined threshold, the selection of the color component is stopped, and switching to the encoding of the image data of all the color components is performed. As a result, it is possible to increase the speed of image processing.

また上記構成の画像送信装置において、さらに、前記画像取得部で取得した画像データから再生される画像の動き量を検出する動き検出部を備え、前記符号化部は、選択色成分の画像データを符号化したデータと、前記動き検出部による前記符号化を行った色成分とは異なる色成分の動き量の情報とを前記データ転送部により転送し、フレーム毎に符号化する色成分を入れ替えるという態様がある。選択色成分の符号化データとともに符号化を行った色成分とは異なる色成分の動き量の情報をデータ転送部より転送することにより、画像受信装置側において画像の動き量に応じて過去の選択色成分の画像データの動き補償などを行うことが可能となる。   The image transmission apparatus having the above configuration further includes a motion detection unit that detects a motion amount of an image reproduced from the image data acquired by the image acquisition unit, and the encoding unit receives the image data of the selected color component. The encoded data and the motion amount information of the color component different from the color component encoded by the motion detection unit are transferred by the data transfer unit, and the color component to be encoded is replaced for each frame. There are aspects. By selecting, from the data transfer unit, information on the amount of motion of a color component different from the color component that has been encoded together with the encoded data of the selected color component, past selection is performed according to the amount of motion of the image on the image receiving device side. It is possible to perform motion compensation of image data of color components.

そして、画像受信装置について、
選択色成分の画像データを符号化したデータと前記符号化を行った色成分とは異なる色成分の動き量を受信するデータ受信部と、
前記データ受信部で受信された選択色成分の画像データを復号化する復号化部と、
前記復号化部で復号化された選択色成分の画像データを蓄積する蓄積部と、
前記蓄積部に蓄積されている過去の画像データに対して、送られてきた画像の動き量を用いて動き補償処理を行う動き補償部と、
前記蓄積部に蓄積されている過去の画像データおよび前記復号化部による復号化データを、前記画像の動き量に応じて所定のアルゴリズムで平滑化する平滑化部と、
前記平滑化部で平滑化された現在の選択色成分の復号化データと選択色成分の動き補償後のデータとを合成して画像を再生する合成部とを備えた構成の画像受信装置がある。
And about the image receiving device,
A data reception unit that receives the amount of motion of a color component different from the data obtained by encoding the image data of the selected color component and the encoded color component;
A decoding unit for decoding the image data of the selected color component received by the data receiving unit;
An accumulation unit for accumulating image data of the selected color component decoded by the decoding unit;
A motion compensation unit that performs a motion compensation process on the past image data stored in the storage unit using a motion amount of the transmitted image;
A smoothing unit that smoothes past image data stored in the storage unit and decoded data by the decoding unit with a predetermined algorithm according to a motion amount of the image;
There is an image receiving apparatus configured to include a synthesis unit that synthesizes the decoded data of the currently selected color component smoothed by the smoothing unit and the data after motion compensation of the selected color component to reproduce an image. .

現在の選択色成分の画像データと過去の選択色成分の画像データとは時間的に差異が生じているため、動きのある被写体では合成時に色ずれが生じるおそれがある。動き補償部および平滑化部は、この色ずれを緩和するものである。   Since there is a temporal difference between the image data of the current selected color component and the image data of the past selected color component, there is a possibility that color shift may occur during composition for a moving subject. The motion compensation unit and the smoothing unit alleviate this color shift.

本発明によれば、ネットワークなどのデータ通信回線を介して画像信号を伝送する際に、符号化ならびに伝送の対象とする画像データを一部の色成分に限定するように構成しているので、符号化対象の情報量を低減して符号化率を抑圧することが可能であり、画像劣化の少ない画像を伝送することができる。   According to the present invention, when an image signal is transmitted through a data communication line such as a network, the image data to be encoded and transmitted is limited to a part of color components. The amount of information to be encoded can be reduced to suppress the encoding rate, and an image with little image degradation can be transmitted.

以下、図面を参照して本発明の実施の形態について説明する。なお、以下で説明する実施の形態のそれぞれはあくまで一例であり、様々な改変を行うことが可能である。   Embodiments of the present invention will be described below with reference to the drawings. Note that each of the embodiments described below is merely an example, and various modifications can be made.

(実施の形態1)
図1は本発明の実施の形態1の画像通信装置A1の全体構成を示すブロック図である。
(Embodiment 1)
FIG. 1 is a block diagram showing an overall configuration of an image communication apparatus A1 according to Embodiment 1 of the present invention.

この実施の形態は、ネットワークなどの伝送容量が限られたデータ通信回線を介して、膨大なデータ量を持つ画像を伝送するシステムである。ネットワークに限らず、画像送信装置と画像受信装置を接続する様々なデータ通信回線に応用できる。   This embodiment is a system for transmitting an image having an enormous amount of data via a data communication line having a limited transmission capacity such as a network. The present invention can be applied not only to a network but also to various data communication lines that connect an image transmission device and an image reception device.

本実施の形態の特徴は、1フレーム内に画像データの一部の色成分のみ(選択色成分の画像データ)を送信し、受信側で受信した現在の選択色成分の画像データと過去の選択色成分の画像データとを合成することにある。これによって、画像の情報量を削減し画像の符号化率を抑圧することができ、限られた伝送容量での画像通信時にも劣化の少ない画像を伝送することができる。   A feature of this embodiment is that only a part of color components of image data (image data of selected color components) is transmitted within one frame, and the image data of the currently selected color component received on the receiving side and past selections are received. This is to synthesize image data of color components. As a result, the amount of image information can be reduced and the coding rate of the image can be suppressed, and an image with little deterioration can be transmitted even during image communication with a limited transmission capacity.

図1に示すように、本実施の形態の画像通信装置A1は、画像送信装置10と、画像受信装置20と、画像送信装置10と画像受信装置20の間のデータ伝送を行うネットワーク30の3つの部分で構成されている。また、画像送信装置10には撮像装置40が接続され、画像受信装置20には表示装置50が接続されている。画像送信装置10には撮像装置40だけでなく、画像データを出力する機器を接続できる。   As shown in FIG. 1, the image communication apparatus A1 according to the present embodiment includes an image transmission apparatus 10, an image reception apparatus 20, and a network 30 that performs data transmission between the image transmission apparatus 10 and the image reception apparatus 20. It consists of two parts. In addition, an imaging device 40 is connected to the image transmission device 10, and a display device 50 is connected to the image reception device 20. Not only the imaging device 40 but also a device that outputs image data can be connected to the image transmission device 10.

画像送信装置10は、画像取得部11、符号化部12およびデータ転送部13からなる。   The image transmission device 10 includes an image acquisition unit 11, an encoding unit 12, and a data transfer unit 13.

画像取得部11は、撮像装置40から入力された画像データをメモリに取り込む処理を行う。入力画像データはYUV形式とすることも、RGB形式とすることも可能である。YUVは輝度・色差マルチプレクス信号のことであり、Yは輝度信号、Uは赤の色差信号、Vは青の色差信号である。   The image acquisition unit 11 performs processing for taking image data input from the imaging device 40 into a memory. The input image data can be in YUV format or RGB format. YUV is a luminance / color difference multiplexed signal, Y is a luminance signal, U is a red color difference signal, and V is a blue color difference signal.

符号化部12は、画像取得部11のメモリから画像データを読み出し、ROMなどの記憶手段にあらかじめ設定した色成分分割パターンに従って、画像データの色情報を構成する複数の色成分の一部を限定された符号化対象の色成分としてその都度に選択し、その選択色成分の画像データを予測符号化、直交変換符号化、ベクトル量子化など既知の画像圧縮アルゴリズムで符号化し、その色成分の符号化データをデータ転送部13に出力する。   The encoding unit 12 reads the image data from the memory of the image acquisition unit 11 and limits some of the plurality of color components constituting the color information of the image data according to a color component division pattern preset in a storage unit such as a ROM. Is selected each time as a color component to be encoded, and the image data of the selected color component is encoded with a known image compression algorithm such as predictive encoding, orthogonal transform encoding, vector quantization, etc. The converted data is output to the data transfer unit 13.

データ転送部13は、符号化された色成分の画像データをネットワーク30に送信する。   The data transfer unit 13 transmits the encoded color component image data to the network 30.

上記構成において、符号化される色成分は、色成分分割パターンに従って順次に入れ替えられ、またサイクリックに更新されるようになっている。   In the above configuration, the color components to be encoded are sequentially replaced according to the color component division pattern and are updated cyclically.

画像受信装置20は、データ受信部21、復号化部22、蓄積部23および合成部24からなる。   The image receiving device 20 includes a data receiving unit 21, a decoding unit 22, a storage unit 23, and a combining unit 24.

データ受信部21は、ネットワーク30から受信した選択色成分の符号化データを受信し、復号化部22に出力する。復号化部22は、選択色成分の符号化データを復号化し、蓄積部23に出力する。合成部24は、あらかじめ設定しておいた色成分分割パターン情報に従って、復号化部22で復号化され蓄積部23に蓄積された現在の選択色成分の画像データと、色成分を異にする状態ですでに蓄積されている過去の復号化された色成分の画像データとを読み出して合成し、画像を復元する。   The data receiving unit 21 receives the encoded data of the selected color component received from the network 30 and outputs it to the decoding unit 22. The decoding unit 22 decodes the encoded data of the selected color component and outputs it to the storage unit 23. The synthesizing unit 24 makes the color component different from the image data of the currently selected color component decoded by the decoding unit 22 and stored in the storage unit 23 according to the color component division pattern information set in advance. The image data of the past decoded color components that have already been stored in (1) is read out and combined to restore the image.

例えば入力画像データがYUV形式の場合に、色成分をY成分、U成分、V成分に分割してYUVYUVの順に送信している場合について、図2を用いて説明する。   For example, when the input image data is in the YUV format, a case where the color component is divided into a Y component, a U component, and a V component and transmitted in the order of YUVYUV will be described with reference to FIG.

いま、画像送信装置10の画像取得部11がnフレーム目の画像データを取得したとする。符号化部12はnフレーム目の入力画像データのY成分Yn を符号化し、データ転送部13に出力する。データ転送部13はネットワーク30に符号化データを送信する。nフレーム目の入力画像データのY成分Yn の符号化データを受信した画像受信装置20の復号化部22は、画像データを復号化し蓄積部23に格納する。合成部24では、蓄積部23に格納してある現フレームで受信したnフレーム目の画像データのY成分Yn と、1フレーム前に受信した(n−1)フレーム目の画像データのV成分Vn-1 と、2フレーム前に受信した(n−2)フレーム目の画像データのU成分Un-2 とを合成して、nフレーム目の再生画像Pn を再生する。次いで、(n+1)フレーム目では、(n−1)フレーム目の画像データのV成分Vn-1 と、nフレーム目の画像データのY成分Yn と、(n+1)フレーム目の画像データのU成分Un+1 を合成して、(n+1)フレーム目の再生画像Pn+1 を再生し、順次更新する色成分を変更しながら同様の処理を繰り返す。 Now, it is assumed that the image acquisition unit 11 of the image transmission apparatus 10 has acquired image data of the nth frame. The encoding unit 12 encodes the Y component Y n of the input image data of the nth frame and outputs it to the data transfer unit 13. The data transfer unit 13 transmits the encoded data to the network 30. The decoding unit 22 of the image receiving apparatus 20 that has received the encoded data of the Y component Y n of the input image data of the nth frame decodes the image data and stores it in the storage unit 23. In the synthesis unit 24, the Y component Y n of the nth frame image data received in the current frame stored in the storage unit 23 and the V component of the (n−1) th frame image data received one frame before. V n−1 and the U component U n−2 of the image data of the (n−2) th frame received two frames before are combined to reproduce the reproduced image P n of the nth frame. Next, in the (n + 1) th frame, the V component V n−1 of the (n−1) th frame image data, the Y component Y n of the nth frame image data, and the (n + 1) th frame image data. The U component U n + 1 is synthesized to reproduce the reproduced image P n + 1 of the (n + 1) th frame, and the same processing is repeated while changing the color component to be sequentially updated.

また、図3、図4のように、画像データの色成分を分割して送信してもよい。   Further, as shown in FIGS. 3 and 4, the color components of the image data may be divided and transmitted.

図3の例では、画像データをY成分、U成分、V成分に分割してY・U・Y・V・Y・U・Y・Vのように入れ替えながら送信している。この場合、(n−2)フレーム目には入力画像データのU成分Un-2 が、(n−1)フレーム目には入力画像データのY成分Yn-1 の符号化データが送信されており、nフレーム目の再生画像は現フレームで受信した入力画像のV成分Vn と蓄積部23に蓄積されている(n−2)フレーム目の入力画像データのU成分Un-2 と(n−1)フレーム目の入力画像データのY成分Yn-1 の復号化データを合成した再生画像Pn となる。(n+1)フレーム目には入力画像データのY成分Yn+1 の符号化データが更新され、合成部24は(n+1)フレーム目の入力画像データのY成分Yn+1 と、nフレーム目の入力画像のV成分Vn と、(n−2)フレーム目の入力画像データのU成分Un-2 を合成して画像を再生する。 In the example of FIG. 3, the image data is divided into a Y component, a U component, and a V component, and is transmitted while being exchanged as Y · U · Y · V · Y · U · Y · V. In this case, the U component Un-2 of the input image data is transmitted in the (n-2) frame, and the encoded data of the Y component Y n-1 of the input image data is transmitted in the (n-1) frame. and has, n-th frame of the reproduced image and the U component U n-2 of the input image data that has been accumulated (n-2) th frame to the V component V n and the storage unit 23 of the input image received in the current frame The reproduced image P n is obtained by synthesizing the decoded data of the Y component Y n−1 of the input image data of the (n−1) th frame. (N + 1) in the th frame Y component Y n + 1 of the encoded data of the input image data is updated, the combining unit 24 and the Y component Y n + 1 of the (n + 1) input image data th frame, n th frame The V component V n of the input image and the U component U n-2 of the input image data of the (n-2) th frame are synthesized to reproduce the image.

図4の例では、画像データをY成分とUV成分に分割して交互に送信している。この場合、nフレーム目に画像送信装置10は入力画像データのUV成分UVn の符号化データをネットワーク30に転送し、画像受信装置20は、蓄積部23に蓄積されている(n−1)フレーム目に受信した画像データのY成分Yn-1 と現フレームで受信した画像データのUV成分UVn を合成して画像を再生する。(n+1)フレーム目には入力画像データのY成分Yn+1 が送信され、画像受信装置20の合成部24でnフレーム目の画像データのUV成分UVn と、現フレームで受信した画像データのY成分Yn+1 を合成して画像を再生する。以後同様に交互にY成分とUV成分の更新を繰り返す。 In the example of FIG. 4, the image data is divided into a Y component and a UV component and transmitted alternately. In this case, the image transmission device 10 transfers the encoded data of the UV component UV n of the input image data to the network 30 at the nth frame, and the image reception device 20 is stored in the storage unit 23 (n−1). The Y component Y n-1 of the image data received in the frame and the UV component UV n of the image data received in the current frame are combined to reproduce the image. The Y component Y n + 1 of the input image data is transmitted to the (n + 1) th frame, and the composition unit 24 of the image receiving device 20 receives the UV component UV n of the nth frame image data and the image data received in the current frame. The Y component Y n + 1 is synthesized to reproduce the image. Thereafter, the update of the Y component and the UV component is repeated alternately in the same manner.

上記で説明した例に限らず、画像データのYU成分とYV成分を1フレームおきに送信するなど様々な色成分の分割方法と組み合わせが考えられる。YUV形式の信号は、YUV444に限らず、YUV422やYUV420、YUV411などのフォーマットを用いることでさらに情報量を削減することができる。画像取得部11にはRGB形式の画像も入力可能であるし、画像取得部11にYUV形式をRGB形式に変換する機能を持たせ、図5に示すように、R成分、G成分、B成分に分割して送信することもできる。   The present invention is not limited to the example described above, and various color component dividing methods and combinations such as transmitting YU components and YV components of image data every other frame are conceivable. The YUV format signal is not limited to YUV444, and the amount of information can be further reduced by using a format such as YUV422, YUV420, or YUV411. An RGB format image can be input to the image acquisition unit 11, and the image acquisition unit 11 has a function of converting the YUV format to the RGB format. As shown in FIG. 5, the R component, the G component, and the B component It is also possible to divide and transmit.

合成部24は、画像データを再生するとともに、再生後の画像データを表示装置50に出力する。   The combining unit 24 reproduces the image data and outputs the reproduced image data to the display device 50.

以上のように本実施の形態によれば、符号化部12が1フレーム内で符号化の対象とする画像データについて入力画像データにおける複数の色成分の一部(選択色成分の画像データ)に限定し、その選択色成分の画像データを符号化してデータ転送部13より画像受信装置20に転送するように構成してあるので、処理すべき画像データの情報量が削減されて符号化率が抑圧され、その結果、ネットワーク30の伝送容量が限られている場合でも、画像データを劣化の少ない状態で送信することができる。また、画像受信装置20では受信した現在の選択色成分の画像データと過去の選択色成分の画像データとを合成するように構成してあるので、元の入力画像データを劣化のない状態で再現することができる。   As described above, according to the present embodiment, the encoding unit 12 converts a part of the plurality of color components (image data of the selected color component) in the input image data for the image data to be encoded within one frame. Since the image data of the selected color component is encoded and transferred from the data transfer unit 13 to the image receiving device 20, the information amount of the image data to be processed is reduced and the coding rate is increased. As a result, even when the transmission capacity of the network 30 is limited, the image data can be transmitted with little deterioration. Further, since the image receiving device 20 is configured to synthesize the received image data of the currently selected color component and the image data of the past selected color component, the original input image data is reproduced without deterioration. can do.

(実施の形態2)
図6は本発明の実施の形態2の画像通信装置A2の全体構成を示すブロック図である。図6において、実施の形態1の図1におけるのと同じ符号は同一構成要素を指しているので、詳しい説明は省略する。本実施の形態においては、画像送信装置10に分割パターン設定部14が追加されている。この分割パターン設定部14はレジスタなどの変更可能な記憶手段を持ち、この記憶手段に入力画像のデータ形式、色成分分割パターンを設定しておく。ここで色成分分割パターンとは、画像データの送受信を例えば図2のような色成分分割パターンで行うか、図3のような色成分分割パターンで行うかという情報である。
(Embodiment 2)
FIG. 6 is a block diagram showing the overall configuration of the image communication apparatus A2 according to Embodiment 2 of the present invention. In FIG. 6, the same reference numerals as those in FIG. 1 of the first embodiment indicate the same components, and detailed description thereof will be omitted. In the present embodiment, a division pattern setting unit 14 is added to the image transmission apparatus 10. The division pattern setting unit 14 has changeable storage means such as a register, and sets the data format and color component division pattern of the input image in the storage means. Here, the color component division pattern is information indicating whether transmission / reception of image data is performed using, for example, the color component division pattern as shown in FIG. 2 or the color component division pattern as shown in FIG.

符号化部12は、分割パターン設定部14の設定に従って、画像取得部11から読み出す画像データについて色情報を構成する複数の色成分の一部を限定された符号化対象の色成分としてその都度に選択し、その選択色成分の画像データを符号化する。データ転送部13は、符号化された画像データに色成分分割パターン情報を付加してネットワーク30に送信する。   In accordance with the setting of the division pattern setting unit 14, the encoding unit 12 sets a part of a plurality of color components constituting the color information for the image data read from the image acquisition unit 11 as limited color components to be encoded each time. The image data of the selected color component is encoded. The data transfer unit 13 adds the color component division pattern information to the encoded image data and transmits it to the network 30.

画像受信装置20における合成部24は、画像データとともに送られてきた色成分分割パターン情報に従って、復号化部22で復号化され蓄積部23に蓄積された現在の選択色成分の画像データと、色成分を異にする状態ですでに蓄積されている過去の復号化された色成分の画像データとを読み出して合成し、画像を復元する。   The synthesizing unit 24 in the image receiving device 20 includes the image data of the currently selected color component decoded by the decoding unit 22 and stored in the storage unit 23 according to the color component division pattern information sent together with the image data, The image data of the past decoded color components that have already been stored in the state where the components are different from each other is read and combined to restore the image.

画像データの送信と再生の様子は実施の形態1と同様であるので、その説明を省略する。   Since the state of transmission and reproduction of image data is the same as in the first embodiment, description thereof is omitted.

以上のように本実施の形態によれば、分割パターン設定部14において、ネットワーク30の混雑状況の変化に応じて色成分分割パターンを設定することが可能であるので、ネットワーク30の混雑状況の変化にかかわらず、画像データを劣化の少ない状態で送信することができる。   As described above, according to the present embodiment, the division pattern setting unit 14 can set the color component division pattern in accordance with the change in the congestion status of the network 30, and therefore the change in the congestion status of the network 30 can be set. Regardless of this, the image data can be transmitted with little deterioration.

なお、データ転送部13にネットワーク30のトラフィック測定機能を持たせ、負荷状況に応じて色成分分割パターンを自動で変更するように構成することも可能である。このように構成した場合、ネットワーク30の負荷が軽いときには1フレーム内に画像データの色成分すべてを送信し、ネットワーク30が混雑しているときには一部の色成分を選択し、その選択色成分の画像データのみを送信するようにする。その結果として、ネットワーク30の輻輳状況に応じて画像データの容量を増減することができる。   Note that the data transfer unit 13 may be configured to have the traffic measurement function of the network 30 so that the color component division pattern is automatically changed according to the load status. In this configuration, when the load on the network 30 is light, all the color components of the image data are transmitted within one frame, and when the network 30 is congested, some color components are selected, and the selected color components Send only image data. As a result, the capacity of the image data can be increased or decreased according to the congestion status of the network 30.

(実施の形態3)
図7は本発明の実施の形態3の画像通信装置A3の全体構成を示すブロック図である。図7において、実施の形態1の図1におけるのと同じ符号は同一構成要素を指しているので、詳しい説明は省略する。本実施の形態においては、画像送信装置10に動き検出部15が追加されている。画像取得部11におけるメモリには1フレーム前の入力画像データを記憶しておき、動き検出部15で現在のフレームでの入力画像データと1フレーム前の入力画像データの差分から画像の動き量を検出する。動き検出部15の記憶部には、画像データの色成分分割パターン切り替えの閾値が設定記憶されるようになっている。符号化部12は、ROMなどの記憶手段にあらかじめ色成分分割パターンが設定記憶されるようになっている。
(Embodiment 3)
FIG. 7 is a block diagram showing the overall configuration of the image communication apparatus A3 according to Embodiment 3 of the present invention. In FIG. 7, the same reference numerals as those in FIG. 1 of the first embodiment indicate the same components, and detailed description thereof will be omitted. In the present embodiment, a motion detection unit 15 is added to the image transmission device 10. The memory in the image acquisition unit 11 stores the input image data of the previous frame, and the motion detection unit 15 calculates the motion amount of the image from the difference between the input image data of the current frame and the input image data of the previous frame. To detect. A threshold value for switching the color component division pattern of the image data is set and stored in the storage unit of the motion detection unit 15. In the encoding unit 12, a color component division pattern is set and stored in advance in storage means such as a ROM.

符号化部12は、動き検出部15が検出した画像の動き量が色成分分割パターン切り替えの閾値以下の場合には、実施の形態1の場合と同様に、あらかじめ設定した色成分分割パターンに従って、画像データの複数の色成分の一部を選択し、その選択色成分の画像データを符号化を行い、一方、検出した画像の動き量が色成分分割パターン切り替えの閾値よりも大きい場合には、画像データの色成分を分割せずに、1フレームにおいてすべての色成分の画像データを符号化する。データ転送部13では符号化された画像データに色成分分割パターン情報を付加してネットワーク30に送信する。   When the motion amount of the image detected by the motion detection unit 15 is equal to or smaller than the color component division pattern switching threshold, the encoding unit 12 follows the preset color component division pattern as in the first embodiment. When a part of the plurality of color components of the image data is selected and the image data of the selected color component is encoded. On the other hand, when the amount of motion of the detected image is larger than the color component division pattern switching threshold, The image data of all the color components are encoded in one frame without dividing the color components of the image data. The data transfer unit 13 adds the color component division pattern information to the encoded image data and transmits it to the network 30.

画像受信装置20における合成部24は、ネットワーク30から受信した符号化データが色成分分割されたものである場合は、実施の形態1の場合と同様に、あらかじめ設定しておいた色成分分割パターン情報に従って、復号化部22で復号化され蓄積部23に蓄積された現在の選択色成分の画像データと、色成分を異にする状態ですでに蓄積されている過去の復号化された色成分の画像データとを読み出して合成し、画像を復元する。一方、ネットワーク30から受信した符号化データが色成分分割されたものでなくすべての色成分を含むものである場合には、復号化部22からの復号化された画像データをそのまま表示装置50に出力する。   When the encoded data received from the network 30 is divided into color components, the synthesizing unit 24 in the image reception device 20 sets a color component division pattern set in advance as in the first embodiment. According to the information, the image data of the currently selected color component decoded by the decoding unit 22 and stored in the storage unit 23, and the past decoded color components already stored in a state where the color components are different. The image data is read out and combined to restore the image. On the other hand, when the encoded data received from the network 30 includes not all color components but all color components, the decoded image data from the decoding unit 22 is output to the display device 50 as it is. .

なお、画像送信装置10に実施の形態2と同様の分割パターン設定部をもたせ、2つの色成分分割パターンを設定しておき、色成分分割パターン切り替えの閾値によって2つの色成分分割パターンを切り替えるようにしてもよい。   Note that the image transmission device 10 has the same division pattern setting unit as that of the second embodiment, sets two color component division patterns, and switches between the two color component division patterns according to the color component division pattern switching threshold. It may be.

以上のように本実施の形態によれば、動き検出部15によって画像の動きの速さを検出し、画像の動き量が所定の閾値より大きいときは、色成分の選択をやめ、すべての色成分の画像データの符号化に切り替える。これは、画像の動きが速いときは、解像度が低いことに起因して画質劣化が生じても、視覚上はあまり問題とならないことを利用したものである。その結果として、画像処理の速度アップを図ることができる。   As described above, according to the present embodiment, the motion detection unit 15 detects the speed of image motion, and when the amount of image motion is greater than a predetermined threshold, the selection of color components is stopped and all colors are selected. Switch to component image data encoding. This is based on the fact that when the movement of the image is fast, even if the image quality is deteriorated due to the low resolution, there is not much visual problem. As a result, the image processing speed can be increased.

(実施の形態4)
図8は本発明の実施の形態4の画像通信装置A4の全体構成を示すブロック図である。図8において、実施の形態3の図7におけるのと同じ符号は同一構成要素を指しているので、詳しい説明は省略する。
(Embodiment 4)
FIG. 8 is a block diagram showing the overall configuration of the image communication apparatus A4 according to Embodiment 4 of the present invention. In FIG. 8, since the same reference numerals as those in FIG. 7 of the third embodiment indicate the same components, detailed description thereof will be omitted.

実施の形態3の場合において、合成部24は、あらかじめ設定しておいた色成分分割パターン情報に従って、復号化部22で復号化され蓄積部23に蓄積された現在の選択色成分の画像データと、色成分を異にする状態ですでに蓄積されている過去の復号化された色成分の画像データとを読み出して合成し、画像を復元する。このとき現フレームでの選択色成分の画像データと過去フレームでの選択色成分の画像データとは時間的に差異が生じているため、動きのある被写体では合成時に色ずれが生じるおそれがある。本実施の形態は、この色ずれを緩和するものである。   In the case of Embodiment 3, the synthesizing unit 24 performs image data of the currently selected color component decoded by the decoding unit 22 and stored in the storage unit 23 in accordance with color component division pattern information set in advance. Then, the image data of the past decoded color components that have already been stored in a state where the color components are different are read out and combined to restore the image. At this time, there is a temporal difference between the image data of the selected color component in the current frame and the image data of the selected color component in the past frame, so that there is a possibility that a color shift occurs at the time of composition in a moving subject. In the present embodiment, this color shift is alleviated.

本実施の形態においては、画像受信装置20に動き補償部25および平滑化部26が追加されている。   In the present embodiment, a motion compensation unit 25 and a smoothing unit 26 are added to the image reception device 20.

動き補償部25は、蓄積部23に蓄積されている過去のフレームの画像データに対して、画像データとともに送られてきた予測誤差と動きベクトルを用いて動き補償処理を行い、その動き補償後の画像データを平滑化部26に出力するように構成されている。ここで、上記の画像データとともに送られてきた予測誤差と動きベクトルについて説明すると、これらは画像送信装置10における動き検出部15で算出され、データ転送部13からネットワーク30に送出されたものである。   The motion compensation unit 25 performs motion compensation processing on the past frame image data stored in the storage unit 23 using the prediction error and the motion vector transmitted together with the image data, and the motion compensated The image data is output to the smoothing unit 26. Here, the prediction error and the motion vector transmitted together with the image data will be described. These are calculated by the motion detection unit 15 in the image transmission apparatus 10 and transmitted from the data transfer unit 13 to the network 30. .

平滑化部26は、移動平均法などの平滑化フィルタを用いて、画像データとともに送られてきた画像の動き量に応じて、画像データをぼかす処理を行うように構成されている。   The smoothing unit 26 is configured to perform a process of blurring the image data according to the amount of motion of the image sent together with the image data, using a smoothing filter such as a moving average method.

画像送信装置10の動き検出部15において、入力画像と1フレーム前の画像データから動きベクトルを検出し、1フレーム前の画像データと動きベクトルから予測画像を作成し、現在のフレームで送信を行わない色成分の予測画像と入力画像の差分である予測誤差と動きベクトルを動き量とともに画像データに付加して送信する。動きベクトルとは、入力画像をm×nブロックに区切り符号化しようとしているブロックに最も似ているブロックを予測画像の中から検出したとき、符号化対象のブロックから予測画像中の最も類似したブロックを示すベクトルである。図9に予測誤差と動きベクトルの模式図を示す。   The motion detection unit 15 of the image transmission apparatus 10 detects a motion vector from the input image and the image data of the previous frame, creates a predicted image from the image data of the previous frame and the motion vector, and transmits the current frame. A prediction error, which is a difference between a predicted image having no color component and an input image, and a motion vector are added to the image data together with the amount of motion and transmitted. A motion vector is a block that most closely resembles a prediction target image in a prediction image when a block most similar to a block to be encoded is detected from the prediction image by dividing the input image into m × n blocks. It is a vector which shows. FIG. 9 shows a schematic diagram of a prediction error and a motion vector.

データ転送部13は、符号化された画像データをネットワーク30に送信する際に、動き検出部15で算出された予測誤差と動きベクトル、画像の動き量を付加して送信する。   When transmitting the encoded image data to the network 30, the data transfer unit 13 adds the prediction error calculated by the motion detection unit 15, the motion vector, and the amount of motion of the image.

例えば図2のように画像データをY成分、U成分、V成分に分割して送信しているときについて説明する。   For example, the case where image data is divided into Y component, U component, and V component and transmitted as shown in FIG. 2 will be described.

nフレーム目の画像データのY成分Yn を送信する際には、nフレーム目の画像データのV成分Vn と(n−1)フレーム目の画像データのV成分Vn-1 から作成した予測誤差と動きベクトル、および、nフレーム目の画像データのU成分Un と(n−1)フレーム目のU成分の予測画像Un-1 ′((n−1)フレーム目の画像データのU成分Un-1 と(n−2)フレーム目の画像データのU成分Un-2 から作成した予測画像)から作成した予測誤差と動きベクトルを付加して送信する。 When sending Y component Y n of the image data of the n th frame, V components of the image data of the n th frame V n and (n-1) were prepared from the V component V n-1 of the image data of the frame th The prediction error and motion vector, and the U component U n of the nth frame image data and the (n−1) th frame U component predicted image U n−1 ′ ((n−1) frame image data sending by adding the prediction error and the motion vector created from the U component U n-1 and (n-2) of the image data of th frame predicted image produced from the U component U n-2).

これらの画像データを受信した画像受信装置20では、動き補償部25は、蓄積部23に蓄積している(n−1)フレーム目の画像データのV成分Vn-1 と(n−2)フレーム目の画像データのU成分Un-2 に対して、画像データとともに送られてきた予測誤差と動きベクトルを用いて動き補償処理を行う。 In the image receiving apparatus 20 that has received these image data, the motion compensation unit 25 includes the V component V n−1 and (n−2) of the (n−1) th frame image data stored in the storage unit 23. A motion compensation process is performed on the U component Un-2 of the image data of the frame using the prediction error and the motion vector transmitted together with the image data.

平滑化部26では、動き補償後の(n−1)フレーム目の画像データのV成分Vn-1 と(n−2)フレーム目の画像データのU成分Un-2 及び現フレームであるnフレーム目の画像データのY成分Yn を画像データとともに受信した動き量に応じて平滑化する。そして、合成部24では動き補償、平滑化後のnフレーム目の画像データのY成分Yn 、(n−1)フレーム目の画像データのV成分Vn-1 、(n−2)フレーム目の画像データのU成分Un-2 を合成して画像を再生する。 In the smoothing unit 26, the V component V n-1 of the image data of the (n-1) th frame after the motion compensation, the U component U n-2 of the image data of the (n-2) frame, and the current frame. The Y component Y n of the nth frame of image data is smoothed according to the amount of motion received together with the image data. The synthesizing unit 24 then performs the Y component Y n of the nth frame image data after motion compensation and smoothing, the V component V n−1 of the (n−1) th frame image data, and the (n−2) th frame. The U component U n-2 of the image data is synthesized to reproduce the image.

人間の目の視力は動きのある被写体に対しては低下する。そのため、過去フレームおよび現フレームの選択色成分の画像データをぼかした後、合成部24で合成すれば、各選択色成分の時間的差異による色ずれを緩和することが可能となる。   The visual acuity of the human eye is reduced for moving subjects. Therefore, if the image data of the selected color component of the past frame and the current frame is blurred and then synthesized by the synthesis unit 24, it is possible to alleviate the color shift due to the temporal difference of each selected color component.

なお、動き検出部15で入力画像データをm×nブロックに区切り、そのブロックごとに動き量を検出して画像データに付加して送信し、平滑化部26でm×nブロックごとに動き量に応じて平滑化を行うようにすれば、さらに自然な画像を再生できるようになる。ただし、ブロックのサイズが小さくなるにつれて情報量は増加するため、適当なサイズのブロック数を選択する必要がある。   The motion detection unit 15 divides the input image data into m × n blocks, detects the motion amount for each block, adds it to the image data, and transmits it. The smoothing unit 26 transmits the motion amount for each m × n block. If smoothing is performed according to the above, a more natural image can be reproduced. However, since the amount of information increases as the block size decreases, it is necessary to select an appropriate number of blocks.

また、ブロック毎に動き量に応じて平滑化を行うことで画像の一部分のみがぼけることを防ぐために、最も動き量が大きいブロックに合わせて画像全体を平滑化するようにしてもよい。また、動き量が大きい場合には色成分の彩度を落とし、色ずれを目立たなくするようにしてもよい。   Further, in order to prevent blurring of only a part of the image by performing smoothing according to the amount of motion for each block, the entire image may be smoothed according to the block having the largest amount of motion. Further, when the amount of movement is large, the saturation of the color component may be reduced to make the color shift inconspicuous.

なお、画像送信装置10に分割パターン設定部をもたせ、設定した色成分分割パターンに従って符号化を行い、データ転送部13から画像データ、動き量とともに色成分分割パターン情報を送付するようにしてもよい。   Note that the image transmission apparatus 10 may have a division pattern setting unit, perform encoding according to the set color component division pattern, and send the color component division pattern information together with the image data and the motion amount from the data transfer unit 13. .

本発明の技術は、ネットワークなどの伝送容量が限られたデータ通信回線を介して動画像を送受信するシステムにおいて、画像データを劣化の少ない状態で送信する画像送信装置、また、元の入力画像データを劣化のない状態で再現する画像受信装置として有用である。   The technology of the present invention is an image transmitting apparatus that transmits image data in a state with little deterioration in a system that transmits and receives moving images via a data communication line with a limited transmission capacity such as a network, and the original input image data. It is useful as an image receiving apparatus that reproduces the image without deterioration.

本発明の実施の形態1における画像通信装置の全体構成を示すブロック図1 is a block diagram showing an overall configuration of an image communication apparatus according to Embodiment 1 of the present invention. 実施の形態1において画像データをY成分、U成分、V成分に分割し、Y・U・Vの順番で送受信を行っている様子を表す図The figure showing a mode that image data is divided into a Y component, a U component, and a V component in Embodiment 1, and transmission and reception are performed in the order of Y, U, and V 実施の形態1において画像データをY成分、U成分、V成分に分割し、Y・U・Y・Vの順番で送受信を行っている様子を表す図The figure showing a mode that image data is divided into a Y component, a U component, and a V component in Embodiment 1, and transmission and reception are performed in the order of Y, U, Y, and V 実施の形態1において画像データをY成分、UV成分に分割し、Y・UVの順番で送受信を行っている様子を表す図The figure showing a mode that image data is divided into a Y component and a UV component in Embodiment 1, and transmission and reception are performed in the order of Y and UV. 実施の形態1において画像データをR成分、G成分、B成分に分割し、R・G・Bの順番で送受信を行っている様子を表す図The figure showing a mode that image data is divided into R component, G component, and B component in Embodiment 1, and is transmitted and received in the order of R, G, and B 本発明の実施の形態2における画像通信装置の全体構成を示すブロック図FIG. 2 is a block diagram showing an overall configuration of an image communication apparatus according to Embodiment 2 of the present invention. 本発明の実施の形態3における画像通信装置の全体構成を示すブロック図FIG. 3 is a block diagram showing an overall configuration of an image communication apparatus according to Embodiment 3 of the present invention. 本発明の実施の形態4における画像通信装置の全体構成を示すブロック図FIG. 9 is a block diagram showing the overall configuration of an image communication apparatus according to Embodiment 4 of the present invention. 実施の形態4において動きベクトルと予測誤差を表す図The figure showing a motion vector and a prediction error in Embodiment 4

符号の説明Explanation of symbols

A1〜A4 画像通信装置
10 画像送信装置
11 画像取得部
12 符号化部
13 データ転送部
14 分割パターン設定部
15 動き検出部
20 画像受信装置
21 データ受信部
22 復号化部
23 蓄積部
24 合成部
25 動き補償部
26 平滑化部
30 ネットワーク
40 撮像装置
50 表示装置
A1 to A4 Image communication device 10 Image transmission device 11 Image acquisition unit 12 Encoding unit 13 Data transfer unit 14 Division pattern setting unit 15 Motion detection unit 20 Image reception device 21 Data reception unit 22 Decoding unit 23 Accumulation unit 24 Synthesis unit 25 Motion compensation unit 26 Smoothing unit 30 Network 40 Imaging device 50 Display device

Claims (8)

外部からの入力画像データを取得する画像取得部と、
前記画像取得部で取得した画像データの色情報を構成する複数の色成分の一部を限定された符号化対象の色成分としてその都度に選択し、その選択色成分の画像データを所定の方式で符号化するとともに、前記選択色成分をサイクリックに入れ替える符号化部と、
前記符号化部で符号化された選択色成分の画像データをデータ通信回線に転送するデータ転送部とを備えた画像送信装置。
An image acquisition unit for acquiring input image data from the outside;
A part of a plurality of color components constituting the color information of the image data acquired by the image acquisition unit is selected as a limited encoding target color component each time, and the image data of the selected color component is selected in a predetermined method And an encoding unit that cyclically replaces the selected color component;
An image transmission apparatus comprising: a data transfer unit that transfers image data of a selected color component encoded by the encoding unit to a data communication line.
サイクリックに入れ替えられて符号化された選択色成分の画像データをデータ通信回線を介して受信するデータ受信部と、
前記データ受信部で受信された選択色成分の画像データを復号化する復号化部と、
前記復号化部で復号化された選択色成分の画像データを蓄積する蓄積部と、
前記復号化部で復号化された選択色成分の画像データと、色成分を異にする状態ですでに前記蓄積部に蓄積されている復号化された選択色成分の画像データとを合成して画像を再生する合成部とを備えた画像受信装置。
A data receiving unit that receives image data of a selected color component that is cyclically replaced and encoded via a data communication line;
A decoding unit for decoding the image data of the selected color component received by the data receiving unit;
An accumulation unit for accumulating image data of the selected color component decoded by the decoding unit;
The selected color component image data decoded by the decoding unit is combined with the decoded selected color component image data already stored in the storage unit in a different color component state. An image receiving apparatus comprising: a combining unit that reproduces an image.
前記符号化部は、前記画像取得部で取得する画像データにおける選択色成分をY成分、U成分、Y成分、V成分、Y成分、U成分のようにフレーム毎に入れ替えて繰り返し符号化する請求項1に記載の画像送信装置。   The encoding unit replaces the selected color component in the image data acquired by the image acquisition unit for each frame, such as a Y component, a U component, a Y component, a V component, a Y component, and a U component, and repeatedly encodes the selected color component. Item 8. The image transmission device according to Item 1. 前記符号化部は、前記画像取得部で取得する画像データにおける選択色成分をY成分、UV成分、Y成分、UV成分のようにフレーム毎に入れ替えて繰り返し符号化する請求項1に記載の画像送信装置。   2. The image according to claim 1, wherein the encoding unit repeatedly encodes the selected color component in the image data acquired by the image acquisition unit by replacing the selected color component for each frame such as a Y component, a UV component, a Y component, and a UV component. Transmitter device. さらに、色成分分割パターンを変更可能な分割パターン設定部を備え、
前記符号化部は、前記分割パターン設定部で設定した色成分分割パターンに則って前記画像取得部で取得した画像データの色成分を選択し、選択色成分をフレーム毎に入れ替えながら選択色成分の画像データを符号化し、前記符号化された選択色成分の画像データに前記分割パターン設定部による色成分分割パターン情報を付加して前記データ転送部より転送する請求項1に記載の画像送信装置。
Furthermore, a division pattern setting unit capable of changing the color component division pattern is provided,
The encoding unit selects a color component of the image data acquired by the image acquisition unit according to the color component division pattern set by the division pattern setting unit, and replaces the selected color component for each frame. The image transmission apparatus according to claim 1, wherein image data is encoded, color component division pattern information by the division pattern setting unit is added to the encoded image data of the selected color component, and is transferred from the data transfer unit.
さらに、前記画像取得部で取得した画像データから再生される画像の動き量を検出する動き検出部を備え、
前記符号化部は、前記動き検出部で検出した画像の動き量が所定の閾値よりも大きくなった場合には、画像データの色成分の選択に代えて画像データのすべての色成分の画像データを符号化する請求項1に記載の画像送信装置。
And a motion detection unit that detects a motion amount of an image reproduced from the image data acquired by the image acquisition unit,
When the amount of motion of the image detected by the motion detection unit is greater than a predetermined threshold, the encoding unit replaces the selection of the color component of the image data with the image data of all the color components of the image data The image transmitting apparatus according to claim 1, wherein the image is encoded.
さらに、前記画像取得部で取得した画像データから再生される画像の動き量を検出する動き検出部を備え、
前記符号化部は、選択色成分の画像データを符号化したデータと、前記動き検出部による前記符号化を行った色成分とは異なる色成分の動き量の情報とを前記データ転送部により転送し、フレーム毎に符号化する色成分を入れ替える請求項1に記載の画像送信装置。
And a motion detection unit that detects a motion amount of an image reproduced from the image data acquired by the image acquisition unit,
The encoding unit transfers, by the data transfer unit, data obtained by encoding the image data of the selected color component and information on the amount of motion of a color component different from the color component subjected to the encoding by the motion detection unit. The image transmission device according to claim 1, wherein color components to be encoded are replaced for each frame.
選択色成分の画像データを符号化したデータと前記符号化を行った色成分とは異なる色成分の動き量を受信するデータ受信部と、
前記データ受信部で受信された選択色成分の画像データを復号化する復号化部と、
前記復号化部で復号化された選択色成分の画像データを蓄積する蓄積部と、
前記蓄積部に蓄積されている過去の画像データに対して、送られてきた画像の動き量を用いて動き補償処理を行う動き補償部と、
前記蓄積部に蓄積されている過去の画像データおよび前記復号化部による復号化データを、前記画像の動き量に応じて所定のアルゴリズムで平滑化する平滑化部と、
前記平滑化部で平滑化された現在の選択色成分の復号化データと選択色成分の動き補償後のデータとを合成して画像を再生する合成部とを備えた画像受信装置。
A data reception unit that receives the amount of motion of a color component different from the data obtained by encoding the image data of the selected color component and the encoded color component;
A decoding unit for decoding the image data of the selected color component received by the data receiving unit;
An accumulation unit for accumulating image data of the selected color component decoded by the decoding unit;
A motion compensation unit that performs a motion compensation process on the past image data stored in the storage unit using a motion amount of the transmitted image;
A smoothing unit that smoothes past image data stored in the storage unit and decoded data by the decoding unit with a predetermined algorithm according to a motion amount of the image;
An image receiving apparatus comprising: a combining unit that combines the decoded data of the current selected color component smoothed by the smoothing unit and the motion-compensated data of the selected color component to reproduce an image.
JP2008142391A 2008-05-30 2008-05-30 Image transmitting apparatus and image receiving apparatus Withdrawn JP2009290662A (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008142391A JP2009290662A (en) 2008-05-30 2008-05-30 Image transmitting apparatus and image receiving apparatus
PCT/JP2009/002196 WO2009144886A1 (en) 2008-05-30 2009-05-19 Image transmission device and image reception device
CN2009801198854A CN102047664A (en) 2008-05-30 2009-05-19 Image transmission device and image reception device
US12/948,486 US20110064276A1 (en) 2008-05-30 2010-11-17 Image transmission device and image reception device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008142391A JP2009290662A (en) 2008-05-30 2008-05-30 Image transmitting apparatus and image receiving apparatus

Publications (1)

Publication Number Publication Date
JP2009290662A true JP2009290662A (en) 2009-12-10

Family

ID=41376776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008142391A Withdrawn JP2009290662A (en) 2008-05-30 2008-05-30 Image transmitting apparatus and image receiving apparatus

Country Status (4)

Country Link
US (1) US20110064276A1 (en)
JP (1) JP2009290662A (en)
CN (1) CN102047664A (en)
WO (1) WO2009144886A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8798171B2 (en) * 2010-06-28 2014-08-05 Richwave Technology Corp. Video transmission by decoupling color components
US9064345B2 (en) * 2013-03-14 2015-06-23 Dreamworks Animation Llc Compressing data representing computer animated hair
US9558408B2 (en) * 2013-10-15 2017-01-31 Ford Global Technologies, Llc Traffic signal prediction
US9967567B2 (en) * 2014-11-03 2018-05-08 Screenovate Technologies Ltd. Method and system for enhancing image quality of compressed video stream
CN106157333B (en) * 2015-04-14 2019-11-01 北京智谷睿拓技术服务有限公司 Information processing method and equipment

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2103455A (en) * 1981-07-22 1983-02-16 Post Office Method of transmitting an image and apparatus for carrying out the method
JPH0282790A (en) * 1988-09-19 1990-03-23 Sony Corp Rate converting device
JPH04337996A (en) * 1991-05-15 1992-11-25 Toshiba Corp Video signal compressor
JP3227813B2 (en) * 1992-07-28 2001-11-12 ソニー株式会社 Digital image transmission device, digital image transmission method, digital image transmission system, and digital image transmission / reception method
JP3750128B2 (en) * 1997-12-09 2006-03-01 ソニー株式会社 Image decoding apparatus and image decoding method, and image processing apparatus and image processing method
US7760804B2 (en) * 2004-06-21 2010-07-20 Intel Corporation Efficient use of a render cache

Also Published As

Publication number Publication date
CN102047664A (en) 2011-05-04
US20110064276A1 (en) 2011-03-17
WO2009144886A1 (en) 2009-12-03

Similar Documents

Publication Publication Date Title
RU2665308C2 (en) Image processing apparatus and image processing method
JP4991699B2 (en) Scalable encoding and decoding methods for video signals
JP6094688B2 (en) Image processing apparatus and image processing method
WO2012165040A1 (en) Image processing device and image processing method
JP6921873B2 (en) Substream multiplexing for display stream compression
HUE030180T2 (en) Image processing device and image processing method
JP2014171097A (en) Encoder, encoding method, decoder, and decoding method
JPWO2009078150A1 (en) Moving picture coding apparatus, method, program, and integrated circuit
JPS61118085A (en) Coding system and device for picture signal
JP2009290662A (en) Image transmitting apparatus and image receiving apparatus
TW201332365A (en) Image processing device and image processing method
US20060159181A1 (en) Method for encoding and decoding video signal
US20060120454A1 (en) Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer
US20110299605A1 (en) Method and apparatus for video resolution adaptation
US20080008241A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
JP4592562B2 (en) Image decoding device
US20070242747A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20070280354A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20070223573A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20060133497A1 (en) Method and apparatus for encoding/decoding video signal using motion vectors of pictures at different temporal decomposition level
KR101774237B1 (en) Method for coding image using adaptive coding structure selection and system for coding image using the method
JP6332039B2 (en) Screen encoding device, screen decoding device, screen encoding transmission system
JP2010288182A (en) Moving image decoding method, moving image decoding apparatus, and moving image decoding program
JP7084808B2 (en) Encoding device, decoding device, and program
JP2008244667A (en) Image transmission device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110523

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20130312