JP2007311928A - Transmission method, transmission system, transmission method, transmitter, receiving method, and receiver - Google Patents

Transmission method, transmission system, transmission method, transmitter, receiving method, and receiver Download PDF

Info

Publication number
JP2007311928A
JP2007311928A JP2006136917A JP2006136917A JP2007311928A JP 2007311928 A JP2007311928 A JP 2007311928A JP 2006136917 A JP2006136917 A JP 2006136917A JP 2006136917 A JP2006136917 A JP 2006136917A JP 2007311928 A JP2007311928 A JP 2007311928A
Authority
JP
Japan
Prior art keywords
data
bits
transmission
video data
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006136917A
Other languages
Japanese (ja)
Other versions
JP5162845B2 (en
Inventor
Kazuyoshi Suzuki
和良 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2006136917A priority Critical patent/JP5162845B2/en
Application filed by Sony Corp filed Critical Sony Corp
Priority to PCT/JP2007/060009 priority patent/WO2007132877A1/en
Priority to EP07743444.7A priority patent/EP2023632B1/en
Priority to CN2007800007140A priority patent/CN101331771B/en
Priority to KR1020077027277A priority patent/KR101366912B1/en
Priority to RU2008101699/09A priority patent/RU2372741C2/en
Priority to US11/919,883 priority patent/US8253859B2/en
Publication of JP2007311928A publication Critical patent/JP2007311928A/en
Priority to US13/544,429 priority patent/US8854543B2/en
Application granted granted Critical
Publication of JP5162845B2 publication Critical patent/JP5162845B2/en
Priority to US14/149,054 priority patent/US8817182B2/en
Priority to US14/297,157 priority patent/US8982278B2/en
Priority to US14/332,067 priority patent/US8982279B2/en
Priority to US14/332,142 priority patent/US9065963B2/en
Priority to US14/702,053 priority patent/US9544535B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

<P>PROBLEM TO BE SOLVED: To make it possible to more efficiently transmit data by utilizing a standard such as the HDMI standard wherein the number of transmittable bits is fixedly determined. <P>SOLUTION: In the case that a source side apparatus transmits video data in the unit of 8 bits to a sink side apparatus through the use of a transmission system by using individual transmission lines by each color data or by each of luminance and color difference signals synchronously with a pixel clock, a prescribed number of bits not being an integer multiple of 8 bits is selected for video data of one pixel transmitted from the source side apparatus to the sink side apparatus, the video data in the prescribed number of bits not being an integer multiple of 8 bits are transmitted in a timing synchronously with the pixel clock, other data than the video data in the prescribed number of bits are arranged to a margin transmission period caused by the number of bits being a difference between the prescribed number of bits and the number of bits transmitted for a period of the pixel clock assigned for transmission of one pixel and the source side apparatus transmits the resulting data to the sink side apparatus. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、HDMI(High-Definition Multimedia Interface)規格と称されるデジタル映像・音声入出力インターフェース規格に適用して好適な伝送方法及び伝送システム、並びにこの伝送システムに適用される送信方法、送信装置、受信方法及び受信装置に関する。   The present invention relates to a transmission method and transmission system suitable for application to a digital video / audio input / output interface standard called HDMI (High-Definition Multimedia Interface) standard, and a transmission method and a transmission device applied to this transmission system. The present invention relates to a receiving method and a receiving apparatus.

近年、複数台の映像機器の間で、非圧縮のデジタル映像データなどを伝送させるインターフェース規格として、HDMI規格と称されるものが開発されている。HDMI規格は、映像データを、各色の原色データとして、1画素単位で個別に伝送する規格である(以下画素をピクセルと称する)。音声データ(オーディオデータ)についても、映像データのブランキング期間に、映像データの伝送ラインを使用して伝送するようにしてある。伝送する原色データは、赤,緑,青の加法混色の3チャンネルの原色データ(Rデータ,Gデータ,Bデータ)を伝送する場合、もしくはY,Cb,Crといった輝度および色差信号による場合などがある。   In recent years, what is called an HDMI standard has been developed as an interface standard for transmitting uncompressed digital video data and the like between a plurality of video devices. The HDMI standard is a standard for individually transmitting video data as primary color data of each color in units of pixels (hereinafter, pixels are referred to as pixels). Audio data (audio data) is also transmitted using a video data transmission line during the blanking period of the video data. The primary color data to be transmitted may be the case of transmitting three-channel primary color data (R data, G data, B data) of additive color mixture of red, green, and blue, or the case of luminance and color difference signals such as Y, Cb, and Cr. is there.

各色の1ピクセルのデータは、基本的に8ビットで構成される。水平同期信号や垂直同期信号などの同期信号についても、それぞれの同期信号が配置されるタイミングに送信される。また、映像データのピクセルクロックの伝送ラインと、制御データの伝送ラインについても設けてある。   One pixel data of each color is basically composed of 8 bits. Synchronization signals such as a horizontal synchronization signal and a vertical synchronization signal are also transmitted at the timing at which each synchronization signal is arranged. Also, a pixel clock transmission line for video data and a control data transmission line are provided.

図8は、HDMI規格のインターフェースで、原色データ(Rデータ,Gデータ,Bデータ)を伝送する場合の例の概要を示した図である。映像データについては、チャンネル0とチャンネル1とチャンネル2との3つのチャンネルで、BデータとGデータとRデータとを個別に伝送するようにしてある。図8の例では、ピクセル0、ピクセル1、ピクセル2、ピクセル3の4画素のデータを送る期間を示してあり、それぞれのチャンネルの1ピクセルのデータが8ビットで構成されている。   FIG. 8 is a diagram showing an outline of an example in which primary color data (R data, G data, and B data) is transmitted through an interface of the HDMI standard. As for video data, B data, G data, and R data are individually transmitted through three channels of channel 0, channel 1, and channel 2. In the example of FIG. 8, a period for transmitting data of four pixels of pixel 0, pixel 1, pixel 2, and pixel 3 is shown, and data of one pixel of each channel is composed of 8 bits.

即ち、Bデータ(青データ)については、チャンネル0を使用して、ピクセル0の期間に、8ビットのB0データが送られ、以下、8ビットのB1データ、B2データ、B3データがピクセルクロック(図示せず)に同期して順に送られる。Gデータ(緑データ)については、チャンネル1を使用して、ピクセル0の期間に、8ビットのG0データが送られ、以下、8ビットのG1データ、G1データ、G2データ、G3データがピクセルクロックに同期して順に送られる。Rデータ(赤データ)については、チャンネル2を使用して、ピクセル0の期間に、8ビットのR0データが送られ、以下、8ビットのR1データ、R2データ、R3データがピクセルクロックに同期して順に送られる。   That is, for B data (blue data), 8-bit B0 data is sent during the period of pixel 0 using channel 0. Hereinafter, 8-bit B1 data, B2 data, and B3 data are transmitted from the pixel clock ( (Not shown) and sent sequentially. For G data (green data), 8-bit G0 data is sent during the period of pixel 0 using channel 1, and hereinafter, 8-bit G1 data, G1 data, G2 data, and G3 data are pixel clocks. Sent sequentially in sync with. For R data (red data), 8-bit R0 data is sent during the period of pixel 0 using channel 2, and hereinafter, 8-bit R1 data, R2 data, and R3 data are synchronized with the pixel clock. Sent in order.

図8では示していないが、別のチャンネルを使用して、制御データやピクセルクロックを伝送するようにしてある。制御データについては、映像データの送信側機器(ソース側機器)から受信側機器(シンク側機器)への伝送だけでなく、受信側機器(シンク側機器)から送信側機器(ソース側機器)への伝送も行える構成としてある。また、ソース側機器では、8ビット単位でデータを暗号化してあり、シンク側機器では、8ビット単位でデータをその暗号化からの復号化を行うようにしてある。   Although not shown in FIG. 8, control data and a pixel clock are transmitted using another channel. For control data, not only transmission of video data from the sending device (source device) to the receiving device (sink device), but also from the receiving device (sink device) to the sending device (source device) Can be transmitted. The source device encrypts data in 8-bit units, and the sink-side device decrypts data from the encryption in 8-bit units.

このように、HDMI規格のインターフェースでは、1ピクセルを、1色あたり8ビットで送ることを前提として規格化されたものである。一方、近年、色の解像度を高めることが検討されており、1ピクセルの1色あたりのビット数を、8ビット以上とすることが提案されている。例えば、1ピクセルの1色あたりのビット数を、10ビット又は12ビットとすることが提案されている。   As described above, the interface of the HDMI standard is standardized on the assumption that one pixel is transmitted at 8 bits per color. On the other hand, in recent years, it has been studied to increase the color resolution, and it has been proposed that the number of bits per color per pixel is 8 bits or more. For example, it has been proposed that the number of bits per color per pixel is 10 bits or 12 bits.

図9は、HDMI規格のインターフェースで、1ピクセルの1色あたり10ビットのデータを伝送することを想定した、伝送状態の例である。HDMI規格は既に説明したように、8ビットを1単位でデータを伝送することを想定した規格であり、1ピクセルクロックで、8ビット伝送する構成としてあり、10ビットのデータを伝送するためには、2ピクセルクロックが必要である。図9の例では、3ピクセルクロックで、2ピクセルのデータを伝送するデータ配置としてある。図9に示したフェーズ0,1,2が、それぞれ1ピクセルクロックの1周期を示している。   FIG. 9 is an example of a transmission state on the assumption that 10-bit data per color per pixel is transmitted using an HDMI standard interface. As described above, the HDMI standard is a standard that assumes that data is transmitted in units of 8 bits, and is configured to transmit 8 bits with 1 pixel clock. In order to transmit 10 bits of data, Two pixel clocks are required. In the example of FIG. 9, the data arrangement is such that 2-pixel data is transmitted with a 3-pixel clock. Phases 0, 1, and 2 shown in FIG. 9 each indicate one period of one pixel clock.

図9のデータ構成について説明すると、例えばBデータについては、チャンネル0のフェーズ0の期間で、ピクセル0の10ビットの内の8ビットを送り、フェーズ1の期間で、ピクセル0の残りの2ビットを送り、続いた2ビット期間に、無効なデータであるダミーデータを送る。そして、フェーズ1の期間の後半の4ビット期間で、次のピクセル1の10ビットの内の4ビットを送る。次のフェーズ2の期間で、ピクセル1の残りの6ビットを送り、続いた2ビット期間に、無効なデータであるダミーデータを送る。以下、この配置が繰り返される。チャンネル1のGデータ、チャンネル2のRデータについても、同じデータ配置でピクセルデータ及びダミーデータを送る。ダミーデータが配置される期間は一例であり、別の期間に配置してもよい。なお、この図9に示すデータ配置の場合には、1つのピクセルの伝送に、1.5ピクセルクロック期間が必要であるので、ピクセルクロックについても対応して高周波数化する必要がある。   The data structure of FIG. 9 will be described. For example, for B data, 8 bits of 10 bits of pixel 0 are transmitted during the phase 0 period of channel 0, and the remaining 2 bits of pixel 0 are transmitted during the phase 1 period. And dummy data which is invalid data is sent in the subsequent 2-bit period. Then, 4 bits of 10 bits of the next pixel 1 are sent in the latter 4 bit period of the phase 1 period. In the next phase 2 period, the remaining 6 bits of pixel 1 are sent, and in the subsequent 2 bit period, dummy data which is invalid data is sent. Hereinafter, this arrangement is repeated. Pixel data and dummy data are sent in the same data arrangement for the G data of channel 1 and the R data of channel 2. The period in which the dummy data is arranged is an example, and may be arranged in another period. In the case of the data arrangement shown in FIG. 9, since 1.5 pixel clock periods are required for transmission of one pixel, it is necessary to increase the frequency of the pixel clock accordingly.

この図9に示すデータ構成としてあることで、8ビットを1単位でデータを伝送することを想定したHDMI規格のインターフェースを利用して、比較的効率良くビット数の多いピクセルデータを送ることができる。   With the data configuration shown in FIG. 9, it is possible to send pixel data with a large number of bits relatively efficiently using an HDMI standard interface assuming that data is transmitted in units of 8 bits. .

特許文献1には、HDMI規格の詳細についての記載がある。
WO2002/078336号公報
Patent Document 1 describes details of the HDMI standard.
WO2002 / 078336

ところで、HDMI規格などのこの種のインターフェースを利用して、より高度なデータ伝送ができるようにすることについての要請がある。即ち、HDMI規格は、映像データと、それに付随する音声データを、ソース側の映像機器とシンク側の映像機器との間で伝送するものであり、映像データや音声データを伝送する伝送ラインとは別に、制御データを伝送する伝送ラインも用意され、その制御データ用のラインを使用して制御データの伝送も可能である。しかしながら、さらに別のデータを同時に伝送できるようにすることが要請されている。   By the way, there is a demand for more advanced data transmission using this type of interface such as the HDMI standard. That is, the HDMI standard transmits video data and accompanying audio data between a source-side video device and a sink-side video device. What is a transmission line for transmitting video data and audio data? In addition, a transmission line for transmitting control data is also prepared, and control data can be transmitted using the control data line. However, there is a demand for enabling further data to be transmitted simultaneously.

本発明はかかる点に鑑みてなされたものであり、HDMI規格などの伝送できるビット数が固定的に決められた規格を利用して、より効率良くデータ伝送ができるようにすることを目的とする。   The present invention has been made in view of the above points, and an object thereof is to enable more efficient data transmission using a standard in which the number of bits that can be transmitted, such as the HDMI standard, is fixedly determined. .

本発明は、8ビット単位の映像データを、画素クロックに同期して、色データ毎もしくは輝度および色差信号毎に、個別の伝送ラインを使用して、ソース側装置からシンク側装置に伝送する伝送方式を利用して映像データを伝送する場合に、ソース側装置からシンク側装置に伝送する1画素の映像データとして、8ビットの整数倍でない所定ビット数とし、8ビットの整数倍でない所定ビット数の映像データを、画素クロックに同期したタイミングで伝送し、1画素の伝送に割当てた画素クロックの期間に伝送されるビット数と所定ビット数との差のビット数だけ生じる余裕の伝送期間に、所定ビット数の映像データとは別のデータを配置して、ソース側装置からシンク側装置に伝送するようにしたものである。   The present invention is a transmission in which 8-bit video data is transmitted from a source device to a sink device using a separate transmission line for each color data or for each luminance and color difference signal in synchronization with a pixel clock. When video data is transmitted using a method, the predetermined number of bits that are not an integral multiple of 8 bits and the predetermined number of bits that is not an integral multiple of 8 bits are used as one-pixel video data transmitted from the source device to the sink device. The video data is transmitted at a timing synchronized with the pixel clock, and in a margin transmission period that occurs by the number of bits that is the difference between the number of bits transmitted in the period of the pixel clock allocated to the transmission of one pixel and the predetermined number of bits, Data different from video data having a predetermined number of bits is arranged and transmitted from the source side device to the sink side device.

このようにしたことで、1画素の伝送に割当てた画素クロックの期間に伝送されるビット数と所定ビット数との差のビット数だけ生じる余裕の伝送期間を利用して、メインの映像データとは別の各種データを伝送できるようになる。   In this way, the main video data and the main video data can be transmitted by using a margin transmission period generated by the number of bits that is the difference between the number of bits transmitted during the period of the pixel clock assigned to the transmission of one pixel and the predetermined number of bits. Will be able to transmit other various data.

本発明によると、1画素の伝送に割当てた画素クロックの期間に伝送されるビット数と所定ビット数との差のビット数だけ生じる余裕の伝送期間を利用して、メインの映像データとは別の各種データを伝送できるようになり、8ビットを越える多ビット数の画素データの伝送と、メインの映像データとは別の各種データの伝送とが、両立して行えるようになり、伝送効率が向上する。また、伝送規格で定められた8ビットの伝送単位を維持した伝送形態であり、8ビット単位での暗号化や復号化が、規格で定められた状態で行える。   According to the present invention, the main video data is separated from the main video data by using a margin transmission period generated by a difference between the number of bits transmitted in the period of the pixel clock assigned to the transmission of one pixel and the predetermined number of bits. This makes it possible to transmit both multi-bit pixel data exceeding 8 bits and various data other than the main video data, thereby improving transmission efficiency. improves. Further, this is a transmission mode in which an 8-bit transmission unit defined in the transmission standard is maintained, and encryption and decryption in an 8-bit unit can be performed in a state defined by the standard.

以下、本発明の一実施の形態を、図1〜図7を参照して説明する。   Hereinafter, an embodiment of the present invention will be described with reference to FIGS.

本例においては、HDMI規格でソース側機器からシンク側機器に映像データなどを伝送する伝送システムに適用したものである。図1は、本例のシステム構成例を示した図で、ソース側機器であるビデオ記録再生装置10と、シンク側機器であるテレビジョン受像機30とを、HDMIケーブル1で接続して、ビデオ記録再生装置10から映像データや音声データを、テレビジョン受像機30に伝送する構成としてある。以下の説明で、HDMI規格について、必要な構成などを順に説明するが、基本的には既存のHDMI規格をそのまま適用してあり、HDMIケーブル1の構成などは従来と同じである。   In this example, the present invention is applied to a transmission system that transmits video data or the like from a source device to a sink device according to the HDMI standard. FIG. 1 is a diagram showing an example of the system configuration of this example. A video recording / reproducing apparatus 10 that is a source side device and a television receiver 30 that is a sink side device are connected by an HDMI cable 1 and video. Video data and audio data are transmitted from the recording / reproducing apparatus 10 to the television receiver 30. In the following description, the necessary configuration and the like of the HDMI standard will be described in order, but the existing HDMI standard is basically applied as it is, and the configuration of the HDMI cable 1 is the same as the conventional one.

まず、ビデオ記録再生装置10について説明すると、ビデオ記録再生装置10は記録再生部11を備え、映像データや音声データを記録し再生することができる。記録再生部11としては、例えばハードディスクドライブ(HDD)装置を使用できる。記録再生部11で再生して得た映像データは、映像処理部12に供給し、再生して得た音声データは、音声処理部14に供給する。また、チューナ16を備え、そのチューナ16で受信して得た映像データ及び音声データを、映像処理部12及び音声処理部14に供給する。   First, the video recording / reproducing apparatus 10 will be described. The video recording / reproducing apparatus 10 includes a recording / reproducing unit 11 and can record and reproduce video data and audio data. As the recording / reproducing unit 11, for example, a hard disk drive (HDD) device can be used. Video data obtained by reproduction by the recording / reproducing unit 11 is supplied to the video processing unit 12, and audio data obtained by reproduction is supplied to the audio processing unit 14. Also, a tuner 16 is provided, and video data and audio data received by the tuner 16 are supplied to the video processing unit 12 and the audio processing unit 14.

映像処理部12では、再生又は受信して得た映像データを、伝送用の映像データとする処理が行われる。ここで、本例の映像処理部12では、2系統の映像データを同時に処理できる構成としてあり、主画像用の映像データと副画像用の映像データを生成させることができる。主画像用の映像データについては、例えば1ピクセルが1色あたり10ビットのデータとするようにしてあり、副画像用の映像データについては、例えば1ピクセルが1色あたり2ビットのデータとするようにしてある。   The video processing unit 12 performs processing for converting video data obtained by reproduction or reception into video data for transmission. Here, the video processing unit 12 of the present example has a configuration capable of simultaneously processing two systems of video data, and can generate video data for main images and video data for sub-images. For the video data for the main image, for example, one pixel is data of 10 bits per color, and for the video data for the sub image, for example, one pixel is data of 2 bits per color. It is.

音声処理部14は、再生又は受信して得た音声データを、伝送用の音声データとする処理が行われる。ここで、本例の音声処理部14では、供給される音声データを、2チャンネルオーディオ再生用の一般的なデータ構成の音声データの他に、5.1チャンネルなどのマルチチャンネル再生を行う音声データとする処理が可能としてある。2チャンネル再生用の音声データと、マルチチャンネル再生用の音声データとは、同時に出力することが可能な構成としてある。マルチチャンネル再生用の音声データについては、ビット圧縮された音声データとしてもよい。   The audio processing unit 14 performs processing for converting audio data obtained by reproduction or reception into audio data for transmission. Here, in the audio processing unit 14 of the present example, the supplied audio data is audio data that performs multi-channel reproduction such as 5.1 channel in addition to audio data having a general data configuration for 2-channel audio reproduction. Is possible. The audio data for 2-channel playback and the audio data for multi-channel playback are configured to be output simultaneously. The audio data for multi-channel reproduction may be bit-compressed audio data.

映像処理部12及び音声処理部14が出力する映像データ及び音声データは、HDMI伝送処理部20に供給する。HDMI伝送処理部20は、HDMI規格のインターフェースの伝送処理を行う回路部であり、例えば集積回路化してある。HDMI伝送処理部20に供給される映像データ及び音声データは、多重化回路21で多重化する。多重化の際に、主画像の映像データについては、1.5ピクセルクロック期間を使用して、1ピクセルのデータを配置するようにしてある。但し、1ピクセルクロック期間は1チャンネルあたり8ビットの伝送が可能であるので、1.5ピクセルクロック期間で12ビットの伝送が可能であり、その1.5ピクセルクロック期間ごとに生じる余裕の期間である2ビット分を利用して、本例の場合にはその他のデータを多重化回路21で配置するようにしてある。   The video data and audio data output from the video processing unit 12 and the audio processing unit 14 are supplied to the HDMI transmission processing unit 20. The HDMI transmission processing unit 20 is a circuit unit that performs transmission processing of the interface of the HDMI standard, and is integrated, for example. Video data and audio data supplied to the HDMI transmission processing unit 20 are multiplexed by the multiplexing circuit 21. At the time of multiplexing, for the video data of the main image, 1 pixel data is arranged using a 1.5 pixel clock period. However, since 8 bits per channel can be transmitted in 1 pixel clock period, 12 bits can be transmitted in 1.5 pixel clock period, and there is a margin period generated every 1.5 pixel clock period. In the case of this example, other data is arranged by the multiplexing circuit 21 using a certain two bits.

その他のデータとしては、例えば映像処理部12で生成された副画像データを配置する。既に説明したように、副画像データは、1色あたり1ピクセル2ビットの非圧縮映像データであり、1ピクセルあたり2ビット生じる余裕の期間に、1ピクセルずつ配置する。但し、ブランキング期間での垂直同期データや水平同期データは、主画像だけについて伝送し、副画像データについては、その副画像データ専用の垂直同期データや水平同期データは伝送しない。具体的なデータの伝送例については後述する。なお、上述したその他のデータとして、マルチチャンネル再生用の音声データを、1.5ピクセルクロック期間ごと2ビットずつ分けて配置するようにしてもよい。或いは、ビデオ記録再生装置10の制御部15で生成された比較的伝送データ量の多い制御データもしくは付帯情報を、1.5ピクセルクロック期間ごとに2ビットずつ分けて配置するようにしてもよい。   As other data, for example, sub-image data generated by the video processing unit 12 is arranged. As already described, the sub-image data is uncompressed video data of 2 bits per pixel per color, and is arranged one pixel at a time during which 2 bits per pixel are generated. However, vertical synchronization data and horizontal synchronization data in the blanking period are transmitted only for the main image, and for the sub image data, vertical synchronization data and horizontal synchronization data dedicated to the sub image data are not transmitted. A specific example of data transmission will be described later. Note that as other data described above, audio data for multi-channel playback may be divided into 2 bits every 1.5 pixel clock periods. Alternatively, control data or incidental information having a relatively large amount of transmission data generated by the control unit 15 of the video recording / reproducing apparatus 10 may be divided into two bits every 1.5 pixel clock periods.

2チャンネル音声データについては、その映像データが伝送されるチャンネルのブランキング期間を使用して伝送するように、多重化を行うようにしてある。この2チャンネル音声データをブランキング期間に配置して伝送する処理は、HDMI規格でフォーマット化された一般的な伝送処理である。   The 2-channel audio data is multiplexed so as to be transmitted using the blanking period of the channel through which the video data is transmitted. The process of arranging and transmitting the two-channel audio data in the blanking period is a general transmission process formatted according to the HDMI standard.

そして、多重化回路21で多重化された伝送用のデータを、HDCP暗号化部22で暗号化する。HDCP暗号化部22は、HDCP(High-bandwidth Digital Content Protection System)規格で、少なくとも映像データが伝送されるチャンネルの暗号化を行うようにしてある。ここでの暗号化は、1チャンネルの8ビットのデータを単位として行うようにしてある。   Then, the transmission data multiplexed by the multiplexing circuit 21 is encrypted by the HDCP encryption unit 22. The HDCP encryption unit 22 encrypts at least a channel through which video data is transmitted according to the HDCP (High-bandwidth Digital Content Protection System) standard. The encryption here is performed in units of 8-bit data of one channel.

HDCP暗号化部22で暗号化されたデータは、伝送処理部23に供給し、各色のピクセルデータを個別のチャンネルに配置し、またピクセルクロックチャンネルや制御データチャンネルなども、それぞれ対応したクロックやデータとし、HDMI端子24に接続されたHDMIケーブル1に送出する。   The data encrypted by the HDCP encryption unit 22 is supplied to the transmission processing unit 23, the pixel data of each color is arranged in an individual channel, and the pixel clock channel and the control data channel also have their corresponding clocks and data. And sent to the HDMI cable 1 connected to the HDMI terminal 24.

HDMIケーブル1は、テレビジョン受像機30のHDMI端子41に接続するようにしてある。HDMI端子41に接続されたHDMIケーブル1で伝送されたデータは、HDMI伝送処理部40内の伝送処理部42で、ピクセルクロックに同期して検出(受信)される。検出された各チャンネルのデータは、HDCP復号化部42で送信時の暗号化からの復号化を行う。ここでの復号化についても、1チャンネルごとに8ビット単位で行われる。   The HDMI cable 1 is connected to the HDMI terminal 41 of the television receiver 30. Data transmitted through the HDMI cable 1 connected to the HDMI terminal 41 is detected (received) by the transmission processing unit 42 in the HDMI transmission processing unit 40 in synchronization with the pixel clock. The detected data of each channel is decrypted by the HDCP decrypting unit 42 from encryption at the time of transmission. The decoding here is also performed in units of 8 bits for each channel.

復号化されたデータは、多重分離回路44に供給して、各チャンネルに多重化されたデータを分離する。ここでの分離処理としては、映像が伝送されるチャンネルのブランキング期間に配置された音声データ(2チャンネルの音声データ)を、映像データ(主映像データ)から分離する。また、1.5ピクセルクロック期間ごとに生じる2ビット分の余裕の期間に配置されたデータについても、映像データから分離する。この余裕の期間に配置されたデータが、副映像データである場合には、その副映像データを取出す。また、余裕の期間に配置されたデータが、マルチチャンネル音声データである場合には、そのマルチチャンネル音声データを取出す。さらに、余裕の期間に配置されたデータが、制御データや付帯情報である場合には、その制御データや付帯情報を取出す。   The decoded data is supplied to the demultiplexing circuit 44 to separate the data multiplexed on each channel. In this separation process, audio data (two-channel audio data) arranged in a blanking period of a channel through which video is transmitted is separated from video data (main video data). In addition, data arranged in a margin of 2 bits generated every 1.5 pixel clock period is also separated from the video data. If the data arranged in this marginal period is sub-picture data, the sub-picture data is taken out. Further, when the data arranged in the margin period is multi-channel audio data, the multi-channel audio data is extracted. Further, when the data arranged in the margin period is control data or incidental information, the control data or incidental information is extracted.

多重分離回路44で分離された主映像データと、副映像データについては、映像選択合成部31に供給する。映像選択合成部31では、このテレビジョン受像機30の制御部36からの指示に基づいて、いずれかの映像を選択し、選択された映像データを映像処理部32に供給する。映像処理部32では、供給される映像データに必要な処理を施し、表示処理部33に供給する。表示処理部33では、表示パネル60を駆動する処理を行う。   The main video data and the sub video data separated by the demultiplexing circuit 44 are supplied to the video selection / synthesis unit 31. The video selection / synthesis unit 31 selects any video based on an instruction from the control unit 36 of the television receiver 30 and supplies the selected video data to the video processing unit 32. The video processing unit 32 performs necessary processing on the supplied video data and supplies the processed video data to the display processing unit 33. The display processing unit 33 performs processing for driving the display panel 60.

多重分離回路44で分離された音声データについては、音声処理部34に供給し、アナログ変換などの音声処理を行い、処理された出力を出力処理部35に供給して、スピーカ駆動用に増幅などの処理を行い、出力処理部35に接続された複数のスピーカ51〜54から出力させる。音声処理部34に供給される音声データが、2チャンネル音声データである場合には、2チャンネル用の処理を行い、マルチチャンネル音声データである場合には、そのマルチチャンネル音声再生用の処理を行う。   The audio data separated by the demultiplexing circuit 44 is supplied to the audio processing unit 34, performs audio processing such as analog conversion, and the processed output is supplied to the output processing unit 35 to be amplified for driving the speaker. This processing is performed and output from a plurality of speakers 51 to 54 connected to the output processing unit 35. When the audio data supplied to the audio processing unit 34 is 2-channel audio data, 2-channel processing is performed, and when the audio data is multi-channel audio data, multi-channel audio reproduction processing is performed. .

多重分離回路44で分離された制御データについては、制御部36に供給する。なお、制御データについては、制御データチャンネルを使用して、このテレビジョン受像機30の制御部36から、ビデオ記録再生装置10側の制御部15に送ることもできる。   The control data separated by the demultiplexing circuit 44 is supplied to the control unit 36. Control data can also be sent from the control unit 36 of the television receiver 30 to the control unit 15 on the video recording / reproducing apparatus 10 side using the control data channel.

図2は、ビデオ記録再生装置10の伝送処理部23と、テレビジョン受像機30の伝送処理部42との間で、HDMIケーブル1で伝送される各チャンネルのデータ構成例を示した図である。図2に示すように、映像データを伝送するチャンネルとして、チャンネル0と、チャンネル1と、チャンネル2の3つのチャンネルが用意してあり、さらにピクセルクロックを伝送するクロックチャンネルが用意してある。また、制御データ伝送チャンネルとしての、DDCライン及びCECラインが用意してある。   FIG. 2 is a diagram illustrating a data configuration example of each channel transmitted through the HDMI cable 1 between the transmission processing unit 23 of the video recording / reproducing apparatus 10 and the transmission processing unit 42 of the television receiver 30. . As shown in FIG. 2, three channels of channel 0, channel 1, and channel 2 are prepared as channels for transmitting video data, and a clock channel for transmitting a pixel clock is also prepared. In addition, a DDC line and a CEC line are prepared as control data transmission channels.

送信側では、映像データを伝送するチャンネル毎に、伝送処理部(送信部)23a,23b,23cが伝送処理部23内に用意してあり、受信側でも、映像データを伝送するチャンネル毎に、伝送処理部(データ受信部)42a,42b,42cが伝送処理部42内に用意してある。   On the transmission side, transmission processing units (transmission units) 23a, 23b, and 23c are prepared in the transmission processing unit 23 for each channel for transmitting video data, and on the reception side, each channel for transmitting video data is provided. Transmission processing units (data receiving units) 42 a, 42 b, 42 c are prepared in the transmission processing unit 42.

各チャンネルの構成について説明すると、チャンネル0では、Bデータのピクセルデータと、垂直同期データと水平同期データと補助データとを伝送するようにしてある。チャンネル1では、Gデータのピクセルデータと、2種類の制御データ(CTL0,CTL1)と、補助データとを伝送するようにしてある。チャンネル2では、Rデータのピクセルデータと、2種類の制御データ(CTL2,CTL3)と、補助データとを伝送するようにしてある。   The configuration of each channel will be described. Channel 0 transmits pixel data of B data, vertical synchronization data, horizontal synchronization data, and auxiliary data. In channel 1, pixel data of G data, two types of control data (CTL0, CTL1), and auxiliary data are transmitted. In channel 2, pixel data of R data, two types of control data (CTL2, CTL3), and auxiliary data are transmitted.

図3は、本例の伝送構成で伝送される、1フレームのライン構成及びピクセル構成を示した図である。本例の場合に伝送される映像データ(主映像データ)は、非圧縮データであり、垂直ブランキング期間及び水平ブランキング期間が付加されている。具体的には、図3の例では、表示される映像エリア(アクティブビデオエリアとして示すエリア)として、480ライン×720ピクセルのピクセルデータとしてあり、ブランキング期間まで含めたライン数及びピクセル数として525ライン及び858ピクセルとしてある。ブランキング期間中のダブルハッチング(右方向と左方向の斜線)で示すエリアはデータアイランドと称される、補助データが付加可能な期間である。   FIG. 3 is a diagram showing a line configuration and a pixel configuration of one frame transmitted by the transmission configuration of this example. The video data (main video data) transmitted in the case of this example is uncompressed data, and a vertical blanking period and a horizontal blanking period are added. Specifically, in the example of FIG. 3, the display video area (area shown as the active video area) is pixel data of 480 lines × 720 pixels, and the number of lines and the number of pixels including the blanking period is 525. There are as lines and 858 pixels. Areas indicated by double hatching (right and left diagonal lines) during the blanking period are referred to as data islands and are periods during which auxiliary data can be added.

次に、本例の伝送構成で、ピクセルデータが伝送されるチャンネル0とチャンネル1とチャンネル2を使用して、データが伝送される状態を、図4を参照して説明する。図4の例では、3ピクセルクロックで、2ピクセルのデータを伝送するデータ配置としてある。1.5ピクセルクロック期間ごとに生じる2ビット分の余裕の期間に配置されるデータとしては、副画像データの例としてある。図4に示したフェーズ0,1,2が、それぞれ1ピクセルクロックの1周期を示している。   Next, a state in which data is transmitted using channel 0, channel 1, and channel 2 in which pixel data is transmitted in the transmission configuration of this example will be described with reference to FIG. In the example of FIG. 4, the data arrangement is such that 2-pixel data is transmitted with a 3-pixel clock. An example of sub-image data is data arranged in a margin of 2 bits generated every 1.5 pixel clock period. Phases 0, 1, and 2 shown in FIG. 4 each indicate one period of one pixel clock.

図4のデータ構成について説明すると、例えばBデータについては、チャンネル0のフェーズ0の期間で、主画像データのピクセル0の10ビットの内の8ビットを送り、フェーズ1の期間で、主画像データのピクセル0の残りの2ビットを送り、続いた2ビット期間に、副画像データのBデータの1ピクセルを送る。   The data structure of FIG. 4 will be described. For example, for B data, 8 bits of 10 bits of pixel 0 of the main image data are sent in the phase 0 period of channel 0, and the main image data is transmitted in the phase 1 period. The remaining 2 bits of the pixel 0 of the sub image data are sent, and 1 pixel of B data of the sub-image data is sent in the subsequent 2 bit period.

そして、フェーズ1の期間の後半の4ビット期間で、主画像データの次のピクセル1の10ビットの内の4ビットを送る。次のフェーズ2の期間で、主画像データのピクセル1の残りの6ビットを送り、続いた2ビット期間に、副画像データのBデータの1ピクセルを送る。以下、この配置が繰り返される。チャンネル1のGデータ、チャンネル2のRデータについても、同じデータ配置で主画像データのピクセルデータ及び副画像のピクセルデータを送る。図4では、データB0,G0,R0,B1,G1,R1は、それぞれ主画像の3原色のピクセルデータを示してあり、データBS0,GS0,RS0,BS1,GS1,RS1は、それぞれ副画像の3原色のピクセルデータを示してある。   Then, 4 bits out of 10 bits of the next pixel 1 of the main image data are transmitted in the latter 4 bit period of the phase 1 period. In the next phase 2 period, the remaining 6 bits of pixel 1 of the main image data are sent, and in the subsequent 2 bit period, 1 pixel of B data of the sub-image data is sent. Hereinafter, this arrangement is repeated. For the G data of channel 1 and the R data of channel 2 as well, the pixel data of the main image data and the pixel data of the sub image are transmitted in the same data arrangement. In FIG. 4, data B0, G0, R0, B1, G1, and R1 indicate pixel data of the three primary colors of the main image, respectively. Data BS0, GS0, RS0, BS1, GS1, and RS1 are sub-images, respectively. Three primary color pixel data are shown.

図5は、別のデータ構成例を示す図である。この例では、図4の例に比べて、フェーズ1の期間として、最初の2ビット期間で、前のフェーズ0の期間から続いたピクセル0の主画像のピクセルデータの残りの2ビットを送り、次に、副画像のピクセル0の2ビットのピクセルデータを送り、さらに、副画像のピクセル1の2ビットのピクセルデータを送る。そして、フェーズ1の最後の2ビット期間で、ピクセル1の主画像のピクセルデータの最初の2ビットを送り、フェーズ2では、ピクセル1の残りの8ビットの主画像のピクセルデータを送る構成としてある。このように、図5の例は、副画像のピクセルデータを配置する位置が、図4の例とは異なるものである。   FIG. 5 is a diagram illustrating another data configuration example. In this example, compared with the example of FIG. 4, the remaining 2 bits of the pixel data of the main image of pixel 0 continued from the previous phase 0 period are sent as the period of phase 1 in the first 2 bit period, Next, 2-bit pixel data of pixel 0 of the sub-image is sent, and further 2-bit pixel data of pixel 1 of the sub-image is sent. Then, in the last 2 bit period of Phase 1, the first 2 bits of the pixel data of the main image of Pixel 1 are sent, and in Phase 2, the pixel data of the remaining 8 bits of the main image of Pixel 1 are sent. . Thus, the example of FIG. 5 is different from the example of FIG. 4 in the position where the pixel data of the sub-image is arranged.

図4、図5の例では、主画像のピクセルデータ以外のデータとして、副画像のピクセルデータとしたが、マルチチャンネル音声データや、制御データなどのその他のデータを配置する場合にも、同様の位置に配置すればよい。制御データとしては、例えば、表示パネルが必要なバックライトの輝度制御データなどを送るようにしてもよい。   In the examples of FIGS. 4 and 5, pixel data of the sub-image is used as data other than the pixel data of the main image. However, the same applies when other data such as multi-channel audio data and control data is arranged. What is necessary is just to arrange | position to a position. As the control data, for example, brightness control data of a backlight that requires a display panel may be sent.

図6は、このように主画像のピクセルデータ以外のデータを配置する多重化を行った場合に、ソース側から、伝送データの構成について指示するデータである、VSDBと称されるデータで、多重化データ例をシンク側に指示する場合の例である。VSDBのデータは、DDCライン(図2)を使用して伝送されるデータである。この例のVSDBの場合には、6バイト目のデータで、1ピクセルが何ビットのデータであるかが示される。本例の場合には、1色の1ピクセルごとに10ビットで合計30ビットのデータであることが示される。そして、副画像の有無が示される。この副画像の有無のデータの代わりに、マルチチャンネル音声の付加の有無、又は制御データの付加の有無を示すようにしてもよい。   FIG. 6 shows data called VSDB, which is data instructing the configuration of transmission data from the source side when multiplexing other than pixel data of the main image is performed as described above. It is an example in the case of instructing to the sink side. The VSDB data is data transmitted using the DDC line (FIG. 2). In the case of the VSDB in this example, the 6th byte data indicates how many bits each pixel is. In the case of this example, it is indicated that the data is 10 bits for each pixel of one color and a total of 30 bits. Then, the presence / absence of a sub-image is indicated. Instead of the presence / absence data of the sub-image, the presence / absence of addition of multi-channel audio or the presence / absence of addition of control data may be indicated.

シンク側機器(テレビジョン受像機30)の制御部36(図1)では、このVSDBのデータを判断して、どのようなフォーマットで副画像が伝送されているのか判断し、受信した副画像のデータの分離やデコードなどの処理を、多重分離回路44などで実行させて、副画像を使用した表示などを正しく実行させる。   The control unit 36 (FIG. 1) of the sink-side device (television receiver 30) determines the VSDB data, determines the format in which the sub-image is transmitted, and determines the received sub-image. Processing such as data separation and decoding is executed by the demultiplexing circuit 44 and the like, and display using the sub-image is executed correctly.

VSDBで送られる副画像に関するデータとしては、副画像のピクセル数などのより詳細なデータを送るようにしてもよい。例えば、副画像のフォーマットとして、フォーマットA,B,C,Dの4種類が存在する場合に、6バイト目のデータの下位4ビットを使用して、その4種類のいずれであるかを示す伝送構成としてもよい。フォーマットA,B,C,Dの詳細については、別に伝送してシンク側機器に知らせるようにしてもよい。例えば、フォーマットAは、主画像と同じ画素数で、各色の1画素が2ビットで、主画像と副画像が同一のフレームレートを持つ場合とし、フォーマットBは、主画像の1/4の画素数で、各色の1画素が8ビットで、主画像と副画像が同一のフレームレートを持つ場合とし、のような副画像のデータ構成の詳細を送信して知らせるようにしてもよい。   More detailed data such as the number of pixels of the sub-image may be sent as the data related to the sub-image sent by VSDB. For example, when there are four types of formats A, B, C, and D as sub-image formats, the lower 4 bits of the sixth byte data are used to indicate which of the four types is used. It is good also as a structure. The details of the formats A, B, C, and D may be transmitted separately to notify the sink side device. For example, format A has the same number of pixels as the main image, one pixel of each color is 2 bits, and the main image and the sub-image have the same frame rate, and format B is 1/4 pixel of the main image. The number of pixels of each color is 8 bits, and the main image and the sub-image have the same frame rate, and the details of the data structure of the sub-image may be transmitted and notified.

なお、ここでは、VSDBのデータとして、ソース側から多重化データ例を指示するのに使用したが、シンク側の機器が、受信可能なデータの能力(表示処理可能な能力)を示すために、同様のデータをソース側に送るようにしてもよい。即ち、接続された機器を相互に認証する際などに、シンク側機器の制御部は、自身の表示処理能力を、VSDBのデータ(又は別のデータ)を使用してソース側に示す。ソース側の制御部では、その能力に合わせたフォーマットで、副画像のデータを伝送するように構成する。このようにすることで、適切な副画像データの伝送状態となる。   In this example, the VSDB data is used to instruct the multiplexed data example from the source side. However, in order to indicate the capability of the data that can be received by the sink side device (the capability of display processing), Similar data may be sent to the source side. That is, when the connected devices are mutually authenticated, the control unit of the sink-side device indicates its display processing capability to the source side using VSDB data (or other data). The control unit on the source side is configured to transmit the sub-image data in a format that matches the capability. By doing so, an appropriate transmission state of the sub-image data is obtained.

DDCラインで伝送されるVSDBのデータを使用して、副画像に関するデータを伝送するようにしたのは、一例であり、ソース側機器とシンク側機器との間で伝送される、その他のデータ区間を使用して、同様なデータを伝送するようにしてもよい。例えば、図3に示したブランキング期間中のデータアイランドの区間の一部に、副画像を含むデータが伝送されていることを示す付加情報を配置するようにしてもよい。   The sub-image data is transmitted using the VSDB data transmitted through the DDC line as an example, and other data sections transmitted between the source side device and the sink side device. May be used to transmit similar data. For example, additional information indicating that data including a sub-image is transmitted may be arranged in a part of the data island section in the blanking period shown in FIG.

ここで、本例の伝送構成で、副画像などを伝送可能なデータ量について検証すると、例えば、クロックチャンネルの周波数が225MHz程度であった場合には、
225MHz*(3ch*8bit)*((12bit-10bit)/12bit) = 900Mbps
より、900Mbps程度までのデータを転送することができる。
また、主画像のピクセル数から検証すると、例えば主画像が1920ピクセル×1080pで60Hzであった場合については、副映像として、たとえば2^6=64色で1920ピクセル×1080pの60Hzとなり、この副画像が主映像と同期して送られる。また別の例として、主映像が1920ピクセル×1080pで60Hzであった場合には、副画像の解像度を主画像の縦横それぞれ半分の960ピクセル×540pにすれば、各色ごとに、1ピクセル8ビットの副映像が得られる。また、各色の1ピクセル12ビットで720ピクセル×480pの60HzのSD解像度の副映像を、主映像と同期して送ることができる。このように、副画像は、主画像の伝送で余っているデータ(図9でのダミーデータ)の伝送速度を超えない範囲にて、色の多ビット化と画素数の組み合わせを任意に変えることができる。
Here, in the transmission configuration of this example, when verifying the amount of data that can transmit a sub-image, for example, when the frequency of the clock channel is about 225 MHz,
225MHz * (3ch * 8bit) * ((12bit-10bit) / 12bit) = 900Mbps
Therefore, data up to about 900 Mbps can be transferred.
Further, when verifying from the number of pixels of the main image, for example, when the main image is 1920 pixels × 1080p and 60 Hz, the sub-picture becomes, for example, 2 ^ 6 = 64 colors and 1920 pixels × 1080p 60 Hz. Images are sent in sync with the main video. As another example, if the main video is 1920 pixels x 1080p and 60Hz, the resolution of the sub-image is 960 pixels x 540p, which is half the length and width of the main image. The sub-picture is obtained. In addition, a sub-picture of SD resolution of 60 Hz of 720 pixels × 480p with 12 bits per pixel for each color can be sent in synchronization with the main picture. In this way, the sub-image can arbitrarily change the combination of the multi-bit color and the number of pixels within a range that does not exceed the transmission rate of the surplus data (dummy data in FIG. 9) in the transmission of the main image. Can do.

図7は、主画像と副画像の例を示したものである。この例では、テレビジョン受像機30に表示される主画像として、特定の場所の航空写真(衛星写真)画像61としてあり、その場所の地図画像を副画像62としてある。このように関連のある主画像と副画像を送って表示させることで、画像の使い分けが可能になる。なお、本例の場合には、主画像と副画像は、ビット位置などを完全に同期させて伝送することが可能であるので、同期データについては、主画像のものを共通に使用でき、効率の良い伝送が可能である。   FIG. 7 shows an example of a main image and a sub image. In this example, the main image displayed on the television receiver 30 is an aerial photograph (satellite photograph) image 61 of a specific location, and a map image of that location is a sub-image 62. By sending and displaying the related main image and sub-image in this way, the images can be used properly. In the case of this example, the main image and the sub-image can be transmitted with the bit positions and the like being completely synchronized, so that the synchronization data of the main image can be used in common. Good transmission is possible.

このように本例の伝送処理を適用することで、主となる画像データのビット数を、1伝送単位のビット数に増やすことができると共に、その際に余るビット位置を利用して、副画像などの各種データを伝送することができ、多ビット化と伝送効率の向上とを両立させることができる。   In this way, by applying the transmission processing of this example, the number of bits of main image data can be increased to the number of bits of one transmission unit, and the sub-image is utilized by using the remaining bit positions at that time. Thus, it is possible to achieve both the increase in the number of bits and the improvement in transmission efficiency.

なお、ここまで説明した実施の形態では、1ピクセル10ビットのデータを伝送する場合の例としたが、基本的な伝送単のビット数(ここでは8ビット)と異なる12ビットや14ビットなどのデータを伝送する際に、その場合に余るビット区間に、副画像などのその他のデータを伝送するようにしてもよい。   In the embodiment described so far, an example in which data of 10 bits per pixel is transmitted. However, 12 bits, 14 bits, etc., which are different from the basic number of transmission bits (here, 8 bits) are used. When transmitting data, other data such as a sub-image may be transmitted in the remaining bit section in that case.

また、1ピクセルが16ビット単位で伝送可能なフォーマットなどの、その他のビット数で伝送可能なフォーマットに適用してもよい。暗号化や復号化の単位についても、16ビットなどのその他のビット数を単位として処理を行うものに適用してもよい。   Further, the present invention may be applied to other formats that can be transmitted in the number of bits, such as a format in which one pixel can be transmitted in units of 16 bits. The unit of encryption and decryption may be applied to a unit that performs processing in units of other bits such as 16 bits.

また、上述した実施の形態では、HDMI規格のインターフェースを前提として説明したが、その他の同様な伝送規格にも適用可能である。   In the above-described embodiment, the description has been made on the premise of the interface of the HDMI standard, but the present invention can be applied to other similar transmission standards.

本発明の一実施の形態によるシステム構成例を示すブロック図である。It is a block diagram which shows the system configuration example by one embodiment of this invention. 本発明の一実施の形態による伝送チャンネル構成例を示す説明図である。It is explanatory drawing which shows the example of a transmission channel structure by one embodiment of this invention. 本発明の一実施の形態によるビット構成例を示す説明図である。It is explanatory drawing which shows the bit structural example by one embodiment of this invention. 本発明の一実施の形態によるデータパッキング例(例1)を示す説明図である。It is explanatory drawing which shows the data packing example (Example 1) by one embodiment of this invention. 本発明の一実施の形態によるデータパッキング例(例2)を示す説明図である。It is explanatory drawing which shows the data packing example (Example 2) by one embodiment of this invention. 本発明の一実施の形態によるVSDBのデータ構成例を示す説明図である。It is explanatory drawing which shows the data structural example of VSDB by one embodiment of this invention. 本発明の一実施の形態による主画像と副画像の表示例を示す説明図である。It is explanatory drawing which shows the example of a display of the main image by one embodiment of this invention, and a subimage. HDMI規格のデータパッキング例(1ピクセル8ビットの例)を示す説明図である。It is explanatory drawing which shows the data packing example (example of 1 pixel 8 bits) of HDMI specification. HDMI規格のデータパッキング例(1ピクセル10ビットの例)を示す説明図である。It is explanatory drawing which shows the data packing example (example of 1 pixel 10 bits) of HDMI specification.

符号の説明Explanation of symbols

1…HDMIケーブル、10…ビデオ記録再生装置(ソース側機器)、11…記録再生部、12…映像処理部、14…音声処理部、15…制御部、16…チューナ、20…HDMI伝送処理部、21…多重化回路、22…HDCP暗号化部、23…伝送処理部、24…HDMI端子、30…テレビジョン受像機(シンク側機器)、31…映像選択合成部、32…映像処理部、33…表示処理部、34…音声処理部、35…出力処理部、36…制御部、40…HDMI伝送処理部、41…HDMI端子、42…伝送処理部、43…HDCP復号化部、44…多重分離回路、51〜54…スピーカ、60…表示パネル   DESCRIPTION OF SYMBOLS 1 ... HDMI cable, 10 ... Video recording / reproducing apparatus (source side apparatus), 11 ... Recording / reproducing part, 12 ... Video processing part, 14 ... Audio processing part, 15 ... Control part, 16 ... Tuner, 20 ... HDMI transmission processing part , 21 ... Multiplexing circuit, 22 ... HDCP encryption unit, 23 ... Transmission processing unit, 24 ... HDMI terminal, 30 ... Television receiver (sink side device), 31 ... Video selection / synthesis unit, 32 ... Video processing unit, 33 ... Display processing unit, 34 ... Audio processing unit, 35 ... Output processing unit, 36 ... Control unit, 40 ... HDMI transmission processing unit, 41 ... HDMI terminal, 42 ... Transmission processing unit, 43 ... HDCP decoding unit, 44 ... Demultiplexing circuit, 51-54 ... speaker, 60 ... display panel

Claims (13)

8ビット単位の映像データを、画素クロックに同期して、色データ毎もしくは輝度および色差信号毎に、個別の伝送ラインを使用して、ソース側装置からシンク側装置に伝送する伝送方式を利用して映像データを伝送する伝送方法であって、
前記ソース側装置から前記シンク側装置に伝送する1画素の映像データとして、8ビットの整数倍でない所定ビット数とし、
前記8ビットの整数倍でない所定ビット数の映像データを、前記画素クロックに同期したタイミングで伝送し、
1画素の伝送に割当てた画素クロックの期間に伝送されるビット数と前記所定ビット数との差のビット数だけ生じる余裕の伝送期間に、前記所定ビット数の映像データとは別のデータを配置して、前記ソース側装置から前記シンク側装置に伝送することを特徴とする
伝送方法。
A transmission method is used in which 8-bit video data is transmitted from the source device to the sink device using a separate transmission line for each color data or each luminance and color difference signal in synchronization with the pixel clock. A transmission method for transmitting video data,
As one-pixel video data transmitted from the source device to the sink device, a predetermined number of bits that is not an integer multiple of 8 bits is used.
Transmit video data of a predetermined number of bits that is not an integer multiple of the 8 bits at a timing synchronized with the pixel clock,
Data different from the video data having the predetermined number of bits is arranged in a transmission period having a margin corresponding to the difference between the number of bits transmitted in the period of the pixel clock allocated to transmission of one pixel and the predetermined number of bits. And transmitting from the source device to the sink device.
請求項1記載の伝送方法において、
前記ソース側装置で、各伝送ラインに送出させるデータを、8ビット単位で暗号化し、
前記シンク側装置で、各伝送ラインを介して受信したデータを、8ビット単位で復号化することを特徴とする
伝送方法。
The transmission method according to claim 1,
The source side device encrypts data to be sent to each transmission line in units of 8 bits,
A transmission method characterized in that the sink side device decodes data received via each transmission line in units of 8 bits.
請求項1記載の伝送方法において、
前記別のデータは、前記映像データとは別の副映像データであることを特徴とする
伝送方法。
The transmission method according to claim 1,
The transmission method according to claim 1, wherein the different data is sub-video data different from the video data.
請求項1記載の伝送方法において、
前記別のデータは、音声データであることを特徴とする
伝送方法。
The transmission method according to claim 1,
The transmission method, wherein the other data is voice data.
請求項1記載の伝送方法において、
前記別のデータは、付帯情報であることを特徴とする
伝送方法。
The transmission method according to claim 1,
The transmission method according to claim 1, wherein the other data is incidental information.
8ビット単位の映像データを、画素クロックに同期して、色データ毎もしくは輝度および色差信号毎に、個別の伝送ラインを使用して、ソース側装置からシンク側装置に伝送する伝送方式を利用して映像データを伝送する伝送システムであって、
前記ソース側装置として、
1画素の映像データが8ビットの整数倍でない所定ビット数の映像データを生成する映像データ生成部と、
前記映像データ生成部で生成された前記所定ビット数の映像データを、前記伝送方式の8ビット単位の映像データ伝送期間に配置し、1画素の伝送に割当てた画素クロックの期間に伝送されるビット数と前記所定ビット数との差のビット数だけ生じる余裕の伝送期間に、前記所定ビット数の映像データとは別のデータを配置して、8ビット単位のデータとする伝送データ配置部と、
前記伝送データ配置部で配置された8ビット単位のデータを、前記画素クロックに同期して前記伝送ラインに送出する送出部とを備え、
前記シンク側装置として、
前記伝送ラインから受信したデータを前記画素クロックに同期して8ビット単位で検出する受信部と、
前記受信部で受信した8ビット単位のデータから、前記所定ビット数の映像データと、前記余裕の伝送期間に伝送された前記別のデータとを分離するデータ分離部とを備えたことを特徴とする
伝送システム。
A transmission method is used in which 8-bit video data is transmitted from the source device to the sink device using a separate transmission line for each color data or each luminance and color difference signal in synchronization with the pixel clock. A transmission system for transmitting video data,
As the source side device,
A video data generation unit that generates video data of a predetermined number of bits in which one pixel of video data is not an integer multiple of 8 bits;
Bits transmitted in the period of the pixel clock assigned to the transmission of one pixel by arranging the video data of the predetermined number of bits generated by the video data generation unit in the video data transmission period of the 8-bit unit of the transmission method A transmission data arrangement unit that arranges data different from the video data of the predetermined number of bits and makes data in units of 8 bits in a marginal transmission period that occurs by the number of bits that is the difference between the number and the predetermined number of bits,
A sending unit for sending the data in units of 8 bits arranged in the transmission data arranging unit to the transmission line in synchronization with the pixel clock;
As the sink side device,
A receiving unit for detecting data received from the transmission line in units of 8 bits in synchronization with the pixel clock;
A data separation unit for separating the video data of the predetermined number of bits and the other data transmitted during the extra transmission period from the 8-bit unit data received by the reception unit. Transmission system.
請求項1記載の伝送システムにおいて、
前記ソース側装置は、前記伝送データ配置部で配置された伝送データを、8ビット単位で暗号化する暗号化部を備え、前記暗号化部で暗号化された伝送データを、前記送出部から送出し、
前記シンク側装置は、前記受信部で受信した伝送データを、8ビット単位で復号化する復号化部を備え、前記復号化部で復号化された伝送データを、前記データ分離部で分離することを特徴とする
伝送システム。
The transmission system according to claim 1, wherein
The source device includes an encryption unit that encrypts transmission data arranged in the transmission data arrangement unit in units of 8 bits, and transmits the transmission data encrypted by the encryption unit from the transmission unit. And
The sink side device includes a decoding unit that decodes transmission data received by the receiving unit in units of 8 bits, and the transmission data decoded by the decoding unit is separated by the data separation unit. A transmission system characterized by
8ビット単位の映像データを、画素クロックに同期して、色データ毎もしくは輝度および色差信号毎に、個別の伝送ラインを使用して送信する伝送方式を利用して映像データを送信する送信方法であって、
送信する1画素の映像データとして、8ビットの整数倍でない所定ビット数とし、
前記8ビットの整数倍でない所定ビット数の映像データを、前記画素クロックに同期したタイミングで送信し、
さらに、1画素の伝送に割当てた画素クロックの期間に伝送されるビット数と前記所定ビット数との差のビット数だけ生じる余裕の伝送期間に、前記所定ビット数の映像データとは別のデータを配置して、前記ソース側装置から前記シンク側装置に伝送することを特徴とする
送信方法。
A transmission method for transmitting video data using a transmission method in which video data in units of 8 bits is transmitted using individual transmission lines for each color data or each luminance and color difference signal in synchronization with the pixel clock. There,
As one-pixel video data to be transmitted, a predetermined number of bits that is not an integral multiple of 8 bits is used.
Transmitting video data of a predetermined number of bits that is not an integer multiple of the 8 bits at a timing synchronized with the pixel clock;
Furthermore, data different from the video data of the predetermined number of bits in a margin transmission period that occurs by the number of bits that is the difference between the number of bits transmitted during the period of the pixel clock assigned to transmission of one pixel and the predetermined number of bits. And transmitting from the source side device to the sink side device.
8ビット単位の映像データを、画素クロックに同期して、色データ毎もしくは輝度および色差信号毎に、個別の伝送ラインを使用して送信する伝送方式を利用して映像データを送信する送信装置であって、
1画素の映像データが8ビットの整数倍でない所定ビット数の映像データを生成する映像データ生成部と、
前記映像データ生成部で生成された前記所定ビット数の映像データを、前記伝送方式の8ビット単位の映像データ伝送期間に配置し、1画素の伝送に割当てた画素クロックの期間に伝送されるビット数と前記所定ビット数との差のビット数だけ生じる余裕の伝送期間に、前記所定ビット数の映像データとは別のデータを配置して、8ビット単位のデータとする伝送データ配置部と、
前記伝送データ配置部で配置された8ビット単位のデータを、前記画素クロックに同期して前記伝送ラインに送出する送出部とを備えたことを特徴とする
送信装置。
A transmission device that transmits video data using a transmission method in which video data in units of 8 bits is transmitted using individual transmission lines for each color data or for each luminance and color difference signal in synchronization with the pixel clock. There,
A video data generation unit that generates video data of a predetermined number of bits in which one pixel of video data is not an integer multiple of 8 bits;
Bits transmitted in the period of the pixel clock assigned to the transmission of one pixel by arranging the video data of the predetermined number of bits generated by the video data generation unit in the video data transmission period of the 8-bit unit of the transmission method A transmission data arrangement unit that arranges data different from the video data of the predetermined number of bits and makes data in units of 8 bits in a marginal transmission period that occurs by the number of bits that is the difference between the number and the predetermined number of bits,
A transmission apparatus, comprising: a transmission unit configured to transmit data in units of 8 bits arranged in the transmission data arrangement unit to the transmission line in synchronization with the pixel clock.
請求項9記載の送信装置において、
前記伝送データ配置部で配置された伝送データを、8ビット単位で暗号化する暗号化部を備え、前記暗号化部で暗号化された伝送データを、前記送出部から送出することを特徴とする
送信装置。
The transmission device according to claim 9, wherein
An encryption unit that encrypts transmission data arranged in the transmission data arrangement unit in units of 8 bits is provided, and the transmission data encrypted by the encryption unit is sent out from the sending unit. Transmitter device.
8ビット単位の映像データを、画素クロックに同期して、色データ毎もしくは輝度および色差信号毎に、個別の伝送ラインを使用して伝送する伝送方式を利用して映像データを受信する受信方法であって、
前記受信する1画素の映像データとして、8ビットの整数倍でない所定ビット数とし、
前記8ビットの整数倍でない所定ビット数の映像データを、前記画素クロックに同期したタイミングで受信し、
1画素の伝送に割当てた画素クロックの期間に伝送されるビット数と前記所定ビット数との差のビット数だけ生じる余裕の伝送期間に配置された、前記所定ビット数の映像データとは別のデータを分離することを特徴とする
受信方法。
A receiving method for receiving video data using a transmission method in which video data in units of 8 bits is transmitted using individual transmission lines for each color data or each luminance and color difference signal in synchronization with the pixel clock. There,
As the one-pixel video data to be received, a predetermined number of bits that is not an integer multiple of 8 bits,
Receiving video data of a predetermined number of bits that is not an integer multiple of the 8 bits at a timing synchronized with the pixel clock;
Different from the video data having the predetermined number of bits, which is arranged in a marginal transmission period generated by the difference between the number of bits transmitted in the period of the pixel clock allocated to transmission of one pixel and the predetermined number of bits. A receiving method characterized by separating data.
8ビット単位の映像データを、画素クロックに同期して、色データ毎もしくは輝度および色差信号毎に、個別の伝送ラインを使用して伝送する伝送方式を利用して映像データを受信する受信装置であって、
前記伝送ラインから受信したデータを前記画素クロックに同期して8ビット単位で検出する受信部と、
前記受信部で受信した8ビット単位のデータから、前記8ビットの整数倍でない所定ビット数の映像データと、1画素の伝送に割当てた画素クロックの期間に伝送されるビット数と前記所定ビット数との差のビット数だけ生じる余裕の伝送期間に伝送された別のデータとを分離するデータ分離部とを備えたことを特徴とする
受信装置。
A receiving device that receives video data using a transmission method in which video data in units of 8 bits are transmitted using individual transmission lines for each color data or each luminance and color difference signal in synchronization with the pixel clock. There,
A receiving unit for detecting data received from the transmission line in units of 8 bits in synchronization with the pixel clock;
From the data in units of 8 bits received by the receiving unit, video data having a predetermined number of bits that is not an integer multiple of the 8 bits, the number of bits transmitted during the period of the pixel clock assigned to transmission of one pixel, and the predetermined number of bits And a data separation unit that separates another data transmitted in a transmission period having a margin corresponding to the number of bits corresponding to the difference.
請求項12記載の受信装置において、
前記受信部で受信した伝送データを、8ビット単位で復号化する復号化部を備え、前記復号化部で復号化された伝送データを、前記データ分離部で分離することを特徴とする
受信装置。
The receiving device according to claim 12,
A receiving apparatus comprising: a decoding unit that decodes transmission data received by the receiving unit in units of 8 bits; and the transmission data decoded by the decoding unit is separated by the data separation unit .
JP2006136917A 2006-05-16 2006-05-16 Transmission method, transmission system, transmission method, transmission device, reception method, and reception device Expired - Fee Related JP5162845B2 (en)

Priority Applications (13)

Application Number Priority Date Filing Date Title
JP2006136917A JP5162845B2 (en) 2006-05-16 2006-05-16 Transmission method, transmission system, transmission method, transmission device, reception method, and reception device
EP07743444.7A EP2023632B1 (en) 2006-05-16 2007-05-16 Communication system, transmission device, reception device, communication method, and program
CN2007800007140A CN101331771B (en) 2006-05-16 2007-05-16 Communication system, transmission device, reception device, communication method
KR1020077027277A KR101366912B1 (en) 2006-05-16 2007-05-16 Communication system, transmission device, reception device, communication method, and program
RU2008101699/09A RU2372741C2 (en) 2006-05-16 2007-05-16 System of data transmission, transmission device, receiving device, method of data transmission and program
US11/919,883 US8253859B2 (en) 2006-05-16 2007-05-16 Transmission system, transmission apparatus, and transmission method for transmitting video data
PCT/JP2007/060009 WO2007132877A1 (en) 2006-05-16 2007-05-16 Communication system, transmission device, reception device, communication method, and program
US13/544,429 US8854543B2 (en) 2006-05-16 2012-07-09 Transmission system, transmission apparatus, and transmission method for transmitting video data
US14/149,054 US8817182B2 (en) 2006-05-16 2014-01-07 Transmission system, transmission apparatus, and transmission method for transmitting video data
US14/297,157 US8982278B2 (en) 2006-05-16 2014-06-05 Transmission system, transmission apparatus, and transmission method for transmitting video data
US14/332,067 US8982279B2 (en) 2006-05-16 2014-07-15 Transmission system, transmission apparatus, and transmission method for transmitting video data
US14/332,142 US9065963B2 (en) 2006-05-16 2014-07-15 Transmission system, transmission apparatus, and transmission method for transmitting video data
US14/702,053 US9544535B2 (en) 2006-05-16 2015-05-01 Transmission system, transmission apparatus, and transmission method for transmitting video data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006136917A JP5162845B2 (en) 2006-05-16 2006-05-16 Transmission method, transmission system, transmission method, transmission device, reception method, and reception device

Publications (2)

Publication Number Publication Date
JP2007311928A true JP2007311928A (en) 2007-11-29
JP5162845B2 JP5162845B2 (en) 2013-03-13

Family

ID=38844406

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006136917A Expired - Fee Related JP5162845B2 (en) 2006-05-16 2006-05-16 Transmission method, transmission system, transmission method, transmission device, reception method, and reception device

Country Status (1)

Country Link
JP (1) JP5162845B2 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008118405A (en) * 2006-11-06 2008-05-22 Onkyo Corp Data transmitting and receiving system, source apparatus and receiving apparatus
WO2011132246A1 (en) * 2010-04-19 2011-10-27 パナソニック株式会社 Image processing device
JP2011244390A (en) * 2010-05-21 2011-12-01 Sony Corp Data transmitting apparatus, data receiving apparatus, data transmitting method, and data receiving method
KR20120020032A (en) * 2010-08-26 2012-03-07 삼성전자주식회사 Method and apparatus for generating uncompressed video data packet
JP2012514351A (en) * 2008-12-25 2012-06-21 ジーブイビービー ホールディングス エス.エイ.アール.エル. Transmitting apparatus, receiving apparatus, system, and method used therein
JP2012142692A (en) * 2010-12-28 2012-07-26 Sony Corp Electronic device, method of controlling electronic device, and electronic device system
JP2013110554A (en) * 2011-11-21 2013-06-06 Panasonic Corp Transmitter, receiver and serial transmission system
JP2015222960A (en) * 2015-07-01 2015-12-10 ソニー株式会社 Electronic apparatus and control method for electronic apparatus
JP2017028703A (en) * 2016-08-10 2017-02-02 ソニー株式会社 Electronic apparatus and control method therefor
JP2017516329A (en) * 2014-03-26 2017-06-15 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Transmitter, receiver, system and signal for synchronous transmission of auxiliary data frames via HDMI interface
JP2019220734A (en) * 2018-06-15 2019-12-26 日本放送協会 Video frame transmission device and program
CN111918013A (en) * 2020-08-13 2020-11-10 广东博华超高清创新中心有限公司 HDMI8K100/120 video judgment and output method and device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0937083A (en) * 1995-07-20 1997-02-07 Mita Ind Co Ltd Cipher communication equipment
JP2001078008A (en) * 1999-09-01 2001-03-23 Sega Corp Continuous data processing method
JP2002229444A (en) * 2001-02-07 2002-08-14 Toyo Commun Equip Co Ltd Block encryption and decryption circuit

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0937083A (en) * 1995-07-20 1997-02-07 Mita Ind Co Ltd Cipher communication equipment
JP2001078008A (en) * 1999-09-01 2001-03-23 Sega Corp Continuous data processing method
JP2002229444A (en) * 2001-02-07 2002-08-14 Toyo Commun Equip Co Ltd Block encryption and decryption circuit

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6012016113; Hitachi, LTD(外6名): High-Definition Multimedia Interface Specification Version 1.2a , 20051214, p. i-xv, 1-110, HDMI Licensing, LLC *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008118405A (en) * 2006-11-06 2008-05-22 Onkyo Corp Data transmitting and receiving system, source apparatus and receiving apparatus
JP2012514351A (en) * 2008-12-25 2012-06-21 ジーブイビービー ホールディングス エス.エイ.アール.エル. Transmitting apparatus, receiving apparatus, system, and method used therein
JPWO2011132246A1 (en) * 2010-04-19 2013-07-18 パナソニック株式会社 Video processing device
WO2011132246A1 (en) * 2010-04-19 2011-10-27 パナソニック株式会社 Image processing device
JP2011244390A (en) * 2010-05-21 2011-12-01 Sony Corp Data transmitting apparatus, data receiving apparatus, data transmitting method, and data receiving method
JP2013539636A (en) * 2010-08-26 2013-10-24 サムスン エレクトロニクス カンパニー リミテッド Method and apparatus for generating uncompressed video data packet
KR20120020032A (en) * 2010-08-26 2012-03-07 삼성전자주식회사 Method and apparatus for generating uncompressed video data packet
US9332321B2 (en) 2010-08-26 2016-05-03 Samsung Electronics Co., Ltd. Method and apparatus for generating uncompressed video data packet
KR101686944B1 (en) 2010-08-26 2016-12-16 삼성전자주식회사 Method and apparatus for generating uncompressed video data packet
JP2012142692A (en) * 2010-12-28 2012-07-26 Sony Corp Electronic device, method of controlling electronic device, and electronic device system
US9277171B2 (en) 2010-12-28 2016-03-01 Sony Corporation Electronic device, electronic device control method, and electronic device system
JP2013110554A (en) * 2011-11-21 2013-06-06 Panasonic Corp Transmitter, receiver and serial transmission system
JP2017516329A (en) * 2014-03-26 2017-06-15 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Transmitter, receiver, system and signal for synchronous transmission of auxiliary data frames via HDMI interface
JP2015222960A (en) * 2015-07-01 2015-12-10 ソニー株式会社 Electronic apparatus and control method for electronic apparatus
JP2017028703A (en) * 2016-08-10 2017-02-02 ソニー株式会社 Electronic apparatus and control method therefor
JP2019220734A (en) * 2018-06-15 2019-12-26 日本放送協会 Video frame transmission device and program
JP7057721B2 (en) 2018-06-15 2022-04-20 日本放送協会 Video frame transmission equipment and programs
CN111918013A (en) * 2020-08-13 2020-11-10 广东博华超高清创新中心有限公司 HDMI8K100/120 video judgment and output method and device
CN111918013B (en) * 2020-08-13 2022-04-08 广东博华超高清创新中心有限公司 HDMI8K100/120 video judgment and output method and device

Also Published As

Publication number Publication date
JP5162845B2 (en) 2013-03-13

Similar Documents

Publication Publication Date Title
JP5162845B2 (en) Transmission method, transmission system, transmission method, transmission device, reception method, and reception device
US8564642B2 (en) Communication method, communication system, transmission method, transmission apparatus, receiving method and receiving apparatus
US8982279B2 (en) Transmission system, transmission apparatus, and transmission method for transmitting video data
US9762887B2 (en) Transmitting apparatus, stereo image data transmitting method, receiving apparatus, and stereo image data receiving method
US20100066906A1 (en) Transmission Method, Transmission System, Transmission Apparatus, and Reception Apparatus
US8705737B2 (en) Video transmission method, video transmission system, and video processing apparatus
US7839896B2 (en) Video transmission system
JP5089493B2 (en) Digital video data transmitter, digital video data receiver, digital video data transmission system, digital video data transmission method, digital video data reception method, and digital video data transmission method
JP2010263382A (en) Transmitter, transmission method of 3d image data, receiver, receiving method of 3d image data, relay device and relay method of 3d image data
JP4363426B2 (en) Video receiving apparatus and video receiving method
JP5176308B2 (en) Transmission method, transmission system, transmission device, and reception device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121203

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5162845

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees