JP2015188154A - Transmission device, transmission method, reception device, reception method, transmission system, and program - Google Patents

Transmission device, transmission method, reception device, reception method, transmission system, and program Download PDF

Info

Publication number
JP2015188154A
JP2015188154A JP2014064702A JP2014064702A JP2015188154A JP 2015188154 A JP2015188154 A JP 2015188154A JP 2014064702 A JP2014064702 A JP 2014064702A JP 2014064702 A JP2014064702 A JP 2014064702A JP 2015188154 A JP2015188154 A JP 2015188154A
Authority
JP
Japan
Prior art keywords
image data
transmission
phase detection
detection image
visible image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014064702A
Other languages
Japanese (ja)
Other versions
JP2015188154A5 (en
JP6176168B2 (en
Inventor
横川　峰志
Mineshi Yokogawa
峰志 横川
修 新谷
Osamu Shintani
修 新谷
正邦 宮本
Masakuni Miyamoto
正邦 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014064702A priority Critical patent/JP6176168B2/en
Priority to TW104105428A priority patent/TW201537991A/en
Priority to US15/126,700 priority patent/US20170094074A1/en
Priority to PCT/JP2015/001404 priority patent/WO2015146052A1/en
Publication of JP2015188154A publication Critical patent/JP2015188154A/en
Publication of JP2015188154A5 publication Critical patent/JP2015188154A5/ja
Application granted granted Critical
Publication of JP6176168B2 publication Critical patent/JP6176168B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00209—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
    • H04N1/00222—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax details of image data generation or reproduction, e.g. scan-to-email or network printing
    • H04N1/00228—Image push arrangements, e.g. from an image reading device to a specific network destination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00129—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a display device, e.g. CRT or LCD monitor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2352/00—Parallel handling of streams of display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/08—Details of image data interface between the display device controller and the data line driver circuit
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline

Abstract

PROBLEM TO BE SOLVED: To transmit and receive phase detection image data together with visible image data by a standard in Display Port (TM).SOLUTION: Information of phase detection pixels in lines L1 to L15 including phase detection pixels set onto an effective pixel area 71 is arranged in a horizontal blanking area 73 as phase detection image data packets 83. Information relating to the phase detection image data packets are set onto a vertical blanking area 72 as phase detection image information packet 82. In a manner like this, the phase detection image data is transmitted and received together with visible image data generated by the effective pixel area 71. This technique can be applied to a display port.

Description

本技術は、伝送装置および伝送方法、受信装置および受信方法、伝送システム、並びにプログラムに関し、特に、既存のディスプレイポートのインタフェースに利用される通信規格において可視画像データに加えて位相検出画像データを送信できるようにした伝送装置および伝送方法、受信装置および受信方法、伝送システム、並びにプログラムに関する。   The present technology relates to a transmission device and a transmission method, a reception device and a reception method, a transmission system, and a program, and in particular, transmits phase detection image data in addition to visible image data in a communication standard used for an existing display port interface. The present invention relates to a transmission device and a transmission method, a reception device and a reception method, a transmission system, and a program that can be performed.

DisplayPort（商標）と称される画像データをディスプレイに伝送するインタフェースの規格があり一般に普及している（例えば、非特許文献１参照）。   There is a standard for an interface for transmitting image data called DisplayPort (trademark) to a display, which is widely used (for example, see Non-Patent Document 1).

DisplayPort（商標）Version1.2a VESA（Video Electronics Standards Association）DisplayPort (TM) Version 1.2a VESA (Video Electronics Standards Association)

ところで、DisplayPort（商標）の規格においては、有効画素データからなる可視画像データに加えて、音声データを送信することも規定されており、それらを併せて送受信することが可能である。   By the way, in the DisplayPort (trademark) standard, it is also defined that audio data is transmitted in addition to visible image data composed of valid pixel data, and these can be transmitted and received together.

しかしながら、DisplayPort（商標）の規格においては、可視画像データに加えて、未定義のデータを送受信するには、何らかの新たな定義をしないと送受信することができない。   However, in the DisplayPort (trademark) standard, in order to transmit and receive undefined data in addition to visible image data, transmission and reception cannot be performed unless some new definition is made.

本技術は、このような状況に鑑みてなされたものであり、特に、既存のディスプレイポートのインタフェースに利用される通信規格（DisplayPort（商標））において、可視画像データに加えて位相検出画像データを送信できるようにするものである。   The present technology has been made in view of such a situation. In particular, in the communication standard (DisplayPort (trademark)) used for an interface of an existing display port, phase detection image data is added to visible image data. It can be sent.

本技術の一側面の伝送装置は、撮像装置の有効画素データからなる可視画像データを、ディスプレイに伝送するフォーマットを用いて伝送する伝送装置であって、前記可視画像データに加えて、前記撮像装置における位相検出画像データを伝送する伝送部を含む。   A transmission device according to an aspect of the present technology is a transmission device that transmits visible image data including effective pixel data of an imaging device using a format for transmission to a display, and in addition to the visible image data, the imaging device The transmission part which transmits the phase detection image data in is included.

前記伝送部には、前記ディスプレイに伝送するフォーマットを利用して、前記撮像装置における前記位相検出画像データをパケット化して伝送させるようにすることができる。   The transmission unit may packetize and transmit the phase detection image data in the imaging apparatus using a format transmitted to the display.

前記ディスプレイに伝送するフォーマットは、DisplayPort（商標）で規定されるフォーマットであり、前記伝送部には、前記DisplayPort（商標）で規定されるSDP（Secondary-data Packet）を、前記ディスプレイに伝送するフォーマットとして利用して、前記撮像装置における前記位相検出画像データをパケット化して伝送させるようにすることができる。   The format to be transmitted to the display is a format defined by DisplayPort (trademark), and the transmission unit is a format for transmitting SDP (Secondary-data Packet) defined by the DisplayPort (trademark) to the display. The phase detection image data in the imaging device can be packetized and transmitted.

前記伝送部には、前記DisplayPort（商標）で規定されるSDP（Secondary-data Packet）の、位相検出画像情報パケット、および位相検出画像データパケットを利用して、前記撮像装置における前記位相検出画像データをパケット化して伝送させるようにすることができる。   The transmission unit uses the phase detection image information packet and the phase detection image data packet of SDP (Secondary-data Packet) defined by the DisplayPort (trademark), and uses the phase detection image data in the imaging device. Can be packetized for transmission.

前記伝送部には、前記位相検出画像情報パケットを、垂直ブランキング領域に配置させ、前記位相検出画像データパケットを、水平ブランキング領域に配置させて、前記位相検出画像データをパケット化して伝送させるようにすることができる。   The transmission unit arranges the phase detection image information packet in a vertical blanking region, arranges the phase detection image data packet in a horizontal blanking region, and packetizes and transmits the phase detection image data. Can be.

前記位相検出画像情報パケットには、前記位相検出画像データにより構成される位相検出画像の１フレームあたりのライン数および１ライン当たりの画素数、１画素当たりのビット数、並びに１の前記位相検出画像データ当たりの画素数の情報を含ませるようにすることができる。   The phase detection image information packet includes the number of lines per frame of the phase detection image constituted by the phase detection image data, the number of pixels per line, the number of bits per pixel, and one phase detection image. Information on the number of pixels per data can be included.

前記伝送部には、前記位相検出画像データパケットを所定バイト単位でパッキングして伝送させるようにすることができる。   The transmission unit may pack and transmit the phase detection image data packet in units of predetermined bytes.

前記伝送部には、前記ディスプレイに伝送するフォーマットにおける、１の伝送路で複数のストリームを複数のストリームソースから複数のストリームシンクに伝送する方式を利用して、前記可視画像データに加えて、前記撮像装置における前記位相検出画像データを伝送させるようにすることができる。   In addition to the visible image data, the transmission unit uses a method of transmitting a plurality of streams from a plurality of stream sources to a plurality of stream sinks in one transmission path in a format transmitted to the display, The phase detection image data in the imaging apparatus can be transmitted.

前記ディスプレイに伝送するフォーマットは、DisplayPort（商標）で規定されるフォーマットとすることができ、前記伝送部には、前記DisplayPort（商標）で規定されるVirtual Channelを利用して、前記可視画像データからなるストリームと、前記位相検出画像データからなるストリームとを１の伝送路でそれぞれの前記ストリームソースからそれぞれの前記ストリームシンクに伝送することで、前記可視画像データに加えて、前記撮像装置における前記位相検出画像データを伝送させるようにすることができる。   The format to be transmitted to the display can be a format defined by DisplayPort (trademark), and the transmission unit uses the virtual channel defined by the DisplayPort (trademark), from the visible image data. And the stream composed of the phase detection image data are transmitted from the respective stream sources to the respective stream sinks through one transmission path, so that in addition to the visible image data, the phase in the imaging device The detected image data can be transmitted.

前記Virtual Channelの、前記ストリーム毎に個別に設定される、前記ストリームの画像特性情報であるMSA（Main Stream Attributes）には、前記ストリームが前記位相検出画像データからなるストリームの場合、前記位相検出画像データにより構成される位相検出画像の１フレーム当たりのライン数および１ライン当たりの画素数、並びに１画素当たりのビット数の情報を含ませるようにすることができる。   In the MSA (Main Stream Attributes) which is the image characteristic information of the stream set individually for each stream of the Virtual Channel, the phase detection image is obtained when the stream is a stream composed of the phase detection image data. Information on the number of lines per frame and the number of pixels per line and the number of bits per pixel of the phase detection image constituted by data can be included.

前記MSAには、Mvid（ビデオストリームクロック（Video Stream clock）の周波数）、およびNvid（リンククロック（Link clock）周波数）の情報をそれぞれさらに含ませるようにすることができ、前記位相検出画像データからなる位相検出画像の垂直方向画素数および水平方向画素数が、前記可視画像データからなる可視画像の垂直方向画素数および水平方向画素数の、それぞれ１／ｔ、１／ｓであるとき、前記位相検出画像データの前記MSAの前記Mvidと前記Nvidとの比は、前記可視画像データの前記MSAの前記Mvidと前記Nvidとの比の１／（ｔ×ｓ）とすることができる。   The MSA can further include information on Mvid (video stream clock frequency) and Nvid (link clock frequency), respectively, from the phase detection image data. When the number of vertical pixels and the number of horizontal pixels of the detected phase image are 1 / t and 1 / s, respectively, of the number of vertical pixels and the number of horizontal pixels of the visible image made of the visible image data, The ratio of the Mvid of the MSA of the detected image data to the Nvid may be 1 / (t × s) of the ratio of the Mvid of the MSA of the visible image data to the Nvid.

前記MSAには、前記撮像装置を特定する情報をさらに含ませるようにすることができる。   The MSA may further include information for specifying the imaging device.

本技術の一側面の伝送方法は、撮像装置の有効画素データからなる可視画像データを、ディスプレイに伝送するフォーマットを用いて伝送する伝送装置の伝送方法であって、前記可視画像データに加えて、前記撮像装置における位相検出画像データを伝送する伝送するステップを含ませるようにすることができる。   A transmission method according to one aspect of the present technology is a transmission method of a transmission device that transmits visible image data including effective pixel data of an imaging device using a format for transmission to a display, in addition to the visible image data, A step of transmitting phase detection image data in the imaging apparatus may be included.

本技術の一側面の第１のプログラムは、撮像装置の有効画素データからなる可視画像データを、ディスプレイに伝送するフォーマットを用いて伝送する伝送装置を制御するコンピュータに、前記可視画像データに加えて、前記撮像装置における位相検出画像データを伝送する伝送ステップを含む処理を実行させる。   In addition to the visible image data, a first program according to an aspect of the present technology provides a computer that controls a transmission device that transmits visible image data including effective pixel data of an imaging device using a format for transmission to a display. Then, a process including a transmission step of transmitting phase detection image data in the imaging apparatus is executed.

本技術の一側面の受信装置は、撮像装置の有効画素データからなる可視画像データを、ディスプレイに伝送するフォーマットを用いて受信する受信装置であって、前記可視画像データに加えて、前記撮像装置における位相検出画像データを受信する受信部を含む。   A receiving device according to an aspect of the present technology is a receiving device that receives visible image data including effective pixel data of an imaging device using a format for transmission to a display, and in addition to the visible image data, the imaging device Includes a receiving unit for receiving phase detection image data.

本技術の一側面の受信方法は、撮像装置の有効画素データからなる可視画像データを、ディスプレイに伝送するフォーマットを用いて受信する受信装置の受信方法であって、前記可視画像データに加えて、前記撮像装置における位相検出画像データを受信するステップを含む。   A reception method according to one aspect of the present technology is a reception method of a reception device that receives visible image data including effective pixel data of an imaging device using a format for transmission to a display, in addition to the visible image data, Receiving phase detection image data in the imaging apparatus.

本技術の一側面の第２のプログラムは、撮像装置の有効画素データからなる可視画像データを、ディスプレイに伝送するフォーマットを用いて受信する受信装置を制御するコンピュータに、前記可視画像データに加えて、前記撮像装置における位相検出画像データを受信する受信ステップを含む処理を実行させる。   According to a second program of one aspect of the present technology, in addition to the visible image data, a computer that controls a receiving device that receives visible image data including effective pixel data of an imaging device using a format for transmission to a display. Then, a process including a reception step of receiving phase detection image data in the imaging device is executed.

本技術の一側面の伝送システムは、撮像装置の有効画素データからなる可視画像データを、ディスプレイに伝送するフォーマットを用いて伝送する伝送装置と、受信装置とからなる伝送システムであって、前記伝送装置が、前記可視画像データに加えて、前記撮像装置における位相検出画像データを前記受信装置に伝送する伝送部を含み、前記受信装置が、前記可視画像データに加えて、前記撮像装置における位相検出画像データを前記伝送装置から受信する受信部を含む。   A transmission system according to an aspect of the present technology is a transmission system including a transmission device that transmits visible image data including effective pixel data of an imaging device using a format for transmission to a display, and a reception device. An apparatus includes a transmission unit that transmits phase detection image data in the imaging device to the reception device in addition to the visible image data, and the reception device detects phase in the imaging device in addition to the visible image data. A receiving unit configured to receive image data from the transmission device;

本技術の一側面においては、撮像装置の有効画素データからなる可視画像データが、ディスプレイに伝送するフォーマットを用いて伝送されるとき、前記伝送装置により、前記可視画像データに加えて、前記撮像装置における位相検出画像データが前記受信装置に伝送され、前記受信装置により、前記可視画像データに加えて、前記撮像装置における位相検出画像データが前記伝送装置より受信される。   In one aspect of the present technology, when visible image data including effective pixel data of the imaging device is transmitted using a format transmitted to a display, the transmission device adds the imaging device in addition to the visible image data. The phase detection image data in the imaging device is received from the transmission device in addition to the visible image data by the reception device.

本技術の一側面の伝送装置、および受信装置は、独立した装置であっても良いし、伝送処理を行うブロックであっても良い。   The transmission device and the reception device according to one aspect of the present technology may be independent devices or may be blocks that perform transmission processing.

本技術の一側面によれば、既存のディスプレイポートのインタフェースに利用される通信規格において可視画像データに加えて位相検出画像データを送信することが可能となる。   According to one aspect of the present technology, it is possible to transmit phase detection image data in addition to visible image data in a communication standard used for an interface of an existing display port.

本技術を適用した伝送システムの第１の実施の形態の構成例を示す図である。It is a figure showing an example of composition of a 1st embodiment of a transmission system to which this art is applied. ZAF画素を説明する図である。It is a figure explaining a ZAF pixel. MSAとSDPを説明する図である。It is a figure explaining MSA and SDP. MSAとSDPを説明する図である。It is a figure explaining MSA and SDP. SDPの位相検出画像情報パケットの構成を説明する図である。It is a figure explaining the structure of the phase detection image information packet of SDP. SDPの位相検出画像情報パケットの伝送形式を説明する図である。It is a figure explaining the transmission format of the phase detection image information packet of SDP. SDPの位相検出画像データパケットの構成と伝送形式を説明する図である。It is a figure explaining the structure and transmission format of a phase detection image data packet of SDP. MSAの伝送形式を説明する図である。It is a figure explaining the transmission format of MSA. MSAの構成を説明する図である。It is a figure explaining the structure of MSA. MSAの構成を説明する図である。It is a figure explaining the structure of MSA. 図１の伝送システムによる送受信処理を説明するフローチャートである。It is a flowchart explaining the transmission / reception process by the transmission system of FIG. 本技術を適用した伝送システムの第２の実施の形態の構成例を示す図である。It is a figure which shows the structural example of 2nd Embodiment of the transmission system to which this technique is applied. ZAF画像を説明する図である。It is a figure explaining a ZAF image. Virtual Channelを説明する図である。It is a figure explaining Virtual Channel. 可視画像とZAF画像おけるMSAの比較を説明する図である。It is a figure explaining the comparison of MSA in a visible image and a ZAF image. 図１１の伝送システムによる送受信処理を説明するフローチャートである。It is a flowchart explaining the transmission / reception process by the transmission system of FIG. 汎用のパーソナルコンピュータの構成例を説明する図である。And FIG. 11 is a diagram illustrating a configuration example of a general-purpose personal computer.

なお、説明は以下の順序で行う。
１．第１の実施の形態（Secondary-data Packetを利用した例）
２．第２の実施の形態（Virtual Channelを利用した例） The description will be given in the following order.
1. First embodiment (example using Secondary-data Packet)
2. Second embodiment (example using Virtual Channel)

＜１．第１の実施の形態＞
＜Secondary-data Packetを利用した伝送システムの構成例＞
図１は、本技術を適用した伝送システムの一実施の形態の構成例を示している。図１の伝送システムは、図示せぬ撮像装置により生成（撮像）された画像データを伝送するシステムである。 <1. First Embodiment>
<Configuration example of transmission system using Secondary-data Packet>
FIG. 1 shows a configuration example of an embodiment of a transmission system to which the present technology is applied. The transmission system in FIG. 1 is a system that transmits image data generated (imaged) by an imaging device (not shown).

より具体的には、図１の伝送システムは、伝送部２１および受信部２２より構成されている。伝送部２１は、図示せぬ撮像装置より供給される可視画像データに加えて、位相検出画像データ（ZAF画像データ）を、ディスプレイに送信する規格であるDisplayPort（商標）のSDP（Secondary-data Packet）と呼ばれるフォーマットで受信部２２に送信する。受信部２２は、伝送部２１より送信されてきた可視画像データと共に、位相検出画像データを受信する。尚、以降においては、位相検出画像を、ZAF画像とも称する。また、本明細書においては、画像は、複数の画素より構成されるものとし、画像データは、複数の画素の画素値等のデータである画素データより構成されるものとする。   More specifically, the transmission system in FIG. 1 includes a transmission unit 21 and a reception unit 22. The transmission unit 21 includes SDP (Secondary-data Packet) of DisplayPort (trademark), which is a standard for transmitting phase detection image data (ZAF image data) to a display in addition to visible image data supplied from an imaging device (not shown). ) In a format called “)”. The receiving unit 22 receives the phase detection image data together with the visible image data transmitted from the transmission unit 21. Hereinafter, the phase detection image is also referred to as a ZAF image. In this specification, an image is assumed to be composed of a plurality of pixels, and image data is assumed to be composed of pixel data that is data such as pixel values of the plurality of pixels.

＜ZAF画素について＞
撮像領域に設定された画素には、可視画像データを生成する有効画素に加えて、所定の間隔でZAF画素が配置されている。このZAF画素には、画素の左側半分が遮光された左遮光画素と、右側半分が遮光された右遮光画素とが存在し、それぞれの画素により撮像された像は、焦点距離に応じて左右にずれる。このため、合焦点における像については、左遮光画素における像と、右遮光画素における像とが一致するが、合焦点からずれた像については、それぞれの像との間に焦点距離のずれ量に応じた位相差が生じる。そこで、この位相差に基づいて、焦点距離のずれ量を求めて、焦点調整を行うようにすることで高速に焦点調整を行うことができる。 <About ZAF pixels>
In the pixels set in the imaging region, ZAF pixels are arranged at a predetermined interval in addition to effective pixels that generate visible image data. In this ZAF pixel, there are a left light-shielded pixel in which the left half of the pixel is shielded and a right light-shielded pixel in which the right half is shielded, and an image captured by each pixel is horizontally shifted according to the focal length. Shift. For this reason, with respect to the image at the focal point, the image at the left light-shielding pixel and the image at the right light-shielded pixel coincide with each other. A corresponding phase difference occurs. Therefore, the focus adjustment can be performed at high speed by obtaining the focal length deviation amount based on the phase difference and performing the focus adjustment.

ZAF画素は、例えば、図２で示されるように配置されている。図２は、有効画素領域内の画素配列例を示している。図２においては、各マス目が画素を表しており、白色のマス目が通常のRGB画素であり、左右のいずれか半分の領域に斜線部で示される遮光部が設けられたマス目がZAF画素である。このようにZAF画素は、垂直方向に３ライン間隔と５ライン間隔とで交互に配置され、かつ、水平方向に８画素間隔で配置されている。このため、図２の例においては、ZAF画素の画素数は、有効画素領域の全画素数に対して、水平方向に１／８の画素数とされ、垂直方向に１／４の画素数とされる。したがって、図２の例においては、ZAF画素の画素数は、有効画素領域の全画素数に対して１／３２となる。   For example, the ZAF pixels are arranged as shown in FIG. FIG. 2 shows a pixel arrangement example in the effective pixel region. In FIG. 2, each square represents a pixel, a white square is a normal RGB pixel, and a square provided with a light-shielding portion indicated by hatching in either half of the left or right area is a ZAF. Pixel. As described above, the ZAF pixels are alternately arranged at intervals of 3 lines and 5 lines in the vertical direction, and are arranged at intervals of 8 pixels in the horizontal direction. Therefore, in the example of FIG. 2, the number of ZAF pixels is set to 1/8 the number of pixels in the horizontal direction and ¼ the number of pixels in the vertical direction with respect to the total number of pixels in the effective pixel region. Is done. Therefore, in the example of FIG. 2, the number of ZAF pixels is 1/32 of the total number of pixels in the effective pixel area.

次に、図１の伝送システムにおける伝送部２１および受信部２２の構成について説明する。   Next, the configuration of the transmission unit 21 and the reception unit 22 in the transmission system of FIG. 1 will be described.

伝送部２１は、MSA生成部４１、SDP生成部４２、および多重化部４３を備えている。   The transmission unit 21 includes an MSA generation unit 41, an SDP generation unit 42, and a multiplexing unit 43.

MSA生成部４１は、伝送しようとする、有効画素データからなる画像データ（可視画像データ）の１フレーム当たりのライン数および１ライン当たりの画素数、並びに１画素当たりのビット数等の画像特性情報であるMSA（Main Stream Attributes）を生成して多重化部４３に供給する。尚、MSAについては、図８乃至図１０を参照して詳細を後述する。   The MSA generator 41 transmits image characteristic information such as the number of lines per frame and the number of pixels per line of image data (visible image data) composed of effective pixel data to be transmitted, and the number of bits per pixel. MSA (Main Stream Attributes) is generated and supplied to the multiplexing unit 43. Details of the MSA will be described later with reference to FIGS.

SDP生成部４２は、ZAF画素データを、SDP（Secondary-data Packet）と呼ばれる、有効画素領域以外の水平ブランキング領域および垂直ブランキング領域にパケット化して伝送するためのフォーマットからなるパケットを生成して多重化部４３に供給する。尚、SDPについては、図３乃至図７を参照して詳細を後述する。   The SDP generation unit 42 generates a packet having a format for packetizing the ZAF pixel data into a horizontal blanking region and a vertical blanking region other than the effective pixel region, which are called SDP (Secondary-data Packet). To the multiplexing unit 43. Details of the SDP will be described later with reference to FIGS.

多重化部４３は、MSA生成部４１より供給されてくるMSA、SDP生成部４２より供給されてくるSDP、および入力される有効画素データからなる画像データ（可視画像データ）を多重化し、多重化データとして出力する。   The multiplexing unit 43 multiplexes and multiplexes the image data (visible image data) composed of the MSA supplied from the MSA generation unit 41, the SDP supplied from the SDP generation unit 42, and the input effective pixel data. Output as data.

受信部２２は、分割部６１、MSA読取部６２、SDP読取部６３、および画像生成部６４を備えている。分割部６１は、伝送部２１より送信されてくる多重化データを、MSA、SDP、および可視画像データに分割し、MSAをMSA読取部６２に、SDPをSDP読取部６３、可視画像データを画像生成部６４にそれぞれ供給する。   The receiving unit 22 includes a dividing unit 61, an MSA reading unit 62, an SDP reading unit 63, and an image generation unit 64. The dividing unit 61 divides the multiplexed data transmitted from the transmission unit 21 into MSA, SDP, and visible image data, MSA into the MSA reading unit 62, SDP into the SDP reading unit 63, and visible image data into the image. It supplies to the production | generation part 64, respectively.

MSA読取部６２は、供給されたMSAに基づいて、可視画像データの１フレーム当たりのライン数および１ライン当たりの画素数、並びに１画素当たりのビット数の情報を読取り、読み取った情報を画像生成部６４に供給する。   Based on the supplied MSA, the MSA reading unit 62 reads information on the number of lines per frame of the visible image data, the number of pixels per line, and the number of bits per pixel, and generates the read information as an image. Supplied to the unit 64.

SDP読取部６３は、SDPを読取り、パケット化されているZAF画像データを抽出して出力する。   The SDP reading unit 63 reads the SDP, extracts the packetized ZAF image data, and outputs it.

画像生成部６４は、可視画像データを取得すると共に、MSAの情報に基づいて、可視画像を再構成して出力する。   The image generation unit 64 acquires visible image data and reconstructs and outputs a visible image based on the MSA information.

＜SDP（Secondary-data Packet）について＞
次に、SDPについて説明する。 <About SDP (Secondary-data Packet)>
Next, SDP will be described.

SDPは、各フレームについて、水平ブランキング領域と垂直ブランキング領域とを利用して、可視画像データ（有効画素データ）以外のデータをパケット化して送信するものである。また、SDPには、位相検出画像情報パケット、および位相検出画像データパケットの２種類がある。   In SDP, data other than visible image data (effective pixel data) is packetized and transmitted using a horizontal blanking area and a vertical blanking area for each frame. There are two types of SDP: a phase detection image information packet and a phase detection image data packet.

位相検出画像情報パケットは、ZAF画像データの１フレームあたりのライン数および１ライン当たりの画素数、１画素当たりのビット数、並びに１のZAF画素データ当たりの画素数の情報を含むパケットである。   The phase detection image information packet is a packet including information on the number of lines per frame of the ZAF image data, the number of pixels per line, the number of bits per pixel, and the number of pixels per ZAF pixel data.

また、位相検出画像データパケットは、複数のZAF画素データそのものを構成するものである。   Further, the phase detection image data packet constitutes a plurality of ZAF pixel data itself.

位相検出画像情報パケット、および位相検出画像データパケットは、１フレームの画像内において、例えば、図３で示されるように配置されるパケット化されたデータである。   The phase detection image information packet and the phase detection image data packet are packetized data arranged as shown in FIG. 3, for example, in one frame image.

尚、図３においては、右下部で示される（（有効画素数（Ｈｗｉｄｔｈ）：Ｘ）×（有効ｌｉｎｅ数（Ｖｈｅｉｇｈｔ）：Ｙ））の領域が有効画素領域７１である。また、有効画素領域７１内におけるラインＬ１乃至Ｌ１５は、ZAF画素が存在するラインであり、各ラインの間隔は、図２と同様であれば、例えば、ラインＬ１とＬ２との間隔が５ラインであり、ラインＬ２とＬ３との間隔が３ラインとなり、以降、３ラインと５ラインとが交互に繰り返される間隔となる。   In FIG. 3, an area of ((effective pixel number (Hwidth): X) × (effective line number (Vheight): Y)) shown in the lower right is an effective pixel area 71. Further, the lines L1 to L15 in the effective pixel area 71 are lines where the ZAF pixels exist, and the interval between the lines is the same as in FIG. 2, for example, the interval between the lines L1 and L2 is 5 lines. Yes, the interval between the lines L2 and L3 is 3 lines, and thereafter the 3 lines and 5 lines are alternately repeated.

有効画素領域７１の上部には、垂直ブランキング領域（Ｖｂｌａｎｋ）７２が設けられており、この中にMSA８１とSDPのうちの位相検出画像情報パケット８２が配置されている。   A vertical blanking area (Vblank) 72 is provided above the effective pixel area 71, and a phase detection image information packet 82 of the MSA 81 and the SDP is disposed therein.

また、有効画素領域７１の左側には、水平ブランキング領域（Ｈｂｌａｎｋ）７３が設けられており、有効画素領域７１におけるZAF画素が存在する各ラインの１ライン下に位相検出画像データパケット８３−１乃至８３−１５が配置されている。従って、位相検出画像データパケット８３−１乃至８３−１５が配置されるラインについても、垂直方向に対して３ライン及び５ラインの交互の間隔で配置される。尚、位相検出画像データパケット８３−１乃至８３−１５を特に区別する必要が無い場合、単に、位相検出画像データパケット８３と称するものとし、その他の構成についても同様に称するものとする。   Further, a horizontal blanking area (Hblank) 73 is provided on the left side of the effective pixel area 71, and the phase detection image data packet 83-1 is below one line of each line where the ZAF pixel exists in the effective pixel area 71. To 83-15 are arranged. Therefore, the lines on which the phase detection image data packets 83-1 to 83-15 are arranged are also arranged at alternate intervals of 3 lines and 5 lines in the vertical direction. In addition, when it is not necessary to particularly distinguish the phase detection image data packets 83-1 to 83-15, the phase detection image data packet 83 is simply referred to as a phase detection image data packet 83, and the other configurations are also referred to similarly.

従って、図３においては、位相検出画像データパケット８３は、水平ブランキング領域（Ｈｂｌａｎｋ）７３において１／４程度しか使用しないことになる。そこで、各位相検出画像データパケット８３を４分割して、位相検出画像データパケット８３が配置されていないラインに折り返して配置するようにすることで、例えば、図４で示されるように配置することができる。このような配置とすることにより、位相検出画像データパケット８３に必要とされる水平ブランキング領域（Ｈｂｌａｎｋ）７３は、水平方向に対して１／４にすることが可能となる。   Therefore, in FIG. 3, the phase detection image data packet 83 uses only about ¼ in the horizontal blanking region (Hblank) 73. Therefore, each phase detection image data packet 83 is divided into four parts and folded and arranged on a line where the phase detection image data packet 83 is not arranged, for example, as shown in FIG. Can do. With this arrangement, the horizontal blanking area (Hblank) 73 required for the phase detection image data packet 83 can be reduced to ¼ with respect to the horizontal direction.

＜位相検出画像情報パケットの構成について＞
次に、図５を参照して、位相検出画像情報パケット８２の構成について説明する。DisplayPort（商標）で規定されるSDPのパケットヘッダは、図５の上段で示されるＨＢ０乃至ＨＢ３の４バイトから構成されている。先頭の１バイトであるＨＢ０には、扱っている位相検出画像を識別する情報が記録される。このため、同じ位相検出画像である場合については、同じ値が用いられる。 <Configuration of phase detection image information packet>
Next, the configuration of the phase detection image information packet 82 will be described with reference to FIG. The SDP packet header defined by DisplayPort (trademark) is composed of 4 bytes HB0 to HB3 shown in the upper part of FIG. Information for identifying the phase detection image being handled is recorded in HB0, which is the first byte. For this reason, the same value is used for the same phase detection image.

２バイト目であるＨＢ１には、パケットタイプ（Secondary-data Packet type）を示す情報が記録される。このＨＢ１には、予めディスプレイタイプを特定するため、００ｈ乃至０７ｈについては、所定のディスプレイタイプが設定されているが、ｈ０８乃至０Ｆｈは未設定（DisplayPort RESERVED）とされている。そこで、この未設定の０８ｈ乃至０Ｆｈのいずれかに位相検出画像情報パケットを示す情報を割り当てるようにする。例えば、０８ｈを位相検出画像情報パケットを示す情報として割り当てるようにしてもよい。   In HB1, which is the second byte, information indicating a packet type (Secondary-data Packet type) is recorded. In order to specify the display type in advance in HB1, a predetermined display type is set for 00h to 07h, but h08 to 0Fh is not set (DisplayPort RESERVED). Therefore, information indicating the phase detection image information packet is assigned to any of the unset 08h to 0Fh. For example, 08h may be assigned as information indicating the phase detection image information packet.

３，４バイト目であるＨＢ２，ＨＢ３は、未使用（Reserved（all 0））とされている。   HB2 and HB3 which are the third and fourth bytes are unused (Reserved (all 0)).

位相検出画像情報パケットのデータパケットは、図５の下部で示されるように先頭バイトであるＤＢ０には、位相検出画像データの１Ｖ当たりのライン数の下位８ビットの情報が記録される。また、２バイト目のＤＢ１には、位相検出画像データの１Ｖ当たりのライン数の上位８ビットの情報が記録される。ここでいう１Ｖあたりのライン数とは、例えば、図３におけるラインＬ１乃至Ｌ１５のライン数である。   In the data packet of the phase detection image information packet, as shown in the lower part of FIG. 5, the lower 8 bits of the number of lines per 1V of the phase detection image data are recorded in the first byte DB0. In the second byte DB1, information on the upper 8 bits of the number of lines per 1 V of the phase detection image data is recorded. The number of lines per 1 V here is, for example, the number of lines L1 to L15 in FIG.

３バイト目であるＤＢ２には、位相検出画像データの１Ｈ当たりの画素（pixel）数の下位８ビットの情報が記録される。また、４バイト目のＤＢ３には、位相検出画像データの１Ｖ当たりの画素（pixel）数の上位８ビットの情報が記録される。ここでいう１Ｈあたりの画素数とは、例えば、図３におけるラインＬ１乃至Ｌ１５のそれぞれに含まれる位相検出画素の画素数である。   In DB2, which is the third byte, information of lower 8 bits of the number of pixels per 1H of the phase detection image data is recorded. In the fourth byte DB3, information on the upper 8 bits of the number of pixels per 1 V of the phase detection image data is recorded. The number of pixels per 1H here is, for example, the number of phase detection pixels included in each of the lines L1 to L15 in FIG.

５バイト目であるＤＢ４には、位相検出画像データパケットの１パケット当たりの画素（pixel）数の下位８ビットの情報が記録される。また、６バイト目のＤＢ５には、位相検出画像データパケットの１パケット当たりの画素（pixel）数の上位８ビットの情報が記録される。   In the DB4 that is the fifth byte, information of lower 8 bits of the number of pixels per packet of the phase detection image data packet is recorded. Also, the upper 8 bits of information on the number of pixels per packet of the phase detection image data packet are recorded in the DB5 of the sixth byte.

７バイト目であるＤＢ６には、位相検出画像データパケットの１画素（pixel）当たりのビット数の情報が記録される。また、８乃至１６バイト目のＤＢ７乃至ＤＢ１５は、未使用領域（Reserved（all 0））とされている。   Information on the number of bits per pixel of the phase detection image data packet is recorded in the DB 6 that is the seventh byte. In addition, the 8th to 16th bytes of DB7 to DB15 are unused areas (Reserved (all 0)).

＜伝送形式＞
次に、図６を参照して、SDPの伝送時のフォーマットについて説明する。尚、この例においては、４レーンの場合について説明するものとするが、その他のレーン数であってもよいものである。 <Transmission format>
Next, with reference to FIG. 6, the format at the time of SDP transmission will be described. In this example, the case of four lanes will be described, but other numbers of lanes may be used.

図６においては、左から右に向かってレーン０（Ｌａｎｅ０）乃至レーン３（Ｌａｎｅ３）について上から下に向かって時系列に配置されるデータの伝送形式が示されている。SDPの開始を示すＳＳの下にレーン０からレーン３に向かって、ヘッダＨＢ０乃至ＨＢ３が構成され、各レーンについて１バイトずつが配置される。   FIG. 6 shows a transmission format of data arranged in time series from top to bottom for Lane 0 (Lane 0) to Lane 3 (Lane 3) from left to right. Headers HB0 to HB3 are configured from lane 0 to lane 3 under SS indicating the start of SDP, and one byte is arranged for each lane.

図中のヘッダＨＢ０乃至ＨＢ３の下には、パリティ（ｐａｒｉｔｙ）ＰＢ０乃至ＰＢ３が構成されており、レーン０からレーン３に向かって各レーンについて１バイトずつ配置される。   Parity PB0 to PB3 are configured under the headers HB0 to HB3 in the figure, and one byte is arranged from lane 0 to lane 3 for each lane.

図中のパリティＰＢ０乃至ＰＢ３の下には、各レーンについて、下方向に向かってデータＤＢ０乃至ＤＢ１５が４バイトずつ配置され、合計１６バイトが配置される。すなわち、レーン０については、データＤＢ０乃至ＤＢ３が、レーン１については、データＤＢ４乃至ＤＢ７が、レーン２については、ＤＢ８乃至ＤＢ１１が、レーン３については、ＤＢ１２乃至ＤＢ１５が配置される。   Under the parities PB0 to PB3 in the figure, for each lane, 4 bytes of data DB0 to DB15 are arranged downward, and a total of 16 bytes are arranged. That is, data DB0 to DB3 are arranged for lane 0, data DB4 to DB7 are arranged for lane 1, DB8 to DB11 are arranged for lane 2, and DB12 to DB15 are arranged for lane 3.

図中の各レーンのデータＤＢ０乃至ＤＢ１５の下には、パリティ（ｐａｒｉｔｙ）ＰＢ４乃至ＰＢ７が構成されており、レーン０からレーン３に向かって各レーンについて１バイトずつ配置される。   Parity PB4 to PB7 are configured under the data DB0 to DB15 of each lane in the figure, and one byte is arranged for each lane from lane 0 to lane 3.

さらに、図中のパリティＰＢ４乃至ＰＢ７の下のレーン０乃至２については、下方向に向かって４バイトずつデータＤＢ１６乃至ＤＢ２７が配置される。すなわち、レーン０については、データＤＢ１６乃至ＤＢ１９が、レーン１については、ＤＢ２０乃至ＤＢ２３が、レーン２については、ＤＢ２４乃至ＤＢ２７が下方向に向かって配置される。尚、伝送すべきデータが２８バイトであるため、レーン３については、All 0sとされ、ブランクにされている。   Further, in the lanes 0 to 2 below the parities PB4 to PB7 in the figure, data DB16 to DB27 are arranged by 4 bytes downward. That is, data DB16 to DB19 are arranged in the downward direction for lane 0, DB20 to DB23 for lane 1, and DB24 to DB27 are arranged in the downward direction for lane 2. Since the data to be transmitted is 28 bytes, lane 3 is set to All 0s and is blanked.

さらに、各レーンのデータの下には、パリティ（ｐａｒｉｔｙ）ＰＢ８乃至ＰＢ１１が構成されており、レーン０からレーン３に向かって各レーンについて１バイトずつ配置される。最下段には、各レーンについてSDPの終了を示すＳＥが配置される。   Further, under the data of each lane, parity (parity) PB8 to PB11 is configured, and one byte is arranged for each lane from lane 0 to lane 3. In the bottom row, an SE indicating the end of SDP is arranged for each lane.

このようにデータ１６バイトについて、４バイトのパリティが付されて転送される。   Thus, 16 bytes of data are transferred with a 4-byte parity.

＜位相検出画像データパケットの構成例＞
次に、図７を参照して、位相検出画像データパケットの構成例について説明する。尚、位相検出画像データパケットのパケットヘッダについては、図７の上段で示されるように、図５を参照して説明した位相検出画像情報パケットと同様の構成とされる。ただし、２バイト目であるヘッダＨＢ１の、ディスプレイタイプを示す情報についてはｈ０８乃至０Ｆｈの未設定（DisplayPort RESERVED）の値のいずれかを割り当てる。例えば、０９ｈを位相検出画像データパケットを示す情報として割り当てるようにしてもよい。 <Configuration example of phase detection image data packet>
Next, a configuration example of the phase detection image data packet will be described with reference to FIG. The packet header of the phase detection image data packet has the same configuration as that of the phase detection image information packet described with reference to FIG. 5, as shown in the upper part of FIG. However, for the information indicating the display type of the header HB1 which is the second byte, any of unset values (DisplayPort RESERVED) from h08 to 0Fh is assigned. For example, 09h may be assigned as information indicating a phase detection image data packet.

位相検出画像データパケットのデータパケットは、データＤＢ０乃至ＤＢ１５に順次ZAF画素データが格納される。   In the data packet of the phase detection image data packet, the ZAF pixel data is sequentially stored in the data DB0 to DB15.

例えば、図７の中段で示されるように、図中の左から0番目のビット乃至9番目のビットまでのデータからなる１０ビットのZAF画素データAF0［9:0］乃至AF15［9:0］・・・が構成される場合、図７の下段で示されるように、８ビットずつデータＤＢ０乃至ＤＢ１５に割り当てられて、転送される。尚、図７の下段においては、４レーンで転送される際のデータ配置が示されており、上からレーン（Ｌａｎｅ）０乃至レーン（Ｌａｎｅ）３のデータ配置が示されている。尚、［9:0］は、先頭ビット（０）から１０ビット目（９）までを示している。   For example, as shown in the middle of FIG. 7, 10-bit ZAF pixel data AF0 [9: 0] to AF15 [9: 0] consisting of data from the 0th bit to the 9th bit from the left in the drawing. .. Is configured, as shown in the lower part of FIG. 7, 8 bits are assigned to data DB0 to DB15 and transferred. In the lower part of FIG. 7, the data arrangement when transferring in 4 lanes is shown, and the data arrangement of lane 0 to lane 3 is shown from the top. [9: 0] indicates the first bit (0) to the tenth bit (9).

すなわち、レーン０においては、図中左から右に向かって、先頭の１バイトのデータＤＢ０には、先頭のZAF画素データAF0［9:0］のうちの、AF1［9:2］が割り当てられている。   That is, in lane 0, from the left to the right in the figure, AF1 [9: 2] of the first ZAF pixel data AF0 [9: 0] is assigned to the first 1-byte data DB0. ing.

レーン０の２番目の１バイトのデータＤＢ１には、先頭のZAF画素データAF0［9:0］のうちの、AF0［1:0］と、５番目のZAF画素データAF4［9:0］のうちの、AF4［9:4］とからなる８ビットが割り当てられている。   The second 1-byte data DB1 of lane 0 includes AF0 [1: 0] of the first ZAF pixel data AF0 [9: 0] and the fifth ZAF pixel data AF4 [9: 0]. Of these, 8 bits consisting of AF4 [9: 4] are allocated.

レーン０の３番目の１バイトのデータＤＢ２には、５番目のZAF画素データAF4［9:0］のうちの、AF4［3:0］と、９番目のZAF画素データAF8［9:0］のうちの、AF8［9:6］とからなる８ビットが割り当てられている。   The third 1-byte data DB2 of lane 0 includes AF4 [3: 0] of the fifth ZAF pixel data AF4 [9: 0] and the ninth ZAF pixel data AF8 [9: 0]. Of these, 8 bits consisting of AF8 [9: 6] are allocated.

レーン０の４番目の１バイトのデータＤＢ３には、９番目のZAF画素データAF8［5:0］と、１３番目のZAF画素データAF12［9:8］とからなる８ビットが割り当てられている。   8 bits consisting of the 9th ZAF pixel data AF8 [5: 0] and the 13th ZAF pixel data AF12 [9: 8] are allocated to the fourth 1-byte data DB3 of Lane 0. .

レーン０の５番目の１バイトのデータＤＢ１６には、１３番目のZAF画素データAF12［7:0］の８ビットが割り当てられている。   8 bits of the 13th ZAF pixel data AF12 [7: 0] are allocated to the data DB 16 of the fifth 1-byte in Lane 0.

また、レーン１においては、先頭の１バイトのデータＤＢ４には、２番目のZAF画素データAF1［9:2］の８ビットが割り当てられている。   In lane 1, 8 bits of the second ZAF pixel data AF1 [9: 2] are allocated to the first 1-byte data DB4.

レーン１の２番目の１バイトのデータＤＢ５には、２番目のZAF画素データAF1［1:0］と、６番目のZAF画素データAF5［9:4］とからなる８ビットが割り当てられている。   8 bits consisting of the second ZAF pixel data AF1 [1: 0] and the sixth ZAF pixel data AF5 [9: 4] are allocated to the second 1-byte data DB5 of Lane 1. .

レーン１の３番目の１バイトのデータＤＢ６には、６番目のZAF画素データAF5［3:0］と、１０番目のZAF画素データAF9［9:6］とからなる８ビットが割り当てられている。   8 bits consisting of the sixth ZAF pixel data AF5 [3: 0] and the tenth ZAF pixel data AF9 [9: 6] are allocated to the third 1-byte data DB 6 of Lane 1. .

レーン１の４番目の１バイトのデータＤＢ７には、１０番目のZAF画素データAF9［5:0］と、１４番目のZAF画素データAF13［9:8］とからなる８ビットが割り当てられている。   8 bits consisting of the 10th ZAF pixel data AF9 [5: 0] and the 14th ZAF pixel data AF13 [9: 8] are assigned to the fourth 1-byte data DB 7 of Lane 1. .

レーン１の５番目の１バイトのデータＤＢ２０には、１４番目のZAF画素データAF13［7:0］とからなる８ビットが割り当てられている。   8 bits consisting of the 14th ZAF pixel data AF13 [7: 0] are allocated to the fifth 1-byte data DB 20 of the lane 1.

さらに、レーン２においては、先頭の１バイトのデータＤＢ８には、３番目のZAF画素データAF2［9:2］の８ビットが割り当てられている。   Furthermore, in lane 2, 8 bits of the third ZAF pixel data AF2 [9: 2] are allocated to the first one byte data DB8.

レーン２の２番目の１バイトのデータＤＢ９には、３番目のZAF画素データAF2［1:0］と、７番目のZAF画素データAF6［9:4］とからなる８ビットが割り当てられている。   8 bits consisting of the third ZAF pixel data AF2 [1: 0] and the seventh ZAF pixel data AF6 [9: 4] are allocated to the second 1-byte data DB 9 in lane 2. .

レーン２の３番目の１バイトのデータＤＢ６には、７番目のZAF画素データAF6［3:0］と、１１番目のZAF画素データAF10［9:6］とからなる８ビットが割り当てられている。   The third 1-byte data DB 6 in lane 2 is assigned 8 bits including the seventh ZAF pixel data AF6 [3: 0] and the eleventh ZAF pixel data AF10 [9: 6]. .

レーン２の４番目の１バイトのデータＤＢ１１には、１１番目のZAF画素データAF10［5:0］と、１５番目のZAF画素データAF14［9:8］とからなる８ビットが割り当てられている。   8 bits consisting of the 11th ZAF pixel data AF10 [5: 0] and the 15th ZAF pixel data AF14 [9: 8] are allocated to the fourth 1-byte data DB 11 of Lane 2. .

レーン２の５番目の１バイトのデータＤＢ２４には、１５番目のZAF画素データAF14［7:0］の８ビットが割り当てられている。   8 bits of the 15th ZAF pixel data AF14 [7: 0] are allocated to the fifth 1-byte data DB 24 of the lane 2.

また、レーン３においては、先頭の１バイトのデータＤＢ１２には、４番目のZAF画素データAF3［9:2］の８ビットが割り当てられている。   In lane 3, 8 bits of the fourth ZAF pixel data AF3 [9: 2] are allocated to the first 1-byte data DB 12.

レーン３の２番目の１バイトのデータＤＢ１３には、４番目のZAF画素データAF3［1:0］と、８番目のZAF画素データAF7［9:4］とからなる８ビットが割り当てられている。   8 bits consisting of the fourth ZAF pixel data AF3 [1: 0] and the eighth ZAF pixel data AF7 [9: 4] are allocated to the second 1-byte data DB 13 of the lane 3. .

レーン３の３番目の１バイトのデータＤＢ１４には、８番目のZAF画素データAF7［3:0］と、１２番目のZAF画素データAF11［9:6］とからなる８ビットが割り当てられている。   The third 1-byte data DB 14 in lane 3 is assigned 8 bits including the 8th ZAF pixel data AF7 [3: 0] and the 12th ZAF pixel data AF11 [9: 6]. .

レーン３の４番目の１バイトのデータＤＢ１５には、１２番目のZAF画素データAF11［5:0］と、１６番目のZAF画素データAF15［9:8］とからなる８ビットが割り当てられている。   8 bits consisting of the 12th ZAF pixel data AF11 [5: 0] and the 16th ZAF pixel data AF15 [9: 8] are assigned to the fourth 1-byte data DB 15 in Lane 3. .

レーン３の５番目の１バイトのデータＤＢ２８には、１６番目のZAF画素データAF15［7:0］の８ビットが割り当てられている。   Eight bits of the 16th ZAF pixel data AF15 [7: 0] are assigned to the fifth 1-byte data DB 28 of the lane 3.

尚、伝送形式は、図６を参照して説明した位相情報画像情報パケットと同様であるので、その説明は省略するものとする。   Since the transmission format is the same as that of the phase information image information packet described with reference to FIG. 6, the description thereof is omitted.

すなわち、SDPに基づくフォーマットを利用することにより、ZAF画素データをパケット化して送受信することが可能となる。   That is, by using a format based on SDP, ZAF pixel data can be packetized and transmitted / received.

＜MSAについて＞
次に、図８乃至図１０を参照して、MSAについて説明する。 <About MSA>
Next, MSA will be described with reference to FIGS.

MSAは、伝送時には、図８で示されるような配置とされる。図８においては、４レーンである場合のMSAの配置例が示されており、左からレーン０（Ｌａｎｅ０）乃至レーン３（Ｌａｎｅ３）が示されており、上から下方向に時系列に配置されている。   The MSA is arranged as shown in FIG. 8 during transmission. FIG. 8 shows an arrangement example of MSA in the case of 4 lanes. Lane 0 (lane 0) to lane 3 (lane 3) are shown from the left, and are arranged in time series from top to bottom. ing.

各レーンについて、MSAの開始を示すＳＳが２回連続して配置される。   For each lane, SS indicating the start of MSA is arranged twice in succession.

次に、各レーンについて、上から同一のビデオストリームのクロック周波数を示すＭｖｉｄ２３：１６、Ｍｖｉｄ１５：８、Ｍｖｉｄ７：０が１バイトずつ配置される。ここで、Ｍｖｉｄは、ビデオストリームのクロック周波数の情報であり、Ｍｖｉｄ２３：１６は、ビデオストリームのクロック周波数の１６乃至２３ビット目の情報である。また、Ｍｖｉｄ１５：８は、ビデオストリームのクロック周波数の８乃至１５ビット目の情報である。さらに、Ｍｖｉｄ７：０は、ビデオストリームのクロック周波数の０乃至７ビット目の情報である。   Next, for each lane, Mbyte 23:16, Mvid 15: 8, and Mvid 7: 0 indicating the clock frequency of the same video stream are arranged byte by byte from the top. Here, Mvid is information on the clock frequency of the video stream, and Mvid23: 16 is information on the 16th to 23rd bits of the clock frequency of the video stream. Mvid 15: 8 is information on the 8th to 15th bits of the clock frequency of the video stream. Further, Mvid7: 0 is 0th to 7th bit information of the clock frequency of the video stream.

Ｌａｎｅ０については、Ｍｖｉｄの下に、Ｈｔｏｔａｌ１５：８、Ｈｔｏｔａｌ７：０がそれぞれ１バイトずつ配置される。Ｈｔｏｔａｌは、図９の上段で示されるように有効画素領域７１と水平ブランキング領域７３とを加算した水平方向の画素数である。Ｈｔｏｔａｌ１５：８、Ｈｔｏｔａｌ７：０は、それぞれＨｔｏｔａｌの８乃至１５ビット目の情報、および０乃至７ビット目の情報である。   For Lane 0, Htotal 15: 8 and Htotal 7: 0 are arranged one byte at a time under Mvid. Htotal is the number of pixels in the horizontal direction obtained by adding the effective pixel region 71 and the horizontal blanking region 73 as shown in the upper part of FIG. Htotal15: 8 and Htotal7: 0 are information on the 8th to 15th bits of Htotal and information on the 0th to 7th bits, respectively.

Ｌａｎｅ０について、Ｈｔｏｔａｌの下に、Ｖｔｏｔａｌ１５：８、Ｖｔｏｔａｌ７：０がそれぞれ１バイトずつ配置される。Ｖｔｏｔａｌは、図９の上段で示されるように有効画素領域７１の有効ライン数と、垂直ブランキング領域７２とを加算した垂直方向のライン数である。Ｖｔｏｔａｌ１５：８、Ｖｔｏｔａｌ７：０は、それぞれＶｔｏｔａｌの８乃至１５ビット目の情報、および０乃至７ビット目の情報である。   For Lane0, Vtotal15: 8 and Vtotal7: 0 are arranged one byte at a time under Htotal. Vtotal is the number of lines in the vertical direction obtained by adding the number of effective lines in the effective pixel area 71 and the vertical blanking area 72, as shown in the upper part of FIG. Vtotal15: 8 and Vtotal7: 0 are information of 8th to 15th bits and information of 0th to 7th bits of Vtotal, respectively.

Ｌａｎｅ０について、Ｖｔｏｔａｌの下に、ＨＳＰ／ＨＳＷ１４：８、ＨＳＷ７：０がそれぞれ１バイトずつ配置される。ＨＳＰは、Ｈｓｙｎｃ（水平同期信号）の極性を示す１ビットの情報であり、図９の中段で示されるようにactive highが０であり、active lowが１である。また、ＨＳＷは、Ｈｓｙｎｃのパルス幅を示している。ＨＳＰ／ＨＳＷ１４：８は、ＨＳＰの１ビット分の情報と、ＨＳＷの８乃至１４ビット目の情報であり、ＨＳＷ７：０は、ＨＳＷの０乃至７ビット目の情報である。   For Lane0, HSP / HSW14: 8 and HSW7: 0 are arranged one byte at a time under Vtotal. HSP is 1-bit information indicating the polarity of Hsync (horizontal synchronization signal), and active high is 0 and active low is 1 as shown in the middle of FIG. HSW indicates the pulse width of Hsync. HSP / HSW14: 8 is information of 1 bit of HSP and information of 8th to 14th bits of HSW, and HSW7: 0 is information of 0th to 7th bits of HSW.

Ｌａｎｅ１について、Ｍｖｉｄの下に、Ｈｓｔａｒｔ１５：８、Ｈｓｔａｒｔ７：０がそれぞれ１バイトずつ配置される。Ｈｓｔａｒｔは、図９の下段で示されるように、前のラインの最後のデータ（前ｌｉｎｅの最後のｄａｔａ）が終了したタイミングからＨｓｙｎｃが立ち上がるタイミングまでの時間を画素数で規定したものである。Ｈｓｔａｒｔ１５：８、Ｈｓｔａｒｔ７：０は、それぞれＨｓｔａｒｔの８乃至１５ビット目の情報、および０乃至７ビット目の情報である。   For Lane1, 1 byte each of Hstart15: 8 and Hstart7: 0 is arranged under Mvid. As shown in the lower part of FIG. 9, Hstart defines the time from the timing when the last data of the previous line (the last data of the previous line) ends to the timing when Hsync rises in terms of the number of pixels. Hstart15: 8 and Hstart7: 0 are information on the 8th to 15th bits of Hstart and information on the 0th to 7th bits, respectively.

Ｌａｎｅ１について、Ｈｓｔａｒｔの下に、Ｖｓｔａｒｔ１５：８、Ｖｓｔａｒｔ７：０がそれぞれ１バイトずつ配置される。Ｖｓｔａｒｔは、図９の中段で示されるように、前のフレームの最後のＨｓｙｎｃ（前ｆｒａｍｅの最後のＨ）が立ち上がったタイミングからＶｓｙｎｃ（垂直同期信号）が立ち上がるタイミングまでの時間をライン数で規定したものである。Ｖｓｔａｒｔ１５：８、Ｖｓｔａｒｔ７：０は、それぞれＶｓｔａｒｔの８乃至１５ビット目の情報、および０乃至７ビット目の情報である。   For Lane1, Vstart 15: 8 and Vstart 7: 0 are arranged one byte at a time under Hstart. Vstart defines the time from the timing when the last Hsync (the last H of the previous frame) rises to the timing when the Vsync (vertical synchronization signal) rises as the number of lines, as shown in the middle of FIG. It is a thing. Vstart 15: 8 and Vstart 7: 0 are information on the 8th to 15th bits and information on the 0th to 7th bits of Vstart, respectively.

Ｌａｎｅ１について、Ｖｓｔａｒｔの下に、ＶＳＰ／ＶＳＷ１４：８、ＶＳＷ７：０がそれぞれ１バイトずつ配置される。ＶＳＰは、Ｖｓｙｎｃ（垂直同期信号）の極性を示す１ビットの情報であり、図９の中段で示されるようにactive highが０であり、active lowが１である。また、ＶＳＷは、Ｖｓｙｎｃのパルス幅を示している。ＶＳＰ／ＶＳＷ１４：８は、ＶＳＰの１ビット分の情報と、ＶＳＷの８乃至１４ビット目の情報であり、ＶＳＷ７：０は、ＶＳＷの０乃至７ビット目の情報である。   For Lane1, VSP / VSW14: 8 and VSW7: 0 are arranged one byte at a time under Vstart. VSP is 1-bit information indicating the polarity of Vsync (vertical synchronization signal), and active high is 0 and active low is 1 as shown in the middle of FIG. VSW indicates the pulse width of Vsync. VSP / VSW14: 8 is information of 1 bit of VSP and information of 8th to 14th bits of VSW, and VSW7: 0 is information of 0th to 7th bits of VSW.

一方、Ｌａｎｅ２については、Ｍｖｉｄの下に、Ｈｗｉｄｔｈ１５：８、Ｈｗｉｄｔｈ７：０がそれぞれ１バイトずつ配置される。Ｈｗｉｄｔｈは、図９の上部で示されるように有効画素領域７１の水平方向の画素数である。Ｈｗｉｄｔｈ５：８、Ｈｗｉｄｔｈ７：０は、それぞれＨｗｉｄｔｈの８乃至１５ビット目の情報、および０乃至７ビット目の情報である。   On the other hand, for Lane 2, Hbyte 15: 8 and Hwidth 7: 0 are arranged one byte at a time under Mvid. Hwidth is the number of pixels in the horizontal direction of the effective pixel region 71 as shown in the upper part of FIG. Hwidth 5: 8 and Hwidth 7: 0 are information on the 8th to 15th bits of Hwidth and information on the 0th to 7th bits, respectively.

Ｌａｎｅ２については、Ｈｗｉｄｔｈの下に、Ｖｈｅｉｇｈｔ１５：８、Ｖｈｅｉｇｈｔ７：０がそれぞれ１バイトずつ配置される。Ｖｈｅｉｇｈｔは、図９の上部で示されるように有効画素領域７１の垂直方向のライン数である。Ｖｈｅｉｇｈｔ５：８、Ｖｈｅｉｇｈｔ７：０は、それぞれＨｈｅｉｇｈｔの８乃至１５ビット目の情報、および０乃至７ビット目の情報である。尚、Ｌａｎｅ２については、Ｖｈｅｉｇｈｔの下の２バイトはブランク（All 0s）とされている。   For Lane 2, Vheight 15: 8 and Vheight 7: 0 are arranged one byte at a time under Hwidth. Vheight is the number of lines in the vertical direction of the effective pixel region 71 as shown in the upper part of FIG. Vheight 5: 8 and Vheight 7: 0 are information on the 8th to 15th bits and information on the 0th to 7th bits of the height, respectively. For Lane 2, the 2 bytes under Vheight are blank (All 0s).

Ｌａｎｅ３について、Ｍｖｉｄの下に、Ｎｖｉｄ２３：１６、Ｎｖｉｄ１５：８、Ｎｖｉｄ７：０がそれぞれ上から１バイトずつ配置される。Ｎｖｉｄは、リンククロック周波数である。Ｎｖｉｄ２３：１６、Ｎｖｉｄ１５：８、Ｎｖｉｄ７：０は、それぞれＮｖｉｄの２３乃至１６ビット目の情報、８乃至１５ビット目の情報、および０乃至７ビット目の情報である。   For Lane3, Nvid23: 16, Nvid15: 8, and Nvid7: 0 are arranged one byte from the top under Mvid. Nvid is the link clock frequency. Nvid23: 16, Nvid15: 8, and Nvid7: 0 are information on the 23rd to 16th bits of Nvid, information on 8th to 15th bits, and information on 0th to 7th bits, respectively.

尚、Ｖｉｄｅｏ Ｓｔｒｅａｍ ｃｌｏｃｋ［Ｍｚ］＝Ｍｖｉｄ／Ｎｖｉｄ×Ｌｉｎｋ ｃｌｏｃｋ［Ｍｚ］となる。   Note that Video Stream clock [Mz] = Mvid / Nvid × Link clock [Mz].

Ｌａｎｅ３について、Ｎｖｉｄの下には、ＭＩＳＣ０＿７：０、ＭＩＳＣ１＿７：０がそれぞれ上から１バイトずつ配置される。ＭＩＳＣ０＿７：０、ＭＩＳＣ１＿７：０は、エンコードフォーマットの情報である。   For Lane3, MISC0_7: 0 and MISC1_7: 0 are arranged under Nvid by 1 byte from the top respectively. MISC0_7: 0 and MISC1_7: 0 are encoding format information.

＜ＭＩＳＣで示されるエンコードフォーマットについて＞
ＭＩＳＣ０＿７：０、ＭＩＳＣ１＿７：０は、例えば、図１０で示されるようなエンコードフォーマットの情報を記録する。 <About the encoding format indicated by MISC>
MISC0_7: 0 and MISC1_7: 0 record information of an encoding format as shown in FIG. 10, for example.

すなわち、図１０の上段の最上段で示されるように、ＭＩＳＣ１の７ビット目が０であって、ＭＩＳＣ０の１乃至４ビット目が００００の場合、フォーマットがRGB unspecified color space（legacy RGB mode）であることを表す。さらに、ＭＩＳＣ０の５乃至７ビット目が、０００、００１、０１０、０１１、１００である場合、それぞれ６，８，１０，１２，１６ビットカラーであることを表す。   That is, as shown in the uppermost stage in FIG. 10, when the 7th bit of MISC1 is 0 and the 1st to 4th bits of MISC0 are 0000, the format is RGB unspecified color space (legacy RGB mode). Represents something. Furthermore, when the 5th to 7th bits of MISC0 are 000, 001, 010, 011 and 100, it indicates that the colors are 6, 8, 10, 12, and 16 bits, respectively.

図１０の上段の２段目で示されるように、ＭＩＳＣ１の７ビット目が０であって、ＭＩＳＣ０の１乃至４ビットが００１０の場合、フォーマットがCEA RGB（sRGB primaries）であることを表す。さらに、ＭＩＳＣ０の５乃至７ビットが、０００、００１、０１０、０１１、１００である場合、それぞれ６，８，１０，１２，１６ビットカラーであることを表す。   As shown in the second stage in the upper part of FIG. 10, when the 7th bit of MISC1 is 0 and the 1st to 4th bits of MISC0 are 0010, this indicates that the format is CEA RGB (sRGB primaries). Further, when the 5th to 7th bits of MISC0 are 000, 001, 010, 011 and 100, it indicates that the colors are 6, 8, 10, 12, and 16 bits, respectively.

図１０の上段の３段目で示されるように、ＭＩＳＣ１の７ビット目が０であって、ＭＩＳＣ０の１乃至４ビットが１１００の場合、フォーマットがRGB wide gamut fixed point（XR8,XR10,XR12）であることを表す。さらに、ＭＩＳＣ０の５乃至７ビットが、００１、０１０、０１１である場合、それぞれ８，１０，１２ビットカラーであることを表す。   As shown in the upper third row of FIG. 10, when the 7th bit of MISC1 is 0 and the 1st to 4th bits of MISC0 are 1100, the format is RGB wide gamut fixed point (XR8, XR10, XR12). It represents that. Further, when the 5th to 7th bits of MISC0 are 001, 010, and 011, it indicates that the color is 8, 10, and 12 bit, respectively.

図１０の上段の４段目で示されるように、ＭＩＳＣ１の７ビット目が０であって、ＭＩＳＣ０の１乃至４ビットが１１０１の場合、フォーマットがRGB wide gamut fixed point（scRGB）であることを表す。さらに、ＭＩＳＣ０の５乃至７ビットが、１００である場合、１６ビットカラーであることを表す。   As shown in the upper fourth row of FIG. 10, when the 7th bit of MISC1 is 0 and the 1st to 4th bits of MISC0 are 1101, the format is RGB wide gamut fixed point (scRGB). Represent. Further, when 5 to 7 bits of MISC0 are 100, it represents 16-bit color.

図１０の上段の５段目で示されるように、ＭＩＳＣ１の７ビット目が１であって、ＭＩＳＣ０の１乃至４ビットが００００の場合、フォーマットがY-only（輝度のみ）であることを表す。さらに、ＭＩＳＣ０の５乃至７ビットが、００１、０１０、０１１、１００である場合、それぞれ８，１０，１２，１６ビット階調であることを表す。   As shown in the fifth row at the top of FIG. 10, when the 7th bit of MISC1 is 1 and the 1st to 4th bits of MISC0 are 0000, this indicates that the format is Y-only (luminance only). . Further, when the 5th to 7th bits of MISC0 are 001, 010, 011 and 100, it indicates that the gradation is 8, 10, 12, and 16 bits, respectively.

図１０の上段の６段目で示されるように、ＭＩＳＣ１の７ビット目が０であって、ＭＩＳＣ０の１，２ビット目が０１または１０であり、３ビット目が１であり、４ビット目が０または１であるとき、YCbCr（ITU601/ITU709）であることを表す。また、このとき、１，２ビット目が０１のとき、４２２フォーマットであり、１０のとき４４４フォーマットである。さらに、このとき、４ビット目が０であれば、YCbCr（ITU601）であり、４ビット目が１であれば、YCbCr（ITU709）であることを表す。また、ＭＩＳＣ０の５乃至７ビットが、００１、０１０、０１１、１００である場合、それぞれ８，１０，１２，１６ビットカラーであることを表す。   As shown in the upper sixth row of FIG. 10, the seventh bit of MISC1 is 0, the first and second bits of MISC0 are 01 or 10, the third bit is 1, and the fourth bit. When 0 is 0 or 1, it indicates YCbCr (ITU601 / ITU709). At this time, when the first and second bits are 01, the format is 422, and when the first bit is 10, the format is 444. Further, at this time, if the fourth bit is 0, it indicates YCbCr (ITU601), and if the fourth bit is 1, it indicates YCbCr (ITU709). Further, when the 5th to 7th bits of MISC0 are 001, 010, 011 and 100, it indicates that the color is 8, 10, 12, and 16 bits, respectively.

図１０の上段の７段目で示されるように、ＭＩＳＣ１の７ビット目が０であって、ＭＩＳＣ０の１，２ビット目が０１または１０であり、３ビット目が０であり、４ビット目が０または１の場合、xvYCC（xvYCC601/ xvYCC709）であることを表す。このとき、１，２ビット目が０１のとき４２２フォーマットであり、１０の場合４４４フォーマットである。また、４ビット目が０であれば、xvYCC（xvYCC601）であり、４ビット目が１であれば、xvYCC（xvYCC709）であることを表す。さらに、ＭＩＳＣ０の５乃至７ビットが、００１、０１０、０１１、１００である場合、それぞれ８，１０，１２，１６ビットカラーであることを表す。   As shown in the upper seventh row of FIG. 10, the seventh bit of MISC1 is 0, the first and second bits of MISC0 are 01 or 10, the third bit is 0, and the fourth bit. When 0 is 0 or 1, it represents xvYCC (xvYCC601 / xvYCC709). At this time, when the first and second bits are 01, the format is 422, and when the first bit is 10, the format is 444. Further, if the fourth bit is 0, it represents xvYCC (xvYCC601), and if the fourth bit is 1, it represents xvYCC (xvYCC709). Further, when the 5th to 7th bits of MISC0 are 001, 010, 011 and 100, it indicates that the color is 8, 10, 12, and 16 bits, respectively.

図１０の上段の８段目で示されるように、ＭＩＳＣ１の７ビット目が０であって、ＭＩＳＣ０の１乃至４ビット目が００１１の場合、Adobe（商標）RGBであることを表す。さらに、ＭＩＳＣ０の５乃至７ビットが、０００、００１、０１０、０１１、１００である場合、それぞれ６，８，１０，１２，１６ビットカラーであることを表す。   As shown in the upper 8th stage of FIG. 10, when the 7th bit of MISC1 is 0 and the 1st to 4th bits of MISC0 are 0011, this indicates Adobe (trademark) RGB. Further, when the 5th to 7th bits of MISC0 are 000, 001, 010, 011 and 100, it indicates that the colors are 6, 8, 10, 12, and 16 bits, respectively.

図１０の上段の９段目で示されるように、ＭＩＳＣ１の７ビット目が０であって、ＭＩＳＣ０の１乃至４ビット目が１１１０の場合、DCI-P3であることを表す。さらに、ＭＩＳＣ０の５乃至７ビットが、０１１、１００である場合、それぞれ１２，１６ビットカラーであることを表す。   As shown in the 9th stage in the upper part of FIG. 10, when the 7th bit of MISC1 is 0 and the 1st to 4th bits of MISC0 are 1110, this indicates DCI-P3. Further, when 5 to 7 bits of MISC0 are 011 and 100, it indicates that the color is 12 and 16 bits, respectively.

図１０の上段の１０段目で示されるように、ＭＩＳＣ１の７ビット目が０であって、ＭＩＳＣ０の１乃至４ビット目が１１１１の場合、Color Profileであることを表す。さらに、ＭＩＳＣ０の５乃至７ビットが、００１、０１０、０１１、１００である場合、それぞれ８，１０，１２，１６ビットカラーであることを表す。   As shown in the upper tenth stage of FIG. 10, when the 7th bit of MISC1 is 0 and the 1st to 4th bits of MISC0 are 1111, this indicates that it is a color profile. Further, when the 5th to 7th bits of MISC0 are 001, 010, 011 and 100, it indicates that the color is 8, 10, 12, and 16 bits, respectively.

図１０の下段の最上段で示されるように、ＭＩＳＣ０の０ビット目は、ビデオストリームクロックとリンククロックとの（Ｖｉｄｅｏ Ｓｔｒｅａｍ＿Ｃｌｋ／ＬＳ＿ＣＬＫ）同期フラグであり、０が非同期を表しており、１が同期を表している。同期の場合、Ｍｖｉｄは固定値となる。   10, the 0th bit of MISC0 is a (Video Stream_Clk / LS_CLK) synchronization flag between the video stream clock and the link clock, where 0 indicates asynchronous and 1 indicates synchronization Represents. In the case of synchronization, Mvid is a fixed value.

図１０の下段の２段目で示されるように、ＭＩＳＣ１の０ビット目は、インタレース（Interlace）の場合のＶｔｏｔａｌ数が偶数であるか否かを示す偶数フラグであり、１が偶数を、０が奇数をそれぞれ表している。   As shown in the second row at the bottom of FIG. 10, the 0th bit of MISC1 is an even flag indicating whether or not the Vtotal number in the case of interlace is an even number, and 1 is an even number. 0 represents each odd number.

図１０の下段の３段目で示されるように、ＭＩＳＣ１の１乃至２ビット目は、ステレオビデオ（3D）特性を表しており、００が非ステレオかSDPのビデオストリームコンフィギュレーション（VSC）を利用してステレオ画像を送信することを表している。また、ＭＩＳＣ１の１乃至２ビット目が０１である場合、次のフレームがプログレッシブの右目画像（RIGHT_EYE@Side-by-Side, progressive）であることを表している。このとき、トップ画像がインタレースの右目画像（RIGHT_EYE@Top, interlace）であり、ボトム画像がインタレースの左目画像（LEFT_EYE@Bottom, interlace）を表している。また、ＭＩＳＣ１の１乃至２ビット目が１０である場合、未設定であり（Reserved）、１１の場合、次のフレームがプログレッシブの左目画像（LEFT_EYE@Side-by-Side, progressive）であることを表しており、トップ画像がインタレースの左目画像（LEFT_EYE@Top, interlace）であり、ボトム画像がインタレースの右目画像（RIGHT_EYE@Bottom, interlace）であることを表している。   As shown in the third row at the bottom of Fig. 10, the first and second bits of MISC1 represent stereo video (3D) characteristics, and 00 is non-stereo or uses SDP video stream configuration (VSC). This indicates that a stereo image is transmitted. When the first and second bits of MISC1 are 01, it indicates that the next frame is a progressive right-eye image (RIGHT_EYE @ Side-by-Side, progressive). At this time, the top image is an interlaced right eye image (RIGHT_EYE @ Top, interlace), and the bottom image is an interlaced left eye image (LEFT_EYE @ Bottom, interlace). If the first and second bits of MISC1 are 10, it is not set (Reserved), and if 11, the next frame is a progressive left-eye image (LEFT_EYE @ Side-by-Side, progressive). The top image is an interlaced left-eye image (LEFT_EYE @ Top, interlace), and the bottom image is an interlaced right-eye image (RIGHT_EYE @ Bottom, interlace).

尚、ＭＩＳＣ１の４乃至６ビット目は、未設定（Reserved）とされている。このため、ＭＩＳＣ１の４乃至６ビット目に、例えば、送信元を特定するのに必要とされる情報を付加するようにしてもよい。   The fourth to sixth bits of MISC1 are not set (Reserved). For this reason, for example, information necessary for specifying the transmission source may be added to the fourth to sixth bits of MISC1.

このようにすることで、ZAF画像データを含む可視画像データの送信元の機器を特定させることが可能となり、例えば、画像の送信元がイメージセンサであることを示した情報を含めるようにすることで、送信元が撮像機器などのイメージセンサであることなどを認識させるようにすることができる。   By doing this, it becomes possible to specify the device that is the source of visible image data including ZAF image data, for example, to include information indicating that the image source is an image sensor Thus, it can be recognized that the transmission source is an image sensor such as an imaging device.

＜送受信処理＞
次に、図１１のフローチャートを参照して、図１の伝送システムにおける送受信処理について説明する。 <Transmission / reception processing>
Next, transmission / reception processing in the transmission system of FIG. 1 will be described with reference to the flowchart of FIG.

ステップＳ１１において、MSA生成部４１は、送信しようとする可視画像データの、位相検出画像データの１フレーム当たりのライン数および１ライン当たりの画素数、並びに１画素当たりのビット数の情報からなる、上述したMSAを生成して多重化部４３に供給する。   In step S11, the MSA generation unit 41 includes information on the number of lines per frame and the number of pixels per line of the phase detection image data to be transmitted, and the number of bits per pixel. The MSA described above is generated and supplied to the multiplexing unit 43.

ステップＳ１２において、SDP生成部４２は、ZAF画像データに基づいて、上述したSDPを生成する。すなわち、上述したSDPにおける位相検出画像情報パケットおよび位相検出画像データパケットを生成する。   In step S12, the SDP generation unit 42 generates the SDP described above based on the ZAF image data. That is, the phase detection image information packet and the phase detection image data packet in the SDP described above are generated.

ステップＳ１３において、多重化部４３は、MSA、SDP、および可視画像データを多重化して多重化データを生成し、   In step S13, the multiplexing unit 43 multiplexes the MSA, SDP, and visible image data to generate multiplexed data,

ステップＳ１４において、多重化部４３は、受信部２２に送信する。   In step S <b> 14, the multiplexing unit 43 transmits to the receiving unit 22.

ステップＳ１５において、送信部２１は、次の画像信号がなく終了が指示されているか否かを判定し、終了が指示されていない場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。そして、ステップＳ１５において、終了が指示された場合、処理は終了する。   In step S15, the transmission unit 21 determines whether there is no next image signal and an end is instructed. If the end is not instructed, the process returns to step S11, and the subsequent processing is repeated. . In step S15, if an end instruction is given, the process ends.

一方、受信部２２では、ステップＳ３１において、分割部６１は、多重化データを受信する。   On the other hand, in the receiving unit 22, in step S31, the dividing unit 61 receives the multiplexed data.

ステップＳ３２において、分割部６１は、多重化データをMSA、SDP、および可視画像データのそれぞれに分割して、MSAをMSA読取部６２に、SDPをSDP読取部６３に供給し、可視画像データを画像生成部６４に供給する。   In step S32, the dividing unit 61 divides the multiplexed data into MSA, SDP, and visible image data, and supplies the MSA to the MSA reading unit 62 and the SDP to the SDP reading unit 63, and the visible image data is supplied. This is supplied to the image generation unit 64.

ステップＳ３３において、MSA読取部６２は、MSAの情報より、可視画像データの１フレーム当たりのライン数および１ライン当たりの画素数、並びに１画素当たりのビット数の情報を読み取り画像生成部６４に供給する。   In step S33, the MSA reading unit 62 reads information on the number of lines per frame, the number of pixels per line, and the number of bits per pixel of the visible image data from the MSA information, and supplies the information to the image generation unit 64. To do.

ステップＳ３４において、SDP読取部６３は、SDPの位相検出画像情報パケットおよび位相検出画像データパケットを読み取り、位相検出画像情報パケットの情報に基づいて、位相検出画像データよりZAF画像データを抽出して出力する。   In step S34, the SDP reading unit 63 reads the phase detection image information packet and the phase detection image data packet of the SDP, and extracts and outputs the ZAF image data from the phase detection image data based on the information of the phase detection image information packet. To do.

ステップＳ３５において、画像生成部６４は、MSAに基づいて可視画像データより可視画像を再構成して出力する。   In step S35, the image generation unit 64 reconstructs and outputs a visible image from the visible image data based on the MSA.

ステップＳ３６において、受信部２２は、次の画像信号がなく終了が指示されているか否かを判定し、終了が指示されていない場合、処理は、ステップＳ３１に戻り、それ以降の処理が繰り返される。そして、ステップＳ３６において、終了が指示された場合、処理は終了する。   In step S36, the receiving unit 22 determines whether there is no next image signal and an end is instructed. If no end is instructed, the process returns to step S31, and the subsequent processes are repeated. . In step S36, if an end instruction is given, the process ends.

以上の処理により、SDPが利用されて、ZAF画像データがパケット化されることにより、可視画像データを送信すると共に、水平ブランキング領域および垂直ブランキング領域にパケット化されたZAF画像データを付加して送信することが可能となる。   With the above processing, SDP is used and ZAF image data is packetized, so that visible image data is transmitted and packetized ZAF image data is added to the horizontal blanking area and vertical blanking area. Can be transmitted.

＜２．第２の実施の形態＞
＜Virtual Channelを利用した伝送システムの構成例＞
以上においては、SDPを利用してZAF画像データを、可視画像データと共に送信する例について説明してきたが、例えば、DisplayPort（商標）に規定されるVirtual Channelのフォーマットを利用して送信するようにしても良い。 <2. Second Embodiment>
<Configuration example of transmission system using Virtual Channel>
In the above description, an example in which ZAF image data is transmitted together with visible image data using SDP has been described. However, for example, transmission is performed using a Virtual Channel format defined in DisplayPort (trademark). Also good.

図１２は、Virtual Channelのフォーマットを利用して、ZAF画像データを、可視画像データと共に送信するようにした伝送システムの構成例を示している。   FIG. 12 shows an example of the configuration of a transmission system that uses the Virtual Channel format to transmit ZAF image data together with visible image data.

ここでVirtual Channelとは、１の伝送路で複数のストリームを、複数のストリームソースから複数のストリームシンクに伝送する方式である。図１２の伝送システムは、複数のストリームソースの１に可視画像データと、ZAF画素データからなる、ZAF画像データのストリームとを設定することにより、Virtual Channelを利用して、可視画像データからなるストリームと共に送信する。   Here, Virtual Channel is a method of transmitting a plurality of streams from a plurality of stream sources to a plurality of stream sinks through one transmission path. The transmission system of FIG. 12 sets a stream of visible image data using Virtual Channel by setting visible image data and a stream of ZAF image data composed of ZAF pixel data to one of a plurality of stream sources. Send with.

より具体的には、図１２の伝送システムは、伝送部１２１および受信部１２２を備えている。   More specifically, the transmission system in FIG. 12 includes a transmission unit 121 and a reception unit 122.

伝送部１２１は、ストリーム伝送処理部１４１−１乃至１４１−ｎおよびストリーム伝送処理部１４２を備えている。   The transmission unit 121 includes stream transmission processing units 141-1 to 141-n and a stream transmission processing unit 142.

また、ストリーム伝送処理部１４１−１乃至１４１−ｎは、MSA生成部１６１、SDP生成部１６２、および多重化部１６３を備えており、可視画像データからなるストリームデータを生成して多重化部１４３に出力する。尚、MSA生成部１６１、SDP生成部１６２、および多重化部１６３の機能については、図１を参照して説明したMSA生成部４１、SDP生成部４２、および多重化部４３と基本的な機能は同一であるので、その説明は省略する。ただし、この例においては、SDP生成部１６２は、機能しない。   The stream transmission processing units 141-1 to 141-n include an MSA generation unit 161, an SDP generation unit 162, and a multiplexing unit 163. The stream transmission processing units 141-1 to 141-n generate stream data including visible image data and generate the multiplexing unit 143. Output to. The functions of the MSA generator 161, the SDP generator 162, and the multiplexer 163 are basically the same as those of the MSA generator 41, the SDP generator 42, and the multiplexer 43 described with reference to FIG. Are the same and will not be described. However, in this example, the SDP generation unit 162 does not function.

さらに、ストリーム伝送処理部１４２は、MSA生成部１８１、SDP生成部１８２、および多重化部１８３を備えており、ZAF画素データより構成されるZAF画像データからなるストリームデータを生成して多重化部１４３に出力する。尚、MSA生成部１８１、SDP生成部１８２、および多重化部１８３の機能については、図１を参照して説明したMSA生成部４１、SDP生成部４２、および多重化部４３と基本的な機能は同一であるので、その説明は省略する。ただし、この例においては、SDP生成部１８２は、機能しない。   Furthermore, the stream transmission processing unit 142 includes an MSA generation unit 181, an SDP generation unit 182, and a multiplexing unit 183, generates stream data composed of ZAF image data composed of ZAF pixel data, and generates a multiplexing unit. To 143. The functions of the MSA generator 181, SDP generator 182, and multiplexer 183 are basically the same as those of the MSA generator 41, SDP generator 42, and multiplexer 43 described with reference to FIG. Are the same and will not be described. However, in this example, the SDP generation unit 182 does not function.

多重化部１４３は、複数のストリーム伝送処理部１４１−１乃至１４１−ｎより供給されてくる可視画像データからなるストリームデータと、ストリーム伝送処理部１４２より供給されるZAF画像データからなるストリームデータとを時分割多重化した多重化データを受信部１２２に送信する。   The multiplexing unit 143 includes stream data composed of visible image data supplied from the plurality of stream transmission processing units 141-1 to 141-n, stream data composed of ZAF image data supplied from the stream transmission processing unit 142, and Is transmitted to the receiving unit 122.

受信部１２２は、分割部２０１、ストリーム受信処理部２０２−１乃至２０２−ｎ、およびストリーム受信処理部２０３を備えている。   The receiving unit 122 includes a dividing unit 201, stream reception processing units 202-1 to 202-n, and a stream reception processing unit 203.

分割部２０１は、伝送部１２１より送信されてくる多重化データを、複数の可視画像データからなる複数のストリームデータと、ZAF画像データからなるストリームデータとに分割して、分割した可視画像データからなるストリームデータをストリーム受信処理部２０２−１乃至２０２−ｎに供給し、ZAF画像データからなるストリームデータをストリーム受信処理部２０３に供給する。   The dividing unit 201 divides the multiplexed data transmitted from the transmission unit 121 into a plurality of stream data composed of a plurality of visible image data and a stream data composed of ZAF image data, and from the divided visible image data The stream data is supplied to the stream reception processing units 202-1 to 202-n, and the stream data including the ZAF image data is supplied to the stream reception processing unit 203.

ストリーム受信処理部２０２−１は、分割部２３１、MSA読取部２３２、SDP読取部２３３、および画像生成部２３４を備えており、複数の可視画像データからなるストリームデータより可視画像データを生成して出力する。尚、分割部２３１、MSA読取部２３２、SDP読取部２３３、および画像生成部２３４については、図１を参照して説明した、分割部６１、MSA読取部６２、SDP読取部６３、および画像生成部６４と基本的な機能は同一であるので、その説明は省略するものとする。ただし、ここでは、SDP読取部２３３については、機能しない。   The stream reception processing unit 202-1 includes a dividing unit 231, an MSA reading unit 232, an SDP reading unit 233, and an image generation unit 234, and generates visible image data from stream data composed of a plurality of visible image data. Output. The dividing unit 231, the MSA reading unit 232, the SDP reading unit 233, and the image generation unit 234 are described with reference to FIG. 1, the dividing unit 61, the MSA reading unit 62, the SDP reading unit 63, and the image generation Since the basic function is the same as that of the unit 64, the description thereof will be omitted. However, the SDP reading unit 233 does not function here.

ストリーム受信処理部２０２−２は、分割部２５１、MSA読取部２５２、SDP読取部２５３、および画像生成部２５４を備えており、ZAF画像データからなるストリームデータよりZAF画像を生成して出力する。尚、分割部２５１、MSA読取部２５２、およびSDP読取部２５３については、図１を参照して説明した、分割部６１、MSA読取部６２、SDP読取部６３、および画像生成部６４と基本的な機能は同一であるので、その説明は省略するものとする。ただし、ここでは、SDP読取部２５３については、機能しない。   The stream reception processing unit 202-2 includes a dividing unit 251, an MSA reading unit 252, an SDP reading unit 253, and an image generation unit 254, and generates and outputs a ZAF image from stream data including ZAF image data. The dividing unit 251, the MSA reading unit 252, and the SDP reading unit 253 are basically the same as the dividing unit 61, the MSA reading unit 62, the SDP reading unit 63, and the image generation unit 64 described with reference to FIG. Since the functions are the same, the description thereof will be omitted. However, the SDP reading unit 253 does not function here.

＜ZAF画像について＞
次に、Virtual Channelのフォーマットを利用するにあたって生成されるZAF画像について説明する。 <About ZAF images>
Next, a ZAF image generated when using the Virtual Channel format will be described.

ZAF画像は、ZAF画素により構成される画像である。ZAF画像は、例えば、図３を参照して説明された位相検出画像データパケット８３−１乃至８３−１５を構成するZAF画素を垂直方向および水平方向に貼り合わせて構成される画像と実質的に同じ画像であり、図１３の左部で示されるような画像である。   A ZAF image is an image composed of ZAF pixels. The ZAF image is substantially, for example, an image formed by pasting together the ZAF pixels constituting the phase detection image data packets 83-1 to 83-15 described with reference to FIG. 3 in the vertical direction and the horizontal direction. The same image as shown in the left part of FIG.

この場合、ZAF画像は、有効画素領域７１に対応するZAF画素領域２７１、垂直ブランキング領域７２に対応する垂直ブランキング領域２７２、および水平ブランキング領域７３に対応する水平ブランキング領域２７３より構成される。   In this case, the ZAF image includes a ZAF pixel area 271 corresponding to the effective pixel area 71, a vertical blanking area 272 corresponding to the vertical blanking area 72, and a horizontal blanking area 273 corresponding to the horizontal blanking area 73. The

すなわち、図１３の左部におけるZAF画像のZAF画素領域２７１は、可視画像の有効画素領域７１に対して、垂直方向の有効ライン数については１／４となり、水平方向の有効画素数については１／８となる。   That is, the ZAF pixel area 271 of the ZAF image in the left part of FIG. 13 is ¼ with respect to the effective line number in the vertical direction and 1 with respect to the effective pixel area in the horizontal direction. / 8.

図１２の伝送システムは、図１３で示されるように、有効画素データからなる可視画像データと、ZAF画素データからなるZAF画像との２種類の画像をそれぞれに設定した上で、それらを個別のストリームにした上で、Virtual Channelを利用して送信する。これによりZAF画素データと共に可視画像データが送信される。   As shown in FIG. 13, the transmission system of FIG. 12 sets two types of images, a visible image data made up of effective pixel data and a ZAF image made up of ZAF pixel data, and sets them individually. After making it into a stream, it transmits using Virtual Channel. Thereby, visible image data is transmitted together with ZAF pixel data.

＜時分割多重化について＞
Virtual Channelを利用する場合、DisplayPort（商標）の規定によれば、タイムスロットを６３分割することができる。このため、例えば、図１３で示されるような可視画像データと、ZAF画像データとが送信される場合、双方の画素数の比で時分割多重化するとき、図１４で示されるように、可視画像データからなるストリームに対して３２タイムスロット（ｓｌｏｔ）を割り当てると、ZAF画素データからなるストリームに対しては１タイムスロットが割り当てられることになる。 <About time division multiplexing>
When Virtual Channel is used, the time slot can be divided into 63 according to the rules of DisplayPort (trademark). For this reason, for example, when visible image data as shown in FIG. 13 and ZAF image data are transmitted, when time-division multiplexing is performed at the ratio of the number of both pixels, as shown in FIG. If 32 time slots are assigned to a stream consisting of image data, one time slot is assigned to a stream consisting of ZAF pixel data.

すなわち、Virtual Channelを利用することで、時分割多重化されて送信されることにより、１の伝送路で２のストリーム（可視画像のｓｔｒｅａｍとZAF画像のｓｔｒｅａｍ）を、２のストリームソース（可視画像のストリームソースとZAF画像のストリームソース）から２のストリームシンク（可視画像のストリームシンクとZAF画像のストリームシンク）に伝送する。結果として、可視画像データと共にZAF画像データを送信することが可能となる。   That is, by using the virtual channel, time-division multiplexed transmission is performed, so that two streams (a stream of visible images and a stream of ZAF images) are transmitted to one stream source (a stream of visible images). Are transmitted to two stream sinks (a visible image stream sync and a ZAF image stream sync). As a result, it becomes possible to transmit the ZAF image data together with the visible image data.

尚、図１４においては、残りの３０スロットについては、ブランクとしてもよいし、他の画像からなるストリームを割り当てるようにしても良い。また、最大６３スロットを分割することが規定されているため、送受信可能なストリーム数は最大で６３個となり、少なくとも１のストリームをZAF画像データに割り当てるものとすれば、可視画像データを送受信するストリーム伝送処理部１４１−１乃至１４１−ｎ、およびストリーム受信処理部２０２−１乃至２０２−ｎは、ｎ＝６２が最大とされることになる。   In FIG. 14, the remaining 30 slots may be blank or a stream composed of another image may be assigned. Further, since it is defined that the maximum 63 slots are divided, the maximum number of streams that can be transmitted and received is 63. If at least one stream is allocated to ZAF image data, a stream that transmits and receives visible image data In the transmission processing units 141-1 to 141-n and the stream reception processing units 202-1 to 202-n, n = 62 is the maximum.

＜可視画像とZAF画像におけるMSAの比較＞
次に、図１５を参照して、可視画像とZAF画像におけるMSAの比較について説明する。尚、ここでは、ZAF画像における水平方向画素数および垂直方向画素数は、可視画像の水平方向画素数および垂直方向画素数に対する１／ｓ，１／ｔであるものとして説明する。また、図１５においては、可視画像については、Pictureと表記されており、ZAF画像についてはZAFと表記されている。 <Comparison of MSA between visible and ZAF images>
Next, with reference to FIG. 15, the comparison of MSA in a visible image and a ZAF image is demonstrated. In the following description, it is assumed that the number of horizontal pixels and the number of vertical pixels in the ZAF image are 1 / s and 1 / t with respect to the number of horizontal pixels and the number of vertical pixels in the visible image. In FIG. 15, the visible image is written as “Picture”, and the ZAF image is written as “ZAF”.

図１５の最上段で示されるように、ビデオストリームクロック（Video Stream clock）周波数Ｍｖｉｄは、可視画像のビデオストリームクロック周波数がＭｖｉｄ＿Ｐである場合、ZAF画像のビデオストリームクロック周波数がＭｖｉｄ＿Ｐ／（ｓ×ｔ）となる。尚、図１５においては、「×」は、「＊」として表記されている。   As shown in the uppermost part of FIG. 15, when the video stream clock frequency Mvid of the visible image is Mvid_P, the video stream clock frequency Mvid of the video stream clock is Mvid_P / (s × t ) In FIG. 15, “x” is represented as “*”.

図１５の２段目で示されるように、リンククロック（Link clock）周波数Ｎｖｉｄは、可視画像のリンククロック周波数がＮｖｉｄ＿Ｐである場合、ZAF画像のリンククロック周波数がＮｖｉｄ＿Ｐとなり同一となる。   As shown in the second row of FIG. 15, the link clock frequency Nvid is the same when the link clock frequency of the visible image is Nvid_P, and the link clock frequency of the ZAF image is Nvid_P.

図１５の３段目で示されるように、可視画像を構成する有効画素領域と水平ブランキング領域との水平方向の総画素数Ｈｔｏｔａｌは、可視画像がＨｔｏｔａｌ＿Ｐ（＝Ｘ＋Ｈｂｌａｎｋ）である場合、ZAF画像がＨｔｏｔａｌ＿Ｐ／ｓとなる。   As shown in the third row of FIG. 15, the total number of pixels Htotal in the horizontal direction of the effective pixel area and the horizontal blanking area constituting the visible image is the ZAF image when the visible image is Htotal_P (= X + Hblank). Becomes Htotal_P / s.

図１５の４段目で示されるように、垂直方向の可視画像と垂直ブランキング領域との総ライン数Ｖｔｏｔａｌは、可視画像がＶｔｏｔａｌ＿Ｐ（＝Ｙ＋Ｖｂｌａｎｋ）である場合、ZAF画像がＶｔｏｔａｌ＿Ｐ／ｔとなる。   As shown in the fourth row in FIG. 15, the total number of lines Vtotal between the visible image in the vertical direction and the vertical blanking region is Vtotal_P / t when the visible image is Vtotal_P (= Y + Vblank). .

図１５の５段目で示されるように、水平方向の可視画像の総画素数Ｈｗｉｄｔｈは、可視画像がＨｗｉｄｔｈ＿Ｐ（＝Ｘ）である場合、ZAF画像がＨｗｉｄｔｈ＿Ｐ／ｓとなる。   As shown in the fifth row of FIG. 15, the total number of pixels Hwidth of the visible image in the horizontal direction is Hwidth_P / s for the ZAF image when the visible image is Hwidth_P (= X).

図１５の６段目で示されるように、垂直方向の可視画像の総画素数Ｖｈｅｉｇｈｔは、可視画像がＶｈｅｉｇｈｔ＿Ｐ（＝Ｙ）である場合、ZAF画像はＶｈｅｉｇｈｔ＿Ｐ／ｔとなる。   As shown in the sixth row of FIG. 15, the total number of pixels Vheight of the visible image in the vertical direction is Vheight_P / t for the ZAF image when the visible image is Vheight_P (= Y).

図１５の７段目で示されるように、Ｈｓｙｎｃ（水平同期信号）の開始画素数Ｈｓｔａｒｔは、可視画像がＨｓｔａｒｔ＿Ｐである場合、ZAF画像がＣｅｉｌ（Ｈｓｔａｒｔ＿Ｐ／ｓ）となる。尚、Ｃｅｉｌ（Ａ）は、Ａの端数を切り上げる関数である。   As shown in the seventh row of FIG. 15, the start pixel number Hstart of Hsync (horizontal synchronization signal) is Ceil (Hstart_P / s) for the ZAF image when the visible image is Hstart_P. Ceil (A) is a function that rounds up A.

図１５の８段目で示されるように、Ｖｓｙｎｃ（垂直同期信号）の開始画素数Ｖｓｔａｒｔは、可視画像がＶｓｔａｒｔ＿Ｐである場合、ZAF画像がＣｅｉｌ（Ｖｓｔａｒｔ＿Ｐ／ｔ）となる。   As shown in the eighth row of FIG. 15, the start pixel number Vstart of Vsync (vertical synchronization signal) is Ceil (Vstart_P / t) for the ZAF image when the visible image is Vstart_P.

図１５の９段目で示されるように、Ｈｓｙｎｃのパルス幅ＨＳＷは、可視画像がＨＳＷ＿Ｐである場合、ZAF画像がＣｅｉｌ（ＨＳＷ＿Ｐ／ｓ）となる。   As shown in the ninth row of FIG. 15, the pulse width HSW of Hsync is Ceil (HSW_P / s) for the ZAF image when the visible image is HSW_P.

図１５の１０段目で示されるように、Ｖｓｙｎｃのパルス幅ＶＳＷは、可視画像がＶＳＷ＿Ｐである場合、ZAF画像がＣｅｉｌ（ＶＳＷ＿Ｐ／ｔ）となる。   As shown in the 10th row in FIG. 15, the pulse width VSW of Vsync is Ceil (VSW_P / t) for the ZAF image when the visible image is VSW_P.

図１５の１１乃至１３段目で示されるように、ＨｓｙｎｃおよびＶｓｙｎｃの極性ＨＳＰ，ＶＳＰ、並びにＭＩＳＣ０の０ビット目は、いずれも可視画像とZAF画像とで同一である。   As shown in the 11th to 13th stages of FIG. 15, the polarity HSP and VSP of Hsync and Vsync, and the 0th bit of MISC0 are both the same in the visible image and the ZAF image.

図１５の１４段目で示されるように、ＭＩＳＣ１の７ビット目は、可視画像が伝送画像の画素構成に依存するのに対して、ZAF画像は１に設定されて輝度情報のみとなる。   As shown in the 14th row of FIG. 15, the 7th bit of MISC1 is set to 1 for the ZAF image and only the luminance information while the visible image depends on the pixel configuration of the transmission image.

図１５の１５段目で示されるように、ＭＩＳＣ０の１乃至７ビット目は、可視画像が伝送画像に依存するのに対して、ZAF画像は画素当たりのビット数の情報となる。   As shown in the 15th row of FIG. 15, in the first to seventh bits of MISC0, the visible image depends on the transmission image, whereas the ZAF image is information on the number of bits per pixel.

すなわち、図１５で示されるように、ZAF画像を扱う場合については、MSAをZAF画像に対応するものに設定しておく必要がある。   That is, as shown in FIG. 15, when handling a ZAF image, it is necessary to set the MSA to correspond to the ZAF image.

＜送受信処理＞
次に、図１６のフローチャートを参照して、図９の伝送システムにおける可視画像データと共にZAF画像データを送信する場合の送受信処理について説明する。 <Transmission / reception processing>
Next, a transmission / reception process when transmitting ZAF image data together with visible image data in the transmission system of FIG. 9 will be described with reference to the flowchart of FIG.

ステップＳ１１１において、ストリーム伝送処理部１４１のMSA生成部１６１は、可視画像データ用のMSAを生成し、多重化部１６３に出力する。   In step S111, the MSA generation unit 161 of the stream transmission processing unit 141 generates an MSA for visible image data and outputs it to the multiplexing unit 163.

ステップＳ１１２において、多重化部１６３は、供給されてくる可視画像データと可視画像データ用のMSAとを多重化して可視画像データからなるストリームデータを生成して多重化部１４３に供給する。   In step S112, the multiplexing unit 163 multiplexes the supplied visible image data and the MSA for visible image data to generate stream data including the visible image data, and supplies the stream data to the multiplexing unit 143.

ステップＳ１１３において、ストリーム伝送処理部１４２のMSA生成部１８１は、ZAF画像データ用のMSAを生成し、多重化部１８３に出力する。   In step S113, the MSA generation unit 181 of the stream transmission processing unit 142 generates an MSA for ZAF image data and outputs the MSA to the multiplexing unit 183.

ステップＳ１１４において、多重化部１８３は、供給されてくるZAF画像データとZAF画像データ用のMSAとを多重化してZAF画像データからなるストリームデータを生成して多重化部１４３に供給する。   In step S114, the multiplexing unit 183 multiplexes the supplied ZAF image data and the MSA for the ZAF image data to generate stream data composed of the ZAF image data, and supplies the stream data to the multiplexing unit 143.

ステップＳ１１５において、多重化部１４３は、供給されてくる可視画像データからなるストリームデータとZAF画像データからなるストリームデータとをVirtual Channelのフォーマットに従って、時分割多重化する。   In step S115, the multiplexing unit 143 time-division multiplexes the supplied stream data made up of visible image data and stream data made up of ZAF image data according to the Virtual Channel format.

ステップＳ１１６において、多重化部１４３は、多重化して生成した多重化データを受信部１２２に送信する。   In step S <b> 116, the multiplexing unit 143 transmits the multiplexed data generated by multiplexing to the receiving unit 122.

ステップＳ１１７において、伝送部１２１は、次の画像信号がなく終了が指示されているか否かを判定し、終了が指示されていない場合、処理は、ステップＳ１１１に戻り、それ以降の処理が繰り返される。そして、ステップＳ１１７において、終了が指示された場合、処理は終了する。   In step S117, the transmission unit 121 determines whether there is no next image signal and an end instruction is given. If no end instruction is given, the process returns to step S111, and the subsequent processes are repeated. . If the end is instructed in step S117, the process ends.

一方、受信部１２２においては、ステップＳ１３１において、受信部１２２の分割部２０１は、送信されてきた多重化データを受信する。   On the other hand, in the receiving unit 122, in step S131, the dividing unit 201 of the receiving unit 122 receives the transmitted multiplexed data.

ステップＳ１３２において、受信部１２２の分割部２０１は、受信した多重化データをVirtual Channelのフォーマットに従って、可視画像データからなるストリームデータとZAF画像データからなるストリームデータとを分割し、それぞれストリーム受信処理部２０２，２０３に供給する。   In step S132, the dividing unit 201 of the receiving unit 122 divides the received multiplexed data into stream data composed of visible image data and stream data composed of ZAF image data according to the format of Virtual Channel, and each stream reception processing unit 202 and 203.

ステップＳ１３３において、ストリーム受信処理部２０２の分割部２３１は、可視画像データからなるストリームデータより、可視画像用のMSAと、可視画像データとを分割し、可視画像用のMSAをMSA読取部２３２に、可視画像データを画像生成部２３４に出力する。   In step S <b> 133, the dividing unit 231 of the stream reception processing unit 202 divides the visible image MSA and the visible image data from the stream data including the visible image data, and supplies the visible image MSA to the MSA reading unit 232. The visible image data is output to the image generation unit 234.

ステップＳ１３４において、MSA読取部２３２は、MSAを読み取り、読み取ったMSAの情報を画像生成部２３４に供給する。   In step S134, the MSA reading unit 232 reads the MSA and supplies the read MSA information to the image generation unit 234.

ステップＳ１３５において、画像生成部２３４は、MSAの情報に基づいて、可視画像データより可視画像を再構成して出力する。   In step S135, the image generation unit 234 reconstructs and outputs a visible image from the visible image data based on the MSA information.

ステップＳ１３６において、ストリーム受信処理部２０３の分割部２５１は、可視画像データからなるストリームデータより、ZAF画像用のMSAと、ZAF画像データとを分割し、ZAF画像用のMSAをMSA読取部２５２に、ZAF画像データを画像生成部２５４に出力する。   In step S136, the dividing unit 251 of the stream reception processing unit 203 divides the ZAF image MSA and the ZAF image data from the stream data including the visible image data, and supplies the ZAF image MSA to the MSA reading unit 252. , ZAF image data is output to the image generation unit 254.

ステップＳ１３７において、MSA読取部２５２は、ZAF画像用のMSAを読み取り、読み取ったMSAの情報を画像生成部２５４に供給する。   In step S137, the MSA reading unit 252 reads the MSA for the ZAF image, and supplies the read MSA information to the image generation unit 254.

ステップＳ１３８において、画像生成部２５４は、ZAF画像用のMSAの情報に基づいて、ZAF画像データよりZAF画像を再構成して出力する。   In step S138, the image generation unit 254 reconstructs the ZAF image from the ZAF image data based on the MSA information for the ZAF image and outputs the reconstructed ZAF image.

ステップＳ１３９において、受信部１２２は、次の画像データがなく終了が指示されているか否かを判定し、終了が指示されていない場合、処理は、ステップＳ１３１に戻り、それ以降の処理が繰り返される。そして、ステップＳ１３９において、終了が指示された場合、処理は終了する。   In step S139, the receiving unit 122 determines whether there is no next image data and an instruction to end is made. If the end is not instructed, the process returns to step S131, and the subsequent processes are repeated. . In step S139, if an end instruction is given, the process ends.

以上の処理により、ZAF画像と、可視画像データとがそれぞれストリーミングデータ化されることにより、Virtual Channelを利用して、可視画像データである有効画素データを送信すると共に、ZAF画素データを送信することが可能となる。   Through the above processing, the ZAF image and the visible image data are converted into streaming data, so that the effective pixel data that is the visible image data is transmitted and the ZAF pixel data is transmitted using the Virtual Channel. Is possible.

ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。   By the way, the series of processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.

図１７は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。   FIG. 17 shows a configuration example of a general-purpose personal computer. This personal computer incorporates a CPU (Central Processing Unit) 1001. An input / output interface 1005 is connected to the CPU 1001 via a bus 1004. A ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.

入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。   The input / output interface 1005 includes an input unit 1006 including an input device such as a keyboard and a mouse for a user to input an operation command, an output unit 1007 for outputting a processing operation screen and an image of the processing result to a display device, programs, and various types. A storage unit 1008 including a hard disk drive for storing data, a LAN (Local Area Network) adapter, and the like, and a communication unit 1009 for performing communication processing via a network represented by the Internet are connected. Also, a magnetic disk (including a flexible disk), an optical disk (including a CD-ROM (Compact Disc-Read Only Memory), a DVD (Digital Versatile Disc)), a magneto-optical disk (including an MD (Mini Disc)), or a semiconductor A drive 1010 for reading / writing data from / to a removable medium 1011 such as a memory is connected.

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。   The CPU 1001 is read from a program stored in the ROM 1002 or a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded from the storage unit 1008 to the RAM 1003. Various processes are executed according to the program. The RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。   In the computer configured as described above, the CPU 1001 loads the program stored in the storage unit 1008 to the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program, for example. Is performed.

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。   The program executed by the computer (CPU 1001) can be provided by being recorded on the removable medium 1011 as a package medium, for example. The program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.

コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。   In the computer, the program can be installed in the storage unit 1008 via the input / output interface 1005 by attaching the removable medium 1011 to the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be installed in advance in the ROM 1002 or the storage unit 1008.

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。   The program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。   In this specification, the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。   The embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。   For example, the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is jointly processed.

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。   In addition, each step described in the above flowchart can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。   Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.

尚、本技術は、以下のような構成も取ることができる。
（１） 撮像装置の有効画素データからなる可視画像データを、ディスプレイに伝送するフォーマットを用いて伝送する伝送装置において、
前記可視画像データに加えて、前記撮像装置における位相検出画像データを伝送する伝送部を含む
伝送装置。
（２） 前記伝送部は、前記ディスプレイに伝送するフォーマットを利用して、前記撮像装置における前記位相検出画像データをパケット化して伝送する
（１）に記載の伝送装置。
（３） 前記ディスプレイに伝送するフォーマットは、DisplayPort（商標）で規定されるフォーマットであり、
前記伝送部は、前記DisplayPort（商標）で規定されるSDP（Secondary-data Packet）を、前記ディスプレイに伝送するフォーマットとして利用し、前記撮像装置における前記位相検出画像データをパケット化して伝送する
（２）に記載の伝送装置。
（４） 前記伝送部は、前記DisplayPort（商標）で規定されるSDP（Secondary-data Packet）の、位相検出画像情報パケット、および位相検出画像データパケットを利用して、前記撮像装置における前記位相検出画像データをパケット化して伝送する
（３）に記載の伝送装置。
（５） 前記伝送部は、前記位相検出画像情報パケットを、垂直ブランキング領域に配置し、前記位相検出画像データパケットを、水平ブランキング領域に配置して、前記位相検出画像データをパケット化して伝送する
（４）に記載の伝送装置。
（６） 前記位相検出画像情報パケットは、前記位相検出画像データにより構成される位相検出画像の１フレームあたりのライン数および１ライン当たりの画素数、１画素当たりのビット数、並びに１の前記位相検出画像データ当たりの画素数の情報を含む
（４）または（５）に記載の伝送装置。
（７） 前記伝送部は、前記位相検出画像データパケットを所定バイト単位でパッキングして伝送する
（４）乃至（６）のいずれかに記載の伝送装置。
（８） 前記伝送部は、前記ディスプレイに伝送するフォーマットにおける、１の伝送路で複数のストリームを複数のストリームソースから複数のストリームシンクに伝送する方式を利用して、前記可視画像データに加えて、前記撮像装置における前記位相検出画像データを伝送する
（１）に記載の伝送装置。
（９） 前記ディスプレイに伝送するフォーマットは、DisplayPort（商標）で規定されるフォーマットであり、
前記伝送部は、前記DisplayPort（商標）で規定されるVirtual Channelを利用して、前記可視画像データからなるストリームと、前記位相検出画像データからなるストリームとを１の伝送路でそれぞれの前記ストリームソースからそれぞれの前記ストリームシンクに伝送することで、前記可視画像データに加えて、前記撮像装置における前記位相検出画像データを伝送する
（８）に記載の伝送装置。
（１０） 前記Virtual Channelの、前記ストリーム毎に個別に設定される、前記ストリームの画像特性情報であるMSA（Main Stream Attributes）は、前記ストリームが前記位相検出画像データからなるストリームの場合、前記位相検出画像データにより構成される位相検出画像の１フレーム当たりのライン数および１ライン当たりの画素数、並びに１画素当たりのビット数の情報を含む
（９）に記載の伝送装置。
（１１） 前記MSAは、Mvid（ビデオストリームクロックの周波数）、およびNvid（リンククロック周波数）の情報をそれぞれさらに含み、
前記位相検出画像データからなる位相検出画像の垂直方向画素数および水平方向画素数が、前記可視画像データからなる可視画像の垂直方向画素数および水平方向画素数の、それぞれ１／ｔ、１／ｓであるとき、前記位相検出画像データの前記MSAの前記Mvidと前記Nvidとの比は、前記可視画像データの前記MSAの前記Mvidと前記Nvidとの比の１／（ｔ×ｓ）である
（１０）に記載の伝送装置。
（１２） 前記MSAは、前記撮像装置を特定する情報をさらに含む
（１０）または（１１）に記載の伝送装置。
（１３） 撮像装置の有効画素データからなる可視画像データを、ディスプレイに伝送するフォーマットを用いて伝送する伝送装置の伝送方法において、
前記可視画像データに加えて、前記撮像装置における位相検出画像データを伝送する伝送するステップを含む
伝送方法。
（１４） 撮像装置の有効画素データからなる可視画像データを、ディスプレイに伝送するフォーマットを用いて伝送する伝送装置を制御するコンピュータに、
前記可視画像データに加えて、前記撮像装置における位相検出画像データを伝送する伝送ステップを含む処理を実行させる
プログラム。
（１５） 撮像装置の有効画素データからなる可視画像データを、ディスプレイに伝送するフォーマットを用いて受信する受信装置において、
前記可視画像データに加えて、前記撮像装置における位相検出画像データを受信する受信部を含む
受信装置。
（１６） 撮像装置の有効画素データからなる可視画像データを、ディスプレイに伝送するフォーマットを用いて受信する受信装置の受信方法において、
前記可視画像データに加えて、前記撮像装置における位相検出画像データを受信するステップを含む
受信方法。
（１７） 撮像装置の有効画素データからなる可視画像データを、ディスプレイに伝送するフォーマットを用いて受信する受信装置を制御するコンピュータに、
前記可視画像データに加えて、前記撮像装置における位相検出画像データを受信する受信ステップを含む処理を実行させる
プログラム。
（１８） 撮像装置の有効画素データからなる可視画像データを、ディスプレイに伝送するフォーマットを用いて伝送する伝送装置と、受信装置とからなる伝送システムにおいて、
前記伝送装置は、
前記可視画像データに加えて、前記撮像装置における位相検出画像データを前記受信装置に伝送する伝送部を含み、
前記受信装置は、
前記可視画像データに加えて、前記撮像装置における位相検出画像データを前記伝送装置から受信する受信部を含む
伝送システム。 In addition, this technique can also take the following structures.
(1) In a transmission device that transmits visible image data composed of effective pixel data of an imaging device using a format for transmission to a display,
A transmission device including a transmission unit that transmits phase detection image data in the imaging device in addition to the visible image data.
(2) The transmission device according to (1), wherein the transmission unit packetizes and transmits the phase detection image data in the imaging device using a format transmitted to the display.
(3) The format transmitted to the display is a format defined by DisplayPort (trademark),
The transmission unit uses SDP (Secondary-Data Packet) defined by the DisplayPort (trademark) as a format to be transmitted to the display, and packetizes and transmits the phase detection image data in the imaging device. ).
(4) The transmission unit uses the phase detection image information packet and the phase detection image data packet of SDP (Secondary-data Packet) defined by the DisplayPort (trademark) to detect the phase detection in the imaging device. The transmission apparatus according to (3), wherein image data is packetized and transmitted.
(5) The transmission unit arranges the phase detection image information packet in a vertical blanking region, arranges the phase detection image data packet in a horizontal blanking region, and packetizes the phase detection image data. The transmission device according to (4).
(6) The phase detection image information packet includes the number of lines per frame of the phase detection image constituted by the phase detection image data, the number of pixels per line, the number of bits per pixel, and one phase. The transmission device according to (4) or (5), including information on the number of pixels per detected image data.
(7) The transmission device according to any one of (4) to (6), wherein the transmission unit packs and transmits the phase detection image data packet in units of predetermined bytes.
(8) In addition to the visible image data, the transmission unit uses a scheme in which a plurality of streams are transmitted from a plurality of stream sources to a plurality of stream sinks in one transmission path in a format transmitted to the display. The transmission device according to (1), wherein the phase detection image data in the imaging device is transmitted.
(9) The format transmitted to the display is a format defined by DisplayPort (trademark),
The transmission unit uses the virtual channel defined by the DisplayPort (trademark) to transmit the stream composed of the visible image data and the stream composed of the phase detection image data on each stream source through one transmission path. The transmission device according to (8), wherein the phase detection image data in the imaging device is transmitted in addition to the visible image data by transmitting to each of the stream sinks.
(10) The MSA (Main Stream Attributes), which is image characteristic information of the stream set individually for each stream of the Virtual Channel, is the phase when the stream is a stream composed of the phase detection image data. The transmission device according to (9), including information on the number of lines per frame, the number of pixels per line, and the number of bits per pixel of the phase detection image configured by the detection image data.
(11) The MSA further includes Mvid (video stream clock frequency) and Nvid (link clock frequency) information,
The number of vertical pixels and the number of horizontal pixels of the phase detection image made of the phase detection image data are 1 / t and 1 / s, respectively, of the number of vertical pixels and the number of horizontal pixels of the visible image made of the visible image data. The ratio of the Mvid of the MSA of the phase detection image data to the Nvid is 1 / (t × s) of the ratio of the Mvid of the MSA of the visible image data to the Nvid. 10) The transmission apparatus described in 10).
(12) The transmission device according to (10) or (11), wherein the MSA further includes information for specifying the imaging device.
(13) In a transmission method of a transmission device that transmits visible image data including effective pixel data of an imaging device using a format for transmission to a display,
A transmission method comprising: transmitting phase detection image data in the imaging apparatus in addition to the visible image data.
(14) A computer that controls a transmission device that transmits visible image data including effective pixel data of an imaging device using a format for transmission to a display;
The program which performs the process including the transmission step which transmits the phase detection image data in the said imaging device in addition to the said visible image data.
(15) In a receiving device that receives visible image data composed of effective pixel data of an imaging device using a format for transmission to a display,
A receiving device including a receiving unit that receives phase detection image data in the imaging device in addition to the visible image data.
(16) In a receiving method of a receiving device that receives visible image data composed of effective pixel data of an imaging device using a format for transmission to a display,
A receiving method including a step of receiving phase detection image data in the imaging device in addition to the visible image data.
(17) A computer that controls a receiving device that receives visible image data including effective pixel data of an imaging device using a format for transmission to a display;
A program for executing processing including a reception step of receiving phase detection image data in the imaging device in addition to the visible image data.
(18) In a transmission system including a transmission device that transmits visible image data including effective pixel data of an imaging device using a format for transmission to a display, and a reception device.
The transmission apparatus is
In addition to the visible image data, including a transmission unit that transmits phase detection image data in the imaging device to the receiving device,
The receiving device is:
A transmission system including a receiving unit that receives phase detection image data in the imaging device from the transmission device in addition to the visible image data.

２１ 伝送部， ２２ 受信部， ４１ MSA生成部， ４２ SDP生成部， ４３ 多重化部， ６１ 分割部， ６２ MSA読取部， ６３ SDP読取部， ６４ 画像生成部， １２１ 伝送部， １２２ 受信部， １４１，１４１，−１乃至１４１−ｎ，１４２ ストリーム伝送処理部， １４３ 多重化部， １６１ MSA生成部， １６２ SDP生成部， １６３ 多重化部， １８１ MSA生成部， １８２ SDP生成部， １８３ 多重化部， ２０１ 分割部， ２０２，２０２−１乃至２０２−ｎ，２０３ ストリーム受信処理部， ２３１ 分割部， ２３２ MSA読取部， ２３３ SDP読取部， ２３４ 画像生成部， ２５１ 分割部， ２５２ MSA読取部， ２５３ SDP読取部， ２５４ 画像生成部   21 transmitting unit, 22 receiving unit, 41 MSA generating unit, 42 SDP generating unit, 43 multiplexing unit, 61 dividing unit, 62 MSA reading unit, 63 SDP reading unit, 64 image generating unit, 121 transmitting unit, 122 receiving unit, 141, 141, -1 to 141-n, 142 stream transmission processing unit, 143 multiplexing unit, 161 MSA generation unit, 162 SDP generation unit, 163 multiplexing unit, 181 MSA generation unit, 182 SDP generation unit, 183 multiplexing , 201 division unit, 202, 202-1 to 202-n, 203 stream reception processing unit, 231 division unit, 232 MSA reading unit, 233 SDP reading unit, 234 image generation unit, 251 division unit, 252 MSA reading unit, 253 SDP reader, 254 Image generator

Claims (18)

撮像装置の有効画素データからなる可視画像データを、ディスプレイに伝送するフォーマットを用いて伝送する伝送装置において、
前記可視画像データに加えて、前記撮像装置における位相検出画像データを伝送する伝送部を含む
伝送装置。 In a transmission device that transmits visible image data composed of effective pixel data of an imaging device using a format for transmission to a display,
A transmission device including a transmission unit that transmits phase detection image data in the imaging device in addition to the visible image data. 前記伝送部は、前記ディスプレイに伝送するフォーマットを利用して、前記撮像装置における前記位相検出画像データをパケット化して伝送する
請求項１に記載の伝送装置。 The transmission device according to claim 1, wherein the transmission unit packetizes and transmits the phase detection image data in the imaging device using a format transmitted to the display. 前記ディスプレイに伝送するフォーマットは、DisplayPort（商標）で規定されるフォーマットであり、
前記伝送部は、前記DisplayPort（商標）で規定されるSDP（Secondary-data Packet）を、前記ディスプレイに伝送するフォーマットとして利用し、前記撮像装置における前記位相検出画像データをパケット化して伝送する
請求項２に記載の伝送装置。 The format transmitted to the display is a format defined by DisplayPort (trademark),
The transmission unit uses SDP (Secondary-data Packet) defined by the DisplayPort (trademark) as a format for transmission to the display, and packetizes and transmits the phase detection image data in the imaging device. 2. The transmission apparatus according to 2. 前記伝送部は、前記DisplayPort（商標）で規定されるSDP（Secondary-data Packet）の、位相検出画像情報パケット、および位相検出画像データパケットを利用して、前記撮像装置における前記位相検出画像データをパケット化して伝送する
請求項３に記載の伝送装置。 The transmission unit uses the phase detection image information packet and the phase detection image data packet of SDP (Secondary-data Packet) defined by the DisplayPort (trademark) to transmit the phase detection image data in the imaging device. The transmission apparatus according to claim 3, wherein the transmission apparatus is packetized and transmitted. 前記伝送部は、前記位相検出画像情報パケットを、垂直ブランキング領域に配置し、前記位相検出画像データパケットを、水平ブランキング領域に配置して、前記位相検出画像データをパケット化して伝送する
請求項４に記載の伝送装置。 The transmission unit arranges the phase detection image information packet in a vertical blanking area, arranges the phase detection image data packet in a horizontal blanking area, and packetizes and transmits the phase detection image data. Item 5. The transmission device according to Item 4. 前記位相検出画像情報パケットは、前記位相検出画像データにより構成される位相検出画像の１フレームあたりのライン数および１ライン当たりの画素数、１画素当たりのビット数、並びに１の前記位相検出画像データ当たりの画素数の情報を含む
請求項４に記載の伝送装置。 The phase detection image information packet includes the number of lines per frame of the phase detection image constituted by the phase detection image data, the number of pixels per line, the number of bits per pixel, and one phase detection image data. The transmission device according to claim 4, comprising information on the number of pixels per unit. 前記伝送部は、前記位相検出画像データパケットを所定バイト単位でパッキングして伝送する
請求項４に記載の伝送装置。 The transmission device according to claim 4, wherein the transmission unit packs and transmits the phase detection image data packet in units of predetermined bytes. 前記伝送部は、前記ディスプレイに伝送するフォーマットにおける、１の伝送路で複数のストリームを複数のストリームソースから複数のストリームシンクに伝送する方式を利用して、前記可視画像データに加えて、前記撮像装置における前記位相検出画像データを伝送する
請求項１に記載の伝送装置。 In addition to the visible image data, the transmission unit uses the method of transmitting a plurality of streams from a plurality of stream sources to a plurality of stream sinks in one transmission path in a format transmitted to the display. The transmission apparatus according to claim 1, wherein the phase detection image data in the apparatus is transmitted. 前記ディスプレイに伝送するフォーマットは、DisplayPort（商標）で規定されるフォーマットであり、
前記伝送部は、前記DisplayPort（商標）で規定されるVirtual Channelを利用して、前記可視画像データからなるストリームと、前記位相検出画像データからなるストリームとを１の伝送路でそれぞれの前記ストリームソースからそれぞれの前記ストリームシンクに伝送することで、前記可視画像データに加えて、前記撮像装置における前記位相検出画像データを伝送する
請求項８に記載の伝送装置。 The format transmitted to the display is a format defined by DisplayPort (trademark),
The transmission unit uses the virtual channel defined by the DisplayPort (trademark) to transmit the stream composed of the visible image data and the stream composed of the phase detection image data on each stream source through one transmission path. The transmission device according to claim 8, wherein the phase detection image data in the imaging device is transmitted in addition to the visible image data by transmitting to each of the stream sinks. 前記Virtual Channelの、前記ストリーム毎に個別に設定される、前記ストリームの画像特性情報であるMSA（Main Stream Attributes）は、前記ストリームが前記位相検出画像データからなるストリームの場合、前記位相検出画像データにより構成される位相検出画像の１フレーム当たりのライン数および１ライン当たりの画素数、並びに１画素当たりのビット数の情報を含む
請求項９に記載の伝送装置。 MSA (Main Stream Attributes), which is the image characteristic information of the stream set individually for each stream in the Virtual Channel, is the phase detection image data when the stream is a stream composed of the phase detection image data. The transmission device according to claim 9, including information on the number of lines per frame and the number of pixels per line of the phase detection image configured by: 前記MSAは、Mvid（ビデオストリームクロックの周波数）、およびNvid（リンククロック周波数）の情報をそれぞれさらに含み、
前記位相検出画像データからなる位相検出画像の垂直方向画素数および水平方向画素数が、前記可視画像データからなる可視画像の垂直方向画素数および水平方向画素数の、それぞれ１／ｔ、１／ｓであるとき、前記位相検出画像データの前記MSAの前記Mvidと前記Nvidとの比は、前記可視画像データの前記MSAの前記Mvidと前記Nvidとの比の１／（ｔ×ｓ）である
請求項１０に記載の伝送装置。 The MSA further includes Mvid (video stream clock frequency) and Nvid (link clock frequency) information,
The number of vertical pixels and the number of horizontal pixels of the phase detection image made of the phase detection image data are 1 / t and 1 / s, respectively, of the number of vertical pixels and the number of horizontal pixels of the visible image made of the visible image data. The ratio between the Mvid and the Nvid of the MSA of the phase detection image data is 1 / (t × s) of the ratio of the Mvid and the Nvid of the MSA of the visible image data. Item 11. The transmission device according to Item 10. 前記MSAは、前記撮像装置を特定する情報をさらに含む
請求項１０に記載の伝送装置。 The transmission apparatus according to claim 10, wherein the MSA further includes information for specifying the imaging apparatus. 撮像装置の有効画素データからなる可視画像データを、ディスプレイに伝送するフォーマットを用いて伝送する伝送装置の伝送方法において、
前記可視画像データに加えて、前記撮像装置における位相検出画像データを伝送する伝送するステップを含む
伝送方法。 In a transmission method of a transmission device that transmits visible image data composed of effective pixel data of an imaging device using a format for transmission to a display,
A transmission method comprising: transmitting phase detection image data in the imaging apparatus in addition to the visible image data. 撮像装置の有効画素データからなる可視画像データを、ディスプレイに伝送するフォーマットを用いて伝送する伝送装置を制御するコンピュータに、
前記可視画像データに加えて、前記撮像装置における位相検出画像データを伝送する伝送ステップを含む処理を実行させる
プログラム。 A computer that controls a transmission device that transmits visible image data including effective pixel data of an imaging device using a format for transmission to a display;
The program which performs the process including the transmission step which transmits the phase detection image data in the said imaging device in addition to the said visible image data. 撮像装置の有効画素データからなる可視画像データを、ディスプレイに伝送するフォーマットを用いて受信する受信装置において、
前記可視画像データに加えて、前記撮像装置における位相検出画像データを受信する受信部を含む
受信装置。 In a receiving device that receives visible image data composed of effective pixel data of an imaging device using a format that is transmitted to a display,
A receiving device including a receiving unit that receives phase detection image data in the imaging device in addition to the visible image data. 撮像装置の有効画素データからなる可視画像データを、ディスプレイに伝送するフォーマットを用いて受信する受信装置の受信方法において、
前記可視画像データに加えて、前記撮像装置における位相検出画像データを受信するステップを含む
受信方法。 In a receiving method of a receiving device that receives visible image data composed of effective pixel data of an imaging device using a format for transmission to a display,
A receiving method including a step of receiving phase detection image data in the imaging device in addition to the visible image data. 撮像装置の有効画素データからなる可視画像データを、ディスプレイに伝送するフォーマットを用いて受信する受信装置を制御するコンピュータに、
前記可視画像データに加えて、前記撮像装置における位相検出画像データを受信する受信ステップを含む処理を実行させる
プログラム。 A computer that controls a receiving device that receives visible image data composed of effective pixel data of an imaging device using a format for transmission to a display;
A program for executing processing including a reception step of receiving phase detection image data in the imaging device in addition to the visible image data. 撮像装置の有効画素データからなる可視画像データを、ディスプレイに伝送するフォーマットを用いて伝送する伝送装置と、受信装置とからなる伝送システムにおいて、
前記伝送装置は、
前記可視画像データに加えて、前記撮像装置における位相検出画像データを前記受信装置に伝送する伝送部を含み、
前記受信装置は、
前記可視画像データに加えて、前記撮像装置における位相検出画像データを前記伝送装置から受信する受信部を含む
伝送システム。 In a transmission system comprising a transmission device that transmits visible image data composed of effective pixel data of an imaging device using a format for transmission to a display, and a reception device,
The transmission apparatus is
In addition to the visible image data, including a transmission unit that transmits phase detection image data in the imaging device to the receiving device,
The receiving device is:
A transmission system including a receiving unit that receives phase detection image data in the imaging device from the transmission device in addition to the visible image data.
JP2014064702A 2014-03-26 2014-03-26 TRANSMISSION DEVICE AND TRANSMISSION METHOD, RECEPTION DEVICE AND RECEPTION METHOD, TRANSMISSION SYSTEM, AND PROGRAM Expired - Fee Related JP6176168B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014064702A JP6176168B2 (en) 2014-03-26 2014-03-26 TRANSMISSION DEVICE AND TRANSMISSION METHOD, RECEPTION DEVICE AND RECEPTION METHOD, TRANSMISSION SYSTEM, AND PROGRAM
TW104105428A TW201537991A (en) 2014-03-26 2015-02-16 Transmitting device, transmitting method, receiving device, receiving method, transmission system, and non-transitory computer-readable storage medium storing program
US15/126,700 US20170094074A1 (en) 2014-03-26 2015-03-13 Transmitting device, transmitting method, receiving device, receiving method, transmission system, and non-transitory computer-readable storage medium storing program
PCT/JP2015/001404 WO2015146052A1 (en) 2014-03-26 2015-03-13 Transmitting device, transmitting method, receiving device, receiving method, transmission system, and non-transitory computer-readable storage medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014064702A JP6176168B2 (en) 2014-03-26 2014-03-26 TRANSMISSION DEVICE AND TRANSMISSION METHOD, RECEPTION DEVICE AND RECEPTION METHOD, TRANSMISSION SYSTEM, AND PROGRAM

Publications (3)

Publication Number Publication Date
JP2015188154A true JP2015188154A (en) 2015-10-29
JP2015188154A5 JP2015188154A5 (en) 2016-04-07
JP6176168B2 JP6176168B2 (en) 2017-08-09

Family

ID=52779993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014064702A Expired - Fee Related JP6176168B2 (en) 2014-03-26 2014-03-26 TRANSMISSION DEVICE AND TRANSMISSION METHOD, RECEPTION DEVICE AND RECEPTION METHOD, TRANSMISSION SYSTEM, AND PROGRAM

Country Status (4)

Country Link
US (1) US20170094074A1 (en)
JP (1) JP6176168B2 (en)
TW (1) TW201537991A (en)
WO (1) WO2015146052A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154227A1 (en) * 2016-03-09 2017-09-14 株式会社アクセル Sink device, and control method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10146499B2 (en) * 2015-10-09 2018-12-04 Dell Products L.P. System and method to redirect display-port audio playback devices in a remote desktop protocol session
US10476927B2 (en) * 2015-11-30 2019-11-12 Dell Products L.P. System and method for display stream compression for remote desktop protocols
CN114007030B (en) * 2017-10-20 2024-03-08 杭州海康威视数字技术股份有限公司 Data transmission method, camera and electronic equipment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090094658A1 (en) * 2007-10-09 2009-04-09 Genesis Microchip Inc. Methods and systems for driving multiple displays
JP2012120158A (en) * 2010-11-12 2012-06-21 Sony Corp Image output device, image output method, image processing device, image processing method, program, data structure, and imaging device
US20120249563A1 (en) * 2011-03-31 2012-10-04 David Wyatt Method and apparatus to support a self-refreshing display device coupled to a graphics controller
JP2013106124A (en) * 2011-11-11 2013-05-30 Olympus Imaging Corp Imaging apparatus, imaging apparatus control method, and program
US20130258149A1 (en) * 2012-03-30 2013-10-03 Samsung Electronics Co., Ltd. Image pickup apparatus, method for image pickup and computer-readable recording medium

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9052902B2 (en) * 2010-09-24 2015-06-09 Intel Corporation Techniques to transmit commands to a target device to reduce power consumption

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090094658A1 (en) * 2007-10-09 2009-04-09 Genesis Microchip Inc. Methods and systems for driving multiple displays
JP2012120158A (en) * 2010-11-12 2012-06-21 Sony Corp Image output device, image output method, image processing device, image processing method, program, data structure, and imaging device
US20120249563A1 (en) * 2011-03-31 2012-10-04 David Wyatt Method and apparatus to support a self-refreshing display device coupled to a graphics controller
JP2013106124A (en) * 2011-11-11 2013-05-30 Olympus Imaging Corp Imaging apparatus, imaging apparatus control method, and program
US20130258149A1 (en) * 2012-03-30 2013-10-03 Samsung Electronics Co., Ltd. Image pickup apparatus, method for image pickup and computer-readable recording medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154227A1 (en) * 2016-03-09 2017-09-14 株式会社アクセル Sink device, and control method
JPWO2017154227A1 (en) * 2016-03-09 2019-03-22 株式会社アクセル Sink device and control method

Also Published As

Publication number Publication date
US20170094074A1 (en) 2017-03-30
TW201537991A (en) 2015-10-01
WO2015146052A1 (en) 2015-10-01
JP6176168B2 (en) 2017-08-09

Similar Documents

Publication Publication Date Title
RU2516499C2 (en) Transmitting stereoscopic image data through display device interface
KR101994599B1 (en) Method and apparatus for controlling transmission of compressed picture according to transmission synchronization events
US8397272B2 (en) Multi-stream digital display interface
RU2522424C2 (en) Transmitting apparatus, stereo image data transmitting method, receiving apparatus and stereo image data receiving method
JP6176168B2 (en) TRANSMISSION DEVICE AND TRANSMISSION METHOD, RECEPTION DEVICE AND RECEPTION METHOD, TRANSMISSION SYSTEM, AND PROGRAM
JP5448558B2 (en) Transmission apparatus, stereoscopic image data transmission method, reception apparatus, stereoscopic image data reception method, relay apparatus, and stereoscopic image data relay method
US20110149034A1 (en) Stereo image data transmitting apparatus and stereo image data transmittimg method
US20110141238A1 (en) Stereo image data transmitting apparatus, stereo image data transmitting method, stereo image data receiving data receiving method
JP6531759B2 (en) Transmission apparatus, transmission method, reception apparatus and reception method
CN103782604B (en) Dispensing device, sending method, reception device, method of reseptance and transmitting/receiving system
KR20120036789A (en) Stereoscopic image data transmitter and stereoscopic image data receiver
JP5914884B2 (en) Digital video signal output device and display device, digital video signal output method and reception method
JP2014146924A (en) Source device, sink device, communication system, and image transmission method
JP2015532065A (en) Combine video and audio streams using pixel repetition bandwidth
US20120044325A1 (en) Source device, sink device, communication system and method for wirelessly transmitting three-dimensional video data using packets
US9131215B2 (en) Method and apparatus for transmitting and receiving uncompressed three-dimensional video data via digital data interface
US20170311031A1 (en) Sending device, method of sending high dynamic range image data, receiving device, method of receiving high dynamic range image data, and program
EP3833039A1 (en) Transmission device, transmission method, reception device, and reception method
JP5356342B2 (en) Moving image processing apparatus and moving image processing method
WO2016152549A1 (en) Transmission device, transmission method, reception device, reception method, transmission system, and program
WO2016152550A1 (en) Transmission device, transmission method, reception device, reception method, transmission system, and program
TW201444372A (en) Method, apparatus and system for communicating sideband data with non-compressed video
CN103313073A (en) Method and device for sending, receiving and transmitting three-dimensional image data
CN108141641B (en) Video distribution device, video distribution system and video distribution method
WO2022244338A1 (en) Video signal processing device, video signal processing method, video signal output device, and multi-display system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170626

R151 Written notification of patent or utility model registration

Ref document number: 6176168

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees