JP2019087827A - Encoding device, image processing device, and image processing method - Google Patents

Encoding device, image processing device, and image processing method Download PDF

Info

Publication number
JP2019087827A
JP2019087827A JP2017213236A JP2017213236A JP2019087827A JP 2019087827 A JP2019087827 A JP 2019087827A JP 2017213236 A JP2017213236 A JP 2017213236A JP 2017213236 A JP2017213236 A JP 2017213236A JP 2019087827 A JP2019087827 A JP 2019087827A
Authority
JP
Japan
Prior art keywords
image
image processing
processing module
channel
transmitted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017213236A
Other languages
Japanese (ja)
Other versions
JP7076983B2 (en
Inventor
章弘 田邉
Akihiro Tanabe
章弘 田邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017213236A priority Critical patent/JP7076983B2/en
Publication of JP2019087827A publication Critical patent/JP2019087827A/en
Application granted granted Critical
Publication of JP7076983B2 publication Critical patent/JP7076983B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide an encoding device, an image processing device, and an image processing method that can perform transmission well.SOLUTION: An encoding device includes control means that performs control such that transmission is performed in a first mode in which a first frame from among a plurality of frames constituting a moving image is transmitted through a first channel from among a plurality of channels, and a second frame different from the first frame is transmitted through a second channel different from the first channel from among the plurality of channels in a first case where a moving image with a frame rate higher than a threshold is transmitted through a bus including the plurality of channels, and performs control such that transmission is performed in a second mode different from the first mode in a second case different from the first case, and encoding means that encodes the image transmitted through the bus.SELECTED DRAWING: Figure 6

Description

本発明は、符号化装置、画像処理装置及び画像処理方法に関する。   The present invention relates to an encoding device, an image processing device, and an image processing method.

近時では、撮像装置や携帯型通信端末等の画像処理装置が広く普及している。このような画像処理装置には、撮像手段と、当該撮像手段によって取得される動画像に対して所定の処理を行う画像処理手段と、画像処理手段によって画像処理が施された画像に対して符号化処理を行う符号化処理手段とが備えられている。画像処理手段と符号化処理手段との間での画像データの伝送には、例えば汎用のバスが用いられる。特許文献１には、画像送出側の画像縮小機能と、画像表示側の画像拡大機能を用い、ソフトウェアで画像データの解像度を調整することにより、汎用バスに流れる画像データの転送量の調整を実現することが開示されている。特許文献１では、汎用バスに送出する画像データのフレームレートが一定となる。   Recently, image processing apparatuses such as imaging apparatuses and portable communication terminals are widely used. In such an image processing apparatus, an image pickup means, an image processing means for performing predetermined processing on a moving image acquired by the image pickup means, and a code for an image subjected to image processing by the image processing means And encoding processing means for carrying out the conversion processing. For transmission of image data between the image processing means and the encoding processing means, for example, a general-purpose bus is used. Patent Document 1 realizes adjustment of the transfer amount of image data flowing through a general-purpose bus by adjusting the resolution of image data with software using the image reduction function on the image transmission side and the image enlargement function on the image display side. It is disclosed that. In Patent Document 1, the frame rate of image data to be sent to a general-purpose bus is constant.

特開２０００−８２１３４号公報JP 2000-82134 A

しかしながら、フレームレート等の増大に伴って、伝送を良好に行い得なくなることが考えられる。   However, as the frame rate and the like increase, it is conceivable that good transmission can not be performed.

本発明の目的は、良好に伝送を行い得る符号化装置、画像処理装置及び画像処理方法を提供することにある。   An object of the present invention is to provide an encoding device, an image processing device, and an image processing method which can perform good transmission.

実施形態の一観点によれば、複数のチャンネルを備えるバスを介して閾値より大きいフレームレートの動画像が伝送される第１の場合においては、前記動画像を構成する複数のフレームのうちの第１のフレームが前記複数のチャンネルのうちの第１のチャンネルを介して伝送されるとともに、前記第１のフレームとは異なる第２のフレームが前記複数のチャンネルのうちの前記第１のチャンネルとは異なる第２のチャンネルを介して伝送される第１のモードで伝送が行われるように制御を行い、前記第１の場合と異なる第２の場合においては、前記第１のモードとは異なる第２のモードで伝送が行われるように制御を行う制御手段と、前記バスを介して伝送された画像を符号化する符号化手段とを備えることを特徴とする画像処理装置が提供される。   According to one aspect of the embodiment, in the first case where a moving image of a frame rate larger than a threshold is transmitted via a bus including a plurality of channels, the first of the plurality of frames constituting the moving image is selected. One frame is transmitted via a first channel of the plurality of channels, and a second frame different from the first frame is the first channel of the plurality of channels Control is performed such that transmission is performed in a first mode transmitted via a different second channel, and in a second case different from the first case, a second different from the first mode An image processing apparatus comprising: control means for performing control so as to perform transmission in the following modes; and encoding means for encoding an image transmitted via the bus. It is.

本発明の他の観点によれば、複数のチャンネルを備えるバスを介して閾値より大きい数のタイルに分割された画像が伝送される第１の場合においては、複数のタイルのうちの第１のタイルが前記複数のチャンネルのうちの第１のチャンネルを介して伝送されるとともに、前記複数のタイルのうちの前記第１のタイルとは異なる第２のタイルが前記第１のチャンネルとは異なる第２のチャンネルを介して伝送される第１のモードで伝送が行われるように制御を行い、前記第１の場合と異なる第２の場合においては、前記第１のモードとは異なる第２のモードで伝送が行われるように制御を行う制御手段と、前記バスを介して伝送された画像を符号化する符号化手段とを備えることを特徴とする画像処理装置が提供される。   According to another aspect of the present invention, in the first case where an image divided into a number of tiles larger than a threshold is transmitted via a bus comprising a plurality of channels, a first of the plurality of tiles is transmitted. A tile is transmitted via a first channel of the plurality of channels, and a second tile different from the first tile of the plurality of tiles is different from the first channel. A second mode different from the first mode is controlled to perform transmission in a first mode transmitted through two channels, and in a second case different from the first case. An image processing apparatus is provided, comprising: control means for performing control so that transmission is performed; and encoding means for encoding an image transmitted via the bus.

本発明の更に他の観点によれば、複数のチャンネルを備えるバスを介して閾値より大きいフレームレートの動画像を受信する第１の場合においては、前記動画像を構成する複数のフレームのうちの第１のフレームが前記複数のチャンネルのうちの第１のチャンネルを介して受信されるとともに、前記第１のフレームとは異なる第２のフレームが前記複数のチャンネルのうちの前記第１のチャンネルとは異なる第２のチャンネルを介して受信される第１のモードで受信が行われるように制御を行い、前記第１の場合と異なる第２の場合においては、前記第１のモードとは異なる第２のモードで受信が行われるように制御を行う制御手段と、前記バスを介して受信した画像を符号化する符号化手段とを備えることを特徴とする符号化装置が提供される。   According to still another aspect of the present invention, in the first case of receiving a moving image of a frame rate higher than a threshold value via a bus including a plurality of channels, of the plurality of frames constituting the moving image, A first frame is received via a first one of the plurality of channels, and a second frame different from the first frame is one of the plurality of channels and the first one of the plurality of channels. Is controlled to perform reception in a first mode received via a different second channel, and in a second case different from the first case, a first different from the first mode An encoding apparatus is provided, comprising: control means for performing control so that reception is performed in mode 2; and encoding means for encoding an image received via the bus. That.

本発明の更に他の観点によれば、複数のチャンネルを備えるバスを介して閾値より大きい数のタイルに分割された画像を受信する第１の場合においては、複数のタイルのうちの第１のタイルが前記複数のチャンネルのうちの第１のチャンネルを介して受信されるとともに、前記複数のタイルのうちの前記第１のタイルとは異なる第２のタイルが前記第１のチャンネルとは異なる第２のチャンネルを介して受信される第１のモードで受信が行われるように制御を行い、前記第１の場合と異なる第２の場合においては、前記第１のモードとは異なる第２のモードで受信が行われるように制御を行う制御手段と、前記バスを介して受信した画像を符号化する符号化手段とを備えることを特徴とする符号化装置が提供される。   According to still another aspect of the present invention, in the first case of receiving an image divided into a number of tiles larger than a threshold via a bus comprising a plurality of channels, a first of the plurality of tiles is received. A tile is received via a first channel of the plurality of channels, and a second tile different from the first tile of the plurality of tiles is different from the first channel Control is performed to perform reception in a first mode received via two channels, and in a second case different from the first case, a second mode different from the first mode An encoding apparatus is provided, comprising: control means for performing control so that reception is performed, and encoding means for encoding an image received via the bus.

本発明によれば、良好に伝送を行い得る符号化装置、画像処理装置及び画像処理方法を提供することができる。   According to the present invention, it is possible to provide an encoding device, an image processing device, and an image processing method which can perform good transmission.

第１実施形態による画像処理装置を示すブロック図である。FIG. 1 is a block diagram showing an image processing apparatus according to a first embodiment. 第１実施形態による画像処理装置の一部を示すブロック図である。It is a block diagram showing a part of image processing device by a 1st embodiment. 画像処理モジュールと符号化処理モジュールとの間のバスの構成の例を示す図である。It is a figure showing an example of composition of a bus between an image processing module and an encoding processing module. 画像処理モジュールと符号化処理モジュールとの間で行われる処理の例を示す図である。It is a figure which shows the example of the process performed between an image processing module and an encoding processing module. 第１実施形態による画像処理装置に備えられた画像処理モジュールによって行われる処理の例を示すフローチャートである。It is a flowchart which shows the example of the process performed by the image processing module with which the image processing apparatus by 1st Embodiment was equipped. 第１実施形態による画像処理装置に備えられた符号化処理モジュールによって行われる処理の例を示すフローチャートである。It is a flowchart which shows the example of the process performed by the encoding process module with which the image processing apparatus by 1st Embodiment was equipped. 第２実施形態による画像処理装置に備えられた画像処理モジュールによって行われる処理の例を示すフローチャートである。It is a flowchart which shows the example of the process performed by the image processing module with which the image processing apparatus by 2nd Embodiment was equipped. 第３実施形態による画像処理装置に備えられた画像処理モジュールによって行われる処理の例を示すフローチャートである。It is a flowchart which shows the example of the process performed by the image processing module with which the image processing apparatus by 3rd Embodiment was equipped. 第３実施形態による画像処理装置に備えられた符号化処理モジュールによって行われる処理の例を示すフローチャートである。It is a flowchart which shows the example of the process performed by the encoding process module with which the image processing apparatus by 3rd Embodiment was equipped. 第４実施形態による画像処理装置に備えられた画像処理モジュールによって行われる処理の例を示すフローチャートである。It is a flowchart which shows the example of the process performed by the image processing module with which the image processing apparatus by 4th Embodiment was equipped.

本発明の実施の形態について図面を用いて以下に詳細に説明する。なお、本発明は以下の実施形態に限定されるものではない。   Embodiments of the present invention will be described in detail below with reference to the drawings. The present invention is not limited to the following embodiments.

［第１実施形態］
第１実施形態による符号化装置、画像処理装置及び画像処理方法について図面を用いて詳細に説明する。 First Embodiment
An encoding device, an image processing device, and an image processing method according to the first embodiment will be described in detail using the drawings.

＜全体構成＞
図１は、本実施形態による画像処理装置を示すブロック図である。画像処理装置１０は、画像処理モジュール１００ａ、１００ｂと、撮像部１１２と、表示部１１６と、通信部１１８と、符号化処理モジュール２００と、メモリ２１１とを有する。画像処理モジュール１００ａの構成と画像処理モジュール１００ｂの構成とは同等である。画像処理モジュール一般について説明する際には、符号１００を用い、個々の画像処理モジュールについて説明する際には、符号１００ａ、１００ｂを用いることとする。ここでは、画像処理装置１０が、撮像装置、より具体的には、デジタルカメラである場合を例に説明するが、これに限定されるものではない。例えば、画像処理装置１０は、スマートフォン、カメラ付き携帯電話、デジタルビデオカメラ等であってもよい。画像処理装置１０には、撮影レンズ（レンズユニット）１１１が備えられる。撮影レンズ１１１は、画像処理装置１０のボディから着脱可能であってもよいし着脱不能であってもよい。画像処理装置１０には、記録媒体１２０が備えられる。記録媒体１２０は、画像処理装置１０のボディから着脱可能であってもよいし着脱不能であってもよい。 <Overall configuration>
FIG. 1 is a block diagram showing an image processing apparatus according to the present embodiment. The image processing apparatus 10 includes image processing modules 100a and 100b, an imaging unit 112, a display unit 116, a communication unit 118, an encoding processing module 200, and a memory 211. The configuration of the image processing module 100a is the same as the configuration of the image processing module 100b. When describing the image processing module in general, reference numeral 100 is used, and when describing the individual image processing modules, reference numerals 100a and 100b are used. Here, although the case where the image processing apparatus 10 is an imaging apparatus, more specifically, a digital camera is described as an example, the present invention is not limited to this. For example, the image processing apparatus 10 may be a smartphone, a camera-equipped mobile phone, a digital video camera, or the like. The image processing apparatus 10 is provided with a photographing lens (lens unit) 111. The photographing lens 111 may be detachable from the body of the image processing apparatus 10 or may not be detachable. The image processing apparatus 10 includes a recording medium 120. The recording medium 120 may or may not be detachable from the body of the image processing apparatus 10.

画像処理モジュール１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、メモリ１０２と、不揮発性メモリ１０３と、操作部１０４と、画像処理部１１３と、外部ＩＦ制御部１１４と、表示制御部１１５とを有する。画像処理モジュール１００は、通信制御部１１７と、記録媒体制御部１１９と、画像処理モジュール間ＩＦ１２１と、内部バス１３０とを更に有する。   The image processing module 100 includes a central processing unit (CPU) 101, a memory 102, a non-volatile memory 103, an operation unit 104, an image processing unit 113, an external IF control unit 114, and a display control unit 115. . The image processing module 100 further includes a communication control unit 117, a recording medium control unit 119, an inter-image processing module IF 121, and an internal bus 130.

ＣＰＵ１０１は、不揮発性メモリ１０３に記憶されているコンピュータプログラムを実行することによって、内部バス１３０を介して画像処理モジュール１００の各部（各機能ブロック）の動作を制御する。   The CPU 101 executes the computer program stored in the non-volatile memory 103 to control the operation of each part (each functional block) of the image processing module 100 via the internal bus 130.

メモリ１０２は、書き換え可能な揮発性メモリである。メモリ１０２は、画像処理モジュール１００の各部の動作を制御するためのコンピュータプログラムが一時的に記録される。また、メモリ１０２は、画像処理モジュール１００の各部の動作に関するパラメータ等の情報を一時的に記録する。また、メモリ１０２は、通信制御部１１７によって受信される情報等を一時的に記録する。メモリ１０２は、撮像部１１２によって取得された画像、画像処理部１１３によって処理された画像、符号化処理モジュール２００によって符号化された画像等を一時的に記録する。メモリ１０２は、これらを一時的に記録するための十分な記憶容量を備えている。   The memory 102 is a rewritable volatile memory. A memory 102 temporarily stores a computer program for controlling the operation of each unit of the image processing module 100. The memory 102 also temporarily records information such as parameters related to the operation of each part of the image processing module 100. In addition, the memory 102 temporarily records information and the like received by the communication control unit 117. The memory 102 temporarily records the image acquired by the imaging unit 112, the image processed by the image processing unit 113, the image encoded by the encoding processing module 200, and the like. The memory 102 has sufficient storage capacity for temporarily recording these.

不揮発性メモリ１０３は、電気的に消去及び記録が可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１０３は、画像処理モジュール１００の各部の動作を制御するためのコンピュータプログラムを記憶する。また、不揮発性メモリ１０３は、画像処理モジュール１００の各部の動作に関するパラメータ等の情報を記憶する。かかるコンピュータプログラムによって、本実施形態による画像処理装置１０によって行われる各種動作が実現される。   The nonvolatile memory 103 is an electrically erasable and recordable memory, and an EEPROM or the like is used, for example. The non-volatile memory 103 stores a computer program for controlling the operation of each part of the image processing module 100. The non-volatile memory 103 also stores information such as parameters related to the operation of each unit of the image processing module 100. The computer program realizes various operations performed by the image processing apparatus 10 according to the present embodiment.

操作部１０４は、画像処理モジュール１００を操作するためのユーザインターフェースを提供する。操作部１０４は、電源ボタン、メニューボタン、撮影ボタン等の各種ボタンを含んでおり、各種ボタンは、スイッチ、タッチパネル等によって構成される。ＣＰＵ１０１は、操作部１０４を介して入力されたユーザの指示に従って、画像処理モジュール１００を制御する。ここでは、操作部１０４を介して入力される操作に基づいてＣＰＵ１０１が画像処理モジュール１００を制御する場合を例に説明するが、これに限定されるものではない。例えば、不図示のリモートコントローラや不図示の携帯端末等から通信部１１８を介して入力される要求に基づいて、ＣＰＵ１０１が画像処理モジュール１００を制御してもよい。   The operation unit 104 provides a user interface for operating the image processing module 100. The operation unit 104 includes various buttons such as a power button, a menu button, and a shooting button. The various buttons are configured by switches, a touch panel, and the like. The CPU 101 controls the image processing module 100 according to the user's instruction input via the operation unit 104. Here, although a case where the CPU 101 controls the image processing module 100 based on an operation input via the operation unit 104 will be described as an example, the present invention is not limited to this. For example, the CPU 101 may control the image processing module 100 based on a request input from a remote controller (not shown) or a portable terminal (not shown) via the communication unit 118.

撮影レンズ（レンズユニット）１１１は、ズームレンズ、フォーカスレンズ等を含む不図示のレンズ群と、不図示のレンズ制御部と、不図示の絞りとを含む。レンズ制御部は、ＣＰＵ１０１から送信される制御信号により、焦点の調整、絞り値（Ｆ値）の調整等を行う。撮像部１１２は、例えば、ＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）素子等によって構成されるエリアイメージセンサである。撮像部１１２の撮像面には、画素アレイが備えられている。画素アレイには、被写体の光学像を電気信号に変換する不図示の光電変換部が行列状、即ち、２次元的に配列されている。画素アレイには、被写体の光学像が撮影レンズ１１１によって結像される。撮像部１１２によって取得された画像（画像データ）は、画像処理部１１３又は画像処理モジュール間ＩＦ１２１に供給される。   The photographing lens (lens unit) 111 includes a lens group (not shown) including a zoom lens, a focus lens, etc., a lens control unit (not shown), and a diaphragm (not shown). The lens control unit performs adjustment of the focus, adjustment of the aperture value (F value), and the like by the control signal transmitted from the CPU 101. The imaging unit 112 is, for example, an area image sensor configured of a CCD (charge coupled device), a CMOS (complementary metal oxide semiconductor), or the like. The imaging surface of the imaging unit 112 is provided with a pixel array. In the pixel array, photoelectric conversion units (not shown) for converting an optical image of a subject into an electrical signal are arranged in a matrix, that is, two-dimensionally. An optical image of a subject is formed on the pixel array by the imaging lens 111. The image (image data) acquired by the imaging unit 112 is supplied to the image processing unit 113 or the inter-image processing module IF 121.

画像処理部１１３は、撮像部１１２から供給される画像データに対して所定の画像処理を行う。画像処理部１１３は、メモリ１０２から読み出した画像データに対して所定の画像処理を行うこともできる。所定の画像処理としては、例えば、画素補間処理、縮小処理（リサイズ処理）、色変換処理等が挙げられる。画像処理部１１３は、画像処理が施された画像データをメモリ１０２に一時的に記録し得る。また、画像処理部１１３は、撮像部１１２によって取得される画像データを用いて、露光制御、測距制御等のための所定の演算処理を行うこともできる。画像処理部１１３による演算処理によって得られた演算結果に基づいて、露光制御、測距制御等がＣＰＵ１０１によって行われる。具体的には、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＡＦ（オートフォーカス）処理等がＣＰＵ１０１によって行われる。   The image processing unit 113 performs predetermined image processing on the image data supplied from the imaging unit 112. The image processing unit 113 can also perform predetermined image processing on the image data read from the memory 102. Examples of the predetermined image processing include pixel interpolation processing, reduction processing (resize processing), color conversion processing, and the like. The image processing unit 113 can temporarily record the image data subjected to the image processing in the memory 102. The image processing unit 113 can also perform predetermined arithmetic processing for exposure control, distance measurement control, and the like using the image data acquired by the imaging unit 112. Exposure control, distance measurement control, and the like are performed by the CPU 101 based on the calculation result obtained by the calculation processing by the image processing unit 113. Specifically, the CPU 101 performs an AE (automatic exposure) process, an AWB (auto white balance) process, an AF (auto focus) process, and the like.

外部ＩＦ制御部１１４は、外部モジュールとの間で入出力の制御を行う。外部ＩＦ制御部１１４が画像処理モジュール１００ａに備えられている場合、外部モジュールは、例えば、画像処理モジュール１００ｂ及び符号化処理モジュール２００である。外部ＩＦ制御部１１４が画像処理モジュール１００ｂに備えられている場合、外部モジュールは、例えば、画像処理モジュール１００ａ及び符号化処理モジュール２００である。外部モジュールとの間での入出力のインターフェースとしては、例えば、ＰＣＩ Ｅｘｐｒｅｓｓ規格等の汎用規格のインターフェースを用い得るが、これに限定されるものではない。外部ＩＦ制御部１１４は、ＣＰＵ１０１によって制御される。外部ＩＦ制御部１１４は、画像データ、ストリームデータ、制御信号等を符号化処理モジュール２００に送信し得る。符号化処理モジュール２００は、これらのデータに対して圧縮符号化を行う。外部ＩＦ制御部１１４は、圧縮符号化が施された画像データを符号化処理モジュール２００から受信する。   The external IF control unit 114 controls input and output with an external module. When the external IF control unit 114 is included in the image processing module 100 a, the external modules are, for example, the image processing module 100 b and the encoding processing module 200. When the external IF control unit 114 is included in the image processing module 100b, the external modules are, for example, the image processing module 100a and the encoding processing module 200. As an interface of input / output with an external module, for example, an interface of a general-purpose standard such as PCI Express standard can be used, but it is not limited to this. The external IF control unit 114 is controlled by the CPU 101. The external IF control unit 114 can transmit image data, stream data, control signals and the like to the encoding processing module 200. The encoding processing module 200 performs compression encoding on these data. The external IF control unit 114 receives, from the encoding processing module 200, the image data subjected to the compression encoding.

表示制御部１１５は、表示部１１６を制御する。表示部１１６は、不図示の表示画面を備えている。表示制御部１１５は、画像データに対してリサイズ処理や色変換処理等を行うことにより、表示部１１６の表示画面に表示可能な画像を生成し、かかる画像、即ち、画像信号を表示部１１６に出力する。表示部１１６は、表示制御部１１５から供給される画像信号に基づいて、表示画面に画像を表示する。表示制御部１１５は、ＣＰＵ１０１によって制御される。表示部１１６は、表示画面にメニュー等の設定画面を表示する機能であるオンスクリーン表示（ＯＳＤ：Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）機能を備えている。表示制御部１１５は、画像信号にＯＳＤ画像を重畳し、ＯＳＤ画像が重畳された画像信号を表示部１１６に出力し得る。表示部１１６は、例えば、液晶ディスプレイや有機ＥＬ等によって構成される。表示部１１６は、例えばタッチパネルであってもよい。表示部１１６がタッチパネルである場合、表示部１１６は操作部１０４としても機能し得る。   The display control unit 115 controls the display unit 116. The display unit 116 includes a display screen (not shown). The display control unit 115 performs resizing processing, color conversion processing, and the like on the image data to generate an image that can be displayed on the display screen of the display unit 116, and the image, that is, the image signal is transmitted to the display unit 116. Output. The display unit 116 displays an image on the display screen based on the image signal supplied from the display control unit 115. The display control unit 115 is controlled by the CPU 101. The display unit 116 has an on screen display (OSD) function that is a function of displaying a setting screen such as a menu on a display screen. The display control unit 115 can superimpose the OSD image on the image signal and output the image signal on which the OSD image is superimposed to the display unit 116. The display unit 116 is configured of, for example, a liquid crystal display or an organic EL. The display unit 116 may be, for example, a touch panel. When the display unit 116 is a touch panel, the display unit 116 can also function as the operation unit 104.

通信制御部１１７は、例えばＩＥＥＥ８０２．１１等で予め定められた無線通信規格に適合する変調信号を生成し、生成した変調信号を通信部１１８に出力する。通信制御部１１７は、ＣＰＵ１０１によって制御される。また、通信制御部１１７は、無線通信規格に適合する変調信号を、通信部１１８を介して受信し、受信した変調信号を復号し、復号によって得られた信号をＣＰＵ１０１に送信する。通信制御部１１７は、通信設定を記憶するためのレジスタを備えている。通信制御部１１７は、ＣＰＵ１０１からの制御によって、通信時の送受信感度を調整し得る。通信制御部１１７は、所定の変調方式で送受信が行われるように制御を行う。   The communication control unit 117 generates, for example, a modulation signal conforming to a wireless communication standard predetermined by IEEE 802.11 or the like, and outputs the generated modulation signal to the communication unit 118. The communication control unit 117 is controlled by the CPU 101. The communication control unit 117 also receives a modulation signal conforming to the wireless communication standard via the communication unit 118, decodes the received modulation signal, and transmits the signal obtained by the decoding to the CPU 101. The communication control unit 117 includes a register for storing communication settings. The communication control unit 117 can adjust the transmission / reception sensitivity at the time of communication under the control of the CPU 101. The communication control unit 117 performs control so that transmission and reception are performed by a predetermined modulation method.

通信部１１８は、通信制御部１１７から供給される変調信号を外部に出力するとともに、外部からの変調信号を受信するアンテナを備えている。また、通信部１１８には、通信用の回路等が備えられている。ここでは、通信部１１８によって無線通信が行われる場合を例に説明するが、通信部１１８によって行われる通信は無線通信に限定されるものではない。例えば、配線等を用いた電気的な接続によって通信部１１８と外部機器とが接続されてもよい。   The communication unit 118 includes an antenna that outputs the modulation signal supplied from the communication control unit 117 to the outside and receives the modulation signal from the outside. In addition, the communication unit 118 includes a circuit for communication and the like. Here, although the case where wireless communication is performed by the communication unit 118 will be described as an example, communication performed by the communication unit 118 is not limited to wireless communication. For example, the communication unit 118 and the external device may be connected by electrical connection using wiring or the like.

記録媒体制御部１１９は、記録媒体１２０を制御する。記録媒体制御部１１９は、ＣＰＵ１０１からの要求に基づいて、記録媒体１２０を制御するための制御信号を記録媒体１２０に出力する。記録媒体１２０としては、例えば不揮発性メモリや磁気ディスク等が用いられる。記録媒体１２０は、上述したように、着脱可能であってもよいし、着脱不能であってもよい。記録媒体１２０には、符号化された画像データ等が記録される。具体的には、記録媒体１２０のファイルシステムに適合した形式の画像データ等が、ファイルとして記録媒体１２０に記録される。かかるファイルとしては、例えば、ＭＰ４ファイル（ＩＳＯ／ＩＥＣ １４４９６−１４：２００３）やＭＸＦ（Ｍａｔｅｒｉａｌ ｅＸｃｈａｎｇｅ Ｆｏｒｍａｔ）ファイル等が挙げられる。   The recording medium control unit 119 controls the recording medium 120. The recording medium control unit 119 outputs a control signal for controlling the recording medium 120 to the recording medium 120 based on a request from the CPU 101. As the recording medium 120, for example, a non-volatile memory or a magnetic disk is used. The recording medium 120 may be removable or non-removable as described above. On the recording medium 120, encoded image data and the like are recorded. Specifically, image data or the like in a format compatible with the file system of the recording medium 120 is recorded on the recording medium 120 as a file. Examples of such files include MP4 files (ISO / IEC 14496-14: 2003) and MXF (Material eXchange Format) files.

画像処理モジュール間ＩＦ１２１は、撮像部１１２から供給される画像データを他の画像処理モジュール１００に供給する。具体的には、画像処理モジュール間ＩＦ１２１が撮像部１１２に接続されている場合には、当該画像処理モジュール間ＩＦ１２１は、他の画像処理モジュール１００に対して画像データを転送する。一方、画像処理モジュール間ＩＦ１２１が撮像部１１２に接続されていない場合には、当該画像処理モジュールＩＦ１２１は、他の画像処理モジュール１００から供給される画像を受信する。   The inter-image processing module IF 121 supplies the image data supplied from the imaging unit 112 to another image processing module 100. Specifically, when the inter-image processing module IF 121 is connected to the imaging unit 112, the inter-image processing module IF 121 transfers image data to another image processing module 100. On the other hand, when the inter-image processing module IF 121 is not connected to the imaging unit 112, the image processing module IF 121 receives an image supplied from another image processing module 100.

画像処理モジュール間ＩＦ１２１は、画像の一部のみを、他の画像処理モジュール１００に転送することも可能である。より具体的には、画像処理モジュール間ＩＦ１２１は、例えば、撮像部１１２によって取得された画像を左右に分割し、左半分の画像又は右半分の画像のみを他の画像処理モジュール１００に転送することができる。画像処理モジュール１００ａに備えられた画像処理モジュール間ＩＦ１２１が、右半分の画像のみを画像処理モジュール１００ｂに転送する場合、以下のような処理が行われる。撮像部１１２によって取得される画像は、画像処理モジュール１００ａに備えられた画像処理部１１３と画像処理モジュール１００ａに備えられた画像処理モジュール間ＩＦ１２１とに供給される。画像処理モジュール１００ａに備えられた画像処理部１１３は、撮像部１１２から供給される画像のうちから左半分の画像のみを選択的に抽出し、抽出した左半分の画像に対して画像処理を施す。なお、画像処理モジュール１００ａに備えられた画像処理部１１３は、抽出した左半分の画像を画像処理モジュール１００ａに備えられたメモリ１０２に一時的に記録するようにしてもよい。そして、画像処理モジュール１００ａに備えられたメモリ１０２から読み出された左半分の画像に対して、画像処理モジュール１００ａに備えられた画像処理部１１３が画像処理を施すようにしてもよい。画像処理モジュール１００ａに備えられた画像処理モジュール間ＩＦ１２１は、撮像部１１２から供給される画像のうちから右半分の画像のみを選択的に抽出し、抽出した右半分の画像を画像処理モジュール１００ｂに送信する。画像処理モジュール１００ｂに備えられた画像処理モジュール間ＩＦ１２１は、画像処理モジュール１００ａから供給される右半分の画像を、画像処理モジュール１００ｂに備えられた画像処理部１１３に供給する。画像処理モジュール１００ｂに備えられた画像処理部１１３は、画像処理モジュール１００ａから供給される右半分の画像に対して画像処理を施す。なお、画像処理モジュール１００ｂに備えられた画像処理部１１３は、右半分の画像を画像処理モジュール１００ｂに備えられたメモリ１０２に一時的に記録するようにしてもよい。そして、画像処理モジュール１００ｂに備えられたメモリ１０２から読み出された右半分の画像に対して、画像処理モジュール１００ｂに備えられた画像処理部１１３が画像処理を施すようにしてもよい。   The inter-image processing module IF 121 can also transfer only part of an image to another image processing module 100. More specifically, the inter-image processing module IF 121 divides, for example, the image acquired by the imaging unit 112 into right and left, and transfers only the left half image or the right half image to another image processing module 100. Can. When the inter-image processing module IF 121 included in the image processing module 100a transfers only the image in the right half to the image processing module 100b, the following processing is performed. An image acquired by the imaging unit 112 is supplied to an image processing unit 113 provided in the image processing module 100 a and an inter-image processing module IF 121 provided in the image processing module 100 a. The image processing unit 113 included in the image processing module 100a selectively extracts only the left half image from the images supplied from the imaging unit 112, and performs image processing on the extracted left half image. . The image processing unit 113 provided in the image processing module 100a may temporarily record the extracted left half image in the memory 102 provided in the image processing module 100a. Then, the image processing unit 113 provided in the image processing module 100a may perform image processing on the left half image read from the memory 102 provided in the image processing module 100a. The inter-image processing module IF 121 provided in the image processing module 100a selectively extracts only the image in the right half from the images supplied from the imaging unit 112, and extracts the extracted image in the right half to the image processing module 100b. Send. The inter-image processing module IF 121 provided in the image processing module 100 b supplies the image in the right half supplied from the image processing module 100 a to the image processing unit 113 provided in the image processing module 100 b. The image processing unit 113 provided in the image processing module 100b performs image processing on the right half image supplied from the image processing module 100a. The image processing unit 113 provided in the image processing module 100b may temporarily record the right half image in the memory 102 provided in the image processing module 100b. Then, the image processing unit 113 provided in the image processing module 100b may perform image processing on the right half image read from the memory 102 provided in the image processing module 100b.

画像処理モジュール間ＩＦ１２１は、例えば、上半分の画像のみ又は下半分の画像のみを他の画像処理モジュール１００に転送することもできる。また、画像処理モジュール間ＩＦ１２１は、例えば、奇数番目のフレームのみ又は偶数番目のフレームのみを他の画像処理モジュール１００に転送することもできる。また、画像処理モジュール間ＩＦ１２１は、例えば、画像を分割することにより形成されるタイルを他の画像処理モジュール１００に転送することもできる。   The inter-image processing module IF 121 can also transfer, for example, only the upper half image or the lower half image to the other image processing module 100. Also, the inter-image processing module IF 121 can transfer, for example, only odd-numbered frames or only even-numbered frames to other image processing modules 100. The inter-image processing module IF 121 can also transfer, for example, a tile formed by dividing an image to another image processing module 100.

画像処理モジュール１００に備えられた各々の構成要素は、内部バス１３０を介して互いにアクセス可能となっている。   The components included in the image processing module 100 are accessible to one another via the internal bus 130.

符号化処理モジュール２００は、例えば、画像処理モジュール１００から供給される画像データに対してフレーム内予測符号化（画面内予測符号化）及びフレーム間予測符号化（画面間予測符号化）等を行うことによって、画像データのサイズを圧縮する。符号化処理モジュール２００は、例えば、Ｈ．２６５（ＩＴＵ Ｈ．２６５又はＩＳＯ／ＩＥＣ２３００８−２）方式によって圧縮化処理を行い得る。   The encoding processing module 200 performs, for example, intraframe prediction encoding (interframe prediction encoding), interframe prediction encoding (interframe prediction encoding), and the like on the image data supplied from the image processing module 100. To compress the size of the image data. The encoding processing module 200 may, for example, The compression process may be performed according to H. 265 (ITU H. 265 or ISO / IEC 23008-2).

＜符号化処理モジュール＞
次に、符号化処理モジュール２００の構成について図２を用いて説明する。図２は、画像処理装置１０の一部を示すブロック図である。図２においては、符号化処理モジュール２００と、メモリ２１１と、画像処理モジュール１００ａ、１００ｂとが抜き出して示されている。符号化処理モジュール２００は、例えば、所定の動画圧縮規格に基づいて符号化処理を行う。所定の動画圧縮規格としては、例えば、Ｈ２６４規格又はＨ．２６５規格に基づく符号化方式が挙げられる。 <Coding processing module>
Next, the configuration of the coding processing module 200 will be described using FIG. FIG. 2 is a block diagram showing a part of the image processing apparatus 10. In FIG. 2, the encoding processing module 200, the memory 211, and the image processing modules 100a and 100b are extracted and shown. The encoding processing module 200 performs encoding processing based on, for example, a predetermined moving image compression standard. As a predetermined moving image compression standard, for example, the H264 standard or H.264 standard. An encoding scheme based on the H.265 standard can be mentioned.

符号化処理モジュール２００は、ＣＰＵ２０１と、ブロックサイズ決定部２０２と、予測符号化方法決定部２０３と、予測符号化処理部２０４と、直交変換・量子化部２０５と、局所復号部２０６と、符号量制御部２０７とを有する。符号化処理モジュール２００は、エントロピー符号化部２０８と、多重化処理部２０９と、外部ＩＦ制御部２１０とを更に有する。
ＣＰＵ２０１は、メモリ２１１に格納されているコンピュータプログラムを実行することによって、符号化処理モジュール２００の各部（各機能ブロック）の動作を制御する。 The coding processing module 200 includes a CPU 201, a block size determination unit 202, a prediction coding method determination unit 203, a prediction coding processing unit 204, an orthogonal transform / quantization unit 205, a local decoding unit 206, and a code. And a quantity control unit 207. The encoding processing module 200 further includes an entropy encoding unit 208, a multiplexing processing unit 209, and an external IF control unit 210.
The CPU 201 controls the operation of each unit (each functional block) of the encoding processing module 200 by executing a computer program stored in the memory 211.

Ｈ．２６４規格に基づく符号化における符号化処理単位は、マクロブロックである。Ｈ．２６５規格においては、４種類のデータ構造、即ち、Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ（ＣＴＵ）、Ｃｏｄｉｎｇ Ｕｎｉｔ（ＣＵ）、Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ（ＰＵ）、及び、Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ（ＴＵ）が規定されている。Ｈ．２６５規格に基づく符号化においては、これらのデータ構造を用いて設定されるブロックを符号化処理単位として符号化処理が行われる。ＣＴＵは、画像を分割する処理単位である。ＣＵは、ＣＴＵを画像特性にあわせて再帰的に分割する処理単位である。ＰＵは、ＣＵを予測処理用に分割する処理単位である。ＴＵは、ＣＵを変換処理用に分割する処理単位である。ブロックサイズ決定部２０２は、ブロックのサイズの制限に関する情報であるブロックサイズ制限情報を生成し得る。また、ブロックサイズ決定部２０２は、タイルのサイズの制限に関する情報であるタイルサイズ制限情報をも生成し得る。タイルは、例えばＨ．２６５規格において規定されており、画像を複数の矩形領域に分割することによって生成される。タイルは、複数のＣＴＵを含む。ブロックサイズ決定部２０２は、予測符号化の条件を示す情報である予測符号化条件情報を予測符号化方法決定部２０３に供給する。   H. A coding processing unit in coding based on the H.264 standard is a macroblock. H. The H.265 standard defines four types of data structures: Coding Tree Unit (CTU), Coding Unit (CU), Prediction Unit (PU), and Transform Unit (TU). H. In coding based on the H.265 standard, coding processing is performed with blocks set using these data structures as a coding processing unit. CTU is a processing unit for dividing an image. A CU is a processing unit that recursively divides a CTU according to image characteristics. PU is a processing unit that divides a CU for prediction processing. TU is a processing unit that divides a CU for conversion processing. The block size determination unit 202 may generate block size restriction information which is information on the restriction of the block size. In addition, the block size determination unit 202 may also generate tile size restriction information, which is information on the restriction of the tile size. The tile is, for example, H.264. As defined in the H.265 standard, it is generated by dividing an image into a plurality of rectangular areas. A tile contains multiple CTUs. The block size determination unit 202 supplies, to the predictive coding method determination unit 203, predictive coding condition information which is information indicating predictive coding conditions.

予測符号化方法決定部２０３は、ブロックサイズ決定部２０２から供給される予測符号化条件情報に基づいて、符号化対象領域内の各画素ブロックに対する予測符号化方法を決定する。予測符号化方法決定部２０３は、入力される画像信号と、メモリ１０２から読み出した符号化済みの画素値とから、簡易的なフレーム内予測又は動き検出を含むフレーム間予測処理を行うことによって、符号化効率を示す評価値を算出する。そして、予測符号化方法決定部２０３は、符号化効率が最良となる予測符号化方式を決定する。   The predictive coding method determination unit 203 determines a predictive coding method for each pixel block in the coding target area based on the predictive coding condition information supplied from the block size determination unit 202. The predictive coding method determination unit 203 performs an inter-frame prediction process including simple intra-frame prediction or motion detection from the input image signal and the encoded pixel value read from the memory 102. An evaluation value indicating coding efficiency is calculated. Then, the predictive coding method determination unit 203 determines a predictive coding method that provides the best coding efficiency.

符号化対象の画素ブロックがＩスライスの場合には、予測符号化方法決定部２０３は、フレーム内の予測画素のブロックサイズと予測モードとを決定する。符号化画素ブロックがＰスライス又はＢスライスの場合には、フレーム内予測及びフレーム間予測のうちの符号化効率の高い方の予測方法を選択する。なお、フレーム内の全てのスライスがＩスライスであるフレームはＩフレームと称され、フレーム内の全てのスライスがＰスライスであるフレームはＰフレームと称され、フレーム内の全てのスライスがＢスライスであるフレームはＢフレームと称される。   If the pixel block to be encoded is an I slice, the prediction encoding method determination unit 203 determines the block size of the prediction pixel in the frame and the prediction mode. When the coding pixel block is a P slice or a B slice, the prediction method with higher coding efficiency is selected from intra-frame prediction and inter-frame prediction. A frame in which all slices in a frame are I slices is called an I frame, a frame in which all slices in a frame are P slices is called a P frame, and all slices in a frame are B slices. One frame is called a B frame.

予測符号化方法決定部２０３は、フレーム内予測の場合には、ブロックサイズ制限情報に基づいて、フレーム内の予測画素のブロックサイズ、フレーム内予測モード等のフレーム内予測符号化用パラメータを決定する。予測符号化方法決定部２０３は、ブロックサイズ制限情報がない場合におけるフレーム内予測画素のブロックサイズを決定する。また、予測符号化方法決定部２０３は、ブロックサイズ制限情報に基づいて、ブロックサイズ制限情報に規定された制限の範囲内に収まるように、フレーム内の予測画素のブロックサイズを決定する。   In the case of intra-frame prediction, the predictive coding method determination unit 203 determines intra-frame predictive encoding parameters such as the block size of the predictive pixel in the frame and the intra-frame prediction mode based on the block size restriction information. . The predictive coding method determination unit 203 determines the block size of the intra-frame predicted pixel when there is no block size restriction information. In addition, the predictive coding method determination unit 203 determines the block size of the predicted pixel in the frame based on the block size restriction information so as to fall within the restriction range defined in the block size restriction information.

予測符号化方法決定部２０３は、フレーム間予測の場合には、参照フレーム、画素ブロックの分割パターン、動きベクトル等のフレーム間予測符号化用パラメータを決定する。予測符号化方法決定部２０３は、ブロックサイズ制限情報に基づいて、ブロックサイズ制限情報に規定された制限の範囲内に収まるように、画素ブロック分割のパターンを変更する。予測符号化方法決定部２０３は、決定した予測符号化用パラメータを予測符号化処理部２０４に出力する。   In the case of inter-frame prediction, the predictive coding method determination unit 203 determines an inter-frame predictive coding parameter such as a reference frame, a division pattern of pixel blocks, or a motion vector. The predictive coding method determination unit 203 changes the pixel block division pattern based on the block size restriction information so as to fall within the restriction range specified in the block size restriction information. The predictive coding method determination unit 203 outputs the determined predictive coding parameters to the predictive coding processing unit 204.

予測符号化処理部２０４は、符号化対象のフレーム中の着目画素ブロックを符号化する際、予測符号化方法決定部２０３によって決定された予測符号化用パラメータに応じて、メモリ２１１から読み出した符号化済み画像から予測画素ブロックを生成する。そして、予測符号化処理部２０４は、着目画素ブロックと予測画素ブロックとの差分である予測残差ブロックを、直交変換・量子化部２０５に出力する。また、予測符号化処理部２０４は、予測画素ブロックを局所復号部２０６にも出力する。   When encoding the pixel block of interest in the frame to be encoded, the predictive coding processing unit 204 reads the code read from the memory 211 according to the predictive coding parameter determined by the predictive coding method determination unit 203. Generate a predicted pixel block from the digitized image. Then, the predictive coding processing unit 204 outputs, to the orthogonal transform / quantization unit 205, a predictive residual block that is the difference between the target pixel block and the predictive pixel block. Further, the predictive coding processing unit 204 also outputs the predicted pixel block to the local decoding unit 206.

直交変換・量子化部２０５は、予測符号化処理部２０４から供給される予測残差ブロックに対して直交変換処理を行う。また、直交変換・量子化部２０５は、符号量制御部２０７によって設定された量子化パラメータに応じた量子化ステップを用いて、直交変換処理により得られた係数を量子化する。直交変換・量子化部２０５は、量子化後の係数、即ち、量子化データを、エントロピー符号化部２０８と局所復号部２０６とに出力する。   The orthogonal transform / quantization unit 205 performs orthogonal transform processing on the prediction residual block supplied from the predictive coding processing unit 204. Further, the orthogonal transformation / quantization unit 205 quantizes the coefficient obtained by the orthogonal transformation process using a quantization step corresponding to the quantization parameter set by the code amount control unit 207. The orthogonal transform / quantization unit 205 outputs the coefficient after quantization, that is, the quantized data to the entropy coding unit 208 and the local decoding unit 206.

局所復号部２０６は、直交変換・量子化部２０５から入力される量子化データに対して、逆量子化処理、逆直交変換処理等を行うことによって、予測残差データを生成する。そして、局所復号部２０６は、生成した予測残差データに、予測符号化処理部２０４から入力される予測画像を加算して復号処理を行い、複合処理によって得られた画素ブロックによって示される画像データをメモリ２１１に格納する。メモリ２１１に格納された復号処理後の画像データは、フレーム内予測処理に利用される。更に、デブロッキングフィルタ処理が施された復号後の画像データは、メモリ２１１に保持される。メモリ２１１に保持されたデブロッキングフィルタ処理後の復号データは、フレーム間予測処理にも利用される。   The local decoding unit 206 generates prediction residual data by performing inverse quantization processing, inverse orthogonal transformation processing, and the like on the quantized data input from the orthogonal transformation / quantization unit 205. Then, the local decoding unit 206 adds the prediction image input from the prediction coding processing unit 204 to the generated prediction residual data to perform decoding processing, and image data indicated by the pixel block obtained by the composite processing Are stored in the memory 211. The image data after decoding processing stored in the memory 211 is used for intra-frame prediction processing. Furthermore, the decoded image data subjected to the deblocking filter process is stored in the memory 211. The decoded data after deblocking filter processing held in the memory 211 is also used for inter-frame prediction processing.

符号量制御部２０７は、符号化ピクチャバッファをオーバーフロー又はアンダーフローさせないように、符号化データの符号量を制御する。符号量制御部２０７は、エントロピー符号化部２０８から供給されるエントロピー符号化後の発生符号量に基づいて、後続のフレームに対する量子化パラメータを生成し、生成した量子化パラメータを直交変換・量子化部２０５に供給する。なお、符号量制御部２０７は、ブロックサイズ決定部２０２によって生成される量子化優先度情報に基づいて、例えば重み付け量子化係数を変更することによって量子化パラメータを調整する。   The code amount control unit 207 controls the code amount of encoded data so as not to cause the encoded picture buffer to overflow or underflow. The code amount control unit 207 generates a quantization parameter for the subsequent frame based on the generated code amount after entropy coding supplied from the entropy coding unit 208, and performs orthogonal transform and quantization on the generated quantization parameter. It supplies to the part 205. The code amount control unit 207 adjusts the quantization parameter by changing, for example, a weighted quantization coefficient based on the quantization priority information generated by the block size determination unit 202.

エントロピー符号化部２０８は、入力される量子化データに対してスライス単位にＣＡＢＡＣ（コンテキスト適応型２値算術符号化）によるエントロピー符号化処理を行う。エントロピー符号化部２０８は、入力される多値の量子化データを２値のデータに変換する２値化部と、２値化部によって生成される２値化データを格納する２値化データメモリとを有している。また、エントロピー符号化部２０８は、２値化データの発生確率をコンテキストに応じて計算し、計算によって求められた２値データの発生確率を保持するコンテキスト計算部を有する。また、エントロピー符号化部２０８は、コンテキスト計算部から供給される２値データの発生確率に応じて算術符号化を行う算術符号化部を有する。エントロピー符号化部２０８は、こうして符号化されたデータを多重化処理部２０９に出力するとともに、エントロピー符号化後の発生符号量を符号量制御部２０７に出力する。   The entropy coding unit 208 performs entropy coding processing by CABAC (context adaptive binary arithmetic coding) on the slice basis for the input quantized data. The entropy coding unit 208 converts the input multi-level quantized data into binary data, and a binarized data memory that stores binarized data generated by the binarization unit. And. Further, the entropy coding unit 208 has a context calculation unit that calculates the occurrence probability of the binarized data according to the context, and holds the occurrence probability of the binary data obtained by the calculation. The entropy coding unit 208 also has an arithmetic coding unit that performs arithmetic coding according to the occurrence probability of binary data supplied from the context calculation unit. The entropy coding unit 208 outputs the data thus coded to the multiplexing processing unit 209, and also outputs the generated code amount after entropy coding to the code amount control unit 207.

多重化処理部２０９は、画像の符号化の開始の際には、符号化対象のフレームのサイズ等の各種シンタックス情報を、符号化された画像データに付加することによって、ストリームデータを生成し、当該ストリームデータをメモリ２１１に記録する。   The multiplexing processing unit 209 generates stream data by adding various syntax information such as the size of a frame to be encoded to encoded image data at the start of encoding of an image. The stream data is recorded in the memory 211.

外部ＩＦ制御部２１０は、符号化処理モジュール２００に備えられた不図示のバスを制御し得るとともに、外部モジュール、即ち、画像処理モジュール１００ａ、１００ｂとの間での入出力の制御を行う。外部モジュールとの間での入出力のインターフェースとしては、例えば、ＰＣＩ Ｅｘｐｒｅｓｓ規格等の汎用規格のインターフェースを用い得るが、これに限定されるものではない。外部ＩＦ制御部２１０は、画像データ、ストリームデータ等を、画像処理モジュール１００ａ、１００ｂから受信する。外部ＩＦ制御部２１０は、符号化した画像データ、符号化したストリームデータ等を、画像処理モジュール１００ａ、１００ｂに送信する。   The external IF control unit 210 can control a bus (not shown) provided in the encoding processing module 200, and controls input / output between external modules, that is, the image processing modules 100a and 100b. As an interface of input / output with an external module, for example, an interface of a general-purpose standard such as PCI Express standard can be used, but it is not limited to this. The external IF control unit 210 receives image data, stream data, and the like from the image processing modules 100a and 100b. The external IF control unit 210 transmits the encoded image data, the encoded stream data, and the like to the image processing modules 100a and 100b.

なお、外部ＩＦ制御部２１０は、複数のレーンを備えている。外部ＩＦ制御部２１０が例えば４つのレーンを備えている場合には、例えば、４つのレーンによって１つのチャンネルを構成してもよい。チャンネルは、ＰＣＩ Ｅｘｐｒｅｓｓ規格においてはリンクと称される。また、外部ＩＦ制御部２１０が例えば４つのレーンを備えている場合に、２つのレーンをそれぞれ備える２つのチャンネルを構成するようにしてもよい。チャンネルの数、チャンネルを構成するレーンの数は、これらに限定されるものではなく、適宜設定し得る。   The external IF control unit 210 includes a plurality of lanes. For example, when the external IF control unit 210 includes four lanes, one lane may be configured by four lanes. Channels are referred to as links in the PCI Express standard. In addition, when the external IF control unit 210 includes, for example, four lanes, two channels each including two lanes may be configured. The number of channels and the number of lanes constituting the channels are not limited to these, and may be set as appropriate.

メモリ２１１は、書き換え可能な揮発性メモリである。メモリ２１１は、画像データ等を一時的に記録する。また、メモリ２１１は、符号化処理モジュール２００の各部の動作に関するパラメータ等の情報を一時的に記録する。   The memory 211 is a rewritable volatile memory. The memory 211 temporarily records image data and the like. The memory 211 also temporarily records information such as parameters related to the operation of each unit of the encoding processing module 200.

＜バス構成＞
画像処理モジュール１００と符号化処理モジュール２００とを接続するバスの構成の例について図３を用いて説明する。図３（ａ）は、画像処理モジュール１００ａ、１００ｂと符号化処理モジュール２００とを接続するバスの構成の例を示している。図３（ａ）に示す例においては、２つの画像処理モジュール１００ａ、１００ｂが符号化処理モジュール２００に接続されている。符号化処理モジュール２００に備えられた例えば４つのレーンが、例えば２つのチャンネル３００ａ、３００ｂに分割して用いられている。４つのレーンのうちの２つのレーンは、チャンネル３００ａに用いられている。４つのレーンのうちの残りの２つのレーンは、チャンネル３００ｂに用いられている。チャンネル３００ａは、画像処理モジュール１００ａと符号化処理モジュール２００との間の通信に用いられる。チャンネル３００ｂは、画像処理モジュール１００ｂと符号化処理モジュール２００との間の通信に用いられる。画像処理モジュール１００ａ、１００ｂにそれぞれ備えられているレーンの数が、符号化処理モジュール２００に備えられているレーンの数の半分である場合に、図３（ａ）のようなバス構成３０１が適用され得るが、これに限定されるものではない。図３（ａ）に示すようなバス構成３０１では、例えば左半分の画像００１と右半分の画像００２とがチャンネル３００ａ、３００ｂをそれぞれ介して画像処理モジュール１００ａ、１００ｂから符号化処理モジュール２００にそれぞれ伝送されるようにし得る。また、図３（ａ）に示すようなバス構成においては、上半分の画像と下半分の画像とがチャンネル３００ａ、３００ｂをそれぞれ介して画像処理モジュール１００ａ、１００ｂから符号化処理モジュール２００にそれぞれ伝送されるようにすることもできる。また、図３（ａ）に示すバス構成３０１においては、奇数番目のフレームと偶数番目のフレームとがチャンネル３００ａ、３００ｂをそれぞれ介して画像処理モジュール１００ａ、１００ｂから符号化処理モジュール２００にそれぞれ伝送されるようにもし得る。符号化処理モジュール２００に備えられた複数のレーンが複数のチャンネル３００ａ、３００ｂに分割して用いられるこのようなバス構成３０１を「第１のバス構成」と称することとする。第１のバス構成３０１は、ＰＣＩ ｅｘｐｒｅｓｓ規格に備えられたバイファケーション機能を用いて実現され得る。 <Bus configuration>
An exemplary configuration of a bus connecting the image processing module 100 and the encoding processing module 200 will be described with reference to FIG. FIG. 3A shows an example of the configuration of a bus connecting the image processing modules 100 a and 100 b and the encoding processing module 200. In the example shown in FIG. 3A, two image processing modules 100 a and 100 b are connected to the encoding processing module 200. For example, four lanes included in the encoding processing module 200 are used by being divided into, for example, two channels 300a and 300b. Two of the four lanes are used for channel 300a. The remaining two lanes of the four lanes are used for channel 300b. The channel 300a is used for communication between the image processing module 100a and the encoding processing module 200. The channel 300 b is used for communication between the image processing module 100 b and the encoding processing module 200. When the number of lanes provided in each of the image processing modules 100a and 100b is half of the number of lanes provided in the encoding processing module 200, the bus configuration 301 as shown in FIG. 3A is applied. Although it may be possible, it is not limited to this. In the bus configuration 301 as shown in FIG. 3A, for example, the image 001 in the left half and the image 002 in the right half are respectively transmitted from the image processing modules 100a and 100b to the encoding module 200 via the channels 300a and 300b. It may be made to be transmitted. Further, in the bus configuration as shown in FIG. 3A, the upper half image and the lower half image are transmitted from the image processing modules 100a and 100b to the encoding processing module 200 through the channels 300a and 300b, respectively. It can also be done. In the bus configuration 301 shown in FIG. 3A, the odd-numbered frame and the even-numbered frame are transmitted from the image processing modules 100a and 100b to the encoding processing module 200 via the channels 300a and 300b, respectively. It can also be Such a bus configuration 301 in which a plurality of lanes included in the encoding processing module 200 are divided into a plurality of channels 300 a and 300 b is referred to as “first bus configuration”. The first bus configuration 301 can be realized using the bi-function provided in the PCI express standard.

図３（ｂ）は、画像処理モジュール１００と符号化処理モジュール２００とを接続するバスの構成の他の例を示している。図３（ｂ）に示す例においては、単一の画像処理モジュール１００ａが符号化処理モジュール２００に接続されている。画像処理モジュール１００ａに備えられているレーンの数と符号化処理モジュール２００に備えられているレーンの数とが等しい場合に、図３（ｂ）のようなバス構成３０２が適用され得るが、これに限定されるものではない。画像処理モジュール１００と符号化処理モジュール２００とにそれぞれ備えられた例えば４つのレーンが、複数のチャンネル３００ａ、３００ｂに分割して用いられている。４つのレーンのうちの２つのレーンは、チャンネル３００ａに用いられている。４つのレーンのうちの残りの２つのレーンは、チャンネル３００ｂに用いられている。例えば、左半分の画像００１と右半分の画像００２とがチャンネル３００ａ、３００ｂをそれぞれ介して画像処理モジュール１００から符号化処理モジュール２００にそれぞれ伝送されるようにすることができる。また、上半分の画像と下半分の画像とがチャンネル３００ａ、３００ｂをそれぞれ介して画像処理モジュール１００から符号化処理モジュール２００にそれぞれ伝送されるようにすることができる。また、奇数番目のフレームと偶数番目のフレームとがチャンネル３００ａ、３００ｂをそれぞれ介して画像処理モジュール１００から符号化処理モジュール２００にそれぞれ伝送されるようにすることができる。図３（ｂ）に示すバス構成３０２においても、図３（ａ）に示すバス構成３０１と同様に、符号化処理モジュール２００に備えられた複数のレーンが複数のチャンネル３００ａ、３００ｂに分割して用いられている。従って、図３（ｂ）に示すバス構成３０２は、「第１のバス構成」の他の例である。   FIG. 3B shows another example of the configuration of a bus connecting the image processing module 100 and the encoding processing module 200. In the example shown in FIG. 3 (b), a single image processing module 100 a is connected to the encoding processing module 200. When the number of lanes included in the image processing module 100a is equal to the number of lanes included in the encoding processing module 200, the bus configuration 302 as shown in FIG. 3B can be applied. It is not limited to For example, four lanes respectively provided in the image processing module 100 and the encoding processing module 200 are used by being divided into a plurality of channels 300a and 300b. Two of the four lanes are used for channel 300a. The remaining two lanes of the four lanes are used for channel 300b. For example, the image 001 in the left half and the image 002 in the right half can be transmitted from the image processing module 100 to the encoding processing module 200 via the channels 300a and 300b, respectively. Also, the image of the upper half and the image of the lower half can be transmitted from the image processing module 100 to the encoding processing module 200 through the channels 300a and 300b, respectively. In addition, the odd-numbered frame and the even-numbered frame can be transmitted from the image processing module 100 to the encoding processing module 200 through the channels 300a and 300b, respectively. Also in the bus configuration 302 shown in FIG. 3B, as in the bus configuration 301 shown in FIG. 3A, a plurality of lanes provided in the encoding processing module 200 are divided into a plurality of channels 300a and 300b. It is used. Therefore, the bus configuration 302 shown in FIG. 3B is another example of the “first bus configuration”.

図３（ｃ）は、画像処理モジュール１００と符号化処理モジュール２００とを接続するバスの構成の更に他の例を示している。図３（ｃ）に示す例においては、単一の画像処理モジュール１００が符号化処理モジュール２００に接続されている。画像処理モジュール１００に備えられているレーンの数と符号化処理モジュール２００に備えられているレーンの数とが等しい場合に、図３（ｃ）のようなバス構成３０３が適用され得るが、これに限定されるものではない。画像処理モジュール１００と符号化処理モジュール２００とにそれぞれ備えられた４つのレーンのいずれもが単一のチャンネル３００に用いられている。単一のチャンネル３００によって画像処理モジュール１００と符号化処理モジュール２００とが接続されているため、例えば動画像を構成する各々のフレームの画像００３は、以下のように送信される。即ち、動画像を構成する各々のフレームの画像００３は、単一のチャンネル３００を介して画像処理モジュール１００から符号化処理モジュール２００に順次送信される。このように、符号化処理モジュール２００に備えられた複数のレーンのいずれもが単一のチャンネル３００に用いられるようなバス構成３０３を「第２のバス構成」と称することとする。   FIG. 3C shows still another example of the configuration of a bus connecting the image processing module 100 and the encoding processing module 200. In the example shown in FIG. 3C, a single image processing module 100 is connected to the encoding processing module 200. If the number of lanes included in the image processing module 100 is equal to the number of lanes included in the encoding processing module 200, the bus configuration 303 as shown in FIG. 3C can be applied. It is not limited to All four lanes respectively provided in the image processing module 100 and the encoding processing module 200 are used for a single channel 300. Since the image processing module 100 and the encoding processing module 200 are connected by a single channel 300, for example, the image 003 of each frame constituting a moving image is transmitted as follows. That is, the image 003 of each frame constituting the moving image is sequentially transmitted from the image processing module 100 to the encoding processing module 200 through the single channel 300. As described above, a bus configuration 303 in which any of a plurality of lanes provided in the encoding processing module 200 is used for a single channel 300 will be referred to as a “second bus configuration”.

＜画像処理モジュールと符号化処理モジュールとによって行われる処理＞
次に、画像処理モジュールと符号化処理モジュールとによって行われる処理の例について図４を用いて説明する。図４は、画像処理モジュールと符号化処理モジュールとによって行われる処理の例を示す図である。ここでは、図３（ａ）に示すようなバス構成３０１の場合の動作を例に説明するが、これに限定されるものではない。 <Process Performed by Image Processing Module and Encoding Processing Module>
Next, an example of processing performed by the image processing module and the encoding processing module will be described with reference to FIG. FIG. 4 is a diagram illustrating an example of processing performed by the image processing module and the encoding processing module. Here, although the operation in the case of the bus configuration 301 as shown in FIG. 3A is described as an example, the present invention is not limited to this.

ステップＳ４０１において、画像処理モジュール１００ａと符号化処理モジュール２００との間、及び、画像処理モジュール１００ｂと符号化処理モジュール２００との間においてバスの接続の確立が行われる。バスの接続を確立するために、各々のモジュール間においてデバイス認識が行われ、各々のモジュールにおいてコンフィグレーションの設定処理、アドレス空間の割り当て等が行われる。   In step S401, a bus connection is established between the image processing module 100a and the encoding processing module 200 and between the image processing module 100b and the encoding processing module 200. In order to establish a bus connection, device recognition is performed between each module, and configuration setting processing, address space allocation, and the like are performed in each module.

ステップＳ４０２において、各々のチャンネル３００ａ、３００ｂを介して送信される画像の解像度（画素数）、フレームレート等に関する情報を、画像処理モジュール１００ａ、１００ｂが符号化処理モジュール２００に送信する。なお、解像度、フレームレート等に関する情報は、画像処理モジュール１００ａと画像処理モジュール１００ｂとのうちのいずれかからのみ符号化処理モジュール２００に送信されるようにしてもよい。また、ステップＳ４０２において、バス構成を示す情報を、画像処理モジュール１００ａ、１００ｂが符号化処理モジュール２００に送信するようにしてもよい。バス構成を示す情報は、例えば、上述した第１のバス構成３０１，３０２と第２のバス構成３０３とのうちのいずれであるかを示す情報である。   In step S402, the image processing modules 100a and 100b transmit, to the encoding processing module 200, information on the resolution (number of pixels), the frame rate and the like of the image transmitted via each of the channels 300a and 300b. The information on the resolution, the frame rate and the like may be transmitted to the encoding processing module 200 only from one of the image processing module 100 a and the image processing module 100 b. In addition, in step S402, the image processing modules 100a and 100b may transmit information indicating the bus configuration to the encoding processing module 200. The information indicating the bus configuration is, for example, information indicating which of the first bus configurations 301 and 302 and the second bus configuration 303 described above.

ステップＳ４０３において、画像処理モジュール１００ｂは、画像データの送信の準備が完了したことを示す情報を、符号化処理モジュール２００に対して送信する。かかる画像データには、画像処理モジュール１００ｂに備えられた画像処理部１１３によって画像処理が施されている。かかる画像データは、画像処理モジュール１００ｂに備えられたメモリ１０２に一時的に記録されている。   In step S403, the image processing module 100b transmits, to the encoding processing module 200, information indicating that preparation for transmission of image data is completed. Image processing is performed on the image data by the image processing unit 113 included in the image processing module 100 b. The image data is temporarily recorded in the memory 102 provided in the image processing module 100 b.

ステップＳ４０４において、画像処理モジュール１００ａは、画像データの送信の準備が完了したことを示す情報を、符号化処理モジュール２００に対して送信する。かかる画像データには、画像処理モジュール１００ａに備えられた画像処理部１１３によって画像処理が施されている。かかる画像データは、画像処理モジュール１００ａに備えられたメモリ１０２に一時的に記録されている。画像処理モジュール１００ａにおける画像処理のタイミングと、画像処理モジュール１００ｂにおける画像処理のタイミングとは互いに異なっている。このため、ステップＳ４０３とステップＳ４０４とは非同期で行われる。   In step S404, the image processing module 100a transmits, to the encoding processing module 200, information indicating that preparation for transmission of image data is completed. Image processing is performed on the image data by the image processing unit 113 provided in the image processing module 100 a. The image data is temporarily recorded in the memory 102 provided in the image processing module 100 a. The timing of image processing in the image processing module 100a and the timing of image processing in the image processing module 100b are different from each other. For this reason, step S403 and step S404 are performed asynchronously.

ステップＳ４０５において、符号化処理モジュール２００は、画像データの受信の要求を、画像処理モジュール１００ａと画像処理モジュール１００ｂとに対して同時に送信する。   In step S405, the encoding processing module 200 simultaneously transmits a request for receiving image data to the image processing module 100a and the image processing module 100b.

ステップＳ４０６において、画像処理モジュール１００ａと画像処理モジュール１００ｂとは、チャンネル３００ａ、３００ｂをそれぞれ介して画像データを符号化処理モジュール２００に送信する。画像処理モジュール１００ａに備えられたメモリ１０２に一時的に記録されていた画像データが、チャンネル３００ａを介して画像処理モジュール１００ａから符号化処理モジュール２００に送信される。画像処理モジュール１００ｂに備えられたメモリ１０２に一時的に記録されていた画像データが、チャンネル３００ｂを介して画像処理モジュール１００ｂから符号化処理モジュール２００に送信される。   In step S406, the image processing module 100a and the image processing module 100b transmit the image data to the encoding processing module 200 via the channels 300a and 300b, respectively. The image data temporarily stored in the memory 102 provided in the image processing module 100a is transmitted from the image processing module 100a to the encoding processing module 200 via the channel 300a. The image data temporarily stored in the memory 102 provided in the image processing module 100 b is transmitted from the image processing module 100 b to the encoding processing module 200 via the channel 300 b.

ステップＳ４０７において、符号化処理モジュール２００は、符号化された画像データであるストリームデータを、画像処理モジュール１００ａに送信する。画像処理モジュール１００ａに備えられた記録媒体制御部１１９は、符号化処理モジュール２００から供給されるストリームデータを記録媒体１２０に記録する。なお、ここでは、符号化処理モジュール２００によって生成されたストリームデータが画像処理モジュール１００ａにのみ供給される場合を例に説明したが、これに限定されるものではない。例えば、符号化処理モジュール２００によって生成されたストリームデータが画像処理モジュール１００ａと画像処理モジュール１００ｂの両方に供給されるようにしてもよい。   In step S407, the encoding processing module 200 transmits stream data, which is encoded image data, to the image processing module 100a. The recording medium control unit 119 included in the image processing module 100 a records stream data supplied from the encoding processing module 200 in the recording medium 120. Although the case where the stream data generated by the encoding processing module 200 is supplied only to the image processing module 100a has been described here as an example, the present invention is not limited to this. For example, stream data generated by the encoding processing module 200 may be supplied to both the image processing module 100 a and the image processing module 100 b.

なお、ステップＳ４０３からステップＳ４０７までの処理は、記録媒体１２０への動画像データの記録が完了するまでの間、繰り返し行われる。   The processing from step S403 to step S407 is repeatedly performed until the recording of moving image data on the recording medium 120 is completed.

なお、ここでは、図３（ａ）に示すようなバス構成３０１の場合の動作を例として示したが、これに限定されるものではない。例えば、図３（ｂ）に示すようなバス構成３０２又は図３（ｃ）に示すようなバス構成３０３の場合には、単一の画像処理モジュール１００と符号化処理モジュール２００との間で通信が行われる。   Although the operation in the case of the bus configuration 301 as shown in FIG. 3A is shown here as an example, the present invention is not limited to this. For example, in the case of the bus configuration 302 as shown in FIG. 3B or the bus configuration 303 as shown in FIG. 3C, communication between a single image processing module 100 and the encoding processing module 200 Is done.

＜画像処理モジュール１００の処理＞
本実施形態による画像処理装置に備えられた画像処理モジュール１００によって行われる処理の例について図５を用いて説明する。図５は、画像処理モジュール１００によって行われる処理の例を示すフローチャートである。不揮発性メモリ１０３に格納されているプログラムがメモリ１０２に展開され、メモリ１０２に展開されたプログラムがＣＰＵ１０１によって実行されることによって、図５に示すような処理が実現される。ここでは、図３（ａ）に示すようなバス構成３０１の場合の動作を例として説明する。 <Processing of Image Processing Module 100>
An example of processing performed by the image processing module 100 provided in the image processing apparatus according to the present embodiment will be described with reference to FIG. FIG. 5 is a flowchart showing an example of processing performed by the image processing module 100. The program stored in the non-volatile memory 103 is expanded in the memory 102, and the program expanded in the memory 102 is executed by the CPU 101, whereby the process shown in FIG. 5 is realized. Here, the operation in the case of the bus configuration 301 as shown in FIG. 3A will be described as an example.

バスを介して伝送し得るデータの量には限度がある。このため、動画像を構成する各々のフレームの解像度が比較的低い場合には、高いフレームレートで動画像を伝送することが可能である。例えば解像度が１９２０×１０８０のフレームを伝送する場合には、フレームレートは例えば２４０ｆｐｓ（２４０Ｐ）とすることができる。一方、動画像を構成する各々のフレームの解像度が比較的高い場合には、フレームレートは低くせざるをえない。例えば解像度が３８４０×２１６０のフレームを伝送する場合には、フレームレートは例えば６０ｆｐｓ（６０Ｐ）とされる。解像度が１９２０×１０８０、フレームレートが２４０ｆｐｓの場合における１秒間当たりのデータ伝送量と、解像度が３８４０×２１６０、フレームレートが６０ｆｐｓの場合における１秒間当たりのデータ伝送量とは同じである。解像度が比較的高いフレームが伝送される場合には、当該フレームの画像を例えば２つに分割し、２つの分割画像を例えば２つの画像処理モジュール１００ａ、１００ｂによって分散処理することが好ましい場合がある。一方、フレームレートが比較的高い場合には、フレームの解像度は比較的低く設定されるため、１つのフレームを分割することなく画像処理モジュール１００によって処理し得る。しかしながら、１つのフレームの伝送が完了し、次のフレームの伝送が行われるまでの間には、送信側と受信側との間でコマンドの送受信等が行われるため、インターバル時間が生じる。インターバル時間の合計が単位時間に占める割合は、フレームレートが高くなるほど大きくなる。例えば、奇数番目のフレームについてはチャンネル３００ａを用いて伝送を行い、偶数番目のフレームについてはチャンネル３００ｂを用いて伝送を行うようにすれば、インターバル時間の合計が単位時間に占める割合を半減することが可能である。そこで、本実施形態では、フレームレートが比較的高い場合には、奇数番目のフレームがチャンネル３００ａを介して伝送され、偶数番目のフレームがチャンネル３００ｂを介して伝送される。一方、フレームレートが比較的低い場合には、解像度の比較的高い画像が伝送され得るため、画像を分割することにより得られる分割画像の各々に対して複数の画像処理モジュール１００ａ、１００ｂによって画像処理を行う。そして、これらの画像処理モジュール１００ａ、１００ｂによって画像処理が施された分割画像をチャンネル３００ａ、３００ｂを介してそれぞれ伝送する。   There is a limit to the amount of data that can be transmitted via the bus. For this reason, when the resolution of each frame constituting the moving image is relatively low, it is possible to transmit the moving image at a high frame rate. For example, when transmitting a frame with a resolution of 1920 × 1080, the frame rate can be set to, for example, 240 fps (240 P). On the other hand, when the resolution of each frame constituting a moving image is relatively high, the frame rate has to be lowered. For example, when transmitting a frame with a resolution of 3840 × 2160, the frame rate is, for example, 60 fps (60 P). The data transmission amount per second when the resolution is 1920 × 1080 and the frame rate is 240 fps is the same as the data transmission amount per second when the resolution is 3840 × 2160 and the frame rate is 60 fps. When a frame having a relatively high resolution is to be transmitted, it may be preferable to divide the image of the frame into, for example, two, and to disperse the two divided images by, for example, two image processing modules 100a and 100b. . On the other hand, when the frame rate is relatively high, the resolution of the frame is set to be relatively low, so that one frame can be processed by the image processing module 100 without being divided. However, since transmission and reception of commands are performed between the transmission side and the reception side until the transmission of one frame is completed and the transmission of the next frame is performed, an interval time occurs. The ratio of the total of the interval time to the unit time becomes larger as the frame rate becomes higher. For example, if transmission is performed using the channel 300a for odd-numbered frames and transmission is performed using the channel 300b for even-numbered frames, the ratio of the interval time to the unit time may be halved. Is possible. Therefore, in the present embodiment, when the frame rate is relatively high, odd-numbered frames are transmitted via the channel 300a, and even-numbered frames are transmitted via the channel 300b. On the other hand, when the frame rate is relatively low, a relatively high resolution image may be transmitted, so image processing is performed by the plurality of image processing modules 100a and 100b on each of the divided images obtained by dividing the image. I do. Then, the divided images subjected to the image processing by the image processing modules 100a and 100b are transmitted via the channels 300a and 300b, respectively.

ステップＳ５０１において、ＣＰＵ１０１は、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００との間でバスの接続の確立を行う。例えば、図３（ｂ）に示すような第１のバス構成３０２によってバスの接続を確立する。この後、ステップＳ５０２に遷移する。   In step S501, the CPU 101 controls the external IF control unit 114 to establish a bus connection with the encoding processing module 200. For example, the connection of the bus is established by the first bus configuration 302 as shown in FIG. Thereafter, the process proceeds to step S502.

ステップＳ５０２において、ＣＰＵ１０１は、画像を記録する際に用いられるパラメータである記録用パラメータを取得する。記録用パラメータは、不揮発性メモリ１０３に予め記録されている。ＣＰＵ１０１は、記録用パラメータを不揮発性メモリ１０３から読み出す。記録用パラメータは、具体的には、画像を記録する際の解像度、フレームレート等を含む。記録用パラメータは、操作部１０４を介してユーザによって予め設定される。この後、ステップＳ５０３に遷移する。   In step S502, the CPU 101 acquires a recording parameter which is a parameter used when recording an image. The recording parameters are stored in advance in the non-volatile memory 103. The CPU 101 reads the recording parameter from the non-volatile memory 103. Specifically, the recording parameters include the resolution at the time of recording the image, the frame rate, and the like. The recording parameters are preset by the user via the operation unit 104. Thereafter, the process proceeds to step S503.

ステップＳ５０３において、ＣＰＵ１０１は、記録用パラメータ、具体的には、画像を記録する際の解像度、フレームレート等に関する情報を、外部ＩＦ制御部１１４を制御することによって符号化処理モジュール２００に送信する。この後、ステップＳ５０４に遷移する。なお、ＣＰＵ１０１は、記録用パラメータの他に、ステップＳ５０１において確立されたバス構成を示す情報を、符号化処理モジュール２００に送信するようにしてもよい。バス構成を示す情報は、例えば、上述した第１のバス構成３０１，３０２と第２のバス構成３０３とのうちのいずれであるかを示す情報である。   In step S 503, the CPU 101 transmits the recording parameter, specifically, the information on the resolution at the time of recording the image, the frame rate, and the like to the encoding processing module 200 by controlling the external IF control unit 114. Thereafter, the process proceeds to step S504. The CPU 101 may transmit information indicating the bus configuration established in step S501 to the encoding processing module 200, in addition to the recording parameter. The information indicating the bus configuration is, for example, information indicating which of the first bus configurations 301 and 302 and the second bus configuration 303 described above.

ステップＳ５０４において、ＣＰＵ１０１は、ステップＳ５０２において取得した記録用パラメータに含まれるフレームレートが、所定の閾値より大きいか否かを判定する。なお、所定の閾値は、メモリ１０２に予め記録されている。ステップＳ５０２において取得した記録用パラメータに含まれるフレームレートが所定の閾値より大きい場合には（ステップＳ５０４においてＹＥＳ）、ステップＳ５０５に遷移する。ステップＳ５０２において取得した記録用パラメータに含まれるフレームレートが所定の閾値以下である場合には（ステップＳ５０４においてＮＯ）、ステップＳ５０６に遷移する。   In step S504, the CPU 101 determines whether the frame rate included in the recording parameter acquired in step S502 is larger than a predetermined threshold. The predetermined threshold is stored in advance in the memory 102. If the frame rate included in the recording parameter acquired in step S502 is larger than the predetermined threshold (YES in step S504), the process proceeds to step S505. If the frame rate included in the recording parameter acquired in step S502 is less than or equal to the predetermined threshold (NO in step S504), the process proceeds to step S506.

ステップＳ５０５において、ＣＰＵ１０１は、外部ＩＦ制御部１１４を制御することによって、所定のフレームの画像を符号化処理モジュール２００に送信する。より具体的には、ＣＰＵ１０１は、フレームの順番を示すフレーム番号情報を、送信するフレームに対して付加し、フレーム番号情報が付加されたフレームを符号化処理モジュール２００に送信する。ここでは、画像処理モジュール１００ａと符号化処理モジュール２００との間において奇数番目のフレームの画像が伝送され、画像処理モジュール１００ｂと符号化処理モジュール２００との間において偶数番目のフレームの画像が伝送される場合を例に説明する。画像処理モジュール１００ａによって図５に示す処理が実行される場合、画像処理モジュール１００ａに備えられたＣＰＵ１０１は、奇数番目のフレームの画像を、画像処理モジュール１００ａに備えられたメモリ１０２に一時的に記録する。画像処理モジュール１００ａに備えられたＣＰＵ１０１は、メモリ１０２から読み出した奇数番目のフレームの画像を、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００に送信する。画像処理モジュール１００ｂによって図５に示す処理が実行される場合、画像処理モジュール１００ｂに備えられたＣＰＵ１０１は、偶数番目のフレームの画像を画像処理モジュール１００ｂに備えられたメモリ１０２に一時的に記録する。画像処理モジュール１００ｂに備えられたＣＰＵ１０１は、メモリ１０２から読み出した偶数番目のフレームの画像を、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００に送信する。なお、奇数番目のフレームと偶数番目のフレームとのうちのいずれの伝送を行うかについては、予め決定される。この後、ステップＳ５０７に遷移する。こうして、奇数番目のフレームと偶数番目のフレームとがチャンネル３００ａ、３００ｂをそれぞれ介して画像処理モジュール１００ａ、１００ｂから符号化処理モジュール２００にそれぞれ送信される。   In step S505, the CPU 101 transmits an image of a predetermined frame to the encoding processing module 200 by controlling the external IF control unit 114. More specifically, the CPU 101 adds frame number information indicating the order of frames to the frame to be transmitted, and transmits the frame to which the frame number information is added to the encoding processing module 200. Here, images of odd-numbered frames are transmitted between the image processing module 100 a and the encoding processing module 200, and images of even-numbered frames are transmitted between the image processing module 100 b and the encoding processing module 200. Will be described by way of example. When the process shown in FIG. 5 is executed by the image processing module 100a, the CPU 101 provided in the image processing module 100a temporarily records the image of the odd-numbered frame in the memory 102 provided in the image processing module 100a. Do. The CPU 101 included in the image processing module 100 a transmits the image of the odd-numbered frame read from the memory 102 to the encoding processing module 200 by controlling the external IF control unit 114. When the process shown in FIG. 5 is executed by the image processing module 100b, the CPU 101 provided in the image processing module 100b temporarily records the image of the even-numbered frame in the memory 102 provided in the image processing module 100b. . The CPU 101 included in the image processing module 100 b transmits the image of the even-numbered frame read from the memory 102 to the encoding processing module 200 by controlling the external IF control unit 114. The transmission of the odd-numbered frame and the even-numbered frame is determined in advance. Thereafter, the process proceeds to step S507. Thus, the odd-numbered frame and the even-numbered frame are transmitted from the image processing modules 100a and 100b to the encoding processing module 200 through the channels 300a and 300b, respectively.

ステップＳ５０６において、ＣＰＵ１０１は、外部ＩＦ制御部１１４を制御することによって、各々のフレームの分割画像を符号化処理モジュール２００に送信する。ここでは、各々のフレームの上半分の画像が画像処理モジュール１００ａから符号化処理モジュール２００に送信され、各々のフレームの下半分の画像が画像処理モジュール１００ｂから符号化処理モジュール２００に送信される場合を例に説明する。画像処理モジュール１００ａによって図５に示すような処理が実行される場合、画像処理モジュール１００ａに備えられたＣＰＵ１０１は、各々のフレームの上半分の画像を画像処理モジュール１００ａに備えられたメモリ１０２に一時的に記録する。画像処理モジュール１００ａに備えられたＣＰＵ１０１は、メモリ１０２から読み出した上半分の画像を、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００に送信する。画像処理モジュール１００ｂによって図５に示す処理が実行される場合、画像処理モジュール１００ｂに備えられたＣＰＵ１０１は、各々のフレームの下半分の画像を画像処理モジュール１００ｂに備えられたメモリ１０２に一時的に記録する。画像処理モジュール１００ｂに備えられたＣＰＵ１０１は、メモリ１０２から読み出された下半分の画像を、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００に送信する。なお、上半分の画像と下半分の画像とのうちのいずれの伝送を行うかについては、予め決定される。なお、ここでは、上半分の画像と下半分の画像とをそれぞれ異なるチャンネル３００ａ、３００ｂを介して伝送する場合を例に説明したが、これに限定されるものではない。例えば、左半分の画像と右半分の画像とをそれぞれ異なるチャンネル３００ａ、３００ｂを介して伝送するようにしてもよい。また、タイル状に分割された複数の画像の各々を、それぞれ異なるチャンネル３００ａ、３００ｂを介して伝送するようにしてもよい。この後、ステップＳ５０７に遷移する。   In step S <b> 506, the CPU 101 transmits the divided image of each frame to the encoding processing module 200 by controlling the external IF control unit 114. Here, when the image of the upper half of each frame is transmitted from the image processing module 100 a to the encoding processing module 200 and the image of the lower half of each frame is transmitted from the image processing module 100 b to the encoding processing module 200 Will be described by way of example. When the process shown in FIG. 5 is executed by the image processing module 100a, the CPU 101 provided in the image processing module 100a temporarily stores the image of the upper half of each frame in the memory 102 provided in the image processing module 100a. Record. The CPU 101 included in the image processing module 100 a transmits the upper half image read from the memory 102 to the encoding processing module 200 by controlling the external IF control unit 114. When the process shown in FIG. 5 is executed by the image processing module 100b, the CPU 101 provided in the image processing module 100b temporarily stores the image of the lower half of each frame in the memory 102 provided in the image processing module 100b. Record. The CPU 101 included in the image processing module 100 b transmits the lower half image read from the memory 102 to the encoding processing module 200 by controlling the external IF control unit 114. Note that which one of the upper half image and the lower half image is to be transmitted is determined in advance. Here, although the case where the upper half image and the lower half image are transmitted via different channels 300a and 300b has been described as an example, the present invention is not limited to this. For example, the left half image and the right half image may be transmitted through different channels 300a and 300b, respectively. In addition, each of the plurality of images divided into tiles may be transmitted through different channels 300a and 300b. Thereafter, the process proceeds to step S507.

ステップＳ５０７において、ＣＰＵ１０１は、符号化処理モジュール２００によって符号化されたストリームデータを、外部ＩＦ制御部１１４を制御することによって受信する。奇数番目のフレームと偶数番目のフレームとがステップＳ５０５においてチャンネル３００ａ、３００ｂをそれぞれ介して符号化処理モジュール２００に送信された場合には、ステップＳ５０７において、以下のような処理が行われる。即ち、ステップＳ５０７においては、以下のようなストリームデータが符号化処理モジュール２００から画像処理モジュール１００ａに供給される。符号化処理モジュール２００から画像処理モジュール１００ａに供給されるストリームデータは、符号化済みの奇数番目のフレームのみから成るストリームデータでもないし、符号化済みの偶数番目のフレームのみから成るストリームデータでもない。符号化済みの奇数番目のフレームと符号化済みの偶数番目のフレームの両方が、符号化処理モジュール２００から画像処理モジュール１００ａに供給される。各々のフレームの上半分の画像と各々のフレームの下半分の画像とがステップＳ５０６においてチャンネル３００ａ、３００ｂをそれぞれ介して符号化処理モジュール２００に送信された場合には、ステップＳ５０７において、以下のような処理が行われる。即ち、ステップＳ５０７においては、以下のようなストリームデータが符号化処理モジュール２００から画像処理モジュール１００ａに供給される。符号化処理モジュール２００から画像処理モジュール１００ａに供給されるストリームデータは、符号化済みの上半分の画像のみから成るストリームデータでもないし、符号化済みの下半分の画像のみから成るストリームデータでもない。上半分の画像と下半分の画像とを合成することにより得られる全体画像に対して符号化処理を施すことによって得られる画像のストリームデータが、符号化処理モジュール２００から画像処理モジュール１００ａに供給される。この後、ステップＳ５０８に遷移する。   In step S507, the CPU 101 receives the stream data encoded by the encoding processing module 200 by controlling the external IF control unit 114. When the odd-numbered frame and the even-numbered frame are transmitted to the encoding processing module 200 through the channels 300a and 300b in step S505, the following processing is performed in step S507. That is, in step S507, the following stream data is supplied from the encoding processing module 200 to the image processing module 100a. The stream data supplied from the encoding processing module 200 to the image processing module 100a is neither stream data consisting of only encoded odd-numbered frames nor stream data consisting only of encoded even-numbered frames. Both the encoded odd-numbered frame and the encoded even-numbered frame are supplied from the encoding processing module 200 to the image processing module 100a. If the upper half image of each frame and the lower half image of each frame are transmitted to the encoding processing module 200 through the channels 300a and 300b respectively in step S506, then in step S507: Processing is performed. That is, in step S507, the following stream data is supplied from the encoding processing module 200 to the image processing module 100a. The stream data supplied from the encoding processing module 200 to the image processing module 100a is neither stream data consisting of only the encoded upper half image, nor stream data consisting of only the encoded lower half image. Stream data of an image obtained by performing encoding processing on the entire image obtained by combining the upper half image and the lower half image is supplied from the encoding processing module 200 to the image processing module 100a. Ru. Thereafter, the process proceeds to step S508.

ステップＳ５０８において、ＣＰＵ１０１は、記録媒体制御部１１９を制御することによって、コンテナ化したストリームデータを記録媒体１２０に記録する。こうして、図５に示す処理が完了する。   In step S 508, the CPU 101 controls the recording medium control unit 119 to record containerized stream data on the recording medium 120. Thus, the process shown in FIG. 5 is completed.

なお、ステップＳ５０５からステップＳ５０８までの処理、又は、ステップＳ５０６からステップＳ５０８までの処理は、繰り返し実行される。   The processing from step S505 to step S508 or the processing from step S506 to step S508 is repeatedly executed.

＜符号化処理モジュール２００の処理＞
本実施形態による画像処理装置に備えられた符号化処理モジュール２００によって行われる処理の例について図６を用いて説明する。図６は、符号化処理モジュール２００によって行われる処理の例を示すフローチャートである。不図示の不揮発性メモリに格納されているプログラムがメモリ２１１に展開され、メモリ２１１に展開されたプログラムがＣＰＵ２０１によって実行されることによって、図６に示すような処理が実現される。ここでは、図３（ａ）に示すようなバス構成３０１の場合の動作を例として説明する。 <Processing of Encoding Processing Module 200>
An example of processing performed by the encoding processing module 200 provided in the image processing apparatus according to the present embodiment will be described with reference to FIG. FIG. 6 is a flowchart illustrating an example of processing performed by the encoding processing module 200. The program stored in the non-volatile memory (not shown) is expanded in the memory 211, and the program expanded in the memory 211 is executed by the CPU 201, whereby the process as shown in FIG. 6 is realized. Here, the operation in the case of the bus configuration 301 as shown in FIG. 3A will be described as an example.

ステップＳ６０１において、ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、画像処理モジュール１００ａとの間でバスの接続の確立を行うとともに、画像処理モジュール１００ｂとの間でバスの接続の確立を行う。この後、ステップＳ６０２に遷移する。   In step S601, the CPU 201 establishes a bus connection with the image processing module 100a by controlling the external IF control unit 210, and establishes a bus connection with the image processing module 100b. . Thereafter, the process proceeds to step S602.

ステップＳ６０２において、ＣＰＵ２０１は、画像を記録する際に用いられるパラメータである記録用パラメータを、外部ＩＦ制御部２１０を制御することによって画像処理モジュール１００ａ、１００ｂから受信する。記録用パラメータは、上述したように、具体的には、画像を記録する際の解像度、フレームレート等である。なお、記録用パラメータの他に、確立されたバス構成を示す情報を、画像処理モジュール１００から受信するようにしてもよい。この後、ステップＳ６０３に遷移する。   In step S602, the CPU 201 receives recording parameters, which are parameters used when recording an image, from the image processing modules 100a and 100b by controlling the external IF control unit 210. As described above, the recording parameters are, specifically, the resolution at the time of recording an image, a frame rate, and the like. In addition to the recording parameters, information indicating the established bus configuration may be received from the image processing module 100. Thereafter, the process proceeds to step S603.

ステップＳ６０３において、ＣＰＵ２０１は、ステップＳ６０２において取得した記録用パラメータに含まれるフレームレートが、所定の閾値より大きいか否かを判定する。なお、所定の閾値は、メモリ２１１に予め記録されている。ステップＳ６０２において取得した記録用パラメータに含まれるフレームレートが閾値より大きい場合には（ステップＳ６０３においてＹＥＳ）、ステップＳ６０５に遷移する。ステップＳ６０２において取得した記録用パラメータに含まれるフレームレートが閾値以下である場合には（ステップＳ６０３においてＮＯ）、ステップＳ６０４に遷移する。   In step S603, the CPU 201 determines whether the frame rate included in the recording parameter acquired in step S602 is larger than a predetermined threshold. The predetermined threshold is stored in advance in the memory 211. If the frame rate included in the recording parameter acquired in step S602 is larger than the threshold (YES in step S603), the process proceeds to step S605. If the frame rate included in the recording parameter acquired in step S602 is equal to or less than the threshold (NO in step S603), the process proceeds to step S604.

ステップＳ６０４において、ＣＰＵ２０１は、ステップＳ６０１において確立されたバス構成が第１のバス構成３０１であるか否かを判定する。ＣＰＵ２０１は、例えば、ステップＳ６０１においてバスの接続を確立した際の情報に基づいて、ステップＳ６０１において確立されたバス構成が第１のバス構成３０１であるか否かを判定し得る。また、ＣＰＵ２０１は、ステップＳ６０２において画像処理モジュールから受信した、確立されたバス構成を示す情報に基づいて、確立されたバス構成が第１のバス構成３０１であるか否かを判定し得る。確立されたバス構成が第１のバス構成３０１である場合には（ステップＳ６０４においてＹＥＳ）、ステップＳ６０７に遷移する。確立されたバス構成が第１のバス構成３０１でない場合には（ステップＳ６０４においてＮＯ）、即ち、第２のバス構成３０３である場合には、ステップＳ６０９に遷移する。   In step S 604, the CPU 201 determines whether the bus configuration established in step S 601 is the first bus configuration 301. The CPU 201 can determine whether or not the bus configuration established in step S601 is the first bus configuration 301 based on, for example, the information when establishing the connection of the bus in step S601. The CPU 201 can also determine whether the established bus configuration is the first bus configuration 301 based on the information indicating the established bus configuration received from the image processing module in step S602. If the established bus configuration is the first bus configuration 301 (YES in step S604), the process moves to step S607. If the established bus configuration is not the first bus configuration 301 (NO in step S604), that is, if it is the second bus configuration 303, the process transitions to step S609.

ステップＳ６０５において、ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、各々のフレームの画像データをチャンネル３００ａ、３００ｂを介して受信する。ここでは、奇数番目のフレームが画像処理モジュール１００ａから符号化処理モジュール２００に供給され、偶数番目のフレームが画像処理モジュール１００ｂから符号化処理モジュール２００に供給される場合を例に説明する。ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、チャンネル３００ａを介して奇数番目のフレームの画像データを受信する。また、ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、チャンネル３００ｂを介して偶数番目のフレームの画像データを受信する。この後、ステップＳ６０６に遷移する。   In step S605, the CPU 201 controls the external IF control unit 210 to receive the image data of each frame via the channels 300a and 300b. Here, an example will be described in which odd-numbered frames are supplied from the image processing module 100 a to the encoding processing module 200 and even-numbered frames are supplied from the image processing module 100 b to the encoding processing module 200. The CPU 201 controls the external IF control unit 210 to receive image data of odd-numbered frames via the channel 300 a. Further, the CPU 201 controls the external IF control unit 210 to receive image data of even-numbered frames via the channel 300 b. Thereafter, the process proceeds to step S606.

ステップＳ６０６において、ＣＰＵ２０１は、チャンネル３００ａ、３００ｂを介してそれぞれ受信した各々のフレームの画像データを、フレーム番号順にメモリ２１１に記録する。この後、ステップＳ６１０に遷移する。   In step S606, the CPU 201 records the image data of each frame received via the channels 300a and 300b in the memory 211 in order of frame number. Thereafter, the process proceeds to step S610.

ステップＳ６０７において、ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、各々のフレームの分割画像をチャンネル３００ａ、３００ｂを介してそれぞれ受信する。ここでは、各々のフレームの上半分の画像が画像処理モジュール１００ａから符号化処理モジュール２００に供給され、各々のフレームの下半分の画像が画像処理モジュール１００ｂから符号化処理モジュール２００に供給される場合を例に説明する。ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、各々のフレームの上半分の画像を、チャンネル３００ａを介して受信する。ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、各々のフレームの下半分の画像を、チャンネル３００ｂを介して受信する。なお、ここでは、上半分の画像と下半分の画像とをそれぞれ異なるチャンネル３００ａ、３００ｂを介して伝送する場合を例に説明したが、これに限定されるものではない。例えば、左半分の画像と右半分の画像とをそれぞれ異なるチャンネル３００ａ、３００ｂを介して受信するようにしてもよい。この場合、ＣＰＵ２０１は、各々のフレームの左半分の画像を、外部ＩＦ制御部２１０を制御することによって、チャンネル３００ａを介して受信する。また、ＣＰＵ２０１は、各々のフレームの右半分の画像を、外部ＩＦ制御部２１０を制御することによって、チャンネル３００ｂを介して受信する。また、タイル状に分割された複数の画像の各々を、それぞれ異なるチャンネル３００ａ、３００ｂを介して受信するようにしてもよい。この後、ステップＳ６０８に遷移する。   In step S 607, the CPU 201 controls the external IF control unit 210 to receive divided images of the respective frames via the channels 300 a and 300 b. Here, when the image of the upper half of each frame is supplied from the image processing module 100a to the encoding processing module 200 and the image of the lower half of each frame is supplied from the image processing module 100b to the encoding processing module 200 Will be described by way of example. The CPU 201 controls the external IF control unit 210 to receive the upper half image of each frame via the channel 300 a. The CPU 201 controls the external IF control unit 210 to receive an image of the lower half of each frame via the channel 300 b. Here, although the case where the upper half image and the lower half image are transmitted via different channels 300a and 300b has been described as an example, the present invention is not limited to this. For example, the left half image and the right half image may be received via different channels 300a and 300b, respectively. In this case, the CPU 201 receives an image of the left half of each frame via the channel 300 a by controlling the external IF control unit 210. The CPU 201 also receives the image of the right half of each frame via the channel 300 b by controlling the external IF control unit 210. In addition, each of the plurality of images divided into the tile shape may be received through different channels 300a and 300b. Thereafter, the process proceeds to step S608.

ステップＳ６０８において、ＣＰＵ２０１は、チャンネル３００ａ、３００ｂを介してそれぞれ受信した分割画像を合成することによって得られる全体画像を、メモリ２１１に記録する。この後、ステップＳ６１０に遷移する。   In step S608, the CPU 201 records in the memory 211 the entire image obtained by combining the divided images received via the channels 300a and 300b. Thereafter, the process proceeds to step S610.

ステップＳ６０９において、ＣＰＵ２０１は、単一のチャンネル３００を介して画像処理モジュール１００から画像を受信する。ＣＰＵ２０１は、受信した画像をメモリ２１１に記録する。この後、ステップＳ６１０に遷移する。   In step S 609, the CPU 201 receives an image from the image processing module 100 via the single channel 300. The CPU 201 records the received image in the memory 211. Thereafter, the process proceeds to step S610.

ステップＳ６１０において、ＣＰＵ２０１は、図２を用いて上述したような圧縮符号化処理を行い、圧縮符号化処理によって生成されたストリームデータをメモリ２１１に記録する。この後、ステップＳ６１１に遷移する。   In step S610, the CPU 201 performs the compression encoding process as described above with reference to FIG. 2, and records stream data generated by the compression encoding process in the memory 211. Thereafter, the process proceeds to step S611.

ステップＳ６１１において、ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、ストリームデータを画像処理モジュール１００ａに送信する。なお、ストリームデータが画像処理モジュール１００ａと画像処理モジュール１００ｂの両方に送信されるようにしてもよい。こうして、図６に示す処理が完了する。   In step S611, the CPU 201 transmits stream data to the image processing module 100a by controlling the external IF control unit 210. The stream data may be transmitted to both the image processing module 100 a and the image processing module 100 b. Thus, the process shown in FIG. 6 is completed.

なお、ステップＳ６０５からステップＳ６１１までの処理、ステップＳ６０７からステップＳ６１１までの処理、又は、ステップＳ６０９からステップＳ６１１までの処理は、繰り返し実行される。   The processing from step S605 to step S611, the processing from step S607 to step S611, or the processing from step S609 to step S611 is repeatedly executed.

このように、本実施形態によれば、閾値より大きいフレームレートの動画像が伝送される場合においては、以下のような第１のモードで伝送が行われる。第１のモードにおいては、動画像を構成する複数のフレームのうちの第１のフレームがチャンネル３００ａを介して伝送され、第１のフレームとは異なる第２のフレームがチャンネル３００ｂを介して伝送される。第１のフレームは例えば奇数番目のフレームであり、第２のフレームは例えば偶数番目のフレームである。閾値より大きいフレームレートの動画像が伝送される場合に、このような第１のモードで伝送が行われるため、単位時間当たりのインターバル時間の割合が低減される。このため、大きいフレームレートで動画像を伝送することが可能となる。一方、閾値以下のフレームレートの動画像が伝送される場合においては、解像度の高いフレームを伝送し得るように、以下のような第２のモードで伝送が行われる。第２のモードにおいては、動画像を構成する複数のフレームのうちの一のフレームの第１の部分がチャンネル３００ａを介して伝送されるとともに、当該一のフレームのうちの第１の部分とは異なる第２の部分がチャンネル３００ｂを介して伝送される。このように、本実施形態によれば、伝送を良好に行い得る画像処理装置を提供することができる。   As described above, according to the present embodiment, when a moving image having a frame rate larger than the threshold is transmitted, transmission is performed in the following first mode. In the first mode, a first frame of a plurality of frames constituting a moving image is transmitted through channel 300a, and a second frame different from the first frame is transmitted through channel 300b. Ru. The first frame is, for example, an odd-numbered frame, and the second frame is, for example, an even-numbered frame. When a moving image having a frame rate higher than the threshold is transmitted, transmission is performed in such a first mode, so the ratio of interval time per unit time is reduced. For this reason, it becomes possible to transmit a moving image at a large frame rate. On the other hand, when a moving image of a frame rate equal to or lower than the threshold is transmitted, transmission is performed in the second mode as described below so that a frame with high resolution can be transmitted. In the second mode, a first portion of one of a plurality of frames constituting a moving image is transmitted via the channel 300a, and the first portion of the one frame is A different second part is transmitted via channel 300b. As described above, according to the present embodiment, it is possible to provide an image processing apparatus capable of favorably performing transmission.

［第２実施形態］
第２実施形態による符号化装置、画像処理装置及び画像処理方法について図面を用いて説明する。図１乃至図６に示す第１実施形態による画像処理装置及び画像処理方法と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。 Second Embodiment
An encoding device, an image processing device, and an image processing method according to the second embodiment will be described using the drawings. The same members of the present embodiment as those of the image processing apparatus and the image processing method according to the first embodiment shown in FIGS. 1 to 6 are represented by the same reference numbers not to repeat or to simplify their explanation.

本実施形態による画像処理装置は、単一の画像処理モジュール１００が符号化処理モジュール２００に接続されているものである。   The image processing apparatus according to the present embodiment is one in which a single image processing module 100 is connected to the encoding processing module 200.

本実施形態による画像処理装置に備えられている画像処理モジュール１００の構成は図１を用いて上述した第１実施形態による画像処理装置１０に備えられている画像処理モジュール１００の構成と同様である。また、本実施形態による画像処理装置に備えられている符号化処理モジュール２００の構成は図２を用いて上述した第１実施形態による画像処理装置１０に備えられている符号化処理モジュール２００の構成と同様である。また、本実施形態による画像処理装置に備えられている符号化処理モジュール２００によって行われる処理は、図６を用いて上述した第１実施形態による画像処理装置１０に備えられている符号化処理モジュール２００によって行われる処理と同様である。   The configuration of the image processing module 100 provided in the image processing apparatus according to the present embodiment is the same as the configuration of the image processing module 100 provided in the image processing apparatus 10 according to the first embodiment described above with reference to FIG. . Further, the configuration of the encoding processing module 200 provided in the image processing apparatus according to the present embodiment is the configuration of the encoding processing module 200 provided in the image processing apparatus 10 according to the first embodiment described above with reference to FIG. Is the same as Further, the processing performed by the encoding processing module 200 provided in the image processing apparatus according to the present embodiment is the encoding processing module provided in the image processing apparatus 10 according to the first embodiment described above with reference to FIG. It is similar to the process performed by 200.

本実施形態による画像処理装置に備えられた画像処理モジュール１００によって行われる処理の例について図７を用いて説明する。図７は、本実施形態による画像処理装置に備えられた画像処理モジュール１００によって行われる処理の例を示すフローチャートである。不揮発性メモリ１０３に格納されているプログラムがメモリ１０２に展開され、メモリ１０２に展開されたプログラムがＣＰＵ１０１によって実行されることによって、図７に示すような処理が実現される。ここでは、図３（ｂ）に示すようなバス構成３０２又は図３（ｃ）に示すようなバス構成３０３である場合の動作を例として説明する。   An example of processing performed by the image processing module 100 provided in the image processing apparatus according to the present embodiment will be described with reference to FIG. FIG. 7 is a flowchart showing an example of processing performed by the image processing module 100 provided in the image processing apparatus according to the present embodiment. The program stored in the non-volatile memory 103 is expanded in the memory 102, and the program expanded in the memory 102 is executed by the CPU 101, whereby the process shown in FIG. 7 is realized. Here, the operation in the case of the bus configuration 302 as shown in FIG. 3B or the bus configuration 303 as shown in FIG. 3C will be described as an example.

ステップＳ７０１において、ＣＰＵ１０１は、画像を記録する際に用いられるパラメータである記録用パラメータを取得する。記録用パラメータは、上述したように、不揮発性メモリ１０３に予め記録されている。ＣＰＵ１０１は、上述したように、記録用パラメータを不揮発性メモリ１０３から読み出す。記録用パラメータとは、上述したように、具体的には、画像を記録する際の解像度、フレームレート等である。記録用パラメータは、操作部１０４を介してユーザによって予め設定される。この後、ステップＳ７０２に遷移する。   In step S701, the CPU 101 acquires a recording parameter which is a parameter used when recording an image. The recording parameter is stored in advance in the non-volatile memory 103 as described above. The CPU 101 reads the recording parameter from the non-volatile memory 103 as described above. The recording parameter is, as described above, specifically, the resolution at the time of recording the image, the frame rate, and the like. The recording parameters are preset by the user via the operation unit 104. Thereafter, the process proceeds to step S702.

ステップＳ７０２において、ＣＰＵ１０１は、ステップＳ７０１において取得した記録用パラメータに含まれるフレームレートが、所定の閾値より大きいか否かを判定する。なお、所定の閾値は、メモリ１０２に予め記録されている。ステップＳ７０１において取得された記録用パラメータに含まれるフレームレートが所定の閾値より大きい場合には（ステップＳ７０２においてＹＥＳ）、ステップＳ７０３に遷移する。ステップＳ７０１において取得された記録用パラメータに含まれるフレームレートが所定の閾値以下である場合には（ステップＳ７０２においてＮＯ）、ステップＳ７０６に遷移する。   In step S702, the CPU 101 determines whether the frame rate included in the recording parameter acquired in step S701 is larger than a predetermined threshold. The predetermined threshold is stored in advance in the memory 102. If the frame rate included in the recording parameter acquired in step S701 is larger than the predetermined threshold (YES in step S702), the process proceeds to step S703. If the frame rate included in the recording parameter acquired in step S701 is less than or equal to the predetermined threshold (NO in step S702), the process proceeds to step S706.

ステップＳ７０３において、ＣＰＵ１０１は、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００との間でバスの接続の確立を行う。ここでは、図３（ｂ）に示すような第１のバス構成３０２によってバスの接続を確立する場合を例に説明するが、これに限定されるものではない。この後、ステップＳ７０４に遷移する。   In step S 703, the CPU 101 controls the external IF control unit 114 to establish a bus connection with the encoding processing module 200. Here, although the case of establishing the connection of the bus by the first bus configuration 302 as shown in FIG. 3B will be described as an example, the present invention is not limited to this. Thereafter, the process proceeds to step S704.

ステップＳ７０４において、ＣＰＵ１０１は、記録用パラメータ、具体的には、画像を記録する際の解像度、フレームレート等に関する情報を、外部ＩＦ制御部１１４を制御することによって符号化処理モジュール２００に送信する。この後、ステップＳ７０５に遷移する。なお、記録用パラメータの他に、ステップＳ７０３において確立されたバスの構成を示す情報を、符号化処理モジュール２００に送信するようにしてもよい。バスの構成を示す情報は、例えば、上述した第１のバス構成３０１，３０２と第２のバス構成３０３とのうちのいずれであるかを示す情報である。   In step S704, the CPU 101 transmits the recording parameter, specifically, information on the resolution at the time of recording the image, the frame rate, and the like to the encoding processing module 200 by controlling the external IF control unit 114. Thereafter, the process proceeds to step S705. Note that, in addition to the recording parameters, information indicating the configuration of the bus established in step S703 may be transmitted to the encoding processing module 200. The information indicating the bus configuration is, for example, information indicating which of the first bus configuration 301, 302 and the second bus configuration 303 described above.

ステップＳ７０５において、ＣＰＵ１０１は、外部ＩＦ制御部１１４を制御することによって、所定のフレームの画像を符号化処理モジュール２００に送信する。より具体的には、ＣＰＵ１０１は、フレームの順番を示すフレーム番号情報を、送信するフレームに対して付加し、フレーム番号情報が付加されたフレームを符号化処理モジュール２００に送信する。ここでは、奇数番目のフレームの画像がチャンネル３００ａを介して伝送され、偶数番目のフレームの画像がチャンネル３００ｂを介して伝送される場合を例に説明する。ＣＰＵ１０１は、奇数番目のフレームの画像と偶数番目のフレームの画像とをメモリ１０２に一時的に記録する。ＣＰＵ１０１は、メモリ１０２から読み出した奇数番目のフレームの画像を、外部ＩＦ制御部１１４を制御することによって、チャンネル３００ａを介して符号化処理モジュール２００に送信する。また、ＣＰＵ１０１は、メモリ１０２から読み出した偶数番目のフレームの画像を、外部ＩＦ制御部１１４を制御することによって、チャンネル３００ｂを介して符号化処理モジュール２００に送信する。この後、ステップＳ７０９に遷移する。こうして、奇数番目のフレームと偶数番目のフレームとがチャンネル３００ａ、３００ｂをそれぞれ介して画像処理モジュール１００から符号化処理モジュール２００にそれぞれ送信される。   In step S 705, the CPU 101 controls the external IF control unit 114 to transmit an image of a predetermined frame to the encoding processing module 200. More specifically, the CPU 101 adds frame number information indicating the order of frames to the frame to be transmitted, and transmits the frame to which the frame number information is added to the encoding processing module 200. Here, the case where the image of the odd-numbered frame is transmitted through the channel 300a and the image of the even-numbered frame is transmitted through the channel 300b will be described as an example. The CPU 101 temporarily stores the image of the odd-numbered frame and the image of the even-numbered frame in the memory 102. The CPU 101 transmits the image of the odd-numbered frame read out from the memory 102 to the encoding processing module 200 through the channel 300 a by controlling the external IF control unit 114. Further, the CPU 101 transmits the image of the even-numbered frame read from the memory 102 to the encoding processing module 200 via the channel 300 b by controlling the external IF control unit 114. Thereafter, the process proceeds to step S709. Thus, the odd-numbered frame and the even-numbered frame are respectively transmitted from the image processing module 100 to the encoding processing module 200 via the channels 300a and 300b.

ステップＳ７０６において、ＣＰＵ１０１は、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００との間でバスの接続の確立を行う。ここでは、例えば図３（ｃ）に示すような第２のバス構成３０３によってバスの接続を確立する場合を例に説明するが、これに限定されるものではない。この後、ステップＳ７０７に遷移する。   In step S706, the CPU 101 controls the external IF control unit 114 to establish a bus connection with the encoding processing module 200. Here, although the case of establishing the connection of the bus by the second bus configuration 303 as shown in FIG. 3C, for example, will be described as an example, the present invention is not limited to this. Thereafter, the process proceeds to step S707.

ステップＳ７０７において、ＣＰＵ１０１は、上述したステップＳ７０４と同様に、記録用パラメータを、外部ＩＦ制御部１１４を制御することによって符号化処理モジュール２００に送信する。記録用パラメータは、上述したように、具体的には、画像を記録する際の解像度、フレームレート等に関する情報である。この後、ステップＳ７０８に遷移する。   In step S 707, the CPU 101 transmits the recording parameter to the encoding processing module 200 by controlling the external IF control unit 114 as in step S 704 described above. As described above, the recording parameter is, specifically, information on the resolution when recording an image, a frame rate, and the like. Thereafter, the process proceeds to step S708.

ステップＳ７０８において、ＣＰＵ１０１は、外部ＩＦ制御部１１４を制御することによって、単一のチャンネル３００を介して画像データを送信する。ＣＰＵ１０１は、フレームの順番を示すフレーム番号情報を、送信するフレームに対して付加し、フレーム番号情報が付加されたフレームを符号化処理モジュール２００に送信する。この後、ステップＳ７０９に遷移する。   In step S 708, the CPU 101 controls the external IF control unit 114 to transmit image data via the single channel 300. The CPU 101 adds frame number information indicating the order of the frames to the frame to be transmitted, and transmits the frame to which the frame number information is added to the encoding processing module 200. Thereafter, the process proceeds to step S709.

ステップＳ７０９において、ＣＰＵ１０１は、符号化処理モジュール２００によって符号化されたストリームデータを、外部ＩＦ制御部１１４を制御することによって受信する。この後、ステップＳ７１０に遷移する。   In step S 709, the CPU 101 receives the stream data encoded by the encoding processing module 200 by controlling the external IF control unit 114. Thereafter, the process proceeds to step S710.

ステップＳ７１０において、ＣＰＵ１０１は、記録媒体制御部１１９を制御することによって、コンテナ化したストリームデータを記録媒体１２０に記録する。こうして、図７に示す処理が完了する。   In step S 710, the CPU 101 controls the recording medium control unit 119 to record containerized stream data on the recording medium 120. Thus, the process shown in FIG. 7 is completed.

なお、ステップＳ７０３からステップＳ７１０までの処理、又は、ステップＳ７０６からステップＳ７１０までの処理は、繰り返し実行される。   The processing from step S703 to step S710 or the processing from step S706 to step S710 is repeatedly executed.

このように、本実施形態によれば、閾値より大きいフレームレートの動画像が伝送される場合においては、以下のような第１のモードで伝送が行われる。第１のモードにおいては、動画像を構成する複数のフレームのうちの第１のフレームがチャンネル３００ａを介して伝送され、第１のフレームとは異なる第２のフレームがチャンネル３００ｂを介して伝送される。第１のフレームは例えば奇数番目のフレームであり、第２のフレームは例えば偶数番目のフレームである。閾値より大きいフレームレートの動画像が伝送される場合に、このような第１のモードで伝送が行われるため、単位時間当たりのインターバル時間の割合が低減される。このため、大きいフレームレートでの動画像を伝送することが可能となる。一方、閾値より大きいフレームレートの動画像を伝送しない場合においては、以下のような第２のモードで伝送が行われる。第２のモードでは、動画像を構成する複数のフレームの各々が単一のチャンネル３００を介して伝送される。このように、本実施形態においても、伝送を良好に行い得る画像処理装置を提供することができる。   As described above, according to the present embodiment, when a moving image having a frame rate larger than the threshold is transmitted, transmission is performed in the following first mode. In the first mode, a first frame of a plurality of frames constituting a moving image is transmitted through channel 300a, and a second frame different from the first frame is transmitted through channel 300b. Ru. The first frame is, for example, an odd-numbered frame, and the second frame is, for example, an even-numbered frame. When a moving image having a frame rate higher than the threshold is transmitted, transmission is performed in such a first mode, so the ratio of interval time per unit time is reduced. Therefore, it is possible to transmit a moving image at a large frame rate. On the other hand, when the moving image of the frame rate larger than the threshold is not transmitted, the transmission is performed in the second mode as follows. In the second mode, each of a plurality of frames constituting a moving image is transmitted through a single channel 300. As described above, also in the present embodiment, it is possible to provide an image processing apparatus that can perform good transmission.

［第３実施形態］
第３実施形態による符号化装置、画像処理装置及び画像処理方法について図面を用いて説明する。図１乃至図７に示す第１又は第２実施形態による画像処理装置及び画像処理方法と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。 Third Embodiment
An encoding device, an image processing device, and an image processing method according to a third embodiment will be described using the drawings. The same members of the present embodiment as those of the image processing apparatus and the image processing method according to the first or the second embodiment shown in FIGS. 1 to 7 are represented by the same reference numbers not to repeat or to simplify their explanation.

本実施形態による画像処理装置は、画像を分割することによって生成される複数のタイルを複数のチャンネル３００ａ、３００ｂを介して伝送し得るものである。   The image processing apparatus according to the present embodiment can transmit a plurality of tiles generated by dividing an image through a plurality of channels 300a and 300b.

本実施形態による画像処理装置に備えられている画像処理モジュール１００の構成は図１を用いて上述した第１実施形態による画像処理装置１０に備えられている画像処理モジュール１００の構成と同様である。また、本実施形態による画像処理装置に備えられている符号化処理モジュール２００の構成は図２を用いて上述した第１実施形態による画像処理装置１０に備えられている符号化処理モジュール２００の構成と同様である。   The configuration of the image processing module 100 provided in the image processing apparatus according to the present embodiment is the same as the configuration of the image processing module 100 provided in the image processing apparatus 10 according to the first embodiment described above with reference to FIG. . Further, the configuration of the encoding processing module 200 provided in the image processing apparatus according to the present embodiment is the configuration of the encoding processing module 200 provided in the image processing apparatus 10 according to the first embodiment described above with reference to FIG. Is the same as

＜画像処理モジュール１００の処理＞
本実施形態による画像処理装置に備えられた画像処理モジュール１００によって行われる処理の例について図８を用いて説明する。図８は、本実施形態による画像処理装置に備えられた画像処理モジュール１００によって行われる処理を示すフローチャートである。不揮発性メモリ１０３に格納されているプログラムがメモリ１０２に展開され、メモリ１０２に展開されたプログラムがＣＰＵ１０１によって実行されることによって、図８に示すような処理が実現される。ここでは、図３（ａ）に示すようなバス構成３０１の場合の動作を例として説明する。 <Processing of Image Processing Module 100>
An example of processing performed by the image processing module 100 provided in the image processing apparatus according to the present embodiment will be described with reference to FIG. FIG. 8 is a flowchart showing processing performed by the image processing module 100 provided in the image processing apparatus according to the present embodiment. The program stored in the non-volatile memory 103 is expanded in the memory 102, and the program expanded in the memory 102 is executed by the CPU 101, whereby the process shown in FIG. 8 is realized. Here, the operation in the case of the bus configuration 301 as shown in FIG. 3A will be described as an example.

１つのタイルの伝送が完了し、次のタイルの伝送が行われるまでの間には、送信側と受信側との間でコマンドの送受信等が行われるため、インターバル時間が生じる。インターバル時間の合計が単位時間に占める割合は、画像を分割することにより生成されるタイルの数が多くなるほど大きくなる。例えば、奇数番目のタイルについてはチャンネル３００ａを用いて伝送を行い、偶数番目のタイルについてはチャンネル３００ｂを用いて伝送を行うようにすれば、インターバル時間の合計が単位時間に占める割合を半減することが可能である。そこで、本実施形態では、画像を分割することにより生成されるタイルの数が閾値以上である場合には、奇数番目のタイルがチャンネル３００ａを介して伝送され、偶数番目のタイルがチャンネル３００ｂを介して伝送される。一方、画像を分割することにより生成されるタイルの数が閾値以上でない場合には、画像を分割することにより得られる分割画像の各々に対して複数の画像処理モジュール１００ａ、１００ｂによって画像処理を行う。そして、これらの画像処理モジュール１００ａ、１００ｂによって画像処理が施された分割画像をチャンネル３００ａ、３００ｂを介してそれぞれ伝送する。   Between transmission of one tile is completed and transmission of the next tile is performed, since transmission and reception of commands and the like are performed between the transmission side and the reception side, an interval time occurs. The ratio of the total interval time to the unit time increases as the number of tiles generated by dividing the image increases. For example, if transmission is performed using the channel 300a for odd-numbered tiles and is performed using the channel 300b for even-numbered tiles, the ratio of the interval time to the unit time may be halved. Is possible. Therefore, in the present embodiment, when the number of tiles generated by dividing the image is equal to or greater than the threshold, the odd-numbered tiles are transmitted through the channel 300a, and the even-numbered tiles are transmitted through the channel 300b. Is transmitted. On the other hand, when the number of tiles generated by dividing the image is not more than the threshold, the image processing is performed by the plurality of image processing modules 100a and 100b on each of the divided images obtained by dividing the image. . Then, the divided images subjected to the image processing by the image processing modules 100a and 100b are transmitted via the channels 300a and 300b, respectively.

ステップＳ８０１において、ＣＰＵ１０１は、上述したステップＳ５０１と同様に、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００との間でバスの接続の確立を行う。例えば、図３（ａ）に示すような第１のバス構成３０１によってバスの接続を確立する。この後、ステップＳ８０２に遷移する。   In step S801, the CPU 101 establishes connection of a bus with the encoding processing module 200 by controlling the external IF control unit 114 as in step S501 described above. For example, the first bus configuration 301 as shown in FIG. 3A establishes a bus connection. Thereafter, the process proceeds to step S802.

ステップＳ８０２において、ＣＰＵ１０１は、画像を記録する際に用いられるパラメータである記録用パラメータを取得する。記録用パラメータは、不揮発性メモリ１０３に予め記録されている。ＣＰＵ１０１は、記録用パラメータを不揮発性メモリ１０３から読み出す。記録用パラメータは、具体的には、例えば画像を記録した際の画像の解像度等である。ここでは、タイルに分割される画像が静止画像である場合を例に説明するが、これに限定されるものではない。記録用パラメータは、操作部１０４を介してユーザによって予め設定される。この後、ステップＳ８０３に遷移する。   In step S802, the CPU 101 acquires a recording parameter which is a parameter used when recording an image. The recording parameters are stored in advance in the non-volatile memory 103. The CPU 101 reads the recording parameter from the non-volatile memory 103. Specifically, the recording parameter is, for example, the resolution of the image when the image is recorded. Here, although the case where the image divided into tiles is a still image is described as an example, the present invention is not limited to this. The recording parameters are preset by the user via the operation unit 104. Thereafter, the process proceeds to step S803.

ステップＳ８０３において、ＣＰＵ１０１は、画像を分割することにより生成されるタイルの数を示す情報を、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００に送信する。画像を分割することによって生成されるタイルの数は、例えば、画像の画素数をタイルのサイズで除算することによって算出し得る。なお、ＣＰＵ１０１は、タイルの数を示す情報の他に、画像の解像度を示す情報を、符号化処理モジュール２００に送信するようにしてもよい。この後、ステップＳ８０４に遷移する。なお、記録用パラメータの他に、ステップＳ８０１において確立されたバス構成を示す情報を、符号化処理モジュール２００に送信するようにしてもよい。バス構成を示す情報は、上述したように、例えば、上述した第１のバス構成３０１，３０２と第２のバス構成３０３とのうちのいずれであるかを示す情報である。   In step S 803, the CPU 101 transmits information indicating the number of tiles generated by dividing the image to the encoding processing module 200 by controlling the external IF control unit 114. The number of tiles generated by dividing the image may be calculated, for example, by dividing the number of pixels of the image by the size of the tile. The CPU 101 may transmit information indicating the resolution of the image to the encoding processing module 200 in addition to the information indicating the number of tiles. Thereafter, the process proceeds to step S804. In addition to the recording parameters, information indicating the bus configuration established in step S801 may be transmitted to the encoding processing module 200. The information indicating the bus configuration is, as described above, information indicating, for example, which of the first bus configuration 301, 302 and the second bus configuration 303 described above.

ステップＳ８０４において、ＣＰＵ１０１は、ステップＳ８０３において算出されたタイル数が所定の閾値より大きいか否かを判定する。なお、所定の閾値は、メモリ１０２に予め記録されている。ステップＳ８０３において算出されたタイル数が所定の閾値より大きい場合には（ステップＳ８０４においてＹＥＳ）、ステップＳ８０５に遷移する。ステップＳ８０３において算出されたタイル数が所定の閾値以下である場合には（ステップＳ８０４においてＮＯ）、ステップＳ８０６に遷移する。   In step S804, the CPU 101 determines whether the number of tiles calculated in step S803 is larger than a predetermined threshold. The predetermined threshold is stored in advance in the memory 102. If the number of tiles calculated in step S803 is larger than the predetermined threshold (YES in step S804), the process proceeds to step S805. If the number of tiles calculated in step S803 is equal to or less than the predetermined threshold (NO in step S804), the process proceeds to step S806.

ステップＳ８０５において、ＣＰＵ１０１は、画像を複数に分割することによって、複数のタイル（タイル原画像）を生成する。当該タイルのサイズは、符号化処理モジュール２００によって行われる圧縮符号化におけるタイルのサイズと同等のサイズとする。ＣＰＵ１０１は、外部ＩＦ制御部１１４を制御することによって、所定のタイルを符号化処理モジュール２００に送信する。ＣＰＵ１０１は、タイルの順番を示すタイル番号情報を、送信するタイルに対して付加し、タイル番号情報が付加されたタイルを符号化処理モジュール２００に送信する。ここでは、奇数番目のタイルが画像処理モジュール１００ａから符号化処理モジュール２００に伝送され、偶数番目のタイルが画像処理モジュール１００ｂから符号化処理モジュール２００に伝送される場合を例に説明する。画像処理モジュール１００ａによって図８に示す処理が実行される場合、画像処理モジュール１００ａに備えられたＣＰＵ１０１は、画像を分割することにより得られる複数のタイルのうちの奇数番目のタイルをメモリ１０２に一時的に記録する。画像処理モジュール１００ａに備えられたＣＰＵ１０１は、メモリ１０２から読み出した奇数番目のタイルを、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００に送信する。画像処理モジュール１００ｂによって図８に示す処理が実行される場合、画像処理モジュール１００ｂに備えられたＣＰＵ１０１は、画像を分割することにより得られる複数のタイルのうちの偶数番目のタイルをメモリ１０２に一時的に記録する。画像処理モジュール１００ｂに備えられたＣＰＵ１０１は、メモリ１０２から読み出した偶数番目のタイルを、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００に送信する。なお、奇数番目のタイルと偶数番目のタイルとのうちのいずれの伝送を行うかは、予め決定される。この後、ステップＳ８０７に遷移する。こうして、各々のタイルがチャンネル３００ａ、３００ｂをそれぞれ介して符号化処理モジュール２００に伝送される。   In step S805, the CPU 101 generates a plurality of tiles (tiled original images) by dividing the image into a plurality of pieces. The size of the tile is equal to the size of the tile in the compression coding performed by the coding processing module 200. The CPU 101 transmits a predetermined tile to the encoding processing module 200 by controlling the external IF control unit 114. The CPU 101 adds tile number information indicating the order of tiles to the tile to be transmitted, and transmits the tile to which the tile number information is added to the encoding processing module 200. Here, the case where odd-numbered tiles are transmitted from the image processing module 100a to the encoding processing module 200 and even-numbered tiles are transmitted from the image processing module 100b to the encoding processing module 200 will be described as an example. When the process shown in FIG. 8 is executed by the image processing module 100a, the CPU 101 provided in the image processing module 100a temporarily stores the odd-numbered tile of the plurality of tiles obtained by dividing the image in the memory 102. Record. The CPU 101 included in the image processing module 100 a transmits the odd-numbered tiles read from the memory 102 to the encoding processing module 200 by controlling the external IF control unit 114. When the process shown in FIG. 8 is executed by the image processing module 100b, the CPU 101 provided in the image processing module 100b temporarily stores the even-numbered tile of the plurality of tiles obtained by dividing the image in the memory 102. Record. The CPU 101 included in the image processing module 100 b transmits the even-numbered tile read from the memory 102 to the encoding processing module 200 by controlling the external IF control unit 114. Note that which one of the odd-numbered tile and the even-numbered tile is to be transmitted is determined in advance. Thereafter, the process proceeds to step S807. Thus, each tile is transmitted to the encoding processing module 200 via the channels 300a, 300b respectively.

ステップＳ８０６において、ＣＰＵ１０１は、画像を分割する。ここでは、画像を上下に分割することによって、上半分の画像と下半分の画像とが生成される場合を例に説明するが、これに限定されるものではない。ＣＰＵ１０１は、画像を分割することにより得られる分割画像を、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００に送信する。上半分の画像が画像処理モジュール１００ａから符号化処理モジュール２００に送信され、下半分の画像が画像処理モジュール１００ｂから符号化処理モジュール２００に送信される場合を例に説明する。画像処理モジュール１００ａによって図８に示す処理が実行される場合、画像処理モジュール１００ａに備えられたＣＰＵ１０１は、上半分の画像をメモリ１０２に一時的に記録する。画像処理モジュール１００ａに備えられたＣＰＵ１０１は、メモリ１０２から読み出した上半分の画像を、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００に送信する。画像処理モジュール１００ｂによって図８に示す処理が実行される場合、画像処理モジュール１００ｂに備えられたＣＰＵ１０１は、下半分の画像をメモリ１０２に一時的に記録する。画像処理モジュール１００ｂに備えられたＣＰＵ１０１は、メモリ１０２から読み出した下半分の画像を、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００に送信する。なお、上半分の画像と下半分の画像とのうちのいずれの伝送を行うかは、予め決定される。なお、ここでは、上半分の画像と下半分の画像とをそれぞれ異なるチャンネル３００ａ、３００ｂを介して伝送する場合を例に説明したが、これに限定されるものではない。例えば、左半分の画像と右半分の画像とをそれぞれ異なるチャンネル３００ａ、３００ｂを介して伝送するようにしてもよい。また、連写撮影が行われる場合には、奇数番目の画像と偶数番目の画像とを、それぞれ異なるチャンネル３００ａ、３００ｂを介して伝送するようにしてもよい。この後、ステップＳ８０７に遷移する。   In step S806, the CPU 101 divides the image. Here, although the case where the image of the upper half and the image of the lower half are generated by dividing the image into upper and lower parts will be described as an example, the present invention is not limited to this. The CPU 101 transmits a divided image obtained by dividing the image to the encoding processing module 200 by controlling the external IF control unit 114. The case where the upper half image is transmitted from the image processing module 100a to the encoding processing module 200 and the lower half image is transmitted from the image processing module 100b to the encoding processing module 200 will be described as an example. When the process shown in FIG. 8 is executed by the image processing module 100a, the CPU 101 provided in the image processing module 100a temporarily records the upper half image in the memory 102. The CPU 101 included in the image processing module 100 a transmits the upper half image read from the memory 102 to the encoding processing module 200 by controlling the external IF control unit 114. When the process shown in FIG. 8 is executed by the image processing module 100b, the CPU 101 provided in the image processing module 100b temporarily records the lower half image in the memory 102. The CPU 101 included in the image processing module 100 b transmits the lower half image read from the memory 102 to the encoding processing module 200 by controlling the external IF control unit 114. Note that which one of the upper half image and the lower half image is to be transmitted is determined in advance. Here, although the case where the upper half image and the lower half image are transmitted via different channels 300a and 300b has been described as an example, the present invention is not limited to this. For example, the left half image and the right half image may be transmitted through different channels 300a and 300b, respectively. When continuous shooting is performed, the odd-numbered image and the even-numbered image may be transmitted via different channels 300a and 300b. Thereafter, the process proceeds to step S807.

ステップＳ８０７において、ＣＰＵ１０１は、上述したステップＳ５０７と同様に、符号化処理モジュール２００によって符号化されたストリームデータを、外部ＩＦ制御部１１４を制御することによって受信する。この後、ステップＳ８０８に遷移する。   In step S 807, the CPU 101 receives the stream data encoded by the encoding processing module 200 by controlling the external IF control unit 114 as in step S 507 described above. Thereafter, the process proceeds to step S808.

ステップＳ８０８において、ＣＰＵ１０１は、上述したステップＳ５０８と同様に、記録媒体制御部１１９を制御することによって、コンテナ化したストリームデータを記録媒体１２０に記録する。こうして、図８に示す処理が完了する。   In step S 808, the CPU 101 records the containerized stream data on the recording medium 120 by controlling the recording medium control unit 119 as in step S 508 described above. Thus, the process shown in FIG. 8 is completed.

なお、ステップＳ８０５からステップＳ８０８までの処理、又は、ステップＳ８０６からステップＳ５０８までの処理は、繰り返し実行される。   The processing from step S805 to step S808 or the processing from step S806 to step S508 is repeatedly executed.

＜符号化処理モジュール２００の処理＞
本実施形態による画像処理装置に備えられた符号化処理モジュール２００によって行われる処理の例について図９を用いて説明する。図９は、符号化処理モジュール２００によって行われる処理の例を示すフローチャートである。不図示の不揮発性メモリに格納されているプログラムがメモリ２１１に展開され、メモリ２１１に展開されたプログラムがＣＰＵ２０１によって実行されることによって、図９に示すような処理が実現される。ここでは、図３（ａ）に示すようなバス構成３０１の場合の動作を例として説明する。 <Processing of Encoding Processing Module 200>
An example of processing performed by the encoding processing module 200 provided in the image processing apparatus according to the present embodiment will be described with reference to FIG. FIG. 9 is a flowchart illustrating an example of processing performed by the encoding processing module 200. The program stored in the non-volatile memory (not shown) is expanded in the memory 211, and the program expanded in the memory 211 is executed by the CPU 201, whereby the processing as shown in FIG. 9 is realized. Here, the operation in the case of the bus configuration 301 as shown in FIG. 3A will be described as an example.

ステップＳ９０１において、ＣＰＵ２０１は、図６を用いて上述したステップＳ６０１と同様に、外部ＩＦ制御部２１０を制御することによって、以下のような処理を行う。即ち、ＣＰＵ２０１は、画像処理モジュール１００ａとの間でバスの接続の確立を行うとともに、画像処理モジュール１００ｂとの間でバスの接続の確立を行う。この後、ステップＳ９０２に遷移する。   In step S901, the CPU 201 performs the following processing by controlling the external IF control unit 210 as in step S601 described above with reference to FIG. That is, the CPU 201 establishes a bus connection with the image processing module 100a, and establishes a bus connection with the image processing module 100b. Thereafter, the process proceeds to step S902.

ステップＳ９０２において、ＣＰＵ２０１は、静止画像の解像度を示す情報、タイル数を示す情報（タイル数情報）等を、外部ＩＦ制御部２１０を制御することによって画像処理モジュール１００ａ、１００ｂから受信する。なお、これらの情報の他に、確立されたバス構成を示す情報を、画像処理モジュール１００から受信するようにしてもよい。この後、ステップＳ９０３に遷移する。   In step S902, the CPU 201 receives information indicating the resolution of a still image, information indicating the number of tiles (number of tiles information), and the like from the image processing modules 100a and 100b by controlling the external IF control unit 210. In addition to the above information, information indicating the established bus configuration may be received from the image processing module 100. Thereafter, the process proceeds to step S903.

ステップＳ９０３において、ＣＰＵ２０１は、ステップＳ９０２において取得したタイル数情報によって示されるタイル数が所定の閾値より大きいか否かを判定する。タイル数情報によって示されるタイル数が所定の閾値より大きい場合には（ステップＳ９０３においてＹＥＳ）、ステップＳ９０５に遷移する。タイル数情報によって示されるタイル数が所定の閾値以下である場合には（ステップＳ９０３においてＮＯ）、ステップＳ９０４に遷移する。   In step S903, the CPU 201 determines whether the number of tiles indicated by the tile number information acquired in step S902 is larger than a predetermined threshold. If the number of tiles indicated by the tile number information is larger than the predetermined threshold (YES in step S903), the process proceeds to step S905. If the tile number indicated by the tile number information is equal to or less than the predetermined threshold (NO in step S903), the process advances to step S904.

ステップＳ９０４において、ＣＰＵ２０１は、ステップＳ９０１において確立されたバス構成が第１のバス構成３０１であるか否かを判定する。ＣＰＵ２０１は、例えば、ステップＳ９０１においてバスの接続を確立した際の情報に基づいて、ステップＳ９０１において確立されたバス構成が第１のバス構成３０１であるか否かを判定し得る。また、ＣＰＵ２０１は、ステップＳ９０２において画像処理モジュールから受信した、確立されたバス構成を示す情報に基づいて、確立されたバス構成が第１のバス構成３０１であるか否かを判定し得る。確立されたバス構成が第１のバス構成３０１である場合には（ステップＳ９０４においてＹＥＳ）、ステップＳ９０７に遷移する。確立されたバス構成が第１のバス構成３０１でない場合には（ステップＳ９０４においてＮＯ）、即ち、第２のバス構成３０２である場合には、ステップＳ９０９に遷移する。   In step S 904, the CPU 201 determines whether the bus configuration established in step S 901 is the first bus configuration 301. The CPU 201 can determine, for example, whether or not the bus configuration established in step S901 is the first bus configuration 301 based on the information when establishing the connection of the bus in step S901. The CPU 201 can also determine whether the established bus configuration is the first bus configuration 301 based on the information indicating the established bus configuration received from the image processing module in step S902. If the established bus configuration is the first bus configuration 301 (YES in step S904), the process transitions to step S907. If the established bus configuration is not the first bus configuration 301 (NO in step S904), that is, if it is the second bus configuration 302, the process transitions to step S909.

ステップＳ９０５において、ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、各々のタイルをチャンネル３００ａ、３００ｂを介して受信する。ここでは、奇数番目のタイルが画像処理モジュール１００ａから符号化処理モジュール２００に供給され、偶数番目のタイルが画像処理モジュール１００ｂから符号化処理モジュール２００に供給される場合を例に説明する。ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、チャンネル３００ａを介して奇数番目のタイルを受信する。また、ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、チャンネル３００ｂを介して偶数番目のタイルを受信する。この後、ステップＳ９０６に遷移する。   In step S905, the CPU 201 controls the external IF control unit 210 to receive each tile via the channels 300a and 300b. Here, an example will be described in which odd-numbered tiles are supplied from the image processing module 100a to the encoding processing module 200 and even-numbered tiles are supplied from the image processing module 100b to the encoding processing module 200. The CPU 201 receives the odd-numbered tile via the channel 300 a by controlling the external IF control unit 210. Further, the CPU 201 controls the external IF control unit 210 to receive even-numbered tiles via the channel 300 b. Thereafter, the process proceeds to step S906.

ステップＳ９０６において、ＣＰＵ２０１は、チャンネル３００ａ、３００ｂを介してそれぞれ受信した各々のタイルを、タイル番号順に並べて合成することによって得られる全体画像をメモリ２１１に記録する。この後、ステップＳ９１０に遷移する。   In step S 906, the CPU 201 records, in the memory 211, the entire image obtained by arranging and combining the tiles received through the channels 300 a and 300 b in order of tile number. Thereafter, the process proceeds to step S910.

ステップＳ９０７において、ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、各々のフレームの分割画像をチャンネル３００ａ、３００ｂを介してそれぞれ受信する。ここでは、各々のフレームの上半分の画像が画像処理モジュール１００ａから符号化処理モジュール２００に供給され、各々のフレームの下半分の画像が画像処理モジュール１００ｂから符号化処理モジュール２００に供給される場合を例に説明する。ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、各々のフレームの上半分の画像を、チャンネル３００ａを介して受信する。ＣＰＵ２０１は、外部ＩＦ制御部２１０を制御することによって、各々のフレームの下半分の画像を、チャンネル３００ｂを介して受信する。なお、ここでは、上半分の画像と下半分の画像とをそれぞれ異なるチャンネル３００ａ、３００ｂを介して伝送する場合を例に説明したが、これに限定されるものではない。例えば、左半分の画像と右半分の画像とをそれぞれ異なるチャンネル３００ａ、３００ｂを介して受信するようにしてもよい。この場合、ＣＰＵ２０１は、各々のフレームの左半分の画像を、外部ＩＦ制御部２１０を制御することによって、チャンネル３００ａを介して受信する。また、ＣＰＵ２０１は、各々のフレームの右半分の画像を、外部ＩＦ制御部２１０を制御することによって、チャンネル３００ｂを介して受信する。また、タイル状に分割された複数の画像の各々を、それぞれ異なるチャンネル３００ａ、３００ｂを介して受信するようにしてもよい。この後、ステップＳ９０８に遷移する。   In step S 907, the CPU 201 controls the external IF control unit 210 to receive divided images of each frame via the channels 300 a and 300 b. Here, when the image of the upper half of each frame is supplied from the image processing module 100a to the encoding processing module 200 and the image of the lower half of each frame is supplied from the image processing module 100b to the encoding processing module 200 Will be described by way of example. The CPU 201 controls the external IF control unit 210 to receive the upper half image of each frame via the channel 300 a. The CPU 201 controls the external IF control unit 210 to receive an image of the lower half of each frame via the channel 300 b. Here, although the case where the upper half image and the lower half image are transmitted via different channels 300a and 300b has been described as an example, the present invention is not limited to this. For example, the left half image and the right half image may be received via different channels 300a and 300b, respectively. In this case, the CPU 201 receives an image of the left half of each frame via the channel 300 a by controlling the external IF control unit 210. The CPU 201 also receives the image of the right half of each frame via the channel 300 b by controlling the external IF control unit 210. In addition, each of the plurality of images divided into the tile shape may be received through different channels 300a and 300b. Thereafter, the process proceeds to step S908.

ステップＳ９０８において、ＣＰＵ２０１は、チャンネル３００ａ、３００ｂを介してそれぞれ受信した分割画像を合成することによって得られる全体画像を、メモリ２１１に記録する。この後、ステップＳ９１０に遷移する。   In step S 908, the CPU 201 records in the memory 211 the entire image obtained by combining the divided images received via the channels 300 a and 300 b. Thereafter, the process proceeds to step S910.

ステップＳ９０９において、ＣＰＵ２０１は、単一のチャンネル３００を介して画像処理モジュール１００から画像を受信する。ＣＰＵ２０１は、受信した画像をメモリ２１１に記録する。この後、ステップＳ９１０に遷移する。   In step S 909, the CPU 201 receives an image from the image processing module 100 via the single channel 300. The CPU 201 records the received image in the memory 211. Thereafter, the process proceeds to step S910.

ステップＳ９１０において、ＣＰＵ２０１は、図６を用いて上述したステップＳ６１０と同様に、図２を用いて上述したような圧縮符号化処理を行い、圧縮符号化処理によって生成されたストリームデータをメモリ２１１に記録する。この後、ステップＳ９１１に遷移する。   In step S 910, the CPU 201 performs the compression encoding process as described above with reference to FIG. 2 as in step S 610 described above with reference to FIG. 6, and stores the stream data generated by the compression encoding process in the memory 211. Record. Thereafter, the process proceeds to step S911.

ステップＳ９１１において、ＣＰＵ２０１は、図６を用いて上述したステップＳ６１１と同様に、外部ＩＦ制御部２１０を制御することによって、ストリームデータを画像処理モジュール１００ａに送信する。なお、ストリームデータが画像処理モジュール１００ａと画像処理モジュール１００ｂの両方に送信されるようにしてもよい。こうして、図９に示す処理が完了する。   In step S911, the CPU 201 transmits stream data to the image processing module 100a by controlling the external IF control unit 210 as in step S611 described above with reference to FIG. The stream data may be transmitted to both the image processing module 100 a and the image processing module 100 b. Thus, the process shown in FIG. 9 is completed.

なお、ステップＳ９０５からステップＳ９１１までの処理、ステップＳ９０７からステップＳ９１１までの処理、又は、ステップＳ９０９からステップＳ９１１までの処理が、繰り返し実行されるようにしてもよい。   The processing from step S905 to step S911, the processing from step S907 to step S911, or the processing from step S909 to step S911 may be repeatedly performed.

このように、本実施形態によれば、閾値より大きい数のタイルに分割された画像が伝送される場合には、以下のような第１のモードで伝送が行われる。第１のモードでは、画像を構成する複数のタイルのうちの第１のタイルがチャンネル３００ａを介して伝送され、第１のタイルとは異なる第２のタイルがチャンネル３００ｂを介して伝送される。閾値より大きい数のタイルが伝送される場合に、このようにして伝送が行われるため、単位時間当たりのインターバル時間の割合が低減される。このため、大きい数のタイルに分割した画像の伝送が可能となる。一方、閾値より大きい数のタイルに分割された画像が伝送されない場合においては、以下のような第２のモードで伝送が行われる。第２のモードにおいて、画像のうちの第１の部分がチャンネル３００ａを介して伝送され、画像のうちの第１の部分とは異なる第２の部分がチャンネル３００ｂを介して伝送される。このように、本実施形態においても、伝送を良好に行い得る画像処理装置を提供することができる。   Thus, according to the present embodiment, when an image divided into tiles larger than the threshold is transmitted, transmission is performed in the first mode as described below. In the first mode, a first tile of the plurality of tiles constituting the image is transmitted through the channel 300a, and a second tile different from the first tile is transmitted through the channel 300b. When the number of tiles larger than the threshold is transmitted, the transmission is performed in this manner, so the ratio of the interval time per unit time is reduced. Therefore, it is possible to transmit an image divided into a large number of tiles. On the other hand, when an image divided into tiles larger than the threshold is not transmitted, transmission is performed in the second mode as described below. In the second mode, a first part of the image is transmitted via channel 300a, and a second part of the image different from the first part is transmitted via channel 300b. As described above, also in the present embodiment, it is possible to provide an image processing apparatus that can perform good transmission.

［第４実施形態］
第４実施形態による符号化装置、画像処理装置及び画像処理方法について図面を用いて説明する。図１乃至図９に示す第１乃至第３実施形態による画像処理装置及び画像処理方法と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。 Fourth Embodiment
An encoding device, an image processing device, and an image processing method according to the fourth embodiment will be described using the drawings. The same members of the present embodiment as those of the image processing apparatus and the image processing method according to the first to the third embodiments shown in FIGS. 1 to 9 are represented by the same reference numbers not to repeat or to simplify their explanation.

本実施形態による画像処理装置は、単一の画像処理モジュール１００が符号化処理モジュール２００に接続されているものである。   The image processing apparatus according to the present embodiment is one in which a single image processing module 100 is connected to the encoding processing module 200.

本実施形態による画像処理装置に備えられている画像処理モジュール１００の構成は図１を用いて上述した第１実施形態による画像処理装置に備えられている画像処理モジュール１００の構成と同様である。また、本実施形態による画像処理装置に備えられている符号化処理モジュール２００の構成は図２を用いて上述した第１実施形態による画像処理装置１０に備えられている符号化処理モジュール２００の構成と同様である。また、本実施形態による画像処理装置に備えられている符号化処理モジュール２００によって行われる処理は、図９を用いて上述した第３実施形態による画像処理装置に備えられている符号化処理モジュール２００によって行われる処理と同様である。   The configuration of the image processing module 100 provided in the image processing apparatus according to the present embodiment is the same as the configuration of the image processing module 100 provided in the image processing apparatus according to the first embodiment described above with reference to FIG. Further, the configuration of the encoding processing module 200 provided in the image processing apparatus according to the present embodiment is the configuration of the encoding processing module 200 provided in the image processing apparatus 10 according to the first embodiment described above with reference to FIG. Is the same as Further, the processing performed by the encoding processing module 200 provided in the image processing apparatus according to the present embodiment is the encoding processing module 200 provided in the image processing apparatus according to the third embodiment described above with reference to FIG. Is similar to the process performed by

本実施形態による画像処理装置に備えられた画像処理モジュール１００によって行われる処理の例について図１０を用いて説明する。図１０は、本実施形態による画像処理装置に備えられた画像処理モジュール１００によって行われる処理の例を示すフローチャートである。不揮発性メモリ１０３に格納されているプログラムがメモリ１０２に展開され、メモリ１０２に展開されたプログラムがＣＰＵ１０１によって実行されることによって、図１０に示すような処理が実現される。ここでは、図３（ｂ）に示すようなバス構成３０２又は図３（ｃ）に示すようなバス構成３０３である場合の動作を例として説明する。   An example of processing performed by the image processing module 100 provided in the image processing apparatus according to the present embodiment will be described with reference to FIG. FIG. 10 is a flowchart showing an example of processing performed by the image processing module 100 provided in the image processing apparatus according to the present embodiment. The program stored in the non-volatile memory 103 is expanded in the memory 102, and the program expanded in the memory 102 is executed by the CPU 101, whereby the process shown in FIG. 10 is realized. Here, the operation in the case of the bus configuration 302 as shown in FIG. 3B or the bus configuration 303 as shown in FIG. 3C will be described as an example.

ステップＳ１００１において、ＣＰＵ１０１は、画像を記録する際に用いられるパラメータである記録用パラメータを取得する。記録用パラメータは、上述したように、不揮発性メモリ１０３に予め記録されている。ＣＰＵ１０１は、上述したように、記録用パラメータを不揮発性メモリ１０３から読み出す。記録用パラメータは、具体的には、静止画像を記録する際の解像度等である。記録用パラメータは、操作部１０４を介してユーザによって予め設定される。この後、ステップＳ１００２に遷移する。   In step S1001, the CPU 101 acquires a recording parameter which is a parameter used when recording an image. The recording parameter is stored in advance in the non-volatile memory 103 as described above. The CPU 101 reads the recording parameter from the non-volatile memory 103 as described above. Specifically, the recording parameter is the resolution at the time of recording a still image. The recording parameters are preset by the user via the operation unit 104. Thereafter, the process proceeds to step S1002.

ステップＳ１００２において、ＣＰＵ１０１は、画像を分割することにより生成されるタイルの数を算出する。タイルの数は、例えば、画像の画素数をタイルのサイズで除算することによって算出し得る。ＣＰＵ１０１は、算出されたタイル数が所定の閾値より大きいか否かを判定する。なお、所定の閾値は、メモリ１０２に予め記録されている。タイル数が所定の閾値より大きい高い場合には（ステップＳ１００２においてＹＥＳ）、ステップＳ１００３に遷移する。タイル数が所定の閾値以下である場合には（ステップＳ１００２においてＮＯ）、ステップＳ１００６に遷移する。   In step S1002, the CPU 101 calculates the number of tiles generated by dividing the image. The number of tiles may be calculated, for example, by dividing the number of pixels of the image by the size of the tiles. The CPU 101 determines whether the calculated number of tiles is larger than a predetermined threshold. The predetermined threshold is stored in advance in the memory 102. If the number of tiles is higher than the predetermined threshold (YES in step S1002), the process advances to step S1003. If the number of tiles is equal to or less than the predetermined threshold (NO in step S1002), the process proceeds to step S1006.

ステップＳ１００３において、ＣＰＵ１０１は、図７を用いて上述したステップＳ７０３と同様に、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００との間でバスの接続の確立を行う。ここでは、図３（ｂ）に示すような第１のバス構成３０２によってバスの接続を確立する場合を例に説明するが、これに限定されるものではない。この後、ステップＳ１００４に遷移する。   In step S1003, the CPU 101 establishes the connection of the bus with the encoding processing module 200 by controlling the external IF control unit 114 as in step S703 described above with reference to FIG. Here, although the case of establishing the connection of the bus by the first bus configuration 302 as shown in FIG. 3B will be described as an example, the present invention is not limited to this. Thereafter, the process proceeds to step S1004.

ステップＳ１００４において、ＣＰＵ１０１は、ステップＳ１００２において算出したタイル数を示す情報を、外部ＩＦ制御部１１４を制御することによって符号化処理モジュール２００に通知する。この後、ステップＳ１００５に遷移する。なお、ＣＰＵ１０１は、タイル数を示す情報の他に、画像の解像度を示す情報を、符号化処理モジュール２００に送信するようにしてもよい。また、記録用パラメータの他に、ステップＳ１００３において確立されたバス構成を示す情報を、符号化処理モジュール２００に送信するようにしてもよい。バス構成を示す情報は、上述したように、例えば、第１のバス構成３０１，３０２と第２のバス構成３０３とのうちのいずれであるかを示す情報である。   In step S1004, the CPU 101 notifies the encoding processing module 200 of information indicating the number of tiles calculated in step S1002 by controlling the external IF control unit 114. After this, the process transitions to step S1005. The CPU 101 may transmit information indicating the resolution of the image to the encoding processing module 200 in addition to the information indicating the number of tiles. In addition to the recording parameters, information indicating the bus configuration established in step S1003 may be transmitted to the encoding processing module 200. As described above, the information indicating the bus configuration is, for example, information indicating which one of the first bus configurations 301 and 302 and the second bus configuration 303.

ステップＳ１００５において、ＣＰＵ１０１は、画像を複数に分割することによって、複数のタイルを生成する。当該タイルのサイズは、符号化処理モジュール２００によって行われる圧縮符号化におけるタイルのサイズと同等のサイズとする。ＣＰＵ１０１は、外部ＩＦ制御部１１４を制御することによって、所定のタイルを符号化処理モジュール２００に送信する。ＣＰＵ１０１は、タイルの順番を示すタイル番号情報を、送信するタイルに対して付加し、タイル番号情報が付加されたタイルを符号化処理モジュール２００に送信する。ここでは、奇数番目のタイルがチャンネル３００ａを介して伝送され、偶数番目のタイルがチャンネル３００ｂを介して伝送される場合を例に説明する。ＣＰＵ１０１は、奇数番目のタイルと偶数番目のタイルとをメモリ１０２に一時的に記録する。ＣＰＵ１０１は、メモリ１０２から読み出した奇数番目のタイルを、外部ＩＦ制御部１１４を制御することによって、チャンネル３００ａを介して符号化処理モジュール２００に送信する。また、ＣＰＵ１０１は、メモリ１０２から読み出した偶数番目のタイルを、外部ＩＦ制御部１１４を制御することによって、チャンネル３００ｂを介して符号化処理モジュール２００に送信する。この後、ステップＳ１００９に遷移する。こうして、奇数番目のタイルと偶数番目のタイルとがチャンネル３００ａ、３００ｂをそれぞれ介して画像処理モジュール１００から符号化処理モジュール２００にそれぞれ送信される。   In step S1005, the CPU 101 generates a plurality of tiles by dividing the image into a plurality of pieces. The size of the tile is equal to the size of the tile in the compression coding performed by the coding processing module 200. The CPU 101 transmits a predetermined tile to the encoding processing module 200 by controlling the external IF control unit 114. The CPU 101 adds tile number information indicating the order of tiles to the tile to be transmitted, and transmits the tile to which the tile number information is added to the encoding processing module 200. Here, an example will be described in which odd-numbered tiles are transmitted through channel 300 a and even-numbered tiles are transmitted through channel 300 b. The CPU 101 temporarily stores the odd-numbered tile and the even-numbered tile in the memory 102. The CPU 101 transmits the odd-numbered tiles read from the memory 102 to the encoding processing module 200 via the channel 300 a by controlling the external IF control unit 114. Further, the CPU 101 transmits the even-numbered tile read from the memory 102 to the encoding processing module 200 via the channel 300 b by controlling the external IF control unit 114. Thereafter, the process proceeds to step S1009. Thus, odd-numbered tiles and even-numbered tiles are respectively transmitted from the image processing module 100 to the encoding processing module 200 via the channels 300a and 300b, respectively.

ステップＳ１００６において、ＣＰＵ１０１は、図７に示すステップＳ７０６と同様に、外部ＩＦ制御部１１４を制御することによって、符号化処理モジュール２００との間でバスの接続の確立を行う。ここでは、例えば図３（ｃ）に示すような第２のバス構成３０３によってバスの接続を確立する場合を例に説明するが、これに限定されるものではない。この後、ステップＳ１００７に遷移する。   In step S1006, the CPU 101 establishes the connection of the bus with the encoding processing module 200 by controlling the external IF control unit 114 as in step S706 shown in FIG. Here, although the case of establishing the connection of the bus by the second bus configuration 303 as shown in FIG. 3C, for example, will be described as an example, the present invention is not limited to this. Thereafter, the process proceeds to step S1007.

ステップＳ１００７において、ＣＰＵ１０１は、ステップＳ１００４と同様に、ステップＳ１００２において算出したタイル数を示す情報を、外部ＩＦ制御部１１４を制御することによって符号化処理モジュール２００に通知する。この後、ステップＳ１００８に遷移する。なお、ＣＰＵ１０１は、タイル数を示す情報の他に、画像の解像度を示す情報を、符号化処理モジュール２００に送信するようにしてもよい。また、記録用パラメータの他に、ステップＳ１００３において確立されたバス構成を示す情報を、符号化処理モジュール２００に送信するようにしてもよい。この後、ステップＳ１００８に遷移する。   In step S1007, the CPU 101 notifies the encoding processing module 200 of information indicating the tile number calculated in step S1002 by controlling the external IF control unit 114, as in step S1004. Thereafter, the process transitions to step S1008. The CPU 101 may transmit information indicating the resolution of the image to the encoding processing module 200 in addition to the information indicating the number of tiles. In addition to the recording parameters, information indicating the bus configuration established in step S1003 may be transmitted to the encoding processing module 200. Thereafter, the process transitions to step S1008.

ステップＳ１００８において、ＣＰＵ１０１は、外部ＩＦ制御部１１４を制御することによって、単一のチャンネル３００を介して画像データを送信する。ＣＰＵ１０１は、フレームの順番を示すフレーム番号情報を、送信するフレームに対して付加し、フレーム番号情報が付加されたフレームを符号化処理モジュール２００に送信する。この後、ステップＳ１００９に遷移する。   In step S <b> 1008, the CPU 101 transmits image data via the single channel 300 by controlling the external IF control unit 114. The CPU 101 adds frame number information indicating the order of the frames to the frame to be transmitted, and transmits the frame to which the frame number information is added to the encoding processing module 200. Thereafter, the process transitions to step S1009.

ステップＳ１００９において、ＣＰＵ１０１は、ステップＳ７０９と同様に、符号化処理モジュール２００によって符号化されたストリームデータを、外部ＩＦ制御部１１４を制御することによって受信する。この後、ステップＳ１０１０に遷移する。   In step S1009, the CPU 101 receives the stream data encoded by the encoding processing module 200 by controlling the external IF control unit 114, as in step S709. Thereafter, the process proceeds to step S1010.

ステップＳ１０１０において、ＣＰＵ１０１は、ステップＳ７１０と同様に、記録媒体制御部１１９を制御することによって、コンテナ化したストリームデータを記録媒体１２０に記録する。この後、ステップＳ１０１０に遷移する。こうして、図１０に示す処理が完了する。   In step S1010, the CPU 101 records the containerized stream data on the recording medium 120 by controlling the recording medium control unit 119 as in step S710. Thereafter, the process proceeds to step S1010. Thus, the process shown in FIG. 10 is completed.

なお、ステップＳ１００５からステップＳ１０１０までの処理、又は、ステップＳ１００８からステップＳ１０１０までの処理は、繰り返し実行されてもよい。   The process from step S1005 to step S1010 or the process from step S1008 to step S1010 may be repeatedly performed.

このように、本実施形態によれば、閾値より大きい数のタイルに分割された画像が伝送される場合には、以下のような第１のモードで伝送が行われる。第１のモードにおいては、画像を構成する複数のタイルのうちの第１のタイルがチャンネル３００ａを介して伝送され、第１のタイルとは異なる第２のタイルがチャンネル３００ｂを介して伝送される。閾値より大きい数のタイルに分割された画像が伝送される場合に、このようにして伝送が行われるため、単位時間当たりのインターバル時間の割合が低減される。このため、本実施形態によれば、大きい数のタイルに分割した画像の伝送が可能となる。一方、閾値より大きい数のタイルに分割された画像が伝送されない場合には、以下のような第２のモードで伝送が行われる。第２のモードでは、単一のチャンネル３００を介して画像が符号化処理モジュール２００に伝送される。このように、本実施形態においても、伝送を良好に行い得る画像処理装置を提供することができる。   Thus, according to the present embodiment, when an image divided into tiles larger than the threshold is transmitted, transmission is performed in the first mode as described below. In the first mode, a first tile of the plurality of tiles constituting the image is transmitted through the channel 300a, and a second tile different from the first tile is transmitted through the channel 300b. . When an image divided into tiles having a number larger than the threshold is transmitted, the transmission is performed in this manner, so that the ratio of the interval time per unit time is reduced. Therefore, according to the present embodiment, it is possible to transmit an image divided into a large number of tiles. On the other hand, when an image divided into tiles larger than the threshold is not transmitted, transmission is performed in the second mode as follows. In the second mode, an image is transmitted to the encoding processing module 200 via a single channel 300. As described above, also in the present embodiment, it is possible to provide an image processing apparatus that can perform good transmission.

［変形実施形態］
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 [Modified embodiment]
As mentioned above, although the preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.

例えば、第１実施形態では、２つの画像処理モジュール１００が符号化処理モジュール２００に接続されている場合を例に説明したが、これに限定されるものではない。例えば、３つ以上の画像処理モジュール１００が符号化処理モジュール２００に接続されていてもよい。例えば、画像処理モジュール１００の数が４つである場合において、フレーム数が閾値以上である場合には、以下のような伝送が行われる。（４ｎ＋１）番目（ｎは０以上の整数）のフレームは、第１のチャンネルを介して伝送される。（４ｎ＋２）番目のフレームは、第２のチャンネルを介して伝送される。（４ｎ＋３）番目のフレームは、第３のチャンネルを介して伝送される。（４ｎ＋４）番目のフレームは、第４のチャンネルを介して伝送される。   For example, in the first embodiment, the case where two image processing modules 100 are connected to the encoding processing module 200 has been described as an example, but the present invention is not limited to this. For example, three or more image processing modules 100 may be connected to the encoding processing module 200. For example, in the case where the number of image processing modules 100 is four, if the number of frames is equal to or greater than the threshold, the following transmission is performed. The (4n + 1) th (n is an integer of 0 or more) frame is transmitted via the first channel. The (4n + 2) th frame is transmitted via the second channel. The (4n + 3) th frame is transmitted via the third channel. The (4n + 4) th frame is transmitted via the fourth channel.

例えば、第３実施形態では、２つの画像処理モジュール１００が符号化処理モジュール２００に接続されている場合を例に説明したが、これに限定されるものではない。例えば、３つ以上の画像処理モジュール１００が符号化処理モジュール２００に接続されていてもよい。例えば、画像処理モジュール１００の数が４つである場合において、タイル数が閾値以上である場合には、以下のような伝送が行われる。（４ｎ＋１）番目（ｎは０以上の整数）のタイルは、第１のチャンネルを介して伝送される。（４ｎ＋２）番目のタイルは、第２のチャンネルを介して伝送される。（４ｎ＋３）番目のタイルは、第３のチャンネルを介して伝送される。（４ｎ＋４）番目のタイルは、第４のチャンネルを介して伝送される。   For example, in the third embodiment, the case where two image processing modules 100 are connected to the encoding processing module 200 has been described as an example, but the present invention is not limited to this. For example, three or more image processing modules 100 may be connected to the encoding processing module 200. For example, in the case where the number of image processing modules 100 is four, when the number of tiles is equal to or greater than the threshold, the following transmission is performed. The (4n + 1) -th (n is an integer of 0 or more) tile is transmitted via the first channel. The (4n + 2) th tile is transmitted via the second channel. The (4n + 3) th tile is transmitted via the third channel. The (4n + 4) th tile is transmitted via the fourth channel.

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。   The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a recording medium, and one or more processors in a computer of the system or apparatus read and execute the program. Can also be realized. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.

１００ａ、１００ｂ 画像処理モジュール
１０１ ＣＰＵ
１０２ メモリ
１０３ 不揮発性メモリ
１０４ 操作部
１１１ レンズ
１１２ 撮像部
１１３ 画像処理部
１１４ 外部ＩＦ制御部
１１５ 表示制御部
１１６ 表示部
１１７ 通信制御部
１１８ 通信部
１１９ 記録媒体制御部
１２０ 記録媒体
１３０ 内部バス
２００ 符号化処理モジュール
２０１ ＣＰＵ
２０２ ブロックサイズ決定部
２０３ 予測符号化方法決定部
２０４ 予測符号化処理部
２０５ 直交変換・量子化部
２０６ 局所復号部
２０７ 符号量制御部
２０８ エントロピー符号化部
２０９ 多重化処理部
２１０ 外部ＩＦ制御部
２１１ メモリ 100a, 100b image processing module 101 CPU
102 memory 103 nonvolatile memory 104 operation unit 111 lens 112 imaging unit 113 image processing unit 114 external IF control unit 115 display control unit 116 display unit 117 communication control unit 118 communication unit 119 recording medium control unit 120 recording medium 130 internal bus 200 code Processing module 201 CPU
202 block size determination unit 203 prediction encoding method determination unit 204 prediction encoding processing unit 205 orthogonal transformation / quantization unit 206 local decoding unit 207 code amount control unit 208 entropy encoding unit 209 multiplexing processing unit 210 external IF control unit 211 memory

Claims (18)

複数のチャンネルを備えるバスを介して閾値より大きいフレームレートの動画像が伝送される第１の場合においては、前記動画像を構成する複数のフレームのうちの第１のフレームが前記複数のチャンネルのうちの第１のチャンネルを介して伝送されるとともに、前記第１のフレームとは異なる第２のフレームが前記複数のチャンネルのうちの前記第１のチャンネルとは異なる第２のチャンネルを介して伝送される第１のモードで伝送が行われるように制御を行い、前記第１の場合と異なる第２の場合においては、前記第１のモードとは異なる第２のモードで伝送が行われるように制御を行う制御手段と、
前記バスを介して伝送された画像を符号化する符号化手段と
を備えることを特徴とする画像処理装置。 In the first case where a moving image of a frame rate higher than a threshold is transmitted through a bus including a plurality of channels, a first frame of a plurality of frames constituting the moving image is of the plurality of channels. And a second frame different from the first frame is transmitted through a second channel different from the first channel among the plurality of channels. Control so that transmission is performed in the first mode, and in a second case different from the first case, the transmission is performed in a second mode different from the first mode Control means for performing control;
And an encoding unit configured to encode an image transmitted via the bus. 前記第２の場合は、閾値以下のフレームレートの動画像が伝送される場合であり、
前記第２のモードは、前記動画像を構成する複数のフレームのうちの一のフレームの第１の部分が前記第１のチャンネルを介して伝送されるとともに、前記一のフレームのうちの前記第１の部分とは異なる第２の部分が前記第２のチャンネルを介して伝送されるモードであることを特徴とする請求項１に記載の画像処理装置。 In the second case, a moving image at a frame rate lower than the threshold is transmitted.
In the second mode, a first portion of one of a plurality of frames constituting the moving image is transmitted through the first channel, and the second portion of the one frame is transmitted. The image processing apparatus according to claim 1, wherein a second part different from the one part is a mode in which the second part is transmitted through the second channel. 前記第１の場合において伝送されるフレームの解像度は、前記第２の場合において伝送されるフレームの解像度より低いことを特徴とする請求項１又は２に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the resolution of the frame transmitted in the first case is lower than the resolution of the frame transmitted in the second case. 前記第１のフレームは奇数番目のフレームであり、
前記第２のフレームは偶数番目のフレームであることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。 The first frame is an odd-numbered frame,
The image processing apparatus according to any one of claims 1 to 3, wherein the second frame is an even-numbered frame. 複数のチャンネルを備えるバスを介して閾値より大きい数のタイルに分割された画像が伝送される第１の場合においては、複数のタイルのうちの第１のタイルが前記複数のチャンネルのうちの第１のチャンネルを介して伝送されるとともに、前記複数のタイルのうちの前記第１のタイルとは異なる第２のタイルが前記第１のチャンネルとは異なる第２のチャンネルを介して伝送される第１のモードで伝送が行われるように制御を行い、前記第１の場合と異なる第２の場合においては、前記第１のモードとは異なる第２のモードで伝送が行われるように制御を行う制御手段と、
前記バスを介して伝送された画像を符号化する符号化手段と
を備えることを特徴とする画像処理装置。 In the first case where an image divided into a number of tiles larger than a threshold is transmitted via a bus comprising a plurality of channels, a first tile of the plurality of tiles is the first of the plurality of channels. A second tile transmitted via one channel and different from the first tile among the plurality of tiles is transmitted via a second channel different from the first channel; Control is performed so that transmission is performed in one mode, and control is performed so that transmission is performed in a second mode different from the first mode in a second case different from the first case Control means,
And an encoding unit configured to encode an image transmitted via the bus. 前記第２の場合は、閾値以下の数に分割された画像を伝送する場合であり、
前記第２のモードは、前記画像のうちの第１の部分が前記第１のチャンネルを介して伝送されるとともに、前記画像のうちの前記第１の部分とは異なる第２の部分が前記第２のチャンネルを介して伝送されるモードであることを特徴とする請求項５に記載の画像処理装置。 In the second case, an image divided into a number smaller than or equal to the threshold is transmitted.
In the second mode, a first portion of the image is transmitted through the first channel, and a second portion different from the first portion of the image is the second portion. 6. The image processing apparatus according to claim 5, wherein the mode is a mode of transmission via two channels. 前記第２の場合は、連写撮影によって得られる画像を伝送する場合であり、
前記第２のモードは、複数の前記画像のうちの第１の画像が前記第１のチャンネルを介して伝送されるとともに、前記複数の画像のうちの前記第１の画像とは異なる第２の画像が前記第２のチャンネルを介して伝送されるモードであることを特徴とする請求項５に記載の画像処理装置。 In the second case, an image obtained by continuous shooting is transmitted.
In the second mode, a first image of the plurality of the images is transmitted through the first channel, and a second image different from the first image of the plurality of images is transmitted. The image processing apparatus according to claim 5, wherein the image is in a mode in which an image is transmitted via the second channel. 前記第１のタイルは奇数番目のタイルであり、
前記第２のタイルは偶数番目のタイルであることを特徴とする請求項５から７のいずれか１項に記載の画像処理装置。 The first tile is an odd-numbered tile,
The image processing apparatus according to any one of claims 5 to 7, wherein the second tile is an even-numbered tile. 画像処理を行う複数の画像処理手段を更に有し、
前記第１のチャンネルは、前記複数の画像処理手段のうちの第１の画像処理手段と前記符号化手段との間に備えられ、
前記第２のチャンネルは、前記第１の画像処理手段とは異なる第２の画像処理手段と前記符号化手段との間に備えられることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。 It further comprises a plurality of image processing means for performing image processing,
The first channel is provided between a first image processing unit of the plurality of image processing units and the encoding unit.
The second channel is provided between the second image processing means different from the first image processing means and the encoding means. Image processing apparatus as described. 画像処理を行う単一の画像処理手段を更に有し、
前記第１のチャンネルと前記第２のチャンネルのいずれもが、前記単一の画像処理手段と前記符号化手段との間に備えられることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。 It further comprises a single image processing means for performing image processing,
9. A method according to any one of the preceding claims, characterized in that both the first channel and the second channel are provided between the single image processing means and the coding means. Image processing apparatus as described. 画像処理を行う単一の画像処理手段を更に有し、
前記第１のモードでは、前記第１のチャンネルと前記第２のチャンネルのいずれもが、前記単一の画像処理手段と前記符号化手段との間に構成され、
前記第２のモードでは、単一のチャンネルが前記単一の画像処理手段と前記符号化手段との間に構成されることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。 It further comprises a single image processing means for performing image processing,
In the first mode, both the first channel and the second channel are configured between the single image processing means and the encoding means.
The image according to any one of claims 1 to 7, characterized in that in said second mode, a single channel is configured between said single image processing means and said encoding means. Processing unit. 画像処理を行う単一の画像処理手段を更に有し、
前記第２の場合は、閾値以下のフレームレートの動画像が伝送される場合であり、
前記第２のモードは、前記動画像を構成する複数のフレームの各々が前記単一の画像処理手段と前記符号化手段との間に備えられる単一のチャンネルを介して伝送されるモードであることを特徴とする請求項１に記載の画像処理装置。 It further comprises a single image processing means for performing image processing,
In the second case, a moving image at a frame rate lower than the threshold is transmitted.
The second mode is a mode in which each of a plurality of frames constituting the moving image is transmitted via a single channel provided between the single image processing means and the encoding means. The image processing apparatus according to claim 1, 画像処理を行う単一の画像処理手段を更に有し、
前記第２の場合は、分割されていない画像が伝送される場合であり、
前記第２のモードは、前記画像が前記単一の画像処理手段と前記符号化手段との間に備えられる単一のチャンネルを介して伝送されるモードであることを特徴とする請求項５に記載の画像処理装置。 It further comprises a single image processing means for performing image processing,
In the second case, an undivided image is transmitted.
The second mode is a mode in which the image is transmitted via a single channel provided between the single image processing means and the encoding means. Image processing apparatus as described. 前記バスは、ＰＣＩ Ｅｘｐｒｅｓｓ規格のバスであることを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。   The image processing apparatus according to any one of claims 1 to 13, wherein the bus is a PCI Express bus. 複数のチャンネルを備えるバスを介して閾値より大きいフレームレートの動画像を受信する第１の場合においては、前記動画像を構成する複数のフレームのうちの第１のフレームが前記複数のチャンネルのうちの第１のチャンネルを介して受信されるとともに、前記第１のフレームとは異なる第２のフレームが前記複数のチャンネルのうちの前記第１のチャンネルとは異なる第２のチャンネルを介して受信される第１のモードで受信が行われるように制御を行い、前記第１の場合と異なる第２の場合においては、前記第１のモードとは異なる第２のモードで受信が行われるように制御を行う制御手段と、
前記バスを介して受信した画像を符号化する符号化手段と
を備えることを特徴とする符号化装置。 In the first case of receiving a moving image of a frame rate higher than a threshold value via a bus including a plurality of channels, a first frame of a plurality of frames constituting the moving image is one of the plurality of channels. A second frame different from the first frame is received via a second channel different from the first channel among the plurality of channels. Control to perform reception in the first mode, and control to perform reception in the second mode different from the first mode in the second case different from the first case Control means for performing
And an encoding unit for encoding an image received via the bus. 複数のチャンネルを備えるバスを介して閾値より大きい数のタイルに分割された画像を受信する第１の場合においては、複数のタイルのうちの第１のタイルが前記複数のチャンネルのうちの第１のチャンネルを介して受信されるとともに、前記複数のタイルのうちの前記第１のタイルとは異なる第２のタイルが前記第１のチャンネルとは異なる第２のチャンネルを介して受信される第１のモードで受信が行われるように制御を行い、前記第１の場合と異なる第２の場合においては、前記第１のモードとは異なる第２のモードで受信が行われるように制御を行う制御手段と、
前記バスを介して受信した画像を符号化する符号化手段と
を備えることを特徴とする符号化装置。 In the first case of receiving an image divided into a number of tiles larger than a threshold via a bus comprising a plurality of channels, a first tile of the plurality of tiles is the first of the plurality of channels. A second tile different from the first tile of the plurality of tiles, received via a second channel different from the first channel; Control to perform reception in the second mode, and control to perform reception in a second mode different from the first mode in a second case different from the first case Means,
And an encoding unit for encoding an image received via the bus. 複数のチャンネルを備えるバスを介して閾値より大きいフレームレートの動画像が伝送される第１の場合においては、前記動画像を構成する複数のフレームのうちの第１のフレームが前記複数のチャンネルのうちの第１のチャンネルを介して伝送されるとともに、前記第１のフレームとは異なる第２のフレームが前記複数のチャンネルのうちの前記第１のチャンネルとは異なる第２のチャンネルを介して伝送される第１のモードで伝送が行われるように制御が行われ、前記第１の場合と異なる第２の場合においては、前記第１のモードとは異なる第２のモードで伝送が行われるように制御を行うステップと、
前記バスを介して伝送された画像を符号化するステップと
を有することを特徴とする画像処理方法。 In the first case where a moving image of a frame rate higher than a threshold is transmitted through a bus including a plurality of channels, a first frame of a plurality of frames constituting the moving image is of the plurality of channels. And a second frame different from the first frame is transmitted through a second channel different from the first channel among the plurality of channels. Control is performed so that transmission is performed in a first mode, and transmission is performed in a second mode different from the first mode in a second case different from the first case To control the
And d. Encoding an image transmitted via the bus. 複数のチャンネルを備えるバスを介して閾値より大きい数のタイルに分割された画像が伝送される第１の場合においては、複数のタイルのうちの第１のタイルが前記複数のチャンネルのうちの第１のチャンネルを介して伝送されるとともに、前記複数のタイルのうちの前記第１のタイルとは異なる第２のタイルが前記第１のチャンネルとは異なる第２のチャンネルを介して伝送される第１のモードで伝送が行われるように制御を行われ、前記第１の場合と異なる第２の場合においては、前記第１のモードとは異なる第２のモードで伝送が行われるように制御を行うステップと、
前記バスを介して伝送された画像を符号化するステップと
を備えることを特徴とする画像処理方法。 In the first case where an image divided into a number of tiles larger than a threshold is transmitted via a bus comprising a plurality of channels, a first tile of the plurality of tiles is the first of the plurality of channels. A second tile transmitted via one channel and different from the first tile among the plurality of tiles is transmitted via a second channel different from the first channel; Control is performed such that transmission is performed in one mode, and in a second case different from the first case, control is performed such that transmission is performed in a second mode different from the first mode. The steps to be taken,
And d. Encoding an image transmitted through the bus.
JP2017213236A 2017-11-02 2017-11-02 Coding device, image processing device and image processing method Active JP7076983B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017213236A JP7076983B2 (en) 2017-11-02 2017-11-02 Coding device, image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017213236A JP7076983B2 (en) 2017-11-02 2017-11-02 Coding device, image processing device and image processing method

Publications (2)

Publication Number Publication Date
JP2019087827A true JP2019087827A (en) 2019-06-06
JP7076983B2 JP7076983B2 (en) 2022-05-30

Family

ID=66763440

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017213236A Active JP7076983B2 (en) 2017-11-02 2017-11-02 Coding device, image processing device and image processing method

Country Status (1)

Country Link
JP (1) JP7076983B2 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05227519A (en) * 1991-03-19 1993-09-03 Olympus Optical Co Ltd Encoder and decoder for picture data
JP2007202026A (en) * 2006-01-30 2007-08-09 Sony Corp Encoding apparatus, decoding apparatus, encoding method, decoding method, program for encoding method, program for decoding method, recording medium with program for encoding method recorded thereon, and recording medium with program for decoding method recorded thereon
JP2008236120A (en) * 2007-03-19 2008-10-02 Matsushita Electric Ind Co Ltd Decoder and coder
JP2014011726A (en) * 2012-07-02 2014-01-20 Canon Inc Image encoder, image encoding method and program, image decoder, and image decoding method and program
JP2014135667A (en) * 2013-01-11 2014-07-24 Seiko Epson Corp Video processing apparatus, display apparatus, and video processing method
JP2016192595A (en) * 2015-03-30 2016-11-10 ソニー株式会社 Video transmitter, video receiver, video transmission method, and video transmission system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05227519A (en) * 1991-03-19 1993-09-03 Olympus Optical Co Ltd Encoder and decoder for picture data
JP2007202026A (en) * 2006-01-30 2007-08-09 Sony Corp Encoding apparatus, decoding apparatus, encoding method, decoding method, program for encoding method, program for decoding method, recording medium with program for encoding method recorded thereon, and recording medium with program for decoding method recorded thereon
JP2008236120A (en) * 2007-03-19 2008-10-02 Matsushita Electric Ind Co Ltd Decoder and coder
JP2014011726A (en) * 2012-07-02 2014-01-20 Canon Inc Image encoder, image encoding method and program, image decoder, and image decoding method and program
JP2014135667A (en) * 2013-01-11 2014-07-24 Seiko Epson Corp Video processing apparatus, display apparatus, and video processing method
JP2016192595A (en) * 2015-03-30 2016-11-10 ソニー株式会社 Video transmitter, video receiver, video transmission method, and video transmission system

Also Published As

Publication number Publication date
JP7076983B2 (en) 2022-05-30

Similar Documents

Publication Publication Date Title
JP6819702B2 (en) Television devices, mobile phones, playback devices, cameras and methods
CN107018424B (en) Image processing apparatus, image processing method, and program
TWI520504B (en) An image processing apparatus, an image processing method, an image processing program, and a recording medium
JP7303894B2 (en) Encoders, decoders and corresponding inter-prediction methods
WO2012147621A1 (en) Encoding device and encoding method, and decoding device and decoding method
US10674110B2 (en) Image encoding apparatus, and control method thereof
JP5156704B2 (en) Image coding apparatus, image coding method, integrated circuit, and camera
JPWO2019142821A1 (en) Encoding device, decoding device, coding method, decoding method, coding program, and decoding program
JP2011223519A (en) Data converter
JP2017192078A (en) Picture encoder and control method thereof
JP2015115903A (en) Imaging apparatus, control method of imaging apparatus, and computer program
CN105659610A (en) Image processing device and method
KR20220065880A (en) Use of DCT-based interpolation filters and enhanced bilinear interpolation filters in affine motion compensation
CN107079130B (en) Image processing apparatus and image processing method
WO2023011420A1 (en) Encoding method and apparatus, and decoding method and apparatus
JP7076983B2 (en) Coding device, image processing device and image processing method
CN105100595A (en) Image capture apparatus and method for controlling the same
JP2021118403A (en) Image processing device, control method thereof, program, and image processing system
JP2020057898A (en) Image coding device
CN114600166A (en) Image processing method, image processing apparatus, and storage medium
JP2017220828A (en) Coding device, imaging apparatus, coding method and program
JP6838951B2 (en) Coding device and coding method
JP7148236B2 (en) Encoding device and its control method and program
CN104244005A (en) image processing device, imaging processing method, program, and imaging apparatus
JP4164268B2 (en) Encoding device, encoding method, program, storage medium

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20171214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220518

R151 Written notification of patent or utility model registration

Ref document number: 7076983

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151