JP2017147495A - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
JP2017147495A
JP2017147495A JP2016025848A JP2016025848A JP2017147495A JP 2017147495 A JP2017147495 A JP 2017147495A JP 2016025848 A JP2016025848 A JP 2016025848A JP 2016025848 A JP2016025848 A JP 2016025848A JP 2017147495 A JP2017147495 A JP 2017147495A
Authority
JP
Japan
Prior art keywords
image
image data
output
integrated circuit
circuit element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016025848A
Other languages
Japanese (ja)
Inventor
伊藤　靖
Yasushi Ito
靖 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016025848A priority Critical patent/JP2017147495A/en
Publication of JP2017147495A publication Critical patent/JP2017147495A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an image processing apparatus capable of processing a moving image of high resolution at the low cost.SOLUTION: An image processing apparatus includes: a first integrated circuit element that executes image processing; a second integrated circuit element that executes the image processing; and distribution means of distributing a first frame image included in a moving image sequentially acquired by using an imaging element into the first integrated circuit element, and distributing a second frame image included in the moving image into the second integrated circuit element. The first integrated circuit element generates a plurality of first output images having different formats from one another from the first frame image. The plurality of first output images are sequentially transmitted to the second integrated circuit element. The second integrated circuit element generates a plurality of second output images having different formats from one another from the second frame image. The first and second output images are sequentially output in each format.SELECTED DRAWING: Figure 1

Description

本発明は、画像処理装置及び画像処理方法に関する。   The present invention relates to an image processing apparatus and an image processing method.

近時では、高解像度の動画像を撮影し得る撮像装置が提案されている。今後、更なる高解像度化の要請に応えることも必要となる。
特許文献１には、テレビジョンカメラからパラレルの映像信号を時分割多重化してシリアル信号として映像装置側に伝送する際、テレビジョンカメラ側から映像装置側への制御信号も併せて時分割多重化するという手法が開示されている。 Recently, an imaging apparatus that can capture a high-resolution moving image has been proposed. In the future, it will be necessary to meet the demand for higher resolution.
In Patent Document 1, when a parallel video signal is time-division multiplexed from a television camera and transmitted as a serial signal to the video apparatus side, a control signal from the television camera side to the video apparatus side is also time-division multiplexed. The technique of doing is disclosed.

特開２０１１−４１３１０号公報JP 2011-41310 A

しかしながら、高解像度の動画像を処理し得るＩＣは高価であり、かかる高価なＩＣを用いた画像処理装置は高価となってしまう。
本発明の目的は、高解像度の動画像を処理し得る安価な画像処理装置を提供することにある。 However, an IC that can process a high-resolution moving image is expensive, and an image processing apparatus using such an expensive IC becomes expensive.
An object of the present invention is to provide an inexpensive image processing apparatus capable of processing a high-resolution moving image.

実施形態の一態様によれば、画像処理を行う第１の集積回路素子と、画像処理を行う第２の集積回路素子と、撮像素子を用いて順次取得される動画像に含まれる第１のフレーム画像を前記第１の集積回路素子に振り分け、前記動画像に含まれる第２のフレーム画像を前記第２の集積回路素子に振り分ける振り分け手段とを有し、前記第１の集積回路素子は、フォーマットが互いに異なる複数の第１の出力画像を前記第１のフレーム画像から生成し、前記複数の第１の出力画像を前記第２の集積回路素子に順次送信し、前記第２の集積回路素子は、前記フォーマットが互いに異なる複数の第２の出力画像を前記第２のフレーム画像から生成し、前記フォーマット別に前記第１の出力画像と前記第２の出力画像とを順次出力することを特徴とする画像処理装置が提供される。   According to an aspect of the embodiment, the first integrated circuit element that performs image processing, the second integrated circuit element that performs image processing, and the first image included in the moving image sequentially acquired using the imaging element Distribution means for distributing a frame image to the first integrated circuit element, and distributing a second frame image included in the moving image to the second integrated circuit element, wherein the first integrated circuit element comprises: Generating a plurality of first output images having different formats from the first frame image, sequentially transmitting the plurality of first output images to the second integrated circuit element; and the second integrated circuit element. Generating a plurality of second output images having different formats from the second frame image, and sequentially outputting the first output image and the second output image for each format. Do Image processing apparatus is provided.

本発明によれば、高解像度の動画像を処理し得る安価な画像処理装置を提供することができる。   According to the present invention, an inexpensive image processing apparatus capable of processing a high-resolution moving image can be provided.

一実施形態による画像処理装置の概略的な構成を示すブロック図である。It is a block diagram which shows the schematic structure of the image processing apparatus by one Embodiment. 一実施形態による画像処理装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image processing apparatus by one Embodiment. 一実施形態による画像処理装置の動作の概略を示す図である。It is a figure which shows the outline of operation | movement of the image processing apparatus by one Embodiment.

［一実施形態］
一実施形態による画像処理装置を、図１乃至図３を用いて説明する。図１は、本実施形態による画像処理装置の概略的な構成を示すブロック図である。なお、ここでは、本実施形態による画像処理装置１０が撮像機能を有している場合、即ち、本実施形態による画像処理装置１０が撮像装置である場合を例に説明するが、これに限定されるものではない。 [One Embodiment]
An image processing apparatus according to an embodiment will be described with reference to FIGS. 1 to 3. FIG. 1 is a block diagram illustrating a schematic configuration of the image processing apparatus according to the present embodiment. Here, a case where the image processing apparatus 10 according to the present embodiment has an imaging function, that is, a case where the image processing apparatus 10 according to the present embodiment is an imaging apparatus will be described as an example, but the present invention is not limited thereto. It is not something.

図１に示すように、本実施形態による画像処理装置１０は、所定の画像処理を行うＩＣ（集積回路素子、画像処理デバイス）１００と、ＩＣ１００に接続されたメモリ１０４とを有している。また、本実施形態による画像処理装置１０は、所定の画像処理を行うＩＣ１００′と、ＩＣ１００′に接続されたメモリ１０４′とを有している。メモリ１０４、メモリ１０４′としては、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）がそれぞれ用いられている。撮像素子１０１（図２参照）によって取得される動画像（動画像データ）の各々のフレーム画像（フレーム、画像データ）が、振り分け部（振り分け手段）１０３によって、ＩＣ１００とＩＣ１００′とに交互に振り分けられるようになっている。後述するように、ＩＣ１００′によってフレーム画像に対して画像処理が行われ、これにより、複数のフォーマット（形態、態様、形式）の画像（画像データ）が生成される。具体的には、後述するように、表示用の画像データ（出力画像）と、ライン出力用の画像データ（出力画像）と、記録用の画像データ（記録用画像）とが、ＩＣ１００′による画像処理によって生成される。ＩＣ１００′によって生成される表示用の画像データとライン出力用の画像データとは、ＩＣ１００′からＩＣ１００に送信される。また、後述するように、ＩＣ１００によってフレーム画像に対して画像処理が行われ、これにより、複数のフォーマットの画像が得られる。具体的には、後述するように、表示用の画像データと、ライン出力用の画像データと、記録用の画像データとが、ＩＣ１００による画像処理によって生成される。ＩＣ１００による画像処理によって生成される記録用の画像データと、ＩＣ１００′による画像処理によって生成される記録用の画像データとが、合成部１２９によって合成され、これにより動画像データが生成される。こうして生成された記録用の動画像データは、記録媒体１３１（図２参照）に記録される。ＩＣ１００′からＩＣ１００に送信される表示用の画像データと、ＩＣ１００によって生成される表示用の画像データとが、ＩＣ１００から順次出力、即ち、交互に出力されるようになっている。また、ＩＣ１００′からＩＣ１００に送信されるライン出力用の画像データと、ＩＣ１００によって生成されるライン出力用の画像データとが、ＩＣ１００から順次出力、即ち、交互に出力されるようになっている。即ち、分散処理によって生成された画像データ（出力画像）がフォーマット別にＩＣ１００から画像データがされるようになっている。   As shown in FIG. 1, the image processing apparatus 10 according to the present embodiment includes an IC (integrated circuit element, image processing device) 100 that performs predetermined image processing, and a memory 104 connected to the IC 100. The image processing apparatus 10 according to the present embodiment includes an IC 100 ′ that performs predetermined image processing and a memory 104 ′ that is connected to the IC 100 ′. As the memory 104 and the memory 104 ′, for example, a DRAM (Dynamic Random Access Memory) is used. Each frame image (frame, image data) of the moving image (moving image data) acquired by the image sensor 101 (see FIG. 2) is alternately distributed to the IC 100 and the IC 100 ′ by the distributing unit (distributing unit) 103. It is supposed to be. As will be described later, image processing is performed on the frame image by the IC 100 ′, thereby generating images (image data) of a plurality of formats (forms, modes, and formats). Specifically, as described later, image data for display (output image), image data for line output (output image), and image data for recording (recording image) are images by the IC 100 ′. Generated by processing. The display image data and line output image data generated by the IC 100 ′ are transmitted from the IC 100 ′ to the IC 100. Further, as will be described later, image processing is performed on the frame image by the IC 100, whereby images of a plurality of formats are obtained. Specifically, as described later, display image data, line output image data, and recording image data are generated by image processing by the IC 100. The recording image data generated by the image processing by the IC 100 and the recording image data generated by the image processing by the IC 100 ′ are combined by the combining unit 129, thereby generating moving image data. The moving image data for recording thus generated is recorded on the recording medium 131 (see FIG. 2). The display image data transmitted from the IC 100 ′ to the IC 100 and the display image data generated by the IC 100 are sequentially output from the IC 100, that is, alternately output. Further, line output image data transmitted from the IC 100 ′ to the IC 100 and line output image data generated by the IC 100 are sequentially output from the IC 100, that is, alternately output. In other words, the image data (output image) generated by the dispersion process is imaged from the IC 100 for each format.

図２は、本実施形態による画像処理装置１０の構成を示すブロック図である。撮像素子１０１は、被写体からの光、即ち、被写体像を電気信号に変換するものであり、例えば、ＣＭＯＳイメージセンサ等が用いられている。撮像素子１０１の後段には、例えばアナログフロントエンド（ＡＦＥ：Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１０２が配されている。アナログフロントエンド１０２は、撮像素子１０１によって得られたアナログの電気信号に対して相関二重サンプリング（ＣＤＳ：Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）を行う。また、アナログフロントエンド１０２は、アナログ信号をデジタル信号に変換する処理であるＡ／Ｄ変換をも行う。   FIG. 2 is a block diagram illustrating the configuration of the image processing apparatus 10 according to the present embodiment. The image sensor 101 converts light from a subject, that is, a subject image into an electrical signal. For example, a CMOS image sensor or the like is used. For example, an analog front end (AFE: Analog Front End) 102 is disposed at the subsequent stage of the image sensor 101. The analog front end 102 performs correlated double sampling (CDS) on an analog electrical signal obtained by the image sensor 101. The analog front end 102 also performs A / D conversion, which is processing for converting an analog signal into a digital signal.

アナログフロントエンド１０２の後段には、振り分け部１０３が配されている。振り分け部１０３は、撮像素子１０１によって取得される動画像の各々のフレームの画像データを、ＩＣ１００とＩＣ１００′とに交互に振り分けるためのものである。振り分け部１０３としては、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等が用いられている。振り分け部１０３の一方の出力端子から出力される画像データは、ＩＣ１００の入力端子（入力ポート）１０９を介してＩＣ１００に入力されるようになっている。振り分け部１０３の他方の出力端子から出力される画像データは、ＩＣ１００′の入力端子（入力ポート）１０９′を介してＩＣ１００′に入力されるようになっている。このように、本実施形態では、撮像素子１０１を用いて取得される動画像の各々のフレームの画像データが、ＩＣ１００とＩＣ１００′とに交互に入力されるようになっている。   A distribution unit 103 is disposed following the analog front end 102. The sorting unit 103 is for sorting the image data of each frame of the moving image acquired by the image sensor 101 alternately into the IC 100 and the IC 100 ′. As the distribution unit 103, for example, a DSP (Digital Signal Processor) or the like is used. Image data output from one output terminal of the distribution unit 103 is input to the IC 100 via an input terminal (input port) 109 of the IC 100. Image data output from the other output terminal of the distribution unit 103 is input to the IC 100 ′ via an input terminal (input port) 109 ′ of the IC 100 ′. As described above, in this embodiment, the image data of each frame of the moving image acquired using the image sensor 101 is alternately input to the IC 100 and the IC 100 ′.

入力端子１０９を介してＩＣ１００に入力される画像データは、ＩＣ１００内に設けられたスケーラ１１０に入力される。スケーラ１１０は、ＩＣ１００に入力される画像データの画角を、ぶれ補正処理のための余白を加味した画角に変更するためのものである。スケーラ１１０の後段には、現像部１１１が配されている。現像部１１１は、現像部１１１に入力される現像前の画像データ、即ち、ＲＡＷ画像データに対して、現像処理を行うためのものである。現像部１１１によって現像処理が施された画像データ、即ち、現像後の画像データは、メモリ１０４ａに入力される。メモリ１０４ａと、後述するメモリ１０４ｂ〜１０４ｄは、メモリ１０４の一部をそれぞれ構成するものであり、これらメモリ１０４ａ〜１０４ｄには、メモリ１０４内の個別のアドレス空間がそれぞれ割り当てられる。図２においては、煩雑になるのを防止するために、ＩＣ１００を示すボックスの内側にメモリ１０４ａ〜１０４ｄを図示しているが、実際には、メモリ１０４ａ〜１０４ｄは、ＩＣ１００の外部に位置している。また、同様に、メモリ１０４ａ′〜１０４ｄ′は、実際には、ＩＣ１００′の外部に位置している。なお、メモリ１０４がＩＣ１００に内蔵されていてもよいし、メモリ１０４′がＩＣ１００′に内蔵されていてもよい。   Image data input to the IC 100 via the input terminal 109 is input to a scaler 110 provided in the IC 100. The scaler 110 is for changing the angle of view of the image data input to the IC 100 to an angle of view that includes a margin for blur correction processing. A development unit 111 is arranged at the subsequent stage of the scaler 110. The development unit 111 is for performing development processing on the image data before development input to the development unit 111, that is, RAW image data. Image data that has been subjected to development processing by the development unit 111, that is, image data after development is input to the memory 104a. A memory 104a and memories 104b to 104d, which will be described later, constitute a part of the memory 104, and individual address spaces in the memory 104 are assigned to the memories 104a to 104d, respectively. In FIG. 2, in order to prevent complication, the memories 104 a to 104 d are illustrated inside the box indicating the IC 100, but in reality, the memories 104 a to 104 d are located outside the IC 100. Yes. Similarly, the memories 104a ′ to 104d ′ are actually located outside the IC 100 ′. Note that the memory 104 may be built in the IC 100, or the memory 104 'may be built in the IC 100'.

現像後の画像データは、メモリ１０４ａから出力され、ぶれ補正部１１３に入力されるようになっている。ぶれ補正部１１３は、手ぶれ等による像ぶれを補正するとともに、スケーラ１１０によって変更された画角を変更前の画角に戻すためのものである。ぶれ補正部１１３によってぶれ補正処理が施された画像データは、スケーラ１１４に入力される。スケーラ１１４は、表示部１３０の規格に適合するように画像データの解像度（画素数）を変換するためのものである。スケーラ１１４から出力される画像は、処理部１１５に入力されるようになっている。処理部１１５は、スケーラ１１４から出力される画像データに対し、撮影アシスト情報等を付加するためのものである。処理部１１５によって撮影アシスト情報等が付加された画像データは、メモリ１０４ｂに入力されるようになっている。メモリ１０４ｂは、表示部１３０のクロックに同期するように画像データを出力する。メモリ１０４ｂから出力される画像データは、処理部１１７に入力されるようになっている。処理部１１７は、表示部１３０への出力のフォーマットに適合するように画像データの形式を変換する、即ち、表示用の画像データを生成するためのものである。処理部１１７から出力される画像データは、ＩＣ１００の出力端子（出力ポート）１１８を介して表示部１３０に出力される。表示部１３０としては、例えば、画像処理装置１０の背面や電子ビューファインダ等に設けられた液晶パネルや有機ＥＬパネル等が挙げられる。   The developed image data is output from the memory 104 a and input to the blur correction unit 113. The blur correction unit 113 corrects image blur due to camera shake and the like, and returns the angle of view changed by the scaler 110 to the angle of view before the change. The image data that has been subjected to the shake correction process by the shake correction unit 113 is input to the scaler 114. The scaler 114 is for converting the resolution (number of pixels) of image data so as to conform to the standard of the display unit 130. An image output from the scaler 114 is input to the processing unit 115. The processing unit 115 is for adding shooting assist information or the like to the image data output from the scaler 114. Image data to which shooting assist information or the like is added by the processing unit 115 is input to the memory 104b. The memory 104b outputs the image data so as to be synchronized with the clock of the display unit 130. The image data output from the memory 104b is input to the processing unit 117. The processing unit 117 converts the format of the image data so as to conform to the format of the output to the display unit 130, that is, generates image data for display. Image data output from the processing unit 117 is output to the display unit 130 via an output terminal (output port) 118 of the IC 100. Examples of the display unit 130 include a liquid crystal panel and an organic EL panel provided on the back surface of the image processing apparatus 10 and an electronic viewfinder.

ぶれ補正部１１３によってぶれ補正が施された画像は、メモリ１０４ｃにも入力されるようになっている。メモリ１０４ｃは、例えば、ライン出力系のクロックに同期するように画像データを出力する。メモリ１０４ｃから出力される画像データは、スケーラ１２０に入力されるようになっている。スケーラ１２０は、ライン出力の伝送フォーマットに適合するように画像データを変換する、即ち、ライン出力用の画像データを生成するためのものである。スケーラ１２０の後段には、スイッチ１２７が配されている。スイッチ１２７は、出力端子（出力ポート）１２１から出力される画像データを切り替えるためのものである。スケーラ１２０から出力される画像データが出力端子１２１に達するようにスイッチ１２７を設定した場合には、スケーラ１２０から出力される画像データが出力端子１２１を介してＩＣ１００の外部に出力される。一方、メモリ１０４ｂから出力される画像データが出力端子１２１に達するようにスイッチ１２７を設定した場合には、メモリ１０４ｂから出力される画像データが出力端子１２１を介してＩＣ１００の外部に出力される。出力端子１２１は、ライン出力端子１３２に接続されている。出力端子１２１を介して出力される画像データは、ライン出力端子１３２を介して画像処理装置１０の外部に出力される。ライン出力端子１３２としては、ＨＤＭＩ（登録商標）端子やＳＤＩ端子等が挙げられる。   The image subjected to the shake correction by the shake correction unit 113 is also input to the memory 104c. The memory 104c, for example, outputs image data so as to be synchronized with a line output system clock. The image data output from the memory 104c is input to the scaler 120. The scaler 120 converts image data so as to conform to the transmission format of line output, that is, generates image data for line output. A switch 127 is disposed downstream of the scaler 120. The switch 127 is for switching image data output from the output terminal (output port) 121. When the switch 127 is set so that the image data output from the scaler 120 reaches the output terminal 121, the image data output from the scaler 120 is output to the outside of the IC 100 via the output terminal 121. On the other hand, when the switch 127 is set so that the image data output from the memory 104 b reaches the output terminal 121, the image data output from the memory 104 b is output to the outside of the IC 100 via the output terminal 121. The output terminal 121 is connected to the line output terminal 132. Image data output via the output terminal 121 is output to the outside of the image processing apparatus 10 via the line output terminal 132. Examples of the line output terminal 132 include an HDMI (registered trademark) terminal and an SDI terminal.

メモリ１０４ｃから出力される画像データは、コーデック（ＣＯＤＥＣ：ＣＯｄｅｒ／ＤＥＣｏｄｅｒ）１２２にも入力されるようになっている。コーデック１２２は、Ｉフレームの画像データを生成する。コーデック１２２から出力される画像データは、ストリームバッファとして機能するメモリ１０４ｄに入力される。メモリ１０４ｄから出力される画像データは、出力端子１２４（出力ポート）を介してＩＣ１００の外部に出力され、合成部（合成手段）１２９に入力される。合成部１２９としては、例えばＤＳＰが用いられる。   The image data output from the memory 104c is also input to a codec (CODEC: COder / DEcoder) 122. The codec 122 generates I frame image data. The image data output from the codec 122 is input to the memory 104d that functions as a stream buffer. The image data output from the memory 104d is output to the outside of the IC 100 via the output terminal 124 (output port) and input to the combining unit (synthesizing unit) 129. For example, a DSP is used as the combining unit 129.

ＩＣ１００には、例えばＩＣ１００′との間でのネゴシエーションを行うためのネゴシエーション部１２５が設けられている。これにより、例えば、ＩＣ１００′からＩＣ１００への画像データの転送を所定のタイミングで行うことが可能となっている。ネゴシエーション部１２５は、メモリ１０４との間のネゴシエーション、即ち、メモリ１０４に対する制御をも行う。ＩＣ１００には、例えばＩＣ１００′からの画像データを入力するための入力端子（入力ポート）１２６が設けられている。入力端子１２６の後段には、スイッチ１２８が配されている。スイッチ１２８は、入力端子１２６を介してＩＣ１００に入力される画像データの経路を切り替えるためのものである。入力端子１２６を介して入力される画像データがメモリ１０４ｂに達するようにスイッチ１２８が設定された場合には、ＩＣ１００′からの画像信号が入力端子１２６とスイッチ１２８とを経由してメモリ１０４ｂに入力される。一方、入力端子１２６を介して入力される画像データがメモリ１０４ｃに達するようにスイッチ１２８が設定された場合には、ＩＣ１００′からの画像データが入力端子１２６とスイッチ１２８とを経由してメモリ１０４ｃに入力される。   The IC 100 is provided with a negotiation unit 125 for performing negotiation with the IC 100 ′, for example. Thereby, for example, it is possible to transfer image data from the IC 100 ′ to the IC 100 at a predetermined timing. The negotiation unit 125 also performs negotiation with the memory 104, that is, controls the memory 104. The IC 100 is provided with an input terminal (input port) 126 for inputting image data from the IC 100 ′, for example. A switch 128 is disposed following the input terminal 126. The switch 128 is for switching the path of image data input to the IC 100 via the input terminal 126. When the switch 128 is set so that the image data input via the input terminal 126 reaches the memory 104b, the image signal from the IC 100 'is input to the memory 104b via the input terminal 126 and the switch 128. Is done. On the other hand, when the switch 128 is set so that the image data input through the input terminal 126 reaches the memory 104c, the image data from the IC 100 'passes through the input terminal 126 and the switch 128 to the memory 104c. Is input.

ＩＣ１００′としては、例えば、ＩＣ１００と同様のＩＣが用いられている。従って、ＩＣ１００′の各構成要素は、ＩＣ１００の各構成要素と同様となっている。ＩＣ１００′においては、各構成要素を示す符号の末尾に“′”が付されている。なお、ここでは、ＩＣ１００′として、ＩＣ１００と同様のＩＣを用いる場合を例に説明するが、これに限定されるものではなく、ＩＣ１００とＩＣ１００′とが同様のＩＣでなくてもよい。   For example, an IC similar to the IC 100 is used as the IC 100 ′. Accordingly, each component of the IC 100 ′ is the same as each component of the IC 100. In the IC 100 ′, “′” is appended to the end of the reference numerals indicating the components. Here, the case where an IC similar to the IC 100 is used as the IC 100 ′ will be described as an example. However, the present invention is not limited to this, and the IC 100 and the IC 100 ′ may not be the same IC.

ＩＣ１００′の出力端子１２１′とＩＣ１００の入力端子１２６が電気的に接続されている。ＩＣ１００′の出力端子１２１′から出力される画像データは、ＩＣ１００の入力端子１２６に入力される。ＩＣ１００の出力端子１２４は、合成部１２９の一方の入力端子に接続されている。また、ＩＣ１００′の出力端子１２４′は、合成部１２９の他方の入力端子に接続されている。ＩＣ１００′の出力端子１２４′から出力される記録用の画像データは、ＩＣ１００を経由することなく、合成部１２９に入力される。合成部１２９は、ＩＣ１００から出力される画像データとＩＣ１００′から出力される画像データとが交互に位置するような動画像データを生成し、生成した動画像データ、即ち、記録用の動画像データを記録媒体１３１に記録する。記録媒体１３１としては、例えばフラッシュメモリ等が用いられる。   The output terminal 121 ′ of the IC 100 ′ and the input terminal 126 of the IC 100 are electrically connected. Image data output from the output terminal 121 ′ of the IC 100 ′ is input to the input terminal 126 of the IC 100. The output terminal 124 of the IC 100 is connected to one input terminal of the synthesis unit 129. The output terminal 124 ′ of the IC 100 ′ is connected to the other input terminal of the combining unit 129. The recording image data output from the output terminal 124 ′ of the IC 100 ′ is input to the combining unit 129 without passing through the IC 100. The synthesizing unit 129 generates moving image data in which the image data output from the IC 100 and the image data output from the IC 100 ′ are alternately positioned, and the generated moving image data, that is, moving image data for recording. Is recorded on the recording medium 131. For example, a flash memory or the like is used as the recording medium 131.

ＩＣ１００′は、入力端子１０９′を介して入力される画像データに対して所定の画像処理を行うことにより、ライン出力用の画像データと、表示用の画像データとを生成する。そして、こうして取得されたライン出力用の画像データと表示用の画像データとが、出力端子１２１′を介してＩＣ１００′からＩＣ１００に順次送信、即ち、交互に送信される。一方、ＩＣ１００は、入力端子１０９を介して入力される画像データに対して所定の画像処理を行うことにより、ライン出力用の画像データと、表示用の画像データとを生成する。ＩＣ１００は、ＩＣ１００′による画像処理によって生成されたライン出力用の画像データと、ＩＣ１００による画像処理によって生成されたライン出力用の画像データとを、出力端子１２１を介して交互に出力する。これにより、ライン出力用の動画像データが、ライン出力端子１３２を介して画像処理装置１０の外部に出力される。また、ＩＣ１００は、ＩＣ１００′による画像処理によって生成された表示用の画像データと、ＩＣ１００による画像処理によって生成された表示用の画像データとを、出力端子１１８を介して交互に出力する。これにより、表示用の動画像データが、表示部１３０に供給される。   The IC 100 ′ generates image data for line output and image data for display by performing predetermined image processing on the image data input via the input terminal 109 ′. Then, the image data for line output and the image data for display obtained in this way are sequentially transmitted from the IC 100 ′ to the IC 100 via the output terminal 121 ′, that is, alternately transmitted. On the other hand, the IC 100 performs predetermined image processing on the image data input via the input terminal 109, thereby generating line output image data and display image data. The IC 100 alternately outputs line output image data generated by the image processing by the IC 100 ′ and line output image data generated by the image processing by the IC 100 via the output terminal 121. As a result, moving image data for line output is output to the outside of the image processing apparatus 10 via the line output terminal 132. Further, the IC 100 alternately outputs the display image data generated by the image processing by the IC 100 ′ and the display image data generated by the image processing by the IC 100 via the output terminal 118. Thereby, moving image data for display is supplied to the display unit 130.

このように、本実施形態による画像処理装置は、動画像データに対する画像処理をＩＣ１００とＩＣ１００′とで分散して行う。   As described above, the image processing apparatus according to the present embodiment performs image processing on moving image data in a distributed manner by the IC 100 and the IC 100 ′.

ここで、参考例による画像処理装置について以下に説明する。参考例による画像処理装置は、２つのＩＣ１００，１００′を用いるのではなく、１つのＩＣ１００によって動画像データに対する画像処理を行うものである。参考例による画像処理装置では、図１，図２に示す構成要素のうちのＩＣ１００′とメモリ１０４′とが設けられていない。参考例による画像処理装置では、アナログフロントエンド１０２からの出力がＤＳＰ１０３を介してＩＣ１００の入力端子１０９に入力される。また、参考例による画像処理装置では、出力端子１２４から出力される動画像データがＤＳＰ１２９を介して記録媒体１３１に記録される。参考例による画像処理装置では、ＩＣ１００の入力端子１２６には、ＩＣ１００′からの信号は入力されず、スイッチ１２８は設けられていない。   Here, an image processing apparatus according to a reference example will be described below. The image processing apparatus according to the reference example does not use two ICs 100 and 100 ′ but performs image processing on moving image data by using one IC 100. In the image processing apparatus according to the reference example, the IC 100 ′ and the memory 104 ′ among the components shown in FIGS. 1 and 2 are not provided. In the image processing apparatus according to the reference example, the output from the analog front end 102 is input to the input terminal 109 of the IC 100 via the DSP 103. In the image processing apparatus according to the reference example, moving image data output from the output terminal 124 is recorded on the recording medium 131 via the DSP 129. In the image processing apparatus according to the reference example, the signal from the IC 100 ′ is not input to the input terminal 126 of the IC 100, and the switch 128 is not provided.

メモリ１０４に対して入出力される信号（画像データ）は、フォーマットがＹＵＶ４：２：２の１６ｂｉｔの色差信号とする。メモリ１０４の帯域幅、即ち、メモリ帯域幅は、６６６Ｍｂｐｓ×３２ｂｉｔ×２＝４２．６Ｇｂｐｓとする。メモリ帯域幅の５０％がコーデック１２２による処理、即ち、コーデック処理によって占有されると仮定すると、コーデック処理以外の処理において用い得るメモリ帯域幅は、２１．３Ｇｂｐｓである。コーデック処理以外の処理において用い得るメモリ帯域幅のうちの４０％が、撮影アシスト機能やＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）に用いられると仮定する。そうすると、コーデック処理、撮影アシスト機能、及び、ＧＵＩ以外の処理に用い得るメモリ帯域幅は、２１．３×０．６＝１２．８Ｇｂｐｓとなる。   A signal (image data) input / output to / from the memory 104 is a 16-bit color difference signal whose format is YUV 4: 2: 2. The bandwidth of the memory 104, that is, the memory bandwidth is 666 Mbps × 32 bits × 2 = 42.6 Gbps. Assuming that 50% of the memory bandwidth is occupied by processing by the codec 122, that is, codec processing, the memory bandwidth that can be used in processing other than codec processing is 21.3 Gbps. It is assumed that 40% of the memory bandwidth that can be used in processes other than the codec process is used for the photographing assist function and GUI (Graphical User Interface). Then, the memory bandwidth that can be used for processing other than the codec processing, the photographing assist function, and the GUI is 21.3 × 0.6 = 12.8 Gbps.

ここでは、記録媒体１３１に記録される動画像データ、即ち、記録用の画像データは、画素数が横１９２０×縦１０８０ピクセル、フレーム周波数が６０Ｈｚとする。また、ライン出力端子１３２を介して出力される動画像データ、即ち、ライン出力用の画像データは、記録用の画像データと同様に、画素数が１９２０×１０８０ピクセル、フレーム周波数が６０Ｈｚとする。１９２０×１０８０ピクセル、フレーム周波数６０Ｈｚの動画像のビットレートは、２Ｍ×６０×１６＝２Ｇｂｐｓである。表示部１３０への出力のフォーマットは、例えば、ワイドＶＧＡ＋（ＷＶＧＡ＋：Ｗｉｄｅ Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ ｐｌｕｓ）とし、画素数は８５４×４８０ピクセルとし、フレーム周波数は６０Ｈｚとする。   Here, the moving image data recorded on the recording medium 131, that is, the image data for recording, has a pixel number of 1920 × 1080 pixels and a frame frequency of 60 Hz. Also, the moving image data output via the line output terminal 132, that is, the image data for line output, has the number of pixels of 1920 × 1080 pixels and the frame frequency of 60 Hz, similarly to the image data for recording. The bit rate of a moving image having 1920 × 1080 pixels and a frame frequency of 60 Hz is 2M × 60 × 16 = 2 Gbps. The format of the output to the display unit 130 is, for example, wide VGA + (WVGA +: Wide Video Graphics Array plus), the number of pixels is 854 × 480 pixels, and the frame frequency is 60 Hz.

撮像素子１０１から出力されるアナログの電気信号は、アナログフロントエンド１０２によって、デジタルの信号に変換される。アナログフロントエンド１０２から出力されるデジタルの信号は、ＤＳＰ１０３を介してＩＣ１００に伝送される。ＩＣ１００に入力される画像データは、スケーラ１１０に入力される。スケーラ１１０は、ＩＣ１００に入力される画像データの画角を、ぶれ補正処理のための余白を加味した画角に変更する。スケーラ１１０に入力される画像データは、例えば１．５倍のサイズの画像データに変換される。スケーラ１１０に入力される画像データが例えば２メガピクセル（１９２０×１０８０ピクセル）の画像データである場合には、かかる画像データは、スケーラ１１０によって、例えば３メガバイト（２８８０×１６２０ピクセル）の画像データに変換される。現像部１１１は、スケーラ１１０によって画角が変換された画像データに対して現像処理を行う。かかる現像処理においては、例えばホワイトバランスの調整等が行われる。現像部１１１によって現像処理が施された画像データは、メモリ１０４ａを介してぶれ補正部１１３に入力される。ぶれ補正部１１３に入力された画像データは、ぶれ補正部１１３によってぶれ補正が施されるとともに、元の画角に戻される。従って、ぶれ補正部１１３から出力される画像データのサイズは、例えば２メガピクセルとなる。   An analog electrical signal output from the image sensor 101 is converted into a digital signal by the analog front end 102. A digital signal output from the analog front end 102 is transmitted to the IC 100 via the DSP 103. Image data input to the IC 100 is input to the scaler 110. The scaler 110 changes the angle of view of the image data input to the IC 100 to an angle of view that includes a margin for blur correction processing. The image data input to the scaler 110 is converted into image data having a size of 1.5 times, for example. When the image data input to the scaler 110 is, for example, image data of 2 megapixels (1920 × 1080 pixels), the image data is converted to image data of, for example, 3 megabytes (2880 × 1620 pixels) by the scaler 110. Converted. The developing unit 111 performs development processing on the image data whose angle of view has been converted by the scaler 110. In such development processing, for example, white balance is adjusted. The image data that has been developed by the developing unit 111 is input to the blur correction unit 113 via the memory 104a. The image data input to the shake correction unit 113 is subjected to shake correction by the shake correction unit 113 and returned to the original angle of view. Therefore, the size of the image data output from the blur correction unit 113 is, for example, 2 megapixels.

ぶれ補正部１１３から出力される画像データは、スケーラ１１４に入力される。スケーラ１１４に入力された画像データは、スケーラ１１４によって表示用の解像度（画素数）に変換され、処理部１１５に入力される。処理部１１５に入力された画像データには、処理部１１５によってピーキング表示やゼブラ表示等の撮影アシスト情報が付加される。ピーキング表示とは、ピントが合った部分の輪郭を強調表示するものであり、これによって、ピントが合っている位置を視認しやすくすることが可能となる。ゼブラ表示とは、輝度の高い部分のみに縞状の模様を付すものであり、ユーザが明るさを調整する際の目安となり、白とびの防止に寄与するものである。処理部１１５によって撮影アシスト情報が付加された画像データは、メモリ１０４ｂを介して、処理部１１７に入力される。処理部１１７に入力された画像データは、表示部１３０への出力のフォーマットに適合するように変換され、出力端子１１８を介して表示部１３０に出力される。   Image data output from the shake correction unit 113 is input to the scaler 114. The image data input to the scaler 114 is converted into display resolution (number of pixels) by the scaler 114 and input to the processing unit 115. Shooting assist information such as peaking display or zebra display is added to the image data input to the processing unit 115 by the processing unit 115. In the peaking display, the outline of the focused part is highlighted, and this makes it possible to easily recognize the focused position. Zebra display is a method in which a striped pattern is added only to a portion with high luminance, which serves as a guide when a user adjusts brightness and contributes to prevention of overexposure. The image data to which shooting assist information is added by the processing unit 115 is input to the processing unit 117 via the memory 104b. The image data input to the processing unit 117 is converted so as to conform to the format of the output to the display unit 130 and is output to the display unit 130 via the output terminal 118.

ぶれ補正部１１３から出力される画像データは、メモリ１０４ｃを介して、スケーラ１２０にも入力される。スケーラ１２０における変換倍率は、例えば等倍に設定される。スケーラ１２０から出力される画像データは、出力端子１２１を介してＩＣ１００の外部に出力され、ライン出力端子１３２を介して参考例による画像処理装置の外部に出力される。   The image data output from the blur correction unit 113 is also input to the scaler 120 via the memory 104c. The conversion magnification in the scaler 120 is set to, for example, equal magnification. Image data output from the scaler 120 is output to the outside of the IC 100 through the output terminal 121 and output to the outside of the image processing apparatus according to the reference example through the line output terminal 132.

また、ぶれ補正部１１３から出力される画像データは、メモリ１０４ｃを介してコーデック１２２に入力される。コーデック１２２に入力された画像データは、記録媒体１３１への記録のフォーマットに適合するようにコーデック１２２によって変換される。そして、コーデック１２２から出力された画像データは、ストリームバッファとして機能するメモリ１０４ｄを介し、出力端子１２４を介してＩＣ１００の外部に出力される。出力端子１２４を介してＩＣ１００の外部に出力された画像データは、ＤＳＰ１２９を介して記録媒体１３１に記録される。例えば、画素数が１９２０×１０８０ピクセルであり、フレーム周波数が６０Ｈｚである画像データが記録媒体１３１に記録される。   Further, the image data output from the blur correction unit 113 is input to the codec 122 via the memory 104c. The image data input to the codec 122 is converted by the codec 122 so as to conform to the format of recording on the recording medium 131. The image data output from the codec 122 is output to the outside of the IC 100 via the output terminal 124 via the memory 104d functioning as a stream buffer. Image data output to the outside of the IC 100 via the output terminal 124 is recorded on the recording medium 131 via the DSP 129. For example, image data having a pixel number of 1920 × 1080 pixels and a frame frequency of 60 Hz is recorded on the recording medium 131.

参考例による画像処理装置における各部のビットレートは、例えば以下の通りとなる。即ち、スケーラ１１０からぶれ補正部１１３までにおけるビットレートＢＲ１０１は、例えば３Ｍ×６０×１６≒３Ｇｂｐｓとなる。ぶれ補正部１１３からスケーラ１１４までにおけるビットレートＢＲ１０２は、例えば２Ｍ×６０×１６≒２Ｇｂｐｓとなる。スケーラ１１４から出力端子１１８までにおけるビットレートＢＲ１０３は、例えば０．４Ｍ×６０×１６≒０．４Ｇｂｐｓとなる。スケーラ１２０から出力端子１２１までにおけるビットレートＢＲ１０４は、例えば２Ｍ×６０×１６≒２Ｇｂｐｓとなる。メモリ１０４ｃから出力端子１２４までにおけるビットレートＢＲ１０５は、２Ｍ×６０×１６≒２Ｇｂｐｓとなる。   For example, the bit rate of each unit in the image processing apparatus according to the reference example is as follows. That is, the bit rate BR101 from the scaler 110 to the blur correction unit 113 is, for example, 3M × 60 × 16≈3 Gbps. The bit rate BR102 from the blur correction unit 113 to the scaler 114 is, for example, 2M × 60 × 16≈2 Gbps. The bit rate BR103 from the scaler 114 to the output terminal 118 is, for example, 0.4M × 60 × 16≈0.4 Gbps. The bit rate BR104 from the scaler 120 to the output terminal 121 is, for example, 2M × 60 × 16≈2 Gbps. The bit rate BR105 from the memory 104c to the output terminal 124 is 2M × 60 × 16≈2 Gbps.

参考例による画像処理装置の各部のビットレートが上記のようになっている場合には、参考例による画像処理装置の各部において使用されるメモリ帯域幅は、以下の通りとなる。即ち、メモリ１０４ａにおいて使用される帯域幅は、ＢＲ１０１×２＝６Ｇｂｐｓとなる。また、メモリ１０４ｂにおいて使用される帯域幅は、ＢＲ１０３×２＝０．８Ｇｂｐｓとなる。メモリ１０４ｃにおいて使用される帯域幅は、ＢＲ１０２＋ＢＲ１０４＋ＢＲ１０５＝６Ｇｂｐｓとなる。従って、参考例による画像処理装置においては、メモリ１０４ａ、１０４ｂ、１０４ｃにおいて使用される帯域幅は、６Ｇｂｐｓ＋０．８Ｇｂｐｓ＋６Ｇｂｐｓ＝１２．８Ｇｂｐｓとなる。   When the bit rate of each part of the image processing apparatus according to the reference example is as described above, the memory bandwidth used in each part of the image processing apparatus according to the reference example is as follows. That is, the bandwidth used in the memory 104a is BR101 × 2 = 6 Gbps. The bandwidth used in the memory 104b is BR103 × 2 = 0.8 Gbps. The bandwidth used in the memory 104c is BR102 + BR104 + BR105 = 6 Gbps. Therefore, in the image processing apparatus according to the reference example, the bandwidth used in the memories 104a, 104b, and 104c is 6 Gbps + 0.8 Gbps + 6 Gbps = 12.8 Gbps.

上述したように、参考例による画像処理装置において、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用い得るメモリ帯域幅は、１２．８Ｇｂｐｓである。従って、この場合には、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用い得るメモリ帯域幅のうちの１００．０％が、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用いられることとなる。このように、参考例による画像処理装置は、上記のような画素数の画像データであれば、処理することが可能である。   As described above, in the image processing apparatus according to the reference example, the memory bandwidth that can be used for processes other than the codec process, the shooting assist function, and the GUI is 12.8 Gbps. Therefore, in this case, 100.0% of the memory bandwidth that can be used for processing other than the codec processing, shooting assist function, and GUI is used for processing other than the codec processing, shooting assist function, and GUI. . As described above, the image processing apparatus according to the reference example can process the image data having the number of pixels as described above.

ここで、以下のような高解像度の画像データを参考例による画像処理装置によって処理し得るか否かについて検討する。ここでは、記録媒体１３１に記録される動画像データは、画素数が横４０９６×縦２１６０ピクセルであり、フレーム周波数が２４Ｈｚであるものとする。また、ライン出力用の画像データは、画素数が１９２０×１０８０ピクセルであり、フレーム周波数が２４Ｈｚであるものとする。また、表示用の出力のフォーマットは、ＷＶＧＡ＋であるものとする。即ち、表示用の動画像データは、画素数が８５４×４８０ピクセルであり、フレーム周波数が２４Ｈｚであるものとする。   Here, it is examined whether or not the following high-resolution image data can be processed by the image processing apparatus according to the reference example. Here, it is assumed that the moving image data recorded on the recording medium 131 has a pixel number of 4096 × 2160 pixels and a frame frequency of 24 Hz. Further, it is assumed that the image data for line output has 1920 × 1080 pixels and a frame frequency of 24 Hz. The display output format is assumed to be WVGA +. That is, it is assumed that the moving image data for display has a number of pixels of 854 × 480 pixels and a frame frequency of 24 Hz.

この場合、参考例による画像処理装置における各部のビットレートは、例えば以下の通りとなる。即ち、スケーラ１１０からぶれ補正部１１３までにおけるビットレートＢＲ１０１は、例えば１３．３Ｍ×２４×１６≒５．１Ｇｂｐｓとなる。ぶれ補正部１１３からスケーラ１１４までにおけるビットレートＢＲ１０２は、例えば８．８Ｍ×２４×１６≒３．４Ｇｂｐｓとなる。スケーラ１１４から出力端子１１８までにおけるビットレートＢＲ１０３は、例えば０．４Ｍ×２４×１６≒０．２Ｇｂｐｓとなる。スケーラ１２０から出力端子１２１までにおけるビットレートＢＲ１０４は、例えば２Ｍ×２４×１６≒０．８Ｇｂｐｓとなる。メモリ１０４ｃから出力端子１２４までにおけるビットレートＢＲ１０５は、例えば８．８Ｍ×２４×１６≒３．４Ｇｂｐｓとなる。   In this case, the bit rate of each part in the image processing apparatus according to the reference example is as follows, for example. That is, the bit rate BR101 from the scaler 110 to the blur correction unit 113 is, for example, 13.3M × 24 × 16≈5.1 Gbps. The bit rate BR102 from the blur correction unit 113 to the scaler 114 is, for example, 8.8M × 24 × 16≈3.4 Gbps. The bit rate BR103 from the scaler 114 to the output terminal 118 is, for example, 0.4M × 24 × 16≈0.2 Gbps. The bit rate BR104 from the scaler 120 to the output terminal 121 is, for example, 2M × 24 × 16≈0.8 Gbps. The bit rate BR105 from the memory 104c to the output terminal 124 is, for example, 8.8M × 24 × 16≈3.4 Gbps.

参考例による画像処理装置の各部におけるビットレートが上記のようになっている場合には、参考例による画像処理装置の各部において使用されるメモリ帯域幅は、以下の通りとなる。即ち、メモリ１０４ａにおいて使用される帯域幅は、ＢＲ１０１×２＝１０．２Ｇｂｐｓとなる。また、メモリ１０４ｂにおいて使用される帯域幅は、ＢＲ１０３×２＝０．４Ｇｂｐｓとなる。メモリ１０４ｃにおいて使用される帯域幅は、ＢＲ１０２＋ＢＲ１０４＋ＢＲ１０５＝７．６Ｇｂｐｓとなる。従って、メモリ１０４ａ、１０４ｂ、１０４ｃにおいて使用される帯域幅は、１０．２Ｇｂｐｓ＋０．４Ｇｂｐｓ＋７．６Ｇｂｐｓ＝１８．２Ｇｂｐｓとなる。   When the bit rate in each part of the image processing apparatus according to the reference example is as described above, the memory bandwidth used in each part of the image processing apparatus according to the reference example is as follows. That is, the bandwidth used in the memory 104a is BR101 × 2 = 10.2 Gbps. The bandwidth used in the memory 104b is BR103 × 2 = 0.4 Gbps. The bandwidth used in the memory 104c is BR102 + BR104 + BR105 = 7.6 Gbps. Therefore, the bandwidth used in the memories 104a, 104b, and 104c is 10.2 Gbps + 0.4 Gbps + 7.6 Gbps = 18.2 Gbps.

上述したように、参考例による画像処理装置において、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用い得るメモリ帯域幅は、１２．８Ｇｂｐｓである。従って、この場合には、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用い得るメモリ帯域幅のうちの例えば１４２．２％が、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用いられる。従って、上記のような画素数及びフレーム周波数の動画像に対しては、参考例による画像処理装置は所望の画像処理を行い得ない。   As described above, in the image processing apparatus according to the reference example, the memory bandwidth that can be used for processes other than the codec process, the shooting assist function, and the GUI is 12.8 Gbps. Therefore, in this case, for example, 142.2% of the memory bandwidth that can be used for processing other than codec processing, shooting assist function, and GUI is used for processing other than codec processing, shooting assist function, and GUI. Therefore, the image processing apparatus according to the reference example cannot perform desired image processing on the moving image having the number of pixels and the frame frequency as described above.

次に、上記のような高解像度の画像データを本実施形態による画像処理装置によって処理し得るか否かについて検討する。記録媒体１３１に記録される動画像データ、即ち、記録用の画像データは、上記と同様に、画素数が４０９６×２１６０ピクセルであり、フレーム周波数が２４Ｈｚであるものとする。また、ライン出力用の画像データは、上記と同様に、画素数が１９２０×１０８０ピクセルであり、フレーム周波数が２４Ｈｚであるものとする。また、表示用の出力のフォーマットは、上記と同様に、ＷＶＧＡ＋であるものとする。即ち、表示用の動画像データは、上記と同様に、画素数が８５４×４８０ピクセルであり、フレーム周波数が２４Ｈｚであるものとする。このように、記録用の画像データと、ライン出力用の画像データと、表示用の画像データとは、フォーマットが互いに異なっている。   Next, it will be examined whether or not high resolution image data as described above can be processed by the image processing apparatus according to the present embodiment. Similarly to the above, the moving image data recorded on the recording medium 131, that is, the image data for recording is assumed to have 4096 × 2160 pixels and a frame frequency of 24 Hz. Also, the image data for line output is assumed to have 1920 × 1080 pixels and a frame frequency of 24 Hz, as described above. The display output format is assumed to be WVGA + as described above. That is, the moving image data for display is assumed to have a number of pixels of 854 × 480 pixels and a frame frequency of 24 Hz, as described above. In this way, the recording image data, the line output image data, and the display image data have different formats.

撮像素子１０１を用いて順次取得される動画像データは、アナログフロントエンド１０２を介して、振り分け部１０３に入力される。振り分け部１０３に入力される動画像データは、例えば、画素数が４０９６×２１６０ピクセルであり、フレーム周波数が２４Ｈｚである。振り分け部１０３に入力される動画像データの各々のフレームは、ＩＣ（メインＩＣ）１００と、ＩＣ（サブＩＣ）１００′とに交互に振り分けられる。２つのＩＣ１００、１００′に画像データが交互に振り分けられるため、ＩＣ１００と１００′とにそれぞれ入力される動画像データのフレーム周波数は、それぞれ例えば１２Ｈｚとなる。即ち、ＩＣ１００と１００′とにそれぞれ入力される動画像データのフレームレートは、撮像素子１０１を用いて取得される動画像データのフレームレートの２分の１となる。４０９６×２１６０ピクセル、フレーム周波数１２Ｈｚの動画データのビットレートは、８．８Ｍ×１２×１６＝１．７Ｇｂｐｓである。   The moving image data sequentially acquired using the image sensor 101 is input to the distribution unit 103 via the analog front end 102. The moving image data input to the distribution unit 103 has, for example, a pixel count of 4096 × 2160 pixels and a frame frequency of 24 Hz. Each frame of moving image data input to the distribution unit 103 is alternately distributed to an IC (main IC) 100 and an IC (sub IC) 100 ′. Since the image data is alternately distributed to the two ICs 100 and 100 ′, the frame frequency of the moving image data input to each of the ICs 100 and 100 ′ is, for example, 12 Hz. That is, the frame rate of moving image data input to each of the ICs 100 and 100 ′ is one half of the frame rate of moving image data acquired using the image sensor 101. The bit rate of moving image data with 4096 × 2160 pixels and a frame frequency of 12 Hz is 8.8M × 12 × 16 = 1.7 Gbps.

ＩＣ１００′側においては、振り分け部１０３によって振り分けられた画像データが入力端子１０９′を介してスケーラ１１０′に入力される。入力端子１０９′を介してＩＣ１００′に入力される画像データの画素数は、上述したように、４０９６×２１６０ピクセルである。かかる画像データのフレーム周波数は、上述したように、２４Ｈｚの半分の１２Ｈｚである。スケーラ１１０′に入力された画像データは、スケーラ１１０′によって画角が変更される。具体的には、スケーラ１１０′から出力される画像データのサイズは、８．８Ｍ×１．５＝１３．３メガピクセルとなる。スケーラ１１０′から出力される画像データは、現像部１１１′に入力され、現像部１１１′によって現像処理が行われた後、メモリ１０４ａ′を介してぶれ補正部１１３′に入力される。ぶれ補正部１１３′に入力された画像データは、ぶれ補正部１１３′によってぶれ補正が施された後、画角が変更される。これにより、画像データのサイズは、８．８メガピクセルに戻される。こうして得られた画素数が４０９６×２１６０ピクセルの画像データは、メモリ１０４ｃ′に書き込まれるとともに、スケーラ１１４′に入力される。スケーラ１１４′に入力された画像データは、スケーラ１１４′によって表示用の出力のフォーマットに適合するように画素数が変換され、処理部１１５′に入力される。処理部１１５′に入力された画像データには、処理部１１５′によってピーキング表示やゼブラ表示等の撮影アシスト情報が付加され、メモリ１０４ｂ′に書き込まれる。一方、メモリ１０４ｃ′に書き込まれた画像データは、スケーラ１２０′によって画素数の変換が行われる。この場合には、画像データの画素数が、４０９６×２１６０ピクセルから１９２０×１０８０ピクセルへとスケーラ１２０′によって変換される。   On the IC 100 ′ side, the image data distributed by the distribution unit 103 is input to the scaler 110 ′ via the input terminal 109 ′. As described above, the number of pixels of the image data input to the IC 100 ′ via the input terminal 109 ′ is 4096 × 2160 pixels. As described above, the frame frequency of such image data is 12 Hz which is half of 24 Hz. The angle of view of the image data input to the scaler 110 'is changed by the scaler 110'. Specifically, the size of the image data output from the scaler 110 ′ is 8.8M × 1.5 = 13.3 megapixels. Image data output from the scaler 110 'is input to the developing unit 111', and after development processing is performed by the developing unit 111 ', the image data is input to the shake correcting unit 113' via the memory 104a '. The image data input to the shake correction unit 113 ′ is subjected to shake correction by the shake correction unit 113 ′, and then the angle of view is changed. As a result, the size of the image data is returned to 8.8 megapixels. The image data having the number of pixels of 4096 × 2160 pixels thus obtained is written into the memory 104c ′ and input to the scaler 114 ′. The number of pixels of the image data input to the scaler 114 ′ is converted by the scaler 114 ′ so as to conform to the output format for display and input to the processing unit 115 ′. The image data input to the processing unit 115 ′ is added with photographing assist information such as peaking display and zebra display by the processing unit 115 ′ and is written in the memory 104 b ′. On the other hand, the image data written in the memory 104c ′ is converted in the number of pixels by the scaler 120 ′. In this case, the number of pixels of the image data is converted from 4096 × 2160 pixels to 1920 × 1080 pixels by the scaler 120 ′.

ＩＣ１００側においても、ＩＣ１００′と同様の処理が行われる。即ち、ＩＣ１００においても、振り分け部１０３によって振り分けられた画像データが入力端子１０９を介してスケーラ１１０に入力される。入力端子１０９を介してＩＣ１００に入力される動画像データの各フレームの画素数は、上述したように、４０９６×２１６０ピクセルである。かかる動画像データのフレーム周波数は、上述したように、２４Ｈｚの半分の１２Ｈｚである。スケーラ１１０に入力された画像データは、スケーラ１１０によって画角が変更される。具体的には、スケーラ１１０から出力される画像データのサイズは、８．８Ｍ×１．５＝１３．３メガピクセルとなる。スケーラ１１０から出力される画像データは、現像部１１１に入力され、現像部１１１によって現像処理が行われた後、メモリ１０４ａを介してぶれ補正部１１３に入力される。ぶれ補正部１１３に入力された画像データは、ぶれ補正部１１３によってぶれ補正が施された後、画角が変更される。これにより、画像データのサイズは、８．８メガピクセルに戻される。こうして得られた画素数が４０９６×２１６０ピクセルの画像データは、メモリ１０４ｃに書き込まれるとともに、スケーラ１１４に入力される。スケーラ１１４に入力された画像データは、スケーラ１１４によって表示用の出力のフォーマットに適合するように画素数が変換され、処理部１１５に入力される。処理部１１５に入力された画像データには、処理部１１５によってピーキング表示やゼブラ表示等の撮影アシスト情報が付加され、メモリ１０４ｂに書き込まれる。一方、メモリ１０４ｃに書き込まれた画像データは、スケーラ１２０によって画素数の変換が行われる。この場合には、画像データの画素数が、４０９６×２１６０ピクセルから１９２０×１０８０ピクセルへとスケーラ１２０によって変換される。   On the IC 100 side, the same processing as the IC 100 ′ is performed. That is, also in the IC 100, the image data distributed by the distribution unit 103 is input to the scaler 110 via the input terminal 109. As described above, the number of pixels in each frame of the moving image data input to the IC 100 via the input terminal 109 is 4096 × 2160 pixels. As described above, the frame frequency of such moving image data is 12 Hz, which is half of 24 Hz. The angle of view of the image data input to the scaler 110 is changed by the scaler 110. Specifically, the size of the image data output from the scaler 110 is 8.8M × 1.5 = 13.3 megapixels. Image data output from the scaler 110 is input to the developing unit 111, developed by the developing unit 111, and then input to the blur correction unit 113 via the memory 104 a. The image data input to the shake correction unit 113 is subjected to shake correction by the shake correction unit 113, and then the angle of view is changed. As a result, the size of the image data is returned to 8.8 megapixels. The image data having the number of pixels of 4096 × 2160 pixels thus obtained is written into the memory 104c and input to the scaler 114. The number of pixels of the image data input to the scaler 114 is converted by the scaler 114 so as to conform to the output format for display and input to the processing unit 115. The image data input to the processing unit 115 is added with photographing assist information such as peaking display or zebra display by the processing unit 115 and is written in the memory 104b. On the other hand, the image data written in the memory 104 c is converted in the number of pixels by the scaler 120. In this case, the scaler 120 converts the number of pixels of the image data from 4096 × 2160 pixels to 1920 × 1080 pixels.

本実施形態では、上述したように、表示用の画像データと外部出力用の画像データとがＩＣ１００′からＩＣ１００に送信される。ピン数削減のため、これらの画像データをＩＣ１００′からＩＣ１００に送信するための出力端子１２１′の数は１つとされている。即ち、ＩＣ１００′の出力端子１２１′が、表示用の画像データと外部出力用の画像データとをＩＣ１００に転送する際に共用される。メモリ１０４ｂ′からの出力とスケーラ１２０′からの出力とに対し、スイッチ１２７′が例えば２４Ｈｚで交互に切り替えられる。これにより、ＩＣ１００′によって生成された表示用の画像データとライン出力用の画像データとが出力端子１２１′を介して交互に出力されることとなる。このようにして多重化された表示用の画像データとライン出力用の画像データとが、ＩＣ１００′からＩＣ１００に伝送される。なお、表示用の画像データとライン出力用の画像データとの多重化の詳細については後述することとする。   In this embodiment, as described above, the image data for display and the image data for external output are transmitted from the IC 100 ′ to the IC 100. In order to reduce the number of pins, the number of output terminals 121 ′ for transmitting these image data from the IC 100 ′ to the IC 100 is one. In other words, the output terminal 121 ′ of the IC 100 ′ is shared when the image data for display and the image data for external output are transferred to the IC 100. For example, the switch 127 'is alternately switched at 24 Hz with respect to the output from the memory 104b' and the output from the scaler 120 '. As a result, the display image data and the line output image data generated by the IC 100 ′ are alternately output via the output terminal 121 ′. The image data for display and the image data for line output multiplexed in this way are transmitted from the IC 100 ′ to the IC 100. The details of multiplexing the display image data and the line output image data will be described later.

ＩＣ１００′によって多重化された表示用の画像データとライン出力用の画像データとは、出力端子１２１′を介してＩＣ１００′から出力され、ＩＣ１００の入力端子１２６に入力される。ＩＣ１００においては、スイッチ１２８が、例えば２４Ｈｚで交互に切り替えられる。これにより、表示用の画像データとライン出力用の画像データとが、メモリ１０４ｂとメモリ１０４ｃとに交互に振り分けられる。ＩＣ１００′からＩＣ１００に送信された表示用の画像データは、ＩＣ１００のメモリ１０４ｂに格納される。一方、ＩＣ１００′からＩＣ１００に送信されたライン出力用の画像データは、ＩＣ１００のメモリ１０４ｃに格納される。メモリ１０４ｂに格納された表示用の画像データを読み出す際には、ＩＣ１００によって生成された表示用の画像データとＩＣ１００′からＩＣ１００に転送された表示用の画像データとを交互に読み出す。これによって、例えば２４Ｈｚの表示用の画像データが生成される。こうして得られた表示用の画像データは、処理部１１７及び出力端子１１８を介して表示部１３０に出力される。   The display image data and the line output image data multiplexed by the IC 100 ′ are output from the IC 100 ′ via the output terminal 121 ′ and input to the input terminal 126 of the IC 100. In the IC 100, the switches 128 are alternately switched at, for example, 24 Hz. Thus, the display image data and the line output image data are alternately distributed to the memory 104b and the memory 104c. The display image data transmitted from the IC 100 ′ to the IC 100 is stored in the memory 104 b of the IC 100. On the other hand, line output image data transmitted from the IC 100 ′ to the IC 100 is stored in the memory 104 c of the IC 100. When reading the display image data stored in the memory 104b, the display image data generated by the IC 100 and the display image data transferred from the IC 100 ′ to the IC 100 are alternately read. Thereby, for example, image data for display of 24 Hz is generated. The display image data thus obtained is output to the display unit 130 via the processing unit 117 and the output terminal 118.

メモリ１０４ｃに記憶されたライン出力用の画像データを読み出す際にも、メモリ１０４ｂに記憶された表示用の画像データを読み出す際と同様の処理が行われる。即ち、ＩＣ１００によって生成されたライン出力用の画像データとＩＣ１００′からＩＣ１００に転送されたライン出力用の画像データとを交互に読み出すことによって、フレーム周波数が２４Ｈｚのライン出力用の画像データを生成する。こうして得られたライン出力用の画像データは、スケーラ１２０によって画角の設定が行われる。この場合には、スケーラ１２０による画角の変換は行われず、スケーラ１２０に入力された画像データは等倍で出力される。スケーラ１２０から出力されるフレーム周波数が２４Ｈｚの画像データは、出力端子１２１を介してＩＣ１００の外部に出力され、ライン出力端子１３２を介して画像処理装置１０の外部に出力される。   When the line output image data stored in the memory 104c is read, the same processing as that for reading the display image data stored in the memory 104b is performed. That is, the line output image data generated by the IC 100 and the line output image data transferred from the IC 100 ′ to the IC 100 are alternately read to generate line output image data having a frame frequency of 24 Hz. . The angle of view of the line output image data obtained in this way is set by the scaler 120. In this case, the angle of view is not converted by the scaler 120, and the image data input to the scaler 120 is output at the same magnification. Image data having a frame frequency of 24 Hz output from the scaler 120 is output to the outside of the IC 100 through the output terminal 121 and output to the outside of the image processing apparatus 10 through the line output terminal 132.

図３は、本実施形態による画像処理装置の動作の概略を示す図である。図３におけるＴ００，Ｔ０１，Ｔ０２，・・・は、本実施形態による画像処理装置によって行われる画像処理における処理周期を示している。なお、図３において、“Ｔ”、“ＲＡＷ”、“Ｐａｎｅｌ”、“ＴＶ”の後に付された００，０１，０２、・・・は通し番号であり、同じ通し番号が付された画像データは互いに関連している。例えば、Ｐａｎｅｌ００、ＴＶ００は、処理周期Ｔ００において振り分け部１０３によって振り分けられる画像データＲＡＷ００に関連している。Ｐａｎｅｌ００は、画像データＲＡＷ００に対して画像処理を行うことにより得られる表示用の画像データであり、ＴＶ００は、画像データＲＡＷ００に対して画像処理を行うことにより得られるライン出力用の画像データである。なお、図３においては、煩雑になるのを避けるため、コーデック１２２，１２２′によって行われる処理については図示を省略している。なお、本願明細書においては、通し番号を特に示さずに、“Ｔ”、“ＲＡＷ”、“Ｐａｎｅｌ”、“ＴＶ”の後に“＊＊”を付すこともある。   FIG. 3 is a diagram showing an outline of the operation of the image processing apparatus according to the present embodiment. 3, T00, T01, T02,... Indicate processing cycles in image processing performed by the image processing apparatus according to the present embodiment. In FIG. 3, 00, 01, 02,... Appended after “T”, “RAW”, “Panel”, “TV” are serial numbers, and image data with the same serial number are mutually connected. Related. For example, Panel00 and TV00 are related to the image data RAW00 distributed by the distribution unit 103 in the processing cycle T00. Panel00 is display image data obtained by performing image processing on the image data RAW00, and TV00 is line output image data obtained by performing image processing on the image data RAW00. . In FIG. 3, in order to avoid complication, illustration of the processing performed by the codecs 122 and 122 ′ is omitted. In the present specification, “**” may be added after “T”, “RAW”, “Panel”, “TV” without particularly indicating the serial number.

図３の第１段目には、振り分け部１０３によって振り分けられる画像データ（ＲＡＷデータ）ＲＡＷ００，ＲＡＷ０１，・・・が示されている。図３においてドットが付されていない画像データは、ＩＣ１００′によって画像処理が行われる画像データ又はＩＣ１００′による画像処理によって生成される画像データを示している。一方、図３においてドットが付されている画像データは、ＩＣ１００によって画像処理が行われる画像データ又はＩＣ１００による画像処理によって生成される画像データを示している。   The first level of FIG. 3 shows image data (RAW data) RAW00, RAW01,... Distributed by the distribution unit 103. In FIG. 3, image data without dots is image data that is subjected to image processing by the IC 100 ′ or image data that is generated by image processing by the IC 100 ′. On the other hand, the image data with dots in FIG. 3 indicates image data that is subjected to image processing by the IC 100 or image data that is generated by image processing by the IC 100.

図３の第２段目から第５段目には、ＩＣ１００′の各部における画像データが示されている。具体的には、図３の第２段目には、ＩＣ１００′の入力端子１０９′を介してＩＣ１００′に入力される画像データＲＡＷ００，ＲＡＷ０２，・・・が示されている。図３の第３段目には、スケーラ１１４′によって解像度が変更され、処理部１１５′によって撮影アシスト情報が付加された後にメモリ１０４ｂ′に格納される表示用の画像データＰａｎｅｌ００，Ｐａｎｅｌ０２，・・・が示されている。図３の第４段目には、スケーラ１２０′によって解像度を変換することによって得られるライン出力用の画像データＴＶ００，ＴＶ０２，・・・が示されている。図３の第５段目には、ＩＣ１００′の出力端子１２１′を介して交互に出力される画像データＰａｎｅｌ００，ＴＶ００，Ｐａｎｅｌ０２，ＴＶ０２，・・・が示されている。   In the second to fifth stages of FIG. 3, image data in each part of the IC 100 ′ is shown. Specifically, the second row of FIG. 3 shows image data RAW00, RAW02,... Input to the IC 100 ′ via the input terminal 109 ′ of the IC 100 ′. 3, the resolution is changed by the scaler 114 ′, and the image assisting information is added by the processing unit 115 ′ and then the display image data Panel 00, Panel 02,... Stored in the memory 104 b ′. ·It is shown. The fourth row of FIG. 3 shows line output image data TV00, TV02,... Obtained by converting the resolution by the scaler 120 ′. The fifth row of FIG. 3 shows image data Panel00, TV00, Panel02, TV02,... That are alternately output via the output terminal 121 ′ of the IC 100 ′.

図３の第６段目から第８段目には、ＩＣ１００の各部における画像データが示されている。具体的には、図３の第６段目には、入力端子１０９を介してＩＣ１００に入力される画像データＲＡＷ０１，ＲＡＷ０３，・・・が示されている。図３の第７段目には、出力端子１１８を介してＩＣ１００の外部に出力される表示用の画像データＰａｎｅｌ００，Ｐａｎｅｌ０１，・・・が示されている。図３の第８段目には、出力端子１２１を介してＩＣ１００の外部に出力されるライン出力用の画像データＴＶ００，ＴＶ０１，・・・が示されている。   Image data in each part of the IC 100 are shown in the sixth to eighth stages in FIG. Specifically, the sixth row in FIG. 3 shows image data RAW01, RAW03,... Input to the IC 100 via the input terminal 109. The seventh row in FIG. 3 shows display image data Panel00, Panel01,... Output to the outside of the IC 100 via the output terminal 118. The eighth row in FIG. 3 shows line output image data TV00, TV01,... Output to the outside of the IC 100 via the output terminal 121.

図３に示すように、撮像素子１０１によって取得される動画像データの各フレームの画像データＲＡＷ００，ＲＡＷ０１，・・・は、振り分け部１０３によって、ＩＣ１００′と、ＩＣ１００とに交互に振り分けられる。撮像素子１０１によって取得される動画像データの各フレームの画像データＲＡＷ００，ＲＡＷ０１，・・・の画素数は、例えば４０９６×２１６０ピクセルである。   As shown in FIG. 3, image data RAW00, RAW01,... Of each frame of moving image data acquired by the image sensor 101 is alternately distributed to the IC 100 ′ and the IC 100 by the distribution unit 103. The number of pixels of the image data RAW00, RAW01,... Of each frame of moving image data acquired by the image sensor 101 is, for example, 4096 × 2160 pixels.

振り分け部１０３から入力端子１０９′を介してＩＣ１００′に入力される画像データＲＡＷ００，ＲＡＷ０２，・・・の各々に対して、ＩＣ１００′によって画像処理が施され、以下のような画像データが順次取得される。即ち、画素数が８５４×４８０ピクセルである表示用の画像データＰａｎｅｌ００，Ｐａｎｅｌ０２，・・・がＩＣ１００′による画像処理によって生成される。また、画素数が１９２０×１０８０ピクセルであるライン出力用の画像データＴＶ００，ＴＶ０２，・・・がＩＣ１００′による画像処理によって生成される。なお、表示用の画像データＰａｎｅｌ００は、ＩＣ１００′による画像処理が画像データＲＡＷ００に対して行われることによって得られた画像データである。また、表示用の画像データＰａｎｅｌ０２は、ＩＣ１００′による画像処理が画像データＲＡＷ０２に対して行われることによって得られた画像データである。また、ライン出力用の画像データＴＶ００は、ＩＣ１００′による画像処理が画像データＲＡＷ００に対して行われることによって得られた画像データである。また、ライン出力用の画像データＴＶ０２は、ＩＣ１００′による画像処理が画像データＲＡＷ０２に対して行われることによって得られた画像データである。こうして得られた表示用の画像データＰａｎｅｌ＊＊とライン出力用の画像データＴＶ＊＊とが、スイッチ１２７′を交互に切り替えることによって、ＩＣ１００′の出力端子１２１′を介して交互にＩＣ１００に出力される。   Image processing is performed on each of the image data RAW00, RAW02,... Input from the distribution unit 103 to the IC 100 ′ via the input terminal 109 ′ by the IC 100 ′, and the following image data is sequentially acquired. Is done. That is, display image data Panel 00, Panel 02,... With a number of pixels of 854 × 480 pixels are generated by image processing by the IC 100 ′. Also, line output image data TV00, TV02,... With 1920 × 1080 pixels is generated by image processing by the IC 100 ′. Note that the display image data Panel00 is image data obtained by performing image processing on the image data RAW00 by the IC 100 '. The display image data Panel02 is image data obtained by performing image processing by the IC 100 'on the image data RAW02. The line output image data TV00 is image data obtained by performing image processing on the image data RAW00 by the IC 100 ′. The line output image data TV02 is image data obtained by performing image processing on the image data RAW02 by the IC 100 '. Display image data Panel ** and line output image data TV ** obtained in this manner are alternately output to the IC 100 via the output terminal 121 'of the IC 100' by alternately switching the switch 127 '. Is done.

上述したように、ライン出力用の画像データＴＶ＊＊の画素数は１９２０×１０８０ピクセルであるのに対し、表示用の画像データＰａｎｅｌ＊＊の画素数は８５４×４８０ピクセルである。従って、表示用の画像データＰａｎｅｌ＊＊も、ライン出力用の画像データＴＶ＊＊も、画素数が大きい方のフォーマットである１９２０×１０８０ピクセルの伝送フォーマットによって、ＩＣ１００′からＩＣ１００に伝送される。表示用の画像データＰａｎｅｌ＊＊は、表示用の画像データＰａｎｅｌ＊＊の画素数とは異なる画素数の伝送フォーマットによって伝送されることとなる。このため、１９２０×１０８０ピクセルの伝送フォーマットで伝送される画像データのうちの一部が表示用の画像データＰａｎｅｌ＊＊としてＩＣ１００において用いられることとなる。   As described above, the number of pixels of the image data TV ** for line output is 1920 × 1080 pixels, while the number of pixels of the display image data Panel ** is 854 × 480 pixels. Accordingly, both the display image data Panel ** and the line output image data TV ** are transmitted from the IC 100 ′ to the IC 100 in a transmission format of 1920 × 1080 pixels, which is the format with the larger number of pixels. The display image data Panel ** is transmitted in a transmission format having a number of pixels different from the number of pixels of the display image data Panel **. For this reason, a part of the image data transmitted in the 1920 × 1080 pixel transmission format is used in the IC 100 as display image data Panel **.

ＩＣ１００′からＩＣ１００に転送された表示用の画像データＰａｎｅｌ＊＊とライン出力用の画像データＴＶ＊＊とは、ＩＣ１００のスイッチ１２８によって、メモリ１０４ｂとメモリ１０４ｃとに交互に振り分けられる。ＩＣ１００′からＩＣ１００に転送された表示用の画像データＰａｎｅｌ＊＊は、スイッチ１２８を介してメモリ１０４ｂに入力され、メモリ１０４ｂによって一時的に保持される。一方、ＩＣ１００′からＩＣ１００に伝送されたライン出力用の画像データＴＶ＊＊は、スイッチ１２８を介してメモリ１０４ｃに入力され、メモリ１０４ｃによって一時的に保持される。   The display image data Panel ** and the line output image data TV ** transferred from the IC 100 ′ to the IC 100 are alternately distributed to the memory 104b and the memory 104c by the switch 128 of the IC 100. Display image data Panel ** transferred from the IC 100 ′ to the IC 100 is input to the memory 104 b via the switch 128 and temporarily held by the memory 104 b. On the other hand, line output image data TV ** transmitted from the IC 100 ′ to the IC 100 is input to the memory 104 c via the switch 128 and temporarily held by the memory 104 c.

振り分け部１０３から入力端子１０９を介してＩＣ１００に入力される画像データＲＡＷ０１，ＲＡＷ０３，・・・の各々に対して、ＩＣ１００によって画像処理が施され、以下のような画像データが順次取得される。即ち、画素数が８５４×４８０ピクセルである表示用の画像データＰａｎｅｌ０１，Ｐａｎｅｌ０３，・・・が、ＩＣ１００による画像処理によって得られる。また、画素数が１９２０×１０８０ピクセルであるライン出力用の画像データＴＶ０１，ＴＶ０３，・・・が、ＩＣ１００による画像処理によって得られる。そして、ＩＣ１００′による画像処理によって得られた表示用の画像データＰａｎｅｌ＊＊と、ＩＣ１００による画像処理によって得られた表示用の画像データＰａｎｅｌ＊＊とが、ＩＣ１００の出力端子１１８を介して交互に出力される。また、ＩＣ１００′による画像処理によって得られたライン出力用の画像データＴＶ＊＊と、ＩＣ１００による画像処理によって得られたライン出力用の画像データＴＶ＊＊とが、ＩＣの出力端子１２１を介して交互に出力される。   Image processing is performed by the IC 100 on each of the image data RAW01, RAW03,... Input from the distribution unit 103 to the IC 100 via the input terminal 109, and the following image data is sequentially acquired. That is, display image data Panel01, Panel03,... With 854 × 480 pixels are obtained by image processing by the IC100. Further, line output image data TV01, TV03,... With 1920 × 1080 pixels is obtained by image processing by the IC100. The display image data Panel ** obtained by the image processing by the IC 100 ′ and the display image data Panel ** obtained by the image processing by the IC 100 are alternately exchanged via the output terminal 118 of the IC 100. Is output. Also, line output image data TV ** obtained by the image processing by the IC 100 ′ and line output image data TV ** obtained by the image processing by the IC 100 are connected via the output terminal 121 of the IC. It is output alternately.

なお、上述したように、ＩＣ１００′からＩＣ１００に転送されるライン出力用の画像データＴＶ００，・・・の画素数は、１９２０×１０８０ピクセルである。１９２０×１０８０ピクセルの画素数の画像データは、ライン出力の伝送フォーマットに適合している。このため、ＩＣ１００′からＩＣ１００に転送されるライン出力用の画像データＴＶ００，・・・に対しては、スケーラ１２０による画素数の変換は行われない。ＩＣ１００′からＩＣ１００に転送されるライン出力用の画像データＴＶ００，・・・は、メモリ１０４ｃに一時的に格納された後、スケーラ１２０によって画素数が変換されることなく、出力端子１２１を介して出力される。一方、ＩＣ１００のぶれ補正部１１３によってぶれ補正が行われた段階の画像データの画素数は、４０９６×２１６０ピクセルである。４０９６×２１６０ピクセルの画素数の画像データは、ライン出力の伝送フォーマットに適合しない。このため、ＩＣ１００のぶれ補正部１１３から出力される画像データに対しては、スケーラ１２０によって画素数の変換を行う必要がある。従って、ＩＣ１００のぶれ補正部１１３から出力される４０９６×２１６０ピクセルの画像データは、メモリ１０４ｃに一時的に格納された後、スケーラ１２０によって、１９２０×１０８０ピクセルの画素数の画像データに変換される。このように、スケーラ１２０は、ＩＣ１００による画像処理によって生成された画像データに対しては画素数の変換を行い、ＩＣ１００′からＩＣ１００に転送された画像データに対しては画素数の変換を行わない。   As described above, the number of pixels of the line output image data TV00,... Transferred from the IC 100 ′ to the IC 100 is 1920 × 1080 pixels. The image data having the number of pixels of 1920 × 1080 pixels conforms to the line output transmission format. Therefore, the scaler 120 does not convert the number of pixels for the line output image data TV00,... Transferred from the IC 100 ′ to the IC 100. The line output image data TV00,... Transferred from the IC 100 ′ to the IC 100 is temporarily stored in the memory 104c, and then the number of pixels is not converted by the scaler 120 via the output terminal 121. Is output. On the other hand, the number of pixels of the image data at the stage where the blur correction is performed by the blur correction unit 113 of the IC 100 is 4096 × 2160 pixels. Image data having a pixel number of 4096 × 2160 pixels does not conform to the transmission format of line output. For this reason, the scaler 120 needs to convert the number of pixels for the image data output from the shake correction unit 113 of the IC 100. Therefore, the 4096 × 2160 pixel image data output from the blur correction unit 113 of the IC 100 is temporarily stored in the memory 104c and then converted into image data having the number of 1920 × 1080 pixels by the scaler 120. . As described above, the scaler 120 converts the number of pixels for the image data generated by the image processing by the IC 100, and does not convert the number of pixels for the image data transferred from the IC 100 ′ to the IC 100. .

処理周期Ｔ００においては、振り分け部１０３から入力端子１０９′を介してＩＣ１００′に入力される画像データＲＡＷ００に対して、ＩＣ１００′によって画像処理が行われる。これにより、表示用の画像データＰａｎｅｌ００とライン出力用の画像データＴＶ００とが生成される。これらの画像データＰａｎｅｌ００，ＴＶ００のうちの表示用の画像データＰａｎｅｌ００は、ライン出力用の画像データＴＶ００よりも先にＩＣ１００′からＩＣ１００に転送される。具体的には、表示用の画像データＰａｎｅｌ００は、処理周期Ｔ００内において、ＩＣ１００′からＩＣ１００に転送される。ＩＣ１００′からＩＣ１００に転送された表示用の画像データＰａｎｅｌ００は、処理周期Ｔ００内において、出力端子１１８を介して表示部１３０に出力される。一方、処理周期Ｔ００において生成されたこれらの画像データＰａｎｅｌ００，ＴＶ００のうちのライン出力用の画像データＴＶ００は、処理周期Ｔ００の次の処理周期Ｔ０１において、ＩＣ１００′からＩＣ１００に転送される。ＩＣ１００′からＩＣ１００に転送されたライン出力用の画像データＴＶ００は、処理周期Ｔ０１内において、出力端子１２１を介し、更にライン出力端子１３２を介して、画像処理装置１０の外部に出力される。なお、表示用の画像データＰａｎｅｌ００を、ライン出力用の画像データＴＶ００よりも先にＩＣ１００′からＩＣ１００に転送するのは、表示用の画像データはライン出力用の画像データよりも高いリアルタイム性が要求されるためである。   In the processing cycle T00, image processing is performed by the IC 100 ′ on the image data RAW00 input from the distribution unit 103 to the IC 100 ′ via the input terminal 109 ′. As a result, display image data Panel00 and line output image data TV00 are generated. Of these image data Panel00 and TV00, the display image data Panel00 is transferred from the IC100 ′ to the IC100 prior to the line output image data TV00. Specifically, the display image data Panel 00 is transferred from the IC 100 ′ to the IC 100 within the processing cycle T 00. The display image data Panel 00 transferred from the IC 100 ′ to the IC 100 is output to the display unit 130 via the output terminal 118 within the processing cycle T 00. On the other hand, the image data TV00 for line output among the image data Panel00 and TV00 generated in the processing cycle T00 is transferred from the IC 100 ′ to the IC 100 in the processing cycle T01 next to the processing cycle T00. The image data TV00 for line output transferred from the IC 100 ′ to the IC 100 is output to the outside of the image processing apparatus 10 via the output terminal 121 and further via the line output terminal 132 within the processing cycle T01. The display image data Panel00 is transferred from the IC 100 'to the IC 100 before the line output image data TV00. The display image data requires higher real-time characteristics than the line output image data. It is to be done.

処理周期Ｔ０１においては、振り分け部１０３から入力端子１０９を介してＩＣ１００に入力される画像データＲＡＷ０１に対して、ＩＣ１００によって画像処理が行われる。これにより、表示用の画像データＰａｎｅｌ０１とライン出力用の画像データＴＶ０１とが生成される。これらの画像データＰａｎｅｌ０１，ＴＶ０１のうちの表示用の画像データＰａｎｅｌ０１は、処理周期Ｔ０１内において、出力端子１１８を介して表示部１３０に出力される。一方、処理周期Ｔ０１において生成されたこれらの画像データＰａｎｅｌ０１，ＴＶ０１のうちのライン出力用の画像データＴＶ０１は、処理周期Ｔ０１の次の処理周期Ｔ０２内において、出力端子１２１を介して、ＩＣ１００の外部に出力される。出力端子１２１を介してＩＣ１００の外部に出力された画像データＴＶ０１は、ライン出力端子１３２を介して、画像処理装置１０の外部に出力される。   In the processing cycle T01, the image processing is performed by the IC 100 on the image data RAW01 input from the sorting unit 103 to the IC 100 via the input terminal 109. As a result, display image data Panel01 and line output image data TV01 are generated. Of the image data Panel01 and TV01, display image data Panel01 is output to the display unit 130 via the output terminal 118 within the processing cycle T01. On the other hand, image data TV01 for line output among these image data Panel01 and TV01 generated in the processing cycle T01 is external to the IC 100 via the output terminal 121 in the processing cycle T02 next to the processing cycle T01. Is output. The image data TV01 output to the outside of the IC 100 through the output terminal 121 is output to the outside of the image processing apparatus 10 through the line output terminal 132.

処理周期Ｔ０２においては、振り分け部１０３から入力端子１０９′を介してＩＣ１００′に入力される画像データＲＡＷ０２に対して、上記と同様の画像処理がＩＣ１００′によって行われる。また、処理周期Ｔ０３においては、振り分け部１０３から入力端子１０９を介してＩＣ１００に入力される画像データＲＡＷ０３に対して、上記と同様の画像処理がＩＣ１００によって行われる。このような処理が交互に繰り返し行われることによって、動画像データに対する画像処理がＩＣ１００とＩＣ１００′とによって分散して行われる。   In the processing cycle T02, the image processing similar to the above is performed by the IC 100 ′ on the image data RAW02 input from the distribution unit 103 to the IC 100 ′ via the input terminal 109 ′. In the processing cycle T03, the IC 100 performs image processing similar to the above on the image data RAW03 input from the distribution unit 103 to the IC 100 via the input terminal 109. By repeatedly performing such processing alternately, image processing for moving image data is performed in a distributed manner by the IC 100 and IC 100 ′.

一方、記録媒体１３１に記録される動画像データは、以下のような処理によって生成される。即ち、ＩＣ１００′のメモリ１０４ｃ′には、画素数が４０９６×２１６０ピクセルの画像データが格納される。ＩＣ１００′のコーデック１２２′は、このような画像データに対して所定の画像処理を行う。コーデック１２２′からは、記録媒体１３１の記録フォーマットに適合するような画像データが出力される。コーデック１２２′から出力される画像データは、上述したように、ストリームバッファとして機能するメモリ１０４ｄ′に入力される。ＩＣ１００のメモリ１０４ｃには、画素数が４０９６×２１６０ピクセルの画像データが格納される。ＩＣ１００のコーデック１２２は、このような画像データに対して所定の画像処理を行う。コーデック１２２からは、記録媒体１３１の記録フォーマットに適合するような画像データが出力される。コーデック１２２から出力される画像データは、上述したように、ストリームバッファとして機能するメモリ１０４ｄに入力される。ＩＣ１００のネゴシエーション部１２５とＩＣ１００′のネゴシエーション部１２５′との間でネゴシエーションが行われる。これにより、メモリ１０４ｄ′に格納された画像データとメモリ１０４ｄに格納された画像データとが交互に合成部１２９に出力される。合成部１２９は、ＩＣ１００とＩＣ１００′とから交互に伝送される画像データを、所定の記録フォーマットで記録媒体１３１に記録する。こうして、動画像データが記録媒体１３１に記録されることとなる。   On the other hand, moving image data recorded on the recording medium 131 is generated by the following process. In other words, the memory 104c ′ of the IC 100 ′ stores image data having 4096 × 2160 pixels. The codec 122 ′ of the IC 100 ′ performs predetermined image processing on such image data. The codec 122 ′ outputs image data that conforms to the recording format of the recording medium 131. As described above, the image data output from the codec 122 'is input to the memory 104d' functioning as a stream buffer. In the memory 104c of the IC 100, image data having 4096 × 2160 pixels is stored. The codec 122 of the IC 100 performs predetermined image processing on such image data. Image data that conforms to the recording format of the recording medium 131 is output from the codec 122. As described above, the image data output from the codec 122 is input to the memory 104d that functions as a stream buffer. Negotiation is performed between the negotiation unit 125 of the IC 100 and the negotiation unit 125 ′ of the IC 100 ′. As a result, the image data stored in the memory 104d ′ and the image data stored in the memory 104d are alternately output to the combining unit 129. The synthesizer 129 records the image data transmitted alternately from the IC 100 and the IC 100 ′ on the recording medium 131 in a predetermined recording format. In this way, moving image data is recorded on the recording medium 131.

本実施形態による画像処理装置のＩＣ１００′における各部のビットレートは、例えば以下の通りとなる。即ち、スケーラ１１０′からぶれ補正部１１３′までにおけるビットレートＢＲ１０１′は、例えば１３．３Ｍ×１２×１６≒２．５Ｇｂｐｓとなる。ぶれ補正部１１３′からスケーラ１１４′までにおけるビットレートＢＲ１０２′は、例えば８．８Ｍ×１２×１６≒１．７Ｇｂｐｓとなる。スケーラ１１４′から出力端子１１８′までにおけるビットレートＢＲ１０３′は、例えば０．４Ｍ×１２×１６≒０．１Ｇｂｐｓとなる。スケーラ１２０′から出力端子１２１′までにおけるビットレートＢＲ１０４′は、例えば２Ｍ×２４×１６≒０．８Ｇｂｐｓとなる。メモリ１０４ｃ′から出力端子１２４′までにおけるビットレートＢＲ１０５′は、例えば８．８Ｍ×１２×１６≒１．７Ｇｂｐｓとなる。   For example, the bit rate of each part in the IC 100 ′ of the image processing apparatus according to the present embodiment is as follows. That is, the bit rate BR101 ′ from the scaler 110 ′ to the blur correction unit 113 ′ is, for example, 13.3M × 12 × 16≈2.5 Gbps. The bit rate BR102 ′ from the blur correction unit 113 ′ to the scaler 114 ′ is, for example, 8.8 M × 12 × 16≈1.7 Gbps. The bit rate BR103 ′ from the scaler 114 ′ to the output terminal 118 ′ is, for example, 0.4M × 12 × 16≈0.1 Gbps. The bit rate BR104 ′ from the scaler 120 ′ to the output terminal 121 ′ is, for example, 2M × 24 × 16≈0.8 Gbps. The bit rate BR105 ′ from the memory 104c ′ to the output terminal 124 ′ is, for example, 8.8M × 12 × 16≈1.7 Gbps.

本実施形態による画像処理装置のＩＣ１００′における各部のビットレートが上記のような場合には、ＩＣ１００′の各部において使用されるメモリ帯域幅は、以下の通りとなる。即ち、メモリ１０４ａ′において使用される帯域幅は、ＢＲ１０１′×２＝５．０Ｇｂｐｓとなる。メモリ１０４ｂ′において使用される帯域幅は、ＢＲ１０３′＝０．１Ｇｂｐｓとなる。メモリ１０４ｃ′において使用される帯域幅は、ＢＲ１０２′＋ＢＲ１０４′＋ＢＲ１０５′＝４．２Ｇｂｐｓとなる。従って、メモリ１０４ａ′、１０４ｂ′、１０４ｃ′において使用される帯域幅は、５．０Ｇｂｐｓ＋０．１Ｇｂｐｓ＋４．２Ｇｂｐｓ＝９．３Ｇｂｐｓとなる。上述したように、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用い得るメモリ帯域幅は、例えば１２．８Ｇｂｐｓである。従って、この場合には、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用い得るＩＣ１００′のメモリ帯域幅のうちの例えば７２．７％が、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用いられる。このように、本実施形態では、ＩＣ１００′におけるメモリ帯域幅には、十分な余裕がある。   When the bit rate of each part in the IC 100 ′ of the image processing apparatus according to the present embodiment is as described above, the memory bandwidth used in each part of the IC 100 ′ is as follows. That is, the bandwidth used in the memory 104a ′ is BR101 ′ × 2 = 5.0 Gbps. The bandwidth used in the memory 104b ′ is BR103 ′ = 0.1 Gbps. The bandwidth used in the memory 104c ′ is BR102 ′ + BR104 ′ + BR105 ′ = 4.2 Gbps. Accordingly, the bandwidth used in the memories 104a ′, 104b ′, and 104c ′ is 5.0 Gbps + 0.1 Gbps + 4.2 Gbps = 9.3 Gbps. As described above, the memory bandwidth that can be used for processes other than the codec process, the photographing assist function, and the GUI is, for example, 12.8 Gbps. Therefore, in this case, for example, 72.7% of the memory bandwidth of the IC 100 ′ that can be used for processing other than the codec processing, shooting assist function, and GUI is used for processing other than the codec processing, shooting assist function, and GUI. It is done. Thus, in this embodiment, the memory bandwidth in the IC 100 ′ has a sufficient margin.

本実施形態による画像処理装置のＩＣ１００における各部のビットレートは、例えば以下の通りとなる。即ち、スケーラ１１０からぶれ補正部１１３までにおけるビットレートＢＲ１０１は、例えば１３．３Ｍ×１２×１６≒２．５Ｇｂｐｓとなる。ぶれ補正部１１３からスケーラ１１４までにおけるビットレートＢＲ１０２は、例えば８．８Ｍ×１２×１６≒１．７Ｇｂｐｓとなる。スケーラ１１４′から出力端子１１８′までにおけるビットレートＢＲ１０３は、例えば０．４Ｍ×１２×１６≒０．１Ｇｂｐｓとなる。スケーラ１２０′から出力端子１２１′までにおけるビットレートＢＲ１０４は、例えば２Ｍ×２４×１６≒０．８Ｇｂｐｓとなる。メモリ１０４ｃ′から出力端子１２４′までにおけるビットレートＢＲ１０５は、例えば８．８Ｍ×１２×１６≒１．７Ｇｂｐｓとなる。   For example, the bit rate of each part in the IC 100 of the image processing apparatus according to the present embodiment is as follows. That is, the bit rate BR101 from the scaler 110 to the blur correction unit 113 is, for example, 13.3M × 12 × 16≈2.5 Gbps. The bit rate BR102 from the blur correction unit 113 to the scaler 114 is, for example, 8.8M × 12 × 16≈1.7 Gbps. The bit rate BR103 from the scaler 114 ′ to the output terminal 118 ′ is, for example, 0.4M × 12 × 16≈0.1 Gbps. The bit rate BR104 from the scaler 120 ′ to the output terminal 121 ′ is, for example, 2M × 24 × 16≈0.8 Gbps. The bit rate BR105 from the memory 104c ′ to the output terminal 124 ′ is, for example, 8.8M × 12 × 16≈1.7 Gbps.

本実施形態による画像処理装置のＩＣ１００における各部のビットレートが上記のような場合には、ＩＣ１００の各部において使用されるメモリ帯域幅は、以下の通りとなる。即ち、メモリ１０４ａにおいて使用される帯域幅は、ＢＲ１０１×２＝５．０Ｇｂｐｓとなる。メモリ１０４ｂ′において使用される帯域幅は、ＢＲ１０３×２＝０．２Ｇｂｐｓとなる。メモリ１０４ｃ′において使用される帯域幅は、ＢＲ１０２＋ＢＲ１０４′＋ＢＲ１０４＋ＢＲ１０５＝５．０Ｇｂｐｓとなる。従って、メモリ１０４ａ、１０４ｂ、１０４ｃにおいて使用される帯域幅は、５．０Ｇｂｐｓ＋０．２Ｇｂｐｓ＋５．０Ｇｂｐｓ＝１０．２Ｇｂｐｓとなる。上述したように、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用い得るメモリ帯域幅は、例えば１２．８Ｇｂｐｓである。従って、この場合には、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用い得るＩＣ１００のメモリ帯域幅のうちの例えば７９．７％が、コーデック処理、撮影アシスト機能、ＧＵＩ以外の処理に用いられる。このように、本実施形態では、ＩＣ１００におけるメモリ帯域幅にも、十分な余裕がある。
このように、本実施形態では、ＩＣ１００とＩＣ１００′のいずれにおいてもメモリ帯域幅に十分な余裕がある。従って、本実施形態による画像処理装置は、実現可能である。 When the bit rate of each part in the IC 100 of the image processing apparatus according to the present embodiment is as described above, the memory bandwidth used in each part of the IC 100 is as follows. That is, the bandwidth used in the memory 104a is BR101 × 2 = 5.0 Gbps. The bandwidth used in the memory 104b ′ is BR103 × 2 = 0.2 Gbps. The bandwidth used in the memory 104c ′ is BR102 + BR104 ′ + BR104 + BR105 = 5.0 Gbps. Therefore, the bandwidth used in the memories 104a, 104b, and 104c is 5.0 Gbps + 0.2 Gbps + 5.0 Gbps = 10.2 Gbps. As described above, the memory bandwidth that can be used for processes other than the codec process, the photographing assist function, and the GUI is, for example, 12.8 Gbps. Accordingly, in this case, for example, 79.7% of the memory bandwidth of the IC 100 that can be used for processing other than the codec processing, shooting assist function, and GUI is used for processing other than the codec processing, shooting assist function, and GUI. . Thus, in this embodiment, the memory bandwidth in the IC 100 also has a sufficient margin.
Thus, in this embodiment, there is a sufficient margin in the memory bandwidth in both the IC 100 and the IC 100 ′. Therefore, the image processing apparatus according to the present embodiment can be realized.

このように、本実施形態による画像処理装置は、動画像データに対する画像処理がＩＣ１００とＩＣ１００′とによって分散して処理される。そして、ＩＣ１００とＩＣ１００′とによる分散処理によって生成された画像データを統合することによって所望の動画像データが生成される。このため、本実施形態によれば、高解像度の動画像を処理するための高価なＩＣを用いることなく高解像度の動画像を処理することが可能となり、ひいては、高解像度の動画像を処理し得る画像処理装置を安価に提供することが可能となる。また、複数のＩＣを組み合わせることによって高解像度化に対応し得るため、本実施形態によれば高解像度化に柔軟に対応することができる。   As described above, in the image processing apparatus according to the present embodiment, image processing for moving image data is distributed and processed by the IC 100 and the IC 100 ′. Then, desired moving image data is generated by integrating the image data generated by the distributed processing by the IC 100 and the IC 100 ′. For this reason, according to the present embodiment, it is possible to process a high-resolution moving image without using an expensive IC for processing the high-resolution moving image. As a result, the high-resolution moving image can be processed. It is possible to provide an obtained image processing apparatus at a low cost. Further, since it is possible to cope with higher resolution by combining a plurality of ICs, according to this embodiment, it is possible to flexibly cope with higher resolution.

［変形実施形態］
上記実施形態に限らず種々の変形が可能である。
例えば、上記実施形態では、２つのＩＣ１００，１００′によって分散処理を行う場合を例に説明したが、これに限定されるものではなく、３つ以上のＩＣによって分散処理を行うようにしてもよい。例えば、４つのＩＣによって分散処理を行うようにしてもよい。 [Modified Embodiment]
The present invention is not limited to the above embodiment, and various modifications are possible.
For example, in the above embodiment, the case where the distributed processing is performed by the two ICs 100 and 100 ′ has been described as an example. However, the present invention is not limited to this, and the distributed processing may be performed by three or more ICs. . For example, distributed processing may be performed by four ICs.

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。   The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１００、１００′…ＩＣ
１０１、１０１′…撮像素子
１０２、１０２′…アナログフロントエンド
１０３、１０３′…振り分け部
１０４ａ〜１０４ｄ、１０４ａ′〜１０４ｄ′…メモリ
１０９、１０９′…入力端子
１１０、１１０′…スケーラ
１１１、１１１′…現像部
１１３、１１３′…ぶれ補正部
１１４、１１４′…スケーラ
１１５、１１５′…処理部
１１７、１１７′…処理部
１１８、１１８′…出力端子
１２０、１２０′…スケーラ
１２１、１２１′…出力端子
１２２、１２２′…コーデック
１２４、１２４′…出力端子
１２５、１２５′…ネゴシエーション部
１２６、１２６′…入力端子
１２７、１２７′、１２８、１２８′…スイッチ
１２９、１２９′…合成部 100, 100 '... IC
101, 101 '... Image sensor 102, 102' ... Analog front end 103, 103 '... Sorting sections 104a-104d, 104a'-104d' ... Memory 109, 109 '... Input terminals 110, 110' ... Scalers 111, 111 ' ... Development sections 113, 113 '... blur correction sections 114, 114' ... scalers 115, 115 '... processing sections 117, 117' ... processing sections 118, 118 '... output terminals 120, 120' ... scalers 121, 121 '... outputs Terminals 122, 122 '... Codecs 124, 124' ... Output terminals 125, 125 '... Negotiation units 126, 126' ... Input terminals 127, 127 ', 128, 128' ... Switches 129, 129 '... Synthesizer

Claims (10)

画像処理を行う第１の集積回路素子と、
画像処理を行う第２の集積回路素子と、
撮像素子を用いて順次取得される動画像に含まれる第１のフレーム画像を前記第１の集積回路素子に振り分け、前記動画像に含まれる第２のフレーム画像を前記第２の集積回路素子に振り分ける振り分け手段とを有し、
前記第１の集積回路素子は、フォーマットが互いに異なる複数の第１の出力画像を前記第１のフレーム画像から生成し、前記複数の第１の出力画像を前記第２の集積回路素子に順次送信し、
前記第２の集積回路素子は、前記フォーマットが互いに異なる複数の第２の出力画像を前記第２のフレーム画像から生成し、前記フォーマット別に前記第１の出力画像と前記第２の出力画像とを順次出力する
ことを特徴とする画像処理装置。 A first integrated circuit element for performing image processing;
A second integrated circuit element for performing image processing;
A first frame image included in a moving image sequentially acquired using an imaging element is distributed to the first integrated circuit element, and a second frame image included in the moving image is allocated to the second integrated circuit element. And a sorting means for sorting,
The first integrated circuit element generates a plurality of first output images having different formats from the first frame image, and sequentially transmits the plurality of first output images to the second integrated circuit element. And
The second integrated circuit element generates a plurality of second output images having different formats from the second frame image, and outputs the first output image and the second output image for each format. An image processing apparatus that outputs sequentially. 前記フォーマットは、解像度である
ことを特徴とする請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the format is a resolution. 前記画像処理装置は、表示部と、ライン出力端子とを更に有し、
前記表示部に出力される前記第１の出力画像とは異なる前記フォーマットの前記第１の出力画像が前記ライン出力端子に出力される
ことを特徴とする請求項１又は２に記載の画像処理装置。 The image processing apparatus further includes a display unit and a line output terminal,
The image processing apparatus according to claim 1, wherein the first output image of the format different from the first output image output to the display unit is output to the line output terminal. . 前記第１の集積回路素子は、前記表示部に出力される前記第１の出力画像を、前記ライン出力端子に出力される前記第１の出力画像よりも先に、前記第２の集積回路素子に出力する
ことを特徴とする請求項３に記載の画像処理装置。 The first integrated circuit element includes the second integrated circuit element prior to the first output image output to the line output terminal with respect to the first output image output to the display unit. The image processing apparatus according to claim 3, wherein: 前記第１の集積回路素子は、第１の記録用画像を前記第１のフレーム画像から更に生成し、
前記第２の集積回路素子は、第２の記録用画像を前記第２のフレーム画像から更に生成し、
前記第１の記録用画像と前記第２の記録用画像とを少なくとも用いて動画像データを生成する合成手段を更に有する
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。 The first integrated circuit element further generates a first recording image from the first frame image;
The second integrated circuit element further generates a second recording image from the second frame image;
The image according to any one of claims 1 to 4, further comprising a combining unit that generates moving image data using at least the first recording image and the second recording image. Processing equipment. 前記第１の集積回路素子は、前記第２の集積回路素子を経由することなく、前記第１の記録用画像を前記合成手段に送信する
ことを特徴とする請求項５に記載の画像処理装置。 The image processing apparatus according to claim 5, wherein the first integrated circuit element transmits the first recording image to the synthesizing unit without passing through the second integrated circuit element. . 前記合成手段は、前記動画像データを記録媒体に記録する
ことを特徴とする請求項５又は６に記載の画像処理装置。 The image processing apparatus according to claim 5, wherein the synthesizing unit records the moving image data on a recording medium. 前記撮像素子を更に有する
ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。 The image processing apparatus according to claim 1, further comprising the imaging element. 撮像素子を用いて順次取得される動画像に含まれる第１のフレーム画像を第１の集積回路素子に振り分け、前記動画像に含まれる第２のフレーム画像を第２の集積回路素子に振り分け、
フォーマットが互いに異なる複数の第１の出力画像を前記第１のフレーム画像から前記第１の集積回路素子によって生成し、前記複数の第１の出力画像を前記第１の集積回路素子から前記第２の集積回路素子に順次送信し、
前記フォーマットが互いに異なる複数の第２の出力画像を前記第２のフレーム画像から前記第２の集積回路素子によって生成し、前記フォーマット別に前記第２の集積回路素子から前記第１の出力画像と前記第２の出力画像とを順次出力する
ことを特徴とする画像処理方法。 A first frame image included in a moving image sequentially acquired using an imaging element is distributed to a first integrated circuit element; a second frame image included in the moving image is distributed to a second integrated circuit element;
A plurality of first output images of different formats are generated from the first frame image by the first integrated circuit element, and the plurality of first output images are generated from the first integrated circuit element to the second Sequentially to the integrated circuit elements
A plurality of second output images having different formats are generated by the second integrated circuit element from the second frame image, and the first output image and the second output image are generated from the second integrated circuit element by the format. An image processing method characterized by sequentially outputting a second output image. コンピュータに、
撮像素子を用いて順次取得される動画像に含まれる第１のフレーム画像を第１の集積回路素子に振り分け、前記動画像に含まれる第２のフレーム画像を第２の集積回路素子に振り分け、
フォーマットが互いに異なる複数の第１の出力画像を前記第１のフレーム画像から前記第１の集積回路素子によって生成し、前記複数の第１の出力画像を前記第１の集積回路素子から前記第２の集積回路素子に順次送信し、
前記フォーマットが互いに異なる複数の第２の出力画像を前記第２のフレーム画像から前記第２の集積回路素子によって生成し、前記フォーマット別に前記第２の集積回路素子から前記第１の出力画像と前記第２の出力画像とを順次出力する
ことを実行させるためのプログラム。 On the computer,
A first frame image included in a moving image sequentially acquired using an imaging element is distributed to a first integrated circuit element; a second frame image included in the moving image is distributed to a second integrated circuit element;
A plurality of first output images of different formats are generated from the first frame image by the first integrated circuit element, and the plurality of first output images are generated from the first integrated circuit element to the second Sequentially to the integrated circuit elements
A plurality of second output images having different formats are generated by the second integrated circuit element from the second frame image, and the first output image and the second output image are generated from the second integrated circuit element by the format. A program for executing sequential output of the second output image.
JP2016025848A 2016-02-15 2016-02-15 Image processing apparatus and image processing method Pending JP2017147495A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016025848A JP2017147495A (en) 2016-02-15 2016-02-15 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016025848A JP2017147495A (en) 2016-02-15 2016-02-15 Image processing apparatus and image processing method

Publications (1)

Publication Number Publication Date
JP2017147495A true JP2017147495A (en) 2017-08-24

Family

ID=59683272

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016025848A Pending JP2017147495A (en) 2016-02-15 2016-02-15 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP2017147495A (en)

Similar Documents

Publication Publication Date Title
US9286650B2 (en) Video processing apparatus, display apparatus, and video processing method
JP6565905B2 (en) Information processing apparatus and information processing method
US9651767B2 (en) Image processing apparatus for endoscope, endoscope system and image processing method for endoscope
CN110678897B (en) Image processing apparatus and imaging apparatus
US20180270448A1 (en) Image processing system
JP2018526931A (en) Image sensor, control method, and electronic apparatus
US9530173B2 (en) Information processing device, imaging device, and information processing method
JP6953244B2 (en) Image transmission device and its control method
US8908060B2 (en) Imaging apparatus generating evaluation values at a high frame rate and having a live view function of displaying a video smoothly at a low frame rate
JP2014096746A (en) Image processor and image processing method
JP5959194B2 (en) Imaging device
US9609215B2 (en) Moving-image recording/reproduction apparatus
JP2017147495A (en) Image processing apparatus and image processing method
JP6473049B2 (en) Display control apparatus and imaging apparatus
WO2021039113A1 (en) Imaging element, imaging device, imaging element operation method, and program
KR20000017456A (en) Video signal processing circuit and image pickup apparatususing the circuit
JP2014095798A (en) Image processing apparatus
JP6327869B2 (en) Image processing apparatus, imaging apparatus, control method, and program
JP6021556B2 (en) Image processing device
JPWO2017086218A1 (en) Camera control device and television camera
JP2009033438A (en) Imaging apparatus
JP6245389B2 (en) Imaging apparatus and image processing apparatus
JP2000059800A (en) Image signal processing circuit
WO2018029782A1 (en) Arithmetic processing apparatus, image processing apparatus, and image capture apparatus
JP2007298539A (en) Image processing system

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20171214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180126