JP2009015332A - Image processing control method - Google Patents

Image processing control method Download PDF

Info

Publication number
JP2009015332A
JP2009015332A JP2008188566A JP2008188566A JP2009015332A JP 2009015332 A JP2009015332 A JP 2009015332A JP 2008188566 A JP2008188566 A JP 2008188566A JP 2008188566 A JP2008188566 A JP 2008188566A JP 2009015332 A JP2009015332 A JP 2009015332A
Authority
JP
Japan
Prior art keywords
data
image
image data
unit
supplied
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2008188566A
Other languages
Japanese (ja)
Inventor
Yasuo Takane
靖雄 高根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008188566A priority Critical patent/JP2009015332A/en
Publication of JP2009015332A publication Critical patent/JP2009015332A/en
Abandoned legal-status Critical Current

Links

Images

Landscapes

  • Digital Computer Display Output (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing control method improving the performance of the entire system and reducing power consumption by quickening a response to an access request to a memory of a CPU at any position (time) during an image display period. <P>SOLUTION: An image control device separates a luminance component and a color component, divides image data with predetermined units as a lot, adjusts the compensation of a deviation in sampling of the divided image data (SUB1), further carries out change processing of a data size to a different division size according to inherent information, restrains the delivery amount of divided data adjusted to a bus shared according to arbitration to improve a response in image display processing, and carries out restoration of image data and various processing in accordance with instruction information for every divided data which is delivered in a restrained manner (SUB2). <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、画像処理制御方法に関し、メモリに記憶されている画像データを所定の規格、たとえば、テレビジョン規格での画像表示に用いる画像データの転送を制御する画像制御処理部や画像表示部を備えて画像データの入出力をともなって供給される画像データの表示機能、再生機能、印刷機能を、少なくとも一つ有する画像表示装置、ディジタルカメラ、プリンタ等における画像表示・再生・印刷に用いる画像データの処理制御において好適な方法である。   The present invention relates to an image processing control method, and relates to an image control processing unit and an image display unit that control transfer of image data used for image display in a predetermined standard, for example, a television standard. Image data used for image display / playback / printing in image display devices, digital cameras, printers, etc. that have at least one display function, playback function, and printing function of image data that is supplied with image data input / output This is a suitable method in the process control.

画像データを記録しておくフレームメモリから画像データを読出し、たとえば、テレビジョンセット等のような画像表示装置に表示させる場合において、従来、画像表示期間中にフレームメモリ上のデータを書き換えることは、ノイズ発生にともなう表示画像の乱れや時間的な制約から難しかった。この困難さのため放送規格のブランキング期間中にCPU (Central Processor Unit)がフレームメモリにアクセスしてデータを書き換える方法が一般的である。この一般的な方法から想定されるように、画像の表示中のフレームメモリへのCPUの平均アクセス速度は非常に遅いものであった。   When image data is read from a frame memory in which image data is recorded and displayed on an image display device such as a television set, for example, conventionally, rewriting data on the frame memory during the image display period is It was difficult due to the disturbance of the display image due to the occurrence of noise and time constraints. Due to this difficulty, a method in which a CPU (Central Processor Unit) accesses a frame memory and rewrites data during a broadcast standard blanking period is common. As expected from this general method, the average access speed of the CPU to the frame memory during image display is very slow.

この問題を解消させる方法として、FIFO (First-In First-Out)等のバッファメモリを設けて、そこに一旦データをテレビジョン信号のクロックレートより高速に転送して、余った時間でフレームメモリ上のデータを書き換える方法が知られている。バッファメモリは、画像の水平方向の画素数以上の容量を持つ場合が一般的である。このとき、バッファメモリからのデータの読出しはテレビジョン信号のクロックレートに一致させる。この方法を用いれば、ブランキング期間以外でもフレームメモリに対してCPUはアクセス可能な時間を確保することができる。   In order to solve this problem, a buffer memory such as FIFO (First-In First-Out) is provided, and the data is temporarily transferred to the frame memory faster than the clock rate of the television signal. A method for rewriting the data is known. The buffer memory generally has a capacity equal to or greater than the number of pixels in the horizontal direction of the image. At this time, the reading of data from the buffer memory is made to coincide with the clock rate of the television signal. If this method is used, the CPU can ensure a time during which the frame memory can be accessed even outside the blanking period.

しかしながら、上述した場合であっても、フレームメモリからバッファメモリへと1ライン分の画像データを転送している期間、CPU はフレームメモリにアクセスができない。フレームメモリからバッファメモリへのクロックレートは、現実的にはテレビジョン信号のクロックレートの数倍といった速度であるため、CPUの待機時間は無駄なものになっている。   However, even in the above-described case, the CPU cannot access the frame memory while the image data for one line is transferred from the frame memory to the buffer memory. Since the clock rate from the frame memory to the buffer memory is actually several times the clock rate of the television signal, the waiting time of the CPU is wasted.

また、上述した問題とは独立して、画像表示システムとして電子ズーム機能を盛り込んでいる場合も多い。テレビジョン信号にし易いこと、またはメモリの容量等の制約から、フレームメモリ上にY/CR/CBを(4:2:2)の点順次のフォーマットでデータが記録されている。この場合において、従来の電子ズーム回路では、ズームの倍率によってはアドレスの関係からCR/CBのサンプリングペアが崩れるために画質が劣化していた。これを避けるためにCR/CBを再度サンプリングし直してデータを同時化し、Y/CR/CBを(4:4:4)の関係に戻してからズームを行うようにしていた。 Independent of the above-described problem, the image display system often incorporates an electronic zoom function. It easily television signal, or the restriction of capacity of the memory, on the frame memory Y / C R / C B data in sequential format points (4: 2: 2) is recorded. In this case, in the conventional electronic zoom circuit, depending magnification of the zoom image quality to collapse sampling pairs C R / C B from the relationship of the address is deteriorated. In order to avoid this, C R / C B was sampled again to synchronize the data, and Y / C R / C B was returned to the relationship (4: 4: 4) before zooming.

これに対して、本出願人は1ラインの表示期間中のどの位置でもCPUのアクセス要求に対して待機時間を短縮させることによってCPUのアクセス要求に対する応答を速めて、システム全体のパフォーマンスを向上させる装置およびデータ出力方法を提案してきている。この提案によりシステム全体のパフォーマンスは大幅に向上してきたが、より高度な機能の実現が要求されている。また、機能の向上にともない消費電力も増加する。このため、消費電力を抑制する工夫も望まれている。   On the other hand, the applicant improves the overall system performance by speeding up the response to the CPU access request by shortening the waiting time for the CPU access request at any position during the display period of one line. Devices and data output methods have been proposed. Although this proposal has greatly improved the performance of the entire system, it is required to realize more advanced functions. In addition, power consumption increases as functions are improved. For this reason, the device which suppresses power consumption is also desired.

本発明はこのような課題に鑑み、画像表示期間中のどの位置(時間)でもCPUのメモリへのアクセス要求に対する応答を速めてシステム全体のパフォーマンスを一層向上させるとともに、消費電力の低減を図ることのできる画像処理制御方法を提供することを目的とする。   In view of such a problem, the present invention improves the performance of the entire system by accelerating the response to an access request to the CPU memory at any position (time) during the image display period, and reducing power consumption. It is an object of the present invention to provide an image processing control method capable of performing the above.

本発明は上述の課題を解決するために、供給される画像データをそれぞれ輝度成分と色成分ごとに分離し、それぞれ区分してまとめた区分データに対して該区分データが含む輝度成分と色成分とのサンプリングのずれを補償する調整の施された区分データにして、この区分データを所定の規格に合わせた出力制御を行う画像制御装置の制御方法において、この方法は、画像データに対する各成分の分離、区分、およびサンプリングのずれの補償をそれぞれ調整するとともに、画像データが有する固有の情報に応じて調整した区分データのデータサイズを異なる区分のサイズへの変更処理を施して共有するバスへの該調整した区分データを調停し、送出する第1の工程と、この調整した区分データごとに対して複数の加工処理、および/または復元処理をどのように行うかを供給される指示情報に応じて画像の修正処理として施す第2の工程と、第2の工程を経た区分データを選択して一時記憶させ、一時記憶した複数の区分データのうちの一つを画像の一部として選択して読み出す第3の工程とを含むことを特徴とする。   In order to solve the above-described problems, the present invention separates the supplied image data into luminance components and color components, respectively, and separates and summarizes the divided luminance data and color components included in the divided data. In the control method of the image control apparatus that performs the output control in accordance with the predetermined standard, the divided data is adjusted to compensate for the sampling deviation with respect to the sampling data. Adjusting the compensation for separation, division, and sampling deviation, and changing the data size of the division data adjusted according to the unique information of the image data to a different division size to the shared bus A first step of mediating and sending the adjusted segment data, and a plurality of processes for each of the adjusted segment data, and / or A second process to be performed as an image correction process in accordance with the supplied instruction information on how to perform the original process, and the segment data that has undergone the second process are selected and temporarily stored, and a plurality of temporarily stored And a third step of selecting and reading out one of the segment data as a part of the image.

本発明に係る画像処理制御方法によれば、輝度成分と色成分とを分離し、所定の単位をひとまとめに画像データを区分し、区分した画像データのサンプリングのずれの補償を調整し、さらにデータサイズを異なる区分のサイズへの変更処理を固有の情報に応じて行うことにより、調停に応じて共有するバスへの調整した区分データの送出量を抑制して画像表示の処理におけるレスポンスを向上させることができ、抑制して送出された区分データごとにどのように復元するか指示情報に応じた画像データの復元や各種の加工処理を行うことで本来用いる画像データ量を確保するとともに、区分データごとに施される加工によって少ない補正で済ませながら、区分データの価値をより高いものにして、画像データを所定の規格に合わせて出力して、所定の規格の出力に要する処理時間の短縮を図ることにより、アクセス回数が減ることから消費電力を低下させることができる。   According to the image processing control method of the present invention, the luminance component and the color component are separated, the image data is divided into a predetermined unit, the compensation for the sampling deviation of the divided image data is adjusted, and the data By changing the size to the size of a different section according to the specific information, the amount of adjusted section data sent to the bus shared according to arbitration is suppressed, and the response in image display processing is improved. In addition to ensuring the amount of image data originally used by performing image data restoration and various processing processes according to the instruction information, how to restore for each piece of divided data sent with suppression The image data is output in accordance with the specified standard by making the value of the segment data higher while reducing the amount of correction required for each process. By reducing the processing time required for the output of a predetermined standard, it is possible to reduce the power consumption because the number of accesses is reduced.

次に添付図面を参照して本発明による画像制御装置の実施例を詳細に説明する。図1を参照すると、本発明による画像制御装置の実施例は、画像制御装置10は、輝度成分と色成分とを分離し、所定の単位をひとまとめに画像データを区分し、区分した画像データのサンプリングのずれの補償を調整し、さらにデータサイズを異なる区分のサイズへの変更処理を固有の情報に応じて行うことにより(サブルーチンSUB1)、調停に応じて共有するバスへの調整した区分データの送出量を抑制して画像表示の処理におけるレスポンスを向上させ、抑制して送出された区分データごとにどのように復元するか指示情報に応じた画像データの復元や各種の加工処理を行うことで(サブルーチンSUB2)、本来用いる画像データ量を確保するとともに、区分データごとに施される加工によって少ない補正で済ませながら、区分データの価値をより高いものにして、画像データを所定の規格に合わせて出力して、所定の規格の出力に要する処理時間の短縮を図ることにより、アクセス回数が減ることから消費電力を低下させることができる。   Next, embodiments of the image control apparatus according to the present invention will be described in detail with reference to the accompanying drawings. Referring to FIG. 1, in the embodiment of the image control apparatus according to the present invention, the image control apparatus 10 separates the luminance component and the color component, classifies the image data in a predetermined unit, and sets the segmented image data. By adjusting the compensation for sampling deviation and changing the data size to the size of a different segment according to the specific information (subroutine SUB1), the adjusted segment data to the shared bus according to the arbitration By improving the response in the image display processing by suppressing the sending amount, how to restore for each segmented data that has been suppressed and sent, by performing image data restoration and various processing processes according to the instruction information (Subroutine SUB2), while securing the amount of image data originally used and reducing the amount of correction by processing applied to each division data, By making the image data higher and outputting the image data in accordance with a predetermined standard, and reducing the processing time required for outputting the predetermined standard, the power consumption can be reduced because the number of accesses is reduced.

本実施例は、本発明を適用したディジタルカメラ10である(図2を参照)。また、本発明と直接関係のない部分について図示および説明を省略する。ここで、信号の参照符号はその現れる接続線の参照番号で表す。   The present embodiment is a digital camera 10 to which the present invention is applied (see FIG. 2). Further, illustration and description of portions not directly related to the present invention are omitted. Here, the reference number of the signal is represented by the reference number of the connecting line that appears.

ディジタルカメラ10には、概略的に光学レンズ系10A、ドライバ10B、タイミング信号発生部10c、撮像部10d、前処理部10e、信号処理部10f、ストレージ部10gおよび画像制御処理部10hが含まれている。   The digital camera 10 schematically includes an optical lens system 10A, a driver 10B, a timing signal generation unit 10c, an imaging unit 10d, a preprocessing unit 10e, a signal processing unit 10f, a storage unit 10g, and an image control processing unit 10h. Yes.

光学レンズ系10Aは、たとえば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系10Aには、図示しないが、これら光学レンズの配置する位置を調節して画面の画角を図示しない操作部からの操作信号に応じて調節するズーム機構や被写体とカメラ10との距離に応じてピント調節する、AF(Automatic Focus:自動焦点)調節機構が含まれている。操作信号140は、後段で示すように、図28のカメラ10用のシステム制御部10jに供給される。光学レンズ系10Aには、図示しないがドライバ10Bから複数の駆動信号が供給されている。   The optical lens system 10A is configured by combining a plurality of optical lenses, for example. Although not shown, the optical lens system 10A adjusts the position where these optical lenses are arranged, and adjusts the angle of view of the screen in accordance with an operation signal from an operation unit (not shown), and the distance between the subject and the camera 10. It includes an AF (Automatic Focus) adjustment mechanism that adjusts the focus according to the focus. The operation signal 140 is supplied to the system control unit 10j for the camera 10 in FIG. Although not shown, the optical lens system 10A is supplied with a plurality of drive signals from a driver 10B.

ドライバ10Bには、タイミング信号発生部(Timing signal Generator)10cから各種タイミング信号が供給されている。ドライバ10Bは、Vドライバ、廃棄信号生成部および転送信号生成部を有している。通常の露光モードでのドライバ10Bの動作を説明する。Vドライバは信号電荷の垂直転送に対応して3値レベル(H, M, L)の信号を生成する回路であり、光電変換する素子に対してバイアス電圧を供給している。Vドライバには、たとえばフィールドシフトゲートパルス等のタイミング信号がタイミング信号発生部10cから垂直駆動に係る信号として撮像部10dに供給されている。廃棄信号生成部は、リセットドレインおよびオーバーフロードレインのそれぞれが要求時にこれらを介して余分な信号電荷を基板に逃がす機能を果たすように廃棄信号を撮像部10dに出力する。   Various timing signals are supplied to the driver 10B from a timing signal generator 10c. The driver 10B includes a V driver, a discard signal generation unit, and a transfer signal generation unit. The operation of the driver 10B in the normal exposure mode will be described. The V driver is a circuit that generates a ternary level (H, M, L) signal corresponding to the vertical transfer of signal charges, and supplies a bias voltage to the photoelectric conversion element. For example, a timing signal such as a field shift gate pulse is supplied from the timing signal generator 10c to the imaging unit 10d as a signal related to vertical driving. The discard signal generation unit outputs a discard signal to the imaging unit 10d so that each of the reset drain and the overflow drain performs a function of releasing excess signal charges to the substrate through these when requested.

また、転送信号生成部は転送信号として垂直転送信号φV、水平転送信号φHおよびリセットパルスφRを生成する回路である。転送信号生成部は、素子内に蓄積した信号電荷を固体撮像素子101cに形成されている転送レジスタ内へのフィールドシフト、転送レジスタ内での多相駆動による転送、ラインシフト等を順次行わせて信号電荷を転送させるとともに、所定のタイミングでリセットパルスを供給して撮像部22の素子内に蓄積している信号電荷を廃棄している。このように撮像部10dは、タイミング信号発生部10cから供給されるタイミング信号およびドライバ10Bからの駆動信号に応じて動作する。タイミング信号発生部10cは、前処理部10eや信号発生部10fにもそれぞれのタイミング信号を供給している。   The transfer signal generation unit is a circuit that generates a vertical transfer signal φV, a horizontal transfer signal φH, and a reset pulse φR as transfer signals. The transfer signal generation unit sequentially performs the signal shift accumulated in the element to the field shift into the transfer register formed in the solid-state imaging device 101c, the transfer by multiphase driving in the transfer register, the line shift, etc. In addition to transferring the signal charge, a reset pulse is supplied at a predetermined timing to discard the signal charge accumulated in the element of the imaging unit 22. Thus, the imaging unit 10d operates according to the timing signal supplied from the timing signal generation unit 10c and the drive signal from the driver 10B. The timing signal generation unit 10c also supplies the respective timing signals to the preprocessing unit 10e and the signal generation unit 10f.

具体的に図示していないが、操作部には、レリーズシャッタボタンやたとえばモニタ画面に表示される項目を選択する選択機能等が備えられている。レリーズシャッタボタンの操作は、撮像タイミングの供給とともに、複数の段階(S1, S2)のそれぞれでのカメラ10の操作を行うように撮像に関する予備撮像と本撮像撮像とをボタンの押込み具合いにより選択する。操作部は、半押しの予備撮像モードと全押しの静止画撮像のモードのいずれが選択されたかを操作信号140によりシステム制御部10jに出力して報知する(図28を参照)。   Although not specifically illustrated, the operation unit is provided with a release shutter button, a selection function for selecting an item displayed on the monitor screen, and the like. For the operation of the release shutter button, along with the supply of the imaging timing, the preliminary imaging related to imaging and the main imaging imaging are selected by pressing the button so that the camera 10 is operated at each of a plurality of stages (S1, S2). . The operation unit outputs to the system control unit 10j by an operation signal 140 to notify which of the half-press preliminary imaging mode and the full-press still image imaging mode is selected (see FIG. 28).

また、レリーズシャッタボタンが半押し操作された場合、システム制御部10jは、図示しないが光学レンズ系10Aに対してAF駆動制御を行う。このとき、システム制御部10jは、検出した信号から光学レンズ系10Aのフォーカスサーボ調整にともなって移動させる方向を求めて制御信号をAF駆動制御部(図示せず)に供給し、AF駆動制御部で制御方向に光学レンズ系10Aのレンズを移動させるように駆動信号を生成する。AF駆動制御部は、このような制御を行うように生成した駆動信号を光学レンズ系10Aの移動機構に出力する。AF駆動制御部はこの駆動制御を行うことにより光学レンズ系10Aを最適なフォーカス位置に到達するように位置調節することができる。   When the release shutter button is pressed halfway, the system control unit 10j performs AF drive control on the optical lens system 10A (not shown). At this time, the system control unit 10j obtains a direction to be moved along with the focus servo adjustment of the optical lens system 10A from the detected signal, and supplies a control signal to an AF drive control unit (not shown), and the AF drive control unit Then, a drive signal is generated so as to move the lens of the optical lens system 10A in the control direction. The AF drive control unit outputs a drive signal generated so as to perform such control to the moving mechanism of the optical lens system 10A. The AF drive control unit can adjust the position of the optical lens system 10A so as to reach the optimum focus position by performing this drive control.

同様に、予備撮像のモードにおいてシステム制御部10jは、AE(Automatic Exposure control:自動露出調節)機構駆動制御用に制御信号およびAE評価値に基づく絞り・シャッタ速度(露光時間)のデータを供給する。図示しないが、AE駆動制御部は、絞り機構およびメカシャッタの駆動に対して供給される制御信号およびデータに応動して駆動信号を生成し、この生成した駆動信号を出力する。なお、AE評価値は、撮像部10dの複数の部分領域および/または中央領域から得られた信号電荷を測光信号として読み出して、前処理部10eを介して信号処理部10fに供給し、供給されるディジタル信号に対する信号処理を行って算出される。   Similarly, in the preliminary imaging mode, the system control unit 10j supplies aperture / shutter speed (exposure time) data based on a control signal and an AE evaluation value for AE (Automatic Exposure Control) mechanism drive control. . Although not shown, the AE drive control unit generates a drive signal in response to a control signal and data supplied for driving the aperture mechanism and the mechanical shutter, and outputs the generated drive signal. The AE evaluation value is supplied by reading the signal charges obtained from the plurality of partial areas and / or the central area of the imaging unit 10d as a photometric signal and supplying it to the signal processing unit 10f via the preprocessing unit 10e. It is calculated by performing signal processing on the digital signal.

撮像部10dには、光学ローパスフィルタ101a、色フィルタ101bおよび固体撮像素子101cが含まれている。光学ローパスフィルタ101aは、入射光の空間周波数をナイキスト周波数以下にする光学フィルタである。色フィルタ101bは、三原色RGBの色フィルタセグメントが固体撮像素子101cの個々の撮像素子と一対一に所定の位置関係に配されたフィルタである。したがって、色フィルタ101bは、固体撮像素子101cの撮像素子の配置に依存する。固体撮像素子101cを各画素ずらしして配置する、いわゆるハニカム配置の場合もある。このような場合の色フィルタ101bには、たとえば、ハニカム用のG正方RB完全市松パターン等が用いられる。色フィルタ101bは、三原色RGBに限定するものでなく、補色系の色フィルタセグメントであってもよい。ただし、この場合、後段の信号処理には補色を原色に変換する処理が追加される。   The imaging unit 10d includes an optical low-pass filter 101a, a color filter 101b, and a solid-state imaging device 101c. The optical low-pass filter 101a is an optical filter that makes the spatial frequency of incident light equal to or lower than the Nyquist frequency. The color filter 101b is a filter in which the color filter segments of the three primary colors RGB are arranged in a predetermined positional relationship one-on-one with the individual image sensors of the solid-state image sensor 101c. Therefore, the color filter 101b depends on the arrangement of the image sensor of the solid-state image sensor 101c. There may be a so-called honeycomb arrangement in which the solid-state image pickup element 101c is arranged by shifting each pixel. For the color filter 101b in such a case, for example, a G square RB complete checkered pattern for honeycomb is used. The color filter 101b is not limited to the three primary colors RGB but may be a complementary color filter segment. However, in this case, a process for converting a complementary color into a primary color is added to the subsequent signal processing.

固体撮像素子101cには、CCD (Charge Coupled Device)型やMOS (Metal Oxide Semiconductor)型がある。本実施例ではCCD型が用いられ、固体撮像素子101cは入射光を光電変換して信号電荷を生成している。図示しないが撮像素子のアレイ配置は垂直および水平方向の画素間隔をピッチとして2次元配置されている。上述したハニカム配置では、互いに隣接する素子間隔が垂直および水平方向に半ピッチずつ画素がずれている。ハニカム配置では、この配置に合わせて信号電荷を垂直方向に転送する垂直転送レジスタが、隣接する素子を迂回するように蛇行またはジグザグに形成されている。   The solid-state imaging device 101c includes a CCD (Charge Coupled Device) type and a MOS (Metal Oxide Semiconductor) type. In this embodiment, a CCD type is used, and the solid-state imaging device 101c photoelectrically converts incident light to generate a signal charge. Although not shown, the array arrangement of the image sensors is two-dimensionally arranged with pixel intervals in the vertical and horizontal directions as pitches. In the honeycomb arrangement described above, the pixels are displaced from each other by a half pitch in the vertical and horizontal directions between adjacent elements. In the honeycomb arrangement, a vertical transfer register that transfers signal charges in the vertical direction according to this arrangement is formed in a meandering or zigzag manner so as to bypass adjacent elements.

水平転送レジスタは、垂直転送レジスタと直交する方向に形成されている。水平転送レジスタは供給される信号電荷を出力アンプに向けて転送する。出力アンプは、信号電荷(Q)を電圧(V)に変換して出力する。固体撮像素子101cは、実際の入射光に対する露光、信号電荷の転送、素子のリセット等をドライバ10Bから供給される駆動信号に応動して行う。撮像部10dは、撮像信号101dを前処理部10eに出力する。   The horizontal transfer register is formed in a direction orthogonal to the vertical transfer register. The horizontal transfer register transfers the supplied signal charge toward the output amplifier. The output amplifier converts the signal charge (Q) into a voltage (V) and outputs it. The solid-state imaging device 101c performs exposure to actual incident light, transfer of signal charges, resetting of the device, and the like in response to a drive signal supplied from the driver 10B. The imaging unit 10d outputs the imaging signal 101d to the preprocessing unit 10e.

前処理部10eには、図示しないが相関二重サンプリング回路、アンプ、クランプ回路、前置白バランス調整回路、色分離回路および A/D変換部が含まれている。前処理部10eは、図示しないが、システム制御部10jの制御を受けるとともに、タイミング信号発生部10cから供給される各種のタイミング信号に応じて動作する。相関二重サンプリング回路は、供給される信号が含む低周波のノイズ成分を除去する。ノイズ除去された信号はアンプでのAGC (Automatic Gain Control)による増幅により波形整形され、クランプ回路では波形整形した信号をあらかじめ規定した基準レベルに固定される。前置白バランス調整回路は、たとえば、光学調整用の白バランスセンサでの検出結果に応じた制御をクランプした信号に対して前置白バランス調整を施す。前置白バランス調整は原色または補色系を考慮して行うとよい。色分離回路は白バランス調整した信号が有する三原色RGBのうちの各色ごとに分離する。A/D変換部は各色のアナログ信号をディジタル信号101eに変換して信号処理部10fに出力する。   Although not shown, the pre-processing unit 10e includes a correlated double sampling circuit, an amplifier, a clamp circuit, a pre-white balance adjustment circuit, a color separation circuit, and an A / D conversion unit. Although not shown, the preprocessing unit 10e is controlled by the system control unit 10j and operates according to various timing signals supplied from the timing signal generation unit 10c. The correlated double sampling circuit removes a low-frequency noise component included in the supplied signal. The signal from which noise has been removed is waveform-shaped by amplification by AGC (Automatic Gain Control) in the amplifier, and the clamped circuit fixes the waveform-shaped signal to a predetermined reference level. For example, the front white balance adjustment circuit performs front white balance adjustment on a signal obtained by clamping control according to a detection result of a white balance sensor for optical adjustment. The front white balance adjustment may be performed in consideration of the primary color or the complementary color system. The color separation circuit separates each of the three primary colors RGB included in the white balance adjusted signal. The A / D converter converts each color analog signal into a digital signal 101e and outputs it to the signal processor 10f.

信号処理部10fは、画像信号処理部で、RISC(Reduced Instruction Set Computer:縮小命令セットコンピュータ)チップである。このチップ内には、図示しないが前処理バッファ部、画像処理部、D/A部、PLL (Phase Locked Loop)回路、および圧縮伸長部が含まれている。信号処理部10fは、システム制御部10jからの制御信号101jが共有バス32を介して供給され、この制御に応動して動作している。   The signal processing unit 10f is an image signal processing unit and is a RISC (Reduced Instruction Set Computer) chip. This chip includes a pre-processing buffer unit, an image processing unit, a D / A unit, a PLL (Phase Locked Loop) circuit, and a compression / decompression unit (not shown). The signal processing unit 10f is supplied with the control signal 101j from the system control unit 10j via the shared bus 32 and operates in response to this control.

前処理バッファ部には、ディジタルデータに変換した画像データ101eが入力され、一時的に記憶される。前処理バッファ部には、たとえばガンマ補正用のルックアップテーブルが含まれている。前処理部は、前処理の一つとして格納している画像データをテーブルのデータを用いてガンマ補正する。画像処理部は、ハニカムタイプの固体撮像素子101cが撮像部10dに用いられている場合、このガンマ補正した画像データを用いて実際に画素の存在する位置(実画素)や画素の存在しない位置(仮想画素)に三原色RGB の画素データを補間処理により生成する。また、画像処理部は、上述した各画素における三原色RGB のデータおよび高周波成分を含む高輝度データYHの生成を行って得られた画像データにマトリクス処理を施す。画像処理部はマトリクス処理を施して得られた画像データY, Cr, Cbを生成する。 Image data 101e converted to digital data is input to the preprocessing buffer and temporarily stored. The preprocessing buffer unit includes a lookup table for gamma correction, for example. The preprocessing unit performs gamma correction on the image data stored as one of the preprocessing using the data in the table. When the honeycomb type solid-state imaging device 101c is used for the imaging unit 10d, the image processing unit uses the gamma-corrected image data to actually position a pixel (actual pixel) or a position where no pixel exists ( The pixel data of the three primary colors RGB is generated by interpolation processing in the virtual pixel). The image processing unit performs matrix processing on the image data obtained by generating the high-luminance data Y H including the three primary color RGB data and the high-frequency component in each pixel described above. The image processing unit generates image data Y, C r , and C b obtained by performing matrix processing.

画像処理部は、予備撮像およびムービーモードの際にガンマ補正した画像データを間引いて画像データY, Cr, Cbを生成し、静止画撮影モードでは前述した補間処理を駆使して画素数を増やして画像データY, Cr, Cbを生成する。画像処理部は、これらのモードおよびモニタの表示画素数等を考慮した画像データに調整して、間引いた画像データを画像制御処理部10hに供給し、処理された画像データをD/A部に供給する。D/A部は供給された画像データをアナログ信号に変換する。D/A変換部はアナログ信号をモニタに出力する。 The image processing unit generates image data Y, C r , and C b by thinning out image data that has been subjected to gamma correction in the preliminary imaging and movie modes, and in the still image shooting mode, the number of pixels is set using the interpolation process described above. The image data Y, C r and C b are generated by increasing. The image processing unit adjusts the image data in consideration of these modes and the number of display pixels of the monitor, supplies the thinned image data to the image control processing unit 10h, and processes the processed image data to the D / A unit. Supply. The D / A unit converts the supplied image data into an analog signal. The D / A converter outputs an analog signal to the monitor.

PLL回路は、信号発生部から供給されるクロック信号(図示せず)を入力し、位相管理しながら逓倍して信号処理部10f内で使用する所望の周波数を生成している。PLL回路は要求される動作速度に応じた周波数の信号を信号処理部10f内の各部に供給している。圧縮伸長部は、たとえば、直交変換を用いたJPEG(Joint Photographic image coding Experts Group)規格での圧縮を画像データに施すエンコード回路と、この圧縮した画像データを再び元のデータに伸長するデコード回路とを有する。圧縮伸長部は、システム制御部10jの制御により記録時には圧縮したデータ101fを共有バス32、信号線101gを介してストレージ部10gに供給する。また、圧縮伸長部が伸長処理を行う場合、逆にストレージ部10gから信号線101g、共有バス32を介して圧縮伸長部にデータを取り込んで処理する。圧縮伸長処理を行う際に前置バッファ部に画像データを一時的に格納する記憶部として用いてもよい。ここで、伸長処理されたデータは、画像制御処理部10h、D/A変換部を介してモニタに表示させる。   The PLL circuit receives a clock signal (not shown) supplied from the signal generator and multiplies it while managing the phase to generate a desired frequency to be used in the signal processor 10f. The PLL circuit supplies a signal having a frequency corresponding to a required operation speed to each unit in the signal processing unit 10f. The compression / decompression unit includes, for example, an encoding circuit that compresses image data according to the JPEG (Joint Photographic image coding Experts Group) standard using orthogonal transform, and a decoding circuit that decompresses the compressed image data back to the original data. Have The compression / decompression unit supplies the compressed data 101f to the storage unit 10g via the shared bus 32 and the signal line 101g during recording under the control of the system control unit 10j. On the other hand, when the compression / decompression unit performs the decompression process, data is fetched from the storage unit 10g to the compression / decompression unit via the signal line 101g and the shared bus 32 and processed. You may use as a memory | storage part which stores image data temporarily in a front buffer part, when performing a compression / decompression process. Here, the decompressed data is displayed on the monitor via the image control processing unit 10h and the D / A conversion unit.

信号処理部10fは、このように画像処理を施して画像データを生成し、圧縮データに限らず前述した機能が駆使されたデータが共有バス32を介して各部に出力している。   The signal processing unit 10f performs image processing in this way to generate image data, and outputs not only the compressed data but also data using the above-described functions to each unit via the shared bus 32.

ストレージ部10gには、基本的に記録媒体に記録する記録処理機能と、記録媒体から記録した画像データを読み出す再生処理機能とを含む(ともに図示せず)。また、ストレージ部10gには、ハードディスクインターフェースの規格の一つであるATA (AT Attachment)規格のインターフェースが用いられている。また、ストレージ部10gには、記録媒体として、たとえば、いわゆる、スマートメディア(登録商標)のような半導体メモリや磁気ディスク、光ディスク等がある。これら記録媒体のうち、磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部とともに、この画像データを書き込むヘッドが配設されている。   The storage unit 10g basically includes a recording processing function for recording on a recording medium and a reproduction processing function for reading image data recorded from the recording medium (both not shown). The storage unit 10g uses an ATA (AT Attachment) standard interface, which is one of the hard disk interface standards. The storage unit 10g includes, for example, a so-called smart memory (registered trademark) semiconductor memory, a magnetic disk, an optical disk, and the like as a recording medium. Among these recording media, when a magnetic disk or an optical disk is used, a head for writing the image data is provided along with a modulation unit for modulating the image data.

画像制御処理部10hには、タイミング調節部12、画像メモリ14、メモリ制御部16、バス調停部18、表示シーケンサ20、CPU 22、DMA制御部24、信号入力部26、エンコード処理部28、データ修正部30および外部I/F部31が備えられている。画像制御処理部10hは、画像メモリ14に記憶した画像データを的確に、たとえば、放送規格に合うように読み出し、表示装置に制御して転送する装置である。一般的に、画像制御処理部10hは、本実施例のディジタルカメラだけでなく、たとえば画像処理装置や画像表示装置やプリンタ等に組み込んで用いるとよい。画像制御処理部10hも信号処理部10fのようにチップ化されることが望ましい。   The image control processing unit 10h includes a timing adjustment unit 12, an image memory 14, a memory control unit 16, a bus arbitration unit 18, a display sequencer 20, a CPU 22, a DMA control unit 24, a signal input unit 26, an encoding processing unit 28, data A correction unit 30 and an external I / F unit 31 are provided. The image control processing unit 10h is a device that reads the image data stored in the image memory 14 accurately, for example, in conformity with the broadcast standard, and controls and transfers it to the display device. In general, the image control processing unit 10h may be used by being incorporated in, for example, an image processing apparatus, an image display apparatus, a printer, or the like as well as the digital camera of the present embodiment. It is desirable that the image control processing unit 10h is also formed into a chip like the signal processing unit 10f.

上述した構成要素は全体として後述するシステム制御部10jにより制御されている。このシステム制御部10jの制御機能をも持たせることができれば、CPU 22に持たせるようにしてもよい。   The above-described components are controlled as a whole by a system control unit 10j described later. If the control function of the system control unit 10j can be provided, the CPU 22 may be provided.

本実施例においてCPU 22は、後述するように画像データに対してどのような処理を行うかを示す指示データ(指示情報)32a を出力している。そして、これらの構成要素のうち、特に、メモリ制御部16は、タイミング調節部12、画像メモリ14、バス調停部18および表示シーケンサ20に対して制御を行っている。また、メモリ制御部16は、単に制御するだけでなく、バス調停部18、表示シーケンサ20および後述する外部の制御装置によって供給されるコマンドで応動もする。   In this embodiment, the CPU 22 outputs instruction data (instruction information) 32a indicating what kind of processing is performed on the image data as will be described later. Among these components, the memory control unit 16 particularly controls the timing adjustment unit 12, the image memory 14, the bus arbitration unit 18, and the display sequencer 20. The memory control unit 16 not only controls, but also responds with commands supplied by the bus arbitration unit 18, the display sequencer 20, and an external control device described later.

外部の制御装置として、本実施例では、ダイレクトメモリアクセス(Direct Memory Access:以下、DMAと略す)制御部24、信号入力部26および外部I/F部31を含んでいる。画像制御処理部10hは、メモリ制御部16、バス調停部18、表示シーケンサ20、CPU 22、DMA制御部24、信号入力部26および外部I/F部31が共有バス32に接続されている。共有バス32には、本実施例においてデータおよび動作の制御に加えて、たとえば、後述するようにCPU 22から供給される固有の情報に含まれる指示データ32aが供給できるようにバス幅の拡張および/または独立した専用線が追加されている。共有バス32から分岐した信号線32aがこの専用線を示している(図2を参照)。また、バス幅の拡張は図5に示している。   In this embodiment, the external control device includes a direct memory access (hereinafter abbreviated as DMA) control unit 24, a signal input unit 26, and an external I / F unit 31. In the image control processing unit 10h, a memory control unit 16, a bus arbitration unit 18, a display sequencer 20, a CPU 22, a DMA control unit 24, a signal input unit 26, and an external I / F unit 31 are connected to a shared bus 32. In addition to the control of data and operations in the present embodiment, the shared bus 32 has an expansion and bus width so that, for example, instruction data 32a included in unique information supplied from the CPU 22 can be supplied as described later. An independent dedicated line has been added. A signal line 32a branched from the shared bus 32 indicates this dedicated line (see FIG. 2). Further, the expansion of the bus width is shown in FIG.

次に各構成要素について説明する。タイミング調節部12には、画像制御用のタイミング信号発生部12aおよびバッファメモリ部12bが含まれている。本実施例のタイミング信号発生部12aには、図示しないが放送規格でよく用いられるクロック4fSCを第1クロック10aとし、第2クロック10bとしてクロック4fSCよりも高い周波数のクロックを生成する発振器をそれぞれ、有している。クロック4fSCとは、たとえばNTSC(National Television System Committee)方式で用いるサブキャリア周波数fSC=3.579545MHzの4倍、すなわち14.31818MHzである。このクロック10aは、バッファメモリ部12bに供給され、バッファメモリ部12bから出力される画像データにエンコード処理を施すエンコード処理部28にも供給される。 Next, each component will be described. The timing adjustment unit 12 includes a timing signal generation unit 12a for image control and a buffer memory unit 12b. The timing signal generator 12a of the present embodiment includes an oscillator that generates a clock having a frequency higher than that of the clock 4f SC as the second clock 10b, although the clock 4f SC that is often used in the broadcast standard is not shown. Each has. The clock 4f SC is, for example, four times the subcarrier frequency f SC = 3.579545 MHz used in the NTSC (National Television System Committee) system, that is, 14.31818 MHz. The clock 10a is supplied to the buffer memory unit 12b, and is also supplied to an encoding processing unit 28 that performs an encoding process on the image data output from the buffer memory unit 12b.

これに対して、第2クロック10bは、上述した条件を満たす高周波信号であればよい。本実施例では、50MHzに近い高周波信号を生成し、用いている。図2に示すように、このクロック10bは、バッファメモリ部12b、画像メモリ14および表示シーケンサ20に供給されている。図示していないが、共有バス32を介して他の要素にも供給されている。   On the other hand, the second clock 10b may be a high-frequency signal that satisfies the above-described conditions. In this embodiment, a high frequency signal close to 50 MHz is generated and used. As shown in FIG. 2, the clock 10b is supplied to the buffer memory unit 12b, the image memory 14, and the display sequencer 20. Although not shown, it is also supplied to other elements via the shared bus 32.

なお、サブキャリア周波数を逓倍した周波数関係を用いる場合、タイミング調節部12は第2クロックを原発にし、得られる第2クロックを分周して用いるとよい。これにより発振器を一つで済ますことができる。しかしながら、両クロックは必ずしも同期関係を保たれていなくてもよい。   In addition, when using the frequency relationship which multiplied the subcarrier frequency, it is good for the timing adjustment part 12 to use the 2nd clock obtained as a primary, and to divide and use the obtained 2nd clock. This makes it possible to use only one oscillator. However, both clocks do not necessarily have to be kept in synchronization.

バッファメモリ部12bには、複数のFIFO(First-In First-Out)メモリが備えられている。一つのFIFOメモリが出力しているとき、残りのFIFOメモリには供給される画像メモリの1水平ライン分のデータ書込みが行われている。このことからもわかるようにFIFOメモリは少なくとも2つ、すなわち2ライン分用意している。しかしながら、FIFOメモリは2ラインに限定されるものでない。バッファメモリ部12bのより詳細な構成は後段で説明する。   The buffer memory unit 12b is provided with a plurality of first-in first-out (FIFO) memories. When one FIFO memory is outputting, data for one horizontal line of the supplied image memory is written into the remaining FIFO memory. As can be seen from this, at least two FIFO memories, that is, two lines are prepared. However, the FIFO memory is not limited to two lines. A more detailed configuration of the buffer memory unit 12b will be described later.

画像メモリ14は、同期式揮発性ランダムアクセスメモリ(Synchronous Dynamic Random Access Memory:SDRAMと略す)または揮発性ランダムアクセスメモリ(Dynamic Random Access Memory:DRAMと略す)を用いている。両者の違いはメモリの制御が同期式と非同期式と異なっている点にある。大量の画像データを扱う要求等から、画像メモリ14は複数のバンクで構成する。このように構成するとともに、画像メモリ14にSDRAMを用いると、画像メモリ14は、コマンド(リクエスト信号等)によるアクセス方式が行われることにより、バンクごとに独立した制御が行える。また、この場合、通常のDRAMの動作に比べてバンクごとのインターリーブ動作も行わせることが可能になる。画像メモリ14には、第2のクロック10bが供給されている。   As the image memory 14, a synchronous volatile random access memory (abbreviated as SDRAM) or a volatile random access memory (abbreviated as DRAM) is used. The difference between the two is that the memory control is different from synchronous and asynchronous. Due to demands for handling a large amount of image data, the image memory 14 is composed of a plurality of banks. When the SDRAM is used for the image memory 14 with such a configuration, the image memory 14 can perform independent control for each bank by performing an access method using a command (request signal or the like). In this case, interleave operation for each bank can be performed as compared with normal DRAM operation. The image memory 14 is supplied with a second clock 10b.

メモリ制御部16は、画像メモリ14への画像データの入出力を制御し、画像メモリ14のリフレッシュ処理の指示(REF_REQP=1)も出している。メモリ制御部16には、このリフレッシュ処理を行えるようにリフレッシュタイマを有している。メモリ制御部16は、自己の設定および各部に対する制御等を行うように、たとえば、初期設定機能部16a、表示制御機能部16b、バス制御機能部16c、およびリフレッシュ機能部16dを有する(図3を参照)。   The memory control unit 16 controls input / output of image data to / from the image memory 14 and also issues a refresh processing instruction (REF_REQP = 1) for the image memory 14. The memory control unit 16 has a refresh timer so that this refresh process can be performed. The memory control unit 16 includes, for example, an initial setting function unit 16a, a display control function unit 16b, a bus control function unit 16c, and a refresh function unit 16d so as to perform its own setting and control of each unit (see FIG. 3). reference).

メモリ制御部16は、共有バス32とが信号線16eを介して接続されている。また、メモリ制御部16は、画像メモリ14と信号線16fを介して画像データの入出力およびその制御を行う。そして、メモリ制御部16は、バッファメモリ部12bと信号線16gによって接続されている。この信号線16gには、たとえば信号線16eを介して供給される画像データ、および制御データに加えてバッファメモリ部12bの制御を行う各種の制御信号が含まれている。図3に示した各機能部16a〜16dの機能には、ハードウェア構成およびソフトウェア的な手法によりどのように動作するか条件に基づく処理手順が含まれている。   The memory control unit 16 is connected to the shared bus 32 via a signal line 16e. The memory control unit 16 inputs / outputs image data and controls the image data via the image memory 14 and the signal line 16f. The memory control unit 16 is connected to the buffer memory unit 12b by a signal line 16g. The signal line 16g includes various control signals for controlling the buffer memory unit 12b in addition to image data and control data supplied via the signal line 16e, for example. The functions of the functional units 16a to 16d shown in FIG. 3 include a processing procedure based on conditions on how to operate according to a hardware configuration and a software method.

初期設定機能部16aは、画像制御処理部10hに初めて電源供給された場合やリセットがかけられた際の立上り時にあらかじめ設定している条件(パラメータ)に各部を設定する機能である。   The initial setting function unit 16a is a function for setting each unit to conditions (parameters) set in advance when power is supplied to the image control processing unit 10h for the first time or when a reset is applied.

表示制御機能部16bは、表示する上での画像データの読出し順序をどのように考慮して行うかコマンドの供給に応動して表示制御する機能部である。バス制御機能部16cは、本実施例においてバス制御機能部16cを除く、初期設定機能部16a、表示制御機能部16b、リフレッシュ機能部16d、図示しない外部のCPUの書込み機能部および読出し機能部、ならびにDMA制御部24のDMA機能部のいずれの機能部がバス占有できるかを各機能部の持つ優先度に応じて許可選択を行い、この選択に応じてイネーブルにする情報を出力する機能部である。   The display control function unit 16b is a function unit that performs display control in response to the supply of a command as to how image data reading order for display is taken into consideration. The bus control function unit 16c is an initial setting function unit 16a, a display control function unit 16b, a refresh function unit 16d, a write function unit and a read function unit of an external CPU (not shown), excluding the bus control function unit 16c in this embodiment, In addition, the functional unit that selects which functional unit of the DMA functional unit of the DMA control unit 24 can occupy the bus according to the priority of each functional unit and outputs information to be enabled according to this selection is there.

リフレッシュ機能部16dは、リフレッシュタイマ(図示せず)からの情報に応じて画像メモリ14をリフレッシュさせる機能を有する。   The refresh function unit 16d has a function of refreshing the image memory 14 in accordance with information from a refresh timer (not shown).

図2に戻って、バス調停部18は、このバス制御機能部16cにより許可選択してイネーブルにされた際に、あらかじめ設定されていた優先度に応じた許可の可否情報を出力する。図2が示すように、バス調停部18は、上述した表示シーケンサ20、CPU 22、DMA制御部24、信号入力部26、外部I/F部31がそれぞれ入出力ラインで結ばれている。バス調停部18は、バス占有要求の情報を優先度に応じて判断し、バス占有許可の情報を対象に出力する。画像制御処理部10hにおいてメモリ制御部16のリフレッシュ処理が最も高い優先度として割りつけられている。それぞれの優先度の許可選択については後段の動作において詳述する。   Returning to FIG. 2, the bus arbitration unit 18 outputs permission permission / prohibition information corresponding to a preset priority when the permission is selected and enabled by the bus control function unit 16c. As shown in FIG. 2, in the bus arbitration unit 18, the above-described display sequencer 20, CPU 22, DMA control unit 24, signal input unit 26, and external I / F unit 31 are connected by input / output lines. The bus arbitration unit 18 determines the bus occupancy request information according to the priority, and outputs the bus occupancy permission information as a target. In the image control processing unit 10h, the refresh processing of the memory control unit 16 is assigned as the highest priority. The permission selection for each priority will be described in detail in the subsequent operation.

表示シーケンサ20には、データ分離部20a、色信号選択部20b、ペア生成部20cおよびパケットサイズ制御部20dが備えられている(図4を参照)。表示シーケンサ20は、供給される要求信号(DISP_REQ)に応じて動作を開始する。データ分離部20aには、画像メモリ14から供給される16ビットの読み出した画像データ34を8ビットずつのデータに分けてラッチするデータ保持部200a, 202a, 204aがある。データ保持部200aは、供給される16ビットの読出しデータのうち、8ビットを輝度イネーブルYENのイネーブル期間中にクロックCLKの立上りエッジで取り込むとともに、このエッジに応じて取り込んだデータを出力する。この8ビットのデータが輝度データY (36)である。また、分離した残りの8ビットの画像データはデータ保持部202a, 204aにそれぞれ供給される。データ保持部202aは、供給される色RイネーブルCRENのイネーブル期間中にクロックCLKの立上りエッジで取り込むとともに、このエッジに応じて取り込んだデータを出力する。データ保持部204aは、供給される色BイネーブルCBENのイネーブル期間中にクロックCLKの立上りエッジで取り込むとともに、このエッジに応じて取り込んだデータを出力する。供給する各イネーブル期間に応じて分離して一時的に保持した輝度データ36を、データ保持部200aはペア生成部20cに供給し、データ保持部202a, 204aは、それぞれ色データCR, CB(38, 40)を色信号選択部20bに供給する。 The display sequencer 20 includes a data separation unit 20a, a color signal selection unit 20b, a pair generation unit 20c, and a packet size control unit 20d (see FIG. 4). The display sequencer 20 starts to operate in response to the supplied request signal (DISP_REQ). The data separation unit 20a includes data holding units 200a, 202a, and 204a that divide and latch the 16-bit read image data 34 supplied from the image memory 14 into 8-bit data. The data holding unit 200a captures 8 bits of the supplied 16-bit read data at the rising edge of the clock CLK during the enable period of the luminance enable YEN, and outputs the captured data according to this edge. This 8-bit data is luminance data Y (36). The remaining 8-bit image data separated is supplied to the data holding units 202a and 204a, respectively. The data holding unit 202a captures at the rising edge of the clock CLK during the enable period of the supplied color R enable CREN, and outputs the captured data according to this edge. The data holding unit 204a captures at the rising edge of the clock CLK during the enable period of the supplied color B enable CBEN, and outputs the captured data according to this edge. Luminance data 36 separated and temporarily held according to each enable period to be supplied is supplied from the data holding unit 200a to the pair generation unit 20c, and the data holding units 202a and 204a are respectively supplied with the color data C R and C B. (38, 40) is supplied to the color signal selector 20b.

色信号選択部20bは、拡大/縮小表示または等倍の要求があった場合、供給される色データCR, CBを輝度データYとペアを組む際の対応関係が取れる色の色データ42を選択してペア生成部20cに供給する。この選択には、色CRと色CBを選択する色選択信号RLBが供給される。この色選択のタイミング等については後段で詳述する。 The color signal selection unit 20b, when there is a request for enlargement / reduction display or equal magnification, the color data 42 of the color that can take the corresponding relationship when the supplied color data C R and C B are paired with the luminance data Y Is selected and supplied to the pair generation unit 20c. The selection, color selection signal RLB to select a color C R and the color C B is supplied. The color selection timing will be described in detail later.

ペア生成部20cは、データラッチで構成される。ペア生成部20cには、供給される8ビットの輝度データY (36)と選択した8ビットの色データ色CR/色CBのいずれか(42)とを合わせた16ビットの画像データ44が供給される。供給される画像データ44をペア生成部20cは、データイネーブルDENのイネーブル期間に供給されるクロックCLKの立上りエッジで取り込む。そして、この期間中に供給されるクロックCLKの立上りエッジで一時的に保持した画像データ46をパケットサイズ制御部20dに出力する。 The pair generation unit 20c is configured by a data latch. The pair generation unit 20c, the image data 44 of one (42) and a 16-bit combined 8-bit luminance data Y (36) 8-bit color data color and the selected C R / color C B supplied Is supplied. The pair generation unit 20c captures the supplied image data 44 at the rising edge of the clock CLK supplied during the enable period of the data enable DEN. Then, the image data 46 temporarily held at the rising edge of the clock CLK supplied during this period is output to the packet size control unit 20d.

パケットサイズ制御部20dには、ヘッダ情報解析部206a, 小区分機能部208a, 大区分機能部210aおよび最適サイズ区分機能部212aが備えられている。ヘッダ情報解析部206aは、供給される画像データ46の、たとえば、先頭位置に画像全体のサイズ、日付等の個々の情報を解析し、解析した結果に基づいて通常のサイズの場合を除き、小区分機能部208a, 大区分機能部210aおよび最適サイズ区分機能部212aのいずれか一つをイネーブルにするコード48を供給する。小区分機能部208a, 大区分機能部210aおよび最適サイズ区分機能部212aにもそれぞれ画像データ46が供給されている。ヘッダ情報解析部206aは、通常のサイズ(M)の場合、そのまま区分を変えることなく、出力する。   The packet size control unit 20d includes a header information analysis unit 206a, a small classification function unit 208a, a large classification function unit 210a, and an optimum size classification function unit 212a. The header information analysis unit 206a analyzes individual information such as the size and date of the entire image at the head position of the supplied image data 46, for example, except for a normal size based on the analysis result. A code 48 for enabling any one of the minute function unit 208a, the large classification function unit 210a, and the optimum size classification function unit 212a is supplied. The image data 46 is also supplied to the small segment function unit 208a, the large segment function unit 210a, and the optimum size segment function unit 212a. The header information analysis unit 206a outputs the data without changing the division in the case of the normal size (M).

なお、パケットサイズ制御部20dは、通常のサイズ(M)に対する処理も設け、後述するサイズS, M, L の3つのサイズに分けて対応処理を行わせてもよい。   Note that the packet size control unit 20d may also provide processing for the normal size (M), and may perform the corresponding processing by dividing into three sizes S, M, and L described later.

小区分機能部208aは、所定のパターンを繰り返して表示すると解析された際に通常のサイズよりも小さいSサイズに設定して再区分(パッキング)を行い、供給先のメモリに対するアドレス設定も行う。また、直接的にSサイズにパッキングした画像を繰り返して供給してもよいが、最初にSサイズの画像を供給し、その後にこの画像のコピーを繰り返す回数だけを供給するようにしてもよい。   The subdivision function unit 208a performs re-partitioning (packing) by setting the S size smaller than the normal size when it is analyzed that a predetermined pattern is repeatedly displayed, and also performs address setting for the memory of the supply destination. Further, an image directly packed in S size may be supplied repeatedly, but an S size image may be supplied first, and then only the number of times of copying this image may be supplied.

大区分機能部210aは、サムネイル表示すると解析された際に通常のサイズよりも大きいLサイズに設定して再区分し、上述したと同様に供給先のアドレス設定も行う。大区分機能部210aは、扱うサムネイル画像の画像サイズが小さいので、Lサイズに設定することにより一度ないし最小限の回数で済ませることが可能になる。この結果、書込みにおけるアクセス回数を低減させることができる。   The large classification function unit 210a sets the L size larger than the normal size when the thumbnail display is analyzed and performs reclassification, and also sets the address of the supply destination as described above. Since the image size of the thumbnail image to be handled is small, the large classification function unit 210a can be completed once or a minimum number of times by setting it to L size. As a result, the number of accesses for writing can be reduced.

そして、最適サイズ区分機能部212aは、画像の空間周波数特性を考慮して区分するサイズの最適化を図る。たとえば、砂丘を表示するとき、その画像は空間周波数が低く、ビル等の細かい描写が要求される画像は空間周波数が高い。このような扱う画像における空間周波数の高低に比例して区分するサイズの大小を調整する。再区分した画像データには供給先のアドレス設定が行われる。   Then, the optimum size classifying function unit 212a optimizes the size to classify in consideration of the spatial frequency characteristics of the image. For example, when a dune is displayed, the image has a low spatial frequency, and an image such as a building that requires fine depiction has a high spatial frequency. The size of the size to be divided is adjusted in proportion to the level of the spatial frequency in the image to be handled. A destination address is set for the re-divided image data.

このように構成して輝度データと色データとのペアが表示の指示要求にかかわらず、所定の関係(本実施例において4:2:2の関係)にして表示シーケンスを保ち、かつ解析した個々の画像データが有するヘッダ情報を考慮して画像データ46を再区分することにより出力される画像データ50のバス32の占有時間またはバス32へのアクセス回数も減らすことができる。   In this way, the luminance data and color data pairs maintain the display sequence in a predetermined relationship (4: 2: 2 relationship in this embodiment) regardless of the display instruction request, and each analyzed By repartitioning the image data 46 in consideration of the header information included in the image data, the occupied time of the image data 50 to be output on the bus 32 or the number of accesses to the bus 32 can be reduced.

この得られた画像データは、メモリ制御部16の制御を受ける表示シーケンサ20により本実施例では8個の画像データを1つのパケットとして1ライン中に80個の画像パケットを含むとともに、外部のDMA読出し/書込みに関する制御データ、CPUの読出し/書込みに関する制御データ、外部のI/Fとやり取りする画像データ等もパケット化し、直接に共有バス32、メモリ制御部16または間接に共有バス32、メモリ制御部16を介して画像メモリ14に格納した後、格納したパケットデータを読み出してデータ修正部30に出力する。   In the present embodiment, the obtained image data includes 80 image packets in one line with eight image data as one packet by the display sequencer 20 under the control of the memory control unit 16, and an external DMA. Control data related to read / write, control data related to CPU read / write, image data exchanged with external I / F, etc. are also packetized, directly shared bus 32, memory controller 16 or indirectly shared bus 32, memory control After being stored in the image memory 14 via the unit 16, the stored packet data is read out and output to the data correction unit 30.

図5に示すように、データ修正部30には、デコーダ300、フリップフロップ回路302、レジスタ回路304、データ選択部306、電子ズーム修正部308、演算・フィルタ部310、アパーチャ生成回路312、加算器314およびデータ格納部316が備えられている。   As shown in FIG. 5, the data correction unit 30 includes a decoder 300, a flip-flop circuit 302, a register circuit 304, a data selection unit 306, an electronic zoom correction unit 308, an arithmetic / filter unit 310, an aperture generation circuit 312, and an adder. 314 and a data storage unit 316 are provided.

デコーダ300は、メモリ制御部16を介して供給される画像データ52とともに、データサイズ(パケットサイズ)とは独立した有効画素数データ54および/またはCPU 22からの指示データ32aの2通りの信号を入力している。デコーダ300は、フリップフロップ回路302、データ選択部306、電子ズーム修正部308、演算・フィルタ部310、およびアパーチャ生成回路312に制御信号56〜64をそれぞれ供給している。   The decoder 300 receives two kinds of signals including the effective pixel number data 54 independent of the data size (packet size) and / or the instruction data 32 a from the CPU 22 together with the image data 52 supplied via the memory control unit 16. You are typing. The decoder 300 supplies control signals 56 to 64 to the flip-flop circuit 302, the data selection unit 306, the electronic zoom correction unit 308, the calculation / filter unit 310, and the aperture generation circuit 312.

フリップフロップ回路302は、デコーダ300からの制御信号(イネーブル信号)56がオン時に供給される画像データ52を供給される第2クロック10bのエッジで取り込んで一時的にデータ保持をし、次の第2クロック10bのエッジで保持したデータをデータ選択部304に出力する。したがって、取り込んだ画像データ(パケットデータ)52は、データを取り込んだ後、制御信号56がオフになるとそのままデータ保持され、所望のイネーブル時に出力させることもできる。本実施例においてフリップフロップ回路302は、単にクロックごとにデータ選択部306に出力する。   The flip-flop circuit 302 takes in the image data 52 supplied when the control signal (enable signal) 56 from the decoder 300 is turned on at the edge of the supplied second clock 10b, temporarily holds the data, and next holds the data. The data held at the edge of 2 clocks 10b is output to the data selection unit 304. Therefore, the captured image data (packet data) 52 is held as it is when the control signal 56 is turned off after the data is captured, and can also be output when desired. In this embodiment, the flip-flop circuit 302 simply outputs the data selection unit 306 for each clock.

なお、フリップフロップ回路302やレジスタ回路304に供給するクロック10bは省略している。   Note that the clock 10b supplied to the flip-flop circuit 302 and the register circuit 304 is omitted.

レジスタ回路304は、CPU 22から供給される指示データ32aを格納する記憶部である。指示データ32aは、たとえば、背景用のデータ等である。レジスタ回路304はパケットサイズのデータ量に対応した容量を有し、フリップフロップ回路302と同様のタイミングで動作している。   The register circuit 304 is a storage unit that stores instruction data 32 a supplied from the CPU 22. The instruction data 32a is, for example, background data. The register circuit 304 has a capacity corresponding to the data amount of the packet size, and operates at the same timing as the flip-flop circuit 302.

データ選択部306は、データの選択およびコピーに際して用いる1ライン分のメモリを有している。本実施例においてデータ選択部306はフリップフロップ回路302の出力66、レジスタ回路304の出力68およびそのまま供給される画像データ52のいずれかの入力信号を選択する。データ選択部306には、デコーダ300からのイネーブル信号58とともに、これら3種類のうちの一つを選択する選択信号および選択したデータを記憶させるアドレス先の指示が供給される。   The data selection unit 306 has a memory for one line used for selecting and copying data. In this embodiment, the data selection unit 306 selects any one of the output signal 66 of the flip-flop circuit 302, the output 68 of the register circuit 304, and the image data 52 supplied as it is. Along with the enable signal 58 from the decoder 300, the data selection unit 306 is supplied with a selection signal for selecting one of these three types and an address destination instruction for storing the selected data.

この機能を用い、たとえば、データ選択部306は、そのまま供給される画像データ52を本来格納する先頭アドレス位置を指定し、フリップフロップ回路302からの出力66を全ラインメモリ容量の半分の位置にアドレス指定してデータを格納していくと、1ラインの半分のデータしか供給されていないにもかかわらず、コピーされたと同様にデータを倍に増やし1ライン分のデータを埋め尽くすことができる。   Using this function, for example, the data selection unit 306 designates the head address position where the image data 52 that is supplied as it is originally stored, and addresses the output 66 from the flip-flop circuit 302 to a position that is half the total line memory capacity. When data is specified and stored, even though only half of the data for one line is supplied, the data can be doubled and the data for one line can be filled up, just as it was copied.

また、データ選択部306が、たとえば、アドレス指示に応じて画像周辺のデータの代わりにレジスタ回路304からのデータ68を選択し、格納させると表示した画像が額縁に入ったように見せることもできる(図27を参照)。さらには具体的に説明しないが、小区分に対応する画像が供給されて、デコーダ300が画像を解析した際に、デコーダ300は供給されたパケットデータのコピー回数に応じてコピーを行わせる制御信号58をデータ選択部306に供給し、データ選択部306では制御信号58に応動してデータの増加を図ることができる。データ選択部306は、このようにして得られたパケットデータ70を電子ズーム修正部308に供給する。デコーダ300では、一般的にデータサイズを有効画素数情報が示す値で割って得られる割合分の画像データを受けるものとして、この割合の画像データを割合の逆数倍の回数分コピーさせる制御信号58を生成している。   Further, when the data selection unit 306 selects, for example, the data 68 from the register circuit 304 instead of the data around the image in response to the address instruction and stores it, the displayed image can appear to be in the frame. (See Figure 27). Although not specifically described, when an image corresponding to a small section is supplied and the decoder 300 analyzes the image, the decoder 300 performs a copy according to the number of times the supplied packet data is copied. 58 is supplied to the data selection unit 306, and the data selection unit 306 can increase the data in response to the control signal 58. The data selection unit 306 supplies the packet data 70 thus obtained to the electronic zoom correction unit 308. In the decoder 300, it is assumed that the image data of a ratio obtained by dividing the data size by the value indicated by the effective pixel number information is generally received, and a control signal for copying the image data of this ratio by the reciprocal number of the ratio. 58 has been generated.

電子ズーム修正部308は、先に処理済みの電子ズームに対して個々のパケットごとに補正を施す機能を有する。処理済みの電子ズームについては後段で詳述する。デコーダ300では解析結果に応じて制御信号60を生成する。電子ズーム修正部308は、デコーダ300からの制御信号60に応動してパケット単位に修正が加えられる。パケット単位に修正を行う場合に限り歪み補正や特殊効果を施す。これ以外の場合何もしないでパケットデータをスルーさせる。パケット単位の修正により、不要な箇所に対する修正を行わないで済ませることができるので、無駄な信号処理を省くことができ、効率のよい修正を行うことができる。電子ズーム修正部308 は修正の有無にかかわらず、パケットデータ72を演算・フィルタ部310に出力する。   The electronic zoom correction unit 308 has a function of correcting each packet for the previously processed electronic zoom. The processed electronic zoom will be described in detail later. The decoder 300 generates a control signal 60 according to the analysis result. The electronic zoom correction unit 308 is corrected in packet units in response to the control signal 60 from the decoder 300. Distortion correction and special effects are applied only when correction is performed in packet units. In other cases, the packet data is passed through without doing anything. By correcting in units of packets, it is possible to avoid correcting unnecessary portions, so that useless signal processing can be omitted and efficient correction can be performed. The electronic zoom correction unit 308 outputs the packet data 72 to the calculation / filter unit 310 regardless of whether or not the correction is made.

演算・フィルタ部310には、図示しないが画像データのうち、個々のパケットデータに対する固有の明るさ、コントラスト、およびノイズレベルの少なくとも一つの項目を変化させる演算処理部と、特殊効果処理を行うフィルタ処理部が含まれている。フィルタ処理部は、ディジタルフィルタで構成している場合、演算処理部とみなすこともできる。演算・フィルタ部310は、前述した電子ズーム修正部308と同様にパケットデータごとにデコーダ300から供給される制御信号62に応じて行うことができる。   Although not shown, the calculation / filter unit 310 includes a calculation processing unit that changes at least one item of specific brightness, contrast, and noise level for each packet data in the image data, and a filter that performs special effect processing. A processing unit is included. When the filter processing unit is constituted by a digital filter, it can also be regarded as an arithmetic processing unit. Similar to the electronic zoom correction unit 308 described above, the calculation / filter unit 310 can perform the calculation / filter unit 310 according to the control signal 62 supplied from the decoder 300 for each packet data.

特に、ノイズ低減処理を施す場合低階調領域を消去するコアリング処理やローパスフィルタ処理を施すことができる。また、特殊処理には、たとえば、モザイク等の処理がある。この他、固有の明るさに変更する例として、画像の上半分だけを赤っぽい色に変えて擬似的に夕焼けの画像表現させることも容易に行える。   In particular, when noise reduction processing is performed, coring processing or low-pass filter processing for erasing a low gradation region can be performed. The special processing includes, for example, mosaic processing. In addition, as an example of changing to a specific brightness, it is possible to easily simulate a sunset image by changing only the upper half of the image to a reddish color.

これ以外の制御オフの場合には、何もしないでパケットデータをスルーさせる。ここでのパケット単位の修正の利点は、前述した通り、電子ズーム修正の場合と同じである。また、演算・フィルタ部310は、信号修正の有無にかかわらず、パケットデータ74をアパーチャ生成回路312および加算器314の一端314aにそれぞれ、出力する。   When control other than this is off, packet data is passed through without doing anything. The advantage of the correction in units of packets here is the same as in the case of the electronic zoom correction as described above. In addition, the calculation / filter unit 310 outputs the packet data 74 to the aperture generation circuit 312 and the one end 314a of the adder 314 regardless of whether or not the signal is corrected.

アパーチャ生成回路312は、供給される画像データに対するアパーチャの生成をハードウェアまたはソフトウェアのどちらでも実現させることができる。すなわち、アパーチャ生成回路312は、一般的に輪郭強調処理を行う際に適用される回路または処理手順を含んでいる。デコーダ300は、供給される固有の情報のうち、指示データ32aからパケット固有の鮮鋭度をどのようにするか情報を解析し、この解析に基づく制御信号64をアパーチャ生成回路312に供給している。アパーチャ生成回路312は、供給される制御信号64に応動して生成した信号成分を加算器314の他端314bに出力する。アパーチャ生成回路312は制御オフの場合何も生成しない。   The aperture generation circuit 312 can realize the generation of the aperture for the supplied image data by either hardware or software. That is, the aperture generation circuit 312 includes a circuit or a processing procedure that is generally applied when performing the contour enhancement process. The decoder 300 analyzes the information on how to perform the packet-specific sharpness from the instruction data 32a among the supplied unique information, and supplies the control signal 64 based on this analysis to the aperture generation circuit 312. . The aperture generation circuit 312 outputs a signal component generated in response to the supplied control signal 64 to the other end 314b of the adder 314. The aperture generation circuit 312 generates nothing when the control is off.

加算器314は、指示データに応じて生成した成分76とパケットデータ74とを加算する。これにより加算器314は、アパーチャ生成を行った場合に対象のパケットデータ78の鮮鋭度を向上させて、バッファメモリ部12b に出力する。   The adder 314 adds the component 76 generated according to the instruction data and the packet data 74. As a result, the adder 314 improves the sharpness of the target packet data 78 when the aperture is generated, and outputs it to the buffer memory unit 12b.

この出力に際してデコーダ300は、指示データ32aまたは画像データ54から供給されるアドレス(情報)を独立したパラメータとして扱い、生成したアドレス80をバッファメモリ部12bに供給する。また、デコーダ300は、バッファメモリ部12bにイネーブル信号82を供給している。これにより、供給された画像データを任意の表示領域から表示させることができる。   In this output, the decoder 300 treats the address (information) supplied from the instruction data 32a or the image data 54 as an independent parameter, and supplies the generated address 80 to the buffer memory unit 12b. In addition, the decoder 300 supplies an enable signal 82 to the buffer memory unit 12b. Thereby, the supplied image data can be displayed from an arbitrary display area.

データ修正部30は、前述したようにCPU 22からデータ修正の都度供給される指示データ32aに応じて動作させる説明をしてきたが、これら供給される指示データ32aは、あらかじめ行う処理が決まっている場合、指示データ32aをデータ格納部316に記憶させておいてもよい。データ格納部316は、ROM (Read Only Memory)またはRAM (Random Access Memory)を用いる。ROMを使用する場合、データ修正部30内に指示データの手順やアドレス情報が書き込まれている。RAMを使用する場合、ディジタルカメラ10(または画像制御処理部10h)の起動時にCPU 22からデータ修正を行う手順を設定し、あらかじめ指示データをRAMに供給し、記憶させるようにしている。データ格納部316は、レジスタ回路304に供給される、たとえば背景のデータも格納している。   As described above, the data correction unit 30 has been described to operate in accordance with the instruction data 32a supplied every time data correction is performed from the CPU 22, but the supplied instruction data 32a has predetermined processing to be performed in advance. In this case, the instruction data 32a may be stored in the data storage unit 316. The data storage unit 316 uses ROM (Read Only Memory) or RAM (Random Access Memory). When the ROM is used, instruction data procedures and address information are written in the data correction unit 30. When the RAM is used, a procedure for correcting data from the CPU 22 is set when the digital camera 10 (or the image control processing unit 10h) is started, and the instruction data is supplied to the RAM and stored in advance. The data storage unit 316 also stores, for example, background data supplied to the register circuit 304.

データ格納部316は、図示しない供給されるクロックおよび読出しイネーブル信号の供給に応じて指示データ84をデコーダ300に供給している。デコーダ300は、前述したそれぞれの場合と同様に制御信号やアドレスの生成等を行い、各部に出力する。   The data storage unit 316 supplies the instruction data 84 to the decoder 300 in response to a supplied clock and read enable signal (not shown). The decoder 300 generates a control signal and an address in the same manner as described above, and outputs it to each unit.

図6に示すように、バッファメモリ部12bには、R/Wタイミング制御回路(バンク切換)120b、読出しカウンタ122b、書込みカウンタ124b、入力セレクタ126b、FIFOメモリ128b, 130b、および出力セレクタ132bが備えられている。この他に、W/Rクロック生成回路も有する(図示しない)。   As shown in FIG. 6, the buffer memory unit 12b includes an R / W timing control circuit (bank switching) 120b, a read counter 122b, a write counter 124b, an input selector 126b, FIFO memories 128b and 130b, and an output selector 132b. It has been. In addition, a W / R clock generation circuit is also provided (not shown).

R/Wタイミング制御回路120bには、イネーブル信号86および水平同期信号HD(88)が供給される。R/Wタイミング制御回路120bは、水平同期信号HDに同期して入力セレクタ126bおよび出力セレクタ132bにそれぞれ制御信号90と選択信号92を生成し、供給している。水平同期信号HDは、FIFOメモリ128b, 130bへの入力/出力においていずれを読出し/書込みにするかの動作タイミングを提供しているに過ぎない。制御信号90と選択信号92は、図示しないが、第1のクロック10a、リセット信号(RSTL)、およびブランク信号(FIFO_BLANK)を用い、各信号に対する実際の読出し/書込み条件に合わせて生成されている。R/Wタイミング制御回路120bは、FIFOメモリ128b, 130bに対する入出力制御をバンク選択条件に応じて行っている。また、R/Wタイミング制御回路120bは、図示していないがFIFOメモリ128b, 130bのブランクに関する信号(FIFO_BLKST)も生成し、書込みカウンタ124bにも供給している。   The R / W timing control circuit 120b is supplied with an enable signal 86 and a horizontal synchronization signal HD (88). The R / W timing control circuit 120b generates and supplies a control signal 90 and a selection signal 92 to the input selector 126b and the output selector 132b, respectively, in synchronization with the horizontal synchronization signal HD. The horizontal synchronization signal HD merely provides the operation timing of which is read / written at the input / output to the FIFO memories 128b and 130b. Although not shown, the control signal 90 and the selection signal 92 are generated using the first clock 10a, the reset signal (RSTL), and the blank signal (FIFO_BLANK) according to the actual read / write conditions for each signal. . The R / W timing control circuit 120b performs input / output control for the FIFO memories 128b and 130b in accordance with bank selection conditions. The R / W timing control circuit 120b also generates a signal (FIFO_BLKST) related to blanking of the FIFO memories 128b and 130b, which is not shown, and supplies it to the write counter 124b.

読出しアドレスカウンタ122bは、読出しアドレスをカウントして出力する計数機能を有する。読出しアドレスカウンタ122bには、各種のタイミング信号94が供給されている。タイミング信号94は、テレビジョン信号の水平同期信号や垂直同期信号を含んでいる。読出しアドレスカウンタ122bは、10ビットのカウンタである。読出しアドレスカウンタ122bは、供給されるタイミング信号94に応じて順次カウントし、カウント値96を入力セレクタ126bに供給している。この他のタイミング信号として第1クロック10a、リセット信号(RSTL)、およびブランク信号(FIFO_BLANK)を供給し、これらの信号を用いてデータをマスクする信号(図示せず)を生成してもよい。マスクすることによって画像データだけが読み出される。   The read address counter 122b has a counting function for counting and outputting the read address. Various timing signals 94 are supplied to the read address counter 122b. The timing signal 94 includes a horizontal synchronization signal and a vertical synchronization signal of a television signal. The read address counter 122b is a 10-bit counter. The read address counter 122b sequentially counts according to the supplied timing signal 94 and supplies the count value 96 to the input selector 126b. As other timing signals, a first clock 10a, a reset signal (RSTL), and a blank signal (FIFO_BLANK) may be supplied, and a signal (not shown) for masking data may be generated using these signals. Only image data is read out by masking.

書込みアドレスカウンタ124bは、書込みアドレスをカウントして出力する計数機能を有する。書込みアドレスカウンタ124bも読出しアドレスカウンタ122bと同様に10ビットカウンタである。書込みカウンタ124bには、デコーダ300からアドレスデータ80およびイネーブル信号82が供給されている。イネーブル信号82は、CPU 22からの指示データ32aに応じたアドレスに書き込んで読み出す指示が出された際にアドレスデータ80の取込み許可を示す信号である。   The write address counter 124b has a counting function for counting and outputting the write address. Similarly to the read address counter 122b, the write address counter 124b is a 10-bit counter. Address data 80 and an enable signal 82 are supplied from the decoder 300 to the write counter 124b. The enable signal 82 is a signal indicating permission to take in the address data 80 when an instruction to write to and read from the address corresponding to the instruction data 32a from the CPU 22 is issued.

イネーブル信号82が取込み許可を示している場合(イネーブル状態のとき)、書込みアドレスカウンタ124bは、アドレスデータ80を書込み先の先頭アドレスとして取り込むとともに、この先頭アドレスから順次カウントアップしたFIFOメモリ128b/130bに書込むアドレス98として供給している。また、イネーブル信号82が取込み禁止を示している場合、書込みアドレスカウンタ124bは、読出しアドレスカウンタ122bに供給されるタイミング信号94に応じて順次カウントアップさせた場合と同様に書込みアドレス98を入力セレクタ126bに供給している。   When the enable signal 82 indicates that the capture is permitted (when enabled), the write address counter 124b captures the address data 80 as the start address of the write destination, and the FIFO memory 128b / 130b sequentially counted up from this start address. It is supplied as address 98 to be written to. When the enable signal 82 indicates that the capture is prohibited, the write address counter 124b sets the write address 98 to the input selector 126b in the same manner as when the count is sequentially incremented according to the timing signal 94 supplied to the read address counter 122b. To supply.

なお、たとえば、データのマスクは、このマスクした位置には他の制御データがパケット化して格納されていて画面表示に直接的に寄与しないので、このデータの書込みを行わないようにする意味がある。これにより、実質的に画像データが稠密に格納される。書込みアドレスカウンタ124bには、より複雑な制御を行うためカウントに際して図示しないがリセット信号(RSTL)、FIFO書込みイネーブル信号(FIFO_WEL)、クロック(M2CLK)、および信号(FIFO_BLKST)が供給され、これらの信号の組合せにより各種条件のタイミング信号が生成されている。   Note that, for example, the masking of data means that other control data is packetized and stored at the masked position and does not directly contribute to the screen display. . Thereby, the image data is substantially densely stored. The write address counter 124b is supplied with a reset signal (RSTL), a FIFO write enable signal (FIFO_WEL), a clock (M2CLK), and a signal (FIFO_BLKST) (not shown in the figure) for more complex control. The timing signals of various conditions are generated by the combination.

入力セレクタ126bは、FIFOメモリ128b, 130bのいずれか一方のメモリを書込みにし他方のメモリを読出しにする制御を行う機能を有する。入力セレクタ126bには、制御信号90、読出しアドレスデータ96、書込みアドレスデータ98、およびパケット化された画像データ100が供給されている。画像データ100は、16ビットの画像データである。入力セレクタ126bは、FIFOメモリ128b, 130bとそれぞれアドレスライン102, 108、データライン104, 110、およびイネーブルライン106, 112が接続されている。   The input selector 126b has a function of performing control to write one of the FIFO memories 128b and 130b and read the other memory. A control signal 90, read address data 96, write address data 98, and packetized image data 100 are supplied to the input selector 126b. The image data 100 is 16-bit image data. The input selector 126b is connected to FIFO memories 128b and 130b, address lines 102 and 108, data lines 104 and 110, and enable lines 106 and 112, respectively.

入力セレクタ126bは、制御信号90に応じて一方のイネーブルライン106/112を介してFIFOメモリ128b/130bを書込み許可にした際に他方のイネーブルライン112/106を介してFIFOメモリ130b/128bを読出し許可にするイネーブル信号をそれぞれ送出する。書込み許可されたFIFOメモリ128b/130bには、入力セレクタ126bに供給された書込みアドレスデータ98および画像データ100が供給される。また、読出し許可されたFIFOメモリ130b/128bには、入力セレクタ126bに供給された読出しアドレスデータ96が供給される。   The input selector 126b reads the FIFO memory 130b / 128b via the other enable line 112/106 when the FIFO memory 128b / 130b is enabled for writing via the one enable line 106/112 according to the control signal 90. Each enable signal is sent. The write address data 98 and image data 100 supplied to the input selector 126b are supplied to the FIFO memory 128b / 130b that is permitted to write. The read address data 96 supplied to the input selector 126b is supplied to the FIFO memory 130b / 128b that is permitted to read.

図示しないがこの他の各信号の関係を簡単に説明すると、入力セレクタ126bには書込みイネーブル信号(FIFO_WEL)が供給されている。このイネーブル信号が供給されている間に、供給される制御信号90(バンク選択信号)に応じてFIFOメモリ128b, 130bのいずれかにそれぞれ書込み禁止信号(F1_WEI) 、書込み禁止信号 (F2_WEI) を供給する。この信号により書込み禁止されているFIFOメモリには画像データの書込みが行われない。また、入力セレクタ126bは、1ビットずつ独立して書込む制御もFIFOメモリ128b, 130bに対して行っている(F1_V1, F2_V1:ともに図示せず)。これ以外にも、各種の禁止信号がFIFOメモリ128b, 130bに対応して生成され、FIFOメモリ128b, 130bにそれぞれ供給されている。   Although not shown, the relationship between the other signals will be briefly described. A write enable signal (FIFO_WEL) is supplied to the input selector 126b. While this enable signal is supplied, write inhibit signal (F1_WEI) and write inhibit signal (F2_WEI) are supplied to either of FIFO memories 128b and 130b according to the supplied control signal 90 (bank selection signal). To do. Image data is not written into the FIFO memory that is write-protected by this signal. Further, the input selector 126b also performs control for writing to the FIFO memories 128b and 130b independently bit by bit (F1_V1, F2_V1: not shown). In addition to this, various prohibition signals are generated corresponding to the FIFO memories 128b and 130b and supplied to the FIFO memories 128b and 130b, respectively.

FIFOメモリ128b, 130bは、ラインメモリを形成している。FIFOメモリ128b, 130bには、前述したように一方が読出しを行っている場合、他方が書込みを行うように、図示しない書込みクロックおよび読出しクロックが供給されている。FIFOメモリ128b, 130bには、ともに、16ビットの画像データが供給されている。FIFOメモリ128b, 130bのうち、書込み禁止信号が供給されたFIFOメモリは読出しモードになる。FIFOメモリ128b, 130bは、読出しモードのメモリから読出しクロックで出力セレクタ132bに出力する。いずれがこのモードになってもよいようにFIFOメモリ130b, 132bは、出力セレクタ132bと接続させて、それぞれ出力114, 116を供給している。   The FIFO memories 128b and 130b form a line memory. The FIFO memories 128b and 130b are supplied with a write clock and a read clock (not shown) so that when one is reading as described above, the other is writing. Both FIFO memories 128b and 130b are supplied with 16-bit image data. Of the FIFO memories 128b and 130b, the FIFO memory to which the write inhibit signal is supplied enters the read mode. The FIFO memories 128b and 130b output the read mode memory to the output selector 132b with a read clock. The FIFO memories 130b and 132b are connected to the output selector 132b and supply outputs 114 and 116, respectively, so that any of these modes may be set.

なお、本実施例のバッファメモリ部12bでは、2本のラインメモリを用いた場合を説明したが、2本に限定されるものでなく、バッファメモリ部12b はたとえば16本のラインメモリを配設してもよい。このような構成は、供給する画像がサムネイル等の小さな画像表示(すなわち、書換え)を行う場合、部分的に画像を置換して指定したアドレスに所望のデータだけを供給すると効率的な画面表示を行わせることができる。   In the present embodiment, the buffer memory unit 12b has been described as using two line memories. However, the present invention is not limited to two, and the buffer memory unit 12b includes, for example, 16 line memories. May be. In such a configuration, when an image to be supplied is a small image display such as a thumbnail (that is, rewriting), if an image is partially replaced and only desired data is supplied to a specified address, an efficient screen display is achieved. Can be done.

出力セレクタ132bは、供給される画像データ114, 116のいずれか一方を選択する機能を有している。また、出力セレクタ132bは、具体的に図示していないがこの選択した画像データに他から供給される制御データをパケット挿入する機能もある。これらの機能を実現させるため、供給される画像データ114, 116の他に、出力タイミングを調整する第1クロック10a、信号(DMASK)、制御信号90、およびリセット信号が供給されている(図示せず)。出力セレクタ132bは、これらの信号を用いて画像データ以外のデータも含むパケットを1ライン中に挿入した16ビットの読み出した一連のデータ118をエンコード処理部28に出力する。   The output selector 132b has a function of selecting one of the supplied image data 114 and 116. The output selector 132b also has a function of inserting control data supplied from others into the selected image data, although not specifically shown. In order to realize these functions, in addition to the supplied image data 114 and 116, a first clock 10a for adjusting the output timing, a signal (DMASK), a control signal 90, and a reset signal are supplied (not shown). ) Using these signals, the output selector 132b outputs a series of 16-bit read data 118 in which a packet including data other than image data is inserted into one line to the encoding processing unit 28.

また、図示していないがW/Rクロック生成回路もバッファメモリ部12bに配設されている。W/Rクロック生成回路は、バッファメモリ部12bにおいて使用するクロックのうち、書込み/読出しのクロックを生成している。W/Rクロック生成回路には、第1クロック10a、第2クロック10b、およびリセット信号(RSTL)の他、クロック(M2CLK ), クロック(M4CLK) が供給されている。これらの信号を用いて、W/Rクロック生成回路は、FIFOメモリ128b, 130bに図示していないがそれぞれ、書込みクロック(F_WCK)および読出しクロック(F_RCK)を供給している。   Although not shown, a W / R clock generation circuit is also provided in the buffer memory unit 12b. The W / R clock generation circuit generates a write / read clock among the clocks used in the buffer memory unit 12b. In addition to the first clock 10a, the second clock 10b, and the reset signal (RSTL), a clock (M2CLK) and a clock (M4CLK) are supplied to the W / R clock generation circuit. Using these signals, the W / R clock generation circuit supplies a write clock (F_WCK) and a read clock (F_RCK), which are not shown in the FIFO memories 128b and 130b, respectively.

図2に戻って、CPU 22は、画像制御処理部10hの制御部ではなく、外部に設けられた中央演算処理ユニットとして機能を発揮する。CPU 22には、あらわに図示していないがCPU書込み機能部およびCPU読出し機能部が備えられている。本実施例の外部制御装置の一つであるCPU 22からの書込みに関する制御情報および読出しに関する制御情報がそれぞれ共有バス32を介して供給される。これらの情報が指示データ32aに対応している。この観点から外部の装置とみなして扱ってきたが、CPU 22を画像制御処理部10hの構成要素に含めるようにみなしてもよい。   Returning to FIG. 2, the CPU 22 functions as a central processing unit provided outside, not as a control unit of the image control processing unit 10h. Although not shown, the CPU 22 includes a CPU write function unit and a CPU read function unit. Control information related to writing and control information related to reading from the CPU 22 which is one of the external control devices of this embodiment are supplied via the shared bus 32, respectively. These pieces of information correspond to the instruction data 32a. Although it has been treated as an external device from this point of view, the CPU 22 may be considered to be included in the components of the image control processing unit 10h.

また、DMA制御部24は、データの受け渡しをCPUを介さずに、たとえば、周辺機器のインターフェース装置に制御権を渡して、直接に主記憶とのデータの受け渡しの制御を行う。DMA制御部24には、外部制御装置の一つであるDMA制御部24からの書込みに関する制御情報および読出しに関する制御情報がそれぞれ供給され、出力される。供給された制御情報には、共有バス32に対する優先順位に応じたデータ転送等が施される。   Further, the DMA control unit 24 directly controls the data transfer with the main memory by passing the control right to the interface device of the peripheral device, for example, without passing the data through the CPU. The DMA control unit 24 is supplied with and outputs control information related to writing and control information related to reading from the DMA control unit 24 which is one of the external control devices. The supplied control information is subjected to data transfer or the like according to the priority order for the shared bus 32.

信号入力部26は、上述した周辺機器のインターフェース装置に相当し、たとえば、キーボード等のような装置が共有バス32に接続されている。そして、共有バス32を介して画像データ以外の情報もメモリ制御部16の制御を受けて、前述したようにバッファメモリ部12bからエンコード処理部28に供給される。   The signal input unit 26 corresponds to the peripheral device interface device described above. For example, a device such as a keyboard is connected to the shared bus 32. Information other than image data is also controlled by the memory control unit 16 via the shared bus 32 and supplied from the buffer memory unit 12b to the encoding processing unit 28 as described above.

エンコード処理部28は、所定の放送規格に合ったエンコーダ処理を行う機能を有している。この機能を発揮させるように、エンコード処理部28は、供給されるパケットのなかから、表示に用いる画像データだけを取り出してエンコードする。エンコードした画像データ120を図示しない表示装置に出力する。   The encoding processing unit 28 has a function of performing encoder processing conforming to a predetermined broadcast standard. In order to exhibit this function, the encoding processing unit 28 extracts and encodes only the image data used for display from the supplied packets. The encoded image data 120 is output to a display device (not shown).

また、外部I/F部31には、たとえば、PIO (Programmed Input/Output)、UART (Universal Asynchronous Receive-Transceiver:非同期シリアル通信用送受信回路)、USB(Universal Serial Bus)、IEEE1394規格(the Institute of Electrical and Electronics Engineers, Inc.:米国電気電子技術者協会)に基づくインタフェース等がある。   The external I / F unit 31 includes, for example, PIO (Programmed Input / Output), UART (Universal Asynchronous Receive-Transceiver), USB (Universal Serial Bus), IEEE1394 standard (the Institute of There are interfaces based on Electrical and Electronics Engineers, Inc.

PIOは、入出力をプログラムで変更することのできるインターフェース部である。UARTは、シリアル・インターフェースに用いられるデバイスである。このデバイスは、供給されるパラレル信号をシリアル信号に変換したり、シリアル・デバイスから送られるシリアル信号をパラレル信号に変換する機能を有している。IEEE1394規格のI/Fは、たとえば400Mbpsまでのデータ転送をサポートしている。この規格は、アイソクロナス転送とアシンクロナス転送とを同じバス上に同時に実現している。外部I/F部31は、前述したようにバス調停部18の制御下にある。   PIO is an interface unit that can change input and output by a program. The UART is a device used for a serial interface. This device has a function of converting a supplied parallel signal into a serial signal and converting a serial signal sent from the serial device into a parallel signal. The IEEE1394 I / F supports data transfer up to 400 Mbps, for example. This standard implements isochronous transfer and asynchronous transfer simultaneously on the same bus. The external I / F unit 31 is under the control of the bus arbitration unit 18 as described above.

このように構成することにより、画像制御処理部10hでの処理により高速化に対応した表示が可能になり、特に、共有バス32の占有がこれまで以上に避けられ、他の制御部および外部装置からのメモリアクセスも容易に可能になる。これにより、ディジタルカメラ10は、レスポンスの高い処理を提供できるようになる。   By configuring in this way, it becomes possible to perform display corresponding to the high speed by processing in the image control processing unit 10h, and in particular, the shared bus 32 can be avoided more than ever, and other control units and external devices can be avoided. Memory access from can be easily performed. As a result, the digital camera 10 can provide processing with high response.

また、パケットごとに含まれる画像データに対して各種の信号処理を施すことができるので、信号処理の不要なパケットには何等の処理も施さず、要求のあるパケットだけに信号処理を施すことから効率を向上させることができる。しかもこの信号処理は効率の向上を図りながら、システム制御の負担を強いることなく高品位な画像処理を行うことができる。そして、表示の等倍を含む拡大/縮小表示のような、いわゆる電子ズームを施しても、サンプリングのペア関係を崩さないようにサンプリングさせることができるので、偽色の発生を抑えることができる。   In addition, since various types of signal processing can be performed on the image data included in each packet, no processing is performed on packets that do not require signal processing, and signal processing is performed only on requested packets. Efficiency can be improved. Moreover, this signal processing can improve the efficiency and perform high-quality image processing without imposing a burden on system control. Even if so-called electronic zoom such as enlargement / reduction display including display magnification is performed, sampling can be performed so as not to destroy the pair relationship of sampling, so that generation of false colors can be suppressed.

次に、ディジタルカメラ10における画像制御処理部10hの上述した各部がどのように動作し、それぞれ処理されているかその理由も踏まえて順次説明する。最初に、上述した表示のような、いわゆる電子ズームを行う場合について検討する。たとえば、水平方向に1ラインを640画素で表示する場合、Y/C分離した画像データの各成分データは、図7(a)に示す(4:4:4)方式のサンプリングが行われると、一つの輝度データYに対して色データCR, CBが一つずつ対応してサンプリングされる、すなわち、4つの輝度データYに対して色データCR, CBが4つずつ対応している。 Next, how each of the above-described units of the image control processing unit 10h in the digital camera 10 operates and is processed will be sequentially described based on the reason. First, a case where so-called electronic zoom such as the display described above is performed will be considered. For example, when one line is displayed with 640 pixels in the horizontal direction, each component data of the Y / C separated image data is sampled by the (4: 4: 4) method shown in FIG. Color data C R and C B are sampled corresponding to one luminance data Y, that is, four color data C R and C B correspond to four luminance data Y. Yes.

これに対して、よく知られている図7(b)に示す(4:2:2)方式のサンプリングが行われると、この方式は、4つの輝度データYに対して色データCR, CBがそれぞれ2つずつサンプリングされるとともに、色データCBが隣接する輝度データYの色データのペアとして画像データを生成している。(4:2:2)方式そのままにいわゆる、2倍の拡大電子ズームを行うと(図7(c)を参照)、表示する画素間隔に同じ画像データを2つずつ配したサンプリングを行うことになる。 On the other hand, when the well-known (4: 2: 2) method sampling shown in FIG. 7 (b) is performed, this method uses color data C R , C for four luminance data Y. Each of B is sampled two by two and image data is generated as a pair of color data of luminance data Y adjacent to color data C B. (4: 2: 2) When the so-called double electronic zoom is performed as it is (see Fig. 7 (c)), sampling is performed by arranging two pieces of the same image data in the display pixel interval. Become.

ところで、(4:2:2)方式において1/2の縮小電子ズームを行う場合(図7(d)を参照)、画素データのサンプリングは、たとえば、奇数の輝度データYだけがサンプリングされる。このとき、色のサンプリングは、色データCRだけのサンプリングになる。この場合、色データCBはなくなってしまう。また、逆に偶数の輝度データだけをサンプリングしたとすると、色データCRがなくなる。このように電子ズーム表示に応じて一方の色データがなくなってしまうことが生じる。これにより、表示させた画像には偽色が発生してしまう。 By the way, when 1/2 reduction electronic zoom is performed in the (4: 2: 2) method (see FIG. 7D), pixel data is sampled, for example, only odd luminance data Y. At this time, the color of the sampling will sampling only color data C R. In this case, the color the data C B is no longer. Further, when only the sampled even luminance data Conversely, the color data C R is eliminated. Thus, one color data may be lost according to the electronic zoom display. As a result, a false color is generated in the displayed image.

このような問題に対して表示シーケンサ20は、図4の構成を用いながら、供給する第2クロック10bの3クロックを1単位に輝度データY, 色データCをどのようにサンプリング調整するか3つの場合について説明する。一般的なサンプリングを説明するため輝度データには、Yn, Yn+1, Yn+Kを、色データには、CRn, CBnとを用いる。ここで、添字nは自然数、Kは、ズーム係数を表す。まず、第1に連続読出しで等倍、すなわち、K=1 のとき、図8に示すタイミング関係で色データの選択が次のように行われる。輝度データはK=1からYn, Yn+1が8ビットサンプリングされる(図8(a)を参照)。図7(b)の(4:2:2)方式の色データのサンプリングを考慮すると、色データは、記号CRn, CBnの順序で供給される(図7(b)を参照)。図8(c)に示す輝度イネーブルYEN中に、たとえばクロック10bの立上りで取り込み、2クロック目の立上りで輝度データYnをペア生成部20cに出力する(図8(d)を参照)。 For such a problem, the display sequencer 20 uses the configuration of FIG. 4 to determine how to adjust the luminance data Y and the color data C for each unit of three clocks of the second clock 10b to be supplied. The case will be described. In order to explain general sampling, Y n , Y n + 1 , Y n + K are used for luminance data, and CR n , CB n are used for color data. Here, the subscript n represents a natural number, and K represents a zoom coefficient. First, when continuous reading is performed at the same magnification, that is, when K = 1, color data is selected as follows according to the timing relationship shown in FIG. The luminance data is sampled by 8 bits from K = 1 to Y n , Y n + 1 (see FIG. 8 (a)). In consideration of sampling of the color data in the (4: 2: 2) method of FIG. 7B, the color data is supplied in the order of symbols CR n and CB n (see FIG. 7B). During luminance enable YEN shown in FIG. 8 (c), for example, uptake at the rising edge of the clock 10b, and outputs the luminance data Y n pair generation unit 20c at the second clock rising (see FIG. 8 (d)).

一方、図8(e)の色RイネーブルCRENのイネーブル状態においてクロック10bの立上りで色データCRnを取り込み、図8(f)に示すように、2クロック目の立上りでこの色データCRnを出力し続ける。同様に、図8(g)の色BイネーブルCBENのイネーブル状態においてクロック10bの立上りで色データCBnを取り込み、図8(h)に示すように、3クロック目の立上りでこの色データCBnを出力し続ける。 On the other hand, in the enable state of the color R enable CREN in FIG. 8 (e), the color data CR n is taken in at the rising edge of the clock 10b, and as shown in FIG. 8 (f), the color data CR n is taken in at the rising edge of the second clock. Continue to output. Similarly, in the enable state of the color B enable CBEN in FIG. 8 (g), the color data CB n is taken in at the rising edge of the clock 10b, and as shown in FIG. 8 (h), this color data CB n is taken in at the rising edge of the third clock. Will continue to be output.

色信号選択部20bに供給される色選択信号RLBが、図8(i)の信号レベルで供給されると、この信号のレベルが“L”のとき色データCRを選択し、信号のレベルが“H”のとき色データCBを選択する関係があるから、色信号選択部20b による色選択は、図8(j)の色データの順序で色データがペア生成部20cに供給される。   When the color selection signal RLB supplied to the color signal selection unit 20b is supplied at the signal level of FIG. 8 (i), the color data CR is selected when the level of this signal is “L”, and the signal level is Since there is a relationship of selecting the color data CB when “H”, the color selection by the color signal selection unit 20b supplies the color data to the pair generation unit 20c in the order of the color data of FIG. 8 (j).

図8(k)に示すように、ペア生成部20cには、2クロック目において図8(d)の出力された輝度データと図8(j)の色データが供給されているとき、ペア生成部20cにデータイネーブルDENの立上りが供給されて16ビットの輝度データYn, 色データCRnが取り込まれる。このことから、明らかなようにこの場合2クロック分で選択が完了していることがわかる。 As shown in FIG. 8 (k), the pair generation unit 20c generates a pair when the luminance data output in FIG. 8 (d) and the color data in FIG. 8 (j) are supplied at the second clock. The rising edge of the data enable DEN is supplied to the unit 20c, and 16-bit luminance data Y n and color data CR n are captured. This clearly shows that the selection is completed in two clocks in this case.

そして3クロック目の立上りで図8(l)および図8(m)の関係で出力される。連続読出しのためこの場合2クロックの間に2画素分のデータ、すなわち、輝度データと色データのペア(Yn, CRn)および(Yn+1, CBn)が連続して出力される。図8(n)では、範囲の幅に対するイネーブル信号としてFWEL信号が供給される。この信号FWELはデータイネーブルDENの反転ラッチ出力として出力する。 Then, at the rise of the third clock, it is output in the relationship of FIG. 8 (l) and FIG. 8 (m). In this case, data for two pixels, that is, luminance data and color data pairs (Y n , CR n ) and (Y n + 1 , CB n ) are continuously output during two clocks for continuous reading. . In FIG. 8 (n), the FWEL signal is supplied as an enable signal for the range width. This signal FWEL is output as an inverted latch output of the data enable DEN.

表示シーケンサ20における拡大/縮小表示に対するサンプリング調整を説明する。添字nは偶数とする。供給された画像データのうち、輝度データYの先頭の輝度データYn、すなわち偶数のとき、輝度データYは3つのデータを読み出す。すなわち、偶数の輝度データYn, 隣接する奇数の輝度データYn+1および拡大/縮小の係数を考慮した輝度データYn+Kである(図9(a)を参照)。また、色データは、連続して供給される輝度データYn, Yn+1にそれぞれ対応したCRn, CBnが供給される(図9(b)を参照)。 Sampling adjustment for enlargement / reduction display in the display sequencer 20 will be described. The subscript n is an even number. Among the supplied image data, when the luminance data Y n is the head luminance data Y n of the luminance data Y, that is, even, the luminance data Y reads three data. That is, even luminance data Y n , adjacent odd luminance data Y n + 1, and luminance data Y n + K in consideration of an enlargement / reduction coefficient (see FIG. 9A). In addition, color data is supplied with CR n and CB n corresponding to the luminance data Y n and Y n + 1 that are continuously supplied (see FIG. 9B).

この場合における輝度データYは、データ分離部20aのデータ保持部200aに供給される、図9(c)の輝度イネーブルYENのイネーブル(ハイレベル)期間中でクロックCLKの立上りエッジで取り込まれる。データ保持部200aに取り込まれる輝度データYとクロック10bの立上りエッジとの関係から、データ保持部200aの出力は図9(d)に示すようになる。   The luminance data Y in this case is captured at the rising edge of the clock CLK during the enable (high level) period of the luminance enable YEN shown in FIG. 9C, which is supplied to the data holding unit 200a of the data separation unit 20a. From the relationship between the luminance data Y captured by the data holding unit 200a and the rising edge of the clock 10b, the output of the data holding unit 200a is as shown in FIG. 9 (d).

これに対して、色データCRは、図9(e)の色RイネーブルCRENのイネーブル状態においてクロック10bの立上りで色データCRnを取り込み、図9(f)に示すように、2クロック目の立上りでこの色データCRnを出力し続ける。同様に、図9(g)の色BイネーブルCBENのイネーブル状態においてクロック10bの立上りで色データCBnを取り込み、図9(h)に示すように、3クロック目の立上りでこの色データCBnを出力し続ける。 In contrast, the color data CR takes the color data CR n at the rising edge of the clock 10b in the enable state of the color R enable CREN in FIG. 9 (e), the as shown in FIG. 9 (f), the second clock The color data CR n is continuously output at the rising edge. Similarly, in the enable state of the color B enable CBEN in FIG. 9 (g), the color data CB n is taken in at the rising edge of the clock 10b, and as shown in FIG. 9 (h), this color data CB n is taken in at the rising edge of the third clock. Will continue to be output.

色信号選択部20bに供給される色選択信号RLBが、図9(i)の信号レベルで供給されると、色信号選択部20bによる色選択は、図9(j)の色データの順序、すなわち色CR, CBの色データがペア生成部20cに供給される。   When the color selection signal RLB supplied to the color signal selection unit 20b is supplied at the signal level in FIG. 9 (i), the color selection by the color signal selection unit 20b is performed in the order of the color data in FIG. That is, the color data of the colors CR and CB is supplied to the pair generation unit 20c.

図9(k)に示すように、ペア生成部20cには、2クロック目において図9(d)の出力された輝度データと図9(j)の色データが供給されているとき、ペア生成部20cにデータイネーブルDENの立上りが3クロック目に供給されることにより、16ビットの輝度データYn, 色データCRnが取り込まれる。このことから、明らかなようにこの場合、3クロック分で選択が完了していることがわかる。 As shown in FIG. 9 (k), the pair generation unit 20c generates a pair when the luminance data output in FIG. 9 (d) and the color data in FIG. 9 (j) are supplied at the second clock. When the rising edge of the data enable DEN is supplied to the unit 20c at the third clock, 16-bit luminance data Y n and color data CR n are captured. This clearly shows that the selection is completed in three clocks in this case.

そして4クロック目の立上り、すなわち図9(l)および図9(m)の関係で輝度データYn, 色データCRnが出力される。結果として連続読出しのため3クロックの間に2画素分のデータ、すなわち、輝度データと色データのペア(Yn, CRn)および(Yn+1, CBn)が連続して出力される。図9(n)では範囲の幅に対するイネーブル信号としてFWEL信号が供給される。この信号FWELはデータイネーブルDENの反転ラッチ出力として出力する。このとき、(4:2:2)方式での輝度データと色データの関係が保たれている。 Then, luminance data Y n and color data CR n are output at the rise of the fourth clock, that is, in the relationship of FIG. 9 (l) and FIG. 9 (m). As a result, data for two pixels, that is, pairs of luminance data and color data (Y n , CR n ) and (Y n + 1 , CB n ) are continuously output during 3 clocks for continuous reading. . In FIG. 9 (n), the FWEL signal is supplied as an enable signal for the range width. This signal FWEL is output as an inverted latch output of the data enable DEN. At this time, the relationship between luminance data and color data in the (4: 2: 2) method is maintained.

最後に、供給された画像データのうち、輝度データYの先頭の輝度データYn+1、すなわち奇数のとき、輝度データYは3つのデータを読み出す。すなわち、偶数の輝度データYn+1, 隣接する一つ前の偶数の輝度データYnおよび拡大/縮小の係数を考慮した輝度データYn+Kである(図10(a)を参照)。これは、これまでのサンプリング関係、すなわち、(4:2:2)方式の輝度データと色データとの関係が示すように、最初の輝度データに対して色データは、色CRを対応させなければならない。しかしながら、奇数の輝度データに対応する色データは後述するように色CBである。このままサンプリングすると、輝度データと色データとのペアにずれが生じ、たとえば、偽色等の画質劣化を、いわゆる電子ズームした際に発生する虞がでてくる。そこで、奇数が先頭になった場合、2番目に読み出す画像データのアドレスを一つ前に戻して画像データを読み出すように調整するとともに、以後のサンプリングのタイミングもこの点を考慮して行っている。 Finally, among the supplied image data, when the luminance data Y n + 1 at the head of the luminance data Y, that is, when it is an odd number, the luminance data Y reads three data. That is, the even brightness data Y n + 1 , the immediately preceding even brightness data Y n, and the brightness data Y n + K in consideration of the enlargement / reduction factor (see FIG. 10A). This means that the color data must correspond to the color CR for the first luminance data, as shown by the previous sampling relationship, that is, the relationship between the luminance data and the color data in the (4: 2: 2) method. I must. However, the color data corresponding to the odd luminance data is the color CB as will be described later. If sampling is performed as it is, a pair of luminance data and color data is shifted, and for example, image quality degradation such as false color may occur when so-called electronic zooming is performed. Therefore, when the odd number comes to the top, adjustment is made so that the image data address is read by returning the address of the image data to be read second, and the subsequent sampling timing is also taken into consideration for this point. .

また、色データは、連続して供給される輝度データYn+1, Ynにそれぞれ対応したCBn, CRnが供給される(図10(b)を参照)。図9での説明との相違点はこの点である。 Further, CB n and CR n corresponding to the luminance data Y n + 1 and Y n supplied continuously are supplied as the color data (see FIG. 10B). This is the difference from the description in FIG.

この場合における輝度データYはデータ分離部20aのデータ保持部200aに供給される、図10(c)の輝度イネーブルYENのイネーブル(ハイレベル)期間中でクロックCLKの立上りエッジで取り込まれる。データ保持部200aに取り込まれる輝度データYとクロック10bの立上りエッジとの関係からデータ保持部200aの出力は、図10(d)に示すようになる。   The luminance data Y in this case is captured at the rising edge of the clock CLK during the enable (high level) period of the luminance enable YEN shown in FIG. 10 (c), which is supplied to the data holding unit 200a of the data separation unit 20a. The output of the data holding unit 200a is as shown in FIG. 10 (d) from the relationship between the luminance data Y captured by the data holding unit 200a and the rising edge of the clock 10b.

これに対して、色データCRは、奇数が先頭の場合、図10(e)の色RイネーブルCRENのイネーブル状態においてクロック10bの2クロック目の立上りで色データCRnを取り込み、図10(f)に示すように、3クロック目の立上りでこの色データCRnを出力し続ける。また、図10(g)の色BイネーブルCBENのイネーブル状態では、クロック10bの1クロック目の立上りで色データCBnを取り込み、図10(h)に示すように、2クロック目の立上りでこの色データCBnを出力し続ける。 On the other hand, when the odd number is the head of the color data CR, the color data CR n is captured at the rising edge of the second clock of the clock 10b in the enable state of the color R enable CREN in FIG. ), The color data CR n is continuously output at the rising edge of the third clock. Further, in the enabled state of the color B enable CBEN in FIG 10 (g), captures color data CB n in the first clock of the rising edge of the clock 10b, as shown in FIG. 10 (h), this second clock rising Continue to output color data CB n .

色信号選択部20bに供給される色選択信号RLBが、図10(i)の信号レベルで供給される。このタイミングでの供給は、ペアとなる輝度データYn+Kを選択させる輝度イネーブルYEN の立上りと同時に色選択信号RLBをレベル“L”にする。この色選択信号RLBの供給により、色信号選択部20bによる色選択は、図10(j)の色データの順序が色CB, CR, CBの色データの順に行われる。 The color selection signal RLB supplied to the color signal selection unit 20b is supplied at the signal level shown in FIG. 10 (i). Supply at this timing sets the color selection signal RLB to the level “L” simultaneously with the rise of the brightness enable YEN for selecting the brightness data Y n + K to be paired. By supplying the color selection signal RLB, the color selection by the color signal selection unit 20b is performed in the order of the color data of the colors CB, CR, and CB in FIG. 10 (j).

ペア生成部20cでは、図10(k)に示すように、2クロック目において図10(d)の出力された輝度データと図10(j)の色データが供給されているとき、ペア生成部20cにデータイネーブルDENの立上りが3クロック目に供給されることにより、16ビットの輝度データYn+1, 色データCRnが取り込まれる。そして連続してデータイネーブルDENがイネーブル状態にあることから、連続した2画素が選択されるとともに、これらの選択が3クロック分で選択が完了していることがわかる。 In the pair generation unit 20c, as shown in FIG. 10 (k), when the luminance data output in FIG. 10 (d) and the color data in FIG. 10 (j) are supplied at the second clock, When the rising edge of the data enable DEN is supplied to the third clock at 20c, 16-bit luminance data Y n + 1 and color data CR n are captured. Since the data enable DEN is continuously in the enabled state, it can be seen that the two consecutive pixels are selected and the selection is completed in three clocks.

そして4クロック目の立上りで図10(l)および図10(m)の関係で出力される。連続読出しのため3クロックの間に2画素分のデータは、輝度データと色データのペア(Yn+1, CRn)および(Yn+K, CBn)が連続して出力される。図10(n)では範囲の幅に対するイネーブル信号としてFWEL信号が供給される。この信号FWELは、データイネーブルDENの反転ラッチ出力として出力する。このようにサンプリング調整することにより、いわゆる、電子ズーム処理が(4:2:2)方式で行われても輝度データと色データの関係を保つことができる。 Then, at the rise of the fourth clock, it is output in the relationship of FIG. 10 (l) and FIG. 10 (m). For continuous readout, data for two pixels is output in succession as a pair of luminance data and color data (Y n + 1 , CR n ) and (Y n + K , CB n ) for three clocks. In FIG. 10 (n), the FWEL signal is supplied as an enable signal for the range width. This signal FWEL is output as an inverted latch output of the data enable DEN. By adjusting the sampling in this way, the relationship between the luminance data and the color data can be maintained even when the so-called electronic zoom processing is performed by the (4: 2: 2) method.

次に、バス調停部18によりバッファメモリ部12b に出力されるパケットの送出について簡単に説明する。本実施例では、1パケットは8ビットのデータを8個まとめたデータの集まりとして定義している。パケットを供給する期間は、図11(a)の水平同期信号HDが示す有効走査期間に供給する(図11(b)を参照)。バッファメモリ部12bのFIFOメモリ128b, 130bのいずれかにパケットデータが書き込まれる。1ラインには、80個の画像データのパケットが書き込まれている。図11(c)の番号は、パケットの番号を表している。図11(c)のパケット番号80以降の文字「FREE」は、情報が何もなことを示している。また、文字「REF 」は、画像メモリ14に対して行うリフレッシュ処理の指示を行うパケットを示す。   Next, transmission of a packet output from the bus arbitration unit 18 to the buffer memory unit 12b will be briefly described. In this embodiment, one packet is defined as a collection of data obtained by collecting eight 8-bit data. The period for supplying the packet is supplied during the effective scanning period indicated by the horizontal synchronizing signal HD in FIG. 11 (a) (see FIG. 11 (b)). Packet data is written into one of the FIFO memories 128b and 130b of the buffer memory unit 12b. In one line, 80 image data packets are written. The numbers in FIG. 11 (c) represent packet numbers. The characters “FREE” after the packet number 80 in FIG. 11 (c) indicate that there is no information. The character “REF” indicates a packet for instructing the image memory 14 to perform a refresh process.

また、図11(d)および図11(e)に示すように、画像データの他に、文字「CPU」, 「DMA」が画像データのパケット間に挿入され、たとえば、外部のCPU 22に関する制御および外部からのDMA制御部24からのDMA制御に関する情報が入っている。図11(c)および図11(e)が示すように、画像データのパケットは、ともに有効走査期間中に80パケット/ラインが完了している。しかしながら、図11(f)および図11(g)のパケットの関係が示すように有効走査期間中に80パケット/ラインが完了していない場合、画像の端にデータがなく切れてしまう。1ラインに表示させる画像データのパケット数は、調停処理を受けながらも定義した80個を満たされなければならない。この関係を満たすようにパケットを送出する。   Further, as shown in FIGS. 11 (d) and 11 (e), in addition to image data, characters “CPU” and “DMA” are inserted between image data packets, for example, control related to external CPU 22 Information on DMA control from the DMA controller 24 from the outside is included. As shown in FIGS. 11 (c) and 11 (e), 80 packets / line of image data packets are completed during the effective scanning period. However, as shown by the packet relationship in FIGS. 11 (f) and 11 (g), when 80 packets / line is not completed during the effective scanning period, there is no data at the edge of the image. The number of image data packets to be displayed in one line must satisfy the defined 80 while undergoing the arbitration process. Packets are sent to satisfy this relationship.

次に、ディジタルカメラ10における画像制御処理部10hの全体的な動作について図1を参照しながら、説明する。電源をオン状態にして動作を開始する。この開始によりタイミング信号発生部12aが直ちにクロック10a, 10bを含む各種のタイミング信号を生成する。そして、サブルーチンSUB1のメモリ制御処理に移行する。メモリ制御処理とは、初期設定等の各種設定を行い、共有バス32の優先度に応じて調停して画像メモリ14から読み出した画像データに表示処理を施す。サブルーチンSUB1での画像データに対して、特に表示シーケンス制御によりパケット化する通常のパケットサイズを指示データ32aや有効画素数データ54等に基づいて変更した画像データのパケットをラインごとにデータ修正部30に出力する。このサイズ変更等の設定に基づく画像データの送出により共有バス32のアクセス占有率を従来に比べて低下させることができる。   Next, the overall operation of the image control processing unit 10h in the digital camera 10 will be described with reference to FIG. Turn on the power and start operation. With this start, the timing signal generator 12a immediately generates various timing signals including the clocks 10a and 10b. Then, the process proceeds to the memory control process of subroutine SUB1. In the memory control process, various settings such as initial settings are performed, and arbitration is performed according to the priority of the shared bus 32, and display processing is performed on the image data read from the image memory 14. For the image data in the subroutine SUB1, the data correction unit 30 changes the packet of the image data in which the normal packet size packetized by the display sequence control is changed based on the instruction data 32a, the effective pixel number data 54, etc. for each line. Output to. The access occupancy rate of the shared bus 32 can be reduced as compared with the prior art by sending image data based on the setting such as the size change.

データ修正部30では、供給されたパケットごとの画像修正を指示データ32a等に応じて行う(サブルーチンSUB2)。画像修正は、たとえば、パケットサイズの変更に応じたパケットデータの復元、各パケットに対する各種の信号処理、およびバッファメモリ部12bで書き込むアドレス位置の指定の少なくとも一つを行う。データ修正部30は、この処理後、バッファメモリ部12bにパケット化した画像データ118を出力する。この処理により、パケットサイズを変更した画像データは復元されるとともに、パケットごとに高品位な画像にすることができる。本実施例のディジタルカメラ10のように、画像制御処理部10hを適用したシステムは高いパフォーマンスを有することになる。   The data correction unit 30 performs image correction for each supplied packet in accordance with the instruction data 32a or the like (subroutine SUB2). The image correction is performed, for example, at least one of restoration of packet data corresponding to a change in packet size, various signal processing for each packet, and designation of an address position to be written in the buffer memory unit 12b. After this processing, the data correction unit 30 outputs the packetized image data 118 to the buffer memory unit 12b. By this processing, the image data whose packet size has been changed is restored, and a high-quality image can be obtained for each packet. A system to which the image control processing unit 10h is applied like the digital camera 10 of this embodiment has high performance.

バッファメモリ部12bにおいて供給されたパケットの高速レートの書込み/通常レートの読出しが制御される(ステップS10)。読み出されたパケット化した画像データは、エンコード処理部28で画像データを抽出し、得られた画像データにエンコード処理を施して図示しない表示装置に出力される(ステップS12)。   In the buffer memory unit 12b, high-speed writing / normal-rate reading of packets supplied is controlled (step S10). The read packetized image data is extracted by the encoding processing unit 28, and the obtained image data is encoded and output to a display device (not shown) (step S12).

この後、画像表示が完了したのか否かを判断する(ステップS14)。まだ画像表示の途中ならば(NO)、サブルーチンSUB1に戻って前述した一連の画像データの制御を繰り返す。また、画像表示が完了したならば(YES)、画像表示に関わる制御を終了する。   Thereafter, it is determined whether or not the image display is completed (step S14). If the image is still being displayed (NO), the process returns to the subroutine SUB1 to repeat the series of image data control described above. If the image display is completed (YES), the control related to the image display is ended.

本実施例の特徴を含むサブルーチンSUB1について説明する(図12および図13を参照)。サブルーチンSUB1では、まず画像制御処理部10hにおける初期設定が済んでいるか否かを判断する(サブステップSS100)。まだ初期設定が済んでいないとき(YES)、初期設定の処理に進む(サブステップSS102)。また、すでに初期設定が行われているとき(NO)、バス調停処理に移行する(サブステップSS104)。バス調停処理において優先度の高い順に判断を行う。   A subroutine SUB1 including the features of the present embodiment will be described (see FIGS. 12 and 13). In the subroutine SUB1, it is first determined whether or not the initial setting in the image control processing unit 10h has been completed (substep SS100). When the initial setting has not been completed yet (YES), the process proceeds to the initial setting process (substep SS102). When the initial setting has already been performed (NO), the process proceeds to the bus arbitration process (sub step SS104). In the bus arbitration process, determination is performed in descending order of priority.

最優先の処理は、画像メモリ14のリフレッシュ処理である。この処理は、画像メモリ14にDRAMまたはSDRAMを用いていることから所定のサイクルでメモリをリフレッシュさせる必要性がある。バス調停部18にリフレッシュ処理を行うフラグが立っているか否かで要求の有無を判断する(サブステップSS104)。   The process with the highest priority is the refresh process of the image memory 14. In this processing, since DRAM or SDRAM is used for the image memory 14, it is necessary to refresh the memory in a predetermined cycle. Whether or not there is a request is determined based on whether or not a flag for performing refresh processing is set in the bus arbitration unit 18 (substep SS104).

このフラグは、たとえばリフレッシュカウンタ(図示せず)の計数値に応じて立たせることができる。リフレッシュ用フラグが立っているまたはカウント値が所定の値になった場合(YES)、現時点での共有バス32が使用可能か否か判断する(サブステップSS106)。使用可能でない場合(NO)、図12にあらわに表示させていないが、直ちに現在の共有バス32を使用中の処理を退避させる処理を行い、その間、待機する。共有バス32が使用可能なとき(YES)、リフレッシュ処理を行う(サブステップSS108)。リフレッシュ処理は、リフレッシュをさせる制御情報をパケット化してデータ修正部30に出力する。また、リフレッシュ用のフラグまたはリフレッシュのカウント値に達していない場合(NO)、表示読込み(サブステップSS110)に進む。   This flag can be set according to the count value of a refresh counter (not shown), for example. When the refresh flag is set or the count value reaches a predetermined value (YES), it is determined whether or not the current shared bus 32 is usable (sub-step SS106). If it is not usable (NO), it is not displayed explicitly in FIG. 12, but immediately a process for saving the process currently in use on the shared bus 32 is performed, and the process waits. When the shared bus 32 is usable (YES), refresh processing is performed (substep SS108). In the refresh process, control information to be refreshed is packetized and output to the data correction unit 30. If the refresh flag or the refresh count value has not been reached (NO), the process proceeds to display reading (sub-step SS110).

表示読込み用のフラグまたは要求信号(REQ)が供給されているか判断する(サブステップSS110)。表示読込みの要求がある場合(YES)、共有バス32が使用可能か否かを、先に使用している処理の優先度も考慮して処理の一時退避させるかの判断を行う(サブステップSS112)。先の処理が表示読込み処理よりも低いとき(NO)、先の処理を退避させる。共有バス32が使用可能のとき(YES)、表示読込み処理に進む(サブルーチンSUB3)。   It is determined whether a display reading flag or a request signal (REQ) is supplied (substep SS110). If there is a request to read the display (YES), it is determined whether or not the shared bus 32 can be used and whether or not the processing is temporarily saved in consideration of the priority of the processing used previously (substep SS112). ). When the previous process is lower than the display reading process (NO), the previous process is saved. When the shared bus 32 is usable (YES), the process proceeds to display reading processing (subroutine SUB3).

サブルーチンSUB3では、画像データのパケット化に対応した処理、(4:2:2)方式でのペアに対応した処理等を行って画像データをデータ修正部30に出力する。この他の処理も含めて後段にてサブルーチンSUB3を詳述する。表示読込みの要求がなかった場合(NO)、外部のCPU 22による制御に関する処理に移行する。   In subroutine SUB3, processing corresponding to packetization of image data, processing corresponding to a pair in the (4: 2: 2) system, and the like are performed, and the image data is output to data correction unit 30. Subroutine SUB3 will be described in detail later, including other processing. If there is no request for reading the display (NO), the processing shifts to processing related to control by the external CPU 22.

この移行により、バス調停部18では、CPU 制御用のフラグまたは要求信号(REQ)が供給されているか否かを判断する(サブステップSS114)。CPU制御の要求がある場合(YES)、次にCPUの制御が書込み処理か否かの判断をする(サブステップSS116)。書込み処理の場合(YES)、共有バス32の使用可能かの判断に進み(サブステップSS118)、書込み処理でない場合(NO)、他の共有バス32の使用可能かの判断に進む(サブステップSS120)。   With this shift, the bus arbitration unit 18 determines whether or not a CPU control flag or a request signal (REQ) is supplied (sub-step SS114). If there is a CPU control request (YES), it is next determined whether or not the CPU control is a write process (substep SS116). In the case of write processing (YES), the process proceeds to determination of whether the shared bus 32 can be used (substep SS118). In the case of non-write processing (NO), the process proceeds to determination of whether another shared bus 32 can be used (substep SS120). ).

サブステップSS118、SS120では、ともに先行処理の優先度とこれから行う処理の優先度を比較して優先度の高い方の処理を行う。この際、優先度がCPU制御処理の方が高いとき(NO)、先行処理を一時退避させる。共有バス32が使用可能なとき(YES)、それぞれ、サブステップSS118、SS120以降の書込み制御処理(サブステップSS122)、読出し処理(サブステップSS124)に進む。それぞれ書込み・読出し処理を行った後だけでなく、サブステップ SS108, サブルーチンSUB3以後も接続子Aを介してパケット制御の終了判断に進む(図13のサブステップSS126)。   In sub-steps SS118 and SS120, the priority of the preceding process is compared with the priority of the process to be performed, and the process with the higher priority is performed. At this time, if the priority is higher in the CPU control process (NO), the preceding process is temporarily saved. When the shared bus 32 is usable (YES), the process proceeds to sub-step SS118, SS120 and subsequent write control processing (sub-step SS122) and read-out processing (sub-step SS124), respectively. Not only after performing the writing / reading processing, but also after sub-step SS108 and subroutine SUB3, the process proceeds to the end of packet control via connector A (sub-step SS126 in FIG. 13).

他の制御データのパケットを含む、パケット化したデータの出力制御が終了したか否かを判断する(サブステップSS126)。終了した場合(YES)、リターンを介して図1のメインルーチンに戻る。また、まだ終了していない場合(NO)、接続子Bを介してサブステップSS104に戻る。   It is determined whether or not output control of packetized data including other control data packets is completed (sub-step SS126). If completed (YES), return to the main routine of FIG. 1 via return. On the other hand, if not finished yet (NO), the process returns to the sub-step SS104 via the connector B.

先に説明したサブステップSS114において、バス調停部18では要求がCPU制御でなかった場合(NO)、接続子Cを介してDMA制御部24がDMA制御の要求を出しているか否かの判断に進む(図13のサブステップSS128を参照)。ここでの判断は、DMA制御を行う場合(YES)、DMA制御が書込みか否かの判断を行う処理に進む(サブステップSS130)。書込み処理と判断された場合(YES)、これまで述べてきたように共有バス32が使用可能か否かを判断する(サブステップSS132)。使用可能状態にないとき(NO)、待機するとともに、優先度に応じて低い優先度を先行処理していたとき一時退避処理も行う。共有バス32の使用許可が降りた際に(YES)、DMAの書込み制御を行う(サブステップSS134)。   In the above-described sub-step SS114, if the request is not CPU control in the bus arbitration unit 18 (NO), it is determined whether or not the DMA control unit 24 issues a DMA control request via the connector C. Proceed (see sub-step SS128 of FIG. 13). When the DMA control is performed (YES), the determination here proceeds to a process of determining whether or not the DMA control is writing (substep SS130). If it is determined that the write process is to be performed (YES), it is determined whether or not the shared bus 32 is usable as described above (sub-step SS132). When it is not in the usable state (NO), it stands by and temporarily saves when a low priority is processed in advance according to the priority. When the use permission of the shared bus 32 is granted (YES), DMA write control is performed (substep SS134).

また、DMA制御を行う場合、かつ書込みでないと判断された場合(NO)、サブステップSS136に進んで共有バス32の使用許可の判断を行う。この判断に基づく処理は、特に使用許可がないときのサブステップSS132の処理と同じである(サブステップSS136)。共有バス32の使用許可を受けた際に、DMA制御における読出し制御処理を行う(サブステップSS138)。DMA制御における書込み制御と読出し制御の処理のいずれも処理により1パケットに制御情報を入れて出力する。この後、サブステップSS126に進んでパケット制御終了か否かの判断を行う。   When DMA control is performed and when it is determined that writing is not performed (NO), the process proceeds to sub-step SS136 to determine permission to use the shared bus 32. The processing based on this determination is the same as the processing in sub-step SS132 when there is no use permission (sub-step SS136). When permission to use the shared bus 32 is received, read control processing in DMA control is performed (substep SS138). In both the write control and read control processes in the DMA control, control information is put into one packet and output. Thereafter, the process proceeds to sub-step SS126 to determine whether or not the packet control is finished.

ところで、DMA制御を行わない場合(NO)、外部の装置からのデータ入力や制御の有無を判断する(サブステップSS140)。この要求がある場合(YES)、外部からの制御を行う(サブステップSS142)。このような制御としては、たとえば、キーボード等の装置が挙げられる。また、上述した判断の結果がいずれにも該当しない場合(NO)、何も処理しないでサブステップSS126に進む。サブステップSS126での判断は前述した通りである。一連の判断が終了していれば(YES)、リターンを介してメインルーチンに戻る。このように要求される処理に対して共有バス32が空いているか判断し、この際に優先度に応じて各処理が行われるので、画像データのパケット化に限らず、他の制御も効率的に行うことができる。このパケット化した画像データを含む各種のデータ供給は、図11に示したように1ラインの有効画像表示期間中に行われる。処理に対して時間を有効に使うことができるようになった。   By the way, when DMA control is not performed (NO), it is determined whether or not data is input from an external device and whether or not there is control (substep SS140). If this request is present (YES), control from the outside is performed (substep SS142). Examples of such control include devices such as a keyboard. On the other hand, if the result of the above determination does not correspond to any (NO), the process proceeds to sub-step SS126 without performing any processing. The determination at sub-step SS126 is as described above. If a series of determinations have been completed (YES), the process returns to the main routine via return. In this way, it is determined whether the shared bus 32 is free for the required processing, and at this time, each processing is performed according to the priority. Therefore, not only image data packetization but also other control is efficient. Can be done. Various data supply including the packetized image data is performed during the effective image display period of one line as shown in FIG. Time can be used effectively for processing.

次に前出したサブルーチンSUB3における画像データをパケット化し、表示シーケンス(順序)に合わせて読み出すとともに、パケットサイズの変更処理の手順について説明する(図14および図15を参照)。画像制御処理部10hの構成にあらわに図示していないが、たとえば信号入力部26には、備えられたマウスまたはキーボードを介して、これから処理される画像に対して、いわゆる、電子ズームの大きさを設定する(サブステップSS300)。ここでの設定値が、画像表示を行う際のズーム係数である。等倍(1.0)を基準に256とすると、2倍の拡大は、512、半分の縮小は、128となる。また、画像データのパケットあたりのデータ量および画像データの1ラインあたりのパケット数も設定する。   Next, the image data in the above-described subroutine SUB3 is packetized and read out in accordance with the display sequence (order), and the procedure for changing the packet size will be described (see FIGS. 14 and 15). Although not shown explicitly in the configuration of the image control processing unit 10h, for example, the signal input unit 26 has a so-called electronic zoom size for an image to be processed through a mouse or a keyboard provided. Is set (substep SS300). The set value here is a zoom coefficient when performing image display. Assuming 256 with the same magnification (1.0) as the reference, double enlargement is 512, and half reduction is 128. The data amount per packet of image data and the number of packets per line of image data are also set.

パケットのデータ量およびパケット数は、ハードウェア的な制約を受ける場合、固定的に設定されることもある。本実施例では、8個の連続した画像データを1パケットとして固定的に扱う。そして、画像データに対して80個のパケットが1ラインに含まれるように設定されている。なお、電子ズームの設定は、割込み処理によっても設定可能にしておくとよい。   The amount of packet data and the number of packets may be fixedly set if there are hardware restrictions. In this embodiment, eight consecutive image data are fixedly handled as one packet. Then, it is set so that 80 packets are included in one line for the image data. It should be noted that the electronic zoom can be set by interrupt processing.

この設定の後、画像メモリ14から読み出す画像データのアドレスを算出する(サブステップSS302)。ここでのアドレス算出は、上述したパケットの先頭のアドレスをランダムに設定してもよい。指定したパケットの先頭のアドレスに対して以下に連続する7個の画像データを電子ズームのズーム係数を考慮して算出する。算出したアドレスデータがメモリ制御部16に供給される。より具体的な本実施例でのアドレス算出は、ズーム距離を加算した後の小数点以下の値は四捨五入して求めている。この算出により、先頭位置がずれることを防ぐことができる。   After this setting, the address of the image data read from the image memory 14 is calculated (substep SS302). In this address calculation, the top address of the packet may be set at random. The following seven consecutive image data are calculated in consideration of the zoom coefficient of the electronic zoom with respect to the head address of the designated packet. The calculated address data is supplied to the memory control unit 16. More specific address calculation in this embodiment is obtained by rounding off the value after the decimal point after adding the zoom distance. By this calculation, it is possible to prevent the head position from being shifted.

メモリ制御部16では、画像データのデータ読出し行うとともに、たとえば、(4:2:2)方式に対応した輝度データおよび色データのペア関係を保たれた調節の読出し制御を行う(サブルーチンSUB4:データ読出し;順序調節)。実際の順序調節は表示シーケンサ20で行う。この読出しにより、(4:2:2)方式で電子ズームを行っても、偽色等の画質を劣化させる現象を抑制させることができる。特に、上述したペア関係を保つ制御について後段でさらに詳述する。   The memory control unit 16 reads out the image data and, for example, performs read-out control of the adjustment while maintaining the pair relationship of the luminance data and the color data corresponding to the (4: 2: 2) method (subroutine SUB4: data Read; order adjustment). The actual sequence adjustment is performed by the display sequencer 20. By this reading, even if the electronic zoom is performed by the (4: 2: 2) method, it is possible to suppress a phenomenon that the image quality such as false color is deteriorated. In particular, the control for maintaining the above-described pair relationship will be described in detail later.

この処理後、サブステップSS304に進んで、垂直ブランキング信号(Vertical BLanKing:以後、VBLKという)を表示開始する際の同期信号に用いるため、サブルーチンSUB4が終了した後に到来するVBLK信号を検出している。VBLK信号が未検出のとき(NO)、サブステップSS304に処理を戻して待機する。また、VBLK信号が到来したとき(YES)、表示シーケンス処理(サブルーチンSUB5)に移行する。   After this processing, the process proceeds to sub-step SS304, where the vertical blanking signal (Vertical BLanKing: hereinafter referred to as VBLK) is used as a synchronization signal when starting display. Yes. When the VBLK signal is not detected (NO), the process returns to sub-step SS304 and waits. When the VBLK signal arrives (YES), the process proceeds to display sequence processing (subroutine SUB5).

サブルーチンSUB5では、これまで読み出した画像データのパケットをデータ修正部30に供給する順序を整える処理を行う。この一連の処理は、前述した表示シーケンサ20で行う。水平方向の読出しとともに、この処理では、電子ズームに対応して垂直方向の読出し制御に関する処理も行っている。これらの処理についても後段で詳述する。   In the subroutine SUB5, a process for arranging the order of supplying the packet of the image data read so far to the data correction unit 30 is performed. This series of processing is performed by the display sequencer 20 described above. Along with the horizontal reading, in this process, a process related to vertical reading control is also performed corresponding to the electronic zoom. These processes will also be described in detail later.

この処理後、供給されるパケットが含むヘッダ情報の検出を行う(サブステップSS306)。パケットの各種情報を示すヘッダ情報を含んでいる場合(YES)、検出したヘッダ情報から画面表示の指示を含むか否かパラメータ解析を行う(サブステップSS308)。また、ヘッダ情報を含んでいない場合(NO)、パラメータ解析を行わないで、パケットに対する処理の指示対象のパケットか否かの判定に進む(サブステップSS310)。指示対象のパケットでないとき(NO)、接続子Sを介して供給されたパケットデータをそのままデータ転送する(図15のサブステップSS312)。また、指示対象のパケットと判定したとき(YES)、接続子Tを介して指示内容がサイズ変更か否かの判定を行う(図15のサブステップSS314)。   After this processing, header information included in the supplied packet is detected (substep SS306). If header information indicating various information of the packet is included (YES), parameter analysis is performed to determine whether or not a screen display instruction is included from the detected header information (substep SS308). If the header information is not included (NO), the parameter analysis is not performed, and the process proceeds to a determination as to whether the packet is a processing instruction target packet (sub step SS310). When the packet is not the instruction target packet (NO), the packet data supplied via the connector S is transferred as it is (substep SS312 in FIG. 15). When it is determined that the packet is the instruction target (YES), it is determined whether or not the instruction content is a size change via the connector T (substep SS314 in FIG. 15).

指示内容がサイズ変更を含んでいないとき(NO)、パケットのデータ転送を行う(サブステップSS312)。また、指示内容がサイズ変更を含むとき(YES)、パケットサイズ変更の対応処理を対象のパケットに施す(サブルーチンSUB6)。この後、サイズ変更されたパケットがデータ転送される(サブステップSS312)。このデータ転送を行った後、リターンに移行してサブルーチンSUB1に戻る。   When the instruction content does not include a size change (NO), packet data transfer is performed (substep SS312). When the instruction content includes a size change (YES), a packet size change corresponding process is performed on the target packet (subroutine SUB6). Thereafter, the resized packet is transferred (substep SS312). After performing this data transfer, the process proceeds to return and returns to subroutine SUB1.

なお、高速処理を目的としてこの表示シーケンス後に1画面分の画像データの送出が完了したか否かの判断を行うようにしてもよい。データの送出が未完のとき(NO)、アドレス算出処理に戻って処理を繰り返す。ただし、本実施例では、一例の処理として、この一連の繰返し処理が行われるようにVBLK信号の立上りを基準に画像表示のライン数が所定の値に達するまで、サブステップSS304における判断処理を素通りさせる。データの送出が完了したとき(YES)、リターンに移行してこのサブルーチンSUB3を終了させる。   For the purpose of high-speed processing, it may be determined whether transmission of image data for one screen is completed after this display sequence. When data transmission is incomplete (NO), the process returns to the address calculation process and is repeated. However, in this embodiment, as an example of processing, the determination processing in sub-step SS304 is passed until the number of lines of image display reaches a predetermined value with reference to the rise of the VBLK signal so that this series of repetition processing is performed. Let When the transmission of data is completed (YES), the process proceeds to return, and this subroutine SUB3 is terminated.

次にデータ読出しおよびペア関係を保つ順序に関する手順について説明する(サブルーチンSUB4:図16〜図20を参照)。まず、画像データの読出しがこれまで行われてきた処理と継続性があるか否かの判断を行う(サブステップSS400)。継続性に関する情報は、フラグまたは組合せの条件フラグを用いて判断する。継続性がある場合(YES)、サブステップSS402に進んでアドレスをロードする。この際にロードするアドレスは、一つ前のパケットの最後に読み出したアドレスである。この処理後、サブステップSS404に進む。また、継続性がない場合(NO)も同様に、今回初めて画像データの読出しを行うことからサブステップSS404に進む。   Next, a procedure regarding the order of data reading and maintaining the pair relationship will be described (subroutine SUB4: see FIGS. 16 to 20). First, it is determined whether or not the image data reading is continuous with the processing that has been performed so far (substep SS400). Information on continuity is determined using a flag or a combination condition flag. If there is continuity (YES), the process proceeds to sub-step SS402 to load an address. The address loaded at this time is the address read at the end of the previous packet. After this processing, the process proceeds to substep SS404. Similarly, when there is no continuity (NO), the process proceeds to sub-step SS404 since the image data is read for the first time this time.

サブステップSS404では、メモリ制御に用いる各種のパラメータの初期化を行う。このパラメータの設定を行い、次にアドレスの設定を行う(サブステップSS406)。そして、動作開始の設定を行う(サブステップSS408)。ここでの動作とは、画像メモリ14に対する動作制御を意味する。たとえば、チップセレクト(CS)やロー・アドレス・セレクト(RAS)等の動作であり、これらの開始が動作開始である。   In substep SS404, various parameters used for memory control are initialized. This parameter is set, and then an address is set (substep SS406). Then, the operation start is set (substep SS408). The operation here means operation control for the image memory 14. For example, operations such as chip select (CS) and row address select (RAS) are started.

次に設定した最初の先頭アドレスが偶数か否かの判定を行う(サブステップSS410)。色の選択処理の開始である。この場合もフラグを有効に用いる。たとえば、奇数フラグが立っているか否かで判定を行う。奇数フラグが立っていないとき、すなわち、先頭アドレスが偶数のとき(YES)、カウント数N=0 をセットする(サブステップSS412)。また、奇数フラグが立っているとき(NO)、先頭アドレスを奇数と判定して接続子Dを介して後段の図19に示す奇数の色選択処理に移行する。   Next, it is determined whether or not the set first head address is an even number (substep SS410). This is the start of color selection processing. In this case, the flag is used effectively. For example, the determination is made based on whether an odd number flag is set. When the odd number flag is not raised, that is, when the head address is an even number (YES), the count number N = 0 is set (substep SS412). When the odd flag is set (NO), the head address is determined to be odd, and the process proceeds to the odd color selection process shown in FIG.

偶数の色選択処理においてカウント数N=1にセットした後、(4:2:2)方式における最初の読出しである先頭アドレスにアクセスして画像メモリ14から読み出す(サブステップSS414:READ_YCR)。この読み出した画像データは16ビットである。この画像データを輝度データYと色データCRに分離して一時的にデータの保持を行う。この段階が、図8(a), (b)の画像データに対して図8(c), (e)の各イネーブル信号による輝度データYと色データCRの領域選択を行って一時保持することに対応する。そして、この保持とともに、データに対してズーム処理を行うか否かを判断する(サブステップSS416)。   After setting the count number N = 1 in the even color selection process, the head address which is the first reading in the (4: 2: 2) method is accessed and read from the image memory 14 (substep SS414: READ_YCR). The read image data is 16 bits. The image data is separated into luminance data Y and color data CR, and data is temporarily held. This stage temporarily stores the image data in FIGS. 8 (a) and (b) by selecting the area of luminance data Y and color data CR by the enable signals in FIGS. 8 (c) and 8 (e). Corresponding to Then, along with this holding, it is determined whether or not to perform zoom processing on the data (substep SS416).

等倍処理を行う場合(NO)、一時保持した色CRを色信号選択部20bが色CRを選択するように色選択信号RLB=0が供給される。そして、この間に選択し出力された画像データがペアとしてペア生成部20cに取り込まれる(図8(k)を参照)。接続子Eを介して図17に進む(サブステップSS420)。一方、ズーム処理を行う場合(YES)、接続子Fを介して後述する処理(READ_CB:図18を参照)を行う。   When the same magnification process is performed (NO), the color selection signal RLB = 0 is supplied so that the color signal selection unit 20b selects the color CR from the temporarily held color CR. Then, the image data selected and output during this period is taken into the pair generation unit 20c as a pair (see FIG. 8 (k)). The process proceeds to FIG. 17 through the connector E (substep SS420). On the other hand, when the zoom process is performed (YES), a process (READ_CB: see FIG. 18) described later is performed via the connector F.

等倍処理に戻って、ここで、色CRの選択に応じてカウント数Nを1だけ歩進させて(サブステップSS420)、輝度データおよび色データCBの一時保持およびその保持データの出力を行う(サブステップSS422)。これにより(4:2:2)方式の際の2番目の画像データの元になる領域が選択されたことになる(READ_YCB)。   Returning to the same magnification processing, the count number N is incremented by 1 according to the selection of the color CR (sub step SS420), and the luminance data and the color data CB are temporarily held and the held data is output. (Substep SS422). As a result, the area that is the basis of the second image data in the (4: 2: 2) method is selected (READ_YCB).

ところで、この処理の後に、カウント数が8を越えたか否かの判定を行う(サブステップSS424:優先度1)。パケットのデータ数を8に設定しているからである。1パケット分の画像データの区切りに達したとき(YES)、接続子Gを介して図18に処理を移行させる。また、1パケット分の画像データがパッキングされていないとき(NO)、サブステップSS426に進む。   By the way, after this process, it is determined whether or not the count number exceeds 8 (substep SS424: priority 1). This is because the number of packet data is set to eight. When the delimiter of image data for one packet is reached (YES), the processing is shifted to FIG. When the image data for one packet is not packed (NO), the process proceeds to substep SS426.

ここでは、画像メモリ14のメモリ領域が2次元で表されているアドレス空間のうち、このアドレス空間が右端に達したか否かの判定を行う(サブステップSS426:優先度2)。この判定もフラグが立っているか否かに応じて行う。右端に達しているとき(YES)、色CBの識別において順序を考慮して選択する(サブステップSS428)。順序の考慮された色選択を行わせるため色選択信号RLBは、“1”が供給されている。このとき、カウント数を1だけ歩進する(サブステップSS430)。そして、次に読むアドレス空間における改行処理およびそれに伴うアドレス更新の処理を行う(サブステップSS432:READNOP2)。アドレス更新処理は、たとえば、あらかじめアドレス値にゼロをセットする処理等を行う。この処理後に、接続子Hを介して図16のサブステップSS406に戻る。   Here, it is determined whether or not this address space has reached the right end among the address spaces in which the memory area of the image memory 14 is represented in two dimensions (substep SS426: priority 2). This determination is also made depending on whether or not a flag is set. When the right end has been reached (YES), the color CB is selected in consideration of the order (substep SS428). “1” is supplied as the color selection signal RLB to perform color selection in consideration of the order. At this time, the count is incremented by 1 (substep SS430). Then, a line feed process in the address space to be read next and an address update process associated therewith are performed (substep SS432: READNOP2). In the address update process, for example, a process for setting the address value to zero in advance is performed. After this processing, the process returns to the sub-step SS406 in FIG.

先に行ったサブステップSS426における判定でアドレス空間のアクセスがまだ右端に達していないとき(NO)、次の判定処理に移る(サブステップSS434:優先度3)。この判定では次の先頭アドレスが奇数か否かを判定している。先頭アドレスが奇数のとき(YES)、色CBの識別を行うとともに、順序の考慮された色選択を行わせるため色選択信号RLBは、“1”が供給される。これにより色CBが選択される(サブステップSS436)。このとき、カウント数を1だけ歩進する(サブステップSS438)。以後、先頭アドレスが奇数になった場合に対応した処理に接続子Iを介して図19に移る(READ_YCB1)。この処理については後段で述べる。   When the access in the address space has not yet reached the right end (NO) in the determination in substep SS426 performed previously, the process proceeds to the next determination process (substep SS434: priority 3). In this determination, it is determined whether or not the next head address is an odd number. When the leading address is an odd number (YES), the color CB is identified, and “1” is supplied as the color selection signal RLB to perform color selection in consideration of the order. As a result, the color CB is selected (substep SS436). At this time, the count is incremented by 1 (substep SS438). Thereafter, the processing corresponding to the case where the head address becomes an odd number is shifted to FIG. 19 through the connector I (READ_YCB1). This process will be described later.

また、次の先頭アドレスが奇数でないとき(NO)、等倍処理のサブステップSS422により得られた領域のうち、順序の考慮した色CBの識別を行うことにより(サブステップSS440)、色CRに連続して輝度データYと色データCBのペアが組み合わせて得られる。このとき、カウント数Nを1だけ歩進して(サブステップSS442)、接続子Jを介して図16のサブステップSS414に戻る。このループにより等倍処理ループが形成されている。この等倍処理を行うとき、すなわち、最初のアドレス値に1だけ歩進したアドレス値と次に読む予定のアドレス値が一致するとき、この予定のアドレス値に対応する色データCBを選択してペアを形成して、この後、予定のアドレスの輝度データYを選択している。   Further, when the next head address is not an odd number (NO), by identifying the color CB in consideration of the order among the areas obtained by the sub-step SS422 of equal-magnification processing (sub-step SS440), the color CR is changed. A pair of luminance data Y and color data CB is continuously obtained in combination. At this time, the count number N is incremented by 1 (substep SS442), and the process returns to the substep SS414 in FIG. This loop forms an equal magnification processing loop. When this same magnification processing is performed, that is, when the address value incremented by 1 to the first address value matches the address value scheduled to be read next, the color data CB corresponding to the scheduled address value is selected. After forming a pair, luminance data Y at a predetermined address is selected.

次に、先頭のアドレスが偶数であり、かつズーム処理を行う場合、前述したように接続子Fを介して図18のサブステップSS444(READ_CB)に進む。ここで、フローには現れていないが、サブステップSS418で行っている色データCRの領域を一時選択し、領域抽出を行っている(図9(e), (f)を参照)。一方、色データCBの領域選択は、イネーブル信号CBENがレベル“L”なので結果的に何も選択されない。そして、接続子Fを介してサブステップSS444では、色データCBの識別し、領域選択が行われているが、この段階では図9(h)に示すように何もデータがないから、不確定なデータがサンプリングされることになる。ここで、この選択において色選択信号RLBは“1”が供給される(図9(g)〜(j)を参照)。このとき、カウント数Nを1だけ歩進している(サブステップSS446)。   Next, when the top address is an even number and zoom processing is performed, the process proceeds to the sub-step SS444 (READ_CB) in FIG. Here, although not appearing in the flow, the region of the color data CR performed in sub-step SS418 is temporarily selected to perform region extraction (see FIGS. 9 (e) and 9 (f)). On the other hand, no area is selected for the color data CB because the enable signal CBEN is at level “L”. Then, in sub-step SS444 via connector F, color data CB is identified and area selection is performed, but at this stage there is no data as shown in FIG. Data will be sampled. In this selection, “1” is supplied as the color selection signal RLB (see FIGS. 9G to 9J). At this time, the count number N is incremented by 1 (substep SS446).

次に、色CBの領域を一時的にラッチする処理を行う(サブステップSS448:色イネーブルCBEN=“1” を参照)。この処理後に前述したように読み出すアドレス空間へのアクセスが右端に到達しているか否かの判定を行う(サブステップSS450)。右端の検出もあらかじめ設定したフラグの値によって判定することができる。右端に達していれば(YES)、アクセスするアドレス空間に対する改行処理を行う(サブステップSS452)。改行処理は、一連のアドレスの更新処理である。この後、次の新たな輝度データYの選択に進む(サブステップSS454)。   Next, a process of temporarily latching the color CB area is performed (see sub-step SS448: color enable CBEN = “1”). After this processing, as described above, it is determined whether or not the access to the address space to be read has reached the right end (substep SS450). The detection of the right end can also be determined by a preset flag value. If the right end has been reached (YES), line feed processing is performed for the address space to be accessed (substep SS452). The line feed process is a series of address update processes. Thereafter, the process proceeds to selection of the next new luminance data Y (substep SS454).

また、アドレスがまだ右端に到達していないとき(NO)、図9(i),(j)に示すように色データCRを識別選択し、領域も選択する(サブステップSS454:RLB=0, DEN=1)。この結果に対するカウントは先のサブステップSS446で行われているので略す。   If the address has not yet reached the right end (NO), the color data CR is identified and selected as shown in FIGS. 9 (i) and 9 (j), and the region is also selected (substep SS454: RLB = 0, DEN = 1). The counting for this result is omitted because it is performed in the previous sub-step SS446.

次に、連続して読み出す2番目の輝度データYを選択する(サブステップSS456:READ_Y2)。この選択は先頭アドレスが偶数でサブステップSS414からズーム処理を行う場合、最初に得られた輝度データYおよび色データCRのペアを有効にした後、ズーム分離れた2番目の輝度データYを読み出す処理に対応している。このとき、カウント数Nが8を越えているかの判定を行う(サブステップSS458:優先度1)。カウント数Nが8を越えているとき(YES)、選択した輝度データYに対応する色データCBを選択する(サブステップSS460:RLB=1)。また、まだカウント数Nが8より小さいとき(NO)、アドレス空間の右端に達し、かつ改行を行うか否かの判定処理に移る(サブステップSS462:優先度2 )。アドレス空間の右端に到達して改行する場合(YES)、サブステップSS464で色CBを選択する。   Next, the second luminance data Y to be read continuously is selected (substep SS456: READ_Y2). In this selection, when the start address is an even number and zoom processing is performed from the sub-step SS414, the first obtained luminance data Y and color data CR pair is validated, and then the second separated luminance data Y is read out. It corresponds to processing. At this time, it is determined whether the count number N exceeds 8 (substep SS458: priority 1). When the count number N exceeds 8 (YES), the color data CB corresponding to the selected luminance data Y is selected (substep SS460: RLB = 1). Further, when the count number N is still smaller than 8 (NO), the process proceeds to a process for determining whether or not the right end of the address space has been reached and a line feed is to be performed (substep SS462: priority 2). When reaching the right end of the address space and starting a new line (YES), color CB is selected in sub-step SS464.

これは、色CBが等倍のときのようにアドレス値を+1する場合と異なるアドレス、すなわちズームの大きさを表すズーム距離分を加えたアドレスをアクセスすることになるから、先に選択したCRと対をなす色CBの色データを選択する。このとき、カウント数Nを1だけ歩進している(サブステップSS466)。そして、接続子Kを介して図17のサブステップSS432(READNOP)に進む。   This is because an address different from the case where the address value is incremented by +1 as in the case where the color CB is the same size, that is, an address added with the zoom distance indicating the zoom size is accessed. Select the color data of color CB that is paired with CR. At this time, the count number N is incremented by 1 (substep SS466). Then, the process proceeds to sub-step SS432 (READNOP) in FIG.

サブステップSS462での条件が満たされなかったとき(NO)、接続子Iを介して図19のサブステップSS468(優先度3)に進む。ここでは、次の先頭のアドレスが奇数か否かの判定を行っている。このアドレス値が偶数のとき(NO)、サブステップSS464での処理と同じ理由から色CBを選択する(サブステップSS470)。このとき、カウント数Nを1だけ歩進している(サブステップSS472)。この処理後、接続子Lを介して図16のサブステップSS414 (READ_YCR)に戻る。   When the condition in sub-step SS462 is not satisfied (NO), the process proceeds to sub-step SS468 (priority 3) in FIG. Here, it is determined whether or not the next head address is an odd number. When this address value is an even number (NO), the color CB is selected for the same reason as the processing in the sub-step SS464 (sub-step SS470). At this time, the count number N is incremented by 1 (substep SS472). After this processing, the process returns to the substep SS414 (READ_YCR) in FIG.

また、サブステップSS468にて先頭のアドレス値が奇数のとき(YES)、サブステップSS474で色CBを選択し、そしてカウント数Nを1だけ歩進している(サブステップSS476)。この処理後、奇数の先頭のアドレス処理に移行する(サブステップSS478:READ_YCB1)。   If the first address value is an odd number in sub-step SS468 (YES), color CB is selected in sub-step SS474 and the count number N is incremented by 1 (sub-step SS476). After this processing, the process shifts to odd-numbered head address processing (substep SS478: READ_YCB1).

このような一連の動作により、先頭のアドレスが偶数のとき、輝度データYといわゆる、電子ズームのアドレス距離(またはズーム距離)離れたデータでなく最初に読み出したアドレス値に1歩進したアドレス値の色データCBを選択して次の輝度データYを読むことにより、輝度データと色データのペア関係を保つようにしている。   As a result of such a series of operations, when the head address is an even number, the address value is incremented by one to the address value read out first instead of the data that is separated from the luminance data Y so-called electronic zoom address distance (or zoom distance). By selecting the next color data CB and reading the next luminance data Y, the pair relationship between the luminance data and the color data is maintained.

次に、サブステップSS478以降で奇数の場合の処理手順が行われる。最初に輝度データYをイネーブル信号で抽出するとともに、色データCBも抽出する(サブステップSS478:CBEN=1)。この処理を行って得られる色データCBは色選択信号RLBのレベル“H”期間を選択する(サブステップSS480)。このとき、カウント数Nを1だけ歩進している(サブステップSS482)。そして、この奇数処理の場合、アドレスを1個戻した際に得られる色データCRを選択する(サブステップSS484:READ_CR)。   Next, the processing procedure in the case of an odd number is performed after substep SS478. First, the luminance data Y is extracted by the enable signal, and the color data CB is also extracted (substep SS478: CBEN = 1). The color data CB obtained by performing this process selects the level “H” period of the color selection signal RLB (substep SS480). At this time, the count number N is incremented by 1 (substep SS482). In the case of this odd number processing, the color data CR obtained when one address is returned is selected (substep SS484: READ_CR).

この段階において、アドレス空間の右端に達しているか否かの判定を行う(サブステップSS486)。達していないとき(NO)、1個戻した際の輝度データYのアドレスに対応した色データCRを読んで、選択する(サブステップSS488:RLB=0)。そして輝度データYとともにペアを組んで出力する。この後、接続子Mを介して図18のサブステップSS456 (READ_Y2)に進む。このように動作させることにより、(4:2:2) 方式の画像データに対していわゆる電子ズームを行っても、輝度データに対する色データのペア関係をずらすことなく、画像データを読み出すことができる。   At this stage, it is determined whether or not the right end of the address space has been reached (substep SS486). When not reached (NO), the color data CR corresponding to the address of the luminance data Y when one is returned is read and selected (substep SS488: RLB = 0). Then, a pair with luminance data Y is output. Thereafter, the process proceeds to sub-step SS456 (READ_Y2) of FIG. By operating in this way, even when so-called electronic zoom is performed on (4: 2: 2) image data, the image data can be read out without shifting the color data pair relationship with the luminance data. .

また、アドレス空間の右端に達している場合(YES)、接続子Nを介して図18のサブステップSS452 (READNOP3)に移行する。ここで、右端の到達は、たとえば設定しているフラグ等の情報を監視して検出している。   If the right end of the address space has been reached (YES), the process proceeds to sub-step SS452 (READNOP3) in FIG. Here, the arrival at the right end is detected by monitoring information such as a set flag.

ところで、偶数の場合でも述べたように読んだ画像データ(輝度データY,色データCR/CB)が1パケット分の読み込まれたとき(優先度1)、図18に示すサブステップSS490に進む。ここでは、画像メモリ14に画像データの読込みを行う。この処理の後、接続子Pを介して図20のタイミング調整処理に移行する(サブステップSS492)。このタイミング調整処理は、クロック10bでサンプリングする動作が水平同期信号および垂直同期信号といったテレビジョン信号と非同期の関係にある。これらの信号との画像データの受渡しのタイミングがうまく取れるように調整している。このタイミングの監視をサブステップSS494で行っている。調整完了のとき(YES)、リターンに移行する。また、調整が未完のとき(NO)、サブステップSS492に戻って調整を続ける。   By the way, when the read image data (luminance data Y, color data CR / CB) is read for one packet (priority level 1) as described even in the case of an even number, the process proceeds to sub-step SS490 shown in FIG. Here, image data is read into the image memory 14. After this process, the process proceeds to the timing adjustment process of FIG. 20 via the connector P (substep SS492). In this timing adjustment processing, the operation of sampling with the clock 10b is asynchronous with a television signal such as a horizontal synchronizing signal and a vertical synchronizing signal. Adjustment is made so that the timing of delivery of image data with these signals can be taken well. This timing is monitored in substep SS494. When the adjustment is completed (YES), the process shifts to return. If the adjustment is not completed (NO), the process returns to sub-step SS492 and the adjustment is continued.

このように処理することにより、表示シーケンサ20では、(4:2:2) 方式で等倍、ズームに対する画像データのサンプリングを行った際に色ずれによる偽色等の発生を抑制させることができる。   By processing in this way, the display sequencer 20 can suppress the occurrence of false colors and the like due to color misregistration when sampling the image data for the same magnification and zoom with the (4: 2: 2) method. .

このように読み出した画像データを表示シーケンサ20では、サブルーチンSUB5に従って出力させる(図21および図22を参照)。表示シーケンスを開始する際の初期設定を行う(サブステップSS500)。表示の順序調整する際に用いる各種のパラメータを設定する。表示出力のシーケンス処理の前処理を開始するか否か判断する。たとえば、表示ストップのフラグが立っているとき(NO:STOP_DISP=1)、動作準備段階として待機させる。   The display sequencer 20 outputs the image data read in this way according to the subroutine SUB5 (see FIGS. 21 and 22). Perform initial settings when starting the display sequence (substep SS500). Various parameters used when adjusting the display order are set. It is determined whether or not to start preprocessing of display output sequence processing. For example, when a display stop flag is set (NO: STOP_DISP = 1), the operation preparation stage is waited.

次に準備開始のとき(YES)、供給されるパラメータ(たとえば、DVD, DFLD)に応じてサブステップSS504に進む。この段階で、パラメータDVD=0, DFLD=0のとき表示出力が偶数として表示が2フィールド目と判定する。また、偶数でないと判定した場合(NO)、パラメータDVD=0, DFLD=1 のとき表示出力が奇数として表示が1フィールド目と判定する。   Next, when preparation is started (YES), the process proceeds to sub-step SS504 according to the supplied parameters (for example, DVD, DFLD). At this stage, when the parameters DVD = 0 and DFLD = 0, it is determined that the display output is an even number and the display is the second field. If it is determined that it is not an even number (NO), when the parameter DVD = 0 and DFLD = 1, the display output is an odd number and the display is determined to be the first field.

次に、サブステップSS508 で動作開始の条件(STFLG=1, DVD=1, DHD=1, DISP_REQ=1)が満たされるとき(YES)、開始アドレスが設定される(サブステップSS510)。このとき同時に、カウントするパケットの初期値をセットする(サブステップSS512)。この処理後、接続子Qを介して図22のサブステップSS514に進む。また、動作開始条件が満たされていないとき(NO)、サブステップSS508に戻って待機状態になる。   Next, when the conditions for starting the operation (STFLG = 1, DVD = 1, DHD = 1, DISP_REQ = 1) are satisfied in substep SS508 (YES), the start address is set (substep SS510). At the same time, the initial value of the packet to be counted is set (substep SS512). After this processing, the process proceeds to sub-step SS514 of FIG. When the operation start condition is not satisfied (NO), the process returns to sub-step SS508 and enters a standby state.

次に、動作開始状態にあるが、画像データをバッファメモリ部12 に受渡しする際に用いる共有バス32が使用可能にあるか否か判断する(サブステップSS516)。共有バス32の使用許可をバス調停部18に供給し、バス調停部18ではその優先順位に応じて使用許可を要請した処理部に出力される。この使用許可が得られないとき(NO)、待機状態にする。また、使用許可が得られたとき(YES)、サブステップSS518に進む。   Next, although it is in the operation start state, it is determined whether or not the shared bus 32 used when transferring the image data to the buffer memory unit 12 is usable (substep SS516). The use permission of the shared bus 32 is supplied to the bus arbitration unit 18, and the bus arbitration unit 18 outputs the use permission to the processing unit that requested the use permission according to the priority. When this use permission cannot be obtained (NO), a standby state is set. When use permission is obtained (YES), the process proceeds to sub-step SS518.

ここで、これまでのパケットが1ラインに挿入する個数に達したか否かを判定する。所定のパケットの個数にまだ達していない場合(NO)、サブステップSS520に進む。この判定に応じてパケット送出要求が出力される(DISP_REQ=1)。この要求に応じて実際にパケットが送出される(サブステップSS522)。この処理後、サブステップSS516に戻る。また、所定のパケット数を越えている場合(YES)、パケットの送出を禁止する(サブステップSS524)。これにより、1ライン分の画像データがパケットとして供給される。本実施例では、このパケット数を80個に設定している。   Here, it is determined whether or not the number of packets so far inserted into one line has been reached. If the predetermined number of packets has not been reached (NO), the process proceeds to sub-step SS520. In response to this determination, a packet transmission request is output (DISP_REQ = 1). A packet is actually transmitted in response to this request (substep SS522). After this processing, the process returns to substep SS516. If the predetermined number of packets is exceeded (YES), packet transmission is prohibited (substep SS524). As a result, image data for one line is supplied as a packet. In this embodiment, the number of packets is set to 80.

この処理の後、いわゆる電子ズームを行っている場合、これまで説明してきた水平方向だけでなく、垂直方向に対してもズーム制御を行うと、アスペクト比の考慮された良好なズーム画像を表示させることができるようになる。このため、サブステップSS526では、ズーム距離(またはアドレス距離)に対応した縦方向の次に読み出す開始アドレスを算出する。この算出したアドレス値に基づいて次のラインに対する画像データの送出が行われる。   When so-called electronic zoom is performed after this processing, if zoom control is performed not only in the horizontal direction described so far but also in the vertical direction, a good zoom image in consideration of the aspect ratio is displayed. Will be able to. Therefore, in sub-step SS526, a start address to be read next in the vertical direction corresponding to the zoom distance (or address distance) is calculated. Based on the calculated address value, image data is sent to the next line.

この算出後、表示シーケンサ20は、水平同期信号HDの到来、すなわち1ラインの最後がきたか否か判定している(サブステップSS528)。まだ、水平同期信号HDの最後が到来していないと判定した場合(NO)、サブステップSS530で待機する。この状態は、図11(b)に示すように文字「FREE」の期間に相当する。また、水平同期信号HDの最後が到来したと判定された場合(YES )、表示終了コマンドが供給されるたか判定する(サブステップSS532)。コマンドが供給されるまで接続子Rを介して図21のサブステップSS508に戻って一連の処理を繰り返す。また、表示終了コマンドが供給されている場合(YES)、リターンに移行してサブルーチンSUB5を終了する。   After this calculation, the display sequencer 20 determines whether or not the horizontal synchronization signal HD has arrived, that is, the end of one line has come (substep SS528). If it is determined that the end of the horizontal synchronization signal HD has not yet arrived (NO), the process waits in sub-step SS530. This state corresponds to the period of the character “FREE” as shown in FIG. If it is determined that the end of the horizontal synchronization signal HD has arrived (YES), it is determined whether a display end command has been supplied (substep SS532). Until a command is supplied, the process returns to the sub-step SS508 of FIG. If the display end command is supplied (YES), the process proceeds to return and the subroutine SUB5 is ended.

このように動作させると、画像データを所定の時間内にバッファメモリ部12bに供給して書き込ませることができるとともに、あらわに説明していないが、図11に示したように画像データだけでなく、CPU, DMA等のデータも供給して限られた時間内にメモリ制御を有効に行わせることもできるようになる。   When operated in this way, the image data can be supplied and written to the buffer memory unit 12b within a predetermined time, and not described explicitly, but not only the image data as shown in FIG. Also, data such as CPU and DMA can be supplied to enable effective memory control within a limited time.

また、行方向のアドレス変化は、有効な輝度データを読み出すときだけ、列方向のアドレスの変化を検出するようにアドレスを更新させて電子ズームを効率よく処理している。   In addition, as for the address change in the row direction, the electronic zoom is efficiently processed by updating the address so that the change in the address in the column direction is detected only when valid luminance data is read.

次に表示シーケンス20においてパケットサイズを変更する手順について説明する(サブルーチンSUB6:図23を参照)。パケットのパラメータ解析の結果、画像の種類としてパラメータがたとえば、背景を示しているか否かを判定する(サブステップSS600)。パラメータが背景を示しているとき(YES)、画像の一部の領域の表示に用いる元々のデータ量が小さいことから、パケットサイズをS サイズに設定し、この設定したサイズでパケットを再区分する(サブステップSS602)。また、パラメータが背景を示していないとき(NO)、パラメータがサムネイルを示しているか否かの判定を行う(サブステップSS604)。   Next, a procedure for changing the packet size in the display sequence 20 will be described (subroutine SUB6: see FIG. 23). As a result of the packet parameter analysis, it is determined whether or not the parameter indicates, for example, the background as the image type (substep SS600). When the parameter indicates the background (YES), the original data amount used to display a partial area of the image is small, so the packet size is set to S size, and the packet is re-segmented with this set size. (Substep SS602). When the parameter does not indicate the background (NO), it is determined whether or not the parameter indicates a thumbnail (sub step SS604).

パラメータの解析結果がサムネイルを示しているとき(YES)、サムネイル画像の総量は、一枚の全画面領域を表示する画像データ量に比べて大幅に小さい量であることから、パケットサイズを通常のサイズよりも大きくとって、Lサイズに設定し、この設定したサイズでパケットを再区分する(サブステップSS606)。また、パケットに対する解析結果が背景でもサムネイル画像でもなく、かつ通常のサイズ(M)でない場合(NO)、データの転送効率を高めるように、最適なパケットサイズの算出を行う(サブステップSS608)。そして、算出したパケットサイズに設定し、この設定したサイズでパケットを再区分する。   When the parameter analysis result indicates a thumbnail (YES), the total amount of thumbnail images is much smaller than the amount of image data that displays a full screen area, so the packet size is set to the normal size. The size is set larger than the size and set to L size, and the packet is re-segmented by the set size (substep SS606). If the analysis result for the packet is neither the background nor the thumbnail image and is not the normal size (M) (NO), the optimal packet size is calculated so as to improve the data transfer efficiency (substep SS608). Then, the calculated packet size is set, and the packet is re-segmented with the set size.

前述したパケットサイズをサイズSで区分した後、パケット情報の設定を行う(サブステップSS610)。パケット情報は、たとえば、背景のパケットデータを少なくとも1回送出させるとともに、このパケットデータを何回コピーさせると1ライン分のデータが復元できるかを示すコピー回数である。このコピー回数は、送出するパケットサイズが8ビットで、有効画素数データ16ビットとした場合、パケットサイズに対する有効画素数データの比から容易に2回であることがわかる。このコピー回数は供給される指示データ32aに基づいて行うようにしてもよい。また、逆にこの場合の送出量は、半分の40パケットの送出だけで済むこともわかる。   After the aforementioned packet size is classified by size S, packet information is set (substep SS610). The packet information is, for example, the number of times that the background packet data is transmitted at least once, and how many times the packet data is copied to restore one line of data. It can be seen that the number of times of copying is easily twice from the ratio of the effective pixel number data to the packet size when the packet size to be transmitted is 8 bits and the effective pixel number data is 16 bits. The number of copies may be performed based on the supplied instruction data 32a. On the other hand, it can be seen that the transmission amount in this case is only half of 40 packets.

次にサブステップSS606, SS608, およびSS610の処理後、送出先のデータ修正部30におけるメモリアドレスの設定を行う(サブステップSS612)。アドレスの指示は、CPU 22から共有バス32を介して供給される指示データ32aに基づいて行うとよい。この処理後、リターンに移行してサブルーチンSUB6を終了する。   Next, after processing in sub-steps SS606, SS608, and SS610, the memory address is set in the destination data correction unit 30 (sub-step SS612). The instruction of the address may be performed based on instruction data 32a supplied from the CPU 22 via the shared bus 32. After this processing, the process proceeds to return and the subroutine SUB6 is terminated.

このようにパケットのサイズを情報に基づいて変更してそれぞれ的確な回数でパケットデータを共有バス32を介してデータ修正部30に供給する場合を簡単に説明する(図24を参照)。最初にこれまで行われてきた通常のパケットサイズによるデータ送出の関係を示す。図24(a),(b),(c)は、それぞれ水平同期信号HD, 所定のサイズ(M)のパケット、および各パケットに書き込まれるデータの内容を示している。水平同期の立上りから立下りまでの映像期間中に80パケットが供給されている(図24(c)を参照)。   A case where the packet size is changed based on the information in this way and the packet data is supplied to the data correction unit 30 via the shared bus 32 at an appropriate number of times will be briefly described (see FIG. 24). First, the relationship of data transmission by normal packet size that has been performed so far will be described. FIGS. 24 (a), (b), and (c) show the horizontal synchronization signal HD, a packet of a predetermined size (M), and the contents of data written in each packet. 80 packets are supplied during the video period from the rise to the fall of horizontal synchronization (see FIG. 24C).

同じ水平同期期間内に図24(e), (f)のパケットサイズは、図24(b)と同じでありながら、パケットを通常の半分、かつコピー回数2だけを送出する場合を示している。通常の場合と同じデータを半分受取り側で受けてコピー回数に応じて2倍に復元する。このため、実際に送出する画像データに関するパケットは、半分の40パケットで済ませることができる。また、受取り側であらかじめ背景データを保有し、指示に応じて背景データを画像の背景領域に送出するようにすると、この領域に対する実際のデータ送出を不要にし、コピー回数およびデータの供給先を示すアドレスだけを提供すればよい。   24 (e) and (f) have the same packet size as in FIG. 24 (b) within the same horizontal synchronization period, but show a case where the packet is half the normal size and only the number of copies 2 is sent. . The same data as in the normal case is received at the half receiving side and restored to double according to the number of copies. For this reason, the packet for the image data to be actually transmitted can be reduced to a half of 40 packets. In addition, if the receiving side holds background data in advance and sends the background data to the background area of the image in accordance with an instruction, the actual data sending to this area becomes unnecessary, indicating the number of copies and the data supply destination. You only need to provide an address.

さらに、図24(g), (h)に示す送出例は、パケットサイズをダイナミックに可変させた場合である。この場合、送出するパケット数は44であるが、部分的に画素コピー機能を適用することでデータ転送を実現させている。   Furthermore, the transmission examples shown in FIGS. 24 (g) and (h) are cases where the packet size is dynamically varied. In this case, the number of packets to be transmitted is 44, but data transfer is realized by partially applying the pixel copy function.

このように共有バス32を介してデータ転送させることにより、画像データ自体のデータ転送量を抑えることができる。したがって、画像データの転送に際して共有バス32の画像データ占有率を低下させることができる。この低下にともない生じる空きパケットにCPU等の他の装置からの情報を担わせることができる。これにより、CPU等のアクセスのレスポンスが向上し、フレームメモリ上の画像書き換え等の処理をより一層迅速に行わせることができる。   By transferring data through the shared bus 32 in this way, the data transfer amount of the image data itself can be suppressed. Therefore, the image data occupation ratio of the shared bus 32 can be reduced when transferring image data. Information from another device such as a CPU can be assigned to a free packet generated due to this decrease. As a result, the access response of the CPU or the like is improved, and processing such as image rewriting on the frame memory can be performed more rapidly.

次にデータ修正部30で行われるパケットの復元処理および加工処理について説明する(サブルーチンSUB2:図25および図26を参照)。ここでの復元処理は、サイズの変更にともなう処理の逆を考えるとよい。データ修正部30では、デコーダ300で供給される指示データ32a や有効画素数データを解析する(サブステップSS200)。ここでは、指示データ32aの指示に基づいて各種信号処理を行うことにする。   Next, packet restoration processing and processing performed by the data correction unit 30 will be described (subroutine SUB2: see FIGS. 25 and 26). The restoration process here may be considered the reverse of the process associated with the size change. The data correction unit 30 analyzes the instruction data 32a and the effective pixel number data supplied from the decoder 300 (substep SS200). Here, various signal processing is performed based on the instruction of the instruction data 32a.

指示データ32aの解析結果から現時点に供給されるパケットが復元および加工を施す対象のパケットか否か判定を行う。供給されるパケットが対象のパケットでないとき(NO)、接続子Uを介して図26のリターンに移行してサブルーチンSUB2を終了させる。また、供給されるパケットが何等かの信号処理を施す対象のパケットと判定したとき(YES)、信号処理がデータの復元を指示しているか否か判定を行う(サブステップSS204)。   It is determined from the analysis result of the instruction data 32a whether or not the packet supplied at the present time is a packet to be restored and processed. When the supplied packet is not the target packet (NO), the process proceeds to the return of FIG. 26 via the connector U, and the subroutine SUB2 is terminated. Further, when it is determined that the supplied packet is a packet to be subjected to some signal processing (YES), it is determined whether or not the signal processing instructs to restore data (sub step SS204).

判定結果がデータの復元を指示しているとき(YES)、復元処理を行う(サブステップSS206)。復元処理は、データ選択部306でコピー回数やデータの供給先の先頭アドレスに基づいて供給されたパケットデータまたはレジスタ回路304からのデータを繰返しコピーして1ライン分のデータを復元生成する。また、このデータの復元生成処理の終了後と判定結果が復元を指示していないとき(NO)、電子ズームの調整か否かの判定に進む(サブステップSS208)。   When the determination result indicates data restoration (YES), restoration processing is performed (substep SS206). In the restoration process, the data selection unit 306 repeatedly copies the packet data supplied based on the number of times of copying and the data supply destination address or the data from the register circuit 304 to restore and generate one line of data. Further, after the completion of the data restoration generation process and when the determination result does not indicate restoration (NO), the process proceeds to the determination of whether or not the electronic zoom is adjusted (sub step SS208).

指示データ32aが電子ズームの調整を示していると判定したとき(YES)、電子ズーム修正部308でパケットごとに電子ズームの大きさ(倍率)を変更する。前述したサンプリングの関係を維持したまま、ズーム倍率を微調整する。この処理により、歪曲、周波数特性やMTF (Modulation Transfer Function)に基づくレンズの収差を簡易的に補正することができる。この微調整は、実際に水平方向のサンプリングの他、垂直方向のサンプリングをライン単位で調整するとよい。補正は1画面あたりパケットの分割数だけ行えばよいことから補正データが少なくて済む。これにより、小さな背景データを拡大表示させることもできるようになる。また、電子ズームの調整後と判定結果が電子ズームの調整を指示していないとき(NO)、特殊効果処理の指示か否かの判定に進む(サブステップSS210)。   When it is determined that the instruction data 32a indicates adjustment of the electronic zoom (YES), the electronic zoom correction unit 308 changes the size (magnification) of the electronic zoom for each packet. The zoom magnification is finely adjusted while maintaining the above sampling relationship. By this processing, it is possible to easily correct lens aberration based on distortion, frequency characteristics, and MTF (Modulation Transfer Function). For this fine adjustment, it is preferable to adjust the sampling in the vertical direction in units of lines in addition to the sampling in the horizontal direction. Since correction only needs to be performed for the number of divided packets per screen, less correction data is required. As a result, small background data can be enlarged and displayed. Further, after the adjustment of the electronic zoom and when the determination result does not instruct the adjustment of the electronic zoom (NO), the process proceeds to the determination of whether or not the instruction is for special effect processing (sub-step SS210).

指示データ32aが特殊効果処理を示していると判定したとき(YES)、演算・フィルタ処理部310でパケットごとにディジタル信号処理を施す。この信号処理は、パケットデータに対するノイズ対策として周波数特性を変化させるローパスフィルタ処理や所定の低域レベル以下を削除するコアリング処理のような処理、パケット固有の明るさにするゲイン調整、コントラスト調整、特殊効果処理等を行う。ゲイン調整は、たとえば、広角レンズで撮影した画像の周辺領域の減光を補正する。また、特殊効果処理は、モザイク、ぼかし、部分増殖、画像を湾曲させる魚眼効果等を行う。また、演算・フィルタ処理後および特殊効果処理の指示ではないとき(NO)、接続子Vを介して図26のアパーチャ調整の指示か否かの判定に進む(サブステップSS216)。   When it is determined that the instruction data 32a indicates special effect processing (YES), the arithmetic / filter processing unit 310 performs digital signal processing for each packet. This signal processing includes low-pass filter processing that changes frequency characteristics as a noise countermeasure for packet data and coring processing that deletes a predetermined low frequency level or less, gain adjustment to make the packet unique brightness, contrast adjustment, Perform special effects processing. The gain adjustment corrects, for example, dimming in the peripheral area of an image photographed with a wide-angle lens. In addition, special effect processing includes mosaic, blurring, partial multiplication, fish-eye effect for curving an image, and the like. Also, after calculation / filter processing and when it is not an instruction for special effect processing (NO), the process proceeds to determination of whether or not it is an instruction for aperture adjustment in FIG. 26 via the connector V (substep SS216).

アパーチャ調整すると判定したとき(YES)、個々のパケットに固有の鮮鋭度になるようにアパーチャ生成回路312でアパーチャを向上させる信号成分の生成を行う。このとき加算器314にはパケットデータが加算器314の端子314aに供給され、生成した成分信号が加算器314の端子314bに供給されている。加算器314は、供給される2つの信号を合成してアパーチャを向上させる。アパーチャ調整後と判定結果がアパーチャの調整をしないと判定したとき(NO)、リターンに移行してサブルーチンSUB2を終了する。   When it is determined that the aperture adjustment is to be performed (YES), the aperture generation circuit 312 generates a signal component that improves the aperture so as to achieve a sharpness specific to each packet. At this time, the packet data is supplied to the adder 314 to the terminal 314a of the adder 314, and the generated component signal is supplied to the terminal 314b of the adder 314. The adder 314 combines the two supplied signals to improve the aperture. When it is determined that the aperture adjustment is not performed after the aperture adjustment (NO), the process proceeds to return and the subroutine SUB2 is terminated.

サブルーチンSUB3でのパケットサイズの変更とサブルーチンSUB2のパケットデータの復元を行う一連の処理により、画像メモリ14への書込みアクセスの回数を減らすことができる。このアクセスの減少は、消費電力を低下させることにつながる。   The number of write accesses to the image memory 14 can be reduced by a series of processes for changing the packet size in the subroutine SUB3 and restoring the packet data in the subroutine SUB2. This decrease in access leads to a reduction in power consumption.

また、これは共有バス32のデータ転送に関わる占有時間の低下も意味し、これまで用いていたパケットにCPUやDMA制御等のデータを挿入することができるようになるから、制御を行う上でのアクセスのレスポンスが向上する。この結果、データ転送および制御アクセスが向上するからフレームメモリ上の画像の書換え等の迅速化を図ることができる。   This also means a decrease in the occupation time related to data transfer of the shared bus 32, and data such as CPU and DMA control can be inserted into the previously used packet. Improves access response. As a result, since data transfer and control access are improved, it is possible to speed up rewriting of images on the frame memory.

このように動作させ、図27のように画像122を額縁にはめ込んだ絵のように見せたいとき、額縁部分124はパケットサイズSでアドレスを指定するとともに、コピー回数をデータ修正部30にデータ転送し、データ選択部306で供給されるコピー回数に基づいて復元させる。また、この手順の他にデータ修正部30は指示データ32aとしてCPU 22から供給されたデータをレジスタ回路304に格納し指定のアドレスに読み出したデータをデータ選択部306に供給して額縁を形成してもよい。   When operating in this way, and wanting to look like a picture with the image 122 embedded in the frame as shown in FIG. 27, the frame portion 124 specifies the address with the packet size S and transfers the number of copies to the data correction unit 30. The data is restored based on the number of copies supplied by the data selection unit 306. In addition to this procedure, the data correction unit 30 stores the data supplied from the CPU 22 as the instruction data 32a in the register circuit 304 and supplies the data read to the designated address to the data selection unit 306 to form a frame. May be.

また、帆船およびこの帆船周辺海域の状況を表す小さな画像データを一回画像制御処理部10hに供給し、画像制御処理部10hで対象の表示位置および表示サイズを考慮してコピーすることにより、画像122が示すように、相似な帆船を前方側に大きな拡大した画像にして表示させることもできる。この手法を用いることにより、サムネイルサイズの画像から大きな画像を拡大表示用に生成することが容易に行うことができる。   In addition, small image data representing the situation of the sailing ship and the sea area around the sailing ship is supplied once to the image control processing unit 10h, and the image control processing unit 10h copies the image in consideration of the display position and the display size of the object. As shown by 122, a similar sailing ship can be displayed as a large enlarged image on the front side. By using this method, it is possible to easily generate a large image for enlargement display from thumbnail-sized images.

なお、本実施例はパケットデータとして画像データを転送する場合を説明したが画像データに限定するものではなく、たとえば音声データを供給してもよい。これにより、画像表示させながら、音楽を流すこともできる。   In this embodiment, image data is transferred as packet data. However, the present invention is not limited to image data. For example, audio data may be supplied. Thereby, music can be played while displaying an image.

ディジタルカメラのモニタ表示制御に適用して、撮像画像の迅速な表示とともに、ディジタルカメラにより表示に関わる信号処理を的確に行わせ、消費電力を抑えることもできる。そして、単に撮像した画像をそのまま記録するだけでなく、ユーザの要望に応じた信号処理の施された画像を記録することも選択的にでき、パフォーマンスをより一層高めることができることは言うまでもない。   Applying it to monitor display control of a digital camera, it is possible to suppress the power consumption by promptly displaying a captured image and accurately performing signal processing related to the display by the digital camera. Needless to say, it is possible not only to record a captured image as it is, but also to selectively record an image subjected to signal processing according to a user's request, thereby further improving performance.

さらに、他の実施例として、ディジタルカメラ10は、上述したように消費電力が抑制できることを積極的に利用するようにしてもよい。ディジタルカメラ10には、たとえば、図28に示すように、画像制御処理部10jに電源電圧検出部10kが配されている。ここでは、図2に示した撮像処理系と直接関係のない部分を省略している。電源電圧検出部10kには、ADC(Analog-to-Digital Converter)が電源100aの電圧検出デバイスとして用いられる。電源電圧検出部10kは、所定のタイミングで電源電圧を測定し、得られたディジタル電圧レベルをレジスタ10mに供給し、記憶する。システム制御部10jは、レジスタ回路10mを制御して所定の期間ごとに一つ前に検出した電圧レベルを読み出して、この電圧レベルと現在検出した電圧レベルとの差を算出し、さらに、電圧の減少率(傾き)を算出する。システム制御部10jは、あらかじめ設定した減少率に算出した減少率が達したか否かを判断し、電圧の減少率が等しくなった際に画像制御処理部10hの表示制御を開始するように制御する。また、画像データの表示出力速度も抑えて表示させるようにシステム制御部10jは、タイミング調整部12の動作クロックを低下させる制御信号101kを供給する。   Furthermore, as another embodiment, the digital camera 10 may actively utilize the fact that power consumption can be suppressed as described above. In the digital camera 10, for example, as shown in FIG. 28, a power supply voltage detection unit 10k is arranged in the image control processing unit 10j. Here, portions not directly related to the imaging processing system shown in FIG. 2 are omitted. In the power supply voltage detection unit 10k, an ADC (Analog-to-Digital Converter) is used as a voltage detection device of the power supply 100a. The power supply voltage detector 10k measures the power supply voltage at a predetermined timing, supplies the obtained digital voltage level to the register 10m, and stores it. The system control unit 10j controls the register circuit 10m to read the voltage level previously detected every predetermined period, calculates the difference between this voltage level and the currently detected voltage level, The reduction rate (slope) is calculated. The system control unit 10j determines whether or not the calculated reduction rate has reached the preset reduction rate, and controls to start display control of the image control processing unit 10h when the voltage reduction rate becomes equal To do. Further, the system control unit 10j supplies a control signal 101k for lowering the operation clock of the timing adjustment unit 12 so that the display output speed of the image data is suppressed.

なお、レジスタ回路10mは、システム制御部10jに内蔵するレジスタ回路を用いてもよい。電源電圧検出部10kは、ADCのようにディジタルに限定されるものでなく、アナログ電圧を基に検出するようにしてもよい。この場合、アナログ比較器を用い、アナログ比較器は、比較器の一方にあらかじめ設定したアナログ電圧レベルを比較基準として印加し、他方に電源と接続して比較器の比較結果が等しくなった際に比較器がシステム制御部10jに、たとえば、レベル“H”の信号を供給する。システム制御部10jは、画像制御処理部10jを制御する。   As the register circuit 10m, a register circuit built in the system control unit 10j may be used. The power supply voltage detection unit 10k is not limited to digital like the ADC, and may be detected based on an analog voltage. In this case, an analog comparator is used. When the analog comparator applies a preset analog voltage level to one side of the comparator as a comparison reference and is connected to a power source on the other side, the comparison result of the comparator becomes equal. The comparator supplies, for example, a signal of level “H” to the system control unit 10j. The system control unit 10j controls the image control processing unit 10j.

このように構成し、制御して動作させることにより、画像データの再生に要する電力が少なくても従来よりも表示可能期間を延ばすことができる。電池が有する電力を有効に使うことができる。   By configuring and controlling the operation in this way, the displayable period can be extended as compared with the conventional case even if the power required for reproducing the image data is small. The electric power of the battery can be used effectively.

以上のように構成することにより、画像表示期間中でも共有バスの占有を避けて有効に他の装置とのアクセスが可能にするとともに、これまで以上に画像データの共有バスの占有率を低下させることによりCPU等の制御部のアクセスの応答をより一層向上させることから、フレームメモリ上の画像データの書換え等の処理が従来よりも短時間に行うことができる。すなわち、データ転送速度はそのままでありながら、アクセス回数を低下させ、処理の高速化が図れるので装置全体として低消費電力化することができる。1パケットの有効画素数(パケットサイズ)を可変することにより共有バスの占有時間を可変させて相対的に読み出すデータのアクセスに優先度を持たせることもできる。   By configuring as described above, it is possible to effectively access other devices while avoiding occupying the shared bus even during the image display period, and to reduce the occupancy rate of the shared bus for image data more than before. As a result, access response of the control unit such as the CPU is further improved, so that processing such as rewriting of image data on the frame memory can be performed in a shorter time than before. That is, while maintaining the data transfer rate, the number of accesses can be reduced and the processing speed can be increased, so that the power consumption of the entire apparatus can be reduced. By changing the effective pixel number (packet size) of one packet, the occupation time of the shared bus can be varied to give priority to access of data to be read relatively.

また、(4:2:2)方式のサンプリングを行い、かつ電子ズームする際に、輝度データと色データのサンプリングのペア関係を維持するように動作させていることから、表示する画像に偽色が生じて画質を劣化させることも防ぎ、制御の負担を抑えながら画像の修正や補正を的確に行うことができる。これにより適用した装置は本来の画像を高速表示だけでなく、各種の特殊な効果を持たせた表示も行うことを可能にするので装置のパフォーマンスをより一層高めることができる。   In addition, when (4: 2: 2) sampling is performed and electronic zooming is performed, a pairing relationship between the luminance data and color data sampling is maintained. It is also possible to prevent image quality from being deteriorated and to correct and correct an image accurately while suppressing the control burden. As a result, the applied apparatus can perform not only high-speed display of original images but also display with various special effects, so that the performance of the apparatus can be further enhanced.

本発明の画像処理制御方法を適用したディジタルカメラの動作を説明するメインフローチャートである。It is a main flowchart explaining operation | movement of the digital camera to which the image processing control method of this invention is applied. 図1のディジタルカメラにおける概略的な構成を示すブロック図である。FIG. 2 is a block diagram showing a schematic configuration in the digital camera of FIG. 1. 図2のメモリ制御部に備えた各機能部を示す図である。It is a figure which shows each function part with which the memory control part of FIG. 2 was equipped. 図2の表示シーケンサにおける輝度データと色データとのペア生成の選択およびサイズ変更を行う回路図である。FIG. 3 is a circuit diagram for selecting and resizing a pair of luminance data and color data in the display sequencer of FIG. 2. 図2のデータ修正部の概略的な構成を示すブロック図である。It is a block diagram which shows the schematic structure of the data correction part of FIG. 図2のバッファメモリ部の概略的な構成を示すブロック図である。FIG. 3 is a block diagram illustrating a schematic configuration of a buffer memory unit in FIG. 2. 画像データにおける輝度データ、および2つの色データの各方式のサンプリングによる関係を示す図である。It is a figure which shows the relationship by the sampling of each method of the brightness | luminance data in image data, and two color data. 輝度データおよび色データを(4:2:2) 方式の等倍処理でペア関係を保つ処理のタイミングチャートである。FIG. 10 is a timing chart of processing for maintaining a pair relationship between luminance data and color data by the (4: 2: 2) system equal magnification processing. 輝度データおよび色データを(4:2:2) 方式のズーム処理で先頭が偶数でのペア関係を保つ処理のタイミングチャートである。10 is a timing chart of a process of maintaining a pair relationship in which the head is an even number in the zoom process of the (4: 2: 2) method for luminance data and color data. 輝度データおよび色データを(4:2:2) 方式のズーム処理で先頭が奇数でのペア関係を保つ処理のタイミングチャートである。10 is a timing chart of a process of maintaining a pair relationship in which the head is an odd number in the zoom process of the (4: 2: 2) method for luminance data and color data. 画像制御処理部における1ライン内において送出される各パケットの関係を模式的に示すタイミングチャートである。It is a timing chart which shows typically the relation of each packet transmitted within one line in an image control processing part. 図1に示した画像制御処理部のサブルーチンSUB1の動作手順を説明するフローチャートである。3 is a flowchart for explaining an operation procedure of a subroutine SUB1 of the image control processing section shown in FIG. 図12に示した画像制御処理部のサブルーチンSUB1の続きの動作手順を説明するフローチャートである。13 is a flowchart for explaining a subsequent operation procedure of subroutine SUB1 of the image control processing section shown in FIG. 画像制御処理部のサブルーチンSUB3の動作手順を説明するフローチャートである。It is a flowchart explaining the operation | movement procedure of subroutine SUB3 of an image control process part. 図14に示した画像制御処理部のサブルーチンSUB3の続きの動作手順を説明するフローチャートである。FIG. 15 is a flowchart for explaining a subsequent operation procedure of subroutine SUB3 of the image control processing section shown in FIG. 14. FIG. 画像制御処理部のサブルーチンSUB4の動作手順を説明するフローチャートである。It is a flowchart explaining the operation | movement procedure of subroutine SUB4 of an image control process part. 図16に示した画像制御処理部のサブルーチンSUB4の続きの動作手順を説明するフローチャートである。FIG. 17 is a flowchart for explaining an operation procedure subsequent to a subroutine SUB4 of the image control processing unit shown in FIG. 図16に示した画像制御処理部のサブルーチンSUB4の続きの動作手順を説明するフローチャートである。FIG. 17 is a flowchart for explaining an operation procedure subsequent to a subroutine SUB4 of the image control processing unit shown in FIG. 図18に示した画像制御処理部のサブルーチンSUB4の続きの動作手順を説明するフローチャートである。FIG. 19 is a flowchart for describing an operation procedure subsequent to a subroutine SUB4 of the image control processing unit shown in FIG. 図18に示した画像制御処理部のサブルーチンSUB4の続きの動作手順を説明するフローチャートである。FIG. 19 is a flowchart for describing an operation procedure subsequent to a subroutine SUB4 of the image control processing unit shown in FIG. 画像制御処理部のサブルーチンSUB5の動作手順を説明するフローチャートである。It is a flowchart explaining the operation | movement procedure of subroutine SUB5 of an image control process part. 図20に示した画像制御処理部のサブルーチンSUB5の続きの動作手順を説明するフローチャートである。FIG. 21 is a flowchart for explaining an operation procedure subsequent to subroutine SUB5 of the image control processing section shown in FIG. 20. FIG. 画像制御処理部のサブルーチンSUB6の動作手順を説明するフローチャートである。It is a flowchart explaining the operation | movement procedure of subroutine SUB6 of an image control process part. 画像制御処理部における1ライン内において送出される各パケット、パケットサイズおよびパケット送出量の関係を模式的に示すタイミングチャートである。6 is a timing chart schematically showing the relationship among each packet, packet size, and packet transmission amount transmitted within one line in the image control processing unit. 画像制御処理部のサブルーチンSUB2の動作手順を説明するフローチャートである。It is a flowchart explaining the operation | movement procedure of subroutine SUB2 of an image control process part. 図25に示した画像制御処理部のサブルーチンSUB2の続きの動作手順を説明するフローチャートである。FIG. 26 is a flowchart for explaining a subsequent operation procedure of subroutine SUB2 of the image control processing section shown in FIG. 画像制御処理部の動作により表示される画像の一例を示す図である。It is a figure which shows an example of the image displayed by operation | movement of an image control process part. 図2のディジタルカメラに電源電圧検出部を配した構成を示すブロック図である。FIG. 3 is a block diagram showing a configuration in which a power supply voltage detection unit is arranged in the digital camera of FIG.

符号の説明Explanation of symbols

10 ディジタルカメラ
10A 光学レンズ系
10B ドライバ
10c, 12b タイミング信号発生部(TG)
10d 撮像部
10e 前処理部
10f 信号処理部
10g ストレージ部
10h 画像制御処理部
12 タイミング調節部
12b バッファメモリ部
14 画像メモリ
16 メモリ制御部
18 バス調停部
20 表示シーケンサ
28 エンコード処理部
30 データ修正部
32 共有バス
10 Digital camera
10A optical lens system
10B driver
10c, 12b Timing signal generator (TG)
10d imaging unit
10e pre-processing section
10f Signal processor
10g storage section
10h Image control processor
12 Timing adjuster
12b Buffer memory section
14 Image memory
16 Memory controller
18 Bus arbitration department
20 Display sequencer
28 Encoding processing section
30 Data correction section
32 shared bus

Claims (8)

供給される画像データをそれぞれ輝度成分と色成分ごとに分離し、それぞれ区分してまとめた区分データに対して該区分データが含む前記輝度成分と前記色成分とのサンプリングのずれを補償する調整の施された区分データにして、該区分データを所定の規格に合わせた出力制御を行う画像処理制御方法において、該方法は、
前記画像データに対する前記各成分の分離、前記区分、および前記サンプリングのずれの補償をそれぞれ調整するとともに、前記画像データが有する固有の情報に応じて前記調整した区分データのデータサイズを異なる区分のサイズへの変更処理を施し、共有するバスへの該調整した区分データを調停し、送出する第1の工程と、
該調整した区分データごとに対して複数の加工処理、および/または復元処理をどのように行うかを供給される指示情報に応じて画像の修正処理として施す第2の工程と、
第2の工程を経た区分データを選択して一時記憶させ、一時記憶した複数の区分データのうちの一つを画像の一部として選択して読み出す第3の工程とを含むことを特徴とする画像処理制御方法。
The supplied image data is separated for each of the luminance component and the color component, and the adjustment for compensating the sampling deviation between the luminance component and the color component included in the division data with respect to the division data grouped separately. In an image processing control method for performing output control in accordance with a predetermined standard for the division data that has been applied, the method includes:
The separation of each of the components with respect to the image data, the division, and the compensation for the sampling deviation are adjusted, and the data size of the adjusted division data is changed according to the unique information of the image data. A first step of performing a change process to, arbitrating and sending the adjusted segment data to the shared bus;
A second step of performing an image correction process in accordance with supplied instruction information on how to perform a plurality of processing processes and / or restoration processes for each of the adjusted segment data;
And a third step of selecting and temporarily storing the segment data that has undergone the second step, and selecting and reading one of the plurality of temporarily stored segment data as part of the image. Image processing control method.
請求項1に記載の方法において、第1の工程は、供給される画像データを所定の規格に合わせた形式にする第1のクロックおよび第1のクロックよりも高い周波数の第2のクロックを生成する第4の工程と、
前記所定の規格において表示する際の拡大/縮小または等倍表示のモードを設定するとともに、連続してひとまとめに扱うデータ量および該データ量を1単位に1ライン分の出力する単位数を設定する第5の工程と、
設定した表示モードに対応したそれぞれのアドレス間隔を考慮して読み出すアドレスを算出する第6の工程と、
格納されていた画像データを演算により求めたアドレスのうち、前記連続してひとまとめに扱う際に読み出す区分した画像データの先頭アドレスのアクセスをランダムにして前記区分データを読み出す第7の工程と、
読み出した画像データを複数の信号成分に対応するデータに分離し、前記所定の規格に適合したペアの関係に調節した区分データにする第8の工程と、
供給される画像データが有する画像をどのように表示するかの固有な情報をパラメータとして解析し、前記調節した区分データに対して前記解析したパラメータを考慮して前記区分データのサイズと異なるデータサイズに変更または1ラインあたりに繰り返す回数を考慮した出力を行う第9の工程と、
読み出すアドレスのデータ、該アドレスに対応して格納する画像データ、格納されていた画像データ、外部からの制御情報または所定のサイクルで格納した画像データの更新を行うリフレッシュに対するそれぞれの処理の際に供給される指示命令に応じた処理の優先度を考慮して該処理の調停を行う第10の工程とを含み、
前記調停により許可された順序を保って前記区分した画像データを出力すること特徴とする画像処理制御方法。
2. The method according to claim 1, wherein the first step generates a first clock having a format in which supplied image data conforms to a predetermined standard and a second clock having a higher frequency than the first clock. A fourth step of
Set the enlargement / reduction mode or the same size display mode when displaying according to the predetermined standard, and set the data amount to be handled collectively and the number of units for outputting the data amount for one line. A fifth step;
A sixth step of calculating an address to be read in consideration of each address interval corresponding to the set display mode;
A seventh step of reading out the divided data by randomly accessing the head address of the divided image data to be read out when the image data that has been stored is obtained by calculation among the addresses obtained by calculation;
An eighth step of separating the read image data into data corresponding to a plurality of signal components, and making the divided data adjusted to a pair relationship conforming to the predetermined standard;
Analyzing as a parameter unique information on how to display an image included in the supplied image data, and taking into account the analyzed parameter for the adjusted segment data, a data size different from the size of the segment data A ninth step of performing output in consideration of the number of times changed or repeated per line;
Supplied at each processing for address data to be read, image data stored corresponding to the address, stored image data, control information from the outside, or refresh for updating image data stored in a predetermined cycle A tenth step of arbitrating the processing in consideration of the priority of the processing according to the instruction command to be performed,
An image processing control method for outputting the divided image data while maintaining an order permitted by the arbitration.
請求項2に記載の方法において、第9の工程は、供給される画像データが有する画像をどのように表示するかを示す固有な情報をパラメータとして解析する第11の工程と、
前記区分した画像データが前記解析した結果に対応する対象の区分した画像データか否かを判定する第12の工程と、
前記調節した区分データに対して前記解析したパラメータを考慮して前記区分データのサイズと異なるデータサイズに変更または1ラインあたりに繰り返す回数を考慮した出力を行う第13の工程とを含むことを特徴とする画像処理制御方法。
The method according to claim 2, wherein the ninth step includes an eleventh step of analyzing, as a parameter, unique information indicating how to display an image included in the supplied image data.
A twelfth step of determining whether the segmented image data is a segmented image data of a target corresponding to the analysis result;
A thirteenth step of performing an output considering the number of repetitions per line or changing to a data size different from the size of the segment data in consideration of the analyzed parameter with respect to the adjusted segment data An image processing control method.
請求項3に記載の方法において、第13の工程は、前記区分した画像データの大きさの変更を行う際に画像表示領域のなかに、所定の画像パターンの繰り返しで表示領域を形成する場合、前記区分した画像データを通常のサイズよりも小さいサイズにし、
前記画像表示領域のなかに、サムネイルサイズの画像を形成する場合、前記画像データの区分サイズを通常のサイズよりも大きいサイズにし、
前記所定の画像パターンの繰り返しの表示、前記サムネイルサイズの画像、および前記通常の大きさと前記画像データの区分サイズが異なるサイズの場合、該画像データを最適に区分するサイズを算出し、
第13の工程ではそれぞれの場合のサイズに応じて前記画像データの区分サイズを区分することを特徴とする画像処理制御方法。
The method according to claim 3, wherein in the thirteenth step, a display area is formed by repeating a predetermined image pattern in the image display area when changing the size of the divided image data. The segmented image data is made smaller than the normal size,
When forming a thumbnail size image in the image display area, the segment size of the image data is set to a size larger than a normal size,
When the display of the predetermined image pattern is repeated, the image of the thumbnail size, and the size of the normal size and the size of the image data are different from each other, a size for optimally dividing the image data is calculated,
An image processing control method characterized in that, in the thirteenth step, the division size of the image data is divided according to the size in each case.
請求項2に記載の方法において、第2の工程は、調停に従って供給される区分した画像データのそれぞれに対してどのような処理を施すかを示す前記指示情報を解析する第14の工程と、
前記区分した画像データが前記解析した結果に対応する対象の区分した画像データか否かを判定する第15の工程と、
前記区分した画像データが前記対象の画像データの際に該区分した画像データごとに固有の信号処理を施すか否かを判定する第16の工程と、
該区分した画像データを解析結果に応じた前記固有の信号処理を施す第17の工程と、
前記区分した画像データを第17の工程以前のそのままに出力する第18の工程と、
第17または第18の工程からの区分した画像データを供給する先頭アドレスを設定する第19の工程とを含むことを特徴とする画像処理制御方法。
The method according to claim 2, wherein the second step is a fourteenth step of analyzing the instruction information indicating what processing is to be performed on each of the segmented image data supplied in accordance with the arbitration;
A fifteenth step of determining whether the segmented image data is a segmented image data of a target corresponding to the analysis result;
A sixteenth step of determining whether or not to perform specific signal processing for each divided image data when the divided image data is the target image data;
A seventeenth step of performing the specific signal processing according to the analysis result of the divided image data;
An eighteenth step of outputting the segmented image data as it was before the seventeenth step;
An image processing control method comprising: a nineteenth step of setting a head address for supplying the segmented image data from the seventeenth or eighteenth step.
請求項5に記載の方法において、第16の工程は、前記固有の信号処理を前記区分した画像データの大きさまたは繰返し回数の変更、電子ズームのサイズの調整、特殊効果処理、および/またはアパーチャ生成処理とし、前記固有の信号処理を行うかを判定し、
第17の工程は、該判定した結果が真の順に各信号処理を行うことを特徴とする画像処理制御方法。
6. The method according to claim 5, wherein the sixteenth step includes changing the size or number of repetitions of the divided image data, adjusting the size of the electronic zoom, special effect processing, and / or aperture. Determine whether to perform the specific signal processing as a generation process,
A seventeenth step is an image processing control method characterized in that each signal processing is performed in the order in which the determined result is true.
請求項6に記載の方法において、第16の工程は、前記一様な画像パターンの繰り返しで表示領域を形成する場合、該区分したサイズを、独立に供給される前記指示情報の一つで、実際表示に使用する画素数を示す有効画素数情報で割って得られる割合に前記画像データを掛けた量を受けて、供給された画像データの復元に際して前記割合の逆数倍を回数として繰り返すとともに、該繰り返しを用いるデータの種類または画面の表示領域に応じて調整することを特徴とする画像処理制御方法。   The method according to claim 6, wherein when the display area is formed by repeating the uniform image pattern, the sixteenth step is one of the pieces of instruction information supplied independently. In response to an amount obtained by multiplying the ratio obtained by dividing the effective pixel number information indicating the number of pixels used for actual display by the image data, the inverse of the ratio is repeated as the number of times when the supplied image data is restored. , An image processing control method comprising adjusting according to the type of data using the repetition or the display area of the screen. 請求項2に記載の方法において、第3の工程は、第1のクロックよりも速い第2のクロックで第2の工程を経てそれぞれ供給される画像データの書込み処理を行い、該画像データの読出し処理では、該画像データうち、前記所定の規格の1ラインの期間中に少なくとも、設定した単位数分を含めてすでに保持しているデータを第1のクロックに同期させて読出しを行うとともに、この読出し時に次の読出しの準備に際して第2のクロックで供給される区分した画像データを所定の領域に前記単位数分、書き込んで出力準備することを特徴とする画像処理制御方法。   3. The method according to claim 2, wherein the third step performs a writing process of the image data supplied through the second step with a second clock faster than the first clock, and reads the image data. In the processing, among the image data, data already held including at least the set number of units during the period of one line of the predetermined standard is read out in synchronization with the first clock, and this A method for controlling image processing, comprising: writing a predetermined number of units of image data supplied by a second clock in a predetermined area in preparation for the next reading at the time of reading to prepare for output.
JP2008188566A 2000-09-11 2008-07-22 Image processing control method Abandoned JP2009015332A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008188566A JP2009015332A (en) 2000-09-11 2008-07-22 Image processing control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000275602 2000-09-11
JP2008188566A JP2009015332A (en) 2000-09-11 2008-07-22 Image processing control method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2001230228A Division JP4187425B2 (en) 2000-09-11 2001-07-30 Image control apparatus and digital camera

Publications (1)

Publication Number Publication Date
JP2009015332A true JP2009015332A (en) 2009-01-22

Family

ID=40356211

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008188566A Abandoned JP2009015332A (en) 2000-09-11 2008-07-22 Image processing control method

Country Status (1)

Country Link
JP (1) JP2009015332A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8884975B2 (en) 2010-11-19 2014-11-11 Ricoh Company, Ltd. Image projection apparatus, memory control apparatus, laser projector, and memory access method
KR200475267Y1 (en) 2013-12-12 2014-11-17 한국단자공업 주식회사 Busbar assembly

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8884975B2 (en) 2010-11-19 2014-11-11 Ricoh Company, Ltd. Image projection apparatus, memory control apparatus, laser projector, and memory access method
KR200475267Y1 (en) 2013-12-12 2014-11-17 한국단자공업 주식회사 Busbar assembly

Similar Documents

Publication Publication Date Title
JP4187425B2 (en) Image control apparatus and digital camera
JP4131052B2 (en) Imaging device
US8009337B2 (en) Image display apparatus, method, and program
US8223219B2 (en) Imaging device, image processing method, image processing program and semiconductor integrated circuit
JP4253881B2 (en) Imaging device
JP5240194B2 (en) Signal processing method and signal processing apparatus
US8194155B2 (en) Information processing apparatus, buffer control method, and computer program
JP2008294689A (en) Device, circuit and method, for imaging
US7038719B2 (en) Image sensing apparatus, image processing method, recording medium, and program
JP2000092375A (en) Signal processing unit and its control method
JP2008124671A (en) Imaging apparatus and imaging method
JP4225241B2 (en) Image display device
JP5820720B2 (en) Imaging device
WO2012111825A1 (en) Image processor, image processing method, and program
JP2009015332A (en) Image processing control method
JP2011223146A (en) Electronic camera
JP4158245B2 (en) Signal processing device
JP4264602B2 (en) Image processing device
US7492491B2 (en) Image processing apparatus
JP4102055B2 (en) Data transfer method
JP7354300B2 (en) Imaging device, imaging device, operating method of the imaging device, and program
JP4280368B2 (en) Image processing device
US9019404B2 (en) Image processing apparatus and method for preventing image degradation
JP2000050127A (en) Electronic still camera and its control method
JP2009033438A (en) Imaging apparatus

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110906

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20110922