JP2013101417A - Image processing method - Google Patents
Image processing method Download PDFInfo
- Publication number
- JP2013101417A JP2013101417A JP2010051628A JP2010051628A JP2013101417A JP 2013101417 A JP2013101417 A JP 2013101417A JP 2010051628 A JP2010051628 A JP 2010051628A JP 2010051628 A JP2010051628 A JP 2010051628A JP 2013101417 A JP2013101417 A JP 2013101417A
- Authority
- JP
- Japan
- Prior art keywords
- processing
- image
- rotation
- enlargement
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 61
- 230000009467 reduction Effects 0.000 claims abstract description 122
- 238000005070 sampling Methods 0.000 claims description 240
- 238000000034 method Methods 0.000 claims description 129
- 230000008569 process Effects 0.000 claims description 76
- 238000006243 chemical reaction Methods 0.000 claims description 75
- 230000010363 phase shift Effects 0.000 claims description 58
- 238000011946 reduction process Methods 0.000 claims description 22
- 230000015654 memory Effects 0.000 abstract description 66
- 230000006866 deterioration Effects 0.000 abstract description 3
- 230000001133 acceleration Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000000593 degrading effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3877—Image rotation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/393—Enlarging or reducing
- H04N1/3935—Enlarging or reducing with modification of image resolution, i.e. determining the values of picture elements at new relative positions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は、ディジタルカメラ、カメラ付携帯電話、ディジタルビデオカメラやディジタルビデオレコーダ/プレーヤ、ディジタルテレビなどの画像データ、特に静止画データの画像処理方法に関する。 The present invention relates to an image processing method for image data, particularly still image data, of a digital camera, a camera-equipped mobile phone, a digital video camera, a digital video recorder / player, a digital television, and the like.
近年のJPEG(Joint Experts Group)を代表とする静止画再生機能は急速に普及し、ディジタルカメラやカメラ付携帯電話、ディジタルビデオカメラ、ディジタルビデオレコードなど、あらゆるディジタル家電製品に搭載され必須機能となっている。また、搭載されたディジタル家電製品の普及に伴って、JPEGを代表とする静止画像は年々高画質化が進んでおり、いまや画素数が1000万画素以上の静止画は一般的になり、静止画再生機能を搭載したディジタル家電製品が扱える画素数も年々飛躍的に伸びている。 The still image playback function represented by JPEG (Joint Experts Group) in recent years has spread rapidly, and it has become an indispensable function when installed in all digital home appliances such as digital cameras, mobile phones with cameras, digital video cameras, and digital video records. ing. In addition, with the spread of installed digital home appliances, still images such as JPEG have been improved in image quality year by year, and still images with 10 million pixels or more are now common. The number of pixels that can be handled by digital home appliances equipped with a playback function is also increasing year by year.
一般に、このような画像再生処理においては、例えば、SDカードなどの記憶媒体に格納されたJPEG圧縮画像(JPEGストリーム)を、そのJPEGストリーム中に格納されているカラーサンプリングフォーマット、画像サイズ、回転情報に基づいて復号処理し、同時に再生機器に基づく表示サイズ、カラーサンプリングフォーマットに従って、液晶モニタ等のディスプレイに表示される。尚、ここで言うカラーサンプリングフォーマットとは、ISO/IEC10918−1で規定されているサンプリングファクタを指す。 In general, in such image reproduction processing, for example, a JPEG compressed image (JPEG stream) stored in a storage medium such as an SD card is converted into a color sampling format, image size, and rotation information stored in the JPEG stream. Are decoded and simultaneously displayed on a display such as a liquid crystal monitor according to the display size and color sampling format based on the playback device. The color sampling format referred to here indicates a sampling factor defined by ISO / IEC10918-1.
そして、一旦、液晶モニタ等のディスプレイに表示された画像に対して、ユーザが画像の全て又は画像の特定の一部分だけを拡大・縮小、回転処理して表示させたい場合があり、現在の一般的なディジタル家電製品及びパソコンなどでは、このような画像の特定領域のみを拡大・縮小するZoom処理や回転処理等の加工処理を手軽に行うことが可能である。この場合、前記のJPEGストリーム中に格納されているカラーサンプリングフォーマット、画像サイズ、回転情報に加え、ユーザによって指示された画像サイズ、回転情報に基づいて拡大・縮小処理及び回転処理を行い、画像データを再生機器に基づく表示サイズ、カラーサンプリングフォーマットに合せた後に、液晶モニタ等のディスプレイに表示させる。このような技術は、例えば特許文献1及び2に記載されている。
There is a case where the user wants to display the entire image or only a specific part of the image by enlarging / reducing or rotating the image once displayed on the display such as a liquid crystal monitor. Such digital home appliances and personal computers can easily perform processing such as zoom processing and rotation processing for enlarging / reducing only a specific area of such an image. In this case, in addition to the color sampling format, image size, and rotation information stored in the JPEG stream, enlargement / reduction processing and rotation processing are performed based on the image size and rotation information instructed by the user, and image data Is adjusted to the display size and color sampling format based on the playback device, and then displayed on a display such as a liquid crystal monitor. Such a technique is described in
しかしながら、前記従来の画像処理方法では、以下のような問題があった。記録媒体などに蓄積されたJPEG画像を復号処理する際、JPEG圧縮画像(JPEGストリーム)中に含まれる拡大・縮小情報、回転情報に基づく処理と、一旦復号、表示したJPEG画像の全て又は画像の一部分をユーザが拡大・縮小、回転処理して表示させたい場合、復号処理としては、図4に示すように、先ず、JPEGストリームをデコードした後、そのJPEGストリーム中に含まれる拡大・縮小情報Aに基づく処理と回転情報Aに基づく処理を行ない、一旦、その結果を外部メモリMに格納し、その後、再度、その外部メモリMに格納された処理結果を読み出し、ユーザの指示に基づく拡大・縮小情報Bに基づく処理と、回転情報Bに基づく処理とを行い、その後、その処理結果を表示する。 However, the conventional image processing method has the following problems. When decoding JPEG images stored on a recording medium, etc., processing based on the enlargement / reduction information and rotation information included in the JPEG compressed image (JPEG stream), and all or all of the JPEG images once decoded and displayed When the user wants to display a part of the image by enlarging / reducing and rotating it, as decoding processing, as shown in FIG. 4, first, after decoding the JPEG stream, enlargement / reduction information A included in the JPEG stream And the processing based on the rotation information A, the result is temporarily stored in the external memory M, and then the processing result stored in the external memory M is read again, and the enlargement / reduction based on the user's instruction is performed. A process based on the information B and a process based on the rotation information B are performed, and then the processing result is displayed.
尚、JPEGストリーム中に含まれる回転情報に基づく回転処理及びユーザの指示に基づく回転情報に基づく回転処理には、画像データを指定された方向に回転させるという処理だけではなく、カラーサンプリング位置を出力画像のサンプリング位置に応じて移動させる位相シフト処理も含まれる。 Note that the rotation processing based on the rotation information included in the JPEG stream and the rotation processing based on the rotation information based on the user's instruction output not only the processing of rotating the image data in the specified direction but also the output of the color sampling position. Phase shift processing is also included that moves the image according to the sampling position of the image.
ここで、前記位相シフト処理の詳細を具体例により説明する。 Here, the details of the phase shift processing will be described using a specific example.
復号処理した結果の画像データのカラーサンプリングフォーマットを4:2:0フォーマットとし、カラーサンプリング位置を“一致”とする。このカラーサンプリングフォーマットを4:2:0フォーマット、カラーサンプリング位置を“一致”の画像データを90度右回転させる場合を考える。 The color sampling format of the image data resulting from the decoding process is set to 4: 2: 0 format, and the color sampling position is set to “match”. Consider a case where the color sampling format is 4: 2: 0 format and image data whose color sampling position is “match” is rotated 90 degrees to the right.
ここで、4:2:0フォーマットとは、静止画画像の表現をYCbCr表色系とし、輝度Yの水平サンプリングファクタをH0、輝度Yの垂直サンプリングファクタをV0、色差Cbの水平サンプリングファクタをH1、色差Cbの垂直サンプリングファクタをV1、色差Crの水平サンプリングファクタをH2、色差Crの垂直サンプリングファクタをV2と表現した場合、H0=2、V0=2、H1=1、V1=1、H2=1、V2=1である。 Here, the 4: 2: 0 format is a YCbCr color system for representing a still image, a horizontal sampling factor for luminance Y is H0, a vertical sampling factor for luminance Y is V0, and a horizontal sampling factor for color difference Cb is H1. When the vertical sampling factor of the color difference Cb is expressed as V1, the horizontal sampling factor of the color difference Cr as H2, and the vertical sampling factor of the color difference Cr as V2, H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1.
図1にサンプリングフォーマット4:2:0、カラーサンプリング位置“一致”の場合の輝度Y、色差Cb、Crを示す。また、図2にサンプリングフォーマット4:2:0、カラーサンプリング位置“中心”の場合の輝度Y、色差Cb、Crを示す。図3は、図1のサンプリングフォーマット4:2:0、カラーサンプリング位置“一致”の場合の輝度Y、色差Cb、Crを90度右回転した場合の図である。図3に示すように、サンプリングフォーマット4:2:0、カラーサンプリング位置“一致”の場合の輝度Y、色差Cb、Crを90度右回転させると、サンプリングフォーマットは変わらないが、輝度Yに対する色差Cb、Crの位置が移動する。これをサンプリングフォーマット4:2:0、カラーサンプリング位置“一致”として表示すると、色差Cb、Crの輝度Yに対する位置が本来あるべき位置と異なるため、色ずれを起こしてしまう。 FIG. 1 shows the luminance Y and color differences Cb and Cr when the sampling format is 4: 2: 0 and the color sampling position is “match”. FIG. 2 shows luminance Y and color differences Cb and Cr when the sampling format is 4: 2: 0 and the color sampling position is “center”. FIG. 3 is a diagram when the luminance Y and color differences Cb and Cr in the case of the sampling format 4: 2: 0 in FIG. 1 and the color sampling position “match” are rotated 90 degrees to the right. As shown in FIG. 3, when the luminance Y and the color differences Cb and Cr in the case of the sampling format 4: 2: 0 and the color sampling position “match” are rotated 90 degrees to the right, the sampling format does not change, but the color difference with respect to the luminance Y The positions of Cb and Cr move. If this is displayed as the sampling format 4: 2: 0 and the color sampling position “coincidence”, the position of the color differences Cb and Cr with respect to the luminance Y is different from the position where it should be.
そこで、色差Cb、Crの輝度Yに対する位置を本来あるべき位置に移動、補正する処理が位相シフト処理である。つまり、図3の色差Cb、Crの位置を図1の色差Cb、Crの位置に移動、補正する処理である。具体的には、色差Cb、Crを水平方向にマイナス0.5画素分移動させれば良い。この時、図3の水平方向に右方向をプラス、左方向をマイナスとする。 Therefore, the process of moving and correcting the positions of the color differences Cb and Cr with respect to the luminance Y to the positions where they should be is the phase shift process. That is, this is a process of moving and correcting the positions of the color differences Cb and Cr in FIG. 3 to the positions of the color differences Cb and Cr in FIG. Specifically, the color differences Cb and Cr may be moved in the horizontal direction by minus 0.5 pixels. At this time, the right direction in the horizontal direction in FIG. 3 is positive, and the left direction is negative.
従って、カラーサンプリングフォーマットを4:2:0フォーマット、カラーサンプリング位置“一致”の画像データを90度右回転後、カラーサンプリングフォーマットを4:2:0フォーマット、カラーサンプリング位置“一致”として表示する場合は、マイナス0.5画素の位相シフト処理(差Cb、Crを水平方向にマイナス0.5画素分移動させる処理)が必要である。 Therefore, when the color sampling format is 4: 2: 0 format and the image data of the color sampling position “match” is rotated 90 degrees to the right, and the color sampling format is displayed as 4: 2: 0 format and the color sampling position “match”. Requires a phase shift process of minus 0.5 pixels (a process of moving the differences Cb and Cr by minus 0.5 pixels in the horizontal direction).
次に、前記従来の画像処理方法の欠点を説明する。 Next, the drawbacks of the conventional image processing method will be described.
JPEG画像は、一般的にテレビなどに用いられる動画像に比べて高画素であり、1000万画素を超える画像サイズも一般的である。そのため、JPEG圧縮画像の復号処理(デコード処理)、拡大・縮小処理、回転処理を行なう場合、各処理の結果を一旦メモリに格納する方法が容易である。しかし、JPEG画像の高画素化に伴い、復号処理(デコード結果)の全てをメモリに格納することは外部メモリ容量が大きくなり過ぎてしまうという課題を有する。 A JPEG image has a higher pixel size than a moving image generally used for a television or the like, and an image size exceeding 10 million pixels is also common. Therefore, when performing decoding processing (decoding processing), enlargement / reduction processing, and rotation processing of a JPEG compressed image, it is easy to temporarily store the results of each processing in a memory. However, with the increase in the number of pixels in a JPEG image, storing all decoding processing (decoding result) in a memory has a problem that the external memory capacity becomes too large.
そこで、外部メモリ容量を削減するため、1フレームの画像を数ライン、又は、数ブロック単位に細分化して処理し、その結果を一旦外部メモリに格納する方法もあるが、この場合、JPEG画像の復号処理に必要な一連の処理であるストリーム中の情報に基づく拡大・縮小処理、回転処理、位相シフト処理、及びユーザ指定に基づく拡大・縮小処理、回転処理、位相シフト処理において、拡大・縮小処理、回転処理、位相シフト処理の各処理を実施する上で必要とするデータ量が異なるため、各処理を実施するための制御が複雑になってしまう。制御を容易しようとすると、結局、多くのメモリサイズを持たせる必要があり、前記課題と同様、外部メモリ容量が大きくなり過ぎてしまう。 Therefore, in order to reduce the external memory capacity, there is a method in which an image of one frame is divided into several lines or blocks and processed, and the result is temporarily stored in the external memory. Enlargement / reduction processing in a series of processing required for decoding processing, enlargement / reduction processing based on information in the stream, rotation processing, phase shift processing, and enlargement / reduction processing based on user designation, rotation processing, phase shift processing Since the amount of data required for performing each of the rotation processing and the phase shift processing is different, the control for performing each processing becomes complicated. In order to facilitate the control, it is necessary to have a large memory size in the end, and the external memory capacity becomes too large as in the above problem.
また、一旦表示した画像の全て又は特定の一部分のみを表示させる場合、図5に示すように、前記のJPEG圧縮画像の復号処理(デコード処理)の結果を一旦メモリM1に格納すると共に、JPEGストリーム中の拡大・縮小処理の結果と、回転処理の結果とを各々一旦メモリM2、M3に格納する方法であれば、これ等のメモリM1〜M3に格納された復号処理(デコード処理)、拡大・縮小処理結果、及び回転処理結果に対して、更に、ユーザの指示に従った拡大・縮小処理、回転処理を行えば、ユーザレスポンスが良い。しかし、メモリ容量が大きくなり過ぎてしまう。 When displaying all or a specific part of the image once displayed, the result of the decoding process (decoding process) of the JPEG compressed image is temporarily stored in the memory M1 as shown in FIG. If the method of temporarily storing the result of the enlargement / reduction process and the result of the rotation process in the memories M2 and M3, respectively, the decoding process (decoding process) stored in these memories M1 to M3, If the enlargement / reduction process and the rotation process in accordance with the user instruction are further performed on the reduction process result and the rotation process result, the user response is good. However, the memory capacity becomes too large.
各処理の結果をメモリに格納しない方法では、一旦表示した画像の全て又は特定の一部分のみを表示させる場合に、再度、JPEG圧縮画像の復号処理から行わなければならず、ユーザレスポンスが低下するという課題を有する。これはJPEG圧縮画像の画像サイズが大きいほど、復号処理に時間を要するため、ユーザレスポンスの低下の度合いは大きい。また、今後も静止画において高画素化が継続していく時流の中で、まさに時流に逆行するものであり、致命的であり、許容されない。 In the method of not storing the result of each process in the memory, when displaying all or a specific part of the image once displayed, it is necessary to start again from the decoding process of the JPEG compressed image, and the user response is reduced. Has a problem. This is because the larger the image size of a JPEG compressed image, the more time is required for decoding processing, and the degree of decrease in user response is greater. In addition, in the future where the increase in the number of pixels in a still image will continue, it will go against the current, and it is fatal and unacceptable.
更に、各処理の結果をメモリに格納しない画像処理方法では、メモリを用いずにJPEG圧縮画像(JPEGストリーム)中に含まれる拡大・縮小情報、回転情報に基づく処理とユーザの指示に基づく拡大・縮小、回転処理とを行なう必要があり、内部処理が複雑になってしまうという課題を有する。 Further, in the image processing method in which the result of each process is not stored in the memory, the processing based on the enlargement / reduction information and the rotation information included in the JPEG compressed image (JPEG stream) without using the memory and the enlargement / reduction based on the user's instruction. There is a problem that it is necessary to perform reduction processing and rotation processing, and internal processing becomes complicated.
以下、この内部処理が複雑になる課題を詳述する。 Hereinafter, the problem that the internal processing becomes complicated will be described in detail.
JPEG圧縮画像(JPEGストリーム)中に含まれる拡大・縮小情報、回転情報に基づく処理と、ユーザの指示に基づく拡大・縮小、回転処理との一連の処理において、当然ながら画像の入力フォーマット(画像サイズ、カラーサンプリングフォーマット(色差データCb、Crの輝度Yに対する位置の情報を含む))、画像の出力フォーマット(画像サイズ、カラーサンプリングフォーマット(色差データCb、Crの輝度Yに対する位置の情報を含む))を考慮して処理するが、処理に必要なパラメータの種類、組合せが非常に多く、内部の処理が非常に複雑になってしまう。表示するまでの組合せ数の一例を示す。画像の入力フォーマットの種類は、カラーサンプリングフォーマットの4:2:0、4:2:2H、4:2:2V、4:1:1、4:4:4、色差データCb、Crの輝度Yに対する位置の一致、中心の計10種類である。 Of course, in the series of processing based on enlargement / reduction information and rotation information included in a JPEG compressed image (JPEG stream), enlargement / reduction and rotation processing based on a user's instruction, the input format of the image (image size) , Color sampling format (including position information with respect to luminance Y of color difference data Cb, Cr)), output format of image (image size, color sampling format (including position information with respect to luminance Y of color difference data Cb, Cr)) However, there are many kinds and combinations of parameters necessary for the processing, and the internal processing becomes very complicated. An example of the number of combinations until display is shown. The input format of the image is the color sampling format 4: 2: 0, 4: 2: 2H, 4: 2: 2V, 4: 1: 1, 4: 4: 4, the luminance Y of the color difference data Cb, Cr There are a total of 10 types of positions that coincide with each other and the center.
4:2:2H、4:2:2とは、前記の静止画画像の表現をYCbCr表色系とし、輝度Yの水平サンプリングファクタをH0、輝度Yの垂直サンプリングファクタをV0、色差Cbの水平サンプリングファクタをH1、色差Cbの垂直サンプリングファクタをV1、色差Crの水平サンプリングファクタをH2、色差Crの垂直サンプリングファクタをV2と表現した場合、H0=2、V0=1、H1=1、V1=1、H2=1、V2=1と、H0=1、V0=2、H1=1、V1=1、H2=1、V2=1である。 4: 2: 2H and 4: 2: 2 are YCbCr colorimetric system for representing the still image, the horizontal sampling factor of luminance Y is H0, the vertical sampling factor of luminance Y is V0, and the horizontal of color difference Cb. When the sampling factor is expressed as H1, the vertical sampling factor of the color difference Cb as V1, the horizontal sampling factor of the color difference Cr as H2, and the vertical sampling factor of the color difference Cr as V2, H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1, V2 = 1, H0 = 1, V0 = 2, H1 = 1, V1 = 1, H2 = 1, and V2 = 1.
回転は、通常表示、90度右回転、90度左回転、上下反転、左右反転、左右反転+90度右回転、左右反転+90度左回転と、ストリーム中の回転情報と、ユーザ指定の回転情報の計16種類である。 The rotation includes normal display, 90 degree right rotation, 90 degree left rotation, upside down flip, left / right reverse, left / right reverse + 90 degree right turn, left / right reverse + 90 degree left turn, rotation information in the stream, and user-specified rotation information. There are 16 types in total.
ユーザ指定の回転情報は、再生・表示する機器に依存するため、16種類以上の場合もあるし、少ない場合もある。 The user-specified rotation information depends on the device to be played back / displayed, so there may be 16 types or more, or there may be few.
画像の出力フォーマットの種類は、4:2:2の一致と、4:2:0の一致との2種類である。この画像の出力フォーマットの種類も、再生・表示する機器に依存するため、2種類以上の場合もある。 There are two types of image output formats: 4: 2: 2 match and 4: 2: 0 match. Since the output format of this image also depends on the device to be played back / displayed, there may be two or more types.
よって、画像の入出力フォーマットの種類及び回転の種類の組合せは、10種類x16種類x2種類の320種類である。この多数の処理組合せに対応する必要があり、これらをJPEG圧縮画像(JPEGストリーム)中に含まれる拡大・縮小情報、回転情報とユーザの指示に基づく拡大・縮小、回転情報に基づき計算により算出するため、内部処理が複雑になり、処理性能の低下を招いてしまうという課題を有する。また、この多数な組合せに対応する複雑な処理をハードウェア又はソフトウェアに実装する必要があり、開発途上においてバグを含んでしまうリスクがあり、実装上の困難さも有する。 Therefore, there are 320 combinations of 10 types × 16 types × 2 types of combinations of image input / output format types and rotation types. It is necessary to deal with this large number of processing combinations, and these are calculated by calculation based on enlargement / reduction information, rotation information and enlargement / reduction based on user instructions included in the JPEG compressed image (JPEG stream), and rotation information. For this reason, there is a problem that internal processing becomes complicated and processing performance is lowered. In addition, it is necessary to implement complicated processing corresponding to these numerous combinations in hardware or software, and there is a risk of including bugs during development, and there is also difficulty in implementation.
次に、前記図5に示した従来の画像処理方法の欠点を説明する。 Next, the disadvantages of the conventional image processing method shown in FIG. 5 will be described.
図5の画像処理方法は、JPEG圧縮画像(JPEGストリーム)中に含まれる拡大・縮小情報、回転情報に基づく処理を行なう第1の画像加工処理と、ユーザの指示に基づく拡大・縮小、回転情報に基づく処理を行なう第2の画像加工処理とを行い、この第1の画像加工処理と第2の画像加工処理とをメモリを介して行なっていた。 The image processing method in FIG. 5 includes a first image processing process that performs processing based on enlargement / reduction information and rotation information included in a JPEG compressed image (JPEG stream), and enlargement / reduction and rotation information based on a user instruction. The second image processing process for performing the process based on the above is performed, and the first image processing process and the second image processing process are performed via the memory.
この図5の従来の画像処理方法は、一旦、表示した画像に対してユーザの指示に基づいて拡大・縮小、回転処理させる際のユーザレスポンスの向上、内部の処理方法の簡素化という点では、ある程度は有効ではあるが、メモリ容量が増加してしまう点や拡大・縮小、回転情報の処理組合せの多さ、複雑さ故の内部処理の容易性、制御の容易性、処理速度の向上、実装容易性に対する効果としては不十分である。 The conventional image processing method shown in FIG. 5 is designed to improve the user response when the displayed image is enlarged / reduced and rotated based on a user instruction, and to simplify the internal processing method. Although it is effective to some extent, it increases the memory capacity, enlargement / reduction, many rotation information processing combinations, ease of internal processing due to complexity, ease of control, improvement of processing speed, implementation The effect on ease is insufficient.
たとえ拡大・縮小処理に限って有効であったとしても、その他に、画像の切出し、回転処理、位相シフト処理などの処理が静止画処理には必須であり、その拡大・縮小処理だけでは不十分である。何故なら、拡大・縮小処理だけ高速化、制御の容易性を図っても、画像の切出し、回転処理、位相シフトといった拡大・縮小処理と一緒に実施される処理も含めて高速化及び制御の容易性を図らなければ、十分な効果は得られ難い。 Even if it is effective only for enlargement / reduction processing, other processes such as image cropping, rotation processing, and phase shift processing are essential for still image processing, and the enlargement / reduction processing alone is not sufficient. It is. This is because even if enlargement / reduction processing is speeded up and controllability is improved, speeding-up and control are easy, including processing performed together with enlargement / reduction processing such as image cropping, rotation processing, and phase shift. It is difficult to obtain a sufficient effect unless it is designed.
また、従来の図5の画像処理方法のように、第1の画像加工処理でJPEG圧縮画像(JPEGストリーム)中に含まれる拡大・縮小情報、回転情報に基づく処理を行ない、その後、第2の画像加工処理でユーザの指示に基づく拡大・縮小、回転情報に基づく処理を行なう場合、例えば1,000万画素を超える高画素データを最終出力する画像サイズに縮小する過程において、一旦、1,000万画素を超えるデコード結果を一旦、予め決められた画像サイズに縮小してメモリに格納する。その後、メモリに格納されたデータに対して最終出力する画像サイズへ縮小して表示する。 Further, as in the conventional image processing method of FIG. 5, processing based on the enlargement / reduction information and rotation information included in the JPEG compressed image (JPEG stream) is performed in the first image processing, and then the second processing is performed. In the case of performing enlargement / reduction based on a user instruction in image processing and processing based on rotation information, for example, in the process of reducing high pixel data exceeding 10 million pixels to the final output image size, once 1,000 A decoding result exceeding 10,000 pixels is temporarily reduced to a predetermined image size and stored in a memory. Thereafter, the data stored in the memory is reduced to the final output image size and displayed.
この縮小の際、前記特許文献2に記載されているように、複数回の1/2縮小と1回の任意縮小を行う方法もあるし、複数回の任意縮小を繰り返す方法もある。これは、処理の構成次第により異なる。
At the time of this reduction, there are a method of performing
しかしながら、何れの方法においても、結局、1,000万画素を超えるデコード結果から最終出力する画像サイズへ縮小する際、複数回の縮小処理を繰り返さなければならず、演算誤差の累積に伴う画質劣化を引き起こしてしまう。これは、元々1,000万画素などの高画素データであるにも関わらず、画像品質を損なうものであり、許容できない。 However, in any of the methods, after all, when reducing the decoding result exceeding 10 million pixels to the final output image size, it is necessary to repeat a plurality of reduction processes, resulting in image quality deterioration due to accumulation of calculation errors. Will cause. Although this is originally high pixel data such as 10 million pixels, it impairs image quality and is unacceptable.
加えて、図4及び図5に示した従来の画像処理方法では、JPEG圧縮画像(JPEGストリーム)中に含まれる拡大・縮小情報に基づいた拡大・縮小処理と、ユーザの指示による拡大・縮小情報に基づいた拡大・縮小処理との計2回、また、JPEG圧縮画像(JPEGストリーム)中に含まれる回転情報に基づく回転・位相シフト処理と、ユーザの指示による回転情報に基づく回転・位相シフト処理との計2回の処理を行なわなければならず、最終の表示画像を求めるまでの処理全体が煩雑になってしまうという課題を有していた。 In addition, in the conventional image processing method shown in FIGS. 4 and 5, enlargement / reduction processing based on enlargement / reduction information included in the JPEG compressed image (JPEG stream), and enlargement / reduction information according to a user instruction Rotation / phase shift processing based on rotation information included in a JPEG compressed image (JPEG stream) and rotation / phase shift processing based on rotation information according to a user instruction In other words, the entire process until the final display image is obtained becomes complicated.
本発明は、上述した問題を解決するためになされたものであり、その目的は、画像処理方法、特にJPEG画像の復号・再生に加えて拡大・縮小処理及び回転処理を伴う画像処理において、JPEGストリーム中の拡大・縮小、回転情報に基づく処理と、ユーザ要求に基づく拡大・縮小、回転処理とを、2回の処理で行わず、1回で一意に算出する構成を採用し、これにより、メモリを要することなく、またレスポンス良く、JPEGストリーム中の拡大・縮小、回転情報に基づく処理と、ユーザ要求に基づく拡大・縮小、回転処理とを一挙に行い得て、画像処理方法の簡素化と実装容易性とを図りつつ高速処理が可能な画像処理方法を提供することにある。 The present invention has been made to solve the above-described problems, and an object of the present invention is to use JPEG in an image processing method, particularly in image processing involving enlargement / reduction processing and rotation processing in addition to decoding / reproduction of a JPEG image. Enlargement / reduction in the stream, processing based on the rotation information, enlargement / reduction based on the user request, rotation processing is not performed in two processes, and a configuration that calculates uniquely at one time is adopted. The processing based on the enlargement / reduction and rotation information in the JPEG stream, the enlargement / reduction based on the user request, and the rotation processing can be performed all at once without requiring a memory, and the image processing method can be simplified. An object of the present invention is to provide an image processing method capable of high-speed processing while achieving ease of mounting.
前記目的を達成するために、本発明では、画像の第1の画像処理情報に基づいて処理した後に第2の画像処理情報に基づいて処理しようとする場合には、予め、第1の画像処理情報と第2の画像処理情報とから最終的に必要となる画像処理情報を算出しておき、その画像処理情報に基づいて画像処理を行うこととする。尚、ここで言う画像処理情報とは、画像に対して行なう拡大・縮小処理に関する情報(拡大・縮小率)、入力画像フォーマット、出力画像フォーマット、回転方法、回転処理に伴う位相シフト量などを指す。また、入力画像フォーマット及び出力画像フォーマットとは、画像サイズ、前記のISO/IEC10918−1で規定されているサンプリングファクタ、前記の輝度Yに対する色差Cb、Crの位置を指す。 In order to achieve the above object, according to the present invention, when processing is performed based on the second image processing information after processing based on the first image processing information of the image, the first image processing is performed in advance. Image processing information that is finally required is calculated from the information and the second image processing information, and image processing is performed based on the image processing information. The image processing information here refers to information (enlargement / reduction ratio) on enlargement / reduction processing performed on an image, input image format, output image format, rotation method, phase shift amount accompanying rotation processing, and the like. . The input image format and the output image format refer to the position of the image size, the sampling factor defined in the ISO / IEC109918-1, and the color differences Cb and Cr with respect to the luminance Y.
つまり、ある画像データに対して、画像の第1の画像処理情報と第2の画像処理情報とが与えられ、処理する場合に、画像に対して第1の画像処理情報に基づいて処理した後に更に第2の画像処理情報に基づいて処理するのではなく、予め、第1の画像処理情報と第2の画像処理情報とから最終の処理結果である画像処理情報(第3の画像処理情報)を算出しておき、画像に対して前記第3の画像処理情報に基づいて一括処理を行なう。 That is, first image processing information and second image processing information of an image are given to certain image data, and when processing, after processing the image based on the first image processing information Further, the processing is not based on the second image processing information, but the image processing information (third image processing information) which is the final processing result from the first image processing information and the second image processing information in advance. Is calculated and batch processing is performed on the image based on the third image processing information.
こうすることにより、画像の第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とを逐次的に実施する必要がなく、第3の画像処理情報に基づく1回のみの画像処理だけで済み、内部の処理が簡素化できる。 By doing so, it is not necessary to sequentially perform the processing based on the first image processing information and the processing based on the second image processing information of the image, and the one-time image based on the third image processing information. Only processing is required, and internal processing can be simplified.
また、内部の処理を簡素にするために、第1の画像処理情報に基づく処理の結果を一旦メモリに格納した後、第2の画像処理情報に基づく処理を行なうといったことも不要であり、内部メモリを削減することも可能である。画像、特にJPEGを始めとする静止画の場合、1000万画素を超える高画素データの場合、必要とする内部メモリも大きいため、このメモリの削減効果は大きい。 Further, in order to simplify the internal processing, it is not necessary to temporarily store the result of the processing based on the first image processing information in the memory and then perform the processing based on the second image processing information. It is also possible to reduce the memory. In the case of an image, particularly a still image such as JPEG, in the case of high pixel data exceeding 10 million pixels, the required internal memory is large, so the memory reduction effect is great.
更に、第3の画像処理情報に基づく1回のみの画像処理だけで済むため、第1の画像処理情報と第2の画像処理情報とを逐次的に実施する場合に比べて、拡大・縮小処理の回数も1回で済み、拡大・縮小処理の繰り返しによる画質劣化を抑制することができる。 Furthermore, since only one-time image processing based on the third image processing information is required, the enlargement / reduction processing is performed as compared with the case where the first image processing information and the second image processing information are sequentially performed. The number of times may be one, and image quality deterioration due to repeated enlargement / reduction processing can be suppressed.
加えて、仮に画像の第1の画像処理情報と第2の画像処理情報とが与えられ、画像の第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とを一括して処理する場合に、予め最終の処理結果である第1の画像処理情報に基づく処理及び第2の画像処理情報に基づく処理から得られる画像の処理情報(第3の画像処理情報)を算出しておき、画像処理情報を変換テーブルとして予め持たせておけば、処理過程で第3の画像処理情報を算出する演算が不要となるので、画像の第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とを一括して処理する場合に、本来、第1の画像処理情報と第2の画像処理情報との組み合わせ数だけ処理が必要であり、且つ、それを処理過程で演算して算出しながら処理することによる処理性能の低下を引き起こすことなく画像処理を行なうことが可能である。また、それに伴い、内部処理として予め決められた画像処理情報に基づいた処理のみを行えば良く、内部処理が簡素化することが可能である。 In addition, if the first image processing information and the second image processing information of the image are given, the processing based on the first image processing information of the image and the processing based on the second image processing information are collectively performed. When processing, image processing information (third image processing information) obtained from the processing based on the first image processing information and the processing based on the second image processing information, which is the final processing result, is calculated in advance. In addition, if the image processing information is provided in advance as a conversion table, an operation for calculating the third image processing information in the processing process becomes unnecessary, so that the processing based on the first image processing information of the image and the second image processing information are performed. When processing based on image processing information is collectively performed, processing is originally required for the number of combinations of the first image processing information and the second image processing information, and is calculated in the processing process. By processing while calculating It is possible to perform image processing without causing a decrease in processing performance. Accordingly, it is only necessary to perform processing based on predetermined image processing information as internal processing, and the internal processing can be simplified.
更に、ハードウェア又はソフトウェアで画像の第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とを実現する際、内部処理が簡素化できるので、処理の実装容易性を図ることが可能である。 Further, when the processing based on the first image processing information of the image and the processing based on the second image processing information are realized by hardware or software, the internal processing can be simplified, so that the processing can be easily implemented. Is possible.
加えて、JPEGを始めとする静止画処理において、第1の画像処理情報に基づいて処理した後、ユーザの指示により第2の画像処理情報に基づいて処理する場合がある。具体的には、先ず、JPEGストリームを復号、再生し、表示する。この時、第1の画像処理情報に基づいて処理し、表示することになる。この場合の第1の画像処理情報は、JPEGストリーム中の画像処理情報を指す。一旦、第1の画像処理情報に基づいて処理し、表示した後、ユーザが表示した画像を見て、画像全体又は画像の特定の一部分のみを拡大・縮小、回転処理して表示させる場合がある。この場合、ユーザの指示による第2の画像処理情報に基づいて処理することになる。ユーザは、一旦、第1の画像処理情報に基づいて処理し表示された画像を見て、画像の特定の一部分のみを拡大・縮小、回転処理して表示させるので、ユーザが、画像の特定の一部分のみを拡大・縮小、回転処理して表示させる場合、再度、JPEGストリームの復号、再生からやり直す必要がある。この時、第1の画像処理情報に基づいた処理と第2の画像処理情報に基づいた処理とを行なうが、前記のように予め最終の処理結果である第1の画像処理情報に基づく処理及び第2の画像処理情報に基づく処理から得られる画像の画像処理情報(第3の画像処理情報)を算出しておくので、処理性能を低下させることなく画像処理を行なうことが可能であり、ユーザレスポンスを低下させることなく第3の画像処理情報に基づく処理が可能である。 In addition, in still image processing such as JPEG, after processing based on the first image processing information, processing may be performed based on the second image processing information according to a user instruction. Specifically, first, the JPEG stream is decoded, reproduced, and displayed. At this time, the image is processed and displayed based on the first image processing information. The first image processing information in this case indicates image processing information in the JPEG stream. Once the image is processed and displayed based on the first image processing information, the image displayed by the user may be viewed, and the entire image or only a specific part of the image may be enlarged, reduced, or rotated to be displayed. . In this case, processing is performed based on the second image processing information according to the user's instruction. The user once sees the image processed and displayed based on the first image processing information, and displays only a specific part of the image by enlarging / reducing and rotating the image. When displaying only a part of the image by enlarging, reducing, or rotating, it is necessary to start again from decoding and reproduction of the JPEG stream. At this time, the processing based on the first image processing information and the processing based on the second image processing information are performed. As described above, the processing based on the first image processing information which is the final processing result in advance and Since the image processing information (third image processing information) of the image obtained from the processing based on the second image processing information is calculated, the image processing can be performed without degrading the processing performance, and the user Processing based on the third image processing information can be performed without reducing the response.
また、従来では、このユーザレスポンスの低下を抑制するために、第1の画像処理情報に基づいた処理と第2の画像処理情報に基づいた処理とを前記のようにメモリを介したインターフェース(I/F)とし、ユーザが第1の画像処理情報に基づいて処理し表示された画像を見て、画像の特定の一部分のみを拡大・縮小、回転処理して表示させる場合は、第1の画像処理情報に基づいた処理結果が格納されているメモリからやり直す。つまり、第1の画像処理情報に基づいた処理結果が格納されているメモリからデータを読出し、そのデータに対してユーザの指示による第2の画像処理情報に基づいて処理することになるが、この場合、JPEGストリームの復号、再生からやり直す場合に比べて処理性能は良いが、前記のメモリ容量が大きくなってしまう課題を有する。しかしながら、本発明では、JPEGストリームの復号、再生からやり直しても、処理性能を低下させることなく第3の画像処理情報に基づく処理を実行することが可能であるので、メモリ容量を増加させることなく第3の画像処理情報に基づく処理を実行することが可能であり、処理回路の低減が可能である。 Conventionally, in order to suppress the decrease in the user response, the processing based on the first image processing information and the processing based on the second image processing information are performed via the interface (I) as described above. / F), when the user views an image processed and displayed based on the first image processing information and displays only a specific part of the image by enlarging / reducing or rotating the first image, Redo from the memory storing the processing result based on the processing information. That is, data is read from the memory storing the processing result based on the first image processing information, and the data is processed based on the second image processing information according to a user instruction. In this case, the processing performance is better than the case where the JPEG stream is decoded and reproduced again, but the memory capacity is increased. However, in the present invention, it is possible to execute the processing based on the third image processing information without degrading the processing performance even if the JPEG stream is decoded and reproduced again, so that the memory capacity is not increased. Processing based on the third image processing information can be executed, and the processing circuit can be reduced.
尚、第1の画像処理情報に基づく処理及び第2の画像処理情報に基づく処理から得られる画像の画像処理情報(第3の画像処理情報)を算出した結果は、メモリやレジスタなどに記憶させておいても良く、また、ROM(Read Only Memory)でも良く、RAM(Random Access Memory)のように書き換え可能な構成としても良い。 The calculation result of the image processing information (third image processing information) of the image obtained from the processing based on the first image processing information and the processing based on the second image processing information is stored in a memory or a register. Alternatively, it may be a ROM (Read Only Memory) or a rewritable configuration such as a RAM (Random Access Memory).
以上説明したように、本発明の画像処理方法によれば、画像処理において、画像の第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とを行なう場合に、第1の画像処理情報、第2の画像処理情報に加えて第1の画像処理情報に基づく処理の入力データフォーマット及び第2の画像処理情報に基づく処理の出力フォーマットから、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とに必要な画像処理情報を一意に決めることにより、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とを一括して実施することを可能とし、効率的にかつ高速に第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とを実行すること可能である。 As described above, according to the image processing method of the present invention, when performing processing based on the first image processing information of the image and processing based on the second image processing information in the image processing, the first processing is performed. Processing based on the first image processing information from the input data format of the processing based on the first image processing information and the output format of the processing based on the second image processing information in addition to the image processing information and the second image processing information The processing based on the first image processing information and the processing based on the second image processing information are collectively performed by uniquely determining the image processing information necessary for the processing based on the second image processing information. It is possible to execute the processing based on the first image processing information and the processing based on the second image processing information efficiently and at high speed.
また、従来はでは、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理との一連の画像処理を容易にするために、第1の画像処理情報に基づく処理結果を格納するメモリを設け、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とをメモリを介したI/Fとしていたが、本発明では、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とを一括して実施することが可能であるので、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理との間のメモリが不要で、メモリ容量の削減、及び画像処理を実現する手段の簡素化が図れるという効果がある。 Conventionally, in order to facilitate a series of image processing including processing based on the first image processing information and processing based on the second image processing information, a processing result based on the first image processing information is stored. In the present invention, the processing based on the first image processing information and the processing based on the second image processing information are I / F via the memory. In the present invention, the processing based on the first image processing information is performed. And the processing based on the second image processing information can be performed collectively, so that a memory between the processing based on the first image processing information and the processing based on the second image processing information is unnecessary. Thus, there are effects that the memory capacity can be reduced and the means for realizing the image processing can be simplified.
更に、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とを一括して実施することを可能とし、画像処理の高速化を可能としているので、第1の画像処理情報に基づく処理結果に対してユーザが第2の画像処理情報に基づく処理を指示した場合に、ユーザレスポンス性を向上させることができるという効果がある。 Further, the processing based on the first image processing information and the processing based on the second image processing information can be performed in a lump, and the speed of the image processing can be increased. When the user instructs the processing based on the second image processing information to the processing result based on, there is an effect that the user responsiveness can be improved.
加えて、第1の画像処理情報、第2の画像処理情報に加えて第1の画像処理情報に基づく処理の入力データフォーマット及び第2の画像処理情報に基づく処理の出力フォーマットから、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とに必要な画像処理情報を変換テーブルとして予め確保しておくことにより、処理途中に第1の画像処理情報と第2の画像処理情報とに従って演算することなく、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とを一括して実施することを可能とし、効率的にかつ高速に第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とを実行することが可能である。 In addition to the first image processing information, the second image processing information, the input data format of the processing based on the first image processing information, and the output format of the processing based on the second image processing information, the first The image processing information necessary for the processing based on the image processing information and the processing based on the second image processing information is secured in advance as a conversion table, whereby the first image processing information and the second image processing are processed during the processing. The processing based on the first image processing information and the processing based on the second image processing information can be performed collectively without performing calculations according to the information, and the first image processing can be performed efficiently and at high speed. It is possible to execute processing based on the information and processing based on the second image processing information.
更に、変換テーブルを用いることにより、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理との一連の画像処理を単純化できるという効果を奏し、実装上の容易性も実現できるという効果もある。 Further, by using the conversion table, it is possible to simplify a series of image processing including processing based on the first image processing information and processing based on the second image processing information, and also realize ease of mounting. There is also an effect that can be done.
(実施形態1)
以下、本発明の実施形態について図面を参照しながら説明する。
(Embodiment 1)
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図6は本発明の実施形態を示す画像処理方法である。 FIG. 6 shows an image processing method according to the embodiment of the present invention.
図6において、100は第1の画像処理方法の流れを示し、101は復号(デコード)処理、102は復号(デコード)処理結果である。103は復号(デコード)処理結果102を格納するメモリ、104は、復号(デコード)処理結果102を格納するメモリ103からの復号(デコード)処理結果である。
In FIG. 6,
また、105は第1及び第2の画像処理情報に基づく拡大・縮小処理であり、106は第1及び第2の画像処理情報に基づいて処理した第1及び第2の画像処理情報に基づく拡大・縮小処理結果である。107は第1及び第2の画像処理情報に基づく回転・位相シフト処理であり、第1及び第2の画像処理情報に基づく拡大・縮小処理105と同様に第1及び第2の画像処理情報に基づき回転及び位相シフト処理する。ここで、第1の画像処理情報と第2の画像処理情報(左回転、右回転、左右反転等)とに関しては、予めホストCPUより処理内容が通知されているものとする。108は、第1及び第2の画像処理情報に基づく回転・位相シフト処理107によって実施された第1及び第2の画像処理情報に基づく回転・位相シフト処理結果である。109は、第1及び第2の画像処理情報に基づく回転・位相シフト処理107によって実施された第1及び第2の画像処理情報に基づく回転・位相シフト処理結果108を格納するメモリである。110は、第1及び第2の画像処理情報に基づく回転・位相シフト処理結果108を格納するメモリ109から読み出された表示データである。
(一括処理の第1の具体例)
以上のように構成された画像処理方法において、入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、画像の第1の画像処理情報として、拡大・縮小率は、縦、横各々1倍、回転方法は通常表示、第2の画像処理情報として、拡大・縮小率は、縦、横各々1/2倍、回転方法は、90度右回転、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合について説明を行なう。
(First specific example of batch processing)
In the image processing method configured as described above, the color sampling format of the input image is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1), The color sampling position is the same, the first image processing information of the image, the enlargement / reduction ratio is 1 × in the vertical and horizontal directions, the normal rotation method is displayed, and the second image processing information is the enlargement / reduction ratio in the vertical direction. The horizontal rotation method is 90 degrees right rotation, the output image color sampling format is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1, V2 = 1) The case where the color sampling positions coincide will be described.
図1は、本実施形態の画像のカラーサンプリングフォーマットが4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)で、カラーサンプリング位置が一致のカラーフォーマットを示す図、図2は画像のカラーサンプリングフォーマットが4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)で、カラーサンプリング位置が中心のカラーフォーマットを示す図、図3は画像のカラーサンプリングフォーマットが4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)で、カラーサンプリング位置が一致のカラーフォーマットである図2を90度右回転させた場合の図である。 FIG. 1 shows that the color sampling format of the image of this embodiment is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1) and the color sampling position is FIG. 2 is a diagram showing a color format of coincidence. FIG. 2 shows a color sampling format of an image of 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1) and color. FIG. 3 is a diagram showing a color format centered on the sampling position. FIG. 3 shows an image color sampling format of 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1). FIG. 3 is a diagram in the case where FIG. 2, which is a color format with the same color sampling position, is rotated 90 degrees to the right.
先ず、復号(デコード)処理101において、JPEGなどの圧縮ストリームの復号(デコード)処理を行い、復号(デコード)結果である復号(デコード)処理結果102をメモリ103に格納する。この時、復号(デコード)結果である復号(デコード)処理結果102のカラーサンプリングフォーマットは、入力画像と同じの4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致である。尚、メモリ103に格納する復号(デコード)処理結果102は、画像1フレーム分であっても良いし、画像の1部分(数ブロック分、又は数ライン分)であっても良い。また、復号(デコード)処理結果102をメモリ103に格納しなくても良い。この場合は、メモリ103は不要である。
First, in a
次に、メモリ103から復号(デコード)処理結果102を読み出し、読み出された復号(デコード)処理結果104に対して、第1及び第2の画像処理情報に基いて拡大・縮小処理105において拡大・縮小処理を行なうと共に、第1及び第2の画像処理情報に基いて回転及び位相シフト処理107により回転及び位相シフト処理を行う。以下、この処理を具体的に順番に説明する。
Next, the decoding (decoding)
先ず、入力画像を画像の第1の画像処理情報に従って、縦、横各々1倍に拡大・縮小、回転方法は、通常表示する場合を考える。これは、復号(デコード)した結果をそのまま拡大・縮小も回転もさせないということを意味する。 First, let us consider a case in which an input image is normally displayed according to the first image processing information of the image, with the method of enlarging / reducing the image vertically and horizontally and reducing the image by one rotation. This means that the decoded result is not enlarged / reduced or rotated as it is.
次に、第1の画像処理情報に基づいた処理結果を第2の画像処理情報及び出力画像フォーマットに従って処理する場合を考える。第2の画像処理情報は、前記のように縦、横各々1/2倍、回転方法は90度右回転、そして、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致である。具体的に、カラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像を90度右回転させると図3のようになる。最終の出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像は、図7である。つまり、図3のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像を90度右回転させた画像を図7の画像として出力するためには、先ずは、入力画像の色差データCb,Cr信号を水平2倍、垂直1倍拡大する必要がある。図8に入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像データの色差信号Cb、Cr信号を水平2倍、垂直1倍拡大した画像のカラーサンプリングフォーマットを示す。更に、図8の画像データの色差信号Cb、Cr信号を垂直方向に+0.5画素移動させる。ここの垂直方向に+0.5画素というのは、図8の場合であれば、下方向に色差信号0.5画素分である。図9に、図8の画像データの色差信号Cb、Cr信号を垂直方向に+0.5画素移動させた画像のカラーサンプリングフォーマットを示す。図9の画像を90度右回転させると、最終の出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像である図7になる。 Next, consider a case where the processing result based on the first image processing information is processed according to the second image processing information and the output image format. As described above, the second image processing information is vertically and horizontally ½ times, the rotation method is rotated 90 degrees to the right, and the color sampling format of the output image is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the color sampling positions are the same. Specifically, the color sampling format is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the color sampling position is 90 degrees to the right of the matching image. When rotated, the result is as shown in FIG. The color sampling format of the final output image is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1, V2 = 1). 7. That is, the color sampling format in FIG. 3 is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the color sampling position is 90 degrees with the matching image. In order to output the right-rotated image as the image of FIG. 7, first, it is necessary to enlarge the color difference data Cb and Cr signals of the input image twice horizontally and vertically one time. In FIG. 8, the color sampling format of the input image is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the color sampling position is the same as the image data. 2 shows a color sampling format of an image obtained by enlarging the color difference signals Cb and Cr signals twice horizontally and vertically one time. Further, the color difference signals Cb and Cr of the image data in FIG. 8 are moved by +0.5 pixel in the vertical direction. Here, +0.5 pixel in the vertical direction corresponds to 0.5 color difference signal in the downward direction in the case of FIG. FIG. 9 shows a color sampling format of an image obtained by moving the color difference signals Cb and Cr of the image data in FIG. 8 by +0.5 pixels in the vertical direction. When the image in FIG. 9 is rotated 90 degrees to the right, the color sampling format of the final output image is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1, V2 = 1). ), The color sampling position is shown in FIG.
よって、入力画像を画像の第1の画像処理情報に従って、縦、横各々1倍に拡大・縮小、通常表示し、次に第2の画像処理情報に従って縦、横各々1/2倍、回転方法は90度右回転、そして、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像を得るには、総合的に一括して、入力画像の輝度データYに対して、水平、垂直方向に1/2倍すると共に、色差データCb,Cr信号に対して水平1倍、垂直1/2倍し、かつ垂直方向に+0.5画素シフトさせれば良い。 Therefore, the input image is enlarged / reduced by 1 × in the vertical and horizontal directions according to the first image processing information of the image, and is normally displayed, and then the vertical and horizontal directions are halved in accordance with the second image processing information. Is rotated 90 degrees right, and the color sampling format of the output image is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the color sampling position is In order to obtain a coincident image, the luminance data Y of the input image is halved in the horizontal and vertical directions in a comprehensive manner, and the horizontal data is multiplied by 1 with respect to the color difference data Cb and Cr signals. What is necessary is just to halve the vertical and to shift +0.5 pixels in the vertical direction.
(一括処理の第2の具体例)
次に、入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、第1の画像処理情報として、拡大・縮小率は、縦、横各々1/2倍、回転方法は90度右回転、第2の画像処理情報として、拡大・縮小率は、縦、横各々2/3倍、回転方法は上下反転、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合について説明を行なう。
(Second specific example of batch processing)
Next, the color sampling format of the input image is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1), the color sampling positions match, the first As the image processing information, the enlargement / reduction ratio is 1/2 times each in the vertical and horizontal directions, the rotation method is rotated 90 degrees to the right, and as the second image processing information, the enlargement / reduction ratio is 2/3 times each in the vertical and horizontal directions. The rotation method is upside down, the color sampling format of the output image is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the color sampling positions are the same. The case will be described.
先ず、カラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の入力画像の色差データCb,Crを水平方向に2倍拡大する。図10にカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像の色差データCb,Crを水平方向に2倍拡大した画像を示す。そして、2倍拡大後、色差データCb,Cr信号を垂直方向に+0.5画素シフトする。+0.5画素シフトした画像を図11に示す。図11の画像を90度右回転し、更に上下反転すると、求める出力画像であるカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像になる。 First, the color sampling format is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the color sampling position is the color difference data Cb, Magnify Cr twice in the horizontal direction. In FIG. 10, the color sampling format is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the color sampling position is the color difference data Cb, An image obtained by enlarging Cr twice in the horizontal direction is shown. Then, after double enlargement, the color difference data Cb and Cr signals are shifted by +0.5 pixels in the vertical direction. An image shifted by +0.5 pixels is shown in FIG. When the image in FIG. 11 is rotated 90 degrees rightward and further upside down, the color sampling format which is the output image to be obtained is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1). , V2 = 1), and the color sampling position becomes a coincident image.
よって、入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、第1の画像処理情報として、拡大・縮小率は、水平、垂直各々1/2倍、回転方法は90度右回転、第2の画像処理情報として、拡大・縮小率は、水平、垂直各々2/3倍、回転方法は、上下反転、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合は、総合的に一括して、入力画像の輝度信号Yに対して水平、垂直共に1/3倍、色差信号Cb、Crに対して水平2/3倍、垂直1/3倍、色差信号Cb、Cr信号を垂直方向に+0.5画素シフトすれば良い。 Therefore, the color sampling format of the input image is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1), the color sampling positions match, and the first image As processing information, the enlargement / reduction ratio is 1/2 times each of horizontal and vertical, the rotation method is rotated 90 degrees to the right, and as the second image processing information, the enlargement / reduction ratio is 2/3 times each of horizontal and vertical, The rotation method is upside down, the color sampling format of the output image is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the color sampling positions are the same. In the case of, in a collective manner, both the horizontal and vertical of the luminance signal Y of the input image are 1/3 times both horizontal and vertical, and the color difference signals Cb and Cr are 2/3 times horizontal and 1/3 times vertical, the color difference Shift the signals Cb and Cr by +0.5 pixels in the vertical direction If may.
(前記第2の具体例の具体的処理説明)
前記の第2の一括処理の具体例を踏まえて、本実施形態の具体的処理を説明する。
(Specific processing explanation of the second specific example)
Based on the specific example of the second batch processing, the specific processing of this embodiment will be described.
説明する上で、前記の例と同様、入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、第1の画像処理情報として、拡大・縮小率は、水平、垂直各々1/2倍、回転方法は90度右回転、第2の画像処理情報として、拡大・縮小率は、水平、垂直各々2/3倍、回転方法は上下反転、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致とする。 For the sake of explanation, the color sampling format of the input image is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1) and color as in the above example. Sampling position is the same, as the first image processing information, the enlargement / reduction ratio is ½ times each of horizontal and vertical, the rotation method is 90 degrees right rotation, and as the second image processing information, the enlargement / reduction ratio is Horizontal and vertical 2/3 times each, rotation method is upside down, color sampling format of output image is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1, V2 = 1) The color sampling positions are the same.
入力データである圧縮ストリームを復号(デコード)処理101において復号(デコード)処理する。そして、復号(デコード)結果である復号(デコード)処理結果102をメモリ103に格納する。
The compressed stream that is input data is decoded (decoded) in a decoding (decoding)
その後、前記メモリ103に格納した復号(デコード)処理結果102を、再度メモリ103から読出して、拡大・縮小処理105で拡大・縮小処理を行うと共に回転・位相シフト処理107で回転・位相シフト処理を行なう。
Thereafter, the decoding process result 102 stored in the
具体的には、以上の通り、入力モードが“4:2:0一致”で回転方法が“90度右回転”の場合は、“水平:2N倍、垂直:M倍、水平シフト:0、垂直シフト:+0.5”になる。 Specifically, as described above, when the input mode is “4: 2: 0 coincidence” and the rotation method is “90 degree right rotation”, “horizontal: 2N times, vertical: M times, horizontal shift: 0, Vertical shift: +0.5 ".
つまり、入力画像のサンプリングフォーマットが4:2:0でサンプリング位置が一致の画像を90度右回転した後、サンプリングフォーマットが4:2:2Hでサンプリング位置が一致で出力するには、前記のように色差データCb、Cr信号を“水平:2N倍、垂直:M倍、水平シフト:0、垂直シフト:+0.5”すれば良い。この時点で、画像のサンプリングフォーマットは、4:2:2Hでサンプリング位置が一致になっているので、更に上下反転してサンプリングフォーマットは、4:2:2Hでサンプリング位置が一致の画像フォーマットで出力するには、入力モードが“4:2:2H一致”で回転方法が“上下反転”の場合は、“水平:X倍、垂直:Y倍、水平シフト:0、垂直シフト:0”する。ここで、Nは第1の画像処理情報の水平方向の拡大・縮小率であり、この場合、1/2である。また、Mは第1の画像処理情報の垂直方向の拡大・縮小率であり、1/2である。また、Xは第2の画像処理情報の水平方向の拡大・縮小率であり、この場合、2/3である。また、Yは第2の画像処理情報の垂直方向の拡大・縮小率であり、2/3である。 That is, after the input image sampling format is 4: 2: 0 and the sampling position is coincident, the image is rotated 90 degrees to the right, and then the sampling format is 4: 2: 2H and the sampling position is coincident. In addition, the color difference data Cb and Cr signals may be “horizontal: 2N times, vertical: M times, horizontal shift: 0, vertical shift: +0.5”. At this point, since the sampling position of the image is 4: 2: 2H and the sampling position is matched, the image is further inverted upside down and the sampling format is output in an image format with the matching sampling position of 4: 2: 2H. To do this, if the input mode is “4: 2: 2H match” and the rotation method is “upside down”, “horizontal: X times, vertical: Y times, horizontal shift: 0, vertical shift: 0”. Here, N is the horizontal enlargement / reduction ratio of the first image processing information, and is 1/2 in this case. M is the vertical enlargement / reduction ratio of the first image processing information and is 1/2. X is a horizontal enlargement / reduction ratio of the second image processing information, and in this case, 2/3. Y is an enlargement / reduction ratio in the vertical direction of the second image processing information, which is 2/3.
よって、拡大・縮小処理105では、メモリ104から読み出した復号(デコード)処理結果104の輝度信号Yに対して、水平、垂直共に1/2*2/3=1/3倍、色差信号Cb、Crに対して、水平2N*X=2*1/2*2/3=2/3倍、垂直M*Y=1/2*2/3=1/3倍する。
Accordingly, in the enlargement /
本具体的処理説明は、第1の画像処理情報を用いた処理の結果を、一律、一旦、画像データを4:2:2H、サンプリング位置を一致にし、その後に、第2の画像処理情報を用いて画像処理する場合である。 In this specific processing description, the processing result using the first image processing information is uniformly set to 4: 2: 2H, the sampling position is matched once, and then the second image processing information is set. This is a case where image processing is performed.
(本実施形態の第2の具体的処理説明)
続いて、本実施形態の第2の具体的処理を説明する。
(Second specific processing explanation of this embodiment)
Subsequently, a second specific process of the present embodiment will be described.
入力画像のカラーサンプリングフォーマットは4:2:2V(H0=1、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、第1の画像処理情報として、拡大・縮小率は、水平、垂直各々1/2倍、回転方法は、90度右回転、第2の画像処理情報として、拡大・縮小率は、水平、垂直各々2/3倍、回転方法は、90度右回転、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致とする。 The color sampling format of the input image is 4: 2: 2V (H0 = 1, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1), the color sampling positions match, and the first image processing information As the second image processing information, the enlargement / reduction ratio is 1/2 times each of horizontal and vertical, and the rotation method is 90 degrees right rotation. The method is rotated 90 degrees right, the color sampling format of the output image is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the color sampling position is Match.
先ず、入力画像データを第1の画像処理情報に基づき、水平、垂直各々1/2倍、90度右回転する場合を考える。具体的には、水平1倍、垂直1倍、水平方向の位相シフト量は0(ゼロ)、垂直方向の位相シフト量は、+0.5画素すれば良いから、輝度Y信号に対しては、水平、垂直各々1/2倍、色差Cb/Cr信号に対しても水平、垂直各々1/2倍行なう。そして、色差Cb/Cr信号に対して垂直方向に+0.5画素分位相シフトすることにより、第1の画像処理情報に基づいた処理結果としてカラーサンプリングフォーマットが4:2:2H、サンプリング位置が一致の画像データになる。 First, consider a case where the input image data is rotated clockwise by 90 degrees by ½ times each of the horizontal and vertical directions based on the first image processing information. Specifically, since the horizontal phase shift amount is 0 (zero) and the vertical direction phase shift amount is +0.5 pixels, the luminance Y signal is The horizontal and vertical signals are each halved and the color difference Cb / Cr signal is also halved horizontally and vertically. Then, by shifting the phase by +0.5 pixels in the vertical direction with respect to the color difference Cb / Cr signal, the color sampling format is 4: 2: 2H and the sampling position is the same as the processing result based on the first image processing information. Image data.
このカラーサンプリングフォーマットが4:2:2H、サンプリング位置が一致の画像データに対して、更に第2の画像処理情報に基づき画像処理を行なう。つまり、拡大・縮小率は、水平、垂直各々2/3倍、90度右回転させた上で、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致で出力させる。具体的には、水平方向に2倍拡大、垂直方向に1/2倍縮小、水平方向の位相シフト量は0(ゼロ)、垂直方向の位相シフト量は、+0.5画素すれば良い。よって、第1の画像処理情報に基づく処理結果の画像データの輝度Y信号に対しては、水平、垂直各々2/3倍、色差Cb/Cr信号に対しては、水平方向 2倍*2/3倍=4/3倍、垂直方向 1/2倍*2/3倍=1/3倍する。更に色差Cb/Cr信号に対して、垂直方向に+0.5画素分、位相シフトすれば良い。
The image processing is further performed based on the second image processing information for the image data whose color sampling format is 4: 2: 2H and whose sampling positions are the same. That is, the enlargement / reduction ratio is 2/3 times each of horizontal and vertical, and rotated right by 90 degrees, and the color sampling format of the output image is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1). , V1 = 1, H2 = 1, V2 = 1), and the color sampling positions are output in agreement. Specifically, it is sufficient that the horizontal direction is doubled, the vertical direction is reduced 1/2 times, the horizontal phase shift amount is 0 (zero), and the vertical phase shift amount is +0.5 pixels. Therefore, the luminance Y signal of the image data obtained as a result of processing based on the first image processing information is 2/3 times horizontal and vertical respectively, and the color difference Cb / Cr signal is 2 times horizontal direction * 2 / 3 times = 4/3 times,
よって、総合的に一括して、入力画像の輝度Y信号に対して、水平方向に1/2倍*2/3倍=1/3倍、垂直方向に1/2倍*1/3倍=1/6倍行い、また、色差Cb/Cr信号に対して、水平方向に1/2倍*4/3倍=2/3倍、垂直方向に1/2倍*1/3倍=1/6倍すれば良い。そして、垂直方向に+1.0画素分、位相シフトすれば最終表示画像が得られる。 Therefore, in a collective manner, the luminance Y signal of the input image is ½ times * 2/3 times = 1/3 times in the horizontal direction and ½ times * 1/3 times in the vertical direction = Also, the color difference Cb / Cr signal is 1/2 times * 4/3 times = 2/3 times and 1/2 times * 1/3 times = 1 / vertically with respect to the color difference Cb / Cr signal. What is necessary is just to multiply 6 times. Then, if the phase is shifted by +1.0 pixel in the vertical direction, a final display image is obtained.
こうして、第1及び第2の画像処理情報、入力画像フォーマット、出力画像フォーマットに基づく一意の処理内容を決定することができる。従って、輝度Y信号、色差Cb/Cr信号に対する拡大・縮小処理、及び色差Cb/Cr信号に対する位相シフト量が各々1回の演算で求めることができ、よって、内部で複雑な処理をさせることなく容易にかつ高速に第1及び第2の画像処理情報に基づく処理を行なうことができる。 In this way, unique processing contents based on the first and second image processing information, the input image format, and the output image format can be determined. Accordingly, the enlargement / reduction processing for the luminance Y signal and the color difference Cb / Cr signal, and the phase shift amount for the color difference Cb / Cr signal can be obtained by a single calculation, and therefore without complicated processing inside. Processing based on the first and second image processing information can be performed easily and at high speed.
尚、本実施形態のように、第1の画像処理情報に基づく処理の結果を固定(つまり、本実施形態の場合であれば、カラーサンプリングフォーマットが4:2:2H、サンプリング位置一致のように固定)にすれば、第1の画像処理情報と第2の画像処理情報とに基づく処理の組合せ数を限定することができ、非常に効率的である。 Note that, as in this embodiment, the result of the processing based on the first image processing information is fixed (that is, in the case of this embodiment, the color sampling format is 4: 2: 2H, and the sampling position coincides. (Fixed) can limit the number of combinations of processes based on the first image processing information and the second image processing information, which is very efficient.
(実施形態2)
以下、本発明の第2の実施形態について図面を参照しながら説明する。
(Embodiment 2)
Hereinafter, a second embodiment of the present invention will be described with reference to the drawings.
図12は、本発明の実施形態を示す画像処理方法である。 FIG. 12 shows an image processing method according to the embodiment of the present invention.
同図において、500は第1の画像処理方法の流れを示し、501は復号(デコード)処理、502は、復号(デコード)処理結果である。503は復号(デコード)処理結果502を格納するメモリ、504は、復号(デコード)処理結果502を格納するメモリ503からの復号(デコード)処理結果である。
In the figure,
また、505は第1及び第2の画像処理情報に基づく拡大・縮小処理であり、506は第1及び第2の画像処理情報に基づく拡大・縮小処理505を行なう際に一意に決めた画像処理情報を示す変換テーブルであり、507は変換テーブル506からの画像処理情報である。508は前記変換テーブル506を用いて、第1及び第2の画像処理情報に基づいて拡大・縮小処理505で処理した第1及び第2の画像処理情報に基づく拡大・縮小処理結果である。509は第1及び第2の画像処理情報に基づく回転・位相シフト処理であり、第1及び第2の画像処理情報に基づく拡大・縮小処理505と同様に、変換テーブル506からの画像処理情報に基づき処理する。ここで、第1の画像処理情報と第2の画像処理情報(左回転、右回転、左右反転等)とに関しては、予めホストCPUより処理内容が通知されているものとする。
更に、510は第1及び第2の画像処理情報に基づく回転・位相シフト処理509によって実施された第1及び第2の画像処理情報に基づく回転・位相シフト処理結果である。511は第1及び第2の画像処理情報に基づく回転・位相シフト処理509によって実施された第1及び第2の画像処理情報に基づく回転・位相シフト処理結果510を格納するメモリである。512は、第1及び第2の画像処理情報に基づく回転・位相シフト処理結果510を格納するメモリ511から読み出された表示データである。
(一括処理の第1の具体例)
以上のように構成された画像処理方法において、入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、画像の第1の画像処理情報として、拡大・縮小率は、縦、横各々1倍、回転方法は、通常表示、第2の画像処理情報として、拡大・縮小率は、縦、横各々1/2倍、回転方法は、90度右回転、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合について説明を行なう。
(First specific example of batch processing)
In the image processing method configured as described above, the color sampling format of the input image is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1), The color sampling position is the same, the first image processing information of the image, the enlargement / reduction ratio is 1 × in the vertical and horizontal directions, the rotation method is normal display, the enlargement / reduction ratio is the second image processing information, Vertical and horizontal ½ times, rotation method is 90 degree right rotation, output image color sampling format is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1) , V2 = 1), and the case where the color sampling positions coincide will be described.
復号(デコード)処理501において、JPEGなどの圧縮ストリームの復号(デコード)処理を行い、復号(デコード)結果である復号(デコード)処理結果502をメモリ503に格納する。この時、復号(デコード)結果である復号(デコード)処理結果502のカラーサンプリングフォーマットは、入力画像と同じの4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致である。尚、メモリ503に格納する復号(デコード)処理結果502は、画像1フレーム分であっても良いし、また、画像の1部分(数ブロック分、又は数ライン分)であっても良い。また、復号(デコード)処理結果502をメモリ503に格納しなくても良い。この場合は、メモリ503は不要である。
In a
その後、メモリ503から復号(デコード)処理結果502を再度読み出し、読み出された復号(デコード)処理結果504に対して、先ず第1及び第2の画像処理情報に基づく拡大・縮小処理505において拡大・縮小処理を行なうと共に、回転・位相シフト処理509において回転・位相シフト処理を行う。この時、変換テーブル506を用いて拡大・縮小処理と回転・位相シフト処理とを行なう。
Thereafter, the decoding process result 502 is read again from the
次に、前記変換テーブル506を用いて、JPEGストリーム中に含まれる拡大・縮小情報及び回転情報に基づく処理に対して、ユーザが更に拡大・縮小、回転情報に基づく処理を指定した場合の一括表示処理を説明する。 Next, using the conversion table 506, batch display when the user designates further enlargement / reduction and rotation information based on the enlargement / reduction information and rotation information included in the JPEG stream. Processing will be described.
先ず、入力画像を画像の第1の画像処理情報に従って、縦、横各々1倍に拡大・縮小、回転方法は通常表示する。これは、復号(デコード)した結果をそのまま拡大・縮小も回転もさせないということを意味する。 First, the input image is normally displayed in the vertical and horizontal scales according to the first image processing information of the image, and the method of enlarging / reducing and rotating the input image. This means that the decoded result is not enlarged / reduced or rotated as it is.
次に、第1の画像処理情報に基づいた処理結果を第2の画像処理情報及び出力画像フォーマットに従って処理する場合を考える。第2の画像処理情報は、前記のように縦、横各々1/2倍、回転方法は、90度右回転、そして、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致である。 Next, consider a case where the processing result based on the first image processing information is processed according to the second image processing information and the output image format. As described above, the second image processing information is ½ times in the vertical and horizontal directions, the rotation method is rotated 90 degrees to the right, and the color sampling format of the output image is 4: 2: 2H (H0 = 2, V0). = 1, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the color sampling positions are the same.
カラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像を90度右回転させると図3のようになる。最終の出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像は、図7である。つまり、図3のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像を90度右回転させた画像を図7の画像として出力するためには、先ずは、入力画像の色差データCb,Cr信号を水平2倍、垂直1倍拡大する必要がある。図8に入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像データの色差信号Cb、Cr信号を水平2倍、垂直1倍拡大した画像のカラーサンプリングフォーマットを示す。更に、図8の画像データの色差信号Cb、Cr信号を垂直方向に+0.5画素移動させる。この垂直方向に+0.5画素というのは、図8の場合であれば、下方向に色差信号0.5画素分である。図9に図8の画像データの色差信号Cb、Cr信号を垂直方向に+0.5画素移動させた画像のカラーサンプリングフォーマットを示す。図9の画像を90度右回転させると、最終の出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像である図7になる。 The color sampling format is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and when the color sampling position is rotated 90 degrees to the right It becomes like 3. The color sampling format of the final output image is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1, V2 = 1). 7. That is, the color sampling format in FIG. 3 is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the color sampling position is 90 degrees with the matching image. In order to output the right-rotated image as the image of FIG. 7, first, it is necessary to enlarge the color difference data Cb and Cr signals of the input image twice horizontally and vertically one time. In FIG. 8, the color sampling format of the input image is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the color sampling position is the same as the image data. A color sampling format of an image obtained by enlarging the color difference signals Cb and Cr signals by 2 times in the horizontal direction and 1 time in the vertical direction is shown. Further, the color difference signals Cb and Cr of the image data in FIG. 8 are moved by +0.5 pixel in the vertical direction. In the case of FIG. 8, +0.5 pixel in the vertical direction corresponds to 0.5 color difference signal in the downward direction. FIG. 9 shows a color sampling format of an image obtained by moving the color difference signals Cb and Cr of the image data in FIG. 8 by +0.5 pixels in the vertical direction. When the image in FIG. 9 is rotated 90 degrees to the right, the color sampling format of the final output image is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1, V2 = 1). ), The color sampling position is shown in FIG.
従って、総合すると、入力画像を画像の第1の画像処理情報に従って、縦、横各々1倍に拡大・縮小、通常表示し、次に第2の画像処理情報に従って縦、横各々1/2倍、回転方法は、90度右回転、そして、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像を得るには、一括して、入力画像の輝度データYに対して、水平、垂直方向に1/2倍すると共に、色差データCb,Cr信号に対して水平1倍、垂直1/2倍し、かつ、垂直方向に+0.5画素シフトさせれば良い。 Therefore, in total, the input image is enlarged / reduced by 1 × in the vertical and horizontal directions according to the first image processing information of the image, and is normally displayed, and then 1/2 in the vertical and horizontal directions according to the second image processing information. The rotation method is 90 degree right rotation, and the color sampling format of the output image is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1, V2 = 1), In order to obtain an image with the same color sampling position, the luminance data Y of the input image is collectively halved in the horizontal and vertical directions, and the horizontal difference of the color difference data Cb and Cr signals is 1 times. ½ times vertical and +0.5 pixel shift in the vertical direction.
(一括処理の第2の具体例)
次に、入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、第1の画像処理情報として、拡大・縮小率は、縦、横各々1/2倍、回転方法は、90度右回転、第2の画像処理情報として、拡大・縮小率は、縦、横各々2/3倍、回転方法は、上下反転、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合について、説明を行なう。
(Second specific example of batch processing)
Next, the color sampling format of the input image is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1), the color sampling positions match, the first As the image processing information, the enlargement / reduction ratio is ½ times each in the vertical and horizontal directions, the rotation method is 90 ° right rotation, and as the second image processing information, the enlargement / reduction ratio is 2/3 each in the vertical and horizontal directions. Double, rotation method is upside down, color sampling format of output image is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1, V2 = 1), color sampling position Will explain the case of coincidence.
先ず、カラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の入力画像の色差データCb,Crを水平方向に2倍拡大する。図10にカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像の色差データCb,Crを水平方向に2倍拡大した画像を示す。そして、2倍拡大後、色差データCb,Cr信号を垂直方向に+0.5画素シフトする。+0.5画素シフトした画像を図11に示す。図11の画像を90度右回転し、更に上下反転すると、求める出力画像であるカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の画像になる。 First, the color sampling format is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the color sampling position is the color difference data Cb, Magnify Cr twice in the horizontal direction. In FIG. 10, the color sampling format is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the color sampling position is the color difference data Cb, An image obtained by enlarging Cr twice in the horizontal direction is shown. Then, after double enlargement, the color difference data Cb and Cr signals are shifted by +0.5 pixels in the vertical direction. An image shifted by +0.5 pixels is shown in FIG. When the image in FIG. 11 is rotated 90 degrees rightward and further upside down, the color sampling format which is the output image to be obtained is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1). , V2 = 1), and the color sampling position becomes a coincident image.
よって、入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、第1の画像処理情報として、拡大・縮小率は、水平、垂直各々1/2倍、回転方法は、90度右回転、第2の画像処理情報として、拡大・縮小率は、水平、垂直各々2/3倍、回転方法は上下反転、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合は、総合すると、一括して、入力画像の輝度信号Yに対して、水平、垂直共に1/3倍、色差信号Cb、Crに対して水平2/3倍、垂直1/3倍、色差信号Cb、Cr信号を垂直方向に+0.5画素シフトすれば良い。 Therefore, the color sampling format of the input image is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1), the color sampling positions match, and the first image As processing information, the enlargement / reduction ratio is ½ times each of horizontal and vertical, the rotation method is 90 ° right rotation, and as the second image processing information, the enlargement / reduction ratio is 2/3 times each of horizontal and vertical The rotation method is upside down, the color sampling format of the output image is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the color sampling positions are the same. In this case, collectively, the luminance signal Y of the input image is collectively 1/3 times both horizontally and vertically, 2/3 times horizontally and 1/3 times vertically with respect to the color difference signals Cb and Cr, The color difference signals Cb and Cr signals are +0.5 pixels in the vertical direction. It can be bet.
(前記第2の具体例の具体的処理説明)
説明する上で、前記の例と同様、入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、第1の画像処理情報として、拡大・縮小率は、水平、垂直各々1/2倍、回転方法は、90度右回転、第2の画像処理情報として、拡大・縮小率は、水平、垂直各々2/3倍、回転方法は、上下反転、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致とする。
(Specific processing explanation of the second specific example)
For the sake of explanation, the color sampling format of the input image is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1) and color as in the above example. Sampling positions are the same, the first image processing information is the enlargement / reduction ratio is ½ times each of horizontal and vertical, the rotation method is 90 degrees right rotation, and the second image processing information is the enlargement / reduction ratio is Horizontal and vertical 2/3 times, rotation method is upside down, color sampling format of output image is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1, V2 = 1) and the color sampling positions are the same.
入力データである圧縮ストリームを復号(デコード)処理501において復号(デコード)処理する。そして、復号(デコード)結果である復号(デコード)処理結果502をメモリ503に格納する。
The compressed stream that is input data is decoded (decoded) in a decoding (decoding)
次いで、メモリ503から復号(デコード)処理結果502を再度読出し、拡大・縮小処理505で拡大・縮小処理を行なうと共に、回転・位相シフト処理509で回転・位相シフト処理を行う。この時、変換テーブル506を用いる。
Next, the decoding process result 502 is read again from the
具体的には、先ず、入力モードが“4:2:0一致”で回転方法が“90度右回転”の場合は、変換テーブル506から“水平:2N倍、垂直:M倍、水平シフト:0、垂直シフト:+0.5”になる。つまり、入力画像のサンプリングフォーマットが4:2:0でサンプリング位置が一致の画像を90度右回転後、サンプリングフォーマットが4:2:2Hでサンプリング位置が一致で出力するには、前述のように色差データCb、Cr信号を“水平:2N倍、垂直:M倍、水平シフト:0、垂直シフト:+0.5”すれば良い。 Specifically, first, when the input mode is “4: 2: 0 coincidence” and the rotation method is “90 degree right rotation”, “horizontal: 2N times, vertical: M times, horizontal shift: 0, vertical shift: +0.5 ". In other words, after rotating an image whose input image sampling format is 4: 2: 0 and having the same sampling position 90 degrees to the right and outputting the sampling format 4: 2: 2H and the sampling position being the same, as described above The color difference data Cb and Cr signals may be “horizontal: 2N times, vertical: M times, horizontal shift: 0, vertical shift: +0.5”.
この時点で、画像のサンプリングフォーマットは4:2:2Hでサンプリング位置が一致になっているので、更に上下反転して、サンプリングフォーマットは4:2:2Hでサンプリング位置が一致の画像フォーマットで出力するには、変換テーブル506を参照して、入力モードが“4:2:2H一致”で回転方法が“上下反転”の場合は、““水平:X倍、垂直:Y倍、水平シフト:0、垂直シフト:0”すれば良いことが判る。ここで、Nは第1の画像処理情報の水平方向の拡大・縮小率であり、この場合、1/2である。また、Mは第1の画像処理情報の垂直方向の拡大・縮小率であり、1/2である。また、Xは、第2の画像処理情報の水平方向の拡大・縮小率であり、この場合、2/3である。また、Yは、第2の画像処理情報の垂直方向の拡大・縮小率であり、2/3である。 At this time, since the sampling position of the image is 4: 2: 2H and the sampling position is matched, the image is further inverted up and down, and the sampling format is 4: 2: 2H and the sampling position is matched and output. Referring to the conversion table 506, when the input mode is “4: 2: 2H match” and the rotation method is “upside down”, ““ horizontal: X times, vertical: Y times, horizontal shift: 0 ” , Vertical shift: 0 ″. Here, N is the horizontal enlargement / reduction ratio of the first image processing information, and in this case is 1/2. The vertical enlargement / reduction ratio of the image processing information is ½, and X is the horizontal enlargement / reduction ratio of the second image processing information, and in this case, 2/3. Y is the second image processing information. A scaling factor in the vertical direction, is 2/3.
よって、変換テーブル506により、拡大・縮小処理505では、メモリ503から読み出した復号(デコード)処理結果504の輝度信号Yに対して、水平、垂直共に1/2*2/3=1/3倍、色差信号Cb、Crに対して、水平2N*X=2*1/2*2/3=2/3倍、垂直M*Y=1/2*2/3=1/3倍する。
Therefore, according to the conversion table 506, in the enlargement /
変換テーブル506から読み出す画像処理情報507は、この場合、“2M”、“N”、“X”、“Y”、位相シフト量の“垂直方向+0.5(画素)”である。
In this case, the
(変換テーブルの第1の具体例)
次に、このような変換テーブルの具体例を説明する。
(First specific example of conversion table)
Next, a specific example of such a conversion table will be described.
図13は、本例で用いる変換テーブルである。 FIG. 13 is a conversion table used in this example.
本実施形態は、第1の画像処理情報を用いた処理の結果を、一律、一旦、4:2:2H、サンプリング位置を一致にした後、第2の画像処理情報を用いて画像処理する場合である。 In the present embodiment, the result of the processing using the first image processing information is uniformly 4: 2: 2H, and after the sampling positions are matched, the image processing is performed using the second image processing information. It is.
前提として、入力画像のカラーサンプリングフォーマットは4:2:2V(H0=1、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、第1の画像処理情報として、拡大・縮小率は、水平、垂直各々1/2倍、回転方法は、90度右回転、第2の画像処理情報として、拡大・縮小率は、水平、垂直各々2/3倍、回転方法は、90度右回転、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致とする。 As a premise, the color sampling format of the input image is 4: 2: 2V (H0 = 1, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1), the color sampling positions match, the first As the image processing information, the enlargement / reduction ratio is ½ times each of horizontal and vertical, the rotation method is 90 degrees right rotation, and as the second image processing information, the enlargement / reduction ratio is 2/3 each of horizontal and vertical. Double, rotation method is 90 degree right rotation, output image color sampling format is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1, V2 = 1), color Sampling positions are the same.
先ず、入力画像データを図13の変換テーブル506を用いて第1の画像処理情報に基づき水平、垂直各々1/2倍、90度右回転する。具体的には、図13の変換テーブルの“入力モード”が4:2:2V一致で、90度右回転の欄を参照にして処理すれば良い。つまり、水平(H)1倍、垂直(V)1倍、水平方向の位相シフト量(HSFT)は0(ゼロ)、垂直方向の位相シフト量(VSFT)は+0.5画素すれば良いから、輝度Y信号に対しては、水平、垂直各々1/2倍、色差Cb/Cr信号に対しても水平、垂直各々1/2倍行なう。そして、色差Cb/Cr信号に対して垂直方向に+0.5画素分位相シフトすることにより、第1の画像処理情報に基づいた処理結果としてカラーサンプリングフォーマットが4:2:2H、サンプリング位置が一致の画像データになる。 First, the input image data is rotated clockwise by ½ times and 90 degrees each horizontally and vertically based on the first image processing information using the conversion table 506 of FIG. More specifically, the “input mode” in the conversion table of FIG. 13 may match 4: 2: 2V, and processing may be performed with reference to the 90 ° clockwise rotation column. That is, the horizontal (H) is 1 time, the vertical (V) is 1 time, the horizontal phase shift amount (HSFT) is 0 (zero), and the vertical phase shift amount (VSFT) is +0.5 pixels. The luminance Y signal is halved horizontally and vertically, and the chrominance Cb / Cr signal is halved horizontally and vertically. Then, by shifting the phase by +0.5 pixels in the vertical direction with respect to the color difference Cb / Cr signal, the color sampling format is 4: 2: 2H and the sampling position is the same as the processing result based on the first image processing information. Image data.
このカラーサンプリングフォーマットが4:2:2H、サンプリング位置が一致の画像データに対して、更に第2の画像処理情報に基づき画像処理を行なう。つまり、拡大・縮小率は、水平、垂直各々2/3倍、90度右回転させた上で、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致で出力させる。具体的には、図13の変換テーブルにおいて、“入力モード”は4:2:2H一致で、90度右回転の欄を参照にして画像処理すれば良い。つまり、水平方向に2倍拡大、垂直方向に1/2倍縮小、水平方向の位相シフト量は0(ゼロ)、垂直方向の位相シフト量は、+0.5画素すれば良い。 The image processing is further performed based on the second image processing information for the image data whose color sampling format is 4: 2: 2H and whose sampling positions are the same. That is, the enlargement / reduction ratio is 2/3 times each of horizontal and vertical, and rotated right by 90 degrees, and the color sampling format of the output image is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1). , V1 = 1, H2 = 1, V2 = 1), and the color sampling positions are output in agreement. Specifically, in the conversion table of FIG. 13, the “input mode” is 4: 2: 2H coincidence, and image processing may be performed with reference to the 90 ° clockwise rotation column. In other words, the horizontal direction may be enlarged twice, the vertical direction reduced by half, the horizontal phase shift amount may be 0 (zero), and the vertical phase shift amount may be +0.5 pixels.
よって、第1の画像処理情報に基づく処理結果の画像データの輝度Y信号に対しては、総合的に一括して、水平、垂直各々2/3倍、色差Cb/Cr信号に対しては、水平方向2倍*2/3倍=4/3倍、垂直方向1/2倍*2/3倍=1/3倍すると共に、色差Cb/Cr信号に対して、垂直方向に+0.5画素分、位相シフトすれば良い。 Therefore, for the luminance Y signal of the image data obtained as a result of processing based on the first image processing information, the horizontal and vertical 2/3 times each for the horizontal and vertical signals and the color difference Cb / Cr signal are collectively obtained. 2 times in the horizontal direction * 2/3 times = 4/3 times, 1/2 in the vertical direction * 2/3 times = 1/3 times, and +0.5 pixels in the vertical direction with respect to the color difference Cb / Cr signal Therefore, the phase may be shifted.
こうして、図13の変換テーブルを用いることにより、第1及び第2の画像処理情報、入力画像フォーマット、出力画像フォーマットによって毎回内部で複雑な計算をすることはなく、一意に処理内容を決定することができ、これにより、内部で複雑な処理をさせることなく容易にかつ高速に第1及び第2の画像処理情報に基づく処理を行なうことができる。 In this way, by using the conversion table of FIG. 13, the processing contents are uniquely determined without performing complicated calculations internally every time depending on the first and second image processing information, the input image format, and the output image format. Thus, processing based on the first and second image processing information can be performed easily and at high speed without complicated processing inside.
尚、本実施形態のように第1の画像処理情報に基づく処理の結果を固定(本実施形態の場合であれば、カラーサンプリングフォーマットが4:2:2H、サンプリング位置一致のように固定)にすれば、図13の変換テーブルを用いて第2の画像処理情報に基づいて処理する場合、変換テーブルで参照すべき箇所は固定的にできるので、本実施形態の場合であれば、図13の変換テーブルのNo.3の欄、つまり、4:2:2H一致の欄だけを参照すれば良く、第2の画像処理情報に基づいて処理する際に非常に効率的である。しかしながら、変換テーブルを用いる場合、第1の画像処理情報に基づく処理の結果を固定にしなくても何ら問題はない。
Note that the processing result based on the first image processing information is fixed as in the present embodiment (in the case of the present embodiment, the color sampling format is fixed as 4: 2: 2H and sampling position match). In this case, when processing based on the second image processing information using the conversion table of FIG. 13, the portion to be referred to in the conversion table can be fixed. The conversion table No. Only the
尚、図13は、あくまで出力画像フォーマットがカラーサンプリングフォーマット4:2:2Hでサンプリング位置が一致の場合の変換テーブルであるが、それ以外のカラーサンプリングフォーマット4:2:2Hでサンプリング位置が中心、カラーサンプリングフォーマット4:2:0でサンプリング位置が一致などの場合にも、同様な変換テーブルを用意しておき、出力画像フォーマットによって、適用する変換テーブルを適宜切替えて処理を行なえば良い。 Note that FIG. 13 is a conversion table when the output image format is the color sampling format 4: 2: 2H and the sampling position is the same, but the sampling position is centered in the other color sampling format 4: 2: 2H. A similar conversion table may be prepared even when the sampling positions are the same in the color sampling format 4: 2: 0, and the process may be performed by appropriately switching the conversion table to be applied according to the output image format.
(変換テーブルの第2の具体例)
図14は、出力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合の変換テーブルを示す。
(Second specific example of conversion table)
In FIG. 14, the color sampling format of the output image is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the color sampling positions are the same. A conversion table is shown.
図13で示した出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合の変換テーブルと同様に、入力画像のカラーサンプリングフォーマットは4:2:2V(H0=1、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、第1の画像処理情報として、拡大・縮小率は、水平、垂直各々1/2倍、回転方法は、90度右回転、第2の画像処理情報として、拡大・縮小率は、水平、垂直各々2/3倍、回転方法は、90度右回転、出力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合は、図14の変換テーブルを用いて処理を行なう。 The color sampling format of the output image shown in FIG. 13 is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the color sampling positions are the same. Like the conversion table, the color sampling format of the input image is 4: 2: 2V (H0 = 1, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the color sampling positions are the same. As the first image processing information, the enlargement / reduction ratio is ½ times each of horizontal and vertical, the rotation method is 90 degrees right rotation, and as the second image processing information, the enlargement / reduction ratio is horizontal, vertical. 2/3 times each, rotation method is 90 degree right rotation, color sampling format of output image is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1) The color sampling position is the same If performs processing using the conversion table of FIG. 14.
先ず、入力画像データの輝度Y信号に対して水平、垂直各々1/2倍する。そして、図14の変換テーブルのNo.5の欄の“入力モード4:2:2V一致”の欄の90度右回転の欄により、入力画像データの色差Cb/Cr信号に対して、水平1/2倍*1/2倍=1/4倍、垂直1倍*1/2倍=1/2倍、水平方向に+0.5画素分位相シフトする。垂直方向には位相シフトしない。
First, the luminance Y signal of the input image data is halved both horizontally and vertically. Then, No. of the conversion table in FIG. According to the column of “input mode 4: 2: 2V coincidence” in the
この時点で、処理後のデータフォーマットは、カラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致になっているから、続いて、第2の画像処理情報に基づいて処理を行なう際は、図14の変換テーブルのNo.1の“4:2:0一致”を参照する。つまり、第2の画像処理情報の回転方法は90度右回転であるから、更に色差Cb/Cr信号に対して、水平1倍*2/3倍=2/3倍、垂直1*2/3倍=2/3倍、垂直方向に+0.5画素分位相シフトする。輝度Y信号に対しては、更に水平、垂直方向共に2/3倍する。
At this time, the data format after processing is 4: 2: 0 for color sampling format (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the color sampling position is Then, when the processing is performed based on the second image processing information, No. of the conversion table in FIG. 1 is referred to as “4: 2: 0 match”. That is, since the rotation method of the second image processing information is 90 degree right rotation, the
このように、図13を用いた変換テーブルと同様な変換テーブルを用いることにより、第1及び第2の画像処理情報、入力画像フォーマット、出力画像フォーマットによって毎回内部で複雑な計算をする必要がなく、一意に処理内容を決定することができ、しかも、変換テーブルを参照することにより、容易に処理内容を決定することができるため、内部で複雑な処理をさせることなく容易にかつ高速に第1及び第2の画像処理情報に基づく処理を行なうことができる。また、それに伴い内部に複雑な処理をさせる手段を設ける必要がないというメリットも有している。 In this way, by using a conversion table similar to the conversion table shown in FIG. 13, it is not necessary to perform complicated calculations internally each time depending on the first and second image processing information, the input image format, and the output image format. Since the processing content can be uniquely determined and the processing content can be easily determined by referring to the conversion table, the first processing can be easily and quickly performed without complicated processing inside. In addition, processing based on the second image processing information can be performed. Accordingly, there is an advantage that it is not necessary to provide means for performing complicated processing inside.
尚、図13及び図14の変換テーブルは、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とで同一の変換テーブルを共用する場合であるが、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とで変換テーブルを分けても良い。 Note that the conversion tables in FIGS. 13 and 14 are cases where the same conversion table is shared by the processing based on the first image processing information and the processing based on the second image processing information. The conversion table may be divided into processing based on information and processing based on second image processing information.
図15〜図18は、本第2の実施形態において、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とで変換テーブルを分ける場合の各々の変換テーブルを示す。具体的には、図15は、出力画像のカラーサンプリングフォーマットが4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合の第1の画像処理情報に対する変換テーブルを示し、図16は、出力画像のカラーサンプリングフォーマットが4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合の第2の画像処理情報に対する変換テーブルを示す。また、図17は、出力画像のカラーサンプリングフォーマットが4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合の第1の画像処理情報に対する変換テーブルを示し、図18は、出力画像のカラーサンプリングフォーマットが4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合の第2の画像処理情報に対する変換テーブルを示す。 15 to 18 show respective conversion tables when the conversion table is divided into processing based on the first image processing information and processing based on the second image processing information in the second embodiment. Specifically, FIG. 15 shows that the color sampling format of the output image is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the color sampling position. Shows a conversion table for the first image processing information in the case of coincidence, and FIG. 16 shows that the color sampling format of the output image is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the color sampling position indicates a conversion table for the second image processing information in the case of coincidence. FIG. 17 shows that the color sampling format of the output image is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1) and the color sampling positions are the same. FIG. 18 shows a conversion table for the first image processing information in the case where the color sampling format of the output image is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1). , V2 = 1), and shows a conversion table for the second image processing information when the color sampling positions match.
(実施形態3)
続いて、本発明の第3の実施形態を説明する。
(Embodiment 3)
Subsequently, a third embodiment of the present invention will be described.
図19は、本発明の第3の実施形態に用いる変換テーブルである。 FIG. 19 is a conversion table used in the third embodiment of the present invention.
説明する上で、前記の例と同様、入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致、第1の画像処理情報として、拡大・縮小率は、水平、垂直各々1/2倍、回転方法は、通常表示、第2の画像処理情報として、拡大・縮小率は、水平、垂直各々2/3倍、回転方法は、90度右回転、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致とする。
For the sake of explanation, the color sampling format of the input image is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1) and color as in the above example. Sampling positions are the same, the first image processing information is the enlargement / reduction ratio is ½ times each of the horizontal and vertical, the rotation method is normal display, and the second image processing information is the enlargement / reduction ratio is horizontal. ,
この時、図16に示す変換テーブルを用いるが、入力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致で、第1の画像処理情報に基づく回転方法は“通常表示”、第2の画像処理情報に基づく回転方法は、“90度右回転”であるから、図19に示す変換テーブルのNo.1の欄(入力モードが“4:2:0 一致”の欄)を参照すれば良い。つまり、入力画像データの輝度Y信号に対して、水平方向に1/2倍*2/3倍=1/3倍縮小、垂直方向に1/2倍*2/3倍=1/3倍縮小、色差Cb/Cr信号に対しては、水平方向に2倍*1/2倍*2/3倍=2/3倍縮小、垂直方向に1倍*1/2倍*2/3倍=1/3倍縮小、水平方向の位相シフト量は0(ゼロ)、垂直方向の位相シフト量は、+0.5画素すれば良い。 At this time, the conversion table shown in FIG. 16 is used, but the color sampling format of the input image is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1). Since the color sampling positions are the same, the rotation method based on the first image processing information is “normal display”, and the rotation method based on the second image processing information is “90 ° right rotation”. The conversion table No. Refer to column 1 (input mode is “4: 2: 0 match” column). That is, the luminance Y signal of the input image data is reduced by 1/2 times * 2/3 times = 1/3 times in the horizontal direction and 1/2 times * 2/3 times = 1/3 times in the vertical direction. For the color difference Cb / Cr signal, the horizontal direction is reduced by 2 times * 1/2 times * 2/3 times = 2/3 times, and the vertical direction is 1 time * 1/2 times * 2/3 times = 1. / 3 times reduction, horizontal phase shift amount is 0 (zero), and vertical phase shift amount is +0.5 pixels.
このように、図19に示す変換テーブルを用いれば、第1の画像処理情報に基づく回転方法が“通常表示”の場合における第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理が容易にかつ高速に導き出せる。従って、内部での処理を簡素化でき、それに伴い高速処理が可能である。 As described above, using the conversion table shown in FIG. 19, the processing based on the first image processing information and the second image processing information when the rotation method based on the first image processing information is “normal display”. Processing can be easily and quickly derived. Therefore, internal processing can be simplified, and high-speed processing is possible accordingly.
図19は、あくまで第1の画像処理情報に基づく回転方法が“通常表示”の場合で、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合の変換テーブルであるが、第1の画像処理情報に基づく回転方法が“通常表示”以外の“左右反転”、“上下反転”、“90度右回転”、“90度左回転”、“180度回転”などの場合も、それ等別に同様な変換テーブルを用意することにより、第1の画像処理情報に基づく処理と第2の画像処理情報に基づく処理とが容易にかつ高速に導き出せる。また、出力画像のカラーサンプリングフォーマットは4:2:2H(H0=2、V0=1、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致以外の場合の変換テーブルも、同様にそれ等の出力画像フォーマット別に用意すれば良い。 FIG. 19 shows the case where the rotation method based on the first image processing information is “normal display”, and the color sampling format of the output image is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1). = 1, H2 = 1, V2 = 1), and the color sampling position is the conversion table, but the rotation method based on the first image processing information is “horizontal inversion” other than “normal display”, “up / down In the case of “invert”, “90 degree right rotation”, “90 degree left rotation”, “180 degree rotation”, etc., by preparing a similar conversion table separately, processing based on the first image processing information can be performed. The processing based on the second image processing information can be derived easily and at high speed. The color sampling format of the output image is 4: 2: 2H (H0 = 2, V0 = 1, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the conversion is performed when the color sampling positions are not coincident. Similarly, a table may be prepared for each output image format.
図20は、第1の画像処理情報に基づく回転方法が“通常表示”の場合で、出力画像のカラーサンプリングフォーマットは4:2:0(H0=2、V0=2、H1=1、V1=1、H2=1、V2=1)、カラーサンプリング位置は一致の場合の変換テーブルを示す。 FIG. 20 shows a case where the rotation method based on the first image processing information is “normal display”, and the color sampling format of the output image is 4: 2: 0 (H0 = 2, V0 = 2, H1 = 1, V1 = 1, H2 = 1, V2 = 1), and the color sampling position indicates a conversion table when they coincide.
以上説明したように、本発明の画像再生方法は、ストリーム中の画像処理情報に基づいて復号、再生、拡大・縮小、回転処理し、表示した画像に対して、更に、ユーザが表示画像の全体又は特定の一部分に対して拡大・縮小、回転処理を実施し、表示させる際に、変換テーブルなどを用いて、効率良く高速に表示することが可能であるので、ディジタルカメラ、ディジタルビデオカメラやカメラ付携帯電話、ディジタルテレビ等の用途に適用可能である。 As described above, the image reproduction method of the present invention performs decoding, reproduction, enlargement / reduction, rotation processing based on the image processing information in the stream, and the user further displays the entire display image. Alternatively, when a specific part is enlarged / reduced or rotated and displayed, it can be displayed efficiently and at high speed using a conversion table or the like, so that a digital camera, digital video camera or camera can be used. It can be applied to applications such as attached mobile phones and digital televisions.
2 輝度Y信号
3 色差Cb、Cr信号
5 輝度Y信号
6 色差Cb、Cr信号
11 輝度Y信号
12 色差Cb、Cr信号
100 画像処理方法
101 復号(デコード)処理
102 復号(デコード)処理結果
103 メモリ
104 メモリからの復号(デコード)処理結果
105 第1及び第2の画像処理情報に基づく拡大・縮小処理
106 第1及び第2の画像処理情報に基づく拡大・縮小処理結果
107 第1及び第2の画像処理情報に基づく回転・位相シフト処理
108 第1及び第2の画像処理情報に基づく回転・位相シフト処理結果
109 メモリ
110 表示データ
201 輝度Y信号
202 色差Cb、Cr信号
211 輝度Y信号
212 色差Cb、Cr信号
221 輝度Y信号
222 色差Cb、Cr信号
231 輝度Y信号
232 色差Cb、Cr信号
241 輝度Y信号
242 色差Cb、Cr信号
500 本発明の画像処理方法
501 復号(デコード)処理
502 復号(デコード)処理結果
503 メモリ
504 メモリからの復号(デコード)処理結果
505 第1及び第2の画像処理情報に基づく拡大・縮小処理
506 変換テーブル
507 変換テーブルからの画像処理情報
508 第1及び第2の画像処理情報に基づく拡大・縮小処理結果
509 第1及び第2の画像処理情報に基づく回転・位相シフト処理
510 第1及び第2の画像処理情報に基づく回転・位相シフト処理結果
511 メモリ
512 表示データ
2 luminance Y signal 3 color difference Cb, Cr signal 5 luminance Y signal 6 color difference Cb, Cr signal 11 luminance Y signal 12 color difference Cb, Cr signal 100 image processing method 101 decoding (decoding) processing 102 decoding (decoding) processing result 103 memory 104 Decoding processing result 105 from memory 105 Enlarging / reducing process based on first and second image processing information 106 Enlarging / reducing process result 107 based on first and second image processing information 107 First and second images Rotation / phase shift processing based on processing information 108 Rotation / phase shift processing result 109 based on first and second image processing information 109 Memory 110 Display data 201 Luminance Y signal 202 Color difference Cb, Cr signal 211 Luminance Y signal 212 Color difference Cb, Cr signal 221 Luminance Y signal 222 Color difference Cb, Cr signal 231 Luminance Y signal 232 Color difference Cb, Cr signal No. 241 Luminance Y signal 242 Color difference Cb, Cr signal 500 Image processing method 501 decoding (decoding) processing 502 decoding (decoding) processing result 503 memory 504 decoding processing result 505 from memory 505 First and second Enlargement / reduction processing 506 based on image processing information Conversion table 507 Image processing information 508 from conversion table Enlargement / reduction processing result 509 based on first and second image processing information Rotation based on first and second image processing information Phase shift processing 510 Rotation / phase shift processing result 511 memory 512 display data based on first and second image processing information
Claims (16)
前記第1の拡大・縮小処理及び回転処理に必要な情報と、前記第2の拡大・縮小処理及び回転処理に必要な情報とに基づいて、第3の拡大・縮小処理及び回転処理に必要な情報を一括して算出する
ことを特徴とする画像処理方法。 The first enlargement / reduction process and rotation process of the image data and the second enlargement / reduction process and rotation process of the image data are designated, and the first enlargement / reduction process and rotation process and the second enlargement process are designated.・ When executing reduction processing and rotation processing,
Necessary for the third enlargement / reduction process and the rotation process based on the information necessary for the first enlargement / reduction process and the rotation process and the information necessary for the second enlargement / reduction process and the rotation process. An image processing method characterized in that information is calculated collectively.
前記第3の拡大・縮小処理及び回転処理に必要な情報は、
入力画像データを前記第1の拡大・縮小処理及び回転処理に必要な情報に基づいて処理した結果に対して、前記第2の拡大・縮小処理及び回転処理に必要な情報に基づいて処理した結果が持つ入力画像データに対する拡大・縮小処理及び回転処理に必要な情報である
ことを特徴とする画像処理方法。 The image processing method according to claim 1, wherein:
Information necessary for the third enlargement / reduction processing and rotation processing is as follows:
Results obtained by processing input image data based on information necessary for the second enlargement / reduction processing and rotation processing with respect to results obtained by processing input image data based on the information necessary for the first enlargement / reduction processing and rotation processing An image processing method characterized in that it is information necessary for enlargement / reduction processing and rotation processing for input image data possessed by.
前記第3の拡大・縮小処理及び回転処理に必要な情報を変換テーブルに基づいて一括して算出する
ことを特徴とする画像処理方法。 The image processing method according to claim 1, wherein:
An image processing method characterized in that information necessary for the third enlargement / reduction processing and rotation processing is collectively calculated based on a conversion table.
前記第3の拡大・縮小処理及び回転処理に必要な情報を一括して算出する変換テーブルは、
画像データの前記第1の拡大・縮小処理及び回転処理に必要な情報と、前記第2の拡大・縮小処理及び回転処理に必要な情報とを入力パラメータとして、前記第3の拡大・縮小処理及び回転処理に必要な情報を一括して算出する
ことを特徴とする画像処理方法。 The image processing method according to claim 3.
A conversion table for collectively calculating information necessary for the third enlargement / reduction processing and rotation processing is:
Using the information necessary for the first enlargement / reduction process and rotation process of image data and the information necessary for the second enlargement / reduction process and rotation process as input parameters, the third enlargement / reduction process and An image processing method characterized in that information necessary for rotation processing is calculated in a lump.
前記第1〜第3の拡大・縮小処理及び回転処理のうち少なくとも1つは、
拡大・縮小処理及び回転処理、及びその回転処理を行う場合に生じる色差データの位相ずれを修正する位相シフト処理をも行う The image processing method according to claim 1, wherein:
At least one of the first to third enlargement / reduction processing and rotation processing is:
Enlargement / reduction processing, rotation processing, and phase shift processing for correcting phase shift of color difference data that occurs when performing the rotation processing are also performed.
前記変換テーブルは、更に、
前記画像データの入力フォーマットと、前記画像データの出力フォマットとを入力パラメータとして、前記第3の拡大・縮小処理及び回転処理に必要な情報を一括して算出する
ことを特徴とする画像処理方法。 The image processing method according to claim 4, wherein:
The conversion table further includes:
An image processing method characterized in that information necessary for the third enlargement / reduction processing and rotation processing is collectively calculated using the input format of the image data and the output format of the image data as input parameters.
前記変換テーブルは、
画像データの前記第1の拡大・縮小処理及び回転処理に必要な情報と、前記画像データの入力フォーマットとを入力パラメータとして、一旦、前記第1の拡大・縮小処理及び回転処理に必要な情報を予め定めた所定のフォーマットで出力し、
その後、画像データの前記第2の拡大・縮小処理及び回転処理に必要な情報と、前記画像データの出力フォーマットとを入力パラメータとして、前記第3の拡大・縮小処理及び回転処理に必要な情報を前記画像データの出力フォーマットで出力する
ことを特徴とする画像処理方法。 The image processing method according to claim 6, wherein:
The conversion table is
Using the information necessary for the first enlargement / reduction processing and rotation processing of image data and the input format of the image data as input parameters, information necessary for the first enlargement / reduction processing and rotation processing is temporarily provided. Output in a predetermined format,
Thereafter, information necessary for the second enlargement / reduction processing and rotation processing is input using the information necessary for the second enlargement / reduction processing and rotation processing of the image data and the output format of the image data as input parameters. An image processing method, wherein the image data is output in an output format.
前記変換テーブルは、
一旦予め定めた所定のフォーマットで出力する変換テーブルと、前記第3の拡大・縮小処理及び回転処理に必要な情報を前記画像データの出力フォーマットで出力する変換テーブルとを共用する
ことを特徴とする画像処理方法。 The image processing method according to claim 7, wherein
The conversion table is
A conversion table that outputs a predetermined format once in advance and a conversion table that outputs information necessary for the third enlargement / reduction processing and rotation processing in the output format of the image data are shared. Image processing method.
前記変換テーブルは、
一旦予め定めた所定のフォーマットで出力する変換テーブルと、前記第3の拡大・縮小処理及び回転処理に必要な情報を前記画像データの出力フォーマットで出力する変換テーブルとを分ける
ことを特徴とする画像処理方法。 The image processing method according to claim 7, wherein
The conversion table is
An image characterized in that a conversion table that outputs once in a predetermined format and a conversion table that outputs information necessary for the third enlargement / reduction processing and rotation processing in the output format of the image data are divided. Processing method.
前記変換テーブルは、
画像データの出力フォマット別に設けられる
ことを特徴とする画像処理方法。 The image processing method according to claim 3 or 4, wherein:
The conversion table is
An image processing method characterized by being provided for each output format of image data.
前記画像データの出力フォーマットは、画像のカラーサンプリングフォーマットと、カラーサンプリング位置とを含む
ことを特徴とする画像処理方法。 The image processing method according to claim 10.
The output format of the image data includes an image color sampling format and a color sampling position.
前記変換テーブルは、
画像データの回転方法別に設けられる
ことを特徴とする画像処理方法。 The image processing method according to claim 3 or 4, wherein:
The conversion table is
An image processing method characterized by being provided for each rotation method of image data.
画像データの回転方法は、通常表示、左右反転、上下反転、90度右回転、90度左回転、180度回転、左右反転+90度右回転、左右反転+90度左回転が含まれる
ことを特徴とする画像処理方法。 The image processing method according to claim 12, wherein:
Image data rotation methods include normal display, left / right inversion, up / down inversion, 90 ° right rotation, 90 ° left rotation, 180 ° rotation, left / right inversion + 90 ° right rotation, left / right inversion + 90 ° left rotation. Image processing method.
前記第1の拡大・縮小処理及び回転処理は、JPEG符号化ストリーム中に含まれる拡大・縮小情報、回転情報の画像情報に基づく処理である
ことを特徴とする画像処理方法。 The image processing method according to claim 1, wherein:
The first enlargement / reduction processing and rotation processing are processing based on enlargement / reduction information and image information of rotation information included in a JPEG encoded stream.
前記第2の拡大・縮小処理及び回転処理は、ユーザが指定する拡大・縮小情報、回転情報の画像情報に基づく処理である
ことを特徴とする画像処理方法。 15. The image processing method according to claim 14, wherein
The second enlargement / reduction process and rotation process are processes based on enlargement / reduction information specified by a user and image information of rotation information.
前記第3の拡大・縮小処理及び回転処理は、
前記PEG符号化ストリーム中に含まれる拡大・縮小情報、回転情報の画像情報に基づく処理と、前記ユーザが指定する拡大・縮小情報、回転情報の画像情報に基づく処理とを組合せた処理である
ことを特徴とする画像処理方法。 16. The image processing method according to claim 15, wherein
The third enlargement / reduction processing and rotation processing are:
The processing is a combination of processing based on enlargement / reduction information and rotation information image information included in the PEG-encoded stream, and processing based on enlargement / reduction information and rotation information image information specified by the user. An image processing method characterized by the above.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010051628A JP2013101417A (en) | 2010-03-09 | 2010-03-09 | Image processing method |
PCT/JP2011/000924 WO2011111315A1 (en) | 2010-03-09 | 2011-02-18 | Image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010051628A JP2013101417A (en) | 2010-03-09 | 2010-03-09 | Image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013101417A true JP2013101417A (en) | 2013-05-23 |
Family
ID=44563153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010051628A Pending JP2013101417A (en) | 2010-03-09 | 2010-03-09 | Image processing method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2013101417A (en) |
WO (1) | WO2011111315A1 (en) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3186246B2 (en) * | 1992-09-24 | 2001-07-11 | 株式会社日立製作所 | Document reading device |
JP3880544B2 (en) * | 2003-05-21 | 2007-02-14 | シャープ株式会社 | Image correction method, image correction jig, and image forming apparatus |
-
2010
- 2010-03-09 JP JP2010051628A patent/JP2013101417A/en active Pending
-
2011
- 2011-02-18 WO PCT/JP2011/000924 patent/WO2011111315A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2011111315A1 (en) | 2011-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007067917A (en) | Image data processing apparatus | |
US8861846B2 (en) | Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image | |
US20120224766A1 (en) | Image processing apparatus, image processing method, and program | |
JP6038234B2 (en) | Architecture for video processing, high-speed still image processing, and high-quality still image processing | |
JP2009071689A (en) | Image processing apparatus, image processing method, and imaging apparatus | |
US8798386B2 (en) | Method and system for processing image data on a per tile basis in an image sensor pipeline | |
JP2009105533A (en) | Image processing device, imaging device, image processing method, and picked-up image processing method | |
JP2019528627A (en) | Panorama video compression method and apparatus | |
WO2013169384A1 (en) | Systems, methods, and computer program products for compound image demosaicing and warping | |
JP2012094936A5 (en) | ||
JP2007180765A (en) | Video processor, video display device and video processing method | |
JP6300651B2 (en) | Movie recording / playback device | |
WO2011111315A1 (en) | Image processing method | |
US11202019B2 (en) | Display control apparatus with image resizing and method for controlling the same | |
KR20050006063A (en) | Image expansion and display method, image expansion and display device, and program for image expansion and display | |
JP2009116763A (en) | Image processing apparatus, and memory access method for image data | |
US20050140990A1 (en) | Image processing apparatus and method and image data display method for digital camera | |
JP2016095667A (en) | Image processing device and electronics apparatus | |
JP4109151B2 (en) | Image processing device | |
JP2009130489A (en) | Image device, imaging/recording method, picked-up image recording and reproducing device, and picked-up image recording and reproducing method | |
WO2009150795A1 (en) | Image reproduction device | |
JP4888306B2 (en) | Image processing apparatus and image processing method | |
JP4987800B2 (en) | Imaging device | |
TWI493502B (en) | Processing method for image rotating and apparatus thereof | |
JP2007094391A (en) | Moving image display apparatus |