JP2008300981A - Image processor and processing method - Google Patents
Image processor and processing method Download PDFInfo
- Publication number
- JP2008300981A JP2008300981A JP2007142322A JP2007142322A JP2008300981A JP 2008300981 A JP2008300981 A JP 2008300981A JP 2007142322 A JP2007142322 A JP 2007142322A JP 2007142322 A JP2007142322 A JP 2007142322A JP 2008300981 A JP2008300981 A JP 2008300981A
- Authority
- JP
- Japan
- Prior art keywords
- scene
- pixel
- color matching
- image
- cache
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
Description
本発明は画像処理装置および画像処理方法に関し、特に、動画像における高速色変換処理を行う画像処理装置および画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method, and more particularly to an image processing apparatus and an image processing method for performing high-speed color conversion processing on a moving image.
近年、パーソナルコンピュータの普及に加え、ディジタルカメラやディジタルビデオといった画像ディジタイズ機器の普及が著しい。また、CADやCGソフトといった高機能化するアプリケーションの普及につれ、ハイエンドユーザのみならず、一般のユーザにおいても動画コンテンツを容易に作成することが可能となってきている。作成された動画コンテンツは、映画、ゲーム、テレビCM、Web上での商用コンテンツのほか、オフィス環境におけるプレゼンテーションシーン等、多くの場面で活用される。 In recent years, in addition to the spread of personal computers, the spread of image digitizing devices such as digital cameras and digital video has been remarkable. In addition, with the spread of highly functional applications such as CAD and CG software, not only high-end users but also general users can easily create moving image content. The created moving image content is used in many scenes such as a movie, a game, a television commercial, commercial content on the Web, and a presentation scene in an office environment.
また、動画コンテンツの急速な普及に伴い、現在、それらコンテンツを表示するための高精度プロジェクタ、モニタ、テレビといった画像表示デバイスの開発も著しい。それに伴い、従来静止画像において実現されてきたカラーマッチング技術を、動画像においても実現したいという要望が高まってきている。 In addition, with the rapid spread of moving image content, development of image display devices such as high-precision projectors, monitors, and televisions for displaying such content is also remarkable at present. Along with this, there is an increasing demand for realizing the color matching technique that has been realized in the conventional still image also in the moving image.
動画コンテンツの代表形態として、動画ファイル化されているコンテンツと、連続静止画像から構成されたコンテンツ、の2種類が存在する。 There are two types of moving image content: content that is made into a moving image file and content that is composed of continuous still images.
特に前者の動画ファイル化されたコンテンツについては、その非常に膨大なデータに対する高速処理を実現するためには高速演算を可能とする高精度なハードウェアが必要であり、高コスト化が必至であった。したがって、特に一般のユーザにとっては、動画ファイル化されたコンテンツを扱うことは困難であった。 In particular, the former video file content requires high-precision hardware that enables high-speed computation in order to realize high-speed processing of the extremely large amount of data, and high cost is inevitable. It was. Therefore, it has been difficult for general users to handle content in the form of moving image files.
一方、後者の連続静止画像群からなる動画コンテンツについては、基本的に静止画像に対する処理と同様の処理を施すことが可能であるため、一般ユーザであっても比較的扱いが容易である。しかしながら、このような連続静止画像群からなる動画コンテンツに対してディジタル処理を施すためには、動画コンテンツを構成する数千から数万枚という膨大な静止画像ファイルのそれぞれに対して、同様のディジタル処理を繰り返し行うす必要がある。よって、各静止画像の高解像度化、およびコンテンツのフレームレートの増加に伴ってコンテンツを構成するファイル数が増加し、膨大なデータ量となった場合、処理時間が増大してしまう。 On the other hand, since the moving image content composed of the latter group of continuous still images can be basically processed in the same manner as the processing for still images, even a general user is relatively easy to handle. However, in order to apply digital processing to such moving image content including a group of continuous still images, the same digital is applied to each of a huge number of still image files of thousands to tens of thousands constituting the moving image content. It is necessary to repeat the process. Therefore, when the resolution of each still image is increased and the number of files constituting the content increases as the frame rate of the content increases, the processing time increases when the amount of data becomes enormous.
静止画像に対して、処理速度の短縮を目的としたカラーマッチング技術が提案されている(例えば、特許文献1参照)。特許文献1に記載された、静止画像に関するカラーマッチング技術によれば、隣接画素との値判定処理を行い、キャッシュにヒットした場合にはキャッシュテーブルを用いることで、色変換処理の高速化を実現している。
しかしながら、上記特許文献1に記載されたような静止画像に対するカラーマッチング技術を、連続静止画像群からなる動画像コンテンツに対してそのまま適用することはできなかった。すなわち、動きがあることを前提とした静止画像の場合、隣接画素が同じ状態にあることはほとんどないため、キャッシュにヒットする可能性は極めて低い。したがって、結果として、動画コンテンツを構成する静止画像については、ほぼ全ての画素に対して負荷の高い色変換処理計算を行うこととなり、処理時間の短縮は望めないという問題があった。
However, the color matching technique for still images as described in
本発明は上述した問題を解決するためになされたものであり、静止画像群によって構成された動画像に対し、高速な色変換処理を可能とする画像処理装置および画像処理方法を提供することを目的とする。 The present invention has been made to solve the above-described problems, and provides an image processing apparatus and an image processing method capable of performing high-speed color conversion processing on a moving image composed of still image groups. Objective.
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。 As a means for achieving the above object, an image processing apparatus of the present invention comprises the following arrangement.
すなわち、連続する静止画像群で構成される動画像を処理する画像処理装置であって、前記動画像をシーンごとに分割するシーン分割手段と、該分割されたシーンを構成する複数の静止画像を解析して、画素ごとに、シーン内での移動量を検出する画像解析手段と、前記シーンにおける1枚目の静止画像に対してカラーマッチングを施し、該カラーマッチング結果としての画素ごとの値をキャッシュとして保持するキャッシュ生成手段と、前記シーンにおける2枚目以降の静止画像に対して、前記画像解析手段で検出された画素ごとの移動量に基づき、画素ごとのキャッシュ検索範囲を設定する設定手段と、前記シーンにおける2枚目以降の静止画像に対して、画素ごとに、前記キャッシュにおける前記キャッシュ検索範囲を検索することによってカラーマッチングを施すカラーマッチング手段と、を有することを特徴とする。 That is, an image processing apparatus for processing a moving image composed of continuous still image groups, a scene dividing means for dividing the moving image into scenes, and a plurality of still images constituting the divided scene. Analyzing and for each pixel, image analysis means for detecting the amount of movement in the scene, color matching is performed on the first still image in the scene, and the value for each pixel as the color matching result is obtained. A cache generation unit that holds the cache, and a setting unit that sets a cache search range for each pixel based on the movement amount for each pixel detected by the image analysis unit for the second and subsequent still images in the scene And searching the cache search range in the cache for each pixel for the second and subsequent still images in the scene. And having a color matching means for performing color matching I.
以上の構成からなる本発明によれば、静止画像群によって構成された動画像に対し、高速な色変換処理を行うことができる。 According to the present invention having the above-described configuration, high-speed color conversion processing can be performed on a moving image configured by a still image group.
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。 Hereinafter, the present invention will be described in detail based on preferred embodiments with reference to the accompanying drawings. The configurations shown in the following embodiments are merely examples, and the present invention is not limited to the illustrated configurations.
<第1実施形態>
図1は、本実施形態における画像処理装置の構成を示すブロック図である。同図において、101はパーソナルコンピュータ(以下、PC)であり、カラーモニタ124が接続されている。PC101は、アプリケーション格納部102、シーン分割部103、画像キャッシュ生成部105、カラーマネジメント処理部107、画像処理部109を有する。そして、上記各処理部によって生成された、または利用されるデータを格納するための、シーン分割情報格納部104、画像キャッシュ格納部106、カラーマッチングテーブル格納部108、変換済み画像格納部110、を有する。そしてさらに、各種パラメータを格納するパラメータ格納部111を有する。パラメータ格納部111は、画像数カウント格納部112、閾値A格納部113、閾値B格納部114、閾値C格納部115、シーン数格納部116、シーン分割情報用配列格納部117、を有する。そしてさらに、移動カウント格納部118、ピクセル情報格納部119、キャッシュ格納部120、検索範囲格納部121、入力フォルダパス格納部122、出力フォルダパス格納部123、を有する。
<First Embodiment>
FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus according to the present embodiment. In the figure,
●カラーマッチング処理概要
以下、本実施形態の画像処理装置におけるカラーマッチング処理の全体的な流れについて、図2のフローチャート、および図3,図4を用いて説明する。
Outline of Color Matching Process Hereinafter, the overall flow of the color matching process in the image processing apparatus of the present embodiment will be described with reference to the flowchart of FIG. 2 and FIGS.
まず図2のステップS201において、アプリケーション格納部102に記憶された画像処理アプリケーションが起動される。図3は、ここで起動された画像処理アプリケーションによるUI画面例である。
First, in step S201 in FIG. 2, the image processing application stored in the
そしてステップS202において、ユーザが、画像変換対象となる動画像ファイルの元となる、連続静止画像ファイル群(以下、入力連続静止画像群と記す)が格納されているフォルダ(以下、入力フォルダと記す)を指定する。この指定は、図3に示す入力フォルダ設定部301において行われ、指定された入力フォルダのパスは、入力フォルダパス格納部122に記憶される。
In step S202, the user stores a folder (hereinafter referred to as an input folder) in which a continuous still image file group (hereinafter referred to as an input continuous still image group) that is a source of a moving image file to be converted is stored. ) Is specified. This designation is performed in the input
ここで、入力フォルダパスによって示されるフォルダ内に格納されている入力連続静止画像群は、図4に示すように動きに連続性があるように整列されており、かつ、特徴量の異なる複数の画像群(以下、シーンと記す)により構成されているものとする。例えば図4の例では、鳥が飛び立つシーン、月が移動するシーン、鳥が降り立つシーン、の3つのシーンから構成されている入力連続静止画像群を示している。 Here, the input continuous still images stored in the folder indicated by the input folder path are arranged so that the movements are continuous as shown in FIG. It is assumed that the image is composed of an image group (hereinafter referred to as a scene). For example, the example of FIG. 4 shows an input continuous still image group composed of three scenes: a scene in which a bird flies, a scene in which the moon moves, and a scene in which a bird falls.
次にステップS203において、カラーマッチング処理後の連続静止画像群(以下、出力連続静止画像群と記す)を保存するフォルダ(以下、出力フォルダと記す)を、図3の302より指定する。出力フォルダにはすなわち、ステップS202で指定した入力フォルダ内に格納されている入力連続静止画像群に対してカラーマッチング処理を施した結果である出力連続静止画像群が保存される。指定された出力フォルダのパスは、出力フォルダパス格納部123に記憶される。
Next, in step S203, a folder (hereinafter referred to as an output folder) for storing a group of continuous still images after color matching processing (hereinafter referred to as an output continuous still image group) is designated from 302 in FIG. That is, the output continuous still image group that is the result of performing the color matching process on the input continuous still image group stored in the input folder designated in step S202 is stored in the output folder. The designated output folder path is stored in the output folder
ステップS204では、入力連続静止画像群に対してカラーマッチング処理を施す際に使用するカラーマッチングテーブルを指定する。この指定は、図3に示すマッチングテーブル設定部303においてぉこなれ、指定されたカラーマッチングテーブルは、カラーマッチングテーブル格納部108に記憶される。
In step S204, a color matching table to be used when color matching processing is performed on the input continuous still image group is designated. This designation is completed in the matching
そしてステップS205において、ユーザが図3に示す変換ボタン304を押下することにより、入力連続静止画像群に対し、カラーマッチングテーブル格納部108に格納されているカラーマッチングテーブル用いたカラーマッチング処理が開始される。なお、処理対象となる入力連続静止画像群は、入力フォルダパス格納部122に格納された入力フォルダパスによって指定される入力フォルダ内に格納されている。カラーマッチング処理が終了することによって作成された出力連続静止画像群は、出力フォルダパス格納部123に格納された出力フォルダパスによって指定されるフォルダ内に保存される。なお、ステップS205におけるカラーマッチング処理については、その概要および詳細について後述する。
In step S205, when the user presses the
そしてステップS206において、ユーザが図3に示す終了ボタン305を押下することによって、本実施形態におけるカラーマッチング処理を終了する。
In step S206, when the user presses the
●カラーマッチング処理詳細
図5は、上述したステップS205におけるカラーマッチング処理の概要を示すフローチャートである。
Color Matching Process Details FIG. 5 is a flowchart showing an outline of the color matching process in step S205 described above.
まずステップS501において、入力フォルダパス格納部122に格納されたフォルダパスで示されるフォルダ内に格納されている入力連続静止画像群を、n個のシーンに分割する。例えば、図4に示すような入力連続静止画像群であれば、図6に示すように鳥が飛び立つシーン1と、月が移動するシーン2と、鳥が降り立つシーン3、の3つのシーンに分割される。なお、ステップS501におけるシーン分割処理の詳細については後述する。シーン分割後の処理(S502,S503)は、分割されたシーンを単位として、n個のシーン全てに対して実行される。
First, in step S501, the input continuous still image group stored in the folder indicated by the folder path stored in the input folder
ステップS502では、シーンを構成する全ての画像に対して画像解析を行い、後段のステップS503で行うカラーマッチング処理におけるキャッシュ検索範囲を決定するために、全ピクセルの移動量を検出する。なお、ステップS502における画像解析処理の詳細については後述する。 In step S502, image analysis is performed on all images constituting the scene, and movement amounts of all pixels are detected in order to determine a cache search range in the color matching process performed in step S503 in the subsequent stage. Details of the image analysis processing in step S502 will be described later.
ステップS503では、ステップS502で検出されたピクセル移動量に基づき、各シーンにおけるキャッシュの検索範囲を判定して、シーンを構成する全ての入力静止画像群に対するカラーマッチング処理を行う。カラーマッチング処理によって得られた出力静止画像群は、出力フォルダパス格納部123に格納された出力フォルダパスによって示されるフォルダ内に保存され、処理を終了する。なお、ステップS503におけるカラーマッチング処理の詳細については、後述する。
In step S503, the cache search range in each scene is determined based on the pixel movement amount detected in step S502, and color matching processing is performed on all input still image groups constituting the scene. The output still image group obtained by the color matching process is stored in the folder indicated by the output folder path stored in the output folder
●シーン分割処理
図7は、上述したステップS501におけるシーン分割処理の詳細を示すフローチャートである。
Scene Division Processing FIG. 7 is a flowchart showing details of the scene division processing in step S501 described above.
まずステップS701において、シーン数格納部116に格納されているシーン数を初期化する。そしてステップS702において、画像数カウント格納部112に格納されている画像数カウントを初期化する。ここで画像数カウントとは、シーンにおける最後の静止画像が入力連続静止画像群の何枚目であるかを指す値であり、図6の例であれば、シーン1の画像数カウントは4となり、シーン2の画像数カウントは8となる。
First, in step S701, the number of scenes stored in the scene
そしてステップS703では、シーン分割部103でのシーン分割演算時に使用されるヒストグラムを作成する。なお、本実施形態ではヒストグラムを用いたシーン分割処理を説明するが、その他の任意の方法を用いて分割を行ってもよい。なお、ステップS703におけるヒストグラム作成処理の詳細については後述する。
In step S703, a histogram used for scene division calculation in the
ステップS704では、ヒストグラムを作成した画像が、入力連続静止画像群の中で1枚目、すなわち最初の静止画像であるか否かを判定する。1枚目の静止画像であった場合はステップS705に進み、2枚目以降の静止画像である場合はステップS706に進む。 In step S704, it is determined whether the image for which the histogram has been created is the first image in the input continuous still image group, that is, the first still image. If it is the first still image, the process proceeds to step S705. If it is the second or subsequent still image, the process proceeds to step S706.
ステップS705では、ステップS703で作成されたヒストグラムをシーン分割情報格納部104に格納する。
In step S705, the histogram created in step S703 is stored in the scene division
一方ステップS706では、静止画像ごとのヒストグラムの変化量として、シーン分割情報格納部104に格納されている1枚前の静止画像のヒストグラムとの誤差Dを算出する。誤差Dの算出方法は任意であるが、一例としては、ステップS703で作成されたヒストグラムと、シーン分割情報格納部104に格納されている1枚前の静止画像のヒストグラムの面積をそれぞれ計算し、その面積の差を誤差Dとする方法がある。
On the other hand, in step S706, an error D from the histogram of the previous still image stored in the scene division
そしてステップS707において、ステップS706で算出した誤差Dと、閾値A格納部113に格納されている閾値Aを比較し、誤差Dが閾値Aより大きい場合にはシーンが切り替わったと判定し、ステップS708に進む。一方、誤差Dが閾値A以下である場合にはシーンが切り替わっていないと判定し、ステップS705に進む。ここで閾値Aの値としては、入力静止画像群を構成するシーンの数が多い場合には小さく、シーンの数が少ない場合には大きくなるように、予め設定しておいても良い。
In step S707, the error D calculated in step S706 is compared with the threshold A stored in the threshold
ステップS708では、シーン数格納部116に格納されているシーン数をインクリメントする。詳細には、シーン数格納部116に格納されているシーン数を取り出し、該シーン数に対して1を加算し、加算後のシーン数をシーン数格納部116に記憶する。
In step S708, the number of scenes stored in the scene
ステップS709では、シーンが切り替わった時点における画像数カウントを、前シーン、すなわちシーン数格納部116に格納されたシーン数に対応するシーンにおける画像数カウントとして、画像数カウント格納部112に登録する。図6に示す例では、シーン1からシーン2に切り替わる際に、シーン1に対するの画像数カウントが4として登録される。
In step S 709, the image count at the time when the scene is switched is registered in the image
そしてステップS710では、画像数カウント格納部112に格納されている変数としての画像数カウントをインクリメントする。詳細には、画像数カウント格納部112に格納されている画像数カウントを取り出し、該画像数カウントに対して1を加算し、加算後の画像数カウントを画像数カウント格納部112に再び記憶する。
In step S710, the image number count as a variable stored in the image number
そしてステップS711において、入力連続静止画像群を構成する全ての静止画像に対して、シーン分割処理が終了したか否かを判定する。全ての静止画像に対してシーン分割処理が終了していればシーンの分割処理を終了するが、未終了であればステップS703に進んで次の静止画像についてのヒストグラムの作成を開始する。 In step S711, it is determined whether or not the scene division processing has been completed for all the still images constituting the input continuous still image group. If the scene division process has been completed for all still images, the scene division process is terminated. If not, the process proceeds to step S703 to start creating a histogram for the next still image.
●ヒストグラム作成処理
図8は、上述したステップS703におけるヒストグラム作成処理の詳細を示すフローチャートである。図8においては、対象画像がRGB画像である場合を例として示しているが、他の要素によって構成される画像においても同様の処理が可能である。
Histogram Creation Process FIG. 8 is a flowchart showing details of the histogram creation process in step S703 described above. In FIG. 8, a case where the target image is an RGB image is shown as an example, but the same processing can be performed for an image composed of other elements.
まずステップS801において、シーン分割情報用配列格納部117に格納されているヒストグラム用配列R[255],G[255],B[255]を初期化する。そしてステップS802において、ヒストグラムを作成する静止画像のピクセルデータ(Rd,Gd,Bd)を取得する。
First, in step S801, the histogram arrays R [255], G [255], and B [255] stored in the scene division information
そしてステップS803において、ステップS802で取得したR色の濃度値をインデックスRdとして持つヒストグラム用配列R[Rd]に対して、1を加算する。例えば、ステップS802で取得したR色の濃度値が100だった場合は、R[100]=R[100]+1の加算処理を行う。そしてステップS804,S805でも同様に、それぞれG色,B色について、R色と同様のヒストグラム用配列への加算処理を行う。 In step S803, 1 is added to the histogram array R [Rd] having the R color density value acquired in step S802 as the index Rd. For example, when the density value of R color acquired in step S802 is 100, an addition process of R [100] = R [100] +1 is performed. Similarly, in steps S804 and S805, the G color and B color are respectively added to the histogram array similar to the R color.
そしてステップS806において、ヒストグラム作成処理が静止画像の全てのピクセルデータについて終了したか否かを判定し、全てのピクセルデータについて終了した場合には処理を終了するが、未終了であればステップS802に戻る。 In step S806, it is determined whether or not the histogram creation process has been completed for all the pixel data of the still image. If all the pixel data has been completed, the process ends. If not, the process proceeds to step S802. Return.
ここで図9に、図8に示したヒストグラム作成処理によって生成された一次色(ここではRGB)のうち、R色のヒストグラム例を示す。図9に示すヒストグラムはすなわち、第1要素が濃度値、第2要素が該濃度値を有するピクセル数を表す(0,R[0]),・・・,(255,R[255])を棒グラフ化したものである。 Here, FIG. 9 shows an example of an R color histogram among the primary colors (RGB in this case) generated by the histogram creation processing shown in FIG. The histogram shown in FIG. 9 indicates (0, R [0]),..., (255, R [255]) where the first element represents the density value and the second element represents the number of pixels having the density value. It is a bar graph.
●画像解析処理(ピクセル移動量検出)
図10は、上述したステップS502における、各シーンのキャッシュ検索範囲を決定するための画像解析処理を示すフローチャートである。図10のフローチャートに示す処理は、ステップS501において分割された各シーンのそれぞれに対して実施され、シーン内における各ピクセルの動きを解析し、個々のピクセルについて、シーン内における最終的な移動量を検出する。
● Image analysis processing (detection of pixel movement)
FIG. 10 is a flowchart showing image analysis processing for determining the cache search range of each scene in step S502 described above. The process shown in the flowchart of FIG. 10 is performed for each of the scenes divided in step S501, analyzes the movement of each pixel in the scene, and determines the final movement amount in the scene for each pixel. To detect.
まずステップS1001において、移動カウント格納部118に格納された移動カウントを初期化する。ここで移動カウントとは、各ピクセルのシーン内における移動量の大きさを示す値であり、シーン内の1枚目の画像を構成する全てのピクセルについて保持される。そしてステップS1002〜S1006において、シーンを構成する全ての画像を解析することにより、ピクセル毎の移動カウントを決定する。
First, in step S1001, the movement count stored in the movement
ステップS1002では、画像解析の実施対象である静止画像がシーンの1枚目であるか否かを判定する。この判定は、画像数カウント格納部112にシーン毎に登録されている画像数カウントを参照することによって行われる。該判定により、静止画像がシーンの1枚目の画像である場合はステップS1003に進むが、静止画像がシーンの1枚目でない、すなわち2枚目以降である場合にはステップS1004に進む。
In step S1002, it is determined whether or not the still image that is the target of image analysis is the first scene. This determination is performed by referring to the image number count registered for each scene in the image number
ステップS1003では、1枚目の静止画像において各座標に対応付けられたピクセルについて、その移動量を判定するための閾値Bを決定し、閾値B格納部114に格納する。すなわち閾値Bは、1枚目の静止画像における座標毎に設定される。ここで閾値Bの決定方法としては、例えばRGB画像であれば、1枚目の静止画像における座標(i,j)のピクセル情報(Ri,j,Gi,j,Bi,j)に対して、所定の変化量を設定する。例えば、(Ri,j−10,Gi,j−10,Bi,j−10)や、(Ri,j+10,Gi,j+10,Bi,j+10)の様に、当該ピクセルに対して変化量10を加算もしくは減算した値を、閾値Bとしてもよい。
In step S <b> 1003, a threshold value B for determining the movement amount of the pixel associated with each coordinate in the first still image is determined and stored in the threshold value
一方、ステップS1004では、各座標のピクセル情報と、ステップS1003で作成した閾値Bとの比較を行う。該比較の結果、ピクセル情報が閾値Bより大きい場合には、そのピクセルはシーンの先頭画像からの動きが大きいと判定してステップS1005に進むが、ピクセル情報が閾値B以下であれば、そのピクセルは動きが小さいと判定してステップS1006に進む。 On the other hand, in step S1004, the pixel information of each coordinate is compared with the threshold value B created in step S1003. If the pixel information is larger than the threshold B as a result of the comparison, it is determined that the pixel has a large movement from the top image of the scene, and the process proceeds to step S1005. Determines that the movement is small, and proceeds to step S1006.
ステップS1005では、当該ピクセルの動きが大きいため、移動カウントをインクリメントする。詳細には、移動カウント格納部118に格納されている移動カウントを取り出し、該移動カウントに1を加算した後、該加算後の移動カウントを移動カウント格納部118に格納する。
In step S1005, the movement count is incremented because the movement of the pixel is large. Specifically, the movement count stored in the movement
ステップS1006では、当該ピクセルについての移動カウントの計算処理が、シーンを構成する全ての静止画像について終了したか否かを判定する。全ての静止画像に対して移動カウントの計算処理が終了していればステップS1007に進むが、未終了であれば、次の静止画像における処理を行うためにステップS1002に進む。 In step S1006, it is determined whether or not the movement count calculation processing for the pixel has been completed for all the still images constituting the scene. If the movement count calculation processing has been completed for all the still images, the process proceeds to step S1007. If not completed yet, the process proceeds to step S1002 in order to perform processing for the next still image.
次に、ステップS1007〜S1009においては、上述したように決定されたピクセル毎の移動カウントに基づいて、ピクセル毎に変化量の大小を決定する。 Next, in steps S1007 to S1009, the amount of change is determined for each pixel based on the movement count for each pixel determined as described above.
まずステップS1007において、ピクセル毎の移動カウントが、閾値C格納部115に格納された、任意の定数である閾値Cより大きいか否かを判定する。移動カウントが閾値Cより大きい場合には、そのピクセルはシーン内での動きが大きいと判定し、ステップS1008に進む。一方、移動カウントが閾値C以下である場合には、そのピクセルはシーン内での動きが小さいと判定し、ステップS1009に進む。
First, in step S <b> 1007, it is determined whether or not the movement count for each pixel is larger than a threshold value C that is an arbitrary constant stored in the threshold value
ステップS1008では、当該ピクセルが変化量の大きい動的ピクセルである旨を、ピクセル情報格納部119にピクセル情報として登録する。一方、ステップS1009では、当該ピクセルが変化量の小さい静的ピクセルである旨を、ピクセル情報格納部119にピクセル情報として登録する。
In step S1008, information indicating that the pixel is a dynamic pixel having a large change amount is registered in the pixel
上記ステップS1001〜S1009で行った、各ピクセルに対する移動カウントの決定、および変化量の登録は、シーン内の1枚目の静止画像内の全ピクセルに対して行われる。ここで登録された各ピクセルの変化量に基づいて、後述するカラーマッチング処理時に参照されるキャッシュの検索範囲が決定される。 The determination of the movement count for each pixel and the registration of the change amount performed in steps S1001 to S1009 are performed for all the pixels in the first still image in the scene. Based on the amount of change of each pixel registered here, a cache search range referred to in the color matching process described later is determined.
ステップS1010では、ステップS1001で移動カウントが割り当てられた全てのピクセル(すなわち、シーン内の1枚目の静止画像内における全てのピクセル)について、動的または静的ピクセルの判定が終了したか否かを判定する。終了していれば処理を終了するが、未終了であれば、次のピクセルの判定を行うためにステップS1001に移動する。 In step S1010, whether or not dynamic or static pixel determination has been completed for all pixels to which the movement count is assigned in step S1001 (that is, all pixels in the first still image in the scene). Determine. If completed, the process ends. If not completed, the process moves to step S1001 to determine the next pixel.
●カラーマッチング処理
図11は、上述したステップS503におけるカラーマッチング処理の詳細を示すフローチャートである。図11のフローチャートに示す処理は、ステップS501において分割された各シーンのそれぞれに対して実施される。
Color Matching Process FIG. 11 is a flowchart showing details of the color matching process in step S503 described above. The process shown in the flowchart of FIG. 11 is performed for each of the scenes divided in step S501.
まずステップS1101において、カラーマッチング対象となる静止画像が、シーンの1枚目の画像であるか否かを判定する。この判定は、画像数カウント格納部112にシーン毎に登録されている画像数カウントを参照することによって行われる。1枚目であれば、全てのピクセル情報に対してカラーマッチング処理を行ってキャッシュデータを作成するためにステップS1102に進む。一方、1枚目でない、すなわち2枚目以降である場合には、キャッシュデータを参照したカラーマッチング処理を行うためにステップS1106に進む。
First, in step S1101, it is determined whether or not the still image to be color-matched is the first image in the scene. This determination is performed by referring to the image number count registered for each scene in the image number
まず、シーン内の1枚目の静止画像に対するカラーマッチング処理について説明する。 First, the color matching process for the first still image in the scene will be described.
ステップS1102では、カラーマネジメント処理部107において、カラーマッチングテーブル格納部108に格納されたカラーマッチングテーブルを使用して、カラーマッチングの演算を行う。ここでカラーマッチングの演算とは、図12に示すように、入力ピクセルのRGB値に対し、所望の色再現が可能となる出力ピクセルのRGB値を算出する処理である。なお、具体的なカラーマッチング方法は任意であって構わない。
In step S1102, the color
そしてステップS1103では画像キャッシュ生成部105において、ステップS1102で行ったカラーマッチング結果をキャッシュデータとして、画像キャッシュ格納部106に登録する。画像キャッシュ格納部106に格納された画像キャッシュは、例えばRGB画像であれば図12に示すように、座標情報と入力RGBデータ、およびステップS1102で算出された出力RGBデータで構成されているものとする。
In step S1103, the image
そしてステップS1104では画像処理部109において、カラーマッチング済みのピクセルデータを、変換済み画像格納部110に格納する。
In step S1104, the
そしてステップS1105では、1枚目の画像内の全てのピクセルに対し、カラーマッチング処理が終了したか否かを判定する。全てのピクセルに対してカラーマッチング処理が終了していればステップS1114に進むが、未終了であれば、次のピクセルの処理を行うためにステップS1102に進む。 In step S1105, it is determined whether or not the color matching process has been completed for all the pixels in the first image. If the color matching process has been completed for all the pixels, the process proceeds to step S1114. If the color matching process has not been completed, the process proceeds to step S1102 to perform the process for the next pixel.
次に、シーンの2枚目以降の静止画像に対する、キャッシュデータを用いたカラーマッチング処理について説明する。 Next, color matching processing using cache data for the second and subsequent still images in the scene will be described.
ステップS1106では、ピクセル情報格納部119に格納されているピクセル情報に基づき、カラーマッチング対象であるピクセルデータが静的ピクセルであるか動的ピクセルであるかを判定する。静的ピクセルであればステップS1107に進み、動的ピクセルであればステップS1108に進む。
In step S1106, based on the pixel information stored in the pixel
ステップS1107では、キャッシュ検索範囲を任意の領域Sに設定し、検索範囲格納部121に格納する。一方、ステップS1108では、キャッシュ検索範囲を任意の領域Lに設定し、検索範囲格納部121に格納する。なお、キャッシュ検索範囲として設定される領域Sおよび領域Lはそれぞれ、シーンによって異なる値であり、S<Lの関係がある。すなわち、動的ピクセルに対する検索領域Lのほうが、静的ピクセルの検索領域Sよりも広くなるように設定される。
In step S 1107, the cache search range is set to an arbitrary region S and stored in the search
そしてステップS1109において、キャッシュ格納部120に、カラーマッチング処理対象のピクセルデータに対するキャッシュデータが格納されているか否かを判定する。この判定は、キャッシュ格納部に格納されたキャッシュデータにおいて、まずは当該ピクセルの座標に対応する位置に、該ピクセルのデータ値(入力RGB値)が設定されているか否かを検証する。設定されていない場合には、該ピクセルには動きがあったので、上述したように設定された検索範囲内で、キャッシュデータ内に当該ピクセルのデータ値が存在するか否かを検証する。すなわち、キャッシュデータ内の検索は、ステップS1107またはS1108で検索範囲格納部121に格納した領域Sまたは領域Lを検索範囲として行われる。
In step S1109, it is determined whether or not cache data for the pixel data to be subjected to color matching processing is stored in the
ステップS1109において、検索範囲内にキャッシュデータが存在する場合はステップS1110に進み、キャッシュデータが存在しない場合はステップS1111に進む。 In step S1109, if cache data exists within the search range, the process proceeds to step S1110. If cache data does not exist, the process proceeds to step S1111.
ステップS1110では画像処理部109において、カラーマッチング済みのピクセルデータを、変換済み画像格納部110に格納する。このとき、ステップS1109でキャッシュデータが存在した場合には当該キャッシュデータの値を格納するが、キャッシュデータが存在しなかった場合には、後述するステップS1111でのカラーマッチング結果として得られるピクセルデータの値を格納する。
In step S1110, the
ステップS1111ではカラーマネジメント処理部107において、上述したステップS1102と同様のカラーマッチング処理を行う。次にステップS1112では画像キャッシュ生成部105において、ステップS1111でのマッチング計算結果を、画像キャッシュ格納部106に格納されている同座標のキャッシュデータに上書きすることにより、キャッシュデータを更新する。
In step S <b> 1111, the color
ステップS1113では、全てのピクセルに対してキャッシュデータを参照したカラーマッチング処理が終了したか否かを判定する。全てのピクセルに対するカラーマッチング処理が終了した場合にはステップS1114に進むが、未終了であれば、次のピクセルの処理を行うためにステップS1106に進む。 In step S1113, it is determined whether or not the color matching process referring to the cache data for all the pixels has been completed. If the color matching process for all the pixels has been completed, the process proceeds to step S1114. If the color matching process has not been completed, the process proceeds to step S1106 to process the next pixel.
以上により、1枚の静止画像に対し、シーン内での順番に応じたカラーマッチング処理が終了する。すると次にステップS1114で画像処理部109において、変換済み画像格納部110に格納されているカラーマッチング済みのピクセルデータを、画像ファイル化して保存する。このとき、画像ファイルは、出力フォルダパス格納部123に格納された出力フォルダパスによって示されるフォルダ内に保存される。
As described above, the color matching process corresponding to the order in the scene is completed for one still image. In step S1114, the
そしてステップS1115において、シーンを構成する全ての静止画像に対し、カラーマッチングが終了したか否かを判定する。全ての静止画像に対してカラーマッチングが終了した場合には処理を終了するが、未終了であれば、次の静止画像に対してカラーマッチングを施すためにステップS1101に進む。 In step S1115, it is determined whether or not color matching has been completed for all still images constituting the scene. If the color matching has been completed for all still images, the process ends. If not, the process advances to step S1101 to perform color matching on the next still image.
以上説明したように本実施形態によれば、動画コンテンツを構成する静止画像群に対し、各静止画像における特徴量の変化量に基づいてシーンに分割し、該シーン毎に異なるキャッシュを用いたカラーマッチング処理を行う。このとき、動きの大きさに応じてキャッシュ検索範囲を変更することによって、より高速なカラーマッチング処理が可能とする。 As described above, according to the present embodiment, the group of still images constituting the moving image content is divided into scenes based on the amount of change in the feature amount in each still image, and a color using a different cache for each scene. Perform the matching process. At this time, by changing the cache search range in accordance with the magnitude of the movement, a higher-speed color matching process can be performed.
<他の実施形態>
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
<Other embodiments>
Although the embodiment has been described in detail above, the present invention can take an embodiment as a system, apparatus, method, program, recording medium (storage medium), or the like. Specifically, the present invention may be applied to a system composed of a plurality of devices (for example, a host computer, an interface device, an imaging device, a web application, etc.), or may be applied to a device composed of a single device. good.
尚本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。なお、この場合のプログラムとは、コンピュータ読取可能であり、実施形態において図に示したフローチャートに対応したプログラムである。 In the present invention, a software program for realizing the functions of the above-described embodiments is supplied directly or remotely to a system or apparatus, and the computer of the system or apparatus reads and executes the supplied program code. Is also achieved. The program in this case is a computer-readable program that corresponds to the flowchart shown in the drawing in the embodiment.
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。 In this case, as long as it has a program function, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, or the like.
プログラムを供給するための記録媒体としては、以下に示す媒体がある。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM,DVD-R)などである。 Recording media for supplying the program include the following media. For example, floppy disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD- R).
プログラムの供給方法としては、以下に示す方法も可能である。すなわち、クライアントコンピュータのブラウザからインターネットのホームページに接続し、そこから本発明のコンピュータプログラムそのもの(又は圧縮され自動インストール機能を含むファイル)をハードディスク等の記録媒体にダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。 As a program supply method, the following method is also possible. That is, the browser of the client computer is connected to a homepage on the Internet, and the computer program itself (or a compressed file including an automatic installation function) of the present invention is downloaded to a recording medium such as a hard disk. It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.
また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせることも可能である。すなわち該ユーザは、その鍵情報を使用することによって暗号化されたプログラムを実行し、コンピュータにインストールさせることができる。 In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and key information for decryption is downloaded from a homepage via the Internet to users who have cleared predetermined conditions. It is also possible to make it. That is, the user can execute the encrypted program by using the key information and install it on the computer.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the functions of the above-described embodiments are realized by the computer executing the read program. Furthermore, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can also be realized by the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、実行されることによっても、前述した実施形態の機能が実現される。すなわち、該プログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行うことが可能である。 Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, and then executed, so that the program of the above-described embodiment can be obtained. Function is realized. That is, based on the instructions of the program, the CPU provided in the function expansion board or function expansion unit can perform part or all of the actual processing.
Claims (9)
前記動画像をシーンごとに分割するシーン分割手段と、
該分割されたシーンを構成する複数の静止画像を解析して、画素ごとに、シーン内での移動量を検出する画像解析手段と、
前記シーンにおける1枚目の静止画像に対してカラーマッチングを施し、該カラーマッチング結果としての画素ごとの値をキャッシュとして保持するキャッシュ生成手段と、
前記シーンにおける2枚目以降の静止画像に対して、前記画像解析手段で検出された画素ごとの移動量に基づき、画素ごとのキャッシュ検索範囲を設定する設定手段と、
前記シーンにおける2枚目以降の静止画像に対して、画素ごとに、前記キャッシュにおける前記キャッシュ検索範囲を検索することによってカラーマッチングを施すカラーマッチング手段と、
を有することを特徴とする画像処理装置。 An image processing apparatus for processing a moving image composed of continuous still image groups,
Scene dividing means for dividing the moving image into scenes;
Image analysis means for analyzing a plurality of still images constituting the divided scene and detecting a movement amount in the scene for each pixel;
A cache generating means for performing color matching on the first still image in the scene and holding a value for each pixel as a result of the color matching as a cache;
Setting means for setting a cache search range for each pixel based on the movement amount for each pixel detected by the image analysis means for the second and subsequent still images in the scene;
Color matching means for performing color matching by searching the cache search range in the cache for each pixel for the second and subsequent still images in the scene;
An image processing apparatus comprising:
シーン分割手段が、前記動画像をシーンごとに分割するシーン分割ステップと、
画像解析手段が、該分割されたシーンを構成する複数の静止画像を解析して、画素ごとに、シーン内での移動量を検出する画像解析ステップと、
キャッシュ生成手段が、前記シーンにおける1枚目の静止画像に対してカラーマッチングを施し、該カラーマッチング結果としての画素ごとの値をキャッシュとして保持するキャッシュ生成ステップと、
設定手段が、前記シーンにおける2枚目以降の静止画像に対して、前記画像解析ステップで検出された画素ごとの移動量に基づき、画素ごとのキャッシュ検索範囲を設定する設定ステップと、
カラーマッチング手段が、前記シーンにおける2枚目以降の静止画像に対して、画素ごとに、前記キャッシュにおける前記キャッシュ検索範囲を検索することによってカラーマッチングを施すカラーマッチングステップと、
を有することを特徴とする画像処理方法。 An image processing method for processing a moving image composed of continuous still image groups,
A scene dividing step in which the scene dividing means divides the moving image for each scene;
An image analysis step for analyzing a plurality of still images constituting the divided scene and detecting a movement amount in the scene for each pixel;
A cache generation step, wherein the cache generation means performs color matching on the first still image in the scene, and stores a value for each pixel as the color matching result as a cache;
A setting step for setting a cache search range for each pixel based on a movement amount for each pixel detected in the image analysis step for the second and subsequent still images in the scene;
A color matching step in which color matching means performs color matching on the second and subsequent still images in the scene by searching the cache search range in the cache for each pixel;
An image processing method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007142322A JP2008300981A (en) | 2007-05-29 | 2007-05-29 | Image processor and processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007142322A JP2008300981A (en) | 2007-05-29 | 2007-05-29 | Image processor and processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008300981A true JP2008300981A (en) | 2008-12-11 |
Family
ID=40174115
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007142322A Withdrawn JP2008300981A (en) | 2007-05-29 | 2007-05-29 | Image processor and processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008300981A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101492060B1 (en) * | 2013-08-20 | 2015-02-12 | 전자부품연구원 | Method for overall transforming color of video |
-
2007
- 2007-05-29 JP JP2007142322A patent/JP2008300981A/en not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101492060B1 (en) * | 2013-08-20 | 2015-02-12 | 전자부품연구원 | Method for overall transforming color of video |
WO2015025999A1 (en) * | 2013-08-20 | 2015-02-26 | 전자부품연구원 | Method for changing colors of video all at once and recording medium thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5260733B2 (en) | Copy animation effects from a source object to at least one target object | |
JP4580183B2 (en) | Generation of visually representative video thumbnails | |
US20170285922A1 (en) | Systems and methods for creation and sharing of selectively animated digital photos | |
JP7059318B2 (en) | Learning data generation method and system for classifier learning with regional characteristics | |
US11438510B2 (en) | System and method for editing video contents automatically technical field | |
JP2009537047A (en) | Video viewing user interface | |
US9672866B2 (en) | Automated looping video creation | |
JP5377067B2 (en) | Image processing apparatus, image processing apparatus control method, and program | |
US10998007B2 (en) | Providing context aware video searching | |
JP7483979B2 (en) | Method and apparatus for playing multi-dimensional responsive images | |
JP2006244074A (en) | Moving object close-up frame detection method and program, storage medium storing program, moving object close-up shot detection method, moving object close-up frame or shot detection method and program, and storage medium storing program | |
KR20170133618A (en) | Method and program for setting thumbnail image | |
KR102546631B1 (en) | Apparatus for video data argumentation and method for the same | |
US20050191036A1 (en) | Information processing apparatus and method, program therefor and storage medium | |
JP4199214B2 (en) | Movie generation device, movie generation method, movie generation program | |
JP5271015B2 (en) | Image processing apparatus, image processing method, and program | |
JP2018097490A (en) | Information processor, method and program | |
JP2008300981A (en) | Image processor and processing method | |
JP3979768B2 (en) | Digital video segmentation method and apparatus | |
KR20180053494A (en) | Method for constructing game space based on augmented reality in mobile environment | |
JP2005117182A (en) | Image display apparatus, image display method, program, and recording medium | |
JP2008020944A (en) | Image processing method, program, and device | |
JP2009015774A (en) | Information processing unit and information processing method | |
JP4200960B2 (en) | Editing apparatus, editing method, and program | |
JP4210186B2 (en) | Summary video creation server, program and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20100803 |