JP2008300981A - Image processor and processing method - Google Patents

Image processor and processing method Download PDF

Info

Publication number
JP2008300981A
JP2008300981A JP2007142322A JP2007142322A JP2008300981A JP 2008300981 A JP2008300981 A JP 2008300981A JP 2007142322 A JP2007142322 A JP 2007142322A JP 2007142322 A JP2007142322 A JP 2007142322A JP 2008300981 A JP2008300981 A JP 2008300981A
Authority
JP
Japan
Prior art keywords
scene
pixel
color matching
image
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007142322A
Other languages
Japanese (ja)
Inventor
Keiko Kawabata
景子 川端
Hisashi Tatsumoto
久之 立元
Tomonori Abe
智規 安部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007142322A priority Critical patent/JP2008300981A/en
Publication of JP2008300981A publication Critical patent/JP2008300981A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To increase a speed of color conversion processing on a motion image including a successive still image group. <P>SOLUTION: In a step S501, the motion image including the successive still image group is divided for each scene and in a step S502, the plurality of still images constituting the divided scenes are analyzed to detect movement amounts for each pixel of the scenes. In a step S503, a color matching result for a first still image of a scene is held in a cache. For second and succeeding still images, retrieval is carried out within cache retrieval ranges set based upon the movement amounts for each pixel and when cache data is not found, color matching is carried out, and when cache data is found, the cache data is used as a color matching result. Thus, caches different for each scene are used and the retrieval ranges are set according to the movement amounts of the pixels to achieve the high speed color conversion processing. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は画像処理装置および画像処理方法に関し、特に、動画像における高速色変換処理を行う画像処理装置および画像処理方法に関する。   The present invention relates to an image processing apparatus and an image processing method, and more particularly to an image processing apparatus and an image processing method for performing high-speed color conversion processing on a moving image.

近年、パーソナルコンピュータの普及に加え、ディジタルカメラやディジタルビデオといった画像ディジタイズ機器の普及が著しい。また、CADやCGソフトといった高機能化するアプリケーションの普及につれ、ハイエンドユーザのみならず、一般のユーザにおいても動画コンテンツを容易に作成することが可能となってきている。作成された動画コンテンツは、映画、ゲーム、テレビCM、Web上での商用コンテンツのほか、オフィス環境におけるプレゼンテーションシーン等、多くの場面で活用される。   In recent years, in addition to the spread of personal computers, the spread of image digitizing devices such as digital cameras and digital video has been remarkable. In addition, with the spread of highly functional applications such as CAD and CG software, not only high-end users but also general users can easily create moving image content. The created moving image content is used in many scenes such as a movie, a game, a television commercial, commercial content on the Web, and a presentation scene in an office environment.

また、動画コンテンツの急速な普及に伴い、現在、それらコンテンツを表示するための高精度プロジェクタ、モニタ、テレビといった画像表示デバイスの開発も著しい。それに伴い、従来静止画像において実現されてきたカラーマッチング技術を、動画像においても実現したいという要望が高まってきている。   In addition, with the rapid spread of moving image content, development of image display devices such as high-precision projectors, monitors, and televisions for displaying such content is also remarkable at present. Along with this, there is an increasing demand for realizing the color matching technique that has been realized in the conventional still image also in the moving image.

動画コンテンツの代表形態として、動画ファイル化されているコンテンツと、連続静止画像から構成されたコンテンツ、の2種類が存在する。   There are two types of moving image content: content that is made into a moving image file and content that is composed of continuous still images.

特に前者の動画ファイル化されたコンテンツについては、その非常に膨大なデータに対する高速処理を実現するためには高速演算を可能とする高精度なハードウェアが必要であり、高コスト化が必至であった。したがって、特に一般のユーザにとっては、動画ファイル化されたコンテンツを扱うことは困難であった。   In particular, the former video file content requires high-precision hardware that enables high-speed computation in order to realize high-speed processing of the extremely large amount of data, and high cost is inevitable. It was. Therefore, it has been difficult for general users to handle content in the form of moving image files.

一方、後者の連続静止画像群からなる動画コンテンツについては、基本的に静止画像に対する処理と同様の処理を施すことが可能であるため、一般ユーザであっても比較的扱いが容易である。しかしながら、このような連続静止画像群からなる動画コンテンツに対してディジタル処理を施すためには、動画コンテンツを構成する数千から数万枚という膨大な静止画像ファイルのそれぞれに対して、同様のディジタル処理を繰り返し行うす必要がある。よって、各静止画像の高解像度化、およびコンテンツのフレームレートの増加に伴ってコンテンツを構成するファイル数が増加し、膨大なデータ量となった場合、処理時間が増大してしまう。   On the other hand, since the moving image content composed of the latter group of continuous still images can be basically processed in the same manner as the processing for still images, even a general user is relatively easy to handle. However, in order to apply digital processing to such moving image content including a group of continuous still images, the same digital is applied to each of a huge number of still image files of thousands to tens of thousands constituting the moving image content. It is necessary to repeat the process. Therefore, when the resolution of each still image is increased and the number of files constituting the content increases as the frame rate of the content increases, the processing time increases when the amount of data becomes enormous.

静止画像に対して、処理速度の短縮を目的としたカラーマッチング技術が提案されている(例えば、特許文献1参照)。特許文献1に記載された、静止画像に関するカラーマッチング技術によれば、隣接画素との値判定処理を行い、キャッシュにヒットした場合にはキャッシュテーブルを用いることで、色変換処理の高速化を実現している。
特開2002−57910号公報
A color matching technique for reducing the processing speed has been proposed for still images (see, for example, Patent Document 1). According to the color matching technology relating to still images described in Patent Document 1, the value conversion process is performed with adjacent pixels, and when the cache is hit, the cache table is used to increase the speed of the color conversion process. is doing.
JP 2002-57910 A

しかしながら、上記特許文献1に記載されたような静止画像に対するカラーマッチング技術を、連続静止画像群からなる動画像コンテンツに対してそのまま適用することはできなかった。すなわち、動きがあることを前提とした静止画像の場合、隣接画素が同じ状態にあることはほとんどないため、キャッシュにヒットする可能性は極めて低い。したがって、結果として、動画コンテンツを構成する静止画像については、ほぼ全ての画素に対して負荷の高い色変換処理計算を行うこととなり、処理時間の短縮は望めないという問題があった。   However, the color matching technique for still images as described in Patent Document 1 cannot be applied as it is to moving image content composed of a group of continuous still images. That is, in the case of a still image on the assumption that there is a motion, the adjacent pixels are hardly in the same state, so the possibility of hitting the cache is extremely low. Therefore, as a result, for still images constituting the moving image content, a color conversion processing calculation with a high load is performed on almost all pixels, and there is a problem that a reduction in processing time cannot be expected.

本発明は上述した問題を解決するためになされたものであり、静止画像群によって構成された動画像に対し、高速な色変換処理を可能とする画像処理装置および画像処理方法を提供することを目的とする。   The present invention has been made to solve the above-described problems, and provides an image processing apparatus and an image processing method capable of performing high-speed color conversion processing on a moving image composed of still image groups. Objective.

上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。   As a means for achieving the above object, an image processing apparatus of the present invention comprises the following arrangement.

すなわち、連続する静止画像群で構成される動画像を処理する画像処理装置であって、前記動画像をシーンごとに分割するシーン分割手段と、該分割されたシーンを構成する複数の静止画像を解析して、画素ごとに、シーン内での移動量を検出する画像解析手段と、前記シーンにおける1枚目の静止画像に対してカラーマッチングを施し、該カラーマッチング結果としての画素ごとの値をキャッシュとして保持するキャッシュ生成手段と、前記シーンにおける2枚目以降の静止画像に対して、前記画像解析手段で検出された画素ごとの移動量に基づき、画素ごとのキャッシュ検索範囲を設定する設定手段と、前記シーンにおける2枚目以降の静止画像に対して、画素ごとに、前記キャッシュにおける前記キャッシュ検索範囲を検索することによってカラーマッチングを施すカラーマッチング手段と、を有することを特徴とする。   That is, an image processing apparatus for processing a moving image composed of continuous still image groups, a scene dividing means for dividing the moving image into scenes, and a plurality of still images constituting the divided scene. Analyzing and for each pixel, image analysis means for detecting the amount of movement in the scene, color matching is performed on the first still image in the scene, and the value for each pixel as the color matching result is obtained. A cache generation unit that holds the cache, and a setting unit that sets a cache search range for each pixel based on the movement amount for each pixel detected by the image analysis unit for the second and subsequent still images in the scene And searching the cache search range in the cache for each pixel for the second and subsequent still images in the scene. And having a color matching means for performing color matching I.

以上の構成からなる本発明によれば、静止画像群によって構成された動画像に対し、高速な色変換処理を行うことができる。   According to the present invention having the above-described configuration, high-speed color conversion processing can be performed on a moving image configured by a still image group.

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。   Hereinafter, the present invention will be described in detail based on preferred embodiments with reference to the accompanying drawings. The configurations shown in the following embodiments are merely examples, and the present invention is not limited to the illustrated configurations.

<第1実施形態>
図1は、本実施形態における画像処理装置の構成を示すブロック図である。同図において、101はパーソナルコンピュータ(以下、PC)であり、カラーモニタ124が接続されている。PC101は、アプリケーション格納部102、シーン分割部103、画像キャッシュ生成部105、カラーマネジメント処理部107、画像処理部109を有する。そして、上記各処理部によって生成された、または利用されるデータを格納するための、シーン分割情報格納部104、画像キャッシュ格納部106、カラーマッチングテーブル格納部108、変換済み画像格納部110、を有する。そしてさらに、各種パラメータを格納するパラメータ格納部111を有する。パラメータ格納部111は、画像数カウント格納部112、閾値A格納部113、閾値B格納部114、閾値C格納部115、シーン数格納部116、シーン分割情報用配列格納部117、を有する。そしてさらに、移動カウント格納部118、ピクセル情報格納部119、キャッシュ格納部120、検索範囲格納部121、入力フォルダパス格納部122、出力フォルダパス格納部123、を有する。
<First Embodiment>
FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus according to the present embodiment. In the figure, reference numeral 101 denotes a personal computer (hereinafter referred to as a PC) to which a color monitor 124 is connected. The PC 101 includes an application storage unit 102, a scene division unit 103, an image cache generation unit 105, a color management processing unit 107, and an image processing unit 109. Then, a scene division information storage unit 104, an image cache storage unit 106, a color matching table storage unit 108, and a converted image storage unit 110 for storing data generated or used by the respective processing units are provided. Have. Further, it has a parameter storage unit 111 for storing various parameters. The parameter storage unit 111 includes an image number count storage unit 112, a threshold A storage unit 113, a threshold B storage unit 114, a threshold C storage unit 115, a scene number storage unit 116, and a scene division information array storage unit 117. Further, it includes a movement count storage unit 118, a pixel information storage unit 119, a cache storage unit 120, a search range storage unit 121, an input folder path storage unit 122, and an output folder path storage unit 123.

●カラーマッチング処理概要
以下、本実施形態の画像処理装置におけるカラーマッチング処理の全体的な流れについて、図2のフローチャート、および図3,図4を用いて説明する。
Outline of Color Matching Process Hereinafter, the overall flow of the color matching process in the image processing apparatus of the present embodiment will be described with reference to the flowchart of FIG. 2 and FIGS.

まず図2のステップS201において、アプリケーション格納部102に記憶された画像処理アプリケーションが起動される。図3は、ここで起動された画像処理アプリケーションによるUI画面例である。   First, in step S201 in FIG. 2, the image processing application stored in the application storage unit 102 is activated. FIG. 3 shows an example of a UI screen by the image processing application started here.

そしてステップS202において、ユーザが、画像変換対象となる動画像ファイルの元となる、連続静止画像ファイル群(以下、入力連続静止画像群と記す)が格納されているフォルダ(以下、入力フォルダと記す)を指定する。この指定は、図3に示す入力フォルダ設定部301において行われ、指定された入力フォルダのパスは、入力フォルダパス格納部122に記憶される。   In step S202, the user stores a folder (hereinafter referred to as an input folder) in which a continuous still image file group (hereinafter referred to as an input continuous still image group) that is a source of a moving image file to be converted is stored. ) Is specified. This designation is performed in the input folder setting unit 301 shown in FIG. 3, and the path of the designated input folder is stored in the input folder path storage unit 122.

ここで、入力フォルダパスによって示されるフォルダ内に格納されている入力連続静止画像群は、図4に示すように動きに連続性があるように整列されており、かつ、特徴量の異なる複数の画像群(以下、シーンと記す)により構成されているものとする。例えば図4の例では、鳥が飛び立つシーン、月が移動するシーン、鳥が降り立つシーン、の3つのシーンから構成されている入力連続静止画像群を示している。   Here, the input continuous still images stored in the folder indicated by the input folder path are arranged so that the movements are continuous as shown in FIG. It is assumed that the image is composed of an image group (hereinafter referred to as a scene). For example, the example of FIG. 4 shows an input continuous still image group composed of three scenes: a scene in which a bird flies, a scene in which the moon moves, and a scene in which a bird falls.

次にステップS203において、カラーマッチング処理後の連続静止画像群(以下、出力連続静止画像群と記す)を保存するフォルダ(以下、出力フォルダと記す)を、図3の302より指定する。出力フォルダにはすなわち、ステップS202で指定した入力フォルダ内に格納されている入力連続静止画像群に対してカラーマッチング処理を施した結果である出力連続静止画像群が保存される。指定された出力フォルダのパスは、出力フォルダパス格納部123に記憶される。   Next, in step S203, a folder (hereinafter referred to as an output folder) for storing a group of continuous still images after color matching processing (hereinafter referred to as an output continuous still image group) is designated from 302 in FIG. That is, the output continuous still image group that is the result of performing the color matching process on the input continuous still image group stored in the input folder designated in step S202 is stored in the output folder. The designated output folder path is stored in the output folder path storage unit 123.

ステップS204では、入力連続静止画像群に対してカラーマッチング処理を施す際に使用するカラーマッチングテーブルを指定する。この指定は、図3に示すマッチングテーブル設定部303においてぉこなれ、指定されたカラーマッチングテーブルは、カラーマッチングテーブル格納部108に記憶される。   In step S204, a color matching table to be used when color matching processing is performed on the input continuous still image group is designated. This designation is completed in the matching table setting unit 303 shown in FIG. 3, and the designated color matching table is stored in the color matching table storage unit 108.

そしてステップS205において、ユーザが図3に示す変換ボタン304を押下することにより、入力連続静止画像群に対し、カラーマッチングテーブル格納部108に格納されているカラーマッチングテーブル用いたカラーマッチング処理が開始される。なお、処理対象となる入力連続静止画像群は、入力フォルダパス格納部122に格納された入力フォルダパスによって指定される入力フォルダ内に格納されている。カラーマッチング処理が終了することによって作成された出力連続静止画像群は、出力フォルダパス格納部123に格納された出力フォルダパスによって指定されるフォルダ内に保存される。なお、ステップS205におけるカラーマッチング処理については、その概要および詳細について後述する。   In step S205, when the user presses the conversion button 304 shown in FIG. 3, color matching processing using the color matching table stored in the color matching table storage unit 108 is started for the input continuous still image group. The Note that the input continuous still image group to be processed is stored in the input folder specified by the input folder path stored in the input folder path storage unit 122. The output continuous still image group created by completing the color matching process is stored in a folder specified by the output folder path stored in the output folder path storage unit 123. The outline and details of the color matching process in step S205 will be described later.

そしてステップS206において、ユーザが図3に示す終了ボタン305を押下することによって、本実施形態におけるカラーマッチング処理を終了する。   In step S206, when the user presses the end button 305 shown in FIG. 3, the color matching process in this embodiment is ended.

●カラーマッチング処理詳細
図5は、上述したステップS205におけるカラーマッチング処理の概要を示すフローチャートである。
Color Matching Process Details FIG. 5 is a flowchart showing an outline of the color matching process in step S205 described above.

まずステップS501において、入力フォルダパス格納部122に格納されたフォルダパスで示されるフォルダ内に格納されている入力連続静止画像群を、n個のシーンに分割する。例えば、図4に示すような入力連続静止画像群であれば、図6に示すように鳥が飛び立つシーン1と、月が移動するシーン2と、鳥が降り立つシーン3、の3つのシーンに分割される。なお、ステップS501におけるシーン分割処理の詳細については後述する。シーン分割後の処理(S502,S503)は、分割されたシーンを単位として、n個のシーン全てに対して実行される。   First, in step S501, the input continuous still image group stored in the folder indicated by the folder path stored in the input folder path storage unit 122 is divided into n scenes. For example, an input continuous still image group as shown in FIG. 4 is divided into three scenes: a scene 1 in which a bird flies, a scene 2 in which the moon moves, and a scene 3 in which a bird falls as shown in FIG. Is done. Details of the scene division process in step S501 will be described later. The processes after scene division (S502, S503) are executed for all n scenes with the divided scene as a unit.

ステップS502では、シーンを構成する全ての画像に対して画像解析を行い、後段のステップS503で行うカラーマッチング処理におけるキャッシュ検索範囲を決定するために、全ピクセルの移動量を検出する。なお、ステップS502における画像解析処理の詳細については後述する。   In step S502, image analysis is performed on all images constituting the scene, and movement amounts of all pixels are detected in order to determine a cache search range in the color matching process performed in step S503 in the subsequent stage. Details of the image analysis processing in step S502 will be described later.

ステップS503では、ステップS502で検出されたピクセル移動量に基づき、各シーンにおけるキャッシュの検索範囲を判定して、シーンを構成する全ての入力静止画像群に対するカラーマッチング処理を行う。カラーマッチング処理によって得られた出力静止画像群は、出力フォルダパス格納部123に格納された出力フォルダパスによって示されるフォルダ内に保存され、処理を終了する。なお、ステップS503におけるカラーマッチング処理の詳細については、後述する。   In step S503, the cache search range in each scene is determined based on the pixel movement amount detected in step S502, and color matching processing is performed on all input still image groups constituting the scene. The output still image group obtained by the color matching process is stored in the folder indicated by the output folder path stored in the output folder path storage unit 123, and the process ends. Details of the color matching process in step S503 will be described later.

●シーン分割処理
図7は、上述したステップS501におけるシーン分割処理の詳細を示すフローチャートである。
Scene Division Processing FIG. 7 is a flowchart showing details of the scene division processing in step S501 described above.

まずステップS701において、シーン数格納部116に格納されているシーン数を初期化する。そしてステップS702において、画像数カウント格納部112に格納されている画像数カウントを初期化する。ここで画像数カウントとは、シーンにおける最後の静止画像が入力連続静止画像群の何枚目であるかを指す値であり、図6の例であれば、シーン1の画像数カウントは4となり、シーン2の画像数カウントは8となる。   First, in step S701, the number of scenes stored in the scene number storage unit 116 is initialized. In step S702, the image number count stored in the image number count storage unit 112 is initialized. Here, the image number count is a value indicating the number of the last continuous image in the scene that is in the input continuous still image group. In the example shown in FIG. The number of images in scene 2 is 8.

そしてステップS703では、シーン分割部103でのシーン分割演算時に使用されるヒストグラムを作成する。なお、本実施形態ではヒストグラムを用いたシーン分割処理を説明するが、その他の任意の方法を用いて分割を行ってもよい。なお、ステップS703におけるヒストグラム作成処理の詳細については後述する。   In step S703, a histogram used for scene division calculation in the scene division unit 103 is created. In this embodiment, scene division processing using a histogram will be described, but division may be performed using any other method. Details of the histogram creation process in step S703 will be described later.

ステップS704では、ヒストグラムを作成した画像が、入力連続静止画像群の中で1枚目、すなわち最初の静止画像であるか否かを判定する。1枚目の静止画像であった場合はステップS705に進み、2枚目以降の静止画像である場合はステップS706に進む。   In step S704, it is determined whether the image for which the histogram has been created is the first image in the input continuous still image group, that is, the first still image. If it is the first still image, the process proceeds to step S705. If it is the second or subsequent still image, the process proceeds to step S706.

ステップS705では、ステップS703で作成されたヒストグラムをシーン分割情報格納部104に格納する。   In step S705, the histogram created in step S703 is stored in the scene division information storage unit 104.

一方ステップS706では、静止画像ごとのヒストグラムの変化量として、シーン分割情報格納部104に格納されている1枚前の静止画像のヒストグラムとの誤差Dを算出する。誤差Dの算出方法は任意であるが、一例としては、ステップS703で作成されたヒストグラムと、シーン分割情報格納部104に格納されている1枚前の静止画像のヒストグラムの面積をそれぞれ計算し、その面積の差を誤差Dとする方法がある。   On the other hand, in step S706, an error D from the histogram of the previous still image stored in the scene division information storage unit 104 is calculated as the amount of change in the histogram for each still image. Although the calculation method of the error D is arbitrary, as an example, the histogram created in step S703 and the area of the histogram of the previous still image stored in the scene division information storage unit 104 are respectively calculated. There is a method in which the difference in area is defined as error D.

そしてステップS707において、ステップS706で算出した誤差Dと、閾値A格納部113に格納されている閾値Aを比較し、誤差Dが閾値Aより大きい場合にはシーンが切り替わったと判定し、ステップS708に進む。一方、誤差Dが閾値A以下である場合にはシーンが切り替わっていないと判定し、ステップS705に進む。ここで閾値Aの値としては、入力静止画像群を構成するシーンの数が多い場合には小さく、シーンの数が少ない場合には大きくなるように、予め設定しておいても良い。   In step S707, the error D calculated in step S706 is compared with the threshold A stored in the threshold A storage unit 113. If the error D is greater than the threshold A, it is determined that the scene has been switched, and the process proceeds to step S708. move on. On the other hand, if the error D is less than or equal to the threshold A, it is determined that the scene has not been switched, and the process proceeds to step S705. Here, the value of the threshold A may be set in advance so as to be small when the number of scenes constituting the input still image group is large and large when the number of scenes is small.

ステップS708では、シーン数格納部116に格納されているシーン数をインクリメントする。詳細には、シーン数格納部116に格納されているシーン数を取り出し、該シーン数に対して1を加算し、加算後のシーン数をシーン数格納部116に記憶する。   In step S708, the number of scenes stored in the scene number storage unit 116 is incremented. Specifically, the number of scenes stored in the scene number storage unit 116 is extracted, 1 is added to the number of scenes, and the number of scenes after the addition is stored in the scene number storage unit 116.

ステップS709では、シーンが切り替わった時点における画像数カウントを、前シーン、すなわちシーン数格納部116に格納されたシーン数に対応するシーンにおける画像数カウントとして、画像数カウント格納部112に登録する。図6に示す例では、シーン1からシーン2に切り替わる際に、シーン1に対するの画像数カウントが4として登録される。   In step S 709, the image count at the time when the scene is switched is registered in the image count storage unit 112 as an image count in the previous scene, that is, the scene corresponding to the number of scenes stored in the scene count storage unit 116. In the example shown in FIG. 6, when the scene 1 is switched to the scene 2, the image count for the scene 1 is registered as 4.

そしてステップS710では、画像数カウント格納部112に格納されている変数としての画像数カウントをインクリメントする。詳細には、画像数カウント格納部112に格納されている画像数カウントを取り出し、該画像数カウントに対して1を加算し、加算後の画像数カウントを画像数カウント格納部112に再び記憶する。   In step S710, the image number count as a variable stored in the image number count storage unit 112 is incremented. Specifically, the number of images stored in the image number count storage unit 112 is extracted, 1 is added to the image number count, and the image number count after the addition is stored in the image number count storage unit 112 again. .

そしてステップS711において、入力連続静止画像群を構成する全ての静止画像に対して、シーン分割処理が終了したか否かを判定する。全ての静止画像に対してシーン分割処理が終了していればシーンの分割処理を終了するが、未終了であればステップS703に進んで次の静止画像についてのヒストグラムの作成を開始する。   In step S711, it is determined whether or not the scene division processing has been completed for all the still images constituting the input continuous still image group. If the scene division process has been completed for all still images, the scene division process is terminated. If not, the process proceeds to step S703 to start creating a histogram for the next still image.

●ヒストグラム作成処理
図8は、上述したステップS703におけるヒストグラム作成処理の詳細を示すフローチャートである。図8においては、対象画像がRGB画像である場合を例として示しているが、他の要素によって構成される画像においても同様の処理が可能である。
Histogram Creation Process FIG. 8 is a flowchart showing details of the histogram creation process in step S703 described above. In FIG. 8, a case where the target image is an RGB image is shown as an example, but the same processing can be performed for an image composed of other elements.

まずステップS801において、シーン分割情報用配列格納部117に格納されているヒストグラム用配列R[255],G[255],B[255]を初期化する。そしてステップS802において、ヒストグラムを作成する静止画像のピクセルデータ(Rd,Gd,Bd)を取得する。   First, in step S801, the histogram arrays R [255], G [255], and B [255] stored in the scene division information array storage unit 117 are initialized. In step S802, pixel data (Rd, Gd, Bd) of a still image for creating a histogram is acquired.

そしてステップS803において、ステップS802で取得したR色の濃度値をインデックスRdとして持つヒストグラム用配列R[Rd]に対して、1を加算する。例えば、ステップS802で取得したR色の濃度値が100だった場合は、R[100]=R[100]+1の加算処理を行う。そしてステップS804,S805でも同様に、それぞれG色,B色について、R色と同様のヒストグラム用配列への加算処理を行う。   In step S803, 1 is added to the histogram array R [Rd] having the R color density value acquired in step S802 as the index Rd. For example, when the density value of R color acquired in step S802 is 100, an addition process of R [100] = R [100] +1 is performed. Similarly, in steps S804 and S805, the G color and B color are respectively added to the histogram array similar to the R color.

そしてステップS806において、ヒストグラム作成処理が静止画像の全てのピクセルデータについて終了したか否かを判定し、全てのピクセルデータについて終了した場合には処理を終了するが、未終了であればステップS802に戻る。   In step S806, it is determined whether or not the histogram creation process has been completed for all the pixel data of the still image. If all the pixel data has been completed, the process ends. If not, the process proceeds to step S802. Return.

ここで図9に、図8に示したヒストグラム作成処理によって生成された一次色(ここではRGB)のうち、R色のヒストグラム例を示す。図9に示すヒストグラムはすなわち、第1要素が濃度値、第2要素が該濃度値を有するピクセル数を表す(0,R[0]),・・・,(255,R[255])を棒グラフ化したものである。   Here, FIG. 9 shows an example of an R color histogram among the primary colors (RGB in this case) generated by the histogram creation processing shown in FIG. The histogram shown in FIG. 9 indicates (0, R [0]),..., (255, R [255]) where the first element represents the density value and the second element represents the number of pixels having the density value. It is a bar graph.

●画像解析処理(ピクセル移動量検出)
図10は、上述したステップS502における、各シーンのキャッシュ検索範囲を決定するための画像解析処理を示すフローチャートである。図10のフローチャートに示す処理は、ステップS501において分割された各シーンのそれぞれに対して実施され、シーン内における各ピクセルの動きを解析し、個々のピクセルについて、シーン内における最終的な移動量を検出する。
● Image analysis processing (detection of pixel movement)
FIG. 10 is a flowchart showing image analysis processing for determining the cache search range of each scene in step S502 described above. The process shown in the flowchart of FIG. 10 is performed for each of the scenes divided in step S501, analyzes the movement of each pixel in the scene, and determines the final movement amount in the scene for each pixel. To detect.

まずステップS1001において、移動カウント格納部118に格納された移動カウントを初期化する。ここで移動カウントとは、各ピクセルのシーン内における移動量の大きさを示す値であり、シーン内の1枚目の画像を構成する全てのピクセルについて保持される。そしてステップS1002〜S1006において、シーンを構成する全ての画像を解析することにより、ピクセル毎の移動カウントを決定する。   First, in step S1001, the movement count stored in the movement count storage unit 118 is initialized. Here, the movement count is a value indicating the magnitude of the movement amount of each pixel in the scene, and is held for all the pixels constituting the first image in the scene. In steps S1002 to S1006, the movement count for each pixel is determined by analyzing all the images constituting the scene.

ステップS1002では、画像解析の実施対象である静止画像がシーンの1枚目であるか否かを判定する。この判定は、画像数カウント格納部112にシーン毎に登録されている画像数カウントを参照することによって行われる。該判定により、静止画像がシーンの1枚目の画像である場合はステップS1003に進むが、静止画像がシーンの1枚目でない、すなわち2枚目以降である場合にはステップS1004に進む。   In step S1002, it is determined whether or not the still image that is the target of image analysis is the first scene. This determination is performed by referring to the image number count registered for each scene in the image number count storage unit 112. If it is determined that the still image is the first image of the scene, the process proceeds to step S1003. If the still image is not the first image of the scene, that is, the second or later image, the process proceeds to step S1004.

ステップS1003では、1枚目の静止画像において各座標に対応付けられたピクセルについて、その移動量を判定するための閾値Bを決定し、閾値B格納部114に格納する。すなわち閾値Bは、1枚目の静止画像における座標毎に設定される。ここで閾値Bの決定方法としては、例えばRGB画像であれば、1枚目の静止画像における座標(i,j)のピクセル情報(Ri,j,Gi,j,Bi,j)に対して、所定の変化量を設定する。例えば、(Ri,j−10,Gi,j−10,Bi,j−10)や、(Ri,j+10,Gi,j+10,Bi,j+10)の様に、当該ピクセルに対して変化量10を加算もしくは減算した値を、閾値Bとしてもよい。 In step S <b> 1003, a threshold value B for determining the movement amount of the pixel associated with each coordinate in the first still image is determined and stored in the threshold value B storage unit 114. That is, the threshold value B is set for each coordinate in the first still image. Here, as a method for determining the threshold B, for example, in the case of an RGB image, the pixel information (R i, j , G i, j , B i, j ) of the coordinates (i, j) in the first still image is used. On the other hand, a predetermined change amount is set. For example, (R i, j -10, G i, j -10, B i, j -10) or, (R i, j + 10 , G i, j + 10, B i, j +10) as of the The threshold B may be a value obtained by adding or subtracting the change amount 10 to the pixel.

一方、ステップS1004では、各座標のピクセル情報と、ステップS1003で作成した閾値Bとの比較を行う。該比較の結果、ピクセル情報が閾値Bより大きい場合には、そのピクセルはシーンの先頭画像からの動きが大きいと判定してステップS1005に進むが、ピクセル情報が閾値B以下であれば、そのピクセルは動きが小さいと判定してステップS1006に進む。   On the other hand, in step S1004, the pixel information of each coordinate is compared with the threshold value B created in step S1003. If the pixel information is larger than the threshold B as a result of the comparison, it is determined that the pixel has a large movement from the top image of the scene, and the process proceeds to step S1005. Determines that the movement is small, and proceeds to step S1006.

ステップS1005では、当該ピクセルの動きが大きいため、移動カウントをインクリメントする。詳細には、移動カウント格納部118に格納されている移動カウントを取り出し、該移動カウントに1を加算した後、該加算後の移動カウントを移動カウント格納部118に格納する。   In step S1005, the movement count is incremented because the movement of the pixel is large. Specifically, the movement count stored in the movement count storage unit 118 is taken out, 1 is added to the movement count, and the movement count after the addition is stored in the movement count storage unit 118.

ステップS1006では、当該ピクセルについての移動カウントの計算処理が、シーンを構成する全ての静止画像について終了したか否かを判定する。全ての静止画像に対して移動カウントの計算処理が終了していればステップS1007に進むが、未終了であれば、次の静止画像における処理を行うためにステップS1002に進む。   In step S1006, it is determined whether or not the movement count calculation processing for the pixel has been completed for all the still images constituting the scene. If the movement count calculation processing has been completed for all the still images, the process proceeds to step S1007. If not completed yet, the process proceeds to step S1002 in order to perform processing for the next still image.

次に、ステップS1007〜S1009においては、上述したように決定されたピクセル毎の移動カウントに基づいて、ピクセル毎に変化量の大小を決定する。   Next, in steps S1007 to S1009, the amount of change is determined for each pixel based on the movement count for each pixel determined as described above.

まずステップS1007において、ピクセル毎の移動カウントが、閾値C格納部115に格納された、任意の定数である閾値Cより大きいか否かを判定する。移動カウントが閾値Cより大きい場合には、そのピクセルはシーン内での動きが大きいと判定し、ステップS1008に進む。一方、移動カウントが閾値C以下である場合には、そのピクセルはシーン内での動きが小さいと判定し、ステップS1009に進む。   First, in step S <b> 1007, it is determined whether or not the movement count for each pixel is larger than a threshold value C that is an arbitrary constant stored in the threshold value C storage unit 115. If the movement count is greater than the threshold C, it is determined that the pixel has a large movement in the scene, and the process proceeds to step S1008. On the other hand, if the movement count is less than or equal to the threshold value C, it is determined that the pixel has little movement in the scene, and the process proceeds to step S1009.

ステップS1008では、当該ピクセルが変化量の大きい動的ピクセルである旨を、ピクセル情報格納部119にピクセル情報として登録する。一方、ステップS1009では、当該ピクセルが変化量の小さい静的ピクセルである旨を、ピクセル情報格納部119にピクセル情報として登録する。   In step S1008, information indicating that the pixel is a dynamic pixel having a large change amount is registered in the pixel information storage unit 119 as pixel information. On the other hand, in step S1009, the fact that the pixel is a static pixel with a small amount of change is registered in the pixel information storage unit 119 as pixel information.

上記ステップS1001〜S1009で行った、各ピクセルに対する移動カウントの決定、および変化量の登録は、シーン内の1枚目の静止画像内の全ピクセルに対して行われる。ここで登録された各ピクセルの変化量に基づいて、後述するカラーマッチング処理時に参照されるキャッシュの検索範囲が決定される。   The determination of the movement count for each pixel and the registration of the change amount performed in steps S1001 to S1009 are performed for all the pixels in the first still image in the scene. Based on the amount of change of each pixel registered here, a cache search range referred to in the color matching process described later is determined.

ステップS1010では、ステップS1001で移動カウントが割り当てられた全てのピクセル(すなわち、シーン内の1枚目の静止画像内における全てのピクセル)について、動的または静的ピクセルの判定が終了したか否かを判定する。終了していれば処理を終了するが、未終了であれば、次のピクセルの判定を行うためにステップS1001に移動する。   In step S1010, whether or not dynamic or static pixel determination has been completed for all pixels to which the movement count is assigned in step S1001 (that is, all pixels in the first still image in the scene). Determine. If completed, the process ends. If not completed, the process moves to step S1001 to determine the next pixel.

●カラーマッチング処理
図11は、上述したステップS503におけるカラーマッチング処理の詳細を示すフローチャートである。図11のフローチャートに示す処理は、ステップS501において分割された各シーンのそれぞれに対して実施される。
Color Matching Process FIG. 11 is a flowchart showing details of the color matching process in step S503 described above. The process shown in the flowchart of FIG. 11 is performed for each of the scenes divided in step S501.

まずステップS1101において、カラーマッチング対象となる静止画像が、シーンの1枚目の画像であるか否かを判定する。この判定は、画像数カウント格納部112にシーン毎に登録されている画像数カウントを参照することによって行われる。1枚目であれば、全てのピクセル情報に対してカラーマッチング処理を行ってキャッシュデータを作成するためにステップS1102に進む。一方、1枚目でない、すなわち2枚目以降である場合には、キャッシュデータを参照したカラーマッチング処理を行うためにステップS1106に進む。   First, in step S1101, it is determined whether or not the still image to be color-matched is the first image in the scene. This determination is performed by referring to the image number count registered for each scene in the image number count storage unit 112. If it is the first image, the process advances to step S1102 to perform color matching processing on all pixel information and create cache data. On the other hand, if it is not the first sheet, that is, the second sheet or later, the process advances to step S1106 to perform color matching processing with reference to the cache data.

まず、シーン内の1枚目の静止画像に対するカラーマッチング処理について説明する。   First, the color matching process for the first still image in the scene will be described.

ステップS1102では、カラーマネジメント処理部107において、カラーマッチングテーブル格納部108に格納されたカラーマッチングテーブルを使用して、カラーマッチングの演算を行う。ここでカラーマッチングの演算とは、図12に示すように、入力ピクセルのRGB値に対し、所望の色再現が可能となる出力ピクセルのRGB値を算出する処理である。なお、具体的なカラーマッチング方法は任意であって構わない。   In step S1102, the color management processing unit 107 performs a color matching operation using the color matching table stored in the color matching table storage unit. Here, the color matching calculation is a process of calculating the RGB value of the output pixel that enables desired color reproduction with respect to the RGB value of the input pixel, as shown in FIG. A specific color matching method may be arbitrary.

そしてステップS1103では画像キャッシュ生成部105において、ステップS1102で行ったカラーマッチング結果をキャッシュデータとして、画像キャッシュ格納部106に登録する。画像キャッシュ格納部106に格納された画像キャッシュは、例えばRGB画像であれば図12に示すように、座標情報と入力RGBデータ、およびステップS1102で算出された出力RGBデータで構成されているものとする。   In step S1103, the image cache generation unit 105 registers the color matching result performed in step S1102 in the image cache storage unit 106 as cache data. If the image cache stored in the image cache storage unit 106 is an RGB image, for example, as shown in FIG. 12, the image cache is composed of coordinate information, input RGB data, and output RGB data calculated in step S1102. To do.

そしてステップS1104では画像処理部109において、カラーマッチング済みのピクセルデータを、変換済み画像格納部110に格納する。   In step S1104, the image processing unit 109 stores the color-matched pixel data in the converted image storage unit 110.

そしてステップS1105では、1枚目の画像内の全てのピクセルに対し、カラーマッチング処理が終了したか否かを判定する。全てのピクセルに対してカラーマッチング処理が終了していればステップS1114に進むが、未終了であれば、次のピクセルの処理を行うためにステップS1102に進む。   In step S1105, it is determined whether or not the color matching process has been completed for all the pixels in the first image. If the color matching process has been completed for all the pixels, the process proceeds to step S1114. If the color matching process has not been completed, the process proceeds to step S1102 to perform the process for the next pixel.

次に、シーンの2枚目以降の静止画像に対する、キャッシュデータを用いたカラーマッチング処理について説明する。   Next, color matching processing using cache data for the second and subsequent still images in the scene will be described.

ステップS1106では、ピクセル情報格納部119に格納されているピクセル情報に基づき、カラーマッチング対象であるピクセルデータが静的ピクセルであるか動的ピクセルであるかを判定する。静的ピクセルであればステップS1107に進み、動的ピクセルであればステップS1108に進む。   In step S1106, based on the pixel information stored in the pixel information storage unit 119, it is determined whether the pixel data that is the color matching target is a static pixel or a dynamic pixel. If it is a static pixel, the process proceeds to step S1107, and if it is a dynamic pixel, the process proceeds to step S1108.

ステップS1107では、キャッシュ検索範囲を任意の領域Sに設定し、検索範囲格納部121に格納する。一方、ステップS1108では、キャッシュ検索範囲を任意の領域Lに設定し、検索範囲格納部121に格納する。なお、キャッシュ検索範囲として設定される領域Sおよび領域Lはそれぞれ、シーンによって異なる値であり、S<Lの関係がある。すなわち、動的ピクセルに対する検索領域Lのほうが、静的ピクセルの検索領域Sよりも広くなるように設定される。   In step S 1107, the cache search range is set to an arbitrary region S and stored in the search range storage unit 121. On the other hand, in step S 1108, the cache search range is set to an arbitrary region L and stored in the search range storage unit 121. The areas S and L set as the cache search range are different values depending on the scene, and there is a relationship of S <L. That is, the search area L for dynamic pixels is set to be wider than the search area S for static pixels.

そしてステップS1109において、キャッシュ格納部120に、カラーマッチング処理対象のピクセルデータに対するキャッシュデータが格納されているか否かを判定する。この判定は、キャッシュ格納部に格納されたキャッシュデータにおいて、まずは当該ピクセルの座標に対応する位置に、該ピクセルのデータ値(入力RGB値)が設定されているか否かを検証する。設定されていない場合には、該ピクセルには動きがあったので、上述したように設定された検索範囲内で、キャッシュデータ内に当該ピクセルのデータ値が存在するか否かを検証する。すなわち、キャッシュデータ内の検索は、ステップS1107またはS1108で検索範囲格納部121に格納した領域Sまたは領域Lを検索範囲として行われる。   In step S1109, it is determined whether or not cache data for the pixel data to be subjected to color matching processing is stored in the cache storage unit 120. In this determination, in the cache data stored in the cache storage unit, first, it is verified whether or not a data value (input RGB value) of the pixel is set at a position corresponding to the coordinates of the pixel. If it is not set, the pixel has moved, and therefore, it is verified whether or not the data value of the pixel exists in the cache data within the search range set as described above. That is, the search in the cache data is performed using the area S or the area L stored in the search range storage unit 121 in step S1107 or S1108 as the search range.

ステップS1109において、検索範囲内にキャッシュデータが存在する場合はステップS1110に進み、キャッシュデータが存在しない場合はステップS1111に進む。   In step S1109, if cache data exists within the search range, the process proceeds to step S1110. If cache data does not exist, the process proceeds to step S1111.

ステップS1110では画像処理部109において、カラーマッチング済みのピクセルデータを、変換済み画像格納部110に格納する。このとき、ステップS1109でキャッシュデータが存在した場合には当該キャッシュデータの値を格納するが、キャッシュデータが存在しなかった場合には、後述するステップS1111でのカラーマッチング結果として得られるピクセルデータの値を格納する。   In step S1110, the image processing unit 109 stores the color-matched pixel data in the converted image storage unit 110. At this time, if the cache data exists in step S1109, the value of the cache data is stored. If the cache data does not exist, the pixel data obtained as a color matching result in step S1111 described later is stored. Stores a value.

ステップS1111ではカラーマネジメント処理部107において、上述したステップS1102と同様のカラーマッチング処理を行う。次にステップS1112では画像キャッシュ生成部105において、ステップS1111でのマッチング計算結果を、画像キャッシュ格納部106に格納されている同座標のキャッシュデータに上書きすることにより、キャッシュデータを更新する。   In step S <b> 1111, the color management processing unit 107 performs the same color matching process as in step S <b> 1102 described above. In step S <b> 1112, the image cache generation unit 105 updates the cache data by overwriting the matching calculation result in step S <b> 1111 on the cache data of the same coordinates stored in the image cache storage unit 106.

ステップS1113では、全てのピクセルに対してキャッシュデータを参照したカラーマッチング処理が終了したか否かを判定する。全てのピクセルに対するカラーマッチング処理が終了した場合にはステップS1114に進むが、未終了であれば、次のピクセルの処理を行うためにステップS1106に進む。   In step S1113, it is determined whether or not the color matching process referring to the cache data for all the pixels has been completed. If the color matching process for all the pixels has been completed, the process proceeds to step S1114. If the color matching process has not been completed, the process proceeds to step S1106 to process the next pixel.

以上により、1枚の静止画像に対し、シーン内での順番に応じたカラーマッチング処理が終了する。すると次にステップS1114で画像処理部109において、変換済み画像格納部110に格納されているカラーマッチング済みのピクセルデータを、画像ファイル化して保存する。このとき、画像ファイルは、出力フォルダパス格納部123に格納された出力フォルダパスによって示されるフォルダ内に保存される。   As described above, the color matching process corresponding to the order in the scene is completed for one still image. In step S1114, the image processing unit 109 stores the color-matched pixel data stored in the converted image storage unit 110 as an image file. At this time, the image file is stored in a folder indicated by the output folder path stored in the output folder path storage unit 123.

そしてステップS1115において、シーンを構成する全ての静止画像に対し、カラーマッチングが終了したか否かを判定する。全ての静止画像に対してカラーマッチングが終了した場合には処理を終了するが、未終了であれば、次の静止画像に対してカラーマッチングを施すためにステップS1101に進む。   In step S1115, it is determined whether or not color matching has been completed for all still images constituting the scene. If the color matching has been completed for all still images, the process ends. If not, the process advances to step S1101 to perform color matching on the next still image.

以上説明したように本実施形態によれば、動画コンテンツを構成する静止画像群に対し、各静止画像における特徴量の変化量に基づいてシーンに分割し、該シーン毎に異なるキャッシュを用いたカラーマッチング処理を行う。このとき、動きの大きさに応じてキャッシュ検索範囲を変更することによって、より高速なカラーマッチング処理が可能とする。   As described above, according to the present embodiment, the group of still images constituting the moving image content is divided into scenes based on the amount of change in the feature amount in each still image, and a color using a different cache for each scene. Perform the matching process. At this time, by changing the cache search range in accordance with the magnitude of the movement, a higher-speed color matching process can be performed.

<他の実施形態>
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
<Other embodiments>
Although the embodiment has been described in detail above, the present invention can take an embodiment as a system, apparatus, method, program, recording medium (storage medium), or the like. Specifically, the present invention may be applied to a system composed of a plurality of devices (for example, a host computer, an interface device, an imaging device, a web application, etc.), or may be applied to a device composed of a single device. good.

尚本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。なお、この場合のプログラムとは、コンピュータ読取可能であり、実施形態において図に示したフローチャートに対応したプログラムである。   In the present invention, a software program for realizing the functions of the above-described embodiments is supplied directly or remotely to a system or apparatus, and the computer of the system or apparatus reads and executes the supplied program code. Is also achieved. The program in this case is a computer-readable program that corresponds to the flowchart shown in the drawing in the embodiment.

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。   Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。   In this case, as long as it has a program function, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, or the like.

プログラムを供給するための記録媒体としては、以下に示す媒体がある。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM,DVD-R)などである。   Recording media for supplying the program include the following media. For example, floppy disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD- R).

プログラムの供給方法としては、以下に示す方法も可能である。すなわち、クライアントコンピュータのブラウザからインターネットのホームページに接続し、そこから本発明のコンピュータプログラムそのもの(又は圧縮され自動インストール機能を含むファイル)をハードディスク等の記録媒体にダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。   As a program supply method, the following method is also possible. That is, the browser of the client computer is connected to a homepage on the Internet, and the computer program itself (or a compressed file including an automatic installation function) of the present invention is downloaded to a recording medium such as a hard disk. It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.

また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせることも可能である。すなわち該ユーザは、その鍵情報を使用することによって暗号化されたプログラムを実行し、コンピュータにインストールさせることができる。   In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and key information for decryption is downloaded from a homepage via the Internet to users who have cleared predetermined conditions. It is also possible to make it. That is, the user can execute the encrypted program by using the key information and install it on the computer.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。   Further, the functions of the above-described embodiments are realized by the computer executing the read program. Furthermore, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can also be realized by the processing.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、実行されることによっても、前述した実施形態の機能が実現される。すなわち、該プログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行うことが可能である。   Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, and then executed, so that the program of the above-described embodiment can be obtained. Function is realized. That is, based on the instructions of the program, the CPU provided in the function expansion board or function expansion unit can perform part or all of the actual processing.

本発明に係る一実施形態における画像処理装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image processing apparatus in one Embodiment which concerns on this invention. 本実施形態におけるカラーマッチング処理の全体概要を示すフローチャートである。It is a flowchart which shows the whole color matching process in this embodiment. 本実施形態におけるユーザーインターフェース例を示す図である。It is a figure which shows the example of a user interface in this embodiment. 本実施形態における動画像群の一例を示す図である。It is a figure which shows an example of the moving image group in this embodiment. 本実施形態におけるカラーマッチング処理の概要を示すフローチャートである。It is a flowchart which shows the outline | summary of the color matching process in this embodiment. 本実施形態における動画像群のシーン分割例を示す図である。It is a figure which shows the example of a scene division | segmentation of the moving image group in this embodiment. 本実施形態におけるシーン分割処理を示すフローチャートである。It is a flowchart which shows the scene division | segmentation process in this embodiment. 本実施形態におけるヒストグラム作成処理を示すフローチャートである。It is a flowchart which shows the histogram creation process in this embodiment. 本実施形態において作成された1次色のヒストグラム例を示す図である。It is a figure which shows the histogram example of the primary color produced in this embodiment. 本実施形態における画像解析処理を示すフローチャートである。It is a flowchart which shows the image analysis process in this embodiment. 本実施形態におけるカラーマッチング処理の詳細を示すフローチャートである。It is a flowchart which shows the detail of the color matching process in this embodiment. 本実施形態における画像キャッシュ例を示す図である。It is a figure which shows the example of an image cache in this embodiment.

Claims (9)

連続する静止画像群で構成される動画像を処理する画像処理装置であって、
前記動画像をシーンごとに分割するシーン分割手段と、
該分割されたシーンを構成する複数の静止画像を解析して、画素ごとに、シーン内での移動量を検出する画像解析手段と、
前記シーンにおける1枚目の静止画像に対してカラーマッチングを施し、該カラーマッチング結果としての画素ごとの値をキャッシュとして保持するキャッシュ生成手段と、
前記シーンにおける2枚目以降の静止画像に対して、前記画像解析手段で検出された画素ごとの移動量に基づき、画素ごとのキャッシュ検索範囲を設定する設定手段と、
前記シーンにおける2枚目以降の静止画像に対して、画素ごとに、前記キャッシュにおける前記キャッシュ検索範囲を検索することによってカラーマッチングを施すカラーマッチング手段と、
を有することを特徴とする画像処理装置。
An image processing apparatus for processing a moving image composed of continuous still image groups,
Scene dividing means for dividing the moving image into scenes;
Image analysis means for analyzing a plurality of still images constituting the divided scene and detecting a movement amount in the scene for each pixel;
A cache generating means for performing color matching on the first still image in the scene and holding a value for each pixel as a result of the color matching as a cache;
Setting means for setting a cache search range for each pixel based on the movement amount for each pixel detected by the image analysis means for the second and subsequent still images in the scene;
Color matching means for performing color matching by searching the cache search range in the cache for each pixel for the second and subsequent still images in the scene;
An image processing apparatus comprising:
前記シーン分割手段は、前記静止画像ごとのヒストグラムの変化量に基づいて、前記静止画像群を複数のシーンに分割することを特徴とする請求項1に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the scene dividing unit divides the still image group into a plurality of scenes based on a change amount of a histogram for each still image. 前記画像解析手段は、画素ごとに、シーン内において予め定められた移動量を超えた動きがあるか否かを検出することを特徴とする請求項1または2に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the image analysis unit detects whether or not there is a movement exceeding a predetermined movement amount in a scene for each pixel. 前記カラーマッチング手段は、前記キャッシュ検索範囲において当該画素に対応するキャッシュデータが検出された場合に、該キャッシュデータを該画素に対するカラーマッチング結果とすることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。   4. The color matching unit according to claim 1, wherein when the cache data corresponding to the pixel is detected in the cache search range, the color matching unit uses the cache data as a color matching result for the pixel. The image processing apparatus according to item 1. 前記カラーマッチング手段は、前記キャッシュ検索範囲において当該画素に対応するキャッシュデータが検出されない場合に、該画素に対するカラーマッチングを施すことを特徴とする請求項4に記載の画像処理装置。   The image processing apparatus according to claim 4, wherein the color matching unit performs color matching on the pixel when cache data corresponding to the pixel is not detected in the cache search range. 前記カラーマッチング手段は、前記キャッシュ検索範囲において当該画素に対応するキャッシュデータが検出されない場合に、該画素に対するカラーマッチングを施した結果で前記キャッシュを更新することを特徴とする請求項5に記載の画像処理装置。   The said color matching means updates the said cache with the result of having performed the color matching with respect to this pixel, when the cache data corresponding to the said pixel are not detected in the said cache search range. Image processing device. 連続する静止画像群で構成される動画像を処理する画像処理方法であって、
シーン分割手段が、前記動画像をシーンごとに分割するシーン分割ステップと、
画像解析手段が、該分割されたシーンを構成する複数の静止画像を解析して、画素ごとに、シーン内での移動量を検出する画像解析ステップと、
キャッシュ生成手段が、前記シーンにおける1枚目の静止画像に対してカラーマッチングを施し、該カラーマッチング結果としての画素ごとの値をキャッシュとして保持するキャッシュ生成ステップと、
設定手段が、前記シーンにおける2枚目以降の静止画像に対して、前記画像解析ステップで検出された画素ごとの移動量に基づき、画素ごとのキャッシュ検索範囲を設定する設定ステップと、
カラーマッチング手段が、前記シーンにおける2枚目以降の静止画像に対して、画素ごとに、前記キャッシュにおける前記キャッシュ検索範囲を検索することによってカラーマッチングを施すカラーマッチングステップと、
を有することを特徴とする画像処理方法。
An image processing method for processing a moving image composed of continuous still image groups,
A scene dividing step in which the scene dividing means divides the moving image for each scene;
An image analysis step for analyzing a plurality of still images constituting the divided scene and detecting a movement amount in the scene for each pixel;
A cache generation step, wherein the cache generation means performs color matching on the first still image in the scene, and stores a value for each pixel as the color matching result as a cache;
A setting step for setting a cache search range for each pixel based on a movement amount for each pixel detected in the image analysis step for the second and subsequent still images in the scene;
A color matching step in which color matching means performs color matching on the second and subsequent still images in the scene by searching the cache search range in the cache for each pixel;
An image processing method comprising:
コンピュータ上で実行されることにより、該コンピュータを請求項1乃至6のいずれか1項に記載の画像処理装置として機能させることを特徴とするコンピュータプログラム。   A computer program that, when executed on a computer, causes the computer to function as the image processing apparatus according to any one of claims 1 to 6. 請求項8に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読取可能な記録媒体。   A computer-readable recording medium on which the computer program according to claim 8 is recorded.
JP2007142322A 2007-05-29 2007-05-29 Image processor and processing method Withdrawn JP2008300981A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007142322A JP2008300981A (en) 2007-05-29 2007-05-29 Image processor and processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007142322A JP2008300981A (en) 2007-05-29 2007-05-29 Image processor and processing method

Publications (1)

Publication Number Publication Date
JP2008300981A true JP2008300981A (en) 2008-12-11

Family

ID=40174115

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007142322A Withdrawn JP2008300981A (en) 2007-05-29 2007-05-29 Image processor and processing method

Country Status (1)

Country Link
JP (1) JP2008300981A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101492060B1 (en) * 2013-08-20 2015-02-12 전자부품연구원 Method for overall transforming color of video

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101492060B1 (en) * 2013-08-20 2015-02-12 전자부품연구원 Method for overall transforming color of video
WO2015025999A1 (en) * 2013-08-20 2015-02-26 전자부품연구원 Method for changing colors of video all at once and recording medium thereof

Similar Documents

Publication Publication Date Title
JP5260733B2 (en) Copy animation effects from a source object to at least one target object
JP4580183B2 (en) Generation of visually representative video thumbnails
US20170285922A1 (en) Systems and methods for creation and sharing of selectively animated digital photos
JP7059318B2 (en) Learning data generation method and system for classifier learning with regional characteristics
US11438510B2 (en) System and method for editing video contents automatically technical field
JP2009537047A (en) Video viewing user interface
US9672866B2 (en) Automated looping video creation
JP5377067B2 (en) Image processing apparatus, image processing apparatus control method, and program
US10998007B2 (en) Providing context aware video searching
JP7483979B2 (en) Method and apparatus for playing multi-dimensional responsive images
JP2006244074A (en) Moving object close-up frame detection method and program, storage medium storing program, moving object close-up shot detection method, moving object close-up frame or shot detection method and program, and storage medium storing program
KR20170133618A (en) Method and program for setting thumbnail image
KR102546631B1 (en) Apparatus for video data argumentation and method for the same
US20050191036A1 (en) Information processing apparatus and method, program therefor and storage medium
JP4199214B2 (en) Movie generation device, movie generation method, movie generation program
JP5271015B2 (en) Image processing apparatus, image processing method, and program
JP2018097490A (en) Information processor, method and program
JP2008300981A (en) Image processor and processing method
JP3979768B2 (en) Digital video segmentation method and apparatus
KR20180053494A (en) Method for constructing game space based on augmented reality in mobile environment
JP2005117182A (en) Image display apparatus, image display method, program, and recording medium
JP2008020944A (en) Image processing method, program, and device
JP2009015774A (en) Information processing unit and information processing method
JP4200960B2 (en) Editing apparatus, editing method, and program
JP4210186B2 (en) Summary video creation server, program and recording medium

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20100803