JP4550129B2 - Image processing apparatus, program, and image processing method - Google Patents

Image processing apparatus, program, and image processing method Download PDF

Info

Publication number
JP4550129B2
JP4550129B2 JP2008151013A JP2008151013A JP4550129B2 JP 4550129 B2 JP4550129 B2 JP 4550129B2 JP 2008151013 A JP2008151013 A JP 2008151013A JP 2008151013 A JP2008151013 A JP 2008151013A JP 4550129 B2 JP4550129 B2 JP 4550129B2
Authority
JP
Japan
Prior art keywords
correction value
image
frame image
frame
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008151013A
Other languages
Japanese (ja)
Other versions
JP2008271594A (en
Inventor
文人 竹本
治人 廣瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008151013A priority Critical patent/JP4550129B2/en
Publication of JP2008271594A publication Critical patent/JP2008271594A/en
Application granted granted Critical
Publication of JP4550129B2 publication Critical patent/JP4550129B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

本発明は、画像処理装置、プログラム、画像処理方法、及び動画像の生産方法に関する。特に本発明は、複数のフレーム画像を有する動画像の補正処理を行う画像処理装置、プログラム、画像処理方法、及び動画像の生産方法に関する。   The present invention relates to an image processing apparatus, a program, an image processing method, and a moving image production method. In particular, the present invention relates to an image processing apparatus, a program, an image processing method, and a moving image production method for correcting a moving image having a plurality of frame images.

従来、ユーザは、手動でガンマ補正等のパラメータを設定して、動画像の画像処理を行っていた。   Conventionally, a user manually sets parameters such as gamma correction and performs image processing of moving images.

動画像は、それぞれのフレーム画像が異なる内容を表示しているので、ユーザが、それぞれのフレーム画像に的確なパラメータを設定するのは、困難である。   Since the moving image displays different contents in each frame image, it is difficult for the user to set an accurate parameter for each frame image.

そこで本発明は、上記の課題を解決することができる画像処理装置、プログラム、画像処理方法、及び動画像の生産方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。   Accordingly, an object of the present invention is to provide an image processing apparatus, a program, an image processing method, and a moving image production method that can solve the above-described problems. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous specific examples of the present invention.

即ち、本発明の第１の形態によると、複数のフレーム画像を有する動画像の補正処理を行う画像処理装置であって、フレーム画像毎に画像処理のための補正値を決定する補正値決定部と、補正値決定部が決定した補正値に基づいて、フレーム画像毎に動画像を補正する補正部とを備える。   That is, according to the first aspect of the present invention, an image processing apparatus that performs correction processing of a moving image having a plurality of frame images, the correction value determination unit that determines a correction value for image processing for each frame image And a correction unit that corrects the moving image for each frame image based on the correction value determined by the correction value determination unit.

補正値決定部は、複数のフレーム画像毎に一の補正値を決定し、補正部は、補正値決定部が決定した補正値に基づいて、フレーム画像毎に画像を補正してもよい。   The correction value determination unit may determine one correction value for each of the plurality of frame images, and the correction unit may correct the image for each frame image based on the correction value determined by the correction value determination unit.

補正値決定部は、複数のフレーム画像のうち、予め定められたフレーム数毎に補正値を決定し、補正部は、補正値決定部が決定した補正値に基づいて、フレーム画像毎に画像を補正してもよい。   The correction value determination unit determines a correction value for each predetermined number of frames among the plurality of frame images, and the correction unit determines an image for each frame image based on the correction value determined by the correction value determination unit. It may be corrected.

補正値決定部は、複数のフレーム画像のうち、一定間隔おきにフレーム画像の補正値を決定し、決定した一のフレーム画像の補正値と、一定間隔をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定してもよい。   The correction value determination unit determines a correction value of the frame image at a certain interval among the plurality of frame images, and the correction value of the determined one frame image and the other frame image after a certain interval. The correction value of the frame image between one frame image and another frame image may be determined using the correction value.

補正値決定部は、複数のフレーム画像のうち、一定時間おきにフレーム画像の補正値を決定し、決定した一のフレーム画像の補正値と、一定時間をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定してもよい。   The correction value determination unit determines a correction value of the frame image at a certain time among a plurality of frame images, and determines the correction value of the determined one frame image and another frame image after a certain time. The correction value of the frame image between one frame image and another frame image may be determined using the correction value.

補正値決定部は、複数のフレーム画像のうち、一定のフレーム数おきにフレーム画像の補正値を決定し、決定した一のフレーム画像の補正値と、一定のフレーム数をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定してもよい。   The correction value determination unit determines a correction value of a frame image every a certain number of frames among a plurality of frame images, and after setting the determined correction value of one frame image and a fixed number of frames, The correction value of the frame image between one frame image and another frame image may be determined using the correction value of the frame image.

補正値決定部は、一のフレーム画像と他のフレーム画像との間にある複数のフレーム画像の補正値を、一のフレーム画像から他のフレーム画像に近づくにつれて、一のフレーム画像の補正値から他のフレーム画像の補正値に、段階的に近づけていってもよい。   The correction value determination unit calculates the correction values of the plurality of frame images between the one frame image and the other frame images from the correction values of the one frame image as it approaches the other frame images from the one frame image. It may be close to the correction value of other frame images in a stepwise manner.

動画像の場面の変わり目を検出する検出部をさらに備え、補正値決定部は、検出部が検出した場面の変わり目の、直後のフレーム画像の補正値を、一のフレーム画像の補正値として決定し、決定した一のフレーム画像の補正値と、一定間隔をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定してもよい。   The detection unit further detects a scene change of the moving image, and the correction value determination unit determines the correction value of the frame image immediately after the scene change detected by the detection unit as the correction value of one frame image. The correction value of the frame image between the one frame image and the other frame image using the correction value of the determined one frame image and the correction value of the other frame image after a predetermined interval. May be determined.

動画像の場面の変わり目を検出する検出部をさらに備え、補正値決定部は、検出部が検出した場面の変わり目に基づいて、場面毎に補正値を決定してもよい。   The image processing apparatus may further include a detection unit that detects a scene change of the moving image, and the correction value determination unit may determine a correction value for each scene based on the scene change detected by the detection unit.

検出部は、一のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分と、一のフレーム画像の直前のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分とのそれぞれの色成分の変化量のうち、少なくとも一の色成分の変化量が、予め定められた値より大きい場合に、一のフレーム画像と直前のフレーム画像との間が場面の変わり目であると判断してもよい。   The detection unit includes a first color component, a second color component, and a third color component included in one frame image, a first color component included in a frame image immediately before the one frame image, a first color component, When the amount of change of at least one of the color components of the second color component and the third color component is greater than a predetermined value, the one frame image and the immediately preceding frame component It may be determined that there is a scene change between the frame images.

色成分はＣ（シアン）成分、Ｍ（マゼンダ）成分、及びＹ（黄）成分であってもよい。また色成分は、Ｒ（赤）、Ｇ（緑）、及びＢ（青）成分であってもよい。また色成分は、ＣＩＥ表色系、ＬＡＢ表色系における明度（Ｌ＊）、彩度（Ｃａｂ＊）、色相（Ｈａｂ＊）であってもよい。 The color component may be a C (cyan) component, an M (magenta) component, and a Y (yellow) component. The color component may be an R (red), G (green), and B (blue) component. The color component may be lightness (L * ), saturation (Cab * ), and hue (Hab * ) in the CIE color system, LAB color system.

動画像は、撮像装置によって撮影された被写体の画像であって、検出部は、一のフレーム画像の被写体から撮像装置までの距離と、一のフレーム画像の直前のフレーム画像の被写体から撮像装置までの距離との変化量が、予め定められた値より大きい場合に、一のフレーム画像と直前のフレーム画像との間が場面の変わり目であると判断してもよい。   The moving image is an image of a subject photographed by the imaging device, and the detection unit detects the distance from the subject of the one frame image to the imaging device and the subject of the frame image immediately before the one frame image to the imaging device. When the amount of change from the distance is larger than a predetermined value, it may be determined that the transition between scenes is between the one frame image and the immediately preceding frame image.

フレーム画像に関する付随情報をフレーム画像毎に取得する付随情報取得部をさらに備え、補正値決定部は、付随情報取得部が取得した付随情報に基づいて補正値を決定してもよい。   An additional information acquisition unit that acquires additional information related to the frame image for each frame image may be further provided, and the correction value determination unit may determine the correction value based on the additional information acquired by the additional information acquisition unit.

付随情報取得部は、フレーム画像の撮影時刻を示す情報を付随情報としてフレーム画像毎に取得してもよい。付随情報取得部は、フレーム画像の撮影場所を示す情報を付随情報としてフレーム画像毎に取得してもよい。   The accompanying information acquisition unit may acquire information indicating the shooting time of the frame image as the accompanying information for each frame image. The accompanying information acquisition unit may acquire information indicating the shooting location of the frame image for each frame image as accompanying information.

動画像は、撮像装置によって撮影された被写体の画像であって、付随情報取得部は、フレーム画像の被写体から撮像装置までの距離を示す情報を付随情報としてフレーム画像毎に取得してもよい。   The moving image is an image of a subject captured by the imaging device, and the accompanying information acquisition unit may acquire information indicating the distance from the subject of the frame image to the imaging device for each frame image as accompanying information.

動画像は、撮像装置によって撮影された被写体の画像であって、付随情報取得部は、フレーム画像の被写体の輝度を示す情報を付随情報としてフレーム画像毎に取得してもよい。   The moving image is an image of a subject photographed by the imaging device, and the accompanying information acquisition unit may acquire information indicating the luminance of the subject of the frame image for each frame image as accompanying information.

動画像は、音声情報をさらに有し、音声情報を取得する音声情報取得部と、音声情報に含まれる音源を解析する音声情報解析部とをさらに備え、補正値決定部は、音声情報解析部が解析した音源を示す情報に基づいて補正値を決定してもよい。   The moving image further includes audio information, and further includes an audio information acquisition unit that acquires audio information and an audio information analysis unit that analyzes a sound source included in the audio information, and the correction value determination unit includes the audio information analysis unit The correction value may be determined based on the information indicating the sound source analyzed by.

補正値決定部は、フレーム画像毎にホワイトバランスの補正のための補正値を決定し、補正部は、補正値に基づいて、フレーム画像毎に動画像のホワイトバランスを補正してもよい。   The correction value determination unit may determine a correction value for white balance correction for each frame image, and the correction unit may correct the white balance of the moving image for each frame image based on the correction value.

補正値決定部は、フレーム画像毎にガンマ補正のための補正値を決定し、補正部は、補正値に基づいて、フレーム画像毎に動画像をガンマ補正してもよい。補正値決定部は、フレーム画像毎に明度の補正のための補正値を決定し、補正部は、補正値に基づいて、フレーム画像毎に動画像の明度を補正してもよい。   The correction value determination unit may determine a correction value for gamma correction for each frame image, and the correction unit may perform gamma correction on the moving image for each frame image based on the correction value. The correction value determination unit may determine a correction value for correcting the brightness for each frame image, and the correction unit may correct the brightness of the moving image for each frame image based on the correction value.

補正値決定部は、フレーム画像毎にエッジ強調のための補正値を決定し、補正部は、補正値に基づいて、フレーム画像毎に動画像のエッジ強調を行ってもよい。   The correction value determination unit may determine a correction value for edge enhancement for each frame image, and the correction unit may perform edge enhancement of the moving image for each frame image based on the correction value.

本発明の第２の形態によると、複数のフレーム画像を有する動画像の補正処理を行うコンピュータ用のプログラムであって、フレーム画像毎に画像処理のための補正値を決定させる補正値決定モジュールと、決定させた補正値に基づいて、フレーム画像毎に動画像を補正させる補正モジュールとを備える。   According to a second aspect of the present invention, there is provided a computer program for performing correction processing of a moving image having a plurality of frame images, the correction value determining module for determining a correction value for image processing for each frame image; A correction module that corrects the moving image for each frame image based on the determined correction value.

補正値決定モジュールは、複数のフレーム画像毎に一の補正値を決定させ、補正モジュールは、補正値決定モジュールが決定させた補正値に基づいて、フレーム画像毎に画像を補正してもよい。   The correction value determination module may determine one correction value for each of the plurality of frame images, and the correction module may correct the image for each frame image based on the correction value determined by the correction value determination module.

補正値決定モジュールは、複数のフレーム画像のうち、予め定められたフレーム数毎に補正値を決定させ、補正モジュールは、補正値決定モジュールが決定させた補正値に基づいて、フレーム画像毎に画像を補正させてもよい。   The correction value determination module determines a correction value for each predetermined number of frames among the plurality of frame images, and the correction module determines an image for each frame image based on the correction value determined by the correction value determination module. May be corrected.

補正値決定モジュールは、複数のフレーム数のうち、一定間隔おきにフレーム画像の補正値を決定させ、決定させた一のフレーム画像の補正値と、一定時間をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定させてもよい。   The correction value determination module determines a correction value of a frame image at a predetermined interval from among a plurality of frames, and determines the correction value of the determined one frame image and another frame image after a predetermined time. May be used to determine the correction value of the frame image between one frame image and another frame image.

補正値決定モジュールは、複数のフレーム数のうち、一定時間おきにフレーム画像の補正値を決定させ、決定させた一のフレーム画像の補正値と、一定間隔をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定させてもよい。   The correction value determination module determines a correction value of a frame image at a certain time out of a plurality of frames, and determines the correction value of one determined frame image and another frame image after a predetermined interval. May be used to determine the correction value of the frame image between one frame image and another frame image.

補正値決定モジュールは、複数のフレーム数のうち、一定のフレーム数おきにフレーム画像の補正値を決定させ、決定させた一のフレーム画像の補正値と、一定のフレーム数をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定させてもよい。   The correction value determination module determines a correction value of a frame image every fixed number of frames out of a plurality of frames, and after setting the determined correction value of one frame image and a fixed number of frames, The correction value of the frame image between one frame image and another frame image may be determined using the correction value of the other frame image.

補正値決定モジュールは、一のフレーム画像と他のフレーム画像との間にある複数のフレーム画像の補正値を、一のフレーム画像から他のフレーム画像に近づくにつれて、一のフレーム画像の補正値から他のフレーム画像の補正値に、段階的に近づけていってもよい。   The correction value determination module calculates the correction value of a plurality of frame images between one frame image and another frame image from the correction value of the one frame image as it approaches the other frame image from the one frame image. It may be close to the correction value of other frame images in a stepwise manner.

動画像の場面の変わり目を検出させる検出モジュールをさらに備え、補正値決定モジュールは、検出モジュールが検出させた場面の変わり目の、直後のフレーム画像の補正値を、一のフレーム画像の補正値として決定させ、決定した一のフレーム画像の補正値と、一定間隔をおいた後の、他のフレーム画像の補正値とを用いて、一のフレーム画像と他のフレーム画像との間のフレーム画像の補正値を決定させてもよい。   The detection module further detects a scene change of the moving image, and the correction value determination module determines the correction value of the frame image immediately after the scene change detected by the detection module as the correction value of one frame image. Correction of the frame image between the one frame image and the other frame image using the correction value of the determined one frame image and the correction value of the other frame image after a predetermined interval. The value may be determined.

動画像の場面の変わり目を検出させる検出モジュールをさらに備え、補正値決定モジュールは、検出モジュールが検出させた場面の変わり目に基づいて、場面毎に補正値を決定させてもよい。   The image processing apparatus may further include a detection module that detects a scene change of the moving image, and the correction value determination module may determine a correction value for each scene based on the scene change detected by the detection module.

検出モジュールは、一のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分と、一のフレーム画像の直前のフレーム画像に含まれる第１の色成分、第２の色成分、及び第３の色成分とのそれぞれの色成分の変化量のうち、少なくとも一の色成分の変化量が、予め定められた値より大きい場合に、一のフレーム画像と直前のフレーム画像との間が場面の変わり目であると判断させてもよい。   The detection module includes a first color component, a second color component, and a third color component included in one frame image, a first color component included in a frame image immediately before the one frame image, a first color component, When the amount of change of at least one of the color components of the second color component and the third color component is greater than a predetermined value, the one frame image and the immediately preceding frame component You may make it judge that it is a transition of a scene between frame images.

色成分はＣ（シアン）成分、Ｍ（マゼンダ）成分、及びＹ（黄）成分であってもよい。また色成分は、Ｒ（赤）、Ｇ（緑）、及びＢ（青）成分であってもよい。また色成分は、ＣＩＥ表色系、ＬＡＢ表色系における明度（Ｌ＊）、彩度（Ｃａｂ＊）、色相（Ｈａｂ＊）であってもよい。 The color component may be a C (cyan) component, an M (magenta) component, and a Y (yellow) component. The color component may be an R (red), G (green), and B (blue) component. The color component may be lightness (L * ), saturation (Cab * ), and hue (Hab * ) in the CIE color system, LAB color system.

動画像は、撮像装置によって撮影された被写体の画像であって、検出モジュールは、一のフレーム画像の被写体から撮像装置までの距離と、一のフレーム画像の直前のフレーム画像の被写体から撮像装置までの距離との変化量が、予め定められた値より大きい場合に、一のフレーム画像と直前のフレーム画像との間が場面の変わり目であると判断させてもよい。   The moving image is an image of a subject photographed by the imaging device, and the detection module detects the distance from the subject of the one frame image to the imaging device and the subject of the frame image immediately before the one frame image to the imaging device. When the amount of change from the distance between is larger than a predetermined value, it may be determined that the transition between scenes is between the one frame image and the immediately preceding frame image.

フレーム画像に関する付随情報をフレーム画像毎に取得させる付随情報取得モジュールをさらに備え、補正値決定モジュールは、付随情報取得モジュールが取得させた付随情報に基づいて補正値を決定してもよい。   The image processing apparatus may further include an accompanying information acquisition module that acquires the accompanying information about the frame image for each frame image, and the correction value determination module may determine the correction value based on the accompanying information acquired by the accompanying information acquisition module.

付随情報取得モジュールは、フレーム画像の撮影時刻を示す情報を付随情報としてフレーム画像毎に取得させてもよい。   The accompanying information acquisition module may acquire, for each frame image, information indicating the shooting time of the frame image as accompanying information.

付随情報取得モジュールは、フレーム画像の撮影場所を示す情報を付随情報としてフレーム画像毎に取得させてもよい。   The accompanying information acquisition module may acquire information indicating the shooting location of the frame image for each frame image as accompanying information.

動画像は、撮像装置によって撮影された被写体の画像であって、付随情報取得モジュールは、フレーム画像の被写体から撮像装置までの距離を示す情報を付随情報としてフレーム画像毎に取得させてもよい。   The moving image is an image of a subject captured by the imaging device, and the accompanying information acquisition module may acquire information indicating the distance from the subject of the frame image to the imaging device for each frame image as accompanying information.

動画像は、撮像装置によって撮影された被写体の画像であって、付随情報取得モジュールは、フレーム画像の被写体の輝度を示す情報を付随情報としてフレーム画像毎に取得させてもよい。   The moving image is an image of a subject photographed by the imaging device, and the accompanying information acquisition module may acquire information indicating the luminance of the subject of the frame image for each frame image as accompanying information.

動画像は、音声情報をさらに有し、音声情報を取得させる音声情報取得モジュールと、音声情報に含まれる音源を解析させる音声情報解析モジュールとをさらに備え、補正値決定モジュールは、音声情報解析モジュールが解析した音源を示す情報に基づいて補正値を決定させてもよい。   The moving image further includes audio information, and further includes an audio information acquisition module that acquires audio information, and an audio information analysis module that analyzes a sound source included in the audio information, and the correction value determination module includes the audio information analysis module The correction value may be determined based on the information indicating the sound source analyzed by.

補正値決定モジュールは、フレーム画像毎にホワイトバランスの補正のための補正値を決定させ、補正モジュールは、補正値に基づいて、フレーム画像毎に動画像のホワイトバランスを補正させてもよい。   The correction value determination module may determine a correction value for white balance correction for each frame image, and the correction module may correct the white balance of the moving image for each frame image based on the correction value.

補正値決定モジュールは、フレーム画像毎にガンマ補正のための補正値を決定し、補正モジュールは、補正値に基づいて、フレーム画像毎に動画像をガンマ補正してもよい。   The correction value determination module may determine a correction value for gamma correction for each frame image, and the correction module may perform gamma correction on the moving image for each frame image based on the correction value.

補正値決定モジュールは、フレーム画像毎に明度の補正のための補正値を決定させ、補正モジュールは、補正値に基づいて、フレーム画像毎に動画像の明度を補正させてもよい。   The correction value determination module may determine a correction value for correcting the brightness for each frame image, and the correction module may correct the brightness of the moving image for each frame image based on the correction value.

補正値決定モジュールは、フレーム画像毎にエッジ強調のための補正値を決定させ、補正モジュールは、補正値に基づいて、フレーム画像毎に動画像のエッジ強調を行わせてもよい。   The correction value determination module may determine a correction value for edge enhancement for each frame image, and the correction module may perform edge enhancement of the moving image for each frame image based on the correction value.

本発明の第３の形態によると、複数のフレーム画像を有する動画像の補正処理を行う画像処理方法であって、フレーム画像毎に画像処理のための補正値を決定し、決定した補正値に基づいて、フレーム画像毎に動画像を補正する。   According to a third aspect of the present invention, there is provided an image processing method for performing correction processing of a moving image having a plurality of frame images, wherein a correction value for image processing is determined for each frame image, and the determined correction value is Based on this, the moving image is corrected for each frame image.

本発明の第４の形態によると、複数のフレーム画像を有する動画像の生産方法であって、動画像を取得して、取得した動画像が有するフレーム画像毎に補正値を決定し、決定した補正値に基づいて、フレーム画像毎に動画像を補正する。   According to the fourth aspect of the present invention, there is provided a method for producing a moving image having a plurality of frame images, wherein the moving image is acquired, a correction value is determined for each frame image included in the acquired moving image, and determined. The moving image is corrected for each frame image based on the correction value.

本発明の第５の形態によると、動画像に含まれるフレーム画像を印刷する印刷装置であって、フレーム画像を取得する画像取得部と、動画像の画像処理に用いる補正値を決定する画像処理装置から、フレーム画像の補正値に関する情報を受信する受信部と、受信部が受信した補正値に関する情報に基づいて、当該印刷装置で用いる補正値に関する情報を算出する補正値算出部と、補正値算出部が算出した補正値に関する情報に基づいて、フレーム画像を補正する補正部とを備える。   According to the fifth aspect of the present invention, there is provided a printing apparatus that prints a frame image included in a moving image, an image acquisition unit that acquires a frame image, and image processing that determines a correction value used for image processing of the moving image A receiving unit that receives information about the correction value of the frame image from the apparatus, a correction value calculating unit that calculates information about the correction value used in the printing apparatus based on the information about the correction value received by the receiving unit, and a correction value And a correction unit that corrects the frame image based on information on the correction value calculated by the calculation unit.

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。   The above summary of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態はクレームにかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、発明の詳細な説明に記載の「プリンタ」は、特許請求の範囲に記載の「プリンタ」である。また発明の詳細な説明に記載の「補正値算出部」は、特許請求の範囲に記載の「補正値対応表作成部」である。   Hereinafter, the present invention will be described through embodiments of the invention. However, the following embodiments do not limit the claimed invention, and all combinations of features described in the embodiments are the solution of the invention. It is not always essential to the means. The “printer” described in the detailed description of the invention is the “printer” recited in the claims. The “correction value calculation unit” described in the detailed description of the invention is a “correction value correspondence table creation unit” described in the claims.

図１は、本実施の形態に係る画像処理装置の機能構成を示すブロック図である。本画像処理装置は、複数のフレーム画像を有する動画像の補正処理を、フレーム画像毎に行う。画像処理装置１０は、補正処理を行った動画像を表示装置１５０に送信する。表示装置１５０は、画像処理装置１０から受け取った動画像を表示する。また画像処理装置１０は、動画像の補正に関する情報をプリンタ２０に送信する。プリンタ２０は、画像処理装置１０から受信した補正に関する情報に基づいて、動画像を補正して、印刷する。   FIG. 1 is a block diagram illustrating a functional configuration of the image processing apparatus according to the present embodiment. The image processing apparatus performs correction processing of a moving image having a plurality of frame images for each frame image. The image processing device 10 transmits the corrected moving image to the display device 150. The display device 150 displays the moving image received from the image processing device 10. Further, the image processing apparatus 10 transmits information related to the correction of the moving image to the printer 20. The printer 20 corrects and prints the moving image based on the correction-related information received from the image processing apparatus 10.

画像処理装置１０は、音声情報取得部１００と、動画像取得部１０２と、音声データベース１０５と、音声情報解析部１０６と、画像処理部１０７と、フレーム分解部１０８と、補正値決定部１１０と、入力部１１５と、検出部１２０と、補正部１３０と、再構成部１４０と、付随情報取得部１６０とを備える。音声データベース１０５は、音声データ毎に補正に関する補正情報を格納する。   The image processing apparatus 10 includes an audio information acquisition unit 100, a moving image acquisition unit 102, an audio database 105, an audio information analysis unit 106, an image processing unit 107, a frame decomposition unit 108, and a correction value determination unit 110. , An input unit 115, a detection unit 120, a correction unit 130, a reconstruction unit 140, and an accompanying information acquisition unit 160. The audio database 105 stores correction information regarding correction for each audio data.

動画像取得部１０２は、複数のフレーム画像を有する動画像を取得し、画像処理部１０７に送る。画像処理部１０７は、受け取った動画像のインターレース補正及び高画質化処理を行う。インターレース補正とは、１走査線置きに表示されているテレビ方式の動画像において、走査線と走査線の間の画素値を算出して補完する補正処理である。高画質化処理とは、圧縮等によって生じる画質劣化を補完する補正処理である。画像処理部１０７は、インターレース補正及び高画質化処理を行った動画像をフレーム分解部１０８に送る。フレーム分解部１０８は、受け取った動画像をフレーム画像毎に分解する。またフレーム分解部１０８は、フレーム画像のデータ形式を、ＲＧＢデータから標準化されたＣＭＹデータ（濃度値）に変換する。次にフレーム分解部１０８は、分解したフレーム画像を検出部１２０に送る。またフレーム分解部１０８は、フレーム画像に関連する情報である、フレーム画像に付随する付随情報を付随情報取得部１６０に送る。付随情報取得部１６０は、フレーム分解部１０８から受け取った付随情報を補正値決定部１１０に送る。   The moving image acquisition unit 102 acquires a moving image having a plurality of frame images and sends the moving image to the image processing unit 107. The image processing unit 107 performs interlace correction and high image quality processing on the received moving image. Interlace correction is correction processing for calculating and complementing pixel values between scan lines in a television system moving image displayed every other scan line. The high image quality processing is correction processing that complements image quality degradation caused by compression or the like. The image processing unit 107 sends the moving image that has undergone the interlace correction and the high image quality processing to the frame decomposing unit 108. The frame decomposition unit 108 decomposes the received moving image for each frame image. The frame decomposition unit 108 converts the data format of the frame image from RGB data to standardized CMY data (density value). Next, the frame decomposition unit 108 sends the decomposed frame image to the detection unit 120. The frame decomposition unit 108 also sends accompanying information accompanying the frame image, which is information related to the frame image, to the accompanying information acquisition unit 160. The accompanying information acquisition unit 160 sends the accompanying information received from the frame decomposition unit 108 to the correction value determination unit 110.

音声情報取得部１００は、動画像が有する音声情報を、対応するフレーム画像を識別する同期情報とともに取得し、音声情報解析部１０６に送る。音声情報解析部１０６は、音声情報に含まれる音源を解析する。具体的には、音声情報解析部１０６は、音声情報を解析し、音声データベース１０５に格納されている音声データと同一または類似した音源を音声情報が含むか否かを判断する。ここで音声データベース１０５に格納されている音声データとは、例えば人の声や、波、川のせせらぎ等の音声である。本実施の形態では、人の声を用いて説明する。音声情報解析部１０６は、音声データベース１０５に格納されている音声データと同一または類似した音源を音声情報が含む場合に、音声データに対応する補正情報を音声データベース１０５から抽出する。また音声情報解析部１０６は、音声データベース１０５に格納されている音声データと同一または類似した音源を音声情報が含む旨を示す人声情報と補正情報を、同期情報とともに補正値決定部１１０に送る。   The audio information acquisition unit 100 acquires the audio information included in the moving image together with the synchronization information for identifying the corresponding frame image, and sends it to the audio information analysis unit 106. The voice information analysis unit 106 analyzes a sound source included in the voice information. Specifically, the voice information analysis unit 106 analyzes the voice information and determines whether the voice information includes a sound source that is the same as or similar to the voice data stored in the voice database 105. Here, the voice data stored in the voice database 105 is, for example, voices such as human voices, waves, and river murmurs. In this embodiment, a description is given using a human voice. The voice information analysis unit 106 extracts correction information corresponding to the voice data from the voice database 105 when the voice information includes the same or similar sound source as the voice data stored in the voice database 105. The voice information analysis unit 106 also sends human voice information and correction information indicating that the voice information includes the same or similar sound source as the voice data stored in the voice database 105 to the correction value determination unit 110 together with the synchronization information. .

検出部１２０は、フレーム分解部１０８から受け取ったフレーム画像を解析し、動画における場面の変わり目を検出する。検出部１２０は、検出した場面の変わり目の直後のフレーム画像を識別する変わり目識別情報を、場面の変わり目の直後のフレーム画像に添付する。次に検出部１２０は、変わり目識別情報を添付したフレーム画像と、フレーム分解部１０８から受け取った、変わり目識別情報を添付したフレーム画像以外のフレーム画像とを補正値決定部１１０に送る。   The detection unit 120 analyzes the frame image received from the frame decomposition unit 108 and detects a scene change in the moving image. The detection unit 120 attaches change identification information for identifying a frame image immediately after the detected scene change to the frame image immediately after the scene change. Next, the detection unit 120 sends the frame image attached with the change identification information and the frame image received from the frame decomposition unit 108 other than the frame image attached with the change identification information to the correction value determination unit 110.

補正値決定部１１０は、検出部１２０から受け取ったフレーム画像と、音声情報解析部１０６から受け取った人声情報、補正情報及び同期情報と、付随情報取得部１６０から受け取った付随情報とに基づいて、フレーム画像毎に補正値を決定する。次に補正値決定部１１０は、決定した補正値を、検出部１２０から受け取ったフレーム画像とともに補正部１３０に送る。また補正値決定部１１０は、決定した補正値をプリンタ２０に送信する。   The correction value determination unit 110 is based on the frame image received from the detection unit 120, the human voice information, correction information, and synchronization information received from the audio information analysis unit 106, and the accompanying information received from the accompanying information acquisition unit 160. The correction value is determined for each frame image. Next, the correction value determination unit 110 sends the determined correction value to the correction unit 130 together with the frame image received from the detection unit 120. Further, the correction value determination unit 110 transmits the determined correction value to the printer 20.

補正部１３０は、補正値決定部１１０から受け取ったフレーム画像を、補正値決定部１１０から受け取った補正値に基づいて、フレーム画像毎に補正する。また補正部１３０は、フレーム画像のデータ形式を、ＣＭＹデータから、複数の機種に共通の標準ＲＧＢデータに変換する。補正部１３０は、補正したフレーム画像を再構成部１４０に送る。   The correction unit 130 corrects the frame image received from the correction value determination unit 110 for each frame image based on the correction value received from the correction value determination unit 110. The correction unit 130 converts the data format of the frame image from CMY data to standard RGB data common to a plurality of models. The correction unit 130 sends the corrected frame image to the reconstruction unit 140.

再構成部１４０は、補正部１３０から受け取ったフレーム画像と、音声情報取得部１００から受け取った音声情報を合成して、動画を再構成する。さらに再構成部１４０は、再構成した動画の音声情報のノイズ処理等を行う。次に再構成部１４０は、再構成した動画像を表示装置１５０に送る。表示装置１５０は、再構成部１４０から受け取った動画像を表示する。入力部１１５は、表示装置１５０が表示した動画像に対する補正に関する入力情報をユーザから受け付ける。補正部１３０は、入力情報に基づいて、動画像を補正する。   The reconstruction unit 140 combines the frame image received from the correction unit 130 and the audio information received from the audio information acquisition unit 100 to reconstruct a moving image. Furthermore, the reconfiguration unit 140 performs noise processing on the audio information of the reconstructed moving image. Next, the reconstruction unit 140 sends the reconstructed moving image to the display device 150. The display device 150 displays the moving image received from the reconstruction unit 140. The input unit 115 receives input information related to correction for the moving image displayed on the display device 150 from the user. The correcting unit 130 corrects the moving image based on the input information.

図２は、プリンタ２０の機能構成の一例を示すブロック図である。プリンタ２０は、画像取得部２０１と、フレーム分解部２０２と、縮小処理部２０４と、受信部２０５と、補正値対応表作成部２０６と、補正部２０８と、拡大処理部２１０と、アンシャープマスク処理部２１２と、出力処理部２１４と、印刷部２１６とを備える。   FIG. 2 is a block diagram illustrating an example of a functional configuration of the printer 20. The printer 20 includes an image acquisition unit 201, a frame decomposition unit 202, a reduction processing unit 204, a reception unit 205, a correction value correspondence table creation unit 206, a correction unit 208, an enlargement processing unit 210, and an unsharp mask. A processing unit 212, an output processing unit 214, and a printing unit 216 are provided.

画像取得部２０１は、複数のフレーム画像を有する動画像を取得し、フレーム分解部２０２に送る。フレーム分解部２０２は、受け取った動画像をフレーム画像毎に分解する。フレーム分解部２０２は、分解したフレーム画像を縮小処理部２０４に送る。縮小処理部２０４は、受け取ったフレーム画像が、当該プリンタ２０に適した大きさより大きい場合に、フレーム画像を間引いて縮小し、補正部２０８に送り、当該プリンタ２０に適した大きさと同じ、または小さい場合には、フレーム画像をそのまま補正部２０８に送る。   The image acquisition unit 201 acquires a moving image having a plurality of frame images and sends the moving image to the frame decomposition unit 202. The frame decomposition unit 202 decomposes the received moving image for each frame image. The frame decomposition unit 202 sends the decomposed frame image to the reduction processing unit 204. When the received frame image is larger than the size suitable for the printer 20, the reduction processing unit 204 reduces the frame image by thinning it out, sends it to the correction unit 208, and is the same as or smaller than the size suitable for the printer 20. In this case, the frame image is sent to the correction unit 208 as it is.

受信部２０５は、画像処理装置１０の補正値決定部１１０から補正値を受信し、補正値対応表作成部２０６に送る。補正値対応表作成部２０６は、受け取った補正値に基づいて、カラールックアップテーブルを作成する。カラールックアップテーブルは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）に対応した値を保持する。補正値対応表作成部２０６は、作成したカラールックアップテーブルを補正部２０８に送る。   The receiving unit 205 receives the correction value from the correction value determining unit 110 of the image processing apparatus 10 and sends it to the correction value correspondence table creating unit 206. The correction value correspondence table creation unit 206 creates a color lookup table based on the received correction values. The color lookup table holds values corresponding to R (red), G (green), and B (blue). The correction value correspondence table creation unit 206 sends the created color lookup table to the correction unit 208.

補正部２０８は、補正値対応表作成部２０６から受け取ったカラールックアップテーブルに基づいて、縮小処理部２０４から受け取ったフレーム画像を補正する。また補正部２０８は、縮小処理部２０４から受け取ったフレーム画像のデータ形式を、ＲＧＢデータから複数の機種に共通のデータ形式である標準ＲＧＢデータに変換する。補正部２０８は、補正したフレーム画像を拡大処理部２１０に送る。拡大処理部２１０は、受け取ったフレーム画像が、当該プリンタ２０に適した大きさより小さい場合には、フレーム画像を拡大し、大きい場合にはそのままフレーム画像をアンシャープマスク処理部２１２に送る。アンシャープマスク処理部２１２は、受け取ったフレーム画像のアンシャープマスク処理を行い、出力処理部２１４に送る。出力処理部２１４は、標準ＲＧＢデータのフレーム画像を、プリンタ固有のデータに変換して、印刷部２１６に送る。印刷部２１６は、受け取ったフレーム画像を印刷する。   The correction unit 208 corrects the frame image received from the reduction processing unit 204 based on the color lookup table received from the correction value correspondence table creation unit 206. The correction unit 208 converts the data format of the frame image received from the reduction processing unit 204 from RGB data to standard RGB data that is a data format common to a plurality of models. The correction unit 208 sends the corrected frame image to the enlargement processing unit 210. The enlargement processing unit 210 enlarges the frame image when the received frame image is smaller than the size suitable for the printer 20, and sends the frame image to the unsharp mask processing unit 212 as it is when it is larger. The unsharp mask processing unit 212 performs unsharp mask processing on the received frame image and sends it to the output processing unit 214. The output processing unit 214 converts the frame image of standard RGB data into data unique to the printer and sends the data to the printing unit 216. The printing unit 216 prints the received frame image.

本実施の形態に係るプリンタ２０は、画像取得部２０１が動画像を取得しているが、これに代えて他の例としては、受信部２０５が画像処理装置１０からフレーム画像を受信してもよい。   In the printer 20 according to the present embodiment, the image acquisition unit 201 acquires a moving image. Alternatively, as another example, the reception unit 205 may receive a frame image from the image processing apparatus 10. Good.

図３は、補正値決定部１１０の詳細な機能構成を示すブロック図である。補正値決定部１１０は、明度補正値決定部１１２と、ホワイトバランス補正値決定部１１４と、ガンマ補正値決定部１１６と、エッジ強調補正値決定部１１８とを有する。   FIG. 3 is a block diagram illustrating a detailed functional configuration of the correction value determination unit 110. The correction value determination unit 110 includes a brightness correction value determination unit 112, a white balance correction value determination unit 114, a gamma correction value determination unit 116, and an edge enhancement correction value determination unit 118.

明度補正値決定部１１２は、フレーム画像毎に明度の補正値を決定する。ホワイトバランス補正値決定部１１４は、フレーム画像毎にホワイトバランスの補正値を決定する。ガンマ補正値決定部１１６は、フレーム画像毎にガンマ補正の補正値を決定する。エッジ強調補正値決定部１１８は、フレーム画像毎にエッジ強調の補正値を決定する。   The brightness correction value determination unit 112 determines a brightness correction value for each frame image. The white balance correction value determination unit 114 determines a white balance correction value for each frame image. The gamma correction value determination unit 116 determines a gamma correction value for each frame image. The edge enhancement correction value determination unit 118 determines an edge enhancement correction value for each frame image.

図４は、補正部１３０の詳細な機能構成を示すブロック図である。補正部１３０は、明度補正部１３２と、ホワイトバランス補正部１３４と、ガンマ補正部１３６と、エッジ強調補正部１３８とを有する。   FIG. 4 is a block diagram illustrating a detailed functional configuration of the correction unit 130. The correction unit 130 includes a brightness correction unit 132, a white balance correction unit 134, a gamma correction unit 136, and an edge enhancement correction unit 138.

明度補正部１３２は、明度補正値決定部１１２が決定した補正値に基づいて、フレーム画像の明度を補正する。ホワイトバランス補正部１３４は、ホワイトバランス補正値決定部１１４が決定した補正値に基づいて、フレーム画像のホワイトバランスを補正する。ガンマ補正部１３６は、ガンマ補正値決定部１１６が決定した補正値に基づいて、フレーム画像のガンマ補正を行う。エッジ強調補正部１３８は、エッジ強調補正値決定部１１８が決定した補正値に基づいて、フレーム画像のエッジ強調の補正を行う。   The brightness correction unit 132 corrects the brightness of the frame image based on the correction value determined by the brightness correction value determination unit 112. The white balance correction unit 134 corrects the white balance of the frame image based on the correction value determined by the white balance correction value determination unit 114. The gamma correction unit 136 performs gamma correction of the frame image based on the correction value determined by the gamma correction value determination unit 116. The edge enhancement correction unit 138 corrects the edge enhancement of the frame image based on the correction value determined by the edge enhancement correction value determination unit 118.

図５は、フレーム分解部１０８が分解したフレーム画像のデータフォーマットの一例を示す。フレーム画像は、付随情報１６２と画像データ１６４とを有する。ここでフレーム画像は、例えば撮像装置によって、撮像された被写体の画像である。付随情報１６２は、撮像装置から被写体までの距離を示す距離情報、撮影時刻を示す時刻情報、撮影位置を示す位置情報、及び被写体の輝度を示す輝度情報を含む。また画像データ１６４は、画像を示すデータである。   FIG. 5 shows an example of the data format of the frame image decomposed by the frame decomposition unit 108. The frame image has accompanying information 162 and image data 164. Here, the frame image is an image of a subject imaged by an imaging device, for example. The accompanying information 162 includes distance information indicating the distance from the imaging device to the subject, time information indicating the shooting time, position information indicating the shooting position, and luminance information indicating the luminance of the subject. The image data 164 is data indicating an image.

補正値決定部１１０は、付随情報１６２に含まれる距離情報、時刻情報、位置情報、輝度情報の少なくとも１つの情報に基づいて、補正値を決定する。例えば距離情報が大きい場合は、風景シーンであると想定し、ガンマ補正値決定部１１６は、ガンマをアップする補正値を決定する。   The correction value determination unit 110 determines a correction value based on at least one of distance information, time information, position information, and luminance information included in the accompanying information 162. For example, when the distance information is large, it is assumed that the scene is a landscape scene, and the gamma correction value determination unit 116 determines a correction value for increasing gamma.

図６は、本実施の形態に係る画像処理装置１０の動作の一例を示すフローチャートである。まず動画像取得部１０２は、複数のフレーム画像を有する動画像を取得する（Ｓ１００）。次に画像処理部１０７は、動画像取得部１０２が取得した動画像のインターレース補正及び高画質化処理を行う（Ｓ１０１）。次にフレーム分解部１０８は、画像処理部１０７がインターレース補正及び高画質化処理を行った動画像をフレーム画像毎に分解する（Ｓ１０２）。そして付随情報取得部１６０は、フレーム分解部１０８が分解したフレーム画像に付随する付随情報を取得する（Ｓ１０４）。   FIG. 6 is a flowchart showing an example of the operation of the image processing apparatus 10 according to the present embodiment. First, the moving image acquisition unit 102 acquires a moving image having a plurality of frame images (S100). Next, the image processing unit 107 performs interlace correction and image quality improvement processing on the moving image acquired by the moving image acquisition unit 102 (S101). Next, the frame decomposition unit 108 decomposes, for each frame image, the moving image on which the image processing unit 107 has performed interlace correction and high image quality processing (S102). Then, the accompanying information acquisition unit 160 acquires accompanying information associated with the frame image decomposed by the frame decomposition unit 108 (S104).

次に音声情報取得部１００は、動画像が有する音声情報を取得する（Ｓ１０６）。次に音声情報解析部１０６は、音声情報に含まれる音源を解析する（Ｓ１０８）。具体的には、音声情報解析部１０６は、音声情報から人の声を示す人声情報及び人声情報に対応する補正情報を抽出する。   Next, the audio information acquisition unit 100 acquires audio information included in the moving image (S106). Next, the voice information analysis unit 106 analyzes a sound source included in the voice information (S108). Specifically, the voice information analysis unit 106 extracts voice information indicating a human voice and correction information corresponding to the voice information from the voice information.

次に検出部１２０は、フレーム分解部１０８が動画像を分解して生成したフレーム画像を解析し、動画における場面の変わり目を検出する（Ｓ１１０）。具体的には、検出部１２０は、一のフレーム画像の色を表す３つの信号（以下、３色信号）と、一のフレーム画像の直前のフレーム画像の３色信号との変化量のうち、少なくとも１つの変化量が予め定められた値より大きい場合に、一のフレーム画像と直前のフレーム画像との間が場面の変わり目であると判断する。例えば３色信号の色成分としてＣＭＹデータの他にＲＧＢデータ、ＲＧＢデータを変換して求められるＣＩＥ表色系、ＬＡＢ表色系における明度（Ｌ＊）、彩度（Ｃａｂ＊）、色相（Ｈａｂ＊）であってもよい。 Next, the detection unit 120 analyzes the frame image generated by the frame decomposition unit 108 by decomposing the moving image, and detects a scene change in the moving image (S110). Specifically, the detection unit 120 includes a change amount between three signals representing the color of one frame image (hereinafter, three-color signal) and the three-color signal of the frame image immediately before the one frame image. When at least one change amount is larger than a predetermined value, it is determined that a scene change is between the one frame image and the immediately preceding frame image. For example, in addition to CMY data as color components of a three-color signal, RGB data, RGB data obtained by converting RGB data, lightness (L * ), saturation (Cab * ), hue (Hab) in the LAB color system * ).

次に補正値決定部１１０は、付随情報取得部１６０が取得した付随情報と、フレーム分解部１０８が分解したフレーム画像と、検出部１２０が検出した場面の変わり目と、音声情報解析部１０６が音声情報から抽出した人声情報、及び人声情報に対応する補正情報とを用いて、補正値を決定する（Ｓ１１２）。   Next, the correction value determination unit 110 includes the incidental information acquired by the incidental information acquisition unit 160, the frame image decomposed by the frame decomposition unit 108, the scene change detected by the detection unit 120, and the audio information analysis unit 106 The correction value is determined using the human voice information extracted from the information and the correction information corresponding to the human voice information (S112).

次に補正部１３０は、補正値決定部１１０が決定した補正値に基づいてフレーム画像を補正する（Ｓ１１４）。次に再構成部１４０は、補正部１３０が補正したフレーム画像を再構成して動画像を生成する（Ｓ１１６）。   Next, the correction unit 130 corrects the frame image based on the correction value determined by the correction value determination unit 110 (S114). Next, the reconstruction unit 140 reconstructs the frame image corrected by the correction unit 130 to generate a moving image (S116).

図７は、図６のＳ１１０における画像処理装置１０の詳細な動作の一例を示すフローチャートである。まず検出部１２０は、フレーム分解部１０８が分解したフレーム画像が、動画像において最初のフレーム画像か否かを判断する（Ｓ２００）。検出部１２０は、フレーム分解部１０８が分解したフレーム画像が、動画像において最初のフレーム画像ではないと判断した場合に、フレーム画像中のＣ（シアン）、Ｍ（マゼンダ）、Ｙ（イエロー）それぞれの平均値を算出する（Ｓ２０２）。次に検出部１２０は、平均値を算出したフレーム画像の直前のフレーム画像のＣ、Ｍ、Ｙそれぞれの平均値を算出する（Ｓ２０４）。   FIG. 7 is a flowchart showing an example of detailed operation of the image processing apparatus 10 in S110 of FIG. First, the detection unit 120 determines whether the frame image decomposed by the frame decomposition unit 108 is the first frame image in the moving image (S200). When the detection unit 120 determines that the frame image decomposed by the frame decomposition unit 108 is not the first frame image in the moving image, each of C (cyan), M (magenta), and Y (yellow) in the frame image Is averaged (S202). Next, the detection unit 120 calculates the average values of C, M, and Y of the frame image immediately before the frame image for which the average value has been calculated (S204).

次に検出部１２０は、Ｓ２０２で算出したＣ、Ｍ、Ｙそれぞれの平均値と、Ｓ２０４で算出したＣ、Ｍ、Ｙそれぞれの平均値との差を算出する。検出部１２０は、Ｃ、Ｍ、Ｙそれぞれの平均値の差が所定値以下の場合に、Ｓ２０８に進む。一方検出部１２０は、Ｃ、Ｍ、Ｙそれぞれの平均値の差が所定値より大きい場合に、フレーム画像と直前のフレーム画像との間が場面の変わり目であると判断し、Ｓ２１４にジャンプする（Ｓ２０６）。一のフレーム画像におけるＣの平均値をＣｘ、Ｍの平均値をＭｘ、Ｙの平均値をＹｘ、直前のフレーム画像におけるＣの平均値をＣｘ-１、Ｍの平均値をＭｘ-１、Ｙの平均値をＹｘ-１、予め定められた値をそれぞれＣｔ、Ｍｔ、Ｙｔとして、以下の式のうち、いずれか１式を満たす場合に、場面の変わり目とする。
ΔＣ＝Ｃｘ−Ｃｘ-１＞Ｃｔ
ΔＭ＝Ｍｘ−Ｍｘ-１＞Ｍｔ
ΔＹ＝Ｙｘ−Ｙｘ-１＞Ｙｔ Next, the detection unit 120 calculates a difference between the average values of C, M, and Y calculated in S202 and the average values of C, M, and Y calculated in S204. When the difference between the average values of C, M, and Y is equal to or less than the predetermined value, the detection unit 120 proceeds to S208. On the other hand, when the difference between the average values of C, M, and Y is larger than the predetermined value, the detection unit 120 determines that the scene between the frame image and the immediately preceding frame image is a scene change, and jumps to S214 ( S206). The average value of C in one frame image is C x , the average value of M is M x , the average value of Y is Y x , the average value of C in the immediately preceding frame image is C x−1 , and the average value of M is M x-1, Y x-1 the average value of the Y, C t predetermined value, respectively, M t, as Y t, of the following formula, if they meet any one formula, and the turn of scenes To do.
ΔC = C x −C x−1 > C t
ΔM = M x −M x−1 > M t
ΔY = Y x −Y x−1 > Y t

本実施の形態に係る検出部１２０は、Ｃ、Ｍ、Ｙそれぞれの平均値を用いて場面の変わり目を検出しているが、これに代えてフレーム画像のデータがＲ、Ｇ、Ｂの場合には、Ｒ、Ｇ、Ｂそれぞれの平均値を用いて場面の変わり目を検出してもよい。   The detection unit 120 according to the present embodiment detects a scene change using the average values of C, M, and Y, but instead, when the frame image data is R, G, B May detect a scene change using an average value of each of R, G, and B.

次に補正値決定部１１０は、フレーム画像に対応する音声情報に人の声が含まれているか否かを判断する（Ｓ２０８）。補正値決定部１１０は、フレーム画像に対応する音声情報に人の声が含まれていると判断した場合に、変数Ｚ（初期値Ｚ＝０）に１をたす（Ｓ２１８）。次に補正値決定部１１０は、Ｚが第２の所定値に達した場合（Ｓ２２０）に、フレーム画像が補正値を算出すべきフレーム画像であると判断する（Ｓ２２２）。次にＹ及びＺを初期値０に戻す（Ｓ２２４）。一方、Ｓ２２０において補正値決定部１１０は、Ｚが第２の所定値に達していない場合に、図６のＳ１１０における動作を終了する。   Next, the correction value determination unit 110 determines whether or not human voice is included in the audio information corresponding to the frame image (S208). When the correction value determination unit 110 determines that the voice information corresponding to the frame image includes a human voice, the correction value determination unit 110 adds 1 to the variable Z (initial value Z = 0) (S218). Next, when Z reaches the second predetermined value (S220), the correction value determination unit 110 determines that the frame image is a frame image for which a correction value is to be calculated (S222). Next, Y and Z are returned to the initial value 0 (S224). On the other hand, in S220, the correction value determining unit 110 ends the operation in S110 of FIG. 6 when Z does not reach the second predetermined value.

一方、補正値決定部１１０は、フレーム画像に対応する音声情報に人の声が含まれていないと判断した場合に、変数Ｙ（初期値Ｙ＝０）に１をたす（Ｓ２１０）。次に補正値決定部１１０は、第２の所定値より大きい値である第１の所定値にＹが達した場合（Ｓ２１２）に、フレーム画像が補正値を算出すべきフレーム画像であると判断する（Ｓ２１４）。次にＹ及びＺを初期値０に戻す（Ｓ２１６）。画像処理装置１０は、動画像に含まれるすべてのフレーム画像を処理するまで、Ｓ２００からＳ２２４の動作を繰り返す（Ｓ２２６）。   On the other hand, when it is determined that the voice information corresponding to the frame image does not include a human voice, the correction value determination unit 110 adds 1 to the variable Y (initial value Y = 0) (S210). Next, the correction value determination unit 110 determines that the frame image is a frame image for which a correction value is to be calculated when Y reaches a first predetermined value that is larger than the second predetermined value (S212). (S214). Next, Y and Z are returned to the initial value 0 (S216). The image processing apparatus 10 repeats the operations from S200 to S224 until all the frame images included in the moving image are processed (S226).

またＳ２００において検出部１２０は、フレーム分解部１０８が分解したフレーム画像が、動画像において最初のフレーム画像であると判断した場合に、Ｓ２１４にジャンプする。   In S200, when the detection unit 120 determines that the frame image decomposed by the frame decomposition unit 108 is the first frame image in the moving image, the detection unit 120 jumps to S214.

このように画像処理装置１０は、場面の変わり目を検出することができる。一般に場面の変わり目において、画像処理に用いる補正値は大きく変化する。そこで、場面の変わり目を検出することにより、画像処理装置１０は、補正値が大きく変わると想定されるフレーム画像を、選択することができる。   In this way, the image processing apparatus 10 can detect a scene change. In general, correction values used for image processing greatly change at the change of scene. Therefore, by detecting a scene change, the image processing apparatus 10 can select a frame image that is assumed to have a large change in the correction value.

また画像処理装置１０は、予め定められた間隔おきにフレーム画像を選択し、補正値を決定することができる。これにより、画像処理装置１０は、全フレーム画像の補正値を算出する場合と比較して、動作を簡略化することができる。ここで画像処理装置１０は、一定フレーム数おきに補正値を算出するフレーム画像を選択しているが、これに代えて他の例としては、一定時間おきに補正値を算出するフレーム画像を選択してもよい。   The image processing apparatus 10 can select a frame image at predetermined intervals and determine a correction value. As a result, the image processing apparatus 10 can simplify the operation as compared with the case of calculating the correction values of all the frame images. Here, the image processing apparatus 10 selects a frame image that calculates a correction value every certain number of frames. Instead, as another example, a frame image that calculates a correction value every certain time is selected. May be.

また画像処理装置１０は、人の声が含まれる音声情報に対応したフレーム画像を選択することができる。さらに画像処理装置１０は、人の声が含まれる音声情報に対応した動画像に施す処理と、人の声が含まれない音声情報に対応した動画像に施す処理とを異ならせている。具体的には、画像処理装置１０は、動画像に人の声が含まれている音声情報が対応する場合に、人の声が含まれない音声情報が対応する動画像と比較して、補正値を算出するフレーム画像を、より狭い間隔おきに選択している。人の声が含まれる音声情報に対応した動画像は、一般に被写体に人が含まれる可能性がある。そこで画像処理装置１０は、人が含まれる可能性のある動画像を、より頻繁に補正値を算出することにより、的確な補正を行うことができる。   The image processing apparatus 10 can select a frame image corresponding to audio information including a human voice. Furthermore, the image processing apparatus 10 differs in the process applied to the moving image corresponding to the audio information including the human voice and the process applied to the moving image corresponding to the audio information not including the human voice. Specifically, the image processing apparatus 10 corrects, when audio information including a human voice is included in a moving image, compared with a moving image corresponding to audio information that does not include a human voice. A frame image whose value is to be calculated is selected at narrower intervals. In general, there is a possibility that a moving image corresponding to audio information including a human voice includes a person as a subject. Therefore, the image processing apparatus 10 can perform accurate correction by calculating correction values more frequently for moving images that may contain people.

図８は、図６のＳ１１２における画像処理装置１０の詳細な動作の一例を示すフローチャートである。まず補正値決定部１１０は、補正値を算出すべきフレーム画像か否かを判断する（Ｓ３００）。次に補正値決定部１１０は、補正値を算出すべきフレーム画像であると判断した場合に、補正値を算出すべきフレーム画像を含む複数のフレーム画像を解析する（Ｓ３０８）。ここで補正値決定部１１０は、補正値を算出すべきフレーム画像の前後のフレーム画像と、補正値を算出すべきフレーム画像に対し、複数フレーム画像全体、フレーム画像毎のＣＭＹ濃度の平均値、特定の濃度域を有する面積の比率等の画像の特徴を表すデータ（以下、特徴データ）を算出する。   FIG. 8 is a flowchart showing an example of detailed operation of the image processing apparatus 10 in S112 of FIG. First, the correction value determination unit 110 determines whether the correction value is a frame image for which calculation is to be performed (S300). Next, when it is determined that the correction value is to be calculated, the correction value determination unit 110 analyzes a plurality of frame images including the frame image whose correction value is to be calculated (S308). Here, the correction value determining unit 110 performs the entire multiple frame images, the average value of CMY density for each frame image with respect to the frame images before and after the frame image for which the correction value is to be calculated and the frame image for which the correction value is to be calculated. Data representing the features of the image such as the ratio of the area having a specific density range (hereinafter referred to as feature data) is calculated.

次に補正値決定部１１０は、付随情報、補正情報に加えて、算出した特徴データに基づいて、補正値を決定する（Ｓ３１０）。   Next, the correction value determination unit 110 determines a correction value based on the calculated feature data in addition to the accompanying information and the correction information (S310).

次に補正値決定部１１０は、算出した補正値を、前に算出した補正値と後に算出した補正値とを用いて修正する（Ｓ３１２）。例えば補正値決定部１１０は、算出した補正値をＡｘ、前に算出した補正値をＡｘ−１、後に算出した補正値をＡｘ＋１とすると、
Ａｘ'＝（Ａｘ−１＋２Ａｘ＋Ａｘ＋１）／４
という式を用いて、補正値ＡｘをＡｘ'に修正する。 Next, the correction value determination unit 110 corrects the calculated correction value using the correction value calculated before and the correction value calculated later (S312). For example, the correction value determination unit 110 assumes that the calculated correction value is A x , the correction value calculated before is A x−1 , and the correction value calculated later is A x + 1 .
A x ′ = (A x−1 + 2A x + A x + 1 ) / 4
The correction value A x is corrected to A x ′ using the following equation.

一方補正値決定部１１０は、補正値を算出すべきフレーム画像ではないと判断した場合に、フレーム画像の直後に場面の変わり目があるか否かを判断する（Ｓ３０２）。次に補正値決定部１１０は、フレーム画像の直後に場面の変わり目があると判断した場合に、直前に算出したフレーム画像の補正値を適用する（Ｓ３０６）。   On the other hand, when determining that the correction value is not a frame image for which the correction value is to be calculated, the correction value determining unit 110 determines whether there is a scene change immediately after the frame image (S302). Next, when it is determined that there is a scene change immediately after the frame image, the correction value determination unit 110 applies the correction value of the frame image calculated immediately before (S306).

Ｓ３０２において、補正値決定部１１０は、フレーム画像の直後に場面の変わり目がないと判断した場合に、直前に算出したフレーム画像の補正値と、直後に算出したフレーム画像の補正値とを用いて、補正値を決定する（Ｓ３０４）。また補正値決定部１１０は、フレーム画像の直後のみではなく、フレーム画像から所定の範囲内に場面の変わり目がないと判断した場合に、直前に算出したフレーム画像の補正値と、直後に算出したフレーム画像の補正値とを用いて、補正値を決定してもよい。   In S302, when the correction value determination unit 110 determines that there is no scene change immediately after the frame image, the correction value of the frame image calculated immediately before and the correction value of the frame image calculated immediately after are used. Then, a correction value is determined (S304). The correction value determination unit 110 calculates the correction value of the frame image calculated immediately before and immediately after the frame image when it is determined that there is no scene change within a predetermined range from the frame image. The correction value may be determined using the correction value of the frame image.

このように画像処理装置１０は、直前に算出した補正値と、直後に算出した補正値とを用いて、フレーム画像の補正値を算出することができる。また画像処理装置１０は、直後に場面の変わり目がある場合には、直前の補正値を、フレーム画像の補正値として適用することができる。   As described above, the image processing apparatus 10 can calculate the correction value of the frame image using the correction value calculated immediately before and the correction value calculated immediately after. Further, when there is a scene change immediately after, the image processing apparatus 10 can apply the correction value immediately before as the correction value of the frame image.

図９は、画像処理装置１０のハードウェア構成を示すブロック図である。画像処理装置１０は、ＣＰＵ７００と、ＲＯＭ７０２と、ＲＡＭ７０４と、通信インターフェース７０６とを備える。ＣＰＵ７００は、ＲＯＭ７０２及びＲＡＭ７０４に格納されたプログラムに基づいて動作する。通信インターフェース７０６は、ネットワーク１０を介して外部と通信する。格納装置の一例としてのハードディスクドライブ７１０は、設定情報及びＣＰＵ７００が動作するプログラムを格納する。   FIG. 9 is a block diagram illustrating a hardware configuration of the image processing apparatus 10. The image processing apparatus 10 includes a CPU 700, a ROM 702, a RAM 704, and a communication interface 706. CPU 700 operates based on programs stored in ROM 702 and RAM 704. The communication interface 706 communicates with the outside via the network 10. A hard disk drive 710 as an example of a storage device stores setting information and a program on which the CPU 700 operates.

フロッピーディスクドライブ７１２はフロッピーディスク７１４からデータまたはプログラムを読み取りＣＰＵ７００に提供する。ＣＤ−ＲＯＭドライブ７１６はＣＤ−ＲＯＭ７１８からデータまたはプログラムを読み取りＣＰＵ７００に提供する。通信インターフェース７０６は、動画像データを送受信する。   The floppy disk drive 712 reads data or a program from the floppy disk 714 and provides it to the CPU 700. The CD-ROM drive 716 reads data or a program from the CD-ROM 718 and provides it to the CPU 700. The communication interface 706 transmits and receives moving image data.

ＣＰＵ７００が実行するソフトウエアは、フロッピーディスク７１４またはＣＤ−ＲＯＭ７１８等の記録媒体に格納されて利用者に提供される。記録媒体に格納されたソフトウエアは圧縮されていても非圧縮であっても良い。ソフトウエアは記録媒体からハードディスクドライブ７１０にインストールされ、ＲＡＭ７０４に読み出されてＣＰＵ７００により実行される。   Software executed by the CPU 700 is stored in a recording medium such as the floppy disk 714 or the CD-ROM 718 and provided to the user. Software stored in the recording medium may be compressed or uncompressed. The software is installed in the hard disk drive 710 from the recording medium, read into the RAM 704, and executed by the CPU 700.

記録媒体に格納されて提供されるソフトウエア、即ちハードディスクドライブ７１０にインストールされるソフトウエアは、機能構成として、音声情報取得モジュール、動画像取得モジュール、付随情報取得モジュール、音声情報解析モジュール、フレーム分解モジュール、補正値決定モジュール、再構成モジュール、検出モジュール、及び補正モジュールを備える。これらの各モジュールがコンピュータに働きかけて、ＣＰＵ７００に行わせる処理は、それぞれ本実施の形態における画像処理装置１０における、対応する部材の機能及び動作と同一であるから説明を省略する。   Software provided by being stored in a recording medium, that is, software installed in the hard disk drive 710 includes, as a functional configuration, an audio information acquisition module, a moving image acquisition module, an accompanying information acquisition module, an audio information analysis module, A module, a correction value determination module, a reconstruction module, a detection module, and a correction module; The processing that each of these modules works on the computer to cause the CPU 700 to perform is the same as the function and operation of the corresponding member in the image processing apparatus 10 according to the present embodiment, and a description thereof will be omitted.

図９に示した、記録媒体の一例としてのフロッピーディスク７１４またはＣＤ−ＲＯＭ７１８には、本出願で説明する全ての実施形態における画像処理装置１０の動作の一部または全ての機能を格納することができる。   The floppy disk 714 or the CD-ROM 718 as an example of the recording medium illustrated in FIG. 9 may store a part or all of the functions of the image processing apparatus 10 in all the embodiments described in the present application. it can.

これらのプログラムは記録媒体から直接ＲＡＭに読み出されて実行されても、一旦ハードディスクドライブにインストールされた後にＲＡＭに読み出されて実行されても良い。更に、上記プログラムは単一の記録媒体に格納されても複数の記録媒体に格納されても良い。また記録媒体に格納されるモジュールは、オペレーティングシステムとの共同によってそれぞれの機能を提供してもよい。例えば機能の一部または全部を行うことをオペレーティングシステムに依頼し、オペレーティングシステムからの応答に基づいて機能を提供するものであってもよい。   These programs may be read directly from the recording medium into the RAM and executed, or once installed in the hard disk drive, read out into the RAM and executed. Further, the program may be stored in a single recording medium or a plurality of recording media. The modules stored in the recording medium may provide respective functions in cooperation with the operating system. For example, the operating system may be requested to perform a part or all of the function, and the function may be provided based on a response from the operating system.

以上に示したプログラムまたはモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フロッピーディスク、ＣＤ−ＲＯＭの他にも、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、磁気記録媒体、ＩＣカードやミニチュアーカードなどの半導体メモリ等を用いることができる。又、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の格納装置を記録媒体として使用し、通信網を介してプログラムを画像処理装置１０に提供してもよい。   The program or module shown above may be stored in an external recording medium. Recording media include floppy disks, CD-ROMs, optical recording media such as DVD and PD, magneto-optical recording media such as MD, tape media, magnetic recording media, semiconductor memories such as IC cards and miniature cards, etc. Can be used. Further, a storage device such as a hard disk or RAM provided in a server system connected to a dedicated communication network or the Internet may be used as a recording medium, and the program may be provided to the image processing apparatus 10 via the communication network.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができる。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. Various changes or improvements can be added to the above embodiment.

例えば、本実施の形態に係る画像処理装置１０は、フレーム画像に含まれる色度を用いて、場面の変わり目を判断しているが、これに代えて他の例としては、画像処理装置１０は、被写体から撮像装置までの距離や撮影日時の変化量が、予め定められた値より大きい場合に、場面の変わり目であると判断してもよい。この場合、画像処理装置１０の付随情報取得部１６０は、距離情報または時刻情報を付随情報として取得し、取得した距離情報または時刻情報を検出部１２０に送る。検出部１２０は、受け取った距離情報または時刻情報に基づいて場面の変わり目を判断する。   For example, the image processing apparatus 10 according to the present embodiment uses the chromaticity included in the frame image to determine the change of the scene, but as another example, the image processing apparatus 10 When the distance from the subject to the imaging device or the amount of change in the shooting date / time is greater than a predetermined value, it may be determined that the scene has changed. In this case, the accompanying information acquisition unit 160 of the image processing apparatus 10 acquires distance information or time information as accompanying information, and sends the acquired distance information or time information to the detection unit 120. The detection unit 120 determines a scene change based on the received distance information or time information.

その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   It is apparent from the description of the scope of claims that embodiments with such changes or improvements can be included in the technical scope of the present invention.

上記説明から明らかなように、本発明によれば動画像のそれぞれのフレーム画像に適した補正値を決定することができる。   As is apparent from the above description, according to the present invention, it is possible to determine a correction value suitable for each frame image of a moving image.

本実施の形態に係る画像処理装置の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the image processing apparatus which concerns on this Embodiment. プリンタ２０の機能構成の一例を示すブロック図である。2 is a block diagram illustrating an example of a functional configuration of a printer. FIG. 補正値決定部１１０の詳細な機能構成を示すブロック図である。3 is a block diagram illustrating a detailed functional configuration of a correction value determination unit 110. FIG. 補正部１３０の詳細な機能構成を示すブロック図である。3 is a block diagram illustrating a detailed functional configuration of a correction unit 130. FIG. フレーム分解部１０８が分解したフレーム画像のデータフォーマットの一例を示す図である。It is a figure which shows an example of the data format of the frame image decomposed | disassembled by the frame decomposition | disassembly part. 本実施の形態に係る画像処理装置１０の動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of the image processing apparatus 10 which concerns on this Embodiment. 図６のＳ１１０における画像処理装置１０の詳細な動作の一例を示すフローチャートである。It is a flowchart which shows an example of detailed operation | movement of the image processing apparatus 10 in S110 of FIG. 図６のＳ１１２における画像処理装置１０の詳細な動作の一例を示すフローチャートである。It is a flowchart which shows an example of detailed operation | movement of the image processing apparatus 10 in S112 of FIG. 画像処理装置１０のハードウェア構成を示すブロック図である。2 is a block diagram illustrating a hardware configuration of the image processing apparatus 10. FIG.

符号の説明Explanation of symbols

１０ 画像処理装置
２０ プリンタ
１００ 音声情報取得部
１０２ 動画像取得部
１０５ 音声データベース
１０６ 音声情報解析部
１０７ 画像処理部
１０８ フレーム分解部
１１０ 補正値決定部
１１５ 入力部
１２０ 検出部
１３０ 補正部
１４０ 再構成部
１５０ 表示装置
１６０ 付随情報取得部
２０１ 画像取得部
２０２ フレーム分解部
２０４ 縮小処理部
２０５ 受信部
２０６ 補正値対応表作成部
２０８ 補正部
２１０ 拡大処理部
２１２ アンシャープマスク処理部
２１４ 出力処理部
２１６ 印刷部 DESCRIPTION OF SYMBOLS 10 Image processing apparatus 20 Printer 100 Audio | voice information acquisition part 102 Moving image acquisition part 105 Audio | voice database 106 Audio | voice information analysis part 107 Image processing part 108 Frame decomposition part 110 Correction value determination part 115 Input part 120 Detection part 130 Correction | amendment part 140 Reconstruction part 150 Display Device 160 Accompanying Information Acquisition Unit 201 Image Acquisition Unit 202 Frame Decomposition Unit 204 Reduction Processing Unit 205 Reception Unit 206 Correction Value Correspondence Table Creation Unit 208 Correction Unit 210 Enlargement Processing Unit 212 Unsharp Mask Processing Unit 214 Output Processing Unit 216 Printing Unit

Claims (4)

複数のフレーム画像を有する動画像の補正処理を行う画像処理装置であって、
予め定められたフレーム数おきの算出対象のフレーム画像、および前記算出対象のフレーム画像の前後のフレーム画像に対して画像処理のための補正値を算出し、前記算出対象のフレーム画像に対して算出された補正値を、前記算出対象のフレーム画像の前後のフレーム画像に対して算出されたそれぞれの補正値を用いて修正し、修正された補正値を画像処理用の補正値として決定する補正値決定部と、
前記補正値決定部が決定した補正値に基づいて、前記フレーム画像毎に前記動画像を補正する補正部と
を備える画像処理装置。 An image processing apparatus for correcting a moving image having a plurality of frame images,
A correction value for image processing is calculated for a frame image to be calculated every predetermined number of frames and frame images before and after the frame image to be calculated, and calculated for the frame image to be calculated A correction value for correcting the corrected value using the respective correction values calculated for the frame images before and after the frame image to be calculated, and determining the corrected correction value as a correction value for image processing A decision unit;
The correction value determination unit based on the correction value determined, the correcting unit and an image processing apparatus Ru comprising a correcting said moving image for each of the frame images. 前記動画像における場面の変わり目を検出する検出部
をさらに備え、
前記補正値決定部は、前記算出対象のフレーム画像以外の前記フレーム画像の補正値を、当該フレーム画像の直後に場面の変わり目がある場合には、直前に算出された前記フレーム画像の補正値とし、当該フレーム画像の直後に場面の変わり目がない場合には、直前に算出されたフレーム画像の補正値と、直後に算出されたフレーム画像の補正値とを用いて決定する請求項１に記載の画像処理装置。 A detection unit for detecting a scene change in the moving image;
The correction value determination unit uses the correction value of the frame image other than the frame image to be calculated as the correction value of the frame image calculated immediately before when there is a scene change immediately after the frame image. If there is no turn of scenes immediately after the frame image, a correction value of the frame image calculated immediately before, according to claim 1, determined using a correction value of the calculated frame image immediately after Image processing device. 複数のフレーム画像を有する動画像の補正処理を行うコンピュータ用のプログラムであって、A computer program for correcting a moving image having a plurality of frame images,
前記コンピュータをThe computer
予め定められたフレーム数おきの算出対象のフレーム画像、および前記算出対象のフレーム画像の前後のフレーム画像に対して画像処理のための補正値を算出し、前記算出対象のフレーム画像に対して算出された補正値を、前記算出対象のフレーム画像の前後のフレーム画像に対して算出されたそれぞれの補正値を用いて修正し、修正された補正値を画像処理用の補正値として決定する補正値決定部と、A correction value for image processing is calculated for a frame image to be calculated every predetermined number of frames and frame images before and after the frame image to be calculated, and calculated for the frame image to be calculated A correction value for correcting the corrected value using the respective correction values calculated for the frame images before and after the frame image to be calculated, and determining the corrected correction value as a correction value for image processing A decision unit;
前記補正値決定部が決定した補正値に基づいて、前記フレーム画像毎に前記動画像を補正する補正部とA correction unit that corrects the moving image for each frame image based on the correction value determined by the correction value determination unit;
として機能させるプログラム。Program to function as. フレーム画像を有する動画像の補正処理を行う画像処理装置による画像処理方法であって、An image processing method by an image processing apparatus that performs correction processing of a moving image having a frame image,
予め定められたフレーム数おきの算出対象のフレーム画像、および前記算出対象のフレーム画像の前後のフレーム画像に対して画像処理のための補正値を算出し、前記算出対象のフレーム画像に対して算出された補正値を、前記算出対象のフレーム画像の前後のフレーム画像に対して算出されたそれぞれの補正値を用いて修正し、修正された補正値を画像処理用の補正値として決定する補正値決定段階と、A correction value for image processing is calculated for a frame image to be calculated every predetermined number of frames and frame images before and after the frame image to be calculated, and calculated for the frame image to be calculated A correction value for correcting the corrected value using the respective correction values calculated for the frame images before and after the frame image to be calculated, and determining the corrected correction value as a correction value for image processing The decision stage;
前記補正値決定段階で決定された補正値に基づいて、前記フレーム画像毎に前記動画像を補正する補正段階とを備える画像処理方法。An image processing method comprising: a correction step of correcting the moving image for each frame image based on the correction value determined in the correction value determination step.
JP2008151013A 2008-06-09 2008-06-09 Image processing apparatus, program, and image processing method Expired - Fee Related JP4550129B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008151013A JP4550129B2 (en) 2008-06-09 2008-06-09 Image processing apparatus, program, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008151013A JP4550129B2 (en) 2008-06-09 2008-06-09 Image processing apparatus, program, and image processing method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002096665A Division JP4253158B2 (en) 2002-03-29 2002-03-29 Image processing apparatus, program, image processing method, and moving image production method

Publications (2)

Publication Number Publication Date
JP2008271594A JP2008271594A (en) 2008-11-06
JP4550129B2 true JP4550129B2 (en) 2010-09-22

Family

ID=40050412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008151013A Expired - Fee Related JP4550129B2 (en) 2008-06-09 2008-06-09 Image processing apparatus, program, and image processing method

Country Status (1)

Country Link
JP (1) JP4550129B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4692615B2 (en) 2008-11-28 2011-06-01 ブラザー工業株式会社 Printing apparatus and program
JP2010130510A (en) 2008-11-28 2010-06-10 Brother Ind Ltd Printing device and program
JP4692614B2 (en) 2008-11-28 2011-06-01 ブラザー工業株式会社 Printing apparatus and program
JP5343739B2 (en) * 2009-07-02 2013-11-13 ブラザー工業株式会社 Output device and program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077798A (en) * 2000-08-25 2002-03-15 Minolta Co Ltd Apparatus and method for processing moving image as well as recording medium
JP2002077723A (en) * 2000-09-01 2002-03-15 Minolta Co Ltd Moving image processor and moving image processing method and recording medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077798A (en) * 2000-08-25 2002-03-15 Minolta Co Ltd Apparatus and method for processing moving image as well as recording medium
JP2002077723A (en) * 2000-09-01 2002-03-15 Minolta Co Ltd Moving image processor and moving image processing method and recording medium

Also Published As

Publication number Publication date
JP2008271594A (en) 2008-11-06

Similar Documents

Publication Publication Date Title
US10282801B2 (en) Full-color visibility model using CSF which varies spatially with local luminance
CN101843092B (en) Image apparatus and method
US7667873B2 (en) Apparatus and method for image-adaptive color reproduction using pixel frequency information in plural color regions and compression-mapped image information
EP1294178A2 (en) Profile adjustment method, apparatus, and program
JP4253158B2 (en) Image processing apparatus, program, image processing method, and moving image production method
US8717460B2 (en) Methods and systems for automatic white balance
JP2005045404A (en) Image processor and method, and program
EP1805982B1 (en) Apparatus, system, and method for optimizing gamma curves for digital image devices
EP2384007A2 (en) Image reproduction using a particular color space
JP4936686B2 (en) Image processing
JP4550129B2 (en) Image processing apparatus, program, and image processing method
US8139079B2 (en) Color gamut component analysis apparatus, method of analyzing color gamut component, and color gamut component analysis program
US8471933B2 (en) Image processing apparatus, image processing method and computer program
JP2003125222A (en) Program for realizing image processing method to adjust table
US8270029B2 (en) Methods, apparatus and systems for using black-only on the neutral axis in color management profiles
JP4451889B2 (en) Image processing apparatus, program, and image processing method
JPH1141622A (en) Image processor
JP4150490B2 (en) Image processing system, image processing method, and recording medium
JP2006129508A (en) Conversion data adjusting method, apparatus and program
JP2002094826A (en) Image processing unit, image forming unit and method for processing image
JP2001078235A (en) Method and system for image evaluation
JP4148068B2 (en) Device profile creation device and creation method, device link profile creation device and creation method, color conversion device and color conversion method
JP2002314827A (en) Image processing method, image processing device, image forming device equipped therewith, image processing program, and recording medium
JP2001211340A (en) Optimizing device for photographic image data
US7961942B2 (en) Apparatus and method for generating catalog image and program therefor

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100518

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100706

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100707

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130716

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees