JP2007243259A - Image processing apparatus and method, program recording medium, and program - Google Patents
Image processing apparatus and method, program recording medium, and program Download PDFInfo
- Publication number
- JP2007243259A JP2007243259A JP2006058959A JP2006058959A JP2007243259A JP 2007243259 A JP2007243259 A JP 2007243259A JP 2006058959 A JP2006058959 A JP 2006058959A JP 2006058959 A JP2006058959 A JP 2006058959A JP 2007243259 A JP2007243259 A JP 2007243259A
- Authority
- JP
- Japan
- Prior art keywords
- image
- setting information
- feature amount
- reproduction position
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、画像処理装置および方法、プログラム記録媒体、並びにプログラムに関し、特に、画像に加える処理と、画像の特徴量とを対応付けて記憶させることで、画像を再生させる度に、所定の処理を加えた画像を正確に再現できるようにした画像処理装置および方法、プログラム記録媒体、並びにプログラムに関する。 The present invention relates to an image processing apparatus and method, a program recording medium, and a program, and in particular, a predetermined process each time an image is reproduced by storing a process added to the image and an image feature amount in association with each other. The present invention relates to an image processing apparatus and method, a program recording medium, and a program that can accurately reproduce an image added with the above.
画像を手軽に処理するための技術が普及しつつある。 Technologies for easily processing images are becoming widespread.
従来、ビデオカメラなどで撮像された画像を編集するには、オリジナルの画像データを再生させながら、各種の処理を加える操作を実行し、処理結果となる画像を別の記録媒体に記録させるといったリニア編集が主流であった。 Conventionally, in order to edit an image captured by a video camera or the like, a linear operation is performed in which original image data is reproduced, an operation for performing various processes is executed, and an image as a processing result is recorded on another recording medium. Editing was mainstream.
また、上述のようなリニア編集の場合、オリジナルの画像データがCOPY ONCEの場合、一度VTR(Video Tape Recorder)に記録したものを再生し、さらに編集した映像については記録できないという問題があった。 Further, in the case of the linear editing as described above, when the original image data is COPY ONCE, there is a problem that the video once recorded in the VTR (Video Tape Recorder) is reproduced and the edited video cannot be recorded.
そこで、画像を編集させるための処理を指示する操作を記憶させる方法が提案されている(特許文献1参照)。 Therefore, a method for storing an operation for instructing a process for editing an image has been proposed (see Patent Document 1).
しかしながら、リニア編集の場合、画像と、その画像の時間を示すタイムコードとを同時に通信することでタイムコードに合わせて編集することができるが、民生用のVTRなどではタイムコードはVTR内部にあり、タイムコードを外部に伝えることは事実上できない状態であり、画像と、画像を編集させるための処理を指示する操作とを同期させることができないため、操作を単に記憶させるようにしても、全ての画像に対して正確に同期しつつ、全ての画像に対して正確に処理を加えて表示させることは困難であった。 However, in the case of linear editing, it is possible to edit according to the time code by simultaneously communicating the image and the time code indicating the time of the image. However, in consumer VTRs, the time code is in the VTR. , It is virtually impossible to convey the time code to the outside, and the image and the operation for instructing the processing for editing the image cannot be synchronized. It has been difficult to accurately process and display all the images while accurately synchronizing the images.
本発明はこのような状況に鑑みてなされたものであり、特に、オリジナルの画像データに処理を加えることなく、画像に加える処理と、画像の特徴量とを対応付けて記憶させることで、画像を再生させるたびに、全ての画像に対して正確に所定の処理を加えて再現できるようにするものである。 The present invention has been made in view of such a situation, and in particular, by adding a process to be added to an image and storing the feature amount of the image in association with each other without adding a process to the original image data, Each time is reproduced, a predetermined process is accurately applied to all the images so that they can be reproduced.
本発明の第1の側面の画像処理装置は、再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する再生位置特徴量抽出手段と、前記画像の識別番号と供に前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量を検索位置特徴量として順次抽出する検索位置特徴量抽出手段と、前記再生位置特徴量と前記検索位置特徴量とを順次比較する比較手段と、前記比較結果が一致した場合、前記画像の識別番号、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスを一致リストに登録する一致リスト登録手段と、処理を加る処理位置の画像の識別番号と、前記一致リストに登録された画像の識別番号との差分より差分画像数を計算する差分画像計算手段と、前記一致リストに登録された画像の識別番号、前記差分画像数、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスにより、前記データ記録媒体に記録されている、前記処理位置の画像の設定情報のアドレスを推定する推定手段と、前記データ記録媒体より、前記推定手段により推定された設定情報のアドレスより設定情報を読み出す読出手段と、前記読出手段により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映手段とを含む。 An image processing apparatus according to a first aspect of the present invention includes a reproduction position feature amount extraction unit that extracts a reproduction position feature amount from a reproduction position image as a reproduction position feature amount, and the image identification number. Search position feature quantity extraction means for sequentially extracting the feature quantities as search position feature quantities from a data recording medium in which setting information for performing processing on the image is recorded in association with the feature quantities; Comparison means for sequentially comparing the reproduction position feature quantity and the search position feature quantity, and if the comparison result matches, the identification number of the image and the setting information recorded in association with the reproduction position feature quantity The difference for calculating the number of difference images from the difference between the match list registration means for registering the address in the match list, the identification number of the image at the processing position to be processed, and the identification number of the image registered in the match list It is recorded on the data recording medium by image calculation means and the address of the setting information recorded in association with the identification number of the image registered in the match list, the number of difference images, and the reproduction position feature quantity. Estimating means for estimating the setting information address of the image at the processing position, reading means for reading setting information from the data recording medium from the setting information address estimated by the estimating means, and reading by the reading means. Reflecting means for reflecting the processing to the image at the reproduction position based on the set information that has been output.
前記特徴量抽出手段には、前記画像を構成する所定領域の画素の画素値の加算値を特徴量として抽出させるようにすることができる。 The feature amount extraction unit can extract an addition value of pixel values of pixels in a predetermined area constituting the image as a feature amount.
前記一致リスト登録手段には、前記比較結果が一致した場合、前記画像の識別番号、前記再生位置特徴量の特徴量の記録されているアドレス、および前記再生位置特徴量に対応付けて記録されている設定情報が記録されているアドレスを一致リストに登録させ、前記推定手段には、前記一致リストに登録された画像の識別番号に前記差分画像数を加算することにより、前記データ記録媒体の前記処理位置の画像の設定情報が記録されているアドレスを推定させるようにすることができる。 When the comparison result matches, the match list registration unit records the identification number of the image, the address where the feature value of the playback position feature value is recorded, and the playback position feature value in association with each other. The setting information is recorded in the match list, and the estimating means adds the number of difference images to the identification number of the image registered in the match list, thereby The address at which the setting information of the processing position image is recorded can be estimated.
前記画像の識別番号には、フレーム番号、またはフィールド番号を含ませるようにすることができる。 The image identification number may include a frame number or a field number.
本発明の第1の側面の画像処理方法は、再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する再生位置特徴量抽出ステップと、前記画像の識別番号と供に前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量を検索位置特徴量として順次抽出する検索位置特徴量抽出ステップと、前記再生位置特徴量と前記検索位置特徴量とを順次比較する比較ステップと、前記比較結果が一致した場合、前記画像の識別番号、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスを一致リストに登録する一致リスト登録ステップと、処理を加る処理位置の画像の識別番号と、前記一致リストに登録された画像の識別番号との差分より差分画像数を計算する差分画像計算ステップと、前記一致リストに登録された画像の識別番号、前記差分画像数、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスにより、前記データ記録媒体に記録されている、前記処理位置の画像の設定情報のアドレスを推定する推定ステップと、前記データ記録媒体より、前記推定ステップの処理により推定された設定情報のアドレスより設定情報を読み出す読出ステップと、前記読出ステップの処理により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映ステップとを含む。 The image processing method according to the first aspect of the present invention includes a reproduction position feature amount extraction step of extracting a reproduction position feature amount from a reproduction position image as a reproduction position feature amount, and the image identification number. A search position feature quantity extraction step for sequentially extracting the feature quantities as search position feature quantities from a data recording medium in which setting information for performing processing on the image is recorded in association with the feature quantities; A comparison step for sequentially comparing the reproduction position feature quantity and the search position feature quantity, and if the comparison result matches, the identification number of the image and the setting information recorded in association with the reproduction position feature quantity The difference image registration step for registering the address in the match list, the difference image between the identification number of the image at the processing position to be processed and the identification number of the image registered in the match list A difference image calculation step of calculating the number, and an identification number of the image registered in the match list, the number of difference images, and an address of setting information recorded in association with the reproduction position feature amount An estimation step of estimating the setting information address of the image at the processing position recorded on the medium, and a reading step of reading the setting information from the data recording medium from the setting information address estimated by the processing of the estimation step And a reflecting step of reflecting the processing to the image at the reproduction position based on the setting information read by the processing of the reading step.
本発明の第1の側面のプログラム記録媒体のプログラムは、再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する再生位置特徴量抽出ステップと、前記画像の識別番号と供に前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量を検索位置特徴量として順次抽出する検索位置特徴量抽出ステップと、前記再生位置特徴量と前記検索位置特徴量とを順次比較する比較ステップと、前記比較結果が一致した場合、前記画像の識別番号、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスを一致リストに登録する一致リスト登録ステップと、処理を加る処理位置の画像の識別番号と、前記一致リストに登録された画像の識別番号との差分より差分画像数を計算する差分画像計算ステップと、前記一致リストに登録された画像の識別番号、前記差分画像数、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスにより、前記データ記録媒体に記録されている、前記処理位置の画像の設定情報のアドレスを推定する推定ステップと、前記データ記録媒体より、前記推定ステップの処理により推定された設定情報のアドレスより設定情報を読み出す読出ステップと、前記読出ステップの処理により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映ステップとを含む。 The program of the program recording medium according to the first aspect of the present invention includes a reproduction position feature amount extraction step for extracting a reproduction position feature amount from a reproduction position image as a reproduction position feature amount, and the image identification number. A search position feature quantity extraction step for sequentially extracting the feature quantities as search position feature quantities from a data recording medium in which setting information for performing processing on the images is recorded in association with the feature quantities of the images; A comparison step for sequentially comparing the reproduction position feature quantity and the search position feature quantity, and a setting recorded in association with the identification number of the image and the reproduction position feature quantity when the comparison result matches. A match list registration step for registering an address of information in a match list, an identification number of an image at a processing position to be processed, and an identification number of an image registered in the match list A difference image calculation step for calculating the number of difference images from the difference between them, an identification number of the image registered in the match list, the number of difference images, and an address of setting information recorded in association with the reproduction position feature amount To estimate the address of the setting information of the image at the processing position recorded on the data recording medium, and to set from the address of the setting information estimated by the processing of the estimation step from the data recording medium A reading step of reading information, and a reflecting step of reflecting the processing to the image at the reproduction position based on the setting information read by the processing of the reading step.
本発明の第1の側面のプログラムは、再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する再生位置特徴量抽出ステップと、前記画像の識別番号と供に前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量を検索位置特徴量として順次抽出する検索位置特徴量抽出ステップと、前記再生位置特徴量と前記検索位置特徴量とを順次比較する比較ステップと、前記比較結果が一致した場合、前記画像の識別番号、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスを一致リストに登録する一致リスト登録ステップと、処理を加る処理位置の画像の識別番号と、前記一致リストに登録された画像の識別番号との差分より差分画像数を計算する差分画像計算ステップと、前記一致リストに登録された画像の識別番号、前記差分画像数、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスにより、前記データ記録媒体に記録されている、前記処理位置の画像の設定情報のアドレスを推定する推定ステップと、前記データ記録媒体より、前記推定ステップの処理により推定された設定情報のアドレスより設定情報を読み出す読出ステップと、前記読出ステップの処理により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映ステップとを含む処理をコンピュータに実行させる。 The program according to the first aspect of the present invention includes a reproduction position feature amount extraction step for extracting a reproduction position feature amount from a reproduction position image as a reproduction position feature amount, and the image feature amount together with the image identification number. A search position feature amount extraction step for sequentially extracting the feature amounts as search position feature amounts from a data recording medium in which setting information for performing processing on the image is recorded in association with the image, and the reproduction position A comparison step for sequentially comparing the feature amount and the search position feature amount, and if the comparison result matches, an identification number of the image and an address of the setting information recorded in association with the reproduction position feature amount are The difference image is calculated based on the difference between the match list registration step registered in the match list, the identification number of the image at the processing position to be processed, and the identification number of the image registered in the match list. The data recording medium includes a difference image calculation step for calculating the image and an address of setting information recorded in association with the identification number of the image registered in the match list, the number of difference images, and the reproduction position feature amount An estimation step of estimating the setting information address of the image at the processing position recorded in the recording step; and a reading step of reading setting information from the setting information address estimated by the processing of the estimation step from the data recording medium; Then, based on the setting information read by the process of the reading step, the computer is caused to execute a process including a reflecting step for reflecting the process to the image at the reproduction position.
本発明の第2の側面の画像処理装置は、再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する再生位置特徴量抽出手段と、前記画像の識別番号と供に前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量を検索位置特徴量として順次抽出する検索位置特徴量抽出手段と、前記再生位置特徴量と前記検索位置特徴量とを順次比較する比較手段と、前記比較結果が一致した場合、前記画像の識別番号、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスを一致リストに登録する一致リスト登録手段と、処理を加る処理位置の画像の識別番号と、前記一致リストに登録された画像の識別番号との対応関係を取得する対応関係取得手段と、前記一致リストに登録された画像の識別番号、前記対応関係、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスにより、前記データ記録媒体に記録されている、前記処理位置の画像の設定情報のアドレスを推定する推定手段と、前記データ記録媒体より、前記推定手段により推定された設定情報のアドレスより設定情報を読み出す読出手段と、前記読出手段により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映手段とを含む。 The image processing apparatus according to the second aspect of the present invention provides a reproduction position feature quantity extracting means for extracting a reproduction position feature quantity from a reproduction position image as a reproduction position feature quantity, and the image identification number. Search position feature quantity extraction means for sequentially extracting the feature quantities as search position feature quantities from a data recording medium in which setting information for performing processing on the image is recorded in association with the feature quantities; Comparison means for sequentially comparing the reproduction position feature quantity and the search position feature quantity, and if the comparison result matches, the identification number of the image and the setting information recorded in association with the reproduction position feature quantity Matching list registration means for registering an address in a match list, a correspondence acquisition for acquiring a correspondence between an identification number of an image at a processing position to be processed and an identification number of an image registered in the match list And the setting information recorded in association with the identification number of the image registered in the match list, the correspondence relationship, and the reproduction position feature amount, and recorded on the data recording medium, Estimating means for estimating the setting information address of the image at the processing position, reading means for reading the setting information from the data recording medium from the setting information address estimated by the estimating means, and reading by the reading means Reflecting means for reflecting the processing to the image at the reproduction position based on the setting information.
本発明の第2の画像処理方法は、再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する再生位置特徴量抽出ステップと、前記画像の識別番号と供に前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量を検索位置特徴量として順次抽出する検索位置特徴量抽出ステップと、前記再生位置特徴量と前記検索位置特徴量とを順次比較する比較ステップと、前記比較結果が一致した場合、前記画像の識別番号、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスを一致リストに登録する一致リスト登録ステップと、処理を加る処理位置の画像の識別番号と、前記一致リストに登録された画像の識別番号との対応関係を取得する対応関係取得ステップと、前記一致リストに登録された画像の識別番号、前記対応関係、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスにより、前記データ記録媒体に記録されている、前記処理位置の画像の設定情報のアドレスを推定する推定ステップと、前記データ記録媒体より、前記推定手段により推定された設定情報のアドレスより設定情報を読み出す読出ステップと、前記読出ステップの処理により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映ステップとを含む。 According to a second image processing method of the present invention, a reproduction position feature quantity extracting step for extracting a reproduction position feature quantity from a reproduction position image as a reproduction position feature quantity, and a feature quantity of the image together with an identification number of the image. A search position feature amount extraction step for sequentially extracting the feature amounts as search position feature amounts from a data recording medium in which setting information for performing processing on the image is recorded in association with the image, and the reproduction position A comparison step for sequentially comparing the feature amount and the search position feature amount, and if the comparison result matches, an identification number of the image and an address of the setting information recorded in association with the reproduction position feature amount are A matching list registration step for registering in a match list, an identification number of an image at a processing position to be processed, and an identification number of an image registered in the match list are acquired. Recorded on the data recording medium by the relationship acquisition step and the address of the setting information recorded in association with the identification number of the image registered in the match list, the correspondence relationship, and the reproduction position feature quantity An estimation step of estimating the setting information address of the image at the processing position; a reading step of reading setting information from the data recording medium from the setting information address estimated by the estimating means; and a process of the reading step A reflecting step of reflecting the process to the image at the reproduction position based on the read setting information.
本発明の第1の側面の画像処理装置および方法、並びにプログラムにおいては、再生位置の画像より再生位置の特徴量が再生位置特徴量として抽出され、前記画像の識別番号と供に前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量が検索位置特徴量として順次抽出され、前記再生位置特徴量と前記検索位置特徴量とが順次比較され、前記比較結果が一致した場合、前記画像の識別番号、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスが一致リストに登録され、処理を加る処理位置の画像の識別番号と、前記一致リストに登録された画像の識別番号との差分より差分画像数が計算され、前記一致リストに登録された画像の識別番号、前記差分画像数、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスにより、前記データ記録媒体に記録されている、前記処理位置の画像の設定情報のアドレスが推定され、前記データ記録媒体より、推定された設定情報のアドレスより設定情報が読み出され、読み出された設定情報に基づいて、前記再生位置の画像に対して処理が反映される。 In the image processing apparatus, method, and program according to the first aspect of the present invention, a feature value at the playback position is extracted as a playback position feature value from the image at the playback position, and the feature of the image is used together with the identification number of the image. The feature amounts are sequentially extracted as search position feature amounts from a data recording medium in which setting information for performing processing on the image is recorded in association with the amount, and the reproduction position feature amount and the search position When the comparison is made with the feature amount sequentially and the comparison result matches, the identification number of the image and the address of the setting information recorded in association with the reproduction position feature amount are registered in the match list, and processing is added. The number of difference images is calculated from the difference between the identification number of the image at the processing position and the identification number of the image registered in the match list, and the identification number of the image registered in the match list; The address of the setting information of the image at the processing position recorded in the data recording medium is estimated from the number of recorded difference images and the address of the setting information recorded in association with the reproduction position feature amount, and The setting information is read from the estimated address of the setting information from the data recording medium, and the process is reflected on the image at the reproduction position based on the read setting information.
本発明の第2の側面の画像処理装置および方法においては、再生位置の画像より再生位置の特徴量が再生位置特徴量として抽出され、前記画像の識別番号と供に前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量が検索位置特徴量として順次抽出され、前記再生位置特徴量と前記検索位置特徴量とが順次比較され、前記比較結果が一致した場合、前記画像の識別番号、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスが一致リストに登録され、処理を加る処理位置の画像の識別番号と、前記一致リストに登録された画像の識別番号との対応関係が取得され、前記一致リストに登録された画像の識別番号、前記対応関係、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスにより、前記データ記録媒体に記録されている、前記処理位置の画像の設定情報のアドレスが推定され、前記データ記録媒体より、推定された設定情報のアドレスより設定情報が読み出され、読み出された設定情報に基づいて、前記再生位置の画像に対して処理が反映される。 In the image processing apparatus and method according to the second aspect of the present invention, the reproduction position feature quantity is extracted from the reproduction position image as the reproduction position feature quantity, and corresponds to the image feature quantity together with the image identification number. The feature amount is sequentially extracted as a search position feature amount from a data recording medium in which setting information for performing processing on the image is recorded, and the reproduction position feature amount and the search position feature amount are Are sequentially compared, and when the comparison result matches, the identification number of the image and the address of the setting information recorded in association with the reproduction position feature amount are registered in the match list, and the processing position to which processing is applied The correspondence relationship between the identification number of the image and the identification number of the image registered in the match list is acquired, and the identification number of the image registered in the match list, the correspondence relationship, and the reproduction The address of the setting information of the image at the processing position recorded in the data recording medium is estimated from the address of the setting information recorded in association with the position feature amount, and is estimated from the data recording medium Setting information is read from the address of the setting information, and processing is reflected on the image at the reproduction position based on the read setting information.
本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。 The image processing apparatus of the present invention may be an independent apparatus or a block that performs image processing.
本発明によれば、オリジナルの画像データに処理を加えることなく、画像を再生させる度に、画像に対して正確に所定の処理を加えて再現することが可能となる。また、複製できない画像データであっても、再生させる度に、同一の処理を加えて繰り返し再生することが可能となる。 According to the present invention, it is possible to accurately perform predetermined processing on an image and reproduce it every time an image is reproduced without adding processing to the original image data. Further, even when image data that cannot be duplicated is reproduced, it is possible to repeatedly reproduce it by adding the same processing each time it is reproduced.
また、本発明のによれば、画像の特徴量に対応付けて、画像を処理するための設定情報を読み出し、設定情報に基づいて、画像への処理を反映させる際、処理が長引くことにより全画像に対して処理が施せないといった事態を抑制することが可能となり、全ての画像に対して正確に所定の処理を加えて再現することが可能となる。 Further, according to the present invention, when setting information for processing an image is read in association with the feature amount of the image, and the process to the image is reflected based on the setting information, the processing is prolonged, It is possible to suppress a situation in which processing cannot be performed on an image, and it is possible to accurately reproduce all images by performing predetermined processing.
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。 Embodiments of the present invention will be described below. The correspondence relationship between the invention described in this specification and the embodiments of the invention is exemplified as follows. This description is intended to confirm that the embodiments supporting the invention described in this specification are described in this specification. Therefore, although there is an embodiment which is described in the embodiment of the invention but is not described here as corresponding to the invention, it means that the embodiment is not It does not mean that it does not correspond to the invention. Conversely, even if an embodiment is described herein as corresponding to an invention, that means that the embodiment does not correspond to an invention other than the invention. Absent.
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。 Further, this description does not mean all the inventions described in this specification. In other words, this description is for the invention described in the present specification, which is not claimed in this application, that is, for the invention that will be applied for in the future or that will appear and be added by amendment. It does not deny existence.
即ち、本発明の第1の側面の画像処理装置は、再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する再生位置特徴量抽出手段(例えば、図17の再生特徴量抽出部102)と、前記画像の識別番号と供に前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量を検索位置特徴量として順次抽出する検索位置特徴量抽出手段(例えば、図17の検索位置特徴量抽出部104)と、前記再生位置特徴量と前記検索位置特徴量とを順次比較する比較手段(例えば、図17の比較部103)と、前記比較結果が一致した場合、前記画像の識別番号、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスを一致リストに登録する一致リスト登録手段(例えば、図17の一致リスト登録部301)と、処理を加る処理位置の画像の識別番号と、前記一致リストに登録された画像の識別番号との差分より差分画像数を計算する差分画像計算手段(例えば、図16の差分計算部263c)と、前記一致リストに登録された画像の識別番号、前記差分画像数、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスにより、前記データ記録媒体に記録されている、前記処理位置の画像の設定情報のアドレスを推定する推定手段(例えば、図16の推定部263d)と、前記データ記録媒体より、前記推定手段により推定された設定情報のアドレスより設定情報を読み出す読出手段(例えば、図16の特徴量設定情報読出部263)と、前記読出手段により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映手段(例えば、図16の反映部249)とを含む。
That is, the image processing apparatus according to the first aspect of the present invention is a reproduction position feature quantity extraction unit (for example, the reproduction feature quantity extraction unit in FIG. 17) that extracts a reproduction position feature quantity from a reproduction position image as a reproduction position feature quantity. 102), and the feature quantity is retrieved from a data recording medium in which setting information for performing processing on the image is recorded in association with the feature quantity of the image together with the identification number of the image. Search position feature amount extraction means (for example, the search position feature
前記特徴量抽出手段には、前記画像を構成する所定領域の画素の画素値の加算値を特徴量として抽出させるようにすることができる。 The feature amount extraction unit can extract an addition value of pixel values of pixels in a predetermined area constituting the image as a feature amount.
前記一致リスト登録手段(例えば、図17の一致リスト登録部301)には、前記比較結果が一致した場合、前記画像の識別番号、前記再生位置特徴量の特徴量の記録されているアドレス、および前記再生位置特徴量に対応付けて記録されている設定情報が記録されているアドレスを一致リストに登録させ、前記推定手段(例えば、図16の推定部263d)には、前記一致リストに登録された画像の識別番号に前記差分画像数を加算することにより、前記データ記録媒体の前記処理位置の画像の設定情報が記録されているアドレスを推定させるようにすることができる。
In the match list registration means (for example, the match
前記画像の識別番号には、フレーム番号、またはフィールド番号を含ませるようにすることができる。 The image identification number may include a frame number or a field number.
本発明の第1の側面の画像処理方法およびプログラムは、再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する再生位置特徴量抽出ステップ(図23のフローチャートにおけるステップS105)と、前記画像の識別番号と供に前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量を検索位置特徴量として順次抽出する検索位置特徴量抽出ステップ(図23のフローチャートにおけるステップS106)と、前記再生位置特徴量と前記検索位置特徴量とを順次比較する比較ステップ(図23のフローチャートにおけるステップS107)と、前記比較結果が一致した場合、前記画像の識別番号、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスを一致リストに登録する一致リスト登録ステップ(図23のフローチャートにおけるステップS109)と、処理を加る処理位置の画像の識別番号と、前記一致リストに登録された画像の識別番号との差分より差分画像数を計算する差分画像計算ステップ(図26のフローチャートにおけるステップS137)と、前記一致リストに登録された画像の識別番号、前記差分画像数、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスにより、前記データ記録媒体に記録されている、前記処理位置の画像の設定情報のアドレスを推定する推定ステップ(図26のフローチャートにおけるステップS138)と、前記データ記録媒体より、前記推定ステップの処理により推定された設定情報のアドレスより設定情報を読み出す読出ステップ(図26のフローチャートにおけるステップS142)と、前記読出ステップの処理により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映ステップ(図26のフローチャートにおけるステップS143)とを含む。 An image processing method and program according to the first aspect of the present invention include a reproduction position feature amount extraction step (step S105 in the flowchart of FIG. 23) for extracting a reproduction position feature amount from a reproduction position image as a reproduction position feature amount. The feature quantity is sequentially used as a search position feature quantity from a data recording medium in which setting information for performing processing on the image is recorded in association with the image feature quantity together with the image identification number. A search position feature quantity extraction step (step S106 in the flowchart of FIG. 23) to be extracted, a comparison step (step S107 in the flowchart of FIG. 23) for sequentially comparing the reproduction position feature quantity and the search position feature quantity, and the comparison If the results match, they are recorded in association with the identification number of the image and the reproduction position feature quantity. A match list registration step (step S109 in the flowchart of FIG. 23) for registering the address of the setting information to be registered in the match list, the identification number of the image at the processing position to be processed, and the identification number of the image registered in the match list Difference image calculation step (step S137 in the flowchart of FIG. 26) for calculating the number of difference images from the difference between the image and the identification number of the image registered in the match list, the number of difference images, and the reproduction position feature amount An estimation step (step S138 in the flowchart of FIG. 26) for estimating the address of the setting information of the image at the processing position recorded on the data recording medium based on the address of the setting information recorded on the data, and the data The address of the setting information estimated by the process of the estimation step is recorded from the recording medium. A reading step for reading the setting information (step S142 in the flowchart of FIG. 26) and a reflecting step for reflecting the processing on the image at the reproduction position based on the setting information read by the processing of the reading step (FIG. Step S143) in the flowchart of FIG.
本発明の第2の側面の画像処理装置は、再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する再生位置特徴量抽出手段(例えば、図17の再生特徴量抽出部102)と、前記画像の識別番号と供に前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量を検索位置特徴量として順次抽出する検索位置特徴量抽出手段(例えば、図17の検索位置特徴量抽出部104)と、前記再生位置特徴量と前記検索位置特徴量とを順次比較する比較手段(例えば、図17の比較部103)と、前記比較結果が一致した場合、前記画像の識別番号、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスを一致リストに登録する一致リスト登録手段(例えば、図17の一致リスト登録部301)と、処理を加る処理位置の画像の識別番号と、前記一致リストに登録された画像の識別番号との対応関係を取得する対応関係取得手段(例えば、図16の差分計算部263c)と、前記一致リストに登録された画像の識別番号、前記対応関係、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスにより、前記データ記録媒体に記録されている、前記処理位置の画像の設定情報のアドレスを推定する推定手段(例えば、図16の推定部263d)と、前記データ記録媒体より、前記推定手段により推定された設定情報のアドレスより設定情報を読み出す読出手段(例えば、図16の特徴量設定情報読出部263)と、前記読出手段により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映手段(例えば、図16の反映部249)とを含む。
The image processing apparatus according to the second aspect of the present invention is a reproduction position feature amount extraction means (for example, a reproduction feature
本発明の第2の画像処理方法は、再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する再生位置特徴量抽出ステップ(図23のフローチャートにおけるステップS105)と、前記画像の識別番号と供に前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量を検索位置特徴量として順次抽出する検索位置特徴量抽出ステップ(図23のフローチャートにおけるステップS106)と、前記再生位置特徴量と前記検索位置特徴量とを順次比較する比較ステップ(図23のフローチャートにおけるステップS107)と、前記比較結果が一致した場合、前記画像の識別番号、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスを一致リストに登録する一致リスト登録ステップ(図23のフローチャートにおけるステップS109)と、処理を加る処理位置の画像の識別番号と、前記一致リストに登録された画像の識別番号との対応関係を取得する対応関係取得ステップ(図26のフローチャートにおけるステップS137)と、前記一致リストに登録された画像の識別番号、前記対応関係、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスにより、前記データ記録媒体に記録されている、前記処理位置の画像の設定情報のアドレスを推定する推定ステップ(図26のフローチャートにおけるステップS138)と、前記データ記録媒体より、前記推定手段により推定された設定情報のアドレスより設定情報を読み出す読出ステップ(図26のフローチャートにおけるステップS142)と、前記読出ステップの処理により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映ステップ(図26のフローチャートにおけるステップS143)とを含む。 The second image processing method of the present invention includes a reproduction position feature amount extraction step (step S105 in the flowchart of FIG. 23) for extracting a reproduction position feature amount from a reproduction position image as a reproduction position feature amount, and identification of the image. A search position that sequentially extracts the feature quantity as a search position feature quantity from a data recording medium in which setting information for applying processing to the image is recorded in association with the feature quantity of the image together with a number The comparison result coincides with the feature amount extraction step (step S106 in the flowchart of FIG. 23), the comparison step (step S107 in the flowchart of FIG. 23) for sequentially comparing the reproduction position feature amount and the search position feature amount. The address of the setting information recorded in association with the identification number of the image and the reproduction position feature quantity Acquires a correspondence relationship between the match list registration step (step S109 in the flowchart of FIG. 23) to be registered in the match list, the identification number of the image at the processing position to be processed, and the identification number of the image registered in the match list. Corresponding relationship acquisition step (step S137 in the flowchart of FIG. 26) and the address of the setting information recorded in association with the identification number of the image registered in the match list, the correspondence relationship, and the reproduction position feature quantity To estimate the address of the setting information of the image at the processing position recorded in the data recording medium (step S138 in the flowchart of FIG. 26), and the estimation means estimates the data from the data recording medium. Reading step for reading the setting information from the address of the setting information (FIG. 26). And step S142) in the flowchart, on the basis of the setting information read by the process of the reading step, and a reflection step of reflecting the process on the image of the playback position (step S143 in the flowchart of FIG. 26).
まず、図1,図2を参照して、本発明を適用した画像処理装置の概念について説明する。本発明を適用した画像処理装置は、予め記録された画像に対して、使用者により指示された処理を施し表示する。このとき、画像処理装置は、画像の特徴量を抽出して、特徴量に対応付けて処理内容の情報を蓄積させる。さらに、画像処理装置は、予め記録された画像を再生するとき、この蓄積された処理内容の情報を読み出して、画像に処理を施し表示する。 First, the concept of an image processing apparatus to which the present invention is applied will be described with reference to FIGS. An image processing apparatus to which the present invention is applied performs processing instructed by a user on an image recorded in advance and displays the image. At this time, the image processing apparatus extracts the feature amount of the image, and accumulates the processing content information in association with the feature amount. Furthermore, when reproducing an image recorded in advance, the image processing apparatus reads out the stored processing content information, processes the image, and displays it.
より具体的には、画像処理装置2の動作は、大きく分けて記録モードと再生モードとの2つのモードからなる。
More specifically, the operation of the
記録モードでは、図1で示されるように、画像処理装置2は、例えば、DVD(Digital Versatile Disc)などの動画像を含むコンテンツが予め記録されている記録メディア1からDVDプレーヤなどにより再生される画像を表示部3に表示させる。この状態で、リモートコントローラなどが使用者などにより操作されることにより、所望とする画像への処理として、例えば、ズーム、パン、チルトなどが指示されると、画像処理装置2は、操作内容に対応する設定情報を生成すると供に、設定情報に対応付けられた処理を画像に施して表示部3に表示させる。さらに、画像処理装置2は、画像より特徴量を抽出し、抽出した特徴量に対応付けて設定情報を操作履歴格納部4に蓄積させる。
In the recording mode, as shown in FIG. 1, the
次に、再生モードでは、図2で示されるように、画像処理装置2は、動画像を含むコンテンツが予め記録されている記録メディア1からDVDプレーヤなどにより再生される画像を読み出すと供に、特徴量を抽出する。このとき、画像処理装置2は、操作履歴格納部4に特徴量に対応付けられて記録されている設定情報を、記録メディア1から読み出した画像の特徴量に同期して読み出すと供に、読み出した設定情報に基づいて、画像に処理を施し、表示部3に表示させる。
Next, in the playback mode, as shown in FIG. 2, the
以上のような動作により、画像処理装置2は、予め記録された画像に対する処理内容のみを蓄積して、処理結果である画像を記録することなく、処理結果である画像を繰り返し再生できるようにすることができる。結果として、Copy Onceなどの複製回数に制限があるような予め記録された画像に対して、様々な画像処理を加えると言った加工処理を繰り返すことが可能となる。
By the operation as described above, the
以下、図1,図2を参照して説明した画像処理装置2について詳細を説明する。
Details of the
図3は、図1,図2の画像処理装置2に対応する画像処理装置13の一実施の形態の構成を示した図である。
FIG. 3 is a diagram showing a configuration of an embodiment of an
画像再生部12は、図1,図2の記録メディア1に対応する記録メディア11に予め所定の形式でエンコードされた状態で記録された画像をデコードし、順次画像として特徴量抽出部41および遅延部48に供給する。
The
特徴量抽出部41は、画像再生部12より順次供給されてくる画像の特徴量を抽出して、同期検出部42、および蓄積ブロック43の特徴量設定情報記録部61に供給する。尚、特徴量抽出部41の構成については、図4を参照して詳細を後述する。
The feature
リモートコントローラ14は、キーやボタンなどから構成され、図1,図2で示されるように使用者が所望とする画像に対する処理の内容を指示するとき操作され、使用者の操作に応じて操作信号を発生すると供に、発生した操作信号に応じて赤外線などからなる発光パターンを生成し、画像処理装置13の受光部44に発光する。
The
受光部44は、リモートコントローラ14の発光パターンに基づいて、リモートコントローラ14の操作信号に変換し、操作情報認識部45に供給する。操作情報認識部45は、受光部44より供給されてくる操作信号に基づいて、使用者が所望とする画像への処理に対応付けられている操作情報を認識し、認識結果である操作信号を設定情報決定部46に供給する。尚、蓄積ブロック43は、リモートコントローラ14からの操作情報に基づいて、オンまたはオフを制御することも可能であり、このため、操作情報認識部45において、蓄積ブロック43のオンまたはオフが制御される操作情報が認識された場合、操作情報認識部45は、蓄積ブロック43の動作をオンまたはオフに制御する。
The
設定情報決定部46は、操作情報認識部45より供給されてくる操作情報に基づいて、後述する反映部49に対して画像への処理内容を指示するための設定情報を決定し、特徴量設定情報記録部61および選択部47に供給する。
Based on the operation information supplied from the operation
蓄積ブロック43の特徴量設定情報記録部61は、特徴量抽出部41より供給されてくる特徴量と、設定情報決定部46より供給されてくる設定情報とを対応付けて特徴量設定情報蓄積部62(図1,図2の操作履歴格納部4に対応するもの)に蓄積させる。
The feature amount setting
同期検出部42は、特徴量設定情報蓄積部62に蓄積されている特徴量(後述する検索位置特徴量)のうち、特徴量抽出部41より供給されてくる画像再生部12により再生されている画像の特徴量(後述する再生位置特徴量)を検索し、同一の特徴量が検出されたとき、画像の同期位置として検出結果を特徴量設定情報読出部63に供給する。尚、同期検出部42の構成については、図6を参照して詳細を後述する。
The
特徴量設定情報読出部63は、同期検出部42より同期位置として検出された特徴量(検索位置特徴量)を取得すると、その特徴量に対応付けられて、特徴量設定情報蓄積部62に記憶されている設定情報を読み出し、選択部47に供給する。選択部47は、設定情報決定部46より設定情報が供給されてきた場合、仮に、同一のタイミングで特徴量設定情報読出部63より設定情報が供給されることがあっても、設定情報決定部46からの設定情報を反映部49に供給する。また、選択部47は、設定情報決定部46より設定情報の供給がなく、特徴量設定情報読出部63より設定情報が供給された場合、特徴量設定情報読出部63より供給された設定情報を反映部49に供給する。さらに、いずれからも設定情報が供給されてこない場合、選択部47は、設定情報を反映部49に供給しない。
When the feature amount setting information reading unit 63 acquires the feature amount (search position feature amount) detected as the synchronization position by the
遅延部48は、特徴量抽出部41、同期検出部42、蓄積ブロック43、および、選択部47の処理における遅延時間だけ、画像再生部12より供給されてくる画像を一時的に記憶し、反映部49に出力する。反映部49は、選択部47より設定情報が供給されてくる場合、遅延部48より供給されてくる画像に対する処理を反映して、表示部15に表示する。また、反映部49は、選択部47より設定情報が供給されてこない場合、遅延部より供給されてくる画像を、そのまま表示部15に表示させる。
The
次に、図4を参照して、特徴量抽出部41の詳細な構成について説明する。
Next, a detailed configuration of the feature
DFF(D型フリップフロップ)81は、直前の入力信号を記憶して、図示せぬクロック信号発生器からのクロック信号(clk)が入力されるタイミングで加算器82に出力する。また、DFF81は、入力信号が画像の信号のうち画像データ領域外のものであるとき、リセット信号が入力され入力信号が消去されて出力される。すなわち、画像信号は、図5で示されるように同期データ領域と画像データ領域から構成されているため、図中の水平方向のサンプルと垂直方向のラインの丸印の原点であるフィールド開始点Sから順次入力されてくる位置の情報に応じて、画像データ領域外の同期データの場合、リセット信号が入力され、同期データを構成する信号が、加算器82に出力されない。つまり、DFF81は、画像を構成する入力信号のうち、画像データ領域のデータのみをクロック信号に同期して加算器82に供給する。
A DFF (D-type flip-flop) 81 stores the previous input signal and outputs it to the
加算器82は、DFF81より供給されてくる信号と、DFF83より供給されてくる信号とを加算してDFF83に出力する。より詳細には、加算器82は、DFF81より供給されてくる信号と、DFF83より供給されてくる信号との加算結果のうち、下位8ビットを抽出してDFF83に供給する。
The
DFF83は、加算器82より供給されてくる信号を図示せぬクロック発生器より発生されるクロック信号(clk)が入力されるタイミングで加算器82および出力部84に供給する。また、DFF83は、フィールド開始点(図中の水平方向のサンプルと垂直方向のラインの丸印の原点)Sの信号が入力される際、リセット信号が入力され入力信号が消去されて出力される。すなわち、DFF83は、画像を構成する入力信号のうち、画像データ領域のデータのみが加算器82により累積的に加算された値を出力部84に供給する。
The
出力部84は、1フィールド(または、1フレーム)の値がDFF83より供給されてきたとき、その値を1フィールド(または、1フレーム)分の画像の特徴量として出力する。すなわち、出力部84は、画像データ領域のデータのみが加算器82により累積的に加算された値の下位8ビットをそのフィールド(または、フレーム)の特徴量として出力する。尚、特徴量は、画像を1フィールド単位で識別できる情報であればよいので、画像データ領域のデータのみ(画素値のみ)が累積的に加算された値の下位8ビットに限るものではなく、例えば、画像データ領域の中央近傍の所定領域内の画素値のみの加算結果をそのまま使用してもよい。
When the value of one field (or one frame) is supplied from the
次に、図6を参照して、同期検出部42の詳細な構成について説明する。
Next, a detailed configuration of the
特徴量バッファ101−1乃至101−3は、供給されてきた特徴量を一時的に記憶すると供に、それまでに記憶していた特徴量を再生位置特徴量生成部102および後段の特徴量バッファ101−2,101−3に順次出力する。尚、特徴量バッファ101−3は、後段の特徴量バッファ101が存在しないため、再生位置特徴量生成部102にのみ出力する。再生位置特徴量生成部102は、特徴量バッファ101−1乃至101−3より供給されてくる最新の特徴量を含めた過去3フィールド分の特徴量を順次取得し、これを纏めて再生位置情報(再生位置特徴量)として生成し、比較部103に出力する。すなわち、再生位置特徴量生成部102は、再生位置を特定するための特徴量として最新のフィールドから3フィールド前までの合計4個の特徴量を使用して、再生位置特徴量を生成する。
The feature amount buffers 101-1 to 101-3 temporarily store the supplied feature amounts, and also store the feature amounts stored so far in the reproduction position feature
検索位置特徴量読出部104は、特徴量設定情報蓄積部62に蓄積されている特徴量を連続する4個ずつを順次読み出し、検索位置特徴量として比較部103および検出部105に供給する。比較部103は、再生位置特徴量生成部102より供給されてくる再生位置特徴量と、検索位置特徴量読出部104より順次供給されてくる検索位置特徴量とを比較する。比較部103は、再生位置特徴量と一致する検索位置特徴量を検索した場合、同期が検出されたとみなし、検出結果として同期が検出されたことを検出部105に通知する。検出部105は、比較部103より同期が検出されたとみなされたタイミングで、検索位置特徴量読出部104より供給されてきた検索位置特徴量を同期検出結果として出力する。
The search position feature
次に、図7のフローチャートを参照して、図3の画像処理装置13による記録処理について説明する。尚、以降の説明においては、蓄積ブロック43は、オンの状態に制御されていることが前提である。
Next, recording processing by the
ステップS1において、遅延部48は新しい画像が画像再生部12より供給されてきたか否かを判定し、新たな画像が供給されてくるまで、その処理を繰り返す。
In step S1, the
例えば、画像再生部12が記録メディア11に記録されている画像を読み出し、遅延部48が、新たな画像が供給されてきたと判定した場合、ステップS2において、遅延部48は、供給されてきた画像を1フィールド分一時的に遅延させるために記憶する。尚、以降においては、画像を1フィールド単位で処理するものとして説明を進めるが、当然のことながら、画像は、1フィールド単位に限らず、例えば、1フレーム単位で処理するようにしても良い。
For example, when the
ステップS3において、特徴量抽出部41は、特徴量抽出処理を実行し、画像再生部12より供給されてきた1フィールド分の画像の特徴量を抽出する。すなわち、遅延部48が、新たな画像を1フィールド分遅延させるために一時的に記憶するとき、同様に、1フィールド分の画像が特徴量抽出部41にも供給されているため、同一のタイミングで、同一の画像が、一方では遅延のため一時的に記憶され、他方では特徴量が抽出される。
In step S <b> 3, the feature
ここで、図8のフローチャートを参照して、特徴量抽出処理について説明する。 Here, the feature amount extraction processing will be described with reference to the flowchart of FIG.
ステップS21において、DFF83は、フィールド開始点S(図5)によりリセットされる。
In step S21,
ステップS22において、未処理の画素が選択され、ステップS23において、画像データ領域外であるか否かが判定される。より詳細には、例えば、ラスタスキャン順に1フィールド分の画像より未処理の画素が順次読み出され、画像データ領域外であるか否かが判定される。 In step S22, an unprocessed pixel is selected, and in step S23, it is determined whether it is outside the image data area. More specifically, for example, unprocessed pixels are sequentially read from the image for one field in the raster scan order, and it is determined whether or not the image data area is outside.
図5で示されるように、最初の画素(フィールド開始点Sの画素)の場合、同期データに含まれるため画像データ領域外であるので、ステップS25において、DFF81はリセットされ、0を画素値として出力する。一方、ラスタスキャン順に処理対象となる画素が選択され、例えば、画像データ領域内である場合、ステップS24において、DFF81は、クロック信号の発生タイミングで画素値を加算器82に供給する。
As shown in FIG. 5, since the first pixel (the pixel at the field start point S) is out of the image data area because it is included in the synchronization data, DFF81 is reset in step S25 and 0 is used as the pixel value. Output. On the other hand, if the pixel to be processed is selected in the raster scan order and is within the image data area, for example, in step S24, the
ステップS26において、加算器82は、入力された画素値と、DFF83より供給されてくる信号とを加算してDFF83に供給する。
In step S <b> 26, the
ステップS27において、DFF83は、クロック信号の発生タイミングで加算器82より供給されてきた加算結果の下位8ビットを加算器82に戻す。このとき、DFF83は、加算結果を出力部84にも供給するが、出力部84は、加算結果を出力しない。
In step S27, the
ステップS28において、未処理の画素があるか否かが判定され、未処理の画素がある場合、その処理は、ステップS22に戻る。すなわち、1フィールド分の画素が全て処理されるまで、ステップS22乃至S28の処理が繰り返される。そして、1フィールド分の画素の全てが処理されたと判定された場合、ステップS29において、出力部84は、DFF83より供給されてくる加算結果、すなわち、画像データ領域に属する画素値の累積加算結果の下位8ビットを1フィールドの画像の特徴量として出力する。
In step S28, it is determined whether there is an unprocessed pixel. If there is an unprocessed pixel, the process returns to step S22. That is, the processes in steps S22 to S28 are repeated until all the pixels for one field are processed. If it is determined that all the pixels for one field have been processed, in step S29, the
以上の処理により、1フィールド分の画像信号より画像データ領域の全ての画素値の累積加算結果の下位8ビットが、そのフィールドの特徴量として抽出されることになる。 With the above processing, the lower 8 bits of the cumulative addition result of all the pixel values in the image data area are extracted as the feature quantity of the field from the image signal for one field.
ここで、図7のフローチャートの説明に戻る。 Now, the description returns to the flowchart of FIG.
ステップS4において、操作情報認識部45は、リモートコントローラ14が使用者により操作されて、画像の処理が指示されたか否かを判定する。例えば、表示部15に表示されている画像を見ながら、使用者が、2倍のズーム処理を指示した場合、リモートコントローラ14の発光パターンが受光部44により受光され、受光部44より受光した発光パターンに基づいた信号が、操作情報認識部45に供給されることにより、操作情報認識部45は、操作がなされたと判定し、その処理は、ステップS5に進む。
In step S4, the operation
ステップS5において、操作情報認識部45は、受光部44より供給された信号に基づいて、操作情報を認識し、認識結果として設定情報決定部46に供給する。設定情報決定部46は、操作情報に基づいて、反映部49に対しての画像に処理を施すための設定情報を決定し、特徴量設定情報記録部61および選択部47に供給する。すなわち、今の場合、2倍のズーム処理を画像に施すことが指示されているので、反映部49に対して2倍のズーム処理を施す指示を出すための設定情報が決定されて、特徴量設定情報記録部61および選択部47に供給される。
In step S <b> 5, the operation
ステップS6において、特徴量設定情報記録部61は、特徴量抽出部41より供給されてくる特徴量を特徴量設定情報蓄積部62に記録させると共に、その特徴量に対応付けて、設定情報決定部46より供給されてくる設定情報を、特徴量設定情報蓄積部62に記録させることで、特徴量と設定情報とを蓄積させる。より詳細には、図9で示されるように、特徴量C1を所定のアドレスAに記録させた場合、そのm倍のアドレス、すなわち、アドレスm×Aに、特徴量C1に対応付けられた設定情報E1を記憶させる。尚、図9においては、特徴量設定情報蓄積部62の内部における特徴量と設定情報とが記憶されるアドレスの配置が示されている。
In step S6, the feature amount setting
以降、特徴量設定情報記録部61は、同様にして、特徴量C2をアドレスBに記憶させるとき、対応する設定情報E2をm×Bに記憶させ、さらに、特徴量C3をアドレスCに記憶させるとき、対応する設定情報E3をm×Cに記憶させる。このように特徴量に対応付けて設定情報を記憶させることにより、特徴量が決まれば、特徴量のアドレスから設定情報のアドレスが特定できるので、設定情報蓄積部62内における特徴量毎の設定情報の検索をスムーズにすることが可能となる。尚、特徴量および設定情報は、同一の処理が連続して指定されている期間について連続して記録される。すなわち、例えば、図9における特徴量C1乃至C3は、いずれも1フィールド分の特徴量に限るものではなく、連続して処理が指定されている期間のフィールド数の特徴量が連続的に記録されている。また、同様にして、設定情報についても、例えば、図9における設定情報E1乃至E3は、特徴量C1乃至C3に対応付けられたアドレスから、いずれも1フィールド分の特徴量に限るものではなく、連続して処理が指定されている期間のフィールド数の設定情報が連続的に記録されている。
Thereafter, when the feature amount setting
ステップS7において、選択部47は、設定情報決定部46より設定情報が供給されてきているので、設定情報決定部46より供給されてきた設定情報を反映部49に供給する。反映部49は、遅延部48に記憶されている画像に対して、選択部47より供給されてきた設定情報に基づいて、処理を加えて、使用者からの指示内容に応じた処理を反映させて表示部15に表示させる。
In step S <b> 7, since the setting information is supplied from the setting
ステップS8において、操作情報認識部45は、動作の終了が指示されたか否かを判定し、終了が指示されたと判定された場合、処理を終了する。一方、動作の終了が指示されていないと判定された場合、処理は、ステップS1に戻る。
In step S <b> 8, the operation
すなわち、使用者によりリモートコントローラ14が操作されて、画像に対して処理を施す指示が出され続けている限り、ステップS1乃至S8の処理が繰り返されて、特徴量と共に、特徴量に対応付けられて、処理内容に伴った設定情報が特徴量設定情報蓄積部62に蓄積されていく。このステップS1乃至S8が繰り返される動作状態が、図1,図2を参照して説明した記録モードに対応する動作である。
That is, as long as the
一方、ステップS4において、操作されていないと判定された場合、その処理は、ステップS9に進み、特徴量設定情報読出部63は、選択部47に対して設定情報を供給しない。この処理により、選択部47は、設定情報決定部46および特徴量設定情報読出部63のいずれからも設定情報の供給がない状態となるため、反映部49に対して処理を指定する設定情報が供給されないことになる。結果として、反映部49は、遅延部48に一時的に記憶された1フィールド分の画像を、そのままの状態で表示部15に表示させる。
On the other hand, if it is determined in step S <b> 4 that the operation has not been performed, the process proceeds to step S <b> 9, and the feature amount setting information reading unit 63 does not supply setting information to the
以上の処理により、使用者がリモートコントローラ14を操作して、予め記録されている画像を再生する際、再生されている画像に施す処理を指示すると、指示を受けた画像の特徴量に対応付けて、処理内容を示す設定情報が蓄積される。
Through the above processing, when the user operates the
次に、図10のフローチャートを参照して、図3の画像処理装置による再生処理について説明する。 Next, reproduction processing by the image processing apparatus in FIG. 3 will be described with reference to the flowchart in FIG.
ステップS51において、遅延部48は、再生部12より次の画像が供給されてきたか否かを判定し、供給されてくるまでその処理を繰り返す。例えば、上述した画像記録処理により生成された記録メディア11が再生部12により再生され、画像データが供給されてきた場合、ステップS52において、遅延部48は、供給されてきた画像を一時的に記憶し遅延させる。
In step S51, the
ステップS53において、特徴量抽出部41は、特徴量抽出処理を実行し、供給されてきた1フィールド分の画像の特徴量を抽出する。尚、特徴量抽出処理については、図8のフローチャートを参照して説明した特徴量抽出処理と同様であるので、その説明は省略する。
In step S53, the feature
ステップS54において、同期検出部42は、同期検出処理を実行して、再生中の画像の特徴量と、画像に処理を施すための設定情報が対応付けられている特徴量との同期を検出する。
In step S54, the
ここで、図11のフローチャートを参照して、同期検出処理について説明する。 Here, the synchronization detection process will be described with reference to the flowchart of FIG.
ステップS81において、同期検出部42の再生位置特徴量生成部102は、特徴量抽出部41より特徴量が供給されてきたか否かを判定し、供給されてくるまでその処理を繰り返す。例えば、ステップS53の特徴量抽出処理により特徴量が抽出されて、特徴量抽出部41より今現在再生中の画像の特徴量が供給されてきた場合、その処理は、ステップS82に進む。
In step S81, the reproduction position feature
ステップS82において、検索位置特徴量読出部104は、検索位置の特徴量をカウントするためのカウンタiを0に初期化する。
In step S82, the search position feature
ステップS83において、再生位置特徴量生成部102は、供給されてきた特徴量を取得すると供に、特徴量バッファ101−1乃至101−3にそれまで記憶していた特徴量を取得する。すなわち、特徴量バッファ101−1は、新たに特徴量が供給されてくると、それまでに記憶していた特徴量を、再生位置特徴量生成部102および特徴量バッファ101−2に供給する。同様に、特徴量バッファ101−2は、供給されてきた特徴量を記憶すると供に、それまで記憶していた特徴量を、再生位置特徴量生成部102および特徴量バッファ101−3に供給する。さらに、特徴量バッファ101−3は、特徴量バッファ101−2より供給されてきた特徴量を記憶すると供に、それまで記憶していた特徴量を、再生位置特徴量生成部102に供給する。結果として、再生位置特徴量生成部102には、最新のフィールドの特徴量と、特徴量バッファ101−1乃至101−3にそれぞれ記憶されていた過去3フィールド分の特徴量が供給されてくることになる。そこで、再生位置特徴量生成部102は、再生中のフィールドを含めた4フィールド分の特徴量を再生位置特徴量として比較部103に供給する。
In step S <b> 83, the reproduction position feature
ステップS84において、検索位置特徴量読出部104は、特徴量設定情報蓄積部62に蓄積されている特徴量の先頭位置からi番目より連続する4フィールドの特徴量を検索位置特徴量として読み出し比較部103および検出部105に供給する。
In step S84, the search position feature
ステップS85において、比較部103は、再生位置特徴量生成部102より供給されてきた再生中のフィールドを含む過去3フィールド分の合計4個の特徴量からなる再生位置特徴量と、検索位置特徴量読出部104より供給されてきた、特徴量設定情報蓄積部62に蓄積されている特徴量の先頭位置からi番目より連続する4フィールドの特徴量からなる検索位置特徴量とを比較する。
In step S85, the
ステップS86において、比較部103は、比較結果に基づいて一致しているか否かを判定する。ステップS86において、例えば、一致しないと判定された場合、ステップS88において、検索位置特徴量読出部104は、特徴量設定情報蓄積部62に蓄積されている全ての特徴量について、再生位置特徴量と比較したか否かを判定する。例えば、ステップS88において、全ての特徴量と比較していないと判定された場合、ステップS89において、検索位置特徴量読出部104は、カウンタiを1インクリメントし、その処理は、ステップS84に戻る。すなわち、この処理により、再生位置特徴量と、検索位置特徴量が一致せず、かつ、蓄積されている全ての特徴量と比較されるまで、ステップS84乃至S86,S88,S89の処理が繰り返され、順次1フィールド間隔でずれながら、連続する4フィールド分の特徴量からなる検索位置特徴量と、再生位置特徴量との比較が繰り返される。
In step S86, the
すなわち、検索位置特徴量とは、例えば、図12の右上部で示されるように、特徴量抽出部41より順次蓄積されている特徴量のうち、今の場合、連続する4個の特徴量の塊である。尚、図12においては、図中の縦長の長方形状のマスは、1フィールド分の特徴量を示しており、斜線部のG1,G2は同一の連続する特徴量が配置されていることを示している。また、再生位置特徴量とは、図12の右下部で示されているように、特徴量抽出部41より供給されてくる再生中の特徴量を含めた連続する4フィールド分の特徴量の塊である。
That is, the search position feature amount is, for example, four consecutive feature amounts among the feature amounts sequentially accumulated by the feature
例えば、図12で示されるように再生位置特徴量G2で示されるような場合、検索位置特徴量G0と比較する場合、同一ではないので、同期位置としては検出されない。さらに、蓄積されている全ての特徴量との比較がされていないので、カウンタiが1インクリメントされて、検索位置特徴量G0’と再生位置特徴量G2とが比較される。このように、検索位置特徴量が図中の右方向に1フィールド間隔でずれながら、再生位置特徴量G2との比較が繰り返される。 For example, as shown in FIG. 12, in the case of being represented by the reproduction position feature amount G2, when compared with the search position feature amount G0, since it is not the same, it is not detected as a synchronization position. Furthermore, since comparison with all accumulated feature amounts has not been performed, the counter i is incremented by 1, and the search position feature amount G0 'and the reproduction position feature amount G2 are compared. In this way, the comparison with the reproduction position feature quantity G2 is repeated while the search position feature quantity is shifted by one field interval in the right direction in the drawing.
ステップS86において、例えば、再生位置特徴量G2と検索位置特徴量G1とが比較されるような場合、検索位置特徴量G1が再生位置特徴量G2と同一の構成となっているため、一致したと判定され、ステップS87において、比較部103は、一致したことを検出部105に通知する。検出部105は、この通知に基づいて、今現在検索位置特徴量読出部104より供給されている検索位置特徴量の先頭位置、すなわち、先頭位置からi番目の特徴量を同期位置情報として特徴量設定情報読出部63に供給する。
In step S86, for example, when the reproduction position feature value G2 and the search position feature value G1 are compared, the search position feature value G1 has the same configuration as the reproduction position feature value G2. In step S87, the
一方、ステップS88において、蓄積されている全ての検索位置特徴量との比較が終了したと判定された場合、ステップS90において、検出部105は、再生位置特徴量と一致する検索位置特徴量が存在せず、同期しないことを出力する。
On the other hand, if it is determined in step S88 that the comparison with all the stored search position feature quantities has been completed, in step S90, the
以上の処理により、特徴量設定情報蓄積部62に蓄積されている特徴量と、再生中の画像の特徴量とを同期させることが可能となる。すなわち、同期検出部42は、再生中のフィールドの特徴量のみを、特徴量設定情報蓄積部62に蓄積されている特徴量と比較することで、偶然に特徴量が一致してしまうことで、間違った位置で同期が検出される可能性を低減させるために、現在再生されているフィールドの特徴量のみではなく、再生されているフィールドを含む過去3フィールド分の4フィールドで比較することにより正確に同期検出を実施している。また、このように特徴量を使用することにより、各フィールド単位でのタイムコードの代わりに特徴量を設定することが可能となり、タイムコードを使用することなく、フィールド単位での同期検出を行うことが可能となる。
Through the above processing, the feature amount stored in the feature amount setting
ここで、図10のフローチャートの説明に戻る。 Now, the description returns to the flowchart of FIG.
ステップS55において、特徴量設定情報読出部63は、再生中のフィールドの再生位置特徴量と、一致する特徴量が特徴量設定情報蓄積部62に蓄積されているか否かを判定する。例えば、図10のフローチャートのステップS87の処理により同期位置情報が供給されてきた場合、再生中のフィールドの再生位置特徴量と、一致する特徴量が特徴量設定情報蓄積部62に蓄積されていることになるので、その処理は、ステップS56に進む。
In step S55, the feature amount setting information reading unit 63 determines whether or not a feature amount that matches the reproduction position feature amount of the field being reproduced is accumulated in the feature amount setting
ステップS56において、特徴量設定情報読出部63は、同期した特徴量に対応付けられた設定情報が特徴量設定情報蓄積部62に蓄積されているか否かを判定する。すなわち、特徴量は、設定情報がない状態でも特徴量設定情報蓄積部62に蓄積することが可能であるので、この処理により、特徴量に対応付けられた設定情報の有無が判定される。
In step S <b> 56, the feature amount setting information reading unit 63 determines whether the setting information associated with the synchronized feature amount is accumulated in the feature amount setting
ステップS56において、例えば、特徴量に対応付けられた設定情報が蓄積されていないと判定された場合、ステップS57において、特徴量設定情報読出部63は、選択部47に対して設定情報を供給しない。この処理により、選択部47は、設定情報決定部46および特徴量設定情報読出部63のいずれからも設定情報の供給がない状態となるため、反映部49に対して処理を指定する設定情報が供給されないことになる。結果として、反映部49は、遅延部48に一時的に記憶された1フィールド分の画像を、そのままの状態で表示部15に表示させる。
For example, when it is determined in step S56 that the setting information associated with the feature amount is not accumulated, the feature amount setting information reading unit 63 does not supply the setting information to the
ステップS58において、終了が指示されたか否かが判定され、終了が指示された場合、その処理は終了し、終了が指示されていない場合、その処理は、ステップS51に戻る。 In step S58, it is determined whether or not termination has been instructed. If termination has been instructed, the process ends. If termination has not been instructed, the process returns to step S51.
一方、ステップS56において、例えば、特徴量に対応付けられた設定情報が蓄積されていると判定された場合、ステップS59において、特徴量設定情報読出部63は、特徴量設定情報蓄積部62より、同期位置情報の特徴量に対応付けて蓄積されている設定情報を読み出し選択部47に供給し、その処理は、ステップS60に進む。
On the other hand, in step S56, for example, when it is determined that the setting information associated with the feature amount is stored, the feature amount setting information reading unit 63 in step S59 is more than the feature amount setting
ステップS60において、選択部47には、設定情報決定部46からは設定情報がなく、特徴量設定情報読出部63から設定情報が供給されるため、選択部47は、特徴量設定情報読出部63からの設定情報を反映部49に供給する。反映部49は、その設定情報に基づいて遅延部48に蓄積されていた1フィールド分の画像に処理を反映して、表示部15に表示する。
In step S <b> 60, the
尚、この処理が、図1,図2を参照して説明した再生モードに対応する処理である。 This process corresponds to the playback mode described with reference to FIGS.
以上の処理により、例えば、図13で示されるような処理が可能となる。すなわち、時刻t0乃至t1で示されるビデオからなる画像が記録メディア11に予め記録されている場合、時刻t0より後のタイミングである時刻t11で再生を開始し、さらに後の時刻t101乃至t102において、使用者によりリモートコントローラ14が操作されて、画像への処理が指示されると、同一のタイミングで特徴量と共に、特徴量に対応付けられて設定情報が、特徴量設定情報蓄積部62に蓄積される。
With the above processing, for example, processing as shown in FIG. 13 is possible. That is, when an image composed of the video indicated by the times t0 to t1 is recorded in the
また、時刻t12において、早送りが開始され、時刻t21乃至t22において再び再生が開始された後、時刻t31まで早送りされ、時刻t31において再生が開始されたとき、時刻t111乃至t112において、使用者によりリモートコントローラ14が操作されて、画像への処理が指示されると、同一のタイミングで特徴量と共に、特徴量に対応付けられて設定情報が、特徴量設定情報蓄積部62に蓄積される。
Also, fast-forwarding is started at time t12, playback is started again at times t21 to t22, and then fast-forwarded to time t31. When playback is started at time t31, the user can remotely When the
さらに、時刻t32まで再生された後、時刻t121まで巻き戻しされ、再生が開始される。時刻t131乃至t132において、使用者によりリモートコントローラ14が操作されて、画像への処理が指示されると、同一のタイミングで特徴量と共に、特徴量に対応付けられて設定情報が、特徴量設定情報蓄積部62に蓄積されていく。
Furthermore, after being played back until time t32, it is rewound until time t121, and playback is started. At time t131 to t132, when the user operates the
その後、先頭位置に近い時刻t151まで巻き戻され、時刻t152までリモートコントローラ14が操作されること無くビデオが再生されると、リモートコントローラ14で画像への処理を指示する操作がなされた時刻t101乃至t102、時刻t131乃至t132、および時刻t111乃至t112のタイミングで再生位置特徴量に基づいて、同期位置情報が生成され、同期位置情報の特徴量に対応付けて蓄積されている設定情報が読み出されることにより、画像に設定情報に基づいた処理が反映される。
After that, when the video is played back until the time t151 close to the head position and the
尚、図13においては、最上段にはビデオ1本分のスケールが時刻t0乃至t1であることが示されている。また、第2段目には、1順目の再生手順として、時刻t11乃至t12,t21乃至t22,t31乃至t32において、通常の再生が実施され、時刻t12乃至t21、およびt22乃至31において早送り再生が実施されたことが示されている。 In FIG. 13, the top level indicates that the scale for one video is from time t0 to time t1. In the second stage, as the first playback procedure, normal playback is performed from time t11 to t12, t21 to t22, t31 to t32, and fast-forward playback is performed from time t12 to t21 and t22 to 31. Is shown to have been implemented.
第3段目には、1順目の再生中における、リモートコントローラ14の操作タイミングが示されており、第4段目には、1順目の再生中における、設定情報が記録されるタイミングが示されている。第3段目、第4段目においては、時刻t101乃至t102および時刻t111乃至t112においてリモートコントローラ14が操作され、同一のタイミングでリモートコントローラ14の操作に対応する設定情報が記録されていることが示されている。尚、設定情報が記録されるとき、設定情報に対応する処理が施されることになるので、リモートコントローラ14が操作されている同一のタイミングで、使用者が所望とする処理が画像に反映された状態で表示される。
The third row shows the operation timing of the
第5段目には、1順目の再生手順が終了した後、巻き戻し操作により時刻t121まで巻き戻した後の2順目の再生手順が示されており、時刻t121乃至t122において通常の再生が実施されていることが示されている。 The fifth row shows the second-order playback procedure after the first-order playback procedure is finished and then rewinding to time t121 by a rewind operation, and normal playback is performed from time t121 to t122. Is shown to be implemented.
第6段目には、2順目の再生中における、リモートコントローラ14の操作タイミングが示されており、第7段目には、2順目の再生中における、設定情報が記録されるタイミングが示されている。第6段目、第7段目においては、時刻t131乃至t132においてリモートコントローラ14が操作され、同一のタイミングでリモートコントローラ14の操作に対応する設定情報が記録されていることが示されている。尚、設定情報が記録されるとき、設定情報に対応する処理が施されることになるので、リモートコントローラ14が操作されている同一のタイミングで、使用者が所望とする処理が画像に反映された状態で表示される。
The sixth row shows the operation timing of the
第8段目には、2順目の再生手順が終了したのち、巻き戻し操作により時刻t151まで巻き戻した後の3順目の再生手順が示されており、時刻t151乃至t152において通常の再生が実施されていることが示されている。 The eighth row shows the third-order playback procedure after the second-order playback procedure is finished and then rewinding to time t151 by a rewind operation. Normal playback is performed from time t151 to t152. Is shown to be implemented.
第9段目には、3順目の再生中における、同期検出部42による同期処理が実行されるタイミングが示されており、第10段目(最下段)には、3順目の再生中における、設定情報が再生される(設定情報が画像に反映される)タイミングが示されている。すなわち、第9段目、第10段目においては、3順目の再生中に、1順目および2順目の再生中にリモートコントローラ14が操作されることによって記録された設定情報に基づいて、同一のタイミングである時刻t101乃至t102,t111乃至t112および時刻t131乃至t132においてリモートコントローラ14が操作されることによって記録された設定情報が、読み出されて画像に反映されることが示されている。
The ninth row shows the timing at which the synchronization processing by the
尚、図13中の点線より上部の処理が図1,図2における記録モードに対応する、上述した図7のフローチャートを参照して説明した記録処理であり、点線より下部の処理が再生モードに対応する図10のフローチャートを参照して説明した再生処理である。 Note that the processing above the dotted line in FIG. 13 corresponds to the recording mode in FIGS. 1 and 2, and is the recording processing described with reference to the flowchart in FIG. 7 described above, and the processing below the dotted line is in the reproduction mode. It is the reproduction | regeneration processing demonstrated with reference to the flowchart of corresponding FIG.
特徴量は、以上においては、1フィールド分の画像信号中の画像データ領域の画素値の積算値を用いる例について説明してきたが、それ以外の特徴量であってもよく、例えば、動きベクトル(全画面動きとローカル動き)、特定の波形パターンがどれだけ出現するかを示す値、縮小画像における画素値の積算値、画像の特定部分の画素値の積算値、これらを複数フィールド分用いた値、または、これらの複数の特徴量の組み合わせなどであってもよい。 In the above description, the example using the integrated value of the pixel values of the image data area in the image signal for one field has been described. However, other feature values may be used, for example, a motion vector ( (Full screen motion and local motion), a value indicating how much a specific waveform pattern appears, an integrated value of pixel values in a reduced image, an integrated value of pixel values of a specific part of the image, and values using these for multiple fields Or a combination of these plural feature quantities.
また、設定情報については、ズーム倍率を例にして説明してきたが、それ以外の情報であってもよく、例えば、ズーム位置(中心位置)、もしくはズーム位置とズーム倍率との組み合わせなどのズームパラメータ、明るさ、コントラスト、ガンマ補正、DRC(Digital Reality Creation)パレット値(解像度設定値、およびノイズ設定値)などの画質設定パラメータ、または、音量、音声切替(使用言語の切り替え)などの音声パラメータなどを用いるようにしてもよい。 The setting information has been described by taking the zoom magnification as an example, but other information may be used, for example, a zoom parameter such as a zoom position (center position) or a combination of the zoom position and the zoom magnification. , Brightness, contrast, gamma correction, image quality setting parameters such as DRC (Digital Reality Creation) palette value (resolution setting value and noise setting value), or sound parameters such as volume and sound switching (switching language) May be used.
以上の処理により、特徴量に対応付けて設定情報が記録されることにより、予め記録されている画像を再生する際、再生している画像の特徴量により、フィールド単位のタイムコードのように特徴量を使用することで、蓄積されている特徴量との同期を取ることが可能となり、同期した特徴量に対応付けられた設定情報により、再生している画像に処理が反映される。 Through the above processing, setting information is recorded in association with the feature amount, so that when a pre-recorded image is reproduced, a feature such as a time code in a field unit depends on the feature amount of the image being reproduced. By using the amount, it is possible to synchronize with the accumulated feature amount, and the processing is reflected on the image being reproduced by the setting information associated with the synchronized feature amount.
結果として、タイムコードなどを用いることなく、蓄積された設定情報に基づいた編集処理を画像に反映させることが可能となる。また、記録されるのは特徴量と設定情報のみであり、予め記録されている画像が一切記録されることが無いため、例えば、Copy Onceなどの制限が設けられている画像であっても、編集処理を施した状態で繰り返し再生させることが可能となる。 As a result, editing processing based on the accumulated setting information can be reflected in the image without using a time code or the like. In addition, since only the feature amount and the setting information are recorded and no pre-recorded image is recorded, for example, even an image provided with restrictions such as Copy Once, It is possible to repeatedly play back the edited image.
以上の処理においては、再生処理の中で、1フィールド毎に同期検出処理を実行して同期位置情報を特徴量設定情報読出部63に供給するようにする例について説明してきた。ところで、同期検出処理に費やされる時間は、検索位置特徴量と再生位置特徴量とが一致するまでの時間によるので、処理に費やされる時間が一定ではなく、同期している位置が存在しないような場合など、全ての特徴量との比較がなされることになるため、1フィールド分の再生処理を実行する上で、処理に費やされる時間のうち、同期検出処理に費やされる時間の割合が大きくなることがあり、再生処理に費やされる時間の律則となることが考えられる。 In the above processing, an example has been described in which the synchronization detection processing is executed for each field and the synchronization position information is supplied to the feature amount setting information reading unit 63 in the reproduction processing. By the way, the time spent for the synchronization detection process depends on the time until the search position feature quantity and the reproduction position feature quantity match, so the time spent for the process is not constant and there is no synchronized position. In this case, since all feature quantities are compared, the ratio of the time spent for the synchronization detection process out of the time spent for the process when executing the playback process for one field is increased. In some cases, it may be a rule of time spent in the reproduction process.
しかしながら、上述の記録処理が繰り返されていくと、特徴量設定情報蓄積部62に特徴量に対応付けて蓄積されている設定情報が増大していくことが予想される。すると、同期検出処理に費やされる時間も特徴量設定情報蓄積部62に蓄積されている情報量に比例して増大することが予想される。すなわち、特徴量設定情報蓄積部62に蓄積されている情報量に比例して1フィールド分の再生処理に費やされる時間が増大することが予想され、場合によっては、1フィールド分の再生処理を実行する間に、1フィールド分の表示時間を超えてしまう可能性があり、毎フィールド分の画像に正確に処理を加えて再生することができなくなる恐れがある。
However, as the above-described recording process is repeated, it is expected that the setting information stored in the feature amount setting
すなわち、特徴量設定情報蓄積部62に蓄積されている情報量がそれ程多くなく、同期検出処理にそれ程時間が掛からない場合、図14で示されるように同期検出処理に費やされる時間が1フィールド分の表示時間内であれば、全てのフィールドが正確に再生されることになる。尚、図14,図15においては、上段に示されている番号はフィールド番号であり、各フィールドの画像が表示されるタイミングを示しており、下段では、再生処理にかかる時間が示されており、斜線部分が再生処理を実行している状態の時間を示しており、無地部分が待機中の時間を示している。
That is, when the amount of information stored in the feature amount setting
一方、記録処理が繰り返され、特徴量設定情報蓄積部62に蓄積される情報量が膨大になると図15で示されるように、1フィールドの再生処理に費やされる時間が1フィールド分の画像を表示する時間を超えてしまうため、全てのフィールドの画像を再生させることができない状態となる。すなわち、図15においては、第1フィールドは、表示時間内に再生処理が終了しているが、第2フィールドについては、再生処理に1フィールドの表示時間に対して約1.5倍程度の時間が費やされているため、第3フィールドは再生されていない。また、第4フィールドについては、再生処理に1フィールドの表示時間に対して約3倍以上の時間が費やされているため、第5乃至7フィールドは再生されていない。さらに、第8フィールドは、表示時間内に再生処理が終了しているが、第9フィールドについても、やはり、再生処理に1フィールドの表示時間に対して約3倍以上の時間が費やされているため、第10乃至12フィールドは再生されていない。また、第13フィールドについては、再生処理に1フィールドの表示時間に対して約1倍以上の時間が費やされているため、第14フィールドは再生されていない。結果として、第1,2,4,8,9,13フレームのみしか再生されないことになる。
On the other hand, when the recording process is repeated and the amount of information stored in the feature amount setting
すなわち、記録メディア11に記録された画像に対して、正確に全てのフィールドに対して処理を施して表示させることができない恐れがある。
That is, there is a possibility that the image recorded on the
そこで、上述した再生処理を、同期検出処理(後述する一致リスト生成処理)と反映に係る処理(後述する反映処理)とに分離することで、飛び飛びの同期位置情報のみを用いてすべてのフィールドの同期位置を推定しながら反映処理を実行することで、全てのフィールドに対して正確に処理を加えるようにしてもよい。 Therefore, by separating the playback process described above into a synchronization detection process (a match list generation process described later) and a process related to reflection (a reflection process described later), only the skipped synchronization position information is used. By executing the reflection process while estimating the synchronization position, the process may be accurately applied to all fields.
図16は、上述した再生処理を、同期検出処理(後述する一致リスト生成処理)と反映に係る処理(後述する反映処理)とに分離する画像処理装置13の構成例を示している。尚、図3の画像処理装置13と同一の構成については、同一の符号を付しており、その説明は、適宜省略するものとする。
FIG. 16 shows a configuration example of the
図16の画像処理装置13の受光部44、操作情報認識部45、選択部47、および遅延部48は、基本的には、図3の画像処理装置と同様である。
The
特徴量抽出部241、同期検出部242、蓄積ブロック243の特徴量設定情報記録部261、特徴量設定情報蓄積部262、特徴量設定情報読出部263、設定情報決定部246、および反映部249は、基本的な機能について、特徴量抽出部41、同期検出部42、蓄積ブロック43の特徴量設定情報記録部61、特徴量設定情報蓄積部62、特徴量設定情報読出部63、設定情報決定部46、および反映部49と同様であるが、バス231を介して相互に付加情報を連絡し合い、付加情報に含まれる、それぞれの構成が今現在処理している画像のフィールド番号の情報を共有している点が異なる。フィールド番号を共有するための機構については、図18乃至図20を参照して後述する。また、同期検出部242が、一致リストメモリ201を生成し、特徴量設定情報読出部263は、一致リストメモリ201の情報に基づいて、特徴量設定情報蓄積部262より設定情報を読み出す点が異なる。
The feature
特徴量抽出部241は、基本的には特徴量抽出部41と同様の機能を備えており、画像再生部12より順次供給されてくる画像の特徴量を抽出して、同期検出部242、および蓄積ブロック243の特徴量設定情報記録部261に供給する。この際、特徴量抽出部241は、特徴量の情報と供に対応するフィールド番号の情報も併せて供給する。
The feature
同期検出部242は、基本的に同期演出部42と同様の機能を備えているが、特徴量設定情報蓄積部262に蓄積されている特徴量(後述する検索位置特徴量)のうち、特徴量抽出部241より供給されてくる画像再生部12により再生されている画像の特徴量(後述する再生位置特徴量)を検索し、同一の特徴量が検出されたとき、画像の同期位置として検出結果を一致リスト201に登録する。同期検出部242は、一致リスト201に同期検出結果を一致リストに登録するため、図17で示されるように、検出部105に代えて一致リスト登録部301が設けられており、一致リスト登録部301は、比較部103より同期が検出されたとみなされたタイミングで、検索位置特徴量読出部104より供給されてきた検索位置特徴量を同期検出結果として一致リスト201に登録する。
The
蓄積ブロック243の特徴量設定情報記録部261は、特徴量抽出部41より供給されてくるフィールド番号に対応付けられた特徴量と、設定情報決定部46より供給されてくるフィールド番号に対応付けられた設定情報とを、フィールド番号に対応付けて特徴量設定情報蓄積部262に蓄積させる。
The feature amount setting
特徴量設定情報読出部263は、基本的に特徴量設定情報読出部63と同様の機能を備えているが、一致リスト201に同期位置として登録されている特徴量(検索位置特徴量)を取得すると、その特徴量に対応付けられて、特徴量設定情報蓄積部262に記憶されている設定情報を読み出し、選択部47に供給する。
The feature amount setting
特徴量設定情報読出部263の更新部263aは、一致リスト201より同期位置として登録されている特徴量のうち、不要となった特徴量を削除することにより更新する。同期情報選択部263bは、一致リスト201に同期位置として登録されている特徴量のうち、何れかを選択する。同期情報選択部263bは、基本的に、最新の同期情報を選択する。差分計算部263cは、一致リスト201より選択した同期位置の情報に対応付けられているフィールド番号と、反映部249が処理しようとしているフィールドのフィールド番号との差分を計算し、推定部263dに供給する。推定部263dは、特徴量設定情報蓄積部262に蓄積されている設定情報のうち、一致リストより読み出したフィールド番号と、差分の情報に基づいて、反映部249が処理しようとしているフィールドのフィールド番号に対応する設定情報が格納されている特徴量設定情報蓄積部262のアドレスを推定する。
The update unit 263a of the feature amount setting
次に、フィールド番号を共有する構成例について説明する。 Next, a configuration example in which field numbers are shared will be described.
フィールド番号は、ノード毎に相互に共有される。図16においては、画像再生部12を1のノードとして扱う。また、特徴量抽出部241、同期検出部242、蓄積ブロック243、および設定情報決定部246は、画像再生部12とは異なる同一ノードとして扱う。すなわち、特徴量抽出部241、同期検出部242、蓄積ブロック243、および設定情報決定部246内においては、扱われるフィールドは、常に同一の番号となる。さらに、反映部249については、さらに、異なるノードとして異なるフィールド番号で管理される。
The field number is shared with each node. In FIG. 16, the
各ノードには、図18で示される付加情報制御部251または図19で示される付加情報制御部271が設けられている。
Each node is provided with the additional
付加情報制御部251は、最前段のノードに設けられ、上述したノードから出力される画像信号の所定期間毎、例えばフィールド毎に、メタ情報としての付加情報Iadを発生し、この付加情報Iadをバス231に送出する。この付加情報Iadは、図20で示されるように、ノードを識別するノード番号と、識別子としてのフィールド番号とからなっている。今の場合、図16においては、例えば、画像再生部12に設けられる。
The additional
付加情報制御部271は、最前段以外のノードに設けられ、バス231で伝送されてくる付加情報Iadを取得する。すなわち、付加情報制御部271は、画像再生部12以外の構成に設けられる。
The additional
フィールド番号発生部361は、画像再生部12から供給される同期信号SYNCaに基づいて、フィールド期間毎に順次インクリメントされたフィールド番号を発生する。すなわち、画像再生部12に記録メディア11より読み出された画像信号が入力したとき、フィールド番号が発生する。
The field
付加情報書き込み処理部362は、フィールド番号発生部361で発生されたフィールド番号にノード番号を付して付加情報とし、フィールド期間毎に、その付加情報をFIFO部363に書き込む。付加情報読み出し処理部364は、画像再生部12が出力する画像信号に同期した同期信号SYNCbに基づいて、FIFO部363から付加情報Iadを読み出し、バス231に送出する。
The additional information writing
ここで、FIFO部363の大きさは、ノードを構成する機器の処理時間に依存している。すなわち、FIFO部363の大きさは、画像再生部12の処理時間に依存したものとなる。付加情報読み出し処理部364は、各フィールド期間において付加情報Iadをバス231に出力する。
Here, the size of the
次に、付加情報制御部251の動作を説明する。
Next, the operation of the additional
画像再生部12に入力される画像信号SVinより分離された同期信号SYNCaが供給されると、フィールド番号発生部361は、フィールド期間毎に順次インクリメントされたフィールド番号を発生し、付加情報書き込み処理部362に供給する。この付加情報書き込み処理部362は、フィールド番号にノード番号を付加して付加情報を生成し、この付加情報をFIFO部363に書き込む。
When the synchronization signal SYNCa separated from the image signal SVin input to the
また、付加情報読み出し処理部364は、画像再生部12が画像信号を出力するときの同期信号SYNCbの供給を受けると、同期信号SYNCbに基づいて、FIFO部363から付加情報Iadを読み出し、バス231に送出する。
Further, upon receiving the supply of the synchronization signal SYNCb when the
次に、図19を参照して、付加情報制御部271の構成例を説明する。
Next, a configuration example of the additional
付加情報取得部381は、各ノードから供給される、画像信号が入力されるタイミングに同期した同期信号SYNCcに基づいて、上述の付加情報制御部251からバス231を通じて送られてくる付加情報Iadを取得する。付加情報書き込み処理部382は、付加情報取得部381で取得された付加情報IadをFIFO部383に書き込む。
The additional
付加情報読み出し処理部364は、各ノードから供給される、処理結果を出力するタイミングに同期した同期信号SYNCdに基づいて、FIFO部363から付加情報Iadを読み出し、その付加情報Iadに基づいて制御信号SCOを発生し、この制御信号SCOによりノードの動作を制御する。
The additional information read processing unit 364 reads the additional information Iad from the
この場合、FIFO部383の大きさは、特徴量抽出部241、同期検出部242、蓄積ブロック243、および設定情報決定部246の処理時間に依存している。すなわち、特徴量抽出部241、同期検出部242、蓄積ブロック243、および設定情報決定部246のそれぞれにより各フィールド期間において、それに対応した付加情報IadがFIFO部383から読み出されるように、FIFO部383の大きさが設定されている。
In this case, the size of the
次に、図19の付加情報制御部271の動作を説明する。
Next, the operation of the additional
付加情報取得部381に、各ノードから、画像信号が入力されるタイミングと同期した同期信号SYNCcが供給されると、この同期信号SYNCcに基づいて、各フィールド期間で、バス231から、付加情報Iadが取得される。付加情報書き込み処理部382は、付加情報Iabを、FIFO部383に書き込む。
When the synchronization signal SYNCc synchronized with the input timing of the image signal is supplied from each node to the additional
また、付加情報読み出し処理部384は、各ノードが処理結果を出力するタイミングに同期した同期信号SYNCdが供給されると、この同期信号SYNCdに基づいて、FIFO部383から付加情報Iadを読み出す。この付加情報Iabは、特徴量抽出部241、同期検出部242、蓄積ブロック243、および設定情報決定部246が出力する処理結果の各フィールド期間に対応したものとなっている。
Further, when the synchronization signal SYNCd synchronized with the timing at which each node outputs the processing result is supplied, the additional information reading processing unit 384 reads the additional information Iad from the
この付加情報読み出し処理部384は、各フィールド期間で、FIFO部383から読み出した付加情報Iadに含まれるフィールド番号を出力する。
The additional information read processing unit 384 outputs a field number included in the additional information Iad read from the
以上のような構成により、各ノード、すなわち、特徴量抽出部241、同期検出部242、蓄積ブロック243、および設定情報決定部246と、反映部249とは、それぞれのノード自身で、今現在処理対象としている画像のフィールド番号を認識することができる。さらに、これらの情報をバス231を使って伝達し合う事により、同一のタイミングで異なる処理対象となるフィールドを扱っていても、相互に認識することができる。
With the configuration as described above, each node, that is, the feature
以下、各ノード間、すなわち、各構成は、自らはもちろんのこと、他の構成についてもそれぞれがどのフィールド番号のフィールド画像を処理対象であるか認識できるものとして説明を進める。 In the following description, it is assumed that each node, that is, each component, can recognize the field image of which field number is the processing target for each component as well as the other components.
次に、図21のフローチャートを参照して、図16の画像処理装置13による記録処理について説明する。尚、図21のフローチャートにおけるステップS92,S93,S95,S98乃至S100の処理については、図7のフローチャートにおけるステップS1,S2,S4,S7乃至S9の処理と同様であるので、その説明は省略するものとする。
Next, recording processing by the
ステップS91において、特徴量抽出部241は、フィールド番号のカウンタNを1インクリメントし、ステップS92において、フィールド番号Nの画像が入力されてきたか否かを判定する。例えば、フィールド番号Nの画像が入力されてきた場合、ステップS93において、遅延部48は、フィールド番号Nの画像を遅延させる。
In step S91, the feature
ステップS94において、特徴量抽出部241は、特徴量抽出処理を実行して特徴量を抽出する。尚、この処理は、基本的に、ステップS3の処理と同様であるが、その際、特徴量抽出部241は、抽出した特徴量に対して個々のフィールドを識別するフィールド番号に対応付けて抽出する。
In step S94, the feature
ステップS96において、操作情報認識部45は、受光部44より供給された信号に基づいて、操作情報を認識し、認識結果として設定情報決定部46に供給する。設定情報決定部246は、操作情報に基づいて、反映部249に対しての画像に処理を施すための設定情報を決定し、そのときのフィールド番号に対応付けて、特徴量設定情報記録部61および選択部47に供給する。
In step S <b> 96, the operation
ステップS97において、特徴量設定情報記録部261は、特徴量抽出部241より供給されてくるフィールド番号に対応付けてられた特徴量を特徴量設定情報蓄積部262に記録させると共に、フィールド番号に基づいて、その特徴量に対応付けて、設定情報決定部246より供給されてくるフィールド番号に対応付けられている設定情報を、特徴量設定情報蓄積部262に記録させることで、特徴量と設定情報とを蓄積させる。
In step S97, the feature amount setting
すなわち、ステップS96の処理により、特徴量抽出部241より供給されてくるフィールド番号に対応付けられた特徴量は、例えば、図22の左部のリストL1で示されるような情報である。図22の左部のリストL1においては、左側にフィールド番号が記録され、右側に特徴量が記録されている。リストL1については、上からフィールド番号として0x11乃至0xC4が記録され、それぞれに対応する特徴量として、0x01,0xF5,0xA3,0x58,0x8A,0x29,0x40,0x55,0xC2・・・,0x3Fが記録されている。
That is, the feature amount associated with the field number supplied from the feature
一方、ステップS97の処理により設定情報決定部246より供給されてくるフィールド番号に対応付けられた設定情報は、例えば、図22のリストL2で示されるような情報である。すなわち、図22のリストL2においては、左側にフィールド番号が記録され、右側に設定情報が記録されている。リストL2については、上からフィールド番号として0x11乃至0xC4が記録され、それぞれに対応する設定情報として、(100%,(0,0)),(95%,(0,0)),(90%,(0,0)),(85%,(0,0)),(80%,(0,0)),(75%,(0,0)),(75%,(5,10)),(75%,(10,20)),(75%,(15,30)),・・・,(75%,(50,100))が記録されている。尚、図22において設定情報は、ズーム倍率とズーム位置を示す情報であり、例えば、(100%,(0,0))は、ズーム倍率が100%で、かつ、ズーム位置となる画像の左上の画素位置が(0,0)であることを示している。
On the other hand, the setting information associated with the field number supplied from the setting
ステップS97の処理においては、特徴量設定情報記録部261が、図22で示されるリストL1,L2を利用して、リストL3で示されるように特徴量に対応付けて設定情報を特徴量設定情報蓄積部262に蓄積させる。すなわち、特徴量設定情報記録部261は、図22におけるリストL1のフィールド番号0x11の特徴量0x01に対応付けて、同一のリストL2のフィールド番号0x11の設定情報(100%,(0,0))がL3で示されるように記録される。すなわち、特徴量0x01に対応付けて設定情報(100%,(0,0))が、特徴量設定情報蓄積部262に蓄積される。
In the process of step S97, the feature amount setting
同様にして、リストL1のフィールド番号0x12の特徴量0xF5に対応付けて、同一のリストL2のフィールド番号0x12の設定情報(95%,(0,0))が記録されるので、特徴量0xF5に対応付けて設定情報(95%,(0,0))が蓄積される。また、リストL1のフィールド番号0x13の特徴量0xA3に対応付けて、同一のリストL2のフィールド番号0x13の設定情報(90%,(0,0))が記録されるので、特徴量0xA3に対応付けて設定情報(90%,(0,0))が蓄積される。さらに、リストL1のフィールド番号0x14の特徴量0x58に対応付けて、同一のリストL2のフィールド番号0x14の設定情報(85%,(0,0))が記録されるので、特徴量0x58に対応付けて設定情報(85%,(0,0))が蓄積される。また、リストL1のフィールド番号0x15の特徴量0x8Aに対応付けて、同一のリストL2のフィールド番号0x15の設定情報(80%,(0,0))が記録されるので、特徴量0x8Aに対応付けて設定情報(80%,(0,0))が蓄積される。さらに、リストL1のフィールド番号0x16の特徴量0x29に対応付けて、同一のリストL2のフィールド番号0x16の設定情報(75%,(0,0))が記録されるので、特徴量0x29に対応付けて設定情報(75%,(0,0))が蓄積される。また、リストL1のフィールド番号0x17の特徴量0x40に対応付けて、同一のリストL2のフィールド番号0x17の設定情報(75%,(5,10))が記録されるので、特徴量0x40に対応付けて設定情報(75%,(5,10))が蓄積される。さらに、リストL1のフィールド番号0x18の特徴量0x55に対応付けて、同一のリストL2のフィールド番号0x18の設定情報(75%,(10,20))が記録されるので、特徴量0x55に対応付けて設定情報(75%,(10,20))が蓄積される。また、リストL1のフィールド番号0x19の特徴量0xC2対応付けて、同一のリストL2のフィールド番号0x19の設定情報(75%,(15,30))が記録されるので、特徴量0xC2に対応付けて設定情報(75%,(15,30))が蓄積される。さらに、リストL1のフィールド番号0xC4の特徴量0x3Fに対応付けて、同一のリストL2のフィールド番号0xC4の設定情報(75%,(50,100))が記録されるので、特徴量0x3Fに対応付けて設定情報(75%,(50,100))が、それぞれ特徴量設定情報蓄積部262に蓄積される。
Similarly, setting information (95%, (0, 0)) of the field number 0x12 of the same list L2 is recorded in association with the feature amount 0xF5 of the field number 0x12 of the list L1, so that the feature amount 0xF5 is recorded. The setting information (95%, (0, 0)) is stored in association with each other. Also, since the setting information (90%, (0, 0)) of the field number 0x13 of the same list L2 is recorded in association with the feature amount 0xA3 of the field number 0x13 of the list L1, it is associated with the feature amount 0xA3. Setting information (90%, (0, 0)) is accumulated. Further, since the setting information (85%, (0, 0)) of the field number 0x14 of the same list L2 is recorded in association with the feature amount 0x58 of the field number 0x14 of the list L1, it is associated with the feature amount 0x58. Setting information (85%, (0, 0)) is accumulated. Also, since the setting information (80%, (0, 0)) of the field number 0x15 of the same list L2 is recorded in association with the feature amount 0x8A of the field number 0x15 of the list L1, it is associated with the feature amount 0x8A. Setting information (80%, (0, 0)) is accumulated. Further, since the setting information (75%, (0, 0)) of the field number 0x16 of the same list L2 is recorded in association with the feature amount 0x29 of the field number 0x16 of the list L1, it is associated with the feature amount 0x29. Setting information (75%, (0, 0)) is accumulated. Also, since the setting information (75%, (5, 10)) of the field number 0x17 of the same list L2 is recorded in association with the feature amount 0x40 of the field number 0x17 of the list L1, it is associated with the feature amount 0x40. Setting information (75%, (5, 10)). Further, since the setting information (75%, (10, 20)) of the field number 0x18 of the same list L2 is recorded in association with the feature amount 0x55 of the field number 0x18 of the list L1, it is associated with the feature amount 0x55. Setting information (75%, (10, 20)) is accumulated. Also, since the setting information (75%, (15, 30)) of the field number 0x19 of the same list L2 is recorded in association with the feature amount 0xC2 of the field number 0x19 of the list L1, it is associated with the feature amount 0xC2. Setting information (75%, (15, 30)) is accumulated. Further, since the setting information (75%, (50, 100)) of the field number 0xC4 of the same list L2 is recorded in association with the feature amount 0x3F of the field number 0xC4 of the list L1, it is associated with the feature amount 0x3F. The setting information (75%, (50, 100)) is stored in the feature amount setting
また、特徴量設定情報記録部261は、特徴量設定情報蓄積部262に特徴量と設定情報とを蓄積させる際、特徴量間のアドレスを一定に保つように記録する。すなわち、特徴量設定情報蓄積部262は、フィールドXの特徴量をアドレスxに記録した場合、フィールド(X+1)の特徴量をアドレスx+sに記録する。この結果、設定情報についても、同様に等間隔のアドレスで記録される。すなわち、フィールドXの特徴量がアドレスxに記録されると、その特徴量に対応付けられた設定情報は、アドレスx×Zに記録され、フィールド(X+1)の特徴量がアドレスx+sに記録されると、その特徴量に対応付けられた設定情報は、アドレス(x+s)×Zに記録されることになるので、設定情報についてもフィールド間で一定(=s×Z)の間隔で記録されることになる。
Further, when the feature amount setting
以上の処理により、使用者がリモートコントローラ14を操作して、予め記録されている画像を再生する際、再生されている画像に施す処理を指示すると、特徴量および設定情報のそれぞれがフィールド番号に対応付けられた状態で供給され、同一のフィールド番号ごとに、指示を受けた画像の特徴量に対応付けて、処理内容を示す設定情報が蓄積される。
Through the above processing, when the user operates the
次に、図23のフローチャートを参照して、同期検出部242による一致リスト生成処理について説明する。尚、図23のフローチャートにおけるステップS104乃至108,S110,S111の処理は、図11のフローチャートを参照して説明したステップS82乃至86,S88,S89の処理と同様であるので、その説明は省略するものとする。
Next, the match list generation process by the
すなわち、ステップS101において、特徴量抽出部241は、図示せぬカウンタNを現在のフィールド番号+1の値にする。すなわち、処理対象とするフィールドの番号が1インクリメントされる。
That is, in step S101, the feature
ステップS102において、特徴量抽出部241は、フィールド番号Nのフィールドの画像が供給されてきたか否かを判定し、フィールド番号Nの画像が供給されてくるまで、その処理を繰り返す。ステップS102において、フィールド番号Nの画像が画像再生部12より供給されてきた場合、ステップS103において、特徴量抽出部241は、特徴量抽出処理を実行し、供給されてきたフィールド番号Nの画像の特徴量を抽出して、同期検出部242および蓄積ブロック243に供給する。尚、特徴量抽出処理については、図8のフローチャートを参照して説明した処理であるので、その説明は省略する。
In step S102, the feature
さらに、ステップS104乃至S107の処理により、再生位置特徴量と検索位置特徴量とが比較される。このとき、検索位置特徴量読出部104は、検索位置特徴量として、特徴量設定情報蓄積部262より順次特徴量を抽出するが、その際、読み出す特徴量のフィールド番号、特徴量が記憶されている特徴量設定情報蓄積部262内のアドレスの情報、および、対応する設定情報が記録されているアドレスの情報をも合わせて抽出する。
Further, the reproduction position feature quantity and the search position feature quantity are compared by the processing of steps S104 to S107. At this time, the search position feature
そして、ステップS108において、両者が一致した場合、すなわち、同期が検出された場合、一致リスト登録部301は、同期検出情報としての特徴量の情報を一致リスト201に登録し、その処理は、ステップS101に戻る。すなわち、上述したように、検索位置特徴量読出部104は、検索位置特徴量の情報として、特徴量と共に、読み出す特徴量の画像のフィールド番号、特徴量が記憶されている特徴量設定情報蓄積部262内のアドレスの情報、および、対応する設定情報が記録されているアドレスの情報をも合わせて読み出している。そこで、一致リスト登録部301は、図24で示されるような一致リスト201に、同期位置情報としての特徴量の画像のフィールド番号に対応付けて、その特徴量が記憶されている特徴量設定情報蓄積部262内のアドレスの情報、および、対応する設定情報が記録されているアドレスの情報を登録する。
If the two match in step S108, that is, if synchronization is detected, the match
また、ステップS108において、一致していないと判定された場合、その処理は、ステップS110に進み、蓄積されている全ての特徴量とを比較したか否かが判定され、全ての特徴量との比較がされていない場合、ステップS111において、カウンタiが1インクリメントされて、ステップS106に戻る。すなわち、全ての特徴量との比較がなされるまで、再生位置特徴量と検索位置特徴量とが比較され、最終的に全ての特徴量とが比較された、すなわち、同期する特徴量が存在しなかったと判定された場合、その処理は、ステップS101に戻る。 If it is determined in step S108 that they do not match, the process proceeds to step S110, where it is determined whether or not all the accumulated feature quantities have been compared. If the comparison has not been performed, the counter i is incremented by 1 in step S111, and the process returns to step S106. That is, the reproduction position feature quantity and the search position feature quantity are compared until all the feature quantities are compared, and finally all the feature quantities are compared, that is, there are synchronized feature quantities. If it is determined that there is not, the process returns to step S101.
図24においては、フィールド番号として11,7,4が記録されており、フィールド番号11のフィールドの同期位置情報である特徴量が、特徴量設定情報蓄積部262におけるアドレス0x008402に記録され、さらに対応する設定情報がアドレス0x043456に記録されていることが示されており、フィールド番号7のフィールドの同期位置情報である特徴量が、特徴量設定情報蓄積部262におけるアドレス0x00F8F8に記録され、さらに対応する設定情報がアドレス0x060F0Fに記録されていることが示されており、フィールド番号4のフィールドの同期位置情報である特徴量が、特徴量設定情報蓄積部262におけるアドレス0x003690に記録され、さらに対応する設定情報がアドレス0x024680に記録されていることが示されている。
In FIG. 24, 11, 7, and 4 are recorded as field numbers, and the feature amount that is the synchronization position information of the field with the
また、最新の情報ほど、優先度が高く、図24においては、優先度の高い、最も最近のフィールド番号11の情報が最上段に登録され、優先度の低い、最も古いフィールド番号4の情報が最下段に示されている。
Further, the latest information has a higher priority, and in FIG. 24, the information of the
また、図24で示されるように、一致リスト201には、全てのフィールド番号のフィールドについて登録されていないことがある。すなわち、一致リスト生成処理が1フィールドの画像が表示される時間内で終了していれば、全てのフィールド番号について、同期位置情報が検索される可能性がある(必ず再生位置特徴量と検索位置特徴量とが一致する条件であれば)。しかしながら、特徴量設定情報蓄積部262に膨大な量の特徴量および設定情報が記録されている場合、上述したステップS106乃至108,S110,S111の処理が繰り返される回数が膨大になることがあり、これに伴って、一致リスト生成処理に費やされる時間が、1フィールドの表示時間を超過することが考えられる。結果として、一致リスト生成処理は、毎フィールドごとに実行できないことがあるので、図24で示されるように、飛び飛びのフィールド番号に対しての登録されることがある。
Further, as shown in FIG. 24, the
また、図23のフローチャートにおけるステップS101の処理については、必ずしも現在のフィールド番号に1を加算する必要はなく、現在のフィールド番号をそのまま使用するようにしてもよい。すなわち、図23のフローチャートにおけるステップS101の処理は、図25の上段で示されるように、処理が終了した時点のフィールド番号に1が加算されることにより、終了した時点では処理が一旦停止し、新たなフィールド番号になったところで処理が開始されることが示されている。すなわち、図25の上段では、左から、フィールド番号1の一致リスト生成処理が実行され、フィールド番号1の表示時間を超えて、フィールド番号2の表示時間で終了しているが、次の処理に進む際、ステップS101,S102の処理によりフィールド番号3の画像が入力されるまで処理待ちの状態となる。また、フィールド番号3の一致リスト生成処理が実行され、フィールド番号5の表示時間で終了しているが、次の処理に進む際、ステップS101,S102の処理によりフィールド番号6の画像が入力されるまで処理待ちの状態となる。さらに、フィールド番号6の一致リスト生成処理が実行され、フィールド番号8の表示時間で終了しているが、次の処理に進む際、ステップS101,S102の処理によりフィールド番号9の画像が入力されるまで処理待ちの状態となる。また、フィールド番号9の一致リスト生成処理が実行され、フィールド番号12の表示時間で終了しているが、次の処理に進む際、ステップS101,S102の処理によりフィールド番号13の画像が入力されるまで処理待ちの状態となる。さらに、フィールド番号13の一致リスト生成処理が実行され、フィールド番号14の表示時間で終了しているが、次の処理に進む際、ステップS101,S102の処理によりフィールド番号15の画像が入力されるまで処理待ちの状態となる。
In the process of step S101 in the flowchart of FIG. 23, it is not always necessary to add 1 to the current field number, and the current field number may be used as it is. That is, in the process of step S101 in the flowchart of FIG. 23, as shown in the upper part of FIG. 25, 1 is added to the field number at the time of completion of the process, so that the process is temporarily stopped at the time of completion. It is shown that the processing is started when a new field number is reached. That is, in the upper part of FIG. 25, the match list generation process for
一方、ステップS101の処理で、今現在のフィールド番号をそのまま使用した場合、図25の下段で示されるように処理が進められることになる。すなわち、左から、フィールド番号1の一致リスト生成処理が実行され、フィールド番号1の表示時間を超えて、フィールド番号2の表示時間で終了すると、次の処理に進む際、終了した時点でのフィールド番号の処理が開始されるので、処理待ちの状態がなく、そのまま、次のフィールド番号2の一致リスト生成処理が開始される。フィールド番号2の一致リスト生成処理が実行され、フィールド番号4の表示時間で終了すると、次の処理に進む際、終了した時点でのフィールド番号の処理が開始されるので、処理待ちの状態がなく、そのまま、次のフィールド番号4の一致リスト生成処理が開始される。フィールド番号4の一致リスト生成処理が実行され、フィールド番号7の表示時間で終了すると、終了した時点のフィールド番号7の一致リスト生成処理が開始される。フィールド番号7の一致リスト生成処理が実行され、フィールド番号7の表示時間で終了すると、次の終了した時点のフィールド番号7の一致リスト生成処理が終了しているので、次のフィールド番号8が入力されるまでの待ち状態となる。フィールド番号8の画像が入力されると、フィールド番号8の一致リスト生成処理が実行され、フィールド番号10の表示時間で終了すると、終了した時点のフィールド番号10の一致リスト生成処理が開始される。フィールド番号10の一致リスト生成処理が実行され、フィールド番号12の表示時間で終了すると、終了した時点のフィールド番号12の一致リスト生成処理が開始される。フィールド番号12の一致リスト生成処理が実行され、フィールド番号14の表示時間で終了する。
On the other hand, when the current field number is used as it is in the process of step S101, the process proceeds as shown in the lower part of FIG. That is, from the left, the match list generation process for
以上のように、ステップS101の処理により今現在のフィールド番号に1を加算しても、また、1を加算せずとも、一致リスト生成処理が実行されるため、いずれの処理であってもよい。 As described above, even if 1 is added to the current field number by the process of step S101, or the match list generation process is executed without adding 1, any process may be performed. .
次に、図26のフローチャートを参照して、図16の画像処理装置13による反映処理について説明する。
Next, the reflection process by the
ステップS131において、反映部249は、自らの処理対象であるフィールド画像のフィールド番号Mを1インクリメントする。 In step S131, the reflection unit 249 increments the field number M of the field image to be processed by 1 by one.
ステップS132において、遅延部48は、フィールド番号Mのフィールド画像が入力されてきたか否かを判定し、入力されてきたと判定されるまで、その処理を繰り返す。例えば、フィールド番号Mの画像が入力されてきた場合、ステップS133において、遅延部48は、フィールド番号Mの画像を一時的に遅延させるために記憶する。
In step S132, the
ステップS134において、特徴量設定情報読出部263の更新部263aは、一致リスト201にアクセスし、一致リスト201を更新する。ここで、一致リスト201の更新とは、一致リスト201に登録されているフィールド番号に対応付けられた特徴量のアドレスと、設定情報のアドレスの情報のうち、不要となった情報を削除して、整理する処理を示している。この処理についは、詳細を後述するものとし、ここでは、更新部263aは、一致リスト201内に不要な情報がなく、更新処理により一切削除等の変更をしない場合について説明を進めるものとする。
In step S134, the update unit 263a of the feature amount setting
ステップS135において、同期情報選択部263bは、一致リスト201にアクセスし、一致リスト201に記録されている情報が空であるか否かを判定する。例えば、図24で示されるように、空ではない場合、ステップS136において、同期情報選択部263aは、優先度の最も高い同期情報を選択する。すなわち、上述したように、一致リスト201においては、最上段の情報が最も優先度が高いため、図24で示されるような一致リスト201の場合、同期情報選択部263aは、フィールド番号11の同期情報を選択する。
In step S135, the synchronization
ステップS137において、差分計算部263cは、反映部249の処理対象となっているフィールド番号Mと、一致リスト201より同期情報選択部263bにより選択されたフィールド番号Nとのフィールド数の差分Dを計算する。
In step S137, the
ステップS138において、推定部263dは、反映部249の処理対象となっているフィールド番号M、一致リスト201より同期情報選択部263bの処理対象となっているフィールド番号N、および差分Dに基づいて、特徴量設定情報蓄積部262内のフィールド番号Mの設定情報が記憶されているアドレスを推定する。
In step S138, the estimation unit 263d, based on the field number M that is the processing target of the reflection unit 249, the field number N that is the processing target of the synchronization
すなわち、例えば、特徴量設定情報蓄積部262における特徴量および設定情報が、図27で示されるように蓄積されていた場合、フィールド番号Nの特徴量のアドレスは、0xF5であり、設定情報のアドレスはXである。上述したように、設定情報のアドレスの間隔が、例えば、Sである場合、フィールド番号Mの設定情報のアドレスは、X+S×Dとなる。そこで、推定部263dは、フィールド番号Mの設定情報のアドレスをX+S×Dとして推定する。
That is, for example, when the feature amount and setting information in the feature amount setting
尚、図27において、点線で示される範囲の情報は、特徴量設定情報蓄積部262に蓄積されている情報であり、一点鎖線で囲まれている情報は、特徴量抽出部241により供給されてくる情報である。したがって、実際に、図27で示される情報が特徴量設定情報蓄積部262に蓄えられているわけではなく、説明の便宜上、組み合わせたものとして図示している。
In FIG. 27, the information in the range indicated by the dotted line is information stored in the feature amount setting
ステップS139において、特徴量設定情報読出部263は、特徴量設定情報蓄積部262にアクセスし、推定したアドレスに設定情報が蓄積されているか否かを判定する。すなわち、特徴量は、設定情報がない状態でも特徴量設定情報蓄積部262に蓄積することが可能であるので、この処理により、特徴量に対応付けられた設定情報の有無が判定される。
In step S139, the feature amount setting
ステップS139において、例えば、特徴量に対応付けられた設定情報が蓄積されていないと判定された場合、ステップS140において、特徴量設定情報読出部263は、選択部47に対して設定情報を供給しない。この処理により、選択部47は、設定情報決定部246および特徴量設定情報読出部263のいずれからも設定情報の供給がない状態となるため、反映部249に対して処理を指定する設定情報が供給されないことになる。結果として、反映部249は、遅延部48に一時的に記憶された1フィールド分の画像を、そのままの状態で表示部15に表示させる。
In step S139, for example, when it is determined that the setting information associated with the feature amount is not accumulated, the feature amount setting
ステップS141において、終了が指示されたか否かが判定され、終了が指示された場合、その処理は終了し、終了が指示されていない場合、その処理は、ステップS131に戻る。 In step S141, it is determined whether or not termination has been instructed. If termination has been instructed, the processing ends. If termination has not been instructed, the processing returns to step S131.
一方、ステップS139において、例えば、特徴量に対応付けられた設定情報が蓄積されていると判定された場合、ステップS142において、特徴量設定情報読出部263は、特徴量設定情報蓄積部262より、推定したアドレスに存在する設定情報を読み出し選択部47に供給し、その処理は、ステップS143に進む。
On the other hand, in step S139, for example, when it is determined that the setting information associated with the feature amount is stored, in step S142, the feature amount setting
ステップS143において、選択部47には、設定情報決定部246からは設定情報がなく、特徴量設定情報読出部263から設定情報が供給されるため、選択部47は、特徴量設定情報読出部263からの設定情報を反映部249に供給する。反映部249は、その設定情報に基づいて遅延部48に蓄積されていたフィールド番号Mの1フィールド分の画像に処理を反映して、表示部15に表示する。
In step S143, the
以上の一致リスト生成処理および反映処理により、例えば、図28で示されるような状況の場合、以下のような処理が実現されることになる。尚、図28においては、最上段に同期検出部242に供給される画像のフィールド番号のタイミングを示しており、中段は、一致リスト生成処理のタイミングを示している。さらに、最下段は、反映処理のタイミングを示している。また、同期検出部242に供給される画像のフィールド番号と、反映処理のタイミングにおけるフィールド番号とのずれは、遅延部48による遅延によるものである。
With the above match list generation processing and reflection processing, for example, in the situation as shown in FIG. 28, the following processing is realized. In FIG. 28, the timing of the field number of the image supplied to the
さらに、図28の中段における、一致リスト生成処理は、フィールド番号4の画像が入力されたタイミングで、フィールド番号4の一致リスト生成処理が開始され、フィールド番号6の画像が入力された直後に終了していることが示されている。引き続き、フィールド番号7の画像が入力されたタイミングで、フィールド番号7の一致リスト生成処理が開始され、フィールド番号10の画像が入力された直後に終了していることが示されている。また、引き続き、フィールド番号11の画像が入力されたタイミングで、フィールド番号11の一致リスト生成処理が開始され、フィールド番号12の画像が入力された直後に終了していることが示されている。さらに、引き続き、フィールド番号13の画像が入力されたタイミングで、フィールド番号13の一致リスト生成処理が開始され、フィールド番号17の画像が入力された直後に終了していることが示されている。また、引き続き、フィールド番号18の画像が入力されたタイミングで、フィールド番号18の一致リスト生成処理が開始され、フィールド番号20の画像が入力された直後に終了していることが示されている。
Further, the match list generation process in the middle of FIG. 28 is started immediately after the
この状態で、反映部249の処理対象となる画像が、図28の星印で示されるフィールド番号M=6である場合、この時点では、一致リスト201には、フィールド番号4の同期位置情報のみが登録されていることになる。そこで、反映処理におけるステップS136においては、一致リスト201からフィールドN=4の情報が取得されることになる。したがって、ステップS137の処理により、差分はD=2(=M−N=6−4)となる。
In this state, if the image to be processed by the reflection unit 249 has the field number M = 6 indicated by the star in FIG. 28, only the synchronization position information of the
例えば、設定情報のアドレスのフィールド間隔が8(16進数)であれば、図29で示されるように、フィールド番号4乃至7について、それぞれの設定情報の保存アドレスが0x001000,0x001008,0x001010,0x001018となるので、フィールド番号4の設定情報がアドレス0x001000に存在することが一致リスト201より読み出せれば、フィールド間隔8に差分D=2を乗じて、加算すればフィールド番号6の設定情報のアドレスは、0x001010として推定されることになる。
For example, if the field interval of the setting information address is 8 (hexadecimal), as shown in FIG. 29, the setting information storage addresses for
結果として、上述した再生処理で実行していれば、フィールド番号4の同期位置情報を検索する処理をすることでフィールド番号5,6のフィールド画像に処理が加えられないことになるが、上述したように、再生処理を、一致リスト生成処理および反映処理に分離して、独立して実行することにより、一致リスト201に同期位置情報が求められているフィールド番号4のような画像はもちろんのこと、同期位置情報を求めることができなかったフィールド番号5,6についても、求められているフィールド番号の同期位置情報のアドレスから推定することにより、画像に処理を加えることが可能となる。結果として、飛び飛びの同期位置情報のみを用いて、全てのフィールドの同期位置を推定しながら全てのフィールドに対して正確に処理を加えて画像を再生することが可能となる。
As a result, if it is executed in the above-described playback process, the process for searching the synchronization position information of the
次に、ステップS134における一致リスト201の更新処理について説明する。
Next, the update process of the
上述したように、一致リスト201の更新とは、一致リスト201に登録されているフィールド番号に対応付けられた特徴量のアドレスと、設定情報のアドレスの同期位置情報のうち、不要となった同期位置情報を削除して、整理する処理であるが、一致リスト201より同期位置情報が削除されるといった更新がなされるのは、2つの条件のいずれかに適合する場合に限られている。
As described above, the update of the
第1の条件は、一致リスト201に登録されている同期位置情報が、特徴量設定情報蓄積部262の最後尾に属している場合である。これは、図27を参照して説明したように、一致リスト201に登録されたフィールド番号の設定情報の保存アドレスに基づいて、特徴量設定情報蓄積部262に記録されている、それ以降のフィールド番号の設定情報の保存アドレスを推定するため、最後尾では、反映部249が処理対象とするフィールド番号Mと同期情報選択部263bの処理対象となっているフィールド番号Nとのフィールド数の差分Dとして求められるだけ後段のフィールド番号の設定情報の保存アドレスの推定が不可能となるからである。
The first condition is a case where the synchronization position information registered in the
第2の条件は、一致リスト201の最新の同期位置情報の直前の同期位置情報に基づいて、最新の同期位置情報を推定した場合、一致しないときである。すなわち、図28の最上段で示されるように、フィールド番号10の画像が入力されるタイミングで、フィールド番号7の同期位置情報が求められるが、ここで、図30で示されるように、直前の同期位置情報であるフィールド番号4の同期位置情報により推定されるフィールド番号7の同期位置情報と、実際に求められているフィールド番号7の同期位置情報とを比較し、一致しなければ更新処理により、フィールド番号4の同期位置情報を削除する。すなわち、実際にわかっている同期位置情報を正確に推定できない同期位置情報を一致リスト201に登録させていても以降の推定を正しくできる保証がないからである。
The second condition is when the latest synchronization position information is estimated based on the synchronization position information immediately before the latest synchronization position information in the
尚、上述したように、一致リスト201より選択される同期位置情報は、最新の情報のみであるので、新たな同期位置情報が求められた時点で、それ以前の同期位置情報は更新により削除しても処理に影響を与えないので、最新の同期位置情報が登録される度に、それ以前の同期位置情報は削除するようにしてもよい。
As described above, since the synchronization position information selected from the
以上のごとく、本発明によれば、オリジナルの画像データに処理を加えることなく、画像を再生させる度に、画像に対して正確に所定の処理を加えて再現することが可能となる。また、複製できない画像データであっても、再生させる度に、同一の処理を加えて繰り返し再生することが可能となる。さらに、画像の特徴量に対応付けて、画像を処理するための設定情報を読み出し、設定情報に基づいて、画像への処理を反映させる際、画像単位で処理できないまま飛ばすことがなくなり、全ての画像に対して正確に所定の処理を加えて再現することが可能となる。 As described above, according to the present invention, it is possible to reproduce an image by accurately performing predetermined processing every time the image is reproduced without adding processing to the original image data. Further, even when image data that cannot be duplicated is reproduced, it is possible to repeatedly reproduce it by adding the same processing each time it is reproduced. Furthermore, when setting information for processing the image is read in association with the feature amount of the image and the processing to the image is reflected based on the setting information, it is not skipped without being processed in units of images. It is possible to reproduce the image by accurately applying a predetermined process.
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。 The series of processes described above can be executed by hardware, but can also be executed by software. When a series of processes is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.
図31は、図3,図16の画像処理装置13の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU1001は、パーソナルコンピュータの全体の動作を制御する。また、CPU1001は、バス1004および入出力インタフェース1005を介してユーザからキーボードやマウスなどからなる入力部1006から指令が入力されると、それに対応してROM(Read Only Memory)1002に格納されているプログラムを実行する。あるいはまた、CPU1001は、ドライブ1010に接続された磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリを含むリムーバルディスク1021から読み出され、記憶部1008にインストールされたプログラムを、RAM(Random Access Memory)1003にロードして実行する。これにより、上述した図3,図16の画像処理装置13の機能が、ソフトウェアにより実現されている。さらに、CPU1001は、通信部1009を制御して、外部と通信し、データの授受を実行する。
FIG. 31 shows a configuration of an embodiment of a personal computer when the electrical internal configuration of the
プログラムが記録されている記録媒体は、図31に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disc)を含む)、もしくは半導体メモリを含むリムーバルメディア1021などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM1002や、記憶部1008に含まれるハードディスクなどで構成される。
As shown in FIG. 31, the recording medium on which the program is recorded is distributed to provide the program to the user separately from the computer. The magnetic disk (including the flexible disk) on which the program is recorded and the optical disk are distributed. (Including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disk)), magneto-optical disk (including MD (Mini-Disc)), or
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。 In this specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series in the order described, but of course, it is not necessarily performed in time series. Or the process performed separately is included.
11 記録メディア, 12 画像再生部, 13 画像処理装置, 14 リモートコントローラ, 15 表示部, 41 特徴量抽出部, 42 同期検出部, 43 蓄積ブロック, 44 受光部, 45 操作情報認識部, 46 設定情報決定部, 47 選択部, 48 遅延部, 49 反映部, 61 特徴量設定情報記録部, 62 特徴量設定情報蓄積部, 63 特徴量設定情報読出部, 241 特徴量抽出部, 242 同期検出部, 243 蓄積ブロック, 246 設定情報決定部, 47 選択部, 48 遅延部, 249 反映部, 261 特徴量設定情報記録部, 262 特徴量設定情報蓄積部, 263 特徴量設定情報読出部
DESCRIPTION OF
Claims (9)
前記画像の識別番号と供に前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量を検索位置特徴量として順次抽出する検索位置特徴量抽出手段と、
前記再生位置特徴量と前記検索位置特徴量とを順次比較する比較手段と、
前記比較結果が一致した場合、前記画像の識別番号、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスを一致リストに登録する一致リスト登録手段と、
処理を加る処理位置の画像の識別番号と、前記一致リストに登録された画像の識別番号との差分より差分画像数を計算する差分画像計算手段と、
前記一致リストに登録された画像の識別番号、前記差分画像数、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスにより、前記データ記録媒体に記録されている、前記処理位置の画像の設定情報のアドレスを推定する推定手段と、
前記データ記録媒体より、前記推定手段により推定された設定情報のアドレスより設定情報を読み出す読出手段と、
前記読出手段により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映手段と
を含む画像処理装置。 Reproduction position feature amount extraction means for extracting the reproduction position feature amount from the reproduction position image as a reproduction position feature amount;
The feature quantity is sequentially used as a search position feature quantity from a data recording medium in which setting information for performing processing on the image is recorded in association with the image feature quantity together with the image identification number. Search position feature amount extraction means for extracting;
Comparison means for sequentially comparing the reproduction position feature quantity and the search position feature quantity;
A match list registration means for registering, in the match list, an identification number of the image and an address of setting information recorded in association with the reproduction position feature amount when the comparison results match;
Difference image calculation means for calculating the number of difference images from the difference between the identification number of the image at the processing position to be processed and the identification number of the image registered in the match list;
The processing position recorded in the data recording medium by the address of the setting information recorded in association with the identification number of the image registered in the match list, the number of difference images, and the reproduction position feature quantity Estimating means for estimating the address of the setting information of the image,
Reading means for reading setting information from the address of the setting information estimated by the estimating means from the data recording medium;
Reflecting means for reflecting the process to the image at the reproduction position based on the setting information read by the reading means.
請求項1に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the feature amount extraction unit extracts, as a feature amount, an added value of pixel values of pixels in a predetermined region constituting the image.
前記推定手段は、前記一致リストに登録された画像の識別番号に前記差分画像数を加算することにより、前記データ記録媒体の前記処理位置の画像の設定情報が記録されているアドレスを推定する
請求項1に記載の画像処理装置。 When the comparison result matches, the match list registration unit records the identification number of the image, the address where the feature value of the reproduction position feature value is recorded, and the reproduction position feature value in association with each other. Register the address where the setting information is recorded in the match list,
The estimation means estimates an address at which setting information of an image at the processing position of the data recording medium is recorded by adding the number of difference images to an identification number of an image registered in the match list. Item 8. The image processing apparatus according to Item 1.
請求項1に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the image identification number includes a frame number or a field number.
前記画像の識別番号と供に前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量を検索位置特徴量として順次抽出する検索位置特徴量抽出ステップと、
前記再生位置特徴量と前記検索位置特徴量とを順次比較する比較ステップと、
前記比較結果が一致した場合、前記画像の識別番号、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスを一致リストに登録する一致リスト登録ステップと、
処理を加る処理位置の画像の識別番号と、前記一致リストに登録された画像の識別番号との差分より差分画像数を計算する差分画像計算ステップと、
前記一致リストに登録された画像の識別番号、前記差分画像数、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスにより、前記データ記録媒体に記録されている、前記処理位置の画像の設定情報のアドレスを推定する推定ステップと、
前記データ記録媒体より、前記推定ステップの処理により推定された設定情報のアドレスより設定情報を読み出す読出ステップと、
前記読出ステップにより読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映ステップと
を含む画像処理方法。 A reproduction position feature amount extracting step of extracting a reproduction position feature amount from the reproduction position image as a reproduction position feature amount;
The feature quantity is sequentially used as a search position feature quantity from a data recording medium in which setting information for performing processing on the image is recorded in association with the image feature quantity together with the image identification number. A search position feature extraction step to extract;
A comparison step of sequentially comparing the reproduction position feature quantity and the search position feature quantity;
When the comparison results match, a match list registration step of registering in the match list the identification number of the image and the address of the setting information recorded in association with the reproduction position feature amount;
A difference image calculation step of calculating the number of difference images from the difference between the identification number of the image at the processing position to be processed and the identification number of the image registered in the match list;
The processing position recorded in the data recording medium by the address of the setting information recorded in association with the identification number of the image registered in the match list, the number of difference images, and the reproduction position feature quantity An estimation step for estimating the address of the setting information of the image,
A reading step of reading setting information from the address of the setting information estimated by the processing of the estimating step from the data recording medium;
And a reflecting step of reflecting the processing to the image at the reproduction position based on the setting information read by the reading step.
前記画像の識別番号と供に前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量を検索位置特徴量として順次抽出する検索位置特徴量抽出ステップと、
前記再生位置特徴量と前記検索位置特徴量とを順次比較する比較ステップと、
前記比較結果が一致した場合、前記画像の識別番号、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスを一致リストに登録する一致リスト登録ステップと、
処理を加る処理位置の画像の識別番号と、前記一致リストに登録された画像の識別番号との差分より差分画像数を計算する差分画像計算ステップと、
前記一致リストに登録された画像の識別番号、前記差分画像数、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスにより、前記データ記録媒体に記録されている、前記処理位置の画像の設定情報のアドレスを推定する推定ステップと、
前記データ記録媒体より、前記推定ステップの処理により推定された設定情報のアドレスより設定情報を読み出す読出ステップと、
前記読出ステップにより読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映ステップと
を含むコンピュータが読み取り可能なプログラムが記録されているプログラム記録媒体。 A reproduction position feature amount extracting step of extracting a reproduction position feature amount from the reproduction position image as a reproduction position feature amount;
The feature quantity is sequentially used as a search position feature quantity from a data recording medium in which setting information for performing processing on the image is recorded in association with the image feature quantity together with the image identification number. A search position feature extraction step to extract;
A comparison step of sequentially comparing the reproduction position feature quantity and the search position feature quantity;
When the comparison results match, a match list registration step of registering in the match list the identification number of the image and the address of the setting information recorded in association with the reproduction position feature amount;
A difference image calculation step of calculating the number of difference images from the difference between the identification number of the image at the processing position to be processed and the identification number of the image registered in the match list;
The processing position recorded in the data recording medium by the address of the setting information recorded in association with the identification number of the image registered in the match list, the number of difference images, and the reproduction position feature quantity An estimation step for estimating the address of the setting information of the image,
A reading step of reading setting information from the address of the setting information estimated by the processing of the estimating step from the data recording medium;
A program recording medium on which a computer-readable program is recorded, including: a reflecting step of reflecting a process to the image at the reproduction position based on the setting information read by the reading step.
前記画像の識別番号と供に前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量を検索位置特徴量として順次抽出する検索位置特徴量抽出ステップと、
前記再生位置特徴量と前記検索位置特徴量とを順次比較する比較ステップと、
前記比較結果が一致した場合、前記画像の識別番号、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスを一致リストに登録する一致リスト登録ステップと、
処理を加る処理位置の画像の識別番号と、前記一致リストに登録された画像の識別番号との差分より差分画像数を計算する差分画像計算ステップと、
前記一致リストに登録された画像の識別番号、前記差分画像数、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスにより、前記データ記録媒体に記録されている、前記処理位置の画像の設定情報のアドレスを推定する推定ステップと、
前記データ記録媒体より、前記推定ステップの処理により推定された設定情報のアドレスより設定情報を読み出す読出ステップと、
前記読出ステップにより読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映ステップと
を含む処理をコンピュータに実行させるプログラム。 A reproduction position feature amount extracting step of extracting a reproduction position feature amount from the reproduction position image as a reproduction position feature amount;
The feature quantity is sequentially used as a search position feature quantity from a data recording medium in which setting information for performing processing on the image is recorded in association with the image feature quantity together with the image identification number. A search position feature extraction step to extract;
A comparison step of sequentially comparing the reproduction position feature quantity and the search position feature quantity;
When the comparison results match, a match list registration step of registering in the match list the identification number of the image and the address of the setting information recorded in association with the reproduction position feature amount;
A difference image calculation step of calculating the number of difference images from the difference between the identification number of the image at the processing position to be processed and the identification number of the image registered in the match list;
The processing position recorded in the data recording medium by the address of the setting information recorded in association with the identification number of the image registered in the match list, the number of difference images, and the reproduction position feature quantity An estimation step for estimating the address of the setting information of the image,
A reading step of reading setting information from the address of the setting information estimated by the processing of the estimating step from the data recording medium;
A program that causes a computer to execute a process including a reflecting step of reflecting the process to the image at the reproduction position based on the setting information read by the reading step.
前記画像の識別番号と供に前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量を検索位置特徴量として順次抽出する検索位置特徴量抽出手段と、
前記再生位置特徴量と前記検索位置特徴量とを順次比較する比較手段と、
前記比較結果が一致した場合、前記画像の識別番号、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスを一致リストに登録する一致リスト登録手段と、
処理を加る処理位置の画像の識別番号と、前記一致リストに登録された画像の識別番号との対応関係を取得する対応関係取得手段と、
前記一致リストに登録された画像の識別番号、前記対応関係、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスにより、前記データ記録媒体に記録されている、前記処理位置の画像の設定情報のアドレスを推定する推定手段と、
前記データ記録媒体より、前記推定手段により推定された設定情報のアドレスより設定情報を読み出す読出手段と、
前記読出手段により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映手段と
を含む画像処理装置。 Reproduction position feature amount extraction means for extracting the reproduction position feature amount from the reproduction position image as a reproduction position feature amount;
The feature quantity is sequentially used as a search position feature quantity from a data recording medium in which setting information for performing processing on the image is recorded in association with the image feature quantity together with the image identification number. Search position feature amount extraction means for extracting;
Comparison means for sequentially comparing the reproduction position feature quantity and the search position feature quantity;
A match list registration means for registering, in the match list, an identification number of the image and an address of setting information recorded in association with the reproduction position feature amount when the comparison results match;
A correspondence acquisition means for acquiring a correspondence between an identification number of an image at a processing position to be processed and an identification number of an image registered in the match list;
Based on the identification number of the image registered in the match list, the correspondence relationship, and the address of the setting information recorded in association with the reproduction position feature amount, the processing position recorded on the data recording medium An estimation means for estimating an address of image setting information;
Reading means for reading setting information from the address of the setting information estimated by the estimating means from the data recording medium;
Reflecting means for reflecting the process to the image at the reproduction position based on the setting information read by the reading means.
前記画像の識別番号と供に前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量を検索位置特徴量として順次抽出する検索位置特徴量抽出ステップと、
前記再生位置特徴量と前記検索位置特徴量とを順次比較する比較ステップと、
前記比較結果が一致した場合、前記画像の識別番号、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスを一致リストに登録する一致リスト登録ステップと、
処理を加る処理位置の画像の識別番号と、前記一致リストに登録された画像の識別番号との対応関係を取得する対応関係取得ステップと、
前記一致リストに登録された画像の識別番号、前記対応関係、および前記再生位置特徴量に対応付けて記録されている設定情報のアドレスにより、前記データ記録媒体に記録されている、前記処理位置の画像の設定情報のアドレスを推定する推定ステップと、
前記データ記録媒体より、前記推定手段により推定された設定情報のアドレスより設定情報を読み出す読出ステップと、
前記読出ステップの処理により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映ステップと
を含む画像処理方法。 A reproduction position feature amount extracting step of extracting a reproduction position feature amount from the reproduction position image as a reproduction position feature amount;
The feature quantity is sequentially used as a search position feature quantity from a data recording medium in which setting information for performing processing on the image is recorded in association with the image feature quantity together with the image identification number. A search position feature extraction step to extract;
A comparison step of sequentially comparing the reproduction position feature quantity and the search position feature quantity;
When the comparison results match, a match list registration step of registering in the match list the identification number of the image and the address of the setting information recorded in association with the reproduction position feature amount;
A correspondence acquisition step of acquiring a correspondence between the identification number of the image at the processing position to be processed and the identification number of the image registered in the match list;
Based on the identification number of the image registered in the match list, the correspondence relationship, and the address of the setting information recorded in association with the reproduction position feature amount, the processing position recorded on the data recording medium An estimation step for estimating an address of image setting information;
A reading step of reading setting information from the address of the setting information estimated by the estimating means from the data recording medium;
And a reflecting step of reflecting the processing to the image at the reproduction position based on the setting information read by the processing of the reading step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006058959A JP2007243259A (en) | 2006-03-06 | 2006-03-06 | Image processing apparatus and method, program recording medium, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006058959A JP2007243259A (en) | 2006-03-06 | 2006-03-06 | Image processing apparatus and method, program recording medium, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007243259A true JP2007243259A (en) | 2007-09-20 |
Family
ID=38588399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006058959A Withdrawn JP2007243259A (en) | 2006-03-06 | 2006-03-06 | Image processing apparatus and method, program recording medium, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007243259A (en) |
-
2006
- 2006-03-06 JP JP2006058959A patent/JP2007243259A/en not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4816140B2 (en) | Image processing system and method, image processing apparatus and method, imaging apparatus and method, program recording medium, and program | |
JP4670683B2 (en) | Image processing apparatus and method, data recording medium, program recording medium, and program | |
JP4826333B2 (en) | Image processing apparatus and method, and program | |
JP4957960B2 (en) | Image processing apparatus, image processing method, and program | |
KR101309021B1 (en) | Image processing apparatus and method, and program recording medium | |
US8401302B2 (en) | Image processing apparatus, image processing method, and program | |
EP1775945A2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and computer program | |
JP4297073B2 (en) | Image generating apparatus, processing method of these apparatuses, and program causing computer to execute the method | |
US20060182426A1 (en) | Recording apparatus, recording and reproducing apparatus, recording method, and recording and reproducing method | |
JP2007243259A (en) | Image processing apparatus and method, program recording medium, and program | |
KR100443273B1 (en) | Method for pointing and reproducing on recorded data optical disc | |
JP2012156879A (en) | Recording apparatus and reproducing apparatus | |
JP2012074813A (en) | Reproduction device and control method therefor | |
JP2003289486A (en) | Video reproducing apparatus | |
JP2007058908A (en) | Dvd recorder with built-in hard disk, and recording/reproducing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090512 |