JP2002077821A - Image acquisition unit, image recorder/reproducer and image input unit - Google Patents

Image acquisition unit, image recorder/reproducer and image input unit

Info

Publication number
JP2002077821A
JP2002077821A JP2001153344A JP2001153344A JP2002077821A JP 2002077821 A JP2002077821 A JP 2002077821A JP 2001153344 A JP2001153344 A JP 2001153344A JP 2001153344 A JP2001153344 A JP 2001153344A JP 2002077821 A JP2002077821 A JP 2002077821A
Authority
JP
Japan
Prior art keywords
moving image
image
data
compressed
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001153344A
Other languages
Japanese (ja)
Other versions
JP3695352B2 (en
JP2002077821A5 (en
Inventor
Yuko Okayama
祐孝 岡山
Tomohisa Kohiyama
智久 小檜山
Nobukazu Kondo
伸和 近藤
Kazutoshi Kato
和利 加藤
Kazuaki Tanaka
和明 田中
Yoshihiro Harada
好啓 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2001153344A priority Critical patent/JP3695352B2/en
Publication of JP2002077821A publication Critical patent/JP2002077821A/en
Publication of JP2002077821A5 publication Critical patent/JP2002077821A5/ja
Application granted granted Critical
Publication of JP3695352B2 publication Critical patent/JP3695352B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Color Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

PROBLEM TO BE SOLVED: To perform recording/reproduction of a dynamic image while monitoring it. SOLUTION: The image acquisition unit comprises a video recorder for separating a video signal into two field signals in an interlace signal, a section 63 for scaling two separated field signals independently, a section 62 for color converting two separated field signals independently, and a DMA transfer control section 61 for transferring two scaled and color converted field signals to different storage units.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明は、入力される動画像を取
り込み、記録、再生する装置に係り、特に、自由な場面
(位置)からの動画像の再生を行う装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus for capturing, recording, and reproducing an input moving image, and more particularly to an apparatus for reproducing a moving image from a free scene (position).

【0002】[0002]

【従来の技術】従来の画像記録再生装置は、図10に示
す構成を有していた。
2. Description of the Related Art A conventional image recording / reproducing apparatus has a configuration shown in FIG.

【0003】図10に示すように、該画像記録再生装置
は、情報処理装置21と画像入力装置22とから構成さ
れている。画像入力装置22は、アナログの動画像(映
像)を入力するための手段であり、ビデオカメラやVT
R、テレビジョン等で実現されている。ここでは、ビデ
オカメラの例を示した。情報処理装置21は、画像入力
装置22から入力されるアナログの動画像をデジタル化
するための手段と、該手段によってデジタル化された動
画像を記録するための手段とを有し、画像入力装置22
から入力された動画像を記録するための装置である。
[0003] As shown in FIG. 10, the image recording / reproducing apparatus comprises an information processing apparatus 21 and an image input apparatus 22. The image input device 22 is a unit for inputting an analog moving image (video), and includes a video camera and a VT.
R, television, etc. Here, an example of a video camera is shown. The information processing device 21 includes a unit for digitizing an analog moving image input from the image input device 22 and a unit for recording a moving image digitized by the unit. 22
This is a device for recording a moving image input from a computer.

【0004】次に、図10に示す装置構成を有する従来
の画像記録再生装置の処理の概要を、図11を用いて説
明する。
Next, an outline of processing of a conventional image recording / reproducing apparatus having the apparatus configuration shown in FIG. 10 will be described with reference to FIG.

【0005】図11は、例えば、頭出し再生を行うため
に、画像入力装置22から入力される連続した一連の画
像(動画像)に対して、シーンが変化した個所を特定す
るための処理のフローチャートである。
FIG. 11 shows, for example, a process for specifying a portion where a scene has changed in a series of images (moving images) input from the image input device 22 in order to perform cue reproduction. It is a flowchart.

【0006】該処理は、まず動画像の取り込みを開始し
(ステップ501)、画像入力装置22から入力される
1フレーム、あるいは1フィールド分のアナログの画像
をデジタル化する(ステップ502)。ここで、画像入
力装置22から入力される動画像は、NTSCやPA
L、SECAMといった規格化されたフォーマットを持
つものである。
In this process, first, a moving image is fetched (step 501), and one frame or one field of analog image input from the image input device 22 is digitized (step 502). Here, the moving image input from the image input device 22 is NTSC or PA.
It has a standardized format such as L or SECAM.

【0007】次に、上記処理は、該デジタル化された画
像を、情報処理装置21が有する主記憶装置に格納する
(ステップ503)。そして、該画像とその直前に格納
された画像とを比較し(ステップ504)、シーンが変
化したかどうかを判定する(ステップ505)。このと
き、シーンが変化したかどうかの判定は、2つの画像を
画素単位で比較してその差分を計算し、全画素での差分
の総和を求めることで行われる。例えば、該総和が任意
のしきい値を越えたならば、シーンが変化したと判定さ
れる。
Next, in the above processing, the digitized image is stored in the main storage device of the information processing device 21 (step 503). Then, the image is compared with the image stored immediately before (step 504), and it is determined whether or not the scene has changed (step 505). At this time, whether or not the scene has changed is determined by comparing the two images on a pixel-by-pixel basis, calculating the difference therebetween, and calculating the sum of the differences of all the pixels. For example, if the sum exceeds an arbitrary threshold, it is determined that the scene has changed.

【0008】ステップ505においてシーンが変化した
と判定されたならば、該画像の動画像取り込み開始から
の時刻を上記主記憶に格納する(ステップ506)。そ
して、取り込みが終了したかどうかを判定し(ステップ
507)、終了していなければステップ502に戻り、
処理を繰り返す。取り込みを終了していれば、一連の非
圧縮動画像を情報処理装置21が有する補助記憶装置に
格納して(ステップ508)、処理を終了する。
If it is determined in step 505 that the scene has changed, the time from the start of capturing the moving image of the image is stored in the main memory (step 506). Then, it is determined whether or not the capture has been completed (step 507).
Repeat the process. If the capture has been completed, a series of uncompressed moving images is stored in the auxiliary storage device of the information processing device 21 (step 508), and the process ends.

【0009】この後、上記従来の画像記録再生装置は、
シーンが変化した位置の画像を情報処理装置21が有す
る表示装置に一覧表示し、ユーザが情報処理装置21が
有する入力装置から指示した一覧表示中の任意の画像に
対応する、ステップ506において上記主記憶に格納さ
れた時刻を抽出し、ステップ508において上記補助記
憶装置に保存した動画像を、該時刻に対応する画像(位
置)から頭出し再生を行うのである。
[0009] Thereafter, the conventional image recording / reproducing apparatus includes:
In step 506, the images at the positions where the scenes have changed are displayed as a list on the display device of the information processing device 21 and correspond to any image in the list displayed by the user from the input device of the information processing device 21. The time stored in the memory is extracted, and in step 508, the moving image stored in the auxiliary storage device is searched for from the image (position) corresponding to the time and reproduced.

【0010】また、特開平6−133305号公報に
は、動画像のシーン変化を自動的に抽出して、その情報
を含めて該動画像を符号化する技術が開示されている。
Japanese Patent Application Laid-Open No. 6-133305 discloses a technique for automatically extracting a scene change of a moving image and encoding the moving image including the information.

【0011】また、動画像を表示装置などにリアルタイ
ムに表示する技術が、CQ出版社刊、インターフェース
誌1996年4月号の第102ページから109ページ
に記載されている。
A technique for displaying a moving image in real time on a display device or the like is described on pages 102 to 109 of the April 1996 issue of Interface Magazine, published by CQ Publishing Company.

【0012】[0012]

【発明が解決しようとする課題】しかしながら、図10
に示したような従来技術では、非圧縮の一連の動画像を
取り込んでシーンの変化を検出し、非圧縮のまま補助記
憶装置に保存しているため、補助記憶装置に保存される
データ量に関しては考慮されていない。
However, FIG.
In the prior art as shown in (1), a series of uncompressed moving images are captured to detect a change in a scene, and are stored in an uncompressed auxiliary storage device. Is not taken into account.

【0013】また、特開平6−133305号公報で
は、シーン変化の情報を圧縮した動画像に含めているの
で、再生前にはその都度、該動画像を最初から最後まで
検索する必要があり、処理速度に関して考慮されていな
い。
In Japanese Patent Application Laid-Open No. Hei 6-133305, since information on a scene change is included in a compressed moving image, it is necessary to search the moving image from the beginning to the end each time before reproduction. Not considered for processing speed.

【0014】また、インターフェース誌記載の技術は、
動画像を表示装置に表示するとともに、該動画像を補助
記憶装置などに記録することに関しては考慮されていな
い。
The technology described in the interface magazine is as follows.
No consideration is given to displaying a moving image on a display device and recording the moving image in an auxiliary storage device or the like.

【0015】本発明の目的は、画像入力装置から入力さ
れる動画像を、非圧縮の動画像及び比較的高圧縮率かつ
高画質での再生が可能な圧縮技術を用いて圧縮された動
画像として、リアルタイムにかつ同時に情報処理装置に
取り込む画像取り込み装置、及び画像取り込み装置を装
着する画像記憶再生装置並びに画像入力装置を提供する
ことにある。
SUMMARY OF THE INVENTION It is an object of the present invention to convert a moving image input from an image input device into an uncompressed moving image and a moving image compressed by using a compression technique capable of reproducing at a relatively high compression rate and high image quality. It is an object of the present invention to provide an image capturing device that captures an information processing device in real time and simultaneously, an image storage / reproducing device equipped with the image capturing device, and an image input device.

【0016】また、上記非圧縮動画像をもとに得られた
情報から、上記非圧縮動画像中の任意の画像と上記圧縮
動画像中の任意の画像とを対応付けることによって、動
画像の記録及び再生表示を容易に行うことを可能とする
画像記録再生を行う画像記憶再生装置を提供することで
ある。
[0016] Also, by associating an arbitrary image in the uncompressed moving image with an arbitrary image in the compressed moving image from information obtained based on the uncompressed moving image, a moving image can be recorded. Another object of the present invention is to provide an image storage / reproducing apparatus for performing image recording / reproducing which can easily perform reproduction / display.

【0017】さらに、その他の目的は、上記非圧縮の動
画像を上記情報処理装置に取り込む場合、上記画像入力
装置から入力されるインターレース信号における奇数フ
ィールドデータと偶数フィールドデータとを、異なる大
きさ及び色フォーマットに変換して、異なる領域あるい
は装置に転送する画像取り込み装置、該画像取り込み装
置を装着し、上記情報処理装置が具備する表示装置で上
記画像入力装置から入力される動画像をモニタしなが
ら、同時に該動画像の記録再生を行う画像記憶再生装置
を提供することである。
Still another object is that when the uncompressed moving image is taken into the information processing apparatus, odd field data and even field data in an interlace signal input from the image input apparatus are different in size and size. An image capturing device that converts the image into a color format and transfers the image to a different area or device, while mounting the image capturing device and monitoring a moving image input from the image input device on a display device included in the information processing device. Another object of the present invention is to provide an image storage / reproducing apparatus for simultaneously recording and reproducing the moving image.

【0018】[0018]

【課題を解決するための手段】本発明は、主記憶及び表
示装置を備えた動画像を記録する画像記録再生装置に装
着される画像取り込み装置において、アナログの動画像
を入力し、該入力された動画像をデジタル化するビデオ
デコーダと、前記デジタル化された動画像を圧縮動画像
に圧縮する動画圧縮部と、前記ビデオデコーダから出力
されるデジタル化された動画像を前記主記憶及び前記表
示装置へ転送すると同時に、前記動画圧縮部から出力さ
れる圧縮動画像を前記主記憶に転送する動画入力インタ
ーフェース部とを備えてなる画像取り込み装置である。
According to the present invention, there is provided an image capturing apparatus mounted on an image recording / reproducing apparatus for recording a moving image provided with a main memory and a display device, for inputting an analog moving image. A video decoder for digitizing the moving image, a moving image compression unit for compressing the digitized moving image into a compressed moving image, and a main memory and the display for displaying the digitized moving image output from the video decoder. An image capturing device comprising: a moving image input interface unit that transfers a compressed moving image output from the moving image compression unit to the main storage at the same time as transferring the moving image to the device.

【0019】本発明は、主記憶及び表示装置を備えた動
画像を記録する画像記録再生装置において、アナログの
動画像を入力し、該入力された動画像をデジタル化する
ビデオデコーダと、前記デジタル化された動画像を圧縮
動画像に圧縮する動画圧縮部と、前記ビデオデコーダか
ら出力されるデジタル化された動画像を前記主記憶及び
前記表示装置へ転送すると同時に、前記動画圧縮部から
出力される圧縮動画像を前記主記憶に転送する動画入力
インターフェース部とを備え、前記動画入力インターフ
ェース部は、前記デジタル化された動画像をインターレ
ース信号における2つのフィールド信号に分離し、一方
のフィールド信号を前記主記憶に転送し、他方のフィー
ルド信号を前記表示装置に転送し、前記表示装置は、前
記動画入力インターフェース部から転送されたフィール
ド信号により動画を表示し、前記主記憶は、前記表示装
置が動画を表示するのと同時に前記動画入力インターフ
ェース部から転送されたフィールド信号を記憶すること
を特徴とする画像記録再生装置である。
According to the present invention, there is provided an image recording / reproducing apparatus for recording a moving image provided with a main memory and a display device, comprising: a video decoder for inputting an analog moving image and digitizing the input moving image; A moving image compression unit for compressing the converted moving image into a compressed moving image, and transferring the digitized moving image output from the video decoder to the main storage and the display device at the same time as being output from the moving image compression unit. A moving image input interface unit for transferring a compressed moving image to the main memory, the moving image input interface unit separating the digitized moving image into two field signals in an interlace signal, and And transferring the other field signal to the display device. The display device transmits the moving image input interface. An image displaying a moving image by a field signal transferred from a face unit, wherein the main memory stores the field signal transferred from the moving image input interface unit at the same time as the display device displays the moving image. It is a recording and reproducing device.

【0020】さらに、好ましくは、上記画像記録再生装
置は上記ビデオデコーダでデジタル化された動画像の少
なくとも1画面分の画像を保持するフレームメモリを有
し、動画入力インターフェース部は、上記ビデオデコー
ダから入力されるデジタルの動画像を奇数フィールドデ
ータと偶数フィールドデータとに分けて上記フレームメ
モリに格納するビデオ信号入出力部と、上記フレームメ
モリから奇数フィールドデータと偶数フィールドデータ
とを順次取り出してスケーリングを行うスケーリング部
と、上記スケーリング部から入力されるデータをあらか
じめ決められた色フォーマットに変換する色変換部と、
上記動画圧縮部からあらかじめ決められたプロトコルに
したがって入力されるデータを取り込む圧縮画像入出力
部と、上記色変換部から入力されるデータと上記圧縮画
像入出力部から入力される圧縮動画像とを上記主記憶あ
るいは上記表示装置に転送するDMA転送制御部と、一般
的に情報処理装置に採用されているバスにデータを流し
たり、上記バスに流れているデータを取り込むバス入出
力部とを有する。
Further, preferably, the image recording / reproducing apparatus has a frame memory for holding at least one screen image of a moving image digitized by the video decoder, and the moving image input interface unit receives the video data from the video decoder. A video signal input / output unit that divides an input digital moving image into odd field data and even field data and stores them in the frame memory, and sequentially takes out odd field data and even field data from the frame memory to perform scaling. A scaling unit for performing, a color conversion unit for converting data input from the scaling unit to a predetermined color format,
A compressed image input / output unit that captures data input according to a predetermined protocol from the moving image compression unit, and a data input from the color conversion unit and a compressed moving image input from the compressed image input / output unit. A DMA transfer control unit for transferring the data to the main memory or the display device, and a bus input / output unit for flowing data to a bus generally used in an information processing device or capturing data flowing to the bus. .

【0021】また、好ましくは、上記画像取り込み手段
で取り込まれた非圧縮の動画像をもとに任意の情報を抽
出する情報抽出手段と、上記情報抽出手段から抽出され
た情報と上記画像取り込み手段から取り込まれた圧縮動
画像とを対応付ける対応情報生成手段とを有し、上記情
報抽出手段は、上記非圧縮画像取り込み装置から取り込
まれた一連の非圧縮動画像の任意の時点での画像の、動
画像取り込み開始からの時刻を抽出する機能を有し、上
記対応情報生成手段は、上記圧縮画像取り込み装置から
取り込まれた圧縮動画像中の、該時刻と同じ時刻を有す
る画像(位置)を抽出して対応づける機能を有する。
Preferably, information extracting means for extracting arbitrary information based on the uncompressed moving image captured by the image capturing means, and information extracted from the information extracting means and the image capturing means. And correspondence information generating means for associating the compressed moving image captured from the, the information extracting means, at any time of a series of uncompressed moving images captured from the uncompressed image capturing device, The apparatus has a function of extracting a time from the start of capturing a moving image, and the correspondence information generating unit extracts an image (position) having the same time as the time in the compressed moving image captured from the compressed image capturing apparatus. It has the function of associating.

【0022】また、好ましくは、上記画像記録再生装置
は、ユーザが指示を行うための入力装置と、上記圧縮動
画像を再生するための圧縮画像再生装置とをさらに備
え、上記圧縮画像再生装置は、上記入力手段から入力さ
れる指示を契機に上記対応づけられた画像、あるいは該
画像の前後近辺の画像から、上記圧縮動画像の頭出し再
生する機能を有することを特徴とする画像記録再生装置
も考えられる。
Preferably, the image recording / reproducing apparatus further comprises an input device for a user to give an instruction, and a compressed image reproducing device for reproducing the compressed moving image. An image recording / reproducing apparatus having a function of cueing and reproducing the compressed moving image from the image associated with the instruction or an image near the front and rear of the image in response to an instruction input from the input means. Is also conceivable.

【0023】また、好ましくは、上記画像取り込み装置
と上記圧縮画像再生装置とを合わせた構成とすることも
考えられる。
Preferably, the image capturing device and the compressed image reproducing device may be combined.

【0024】本発明における画像記録再生装置は、例え
ば、以下のような動作を行う。ユーザが、上記入力手段
から入力する何らかの指示を契機に、上記画像取り込み
装置が上記画像入力装置から入力される動画像をデジタ
ル化して非圧縮のまま取り込み、かつ上記画像入力装置
から入力される動画像をデジタル化して高圧縮率かつ高
画質での再生が可能な圧縮動画像に変換して取り込む。
このとき、上記2つの動画像は、同一の映像ソースから
生成され、同時にかつリアルタイムに取り込まれる。
The image recording / reproducing apparatus according to the present invention performs, for example, the following operation. In response to an instruction input by the user from the input unit, the image capturing device digitizes a moving image input from the image input device and captures the moving image in an uncompressed state, and a moving image input from the image input device. The image is digitized and converted into a compressed moving image that can be reproduced with a high compression rate and high image quality, and then captured.
At this time, the two moving images are generated from the same video source and are captured simultaneously and in real time.

【0025】そして、上記情報抽出手段は、例えば、シ
ーンの変化を検出する場合には、少なくとも、上記非圧
縮動画像を解析して得られるシーンが変化した直後の画
像と、該画像の動画像取り込み開始からの時刻とを抽出
し、上記対応情報生成手段は、少なくとも上記画像取り
込み装置から取り込まれた圧縮動画像中の、該時刻と同
じ時刻を有する画像(位置)を抽出して、上記2つの画
像を対応づけるための対応情報を生成する。
When detecting a change in a scene, for example, the information extracting means includes at least an image obtained by analyzing the uncompressed moving image immediately after the scene has changed, and a moving image of the image. The correspondence information generating means extracts an image (position) having the same time as the time in the compressed moving image captured at least from the image capturing device, and extracts the time from the start of capturing. Generate correspondence information for associating two images.

【0026】また、上記非圧縮の動画像は奇数フィール
ドデータと偶数フィールドデータとに分けて各々上記主
記憶及び上記表示装置に転送されるので、上記画像入力
装置から入力される動画像を上記表示装置でモニタしな
がらシーンの変化の検出が可能となる。
Also, the uncompressed moving image is divided into odd field data and even field data and transferred to the main storage and the display device, respectively, so that the moving image input from the image input device is displayed on the display device. It is possible to detect a change in a scene while monitoring with a device.

【0027】さらに、上記表示装置は、上記シーンが変
化した直後の画像を少なくとも表示し、ユーザが、上記
入力手段によって該画像を指示した場合、上記圧縮画像
再生装置は、該画像と上記対応情報とから、上記圧縮動
画像中における頭出し再生を開始する画像を特定して再
生を行う。
Further, the display device displays at least the image immediately after the scene change, and when the user designates the image by the input means, the compressed image reproducing device causes the image and the correspondence information to be displayed. Thus, the image for which cue reproduction is to be started in the compressed moving image is specified and reproduced.

【0028】[0028]

【発明の実施の形態】以下、本発明に係る第一の実施の
形態について図面を参照して説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a first embodiment according to the present invention will be described with reference to the drawings.

【0029】図14は、第一の実施の形態の画像記録再
生装置を適応しうるパーソナルコンピュータ等の情報処
理装置のハードウェア構成図である。
FIG. 14 is a hardware configuration diagram of an information processing apparatus such as a personal computer to which the image recording / reproducing apparatus of the first embodiment can be applied.

【0030】図14に示すように、該装置は、CPU1
と、主記憶2と、補助記憶装置3と、入力装置4と、表
示装置5と、画像入力装置6と、画像取り込み装置12
と、圧縮画像再生装置9とを有して構成される。そし
て、画像入力装置6以外の各構成要素は、バス10によ
って接続され、各構成要素間で、必要な情報が伝送可能
に構成されている。
As shown in FIG. 14, the apparatus comprises a CPU 1
, Main memory 2, auxiliary storage device 3, input device 4, display device 5, image input device 6, image capture device 12
And a compressed image reproducing device 9. The components other than the image input device 6 are connected by a bus 10 so that necessary information can be transmitted between the components.

【0031】また、画像入力装置6は、画像取り込み装
置12に接続され、画像入力装置6から画像取り込み装
置12に映像情報を伝送可能なように構成されている。
画像取り込み装置12は、バスを介して接続されるCP
U1等により構成されるPC等の情報処理装置21に装着
されるか、図22に示すように画像入力装置6に内蔵さ
れる構成とする。尚、図22に示された画像取り込み装
置は、CCDカメラ56が内蔵されているほかは図15
に示した画像取り込み装置12と同様の構成である。
The image input device 6 is connected to the image capturing device 12 and configured to transmit video information from the image input device 6 to the image capturing device 12.
The image capturing device 12 has a CP connected via a bus.
It is configured to be attached to an information processing device 21 such as a PC constituted by U1 or the like, or to be built in the image input device 6 as shown in FIG. The image capturing device shown in FIG. 22 has a built-in CCD camera 56, except that the image capturing device shown in FIG.
Has the same configuration as the image capturing device 12 shown in FIG.

【0032】主記憶2は、ワークエリアとして機能した
り、必要なプログラムを格納するための手段であり、前
者に対してはRAM、後者に対してはROM等によって
実現できる。補助記憶装置3は、該装置の動作を制御す
るためのプログラムや圧縮された動画像等を保存してお
く手段であり、例えば、フロッピー(登録商標)ディス
ク、ハードディスク、メモリカードやDVDなどによっ
て実現できる。入力装置4は、必要な命令や情報入力す
るための手段であり、例えば、キーボードや、マウス等
のポインティングデバイスによって実現できる。表示装
置5は、圧縮された動画像の再生表示等の各種の情報を
表示する手段であり、例えば、CRT、ELディスプレ
イ、プラズマディスプレイ、液晶ディスプレイ等によっ
て実現できる。
The main memory 2 is a means for functioning as a work area and storing necessary programs, and can be realized by a RAM for the former and a ROM for the latter. The auxiliary storage device 3 is a means for storing a program for controlling the operation of the device, a compressed moving image, and the like, and is realized by, for example, a floppy (registered trademark) disk, a hard disk, a memory card, a DVD, or the like. it can. The input device 4 is a unit for inputting necessary commands and information, and can be realized by a pointing device such as a keyboard and a mouse, for example. The display device 5 is a unit that displays various information such as a reproduction display of a compressed moving image, and can be realized by, for example, a CRT, an EL display, a plasma display, a liquid crystal display, or the like.

【0033】画像入力装置6は、上述した従来技術にお
ける画像入力装置22と同様に、アナログの動画像(映
像)を入力する手段であり、ビデオカメラ、VTR、テ
レビジョン、TVチューナー等によって実現される。画
像取り込み装置12は、上記画像入力装置6から入力さ
れるアナログの動画像をデジタル化し、かつデジタル化
した動画像を圧縮するための手段である。圧縮(符号
化)手段としては、例えば、高圧縮率かつ高画質での再
生が可能なMPEG(Moving Picture
Experts Group)等によって実現される。
また、「ポイント図解式最新MPEG教科書」、P28
〜P29、マルチメディア通信研究会編、アスキー出版
局に記載されている圧縮技術でも実現できる。MPEG
圧縮技術の詳細は、「ポイント図解式最新MPEG教科
書」、P89〜P165、マルチメディア通信研究会
編、アスキー出版局に記載されている。
The image input device 6 is a means for inputting an analog moving image (video), similarly to the image input device 22 in the above-mentioned prior art, and is realized by a video camera, a VTR, a television, a TV tuner, or the like. You. The image capturing device 12 is means for digitizing an analog moving image input from the image input device 6 and compressing the digitized moving image. As a compression (encoding) means, for example, an MPEG (Moving Picture) capable of reproducing with high compression rate and high image quality is used.
Experts Group).
Also, "Point-based Illustrated Latest MPEG Textbook", P28
To P29, edited by the Multimedia Communication Research Society, and the compression technology described in ASCII Publishing Bureau. MPEG
The details of the compression technique are described in "Point Illustrated Latest MPEG Textbook", P89-P165, edited by Multimedia Communications Research Group, ASCII Publishing Bureau.

【0034】圧縮画像再生装置9は、上記画像取り込み
装置12における圧縮技術を用いて圧縮された動画像を
再生して、表示装置5に再生画像を表示する手段であ
り、例えば、該圧縮技術がMPEGであれば、MPEG
デコーダによって実現できる。
The compressed image reproducing device 9 is a means for reproducing a moving image compressed by using the compression technique in the image capturing device 12 and displaying the reproduced image on the display device 5. For MPEG, MPEG
It can be realized by a decoder.

【0035】また、CPU1は、主記憶2や補助記憶装
置3に、予め格納されているプログラムに従って所定の
動作を行う。
The CPU 1 performs a predetermined operation in accordance with a program stored in the main memory 2 and the auxiliary storage device 3 in advance.

【0036】次に、図15に、画像取り込み装置12の
ブロック構成図を示す。
Next, FIG. 15 shows a block diagram of the image capturing device 12. As shown in FIG.

【0037】図15に示すように、画像取り込み装置1
2は、動画入力インターフェース部50と、フレームメ
モリ51と、動画圧縮部52と、ビデオデコーダ53と
を有して構成される。
As shown in FIG. 15, the image capturing device 1
2 includes a moving image input interface unit 50, a frame memory 51, a moving image compression unit 52, and a video decoder 53.

【0038】ビデオデコーダ53は、画像入力装置6に
接続されており、画像入力装置6から入力されるアナロ
グの動画像をデジタル化して出力する。例えば、画像入
力装置6から入力されるアナログの動画像がNTSC形
式の信号であれば、ビデオデコーダ53は、NTSCデ
コーダとして実現できる。この場合、NTSC形式のイ
ンターレース信号における奇数フィールド信号と偶数フ
ィールド信号とをデジタル化して時系列的に出力する。
この出力された動画像は、動画圧縮部52と動画入力イ
ンターフェース部50とに同時に入力される。尚、画像
入力装置6から画像取り込み装置12へ出力される信号
がアナログ信号ではなくデジタル信号である場合、画像
取り込み装置12にはビデオデコーダ53が不要であ
る。
The video decoder 53 is connected to the image input device 6, and digitizes and outputs an analog moving image input from the image input device 6. For example, if the analog moving image input from the image input device 6 is an NTSC signal, the video decoder 53 can be realized as an NTSC decoder. In this case, the odd field signal and the even field signal in the interlaced signal of the NTSC format are digitized and output in time series.
The output moving image is input to the moving image compression unit 52 and the moving image input interface unit 50 at the same time. When the signal output from the image input device 6 to the image capturing device 12 is not an analog signal but a digital signal, the image capturing device 12 does not require the video decoder 53.

【0039】画像圧縮部52は、ビデオデコーダ53か
ら出力されるデジタル化された動画像をMPEGなどの
圧縮技術を用いて圧縮する。そして、圧縮した動画像を
動画入力インターフェース部50に出力する。例えば、
圧縮技術がMPEGであれば、圧縮された動画像はMP
EGストリームということになる。
The image compression section 52 compresses the digitized moving image output from the video decoder 53 by using a compression technique such as MPEG. Then, the compressed moving image is output to the moving image input interface unit 50. For example,
If the compression technology is MPEG, the compressed moving image is MP
This is the EG stream.

【0040】フレームメモリ51は、ビデオデコーダ5
3でデジタル化された動画像の少なくとも1画面(フレ
ーム)分の画像を保持するためのものであり、動画入力
インターフェース部50に接続される。
The frame memory 51 includes a video decoder 5
This is for holding an image of at least one screen (frame) of the moving image digitized in 3 and is connected to the moving image input interface unit 50.

【0041】動画入力インターフェース部50は、バス
10に接続されており、ビデオデコーダ53から入力さ
れるデジタルの動画像を一度フレームメモリ51に格納
し、さらに、フレームメモリ51に格納した画像を、バ
ス10を通して主記憶2あるいは補助記憶装置3あるい
は表示装置5にDMA転送する。これと同時に画像圧縮
部52から入力される圧縮された動画像も、バス10を
通して主記憶2あるいは補助記憶装置3にDMA転送す
る。
The moving image input interface unit 50 is connected to the bus 10 and once stores the digital moving image input from the video decoder 53 in the frame memory 51 and further converts the image stored in the frame memory 51 into the bus. DMA transfer to the main memory 2 or the auxiliary storage device 3 or the display device 5 through 10. At the same time, the compressed moving image input from the image compression unit 52 is also DMA-transferred to the main storage 2 or the auxiliary storage device 3 through the bus 10.

【0042】次に、図16に、動画入力インターフェー
ス部50のブロック構成図を示す。
Next, FIG. 16 shows a block diagram of the moving image input interface unit 50. As shown in FIG.

【0043】図16に示すように、動画入力インターフ
ェース部50は、バス入出力部60と、DMA転送制御
部61と、色変換部62と、スケーリング部63と、ビ
デオ信号入出力部64と、圧縮画像入出力部65とを有
して構成される。
As shown in FIG. 16, the moving image input interface unit 50 includes a bus input / output unit 60, a DMA transfer control unit 61, a color conversion unit 62, a scaling unit 63, a video signal input / output unit 64, And a compressed image input / output unit 65.

【0044】バス入出力部60は、一般的に情報処理装
置などで採用されているPCIやISAなどのバスのプ
ロトコルに従って実現され、バス10にデータを流した
り、バス10に流れているデータを取得する。
The bus input / output unit 60 is realized in accordance with a bus protocol such as PCI or ISA generally employed in information processing devices and the like, and allows data to flow to the bus 10 and data to flow through the bus 10. get.

【0045】圧縮画像入出力部65は、動画圧縮部52
からあらかじめ決められたプロトコルにしたがって入力
されるデータをDMA転送制御部61に出力する。
The compressed image input / output unit 65 includes the moving image compression unit 52
And outputs data input according to a predetermined protocol to the DMA transfer control unit 61.

【0046】ビデオ信号入出力部64は、ビデオデコー
ダ53から入力されるデジタル化された動画像をフレー
ムメモリ51に格納する。ビデオデコーダ53がNTS
Cデコーダの場合、動画像すなわちインターレース信号
における奇数フィールドデータと偶数フィールドデータ
とは時系列的に入力され、さらに、ビデオデコーダ53
からは、現在入力されているデータが奇数フィールドデ
ータか偶数フィールドデータかを示す信号も送られてく
るので、該信号にしたがって、各々のフィールドデータ
をフレームメモリ51内のあらかじめ決められた領域に
別々に格納する。また、フレームメモリ51に1画面分
のデータ(奇数フィールドデータと偶数フィールドデー
タとを合わせたデータ)しか格納できない場合は、以前
格納した各々のフィールドデータに上書きして格納す
る。
The video signal input / output section 64 stores the digitized moving image input from the video decoder 53 in the frame memory 51. Video decoder 53 is NTS
In the case of the C decoder, odd field data and even field data in a moving image, that is, an interlaced signal are input in a time-series manner.
Also sends a signal indicating whether the currently input data is odd field data or even field data. Therefore, each field data is separately stored in a predetermined area in the frame memory 51 in accordance with the signal. To be stored. If only one screen worth of data (data obtained by combining odd field data and even field data) can be stored in the frame memory 51, each of the previously stored field data is overwritten and stored.

【0047】スケーリング部63は、フレームメモリ5
1から1画面分の奇数フィールドデータと1画面分の偶
数フィールドデータを順次取り出し、あらかじめ決めら
れた大きさにスケーリングして色変換部62に出力す
る。
The scaling section 63 includes a frame memory 5
The odd field data for one screen and the even field data for one screen are sequentially extracted, scaled to a predetermined size, and output to the color conversion unit 62.

【0048】色変換部62は、スケーリング部63から
入力されるデータをあらかじめ決められた色フォーマッ
トに変換してDMA転送制御部61に出力する。通常、
NTSC信号の画像データにおける色フォーマットはY
UV形式であり、フレームメモリ51にはYUV形式の
データが格納される。しかしながら、主記憶2や表示装
置5に転送されるべきデータの色フォーマットはRGB
形式であることが多い。したがって、色変換部62は、
少なくともYUV形式からRGB形式に変換する機能を
有する。
The color conversion section 62 converts the data input from the scaling section 63 into a predetermined color format and outputs it to the DMA transfer control section 61. Normal,
The color format in the image data of the NTSC signal is Y
In the UV format, the frame memory 51 stores data in the YUV format. However, the color format of the data to be transferred to the main memory 2 or the display device 5 is RGB.
Often in the form. Therefore, the color conversion unit 62
At least a function of converting from the YUV format to the RGB format.

【0049】DMA転送制御部61は、色変換部62か
ら入力されるデータと圧縮画像入出力部65から入力さ
れる圧縮された動画像とを、バス入出力部60とバス1
0とを介して、主記憶2あるいは補助記憶装置3あるい
は表示装置5にDMA転送する。また、ビデオデコーダ
53と動画圧縮部52とは非同期に動作するため、色変
換部62と圧縮画像入出力部65とから同時にデータが
入力されることがある。この場合、圧縮画像入出力部6
5からの圧縮された動画像を優先的にDMA転送する。
圧縮された動画像は一部でもデータが欠落するとデータ
全体が意味をなさなくなるためである。
The DMA transfer control unit 61 transmits the data input from the color conversion unit 62 and the compressed moving image input from the compressed image input / output unit 65 to the bus input / output unit 60 and the bus 1.
0, the data is DMA-transferred to the main memory 2, the auxiliary storage device 3, or the display device 5. In addition, since the video decoder 53 and the moving image compression unit 52 operate asynchronously, data may be simultaneously input from the color conversion unit 62 and the compressed image input / output unit 65. In this case, the compressed image input / output unit 6
5 is preferentially DMA-transferred from the compressed moving image.
This is because if any part of the compressed moving image loses data, the entire data becomes meaningless.

【0050】図17に動画入力インターフェース部50
が有するレジスタ構成の一例を示す。
FIG. 17 shows a moving image input interface section 50.
1 shows an example of a register configuration included in the present embodiment.

【0051】レジスタは、少なくとも、入力解像度30
1と、出力解像度302と、色フォーマット303と、
転送先アドレス304とから構成される。
The register has at least an input resolution of 30.
1, an output resolution 302, a color format 303,
And a transfer destination address 304.

【0052】入力解像度301は、ビデオデコーダ53
から入力されるデータの解像度を指定する。出力解像度
302は、バス10上に出力されるデータの解像度を指
定する。色フォーマット303は、バス10上に出力さ
れるデータの色フォーマットを指定する。転送先アドレ
ス304は、バス10上に出力されたデータが最終的に
転送される、CPU1がアドレッシング可能なアドレス
を指定する。
The input resolution 301 is determined by the video decoder 53
Specify the resolution of the data input from. The output resolution 302 specifies the resolution of data output on the bus 10. The color format 303 specifies a color format of data output on the bus 10. The transfer destination address 304 designates an address that can be addressed by the CPU 1 to which the data output on the bus 10 is finally transferred.

【0053】また、各々のレジスタは、奇数フィールド
データ310と、偶数フィールドデータ320と、圧縮
動画像330とに個別に用意されている。ただし、圧縮
動画像330に対しては転送先アドレス304のみであ
る。各レジスタにあらかじめ設定された値にしたがっ
て、動画入力インターフェース部50は動作することに
なる。また、各レジスタに値を設定するのは、画像取り
込み装置12を駆動するためのプログラムであり、該プ
ログラムは主記憶2や補助記憶装置3に格納され、CP
U1によって実行される。ユーザは、該プログラムを介
して、所望の設定値を各レジスタに設定することにな
る。
Each register is separately prepared for odd field data 310, even field data 320, and compressed moving picture 330. However, for the compressed moving image 330, only the transfer destination address 304 is provided. The moving image input interface unit 50 operates according to the value preset in each register. The setting of a value in each register is a program for driving the image capturing device 12, and the program is stored in the main memory 2 or the auxiliary storage device 3,
Performed by U1. The user sets a desired set value in each register via the program.

【0054】次に、画像取り込み装置12における各レ
ジスタの設定値と動作について、図18を用いて説明す
る。ここでは、各レジスタの設定値が図17に示す内容
である場合について説明する。
Next, the set values and operations of each register in the image capturing device 12 will be described with reference to FIG. Here, the case where the set value of each register has the contents shown in FIG. 17 will be described.

【0055】図18において、領域1と領域2は主記憶
2上に個別に確保された領域である。領域3は、一般的
な表示装置が有するVRAM(表示用メモリ)上の一部
である。VRAMに格納されているデータがCRTなど
に表示されることになる。領域3は、例えば、動画像を
ウィンドウ内に表示する場合、該ウィンドウの表示領域
に対応するVRAM上の領域である。
In FIG. 18, areas 1 and 2 are areas individually secured in the main memory 2. The region 3 is a part of a VRAM (display memory) included in a general display device. The data stored in the VRAM is displayed on a CRT or the like. The area 3 is, for example, an area on the VRAM corresponding to the display area of the window when a moving image is displayed in the window.

【0056】図17において、奇数フィールドデータ3
10の転送先アドレス304のレジスタの内容は領域2
の先頭アドレスを、偶数フィールドデータ320の転送
先アドレス304のレジスタの内容は領域3の先頭アド
レスを、圧縮動画像330の転送先アドレス304のレ
ジスタの内容は領域1の先頭アドレスをそれぞれ指し示
しているとすると、奇数フィールドデータと圧縮動画像
は主記憶2へ、偶数フィールドデータは表示装置5へ転
送されることになる。
In FIG. 17, odd field data 3
The contents of the register of the transfer destination address 304 of area 10 are in area 2
, The contents of the register of the transfer destination address 304 of the even field data 320 indicate the start address of the area 3, and the contents of the register of the transfer destination address 304 of the compressed moving image 330 indicate the start address of the area 1. Then, the odd field data and the compressed moving image are transferred to the main memory 2, and the even field data is transferred to the display device 5.

【0057】奇数フィールドデータ310についてみる
と、入力解像度301のレジスタの内容が640×24
0であり、出力解像度302のレジスタの内容が160
×120であるので、スケーリング部63は、横方向に
1/4、縦方向に1/2にそれぞれ縮小する。さらに、
色フォーマット303のレジスタの内容がRGB24で
あるので、色変換部62は、YUV形式のデータをR、
G、B成分とも8ビットずつで表現されるRGB形式に
変換する。そして、DMA転送制御部61が、スケーリ
ングされ、色変換された奇数フィールドデータを、転送
先アドレス304のレジスタの内容が指し示す領域2に
転送する。
Looking at the odd field data 310, the contents of the register of the input resolution 301 are 640 × 24.
0, and the content of the register of the output resolution 302 is 160
Since the size is × 120, the scaling unit 63 reduces the size to 1 / in the horizontal direction and 1 / in the vertical direction. further,
Since the content of the register of the color format 303 is RGB24, the color conversion unit 62 converts the data in the YUV format into R,
Both the G and B components are converted into an RGB format represented by 8 bits. Then, the DMA transfer control section 61 transfers the scaled and color-converted odd field data to the area 2 indicated by the contents of the register of the transfer destination address 304.

【0058】偶数フィールドデータ320についてみる
と、入力解像度301のレジスタの内容が640×24
0であり、出力解像度302のレジスタの内容が320
×240であるので、スケーリング部63は、横方向に
1/2に縮小する。縦方向には拡大・縮小せずそのまま
である。さらに、色フォーマット303のレジスタの内
容がRGB8であるので、色変換部62は、YUV形式
のデータをR、G、B各成分合わせて8ビットで表現さ
れるRGB形式に変換する。そして、DMA転送制御部
61が、スケーリングされ、色変換された偶数フィール
ドデータを、転送先アドレス304のレジスタの内容が
指し示す領域3に転送する。
Looking at the even field data 320, the contents of the register of the input resolution 301 are 640 × 24.
0, and the content of the register of the output resolution 302 is 320
Since it is × 240, the scaling unit 63 reduces the size to 横 in the horizontal direction. It is not enlarged or reduced in the vertical direction. Further, since the contents of the register of the color format 303 are RGB8, the color conversion unit 62 converts the data in the YUV format into the RGB format expressed by 8 bits for each of the R, G, and B components. Then, the DMA transfer control unit 61 transfers the scaled and color-converted even field data to the area 3 indicated by the contents of the register of the transfer destination address 304.

【0059】圧縮動画像330についてみると、動画圧
縮部52から送られてくる圧縮された動画像を転送先ア
ドレス304のレジスタの内容が指し示す領域1に転送
する。
Referring to the compressed moving image 330, the compressed moving image transmitted from the moving image compression section 52 is transferred to the area 1 indicated by the contents of the register of the transfer destination address 304.

【0060】以上のように、画像取り込み装置12は、
ビデオカメラやVTRなどから入力される動画像を奇数
フィールドデータと偶数フィールドデータとに分割し、
情報処理装置における異なる装置や領域にそれぞれ転送
可能である。これと同時に、上記入力される動画像を圧
縮したデータをも情報処理装置における異なる装置や領
域に転送可能である。さらに、奇数フィールドデータと
偶数フィールドデータとは、それぞれ異なる大きさ、色
フォーマットに変換しての転送が可能である。また、転
送先アドレス304のレジスタの設定値によっては、奇
数フィールドデータと偶数フィールドデータとを同じ装
置や領域に転送可能であり、この場合、上記入力される
動画像そのままのイメージで記録あるいは表示されるこ
とになる。
As described above, the image capturing device 12
A moving image input from a video camera or VTR is divided into odd field data and even field data,
The data can be transferred to different devices and areas in the information processing device. At the same time, data obtained by compressing the input moving image can be transferred to a different device or area in the information processing device. Furthermore, the odd field data and the even field data can be transferred after being converted into different sizes and color formats, respectively. Further, depending on the set value of the register of the transfer destination address 304, the odd field data and the even field data can be transferred to the same device or area. In this case, the input moving image is recorded or displayed as it is. Will be.

【0061】次に、図2に、第一の実施の形態の画像記
録再生装置における機能ブロック図を示す。
Next, FIG. 2 shows a functional block diagram of the image recording / reproducing apparatus of the first embodiment.

【0062】図2において、101は、第一の実施の形
態の画像記録再生装置における各機能ブロックを制御す
る制御手段、102は、非圧縮画像の解析を行う機能を
有する非圧縮画像解析手段、103は、非圧縮画像と圧
縮画像とを対応づける情報を生成する機能を有する対応
情報生成手段、104は、圧縮動画像を再生表示する機
能を有する圧縮画像再生装置であり、これらの機能ブロ
ックは、主記憶2あるいは補助記憶装置3に格納されて
いるプログラムを、CPU1が実行することによって実
現される。
In FIG. 2, reference numeral 101 denotes control means for controlling each functional block in the image recording / reproducing apparatus of the first embodiment, 102 denotes non-compressed image analyzing means having a function of analyzing non-compressed images, Reference numeral 103 denotes a correspondence information generation unit having a function of generating information for associating an uncompressed image with a compressed image. Reference numeral 104 denotes a compressed image reproduction apparatus having a function of reproducing and displaying a compressed moving image. This is realized by the CPU 1 executing a program stored in the main memory 2 or the auxiliary storage device 3.

【0063】次に、本発明の画像記憶再生装置の動作に
ついて図面を参照して説明する。
Next, the operation of the image storage / playback apparatus of the present invention will be described with reference to the drawings.

【0064】以下、高圧縮率かつ高画質での再生が可能
な圧縮技術としてMPEG、デジタル化された動画像か
ら抽出する情報としてシーンの変化を例として説明する
が、これらに制限されるものではない。
Hereinafter, MPEG will be described as an example of a compression technique capable of reproducing at a high compression rate and high image quality, and scene changes will be described as information extracted from a digitized moving image. Absent.

【0065】図3は、制御手段101の処理内容を示す
フローチャートである。本処理を実現するプログラム
は、主記憶2や補助記憶装置3に格納されており、何ら
かの事象、例えば、入力装置4を使用して入力されるユ
ーザからの指示等を契機に、CPU1によってプログラ
ムが実行される。
FIG. 3 is a flowchart showing the processing contents of the control means 101. A program for realizing the present process is stored in the main memory 2 or the auxiliary storage device 3, and is triggered by a certain event, for example, an instruction from a user input using the input device 4 by the CPU 1, and the like. Be executed.

【0066】図3に示すように、制御手段101は、ま
ず、動画像の取り込みを開始する(ステップ121)。
具体的には、画像取り込み装置12を駆動するためのプ
ログラムを実行し、ユーザが入力装置4などを介して入
力した値をレジスタに設定したり、主記憶2上にワーク
エリアを確保するなどの、動画像を取得するための準備
を行う。また、説明する例として、レジスタの設定値は
図17に示す通りとし、したがって、図18に示すよう
に各データが転送されることになる。つまり、上記主記
憶2上のワークエリアには領域1及び領域2が含まれ
る。
As shown in FIG. 3, the control means 101 first starts capturing a moving image (step 121).
Specifically, a program for driving the image capturing device 12 is executed, a value set by a user via the input device 4 or the like is set in a register, or a work area is secured in the main memory 2. And preparing for acquiring a moving image. Also, as an example to be described, the set values of the registers are as shown in FIG. 17, and accordingly, each data is transferred as shown in FIG. That is, the work area on the main memory 2 includes the area 1 and the area 2.

【0067】次に、制御手段101は、画像入力装置6
から入力され、画像取り込み装置12においてデジタル
化された非圧縮画像を取得し、上記領域2に格納する
(ステップ122)。このとき、上記領域2に格納され
るデータは奇数フィールドデータであり、画像取り込み
装置12によって自動的にDMA転送されている。さら
に、奇数フィールドデータが転送されるのと同時に、画
像入力装置6から入力され、画像取り込み装置12によ
ってMPEG圧縮された動画像が領域1に、偶数フィー
ルドデータが領域3にそれぞれ転送されている。
Next, the control means 101 controls the image input device 6
, And digitized by the image capturing device 12 to obtain a non-compressed image and store it in the area 2 (step 122). At this time, the data stored in the area 2 is odd field data, and is automatically DMA-transferred by the image capturing device 12. Further, at the same time as the transfer of the odd-numbered field data, the moving image input from the image input device 6 and subjected to the MPEG compression by the image capturing device 12 is transferred to the area 1 and the even-numbered field data is transferred to the area 3.

【0068】続いて、非圧縮画像解析手段102を起動
してシーンが変化したかどうかを検出する(ステップ1
23)。そして、動画像の取り込みが継続しているなら
ば、ステップ122とステップ123を繰り返し実行す
る(ステップ124)。非圧縮画像解析手段102の処
理内容の詳細は後述する。
Subsequently, the non-compressed image analysis means 102 is activated to detect whether or not the scene has changed (step 1).
23). If the capturing of the moving image is continued, steps 122 and 123 are repeatedly executed (step 124). Details of the processing content of the uncompressed image analysis means 102 will be described later.

【0069】ステップ124において、例えば、ユーザ
からの指示等で動画像の取り込みが終了しているなら
ば、画像入力装置6から入力され、画像取り込み装置1
2においてデジタル化されMPEG圧縮された動画像
(主記憶2上の領域1に格納されている)を補助記憶装
置3に格納する(ステップ125)。このとき、画像取
り込み装置12において行われる圧縮は、ステップ12
2からステップ124までの処理、即ち非圧縮画像の解
析処理を実行されている間に、非圧縮画像の圧縮を同時
に行われているため、制御手段101全体の処理速度は
低下することがない。さらに、ステップ122において
取り込まれた非圧縮動画像を圧縮するのではなく、画像
入力装置6から入力された動画像を圧縮(この圧縮処理
は非圧縮画像の解析処理中に行われる)しているため、
非圧縮画像を入力し、その後圧縮する上述した従来技術
とは異なる。
In step 124, if the capturing of the moving image has been completed, for example, by an instruction from the user, the moving image is input from the image input device 6 and the image capturing device 1
The moving image digitized in step 2 and MPEG-compressed (stored in the area 1 on the main memory 2) is stored in the auxiliary storage device 3 (step 125). At this time, the compression performed in the image capturing device 12 is performed in step 12.
Since the compression of the non-compressed image is performed simultaneously while the processing from step 2 to step 124, that is, the analysis of the non-compressed image, is performed, the processing speed of the entire control unit 101 does not decrease. Further, instead of compressing the uncompressed moving image captured in step 122, the moving image input from the image input device 6 is compressed (this compression processing is performed during the analysis processing of the uncompressed image). For,
This is different from the above-described related art in which an uncompressed image is input and then compressed.

【0070】そして、制御手段101は、対応情報生成
手段103を起動して、シーンが変化した時刻での非圧
縮画像と、圧縮動画像における該時刻の画像とを対応づ
ける情報を生成する(ステップ126)。対応情報生成
手段103の処理内容の詳細は後述する。
Then, the control means 101 activates the correspondence information generation means 103 to generate information for associating the uncompressed image at the time when the scene has changed with the image at the time in the compressed moving image (step). 126). Details of the processing content of the correspondence information generating means 103 will be described later.

【0071】最後に、圧縮画像再生装置104を起動し
て、例えば、ユーザが指示する時刻からの上記圧縮動画
像の再生表示を行い(ステップ127)、制御手段10
1の処理が継続しているならば、ステップ121に戻り
処理を繰り返す(ステップ128)。ステップ128に
おいて、例えば、ユーザからの終了指示等がある場合
は、制御手段101の処理を終了する。圧縮画像再生装
置104の処理内容の詳細は後述する。
Finally, the compressed image reproducing apparatus 104 is started, and the compressed moving image is reproduced and displayed from the time pointed by the user, for example (step 127).
If the process of No. 1 is continued, the process returns to Step 121 and repeats the process (Step 128). In step 128, for example, when there is a termination instruction or the like from the user, the processing of the control unit 101 is terminated. Details of the processing contents of the compressed image reproducing device 104 will be described later.

【0072】図4は、非圧縮画像解析手段102の処理
内容を示すフローチャートである。本処理を実現するプ
ログラムは、主記憶2や補助記憶装置3に格納されてお
り、CPU1によってプログラムが実行される。 図4
に示すように、非圧縮画像解析手段102は、制御手段
101におけるステップ122において上記領域2に格
納された非圧縮画像の内容と、ステップ122からステ
ップ124までの繰り返し処理において、現在の処理以
前に上記領域2に格納された非圧縮画像の内容とを比較
する(ステップ131)。このとき、上述した従来技術
と同様に、2つの非画像を画素単位で比較してその差分
を計算し、全画素での差分の総和を求めることで比較が
行われる。そして、シーンが変化したかを判定する(ス
テップ132)。このとき、上記差分の総和が予め決め
られたしきい値より大きいとシーンが変化したと判定で
きる。
FIG. 4 is a flowchart showing the processing contents of the uncompressed image analysis means 102. A program for realizing this processing is stored in the main storage 2 or the auxiliary storage device 3, and the program is executed by the CPU 1. FIG.
As shown in (2), the non-compressed image analysis unit 102 determines whether the content of the uncompressed image stored in the area 2 in step 122 of the control unit 101 and the repetition processing from step 122 to step 124 before the current processing. The contents of the uncompressed image stored in the area 2 are compared (step 131). At this time, the comparison is performed by comparing the two non-images on a pixel-by-pixel basis, calculating the difference between the two non-images, and calculating the sum of the differences for all the pixels, as in the above-described related art. Then, it is determined whether the scene has changed (step 132). At this time, if the sum of the differences is larger than a predetermined threshold, it can be determined that the scene has changed.

【0073】ステップ132において、シーンが変化し
たと判定された場合には、シーンが変化した非圧縮画像
の、動画像取り込み開始時点からの時刻を取得し(ステ
ップ133)、該時刻を上記ワークエリアに格納して
(ステップ134)、処理を終了する。このとき、動画
像取り込み開始時点からの時刻は以下のように取得でき
る。すなわち、上述した画像取り込み装置12を駆動す
るためのプログラムが、動画像取り込み開始時点から取
り込んだ画像の数(時間的な問題で取り込めなかった画
像の数も含む)を返す機能があれば、それを取得する。
そして、画像入力装置6から入力される動画像がNTS
Cフォーマットであれば、そのフレームレートは29.
97フレーム/秒であるので、上記画像の数を30で割
った商が該時刻となる。また、上述した画像取り込み装
置12を駆動するためのプログラムが、動画像取り込み
開始時点から取り込んだ画像の数を返す機能がない場合
は、動画像取り込み開始時点から1/29.97秒(動
画像がNTSCフォーマットの場合)間隔のタイマーを
起動して、取り込んだ画像の数をカウントしておけばよ
い。
If it is determined in step 132 that the scene has changed, the time of the uncompressed image in which the scene has changed is obtained from the start of moving image capture (step 133), and the time is stored in the work area. (Step 134), and the process ends. At this time, the time from the start of capturing the moving image can be obtained as follows. That is, if the program for driving the above-described image capturing device 12 has a function of returning the number of images captured from the start of moving image capturing (including the number of images that could not be captured due to time problems), To get.
The moving image input from the image input device 6 is NTS
If the format is C, the frame rate is 29.
Since the number of images is 97 frames / sec, the quotient obtained by dividing the number of images by 30 is the time. If the above-described program for driving the image capturing device 12 does not have a function of returning the number of images captured from the start of moving image capturing, 1 / 29.97 seconds (moving image (In the case of the NTSC format), an interval timer may be started to count the number of captured images.

【0074】ステップ132において、シーンが変化し
たと判定されなければ、現在の処理以前に上記領域2に
格納された非圧縮画像を上記領域2から削除して(ステ
ップ135)、処理を終了する。また、シーンが変化す
るということの具体例は後述する。
If it is not determined in step 132 that the scene has changed, the uncompressed image stored in the area 2 before the current processing is deleted from the area 2 (step 135), and the processing ends. A specific example in which the scene changes will be described later.

【0075】図5は、対応情報生成手段103の処理内
容を示すフローチャートである。本処理を実現するプロ
グラムは、主記憶2や補助記憶装置3に格納されてお
り、CPUIによってプログラムが実行される。
FIG. 5 is a flowchart showing the processing contents of the correspondence information generating means 103. A program for realizing this processing is stored in the main storage 2 or the auxiliary storage device 3, and the program is executed by the CPUI.

【0076】図5に示すように、対応情報生成手段10
3は、まず、一連の動画像の取り込みでシーンの変化が
存在したかどうかを判定し(ステップ141)、存在し
なければ処理を終了する。シーンの変化が存在したかど
うかは、非圧縮画像解析手段102の処理の中でカウン
タを設けて、非圧縮画像解析手段102におけるステッ
プ132においてシーンが変化したと判定された場合に
該カウンタをインクリメントすれば、カウンタが1以上
であるかどうかを調べることで、シーンの変化が存在す
るかどうかを判定できる。
As shown in FIG. 5, the correspondence information generating means 10
In step 3, it is first determined whether or not a change in the scene has occurred during the capture of a series of moving images (step 141). If not, the process ends. The presence or absence of a scene change is determined by providing a counter in the processing of the uncompressed image analysis means 102 and incrementing the counter when it is determined in step 132 by the uncompressed image analysis means 102 that the scene has changed. Then, by checking whether or not the counter is 1 or more, it can be determined whether or not a scene change exists.

【0077】ステップ141において、シーンの変化が
存在すると判定された場合には、非圧縮画像解析手段1
02におけるステップ134において格納された時刻を
1つだけ上記ワークエリアから取得し(ステップ14
2)、ステップ125において補助記憶装置3に格納さ
れたMPEG圧縮動画像中の該時刻と同時刻の画像(位
置)を算出する(ステップ143)。このときの算出方
法を図6を用いて説明する。
If it is determined in step 141 that a scene change exists, the non-compressed image analyzing means 1
02, only one time stored in step 134 is obtained from the work area (step 14).
2) In step 125, an image (position) at the same time as the time in the MPEG compressed moving image stored in the auxiliary storage device 3 is calculated (step 143). The calculation method at this time will be described with reference to FIG.

【0078】図6(a)は、例として、制御手段101
におけるステップ122において取り込まれる非圧縮動
画像の一部を時系列に並べたものであり、紙面の左から
右に向かって時間が進行していくと仮定する。つまり、
非圧縮画像A1からA9の中で、A1が時間的に一番早
く取り込まれた画像である。また、A1からA4までは
物体aが移動している情報を示しており、同じシーンで
あるといえる。しかしながら、A4からA5は該物体a
が画像内から消え、新たに物体bがA5の画像内に現れ
る。これは、シーンの変化といえる。同様に、A6とA
7との間でシーンが変化する。つまり、非圧縮画像解析
手段102におけるステップ132においては、A5及
びA7の解析を行っているときにシーンが変化したと判
定することになる。
FIG. 6A shows the control means 101 as an example.
It is assumed that a part of the uncompressed moving image captured in step 122 is arranged in chronological order, and that time progresses from left to right on the page. That is,
Among the uncompressed images A1 to A9, A1 is the image that has been captured earliest in time. Also, A1 to A4 indicate information that the object a is moving, and can be said to be the same scene. However, A4 to A5 are the objects a
Disappears from the image, and the object b newly appears in the image of A5. This can be said to be a change in the scene. Similarly, A6 and A
7 changes the scene. That is, in step 132 in the non-compressed image analysis means 102, it is determined that the scene has changed during the analysis of A5 and A7.

【0079】図6(b)は、制御手段101におけるス
テップ125において取り込まれるMPEG圧縮動画像
の一部を時系列(原画面順)に並べたものであり、紙面
の左から右に向かって時間が進行していくと仮定する。
つまり、圧縮画像B1からP2の中で、B1が時間的に
一番早く取り込まれ、MPEG符号化された画像であ
る。さらに、A1とB1、A2とB2、A3と11、A
4とB3、A5とB4、A6とP1、A7とB5、A8
とB6、A9とP2とは、時間的に一致する画像であ
る。非圧縮画像と圧縮画像は、画像入力装置6から入力
された同一の画像をもとにしているので、例えば、A1
の内容と、B1を復号化したときの画像の内容とは一致
する。ここで、I、P、BはMPEGにおけるIピクチ
ャ、Pピクチャ、Bピクチャをそれぞれ表現するもので
ある。実際の符号化方式の詳細は、「ポイント図解式最
新MPEG教科書」、P89〜P165、マルチメディ
ア通信研究会編、アスキー出版局に記載されている。
FIG. 6B shows a part of the MPEG compressed moving image taken in step 125 in the control means 101 arranged in chronological order (original screen order). Is going to progress.
That is, among the compressed images B1 to P2, B1 is the image that is fetched earliest in time and is MPEG-encoded. Further, A1 and B1, A2 and B2, A3 and 11, A
4 and B3, A5 and B4, A6 and P1, A7 and B5, A8
And B6, A9 and P2 are images that match temporally. Since the uncompressed image and the compressed image are based on the same image input from the image input device 6, for example, A1
And the content of the image when B1 is decoded matches. Here, I, P, and B represent I picture, P picture, and B picture in MPEG, respectively. The details of the actual encoding method are described in "Point Illustrated Latest MPEG Textbook", P89-P165, edited by Multimedia Communications Research Group, ASCII Publishing Bureau.

【0080】図6(c)は、制御手段101におけるス
テップ125において取り込まれるMPEG圧縮動画像
の一部を、実際に補助記憶装置3に格納されている順番
(ビットストリーム順)に並べたものである。図6
(b)と図6(c)の同一記号は同一内容を示す。従
い、例えば図6(b)の先頭のB1と図6(c)の2番
目のB1とは同一内容のデータである。また、11をG
OPの先頭と仮定する。
FIG. 6C shows a part of the MPEG compressed moving image taken in step 125 in the control means 101 arranged in the order (bit stream order) actually stored in the auxiliary storage device 3. is there. FIG.
The same symbols in FIG. 6B and FIG. 6C indicate the same contents. Accordingly, for example, the first B1 in FIG. 6B and the second B1 in FIG. 6C have the same data. 11 is G
Assume the beginning of the OP.

【0081】さて、ステップ142において取得した時
刻が非圧縮画像A5が取り込まれた時刻(これをT1と
する)であったとすると、MPEG圧縮動画像中のT1
と同時刻の画像はB4であるので、ステップ143で
は、B4の位置を算出することになる。以下に、算出方
法を示す。
Now, assuming that the time obtained in step 142 is the time when the non-compressed image A5 is taken (this is referred to as T1), the T1 in the MPEG compressed moving image
Since the image at the same time is B4, the position of B4 is calculated in step 143. The calculation method is described below.

【0082】MPEGビットストリーム中には各GOP
の先頭にヘッダ情報が格納されており、該ヘッダ情報に
は、各GOPの先頭の画像の、ビットストリームの先頭
からの時刻(これをTCとする)が含まれる。従って、
各GOPのTCを調べることによって、T1が含まれる
GOP(これをG1とする)を特定することができる。
つまり、図6(c)におけるMPEGビットストリーム
(G1)中のB1の時刻がTCとなる。また、該ヘッダ
情報には、動画像のフレームレート(これをPRとす
る)が含まれる。さらに、各画像にもヘッダ情報が格納
されており、該ヘッダ情報には、各画像が含まれるGO
P(Group Of Picture :MPEGビットストリームをランダ
ムアクセスするための構造)の先頭からのフレーム番号
(これをTRとする)が含まれる。従って、PR(PICTU
RE RATE :シーケンス層の画像の表示周期を表す)とT
R(TEMPORAL REFERENCE:ピクチャ層のピクチャ一貫のN
oでGOPの頭でリセットされる1024の余り)を乗じた
結果がG1の先頭からの時刻(これをT2とする)とな
る。そして、TC+T2=T1となる画像(B4)を探
すことで算出できるのである。以上はビデオデータに関
して述べたものであるが、音声に関しても同様に算出す
ることができる。
Each GOP is included in the MPEG bit stream.
At the beginning of the GOP, the header information includes the time (referred to as TC) from the beginning of the bit stream of the leading image of each GOP. Therefore,
By examining the TC of each GOP, the GOP including T1 (this is referred to as G1) can be specified.
That is, the time of B1 in the MPEG bit stream (G1) in FIG. 6C is TC. Also, the header information includes a frame rate of a moving image (this is referred to as PR). Further, header information is also stored in each image, and the header information includes a GO that includes each image.
P (Group Of Picture: structure for random access to an MPEG bit stream) includes a frame number from the head (this is TR). Therefore, PR (PICTU
RE RATE: Represents the display cycle of the image of the sequence layer) and T
R (TEMPORAL REFERENCE: N of pictures consistent in the picture layer)
The result of multiplying by 1024 (the remainder of 1024 reset at the beginning of the GOP) is the time from the beginning of G1 (this is T2). Then, it can be calculated by searching for an image (B4) where TC + T2 = T1. Although the above description has been made with respect to video data, the same can be calculated for audio.

【0083】また、後述する圧縮画像再生装置104の
能力によっては、GOPの途中あるいはBピクチャから
の再生が不可能なものもあり、そのため、B4の代わり
に、GOPの先頭のB1あるいは11、あるいはB4の
近傍であるP1等とすることも考えられる。
Further, depending on the capability of the compressed image reproducing apparatus 104 described later, reproduction in the middle of a GOP or from a B picture is not possible. Therefore, instead of B4, B1 or 11 at the head of the GOP, or It is also conceivable to use P1 or the like near B4.

【0084】さて、図5の説明に戻り、続いて対応情報
生成手段103は、ステップ143において算出した様
々な情報から、図7に示す対応テーブル200を作成す
る(ステップ144)。すでに対応テーブル200が作
成されていたならば、対応テーブル200にエントリを
追加する。
Returning to the description of FIG. 5, subsequently, the correspondence information generating means 103 creates the correspondence table 200 shown in FIG. 7 from the various information calculated in step 143 (step 144). If the correspondence table 200 has already been created, an entry is added to the correspondence table 200.

【0085】図7に、対応テーブル200の内容を示
す。対応テーブル200は、非圧縮画像と圧縮画像とを
関連付けるものであり、主記憶2や補助記憶装置3に格
納される。さらに、各GOPの先頭に格納されているヘ
ッダ情報には、ユーザデータ領域として、自由な情報を
格納するための領域があり、対応テーブル200を該領
域に格納することも考えられる。
FIG. 7 shows the contents of the correspondence table 200. The correspondence table 200 associates an uncompressed image with a compressed image, and is stored in the main storage 2 or the auxiliary storage device 3. Further, the header information stored at the head of each GOP has an area for storing free information as a user data area, and the correspondence table 200 may be stored in the area.

【0086】対応テーブル200は、ID210、非圧
縮画像へのポインタ220、圧縮ファイル名230、タ
イムコード240、インデックス250の各項目を有
し、例えば、シーンが変化した直後あるいは近辺の画像
に対して、上記項目に対応したデータセットの集まりに
よって構成される。また、対応テーブル200を上記ユ
ーザデータ領域に格納する場合は、対応テーブル200
は、少なくとも、非圧縮画像へのポインタ220及びイ
ンデックス250で構成されればよい。
The correspondence table 200 has items of an ID 210, a pointer 220 to an uncompressed image, a compressed file name 230, a time code 240, and an index 250. For example, for an image immediately after or near a scene change, , And a set of data sets corresponding to the above items. When the correspondence table 200 is stored in the user data area, the correspondence table 200
May be composed of at least a pointer 220 to an uncompressed image and an index 250.

【0087】ID210には、シーン変化1つ1つに与
えられる識別子が設定され、識別子は、本画像記録再生
装置内で、固有に与えられる数字データである。非圧縮
画像へのポインタ220には、主記憶2に格納されてい
る非圧縮画像(制御手段101におけるステップ122
において格納されたもの)を指示するポインタが設定さ
れる。また、非圧縮画像へのポインタ220の内容は、
ユーザが入力するコメント等、シーンの変化が特定でき
るものであれば何でもよい。圧縮ファイル名230に
は、制御手段101におけるステップ125において、
補助記憶装置3に格納された圧縮動画像のファイル名が
設定される。タイムコード240には、シーンが変化し
た画像を含むGOPのヘッダ情報に存在する、該GOP
の先頭の画像のビットストリームの先頭からの時刻が設
定される。これは、上述したTCに相当する。インデッ
クス250には、上記シーンが変化した画像の、該GO
P内でのインデックス(フレーム番号)が設定される
(インデックスは0から始まる)。
In the ID 210, an identifier assigned to each scene change is set, and the identifier is numerical data uniquely assigned in the present image recording / reproducing apparatus. The non-compressed image pointer 220 stores the non-compressed image stored in the main memory 2 (step 122 in the control unit 101).
Is set. The content of the pointer 220 to the uncompressed image is
Anything can be used as long as a change in the scene can be specified, such as a comment input by the user. In step 125 of the control means 101, the compressed file name 230
The file name of the compressed moving image stored in the auxiliary storage device 3 is set. The time code 240 includes the GOP included in the header information of the GOP including the image in which the scene has changed.
The time from the head of the bit stream of the head image of is set. This corresponds to the TC described above. The index 250 includes the GO of the image in which the scene has changed.
An index (frame number) in P is set (the index starts from 0).

【0088】例えば、図6で示した例においては、図8
に示すような対応テーブル200’が構成される。図6
(a)における、シーンが変化した直後の画像A5とA
7それぞれのデータセットが301と302である。デ
ータセット301において、非圧縮画像へのポインタ2
20の設定値は、主記憶2に格納されている非圧縮画像
A5の主記憶2上のアドレス、データセット302にお
いて、非圧縮画像へのポインタ220の設定値は、主記
憶2に格納されている非圧縮画像A7の主記憶2上のア
ドレスである。
For example, in the example shown in FIG.
The correspondence table 200 ′ shown in FIG. FIG.
Images (A5) and (A) in FIG.
7 are data sets 301 and 302, respectively. In data set 301, pointer 2 to the uncompressed image
The set value of 20 is the address of the uncompressed image A5 stored in the main memory 2 on the main memory 2, and the set value of the pointer 220 to the uncompressed image in the data set 302 is stored in the main memory 2. This is the address on the main memory 2 of the uncompressed image A7.

【0089】さて、図5の説明に戻り、最後に対応情報
生成手段103は、他にシーンの変化が存在する場合に
は、ステップ142に戻り処理を繰り返す(ステップ1
45)。他にシーンの変化が存在しない場合には、処理
を終了する。他にシーンの変化が存在するかどうかは、
上述したカウンタを調べればよい。
Returning to the description of FIG. 5, finally, if there is another scene change, the correspondence information generation means 103 returns to step 142 and repeats the processing (step 1).
45). If there is no other scene change, the process ends. Whether there are other scene changes,
What is necessary is just to check the above-mentioned counter.

【0090】図9は、圧縮画像再生装置104の処理内
容を示すフローチャートである。本処理を実現するプロ
グラムは、主記憶2や補助記憶装置3に格納されてお
り、CPU1によってプログラムが実行される。
FIG. 9 is a flowchart showing the processing contents of the compressed image reproducing apparatus 104. A program for realizing this processing is stored in the main storage 2 or the auxiliary storage device 3, and the program is executed by the CPU 1.

【0091】図9に示すように、圧縮画像再生装置10
4は、まず、対応情報生成手段103において生成した
対応テーブル200の内容に従って、各種情報を表示装
置5に一覧表示する(ステップ151)。このとき、対
応テーブル200におけるID210の内容及び非圧縮
画像へのポインタ220が指示する非圧縮画像を表示す
る。また、対応テーブル200における圧縮ファイル名
230も一緒に表示してもよい。例えば、ステップ15
1において、表示装置5に表示される例を図19に示
す。
[0091] As shown in FIG.
4 first displays various information on the display device 5 in a list according to the contents of the correspondence table 200 generated by the correspondence information generating means 103 (step 151). At this time, the content of the ID 210 in the correspondence table 200 and the uncompressed image indicated by the pointer 220 to the uncompressed image are displayed. Also, the compressed file name 230 in the correspondence table 200 may be displayed together. For example, step 15
In FIG. 19, an example displayed on the display device 5 is shown in FIG.

【0092】図19において、400は表示装置5が有
する表示画面、410は対応テーブル200の内容を表
示するウィンドウ、410a〜410iは、対応テーブ
ル200における非圧縮画像へのポインタ220が指し
示す主記憶2に格納されている非圧縮画像である。この
場合、対応テーブル200には、少なくとも9エントリ
存在する。
In FIG. 19, reference numeral 400 denotes a display screen of the display device 5, 410 denotes a window for displaying the contents of the correspondence table 200, and 410a to 410i denote main memories 2 indicated by a pointer 220 to an uncompressed image in the correspondence table 200. Is an uncompressed image stored in the. In this case, the correspondence table 200 has at least nine entries.

【0093】図9に戻り、圧縮画像再生装置104は、
ユーザからの指示を待ち(ステップ152)、ユーザか
らの指示があるまで待機する(ステップ153)。この
とき、ユーザからの指示(ステップ151において、一
覧表示した非圧縮画像(410a〜410i)の中から
1つの非圧縮画像を選択する指示)があると、該指示さ
れた非圧縮画像に対応する、圧縮動画像中の位置(再生
位置)を特定できる(ステップ154)。この処理は、
次のように行うことができる。
Returning to FIG. 9, the compressed image reproducing device 104
It waits for an instruction from the user (step 152), and waits for an instruction from the user (step 153). At this time, if there is an instruction from the user (in step 151, an instruction to select one uncompressed image from the uncompressed images (410a to 410i) displayed in a list), the instruction corresponds to the designated uncompressed image. The position (reproduction position) in the compressed moving image can be specified (step 154). This process
It can be performed as follows.

【0094】まず、該指示された非圧縮画像のID(対
応テーブル200におけるID210の内容)をキーと
して、対応テーブル200を検索する。その結果、該I
Dを持つデータセットを見つけることができる。そし
て、該データセットから、圧縮ファイル名230の内容
と、タイムコード240の内容と、インデックス250
の内容とを引き出すことによって、再生位置を特定でき
る。
First, the correspondence table 200 is searched using the designated ID of the uncompressed image (the content of the ID 210 in the correspondence table 200) as a key. As a result, the I
A data set with D can be found. Then, from the data set, the contents of the compressed file name 230, the contents of the time code 240, and the index 250
The playback position can be identified by extracting the contents of

【0095】次に、圧縮画像再生装置104は、上記圧
縮ファイル名230の内容である圧縮動画像を、上記再
生位置から再生して、表示装置5に表示する(ステップ
155)。再生位置が確定した後の圧縮動画像の再生、
及び表示装置5への表示方法は、すでに公知であるの
で、詳細な説明は省略する。例えば、ステップ155に
おいて、表示装置5に表示される例を図20に示す。
Next, the compressed image reproducing device 104 reproduces the compressed moving image as the content of the compressed file name 230 from the reproduction position and displays it on the display device 5 (step 155). Playback of the compressed video after the playback position is determined,
Since the display method on the display device 5 is already known, the detailed description is omitted. For example, FIG. 20 shows an example in which the information is displayed on the display device 5 in step 155.

【0096】図20において、420は、上記圧縮ファ
イル名230の内容である圧縮動画像を、上記再生位置
から再生、表示するウィンドウである。
In FIG. 20, reference numeral 420 denotes a window for reproducing and displaying a compressed moving image as the content of the compressed file name 230 from the reproduction position.

【0097】最後に、圧縮画像再生装置104の処理が
継続しているならば、ステップ151に戻り処理を繰り
返す(ステップ156)。ステップ156において、例
えば、ユーザからの終了指示等がある場合は、圧縮画像
再生装置104の処理を終了する。
Finally, if the processing of the compressed image reproducing device 104 is continued, the process returns to step 151 and repeats the process (step 156). In step 156, for example, when there is a termination instruction or the like from the user, the processing of the compressed image reproducing device 104 is terminated.

【0098】以上、本発明によれば、圧縮動画像の記録
を行いながらシーンの変化などを検出でき、該圧縮動画
像中のシーンの変化点と関連付けられるため、動画像の
記録、再生が容易に行える画像記録再生装置を提供する
ことができる。
As described above, according to the present invention, a scene change or the like can be detected while recording a compressed moving image, and it can be associated with a scene change point in the compressed moving image. It is possible to provide an image recording / reproducing apparatus which can be performed in a short time.

【0099】また、本発明によれば、非圧縮動画像と圧
縮動画像とを同時に情報処理装置に取り込む(記録)こ
とができ、さらに、非圧縮動画像を用いて解析した結
果、非圧縮動画像中の任意の画像に対応する、圧縮動画
像中の任意の画像を特定でき、さらに、これら2つの画
像を関連付けることによって、ユーザなどによって指示
された位置からの、圧縮動画像の頭出し再生が容易に行
える、画像記録再生装置を提供することができる。
Further, according to the present invention, an uncompressed moving image and a compressed moving image can be simultaneously captured (recorded) in the information processing apparatus. An arbitrary image in the compressed moving image corresponding to an arbitrary image in the image can be specified, and by correlating these two images, cue reproduction of the compressed moving image from a position designated by a user or the like And an image recording / reproducing apparatus capable of easily performing the above.

【0100】また、本発明によれば、非圧縮動画像と圧
縮動画像とを同時に情報処理装置に取り込む場合、圧縮
画像を優先的に取り込む画像記録再生装置を提供するこ
とができる。
Further, according to the present invention, it is possible to provide an image recording / reproducing apparatus which takes in a compressed image preferentially when an uncompressed moving image and a compressed moving image are simultaneously taken into an information processing apparatus.

【0101】また、本発明によれば、記録中のあるいは
記録した非圧縮動画像から、圧縮動画像との関連情報を
作成し、上記関連情報をもとに圧縮動画像を再生する、
動画アルバムのような画像記録再生システムを提供する
ことができる。
According to the present invention, information related to a compressed moving image is created from a recorded or recorded uncompressed moving image, and the compressed moving image is reproduced based on the related information.
An image recording / reproducing system such as a moving image album can be provided.

【0102】また、本発明によれば、非圧縮動画像を情
報処理装置に取り込む場合、インターレース信号におけ
る奇数フィールドデータと偶数フィールドデータとに分
けて取り込むことができ、さらに、奇数フィールドデー
タと偶数フィールドデータとで、同等のあるいは異なる
大きさ及び色フォーマットで、同等のあるいは異なる領
域、装置に転送できるので、例えば、入力する動画像を
情報処理装置が具備する表示装置でモニタしながら、シ
ーンの変化を検出可能な画像記録再生装置を提供するこ
とができる。
Further, according to the present invention, when an uncompressed moving image is taken into an information processing apparatus, it can be taken in as odd field data and even field data in an interlaced signal, and further, odd field data and even field data can be taken. Data and the same or different size and color format can be transferred to the same or different areas and devices. For example, while a moving image to be input is monitored on a display device of the information processing device, a scene change can be performed. Can be provided.

【0103】また、本実施の形態は、非圧縮動画像から
抽出する情報としてシーンの変化を例に挙げたが、別な
情報でも構わない。例えば、ユーザが検出したい画像情
報を予め指定して、上記非圧縮画像解析手段102にお
いて、該画像情報に合致する画像を認識させるようにす
れば、簡易な動画検索システムを構築することができ
る。
In the present embodiment, a change in a scene is taken as an example of information to be extracted from an uncompressed moving image, but other information may be used. For example, if the user specifies image information to be detected in advance and causes the non-compressed image analysis means 102 to recognize an image that matches the image information, a simple moving image search system can be constructed.

【0104】以上の説明では、画像取り込み装置12と
圧縮画像再生装置9とを異なる装置として構成している
が、圧縮画像再生装置9を画像取り込み装置12に含め
た画像取り込み再生装置13として構成としてもよい。
このときの画像取り込み再生装置13のブロック構成を
図21に示す。
In the above description, the image capturing device 12 and the compressed image reproducing device 9 are configured as different devices. However, the compressed image reproducing device 9 is configured as the image capturing and reproducing device 13 including the image capturing device 12. Is also good.
FIG. 21 shows a block configuration of the image capturing / reproducing device 13 at this time.

【0105】図21に示すように、画像取り込み再生装
置13は、動画入力インターフェース部50と、フレー
ムメモリ51と、動画圧縮伸張部54と、ビデオデコー
ダエンコーダ55とを有して構成される。
As shown in FIG. 21, the image capturing / reproducing apparatus 13 includes a moving image input interface unit 50, a frame memory 51, a moving image compression / expansion unit 54, and a video decoder encoder 55.

【0106】ビデオデコーダエンコーダ55は、画像入
力装置6に接続されており、画像入力装置6から入力さ
れるアナログの動画像をデジタル化して出力する。例え
ば、画像入力装置6から入力されるアナログの動画像が
NTSC形式の信号であれば、ビデオデコーダエンコー
ダ55は、NTSCデコーダとして実現できる。この場
合、NTSC形式のインターレース信号における奇数フ
ィールド信号と偶数フィールド信号とをデジタル化して
時系列的に出力する。この出力された動画像は、動画圧
縮伸張部54と動画入力インターフェース部50とに同
時に入力される。
The video decoder encoder 55 is connected to the image input device 6, and digitizes and outputs an analog moving image input from the image input device 6. For example, if the analog moving image input from the image input device 6 is an NTSC format signal, the video decoder encoder 55 can be realized as an NTSC decoder. In this case, the odd field signal and the even field signal in the interlaced signal of the NTSC format are digitized and output in time series. The output moving image is input to the moving image compression / decompression unit 54 and the moving image input interface unit 50 at the same time.

【0107】さらに、ビデオデコーダエンコーダ55に
は、TVモニタやVTRなどで実現される画像出力装置
14が接続されており、ビデオデコーダエンコーダ55
は、画像圧縮伸張部54で伸張された動画像、及び情報
処理装置内の主記憶2あるいは補助記憶装置3あるいは
表示装置5で保持されているデータを画像出力装置14
に出力する。このとき、画像出力装置14がNTSC形
式の信号を取り扱うものであれば、画像出力装置14に
出力すべきデータをNTSC形式の信号に変換する。ま
た、ビデオデコーダエンコーダ55は、ビデオデコーダ
とビデオエンコーダとに分割した構成としてもよい。
Further, the video decoder encoder 55 is connected to the image output device 14 realized by a TV monitor, a VTR, or the like.
The image output device 14 converts the moving image expanded by the image compression / expansion unit 54 and the data held in the main memory 2 or the auxiliary storage device 3 or the display device 5 in the information processing device.
Output to At this time, if the image output device 14 handles an NTSC format signal, the data to be output to the image output device 14 is converted into an NTSC format signal. Further, the video decoder encoder 55 may be configured to be divided into a video decoder and a video encoder.

【0108】画像圧縮伸張部54は、ビデオデコーダエ
ンコーダ55から出力されるデジタル化された動画像を
MPEGなどの圧縮技術を用いて圧縮し、圧縮した動画
像を動画入力インターフェース部50に出力する。さら
に、動画入力インターフェース部50を介して送られて
くる圧縮動画像を伸張し、ビデオデコーダエンコーダ5
5に出力、及びまたは、動画入力インターフェース部5
0のビデオ信号入出力部64(図16参照)に出力す
る。動画入力インターフェース部50のビデオ信号入出
力部64に出力された動画像は、以上説明してきたよう
に、主記憶2あるいは補助記憶装置3あるいは表示装置
5にDMA転送される。
The image compression / expansion unit 54 compresses the digitized moving image output from the video decoder encoder 55 by using a compression technique such as MPEG, and outputs the compressed moving image to the moving image input interface unit 50. Furthermore, the compressed moving image transmitted through the moving image input interface unit 50 is expanded,
5 and / or video input interface 5
0 is output to the video signal input / output unit 64 (see FIG. 16). The moving image output to the video signal input / output unit 64 of the moving image input interface unit 50 is DMA-transferred to the main storage 2, the auxiliary storage device 3, or the display device 5 as described above.

【0109】フレームメモリ51及び動画入力インター
フェース部50は、図14に示したものと同様である。
The frame memory 51 and the moving image input interface unit 50 are the same as those shown in FIG.

【0110】次に、第二の実施の形態について図面を参
照して説明する。
Next, a second embodiment will be described with reference to the drawings.

【0111】図1は、第二の実施の形態の画像記録再生
装置を適応しうるパーソナルコンピュータ等の情報処理
装置のハードウェア構成図である。
FIG. 1 is a hardware configuration diagram of an information processing apparatus such as a personal computer to which the image recording / reproducing apparatus of the second embodiment can be applied.

【0112】図1に示すように、該装置は、CPU1
と、主記憶2と、補助記憶装置3と、入力装置4と、表
示装置5と、画像入力装置6と、非圧縮画像取り込み装
置7と、圧縮画像取り込み装置8と、圧縮画像再生装置
9とを有して構成される。そして、画像入力装置6以外
の各構成要素は、バス10によって接続され、各構成要
素間で、必要な情報が伝送可能に構成されている。
As shown in FIG. 1, the apparatus comprises a CPU 1
, A main memory 2, an auxiliary storage device 3, an input device 4, a display device 5, an image input device 6, an uncompressed image capturing device 7, a compressed image capturing device 8, a compressed image reproducing device 9, Is configured. The components other than the image input device 6 are connected by a bus 10 so that necessary information can be transmitted between the components.

【0113】また、画像入力装置6は、非圧縮画像取り
込み装置7と圧縮画像取り込み装置8とに接続され、画
像入力装置6から非圧縮画像取り込み装置7と圧縮画像
取り込み装置8とに、同一の情報を同時に伝送可能なよ
うに構成されている。
Further, the image input device 6 is connected to the non-compressed image capturing device 7 and the compressed image capturing device 8, and the same image capturing device 7 is used for the non-compressed image capturing device 7 and the compressed image capturing device 8. It is configured so that information can be transmitted simultaneously.

【0114】第二の実施の形態の画像記録再生装置にお
ける機能ブロック図は、図2に示した第一の実施の形態
における機能ブロック図と同様である。
The functional block diagram of the image recording / reproducing apparatus of the second embodiment is the same as the functional block diagram of the first embodiment shown in FIG.

【0115】非圧縮動画像は非圧縮画像取り込み装置7
から取り込まれ、圧縮動画像は圧縮画像取り込み装置8
から取り込まれるが、非圧縮画像取り込み装置7と圧縮
画像取り込み装置8とは、ともに画像入力装置6接続さ
れているため、同一の(映像)情報が入力されるので、
第二の実施の形態の処理は、第一の実施の形態の処理と
本質的に変わるものではない。
The non-compressed moving image is transferred to the non-compressed image capturing device 7.
The compressed moving image is captured from the
However, since the non-compressed image capturing device 7 and the compressed image capturing device 8 are both connected to the image input device 6, the same (video) information is input.
The processing of the second embodiment is not essentially different from the processing of the first embodiment.

【0116】非圧縮画像取り込み装置7を、画像取り込
み装置12の構成から画像圧縮部52を取り除いた構成
とすれば、第一の実施の形態と同等の機能を実現するこ
とができる。さらに、圧縮画像取り込み装置8と分離し
た構成としているので、システム構築において、比較的
自由度の高い画像記録再生装置を提供することができ
る。
If the non-compressed image capturing device 7 is configured such that the image compressing section 52 is removed from the configuration of the image capturing device 12, a function equivalent to that of the first embodiment can be realized. Further, since the configuration is separated from the compressed image capturing device 8, an image recording / reproducing device having a relatively high degree of freedom in system construction can be provided.

【0117】次に、第三の実施の形態について図面を参
照して説明する。
Next, a third embodiment will be described with reference to the drawings.

【0118】第一あるいは第二の実施の形態では、非圧
縮画像と圧縮画像とをリアルタイムにかつ同時に取り込
むが、非圧縮画像のみをリアルタイムに取り込み、シー
ンの変化を検出しながら、検出に使った非圧縮画像を圧
縮するような構成にしてもよい。この場合、画像記憶装
置を適応しうる情報処理装置のハードウェア構成を図1
2に示す構成とし、制御手段101を図13に示すよう
に変更(制御手段101’)すればよい。
In the first or second embodiment, the non-compressed image and the compressed image are taken in real time and simultaneously, but only the non-compressed image is taken in real time and used for detection while detecting a change in the scene. A configuration in which an uncompressed image is compressed may be adopted. In this case, the hardware configuration of the information processing apparatus to which the image storage device can be applied is shown in FIG.
2 and the control means 101 may be changed (control means 101 ') as shown in FIG.

【0119】図12において、画像圧縮装置11以外は
図1に示す構成要素と同じである。上記画像圧縮装置
は、CPU1から渡される非圧縮動画像を、例えば、M
PEG圧縮して主記憶2あるいは補助記憶装置3に格納
するための装置である。
In FIG. 12, components other than the image compression device 11 are the same as those shown in FIG. The image compression apparatus converts an uncompressed moving image passed from the CPU 1 into, for example, M
This is a device for performing PEG compression and storing it in the main storage 2 or the auxiliary storage device 3.

【0120】図13に示すように、制御手段101’
は、まず、動画像の取り込みを開始する(ステップ16
1)。具体的には、非圧縮画像取り込み装置7を駆動す
るためのそれぞれのプログラムを実行し、主記憶2上に
ワークエリアを確保するなどの、動画像を取得するため
の準備を行う。
As shown in FIG. 13, the control means 101 '
First, capture of a moving image is started (step 16).
1). Specifically, each program for driving the non-compressed image capturing device 7 is executed, and preparations for acquiring a moving image, such as securing a work area on the main memory 2, are performed.

【0121】次に、制御手段101’は、画像入力装置
6から入力され、非圧縮画像取り込み装置7においてデ
ジタル化された非圧縮画像を取得し、上記ワークエリア
に格納する(ステップ162)。続いて、非圧縮画像解
析手段102を起動してシーンが変化したかどうかを検
出する(ステップ163)。さらに、上記ワークエリア
に格納された非圧縮画像を上記画像圧縮装置11を用い
て圧縮する(ステップ164)。そして、動画像の取り
込みが継続しているならば、ステップ162とステップ
164を繰り返し実行する(ステップ165)。
Next, the control means 101 'obtains an uncompressed image input from the image input device 6 and digitized by the uncompressed image capturing device 7 and stores it in the work area (step 162). Subsequently, the non-compressed image analysis means 102 is activated to detect whether or not the scene has changed (step 163). Further, the non-compressed image stored in the work area is compressed using the image compression device 11 (step 164). If the capturing of the moving image is continued, steps 162 and 164 are repeatedly executed (step 165).

【0122】ステップ165において、例えば、ユーザ
からの指示等で動画像の取り込みが終了しているなら
ば、上記画像圧縮装置11においてMPEG圧縮された
動画像を取得し、上記ワークエリアあるいは補助記憶装
置3に格納する(ステップ166)。
In step 165, if the capturing of the moving image has been completed by, for example, an instruction from the user or the like, the moving image compressed by the MPEG in the image compression device 11 is obtained, and the work area or the auxiliary storage device is obtained. 3 (step 166).

【0123】そして、制御手段101’は、対応情報生
成手段103を起動して、シーンが変化した時刻での非
圧縮画像と、圧縮動画像における該時刻の画像とを対応
づける情報を生成する(ステップ167)。
Then, the control means 101 'activates the correspondence information generation means 103 to generate information for associating the uncompressed image at the time when the scene has changed with the image at the time in the compressed moving image ( Step 167).

【0124】最後に、圧縮画像再生装置104を起動し
て、例えば、ユーザが指示する時刻からの上記圧縮動画
像の再生表示を行い(ステップ168)、制御手段10
1’の処理が継続しているならば、ステップ161に戻
り処理を繰り返す(ステップ169)。ステップ169
において、例えば、ユーザからの終了指示等がある場合
は、制御手段101’の処理を終了する。
Finally, the compressed image reproducing device 104 is started up, and the compressed moving image is reproduced and displayed from the time pointed by the user, for example (step 168).
If the processing of 1 'is continued, the flow returns to step 161 to repeat the processing (step 169). Step 169
For example, when there is a termination instruction or the like from the user, the processing of the control unit 101 'is terminated.

【0125】以上、第三の実施の形態によれば、例え
ば、非圧縮画像取り込み装置7によって画像入力装置6
から入力されるデータを奇数フィールドデータと偶数フ
ィールドデータとに分け、奇数フィールドデータをYU
V形式の色フォーマットで主記憶2に転送し、偶数フィ
ールドデータを表示装置5に表示可能な色フォーマット
に変換して表示装置5に転送し、さらに、YUV形式の
奇数フィールドデータを画像圧縮装置11に入力して圧
縮すれば、比較的安価な画像記録再生装置を提供するこ
とができる。
As described above, according to the third embodiment, for example, the image input device 6 is
Is divided into odd field data and even field data, and the odd field data is
The data is transferred to the main memory 2 in a V format color format, the even field data is converted into a color format that can be displayed on the display device 5 and transferred to the display device 5, and the YUV format odd field data is further transferred to the image compression device 11. , And can be compressed, a relatively inexpensive image recording / reproducing apparatus can be provided.

【0126】画像圧縮装置11は従来技術を適用可能で
あり、従来技術の画像圧縮装置11は、通常YUV形式
のデータを入力されるべきものが多い。また、画像圧縮
装置11をソフトウェアで実現すれば、非圧縮動画像を
表示装置5に表示しながら、YUV形式の色フォーマッ
トのデータを主記憶2に転送する機能は非常に有効であ
る。
The conventional technology can be applied to the image compression device 11, and the conventional image compression device 11 usually requires input of data in the YUV format. If the image compression device 11 is realized by software, the function of transferring the data in the YUV color format to the main memory 2 while displaying the uncompressed moving image on the display device 5 is very effective.

【0127】[0127]

【発明の効果】本発明によれば、非圧縮動画像と圧縮動
画像とを同時に情報処理装置に取り込む(記録する)こ
とができ、さらに、非圧縮動画像を用いて解析した結
果、非圧縮動画像中の任意の画像に対応する、圧縮動画
像中の任意の画像を特定でき、さらに、これら2つの画
像を関連付けることによって、ユーザ等によって指示さ
れた位置からの、圧縮動画像の頭出し再生が容易に行え
る、画像記録再生装置を提供することができる。
According to the present invention, an uncompressed moving image and a compressed moving image can be simultaneously captured (recorded) in an information processing apparatus. An arbitrary image in the compressed moving image corresponding to an arbitrary image in the moving image can be specified. Further, by correlating these two images, cueing of the compressed moving image from a position designated by a user or the like can be performed. It is possible to provide an image recording / reproducing apparatus that can easily reproduce.

【0128】さらに、上記画像入力装置から入力される
動画像を、非圧縮の動画像及び比較的高圧縮率かつ高画
質での再生が可能な圧縮技術を用いて圧縮された動画像
として、リアルタイムにかつ同時に上記情報処理装置に
取り込む場合、上記圧縮された動画像を優先的に取り込
む画像記録再生装置を提供することができる。
Further, the moving image input from the image input device is converted into a non-compressed moving image and a moving image compressed by using a compression technique capable of reproducing at a relatively high compression rate and high image quality. In the case where the compressed moving image is taken into the information processing device simultaneously and simultaneously, an image recording / reproducing device that takes in the compressed moving image preferentially can be provided.

【0129】さらに、上記非圧縮の動画像を上記情報処
理装置に取り込む場合、上記画像入力装置から入力され
るインターレース信号における奇数フィールドデータと
偶数フィールドデータとを、同等のあるいは異なる大き
さ及び色フォーマットに変換して、同等のあるいは異な
る領域あるいは装置に転送することで、上記情報処理装
置が具備する表示装置で上記画像入力装置から入力され
る動画像をモニタしながら、同時に該動画像を記録する
画像記録再生装置を提供することができる。
Further, when the uncompressed moving image is taken into the information processing device, the odd field data and the even field data in the interlace signal input from the image input device are converted into the same or different size and color format. And transferring the image to an equivalent or different area or device, thereby simultaneously recording the moving image while monitoring the moving image input from the image input device on the display device of the information processing device. An image recording / reproducing device can be provided.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第二の実施の形態における画像記録再
生装置のハードウェア構成図。
FIG. 1 is a hardware configuration diagram of an image recording / reproducing apparatus according to a second embodiment of the present invention.

【図2】本発明の第一の実施の形態における画像記録再
生装置の機能ブロック図。
FIG. 2 is a functional block diagram of the image recording / reproducing apparatus according to the first embodiment of the present invention.

【図3】本発明の第一の実施の形態における制御手段の
処理フローチャート。
FIG. 3 is a processing flowchart of a control unit according to the first embodiment of the present invention.

【図4】本発明の第一の実施の形態における非圧縮画像
解析手段の処理フローチャート。
FIG. 4 is a processing flowchart of an uncompressed image analysis unit according to the first embodiment of the present invention.

【図5】本発明の第一の実施の形態における対応情報生
成手段の処理フローチャート。
FIG. 5 is a processing flowchart of a correspondence information generating unit according to the first embodiment of the present invention.

【図6】本発明の第一の実施の形態における対応情報の
生成方法を示す説明図。
FIG. 6 is an explanatory diagram showing a method for generating correspondence information according to the first embodiment of the present invention.

【図7】本発明の第一の実施の形態における対応テーブ
ルのデータ構成を示す説明図。
FIG. 7 is an explanatory diagram showing a data configuration of a correspondence table according to the first embodiment of the present invention.

【図8】本発明の第一の実施の形態における対応テーブ
ルのデータ構成を示す説明図。
FIG. 8 is an explanatory diagram showing a data configuration of a correspondence table according to the first embodiment of the present invention.

【図9】本発明の第一の実施の形態における圧縮画像再
生装置の処理フローチャート。
FIG. 9 is a processing flowchart of the compressed image reproducing apparatus according to the first embodiment of the present invention.

【図10】従来技術における画像記録再生装置の構成
図。
FIG. 10 is a configuration diagram of an image recording / reproducing apparatus according to the related art.

【図11】従来技術における画像記録再生装置の処理フ
ローチャート。
FIG. 11 is a processing flowchart of an image recording / reproducing apparatus according to a conventional technique.

【図12】本発明の第三の実施の形態における画像記録
再生装置のハードウェア構成図。
FIG. 12 is a hardware configuration diagram of an image recording / reproducing apparatus according to a third embodiment of the present invention.

【図13】本発明の第三の実施の形態における制御手段
の処理フローチャート。
FIG. 13 is a processing flowchart of a control unit according to the third embodiment of the present invention.

【図14】本発明の第一の実施の形態における画像記録
再生装置のハードウェア構成図。
FIG. 14 is a hardware configuration diagram of the image recording / reproducing device according to the first embodiment of the present invention.

【図15】本発明の第一の実施の形態における画像取り
込み装置のハードウェア構成図。
FIG. 15 is a hardware configuration diagram of the image capturing device according to the first embodiment of the present invention.

【図16】本発明の第一の実施の形態における動画入力
インターフェース部のハードウェア構成図。
FIG. 16 is a hardware configuration diagram of a moving image input interface unit according to the first embodiment of the present invention.

【図17】本発明の第一の実施の形態における画像取り
込み装置のレジスタの構成図。
FIG. 17 is a configuration diagram of a register of the image capturing device according to the first embodiment of the present invention.

【図18】本発明の第一の実施の形態における画像取り
込み装置の動作の説明図。
FIG. 18 is an explanatory diagram of an operation of the image capturing device according to the first embodiment of the present invention.

【図19】本発明の第一の実施の形態における圧縮動画
像再生時の画面構成図。
FIG. 19 is a diagram showing a screen configuration at the time of reproducing a compressed moving image according to the first embodiment of the present invention.

【図20】本発明の第一の実施の形態における圧縮動画
像再生時の画面構成図。
FIG. 20 is a diagram illustrating a screen configuration when a compressed moving image is reproduced according to the first embodiment of the present invention.

【図21】本発明の第一の実施の形態における画像取り
込み装置のハードウェア構成図。
FIG. 21 is a hardware configuration diagram of the image capturing device according to the first embodiment of the present invention.

【図22】本発明の第一の実施の形態における画像取り
込み装置を内蔵した画像入力装置の構成図。
FIG. 22 is a configuration diagram of an image input device incorporating an image capturing device according to the first embodiment of the present invention.

【符号の説明】[Explanation of symbols]

1…CPU、2…主記憶、3…補助記憶装置、4…入力
装置、5…表示装置、6…画像入力装置、9…圧縮画像
再生装置、10…バス、12…画像取り込み装置。
DESCRIPTION OF SYMBOLS 1 ... CPU, 2 ... Main memory, 3 ... Auxiliary storage device, 4 ... Input device, 5 ... Display device, 6 ... Image input device, 9 ... Compressed image reproducing device, 10 ... Bus, 12 ... Image capturing device.

─────────────────────────────────────────────────────
────────────────────────────────────────────────── ───

【手続補正書】[Procedure amendment]

【提出日】平成13年10月26日(2001.10.
26)
[Submission date] October 26, 2001 (2001.10.
26)

【手続補正1】[Procedure amendment 1]

【補正対象書類名】明細書[Document name to be amended] Statement

【補正対象項目名】特許請求の範囲[Correction target item name] Claims

【補正方法】変更[Correction method] Change

【補正内容】[Correction contents]

【特許請求の範囲】[Claims]

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G11B 27/34 H04N 11/04 Z 5D077 H04N 7/24 5/92 H 5D110 9/804 7/13 Z 9/808 9/80 B 11/04 (72)発明者 近藤 伸和 神奈川県海老名市上郷1053番地G棟205号 室 (72)発明者 加藤 和利 神奈川県海老名市今里397番地グリーンコ ーポキヌタ202号室 (72)発明者 田中 和明 神奈川県横浜市磯子区杉田坪呑12番20号 (72)発明者 原田 好啓 神奈川県海老名市下今泉587番6号514号室 Fターム(参考) 5C053 GA11 GB37 HA29 LA01 LA06 LA07 LA11 LA15 5C055 AA02 AA03 BA02 BA03 BA05 BA07 CA00 EA14 EA16 FA19 FA21 HA18 5C057 AA10 BA01 DA03 EA02 EM14 GF01 GM08 5C059 LA01 LA05 NN43 PP04 PP14 RB02 RB14 SS11 TA75 UA02 UA05 UA30 UA38 5D044 AB07 DE03 DE12 DE15 DE72 DE96 FG23 GK08 HL04 HL06 5D077 BA09 BA11 HA07 HD02 HD04 5D110 AA29 DA19 EA08 FA02 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G11B 27/34 H04N 11/04 Z 5D077 H04N 7/24 5/92 H 5D110 9/804 7/13 Z 9 / 808 9/80 B 11/04 (72) Inventor Nobukazu Kondo 1053, Kamigo, Ebina-shi, Kanagawa Prefecture, Room 205, G Building (72) Inventor Kazutoshi Kato 397, Imazato, Imagori, Ebina-shi, Kanagawa Prefecture, Room 202 (72) ) Inventor Kazuaki Tanaka 12-20 No. Sugita Tsubo, Isogo-ku, Yokohama-shi, Kanagawa Prefecture (72) Inventor Yoshihiro Harada Room 587-6, No. 587-6, Shimoimaizumi, Ebina-shi, Kanagawa F-term (reference) 5C053 GA11 GB37 HA29 LA01 LA06 LA07 LA11 LA15 5C055 AA02 AA03 BA02 BA03 BA05 BA07 CA00 EA14 EA16 FA19 FA21 HA18 5C057 AA10 BA01 DA03 EA02 EM14 GF01 GM08 5C059 LA01 LA05 NN43 PP04 PP14 RB02 RB14 SS11 TA75 UA02 UA05 UA30 5D0 44 AB07 DE03 DE12 DE15 DE72 DE96 FG23 GK08 HL04 HL06 5D077 BA09 BA11 HA07 HD02 HD04 5D110 AA29 DA19 EA08 FA02

Claims (13)

【特許請求の範囲】[Claims] 【請求項1】主記憶及び表示装置を備えた動画像を記録
する画像記録再生装置に装着される画像取り込み装置に
おいて、デジタル化された動画像を入力し、該入力した
動画像を圧縮動画像に圧縮する動画圧縮部と、前記デジ
タル化された動画像を前記主記憶及び前記表示装置へ転
送すると同時に、前記動画圧縮部から出力される圧縮動
画像を前記主記憶に転送する動画入力インターフェース
部とを備えてなる画像取り込み装置。
An image capturing apparatus mounted on an image recording / reproducing apparatus for recording a moving image having a main memory and a display device, inputs a digitized moving image, and converts the input moving image into a compressed moving image. A moving image compression unit for compressing the moving image, and a moving image input interface unit for transferring the digitized moving image to the main storage and the display device, and simultaneously transferring the compressed moving image output from the moving image compression unit to the main storage An image capturing device comprising:
【請求項2】請求項1に記載の画像取り込み装置におい
て、アナログ信号の動画像を入力し、該入力された動画
像をディジタル化するビデオデコーダを有することを特
徴とする画像取り込み装置。
2. The image capturing device according to claim 1, further comprising a video decoder for inputting a moving image of an analog signal and digitizing the input moving image.
【請求項3】請求項2に記載の画像取り込み装置におい
て、前記動画入力インターフェース部は、前記デジタル
化された動画像に比べ前記圧縮動画像を優先的に転送す
ることを特徴とする画像取り込み装置。
3. The image capturing device according to claim 2, wherein the moving image input interface unit transfers the compressed moving image preferentially as compared with the digitized moving image. .
【請求項4】請求項3に記載の画像取り込み装置におい
て、前記動画入力インターフェース部は、前記デジタル
化された動画像をインターレース信号における2つのフ
ィールド信号に分離し、該分離された2つのフィールド
信号を前記主記憶及び前記表示装置へ別々に転送するこ
とを特徴とする画像取り込み装置。
4. The image capturing device according to claim 3, wherein the moving image input interface unit separates the digitized moving image into two field signals in an interlace signal, and the separated two field signals. Wherein the image data is separately transferred to the main memory and the display device.
【請求項5】請求項4に記載の画像取り込み装置におい
て、前記動画入力インターフェース部は、前記2つのフ
ィールド信号を異なる解像度または色フォーマットで転
送する機能を有することを特徴とする画像取り込み装
置。
5. The image capturing device according to claim 4, wherein said moving image input interface unit has a function of transferring said two field signals at different resolutions or color formats.
【請求項6】請求項5に記載の画像取り込み装置におい
て、前記ビデオデコーダでディジタル化された動画像を
前記動画入力インターフェースを介して入力され、該入
力された動画像の少なくとも一画面分のデータを保持す
るフレームメモリと、前記ビデオデコーダでディジタル
化された動画像を圧縮する画像圧縮部とを有し、前記動
画入力インターフェース部は、前記ビデオデコーダから
出力されるディジタル化された動画像を構成する奇数フ
ィールドと偶数フィールドを時系列的に入力し、前記フ
レームメモリへ出力するビデオ信号入出力部と、前記フ
レームメモリから奇数フィールドと偶数フィールドのデ
ータを順次取り出し、所定の大きさにスケーリングする
スケーリング部と、前記スケーリング部から出力された
スケーリングされた動画像のデータを所定の色フォーマ
ットに変換する色変換部と、前記色変換部により色変換
された動画像のデータと前記動画圧縮部により圧縮され
た動画像データとを該圧縮された動画像のデータを優先
してDMA転送するDMA転送制御部と、前記主記憶が
接続されるバスと前記DMA転送制御部との間でデータ
転送を行うバス入出力部とを有することを特徴とする画
像取り込み装置。
6. The image capturing device according to claim 5, wherein a moving image digitized by said video decoder is input via said moving image input interface, and data of at least one screen of said input moving image is inputted. And a video compression unit for compressing a video image digitized by the video decoder, wherein the video input interface unit forms a digitized video image output from the video decoder. A video signal input / output unit for chronologically inputting odd and even fields to be output to the frame memory, and sequentially taking out data of the odd and even fields from the frame memory and scaling the data to a predetermined size And a scaled unit output from the scaling unit. A color conversion unit that converts data of a moving image into a predetermined color format, and a moving image data that is color-converted by the color conversion unit and moving image data compressed by the moving image compression unit. An image having a DMA transfer control unit for performing a DMA transfer with priority given to the data, and a bus input / output unit for performing a data transfer between the bus to which the main memory is connected and the DMA transfer control unit. Capture device.
【請求項7】主記憶と、表示装置と、デジタル化された
動画像を圧縮動画像に圧縮する動画圧縮部と、前記デジ
タル化された動画像を前記主記憶及び前記表示装置へ転
送すると同時に、前記動画圧縮部から出力される圧縮動
画像とを前記主記憶に転送する動画入力インターフェー
ス部とを有する画像取り込み装置とを備え、前記動画入
力インターフェース部は、前記デジタル化された動画像
をインターレース信号における2つのフィールド信号に
分離し、一方のフィールド信号を前記主記憶に転送し、
他方のフィールド信号を前記表示装置に転送と同時に、
前記圧縮動画像を前記主記憶に転送し、前記表示装置
は、前記動画入力インターフェース部から転送されたフ
ィールド信号により動画を表示し、前記主記憶は、前記
表示装置が動画を表示するのと同時に前記動画入力イン
ターフェース部から転送されたフィールド信号を記憶す
ることを特徴とする画像記録再生装置。
7. A main memory, a display device, a moving image compression section for compressing a digitized moving image into a compressed moving image, and simultaneously transferring the digitized moving image to the main storage and the display device. An image capturing device having a moving image input interface unit for transferring a compressed moving image output from the moving image compression unit to the main storage, and the moving image input interface unit interlaces the digitized moving image. Splitting the signal into two field signals, transferring one of the field signals to the main memory,
Simultaneously transferring the other field signal to the display device,
The compressed moving image is transferred to the main memory, the display device displays a moving image according to a field signal transferred from the moving image input interface unit, and the main memory stores the moving image at the same time as the display device displays the moving image. An image recording / reproducing apparatus characterized by storing a field signal transferred from the moving image input interface unit.
【請求項8】請求項7に記載の画像記憶再生装置におい
て、前記画像取り込み装置は、アナログ信号の動画像を
入力し、該入力された動画像をディジタル化するビデオ
デコーダを有することを特徴とする画像記憶再生装置。
8. The image storage / reproduction device according to claim 7, wherein said image capturing device has a video decoder for inputting a moving image of an analog signal and digitizing the input moving image. Image storage and playback device.
【請求項9】請求項8に記載の画像記憶再生装置におい
て、前記動画入力インターフェース部は、前記2つのフ
ィールド信号を異なる解像度または色フォーマットで転
送することを特徴とする画像記録再生装置。
9. The image recording / reproducing apparatus according to claim 8, wherein said moving image input interface unit transfers said two field signals at different resolutions or color formats.
【請求項10】請求項9に記載の画像記憶再生装置にお
いて、前記動画入力インターフェース部は、前記デジタ
ル化された動画像に比べ前記圧縮動画像を優先的に転送
することを特徴とする画像記録再生装置。
10. The image recording / reproducing apparatus according to claim 9, wherein the moving image input interface unit transfers the compressed moving image with higher priority than the digitized moving image. Playback device.
【請求項11】請求項10に記載の画像記憶再生装置に
おいて、前記ビデオデコーダでディジタル化された動画
像を前記動画入力インターフェースを介して入力され、
該入力された動画像の少なくとも一画面分のデータを保
持するフレームメモリと、前記ビデオデコーダでディジ
タル化された動画像を圧縮する画像圧縮部とを有し、前
記動画入力インターフェース部は、前記ビデオデコーダ
から出力されるディジタル化された動画像を構成する奇
数フィールドと偶数フィールドを時系列的に入力し、前
記フレームメモリへ出力するビデオ信号入出力部と、前
記フレームメモリから奇数フィールドと偶数フィールド
のデータを順次取り出し、所定の大きさにスケーリング
するスケーリング部と、前記スケーリング部から出力さ
れたスケーリングされた動画像のデータを所定の色フォ
ーマットに変換する色変換部と、前記色変換部により色
変換された動画像のデータと前記動画圧縮部により圧縮
された動画像データとを該圧縮された動画像のデータを
優先してDMA転送するDMA転送制御部と、前記主記
憶が接続されるバスと前記DMA転送制御部との間でデ
ータ転送を行うバス入出力部とを有することを特徴とす
る画像記録再生装置。
11. The image storage / playback apparatus according to claim 10, wherein a moving image digitized by said video decoder is input through said moving image input interface,
A frame memory for holding data of at least one screen of the input moving image, and an image compression unit for compressing the moving image digitized by the video decoder, wherein the moving image input interface unit includes the video A video signal input / output unit for inputting the odd and even fields constituting the digitized moving image output from the decoder in a time-series manner and outputting to the frame memory; and outputting the odd and even fields from the frame memory. A scaling unit for sequentially taking out data and scaling to a predetermined size; a color conversion unit for converting data of the scaled moving image output from the scaling unit to a predetermined color format; Moving image data and the moving image data compressed by the moving image compression unit. A DMA transfer control unit for performing DMA transfer with priority given to the data of the compressed moving image, a bus input / output unit for performing data transfer between the bus to which the main memory is connected and the DMA transfer control unit. An image recording / reproducing apparatus comprising:
【請求項12】請求項10に記載の画像記憶再生装置に
おいて、前記ビデオデコーダによりディジタル化された
動画像のデータを前記動画入力インタフェース部を介し
て入力され、該入力された非圧縮動画像を解析し該解析
の結果、前記入力された動画像にシーンの変化があった
場合には、前記非圧縮画像にシーンの変化のあった時刻
動画取り込み開始時点からの時刻を取得し、一方前記動
画圧縮部により圧縮された動画のデータから前記非圧縮
画像から取得したシーンの変化した時刻に対応する動画
像のデータを特定し、該特定された動画像のデータとシ
ーンが変化した時点での前記非圧縮画像との対応関係を
示す情報を生成する対応情報生成手段とを有することを
特徴とする画像記憶再生装置。
12. The image storage / reproducing apparatus according to claim 10, wherein data of a moving image digitized by said video decoder is input via said moving image input interface section, and said input uncompressed moving image is input. Analyzing and, as a result of the analysis, when there is a scene change in the input moving image, obtain the time from the start of moving image capture when the scene change occurs in the uncompressed image; From the data of the moving image compressed by the compression unit, specify the data of the moving image corresponding to the changed time of the scene obtained from the uncompressed image, and specify the data of the specified moving image and the time at which the scene changes. An image storage / reproduction apparatus, comprising: correspondence information generating means for generating information indicating a correspondence relationship with an uncompressed image.
【請求項13】主記憶及びまたは表示装置を備えた動画
像を記録する画像記録再生装置において、アナログの動
画像を入力するための画像入力装置と、アナログの動画
像を表示するための画像出力装置と、前記画像入力装置
から入力された動画像をデジタル化し、さらに、前記主
記憶に格納されているデータあるいは前記表示装置に表
示されているデータをアナログ化するビデオデコーダエ
ンコーダと、前記デジタル化された動画像を圧縮動画像
に圧縮し、さらに、圧縮されている動画像を伸長する動
画圧縮伸長部と、前記デジタル化された動画像と前記圧
縮動画像とを前記主記憶及びまたは前記表示装置に同時
に転送し、さらに、前記主記憶に格納されているデータ
あるいは前記表示装置に表示されているデータを取り込
む動画入力インターフェースとを備え、前記取り込まれ
たデータが圧縮動画像ならば、前記動画圧縮伸長部で伸
長した後、前記ビデオデコーダエンコーダでアナログ化
して前記画像出力装置で表示し、前記取り込まれたデー
タが非圧縮動画像ならば、前記ビデオデコーダエンコー
ダでアナログ化して前記画像出力装置で表示する機能を
有することを特徴とする画像記録再生装置。
13. An image recording / reproducing apparatus for recording a moving image, comprising a main memory and / or a display device, for inputting an analog moving image, and outputting an image for displaying an analog moving image. A video decoder encoder that digitizes a moving image input from the image input device, and further converts data stored in the main memory or data displayed on the display device into an analog signal; A moving image compression / expansion unit for compressing the compressed moving image into a compressed moving image and further expanding the compressed moving image; and displaying the digitized moving image and the compressed moving image in the main storage and / or the display. A video input interface that simultaneously transfers data to the device and further takes in data stored in the main memory or data displayed on the display device. If the captured data is a compressed moving image, the video data is decompressed by the moving image compression / decompression unit, converted into an analog signal by the video decoder encoder, displayed on the image output device, and the captured data is uncompressed. An image recording / reproducing apparatus having a function of converting a compressed moving image into an analog signal by the video decoder encoder and displaying the analog signal on the image output device.
JP2001153344A 1995-12-15 2001-05-23 Image capturing device, image recording / reproducing device, and image input device Expired - Fee Related JP3695352B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001153344A JP3695352B2 (en) 1995-12-15 2001-05-23 Image capturing device, image recording / reproducing device, and image input device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP7-326813 1995-12-15
JP32681395 1995-12-15
JP2001153344A JP3695352B2 (en) 1995-12-15 2001-05-23 Image capturing device, image recording / reproducing device, and image input device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP52265097A Division JP3288715B2 (en) 1995-12-15 1996-09-04 Image capturing device, image storage / playback device equipped with image capturing device, and image input device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2003312092A Division JP3661696B2 (en) 1995-12-15 2003-09-04 Image processing device

Publications (3)

Publication Number Publication Date
JP2002077821A true JP2002077821A (en) 2002-03-15
JP2002077821A5 JP2002077821A5 (en) 2004-09-16
JP3695352B2 JP3695352B2 (en) 2005-09-14

Family

ID=26572304

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001153344A Expired - Fee Related JP3695352B2 (en) 1995-12-15 2001-05-23 Image capturing device, image recording / reproducing device, and image input device

Country Status (1)

Country Link
JP (1) JP3695352B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004093446A1 (en) * 2003-04-17 2004-10-28 Fujitsu Limited Task scheduling method for simultaneous transmission of compressed data and non-compressed data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06133305A (en) * 1992-09-07 1994-05-13 Fujitsu Ltd Picture data coding method, picture data coder using the method, picture data decoding method, picture data decoder using the method, scene change detection method, scene change detection method, scene change detector, scene change recorder, and picture data scene change recording and reproducing device
JPH06133264A (en) * 1992-10-19 1994-05-13 Nikon Corp Electronic still camera
JPH06162116A (en) * 1992-11-25 1994-06-10 Ricoh Co Ltd Moving picture display device
JPH06253255A (en) * 1993-02-25 1994-09-09 Toshiba Corp Video index display device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06133305A (en) * 1992-09-07 1994-05-13 Fujitsu Ltd Picture data coding method, picture data coder using the method, picture data decoding method, picture data decoder using the method, scene change detection method, scene change detection method, scene change detector, scene change recorder, and picture data scene change recording and reproducing device
JPH06133264A (en) * 1992-10-19 1994-05-13 Nikon Corp Electronic still camera
JPH06162116A (en) * 1992-11-25 1994-06-10 Ricoh Co Ltd Moving picture display device
JPH06253255A (en) * 1993-02-25 1994-09-09 Toshiba Corp Video index display device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004093446A1 (en) * 2003-04-17 2004-10-28 Fujitsu Limited Task scheduling method for simultaneous transmission of compressed data and non-compressed data
US7533192B2 (en) 2003-04-17 2009-05-12 Fujitsu Microelectronics Ltd. Task scheduling method in case of simultaneous transfer of compressed data and non-compressed data

Also Published As

Publication number Publication date
JP3695352B2 (en) 2005-09-14

Similar Documents

Publication Publication Date Title
US6269215B1 (en) Information processing system
US6094521A (en) Information processing system
US6560399B2 (en) Image recording and reproducing device and a medium storing an image recording and reproducing program
US7421134B2 (en) Image processing apparatus and method for moving object-adaptive compression
JPH05216463A (en) Picture data processor
JPH11284948A (en) Thumbnail generating method and thumbnail display method
US7064780B2 (en) Image recording apparatus with selection of still image to be recorded from multi-picture display
JP3261993B2 (en) Moving image recording method and moving image storage / reproduction method
JP3288715B2 (en) Image capturing device, image storage / playback device equipped with image capturing device, and image input device
JP3086676B2 (en) Image playback device
JP2002077821A (en) Image acquisition unit, image recorder/reproducer and image input unit
JP3661696B2 (en) Image processing device
JP2002016867A (en) System for fetching still image, method for storing still image and method for identifying still image
JPH10243345A (en) Image recording and reproducing device
US6965642B2 (en) Method and device for compressing and decompressing moving image data and information recording medium
JP2000134579A (en) Moving image compression and expansion processor
JP2001008071A (en) Digital camera
JP2894870B2 (en) Image storage device
JP2003125385A (en) Image processing unit
JP3089520B2 (en) Video processing system
JPH07255030A (en) Recording and reproducing device for compressed image
JP2001197410A (en) Image capture system and device adopting the same
JP2001339685A (en) Image processing apparatus
JPH07203352A (en) Electronic still camera
JPH10308897A (en) Image display device

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050620

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080708

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090708

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090708

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100708

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100708

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110708

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110708

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120708

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130708

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees