JP2005341241A - Image recording and reproducing apparatus - Google Patents

Image recording and reproducing apparatus Download PDF

Info

Publication number
JP2005341241A
JP2005341241A JP2004157594A JP2004157594A JP2005341241A JP 2005341241 A JP2005341241 A JP 2005341241A JP 2004157594 A JP2004157594 A JP 2004157594A JP 2004157594 A JP2004157594 A JP 2004157594A JP 2005341241 A JP2005341241 A JP 2005341241A
Authority
JP
Japan
Prior art keywords
image
image data
attention point
information
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004157594A
Other languages
Japanese (ja)
Inventor
Takumi Mori
工 毛利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2004157594A priority Critical patent/JP2005341241A/en
Publication of JP2005341241A publication Critical patent/JP2005341241A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image recording and reproducing apparatus which efficiently performs the confirming work of a photographed image. <P>SOLUTION: In the case of recording the image, an image control part 201 records inputted input image information in a HDD 202. An input instruction part 204 outputs noticing information showing the positional coordinates of a noticing point. A noticing point information control part 205 generates noticing point information showing the position of the noticing point and the size of an area including the noticing point on the basis of noticing information, and records it in the HDD 202. In the case of reproducing the image, an image reproduction processing part 206 generates reduced image data obtained by reducing an image on the basis of image data, segments a partial area including the noticing point from the image data on the basis of the noticing point information, and generates trimming image data. The image reproduction processing part 206 outputs the generated reduced image data and the trimming image data to an external monitor. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は 動画像カメラによって連続的に生成された超高精細のデジタル静止画像を記録すると共に、記録された画像の確認を行うために画像の再生を行う画像記録再生装置に関し、特に、記録された画像の再生時における確認作業の改善を図った画像記録再生装置に関する。   The present invention relates to an image recording / reproducing apparatus that records an ultra-high-definition digital still image continuously generated by a moving image camera and reproduces an image in order to confirm the recorded image. The present invention relates to an image recording / reproducing apparatus that improves the confirmation work at the time of reproduction of an image.

デジタル放送やデジタルシネマなど、デジタル映像の高精細化が進んできており、放送業界においても、SDTV(Standard Definition Television)からHDTV(High Definition Television:ハイビジョンTV)画像(1920×1080)へ、また、デジタルシネマ業界においては2K(水平画素:2048)から4K(水平画素:4096)へと超高精細化への取り組みが行なわれている。このような高精細カメラによって撮影されたデジタル画像データを保存する記録装置では記録容量が膨大となり、記録装置自体も大型になる。例えば、ハイビジョン(HD)映像よりも長さ比が倍である超高精細画像(SHD:Super High Definition)では、画素数が面積と同様にHDの4倍の量になる。したがって、記録装置からの画像の読出し、編集、その結果の保存などの作業において、膨大な処理時間がかかってしまう。   Digital video, digital cinema, and other digital video are becoming more high-definition. In the broadcasting industry, SDTV (Standard Definition Television) to HDTV (High Definition Television) images (1920 × 1080), In the digital cinema industry, efforts are being made to achieve ultra-high definition from 2K (horizontal pixel: 2048) to 4K (horizontal pixel: 4096). In such a recording apparatus that stores digital image data taken by a high-definition camera, the recording capacity becomes enormous and the recording apparatus itself becomes large. For example, in an ultra-high definition image (SHD: Super High Definition) whose length ratio is twice that of a high-definition (HD) video, the number of pixels is four times the amount of HD as is the area. Therefore, a huge amount of processing time is required for operations such as reading of images from the recording device, editing, and saving of the results.

図8は従来の超高精細画像用デジタル動画カメラ(以下SHD動画カメラ)を用いたシステムの構成を示すブロック図である。図において、SHD動画カメラ100は、毎秒24フレームのレートで3840×2160画素のデジタル画像データをHD−SDI(High Definition Serial Digital Interface)デジタル信号で出力する。通常、HD−SDI信号規格では、HD画像1画面分の転送能力しかないため、SHD動画カメラ100では画像が4つに分割され、それぞれの画像をちょうどHD画像と同じサイズとし、4本のHD−SDI信号で各画像が並列に出力される。また、SHD動画カメラ100は、HD画像サイズになるようにSHD画像の画素を間引きすることにより、画素数を縮小した縮小画像データを生成する。   FIG. 8 is a block diagram showing the configuration of a system using a conventional digital high-definition digital video camera (hereinafter referred to as SHD video camera). In the figure, the SHD video camera 100 outputs digital image data of 3840 × 2160 pixels as a HD-SDI (High Definition Serial Digital Interface) digital signal at a rate of 24 frames per second. Normally, the HD-SDI signal standard has only a transfer capacity for one HD image, so the SHD video camera 100 divides the image into four parts, each of which is exactly the same size as the HD picture, and four HD pictures. -Each image is output in parallel with the SDI signal. In addition, the SHD video camera 100 generates reduced image data in which the number of pixels is reduced by thinning out the pixels of the SHD image so as to have an HD image size.

画像記録再生装置200は、SHD動画カメラ100に接続され、SHD動画カメラ100から出力されたSHD画像データ(撮影データ)をHDD(Hard Disk Drive)202に記録すると共に、編集のために画像の再生を行う場合に、SHD画像の再生データを編集装置300へ出力する。再生データは、4本のHD−SDI信号により出力される。編集装置300は、編集時に画像記録再生装置200に接続され、画像記録再生装置200から出力された再生データの編集を行う。撮影時に、画像記録再生装置200のHDD202の記憶容量を超える容量の撮影データが生成された場合には、後述するように、テープ等のメディアに対してバックアップが行われる。この場合には、テープ等のメディアに記録された撮影データを編集装置300に転送し、編集装置300で編集を行う。   The image recording / reproducing apparatus 200 is connected to the SHD video camera 100, records SHD image data (photographed data) output from the SHD video camera 100 in a HDD (Hard Disk Drive) 202, and reproduces an image for editing. When performing the above, the reproduction data of the SHD image is output to the editing apparatus 300. The reproduction data is output by four HD-SDI signals. The editing apparatus 300 is connected to the image recording / reproducing apparatus 200 during editing, and edits reproduction data output from the image recording / reproducing apparatus 200. When shooting data having a capacity exceeding the storage capacity of the HDD 202 of the image recording / reproducing apparatus 200 is generated during shooting, a backup such as a tape is performed as will be described later. In this case, the shooting data recorded on a medium such as a tape is transferred to the editing device 300 and edited by the editing device 300.

HDモニター500は、SHD動画カメラ100に接続され、SHD動画カメラ100から出力された撮影データに基づいて画像を表示する。撮影データのHD−SDI出力信号にHDモニター500を4台並列に接続することにより、4分の1ずつの等倍画像を同時に確認することができるようになっている。HDモニター600は、SHD動画カメラ100に接続され、SHD動画カメラ100から出力された縮小画像データに基づいて、縮小画像を表示する。縮小画像を出力する信号にHDモニター600を接続することにより、全体の画像を確認することができる。   The HD monitor 500 is connected to the SHD video camera 100 and displays an image based on the shooting data output from the SHD video camera 100. By connecting four HD monitors 500 in parallel to the HD-SDI output signal of the photographic data, it is possible to simultaneously confirm a quarter-size image at the same time. The HD monitor 600 is connected to the SHD video camera 100 and displays a reduced image based on the reduced image data output from the SHD video camera 100. By connecting the HD monitor 600 to a signal for outputting a reduced image, the entire image can be confirmed.

画像記録再生装置200において、画像制御部201は画像データの記録および再生の制御を行う。画像制御部201は、画像の記録時には、インタフェース(図示せず)を介してSHD動画カメラ100から連続的に入力された撮影データを、記録媒体であるHDD202に記録する。画像制御部201は、画像の再生時には、HDD202から撮影データを読み出して、画像再生処理部203へ出力する。また、画像制御部201は、SHD動画カメラ100から入力された撮影データをHDD202に記録すると同時に、再生用の画像として、撮影データを画像再生処理部203へ出力する機能も有している。画像再生処理部203は、撮影データを再生データとして編集装置300へ出力する。   In the image recording / reproducing apparatus 200, an image control unit 201 controls recording and reproduction of image data. When recording an image, the image control unit 201 records shooting data continuously input from the SHD video camera 100 via an interface (not shown) in an HDD 202 that is a recording medium. The image control unit 201 reads out shooting data from the HDD 202 and outputs it to the image reproduction processing unit 203 when reproducing an image. The image control unit 201 also has a function of recording shooting data input from the SHD video camera 100 to the HDD 202 and simultaneously outputting shooting data to the image playback processing unit 203 as a playback image. The image reproduction processing unit 203 outputs the shooting data to the editing apparatus 300 as reproduction data.

次に、実際の撮影現場における撮影および編集の手順を説明する。撮影のため、SHD動画カメラ100と画像記録再生装置200とを現場へ持ち込むが、編集は後で行うため、現場に編集装置300を持って行くことはない。そのため、撮影された画像は全てHDD202に保存されることになる。SHD動画カメラ100から画像記録再生装置200へ順に転送された画像データはHDD202に保存される。   Next, shooting and editing procedures in an actual shooting site will be described. For shooting, the SHD video camera 100 and the image recording / reproducing apparatus 200 are brought into the field, but since editing is performed later, the editing apparatus 300 is not brought to the field. Therefore, all the captured images are stored in the HDD 202. The image data sequentially transferred from the SHD video camera 100 to the image recording / reproducing apparatus 200 is stored in the HDD 202.

動画像を構成する画像データは複数のカットと複数のシーンの集まりとして定義することができる。「カット」は、カメラでの1回の撮影動作開始から終了までの間で撮影されたフレーム画像の集合として定義される。「シーン」は、ある決まった撮影対象を撮影した複数のカットの集合で構成される。複数のシーンはさらに特定の撮影テーマで取りまとめることができる。このような動画像のデータ構造はカットとシーンとの組み合わせによる階層構造として表される。   Image data constituting a moving image can be defined as a collection of a plurality of cuts and a plurality of scenes. “Cut” is defined as a set of frame images shot from the start to the end of one shooting operation with the camera. A “scene” is composed of a set of a plurality of cuts obtained by shooting a certain shooting target. Multiple scenes can be further grouped under a specific shooting theme. Such a data structure of a moving image is represented as a hierarchical structure by a combination of a cut and a scene.

図9は、撮影の手順を示すフローチャートである。現場撮影を開始し、「シーン」撮影を開始する(ステップS901)。「シーン」撮影においては、「カット」撮影を行い(ステップS902)、撮影した画像を画像記録再生装置200のHDD202に記録する(ステップS903)。続いて、画像記録再生装置200によって画像を再生し、再生した画像をモニターへ出力することにより、モニターに画像を表示し、画像の確認を行う(ステップS904)。この確認を行った後、撮影した「カット」の内容の良否を判定する(ステップS905)。   FIG. 9 is a flowchart showing a photographing procedure. On-site shooting is started, and “scene” shooting is started (step S901). In “scene” shooting, “cut” shooting is performed (step S902), and the shot image is recorded in the HDD 202 of the image recording / reproducing apparatus 200 (step S903). Subsequently, the image is reproduced by the image recording / reproducing apparatus 200, and the reproduced image is output to the monitor, whereby the image is displayed on the monitor and the image is confirmed (step S904). After confirming this, the quality of the photographed “cut” is determined (step S905).

「カット」の内容がNGであると判定した場合、NGカットを削除し(ステップS906)、再びステップS902へ戻り、「カット」撮影を行う。一方、「カット」の内容がOKであると判定した場合、「シーン」撮影を終了するかどうか判定する(ステップS907)。他の「カット」撮影等の理由により「シーン」撮影を終了せず、「シーン」撮影を続行する場合には、ステップS901へ戻り、「シーン」撮影を続行する。一方、「シーン」撮影を終了する場合には、HDD202に記録した撮影データをテープに記録(バックアップ)する(ステップS908)。   If it is determined that the content of “cut” is NG, the NG cut is deleted (step S906), the process returns to step S902 again, and “cut” shooting is performed. On the other hand, if it is determined that the content of the “cut” is OK, it is determined whether or not the “scene” shooting is to be ended (step S907). If the “scene” shooting is not completed for other reasons such as “cut” shooting and the “scene” shooting is continued, the process returns to step S901 to continue the “scene” shooting. On the other hand, when the “scene” shooting is ended, the shooting data recorded in the HDD 202 is recorded (backed up) on a tape (step S908).

続いて、全撮影を終了するかどうか判定する(ステップS909)。撮影を終了しない場合、ステップS901へ戻り、「シーン」撮影を続行する。一方、撮影を終了する場合、撮影が完了となる。   Subsequently, it is determined whether or not to end all shooting (step S909). If the shooting is not terminated, the process returns to step S901 to continue the “scene” shooting. On the other hand, when the shooting is finished, the shooting is completed.

図10は、スタジオにおける編集の手順を示すフローチャートである。編集時には、撮影データが記録されたテープをスタジオに持ち込み、テープに記録された撮影データを編集装置300に転送し、編集装置300によって編集作業を行う。まず、テープに記録された撮影データを画像記録再生装置200にリストアする(ステップS1001)。続いて、画像を再生し(ステップS1002)、モニターに表示して画像を確認し(ステップS1003)、編集に必要な画像を編集装置300へ転送する(ステップS1004)。続いて、他のシーンあるいは他のテープ中の画像の編集を行うかどうか判定する(ステップS1005)。他の画像の編集も行う場合には、ステップS1001へ戻り、処理を繰り返す。リストアした画像を編集する場合には、ノンリニア編集を行い(ステップS1006)、編集作業が終了する。   FIG. 10 is a flowchart showing the editing procedure in the studio. At the time of editing, the tape on which the shooting data is recorded is brought into the studio, the shooting data recorded on the tape is transferred to the editing device 300, and the editing device 300 performs the editing work. First, the photographing data recorded on the tape is restored to the image recording / reproducing apparatus 200 (step S1001). Subsequently, the image is reproduced (step S1002), displayed on the monitor to confirm the image (step S1003), and an image necessary for editing is transferred to the editing apparatus 300 (step S1004). Subsequently, it is determined whether to edit an image in another scene or another tape (step S1005). When editing other images, the process returns to step S1001 to repeat the process. When editing the restored image, nonlinear editing is performed (step S1006), and the editing operation ends.

超高精細画像データは、デジタル画像編集による編集作業を行うため、なるべく劣化のない状態で記録されることが望ましい。よって、非圧縮のデータか、ロスレス圧縮データをリアルタイムに書き込むことが可能な記録装置が必要となる。現状では、HD−SDI2ch入力によるリアルタイムのキャプチャが可能で、RAID方式HDDを記録媒体とした非圧縮記録装置を利用することができる(以下、HDDレコーダと称す)。SHD動画像カメラ100はHD−SDI4chでデジタル画像を出力するので、このHDDレコーダ方式の画像記録再生装置200を2台並列運転することで、リアルタイムに画像を記録することができる。   It is desirable that the ultra-high definition image data is recorded in a state with as little deterioration as possible in order to perform editing work by digital image editing. Therefore, a recording apparatus capable of writing uncompressed data or lossless compressed data in real time is required. At present, real-time capture by HD-SDI 2ch input is possible, and an uncompressed recording apparatus using a RAID system HDD as a recording medium can be used (hereinafter referred to as an HDD recorder). Since the SHD video camera 100 outputs a digital image using HD-SDI 4ch, it is possible to record an image in real time by operating two HDD recorder type image recording / reproducing apparatuses 200 in parallel.

画像をRGB:4:4:4(YPbPr)10bitで構成すると、1画素が約4バイトとなり、このデータを保存するのに、3840×2160×24×4=759.4×10バイト/秒(≒759.4MB/s=6Gbps)の処理速度が必要になる。ここで、HDDレコーダのHDD容量を1.7TB(TB,テラバイト=1024MB)としても、40分ほどの時間しか記録することができない。また、一般的に、このようなHDDレコーダにおいては、高速な書き込み速度を常に維持するため、記録媒体であるHDDを、記録時間に相当する容量が連続した領域(セクター)となるように構築する必要がある。したがって、撮影前に、撮影時間に相当する容量を画像記録領域として確保しておく必要がある。 If an image is composed of RGB: 4: 4: 4 (YPbPr) 10 bits, one pixel is about 4 bytes, and 3840 × 2160 × 24 × 4 = 759.4 × 10 6 bytes / second to store this data. A processing speed of (≈759.4 MB / s = 6 Gbps) is required. Here, even if the HDD capacity of the HDD recorder is 1.7 TB (TB, terabyte = 1024 MB), it is possible to record only about 40 minutes. In general, in such an HDD recorder, in order to always maintain a high writing speed, an HDD as a recording medium is constructed so that a capacity corresponding to a recording time is a continuous area (sector). There is a need. Therefore, it is necessary to secure a capacity corresponding to the shooting time as an image recording area before shooting.

40分の画像データのみで全ての撮影シーンの画像を撮り終えることが可能であるならば、撮影後、このHDDレコーダを編集作業のために編集スタジオ等に持っていき、そこで直接画像データを編集装置300や大型表示装置に出力すればよい。しかし、通常はもっと多くの「カット」や「シーン」を撮影し、それらの中から、「撮影テーマ」あるいは「ストーリー」に必要となる画像を選別・抜き出し、そして編集を行う。   If it is possible to finish taking images of all shooting scenes with only 40 minutes of image data, after shooting, take this HDD recorder to an editing studio for editing, and edit the image data directly there. What is necessary is just to output to the apparatus 300 or a large sized display apparatus. However, usually, more “cuts” and “scenes” are photographed, and images necessary for “shooting themes” or “story” are selected, extracted, and edited.

したがって、もっと多くの画像を撮影するためには、HDDレコーダの記録可能時間まで撮影したならば、図9のステップS908のように、テープなどの別のメディアに画像をバックアップしなければならない。テープドライブも高速大容量のメディアとして30MB/s、500GB/巻(非圧縮)の性能を持ったS−AITテープドライブなどを利用することが可能である。しかし、記録時間の10倍以上のバックアップ時間が必要となる。   Therefore, in order to capture more images, if the recording is performed up to the recordable time of the HDD recorder, the images must be backed up to another medium such as a tape as in step S908 in FIG. As the tape drive, an S-AIT tape drive having a performance of 30 MB / s and 500 GB / volume (uncompressed) can be used as a high-speed and large-capacity medium. However, a backup time that is 10 times longer than the recording time is required.

このような記録装置200を使って、撮影を効率よく行うためには、撮影時間が多少長くかかっても、不用な画像を減らす作業(図9のステップS906参照)が重要となる。画像データの容量が増えれば、それだけその後に行う転送時間や、バックアップ(図9のステップS908参照)/リストア(図10のステップS1001参照)時間などの処理時間の増大に大きく影響する。したがって、撮影された画像に関しては、なるべくNGの少ない「カット」や「シーン」を、記録媒体に保存することが大事となる。   In order to efficiently perform photographing using such a recording apparatus 200, an operation of reducing unnecessary images (see step S906 in FIG. 9) is important even if the photographing time is somewhat long. As the capacity of the image data increases, the transfer time to be performed thereafter and the processing time such as backup (see step S908 in FIG. 9) / restore (see step S1001 in FIG. 10) increase greatly. Therefore, regarding the captured image, it is important to store “cut” and “scene” with as little NG as possible on the recording medium.

よって、図9のステップS905のように、現場での「カット」や「シーン」ごとの画像判定が、画像記録再生装置200のリソースや処理時間の効率化を図る上で重要となる。例えば、映画のロケにおいては、撮影された「カット」が問題なく撮影されているか、監督やカメラマン、その他の関係者により、その場で確認されること(図9のステップS904参照)が重要である。ハイビジョン(HD)映像による撮影を行った場合には、現場でHDモニターを使い、そのカット画像の全画面を等倍に表示し、確認することができる。しかし、超高精細画像による撮影の場合には、現場でこの動画像の全画面を等倍に表示することができる表示装置がないため、確認が困難である。   Therefore, as in step S905 in FIG. 9, image determination for each “cut” or “scene” in the field is important for improving the resource and processing time of the image recording / reproducing apparatus 200. For example, in the location of a movie, it is important to check on the spot (see step S904 in FIG. 9) whether the photographed “cut” has been photographed without any problem by a director, a photographer, or other related parties. is there. When shooting with high-definition (HD) video, an HD monitor can be used in the field, and the entire screen of the cut image can be displayed at the same magnification for confirmation. However, in the case of shooting with an ultra-high-definition image, it is difficult to confirm because there is no display device that can display the entire screen of the moving image at the same magnification in the field.

高精細化された画像の中の1画素ごとの情報を確認するためには、人間の目の分解能(最小識別能力)と距離および表示装置の画角との関係が重要となる。人間の裸眼視力を1.0とすると、最小分解能は60秒位とされている。これより、表示装置の水平画素数を4000画素とすると、1.5mから確認することが可能なモニターの水平サイズは最低でも約175cm(対角80インチ)となり、現場で準備するには大きな機材となってしまう。現状ではこのような仕様でデジタル動画像を表示することができる表示装置はない。   In order to confirm information for each pixel in a high-definition image, the relationship between the resolution (minimum discrimination capability) of the human eye, the distance, and the angle of view of the display device is important. When the human naked eye vision is 1.0, the minimum resolution is about 60 seconds. Therefore, assuming that the number of horizontal pixels of the display device is 4000 pixels, the horizontal size of the monitor that can be confirmed from 1.5 m is at least about 175 cm (80 inches diagonal), which is a big equipment to prepare on site End up. At present, there is no display device capable of displaying a digital moving image with such specifications.

各「カット」の画像の良否を判定する上で重要な点として、撮影者側である監督やカメラマンによる、その「カット」における撮影の意図・目的、およびその「カット」が画像のどの点(主体)に注目して撮影されたものであるかということを知ることが重要となる。撮影のストーリーの中では、その主体が常に画面の中央にあるとは限らず、画面の端から現れ、そして消えていくような「カット」もある。また、その主体に対して常にフォーカスが合っているとは限らず、デフォーカス状態からフォーカス状態へと変化する「カット」や、カメラのフォーカスが固定で主体が前後に移動する「カット」もある。   The important points in determining the quality of each “cut” image are the intent and purpose of the shooting in the “cut” by the director or cameraman on the photographer side, and which point of the image the “cut” is ( It is important to know whether the photograph was taken with a focus on the subject. In the shooting story, the subject is not always in the center of the screen, but there are “cuts” that appear and disappear from the edge of the screen. In addition, the subject is not always in focus, and there is a “cut” that changes from the defocused state to the focused state, and a “cut” that moves the subject back and forth with the camera focus fixed. .

このように、撮影意図によって、画像のチェックポイントの評価内容が異なり、また、静止画で「カット」を評価することができることもあれば、動画で「カット」を観察して評価しなければならないこともある。現場での画像のチェックポイントに関しては、ピント状態やコントラスト、色飛び(白飛び、黒潰れ)等が重要であり、デジタル編集による後処理行程での修正が難しい画像に対しては、撮り直しが必要になる。   As described above, the evaluation contents of the checkpoint of the image differ depending on the shooting intention, and the “cut” can be evaluated in the still image, or the “cut” must be observed and evaluated in the moving image. Sometimes. Regarding on-site image checkpoints, focus state, contrast, color skipping (whiteout, blackout), etc. are important. For images that are difficult to correct in the post-processing step by digital editing, re-shooting is possible. I need it.

したがって、現状では、SHD画像がHD画像サイズとなるように画素を間引きした縮小画像により、画像全体の映像を確認する(HDモニター600による)か、またはSHD4分割画像を切り換えて、4分の1の等倍画像として1部分ごとに確認(HDモニター500による)している。しかし、縮小画像を用いた画像の確認においては、全体のフォーカスの変化を見ることはできるが、フォーカス距離位置にある物体の合焦状態を見るのは困難であり、4分の1等倍画像を用いた画像の確認においては、注目点がその画面内にあるとは限らず、評価を迅速に行うには表示が不十分である。   Therefore, at present, the image of the entire image is confirmed (by the HD monitor 600) by the reduced image obtained by thinning pixels so that the SHD image becomes the HD image size, or the SHD 4-divided image is switched to a quarter. The same size image is confirmed for each part (by the HD monitor 500). However, in the confirmation of the image using the reduced image, it is possible to see the entire focus change, but it is difficult to see the in-focus state of the object at the focus distance position. In the confirmation of an image using, the point of interest is not always in the screen, and the display is insufficient for quick evaluation.

また、HDモニター500を4面マルチ表示装置として構成し、そのマルチ表示装置を車等の移動体の中に設置するなどして、撮影現場から送られる撮影画像を移動体の中でモニターすることも行われている。しかし、装置構成がより大型となり、撮影場所から遠く離れたところにしか停車することができないこともある。よって、撮影者とは別の人間がその画像を評価しなければならず、撮影者側の撮影意図(注目点)がわからず、その画像の合否判定を行うことができないことがある。
特開2000−152145号公報 特開2002−374443号公報 特開平6−38102号公報
In addition, the HD monitor 500 is configured as a four-sided multi-display device, and the multi-display device is installed in a moving body such as a car so that a captured image sent from the shooting site is monitored in the moving body. Has also been done. However, the device configuration becomes larger, and it may be possible to stop only at a location far away from the shooting location. Therefore, a person different from the photographer must evaluate the image, and the photographer's intention to capture the image (attention point) may not be known, and the pass / fail determination of the image may not be performed.
JP 2000-152145 A JP 2002-374443 A JP-A-6-38102

上述したように、従来の画像記録再生装置に記録された画像を再生および表示して、撮影画像の確認を行う場合に、画像中の注目点の場所を評価者が分からず、画像の確認作業を効率的に行うことができないという問題があった。   As described above, when an image recorded in a conventional image recording / playback apparatus is played back and displayed to check a captured image, the evaluator does not know the location of the point of interest in the image, and the image check operation There was a problem that it could not be performed efficiently.

本発明は、上述した問題点に鑑みてなされたものであって、撮影された画像の確認作業を効率的に行うことができる画像記録再生装置を提供することを目的とする。   The present invention has been made in view of the above-described problems, and an object of the present invention is to provide an image recording / reproducing apparatus capable of efficiently confirming a photographed image.

本発明は上記の課題を解決するためになされたもので、請求項1に記載の発明は、被写体を撮像し、画像データを生成する撮像手段から連続的に入力された前記画像データを記録すると共に、前記画像データを再生して外部装置へ出力する画像記録再生装置において、前記画像データを記憶する記憶手段と、前記撮像手段から入力された前記画像データを前記記憶手段に格納する画像データ制御手段と、前記画像データに関連付けられており、前記画像データ中の注目点を示す注目点情報を前記記憶手段に格納する注目点情報制御手段と、前記画像データの再生時に、前記注目点情報に基づいて前記画像データを処理する画像処理手段とを具備することを特徴とする画像記録再生装置である。   The present invention has been made to solve the above-described problems, and the invention according to claim 1 images the subject and records the image data continuously input from an imaging means for generating image data. In addition, in an image recording / reproducing apparatus that reproduces and outputs the image data to an external device, storage means for storing the image data and image data control for storing the image data input from the imaging means in the storage means Means, attention point information control means for storing attention point information indicating the attention point in the image data and indicating the attention point in the image data, and at the time of reproducing the image data, An image recording / reproducing apparatus comprising image processing means for processing the image data based on the image data.

注目点は、画像データ中の注目すべき点を示している。注目点は厳密な点に限定されず、その点を含んだ領域であってもよい。注目点情報は、例えば注目点の位置を示す情報と、注目点を含むある領域の大きさを示す情報とを含む情報である。   The attention point indicates a point to be noted in the image data. The attention point is not limited to a strict point, and may be a region including the point. The attention point information is information including, for example, information indicating the position of the attention point and information indicating the size of a certain region including the attention point.

請求項2に記載の発明は、請求項1に記載の画像記録再生装置において、前記画像処理手段は、前記画像データに基づいて、該画像データの画素数を縮小した縮小画像データを生成する縮小画像生成手段と、前記注目点情報に基づいて、前記画像データから、前記注目点を含む一部を切り出し、トリミング画像データを生成するトリミング画像生成手段とを具備することを特徴とする。   According to a second aspect of the present invention, in the image recording / reproducing apparatus according to the first aspect, the image processing means generates a reduced image data obtained by reducing the number of pixels of the image data based on the image data. An image generation means and trimming image generation means for generating a trimming image data by cutting out a part including the attention point from the image data based on the attention point information.

請求項3に記載の発明は、請求項2に記載の画像記録再生装置において、前記トリミング画像生成手段はさらに、前記注目点情報に基づいて、前記画像データから、前記注目点を含む一部の画像データを切り出し、切り出した画像データと等倍の画素数の画像データ、または画素数を変換して拡大した画像データをトリミング画像データとして生成することを特徴とする。   According to a third aspect of the present invention, in the image recording / reproducing apparatus according to the second aspect, the trimmed image generating unit further includes a part of the image data including the attention point based on the attention point information. The image data is cut out, and image data having the same number of pixels as the cut-out image data or image data enlarged by converting the number of pixels is generated as trimmed image data.

トリミング画像生成手段によって生成されたトリミング画像データに基づいた画像をモニター等の表示手段によって表示する場合に、切り出した画像データの画素数が表示手段の画素数と等しい場合には、切り出した画像データの画素数を変換せず等倍のトリミング画像データとする。また、切り出した画像データの画素数が表示手段の画素数よりも少ない場合には、切り出した画像データの画素数を変換して画像を拡大することにより、表示手段の画素数と等しい画素数の画像データをトリミング画像データとする。   When an image based on the trimmed image data generated by the trimmed image generating means is displayed on a display means such as a monitor, if the number of pixels of the clipped image data is equal to the number of pixels of the display means, the clipped image data The number of pixels is not converted, and the trimmed image data is set to the same size. Further, when the number of pixels of the cut-out image data is smaller than the number of pixels of the display means, the number of pixels equal to the number of pixels of the display means is obtained by converting the number of pixels of the cut-out image data and enlarging the image. The image data is trimmed image data.

請求項4に記載の発明は、請求項2または請求項3に記載の画像記録再生装置において、前記撮像手段から入力される前記画像データは、1つの画像が複数の領域に分割され、各領域の画像を示す複数の画像データであり、前記複数の画像データを合成し、1つの合成画像データを生成する画像合成手段をさらに具備し、前記縮小画像生成手段は、前記合成画像データに基づいて、該合成画像データの画素数を縮小した縮小画像データを生成し、前記トリミング画像生成手段は、前記注目点情報に基づいて、前記合成画像データから、前記注目点を含む一部を切り出し、トリミング画像データを生成することを特徴とする。   According to a fourth aspect of the present invention, in the image recording / reproducing apparatus according to the second or third aspect, the image data input from the imaging unit is obtained by dividing one image into a plurality of regions. A plurality of image data representing an image of the image, further comprising image composition means for combining the plurality of image data and generating one composite image data, wherein the reduced image generation means is based on the composite image data. Generating reduced image data in which the number of pixels of the composite image data is reduced, and the trimming image generation means cuts out a part including the attention point from the composite image data based on the attention point information, and performs trimming Image data is generated.

画像データを生成する撮像手段が、例えば超高精細画像用動画カメラ(SHDカメラ)である場合には、撮像手段は、SHD画像を4分割し、例えばHD−SDI規格に基づいて画像記録再生装置へ出力する。この場合、画像合成手段は、4分割されたSHD画像の各画像に対応した4つのHD画像データを合成してSHD画像データを生成する。縮小画像生成手段はこのSHD画像データの画素を間引く、あるいは画素補間を行うことにより縮小画像データを生成する。トリミング画像生成手段は、注目点情報に基づいてSHD画像データからトリミング画像データを生成する。   When the imaging means for generating the image data is, for example, an ultra high-definition moving image camera (SHD camera), the imaging means divides the SHD image into four parts and, for example, an image recording / reproducing device based on the HD-SDI standard. Output to. In this case, the image synthesizing unit generates SHD image data by synthesizing four HD image data corresponding to each of the four divided SHD images. The reduced image generation means generates reduced image data by thinning out pixels of the SHD image data or performing pixel interpolation. The trimming image generation means generates trimming image data from the SHD image data based on the attention point information.

請求項5に記載の発明は、請求項2〜請求項4のいずれかの項に記載の画像記録再生装置において、前記注目点情報は、前記注目点の位置と、前記トリミング画像生成手段によって切り出される領域の大きさとを示す情報であることを特徴とする。   According to a fifth aspect of the present invention, in the image recording / reproducing apparatus according to any one of the second to fourth aspects, the attention point information is cut out by the position of the attention point and the trimming image generation means. It is information indicating the size of the area to be displayed.

請求項6に記載の発明は、請求項2〜請求項5のいずれかの項に記載の画像記録再生装置において、前記縮小画像生成手段はさらに、前記注目点情報に基づいて、前記注目点を表示するための注目点画像データを生成し、前記縮小画像データに対して前記注目点画像データを合成することを特徴とする。   According to a sixth aspect of the present invention, in the image recording / reproducing apparatus according to any one of the second to fifth aspects, the reduced image generating means further determines the attention point based on the attention point information. Attention point image data for display is generated, and the attention point image data is synthesized with the reduced image data.

注目点画像データに基づいた画像は、注目点の位置または注目点が含まれる領域を示す画像であればよい。例えば、注目点を含む領域の大きさを示す画像枠や、注目点の位置を示す矢印マーク、注目点を通る垂直線および水平線、注目点を中心とする十字マーク、あるいはこれらの組み合わせ等を画像として表示することができればよい。   The image based on the attention point image data may be an image indicating the position of the attention point or the region including the attention point. For example, an image frame indicating the size of the area including the attention point, an arrow mark indicating the position of the attention point, vertical and horizontal lines passing through the attention point, a cross mark centering on the attention point, or a combination of these images As long as it can be displayed.

請求項7に記載の発明は、請求項1〜請求項6のいずれかの項に記載の画像記録再生装置において、ユーザによって前記注目点が入力される注目点入力手段と、前記注目点入力手段に入力された前記注目点に基づいて、前記注目点情報を生成する注目点情報生成手段とをさらに具備することを特徴とする。   According to a seventh aspect of the present invention, in the image recording / reproducing apparatus according to any one of the first to sixth aspects, an attention point input means for inputting the attention point by a user, and the attention point input means And a point of interest information generation means for generating the point of interest information based on the point of interest input to the screen.

請求項8に記載の発明は、請求項7に記載の画像記録再生装置において、前記注目点入力手段は、前記画像データ中の前記注目点の位置座標を指定する情報が入力されるポインティング装置であることを特徴とする。このポインティング装置は、例えばマウスや、トラックパッド(トラックボード)、トラックボール等である。   An eighth aspect of the present invention is the image recording / reproducing apparatus according to the seventh aspect, wherein the attention point input means is a pointing device to which information specifying the position coordinates of the attention point in the image data is input. It is characterized by being. The pointing device is, for example, a mouse, a track pad (track board), a track ball, or the like.

請求項9に記載の発明は、請求項8に記載の画像記録再生装置において、前記注目点入力手段は、前記注目点を含む画像を表示する表示手段と、ユーザによって前記注目点の位置が入力されるタッチパネルとを具備することを特徴とする。   According to a ninth aspect of the present invention, in the image recording / reproducing apparatus according to the eighth aspect, the attention point input means includes display means for displaying an image including the attention point, and a position of the attention point is input by a user. It is characterized by comprising a touch panel.

請求項10に記載の発明は、請求項1〜請求項9のいずれかの項に記載の画像記録再生装置において、異なる複数の前記画像データ中の注目点の位置を追跡し、該注目点の位置が変位した場合に、該注目点の位置の変位に応じて前記注目点情報を更新する注目点追跡手段をさらに具備することを特徴とする。   According to a tenth aspect of the present invention, in the image recording / reproducing device according to any one of the first to ninth aspects, the position of the point of interest in the plurality of different image data is tracked, and The apparatus further comprises attention point tracking means for updating the attention point information in accordance with the displacement of the position of the attention point when the position is displaced.

本発明によれば、撮影された画像データ中の注目点を示す注目点情報を画像データと共に記録し、画像の再生時に、注目点情報に基づいて画像データを処理するようにしたので、撮影された画像の確認作業を効率的に行うことができるという効果が得られる。   According to the present invention, the attention point information indicating the attention point in the captured image data is recorded together with the image data, and the image data is processed based on the attention point information when the image is reproduced. The effect that the confirmation work of the obtained image can be performed efficiently is obtained.

以下、図面を参照し、本発明を実施するための最良の形態について説明する。図1は、本発明の第1の実施形態による画像記録再生装置200の構成を示すブロック図である。以下、図中の各構成について説明する。画像制御部201は画像データの記録および再生の制御を行う。画像制御部201は、画像の記録時には、インタフェース(図示せず)を介して外部装置から入力された、映像データを構成する複数のフレームごとの画像データを示す入力画像情報を、HDD202に記録(格納)する。入力画像情報は、通常、動画用デジタルカメラから出力され、画像記録再生装置200に入力される。画像制御部201は、画像の再生時には、HDD202から画像データを1フレームずつ読み出して、画像再生処理部206へ出力する。   The best mode for carrying out the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a configuration of an image recording / reproducing apparatus 200 according to the first embodiment of the present invention. Hereinafter, each component in the figure will be described. The image control unit 201 controls image data recording and reproduction. When recording an image, the image control unit 201 records input image information indicating image data for each of a plurality of frames included in the video data, which is input from an external device via an interface (not shown), in the HDD 202 ( Store. The input image information is usually output from a moving image digital camera and input to the image recording / reproducing apparatus 200. The image control unit 201 reads out image data frame by frame from the HDD 202 and outputs the image data to the image reproduction processing unit 206 during image reproduction.

また、画像制御部201は、外部装置から入力された画像データをHDD202に記録すると同時に、再生用の画像として、画像データを画像再生処理部206へ出力する機能も有している。さらに、画像制御部201は、各フレームの画像データを識別するための画像識別情報(画像データのシーケンス番号や、撮影時刻を示すタイムコード等)を注目点情報制御部205へ出力する。   The image control unit 201 also has a function of recording image data input from an external device in the HDD 202 and simultaneously outputting image data to the image reproduction processing unit 206 as a reproduction image. Further, the image control unit 201 outputs image identification information for identifying the image data of each frame (image data sequence number, time code indicating photographing time, etc.) to the point-of-interest information control unit 205.

HDD202は、画像データおよび注目点情報等を記憶する。注目点情報は画像データに関連付けられており、画像データ中の注目点の位置を示す注目点位置情報と、注目点を含む領域の大きさを示す領域サイズ情報とを含んでいる。注目点は、撮影された画像において、撮影側の撮影意図および目的が込められた注目すべき点であるが、必ずしも厳密な点を意味するのではなく、その点を含む画像上の広がりを持った領域も含んでいる。注目点情報の詳細については、後述する。   The HDD 202 stores image data, attention point information, and the like. The attention point information is associated with the image data, and includes attention point position information indicating the position of the attention point in the image data, and region size information indicating the size of the region including the attention point. The point of interest is a point that should be noted in the captured image, which includes the shooting intention and purpose of the shooting side, but does not necessarily mean an exact point, but has a spread on the image including that point. It also includes other areas. Details of the attention point information will be described later.

入力指示部204は、ユーザによって操作される例えばタッチパネル等の機器であり、注目点の位置を指定する情報が非同期に入力される。入力指示部204は、この情報を注目情報として、インタフェースを介して注目点情報制御部205へ出力する。注目情報は、入力指示部204においての、注目点の位置と、注目点を含む領域の大きさを示す物理的な座標情報である。この入力指示部204は画像記録再生装置200の外部に設けられている。   The input instruction unit 204 is a device such as a touch panel operated by the user, and information specifying the position of the target point is input asynchronously. The input instruction unit 204 outputs this information as attention information to the attention point information control unit 205 via the interface. The attention information is physical coordinate information indicating the position of the attention point and the size of the region including the attention point in the input instruction unit 204. This input instruction unit 204 is provided outside the image recording / reproducing apparatus 200.

注目点情報制御部205は、入力指示部204から出力された注目情報に基づいて注目点情報を生成し、この注目点情報の記録および再生の制御を行う。注目点情報制御部205は、注目点情報の記録時には注目点情報に対して、画像制御部201から出力された画像識別情報を付与し、注目点情報をHDD202に記録する。これにより、各フレームの画像データに関連付けられた注目点情報がHDD202に記録されることになる。なお、注目点情報を生成する場合に、注目点情報制御部205は、注目情報によって示される物理的な座標情報を、画像データ上の位置情報に変換するが、このとき注目点情報制御部205が用いる変換式は、図示せぬRAM等に予め記憶されている。   The attention point information control unit 205 generates attention point information based on the attention information output from the input instruction unit 204, and controls recording and reproduction of the attention point information. The attention point information control unit 205 assigns the image identification information output from the image control unit 201 to the attention point information when recording the attention point information, and records the attention point information in the HDD 202. As a result, attention point information associated with the image data of each frame is recorded in the HDD 202. When generating attention point information, the attention point information control unit 205 converts physical coordinate information indicated by the attention information into position information on the image data. At this time, the attention point information control unit 205 The conversion formula used by is stored in advance in a RAM (not shown) or the like.

注目点情報制御部205は、注目点情報の再生時には、HDD202から注目点情報を読み出して画像再生処理部206へ出力する。また、注目点情報制御部205は、注目点情報をHDD202に記録すると同時に、画像再生処理部206へ出力する機能も有している。画像再生処理部206は、画像制御部201から出力された画像データを再生画像情報として外部装置(編集装置等)へ出力すると共に、注目点情報に基づいて、画像データに対する処理(縮小画像データおよびトリミング画像データの生成)を行い、生成した縮小画像データおよびトリミング画像データを外部の表示装置へ出力する。   The attention point information control unit 205 reads attention point information from the HDD 202 and outputs the attention point information to the image reproduction processing unit 206 when reproducing the attention point information. The attention point information control unit 205 also has a function of recording attention point information in the HDD 202 and simultaneously outputting the attention point information to the image reproduction processing unit 206. The image reproduction processing unit 206 outputs the image data output from the image control unit 201 as reproduction image information to an external device (such as an editing device), and processes the image data (reduced image data and Generation of trimmed image data), and the generated reduced image data and trimmed image data are output to an external display device.

画像記録再生装置200に対する入力画像情報および注目情報の入力手段は、動画用デジタルカメラおよび入力指示部204から画像記録再生装置200に各情報を転送できる機能があれば、手段を問わない。例えば、HD−SDI、LANなど一般的な規格を使っても構わないし、注目情報に限れば、RS232C、USB、IEEE-1394など低速のインタフェースでもよく、画像記録再生装置200と入力指示部204との通信を達成することができれば、独自のインタフェースでも構わない。また、本実施形態のように、入力画像情報と注目情報とを、物理的に異なるインタフェースより入力することも可能であるが、注目情報が入力画像情報に追加された情報としてひとつのインタフェースで入力されても構わない。   Any input image information and attention information input means for the image recording / reproducing apparatus 200 may be used as long as each information can be transferred from the moving image digital camera and the input instruction unit 204 to the image recording / reproducing apparatus 200. For example, a general standard such as HD-SDI or LAN may be used, and as long as the information of interest is limited, a low-speed interface such as RS232C, USB, or IEEE-1394 may be used. As long as the communication can be achieved, an original interface may be used. In addition, as in the present embodiment, it is possible to input the input image information and the attention information from physically different interfaces, but the attention information is input as information added to the input image information through one interface. It does not matter.

画像再生処理部206は、画像データを基本的に入力画像情報と同じインタフェースとフォーマット仕様で再生画像情報として出力する。画像再生処理部206は、HDD202から読み出された画像データを出力するが、入力画像情報をそのまま切り換え、モニター出力することも可能である。また、HDD202に記録される画像データは、画像制御部201により、非圧縮で記録されるが、ロスレスデータ圧縮による記録を行うこともできる。圧縮データが記録されている場合には、画像再生処理部206において伸張処理が行われる。   The image reproduction processing unit 206 outputs the image data as reproduction image information basically with the same interface and format specifications as the input image information. The image reproduction processing unit 206 outputs the image data read from the HDD 202, but it is also possible to switch the input image information as it is and output it to the monitor. The image data recorded in the HDD 202 is recorded without compression by the image control unit 201, but can also be recorded by lossless data compression. When compressed data is recorded, the image reproduction processing unit 206 performs expansion processing.

次に、注目点情報について説明する。図2は、入力画像情報と注目点情報との時間的な関連を示している。図において、入力画像情報を構成する各フレームの画像データに対して、注目点情報が関連付けられていることが示されている。画像データと注目点情報との対応関係を示す画像識別情報は付帯的な情報であり、ここでは図示を省略している。図中のP1,P2,・・・,Pxは注目点位置情報を示しており、S1,S2,・・・,Sxは領域サイズ情報を示している。   Next, attention point information will be described. FIG. 2 shows a temporal relationship between input image information and attention point information. In the figure, it is shown that attention point information is associated with the image data of each frame constituting the input image information. Image identification information indicating the correspondence between image data and attention point information is incidental information, and is not shown here. In the figure, P1, P2,..., Px indicate attention point position information, and S1, S2,..., Sx indicate area size information.

注目点情報制御部205は、入力指示部204におけるユーザによる入力が確定し、注目情報が入力される時点までは、注目点情報として既定値情報(Px,Sx)を使用する。入力指示部204において、注目点および注目点を含む領域の大きさがユーザによって指定された場合、入力指示部204は注目情報を生成し、インタフェースを介して注目点情報制御部205へ出力する。注目点情報制御部205は、注目情報を注目点情報に変換し、注目情報が入力された時点以後の最も近いフレームに対応した注目点情報とする。   The attention point information control unit 205 uses the default value information (Px, Sx) as the attention point information until the input by the user in the input instruction unit 204 is confirmed and the attention information is input. When the user designates the attention point and the size of the area including the attention point in the input instruction unit 204, the input instruction unit 204 generates attention information and outputs it to the attention point information control unit 205 via the interface. The point-of-interest information control unit 205 converts the point-of-interest information into point-of-interest information, and sets the point-of-interest information corresponding to the closest frame after the point in time when the point-of-interest information is input.

例えば、図示されているように、入力指示部204から注目情報(P1’,S1’)が入力された場合、この時点の次の画像フレームに対応した注目点情報が示す情報は(P1,S1)となる。また、注目点位置情報のみや、領域サイズ情報のみを変更する情報が入力された場合にも、その指定に応じて、次の画像フレームに対応した注目点情報が変更される。なお、注目情報を不連続に生成するのではなく、入力指示部204が注目情報を連続的に生成するようにし、ユーザによる入力が行われなかった場合には同じ注目情報を連続的に生成し、ユーザによる入力が行われた場合に注目情報を更新してもよい。   For example, as shown in the figure, when attention information (P1 ′, S1 ′) is input from the input instruction unit 204, information indicated by attention point information corresponding to the next image frame at this time is (P1, S1). ) Also, when information for changing only attention point position information or only region size information is input, the attention point information corresponding to the next image frame is changed according to the designation. Note that the attention information is not generated discontinuously, but the input instruction unit 204 continuously generates the attention information. If no input is performed by the user, the same attention information is continuously generated. The attention information may be updated when an input is made by the user.

入力指示部204から入力される物理的な座標情報は、注目点情報制御部205によって、入力画像上の座標点へ変換するための変換式を用いて、入力画像上の座標点に変換される。この入力指示部204からの注目情報は、動画用デジタルカメラの内部機能からの一つの情報としても構わないし、別の装置からの出力でも構わない。なお、注目点情報は、入力画像情報を構成する一つ一つの画像データと論理的にリンクしてHDD202に記録されていればよく、入力画像情報と注目点情報とが、データとして別々のファイルに記録されても、また、異なった記録媒体に記録されても構わない。   The physical coordinate information input from the input instruction unit 204 is converted into coordinate points on the input image by the attention point information control unit 205 using a conversion formula for conversion to coordinate points on the input image. . The attention information from the input instruction unit 204 may be one piece of information from the internal function of the moving image digital camera, or may be output from another device. Note that the attention point information only needs to be logically linked to each piece of image data constituting the input image information and recorded in the HDD 202, and the input image information and the attention point information are stored in separate files as data. Or may be recorded on a different recording medium.

次に、本実施形態による画像録画装置200の動作について説明する。以下では、入力された入力画像情報および注目点情報を一旦記録してから画像を再生する場合の動作について説明する。入力画像情報を構成する各フレームの画像データが、図示せぬインタフェースを介して画像制御部201に入力される。画像制御部201は、画像データを識別するための画像識別情報を注目点情報制御部205へ出力すると共に、画像データをHDD202に記録する。   Next, the operation of the image recording apparatus 200 according to the present embodiment will be described. Hereinafter, an operation in the case where the input image information and attention point information that has been input is once recorded and then the image is reproduced will be described. Image data of each frame constituting the input image information is input to the image control unit 201 via an interface (not shown). The image control unit 201 outputs image identification information for identifying the image data to the attention point information control unit 205 and records the image data in the HDD 202.

注目点情報制御部205には、インタフェースを介して、注目情報が不連続(非同期的)に入力される。注目点情報制御部205は、最初のフレームの画像データに対しては、予め設定されている規定の初期値を用いて注目点情報を生成する。注目点情報制御部205は、画像制御部201から出力された画像識別情報を注目点情報に付与し、注目点情報をHDD202に記録する。注目点情報制御部205は、生成した注目点情報を図示せぬRAMに保持し、入力指示部204からの注目情報の入力を監視する。   The attention point information control unit 205 receives attention information discontinuously (asynchronously) via the interface. The point-of-interest information control unit 205 generates point-of-interest information for the first frame of image data using a predetermined initial value set in advance. The attention point information control unit 205 assigns the image identification information output from the image control unit 201 to the attention point information, and records the attention point information in the HDD 202. The attention point information control unit 205 holds the generated attention point information in a RAM (not shown), and monitors the input of attention information from the input instruction unit 204.

注目情報が入力されなかった場合には、注目点情報制御部205は、画像制御部201から出力された画像識別情報を、保持している注目点情報に付与し、注目点情報をHDD202に記録する。また、注目情報が入力され、注目点位置を示す情報が注目情報に含まれていた場合には、注目情報制御部205は、図示せぬRAMから座標の変換式を読み出して参照し、注目情報中の、注目点位置に関する情報に基づいて、保持している注目点情報中の注目点位置情報を更新する。   When attention information is not input, the attention point information control unit 205 adds the image identification information output from the image control unit 201 to the held attention point information, and records the attention point information in the HDD 202. To do. When attention information is input and information indicating the position of the attention point is included in the attention information, the attention information control unit 205 reads and refers to a coordinate conversion formula from a RAM (not shown), and The attention point position information in the attention point information held is updated based on the information on the attention point position.

また、注目情報が入力され、注目点を含む領域の大きさを示す情報が注目情報に含まれていた場合には、注目情報制御部205は、注目点を含む領域の大きさを示す情報に基づいて、保持している注目点情報中の領域サイズ情報を更新する。注目情報制御部205は、以上のように更新した注目点情報に対して画像識別情報を付与し、注目点情報をHDD202に記録する。   In addition, when attention information is input and information indicating the size of the region including the attention point is included in the attention information, the attention information control unit 205 displays the information indicating the size of the region including the attention point. Based on this, the region size information in the attention point information held is updated. The attention information control unit 205 assigns image identification information to the attention point information updated as described above, and records the attention point information in the HDD 202.

画像の再生を行う場合には、画像制御部201はHDD202から画像データを読み出し、画像再生処理部206へ出力する。また、注目点情報制御部205は、その画像データに関連付けられた注目点情報をHDD202から読み出し、画像再生処理部206へ出力する。   When image reproduction is performed, the image control unit 201 reads out image data from the HDD 202 and outputs the image data to the image reproduction processing unit 206. The attention point information control unit 205 reads attention point information associated with the image data from the HDD 202 and outputs the attention point information to the image reproduction processing unit 206.

画像再生処理部206は、画像データを2種類の画像フォーマットに変換し、同時に出力する。ひとつは縮小画像出力であり、画像再生処理部206は、画像データの画素を間引きするか、あるいは画素補間することにより解像度(画素数)を縮小した縮小画像データを生成し、その縮小画像データを出力する。もうひとつがトリミング画像出力であり、画像再生処理部206は、注目点情報によって示される注目点位置情報と領域サイズ情報とに基づいて、画像データから、注目点を含むと共に、領域サイズ情報に基づいた大きさの画像データを切り出し、切り出した画像データ(トリミング画像データ)を出力する。   The image reproduction processing unit 206 converts the image data into two types of image formats and outputs them simultaneously. One is a reduced image output, and the image reproduction processing unit 206 generates reduced image data in which the resolution (number of pixels) is reduced by thinning out pixels of the image data or by performing pixel interpolation, and the reduced image data is converted into the reduced image data. Output. The other is trimmed image output, and the image reproduction processing unit 206 includes the attention point from the image data based on the attention point position information and the region size information indicated by the attention point information, and based on the region size information. The image data of a predetermined size is cut out, and the cut out image data (trimming image data) is output.

トリミング画像データを切り出す場合の切り出し領域の大きさは、通常、注目点情報に含まれる領域サイズ情報に基づいて決定されるが、外部の表示装置の画素サイズを最大サイズの制限値として設けることも可能である。つまり、切り出し領域の大きさが最大のときに、表示装置における表示画像が等倍サイズとなる。また、切り出し領域の大きさが表示装置の画素サイズよりも小さい場合には、画素補間等を用いてトリミング画像データの画素数を変換して画像を拡大し、表示装置における表示画像と等倍のサイズとする。   The size of the cutout area when trimming image data is cut out is usually determined based on the area size information included in the point-of-interest information, but the pixel size of the external display device may be provided as a maximum size limit value. Is possible. That is, when the size of the cutout area is the maximum, the display image on the display device is the same size. In addition, when the size of the cutout area is smaller than the pixel size of the display device, the number of pixels of the trimmed image data is converted using pixel interpolation or the like to enlarge the image, and is the same size as the display image on the display device. Size.

なお、切り出し領域の最小サイズも制限値として設定しておくことにより、無意味な領域までの拡大を制限することができる。外部のHDモニター等において、縮小画像およびトリミング画像が表示され、画像の良否に関する判定が評価者によって行われる。また、編集時には、画像制御部201はHDD202から編集用の画像データを読み出し、画像再生処理部206へ出力する。画像再生処理部206は、画像データを再生画像情報として外部の編集装置等へ出力する。   Note that by setting the minimum size of the cutout area as a limit value, it is possible to limit expansion to a meaningless area. A reduced image and a trimmed image are displayed on an external HD monitor or the like, and the evaluator determines whether the image is good or bad. At the time of editing, the image control unit 201 reads image data for editing from the HDD 202 and outputs it to the image reproduction processing unit 206. The image reproduction processing unit 206 outputs the image data as reproduction image information to an external editing device or the like.

注目点情報は、連続する画像データ一つ一つにリンクされた情報であるため、その情報に従って、トリミング画像の表示内容が変化する。つまり、カメラを静止した状態で撮影を行って撮影画像データを生成しても、注目点情報を変化させるだけで、トリミング画像の再生表示では、あたかもカメラをパンしたり、ズーミングしたかのような表示になる。   Since the attention point information is information linked to each successive image data, the display content of the trimmed image changes according to the information. In other words, even if shooting is performed while the camera is stationary and the captured image data is generated, only the point of interest information is changed. Display.

なお、HDD202に記録された注目点情報を注目点情報制御部205が読み出して、インタフェースを介して他の外部装置へ注目点情報を出力し、他の外部装置がこの注目点情報を使用してもよい。   The attention point information control unit 205 reads the attention point information recorded in the HDD 202 and outputs the attention point information to another external device via the interface. The other external device uses this attention point information. Also good.

上述したように、本実施形態においては、画像の記録時に、注目点情報制御部205が注目点情報を生成し、入力画像情報に関連付けてHDD202に格納する。また、画像の再生時に、画像再生処理部206が、画像データの画素数を縮小した縮小画像データを生成すると共に、注目点情報に基づいて、画像データから、注目点を含む一部の画像データを切り出し、表示装置の画素数と同じ画素数の画像データ、または画素数を変換して拡大した画像データをトリミング画像データとして生成する。   As described above, in the present embodiment, at the time of image recording, the attention point information control unit 205 generates attention point information and stores it in the HDD 202 in association with the input image information. Further, at the time of image reproduction, the image reproduction processing unit 206 generates reduced image data in which the number of pixels of the image data is reduced, and a part of the image data including the attention point from the image data based on the attention point information. And the image data having the same number of pixels as the number of pixels of the display device or the image data enlarged by converting the number of pixels is generated as trimmed image data.

再生時に注目して欲しい注目点とその注目点を含む領域とを画像の記録時に注目点情報として同時に記録することにより、いつでも、誰でも、その再生画像を見るだけで、撮影側の意図する注目点位置の画像を知ることができる。また、縮小画像を表示すれば、全体の構図や全体の画像バランスなどの判定が行うことができ、トリミング画像を表示すれば、注目点付近の詳細な画像を観察することができ、画像の評価を効率的に行うことができる。   By recording the point of interest you want to focus on at the time of playback and the region that includes the point of interest at the same time as the point-of-interest information at the time of recording the image, anyone can view the replayed image at any time, and the intended attention on the shooting side The image of the point position can be known. In addition, if a reduced image is displayed, the overall composition and overall image balance can be determined, and if a trimmed image is displayed, a detailed image near the point of interest can be observed, and image evaluation can be performed. Can be performed efficiently.

また、注目点情報が注目点の位置を示す注目点位置情報と、注目点を含む領域の大きさを示す領域サイズ情報とを含み、画像再生処理部206が、注目点位置情報と領域サイズ情報とに基づいてトリミング画像を生成することにより、撮影者の意図する注目点の位置とその大きさとを任意に変更することができる。   Further, the attention point information includes attention point position information indicating the position of the attention point and region size information indicating the size of the region including the attention point, and the image reproduction processing unit 206 performs the attention point position information and the region size information. By generating a trimmed image based on the above, it is possible to arbitrarily change the position and size of the target point intended by the photographer.

次に、本発明の第2の実施形態について説明する。図3は、第2の実施形態による画像記録再生装置200を備えた画像記録再生システムの構成を示すブロック図である。以下、図中の各構成について説明する。図1と同一の構成については説明を省略する。SHD動画カメラ100はSHD画像を撮影し、その出力をSHD撮像画像データとして出力する。SHD動画カメラ100は、5チャンネルのHD−SDIデジタル信号のインタフェースを持つ。   Next, a second embodiment of the present invention will be described. FIG. 3 is a block diagram showing a configuration of an image recording / reproducing system including the image recording / reproducing apparatus 200 according to the second embodiment. Hereinafter, each component in the figure will be described. The description of the same configuration as in FIG. 1 is omitted. The SHD video camera 100 captures an SHD image and outputs the output as SHD captured image data. The SHD video camera 100 has a 5-channel HD-SDI digital signal interface.

画像記録再生装置200は、SHD動画カメラ100に接続され、SHD動画カメラ100から出力されたSHD画像を記録すると共に、編集のために画像の再生を行う場合に、SHD画像の再生データを、4本のHD−SDI信号により編集装置300へ出力する。また、画像記録再生装置200は、第1の実施形態と同様に、縮小画像およびトリミング画像を生成し、各画像をHDモニター700およびHDモニター800のそれぞれへ出力する。   The image recording / reproducing apparatus 200 is connected to the SHD video camera 100, records the SHD image output from the SHD video camera 100, and reproduces SHD image reproduction data when reproducing the image for editing. The HD-SDI signal is output to the editing apparatus 300. Also, the image recording / reproducing apparatus 200 generates a reduced image and a trimmed image, and outputs each image to the HD monitor 700 and the HD monitor 800, as in the first embodiment.

編集装置300は、編集時に画像記録再生装置200に接続され、画像記録再生装置200から出力された再生データの編集を行う。撮影時に、画像記録再生装置200のHDD202の記憶容量を超える撮影が必要になった場合には、ファイバーチャネル等の図示せぬデジタルインタフェースを用いてテープ装置に撮影データを転送し、テープに対してのバックアップを行う。この場合の編集時には、テープに記録された撮影データを編集装置300に直接転送し、編集装置300で編集を行うこともできる。   The editing apparatus 300 is connected to the image recording / reproducing apparatus 200 during editing, and edits reproduction data output from the image recording / reproducing apparatus 200. If shooting exceeding the storage capacity of the HDD 202 of the image recording / playback apparatus 200 is required during shooting, the shooting data is transferred to the tape device using a digital interface (not shown) such as a fiber channel, and the tape is recorded. Perform a backup. At the time of editing in this case, the shooting data recorded on the tape can be directly transferred to the editing device 300 and edited by the editing device 300.

HDモニター500は、SHD動画カメラ100に接続され、SHD動画カメラ100から出力された撮影データに基づいて画像を表示する。HD−SDIの撮像データ出力信号にHDモニター500を4台並列に接続することにより、4分の1ずつの等倍画像を同時に確認することができるようになっている。HDモニター600は、SHD動画カメラ100に接続され、SHD動画カメラ100から出力された縮小画像データに基づいて、縮小画像を表示する。   The HD monitor 500 is connected to the SHD video camera 100 and displays an image based on the shooting data output from the SHD video camera 100. By connecting four HD monitors 500 in parallel to the image data output signal of HD-SDI, it is possible to simultaneously confirm an equal-magnification image of ¼ each. The HD monitor 600 is connected to the SHD video camera 100 and displays a reduced image based on the reduced image data output from the SHD video camera 100.

HDモニター700は、画像記録再生装置200に接続され、画像記録再生装置200から出力された縮小画像データに基づいて、縮小画像を表示する。HDモニター800は、画像記録再生装置200に接続され、画像記録再生装置200から出力されたトリミング画像データに基づいて、トリミング画像を表示する。   The HD monitor 700 is connected to the image recording / reproducing apparatus 200 and displays a reduced image based on the reduced image data output from the image recording / reproducing apparatus 200. The HD monitor 800 is connected to the image recording / reproducing apparatus 200 and displays a trimmed image based on the trimmed image data output from the image recording / reproducing apparatus 200.

SHD動画カメラ100が有する5チャンネルのうち4チャンネルは、SHD画像データを田の字型に4分割し、HD画像サイズに変換したHD分割画像出力用のチャンネルである。図3においては、4台のHDモニター500に、それぞれの分割画像に対応した撮影データが入力され、その分割画像が表示されている様子が示されている。同じ4チャンネルの画像データは、画像記録再生装置200のインタフェースを介して画像制御部201に入力される。   Of the five channels of the SHD video camera 100, four channels are HD divided image output channels obtained by dividing the SHD image data into four squares and converting them into HD image sizes. FIG. 3 shows a state in which shooting data corresponding to each divided image is input to four HD monitors 500 and the divided images are displayed. The same 4-channel image data is input to the image control unit 201 via the interface of the image recording / reproducing apparatus 200.

そして、もう1チャンネルは、SHD画像データの画素を間引いて、HD画像サイズの縮小画像に変換した縮小画像出力用のチャンネルである。図3においては、そのチャンネルがHDモニター600に接続され、その縮小画像が表示されている様子が示されている。タッチパネル400は透過型のタッチパネルであり、HDモニター600の、縮小画像が表示される表示面に載置されている。このタッチパネル400は、ユーザによる注目点を指定する操作に基づいて、第1の実施形態における注目情報に相当する注目データを生成し、画像記録再生装置200のインタフェースを介して注目点情報制御部205へ出力する。注目点情報制御部205は、第1の実施形態と同様に、注目点情報に相当する注目点データに関する処理を行う。   The other channel is a reduced image output channel obtained by thinning out the pixels of the SHD image data and converting it to a reduced image of the HD image size. FIG. 3 shows a state where the channel is connected to the HD monitor 600 and the reduced image is displayed. The touch panel 400 is a transmissive touch panel, and is placed on the display surface of the HD monitor 600 on which a reduced image is displayed. The touch panel 400 generates attention data corresponding to the attention information in the first embodiment based on an operation of designating the attention point by the user, and the attention point information control unit 205 via the interface of the image recording / reproducing apparatus 200. Output to. The attention point information control unit 205 performs processing related to attention point data corresponding to attention point information, as in the first embodiment.

次に、画像記録再生装置200の詳細な機能および動作について説明する。画像記録再生装置200には、記録媒体であるHDD202が取り付けられており、SHD画像データを連続して記録することができる。画像記録再生装置200には、「記録動作モード」、「再生動作モード」、および「記録・モニター動作モード」の3つの動作モードが用意されている。   Next, detailed functions and operations of the image recording / reproducing apparatus 200 will be described. The image recording / reproducing apparatus 200 is provided with a HDD 202 as a recording medium, and can record SHD image data continuously. The image recording / reproducing apparatus 200 is provided with three operation modes of “recording operation mode”, “reproduction operation mode”, and “recording / monitoring operation mode”.

通常、「記録動作モード」においては、SHD動画カメラ100から4チャンネルのHD−SDIデジタル信号で出力された4分割画像データが、入力画像情報として画像制御部201に入力される。画像制御部201はこの4分割された画像データをHDD202に記録(保存)する。この場合、画像制御部201は、4種類の各画像データに対応した領域をHDD202に設け、各領域に各分割の画像データを記録する。各領域内には、その領域に対応した画像データの各フレームが連続的に記録される。   Normally, in the “recording operation mode”, the four-divided image data output from the SHD video camera 100 as a 4-channel HD-SDI digital signal is input to the image control unit 201 as input image information. The image control unit 201 records (saves) the four divided image data in the HDD 202. In this case, the image control unit 201 provides an area corresponding to each of the four types of image data in the HDD 202, and records the divided image data in each area. In each area, each frame of image data corresponding to that area is continuously recorded.

「再生動作モード」においては、画像制御部201はHDD202から、4分割に対応した画像データを読み出して画像再生処理部206へ出力し、画像再生処理部206は、4分割画像データを再生画像情報として、入力画像情報と同じ4チャンネルのHD−SDIデジタル信号インタフェースで出力する。「記録・モニター動作モード」においては、画像制御部201は、入力された4分割の画像データをHDD202に記録すると共に、画像データを画像再生処理部206へ出力する。   In the “reproduction operation mode”, the image control unit 201 reads out image data corresponding to four divisions from the HDD 202 and outputs the image data to the image reproduction processing unit 206. The image reproduction processing unit 206 reproduces the four division image data into reproduction image information. Are output by the same 4-channel HD-SDI digital signal interface as the input image information. In the “recording / monitoring operation mode”, the image control unit 201 records the input four-divided image data on the HDD 202 and outputs the image data to the image reproduction processing unit 206.

HDD202に記録される画像データは、非圧縮で記録することもできるが、画像制御部201により、ロスレスのデータ圧縮処理が行われて記録される。記録されている画像データが圧縮データの場合には、画像再生処理部206によって自動的に画像データの伸張処理が行われ、伸張された画像データが出力される。   Although the image data recorded on the HDD 202 can be recorded without compression, the image control unit 201 performs recording with lossless data compression processing. When the recorded image data is compressed data, the image reproduction processing unit 206 automatically performs image data expansion processing and outputs the expanded image data.

「記録・モニター動作モード」または「再生動作モード」で画像が再生される場合、画像再生処理部206はさらに、画像データを2種類の画像フォーマットに変換する処理を行う。ひとつは「縮小画像出力」であり、もうひとつが「トリミング画像出力」である。「縮小画像出力」においては、HDD202から読み出された4分割の画像データを合成して1つの合成画像データ(SHD画像データ)を生成し、この合成画像データの画素を間引くか、あるいは画素補間を行うことにより、HDサイズの縮小画像データを生成し、HD−SDIを介して出力する。HD−SDIに接続されたHDモニター700によって、この縮小画像が表示されている様子が図3に示されている。   When an image is reproduced in the “recording / monitoring operation mode” or “reproduction operation mode”, the image reproduction processing unit 206 further performs a process of converting the image data into two types of image formats. One is “reduced image output” and the other is “trimmed image output”. In “reduced image output”, the image data divided into four parts read out from the HDD 202 is synthesized to generate one synthesized image data (SHD image data), and the pixels of the synthesized image data are thinned out or pixel-interpolated. By doing this, reduced-size image data of HD size is generated and output via HD-SDI. FIG. 3 shows how the reduced image is displayed by the HD monitor 700 connected to the HD-SDI.

HDモニター700によって表示される画像には、注目点の位置と、注目点を含む領域の大きさとを示す枠の画像(画像枠)も表示されている。画像再生処理部206は、注目点データ中の注目点位置情報および領域サイズ情報に基づいて、枠の画像データを生成し、縮小画像と合成してHDモニター700へ出力する。なお、画像枠と共に、注目点の位置を示す矢印マーク(図3参照)を表示したり、画像枠の中心(通常は注目点の位置と一致する)を通る垂直線と水平線とを表示したり、注目点を中心とする十字マークを表示したりしてもよい。また、画像枠を表示せず、これらのマーク等のみを表示してもよい。   In the image displayed by the HD monitor 700, a frame image (image frame) indicating the position of the point of interest and the size of the region including the point of interest is also displayed. The image reproduction processing unit 206 generates frame image data based on the point of interest position information and the region size information in the point of interest data, combines it with the reduced image, and outputs it to the HD monitor 700. An arrow mark (see FIG. 3) indicating the position of the attention point is displayed together with the image frame, and a vertical line and a horizontal line passing through the center of the image frame (usually coincides with the position of the attention point) are displayed. Alternatively, a cross mark centered on the point of interest may be displayed. Further, only these marks and the like may be displayed without displaying the image frame.

「トリミング画像出力」においては、画像再生処理部206は、注目点データ中の注目点位置情報に基づいた注目点を含み、領域サイズ情報に基づいた大きさの領域の画像を示す画像データをSHD画像データの中から切り出し、画像データをHDサイズに変換して、トリミング画像データとして出力する。HD−SDIに接続されたHDモニター800によって、このトリミング画像が表示されている様子が図3に示されている。この切り出し領域の大きさは、注目点データ中の領域サイズ情報から通常は決定されるが、HDモニター800の画素サイズを最大サイズの制限値として設けることも可能である。つまり、切り出し領域の大きさが最大のときに、モニター800における表示画像が等倍サイズとなる。   In “trimmed image output”, the image reproduction processing unit 206 outputs image data indicating an image of an area including an attention point based on the attention point position information in the attention point data and having a size based on the area size information. Cut out from the image data, convert the image data to HD size, and output as trimmed image data. FIG. 3 shows how the trimmed image is displayed by the HD monitor 800 connected to the HD-SDI. The size of this cut-out area is normally determined from area size information in the point-of-interest data, but the pixel size of the HD monitor 800 can also be provided as a maximum size limit value. That is, when the size of the cutout area is the maximum, the display image on the monitor 800 is the same size.

切り出し領域の大きさがモニター800の画素サイズよりも小さい場合には、画素補間等を用いてトリミング画像データの画素数を変換して拡大し、表示装置800における表示画像と等倍のサイズとする。また、切り出し領域の最小サイズも制限値として設定しておくことにより、無意味な領域までの拡大を制限することができる。   When the size of the cut-out area is smaller than the pixel size of the monitor 800, the number of pixels of the trimmed image data is converted and enlarged using pixel interpolation or the like, so that the size is the same size as the display image on the display device 800. . Further, by setting the minimum size of the cutout area as a limit value, it is possible to limit expansion to a meaningless area.

次に、注目点を指示する方法について説明する。注目点の注目点位置や領域サイズは、透過型のタッチパネル400を介して、ユーザによって指示される。タッチパネル400に対しては、手による直接のポインティング操作を行うこともできるが、1ボタン付のペン入力装置により操作を行うことができる。通常、タッチパネル400は「位置情報指示モード」で動作しており、ユーザが指先やペン先をタッチパネル400上で移動させて注目点を指定すると、指定された位置に相当するタッチパネル400上の位置座標が注目データとして転送される。また、ユーザが何も操作していないとき(タッチパネル上にペンや指先がないとき)には、最後に操作した時の位置座標が転送される。   Next, a method for indicating the attention point will be described. The attention point position and area size of the attention point are instructed by the user via the transmissive touch panel 400. Although direct pointing operation by hand can be performed on the touch panel 400, the operation can be performed by a pen input device with one button. Normally, the touch panel 400 operates in the “position information instruction mode”, and when the user moves the fingertip or the pen tip on the touch panel 400 and designates the point of interest, the position coordinates on the touch panel 400 corresponding to the designated position. Is transferred as attention data. When the user is not operating anything (when there is no pen or fingertip on the touch panel), the position coordinates at the last operation are transferred.

また、注目点を含む領域の大きさの指示は以下のようになる。ユーザがペン入力のボタンを押しながらタッチパネル上を走査する場合には、タッチパネル400は「領域サイズ指定モード」として動作する。この操作においては、「位置情報指示モード」で最後に操作した時の位置を中心とし、「領域サイズ指定モード」の現在のポインティング座標位置を、長方形の対角線距離の半分とする座標が指定される。つまり、「位置情報指示モード」で最後に操作した時の位置を座標中心とし、「領域サイズ指定モード」の現在のポインティング座標位置を半径とする円が定義され、この円に内接し正立する長方形で、現在のポインティング座標位置を頂点とする長方形の領域が、注目点を含む注目点領域となる。   In addition, an instruction for the size of the region including the attention point is as follows. When the user scans the touch panel while pressing the pen input button, the touch panel 400 operates in the “region size designation mode”. In this operation, a coordinate that designates the current pointing coordinate position in the “region size designation mode” as half of the diagonal distance of the rectangle, with the position at the last operation in the “position information instruction mode” as the center is designated. . In other words, a circle is defined with the position at the time of the last operation in the “position information instruction mode” as the coordinate center and the radius as the current pointing coordinate position in the “area size designation mode”. A rectangular area having a vertex at the current pointing coordinate position is a target point area including the target point.

タッチパネル400を用いて注目点の位置を入力するためには、HDモニター600の画面に表示される画像中の画素の位置と、タッチパネル400の画素の位置との対応関係を予め定めておく必要がある。この対応関係を示す情報は、例えばテスト画像を用いたキャリブレーションを行うことにより生成することができる。これにより、ユーザがタッチパネル400を介して指定したHDモニター600上の画像中の注目点の位置と、HDD202に記録される画像データ中の注目点の位置とを一致させることができる。なお、タッチパネル400の解像度はHDモニター600の解像度に比べて低いが、ユーザは正確な画素位置まで注目点の位置を指定するわけではないので、上記の対応関係は必ずしも正確なものである必要はない。   In order to input the position of the attention point using the touch panel 400, it is necessary to determine in advance the correspondence between the position of the pixel in the image displayed on the screen of the HD monitor 600 and the position of the pixel on the touch panel 400. is there. Information indicating this correspondence can be generated, for example, by performing calibration using a test image. Thereby, the position of the point of interest in the image on the HD monitor 600 designated by the user via the touch panel 400 and the position of the point of interest in the image data recorded on the HDD 202 can be matched. Although the resolution of the touch panel 400 is lower than the resolution of the HD monitor 600, the user does not necessarily specify the position of the attention point up to the accurate pixel position, so the above correspondence relationship does not necessarily have to be accurate. Absent.

以上の動作により、撮影時に監督やカメラマンが撮影している画像は、SHD動画カメラ100からの縮小画像として、モニター600で観察することができる。そのモニター画面上のタッチパネル400によって、注目する位置を指定しながら、撮影・記録が行われる。したがって、画像記録再生装置200の「記録動作モード」においては、SHD動画カメラ100からの縮小画像をHDモニター600で観察し、このモニター画面上に置かれているタッチパネル400が利用される。   With the above operation, an image taken by a director or a cameraman at the time of shooting can be observed on the monitor 600 as a reduced image from the SHD video camera 100. The touch panel 400 on the monitor screen performs photographing / recording while designating a position of interest. Therefore, in the “recording operation mode” of the image recording / reproducing apparatus 200, the reduced image from the SHD moving image camera 100 is observed on the HD monitor 600, and the touch panel 400 placed on the monitor screen is used.

「記録・モニター動作モード」においても、画像記録再生装置200からの縮小画像をHDモニター700上で観察することができる。したがって、HDモニター700上にタッチパネル400を置き、注目点の入力を行うこともできる。図4にこの場合の表示の様子を示す。HDモニター700上には、注目点データに基づいた枠が重畳表示されているため、ポインティング操作入力と、入力座標位置とがリアルタイムで観察できるので、より直感的な操作が可能となる。なお、この注目点位置の座標を入力するのに、タッチパネル以外のポインティング入力装置を用いてもよい。例えば、マウス、トラックパッド(トラックボード)、トラックボール等と表示装置とを組み合わせて、画面上の座標値を指定することもできる。   Even in the “recording / monitoring operation mode”, a reduced image from the image recording / reproducing apparatus 200 can be observed on the HD monitor 700. Therefore, the touch panel 400 can be placed on the HD monitor 700 to input a point of interest. FIG. 4 shows a display state in this case. Since the frame based on the point of interest data is superimposed on the HD monitor 700, the pointing operation input and the input coordinate position can be observed in real time, so that a more intuitive operation is possible. Note that a pointing input device other than the touch panel may be used to input the coordinates of the target point position. For example, a coordinate value on the screen can be designated by combining a display device with a mouse, a track pad (track board), a track ball, or the like.

上述したように、本実施形態によれば、画像再生処理部206が、SHD画像データ(合成画像データ)に基づいて縮小画像データを生成し、HDモニター700が縮小画像を表示することにより、大きな表示装置を必要とせずに画面全体を見渡すことができる。また、画像再生処理部206がSHD画像データに基づいてトリミング画像データを生成し、HDモニター800がトリミング画像を表示することにより、HDモニター700で画面全体を見渡しながら、HDモニター800で撮影者の注目ポイントの画像を拡大して見ることができる。   As described above, according to the present embodiment, the image reproduction processing unit 206 generates reduced image data based on the SHD image data (synthesized image data), and the HD monitor 700 displays the reduced image. The entire screen can be viewed without the need for a display device. In addition, the image reproduction processing unit 206 generates trimmed image data based on the SHD image data, and the HD monitor 800 displays the trimmed image. You can see the enlarged image of the point of interest.

また、画像再生処理部206が、注目点データ中の注目点位置情報と領域サイズ情報とに基づいて、注目点を示す画像枠等を表示するための画像データを生成して、縮小画像データと合成し、HDモニター700が縮小画像と共に画像枠等を表示することにより、注目点の位置が全体画像の中のどこであるのか簡単に確認することができる。   In addition, the image reproduction processing unit 206 generates image data for displaying an image frame or the like indicating the attention point based on the attention point position information and the region size information in the attention point data, and the reduced image data and By synthesizing and displaying the image frame and the like together with the reduced image by the HD monitor 700, it is possible to easily confirm where the position of the attention point is in the entire image.

また、注目点を入力する手段として、HDモニター600(またはHDモニター700)とタッチパネル400とを設け、タッチパネル400を指先またはペン先等によりタッチして注目点を指定することにより、画面上の対象物を見ながら注目点を指定することができ、より直接的かつ直感的に注目点を指定することができる。さらに、注目点を入力する手段としてポインティング入力装置を使用することにより、より簡単なポインティング操作を行うことができる。   In addition, an HD monitor 600 (or HD monitor 700) and a touch panel 400 are provided as means for inputting a point of interest, and an object on the screen is specified by touching the touch panel 400 with a fingertip or a pen tip or the like to designate the point of interest. The point of interest can be designated while looking at the object, and the point of interest can be designated more directly and intuitively. Furthermore, by using a pointing input device as means for inputting a point of interest, a simple pointing operation can be performed.

次に、本発明の第3の実施形態について説明する。図5は、本実施形態による画像記録再生装置200の構成を示すブロック図である。この画像記録再生装置200には注目点追跡部207が設けられている。画像データが再生される場合に、注目点情報制御部205はHDD202から注目点データを読み出して注目点追跡部207へ出力する。注目点追跡部207は注目点データと、画像再生処理部206によって生成された縮小画像データとに基づいて注目点を監視し、追跡する。   Next, a third embodiment of the present invention will be described. FIG. 5 is a block diagram showing the configuration of the image recording / reproducing apparatus 200 according to the present embodiment. This image recording / reproducing apparatus 200 is provided with an attention point tracking unit 207. When the image data is reproduced, the attention point information control unit 205 reads the attention point data from the HDD 202 and outputs it to the attention point tracking unit 207. The attention point tracking unit 207 monitors and tracks the attention point based on the attention point data and the reduced image data generated by the image reproduction processing unit 206.

注目点追跡部207は、現在の画像フレームに対応した注目点データ(TG_curr)、ひとつ前の画像フレームに対応した注目点データ(TG_prev)、現在の画像フレームに対応した注目点追跡データ(TR_curr)、およびひとつ前の画像フレームに対応した注目点追跡データ(TR_prev)とを内部で記憶および管理している。なお、画像記録再生装置200が「記録動作モード」で動作している場合には、画像再生処理部206は動作せず、注目点データと画像情報とが同期してHDD202に記録される。   The attention point tracking unit 207 includes attention point data (TG_curr) corresponding to the current image frame, attention point data (TG_prev) corresponding to the previous image frame, and attention point tracking data (TR_curr) corresponding to the current image frame. , And attention point tracking data (TR_prev) corresponding to the previous image frame are stored and managed internally. When the image recording / reproducing apparatus 200 is operating in the “recording operation mode”, the image reproduction processing unit 206 does not operate, and the point of interest data and the image information are recorded in the HDD 202 in synchronization.

次に、「記録・モニター動作モード」での、注目点追跡部207による注目点追跡処理について、図6を用いて説明する。図6は、注目点追跡部207の動作を示すフローチャートである。この動作は各フレームにおいて実行される。4分割の画像データを示す撮影データは画像記録再生装置200に入力され、画像制御部201によってHDD202に記録されると共に、画像再生処理部206へ出力される。画像再生処理部206は、4分割の画像データを合成して合成画像データを生成し、この合成画像データに基づいて、縮小画像データおよびトリミング画像データを生成する。画像再生処理部206がトリミング画像データを生成する際に使用する注目点データ(TR_curr)は、以下の説明のように、注目点追跡部207によって処理されたものである。また、画像再生処理部206は、生成した縮小画像データを注目点追跡部207へ転送する。   Next, attention point tracking processing by the attention point tracking unit 207 in the “recording / monitoring operation mode” will be described with reference to FIG. FIG. 6 is a flowchart showing the operation of the attention point tracking unit 207. This operation is performed in each frame. Shooting data indicating quadrant image data is input to the image recording / reproducing apparatus 200, recorded on the HDD 202 by the image control unit 201, and output to the image reproduction processing unit 206. The image reproduction processing unit 206 generates synthesized image data by combining the four divided image data, and generates reduced image data and trimmed image data based on the combined image data. The attention point data (TR_curr) used when the image reproduction processing unit 206 generates the trimmed image data is processed by the attention point tracking unit 207 as described below. In addition, the image reproduction processing unit 206 transfers the generated reduced image data to the attention point tracking unit 207.

注目点情報制御部205は、入力された注目データに基づいて注目点データTG(Pn,Sn)を生成し、HDD202に記録すると共に、注目点追跡部207へ出力する。注目点追跡部207には注目点データTG(Pn,Sn)が入力される(ステップS601)。注目点追跡部207はこの注目点データTG(Pn,Sn)を現在の注目点データ(TG_curr)として記録する(ステップS602)。続いて、注目点追跡部207は、初期化動作を終了したかどうか判定する(ステップS603)。「記録・モニター動作モード」の開始直後においては、初期化動作中であるので、ステップS604へ進む。   The attention point information control unit 205 generates attention point data TG (Pn, Sn) based on the input attention data, records it in the HDD 202, and outputs it to the attention point tracking unit 207. Attention point tracking unit 207 receives attention point data TG (Pn, Sn) (step S601). The attention point tracking unit 207 records the attention point data TG (Pn, Sn) as the current attention point data (TG_curr) (step S602). Subsequently, the attention point tracking unit 207 determines whether or not the initialization operation has been completed (step S603). Immediately after the start of the “recording / monitoring operation mode”, since the initialization operation is being performed, the process proceeds to step S604.

ステップS604において注目点追跡部207は現在の注目点データ(TG_curr)を現在の注目点追跡データ(TR_curr)として保持する。続いて、注目点追跡部207は現在の注目点追跡データ(TR_curr)を、トリミング画像生成用のデータとして画像再生処理部206へ転送する(ステップS610)。画像再生処理部206は、現在の注目点追跡データ(TR_curr)に基づいてトリミング画像データを生成する。注目点追跡部207は現在の注目点データ(TG_curr)をひとつ前の注目点データ(TG_prev)として保持すると共に、現在の注目点追跡データ(TR_curr)をひとつ前の注目点追跡データ(TR_prev)として保持する(ステップS611)。   In step S604, the attention point tracking unit 207 holds the current attention point data (TG_curr) as the current attention point tracking data (TR_curr). Subsequently, the attention point tracking unit 207 transfers the current attention point tracking data (TR_curr) to the image reproduction processing unit 206 as data for generating a trimmed image (step S610). The image reproduction processing unit 206 generates trimmed image data based on the current attention point tracking data (TR_curr). The attention point tracking unit 207 holds the current attention point data (TG_curr) as the previous attention point data (TG_prev), and the current attention point tracking data (TR_curr) as the previous attention point tracking data (TR_prev). Hold (step S611).

注目点追跡部207は、ひとつ前の注目点追跡データ(TR_prev)に基づいて、注目点を含むある一定の大きさの領域の画像データを縮小画像データから切り出し、TR_prev領域画像として保持する(ステップS612)。切り出される領域の大きさは、注目点追跡データ中の領域サイズ情報に基づいた大きさであってもよいし、予め設定された大きさであってもよい。続く処理は、次のフレームにおけるステップS601の処理となる。   The attention point tracking unit 207 extracts image data of a certain size area including the attention point from the reduced image data based on the previous attention point tracking data (TR_prev), and holds it as a TR_prev area image (step). S612). The size of the region to be cut out may be a size based on the region size information in the attention point tracking data, or may be a size set in advance. The subsequent process is the process of step S601 in the next frame.

初期化が終了した場合には、ステップS603からステップS605へ進む。注目点追跡部207は、現在の注目点データ(TG_curr)とひとつ前の注目点データ(TG_prev)が等しいかどうか判定する(ステップS605)。等しくなかった(ユーザによって注目点が変更された)場合には、処理はステップS604へ進む。一方、等しかった(ユーザによって注目点は変更されなかった)場合には、注目点追跡部207は注目点画像比較処理を行う(ステップS606)。   When the initialization is completed, the process proceeds from step S603 to step S605. The attention point tracking unit 207 determines whether the current attention point data (TG_curr) is equal to the previous attention point data (TG_prev) (step S605). If they are not equal (the attention point has been changed by the user), the process proceeds to step S604. On the other hand, if they are equal (the attention point has not been changed by the user), the attention point tracking unit 207 performs attention point image comparison processing (step S606).

注目点画像比較処理の詳細は図7のフローチャートに示されている。注目点追跡部207は、画像再生処理部206によって生成された縮小画像データを取得する(ステップS6061)。続いて、注目点追跡部207は、注目点追跡処理の最後(ステップS612)で常に保管しているTR_prev領域画像をテンプレート画像データとした画像マッチング処理を行う。   Details of the attention point image comparison processing are shown in the flowchart of FIG. The attention point tracking unit 207 acquires the reduced image data generated by the image reproduction processing unit 206 (step S6061). Subsequently, the attention point tracking unit 207 performs image matching processing using the TR_prev region image that is always stored at the end of the attention point tracking processing (step S612) as template image data.

この処理において、注目点追跡部207は、縮小画像データに対して、テンプレート画像データを2次元方向にずらしながら走査させ、各走査位置ごとにテンプレート画像データと縮小画像データとの各画素間の差分値の合計値(相互相関)を求める。そして、注目点追跡部207は、2次元走査を行った範囲内で差分値が最も小さい走査位置を求める(ステップS6062)。続いて、注目点追跡部207はこの走査位置から、前後のフレーム間での注目点の動きベクトルvを求める(ステップS6063)。続く処理は図6に戻る。   In this processing, the attention point tracking unit 207 scans the reduced image data while shifting the template image data in the two-dimensional direction, and the difference between the pixels of the template image data and the reduced image data for each scanning position. Find the total value (cross-correlation) of the values. Then, the attention point tracking unit 207 obtains the scanning position having the smallest difference value within the range in which the two-dimensional scanning is performed (step S6062). Subsequently, the attention point tracking unit 207 obtains the motion vector v of the attention point between the preceding and following frames from this scanning position (step S6063). The subsequent processing returns to FIG.

注目点追跡部207はこの動きベクトル量|v|があるしきい値以上であるかどうか判定する(ステップS607)。注目点追跡部207は、|v|がしきい値以上であった場合に、注目点が変位したと判定し、|v|がしきい値未満であった場合に、注目点は変位していないと判定する。注目点が変位していない場合、注目点追跡部207はひとつ前の注目点追跡データ(TR_prev)を現在の注目点追跡データ(TR_curr)とする(ステップS608)。また、注目点が変位した場合、注目点追跡部207は変位量vをひとつ前の注目点追跡データ(TR_prev)に加え、その値を現在の注目点追跡データ(TR_curr)として保持する(ステップS609)。   The attention point tracking unit 207 determines whether or not the motion vector amount | v | is greater than or equal to a certain threshold value (step S607). The attention point tracking unit 207 determines that the attention point is displaced when | v | is equal to or greater than the threshold value, and the attention point is displaced when | v | is less than the threshold value. Judge that there is no. When the attention point is not displaced, the attention point tracking unit 207 sets the previous attention point tracking data (TR_prev) as the current attention point tracking data (TR_curr) (step S608). When the attention point is displaced, the attention point tracking unit 207 adds the displacement amount v to the previous attention point tracking data (TR_prev) and holds the value as the current attention point tracking data (TR_curr) (step S609). ).

「再生動作モード」においては、注目点情報制御部205はHDD202から注目点データを読み出し、注目点追跡部207へ出力する。画像再生処理部206および注目点追跡部207の動作は「記録・モニター動作モード」における動作と同様である。   In the “playback operation mode”, the attention point information control unit 205 reads attention point data from the HDD 202 and outputs it to the attention point tracking unit 207. The operations of the image reproduction processing unit 206 and the attention point tracking unit 207 are the same as those in the “recording / monitoring operation mode”.

以上の処理により、通常、ユーザが最初に注目点位置と注目点領域サイズとを指定すると、その後は注目点追跡部207が注目点の動きを監視し(図6のステップS606〜ステップS607)、注目点が変位した場合に、その変位に応じて注目点追跡データを更新する(図6のステップS609)ので、注目点領域の対象物を自動で追跡することができる。また、ユーザが注目点位置および注目点領域サイズを再度指定することにより、注目点の追跡を解除することができる。   As a result of the above processing, when the user first designates the point of interest position and the point of interest region size, the point of interest tracking unit 207 thereafter monitors the movement of the point of interest (steps S606 to S607 in FIG. 6). When the attention point is displaced, the attention point tracking data is updated according to the displacement (step S609 in FIG. 6), so that the object in the attention point region can be automatically tracked. Further, when the user designates the attention point position and the attention point region size again, the tracking of the attention point can be canceled.

このように、撮影者が撮影画像の注目点を常に指示し続けなくても、注目点追跡部207は注目点を追跡し、画像再生処理部206は、追跡された注目点の位置に基づいてトリミング画像を生成する。また、縮小画像データが出力されるHD−SDIにHDモニターを接続すれば、自動追跡が行われている注目点領域を示す画像枠が縮小画像上に重畳して表示されるので、ユーザは注目点追跡部207による注目点の追跡処理を確認することができる。   In this way, even if the photographer does not always indicate the attention point of the captured image, the attention point tracking unit 207 tracks the attention point, and the image reproduction processing unit 206 is based on the tracked position of the attention point. Generate a trimmed image. Further, if an HD monitor is connected to the HD-SDI to which reduced image data is output, an image frame indicating a point-of-interest area that is being automatically tracked is displayed superimposed on the reduced image. The attention point tracking process by the point tracking unit 207 can be confirmed.

なお、図6の注目点画像比較処理(ステップS606)においては、縮小画像を取得し、テンプレートマッチングを行っているが、縮小画像ではなく、オリジナル画像(4分割画像の合成画像)を用いて行ってもよい。この場合、注目点の追跡精度をより上げることができるが、システムの計算処理コストが増えることが予想される。また、テンプレートマッチングの際の走査範囲については、縮小画面全体を走査すると処理時間が多くかかるため、注目点追跡データ(TR_prev)によって示される画像領域を含むある一定の大きさの範囲に絞ることにより、処理時間を減らすことができる。   In the attention point image comparison process (step S606) in FIG. 6, a reduced image is acquired and template matching is performed. However, the original image (a synthesized image of four-divided images) is used instead of the reduced image. May be. In this case, the tracking accuracy of the attention point can be further increased, but the calculation processing cost of the system is expected to increase. Also, the scanning range for template matching takes a lot of processing time if the entire reduced screen is scanned. Therefore, by narrowing the scanning range to a certain size range including the image area indicated by the attention point tracking data (TR_prev). , Processing time can be reduced.

特徴点を追跡する方法は、オプティカルフローによる動きベクトルを求める方法や特徴領域の重心位置の動きに注目する方法等の様々な方法を利用することができ、本実施形態に限定されるわけではない。また、注目点をマニュアルにより指示する動作が必要な場合もあるので、「注目点追跡動作モード」などを設定し、動きを切り替えるようにしてもよい。   The method for tracking feature points can use various methods such as a method for obtaining a motion vector by optical flow and a method for paying attention to the motion of the center of gravity of a feature region, and is not limited to this embodiment. . In addition, since there is a case where an operation for manually instructing an attention point is necessary, the “attention point tracking operation mode” or the like may be set to switch the movement.

上述したように、本実施形態によれば、注目点追跡部207が画像データ中の注目点の位置を追跡し、注目点の位置が変位した場合に、注目点の位置の変位に応じて注目点データを更新するので、ユーザが常に注目点を指示し続けなくても、自動的に注目点の動きを追跡することができる。したがって、より簡単に注目点を指定することができ、注目点を指定するユーザの負担を軽減することができる。   As described above, according to the present embodiment, the attention point tracking unit 207 tracks the position of the attention point in the image data, and when the position of the attention point is displaced, attention is paid according to the displacement of the position of the attention point. Since the point data is updated, the movement of the point of interest can be automatically tracked without the user always instructing the point of interest. Therefore, the point of interest can be designated more easily, and the burden on the user who designates the point of interest can be reduced.

なお、撮影者が注目する注目点が撮影画像上に複数存在する場合、それらの情報を注目点情報に追加記録してもよく、注目点情報は1点の注目点に関する情報に限定されるわけではない。また、注目点情報にカメラ撮影条件等の情報を含めるようにしてもよい。また、上述した全ての実施形態において、撮影用のSHD動画カメラ100等のカメラと画像記録再生装置200とが別個の装置となっているが、画像記録再生装置200をカメラに内蔵し、カメラ一体型記録装置として構成してもよい。   In addition, when there are a plurality of attention points on the photographed image that the photographer pays attention to, the information may be additionally recorded in the attention point information, and the attention point information is limited to information about one attention point. is not. Further, information such as camera shooting conditions may be included in the attention point information. In all the embodiments described above, the camera such as the SHD video camera 100 for shooting and the image recording / reproducing apparatus 200 are separate apparatuses. However, the image recording / reproducing apparatus 200 is built in the camera, You may comprise as a body-type recording apparatus.

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。   As described above, the embodiments of the present invention have been described in detail with reference to the drawings, but the specific configuration is not limited to these embodiments, and includes design changes and the like within a scope not departing from the gist of the present invention. It is.

本発明の第1の実施形態による画像記録再生装置の構成を示すブロック図である。1 is a block diagram showing a configuration of an image recording / reproducing apparatus according to a first embodiment of the present invention. 同実施形態における入力画像情報と注目点情報との時間的な関連を示す参考図である。It is a reference figure showing temporal relation between input image information and attention point information in the embodiment. 本発明の第2の実施形態による画像記録再生装置を用いたシステムの構成を示すブロック図である。It is a block diagram which shows the structure of the system using the image recording / reproducing apparatus by the 2nd Embodiment of this invention. 同実施形態による画像記録再生装置を用いたシステムの他の構成を示すブロック図である。It is a block diagram which shows the other structure of the system using the image recording / reproducing apparatus by the embodiment. 本発明の第3の実施形態による画像記録再生装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image recording / reproducing apparatus by the 3rd Embodiment of this invention. 同実施形態による注目点追跡部207の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the attention point tracking part 207 by the embodiment. 同実施形態による注目点追跡部207の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the attention point tracking part 207 by the embodiment. 従来の画像記録再生装置を用いたシステムの構成を示すブロック図である。It is a block diagram which shows the structure of the system using the conventional image recording / reproducing apparatus. 従来の撮影の手順を示すフローチャートである。It is a flowchart which shows the procedure of the conventional imaging | photography. 従来の編集の手順を示すフローチャートである。It is a flowchart which shows the procedure of the conventional editing.

符号の説明Explanation of symbols

100・・・SHD動画カメラ、200・・・画像記録再生装置、201・・・画像制御部、202・・・HDD、203,206・・・画像再生処理部、204・・・入力指示部204、205・・・注目点情報制御部、207・・・注目点追跡部、300・・・編集装置、400,500,600,700,800・・・HDモニター。

DESCRIPTION OF SYMBOLS 100 ... SHD moving image camera, 200 ... Image recording / reproducing apparatus, 201 ... Image control part, 202 ... HDD, 203,206 ... Image reproduction process part, 204 ... Input instruction | indication part 204 205 ... attention point information control unit, 207 ... attention point tracking unit, 300 ... editing device, 400, 500, 600, 700, 800 ... HD monitor.

Claims (10)

被写体を撮像し、画像データを生成する撮像手段から連続的に入力された前記画像データを記録すると共に、前記画像データを再生して外部装置へ出力する画像記録再生装置において、
前記画像データを記憶する記憶手段と、
前記撮像手段から入力された前記画像データを前記記憶手段に格納する画像データ制御手段と、
前記画像データに関連付けられており、前記画像データ中の注目点を示す注目点情報を前記記憶手段に格納する注目点情報制御手段と、
前記画像データの再生時に、前記注目点情報に基づいて前記画像データを処理する画像処理手段と、
を具備することを特徴とする画像記録再生装置。
In an image recording / reproducing apparatus that images a subject and records the image data continuously input from an imaging unit that generates image data, and reproduces the image data and outputs it to an external device.
Storage means for storing the image data;
Image data control means for storing the image data input from the imaging means in the storage means;
Attention point information control means for storing attention point information associated with the image data and indicating the attention point in the image data in the storage means;
Image processing means for processing the image data based on the attention point information when reproducing the image data;
An image recording / reproducing apparatus comprising:
前記画像処理手段は、
前記画像データに基づいて、該画像データの画素数を縮小した縮小画像データを生成する縮小画像生成手段と、
前記注目点情報に基づいて、前記画像データから、前記注目点を含む一部を切り出し、トリミング画像データを生成するトリミング画像生成手段と、
を具備することを特徴とする請求項1に記載の画像記録再生装置。
The image processing means includes
Reduced image generation means for generating reduced image data obtained by reducing the number of pixels of the image data based on the image data;
Trimming image generation means for cutting out a part including the attention point from the image data based on the attention point information and generating trimming image data;
The image recording / reproducing apparatus according to claim 1, further comprising:
前記トリミング画像生成手段はさらに、前記注目点情報に基づいて、前記画像データから、前記注目点を含む一部の画像データを切り出し、切り出した画像データと等倍の画素数の画像データ、または画素数を変換して拡大した画像データをトリミング画像データとして生成することを特徴とする請求項2に記載の画像記録再生装置。   The trimmed image generation means further cuts out part of the image data including the attention point from the image data based on the attention point information, and image data having the same number of pixels as the cut-out image data, or pixels The image recording / reproducing apparatus according to claim 2, wherein the image data enlarged by converting the number is generated as trimmed image data. 前記撮像手段から入力される前記画像データは、1つの画像が複数の領域に分割され、各領域の画像を示す複数の画像データであり、
前記複数の画像データを合成し、1つの合成画像データを生成する画像合成手段をさらに具備し、
前記縮小画像生成手段は、前記合成画像データに基づいて、該合成画像データの画素数を縮小した縮小画像データを生成し、
前記トリミング画像生成手段は、前記注目点情報に基づいて、前記合成画像データから、前記注目点を含む一部を切り出し、トリミング画像データを生成する
ことを特徴とする請求項2または請求項3に記載の画像記録再生装置。
The image data input from the imaging means is a plurality of image data in which one image is divided into a plurality of regions and indicates an image of each region,
Further comprising image combining means for combining the plurality of image data and generating one combined image data;
The reduced image generation means generates reduced image data in which the number of pixels of the composite image data is reduced based on the composite image data,
The trimming image generation means cuts out a part including the attention point from the composite image data based on the attention point information, and generates trimming image data. The image recording / reproducing apparatus described.
前記注目点情報は、前記注目点の位置と、前記トリミング画像生成手段によって切り出される領域の大きさとを示す情報であることを特徴とする請求項2〜請求項4のいずれかの項に記載の画像記録再生装置。   The said attention point information is information which shows the position of the said attention point, and the magnitude | size of the area | region cut out by the said trimming image production | generation means, The Claim 2 characterized by the above-mentioned. Image recording / playback device. 前記縮小画像生成手段はさらに、前記注目点情報に基づいて、前記注目点を表示するための注目点画像データを生成し、前記縮小画像データに対して前記注目点画像データを合成することを特徴とする請求項2〜請求項5のいずれかの項に記載の画像記録再生装置。   The reduced image generating means further generates attention point image data for displaying the attention point based on the attention point information, and synthesizes the attention point image data with the reduced image data. The image recording / reproducing apparatus according to claim 2. ユーザによって前記注目点が入力される注目点入力手段と、
前記注目点入力手段に入力された前記注目点に基づいて、前記注目点情報を生成する注目点情報生成手段と、
をさらに具備することを特徴とする請求項1〜請求項6のいずれかの項に記載の画像記録再生装置。
Attention point input means for inputting the attention point by the user;
Attention point information generation means for generating the attention point information based on the attention point input to the attention point input means;
The image recording / reproducing apparatus according to claim 1, further comprising:
前記注目点入力手段は、前記画像データ中の前記注目点の位置座標を指定する情報が入力されるポインティング装置であることを特徴とする請求項7に記載の画像記録再生装置。   The image recording / reproducing apparatus according to claim 7, wherein the attention point input unit is a pointing device to which information specifying a position coordinate of the attention point in the image data is input. 前記注目点入力手段は、前記注目点を含む画像を表示する表示手段と、ユーザによって前記注目点の位置が入力されるタッチパネルとを具備することを特徴とする請求項8に記載の画像記録再生装置。   9. The image recording / reproducing according to claim 8, wherein the attention point input means includes display means for displaying an image including the attention point, and a touch panel on which a position of the attention point is input by a user. apparatus. 異なる複数の前記画像データ中の注目点の位置を追跡し、該注目点の位置が変位した場合に、該注目点の位置の変位に応じて前記注目点情報を更新する注目点追跡手段をさらに具備することを特徴とする請求項1〜請求項9のいずれかの項に記載の画像記録再生装置。

Attention point tracking means for tracking the position of the attention point in a plurality of different image data and updating the attention point information in accordance with the displacement of the position of the attention point when the position of the attention point is displaced; The image recording / reproducing apparatus according to any one of claims 1 to 9, further comprising:

JP2004157594A 2004-05-27 2004-05-27 Image recording and reproducing apparatus Pending JP2005341241A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004157594A JP2005341241A (en) 2004-05-27 2004-05-27 Image recording and reproducing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004157594A JP2005341241A (en) 2004-05-27 2004-05-27 Image recording and reproducing apparatus

Publications (1)

Publication Number Publication Date
JP2005341241A true JP2005341241A (en) 2005-12-08

Family

ID=35494291

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004157594A Pending JP2005341241A (en) 2004-05-27 2004-05-27 Image recording and reproducing apparatus

Country Status (1)

Country Link
JP (1) JP2005341241A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009065313A (en) * 2007-09-05 2009-03-26 Sharp Corp Editing device and playback apparatus
JPWO2008087721A1 (en) * 2007-01-18 2010-05-06 富士通株式会社 Image composition apparatus, image composition method, and program
JP2021192539A (en) * 2020-05-18 2021-12-16 ソニーグループ株式会社 Capturing system and image display method
US11588973B2 (en) 2014-01-16 2023-02-21 Sony Group Corporation Camera apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2008087721A1 (en) * 2007-01-18 2010-05-06 富士通株式会社 Image composition apparatus, image composition method, and program
JP2009065313A (en) * 2007-09-05 2009-03-26 Sharp Corp Editing device and playback apparatus
US11588973B2 (en) 2014-01-16 2023-02-21 Sony Group Corporation Camera apparatus
JP2021192539A (en) * 2020-05-18 2021-12-16 ソニーグループ株式会社 Capturing system and image display method

Similar Documents

Publication Publication Date Title
JP4926533B2 (en) Moving image processing apparatus, moving image processing method, and program
US6750903B1 (en) Super high resolution camera
WO2012128066A1 (en) Image processing device and method; and program
WO2009141951A1 (en) Image photographing device and image encoding device
JP4204509B2 (en) Data division recording method for electronic camera and electronic camera
JP2002544742A (en) Digital imaging system
US8174571B2 (en) Apparatus for processing images, apparatus for processing reproduced images, method of processing images, and method of processing reproduced images
JP2009059445A (en) Data processing apparatus and method, data processing program, and recording medium recorded with data processing program
JP4938615B2 (en) Video recording / playback device
JP2008131617A (en) Video processing apparatus
CN102209199B (en) Imaging apparatus
JP4946935B2 (en) Imaging device
JP2005341241A (en) Image recording and reproducing apparatus
JP2009290318A (en) Image capturing apparatus and zooming adjustment method
JP2004193695A (en) Recording and reproducing apparatus and method
JPH11168685A (en) Image processing method
JP5479149B2 (en) Image generation device
US20220264008A1 (en) Image processing device, image processing method, and program
US8774603B2 (en) Information processing apparatus, information processing method, program, and recording medium
JP4016424B2 (en) Moving picture editing apparatus and moving picture editing method
JP6625598B2 (en) Image generation apparatus, image generation method, image generation program, and image generation system
JP4177081B2 (en) Image reproducing apparatus and method
JP4979623B2 (en) Image processing device
JP2004241834A (en) Moving picture generating apparatus and method, moving picture transmission system, program, and recording medium
JP2006092681A (en) Image management method, image management device and image management system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070405

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090127

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090602