JP2007097230A - Imaging apparatus - Google Patents

Imaging apparatus Download PDF

Info

Publication number
JP2007097230A
JP2007097230A JP2007001653A JP2007001653A JP2007097230A JP 2007097230 A JP2007097230 A JP 2007097230A JP 2007001653 A JP2007001653 A JP 2007001653A JP 2007001653 A JP2007001653 A JP 2007001653A JP 2007097230 A JP2007097230 A JP 2007097230A
Authority
JP
Japan
Prior art keywords
frame rate
signal
image signal
image
communication information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007001653A
Other languages
Japanese (ja)
Other versions
JP2007097230A5 (en
JP4363446B2 (en
Inventor
Motohiro Nakasuji
元宏 中筋
Fumihiko Sudo
文彦 須藤
Takashi Kameyama
隆 亀山
Katsumi Kaneko
克美 金子
Kazuyuki Marukawa
和幸 丸川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007001653A priority Critical patent/JP4363446B2/en
Publication of JP2007097230A publication Critical patent/JP2007097230A/en
Publication of JP2007097230A5 publication Critical patent/JP2007097230A5/ja
Application granted granted Critical
Publication of JP4363446B2 publication Critical patent/JP4363446B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To display a monitor image according to a frame rate that a photographer desires regardless of external control, even when the operation of an imaging apparatus is externally controlled. <P>SOLUTION: An image signal generating section 11 generates an image signal of a variable frame rate imaged picture. A frame rate conversion section 13 converts the frame rate of the image signal of the variable frame rate imaged picture, to generate a monitor image signal DVf. When communication information RMt, RMu is supplied externally, a control section 20 controls the operations of the image signal generating section 11 and the frame rate conversion section 13. When an instruction on the frame rate of the monitor image signal DVf is issued from an interface section 21, instruction takes precedence over the communication information to control the frame rate conversion section 13, and the monitor image signal DVf with the frame rate is generated by the frame rate conversion section 13, independently of the communication information. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

この発明は撮像装置に関する。詳しくは、外部から通信情報が供給されたとき、この通信情報に基づいて画像信号生成手段やフレームレート変換手段の動作を制御して、可変速フレームレート撮像画像の画像信号やモニタ画像信号のフレームレートを可変するとともに、通信情報よりもインタフェース手段からの指示を優先させてモニタ画像信号のフレームレートを制御するものである。   The present invention relates to an imaging apparatus. Specifically, when communication information is supplied from the outside, the operation of the image signal generation means and the frame rate conversion means is controlled based on the communication information, so that the image signal of the variable speed frame rate captured image and the frame of the monitor image signal The frame rate of the monitor image signal is controlled by changing the rate and giving priority to the instruction from the interface means over the communication information.

従来の映画製作等では、特殊な映像効果を得ることができるように、フィルムカメラの撮影速度、すなわち1秒間のコマ数を可変させた撮影が行われている。例えば、撮影は通常の速度よりも高速で行い、再生は通常速度で行うものとすると、再生画像はスロー再生画像となる。このため、水面に水滴が落下したときのような高速度動作を容易かつ詳細に観察できる。また、撮影は通常の速度よりも低速で行い、再生は通常速度で行うものとすると、高速再生画像となる。このため、格闘シーンやカーチェイスシーン等でのスピード感を高めて臨場感の高い画像提示を行うことができる。   In conventional movie production and the like, shooting is performed by varying the shooting speed of a film camera, that is, the number of frames per second, so that a special video effect can be obtained. For example, if shooting is performed at a speed higher than the normal speed and playback is performed at the normal speed, the playback image becomes a slow playback image. For this reason, it is possible to observe easily and in detail a high-speed operation like when a water droplet falls on the water surface. If shooting is performed at a lower speed than normal speed and playback is performed at a normal speed, a high-speed playback image is obtained. For this reason, it is possible to enhance the sense of speed in a fighting scene, a car chase scene, etc., and to present an image with a high sense of reality.

また、テレビジョン番組制作等では、番組の撮像や編集および送出等のディジタル化が図られていたが、ディジタル技術の進展に伴う高画質化や機器の低価格化によって、映画製作等においてもディジタル化が図られてきている。   Also, in television program production, etc., digitization such as program shooting, editing, and transmission has been attempted, but in the production of movies, etc. due to the increase in image quality and the reduction in equipment prices accompanying the advancement of digital technology. It has been planned.

ここで、テレビジョン番組制作や映画製作等のディジタル化により撮像装置(ビデオカメラ)を用いて撮像を行うものとした場合、高速再生やスロー再生等の特殊な映像効果を容易に得ることができるように、フレームレートを可変することが可能とされている特許文献1の撮像装置が用いられている。この撮像装置を用いて、所定フレームレートよりもフレームレートを低下させて撮像を行い、この撮像画像を所定のフレームレートで再生すれば、簡単に高速再生画像を得ることができる。また、フレームレートを高くして撮像を行い、この撮像画像を所定のフレームレートで再生すれば、簡単にスロー再生画像を得ることができる。   Here, when imaging is performed using an imaging device (video camera) by digitization such as television program production or movie production, special video effects such as high-speed playback and slow playback can be easily obtained. As described above, the imaging apparatus disclosed in Patent Document 1 that can change the frame rate is used. By using this imaging device to capture an image with a frame rate lower than the predetermined frame rate and reproducing the captured image at a predetermined frame rate, a high-speed playback image can be easily obtained. Further, if the image is taken at a high frame rate and the captured image is reproduced at a predetermined frame rate, a slow reproduction image can be easily obtained.

特開2000−125210号公報JP 2000-125210 A

ところで、撮像装置にカメラコントロール装置や信号記録装置等が接続可能とされている場合、撮像装置の動作の一部、例えばγ補正等の信号処理特性等は、撮像装置を使用している撮像者だけでなく、カメラコントロール装置や信号記録装置等からも制御可能とされている。ここで、カメラコントロール装置や信号記録装置等によって撮像装置のフレームレートを制御可能とすることを考える。この場合、撮像装置に接続された電子ビューファインダーやモニタ装置等の画像表示装置に表示されるモニタ画像は、撮像者が撮像画像の確認等を行うのに適したフレームレートに制御されるとは限らない。例えば、高速移動する被写体を撮影するときに、フレームレートを低くして撮像を行うように制御されてモニタ画像のフレームレートも低くされてしまうと、モニタ画像の更新間隔が長くなってしまい、被写体を正しく追従して撮像を行うことが困難となってしまう。   By the way, when a camera control device, a signal recording device, or the like can be connected to the imaging device, a part of the operation of the imaging device, for example, signal processing characteristics such as γ correction, etc. In addition, control is possible from a camera control device, a signal recording device, and the like. Here, it is considered that the frame rate of the imaging device can be controlled by a camera control device, a signal recording device, or the like. In this case, the monitor image displayed on an image display device such as an electronic viewfinder or monitor device connected to the imaging device is controlled to a frame rate suitable for the photographer to check the captured image. Not exclusively. For example, when shooting a fast-moving subject, if the frame rate of the monitor image is controlled to be lowered at a lower frame rate and the monitor image frame rate is lowered, the monitor image update interval becomes longer, and the subject It becomes difficult to perform image pickup by correctly following the above.

そこで、この発明は、撮像装置の動作を制御する通信情報が外部から供給されても、この通信情報に係らず、撮像者が所望するフレームレートでモニタ画像を表示可能とする撮像装置を提供するものである。   Therefore, the present invention provides an imaging apparatus that can display a monitor image at a frame rate desired by the photographer regardless of the communication information, even if communication information for controlling the operation of the imaging apparatus is supplied from the outside. Is.

この発明に係る撮像装置は、可変速フレームレート撮像画像の画像信号を生成する画像信号生成手段と、可変速フレームレート撮像画像の画像信号のフレームレートを変換してモニタ画像信号を生成するフレームレート変換手段と、モニタ画像信号のフレームレートの指示に用いられるインタフェース手段と、外部から通信情報が供給されたとき、該通信情報に基づいて画像信号生成手段とフレームレート変換手段の動作を制御するとともに、通信情報よりもインタフェース手段からの指示を優先させてモニタ画像信号のフレームレートを制御する制御手段を有するものである。   An imaging apparatus according to the present invention includes an image signal generating unit that generates an image signal of a variable-speed frame rate captured image, and a frame rate that converts a frame rate of the image signal of the variable-speed frame rate captured image to generate a monitor image signal. When the communication means is supplied from the conversion means, the interface means used to indicate the frame rate of the monitor image signal, and the communication information is supplied from outside, the operations of the image signal generation means and the frame rate conversion means are controlled based on the communication information. The control means controls the frame rate of the monitor image signal by giving priority to the instruction from the interface means over the communication information.

また、動作モード設定手段を設け、動作モード設定手段によって優先制御モードに設定されたとき、制御手段は、優先制御モード期間中、通信情報によるモニタ画像信号のフレームレートの制御を無効としてインタフェース手段からの指示を優先させるものである。   Also, an operation mode setting means is provided, and when the priority control mode is set by the operation mode setting means, the control means disables the control of the frame rate of the monitor image signal by the communication information during the priority control mode period from the interface means. Is given priority.

この発明によれば、外部から通信情報が供給されても、インタフェース手段からモニタ画像信号のフレームレートの指示がなされているときは、通信情報に係らず指示されたフレームレートが優先されてモニタ画像信号のフレームレートが設定される。このため、外部から通信情報によって撮像装置が制御されても、撮像者が指示したフレームレートでモニタ画像が表示されるので、撮像を容易に行うことができる。   According to the present invention, even if communication information is supplied from the outside, when the frame rate of the monitor image signal is instructed from the interface means, the instructed frame rate is given priority regardless of the communication information. The frame rate of the signal is set. For this reason, even if the imaging apparatus is controlled by communication information from the outside, the monitor image is displayed at the frame rate instructed by the photographer, so that imaging can be performed easily.

また、動作モード設定手段によって優先制御モードに設定されたとき、優先制御モード期間中、通信情報によるモニタ画像信号のフレームレートの制御を無効としてインタフェース手段からの指示が優先させる。このため、優先制御モード期間中は、通信情報によってモニタ画像信号のフレームレートが制御されてしまうことがなく、撮像者が指示したフレームレートでのみモニタ画像を表示できる。   Further, when the priority control mode is set by the operation mode setting means, control of the frame rate of the monitor image signal by the communication information is invalidated during the priority control mode, and the instruction from the interface means is given priority. Therefore, during the priority control mode period, the frame rate of the monitor image signal is not controlled by the communication information, and the monitor image can be displayed only at the frame rate instructed by the photographer.

以下、図を参照しながら、この発明を実施するための一形態について説明する。図1は撮像システムの構成を示している。この撮像システムは、撮像装置10と例えばカメラコントロール装置40や記録再生装置50で構成されている。   Hereinafter, an embodiment for carrying out the present invention will be described with reference to the drawings. FIG. 1 shows the configuration of the imaging system. This imaging system includes an imaging device 10 and, for example, a camera control device 40 and a recording / reproducing device 50.

撮像装置10において、画像信号生成部11の撮像部111を構成する撮像素子(図示せず)の撮像面上には、撮像レンズ(図示せず)を通して入射された光に基づいた被写体画像が結像される。撮像素子は、光電変換によって被写体画像の撮像電荷を生成し、駆動部112から供給された駆動制御信号RCに基づいて撮像電荷を読み出して電圧信号に変換する。さらに、この電圧信号を撮像信号Spaとして撮像信号処理部113に供給する。   In the imaging apparatus 10, a subject image based on light incident through an imaging lens (not shown) is formed on the imaging surface of an imaging element (not shown) that constitutes the imaging unit 111 of the image signal generation unit 11. Imaged. The imaging device generates imaging charges of the subject image by photoelectric conversion, reads the imaging charges based on the drive control signal RC supplied from the driving unit 112, and converts the imaging charges into a voltage signal. Further, this voltage signal is supplied to the imaging signal processing unit 113 as the imaging signal Spa.

駆動部112は、後述する制御部20から供給された制御信号CTaに基づいて駆動制御信号RCを生成して撮像部111に供給する。   The drive unit 112 generates a drive control signal RC based on a control signal CTa supplied from the control unit 20 described later, and supplies the drive control signal RC to the imaging unit 111.

撮像信号処理部113は、撮像信号Spaを増幅したのちノイズ成分を除去する。またノイズ除去された画像信号をディジタル信号に変換したのち、フィードバッククランプ処理やフレアー補正、撮像素子の欠陥に対する補正処理、プロセス処理等を行い、画像信号DVaを生成する。この画像信号DVaは、フレーム加算処理部12とフレームレート変換部13に供給される。なお、撮像信号処理部113で行う信号処理動作は、制御部20から供給された制御信号CTeに基づいて制御される。   The imaging signal processing unit 113 amplifies the imaging signal Spa and then removes noise components. Further, after the image signal from which noise has been removed is converted into a digital signal, feedback clamp processing, flare correction, correction processing for defects in the image sensor, process processing, and the like are performed to generate an image signal DVa. The image signal DVa is supplied to the frame addition processing unit 12 and the frame rate conversion unit 13. The signal processing operation performed by the imaging signal processing unit 113 is controlled based on the control signal CTe supplied from the control unit 20.

フレーム加算処理部12は、画像信号DVaに対してフレーム加算処理を行い、画像信号DVaのフレームレートを可変する。このフレーム加算処理は、RAM(Random Access Memory)を用いて行うことができる。また、フレーム加算処理におけるの加算フレーム数は、制御部20からの加算制御信号CTbによって制御される。ここで、例えば3フレーム加算を行う場合、1フレーム目の画像信号DVaをRAM-1に記憶させ、このRAM-1に記憶された信号を読み出して2フレーム目の画像信号DVaと加算してRAM-2に記憶させる。このRAM-2に記憶されている加算信号を読み出して3フレーム目の画像信号DVaと加算してRAM-3に記憶させる。このRAM-3に記憶された信号は、3フレーム分の画像信号DVaを加算した信号となり、この信号を読み出して信号レベルを(1/3)倍すれば、所要の信号レベルであるとともに、フレームレートを1/3倍した信号となる。また、4フレーム目の画像信号DVaをRAM-1に記憶させ、このRAM-1に記憶された信号を読み出して5フレーム目の画像信号DVaと加算してRAM-2に記憶させる。このRAM-2に記憶されている加算信号を読み出して6フレーム目の画像信号DVaと加算してRAM-3に記憶させる。このRAM-3に記憶された信号は、3フレーム分の画像信号DVaを加算した信号となり、この信号を読み出して信号レベルを(1/3)倍すれば、所要の信号レベルであるとともに、フレームレートを1/3倍した信号となる。以下同様にして、3フレーム分の画像信号DVaを加算した所要の信号レベルである画像信号DVbを順次生成することができる。   The frame addition processing unit 12 performs a frame addition process on the image signal DVa to vary the frame rate of the image signal DVa. This frame addition process can be performed using a RAM (Random Access Memory). Further, the number of frames added in the frame addition process is controlled by the addition control signal CTb from the control unit 20. Here, for example, when 3 frames are added, the image signal DVa of the first frame is stored in the RAM-1, and the signal stored in the RAM-1 is read out and added to the image signal DVa of the second frame. Remember to -2. The addition signal stored in the RAM-2 is read out, added to the image signal DVa of the third frame, and stored in the RAM-3. The signal stored in the RAM-3 is a signal obtained by adding the image signals DVa for three frames. If this signal is read and the signal level is multiplied by (1/3), the signal level is the required level and the frame The signal is 1/3 times the rate. Further, the image signal DVa of the fourth frame is stored in the RAM-1, the signal stored in the RAM-1 is read out, added to the image signal DVa of the fifth frame, and stored in the RAM-2. The addition signal stored in the RAM-2 is read out, added to the image signal DVa of the sixth frame, and stored in the RAM-3. The signal stored in the RAM-3 is a signal obtained by adding the image signals DVa for three frames. If this signal is read and the signal level is multiplied by (1/3), the signal level is the required level and the frame The signal is 1/3 times the rate. Similarly, the image signal DVb having a required signal level obtained by adding the image signals DVa for three frames can be sequentially generated.

なお、フレーム加算処理は、フレーム遅延回路を用いても行うことができる。例えば、1フレーム目の画像信号DVaをフレーム遅延回路で2フレーム期間遅延させると共に、2フレーム目の画像信号DVaをフレーム遅延回路で1フレーム期間遅延させる。この遅延させた1フレーム目の画像信号と2フレーム目の画像信号DVaを、3フレーム目の画像信号DVaに加算して3フレーム分の画像信号DVaが加算された信号を得る。この信号の信号レベルを(1/3)倍すれば、所要の信号レベルであるとともに、画像信号DVaのフレームレートを1/3倍した画像信号DVbを得ることができる。   The frame addition process can also be performed using a frame delay circuit. For example, the image signal DVa of the first frame is delayed by two frame periods by the frame delay circuit, and the image signal DVa of the second frame is delayed by one frame period by the frame delay circuit. The delayed first frame image signal and second frame image signal DVa are added to the third frame image signal DVa to obtain a signal obtained by adding the image signals DVa for three frames. By multiplying the signal level of this signal by (1/3), it is possible to obtain an image signal DVb that is a required signal level and that is obtained by multiplying the frame rate of the image signal DVa by 1/3.

このようにフレーム加算処理を行うことで、例えば画像信号DVaのフレームレートが「60P(数字は1秒当たりのフレーム数、Pはプログレッシブ方式の信号であることを示すものであり、他の場合も同様である)」であるとき、加算フレーム数を2フレームとすれば、「30P」のフレームレートの画像信号DVbを得ることができる。また加算フレーム数を4フレームとすれば、「15P」のフレームレートの画像信号DVbを得ることができる。   By performing the frame addition process in this way, for example, the frame rate of the image signal DVa is “60P (the number indicates the number of frames per second, P indicates a progressive signal, and in other cases, Similarly, if the number of added frames is 2, the image signal DVb having a frame rate of “30P” can be obtained. If the number of added frames is 4, the image signal DVb having a frame rate of “15P” can be obtained.

さらに、加算フレーム数の切り換えだけでなく、撮像素子からの信号読み出しを制御して撮像信号Spaのフレームレートを可変すれば、画像信号DVbのフレームレートを連続して可変することが可能となり、所望のフレームレートで撮像した可変速フレームレート撮像画像の画像信号DVbを生成できる。このようにしてフレーム加算処理部12で生成された画像信号DVbは、送信部14に供給される。   Furthermore, not only switching the number of added frames but also controlling the signal readout from the image sensor to vary the frame rate of the imaging signal Spa makes it possible to continuously vary the frame rate of the image signal DVb. The image signal DVb of the variable-speed frame rate captured image captured at the frame rate can be generated. The image signal DVb generated by the frame addition processing unit 12 in this way is supplied to the transmission unit 14.

フレームレート変換部13は、制御部20から供給された変換制御信号CTfに基づき、例えばRAMへの画像信号の書き込みや読み出しを制御することで、画像信号DVaのフレームレート変換を行い、フレームレート変換後の画像信号をモニタ画像信号DVfとして信号セレクタ16に供給する。   Based on the conversion control signal CTf supplied from the control unit 20, the frame rate conversion unit 13 performs frame rate conversion of the image signal DVa, for example, by controlling writing and reading of the image signal to and from the RAM, thereby converting the frame rate. The subsequent image signal is supplied to the signal selector 16 as the monitor image signal DVf.

図2は、フレームレート変換部13の構成の一例を示している。フレームレート変換部13は、供給された画像信号DVaを、例えば3つのRAM(Random Access Memory)131-a〜131-cにフレーム単位で振り分けて順次書き込む。また、変換制御信号CTfに基づき、順次RAMを選択しながらRAMに書き込まれている画像信号を読み出し、フレームレートが変換されたモニタ画像信号DVfを生成する。   FIG. 2 shows an example of the configuration of the frame rate conversion unit 13. The frame rate conversion unit 13 distributes and sequentially writes the supplied image signal DVa in, for example, three RAMs (Random Access Memory) 131-a to 131-c in units of frames. Further, based on the conversion control signal CTf, the image signal written in the RAM is read while sequentially selecting the RAM, and the monitor image signal DVf with the converted frame rate is generated.

書込制御部132は、変換制御信号CTfに基づいて、画像信号DVaを書き込むRAMを選択するための選択信号SEWや、画像信号DVaをRAMに書き込むための書込制御信号CKWを生成する。この選択信号SEWは、信号セレクタ133に供給される。また、書込制御信号CKWは、画像信号DVaを書き込むRAMに供給される。さらに、書込制御部132は、各RAMでの画像信号DVaの書き込み状態を示す書込情報信号MIFを生成して、読出制御部134に供給する。   Based on the conversion control signal CTf, the write control unit 132 generates a selection signal SEW for selecting a RAM in which the image signal DVa is written and a write control signal CKW for writing the image signal DVa into the RAM. This selection signal SEW is supplied to the signal selector 133. Further, the writing control signal CKW is supplied to a RAM that writes the image signal DVa. Further, the write control unit 132 generates a write information signal MIF indicating the write state of the image signal DVa in each RAM, and supplies it to the read control unit 134.

信号セレクタ133は、選択信号SEWによって選択されたRAMに画像信号DVaを供給し、この選択されたRAMでは、書込制御信号CKWに基づいて画像信号DVaの書き込みを行う。   The signal selector 133 supplies the image signal DVa to the RAM selected by the selection signal SEW, and the selected RAM writes the image signal DVa based on the write control signal CKW.

読出制御部134は、変換制御信号CTfに基づき、読出制御信号CKRを生成する。この読出制御信号CKRは、変換後のフレームレートでRAMから画像信号を読み出すための信号である。また、変換制御信号CTfと書込情報信号MIFに基づき、画像信号を読み出すRAMを選択するための選択信号SERを生成する。選択信号SERは、信号セレクタ135に供給される。また読出制御信号CKRは、画像信号を読み出すRAMあるいは各RAMに供給される。   The read control unit 134 generates a read control signal CKR based on the conversion control signal CTf. The read control signal CKR is a signal for reading an image signal from the RAM at the converted frame rate. Further, a selection signal SER for selecting a RAM from which an image signal is read is generated based on the conversion control signal CTf and the write information signal MIF. The selection signal SER is supplied to the signal selector 135. Further, the read control signal CKR is supplied to the RAM for reading the image signal or each RAM.

読出制御信号CKRが供給されたRAMは、記憶している画像信号を読出制御信号CKRに基づき読み出して信号セレクタ135に供給する。信号セレクタ135は、選択信号SERによって選択されたRAMからの画像信号を選択して、モニタ画像信号DVfとして出力する。   The RAM supplied with the read control signal CKR reads the stored image signal based on the read control signal CKR and supplies it to the signal selector 135. The signal selector 135 selects the image signal from the RAM selected by the selection signal SER and outputs it as the monitor image signal DVf.

ここで、RAMからの画像信号の読み出しは、書込情報信号MIFに基づき画像信号の書き込みが最後に完了しているRAMを判別して、この判別したRAMを次に画像信号の読み出しを行うRAMとして選択するよう選択信号SERを生成する。また、RAMから1フレーム分の画像信号を読み出したとき、次フレームの画像信号の書き込みが完了していないことを書込情報信号MIFによって検出した場合は、画像信号を読み出すRAMを変更することなく、同じフレームの画像信号を読み出すものとする。このように画像信号の読み出しを制御することで、画像信号DVaのフレームレートを低いフレームレートに変換するときは、画像信号DVaに対してフレーム間引きが行われて、フレームレートが低くされたモニタ画像信号DVfを生成できる。また、画像信号DVaのフレームレートを高いフレームレートに変換するときには、画像信号DVaをフレーム単位で繰り返すことによりフレーム追加が行われて、フレームレートが高くされたモニタ画像信号DVfを生成できる。   Here, the reading of the image signal from the RAM is performed by determining the RAM in which the writing of the image signal has been completed last based on the writing information signal MIF, and reading the image signal next to the determined RAM. The selection signal SER is generated so as to select as follows. Further, when an image signal for one frame is read from the RAM, if it is detected by the write information signal MIF that the writing of the image signal of the next frame is not completed, the RAM for reading the image signal is not changed. Assume that image signals of the same frame are read out. In this way, when the frame rate of the image signal DVa is converted to a low frame rate by controlling the reading of the image signal, the frame image is thinned out from the image signal DVa to reduce the frame rate. A signal DVf can be generated. Further, when the frame rate of the image signal DVa is converted to a high frame rate, a frame addition is performed by repeating the image signal DVa in units of frames, thereby generating a monitor image signal DVf with an increased frame rate.

送信部14は、伝送路30を介してカメラコントロール装置40の受信部41と接続されており、画像信号DVbと制御部20から供給された通信情報RMpをカメラコントロール装置40に供給する。   The transmission unit 14 is connected to the reception unit 41 of the camera control device 40 via the transmission line 30, and supplies the image signal DVb and the communication information RMp supplied from the control unit 20 to the camera control device 40.

受信部15は、伝送路30を介してカメラコントロール装置40の送信部45と接続されており、カメラコントロール装置40側から供給された再生画像信号DVrを、信号セレクタ16に供給する。また、カメラコントロール装置40側から供給された通信情報RMt,RMqを制御部20に供給する。   The reception unit 15 is connected to the transmission unit 45 of the camera control device 40 via the transmission path 30 and supplies the reproduction image signal DVr supplied from the camera control device 40 side to the signal selector 16. Further, the communication information RMt, RMq supplied from the camera control device 40 side is supplied to the control unit 20.

信号セレクタ16は、制御部20からの選択信号CSfに基づき、モニタ画像信号DVfあるいは再生画像信号DVrのいずれかの信号を選択して、モニタ出力信号VFoutとして画像表示装置例えば電子ビューファインダー25に供給する。   The signal selector 16 selects either the monitor image signal DVf or the reproduced image signal DVr based on the selection signal CSf from the control unit 20, and supplies the selected signal as a monitor output signal VFout to the image display device, for example, the electronic viewfinder 25. To do.

制御部20には、ユーザインタフェース部21が接続されている。このユーザインタフェース部21を介して、ユーザ操作に応じた操作信号PSpが供給されると、制御部20は、この操作信号PSpに基づいて制御信号CTa,CTb等を生成して各部の動作を制御することにより、撮像装置10をユーザの操作に応じて動作させる。また、フレーム加算処理部12から出力される画像信号DVbのフレームレートやモニタ画像信号DVfのフレームレートを指示するフレームレート指示信号RSFpが、ユーザインタフェース部21を介して制御部20に供給されたとき、制御部20は、フレームレート指示信号RSFpに基づき、制御信号CTaや加算制御信号CTb,変換制御信号CTfを生成する。例えば撮像時のフレームレートの変更を行い、操作信号PSpとしてフレームレート指示信号RSFpが制御部20に供給されたとき、あるいはリモートコントロール装置からフレームレート指示信号RSFpが制御部20に供給されたとき、フレームレート指示信号RSFpに応じた制御信号CTaを生成して駆動部112に供給する。また、加算制御信号CTbを生成してフレーム加算処理部12に供給するとともに、変換制御信号CTfを生成してフレームレート変換部13に供給する。さらに、受信部15を介して通信情報RMtや通信情報RMqが供給されたときは、この通信情報RMt,RMqに基づいて制御信号CTaや加算制御信号CTb,変換制御信号CTfを生成する。また、操作信号PSpや通信情報RMt,RMqに基づいて選択信号CSfの生成を行うとともに、モニタ出力信号VFoutのフレームレートを示すフレームレート信号MFRを生成して電子ビューファインダー25に供給する。また、制御部20は、カメラコントロール装置40や記録再生装置50の動作を制御するための通信情報RMpの生成も必要に応じて行う。また、ユーザインタフェース部21には、動作モード設定操作部21aが設けられており、この動作モード設定操作部21aが操作されて優先制御モードに設定されたとき、制御部20は、フレームレート変換部13の制御を通信情報RMt,RMqに係らず、フレームレート指示信号RSFpに基づいて行う。   A user interface unit 21 is connected to the control unit 20. When the operation signal PSp corresponding to the user operation is supplied via the user interface unit 21, the control unit 20 generates control signals CTa, CTb and the like based on the operation signal PSp to control the operation of each unit. By doing so, the imaging device 10 is operated according to the user's operation. When the frame rate instruction signal RSFp for instructing the frame rate of the image signal DVb output from the frame addition processing unit 12 or the frame rate of the monitor image signal DVf is supplied to the control unit 20 via the user interface unit 21. The control unit 20 generates a control signal CTa, an addition control signal CTb, and a conversion control signal CTf based on the frame rate instruction signal RSFp. For example, when the frame rate at the time of imaging is changed and the frame rate instruction signal RSFp is supplied to the control unit 20 as the operation signal PSp, or when the frame rate instruction signal RSFp is supplied from the remote control device to the control unit 20, A control signal CTa corresponding to the frame rate instruction signal RSFp is generated and supplied to the drive unit 112. Further, the addition control signal CTb is generated and supplied to the frame addition processing unit 12, and the conversion control signal CTf is generated and supplied to the frame rate conversion unit 13. Further, when the communication information RMt or the communication information RMq is supplied via the receiving unit 15, the control signal CTa, the addition control signal CTb, and the conversion control signal CTf are generated based on the communication information RMt and RMq. Further, the selection signal CSf is generated based on the operation signal PSp and the communication information RMt, RMq, and the frame rate signal MFR indicating the frame rate of the monitor output signal VFout is generated and supplied to the electronic viewfinder 25. The control unit 20 also generates communication information RMp for controlling operations of the camera control device 40 and the recording / reproducing device 50 as necessary. The user interface unit 21 is provided with an operation mode setting operation unit 21a. When the operation mode setting operation unit 21a is operated and set to the priority control mode, the control unit 20 includes a frame rate conversion unit. Control 13 is performed based on the frame rate instruction signal RSFp regardless of the communication information RMt and RMq.

電子ビューファインダー25は、フレームレート信号MFRに基づきモニタ出力信号VFoutのフレームレートを判別し、この判別したフレームレートでモニタ出力信号VFoutに基づく画像表示を行う。なお、電子ビューファインダー25が、モニタ出力信号VFoutのフレームレートを自動的に検出して画像表示を行うことができるものであるときは、制御部20からフレームレート信号MFRを電子ビューファインダー25に供給することなく、モニタ出力信号VFoutに基づいた画像を正しく表示できる。   The electronic viewfinder 25 determines the frame rate of the monitor output signal VFout based on the frame rate signal MFR, and performs image display based on the monitor output signal VFout at the determined frame rate. When the electronic viewfinder 25 can automatically detect the frame rate of the monitor output signal VFout and display an image, the controller 20 supplies the frame rate signal MFR to the electronic viewfinder 25. Thus, an image based on the monitor output signal VFout can be correctly displayed.

カメラコントロール装置40は、受信部41で受信した画像信号DVbを遅延補償部42に供給する。遅延補償部42は、伝送路30で生じた画像信号DVbの遅延を補償して信号セレクタ44と記録再生装置50の記録処理部51に供給する。また、受信部41で受信した通信情報RMpを信号セレクタ44や記録再生装置50の制御部55に供給する。   The camera control device 40 supplies the image signal DVb received by the receiving unit 41 to the delay compensating unit 42. The delay compensator 42 compensates for the delay of the image signal DVb generated in the transmission path 30 and supplies it to the signal selector 44 and the recording processor 51 of the recording / reproducing apparatus 50. Further, the communication information RMp received by the receiving unit 41 is supplied to the signal selector 44 and the control unit 55 of the recording / reproducing apparatus 50.

記録再生装置50から再生画像信号DVrが供給されたとき、この再生画像信号DVrを遅延補償部43に供給する。遅延補償部43は、伝送路30で生ずる遅延を予め見込んで再生画像信号DVrを送信部45から撮像装置10に送信する。また、記録再生装置50の制御部55から通信情報RMqが供給されたとき、この通信情報RMqを撮像装置10に送信する。   When the reproduced image signal DVr is supplied from the recording / reproducing apparatus 50, the reproduced image signal DVr is supplied to the delay compensator 43. The delay compensation unit 43 transmits the reproduced image signal DVr from the transmission unit 45 to the imaging apparatus 10 in advance by taking into account the delay generated in the transmission path 30. Further, when the communication information RMq is supplied from the control unit 55 of the recording / reproducing device 50, the communication information RMq is transmitted to the imaging device 10.

また、カメラコントロール装置40には信号セレクタ44が設けられており、撮像装置10からの通信情報RMpや記録再生装置50からの通信情報RMqあるいは後述する制御部46からの選択信号CStに基づき、画像信号DVbあるいは再生画像信号DVrの何れかを選択して画像信号DVtとして出力する。   Further, the camera control device 40 is provided with a signal selector 44, and based on the communication information RMp from the imaging device 10, the communication information RMq from the recording / reproducing device 50, or a selection signal CSt from the control unit 46 described later. Either the signal DVb or the reproduced image signal DVr is selected and output as the image signal DVt.

制御部46には、ユーザインタフェース部47が接続されている。このユーザインタフェース部47を介して、ユーザ操作に応じた操作信号PStが供給されると、制御部46は、この操作信号PStに基づいて撮像装置10の動作を制御する通信情報RMtや記録再生装置50の動作を制御する通信情報RMuを生成する。この通信情報RMtは、送信部45を介して撮像装置10に供給される。また、通信情報RMuは、記録再生装置50の制御部55に供給される。さらに、制御部46は、操作信号PStに基づき選択信号CStの生成も必要に応じて行う。   A user interface unit 47 is connected to the control unit 46. When the operation signal PSt corresponding to the user operation is supplied via the user interface unit 47, the control unit 46 controls the communication information RMt and the recording / reproducing device for controlling the operation of the imaging device 10 based on the operation signal PSt. Communication information RMu for controlling 50 operations is generated. The communication information RMt is supplied to the imaging device 10 via the transmission unit 45. Further, the communication information RMU is supplied to the control unit 55 of the recording / reproducing apparatus 50. Further, the control unit 46 also generates the selection signal CSt as necessary based on the operation signal PSt.

記録再生装置50の記録処理部51は、供給された画像信号DVbに対して変調処理や誤り訂正符号の付加処理等を行い、記録信号WSを生成して記録ヘッド52Wに供給する。この記録ヘッド52Wを記録信号WSによって駆動することで、記録媒体60に撮像画像を記録する。また、記録媒体60に記録されている撮像画像を再生ヘッド52Rによって読み出し、得られた読出信号RSを再生処理部53に供給する。再生処理部53は、誤り訂正処理や復調処理を行い、得られた再生画像信号DVrをカメラコントロール装置40の遅延補償部43に供給する。   The recording processing unit 51 of the recording / reproducing apparatus 50 performs modulation processing, error correction code addition processing, and the like on the supplied image signal DVb, generates a recording signal WS, and supplies the recording signal WS to the recording head 52W. The captured image is recorded on the recording medium 60 by driving the recording head 52W with the recording signal WS. Further, the captured image recorded on the recording medium 60 is read by the reproduction head 52R, and the obtained read signal RS is supplied to the reproduction processing unit 53. The reproduction processing unit 53 performs error correction processing and demodulation processing, and supplies the obtained reproduction image signal DVr to the delay compensation unit 43 of the camera control device 40.

制御部55には、ユーザインタフェース部56が接続されている。このユーザインタフェース部56を介して、ユーザ操作に応じた操作信号PSqが供給されると、制御部55は、この操作信号PSqに基づいて制御信号等を生成して記録処理部51や再生処理部53および記録媒体60を駆動する駆動部57の動作を制御し、記録再生装置50をユーザの操作に応じて動作させる。また、通信情報RMpや通信情報RMuが供給されたときには、この通信情報RMp,RMuに基づいて各部の動作を制御する。また、操作信号PSqに基づいて、撮像装置10やカメラコントロール装置40の動作を制御する通信情報RMqを生成して、撮像装置10やカメラコントロール装置40に供給する。   A user interface unit 56 is connected to the control unit 55. When the operation signal PSq corresponding to the user operation is supplied via the user interface unit 56, the control unit 55 generates a control signal or the like based on the operation signal PSq to generate a recording processing unit 51 or a reproduction processing unit. 53 and the drive unit 57 for driving the recording medium 60 are controlled, and the recording / reproducing apparatus 50 is operated in accordance with a user operation. When communication information RMp or communication information RMu is supplied, the operation of each unit is controlled based on the communication information RMp and RMu. Further, communication information RMq for controlling operations of the imaging device 10 and the camera control device 40 is generated based on the operation signal PSq and supplied to the imaging device 10 and the camera control device 40.

次に、撮像装置の動作について説明する。最初に、撮像装置10側のユーザインタフェース部21を操作して、可変速フレームレートでの撮像を行う場合について説明する。制御部20は、ユーザインタフェース部21からのフレームレート指示信号RSFpに基づいて、上述したように撮像部111で生成される撮像信号Spaのフレームレート(撮像フレームレート)FRpとフレーム加算処理部12での加算フレーム数FAを切り替える。例えば図3に示すように、フレームレート指示信号RSFpによって可変速フレームレート撮像画像のフレームレート(可変速フレームレート)FRcが「60P≧FRc>30P」の範囲内に設定されたときは、加算フレーム数FAを「1」として、撮像フレームレートFRpを可変速フレームレートFRcと等しくする。可変速フレームレートFRcが「30P≧FRc>20P」の範囲内に設定されたときは、加算フレーム数FAを「2」として、撮像フレームレートFRpを可変速フレームレートFRcの2倍とする。可変速フレームレートFRcが「20P≧FRc>15P」の範囲内に設定されたときは、加算フレーム数FAを「3」として、撮像フレームレートFRpを可変速フレームレートFRcの3倍とする。以下同様にして、撮像フレームレートFRpと加算フレーム数FAを切り替えることで、可変速フレームレートFRcを連続して可変することが可能となり、所望の可変速フレームレートFRcの画像信号DVbを生成できる。   Next, the operation of the imaging apparatus will be described. First, a case where the user interface unit 21 on the imaging device 10 side is operated to perform imaging at a variable frame rate will be described. Based on the frame rate instruction signal RSFp from the user interface unit 21, the control unit 20 uses the frame rate (imaging frame rate) FRp of the imaging signal Spa generated by the imaging unit 111 and the frame addition processing unit 12 as described above. The number of added frames FA is switched. For example, as shown in FIG. 3, when the frame rate (variable frame rate) FRc of the variable-speed frame rate captured image is set within the range of “60P ≧ FRc> 30P” by the frame rate instruction signal RSFp, The number FA is set to “1”, and the imaging frame rate FRp is made equal to the variable frame rate FRc. When the variable frame rate FRc is set within the range of “30P ≧ FRc> 20P”, the number of added frames FA is set to “2”, and the imaging frame rate FRp is set to twice the variable frame rate FRc. When the variable frame rate FRc is set within the range of “20P ≧ FRc> 15P”, the number of added frames FA is set to “3”, and the imaging frame rate FRp is set to three times the variable frame rate FRc. Similarly, by switching the imaging frame rate FRp and the number of added frames FA, the variable frame rate FRc can be continuously varied, and the image signal DVb having a desired variable frame rate FRc can be generated.

撮像信号Spaのフレームレートを可変する場合、駆動部112から撮像部111に供給する駆動制御信号RCによって、撮像素子での電荷蓄積期間や撮像電荷の読み出しタイミング等を制御することでフレームレートが可変された撮像信号Spaを得ることができる。さらに、CDR方式(Common Data Rate:共通サンプリング周波数方式)を用いるものとして、水平帰線期間あるいは垂直帰線期間の長さを調整して、撮像フレームレートFRpの可変処理を行うものとすれば、撮像フレームレートFRpを可変しても有効画面期間の画像サイズが変化しない撮像信号Spaを生成できる。また、CDR方式を用いることで、撮像フレームレートFRpを用いる各部の動作周波数を撮像フレームレートFRpに応じて可変する必要がなく、構成が簡単となる。   When the frame rate of the imaging signal Spa is varied, the frame rate is varied by controlling the charge accumulation period in the imaging element, the readout timing of the imaging charge, and the like by the drive control signal RC supplied from the driving unit 112 to the imaging unit 111. The obtained imaging signal Spa can be obtained. Further, assuming that the CDR method (Common Data Rate: common sampling frequency method) is used, the length of the horizontal blanking period or the vertical blanking period is adjusted, and the imaging frame rate FRp is changed. Even if the imaging frame rate FRp is varied, it is possible to generate an imaging signal Spa in which the image size of the effective screen period does not change. Further, by using the CDR method, it is not necessary to vary the operating frequency of each part using the imaging frame rate FRp according to the imaging frame rate FRp, and the configuration is simplified.

CDR方式では、図4Aに示すように帰線期間と有効画面期間が設定された画像信号に対して、図4Bに示すように水平帰線期間の長さを調整したり、図4Cに示すように垂直帰線期間の長さを調整することで、有効画面期間の画像サイズを変化させることなく撮像フレームレートFRpを可変した撮像信号Spaを生成できる。   In the CDR method, as shown in FIG. 4A, the length of the horizontal blanking period is adjusted as shown in FIG. 4B for the image signal in which the blanking period and the effective screen period are set, as shown in FIG. 4C. By adjusting the length of the vertical blanking period, it is possible to generate the imaging signal Spa in which the imaging frame rate FRp is varied without changing the image size of the effective screen period.

図5は、画像信号DVbの生成動作を説明するための図であり、上述のようにRAM-1〜RAM-3と加算器等を用いてフレーム加算処理を行う場合を示している。例えば、可変速フレームレートFRcを「18P」とする場合、図2から撮像フレームレートFRpは「54P」、加算フレーム数FAは「3」となる。なお、図5Aは画像信号DVaのフレーム、図5Bはフレーム加算処理部12を構成するRAM-1の動作、図5CはRAM-2の動作、図5DはRAM-3の動作、図5Eは画像信号DVbのフレームを示している。   FIG. 5 is a diagram for explaining the generation operation of the image signal DVb, and shows a case where the frame addition processing is performed using the RAM-1 to RAM-3, an adder and the like as described above. For example, when the variable frame rate FRc is “18P”, the imaging frame rate FRp is “54P” and the number of added frames FA is “3” from FIG. 5A shows the frame of the image signal DVa, FIG. 5B shows the operation of the RAM-1 constituting the frame addition processing unit 12, FIG. 5C shows the operation of the RAM-2, FIG. 5D shows the operation of the RAM-3, and FIG. A frame of the signal DVb is shown.

画像信号DVaのフレーム「0f」が開始する時点t1において、フレーム加算処理部12は、例えばRAM-1を書き込みRAMに設定して、書き込みRAMにフレーム「0f」の画像信号DVaを記憶させる。   At the time t1 when the frame “0f” of the image signal DVa starts, the frame addition processing unit 12 sets, for example, RAM-1 as the write RAM, and stores the image signal DVa of the frame “0f” in the write RAM.

画像信号DVaのフレーム「0f」が終了してフレーム「1f」が開始するタイミングである時点t2では、フレーム「0f」の画像信号が記憶されたRAM-1を内部読み出しRAMとして指定するとともに、書き込みRAMをRAM-1から例えばRAM-2に変更する。さらに、内部読み出しRAMに記録されている信号、すなわちRAM-1に記憶されているフレーム「0f」の信号を読み出して、この信号にフレーム「1f」の画像信号DVaを加算器で加算して書き込みRAMであるRAM-2に記憶させる。   At time t2, which is the timing when the frame “1f” of the image signal DVa ends and the frame “1f” starts, the RAM-1 in which the image signal of the frame “0f” is stored is designated as the internal read RAM and is written. The RAM is changed from RAM-1 to, for example, RAM-2. Further, the signal recorded in the internal read RAM, that is, the signal of the frame “0f” stored in the RAM-1 is read, and the image signal DVa of the frame “1f” is added to the signal by the adder and written. It memorize | stores in RAM-2 which is RAM.

画像信号DVaのフレーム「1f」が終了してフレーム「2f」が開始するタイミングである時点t3となると、3フレームの加算信号を生成するために、フレーム「0f」とフレーム「1f」を加算した信号が書き込まれているRAM-2を内部読み出しRAMに指定する。また、書き込みRAMをRAM-2から例えばRAM-3に変更する。さらに、内部読み出しRAMに記録されている信号、すなわちRAM-2に記憶されている信号を読み出して、この信号にフレーム「2f」の画像信号DVaを加算器で加算して書き込みRAMであるRAM-3に記憶させる。   When the time point t3 when the frame “1f” of the image signal DVa ends and the frame “2f” starts, the frame “0f” and the frame “1f” are added to generate an addition signal of 3 frames. The RAM-2 in which the signal is written is designated as the internal read RAM. Further, the write RAM is changed from RAM-2 to, for example, RAM-3. Further, the signal recorded in the internal read RAM, that is, the signal stored in the RAM-2 is read, and the image signal DVa of the frame “2f” is added to this signal by the adder, and the RAM- Remember to 3

画像信号DVaのフレーム「2f」が終了してフレーム「3f」が開始するタイミングである時点t4となると、3フレーム分の画像信号DVaを加算した3フレーム加算信号の生成が完了したことから、この3フレーム加算信号が記憶されているRAM-3を外部読み出しRAMに指定する。また、RAM-1を書き込みRAMに設定して、書き込みRAMにフレーム「3f」の画像信号DVaを記憶させる。   At time t4 when the frame “2f” of the image signal DVa ends and the frame “3f” starts, generation of the 3-frame addition signal obtained by adding the image signals DVa for 3 frames is completed. The RAM-3 in which the 3-frame addition signal is stored is designated as the external read RAM. Also, the RAM-1 is set as the writing RAM, and the image signal DVa of the frame “3f” is stored in the writing RAM.

3フレーム加算信号の生成後、この3フレーム加算信号を外部読み出しRAMから読み出して、この読み出した信号の信号レベルを(1/3)倍して画像信号DVbとして出力させる。   After generating the 3-frame addition signal, the 3-frame addition signal is read from the external read RAM, and the signal level of the read signal is multiplied by (1/3) to be output as the image signal DVb.

以下同様に、RAM-1〜RAM-3と加算器等を使用して画像信号DVaを3フレーム加算して3フレーム加算信号を生成し、この3フレーム加算信号の信号レベルを(1/3)倍することで、可変速フレームレートFRcの画像信号DVbを得ることができる。   Similarly, the RAM-1 to RAM-3 and an adder are used to add 3 frames of the image signal DVa to generate a 3-frame addition signal, and the signal level of the 3-frame addition signal is set to (1/3). By multiplying, the image signal DVb having the variable frame rate FRc can be obtained.

また、フレームレート指示信号RSFpに基づいて生成した変換制御信号CTfによって、フレームレート変換部13の動作を制御して、画像信号DVbのフレームレートを撮像者が設定したフレームレートのモニタ画像信号DVfに変換して信号セレクタ16に供給する。また、選択信号CSfによって信号セレクタ16でモニタ画像信号DVfを選択させてモニタ出力信号VFoutとする。さらに、モニタ画像信号DVfのフレームレートを示すフレームレート信号MFRを電子ビューファインダー25に供給する。このため、フレームレート指示信号RSFpに基づいた画像信号DVbを、カメラコントロール装置40側に供給できる。また、電子ビューファインダー25の画面上には、撮像者が所望するフレームレートで撮像中の画像を表示できる。   Further, the operation of the frame rate conversion unit 13 is controlled by the conversion control signal CTf generated based on the frame rate instruction signal RSFp, and the frame rate of the image signal DVb is changed to the monitor image signal DVf of the frame rate set by the photographer. The signal is converted and supplied to the signal selector 16. Further, the monitor image signal DVf is selected by the signal selector 16 in accordance with the selection signal CSf, and is set as the monitor output signal VFout. Further, a frame rate signal MFR indicating the frame rate of the monitor image signal DVf is supplied to the electronic viewfinder 25. For this reason, the image signal DVb based on the frame rate instruction signal RSFp can be supplied to the camera control device 40 side. Also, an image being captured can be displayed on the screen of the electronic viewfinder 25 at a frame rate desired by the photographer.

記録再生装置50によって画像信号DVbを記録媒体60に記録する場合、制御部20から記録再生装置50に対して、撮像画像の記録を開始するコマンドを通信情報RMpとして供給する。記録再生装置50の制御部55は、通信情報RMpに基づき記録処理部51や駆動部57を制御し、画像信号DVbに基づき記録信号WSを生成して記録ヘッド52Wに供給させることで、可変速フレームレート撮影画像を記録媒体60に記録する。また、カメラコントロール装置40の信号セレクタ44で画像信号DVbを選択させれば、画像信号DVbを画像信号DVtとして出力できる。   When recording the image signal DVb on the recording medium 60 by the recording / reproducing device 50, the control unit 20 supplies a command to start recording of the captured image as the communication information RMp to the recording / reproducing device 50. The control unit 55 of the recording / reproducing apparatus 50 controls the recording processing unit 51 and the driving unit 57 based on the communication information RMp, generates the recording signal WS based on the image signal DVb, and supplies the recording signal WS to the recording head 52W. The frame rate photographed image is recorded on the recording medium 60. Further, if the image signal DVb is selected by the signal selector 44 of the camera control device 40, the image signal DVb can be output as the image signal DVt.

次に、記録媒体60に記録されている撮像画像を電子ビューファインダー25に表示させる場合について説明する。撮像画像を電子ビューファインダー25に表示させる操作が行われた場合、制御部20から記録再生装置50の制御部55に対して、撮像画像の再生を開始するコマンドを通信情報RMpとして供給する。制御部55は、通信情報RMpに基づき再生処理部53や駆動部57を制御して、記録媒体60に記録されている信号を再生ヘッド52Rで読み出して再生処理部53に供給する。さらに、再生処理部53で得られた再生画像信号DVrを撮像装置10に供給させる。また、撮像装置10の制御部20は、選択信号CSfによって信号セレクタ16で再生画像信号DVrを選択させてモニタ出力信号VFoutとする。さらに、制御部20からフレームレート信号MFRによってモニタ出力信号VFoutのフレームレートを電子ビューファインダー25に通知して、電子ビューファインダー25に再生画像を表示させる。なお、通信情報RMpによってカメラコントロール装置40の信号セレクタ44を制御して、再生画像信号DVrを画像信号DVtとして出力させることもできる。   Next, the case where the captured image recorded on the recording medium 60 is displayed on the electronic viewfinder 25 will be described. When an operation for displaying the captured image on the electronic viewfinder 25 is performed, a command for starting reproduction of the captured image is supplied as communication information RMp from the control unit 20 to the control unit 55 of the recording / reproducing device 50. The control unit 55 controls the reproduction processing unit 53 and the driving unit 57 based on the communication information RMp, reads out a signal recorded on the recording medium 60 by the reproduction head 52R, and supplies the signal to the reproduction processing unit 53. Further, the reproduction image signal DVr obtained by the reproduction processing unit 53 is supplied to the imaging device 10. In addition, the control unit 20 of the imaging device 10 causes the signal selector 16 to select the reproduced image signal DVr according to the selection signal CSf and sets it as the monitor output signal VFout. Further, the frame rate of the monitor output signal VFout is notified from the control unit 20 to the electronic viewfinder 25 by the frame rate signal MFR, and a reproduced image is displayed on the electronic viewfinder 25. Note that the playback image signal DVr can be output as the image signal DVt by controlling the signal selector 44 of the camera control device 40 with the communication information RMp.

このようにして、例えば記録媒体60に記録されている画像信号を「24P」で再生すると、可変速フレームレートFRcを「24P」として撮像したときに、再生画像に於ける被写体の動きの速さが実際の被写体と等しくなる。また、可変速フレームレートFRcを「24P」よりも高く設定して撮像を行い「24P」で再生すると、再生画像に於ける被写体の動きの速さは低速となり、可変速フレームレートFRcを「24P」よりも低く設定して撮像を行い「24P」で再生すると、再生画像に於ける被写体の動きの速さは高速となり、電子ビューファインダー25の画面上には、フレームレート指示信号RSFpに応じて被写体の動きの速さを可変した再生画像が表示される。   In this way, for example, when an image signal recorded on the recording medium 60 is reproduced at “24P”, the speed of movement of the subject in the reproduced image when the variable speed frame rate FRc is imaged at “24P”. Becomes equal to the actual subject. When the variable frame rate FRc is set to be higher than “24P” and the image is captured and reproduced at “24P”, the speed of movement of the subject in the reproduced image becomes low, and the variable frame rate FRc is set to “24P”. If the image is taken lower than "" and reproduced at "24P", the speed of movement of the subject in the reproduced image becomes high, and the electronic viewfinder 25 displays on the screen in accordance with the frame rate instruction signal RSFp. A replay image in which the speed of movement of the subject is changed is displayed.

次に、カメラコントロール装置40のユーザインタフェース部47から撮像装置10の動作を制御する場合について説明する。制御部46は、ユーザインタフェース部47からのフレームレート指示信号RSFtに基づいて通信情報RMqを生成し、この通信情報RMqを撮像装置10の制御部20に供給して、ユーザインタフェース部47から指示された可変速フレームレートFRcやモニタ画像信号DVfのフレームレートを通知する。   Next, a case where the operation of the imaging device 10 is controlled from the user interface unit 47 of the camera control device 40 will be described. The control unit 46 generates communication information RMq based on the frame rate instruction signal RSFt from the user interface unit 47, supplies the communication information RMq to the control unit 20 of the imaging device 10, and is instructed by the user interface unit 47. The variable frame rate FRc and the frame rate of the monitor image signal DVf are notified.

制御部20は、撮像装置10から出力する画像信号DVbのフレームレートが指示された可変速フレームレートFRcとなるように、画像信号生成部11やフレーム加算処理部12の動作を制御する。また、モニタ画像信号DVfが指示されたフレームレートとなるように、変換制御信号CTfによってフレームレート変換部13の動作を制御する。さらに、選択信号CSfによって、モニタ画像信号DVfを信号セレクタ16からモニタ出力信号VFoutとして出力させる。さらに、モニタ出力信号VFoutのフレームレートを示すフレームレート信号MFRを電子ビューファインダー25に供給する。   The control unit 20 controls the operations of the image signal generation unit 11 and the frame addition processing unit 12 so that the frame rate of the image signal DVb output from the imaging device 10 becomes the instructed variable frame rate FRc. Further, the operation of the frame rate conversion unit 13 is controlled by the conversion control signal CTf so that the monitor image signal DVf becomes the instructed frame rate. Further, the monitor image signal DVf is output from the signal selector 16 as the monitor output signal VFout by the selection signal CSf. Further, a frame rate signal MFR indicating the frame rate of the monitor output signal VFout is supplied to the electronic viewfinder 25.

ここで、モニタ画像信号DVfのフレームレートの指示が撮像装置10のユーザインタフェース部21からなされているとき、制御部20は、このフレームレート指示信号RSFpを通信情報RMtよりも優先させてモニタ画像信号DVfのフレームレートを設定する。例えば撮像者がユーザインタフェース部21を介してモニタ画像信号DVfのフレームレートを指示するフレームレート指示信号RSFpを制御部20に供給したとき、通信情報RMtよりもフレームレート指示信号RSFpを優先させる。この場合、撮像者が所望するフレームレートでモニタ画像が表示されていないときは、ユーザインタフェース部21を介してフレームレート指示信号RSFpを制御部20に供給することで、モニタ画像を所望するフレームレートに変更できる。   Here, when an instruction of the frame rate of the monitor image signal DVf is given from the user interface unit 21 of the imaging device 10, the control unit 20 gives priority to the frame rate instruction signal RSFp over the communication information RMt, and monitors the monitor image signal. Set the frame rate of DVf. For example, when the photographer supplies the control unit 20 with the frame rate instruction signal RSFp for instructing the frame rate of the monitor image signal DVf via the user interface unit 21, the frame rate instruction signal RSFp is prioritized over the communication information RMt. In this case, when the monitor image is not displayed at the frame rate desired by the photographer, the frame rate instruction signal RSFp is supplied to the control unit 20 via the user interface unit 21 to obtain the desired frame rate of the monitor image. Can be changed.

また、ユーザインタフェース部21の動作モード設定操作部21aが操作されて優先制御モードに設定されたとき、優先制御モード設定期間中、通信情報によるモニタ画像信号DVfのフレームレートの制御を無効として、フレームレート指示信号RSFpを優先させる。この場合、優先制御モード設定期間中は、通信情報によるモニタ画像信号DVfのフレームレートの制御が無効とされるので、撮像者が所望するフレームレートでモニタ画像を表示できるとともに、通信情報によってモニタ画像信号DVfのフレームレートが変更されてしまうことがない。また、モニタ画像信号DVfのフレームレートをユーザインタフェース部21を介して予め撮像装置の例えば制御部20に記憶させておくものとして、優先制御モードに設定されたときには、記憶されているフレームレートでモニタ画像信号DVfを生成することもできる。この場合、優先制御モードに設定するだけで予め記憶させた所望のフレームレートでモニタ画像信号DVfを生成できるので、優先制御モードの設定後にモニタ画像信号DVfを所望のフレームレートとする操作を不要にできる。   When the operation mode setting operation unit 21a of the user interface unit 21 is operated to set the priority control mode, the frame rate control of the monitor image signal DVf by the communication information is invalidated during the priority control mode setting period, and the frame The rate instruction signal RSFp is prioritized. In this case, since the control of the frame rate of the monitor image signal DVf by the communication information is invalidated during the priority control mode setting period, the monitor image can be displayed at the frame rate desired by the photographer, and the monitor image can be displayed by the communication information. The frame rate of the signal DVf is not changed. Further, the frame rate of the monitor image signal DVf is stored in advance in, for example, the control unit 20 of the imaging apparatus via the user interface unit 21. When the priority control mode is set, the monitor is performed at the stored frame rate. An image signal DVf can also be generated. In this case, since the monitor image signal DVf can be generated at a desired frame rate stored in advance simply by setting the priority control mode, an operation for setting the monitor image signal DVf to the desired frame rate after setting the priority control mode is unnecessary. it can.

このようにモニタ画像信号DVfのフレームレートの制御を行うことで、カメラコントロール装置40で設定された可変速フレームレート撮像画像の画像信号DVbを撮像装置10から出力させることができると共に、電子ビューファインダー25には、撮像者が指示したフレームレートで撮像中の画像をモニタ画像として表示できる。   By controlling the frame rate of the monitor image signal DVf in this manner, the image signal DVb of the variable-speed frame rate captured image set by the camera control device 40 can be output from the imaging device 10 and the electronic viewfinder. 25, an image being captured at a frame rate instructed by the photographer can be displayed as a monitor image.

また、記録再生装置50のユーザインタフェース部56から撮像装置10の動作を制御する場合についても、カメラコントロール装置40のユーザインタフェース部47から撮像装置10の動作を制御する場合と同様に処理する。すなわち、制御部55は、ユーザインタフェース部56からのフレームレート指示信号RSFqに基づいて通信情報RMqを生成し、この通信情報RMqを撮像装置10の制御部20に供給して、ユーザインタフェース部56から指示された可変速フレームレートFRcやモニタ画像信号DVfのフレームレートを通知する。   Further, when the operation of the imaging device 10 is controlled from the user interface unit 56 of the recording / reproducing device 50, the same processing as when the operation of the imaging device 10 is controlled from the user interface unit 47 of the camera control device 40 is performed. That is, the control unit 55 generates communication information RMq based on the frame rate instruction signal RSFq from the user interface unit 56, supplies the communication information RMq to the control unit 20 of the imaging device 10, and receives the communication information RMq from the user interface unit 56. The instructed variable speed frame rate FRc and the frame rate of the monitor image signal DVf are notified.

制御部20は、通信情報RMqに基づき、画像信号DVbのフレームレートが指示された可変速フレームレートFRcとなるように、画像信号生成部11やフレーム加算処理部12の動作を制御する。モニタ画像信号DVfが、記録再生装置50から指示されたフレームレートとなるように、変換制御信号CTfによってフレームレート変換部13の動作を制御する。さらに、選択信号CSfによって、モニタ画像信号DVfを信号セレクタ16からモニタ出力信号VFoutとして出力させる。また、モニタ出力信号VFoutのフレームレートを示すフレームレート信号MFRを電子ビューファインダー25に供給する。   Based on the communication information RMq, the control unit 20 controls the operation of the image signal generation unit 11 and the frame addition processing unit 12 so that the frame rate of the image signal DVb becomes the instructed variable frame rate FRc. The operation of the frame rate conversion unit 13 is controlled by the conversion control signal CTf so that the monitor image signal DVf becomes the frame rate instructed from the recording / reproducing apparatus 50. Further, the monitor image signal DVf is output from the signal selector 16 as the monitor output signal VFout by the selection signal CSf. Further, a frame rate signal MFR indicating the frame rate of the monitor output signal VFout is supplied to the electronic viewfinder 25.

ここで、ユーザインタフェース部21を介してモニタ画像信号DVfのフレームレートの指示がなされているときは、この指示を通信情報RMqよりも優先させる。このため、記録再生装置50で設定された可変速フレームレート撮像画像の画像信号DVbを撮像装置10から出力させることができると共に、電子ビューファインダー25には、撮像者が指示したフレームレートで撮像中の画像をモニタ画像として表示できる。   Here, when the frame rate of the monitor image signal DVf is instructed via the user interface unit 21, this instruction is given priority over the communication information RMq. Therefore, the image signal DVb of the variable-speed frame rate captured image set by the recording / reproducing apparatus 50 can be output from the imaging apparatus 10 and the electronic viewfinder 25 is imaging at the frame rate instructed by the photographer. Can be displayed as a monitor image.

ところで、上述の撮像装置は、画像信号DVaのフレーム加算処理を行い所望の可変速フレームレート撮像画像の画像信号DVbを生成するものとしたが、図6に示すように、画像信号生成部11で所望の可変速フレームレート撮像画像の画像信号DVbを生成して送信部14から出力させるものとしても良い。この場合、制御部20は、制御信号CTaによって撮像部111から出力される撮像信号Spaが可変速フレームレート撮像画像のフレームレートとなるように制御する。さらに、図示せずも、撮像装置10には、カメラコントロール装置40あるいは記録再生装置50のいずれか一方を接続して撮像システムを構成することもできる。   By the way, the above-described imaging device generates the image signal DVb of the desired variable-speed frame rate captured image by performing the frame addition process of the image signal DVa. However, as shown in FIG. An image signal DVb of a desired variable-speed frame rate captured image may be generated and output from the transmission unit 14. In this case, the control unit 20 performs control so that the imaging signal Spa output from the imaging unit 111 by the control signal CTa becomes the frame rate of the variable-speed frame rate captured image. Further, although not shown, the imaging apparatus 10 can be configured by connecting either the camera control apparatus 40 or the recording / reproducing apparatus 50 to the imaging apparatus 10.

なお、上述の実施の形態は、画像信号DVbを生成するために画像信号DVaに対してフレーム加算処理を行い、画像信号DVaのフレームレートを可変するものとし、フレームレート変換部13は、RAMへの信号の書き込みと読み出しを制御して画像信号DVaからフレームレートの異なるモニタ画像信号DVfを生成するものとしたが、画像信号DVbやモニタ画像信号DVfの生成は、これらの処理に限定されるものではない。例えば、フレーム加算を行うことでモニタ画像信号DVfを生成するものとしたり、RAMへの信号の書き込みと読み出しを制御して画像信号DVbを生成するものとしても良い。さらに、他のフレームレートの可変方法、例えば動き予測による内挿画像を生成してフレーム数を増やすことにより、フレームレートを高くする方法等も用いることもできる。   In the above-described embodiment, the frame addition process is performed on the image signal DVa to generate the image signal DVb, and the frame rate of the image signal DVa is varied. The monitor image signal DVf having a different frame rate is generated from the image signal DVa by controlling the writing and reading of the image signal. However, the generation of the image signal DVb and the monitor image signal DVf is limited to these processes. is not. For example, the monitor image signal DVf may be generated by performing frame addition, or the image signal DVb may be generated by controlling writing and reading of the signal to the RAM. Furthermore, other frame rate variable methods such as a method of increasing the frame rate by generating an interpolated image by motion prediction and increasing the number of frames can be used.

このように、撮像中の画像を示すモニタ画像信号DVfに対しては、外部からの通信情報よりも撮像装置のユーザインタフェース部を介して指示されたフレームレートを優先させることで、通信情報に係らず撮像装置側で指示されたフレームレートのモニタ画像信号DVfが生成される。このため、外部から通信情報が撮像装置に供給されて、この撮像装置で生成する可変速フレームレート撮像画像のフレームレートが制御されていても、電子ビューファインダー等の画像表示装置には、撮像者が所望するフレームレートで撮像中の画像がモニタ画像として表示されるので、撮像者はモニタ画像を参照して所望の撮像操作を容易に行うことができる。   In this way, with respect to the monitor image signal DVf indicating the image being captured, the frame rate instructed via the user interface unit of the imaging apparatus is prioritized over the communication information from the outside, so that the communication information is related. First, the monitor image signal DVf of the frame rate instructed on the imaging device side is generated. Therefore, even if communication information is supplied from the outside to the imaging device and the frame rate of the variable-speed frame rate captured image generated by the imaging device is controlled, the image display device such as an electronic viewfinder is not Since an image being captured at a desired frame rate is displayed as a monitor image, the photographer can easily perform a desired imaging operation with reference to the monitor image.

本発明に係る撮像装置は、外部から可変速フレームレート撮像画像のフレームレートを制御しても所望のフレームレートのモニタ画像を表示できるので、映像コンテンツ製作等において特殊な映像効果を得る際に好適である。   The image pickup apparatus according to the present invention can display a monitor image having a desired frame rate even if the frame rate of the variable-speed frame rate picked-up image is controlled from the outside, so that it is suitable for obtaining a special video effect in video content production or the like. It is.

撮像システムの構成を示す図である。It is a figure which shows the structure of an imaging system. フレームレート変換部の構成を示す図である。It is a figure which shows the structure of a frame rate conversion part. 可変速フレームレートに対する加算フレーム数と撮像フレームレートの関係を示す図である。It is a figure which shows the relationship between the addition frame number with respect to a variable frame rate, and an imaging frame rate. CDR方式を説明するための図である。It is a figure for demonstrating a CDR system. 画像信号DVbの生成動作を説明するための図である。It is a figure for demonstrating the production | generation operation | movement of the image signal DVb. 撮像装置の他の構成を示す図である。It is a figure which shows the other structure of an imaging device.

符号の説明Explanation of symbols

10・・・撮像装置、11・・・画像信号生成部、12・・・フレーム加算処理部、13・・・フレームレート変換部、14,45・・・送信部、15,41・・・受信部、16,44,133,135・・・信号セレクタ、20,46,55・・・制御部、21,47,56・・・ユーザインタフェース部、21a・・・動作モード設定操作部、25・・・電子ビューファインダー、30・・・伝送路、40・・・カメラコントロール装置、42,43・・・遅延補償部、50・・・記録再生装置、51・・・記録処理部、52R・・・再生ヘッド、52W・・・記録ヘッド、53・・・再生処理部、60・・・記録媒体、111・・・撮像部、112・・・駆動部、113・・・撮像信号処理部、131・・・RAM、132・・・書込制御部、134・・・読出制御部   DESCRIPTION OF SYMBOLS 10 ... Imaging device, 11 ... Image signal generation part, 12 ... Frame addition process part, 13 ... Frame rate conversion part, 14, 45 ... Transmission part, 15, 41 ... Reception 16, 44, 133, 135 ... signal selector, 20, 46, 55 ... control unit, 21, 47, 56 ... user interface unit, 21a ... operation mode setting operation unit, 25. .... Electronic viewfinder, 30 ... Transmission path, 40 ... Camera control device, 42, 43 ... Delay compensation unit, 50 ... Recording / playback device, 51 ... Recording processing unit, 52R ... Reproduction head, 52W ... recording head, 53 ... reproduction processing unit, 60 ... recording medium, 111 ... imaging unit, 112 ... driving unit, 113 ... imaging signal processing unit, 131 ... RAM, 132 ... Write system Control unit 134... Readout control unit

Claims (2)

可変速フレームレート撮像画像の画像信号を生成する画像信号生成手段と、
前記可変速フレームレート撮像画像の画像信号のフレームレートを変換してモニタ画像信号を生成するフレームレート変換手段と、
前記モニタ画像信号のフレームレートの指示に用いられるインタフェース手段と、
外部から通信情報が供給されたとき、該通信情報に基づいて前記画像信号生成手段と前記フレームレート変換手段の動作を制御するとともに、前記通信情報よりも前記インタフェース手段からの指示を優先させて前記モニタ画像信号のフレームレートを制御する制御手段を有する
ことを特徴とする撮像装置。
Image signal generation means for generating an image signal of a variable-speed frame rate captured image;
Frame rate conversion means for generating a monitor image signal by converting a frame rate of an image signal of the variable-speed frame rate captured image;
Interface means used to indicate a frame rate of the monitor image signal;
When communication information is supplied from the outside, the operation of the image signal generation unit and the frame rate conversion unit is controlled based on the communication information, and the instruction from the interface unit is given priority over the communication information. An imaging apparatus comprising control means for controlling a frame rate of a monitor image signal.
動作モード設定手段を設け、
前記動作モード設定手段によって優先制御モードに設定されたとき、前記制御手段は、前記優先制御モード期間中、前記通信情報による前記モニタ画像信号のフレームレートの制御を無効として前記インタフェース手段からの指示を優先させる
ことを特徴とする請求項2記載の撮像装置。
Provide operation mode setting means,
When the priority control mode is set by the operation mode setting means, the control means invalidates the control of the frame rate of the monitor image signal by the communication information during the priority control mode period and issues an instruction from the interface means. The imaging apparatus according to claim 2, wherein priority is given.
JP2007001653A 2007-01-09 2007-01-09 Imaging apparatus, imaging system, and image generation apparatus Expired - Fee Related JP4363446B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007001653A JP4363446B2 (en) 2007-01-09 2007-01-09 Imaging apparatus, imaging system, and image generation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007001653A JP4363446B2 (en) 2007-01-09 2007-01-09 Imaging apparatus, imaging system, and image generation apparatus

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2003276806A Division JP4518757B2 (en) 2003-07-18 2003-07-18 Imaging device

Publications (3)

Publication Number Publication Date
JP2007097230A true JP2007097230A (en) 2007-04-12
JP2007097230A5 JP2007097230A5 (en) 2007-05-31
JP4363446B2 JP4363446B2 (en) 2009-11-11

Family

ID=37982247

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007001653A Expired - Fee Related JP4363446B2 (en) 2007-01-09 2007-01-09 Imaging apparatus, imaging system, and image generation apparatus

Country Status (1)

Country Link
JP (1) JP4363446B2 (en)

Also Published As

Publication number Publication date
JP4363446B2 (en) 2009-11-11

Similar Documents

Publication Publication Date Title
JP3731589B2 (en) Imaging device and synchronization signal generator
KR101222727B1 (en) Image pickup device
JP3729189B2 (en) Imaging device
JP4353253B2 (en) FRAME RATE CONTROL DEVICE, FRAME RATE CONTROL METHOD, RECORDING DEVICE, AND IMAGING DEVICE
JP4518757B2 (en) Imaging device
US8547479B2 (en) Display apparatus and control method thereof
JP4193628B2 (en) Imaging device
JP4007276B2 (en) Imaging device and control device thereof
JP4458132B2 (en) Imaging device
JP4547877B2 (en) Imaging device
JP4363446B2 (en) Imaging apparatus, imaging system, and image generation apparatus
JP5249078B2 (en) Imaging device
JP4423484B2 (en) IMAGING DEVICE, ITS CONTROL DEVICE, AND IMAGING SYSTEM
JP4420028B2 (en) Imaging device, control device, imaging system, and image signal generation device
JP4345395B2 (en) Signal recording apparatus and signal recording method
JP2010028735A (en) Image processing unit
JP2013146103A (en) Reproduction display device and reproduction display method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090728

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090810

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4363446

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130828

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees