JP2006014173A - Imaging apparatus and its control method - Google Patents

Imaging apparatus and its control method Download PDF

Info

Publication number
JP2006014173A
JP2006014173A JP2004191426A JP2004191426A JP2006014173A JP 2006014173 A JP2006014173 A JP 2006014173A JP 2004191426 A JP2004191426 A JP 2004191426A JP 2004191426 A JP2004191426 A JP 2004191426A JP 2006014173 A JP2006014173 A JP 2006014173A
Authority
JP
Japan
Prior art keywords
imaging
angle
subject
pan
pan angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004191426A
Other languages
Japanese (ja)
Other versions
JP3814282B2 (en
Inventor
Hiroshi Nagai
浩 長井
Mitsunori Araya
光範 荒谷
Kenichiro Takahashi
賢一郎 高橋
Toshihiko Wada
俊彦 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Original Assignee
Canon Marketing Japan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc filed Critical Canon Marketing Japan Inc
Priority to JP2004191426A priority Critical patent/JP3814282B2/en
Publication of JP2006014173A publication Critical patent/JP2006014173A/en
Application granted granted Critical
Publication of JP3814282B2 publication Critical patent/JP3814282B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus and its control method in which preset control can be appropriately performed to determine an imaging starting spot and an imaging ending spot and to linearly image a gap between said points. <P>SOLUTION: A camera apparatus 100 changes a pan angle and a tilt angle to horizontally and vertically incline an imaging direction for imaging an object. A pan angle and a tilt angle at the time of imaging an imaging starting spot and an imaging ending spot are acquired from a preset memory section 18, imaging is started and the pan angle is detected. In such a case, a microcomputer 17b operates, based on the detected pan angle, the tilt angle of the camera apparatus 100 in the case of imaging the object located on a straight line connecting the imaging starting spot and the imaging ending spot. The object is then imaged until the camera apparatus reaches the imaging ending spot while changing the imaging direction of the camera apparatus 100 at the pan angle and the operated tilt angle. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、カメラの撮像方向を左右及び上下に移動する旋回機構を備えた撮像装置及びその制御方法に関する。   The present invention relates to an imaging apparatus including a turning mechanism that moves the imaging direction of a camera left and right and up and down, and a control method thereof.

カメラの撮像装置には、レンズと、CCD等の撮像素子からなる撮像素子部と、撮像された画像信号を出力する信号処理部を備えるカメラ装置と、当該カメラ装置を左右(水平)、上下(垂直)方向に旋回するための旋回装置が備わっている。   The imaging device of the camera includes a lens, an imaging device unit including an imaging device such as a CCD, a signal processing unit that outputs a captured image signal, and left and right (horizontal), vertical ( A swiveling device for swiveling in the (vertical) direction is provided.

ここで、当該カメラ装置には、焦点をあわせるためにレンズを移動させるためのフォーカス用レンズ移動モータや、ズーム時に(ズーム)レンズを移動させるためのズーム用レンズ移動モータが備わっている。また、旋回装置には、カメラ装置全体を水平(パン)方向に駆動させる(パンニング)ためのパン方向回転モータや、カメラ装置を垂直(チルト)方向に駆動させる(チルティング)ためのチルト方向回転モータが備わっている。   Here, the camera device is provided with a focus lens moving motor for moving the lens for focusing, and a zoom lens moving motor for moving the (zoom) lens during zooming. The swivel device also has a pan direction rotation motor for driving the entire camera device in a horizontal (pan) direction (panning) and a tilt direction rotation for driving the camera device in a vertical (tilt) direction (tilting). A motor is provided.

さらに、カメラ装置や旋回装置には、各モータの移動及び回転位置をそれぞれ検出する位置センサや、各モータをそれぞれ駆動するモータ駆動回路が備わっている。さらにまた、カメラ装置や旋回装置には、内蔵している各モータの制御や、撮像開始地点や撮像終了地点を撮像するときのカメラのパン角度、チルト角度、フォーカス値、ズーム値等のプリセットデータの読み出し、操作キーの読み込み等の撮像装置全体を制御するマイクロコンピュータ、プリセットデータを格納するプリセットメモリ部、及びプリセット制御動作等を実行させるための操作部が備わっている。   Furthermore, the camera device and the turning device are provided with a position sensor that detects the movement and rotation position of each motor, and a motor drive circuit that drives each motor. Furthermore, the camera device and the swivel device have preset data such as control of each built-in motor and camera pan angle, tilt angle, focus value, zoom value, etc. when imaging an imaging start point and an imaging end point. A microcomputer for controlling the entire imaging apparatus, such as reading of operation keys and reading of operation keys, a preset memory unit for storing preset data, and an operation unit for executing preset control operations and the like.

次に、上述したような構成の従来の撮像装置を用いて、撮像開始地点と撮像終了地点を撮像するときのパン角度やチルト角度等をプリセットデータとして与え、その間を撮影するプリセット制御動作について説明する。図8は、従来の撮像装置におけるプリセット制御動作の手順を説明するためのフローチャートである。従来の撮像装置では、まず、操作部を介して操作者による所定のプリセット(実行)キーの入力があったか否かを判別する(ステップS101)。その結果、入力があったと判定された場合(Yes)、プリセットメモリ部に記録されたプリセットデータを参照する(ステップS102)。そして、参照したプリセットデータに従って、ズーム用レンズ移動モータ、フォーカス用レンズ移動モータ、パン方向回転モータ、及びチルト方向回転モータの回転・移動を行う(ステップS103)。また、各位置センサからの現在の位置情報を検出(参照)する(ステップS104)。   Next, a description will be given of a preset control operation in which a pan angle, a tilt angle, and the like at the time of imaging an imaging start point and an imaging end point are given as preset data using the conventional imaging device having the above-described configuration, and an image is captured between them. To do. FIG. 8 is a flowchart for explaining the procedure of the preset control operation in the conventional imaging apparatus. In the conventional imaging apparatus, first, it is determined whether or not a predetermined preset (execution) key has been input by the operator via the operation unit (step S101). As a result, when it is determined that there is an input (Yes), the preset data recorded in the preset memory unit is referred to (step S102). Then, the zoom lens movement motor, the focus lens movement motor, the pan direction rotation motor, and the tilt direction rotation motor are rotated and moved in accordance with the referenced preset data (step S103). Further, the current position information from each position sensor is detected (referenced) (step S104).

そして、撮像終了地点と位置センサから検出された現在の位置情報とが一致するか否かを判断し(ステップS105)、両データが一致した場合(Yes)、すなわちプリセット設定が完了したと判断された場合は、各種モータの駆動を停止させる(ステップS106)。これによって、プリセット動作は完了する。一方、プリセット設定が完了していない場合は、ステップS102に戻って、上記処理を繰り返すようにする。   Then, it is determined whether or not the imaging end point matches the current position information detected from the position sensor (step S105). If both data match (Yes), it is determined that the preset setting has been completed. If so, the driving of the various motors is stopped (step S106). This completes the preset operation. On the other hand, if the preset setting has not been completed, the process returns to step S102 to repeat the above processing.

また、本発明に関する先行技術の一例として、テレビカメラのパン、チルト、フォーカスの一連の動作を記憶するトレースデータを作成・登録し、パンの位置を追尾すべき移動物体の重心座標に基づいて制御し、チルト、ズーム、フォーカスの位置をトレースデータに基づいて制御することにより、見やすい映像により移動物体を自動追尾する自動追尾装置が開示されている(例えば、特許文献1参照。)。
特開2002−247440号公報
Also, as an example of the prior art related to the present invention, trace data for storing a series of pan, tilt and focus operations of a television camera is created and registered, and the pan position is controlled based on the barycentric coordinates of a moving object to be tracked. An automatic tracking device that automatically tracks a moving object with an easy-to-view video by controlling the tilt, zoom, and focus positions based on trace data is disclosed (for example, see Patent Document 1).
JP 2002-247440 A

しかしながら、上述したような従来の撮像装置やその制御方法では、以下に掲げる問題があり、その改善が要望されていた。すなわち、旋回装置のパンニング動作は円弧運動であるため、撮像開始地点と撮像終了地点とを撮像するためのパン角度とチルト角度がプリセットデータとして与えられ、当該撮像開始地点と撮像終了地点とを結ぶ直線上に位置する被写体をプリセット制御で撮像するような場合は、撮像対象である被写体を適切に撮像することができない。   However, the conventional imaging apparatus and its control method as described above have the following problems, and improvements have been demanded. That is, since the panning operation of the turning device is an arc motion, a pan angle and a tilt angle for imaging the imaging start point and the imaging end point are given as preset data, and the imaging start point and the imaging end point are connected. When imaging a subject located on a straight line by preset control, it is not possible to appropriately capture the subject that is the imaging target.

例えば、ドーム式野球場の天井に設置されたカメラ装置CAにおいて、プリセットデータとしてあらかじめ一塁ベースの撮像条件(ズーム、フォーカス、パン、チルト位置)をポジションAとして記憶させ、また、二塁ベースの撮像条件(ズーム、フォーカス、パン、チルト位置)をポジションBとして記憶させておく。図9は、従来のドーム式野球場の天井に設置されたカメラ装置のプリセット撮像制御動作を説明するための概要図である。ここで、野球中継の際に、カメラの撮像方向を一塁ベースから二塁ベースへ直線的に移動するような映像を撮像するには、ポジションAの撮像条件を呼び出した後、ポジションBの撮像条件を呼び出し、プリセット制御を行うこととなる。   For example, in the camera device CA installed on the ceiling of a dome-type baseball stadium, the first base-based imaging conditions (zoom, focus, pan, tilt position) are stored as preset data as preset data in advance, and the second base-based imaging conditions (Zoom, focus, pan, tilt position) is stored as position B. FIG. 9 is a schematic diagram for explaining a preset imaging control operation of a camera device installed on the ceiling of a conventional dome type baseball field. Here, in order to capture an image in which the camera's imaging direction moves linearly from the first base to the second base during a baseball broadcast, after calling the position A imaging condition, the position B imaging condition is changed. Call and preset control will be performed.

この場合、従来の方法によれば、カメラ装置で撮像される映像は塁間を直線制御したものでなく、円弧Mを描きながら撮像されたものになってしまう。従って、例えば、一塁走者が二塁へ盗塁するシーンや塁間撮像を実施する際に、走者や塁間に引かれたラインをトレースするような適切な撮像制御ができない。その結果、視聴者等が不快感を覚えることによって、このような撮像制御しかできないようなカメラの商品価値が低下してしまうおそれもある。   In this case, according to the conventional method, the video imaged by the camera device is not an image obtained by linearly controlling the gap, but an image captured while drawing the arc M. Therefore, for example, when performing a scene where the first runner steals the second base or an image between the furrows, it is not possible to perform appropriate image pickup control such as tracing a line drawn between the runner and the furrow. As a result, when the viewers feel uncomfortable, there is a possibility that the commercial value of the camera that can perform only such imaging control may be reduced.

また、特許文献1に開示されるような、塁間に引かれたラインや走者自身を画像処理によって抽出してカメラを追従させることで、プリセット制御による撮像を直線制御するような手法も考えられる。しかしながら、画像処理の実行のためには膨大なソフトウェア処理が必要となり、ソフトウェアの開発コストが膨大となるとともに、計算コストも増大するため、レスポンスの良い撮像が困難になるという問題がある。   Further, as disclosed in Patent Document 1, a method of performing linear control of imaging by preset control by extracting a line drawn between the furrows and the runner himself by image processing and causing the camera to follow is conceivable. However, enormous software processing is required to execute the image processing, and the development cost of the software is enormous, and the calculation cost also increases, so that there is a problem that imaging with good response becomes difficult.

さらに、プリセット制御時における動作が直線になるように、撮像開始地点と撮像終了地点の間の途中に複数の経過点(例えば、図9に示すP1〜P3)をあらかじめ設定しておき、プリセット制御時に途中の経過点を通過するようにして擬似直線制御を実現するトレースプリセット方法も考えられる。しかし、一塁から二塁への直線撮像だけでなく様々な2点間における直線撮像を実施するに際して、そのすべてにおいて常に複数の経過点をあらかじめ設定しておくような行為は、大変手間がかかり面倒な作業である。また、より直線的に制御するためには、より多くの経過点の設定が必要となる。   Furthermore, a plurality of elapsed points (for example, P1 to P3 shown in FIG. 9) are set in advance between the imaging start point and the imaging end point so that the operation during the preset control becomes a straight line, and the preset control is performed. A trace preset method is also conceivable in which pseudo-linear control is realized by passing through an elapsed point in the middle. However, when performing linear imaging between various two points as well as linear imaging from the first to the second, it is very laborious and cumbersome to always set multiple elapsed points in all of them. Work. In order to control more linearly, more elapsed points need to be set.

さらにまた、近年のカメラ装置はズームの高倍率化、高画素化が進むことによって、より高倍率、高画素での被写体を撮像が可能となり、臨場感をより高めることができる傾向にある。   Furthermore, recent camera devices tend to be able to capture subjects with higher magnifications and higher pixels as the zoom magnification and the number of pixels increase, and the realism tends to be further enhanced.

しかしながら、高倍率撮影により撮影範囲が狭くなり、直線で移動する被写体に対して被写体が撮影中に画面外に出てしまったり、高画素化に伴い被写界深度が浅くなることから、直線で移動する被写体は被写体距離が可変するためフォーカスボケ現象が発生してしまう。   However, the shooting range becomes narrow due to high-magnification shooting, and the subject moves out of the screen during shooting, or the depth of field becomes shallow as the number of pixels increases. Since the moving subject has a variable subject distance, a focus blur phenomenon occurs.

本発明は、このような事情を考慮してなされたものであり、撮像開始地点と撮像終了地点とを定めてその間を直線的に撮像するプリセット制御を好適に行うことができる撮像装置及びその制御方法を提供することを目的とする。   The present invention has been made in view of such circumstances, and an imaging apparatus capable of suitably performing preset control for determining an imaging start point and an imaging end point and linearly imaging between the imaging starting point and the imaging end point, and the control thereof It aims to provide a method.

上記課題を解決するために、本発明に係る撮像装置は、
パン角度及びチルト角度を変化させることにより撮像方向を水平及び垂直に傾けて被写体を撮像する撮像手段と、
撮像開始地点及び撮像終了地点を撮像するときの前記撮像手段のパン角度及びチルト角度を記憶する記憶手段と、
撮像開始後の前記撮像手段のパン角度を検知する検知手段と、
前記撮像開始地点と前記撮像終了地点とを結ぶ直線上に位置する被写体を撮像する前記撮像手段のチルト角度を、前記検知手段により検知されるパン角度に基づいて演算する演算手段とを備え、
前記撮像手段は、パン角度と前記演算手段によって演算された該パン角度に対応するチルト角度で撮像方向を変化させながら前記撮像開始地点から前記撮像終了地点に達するまで被写体を撮像することを特徴とする。
In order to solve the above problems, an imaging apparatus according to the present invention provides:
Imaging means for imaging the subject by tilting the imaging direction horizontally and vertically by changing the pan angle and the tilt angle;
Storage means for storing a pan angle and a tilt angle of the imaging means when imaging an imaging start point and an imaging end point;
Detecting means for detecting a pan angle of the imaging means after the start of imaging;
A calculation unit that calculates a tilt angle of the imaging unit that images a subject located on a straight line connecting the imaging start point and the imaging end point based on a pan angle detected by the detection unit;
The imaging means picks up an object from the imaging start point to the imaging end point while changing the imaging direction at a pan angle and a tilt angle corresponding to the pan angle calculated by the calculating means. To do.

また、本発明に係る上記撮像装置は、前記撮像手段がパン角度のみを変化させて被写体を撮像するときの撮像距離と、パン角度とチルト角度とを変化させて被写体を撮像するときの撮像距離との差分距離を検出する検出手段と、
前記差分距離に基づいて前記撮像手段のフォーカスを補正するフォーカス補正手段と
をさらに備えることを特徴とする。
In the imaging apparatus according to the present invention, the imaging unit captures an image of a subject by changing only the pan angle, and an imaging distance when the subject is imaged by changing the pan angle and the tilt angle. Detecting means for detecting a difference distance from
And a focus correction unit that corrects the focus of the imaging unit based on the difference distance.

さらに、本発明に係る上記撮像装置は、
前記撮像手段が被写体を拡大縮小して撮像するズーム機構を有しており、
前記撮像手段が前記被写体を撮像するときの画角を検出する画角検出手段と、
被写体距離の変化に伴う画角の変化を、前記撮像手段のズーム機構を用いて画角を略一定に補正するズーム補正手段と
をさらに備えることを特徴とする。
Furthermore, the imaging apparatus according to the present invention is:
The image pickup means has a zoom mechanism for picking up an image of the subject by enlarging and reducing the subject,
An angle-of-view detection means for detecting an angle of view when the imaging means images the subject;
Zoom correction means for correcting the change in the angle of view accompanying the change in the subject distance to make the angle of view substantially constant using the zoom mechanism of the imaging means.

さらにまた、本発明に係る上記撮像装置は、前記撮像手段が前記撮像開始地点から前記撮像終了地点までパン角度を変化させながら被写体を撮像する際に、前記ズーム補正手段が、前記画角を略一定の割合で減少又は増加させることを特徴とする。   Furthermore, in the imaging apparatus according to the present invention, when the imaging unit images a subject while changing a pan angle from the imaging start point to the imaging end point, the zoom correction unit substantially reduces the angle of view. It is characterized by decreasing or increasing at a constant rate.

さらにまた、本発明は、パン角度及びチルト角度を変化させることにより撮像方向を水平及び垂直に傾けて被写体を撮像する撮像装置の制御方法であって、
前記撮像装置に接続する記憶装置から、撮像開始地点及び撮像終了地点を撮像するときの前記撮像手段のパン角度及びチルト角度を取得する取得工程と、
撮像開始後の前記撮像装置のパン角度を検知する検知工程と、
前記撮像開始地点と前記撮像終了地点とを結ぶ直線上に位置する被写体を撮像する場合の前記撮像装置のチルト角度を、前記検知工程により検知されたパン角度に基づいて演算する演算工程と、
前記パン角度及び前記演算工程によって演算されたチルト角度で前記撮像装置の撮像方向を変化させながら前記撮像開始地点から前記撮像終了地点に達するまで被写体を撮像する撮像工程と
を有することを特徴とする。
Furthermore, the present invention is a method for controlling an imaging apparatus that images a subject by tilting an imaging direction horizontally and vertically by changing a pan angle and a tilt angle.
An acquisition step of acquiring a pan angle and a tilt angle of the imaging unit when imaging an imaging start point and an imaging end point from a storage device connected to the imaging device;
A detection step of detecting a pan angle of the imaging device after the start of imaging;
A calculation step of calculating a tilt angle of the imaging device based on the pan angle detected by the detection step when imaging a subject located on a straight line connecting the imaging start point and the imaging end point;
An imaging step of imaging the subject from the imaging start point to the imaging end point while changing the imaging direction of the imaging device at the pan angle and the tilt angle calculated by the calculation step. .

本発明によれば、撮像開始地点と撮像終了地点とを定めてその間を直線的に撮像するプリセット制御を好適に行うことができる。   According to the present invention, it is possible to suitably perform preset control in which an imaging start point and an imaging end point are determined and images are linearly captured between the points.

以下、図面を参照して、本発明の一実施形態に係る撮像装置を用いた2点間を結ぶ直線上を移動する被写体を好適に撮像するプリセット制御方法について詳細に説明する。   Hereinafter, a preset control method for suitably imaging a subject moving on a straight line connecting two points using an imaging apparatus according to an embodiment of the present invention will be described in detail with reference to the drawings.

<第1の実施形態>
図1は、本発明の第1の実施形態に係る撮像装置の細部構成を示すブロック図である。図1に示すように、撮像装置は、大きく分けて、被写体を撮像するためのカメラ装置100と、カメラ装置100を水平(パン)方向及び垂直(チルト)方向に旋回するための旋回装置200と、カメラ装置100を用いて撮像動作を行わせる撮像開始地点と撮像終了地点とを結ぶ直線上を移動する被写体を撮像させる操作を行うためのコントローラ300とから構成される。
<First Embodiment>
FIG. 1 is a block diagram showing a detailed configuration of the imaging apparatus according to the first embodiment of the present invention. As shown in FIG. 1, the imaging apparatus is roughly divided into a camera apparatus 100 for imaging a subject, and a turning apparatus 200 for turning the camera apparatus 100 in a horizontal (pan) direction and a vertical (tilt) direction. The controller 300 is configured to perform an operation of imaging a subject moving on a straight line connecting an imaging start point where an imaging operation is performed using the camera device 100 and an imaging end point.

カメラ装置100において、1はレンズ、2はCCD等の撮像素子からなる撮像素子部、3はカメラ装置の映像信号を出力する信号処理部である。また、5はフォーカス時にレンズ1を移動して焦点をあわせるためのフォーカス用レンズ移動モータ、6はズーム時にレンズ1を移動してズーミングを行うためのズーム用レンズ移動モータである。尚、4はオートフォーカス(AF)演算部であり、撮像装置(具体的には、レンズ1)と被写体までの距離を測定することができる。   In the camera device 100, reference numeral 1 denotes a lens, 2 denotes an image sensor unit made up of an image sensor such as a CCD, and 3 denotes a signal processing unit that outputs a video signal of the camera device. Reference numeral 5 denotes a focusing lens moving motor for moving the lens 1 during focusing to adjust the focus, and reference numeral 6 denotes a zoom lens moving motor for moving the lens 1 during zooming for zooming. Reference numeral 4 denotes an autofocus (AF) calculation unit, which can measure the distance between the imaging device (specifically, the lens 1) and the subject.

一方、旋回装置200において、7は上記各部を具備するカメラ装置100を水平(パン)方向に回転させるための水平方向回転モータ、8はカメラ装置100を垂直(チルト)方向に回転させるための垂直方向回転モータである。   On the other hand, in the swivel device 200, 7 is a horizontal rotation motor for rotating the camera device 100 having the above-described parts in the horizontal (pan) direction, and 8 is a vertical for rotating the camera device 100 in the vertical (tilt) direction. Directional rotation motor.

また、9、10、11及び12は、各モータの移動及び回転位置をそれぞれ検出するための位置センサである。さらにまた、13、14、15及び16は、各モータをそれぞれ駆動するための駆動回路である。   Reference numerals 9, 10, 11 and 12 denote position sensors for detecting the movement and rotation positions of the respective motors. Furthermore, 13, 14, 15 and 16 are drive circuits for driving the respective motors.

さらにまた、カメラ装置100が具備するマイクロコンピュータ(カメラマイコン)17aは、ズーム用及びフォーカス用レンズ移動モータ5、6の制御や、撮像素子部2から入力された信号の信号処理部3における信号処理等のカメラ装置100における各種制御を行う。一方、旋回装置200が具備するマイクロコンピュータ(旋回装置マイコン)17bは、水平(パン)及び垂直(チルト)回転モータ7、8の制御、コントローラ300からのプリセットデータの読み出しや入力操作の読み込み、プリセットデータに基づくカメラ装置100の直線制御処理等のカメラ装置100を旋回する旋回装置200全体を制御する。尚、マイクロコンピュータ17a、17bは、それぞれCPU、ROM、及びRAM等を内蔵する。   Furthermore, the microcomputer (camera microcomputer) 17a included in the camera device 100 controls the zoom and focus lens moving motors 5 and 6, and processes the signals input from the image sensor unit 2 in the signal processing unit 3. Various controls in the camera device 100 are performed. On the other hand, the microcomputer 17b included in the turning device 200 controls the horizontal (pan) and vertical (tilt) rotation motors 7 and 8, reads preset data from the controller 300, reads input operations, and presets. The entire turning device 200 that turns the camera device 100 such as a linear control process of the camera device 100 based on the data is controlled. The microcomputers 17a and 17b each incorporate a CPU, a ROM, a RAM, and the like.

さらにまた、コントローラ300において、18はプリセットデータを格納するプリセットメモリ部である。また、19はプリセット動作等を実行させる操作部であり、カメラマン或いは遠隔操作を行う遠隔カメラの場合は通常コントロール室に設置されてオペレータが操作する。   In the controller 300, reference numeral 18 denotes a preset memory unit that stores preset data. Reference numeral 19 denotes an operation unit for executing a preset operation or the like. In the case of a cameraman or a remote camera for remote operation, it is usually installed in a control room and operated by an operator.

図2は、第1の実施形態におけるマイクロコンピュータ17bのハードウェア構成図である。マイクロコンピュータ17bにおいて、CPU201は、撮像装置全体を制御するプロセッサである。RAM202は、CPU201が動作するためのシステムワークメモリであり、プログラムを記憶するためのプログラムメモリや、画像データを一時記憶するための画像メモリでもある。ROM203は、システムのブートプログラムやシステムソフトウェアやアプリケーションプログラムや各種データを格納する。尚、マイクロコンピュータに不図示のハードディスクドライブを外付けして、システムソフトウェアや各種データを格納する構成としても良い。   FIG. 2 is a hardware configuration diagram of the microcomputer 17b according to the first embodiment. In the microcomputer 17b, a CPU 201 is a processor that controls the entire imaging apparatus. A RAM 202 is a system work memory for the CPU 201 to operate, and is also a program memory for storing a program and an image memory for temporarily storing image data. The ROM 203 stores a system boot program, system software, application programs, and various data. Note that a hard disk drive (not shown) may be externally attached to the microcomputer to store system software and various data.

カメラ装置I/F205は、カメラ装置100に接続し、情報の入出力を行うためのインタフェースである。操作部I/F206は、コントローラ300の操作部19とのインタフェース部であり、操作部19との間で各種情報の授受や操作指示等を受け付ける。また、メモリ部I/F207は、コントローラ300のプリセットメモリ部18に記憶されている撮像開始地点や撮像終了地点等の情報を受信する。以上のデバイスが図3に示すようにシステムバス208上に配置される。   The camera device I / F 205 is an interface for connecting to the camera device 100 and inputting / outputting information. The operation unit I / F 206 is an interface unit with the operation unit 19 of the controller 300, and receives various kinds of information and operation instructions from the operation unit 19. In addition, the memory unit I / F 207 receives information such as an imaging start point and an imaging end point stored in the preset memory unit 18 of the controller 300. The above devices are arranged on the system bus 208 as shown in FIG.

図3は、第1の実施形態に係るマイクロコンピュータ17bによって実行されるプリセット制御処理の処理動作を説明するためのフローチャートである。マイクロコンピュータ17bは、カメラ装置100及びコントローラ300と連携してプリセット制御処理を実行する。このプリセット制御処理のプログラムはROM203に予め記憶されており、CPU201の制御の下で実行される。また、プログラム実行時の変数やデータ等はRAM202に記憶され、これら変数やデータ等はCPU201の制御の下で、適宜RAM202に読み込まれ、或いは書き込まれる。   FIG. 3 is a flowchart for explaining the processing operation of the preset control processing executed by the microcomputer 17b according to the first embodiment. The microcomputer 17b executes preset control processing in cooperation with the camera device 100 and the controller 300. The preset control processing program is stored in advance in the ROM 203 and executed under the control of the CPU 201. Further, variables, data, and the like at the time of program execution are stored in the RAM 202, and these variables, data, and the like are appropriately read or written into the RAM 202 under the control of the CPU 201.

まず、操作部19を介してカメラマン等によって、撮像開始地点と撮像終了地点との間を自動的に直線撮像を行うプリセット制御撮像の実行命令があったか否かを判定する(ステップS1)。そして、プリセットキーの入力等によって実行命令があったと判定された場合(Yes)は、続いてプリセットメモリ部18に記録された撮像開始地点と撮像終了地点のズーム値、フォーカス値、パン角度、チルト角度等を含むプリセットデータ(メモリ情報)を参照する(ステップS2)。そして、参照されたプリセットデータを目標にして、ズーム、フォーカス、パン角度、チルト角度を目標値としてレンズやカメラ装置自身の回転、移動を始める(ステップS3)。   First, it is determined by a cameraman or the like via the operation unit 19 whether or not there is a preset control imaging execution command for automatically performing linear imaging between the imaging start point and the imaging end point (step S1). If it is determined that there is an execution command by inputting a preset key or the like (Yes), the zoom value, focus value, pan angle, tilt of the imaging start point and the imaging end point recorded in the preset memory unit 18 are recorded. Reference is made to preset data (memory information) including an angle and the like (step S2). Then, using the referenced preset data as a target, rotation and movement of the lens and the camera device itself are started with the zoom, focus, pan angle, and tilt angle as target values (step S3).

ここで、駆動モードを参照して、実行命令による撮像が直線制御モードであるか否かを判定する(ステップS4)。その結果、直線制御モードであると判定された場合(Yes)は、位置センサ11からの入力信号に基づいて現在のパン角度を検知して(ステップS5)、2点間のプリセット制御が曲線にならずに直線になるように被写体距離やパン角度情報から最適なチルト角度を演算する(ステップS6)。そして、現在のパン角度に連動させながら位置センサ12からの入力信号が示す現在のチルト角度に基づいてチルト角度を補正する(ステップS7)。   Here, with reference to the drive mode, it is determined whether or not the imaging by the execution command is the linear control mode (step S4). As a result, when it is determined that the linear control mode is selected (Yes), the current pan angle is detected based on the input signal from the position sensor 11 (step S5), and the preset control between the two points becomes a curve. Instead, the optimum tilt angle is calculated from the subject distance and pan angle information so as to be a straight line (step S6). Then, the tilt angle is corrected based on the current tilt angle indicated by the input signal from the position sensor 12 while interlocking with the current pan angle (step S7).

ここで、チルト角度の演算方法の具体例について説明する。図4は、ドーム式野球場の天井に設置された撮像装置を用いて一塁ベースを撮像開始地点B、二塁ベースを撮像終了地点Cとしたときのカメラ装置の直線制御の方法を説明するための図である。   Here, a specific example of the tilt angle calculation method will be described. FIG. 4 is a diagram for explaining a method of linear control of the camera device when the first base is set as the imaging start point B and the second base is set as the imaging end point C using the imaging device installed on the ceiling of the dome type baseball stadium. FIG.

図4では、撮像装置が設置されている天井の鉛直下方(真下)の点Aと、1塁ベースBと、2塁ベースCとで直角三角形が構成されている場合の例について示している。ここで、カメラ位置から真下までを撮像したときのフォーカス位置とチルト角度からその距離をLAとする。また、一塁ベースを撮像し、そのフォーカス位置とチルト角度から、点Aと一塁ベースBとの距離をLBとする。同様にして、点Aと二塁ベースCとの距離をLCとする。   FIG. 4 shows an example in which a right-angled triangle is configured by a point A vertically below (directly below) the ceiling on which the imaging device is installed, a 1-base B, and a 2-base C. Here, let LA be the distance from the focus position and tilt angle when imaging from the camera position to just below. Further, the first base is imaged, and the distance between the point A and the first base B is LB from the focus position and the tilt angle. Similarly, the distance between the point A and the base 2 C is LC.

この場合、点Aと一塁ベースBを結ぶ線分ABと、一塁ベースBと二塁ベースCとを結ぶ線分BCとがなす角Vは、LC=LB・tanVで表せる。また、点Aから線分BCへ伸ばした垂線が線分BCと交差する点をD、点Aと点Dとの距離LDとを用いて、LD=LB・sinVが求まる。従って、線分BC上の任意の点Eと点Aとの距離LE、線分AEが線分ABとなす角Yを用いて、LE=LD/cos(Y−(π/2−V))が得られる。尚、この実施例ではV=π/4である。   In this case, an angle V formed by a line segment AB connecting the point A and the first base B and a line segment BC connecting the first base B and the second base C can be expressed by LC = LB · tanV. Further, LD = LB · sinV is obtained by using D as the point where the perpendicular extending from the point A to the line segment BC intersects the line segment BC and the distance LD between the point A and the point D. Therefore, LE = LD / cos (Y− (π / 2−V)) using the distance LE between the point E and the point A on the line segment BC and the angle Y formed by the line segment AE and the line segment AB. Is obtained. In this embodiment, V = π / 4.

以上より、撮像開始地点に向けたカメラ装置100をY度だけ水平(パン)方向に向けたときの直線制御を行うに当たって理想チルト角度Zは、tanZ=LE/LA=LD/(LA・cos(Y−(π/2−V)))で表せる。   As described above, the ideal tilt angle Z is tanZ = LE / LA = LD / (LA · cos () when performing linear control when the camera device 100 directed toward the imaging start point is directed in the horizontal (pan) direction by Y degrees. Y- (π / 2-V))).

その後、チルト角度、パン角度補正後の撮像装置の各位置センサ11、12のセンサ情報を読み出す(ステップS8)。そして、プリセットデータのメモリ情報と読み出したセンサ情報とが一致するか否かを判定する(ステップS9)。その結果、両データが一致した場合(Yes)はプリセット動作が完了したものとして、各々の制御モータを停止させて、プリセット動作終了情報を出す(ステップS10)。一方、両データが一致しない場合(No)はまだ撮像終了地点に到達していないので、ステップS2に戻って上記処理を繰り返す。   Thereafter, the sensor information of the position sensors 11 and 12 of the imaging apparatus after the tilt angle and pan angle correction is read (step S8). Then, it is determined whether or not the memory information of the preset data matches the read sensor information (step S9). As a result, if the two data match (Yes), it is determined that the preset operation has been completed, and each control motor is stopped to output preset operation end information (step S10). On the other hand, if the two data do not match (No), the imaging end point has not been reached yet, so the process returns to step S2 and the above process is repeated.

上述したように、本実施形態に係る撮像装置によれば、プリセット間の撮像が直線制御となり、走者が盗塁するシーンや塁間撮像を違和感なく実施することができる。   As described above, according to the imaging apparatus according to the present embodiment, the imaging between presets is linear control, and the scenes and the intercostal imaging that the runner steals can be performed without a sense of incongruity.

尚、上述した実施形態ではLB=LCの場合(すなわち、線分ABとACとのなす角が90度の場合)について説明したものであるが、撮像装置の設置位置によってはLB≠LCとなる場合もあり得る。そこで、以下では線分ABと線分ACとのなす角度が90度未満の場合と90度以上の場合について説明する。   In the above-described embodiment, the case where LB = LC (that is, the angle formed by the line segment AB and AC is 90 degrees) has been described. However, LB ≠ LC depending on the installation position of the imaging apparatus. There may be cases. Therefore, hereinafter, a case where the angle formed by the line segment AB and the line segment AC is less than 90 degrees and a case where the angle is 90 degrees or more will be described.

図5は、線分ABと線分ACとのなす角度が90度未満又は90度超の場合の角度Vの演算方法を説明するための図である。最初に、図5(a)を用いて線分ABと線分ACとのなす角度が90度未満の場合の例について説明する。   FIG. 5 is a diagram for explaining a method of calculating the angle V when the angle between the line segment AB and the line segment AC is less than 90 degrees or more than 90 degrees. First, an example in which the angle formed by the line segment AB and the line segment AC is less than 90 degrees will be described with reference to FIG.

一塁ベース(点B)から線分ACに対する垂線を引き、その交点をB2とする。この場合、点B2と点Bとの距離LB2は、一塁ベースBと二塁ベースCとの間の撮像角度をWとすると、LB2=sinW・LBとなる。尚、角度Wは、撮像開始地点と撮像終了地点とが点Aとなす角度である。また、点Aと点B2との距離LC2は、同様にして、LC2=cosW・LBとなる。   A perpendicular to the line segment AC is drawn from the first base (point B), and the intersection is B2. In this case, the distance LB2 between the point B2 and the point B is LB2 = sinW · LB, where W is the imaging angle between the first base B and the second base C. The angle W is an angle formed by the point A between the imaging start point and the imaging end point. Similarly, the distance LC2 between the point A and the point B2 is LC2 = cosW · LB.

ここで、線分ACと線分BCとがなす角Xは、tanX=LB2/(LC−LC2)で表せる。従って、点Aから線分BB2に沿って平行な直線と線分BCとのなす角Vは、V=π−(π/2+X)で表すことができる。以後、前述した直角三角形の場合と同様にして理想チルト角度Zを求めることができる。   Here, the angle X formed by the line segment AC and the line segment BC can be expressed by tanX = LB2 / (LC-LC2). Therefore, an angle V formed by a straight line parallel to the line segment BB2 from the point A and the line segment BC can be expressed by V = π− (π / 2 + X). Thereafter, the ideal tilt angle Z can be obtained in the same manner as in the case of the right triangle described above.

次に、図5(b)を用いて線分ABと線分ACとのなす角度が90度超の場合の例について説明する。そこで、一塁ベース(点B)から線分ACの延長線に対する垂線を引き、その交点をB3とする。この場合、点B3と点Bとの距離LB3は、一塁ベースBと二塁ベースCとの間の撮像角度をWとすると、LB3=cos(W−π/2)・LBとなる。また、点Aと点B3との距離LC3は、同様にして、LC3=sin(W−π/2)・LBとなる。   Next, an example in which the angle formed by the line segment AB and the line segment AC exceeds 90 degrees will be described with reference to FIG. Therefore, a perpendicular to the extension line of the line segment AC is drawn from the first base (point B), and the intersection is defined as B3. In this case, the distance LB3 between the point B3 and the point B is LB3 = cos (W−π / 2) · LB, where W is the imaging angle between the first base B and the second base C. Similarly, the distance LC3 between the point A and the point B3 is LC3 = sin (W−π / 2) · LB.

ここで、線分ACと線分BCとがなす角Xは、tanX=LB3/(LC+LC3)で表せる。従って、線分ABと線分BCとのなす角Vは、V=π−(W+X)で表すことができる。以後、前述した直角三角形の場合と同様にして理想チルト角度Zを求めることができる。   Here, the angle X formed by the line segment AC and the line segment BC can be expressed by tanX = LB3 / (LC + LC3). Therefore, the angle V formed by the line segment AB and the line segment BC can be expressed by V = π− (W + X). Thereafter, the ideal tilt angle Z can be obtained in the same manner as in the case of the right triangle described above.

以上説明したように、本実施形態に係る撮像装置によれば、ズーム・フォーカス・パン・チルト等の撮像条件を設定できるプリセット手段を備えたカメラ装置において、2点間のプリセット制御時に発生する非直線撮像を被写体距離、パン角度、チルト角度情報からチルト角度補正を行って好適に直線撮像を行うことができる。従って、違和感なくランナーが盗塁するシーンや塁間撮像を視聴者に供給することができる。   As described above, according to the imaging apparatus according to the present embodiment, in the camera apparatus including preset means that can set imaging conditions such as zoom, focus, pan, and tilt, the non-occurrence that occurs during preset control between two points. It is possible to preferably perform linear imaging by performing tilt angle correction based on subject distance, pan angle, and tilt angle information. Therefore, it is possible to supply the viewer with scenes and furrow images that the runner steals without a sense of incongruity.

<第2の実施形態>
次に、本発明の第2の実施形態に係る撮像装置を用いたカメラ装置の制御処理について説明する。尚、第2の実施形態の撮像装置は、前述した第1の実施形態に係る撮像装置と同一の電気的構成を有しつつ、第1の実施形態とは異なる処理を行うものとする。具体的には、第2の実施形態では、チルト角度補正により被写体距離の変化に伴うピンボケ現象をフォーカス補正によって回避するための制御を行うものである。
<Second Embodiment>
Next, control processing of the camera device using the imaging device according to the second embodiment of the present invention will be described. Note that the imaging apparatus according to the second embodiment has the same electrical configuration as the imaging apparatus according to the first embodiment described above, but performs processing different from that of the first embodiment. Specifically, in the second embodiment, control is performed to avoid the out-of-focus phenomenon accompanying the change in the subject distance by the tilt angle correction by the focus correction.

図6は、第2の実施形態におけるマイクロコンピュータ17bによって実行されるプリセット制御処理プログラムの処理手順を示すフローチャートである。マイクロコンピュータ17bは、カメラ装置100及びコントローラ300と連携してプリセット制御処理を実行する。このプリセット制御処理のプログラムはROM203に予め記憶されており、CPU201の制御の下で実行される。また、プログラム実行時の変数やデータ等はRAM202に記憶され、これら変数やデータ等はCPU201の制御の下で、適宜RAM202に読み込まれ、或いは書き込まれる。   FIG. 6 is a flowchart showing a processing procedure of a preset control processing program executed by the microcomputer 17b in the second embodiment. The microcomputer 17b executes preset control processing in cooperation with the camera device 100 and the controller 300. The preset control processing program is stored in advance in the ROM 203 and executed under the control of the CPU 201. Further, variables, data, and the like at the time of program execution are stored in the RAM 202, and these variables, data, and the like are appropriately read or written into the RAM 202 under the control of the CPU 201.

まず、操作部19を介してカメラマン等によって、撮像開始地点と撮像終了地点とが与えられて自動的に直線撮像を行うプリセット撮像の実行命令があったか否かを判別する(ステップS201)。そして、プリセットキーの入力等によって実行命令があったと判定された場合(Yes)は、続いてプリセットメモリ部18に記録された撮像開始地点と撮像終了地点のズーム値、フォーカス値、パン角度、チルト角度等を含むプリセットデータ(メモリ情報)を参照する(ステップS202)。そして、参照されたプリセットデータを目標にして、ズーム、フォーカス、パン角度、チルト角度を目標値としてレンズやカメラ装置自身の回転、移動を始める(ステップS203)。   First, it is determined whether or not there is a preset imaging execution command for automatically performing linear imaging by giving an imaging start point and an imaging end point by a cameraman or the like via the operation unit 19 (step S201). If it is determined that there is an execution command by inputting a preset key or the like (Yes), the zoom value, focus value, pan angle, tilt of the imaging start point and the imaging end point recorded in the preset memory unit 18 are recorded. Reference is made to preset data (memory information) including an angle and the like (step S202). Then, with the referenced preset data as a target, rotation and movement of the lens and the camera device itself are started with the zoom, focus, pan angle, and tilt angle as target values (step S203).

ここで、駆動モードを参照して、実行命令による撮像が直線制御モードであるか否かを判定する(ステップS204)。その結果、直線制御モードであると判定された場合(Yes)は、位置センサ11からの入力信号に基づいて現在のパン角度を検知して(ステップS205)、2点間のプリセット制御が曲線にならずに直線になるように位置センサ9からの入力信号に基づく被写体距離やパン角度情報から最適なチルト角度を演算して、上記第1の実施形態と同様にして、現在のパン角度に連動させながら位置センサ12からの入力信号に基づいてチルト角度を補正する(ステップS206)。   Here, with reference to the drive mode, it is determined whether or not the imaging by the execution command is the linear control mode (step S204). As a result, when it is determined that the linear control mode is selected (Yes), the current pan angle is detected based on the input signal from the position sensor 11 (step S205), and the preset control between the two points becomes a curve. Instead, the optimal tilt angle is calculated from the subject distance and pan angle information based on the input signal from the position sensor 9 so as to be a straight line, and linked to the current pan angle in the same manner as in the first embodiment. The tilt angle is corrected based on the input signal from the position sensor 12 (step S206).

また、現状のパン角度を参照しつつ、チルト補正により発生する被写体距離の変化に伴うフォーカスずれを補正するため、パン角度、チルト角度情報から最適フォーカス位置を演算し、チルト角度に連動させて位置センサ9からの入力信号に基づいてフォーカス位置補正をする(ステップS207)。   Also, in order to correct focus shift due to changes in subject distance caused by tilt correction while referring to the current pan angle, the optimum focus position is calculated from the pan angle and tilt angle information, and the position is linked to the tilt angle. The focus position is corrected based on the input signal from the sensor 9 (step S207).

そして、参照したプリセットデータのメモリ情報に従ってズームモータ、フォーカスモータ、水平モータ、及び垂直モータの回転或いは移動を行いつつ、各位置センサ9〜12のセンサ情報を読み出す(ステップS208)。そして、撮像終了点のプリセットデータのメモリ情報と読み出したセンサ情報とが一致するか否かを判定する(ステップS209)。その結果、両データが一致した場合(Yes)はプリセット動作が完了したものとして、各々の制御モータを停止させて、プリセット動作終了情報を出す(ステップS210)。一方、両データが一致しない場合(No)はまだ撮像終了地点に到達していないので、ステップS202に戻って上記処理を繰り返す。   Then, the sensor information of each of the position sensors 9 to 12 is read while rotating or moving the zoom motor, the focus motor, the horizontal motor, and the vertical motor in accordance with the memory information of the referenced preset data (step S208). Then, it is determined whether or not the memory information of the preset data at the imaging end point matches the read sensor information (step S209). As a result, if the two data match (Yes), it is determined that the preset operation has been completed, and each control motor is stopped to output preset operation end information (step S210). On the other hand, if the two data do not match (No), it has not yet reached the imaging end point, so the process returns to step S202 and the above process is repeated.

以上説明したように、第2の実施形態に係る撮像装置によれば、ズーム・フォーカス・パン・チルト等の撮像条件を設定できるプリセット手段を備えたカメラ装置において、チルト補正時に発生するフォーカスぼけ現象を、被写体距離、パン角度、チルト角度情報からフォーカス位置補正を行うことで、直線制御時においてもフォーカスぼけのない直線制御となり、違和感なくランナーが盗塁するシーンや塁間撮像を実施することができる。   As described above, according to the imaging apparatus according to the second embodiment, the focus blur phenomenon that occurs at the time of tilt correction in the camera apparatus including preset means that can set imaging conditions such as zoom, focus, pan, and tilt. By performing focus position correction based on subject distance, pan angle, and tilt angle information, straight line control without focus blur is achieved even during straight line control, and scenes where the runner steals or intercostal imaging can be performed without a sense of incongruity.

<第3の実施形態>
次に、本発明の第3の実施形態に係る撮像装置を用いたカメラ装置の制御処理について説明する。尚、第3の実施形態の撮像装置は、前述した第1の実施形態に係る撮像装置と同一の電気的構成を有しつつ、第1の実施形態とは異なる処理を行うものとする。具体的には、第3の実施形態では、直線制御により発生する被写体の撮像サイズが可変する現象を画角補正により回避するための制御を行うものである。
<Third Embodiment>
Next, control processing of the camera device using the imaging device according to the third embodiment of the present invention will be described. Note that the imaging apparatus according to the third embodiment has the same electrical configuration as that of the imaging apparatus according to the first embodiment described above, but performs processing different from that of the first embodiment. Specifically, in the third embodiment, control is performed to avoid the phenomenon that the imaging size of the subject that occurs due to linear control varies, by the angle of view correction.

図7は、第3の実施形態におけるマイクロコンピュータ17bによって実行されるプリセット制御処理プログラムの処理手順を示すフローチャートである。マイクロコンピュータ17bは、カメラ装置100及びコントローラ300と連携してプリセット制御処理を実行する。このプリセット制御処理のプログラムはROM203に予め記憶されており、CPU201の制御の下で実行される。又プログラム実行時の変数やデータ等はRAM202に記憶され、これら変数やデータ等はCPU201の制御の下で、適宜RAM202に読み込まれ、或いは書き込まれる。   FIG. 7 is a flowchart showing a processing procedure of a preset control processing program executed by the microcomputer 17b in the third embodiment. The microcomputer 17b executes preset control processing in cooperation with the camera device 100 and the controller 300. The preset control processing program is stored in advance in the ROM 203 and executed under the control of the CPU 201. Further, variables, data, and the like at the time of program execution are stored in the RAM 202, and these variables, data, and the like are appropriately read or written into the RAM 202 under the control of the CPU 201.

まず、操作部19を介してカメラマン等によって、撮像開始地点と撮像終了地点とが与えられて自動的に直線撮像を行うプリセット撮像の実行命令があったか否かを判別する(ステップS301)。そして、プリセットキーの入力等によって実行命令があったと判定された場合(Yes)は、続いてプリセットメモリ部18に記録された撮像開始地点と撮像終了地点のズーム値、フォーカス値、パン角度、チルト角度等を含むプリセットデータ(メモリ情報)を参照する(ステップS302)。そして、参照されたプリセットデータを目標にして、ズーム、フォーカス、パン角度、チルト角度を目標値としてレンズやカメラ装置自身の回転、移動を始める(ステップS303)。   First, it is determined whether or not a preset imaging execution command for automatically performing linear imaging is given by a cameraman or the like via the operation unit 19 given an imaging start point and an imaging end point (step S301). If it is determined that there is an execution command by inputting a preset key or the like (Yes), the zoom value, focus value, pan angle, tilt of the imaging start point and the imaging end point recorded in the preset memory unit 18 are recorded. Reference is made to preset data (memory information) including an angle and the like (step S302). Then, with the referenced preset data as a target, rotation and movement of the lens and the camera device itself are started with the zoom, focus, pan angle, and tilt angle as target values (step S303).

ここで、駆動モードを参照して、実行命令による撮像が直線制御モードであるか否かを判定する(ステップS304)。その結果、直線制御モードであると判定された場合(Yes)は、位置センサ11からの入力信号に基づいて現在のパン角度を検知して(ステップS3205)、2点間のプリセット制御が曲線にならずに直線になるように被写体距離やパン角度情報から最適なチルト角度を演算して、上記第1の実施形態と同様にして、現在のパン角度に連動させながら位置センサ12からの入力信号に基づいてチルト角度を補正する(ステップS306)。   Here, with reference to the drive mode, it is determined whether or not the imaging by the execution command is the linear control mode (step S304). As a result, when it is determined that the linear control mode is selected (Yes), the current pan angle is detected based on the input signal from the position sensor 11 (step S3205), and the preset control between the two points becomes a curve. An optimal tilt angle is calculated from the subject distance and pan angle information so as to form a straight line, and the input signal from the position sensor 12 is linked to the current pan angle in the same manner as in the first embodiment. Based on the above, the tilt angle is corrected (step S306).

また、現状のパン角度を参照しつつ、チルト補正により発生する被写体距離の変化に伴うフォーカスずれを補正するため、パン角度、チルト角度情報から最適フォーカス位置を演算し、チルト角度に連動させて位置センサ9からの入力信号に基づいてフォーカス位置補正をする(ステップS307)。   Also, in order to correct focus shift due to changes in subject distance caused by tilt correction while referring to the current pan angle, the optimum focus position is calculated from the pan angle and tilt angle information, and the position is linked to the tilt angle. The focus position is corrected based on the input signal from the sensor 9 (step S307).

さらに、現状のチルト角度を参照しつつ、チルト補正により発生する被写体距離の変化に伴う画角のずれについて、位置センサ9からの入力信号に基づく被写体距離、パン角度、チルト角度情報から最適ズーム位置を演算し、チルト角度に連動させて位置センサ10からの入力信号に基づいて画角補正をする(ステップS308)。   Further, with reference to the current tilt angle, the optimum zoom position can be determined from the subject distance, pan angle, and tilt angle information based on the input signal from the position sensor 9 with respect to the field angle deviation caused by the subject distance change caused by the tilt correction. And the angle of view is corrected based on the input signal from the position sensor 10 in conjunction with the tilt angle (step S308).

そして、参照したプリセットデータのメモリ情報に従ってズームモータ、フォーカスモータ、水平モータ、及び垂直モータの回転或いは移動を行いつつ、各位置センサ9〜12のセンサ情報を読み出す(ステップS309)。そして、撮像終了点のプリセットデータのメモリ情報と読み出したセンサ情報とが一致するか否かを判定する(ステップS310)。その結果、両データが一致した場合(Yes)はプリセット動作が完了したものとして、各々の制御モータを停止させて、プリセット動作終了情報を出す(ステップS311)。一方、両データが一致しない場合(No)はまだ撮像終了地点に到達していないので、ステップS302に戻って上記処理を繰り返す。   Then, the sensor information of each of the position sensors 9 to 12 is read while rotating or moving the zoom motor, the focus motor, the horizontal motor, and the vertical motor in accordance with the memory information of the referenced preset data (step S309). Then, it is determined whether or not the memory information of the preset data at the imaging end point matches the read sensor information (step S310). As a result, if the two data match (Yes), it is determined that the preset operation has been completed, each control motor is stopped, and preset operation end information is output (step S311). On the other hand, if the two data do not match (No), the imaging end point has not been reached yet, so the process returns to step S302 and the above processing is repeated.

以上説明したように、第3の実施形態に係る撮像装置によれば、ズーム・フォーカス・パン・チルト等の撮像条件を設定できるプリセット手段を備えたカメラ装置において、チルト補正時に発生する画角のずれを被写体距離、パン角度、チルト角度情報からズーム補正を行うことにより、直線制御時においても好適に画角のずれを回避することができる。これにより、プリセット間の撮像が画角均一状態での直線制御が実現でき、違和感なくランナーが盗塁するシーンや塁間撮像を実施することができる。   As described above, according to the imaging apparatus according to the third embodiment, in the camera apparatus including preset means that can set imaging conditions such as zoom, focus, pan, and tilt, the angle of view generated at the time of tilt correction is set. By performing zoom correction based on the subject distance, pan angle, and tilt angle information, the angle of view can be suitably avoided even during linear control. As a result, it is possible to realize linear control with imaging between presets in a state where the angle of view is uniform, and it is possible to carry out scenes and furrow imaging where the runner steals without a sense of incongruity.

<その他の実施形態>
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体(記録媒体)等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
<Other embodiments>
Although the embodiments have been described in detail above, the present invention can take embodiments as, for example, a system, an apparatus, a method, a program, or a storage medium (recording medium). The present invention may be applied to a system composed of a single device or an apparatus composed of a single device.

また、上述の説明でマイクロコンピュータ17bが実行したプリセット制御処理の一部(例えば、フォーカスや画角の最適値の演算や、最適値との一致/不一致の判定、補正量の演算等)をマイクロコンピュータ17aに実行させる場合も本発明に含まれることは言うまでもない。また、マイクロコンピュータを1つとし、旋回装置200又はカメラ装置100内に設けて、上述のマイクロコンピュータ17aとマイクロコンピュータ17bが実行する処理を一括して実行させる場合も本発明に含まれることは言うまでもない。   In addition, a part of the preset control processing executed by the microcomputer 17b in the above description (for example, calculation of optimum values of focus and angle of view, determination of coincidence / mismatch with optimum values, calculation of correction amount, etc.) Needless to say, the present invention includes a case where the computer 17a is executed. Further, it is needless to say that the present invention includes a case where one microcomputer is provided in the turning device 200 or the camera device 100 and the processes executed by the microcomputer 17a and the microcomputer 17b are executed together. Yes.

尚、本発明は、旋回装置200又はカメラ装置100が外部との通信手段(LANやRS−232C等)を備えるか、あるいはコントローラ300にプログラム記憶手段を更に備えることにより、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態では図に示すフローチャートに対応したプログラム)を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。   In the present invention, the swivel device 200 or the camera device 100 includes a communication unit (LAN, RS-232C, etc.) with the outside, or the controller 300 further includes a program storage unit. A software program (in the embodiment, a program corresponding to the flowchart shown in the figure) is directly or remotely supplied to the system or apparatus, and the computer of the system or apparatus reads and executes the supplied program code In some cases, it can be achieved by

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。   Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。   In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, or the like.

プログラムを供給するための記録媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などがある。   As a recording medium for supplying the program, for example, floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card ROM, DVD (DVD-ROM, DVD-R) and the like.

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。   As another program supply method, a client computer browser is used to connect to an Internet homepage, and the computer program of the present invention itself or a compressed file including an automatic installation function is downloaded from the homepage to a recording medium such as a hard disk. Can also be supplied. It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.

また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。   In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and key information for decryption is downloaded from a homepage via the Internet to users who have cleared predetermined conditions. It is also possible to execute the encrypted program by using the key information and install the program on a computer.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。   In addition to the functions of the above-described embodiments being realized by the computer executing the read program, the OS running on the computer based on the instruction of the program is a part of the actual processing. Alternatively, the functions of the above-described embodiment can be realized by performing all of them and performing the processing.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。   Furthermore, after the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion board or The CPU or the like provided in the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.

本発明の第1の実施形態に係る撮像装置の細部構成を示すブロック図である。1 is a block diagram illustrating a detailed configuration of an imaging apparatus according to a first embodiment of the present invention. 第1の実施形態におけるマイクロコンピュータ17bのハードウェア構成図である。It is a hardware block diagram of the microcomputer 17b in 1st Embodiment. 第1の実施形態に係るマイクロコンピュータ17bによって実行されるプリセット制御処理の処理動作を説明するためのフローチャートである。It is a flowchart for demonstrating the processing operation | movement of the preset control process performed by the microcomputer 17b which concerns on 1st Embodiment. ドーム式野球場の天井に設置された撮像装置を用いて一塁ベースを撮像開始地点B、二塁ベースを撮像終了地点Cとしたときのカメラ装置の直線制御の方法を説明するための図である。It is a figure for demonstrating the method of the linear control of a camera apparatus when using the imaging device installed in the ceiling of the dome type baseball stadium as the imaging start point B for the first base and the imaging end point C for the second base. 線分ABと線分ACとのなす角度が90度未満又は90度超の場合の角度Vの演算方法を説明するための図である。It is a figure for demonstrating the calculation method of the angle V in case the angle which line segment AB and line segment AC make is less than 90 degree | times or more than 90 degree | times. 第2の実施形態におけるマイクロコンピュータ17bによって実行されるプリセット制御処理プログラムの処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the preset control processing program performed by the microcomputer 17b in 2nd Embodiment. 第3の実施形態におけるマイクロコンピュータ17bによって実行されるプリセット制御処理プログラムの処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the preset control processing program performed by the microcomputer 17b in 3rd Embodiment. 従来の撮像装置におけるプリセット制御動作の手順を説明するためのフローチャートである。It is a flowchart for demonstrating the procedure of the preset control operation | movement in the conventional imaging device. 従来のドーム式野球場の天井に設置されたカメラ装置のプリセット撮像制御動作を説明するための概要図である。It is a schematic diagram for demonstrating the preset imaging control operation | movement of the camera apparatus installed in the ceiling of the conventional dome type baseball field.

符号の説明Explanation of symbols

1 レンズ
2 撮像素子部
3 信号処理部
4 AF演算部
5 フォーカス用レンズ移動モータ
6 ズーム用レンズ移動モータ
7 水平方向回転モータ
8 垂直方向回転モータ
9、10、11、12 位置センサ
13、14、15、16 駆動回路
17a、17b マイクロコンピュータ(マイコン)
18 プリセットメモリ部
19 操作部
100 カメラ装置
200 旋回装置
300 コントローラ
DESCRIPTION OF SYMBOLS 1 Lens 2 Image pick-up element part 3 Signal processing part 4 AF calculating part 5 Lens movement motor for focus 6 Lens movement motor for zoom 7 Horizontal direction rotation motor 8 Vertical direction rotation motor 9, 10, 11, 12 Position sensor 13, 14, 15 , 16 Drive circuit 17a, 17b Microcomputer (microcomputer)
18 Preset Memory Unit 19 Operation Unit 100 Camera Device 200 Swivel Device 300 Controller

Claims (5)

パン角度及びチルト角度を変化させることにより撮像方向を水平及び垂直に傾けて被写体を撮像する撮像手段と、
撮像開始地点及び撮像終了地点を撮像するときの前記撮像手段のパン角度及びチルト角度を記憶する記憶手段と、
撮像開始後の前記撮像手段のパン角度を検知する検知手段と、
前記撮像開始地点と前記撮像終了地点とを結ぶ直線上に位置する被写体を撮像する前記撮像手段のチルト角度を、前記検知手段により検知されるパン角度に基づいて演算する演算手段とを備え、
前記撮像手段は、パン角度と前記演算手段によって演算された該パン角度に対応するチルト角度で撮像方向を変化させながら前記撮像開始地点から前記撮像終了地点に達するまで被写体を撮像することを特徴とする撮像装置。
Imaging means for imaging the subject by tilting the imaging direction horizontally and vertically by changing the pan angle and the tilt angle;
Storage means for storing a pan angle and a tilt angle of the imaging means when imaging an imaging start point and an imaging end point;
Detecting means for detecting a pan angle of the imaging means after the start of imaging;
A calculation unit that calculates a tilt angle of the imaging unit that images a subject located on a straight line connecting the imaging start point and the imaging end point based on a pan angle detected by the detection unit;
The imaging means picks up an object from the imaging start point to the imaging end point while changing the imaging direction at a pan angle and a tilt angle corresponding to the pan angle calculated by the calculating means. An imaging device.
前記撮像手段がパン角度のみを変化させて被写体を撮像するときの撮像距離と、パン角度とチルト角度とを変化させて被写体を撮像するときの撮像距離との差分距離を検出する検出手段と、
前記差分距離に基づいて前記撮像手段のフォーカスを補正するフォーカス補正手段と
をさらに備えることを特徴とする請求項1に記載の撮像装置。
Detecting means for detecting a difference distance between an imaging distance when the imaging means changes the pan angle only and images the subject and an imaging distance when the pan angle and tilt angle are changed and the subject is imaged;
The imaging apparatus according to claim 1, further comprising: a focus correction unit that corrects the focus of the imaging unit based on the difference distance.
前記撮像手段が被写体を拡大縮小して撮像するズーム機構を有しており、
前記撮像手段が前記被写体を撮像するときの画角を検出する画角検出手段と、
被写体距離の変化に伴う画角の変化を、前記撮像手段のズーム機構を用いて画角を略一定に補正するズーム補正手段と
をさらに備えることを特徴とする請求項1又は2に記載の撮像装置。
The image pickup means has a zoom mechanism for picking up an image of the subject by enlarging and reducing the subject,
An angle-of-view detection means for detecting an angle of view when the imaging means images the subject;
3. The imaging according to claim 1, further comprising: a zoom correction unit that corrects a change in the angle of view due to a change in the subject distance by using a zoom mechanism of the imaging unit to make the angle of view substantially constant. apparatus.
前記撮像手段が前記撮像開始地点から前記撮像終了地点までパン角度を変化させながら被写体を撮像する際に、前記ズーム補正手段が、前記画角を略一定の割合で減少又は増加させることを特徴とする請求項3に記載の撮像装置。   The zoom correction unit decreases or increases the angle of view at a substantially constant rate when the imaging unit images a subject while changing a pan angle from the imaging start point to the imaging end point. The imaging device according to claim 3. パン角度及びチルト角度を変化させることにより撮像方向を水平及び垂直に傾けて被写体を撮像する撮像装置の制御方法であって、
前記撮像装置に接続する記憶装置から、撮像開始地点及び撮像終了地点を撮像するときの前記撮像手段のパン角度及びチルト角度を取得する取得工程と、
撮像開始後の前記撮像装置のパン角度を検知する検知工程と、
前記撮像開始地点と前記撮像終了地点とを結ぶ直線上に位置する被写体を撮像する場合の前記撮像装置のチルト角度を、前記検知工程により検知されたパン角度に基づいて演算する演算工程と、
前記パン角度及び前記演算工程によって演算されたチルト角度で前記撮像装置の撮像方向を変化させながら前記撮像開始地点から前記撮像終了地点に達するまで被写体を撮像する撮像工程と
を有することを特徴とする撮像装置の制御方法。
A method of controlling an imaging apparatus that images a subject by tilting an imaging direction horizontally and vertically by changing a pan angle and a tilt angle,
An acquisition step of acquiring a pan angle and a tilt angle of the imaging unit when imaging an imaging start point and an imaging end point from a storage device connected to the imaging device;
A detection step of detecting a pan angle of the imaging device after the start of imaging;
A calculation step of calculating a tilt angle of the imaging device based on the pan angle detected by the detection step when imaging a subject located on a straight line connecting the imaging start point and the imaging end point;
An imaging step of imaging the subject from the imaging start point to the imaging end point while changing the imaging direction of the imaging device at the pan angle and the tilt angle calculated by the calculation step. Control method of imaging apparatus.
JP2004191426A 2004-06-29 2004-06-29 Imaging apparatus and control method thereof Expired - Fee Related JP3814282B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004191426A JP3814282B2 (en) 2004-06-29 2004-06-29 Imaging apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004191426A JP3814282B2 (en) 2004-06-29 2004-06-29 Imaging apparatus and control method thereof

Publications (2)

Publication Number Publication Date
JP2006014173A true JP2006014173A (en) 2006-01-12
JP3814282B2 JP3814282B2 (en) 2006-08-23

Family

ID=35780820

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004191426A Expired - Fee Related JP3814282B2 (en) 2004-06-29 2004-06-29 Imaging apparatus and control method thereof

Country Status (1)

Country Link
JP (1) JP3814282B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011229140A (en) * 2010-03-31 2011-11-10 Canon Inc Photography system
JP2018074235A (en) * 2016-10-25 2018-05-10 キヤノンマーケティングジャパン株式会社 Information processing device, and control method and program thereof
WO2020026557A1 (en) * 2018-08-01 2020-02-06 ソニー株式会社 Drive control device, drive control method, and program
KR102074892B1 (en) * 2019-04-16 2020-02-07 주식회사 디케이앤트 PTZ detailed control server and method using viewing angle of CCTV camera
KR102074900B1 (en) * 2019-04-16 2020-03-02 주식회사 디케이앤트 Server and method for area zoom precise control of PTZ camera

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011229140A (en) * 2010-03-31 2011-11-10 Canon Inc Photography system
JP2018074235A (en) * 2016-10-25 2018-05-10 キヤノンマーケティングジャパン株式会社 Information processing device, and control method and program thereof
WO2020026557A1 (en) * 2018-08-01 2020-02-06 ソニー株式会社 Drive control device, drive control method, and program
JPWO2020026557A1 (en) * 2018-08-01 2021-08-12 ソニーグループ株式会社 Drive control device, drive control method, program
US11438513B2 (en) 2018-08-01 2022-09-06 Sony Corporation Drive control device and drive control method
JP7310818B2 (en) 2018-08-01 2023-07-19 ソニーグループ株式会社 DRIVE CONTROL DEVICE, DRIVE CONTROL METHOD, AND PROGRAM
KR102074892B1 (en) * 2019-04-16 2020-02-07 주식회사 디케이앤트 PTZ detailed control server and method using viewing angle of CCTV camera
KR102074900B1 (en) * 2019-04-16 2020-03-02 주식회사 디케이앤트 Server and method for area zoom precise control of PTZ camera

Also Published As

Publication number Publication date
JP3814282B2 (en) 2006-08-23

Similar Documents

Publication Publication Date Title
JP5402431B2 (en) Camera control device
JP5163676B2 (en) Imaging apparatus, imaging method, and program
KR20180011299A (en) Image capturing apparatus and method
JP2017046355A (en) Imaging apparatus
JP4789695B2 (en) Camera, composite image photographing method and program
JP2007043505A (en) Imaging system, camera controller, and panorama image generation method, and program
JP2005128437A (en) Photographing device
JPWO2009142327A1 (en) Imaging apparatus, portable information processing terminal, and monitor display method and program for imaging apparatus
JP2009033450A (en) Camera apparatus, object tracking zooming method and object tracking zooming program
JP2017046321A (en) Controller for controlling imaging apparatus, control method of imaging apparatus and program
US20190174122A1 (en) Method, system and apparatus for capture of image data for free viewpoint video
JP4924228B2 (en) Image processing apparatus, image processing method, and program
JP4957825B2 (en) Imaging apparatus and program
JP2013183306A (en) Imaging apparatus, imaging method, and program
JP6312460B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP2006180152A (en) Imaging device, guide frame display control method, and computer program
JP3814282B2 (en) Imaging apparatus and control method thereof
US20030020824A1 (en) Camera apparatus
JP2019008706A (en) Image processing device, imaging device, and method and program for controlling image processing device
JP4321225B2 (en) Imaging system and imaging method
JP2009088850A (en) Moving image distribution system and moving image distributing method
JP5892211B2 (en) Imaging apparatus and program
JP6223170B2 (en) Imaging device, control method thereof, and control program
JP6289070B2 (en) Imaging apparatus and control method thereof
JP6545229B2 (en) IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, CONTROL METHOD OF IMAGE PROCESSING APPARATUS, AND PROGRAM

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060602

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3814282

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090609

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100609

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100609

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110609

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110609

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120609

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120609

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130609

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140609

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees