JP2009506594A - カメラ制御の方法と装置 - Google Patents

カメラ制御の方法と装置 Download PDF

Info

Publication number
JP2009506594A
JP2009506594A JP2008527260A JP2008527260A JP2009506594A JP 2009506594 A JP2009506594 A JP 2009506594A JP 2008527260 A JP2008527260 A JP 2008527260A JP 2008527260 A JP2008527260 A JP 2008527260A JP 2009506594 A JP2009506594 A JP 2009506594A
Authority
JP
Japan
Prior art keywords
camera
control device
camera control
node
slave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008527260A
Other languages
English (en)
Other versions
JP5043844B2 (ja
Inventor
アンダーソン,ジェレミー,ロレンズ
Original Assignee
トレース オプティック テクノロジーズ ピーティーワイ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2004904910A external-priority patent/AU2004904910A0/en
Application filed by トレース オプティック テクノロジーズ ピーティーワイ リミテッド filed Critical トレース オプティック テクノロジーズ ピーティーワイ リミテッド
Publication of JP2009506594A publication Critical patent/JP2009506594A/ja
Application granted granted Critical
Publication of JP5043844B2 publication Critical patent/JP5043844B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本発明は自動カメラ制御システム(10)に関する。本自動カメラ制御システム(10)は競馬、カーレースといったトラックを基地とするイベントのテレビ放送向けの制御管理システムである。本自動カメラ制御システム(10)により一人の操作者(54)が複数カメラ(16)を同時に制御すること可能となる。本自動カメラ制御システム(10)により一連の構成画面品質が改善される。操作者(54)は出張テレビ放送(86)用の視野の切替えおよびカメラ設定を含めてディレクターのすべての機能の実行が同時に可能である。
【選択図】図6

Description

本発明はカメラ制御装置に関する。
スポーツイベントはプログラムによりイベントのより優れた取材範囲の提供が行われるように従ってテレビ視聴者に人気となってきた。この点は特にイベントの観衆が競技のごく一部を垣間見ることができるだけの自動車レースといったスポーツイベントにあてはまる。テレビネットワークにより、アンテナおよびトライポッド搭載の移動カメラの搭載車を含め視聴者に最大限の取材の提供を行おうとしてこのようなイベントで複数のカメラが使用される。
通常、各カメラを手動で作動させるには操作する人が必要とされる。普通は、これらのカメラはレースの一連画面の最善の撮影のために意図してレースコース周辺の特別な場所に配置される。現在の入手可能なシステムの問題のひとつは操作者が競技を見逃してしまうだけでなく不適切にカメラを操作してしまう場合の両方共にある点にある。それだけでなく、数多くのカメラ毎に操作者を採用しなくてはならないことに伴うコストには財政的な制約がある。
スポーツイベントにおけるカメラのもう1つの用途は事後の視聴のためのスポーツ競技の画像撮影である。これはレース後に不法妨害のために抗議が持ち込まれる場合の競馬レースのようなスポーツイベントでは特に重要である。競馬レースではコース周囲で出走者間で不法妨害が生じたかどうかを評価する観点から幹事がビデオリプレイを検討する。このため、「幹事カメラ」と呼ばれるカメラがスポーツイベントの一連画面を得るためにレースコース周辺の特別な場所に配置される。
サラブレッド、アメス(harness)、グレーハウンド、自動車レースといったスポーツイベントの放送にはすべて高度な繰り返しと決まりきった駆動方式があり、カメラ操作者の工夫にとっての要件は単純である。サラブレッドレースの場合には、現場にいる間のほんのちょっとの時間しか使われないにもかかわらず複数のカメラ操作者が採用される。
本発明の目的は前述の問題を少なくとも1つ解決するかあるいは有益な代案を一般にもたらすカメラ制御方法と装置の提供にある。
さらに本発明の別の目的は人手間の節約方案をもたらすカメラ制御方法と装置の提供にある。
さらに本発明の別の目的は撮影画像の精度と品質を高めるカメラ制御方法と装置の提供にある。
従って、本発明の1形態として複数の撮影方向をとるようそれぞれ制御可能に適応される複数のスレーブカメラ、複数のスレーブカメラと通信状態にあると同時に、既知の速度と既知の方向に移動する空間ノードを同時にたどる複数のスレーブカメラの方向を制御するよう適応される制御装置が含まれるカメラ制御方法と装置が提案される。
ノードは事前に決定される空間経路に沿って移動するのが好ましい。
ノードは水平かつ鉛直平面内の事前に決定される空間経路から分岐可能であるのが好ましい。
装置により各スレーブカメラの別々の機能が個別に制御されることが好ましい。
機能はパニング、チルティング、ズーミングおよび焦点あわせであることが好ましい。
機能は事前にプログラム化されることが好ましい。
複数のスレーブカメラは1つ以上のノードを順番にたどるよう適応可能であることが好ましい。
複数のスレーブカメラは既知のズーミング長さとズーミング幅のノード周辺の特定の視野を組立するよう構成されることが好ましい。
スレーブカメラの視野は手動で調節されることが好ましい。
スレーブカメラの視野は自動的に調整されることが好ましい。
スレーブカメラの視野によりノードの地理上の位置に関係なくノード周辺区域が取り囲まれることが好ましい。
ズーミング長さが制御可能であることが好ましい。
ズーミング幅が制御可能であることが好ましい。
各スレーブカメラがズーミングトリガー装置によって集団で制御可能であることが好ましい。
任意の1台のスレーブカメラの視野は個々のズーミングスライダーを利用して個別に制御されることが好ましい。
スレーブカメラの視野はジョイスチックズーミングトリガーおよびズーミングサムトグルを利用して制御されることが好ましい。
ノード周辺区域のサイズが事前にプログラム化されることが好ましい。
ノード周辺の複数のスレーブカメラの視野は個々のノードスライダーを利用してノード周辺のデフォルト視野を基に個別に比例的に拡大かつ縮小可能であることが好ましい。
スレーブカメラはノード上で自動的焦点合わせに適応されることが好ましい。
ノード速度は手動で制御されることが好ましい。
ノード速度は事前にプログラム化されることが好ましい。
ノード速度は手動で変更される事前プログラムの稼動後にリプレイ可能であることが好ましい。
カメラ制御装置にはさらに少なくとも1台の非スレーブカメラが含まれることが好ましい。
スレーブおよび非スレーブカメラはコード化サーボパンチルトヘッド装置上に搭載されることが好ましい。
ノードは既知の開始位置まで送られることが好ましい。
ノードの移動方向が変更可能であることが好ましい。
ノードは所望の目標と一体となるよう構成されることが好ましい。
装置により複数のノードが認識されこれらと相互作用可能であることが好ましい。
スレーブおよび非スレーブカメラはジョイスチックを利用して制御されることが好ましい。
事前決定される経路に複数のマイルストーンが含まれることが好ましい。
ノード速度およびスレーブカメラの焦点あわせ、パニング、チルティング、ならびにズーミング機能が個別のマイルストーンに対して事前プログラム化されることが好ましい。
本発明のさらに別の形態ではスポーツ環境の調査、スポーツ環境内への複数カメラの設置、各個別カメラの位置決定、複数カメラの移動制御段階が含まれる、事前に決定される経路に沿ってノード地点を同時にたどる制御装置によるカメラ制御方法が提案される。
複数のカメラにスレーブおよび非スレーブカメラが含まれることが好ましい。
カメラの位置は複数の測量マーカーおよびリセクション測量法を利用して決定されることが好ましい。
1台以上のカメラはノードと直線に並べられることが好ましい。
スレーブおよび非スレーブカメラがノードの追跡を容易にするコード化されたサーボパンチルトヘッド上に搭載されることが好ましい。
この明細書に組み込まれると同時に一部をなす付録図面により、本発明のいくつかの実施例が図示されるとともに説明され、本発明の利点と原理を説明するために利用される。
以降の本発明の詳細説明では付録図面が参照される。この説明には例示の実施例が含まれるが、その他の実施例も可能であると同時に、説明されるこれらの実施例には本発明の精神と範囲を逸脱せずに変更が行われうる。可能な場合はいつでも、同一参照番号が図面および同一あるいは同様の部品を参照する以降の説明全般を通じて使用される。
さらに詳しい説明のため図面を参照すると、本発明の原理が採用されうる取り合わせが例を介して示される図1にカメラ制御システム10が示される。カメラ制御システム10には複数のカメラ16と通信14状態にある制御装置12が含まれる。制御装置12はカメラ16の移動を制御して視野70(図7)および焦点要件を自動的に調節しながらノード20に各中心線18を向けるよう構成される。こうして、一人の操作者が複数のカメラ16を制御可能であってこれによって各個別のカメラ16毎に個々のカメラ操作者がいなくてはならない必要性が回避される。ノード20はレースコース24といった既知のパラメーター無しに事前決定経路22に沿ってトレースする。カメラ制御システム10にはさらに事前に決定される本発明の機能を制御する制御ソフトウェア(図示されず)が含まれる。その最も単純な形態では操作者はノード20を単純に移動させることができる。
事前決定経路22は特定のトラック24の測量を通じて作成される。トラック24の表面が地図化されると同時に、数学行列が計算される。その後、ノード20が、通常、競馬レースのトラック中心、および自動車スポーツではレース進路をたどる事前決定経路22上に設定される。従って、ノード20にはデータテーブルに格納される一連の事前決定されるx,y,z座標がある。トラック24の測量から生ずるデータテーブルは先の利用のため格納される。各個別のカメラ16の位置は任意の測量法によるかあるいは測量業者によって一般的に採用される方法によるいずれかで決定されると同時に「リセクション」として参照される。「リセクション」は既知のトラック24周辺の地理上の配置に関する一連の測量マーカー(図示されず)上に連続してランダムに配置されるカメラ16のそれぞれの中央線18の整列および焦点合わせに関係する。測量マーカーは通常、塗装された交差毛髪を利用する600ミリの円状の印である。カメラ16の中央線18が3つ以上の測量マーカーと整列するときに、カメラ16の方向、すなわち、そのパニングとチルティングが記録されることによってカメラ16の地理的位置の計算が可能となる。あるいは、各カメラ16にはカメラ16の位置を自動的に計算するGPS装置が含まれうると同時に、該カメラはひとつの測量マーカーに直線に並べられる必要だけがある。その後、地理上の位置およびパニングとチルティング情報が制御装置12に伝達される。
読者はお気付きの通り、カメラ制御システム10は任意のレーストラックで利用可能である。横桟、出発区域、ゴールラインならびにカメラ16をリセクションするために利用される設置測量マーカーの内部および外部の地理的位置を収集するため様々なトラックが測量される。測量情報はCADのようなソフトウェアプログラムに投入されるとともにマイルストーンが挿入される。事前決定経路22のx,y,z座標はその後、データ行列に投入されると同時に、ノード20の動きをプロットする数学的モデルが事前設定速度で作成される。任意のデータ行列は、また中央線18が事前決定経路22に沿って走るにつれてノード20をたどるよう複数カメラ16の視野70較正用にも利用される。
図1にさらに図示される通り、制御装置12にはケーブル28によってネットワーク装置30に接続されるインターフェーススパネル26が含まれる。ネットワーク装置30はそれぞれのカメラ16と通信する。通信14は放送信号の形態となるものと考えられる。しかしながら、通信は既存のレースインフラストラクチャは競馬イベント時の幹事塔あるいは検分塔のように利用されるロックケーブルを介するものであって良い。インターフェースパネル26にはノード速度制御バー32、ジョイスチック34、一連のカメラ個別制御36、および補助スイッチ38が含まれるがこれらに限定はされない。該インターフェースパネル26により操作者は、パニング、チルティングおよび各カメラ16のズーミングが独立してあるいは同時のいずれかでノード20の移動をたどるための選別されたカメラ16の移動制御が可能となる。パニングとは横に並ぶカメラの移動として定義され、チルティングは上下のカメラ移動ならびにズーミングは視覚上の前後のカメラ移動である。操作者54によりカメラ16の焦点合わせが手動で制御されるかあるいは代案として先行技術で十分知られるとおりに焦点が自動的に計算されるかのいずれかである。自動焦点機能はカメラ16の位置とノード20の位置が分かっているのでカメラ制御システム10によって計算可能であり、これによってレンズの焦点距離が個別のレンズ毎に計算可能となる。カメラ16はコード化されたパンチルトサーボヘッドあるいは同様装置上への搭載が考えられる。コード化されたパンチルトサーボヘッドはそのパニングとチルティングの位置を常時計算可能である。
図2に図示される通り、ノード20はx,y,z座標40.42および44に沿う既知の空間位置を有する。利用時には、ノード20はレース参加者、例えば、レーストラック上の馬や猟犬あるいはレースコース上の車両の位置追跡に利用される。通常、競馬レースに利用される場合、ノード20はレース参加者の集団の中心にいる操作者54によって配置される。
ノード20は事前決定経路22の上部あるいは下部の任意高さで設定可能である。Z軸44に沿うこのノード20の横方向移動は制御装置12により手動で調節されるかあるいは事前設定可能である。カメラ制御システム10には任意の事前決定される移動を規定するデータテーブルを含めることが考えられる。同様に、カメラ16の中央線18は制御装置12による操作中に鉛直および水平平面にあるノード20から移動可能である。
ノード20には事前決定経路22に沿って事前に決定される出発地点46がある。図3に例示されるとおり、事前決定経路22は出走ゲート48およびゴールライン50と一緒に競馬レーストラックに一致しても良い。ノード20は出発地点46にて始まると同時に矢印方向52にゴールラインまで移動する。各競馬レーストラックには各レースコース周囲に出発地点がいくつかありうる事前決定経路22があっても良い点は認められるべきである。実際には、操作者が適当な出発地点を選択するとともに事前決定経路22に適応させる単純な事項となろう。
図4に例示されるように、操作者54はノード速度バー32を利用して事前決定経路22に沿ったノード20の前方移動の制御が可能である。ノード速度バー32は特定の速度と加速度較正に合わせて構成可能であるとともに同様にして商用航空機のスラストレバーに作用させることができる。操作者が矢印56の方向にノード速度バー32を移動させるにつれてノード20の速度が上昇する。反対方向へのノード速度制御バー32の移動によりノード20の速度が緩められよう。
ノード20の速度は通常、3つの異なる方法で制御される。第1に、ノード20の速度は速度制御バー32によって直接制御可能である。矢印56の方向にノード制御バー32の較正された前方移動はノード20の速度の上昇に対応する。反対方向に較正されるノード速度制御バー32の移動によりノード20の速度の減少に対応することになる。
第2に、特定の速度がノード20の移動制御に対して指定可能である。カメラ制御システム10にはノード20の事前決定速度の設定手段が含まれうる。カメラ制御システム10には事前決定される経路22上の一定変動幅の距離範囲内で操作者54によるノード20の速度の指定を可能にするデータテーブルを含めることが考えられる。尚、ノード速度制御バー32を利用したこの指定速度によりノード20の速度に対する操作者54による微調整が可能となる。これはレース参加者の速度、例えば、レースサーキット周辺の車両あるいはレーストラック上の馬の速度が精確に予測可能である場合に適切である。
最後の第3には、加速度機能がノード20速度の制御用に利用可能である。該加速度機能は
ノード20がノード速度制御バー32の事前決定速度プラスあるいはマイナス操作者によって実行される最新の手動調整分で移動する事前設定速度機能から派生するものである。
ノード20は鉛直および水平面にある事前決定経路22から移動可能である。この移動にはテレビ画面に表示される宣伝を考慮するかあるいはレース参加者を見せられるように組立てるべきである場合がある。図5に示されるように、事前決定経路22からのノード20の横方向移動はジョイスチック34によって制御される。ジョイスチック34が矢印方向58の方向に移動されるとき、ノード20は、矢印64によって示される通り事前決定経路22の右、あるいは横桟外側の方に移動される。従って、カメラ16の中心線18もまた事前決定経路22の右側に移動する。ジョイスチック34が矢印62の方向へ移動する場合、ノード20、従って、カメラ16の中心線18が矢印60によって示されるように事前決定経路22の左に移動する。
本発明の原理の説明しやすくするために、カメラ制御システム10は競馬レースイベントの一連画面を撮影するために利用されるように説明されよう。好ましい実施例では、図6に示されるように、カメラ制御システム10はレース参加者の集団、この例では、馬66の集団である一連画面の撮影に利用される。ノード20は馬66の集団の中心に配置されると同時に、ズームウィンドー68の範囲内で組立され、このウィンドーはズーミング幅と長さによって決定される。各カメラ16の視野70の中心線18はノード20をたどる。制御装置12はネットワーク装置30を通じて各カメラ16と通信14される。図6に示される通り、各カメラ16には通信装置72が含まれるとともに、コード化されたサーボパンチルトヘッドおよびトライポッド装置74上に搭載される。
カメラ制御システム10にはさらに適応する通信装置78付きの補助カメラ76が含まれる。これらの補助カメラ76は群集場面あるいは景観画面を撮影するためトラック24周辺の様々な場所に配置可能である。これらの補助カメラ76は操作者54によって制御されると同時にノード20をたどるよう構成されても良い。
非スレーブカメラ16bまたはロックオフカメラは、ジョイスチック34、ジョイスチックズームトリガーおよび焦点合わせつまみ102を利用してそのパニング、チルティング、ズーミングおよび焦点合わせの設定を可能にするジョイスチック操作スイッチ92によって利用される。ジョイスチック操作スイッチ92がオンのときには、ジョイスチック34、焦点合わせつまみ102、およびジョイスチックズームトリガーだけによりその特定のカメラ16が制御される。ジョイスチック操作スイッチ92のスイッチをオフにして非スレーブカメラ16bがその位置に設定されると同時に、ジョイスチック34をリセットしてスレーブカメラ16aが制御される。尚、ズームスライダー88は個々のスレーブカメラ16aと非スレーブカメラ16b用に常時利用されても良い。
各カメラ16および76により制御装置12によって受信される信号80が伝達される。各特定カメラ16および76によって撮影される一連の画面は別々の表示画面82に表示される。操作者54はその後、マスター表示画面84に表示されるテレビ製作物向けに最善の一連画面の選定が可能である。テレビ製作物はその後、従来のアナログあるいはデジタル信号を利用して放送86される。
図7に示される通り、インターフェースパネル26にはノード速度制御バー32、ジョイスチック34、一連のカメラ個別制御装置36および補助スイッチ38が含まれる。カメラ個別制御装置36にはズームスライダー88、スレーブスイッチ90、およびジョイスチック操作スイッチ92が含まれる。スレーブスイッチ90はノード20付きカメラ16の中心線18と一線に並ぶ。スレーブスイッチ90によりカメラデータテーブルソフトウェアの機能が稼動されると同時に、自動的に調整される選択されたカメラのパニング、チルティング、ズーミングおよび焦点合わせの較正が可能となる。ジョイスチック操作スイッチ92によりスレーブスイッチ90が無視されると同時に、操作者54の個別カメラ16あるいは76のパニング、チルティング、およびズーミングの独立した制御が可能となる。
ジョイスチック34は幾つかの機能に利用される。第1には、ジョイスチック操作スイッチ92を駆動させるカメラ16および76の制御が可能である。これにより操作者54の個別のカメラのチルティング、パニングおよびズーミングの制御が可能となる。第2には、ジョイスチック34は事前決定経路22からのノード20の横方向移動の制御に適応される。第3には、ジョイスチック34がズームウィンドー68の長さと幅の制御に利用される。
補助スイッチ38により制御ソフトウェアのプログラム化コマンドが制御されるとともに、多様な視覚画像の連続のプログラム化が可能となる。カメラのプログラム化には複数のカメラ、ノード20の位置、パニング較正、ノード20速度、ズーミング較正、タイミング関数、カメラのスレーブ化および非スレーブ化ならびに焦点合わせが考慮される。このカメラの視覚シーケンシングの例は、操作者54が、指定のパニング地点すなわちゴールライン50に届くまで指定カメラにノード20の追跡を可能にする指定機能ボタンを押す場合の競馬のゴールインであって、その地点においてカメラによりノード20から非スレーブ化されるとともに、指定のズーミングおよびパニングの較正状態でゴールライン50が組立てられる。すべての馬がゴールライン50を通過すると同時に、機能ボタンが駆動されると同時に、指定されたカメラが、指定された方法でこの地点で操作者54によって減速されたノード20に追い付くと同時に、勝者に直接近接する位置になるまでパニングするとともにズーミングする。これらの視覚シーケンスにより1台以上のカメラ16および76を使用して、操作者によってリアルタイムに実行される単純な事前構成の振付けられた動的シーケンスが可能となる。
インターフェースパネル26にはノード速度制御バー32と連動される事前設定される速度スイッチ94と方向変更スイッチ96が含まれる。インターフェースパネル26にはノード速度制御バー32の位置と一致するカラーLED表示装置98も含まれる。加速度スイッチ100により前述の加速度関数の操作が制御される。他方、焦点合わせつまみ102がジョイスチック操作スイッチ92を駆動させるカメラ16または76の焦点合わせに利用される。インターフェースパネル26にはさらに放送ディレクター操作制御装置すなわち当該技術で良く知られる事前レビュースイッチ104、最終放送スイッチ106ならびにディレクターフェイドバー108が含まれる。
さらに、図8、図9に示される通り、ズームウィンドー68はズーミング幅110およびズーミング長さ112によって決定される。これらのズーミングパラメーターはジョイスチックズーミングトリガーにより操作者54によってリアルタイムに制御ソフトウェアによって自動設定されるかあるいは自動調整が可能である。本例では、ノード20はズームウィンドー68の中心に位置するが、ノード20は必要とされるショットに応じてズームウィンドー68内部の複数地点に動的に配置される場合もある点が認識されなくてはならない。ジョイスチックにはズームウィンドー68の長さ112を制御するズームトリガー(図示されず)およびズームウィンドー68の幅110を制御するサムトグル(図示されず)が含まれることも考えられる。
ズームウィンドー68により、カメラ16aの位置と角度に関係なくすべてのスレーブカメラ16aにより同一空間ボリュームの組立てが可能となる。このことは特にすべての参加者がトラック24廻りの複数カメラによって撮影、組立てられる必要のあるレース馬やレース犬にとって有益である。ズームウィンドー68はズーミング長110およびズーミング幅112によって定義される空間ボリュームである。ノード20は通常、ズームウィンドー68の中心にある。この既知のズームウィンドー68によりすべてのスレーブカメラ16aがあらゆる場所で、カメラ16aの視野70内でズームインするとともに、所望のズームウィンドー68だけを組立てることが可能となる。スレーブカメラ16aはまたカメラ16aをノード20上に自動的に焦点を合わせ、カメラ16aとノード20間の距離は、カメラ制御装置10がカメラ制御システム10のソフトウェアで指定されるカメラ16aレンズに依存する必要な焦点較正を計算するために採用する焦点長さである。
ズーミング長さ110およびズーミング幅112はジョイスチック34によって制御される。ノード20はズームウィンドー68の中心にあるとともに、このズームウィンドー68はノード20が移動する場合と同一の方法で移動可能である。各カメラ16の個々のズームスライダー88により、たとえカメラ16aがスレーブ化されていても操作者54のカメラ視野70の拡大あるいは縮小が可能となる。20%に設定されたズームスライダー88の付いたスレーブカメラ16aの場合には、デフォルトズームウィンドー68のサイズは20%だけ拡大される。すべてのスレーブカメラ16aのズームスライダー88がゼロに設定される場合には、ズームウィンドー68は一様な任意の空間である。
カメラ16がロックされるかあるいはスレーブモードにない場合には、ズームスライダー88により尚カメラ16のズーミング較正が制御される。カメラ16bがジョイスチック操作92モードに切り替えられた場合には、ジョイスチック34と特にジョイスチックトリガー(図示されず)によりカメラ16bのズーミング機能が制御される。
図9はさらにスレーブカメラ16aおよび非スレーブカメラ16bの利用を例示する。カメラ16aに適応するスレーブスイッチ90が駆動される。従って、カメラ16aはノード20を前述のようにたどる。これに対し、カメラ16bに適応するジョイスチック操作スイッチ92が駆動される場合には、操作者54はジョイスチック34を使用して独立してカメラ16bの位置をとることが可能となる。例えば、非スレーブカメラ16bは群集撮影には大スタンド114上に焦点70が合わされうる。
カメラ制御システム10にはランダム開始機能が含まれても良い。カメラ制御システム10によりトラック24の位置と同時に、カメラ16とそのコード化されたパンとチルトのヘッドの指し示す場所が認識される。操作者54はカメラ16をトラック24上の任意の場所を目標とさせると同時に自動的にカメラ16の焦点を合わせるとともに、事前設定の指定速度でランダムな地点に挿入されるノード20をたどるランダム開始機能を作動させることができる。ランダム開始ノード20移動経路は当初は事前決定経路22に平行であるが、指定制御ソフトウェアとして規定される方法で事前決定経路22まで引っ張られよう。各トラック24にはノード20が事前決定経路22に平行に移動可能である場合およびノード20が事前決定経路22にまで自動的に引っ張られる場合を示す定義された座標地図あるいは図面がある。ノード20に対する手動調整はさらにリアルタイムで行われても良い。
代案実施例では、カメラ制御システム10により、図10に示されるように、トラック24周辺位置が均等なすなわち10メートルあるいは100メートルの間隔で測量される一連のマイルストーン116、118、120、122および124が利用される。これらのマイルストーン116、118、120、122および124は補助スイッチ38にロードされうるプログラム化されたコマンドと連携して利用される。プログラム化されたコマンド内部のマイルストーンにより操作者54は、そのズーミング、焦点合わせ、パニング、チルティング、スレーブ化、非スレーブ化、ノード速度およびこれらの地点での事前決定経路からのノードずれが含まれる個別のカメラ16の構成設定が可能となる。これらのマイルストーン116、118、120、122および124により振付けられる一連の連続画面が地理上の位置に張り付け可能になる。
別の代案実施例では、図11に示されるカメラ制御システム10は自動車128をたどる電子眼126と接続して利用される。カメラ制御システム10は電子眼126によりあるいは手動で生成可能である複数ノード20の管理が可能である。これらの複数ノード20は最初に事前決定経路22に指定速度で挿入されるが手動で調整可能である。操作者54はあるノード20から次へインターフェースパネル26によりレース順番の上か下かのどちらかにスキップできる。カメラ制御システム10にはまたカメラ16が次のノード20が通過するまで指定方向に戻される家庭向け機能がある。連続して家庭向け機能ボタンを押すとノード20はカメラ16がノード20にスレーブ化されずに通過できる。通常、電子眼126はノード20の移動を起こすために利用され、これによって電子眼が壊れるときにノード20が事前決定速度で事前決定経路22に沿って移動を開始する。
カメラ16は回転可能に特定の地理上の場所に固定されるものとして説明されているけれども、本発明はこの構成に限定されないことが読者によって認識されなくてはならない。本発明は
移動カメラ上で使用されても良く、カメラの地理上の場所を提供するトラック上に据付けられるものが知られる。例えば、これはGPS装置がカメラに取り付けられると同時に、制御器へのリアルタイム供給情報を有することによって実現される。こうして、ノード20に関連するカメラ16の地理上の位置は常時知られよう。
さて、専門家の各位であればカメラ制御システムにもたらす本発明の多くの利点を認めよう。本カメラ制御システムは様々な競馬コースでかつ様々な条件のもとで利用可能である。スレーブカメラの利用により別々のあるいはカメラ毎の操作者は不要であるというコストの恩恵がもたらされる。本システムによりまたスポーツイベントをベースとするコースの最善の報道範囲の柔軟な提供がもたらされる。スレーブカメラからノードまでの得られる精度によってもまた一連の放送画面の品質がかなり向上するとともに、スポーツイベントの放送にとって新しくかつ革新的手法が可能となる。
ズーミング、チルティングおよびパニングのカメラ機能はこれらが本技術の専門家には自明であろうためあえて本仕様書内では説明されなかった。読者は、本発明は事前決定される経路に沿う空間ノードをたどるよう構成される複数のスレーブカメラの利用にあることを理解しなくてはならない。
その範囲から逸脱せずに本発明に対してさらなる利点および改善点がかなり十分になされうる。本発明は最も実用的かつ好ましい実施例であると考えられるものが示されると同時に説明されたが、本発明の範囲と精神の範囲内でこれらからの逸脱がなされうるものと認識される。
本発明の以下に続く請求項の任意の請求項においてまた要約書において、文脈により他の表現言語が必要とされる場合を除き、「からなる(comprising)」という単語は「を含む(including)」の意味で使用され、すなわち、規定される特徴はさらに本発明の様々な実施例の別の特徴と関連しうるものである。
本発明を実施するカメラ制御装置の第1実施例の概略図である。 事前決定経路とx,y,z軸を示すノードが含まれるトラックの概略図である。 事前経路およびノードが含まれる競馬レーストラックの上面図である。 ノードの前方移動の制御が示される図1のカメラ制御システムの概略図である。 ノードの斜め横方向移動の制御が示される図1のカメラ制御装置の概略図である。 競馬に関連する用途が示されるカメラ制御システムの第2実施例である。 図6のカメラ制御システムのインターフェースパネルの上面図である。 ズームウィンドーの概略図である。 スレーブおよび非スレーブカメラが示される図1のカメラ制御システムの概略図である。 マイルストーンが示される図3の競馬レーストラックの上面図である。 電子眼が含まれる自動車レースサーキットが示されるカメラ制御システムの第3実施例の概略図である。

Claims (36)

  1. それぞれ複数の視野方向の設定制御に適応可能とされる複数のスレーブカメラ、前記複数スレーブカメラと通信状態にある制御装置が含まれると同時に、既知の速度で既知の方向に移動する空間ノードを同時にたどるための前記複数スレーブカメラの方向制御に適応したカメラ制御装置。
  2. 前記ノードが事前に決められる空間経路に沿って移動する請求項1に記載のカメラ制御装置。
  3. 前記ノードが水平と垂直平面の事前に決められる空間経路から分岐される請求項2に記載のカメラ制御装置。
  4. 前記装置により各前記スレーブカメラの特定機能が個別に制御される請求項1に記載のカメラ制御装置。
  5. 前記機能がパニング、チルティング、ズーミングおよび焦点あわせである請求項4に記載のカメラ制御装置。
  6. 前記機能が予めプログラム化される請求項4または請求項5に記載のカメラ制御装置。
  7. 前記複数のスレーブカメラが1つ以上のノードを順番にたどるよう適応可能である請求項1に記載のカメラ制御装置。
  8. 前記複数のスレーブカメラにより既知のズーミング長さとズーミング幅の前記ノード廻りの特定の視野が組立てられるように構成される請求項1に記載のカメラ制御装置。
  9. 前記スレーブカメラの視野が手動で調整される請求項8に記載のカメラ制御装置。
  10. 前記スレーブカメラの視野が自動的に調節される請求項8に記載のカメラ制御装置。
  11. 前記スレーブカメラにより前記ノードの地理上の場所に関係なく前記ノード周辺の区域が取り囲まれる請求項8ないし請求項10のいずれかに記載のカメラ制御装置。
  12. 前記ズーミング長さが制御可能である請求項8に記載のカメラ制御装置。
  13. 前記ズーミング幅が制御可能である請求項8に記載のカメラ制御装置。
  14. 前記スレーブカメラのそれぞれの視野がズーミングトリガー装置によって一体で制御される請求項8または請求項9に記載のカメラ制御装置。
  15. 任意のスレーブカメラの視野が個別のズーミングスライダーを利用して個別に制御される請求項8または請求項9に記載のカメラ制御装置。
  16. すべてのスレーブカメラがジョイスチックズーミングトリガーとズーミングサムトグルを利用して制御される請求項8または請求項9に記載のカメラ制御装置。
  17. 前記ノード周辺区域の大きさが事前にプログラム化される請求項10に記載のカメラ制御装置。
  18. 前記ノード周辺の前記複数のスレーブカメラの視野が、個々のズーミングスライダーを利用してデフォルトの前記ノード周辺視野を基に個々に比例して拡大、縮小が可能である請求項8に記載のカメラ制御装置。
  19. 前記スレーブカメラが前記ノード上で自動的に焦点を合わせるよう適応された請求項1ないし請求項18のいずれか1項に記載のカメラ制御装置。
  20. 前記ノード速度が手動で制御される請求項1に記載のカメラ制御装置。
  21. 前記ノード速度が事前にプログラム化される請求項1に記載のカメラ制御装置。
  22. 前記ノード速度が事前組込みプログラム作動の手動による変更後にリプレイ可能である請求項21に記載のカメラ制御装置。
  23. 少なくとも1つの非スレ−ブカメラが含まれる請求項1に記載のカメラ制御装置。
  24. 前記スレーブカメラと非スレーブカメラがコード化されたサーボパンチルトヘッド装置に搭載される請求項1ないし請求項23のいずれか1項に記載のカメラ制御装置。
  25. 前記ノードが既知の開始位置に送られる請求項1ないし請求項24のいずれか1項に記載のカメラ制御装置。
  26. 前記ノードの移動方向が変更可能である請求項1ないし請求項25のいずれか1項に記載のカメラ制御装置。
  27. 前記ノードが所望の目標と一致するように構成されるように構成される請求項1ないし請求項26のいずれか1項に記載のカメラ制御装置。
  28. 前記装置が複数のノードを認識すると同時にこれらと相互に反応可能である請求項1ないし請求項27のいずれか1項に記載のカメラ制御装置。
  29. 前記スレーブカメラと非スレーブカメラがジョイスチックを利用して制御される請求項1ないし請求項28のいずれか1項に記載のカメラ制御装置。
  30. 事前決定される経路に複数のマイルストーンが含まれる請求項1ないし請求項29のいずれか1項に記載のカメラ制御装置。
  31. 前記ノード速度および前記スレーブカメラの焦点あわせ、パニング、チルティング、およびズーミングが特定のマイルストーンに合わせて事前にプログラム化される請求項30に記載のカメラ制御装置。
  32. スポーツ環境の調査、前記スポーツ環境内での複数カメラの設置、各個別カメラの位置決定、前記複数カメラの移動制御の各段階が含まれる予め決まった経路に沿うと同時にノード地点をたどる制御装置を介したカメラ制御方法。
  33. 前記複数のカメラにスレーブカメラと非スレーブカメラが含まれる請求項32に記載のカメラ制御装置。
  34. カメラ位置が複数の測量マーカーと位置確認測量方法の利用により決定される請求項32に記載のカメラ制御装置。
  35. 1台以上のカメラが前記ノード上に直線に並ぶ請求項32に記載のカメラ制御装置。
  36. 前記スレーブカメラと非スレーブカメラが前記ノードの追跡を容易にするコード化されたサーボパンチルトヘッド上に搭載される請求項33に記載のカメラ制御装置。
JP2008527260A 2004-08-30 2005-08-30 カメラ制御の方法と装置 Active JP5043844B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AU2004904910A AU2004904910A0 (en) 2004-08-30 Automated Camera Control System
PCT/AU2005/001302 WO2006024078A1 (en) 2004-08-30 2005-08-30 A method and apparatus of camera control

Publications (2)

Publication Number Publication Date
JP2009506594A true JP2009506594A (ja) 2009-02-12
JP5043844B2 JP5043844B2 (ja) 2012-10-10

Family

ID=35999622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008527260A Active JP5043844B2 (ja) 2004-08-30 2005-08-30 カメラ制御の方法と装置

Country Status (6)

Country Link
US (1) US8723956B2 (ja)
EP (1) EP1941726A4 (ja)
JP (1) JP5043844B2 (ja)
AU (1) AU2005279687B2 (ja)
CA (1) CA2620761C (ja)
WO (1) WO2006024078A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013503504A (ja) * 2009-08-31 2013-01-31 トレイス オプティクス ピーティワイ リミテッド 複数のカメラの相対制御のための方法及び装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060109274A1 (en) 2004-10-28 2006-05-25 Accelerated Pictures, Llc Client/server-based animation software, systems and methods
WO2007009225A1 (en) 2005-07-22 2007-01-25 Kangaroo Media Inc. System and methods for enhancing the experience of spectators attending a live sporting event
US8330967B2 (en) * 2006-06-26 2012-12-11 International Business Machines Corporation Controlling the print quality levels of images printed from images captured by tracked image recording devices
US7880770B2 (en) 2006-07-28 2011-02-01 Accelerated Pictures, Inc. Camera control
US9185361B2 (en) * 2008-07-29 2015-11-10 Gerald Curry Camera-based tracking and position determination for sporting events using event information and intelligence data extracted in real-time from position information
US9813610B2 (en) 2012-02-24 2017-11-07 Trace Optics Pty Ltd Method and apparatus for relative control of multiple cameras using at least one bias zone
US9100720B2 (en) 2013-03-14 2015-08-04 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to logos in vehicle races
JP6187811B2 (ja) * 2013-09-09 2017-08-30 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
BR112017007408A2 (pt) * 2014-10-10 2019-11-19 Liverbarn Inc sistema e método para rastreamento ótico de jogadores em estádios esportivos
FR3052949B1 (fr) 2016-06-17 2019-11-08 Alexandre Courtes Procede et systeme de prise de vues a l'aide d'un capteur virtuel
US11082754B2 (en) * 2016-08-18 2021-08-03 Sony Corporation Method and system to generate one or more multi-dimensional videos
US20180077345A1 (en) * 2016-09-12 2018-03-15 Canon Kabushiki Kaisha Predictive camera control system and method
US11665308B2 (en) 2017-01-31 2023-05-30 Tetavi, Ltd. System and method for rendering free viewpoint video for sport applications
JP6924079B2 (ja) * 2017-06-12 2021-08-25 キヤノン株式会社 情報処理装置及び方法及びプログラム
US10764486B2 (en) 2018-01-11 2020-09-01 Qualcomm Incorporated Multi-camera autofocus synchronization
US11134185B2 (en) * 2019-04-01 2021-09-28 Grass Valley Canada System and method of partial matching of control settings across cameras
EP3828827A1 (fr) 2019-11-28 2021-06-02 Swiss Timing Ltd. Systeme de supervision d'une competition sportive
JP7455663B2 (ja) * 2020-05-25 2024-03-26 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51158717U (ja) * 1975-06-11 1976-12-17
JPS601978A (ja) * 1983-06-17 1985-01-08 Canon Inc 遠隔操作撮像装置
JPS6313475A (ja) * 1986-07-03 1988-01-20 Yamaguchi Shinema:Kk テレビジヨンカメラの追従制御装置
JPH06133189A (ja) * 1992-10-19 1994-05-13 Fuji Photo Optical Co Ltd テレビカメラの雲台制御装置
JPH1070741A (ja) * 1996-08-27 1998-03-10 Kanji Murakami 多角度撮影用の撮像装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5079158A (ja) 1973-11-12 1975-06-27
US4120004A (en) * 1976-01-26 1978-10-10 Coutta John M Surveillance system
US5164827A (en) * 1991-08-22 1992-11-17 Sensormatic Electronics Corporation Surveillance system with master camera control of slave cameras
WO1994017636A1 (en) * 1993-01-29 1994-08-04 Bell Communications Research, Inc. Automatic tracking camera control system
EP0660131A1 (en) * 1993-12-23 1995-06-28 Karl Osen Camera guidance system
US5774569A (en) * 1994-07-25 1998-06-30 Waldenmaier; H. Eugene W. Surveillance system
US5912700A (en) 1996-01-10 1999-06-15 Fox Sports Productions, Inc. System for enhancing the television presentation of an object at a sporting event
JPH09233458A (ja) * 1996-02-28 1997-09-05 Toshiba Corp 画像選択方法および画像選択装置
US5917553A (en) 1996-10-22 1999-06-29 Fox Sports Productions Inc. Method and apparatus for enhancing the broadcast of a live event
FR2757002B1 (fr) * 1996-12-06 1999-01-22 David Antoine Systeme de suivi de mobiles en temps reel sur un terrain de sports
US5982420A (en) 1997-01-21 1999-11-09 The United States Of America As Represented By The Secretary Of The Navy Autotracking device designating a target
US5873007A (en) 1997-10-28 1999-02-16 Sony Corporation Picture composition guidance system
US7796162B2 (en) * 2000-10-26 2010-09-14 Front Row Technologies, Llc Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers
AU2001277259A1 (en) 2000-06-30 2002-01-14 The Muller Sports Group, Inc. Sporting events broadcasting system
US6842543B2 (en) * 2001-06-25 2005-01-11 Science And Technology Corporation Method of improving a digital image having white zones
US20030210329A1 (en) * 2001-11-08 2003-11-13 Aagaard Kenneth Joseph Video system and methods for operating a video system
US20050202905A1 (en) 2002-04-08 2005-09-15 William Chesser Method and system for use of transmitted location information in sporting events
JP2004207884A (ja) 2002-12-24 2004-07-22 Chuo Electronics Co Ltd フレームアウトしない追尾撮影方法
GB2400513B (en) * 2003-03-14 2005-10-05 British Broadcasting Corp Video processing
US20060063574A1 (en) 2003-07-30 2006-03-23 Richardson Todd E Sports simulation system
US7327383B2 (en) 2003-11-04 2008-02-05 Eastman Kodak Company Correlating captured images and timed 3D event data
US20050221890A1 (en) * 2004-04-01 2005-10-06 Aron Schatten Method and system for monitoring and displaying positions of competing moving objects
JP4337614B2 (ja) * 2004-04-26 2009-09-30 カシオ計算機株式会社 電子カメラおよびプログラム
ES2790885T3 (es) * 2005-03-29 2020-10-29 Sportvu Ltd Seguimiento de objetos en tiempo real y captura de movimiento en eventos deportivos
KR20060114950A (ko) 2005-05-03 2006-11-08 (주)남선지티엘 카메라의 gui 제어방법
JP4345722B2 (ja) 2005-07-15 2009-10-14 ソニー株式会社 動体追跡制御装置、動体追跡システム、動体追跡制御方法及びプログラム
US8044991B2 (en) * 2007-09-28 2011-10-25 The Boeing Company Local positioning system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51158717U (ja) * 1975-06-11 1976-12-17
JPS601978A (ja) * 1983-06-17 1985-01-08 Canon Inc 遠隔操作撮像装置
JPS6313475A (ja) * 1986-07-03 1988-01-20 Yamaguchi Shinema:Kk テレビジヨンカメラの追従制御装置
JPH06133189A (ja) * 1992-10-19 1994-05-13 Fuji Photo Optical Co Ltd テレビカメラの雲台制御装置
JPH1070741A (ja) * 1996-08-27 1998-03-10 Kanji Murakami 多角度撮影用の撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013503504A (ja) * 2009-08-31 2013-01-31 トレイス オプティクス ピーティワイ リミテッド 複数のカメラの相対制御のための方法及び装置

Also Published As

Publication number Publication date
US8723956B2 (en) 2014-05-13
CA2620761C (en) 2016-05-10
AU2005279687A1 (en) 2006-03-09
JP5043844B2 (ja) 2012-10-10
EP1941726A4 (en) 2008-09-17
WO2006024078A1 (en) 2006-03-09
CA2620761A1 (en) 2006-03-09
US20090262193A1 (en) 2009-10-22
EP1941726A1 (en) 2008-07-09
AU2005279687B2 (en) 2010-02-18

Similar Documents

Publication Publication Date Title
JP5043844B2 (ja) カメラ制御の方法と装置
JP5806215B2 (ja) 複数のカメラの相対制御のための方法及び装置
JP5416763B2 (ja) カメラの制御と構図のための方法及び装置
US9912857B2 (en) System and method for controlling an equipment related to image capture
US20210203858A1 (en) Shooting system, shooting method, and program
US5900925A (en) Computer assisted camera control system
US9813610B2 (en) Method and apparatus for relative control of multiple cameras using at least one bias zone
US8957969B2 (en) Method and apparatus for camera control and picture composition using at least two biasing means
JP2009041995A (ja) 三次元計測システム、および、三次元計測方法
JPH11252411A (ja) Tv音声制御装置
NO20161098A1 (en) Camera system for filming sports venues
US20180160025A1 (en) Automatic camera control system for tennis and sports with multiple areas of interest
JP4129514B2 (ja) 画像生成用コンピュータ支援システム
JP2018101930A (ja) 雲台システム
EP3804303A1 (en) A method and system for media content production
JP2007104187A (ja) 撮影装置
JPS6313475A (ja) テレビジヨンカメラの追従制御装置
CN114979437A (zh) 教室录播系统及其控制方法
GB2500304A (en) Tracking system having multiple orientable cameras
JPH0965175A (ja) リモコン雲台装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101130

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110221

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110228

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110330

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110406

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110511

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120612

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120712

R150 Certificate of patent or registration of utility model

Ref document number: 5043844

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150720

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250