JP2010114521A - カメラ制御装置及びカメラ制御方法 - Google Patents

カメラ制御装置及びカメラ制御方法 Download PDF

Info

Publication number
JP2010114521A
JP2010114521A JP2008283628A JP2008283628A JP2010114521A JP 2010114521 A JP2010114521 A JP 2010114521A JP 2008283628 A JP2008283628 A JP 2008283628A JP 2008283628 A JP2008283628 A JP 2008283628A JP 2010114521 A JP2010114521 A JP 2010114521A
Authority
JP
Japan
Prior art keywords
camera
speed
unit
moving speed
displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008283628A
Other languages
English (en)
Other versions
JP4760896B2 (ja
Inventor
Makoto Saijo
誠 西條
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008283628A priority Critical patent/JP4760896B2/ja
Priority to US12/611,232 priority patent/US20100045817A1/en
Priority to CN2009102093279A priority patent/CN101742092B/zh
Publication of JP2010114521A publication Critical patent/JP2010114521A/ja
Application granted granted Critical
Publication of JP4760896B2 publication Critical patent/JP4760896B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】ユーザが意図した方向と移動速度でカメラを操作すること。
【解決手段】映像信号処理装置100は、カメラに対してパン又はチルトを指示する第1の操作信号を変位量に応じて出力するジョイスティック240と、カメラの移動速度を制限する第2の操作信号を変位量に応じて出力するツマミ部220を備える。また、第2の操作信号に基づいて、カメラの移動速度を所定の範囲内に制限する最大値変数を生成する最大値変数生成部72と、最大値変数の範囲内となるように、第1の操作信号に応じてカメラの移動速度を決定する速度決定部73を備える。また、決定されたカメラの移動速度に基づいてカメラの移動方向と移動速度を制御する制御コマンドを生成する制御信号生成部62を備える。
【選択図】図6

Description

本発明は、例えば、カメラの動作を制御する場合に適用して好適なカメラ制御装置及びカメラ制御方法に関する。
従来、カメラによって撮影中のライブ映像を中継したり、カメラで撮影された映像を用いてコンテンツの制作を行ったりするための機器として、ビデオスイッチャが知られている。ビデオスイッチャは、複数のチャンネルの映像信号を入力し、それらの映像信号を切り換えて映像出力先のプロジェクタ等に出力したり、映像切り換え時に映像にワイプ等のエフェクトを付加したりする装置である。
ビデオスイッチャを使用することにより、現在オンエア映像として出力されている映像(PGM出力映像)と、次にオンエア映像として出力される予定の映像(NEXT出力映像;プレビュー出力映像とも称される。)との切り換えも容易に行うことができる。
また、ビデオスイッチャは、映像切り替えの前に、PGM出力映像とNEXT出力映像の両方をユーザが同時に確認できるように、これらの映像を映像出力先の表示装置等の画面上にマルチビュア表示させることもできる。マルチビュア表示とは、複数に分割された画面上の各領域に、それぞれ異なる映像信号による映像を表示する表示形態を指す。このような表示が行われることで、ユーザはオンエア映像として出力中のPGM出力映像を確認しながら、次にオンエアするNEXT出力映像の位置合わせなどの調整を行うことができる。
上述したようなライブ映像の撮影に複数台のカメラを用いる場合には、ビデオスイッチャに加えて、複数のカメラの動作を制御するカメラコントローラが使用されることが多い。カメラコントローラとは、ケーブル等で接続されたカメラのアイリスやフォーカス、ズーム等のコントロールを、遠隔操作により行える装置である。
特許文献1には、カメラコントロールユニットとビデオスイッチャを用いて、ビデオカメラの動作を制御しながら映像処理を行う技術が開示されている。
特開平10−150585号公報
ところで、カメラコントローラにおいて、ジョイスティックでベクトル量(変位方向と変位量)を決定していた。ここで、「ジョイスティックの変位方向と変位量」とは、ユーザが手を離した状態で静止するジョイスティックの初期位置を0とした場合に、レバーを傾けたことによって生じる、初期位置に対する変位方向(角度)と変位量(移動量)を意味する。従来、ジョイスティックの変位量と、操作されるカメラのパン/チルト/ズーム等の移動速度は相関関係があった。このため、ジョイスティックのレバーがふらつくと、このふらつきによるジョイスティックの変位方向と変位量がそのままカメラの移動方向と移動速度に反映され、カメラの動きがふらつく要因となっていた。
ジョイスティックのレバーがふらつくのは、ユーザが操作する腕の筋力とジョイスティック内部のバネが中間変位(ユーザがレバーの傾きを一定にした場合におけるジョイスティックの変位方向と変位量)を保とうとするためである。しかし、レバーがふらつかないように固定することは困難であったため、カメラの移動速度を一定にすることができず、ユーザは思い通りの方向と速度でカメラを移動させることができなかった。
また、ジョイスティックが中間変位の状態になると、ジョイスティックの変位方向と変位方向にムラが生じていた。このムラは、ジョイスティックが生成する速度パラメータ(カメラの移動速度を定義する数値)が変動することによって引き起こされる不要な動作である。このように、ジョイスティックで変位方向と変位量を決定する場合、ユーザは直感的に操作できる反面、中間変位の状態ではジョイスティックがふらつくため、一定の変位量と変位方向を指定することが難しかった。
また、ジョイスティックを用いて、パン/チルトの2方向にカメラを駆動する場合、ある一方向に対する移動速度の最大値に制限がかかるとパン/チルトの移動速度の比が変化してしまう。このため、ユーザが意図した方向とは別の方向にカメラが移動してしまうおそれがあった。
本発明はかかる点に鑑みてなされたものであり、ユーザが意図する方向と移動速度でカメラを操作することを目的とする。
本発明は、カメラに対してパン又はチルトを指示する第1の操作信号を第1の操作部の変位量に応じて出力し、カメラの移動速度を制限する第2の操作信号を第2の操作部の変位量に応じて出力する。
次に、第2の操作信号に基づいて、カメラの移動速度を所定の範囲内に制限する最大値変数を生成し、最大値変数の範囲内となるように、第1の操作信号に応じてカメラの移動速度を決定する。
そして、決定されたカメラの移動速度に基づいてカメラの移動方向と移動速度を制御する制御コマンドを生成するものである。
このようにしたことで、カメラの移動速度を最大値変数の範囲内に調整し、ユーザが意図した方向と移動速度でカメラを操作することが可能となる。
本発明によると、第2の操作部を操作することによって、カメラの移動速度を最大値変数の範囲内に調整し、ユーザが意図した方向と移動速度でカメラを操作することが可能となる。このため、第1の操作部によってカメラを所定の位置に所定の速度で移動させることが容易となる。
以下、発明を実施するための最良の形態(以下実施の形態とする。)について添付図面を参照して説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(カメラの移動速度の制御:カメラの移動速度を決定する処理の例)
2.第2の実施の形態(カメラの移動速度の制御:ホールドボタン信号による割込み処理を行う場合の処理の例)
3.第3の実施の形態(カメラの移動速度の制御:ジョイスティックから出力される操作信号から低域成分を取り出す場合の処理の例)
4.変形例
<1.第1の実施の形態>
[カメラの移動速度の制御:カメラの移動速度を決定する処理の例]
まず、本発明の第1の実施の形態について、図1〜図9を参照して説明する。
[システムの構成例]
図1は、本実施の形態によるシステムの構成例を示した図である。図1に示したシステムは、ビデオスイッチャ機能とカメラコントロール機能を備えたメインユニット110を備える。映像信号処理装置100は、メインユニット110と操作入力部120とで構成される。なお、本実施の形態ではメインユニット110と操作入力部120とを別々に構成した場合を例に挙げたが、これらを一体化した構成に適用してもよい。そして、本例の映像信号処理装置100は、ビデオスイッチャとしてばかりでなく、カメラコントロールを行えるカメラ制御装置としても用いられる。
映像信号処理装置100は持ち運び可能な形態としてあり、例えば大講堂や大会議室、ライブ会場などで開催されるイベントの中継や、イベントの様子を紹介する映像コンテンツの制作に使用される。
図1に示すメインユニット110には、映像入力元として、カメラC1〜カメラC4の4台のカメラと、パーソナルコンピュータ(以下、PCと称する)P1が接続されている。
カメラC1〜カメラC4は、メインユニット110のSDI(Serial Digital Interface)入力端子(図示略)等に接続してあり、カメラC1〜カメラC4で撮影された各映像は、各入力端子を通してメインユニット110に入力される。カメラC1〜カメラC4における撮像動作は、メインユニット110から供給される同期信号に同期して行われる。
カメラC1〜カメラC3は、例えばVISCA(登録商標)プロトコルのシリアルインタフェースを備えており、メインユニット110とは、制御信号伝送用のシリアルケーブル(図示略)によっても接続されている。つまりメインユニット110は、カメラC1〜カメラC3に制御信号(カメラ制御コマンド)を供給することによって、カメラC1〜カメラC3を制御することができる。また、ACKメッセージ等のカメラC1〜カメラC3からの応答も、シリアルケーブルを通してメインユニット110に送信される。
カメラC4は、例えばDVI(Digital Visual Interface)ケーブル等によってメインユニット110に接続されており、カメラC4によって撮影された映像は、DVI入力端子(図示略)を通してメインユニット110に伝送される。カメラC4には、メインユニット110からの制御信号が入力される端子が存在しないため、メインユニット110による制御ができないカメラとなる。
PCP1は、メインユニット110のDVI入力端子又はRGB入力端子(図示略)等に接続されており、図示せぬHDD(Hard Disk Drive)等に記録された静止画像や動画像などを、メインユニット110に入力する。
メインユニット110は、前述したようにビデオスイッチャ機能とカメラコントロールの両方の機能を備えたものであり、ビデオスイッチャとして機能するビデオスイッチャ機能モードのときには、PGM出力映像とNEXT出力映像の切り替え等を行う。カメラコントローラとして機能するカメラコントローラモードのときには、制御対象カメラに対する制御を行う。メインユニット110の構成の詳細については、後述する。
メインユニット110の映像出力先としては、例えばFPD(Flat Panel Display)等よりなる表示装置300と、プロジェクタ400と、HDD等よりなる記録装置500が接続されている。図1に示した例では、プロジェクタ400は、メインユニット110のPGM出力端子2p−1に接続してあり、プロジェクタ400にはPGM出力映像が出力される。表示装置300は、メインユニット110のAUX出力端子2aに接続してあり、表示装置300には、マルチビュワ表示させる映像(以下、マルチビュワ映像と称する)等が出力される。記録装置500は、メインユニット110のPGM出力端子2p−2に接続してあり、メインユニット110から出力される映像信号を記録映像として記録する。
メインユニット110に接続された操作入力部120は、ユーザによる操作内容に応じた操作信号を、メインユニット110内の後述する制御部に送信する。メインユニット110から出力する映像の切り替え指示等は、操作入力部120を介して行えるようにしてある。
次に、図2を参照して、操作入力部120の構成例について説明する。図2に示す操作入力部120には、様々なボタンより構成される操作ボタン部210と、4つのツマミよりなるツマミ部220と、表示部230が配置されている。また、操作入力部120の操作パネル130には、ジョイスティック240の他に、トランジションレバー250も配置されている。
操作ボタン部210には、機能選択部としての第1のカメラモード切り替えボタン211c及びスイッチャモード切り替えボタン211sと、AUX出力選択/カメラ選択ボタン212と、PGM選択ボタン213pと、NEXT選択ボタン213nとが含まれる。
第1のカメラモード切り替えボタン211cは、メインユニット110内のモード設定を、ビデオスイッチャ機能モードからカメラコントローラモードに切り換えるためのボタンである。スイッチャモード切り替えボタン211sは、カメラコントローラモードからビデオスイッチャ機能モードに切り換えるためのボタンである。なお、実際のモードの切り替えは、これらのボタンの押下操作に基づく、後述する制御部60において行われる。
また、本実施の形態では、第2のカメラモード切り替えボタン214cを、ジョイスティック240の左下方にも配置してある。第1のカメラモード切り替えボタン211cと第2のカメラモード切り替えボタン214cの機能はまったく同じである。第1のカメラモード切り替えボタン211c及びスイッチャモード切り替えボタン211sを「切り替えボタン」とも総称する。
どちらの機能モードに切り替えられているかは切り替えボタンに内蔵されるランプ(例えば、LEDを用いる。)に表示される。このため、ユーザは現在の機能モードがビデオスイッチャ機能モード又はカメラコントローラモードのどちらであるかを速やかに把握できる。ジョイスティック240は、ビデオスイッチャ機能モードの場合、PinP(Picture in Picture)における主画像に対する従画像の位置決めに用いる。一方、カメラコントローラモードの場合、選択した一のカメラのコントロール(パン/チルト/ズーム)に用いる。このとき、ジョイスティック240は、カメラに対してパン又はチルトを指示する第1の操作信号を変位量に応じて出力する。
操作パネル130に向かって、第1のカメラモード切り替えボタン211cを左側に配置し、第2のカメラモード切り替えボタン214cを右側に配置する。これにより、ユーザは左右どちらの手を用いても最短でカメラコントローラモードへの切り替え操作が行える。また、第1のカメラモード切り替えボタン211cと第2のカメラモード切り替えボタン214cを、操作パネル130を操作するユーザの両手のセンターポジションの近い位置に配置する。これにより、ユーザは、両手で操作パネル130を操作できるため、操作性が向上する。
AUX出力選択/カメラ選択ボタン212は、ビデオスイッチャ機能モードのときにはAUX出力選択ボタンとして機能し、カメラコントローラモードのときにはカメラ選択ボタンとして機能するボタンである。AUX出力選択/カメラ選択ボタン212には1〜12までの論理番号が割り振ってあり、ビデオスイッチャ機能モード選択時には1〜12までのボタンが有効になり、カメラコントローラモードの選択時には、1〜7のみが有効となる。
AUX出力選択ボタンとしての機能時には、いずれかのボタンが押下されることにより、ボタンに割り振られた論理番号と予め対応付けられた入力ポートから入力される映像信号が、AUX出力端子2aに出力される。図1に示した例ではAUX出力端子2aには表示装置300が接続されているため、論理番号と対応付けられた入力ポートから入力された映像は、表示装置300の画面上に映像として表示される。
カメラ選択ボタンとしての機能時には、ボタンの押下により選択された論理番号と予め対応付けられた制御対象カメラからの入力映像が、AUX出力端子2aより出力される。そして、AUX出力端子2aを通して出力された制御対象カメラによる撮影映像が、表示装置300の画面上に表示される。
PGM選択ボタン213pは、メインユニット110に接続されているカメラC1〜カメラC4やPCP1等の機器から入力される映像信号のうち、どの入力映像信号をPGM出力として選択するかを決定するためのボタンである。NEXT選択ボタン213nは、メインユニット110に入力される映像信号のうち、どの映像信号をNEXT出力として選択するかを決定するためのボタンである。
PGM選択ボタン213pと、NEXT選択ボタン213nにも、AUX出力選択/カメラ選択ボタン212と共通する1〜12の論理番号を割り振ってある。例えばPGM選択ボタン213pのうちいずれかのボタンが押下された場合には、ボタンの押下により選択された論理番号と予め対応付けられた入力ポートから入力される映像信号が、PGM出力として選択されるようになる。なお、PGM選択ボタン213pと、NEXT選択ボタン213nは、ビデオスイッチャ機能モードとカメラコントローラモードのいずれが選択されている場合にも、ビデオスイッチャとして機能するようにしてある。
また、論理番号には、マルチビュア表示画面上での映像の各表示位置も対応付けてある。このような対応付けを行っておくことで、PGM選択ボタン213p又はNEXT選択ボタン213nにおける1〜12番の論理番号と、カメラ番号と、マルチビュア表示画面上の表示位置とがすべて1対1で紐付けられる。これらの対応付けは、予めユーザによって行われる。
ツマミ部220は、ツマミ部220−1〜ツマミ部220−4の4つのツマミで構成される。カメラコントローラモードが選択されている場合には、ツマミ部220−1は、制御対象カメラのフォーカスを調整するツマミとして機能する。ツマミ部220−2はブライトネスを調整するツマミ部220として機能し、ツマミ部220−3はズームを調整するツマミとして機能し、ツマミ部220−4はパン及びチルトを調整するツマミ部220として機能する。
このとき、ツマミ部220は、カメラの移動速度を制限する第2の操作信号を変位量に応じて出力する。また、ツマミ部220は、カメラの最大の移動速度より小さい移動速度の範囲内でカメラの移動速度を制限する第2の操作信号を出力する。このことは、例えば、カメラの移動速度の範囲を、最低速度0とし、最高速度24とする25段階に分けたときに、ツマミ部220の制御によって、カメラの移動速度を最低速度0〜最高速度10の範囲内に制限することを意味する。
ビデオスイッチャ機能モードが選択されている場合には、ツマミ部220−1〜ツマミ部220−4は、ファンクションF1〜ファンクションF4に割り当てられた各機能を調整するためのツマミとして機能する。
表示部230は、VFD(蛍光表示管)等よりなり、映像切り換え時に加えるエフェクトの設定内容や、制御対象カメラの設定メニュー等の項目を表示する。
ジョイスティック240は、X軸方向とY軸方向とZ軸方向に回動自在に支持されたレバー241と、レバー241の上部に設けられたノブ242とで構成される(後述する図3参照)。カメラコントローラモードが選択されている場合には、レバー241の傾斜角度又はノブ242の回転角度を操作することによって、接続先のカメラのパン/チルト/ズームの制御量を指定することができる。ビデオスイッチャ機能モードが選択されている場合には、レバー241の傾斜操作によって、PGM出力映像中にPinPとして挿入する画面の位置を決定することができる。
トランジションレバー250は、上下方向に可動する操作子であり、上下方向の移動量に応じた量で、1つの映像から別の映像への切り替えを連続的に変化させる。トランジションレバー250も、ビデオスイッチャ機能モードとカメラコントローラモードのいずれが選択されている場合にも、同様の動作(ビデオスイッチャとしての動作)をするようにしてある。
メニュー設定ボタン260は、不図示のカメラメニューが表示装置300に表示されている場合に使用されるボタンである。このカメラメニューでは、カメラC1〜C3に対して、初期設定が行われる。
このように、操作パネル130に配置された切り替えボタンを操作することによって、適切に機能モードを切り替えて映像信号処理装置100を有効に活用できる。本実施の形態では、トランジションレバー250、映像信号の入力クロスポイント部20及び出力クロスポイント部40は常時、動作可能な状態とする。これにより、カメラコントロールを行っているときでも映像切り替えが可能となる。そして、トランジションレバー250、第1のカメラモード切り替えボタン211c及びスイッチャモード切り替えボタン211sは常時その機能のみしか割り当てない。このため、たとえ映像信号処理装置100がカメラコントローラモードになっていてもメインの映像切り替えを行うことができる。
そして、トランジションレバー250、第1のカメラモード切り替えボタン211c及びスイッチャモード切り替えボタン211sには、1つの機能のみを割り付ける。一方、他の操作部にはカメラコントローラモードとビデオスイッチャ機能モードにおいて、別の機能を割り付ける。例えば、AUX出力選択/カメラ選択ボタン212やジョイスティック240には切り替えられた機能モードに応じた複数の機能が割り付けられる。これによりスイッチ、ボタン等の数を減らすことが出来、操作パネル130の面積を縮小でき、ユーザはカメラコントロールを行いながら、映像の切り替えを行うことが可能になる。また、映像信号処理装置100と操作入力部120の製造コストを抑えることができる。
第1のカメラモード切り替えボタン211cが操作されると映像出力も連動して切り替わる。このとき、カメラコントロールを行いたいカメラを指示すると予めひも付けされた映像信号がAUX出力から出力される。また、第1のカメラモード切り替えボタン211cに対応する映像出力を連動して切り替える動作の有効又は無効を、表示部230に表示されるメニューで選択することもできる。
また、映像信号処理装置100では、予めカメラ番号(カメラID)と入力ソース番号(端子)が対応づけられている。本機器側でカメラコントロールしたい映像が入力されている入力ソース番号を選択するとAUX出力からコントロールしたいカメラから生成される映像信号を出力できる。このため、コントロールしたいカメラを選択するとそのカメラから出力されている映像信号を表示装置300に表示することが可能となる。例えば、ユーザが「カメラC3を操作したい」と希望し、カメラC3に対応したAUX出力選択/カメラ選択ボタン212の「3」を押すと、カメラC3が出力する映像が表示装置300に表示される。このように、ユーザにとってAUX出力選択/カメラ選択ボタン212を押すと対応する映像出力が簡単に得られるので利便性が増す。
このように、操作入力部120は、一つの操作パネル130に配された操作ボタン等によって、ビデオスイッチャ機能とカメラコントロール機能の両方を制御する。そして、従来のビデオスイッチャではPinP(Picture in Picture)の位置決めに使用されていたジョイスティック240を、カメラ制御(パン/チルト/ズーム)にも使用している。また、映像信号処理装置100は、PTZ(パン/チルト/ズーム)機能が搭載されている、コントロール可能な複数台のカメラから任意に選択した一のカメラを操作できる。また、選択されていないカメラについては、カメラコントロールができないように操作がロックされる。この場合、カメラを制御するための制御コマンドを選択されていないカメラに対して送受信することはできない。
第1のカメラモード切り替えボタン211cが押下されるとカメラコントローラモードに遷移する。そして、ユーザが一のキーを操作すると、選択したカメラC1〜C3のいずれかに対して、操作されたキーに対応した制御コマンドが発行される。具体的には、制御コマンドがRS−232CまたはRS−422を介してカメラC1〜C3に送信される。なお、映像信号処理装置100にネットワーク端子等を取付けることによって、上記の制御コマンドを送る通信プロトコルとは別の通信プロトコルを用いてカメラC1〜C3を操作することもできる。
また、従来であれば、ビデオスイッチャ機能とカメラコントロール機能を一体化する際に、機能切り替えによって、ボタン数をなるべく少なくするようにしていた。しかし、故意にビデオスイッチャ機能の一部を、切り替えられた機能モードに関わらず操作可能なボタンに割り付ける。これにより、若干、操作ボタンが増えるものの、カメラコントロールを行いながら映像の切り替え操作が可能となる。例えば、カメラコントローラモードにおいても、PGM選択ボタン213pと、NEXT選択ボタン213nはビデオスイッチャ機能に割り振られる。このため、カメラC1〜C3を操作しながら、同時にビデオスイッチを行うことができる。
また、ジョイスティック240は、PinPの位置決めに使用されるよりもカメラコントロール機能に於いてパン/チルト/ズームの駆動操作に使用される場合がよくある。このため、ジョイスティック240付近には、カメラコントローラモードに切り替えやすくするため第2のカメラモード切り替えボタン214cのみ配置すればよい。
次に、図3を参照して、ジョイスティック240の外部構成例について説明する。
操作パネル130に平行なxy平面を仮定した場合、ジョイスティック240は、xy平面に対して所定の角度で傾けることで任意の方向に移動等の指示を与えるレバー241と、回転することでカメラC1〜C3のズーム等の制御を行えるノブ242を備える。また、ジョイスティック240は、レバー241と操作パネル130を接続し、レバー241の支点となる支点部243を備える。ノブ242は、回転角に応じた操作信号を発し、制御部60は操作信号を読み取ることによって選択されたカメラのズーム制御を行う。回転角の方向とズーム方向の対応関係は、予めユーザが不図示の設定メニューを操作することによって設定できる。
ノブ242は、レバー241の中心から見てy方向に±30度の範囲内で回転可能であり、ノブ242の回転角はカメラ制御の機能の一つであるズーム機能に割り付けられる。例えば、ノブ242を時計回りに回転させると、カメラのズームを望遠方向に変えられる。一方、ノブ242を反時計回りに回転させると、カメラのズームを広角方向に変えられる。ただし、ノブ242の回転方向とズーム方向の割り付けは逆にしてもよく、ユーザが任意に設定できる。
レバー241が傾けられる方向は、x方向がパン方向、y方向がチルト方向に割り付けられる。パン、チルト方向の定義についても、ズーム方向と同様にユーザの好みに応じて任意に割り付けられる。
次に、図4を参照して、メインユニット110の内部構成例について説明する。図4において、図1や図2と対応する箇所には同一の符号を付してある。メインユニット110は、入力部として、SDIインタフェース(以下I/Fと称する)部10−1〜SDI I/F部10−4と、オプションカードI/F部15とを備える。SDI I/F部10−1〜SDI I/F部10−4は、HD−SDI又はSD−SDI信号が入力される4つのSDI入力端子1s−1〜SDI入力端子1s−4を備えたインタフェースである。図1に示した構成によれば、SDI I/F部10−1〜SDI I/F部10−4には、カメラC1〜カメラC4から出力される映像信号が入力される。SDI入力端子1s−1〜SDI入力端子1s−3には、動作を制御可能なカメラから出力される映像信号が入力される。SDI入力端子1s−4には、動作を制御できない装置から出力される映像信号が入力される。
SDI I/F部10−1〜SDI I/F部10−4は、それぞれイコライザ(EQ)11と、シリアル・パラレル変換器(S/P)12と、フレームシンクロナイザ(FS)13と、アンプ(AMP)14とを備える。
イコライザ11は、入力されたHD/SD−SDI信号の波形整形を行い、波形整形後の信号をシリアル・パラレル変換器12に供給する。シリアル・パラレル変換器12は、イコライザ11から供給されたHD/SD−SDIのシリアル信号を、パラレル信号に変換してフレームシンクロナイザ13に出力する。フレームシンクロナイザ13は、入力されたパラレルの映像信号を、メインユニット110内の基準同期信号に同期させてアンプ14に供給する。アンプ14は、入力された映像信号を適切な大きさに増幅して、入力選択部としての入力クロスポイント部20に供給する。
オプションカードI/F部15は、オプションカードが挿入されるI/Fである。オプションカードとは、工場出荷時には装着されていないカードであり、標準装備されていない機能を追加装備するためのカードである。オプションカードとしては、アナログ映像信号入力端子を備えたカードや、DVI入力端子を備えたカード、HD/SD−SDI入力端子を備えたカード等の様々なカードが用意されている。本実施の形態によるメインユニット110では、オプションカードI/F部15に、これらのカードのうち任意の2枚までのカードを接続することができるようにしてある。このため、オプションカード上には複数の映像信号端子が複数存在することになるが、図1においては、説明を簡単にするため、これらの端子を入力映像端子1oとして示している。
図1に示した構成によれば、オプションカードI/F部15には、オプションカードI/F部15に挿入されたオプションカードの端子に接続された、PCP1からの映像信号が入力される。オプションカードI/F部15では、装着されたカードの種類に応じた処理を行って、処理後の映像信号を入力クロスポイント部20に出力する。なお、入力される信号の種類は上述したものに限定されるものではなく、他の種類の入力端子を備えたカードが装着される構成としてもよい。
入力クロスポイント部20は、SDI I/F部10−1〜SDI I/F部10−4やオプションカードI/F部15から供給される複数の映像信号の中から、操作入力部120での入力映像選択操作によって選択された映像信号のみを選択して出力する。例えば、操作入力部120のPGM選択ボタン213pの中から1番のボタンが押下された場合には、入力クロスポイント部20によって、論理番号1番に対応付けられた入力ポートから入力される映像信号がPGM出力として選択される。つまり入力クロスポイント部20は、入力映像を、NEXT出力やAUX出力、PinP出力、マルチビュワ出力等に対応付けて出力する。
入力クロスポイント部20で選択された映像信号のうち、エフェクトの追加等の映像への加工が必要とされる映像信号は、画面生成処理部としてのスイッチャ・エフェクト部30に供給される。スイッチャ・エフェクト部30は、入力映像の切り替えや映像信号へのエフェクト等の追加を行う。
また、スイッチャ・エフェクト部30は、PinP画像表示用の枠やマルチビュワ表示用の枠を生成する処理も行う。マルチビュワ表示用の枠を作成する場合は、PGM出力映像表示用の枠と、NEXT出力映像用の枠と、制御対象カメラによる撮影映像表示用の枠は、それぞれ異なる色で生成するようにしてある。スイッチャ・エフェクト部30での処理は、操作入力部120での入力映像選択操作に基づき後述する制御部60で生成される制御信号に基づいて制御される。
スイッチャ・エフェクト部30でエフェクト等の処理が施された、PGM出力として選択された映像信号は、後段のパラレル・シリアル変換器51pに供給される。パラレル・シリアル変換器51pでは、映像信号がシリアルの映像信号に変換されてバッファ52pに出力される。バッファ52pに入力された映像信号は、出力に適した信号に変換された後にPGM出力として出力される。
また、スイッチャ・エフェクト部30でエフェクト等の処理が施された映像信号は、スイッチャ・エフェクト部30で生成された枠情報等とともに、出力クロスポイント部40に供給される。出力クロスポイント部40には、入力クロスポイント部20で、エフェクト等の効果の付加が不要な映像信号として選択された映像信号も供給される。
出力クロスポイント部40は、入力クロスポイント部20から供給される映像信号やスイッチャ・エフェクト部30から供給される映像信号を、出力部としてのAUX出力端子2aとDVI出力端子2dのどちらに出力するかを選択する。AUX出力端子2aに出力するかDVI出力端子2dに出力するかは、操作入力部120での入力映像選択操作に基づき制御部60で生成される制御信号に基づいて決定される。
出力クロスポイント部40で、AUX出力端子2aに出力する映像信号として選択された映像信号は、後段のパラレル・シリアル変換器51aに供給されて、シリアルの映像信号に変換される。そして、シリアルに変換された映像信号はバッファ52aに供給されて、出力に適した信号に変換された後に、AUX出力としてAUX出力端子2aに出力される。なお、本実施の形態ではAUX出力端子を1個のみ設けた構成としてあるが、複数個設けるように構成してもよい。
DVI出力端子2dに出力する映像信号として選択された映像信号は、I/P(インターレース/プログレッシブ)変換・リサイズ処理部51dに供給され、必要に応じて、インターレース又はプログレッシブの映像信号への変換と、画面サイズの変更が行われる。これらの調整が行われた映像信号は、バッファ52dに出力され、出力に適した信号に変換された後に、DVI出力としてDVI出力端子2dに出力される。
制御部60は、CPU(Central Processing Unit)等よりなり、操作入力部120から入力される各種情報に基づいて、装置内の各部を制御するための制御信号や、制御対象カメラを制御するためのカメラ制御コマンドを生成する。
制御部60には、位置情報生成部61と、制御信号生成部62と、シリアルI/F部63とが含まれる。また、制御部60には、EEPROM(Electrically Erasable Programmable Read Only Memory)等で構成されるメモリ70が接続されている。
制御部60の位置情報生成部61には、操作入力部120のジョイスティック240から入力される操作角度情報や、操作入力部120を構成する各操作ボタンのオン/オフの情報が供給される。位置情報生成部61は、入力されたジョイスティック240の操作角度情報に基づいて、制御対象カメラの位置を示す情報、すなわちパン/チルト/ズームの制御量を示す情報を生成し、生成した位置情報を後段の制御信号生成部62に供給する。
制御信号生成部62は、操作入力部120のジョイスティック240から入力される操作角度情報と、メモリ70内に記録されたテーブルの情報に基づいて、カメラ制御コマンドを生成する。また、制御信号生成部62は、操作ボタン部210から入力される操作ボタンのオン/オフの情報と、メモリ70内に記録されたテーブルの情報に基づいて、メインユニット110内の各部を制御するための制御信号を生成する。
制御信号生成部62は、上述した各テーブルを参照することにより求められる制御対象に対して、操作入力部120から入力される操作内容に基づく制御信号を生成して供給する。制御信号生成部62で生成されたカメラ制御コマンドは、後段のシリアルI/F部63に伝送され、シリアルI/F部63によってシリアルの信号に変換される。シリアルの信号に変換されたカメラ制御コマンドは、シリアルドライバ80を通して制御信号出力端子2cに出力され、制御信号出力端子を通して制御対象カメラに伝送される。
このように、映像信号処理装置100は、ビデオスイッチャ機能とカメラコントローラ機能が一体化されており、互いの機能の通信は映像信号処理装置100の内部で行われる。また単純に各機能を一体化したのではなく、ビデオスイッチャ機能モード又はカメラコントローラモードを選択する際に、制御対象となるカメラを選択すれば、選択されたカメラに応じた出力映像が選択される。
従来のビデオスイッチャは、カメラコントロールを行った際に、スイッチャ機器の操作として、主出力もしくは準備出力に表示して実際にカメラコントロールを行う必要があった。しかし、本例の映像信号処理装置100は、自動的に映像信号がAUX出力端子2aから出力される。このため、ことから、PGM出力映像とNEXT出力映像に影響を及ぼさない。
図5は、カメラC1〜C3に送る制御コマンドの生成例を説明する図である。
ジョイスティック240とツマミ部220から出力される操作信号は、制御部60に入力される。制御部60は、入力された操作信号から速度パラメータ、最大値変数を生成し、生成した速度パラメータ、最大値変数を比較して、カメラC1〜C3を制御する制御コマンドを生成する。そして、制御部60は、制御信号伝送用のシリアルケーブルによって、制御コマンドをカメラC1〜C3に送る。
図6は、制御部60の内部構成例を示す。
制御部60は、位置情報生成部61と、制御信号生成部62と、シリアルI/F部63を備える。そして、位置情報生成部61は、ジョイスティック240から入力されたアナログ操作信号をデジタル操作信号に変換するアナログ/デジタル変換部71を備える。また、位置情報生成部61は、ツマミ部220から入力されたアナログ操作信号(第2の操作信号)より、カメラの移動速度を所定の範囲内に制限する、デジタル化された最大値変数を生成する最大値変数生成部72を備える。最大値変数生成部72が生成する「最大値変数」は、速度パラメータの一種である。また、位置情報生成部61は、デジタル操作信号と、最大値変数に基づいて、最大値変数の範囲内となるように、第1の操作信号に応じてカメラC1〜C3の移動速度を速度パラメータとして決定する速度決定部73を備える。速度決定部73が行うカメラC1〜C3の移動速度の決定例については、後述する。また、図6では、図2に示したシリアルドライバ80の記載は省略する。
速度決定部73は、アナログ/デジタル変換部71から供給されるデジタル操作信号からジョイスティック240の変位量と変位方向を見積る。そして、この変位量と変位方向に応じて、カメラC1〜C3の移動速度を示す速度パラメータを所定の関係(後述する図7参照)で求める。そして、速度決定部73は、求めた移動速度と、最大値変数生成部72から供給される最大値変数の絶対値を比較し、決定した絶対値が小さい方の速度パラメータを制御信号生成部62に送る。制御信号生成部62は、速度決定部73から受け取った速度パラメータに基づいて制御コマンドを生成し、シリアルI/F63を介してカメラC1〜C3に送る。
例えば、カメラC1〜C3の移動速度が、0(カメラの速度が最低速又は静止)〜24(カメラの速度が最高速)の範囲内で定まる場合を想定する。従来のジョイスティックを用いてカメラC1〜C3の移動速度を制御する場合、レバー241を限界まで傾けると、カメラC1〜C3の移動速度は「24」となる。しかし、ツマミ部220の操作により、予めカメラC1〜C3の移動速度の最大値を「10」に設定することができる。この場合、レバー241を限界まで傾けても、移動速度は「10」で一定となる。そして、移動速度が「10」と決定された速度パラメータが制御信号生成部62に送られ、制御コマンドが生成される。このようにカメラC1〜C3の移動速度を制限することで、カメラC1〜C3の最高速度が「0」〜「10」の範囲内に収まる。
図7は、速度決定部73が決定する速度パラメータの例を示す。ここでは、カメラC1を移動させる速度パラメータを決定する例について説明する。
通常、ジョイスティック240のみで変位方向と変位量の2つ(ベクトル)を検出し、カメラの操作に用いる場合、中間変位の値が作りにくい。一方、カメラ側へ制御コマンドとして発行される速度パラメータは、例えば、25段階で設定される。この速度パラメータは、レバー241を傾けることによって決定される、ジョイスティック240の変位量で決まるが、レバー241の傾きを一定に保つことは難しい。カメラの移動速度を一定に保つためには、ジョイスティック240の変位量に対するカメラの移動速度が所定の範囲内に収まるように制限すればよい。
図7A〜図7Cにおいて、横軸はジョイスティック240の変位量を示し、縦軸は決定されたカメラC1の移動速度を示す。図7に示すグラフの横軸の両端には、それぞれMIN、MAXが示される。MIN、MAXは、それぞれジョイスティック240の最大変位量を示す。つまり、傾けたレバー241の動きは支点部243によって制限されるため、ジョイスティック240の可動範囲は、MIN値以上MAX値以下であることを示す。また、図7には、ツマミ部220の操作によって適宜変えられる速度パラメータの閾値が示される。また、ジョイスティック240の変位量が、初期位置(0)の近傍である閾値TH〜THの範囲内に収まる場合、この範囲を不感帯として、速度パラメータを「0」に決定し、カメラC1を静止させる。本例において、閾値TH〜THは、ほぼ同じ値であり、例えば、ジョイスティック240を最も右に傾けた場合をMAXとし、最も左に傾けた場合をMINとする。つまり、ジョイスティック変位量は、MAX、MINのいずれでも正の値となる。また、ジョイスティック240を右に傾けた場合にカメラが右方向に移動する速度を縦軸の正領域にとる。一方、ジョイスティック240を左に傾けた場合にカメラが左方向に移動する速度を縦軸の負領域にとる。なお、カメラC2,C3についても同様に速度パラメータが決定されるものとする。
図7Aは、速度パラメータを決定する第1の例を示す。
速度決定部73は、ジョイスティック240の変位量が初期位置(0)に対して、第1の閾値(TH又はTH)未満である場合に、カメラC1の移動速度を第1の速度(本例では、0)とする。そして、ジョイスティック240の変位量が初期位置(0)に対して、第1の閾値(TH又はTH)以上である場合に、カメラC1の移動速度を第2の速度(本例では、V)とする。
本例では、ジョイスティック240の変位量が閾値TH以下になると、一定の速度−VでカメラC1が移動する。一方、ジョイスティック240の変位量が閾値TH以上になると、一定の速度VでカメラC1が移動する。速度調整は、例えば、ツマミ部220を回転することによって行われ、速度をV1〜V3に変えることができる。
図7Bは、速度パラメータを決定する第2の例を示す。
速度決定部73は、ジョイスティック240の変位量が初期位置(0)に対して、第1の閾値(TH又はTH)未満である場合に、カメラC1の移動速度を第1の速度(本例では、0)とする。そして、ジョイスティック240の変位量が初期位置(0)に対して、第1の閾値(TH又はTH)以上である場合に、ジョイスティック240の変位量に比例してカメラC1の移動速度を変える。
つまり、ツマミ部220で最大速度(リミット)を決定し、ジョイスティック240で方向と速度のベクトルを決定する。すなわち、ジョイスティック240を最大変位しても、移動速度は制限をかける。そして、速度パラメータは、y=ax+bで示す線形グラフで決定される。この場合の傾きaは、ツマミ部220の操作によって調整される。また、切片bは、メニュー操作等によって予め決定される。
例えば、ジョイスティック240の変位量が閾値TH以下になると、カメラC1は、一定の速度−VでカメラC1が移動する。一方、ジョイスティック240の変位量が閾値TH以上になると、カメラC1は、一定の速度VでカメラC1が移動する。
図7Cは、速度パラメータを決定する第3の例を示す。
速度決定部73は、ジョイスティック240の変位量が初期位置(0)に対して、第1の閾値(TH又はTH)未満である場合に、カメラC1の移動速度を第1の速度(本例では、0)とする。そして、ジョイスティック240の変位量が初期位置(0)に対して、第1の閾値(TH又はTH)以上、かつ第2の閾値(TH又はTH)未満である場合に、ジョイスティック240の変位量に比例してカメラの移動速度を変える。さらに、ジョイスティック240の変位量が第2の閾値(TH又はTH)以上である場合に、カメラC1の移動速度を第2の速度とする
ジョイスティック240の変位量が閾値TH以下になると、カメラC1は、一定の速度−VでカメラC1が移動する。一方、ジョイスティック240の変位量が閾値TH以上になると、カメラC1は、一定の速度VでカメラC1が移動する。
本例では、ジョイスティック240の角度に対するスピードを常に一定として、ツマミ部220で最大速度(制限)を調整する。このため、レバー241を一定の角度以上傾けても速度が増さない。また、速度パラメータは、y=ax+bで示す線形グラフで決定される。ただし、ジョイスティック240の変位量が閾値TH3以下又はTH4以上になると、傾きaがゼロとなり、カメラC1は一定の速度で動く。閾値TH3以下又はTH4は、ツマミ部220の操作によって調整される。
ジョイスティック240のベクトル量(方向と制御速度)のうち、カメラの移動方向はジョイスティック240の傾斜方向で決定されるが、カメラの移動速度はツマミ部220によって制限される。このため、レバー241を最大限に傾けなくても、カメラの移動速度を一定にすることができる。なお、ツマミ部220を押しながらノブ242を回すと、V1〜Vの速度パラメータの差を大きくするように設定してもよい。
このように、ユーザの好みに応じて、片手でジョイスティック240のみを使う操作、又は両手でジョイスティック240とツマミ部220を組み合わせて使う操作のいずれかを選択できる。
ところで、図7Aと図7Cの関係に基づいてカメラの操作を行うと、パン/チルトの速度比がツマミ部220によって変わることによって、カメラの動きが、ユーザが意図しない動きとなることがある。この場合、例えば、レバー241が傾斜した方向にカメラが駆動しないことがある。このとき、レバー241を右上斜め方向に傾斜させると、パン方向の速度パラメータとチルト方向の速度パラメータの比が常に1であるため、カメラC1は45度方向にのみ移動する。なお、図7Bに示す関係に基づいてカメラの操作を行うと、パン/チルト方向の速度比は保たれる。
ここで、図7Aの関係に基づいて、パン/チルトの2方向へカメラの移動を同時に行うことについて検討する。このとき、パン/チルトの速度パラメータが共に同一であると、結果として一方向にのみカメラC1が駆動する。この結果、ユーザはカメラC1の移動方向を制御できなくなる。
そこで、カメラC1を動かすパン/チルトの2方向の速度パラメータに主従関係をつけ、主パラメータのみをツマミ部220で制御する。2方向の速度パラメータの比は、ジョイスティック240から供給される操作信号を用いる。そして、パン/チルトの2方向の速度パラメータの比から、主パラメータと従属パラメータを算出する。これにより、ユーザがツマミ部220を用いて、速度パラメータを違和感なく変えられるようにする。
図8は、ジョイスティック240(レバー241)を傾斜した場合における、x方向とy方向を決定するモデル図である。
速度決定部73は、ジョイスティック240の変位量及び変位方向を2軸に分解し、第1軸に射影される変位量が第2軸に射影される変位量以上である場合に、第1軸に射影される変位量に基づいてカメラの移動方向を第1軸として決定する。そして、カメラのパン又はチルトを第2軸に射影される変位量に基づいて決定する。
一方、第1軸に射影される変位量が第2軸に射影される変位量未満である場合に、第2軸に射影される変位量に基づいてカメラの移動方向を第2軸として決定し、カメラのパン又はチルトを第1軸に射影される変位量に基づいて決定する。
本例では、第1軸をX軸とし、第2軸をY軸とし、第1軸と第2軸は、支点部243の中心で直交する。ただし、第1軸と第2軸は、任意の角度で交わるようにして定めてもよい。速度決定部73は、Y=X(θ=45度)となるラインを境界にして、パン方向を主パラメータとするか、チルト方向を主パラメータとするか判断する。チルト方向が主パラメータである場合、ツマミ部220によって最大値変数が決定される。このとき、パン方向はジョイスティック240の操作信号から読み取られた値である、x1,y1によって決定される。
従属パラメータは、ツマミ部220で制御された主パラメータとジョイスティック240で検出された2方向の操作信号の比から求めた値の比(パン/チルトの各方向の速度パラメータ)で算出される。この比を算出するために、パン/チルトのどちらかの速度パラメータを主として制御し、他方の速度パラメータを従属としてカメラを操作する必要がある。このため、速度決定部73は、ジョイスティック240から検出される変位パラメータ(二次元のx、y座標と相関のある操作信号)を検出し、|x|≧|y|、又は、|x|<|y|のいずれの関係を満たすかを判定する。この結果、|x|≧|y|である場合は、xに対応するパン方向の速度パラメータを主パラメータとして、ツマミ部220で最大値変数を調整する。そして、yに対応するチルト方向は従属パラメータとされる。そして、主パラメータにy/xをかけた値をチルト方向の速度パラメータとして採用する。
一方、|x|<|y|である場合、yに対応するチルト方向の速度パラメータを主パラメータとして、ツマミ部220で最大値変数を調整する。そして、xに対応するパン方向は従属パラメータとされる。そして、主パラメータにx/yをかけた値をパン方向の速度パラメータとして採用する。図8に示すとおり、速度パラメータの主従関係は、θ=45度を境に判断してもよい。
速度決定部73は、例えば、xy平面に射影されるレバー241の傾きθが、x方向に対して、0度≦θ<45度である場合、x方向を主パラメータとし、y方向を従属パラメータとする。また、45度≦θ<90度である場合、x方向を従属パラメータとし、y方向を主パラメータとする。また、90度≦θ<135度である場合、x方向を従属パラメータとし、y方向を主パラメータとする。また、135度≦θ<180度である場合、x方向を主パラメータとし、y方向を従属パラメータとする。また、180度≦θ<225度である場合、x方向を主パラメータとし、y方向を従属パラメータとする。また、225度≦θ<270度である場合、x方向を従属パラメータとし、y方向を主パラメータとする。また、270度≦θ<315度である場合、x方向を従属パラメータとし、y方向を主パラメータとする。そして、315度≦θ<360度である場合、x方向を主パラメータとし、y方向を従属パラメータとする。
ところで、図7Cに示す関係に基づいて速度パラメータを決定する場合も、上記と同様に、パン、チルトに対し、ジョイスティック240の変位方向から主パラメータと従属パラメータの関係(以下、単に「主従関係」とも称する。)を算出する。そして、パン/チルト方向の速度比を保存した状態でカメラを駆動する。さらに、主パラメータはツマミ部220によって速度パラメータの最大値変数が決定され、従属パラメータはレバー241の傾きに応じて決定される速度パラメータと等価である。言い換えれば、従属パラメータは、レバー241の傾き方向に対して、ジョイスティック240の変位量と移動速度を適応したことと等価になる。
すなわち、ジョイスティック240を斜め方向に傾斜させると、主パラメータによって決定される方向はツマミ部220で、従属パラメータはジョイスティック240の変位量から速度パラメータを生成する。これにより、ジョイスティック240の移動方向比を保持したまま、ツマミ部220で移動速度を変えることが可能になる。
図9は、パン、チルト方向の速度パラメータを決定する処理の例を示す。
始めに、速度決定部73は、ジョイスティック240の傾きに基づいて、X,Y方向に対応する量(例えば、操作信号の電圧値)であるx1、y1を検出する(ステップS1)。
次に、速度決定部73は、x1、y1の関係からパン、チルト方向の主従関係を決定する(ステップS2)。主従関係は、x1,y1の値の内、いずれが大きいかで判断される。例えば、x1>y1である場合、パン方向が主パラメータとなり、チルト方向が従となる。一方、x1<y1である場合、パン方向が従となり、チルト方向が主パラメータとなる。
次に、速度決定部73は、主パラメータと判断された方はツマミ部220から入力される値で速度パラメータを決定する(ステップS3)。そして、主パラメータに対し、x1、y1から従属パラメータを求める(ステップS4)。
主パラメータがパン方向である場合、パン:チルト=x1:y1の比の関係から従属パラメータであるチルト方向の速度パラメータが求まる。一方、主パラメータがチルト方向の場合、パン:チルト=x1:y1の比の関係から従属パラメータであるパン方向の値を求める。このようにして、パン、チルト方向の速度パラメータが算出される。
以上説明した本実施の形態によれば、ジョイスティック240は、カメラ操作が行われる際、中立点からの変位方向と変位量に応じてパン/チルト/ズーム等の操作方向とスピード制御を行う制御コマンドを生成する。そして、ジョイスティック240が決定した速度パラメータに対して、ツマミ部220の回転角によって定まる最大値変数を用いて、カメラの移動速度の最大値に制限をかける。これにより、ユーザは一定速度でカメラを移動させることが容易に行える。また、ジョイスティック240の変位量と比例関係にある移動速度に対して、最大値変数の制御をツマミ部220の回転角で行う。これにより、よりきめ細やかな制御、すなわち機器に応じた分解能単位での制御が可能となり、ユーザは両手を使って操作することができる。
また、速度決定部73は、ジョイスティックの変位量が、初期位置(0)に対して、所定の閾値(TH又はTH)の範囲内でレバー241が変動してもカメラを移動させない。また、ジョイスティックの変位量が、所定の閾値(TH又はTH)以上となった場合に、ジョイスティック変位量に応じて適切にカメラの移動速度を変える。このため、ユーザの操作性が向上するという効果がある。
また、速度決定部73は、カメラの最大の移動速度より小さい移動速度の範囲内で前記カメラの移動速度を制限する。このため、ジョイスティック変位量が最大値となっても、カメラが急激に移動せず、撮影しようとする被写体を適切に捉えることができるという効果がある。
また、ジョイスティック240以外のデバイスによって、カメラC1〜C3のパン/チルト/ズーム制御速度に対応する変位量を検出する。これによりジョイスティック240を操作する際に影響を与えていた、ユーザの持ち手のブレ等を排除できる。また、一定の速度でレンズ駆動をすることができ、なめらかなズーム操作を行うことができる。また、ジョイスティック240がメカ端にぶつかった時の変位に対する速度パラメータがツマミ部220によって決定することができるので、中間変位に保持する必要がなくなる効果がある。
また、ツマミ部220で速度パラメータの制御を行う手法を用いた場合、パン、チルト方向のどちらかの速度パラメータが制限されていても、パン、チルト方向に主従関係をつけることによって、他方の速度パラメータを自動的に制限することができる。このため、パン/チルト方向の移動速度の比に変化が生じず、速度バラメータを制御するツマミ部220の操作によって移動方向が変化しないという効果がある。
<2.第2の実施の形態>
[カメラの移動速度の制御:ホールドボタン信号による割込み処理を行う場合の処理の例]
次に、本発明の第2の実施の形態について、図10を参照して説明する。以下の説明において、既に第1の実施の形態で説明した図面に対応する部分には同一符号を付し、詳細な説明を省略する。
ジョイスティック240を用いて、レバー241を傾けた際に欲しい値の中間変位のふらつきの影響を排除するためには、カメラC1〜C3の移動速度を一定に保つ速度保持部として、ホールドボタンを設けるとよい。ここでは、メニュー設定ボタン260(図2参照)にホールドボタンの機能を割り当てることとする。メニュー設定ボタン260を用いて、カメラC1〜C3に対する設定が終わると、メニュー設定ボタン260にホールドボタンの機能を兼用させる。具体的には、メニュー設定ボタン260は、カメラC1〜C3の移動速度を一定に保つ機能を有する。
メニュー設定ボタン260は、ユーザによってメニュー設定ボタン260が押下された瞬間におけるジョイスティック240の変位量を保持する。そして、再びメニュー設定ボタン260が押下されることによってジョイスティック240の変位量の保持を解除する。これによって、ある瞬間における速度パラメータを保持し、一定方向かつ一定速度でカメラを移動させることができる。
図10は、カメラC1〜C3の動きを制御する制御コマンドの生成例を示す。
ジョイスティック240とツマミ部220は、操作信号を制御部60に供給する。そして、メニュー設定ボタン260は、押下された瞬間に割込み信号を制御部60に供給する。制御部60は、メニュー設定ボタン260から割込み信号を受けると、受けた時点におけるジョイスティック240からの操作信号の値を一時的に保持し、内部の処理で保持した値を使用する。そして、再度メニュー設定ボタン260が押されると、メニュー設定ボタン260は、再び割込み信号を制御部60に供給する。制御部60は、メニュー設定ボタン260から再び割込み信号を受け取ると、ジョイスティック240からの操作信号の値の保持を解除する。
以上説明した第2の実施の形態によれば、ホールドボタンとしての機能を持たせたメニュー設定ボタン260から割込み信号が供給された時点のジョイスティック240からの操作信号を保持する。このため、一定の速度でカメラを移動させることが容易となり、ユーザの操作性が高まるという効果がある。
なお、ホールドボタンとしての機能を有する専用のボタンを操作パネル130に設けてもよい。
<3.第3の実施の形態>
[カメラの移動速度の制御:ジョイスティックから出力される操作信号から低域成分を取り出す場合の処理の例]
次に、本発明の第3の実施の形態について、図11を参照して説明する。以下の説明において、既に第1の実施の形態で説明した図面に対応する部分には同一符号を付し、詳細な説明を省略する。
図11は、カメラC1〜C3の動きを制御する制御コマンドの生成例を示す。
ジョイスティック240とツマミ部220は、操作信号を制御部60に供給する。そして、ジョイスティック240から制御部60につながる信号線の途中に、操作信号から数Hz以下の低域成分を通過させるローパスフィルタ75を設ける。ローパスフィルタ75は、中間変位のふらつきを防止するために挿入されるフィルタである。ただし、ローパスフィルタ75は、制御部60の内部で論理的に構成されるデジタルフィルタであってもよい。
ジョイスティック240から供給される操作信号によって求まる「ふらつき変位量」が一定量以下(図7における閾値TH〜THの範囲内)であるならば、人間のふらつきであると判断できる。そして、ジョイスティック240と制御部60の間には、例えば、10ヘルツ程度の低域成分を通過させるローパスフィルタ75を動的に挿入することで、第1の操作信号の低域成分を通過させ、ふらつき変位量による影響を除く。さらに、ローパスフィルタ75に、通過させた低域成分を平均化して、ジョイスティック240の微動の影響を除く機能を持たせる。これにより、ジョイスティック240のふらつき変位量が平均化され、カメラの移動速度を一定の値に保持できる。これは、人間のふらつきによる操作信号の変化量が、例えば、10Hz以下程度であることによる。このように、ジョイスティック240と制御部60の間にカットオフ周波数が数ヘルツ程度であるローパスフィルタ75を挿入することによって、人間のふらつきによって生じる偽信号が速度パラメータに与える影響を小さくすることができる。
以上説明した第3の実施の形態によれば、低域成分を通過させるローパスフィルタ75を備えることによって、人間のふらつきによって生じる偽信号が速度パラメータに与える影響を小さくすることができる。このため、一定の速度でカメラを移動させることが容易となり、ユーザの操作性が高まるという効果がある。なお、制御部60の内部でジョイスティック240からの操作信号を平均化しても同様の効果が得られる。
<4.変形例>
なお、上述した実施の形態では、ジョイスティック240から供給される操作信号の精度を高めるため、ホールドボタンとしての機能を割り当てたメニュー設定ボタン260を設けたり、ローパスフィルタ75を挿入したりした。しかし、レバー241を最大限に倒せるところまで倒すことによって、レバー241のふらつきの影響を少なくすることも可能である。すなわち、レバー241が操作パネル130に触れるような最大傾斜角に倒したとき、速度決定部73はツマミ部220で決定される最大値となる速度パラメータを生成する。この場合、レバー241はふらつかず、カメラを一定速度で移動させることができる。
また、ジョイスティック240の変位量と変位方向は、レバー241の角度θや、レバー241の弧の軌跡の長さ、レバー241の傾きに応じたsinθの写像等に基づいて算出してもよい。
また、上述した実施の形態において、速度パラメータを決定する第2及び第3の例では、速度パラメータは、y=ax+bで示す線形グラフで決定されるとした。しかし、速度パラメータは、線形グラフ以外にも、指数関数や対数関数を用いて決定されるようにしてもよい。このような関数を用いるのは、いわゆるウェーバー・フェヒナーの法則から導かれるように、一般に人間の感覚に対応するパラメータは対数関係を持っているためである。これにより、ユーザは自然な動作でカメラを操作することができる。
本発明の第1の実施の形態におけるシステムの構成例を示す概要図である。 本発明の第1の実施の形態における操作入力部の構成例を示す説明図である。 本発明の第1の実施の形態におけるジョイスティックの外部構成例を示す斜視図である。 本発明の第1の実施の形態における映像信号処理装置の内部構成例を示すブロック図である。 本発明の第1の実施の形態における制御コマンドの生成例を示すブロック図である。 本発明の第1の実施の形態における制御部の内部構成例を示すブロック図である。 本発明の第1の実施の形態における速度パラメータを決定する例を示すブロック図である。 本発明の第1の実施の形態における主従パラメータを決定する例を示すブロック図である。 本発明の第1の実施の形態における主従パラメータを決定する処理の例を示すフローチャートである。 本発明の第2の実施の形態における制御コマンドの生成例を示すブロック図である。 本発明の第3の実施の形態における制御コマンドの生成例を示すブロック図である。
符号の説明
1o…入力映像端子、2a…AUX出力端子、2c…制御信号出力端子、2d…DVI出力端子、11…イコライザ、12…シリアル・パラレル変換器、13…フレームシンクロナイザ、14…アンプ、15…オプションカードI/F部、20…入力クロスポイント部、30…スイッチャ・エフェクト部、40…出力クロスポイント部、51a…パラレル・シリアル変換器、51d…I/P変換・リサイズ処理部、51p…パラレル・シリアル変換器、52a…バッファ、52d…バッファ、52p…バッファ、60…制御部、61…位置情報生成部、62…制御信号生成部、63…シリアルI/F部、70…メモリ、71…アナログ/デジタル変換部、72…最大値変数生成部、73…速度決定部、75…ローパスフィルタ、80…シリアルドライバ、100…映像信号処理装置、110…メインユニット、120…操作入力部、130…操作パネル、210…操作ボタン部、211c…第1のカメラモード切り替えボタン、211s…スイッチャモード切り替えボタン、212…AUX出力選択/カメラ選択ボタン、213n…NEXT選択ボタン、213p…PGM選択ボタン、214c…第2のカメラモード切り替えボタン、220…ツマミ部、230…表示部、240…ジョイスティック、241…レバー、242…ノブ、243…支点部、250…トランジションレバー、260…メニュー設定ボタン、300…表示装置、400…プロジェクタ、500…記録装置、C1〜C4…カメラ

Claims (9)

  1. カメラに対してパン又はチルトを指示する第1の操作信号を変位量に応じて出力する第1の操作部と、
    前記カメラの移動速度を制限する第2の操作信号を変位量に応じて出力する第2の操作部と、
    前記第2の操作信号に基づいて、前記カメラの移動速度を所定の範囲内に制限する最大値変数を生成する最大値変数生成部と、
    前記最大値変数の範囲内となるように、前記第1の操作信号に応じて前記カメラの移動速度を決定する速度決定部と、
    決定された前記カメラの移動速度に基づいて前記カメラの移動方向と移動速度を制御する制御コマンドを生成する制御信号生成部と、を備える
    カメラ制御装置。
  2. 請求項1記載のカメラ制御装置において、
    前記速度決定部は、前記第1の操作部の変位量が第1の閾値未満である場合に、前記カメラの移動速度を第1の速度とし、前記第1の操作部の変位量が前記第1の閾値以上である場合に、前記第1の操作部の変位量に比例して前記カメラの移動速度を変える
    カメラ制御装置。
  3. 請求項2記載のカメラ制御装置において、
    前記第2の操作部は、前記カメラの最大の移動速度より小さい移動速度の範囲内で前記カメラの移動速度を制限する前記第2の操作信号を出力する
    カメラ制御装置。
  4. 請求項3記載のカメラ制御装置において、
    前記カメラの移動速度を一定に保つ速度保持部を備え、
    前記速度保持部は、前記速度保持部が押下された瞬間における前記第1の操作部の変位量を保持し、再び前記速度保持部が押下されることによって、前記第1の操作部の変位量の保持を解除する
    カメラ制御装置。
  5. 請求項4記載のカメラ制御装置において、
    前記第1の操作信号の低域成分を通過させ、前記低域成分を平均化する低域通過部を備える
    カメラ制御装置。
  6. 請求項1記載のカメラ制御装置において、
    前記速度決定部は、前記第1の操作部の変位量が第1の閾値未満である場合に、前記カメラの移動速度を第1の速度とし、前記第1の操作部の変位量が前記第1の閾値以上かつ第2の閾値未満である場合に、前記第1の操作部の変位量に比例して前記カメラの移動速度を変え、前記第1の操作部の変位量が前記第2の閾値以上である場合に、前記カメラの移動速度を第2の速度とする
    カメラ制御装置。
  7. 請求項1記載のカメラ制御装置において、
    前記速度決定部は、前記第1の操作部の変位量が第1の閾値未満である場合に、前記カメラの移動速度を第1の速度とし、前記第1の操作部の変位量が前記第1の閾値以上である場合に、前記カメラの移動速度を第2の速度とする
    カメラ制御装置。
  8. 請求項6又は7のいずれか1項に記載のカメラ制御装置において、
    前記速度決定部は、前記第1の操作部の変位量及び変位方向を2軸に分解し、第1軸に射影される前記変位量が第2軸に射影される前記変位量以上である場合に、前記第1軸に射影される前記変位量に基づいて前記カメラの移動方向を前記第1軸として決定し、前記カメラのパン又はチルトを前記第2軸に射影される前記変位量に基づいて決定し、前記第1軸に射影される前記変位量が前記第2軸に射影される前記変位量未満である場合に、前記第2軸に射影される前記変位量に基づいて前記カメラの移動方向を前記第2軸として決定し、前記カメラのパン又はチルトを前記第1軸に射影される前記変位量に基づいて決定する
    カメラ制御装置。
  9. カメラに対してパン又はチルトを指示する第1の操作信号を第1の操作部の変位量に応じて出力するステップと、
    前記カメラの移動速度を制限する第2の操作信号を第2の操作部の変位量に応じて出力するステップと、
    前記第2の操作信号に基づいて、前記カメラの移動速度を所定の範囲内に制限する最大値変数を生成するステップと、
    前記最大値変数の範囲内となるように、前記第1の操作信号に応じて前記カメラの移動速度を決定するステップと、
    決定された前記カメラの移動速度に基づいて前記カメラの移動方向と移動速度を制御する制御コマンドを生成するステップと、を有する
    カメラ制御方法。
JP2008283628A 2008-04-11 2008-11-04 カメラ制御装置及びカメラ制御方法 Expired - Fee Related JP4760896B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008283628A JP4760896B2 (ja) 2008-11-04 2008-11-04 カメラ制御装置及びカメラ制御方法
US12/611,232 US20100045817A1 (en) 2008-04-11 2009-11-03 Camera control apparatus and camera control method
CN2009102093279A CN101742092B (zh) 2008-11-04 2009-11-04 相机控制装置和相机控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008283628A JP4760896B2 (ja) 2008-11-04 2008-11-04 カメラ制御装置及びカメラ制御方法

Publications (2)

Publication Number Publication Date
JP2010114521A true JP2010114521A (ja) 2010-05-20
JP4760896B2 JP4760896B2 (ja) 2011-08-31

Family

ID=41696006

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008283628A Expired - Fee Related JP4760896B2 (ja) 2008-04-11 2008-11-04 カメラ制御装置及びカメラ制御方法

Country Status (3)

Country Link
US (1) US20100045817A1 (ja)
JP (1) JP4760896B2 (ja)
CN (1) CN101742092B (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013022184A (ja) * 2011-07-20 2013-02-04 Olympus Medical Systems Corp 内視鏡
JP2013222302A (ja) * 2012-04-16 2013-10-28 Alpine Electronics Inc 車載カメラの取付角度補正装置および取付角度補正方法
WO2017169095A1 (ja) * 2016-03-31 2017-10-05 富士フイルム株式会社 レンズ装置、撮像装置、レンズ駆動方法、レンズ駆動プログラム
JP2020043498A (ja) * 2018-09-11 2020-03-19 キヤノン株式会社 電子機器及びその制御方法
US11172136B2 (en) 2019-08-21 2021-11-09 Canon Kabushiki Kaisha Image capturing apparatus, control apparatus, storage medium, and control method

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101001842B1 (ko) * 2010-01-28 2010-12-17 팅크웨어(주) 차량용 내비게이션 및 내비게이션 시스템의 블랙박스 정상 위치 유도 방법
US9329750B2 (en) 2013-09-10 2016-05-03 Google Inc. Three-dimensional tilt and pan navigation using a single gesture
CN105282420A (zh) * 2014-07-15 2016-01-27 中兴通讯股份有限公司 拍摄的实现方法及装置
US10357895B2 (en) 2015-04-16 2019-07-23 Bohnert Equipment Company, Inc. Barrel hoop driving apparatus and electric drive
EP3214833B1 (en) 2016-03-01 2018-02-28 Axis AB A method and device for controlling a camera capable of pan and tilt control
JP6967779B2 (ja) * 2018-01-12 2021-11-17 ザインエレクトロニクス株式会社 映像信号受信モジュールおよび映像信号送受信システム
US11445105B2 (en) * 2019-04-01 2022-09-13 Grass Valley Canada Control system and method for single-handed seamless camera control

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06276423A (ja) * 1993-03-22 1994-09-30 Fuji Photo Optical Co Ltd テレビカメラの遠隔制御装置
JPH11101932A (ja) * 1997-09-29 1999-04-13 Fuji Photo Optical Co Ltd テレビレンズの駆動装置
JP2002010124A (ja) * 2000-06-21 2002-01-11 Matsushita Electric Ind Co Ltd カメラ操作装置
JP2002264048A (ja) * 2001-03-08 2002-09-18 Hitachi Ltd 被牽引機構の位置決め制御装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4293876A (en) * 1980-01-11 1981-10-06 Williams Jarvis L Television monitoring system
JPS60107836U (ja) * 1983-12-20 1985-07-22 キヤノン株式会社 カメラの外部表示装置
US5111288A (en) * 1988-03-02 1992-05-05 Diamond Electronics, Inc. Surveillance camera system
US4974088A (en) * 1988-05-13 1990-11-27 Maruwa Electronic & Chemical Company Remote control apparatus for a rotating television camera base
JPH0378373A (ja) * 1989-08-22 1991-04-03 Fuji Photo Optical Co Ltd テレビカメラ操作装置
US5471296A (en) * 1990-05-31 1995-11-28 Parkervision, Inc. Camera lens control system and method
JPH07203256A (ja) * 1993-12-28 1995-08-04 Canon Inc カメラのファインダー装置
US6020935A (en) * 1996-09-13 2000-02-01 Sony Corporation Relay based control system
JP2000002913A (ja) * 1998-06-15 2000-01-07 Matsushita Electric Ind Co Ltd 監視カメラ旋回制御装置
US7433760B2 (en) * 2004-10-28 2008-10-07 Accelerated Pictures, Inc. Camera and animation controller, systems and methods
JP2006251682A (ja) * 2005-03-14 2006-09-21 Fujinon Corp オートフォーカスシステム
JP4717701B2 (ja) * 2006-04-24 2011-07-06 キヤノン株式会社 撮像システム、撮影方向制御方法、及びプログラム
JP4776503B2 (ja) * 2006-11-13 2011-09-21 富士フイルム株式会社 リモコン雲台システム
US20090295789A1 (en) * 2008-06-03 2009-12-03 Amlogic, Inc. Methods for Dynamically Displaying Digital Images on Digital Display Devices
JP5524965B2 (ja) * 2008-08-12 2014-06-18 グーグル インコーポレイテッド 地理情報システムにおける視察

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06276423A (ja) * 1993-03-22 1994-09-30 Fuji Photo Optical Co Ltd テレビカメラの遠隔制御装置
JPH11101932A (ja) * 1997-09-29 1999-04-13 Fuji Photo Optical Co Ltd テレビレンズの駆動装置
JP2002010124A (ja) * 2000-06-21 2002-01-11 Matsushita Electric Ind Co Ltd カメラ操作装置
JP2002264048A (ja) * 2001-03-08 2002-09-18 Hitachi Ltd 被牽引機構の位置決め制御装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013022184A (ja) * 2011-07-20 2013-02-04 Olympus Medical Systems Corp 内視鏡
JP2013222302A (ja) * 2012-04-16 2013-10-28 Alpine Electronics Inc 車載カメラの取付角度補正装置および取付角度補正方法
WO2017169095A1 (ja) * 2016-03-31 2017-10-05 富士フイルム株式会社 レンズ装置、撮像装置、レンズ駆動方法、レンズ駆動プログラム
CN108885326A (zh) * 2016-03-31 2018-11-23 富士胶片株式会社 镜头装置、摄像装置、透镜驱动方法、透镜驱动程序
JP6446598B2 (ja) * 2016-03-31 2018-12-26 富士フイルム株式会社 レンズ装置、撮像装置、レンズ駆動方法、レンズ駆動プログラム
JPWO2017169095A1 (ja) * 2016-03-31 2019-01-17 富士フイルム株式会社 レンズ装置、撮像装置、レンズ駆動方法、レンズ駆動プログラム
US10649312B2 (en) 2016-03-31 2020-05-12 Fujifilm Corporation Lens device, imaging apparatus, lens driving method, and lens driving program
JP2020043498A (ja) * 2018-09-11 2020-03-19 キヤノン株式会社 電子機器及びその制御方法
JP7146537B2 (ja) 2018-09-11 2022-10-04 キヤノン株式会社 電子機器及びその制御方法
US11172136B2 (en) 2019-08-21 2021-11-09 Canon Kabushiki Kaisha Image capturing apparatus, control apparatus, storage medium, and control method

Also Published As

Publication number Publication date
CN101742092A (zh) 2010-06-16
JP4760896B2 (ja) 2011-08-31
CN101742092B (zh) 2012-05-30
US20100045817A1 (en) 2010-02-25

Similar Documents

Publication Publication Date Title
JP4760896B2 (ja) カメラ制御装置及びカメラ制御方法
US10462350B2 (en) Camera control apparatus and camera control method
US9325970B2 (en) Imaging control device and imaging control method
KR101674586B1 (ko) Ptz 카메라의 촬영영상 설정방법 및 그를 위한 장치
US20170041530A1 (en) Information processing apparatus and control method therefor
KR20110108265A (ko) 제어 장치, 카메라 시스템 및 프로그램
KR20120030403A (ko) 제어 장치, 카메라 시스템 및 프로그램
JPWO2012108294A1 (ja) レンズ装置
JP4670938B2 (ja) 映像信号処理装置及び映像信号処理方法
JP4858526B2 (ja) 映像信号処理装置
US10567665B2 (en) Display control device and display control system
KR20170055455A (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치
US11516404B2 (en) Control apparatus and control method
JP2010224499A (ja) オートフォーカスシステム
JP2011109324A (ja) テレビカメラシステム
JP4189539B2 (ja) テレビカメラの制御装置
WO2009144306A1 (en) A system for and a method of providing image information to a user
JP2011022499A (ja) オートフォーカスシステム
KR200481796Y1 (ko) Ptz 카메라 컨트롤러
JP2024033919A (ja) 撮像制御装置、撮像装置、映像配信システムおよび撮像制御方法
JP2017216536A (ja) カメラ制御システム
JP2021182707A (ja) 情報処理装置、撮像システム、情報処理装置の制御方法、及びプログラム
JP2024058941A (ja) 制御装置、制御方法及びコンピュータプログラム
JP2023130045A (ja) 情報処置装置、情報処理装置の制御方法、プログラム、記録媒体、およびシステム
JPH1153160A (ja) 情報表示方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101129

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110407

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110415

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110523

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees