JP2001061137A - 映像信号処理装置 - Google Patents
映像信号処理装置Info
- Publication number
- JP2001061137A JP2001061137A JP11234252A JP23425299A JP2001061137A JP 2001061137 A JP2001061137 A JP 2001061137A JP 11234252 A JP11234252 A JP 11234252A JP 23425299 A JP23425299 A JP 23425299A JP 2001061137 A JP2001061137 A JP 2001061137A
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- mask
- pulse
- masking
- signal processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
まま、映像のプライバシーを保護する。 【解決手段】 プライバシーを保護すべき領域を、マス
クパルス位置設定手段5により設定する。撮像装置から
出力された映像のプライバシー保護領域に対応したマス
クパルスを、マスクパルス発生手段6で発生する。マス
クパルスにより映像信号切替手段3を制御して、マスク
用映像信号発生手段1の映像信号を選択することによ
り、映像信号にマスクをかける。ズーム倍率やパン・チ
ルト位置に応じてプライバシー保護領域が追従して変わ
るようにもできる。電動旋回雲台のパン・チルトの操作
に制限を与えないため操作性がよい。プライバシー保護
領域だけマスクをかけて、画面全体を制限することなく
プライバシーを守ることができる。
Description
に関し、特に、監視システムやテレビ電話やナースコー
ルなどの画像送受システムの映像を処理してプライバシ
ーを保護する映像信号処理装置に関する。
置を構成するCCDをはじめとする撮像素子や信号処理
用LSIのコストダウンが進み、撮像装置を使用した監
視システムや画像通信のための機器が数多く使用される
ようになってきた。これらの機器の使用状態において、
撮影範囲の制限機能がない場合に、次のような問題が生
じている。例えば、道路監視システムでは、道路上の状
況(交通量、交通流、工事状況、故障車、事故車等)を
監視するだけでなく、目的以外の場所、例えば民家やマ
ンションにレンズを向け、窓等を覗くことが可能となっ
てしまい、プライバシー侵害等の問題が発生する。テレ
ビ会議システムにおいても、受信側に送信側の撮像装置
の方向やズーム倍率の制御機能が付いている場合、受信
側で発言者以外の場所を撮影することが可能であり、送
信側に受信側に見せたくない範囲がある場合に問題とな
る。ナースコールシステムで撮像装置が連動している場
合も同様である。
のように対処している。例えば、図19に示すように、
特開平5‐75995号公報に開示された装置では、電動旋回
雲台のパンニング角度やチルティング角度に制限を持た
せて、撮像装置のレンズがプライバシー保護範囲を向か
ないようにして、プライバシー保護範囲を撮影できない
ようにしている。
装置では、予め設定したパンニング角度やチルティング
角度の範囲内では、ズーム倍率に制限をかけて、被写体
が小さく写るようにしたり、フォーカスをぼかして映像
が容易に判別できないようにしている。
た装置では、必要時以外は、撮像装置の向きを、プライ
バシー保護の問題がないパンニング角度とチルティング
角度に設定しておく。必要時に、予め記憶させた特定の
パンニング角度とチルティング角度で、被写体に撮像装
置のレンズを向けて撮影するという方法を採っていた。
従来の撮像装置や監視システムでは、電動旋回雲台でパ
ンニング角度やチルティング角度に制限を持たせた場
合、制限範囲で旋回が停止するため、故障による停止
か、制限範囲に入って停止したか、判別が困難である。
ある着目点(道路監視システムにおける事故発生箇所)
に急いで撮像装置を向けようとした時、途中に制限範囲
があると、そこを迂回しなければならず、使い勝手が悪
いという問題があった。
ティング角度の範囲内で、ズーム倍率に制限をかけて被
写体が小さく写るようにしたり、フォーカスをぼかし
て、映像が容易に判別できないようにしている場合で
は、撮影禁止範囲(以下プライバシー保護領域とも表現
する)と撮影可能範囲の境界付近で、ズーミングして拡
大した画像を得ることが出来なかった。
ライバシー保護の問題がないパンニング角度とチルティ
ング角度に設定しておき、必要時に、予め記憶させた特
定のパンニング角度とチルティング角度で、被写体に撮
像装置のレンズを向けて撮影するという方法では、撮像
装置の方向が被写体に向くまでに時間を要するという問
題があった。
たもので、撮像装置や監視システムの使い勝手を落とさ
ずに、プライバシーを保護することを目的とする。
めに、本発明では、映像信号処理装置を、マスク用映像
信号を発生するマスク用映像信号発生手段と、マスク領
域を設定するマスクパルスを発生するマスクパルス発生
手段と、入力映像信号とマスク用映像信号とをマスクパ
ルスに応じて切り替えて入力映像をマスクする映像信号
切替手段または加減算して入力映像をマスクする映像信
号加減算手段とを具備する構成とした。
雲台のパン・チルト操作を制限しないで操作性を維持
し、画面全体を制限することなく、プライバシー保護領
域のみマスクをかけてプライバシーを保護することがで
きる。
ができないように制限する手段を有するマスク位置設定
制限手段を設けた。このように構成したことにより、一
度設定された画面上のプライバシー保護領域の変更を困
難にし、プライバシー保護のレベルを高くできる。
するための通信手段を設けた。このように構成したこと
により、数多く設置された映像信号処理装置のプライバ
シー保護の設定・管理が効率よく集中して実施できる。
て、図1〜図18を参照しながら詳細に説明する。
の形態は、設定されたプライバシー保護領域に対応する
マスクパルスを発生し、入力された映像信号とマスク用
映像信号を切り替えて、入力映像のプライバシーを保護
する映像信号処理装置である。
る映像信号処理装置の機能ブロック図である。図1にお
いて、マスク用映像信号発生手段1は、マスク用のアナ
ログ輝度信号を生成する手段である。映像信号入力端子
2は、撮像装置からの映像信号を入力する端子である。
映像信号切替手段3は、マスクパルスに従ってマスク用
映像信号と入力映像信号を切り替える手段である。映像
信号出力端子4は、映像信号を表示装置へ出力する端子
である。マスクパルス位置設定手段5は、プライバシー
を保護すべき領域を設定する手段である。マスクパルス
発生手段6は、プライバシーを保護すべき領域に対応し
たパルスを発生する手段である。
の信号を示す図である。図2において、可変抵抗器101
と102は、所定のDC電圧を出力する回路である。アナ
ログスイッチ103は、外部制御信号で動作する切り替え
スイッチである。
示す図である。クランプ回路303,304は、映像信号をク
ランプする回路である。アナログスイッチ305は、制御
信号で動作する切り替えスイッチである。ビデオアンプ
306は、映像信号を増幅するアンプである。
ロック図である。可変抵抗器501、502、504、505は、ジ
ョイスティックに機械的に接続された可変抵抗器であ
る。位置決定スイッチ503は、位置決定の指示をするた
めのスイッチである。大きさ決定スイッチ506は、大き
さ決定の指示をするためのスイッチである。ADコンバ
ータ507、508、509、510(以下ADC)は、アナログの
位置座標信号などをデジタル信号に変換する回路であ
る。ラッチ511、512、513、514は、制御端子がHレベル
のとき入力信号を保持して、Lレベルの時は入力信号を
そのまま出力するレベルラッチ回路である。セレクタ52
9、530、531、532は、ADC側の信号かシリアルパラレ
ル変換器の信号を選択する選択回路である。シリアルパ
ラレル変換器525、526、527、528は、通信手段13からの
シリアルデータをパラレルデータに変換する回路であ
る。
を示す図である。図6は、別の映像信号処理装置の機能
ブロック図である。複数のマスクパルス位置設定手段と
マスクパルス発生手段を有する。図7は、さらに別の映
像信号処理装置の機能ブロック図である。映像信号切替
手段の代わりに映像信号加減算手段12を有する。
施の形態における映像信号処理装置について、図1を用
いてその動作を説明する。撮像装置から出力された映像
信号が映像信号入力端子2に供給され、通常は、映像信
号切り替え手段3により、映像信号入力端子2の映像信
号が、映像信号出力端子4に出力される。マスクパルス
位置設定手段5によって設定されたプライバシーを保護
すべき領域と、走査で時間的に対応したパルスを発生す
るマスクパルス発生手段6が、映像信号切替手段3に作
用して、マスク用映像信号発生手段1の映像信号を選択
して、映像信号出力端子4に出力して、プライバシーを
保護する。
ロック図である。本実施の形態では、アナログ的に輝度
信号のみを生成する場合を説明する。101と102は可変抵
抗器で、DC電圧が印加されている。103はアナログス
イッチである。アナログスイッチ103は、外部制御端子
がHレベルの時、A側の入力を選択する。アナログスイ
ッチ103の制御端子に水平ドライブパルス(以下HD)
を印加すれば、アナログスイッチ103の出力信号104は、
図2bで示すような波形となる。ここで、V101は可変
抵抗器101の出力電圧、V102は可変抵抗器102の出力電
圧である。アナログスイッチ103の出力信号104は、後段
の映像信号切り替え手段3でV101がクランプされるの
で、V101が黒レベルを、V102が白レベルを規定するこ
とになる。マスク用映像信号として黒を使用したい場合
には、V101=V102となるようにすればよい。なお、マ
スク用映像信号発生手段は、輝度信号以外にも、カラー
テレビジョン方式用のエンコーダ、例えばNTSC用の
エンコーダを用いて、色信号を発生して、色相・飽和度
が調整できるようにしてもよい。他にも、図1の映像信
号入力端子2の信号を加工して、モザイク処理や、ネガ
ポジ反転、ビット落としによるペイント、演算による変
形、各種フィルタ(LPF、HPF等)処理を施しても
よい。
ク図である。本実施の形態では、アナログ的に図1のマ
スク用映像信号発生手段1と映像信号入力端子2の映像
信号を切り替える場合について説明する。301は、図1
のマスク用映像信号発生手段1の出力が接続される。30
2は、図1の映像信号入力端子2が接続される。305は、
アナログスイッチで、制御端子308がHレベルの時、A
側の入力を選択するものとする。306は、ビデオアンプ
で後段に接続されるテレビモニタやVTRに映像信号を
供給するためのアンプである。図3bに示すように、通
常は、ビデオアンプ出力307には302側の信号が選択され
るが、308にHレベルの信号が入ると、その期間だけ301
の信号が選択される。
ック図である。本実施の形態では、ゲーム機に使用され
るようなジョイスティックを使用してマスクパルスの位
置を設定する場合を説明する。501、502、504、505は、
ジョイスティックに機械的に接続された可変抵抗器、50
3は位置決定スイッチ、506は大きさ決定スイッチ、50
7、508、509、510はADコンバータ(以下ADC)、51
1、512、513、514は、制御端子がHレベルのとき入力信
号を保持して、Lレベルの時は入力信号をそのまま出力
するいわゆるレベルラッチである。通常は、Lレベルで
ある。529、530、531、532はセレクタで制御端子がプル
アップされていて、通常は、ADC側の信号を選択す
る。セレクタ制御端子は、通信手段接続情報524に接続
されている。525、526、527、528はシリアルパラレル変
換器で、後述の図15の通信手段13からのシリアルデー
タを、通信手段接続端子523を経由して取り込み、パラ
レルデータに変換する。これは遠隔操作時に使用する。
位置決定SW制御端子521と大きさ決定SW制御端子522
は、通常はそれぞれJP1とJP2で接地されている。
るためにマスク用映像信号は、中心位置のX座標とY座
標、X方向の大きさとY方向の大きさの4つのパラメー
タを持つ矩形として説明する。
いてジョイスティックの位置情報は、可変抵抗器501に
より電圧情報に変換され、更にADC507によりデジタ
ル情報に変換される。従って中心位置X座標は516へ、
同様に中心位置Y座標は515へ、X方向の大きさは518
へ、Y方向の大きさは517へ、それぞれデジタル値で出
力される。中心位置をジョイスティックで調整して位置
決定SW503を開放側に固定すれば、ラッチ511と512の
制御端子がプルアップされているので、515と516の値は
それぞれラッチ511と512で保持されて固定値になる。同
様にX、Y方向の大きさをジョイスティックで調整して
大きさ決定SW506を開放側に固定すれば、517と518の
値はそれぞれラッチ513、514で保持されて固定値とな
る。
ク図である。601はマスク用映像信号の中心位置のX座
標が入力される。602はマスク用映像信号のX方向の大
きさが入力される。603はマスク用映像信号の中心位置
のY座標が入力される。604はマスク用映像信号のY方
向の大きさが入力される。601は図4の516と、602は図
4の518と、603は図4の515と、604は図4の517とそれ
ぞれ接続される。
スクするためには、X方向のマスクパルスGxとY方向
のマスクパルスGyを発生させてANDを取ればよい。
実際に与えられるパラメータは、図5dに示すように、
中心位置座標(x0、y0)と矩形の大きさLx,Ly
である。これらから、マスクパルスGxの立ち上がりx
1と、立ち下がりx2と、Gyの立ち上がりy1と、立
ち下がりy2を求めるには、次の関係式を利用する。な
お、画面座標の原点は画面左上として説明するので、扱
う数値や座標は、特に断りが無い限りゼロ以上の数であ
るものとする。
(1)は、図5aの625が、式(2)は626が、式(3)
は627が、式(4)は628がそれぞれ対応する。
が負になったり、垂直カウンタ(以後Vカウンタ)がH
Dをカウントして、取りうる最大値(すなわちテレビジ
ョン方式で規定される画面の垂直走査線数)や、水平方
向の位置を規定するための水平カウンタ(以後Hカウン
タ)のCLKとして、NTSCのサブキャリア周波数の
4倍のクロックを使用した場合のHカウンタとる最大数
を越えた場合に、ブランキング期間にマスク用映像信号
が発生しないように制限する目的で挿入される。
(すなわち水平走査周波数の910倍)の周波数をカウン
トする910進カウンタで、HDでリセットをかける。V
カウンタは、HDをカウントして、VDでリセットをか
ける262.5進カウンタである。
が一致したときに出力がHレベルになるものである。比
較器610の出力は、Hカウンタ623の出力がx1と一致し
た場合に、1CLK期間Hレベルになる。比較器611の
出力は、Hカウンタ623の出力がx2と一致した場合
に、1CLK期間Hレベルになる。これらをそれぞれJ
Kフリップフロップ612のJ入力とK入力に入れれば、
図5cのように、x1で立ち上がりx2で立ち下がるG
xが得られる。同様に、JKフリップフロップ620で
は、y1で立ち上がりy2で立ちさがるGyが得られ
る。GxとGyをANDゲート621によりANDするこ
とで、所望のマスクパルス622が得られる。
スイッチ制御端子308に印加されることで、図1のマス
クパルス位置設定手段5で設定した画面上の領域に対応
する期間、映像信号切替手段3がマスク用映像信号発生
手段1の映像信号を選択して、映像信号入力端子2の信
号を選択しないので、映像信号出力端子4には、プライ
バシーが保護された映像信号が得られる。
き領域が1つの場合を説明したが、複数の場合は、図6
に示すように、複数のマスクパルス位置設定手段とマス
クパルス発生手段のペアの出力をOR演算して、映像切
替手段3に加えればよい。
段3の代わりに、映像信号加減算手段12を用いて、マス
クパルス発生手段6の出力がHレベルの期間に、映像信
号入力端子2の信号とマスク用映像信号発生手段1の映
像信号を加減算して、映像信号出力端子4に映像信号を
出力しても、同様にプライバシーが保護された映像信号
が得られる。
では、映像信号処理装置を、設定された領域に対応する
マスクパルスを発生し、入力された映像信号とマスク用
映像信号を切り替えて、入力映像のプライバシーを保護
する構成としたので、パン・チルトの操作を制限せず操
作性がよく、画面全体を制限することなくプライバシー
保護領域のみマスクしてプライバシー保護ができる。
の形態は、入力映像のプライバイシーを保護すべき領域
の位置や大きさ、形、数の組み合わせを制御する映像信
号処理装置である。
る映像信号処理装置のブロック図である。図8におい
て、マスクパルス組み合わせ制御手段7は、複数のマス
クパルスの組み合わせに応じた制御信号を出力する手段
である。マスク用映像信号発生手段1、映像信号入力端
子2、映像信号切り替え手段3、映像信号出力端子4、
マスクパルス位置設定手段5、マスクパルス発生手段6
は、図1と同一なので説明を省略する。図9は、患者監
視システムの映像を示す図である。図10は、マスクパ
ルス組み合わせ制御手段7の構成を示すブロック図であ
る。
施の形態における映像信号処理装置について、図8〜図
10を用いてその動作を説明する。病院のナースコール
に連動した患者の監視システムを想定して説明する。同
一病室内に3人の患者、患者1、患者2、患者3がい
て、常に図9aのような映像が得られるとプライバシー
の侵害になるので、通常は、図9eもしくは図9fのよ
うな映像を出力しておく。患者1が押し釦1を押した場
合に図9bの映像が、患者2が押し釦2を押した場合に
図9cの映像が、患者3が押し釦3を押した場合に図9
dの映像が、それぞれ得られるようにするために、図8
の構成では、図1の構成に対して、マスクパルス組み合
わせ制御手段7を追加している。
段7の構成をブロック図として表したものである。71は
患者1の押し釦1、72は患者2の押し釦2、73は患者3
の押し釦3である。701はRAM702のためのアドレス発
生回路である。押し釦が押されないときは、(0,
0)、71が押されたときは(0,1)、72が押されたと
きは(1,0)、73が押されたときは(1,1)のアドレ
スが出力される。702はRAMであり、データ各ビット
にそれぞれのマスク位置設定手段とマスクパルス発生手
段のペアの出力をANDゲート703、704、705で出力す
るか否かのフラグが書き込んである。703が患者1のプ
ライバシー保護の制御、704が患者2のプライバシー保
護の制御、705が患者3のプライバシー保護の制御を行
うものとして扱えば、患者1が押し釦71を押したときに
ANDゲート703のみ片側の入力端子がLレベルにな
り、マスクパルスが伝達されず、図9bの様な映像が得
られる。同様に患者2が押し釦2を押したときは図9
c、患者3が押し釦3を押したときは図9dの映像が得
られる。
せ制御手段の入力が3本の場合について説明したが、一
般的にn本(nは自然数)に拡張して適用することが可
能である。
では、映像信号処理装置を、入力映像のプライバイシー
を保護すべき領域の位置や大きさ、形、数の組み合わせ
を制御する構成としたので、必要なときに必要な組合わ
せの領域のプライバシー保護ができる。
の形態は、ズーム倍率とパン・チルト量に応じて、画面
内のマスクパルスの位置を演算してマスクをかける映像
信号処理装置である。
ける映像信号処理装置のブロック図である。図11にお
いて、映像信号処理装置は、マスク用映像信号発生手段
1、映像信号切り替え手段3、マスクパルス位置設定手
段5、マスクパルス発生手段6から構成されている。な
お、2は映像信号入力端子、4は映像信号出力端子を示
している。図11の構成では、図1の構成に対して、ズ
ーム倍率検出手段8とマスクパルス位置・大きさ正規化
手段11を追加している。図12は、ズーミング時の被写
体の座標を説明する図である。図13は、パンとチルト
が可能な場合の被写体の座標を説明する図である。図1
4は、ズームとパン・チルトが同時に発生する場合を説
明する図である。
について、図11〜図14を用いてその動作を説明す
る。マスク用映像信号発生手段1、映像信号入力端子
2、映像信号切替手段3、映像信号出力端子4、マスク
パルス発生手段6は、図1と同一なので説明を省略す
る。ズーム倍率検出手段8は、ズームレンズの内部から
レンズの位置を検出してズーム倍率kを得て、更にデジ
タル値に変換してマスクパルス位置・大きさ正規化手段
11に入力する。パン・チルト位置検出手段9では回転角
を可変抵抗器により電気信号に変換し、更にデジタル値
に変換して同様にマスクパルス位置・大きさ正規化手段
11に入力する。以降ズーム倍率検出手段とパン・チルト
位置検出手段とマスクパルス位置・大きさ検出手段を設
ける理由を段階的に説明する。
グ時の被写体の座標について説明する。説明しやすいよ
うに、座標の原点を映像の中心にして、原点からの被写
体中心までのx、y方向の距離をオフセットと呼ぶ。こ
こでは矩形の被写体を撮影している場合について説明す
る。
C1(x<k1>、y<k1>)、矩形のx方向の長さ
をLx<k1>、y方向の長さをLy<k1>とする。
同様に、ズーム倍率k2の時の被写体の中心座標をC2
(x<k2>、y<k2>)、矩形のx方向の長さをL
x<k2>、y方向の長さをLy<k2>とすると、次
の関係が成り立つ。 k2/k1=x<k2>/x<k1> (5) =y<k2>/y<k1> (6) =Lx<k2>/Lx<k1> (7) =Ly<k2>/Ly<k1> (8)
変化させた場合に、k1の時のC1(x<k1>、y<
k1>)とLx<k1>とLy<k1>を元に、C2
(x<k2>、y<k2>)とLx<k2>とLy<k
2>を求めるには、次のように計算すればよい。 x<k2>=k2・x<k1>/k1 (9) y<k2>=k2・y<k1>/k1 (10) Lx<k2>=k2・Lx<k1>/k1 (11) Ly<k2>=k2・Ly<k1>/k1 (12)
図12bのようになる。図12bでは、x<k1>とx
<k2>の関係を表しているが、y<k1>とy<k2
>の関係、Lx<k1>とLx<k2>の関係、Ly<
k1>とLy<k2>の関係も同様に表すことができ
る。しかしながら、図12bはラッチが2つ必要なの
で、x<k1>をk1で除して、すぐに正規化処理して
データをラッチすれば、ラッチの数は1個で済み、回路
量が削減できる。実際、k1とk2は、ズーム倍率検出
手段で得られる情報で、k1の時にラッチして値を保持
するから、時間的に前後しているだけで、同一のズーム
倍率検出手段から得られるので、最終的に回路としては
図12dに示すものとなる。
率は1で、撮像装置が電動旋回雲台に設置されて、パン
とチルトが可能な場合の被写体の座標の性質について説
明する。パン位置θpとチルト位置θtは、図13aの
ように立体的な角度である。以降、画面上の座標はすべ
て立体角で考えることにする。図13bの画面1の中心
は(θp、θt)である。画面1の中心から(x、y)
だけ離れた場所にある矩形の中心は(θp+x、θt+
y)となる。これは、画面2の中心に矩形の中心があ
り、画面2の中心が(θp+x、θt+y)であると考
えることができる。この状態で矩形の位置を管理すれ
ば、画面1の中心位置+オフセットと考える時と比べ
て、4個のデータが2個でよいので、回路的な削減にな
る。
うに画面3になり、画面の中心位置が(θp’、θ
t’)になった時を考える。この時のオフセットを
(x’、y’)とすれば θp+x=θp’+x’ となるので x’=(θp+x)−θp’ (13) θt+y=θt’+y’ となり、 y’=(θt+y)−θt’ (14) となる。これを回路的に表現すれば、図13cのように
なる。なお、この時、矩形の大きさLxとLyは、ズー
ミングしていないので変化せず、同一の値である。
ームとパン・チルトが同時に発生する場合について説明
する。この場合は、図14aに示すように、画面中心の
立体角が(θp、θt)の画面で、ズーミングがあるこ
とになる。まず、矩形の大きさについて説明する。パン
・チルトの時には大きさには影響がなかったので、ズー
ムとパン・チルトが同時に起きる場合には、式(11)と
式(12)だけを考慮すればよい。したがって、回路的に
表現すれば、図14cの下の2つで表現できる。
図14bにおいて、ズームk1倍の時の画面1の中心
(θp、θt)から、オフセット(x、y)を持った矩
形Aについて考える。オフセットにはズーム倍率k1が
乗じてあるので、正規化した位置の矩形Bの中心が、画
角移動後の画面中心(θp’、θt’)から見たオフセ
ット(x’、y’)を持つ位置だとすれば、 θp+x/k1=θp’+x’ となるので x’=(θp+x/k1)−θp’ (15) となり、同様に、 θt+y/k1=θt’+y’ となるので y’=(θt+y/k1)−θt’ (16) となる。矩形Bは正規化されているので、オフセットに
画角移動後の実際のズーム倍率k2を乗じたものが実際
の矩形Cのオフセット(x”、y”)になる。したがっ
て、 x”=k2・x’ (17) y”=k2・x’ (18) となる。式(15)と式(17)、式(16)と式(18)それ
ぞれを組み合わせて回路的に表現すれば、図14cの上
半分の2つとなる。これは、図12bから図12dを導
いたことと同じく、ラッチの数を減らした回路形式とな
っている。他ブロックとの接続も含めて表現すれば、図
14dのようになる。
る場合の被写体の性質について述べたが、プライバシー
保護領域は、被写体のズームやパン・チルトに追従して
位置や大きさが変化しなければならないので、被写体の
座標の性質をそのまま適用できる。したがって、図11
のマスクパルス位置設定手段5とマスクパルス発生手段
6の間に、図14cで表される構成のマスクパルス位置
・大きさ正規化手段11を挿入すれば、プライバシー保護
領域は、ズームやパン・チルトに追従して動作するよう
になる。
では、映像信号処理装置を、ズーム倍率とパン・チルト
量に応じて、画面内のマスクパルスの位置を演算してマ
スクをかける構成としたので、マスクパルス位置設定時
に、マスクパルスの位置のオフセット値を気にせずに簡
単にマスクパルスの位置が設定ができる。
の形態は、管理者以外はマスク設定位置の変更ができな
いように制限し、管理者がマスク設定位置を集中管理
し、管理者の権限にレベルを設け、最下位管理者は自分
の映像信号処理装置の設定のみ変更可能とし、上位の管
理者は複数の映像信号処理装置の設定変更を可能とした
映像信号処理装置である。
ける映像信号処理装置のブロック図である。図16は、
A,B,C3つの地区と中央監視室からなる監視システ
ムを示す図である。本実施の形態では、図16に示すよ
うなA,B,C3つの地区と中央監視室からなる監視シ
ステムを想定して説明する。図15と図16において映
像信号処理装置は、マスク用映像信号発生手段1、映像
信号切り替え手段3、マスクパルス位置設定手段5、マ
スクパルス発生手段6、マスクパルス位置設定管理手段
10、通信手段13から構成されている。なお、2は映像信
号入力端子、4は映像信号出力端子を示している。ま
た、1、2、3、4、6を一括して映像信号処理装置本
体16として説明する。また、マスクパルス位置設定手段
5とマスクパルス位置設定管理手段10を一括して映像信
号処理装置制御部として説明する。また、14は撮像装
置、15はテレビモニタである。
は管理者で、プライバシー保護領域を設定・変更できる
権限を持ち、A地区、B地区、C地区それぞれのマスク
パルス位置設定管理手段10の暗証番号を知っていて、A
地区、B地区、C地区それぞれのオペレータは暗証番号
を知らないものとする。図15の構成は、図1の構成に
対してマスクパルス位置設定管理手段10と通信手段13を
追加している。マスク用映像信号発生手段1、映像信号
入力端子2、映像信号切り替え手段3、映像信号出力端
子4、マスクパルス発生手段6は、図1と同一なので説
明を省略する。図17は、マスクパルス位置設定管理手
段10の構成を示すブロック図である。図18は、通信手
段13の構成を示すブロック図である。
について、図15〜図18を用いてその動作を説明す
る。図4のマスクパルス位置設定手段5は、実施形態4
においては、図4のJP1とJP2が取り外されて、図
17のマスクパルス位置設定管理手段に接続される。52
1は、リレー接点1008と522はリレー接点1009とそれぞれ
接続される。
の構成をブロック図として表したものである。通常セレ
クタ1003の制御端子1007はLレベルで暗証番号入力手段
1001側のデータを選択しているものとする。
え時の動作について説明する。暗証番号入力手段1001か
ら暗証番号記憶手段1002に暗証番号を書き込み保存され
る。次に、マスクパルス位置設定手段の操作を行う場合
について説明する。暗証番号入力手段1001から入力され
た暗証番号は、暗証番号照合手段1004によって、予め暗
証番号記憶手段1002に記憶された暗証番号と照合され
る。
リレー接点1008と1009は閉じて、521と522は接地され
る。521は、図4のラッチ511と512を制御する位置決定
SW503に接続されており、JP1の代わりにリレー接
点が閉じた状態で、位置決定SW503が接地できるよう
になる。その時は、ラッチ511と512の制御端子がLレベ
ルになって、可変抵抗器501と502の変化が515と516に出
力されて、位置調整が可能になる。位置決定SWをもと
に戻せば、ラッチ511と512の制御端子がHレベルになっ
て、新たな位置座標が書き込まれる。同様に、暗証番号
が一致した状態で522が接地されて、図4の大きさ決定
SW506の操作を有効にする。暗証番号が不一致の場合
は、リレー接点1008と1009は閉じず、図4のラッチ51
1、512、513、514の制御端子はプルアップされたまま
で、前のデータを保持して、マスクパルス位置設定手段
のプライバシー保護領域の情報は書き換えられない。
る。図18は、通信手段13の構成をブロック図として表
したものである。本実施の形態では、通信手段としてモ
デムを使用した場合を説明する。1301は電話回線、1303
は送信データ、1304は受信データ、1305は通信手段接続
情報出力で、通信が確立するとHレベルになる。図15
に示すように、通信手段13の受信データ1304と、マスク
パルス位置管理手段10の通信手段接続端子1006と、マス
クパルス位置設定手段5の通信手段接続端子523が接続
されており、通信手段の受信データがマスクパルス位置
管理手段10とマスクパルス位置設定手段5に入力されて
いる。また、通信手段13の通信手段接続情報出力1305
と、マスクパルス位置管理手段10の通信手段情報入力端
子1007と、マスクパルス位置設定手段5の通信手段接続
情報入力524が接続されており、通信手段間で通信が確
立するとHレベルになる通信手段接続情報出力1305がマ
スクパルス位置管理手段10とマスクパルス位置設定手段
5に入力されている。したがって、1305がHレベルの状
態では、図17では、セレクタ1003が1006のデータを暗
証番号照合手段1004へ接続して、遠隔操作により暗証番
号が入力できるようになる。また、図4では、同様にセ
レクタ529、530、531、532がシリアルパラレル変換52
5、526、527、528のデータを選択するようになるので、
プライバシー保護領域の中心位置座標と大きさが遠隔操
作できるようになる。
地区の暗証番号を知らないオペレータは、17の操作がで
きないのでプライバシー保護領域の書き換えができな
い。また、中央監視室の暗証番号を知っている管理者
は、中央監視室から遠隔操作でA、B、C地区の暗証番
号を入力することにより、それぞれのプライバシー保護
領域の設定と変更が可能である。本実施例では3カ所を
例に説明したが、n箇所(nは自然数)に拡張して適用
することが可能である。
では、映像信号処理装置を、管理者以外はマスク設定位
置の変更ができないように制限し、管理者がマスク設定
位置を集中管理し、管理者の権限にレベルを設け、最下
位管理者は自分の映像信号処理装置の設定のみ変更可能
とし、上位の管理者は複数の映像信号処理装置の設定変
更を可能とする構成としたので、プライバシー保護のレ
ベルを高くできるとともに、数多く設置された映像信号
処理装置のプライバシー保護の設定・管理が効率よく集
中して行える。
では、映像信号処理装置を、マスク用映像信号を発生す
るマスク用映像信号発生手段と、マスク領域を設定する
マスクパルスを発生するマスクパルス発生手段と、入力
映像信号とマスク用映像信号とをマスクパルスに応じて
切り替えて入力映像をマスクする映像信号切替手段とを
具備する構成としたので、電動旋回雲台のパン・チルト
操作を制限することなく操作性を維持でき、画面全体を
制限することなくプライバシー保護領域のみマスクをか
けてプライバシーを保護することができるという効果が
得られる。
段と、電動旋回雲台のパン・チルト絶対位置を検出する
手段と、マスクパルスの大きさと位置をズーム倍率で正
規化して正規化マスクパルスを記憶するとともに入力映
像の中心位置からマスクパルスの位置のオフセット値を
計算して電動旋回雲台のパン・チルト絶対位置から減算
してマスクパルス絶対位置を記憶する手段と、動作時に
正規化マスクパルスの大きさと位置にズーム倍率を掛け
るとともにマスクパルス絶対位置から電動旋回雲台のパ
ン・チルト絶対位置を減算して画面内のマスクパルスの
相対位置を演算する手段とを備えたので、マスクパルス
位置設定時に、マスクパルスの位置のオフセット値を気
にせずに簡単にマスクパルスの位置が設定ができるとと
もに、ズームやパン・チルトに追従して変化するプライ
バシー保護領域にマスクをかけることができるという効
果が得られる。
ができないように制限する手段を有するマスク位置設定
管理手段を備えたので、一度設定された画面上のプライ
バシー保護領域の変更が困難になり、プライバシー保護
のレベルを高めることができるという効果が得られる。
するための通信手段を備えたので、数多く設置された映
像信号処理装置のプライバシー設定・管理が効率よく集
中して行えるという効果が得られる。
理装置の機能ブロック図、
理装置のマスク用映像信号発生手段の回路図と信号波形
図、
理装置の映像信号切替手段のブロック図と信号波形図、
理装置のマスクパルス位置設定手段のブロック図、
理装置のマスクパルス発生手段のブロック図と信号波形
図、
号処理装置の機能ブロック図、
映像信号処理装置の機能ブロック図、
理装置の機能ブロック図、
理装置のマスクパルス組み合わせ制御手段の動作説明
図、
処理装置のマスクパルス組み合わせ制御手段の機能ブロ
ック図、
処理装置の機能ブロック図、
処理装置のズームの場合の座標計算の説明図、
処理装置のパン・チルトの時の座標計算説明図、
処理装置のズームとパン・チルトが組み合わされた時の
座標計算の説明図、
処理装置の機能ブロック図、
処理装置の遠隔操作による監視システムの説明図、
処理装置のマスクパルス位置設定管理手段の機能ブロッ
ク図、
処理装置の通信手段の機能ブロック図、
式図である。
Claims (10)
- 【請求項1】 マスク用映像信号を発生するマスク用映
像信号発生手段と、マスク領域を設定するマスクパルス
を発生するマスクパルス発生手段と、入力映像信号と前
記マスク用映像信号とを前記マスクパルスに応じて切り
替えて入力映像をマスクする映像信号切替手段とを具備
することを特徴とする映像信号処理装置。 - 【請求項2】 マスク用映像信号を発生するマスク用映
像信号発生手段と、マスク領域を設定するマスクパルス
を発生するマスクパルス発生手段と、入力映像信号と前
記マスク用映像信号とを前記マスクパルスに応じて加減
算して入力映像をマスクする映像信号加減算手段とを具
備することを特徴とする映像信号処理装置。 - 【請求項3】 マスク領域の位置や大きさや形や数を組
み合わせ制御するマスクパルス組み合わせ制御手段を備
えたことを特徴とする請求項1、2記載の映像信号処理
装置。 - 【請求項4】 マスクパルスの大きさと位置を撮像装置
のズーム倍率で正規化した正規化マスクパルスを記憶す
る手段と、動作時に前記正規化マスクパルスの大きさと
位置にズーム倍率を乗ずるズーム倍率検出手段とを備え
たことを特徴とする請求項1、2記載の映像信号処理装
置。 - 【請求項5】 撮像装置が設置されている電動旋回雲台
のパン・チルト絶対位置を検出する手段と、入力映像の
基準位置からマスクパルスの位置のオフセット値を計算
して前記電動旋回雲台のパン・チルト絶対位置から減算
してマスクパルス絶対位置として記憶する手段と、動作
時に前記マスクパルス絶対位置から前記電動旋回雲台の
パン・チルト絶対位置を減算して画面内の前記マスクパ
ルスの相対位置を演算する手段とを備えたことを特徴と
する請求項1、2記載の映像信号処理装置。 - 【請求項6】 撮像装置のズーム倍率を検出する手段
と、電動旋回雲台のパン・チルト絶対位置を検出する手
段と、マスクパルスの大きさと位置を前記ズーム倍率で
正規化して正規化マスクパルスを記憶するとともに入力
映像の中心位置からマスクパルスの位置のオフセット値
を計算して前記電動旋回雲台のパン・チルト絶対位置か
ら減算してマスクパルス絶対位置を記憶する手段と、動
作時に前記正規化マスクパルスの大きさと位置にズーム
倍率を掛けるとともに前記マスクパルス絶対位置から前
記電動旋回雲台のパン・チルト絶対位置を減算して画面
内のマスクパルスの相対位置を演算する手段とを備えた
ことを特徴とする請求項1、2記載の映像信号処理装
置。 - 【請求項7】 管理者以外はマスク設定位置の変更がで
きないように制限する手段を有するマスク位置設定管理
手段を備えたことを特徴とする請求項1〜6記載の映像
信号処理装置。 - 【請求項8】 管理者がマスク設定位置を集中管理する
ための通信手段を備えたことを特徴とする請求項1〜6
記載の映像信号処理装置。 - 【請求項9】 管理者以外はマスク設定位置の変更がで
きないように制限する手段を有するマスク位置設定管理
手段と、前記管理者が前記マスク設定位置を集中管理す
るための通信手段とを備えたことを特徴とする請求項1
〜6記載の映像信号処理装置。 - 【請求項10】 管理者の権限にレベルを設け、最下位
管理者は自分の映像信号処理装置の設定のみ変更可能と
し、上位の管理者は複数の映像信号処理装置の設定変更
を可能とする管理手段を備えたことを特徴とする請求項
7〜9記載の映像信号処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23425299A JP4600894B2 (ja) | 1999-08-20 | 1999-08-20 | 映像信号処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23425299A JP4600894B2 (ja) | 1999-08-20 | 1999-08-20 | 映像信号処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010157368A Division JP5218484B2 (ja) | 2010-07-10 | 2010-07-10 | 映像信号処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001061137A true JP2001061137A (ja) | 2001-03-06 |
JP4600894B2 JP4600894B2 (ja) | 2010-12-22 |
Family
ID=16968069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23425299A Expired - Fee Related JP4600894B2 (ja) | 1999-08-20 | 1999-08-20 | 映像信号処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4600894B2 (ja) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003046745A (ja) * | 2001-07-30 | 2003-02-14 | Matsushita Electric Ind Co Ltd | 画像処理装置および画像処理方法 |
JP2004146890A (ja) * | 2002-10-22 | 2004-05-20 | Hitachi Ltd | 監視カメラ装置及び監視カメラシステム装置 |
JP2005244550A (ja) * | 2004-02-26 | 2005-09-08 | Victor Co Of Japan Ltd | 監視画像の生成方法 |
GB2414886A (en) * | 2004-06-02 | 2005-12-07 | Bosch Gmbh Robert | Combining a privacy mask and an informational display of differing resolutions with a captured image |
EP1694072A1 (en) * | 2005-02-21 | 2006-08-23 | Samsung Electronics Co., Ltd. | Surveillance system for masking privacy zone and method of setting mask zone |
JP2006304122A (ja) * | 2005-04-25 | 2006-11-02 | Sony Corp | 画像処理装置及び監視カメラ装置 |
KR100664351B1 (ko) | 2004-12-15 | 2007-01-02 | 엘지전자 주식회사 | 광축 오프셋 값을 이용한 프라이버시 마스크 표시제어장치 및 방법 |
US7218342B2 (en) * | 2002-06-06 | 2007-05-15 | Hitachi, Ltd. | Pan/tilt/zoom surveillance system and method for dynamically adjusting a user defined image picture mask |
JP2007129336A (ja) * | 2005-11-01 | 2007-05-24 | Mitsubishi Electric Corp | 監視システム及び監視装置 |
WO2007069470A1 (ja) * | 2005-12-14 | 2007-06-21 | Matsushita Electric Industrial Co., Ltd. | カメラ装置及びワイパ制御方法 |
US7382400B2 (en) | 2004-02-19 | 2008-06-03 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
US7667735B2 (en) | 2002-03-01 | 2010-02-23 | Sony Corporation | Image pickup device and image processing method having a mask function |
US7742077B2 (en) | 2004-02-19 | 2010-06-22 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
US7893959B2 (en) | 2002-01-22 | 2011-02-22 | Sanyo Electric Co., Ltd. | Video display system for correcting the position and size of mask images |
US8212872B2 (en) | 2004-06-02 | 2012-07-03 | Robert Bosch Gmbh | Transformable privacy mask for video camera images |
US8223214B2 (en) | 2008-03-26 | 2012-07-17 | Elmo Company, Limited | Camera system with masking processor |
KR101237975B1 (ko) | 2011-03-15 | 2013-02-28 | 삼성테크윈 주식회사 | 영상 처리 장치 |
US9876993B2 (en) | 2002-11-27 | 2018-01-23 | Bosch Security Systems, Inc. | Video tracking system and method |
US11153534B2 (en) | 2004-06-02 | 2021-10-19 | Robert Bosch Gmbh | Virtual mask for use in autotracking video camera images |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5487429A (en) * | 1977-12-23 | 1979-07-11 | Nec Corp | Picture synthesizer |
JPH06181539A (ja) * | 1992-12-01 | 1994-06-28 | M F Joho Syst Kk | 画像合成装置 |
JPH10191306A (ja) * | 1996-12-26 | 1998-07-21 | Toshiba Corp | 画像伝送システム |
-
1999
- 1999-08-20 JP JP23425299A patent/JP4600894B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5487429A (en) * | 1977-12-23 | 1979-07-11 | Nec Corp | Picture synthesizer |
JPH06181539A (ja) * | 1992-12-01 | 1994-06-28 | M F Joho Syst Kk | 画像合成装置 |
JPH10191306A (ja) * | 1996-12-26 | 1998-07-21 | Toshiba Corp | 画像伝送システム |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4566474B2 (ja) * | 2001-07-30 | 2010-10-20 | パナソニック株式会社 | 画像処理装置および画像処理方法 |
JP2003046745A (ja) * | 2001-07-30 | 2003-02-14 | Matsushita Electric Ind Co Ltd | 画像処理装置および画像処理方法 |
US7893959B2 (en) | 2002-01-22 | 2011-02-22 | Sanyo Electric Co., Ltd. | Video display system for correcting the position and size of mask images |
US7667735B2 (en) | 2002-03-01 | 2010-02-23 | Sony Corporation | Image pickup device and image processing method having a mask function |
US7218342B2 (en) * | 2002-06-06 | 2007-05-15 | Hitachi, Ltd. | Pan/tilt/zoom surveillance system and method for dynamically adjusting a user defined image picture mask |
JP2004146890A (ja) * | 2002-10-22 | 2004-05-20 | Hitachi Ltd | 監視カメラ装置及び監視カメラシステム装置 |
US9876993B2 (en) | 2002-11-27 | 2018-01-23 | Bosch Security Systems, Inc. | Video tracking system and method |
US7382400B2 (en) | 2004-02-19 | 2008-06-03 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
US7742077B2 (en) | 2004-02-19 | 2010-06-22 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
JP2005244550A (ja) * | 2004-02-26 | 2005-09-08 | Victor Co Of Japan Ltd | 監視画像の生成方法 |
JP4573158B2 (ja) * | 2004-02-26 | 2010-11-04 | 日本ビクター株式会社 | 監視画像の生成方法、監視画像生成装置 |
GB2414886B (en) * | 2004-06-02 | 2006-08-02 | Bosch Gmbh Robert | On-screen display and privacy masking apparatus and method |
CN100403800C (zh) * | 2004-06-02 | 2008-07-16 | 罗伯特·博世有限公司 | 屏幕显示和私密遮蔽装置和方法 |
US11153534B2 (en) | 2004-06-02 | 2021-10-19 | Robert Bosch Gmbh | Virtual mask for use in autotracking video camera images |
US8212872B2 (en) | 2004-06-02 | 2012-07-03 | Robert Bosch Gmbh | Transformable privacy mask for video camera images |
GB2414886A (en) * | 2004-06-02 | 2005-12-07 | Bosch Gmbh Robert | Combining a privacy mask and an informational display of differing resolutions with a captured image |
KR100664351B1 (ko) | 2004-12-15 | 2007-01-02 | 엘지전자 주식회사 | 광축 오프셋 값을 이용한 프라이버시 마스크 표시제어장치 및 방법 |
EP1694072A1 (en) * | 2005-02-21 | 2006-08-23 | Samsung Electronics Co., Ltd. | Surveillance system for masking privacy zone and method of setting mask zone |
JP2006304122A (ja) * | 2005-04-25 | 2006-11-02 | Sony Corp | 画像処理装置及び監視カメラ装置 |
JP4696660B2 (ja) * | 2005-04-25 | 2011-06-08 | ソニー株式会社 | 画像処理装置及び監視カメラ装置 |
JP4680033B2 (ja) * | 2005-11-01 | 2011-05-11 | 三菱電機株式会社 | 監視システム及び監視装置 |
JP2007129336A (ja) * | 2005-11-01 | 2007-05-24 | Mitsubishi Electric Corp | 監視システム及び監視装置 |
WO2007069470A1 (ja) * | 2005-12-14 | 2007-06-21 | Matsushita Electric Industrial Co., Ltd. | カメラ装置及びワイパ制御方法 |
US8223214B2 (en) | 2008-03-26 | 2012-07-17 | Elmo Company, Limited | Camera system with masking processor |
KR101237975B1 (ko) | 2011-03-15 | 2013-02-28 | 삼성테크윈 주식회사 | 영상 처리 장치 |
Also Published As
Publication number | Publication date |
---|---|
JP4600894B2 (ja) | 2010-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4600894B2 (ja) | 映像信号処理装置 | |
US6529234B2 (en) | Camera control system, camera server, camera client, control method, and storage medium | |
US7202889B2 (en) | Camera system, control method, communication terminal, and program storage media, for selectively authorizing remote map display | |
US7583414B2 (en) | Image input system | |
US7283161B2 (en) | Image-taking apparatus capable of distributing taken images over network | |
US6208379B1 (en) | Camera display control and monitoring system | |
US7423667B2 (en) | Image pickup device with image masking | |
US7464215B2 (en) | Cradle device, control method and computer program for controlling the attitude of an imaging device | |
KR101113844B1 (ko) | 감시카메라 및 감시카메라의 프라이버시 보호방법 | |
KR100588170B1 (ko) | 감시용 카메라에서의 프라이버시 마스킹 설정방법 | |
US20030067543A1 (en) | Camera server system | |
JP5218484B2 (ja) | 映像信号処理方法 | |
JP4684905B2 (ja) | カメラ制御システム | |
JPH10191306A (ja) | 画像伝送システム | |
JP3817309B2 (ja) | カメラ制御システム | |
JP3287382B2 (ja) | カメラ制御システム及び方法 | |
JPH05153458A (ja) | 遠隔制御監視テレビカメラシステム | |
JP3658076B2 (ja) | カメラ制御システム及びその映像表示方法 | |
JP2005051612A (ja) | 撮像装置及び撮像方法 | |
KR101193129B1 (ko) | 다자 동시 제어를 허용하는 실시간 원격 360도 전방향 영상 감시 시스템 | |
JP2001333319A (ja) | 映像制御システム及びカメラサーバ及び撮像装置及びその制御方法 | |
JP3253834B2 (ja) | 画像処理システム | |
JP3726972B2 (ja) | 被写体認識装置および方法 | |
JP4655059B2 (ja) | カメラサーバシステム、およびプログラム | |
TWI752465B (zh) | 圖像處理系統、圖像處理方法及程式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060725 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100304 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100511 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100705 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100824 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100922 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |