JP2002044582A - 収録・再生方法及び収録・再生システム - Google Patents

収録・再生方法及び収録・再生システム

Info

Publication number
JP2002044582A
JP2002044582A JP2000221738A JP2000221738A JP2002044582A JP 2002044582 A JP2002044582 A JP 2002044582A JP 2000221738 A JP2000221738 A JP 2000221738A JP 2000221738 A JP2000221738 A JP 2000221738A JP 2002044582 A JP2002044582 A JP 2002044582A
Authority
JP
Japan
Prior art keywords
information
image
recording
natural
quality deterioration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000221738A
Other languages
English (en)
Other versions
JP4292694B2 (ja
Inventor
Norio Iizuka
宣男 飯塚
Kunio Sato
邦雄 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2000221738A priority Critical patent/JP4292694B2/ja
Publication of JP2002044582A publication Critical patent/JP2002044582A/ja
Application granted granted Critical
Publication of JP4292694B2 publication Critical patent/JP4292694B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 自然情報の収録現場で不正に収録された自然
情報の品質を劣化させることにより、収録段階における
自然情報の権利保護を図る。 【解決手段】 自然情報を収録する際には、当該自然情
報に品質劣化情報を付与し、前記自然情報に前記品質劣
化情報を重畳させて収録し、収録された自然情報を再生
する際には、予め設定された除去方法に基づいて前記重
畳された品質劣化情報を除去することにより前記自然情
報を再生する。自然情報に重畳された品質劣化情報によ
って当該自然情報の品質が損なわれるため、品質劣化情
報の除去を行わない限り、自然情報の利用が限定的にし
か行われないので、不正コピーの防止等、自然情報の権
利保護が図られる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、収録・再生方法及
び収録・再生システムに関し、詳しくは、動きを伴う自
然画像または自然界の音声情報からなる自然情報をコン
テンツとした場合の当該コンテンツの著作権保護等を意
図した収録・再生方法及び収録・再生システムに関す
る。
【0002】
【従来の技術】近年、通信技術や情報処理技術の発展に
伴い、画像情報や音声情報といった比較的データサイズ
の大きな情報も容易にネット上でやり取りできるように
なってきた。また、CD−R(Compact Dis
c − Recordable)などの大容量可搬型記
憶媒体と、その書き込み装置が共に安価に入手できるよ
うになったことから、こうした記憶媒体に画像情報や音
声情報等のコンテンツ情報をコピーして配布することも
容易になってきた。
【0003】かかる技術的な趨勢は、我々に大きな利便
性をもたらす一方で、不正コピーやデータの改ざんある
いは無許可利用といった著作権侵害問題を引き起こして
いることも事実である。著作権侵害問題を回避するため
の従来対策としては、例えば、元の情報に品質劣化情報
を付加することが行われている。これは、正規利用者の
みが品質劣化情報を取り除くことができるようにして、
他の利用者との再生情報品質に差をつけるというもので
ある。画像であれば正規利用者のみが元画像の品質を再
現することができる。
【0004】この種の従来技術は、アナログ情報に対す
るものとディジタル情報に対するものの二種類に区分け
することができる。動きを伴う自然画像(以下「動画
像」という。)を例にすると、前者(アナログ情報に対
するもの)は、アナログビデオテープの帰線期間の信号
を加工して、コピーを行うと動画像の品質が劣化するよ
うにしたものがある。また、アナログ映像伝送(CAT
V等)においては同期信号にスクランブルをかけて許可
システムのみでスクランブルを解除できるようにしたも
のもある。
【0005】一方、後者(ディジタル情報に対するも
の)は、データストリーム中にコピーフラグを設けて機
器に対応させることによるコピー管理を行ったり、暗号
化による当事者以外の閲覧、使用の禁止を行ったりする
もの、または、電子透かしの埋め込みによるコンテンツ
の不正使用等の検出や追跡(編集等されても強固に不可
視の痕跡データを保持する)を行ったりするもの、ある
いは、ステガノグラフィ(深層暗号化技術、電子迷彩技
術)によって不正改ざんの検出を行ったりするものなど
様々な方法がある。
【0006】
【発明が解決しようとする課題】しかしながら、上記従
来技術にあっては、その区分けに関わらず、いずれの方
法も、動画や音声等のコンテンツの生成(ビデオテープ
への収録やデジタイズ処理)後に行われることに変わり
なく、例えば、コンテンツとして利用する動画像の撮
影、及び収録時の段階で、盗撮→複製というような著作
権侵害に対して、即時的に回避対策を講じることができ
ないという本質的な欠点があった。
【0007】例えば、映画やドラマの屋外ロケ、歌手な
どのコンサート、展示会における参考出品の製品展示
等、一般に公開の場所にある映像や音声に基づくコンテ
ンツの製作はその場で収録することによって行われる
が、これらのコンテンツの権利保護を考慮する場合、無
許可の収録を禁止しなければならないものの、ガードマ
ン等による人的な禁止対策しか行えないという問題点が
ある。
【0008】本発明が解決しようとする課題は、動画像
や音声情報からなるコンテンツの収録現場において、即
時的に不正に収録されたコンテンツの品質を劣化させる
ことにより、収録時におけるコンテンツの権利保護を意
図した収録・再生方法及び収録・再生システムを提供す
ることにある。
【0009】
【課題を解決するための手段】本発明は、上記目的を達
成するために、自然情報を収録する際には、当該自然情
報に品質劣化情報を付与し、前記自然情報に前記品質劣
化情報を重畳させて収録し、収録された自然情報を再生
する際には、予め設定された除去方法に基づいて前記重
畳された品質劣化情報を除去することにより前記自然情
報を再生する。
【0010】これによれば、自然情報に重畳された品質
劣化情報によって当該自然情報の品質が損なわれるた
め、品質劣化情報の除去を行わない限り、自然情報の利
用が限定的にしか行われないので、不正コピーの防止
等、自然情報の権利保護が図られる。
【0011】
【発明の実施形態】以下、図面を参照して本発明の実施
形態を詳細に説明する。なお、以下の説明における様々
な細部の特定ないし実例および数値や文字列その他の記
号の例示は、本発明の思想を明瞭にするための、あくま
でも参考であって、それらのすべてまたは一部によって
本発明の思想が限定されないことは明らかである。ま
た、周知の手法、周知の手順、周知のアーキテクチャお
よび周知の回路構成等(以下「周知事項」)については
その細部にわたる説明を避けるが、これも説明を簡潔に
するためであって、これら周知事項のすべてまたは一部
を意図的に排除するものではない。かかる周知事項は本
発明の出願時点で当業者の知り得るところであるので、
以下の説明に当然含まれている。
【0012】図1は、本発明に係る実施形態の原理を説
明するための概念図である。図において、生情報1は収
録対象となる自然画像または自然音声の情報であり、例
えば、自然画像とは、映画やドラマの屋外ロケで収録さ
れ得る動画像の情報であり、自然音声とは、野外ロケや
歌手などのコンサートで収録され得る音声情報等を指す
ものである。そして、このような生情報1には、予め所
定の品質劣化情報2が重畳されており、この品質劣化情
報2は生情報1のコンテンツとしての品質または商品価
値を損なわせるための“擾乱(じょうらん)パターン”
を含むものである。ここで、擾乱パターンとは、品質劣
化情報発生手段3によって作られるものであり、この品
質劣化情報発生手段3で作られる擾乱パターンに付随し
て、品質劣化情報2を再生段階で除去するために必要な
キー情報を有するものである。例えば、生情報1を動画
像とし、品質劣化情報2の擾乱パターンがその動画像に
重畳する光の明滅パターンとすると、光の明滅間隔等の
情報は上記キー情報となる。
【0013】更に図1では、二つのシステム4、5が示
されている。図中“許可システム”と記載された一方の
システム4は、品質劣化情報発生手段3からの上記キー
情報に基づいて、収録された生情報1より品質劣化情報
2を除去して、生情報1′を再生する生情報再生手段6
を有している。これに対して、図中“非許可システム”
と記載された他方のシステム5は、上記許可システム4
が備える生情報再生手段6を有しておらず、したがっ
て、非許可システム5からは品質劣化情報2を重畳した
ままの生情報1が再生されるようになっている。
【0014】例えば、生情報1を動画像とした場合、上
記許可システム4を搭載したカメラ、及び上記非許可シ
ステム5を搭載したカメラはいずれも動画像を撮影して
その画像信号を出力するが、生情報再生手段6を有する
許可システム4を搭載したカメラでは品質劣化情報2を
除去した動画像を出力するのに対して、非許可システム
5を搭載したカメラでは品質劣化情報2を重畳したまま
の動画像を出力する。したがって、生情報再生手段6を
有する許可システム4を搭載したカメラを使用しない限
り、撮影した動画像(フレーム画像)を出力することが
できない。これにより、公開の収録現場で密かに生情報
1の違法収録が行われた場合でも、その収録に非許可シ
ステム5が用いられている限り、品質劣化情報2を重畳
したままのコンテンツ情報のみが違法収録者の手に渡
り、収録現場におけるコンテンツ保護を確実に行うこと
ができる。
【0015】図2は、第1の実施形態の概念構成図であ
る。図において、照明部10は被写体(特に公開の場所
で行われる映画やドラマのロケまたは歌手などのコンサ
ート若しくは展示会等における撮影対象)11に対し
て、照明を目的とする照射に加え光線が発射される。こ
の光線は点滅するもので、そのオンオフは光源制御パル
ス発生部12からの同期パルスによってコントロールさ
れており、光源制御パルス発生部12は被写体11の画
像を撮影する撮像部13の撮影パラメータ(例えば、フ
ィールドタイミングやシャッター速度など)に従って同
期パルスの発生周期を制御する。撮像部13は画像調整
部14から任意に与えられるシャッター速度や絞り値及
びゲイン等の撮影条件に従って被写体11の動画像を撮
像し、その撮像信号を画像処理部15に出力する。画像
処理部15は撮像部13からの撮像信号に含まれる品質
劣化情報を除去する機能を有しており、この画像処理部
15からは品質劣化情報を含まない良好な品質の画像信
号が出力される。
【0016】ここで、図2に示すシステム全体は、前記
原理説明における許可システム4に相当し、照明部10
及び光源制御パルス発生部12は同品質劣化情報発生手
段3に相当し、画像処理部15は同生情報再生手段6に
相当する。
【0017】照明部10は、光源制御パルス発生部12
からの同期パルスに従って点滅する光線を被写体11に
照射する。被写体11それ自体の画像情報は前記原理説
明における生情報1であり、生情報1に重畳された光線
の点滅は、生情報1の品質を劣化させるための付加情報
(品質劣化情報2)である。
【0018】画像処理部15は撮像信号のなかから上記
付加情報を見つけ出して除去する機能を有する。この機
能は、例えば、相関フィルタによって実現することがで
きる。
【0019】図3は、相関フィルタで構成された画像処
理部15の構成図である。当該画像処理部15は上記光
線の点滅に関連する変動パターンが2ビット以上最大7
ビットの任意符号長の任意の変動パターン(但しオー
ル”0”、オール”1”は除く)を設定できる自由度を
備えたものであり、撮像部13からの撮像信号(フレー
ム画像)をフレーム単位に順次に取り込むフレームバッ
ファ20〜26、画像加算器27、28、乗算器29、
30、変動信号レベル画像加算器31、検出フレームバ
ッファ32、除算器33、コントロール回路34、出力
画像セレクタ回路35、マルチプレクサ36、パターン
符号レジスタ37、及びパターン符号ビットカウンタ3
8とで構成される。
【0020】図4は、上記フレームバッファ20〜26
に格納されるフレーム画像F1〜F7を示す図である。升
目の一つ一つはフレーム画像を表しており、各々のフレ
ーム画像には被写体(図では人物像)の自然画像39が
含まれている。このうち、上記パターン符号が「001
0111」であったとすると、フレーム画像(図ではF
3、F5、F6及びF7)には照明部10からの光線によっ
て形成された輝点画像40が生成されており、この輝点
画像40は自然画像39の画質を劣化させるために意図
的に付加された情報、すなわち、品質劣化情報に相当す
る。輝点画像40の点滅パターンは、例えば、フレーム
画像の周期に同期しており、図示の例では、F1→オ
フ、F2→オフ、F3→オン、F4→オフ、F5→オン、F
6→オン、F 7→オンとなっているので、二値信号の論理
0を“オフ”、論理1を“オン”とすれば、この点滅パ
ターンは「・・・・0010111・・・・」という符号列で表
すことができる。すなわち、光源制御パルス発生部12
は、この符号列と、撮像部13の撮影条件(フィールド
タイミングやシャッター速度等)とに従って、照明部1
0に与えるための同期パルスを発生する。
【0021】再び図3に戻り、各回路の動作原理を説明
する。各フレームバッファ20〜26の出力は画像加算
器27、28に接続されており、これらの画像加算器2
7、28の出力はそれぞれ乗算器29、30を介して変
動信号レベル加算器31に接続されている。変動信号レ
ベル加算器31の出力はフィルタリング画像格納用のフ
レームバッファ32に接続されており、フレームバッフ
ァ32の出力は除算器33を介して出力画像セレクタ回
路35に接続されている。
【0022】画像加算器27はゲーティング制御レジス
タ27aを有し、ゲーティング制御レジスタ27aはコ
ントロール回路34からの制御信号(図中破線)により
フレームバッファ20〜26に格納されるフレーム画像
において点灯タイミング(”1”)に対応するフレーム
画像のみが有効になるようにゲート制御する。図4のケ
ースを例に挙げると、フレーム画像F3、F5〜F7が点
灯画像にあたるので、ゲーティング制御レジスタ27a
はフレームバッファ22、24〜26のフレーム画像の
みの結線を有効にするようにコントロール回路34によ
って制御される。
【0023】そして、画像加算器27は点灯タイミング
のフレーム画像の加算総和を求めるのである。
【0024】画像加算器28はゲーティング制御レジス
タ28aを有し、ゲーティング制御レジスタ28aはコ
ントロール回路34からの制御信号(図中破線)により
フレームバッファ20〜26に格納されるフレーム画像
において消灯タイミング(”0”)に対応するフレーム
画像のみが有効になるようにゲート制御する。図4のケ
ースを例に挙げると、フレーム画像F1、F2、F4が消
灯画像にあたるので、ゲーティング制御レジスタ27a
はフレームバッファ20、21、23のフレーム画像の
みの結線を有効にするようにコントロール回路34によ
って制御される。
【0025】そして、画像加算器28は消灯タイミング
のフレーム画像の加算総和を求めるのである。
【0026】乗算器29、30はコントロール回路34
からの制御信号(図中破線)により制御され、それぞれ
点灯パターンで、1周期(フレーム画像7枚分)での
“0”(OFF)のフレーム画像と“1”(ON)のフ
レーム画像の数が異なる場合、それらの総和の重み付け
を等価させ、点灯総和画像(“1”のフレーム画像の総
和)から消灯総和画像(“0”のフレーム画像の総和)
を減ずるための係数付与をするという機能を有する。図
4のケースを例に挙げると、フレーム画像F1〜F7
内、点灯タイミングのフレーム画像がF3、F5〜F7
4枚あるので、コントロール回路34により乗算器29
には重み付けとして4/7が初期設定においてセットさ
れる。一方、フレーム画像F1〜F7の内、消灯タイミン
グのフレーム画像がF1、F2、F4と3枚あるので、コ
ントロール回路34により乗算器30には重み付けとし
て−3/7が初期設定においてセットされる。
【0027】変動信号レベル画像加算器31は、重み付
けされた点灯パターンのフレーム画像の総和から重み付
けされた消灯パターンのフレーム画像の総和を減算する
という機能を有する。
【0028】このような処理の結果、検出フレームバッ
ファ32には、撮像部13から出力されたフレーム画像
に含まれている品質劣化情報の重畳強度を表す画像が格
納される。
【0029】なお、検出フレームバッファ32に格納さ
れる画像は、被写体に対して照射される自然の光の成分
をすべて打ち消し、いわば、暗闇の中で、外乱光を照射
したときのような画像となる。
【0030】出力画像セレクタ回路35はコントロール
回路34からの制御信号(図中破線)により制御され、
一方の入力35aは、撮像部13の出力と接続されてお
り、他方入力35bは、除算器33を介して、検出フレ
ームバッファ32からの出力と接続されている。そし
て、コントロール回路34からの制御信号に従って、一
方入力35aまたは他方入力35bの信号を択一的に選
択する。制御信号がHレベルであれば、それは、今回入
力された撮像部13からの入力画像は、消灯タイミング
であるため補正は不要であり、一方入力35aを選択
し、Lレベルであれば今回入力された撮像部13からの
入力画像は点灯タイミングであるため、図4の自然画像
39に対して、輝点画像40によって輝度が上げられて
いる、すなわち自然画像39が汚されているということ
になるので、補正された画像である他方入力35bを選
択する。
【0031】また、コントロール回路34は、パターン
符号ビットカウンタ38とパターン符号レジスタ37の
符号ビットによって生成されるフレーム画像の符号列対
応値に基づいて制御信号の論理を決定し、同符号列対応
値が論理0(輝点画像40を含まない)であれば、制御
信号をHレベルとし、同符号列対応値が論理1(輝点画
像40を含む)であれば、制御信号をLレベルとする。
【0032】したがって、出力画像セレクタ回路35
は、フレームバッファ26から取り出されたフレーム画
像に輝点画像40が含まれていない場合は入力35aを
選択して同フレームバッファ26から取り出されたフレ
ーム画像の画像信号をそのまま出力する一方、同フレー
ム画像が輝点画像40を含んでいる場合は入力35bを
選択して検出フレームバッファ32に格納され、除算器
33を介して取り出された自然画像の画像信号を出力す
る。
【0033】この構成によれば、相関フィルタで構成さ
れた画像処理部15により、フレーム画像に重畳された
輝点画像40を除去することができ、意図的に付加され
た品質劣化情報を取り除いた自然画像を再生することが
できる。
【0034】その結果、当該画像処理部15を具備しな
いその他の撮像システム、または同画像処理部を具備し
ていても、光源の点滅パターンに対応するパターン符号
が予め設定されていない撮像システム(非許可システ
ム)では、上記機能を備えないため、品質劣化情報を重
畳したままの自然画像を再生出力するので、撮像したそ
のものの自然画像が得られないこととなり、収録段階に
おいて、肖像権、著作権侵害等の問題に対応することが
できる。
【0035】なお、図2における撮像部13はフレーム
画像を出力できるものであり、例えば、アナログ方式な
いしディジタル方式のカムコーダである。このカムコー
ダは、典型的には60フィールド/秒、2フィールドで
1フレームのインタレース記録を行うものであるが、静
止画像の取得処理として各フレーム(またはフィール
ド)に着目すれば、そのまま静止画カメラにも応用する
ことが可能である。また、以下ではインターレース記
録、すなわち、各フレームを2つのフィールドに分け、
フレームレートを60フィールド/秒とする例について
説明するが、これに限定されない。他のフレームレート
やノンインタレース(プログレッシブ記録)の撮像シス
テムであってもかまわない。
【0036】さて、本発明において、品質劣化情報を許
可システムにおいてのみ、除去する方法として、撮像部
に現在一般的に用いられている撮像系からの画像時系列
を用いる構成方法を述べたが、図3の画像処理部15
(相関フィルタ)以外にも同様の機能を有するものであ
れば適宜変更可能である。
【0037】たとえば、撮像部13に画像処理部15の
機能を一体化させれば、撮像部13の出力画像信号その
ものを品質劣化情報が除去された画像信号として得るこ
ともできる。
【0038】図5は、このような撮像系を用いた場合の
変形例である。同図において、1フィールド中における
照明部10のオン期間のタイミング概念図である。この
図において、ハッチング部分は照明部10のオン期間で
あり、この期間の照射光線により、前述の輝点画像40
(品質劣化情報)が形成される。照明部10のオン期間
は、1フィールド中のシャッター開時間との兼ね合いで
設定され、少なくとも1フィールドの時間からシャッタ
ー開時間の最大値を引いた残りの時間が、照明部10の
オン期間に割り当てられる。
【0039】なお、照明部10のオン期間の最小値(品
質劣化時間の最小値)は1/60−シャッター開時間最
大である。(シャッター時間を最大にしても、必ず品質
劣化情報が十分な点灯されることを保証するため、シャ
ッター開時間は、フィールド時間より短くなるように構
成される。例えば、一般的なCCDのシャッター開時間
最大は1/60〜1/1000(s)であるので、撮影
フィールド時間に等しいが、例えば、1/75(s)〜
1/1000(s)とした場合、最低でも(=シャッタ
ー時間が最大でも)、フィールド時間中の劣化照明の点
灯時間が1/60(s)−1/75(s)=3.3(m
s)となるように保証するようにすることができる。
【0040】なお、照明部10のオン/オフに伴う光の
明滅パターン(激しい輝度点滅など)によっては、肉眼
で見た場合に生理学的に不快な感覚を与える可能性があ
る。したがって、これを避けるために、例えば、比較的
輝度変化のおだやかな警告表示を行ったり、あるいは、
一般的民生カメラの多くが近赤外領域に感度を持つこと
を利用して、近赤外光の照射や画角内点灯とすることが
望ましい。
【0041】ところで、上記実施の形態では、撮像部1
3の撮影条件(フィールドタイミング及びシャッター速
度)に基づいて照明部10のオン/オフタイミングを設
定しているが、他の撮像システム(非許可システム)に
おいても、その撮影条件によっては偶然に品質劣化のな
いタイミングで自然画像を収録できてしまう可能性があ
る。
【0042】今、非許可システムが任意の時点で撮影
し、結果として偶然に品質劣化なく撮れる確率は、非許
可システムの各画像取得タイミングでのシャッター時間
が照明部10のオフ期間に収まる確率として捉えること
ができる。
【0043】具体的には、非許可システムのシャッター
時間に非常に短い時間だけ照明部10のオン期間の重な
りが有り得る確率として捉えることができ、例えば、シ
ャッター速度が1/100(s)であるような場合に
0.1msだけ照明部10のオン期間が重なっている場
合である。このような場合、照明の強度によっては、品
質劣化として記録されないこともあり得るが、このよう
なケースも本実施の形態では不適切な時間であるとして
簡単化する。
【0044】許可システムと非許可システムを区別する
ための必要な基本特性は、以下のとおりである(図6
(a)参照)。 (1)許可システムのフレームレート(Ti)よりも早
いフレームレートと、整数倍に遅いフレームレートでは
偶然一致の可能性はないので、無視してもかまわない。 (2)許可システムのシャッター時間(Ts)を短くな
るほど(すなわち、照明部10のオン時間が長くなるほ
ど)、非許可システムにおける撮影タイミングの偶然一
致の可能性は低くなる。 (3)非許可システムのシャッター時間(Tsb)が短
いほど、偶然一致の可能性は高くなる。
【0045】ちなみに、図6(b)は、許可システムの
フレームレート(Ti)が60フレーム/秒、シャッタ
ー時間(Ts)が8msで、非許可システムのフレーム
レート(Tib)が60フレーム/秒、シャッター時間
(Tsb)が7msの時のタイミング例である。この場
合、非許可システムで偶然に正常撮影(品質劣化情報を
排除して自然画像のみ撮影)できる確率は、図6(a)
より、 (Ts−Tsb)/Ti=(8−7)/16.7=5.
9〔%〕 となり、およそ100回のうちの6回程度が成功するこ
とになる。
【0046】一般にCCD撮影データの輝度の設定パラ
メータには、シャッター時間とゲインがあるが、上記の
基本特性より、許可システムは画像品質が維持できるレ
ベルで、できるだけ短いシャッター時間(シャッター速
度優先)とし、且つ、ゲインによって輝度補正するよう
な制御態様とすれば、一般の自動調整のシャッター速度
に対して通常よりも早く設定できるため、偶然一致の確
率を0ないし0に極めて近づけることができる。このよ
うに、偶然の一致という面から見ても実用上十分となる
程度に低い確率に抑えることが可能である。
【0047】また、この偶然一致という可能性は、本実
施形態のシャッターをメカ式とし、画角内にCCDにス
ミア等を発生させるだけの強力な光源をおけば、非許可
システムの電子式シャッターのタイミングが照明OFF
時間に完全に重なっていようと、照明ON時の強烈な光
によってスミア現象を強制的に発生させることができ、
確実に品質劣化した画像にしてしまうことも可能であ
る。
【0048】図7(a)はメカシャッターを有する撮像
デバイスの構成図である。撮像デバイス50は写真レン
ズ等の光学系51と、メカシャッタ52と、カラーフィ
ルタ53と、CCD54とを備え、メカシャッタ52の
開閉時間を制御することにより、許可システムにおける
スミア現象を防止する一方、このようなメカシャッタ5
2を備えない(または備えていたとしてもその開閉時間
の制御を適切に行い得ない)非許可システムにおいては
スミア現象を積極的に発生させて、確実に品質劣化した
画像とすることができる。
【0049】図7(b)は、図7(a)におけるメカシ
ャッタを備える場合のタイミングチャートである。電子
シャッターのオン時間(CCD54の電荷蓄積時間)
は、通常のシャッター時間の2倍の長さにする。例え
ば、通常のシャッター時間を1/1000(s)とすれ
ば、電子シャッターのオン時間を2/1000(s)と
する。照明部10のオンオフに伴う品質劣化情報は、C
CD54の前面に設けられたメカシャッター52を閉じ
ることによりカットする。隣接フィールド(図では2n
フィールドと2n−1フィールド)の照明部10のオン
期間は逆位相となっており、例えば、2nフィールドで
は「オン」から始まるのに対して、2n+1フィールド
では「オフン」から始まっている。
【0050】図8は、自然画像に対する品質劣化情報の
重畳概念図である。上記実施の形態では、人物像等の被
写体に光線を照射し、その反射光を品質劣化情報として
いるが、これに限定されない。要は、自然画像の画質を
損なわせるような情報を付加すればよく、例えば、
(a)に示すように、被写体(人物像)60の背景に発
光体61を配置し、その発光体61からの直接光を品質
劣化情報としてもよく、あるいは、(b)に示すよう
に、被写体60の背景等にスクリーン62を配置し、そ
のスクリーン62に表示された文字列や記号ないしは画
像等を品質劣化情報としてもよい。(c)はスクリーン
62の一例である。スクリーン62は平面発光体(また
は投影体)63に所定の文字列や記号乃至は画像等を表
示するもので、この表示文字列等を被写体60と一緒に
画像に写しこむことができるものである。スクリーン6
2に著作権情報を表示することにより、積極的な権利保
護を主張することができる。
【0051】以上、説明したとおり、本実施の形態によ
れば、動画像や音声情報からなるコンテンツ情報の収録
現場で不正に収録されたコンテンツの品質を劣化させる
ことにより、収録段階におけるコンテンツの権利保護を
意図したコンテンツ保護方法及び保護装置を提供するこ
とができる。しかも、CCDのフィールドタイミングと
シャッタースピードによって、外部の光源を従属的に制
御することとしたため、非許可システムの偶然のタイミ
ング一致という懸念は残るものの、既存のあらゆる方式
の画像記録装置(カムコーダ等)のCCDのタイミング
情報とシャッター情報を利用し、それらの情報を用いて
光源を同期させるだけの簡便な構成でよく、製品コスト
を削減できるという上記懸念を無視しても余りあるメリ
ットが得られる。
【0052】なお、上記実施形態は本発明の意図する範
囲において様々な変形が可能であり、以下のように変形
させることができる。例えば、上記懸念を排除するた
め、メカシャッター等(撮像素子の前に配置した反応速
度数m秒以下の液晶等)を積極的に利用してもよい。こ
の場合、例えば、光源を1m/秒時間の点滅とし、偶数
時間と奇数時間での位相を変えると共に、撮像のシャッ
ター期間(=蓄光時間中)中で、CCDに入る光線を前
段のメカシャッターでカットする(図7参照)。これに
よれば、偶数フィールドと奇数フィールドの位相が異な
るため、偶然にタイミングが一致することがなく、上記
懸念を排除できる。
【0053】また、単純な周期的繰り返しでは、非許可
撮影を効果的に阻止し得ないことも有り得る。例えば、
上記のメカシャッターを用いたとしても、あらかじめ撮
影画角の照明の輝度変動などを測定しておけば容易にタ
イミングをとることが可能である。そこで、明滅パター
ンを非常に長い系列の擬似乱数バイナリパターンで行う
ようにすると好ましい。このようにすると、非常に困難
な符号解析を行わなければならなくなり、計算利用的に
安全性を確保することができる。
【0054】また、画角内全体に対しての全体照明を時
系列的に変動させ、撮影装置の自動シャッターは初期設
定後ロックして、変動データに合わせて画像の全体輝度
を調整しつつ取得することで、品質劣化を除去するよう
にしてもよい。
【0055】また、シャッターという考えを用いずに、
点灯しているまま画像データ取得し、既知のパターンデ
ータを使って補正処理して、該当フレームの検出領域部
分の重畳部分から重畳された分だけ輝度を減算すること
によっても、補正された画像を得ることができる。すな
わち、特定画像領域の輝度領域を輝度が確定できるある
パターン(パルス的変動でなくてもよい)で擾乱し、設
定した特定輝度擾乱を該領域で固定的演算により補正し
てもよい。この場合、固定的に正確な変動分が既知とな
っていなければならないため、固定光源や壁など一定の
場所への照射警告文字などの応用に有効である。撮影前
にキャリブレーション動作を行い、取得装置としての擾
乱領域の指定とレベル設定を行う。
【0056】上記実施の形態では、特に公開の場所で行
われる映画やドラマのロケまたは歌手などのコンサート
若しくは展示会等における撮影対象を被写体11とし、
その被写体11の自然画像に対する権利保護を行うもの
を例示したが、本発明の意図する範囲はかかる例に限定
されない。保護の対象となる各種コンテンツのうち公開
の場所で収録される情報であって、隠し撮りの可能性を
否定できないものであればよく、例えば、自然音声の生
情報であってもよい。以下、そのような場合について詳
述する。
【0057】まず、自然音声に対して本発明を適用する
場合の基本的概念を説明する。音声記録においては、画
像のシャッター時間に相当するものがない。このため、
上記実施形態で採用したような、時分割で正常情報時間
と品質劣化情報重畳時間とを分けるということができな
い。
【0058】これは、離散時間的音声処理(=デジタル
音声処理)による音声録音においては“低域フィルタ”
の適用が必須だからである。撮影システムにおいては、
人間の視覚系の性質が残像効果等により、低いフレーム
レートながらも短時間だけの切り取り画像(例えば、1
5フレーム/秒でありながらも各フレームは1/60シ
ャッターの切り取り画像になること)であっても、知覚
的補完によって動画として感じるように、撮影装置がフ
レーレートに応じた時間変動成分の低域フィルタをかけ
ていない。仮に、低域フィルタによって、フレームレー
ト以上の動きをカットする(画像的には、例えば、15
フレーム/秒であれば67m秒間のシャッタースピード
とする)ような補正を行うと、かえって見づらい動画と
なってしまう。
【0059】フレームレートに比べて高速な画像変動に
対して、低域フィルタを入れていないことで起こり得る
数少ない不具合として、映画、TVなどで車輪などの回
転が一時的にとまったり、逆回転するように見える例が
ある(エイリアス現象)。しかし、たいていの自然画像
はエイリアスを起こすような周期的高速現象がないの
で、この問題は無視できる程度であり、画像においては
時間変動の低域フィルタをかけない方のメリットが大き
い。
【0060】一方、聴覚は、変動周波数が数十KHzに
およぶ高速変動の情報に対する知覚であり、デジタルサ
ンプリングにおいては、低域フィルタを通さない限り、
視覚でごくまれに起こっていたような不具合(エイリア
ス現象)が必ず発生し、ノイズとなって聞こえるという
不都合がある。しかも、音声データは時間とパワーだけ
からなる1次元信号であるため、信号処理のコストは画
像に比べて低く押さえられるし、またあらかじめ低域フ
ィルタを通してあるなど、信号特性が整えられているた
め、波形分離等の信号処理を正確に行うことが可能にな
る。
【0061】そこで、以下の実施形態における音声取得
システムでは、元の生情報と重なるタイミングと帯域で
品質劣化信号を重畳し、それを許可側のシステムで、信
号処理によって除去するようにし、品質劣化のない情報
取得を行うという方法を採用することにする。
【0062】図9は、本実施形態における音声情報収録
の一例である。収録場所70は、公開のロケ現場または
コンサート会場若しくは展示会場等であり、音源71は
収録対象の自然音声(例えば、人間の声、展示品等から
の出力音、楽器等の奏でる音)を発するものである。音
源71の周囲には一つ乃至は複数のマイクロフォン72
〜74が配置されており、これらのマイクロフォン72
〜74によって音源71からの自然音声を拾って収録す
るようになっている。
【0063】また、収録現場内75の任意位置には品質
劣化音を拡声する拡声器75が配置されており、上記マ
イクロフォン72〜74は、音源71からの自然音声と
共に、拡声器75からの品質劣化音75a、75bも同
時に拾って収録するようになっている。品質劣化音75
a、75bは耳障りなノイズ音であってもよいし、特定
の音声警告メッセージであってもよく、これらを常時ま
たは間欠的に流してもよい。また、コンテンツを汚した
くない場合は、上記マイクロフォン72〜74で拾うこ
とが可能な可聴周波数帯域外の音波であってもよい。
【0064】図10(a)は、自然音声取得システムの
概念構成図であり、図示の自然音声取得システムは、拡
声器80、アンプ81、品質劣化情報生成部82、同期
制御部83、一つ乃至複数の自然音声収録部84−iを
備える。なお、iは上記マイクロフォン72〜74の個
数をnとすると、1〜nの間の整数値を持つ。例えば、
n=3とすると、iは1、2、3のいずれかの値を持
つ。
【0065】品質劣化情報生成部82は、例えば、耳障
りなノイズ音または特定の音声警告メッセージ等の品質
劣化信号を生成し、アンプ81はその品質劣化信号を電
力増幅して拡声器80を駆動する。同期制御部83は品
質劣化情報生成部82と自然音声収録部84−iの動作
を同期させるためのクロック信号を発生し、自然音声収
録部84−iはこのクロック信号に従って前置処理部6
6や第iマイク用除去パターン生成部87の動作を制御
しながら、マイクロフォン85で拾った自然音声のなか
から品質劣化情報を除去して、自然音声のみの音声情報
信号を再生出力する。
【0066】ここで、 図10(b)は、信号処理部8
8の一例構成図である。例示の信号処理部88は、第i
マイク用除去パターン生成部87からの除去パターン信
号Aの極性を反転する極性反転部89と、この極性反転
部89の出力と前置処理部86の出力Bとを加算する加
算部90とを有しており、要するに「−A+B」という
“逆位相加算”の演算結果Cを出力する。ここで、マイ
クロフォン85で拾った自然音声(Bに相当)のなかに
含まれている品質劣化情報をA′とするとき、A′=A
であれば、「−A+B」より、上記演算結果CはA′
(=A)を除去した自然音声のみの純粋な音声情報信号
となる。
【0067】したがって、この実施形態によれば、公開
の場所で収録される自然音声に品質劣化信号を重畳する
ことができ、当該品質劣化情報の除去機能を有する特定
の音声収録システム(許可システム)において、マイク
ロフォンで拾った自然音声のなかから品質劣化情報を除
去し、自然音声のみの音声情報信号を再生出力すること
ができる。その結果、当該品質劣化情報の除去機能を有
さない他の音声収録システム(非許可システム)では、
品質が劣化された音声情報しか収録できなくなるため、
隠し録音等の不正行為のメリットを半減せしめて、当該
行為の防止を図ることができる。
【0068】なお、かかる効果を奏するためには、信号
処理部88で行われる“逆位相加算”の条件、すなわ
ち、A′=Aの成立が重要である。それには、品質劣化
情報生成部82で作られる品質劣化信号と、第iマイク
用除去パターン生成部87に格納される除去パターン信
号とのマッチングを図る必要があるが、仮にこれら二つ
の信号(品質劣化信号/除去パターン信号)を正確にマ
ッチングさせたとしても、収録現場70や各マイクロフ
ォン72〜74の音響特性及び配置場所等によって、必
ずしも上記条件(A′=A)を満たしえない。
【0069】そこで、本実施の形態においては、以下の
ような簡便な方法を提案する。図11は、この方法に必
要な要部のシステム変形例であり、自然音声収録部84
−iは、前置処理部86と信号処理部88の間にセレク
タ部91を備える。セレクタ部91は、通常の収録モー
ド時には前置処理部86の出力を信号処理部88に伝え
るが、所定のキャリブレーションモード時には前置処理
部86の出力を第iマイク用除去パターン生成部87に
伝えるというものである。なお、収録モード及びキャリ
ブレーションモードの切り換えは図示しない操作パネル
からの人為的スイッチ操作に応答して行われるようにな
っており、セレクタ部91は、そのモード切り換え信号
に従って切り換え動作を行う。これによれば、所定のキ
ャリブレーションモードに設定することにより、そのと
きにマイクロフォン85で拾った音声情報を前置処理部
86から第iマイク用除去パターン生成部87に取り込
んで保持することができ、当該取り込み情報を除去パタ
ーン信号とすることができる。
【0070】図12は、通常の収録モードと所定のキャ
リブレーションモードを併用する音声収録動作のフロー
チャートである。このフローチャートを実行すると、ま
ず、モード判定を行い(ステップS1)、通常の収録モ
ード(録音モード)であれば、ステップS5〜ステップ
S7を実行する一方、所定のキャリブレーションモード
であれば、ステップS2〜ステップS4を実行する。
【0071】キャリブレーションモードは、収録の最初
で実行し、またはマイクロフォンの位置を変えたりマイ
クロフォンを交換したりした場合にも実行する。すなわ
ち、音響特性が変化したと思われる場合に実行する。キ
ャリブレーションモードにおいては、まず、各マイク入
力処理ブロックを擾乱パターン(除去パターン)記録モ
ードに設定する(ステップS2)。各マイク入力処理ブ
ロックとは、マイクロフォンごとの自然音声収録部84
−iのことであり、また、擾乱パターン記録モードと
は、自然音声収録部84−iのセレクタ部91を切り換
えて、前置処理部86の出力を第iマイク用除去パター
ン生成部87に記録させることをいう。
【0072】次に、スピーカ出力と各マイクサンプリン
グとの同期を開始し(ステップS3)、この動作をキャ
リブレーション終了(例えば、所定時間の経過または人
為的終了操作)まで継続(ステップS4)した後、処理
を終了する。このキャリブレーションモードを実行する
ことによって、第iマイク用除去パターン生成部87に
は、品質劣化情報生成部82で生成された実際の品質劣
化信号に基づく擾乱パターンが記録されることとなる。
なお、このキャリブレーションモードの実行中は不要な
ノイズが擾乱パターンに重畳されることを防止するため
に、できるだけ収録現場70の静粛を保つ必要があるこ
とはもちろんである。
【0073】上記のキャリブレーションモードを実行
後、通常の記録モードを開始すると、まず、各マイク入
力処理ブロックを擾乱除去モードに設定する(ステップ
S5)。擾乱除去モードとは、自然音声収録部84−i
のセレクタ部91を切り換えて、前置処理部86の出力
を信号処理部88に入力し、前述の“逆位相加算”によ
り、第iマイク用除去パターン生成部87に記録させて
おいた除去パターン信号を除去することをいう。次に、
スピーカ出力と各マイクサンプリングとの同期を開始し
(ステップS6)、この動作を録音終了(例えば、所定
時間の経過または人為的終了操作)まで継続(ステップ
S7)した後、処理を終了する。
【0074】したがって、図12の処理によれば、各マ
イクロフォンで拾った実際の品質劣化情報を第iマイク
用除去パターン生成部87に記録し、この記録情報を実
際の録音モード時における収録情報から逆位相減算する
ので、収録現場や各マイクロフォンごとの音響特性を加
味した適切な擾乱除去(品質劣化情報の除去)を行うこ
とができ、例えば、前述の条件(A′=A)を正確化し
て擾乱の除去漏れを防止することができる。
【0075】なお、キャリブレーションモードを実行し
た後も、聴衆の増加等により、キャリブレーションモー
ド時と音響環境が多少変動することがある。この変動は
サンプルデータ単位の処理において、処理誤差の要因と
なり得るため、当該誤差をできるだけ少なくする必要が
ある。そのためには、品質劣化情報に含まれる高調波成
分をできるだけ少なくしておくことが望ましい。高調波
成分と誤差との間に因果関係があるからである。
【0076】上記実施の形態は、以下のとおり変形させ
ることができる。例えば、各マイクロフォンと拡声器を
一体筐体に収めてもよい。この場合、拡声器から各マイ
クロフォンへの回り込みを十分に抑えることができれ
ば、キャリブレーションモードでの品質劣化音声データ
のレベル設定や反射残響などの考慮を不要とすることが
でき、キャリブレーション動作を省くことも可能であ
る。
【0077】また、マイクロフォンと拡声器の位置関係
や音響環境パラメータ等に応じてあらかじめ最適化した
品質劣化情報等を記録しておくことにより、面倒なキャ
リブレーション動作を簡略化することも可能である。
【0078】
【発明の効果】本発明によれば、自然情報(例えば、動
画像や音声情報などからなるコンテンツ)の収録現場で
不正に収録された自然情報の品質を劣化させることによ
り、収録段階における不正コピーの防止等、自然情報の
権利保護を図ることができる。
【図面の簡単な説明】
【図1】本発明に係る実施形態の原理を説明するための
概念図である。
【図2】第1の実施形態の概念構成図である。
【図3】相関フィルタで構成した画像処理部15の構成
図である。
【図4】フレーム画像F1〜F7を示す図である。
【図5】1フィールド中における照明部10のオン期間
のタイミング概念図である。
【図6】許可システムと非許可システムを区別するため
の必要な基本特性図及び許可システムと非許可システム
のフレームレート等比較対象図である。
【図7】メカシャッターを有する撮像デバイスの構成図
である。
【図8】自然画像に対する品質劣化情報の重畳概念図で
ある。
【図9】本実施形態における音声情報収録の一例を示す
図である。
【図10】自然音声取得システムの概念構成図である。
【図11】図10の要部変形システム構成図である。
【図12】通常の収録モードと所定のキャリブレーショ
ンモードを併用する音声収録動作のフローチャートであ
る。
【符号の説明】 1 生情報(自然情報) 2 品質劣化情報 3 品質劣化情報発生手段 4 許可システム(収録手段) 6 生情報再生手段(再生手段) 10 照明部 13 撮像部(収録手段) 15 画像処理部(再生手段)

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 自然情報を収録する際に、当該自然情報
    に品質劣化情報を付与し、前記自然情報に前記品質劣化
    情報を重畳させて収録する収録ステップと、この収録ス
    テップにより収録された自然情報を再生する際に、予め
    設定された除去方法に基づいて前記重畳された品質劣化
    情報を除去することにより前記自然情報を再生する再生
    ステップとからなることを特徴とする収録・再生方法。
  2. 【請求項2】 前記自然情報とは自然画像であり、前記
    品質劣化情報とは、任意に生成された輝度変動情報であ
    ることを特徴とする請求項1に記載の収録・再生方法。
  3. 【請求項3】 前記自然情報とは自然音声であり、前記
    品質劣化情報とは、任意に生成されたノイズであること
    を特徴とする請求項1に記載の収録・再生方法。
  4. 【請求項4】 収録時において、収録すべき自然情報に
    品質劣化情報を付与することにより、前記自然情報に前
    記品質劣化情報を重畳させて収録する収録手段と、 前記収録手段により収録された自然情報の再生時におい
    て、予め設定された除去情報に基づいて前記重畳された
    品質劣化情報を除去することにより再生する再生手段
    と、 を備えたことを特徴とする記録・再生システム。
  5. 【請求項5】 前記自然情報とは自然画像であり、前記
    品質劣化情報とは、任意に生成された輝度変動情報であ
    ることを特徴とする請求項4に記載の収録・再生システ
    ム。
  6. 【請求項6】 前記自然情報とは自然音声であり、前記
    品質劣化情報とは、任意に生成されたノイズであること
    を特徴とする請求項4に記載の収録・再生システム。
JP2000221738A 2000-07-24 2000-07-24 収録・再生方法及び収録・再生システム Expired - Fee Related JP4292694B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000221738A JP4292694B2 (ja) 2000-07-24 2000-07-24 収録・再生方法及び収録・再生システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000221738A JP4292694B2 (ja) 2000-07-24 2000-07-24 収録・再生方法及び収録・再生システム

Publications (2)

Publication Number Publication Date
JP2002044582A true JP2002044582A (ja) 2002-02-08
JP4292694B2 JP4292694B2 (ja) 2009-07-08

Family

ID=18716089

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000221738A Expired - Fee Related JP4292694B2 (ja) 2000-07-24 2000-07-24 収録・再生方法及び収録・再生システム

Country Status (1)

Country Link
JP (1) JP4292694B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007259249A (ja) * 2006-03-24 2007-10-04 Sony Corp 撮像装置、表示方法、およびプログラム
WO2018110022A1 (ja) * 2016-12-13 2018-06-21 パナソニックIpマネジメント株式会社 画像投影システム、画像投影装置、及び画像投影方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007259249A (ja) * 2006-03-24 2007-10-04 Sony Corp 撮像装置、表示方法、およびプログラム
WO2018110022A1 (ja) * 2016-12-13 2018-06-21 パナソニックIpマネジメント株式会社 画像投影システム、画像投影装置、及び画像投影方法

Also Published As

Publication number Publication date
JP4292694B2 (ja) 2009-07-08

Similar Documents

Publication Publication Date Title
JP3377047B2 (ja) ソース識別データをビデオ信号に挿入する方法及び装置
EP2116047B1 (en) Digital cinema anti-camcording method and apparatus based on image frame post-sampling
US7405801B2 (en) System and method for Pulfrich Filter Spectacles
TWI291632B (en) A method and apparatus for protecting digital content using mechanism of storing copy protection information
CA2213524A1 (en) Combined editing system and digital moving picture recording system
US7634134B1 (en) Anti-piracy image display methods and systems
KR20000058138A (ko) 부가 정보 삽입 방법, 부가 정보 검출 방법, 부가 정보삽입 장치 및 부가 정보 검출 장치
JP2004080669A (ja) 監視カメラ装置
RU2241261C2 (ru) Способ и устройство ограничения возможности копирования цифровой информации и устройство записи цифровой информации (варианты)
US20080187170A1 (en) Display Control Device and Display Control Method
KR20100083805A (ko) 불법복제에 대항한 보호 및 검증을 위한 방법, 장치, 및 시스템
JP2002507357A (ja) コンポーネントビデオ信号の保護
JP2004304418A (ja) カメラ
JP2005311604A (ja) 情報処理装置及び情報処理装置に用いるプログラム
JP2006258651A (ja) 不特定撮像装置の検出方法および装置
JP4292694B2 (ja) 収録・再生方法及び収録・再生システム
EP2525345A1 (en) Video display device
WO2007142064A1 (ja) 音楽データに文字データを埋め込んだ複合音響信号を再生する文字データ再生装置
JP2004054710A (ja) 情報処理装置、情報処理方法および情報処理システム
JP2005026759A (ja) 電子透かし埋め込み方法および電子透かし提示装置
JP2677914B2 (ja) 記録再生装置
EP1460841A1 (en) Method of preventing making of unauthorized recordings
JPH0879674A (ja) 動画像検索方式
JP3027317B2 (ja) スチルカメラ付映像記録/再生装置
JP2004048096A (ja) 付加情報重畳装置、付加情報重畳方法、付加情報検出装置および付加情報検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080519

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080729

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090317

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090330

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130417

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130417

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140417

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees