JP2007053660A - 静止画像の特殊再生機能を有する画像再生装置、画像再生プログラム、画像ファイルのデータ構造、および画像再生方法 - Google Patents

静止画像の特殊再生機能を有する画像再生装置、画像再生プログラム、画像ファイルのデータ構造、および画像再生方法 Download PDF

Info

Publication number
JP2007053660A
JP2007053660A JP2005238549A JP2005238549A JP2007053660A JP 2007053660 A JP2007053660 A JP 2007053660A JP 2005238549 A JP2005238549 A JP 2005238549A JP 2005238549 A JP2005238549 A JP 2005238549A JP 2007053660 A JP2007053660 A JP 2007053660A
Authority
JP
Japan
Prior art keywords
image
reproduction
fluctuation
still
still image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005238549A
Other languages
English (en)
Other versions
JP4577150B2 (ja
Inventor
Yasushi Oki
裕史 大木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2005238549A priority Critical patent/JP4577150B2/ja
Publication of JP2007053660A publication Critical patent/JP2007053660A/ja
Application granted granted Critical
Publication of JP4577150B2 publication Critical patent/JP4577150B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 鑑賞者に、リアルな感覚、躍動感、または時間の流れを意識させるための新しい静止画再生技術を提供する
【解決手段】 本発明の画像再生装置は、画像入力部、および揺らぎ再生部を備える。この画像入力部は、静止画像を取り込む。一方、揺らぎ再生部は、静止画像の再生表示に揺らぎ運動を付加する。この揺らぎ運動は、微妙な動きを捉えた連写画像や、ノイズ重畳や画像変形によって作成することが好ましい。このように静止画像が揺らぎ運動することにより、時間の流れを意識させるリアルな静止画再生が可能になる。
【選択図】 図2

Description

本発明は、静止画像を特殊再生する技術に関する。
近年、電子ペーパーなどの多様な表示装置が開発されている(特許文献1など)。また、これら表示装置に合わせて、電子新聞その他の電子出版物をデータ提供するビジネスモデルも多数提案されている。ところで、この種の電子出版物は、従来の紙媒体と同様に、新聞写真やグラビア写真などを静止画像のまま表示する。
一方、MPEGなどの動画ファイルフォーマットや、DVD再生装置などの普及に伴い、映画などの長時間にわたる動画再生を手軽に鑑賞することが可能になっている。
このように、従来の画像再生は、静止画像と動画像とに二極分化されている。その内、静止画像は、時間軸方向の動き情報が存在しない。そのため、鑑賞者にとって、静止画像は時間の凍り付いた世界となる。
特開2004−54184号公報
本発明は、従来の静止画像の再生技術とは別の新しい観点で、鑑賞者に対して、リアルな感覚、躍動感、または時間の流れなどを意識させるための新しい静止画再生技術を提供することを目的とする。
《1》 本発明の画像再生装置は、画像入力部、および揺らぎ再生部を備える。
この画像入力部は、静止画像を取り込む。
一方、揺らぎ再生部は、静止画像の再生表示に揺らぎ運動を付加する。
《2》 なお好ましくは、画像入力部は、揺らぎ運動に対応する画像変化を示す複数の静止画像を取り込む。揺らぎ再生部は、これら複数の静止画像の切り換え表示を繰り返すことによって、静止画像の再生表示に揺らぎ運動を付加する。
《3》 また好ましくは、揺らぎ再生部は、ノイズ重畳、画像変形、空間フィルタ処理、および階調変換処理からなる群の少なくとも一つの画像処理を前記静止画像に施すことによって、静止画像を増やす。揺らぎ再生部は、増えた静止画像の切り換え表示を繰り返すことにより、静止画像の再生表示に揺らぎ運動を付加する。
《4》 なお好ましくは、揺らぎ再生部は、3枚以上の静止画像について折り返し再生を繰り返すことにより、静止画像の再生表示に揺らぎ運動を付加する。
《5》 また好ましくは、揺らぎ再生部は、画像再生の折り返し位置を時間変化させる。
《6》 本発明の画像再生プログラムは、コンピュータを、上記《1》ないし《5》のいずれか1項に記載の前記画像入力部、および前記揺らぎ再生部として機能させるためのプログラムである。
《7》 本発明の画像ファイルのデータ構造は、再生指令のデータと、静止画像のデータとを備える。
この再生指令のデータは、コンピュータを、上記《1》ないし《5》のいずれか1項に記載の画像入力部、および揺らぎ再生部として機能させるための指令データである。
一方、この静止画像のデータは、画像入力部が取り込むためのデータである。
《8》 本発明の画像再生方法は、静止画像の画像再生方法であって、静止画像を取り込むステップと、静止画像の再生表示に揺らぎ運動を付加するステップとを備える。
本発明では、静止画像に揺らぎ運動を付加することで、静止画像に時間変化を与える。そのため、時間の止まった印象ではなく、揺らぐことによる躍動感や、時間経過の途中であることの実在感を、静止画像の鑑賞者に与えることが可能になる。
[本実施形態の構成説明]
図1は、本実施形態の画像再生装置21を中心としたシステム構成を示す図である。
画像再生装置21は、画像入力部22、および揺らぎ再生部23から概略構成される。この画像再生装置21の構成は、コンピュータ上で画像再生プログラムを実行することによって、ソフトウェア的に実現してもよい。また、ハードウェア構成により実現してもよい。
画像入力部22は、電子カメラ11や記録装置25や画像読取装置や通信媒体などから、静止画像の画像ファイルを取り込む。
一方、揺らぎ再生部23は、取り込んだ静止画像の再生表示に揺らぎ運動を付加して、表示装置24に表示する。また、揺らぎ再生部23は、この揺らぎ運動を付加する再生指令のデータと、静止画像のデータとを含む画像ファイルを生成し、この画像ファイルを記録装置25に記録することもできる。
[本実施形態の動作説明]
図2は、本実施形態の動作を説明する流れ図である。以下、図2に示すステップ番号の順番に沿って、動作を説明する。
ステップS0: 画像入力部22は、ユーザー入力などの指示に従って、静止画像の画像ファイルを取り込む。
ステップS1: 画像入力部22は、取り込んだ画像ファイルのEXIF情報を参照して、画像ファイルの撮影時刻を情報取得する。画像入力部22は、この撮影時刻に近接した画像ファイルを画像入力元に照会して検索する。この検索の結果、撮影時刻の近接した画像ファイルが存在する場合、画像入力部22は、連写撮影された画像ファイルの一群として取り込む。
なお、連写撮影を示すフォルダー構造や関連付けや付随情報などにより、連写撮影された画像の群を検出して、取り込んでもよい。
ステップS2: 揺らぎ再生部23は、ステップS0で取り込んだ画像ファイルのファイル形式を解析し、再生指令のデータがファイル内に有れば読み出す。
この再生指令のデータは、揺らぎ再生部23が静止画像の再生動作を決定する処理(後述するステップS3,S5,S7など)に使用される。なお、この再生指令のデータがファイル内に存在しない場合、揺らぎ再生部23は、画像再生装置21にデフォルトやユーザー操作で事前設定された再生指令を使用して、静止画像の再生動作を決定する。
ステップS3: 揺らぎ再生部23は、再生指令に基づいて、静止画像のバリエーションを増やすか否かを決定する。
静止画像のバリエーションを増やす場合、揺らぎ再生部23はステップS4に動作を移行する。
静止画像のバリエーションを増やさない場合、揺らぎ再生部23はステップS5に動作を移行する。
ステップS4: 揺らぎ再生部23は、下記(1)〜(4)の内、少なくとも一つの画像処理を静止画像に施すことで、静止画像のバリエーションを増やす
(1)ノイズ重畳,
(2)画像変形,
(3)空間フィルタ処理,
(4)階調変換処理
図3は、静止画像にノイズ重畳して、静止画像のバリエーションを増やすケースを示す図(モニタ上の中間調画像の写真を含む)である。ここでは、重畳するノイズの頻度や振幅や空間周波数成分を変化させることにより、揺らぎ運動に対応する画像変化を示す複数フレーム分の静止画像を生成している。
図4は、静止画像を画像変形して、静止画像のバリエーションを増やすケースを示す図(モニタ上の中間調画像の写真を含む)である。ここでは、画面中央部を局所的に拡大して歪ませる画像変形をその拡大率を変えて実施し、揺らぎ運動に対応する画像変化を示す複数フレーム分の静止画像を生成している。
また、静止画像に空間フィルタ処理を施すことにより、輪郭部分を強調する(あるいは弱める)ことで、静止画像のバリエーションを増やすことも可能である。また、静止画像に対してε−フィルタなどの非線形な空間フィルタ処理を施すことにより、静止画像に含まれる微細な絵柄やノイズを強調する(あるいは弱める)ことで、静止画像のバリエーションを増やすことも可能である。
また、静止画像に階調変換処理を施すことにより、静止画像の明暗配分を変えて、静止画像のバリエーションを増やすことも可能である。また、静止画像に対してレチネックス法などの非線形な階調変換処理を施すことにより、静止画像の暗部や明部に含まれる階調情報を強調する(あるいは弱める)ことで、静止画像のバリエーションを増やすことも可能である。
なお、ステップS1で取り込んだ連写撮影された静止画像の一群についても、上述した画像処理をそれぞれ施すことにより、静止画像の数を更に増やしてもよい。
ステップS5: 揺らぎ再生部23は、再生指令に従って、片方向再生/折り返し再生のいずれかを選択する。
片方向再生が選択された場合、揺らぎ再生部23は、ステップS6に動作を移行する。
一方、折り返し再生が選択された場合、揺らぎ再生部23は、ステップS7に動作を移行する。
ステップS6: 揺らぎ再生部23は、複数の静止画像(バリエーション画像や、連写画像など)を片方向の再生順に従って、所定時間おきの切り換え表示を繰り返す。
図5に示すような連写画像では、バスが片方向に微小移動する動作を何度も繰り返すような、再生表示が行われる。この再生表示では、片方向の動きを非連続に繰り返すため、メリハリの強い揺らぎ運動が得られる。
このような再生表示の完了後、揺らぎ再生部23はステップS10に動作を移行する。
ステップS7: 揺らぎ再生部23は、再生指令に従って、折り返し再生の周期を変動させるか否かを決定する。
周期を変動させる場合、揺らぎ再生部23は、ステップS9に動作を移行する。
一方、周期を変動させない場合、揺らぎ再生部23は、ステップS8に動作を移行する。
ステップS8: 揺らぎ再生部23は、複数の静止画像(バリエーション画像や、連写画像など)を双方向に往復する再生順に従って、所定時間おきの切り換え表示を繰り返す。
図5に示すような連写画像では、バスが双方向に微小振動するような、再生表示が行われる。この再生表示では、双方向の往復運動を繰り返すため、動きの飛び(非連続性)が小さく、図6[A]に示すような滑らかで周期的な揺らぎ運動が得られる。
このような再生表示の完了後、揺らぎ再生部23はステップS10に動作を移行する。
ステップS9: 揺らぎ再生部23は、ステップS8と同様に、双方向に往復する再生順に従って静止画像を切り換え表示する。ただし、図6[B]に示すように、折り返し位置を乱数や1/fノイズなどで変化させる。その結果、動きの飛び(非連続性)が小さく滑らかで、かつ動き周期と動きパターンが時間変化する揺らぎ運動が得られる。
ステップS10: 揺らぎ再生部23は、ユーザー入力により画像ファイルの記録指示を受けると、再生指令のデータと静止画像のデータとを、予め定められたファイルデータ形式に従って格納して、画像ファイルを生成する。例えば、JPEG画像ファイルでは、非画像領域であるヘッダ領域やアプリケーションセグメントに再生指令のデータを格納することが好ましい。
揺らぎ再生部23は、このように作成された画像ファイルを、記録装置25に記録保存する。
[本実施形態の効果など]
以上説明したように、本実施形態では、静止画像に揺らぎ運動を付加して再生表示する。そのため、静止画像でありながら、鑑賞者に時間軸の変化を感じさせることが可能になる。
特に、本実施形態では、微妙な揺らぎ運動を連写撮影した静止画像群を繰り返し再生することにより、被写体の現実の微妙な揺らぎ運動を観ているかのようなリアルな存在感を鑑賞者に与えることができる。
さらに、従来の動画像ファイルであれば、1秒間に30〜60フレーム程度の動画像が必要となる。しかし、本実施形態では、それよりもはるかに少ない静止画像があれば、長時間にわたる揺らぎ運動を実現できる。したがって、本実施形態の画像ファイルは、動画像ファイルのようにファイル容量が過度に大きくならず、かつ静止画像一つ一つの解像度を高くすることも可能になる。その結果、従来の動画像とは明らかに異なる、静止画再生の延長にある高解像度の感動も秘めた新しい静止画再生を実現することができる。
また、本実施形態では、静止画像に画像処理を施すことによって、揺らぎ運動に対応する画像変化を示す静止画像を増やす。したがって、たとえ静止画像1フレームであっても、静止画像に揺らぎ運動を付加することが可能になる。
特に、ノイズ重畳により静止画像のバリエーションを増やした場合、ザワザワとしたノイズが浮かび上がるような印象の揺らぎ運動を再生表示に付加することができる。
また、画像変形により静止画像のバリエーションを増やした場合、生き物のように画像が躍動する印象の揺らぎ運動を再生表示に付加することができる。
さらに、空間フィルタ処理により静止画像のバリエーションを増やした場合、画像中の空間周波数成分が変動する印象の揺らぎ運動を再生表示に付加することができる。
また、階調変換処理により静止画像のバリエーションを増やした場合、照明光がゆらゆらと明暗変化するような印象の揺らぎ運動を再生表示に付加することができる。
さらに、これらの画像処理を組み合わせることによって、多様な印象の揺らぎ運動を再生表示に付加することが可能になる。
また、本実施形態では、連写画像それぞれに画像処理を加えることにより、多数の静止画像を得ることもできる。これら多数の静止画像を、動きの近い順や撮影時刻順に沿って繰り返し再生することにより、多様な揺らぎ運動を静止画像に与えることが可能になる。その結果、静止画像の再生表示に、変化に富んだ揺らぎ運動を付加することが可能になる。
さらに、本実施形態では、3枚以上の静止画像が得られれば、再生順を往復する折り返し再生が可能になる。この折り返し再生は往復運動となるため、折り返し位置において動きの飛び(非連続性)が小さく、ゆらゆらとした滑らかな揺らぎ運動を静止画像に与えることができる。
また、本実施形態では、折り返し位置を時間変化させることにより、折り返し再生の周期を変動させる。その結果、静止画像の揺らぎ運動が絶えず変化するようになり、鑑賞者に飽きを感じさせない再生表示が可能になる。
[実施形態の補足事項]
なお、本実施形態では、独立に画像再生装置21を構成するケースについて説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、電子カメラ内に画像再生装置21を搭載してもよい。この場合、電子カメラの搭載モニタや、電子カメラに接続した外部モニタに対して、上述した静止画像再生を行うことが可能になる。また、表示装置内に、上述した画像再生装置21を搭載してもよい。
また、本実施形態では、複数の静止画像の切り換え表示により、揺らぎ表示を実現している。しかしながら、実施形態はこれに限定されるものではない。例えば、1枚の静止画像をメモリ上に格納し、メモリから読み出す位置を時間変化させるなどの処理で、静止画像の再生表示に揺らぎ運動を付加してもよい。
以上説明したように、本発明は、静止画像の画像再生などに利用可能な技術である。
画像再生装置21を中心としたシステム構成を示す図である。 本実施形態の動作を説明する流れ図である。 静止画像にノイズ重畳して、静止画像のバリエーションを増やすケースを示す図(モニタ上の中間調画像の写真を含む)である。 静止画像を画像変形して、静止画像のバリエーションを増やすケースを示す図(モニタ上の中間調画像の写真を含む)である。 片方向再生と折り返し再生の様子を説明する図(モニタ上の中間調画像の写真を含む)である。 周期一定の折り返し再生と、周期変動する折り返し再生との違いを説明する図である。
符号の説明
11…電子カメラ,21…画像再生装置,22…画像入力部,23…揺らぎ再生部,25…記録装置

Claims (8)

  1. 静止画像を取り込む画像入力部と、
    前記静止画像の再生表示に揺らぎ運動を付加する揺らぎ再生部と
    を備えたことを特徴とする画像再生装置。
  2. 請求項1に記載の画像再生装置において、
    前記画像入力部は、前記揺らぎ運動に対応する画像変化を示す複数の前記静止画像を取り込み、
    前記揺らぎ再生部は、複数の前記静止画像の切り換え表示を繰り返すことにより、前記静止画像の再生表示に前記揺らぎ運動を付加する
    ことを特徴とする画像再生装置。
  3. 請求項1または請求項2に記載の画像再生装置において、
    前記揺らぎ再生部は、ノイズ重畳、画像変形、空間フィルタ処理、および階調変換処理からなる群の少なくとも一つの画像処理を前記静止画像に施すことにより、前記静止画像を増やし、増えた静止画像の切り換え表示を繰り返すことにより、前記静止画像の再生表示に前記揺らぎ運動を付加する
    ことを特徴とする画像再生装置。
  4. 請求項2または請求項3に記載の画像再生装置において、
    前記揺らぎ再生部は、3枚以上の前記静止画像について折り返し再生を繰り返すことにより、前記静止画像の再生表示に前記揺らぎ運動を付加する
    ことを特徴とする画像再生装置。
  5. 請求項4に記載の画像再生装置において、
    前記揺らぎ再生部は、画像再生の折り返し位置を時間変化させる
    ことを特徴とする画像再生装置。
  6. コンピュータを、請求項1ないし請求項5のいずれか1項に記載の前記画像入力部、および前記揺らぎ再生部として機能させるための画像再生プログラム。
  7. コンピュータを、請求項1ないし請求項5のいずれか1項に記載の前記画像入力部、および前記揺らぎ再生部として機能させるための再生指令のデータと、
    前記画像入力部が取り込むための静止画像のデータと
    を備えたことを特徴とする画像ファイルのデータ構造。
  8. 静止画像の画像再生方法であって、
    前記静止画像を取り込むステップと、
    前記静止画像の再生表示に揺らぎ運動を付加するステップと
    を備えたことを特徴とする画像再生方法。
JP2005238549A 2005-08-19 2005-08-19 静止画像の特殊再生機能を有する画像再生装置 Active JP4577150B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005238549A JP4577150B2 (ja) 2005-08-19 2005-08-19 静止画像の特殊再生機能を有する画像再生装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005238549A JP4577150B2 (ja) 2005-08-19 2005-08-19 静止画像の特殊再生機能を有する画像再生装置

Publications (2)

Publication Number Publication Date
JP2007053660A true JP2007053660A (ja) 2007-03-01
JP4577150B2 JP4577150B2 (ja) 2010-11-10

Family

ID=37917793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005238549A Active JP4577150B2 (ja) 2005-08-19 2005-08-19 静止画像の特殊再生機能を有する画像再生装置

Country Status (1)

Country Link
JP (1) JP4577150B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010283584A (ja) * 2009-06-04 2010-12-16 Casio Computer Co Ltd ファイル生成装置、ファイル生成方法、及びファイル生成プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001013939A (ja) * 1999-06-29 2001-01-19 Hitachi Maxell Ltd デジタル画像情報の制作表示方法
JP2004336682A (ja) * 2003-05-07 2004-11-25 Sony Corp 画像記録再生装置及び画像記録再生装置の制御方法
JP2005136673A (ja) * 2003-10-30 2005-05-26 Konica Minolta Holdings Inc 画像再生装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001013939A (ja) * 1999-06-29 2001-01-19 Hitachi Maxell Ltd デジタル画像情報の制作表示方法
JP2004336682A (ja) * 2003-05-07 2004-11-25 Sony Corp 画像記録再生装置及び画像記録再生装置の制御方法
JP2005136673A (ja) * 2003-10-30 2005-05-26 Konica Minolta Holdings Inc 画像再生装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010283584A (ja) * 2009-06-04 2010-12-16 Casio Computer Co Ltd ファイル生成装置、ファイル生成方法、及びファイル生成プログラム

Also Published As

Publication number Publication date
JP4577150B2 (ja) 2010-11-10

Similar Documents

Publication Publication Date Title
US7974492B2 (en) Image data reproducing apparatus with changing proportions of combined enlarged images, method of controlling same and control program therefor
JP5522894B2 (ja) 動画のフレーム情報を生成する装置及び方法並びに動画を再生する装置及び方法
JP2014075699A (ja) 動画再生装置、表示制御方法、プログラム及び記憶媒体
JP2010268184A (ja) 撮像装置
RU2014107671A (ru) Устройство формирования данных движущегося изображения, устройство отображения движущегося изображения, способ формирования данных движущегося изображения, способ отображения движущегося изображения, структура данных файла движущегося изображения
JP3603629B2 (ja) 画像処理装置及び画像処理方法
JP5463973B2 (ja) 表示制御装置、表示制御プログラム、および表示制御システム
JP4577150B2 (ja) 静止画像の特殊再生機能を有する画像再生装置
JP4667356B2 (ja) 映像表示装置及びその制御方法、プログラム、記録媒体
JP4484775B2 (ja) 再生装置及び再生方法
JP2009088944A (ja) 文字認識装置、撮像装置及び映像再生装置
JP2004355235A (ja) マンガの表示方法およびマンガを表示する電子機器
JP2003304492A (ja) 画像処理装置
JP3847638B2 (ja) 動画用アイコン生成装置
JP5387701B2 (ja) 画像処理装置
JP4561452B2 (ja) 撮像装置、映像出力方法および映像再生プログラム
JP6166070B2 (ja) 再生装置および再生方法
JP2009010564A (ja) 画像再生装置、画像再生方法、およびプログラム
JP5287700B2 (ja) 画像処理装置及び画像処理プログラム
JP4443387B2 (ja) 動画像再生装置
JP2005117182A (ja) 画像表示装置、画像表示方法、プログラム及び記録媒体
JP5121639B2 (ja) 画像処理装置及び画像処理方法
JP2004080615A (ja) 画像編集装置
JP2004297618A (ja) 画像抽出方法および画像抽出装置
JP2009284411A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100727

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100809

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4577150

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250