JP2008160770A - 撮影装置、方法およびプログラム - Google Patents

撮影装置、方法およびプログラム Download PDF

Info

Publication number
JP2008160770A
JP2008160770A JP2006350372A JP2006350372A JP2008160770A JP 2008160770 A JP2008160770 A JP 2008160770A JP 2006350372 A JP2006350372 A JP 2006350372A JP 2006350372 A JP2006350372 A JP 2006350372A JP 2008160770 A JP2008160770 A JP 2008160770A
Authority
JP
Japan
Prior art keywords
shooting
image data
compression rate
code amount
target code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006350372A
Other languages
English (en)
Other versions
JP4901460B2 (ja
Inventor
Yasuo Takane
靖雄 高根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2006350372A priority Critical patent/JP4901460B2/ja
Priority to US11/962,759 priority patent/US20080151076A1/en
Publication of JP2008160770A publication Critical patent/JP2008160770A/ja
Application granted granted Critical
Publication of JP4901460B2 publication Critical patent/JP4901460B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4335Housekeeping operations, e.g. prioritizing content for deletion because of storage space restrictions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】撮影条件に応じて圧縮率が変更されうる状況であっても、正確な撮影可能枚数の予測を確保する。
【解決手段】設定された圧縮率f(x)と残撮影可能数とは比例することを利用し、g2(x)=g1(x)×f(x)=(記憶媒体残容量/目標符号量)×f(x)とすることで、デフォルトの残撮影可能数決定関数g1(x)を圧縮率決定関数f(x)で補正し、g2(x)を得る。g2(x)に撮影済み枚数x=x1を代入すれば、モードごとの目標符号量に応じた正確な残撮影可能数が算出される。
【選択図】 図8

Description

本発明は画像データを圧縮符号化して記録する撮影装置に関する。
画像圧縮符号化後のファイル容量は撮影シーンに左右される。このため、一定容量のメディアに記録可能な画像の枚数は、ユーザの撮影の仕方によって異なる。従来はメディアの容量も小さかったため、最低撮影枚数を保証するために、固定長化(プリ圧縮でファイル容量を事前に見積もり、符号量がほぼ一定となるように本圧縮を行う)処理を行い、どんなシーンであっても圧縮率を変更することでファイルの容量をほぼ一定にすることで、最低撮影枚数を確保するとともに、残撮影枚数の表示を行っている。
この方式の場合、残枚数の算出精度は高いが、プリ圧縮を行うため信号処理時間が長く、また、複雑高精細な被写体の撮影では圧縮率が高くなり、逆に圧縮率を高くしても問題がない単調な被写体(一様な壁など)では冗長なファイル容量となっていることが多い。特許文献1〜4はそのような従来技術の一例である。
特開平2−105686号公報 特開2000−175146号公報 特開2004−134940号公報 特開2001−94849号公報
ファイル容量をほぼ一定に保つために圧縮率を変更すると、撮影可能枚数の予測が難しくなり、固定長化を行わない場合はさらに予測が難しい。本発明の目的は、撮影条件に応じて圧縮率が変更されうる状況であっても、正確な撮影可能枚数の予測を確保することにある。
本発明に係る撮影装置は、撮影光学系を介して受光した被写体像を画像データに変換し、画像データを圧縮符号化して所定の記憶媒体に記憶する撮影装置であって、所定の予測関数を用いて、所定の記憶媒体の空き容量に応じた画像データの記憶可能数を算出する算出部と、撮影モードの変更もしくは撮影機能の追加を含む撮影条件を設定する撮影条件設定部と、撮影条件設定部の設定した撮影条件に応じた画像データの目標符号量を設定する目標符号量設定部と、目標符号量設定部の設定した目標符号量に達するような画像データの圧縮率を設定する圧縮率設定部と、圧縮率設定部の設定した圧縮率に基づき、算出部の用いる予測関数を補正する予測関数補正部と、を備える。
この発明によると、撮影条件に応じて設定された目標符号量に基づき、圧縮率が設定された場合、この圧縮率に基づいて撮影可能枚数の予測関数が補正される。従って、目標符号量や圧縮率が撮影条件に応じて変動しても、正確な撮影可能枚数の予測が可能である。
この撮影装置は、画像データに対して電子式ズームを施す電子ズーム部をさらに備え、撮影条件設定部が電子ズーム部による電子ズームのオンを設定した場合、目標符号量設定部は目標符号量を所定の符号量閾値よりも低い値に設定することも可能である。
この撮影装置は、撮影装置の手ぶれを補正する手ぶれ補正部をさらに備え、撮影条件設定部が手ぶれ補正部による手ぶれ補正のオンを設定した場合、目標符号量設定部は目標符号量を所定の符号量閾値よりも低い値に設定することも可能である。
手ぶれ補正部は電子式手ぶれ補正を実行するものであってよい。
予測関数は空き容量に応じた撮影条件ごとの圧縮率を規定するテーブルを含んでもよい。
目標符号量設定部は、撮影光学系のシャッター速度と絞り量との関係を規定するプログラム線図における特定領域内でシャッター速度と絞り量が設定されたことに応じ、目標符号量を所定の符号量閾値よりも増加または低減させることが好ましい。
つまり、露出条件の違いを加味して、圧縮率を最適化することができる。
目標符号量設定部は、撮影光学系のシャッター速度と撮影感度との関係を規定するプログラム線図における特定領域内でシャッター速度と撮影感度が設定されたことに応じ、目標符号量を所定の符号量閾値よりも増加または低減させることが好ましい。
つまり、撮影感度の違いを加味して、圧縮率を最適化することができる。
本発明に係る撮影方法は、撮影光学系を介して受光した被写体像を画像データに変換し、画像データを圧縮符号化して所定の記憶媒体に記憶する撮影方法であって、所定の予測関数を用いて、所定の記憶媒体の空き容量に応じた画像データの記憶可能数を算出するステップと、撮影モードの変更もしくは撮影機能の追加を含む撮影条件を設定するステップと、設定した撮影条件に応じた画像データの目標符号量を設定するステップと、設定した目標符号量に達するような画像データの圧縮率を設定するステップと、設定した圧縮率に基づき、予測関数を補正するステップと、を備える。
上記の撮影方法をコンピュータに実行させるためのプログラムも本発明に含まれる。
本発明に係る撮影装置は、撮影光学系を介して受光した被写体像を画像データに変換し、画像データを圧縮符号化して所定の記憶媒体に記憶する撮影装置であって、所定の予測関数を用いて、所定の記憶媒体の空き容量に応じた画像データの記憶可能数を算出する算出部と、撮影モードの変更もしくは撮影機能の追加を含む撮影条件を設定する撮影条件設定部と、所定の記憶媒体の空き容量に対応した撮影条件ごとの圧縮率を規定するテーブルを記憶する記憶部と、記憶部のテーブルを参照し、撮影条件設定部の設定した撮影条件および所定の記憶媒体の現在の空き容量に対応した圧縮率を設定する圧縮率設定部と、圧縮率設定部の設定した圧縮率に基づき、算出部の用いる予測関数を補正する予測関数補正部と、を備える。
この発明によると、記憶媒体の現在の空き容量および設定された撮影条件に対応する圧縮率をテーブルから特定し、この圧縮率に応じて関数を補正する。従って、目標符号量の設定やプリ圧縮を省略した場合でも、テーブルから特定された圧縮率で補正された関数によって、正確な残撮影可能数を算出することができる。
ただし、どのような画像データを圧縮してもおおよそ撮影条件ごとのデフォルトの目標符号量に達するよう、テーブルに規定する圧縮率には統計的に妥当な値を設定しておく必要がある。
本発明に係る撮影方法は、撮影光学系を介して受光した被写体像を画像データに変換し、画像データを圧縮符号化して所定の記憶媒体に記憶する撮影方法であって、所定の予測関数を用いて、所定の記憶媒体の空き容量に応じた画像データの記憶可能数を算出するステップと、撮影モードの変更もしくは撮影機能の追加を含む撮影条件を設定するステップと、所定の記憶媒体の空き容量に対応した撮影条件ごとの圧縮率を規定するテーブルを記憶するステップと、テーブルを参照し、設定した撮影条件および所定の記憶媒体の現在の空き容量に対応した圧縮率を設定するステップと、設定した圧縮率に基づき、予測関数を補正するステップと、を備える。
上記に記載の撮影方法をコンピュータに実行させるためのプログラムも本発明に含まれる。
この発明によると、撮影条件に応じて設定された目標符号量に基づき、圧縮率が設定された場合、この圧縮率に応じて撮影可能枚数の予測関数が補正される。従って、目標符号量や圧縮率が撮影条件に応じて変動しても、正確な撮影可能枚数の予測が可能である。
また、この発明によると、記憶媒体の現在の空き容量および設定された撮影条件に対応する圧縮率をテーブルから特定し、この圧縮率に応じて関数を補正する。従って、目標符号量の設定やプリ圧縮を省略した場合でも、テーブルから特定された圧縮率で補正された関数によって、正確な残撮影可能数を算出することができる。
図1は本発明の好ましい実施形態に係るカメラ100の概略構成図である。カメラユニット2の正面に配備されたレンズ8には、ズームレンズ及びフォーカスレンズを含む撮影レンズが内蔵されており、ズームレンズを光軸方向に移動させることで焦点距離調節が行なわれるとともに、フォーカスレンズを光軸方向に移動させることによりピント調節が行なわれる。焦点距離調節・ピント調節の指示は、シリアル入出力端子(SIO)14を介してCPU13から送信される。
CCD9の受光面には、多数のフォトセンサが2次元的に配列されており、受光面に入射された被写体光は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。そして、各フォトセンサに蓄積された信号電荷は、図示しないタイミングジェネレータ(TG)から与えられるタイミングパルスに従って読み出され、垂直転送路及び水平転送路を介して信号電荷に応じた電圧信号(画像信号)として出力される。
また、カメラ100には、CCD9からのアナログ信号に対してCDS処理・ゲイン処理などを行うとともに、ディジタルのR,G,B画像データにA/D変換するAFE10と、AFE10からのRGB画像信号を画像信号処理部11がYC画像信号に変換して送出してきたYC画像信号、あるいはRGB補間処理が行われていないCCD−RAWデータを、DRAM2に格納したり、DRAM2のCCD−RAWデータやYC画像信号を読み取って出力する制御などを行うメモリコントローラ3が備えられている。
カメラ100はエンコーダ/LCD信号処理回路7を備えている。エンコーダ/LCD信号処理回路7は、DRAM2に入力されたYC画像信号をNTSC(National TV Standards Committee)信号に変換し、外部のTVモニター150に供給し、当該画像信号に基づく映像を表示させる。また、カメラ100に内蔵されるLCD20にYC画像信号を供給し、当該画像信号に基づく映像を表示させる。
CPU13はカメラ100全体を統括制御する。ROM1はCPU13の実行するプログラム等が格納されている。
DMAC(ダイレクトメモリアクセスコントローラ)5は、画像信号処理部11から入力された画像データ等の各種データを、DRAM2に直接書き出すという動作を実行する。
画像信号処理部11は、AFE10から入力されたCCD−RAW画像データ等に各種の処理を施す。
画像圧縮伸長処理部15は、画像データをJPEGなどの所定の形式で圧縮符号化された画像ファイルに変換し、メディアコントローラ4を介して、外部記憶媒体50に該画像ファイルを記録する。
USB通信部6は、パソコンやプリンタなどの外部機器100と接続し、各種データを送受信する。
手ぶれ補正部17は、例えば画像信号処理部11から供給された映像信号のゆれ等からカメラ100自体のぶれ等の動きベクトル情報を検出し、図示しない撮像素子駆動回路に対し、得られたベクトル情報の逆方向のベクトル分だけCCD9の駆動パルスのスタート位置を移動させるよう指令して、手ぶれの補正を行なう。これを電子式手ぶれ補正という。
リサイザ18は、ズームキーの操作に応じ、画像に電子ズームを施す。電子ズームとは画像の一部を切り出して、その切り出した部分を標準の画角に拡大するために不足する画素値を近隣の画素値により補間処理することにより、画像を電気的に拡大するものである。
なお、第2実施形態のカメラ100ではリサイザ18が、第4実施形態のカメラ100では手ぶれ補正部17が必須であるが、その他の実施形態では必須ではない。
<第1実施形態>
以下、図2のフローチャートを参照し、本発明の好ましい第1実施形態に係る残枚数演算処理の流れを説明する。
S1では、CPU13は、キー操作に応じた撮影モードの設定、あるいはオプションの撮影機能の設定を受け付け、外部記憶媒体50に記憶された撮影済みの画像の枚数を読み出すとともに、設定された撮影モード等に応じた画像記録に関する各種撮影条件を、ROM1から読み出す。
なお、外部記憶媒体50の残容量は、画像1枚あたりの平均データ量に撮影済み画像枚数を乗じた値を、外部記憶媒体50の最大記憶容量から減じれば求まる。従って、外部記憶媒体50の残容量と撮影済みの画像の枚数は、等価な概念である。
S2では、設定の受け付けられた撮影モードを判定する。また、S5・8では、Customモードに対して機能X・Yが追加設定されたか否かを判断する。
ここでは便宜上、撮影モードとして「Auto」または「Custom」の設定が可能であり、追加機能として「モード1機能X」および「モード2機能Y」が設定可能とする。「Custom」とは、従来のスポーツモードや人物モードなどに相当する。しかし当然ながら、これ以外の撮影モードや追加機能が設定可能でもよい。
Autoモードが設定された場合はS3、Customモードが設定された場合はS5、Customモードでさらに「モード1機能X」が設定された場合はS6、Customモードでさらに「モード2機能Y」が設定された場合はS9へ移行する。
S3・6・9では、設定されたモードおよび追加機能ならびに読み出された撮影済み枚数xに応じて画像の目標符号量(圧縮後の画像の符号量を画する値)を設定する。これは、従来の圧縮用の画質設定(例えば、FINE/NORMAL/BASICなどの切り替え)に応じた画像データの目標圧縮率(目標符号量)決定と同様の処理である。
S4・7・10では、画像信号処理部11から継続的に供給されるスルー画像のうち、ある1コマの画像について圧縮処理を行い(プリ圧縮)、概略の符号量が算出される。そして、算出された符号量に基づき、圧縮後の画像データ量がおおよそ設定された目標符号量となる圧縮率を、撮影済み枚数xに応じて決定する関数f(x)を設定する。
具体的には、図7(a)、(b)あるいは(c)のような、撮影済み枚数xに応じた圧縮率を規定する関数f(x)を設定する。
図7(a)の関数は、撮影済み枚数に関わりなく、一定の圧縮率で画像を圧縮するが、図7(b)あるいは(c)のような関数は、撮影済み枚数xの増加に応じてf(x)の傾きが増加するようになっている。これにより、撮影済みの画像が増えていくに従って記憶容量が逼迫し、記録されない画像が発生することを可及的に防ぐ。
図7(b)の関数のように、2次微分係数が常に正であるか、あるいは図7(c)の関数のように、xが所定数x0以上の場合に1次微分係数(傾き)が増加している。図7(b)の関数では、容量満杯間近で、圧縮率が顕著に高められるから、容量が残りわずかな厳しい状況でも撮影を続行できるし、残容量を最後まで使い切るのに有効である。図7(b)のような非線形関数の代わりに、該非線形関数をニュートン近似した線形関数により、容量満杯間近で1次微分係数(傾き)を急激に立ち上げ、この付近での圧縮率を顕著に高めてもよい。
これらの関数によって圧縮率を決定すると、外部記憶媒体50の残容量の減少に応じて、あるいは残容量が一定値未満となったときに圧縮率を増やすことができる。こうして、画像の記憶容量が少なくなったときに、記録されない画像が発生することを可及的に防ぐ。圧縮率決定関数f(x)は図7(a)あるいは(c)のように線形であってもよいし、図7(b)のように非線形であってもよい。あるいは後述するテーブル(図9参照)のような階段関数であってもよい。
そして、設定された関数f(x)に、S1で読み出された撮影済み枚数x=x1を代入し、圧縮率f(x1)を決定する。
さらに、圧縮率決定関数f(x)に基づき、撮影済み枚数xに応じて記憶可能な画像の最大枚数(残撮影可能数)を決定する関数g(x)を変更する。
具体例としては、図8に示すように、デフォルトの残撮影可能数決定関数g1(x)の傾きを、圧縮率f(x)に応じた回転角だけ反時計回りにシフトすることで、傾きの変更された残撮影可能数決定関数g2(x)を得る。圧縮率が高まった分、残撮影可能数が増加するから、これを正確に求めることができるよう、残撮影可能数決定関数が変更されるのである。
すなわち、撮影モードに応じた目標符号量に関わらず、常に一定した目標符号量で画像が圧縮されると仮定した場合の残撮影可能数決定関数g1(x)は、
g1(x)=記憶媒体残容量/目標符号量
である。g1(x)の目標符号量は一定であると仮定されるが、実際には、撮影枚数xが増加するとf(x)によって圧縮率が増加し、目標符号量は、撮影枚数xに応じて減少方向に変化する。このため、g1(x)を用いて算出された残撮影可能数は、実際の残撮影可能数よりも少なく不正確に見積もられるという不都合が生じうる。
そこで、設定された圧縮率と残撮影可能数とは比例することを利用し、
g2(x)=g1(x)×f(x)=(記憶媒体残容量/目標符号量)×f(x)
とすることで、デフォルトの残撮影可能数決定関数g1(x)を圧縮率決定関数f(x)で補正し、g2(x)を得る。g2(x)に撮影済み枚数x=x1を代入すれば、モードごとの目標符号量に応じた正確な残撮影可能数が算出される。算出された残撮影可能数g2(x1)は、LCD20に表示するなどして、ユーザに通知する。
なお、全ての画像が、最大符号量で圧縮されると仮定した場合の、残撮影可能数決定関数g3(x)は、
g3(x)=記憶媒体残容量/最大符号量
である。
g3(x)では、f(x)による圧縮率増加は考慮しておらず、どのような画像も一律に最大符号量で記録されると仮定しているから、g3(x)を用いて算出された残撮影可能数は、実際の残撮影可能数よりも多く見積もられる。これでは、予測された残撮影可能数に達する前に外部記憶媒体50が一杯になる可能性が高い。
圧縮率の変動に応じて変更された関数g2(x)に、撮影済み枚数x=x1を代入すれば、残撮影可能数g2(x1)が算出される。
S11では、LCD20にスルー画を表示し、レリーズスイッチの押下を待機する。
このように、本実施形態では、撮影モードに応じた適切な目標符号量を設定し、シーンに応じた適切な符号量で画像を圧縮記録することができる。加えて、設定された圧縮率に応じて、残撮影可能数決定関数を補正するから、残撮影可能数が正確に算出される。よって、表示された残撮影可能数に達する前に外部記憶媒体50が一杯になったり、表示された残撮影可能数に達してもまだ外部記憶媒体50に画像が記憶できたりといったような、不正確な残撮影可能数の通知を防ぐことができる。
<第2実施形態>
以下、図3のフローチャートを参照し、本発明の好ましい第2実施形態に係る残枚数演算処理の流れを説明する。
S21〜S31は、第1実施形態のS1〜S11と同様である。ただし、S23,S26,S29で設定される目標符号量をそれぞれN1、N2、N3とし、標準の目標符号量をNとすると、N3<N1=N<N2という関係を満足するものとする。
S32では、図示しないズームキーの操作を検出する。ズームキーの操作によって指示された倍率が光学ズームの対応範囲内であればS33、光学ズームの対応範囲外すなわち電子ズームの対応範囲であればS34に移行する。
S33では、ズームキーの操作に応じ、レンズ8を望遠側または広角側に移動させる。
S34では、リサイザ18は、ズームキーの操作に応じ、画像に電子ズームを施す。そして、S29に戻り、目標符号量N3を設定する。
電子ズームとは画像の一部を切り出して、その切り出した部分を標準の画角に拡大するために不足する画素値を近隣の画素値により補間処理することにより、画像を電気的に拡大するものである。従って、電子ズームの倍率が大きい程、上述した補間処理により画像(画質)の劣化が大きくなる。このため、電子ズームの施された画像の符号量を標準値Nよりも小さい値N3にしても、画質劣化の影響は小さく、残撮影可能枚数の確保のための方策として適切である。
つまり、電子ズームの施された画像の画質保持よりも、残撮影可能枚数の確保を優先することができるし、残撮影可能枚数の正確な算出も行うこともできる。
<第3実施形態>
以下、図4のフローチャートを参照し、本発明の好ましい第3実施形態に係る残枚数演算処理の流れを説明する。
S41〜S50、S53は、それぞれ第2実施形態のS21〜S30、S31と同様である。ただし、S42においては、撮影モードとして、さらに、「手ぶれ補正ON」の設定が判別される。「手ぶれ補正ON」の設定が判別された場合、S51に移行する。「手ぶれ補正ON」の設定は、手ぶれが検出されたときになされる。
S51では、 手ぶれ補正ONに応じた画像の目標符号量N4を設定する。ここで、N4<Nという関係を満足するものとする。これは、手ぶれの発生した画像は、画質が低下しているから、目標符号量を少なくし、圧縮率を高めても、画質に与える影響が小さいからである。
目標符号量N4を設定すると、画像データ量が目標符号量以内となる圧縮率を決定する関数f(x)を設定する。具体例としては、図7(b)あるいは(c)のような、撮影済み枚数xの増加に応じた圧縮率の増加を規定する関数f(x)を設定する。
次に、S30などと同様、設定された関数f(x)に、読み出された撮影済み枚数x=x1を代入し、圧縮率f(x1)を決定する。また、関数f(x)に応じて、残撮影可能数決定関数g(x)を変更する。
手ぶれ補正ONの際には、手ぶれ補正部17による電子式手ぶれ補正が行われる。ただし、電子式手ぶれ補正でなく、光学式手ぶれ補正、すなわちレンズ8からCCD9に入射される撮影光の光路途中に、光軸変位が可能なプリズムやレンズ部材を配置し、手ぶれに応じ光軸の変位を行うことで、ぶれ補正を行ってもよい。
いずれの方式による補正を行った場合にせよ、手ぶれが生じていない画像に比較して、画質の劣化は否定できない。従って、手ぶれの発生した画像の画質保持よりも、残撮影可能枚数の確保を優先し、残撮影可能枚数の正確な算出を行う。
<第4実施形態>
以下、図5のフローチャートを参照し、本発明の好ましい第4実施形態に係る残枚数演算処理の流れを説明する。
S61〜S73は、第3実施形態のS41〜S53と同様である。
S74では、レリーズスイッチの押下を判定する。押下を検知した場合、S75に移行する。
S75では、手ぶれ補正部17に設けられた動き検出回路が、例えば映像信号のゆれ等からカメラ100自体のぶれ等の動きを検出し、その動きを示すベクトルをCPU13あるいは図示しない撮像素子駆動回路へ送出する。
手ぶれ補正部17は、動きベクトルに基づき、発生した手ぶれが補正可能な範囲内であるか否かを判断する。補正範囲内であると判断した場合はS76、補正範囲外であると判断した場合はS77に移行する。
S76では、手ぶれ補正部17は、撮像素子駆動回路に対し、得られたベクトル情報の逆方向のベクトル分だけCCD9の駆動パルスのスタート位置を移動させるよう指令し、カメラぶれの補正を行なう。手ぶれ補正の完了後の画像は、S71,S63,S66,またはS69で設定された目標符号量およびこの目標符号量に応じて設定された圧縮率f(x)で圧縮記録される。
S77では、目標符号量をN4に再設定し、画像圧縮伸長処理部15はこれに応じた圧縮率f(x1)を設定して、画像を圧縮記録する。つまり、S63,S66,またはS69で設定された目標符号量N1〜N3で圧縮されることはなく、手ぶれの発生に応じた小さい目標符号量N4(N4<N1、N2、N3)で圧縮記録される(本圧縮)。この後、S52と同様にして、残撮影可能枚数決定関数の変更、残撮影可能枚数の算出を行うことができる。
これにより、手ぶれ補正の不可能な、質の悪い画像に限り、圧縮率を高めて記録し、残撮影可能枚数の確保を優先することができる。また、残撮影可能枚数の正確な算出も行うことができる。
<第5実施形態>
圧縮率を決定する関数f(x)の代わりに、撮影モードおよび残撮影可能枚数に応じた圧縮率を規定するテーブルを用いて、圧縮率を決定してもよい。
この場合、残枚数演算処理は、次のようになる。
すなわち、図6に示す第5実施形態に係る残枚数演算処理のS81〜S91は、それぞれ、図2(第1実施形態)の残枚数演算処理のS1〜S11と同様であるが、S84、S87、S90では、予めROM1に記憶されているテーブル(図9)を参照し、S81で読み出された撮影枚数x1およびS82・S85・S88で判別された撮影モード・追加機能に対応する圧縮率を特定する。この圧縮率に応じて残撮影可能数決定関数を補正し、補正された関数に撮影枚数x1を代入して、残撮影可能数を算出する。
こうすれば、残撮影可能数の算出が高速化するし、メモリ資源の節約にもなる。
<第6実施形態>
図10は、撮影モード(あるいはオプション撮影機能)に応じたプログラム線図L1〜L3を示している。ここでは、横軸にシャッター速度TVを、縦軸に撮影光学系の絞り量AV(F.No.とも称される)をとって、撮影モード(あるいはオプション撮影機能)ごとのシャッター速度TVと絞り量との関係を規定する。
例えば、L1がAUTOモード、L2がモード1の機能X、L3がモード2の機能Yに対応したプログラム線図である。
ここで、シャッター速度TVが所定の下限閾値TVi未満であり、かつ絞り量が所定の下限閾値LVi未満に収まる所定の目標符号量変更領域Riでは、目標符号量(上記のN1,N2,N3,N4等)を減少させ、圧縮率を高める変更をしてもよい。
あるいは、シャッター速度TVが所定の上限閾値未満TVs以上であり、かつ絞り量が所定の上限閾値LVs以上に収まる所定の目標符号量変更領域Rsでは、目標符号量(上記のN1,N2,N3,N4等)を増加させ、圧縮率を低める変更をしてもよい。
これは、領域Ri内でのプログラム線図(ここではL1〜L3)では、シャッター速度が低速かつ絞り量大であるため、撮影条件が暗く、シャープネスが落ちており、背景はぼけていると推測されるから、画質を維持する意義が薄く、目標符号量を減少させ圧縮率を高めることで、残撮影可能数を確保することが優先されるべきだからである。
また、上限領域Rs内でのプログラム線図(ここではL1、L2)では、シャッター速度が高速かつ絞り量小の関係にあるため、撮影条件が明るく、シャープネスが高く、背景はぼけていないと推測されるから、目標符号量を増加させ圧縮率を低くすることで、画質を確保することが優先されるべきだからである。
なお、図10の領域Ri、Rsの形状は楕円形領域を例示するが、形状は特に限定されない。
このように、露出条件の違いを加味して、圧縮率を最適化することができる。
<第7実施形態>
図11は、撮影モード(あるいはオプション撮影機能)に応じたプログラム線図L4〜L6を示している。ここでは、横軸にシャッター速度TVを、縦軸にISO感度Sをとって、撮影モード(あるいはオプション撮影機能)ごとのシャッター速度TVとISO感度との関係を規定する。
ここで、シャッター速度TVが所定の閾値TV0未満であり、かつISO感度が所定の閾値S0以上に収まる所定の目標符号量変更領域R0では、目標符号量(上記のN1,N2,N3,N4等)を減少させ、圧縮率を高める変更をしてもよい。
これは、領域R0でのプログラム線図L4は、ISO感度が高くシャッター速度が低い関係を規定しているため、撮影条件が暗く、シャープネスが落ちていると推測されるから、画質を維持する意義が薄く、目標符号量を減少させ圧縮率を高めることで、残撮影可能数を確保することが優先されるべきだからである。
なお、図11の領域R0の形状は楕円形領域を例示するが、形状は特に限定されない。
このように、ISO感度の違いを加味して、圧縮率を最適化することができる。
<第8実施形態>
図9(第5実施形態)に例示したテーブルでは、撮影枚数および撮影モード・追加機能が特定されれば、それらに対応する圧縮率が特定される。つまり、該テーブルから圧縮率を特定するにあたって、目標符号量の設定やプリ圧縮は必要ない。
すなわち、第5実施形態の残枚数算出処理のS83・S86・S89の目標符号量の設定を省略しても、設定された撮影枚数および撮影モード・追加機能に対応する圧縮率をテーブルから特定し、この圧縮率に応じて残撮影可能数決定関数を補正し、補正された関数に撮影枚数x1を代入して、正確な残撮影可能数を算出することができる。
ただし、プリ圧縮による概略の符号量が不明であるから、どのような画像データを圧縮してもおおよそ撮影モードごとのデフォルトの目標符号量に達するよう、テーブルに規定する圧縮率には統計的に妥当な値を設定しておく必要がある。
カメラの概略構成図 第1実施形態に係る残枚数演算処理の流れを示すフローチャート 第2実施形態に係る残枚数演算処理の流れを示すフローチャート 第3実施形態に係る残枚数演算処理の流れを示すフローチャート 第4実施形態に係る残枚数演算処理の流れを示すフローチャート 第5実施形態に係る残枚数演算処理の流れを示すフローチャート 撮影済み枚数に応じた圧縮率を規定する関数を例示した図 残撮影可能数決定関数を例示した図 撮影モードおよび残撮影可能枚数に応じた圧縮率を規定するテーブルを例示した図 シャッター速度と絞り量との関係を撮影モードごとに規定するプログラム線図を例示した図 シャッター速度とISO感度との関係を撮影モードごとに規定するプログラム線図を例示した図
符号の説明
8:レンズ、9:CCD、10:AFE、11:画像信号処理部、17:手ぶれ補正部、18:リサイザ、4:メディアコントローラ、15:画像圧縮伸長処理部、50:外部記憶媒体

Claims (12)

  1. 撮影光学系を介して受光した被写体像を画像データに変換し、前記画像データを圧縮符号化して所定の記憶媒体に記憶する撮影装置であって、
    所定の予測関数を用いて、前記所定の記憶媒体の空き容量に応じた前記画像データの記憶可能数を算出する算出部と、
    撮影モードの変更もしくは撮影機能の追加を含む撮影条件を設定する撮影条件設定部と、
    前記撮影条件設定部の設定した撮影条件に応じた画像データの目標符号量を設定する目標符号量設定部と、
    前記目標符号量設定部の設定した目標符号量に達するような画像データの圧縮率を設定する圧縮率設定部と、
    前記圧縮率設定部の設定した圧縮率に基づき、前記算出部の用いる予測関数を補正する予測関数補正部と、
    を備える撮影装置。
  2. 前記画像データに対して電子式ズームを施す電子ズーム部をさらに備え、
    前記撮影条件設定部が前記電子ズーム部による電子ズームのオンを設定した場合、前記目標符号量設定部は前記目標符号量を所定の符号量閾値よりも低い値に設定する請求項1に記載の撮影装置。
  3. 撮影装置の手ぶれを補正する手ぶれ補正部をさらに備え、
    前記撮影条件設定部が前記手ぶれ補正部による手ぶれ補正のオンを設定した場合、前記目標符号量設定部は前記目標符号量を所定の符号量閾値よりも低い値に設定する請求項1または2に記載の撮影装置。
  4. 前記手ぶれ補正部は電子式手ぶれ補正を実行する請求項3に記載の撮影装置。
  5. 前記予測関数は前記空き容量に応じた撮影条件ごとの圧縮率を規定するテーブルを含む請求項1〜4のいずれかに記載の撮影装置。
  6. 前記目標符号量設定部は、前記撮影光学系のシャッター速度と絞り量との関係を規定するプログラム線図における特定領域内で前記シャッター速度と前記絞り量が設定されたことに応じ、前記目標符号量を所定の符号量閾値よりも増加または低減させる請求項1〜5のいずれかに記載の撮影装置。
  7. 前記目標符号量設定部は、前記撮影光学系のシャッター速度と撮影感度との関係を規定するプログラム線図における特定領域内で前記シャッター速度と前記撮影感度が設定されたことに応じ、前記目標符号量を所定の符号量閾値よりも増加または低減させる請求項1〜6のいずれかに記載の撮影装置。
  8. 撮影光学系を介して受光した被写体像を画像データに変換し、前記画像データを圧縮符号化して所定の記憶媒体に記憶する撮影方法であって、
    所定の予測関数を用いて、前記所定の記憶媒体の空き容量に応じた前記画像データの記憶可能数を算出するステップと、
    撮影モードの変更もしくは撮影機能の追加を含む撮影条件を設定するステップと、
    設定した撮影条件に応じた画像データの目標符号量を設定するステップと、
    設定した目標符号量に達するような画像データの圧縮率を設定するステップと、
    設定した圧縮率に基づき、前記予測関数を補正するステップと、
    を備える撮影方法。
  9. 請求項8に記載の撮影方法をコンピュータに実行させるためのプログラム。
  10. 撮影光学系を介して受光した被写体像を画像データに変換し、前記画像データを圧縮符号化して所定の記憶媒体に記憶する撮影装置であって、
    所定の予測関数を用いて、前記所定の記憶媒体の空き容量に応じた前記画像データの記憶可能数を算出する算出部と、
    撮影モードの変更もしくは撮影機能の追加を含む撮影条件を設定する撮影条件設定部と、
    前記所定の記憶媒体の空き容量に対応した撮影条件ごとの圧縮率を規定するテーブルを記憶する記憶部と、
    前記記憶部のテーブルを参照し、前記撮影条件設定部の設定した撮影条件および前記所定の記憶媒体の現在の空き容量に対応した圧縮率を設定する圧縮率設定部と、
    前記圧縮率設定部の設定した圧縮率に基づき、前記算出部の用いる予測関数を補正する予測関数補正部と、
    を備える撮影装置。
  11. 撮影光学系を介して受光した被写体像を画像データに変換し、前記画像データを圧縮符号化して所定の記憶媒体に記憶する撮影方法であって、
    所定の予測関数を用いて、前記所定の記憶媒体の空き容量に応じた前記画像データの記憶可能数を算出するステップと、
    撮影モードの変更もしくは撮影機能の追加を含む撮影条件を設定するステップと、
    前記所定の記憶媒体の空き容量に対応した撮影条件ごとの圧縮率を規定するテーブルを記憶するステップと、
    前記テーブルを参照し、設定した撮影条件および前記所定の記憶媒体の現在の空き容量に対応した圧縮率を設定するステップと、
    設定した圧縮率に基づき、前記予測関数を補正するステップと、
    を備える撮影方法。
  12. 請求項11に記載の撮影方法をコンピュータに実行させるためのプログラム。
JP2006350372A 2006-12-26 2006-12-26 撮影装置、方法およびプログラム Expired - Fee Related JP4901460B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006350372A JP4901460B2 (ja) 2006-12-26 2006-12-26 撮影装置、方法およびプログラム
US11/962,759 US20080151076A1 (en) 2006-12-26 2007-12-21 Photographing apparatus, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006350372A JP4901460B2 (ja) 2006-12-26 2006-12-26 撮影装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2008160770A true JP2008160770A (ja) 2008-07-10
JP4901460B2 JP4901460B2 (ja) 2012-03-21

Family

ID=39542202

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006350372A Expired - Fee Related JP4901460B2 (ja) 2006-12-26 2006-12-26 撮影装置、方法およびプログラム

Country Status (2)

Country Link
US (1) US20080151076A1 (ja)
JP (1) JP4901460B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015516734A (ja) * 2012-03-31 2015-06-11 バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド 画像圧縮を行う方法、装置及びデバイス

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4289045B2 (ja) * 2003-07-01 2009-07-01 株式会社ニコン 電子スチルカメラ、電子スチルカメラシステムおよびプログラム
WO2006090755A1 (en) * 2005-02-23 2006-08-31 Canon Kabushiki Kaisha Image processing apparatus
US20100259612A1 (en) * 2009-04-09 2010-10-14 Lars Christian Control Module For Video Surveillance Device
JP2012244542A (ja) * 2011-05-23 2012-12-10 Sony Corp 符号化装置、符号化方法、及びプログラム
CN102724403A (zh) * 2012-06-08 2012-10-10 华为终端有限公司 确定可拍摄张数的方法及摄像装置
JP6278712B2 (ja) * 2014-01-17 2018-02-14 キヤノン株式会社 撮像装置およびその制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02222383A (ja) * 1989-02-23 1990-09-05 Toshiba Corp 電子カメラ装置
JPH04107080A (ja) * 1990-08-28 1992-04-08 Ricoh Co Ltd 静止画撮像装置
JPH0686214A (ja) * 1992-08-31 1994-03-25 Canon Inc 電子カメラ
JPH10341407A (ja) * 1997-04-07 1998-12-22 Asahi Optical Co Ltd 電子スチルカメラの圧縮率設定装置
JP2002290890A (ja) * 2001-03-23 2002-10-04 Canon Inc 記録装置
JP2006319995A (ja) * 2006-06-05 2006-11-24 Fujifilm Holdings Corp 電子カメラおよびその動作制御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3427454B2 (ja) * 1993-12-21 2003-07-14 株式会社ニコン スチルカメラ
US6337928B1 (en) * 1996-08-26 2002-01-08 Canon Kabushiki Kaisha Image transmission apparatus and method therefor
JP4432160B2 (ja) * 1999-09-22 2010-03-17 株式会社ニコン 電子カメラ
JP3849461B2 (ja) * 2001-06-07 2006-11-22 ソニー株式会社 撮像装置及び撮像方法
JP4046985B2 (ja) * 2001-11-21 2008-02-13 キヤノン株式会社 撮像装置、ファイル格納に関する警告方法、コンピュータ読み取り可能な記憶媒体、及びプログラム
JPWO2005076629A1 (ja) * 2004-02-09 2007-10-18 三洋電機株式会社 画像符号化装置及び撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02222383A (ja) * 1989-02-23 1990-09-05 Toshiba Corp 電子カメラ装置
JPH04107080A (ja) * 1990-08-28 1992-04-08 Ricoh Co Ltd 静止画撮像装置
JPH0686214A (ja) * 1992-08-31 1994-03-25 Canon Inc 電子カメラ
JPH10341407A (ja) * 1997-04-07 1998-12-22 Asahi Optical Co Ltd 電子スチルカメラの圧縮率設定装置
JP2002290890A (ja) * 2001-03-23 2002-10-04 Canon Inc 記録装置
JP2006319995A (ja) * 2006-06-05 2006-11-24 Fujifilm Holdings Corp 電子カメラおよびその動作制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015516734A (ja) * 2012-03-31 2015-06-11 バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド 画像圧縮を行う方法、装置及びデバイス

Also Published As

Publication number Publication date
US20080151076A1 (en) 2008-06-26
JP4901460B2 (ja) 2012-03-21

Similar Documents

Publication Publication Date Title
US7706674B2 (en) Device and method for controlling flash
US7853134B2 (en) Imaging device with image blurring reduction function
US7158182B2 (en) Camera that engages in a focusing operation through a contrast method
JP5005570B2 (ja) 画像処理装置およびプログラム
JP4165568B2 (ja) 撮影装置、撮影装置の制御方法、制御プログラム及び記録媒体
JP4444927B2 (ja) 測距装置及び方法
JP4594257B2 (ja) ディジタル撮像装置
JP4214926B2 (ja) 電子スチルカメラ
JP5123137B2 (ja) 撮像装置および撮像方法
JP4901460B2 (ja) 撮影装置、方法およびプログラム
JP2007178576A (ja) 撮像装置及びそのプログラム
WO2010007865A1 (ja) 撮像装置、撮像方法及びプログラム
JP4605217B2 (ja) 撮影装置及びそのプログラム
JP5223686B2 (ja) 撮像装置および撮像方法
JP5277863B2 (ja) 撮像装置および撮像方法
JP2008005540A (ja) 画像処理装置及び方法
JP4840731B2 (ja) 撮像装置、撮像方法、及びプログラム
JP2006287814A (ja) 撮像装置及び動きベクトル決定方法
JP2009017427A (ja) 撮像装置
JP5091781B2 (ja) 撮像装置および撮像方法
JP5223950B2 (ja) 撮像装置、表示制御プログラム及び表示制御方法
JP5179859B2 (ja) 撮像装置及び撮像方法
JP2019080261A (ja) 撮像装置
JP2007306436A (ja) 撮像装置
JP2010074415A (ja) 撮像装置、画像表示方法および画像表示プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111227

R150 Certificate of patent or registration of utility model

Ref document number: 4901460

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150113

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees