JP2005223765A - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP2005223765A
JP2005223765A JP2004031411A JP2004031411A JP2005223765A JP 2005223765 A JP2005223765 A JP 2005223765A JP 2004031411 A JP2004031411 A JP 2004031411A JP 2004031411 A JP2004031411 A JP 2004031411A JP 2005223765 A JP2005223765 A JP 2005223765A
Authority
JP
Japan
Prior art keywords
display
image data
image
instruction
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004031411A
Other languages
English (en)
Other versions
JP2005223765A5 (ja
JP4250543B2 (ja
Inventor
Hiroaki Yoshino
宏昭 吉野
Yoshinobu Sato
佳宣 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004031411A priority Critical patent/JP4250543B2/ja
Priority to US10/831,326 priority patent/US7505074B2/en
Priority to CNB2004100386910A priority patent/CN100352262C/zh
Publication of JP2005223765A publication Critical patent/JP2005223765A/ja
Publication of JP2005223765A5 publication Critical patent/JP2005223765A5/ja
Application granted granted Critical
Publication of JP4250543B2 publication Critical patent/JP4250543B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

【課題】 撮像された画像を表示する際の初期段階では、表示手段の画像表示領域に依存した解像度の画像データを表示することにより、次画像の表示等の指示に対して高いレスポンスを維持できる。また、初期段階の拡大率を越える指示があった場合には、高い解像度の画像データに基づいて表示用画像を生成することで、ユーザによる拡大表示等の要求に応える。
【解決手段】
記録媒体に記憶された画像(JPEGファイル)を表示する場合には、表示部の解像度と同等の640×480画素サイズの低解像度画像データと、その画像ファイルで示されるオリジナルの高解像度画像データの2つを生成する。そして、初期段階では、低解像度の画像データを表示し、拡大指示があった場合には、高解像度の画像データから切り出した部分画像データをリサイズして表示する。
【選択図】 図3

Description

本発明はデジタルカメラ等の撮像装置における撮像画像の表示技術に関するものである。
昨今、デジタルカメラが急速に普及しつつある。その一つの要因は、デジタルカメラには、通常、撮像中の映像、及び既にメモリカード等の記憶媒体に記録した映像(画像)を再生するための液晶ディスプレイ等の表示部を備えており、撮影したその場で撮像画像を確認できる点にある。また、必要に応じて撮像画像を消去することもできること、そして、撮像画素数が数百万画素にもなって、銀塩カメラに匹敵する画質の画像を得ることが可能になったことを大きな要因であろう。
ところで、多くのデジタルカメラには、上記のように、記憶媒体に蓄積した画像(一般にJPEG圧縮符号化されている)を1つずつ表示部に表示することが可能になってきている。また、最近のデジタルカメラは、姿勢センサを設け、撮像した際の姿勢、すなわち、縦(ポートレート)撮影したのか、横(ランドスケープ)撮影したのかを示す情報を格納し、表示部に表示する際に、デコードした画像データを、その情報に従って回転させ、表示部に正立した像を表示するものもある。
ここで表示部である液晶ディスプレイに着目すると、その表示能力はせいぜい640×480ドット程度であり、記憶媒体に記憶された画像の解像度より遥かに少ない。従って、蓄積された画像を表示部に表示する際の処理は、JPEGファイルを記憶媒体から読み込む処理、復号処理、そして間引き処理を行って表示部の表示解像度である640×480ドットにする処理を行う。
この画像表示している最中に、画像中の所望とする局所的な部分を拡大表示させることも可能になってきている(特許文献1)。また、コマ送りのレスポンスを高めるため、異なる2つの解像度の画像を蓄積し、低い解像度の画像を表示確認するために用いる技術も知られている(特許文献2、3)。
特開平10−336494号公報 特開2003−087715公報 特開2003−087716公報
ここで、デジタルカメラが、画像確認する際に、画像を順次表示するコマ送り、画像の拡大、回転を行う機能を有する場合を考察する。すなわち、記憶媒体に蓄積された画像を確認操作中にユーザが行う指示には、少なくとも、コマ送り(戻し)の指示、拡大指示、回転指示がある場合である。
特許文献2、3の場合、異なる2種類の解像度を記憶し、解像度の低い画像を確認表示に用いるので、コマ送りに関しては高いレスポンスが期待できるものの、これでは記録媒体の消費量が増え、必然、蓄積可能な画像数は制限を受ける。また、画像の拡大、拡大を伴った回転に対処することはできない。
さらに、解像度の低い画像の画素数は液晶ディスプレイの画素数よりもさらに小さいので、液晶ディスプレイの解像度にあわせて表示するためには拡大処理を行う必要があり、結果として粗い画像しかユーザは確認することができない。
また、液晶ディスプレイの解像度を有効に利用しようとすると、高い解像度を有するオリジナルの画像を処理して表示することとなるが、この場合、撮影時の姿勢等に応じて回転の指示がなされた場合にはオリジナルの画像を回転処理する必要があるので、回転表示されるまでには時間がかかるという問題があった。
本発明はかかる問題点に鑑みなされたものであり、記録媒体を有効利用しながらも、撮像した画像を再生する際に、少なくとも指示頻度の高い指示に対しては高いレスポンスを維持する技術を提供しようとするものである。
この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
撮像手段、撮像画像データを表示する表示手段、並びに指示入力手段を有し、撮像画像データを圧縮符号化して所定の記録媒体に保存する撮像装置であって、
画像データを一時的に記憶する記憶手段と、
前記指示入力手段の表示指示に応じて、前記記録媒体に保存された圧縮符号化された画像データを復号し、前記表示手段の画像表示領域の表示解像度に依存した第1の解像度の画像データと、第1の解像度よりは高い第2の解像度の画像データの少なくとも2種類の解像度の画像データを生成して前記記憶手段に格納する復号手段と、
前記指示入力手段の表示指示があった初期段階、及び、当該初期段階と同じ拡大率の表示指示があった段階では、前記第1の解像度の画像データに基づいて前記表示手段に表示する第1の表示制御手段と、
初期段階の拡大率を越える指示があった場合には、前記第2の解像度の画像データから表示すべき領域の画像を切り出し、前記表示手段の画像表示領域の表示解像度に依存した画像を生成し、前記表示手段に表示する第2の表示制御手段とを備える。
更に、前記指示入力手段による表示対象となる画像の切り換え指示があったか否かを判断する切り換え判断手段を備えるものであり、該切り換え判断手段にて切り換え指示があったと判断した場合には、前記復号手段は前記記録媒体に保存された他の画像データを復号対象にして復号することを特徴とする。
更に、前記指示入力手段から回転指示があったか否かを判断する回転指示判断手段と、該回転指示判断手段で回転指示があったと判断した場合であって、その際の拡大率が初期段階と同じである場合には第1の解像度の画像データに基づいて回転処理して表示用画像データを生成し、前記表示手段に表示する第1の回転画像表示制御手段と、前記回転指示判断手段で回転指示があったと判断した場合であって、その際の拡大率が初期段階を越える拡大率である場合には第2の解像度の画像データに基づいて回転処理して表示用画像データを生成し、前記表示手段に表示する第2の回転画像表示制御手段とを備える。
更に、撮像時における前記撮像装置の姿勢を検出する姿勢検出手段と、該姿勢検出手段の出力に基づいて姿勢情報を前記画像データに付加する付加手段とを備えるものであり、前記回転指示判断手段は、前記付加手段により付加された前記姿勢情報に基づいて自動的に回転指示を判断することを特徴とする。
また、前記第1の回転画像表示制御手段により、前記第1の解像度の画像データに基づいて回転処理された表示用画像データが前記表示手段に表示されているときに、前記指示入力手段により拡大の指示があった場合には、該指示により前記第2の解像度の画像データに基づいて回転処理して表示用画像データを生成することを特徴とする。
更に、前記指示入力手段からスクロール指示があったか否かを判断するスクロール判断手段と、該スクロール判断手段でスクロール指示があったと判断した場合であって、その際の拡大率が初期段階と同じである場合には当該指示は無視し、初期段階の拡大率を越える拡大率で画像を表示中にスクロール指示があったと判断した場合には第2の解像度の画像データに基づいてスクロール後の画像データを生成し、前記表示手段に表示するスクロール制御手段とを備える。
本発明によれば、撮像された画像を表示する際の初期段階では、表示手段の画像表示領域に依存した第1の解像度の画像データを表示することにより、次画像の表示等の指示に対して高いレスポンスを維持できる。また、初期段階の拡大率を越える指示があった場合には、高い解像度の画像データに基づいて画像を生成し、前記表示手段に表示することで、ユーザによる拡大表示等の要求に応えることができるようになる。
また、撮像時における撮像装置の姿勢を考慮して前記表示手段に画像データを表示する際に、拡大指示がない場合には、回転画像は第1の解像度の画像データに基づいて回転処理が行なわれて表示がなされるので、第2の解像度の画像データを回転処理するよりは処理時間を要せず、ユーザはいち早く撮像された画像を確認することができる。
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
図1は、実施形態におけるデジタルカメラのブロック構成図である。
図中、10は撮影レンズ、12は絞り機能を備えるシャッター、14は光学像を電気信号に変換する撮像素子、16は撮像素子14のアナログ信号出力をディジタル信号に変換するA/D変換器である。
18は撮像素子14、 A/D変換器16、 D/A変換器26にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路22及びシステム制御回路50により制御される。なお、実施形態における撮像素子14は約500万画素の解像度を有するものとして説明する。
20は画像処理回路であり、 A/D変換器16からのデータ或いはメモリ制御回路22からのデータに対して所定の画素補間処理や色変換処理を行う。
また、画像処理回路20においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路50が露光制御手段40、測距制御手段42に対して制御を行う、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理を行う。
さらに、画像処理回路20においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。
22はメモリ制御回路であり、A/D変換器16、タイミング発生回路18、画像処理回路20、画像表示メモリ24、D/A変換器26、メモリ30、圧縮・伸長回路32を制御する。
A/D変換器16のデータが画像処理回路20、メモリ制御回路22を介して、或いはA/D変換器16のデータが直接メモリ制御回路22を介して、画像表示メモリ24或いはメモリ30に書き込まれる。
24は画像表示メモリ、26はD/A変換器、28はTFT LCD等から成る画像表示部であり、画像表示メモリ24に書き込まれた表示用の画像データはD/A変換器26を介して画像表示部28により表示される。なお、実施形態における画像表示部28は640×480ドットの画像を表示する能力を有するものとし、画像表示メモリ24は画像表示部28に表示すべきVRAMとして機能するである。すなわち、画像表示メモリ24のメモリサイズは640×480画素分の容量を有する。
画像表示部28を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。
また、画像表示部28は、システム制御回路50の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合にはバックライト(不図示)もOFFすることで、装置100の電力消費を大幅に低減することが出来る。
30は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。
これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ30に対して行うことが可能となる。
また、メモリ30はシステム制御回路50の作業領域としても使用することが可能である。
32は適応離散コサイン変換(ADCT)等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ30に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ30に書き込む。
40は絞り機能を備えるシャッター12を制御する露光制御手段であり、フラッシュ48と連携することによりフラッシュ調光機能も有するものである。
42は撮影レンズ10のフォーカシングを制御する測距制御手段、44は撮影レンズ10のズーミングを制御するズーム制御手段、46はバリアである保護手段102の動作を制御するバリア制御手段である。
48はフラッシュであり、AF補助光の投光機能、フラッシュ調光機能も有する。
露光制御部40、測距制御部42はTTL方式を用いて制御されており、撮像した画像データを画像処理回路20によって演算した演算結果に基づき、システム制御回路50が露光制御手段40、測距制御手段42に対して制御を行う。
50は装置100全体を制御するシステム制御回路、52はシステム制御回路50の動作用の定数、変数、プログラム等を記憶するメモリである。
54はシステム制御回路50でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部であり、画像処理装置100の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばLCDやLED、発音素子等の組み合わせにより構成されている。
また、表示部54は、その一部の機能が光学ファインダー104内に設置されている。
表示部54の表示内容のうち、LCD等に表示するものとしては、シングルショット/連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体200及び210の着脱状態表示、通信I/F動作表示、日付け・時刻表示、等がある。
また、表示部54の表示内容のうち、光学ファインダー104内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。
56は電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROMM等が用いられる。
60、62、64、66、68及び70は、システム制御回路50の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
ここで、これらの操作手段の具体的な説明を行う。
60はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、PC接続モード等の各機能モードを切り替え設定することが出来る。
62、64はシャッタースイッチであり、シャッタースイッチ62はシャッターボタン(不図示)の半押し状態になったときにONになり、シャッタースイッチ64はシャッターボタンの全押し状態になった場合にONになるスイッチである。
シャッタースイッチ61がONになると、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作処理が開始する。
また、シャッタースイッチ64がONになると、撮像素子12から読み出した信号をA/D変換器16、メモリ制御回路22を介してメモリ30に画像データを書き込む露光処理、画像処理回路20やメモリ制御回路22での演算を用いた現像処理、メモリ30から画像データを読み出し、圧縮・伸長回路32で圧縮を行い、記録媒体200或いは210に画像データを書き込む記録処理という一連の処理が行われる。
66は画像表示ON/OFFスイッチで、画像表示部28のON/OFFを設定することが出来る。画像表示部28の表示をOFFにすると、そのバックライトも消灯する。この機能により、光学ファインダー104を用いて撮影を行う際に、TFT LCD等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。
68はクイックレビューON/OFFスイッチで、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定する。なお、本実施形態では特に、画像表示部28をOFFとした場合におけるクイックレビュー機能の設定をする機能を備えるものとする。
70は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像−(マイナス)ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等がある。
80は電源制御手段で、電池検出回路、DC-DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路50の指示に基づいてDC-DCコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
82はコネクタ、84はコネクタ、86はアルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる電源手段である。
90及び94はメモリカードやハードディスク等の記録媒体とのインタフェース、92及び96はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、98はコネクタ92及び或いは96に記録媒体200或いは210が装着されているか否かを検知する記録媒体着脱検知手段である。
なお、本実施形態では記録媒体を取り付けるインターフェース及びコネクタを2系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。
インターフェース及びコネクタとしては、PCMCIAカードやCF(コンパクトフラッシュ(登録商標))カード等の規格に準拠したものを用いて構成して構わない。
さらに、インタフェース90及び94、そしてコネクタ92及び96をPCMCIAカードやCF(コンパクトフラッシュ(登録商標))カード等の規格に準拠したものを用いて構成した場合、LANカードやモデムカード、USBカード、IEEE1394カード、P1284カード、SCSIカード、PHS等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。
102は、画像処理装置100のレンズ10を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。
104は光学ファインダであり、画像表示部28による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダー104内には、表示部54の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。
110は通信部で、RS232CやUSB、IEEE1394、P1284、SCSI、モデム、LAN、無線通信、等の各種通信機能を有する。
112は通信部110により、本装置100を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
115は本装置の姿勢を検出する姿勢センサであり、重力センサで構成される。この姿勢センサ115は、撮像する際に本装置を縦に構えて撮影(ポートレート撮影)したり、横に構えて撮影(ランドスケープ撮影)したりする場合の、その方向を検出するためのものであり、撮像画像結果である画像ファイルのヘッダに、その方向が姿勢情報として付加されることになる。
200、210はメモリカードやハードディスク等の記録媒体である。
記録媒体200、210は、半導体メモリや磁気ディスク等から構成される記録部202、画像処理装置100とのインタフェース204、画像処理装置100と接続を行うコネクタ206を備えている。
以上、実施形態におけるデジタルカメラ(撮像装置)の構成を説明した。次に、実施形態における動作を図2乃至図7を参照して説明することとする。
図2は実施形態におけるデジタルカメラの背面図である。図中、301は電源スイッチであり、302は各種メニューを表示するメニューキー、303は表示メニューの選択項目を確定するためのスイッチ、304は画像表示部28のON/OFFを切り換えるキーである。305、306は左右スイッチ、307、808は上下スイッチであり、これら4つの方向スイッチは、操作円盤310に一体になっていて、押下する傾きに応じていずれか1つがONになる。また、操作円盤310の中央位置にもスイッチ319が設けられており、計5種類の入力が行えるようになっていて、状況に応じて使い分けられる。操作円盤310は、メニューが画像表示部28に表示中の場合にはメニュー項目を選択するための方向キーとして機能し、後述する再生モードの場合には画像の表示を制御するために用いられる(詳細後述)。
311はシャッターボタン、312は拡大/縮小キーであり、撮影モードの場合には光学ズームを制御するキーとして機能し、再生モードでは再生中の画像の拡大、縮小を指示するキーとして機能する。313はモード切り換えキーであり、撮影モード(シャッターボタン311の押下時に、撮像画像を記憶媒体に書き込むモード)と、再生モード(記憶媒体200、210に記憶された画像を画像表示部28に表示するモード)とを切り換えるものである。
モード切り換えキー313を撮影モードに設定した場合には、必要に応じて拡大/縮小キーを操作してズーム倍率の設定し、シャッターボタン311を押下することで、先に説明したようにAE処理等を行い、撮像画像がメモリ30に蓄積され、JPEG符号化が行われ、記録媒体200や210に書き込まれることになる。このとき、姿勢センサ115での検出結果が、ファイルのヘッダに付加されることになる。ただし、撮影モードの処理は、本願発明の主要な部分ではないので、その説明は省略し、モード切り換えキー313を再生モードにした場合の処理を説明することとする。
再生モードに設定されると、記録媒体200等から先頭の画像を読出し、復号処理して画像表示メモリ24に表示用画像を展開し、画像表示部28に表示することになる。このとき、操作円盤310が有する各スイッチ305乃至309、拡大/縮小キー312は次のような機能を果たす。
・画像が画像表示部28に表示された直後の状態、又は、表示画像が等倍表示状態
左スイッチ305:コマ戻し(前の画像の表示を指示するキー)
右スイッチ306:コマ送り(次の画像の表示を指示するキー)
上下スイッチ307、308(機能無し)
中央スイッチ309:回転(時計回りに押下する毎に90度回転)キー
拡大/縮小キー312:表示画像の倍率制御するキー
・拡大/縮小キー312で等倍を越える倍率で表示している状態
上下左右キー305乃至308:それぞれの方向への画像のスクロール
拡大/縮小キー312:表示画像の倍率制御するキー
中央スイッチ309:回転キー
なお、上記は共通のスイッチを状況に応じて、その機能を切り換えるものであるが、それぞれの機能を有する独立したスイッチを設けるようにしても構わない。また、スクロールとは拡大/縮小キー312で等倍を越える倍率で表示している状態において、表示画像のうち所望の部分を表示させるために2次元的に表示部分をシフト(移動)することを意味する。
以下、実施形態における再生モード時における詳細を以下に説明する。
先に説明したように、実施形態におけるデジタルカメラの撮像素子14は500万画素の解像度を有する。画像のサイズで示すと、2592×1944画素の画像を撮像する能力を有することになり、この解像度の画像がJPEG符号化されて記録媒体200等に格納されることになる。一方、ビューワである画像表示部28は640×480画素である。
先に説明したように、撮像画像ファイルのヘッダには、その撮像した際の姿勢に基づく再生時の回転角情報が付加されている。従って、再生モードにおいては、ランドスケープ撮像された画像は、最終的に640×480画素にして画像表示メモリ24に格納して表示することになる。また、ポートレート撮像した画像は、回転処理して、360×480画素にして表示することになる。
利用者側から見れば、画像表示部28に画像全体が表示された状態が1倍(等倍)として認識され、それを越える倍率で上げることを「拡大」として認識するであろう。
一方、装置、すなわち、システム制御部50から見ると、画像表示部28に表示させる画像は等倍以下、すなわち縮小処理に相当することになる。等倍時には、2592×1944の640×480の領域を切り抜いて画像表示メモリ24に展開するのが等倍処理に相当し、この状況は利用者にとっての最大倍率となる。説明の混乱を避けるため、以下では、利用者から見た倍率を基準に説明することとする。
実施形態における、画像の回転処理は2つのタイミングで行われる。1つは撮像画像のヘッダに回転情報が含まれており、その回転が要求された画像を最初に表示するときである。もう1つは、再生表示中に利用者自ら操作円盤310のスイッチ309をONにすることにより回転指示する場合である。
ところで、再生モードにて、2592×1944画素の画像を640×480画素の画像に変換する処理は、単純な間引き処理(もしくはフィルタ処理)で良く、ハードウェアで容易に実現可能でもあり、その処理にかかる時間は、ほぼ無視できるものとすることができる。従って、再生表示した画像に対して、利用者が、回転を伴わないで拡大/縮小キー312にて拡大指示した場合にも、その指示結果の画像は高いレスポンスで生成し、表示することができる。
ところが、ポートレート撮影した画像(2592×1944画素の画像)を再生する際(ユーザが回転指示した場合も同様)には、回転処理が伴う。この回転処理は、基本的にx、y座標で示される画素値の交換処理であり、回転対象の画像サイズが実施形態のように500万画素にもなると、その処理に多くの時間が要する。
つまり、再生モードにおいて、コマ送りやコマ戻しの操作のみを行う場合に限って見ても、回転処理を伴わない画像を順次表示する場合には、各画像の切り換わりは高いレスポンスが得られていても、そのコマ送りやコマ戻しの途中に、回転処理が必要な画像が存在すると、その画像が表示されるまで、数秒間待たされることになり、途端にレスポンスが悪くなる。
上記課題に対する実施形態の対処内容を以下に説明する。
図3は、画像データの処理の流れを示している。同図において、再生しようとする画像ファイル(実施形態では、2592×1944画素サイズのJPEGファイル)をデコードし、画像表示部28の表示解像度と同じ640×480画素の画像データ(低解像度画像データ、もしくは小サイズの画像データ)と、2592×1944画素のオリジナルの画像データ(高解像度画像データ、もしくは大サイズの画像データ)の2つをメモリ30に展開する。そして、再生する初期段階(利用者倍率が等倍時)では、低解像度画像データを画像表示メモリ24に転送し、表示する。
また、再生しようとする画像が回転を必要とする場合には、図4に示すように、先ず、640×480画素の低解像度画像データと、高解像度画像データをメモリ30に生成する。そして、低解像度画像データを回転処理し、360×480画素サイズまで更に縮小し、画像表示メモリ24に転送し、表示する。
つまり、操作円盤310における左スイッチ305、右スイッチ306のみを操作して、次々と画像を表示する場合には、図3、図4に示すように、低解像度画像データを利用した表示を行うことになる。この結果、利用頻度の高い、コマ送り、コマ戻し指示に対しては、利用者に対して、さほど違和感がなく、不快にさせないレスポンスにて画像の表示更新を行うことが可能になる。
一方、或る画像を表示中、その画像を回転する場合には、その際の利用者から指示された倍率が等倍であれば、低解像度画像データを回転して、640×480画素サイズ、もしくは、360×480画素サイズの画像データをその都度生成し、画像表示メモリ24に転送して表示する。
指示された倍率が等倍を越えるときには、図3に示すように、高解像度画像データ中の表示しようとする領域の左上隅位置P1と右下隅位置P2で既定される矩形領域を切り出し、それを640×480画素サイズにリサイズした画像データをメモリ30に生成し、画像表示メモリ24に転送して表示する。ここで点P1、P2は、スクロール指示並びに利用者倍率に依存して決定されることになる。因に、利用者拡大率が小さければ小さいほど、切り出し領域のサイズは大きくなり、利用者拡大率がおおきほど切り出し領域のサイズは小さくなる。
また、利用者倍率が等倍を越えた状態で、回転指示を受けた場合には、その回転指示に応じた回転角に従って、高解像度画像データの回転処理を行う。回転後の高解像度画像データは、メモリ24に上書き格納される。そして、その回転処理を終えると、切り出し位置P1、P2で定義される領域を切り出し、画像表示部28の表示解像度である640×480画素サイズにまでリサイズした画像をメモリ30に生成し、画像表示メモリ24に転送することで、表示させる。
また、スクロール指示を受けた場合には、現在の高解像度画像データ(回転後かもしれない)の切り出し位置P1、P2の位置が変更になるだけで、切り出し処理及びリサイズ処理を行えばよいので、レスポンスは高い状態を維持できる。
以上のように、等倍を越える拡大表示中に、回転指示があった場合、上記実施形態では高解像度画像データの回転処理が行われるので、レスポンスは悪くなるものの、それ以外では、高いレスポンスが約束されることになる。
通常、再生モードにおけるユーザの指示内容に着目すると、コマ送り、コマ戻しの指示の頻度が多いことが知られている。そして、拡大、スクロールは連続することはあっても、回転状態での拡大指示または拡大状態で回転指示が連続して入力されることは希である。かかる点、上記実施形態によれば、このような利用頻度の高い指示に対して高速レスポンスが期待できるようになるので、全体としてみた場合の操作環境は軽快なものとすることができる。
なお、本実施例においては、高解像度画像データをオリジナルの画像データである2592×1944画素で説明したが、これに限るものではなく、拡大表示用の画像データとして例えば1296×972画素といった、オリジナルの画像データよりは小さいが、低解像度画像のデータよりは大きい画像データを用意してもよい。このように、オリジナルの画像データよりも小さな画像データを用意することは、画像表示部28の解像度に対して極端に大きなオリジナルの画像データ(例えば2000万画素)を生成するような撮像装置においては、オリジナルの画像をそのまま拡大表示用の画像として用いなくても、ある程度間引いた画像で拡大表示の機能に遜色はなく、かつ表示速度においては有利となるからである。
以上であるが、実施形態における処理手順を図5乃至図8のフローチャートに従って説明する。なお、この処理は、モード切り換えキー313(図2参照)において、再生モードにした場合に開始するものである。
先ず、ステップS1において、記録媒体200や210から先頭ファイルを選択する。この選択は、撮影日時の一番古いものとするが、その選択基準は如何なるものでも構わない。
次いで、ステップS2に進むと、選択ファイルを読み込みデコードして、640×480画素サイズの低解像度画像データと、2592×1944画素サイズの高解像度画像データをメモリ30に格納する。
次に、ステップS3に進み、拡大率αを1、回転角βを0、拡大する際の中心位置Qを画像の中心位置に初期化する。
次いで、ステップS4に進み、着目している画像のヘッダ部分を検査し、回転角の設定がなされているか否かを判断する。否(回転角が零)の場合には、ステップS5に進み、低解像度画像データを画像表示メモリ24に転送(実際はDMA転送)して画像表示部28に表示する。
また、ポートレート撮影した場合には、90度回転させる情報がヘッダに付加されているので、この場合には、ステップS65に進み、回転角βにその回転角度を設定する。そして、ステップS7において、回転角βに従って低解像度画像を回転し、360×480サイズにリサイズし、ステップS8にてそのリサイズした画像を画像表示メモリ24に転送(DMA転送)して画像表示部28に表示する。
このあと、ステップS9にて、ユーザによる入力を待つ。入力があると、ステップS10において、その入力指示がなんであるのかを判別する。ここで、コマ送り指示であると判断した場合には、ステップS11にて、次の画像ファイルを選択し、ステップS2に戻り、上記処理を行うことになる。なお、最後の画像ファイルを再生中に、コマ送りの指示を受けた場合には、先頭の画像ファイルを選択するものとする。また、ステップS2に戻った場合、メモリ30に既に格納されていた画像データは消去、もしくは上書き対象にして処理することになる。
一方、コマ戻しの指示であると判断した場合には、ステップS12にて、前画像ファイルを選択し、ステップS2に戻る。ただし、再生表示している画像が先頭画像ファイルであるときに、この指示があった場合には最後の画像ファイルを選択することになる。
さて、ステップS10の判別処理において、拡大/縮小の指示がなされた場合、処理は図6のステップS20に進むことになる。
先ず、ステップS20において、指示内容が拡大であるのか縮小であるのかを判断する。拡大指示であると判断した場合には、ステップS21に進み、現在の拡大率αが最大倍率αmaxであるか否かを判断する。最大倍率であると判断した場合には、それ以上の拡大はできないので、その指示は無視し、本処理から抜け、ステップS9(図5)に戻る。
また、現在の倍率αが最大倍率αmax未満であると判断した場合には、ステップS22に進み、倍率をΔα(正の値)だけ増加する。このΔαは、如何なる値でも良い。ただし、小さな値にすると、最大倍率での表示になるまでの操作回数が増えるので、実施形態では25%とした。実施形態の画像表示部28の解像度は640×480画素であり、撮像素子は2592×1944画素であるので、拡大ステップは16段階となる。
拡大率が決定されると、ステップS23に進み、その時の拡大中心位置Qを中心にし、高解像度画像データの切り出しサイズを決定する。そして、ステップS24において、切り出した画像を640×480画素にリサイズし、ステップS25にて、リサイズした画像データを画像表示メモリ24に転送することで表示し、ステップS9に戻る。
また、ステップS20にて縮小指示であると判断した場合には、ステップS26にて、現在の拡大率αが“1”、すなわち、等倍であるか否かを判断する。等倍であれば、それ以上の縮小表示はできない(意味がない)ので、本処理を終え、ステップS9に戻る。
また、現在の拡大率αが“1”を越えると判断した場合には、ステップS27にてΔαだけ減じる。そして、その結果、拡大率αが“1”となった場合には、ステップS29に進んで、低解像度画像データを画像表示メモリ24に転送することで、表示する。また、更新後の拡大率αが“1”を越えると判断した場合には、ステップS23に進み、先に説明した処理を行うことになる。
次に、図5のステップS9にて入力された指示がスクロールの指示であると判断(ステップS10)した場合の処理を、図7のフローチャートに従って説明する。
スクロール指示があった場合、先ず、ステップS30にて、拡大率αが等倍であるか否かが判断される。
等倍であると判断した場合には、画像表示部28には、ランドスケープであれば画像全体が640×480画素サイズで画面いっぱいに表示されていることになるし、ポートレイトであれば360×480画素サイズで画像全体が表示されていることになり、スクロールは意味を持たない。従って、このような状況においては、スクロール指示は無効と判断し、本処理を終えて、図5のステップS9に戻る。なお、等倍表示の際、操作円盤310のスイッチ305、306のいずれかが操作された場合、コマ送り、又は、コマ戻しと判断される。従って、等倍にてスクロール指示があるのは、スイッチ307、308の上下方向のスイッチのみとなる。
さて、等倍を越える拡大表示している最中に、操作円盤310のスイッチ305乃至308が操作されると、スクロール指示であると判断する。この場合には、ステップS31に進み、高解像度画像データ中の切り出し位置(図3の点P1、P2の位置)を、指示された方向に所定量だけ変更する処理を行う。ここで言う所定量は、如何なる値でも良いが、例えば水平、垂直方向に1画素分等の小さい値にしてしまうと、スクロール指示回数が増えるので、数十画素程度が望ましい。但し、拡大率に応じた移動量にしても構わない。また、図3の点P1、P2は、高解像度画像データの境界を越えないように制御される。
切りだし位置が決定されると、処理はステップS32に進み、その切り出し位置の画像データを切り出し、640×480画素のサイズにリサイズし、ステップS33にて、その結果を画像表示メモリ24に転送することで表示する。そして、ステップS9に戻ることになる。
次に、図5のステップS9にて入力された指示が回転指示であると判断(ステップS10)した場合の処理を、図8のフローチャートに従って説明する。
先ず、ステップS40にて、回転角βを90度増加させる。すなわち、回転角βは、0→90→180→270→0の順に更新されることになる。
次いで、ステップS41にて、拡大率αが等倍であるか否かが判断される。拡大率αが等倍を越えていると判断した場合には、ステップS42に進み、高解像度画像データを、初期の状態に対して回転角βだけ回転させ、その結果をメモリ30に格納する。このとき、従前の回転角の高解像度データは破棄、もしくは上書きして構わない。そして、ステップS43にて、回転後の高解像度画像データの切りだし位置を変更する。例えば、図9に示すように、回転前の高解像度画像データ90の、現在の切りだし領域が拡大中心位置Qの位置(スクロールによってその位置が決まる)を中心とするP1、P2で示される領域であるとする。回転は+90度単位に行われるから、回転後の高解像度画像データは図示の符号91に示すようになる。拡大中心位置Qも、回転によってその座標位置がQ’変更になるから、切り出し位置P1、P2も、P1’、P2’に変更になる。
ステップS44では、新たな切りだし位置の画像を切り出し、640×480画素サイズにリサイズする。そして、ステップS45にて、そのリサイズ後の画像データを画像表示メモリ24に転送することで、画像表示部28に表示し、図5のステップS9に戻ることになる。
また、ステップS41にて、現在の拡大率αが等倍であると判断した場合には、ステップS46に進み、低解像度画像データを回転する。そして、ステップS47にて、リサイズが必要か否かを判断する。リサイズが必要な場合とは、回転角が90度、270度の場合であって、360×480画素サイズにする場合である。リサイズが不要の場合には、回転後の低解像度画像データ(640×480画素サイズの画像データ)を画像表示メモリ24に転送して、表示させる。また、リサイズが必要と判断した場合にはステップS48にてリサイズ処理を行い、ステップS49にて転送処理することでその画像を表示させることになる。いずれの場合にも、図5のステップS9に戻る。
以上説明したように、本実施形態によれば、再生モードの場合、記録媒体に記憶された圧縮符号化された画像データに基づき、画像表示部28の表示能力に対応した低解像度画像データと、オリジナルのサイズの高解像度画像データの2つを生成し、初期段階では低解像度画像データを表示することで、利用頻度の多いコマ送り、コマ戻しの操作に関しては、比較的高いレスポンスで画像全体の表示が行えるようになる。また、拡大した状態で回転指示があると、高解像度画像データを回転することになり、表示されるまでに時間はかかるものの、一旦、回転処理が行われた後のスクロール、拡大/縮小処理は、回転後の高解像度画像データを利用したものとなるので、これらスクロール、拡大/縮小表示についても高いレスポンスで表示更新が行われるようになる。
なお、上記実施形態では、再生モードにおいて、圧縮符号化画像データをデコードする際に低解像度画像データ、高解像度画像データの2つの中間データを作成するものとして説明したが、通常再生時には低解像度画像データだけを作成し、拡大要求の合った際に始めて高解像度画像データの中間データを作成することも可能である。ただし、この場合、記録媒体へのアクセスは2つの中間データを作成するために独立したものとなり、最初に高解像度画像データを生成し表示する際には、記録媒体へのアクセス時間が増える分だけレスポンスは悪くなる。従って、上記実施形態のように、1回のアクセスで、2つの中間データを生成することが望ましい。
また、高解像度画像データは、再生可能な最大解像度としたが、例えば1000万画素の撮像能力のある撮像素子の場合には、回転処理の負担は更に大きくなるので、上限解像度を設定しても構わない。
また、実施形態では、再生モードにした場合について説明したが、実施形態のデジタルカメラは、撮像モードにおいて、シャッターボタン311を全押しした場合に記録媒体200等に保存した直後の所定期間だけ、撮像画像を確認するために撮像画像を表示し、何の指示入力もなければ撮影可能状態に移行し、確認画像を表示中に拡大や回転等の指示を行った場合には、時間に関係なく、拡大/縮小、回転を行え、所定の操作を行ったときに撮像可能状態に復帰する機能を有する(クイックレビュー機能)。このような状況において、撮像画像を確認表示する際に、上記実施形態と同様の処理を行ってもよい。
また、実施形態では、撮像素子14は500万画素、画像表示部28は640×480画素の表示能力を有するものとして説明したが、これらのサイズによって本願発明が限定されるものではない。また、生成する中間データの低解像度画像データのサイズが画像表示部のそれと同じサイズであるものとして説明したが、この関係によっても本願発明が限定されるものではない。例えば、画像表示部28が実施形態と同じ640×480画素の表示能力を有していても、各種メニューを表示する領域が確保された状態で画像を表示するのであれば、必然、画像表示可能となる領域は640×480より小さなものとなる。このような状況にあっては、低解像度画像データは、その表示可能領域に合わせれば良いのは明らかである。
更に、記録媒体200及び210は、PCMCIAカードやコンパクトフラッシュ(登録商標)等のメモリカード、ハードディスク等だけでなく、マイクロDAT、光磁気ディスク、CD-RやCD-WR等の光ディスク、DVD等の相変化型光ディスク等で構成されていても勿論問題無い。
また、記録媒体200及び210がメモリカードとハードディスク等が一体となった複合媒体であっても勿論問題無い。さらに、その複合媒体から一部が着脱可能な構成としても勿論問題無い。
そして、実施形態の説明に於いては、記録媒体200及び210は画像処理装置100と分離していて任意に接続可能なものとして説明したが、いずれか或いは全ての記録媒体が画像処理装置100に固定したままとなっていても勿論問題無い。
また、画像処理装置100に記録媒体200或いは210が、単数或いは複数の任意の個数接続可能な構成であっても構わない。
そして、画像処理装置100に記録媒体200及び210が装着する構成として説明したが、記録媒体は単数或いは複数の何れの組み合わせの構成であっても、勿論問題無い。また、実施形態では、再生する際に、高解像度画像データ(大サイズ画像データ)と低解像度画像データ(小サイズ画像データ)の2つを生成するものとして説明したが、一般に、デジタルカメラにおいては、予め用意された何段階かの解像度中の1つを選択して、撮像、記録を行う。ここで、撮像解像度として、640×480画素の解像度を指定した場合には、上記実施形態での高解像度の画像データを生成することは行わない。従って、デコードする際に、そのファイルヘッダを調べて、解像度が所定以下(例えば、640×480以下)の撮像モードで撮像されていることがわかれば、高解像度の画像を生成する処理は行わない。換言すれば、所定以上の解像度の場合に、その最高解像度の画像を生成するようにする。
<第2の実施形態>
上記実施形態では、圧縮符号化された画像データ(JPEG画像ファイル)から2つの中間データ、すなわち、表示領域のサイズに対応する低解像度画像データと、JPEG画像ファイルが元々有する高解像度画像データを生成した。
先に説明したように、多くの時間を要する処理は回転処理である。つまり、回転対象の画像データのサイズは小さいほど、その処理に要する時間は短くできることを意味する。
そこで、本第2の実施形態では、撮像画像を表示する初期段階では、異なる解像度の中間データを3つ以上生成する例を説明する。説明を簡単なものとするため撮像素子14は第1の実施形態と同様、500万画素で、2592×1944画素サイズの画像データを得る能力を有するものとする。
生成する中間データとしては、640×480画素の画像データ(以下、低解像度画像データという)、1296×972画素の画像データ(以下、中解像度画像データという)、そして、2592×1944画素の画像データ(以下、高解像度画像データという)の3つを生成するものとする。
図10は、この中間データを生成する処理概要を示す図である。図示のように、記録媒体200や210からJPEGファイルを読み込み、JPEG伸長(復号)処理して2592×1944画素サイズのオリジナル画像(高解像度画像データ)1000を生成し、これをリサイズして、1296×972画素の中解像度画像データ1001を生成し、この中解像度画像データをリサイズして640×480画素の低解像度画像データ1002を生成する。低解像度画像データは、高解像度画像データから生成しても良いが、中解像度画像データは高解像度画像データより画素数が少なくない分、処理が簡略化され、処理速度の点で有利なためである。
そして、初期状態では640×480画素の低解像度データ1001を画像表示メモリ24に転送して、画像表示部28に表示を行うことになる。
この状況において、次画像の表示指示(コマ送り指示)がなされると、上記の処理を繰り返すことになる。ただし、従前に生成された3つの中間データは破棄、もしくは上書きされることになる。
さて、拡大倍率αが1<α≦2の場合の場合には、その際の表示画像は中解像度画像データ1001を用いて表示を行う。図11を用いてこの処理内容を説明する。
先ず、その時点での拡大率α(1<α≦2)と拡大中心位置に基づいて、切り出し領域1001aを決定し、それをリサイズ処理し、640×480のサイズの表示用画像1003を生成する。そして、生成された表示用画像1003を画像表示メモリ24に転送することで、画像表示部28に表示する。なお、スクロール指示を受けた場合には、図示の切り出し領域1001aが指示された方向に所定画素数だけ移動することになる。
図11は、拡大率αが1<α≦2の場合の場合であったが、拡大率αが2<α≦4の場合には、切り出し対象が高解像度画像データ1000になるだけであるので、その説明は省略する。
また、拡大倍率αが1<α≦2の状態で、回転指示を受けた場合には、図12に示す様に、中解像度画像データ1001を回転処理して、回転後の画像データ1004を生成(このとき、メモリ30の容量が不足する場合には、回転前の中解像度画像データ1001を消去しても構わない)し、その中の切り出し領域1004(拡大中心位置Qと拡大率で決定される)の画像データをリサイズし、640×480画素サイズの表示用画像1005を生成する。そして、生成された画像データを画像表示用メモリ24に転送することで、画像表示部28にその画像を表示することになる。図12において、利用者がスクロール指示した場合には、回転処理は不要であるので、図示の切り出し領域1004aの位置を、指示された方向に移動すればよい。また、拡大率αがαが2<α≦4である状態で、回転指示を受けた場合には、回転処理対象が高解像度画像データ1000になるだけで、後の処理は図12に示したものと同様である。
上記のように、表示の初期段階(低解像度画像データ1002を表示した状態)から、拡大率αを1段階上げると(実施形態ではΔα=0.25であるので、1.25倍となる)、中解像度画像データ1001から切り出して表示し、回転処理は、中解像度画像データを用いて行うことになる。すなわち、倍率αが1<α≦2の範囲であれば、画素数が最高解像度の画素数の1/4であるから、第1の実施形態と比較して、レスポンスを高めることができる。切り出した後のリサイズ処理で参照する画素数も、中解像度画像データは高解像度画像データより少ない分だけ、高速化させることができる。
以上の結果、本第2の実施形態に従えば、撮像画素数が益々多くなることが必至のデジタルカメラ等の撮像装置の分野に対しても、撮像画像の再生時の表示画像のコマ送り(コマ戻し指示を含む)、拡大/縮小、スクロール、回転の操作に対して、利用頻度の高いコマ送りに対しては十分なレスポンスが確保され、且つ、比較的拡大率の低い状況における回転指示があった場合にはレスポンスが極端に悪くなることを抑制できるようになり、優れた操作環境をユーザに提供することが可能になる。
なお、上記実施形態では、3つの中間データを生成するものとして説明したが、4つでも良いし、それ以上であっても構わない。
また、通常、デジタルカメラの撮像画像の解像度は、撮像素子の解像度のみに限定されるものではなく、それより低い解像度のどれで撮影するかを選択可能なものがある。このような装置の場合には、圧縮符号化ファイルを検査すると、その復号結果の画像サイズがわかるので、そのサイズに応じて、生成する中間画像の数を動的に決定しても構わない。
また、実施形態での処理に相当するプログラムをパーソナルコンピュータ等の情報処理装置で実行させても構わない。
実施形態におけるデジタルカメラの構成図である。 実施形態におけるデジタルカメラの背面図である。 実施形態における等倍時、及び、等倍を越える倍率時の表示処理内容を説明するための図である。 実施形態における回転すべき画像の等倍時、及び、等倍を越える倍率時の表示処理内容を説明するための図である。 実施形態における画像再生モード時の処理手順を示すフローチャートである。 実施形態における画像再生モード時の処理手順を示すフローチャートである。 実施形態における画像再生モード時の処理手順を示すフローチャートである。 実施形態における画像再生モード時の処理手順を示すフローチャートである。 画像拡大表示時の回転処理内容を説明するための図である。 第2の実施形態における画像復号時の動作を説明するための図である。 第2の実施形態における拡大率αが1<α≦2の場合の表示処理を説明するための図である。 第2の実施形態における拡大率αが1<α≦2の場合の回転処理と表示処理を説明するための図である。

Claims (13)

  1. 撮像手段、撮像画像データを表示する表示手段、並びに指示入力手段を有し、撮像画像データを圧縮符号化して所定の記録媒体に保存する撮像装置であって、
    画像データを一時的に記憶する記憶手段と、
    前記指示入力手段の表示指示に応じて、前記記録媒体に保存された圧縮符号化された画像データを復号し、前記表示手段の画像表示領域の表示解像度に依存した第1の解像度の画像データと、前記第1の解像度よりは高い第2の解像度の画像データの少なくとも2種類の解像度の画像データを生成して前記記憶手段に格納する復号手段と、
    前記指示入力手段の表示指示があった初期段階、及び、当該初期段階と同じ拡大率の表示指示があった段階では、前記第1の解像度の画像データに基づいて前記表示手段に表示する第1の表示制御手段と、
    初期段階の拡大率を越える指示があった場合には、前記第2の解像度の画像データから表示すべき領域の画像を切り出し、前記表示手段の画像表示領域の表示解像度に依存した画像を生成し、前記表示手段に表示する第2の表示制御手段と
    を備えることを特徴とする撮像装置。
  2. 更に、前記指示入力手段による表示対象となる画像の切り換え指示があったか否かを判断する切り換え判断手段を備え、
    該切り換え判断手段にて切り換え指示があったと判断した場合、前記復号手段は前記記録媒体に保存された他の画像データを復号対象にして復号することを特徴とする請求項1に記載の撮像装置。
  3. 更に、前記指示入力手段から回転指示があったか否かを判断する回転指示判断手段と、
    該回転指示判断手段で回転指示があったと判断した場合であって、その際の拡大率が初期段階と同じである場合には第1の解像度の画像データに基づいて回転処理して表示用画像データを生成し、前記表示手段に表示する第1の回転画像表示制御手段と、
    前記回転指示判断手段で回転指示があったと判断した場合であって、その際の拡大率が初期段階を越える拡大率である場合には第2の解像度の画像データに基づいて回転処理して表示用画像データを生成し、前記表示手段に表示する第2の回転画像表示制御手段と
    を備えることを特徴とする請求項1又は2に記載の撮像装置。
  4. 更に、撮像時における前記撮像装置の姿勢を検出する姿勢検出手段と、
    該姿勢検出手段の出力に基づいて姿勢情報を前記画像データに付加する付加手段とを備え、
    前記回転指示判断手段は、前記付加手段により付加された前記姿勢情報に基づいて自動的に回転指示を判断することを特徴とする請求項3に記載の撮像装置。
  5. 前記第1の回転画像表示制御手段により、前記第1の解像度の画像データに基づいて回転処理された表示用画像データが前記表示手段に表示されているときに、前記指示入力手段により拡大の指示があった場合には、該指示により前記第2の解像度の画像データに基づいて回転処理して表示用画像データを生成することを特徴とする請求項3又は4に記載の撮像装置。
  6. 更に、前記指示入力手段からスクロール指示があったか否かを判断するスクロール判断手段と、
    該スクロール判断手段でスクロール指示があったと判断した場合であって、その際の拡大率が初期段階と同じである場合には当該指示は無視し、初期段階の拡大率を越える拡大率で画像を表示中にスクロール指示があったと判断した場合には第2の解像度の画像データに基づいてスクロール後の画像データを生成し、前記表示手段に表示するスクロール制御手段と
    を備えることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  7. 撮像手段、撮像画像データを表示する表示手段、指示入力手段、並びに、画像データを一時的に記憶する記憶手段を有し、撮像画像データを圧縮符号化して所定の記録媒体に保存する撮像装置であって、
    前記指示入力手段の表示指示に応じて、前記記録媒体に保存された圧縮符号化された画像データを復号し、前記表示手段の画像表示領域の表示解像度に依存した第1の解像度の画像データと、前記第1の解像度よりは高い第2の解像度の画像データの少なくとも2種類の解像度の画像データを生成して前記記憶手段に格納する復号工程と、
    前記指示入力手段の表示指示があった初期段階、及び、当該初期段階と同じ拡大率の表示指示があった段階では、前記第1の解像度の画像データに基づいて前記表示手段に表示する第1の表示制御工程と、
    初期段階の拡大率を越える指示があった場合には、前記第2の解像度の画像データから表示すべき領域の画像を切り出し、前記表示手段の画像表示領域の表示解像度に依存した画像を生成し、前記表示手段に表示する第2の表示制御工程と
    を備えることを特徴とする撮像装置の制御方法。
  8. 更に、前記指示入力手段による表示対象となる画像の切り換え指示があったか否かを判断する切り換え判断工程を備え、
    該切り換え判断工程にて切り換え指示があったと判断した場合、前記復号手段は前記記録媒体に保存された他の画像データを復号対象にして復号することを特徴とする請求項7に記載の撮像装置の制御方法。
  9. 更に、前記指示入力手段から回転指示があったか否かを判断する回転指示判断工程と、
    該回転指示判断工程で回転指示があったと判断した場合であって、その際の拡大率が初期段階と同じである場合には第1の解像度の画像データに基づいて回転処理して表示用画像データを生成し、前記表示手段に表示する第1の回転画像表示制御工程と、
    前記回転指示判断工程で回転指示があったと判断した場合であって、その際の拡大率が初期段階を越える拡大率である場合には第2の解像度の画像データに基づいて回転処理して表示用画像データを生成し、前記表示手段に表示する第2の回転画像表示制御工程と
    を備えることを特徴とする請求項7又は8に記載の撮像装置の制御方法。
  10. 前記撮像装置が有する、撮像時における前記撮像装置の姿勢を検出する姿勢検出手段の出力に基づいて姿勢情報を前記画像データに付加する付加工程とを備え、
    前記回転指示判断工程は、前記付加工程により付加された前記姿勢情報に基づいて自動的に回転指示を判断することを特徴とする請求項9に記載の撮像装置の制御方法。
  11. 前記第1の回転画像表示制御工程により、前記第1の解像度の画像データに基づいて回転処理された表示用画像データが前記表示手段に表示されているときに、前記指示入力手段により拡大の指示があった場合には、該指示により前記第2の解像度の画像データに基づいて回転処理して表示用画像データを生成することを特徴とする請求項9又は10に記載の撮像装置の制御方法。
  12. 更に、前記指示入力手段からスクロール指示があったか否かを判断するスクロール判断工程と、
    該スクロール判断工程でスクロール指示があったと判断した場合であって、その際の拡大率が初期段階と同じである場合には当該指示は無視し、初期段階の拡大率を越える拡大率で画像を表示中にスクロール指示があったと判断した場合には第2の解像度の画像データに基づいてスクロール後の画像データを生成し、前記表示手段に表示するスクロール制御工程と
    を備えることを特徴とする請求項7乃至9のいずれか1項に記載の撮像装置の制御方法。
  13. 請求項7乃至12のいずれか1項に記載の制御方法を実現するためのプログラムコードを有することを情報処理装置が実行可能なプログラム。
JP2004031411A 2004-02-06 2004-02-06 撮像装置及び情報処理装置及びそれらの制御方法 Expired - Fee Related JP4250543B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004031411A JP4250543B2 (ja) 2004-02-06 2004-02-06 撮像装置及び情報処理装置及びそれらの制御方法
US10/831,326 US7505074B2 (en) 2004-02-06 2004-04-26 Image sensing apparatus and its control method
CNB2004100386910A CN100352262C (zh) 2004-02-06 2004-04-27 摄像装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004031411A JP4250543B2 (ja) 2004-02-06 2004-02-06 撮像装置及び情報処理装置及びそれらの制御方法

Publications (3)

Publication Number Publication Date
JP2005223765A true JP2005223765A (ja) 2005-08-18
JP2005223765A5 JP2005223765A5 (ja) 2007-03-15
JP4250543B2 JP4250543B2 (ja) 2009-04-08

Family

ID=34824173

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004031411A Expired - Fee Related JP4250543B2 (ja) 2004-02-06 2004-02-06 撮像装置及び情報処理装置及びそれらの制御方法

Country Status (3)

Country Link
US (1) US7505074B2 (ja)
JP (1) JP4250543B2 (ja)
CN (1) CN100352262C (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007101676A (ja) * 2005-09-30 2007-04-19 Sony Corp 映像表示装置および機能追加デバイス
JP2007235195A (ja) * 2006-02-27 2007-09-13 Canon Inc 画像記録装置及び画像表示方法
JP2010519571A (ja) * 2007-02-16 2010-06-03 スカラド アーベー デジタル画像の処理方法
JP2010147951A (ja) * 2008-12-20 2010-07-01 Sanyo Electric Co Ltd 撮像装置及び電子機器
JP2012048725A (ja) * 2005-12-30 2012-03-08 Apple Inc マルチタッチ入力を備えた携帯電子装置
JP2012222627A (ja) * 2011-04-08 2012-11-12 Canon Inc 表示制御装置及び表示制御方法、プログラム、並びに記憶媒体
JP2013142902A (ja) * 2012-01-09 2013-07-22 Samsung Electronics Co Ltd 映像表示装置で応用プログラムのレイアウトをスケーリングするための装置及び方法
CN104010169A (zh) * 2014-06-16 2014-08-27 浙江宇视科技有限公司 特征区域图像显示于不同分辨率设备的方法及装置
WO2014208193A1 (ja) * 2013-06-24 2014-12-31 株式会社日立ハイテクノロジーズ ウエハ外観検査装置
JP2015523649A (ja) * 2012-08-16 2015-08-13 シャオミ・インコーポレイテッド 画像表示処理方法、画像表示処理装置、プログラム、及び記録媒体
JP2015177462A (ja) * 2014-03-17 2015-10-05 株式会社ジェイ・ティ 撮像表示装置、撮像表示装置の制御方法及びそのプログラム
JP2015226687A (ja) * 2014-06-02 2015-12-17 株式会社三洋物産 遊技機
US9547428B2 (en) 2011-03-01 2017-01-17 Apple Inc. System and method for touchscreen knob control

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4346925B2 (ja) * 2003-02-25 2009-10-21 キヤノン株式会社 表示装置、表示装置の制御方法、プログラム及びコンピュータ読み取り可能な記録媒体
US20060039020A1 (en) * 2004-08-20 2006-02-23 Canon Kabushiki Kaisha Image supply device, control method thereof and printing system
JP4468120B2 (ja) * 2004-09-14 2010-05-26 キヤノン株式会社 画像供給デバイス及び該デバイスの制御方法とそのプログラムと記憶媒体
KR101109582B1 (ko) * 2004-11-02 2012-02-06 삼성전자주식회사 영상 확대/축소 위치 제어 장치 및 방법
US20060125843A1 (en) * 2004-12-13 2006-06-15 E-Lead Electronics Co., Ltd. Control method remembering display angle
US7733405B2 (en) * 2005-02-10 2010-06-08 Seiko Epson Corporation Apparatus and method for resizing an image
JP4794911B2 (ja) * 2005-05-31 2011-10-19 キヤノン株式会社 画像処理装置
JP2007336515A (ja) * 2006-05-15 2007-12-27 Olympus Imaging Corp カメラ、画像出力装置、画像出力方法、画像記録方法、プログラム及び記録媒体
KR100811796B1 (ko) 2007-03-30 2008-03-10 삼성전자주식회사 휴대 단말기 및 그의 초점 정보를 이용한 영상 표시 방법
JP4958805B2 (ja) * 2008-01-22 2012-06-20 キヤノン株式会社 撮像装置及びその表示制御方法
JP5217505B2 (ja) * 2008-02-29 2013-06-19 富士通株式会社 画像表示処理装置、画像表示処理方法および画像表示処理プログラム
JP2009225401A (ja) * 2008-03-19 2009-10-01 Casio Comput Co Ltd 撮像装置、画像処理装置および画像処理方法
AU2009243916B2 (en) * 2008-05-05 2013-03-21 Iomniscient Pty Ltd A system and method for electronic surveillance
CN104216613B (zh) * 2008-06-30 2018-02-09 日本电气株式会社 信息处理设备、显示控制方法和记录介质
CN101667383B (zh) * 2008-09-03 2013-02-13 鸿富锦精密工业(深圳)有限公司 图片显示装置,图片调整装置及图片调整方法
JP4962460B2 (ja) * 2008-10-03 2012-06-27 ソニー株式会社 撮像装置、撮像方法、およびプログラム
JP5398365B2 (ja) * 2009-06-09 2014-01-29 キヤノン株式会社 画像処理装置、画像処理方法
JP5208057B2 (ja) * 2009-06-16 2013-06-12 キヤノン株式会社 画像処理装置およびその制御方法
JP2011053655A (ja) * 2009-08-07 2011-03-17 Sanyo Electric Co Ltd 画像表示制御装置およびそれを搭載した撮像装置、ならびに画像処理装置およびそれを用いた撮像装置
JP2011071965A (ja) * 2009-08-28 2011-04-07 Sanyo Electric Co Ltd 画像編集装置およびそれを搭載した撮像装置、ならびに画像再生装置およびそれを搭載した撮像装置
CN102063610B (zh) * 2009-11-13 2013-08-28 鸿富锦精密工业(深圳)有限公司 影像辨识系统及方法
TWI469064B (zh) * 2009-11-19 2015-01-11 Hon Hai Prec Ind Co Ltd 影像辨識系統及方法
JP2011188225A (ja) * 2010-03-09 2011-09-22 Sanyo Electric Co Ltd 電子カメラ
JP5593772B2 (ja) * 2010-03-29 2014-09-24 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2011254962A (ja) * 2010-06-08 2011-12-22 Toshiba Corp 超音波画像診断装置
US8610668B2 (en) * 2010-09-30 2013-12-17 Avago Technologies General Ip (Singapore) Pte. Ltd. Computer keyboard with input device
CN102819994B (zh) * 2011-06-10 2015-06-10 晨星软件研发(深圳)有限公司 可减少影像缩放次数的显示控制装置及方法
JP5853458B2 (ja) 2011-07-21 2016-02-09 ソニー株式会社 マーク情報記録装置及びマーク情報提示装置
JP6075066B2 (ja) * 2012-12-28 2017-02-08 株式会社リコー 画像管理システム、画像管理方法、及びプログラム
KR102114233B1 (ko) * 2013-12-13 2020-05-25 삼성전자 주식회사 영상 처리 장치
CN104778655B (zh) * 2015-03-30 2018-01-19 广东欧珀移动通信有限公司 一种图像的显示方法及终端
JP6663193B2 (ja) 2015-09-10 2020-03-11 キヤノン株式会社 撮像装置およびその制御方法
CN112383708B (zh) * 2020-11-04 2022-10-11 维沃移动通信(杭州)有限公司 拍摄方法、装置、电子设备及可读存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10336494A (ja) 1997-05-29 1998-12-18 Seiko Epson Corp ズーム表示機能付デジタルカメラ
US6937281B1 (en) * 1999-10-15 2005-08-30 Canon Kabushiki Kaisha Image pickup apparatus, method and computer program procduct in which a decision to finish a displayed image is made and/or and a kept displayed image is processed
JP4700796B2 (ja) * 1999-10-15 2011-06-15 キヤノン株式会社 撮像装置及びその制御方法並びに記憶媒体
JP2001128160A (ja) * 1999-10-22 2001-05-11 Canon Electronics Inc 撮像装置、撮像システム、撮像画像の表示方法及び記憶媒体
JP2001128054A (ja) * 1999-10-22 2001-05-11 Canon Electronics Inc 撮像装置、撮像システム、撮像画像の表示方法及び記憶媒体
JP2001203926A (ja) * 2000-01-24 2001-07-27 Fuji Photo Film Co Ltd 撮像装置および方法
US6526234B1 (en) * 2001-07-17 2003-02-25 Eastman Kodak Company Revision suggestion camera and method
JP2003087716A (ja) 2001-09-06 2003-03-20 Olympus Optical Co Ltd 画像再生装置及び画像再生方法
JP2003087715A (ja) 2001-09-06 2003-03-20 Olympus Optical Co Ltd 画像再生装置及び画像再生方法
GB2384379A (en) * 2001-12-06 2003-07-23 Invideo Ltd Front of train imaging system including a digital camera with zoom
US20030146997A1 (en) * 2002-02-01 2003-08-07 Eastman Kodak Company System and method of processing a digital image for user assessment of an output image product
JP2004145291A (ja) * 2002-10-03 2004-05-20 Casio Comput Co Ltd 画像表示装置、画像表示方法及びプログラム
JP4000293B2 (ja) * 2002-10-22 2007-10-31 富士フイルム株式会社 デジタルカメラ
JP4141800B2 (ja) * 2002-11-01 2008-08-27 株式会社リコー デジタルカメラ
US20050094034A1 (en) * 2003-10-31 2005-05-05 Sandeep Bhatia System and method for simultaneously scanning video for different size pictures

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007101676A (ja) * 2005-09-30 2007-04-19 Sony Corp 映像表示装置および機能追加デバイス
JP2012048725A (ja) * 2005-12-30 2012-03-08 Apple Inc マルチタッチ入力を備えた携帯電子装置
US9569089B2 (en) 2005-12-30 2017-02-14 Apple Inc. Portable electronic device with multi-touch input
US8724959B2 (en) 2006-02-27 2014-05-13 Canon Kabushiki Kaisha Image recording apparatus and image displaying method
JP2007235195A (ja) * 2006-02-27 2007-09-13 Canon Inc 画像記録装置及び画像表示方法
US8654154B2 (en) 2007-02-16 2014-02-18 Mobile Imaging In Sweden Ab Method for processing a digital image
JP2010519571A (ja) * 2007-02-16 2010-06-03 スカラド アーベー デジタル画像の処理方法
JP2010147951A (ja) * 2008-12-20 2010-07-01 Sanyo Electric Co Ltd 撮像装置及び電子機器
US9547428B2 (en) 2011-03-01 2017-01-17 Apple Inc. System and method for touchscreen knob control
JP2012222627A (ja) * 2011-04-08 2012-11-12 Canon Inc 表示制御装置及び表示制御方法、プログラム、並びに記憶媒体
JP2013142902A (ja) * 2012-01-09 2013-07-22 Samsung Electronics Co Ltd 映像表示装置で応用プログラムのレイアウトをスケーリングするための装置及び方法
JP2015523649A (ja) * 2012-08-16 2015-08-13 シャオミ・インコーポレイテッド 画像表示処理方法、画像表示処理装置、プログラム、及び記録媒体
WO2014208193A1 (ja) * 2013-06-24 2014-12-31 株式会社日立ハイテクノロジーズ ウエハ外観検査装置
US9972079B2 (en) 2013-06-24 2018-05-15 Hitachi High-Technologies Corporation Wafer appearance inspection apparatus
JP2015177462A (ja) * 2014-03-17 2015-10-05 株式会社ジェイ・ティ 撮像表示装置、撮像表示装置の制御方法及びそのプログラム
JP2015226687A (ja) * 2014-06-02 2015-12-17 株式会社三洋物産 遊技機
CN104010169A (zh) * 2014-06-16 2014-08-27 浙江宇视科技有限公司 特征区域图像显示于不同分辨率设备的方法及装置
CN104010169B (zh) * 2014-06-16 2018-07-13 浙江宇视科技有限公司 特征区域图像显示于不同分辨率设备的方法及装置

Also Published As

Publication number Publication date
US7505074B2 (en) 2009-03-17
CN1652573A (zh) 2005-08-10
US20050174457A1 (en) 2005-08-11
JP4250543B2 (ja) 2009-04-08
CN100352262C (zh) 2007-11-28

Similar Documents

Publication Publication Date Title
JP4250543B2 (ja) 撮像装置及び情報処理装置及びそれらの制御方法
JP4592099B2 (ja) 画像表示装置及び画像表示方法
JP4655135B2 (ja) 撮像装置、撮像領域表示方法および撮像領域表示プログラム
JPH104531A (ja) 情報処理装置
JP2006140990A (ja) 画像表示装置、カメラ、画像表示装置およびカメラの表示方法
JP4735166B2 (ja) 画像表示装置及びプログラム
JP4696614B2 (ja) 画像表示制御装置及びプログラム
JP4533017B2 (ja) 撮像装置
JP4401804B2 (ja) 撮像装置及びその制御方法
JP2007043247A (ja) 画像処理装置及び画像処理方法
JP2007036587A (ja) 撮像装置及びその制御方法
JP4458811B2 (ja) 撮像装置、表示制御方法及び表示制御プログラム
JP4404200B2 (ja) 撮像装置、および、画像ファイル生成プログラム
WO1998057294A1 (en) A method and system for generating an enhanced image file in an image capture unit
JP2007221722A (ja) 画像処理装置及びその制御方法
JP4408397B2 (ja) 撮影装置および撮影方法およびプログラム
JP4792529B2 (ja) 画像再生装置
JP6006567B2 (ja) 動画再生装置および動画再生方法
JP4777013B2 (ja) 携帯電子機器
JP5264547B2 (ja) 表示制御装置、制御方法、プログラム、及び記憶媒体
JP5149925B2 (ja) 表示制御装置、及びその制御方法
JP2011130198A (ja) 撮像装置、その制御方法及びプログラム
JP5200815B2 (ja) 撮像装置及びそのプログラム
JP4717762B2 (ja) 画像再生装置、画像再生装置の制御方法、プログラム、及び記録媒体
JP2004094890A (ja) 電子機器およびその動作処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090109

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4250543

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140123

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees