JP2004147008A - 電子カメラ - Google Patents

電子カメラ Download PDF

Info

Publication number
JP2004147008A
JP2004147008A JP2002308530A JP2002308530A JP2004147008A JP 2004147008 A JP2004147008 A JP 2004147008A JP 2002308530 A JP2002308530 A JP 2002308530A JP 2002308530 A JP2002308530 A JP 2002308530A JP 2004147008 A JP2004147008 A JP 2004147008A
Authority
JP
Japan
Prior art keywords
image signal
unit
image
image data
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002308530A
Other languages
English (en)
Other versions
JP3768182B2 (ja
Inventor
Hiroshi Tsunoda
角田 浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Sanyo Telecommunications Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Sanyo Telecommunications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd, Sanyo Telecommunications Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2002308530A priority Critical patent/JP3768182B2/ja
Priority to AU2003261917A priority patent/AU2003261917A1/en
Priority to EP03809426A priority patent/EP1558031A4/en
Priority to US10/532,337 priority patent/US7420593B2/en
Priority to CNB038246317A priority patent/CN100490518C/zh
Priority to PCT/JP2003/011278 priority patent/WO2004039073A1/ja
Publication of JP2004147008A publication Critical patent/JP2004147008A/ja
Application granted granted Critical
Publication of JP3768182B2 publication Critical patent/JP3768182B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/212Motion video recording combined with still video recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/21Intermediate information storage
    • H04N2201/212Selecting different recording or reproducing modes, e.g. high or low resolution, field or frame
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【構成】携帯通信端末は、カメラユニット34とメインCPUとを備える。カメラユニット34では、色変換回路66および画像圧縮回路68の一連の処理系が、撮影された被写体の補間画像データに基づいて高解像度の圧縮静止画像データを生成する。また、画像伸長回路74,色変換回路72および間引き回路70の一連の処理系が、高解像度の圧縮静止画像データに基づいて低解像度の伸長静止画像データを生成する。メインCPUは、レリーズキーが操作されたとき画像圧縮回路68を起動し、圧縮静止画像データの生成が完了したとき画像伸長回路74を起動する。画像伸長回路74の起動によって生成された低解像度の伸長画像データは、メインCPUによってカメラユニット34から取得され、VRAMに書き込まれる。この結果、伸長画像がLCDに表示される。
【効果】伸長画像の画質劣化を簡単かつ速やかに確認することができる。
【選択図】 図3

Description

【0001】
【発明の属する技術分野】
この発明は、電子カメラに関し、特にたとえば携帯通信端末に適用され、カメラ装置とプロセサとを備える、電子カメラに関する。
【0002】
【従来技術】
従来の電子カメラの一例が、特許文献1に開示されている。この従来技術では、シャッタボタンの操作に応答して撮影された被写体の画像信号は、フレームメモリに一旦格納された後、YUV変換やJPEG圧縮などの信号処理を経て記録媒体に記録される。フレームメモリに格納された画像信号はまた、YUV変換や間引き処理を経てモニタに出力され、これによって撮影された被写体の静止画像(フリーズ画像)がモニタ画面に表示される。
【0003】
【特許文献1】
特開2001−231003号公報
【0004】
【発明が解決しようとする課題】
しかし、JPEG圧縮は非可逆圧縮であり、伸長画像には画質劣化が生じる。その一方、モニタ画面に表示されるフリーズ画像は圧縮処理および伸長処理を経た画像ではない。このため、従来技術では、伸長画像に生じる画質の劣化をフリーズ画像から判断することができず、画質劣化を確認するには再生モードへの移行が必要であった。つまり、従来技術では、撮影画像の画質劣化を確認するには、煩雑な操作が必要であった。
【0005】
それゆえに、この発明の主たる目的は、撮影画像の画質劣化を簡単かつ速やかに確認することができる、電子カメラを提供することである。
【0006】
【課題を解決するための手段】
この発明によれば、電子カメラはカメラ装置とプロセサとを備え、カメラ装置は、撮影画像信号に基づいて圧縮画像信号を生成する第1生成手段、および第1生成手段によって生成された圧縮画像信号に基づいて伸長画像信号を生成する第2生成手段を備え、プロセサは、撮影指示に応答して第1生成手段を起動する第1起動手段、第1生成手段による生成処理の完了に応答して第2生成手段を起動する第2起動手段、および第2生成手段によって生成された伸長画像信号をモニタに出力する出力手段を備える。
【0007】
【作用】
カメラ装置では、第1生成手段が撮影画像信号に基づいて圧縮画像信号を生成し、第2生成手段がこの圧縮画像信号に基づいて伸長画像信号を生成する。プロセサは、撮影指示に応答して第1生成手段を起動し、第1生成手段による生成処理の完了に応答して第2生成手段を起動する。プロセサはさらに、第2生成手段によって生成された伸長画像信号をモニタに向けて出力する。
【0008】
つまり、撮影指示が与えられると撮影画像信号に基づいて圧縮画像信号が生成され、圧縮画像信号が生成されるとこの圧縮画像信号に基づいて伸長画像信号が生成される。モニタには、こうして生成された伸長画像信号が出力される。これによって、伸長画像の画質劣化を簡単かつ速やかに確認することができる。
【0009】
プロセサは、好ましくは、第1生成手段によって生成された圧縮画像信号をメモリに一時的に保存し、記録指示に応答してこの圧縮画像信号を記録媒体に記録する。これによって、画質が不十分な画像についての意図しない記録が回避され、操作性が向上する。
【0010】
第1生成手段において圧縮手段が撮影画像信号を特定順序で圧縮する場合、カメラ装置は、好ましくは、被写体の光学像に対応する電荷を生成する複数の受光素子が形成されたイメージセンサと、複数の受光素子で生成された電荷を特定順序に相関する順序で読み出す読み出し手段とを備える。この結果、撮影画像信号を圧縮に先立ってメモリに格納する必要性がなくなり、メモリ容量の削減が可能となる。
【0011】
好ましくは、圧縮手段は第1画素ブロック単位で圧縮を行い、読み出し手段は第1画素ブロックに相関する第2画素ブロック単位で読み出しを行う。さらに好ましくは、カメラ装置は、イメージセンサの前面に配置されるかつ複数色の色要素を有する色フィルタと、複数色のいずれか1つの色情報のみを有する電荷信号に色分離を施す色分離手段とをさらに備え、第2画素ブロックは第1画素ブロックよりも大きく、かつ互いに隣接する2つの第2画素ブロックは部分的に重複する。なお、イメージセンサがCMOS型であれば、上記のような電荷の読み出しが可能となる。
【0012】
第2生成手段において、伸長手段が圧縮画像信号に伸長処理を施し、解像度低減手段が伸長手段によって伸長された画像信号の解像度を低減させて上記の伸長画像信号を生成する場合、伸長された高解像度の画像信号を一旦格納するメモリが不要となる。
【0013】
圧縮手段は、好ましくは非可逆方式で圧縮を行う。かかる場合に、伸長画像に画質劣化が生じる。
【0014】
また、撮影画像信号は好ましくは静止画像信号である。静止画像の画質劣化の方が動画像の画質劣化よりも目立つため、静止画像信号について上述の処理を行う場合により顕著な効果が現れると言える。
【0015】
【発明の効果】
この発明によれば、圧縮画像信号の生成後に速やかに伸長画像信号が生成され、生成された伸長画像信号がモニタに出力される。このため、伸長画像の画質劣化を簡単かつ速やかに確認することができる。
【0016】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【0017】
【実施例】
図1を参照して、この実施例の移動通信システムは、携帯通信端末200と無線通信を行う複数のBS(Base Station)100,100,…を含む。BS100はMLS(Mobile Local Switch)400と接続され、MLS400はMGS(Mobile Gateway Switch)300を介して他のMLS400と接続される。携帯通信端末200同士での電話のやり取り、つまり音声データの通信は、BS100,MLS400およびMGS300を介して行われる。
【0018】
MLS400はまた、PPM(Packet Processing Module)500を介してバックボーンネットワーク600と接続され、バックボーンネットワーク600にはサーバ700が接続される。サーバ700は、インターネット800にも接続される。
【0019】
携帯通信端末200からパケットデータが発信されたとき、このパケットデータは、BS100,MLS400,PPM500およびバックボーンネットワーク600を介してサーバ700に与えられる。転送されたパケットデータが他の携帯通信端末200宛のメールであれば、サーバ700は、このパケットデータをバックボーンネットワーク600,PPM500,MLS400,BS100を介して宛先の携帯通信端末200に送信する。一方、転送されたパケットデータがWEBサイト800へのアクセス要求であれば、サーバ700は、インターネット800を介してWEBサイト900にアクセスし、アクセス先から取得したパケットデータを要求元の携帯通信端末200に返送する。このときも、パケットデータは、バックボーンネットワーク600,PPM500,MLS400,BS100を介して要求元の携帯通信端末200に転送される。
【0020】
携帯通信端末200は、具体的には図2に示すように構成される。操作キー36によって通話のための発呼操作が行われると、メインCPU28は、信号処理回路16,無線回路14およびアンテナ12を通して、発呼信号を相手方の携帯通信端末200に送信する。これに対して、相手方が着呼操作を行うと、通話可能状態となる。
【0021】
通話可能状態となった後にマイクロホン24に音声が入力されると、この音声は、マイクロホン24によってアナログ信号である音声信号に変換される。変換された音声信号は、アンプ26によって増幅され、AD/DA変換回路18によってディジタル信号である音声データに変換される。変換された音声データは、信号処理回路16によって符号化処理を施され、さらに無線回路14によって変調処理を施される。無線回路14によって生成された変調音声データは、アンテナ12から発信される。
【0022】
一方、相手方から送られてきた変調音声データは、アンテナ12によって受信され、無線回路14によって復調処理を施されるとともに、信号処理回路16によって復号処理を施される。信号処理回路16によって復号された音声データは、AD/DA変換回路18によってアナログ信号である音声信号に変換され、変換された音声信号は、アンプ20を介してスピーカ22から出力される。
【0023】
このようにして相手方との間で通話が行われている最中に、操作キー36によって通話終了操作が行われると、メインCPU28は、信号処理回路16および無線回路14を制御して、相手方に通話終了信号を送信する。通話終了信号の送信後、メインCPU28は、通話処理を終了する。先に相手方から通話終了信号を受信した場合も、メインCPU28は、通話処理を終了する。
【0024】
通話が行われていない状態で、操作キー36によってカメラ機能が有効化されると、カメラユニット34およびメインCPU28によってスルー画像出力処理が実行される。まずカメラユニット34が、被写体を撮影し、撮影した被写体に対応する低解像度の動画像データを生成し、そして生成した動画像データをメインCPU28に出力する。メインCPU28は、カメラユニット34から出力された動画像データをVRAM38に転送する。VRAM38に格納された動画像データはLCDドライバ40によって読み出され、この結果、被写体のリアルタイム動画像(スルー画像)がLCD42に表示される。
【0025】
操作キー36に設けられたレリーズキー36aが操作されると、カメラユニット34およびメインCPU28によって画像圧縮/保存処理が実行される。まずカメラユニット34が、レリーズキー36aが操作された時点の被写体に対応する高解像度の圧縮静止画像データを生成し、生成した圧縮静止画像データをメインCPU28に出力する。メインCPU28は、カメラユニット34から与えられた圧縮静止画像データをワークメモリ34に一時的に保存する。
【0026】
画像圧縮/保存処理が完了すると、伸長画像出力処理が実行される。まずカメラユニット34が、圧縮静止画像データをJPEG方式で伸長し、伸長静止画像データの解像度を低減し、そして低解像度の伸長静止画像データをメインCPU28に出力する。メインCPU28は、カメラユニット34から出力された伸長静止画像データをVRAM38に書き込む。VRAM38に格納された伸長静止画像データはLCDドライバ40によって読み出され、この結果、レリーズキー36aが操作された時点の被写体の静止画像(フリーズ画像)がLCD42に表示される。
【0027】
JPEG方式は非可逆方式であるため、伸長静止画像データには画質の劣化が生じる。この結果、LCD42に表示されるフリーズ画像にも、この画質劣化が反映される。オペレータは、表示されたフリーズ画像によって画質劣化を簡単かつ速やかに確認することができる。
【0028】
フリーズ画像がLCD42に表示された後に記録キー36bが操作されると、メインCPU28によって記録処理が実行される。つまり、ワークメモリ34に保存されている圧縮静止画像データが、メインCPU28によってフラッシュメモリ30に記録される。フラッシュメモリ30には、圧縮静止画像データを含むデータファイルが形成される。記録が完了すると、スルー画像出力処理が再開される。
【0029】
なお、記録キー36bの代わりにキャンセルキー36cが操作されたときは、圧縮画像データの記録処理を経ることなく、スルー画像出力処理が再開される。
【0030】
メール送信機能が有効化されると、メインCPU28は、宛先アドレス,タイトルおよびメッセージの入力と、フラッシュメモリ30からの任意の圧縮静止画像データの選択とをオペレータに要求する。操作キー36の操作によって、宛先アドレス,タイトルおよびメッセージが入力され、かつ任意の圧縮静止画像データが選択されると、メインCPU28は、メールを作成し、信号処理回路16,無線回路14およびアンテナ12を通してこのメールを送信する。
【0031】
なお、上述のカメラ機能を実現するためのプログラムは、インターネット900上に存在する特定のWEBサイト900からダウンロードすることができる。このとき、ダウンロードされたプログラムは、フラッシュメモリ30に書き込まれる。
【0032】
カメラユニット34は、詳しくは図3に示すように構成される。被写体の光学像は、光学レンズ52と図4に示すような原色ベイヤ配列を有する色フィルタ54とを経て、CMOS型のイメージセンサ56の受光面に入射される。色フィルタ54を形成する色要素はイメージセンサ56の受光面に形成された受光素子(画素)と1対1で対応し、各々の受光素子では、R,GおよびBのいずれか1つの色情報のみを有する電荷が生成される。
【0033】
スルー画像出力処理時、ドライバ62は、TG(Timing Generator)64から出力された垂直同期信号に応答して、ラスタ走査方式でイメージセンサ56を駆動する。イメージセンサ56からは、上述の電荷からなる生画像信号が1ラインずつ出力される。センサ処理回路58は、イメージセンサ56から出力された各フレームの生画像信号にCDS,AGC,A/D変換などの処理を施してディジタル信号である生画像データを生成し、カメラ信号処理回路60は、生成された生画像データに白バランス調整や色分離などの処理を施して補間画像データを生成する。補間画像データを形成する各々の画素は、R,GおよびBの全ての色情報を有することとなる。なお、センサ処理回路58およびカメラ信号処理回路60は、TG64から出力されたクロック信号に応答して処理を実行する。
【0034】
スルー画像出力処理時、スイッチSW1は端子S1と接続され、スイッチSW2は端子S3と接続される。カメラ信号処理回路60から出力された補間画像データは、スイッチSW1を介して間引き回路70に与えられ、解像度低減処理を施される。間引き回路70からは低解像度の補間画像データが出力され、この補間画像データは、スイッチSW2を介してメモリコントローラ76に与えられる。
【0035】
スルー画像出力処理時、メモリコントローラ76は、TG64から出力された垂直同期信号に応答して、いわゆるバンク切り換えを実行する。つまり、メモリコントローラ76は、スイッチSW2から与えられた現フレームの補間画像データを第1フレームメモリ78aに書き込むときは、第2フレームメモリ78bから前フレームの補間画像データを読み出し、スイッチSW2から与えられた現フレームの補間画像データを第2フレームメモリ78bに書き込むときは、第1フレームメモリ78aから前フレームの補間画像データを読み出す。したがって、読み出しアドレスと書き込みアドレスとの間で追い越しが生じることはない。メモリコントローラ76によって読み出された連続フレームの補間画像データつまり動画像データは、I/F80を経てメインCPU28に出力される。
【0036】
画像圧縮/保存処理時、ドライバ62は、イメージセンサ56をブロック走査方式で1フレーム期間にわたって駆動する。これによって、1フレームの生画像信号が、水平10画素×垂直10画素からなる画素ブロック単位でイメージセンサ56から出力される。このとき、互いに隣接する画素ブロックには、図5(A)に示すように、2画素分の重複が生じる。この重複は、カメラ信号処理回路60における色分離処理を考慮したものである。
【0037】
イメージセンサ56から出力された生画像信号はセンサ処理回路58によって生画像データに変換され、センサ処理回路58から出力された生画像データはカメラ信号処理回路60によって補間画像データに変換される。補間画像データは、図5(B)に示すような8画素×8画素からなる画素ブロック単位でカメラ信号処理回路60から出力される。
【0038】
画像圧縮/保存処理時、スイッチSW1は端子S2と接続され、スイッチSW2は端子S4と接続される。また、画像圧縮回路68に圧縮命令が与えられ、メモリコントローラ76にバンク固定命令が与えられる。このバンク固定命令によって、第1フレームメモリ78aが書き込み先および読み出し先として指定される。
【0039】
カメラ信号処理回路60から出力された各画素ブロックの補間画像データは、色変換回路66に与えられる。補間画像データの色形式は、RGB形式からYUV形式に変換される。変換された補間画像データは、圧縮命令によって起動した画像圧縮回路68に画素ブロック単位で与えられ、JPEGのような非可逆方式の圧縮処理を施される。
【0040】
圧縮された補間画像データつまり圧縮静止画像データは、スイッチSW2を介してメモリコントローラ76に与えられ、これによって第1フレームメモリ78aに書き込まれる。第1フレームメモリ78aは読み出し先としても指定されているため、第1フレームメモリ78aに格納された圧縮静止画像データは、その後メモリコントローラ76によって読み出される。読み出された圧縮静止画像データは、I/F80を介してメインCPU28に出力される。
【0041】
伸長画像出力処理時は、画像伸長回路74に伸長命令が与えられ、メモリコントローラ76に設定変更命令が与えられる。この設定変更命令によって、第1フレームメモリ78aが読み出し先として指定され、第2フレームメモリ78bが書き込み先として指定される。メモリコントローラ76は、第1フレームメモリ78aから圧縮静止画像データを読み出し、伸長命令によって起動した画像伸長回路74は、読み出された圧縮静止画像データにJPEG伸長を施す。伸長処理は画素ブロック単位で実行され、伸長された各画素ブロックの補間画像データつまり伸長静止画像データは、色変換回路72によってYUV形式からRGB形式への色変換を施される。
【0042】
スイッチSW1はこの時点において端子S2と接続されており、色変換回路72から出力された伸長静止画像データはスイッチSW1を介して間引き回路70に与えられる。間引き回路70は、与えられた伸長静止画像データに解像度低減処理を施し、これによって生成された低解像度の伸長静止画像データは、スイッチSW2を介してメモリコントローラ76に入力される。メモリコントローラ76は、入力された伸長静止画像データを第2フレームメモリ78bに書き込む。
【0043】
画像伸長回路74による1フレーム分の伸長処理が完了すると、設定変更命令がメモリコントローラ76に与えられる。この命令によって、第2フレームメモリ78bが読み出し先として指定される。メモリコントローラ76は、第2フレームメモリ78bから伸長静止画像データを読み出し、読み出した伸長静止画像データをI/F80を介してメインCPU28に出力する。
【0044】
カメラ機能が有効化されたとき、メインCPU28は図6および図7に示すフロー図に従う処理を実行し、カメラCPU78は図8および図9に示すフロー図に従う処理を実行する。なお、図6および図7に示すフロー図に対応する制御プログラムはフラッシュメモリ30に記憶され、図8および図9に示すフロー図に対応する制御プログラムはフラッシュメモリ84に記憶される。
【0045】
図6および図7を参照して、まずメインCPU28の処理について説明する。ステップS1では所定の初期化処理を実行する。続くステップS3では、スルー画像出力処理を実行するべく、動画像モードをカメラユニット34に設定する。具体的には、“動画像モード”を示すモード情報を図3に示すI/F80に設定する。このモード設定に対してI/F80から割込信号が返送されると、ステップS5でYESと判断し、ステップS7で1フレームの補間画像データをI/F80から取得する。ステップS9では、取得した補間画像データをVRAM38に転送する。ステップS11ではレリーズキー36aの操作の有無を判別し、NOであればステップS3に戻る。このため、レリーズキー36aが押されない限り、連続する複数フレームの補間画像データがI/F80から取り込まれ、VRAM38に転送される。
【0046】
VRAM38に転送された複数フレームの補間画像データは、LCDドライバ40によって順次読み出される。この結果、複数フレームの補間画像データからなる動画像つまり被写体のスルー画像が、LCD42に表示される。
【0047】
レリーズキー36aが操作されると、ステップS11からステップS13に進む。ステップS13では、画像圧縮/保存処理を実行するべく、画像圧縮モードをI/F80に設定する。このモード設定に対して割込信号がI/F80から返送されると、ステップS15でYESと判断する。そして、ステップS17でI/F80から圧縮静止画像データを取得し、ステップS19でこの圧縮静止画像データをワークメモリ32に転送する。取得された圧縮静止画像データは、レリーズキー36aが操作された時点の被写体の画像データである。ステップS19の処理によって、かかる圧縮静止画像データがワークメモリ32に一時的に保存される。
【0048】
圧縮静止画像データの保存が完了すると、伸長画像出力処理を実行するべく、ステップS21で画像伸長モードをI/F80に設定する。このモード設定に対して割込信号がI/F80から返送されると、ステップS23でYESと判断する。そして、ステップS25でI/F80から伸長静止画像データを取得し、ステップS27でこの伸長静止画像データをVRAM38に転送する。取得された伸長静止画像データは、上述の圧縮静止画像データを伸長し、かつ解像度を低減させた画像データである。ステップS27の処理によって、かかる伸長静止画像データがVRAM38に書き込まれる。VRAM38に格納された伸長静止画像データは、LCDドライバ40によって読み出される。この結果、レリーズボタン36aの操作に応答して撮影された被写体の静止画像つまりフリーズ画像が、LCD42に表示される。
【0049】
ステップS29では記録キー36bの操作の有無を判別し、ステップS31ではキャンセルキー36cの操作の有無を判別する。記録キー36bが操作されたときはステップS29からステップS33に進み、ワークメモリ32に保存された圧縮画像データをファイル形式でフラッシュメモリ30に記録する。かかる記録処理が完了すると、ステップS3に戻る。一方、キャンセルキー36cが操作されたときは、ステップS31でYESと判断し、記録処理を経ることなくステップS3に戻る。この結果、スルー画像出力処理が再開される。
【0050】
次に、図8および図9を参照して、カメラCPU82の処理について説明する。ステップS41では所定の初期化処理を実行し、ステップS43ではメインCPU28によって設定されたモード情報をI/F80から取得する。ステップS45ではモード情報の内容が“動画像モード”を表しているかどうかを判別し、ステップS47ではモード情報の内容が“画像圧縮モード”を表しているかどうかを判別する。ステップS45でYESと判断されたときはスルー画像出力処理を実行するべくステップS49に進み、ステップS47でYESと判断されたときは画像圧縮/保存処理を実行するべくステップS61に進む。ステップS45およびS47のいずれにおいてもNOと判断されたときは、ステップS43に戻る。
【0051】
スルー画像出力処理時は、まずステップS49でスイッチSW1およびSW2を端子S1およびS3に接続する。これによって、間引き回路70が有効化される。ステップS51ではドライバ62にラスタ走査を命令し、ステップS53ではメモリコントローラ76にバンク切り換えを命令する。ステップS55では垂直同期信号がTG64から出力されたかどうか判断し、YESであれば、ステップS57で割り込み信号をI/F80を介してメインCPU28に出力する。ステップS57の処理が完了すると、ステップS43に戻る。したがって、動画像モードがI/F80に設定されている限り、ステップS49〜S57の処理が繰り返される。
【0052】
ドライバ62は、TG64からの垂直同期信号に応答してイメージセンサ54をラスタ走査方式で駆動する。このラスタ走査に基づいて、カメラ信号処理回路58からは連続するフレームの補間画像データが出力される。カメラ信号処理回路58から出力された補間画像データは間引き回路70で間引き処理を施され、間引き回路70から出力された低解像度の補間画像データは、メモリコントローラ76によって第1フレームメモリ78aまたは第2フレームメモリ78bに書き込まれる。
【0053】
バンク切り換えが命令されているため、メモリコントローラ76は、書き込み先を第1フレームメモリ78aと第2フレームメモリ78bとの間で1フレーム毎に切り換え、読み出し先を第2フレームメモリ78bと第1フレームメモリ78aとの間で1フレーム毎に切り換える。したがって、各フレームの補間画像データは、第1フレームメモリ78aおよび第2フレームメモリ78bに交互に書き込まれ、第2フレームメモリ78bおよび第1フレームメモリ78aから交互に読み出される。読み出された一連のフレームの補間画像データは、I/F80を介してメインCPU28に出力される。
【0054】
画像圧縮/保存処理時は、まずステップS59でスイッチSW1およびSW2を端子S2およびS4にそれぞれ接続し、ステップS61で画像圧縮回路68に圧縮処理を命令する。ステップS63ではメモリコントローラ76にバンク固定を命令し、ステップS65ではドライバ62にブロック走査を命令する。
【0055】
ドライバ62は、イメージセンサ56をブロック走査方式で1フレーム期間にわたって駆動する。カメラ信号処理回路60からは、このブロック走査に基づく1フレームの補間画像データが出力される。出力された補間画像データは、色変換回路66で色変換を施され、圧縮命令によって起動した画像圧縮回路68でJPEG圧縮を施される。これによって1フレームの圧縮静止画像データが生成される。生成された圧縮静止画像データは、メモリコントローラ76によって第1フレームメモリ78aに書き込まれ、その後メモリコントローラ76によって第1フレームメモリ78aから読み出される。読み出された圧縮静止画像データは、I/F80を介してメインCPU28に出力される。
【0056】
図9のステップS67では、画像圧縮回路68による1フレームの圧縮処理が完了したかどうかを判断する。ここでYESと判断されるとステップS69に進み、割り込み信号をI/F80を介してメインCPU28に出力する。割り込み信号の出力が完了すると、ステップS71でI/F80からモード情報を取得し、ステップS73でこのモード情報の内容を判別する。そして、モード情報が“画像伸長モード”を示していれば、ステップS75以降で伸長画像出力処理を実行する。
【0057】
まずステップS75で画像伸長回路74に伸長処理を命令し、ステップS77でメモリコントローラ76に設定変更を命令する。設定変更の命令によって、メモリコントローラ76は、第1フレームメモリ78aを読み出し先とし、第2フレームメモリ78bを書き込み先とする。第1フレームメモリ78aに格納された圧縮静止画像データは、メモリコントローラ76によって読み出され、伸長命令によって起動した画像伸長回路74でJPEG伸長を施される。伸長静止画像データは、色変換回路72による色変換、および間引き回路70による間引きを経て、メモリコントローラ76によって第2フレームメモリ78bに書き込まれる。
【0058】
ステップS79では、画像伸長回路74の伸長処理が完了したかどうか判断する。ここでYESであれば、ステップS81でメモリコントローラ76に設定変更を命令する。この設定変更命令によって、メモリコントローラ76は第2フレームメモリを読み出し先とする。このため、第2フレームメモリ78bに格納された低解像度の伸長静止画像データは、メモリコントローラ76によって読み出され、I/F80を介してメインCPU28に出力される。ステップS81の処理が完了すると、ステップS83で割り込み信号をI/F80を介してメインCPU28に出力し、その後ステップS43に戻る。
【0059】
以上の説明から分かるように、携帯通信端末200は、カメラユニット34とメインCPU28とを備える。カメラユニット34では、色変換回路66および画像圧縮回路68の一連の処理系が、撮影された被写体の補間画像データに基づいて高解像度の圧縮静止画像データを生成する。また、画像伸長回路74,色変換回路72および間引き回路70の一連の処理系が、高解像度の圧縮静止画像データに基づいて低解像度の伸長静止画像データを生成する。
【0060】
ここで、メインCPU28は、レリーズキー36aが操作されたとき画像圧縮回路68を起動し、圧縮静止画像データの生成が完了したとき画像伸長回路74を起動する。画像伸長回路74の起動によって生成された低解像度の伸長静止画像データは、メインCPU28によってカメラユニット34から取得され、VRAM38に書き込まれる。この結果、伸長画像がLCD42に表示される。したがって、JPEGのような非可逆方式の圧縮処理に起因する伸長画像の画質劣化を簡単かつ速やかに確認することができる。
【0061】
また、メインCPU28は、画像圧縮回路68によって生成された圧縮静止画像データをワークメモリ32に一時的に保存し、記録キー36bが操作されるとこの圧縮静止画像データがフラッシュメモリ30に記録される。このようにフラッシュメモリ30への記録にあたって記録キー36bの操作を要求することで、画質が不十分な圧縮静止画像データの意図しない記録が回避される。かかる点で操作性が向上する。
【0062】
さらに、画像圧縮回路68は画素ブロック単位で圧縮処理を実行するため、ドライバ62は、ブロック走査方式でイメージセンサ56を駆動する。これによって、カメラ信号処理回路60から出力される補間画像データをメモリに一時的に格納する必要がなくなり、メモリ容量の削減が可能となる。
【0063】
なお、この実施例では、携帯通信端末を用いて説明しているが、この発明は、カメラ機能を有するあらゆる電子機器(好ましくは携帯電子機器)に適用することができる。
【0064】
また、この実施例では、メモリ容量の削減も考慮してCMOS型のイメージセンサを用いているが、メモリ容量に制限がないのであれば、ラスタ走査しかできないCCD型のイメージセンサを用いてもよい。
【図面の簡単な説明】
【図1】この発明の一実施例を示すブロック図である。
【図2】図1実施例に適用される携帯通信端末の構成の一例を示すブロック図である。
【図3】図2実施例に適用されるカメラユニットの構成の一例を示すブロック図である。
【図4】図3実施例に適用される色フィルタの構成の一例を示す図解図である。
【図5】(A)は図3実施例の動作の一部を示す図解図であり、(B)は図3実施例の動作の一部を示す図解図である。
【図6】図2実施例に適用されるメインCPUの動作の一部を示すフロー図である。
【図7】図2実施例に適用されるメインCPUの動作の他の一部を示すフロー図である。
【図8】図3実施例に適用されるカメラCPUの動作の一部を示すフロー図である。
【図9】図3実施例に適用されるカメラCPUの動作の他の一部を示すフロー図である。
【符号の説明】
28…メインCPU
30…フラッシュメモリ
32…ワークメモリ
34…カメラユニット
36…操作キー
42…LCD
54…色フィルタ
56…イメージセンサ
68…画像圧縮回路
74…画像伸長回路
76…メモリコントローラ
82…カメラCPU

Claims (9)

  1. カメラ装置とプロセサとを備える電子カメラにおいて、
    前記カメラ装置は、撮影画像信号に基づいて圧縮画像信号を生成する第1生成手段、および前記第1生成手段によって生成された圧縮画像信号に基づいて伸長画像信号を生成する第2生成手段を備え、
    前記プロセサは、撮影指示に応答して前記第1生成手段を起動する第1起動手段、前記第1生成手段による生成処理の完了に応答して前記第2生成手段を起動する第2起動手段、および前記第2生成手段によって生成された伸長画像信号をモニタに出力する出力手段を備えることを特徴とする、電子カメラ。
  2. 前記プロセサは、前記第1生成手段によって生成された圧縮画像信号をメモリに一時的に保存する保存手段、および前記メモリに保存された圧縮画像信号を記録指示に応答して記録媒体に記録する記録手段をさらに備える、請求項1記載の電子カメラ。
  3. 前記第1生成手段は前記撮影画像信号を特定順序で圧縮する圧縮手段を含み、前記カメラ装置は、被写体の光学像に対応する電荷を生成する複数の受光素子が形成されたイメージセンサ、および前記複数の受光素子で生成された電荷を前記特定順序に相関する順序で読み出す読み出し手段をさらに備える、請求項1または2記載の電子カメラ。
  4. 前記圧縮手段は第1画素ブロック単位で圧縮を行い、
    前記読み出し手段は前記第1画素ブロックに相関する第2画素ブロック単位で読み出しを行う、請求項3記載の電子カメラ。
  5. 前記カメラ装置は、前記イメージセンサの前面に配置されるかつ複数色の色要素を有する色フィルタ、および前記複数色のいずれか1つの色情報のみを有する電荷信号に色分離を施す色分離手段をさらに備え、
    前記第2画素ブロックは前記第1画素ブロックよりも大きく、かつ互いに隣接する2つの第2画素ブロックは部分的に重複する、請求項4記載の電子カメラ。
  6. 前記イメージセンサはCMOS型である、請求項3ないし5のいずれかに記載の電子カメラ。
  7. 前記第2生成手段は、前記圧縮画像信号に伸長処理を施す伸長手段、および前記伸長手段によって伸長された画像信号の解像度を低減させて前記伸長画像信号を生成する解像度低減手段を含む、請求項3ないし6のいずれかに記載の電子カメラ。
  8. 前記圧縮手段は非可逆方式で圧縮を行う、請求項3ないし7のいずれかに記載の電子カメラ。
  9. 前記撮影画像信号は静止画像信号である、請求項1ないし8のいずれかに記載の電子カメラ。
JP2002308530A 2002-10-23 2002-10-23 電子カメラ Expired - Fee Related JP3768182B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2002308530A JP3768182B2 (ja) 2002-10-23 2002-10-23 電子カメラ
AU2003261917A AU2003261917A1 (en) 2002-10-23 2003-09-03 Electronic camera
EP03809426A EP1558031A4 (en) 2002-10-23 2003-09-03 ELECTRONIC CAMERA
US10/532,337 US7420593B2 (en) 2002-10-23 2003-09-03 Electronic camera utilizing pixel blocks
CNB038246317A CN100490518C (zh) 2002-10-23 2003-09-03 电子照相机
PCT/JP2003/011278 WO2004039073A1 (ja) 2002-10-23 2003-09-03 電子カメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002308530A JP3768182B2 (ja) 2002-10-23 2002-10-23 電子カメラ

Publications (2)

Publication Number Publication Date
JP2004147008A true JP2004147008A (ja) 2004-05-20
JP3768182B2 JP3768182B2 (ja) 2006-04-19

Family

ID=32170978

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002308530A Expired - Fee Related JP3768182B2 (ja) 2002-10-23 2002-10-23 電子カメラ

Country Status (6)

Country Link
US (1) US7420593B2 (ja)
EP (1) EP1558031A4 (ja)
JP (1) JP3768182B2 (ja)
CN (1) CN100490518C (ja)
AU (1) AU2003261917A1 (ja)
WO (1) WO2004039073A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005125182A1 (ja) * 2004-06-18 2005-12-29 Konica Minolta Opto, Inc. 撮像装置
KR100693587B1 (ko) 2004-08-20 2007-03-14 주식회사 팬택앤큐리텔 고화질 영상 및 동영상 처리 기능을 가지는무선통신단말기 및 그 방법
KR101409769B1 (ko) * 2007-08-01 2014-06-19 삼성전자주식회사 영상 데이터 처리 장치 및 그의 영상 데이터 처리 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100566372C (zh) * 2006-05-11 2009-12-02 宏达国际电子股份有限公司 具有历史图像数字相簿功能的手持电子设备及其应用方法
JP4958758B2 (ja) * 2007-12-14 2012-06-20 三星電子株式会社 記録装置、再生装置、記録方法、再生方法及びプログラム
US8571280B2 (en) * 2010-02-22 2013-10-29 Canon Kabushiki Kaisha Transmission of medical image data
US9001267B2 (en) * 2011-11-11 2015-04-07 Qualcomm Incorporated Method and apparatus for tightly coupled, low power image processing
JP2014013506A (ja) * 2012-07-04 2014-01-23 Canon Inc 情報処理装置、制御方法、及びプログラム
JP2014186196A (ja) * 2013-03-25 2014-10-02 Toshiba Corp 映像処理装置および映像表示システム
JP2015186235A (ja) * 2014-03-26 2015-10-22 ソニー株式会社 イメージセンサ、および電子装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US201074A (en) * 1878-03-05 Improvement in hammock-supports
US260230A (en) * 1882-06-27 Hammock and tent frame
US838078A (en) * 1906-05-07 1906-12-11 Hugh Mcintosh Hammock.
US5046203A (en) * 1990-09-14 1991-09-10 Cuadros Graciela V O De Collapsible hammock support
JPH05110979A (ja) 1991-10-18 1993-04-30 Olympus Optical Co Ltd 画像記録装置
US5659907A (en) * 1995-01-30 1997-08-26 Huang; Ton-Chau Foldable hammock assembly
JP3096618B2 (ja) * 1995-08-10 2000-10-10 三洋電機株式会社 撮像装置
US5983422A (en) * 1998-03-26 1999-11-16 Bayless; Lee Collapsible hammock
US7253836B1 (en) * 1998-06-30 2007-08-07 Nikon Corporation Digital camera, storage medium for image signal processing, carrier wave and electronic camera
JP2001223921A (ja) 1999-11-30 2001-08-17 Canon Inc 画像処理装置及び方法、並びに記憶媒体
JP3515467B2 (ja) 2000-02-18 2004-04-05 三洋電機株式会社 ディジタルカメラ
US7424207B2 (en) * 2000-02-18 2008-09-09 Sanyo Electric Co., Ltd. Digital camera
US6765611B1 (en) * 2000-11-21 2004-07-20 Eastman Kodak Company Method for compressing an image from a sparsely sampled extended dynamic range image sensing device
JP4190805B2 (ja) * 2002-06-12 2008-12-03 オリンパス株式会社 撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005125182A1 (ja) * 2004-06-18 2005-12-29 Konica Minolta Opto, Inc. 撮像装置
US7800647B2 (en) 2004-06-18 2010-09-21 Konica Minolta Opto, Inc. Image capturing device
KR100693587B1 (ko) 2004-08-20 2007-03-14 주식회사 팬택앤큐리텔 고화질 영상 및 동영상 처리 기능을 가지는무선통신단말기 및 그 방법
KR101409769B1 (ko) * 2007-08-01 2014-06-19 삼성전자주식회사 영상 데이터 처리 장치 및 그의 영상 데이터 처리 방법

Also Published As

Publication number Publication date
US20060061667A1 (en) 2006-03-23
US7420593B2 (en) 2008-09-02
AU2003261917A1 (en) 2004-05-13
EP1558031A4 (en) 2010-06-09
WO2004039073A1 (ja) 2004-05-06
JP3768182B2 (ja) 2006-04-19
AU2003261917A8 (en) 2004-05-13
EP1558031A1 (en) 2005-07-27
CN100490518C (zh) 2009-05-20
CN1692642A (zh) 2005-11-02

Similar Documents

Publication Publication Date Title
CN100527820C (zh) 视频重放设备和视频重放方法
US20050264650A1 (en) Apparatus and method for synthesizing captured images in a mobile terminal with a camera
KR101264389B1 (ko) 촬상 장치 및 방법
KR20070050822A (ko) 촬상 장치, 화상 처리 방법, 및 프로그램
US7652692B2 (en) Apparatus and method for photographing a moving picture
US7969467B2 (en) Printing system, printing device, imaging device, printing method and image-transmitting method
JP3768182B2 (ja) 電子カメラ
JP2004007436A (ja) 電子カメラ、画像記録装置、画像記録方法及びプログラム
KR101547828B1 (ko) 영상 처리 장치 및 방법
US20050057667A1 (en) Image pickup apparatus having moving picture photographing function and moving picture photographing method thereof
JP3359526B2 (ja) デジタル電子カメラ
KR20110109886A (ko) 송신 장치, 방법, 및 프로그램
JP4193691B2 (ja) 撮像装置、動画ファイルの記録方法、及びプログラム
JP2000341252A (ja) データ通信システム、データ送信装置、データ受信装置およびデータ通信装置
JP3379537B2 (ja) デジタルカメラにおける高速画像選択
JP3379536B2 (ja) デジタルカメラにおける高速画像表示
KR101080455B1 (ko) 휴대단말기의 영상 보정 방법 및 장치
JPH11146034A (ja) 情報処理装置、情報処理方法、および記録媒体
JP3729200B2 (ja) デジタルカメラ
JP3365413B2 (ja) デジタルカメラにおける高速画像表示
JP2005191697A (ja) 動画撮影装置、動画記録方法、および、動画記録プログラム
JP2000115605A (ja) ディジタルカメラ
JP2000295591A (ja) 画像処理装置
US20060023083A1 (en) Method of controlling digital photographing apparatus for efficient reproduction operation and digital photographing apparatus adopting the same
JP2001045362A (ja) 画像送信装置、画像受信装置、画像伝送システム、画像伝送方法及び記憶媒体

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20040922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060131

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090210

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090210

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090210

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100210

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110210

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110210

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120210

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120210

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130210

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees