JP2004312433A - 画像処理システム - Google Patents

画像処理システム Download PDF

Info

Publication number
JP2004312433A
JP2004312433A JP2003104079A JP2003104079A JP2004312433A JP 2004312433 A JP2004312433 A JP 2004312433A JP 2003104079 A JP2003104079 A JP 2003104079A JP 2003104079 A JP2003104079 A JP 2003104079A JP 2004312433 A JP2004312433 A JP 2004312433A
Authority
JP
Japan
Prior art keywords
unit
image
camera
data
main unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003104079A
Other languages
English (en)
Other versions
JP4298358B2 (ja
Inventor
Yoshiyuki Endo
吉之 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2003104079A priority Critical patent/JP4298358B2/ja
Priority to US10/817,837 priority patent/US20040201693A1/en
Publication of JP2004312433A publication Critical patent/JP2004312433A/ja
Application granted granted Critical
Publication of JP4298358B2 publication Critical patent/JP4298358B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00347Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with another still picture apparatus, e.g. hybrid still picture apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2158Intermediate information storage for one or a few pictures using a detachable storage unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/646Transmitting or storing colour television type signals, e.g. PAL, Lab; Their conversion into additive or subtractive colour signals or vice versa therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0015Control of image communication with the connected apparatus, e.g. signalling capability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034Details of the connection, e.g. connector, interface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0087Image storage device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0089Image display device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】さまざまな撮像モジュールを利用可能し、さらに、操作状況に応じたリアルタイムなデータ管理を実現する画像処理システムを提供することを目的とする。
【解決手段】カメラ部と本体部とが分離する構造を有する画像処理システムにおいて、前記カメラ部と本体部とのデータ転送の手段として、前記本体部側において記録すべき画像を撮像する前に前記本体部の表示部上で被写体を確認するための画像データを前記カメラ部から本体部へ転送するための第1のバスと、前記本体部側において記録すべき画像ファイルを前記カメラ部から本体部へ転送するための第2のバスと、前記カメラ部と前記本体部との間で制御データを転送するための第3のバスとをそれぞれ独立に有することを特徴とする画像処理システムを提供する。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、カメラ部と本体部が物理的に分離する構造を有する画像処理システムの画像転送・制御に関するものである。
【0002】
【従来の技術】
図8は、いわゆる従来の一般的なデジタルカメラの構成を説明するブロック図である。
【0003】
図8において、701はレンズ群で、固定焦点のレンズ群であってもいいし、所定倍率のズームレンズ群で構成される場合であってもよい。
【0004】
702はCCDに代表される撮像素子である。703は撮像素子コントロール部で、CCD702に転送クロックおよびシャッタ信号を供給するタイミングジェネレータ(TG回路)とともに、撮像素子702からの画像信号にノイズ除去およびゲイン調整処理を行うCDS/AGC回路、およびアナログ画像信号を10bitデジタル信号に変換するA/Dコンバータなどを具備する。この撮像素子コントロール部703からは1秒間に30画面(フレーム)の画像データが、常に出力される。上記CDS/AGC回路及びTG回路は、デジタルカメラ機能IC704から出力される同期シリアル通信によって制御されるものがほとんどである。
【0005】
704はICで、撮像素子コントロール部703からの画像データに、ホワイトバランス調整およびシャッタスピードおよび絞り制御等の画像処理を行い、Y・Cb・Crフォーマットのデジタル信号に変換して出力する。IC704には、上記処理を行うために必要となるワークエリア用のメモリであるワークメモリ705と、ストレージデバイスであるCFカードと、シャッタSWやモード切替SW等のキーSW群708が接続されている。また、IC704から出力される画像をNTSCディスプレイ709に表示するために、NTSC出力IC708が接続されている。710は、IC704のプログラムが格納されているプログラムメモリである。711はレンズ群701のフォーカス制御やズーム制御を行うレンズ駆動モータ部である。
【0006】
次に、IC704による画像信号の表示処理について説明する。
【0007】
通常、ファインダーモードと呼ばれる、画像の記録動作の前段階として、NTSC表示部709上に画像を表示するだけのモードにおける内部動作について説明する。IC704が撮像素子コントロール部703に対し、ファインダーモードを設定する為のデータを同期シリアル通信で出力する。上記データを受けた撮像素子コントロール部703は撮像素子702に対し、ファインダーモードに対応した各種制御クロックを出力する。この状態において、カメラレンズ701から取り込まれた光学像は、撮像素子702によって電気信号に変換される。そして、IC704は、撮像素子コントロール部703より出力された画像を加工し、表示するために必要な画素サイズに縮小した画像データを出力する。この画像データは、通常1ドットあたり13.5MHz、一画面約640×480ドットで秒30フレーム、データの形式はYCbCrの4:2:2で出力される。
【0008】
NTSC出力IC708は、この出力された画像データを、一画面約720×480で秒30フレームの画像をEVENフレームとODDフレームに分けて約720×240ドットで秒60フレームとして変換し、NTSC表示部709に対して出力する。
【0009】
次に、従来のデジタルカメラの静止画記録動作について説明する。
【0010】
静止画撮影モードでシャッタSWが押されると、IC704はファインダー動作を停止し、撮像素子コントロール部703に対し、ファインダーモードにおいて行われていた間引き動作からCCDの全画素を取り込む動作への変更を指示する為のデータを同期シリアル通信で転送する。具体的には、ファインダー動作時に出力される撮像素子からの出力画像データは、垂直方向が1/4程度に間引かれているが、全画素取り込み時には、いくつかのフレームに分けて、CCD702すべての画素データを出力する。
【0011】
IC704では、ワークメモリ705上に出力された全画素分のデータを展開した後、JPEG圧縮を行い、CFカード707に格納する。
【0012】
次に、従来のデジタルカメラの動画記録について説明する。今までのデジタルカメラにおける動画撮影は、いわゆるMotionJPEGと呼ばれる方式が主流となっている。
【0013】
動画記録モードでシャッタSWが押されると、上記表示信号の出力で説明したファインダーモードにおけるデータの流れと同様に、IC704に入力された画像データは、JPEGファイル化され、ワークメモリ705内に一時的に記録された後、CFカード707に転送される。この処理をシャッタSWが押されている間に連続して行われるが、CFカード707への転送速度には制限があるので、画像サイズはVGA(640×480)以下、フレームレートは15fps以下という条件下において、連続撮影時間は15秒というような仕様に限定されている。
【0014】
ここまで、従来の一体型デジタルカメラについて説明をしたが、カメラ部と本体部が物理的に分離した構成の分離型デジタルカメラは、破線部712で分離するものがほとんどである。この場合、撮像素子コントロール部703とデジタルカメラ機能IC704の間の信号線は、撮像素子コントロール部703を制御する同期シリアル通信用の信号と、撮像素子コントロール部からパラレル出力される画像データになる。
【0015】
また、近年のインターネットの普及に伴い、パーソナルコンピュータ(PC)に接続USBやIEEE1394で接続できるカメラや、PDAにCFカードインターフェイス経由で接続できるカメラモジュールが一般的になりつつある。これらのカメラは、QCIFサイズ(176×144)から多くてもVGAサイズ(640×480)までのCCDを搭載するものがほとんどである。
【0016】
【特許文献1】
特開平9−230495号公報
【0017】
【発明が解決しようとする課題】
しかしながら、このような従来の画像処理システムにおいて、撮像素子の画素数などを変更したい場合、撮像素子に対応して撮像素子コントロール部のCDS/AGC/AD用IC及びTG用ICも変更しなければならないため、機器(デジタルカメラ)ごと買い換えなければならないという問題があった。
【0018】
また分離型のカメラとPCとの接続において、使用されるI/FはUSBもしくはIEEE1394等の高速シリアルが主流である。
【0019】
しかしながら、撮像素子の画素数が例えば200万画素やそれ以上になった場合、VGAサイズで30fpsのファインダー画像と、200万画素のJPEG圧縮後の静止画と、カメラ部を制御する制御コマンドの3種類のデータを時分割でシリアル通信に流す場合、高速なシリアルデータをメモリに書き込む為のメモリクロックの高速化による消費電力の増加や、時分割制御のオーバーヘッドによる転送速度の低下や、リアルタイムなソフトウェアによるデータ切替え管理が難しくなる等の問題が発生する。
【0020】
PDAに主に見られるCFカードインターフェイスによる接続のカメラモジュールに関しては、CFカードインターフェイスのデータ転送量に限界があり、VGAサイズのファインダーデータの転送すら出来ない。
【0021】
本発明は上記従来例に鑑みてなされたもので、さまざまな撮像モジュールを利用可能し、さらに、操作状況に応じたリアルタイムなデータ管理を実現する画像処理システムを提供することを目的とする。
【0022】
【課題を解決するための手段】
上述した目的を達成するために、カメラ部と本体部とが分離する構造を有する画像処理システムにおいて、前記カメラ部と本体部とのデータ転送の手段として、前記本体部側において記録すべき画像を撮像する前に前記本体部の表示部上で被写体を確認するための画像データを前記カメラ部から本体部へ転送するための第1のバスと、前記本体部側において記録すべき画像ファイルを前記カメラ部から本体部へ転送するための第2のバスと、前記カメラ部と前記本体部との間で制御データを転送するための第3のバスと、をそれぞれ独立に有することを特徴とする画像処理システムを提供することを特徴とする。
【0023】
すなわち、秒単位で30フレームの出力速度を持つ低解像度のファインダーモードの画像データを出力するポートと、JPEG圧縮した高画素画像を専用で入出力するポートと、機器間の制御信号を専用で入出力するポートを、カメラ部と本体部にそれぞれ独立して持ち、カメラ部と本体部を接続した際にそれぞれのポートが結合することで、本実施の形態の目的を達成する。
【0024】
【発明の実施の形態】
以下、添付の図面に沿って本発明の実施の形態を説明する。
【0025】
(第1の実施の形態)
図1は、本発明の一実施の形態に係る分離型の画像処理システムの概略構成を示すブロック図である。本実施の形態では、本体部側において記録すべき画像を撮像する前に本体部の表示部上で被写体を確認するための画像データを前記カメラ部から本体部へ転送するためのバスと、本体部側において記録すべき画像ファイルをカメラ部から本体部へ転送するためのバスと、カメラ部と本体部との間で制御データを転送するためのバスとがそれぞれ独立して構成することで本発明の目的を達成している。
【0026】
図1において、100は、本体部と分離されたカメラ部である。101は、CCD102に画像を入力するレンズ群である。102は、レンズ群101から入力される画像を電気信号に変換する撮像素子である。103は、撮像素子102から出力されるアナログ信号を調整し、デジタル信号に変換するCDS/AGC処理、AD変換回路、撮像素子102を駆動するためのタイミング信号を出力するタイミングジェネレータからなる撮像素子コントロール部である。
【0027】
IC104は、撮像素子コントロール部を同期シリアル通信によって制御し、露出の制御を行うと共に、撮像素子コントロール部103から出力されるデジタル画像信号の各種処理(ホワイトバランスの処理、ファインダーモードにおけるファインダー画像(640×480ドット)の生成・出力、撮影画像のJPEGファイルの生成)を実行する。
【0028】
105は、IC104に接続され、JPEG展開や画像サイズ変換等に使われるSDRAMやSRAMなどのカメラ用ワークメモリである。106は、IC104の制御プログラムが格納されているプログラムメモリである。
【0029】
107は、カメラ部100と本体部120を接続する為の、カメラ部100側のカメラ側コネクタである。108は、IC104から出力されるファインダー用の画像データを出力するファインダー出力専用バスである。109は、カメラ部100側のIC104と本体部120側のCPU121が、相互にファイルデータの送受信を行う、カメラ側ファイル転送専用バスである。110は、カメラ部100側のIC104と本体部120側のCPU121との間で制御コマンドの送受信を行うためのカメラ側制御コマンド専用バスである。
【0030】
120は、カメラ部と分離された本体部である。121は、キーSW127からの入力に基づき当該機器をコントロールし、IC104の制御や、TFT液晶表示部125への画像の表示をコントロールするCPUである。このCPU121は、いわゆるマイクロプロセッサ以外に、ファインダーデータのYC→RGB変換ロジックや、プログラムメモリ123やワークメモリ122等の外部メモリをコントロールするメモリコントローラ等のロジックを内蔵するいわゆるSOC(システム・オン・チップ)といわれるものが含まれる。
【0031】
122は、メモリバスで接続され、CPU121の画像展開エリアやワークエリアとして使用されるワークメモリである。123は、メモリバスで接続され、当該機器をコントロールする制御プログラムやフォントデータを格納する、プログラムメモリである。124は、CPU121から出力されるRGB信号と同期信号を入力し、TFT液晶表示部125に画像を表示するための信号を生成・出力する表示制御回路である。125は、VGAサイズのTFT方式液晶ディスプレイなどの表示部である。127は、シャッタSWやモードSWなどの各種制御用のSWを検出する、キーSWである。128は、CPU121と専用バスを経由しコネクタで接続される、着脱式のストレージデバイスであるところのCFカードである。
【0032】
130は、本体部120及びカメラ部100の各デバイスに電源を供給する為の電源部である。本実施の形態では、本体部120側に対して電力を供給し、カメラ部100へは本体側コネクタ131及びカメラ側コネクタ107を通して電力を供給する方式である。
【0033】
131は、カメラ部100と本体部120を接続する為の、本体部120側の本体側コネクタである。132は、カメラ部100側のIC104から出力されるファインダー画像用データ(表示部125上で実際に記録すべき画像を撮像する前に被写体を確認するための画像データ)を、カメラ側コネクタ107及び本体側コネクタ131を経由してCPU121に入力する為のファインダー入力専用バスである。133は、IC104とCPU121が、相互にファイルデータの送受信を行う、本体側ファイル転送専用バスである。134は、IC104とCPU121が、制御コマンドの送受信を行う、本体側制御コマンド専用バスである。本実施の形態では、制御コマンドのやり取りにはUARTと呼ばれる標準的なシリアル通信方式を使用しているものとする。
【0034】
図2は、IC104から出力される、表示部125上にファインダー用の画像表示を行うときの各種信号の波形図を示している。本実施の形態では、VGA(640×480ドット)サイズの表示を行う場合のファインダーデータについて説明を行う。なお、図2(a)〜(c)はそれぞれ同じ時間軸を示している。
【0035】
図2において、201は画像データ204(8ビットのYCbCr信号)において、VGAサイズの有効データ部分を示すENABLE信号である。202は、ファインダー出力部全体の基準信号となるLCD_CLKであり、この信号は、約13.5MHzである。203は、LCD_CLK202を2分周した信号であり、表示データ204の基準信号となるx2LCD_CLKである。この信号は、約27MHzである。204は、x2LCD_CLKの立下りに同期して8bit出力される表示データである。
【0036】
205は、水平方向のデータ開始期間をあらわす水平同期信号(Hsync信号)である。Hsync信号の周期は、LCD_CLK202あたり約700クロック分の期間となる。206は、Hsync信号205との関係を明示する為に、時間軸を縮小し、簡略化したファインダー用の画像データである。207は、垂直方向のデータ開始期間をあらわす垂直同期信号(Vsync信号)である。Vsync信号の周期は、約640Hsync信号期間程度である。208は、Vsync信号207との関係を明示する為に、時間軸を縮小し、簡略化して表したHsync信号である。210は、主に青系の色情報のデータとなる8bitの色差信号(Cb信号)である。211は、主に明るさ情報のデータとなる8bitの輝度信号(Y信号)である。212は、主に赤系の色情報のデータとなる8bitの色差信号(Cr信号)である。
【0037】
表示データ204出力は、CCIR−601の形式に準拠している。ENABLE信号201がHighになると同時に、x2LCD_CLKの立下りに同期して表示データ204が8bit出力される。出力されるデータは、YCbCr=4:2:2という形式に基づき、輝度信号は各表示画素に対しひとつずつ存在するが、各色差信号は2ドットに対しひとつということになっている。したがって、1ドットあたりのデータ量は、輝度信号と色差信号がひとつづつということになり、輝度信号及び色差信号はともに1データが8bitであるため、16bitで表される。
【0038】
有効画素が640×480の一画面分の表示を行う場合、約700クロック×640ライン分の期間が必要とされ、その中に640ドット×480ライン分の有効画素が含まれることになる。デジタルカメラ制御IC104から出力されるファインダーデータは、1秒間あたり約30回更新されることと、上記のように1ドットあたりのクロックが13.5MHzであることから、ファインダーデータにおける有効データ転送容量は約19MB/sとなる。
【0039】
図3は、本実施の形態におけるカメラ部100側のIC104と本体部120側のCPU121が、相互にファイルデータの送受信を行う、ファイル転送専用バス(109,133)における波形図である。本実施の形態では、いわゆるDMA転送とよばれる、アドレス制御が不必要なデータ転送方式を用いて説明する。DMA転送は、少ないデータライン数で大量のデータを短時間で転送するのに適している。また、この場合、IC104がマスター動作を行う。なお、このファイル転送専用バスについては、USBやIEEE1394等の方式を使用しても実現することが出来る。
【0040】
図3において、301は、本体部120側のCPU121から出力され、カメラ部100部側のIC104に入力される、ファイルの送信もしくは受信を要求する為に出力されるデータリクエスト信号(DREQ信号)である。
【0041】
302は、CPU121から出力されるDREQ信号301によって、カメラ部100内のIC104がCPU121へファイル転送可能な状態にあることを判断し、IC104内で転送データもしくは受信バッファが許可状態になった際に出力するデータアクノリッジ信号(DACK信号)である。
【0042】
303は、IC104がDACK信号302をLレベルにして、CPU121とのデータ送受信を許可した状態において、IC104からみたリード(RD)もしくはライト(WR)における、8bitDMAデータ304のラッチタイミングを表すRD/WR信号である。この信号は、マスターであるIC104から出力される。
【0043】
304は、リード時にはCPU121から出力され、ライト時にはIC104から出力される、ファイル転送データであるところの、8bitDMAデータである。
【0044】
DMA方式におけるデータ転送は、本体120側から出力されるDREQ信号301がアクティブになった後に、IC104から出力されるDACK信号302及びRD/WR信号303がどれだけ早くレスポンスするかに応じて転送容量が決まる。もし、DACK信号302が、10MHzの周期であった場合、転送容量は10MB/sとなる。
【0045】
図4は、本実施の形態における静止画撮影(記録)を行うときの画像処理システム各処理動作期間を時系列的に示した遷移図である。
【0046】
図4において、401は、CPU121の動作状態を表すモードである。この中で、「ファインダー」は、記録動作を行わずに間引き出力された画像データを表示するファインダー動作状態を表し、「露光」は静止画像を記録する(全画素を記録対象とする)全画素読み出し用のデータ露光期間を表し、「読み出し」は、「露光」期間で露光された撮像素子102の全画素画像データを、撮像素子102から出力する期間をあらわしている。
【0047】
402は、撮像素子102を制御する撮像素子コントロール部103内部のタイミングジェネレータから出力される制御信号のひとつで、ファインダー動作時は約33msごと、読み出し時には16msごとにLレベルになるCCD垂直同期信号(VD信号)である。撮像素子102からのデータの出力は、このVD信号が基準になり、Lレベルから次にLレベルまでの期間を、フレームという単位であらわす。403は、撮像素子102から出力される記録すべき静止画像のデータ出力期間を示している。
【0048】
404は、IC104がCCD102から出力される全画素データ(撮像素子出力403におけるDとE)を、ワークメモリ105に書き込む期間をあらわす、メモリライトタイミングである。405は、IC104が、ワークメモリ105に書かれた記録すべき静止画像データを読み出し、JPEG圧縮を行いながらその圧縮データを再びワークメモリ105に書き込む期間を示す、JPEG圧縮タイミングである。
【0049】
406は、JPEG圧縮されて、ワークメモリ105に書き込まれたJPEGファイルを、カメラ部101側ファイル転送専用バス109を用いて、IC104からCPU121に転送する期間を示す、DMA転送タイミングである。
【0050】
407は、タイミング403において出力される画像データと、IC104がファインダー出力専用バス108に出力する表示データとの相関を表す、ファインダー表示タイミングである。ここで、モード401がファインダーの場合、403における画像出力Aは、次のフレームでファインダー表示407として出力され、続いてBというCCD出力403も、1フレーム遅れてファインダー表示407の出力Aとして処理される。また、露光・読み出し処理から復帰したファインダーモードにおけるタイミングにおいても同様で、403における画像出力の1フレーム遅れでファインダー表示として出力される。
【0051】
図1、図2、図3、図4及び図7を用いて、本実施の形態における静止画撮影時の各データバスの制御とデータの流れを説明する。図7は本実施の形態における画像処理システムの動作処理フローチャートである。
【0052】
まず、操作者が本体部120にカメラ部100を装着(ステップS801)すると、カメラ部100は電源部130から電源を供給される(ステップS802)。カメラ部100自体のイニシャル化処理終了後(ステップS803)、カメラ部100側の制御コマンド専用バス110を介して、例えば、200万画素相当の撮像素子102であることを示す画素情報や、レンズ群101のズーム倍率情報等の各種情報を含むカメラモジュール情報を、CPU121に対して出力する(ステップS804)。
【0053】
本体部120は、上記カメラモジュール情報を受けて、カメラ部100を使用するアプリケーションにおける情報設定を更新する(ステップS805)。その後、操作者によってカメラ部100を使用するアプリケーションが選択された(ステップS806)場合、アプリケーションの状態に応じた、カメラ部に対する制御コマンドを本体側制御コマンド専用バス134を通して出力(ステップS807)し、この処理は上記アプリケーションの終了、もしくは電源がOFFされるまで継続(ステップS808)する。
【0054】
ステップS806において、操作者がキーSW127を利用し静止画撮影アプリケーションを選択すると、CPU121はカメラ側制御コマンド専用バス134を通してUARTによりファインダー動作の開始を指示する。この指示は、カメラ側制御コマンド専用バス110を介してIC104に伝えられる。
【0055】
ファインダー動作の指示を受けたIC104は、401におけるファインダー動作を行う為、ファインダー用の送信データ出力指示を、同期シリアル転送によって、撮像素子コントロール部103に対し出力する。指示を受けた撮像素子コントロール部103は、ファインダー動作用の画像データ(出力403のA,B,F,G)をIC104に出力する。IC104はファインダー動作用の画像データを受けて、オートフォーカスや露出制御及びホワイトバランス制御を行い、かつVGAサイズになるような間引き・拡大処理を行った後に、ファインダーデータとして、ファインダー出力専用バス108を通してCPU121に対して出力(ファインダー表示407のA,B,F)する。
【0056】
図2のファインダーデータにおいて、表示データ204を8bitにした場合、x2LCD_CLKは約27MHzとなり、その際の有効データ転送量は約19MB/sとなる。このデータは静止画撮影が開始されるまで、定常的に出力され続ける。ファインダー入力専用バス132を介してファインダーデータを入力したCPU121内部では、表示データ204は形式が違う為そのまま表示制御回路124に出力できない。そこで以下のような変換式を使って、YCbCr信号からRGB信号を生成し、表示制御回路124及びTFT表示部125に出力する。
【0057】
R=1.16Y+1.59Cr
G=1.16Y−0.81Cr−0.39Cb
B=1.16Y+2.018Cb
次に、操作者が本体部120側のキーSW127に含まれるズームキーや露出制御キーを押下した場合、CPU121は押下されたキースイッチを判断し、カメラ側制御コマンド専用バス134を介して、UARTにより、ズームキーの場合は、ズームモータ動作の実行や停止を指示し、露出制御キーの場合は、画像の明るさの増減を指示する。カメラ側制御コマンド専用バス134を介してこれらの指示を受けたIC104は、ズームの実行に対してはレンズ駆動モータ部107の制御を、露出の制御に関しては、IC104内部のレジスタ値、もしくはCCDコントロール部103のアナログゲインの値を書き換えたり、読み出し期間の制御、あるいは絞りを制御したりすることで実現される。
【0058】
また、操作者がキーSW127に含まれるシャッタースイッチを押下した場合、シャッタースイッチの信号を検出したCPU121は、カメラ側制御コマンド専用バス134を介してUARTによりファインダー動作の停止を指示し、続いて全画素取り込み開始(CFカードへの記録対象となる静止画像の撮像動作の開始)を指示する。全画素取り込みの指示を受けたIC104は、401における露光動作を行う為のパラメータを同期シリアル転送によって撮像素子コントロール部103に対し出力する。
【0059】
指示を受けた撮像素子コントロール部103は、露光動作用の静止画像データ(撮像素子出力403のD、E)を、IC104に順次出力する。401における「読み出し」期間でIC104に入力された静止画像データは、すべてワークメモリ105に書き込まれる。すべての画像データのワークメモリ105への書き込みが完了した後、IC104は、再び自動的にファインダー動作に復帰する為に、同期シリアル転送によってファインダー用の送信データ出力指示を撮像素子コントロール部103に対し出力すると、撮像素子出力403のFの画像データがファインダー表示407のFのタイミングでIC104から出力される。
【0060】
また、ファインダー動作への復帰と同時に、画像データのJPEG圧縮を行い、圧縮されたファイルをワークメモリ105に書き込んだ後、IC104は、カメラ側ファイル転送専用バス109を通してCPU121に対し、JPEG圧縮されたファイルを転送する。JPEG圧縮されたファイルを受け取ったCPU121は、一度ワークメモリ122に転送した後、CFカード128に書き込む処理が行われる。
【0061】
以上説明したように、本実施の形態によれば、カメラ部と本体部が着脱可能なシステムにおいて、カメラ部と本体部とを接続する信号線を「ファインダ」「ファイル転送」「コマンド」の3つに分離し、それぞれ独立して動作させることにより、転送容量の確保と、動作周波数の低下、低消費電力化、データ管理の容易さを実現することが出来る。
【0062】
さらに、機能の異なる3つのバスを持つことで、撮影からファインダ表示への復帰が早く、操作レスポンスの向上も実現できる。
【0063】
さらに、撮像素子やレンズ駆動モータ部の細かな制御はICが実行する為、CPUはどのような画像処理部が装着されても、「コマンド」専用バスの使用により同じように制御できる。したがって、ひとつの本体部に対して、様々なバリエーションのカメラ部を低価格で供給することが出来る。
【0064】
(第2の実施の形態)
第1の実施の形態では、IC104とCPU121との接続を、制御コマンド、ファインダーデータ、ファイル転送それぞれの専用バスを持って制御することと、これらの専用バスを持つカメラ部ならば、どのようなものでも本体部に接続できることを特徴としていた。しかしながら、カメラ部におけるCCDの画素数が、VGA(640×480)程度のものであった場合、ファインダー用の画像データ自体が無圧縮の全画素データとして成立するため、カメラ部側にファイル転送専用バスをもつ必要がなくなる。そこで、本実施の形態では、このようなファイル転送専用バスを有さないカメラ部が挿入された場合においても、制御コマンドによる制御で本体部のファイル転送を無効にすることで、同じ本体部に対し、性能の異なるカメラ部を挿入することが出来る形態を説明する。
【0065】
図5は、本発明の実施の形態2に係るカメラ部と本体部とを表したブロック図である。なお、図1と同じ符号を示すものは同様の機能・動作を行うものとしてその説明を省略する。
【0066】
図5において、500は、VGAサイズの撮像素子502を搭載するカメラ部である。502は、レンズ群101から入力される画像を電気信号に変換する640×480ドット分の画像データを出力する撮像素子である。
【0067】
504は、撮像素子コントロール部103を、同期シリアル通信によって制御し、露出やホワイトバランスをコントロールしたり、ファインダー画像(640×480ドット)の出力、記録すべき静止画像のJPEGファイルを生成したりするICである。
【0068】
507は、カメラ部500と本体部120を接続する為の、カメラ部500側のカメラ側コネクタである。カメラ側コネクタ507は、ファイル転送専用バスを有さない。508は、デジタルカメラ機能IC504から出力される、ファインダーデータを出力するファインダー出力専用バスである。510は、デジタルカメラ機能IC504とCPU121が、制御コマンドの送受信を行う、カメラ側制御コマンド専用バスである。
【0069】
図5を用いて、本実施の形態の画像処理システムについて説明する。
【0070】
まず、カメラ部500が本体部120に装着にともなって、カメラ側制御コマンド専用バス510を介して、カメラ部500からVGA相当のCCD502を搭載しているという画素に関する情報を含むカメラモジュール情報を、CPU121に対して出力する。
【0071】
この情報を受けた本体部120側のCPU121は、キーSW127のシャッタSWを押下された場合においても、静止画のファイル転送要求をカメラ部500に対して出力せず、ファインダー出力専用バス508から出力されるファインダー用の画像データをCFカード128に記録する画像として兼用する。すなわち、VGA相当の画像をワークメモリ122上に抽出、この抽出された画像をCPU121内部で、JPEG圧縮し、ワークメモリ122上にJPEGファイルを作成した後、CFカード128に書き込む。
【0072】
上述したように本実施の形態によれば、低画素数の撮像素子を有するカメラ部に対しても適切な処理を行うことができる。
【0073】
(第3の実施の形態)
前述の実施の形態1および2では、レンズ部を交換できるデジタルカメラシステムの場合について説明したが、制御コマンド、ファインダーデータ、ファイル転送それぞれの専用バスを持っていれば、カメラ部100以外のモジュールも接続することが出来る。
【0074】
図6は、第3の実施所形態に係るビデオ信号処理部と本体部とを表したブロック図である。
【0075】
図6において、600は、NTSCビデオ信号をデジタル画像本体部に供給し、NTSCビデオ信号を本体部120のTFT液晶表示部125に表示させたり、本体部120側でビデオ画像をデジタル画像として保存させたりするビデオ信号処理部である。601は、NTSC入力コネクタである。602は、音声入力コネクタである。603は、NTSC入力コネクタ601から入力されるアナログのNTSC信号を、デジタルデータに変換し、CCIR−601の形式に準拠した表示データ204出力とおなじ形式でビデオデータを出力出来るNTSCデコーダ部である。604は、音声入力コネクタ602から入力される音声データをADPCM等のデジタルデータとして記録したり、ビデオ側制御コマンド専用バス607から入力される制御コマンドに基づいてNTSCデコーダ部603をコントロールしたりするROM・RAM内蔵の1ChipCPUである。
【0076】
605は、NTSCデコーダ部603から出力されるファインダー用の画像データを本体部120に出力する為の、ファインダー出力専用バスである。606は、1ChipCPU604からCPU121に対し、音声データを出力するビデオ信号処理部側ファイル転送専用バスである。607は、1ChipCPU604とCPU121が、制御コマンドの送受信を行う、ビデオ信号処理部側制御コマンド専用バスである。
【0077】
図6を用いて、本実施の形態について説明する。
【0078】
まず、ビデオ信号処理部600が本体部120に装着すると、それに伴って、ビデオ信号処理部600の1ChipCPU604は、ビデオ信号処理用モジュールであるという情報を本体部120に対して出力する。ビデオ信号処理用モジュールであるという情報を受けた本体部120は、ビデオ表示というアプリケーションが選択された際に、本体側制御コマンド専用バス134を介してビデオ部の1ChipCPU604に対しビデオデータの出力を指示する。
【0079】
指示を受けた1ChipCPU604は、NTSCデコーダ部603に対しビデオデータの出力を指示し、ファインダー出力専用バス605を介してビデオデータを出力させると共に、音声入力コネクタ602から入力される音声データをデジタルデータとして、ビデオ側ファイル転送専用バス606を介して本体部120に出力する。
【0080】
ビデオ表示用アプリケーションの起動中にシャッタSWが押下された場合、本体部120は、静止画のファイル転送要求をビデオ部600に対して出力せずに、ファインダー出力専用バス605から出力されるファインダー用の画像データから、VGA相当の画像をワークメモリ122上に抽出する。この抽出した画像をCPU121内部でJPEG圧縮し、ワークメモリ122上にJPEGファイルを作成した後、CFカード128に書き込む。
【0081】
このようにNTSC信号が入力される画像処理システムにおいても適切な処理を実行することができる。
【0082】
本発明は、一例として、前述した実施形態の機能を実現するソフトウェアのプログラムコードを、インターネットなどのネットワークを介して画像信号処理装置に供給し、撮像装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによって達成できる。
【0083】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態のCPU50の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0084】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー(R)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。
【0085】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【0086】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示にもとづき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【0087】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、本発明の撮像装置に不可欠なモジュールを、記憶媒体に格納することになる。
【0088】
【発明の効果】
以上説明したように本発明によれば、画像処理部と本体部が着脱可能なシステムにおいて、画像処理部と本体部とを接続する信号線を「ファインダー」「ファイル転送」「コマンド」の3つに分離し、それぞれ独立して動作させることにより、転送容量の確保と、動作周波数の低下、低消費電力化、データ管理の容易さを実現することが出来る。
【図面の簡単な説明】
【図1】第1の実施の形態における画像処理システムのブロック図。
【図2】ファインダー用の画像表示を行うときの各種信号の波形図。
【図3】ファイル転送専用バス(109,133)における波形図。
【図4】静止画撮影(記録)を行うときの画像処理システム各処理動作期間を時系列的に示した遷移図である。
【図5】第2の実施の形態における画像処理システムのブロック図。
【図6】第3の実施の形態における画像処理システムのブロック図。
【図7】第1の実施の形態における画像処理システムの動作処理フローチャート。
【図8】従来のデジタルカメラのブロック図。
【符号の説明】
100 カメラ部
102 撮像素子
104 IC
108,132 ファインダー出力専用バス
109,133 ファイル転送専用バス
110,134 制御コマンド転送バス
120 本体部
121 CPU

Claims (7)

  1. カメラ部と本体部とが分離する構造を有する画像処理システムにおいて、
    前記カメラ部と本体部とのデータ転送の手段として、
    前記本体部側において記録すべき画像を撮像する前に前記本体部の表示部上で被写体を確認するための画像データを前記カメラ部から本体部へ転送するための第1のバスと、
    前記本体部側において記録すべき画像ファイルを前記カメラ部から本体部へ転送するための第2のバスと、
    前記カメラ部と前記本体部との間で制御データを転送するための第3のバスと、
    をそれぞれ独立に有することを特徴とする画像処理システム。
  2. 請求項1において、前記カメラ部の前記本体部への装着にともなって、前記第3のバスを介して前記カメラ部の固有の情報を前記本体部へ転送することを特徴とする画像処理システム。
  3. 請求項2において、前記本体部は、取得した前記カメラ部の固有の情報にともなって、前記カメラ部に対する制御を変更することを特徴とする画像処理システム。
  4. 請求項1において、前記本体部は、NTSC信号を入力するビデオ信号処理部と接続可能であることを特徴とする画像処理システム。
  5. 請求項1に記載の画像処理システムの本体部。
  6. 請求項1に記載の画像処理システムのカメラ部。
  7. カメラ部と本体部とが分離する構造を有する画像処理システムのデータ転送方法において、
    前記本体部側において記録すべき画像を撮像する前に前記本体部の表示部上で被写体を確認するための画像データを前記カメラ部から本体部へ転送するための第1のバスと、
    前記本体部側において記録すべき画像ファイルを前記カメラ部から本体部へ転送するための第2のバスと、
    前記カメラ部と前記本体部との間で制御データを転送するための第3のバスと、
    をそれぞれ独立に有することによってデータの転送を行うことを特徴とするデータ転送方法。
JP2003104079A 2003-04-08 2003-04-08 画像処理システム Expired - Fee Related JP4298358B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003104079A JP4298358B2 (ja) 2003-04-08 2003-04-08 画像処理システム
US10/817,837 US20040201693A1 (en) 2003-04-08 2004-04-06 Image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003104079A JP4298358B2 (ja) 2003-04-08 2003-04-08 画像処理システム

Publications (2)

Publication Number Publication Date
JP2004312433A true JP2004312433A (ja) 2004-11-04
JP4298358B2 JP4298358B2 (ja) 2009-07-15

Family

ID=33127779

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003104079A Expired - Fee Related JP4298358B2 (ja) 2003-04-08 2003-04-08 画像処理システム

Country Status (2)

Country Link
US (1) US20040201693A1 (ja)
JP (1) JP4298358B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006303956A (ja) * 2005-04-21 2006-11-02 Konica Minolta Opto Inc 撮像装置
JPWO2006080245A1 (ja) * 2005-01-26 2008-06-19 コニカミノルタオプト株式会社 携帯情報端末
JP2010087797A (ja) * 2008-09-30 2010-04-15 Sony Corp 撮像装置、及び撮像装置におけるデータ伝送方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7443426B2 (en) * 2004-02-13 2008-10-28 Canon Kabushiki Kaisha Image capturing system and control method of the same
DE102004033481A1 (de) * 2004-07-10 2006-01-26 Robert Bosch Gmbh Bildaufnahmesystem
US20060176391A1 (en) * 2005-02-07 2006-08-10 Yi-Jen Cheng Digital video recorder
JP2006238298A (ja) * 2005-02-28 2006-09-07 Megachips Lsi Solutions Inc カメラ付き電子機器およびカメラ付き電子機器に組み込まれるメインモジュール
JP4612866B2 (ja) * 2005-05-20 2011-01-12 キヤノン株式会社 撮像方法および撮像システム
US8116595B2 (en) * 2007-03-06 2012-02-14 Infimed, Inc. Universal interface for medical imaging receptors
US20080219599A1 (en) * 2007-03-06 2008-09-11 Infimed, Inc. Universal Interface For Medical Imaging Receptors

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5479206A (en) * 1992-02-04 1995-12-26 Fuji Photo Film Co., Ltd. Imaging system, electronic camera, computer system for controlling said electronic camera, and methods of controlling same
US5506617A (en) * 1992-12-10 1996-04-09 Eastman Kodak Company Electronic camera incorporating a computer-compatible bus interface
DE69528918T2 (de) * 1994-02-28 2003-04-24 Canon K.K., Tokio/Tokyo Bildaufnahmegerät
US6025827A (en) * 1994-04-07 2000-02-15 International Business Machines Corporation Digital image capture control
JP3528335B2 (ja) * 1994-08-22 2004-05-17 株式会社日立製作所 ビデオカメラシステム
US6750902B1 (en) * 1996-02-13 2004-06-15 Fotonation Holdings Llc Camera network communication device
JP2000050129A (ja) * 1998-07-31 2000-02-18 Minolta Co Ltd デジタルカメラ
JP2000196986A (ja) * 1998-12-25 2000-07-14 Olympus Optical Co Ltd 電子的撮像装置
US6600657B1 (en) * 1999-10-12 2003-07-29 Mitsubishi Electric Research Laboratories, Inc. Accessory adapted for digital personal assistant
US6549358B1 (en) * 2000-04-28 2003-04-15 International Business Machines Corporation Ehanced gripper for transporting cartridges in an information storage library
JP2002112098A (ja) * 2000-10-03 2002-04-12 Olympus Optical Co Ltd 電子撮影装置
US6965403B2 (en) * 2000-10-16 2005-11-15 Canon Kabushiki Kaisha External storage device for image pickup apparatus, control method therefor, image pickup apparatus and control method therefor

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2006080245A1 (ja) * 2005-01-26 2008-06-19 コニカミノルタオプト株式会社 携帯情報端末
JP2006303956A (ja) * 2005-04-21 2006-11-02 Konica Minolta Opto Inc 撮像装置
JP2010087797A (ja) * 2008-09-30 2010-04-15 Sony Corp 撮像装置、及び撮像装置におけるデータ伝送方法

Also Published As

Publication number Publication date
US20040201693A1 (en) 2004-10-14
JP4298358B2 (ja) 2009-07-15

Similar Documents

Publication Publication Date Title
EP1558984A1 (en) A digital camera module and a digital host device
JP2001238190A (ja) 画像処理装置及びその制御処理方法
JP4298358B2 (ja) 画像処理システム
JP6006083B2 (ja) 撮像装置および撮像方法
JP4328906B2 (ja) バス制御方法及び装置並びにデジタルカメラ
US10771681B2 (en) Imaging pickup apparatus of which display start timing and display quality are selectable, method of controlling the same
JP3812264B2 (ja) 撮像装置
JP2003046939A (ja) 電子カメラ、および電子カメラ用の制御ic
JP4281161B2 (ja) 電子カメラ
JP2005303673A (ja) 画像撮影処理システム及び制御プログラム
JP4266477B2 (ja) 情報処理装置及びその制御方法
JP2002351815A (ja) バス制御方法及び装置
KR20180025162A (ko) 제어 장치, 처리 실행 장치, 제어 방법, 처리 실행 방법 및 제어 시스템
JP4525382B2 (ja) 表示装置及び撮像装置
JP4408478B2 (ja) 映像記録装置
JP2005252798A (ja) 画像処理システム
JP2004179852A (ja) デジタルカメラ
JP3713907B2 (ja) 画像表示装置、画像転送方法及び記憶媒体
JP2000253280A (ja) 撮像装置
JP4185780B2 (ja) サムネイル画像作成装置及びサムネイル画像作成方法
JP2000354189A (ja) 撮像装置及びその制御方法及び記憶媒体
JP2006229448A (ja) 撮像装置
JP2004032713A (ja) 撮像装置及び撮像方法及びプログラム及び記憶媒体
JP2002191007A (ja) 撮像装置
JP2006048226A (ja) 半導体集積回路及び撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090414

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090415

R150 Certificate of patent or registration of utility model

Ref document number: 4298358

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140424

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees