JP2003244630A - 画像処置装置、画像処理方法及びデジタルカメラ - Google Patents

画像処置装置、画像処理方法及びデジタルカメラ

Info

Publication number
JP2003244630A
JP2003244630A JP2002044646A JP2002044646A JP2003244630A JP 2003244630 A JP2003244630 A JP 2003244630A JP 2002044646 A JP2002044646 A JP 2002044646A JP 2002044646 A JP2002044646 A JP 2002044646A JP 2003244630 A JP2003244630 A JP 2003244630A
Authority
JP
Japan
Prior art keywords
image
feature extraction
data
file
digital camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002044646A
Other languages
English (en)
Other versions
JP2003244630A5 (ja
JP4323748B2 (ja
Inventor
Masao Kato
真夫 加藤
Akitoshi Yamada
顕季 山田
Fumitaka Goto
文孝 後藤
Kentaro Yano
健太郎 矢野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2002044646A priority Critical patent/JP4323748B2/ja
Priority to EP03251024A priority patent/EP1339216A1/en
Priority to US10/368,600 priority patent/US7564487B2/en
Priority to CN2006100577175A priority patent/CN1825889B/zh
Priority to CNB031062148A priority patent/CN1251474C/zh
Publication of JP2003244630A publication Critical patent/JP2003244630A/ja
Publication of JP2003244630A5 publication Critical patent/JP2003244630A5/ja
Application granted granted Critical
Publication of JP4323748B2 publication Critical patent/JP4323748B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00278Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a printing apparatus, e.g. a laser beam printer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3242Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of processing required or performed, e.g. for reproduction or before recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3278Transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 デジタルカメラ等からの原画像をフォトダイ
レクトプリンタ本体で画像補正を行い、高品質な画像を
実現すると共に、過剰な処理負荷の増加を抑え、快適な
プリント環境を提供する。 【解決手段】 デジタルカメラでの画像データ保存時に
該画像データに関する画像特徴データを同時に保存し、
該画像データと同時に保存された画像特徴データを用い
て、フォトダイレクトプリンタ本体で画像補正処理を行
う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はデジタルカメラとプ
リンタを接続してプリントを行うプリント処理に関する
ものである。
【0002】
【従来の技術】画像データに基づく出力画像をプリンタ
やディスプレイにて良好に出力する場合、出力画像を構
成する複数のオブジェクトの各々に対し、オブジェクト
の種類に応じた色補正処理、色変換処理、二値化処理等
の色処理を行うことが必要となる。一般にコンピュータ
アプリケーションによって作成された画像の印刷やディ
スプレイへの表示はアプリケーションからの描画命令群
をデバイスドライバあるいはデバイスが画像化し、ペー
ジ全体の画像データを作成して印刷、表示を行なう。
【0003】近年、システムやアプリケーションによっ
ては、それらオブジェクトに対して「ソースプロファイ
ル」の指定が行なわれ、デバイスドライバはその指定内
容を使用して、より高品位な出力を得ることが可能にな
っている。これは例えばスキャナ入力画像がドキュメン
トに貼られた場合、その画像のイメージ描画命令にスキ
ャナのデバイス特性を記述したカラープロファイルを指
定したり、あるいはディスプレイ上でカラーキャリブレ
ーション等を行なった場合、編集者の見た目の色を再現
するために使用したモニタの特性を記述したカラープロ
ファイルを指定することができる。これらのカラープロ
ファイルは例えばICCプロファイルであり、これを利
用できるシステムとしてMicrosoft社WindowsのICM,Appl
e社のColorSyncなどが知られている。
【0004】さらにこのようなきめ細かなカラーマッチ
ング処理システムであったとしても、写真画像において
は、オリジナルの画像イメージ自体が劣悪であった場合
には、当然美しい高品位の出力を得るための技術もいく
つか開示されている。例えば近年普及したデジタルカメ
ラで撮影した画像なども露出が不適当であったとすれ
ば、これを改善するために、使用者は画像レタッチソフ
トなどで、原稿画像の露出を補正する非線形色バランス
処理等の画像補正処理を原稿画像全体に対して行ってい
た。しかしながら、高い知識と経験を持っていない使用
者が適切な補正処理を設定するには試行錯誤を繰り返す
ことになり非常に時間がかかった。
【0005】このような画像補正を特開2000−13
625号公報に記載されている方法等により自動化する
手法も開示されており、画像記録装置にも適応されてい
る。特開2000−13625号公報では、原画像の画
素データに基づき明るさに関するヒストグラムを作成
し、所定の画素値から累積して所定度数に相当する画素
データを検出し、ハイライト、シャドーポイントを求
め、それらのポイントに基づき画像全体の色かぶりを補
正する画像補正処理を行うことにより、処理負荷の少な
く、かつ高品質な画像を実現している。
【0006】一方でデジタルカメラの普及に伴い、デジ
タルカメラのデータをコンパクトフラッシュ(CF)カ
ードなどの記録媒体を介して、プリンタ本体に設けたカ
ードスロットルから直接カードに保存されたデータを読
み込み、ホストPCを介さないで直接プリントを行う、
いわゆるフォトダイレクトプリンタ(PDプリンタ)な
どからの出力の需要が高まりつつある。またさらにはこ
れらのPDプリンタに記録媒体を介してではなく、デジ
タルカメラとユニバーサルシリアルバス(USB)等を
用いて直接PDプリンタがデジタルカメラ内のデータを
用いて、プリンタ側で記録可能なデータへの変換処理を
行い、記録を行うPDプリンタシステムも実現されてい
る。
【0007】これらのPDプリンタはコントローラ部と
呼ばれる画像処理機能をプリンタ内部に有し、通常のプ
リンタではホストPC側で行う画像のレンダリング、ラ
スタライズ、色変換、量子化、プリント制御用コマンド
の生成等の処理を全てこのコントローラ部で行い、エン
ジン部に生成されたデータを送る。そしてエンジン部で
は生成されたデータを読み取り、印字制御用コマンドと
印字データとを解釈し、記録紙への画像の記録を行う為
に必要な紙送りやキャリッジ移動などのメカ制御や記録
ヘッド駆動パルスの印加や記録ヘッドへのデータの送信
などの制御を行う。これらエンジン部での制御は従来の
ホストPCからデータをエンジン部で受けた場合と同じ
である。このようなPDプリンタはデジタルカメラの普及
に伴い、その需要も増している。
【0008】さらに、近年デジタルカメラ側で事前に印
字濃度の補正量などの、印字パラメータ指定、印字制御
などに関する情報を画像データと共にファイル化した技
術により、プリンタシステム側でその情報を取得し、画
像記録時に補正を行う手法も公知になっている。
【0009】
【発明が解決しようとする課題】しかしながら、このよ
うな前述のようなデジタルカメラ等からの画像を適切に
画像補正する技術をPDプリンタで実現する場合に次の
ような課題を認識するに至った。
【0010】CFカード等の記録媒体に保存された画像
に対して補正を行った画像を出力する場合、CFカード
へのファイルアクセス回数が増し、実質的な印字速度を
低減してしまうという問題が発生する。
【0011】詳細を説明すると、通常の印字データ生成
処理を行うためのCFカード等の記録媒体へのファイル
アクセスの他に、事前に画像補正を行う際にヒストグラ
ム作成等の画像解析の為に一旦画像ファイルを読み込む
ためのCFカードへのファイルアクセスしなければなら
ない。この事前の画像補正用のファイルアクセスと通常
の色処理の為のファイルアクセスを一緒することも可能
であるが、その為には読み込んだ画像データを全て展開
・保持できるだけの大量のメモリがPD機本体に必要と
なり、大幅なコストUPに成ってしまう。まして近年の
ように、デジタルカメラの高画質化による記録画素数は
年々倍増するのに伴い、それだけコストアップ量は大き
くなる。
【0012】また一般的にデジタルカメラからの画像は
JEPG(Joint Photograhic Experts Group)規格な
どの圧縮されたファイル形態で保存されていることが多
い。(以下このような画像のことを簡易的にJEPG画像と
呼ぶ)。この場合、画像本来の中身は圧縮データを展開
しないと解らないため、前述のヒストグラム作成するた
めには、ファイルアクセスのほかにJEPG画像の展開
も必要となる。このため、さらなる処理量の増大を招
き、印字速度が低下してしまう。
【0013】また、1枚の記録紙上に複数枚の画像をレ
イアウトして記録をおこなう場合、さらに画像ファイル
数が増えるため、前述のファイルアクセスやJEPGの
展開の回数も増え、ファイル数が増える分だけ処理の負
荷がさらに増し、印字速度の低下を招くという問題が発
生する。
【0014】また、デジタルカメラ内の画像データをP
Dプリンタ本体から直接読み出して印字を行う場合で
も、先の記録媒体からの呼び出しの場合と同様で、デジ
タルカメラへのアクセス回数の増加、JEPGの展開回
数の増加で、処理負荷が増大し、印字速度の低下を招く
という同様な問題が発生する。
【0015】さらに、前述のデジタルカメラ側で事前に
印字濃度の補正量などの印字パラメータ指定、印字制御
などに関する情報を画像データと共にファイル化する技
術では、印字パラメータ指定、印字制御などに関する情
報は印字を行う記録装置の特性を考慮したものとならざ
るおえず。想定外の記録装置の場合には何ら意味を持た
ないものとなってしまい、汎用性に乏しいという問題が
発生する。
【0016】本発明の目的は、デジタルカメラ等からの
元画像をPDプリンタ本体で画像補正を行い、高品質な
画像を実現すると共に、過剰な処理負荷の増加を抑え、
快適なプリント環境を提供することにある。
【0017】
【課題を解決するための手段】上記の課題を解決するた
めに、本発明のデジタルカメラは、撮影された画像の特
徴を抽出する特徴抽出手段と、前記抽出手段により抽出
された特徴を示す特徴抽出データを前記撮影された画像
の付加情報として撮影画像とともに画像ファイル化する
ファイル化手段と、前記画像ファイルを記録媒体に記録
する記録手段と、を有することを特徴とする。
【0018】また、本発明の画像処理装置は、上記のデ
ジタルカメラから得られる画像ファイルを入力する入力
手段と、前記画像ファイルから前記特徴抽出データを読
み出す特徴抽出データ読出手段と、前記特徴抽出データ
に基づいて前記画像ファイルの画像を補正する補正手段
と、を有することを特徴とする。
【0019】また、本発明の画像処理装置は、画像デー
タに該画像の特徴を表わす輝度、色相、彩度、濃度の少
なくとも1つに関するヒストグラム情報又は色差情報が
付与された画像ファイルを入力する入力手段と、前記入
力手段により入力された画像ファイルから前記ヒストグ
ラム情報或いは色差情報を抽出する抽出手段と、前記抽
出手段により抽出された前記ヒストグラム情報或いは色
差情報を用いて前記画像データを補正する補正手段と、
を有することを特徴とする。
【0020】
【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。
【0021】(第1の実施形態)以下に本発明の第一の
実施形態について説明を行う。まず図1から図6で本発
明を適応できるフォトダイレクト(PD)プリンタにつ
いて説明する。
【0022】図1は、本発明の実施の形態に係るフォト
ダイレクトプリンタ装置1000の外観斜視図である。
このフォトダイレクトプリンタは、ホストコンピュータ
(PC)からデータを受信して印刷する、通常のPCプ
リンタとしての機能と、メモリカードなどの記憶媒体に
記憶されている画像データを直接読取って印刷したり、
或いはデジタルカメラからの画像データを受信して印刷
する機能を備えている。
【0023】図1において、本実施の形態に係るフォト
ダイレクトプリンタ装置1000の外殻をなす本体は、
下ケース1001、上ケース1002、アクセスカバー
1003及び排出トレイ1004の外装部材を有してい
る。また、下ケース1001は、装置1000の略下半
部を、上ケース1002は本体の略上半部をそれぞれ形
成しており、両ケースの組合せによって内部に後述の各
機構を収納する収納空間を有する中空体構造をなし、そ
の上面部及び前面部にはそれぞれ開口部が形成されてい
る。さらに、排出トレイ1004は、その一端部が下ケ
ース1001に回転自在に保持され、その回転によって
下ケース1001の前面部に形成される開口部を開閉さ
せ得るようになっている。このため、記録動作を実行さ
せる際には、排出トレイ1004を前面側へと回転させ
て開口部を開成させることにより、ここから記録シート
が排出可能となると共に、排出された記録シートを順次
積載し得るようになっている。また、排紙トレイ100
4には、2枚の補助トレイ1004a,1004bが収
納されており、必要に応じて各トレイを手前に引き出す
ことにより、用紙の支持面積を3段階に拡大、縮小させ
得るようになっている。
【0024】アクセスカバー1003は、その一端部が
上ケース1002に回転自在に保持され、上面に形成さ
れる開口部を開閉し得るようになっており、このアクセ
スカバー1003を開くことによって本体内部に収納さ
れている記録ヘッドカートリッジ(不図示)あるいはイ
ンクタンク(不図示)等の交換が可能となる。なお、こ
こでは特に図示しないが、アクセスカバー1003を開
閉させると、その裏面に形成された突起がカバー開閉レ
バーを回転させるようになっており、そのレバーの回転
位置をマイクロスイッチなどで検出することにより、ア
クセスカバーの開閉状態を検出し得るようになってい
る。
【0025】また、上ケース1002の上面には、電源
キー1005が押下可能に設けられている。また、上ケ
ース1002の右側には、液晶表示部1006や各種キ
ースイッチ等を備える操作パネル1010が設けられて
いる。この操作パネル1010の構造は、図3を参照し
て詳しく後述する。1007は自動給送部で、記録シー
トを装置本体内へと自動的に給送する。1008は紙間
選択レバーで、記録ヘッドと記録シートとの間隔を調整
するためのレバーである。1009はカードスロット
で、ここにメモリカードを装着可能なアダプタが挿入さ
れ、このアダプタを介してメモリカードに記憶されてい
る画像データを直接取り込んで印刷することができる。
このメモリカード(PC)としては、例えばコンパクト
フラッシュ(登録商標)メモリ、スマートメディア、メ
モリスティック等がある。1011はビューワ(液晶表
示部)で、この装置本体に着脱可能であり、PCカード
に記憶されている画像の中からプリントしたい画像を検
索する場合などに、1コマ毎の画像やインデックス画像
などを表示するのに使用される。1012は後述するデ
ジタルカメラを接続するための端子、1013はパーソ
ナルコンピュータ(PC)を接続するためのUSBバス
コネクタを示す。
【0026】図2は、本実施の形態に係るフォトダイレ
クトプリンタ装置1000の記録ヘッドの構成を示す外
観斜視図である。この実施形態における記録ヘッドカー
トリッジ1200は、図2に示すようにインクを貯留す
るインクタンク1300と、このインクタンク1300
から供給されるインクを記録情報に応じてノズルから吐
出させる記録ヘッド1301とを有し、記録ヘッド13
01は、キャリッジ1102に対して着脱可能に搭載さ
れる、いわゆるカートリッジ方式を採るものとなってい
る。そして記録に際しては、記録ヘッドカートリッジ1
200はキャリッジ軸に沿って往復走査され、それに伴
って記録シート上にカラー画像が記録される。ここに示
す記録ヘッドカートリッジ1301では、写真調の高画
質なカラー記録を可能とするため、インクタンクとし
て、例えば、ブラック、ライトシアン(LC)、ライト
マゼンタ(LM)、シアン、マゼンタ及びイエローの各
色独立のインクタンクが用意されており、それぞれが記
録ヘッド1301に対して着脱自在となっている。
【0027】なお、本実施の形態では、上述した6色の
インクを使用する場合で説明するが、本発明は、これら
6色のインクを用いる場合に限定されるものでなく、例
えばブラック、シアン、マゼンタ及びイエローの4色の
インクを使用して記録を行なうインクジェットプリンタ
であってもよい。その場合には、4色それぞれ独立のイ
ンクタンクが、それぞれ記録ヘッド1301に対して着
脱自在となっていても構わない。
【0028】図3は、本実施の形態に係る操作パネル1
010の外観図である。図において、液晶表示部100
6には、その左右に印刷されている項目に関するデータ
を各種設定するためのメニュー項目が表示される。表示
される項目としては、印刷したい範囲の先頭写真番号、
指定コマ番号(開始/指定)、印刷を終了したい範囲の
最後の写真番号(終了)、印刷部数(部数)、印刷に使
用する用紙(記録シート)の種類(用紙種類)、1枚の
用紙に印刷する写真の枚数設定(レイアウト)、印刷の
品位の指定(品位)、撮影した日付を印刷するかどうか
の指定(日付印刷)、写真を補正して印刷するかどうか
の指定(画像補正)、印刷に必要な用紙枚数の表示(用
紙枚数)等がある。これら各項目は、カーソルキー20
01を用いて選択、或いは指定される。2002はモー
ドキーで、このキー2002を押下する毎に、印刷の種
類(インデックス印刷、全コマ印刷、1コマ印刷等)を
切り替えることができ、これに応じてLED群2003
の対応するLEDが点灯される。2004はメンテナン
スキーで、記録ヘッド1301のクリーニング等、プリ
ンタのメンテナンスを行わせるためのキーである。20
05は印刷開始キーで、印刷の開始を指示する時、或い
はメンテナンスの設定を確立する際に押下される。20
06は印刷中止キーで、印刷を中止させる時や、メンテ
ナンスの中止を指示する際に押下される。
【0029】図4を参照して、本実施の形態に係るフォ
トダイレクトプリンタ装置1000の制御に係る主要部
の構成を説明する。尚、この図4において、前述の図面
と共通する部分は同じ記号を付与して、それらの説明を
省略する。
【0030】図4において、3000は制御部(制御基
板)を示している。3001はASIC(専用カスタム
LSI)を示し、その構成は図5のブロック図を参照し
て詳しく後述する。3002はDSP(デジタル信号処
理プロセッサ、例えば米国テキサス・インスツルメンツ
社製DSP-C6211)で、内部にCPUを有し、各種制御処
理及び、輝度信号(RGB)から濃度信号(CMYK)
への変換、スケーリング、ガンマ変換、誤差拡散等の画
像処理等を担当している。3003はメモリで、DSP
3002のCPUの制御プログラムを記憶するプログラ
ムメモリ3003a、及び実行時のプログラムを記憶す
るRAMエリア,画像データなどを記憶するワークメモ
リとして機能するメモリエリアを有している。3004
はプリンタエンジンで、ここでは、複数色のカラーイン
クを用いてカラー画像を印刷するインクジェットプリン
タのプリンタエンジンが搭載されている。3005はデ
ジタルカメラ3012を接続するためのポートとしての
USBバスコネクタである。3006はビューワ101
1を接続するためのコネクタである。3008はUSB
バスハブ(USB HUB)で、このプリンタ装置1000がP
C3010からの画像データに基づいて印刷を行う際に
は、PC3010からのデータをそのままスルーし、U
SBバス3021を介してプリンタエンジン3004に
出力する。これにより、接続されているPC3010
は、プリンタエンジン3004と直接、データや信号の
やり取りを行って印刷を実行することが出来る(一般的
なPCプリンタとして機能する)。3009は電源コネ
クタで、電源3013により、商用ACから変換された
直流電圧を入力している。PC3010は一般的なパー
ソナルコンピュータ、3011は前述したメモリカード
(PCカード)、3012はデジタルカメラである。
【0031】尚、この制御部3000とプリンタエンジ
ン3004との間の信号のやり取りは、前述したUSB
バス3021又はIEEE1284バス3022を介し
て行われる。
【0032】図5は、図4のASIC3001の構成を
示すブロック図で、この図5においても、前述の図面と
共通する部分は同じ記号を付与して、それらの説明を省
略する。
【0033】4001はPCカードインターフェース部
で、装着されたPCカード3011に記憶されている画
像データを読み取ったり、或いはPCカード3011へ
のデータの書き込み等を行う。4002はIEEE12
84インターフェース部で、プリンタエンジン3004
との間のデータのやり取りを行う。このIEEE128
4インターフェース部は、デジタルカメラ3012の記
録媒体或いはPCカード3011に記憶されている画像
データを印刷する場合に使用されるバスである。400
3はUSBインターフェース部で、PC3010との間
でのデータのやり取りを行う。4004はUSBホスト
インターフェース部で、デジタルカメラ3012との間
でのデータのやり取りを行う。4005は操作パネル・
インターフェース部で、操作パネル1010からの各種
操作信号を入力したり、表示部1006への表示データ
の出力などを行う。4006はビューワ・インターフェ
ース部で、ビューワ1011への画像データの表示を制
御している。4007は各種スイッチやLED等400
9との間のインターフェースを制御するインターフェー
ス部である。4008はCPUインターフェース部で、
DSP3002との間でのデータのやり取りの制御を行
っている。4010はこれら各部を接続する内部バス
(ASICバス)である。
【0034】図6は、本実施の形態に係るフォトダイレ
クトプリンタ装置1000のインターフェース及び画像
処理制御に係る機能構成を示す機能ブロック図である。
尚、この図6においても、前述の図面と共通する部分は
同じ記号を付与して、それらの説明を省略する。
【0035】6000は、このフォトダイレクトプリン
タ装置1000からみた場合でのホスト(画像データ
源)に該当しており、このホスト6000には、上述し
たホストコンピュータであるPC3010、デジタルカ
メラ3012、PCカード3011、更には不図示のゲ
ーム機やテレビジョン機器なども含まれる。このような
ホスト6000は、USBバス、IEEE1284、或
はIEEE1394等の有線インターフェースを介して
接続される。またこれ以外にもブルートゥース(Bluetoo
th)等の無線インターフェースを用いても良い。
【0036】また前述した制御基板3000の有する機
能には、ASIC3001により実現されるデータ入力
及び格納処理部6001と、プリンタエンジン3004
にプリントデータを出力するプリンタインターフェース
部6004、そしてDSP3002により実行されるマ
ルチレンダラ処理6002、画像処理及びプロセス処理
6003が含まれる。
【0037】まずホスト6000からIFを介して画像
データを読み込んで、データ入力格納部6001にまず
格納される。格納されたデータはDSP3002により
マルチレンダラ処理を行い復元され、画像処理/プロセ
ス処理部6003で処理できるデータに変換される。画
像処理/プロセス処理部6003では通常のホストPC
上のプリンタドライバで行なわれるサイズ変換/色変換
/量子化と同様の処理を行う。ここで色処理では元画像
の色空間とプリンタの出力色空間のずれを補正するRG
BからR’G’B’への変換、さらにプリンタの色材成
分への色変換であるR’G’B’からCMYK、出力ガ
ンマ補正等の一般的な色変換の他に、デジタルカメラで
撮影された画像の色を適切に表現するための画像補正処
理などを含んでいる。その後プリンタIF6004を介
してプリントデータをプリンタエンジン3004に送
る。プリンタエンジン部での動作については、ここでは
特に詳細に述べないが、公知の手法により本体モータの
制御や記録ヘッドへデータを転送等の各種制御を行い、
被記録媒体への画像の記録を行う。
【0038】以上が本発明を適応したフォトダイレクト
(PD)プリンタについての概略説明であるが、ここで
特徴的なのはDSPを用いて処理を行っている点であ
る。一般にDSPは積和演算を得意とし、特に本実施形態
で用いているような多数の演算素子を内蔵した高機能タ
イプのDSPでは複数の積和演算等の並列処理が有利に
行える。特に通常のプロセッサではダイレクトプリント
時に負荷の重かった色処理、量子化等の演算に本実施形
態のDSPは適している。
【0039】本実施形態のPDプリンタのコントローラ
部ではDSPを用いて、主処理をソフトウェア処理で行
っているが、これらの処理をハードウェア化したものも
あり、一部の処理をソフトウェア処理にしその他をハー
ドウェア処理で行うコントローラ部のものでも本発明の
主たる目的に影響を与えるものではない。しかしなが
ら、ハードウェア処理を多くすることによって、ソフト
ウェア処理に比べ、高速化を計れるものの機能を追加す
るような拡張性や柔軟性がソフトウェア処理のものに比
べて低くなる。本実施形態のような高機能タイプのDS
Pを用いることにより、高速性と拡張性、柔軟性に優れ
たシステムが実現できるのである。
【0040】特に本発明に至った課題認識の過程におい
て、このような高機能タイプのDSPを用いた場合に
は、画像処理等の他の処理が比較的高速に行なわれる為
に、処理時間の中で占める割合の大きな処理の一つがP
Cカード等の記憶媒体へのアクセスの為の時間であるこ
とが明らかとなった。それゆえ本実施形態のような高機
能タイプのDSPを用いたPDプリンタに適応した場
合、性能の改善がより、鮮明になるという認識に至っ
た。
【0041】次に本発明を適応できるデジタルカメラに
ついて説明する。図7(a)はカメラ3012の内部構
成を示すブロック図である。図7(a)においては、上
述したプリンタと関連して用いることのできる一般的な
デジタルカメラを示しているが、さらに複雑な構成を有
する他のデジタルカメラを上述のプリンタと関連して用
いることもできることは言うまでもない。
【0042】図7(a)に示すように、デジタルカメラ
3012は以下の構成を含んでいる。1はレンズ、絞り
機構等からなりCCD2上に撮影対象像からの反射光を
入射する光学系である。2は光学系1からの撮像光を電
気信号に変換するCCDである。3はCCD2からの信
号を処理し多値(R、G、B)のラスタデータ(画像デ
ータ)としてフレームメモリ6に出力する信号処理部で
ある。4は信号処理部3、フレームメモリ6、6’、信
号処理部7および記録媒体制御部8の動作制御、画像処
理および画像圧縮伸張処理等の処理と本発明の特徴であ
るヒストグラム作成などの画像特徴抽出処理の実行を制
御する制御部である。5はスイッチ等の操作による使用
者からの指示を入力しデジタル信号に変換して制御部4
に与える操作部である。7はフレームメモリ上のR、
G、Bラスタデータを輝度成分Yおよび色差成分U、V
に変換してさらにJPEG圧縮し、また、サムネイル画
像を作成するための縮小処理などの処理と本発明の特徴
であるヒストグラム作成などの画像特徴抽出処理とを行
なう信号処理部である。8は信号処理部7の出力を受け
取ってJPEG圧縮された画像データ(以下、JPEG画像デー
タと記す)およびサムネイル画像データおよびヒストグ
ラム情報等の画像特徴抽出データとを記録媒体9または
拡張記録媒体10の所定領域への書込む処理や、記録さ
れた各JPEG画像データの読出等の制御を行なう記録媒体
制御部である。9は画像データおよび画像特徴抽出デー
タを格納する記録媒体である。11は拡張記録媒体10
と外部装置とデータの授受を行なう場合に用いるインタ
ーフェイスである。15はスイッチの状態表示や機能仕
様表示を行なうLEDランプ等の表示部である。16は
撮影した像あるいは撮像対象を表示する液晶ディスプレ
イ等からなる表示部である。ここで、JPEG画像デー
タおよびサムネイル画像データと画像特徴抽出データと
は一つのファイルとして記録媒体9と拡張記録媒体10
に記憶されても良いし、別のファイルとして記憶されて
も良いが、別のファイルとして記憶される場合はその元
となる画像データのファイルと画像特徴抽出データのフ
ァイルとを関連付けて記憶する必要がある。
【0043】フレームメモリ6は通常は液晶ディスプレ
イ16の画像表示用メモリとして用いられ、画像データ
がビットマップイメージで展開される。また、フレーム
メモリ6’は液晶ディスプレイ16のメニュー表示用メ
モリとして用いられる。液晶ディスプレイ16への表示
時にはフレームメモリ6および6’の内容が重畳して表
示される。
【0044】記録媒体9はカメラ3012の内部に固定
されたフラッシュメモリで構成されている。記録媒体9
には画像データだけでなく、プログラム等も記録するよ
うに構成することも可能である。また、拡張記憶媒体1
0はCF(コンパクトフラッシュ)が用いられている。
【0045】インターフェイス11はUSBインターフ
ェイスを用いており、PC3010等のコンピュータ装
置から送られるプログラムの受信、画像データのPC3
010への送信、モデム150を介しての画像データの
通信回線160等への送出、プリンタ1000やファク
シミリ装置への印刷画像データの送信に用いられる。
【0046】図7(b)は制御部4の構成を示し、制御
部4はCPU41、RAM42およびROM43から構
成され、ROM43にはデジタルカメラ3012の動作
制御、必要な色処理、データ圧縮処理等デジタルカメラ
内部でのデータ処理に必要なプログラム群から構成され
る制御手段等が格納されている。
【0047】プリンタドライバを始めとする印刷用デー
タ作成プログラムは、ROM43に格納する構成として
もよい。または、USBインターフェイス11を介し
て、磁気ディスクや、CD−ROMあるいはメモリカー
ド等の外部記録媒体から取り込んで、予め記録媒体9ま
たは拡張記録媒体10に格納しておき、所望の時期に読
み出して実行するように構成することもできる。
【0048】以上が本発明を適応できるPDプリンタと
デジタルカメラの概略説明である。
【0049】次に画像補正のための画像特徴抽出データ
について述べる。画像補正の手法としては、公知の手法
を用いればよく、例えば、特開昭60−199286号
公報、特開2000−1365号公報、特開2001−
18635号公報等に記載されている手法を用いて、画
像補正を行う。これらの画像補正の手法を用いる場合、
適応する補正方法に適した、以下のような元画像の特徴
を抽出したデータ(画像特徴抽出データ)を算出する必
要が生じる。 輝度に関するヒストグラム 同一輝度値1画素毎の平均色差量 色相に関するヒストグラム 彩度に関するヒストグラム 濃度に関するヒストグラム ハイライトポイント輝度 ダークポイント輝度 ハイライトポイントでの平均色差 ダークポイントでの平均色差 などがあげられる。
【0050】当然ながらこれら全てを算出する必要があ
るものではなく、その補正手法に必要なものだけ算出す
れば良い。またこれら以外の画像特徴抽出データでも良
い。大切なのは補正手法を用いるのに必要な元画像特徴
を抽出するために、画像データの一部もしくは全ての画
素データを読み込み、算出しなければならないような場
合に本発明を適応し、大きな効果が得られる。
【0051】次にデジタルカメラでの画像特徴抽出デー
タの作成について述べる。先の説明のようにデジタルカ
メラではCCD2からの信号を処理しRGBの多値のデ
ータとしてフレームメモリに保持され、R、G、Bデー
タを輝度成分Yおよび色差成分Cr、Cbに変換してさ
らにJPEG圧縮する。このR、G、Bデータを輝度成
分Yおよび色差成分U変換からJEPG圧縮の際には、
データは輝度成分と差成分に既に変換されているため、
前述した輝度に関するヒストグラムや同一輝度値1画素
毎の平均色差量という特徴抽出には適しており、また画
像の全画素データについて処理を行うので、このような
画像抽出処理を同時に行うことにより効率化が計れる。
【0052】輝度に関するヒストグラム と同一輝度値
1画素毎の平均色差量とを求め、さらにこれらのデータ
を管理し易く保持するには以下のような手順を取れば良
い。
【0053】まず画像に属する画素ごとに輝度Yと色差
信号(C1,C2)を以下の式により求める。
【0054】 Y(輝度)=0.30R+0.59G+0.11B Cr(色差)=R−Y Cb(色差)=B−Y ここで、本実施形態で扱う画素データRGBは各10ビ
ット(1024階調)データとすると、輝度Yも102
4の深さに変換される。輝度ヒストグラムは0から10
23までの1024種類の輝度値の画素がそれぞれ何度
数あるかを計算することにより作成される。
【0055】また、C1、C2の計算値は輝度値に属す
る画素での平均色差量を算出するデータとして用いるの
で、本実施形態では次のようにデータ保持を行う。0か
ら1023の構造体配列変数の形式で、度数、Cr累積
値、Cb累積値の3メンバーを設定し、各画素ごとの演
算結果を各メンバーに反映(インクリメント)してい
き、この構造体配列変数をデータとして保存する。
【0056】また他の画像抽出処理には、例えばRGB
の状態のデータから作成した方がよい画像特徴抽出デー
タはRGBからYCrCbへの変換時に同時に行うよう
に、必要な画像特徴抽出をデジタルカメラ内でのデータ
の形態に合わせて処理を行えば良く、要するにデジタル
カメラ内で画像特徴抽出を終了させ、デジタルカメラの
外部システムで再度画像展開を行う必要がなければよい
のである。また記憶する構造体配列変数の形式などはこ
こに限定するものではなく、設計事項であると考える。
【0057】画像特徴抽出データのファイルへの記憶方
法の一例について次に述べる。これらの画像特徴抽出デ
ータは画像データがJEPG画像データとしてファイル
に保存される際に、Exif規格(Exchangeable image
file format for digital still cameras)に準じた方
法で、画像データとは別に画像特徴抽出データを同一フ
ァイル内に保持させることができる。JEPG画像デー
タと画像特徴抽出データとを同一ファイルに保持するこ
とにより、互いを相関づける情報を特に必要としない。
また特にExif規格のプライベートタグに準じた方法
を利用することには、画像特徴抽出データが解釈できな
いような、装置やアプリケーションがあったとしも、そ
れらの装置やアプリケーションはこのタグに付随した情
報は無視すればよいのであって、この画像特徴抽出デー
タの解釈能力を有さない装置やアプリケーションの場合
でも通常の画像データのみをアクセスできるので特に問
題は生じず、このようなJEPG画像データと画像特徴
抽出データとを同一ファイルに保持する手法としては大
変有効である。
【0058】図8を用いてPDプリンタのコントローラ
部でのデータ処理の流れを説明する。図8において、ま
ずS8001で、PDプリンタ本体に挿入されたCFカ
ードなどの記録媒体内のデジタルカメラ側で作成された
画像ファイル(JEPG画像ファイル)にアクセスを行
う。ここで、アクセスされる画像ファイルは予め別途ユ
ーザが操作パネルなどを用いてプリントを指定した画像
ファイルである。本説明では簡略化のため1つの画像フ
ァイルを出力する場合について述べるが、複数枚の印字
や、同一ページ内に複数の画像データをレイアウトして
印字するいわゆるレイアウト印字でも良い。S8002
では、画像ファイル中のメタデータの解析を行う。S8
003では、この解析に基づき画像特徴抽出データの読
み出しを行う。先の説明の例ではExif規格に準拠し
て作成したメタデータならプライベートタグ部の解析を
行い、元画像の輝度に関するヒストグラムと同一輝度値
1画素毎の平均色差量といった画像特徴抽出データを取
得することとなる。S8004ではこの画像特性抽出デ
ータに基づいて所定の方法により、画像補正用の各種パ
ラメータを決定しPDプリンタ内部メモリに保持してお
く。これらのパラメータの決定方法については前述の公
知の手法を用いれば良く、本発明の意図するところは影
響を受けない。
【0059】ここまでが、画像特徴抽出データの読み込
みフローである。従来公知の手法では、デジタルカメラ
側で画像特徴抽出データを作成し、画像ファイルに書き
込んでいないので、この画像補正用パラメータを決定す
るために、一度画像データ全体を展開し、画像特徴抽出
処理を行う必要がある。画像データ全体をファイルから
読み込み展開するための(カードリーダ部の物理的アク
セスを含めた)処理負荷と、本実施形態のような予めこ
れらの画像特徴抽出処理の結果を画像ファイルに付加さ
れたデータだけを読み込むための処理負荷とでは、後者
の方が比較にならないほど処理負荷が軽いことは明らか
である。さらに、PDプリンタ本体のメモリ容量の制限
があり、画像データを一度に展開できないような場合
は、画像データ全体を分割しての読み込み処理と展開お
よび画像特徴抽出処理を繰り返し行う必要があり、処理
の負荷はさらに重くなる。特に圧縮されたJPEGのよ
うな画像データの場合、展開の為の処理負荷は比較的重
く、その回数が増えるほど全体への影響は大きくなる。
さらに近年のデジタルカメラの高画質化に伴う画素数の
増加により従来の手法と本実施形態の手法との処理負荷
の差は大きくなり、本実施形態の優位性がより明らかと
なるであろう。
【0060】引き続き画像データの処理のフローについ
て述べる。S8005において画像データを読み込むた
めのファイルアクセスを行う。このとき、画像データ全
体のうち、一度に処理が可能な量分だけのデータを読み
込む。S8006では読み込んだ画像データがJPEG
形式などで符号化されていた場合、復号化処理を行う。
S8007ではS8004で決定された画像補正用パラ
メータ用いて、画像補正処理を行う。S8008では、
色処理/色変換を行う。ここでの色処理/色変換は輝度
信号(RGB)から濃度信号(CMYK)や変換、ガン
マ変換等を行う、さらにS8009で量子化(誤差拡
散)処理を行う。S8010では量子化されたデータに
印字制御用のコマンドを挿入し、内部IF6004を介
してエンジン部3004へのデータの転送を行う。S8
012では画像データ全体中で未処理のデータが残って
いるかを判断して、終わっていない場合はS8005に
戻り、未処理の画像データ分から次の処理量分だけのデ
ータを読み込み、処理を続けて行う。S8012でもし
未処理データが無ければコントローラ部での処理を終了
する。
【0061】以上のように本実施形態によれば、デジタ
ルカメラ側で予め撮影画像のヒストグラム等の画像特徴
抽出データを画像データと共にファイル化を行う。さら
にPDプリンタ側でデジタルカメラ側から送信された印
刷対象の画像ファイルから画像特徴抽出データを読み取
り、画像補正処理のパラメータ決定に用いている。画像
特徴抽出データをデジタルカメラ側の画像データ処理/
保存時でファイル化することにより、PDプリンタでの
画像特徴抽出データ作成のためのファイルへのアクセ
ス、画像の展開等の処理負荷を低減し、高速で、高品質
な画像を提供できるのである。
【0062】なお本実施形態においてデジタルカメラか
らの画像データおよび画像特徴抽出データを画像ファイ
ルとして記憶媒体に記憶させておき、この記録媒体を介
してPDプリンタのカードリーダでファイルを読み出し
て処理を行うものとして説明したが、これに限定するも
のではない。例えばデジタルカメラ内の記録媒体に記憶
されているの画像ファイル内の画像データをUSB等の
I/Fを介してPDプリンタから読み出しプリントを行
うような、いわゆるダイレクトプリント時には、画像デ
ータの読み出し前に画像特徴抽出データの読み出しを行
い、画像補正用パラメータの決定を行い、画像データに
画像補正処理を行えばよく、カードリーダからの場合と
同様な効果が得られる。
【0063】また、本実施形態の説明ではデジタルカメ
ラでの画像特徴抽出データの作成処理がJPEG圧縮の
前段階で行われているが、JPEG圧縮後に行ってもよ
い。通常の場合プリンタではJEPG圧縮を伸張してか
ら画像特徴を抽出するため、圧縮時に欠落した画像情報
を得ることは出来ない。本実施形態によるデジタルカメ
ラ側での画像特徴抽出処理では、JPEG圧縮前に処理
を行うことが可能なので、JEPG圧縮により現画像の
データが欠落する前の状態で画像特徴抽出が可能とな
る。このようなJEPG圧縮前に画像特徴抽出処理を行
うことで、後に画像補正処理を行う際、重要な画像デー
タがJEPG圧縮時に欠落してしまい、補正が十分行わ
れないといった、問題を防ぐことが可能となる。このよ
うな効果は、本実施形態のようにデジタルカメラ側が撮
像した画像をファイル化して記憶する前に画像特徴抽出
を行うことによってのみ実現できるのである。
【0064】(第2の実施形態)以下に第2の実施形態
について説明を行う。第1の実施形態では画像特徴抽出
データをファイルとして画像データと共にもしくは関連
づけてファイル化した場合を示したが、本実施形態では
デジタルカメラから直接のプリント(ダイレクトプリン
ト)の際に画像特徴抽出処理を行う場合の実施形態を示
す。
【0065】デジタルカメラからのダイレクトプリント
場合、一般的には図7の表示部16に画像データの表示
を行い。記録媒体9もしくは拡張記録媒体10に保持さ
れているJEPG圧縮された画像ファイルを信号処理部
7で解析し、フレームメモリ6に展開し、表示部16に
画像として表示させる。そして操作部5により、表示画
像のプリント指定や、枚数等の条件を入力し、プリンタ
に指定された画像のデータを送り、プリントを行う。
【0066】本実施形態のダイレクトプリントでは、こ
の画像表示部16への画像表示の際に画像特徴処理を行
う。画像を表示するためにはJEPG画像はフレームメ
モリ6に画像展開されている。この画像展開の際に画像
特徴処理を並行して行ない、不図示のメモリに処理結果
を保持しておくことにより、画像特徴処理のためにわざ
わざJPEG画像の展開を行う手間が省ける。プリント
が指定された場合に保持してあった画像特徴抽出データ
を画像データの転送に先立ってPDプリンタ本体に転送
する。PDプリンタは画像特徴抽出データを受信し、画
像補正パラメータを決定し、その後画像データを受信
し、画像補正処理を行って、プリントを行う。
【0067】本実施形態では、先の実施形態のようにフ
ァイルとして画像特徴抽出データを画像データと共にも
しくは関連づけてファイル化することなく、デジタルカ
メラで画像の表示時に画像特徴抽出データを作成し、フ
ァイル化せず直接PDプリンタ本体に送信することによ
り、PDプリンタでの画像特徴抽出データ作成のための
ファイルへのアクセス、画像の展開等の処理負荷を低減
し、高速で、高品質な画像を提供できるのである。
【0068】また、本実施形態では表示部16への画像
表示時に画像特徴抽出処理を行う場合の例を示したが、
他のタイミングで画像特徴抽出処理を行っても良い。例
えば印字指定が行なわれたタイミングで画像特徴抽出処
理だけを行っても良い。大切なのはデジタルカメラ側で
画像特徴抽出処理を事前に行っておくことであるのは言
うまでも無く、PDプリンタでの画像特徴抽出データ作
成のためのファイルへのアクセス、画像の展開等の処理
負荷を低減することである。
【0069】(その他の実施形態)以下に本発明の他の
実施形態について説明する。上記第2の実施形態では、
画像表示時にJPEGファイルを展開するとともに画像
特徴抽出データを作成し、直接PDプリンタに転送を行
ったが、この作成した画像特徴抽出データを、ファイル
として画像データと共にもしくは関連づけて画像ファイ
ル化してもよい。これにより、画像特徴抽出データが付
加されていない画像データファイルがあっても、新たに
作成した該当画像の画像特徴抽出データをファイル化す
ることができ、そのファイルをCFカード等を介して、
PDプリンタで出力する際に第一の実施形態の画像出力
時と同様な効果を得ることが出来る。また画像特徴抽出
データが付加されていない画像データファイルをPDプ
リンタで読み込み、プリントやビューワ表示のために画
像ファイルの展開を行う際に、画像特徴抽出データを作
成し、さらに画像ファイル化しても同様な効果が期待で
きる。さらには、PCアプリケーションやインターネッ
ト端末アプリケーション等で画像特徴抽出データが付加
されていない画像データを読み込み、表示等のために画
像データの展開を行う際に、並行して画像特徴抽出デー
タを作成し、ファイル化すること可能である。また、J
PEGサムネイル画像のみの展開の際にもサムネイル画
像の画像特徴抽出データを作成して、原画像の画像特徴
抽出データとしてファイル化しても良い。このとき、こ
の画像特徴抽出データがサムネイル画像から作成された
ものか、原画像データから作成されたものかどうかを識
別できる情報を付加しておくと、サムネイル画像からの
作成されたものだった場合にその後の原画像データの展
開の際に画像特徴抽出処理を行い、サムネイル画像の画
像特徴抽出データと置き換えてファイル化することがで
き、より信頼性の高い画像特徴抽出データが保持できる
のである。
【0070】また、通常のホストPCによるプリントの
際にも、画像特徴抽出データがファイル化されている
と、そのデータを用いれば画像補正処理が簡易に行える
ので有効である。特に近年普及してきたインターネット
端末等のPC以外の端末では、PCのような十分なメモ
リや高速なPCが用意されておらず、プリンタでの画像
データを作成するための処理負荷を極力低減しなけらば
ならず、画像特徴抽出データのファイル化により画像補
正処理が簡易に行えるのでより有効であることがわか
る。
【0071】また画像特徴抽出データは主にはデジタル
カメラからの画像を補正するために用いることができ、
画像特徴抽出データを利用した補正の仕方は、記録装置
側で自由に設定することが可能で、より汎用性に富んで
おり、従来の印字パラメータ指定、印字制御などに関す
る情報を画像データと共にファイル化した技術とは明ら
かに異なる。さらにはプリントだけでなく、ディスプレ
イへの画像表示の際にも有効に利用できる。この点は、
特定のプリンタ用の画像補正値を画像データと共にファ
イル化した技術とは異なる。
【0072】また、画像特徴抽出データの作成は画像デ
ータにのみ依存しており、そのデータの作成場所には影
響を受けない。上述した輝度に関するヒストグラムや同
一輝度値1画素毎の平均色差量等の作成アルゴリズムの
ように、デジタルカメラの撮影モードやプリンタの種類
とはなんら関係のない画像特徴抽出処理のアルゴリズム
を用いれば、デジタルカメラ内で作成しても、ホストP
C上で作成しても同じ結果となる。この点においても従
来の技術とは異なっており、より汎用性の高い技術であ
ることは明白である。
【0073】また、上述した機能が外部からインストー
ルされるプログラムによって、ホストコンピュータによ
り遂行されていてもよい。そして、その場合、CD−R
OMやフラッシュメモリ等の記憶媒体により、あるいは
ネットワークを介して外部の記憶媒体から、プログラム
を含む情報群を出力装置に供給される場合でも本発明は
適用されるものである。
【0074】以上のように、前述した実施形態の機能を
実現するソフトウエアのプログラムコードを記録した記
憶媒体を、システムあるいは装置に供給し、そのシステ
ムあるいは装置のコンピュータ(またはCPUやMP
U)が記憶媒体に格納されたプログラムコードを読出し
実行することによっても、本発明の目的が達成されるこ
とは言うまでもない。
【0075】この場合、記憶媒体から読み出されたプロ
グラムコード自体が本発明の新規な機能を実現すること
になり、そのプログラムコードを記憶した記憶媒体は本
発明を構成することになる。
【0076】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピー(登録商標)ディス
ク,ハードディスク,光ディスク,光磁気ディスク,C
D−ROM,CD−R,DVD−ROM,磁気テープ,
不揮発性のメモリカード,ROM,EEPROM,シリ
コンディスク等を用いることができる。
【0077】また、コンピュータが読み出したプログラ
ムコードを実行することにより、前述した実施形態の機
能が実現されるだけでなく、そのプログラムコードの指
示に基づき、コンピュータ上で稼働しているOS(オペ
レーティングシステム)等が実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。
【0078】
【発明の効果】以上のように、本発明では、デジタルカ
メラ側で予め撮影画像のヒストグラム等の画像特徴抽出
データを画像データと共にファイル化を行う。さらにP
Dプリンタ側で画像特徴抽出データをファイルから読み
取り、画像補正処理のパラメータ決定に用いている。画
像特徴抽出データをデジタルカメラ側の画像データ処理
/保存時でファイル化することにより、PDプリンタで
の画像特徴抽出データ作成のためのファイルへのアクセ
ス、画像の展開等の処理負荷を低減し、高速で、高品質
な画像を提供できるのである。
【図面の簡単な説明】
【図1】フォトダイレクトプリンタの外観図である。
【図2】カートリッジの外観図である。
【図3】プリンタの操作パネルを示すである。
【図4】プリンタの構成と接続機器を示すブロック図で
ある。
【図5】プリンタのインターフェースの構成を示すブロ
ックである。
【図6】プリンタの画像処理制御に係る機能構成を示す
機能ブロック図である。
【図7】デジタルカメラの構成を示すブロック図であ
る。
【図8】プリント処理を示すフローチャートである。
【符号の説明】
1000 PDプリンタ 3012 デジタルカメラ 6003 画像処理/プロセス処理部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) // H04N 101:00 H04N 9/79 G (72)発明者 後藤 文孝 東京都大田区下丸子3丁目30番2号キヤノ ン株式会社内 (72)発明者 矢野 健太郎 東京都大田区下丸子3丁目30番2号キヤノ ン株式会社内 Fターム(参考) 5C022 AA13 AC03 AC11 AC42 5C053 FA04 FA05 FA08 FA27 GB36 JA21 LA03 LA15 5C055 AA06 BA06 BA08 EA04 FA23 HA37 5C066 AA01 AA05 CA17 EA13 GA02 GB03 HA03

Claims (16)

    【特許請求の範囲】
  1. 【請求項1】 撮影された画像の特徴を抽出する特徴抽
    出手段と、 前記抽出手段により抽出された特徴を示す特徴抽出デー
    タを前記撮影された画像の付加情報として撮影画像とと
    もに画像ファイル化するファイル化手段と、 前記画像ファイルを記録媒体に記録する記録手段と、を
    有することを特徴とするデジタルカメラ。
  2. 【請求項2】 前記ファイル化手段は、Exif規格の
    プライベートタグに前記特徴抽出データを書き込むこと
    を特徴とする請求項1記載のデジタルカメラ。
  3. 【請求項3】 前記特徴抽出データは、輝度に関するヒ
    ストグラム、同一輝度値1画素毎の平均色差量、色相に
    関するヒストグラム、彩度に関するヒストグラム、濃度
    に関するヒストグラム、ハイライトポイント輝度、ダー
    クポイント輝度、ハイライトポイントでの平均色差、ダ
    ークポイントでの平均色差のうちの少なくとも一つであ
    ることを特徴とする請求項1記載のデジタルカメラ。
  4. 【請求項4】 請求項1記載のデジタルカメラから得ら
    れる画像ファイルを入力する入力手段と、 前記画像ファイルから前記特徴抽出データを読み出す特
    徴抽出データ読出手段と、 前記特徴抽出データに基づいて前記画像ファイルの画像
    を補正する補正手段と、を有することを特徴とする画像
    処理装置。
  5. 【請求項5】 前記入力手段は、前記デジタルカメラと
    有線或いは無線の通信手段により入力することを特徴と
    する請求項4記載の画像記録システム。
  6. 【請求項6】 前記入力手段は、前記記録媒体が装着さ
    れる装着部を有することを特徴とする請求項4記載の画
    像処理装置。
  7. 【請求項7】 撮影された画像の特徴を抽出する特徴抽
    出工程と、 前記抽出行程で抽出された特徴を示す特徴抽出データを
    前記撮影された画像の付加情報として撮影画像とともに
    画像ファイル化するファイル化工程と、 前記画像ファイルを記録媒体に記録する記録工程と、を
    有することを特徴とする画像処理方法。
  8. 【請求項8】 前記ファイル化工程では、Exif規格
    のプライベートタグに前記特徴抽出データを書き込むこ
    とを特徴とする請求項7記載の画像処理方法。
  9. 【請求項9】 前記特徴抽出データは、輝度に関するヒ
    ストグラム、同一輝度値1画素毎の平均色差量、色相に
    関するヒストグラム、彩度に関するヒストグラム、濃度
    に関するヒストグラム、ハイライトポイント輝度、ダー
    クポイント輝度、ハイライトポイントでの平均色差、ダ
    ークポイントでの平均色差のうちの少なくとも一つであ
    ることを特徴とする請求項7記載の画像処理方法。
  10. 【請求項10】 請求項7記載の画像処理方法を用いて
    前記記録媒体に記録された画像ファイルを入力する入力
    工程と、 前記画像ファイルから前記特徴抽出データを読み出す特
    徴抽出データ読出工程と、 前記特徴抽出データに基づいて前記画像ファイルの画像
    を補正する補正工程と、を有することを特徴とする画像
    処理方法。
  11. 【請求項11】 前記請求項7〜10のいずれかに記載
    された画像処理方法を実行するプログラムを格納したコ
    ンピュータ読取可能な記録媒体。
  12. 【請求項12】 前記請求項7〜10のいずれかに記載
    された画像処理方法を実行するプログラム。
  13. 【請求項13】 画像データに該画像の特徴を表わす輝
    度、色相、彩度、濃度の少なくとも1つに関するヒスト
    グラム情報又は色差情報が付与された画像ファイルを入
    力する入力手段と、 前記入力手段により入力された画像ファイルから前記ヒ
    ストグラム情報或いは色差情報を抽出する抽出手段と、 前記抽出手段により抽出された前記ヒストグラム情報或
    いは色差情報を用いて前記画像データを補正する補正手
    段と、 を有することを特徴とする画像処理装置。
  14. 【請求項14】 撮像装置とプリンタとを接続した画像
    処理システムにおいて、 撮像された画像の特徴を抽出する特徴抽出手段と、 前記特徴抽出手段により抽出された特徴を特徴抽出デー
    タとして前記プリンタへ転送する転送手段と、 を有することを特徴とする画像処理システム。
  15. 【請求項15】 前記転送手段は前記特徴抽出データを
    撮像画像と関連付けて転送することを特徴とする請求項
    14項記載の画像処理システム。
  16. 【請求項16】 前記特徴抽出データは、輝度に関する
    ヒストグラム、同一輝度値1画素毎の平均色差量、色相
    に関するヒストグラム、彩度に関するヒストグラム、濃
    度に関するヒストグラム、ハイライトポイント輝度、ダ
    ークポイント輝度、ハイライトポイントでの平均色差、
    ダークポイントでの平均色差のうちの少なくとも一つで
    あることを特徴とする請求項14記載の画像処理システ
    ム。
JP2002044646A 2002-02-21 2002-02-21 デジタルカメラ及びその制御方法、画像処理装置、画像処理方法、画像処理システム Expired - Fee Related JP4323748B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2002044646A JP4323748B2 (ja) 2002-02-21 2002-02-21 デジタルカメラ及びその制御方法、画像処理装置、画像処理方法、画像処理システム
EP03251024A EP1339216A1 (en) 2002-02-21 2003-02-20 Digital still camera having image feature analyzing function
US10/368,600 US7564487B2 (en) 2002-02-21 2003-02-20 Digital camera and control method for generating an image file using feature extraction data
CN2006100577175A CN1825889B (zh) 2002-02-21 2003-02-20 具有图像特征分析功能的数字照相机
CNB031062148A CN1251474C (zh) 2002-02-21 2003-02-20 具有图像特征分析功能的数字静物照相机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002044646A JP4323748B2 (ja) 2002-02-21 2002-02-21 デジタルカメラ及びその制御方法、画像処理装置、画像処理方法、画像処理システム

Publications (3)

Publication Number Publication Date
JP2003244630A true JP2003244630A (ja) 2003-08-29
JP2003244630A5 JP2003244630A5 (ja) 2006-01-19
JP4323748B2 JP4323748B2 (ja) 2009-09-02

Family

ID=27655310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002044646A Expired - Fee Related JP4323748B2 (ja) 2002-02-21 2002-02-21 デジタルカメラ及びその制御方法、画像処理装置、画像処理方法、画像処理システム

Country Status (4)

Country Link
US (1) US7564487B2 (ja)
EP (1) EP1339216A1 (ja)
JP (1) JP4323748B2 (ja)
CN (2) CN1825889B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274516A (ja) * 2006-03-31 2007-10-18 Pioneer Electronic Corp 画像情報処理装置および画像情報処理方法
JP2011186971A (ja) * 2010-03-11 2011-09-22 Mitsubishi Electric Corp プリンターシステム
US8040378B2 (en) 2006-10-04 2011-10-18 Ricoh Company, Limited Image forming apparatus for specifying a color material and method thereof

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7072306B2 (en) * 2001-10-05 2006-07-04 Qualcomm Incorporated Reverse outer loop optimization for communication channels with discontinuous transmission (DTX)
US8035832B2 (en) * 2002-07-05 2011-10-11 Canon Kabushiki Kaisha Recording system and controlling method therefor
US7561288B2 (en) * 2002-07-05 2009-07-14 Canon Kabushiki Kaisha Recording system and controlling method therefor
JP2004160970A (ja) * 2002-09-19 2004-06-10 Ricoh Co Ltd 画像処理方法、記録装置、インクジェット記録装置、プリンタドライバ、画像処理装置、画像形成システム及び画像形成方法
US7289141B2 (en) * 2003-01-31 2007-10-30 Canon Kabushiki Kaisha Image supply device, recording apparatus, recording system, and control method therefor
JP4343714B2 (ja) * 2003-01-31 2009-10-14 キヤノン株式会社 通信装置及びその通信制御方法
JP4497941B2 (ja) * 2003-01-31 2010-07-07 キヤノン株式会社 画像供給デバイス及び記録システム及びその制御方法
JP4455073B2 (ja) * 2003-02-18 2010-04-21 キヤノン株式会社 プリントシステム及び撮像装置及び撮像装置の制御方法
TW200417236A (en) * 2003-02-21 2004-09-01 Realtek Semiconductor Corp Active type digital image capturing device
US7359572B2 (en) * 2003-03-26 2008-04-15 Microsoft Corporation Automatic analysis and adjustment of digital images with exposure problems
JP2004303075A (ja) * 2003-03-31 2004-10-28 Canon Inc 画像処理装置および方法
JP4227464B2 (ja) * 2003-06-04 2009-02-18 キヤノン株式会社 画像供給デバイスと記録システム及びその記録制御方法
JP4639037B2 (ja) 2003-07-18 2011-02-23 キヤノン株式会社 画像処理方法および装置
US7409083B2 (en) * 2003-07-18 2008-08-05 Canon Kabushiki Kaisha Image processing method and apparatus
US7469072B2 (en) 2003-07-18 2008-12-23 Canon Kabushiki Kaisha Image processing apparatus and method
US7599348B2 (en) * 2003-11-04 2009-10-06 Lg Electronics Inc. Digital E8-VSB reception system and E8-VSB data demultiplexing method
JP2005151282A (ja) * 2003-11-18 2005-06-09 Fuji Xerox Co Ltd 画像処理装置、画像処理方法、およびプログラム
JP4532917B2 (ja) 2004-01-30 2010-08-25 キヤノン株式会社 印刷システム、撮像装置、および、撮像装置の制御方法
JP4208767B2 (ja) * 2004-06-03 2009-01-14 キヤノン株式会社 画像処理装置及び画像処理方法
US7756331B2 (en) * 2004-07-12 2010-07-13 Canon Kabushiki Kaisha Image processing apparatus and method for displaying images and corresponding histograms
JP4574282B2 (ja) * 2004-08-20 2010-11-04 キヤノン株式会社 画像供給デバイス及び該デバイスの制御方法及び印刷システムと印刷制御方法
US20060039020A1 (en) * 2004-08-20 2006-02-23 Canon Kabushiki Kaisha Image supply device, control method thereof and printing system
JP4277773B2 (ja) * 2004-09-21 2009-06-10 株式会社日立製作所 映像表示装置
US20060072130A1 (en) * 2004-09-28 2006-04-06 Agfa Monotype Corporation Method and system using gamut mapping templates to derive actual color gamut mapping
JP4262186B2 (ja) * 2004-10-21 2009-05-13 キヤノン株式会社 画像供給装置及び該装置の制御方法及び印刷システム
US8239352B1 (en) * 2004-11-19 2012-08-07 Adobe Systems Incorporated Method and apparatus for determining whether a private data area is safe to preserve
JP4367941B2 (ja) * 2005-01-25 2009-11-18 キヤノン株式会社 中継装置、画像供給装置及び印刷システムとその制御方法
US7595920B2 (en) * 2005-02-23 2009-09-29 Brother Kogyo Kabushiki Kaisha Processing apparatus and processing method of color image information
JP4487879B2 (ja) * 2005-07-26 2010-06-23 ブラザー工業株式会社 記録装置、画像形成システム及び通信方法
JP4367418B2 (ja) * 2006-01-20 2009-11-18 セイコーエプソン株式会社 印刷制御装置
JP5020517B2 (ja) * 2006-02-02 2012-09-05 キヤノン株式会社 印刷システム、印刷装置、撮像装置、及び制御方法
JP4683642B2 (ja) * 2006-02-20 2011-05-18 キヤノン株式会社 画像供給装置、画像印刷装置及びそれらからなる画像印刷システム
JP4908967B2 (ja) * 2006-08-10 2012-04-04 キヤノン株式会社 画像入力装置、画像出力装置及び転送方法
US7907315B2 (en) * 2006-09-07 2011-03-15 Seiko Epson Corporation Print control apparatus and print control method
JP4974724B2 (ja) * 2007-03-19 2012-07-11 キヤノン株式会社 画像供給装置、印刷装置及びそれらの制御方法並びに印刷システム
JP2009048309A (ja) * 2007-08-15 2009-03-05 Hoya Corp 携帯用機器
JP5251817B2 (ja) * 2009-09-30 2013-07-31 沖電気工業株式会社 画像処理装置および画像処理方法
JP5366756B2 (ja) * 2009-10-19 2013-12-11 キヤノン株式会社 情報処理装置及び情報処理方法
JP5937832B2 (ja) * 2012-01-30 2016-06-22 クラリオン株式会社 車載カメラ用露出制御装置
US9959292B2 (en) * 2014-09-30 2018-05-01 Ricoh Company, Ltd. Application program, smart device, information processing apparatus, information processing system, and information processing method
CN108924430A (zh) * 2018-08-27 2018-11-30 Oppo广东移动通信有限公司 照片存储方法、装置、终端及计算机可读存储介质
CN111538466A (zh) * 2020-04-22 2020-08-14 印推互联网络科技无锡有限公司 蓝牙打印机色彩处理系统
TWI766795B (zh) * 2021-08-23 2022-06-01 大陸商集創北方(珠海)科技有限公司 自發光顯示器之適應性限流方法、驅動電路及自發光顯示器

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60199286A (ja) 1984-03-23 1985-10-08 Canon Inc 画像信号処理装置
US4727434A (en) 1984-03-14 1988-02-23 Canon Kabushiki Kaisha Image processing apparatus for rapid production of a hard copy of a video image in which input image signal processing parameters are set while a record medium is being positioned at a recording position
JPH04361493A (ja) 1991-06-07 1992-12-15 Canon Inc 映像信号再生装置
JP3170847B2 (ja) 1992-02-14 2001-05-28 キヤノン株式会社 固体撮像素子及びそれを用いた光学機器
JPH08294025A (ja) 1995-04-24 1996-11-05 Olympus Optical Co Ltd カメラ
JP3037140B2 (ja) * 1996-06-13 2000-04-24 日本電気オフィスシステム株式会社 デジタルカメラ
JP3791635B2 (ja) * 1996-10-22 2006-06-28 富士写真フイルム株式会社 画像再生方法、画像再生装置、画像処理方法および画像処理装置
JPH10226139A (ja) 1997-02-14 1998-08-25 Canon Inc 画像形成システム及び画像形成装置及び媒体
JP3887060B2 (ja) * 1997-04-09 2007-02-28 ペンタックス株式会社 電子スチルカメラの画像補正情報記録装置および画像復元処理装置
JPH10336705A (ja) 1997-06-02 1998-12-18 Canon Inc 複眼カメラ
DE69824507T2 (de) * 1997-09-03 2004-10-14 Matsushita Electric Industrial Co., Ltd., Kadoma Digitales Abbildungssystem
US6834130B1 (en) * 1998-02-18 2004-12-21 Minolta Co., Ltd. Image retrieval system for retrieving a plurality of images which are recorded in a recording medium, and a method thereof
JP3677563B2 (ja) 1998-06-09 2005-08-03 株式会社リコー デジタルスチルカメラ
US6628830B1 (en) 1998-06-24 2003-09-30 Canon Kabushiki Kaisha Image processing method and apparatus and storage medium
JP2000013625A (ja) 1998-06-24 2000-01-14 Canon Inc 画像処理方法、装置および記録媒体
JP3697487B2 (ja) * 1998-07-28 2005-09-21 コニカミノルタフォトイメージング株式会社 デジタルカメラ
SG75190A1 (en) 1998-12-14 2000-09-19 Canon Kk Image processing method and apparatus image processing system and storage medium
US6452601B1 (en) 1999-05-20 2002-09-17 International Business Machines Corporation Pixel component packing, unpacking, and modification
AUPQ056099A0 (en) 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (pprint01)
DE60040304D1 (de) * 1999-06-02 2008-10-30 Eastman Kodak Co Individuel angepasste digitale Bildübertragung
JP2001186365A (ja) 1999-12-27 2001-07-06 Canon Inc 画像処理方法、装置および記録媒体
US7006668B2 (en) * 1999-12-28 2006-02-28 Canon Kabushiki Kaisha Image processing method and image processing apparatus
US20020027603A1 (en) * 2000-09-01 2002-03-07 Seiko Epson Corporation Apparatus, method, signal and computer program product configured to provide output image adjustment for image files
US7304668B2 (en) * 2001-04-11 2007-12-04 Fujifilm Corporation Printer system and image processing system having image correcting function

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274516A (ja) * 2006-03-31 2007-10-18 Pioneer Electronic Corp 画像情報処理装置および画像情報処理方法
JP4684930B2 (ja) * 2006-03-31 2011-05-18 パイオニア株式会社 画像情報処理装置および画像情報処理方法
US8040378B2 (en) 2006-10-04 2011-10-18 Ricoh Company, Limited Image forming apparatus for specifying a color material and method thereof
JP2011186971A (ja) * 2010-03-11 2011-09-22 Mitsubishi Electric Corp プリンターシステム

Also Published As

Publication number Publication date
US7564487B2 (en) 2009-07-21
CN1825889B (zh) 2010-05-12
CN1442995A (zh) 2003-09-17
JP4323748B2 (ja) 2009-09-02
CN1825889A (zh) 2006-08-30
CN1251474C (zh) 2006-04-12
US20030156196A1 (en) 2003-08-21
EP1339216A1 (en) 2003-08-27

Similar Documents

Publication Publication Date Title
JP4323748B2 (ja) デジタルカメラ及びその制御方法、画像処理装置、画像処理方法、画像処理システム
KR100549483B1 (ko) 기록 장치 및 기록 방법
US7800784B2 (en) Image printing apparatus, image printing system and control method
US7990555B2 (en) Image supply device and control method thereof and printing system
JP2003087587A (ja) 画像データ処理方法、画像データ処理装置、記憶媒体、及びプログラム
JP2003127472A (ja) 記録装置及びその制御方法及びプログラム
KR100641257B1 (ko) 화상 인쇄 장치 및 화상 인쇄 제어 방법
JP3950704B2 (ja) 画像処理装置、画像処理方法、印刷制御装置、印刷制御方法、プログラム
US20060039020A1 (en) Image supply device, control method thereof and printing system
JP5083180B2 (ja) 画像処理装置およびプログラム並びに画像処理方法
JP2004240992A (ja) 画像ファイルの出力画像調整
JP4205320B2 (ja) 画像ファイルの出力画像調整
JP4027117B2 (ja) 画像処理装置およびその方法
JP3927894B2 (ja) 画像処理装置及びその処理方法
JP2003101807A (ja) 画像ファイルの出力画像調整
JP4350615B2 (ja) 画像供給デバイス及び該デバイスの制御方法及び印刷システム
US20090037475A1 (en) Image Processing Device, Image Processing Method, and Image Processing Program
JP2004364161A (ja) 画像処理方法、画像処理システム、画像処理装置、記録媒体及びプログラム
JP4047147B2 (ja) 記録装置およびその制御方法
JP4085786B2 (ja) ディジタルカメラ、印刷システム及びコンピュータ読み取り可能な記録媒体
JP2002314797A (ja) 画像処理制御データを含む画像ファイル
JP2003032609A (ja) 画像データの画像処理に用いられる画像処理制御データの設定
JP2003200621A (ja) 記録装置及びその制御方法及び記録媒体
JP2005167559A (ja) 印刷システム
JP2007004715A (ja) 画像供給デバイス及び該デバイスの制御方法及び印刷システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060313

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060619

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060707

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20061124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090605

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4323748

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130612

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees