JP2009060430A - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents

画像処理装置、画像処理方法、画像処理プログラム Download PDF

Info

Publication number
JP2009060430A
JP2009060430A JP2007226585A JP2007226585A JP2009060430A JP 2009060430 A JP2009060430 A JP 2009060430A JP 2007226585 A JP2007226585 A JP 2007226585A JP 2007226585 A JP2007226585 A JP 2007226585A JP 2009060430 A JP2009060430 A JP 2009060430A
Authority
JP
Japan
Prior art keywords
image
processing apparatus
partial
region
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007226585A
Other languages
English (en)
Other versions
JP4442664B2 (ja
Inventor
Maki Kondo
真樹 近藤
Tomohiko Hasegawa
智彦 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2007226585A priority Critical patent/JP4442664B2/ja
Priority to US12/200,472 priority patent/US8390905B2/en
Publication of JP2009060430A publication Critical patent/JP2009060430A/ja
Application granted granted Critical
Publication of JP4442664B2 publication Critical patent/JP4442664B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6075Corrections to the hue

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

【課題】簡易な操作で画像の画像補正が可能な画像処理装置等を提供する。
【解決手段】スキャナ2で読み取った画像中の所定領域を見本として、メモリスロット3から読み取った画像の色合いを変換する。ユーザは、お手本にさせたい画像をスキャナ2に読み取らせるだけの簡易の操作で、メモリスロット3から読み取った画像の所望の画像補正を高速な処理で実現可能とする。
【選択図】図4

Description

本発明は、容易な操作で画像補正をすることが可能な画像処理装置等に関する。
デジタルカメラ等の普及に伴い、個人で撮影した画像を家庭用印刷装置で印刷することが普及している。また、印刷媒体に記憶された画像を家庭用印刷装置で印刷(複写)することも普及している。このような場合、取得した画像が所望の色味や色調でない場合は、印刷前に当該画像の画像補正をすることが望まれている。
ここで、例えば、下記特許文献1には、画像調整することが可能な印刷装置が開示されている。この印刷装置では、取得した画像の画質を調整するために、調整用データを入力する必要がある。
特開2007−89179号公報
上記のような印刷装置においては、画像の調整を行うために、具体的なデータを入力する必要があるため、画像に関する知識が必要となり感覚的な色調整を行うことができない。また、上記文献においては、調整用データを選択ないし設定する必要があるため、簡易な操作ではない。
そこで本発明は、上記課題を解決するため、容易な操作で所望の画像補正が可能な画像処理装置を提供することを目的とする。
上記目的を達成するため、請求項1に係る発明は、第1画像入力手段、第2画像入力手段、領域抽出手段、特徴量抽出手段、画像補正手段を備える画像処理装置において、前記第1画像入力手段は、第1画像を入力し、前記第2画像入力手段は、第2画像を入力し、前記領域抽出手段は、上記第1画像中の所望の領域を第1部分画像として抽出し、前記特徴量抽出手段は、前記第1部分画像に基いて第1部分特徴量を、前記第2画像に基いて第2特徴量を抽出し、前記画像補正手段は、前記第1部分特徴量及び前記第2特徴量に基いて、前記第2画像を画像補正することを特徴とする。
請求項2に係る発明は、請求項1の画像処理装置において、前記領域抽出手段は、前記第1画像中の写真領域を含む領域を前記第1部分画像として抽出することを特徴とする。
請求項3に係る発明は、請求項1または2の画像処理装置において、前記領域抽出手段は、前記第1画像を分割し、前記分割画像それぞれに対して、輝度値の分布に基づいて、前記第1部分画像を抽出することを特徴とする。
請求項4に係る発明は、請求項1または2の画像処理装置において、前記領域抽出手段は、前記第1画像を分割し、前記分割画像それぞれに対して、輝度値の分散または標準偏差を算出し、算出した分散または標準偏差が最も小さい分割画像を、前記第1部分画像として抽出することを特徴とする。
請求項5に係る発明は、請求項1または2の画像処理装置において、前記領域抽出手段は、(a)前記第1画像を分割し、(b)前記分割画像それぞれに対して、輝度値の分散または標準偏差を算出し、(c)算出した分散または標準偏差が最も小さい分割画像における分散または標準偏差が、所定量以下の場合は、当該分割画像を、前記第1部分画像として抽出し、(d)算出した分割または標準偏差が最も小さい分割画像における分散または標準偏差が、所定量より大きい場合は、当該分割画像をさらに分割し、前記(b)、(c)の処理を行うことを特徴とする。
請求項6に係る発明は、請求項1または2の画像処理装置において、前記領域抽出手段は、前記第1画像を分割し、前記分割画像それぞれに対して、輝度値の分散または標準偏差を算出し、算出した分散または標準偏差が所定量以下となる分割画像を、前記第1部分画像として抽出し、前記算出した分散または標準偏差が所定量以下となる分割画像が複数ある場合に、その分割画像に分割する直前の画像を第1部分画像として抽出することを特徴とする。
請求項7に係る発明は、請求項1〜6いずれかの画像処理装置において、前記第1部分特徴量及び前記第2特徴量に基づいて、補正データを作成する補正データ作成手段を備え、前記画像補正手段は、前記補正データに基づいて前記第2画像を画像補正することを特徴とする。
請求項8に係る発明は、請求項1〜6いずれかの画像処理装置において、前記特徴量抽出手段は、前記第1部分画像及び前記第2画像それぞれから、色相に関する特徴量を抽出し、当該色相に関する特徴量に基いて前記第1部分画像及び前記第2画像それぞれを複数の領域に分割し、分割した領域ごとに色相以外に関する特徴量を抽出し、前記補正データ作成手段は、前記第1部分画像及び前記第2画像それぞれの分割された領域ごとに、前記色相に関する特徴量の代表値を抽出し、当該代表値に基いて色相補正データを作成し、前記部分第1画像及び前記第2画像それぞれの分割された領域ごとに、前記色相以外に関する特徴量の代表値を抽出し、前記画像補正手段は、前記第2画像における画素ごとの色相に関する特徴量を、前記色相補正データに基いて画像補正し、前記第2画像の画素ごとの色相以外に関する特徴量を、前記領域ごとの代表値に基いて画像補正することを特徴とする。
請求項9に係る発明は、請求項8の画像処理装置において、前記色相に関する特徴量は、HSV空間におけるH値に基いて算出されることを特徴とする。
請求項10に係る発明は、請求項1〜9いずれかの画像処理装置において、前記第1画像入力手段は、所定の読取位置にセットされた記録媒体から光学的に読み取られる画像を第1画像として入力し、前記第2画像入力手段は、記憶媒体に記憶された画像情報を第2画像として入力することを特徴とする。
請求項11に係る発明は、請求項1〜10いずれかの画像処理装置において、印刷制御手段をさらに有し、前記印刷制御手段は、前記画像補正された第2画像情報を印刷するための処理を行うことを特徴とする。
請求項12に係る発明は、画像処理方法において、第1画像を入力する第1画像入力ステップ、第2画像を入力する第2画像入力ステップ、前記第1画像中の所望の領域を第1部分画像として抽出する領域抽出ステップ、前記第1部分画像に基いて第1部分特徴量を抽出する第1部分特徴量抽出ステップ、前記第2画像に基いて第2特徴量を抽出する第2特徴量抽出ステップ、前記第1部分特徴量及び前記第2特徴量に基いて前記第2画像を画像補正する画像補正ステップからなることを特徴とする。
請求項13に係る発明は、画像処理プログラムにおいて、コンピュータに、第1画像を入力する第1画像入力ステップ、第2画像を入力する第2画像入力ステップ、前記第1画像中の所望の領域を第1部分画像として抽出する領域抽出ステップ、前記第1部分画像に基いて第1部分特徴量を抽出する第1部分特徴量抽出ステップ、前記第2画像に基いて第2特徴量を抽出する第2特徴量抽出ステップ、前記第1部分特徴量及び前記第2特徴量に基いて前記第2画像を画像補正する画像補正ステップを実行させることを特徴とする。
請求項1に係る発明によれば、画像補正対象の画像を、その画像処理装置に入力された画像の所望領域中の色味や色調等に補正するため、容易な操作で所望の画像補正ができる。また、数値入力などを必要としないため、技術的知識を持たない者であっても、所望の画像補正ができる。また、入力された画像のうち、お手本とすべき領域を抽出できるので、画像補正処理を高速かつ高精度に行うことができる。
請求項2に係る発明によれば、入力された画像中の写真領域を含む領域を抽出するため、例えば、文字情報と写真領域とが混在する原稿をスキャナ等で読み込んだ場合においても、適切にお手本とすべき領域を決定することができる。
請求項3、4に係る発明によれば、文字領域と写真領域とで輝度値の分散または標準偏差が異なることを利用することによって、写真領域が含まれる領域を簡易な処理で抽出することができる。
請求項5に係る発明によれば、分割領域における輝度値の分散または標準偏差が所定量より小さくなるまで領域を分割することにより、写真領域が含まれる領域を簡易な処理で適切に抽出することができる。
請求項6に係る発明によれば、分散または標準偏差が所定量以下となる分割が複数ある場合に、直近の分割前の画像をお手本画像とするので、適切に写真領域が含まれる領域を抽出することができる。
請求項7に係る発明によれば、上述した効果を奏することができる。
請求項8に係る発明によれば、色相に基いて複数の領域に分割するため、人間の知覚に基いた領域分割をすることができ、精度が高い色補正をすることができる。また、色相に関する特徴量と色相以外に関する特徴量とに分けて異なる画像補正処理を行うため、所望の画像補正処理を容易に行うことができる。
請求項9に係る発明によれば、HSV空間におけるH値に基いて色相を特定することができる。
請求項10に係る発明によれば、お手本となる画像をスキャナ等から入力することができ、また、記憶媒体から読み出した画像を画像補正の対象とすることができる。
請求項11に係る発明によれば、印刷制御手段を有するので、画像補正した画像を印刷することができる。
請求項12、13に係る発明についても、上述した効果を奏することができる。
[本発明の第1実施形態]
まず、本発明に係る画像処理装置の外観の一例について図1に示す。また、画像処理装置1の内部構成の一例について図2に示す。
画像処理装置1は、多機能プリンタ等の一例であり、その上部に写真等から画像情報を読み取るためのスキャナ2を有している(なお、図1においては、スキャナはカバーされた状態である。)。スキャナによって読み取られた画像情報は、以下に示すメモリスロットより読み込まれた画像情報の色彩を補正するための見本の情報として用いられる。なお、画像補正処理の詳細については、後述する。
画像処理装置1は、SDカード(商標)、CFカード(商標)などの記録媒体である外部メモリに記録された画像情報を読み取るためのICカードリーダとして機能するメモリスロット3を有する。ここで、外部メモリ(記憶媒体)は、公知の媒体及び形式を適宜選択可能である。また、複数の方式の媒体に適用するよう、複数のメモリスロットを有するように構成してもよい。また、画像情報を蓄積したPCが接続されたLAN等のネットワークに接続可能な通信機能(例えばLANカード、図示せず)を図2に示すCPU,ROM、RAMなどが接続された信号線に付加することで、前記外部メモリの代わりに、前記PCが接続されたネットワークから所望の画像情報を読み取るよう構成してもよい。その場合は、画像処理装置1は、通信機能を有することになる。
画像処理装置1は、種々の操作を行うための操作パネル4を有している。操作パネル4には種々のボタン等が配置される。
画像処理装置1は、図2に図示されるプリンタ10を有している。画像補正された画像情報は、プリンタ10によって印刷される。印刷された用紙は、例えば、排出口5より排出される。
画像処理装置1は、表示手段6を有している。種々の文字情報及びイメージを表示することができる。また、表示手段6の前面に透明なタッチパネルを設け、操作パネル4の一部または全部の機能を代用してもよい。また、タッチパネルと操作パネル4を併用できるよう構成してもよい。
画像処理装置1は、プロセッサ(CPU9)によって全体が制御される。また、内部には、情報を一時的に記憶するためのRAM7、及び、所定の情報が記憶されたROM8を有する。また、必要に応じてHDD等の大容量記憶手段を有してもよい。
上述した各要素は、信号線によって互いに接続されている。
また、画像処理装置1に、種々の機能(例えば、FAX)を画像処理装置に付加することもできる。また、パソコン等に接続するためのインタフェース、他の印刷装置と接続するためのインタフェースを備えてもよい。
なお、上記外観は単なる一例であり、本発明が上記外観に限定されないことはいうまでもない。また、上記外観においては、全ての機能が一体化された装置を図示したが、一部の機能を外付け装置で実現してもよい。さらに、上記内部構成は単なる一例であり、本発明が上記内部構成に限定されないことはいうまでもない。
次に、本発明に係る画像処理装置1を用いた基本処理におけるユーザの動作及び装置本体の処理について、その概略を説明する。図3は、当該処理の概略を示したものである。まず、ユーザは、画像補正対象となる画像が記憶されたメモリを、画像処理装置のメモリスロットにセットする。上述したとおり、このメモリとしては、メモリカードをはじめ公知の記憶媒体を適宜採用可能である。
メモリがメモリスロット3にセットされることにより(1)、画像処理装置は、セットされたメモリを認識し、ユーザに対し、メモリに記憶されている画像のうち画像補正対象となる画像を選択させる(2)。なお、画像を選択させるための処理は、公知の技術(例えば、画像を順次切替表示して選択させる等)を適宜採用可能である。また、表示手段6を利用してもよい。
画像補正対象の画像が決定されると(3)、画像処理装置は当該画像を読み出して例えばRAMに書き込む(4)。なお、以下において当該画像を「元画像」ということがある。
次に、ユーザは当該画像の画像補正の見本となる領域を含む画像(以下、「全体画像」ということがある。)をスキャナ上に設置し(5)、所定のボタン等を押下することによって、画像処理装置はお手本画像を例えばRAM7に書き込む(6)。
その後、画像処理装置は、スキャナより読み取られた画像から、画像補正の見本となる領域の画像(以下、「お手本画像」ということがある。)を抽出する(7)。お手本画像の抽出処理については後述する。
その後、画像処理装置は、スキャナより読み取られた画像、及び、メモリより読み取られた画像に対し後述する処理を行う(8)。
なお、上述した図3の処理においては、メモリから画像を読み込んだ後にスキャナを利用して画像を読み込むものであるが、先にスキャナを利用して画像を読み込み、その後メモリから画像を読み込むよう構成してもよい。
[本発明の第1実施形態]
次に、本発明の基本処理の一例について図を参照しつつ説明する。図4は、本実施形態における基本処理の概要を示すフローチャートである。
S11において、元画像、及び、全体画像が画像処理装置1のRAM7に読み込まれる。ここで、読み込まれた画像の形式は限定されない。
S12において、全体画像からお手本画像を生成する。お手本画像を生成するための具体的な処理は後述する。
S13において、読み込まれたお手本画像の画素をそれぞれHSVパラメータに補正する。HSVパラメータの補正処理については後述する。
S14において、HSVパラメータに基いてお手本画像の特徴量として第1特徴量を抽出する。第1特徴量を抽出する具体的な処理については後述する。
S15において、読み込まれた元画像のそれぞれの画素をHSVパラメータに変換する。
S16において、当該HSVパラメータに基いて、元画像の特徴量として、第2特徴量を抽出する。第2特徴量を抽出する具体的な処理については後述する。
S17において、第1特徴量及び第2特徴量に基いて元画像を補正する。補正するための具体的な処理については後述する。
S18において、補正された元画像を印刷する。
なお、上述した処理においては、第1特徴量を抽出した後に第2特徴量を抽出したが、第2特徴量を抽出した後に第1特徴量を抽出してもよい。また、HSVパラメータではなく、Lパラメータを抽出してもよい。また、RGBパラメータ等の公知のパラメータであっても本発明は実現可能である。なお、以下においては、HSVパラメータを抽出する場合について説明する。
[お手本画像生成処理(第1の方法)]
次に、S12におけるお手本画像生成の処理について説明する。図5(A)及び図6(A)は、それぞれ、スキャンから読み出した全体画像20を例示するものである。図5(A)では、全体画像20の一部分にお手本画像の領域が存在し、また、図6(A)では、全体画像20には文字とお手本画像の領域とが混在している。
高精度、高速に画像補正処理を行うためには、図5(B)及び図6(B)中に太線で示すお手本画像の領域のみを抽出する必要がある。すなわち、画像処理の対象をお手本画像の領域のみに限定する必要がある。そのため、図5(A)に示すような全体画像を読み込んだ場合は、例えば、全体画像の全画素のうち、輝度値が所定未満(例えば、256階調であれば、97)の画素の集合をお手本画像とすることができる。すなわち、図5(A)に示されるような画像の場合は、お手本画像の存在しない白領域(すなわち、高い輝度値の領域)をお手本画像に含めないように処理すればよい。
また、図6(A)に示すような全体画像を読み込んだ場合は、文書画像上における写真領域を抽出する種々の公知技術を採用してもよい。
[お手本画像生成処理(第2の方法)]
後述する本発明における画像補正処理においては、お手本画像に写真領域以外の部分が含まれていても所望の画像補正処理を高精度に行うことができる。また、処理の高速化のためには、お手本画像生成処理は簡素に行うことが望ましい。
画像分割を利用したお手本画像生成処理について、以下説明する。まず、図7(A)に示すように、全体画像20を複数の小領域に分割する。図7(A)に示す例においては、4分割しているが、6分割、8分割でもよい。分割された画像のうち、最も写真領域が含まれる割合が高いと考えられる画像(図7(A)においては、左上部分の画像)をお手本画像として抽出する。
また、最も写真領域が含まれる割合が高いと考えられる画像に対し、図7(B)に示すように、さらに複数の小領域に分割し、この分割された画像のうち、最も写真領域が含まれる割合が高いと考えられる画像をお手本画像としてもよい。また、写真領域が含まれる割合が最も高いと考えられる画像が所定の条件を満たすまで、分割処理を繰り返すようにしてもよい。なお、所定の条件については後述する。
次に、上記お手本画像生成処理の具体的内容について図を参照しつつ説明する。図8は、本発明におけるお手本画像生成処理を示すフローチャートである。
まず、S21において、図4のS11で読み込まれた全体画像を取得する。
次に、S22において、画像(S21で取得した全体画像、もしくは、後述するS25で特定された画像)を分割する(図7参照)。
S23において、分割した画像ごとに、画像中の画素の輝度値の標準偏差を算出する。なお、標準偏差ではなく分散を算出してもよい。
S24において、分割した画像のうち上記標準偏差が最も小さい画像を特定する。写真のような画像は、一般的に色領域上に広く色が分布しているため、標準偏差がテキストからなる画像に比べて小さい。したがって、当該特定された画像は、写真領域の割合が最も大きい画像であるとみなすことができる。ここで、輝度値の標準偏差と画像との関係について、図9に具体例を示す。図9(A)は、写真領域の画像及び文字領域の画像と、それぞれの画像における輝度値の標準偏差を示している。この図9(A)によれば、写真領域の画像の標準偏差は、文字領域の画像の標準偏差に比べて小さいことがわかる。また、図9(B)は、写真領域の画像及び文字領域の画像における輝度値のヒストグラムである。横軸は輝度値であり、縦軸は頻度である。また、太字は文字領域のヒストグラムであり、細字は写真領域のヒストグラムである。この図9(B)によれば、写真領域の画像の方が、輝度値が広く分布していることがわかる。
S25において、所定の条件を満たしているか否かを判断する。所定の条件としては、分割回数が所定回数に達したか、または、上記特定した画像の標準偏差が所定以下であるか、等を採用することができる。上記特定した画像の標準偏差が所定以下であるかを判断する構成においては、上記特定した画像中に写真領域以外の領域(例えば、文字領域)の占める割合が高い場合は、当該特定した画像の標準偏差が所定以上であると判断される。そのため、当該特定した画像は、さらに分割されることになる。この標準偏差の値は、予め画像処理装置1の所定の記憶領域に記憶されている。また、ユーザが直接入力できるよう構成してもよい。
所定の条件を満たす場合は(S25:YES)、当該お手本画像生成処理を終了する。そして、S24で特定された分割領域の画像がお手本画像となる。一方、所定の条件を満たさない場合は(S25:NO)、S22に戻る。
上記処理によれば、写真領域かどうかを画素単位または小領域単位で行う必要がないため、高速に処理することができる。また、特定したお手本画像の一部に写真領域が含まれている場合や、特定した画像に写真領域の一部が欠落したとしても、後述する画像補正処理への影響が少ない。
また、お手本画像生成処理は、別の方法によっても実現可能である。図10に、お手本画像生成処理の別の実施形態のフローチャートを示す。
S31〜S33の処理は、図8のS21〜S23の処理と同じであるので説明を省略する。なお、S32において分割する分割数は、予め決められた所定数(例えば4)である。
S34において、標準偏差が所定量以下の分割画像が存在するか否かを判断する。標準偏差が所定量以下の分割画像は、写真領域を多く含んでいる可能性が高い。所定量以下の分割画像が存在しない場合は(S34:NO)、S35に進む。一方、S34にて、所定量以下の分割領域が存在する場合は(S34:YES)、S36に進む。また、S34において、所定回数以上NOと判断された場合は、S11にて読み込まれた画像が、写真領域として特定できる領域を含まない画像であると判断し、当該お手本画像生成処理を終了するよう構成してもよい。
S35において、S33で分割画像ごとに算出した標準偏差のうち、最も小さい標準偏差に対応する画像を特定する。この処理は、図8におけるS24と同様である。以下においては、このS35で特定した分割画像を第1分割画像ということがある。この第1分割画像には、写真領域は含まれる可能性は高いがその写真領域が占める割合が小さいものと考えられる。したがって、この第1分割画像について、さらにS32で分割することになる。
S36において、標準偏差が所定量以下の分割画像の個数が1つであるか否かを判断する。所定量以下の分割画像が1つの場合は(S36:YES)、S37に進み、当該所定量以下の分割画像をお手本画像として特定する。一方、所定量以下の分割画像が1つでない場合は(S36:NO)、直近の分割前の画像をお手本画像として特定する。ここで、上述の第1分割画像を所定の分割数に分割した画像(以下、「第2分割画像」ということがある。)に、標準偏差が所定量以下の分割画像が複数存在する場合を例にする。この場合は、直近の分割前の画像は、第1分割画像であるので、この第1分割画像をお手本画像として特定する。この処理は、写真領域が多く含まれる分割画像が複数存在する場合に、当該複数の分割画像をお手本画像の一部とするための処理である。
また、お手本画像生成処理は、別の方法によっても実現可能である。図11に、お手本画像生成処理の別の実施形態のフローチャートを示す。
本実施形態は、図10の処理と対比してS48の処理のみが異なるので、この点について説明する。
標準偏差が所定量以下の分割領域が複数存在した場合は、S47へ移行し、標準偏差が所定量以下として判断された複数の分割画像を統合して1つの画像にし、統合した画像をお手本画像とする。本発明においては、入力画像から抽出する特徴量に、画素の連結情報を含まないため、全体画像の一部の領域を組合せた画像をお手本画像とすることができる。
この点について、図12を用いて説明する。全体画像20を、図12(A)のように分割することによって、分割画像1〜4が得られたとする。このとき、分割画像1及び分割画像4について、標準偏差が所定量以下であった場合、図12(B)に示す統合画像21をお手本画像とすることができる。
次に、図4のS13におけるお手本画像の画素をHSVに変換する一例について説明する。以下においては、お手本画像及び元画像は、RGB形式であると仮定する。RGB形式からHSV形式への変換は以下のように行うことができる。また、S15における処理も同様に行われる。なお、下記に示す変換式は一例であり、他の変換式で変換してもよいことはいうまでもない。
[RGB→HSVの変換式]
max(a,b,c)はa,b,cの中で最も大きい値を表す。
min(a,b,c)はa,b,cの中で最も小さい値を表す。
V = max(R÷255,G÷255,B÷255)
Vが0でない時、
S = {V - min(R,G,B)} ÷ V
Vが0の時、
S = 0
{V - min(R,G,B)}が0でない時、
r = (V - R÷255)÷(V-min(R,G,B)
g = (V - G÷255)÷(V-min(R,G,B)
b = (V - B÷255)÷(V-min(R,G,B)
{V - min(R,G,B)}が0の時、
r = 0
g = 0
b = 0
V = R÷255の時
H = 60 × (b-g)
V = G÷255の時
H = 60 × (2+r-g)
V = B÷255の時
H = 60 × (4+g-r)
ただしH<0の時
H = H+360
次に、図4のS14の第1特徴量を抽出するための処理について図13を参照しつつ説明する。図13は、第1特徴量抽出処理のフローチャートである。なお、以下の処理においては、H値は、−30〜330未満の値をとるものとする。H値が上記範囲内でない場合は、H値を適宜変換することにより(例えば、“H値+360×n”もしくは“H値−360×n”、nは整数)、上記範囲の値をとるよう調整する。
S51において、お手本画像の複数の領域に分割する。ここでは、一般的に用いられる6つの色相に基いて分割する。具体的には、それぞれの画素のH値に基き、
・R領域: −30以上〜30未満
・Y領域: 30以上〜90未満
・G領域: 90以上〜150未満
・C領域: 150以上〜210未満
・B領域: 210以上〜270未満
・M領域: 270以上〜330未満
に分割する。つまり、お手本画像の構成画素をその色相値に応じた上記分類基準に従い、6つの分類項目に分類する処理を行う。ここで、上記領域とH値の対応関係は、一例であり、適宜変更可能なものである。
S52において、S51で分割した領域ごとに、「各領域がお手本画像中に占める割合」及び「各領域の代表値(HSV値)」を算出する。ここで、各領域の代表値(HSV値)を、以下のように定義する。
・R領域の代表値:sHr,sSr,sVr
・G領域の代表値:sHg,sSg,sVg
・B領域の代表値:sHb,sSb,sVb
・C領域の代表値:sHc,sSc,sVc
・M領域の代表値:sHm,sSm,sVm
・Y領域の代表値:sHy,sSy,sSy
ここで、代表値は、各領域におけるHSV値それぞれの平均値とすることができる。また、中間値を用いることができる。
次に、各領域がお手本画像中に占める割合を、以下のように定義する。
・R領域がお手本画像中に占める割合:sRateR
・G領域がお手本画像中に占める割合:sRateG
・B領域がお手本画像中に占める割合:sRateB
・C領域がお手本画像中に占める割合:sRateC
・M領域がお手本画像中に占める割合:sRateM
・Y領域がお手本画像中に占める割合:sRateY
ここで、上記割合は、例えばR領域については、
sRateR=(お手本画像中のR領域の画素数)÷(お手本画像の全画素数)とすることができるが、他の式によって定義してもよい。
次に、図4中のS16の第2特徴量を抽出するための処理について図14を参照しつつ説明する。図14は、第2特徴量抽出処理のフローチャートである。
S61において、元画像を6つの領域に分割する。処理の内容は、お手本画像に対する処理と同じなので、説明を省略する。
S62において、元画像に対し、図13のS52と同様の処理を行う。また、各領域の代表値(HSV値)を、以下のように定義する。
・R領域の代表値:iHr,iSr,iVr
・G領域の代表値:iHg,iSg,iVg
・B領域の代表値:iHb,iSb,iVb
・C領域の代表値:iHc,iSc,iVc
・M領域の代表値:iHm,iSm,iVm
・Y領域の代表値:iHy,iSy,iSy
各領域が元画像中に占める割合を、以下のように定義する。
・R領域が元画像中に占める割合:iRateR
・G領域が元画像中に占める割合:iRateG
・B領域が元画像中に占める割合:iRateB
・C領域が元画像中に占める割合:iRateC
・M領域が元画像中に占める割合:iRateM
・Y領域が元画像中に占める割合:iRateY
なお、上述した処理においては、第1特徴量を抽出するアルゴリズムと第2特徴量を抽出するアルゴリズムとが同一のものとして説明したが、異なるアルゴリズムによって、それぞれの特徴量を抽出するよう構成してもよい。
次に、図4のS17において実行される、第1特徴量及び第2特徴量に基いて元画像を変換する処理について詳細を説明する。この処理は、元画像の各画素のH値、S値、V値をそれぞれ変換することによって行われる。
まず、H値における変換処理について説明する。元画像のH値の代表値をX軸にとり、お手本画像のH値の代表値をY軸にとって領域ごとのH値の代表値をプロットする。そしてプロットされた点の間を、例えば、線形補間することにより、図15に示す色相補正テーブルを作成する。ここで、H’>360の場合は、H’=H’−360とする。
そして、元画像のぞれぞれの画素に対し、上記色相補正テーブルを適用することによって、H値が補正される。より具体的には、補正後のH’は、以下の式で定義することができる。
H’=(y2-y1)÷(x2-x1)×H - (y2-y1)÷(x2-x1)×x2 + y2
・・・(式1)
ここで、x1,x2,y1,y2は、以下のように定義される。
H<iHrのときは、
(x1,y1)= (iHm−360,sHm−360)
(x2,y2)= (iHr,sHr)
iHr≦H<iHyのときは、
(x1,y1)= (iHr,sHr)
(x2,y2)= (iHy,sHy)
iHy≦H<iHgのときは、
(x1,y1)= (iHy,sHy)
(x2,y2)= (iHg,sHg)
iHg≦H<iHcのときは、
(x1,y1)= (iHg,sHg)
(x2,y2)= (iHc,sHc)
iHc≦H<iHbのときは、
(x1,y1)= (iHc,sHc)
(x2,y2)= (iHb,sHb)
iHb≦H<iHmのときは、
(x1,y1)= (iHb,sHb)
(x2,y2)= (iHm,sHm)
iHm≦Hのときは、
(x1,y1)= (iHm,sHm)
(x2,y2)= (iHr+360,sHr+360)
次に、S値及びV値における変換について説明する。S値及びV値は、H値によって分割された領域ごとに値が変換される。例えば、B領域について、
S ≦ iSbのときは、
S’=S×(sSb÷iSb) ・・・(式2)
S > iSrのときは、
S’=1+(S−1)×{(1−sSb)÷(1−iSb)} ・・・(式3)
V ≦ iVbのときは、
V’=V×(sVb÷iVb) ・・・(式4)
V > iVbのときは、
V’=1+(V−1)×{(1−sVb)÷(1−iVb)} ・・・(式5)
の式で求めることができる。また、その他の領域の計算についても同様に算出することができる。なお、以下においては、上記S値の変換式で定義される変換テーブルを彩度補正テーブルということがあり、また、上記V値の変換式で定義される変換テーブルを明度補正テーブルということがある。
次に、図4のS17における、プリンタ10に適するフォーマット(例えば、RGB値)に変換するための変換式について説明する。なお、下記に示す変換式は一例であり、他の変換式で変換してもよいことはいうまでもない。
[RGB⇒HSVの変換式]
(なお、以下で示すin, fl, m, nは、HSVからRGBを算出する過程で利用する媒介変数である)
in を (H÷60)の整数部分、fl を (H÷60)の小数部分とする。
in が偶数の場合
fl = 1-fl
m = V × (1-S)
n = V × (1-S×fl)
inが0の時
R = V × 255
G = n × 255
B = m × 255
inが1の時
R = n × 255
G = V × 255
B = m × 255
inが2の時
R = m × 255
G = V × 255
B = n × 255
inが3の時
R = m × 255
G = n × 255
B = V × 255
inが4の時
R = n × 255
G = m × 255
B = V × 255
inが5の時
R = V × 255
G = m × 255
B = n × 255
上述した画像補正処理を行うことによって、H値に基いて分割された領域ごとに、元画像の色合いをお手本画像の色合いに補正することができる。
[画像補正処理(第2実施形態)]
以下に説明する画像補正処理の第2実施形態においては、分割されたそれぞれの領域に対し、領域の大きさに基いて画像補正処理の一部を停止、また、変化量を制御することができる。これにより、ユーザがお手本画像の一部の色合いのみを元画像の色合いに反映させることができる。
本実施形態の基本処理のフローチャートを図16に示す。本実施形態の基本的な処理の流れは図4と同じであるが、第2特徴量抽出処理の後に、代表値再設定処理(S76)が追加される。以下、代表値再設定処理について、図を参照しつつ説明する。
図17は、本実施形態における代表値再設定処理のフローチャートである。S81において、分割された領域が変換対象か否かを判別される。この処理では、当該領域が所定の条件を満たすか否かが判断される。
変換対象であると判断された場合(S81:YES)は、S83に進む。変換対象でないと判断された場合(S81:NO)は、S82に進む。S82では、代表値が再設定し、その後S83に進む。代表値の再設定の方法は後述する。
S83においては、全ての領域(6分割した場合は6つの領域)について、変換対象か否かが判断されたか否かを判別する。判別していない領域が残っている場合(S83:NO)は、S81に戻り処理を繰り返す。全ての領域についての判断が終了すると(S83:YES)、代表値再設定処理を終了する。
[閾値Threを用いる方法]
上述した所定の条件として、分割された領域の大きさと閾値Threとの大小関係を用いることができる。元画像、または、お手本画像に占める割合が閾値Threより小さい場合に、その領域に係る元画像及びお手本画像の代表値を同じ値に変更し、当該変更された代表値を用いて上述した画素ごとの変換処理を行う。以下、この処理について説明する。代表値を以下のように再設定することができる。
sRateR<Thre または iRateR<Thre のときは、
sHr=0,sSr=0.5,sVr=0.5,
iHr=0,iSr=0.5,iVr=0.5
sRateG<Thre または iRateG<Thre のときは、
sHg=120,sSg=0.5,sVg=0.5,
iHg=120,iSg=0.5,iVg=0.5
sRateB<Thre または iRateB<Thre のときは、
sHb=240,sSb=0.5,sVb=0.5,
iHb=240,iSb=0.5,iVb=0.5
sRateC<Thre または iRateC<Thre のときは、
sHc=180,sSc=0.5,sVc=0.5,
iHc=180,iSc=0.5,iVc=0.5
sRateM<Thre または iRateM<Thre のときは、
sHm=300,sSm=0.5,sVm=0.5,
iHm=300,iSm=0.5,iVm=0.5
sRateY<Thre または iRateY<Thre のときは、
sHy=60,sSy=0.5,sVy=0.5,
iHy=60,iSy=0.5,iVy=0.5
上述した例においては、S値及びV値については、そのとり得る値(0〜1)の中間値である0.5を採用した。また、H値においては、それぞれの領域の中間値を採用した。しかしながら、上述した代表値は一例であり、本発明は上記数値に限定されるものではない。
この値を利用して、画素ごとの変換を上述した変換式(式2)〜(式5)を用いることにより、S値及びV値においては値が変更されない。すなわち、例えばR領域に関して、S ≦ iSrのときは、上述した(式2)のとおり、
S’=S×(sSr÷iSr)
の式で算出されるが、当該式において、sSr=0.5,iSr=0.5となるので、上述した式は、
S’=S×(0.5÷0.5)=S ・・・(式6)
となる。S>iSrのときも同様にS’=Sとなる。また、 V値、及び、他の領域についても同様に変換されない。
また、H値においては、図15においてプロットされる点が代表値に変更されるので、その領域における変換量を小さくすることができる。すなわち、上述した変更式(式1)を利用した場合であっても、代表値を変更させることによって変換量が小さくなる。
次に、閾値Threの決定方法について説明する。この値は、官能評価に基いて決定することができる。官能評価では、約6%以上の面積を占めていれば、その領域は知覚されやすいことを確認した。したがって、閾値Threとして、6%を採用することができる。ただし、本願発明は、閾値Threとして6%のものに限定されない。
また、他の領域に対して相対的に面積が大きい領域を抽出するよう閾値Threを決定してもよい。例えば、分割される領域の数が6であれば、その逆数である1/6を閾値Threとすることもできる。
本発明の一例として挙げた分割領域数である「6」は、色彩を表現する色域の1つであるRGB空間(頂点数8)から、無彩色である白と黒とを除いた頂点の数「6」と同じである。人が色彩を識別するには、色領域の数として6であれば充分であり、6より少なくすると、ユーザがお手本画像のように変換されていないと感じる恐れがある。また6より細かく分割すれば、より変換精度は高くなる。しかしながら、人には識別できなくなる可能性が高くなり、また、分割数の増加に伴い計算量も増える。プリンタを用いる場合、印刷結果として補正対象の画像を得るまでの時間が遅くなり、ユーザの不満も増加する可能性も高くなるので、分割される領域の数は6が好ましいと考えられる。
なお、上述した例においては、すべての領域において閾値を同一のものとしたが、領域ごとに閾値Threを変更するよう構成してもよい。
[最大領域の情報を用いる方法]
上述した手法では、閾値Threを設定し、当該閾値Threに基いて代表値の変更、すなわち、画像補正処理の停止、変換量の減少の制御を行った。ここで、お手本画像の特定の色のみについて元画像に反映させるために、画像中の最大領域の情報を用いる画像補正処理について以下説明する。
この場合、図17のS81において、元画像及びお手本画像のいずれにおいても最も面積が大きい領域であるか否かを所定の条件とすることができる。この場合は、以下の式によって代表値が再設定される。ここで、分割されたお手本画像の領域のうちお手本画像に占める割合が最も大きい領域の割合を、iMaxRateとする。また、分割された元画像の領域のうち元画像に占める割合が最も大きい領域の割合を、sMaxRateとする。
sRateR≠iMaxRateまたはiRateR≠sMaxRateのとき、
sHr=0,sSr=0.5,sVr=0.5,
iHr=0,iSr=0.5,iVr=0.5
sRateG≠iMaxRateまたはiRateG≠sMaxRateのとき、
sHg=120,sSg=0.5,sVg=0.5,
iHg=120,iSg=0.5,iVg=0.5
sRateB≠iMaxRateまたはiRateB≠sMaxRateのとき、
sHb=240,sSb=0.5,sVb=0.5,
iHb=240,iSb=0.5,iVb=0.5
sRateC≠iMaxRateまたはiRateC≠sMaxRateのとき、
sHc=180,sSc=0.5,sVc=0.5,
iHc=180,iSc=0.5,iVc=0.5
sRateM≠iMaxRateまたはiRateM≠sMaxRateのとき、
sHm=300,sSm=0.5,sVm=0.5,
iHm=300,iSm=0.5,iVm=0.5
sRateY≠iMaxRateまたはiRateY≠sMaxRateのとき、
sHy=60,sSy=0.5,sVy=0.5,
iHy=60,iSy=0.5,iVy=0.5
これにより、元画像及びお手本画像のいずれにおいても最も面積が大きい領域のみが変換対象となるから、変換対象とならなかったS値及びV値については変換が行われず、また、H値については変換量を減少させることができる。
ここで、B領域のみを変換対象とした場合、図18に示すような色相補正テーブルが作成されることになる。この色相補正テーブルにおいては、色空間上B領域に隣接するC領域におけるH値の代表値(iHc=180,sHc=180)とB領域におけるH値の代表値(iHb,sHb)とが直線で結ばれ、また、色空間上B領域に隣接するM領域におけるH値の代表値(iHm=300,sHm=300)とB領域におけるH値の代表値(iHb,sHb)とが直線で結ばれることになる。
このため、H値が180<H≦210のC領域、及びH値が270<H≦300のM領域についても、変換されることになる。この変換量は、B領域に近い値ほど大きくなる。
上記のとおり、画像補正処理の第2実施形態においては、変換対象の領域を選択可能であり、また、変換対象ではない領域であっても、色空間上隣接するH値については一部変換されることになるから、変換対象の領域の変換対象ではない領域との間に擬似輪郭(階調とび)が生成されることを防ぐことができる。
[画像補正処理(第3実施形態)]
上記画像補正処理の第2実施形態においては、変換対象としない領域のH値は、変換量が減少させることはできるものの、変換量をゼロとすることはできない。図18に示すように、変換対象としない領域の代表値との線形補間されるため、他の領域の代表値の影響を受けるからである。
そこで、図19に示すような色相補正テーブルを採用することができる。図19は、B領域のみを変換対象とした場合の色相補正テーブルである。この図においては、変換対象の領域の数は1つであるが、複数の領域を補正対象とした場合であってもよい。
図19においては、B領域以外のH値は、H’=Hであるから、画像補正は行われない。B領域のH’値については、B領域中の最小値をHmin,B領域中の最大値をHmaxとすれば、以下の式で求めることができる。
H<iHのときは、
H’=Hmin+(sHb−Hmin)×(H−Hmin)÷(iHb−Hmin)
H>iHのときは、
H’=sHb+(Hmax−sHb)×(H−iHb)÷(Hmax−iHb)
この式を用いることにより、変換対象の領域のみを変換することができる。
上述したとおり、第3実施形態においては、変換対象のH値のみを変換することができるから、画像補正の効果を大きくすることができる。
[画像補正処理(第4実施形態)]
上記画像補正処理の第2実施形態においては、S値及びV値に対し、領域ごとに補正カーブ(変換式)を独立して用いるため、擬似輪郭(階調とび)が生成されるおそれがある。すなわち、図20に示すように、領域ごとに、SとS’との関係を示すテーブルを有しており、隣接する領域におけるテーブルの性質を何ら考慮していない。
本実施形態においては、図21に示すように、各色領域における補正カーブを滑らかにすることで階調とびを防止できる。
本実施形態の具体的な処理について以下に説明する。図22及び図23を参照しつつB領域の一部の画像補正処理について説明を行うが、他の領域についても処理の内容は基本的には同じである。
本実施形態における補正されたS値(Sb’’)は、
− 変換対象領域のH値(H)、
− 変換対象とする領域のH値の代表値(Hbmid)、
− 変換対象となる画素のH値の色相座標位置に近い側の隣接領域(この場合は、C領域)にH値の代表値(Hcmid)、
− 上記式(2)に対応する変換式で変換された(すなわち、B領域の彩度補正テーブルを用いて算出された)変換対象領域のS値(Sb’、Hbmidに対応するもの)、
− 上記式(3)に対応する変換式で変換された(すなわち、C領域の彩度補正テーブルを用いて算出された)隣接する領域のS値(Sc’、Hcidに対応するもの)、
を用いて、以下の式で求めることができる。
Sb’’ = {(H−Hcmid)×Sb’+(Hbmid−H)×Sc’}÷
{(Hbmid−Hcmid)} ・・・(式7)
また、本実施形態における補正されたV値(Vb’’)は、
− 変換対象領域のH値(H)、
− 変換対象とする領域のH値の代表値(Hbmid)、
− 変換対象となる画素のH値の色相座標位置に近い側の隣接領域(この場合は、C領域)にH値の代表値(Hcmid)、
− 上記式(4)に対応する変換式で変換された(すなわち、B領域の明度補正テーブルを用いて算出された)変換対象領域のV値(Vb’、Hbmidに対応するもの)、
− 上記式(5)に対応する変換式で変換された(すなわち、C領域の明度補正テーブルを用いて算出された)隣接する領域のS値(Vc’、Hcidに対応するもの)、
を用いて、以下の式で求めることができる。
Vb’’ = {(H−Hcmid)×Vb’+(Hbmid−H)×Vc’}÷
{(Hbmid−Hcmid)} ・・・(式8)
上述した処理を、図24に示されるB領域の一部(H値の範囲:210<H≦240)及びC領域の一部(H値の範囲180<H≦210)に対して行う。これにより、入力の色相値(H)に応じた重み付け計算により、出力の彩度値(S’’)及び明度値(V’’)を求めることにより、各色相間の補正効果を滑らかにすることができる。
上述した画像補正処理を適宜組合せて本発明を実現することも可能である。すなわち、Hにおいては、画像補正を際立たせるようにし、SとVにおいては階調とびを防止する処理するよう構成することもできる。
上述したとおり、本発明は、取得した画像に対し、お手本画像対象領域(写真領域)のみを抽出して画像補正処理のお手本とするので、画像補正処理を高速に行うことができる。また、必要な領域のみを画像補正対象とするので、画像補正処理の誤動作を防止することができる。また、写真領域の抽出を簡素な処理で行うため、画像補正処理全体の高速化を図ることができる。また、記憶媒体より入力された画像に対し、スキャナより入力された画像の特徴を有するよう画像補正を行うことにより、簡易な操作で、かつ、感覚的に画像補正の操作を行うことができる。
さらに、本発明の画像補正処理によれば、例えば、元画像として建物と空が写っている元画像に対し、空の青を鮮やかな海の青に変換したい場合は、お手本画像として鮮やかな海の写っている写真をスキャナで読み込むという作業によって、元画像の青色が鮮やかな海の青に変換することができる。
また、人の顔が映っている画像において、肌色を明るくしたい場合は、明るい肌色として移っている手のひら等の写真をスキャナで読み込むという作業によって、元画像の肌色を明るい肌色に変換することができる。
ユーザは、パラメータの入力等の必要がないので、何ら専門的な知識が必要とせず、画像補正のお手本となる画像を読み取らせるだけで、所望の画像補正を行うことができる。さらに、画像補正を行う領域を自動的に選択可能であるので、知覚されにくい領域の変換を中止または低減し、知覚されやすい領域のみを変換することもできる。
なお、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。例えば、スキャナからお手本画像を読み取ることに代えて、記憶媒体よりお手本画像として画像を読み取ることもできる。また、記憶媒体から元画像を読み取ることに代えて、スキャナより元画像を読み込むこともできる。例えば、画像処理装置として、スキャナおよびプリンタが搭載された複合機を実施形態としてあげたが、これに限らず、例えば、パーソナルコンピュータのような情報処理装置にて、画像補正を行い、情報処理装置に接続されたプリンタに印刷処理を行わせる構成であってもよい。
また、上述したフローチャートは単なる一例であり、上記処理と同等の結果を得ることできる処理であれば、他のフローチャートによって処理を実現してもよい。
また、上述した処理を実行するための画像処理方法としても本発明は実現可能である。さらに、当該画像処理方法をコンピュータで実行させるためのプログラム、及び、そのプログラムが記録された記録媒体としても本発明は実現可能である。
さらに、補正された元画像を印刷するのみならず、記憶媒体に記憶したり、他の装置に送信することも可能である。
画像処理装置の外観を示した図である。 画像処理装置の内部構成を示した図である。 ユーザの動作と画像処理装置の基本処理のフローを示した図である。 本発明の第1実施形態における基本処理のフローチャートである。 全体画像の一例を示した図である。 全体画像の一例を示した図である。 分割された全体画像の一例を示した図である。 お手本画像生成処理のフローチャートである。 写真領域の画像及び文字領域の画像の標準偏差の具体例、及び、輝度値の分布の具体例を示した図である。 お手本画像生成処理のフローチャートである。 お手本画像生成処理のフローチャートである。 お手本画像の例を示した図である。 第1特徴量抽出処理のフローチャートである。 第2特徴量抽出処理のフローチャートである。 色相補正テーブルを示した図である。 本発明の別の実施形態における基本処理のフローチャートである。 代表値再設定処理のフローチャートである。 色相補正テーブルを示した図である。 色相補正テーブルを示した図である。 彩度補正テーブルを示した図である。 彩度補正のカーブの変化を示した図である。 B領域及びC領域における彩度補正テーブルを示した図である。 B領域及びC領域における補正されたS値を示した図である。 B領域及びC領域の一部が変換対象となることを示した図である。
符号の説明
1 画像処理装置
2 スキャナ
3 メモリスロット
4 操作パネル
5 排出口
6 表示手段
10 プリンタ

Claims (13)

  1. 第1画像入力手段、第2画像入力手段、領域抽出手段、特徴量抽出手段、画像補正手段を備える画像処理装置において、
    前記第1画像入力手段は、第1画像を入力し、
    前記第2画像入力手段は、第2画像を入力し、
    前記領域抽出手段は、上記第1画像中の所望の領域を第1部分画像として抽出し、
    前記特徴量抽出手段は、前記第1部分画像に基いて第1部分特徴量を、前記第2画像に基いて第2特徴量を抽出し、
    前記画像補正手段は、前記第1部分特徴量及び前記第2特徴量に基いて、前記第2画像を画像補正する、
    ことを特徴とする画像処理装置。
  2. 前記領域抽出手段は、前記第1画像中の写真領域を含む領域を前記第1部分画像として抽出する、
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記領域抽出手段は、前記第1画像を分割し、前記分割画像それぞれに対して、輝度値の分布に基づいて、前記第1部分画像を抽出する、
    ことを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記領域抽出手段は、
    前記第1画像を分割し、
    前記分割画像それぞれに対して、輝度値の分散または標準偏差を算出し、
    算出した分散または標準偏差が最も小さい分割画像を、前記第1部分画像として抽出する、
    ことを特徴とする請求項1または2に記載の画像処理装置。
  5. 前記領域抽出手段は、
    (a)前記第1画像を分割し、
    (b)前記分割画像それぞれに対して、輝度値の分散または標準偏差を算出し、
    (c)算出した分散または標準偏差が最も小さい分割画像における分散または標準偏差が、所定量以下の場合は、当該分割画像を、前記第1部分画像として抽出し、
    (d)算出した分割または標準偏差が最も小さい分割画像における分散または標準偏差が、所定量より大きい場合は、当該分割画像をさらに分割し、前記(b)、(c)の処理を行う、
    ことを特徴とする請求項1または2に記載の画像処理装置。
  6. 前記領域抽出手段は、
    前記第1画像を分割し、
    前記分割画像それぞれに対して、輝度値の分散または標準偏差を算出し、
    算出した分散または標準偏差が所定量以下となる分割画像を、前記第1部分画像として抽出し、
    前記算出した分散または標準偏差が所定量以下となる分割画像が複数ある場合に、その分割画像に分割する直前の画像を第1部分画像として抽出する、
    ことを特徴とする請求項1または2に記載の画像処理装置。
  7. 前記第1部分特徴量及び前記第2特徴量に基づいて、補正データを作成する補正データ作成手段を備え、
    前記画像補正手段は、前記補正データに基づいて前記第2画像を画像補正する、
    ことを特徴とする請求項1〜6のいずれかに記載の画像処理装置。
  8. 前記特徴量抽出手段は、
    前記第1部分画像及び前記第2画像それぞれから、色相に関する特徴量を抽出し、
    当該色相に関する特徴量に基いて前記第1部分画像及び前記第2画像それぞれを複数の領域に分割し、
    分割した領域ごとに色相以外に関する特徴量を抽出し、
    前記補正データ作成手段は、
    前記第1部分画像及び前記第2画像それぞれの分割された領域ごとに、前記色相に関する特徴量の代表値を抽出し、当該代表値に基いて色相補正データを作成し、
    前記第1部分画像及び前記第2画像それぞれの分割された領域ごとに、前記色相以外に関する特徴量の代表値を抽出し、
    前記画像補正手段は、
    前記第2画像における画素ごとの色相に関する特徴量を、前記色相補正データに基いて画像補正し、
    前記第2画像の画素ごとの色相以外に関する特徴量を、前記領域ごとの代表値に基いて画像補正する、
    ことを特徴とする請求項1〜6いずれかに記載の画像処理装置。
  9. 前記色相に関する特徴量は、HSV空間におけるH値に基いて算出される、
    ことを特徴とする請求項8記載の画像処理装置。
  10. 前記第1画像入力手段は、所定の読取位置にセットされた記録媒体から光学的に読み取られる画像を第1画像として入力し、
    前記第2画像入力手段は、記憶媒体に記憶された画像情報を第2画像として入力する、
    ことを特徴とする請求項1〜9のいずれかに記載の画像処理装置。
  11. 印刷制御手段をさらに有し、
    前記印刷制御手段は、前記画像補正された第2画像情報を印刷するための処理を行う、
    ことを特徴とする請求項1〜10のいずれかに記載の画像処理装置。
  12. 第1画像を入力する第1画像入力ステップ、
    第2画像を入力する第2画像入力ステップ、
    前記第1画像中の所望の領域を第1部分画像として抽出する領域抽出ステップ、
    前記第1部分画像に基いて第1部分特徴量を抽出する第1部分特徴量抽出ステップ、
    前記第2画像に基いて第2特徴量を抽出する第2特徴量抽出ステップ、
    前記第1部分特徴量及び前記第2特徴量に基いて前記第2画像を画像補正する画像補正ステップ、
    からなる画像処理方法。
  13. コンピュータに、
    第1画像を入力する第1画像入力ステップ、
    第2画像を入力する第2画像入力ステップ、
    前記第1画像中の所望の領域を第1部分画像として抽出する領域抽出ステップ、
    前記第1部分画像に基いて第1部分特徴量を抽出する第1部分特徴量抽出ステップ、
    前記第2画像に基いて第2特徴量を抽出する第2特徴量抽出ステップ、
    前記第1部分特徴量及び前記第2特徴量に基いて前記第2画像を画像補正する画像補正ステップ、
    を実行させるための画像処理プログラム。
JP2007226585A 2007-08-31 2007-08-31 画像処理装置、画像処理方法、画像処理プログラム Expired - Fee Related JP4442664B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007226585A JP4442664B2 (ja) 2007-08-31 2007-08-31 画像処理装置、画像処理方法、画像処理プログラム
US12/200,472 US8390905B2 (en) 2007-08-31 2008-08-28 Image processing device extracting desired region to be used as model for image correction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007226585A JP4442664B2 (ja) 2007-08-31 2007-08-31 画像処理装置、画像処理方法、画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2009060430A true JP2009060430A (ja) 2009-03-19
JP4442664B2 JP4442664B2 (ja) 2010-03-31

Family

ID=40555742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007226585A Expired - Fee Related JP4442664B2 (ja) 2007-08-31 2007-08-31 画像処理装置、画像処理方法、画像処理プログラム

Country Status (2)

Country Link
US (1) US8390905B2 (ja)
JP (1) JP4442664B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101068653B1 (ko) 2009-11-17 2011-09-28 연세대학교 산학협력단 영상 컬러 보정 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8174731B2 (en) * 2007-08-31 2012-05-08 Brother Kogyo Kabushiki Kaisha Image processing device outputting image for selecting sample image for image correction
JP4793356B2 (ja) * 2007-08-31 2011-10-12 ブラザー工業株式会社 画像処理装置及び画像処理プログラム
US8159716B2 (en) * 2007-08-31 2012-04-17 Brother Kogyo Kabushiki Kaisha Image processing device performing image correction by using a plurality of sample images
US8094343B2 (en) * 2007-08-31 2012-01-10 Brother Kogyo Kabushiki Kaisha Image processor
JP4442664B2 (ja) * 2007-08-31 2010-03-31 ブラザー工業株式会社 画像処理装置、画像処理方法、画像処理プログラム
JP4433017B2 (ja) * 2007-08-31 2010-03-17 ブラザー工業株式会社 画像処理装置及び画像処理プログラム
JP4725755B2 (ja) * 2008-12-26 2011-07-13 コニカミノルタビジネステクノロジーズ株式会社 プリンタ階調補正方法およびカラーパッチ画像
KR20110135720A (ko) * 2010-06-11 2011-12-19 삼성전자주식회사 촬영 환경에 따른 렌즈 쉐이딩 보상 테이블을 생성하기 위한 장치 및 방법
JP5888068B2 (ja) * 2012-03-30 2016-03-16 ブラザー工業株式会社 画像処理装置およびプログラム
US10909406B2 (en) * 2018-01-08 2021-02-02 Newgen Software Technologies Limited Image processing system and method

Family Cites Families (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3787870T2 (de) * 1986-11-20 1994-02-17 Konishiroku Photo Ind Farbabbildungsgerät.
JPH02260073A (ja) * 1989-03-31 1990-10-22 Toshiba Corp 画像表示装置
EP0400991B1 (en) * 1989-05-31 1998-08-26 Canon Kabushiki Kaisha Color image processing apparatus
JPH0722337B2 (ja) * 1990-01-08 1995-03-08 富士ゼロックス株式会社 画像処理装置におけるフィルム画像パラメータ抽出方式
JP3126046B2 (ja) 1991-10-28 2001-01-22 富士通株式会社 カラー画像の色調整方法及び色調整装置
JPH05300531A (ja) 1992-04-14 1993-11-12 Nippon Hoso Kyokai <Nhk> 色補正方法および色補正装置
JPH05342344A (ja) 1992-06-08 1993-12-24 Canon Inc 画像処理方法及び画像処理システム
JP3304427B2 (ja) 1992-10-14 2002-07-22 ソニー株式会社 カラー画像の色ずれ補正装置
US5680230A (en) * 1993-09-09 1997-10-21 Canon Kabushiki Kaisha Image processing method and apparatus thereof
US6434266B1 (en) * 1993-12-17 2002-08-13 Canon Kabushiki Kaisha Image processing method and apparatus for converting colors in a color image
JPH07177366A (ja) 1993-12-17 1995-07-14 Canon Inc カラー画像処理装置
JP3550589B2 (ja) 1994-05-16 2004-08-04 株式会社ニコン 画像読取り装置
US5715377A (en) * 1994-07-21 1998-02-03 Matsushita Electric Industrial Co. Ltd. Gray level correction apparatus
JP3147278B2 (ja) * 1994-11-09 2001-03-19 キヤノン株式会社 原稿検知方法及び装置
JPH08254407A (ja) * 1995-03-15 1996-10-01 Omron Corp 画像読取り幅自動判定装置
JPH09116740A (ja) 1995-10-19 1997-05-02 Toppan Printing Co Ltd 自動色調修正装置
JPH09172553A (ja) 1995-12-19 1997-06-30 Toppan Printing Co Ltd 階調修正装置
US5734802A (en) * 1996-02-29 1998-03-31 Xerox Corporation Blended look-up table for printing images with both pictorial and graphical elements
JPH09284583A (ja) 1996-04-17 1997-10-31 Toppan Printing Co Ltd 色修正装置
JPH09325536A (ja) 1996-05-31 1997-12-16 Nippon Syst House Kk 複写装置及びその制御方法
JPH10145583A (ja) * 1996-11-14 1998-05-29 Casio Comput Co Ltd 画像処理装置
JPH10149441A (ja) 1996-11-20 1998-06-02 Casio Comput Co Ltd 画像処理方法、及びその装置
JPH10173947A (ja) 1996-12-16 1998-06-26 Canon Inc 画像処理装置及びその方法
JPH1191169A (ja) * 1997-09-19 1999-04-06 Fuji Photo Film Co Ltd 画像処理装置
JPH1198374A (ja) 1997-09-24 1999-04-09 Konica Corp 色補正方法及び色補正装置
JPH11185034A (ja) 1997-12-24 1999-07-09 Casio Comput Co Ltd 画像データ補正装置、及び画像データ補正処理プログラムを記録した記録媒体
JPH11196258A (ja) 1997-12-27 1999-07-21 Canon Inc 画像処理装置およびその方法
JP3895492B2 (ja) * 1998-03-13 2007-03-22 株式会社リコー 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
US6603885B1 (en) * 1998-04-30 2003-08-05 Fuji Photo Film Co., Ltd. Image processing method and apparatus
US6801334B1 (en) * 1998-05-28 2004-10-05 Fuji Photo Film Co., Ltd. Index print producing method, image processing system, image processing method and image processing device
US6639690B1 (en) * 1998-06-02 2003-10-28 Fuji Photo Film Co., Ltd. Print system
JP2000106623A (ja) 1998-07-27 2000-04-11 Fuji Photo Film Co Ltd 画像処理装置
JP2000083157A (ja) * 1998-09-07 2000-03-21 Fuji Photo Film Co Ltd 画像処理方法および画像処理装置
JP2000152268A (ja) 1998-11-09 2000-05-30 Victor Co Of Japan Ltd 映像信号処理装置
JP2000196904A (ja) 1998-12-29 2000-07-14 Canon Inc カラ―画像形成装置およびルックアップテ―ブル生成方法
JP2001051062A (ja) 1999-08-12 2001-02-23 Aloka Co Ltd 放射線測定装置及びノイズ除去方法
JP3501031B2 (ja) * 1999-08-24 2004-02-23 日本電気株式会社 画像領域判定装置、画像領域判定方法及びそのプログラムを記憶した記憶媒体
US7145597B1 (en) * 1999-10-28 2006-12-05 Fuji Photo Film Co., Ltd. Method and apparatus for image processing
JP3804819B2 (ja) 1999-11-05 2006-08-02 富士写真フイルム株式会社 プリントシステム
JP4172122B2 (ja) 1999-12-02 2008-10-29 ノーリツ鋼機株式会社 色濃度補正方法、色濃度補正プログラムを記録した記録媒体、画像処理装置、および写真焼付装置
JP3820835B2 (ja) * 2000-02-28 2006-09-13 コニカミノルタビジネステクノロジーズ株式会社 色補正装置、記録媒体、記録装置および色補正方法
US20030091229A1 (en) * 2000-03-31 2003-05-15 Imation Corp. Color image display accuracy using comparison of complex shapes to reference background
JP2002171408A (ja) 2000-12-01 2002-06-14 Fuji Photo Film Co Ltd 画像処理方法及び画像処理装置
US7355748B2 (en) * 2001-02-27 2008-04-08 Seiko Epson Corporation Color matching server, color matching client, print control server, print control client, print control system, print control process, medium on which print control program is stored profile providing server and profile demanding client
JP4511066B2 (ja) * 2001-03-12 2010-07-28 オリンパス株式会社 撮像装置
US7251056B2 (en) * 2001-06-11 2007-07-31 Ricoh Company, Ltd. Image processing apparatus, image processing method and information recording medium
JP2003108987A (ja) 2001-09-27 2003-04-11 Fuji Photo Film Co Ltd 画像プリント装置および画像プリント方法
JP2003163801A (ja) * 2001-11-26 2003-06-06 Fuji Xerox Co Ltd 画像処理装置および画像処理方法、画像処理プログラム、記憶媒体
JP3825740B2 (ja) 2001-12-07 2006-09-27 株式会社リコー 画像処理装置、画像処理方法、およびコンピュータが実行するためのプログラム
JP3991196B2 (ja) 2001-12-18 2007-10-17 富士ゼロックス株式会社 画像処理システム及び画像処理サーバ
US20030164967A1 (en) * 2002-02-20 2003-09-04 Fuji Photo Film Co., Ltd. Image processing method, image processing apparatus, and image processing program
US20040036892A1 (en) * 2002-02-22 2004-02-26 Tsukasa Ito Image processing method, image processing apparatus, image recording apparatus and recording medium
JP3814551B2 (ja) 2002-03-29 2006-08-30 キヤノン株式会社 サーバ装置およびその制御方法
US20030193582A1 (en) * 2002-03-29 2003-10-16 Fuji Photo Film Co., Ltd. Method for storing an image, method and system for retrieving a registered image and method for performing image processing on a registered image
JP4230730B2 (ja) 2002-07-23 2009-02-25 パナソニック コミュニケーションズ株式会社 画像処理システム及び画像処理方法
US7283247B2 (en) * 2002-09-25 2007-10-16 Olympus Corporation Optical probe system
US9684675B2 (en) * 2002-09-30 2017-06-20 Adobe Systems Incorporated Reduction of search ambiguity with multiple media references
US7155068B2 (en) * 2002-10-09 2006-12-26 Xerox Corporation Systems for spectral multiplexing of source images to provide a composite image, for rendering the composite image, and for spectral demultiplexing the composite image, which achieve increased dynamic range in a recovered source image
JP4196845B2 (ja) * 2003-03-31 2008-12-17 セイコーエプソン株式会社 画像処理装置
JP4189959B2 (ja) 2003-05-15 2008-12-03 株式会社リコー 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP4087749B2 (ja) 2003-05-26 2008-05-21 松下電器産業株式会社 画像処理システム及び画像処理方法
JP4241361B2 (ja) 2003-12-16 2009-03-18 株式会社エヌテック キャップ天面の検査方法
JP2005192158A (ja) 2003-12-26 2005-07-14 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像記録装置
JP4328956B2 (ja) 2004-01-07 2009-09-09 富士フイルム株式会社 デジタルカメラの制御方法及び装置
JP2005202469A (ja) 2004-01-13 2005-07-28 Fuji Xerox Co Ltd 画像処理装置、画像処理方法、およびプログラム
JP2005242535A (ja) 2004-02-25 2005-09-08 Omron Corp 画像補正装置
US7646517B2 (en) * 2004-02-27 2010-01-12 Seiko Epson Corporation Image processing system and image processing method
JP4320272B2 (ja) * 2004-03-31 2009-08-26 富士フイルム株式会社 特定領域検出方法、特定領域検出装置、およびプログラム
JP4579570B2 (ja) 2004-04-20 2010-11-10 キヤノン株式会社 シェーディング処理方法
US7508550B2 (en) * 2004-06-17 2009-03-24 Fujifilm Corporation Image correcting apparatus and method, and image correcting program, and look-up table creating apparatus and method, and look-up table creating program
JP2006013836A (ja) * 2004-06-25 2006-01-12 Seiko Epson Corp カラー画像のカラー画像データを処理する画像データ処理
JP2006080746A (ja) 2004-09-08 2006-03-23 Nikon Corp 画像処理装置、電子カメラ、および画像処理プログラム
JP4549352B2 (ja) * 2004-09-30 2010-09-22 富士フイルム株式会社 画像処理装置および方法,ならびに画像処理プログラム
EP1648158A1 (en) 2004-10-18 2006-04-19 Thomson Licensing Device and method for colour correction of an input image
JP4275053B2 (ja) * 2004-11-19 2009-06-10 シャープ株式会社 画像記録装置
JP4325552B2 (ja) * 2004-12-24 2009-09-02 セイコーエプソン株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2006229537A (ja) 2005-02-17 2006-08-31 Fuji Photo Film Co Ltd 色補正装置、および色補正プログラム
JP4385964B2 (ja) 2005-02-21 2009-12-16 ノーリツ鋼機株式会社 写真画像処理方法及び写真画像処理装置
JP2006303899A (ja) * 2005-04-20 2006-11-02 Fuji Photo Film Co Ltd 画像処理装置、画像処理システム、および画像処理プログラム
JP4561465B2 (ja) * 2005-05-13 2010-10-13 ブラザー工業株式会社 画像編集装置
JP4795718B2 (ja) * 2005-05-16 2011-10-19 富士フイルム株式会社 画像処理装置および方法並びにプログラム
US7623712B2 (en) * 2005-06-09 2009-11-24 Canon Kabushiki Kaisha Image processing method and apparatus
US7864347B2 (en) * 2005-06-27 2011-01-04 Xerox Corporation Systems and methods that provide custom region scan with preview image on a multifunction device
JP2007028529A (ja) * 2005-07-21 2007-02-01 Fuji Xerox Co Ltd 情報記録システム、情報再生システム、および情報記録再生システム
JP2007088782A (ja) * 2005-09-21 2007-04-05 Ricoh Co Ltd 画像処理装置、画像処理方法および画像処理プログラム
US20070070436A1 (en) 2005-09-23 2007-03-29 Kabushiki Kaisha Toshiba Image forming apparatus and method of controlling the apparatus
US20070080973A1 (en) * 2005-10-12 2007-04-12 Jurgen Stauder Device and method for colour correction of an input image
JP4725336B2 (ja) * 2006-01-30 2011-07-13 ブラザー工業株式会社 画像処理装置および画像処理プログラム
JP2007208413A (ja) 2006-01-31 2007-08-16 Olympus Corp 色補正装置および色補正方法ならびに色補正プログラム
JP4799246B2 (ja) * 2006-03-30 2011-10-26 キヤノン株式会社 画像処理方法及び画像処理装置
JP4197346B2 (ja) * 2006-04-18 2008-12-17 シャープ株式会社 画像処理装置、画像処理方法、画像形成装置、画像処理プログラムおよび記録媒体
JP4878572B2 (ja) * 2007-03-30 2012-02-15 キヤノン株式会社 画像処理装置および画像処理方法
US8144214B2 (en) * 2007-04-18 2012-03-27 Panasonic Corporation Imaging apparatus, imaging method, integrated circuit, and storage medium
US8159716B2 (en) * 2007-08-31 2012-04-17 Brother Kogyo Kabushiki Kaisha Image processing device performing image correction by using a plurality of sample images
JP4442664B2 (ja) * 2007-08-31 2010-03-31 ブラザー工業株式会社 画像処理装置、画像処理方法、画像処理プログラム
US8174731B2 (en) * 2007-08-31 2012-05-08 Brother Kogyo Kabushiki Kaisha Image processing device outputting image for selecting sample image for image correction
JP4433017B2 (ja) * 2007-08-31 2010-03-17 ブラザー工業株式会社 画像処理装置及び画像処理プログラム
US8154778B2 (en) * 2007-11-15 2012-04-10 Sharp Laboratories Of America, Inc Systems and methods for color correction processing and notification for digital image data generated from a document image
JP4653194B2 (ja) * 2008-04-30 2011-03-16 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、プログラム及びコンピュータ読取可能な記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101068653B1 (ko) 2009-11-17 2011-09-28 연세대학교 산학협력단 영상 컬러 보정 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체

Also Published As

Publication number Publication date
JP4442664B2 (ja) 2010-03-31
US20090244564A1 (en) 2009-10-01
US8390905B2 (en) 2013-03-05

Similar Documents

Publication Publication Date Title
JP4442664B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
US8842349B2 (en) Color conversion method and profile generation method
US20090027732A1 (en) Image processing apparatus, image processing method, and computer program
US9967434B2 (en) Image processing apparatus, system, method, and program product for adjusting saturation of a skin area while maintaining converted hue
US8174731B2 (en) Image processing device outputting image for selecting sample image for image correction
US8040563B2 (en) Printing method, printing apparatus, corresponding table creating method and programs
JP4389977B2 (ja) 画像印刷装置、画像印刷方法、画像印刷プログラム
US8633943B2 (en) Image display apparatus, image display method, and program storage medium for arranging and displaying images of a plurality of tones
JP4433017B2 (ja) 画像処理装置及び画像処理プログラム
JP4985243B2 (ja) 画像処理装置及び画像処理プログラム
JP2014017562A (ja) 制御装置、および、プログラム
US8094343B2 (en) Image processor
JP4826562B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP4793356B2 (ja) 画像処理装置及び画像処理プログラム
US8159716B2 (en) Image processing device performing image correction by using a plurality of sample images
JP4442665B2 (ja) 画像処理装置、画像処理プログラム
JP4831020B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP2006121432A (ja) 画像処理装置における補正処理方法および画像処理装置。
JP4831019B2 (ja) 画像処理装置、画像処理方法、画像処理印刷プログラム
JP4840295B2 (ja) 画像処理装置及び画像処理プログラム
JP5045836B2 (ja) 画像処理装置及び画像処理プログラム
JP4442663B2 (ja) 画像処理装置及び画像処理プログラム
JP2013110615A (ja) 画像処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100104

R150 Certificate of patent or registration of utility model

Ref document number: 4442664

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140122

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees