JP2010010937A - 画像処理装置、画像処理方法、プログラムおよび記憶媒体 - Google Patents

画像処理装置、画像処理方法、プログラムおよび記憶媒体 Download PDF

Info

Publication number
JP2010010937A
JP2010010937A JP2008166252A JP2008166252A JP2010010937A JP 2010010937 A JP2010010937 A JP 2010010937A JP 2008166252 A JP2008166252 A JP 2008166252A JP 2008166252 A JP2008166252 A JP 2008166252A JP 2010010937 A JP2010010937 A JP 2010010937A
Authority
JP
Japan
Prior art keywords
image data
detection result
image
detection
printing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008166252A
Other languages
English (en)
Other versions
JP5202132B2 (ja
JP2010010937A5 (ja
Inventor
Hiroyasu Kunieda
寛康 國枝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008166252A priority Critical patent/JP5202132B2/ja
Priority to US12/476,730 priority patent/US8693049B2/en
Publication of JP2010010937A publication Critical patent/JP2010010937A/ja
Publication of JP2010010937A5 publication Critical patent/JP2010010937A5/ja
Application granted granted Critical
Publication of JP5202132B2 publication Critical patent/JP5202132B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628Memory colours, e.g. skin or sky

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】本発明の課題は、異なる装置間で類似する検出機能を有する場合に、印刷装置の状態に応じて使用する検出機能を切り替える画像処理装置を提供することである。
【解決手段】上記課題を解決するために、本発明に係る画像処理装置は、入力装置から画像データと画像データにおける画像特徴領域の検出結果を取得する取得手段と、画像データの印刷設定を判定する判定手段と、画像データにおける画像特徴領域の検出を行う検出手段と、判定手段によって判定された印刷設定に応じて、入力装置から取得した検出結果と検出手段による検出結果のいずれかを選択する選択手段と、選択手段によって選択された検出結果に基づき、画像データの補正を行う補正手段とを備えたことを特徴とする。
【選択図】図2

Description

本発明は、異なる装置間で類似する検出機能を有する場合に、印刷装置の状態に応じて使用する検出機能を切り替える画像処理装置、画像処理方法、プログラムおよび記憶媒体に関する。
近年、顔検出技術など画像特徴領域の検出機能が様々な製品に搭載されている。例えば、ディジタルカメラに顔検出機能を搭載することにより、撮影時に人物に対して焦点を合わせることが可能となる。従来のディジタルカメラでは、ある被写体に焦点を合わせるため、ユーザがその被写体に焦点が合うように調節する必要があった。その結果、構図などが限定的になってしまい、ユーザの意図を反映することが困難な場合があった。しかし、顔検出技術を利用することにより、人物に自動的に焦点が合うため、自由な構図で写真を撮影することが可能となった。
また、近年では、印刷装置にも顔検出機能が搭載されている。印刷装置の顔検出機能を利用することにより、印刷する画像が人物写真か否かを判別し、人物の肌領域が理想的な肌色になるように自動で補正することができる。
印刷装置に顔検出機能が搭載されていない場合でも、ディジタルカメラで検出した顔情報をExif(Exchangeable image file format)情報の一部に埋め込んでおけば、印刷装置内で顔領域を考慮した補正処理ができる。
例えば、特許文献1は、顔座標に基づいた画像補正を行い、画像を印刷する。印刷画像は、撮影時に検出された顔座標をExif情報の一部として保存している。印刷装置では、画像のExif情報から顔座標を抽出し、それをもとに補正処理を行う。
特開2004−207987号公報
しかし、特許文献1では、ディジタルカメラ側で行われた顔検出結果と印刷装置内で行われた顔検出結果を制御する手法に関しては提案されていない。更に、印刷装置の状態に応じて処理を制御していないため、画質とスピードのバランスを考慮することはできない。
また、Exif情報に含まれる顔情報を利用して、負荷のかかる顔検出処理を印刷装置内部で行わないようにすると、その分処理速度がアップする。しかし、Exif情報に含まれる顔情報はメーカによって様々であり、未知の要素が含まれる。そのため、顔領域の解析結果に応じて補正処理を行う場合、未知の顔情報では最適な補正処理が実行できない場合がある。
図12、13は、異なるメーカの顔領域の定義を示す図である。図12は、画像領域1201内の肌領域を中心とした顔の内部を顔領域1202と定義している。図13は、画像領域1301内の髪の毛を含む領域を顔領域1302として定義している。顔領域の定義が異なるため、顔領域内の平均彩度や色相も異なる。図13で定義された顔領域では、髪の毛や背景などの肌以外の情報も含んだ解析が実施される。そのため、補正量を決定する情報に誤差が含まれ、最適な補正が実施できない。
このように利用する顔情報によって、画質とスピードのトレードオフの関係が生じる。特に印刷装置内部で補正処理を行う場合、印刷設定や印刷ジョブなどの印刷状況により、利用する顔情報を選択する必要がある。例えば、印刷設定の項目である品質が「速い」に設定された場合、画質よりも速度を優先させた処理フローが必要となる。逆に「きれい」が設定された場合、速度よりも画質を優先させた処理フローが必要となる。
このことから、異なるディバイス間で類似した検出機能を有する場合、印刷装置の状態に応じてどちらの検出機能を使用するかを制御する必要がある。
上記課題を解決するために、本発明に係る画像処理装置は、入力装置から画像データと画像データにおける画像特徴領域の検出結果を取得する取得手段と、画像データの印刷設定を判定する判定手段と、画像データにおける画像特徴領域の検出を行う検出手段と、判定手段によって判定された印刷設定に応じて、入力装置から取得した検出結果と検出手段による検出結果のいずれかを選択する選択手段と、選択手段によって選択された検出結果に基づき、画像データの補正を行う補正手段とを備えたことを特徴とする。
本発明によれば、異なる装置間で類似した検出機能が保持されている場合に、印刷装置の状態に応じて処理に利用する検出機能を切り替えることにより、印刷の画質とスピードのバランスを考慮することができる。
以下、本発明に係る実施形態について説明する。
<実施形態1>
以下で、実施形態1に係る画像処理装置に関して説明する。
図1は、画像処理装置である印刷装置101のハードウェアの一例を示したものである。印刷装置101は、CPU102、ROM103、RAM104、さらに、印刷処理を行うためのプリンタエンジン105を保持している。また、近年では、印刷装置にスキャナを搭載した複合機が台頭していることもあり、印刷装置は、原稿を読み取るためのスキャナエンジン107を有していても良い。また、表示部106は、印刷を行う際に用紙、印刷品質などの様々な設定を行うために用いられる。また、ユーザインターフェイス108は、タッチパネルを含み、シリアルI/F109は、外部機器110との接続するためのI/F(インターフェイス)である。外部機器110は、例えば、ディジタルカメラである。
図1に示されているように、CPU102、ROM103、RAM104、プリンタエンジン105、表示部106、スキャナエンジン107、ユーザインターフェイス108、およびシリアルI/Fが、システムバスを介して接続されている。
なお、このほかにも印刷装置のハードウェアの要素として様々なものが考えられる。たとえば、電源部や、用紙をハンドリングするためのフィーダ部や、ネットワークと直接接続するためのインターフェイスなどである。しかし、それらについては本実施形態では直接言及することはないため、ここでは説明を割愛する。
図2、図3は、本実施形態で考えられる印刷環境の一例を示す。
図2は、入力装置で撮影した画像データを印刷する形態を示したものである。まず、入力装置201で撮影された画像データを、メモリカード202に保存される。次に、メモリカード202は、入力装置201で撮影された印刷装置203に接続され、撮影した画像データが印刷装置203から印刷される。
ここで、入力装置201は、例えば、ディジタルカメラでも良い。
図3は、パーソナルコンピュータを主とした印刷環境の一例を示す。パーソナルコンピュータ303は、ハードディスクを有している。パーソナルコンピュータ303のハードディスクには、カードリーダ302を介してメモリカード301内の画像データが保存されても良い。また、パーソナルコンピュータ303のハードディスクには、ルータ305を介してインターネット306からダウンロードされた画像データが保存されても良い。また、パーソナルコンピュータ303のハードディスクには、カードリーダ302とルーラ305以外の経路から入手されたデータが保存されても良い。
パーソナルコンピュータ303のハードディスクに保存されたデータは、パーソナルコンピュータ303で操作することにより、印刷装置304から印刷される。
以下、実施形態1の入力装置に関して説明する。
図6は、ディジタルカメラ等の入力装置により得られた画像データに、タグ情報を付加して、出力画像を形成するまでの一連の処理を示す。ここでは説明の簡略化のために、入力装置をディジタルカメラとするが、入力装置がスキャナなどの他の装置であっても良い。また、本実施形態では顔検出を処理の一環として記述するが、それ以外の検出に関するものであっても良い。
入力装置は、入力部601、顔検出部602、タグ情報作成部603、画像出力部604から構成される。
入力部601は、CCDなどの撮像素子により撮影されたデータを画像データに変換する。撮影されたデータが画像データとして出力される。更に、入力装置により撮影された日時や機種名、シャッタースピード、絞りの設定といった撮影に関する撮影情報が入力部情報として出力される。
入力部601は、顔検出部602と、タグ情報作成部603と、画像出力部604に接続されている。
顔検出部602は、入力部601で形成された画像データ内に顔領域が含まれているかを判定する。
顔検出部602の顔検出方法として、既に提案されているパターンマッチングを利用した手法、ニューラルネットワークによる学習データを利用した手法など、どのような手法により検出しても良い。
図11は、顔検出結果を説明するための図である。画像領域1101内を、任意のアルゴリズムにより顔検出が行われる。画像領域1101内に顔領域1102が検出された場合、顔領域の中心座標(顔中心座標1103)、顔領域の幅(顔幅w1104)、顔領域の高さ(顔高h1105)が、顔検出結果として出力される。このほかに回転角度が、顔検出結果として出力されても良い。
図6の顔検出部602は、上述した顔領域の中心座標1103、幅1004、高さ1105を検出結果として出力する。
タグ情報作成部603は、画像データに付加するタグ情報を作成する装置である。タグ情報に関しては、図10を用いて、以下で説明する。
図10は、出力画像データのデータ構造を示す。図10に示されているように、出力画像データは、タグ情報1001と画像データ1002とを有する。
画像データ1002には、入力装置により撮影された画像データが格納されている。タグ情報1001は、メイン情報1003、サブ情報1004、メーカ独自情報1005、サムネイル情報1006を有する。
メイン情報1003には、撮影に関する情報が格納されている。ここで、撮影に関する情報は、撮影時の日時や機種名であっても良い。
サブ情報1004には、画像の圧縮モード、色空間、画素数が格納されている。
メーカ独自情報1005には、入力装置開発メーカが独自に出力した情報が格納されている。
サムネイル情報1006には、撮影された画像データから作成された縮小画像がプレビュー用として格納されている。
顔検出結果は、メーカ独自情報1005に格納される。メーカ独自情報1005には、顔検出結果である、顔の中心座標1007、顔の大きさ1008が格納されていても良い。
図6のタグ情報作成部603は、図10のタグ情報1001に該当する情報を作成する。図6の入力部601から出力された入力部情報から、図10のメイン情報1003とサブ情報1004が設定される。図6の顔検出部602から出力される顔検出情報から、図10のメーカ独自情報1005が設定される。図6の入力部601から出力された画像データから、図10のサムネイル情報1006が設定される。
これら情報が設定されて作成されたタグ情報が、図6のタグ情報作成部603から出力される。
図6の画像出力部604は、最終的に出力する画像を作成し出力する。画像出力部604は、入力部601とタグ情報作成部603に接続されている。
画像出力部604は、タグ情報作成部603により作成されたタグ情報と、入力部601から出力された画像データを合わせて出力画像605を作成し、それを出力する。
以上が、実施形態1の入力装置に関する説明である。
次に上述した入力装置の動作手順に関して図4を用いて説明する。図4は、入力装置の処理フロー図である。
まず、図4のステップS401で、図6の入力部601は、入力部情報と画像データを取得する。
次に、ステップS402で、顔検出部602は、取得した画像データに対して顔検出処理を行い、顔検出情報を取得する。
次に、ステップS403で、タグ情報作成部603は、入力部情報と顔検出情報、更に画像データからサムネイル画像を作成し、これらの情報をもとにタグ情報を作成する。
次に、ステップS404で、画像出力部604は、作成したタグ情報と画像データを組み合わせて、出力画像を作成する。
これら一連のフローにより、出力画像が作成される。
次に、実施形態1の印刷装置に関して説明する。印刷装置は、入力装置で作成した画像を印刷する装置である。
図7は、入力装置で作成された画像データをプリンタ等の印刷装置で印刷する際の一連の構成に関して示した図である。
図7の処理フロー制御部704は、入力された画像データ701を印刷する際の印刷フローを制御する。処理フロー制御部704には、印刷設定702が入力される。印刷設定702は、入力された画像データ701を印刷する際の設定であり、印刷品質や用紙種類などがユーザインターフェイスにより設定される。
ここでは、印刷設定702に印刷品質が設定されている場合に特定して説明する。その他の印刷設定、および複数の印刷設定が組み合わされて、印刷設定702に設定されても良い。
処理フロー制御部704は、印刷設定702に基づいて処理フローの制御情報を出力する。ここでは、印刷設定702において、印刷品質が「速い」に設定されている場合には、画像データのタグ情報に含まれる顔検出結果を利用する処理フローが選択される。このように、タグ情報の顔検出結果を利用することにより、顔検出部703で顔検出処理を行った場合に比べて、処理時間を短縮することができる。すなわち、入力装置と印刷装置の双方に顔検出機能がある場合に、入力装置による顔検出結果を利用することにより、処理時間を短縮することができる。
また、印刷設定702において、印刷品質が「速い」以外に設定されている場合には、印刷装置内に含まれる顔検出部703を利用する処理フローが選択される。印刷品質が「速い」以外に選択されている場合には、ユーザが画質を重視したと判定され、顔検出部703による顔検出結果を利用する処理フローが選択される。
ユーザが画質を重視する場合に、顔検出部703による顔検出結果を利用する処理フローが選択される詳細な理由に関しては後述するが、簡潔に述べると以下の通りである。すなわち、タグ情報に含まれる顔情報はメーカなどによって顔領域の定義があいまいであり、補正処理を行うに当たって正確な解析処理ができない。それに対して、印刷装置内の顔検出部703では顔領域の定義が明確であるため、正確な解析処理が可能となり、結果的に最適な補正処理が実現できるからである。
処理フロー制御部704により画像データのタグ情報に含まれる顔検出結果を利用するフローが選択された場合、タグ情報解析部705は、入力された画像データ701のヘッダー部を解析し、前述した入力装置で検出された顔検出結果を出力する。
処理フロー制御部704により印刷装置内の顔検出部703を利用して顔検出を行うフローが選択された場合、顔検出部703は、入力された画像データ701に対して顔検出処理を実行し、顔検出結果を出力する。
印刷装置内部の顔検出部703は、最終的に行う画像補正に適した顔検出処理を実行する。例えば、顔検出した際の検出結果を信頼度で表し、その信頼度に応じて補正強度を変更しても良い。信頼度が高い場合は補正強度を高く設定し、信頼度が低くなるにつれ補正強度を低く設定しても良い。また、器官検出、赤目検出など、顔検出機能以外の検出機能により得られる他の情報を顔検出結果の情報として出力しても良い。
画像解析部706は、入力された画像データ701の解析処理を行う。まず、画像解析部706は、画像データ701のヒストグラムなどから画像の特徴量を算出する。そして、画像解析部706は、この特徴量に顔検出部703もしくはタグ情報解析部705から出力された顔検出結果を組み合わせることにより、画像データ701の解析を行う。
例えば、画像解析部706は、解析のために画像データ701の輝度成分に関するヒストグラムを作成しても良い。ヒストグラムの解析は、以下のように行われても良い。例えば、作成したヒストグラムの結果が図14(a)のようになった場合、閾値よりも低い輝度に分布のピークがあるため、画像解析部706は、夜景と判定する。また、例えば、作成したヒストグラムの結果が図14(b)のようになった場合、閾値よりも高い輝度に分布のピークがあるため、画像解析部706は、風景と判定する。
図7の画像解析部706は、上記のヒストグラムの判定結果と顔検出結果を組み合わせることにより、更に詳細な解析を行っても良い。例えば、「夜景」で顔がある場合に、画像解析部706は、「スナップ夜景」と判定しても良い。また、「夜景」で顔がない場合に、画像解析部706は、「夜景」と判定しても良い。また、「風景」で顔がある場合に、画像解析部706は、「スナップ風景」と判定しても良い。また、「風景」で顔がない場合に、画像解析部706は、「風景」と判定しても良い。
また、図7の画像解析部706は、ヒストグラム解析の他に、統計的解析、周波数解析、2値以上の多値化解析を用いて解析を行っても良い。
補正処理決定部707は、入力された画像データ701に対する最適な補正処理を決定する。補正処理決定部707は、上述したシーンに対応した補正テーブルを予め用意しておき、画像解析部706の解析結果に応じて使用する補正テーブルを選択する。
補正部708は、入力画像データ701に対して補正処理を実行する。補正部708は、補正処理決定部707で決定された補正テーブルを利用して、画像データ701に対して補正処理を行う。
補正部708は、更に、入力画像領域内に顔領域が含まれる場合は、顔領域に対しても、以下のように補正を行う。まず、補正部708は、顔領域内の平均彩度、平均色相を算出する。そして、補正部708は、算出した平均彩度と平均色相と、予め定めておいた最適肌色の彩度、色相の差を算出する。そして、補正部708は、求めた彩度差と色相差を補正量と設定し、この補正量に基づいて、顔領域内の彩度と色相を調整する。
ここでは、説明のために画像全体を補正テーブルにより補正し、補正した画像領域内の顔領域の彩度と色相を調整する手法を取り上げた。しかし、補正部708は、公知の手法により顔領域と背景のバランスを保った補正処理を実行しても良い。
タグ情報の顔検出は、顔領域の定義がメーカによって様々であるので、補正部708が補正処理を行う際に想定していた顔領域の定義と異なる場合、顔領域内の平均彩度と色相がずれるため、予め定めた最適肌色領域が有効でなくなる場合がある。一方、印刷装置内の顔検出結果を利用した場合、顔領域の定義が想定したものと一致するため、予め定めた最適肌色領域が有効となる。このことから、補正処理を重視する場合は、印刷装置内の顔検出結果を利用した方が効果的である。
補正部708は、画像データ701に対して補正処理を行い、補正結果の画像データを出力する。印刷部709は、補正処理された画像データを印刷し、印刷物710を出力する。
上述した構成を有する印刷装置の動作手順について説明する。図5は、印刷装置の処理フローを示した図である。図5に示されている処理は、印刷装置101のCPU102により実行されても良い。具体的には、ROM103またはRAM104に図5のフローチャートを実行するプログラムを格納し、CPU102が格納されたプログラムを読み出して実行することで、図5のフローチャートが実行される。
まず、ステップS501で、印刷する画像が選択され、画像データ701の入力が受け付けられる。ステップS501では、デジタルカメラ等の入力装置から、画像データと画像データに付加されているタグ情報を取得する。
次に、ステップS502で、画像データ701を印刷する際の印刷設定702が設定される。印刷設定702は、画像データ701に対して印刷品質が「きれい」、「速い」などが設定される。
次に、ステップS503で、処理フロー制御部704は、設定された印刷設定702を解析し、処理フローを決定する。ここでは、印刷品質にのみ着目し、処理フロー制御部704が、印刷品質「速い」が選択されたか、「きれい」が選択されたかを判定する。
ステップS503で、印刷品質が「速い」に設定されている、すなわち、速度を重視した印刷設定に設定されていると判定された場合、ステップS504に処理が進む。
ステップS504で、タグ情報解析部705は、画像データに含まれるタグ情報を解析し、顔検出情報を抽出する。そして、ステップS506に処理が進む。
ステップS503で、印刷品質が「速い」に設定されていないと判定された場合、すなわち、印刷品質が「きれい」に設定されている(画質を重視した印刷設定)と判定された場合、ステップS505に処理が進む。
ステップS505で、印刷装置内の顔検出部703は、入力画像領域内において、顔検出処理を実行して、顔検出処理によって検出された顔領域の中心座標と大きさを出力する。
次に、ステップS506で、画像解析部706は、出力された顔情報と画像データを解析し、入力された画像のシーンを決定する。ステップS506で使用される顔情報は、印刷設定の品質によって異なる。そして、ステップS506では、入力された画像からヒストグラムが作成され、その分布からシーン分類が行われる。その結果に対して、顔の有無に応じて更にシーンが分類される。
次に、ステップS507で、補正処理決定部707は、画像解析部706で解析されたシーン結果から、補正処理を決定する。ここでは、シーン分類結果に応じて、予め用意しておいた補正テーブルを選択する。
次に、ステップS508で、補正部708は、補正処理決定部707で決定された補正処理に基づいて選択された補正テーブルを利用して、画像データに対して補正処理を実行する。
次に、ステップS509で、印刷部709は、補正部708で補正された画像データを紙面上に印刷する。
以上が、実施形態1に関する説明である。このように印刷品質に応じて処理フローを制御することにより、スピードと画質のバランスを考慮した最適な印刷装置を提供することが可能となる。
<実施形態2>
以下、本発明にかかる実施形態2の印刷装置を説明する。実施形態2は、印刷画像の枚数に応じて、使用する顔検出結果を切り替える方法について説明する。なお、実施形態において、実施形態1と同様の構成については、同一符号を付して、その詳細説明を省略する。
図9は、実施形態2に関する印刷装置を示すブロック図である。
実施形態2は、実施形態1をもととし、複数枚印刷する場合の印刷順序に応じて印刷フローを制御する。ここで印刷される画像は、実施形態1に係る印刷装置により作成された画像とする。
図9の画像データ設定部901は、ユーザにより選択された印刷画像データを設定する。まず、ユーザにより選択された画像と、その印刷枚数がリストとして作成される。ここでは説明のために、異なる画像が複数枚選択されたとする。
印刷状況監視部902は、画像データ設定部901で作成されたリストをもとに、印刷中の印刷ジョブの監視を行う。
処理フロー制御部704は、印刷状況監視部902の監視結果に応じて、以後の処理フローを制御する。ここでは説明のために、印刷順序により処理フローの制御を行う場合について記述する。
例えば、異なる画像を複数枚印刷する場合、1枚目の画像が印刷されている間に、2枚目の画像に対して画像処理が行うことにより、効率的な印刷を行うことができる。そのため、ユーザの使用形態を考えると、1枚目の画像にかけられる時間は2枚目以降の時間よりも短くなくてはならない。
印刷状況監視部902は、何枚目の印刷かを監視しており、1枚目の印刷の場合は処理フロー制御部704に情報を出力する。そして、顔情報をタグ情報から抽出することにより、顔検出部703で顔検出した場合に比べて処理負荷を大幅に削減することができる。その結果、総合的にかかる印刷時間を短縮することができる。
しかし、実施形態1でも説明したように、タグ情報に含まれる顔情報は未知の要素が含まれており、印刷装置内の顔検出機能を利用した場合に比べて、補正処理結果が劣ることが考えられる。
そこで、1枚目よりは処理時間に余裕がある2枚目以降では、印刷装置内の顔検出部703を利用した顔情報を利用して補正処理を行うことにより、最適な補正処理が可能となる。
このように印刷順序に応じて、利用する顔情報を制御することにより、画質とスピードのバランスを考慮した最適な画像処理装置を実現できる。
次に、上述した構成を有する印刷装置の動作手順について、図8を用いて説明する。図8に示されている処理は、印刷装置101のCPU102により実行されても良い。具体的には、ROM103またはRAM104に図8のフローチャートを実行するプログラムを格納し、CPU102が格納されたプログラムを読み出して実行することで、図8のフローチャートが実行される。 まず、図8のステップS801で、画像データ設定部901は、ユーザが選択した印刷画像の入力を受け付ける。
次に、印刷状況監視部902により、何枚目の印刷であるかがカウントされる。このカウントは、画像データ設定部901でインプットされた情報をもとに、印刷状況を監視する。これにより、印刷状況監視部902は、印刷する画像が何枚目であるかを把握することができる。
次に、ステップS802で、処理フロー制御部704は、印刷状況監視部902から出力された情報に基づいて、以後の処理フローを変更する。ここでは、ステップS802で、印刷する画像が1枚目と判定された場合には、ステップS803に処理が移行し、タグ情報解析部705が、タグ情報解析を実行する。
ステップS802で、印刷する画像が1枚目ではなく、2枚目以降であると判定された場合には、顔検出部703が顔検出処理を実行する。
以降、ステップS803〜S808に関しては、実施形態1で説明した図5のステップS504〜S509と同様の処理であるため、説明を割愛する。
図8のステップS809で、印刷状況監視部902は、印刷部709の状況を監視しており、印刷が終了したことを検知すると、全ての画像が印刷されたか否かを判定する。
ステップS809で、全ての画像が印刷されたと判定された場合には、処理が終了する。
一方、ステップS809で、全ての画像の印刷が終了していないと判定された場合には、ステップS802に処理が移行する。
この一連の処理フローにより、印刷順序に応じて処理フローを制御することにより、画質とスピードのバランスを考慮した印刷装置を実現することが可能となる。
ここでは、印刷枚数に応じて処理フローを制御する例を記述したが、同様に印刷装置の印刷ジョブの状況に応じて処理フローを制御しても良い。印刷ジョブが多発している場合は、タグ情報内に含まれる顔検出結果を利用することにより、印刷装置にかかる負荷を軽くし、印刷スループットを向上させることができる。
<実施形態3>
以下、本発明にかかる実施形態3の印刷装置を説明する。実施形態3は、印刷設定によって画質優先と速度優先の相反する組み合わせが設定された場合に、どちらを優先させるかについて優先順位を設定する方法について説明する。なお、実施形態において、実施形態1と同様の構成については、同一符号を付して、その詳細説明を省略する。
図16は、実施形態3に関する印刷装置を表すブロック図である。
優先項目設定1601は、画質優先か速度優先かについての設定である。設定方法に関しては図17を用いて説明する。
図17は、印刷設定を行うUI(ユーザインターフェイス)の一例を示している。印刷品質1701は、印刷品質を設定する。印刷品質は、「きれい」、「標準」、「速い」、「ユーザ設定」がある。「きれい」、「標準」では、画質優先の補正が行われるフローが設定される。「速い」では、速度優先の補正が行われるフローが設定される。「ユーザ設定」では、ユーザが設定した内容に応じて、画質優先もしくは速度優先が自動で切り替わる。
用紙の種類1702は、印刷用紙を設定する。印刷用紙は、「普通紙」、「写真用紙」などが設定される。「写真用紙」では、画質優先の補正が行われるフローが設定される。それ以外の用紙では、速度優先の補正が行われるフローが設定される。
同様に、印刷品質の設定には、印刷の色、印刷の濃度、両面印刷、および特殊効果の有無に関する設定が含まれていても良い。
優先項目設定1703は、補正する際の優先項目を設定する。速度優先1704が設定された場合、印刷品質1701と用紙の種類1702の設定内容から補正処理方針に矛盾がある場合には、速度優先の補正が行われる。画質優先1705が設定された場合、印刷品質1701と用紙の種類1702の設定内容から補正処理方針に矛盾がある場合には、画質優先の補正が行われる。
図16の処理フロー制御部1602は、図17のUI(ユーザインターフェイス)により設定された内容が入力される。設定された内容は、印刷設定702と優先項目設定1601である。印刷設定は、上記印刷品質や用紙の種類である。優先項目は、上記補正する際の優先項目である。これら項目が処理フロー制御部1602に入力され、以降の処理フローが設定される。
ここで、設定した優先項目は、補正処理を行う際に使用する顔検出結果を切り替えることが目的であり、用紙の種類や印刷時のプロセス制御などを変更するものではない。
このように、印刷設定により処理フローを制御する実施形態において、処理フローを判定する設定項目が相反するものになった場合、ユーザによって設定された優先項目に基づいて制御する処理フローが設定され、最適な印刷システムが実現できる。
次に、上述した構成を有する印刷装置の動作手順について説明する。図15は、印刷装置の処理フローを示した図である。図15に示されている処理は、印刷装置101のCPU102により実行されても良い。具体的には、ROM103またはRAM104に図15のフローチャートを実行するプログラムを格納し、CPU102が格納されたプログラムを読み出して実行することで、図15のフローチャートが実行される。
まず、図15のステップS1501で、ユーザにより選択された印刷画像の画像データ701の入力が受け付けられる。
次に、ステップS1502で、選択した画像を印刷する際の印刷設定702が設定される。
次に、ステップS1503で、優先項目設定1601が受け付けられる。
次に、ステップS1504で、処理フロー制御部1602は、入力された印刷設定702と優先項目設定1601の結果に応じて、総合的に以降の処理フローを決定する。
具体的には、ステップS1504で、印刷品質設定と印刷用紙の設定が矛盾して、速度が優先項目として設定されているか否かが判定される。
ステップS1504で、速度が優先項目として設定されていると判定された場合には、ステップS1505に処理が進む。
一方、ステップS1504で、速度が優先項目として設定されていないと判定された場合には、ステップS1506に処理が進む。
S1505以降の処理フローに関しては、図5のS504以降の処理と同様であるので、以下の説明に関しては割愛する。
以上が、実施形態3に関する説明である。このように印刷設定および優先項目設定により処理フローを制御することにより、ユーザの意思を反映させた最適な画像処理装置を提供することができる。
<その他の実施形態>
本発明は、さらに、複数の機器(例えばコンピュータ、インターフェイス機器、リーダ、印刷装置など)から構成されるシステムに適用することも、一つの機器からなる装置(複合機、印刷装置、ファクシミリ装置など)に適用することも可能である。
また本発明の目的は、上述した実施形態で示したフローチャートの手順を実現するプログラムコードを記憶した記憶媒体から、システムあるいは装置のコンピュータ(またはCPUやMPU)が、そのプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになる。そのため、このプログラムコード及びプログラムコードを記憶/記録したコンピュータ読み取り可能な記憶媒体も本発明の一つを構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。
また、前述した実施形態の機能は、コンピュータが、読み出したプログラムを実行することによって実現される。また、このプログラムの実行とは、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行う場合も含まれる。
さらに、前述した実施形態の機能は、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによっても実現することもできる。この場合、まず、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行う。こうした機能拡張ボードや機能拡張ユニットによる処理によっても前述した実施形態の機能が実現される。
印刷装置の内部のハードウェアの一例を示す図である。 印刷装置の接続環境の一例を示す図である。 印刷装置の接続環境の一例を示す図である。 実施形態1における画像形成のフローチャートである。 実施形態1における画像印刷のフローチャートである。 実施形態1における画像処理装置を説明するための図である。 実施形態1における画像処理装置を説明するための図である。 実施形態2における画像印刷のフローチャートである。 実施形態2における画像処理装置を説明するための図である。 タグ情報の説明図である。 タグ情報内に含まれる顔情報の説明図である。 顔領域の一例を示す図である。 顔領域の一例を示す図である。 実施形態1におけるヒストグラムを示す図である。 実施形態3における画像印刷のフローチャートである。 実施形態3における画像処理装置を説明するための図である。 優先項目の設定のためのUI(ユーザインターフェイス)を示す図である。
符号の説明
102 CPU
103 ROM
104 RAM
105 プリンタエンジン
106 表示部
107 スキャナエンジン
108 ユーザインターフェイス
109 シリアルI/F
110 外部機器

Claims (26)

  1. 入力装置から画像データと前記画像データにおける画像特徴領域の検出結果を取得する取得手段と、
    前記画像データの印刷設定を判定する判定手段と、
    前記画像データにおける画像特徴領域の検出を行う検出手段と、
    前記判定手段によって判定された印刷設定に応じて、前記入力装置から取得した検出結果と前記検出手段による検出結果のいずれかを選択する選択手段と、
    前記選択手段によって選択された検出結果に基づき、前記画像データの補正を行う補正手段とを備えたことを特徴とする画像処理装置。
  2. 前記印刷設定が速度を重視した設定の場合、前記入力装置から取得した検出結果に基づき、前記画像データの補正を行い、前記印刷設定が画質を重視した設定の場合、前記検出手段による検出結果に基づき、前記画像データの補正を行うことを特徴とする請求項1に記載の画像処理装置。
  3. 前記検出手段は、顔検出、赤目検出、器官検出のうち少なくとも一つにより前記画像特徴領域の検出を行うことを特徴とする請求項1に記載の画像処理装置。
  4. 前記選択手段は、印刷順序に応じて、検出結果を選択することを特徴とする請求項1に記載の画像処理装置。
  5. 前記選択手段は、印刷用紙の設定に応じて、検出結果を選択することを特徴とする請求項1に記載の画像処理装置。
  6. 前記選択手段は、印刷品質の設定に応じて、検出結果を選択することを特徴とする請求項1に記載の画像処理装置。
  7. 前記選択手段は、印刷の色、濃度の設定の少なくとも一つが設定されたか否かにより、検出結果を選択することを特徴とする請求項1に記載の画像処理装置。
  8. 前記選択手段は、両面印刷が設定されたか否かにより、検出結果を選択することを特徴とする請求項1に記載の画像処理装置。
  9. 前記選択手段は、特殊効果が設定されたか否かにより、検出結果を選択することを特徴とする請求項1に記載の画像処理装置。
  10. 前記画像データを印刷する印刷手段をさらに備えたことを特徴とする請求項1に記載の画像処理装置。
  11. 前記選択手段は、前記印刷手段の状態に応じて検出結果を選択することを特徴とする請求項10に記載の画像処理装置。
  12. 前記選択手段は、前記印刷手段の状態を示す項目に優先順位を設定し、前記印刷手段の状態と前記優先順位に応じて検出結果を選択することを特徴とする請求項10に記載の画像処理装置。
  13. 前記補正手段は、前記検出手段の検出結果に基づいて、前記画像データを解析する解析手段を含み、前記解析手段により、前記画像データを変換する量を決定することを特徴とする請求項1に記載の画像処理装置。
  14. 前記解析手段は、前記画像データ内の統計的解析、ヒストグラム解析、周波数解析、2値以上の多値化解析のうち少なくとも一つにより解析することを特徴とする請求項13に記載の画像処理装置。
  15. 前記補正手段は、前記解析手段によりにより決定された前記変換する量に基づいて、前記画像データを補正することを特徴とする請求項13に記載の画像処理装置。
  16. 入力装置から画像データと前記画像データにおける画像特徴領域の検出結果を取得する取得手段と、
    前記画像データの印刷設定を判定する判定手段と、
    前記画像データにおける画像特徴領域の検出を行う検出手段と、
    前記判定手段によって判定された印刷設定に応じて、前記入力装置から取得した検出結果と前記検出手段による検出結果のいずれかを選択する選択手段と、
    前記選択手段によって選択された検出結果に基づき、前記画像データの補正を行う補正手段と、
    前記画像データを印刷する印刷手段とを備え、
    前記選択手段は、前記印刷手段の印刷ジョブの状況に応じて検出結果を選択することを特徴とする画像処理装置。
  17. 入力装置から画像データと前記画像データにおける画像特徴領域の検出結果を取得する取得ステップと、
    前記画像データの印刷設定を判定する判定ステップと、
    前記画像データにおける画像特徴領域の検出を行う検出ステップと、
    前記判定ステップによって判定された印刷設定に応じて、前記入力装置から取得した検出結果と前記検出ステップによる検出結果のいずれかを選択する選択ステップと、
    前記選択ステップによって選択された検出結果に基づき、前記画像データの補正を行う補正ステップとを備えたことを特徴とする画像処理方法。
  18. 前記印刷設定が速度を重視した設定の場合、前記入力装置から取得した検出結果に基づき、前記画像データの補正を行い、前記印刷設定が画質を重視した設定の場合、前記検出ステップによる検出結果に基づき、前記画像データの補正を行うことを特徴とする請求項17に記載の画像処理方法。
  19. 前記検出ステップは、顔検出、赤目検出、器官検出のうち少なくとも一つにより前記画像特徴領域の検出を行うことを特徴とする請求項17に記載の画像処理方法。
  20. 前記選択ステップは、印刷順序に応じて検出結果を選択することを特徴とする請求項17に記載の画像処理方法。
  21. 前記選択ステップは、印刷用紙の設定に応じて検出結果を選択することを特徴とする請求項17に記載の画像処理方法。
  22. 前記選択ステップは、印刷品質の設定に応じて検出結果を選択することを特徴とする請求項17に記載の画像処理方法。
  23. 前記画像データを印刷する印刷ステップをさらに備えたことを特徴とする請求項17に記載の画像処理方法。
  24. 入力装置から画像データと前記画像データにおける画像特徴領域の検出結果を取得する取得ステップと、
    前記画像データの印刷設定を判定する判定ステップと、
    前記画像データにおける画像特徴領域の検出を行う検出ステップと、
    前記判定ステップによって判定された印刷設定に応じて、前記入力装置から取得した検出結果と前記検出ステップによる検出結果のいずれかを選択する選択ステップと、
    前記選択ステップによって選択された検出結果に基づき、前記画像データの補正を行う補正ステップと、
    前記画像データを印刷する印刷ステップとを備え、
    前記選択ステップは、前記印刷ステップの印刷ジョブの状況に応じて検出結果を選択することを特徴とする画像処理方法。
  25. 請求項17乃至24のいずれかの画像処理方法をコンピュータに実行させるためのプログラム。
  26. 請求項25に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
JP2008166252A 2008-06-25 2008-06-25 画像処理装置、画像処理方法、プログラムおよび記憶媒体 Active JP5202132B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008166252A JP5202132B2 (ja) 2008-06-25 2008-06-25 画像処理装置、画像処理方法、プログラムおよび記憶媒体
US12/476,730 US8693049B2 (en) 2008-06-25 2009-06-02 Image processing apparatus for selecting a feature area, image processing method and storage medium therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008166252A JP5202132B2 (ja) 2008-06-25 2008-06-25 画像処理装置、画像処理方法、プログラムおよび記憶媒体

Publications (3)

Publication Number Publication Date
JP2010010937A true JP2010010937A (ja) 2010-01-14
JP2010010937A5 JP2010010937A5 (ja) 2011-07-28
JP5202132B2 JP5202132B2 (ja) 2013-06-05

Family

ID=41447007

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008166252A Active JP5202132B2 (ja) 2008-06-25 2008-06-25 画像処理装置、画像処理方法、プログラムおよび記憶媒体

Country Status (2)

Country Link
US (1) US8693049B2 (ja)
JP (1) JP5202132B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020170386A (ja) * 2019-04-04 2020-10-15 コニカミノルタ株式会社 画像形成装置、印刷設定変更方法および印刷設定変更プログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5517504B2 (ja) * 2009-06-29 2014-06-11 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
KR20140103757A (ko) * 2013-02-19 2014-08-27 삼성디스플레이 주식회사 영상 처리 방법 및 이를 이용한 표시 장치
JP2015154194A (ja) * 2014-02-13 2015-08-24 株式会社リコー 画像処理装置、画像処理システム、画像処理方法、プログラム及び記録媒体
JP7100511B2 (ja) 2018-06-29 2022-07-13 東邦チタニウム株式会社 ジアルコキシマグネシウムの製造方法、オレフィン類重合用固体触媒成分、オレフィン類重合用固体触媒及びオレフィン類重合体の製造方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001027986A (ja) * 1999-05-10 2001-01-30 Canon Inc データ処理装置及び処理部選択方法
JP2001298694A (ja) * 2000-04-13 2001-10-26 Konica Corp 撮像装置、画像記録システム、画像記録装置及び出力特性補正方法
JP2002359716A (ja) * 2001-03-28 2002-12-13 Sharp Corp 印刷システム、印刷方法、プログラム及び記録媒体
JP2004013350A (ja) * 2002-06-04 2004-01-15 Canon Inc 記録システム及びその記録制御方法とフォトダイレクト印刷装置
JP2004078745A (ja) * 2002-08-21 2004-03-11 Canon Inc 情報処理装置、制御方法、実行プログラム
JP2005045497A (ja) * 2003-07-28 2005-02-17 Fuji Photo Film Co Ltd 画像処理装置及び画像処理システム
JP2006050578A (ja) * 2004-06-30 2006-02-16 Canon Inc 撮像装置及び印刷装置並びにそれらから成るダイレクトプリントシステム
JP2007142585A (ja) * 2005-11-15 2007-06-07 Canon Inc 画像処理システム、画像処理装置、及び画像処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3548224B2 (ja) * 1994-04-18 2004-07-28 キヤノン株式会社 画像形成装置及びその制御方法
JP2000280564A (ja) * 1999-03-31 2000-10-10 Brother Ind Ltd 印刷方法及び印刷システム
US6876460B2 (en) * 2000-01-31 2005-04-05 Canon Kabushiki Kaisha Image processing apparatus, image processing method and storage medium
JP2004207987A (ja) 2002-12-25 2004-07-22 Fuji Photo Film Co Ltd 画像処理方法及びプリントシステム
JP4455073B2 (ja) * 2003-02-18 2010-04-21 キヤノン株式会社 プリントシステム及び撮像装置及び撮像装置の制御方法
US7269292B2 (en) * 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US7564994B1 (en) * 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
US7663777B2 (en) * 2005-05-06 2010-02-16 Lexmark International, Inc. Default settings customization system
JP4867365B2 (ja) * 2006-01-30 2012-02-01 ソニー株式会社 撮像制御装置、撮像装置および撮像制御方法
JP5029164B2 (ja) * 2006-09-25 2012-09-19 セイコーエプソン株式会社 未現像の画像データを用いる画像処理

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001027986A (ja) * 1999-05-10 2001-01-30 Canon Inc データ処理装置及び処理部選択方法
JP2001298694A (ja) * 2000-04-13 2001-10-26 Konica Corp 撮像装置、画像記録システム、画像記録装置及び出力特性補正方法
JP2002359716A (ja) * 2001-03-28 2002-12-13 Sharp Corp 印刷システム、印刷方法、プログラム及び記録媒体
JP2004013350A (ja) * 2002-06-04 2004-01-15 Canon Inc 記録システム及びその記録制御方法とフォトダイレクト印刷装置
JP2004078745A (ja) * 2002-08-21 2004-03-11 Canon Inc 情報処理装置、制御方法、実行プログラム
JP2005045497A (ja) * 2003-07-28 2005-02-17 Fuji Photo Film Co Ltd 画像処理装置及び画像処理システム
JP2006050578A (ja) * 2004-06-30 2006-02-16 Canon Inc 撮像装置及び印刷装置並びにそれらから成るダイレクトプリントシステム
JP2007142585A (ja) * 2005-11-15 2007-06-07 Canon Inc 画像処理システム、画像処理装置、及び画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020170386A (ja) * 2019-04-04 2020-10-15 コニカミノルタ株式会社 画像形成装置、印刷設定変更方法および印刷設定変更プログラム
JP7263892B2 (ja) 2019-04-04 2023-04-25 コニカミノルタ株式会社 画像形成装置、印刷設定変更方法および印刷設定変更プログラム

Also Published As

Publication number Publication date
US20090323088A1 (en) 2009-12-31
US8693049B2 (en) 2014-04-08
JP5202132B2 (ja) 2013-06-05

Similar Documents

Publication Publication Date Title
JP4942189B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP4769847B2 (ja) 画像処理装置及び画像処理方法、プログラム、並びに、コンピュータ読み取り可能な記憶媒体
JP4881902B2 (ja) 画像形成装置、画像形成方法及び画像形成プログラム
JP6041614B2 (ja) 画像形成装置及び画像形成方法
US20140320934A1 (en) Image processing apparatus and image processing method
JP5202132B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP2010074405A (ja) 画像処理装置および画像処理方法
US10101951B2 (en) Image processing apparatus and image processing method that increase a width of a line constituting a white character in image data in a printing color saving mode
KR20120019641A (ko) 화상형성장치 및 화상처리방법
US8705889B2 (en) Image processing apparatus, image forming system, and image forming method with geometric processing
US9398195B2 (en) Image processing including color material saving process
JP2008244996A (ja) 画像処理システム
JP6147020B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2004110585A (ja) 情報処理装置
JP2011039736A (ja) 画像処理装置、画像処理プログラム
US9171385B2 (en) Image processing apparatus capable of determining color amount, image processing method, and program
US8824019B2 (en) Image processing apparatus, charging system, charging method, and program
JP2016107617A (ja) 画像形成装置、画像形成方法及び画像形成プログラム
JP2010010947A (ja) 画像処理装置、画像処理方法、プログラム、および記録媒体
US20160062705A1 (en) Image forming apparatus, control method of image forming apparatus, and storage medium
US20200036846A1 (en) Image processing apparatus with direct print function, control method therefor, and storage medium
US8675246B2 (en) Image processing device and program
JP4960911B2 (ja) 画像処理装置
EP4106307A1 (en) Apparatus, method, and system for processing image, and carrier means
JP2011056935A (ja) 印刷装置、印刷装置の制御方法、およびプログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130212

R151 Written notification of patent or utility model registration

Ref document number: 5202132

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160222

Year of fee payment: 3