JP2009237977A - 画像出力制御装置、画像出力制御方法、画像出力制御プログラムおよび印刷装置 - Google Patents

画像出力制御装置、画像出力制御方法、画像出力制御プログラムおよび印刷装置 Download PDF

Info

Publication number
JP2009237977A
JP2009237977A JP2008084249A JP2008084249A JP2009237977A JP 2009237977 A JP2009237977 A JP 2009237977A JP 2008084249 A JP2008084249 A JP 2008084249A JP 2008084249 A JP2008084249 A JP 2008084249A JP 2009237977 A JP2009237977 A JP 2009237977A
Authority
JP
Japan
Prior art keywords
image
output control
face
target
menu display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008084249A
Other languages
English (en)
Inventor
Hiroyuki Tsuji
宏幸 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2008084249A priority Critical patent/JP2009237977A/ja
Priority to US12/403,176 priority patent/US20090244608A1/en
Publication of JP2009237977A publication Critical patent/JP2009237977A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H04N1/00265Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector with a photographic printing apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H04N1/00275Recording image information on a photographic material
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00413Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00474Output means outputting a plurality of functional options, e.g. scan, copy or print
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00482Output means outputting a plurality of job set-up options, e.g. number of copies, paper size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00501Tailoring a user interface [UI] to specific requirements
    • H04N1/00506Customising to the data to be displayed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2125Display of information relating to the still picture recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3271Printing or stamping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3273Display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3274Storage or retrieval of prestored additional information
    • H04N2201/3276Storage or retrieval of prestored additional information of a customised additional information profile, e.g. a profile specific to a user ID
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3274Storage or retrieval of prestored additional information
    • H04N2201/3277The additional information being stored in the same storage device as the image data

Abstract

【課題】ユーザが各特定画像にそれぞれ適した処理の選択を行なうことが難しかった。
【解決手段】対象画像上における特定画像の検出を行なう検出部と、上記対象画像と、特定画像に対して実行される処理の選択を受付可能なメニュー表示であって上記対象画像から検出された特定画像毎のメニュー表示とを、所定の出力対象に出力する出力制御部とを備える画像出力制御装置とした。上記出力制御部は、上記検出された特定画像毎の状態に応じて項目が異なる特定画像毎のメニュー表示を出力する。
【選択図】図2

Description

本発明は、画像出力制御装置、画像出力制御方法、画像出力制御プログラムおよび印刷装置に関する。
ユーザは、プリンタを用いて任意の写真(例えば、履歴書や運転免許証やパスポート等に用いられる証明写真)を印刷する。これに関連する技術として、ユーザが印刷モードの選択画面から証明写真モードをした後に、ユーザから印刷用紙の種類や証明写真のサイズの選択を受付け、さらに、証明写真として印刷される画像の選択をユーザから受付けた後に、当該選択された画像から顔領域を抽出し、この抽出した顔領域を含んで証明写真として印刷される領域(クリップ領域)を決定し、当該クリップ領域の画像を上記選択された印刷用紙に印刷する印刷装置が知られている(特許文献1参照。)。
特開2007‐253488号公報
上記文献1においては、ユーザは、ディスプレイを見ながら操作パネルを操作することにより、証明写真モードを選択し、その後、メモリカードから読み出されてディスプレイに表示される複数の画像を順次確認し、証明写真として印刷したい画像を選択する。しかしながら、メモリカードに撮り貯められた画像の内容を一枚一枚確認しながら、どの画像が証明写真として相応しいかを判断することは、ユーザにとって大きな負担である。特に、多数の画像がメモリカードに保存されている場合には、かかる判断に要する負担は非常に大きくなる。
また、一つの画像内に複数の顔画像(特定画像)が含まれている場合にも、ユーザは、どの顔画像が証明写真として相応しいか迷う場合がある。さらに、顔画像に補正処理等を施す場合であっても、どの顔画像にどのような補正を施すべきかをユーザが顔画像毎に判断することは極めて煩雑である。
本発明は上記課題に鑑みてなされたもので、顔画像などの各特定画像にそれぞれ適した処理の選択を、ユーザが容易に認識し実行することが可能な画像出力制御装置、画像出力制御方法、画像出力制御プログラムおよび印刷装置を提供することを目的とする。
上記目的を達成するため、本発明の画像出力制御装置は、対象画像上における特定画像の検出を行なう検出部と、上記対象画像と、特定画像に対して実行される処理の選択を受付可能なメニュー表示であって上記対象画像から検出された特定画像毎のメニュー表示とを、所定の出力対象に出力する出力制御部とを備える構成としてある。本発明によれば、対象画像上から特定画像が複数検出された場合でも、上記出力対象には、特定画像毎のメニュー表示が出力される。そのためユーザは、メニュー表示を見ることで、それぞれの特定画像に対してどのような処理を選択することが適当かを容易に認識することができ、適切な選択を行なうことができる。
上記出力制御部は、上記検出された特定画像毎の状態に応じて項目が異なる特定画像毎のメニュー表示を出力するとしてもよい。当該構成によれば、メニュー表示はそれぞれ、対応する特定画像の状態に応じた最適な項目を列挙したものとなる。
一例として、上記検出部は、対象画像上における顔画像を特定画像として検出し、上記出力制御部は、検出された顔画像のうち略正面向きの顔画像に対応するメニュー表示には、証明写真の印刷処理の項目を含ませて出力するとしてもよい。また、出力制御部は、上記検出された特定画像毎に色情報を解析し、色情報の解析結果が所定の補正条件に該当する特定画像に対応するメニュー表示には、所定の色補正処理の項目を含ませて出力するとしてもよい。さらに、出力制御部は、上記検出された特定画像毎に形状を解析し、形状の解析結果が所定の補正条件に該当する特定画像に対応するメニュー表示には、所定の形状補正処理の項目を含ませて出力するとしてもよい。かかる構成によれば、ユーザは、各特定画像について、証明写真として相応しい画像であるか否かや、色補正処理を行なうべき画像であるか否かや、形状補正処理を行なうべき画像であるか否か、といった点で悩む必要がなく、それぞれのメニュー表示に挙げられた項目を見ることで、特定画像毎にどのような処理を選択することが適当であるかを容易に認識できる。
上記出力制御部は、対応し合う特定画像とメニュー表示とに共通の符号を付した状態で、上記対象画像と特定画像毎のメニュー表示とを出力するとしてもよい。当該構成によれば、ユーザは、各特定画像と各メニュー表示との対応関係を一目で認識できる。
上記出力制御部は、上記対象画像と特定画像毎のメニュー表示とを印刷媒体に印刷するとしてもよい。当該構成によれば、ユーザは、対象画像と特定画像毎のメニュー表示とが一枚の印刷媒体に印刷されたいわゆるオーダーシートを得ることができる。ただし本発明における所定の出力対象は、印刷媒体に限られず、出力制御部は、対象画像と特定画像毎のメニュー表示とを所定の画面に出力するとしてもよい。
本発明の技術的思想は、上述した画像出力制御装置の発明以外にも、上述した画像出力制御装置が備える各部が行なう各処理工程を備えた画像出力制御方法の発明や、上述した画像出力制御装置が備える各部に対応した機能をコンピュータに実行させる画像出力制御プログラムの発明としても捉えることができる。また、対象画像上における特定画像の検出を行なう検出部と、上記対象画像と、特定画像に対して実行される処理の選択を受付可能なメニュー表示であって上記対象画像から検出された特定画像毎のメニュー表示とを、所定の出力対象に出力する出力制御部とを備える印刷装置の発明も把握することが可能である。
下記の順序に従って本発明の実施形態を説明する。
1.プリンタの概略構成:
2.画像出力処理:
2‐1.顔画像の検出:
2‐2.表示部への画像出力:
2‐3.画像出力後の処理:
3.変形例:
1.プリンタの概略構成:
図1は、本発明の画像出力制御装置および印刷装置の一例に該当するプリンタ10の構成を概略的に示している。プリンタ10は、記録メディア(例えば、メモリカードMC等)から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンタである。プリンタ10は、プリンタ10の各部を制御するCPU11と、例えばROMやRAMによって構成された内部メモリ12と、ボタンやタッチパネルにより構成された操作部14と、液晶ディスプレイにより構成された表示部15と、プリンタエンジン16と、カードインターフェース(カードI/F)17と、PCやサーバやデジタルスチルカメラ等の外部機器との情報のやり取りのためのI/F部13とを備えている。プリンタ10の各構成要素は、バスを介して互いに接続されている。表示部15は、本発明における所定の出力対象の一例に該当する。
プリンタエンジン16は、印刷データに基づき印刷を行う印刷機構である。カードI/F17は、カードスロット172に挿入されたメモリカードMCとの間でデータのやり取りを行うためのI/Fである。メモリカードMCには画像データが格納されており、プリンタ10は、カードI/F17を介してメモリカードMCに格納された画像データを取得することができる。画像データ提供のための記録メディアとしてはメモリカードMC以外にも種々の媒体を用いることができる。むろんプリンタ10は、記録メディア以外にも、I/F部13を介して接続した上記外部機器から画像データを入力することも可能である。プリンタ10は、コンシューマ向けの印刷装置であってもよいし、DPE向けの業務用印刷装置(いわゆるミニラボ機)であってもよい。操作部14や表示部15は、プリンタ10本体とは別体の入力操作部(マウスやキーボードなど)やディスプレイであってもよい。プリンタ10は、I/F部13を介して接続したPCやサーバ等から印刷データを入力することもできる。
内部メモリ12には、顔画像検出部20と、表示制御部30と、印刷制御部40とが格納されている。顔画像検出部20は、所定のオペレーティングシステムの下で、後述する顔画像の検出処理を実行するためのコンピュータプログラムである。顔画像検出部20は、本発明における検出部の一例に該当する。表示制御部30は、ユーザからの各種指示を受付けるためのユーザインターフェース(UI)画像やメッセージやサムネイル画像など、表示部15に出力(表示)すべき画像を取得したり生成したりするコンピュータプログラムである。また表示制御部30は、表示部15を制御して、表示部15の画面に上記UI画像やメッセージやサムネイル画像などを表示させるディスプレイドライバでもある。印刷制御部40は、画像データから印刷データを生成し、プリンタエンジン16を制御して、印刷データに基づく画像の印刷媒体への印刷を実行するためのコンピュータプログラムである。また印刷制御部40は、プリンタエンジン16に、後述するオーダーシートを印刷させる。表示制御部30や印刷制御部40は、本発明における出力制御部の一例に該当する。
CPU11は、内部メモリ12から、これらの各プログラムを読み出して実行することにより、これら各部の機能を実現する。さらに、内部メモリ12には、トリミング枠データ14bやニューラルネットワークNN1,NN2等の各種データやプログラムが格納されている。プリンタ10は、印刷機能以外にも、コピー機能やスキャナ機能(画像読取機能)など多種の機能を備えたいわゆる複合機であってもよい。
2.画像出力処理:
図2は、プリンタ10が実行する画像出力処理をフローチャートにより示している。プリンタ10は、カードスロット172に記録メディアが挿入されると、記録メディアに格納された画像を入力し、当該入力した画像を、表示制御部30により表示部15に表示させる。あるいは、プリンタ10は、I/F部13を介して接続した上記外部機器から画像が入力されると、当該入力された画像を、表示制御部30により表示部15に表示させる。表示部15は、入力された画像を一枚単位で表示したり、入力された複数の画像を一覧表示したりする。本実施形態における画像出力処理は、このように画像を表示部15に出力する場面において行なわれる。
2‐1.顔画像の検出:
ステップS(以下、ステップの表記は省略。)100では、顔画像検出部20が、処理の対象となる一枚分の画像(対象画像)を表した画像データDを、上記記録メディアや外部機器等から取得する。画像データDは、複数の画素からなるビットマップデータであり、それぞれの画素は、RGB各チャネルの階調(例えば、0〜255の256階調)の組み合わせで表現されている。画像データDは、記録メディア等に記録されている段階で圧縮されていてもよいし、他の色空間で各画素の色が表現されていてもよい。これらの場合、顔画像検出部20は、画像データDの展開や色空間の変換を実行してRGBビットマップデータとしての画像データDを取得する。
S200では、顔画像検出部20は、画像データD上における顔画像の検出を行なう。本実施形態では、特定画像とは人間の顔画像であるとして説明を行なう。ただし本発明の構成を用いて検出可能な特定画像は人間の顔画像に限られるものではなく、人工物や、生物や、自然物や、風景など、様々な対象を特定画像として検出することが可能である。
顔画像検出部20はS200において、画像データDから顔画像を検出可能な手法であればあらゆる手法を採用可能であるが、本実施形態では一例として、ニューラルネットワークを利用した検出を行なう。
図3は、S200の詳細をフローチャートにより示している。
S205では、顔画像検出部20は、画像データDにおいて検出窓SWを1つ設定する。検出窓SWは、画像データD上のある領域であり、顔画像の検出(有無判定)の対象とる。なお顔画像検出部20は、S205を行なう前に画像データDを縮小化してもよい。つまり、オリジナルの画像サイズのままの画像データDを対象として、顔画像検出を行なった場合には処理負担が大きい。そのため顔画像検出部20は、画像データDについて画素数を減らすなどして画像サイズを縮小し、縮小後の画像データDを対象としてS205以下の処理を行なう。顔画像検出部20は、例えば、画像データDをQVGA(Quarter Video Graphics Array)サイズ(320画素×240画素)に縮小する。さらに顔画像検出部20は、S205を行なう前に、画像データDをグレー画像へ変換してもよい。顔画像検出部20は、画像データDの各画素のRGBデータを輝度値Y(0〜255)に変換し、画素毎に1つの輝度値Yを有するモノクロ画像としての画像データDを生成する。輝度値Yは一般的に、R,G,Bを所定の重み付けで加算することにより求めることができる。画像データDのグレー画像化は、後述する特徴量算出時の負担軽減を考慮して予め行なわれる。検出窓SWの設定方法は特に限られないが、顔画像検出部20は一例として、以下のように検出窓SWを設定する。
図4は、画像データDにおいて検出窓SWを設定する様子を示している。顔画像検出部20は、1回目のS205では、画像内の先頭位置(例えば、画像の左上の角位置)に複数の画素を含む所定の大きさの矩形状の検出窓SW(2点鎖線)を設定する。顔画像検出部20は、2回目以降のS205の度に、それまで検出窓SWを設定していた位置から検出窓SWを画像の左右方向およびまたは上下方向に所定距離(所定画素数分)移動させ、移動先の位置において検出窓SWを新たに1つ設定する。顔画像検出部20は、検出窓SWの大きさを維持した状態で画像データDの最終位置(例えば、画像の右下の角位置)まで検出窓SWを移動させながら繰り返し検出窓SWを設定したら、先頭位置に戻って検出窓SWを設定する。
顔画像検出部20は、検出窓SWを先頭位置に戻した場合には、それまでよりも矩形の大きさを縮小した検出窓SWを設定する。その後、顔画像検出部20は上記と同様に、検出窓SWの大きさを維持した状態で画像データDの最終位置まで検出窓SWを移動させつつ、各位置において検出窓SW設定する。顔画像検出部20は、検出窓SWの大きさを予め決められた回数だけ段階的に縮小しながら、このような検出窓SWの移動と設定を繰り返す。このようにS205において検出窓SWが1つ設定される度に、S210以降の処理が行なわれる。
S210では、顔画像検出部20は、直近のS205で画像データDに設定された検出窓SW内の画素からなる画像データ(窓画像データ)XDを取得する。
S215では、顔画像検出部20は、直近のS210で取得した窓画像データXDから複数の特徴量を算出する。これらの特徴量は、窓画像データXDに対して各種のフィルタを適用し、当該フィルタ内の輝度平均やエッジ量やコントラスト等の画像的特徴を示す特徴量(輝度の平均値や最大値や最小値や標準偏差等)を算出することにより得られる。
図5は、窓画像データXDから特徴量を算出する様子を示している。同図において、画像データXDとの相対的な大きさおよび位置が異なる多数のフィルタFTが用意されており、各フィルタFTを順次窓画像データXDに適用し、各フィルタFT内の画像的特徴に基づいて、複数の特徴量CA,CA,CA…を算出する。図5では、窓画像データXD内の各矩形をフィルタFTと呼んでいる。特徴量CA,CA,CA…が算出できると、顔画像検出部20は、S220において、特徴量CA,CA,CA…を、予め用意したニューラルネットワークNN1に入力し、その出力として顔画像が存在する/しないの判定結果を算出する。
図6は、ニューラルネットワークNN1の構造の一例を示している。ニューラルネットワークNN1は、前段層のユニットUの値の線形結合(添え字iは前段層のユニットUの識別番号。)によって後段層のユニットUの値が決定される基本構造を有している。さらに、線形結合によって得られた値をそのまま次の層のユニットUの値としてもよいが、線形結合によって得られた値を例えばハイパボリックタンジェント関数のような非線形関数によって変換して次の層のユニットUの値を決定することにより、非線形特性を与えてもよい。ニューラルネットワークNN1は、最外の入力層と出力層と、これらに挟まれた中間層から構成されている。各特徴量CA,CA,CA…がニューラルネットワークNN1の入力層に入力可能となっており、出力層では出力値K(0〜1に正規化された値)を出力することが可能となっている。S225では、顔画像検出部20は、例えばニューラルネットワークNN1の出力値Kが0.5以上であれば窓画像データXDに顔画像が存在することを示す値であると判定し、S230に進む。一方、顔画像検出部20は、出力値Kが0.5未満であれば窓画像データXDに顔画像が存在しないことを示す値であると判定し、S255に進む。
図7は、ニューラルネットワークNN1を学習によって構築する様子を模式的に示している。本実施形態では、誤差逆伝搬(error back propagation)法によってニューラルネットワークNN1の学習を行うことにより、各ユニットUの数や、各ユニットU間における線形結合の際の重みwの大きさやバイアスbの値が最適化される。誤差逆伝搬法による学習においては、まず各ユニットU間における線形結合の際の重みwの大きさやバイアスbの値を適当な値に初期設定する。そして、顔画像が存在しているか否かが既知の学習用画像データについてS215,S220と同様の手順で特徴量CA,CA,CA…を算出し、当該特徴量CA,CA,CA…を初期設定されたニューラルネットワークNN1に入力し、その出力値Kを取得する。本実施形態では、顔画像が存在している学習用画像データについては出力値Kとして1が出力されるのが望ましく、顔画像が存在していない学習用画像データ(例えば、人工物や風景が存在する画像データ等)については出力値Kとして0が出力されるのが望ましい。
しかしながら、各ユニットU間における線形結合の際の重みwの大きさやバイアスbの値は、適当な値に初期設定されているに過ぎないため、学習用画像データの特徴量CA,CA,CA…を入力して得られる出力値Kと、理想的な出力値K(1または0)値との間には誤差が生じることとなる。このような誤差を極小化させる各ユニットUについての重みwやバイアスbを、勾配法等の数値最適化手法を用いて算出する。以上のような誤差は、後段の層から前段の層に伝搬され、後段のユニットUについて重みwやバイアスbが順に最適化されていく。なお、本実施形態における“顔画像”とは、正面を向いて撮影された顔の画像だけでなく、左右を向いた顔(横顔)の画像や、上下を向いた顔(仰向け気味の顔や、俯き気味の顔)の画像も含む概念である。従って、ニューラルネットワークNN1の学習に使用される学習用画像データのうち“顔画像が存在している学習用画像データ”には、正面を向いた顔が存在する画像データの他、左右を向いた顔が存在する画像データや、上下を向いた顔が存在する画像データなどが含まれる。このような学習を複数の学習用画像データを用いて行なうことで最適化がなされたニューラルネットワークNN1を、内部メモリ12に予め用意しておくことにより、顔画像が窓画像データXDに存在するか否かを特徴量CA,CA,CA…に基づいて判定することが可能となる。
S225において“Yes”の判定がなされた場合、直近のS205で設定された検出窓SWに顔画像が存在していると言えるが、本実施形態ではさらに、当該検出窓SWに存在する顔画像が“正面顔”か否かを判定する。正面顔とは、顔画像のうち上述したような左右を向いた顔の画像や、上下を向いた顔の画像を除いたものを意味し、言い換えると、顔の向きが対象画像内において完全に正面を向いている顔画像および顔の向きがごく僅かに左右や上下に振れてはいるが各顔器官(左右の目、鼻、口)の全てがほぼ正面を向いており証明写真として利用することに支障が無い程度の顔画像を含む概念である。
S230〜S240では、顔画像検出部20は、ニューラルネットワークNN2を用いて、S215〜S225と同様の処理を行なう。つまり、直近のS210で取得された窓画像データXDから特徴量CA,CA,CAを取得し(S230。ただし窓画像データXDに適用するフィルタFTは、S215で用いたフィルタFTと異なってもよい。)、取得した特徴量CA,CA,CAを内部メモリ12に予め保存されているニューラルネットワークNN2に入力し(S235)、ニューラルネットワークNN2からの出力値Kが所定値以上であるか否かにより処理を分岐する(S240)。
ニューラルネットワークNN1とニューラルネットワークNN2とはいずれも図6に示したような基本的構造を有するが、前もって行なわれた学習に用いられた学習用画像データと、出力値Kとの関係が異なる。つまりニューラルネットワークNN2を学習によって構築する際には、正面顔が存在しているか否かが既知の学習用画像データについ特徴量CA,CA,CA…を算出し、特徴量CA,CA,CA…を初期設定されたニューラルネットワークNN2に入力し、その出力値Kを取得する。そして、正面顔が存在している学習用画像データについては出力値Kの理想値を1とし、正面顔が存在していない学習用画像データ(横顔が存在する画像データや、仰向けの顔が存在する画像データや、俯いた顔が存在する画像データや、人顔とは全く異なる被写体が存在する画像データ等)については出力値Kの理想値を0とし、学習用画像データの特徴量CA,CA,CA…を入力して得られる実際の出力値Kと理想的値との誤差に基づいて、上述したように各ユニットUの重みwやバイアスbを最適化する。このような学習を複数の学習用画像データを用いて行なうことで最適化がなされたニューラルネットワークNN2を、内部メモリ12に予め用意しておくことにより、正面顔が窓画像データXDに存在するか否かを特徴量CA,CA,CA…に基づいて判定することが可能となる。
S240では、顔画像検出部20は、例えばニューラルネットワークNN2の出力値Kが0.5以上であれば窓画像データXDに正面顔が存在することを示す値であると判定し、S245に進む。一方、顔画像検出部20は、ニューラルネットワークNN2の出力値Kが0.5未満であれば窓画像データXDに正面顔ではない顔画像(非正面顔)が存在することを示す値であると判定し、S250に進む。
S245では、顔画像検出部20は、直近のS205設定された検出窓SWについての、位置(例えば、画像データD上における検出窓SWの中心位置)や矩形のサイズ(大きさ)といった情報を、S100で取得した画像データDと関連付けた上で、さらに、正面顔であることを示す識別情報を付して、内部メモリ12の所定領域に記録する。このように正面顔が存在すると判定された検出窓SWの情報を記録する行為が、正面顔の検出行為の一例に該当する。一方、S250では、顔画像検出部20は、直近のS205設定された検出窓SWの位置やサイズ等の情報を、S100で取得した画像データDと関連付けた上で、さらに、非正面顔であることを示す識別情報を付して、内部メモリ12の所定領域に記録する。このように非正面顔が存在すると判定された検出窓SWの情報を記録する行為が、非正面顔の検出行為の一例に該当する。
S255では、顔画像検出部20は、図4を用いて説明した検出窓SWの設定方法の思想の下、検出窓SWを移動させ更にその大きさを縮小したりして未だ検出窓SWを設定する余地があれば、S205に戻り、新たに検出窓SWを画像データD上に1つ設定する。一方、検出窓SWの縮小を上記予め決められた回数分重ね、可能な検出窓SWの設定を全て終えた場合には、顔画像検出部20は、S200の処理を終える。この結果、画像データD上に存在する顔画像(複数の顔画像が存在する場合には複数の顔画像)の検出が終了する。
2‐2.表示部への画像出力:
S300(図2)では、表示制御部30は、S100で取得した画像データDに顔画像が存在するか否かで処理を分岐する。表示制御部30は、内部メモリ12に当該画像データDに関する検出窓SWの情報が記録されている場合には、顔画像が存在すると判断してS400に進む。一方、表示制御部30は、内部メモリ12に当該画像データDに関する検出窓SWの情報が一切記録されていない場合には、当該画像データD上に顔画像は存在しないと判断して図2のフローチャートを終える。
S400では、表示制御部30は、上記検出された顔画像(内部メモリ12に記録された検出窓SWの情報)毎の状態に応じて、顔画像毎のメニューUIの項目を決定する。メニューUIとは、後述するように表示部15に出力されるUIであって、顔画像に対する処理の選択を項目単位でユーザから受付けるためのUIである。顔画像に対する処理としては、例えば、証明写真の印刷処理や、色補正処理や、形状補正処理等が挙げられる。表示制御部30は、上記検出された顔画像毎に、かかる各処理の項目を対応付けるべきか否か決定する。
例えば、表示制御部30は、内部メモリ12に記録されている検出窓SWの情報に付された上記識別情報に応じて、証明写真の印刷処理の項目を対応付けるべきか否か決定する。つまり表示制御部30は、内部メモリ12に記録されている検出窓SWの情報を読み出し、当該読み出した情報に正面顔であることを示す識別情報が付されている場合には、当該読み出した検出窓SWの情報に「証明写真印刷」という項目を対応付ける。一方、表示制御部30は、内部メモリ12から読み出した検出窓SWの情報に、非正面顔であることを示す識別情報が付されている場合には、当該読み出した検出窓SWの情報には、「証明写真印刷」の項目は対応付けない。
また、表示制御部30は、内部メモリ12に記録されている検出窓SWの情報が示す、画像データD上の領域(顔画像データと呼ぶ。)を対象として、色情報(例えばRGB)を解析し、色情報の解析結果が所定の色補正条件に該当する場合に、当該検出窓SWの情報に対し、色補正処理の項目を対応付ける。表示制御部30は、例えば、顔画像データの色情報に基づいて、いわゆる赤目領域の検出を試み、赤目領域が検出された場合には、その検出窓SWの情報に「赤目補正」という項目を対応付ける。赤目領域の検出は、種々の公知の手法を採用可能であり、例えば、特開2007‐156694号公報に示された手法を用いることができる。「赤目補正」は色補正処理の一種である。
また、表示制御部30は、顔画像データの色情報に基づいて、いわゆる色かぶり(赤かぶりやオレンジかぶり等)画像であるか否かを判定し、色かぶり画像であると判定した場合には、その検出窓SWの情報に「色かぶり補正」という項目を対応付ける。画像が色かぶりか否かは、例えば、R,G,B毎のヒストグラムを生成し、各ヒストグラムの平均値Rave,Gave,Bave間の相対的なずれに基づいて判断できる。平均値Rave,Gave,Bave間の差分|Rave−Gave|、|Rave−Bave|、|Bave−Gave|のうち、|Rave−Gave|および|Rave−Bave|が|Bave−Gave|よりもある値以上の差をもって大きく、かつRave>Gave、かつRave>Baveであれば、顔画像データはいわゆる赤かぶりあるいはオレンジかぶりの状態であると判定できる。また表示制御部30は、顔画像データの色情報に基づいて、いわゆる逆光画像であるか否かを判定し、逆光画像であると判定した場合には、その検出窓SWの情報に「逆光補正」という項目を対応付ける。逆光画像か否かは、例えば、顔画像データの輝度(色情報の一種)のヒストグラムを生成し、当該ヒストグラムの形状を解析することにより判定する。例えば、輝度のヒストグラムにおいて、低輝度側の所定の輝度範囲と高輝度側の所定の輝度範囲とに分かれて2つの分布の山が存在し、2つの山をそれぞれ構成する画素数が所定の基準数を超えている場合に逆光画像であると判定する。「色かぶり補正」や「逆光補正」も色補正処理の一種である。むろん、色かぶり画像であるか、逆光画像であるか等を判定する手法は上述の手法以外であってもよく、また、メニューUIにおいて挙げられる色補正処理の項目は上述したものに限られない。
また、表示制御部30は、内部メモリ12に記録されている検出窓SWの情報にかかる顔画像データを対象として、当該顔画像データ内の顔画像の形状を解析し、形状の解析結果が所定の形状補正条件に該当する場合には、当該検出窓SWの情報に対し、形状補正処理の項目を対応付ける。例えば、表示制御部30は、顔画像データに基づいて顔の高さ(例えば、頭頂部から顎までの長さ)と、顔の幅(例えば、頬の高さ位置における顔の幅)とを検出する。そして、顔の高さ(L1)と顔の幅(L2)との比(L1/L2)が、所定のしきい値よりも小さい場合には、丸顔あるいは頬が角張った顔であると推測できるため形状補正条件に該当すると判定し、その検出窓SWの情報に「小顔補正」の項目を対応付ける。「小顔補正」は形状補正処理の一種である。顔の高さ(L1)および顔の幅(L2)は、例えば、顔画像データに対する所定のテンプレートマッチングの結果や、顔周囲のエッジの検出結果に基づいて取得可能である。あるいは、特開2004‐318204号公報に示された手法を用いて顔の高さ(L1)および顔の幅(L2)を検出してもよい。
また、表示制御部30は、顔画像データに基づいてその顔の性別を公知の手法で判定し、性別が女である場合には、その検出窓SWの情報に「小顔補正」の項目を対応付けるとしてもよい。また、表示制御部30は、顔画像データのサイズ(画像データDに対する検出窓SWのサイズ比率)が所定の基準値より小さい場合には、小顔補正の効果が殆ど表れないと判断し、その検出窓SWの情報には「小顔補正」の項目を対応付けないとしてもよい。メニューUIにおいて挙げられる形状補正処理の項目は「小顔補正」に限られず、例えば、目の大きさを変える「目のサイズ補正」といった項目も、顔画像データ内の器官検出(目領域の検出)および当該器官に対するサイズ検出の結果に応じて、検出窓SWの情報に対応付けても良い。
図8は、上記のように表示制御部30が対応付けた、各顔画像とメニューUIの項目との関係の一例を、テーブルによって表している。当該テーブルでは、上記検出された各顔画像(内部メモリ12に記録された各検出窓SWの情報)に便宜的に、1,2,3…というように番号を与えており、各顔画像1,2,3…にそれぞれ対応付けられたメニューUIの項目を「○」印で特定している。
S500では、表示制御部30は、S100で取得した画像データDが表す画像(対象画像)とともに、S400で顔画像毎に決定した項目からなる顔画像毎の各メニューUIを、表示部15の画面に同時に表示させる。メニューUIは、特定画像に対して実行される処理の選択を受付可能なメニュー表示の一例に該当する。
図9は、S500において表示制御部30が表示部15に表示させた画像の一例を示している。図9に示すように、表示部15においては、画像データDに基づいて表示された対象画像(基本的には、対象画像のサムネイル画像)と、対象画像上の顔画像毎のメニューUIとが表示されている。表示部15に表示される対象画像はカラー画像であってもモノクロ画像であってもよい。表示制御部30は、内部メモリ12等に予め保存されている各項目を表す画像データを取得し、当該取得した画像データに基づいてメニューUIを表示部15に表示させる。一つの顔画像に対応するメニューUIは、当該顔画像に対応付けられている一または複数の項目からなる。メニューUIは、例えば、表示部15において対象画像の隅に重畳して表示される。
図9では、対象画像上に三人の顔画像1〜3が存在している例を示している。表示制御部30は、このように対象画像上に複数の顔画像が存在する場合には、対応し合う顔画像の近傍とメニューUIの近傍とに共通の符号(数字やアルファベット等)を表示部15の画面上に表示する。この結果、ユーザは、表示部15を見ることで、どの顔画像とどのメニューUIとが対応しているかを一目で認識できる。例えば、ユーザは、顔画像2に対応するメニューUIは、「証明写真印刷」、「逆光補正」および「小顔補正」の各項目からなるメニューUIであることが認識できる。なお、表示制御部30は、項目間に優先順位を付け、優先順位の高い項目のみをメニューUIとして表示するとしてもよい。例えば、顔画像2のような正面顔であっても、「逆光補正」や「小顔補正」といった補正処理にかかる項目にも対応している場合には、これら補正の項目を優先し、表示部15においては「逆光補正」および「小顔補正」のみ(顔画像2の場合)をメニューUIとして表示するとしてもよい。かかる構成とすれば、正面顔であっても、色補正処理や形状補正処理の条件に該当している場合には、印刷を実行する前に適切な色や形状に補正することをユーザに促すことができる。
なお、S300の分岐の結果、図2のフローチャートを終えた場合(S300において“No”)には、表示制御部30は、S100で取得した画像データDが表す対象画像を表示部15の画面に表示させる。S300において“No”の判断をした対象画像についてはメニューUIを表示しない。
図9では、記録メディア等から取り込まれた画像を表示部15に一枚表示する様子を示したが、上述したように表示制御部30は、記録メディア等から取り込まれた複数の画像を一覧表示することも可能である。つまりプリンタ10は、記録メディア等から複数枚分の画像を対象画像として取得し、取得した各対象画像それぞれに対してS100〜S400の処理を実行した上で、複数枚分の対象画像を一斉に表示部15に表示する。その結果、一覧表示される各対象画像のうち顔画像を有する対象画像については、顔画像毎のメニューUIが併せて表示されることとなる。
2‐3.画像出力後の処理:
上記のように表示部15において、対象画像上の顔画像に関してメニューUIが表示された場合、ユーザは、操作部14を介してメニューUI内の項目を任意に選択することにより、プリンタ10に次の動作を指示することができる。プリンタ10は、表示部15上でのメニューUIの何れかの項目に対する押圧を検知したり、所定のボタン等の操作に応じてメニューUIの何れかの項目に対する選択を検知した場合には、当該選択された項目を含むメニューUIが対応する顔画像(顔画像データ)を少なくとも含む画像データD上の領域を対象として、当該選択された項目に対応する処理(証明写真の印刷や、赤目補正や、色かぶり補正や、逆光補正や、小顔補正や、目のサイズ補正など。)を実行する。プリンタ10が実行する上記各処理の態様は特に問わない。例えば、プリンタ10は「赤目補正」が選択された場合には、公知手法によって赤目補正を行う。「色かぶり補正」が選択された場合には、プリンタ10は、例えば、顔画像データのRGBのヒストグラムの平均値間のずれを打ち消すようにRGBそれぞれの階調値の補正を行う。「逆光補正」が選択された場合には、プリンタ10は、例えば、顔画像データの各画素の輝度値を上昇させる補正を行なう。「小顔補正」が選択された場合には、プリンタ10は、例えば、補正対象となる顔画像の左右の頬周辺の領域を特定し、当該特定した領域を顔の中央に向かって縮小するように変形する。「目のサイズ補正」が選択された場合には、プリンタ10は、例えば、補正対象となる顔画像から左右の目の領域を特定し、当該特定した目の領域を拡大するように変形する。
表示制御部30は、上記のように色補正や形状補正を行なった後の顔画像を含む対象画像を、表示部15に再度表示し、ユーザに補正結果を確認させるとしてもよい。また、このように再度表示する際には、対象画像上の顔画像に関して新たにメニューUIの項目を決定し直した上で、メニューUIを併せて表示するとしてもよい。
また、メニューUIにおいて「証明写真印刷」が選択された場合、プリンタ10は証明写真印刷モードに移行する。証明写真印刷モードにおいては、印刷制御部40は、「証明写真印刷」が選択された顔画像(例えば顔画像2)に対応する検出窓SWの情報に基づいて、当該検出窓SWを中心に含みかつ当該検出窓SWに対する大きさの比率が予め決められている矩形領域を画像データD(グレー画像への変換が行なわれる前の画像データD)上において特定し、当該特定した矩形領域を画像データDから切り取る(トリミングする)。そして印刷制御部40は、当該切り取った矩形領域の画像データについて、予め設定された(あるいはユーザによって設定された)証明写真の大きさに応じて適宜、画素数変換(拡大や縮小)を行なう。印刷制御部40は、上記画素数変換後の画像データに、色変換処理やハーフトーン処理など必要な各処理を施して印刷データを生成する。
印刷制御部40は、生成した印刷データをプリンタエンジン16に供給し、プリンタエンジン16に印刷データに基づいた印刷を実行させる。この結果、証明写真印刷モードにおける印刷結果、すなわち正面顔を有する証明写真の印刷が完了する。
ただしプリンタ10は、証明写真印刷モードに移行した場合に、証明写真の印刷完了まで全て自動で行なうのではなく、ユーザにトリミングの範囲を指定させるとしてもよい。表示制御部30は、証明写真印刷モードへの移行を検知した場合には、トリミング枠データ14bを内部メモリ12から読み出す。そして、対象画像上にトリミング枠データ14bに基づいてトリミング枠を表示する。
図10は、表示部15の対象画像上に、トリミング枠を表示した様子を例示している。トリミング枠は、矩形状の外枠W1と外枠W1内に収まる円形の内枠W2とからなる。外枠W1および内枠W2のデフォルトの形状や大きさ、外枠W1と内枠W2との相対的な位置関係は、トリミング枠データ14bによって定義されている。ユーザは、操作部14を操作することにより、トリミング枠の移動や拡大・縮小を表示制御部30に指示することができる。表示制御部30は、かかる移動や拡大・縮小の指示に応じて、トリミング枠を表示部15の画面上で、移動させたり、拡大・縮小させたりする。表示制御部30は、外枠W1と内枠W2との相対的な位置および大きさの関係が常に保たれるように、外枠W1および内枠W2の移動や拡大・縮小を行なう。
ユーザは、対象画像上の正面顔(図10の例においては顔画像2)の全体が内枠W2に収まるようにトリミング枠の移動や拡大・縮小を指示し、正面顔の全体が内枠W2に適切に収まった場合に、トリミング範囲が確定した旨の指示を、操作部14を操作することによりプリンタ10に通知する。プリンタ10においては、当該確定した旨の指示を受付けた場合に、その時に表示部15上に設定しているトリミング枠の外枠W1が囲う画像領域を対象画像の画像データDから切り取り、切り取った画像領域の画像データに基づいて、上述したように印刷データの生成および印刷を行なう。その結果、ユーザが自ら指定したトリミング範囲に基づいた、正面顔を有する証明写真の印刷が行なわれる。
このように本実施形態によれば、プリンタ10は、対象画像から顔画像を検出し、検出した顔画像毎の状態、例えば正面顔か否かや、色の状態や、形状や、性別等の各種状態に応じて、顔画像毎のメニューUIにおける項目(顔画像に対して行なわれる処理を示した項目)を決定し、対象画像を表示部15に表示する際に、上記のように項目を決定した顔画像毎のメニューUIを併せて表示するとした。また、対象画像から顔画像が複数検出された場合には、表示部15上において、対応し合う顔画像とメニューUIとに共通の符号を付すようにした。その結果、ユーザは、記録メディアをプリンタ10に挿入等したときに表示部15に出力される対象画像を見た場合に、対象画像上の各顔画像について夫々どのような処理を行なうことができるかを一目で認識することができ、各顔画像に対する処理の選択を極めて容易に行なうことができる。
3.変形例:
上記では、対象画像と、対象画像上の顔画像毎のメニュー表示との出力対象が、表示部15の画面であることを前提に説明を行なった。しかし、対象画像および上記メニュー表示の出力対象は印刷媒体(印刷用紙)であってもよい。すなわちプリンタ10では、図2の処理を行なった結果として表示部15に顔画像毎のメニューUI付きの対象画像を表示することに加え(あるいは替えて)、対象画像および上記メニュー表示を、印刷制御部40がプリンタエンジン16を制御することにより印刷媒体に印刷(出力)させるとしてもよい。ユーザは、このように印刷された結果物をいわゆるオーダーシートとして利用することができる。
図11は、プリンタ10が印刷したオーダーシートOSの一例を示している。図11では、図9に例示した表示部15上の画像に相当する画像をオーダーシートOSとして印刷した場合を示している。図11に示すように、オーダーシートOSにおいては、対象画像が印刷されていない余白部分に、項目選択入力欄Aが印刷されている。項目選択入力欄Aは、対象画像上の顔画像毎のメニューUIの項目と同じ項目構成となっている。また、項目選択入力欄Aにも顔画像毎の上記符号が印刷されており、符号の位置毎に、顔画像毎の項目がまとめて印刷されている。また、項目選択入力欄Aにおいては、項目毎に一つまたは複数のチェックボックスCBが印刷されている。チェックボックスCBは、項目の選択や、項目が示す色補正や形状補正の度合い(弱、普通、強、など。)の選択をユーザから受付けるための記入欄である。つまり印刷制御部40は、オーダーシートOSを印刷する際に、上記余白部分に顔画像毎の符号と、顔画像毎のメニューUIと同様の項目と、各項目毎のチェックボックスCBとを配置して印刷を行なう。かかる項目選択入力欄Aも、特定画像に対して実行される処理の選択を受付可能なメニュー表示の一例に該当する。むろん、図11に示した項目選択入力欄Aのデザインやレイアウトは一例に過ぎず、各補正の度合いも3段階に限られない。
ユーザは、オーダーシートOS上のチェックボックスCBを任意に選択し、選択したチェックボックスCBにペン等で所定の印を記入することができる。そして、印を記入したオーダーシートOSを、例えば、プリンタ10が備える図示しない画像読取部(スキャナ)に読み取らせる。プリンタ10は、画像読取部によって読み取ったオーダーシートOS上のチェックボックスCBに所定の印が記入されている場合には、当該印が記入されているチェックボックスCBが示す処理(印が記入されているチェックボックスCBが示す補正の度合いも反映した処理)を、当該印が記入されているチェックボックスCBが対応する顔画像を対象として行なう。
ただしプリンタ10は、オーダーシートOSを印刷する際に、顔画像毎のメニューUIと項目選択入力欄Aとの両方を印刷する必要はなく、何れか一方のみを印刷するとしてもよい。例えば、印刷媒体に印刷されたメニューUIの図柄に対して、ユーザがペン等で所定の印を記入し、画像読取部が、かかる図柄に対して記入されている印を読み取る構成としてもよい。
また、プリンタ10は、表示部15に対象画像と顔画像毎のメニューUIとを表示する際にも、上記のような項目毎のチェックボックスCBをメニューUIの一部として表示してもよい。かかる構成とすれば、表示部15の画面上で各補正処理の度合いの指定をユーザから受付けることができる。
次に、S200において顔画像検出部20が実行可能な顔画像の検出処理であって、ニューラルネットワークを利用した手法以外の手法について説明する。
図12は、顔画像検出部20が行なう顔有無判定処理および正面顔有無判定処理の一例を模式的に示している。顔画像検出部20は、図12の左側に示す顔有無判定処理をS215〜S225(図3)の替わりに行なうことができる。この顔有無判定処理では、複数の判定器J,J…を複数段カスケード状に接続した判定手段を使用する。ここで言う複数の判定器Jからなる判定手段は、実体的な装置であってもよいし、複数の判定器Jに相当する以下の判定機能を有したプログラムであってもよい。各判定器J,J…は、窓画像データXDから、それぞれ異なる種類(例えばフィルタFTが異なる)の単数または複数の特徴量CA,CA,CA…をそれぞれ入力し、それぞれ正または否の判定を出力する。各判定器J,J…は、それぞれ特徴量CA,CA,CA…の大小比較や閾値判定等の判定アルゴリズムを有しており、それぞれ窓画像データXDが顔画像らしい(正)か顔画像らしくない(否)かの独自の判定を実行する。次の段の各判定器J,J…は、前の段の判定器J,J…の正の出力に接続されており、前の段の判定器J,J…の出力が正であった場合のみ次の段の判定器J,J…が判定を実行する。いずれの段においても否の出力がなされた時点で判定を終了させ、顔画像が存在しない旨の判定を出力する(この場合、顔画像検出部20はS255に進む。)。一方、各段の判定器J,J…がすべて正の出力をした場合には、判定を終了させ、顔画像が存在する旨の判定を出力する(この場合、顔画像検出部20はS230に進む。)。
次に、顔画像検出部20は、図12の右側に示す正面顔有無判定処理をS230〜S240(図3)の替わりに行なう。正面顔有無判定処理で用いる判定手段も基本的には、顔有無判定処理に用いる判定手段と同様の構成を有しているが、正面顔有無判定処理で用いる判定手段における各判定器J,J…は、窓画像データXDから、それぞれ異なる種類(例えばフィルタFTが異なる)の単数または複数の特徴量CA,CA,CA…をそれぞれ入力したときに、それぞれ窓画像データXDが正面顔らしい(正)か正面顔らしくない(否)かの独自の判定を実行する点で異なる。従って、正面顔有無判定処理では、いずれの段においても否の出力がなされた時点で判定を終了させ、正面顔が存在しない(非正面顔が存在する)旨の判定を出力する(この場合、顔画像検出部20はS250に進む。)一方、各段の判定器J,J…がすべて正の出力をした場合には、判定を終了させ、正面顔が存在する旨の判定を出力する(この場合、顔画像検出部20はS245に進む。)。
図13は、上記正面顔有無判定処理で用いる判定手段における判定特性を示している。同図においては、上述した各判定器J,J…において使用される特徴量CA,CA,CA…の軸で定義される特徴量空間を示しており、最終的に正面顔が存在すると判定される窓画像データXDから得られる特徴量CA,CA,CA…の組み合わせで表される特徴量空間内の座標をプロットしている。正面顔が存在すると判定される窓画像データXDは一定の特徴を有しているため、特徴量空間における一定の領域に分布が見られると考えることができる。各判定器J,J…は、このような特徴量空間において境界平面を生成し、当該境界平面で区切られた空間のうち、前記分布が属する空間に判定対象の特徴量CA,CA,CA…の座標が存在している場合には、正を出力する。従って、各判定器J,J…をカスケード状に接続することにより、徐々に正と出力される空間を絞り込んでいくことができる。複数の境界平面によれば、複雑な形状の前記分布についても精度よく判定を行うことができる。なお、上記顔有無判定処理で用いる判定手段によって顔画像が存在すると判定される窓画像データXDから得られる特徴量CA,CA,CA…の組み合わせで表される特徴量空間内の座標の分布は、図13で示した分布よりも広いものとなる。
以上においては、本発明の画像出力制御装置および画像出力制御方法がプリンタ10によって具現化され、また本発明の画像出力制御プログラムがプリンタ10と協同して実行される例を示したが、本発明は、コンピュータや、デジタルスチルカメラや、スキャナや、フォトビューワ等の画像機器による画像出力処理において実現されてもよい。さらに、人物認証を行うATM(Automated Teller Machine)等においても本発明を適用することができる。さらに、顔画像検出部20が実行する判定は、上述した特徴量の特徴量空間における種々の判別手法を用いることも可能である。例えば、サポートベクタマシンを利用してもよい。
プリンタの概略構成を示すブロック図である。 プリンタが実行する処理を示すフローチャートである。 顔画像検出処理の詳細を示すフローチャートである。 検出窓を設定する様子を示す図である。 窓画像データから特徴量を算出する様子を示す図である。 ニューラルネットワークの構造の一例を示す図である。 ニューラルネットワークを学習する様子を模式的に示す図である。 各顔画像と各メニューUIの項目との対応関係を示す図である。 表示部に出力される画像の一例を示す図である。 対象画像上にトリミング枠を設定する様子を示す図である。 オーダーシートの一例を示す図である。 顔有無判定処理および正面顔有無判定処理を模式的に示す図である。 正面顔有無判定処理の判定特性を示す図である。
符号の説明
10…プリンタ、11…CPU、12…内部メモリ、14b…トリミング枠データ、16…プリンタエンジン、17…カードI/F、20…顔画像検出部、30…表示制御部、40…印刷制御部、172…カードスロット

Claims (10)

  1. 対象画像上における特定画像の検出を行なう検出部と、
    上記対象画像と、特定画像に対して実行される処理の選択を受付可能なメニュー表示であって上記対象画像から検出された特定画像毎のメニュー表示とを、所定の出力対象に出力する出力制御部とを備えることを特徴とする画像出力制御装置。
  2. 上記出力制御部は、上記検出された特定画像毎の状態に応じて項目が異なる特定画像毎のメニュー表示を出力することを特徴とする請求項1に記載の画像出力制御装置。
  3. 上記検出部は、対象画像上における顔画像を特定画像として検出し、上記出力制御部は、検出された顔画像のうち略正面向きの顔画像に対応するメニュー表示には、証明写真の印刷処理の項目を含ませて出力することを特徴とする請求項2に記載の画像出力制御装置。
  4. 上記出力制御部は、上記検出された特定画像毎に色情報を解析し、色情報の解析結果が所定の補正条件に該当する特定画像に対応するメニュー表示には、所定の色補正処理の項目を含ませて出力することを特徴とする請求項2または請求項3のいずれかに記載の画像出力制御装置。
  5. 上記出力制御部は、上記検出された特定画像毎に形状を解析し、形状の解析結果が所定の補正条件に該当する特定画像に対応するメニュー表示には、所定の形状補正処理の項目を含ませて出力することを特徴とする請求項2〜請求項4のいずれかに記載の画像出力制御装置。
  6. 上記出力制御部は、対応し合う特定画像とメニュー表示とに共通の符号を付した状態で、上記対象画像と特定画像毎のメニュー表示とを出力することを特徴とする請求項1〜請求項5のいずれかに記載の画像出力制御装置。
  7. 上記出力制御部は、上記対象画像と特定画像毎のメニュー表示とを印刷媒体に印刷することを特徴とする請求項1〜請求項6のいずれかに記載の画像出力制御装置。
  8. 対象画像上における特定画像の検出を行なう検出工程と、
    上記対象画像と、特定画像に対して実行される処理の選択を受付可能なメニュー表示であって上記対象画像から検出された特定画像毎のメニュー表示とを、所定の出力対象に出力する出力制御工程とを備えることを特徴とする画像出力制御方法。
  9. 対象画像上における特定画像の検出を行なう検出機能と、
    上記対象画像と、特定画像に対して実行される処理の選択を受付可能なメニュー表示であって上記対象画像から検出された特定画像毎のメニュー表示とを、所定の出力対象に出力する出力制御機能とをコンピュータに実行させることを特徴とする画像出力制御プログラム。
  10. 対象画像上における特定画像の検出を行なう検出部と、
    上記対象画像と、特定画像に対して実行される処理の選択を受付可能なメニュー表示であって上記対象画像から検出された特定画像毎のメニュー表示とを、所定の出力対象に出力する出力制御部とを備えることを特徴とする印刷装置。
JP2008084249A 2008-03-27 2008-03-27 画像出力制御装置、画像出力制御方法、画像出力制御プログラムおよび印刷装置 Withdrawn JP2009237977A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008084249A JP2009237977A (ja) 2008-03-27 2008-03-27 画像出力制御装置、画像出力制御方法、画像出力制御プログラムおよび印刷装置
US12/403,176 US20090244608A1 (en) 2008-03-27 2009-03-12 Image-Output Control Device, Method of Controlling Image-Output, Program for Controlling Image-Output, and Printing Device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008084249A JP2009237977A (ja) 2008-03-27 2008-03-27 画像出力制御装置、画像出力制御方法、画像出力制御プログラムおよび印刷装置

Publications (1)

Publication Number Publication Date
JP2009237977A true JP2009237977A (ja) 2009-10-15

Family

ID=41116728

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008084249A Withdrawn JP2009237977A (ja) 2008-03-27 2008-03-27 画像出力制御装置、画像出力制御方法、画像出力制御プログラムおよび印刷装置

Country Status (2)

Country Link
US (1) US20090244608A1 (ja)
JP (1) JP2009237977A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021024470A1 (ja) * 2019-08-08 2021-02-11

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5284994B2 (ja) * 2010-02-09 2013-09-11 株式会社沖データ 画像処理装置
JP2011253470A (ja) * 2010-06-04 2011-12-15 Canon Inc クラウドコンピューティングシステム、文書処理方法、及びコンピュータプログラム
JP5865113B2 (ja) * 2012-02-20 2016-02-17 株式会社Pfu 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム
JP6727543B2 (ja) * 2016-04-01 2020-07-22 富士ゼロックス株式会社 画像パターン認識装置及びプログラム
JP2018045309A (ja) * 2016-09-12 2018-03-22 株式会社東芝 特徴量抽出装置および認証システム
JP6982277B2 (ja) * 2018-01-12 2021-12-17 京セラドキュメントソリューションズ株式会社 情報端末装置、情報処理システムおよび表示制御プログラム
JP7453772B2 (ja) * 2019-11-01 2024-03-21 キヤノン株式会社 情報処理装置及びその制御方法、撮像装置システム、プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002312777A (ja) * 2000-12-21 2002-10-25 Canon Inc 画像処理装置及びその方法
JP2003223645A (ja) * 2002-01-31 2003-08-08 Minolta Co Ltd 画像形成プログラム及び画像形成装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010040685A1 (en) * 1998-10-15 2001-11-15 Hewlett-Packard Company System and method for printing and scanning a user-completed digital still camera image proof sheet and order form
JP4718952B2 (ja) * 2005-09-27 2011-07-06 富士フイルム株式会社 画像補正方法および画像補正システム
JP2008123086A (ja) * 2006-11-09 2008-05-29 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002312777A (ja) * 2000-12-21 2002-10-25 Canon Inc 画像処理装置及びその方法
JP2003223645A (ja) * 2002-01-31 2003-08-08 Minolta Co Ltd 画像形成プログラム及び画像形成装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021024470A1 (ja) * 2019-08-08 2021-02-11

Also Published As

Publication number Publication date
US20090244608A1 (en) 2009-10-01

Similar Documents

Publication Publication Date Title
JP4998995B2 (ja) アルバム作成装置および方法ならびにプログラム
JP4924264B2 (ja) 画像処理装置、画像処理方法、および、コンピュータプログラム
JP5187139B2 (ja) 画像処理装置およびプログラム
JP4605006B2 (ja) 印刷データ生成装置、印刷データ生成方法及びプログラム
JP2009237977A (ja) 画像出力制御装置、画像出力制御方法、画像出力制御プログラムおよび印刷装置
JP4710550B2 (ja) 画像におけるコメントレイアウト
JP2002152492A (ja) 画像処理装置、方法及び記録媒体
US20090231628A1 (en) Image Processing Apparatus, Image Processing Method, Computer Program for Image Processing
JP2010074405A (ja) 画像処理装置および画像処理方法
JP4983684B2 (ja) 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム
JP4877074B2 (ja) 画像処理装置、画像処理方法、および、コンピュータプログラム
JP2010003118A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2009237976A (ja) 顔画像出力制御装置、顔画像出力制御方法、顔画像出力制御プログラムおよび印刷装置
US10609249B2 (en) Scanner and scanning control program which outputs an original image and an extracted image in a single file
US20090231627A1 (en) Image Processing Apparatus, Image Processing Method, Computer Program for Image Processing
JP5213506B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
US20090067718A1 (en) Designation of Image Area
JP2009237978A (ja) 画像出力制御装置、画像出力制御方法、画像出力制御プログラムおよび印刷装置
JP2006113658A (ja) 画像処理装置及び方法、及びプログラムを記録した記憶媒体
JP2010026630A (ja) 画像検索装置および画像検索方法
JP5067224B2 (ja) オブジェクト検出装置、オブジェクト検出方法、オブジェクト検出プログラムおよび印刷装置
JP2006344166A (ja) 画像処理装置及び方法
JP2009230557A (ja) オブジェクト検出装置、オブジェクト検出方法、オブジェクト検出プログラムおよび印刷装置
JP2010004300A (ja) 画像処理方法、画像処理装置、画像処理プログラムおよび印刷装置
JP4766644B2 (ja) 画像処理方法および画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20120418