JP2015011555A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP2015011555A
JP2015011555A JP2013137044A JP2013137044A JP2015011555A JP 2015011555 A JP2015011555 A JP 2015011555A JP 2013137044 A JP2013137044 A JP 2013137044A JP 2013137044 A JP2013137044 A JP 2013137044A JP 2015011555 A JP2015011555 A JP 2015011555A
Authority
JP
Japan
Prior art keywords
face
image processing
image
area
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013137044A
Other languages
English (en)
Other versions
JP2015011555A5 (ja
JP6188452B2 (ja
Inventor
寛康 國枝
Hiroyasu Kunieda
寛康 國枝
梅田 清
Kiyoshi Umeda
清 梅田
和歌子 田中
Wakako Tanaka
和歌子 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013137044A priority Critical patent/JP6188452B2/ja
Priority to US14/314,951 priority patent/US20150003681A1/en
Publication of JP2015011555A publication Critical patent/JP2015011555A/ja
Publication of JP2015011555A5 publication Critical patent/JP2015011555A5/ja
Application granted granted Critical
Publication of JP6188452B2 publication Critical patent/JP6188452B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 画像に対して処理領域を適切に設定し、高品質な画像処理結果を得ることができる画像処理装置、画像処理方法、及びプログラムを提供する。【解決手段】 画像の顔領域における顔の向きを示す情報を取得する。取得した顔の向きを示す情報に基づいて、画像において画像処理を実施する処理領域を設定し、設定された領域に対して画像処理を行う。【選択図】 図4

Description

本発明は、所定の領域の画像処理を行うための画像処理装置、画像処理方法、及びプログラムに関する。
画像から特定の被写体パターンを自動的に検出する画像処理方法は、例えば顔の判定に利用することができる。このような画像処理方法は、通信会議、マン・マシン・インタフェース、セキュリティ、人間の顔を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。
画像から顔を検出する画像処理方法としては、例えば、いくつかの顕著な特徴とその特徴間の固有の幾何学的位置関係を利用する方式が知られている。また、例えば、人間の顔の対称的特徴、人間の顔色の特徴、テンプレート・マッチング、又はニューラル・ネットワークなどを利用することによって人間の顔を検出する方式が知られている。ここで、従来は顔の向きは、正面から斜めまでが検出可能であったが、近年では、顔を検出する技術の進化により、正面から横まで検出可能となった。
ところで、従来から、画像内のオブジェクトを自動的に検出し、検出したオブジェクトに対して、例えば、美肌補正、赤目補正、ほくろ除去、トリミング等の様々な画像処理を行う技術が知られている。特許文献1には、顔を含む画像に該顔を含むトリミング領域を設定する画像トリミング装置において、顔検出手段による検出結果に基づいて顔の中心位置が検出され、中心位置を中心としてトリミング領域を設定することが記載されている。
特開2008−225720号公報
しかしながら、特許文献1に開示されたトリミング領域の設定では、顔に対して適切な処理領域を設定できず、画像処理結果の品質が低下することがあった。
本発明は、上述した事情に鑑み、画像に対して処理領域を適切に設定し、高品質な画像処理結果を得ることができる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
上記の課題を解決するための本発明の画像処理装置は、画像の顔領域における顔の向きを示す情報を取得する取得手段と、前記取得手段により取得した顔の向きを示す情報に基づいて、前記画像において画像処理を実施する処理領域を設定する設定手段と、前記設定手段により設定された領域に対して画像処理を行う画像処理手段と、を有することを特徴とする。
本発明によれば、顔の向きに応じて画像処理を実施する処理領域を適切に設定することができ、高品質な画像処理結果を得ることができる。
実施形態1に係る情報処理装置のハードウェア構成図である。 実施形態1に係るソフトウェア構成のブロック図である。 顔向きの判定の説明図及び画像解析領域設定部のブロック図である。 顔領域の設定の説明図及び画像処理実行部のブロック図である。 画像処理の処理フロー及び顔領域を設定する際の処理フローを示す図である。 自動レイアウトの処理フローを示す図である。 実施形態2に係る画像処理部の構成の一例を示すブロック図自動レイアウト装置の構成の一例を示すブロック図である。 実施形態2に係る画像処理領域設定部のブロック図及び画像処理領域設定部の説明図である。 実施形態2に係るスムージング領域の設定の説明図である。 実施形態2に係る画像処理部が実行する処理フローを示す図である。 実施形態2に係る顔向き判定部が実行する処理フローを示す図である。 実施形態2に係る画像処理部が実行する処理フローである。 実施形態3に係る画像処理部の構成の一例を示すブロック図である。 実施形態3に係る画像処理部が実行する処理フローを示す図である。
(実施形態1)
以下では、検出したオブジェクトの向きを考慮した領域に画像処理を実施するために、本発明における実施形態について説明する。これはあくまで実施の1つの形態を例として示したものであり、本発明は以下の実施形態に限定されるものではない。
図1は、第1実施形態に係わる情報処理装置のハードウェア構成例を説明するブロック図である。
同1において、画像処理装置115は、CPU100と、ROM101と、RAM102と、2次記憶装置103と、表示装置104と、入力装置105と、IF107と、IF108と、無線LAN109を備えている。さらに、内部撮像デバイス106を備えている。これらは、制御バス/データバス110により相互に接続されている。画像処理装置115は、例えば、コンピュータである。
CPU(中央演算装置)100は、本実施形態で説明する情報処理方法をプログラムに従って実行する。
ROM101は、CPU100により実行される以下に示すアプリケーション等のプログラムが記憶されている。RAM102は、CPU100によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供している。2次記憶装置103は、ハードディスク等であり、画像ファイルや画像解析結果を保存するデータベース等を保存するための記憶媒体である。CPU100は、ROM101や2次記憶装置103などに格納されているプログラムをRAM102にロードし、ロードされたプログラムを実行することにより、情報処理装置全体を制御する。
表示装置104は、例えば、ディスプレイであり、実施形態1の処理結果や以下に示すUI(User Interface)等をユーザに提示する装置である。表示装置104は、タッチパネル機能を備えても良い。入力装置105は、ユーザが画像補正の処理の指示等を入力するためのマウスやキーボード等である。
また、内部撮像デバイス106で撮像された画像は、所定の画像処理を経た後、2次記憶装置103に記憶される。また、画像処理装置115は、インターフェース(IF108)を介して接続された外部撮像デバイス111から画像データを読み込むこともできる。さらに、無線LAN(Local Area Network)109はインターネット113に接続されている。画像処理装置115は、インターネット113に接続された外部サーバー114より画像データを取得することもできる。
画像等を出力するためのプリンタ112は、IF107を介して画像処理装置115に接続されている。尚、プリンタ112はさらにインターネット上に接続されており、無線LAN109経由でプリントデータのやり取りをすることもできる。
図2(a)は本実施形態における上記アプリケーション等のソフトウェア構成のブロック図である。
表示・UI制御部201と、画像処理部202と、レンダリング部203と、プリントデータ生成部204と、を備える。
上記ビットマップデータは、さらに画像処理部202(アプリケーション)に入力され、同部において、詳細は後述するが、画像処理を行う。
生成した画像処理結果は、レンダリング部203で表示用のビットマップデータを生成し、該ビットマップデータは表示・UI制御部201に送られ、結果がディスプレイに表示される。
また、レンダリング結果はさらにプリントデータ生成部204(アプリケーション)に送られ、同部でプリンタ用コマンドデータに変換され、プリンタに送出される。
以下では、画像処理部202内において行う基本的な処理を記載する。
図2(b)は、本実施形態の画像処理部202の構成の一例を示すブロック図である。本実施形態では、画像処理部202は、画像を指定のテンプレートに設定し自動でレイアウトする際に顔を含む領域が切れないように配置する。ここでは、画像処理部202が、顔を含む領域が切れないように配置することを例に挙げて説明するが、これに限定されるものではない。一例(顔切れ判定と定義する。)を挙げて説明する。
図2(b)に示すように、画像処理部202は、オブジェクト検出部302と、画像解析領域設定部303と、画像処理実行部304と、を備える。
画像読み込み部301は、画像データをハードディスクからRAMに展開する。画像データは、特に限定されないが、ここでは、RGB画像を例に挙げて説明する。まずハードウェアが取得した画像データは、通常JPEG(Joint Photography Expert Group)等の圧縮形式になっている。そのため、画像読み込み部301は、該圧縮形式を解凍していわゆるRGB点順次のビットマップデータ形式に変換する。変換されたビットマップデータは、表示・UI制御部201に伝達され、ディスプレイ等の表示装置104上に表示される。
オブジェクト検出部302は、RAMに展開された画像データに対してオブジェクト検出を行う。ここでは、オブジェクト検出として顔検出を例に挙げて説明する。
オブジェクト検出部302は、画像を複数の解析領域に分けて、各解析領域に対して上述した顔の検出を行う。このとき、各解析領域は、他の解析領域と一部が重複するものとすることにより、隣り合う解析領域の狭間に存在する顔も確実に検出することができる。
オブジェクト検出部302が行う顔検出の方法は、特に限定されるものではない。顔検出の方法としては、例えば、AdaBoostが挙げられる。AdaBoostは、多数の弱判別器を直列につなげることにより、1つの強判別器を実現する手法である。Adaboostとして、全ての弱判別器を直列につなげる方法が知られているが、本実施形態では、弱判別器を単に直列につなげるのではなく、検出するオブジェクトの向きに応じて途中で分岐させ、分岐させた後にさらに弱判別器をつなげる。分岐させた後は、それぞれオブジェクトの向きに応じて弱判別器の特性を分けて連ねる。言い換えれば、分岐させる前の1以上の弱判別器は、オブジェクトの全ての向きに対応する基準に基づいて判別を行い、オブジェクトの向きに応じて分岐させた後の1以上の弱判別器は、オブジェクトの向きに応じた基準に基づいて判別を行う。これにより、本実施形態では、オブジェクト検出部302により、顔領域及び検出した顔の向きを判別することができる。
本実施形態では、各弱判別器において、判定した結果に応じて、信頼度を算出する。具体的には、弱判別器で算出した算出値が、当該弱判別器において設定される算出値に対する閾値Th(以下、算出閾値ともいう)以上であると判定すれば、予め設定した設定値をスコアに加算して信頼度を算出する。一方、弱判別器で算出した算出値が、当該弱判別器において設定される算出閾値Th未満であると判定すれば、予め設定した設定値をスコアから減算して信頼度を算出する。次の弱判別器では、同様に判定結果に応じて、スコア(前の弱判別器で算出した信頼度)に対して当該弱判別器の設定値を加算又は減算する。なお、算出閾値Thは、弱判別器毎に異なる値を設定してもよいし、全ての弱判別器に同じ値を設定してもよい。また、各弱判別器には、スコアに対する閾値Th(以下、スコア閾値ともいう)が設定されており、算出した信頼度がスコア閾値Th以下の場合は処理を中止する。これにより、後に続く弱判別器分の処理をスキップでき、処理を高速で実行することができる。なお、スコア閾値Thは、弱判別器毎に異なる値を設定してもよいし、全ての弱判別器に同じ値を設定してもよい。予め用意した複数の弱判別器の最後の弱判別器から信頼度が算出された場合、その解析領域が顔であると判定する。複数の分岐が候補となった場合には、最後の弱判別器から算出された信頼度が最大のものをその顔の向きとする。
図3(a)は、分岐構造のAdaBoostの構成のイメージ図である。ここでは、顔の向きを5種類に分類した分岐構造を例に挙げて説明するが、分類数はこれに限定されるものではない。
弱判別器401は、図3(a)に示すように、複数が直列につながっており、途中で顔の向きに応じて分岐した後さらに直列につながっている。
ここで、402は、左向きの横顔を検出する弱判別器列であり、左向きの顔検出用の複数の弱判別器が直列に接続されている。弱判別器列402が備える左向きの弱判別器を全て通過した領域を左向きの顔領域と判断する。403は、左向きの斜め顔を検出する弱判別器列であり、左斜め向きの顔検出用の複数の弱判別器が直列に接続されている。弱判別器列403が備える左斜め向きの弱判別器を全て通過した領域を左斜め向きの顔領域と判断する。404は、正面顔を検出する弱判別器列であり、正面向きの顔検出用の複数の弱判別器が直列に接続されている。弱判別器列404が備える正面向きの弱判別器を全て通過した領域を正面向きの顔領域と判断する。405は、右向きの斜め顔を検出する弱判別器列であり、右斜め向きの顔検出用の複数の弱判別器が直列に接続されている。弱判別器列405が備える右斜め向きの弱判別器を全て通過した領域を右斜め向きの顔領域と判断する。406は、右向きの横顔を検出する弱判別器列であり、右向きの顔検出用の複数の弱判別器が直列に接続されている。弱判別器列406が備える右向きの弱判別器を全て通過した領域を右向きの顔領域と判断する。
ここで、図3(a)に示した顔の向きの分類について説明する。顔の向きの分類は、弱判別器を設計する際に設定する。顔の向きの分類は、例えば、複数のサンプル画像の顔の検出パターンを予め取得し、この取得した結果に基づいて弱判別器に設定すればよい。また、顔の向きの分類は、これに限定されるものではなく、ユーザ主観によって分類しても良いし、被写体に対するカメラの角度が分かる際にはその情報をもとに分類しても良いし、器官の位置関係から分類してもよい。
以下、顔の向きが正面を基準としたときの顔の向きの度合いを「横向き度」とする。ここで、例えば、顔の器官として目の位置に基づいて顔領域の顔の向きを判定する場合、片目のみ検出したときは横向きであると判定される。なお、このような方法に基づいて顔の向きを検出する場合は、目が検出できない場合は検出対象外となる。本実施形態では、顔が真横を向いたとき、すなわち、正面に対して顔の向きが90度のときに、横向き度が最大としたが、横向き度の最大値はこれに限定されるものではない。逆に、顔の向きが正面に近づくほど、横向き度は小さくなる。
そして、画像解析領域設定部303は、検出した顔領域及び顔の向きに基づいて画像処理実行時に利用する画像解析領域を設定する。
図3(b)は、画像解析領域設定部303の構成の一例を示すブロック図である。本実施形態に係る画像解析領域設定部303は、検出したオブジェクトの顔の向きに応じて、画像処理の内容に応じて、領域設定を行う。
ここでは、自動レイアウトを実行する画像処理を例に挙げて説明する。自動レイアウトを行う場合、指定されたテンプレートに画像を設定する領域があり、その領域に画像を設定することによりレイアウトを作成する方法がある。このとき、画像を設定する領域と画像でサイズが合わない場合はトリミングが必要となる。そこで、本実施形態では、顔切れ判定する際に顔向きを考慮した領域設定を行う。
本実施形態に係る画像解析領域設定部303は、図3(b)に示すように、顔検出結果読み込み部501と、対象顔領域・向き設定部502と、顔切れ判定領域設定部503と、を備える。
顔検出結果読み込み部501は、顔検出部302で画像領域から検出した全ての顔の領域と向きを読み込む。対象顔領域・向き設定部502は、読み込んだ全ての顔から処理対象の顔領域と顔の向きを1つ設定する。
顔切れ判定領域設定部503は、領域を設定する対象となる顔の向きから顔切れ判定時に使用する判定領域を設定する。ここで、図4(a)を用いて、顔切れ判定領域設定部503について説明する。図4(a)は、顔の向きに応じて顔切れ判定領域を設定する一例である。図4(a)には、顔の向きが正面の場合、斜めの場合、横顔の場合を示している。図中の点線で囲った枠601は、顔検出により顔の領域と判定された「顔領域」である。顔検出により設定された顔領域の高さ602は、各顔領域においてFhと示す。図中の「×」は、顔検出により顔領域と判定された顔領域における重心である。正面顔の顔切れ判定領域の高さ604は、Ah1で示している。正面顔の顔切れ判定領域の幅605は、Aw1で示している。斜め顔の顔切れ判定領域の高さ606は、Ah2で示している。斜め顔の顔切れ判定領域の幅607は、Aw2で示している。608は、横顔の顔切れ判定領域の高さ608は、Ah3で示している。横顔の顔切れ判定領域の幅609は、Aw3で示している。
各顔の向きでの顔切れ判定領域の設定は、顔検出により設定された顔領域の高さFhに基づいて、顔切れ判定領域の高さ及び顔切れ判定領域の幅を設定する。このとき、判定領域の高さの関係は、Ah1≦Ah2≦Ah3とする。ここでは、各判定領域の高さは、顔領域の高さFhの任意倍で設定する。また、判定領域の幅の関係は、Aw1≦Aw2≦Aw3とする。ここでは、各幅は顔領域の幅Fwの任意倍で設定する。
以下、本実施形態における各顔の向きでの顔切れ判定領域の設定について説明する。本実施形態では、顔の向きの横向き度が高いほど判定領域を広く設定する。具体的には、処理対象の顔が正面の場合、Ah1の長さはFhの2倍とし、重心がAh1の中心となるよう縦領域を設定する。また、Aw1の長さはFhの2倍とし、重心がAw1の中心となるよう横領域を設定する。なお、本実施形態ではAh1と、Aw1の長さを等しい幅としたが、異なる幅であってもよい。処理対象の顔が右斜めの場合、Ah2の長さはFhの2倍とし、重心がAh2の中心となるよう縦領域を設定する。また、Aw2の長さはFhの3倍とし、重心がAw2を1対2に分割する点となるよう横領域を設定する。処理対象の顔が右横の場合、Ah3の長さはFhの2倍とし、重心がAh3の中心となるよう縦領域を設定する。Aw3の長さはFhの4倍とし、重心がAw3を1対3に分割する点となるよう横領域を設定する。なお、顔切れ判定領域を設定する際のバランスで分割してもよい。すなわち、顔領域の高さFhの任意倍の数値はこれに限定されるものではない。
本実施形態では、上述したように、設定した顔切れ判定領域は、正面、斜め、横の順にマージンが広くなるように設定する。すなわち、横向き度が高いほど広い領域を設定している。これは、横向きの場合は目が1つしか検出されないなど、器官の数など領域の特定に利用できる特徴が少なくなるため、横顔のときの画像処理すべき領域を特定する精度が低下する可能性があるためである。すなわち、正面の顔領域を特定する際の精度と比較して、横向きの顔領域を特定する際の精度が低下することを考慮して、横顔の顔切れ発生を回避するために、横向きでは横向き以外よりもマージンを多く設定している。
図4(a)では、左向きの場合を例に挙げて説明したが、右向きの場合も同様である。また、設定する領域を矩形として説明したが、これに限定されず、設定する領域は楕円などの他の形状でも良い。また、領域を設定する際に分割比率を定数として処理領域を設定したが、これに限定されるものではなく、顔向き度により処理領域を算出してもよく、また、予め用意したテーブルにより設定してもよい。画像処理実行部304は、本実施形態では画像処理として自動レイアウトを実施する。
図4(b)は、画像処理実行部(自動レイアウト部)の構成の一例を示すブロック図である。ここでは、画像処理実行部304は、画像解析領域設定部303で設定した顔切れ判定領域を利用した自動レイアウトを行う。
自動レイアウト部は、テンプレート設定部701、画像レイアウト部702、及び顔切れ評価部703を備えている。
テンプレート設定部701は、画像を設定する領域が指定されたテンプレートを設定する。
画像レイアウト部702は、設定されたテンプレートに画像を設定する。テンプレートにおける画像の設定は、特に限定されないが、本実施形態では、ランダムなトリミング量で画像をレイアウトする。1枚の画像に対してトリミング量をランダムで設定することにより、ユーザに対して意外性のあるレイアウトが可能となり、自動レイアウトの効果が一層高まる。また、複数枚の画像に対して予め顔検出を行い、レイアウトに使用する画像をランダムに設定するようにしてもよい。また、個人認識などで主人公となる人物が特定できる場合は、不要な人物の顔が完全にレイアウト領域に含まれないようにトリミングしてもよい。本実施形態では、上述したように、顔の向きに応じて顔領域を設定することにより、トリミングの際の顔切れを抑制することができる。顔の検出結果そのままを利用してトリミングを制御した場合、頭部を含む顔切れ判定領域が適切に設定できないが、本実施形態では、顔の向きに応じて顔領域を設定することにより、顔を含む領域が切れてしまうのを抑制することができる。
顔切れ評価部703は、画像レイアウト部702で作成されたレイアウトにおいて、顔切れ判定領域設定部503で設定した顔切れ判定領域がテンプレート内の画像を設定する領域に全て含まれているかを判定する。テンプレートの画像領域内に顔切れ判定領域が全て収まっている場合は、顔切れが発生していないと判定する。一方、テンプレートの画像領域内に顔切れ判定領域が全て収まっていない場合は、顔切れが発生していると判定する。画像領域内で検出された全ての顔に対して顔切れ判定処理を実施し、顔切れが発生していると判断された場合は、画像レイアウトを修正して、再度顔切れ評価を行う。これを顔切れがなくなるまで処理を行う。
なお、自動レイアウト部は、画像レイアウトを作成する際に画像に対して、さらに画像の縮小などの他の処理を行うようにしてもよい。
図5を用いて、画像処理部202の動作手順を説明する。図5(a)は、画像処理部202が実行する処理のフローチャートである。
まず、画像読み込み部301により、処理する画像を読み込む(S801)。次に、顔検出部302により、読み込んだ画像に対して顔の検出処理を行う(S802)。次に、画像解析領域設定部303により、検出された顔の向きに応じて画像処理領域を設定する(S803)。
次に、画像処理実行部304により、画像解析領域設定部303で設定した顔の向きに応じて設定した画像処理領域に対して画像処理を実施する(S804)。
図5(b)は、顔の向きに応じた顔切れ判定領域の設定処理の一例を示すフローチャートである。
まず、顔検出結果読み込み部501により、顔検出部302により検出した全ての顔の検出結果を読み込む(S901)。ここでいう顔検出結果とは、検出した顔の顔領域と顔の向きである。
次に、対象顔領域・向き設定部502により、読み込んだ全ての顔検出結果のうち1つの顔検出結果の顔領域と向きを設定する(S902)。
次に、顔切れ判定領域設定部503により、対象顔領域・向き設定部502で設定された顔領域と向きから顔切れ判定領域を設定する(S903)。
次に、顔検出結果読み込み部501により、読み込んだ全検出顔に対して顔切れ判定領域設定が実施されたかを判断し、実施された場合は処理を終了する。実施されていない場合は、S902に戻って、次の顔検出結果に対して処理を実施する(S904)。
図6は、画像処理実行部304が実行するが画像処理の一例である自動レイアウトの処理フローを示す図である。
まず、テンプレート設定部701により、画像を設定する領域が指定されたテンプレートが設定される(S1001)。
次に、画像レイアウト部702により、設定されたテンプレートに画像を設定する(S1002)。
次に、顔切れ評価部703により、画像レイアウト部702で作成されたレイアウトにおいて、顔切れ判定領域設定部503で設定した顔切れ判定領域において顔切れが発生していないかを評価する(S1003)。顔切れが発生していると判定された場合には、レイアウトの修正を実施し(S1005)、S1003へ戻り、顔切れがなくなるまで同様の処理を続ける。顔切れが発生していないと判定された場合は、全ての顔切れ判定を実施したか否かを判定する(S1004)。全顔切れ判定領域に対して評価を実施したと判定した場合、処理を終了する(S1004)。全顔切れ判定領域に対して評価を実施していない場合は、S1003へ戻る。
本実施形態では、画像解析処理をする領域、すなわち、画像解析領域を顔の向きに応じて設定した。本実施形態では、顔の向きに応じて、顔切れ判定領域を適切に設定することにより、顔の向きによって変化する顔領域を加味した厳密な顔切れ判定が可能である。これにより、顔を含む領域が切れてしまうのを抑制することができ、好適なレイアウトを自動で作成することができる。自動レイアウトの顔切れ判定を例に挙げて説明したが、これに限定されるものではない。例えば、他の顔領域判定処理を行う場合なども本実施形態と同様の方法により、顔領域を設定してもよい。具体的には、例えば、複数画像の一部分重ね、文字重ね、背景ぼかし、背景との合成をする場合などの画像処理を実行する際の顔領域判定処理などが挙げられる。ここで、文字重ね処理とは、顔領域の判定処理で人物の顔が検出されなかった画像を背景画像として取得し、文字を背景画像の上に合成する処理である。また、背景ぼかし処理とは、顔領域の判定処理で検出された顔領域の検出結果に対し、顔の位置、大きさ又は向きに応じて顔に対する撮影者の注目度合いを判断し、背景のピントを変化させる処理である。また、背景との合成処理とは、顔領域の判定処理で人物の顔が検出されなかった画像を背景画像として取得し、例えば人物やオブジェクト等の挿入用画像を背景画像に合成する処理である。
(実施形態2)
実施形態1では、画像解析する領域を顔の向きに応じて設定したが、本実施形態では、画像処理を実施する領域を顔の向きに応じて設定する。なお、実施形態1と同様の構成については説明を省略する。
図7(a)は、本実施形態の画像処理部の構成の一例を示すブロック図である。本実施形態では、画像処理部は、画像処理として、美肌補正を行う。なお、美肌補正では、顔領域にスムージング処理を行う。
画像処理部は、画像読み込み部1101と、顔検出部1102と、顔向き判定部1103と、画像処理領域設定部1104と、画像処理実行部1105とを備える。
画像処理読み込み部1101は、画像ファイル名により指定された画像データをハードディスクからRAMに展開する。画像データの種類は、特に限定されないが、例えば、RGB画像である。
顔検出部1102は、RAMに展開された画像データに対してオブジェクト検出を行う。ここでは、オブジェクト検出として顔検出を行う。また、オブジェクト検出処理は、実施形態1と同様の検出処理を行ってもよいが、ここでは顔検出時に顔向きが判定できないオブジェクト検出処理を行う。本実施形態では、分岐構造なしのAdaBoostingで検出処理を行う。
顔向き判定部1103は、顔検出部1102により検出された顔領域の顔向きを判定する。ここで、図7(b)を用いて、顔検出部1102について説明する。図7(b)は、顔向き判定部の構成の一例を示すブロック図である。ここでは、検出した顔領域に対して器官検出を行い、その器官の位置関係から顔向きを判定する処理を例に挙げて説明する。
顔向き判定部1103は、顔検出結果の読み込み部1201と、顔正規化部1202と、器官検出装部1203と、器官位置関係算出部1204と、顔向き判定部1205と、を備える。
顔検出結果の読み込み部1201は、顔検出部1102により得られた顔検出結果を読み込む。ここで読み込む顔検出結果は、顔領域の矩形座標とする。ここでは、面内回転していない顔が検出された場合を例に挙げて説明するが、面内回転している顔が検出された場合も同様に処理領域を設定することができる。
顔正規化部1202は、読み込んだ検出領域と画像データから顔の回転及びサイズを正規化したトリミング画像(顔正規化画像)を生成する。まず、読み込んだ全ての顔検出結果から1つの顔検出結果を取得し、その顔検出結果から検出した顔のサイズと回転角度を算出する。そして、顔領域を画像内から抽出し、顔のサイズと回転角度から、検出した顔が所定のサイズと角度となるように適宜変更して、顔正規化画像を作成する。
器官検出部1203は、顔正規化部1202で作成した顔正規化画像から顔器官を検出する。顔器官の検出は、公知の方法を用いることができる。また、検出する器官は、特に限定されないが、ここでは、左目と右目を検出する。検出した左目と右目の結果は、顔検出結果の座標系に合わせて、顔検出結果と関連付けて保存する。器官位置関係の算出部1204は、器官検出部1203で検出した器官の位置関係を算出する。ここでは、左目と右目の距離を算出するが、他の器官を検出した場合は、他の器官の位置関係を利用してもよい。
顔向き判定部1205は、器官位置関係の算出部で算出された左目と右目の距離から顔の向きを算出する。
ここで、図7(c)を用いて器官の位置関係に基づく顔の向きの算出方法について説明する。図7(c)は、正規化後の顔サイズと左目と右目の距離を示した図である。図7(c)において、正規化後の顔の幅はFw、目と目の距離はLeとする。Leは、器官検出により算出された左目と右目の距離を示している。正面顔の目と目の距離は個人差なくほぼ一定である。そのため、正規化後の顔幅がFwになるよう処理した際の正面顔の目と目の距離Lは予め規定することができる。規定したLに対する算出したLeの距離の割合から、顔の向き(角度)Dを判定する。
D=Le/L×90(数式1)
ただし、0≦Le≦Lとする。算出した顔の向きは、顔検出結果と対応づけて保存する。
ここでは、上記Dを顔向き度とする。上述した処理を検出した全ての顔の検出結果に対して実施する。
図7(a)に戻って、画像処理領域設定部1104は、顔向き判定部1103により判定された顔の向きに応じて画像処理領域を設定する。ここで、図8を用いて、美肌補正を実行する美肌領域の設定方法について説明する。
図8(a)は、美肌領域設定の構成の一例を示すブロック図である。画像処理領域設定部1104(以下、美肌領域設定部ともいう)は、顔検出結果読み込み部1401と、検出結果設定部1402と、スムージング領域設定部1403と、を備える。
顔検出結果読み込み部1401は、顔検出部1102で検出した全ての顔検出結果を読み込む。顔検出結果として、顔検出部1102で検出された顔領域、器官検出部1203で検出された器官位置、顔向き判定部1103で算出された顔の向きが読み込まれる。
検出結果設定部1402は、顔検出結果読み込み部1401で読み込まれた全ての顔検出結果から1つの顔検出結果を設定する。ここでは、検出された顔領域と器官位置と顔向きが設定される。
スムージング領域設定部1403は、検出結果設定部1402で設定された顔領域及び顔の向きに応じて、美肌補正を実行する領域を設定する。
ここで、図8(b)を用いて、スムージング領域の設定について説明する。図8(b)は、スムージング領域設定部1403のブロック図である。本実施形態では、スムージング領域の設定は、横向き度が高いほど狭い領域を設定する。また、スムージング領域の形状を顔の向きに応じて設定(変更)する。スムージング領域は、例えば、正面の場合は円とし、横顔になるほど細い楕円になるように設定する。楕円領域の設定は公知の楕円方程式を利用することができる。
x^2/a^2+y^2/b^2=1(数式2)
xは横軸、yは縦軸とする。楕円の長軸の長さ(長径)の1/2又は短軸の長さ(短径)の1/2うち、aはxに対応するものであり、bはyに対応するものである。aとbは、検出した顔のサイズから決定する。
図8(b)は、スムージング領域の設定の説明図である。図8(b)において、点線で囲った枠1501は、顔検出時の領域を示している。正面顔のときのスムージング領域1502は、数式2でa=bとし、顔検出結果の領域に内接する円を設定する。横顔のときのスムージング領域1503として、楕円領域を設定する。このとき、楕円の中心は、例えば、器官の位置に応じて変わる。本実施形態では、目の位置に基づいて、楕円の位置を決定する。
まず、楕円を設定する。顔向き判定部1205により判定された顔向きに応じて、楕円半径aを計算する。
a=r×D/90(数式3)
rは顔検出結果に内接する円の半径とする。
次に、算出した楕円を設定する位置を算出する。検出顔領域の中心座標を(Fx、Fy)とすると、楕円の中心座標は(Fx−a、Fy)に設定する。
また、上述した処理領域(ここではスムージング領域)は、顔領域が処理対象の画像の端部近傍であった場合、処理対象の画像からはみ出ないように設定する。
本実施形態では、さらに、スムージング領域内部に補正強度を設定する。その際、顔の向きに応じて補正強度を設定する。
図8(c)は顔向きを考慮した補正強度分布を示す図である。1601は、正面顔のスムージング領域に対して設定する補正強度分布を示している。図に示す通り、補正強度は、グラデーションになっており、黒が濃いほど補正量を多く設定し、白に近づくほど補正量を少なく設定する。1602は、顔が向かって左側に向いた顔のスムージング領域に対して設定する補正強度分布を示している。頭部内側に向かうほど補正量が多くなるように設定する。
本実施形態では、上述したように、スムージング処理の際に、横向き度が高いほど狭い領域を処理領域として設定することにより、適切な領域にスムージング処理を行うことができる。
図7に戻って、画像処理実行部1105は、画像処理領域設定部1104により設定された画像処理領域に対して画像処理を実施する。本実施形態では、設定した美肌補正領域に対して美肌補正を実施する。
図9は、画像処理実行部1105(以下、美肌補正処理部ともいう)の構成の一例を示すブロック図である。画像処理実行部1105は、スムージング領域読み込み部1701と、スムージング強度設定部1702と、スムージング処理部1703と、を備える。
スムージング領域読み込み部1701は、スムージング領域設定部1403により設定されたスムージング領域を読み込む。
スムージング強度設定部1702は、スムージングを行う強度を設定する。スムージングを行う強度は、例えば、ユーザが設定することができる。具体的には、ディスプレイ104に美肌補正を行う専用のアプリケーションを表示させ、ユーザ操作により設定可能とする。美肌補正を行う専用のアプリケーションには、処理強度設定項目が設けられており、入力装置105のマウスやキーボードなどを用いて、補正強度を設定するようにすればよい。
スムージング処理部1703は、設定されたスムージング領域に対してスムージング処理を行う。スムージング処理は、公知の方法を用いることができるが、本実施形態では、フィルタ処理によりスムージング処理を行う。このときの強度設定は、スムージング強度設定部1702で設定された強度と、スムージング領域設定部1403で設定された領域に含まれる補正量から設定する。スムージング強度設定部1702により設定された強度により、スムージング時のフィルタサイズを設定し、スムージング領域設定時に含まれる強度分布はスムージング画像とオリジナル画像のブレンド率として設定する。スムージング画像とオリジナル画像を補正量に応じて合成することにより、補正領域の境界での画像劣化が軽減され、画質を向上させることができる。
図10は、本実施形態の画像処理部が実行する処理フローである。
まず、画像読み込み部1101により、処理する画像を読み込む(S1801)。
次に、顔検出部1102により、読み込んだ画像に対して顔検出処理を行う(S1802)。次に、顔向き判定部1103により、検出された顔領域から顔の向きを判定する(S1803)。
次に、画像処理領域設定部1104により、顔向き判定部1103により判定された顔の向きに応じて画像処理の領域を設定する。本実施形態では、美肌のスムージング領域を設定する(S1804)。
次に、画像処理実行部1105により、画像処理領域設定部1104で設定された領域に対してスムージング処理を行い美肌補正を実行する(S1805)。
ここで、図11を用いて顔向き判定部1103が実行する処理について説明する。図11は、顔向き判定部1103が実行する処理フローを示す図である。
まず、顔検出結果読み込み部1201により、顔検出部1102により検出された全顔検出結果を読み込む(S1901)。
次に、顔正規化部1202により、読み込んだ検出領域と画像データから顔の回転及びサイズを正規化したトリミング画像(顔正規化画像)を生成する(S1902)。
次に、器官検出部1203により、顔正規化部1202で作成した顔正規化画像から顔器官を検出する。ここで器官検出により、左目と右目を検出する。(S1903)。
次に、器官位置関係算出部1204により、器官検出部1203で検出した器官の位置関係を算出する。ここでは、左目と右目の距離を算出する(S1904)。
次に、顔向き判定部1205により、器官位置関係算出部1204で算出された左目と右目の距離から顔の向きを算出する(S1905)。
次に、検出した全ての顔に対して顔向き判定を実施したか否かを判定する(S1906)。全ての顔に対して顔向き判定が終了していない場合は、S1902に戻る。一方、全ての顔に対して顔向き判定が終了した場合は、処理を終了する。このようにして、検出した全ての顔に対して顔向き判定を行うまで処理を続ける。
ここで、図12(a)を用いて美肌領域設定部が実行する処理について説明する。図12(a)は、美肌領域設定部が実行する処理フローを示す図である。
まず、顔検出結果読み込み部1401により、顔検出部1102で検出した全ての顔領域を読み込む(S2001)。
次に、検出結果設定部1402により、顔検出結果読み込み部1401で設定された全ての顔検出結果から1つの顔検出結果を設定する(S2002)。
次に、スムージング領域設定部1403により、検出結果設定部1402で設定された顔領域と顔の向きに応じて美肌補正を実行する領域を設定する(S2003)。
そして、検出した全ての顔に対してスムージング領域設定を実施したか否かを判定する(S2004)。全ての顔に対してスムージング領域設定が終了していない場合は、S2002に戻る。一方、全ての顔に対してスムージング領域設定が終了した場合は、処理を終了する。このようにして、スムージング領域設定を検出した全顔に対して行うまで処理を続ける。
図12(b)は、美肌補正処理の詳細フローチャートの一例である。
まず、スムージング領域読み込み部1701により、スムージング領域設定部1403により設定されたスムージング領域を読み込む(S2101)。
次に、スムージング強度設定部1702により、スムージングを行う強度を設定する(S2102)。
次に、スムージング処理部1703により、設定されたスムージング領域に対してスムージング処理を行う(S2103)。
そして、全ての顔に対してスムージング処理(美肌補正処理)を実施したか否かを判定する(S2104)。全ての顔に対してスムージング処理が終了していない場合は、S2103に戻る。一方、全ての顔に対してスムージング処理が終了した場合は、処理を終了する。このようにして、全領域に対してスムージング処理を行うまで処理を続ける。
本実施形態によれば、算出した顔の向きに応じて美肌補正領域を設定することにより、顔領域外の誤補正を抑えて好適な補正をすることができる。具体的には、横向き度が高くなるほど補正領域を狭く設定する。これは、横顔の場合は器官の数など顔領域の特定に利用できる特徴が少なくなるため、横顔のときに画像処理すべき領域を特定する精度が低下する可能性があるためである。すなわち、正面の顔領域を特定する際の精度と比較して、横向きの顔領域を特定する際の精度が低下することを考慮して、より確実に顔(ここでは、肌)とされる領域に画像処理を行うためである。
さらに、補正領域の設定時に顔の向きに応じて補正強度のパターンを制御することにより、より好適な補正をすることができる。
本実施形態では、顔領域にスムージング処理を行う美肌補正を例に挙げて説明したが、画像処理はこれに限定されるものではない。例えば、他の補正処理を行う場合なども本実施形態と同様の方法により、顔領域を設定してもよい。例えば、顔領域を明るくする「顔明るく補正」、顔領域にエッジ強調処理を行う「顔くっきり補正」などの顔領域に対する補正処理でもよい。また、例えば、顔領域を小さくする「小顔補正」など、顔領域に対する補正処理であってもよい。また、顔の輪郭を補正する「輪郭補正」などの顔領域に対する補正処理であってもよい。なお、ここでいう補正処理とは、例えば、画素を変更する処理である。本実施形態では、ユーザが手入力で顔領域を指定した場合でも器官検出を行うことで顔向きが判定できるので、顔向きを考慮した画像処理領域を設定できる。なお、本実施形態では、器官検出を器官検出部1203により行ったが、ユーザが器官の位置を指定して入力するようにしてもよい。
(実施形態3)
本実施形態では、顔領域及び顔の向きを含む顔情報をデータベースに格納し、画像処理実行時にデータベースから顔情報を読み出して、画像処理領域を設定し画像処理を実施する。なお、実施形態1や2と同様の構成については説明を省略する。図13は、本実施形態に係る画像処理部の構成の一例を示すブロック図である。
本実施形態における画像処理部は、画像読み込み部1101、顔検出部1102、顔向き判定部1103を備える。さらに、顔情報保存部2201、処理画像読み込み部2202、顔情報読み込み部2203、画像処理内容設定部2204、処理別画像処理領域設定部2205、処理別画像処理実行部2206を備える。なお、実施形態1や実施形態2と同様の番号を付しているものは、同様の機能を有しているので説明を省略する。
顔情報保存部2201は、顔検出部1102で検出された顔位置と、顔向き判定部1103で判定された顔向きが入力され、画像読み込み部1101で画像を読み込む際に指定された画像ファイル名と関連付けて顔情報として保存する。これを顔情報を解析する全ての画像に対して実行する。
処理画像読み込み部2202は、画像ファイル名で指定された画像を読み込む。
顔情報読み込み部2203は、処理画像読み込み部2202で設定された画像ファイル名に基づいて、顔情報保存部2201で保存された顔情報を読み込む。顔情報は、顔位置情報と顔向きである。
画像処理内容設定部2204は、処理画像読み込み部2202で設定された画像に対して実行する画像処理内容が設定される。本実施形態では、自動レイアウト、美肌補正など処理する画像処理内容が設定される。画像処理内容の設定は、例えば、ユーザ操作に基づいて設定すればよい。専用の画像処理アプリケーションで画像処理を実行する際に、指定した画像に対して実行する画像処理を選択する画面を設け、ユーザに画像処理を選択させるようにする。
処理別画像処理領域設定部2205は、顔情報読み込み部2203から読み込んだ顔情報に基づいて、画像処理内容設定部2204により設定された画像処理内容に応じた画像処理領域を設定する。指定した画像を用いて自動レイアウトを行う場合は、顔情報に基づいて顔切れ判定領域を設定する。美肌補正を行う場合は、顔情報に基づいて美肌領域を設定する。画像処理領域は、画像処理内容と顔の向きに応じて設定される。
処理別画像処理実行部2206は、画像処理領域設定部2205で設定された画像処理領域に対して、画像処理内容設定部2204で設定された画像処理を実施する。
図14は、本実施形態に係る画像処理部が実行する処理フローである。顔領域及び顔の向きを含む顔情報をデータベースに蓄え、画像処理実行時にデータベースから読みだした顔情報を利用して、画像処理領域を設定し画像処理を実施する。
まず、画像読み込み部1101により、画像ファイル名により指定された画像を読み込む(S1801)。
次に、顔検出部1102により、読み込んだ画像に対して顔検出処理を行い、顔領域を取得する(S1802)。
次に、顔向き判定部1103により、検出された顔領域から顔の向きを判定する(S1803)。
次に、顔情報保存部2201により、顔検出部1102により検出された顔領域と顔向き判定部1103により判定された顔向きを、画像ファイル名に関連付けて保存する(S2301)。
S1803及びS2301を検出した全ての顔に対して行ったかを判定する(S2302)。更に、予め設定された全画像ファイルに対して顔情報をデータベースに登録する処理を行ったかを判定し、未終了の場合は残りの画像ファイルに対して同様の処理を行う(S2303)。
次に、処理画像読み込み部2202により、画像ファイル名で指定された画像を読み込む(S2304)。
次に、顔情報読み込み部2203により、処理画像読み込み部2202で設定された画像ファイル名に基づいて、顔情報保存部2201で保存された顔情報を読み込む(S2305)。
次に、画像処理内容設定部2204により、処理画像読み込み部2202で設定された画像に対して、画像処理内容が設定される(S2306)。
次に、処理別画像処理領域設定部2205により、画像処理内容設定部2204により設定された画像処理内容に応じて、顔情報読み込み部2203から読み込んだ顔情報に基づいて、画像処理領域を設定する(S2307)。
最後に、処理別画像処理実行部2206により、画像処理領域設定部2205で設定された画像処理領域に対して、画像処理内容設定部2204で設定された画像処理を実施する(S2308)。
本実施形態では、画像処理実行時に予め蓄積したデータベースから顔情報を利用して、画像処理領域を設定し、当該画像処理領域に対して画像処理を実施する。このように、データベースの顔領域を流用して、画像処理の内容に応じて画像処理領域を設定することができる。すなわち、データベースに蓄積された顔領域及びその向きの顔情報に基づいて画像処理の内容に応じて画像処理領域を設定することにより、画像処理毎に適した顔検出に切り替える、言い換えれば、画像処理の度に顔検出を行う必要がなくなるため処理システムを効率化することができる。また、顔情報は、画像処理の内容に寄らず一定であるため、データベースに保存するデータ量の軽減、顔検出及び顔向き判定に要する処理時間を短縮することができる。
(他の実施形態)
本発明の基本的構成は上述したものに限定されるものではない。上述した実施形態は、本発明の効果を得るための一手段であり、類似の別手法を用いたり、異なるパラメータを用いたとしても、本発明と同等の効果が得られる場合は、本発明の範疇に含まれる。例えば、処理領域は、円や矩形に限定されるものではなく、三角形等の他の形状であってもよい。
上述した実施形態では、画像処理装置としてコンピュータを例に挙げて説明したが、これに限定されるものではない。例えば、プリンタ、複写機、ファクシミリ装置、携帯電話、PDA、画像ビューワー、デジタルカメラ、などの画像処理を行う装置において、本発明を適用可能である。
また、本発明は、複数の機器(例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタ等)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、プリンタ、複写機、ファクシミリ装置等)に適用しても良い。
上述した実施形態は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(CPUやMPU等)がプログラムを読み出して実行する処理である。また、プログラムは、1つのコンピュータで実行させても、複数のコンピュータを連動させて実行させるようにしてもよい。また、上記した処理の全てをソフトウェアで実現する必要はなく、一部又は全部をハードウェアによって実現するようにしてもよい。

Claims (11)

  1. 画像の顔領域における顔の向きを示す情報を取得する取得手段と、
    前記取得手段により取得した顔の向きを示す情報に基づいて、前記画像において画像処理を実施する処理領域を設定する設定手段と、
    前記設定手段により設定された領域に対して画像処理を行う画像処理手段と、
    を有することを特徴とする画像処理装置。
  2. 前記設定手段は、前記顔領域のサイズに基づいて、前記処理領域を設定することを特徴とする請求項1に記載の画像処理装置。
  3. 前記画像の顔領域における顔の向きを判定する判定手段をさらに備え、
    前記判定手段は、顔の向きを少なくとも2つ以上に分類することを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記画像から顔領域を検出する検出手段をさらに備えることを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。
  5. 前記検出手段は、顔領域の検出と共に当該顔領域における顔の向きの判定を行うことを特徴とする請求項4に記載の画像処理装置。
  6. 前記設定手段は、顔の向きに応じて、処理領域のサイズ及び処理領域の形状の少なくとも一つを変更することを特徴とする請求項1〜5のいずれか1項に記載の画像処理装置。
  7. 前記画像処理が画像の解析処理の場合は、前記設定手段は、前記顔の向きが正面を基準としたときの横向き度が高いほど狭い領域を設定することを特徴とする請求項1〜6のいずれか1項に記載の画像処理装置。
  8. 前記画像処理が領域判定処理の場合は、前記設定手段は、前記顔の向きが正面を基準としたときの横向き度が高いほど広い領域を設定することを特徴とする請求項1〜7のいずれか1項に記載の画像処理装置。
  9. 前記画像処理が補正処理の場合は、前記設定手段は、前記顔の向きが正面を基準としたときの横向き度が高いほど狭い領域を設定することを特徴とする請求項1〜8のいずれか1項に記載の画像処理装置。
  10. 画像の顔領域における顔の向きを示す情報を取得する取得工程と、
    前記取得工程において取得した顔の向きを示す情報に基づいて、前記画像において画像処理を実施する処理領域を設定する設定工程と、
    前記設定工程において設定された領域に対して画像処理を行う画像処理工程と、
    を有することを特徴とする画像処理方法。
  11. 請求項10に記載の画像処理方法をコンピュータにより実行させるためのプログラム。
JP2013137044A 2013-06-28 2013-06-28 画像処理装置、画像処理方法、及びプログラム Active JP6188452B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013137044A JP6188452B2 (ja) 2013-06-28 2013-06-28 画像処理装置、画像処理方法、及びプログラム
US14/314,951 US20150003681A1 (en) 2013-06-28 2014-06-25 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013137044A JP6188452B2 (ja) 2013-06-28 2013-06-28 画像処理装置、画像処理方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2015011555A true JP2015011555A (ja) 2015-01-19
JP2015011555A5 JP2015011555A5 (ja) 2016-08-12
JP6188452B2 JP6188452B2 (ja) 2017-08-30

Family

ID=52115642

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013137044A Active JP6188452B2 (ja) 2013-06-28 2013-06-28 画像処理装置、画像処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US20150003681A1 (ja)
JP (1) JP6188452B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018026768A (ja) * 2016-08-12 2018-02-15 キヤノン株式会社 撮像装置とその制御方法及びプログラム
CN107958220A (zh) * 2017-12-06 2018-04-24 杭州魔点科技有限公司 一种基于人脸识别的人脸库压缩处理方法及其智能装置
JP2019220130A (ja) * 2018-06-15 2019-12-26 カシオ計算機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US11100615B2 (en) 2018-06-15 2021-08-24 Casio Computer Co., Ltd. Image processing device, image processing method, and image processing program

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6440937B2 (ja) * 2013-12-24 2018-12-19 株式会社東芝 情報対応付け装置、その方法及びそのプログラム
JP6432197B2 (ja) * 2014-07-31 2018-12-05 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
CN114296622B (zh) * 2020-09-23 2023-08-08 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007026387A (ja) * 2005-07-21 2007-02-01 Fujifilm Holdings Corp アルバム画像作成装置、及びアルバム画像作成プログラム
JP2008225720A (ja) * 2007-03-12 2008-09-25 Fujifilm Corp 画像トリミング装置および方法並びにプログラム
JP2010049578A (ja) * 2008-08-22 2010-03-04 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2010272109A (ja) * 2009-04-20 2010-12-02 Fujifilm Corp 画像処理装置、画像処理方法およびプログラム
JP2012222387A (ja) * 2011-04-04 2012-11-12 Panasonic Corp 撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005100084A (ja) * 2003-09-25 2005-04-14 Toshiba Corp 画像処理装置及び方法
US7391445B2 (en) * 2004-03-31 2008-06-24 Magix Ag System and method of creating multilayered digital images in real time
US20050276481A1 (en) * 2004-06-02 2005-12-15 Fujiphoto Film Co., Ltd. Particular-region detection method and apparatus, and program therefor
JP2006319714A (ja) * 2005-05-13 2006-11-24 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム
JP4780104B2 (ja) * 2005-06-03 2011-09-28 株式会社ニコン 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置
CN100472556C (zh) * 2005-10-09 2009-03-25 欧姆龙株式会社 特定被摄体检测装置及方法
JP2009081714A (ja) * 2007-09-26 2009-04-16 Olympus Imaging Corp 撮像装置および撮像装置における顔領域決定方法
US8406515B2 (en) * 2009-06-24 2013-03-26 Hewlett-Packard Development Company, L.P. Method for automatically cropping digital images
KR102062310B1 (ko) * 2013-01-04 2020-02-11 삼성전자주식회사 전자 장치에서 헤드 트래킹 기술을 이용하여 제어 서비스를 제공하기 위한 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007026387A (ja) * 2005-07-21 2007-02-01 Fujifilm Holdings Corp アルバム画像作成装置、及びアルバム画像作成プログラム
JP2008225720A (ja) * 2007-03-12 2008-09-25 Fujifilm Corp 画像トリミング装置および方法並びにプログラム
JP2010049578A (ja) * 2008-08-22 2010-03-04 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2010272109A (ja) * 2009-04-20 2010-12-02 Fujifilm Corp 画像処理装置、画像処理方法およびプログラム
JP2012222387A (ja) * 2011-04-04 2012-11-12 Panasonic Corp 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
佐藤 一: "臨場感通信会議を対象とした実画像ベースの人物顔画像生成法の提案", 画像電子学会誌 第30巻 第2号, vol. 第30巻 第2号, JPN6017013981, 25 March 2001 (2001-03-25), JP, pages 103 - 110, ISSN: 0003587550 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018026768A (ja) * 2016-08-12 2018-02-15 キヤノン株式会社 撮像装置とその制御方法及びプログラム
CN107958220A (zh) * 2017-12-06 2018-04-24 杭州魔点科技有限公司 一种基于人脸识别的人脸库压缩处理方法及其智能装置
JP2019220130A (ja) * 2018-06-15 2019-12-26 カシオ計算機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US11100615B2 (en) 2018-06-15 2021-08-24 Casio Computer Co., Ltd. Image processing device, image processing method, and image processing program
JP7110899B2 (ja) 2018-06-15 2022-08-02 カシオ計算機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Also Published As

Publication number Publication date
US20150003681A1 (en) 2015-01-01
JP6188452B2 (ja) 2017-08-30

Similar Documents

Publication Publication Date Title
JP6188452B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US10872420B2 (en) Electronic device and method for automatic human segmentation in image
US9639914B2 (en) Portrait deformation method and apparatus
US9928601B2 (en) Automatic segmentation of hair in images
US9483835B2 (en) Depth value restoration method and system
US8879847B2 (en) Image processing device, method of controlling image processing device, and program for enabling computer to execute same method
EP3767520B1 (en) Method, device, equipment and medium for locating center of target object region
US9443325B2 (en) Image processing apparatus, image processing method, and computer program
US8295593B2 (en) Method of detecting red-eye objects in digital images using color, structural, and geometric characteristics
US8923610B2 (en) Image processing apparatus, image processing method, and computer readable medium
CN110458855B (zh) 图像提取方法及相关产品
JP2007034723A (ja) 顔画像検出装置、顔画像検出方法および顔画像検出プログラム
US20200210688A1 (en) Image data processing system and method
CN112396050B (zh) 图像的处理方法、设备以及存储介质
US20090285457A1 (en) Detection of Organ Area Corresponding to Facial Organ Image in Image
JP2007025900A (ja) 画像処理装置、画像処理方法
US11704807B2 (en) Image processing apparatus and non-transitory computer readable medium storing program
US11715197B2 (en) Image segmentation method and device
CN111768405A (zh) 处理标注图像的方法、装置、设备和存储介质
JP2006018467A (ja) 画像処理装置及び方法
JP2009237616A (ja) 画像における顔領域の検出
JP2007026308A (ja) 画像処理方法、画像処理装置
JP2006133941A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び携帯型端末
JP2009237941A (ja) 隆線領域抽出装置、隆線領域抽出システム、隆線領域抽出方法、およびプログラム
CN111753722B (zh) 一种基于特征点类型的指纹识别方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160624

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170801

R151 Written notification of patent or utility model registration

Ref document number: 6188452

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151