JP2011139329A - 画像処理装置、及び、画像加工プログラム - Google Patents
画像処理装置、及び、画像加工プログラム Download PDFInfo
- Publication number
- JP2011139329A JP2011139329A JP2009298445A JP2009298445A JP2011139329A JP 2011139329 A JP2011139329 A JP 2011139329A JP 2009298445 A JP2009298445 A JP 2009298445A JP 2009298445 A JP2009298445 A JP 2009298445A JP 2011139329 A JP2011139329 A JP 2011139329A
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- person
- processing content
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】画像処理装置1は、画像データ41を記憶する画像データ記憶部100と、DBデータ42を記憶する加工用データ記憶部200と、画像データ41が表す画像に写る人物の種別を特定する種別特定部300と、種別特定部300が特定した種別に対応付けられたアート加工の加工内容を決定する加工内容決定部500と、加工内容決定部500が決定した加工内容に従って、画像に写るその人物の人物画像を絵画調に変換するアート加工部600と、アート加工部600が絵画調の画像に変換した画像を出力する画像出力部700と、を備える。
【選択図】図2
Description
このようなデジタルフォトフレームには、一般にスライドショー機能が搭載されており、複数の画像を順次切り替えて表示できるようになっている。その際、表示する画像をより効果的に見せるために、装飾を画像に施したり、視覚的効果を切り替え前後の画像に施すなどの加工処理も行われている。
これにより、ユーザは、パーソナルコンピュータ等を用いることなく、このようなデジタルフォトフレームだけで、手軽に画像を鑑賞することができる。
画像データが表す画像に写る人物の種別を特定する種別特定手段と、
前記種別特定手段が特定した前記種別に対応付けられたアート加工の加工内容を決定する加工内容決定手段と、
前記加工内容決定手段が決定した前記加工内容に従って、前記人物の人物画像を絵画調の画像に変換するアート加工手段と、
前記アート加工手段により絵画調に変換された画像を出力する画像出力手段と、
を備えることを特徴とする。
画像データが表す画像に写る複数の人物を顔認識する顔認識手段と、
前記顔認識手段が認識した前記各人物に応じて異なるアート加工の加工内容を、当該加工内容を決定するための手法を定めた決定ルールに従って決定する加工内容決定手段と、
前記加工内容決定手段が決定した前記加工内容に従って、前記人物の人物画像を絵画調の画像に変換するアート加工手段と、
前記アート加工手段により絵画調に変換された画像を出力する画像出力手段と、
を備えることを特徴とする。
コンピュータに、
画像データが表す画像に写る人物の種別を特定する種別特定ステップと、
前記種別特定ステップが特定した前記種別に対応付けられたアート加工の加工内容を決定する加工内容決定ステップと、
前記加工内容決定ステップが決定した前記加工内容に従って、前記人物の人物画像を絵画調の画像に変換するアート加工ステップと、
前記アート加工ステップにより絵画調に変換された画像を出力する画像出力ステップと、
を行わせることを特徴とする。
コンピュータに、
画像データが表す画像に写る複数の人物を顔認識する顔認識ステップと、
前記顔認識ステップが認識した前記各人物に応じて異なるアート加工の加工内容を、当該加工内容を決定するための手法を定めた決定ルールに従って決定する加工内容決定ステップと、
前記加工内容決定ステップが決定した前記加工内容に従って、前記人物の人物画像を絵画調の画像に変換するアート加工ステップと、
前記アート加工ステップにより絵画調に変換された画像を出力する画像出力ステップと、
を行わせることを特徴とする。
図1は、本発明の実施形態に係る画像処理装置1のハードウェア構成の一例を示す模式図である。なお、後述する第1実施形態及び、第2実施形態における画像処理装置1は、以下のハードウェア構成によって実現される。
図示するように、画像処理装置1は、CPU(Central Processing Unit)10と、ROM(Read Only Memory)20と、RAM(Random Access Memory)30と、外部記憶装置40と、入力装置50と、表示装置60と、印刷装置70と、通信I/F80と、を備えている。
このようなプログラム21は、ROM20以外に記録されていてもよい。例えば、持ち運び可能な記憶媒体等に記録されていてもよい。
この記憶媒体は、一例として、CD−ROM(Compact Disk Read Only Memory)、DVD−ROM(Digital Versatile Disk Read Only Memory)、ハードディスクドライブ、又は、フラッシュメモリ等からなる。
また、プログラム21は、持ち運び可能な記憶媒体から各種の読取装置を介して画像処理装置1にインストールされてもよい。また、プログラム21は、インターネット等のネットワークから通信I/F80を介して画像処理装置1にダウンロード及びインストールされてもよい。更に、プログラム21は、画像処理装置1と通信可能なサーバ等の記憶装置に格納されて、CPU10への指示を行ってもよい。
このようなプログラム21を記憶した読み取り可能な記憶媒体は、コンピュータが読み取り可能なプログラム製品となる。
なお、外部記憶装置40内において、複数の画像データ41が記憶されており、各画像データ41が、例えば、アルバム単位の画像フォルダに分けて保存されているものとする。つまり、各アルバム(各画像フォルダ)には、関連した複数の画像データ41がそれぞれ格納されている。
具体的に説明すると、画像処理装置1は、画像データ41が表す画像に写る人物の種別(年齢、性別、人種)を特定し、その特定した種別を連想させる絵画調の画像へと人物画像を変換するための加工内容を決定する。そして、決定した加工内容に従って、画像データ41が表す画像に写るその人物画像を絵画調の画像に変換する。
以下、このようなアート加工を行うことを特徴とする画像処理装置1について、図面を参照して説明する。図2は、本発明の第1実施形態に係る画像処理装置1の機能構成を示すブロック図である。
この種別・加工対応テーブル201は、画像データ41が表す画像に写る人物の種別に対応するアート加工(絵画調変換)の内容を指定するためのテーブルである。この種別・加工対応テーブル201における加工内容は、それぞれがその人物の種別を連想させるアート加工の内容となっている。
すなわち、図3の種別・加工対応テーブル201において、幼児と色鉛筆風との対応は、幼児がよく色鉛筆で絵を描くため、色鉛筆風の加工内容が、幼児を連想させるものとなっている。また、男性と油絵風との対応は、油絵が絵の具を塗り重ねる絵画技法なので、油絵風の加工内容が、力強い男性を連想させるものとなっている。一方、女性と水彩画風との対応は、水彩画が透明感のある絵なので、水彩画風の加工内容が、女性を連想させるものとなっている。
そして、日本人と日本画風との対応は、日本画風の加工内容が、当然日本人を連想させるものであり、一方、西洋人と西洋画風との対応は、西洋画風の加工内容が、当然西洋人を連想させるものとなっている。
なお、このような対応関係は、一例であり、人物の種別とアート加工との組み合わせを適宜変更・追加してもよい。
具体的に種別特定部400は、画像データ41が表す画像から、特徴点を検出して人物の顔領域を抽出する。つまり、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等の特徴点を検出することにより、人物の顔領域を抽出する。そして、種別特定部400は、顔領域における各器官の特徴や、各器官の大きさやバランス等の構成から、その人物の年齢や性別を特定する。また、種別特定部400は、抽出した顔領域を含む肌の色あいや輝度の分布等から、その人物の人種を特定する。
例えば、加工内容決定部500は、人物の種別が幼児であると特定された場合に、種別・加工対応テーブル201に従って、加工内容を色鉛筆風と決定する。この他にも、例えば、人物の種別が西洋人であると特定された場合に、加工内容決定部500は、種別・加工対応テーブル201に従って、加工内容を西洋画風と決定する。
具体的にアート加工部600は、画像の輪郭成分の画素値を平均化して、滑らかな模様を有する画像にするための平均化処理、陰影を強調するための暗度強調処理、及び、輝度の階調の中間調を少なくし、画像の濃淡の差を強調する輝度補正処理等を行い、人物画像を絵画調の画像に変換する。なお、これらの処理は、画像処理におけるフィルタ演算(フィルタを用いた演算)により行われる。そして、フィルタのパラメータは、変換する絵画調の種類に応じて適宜設定されている。
このようなフィルタによる画像変換は、一例として、アドビ・システムズ社のPHOTOSHOP(登録商標)における各種フィルタ(色鉛筆、水彩画、・・・)と同様の処理を行っている。そのため、アート加工部600は、例えば、変換する絵画調が色鉛筆風である場合に、色鉛筆風のパラメータが設定されたフィルタ演算を行うことにより、人物画像を色鉛筆風の画像に変換する。この他にも、例えば、変換する絵画調が西洋画風である場合に、アート加工部600は、西洋画風のパラメータが設定されたフィルタ演算を行うことにより、人物画像を西洋画風の画像に変換する。
例えば、画像出力部700は、画像に写る人物の種別が幼児である場合に、図4(a)に示すような幼児である人物画像P1が色鉛筆風にアート加工(絵画調変換)された画像を出力する。この他にも、例えば、画像出力部700は、画像に写る人物の種別が西洋人である場合に、図4(b)に示すような西洋人である人物画像P2が西洋画風にアート加工された画像を出力する。
このため、図4(a)の画像を見たユーザは、人物画像P1が色鉛筆風にアート加工されているため、その加工内容から、その人物が幼児であることをより明確に連想し、また、図4(b)の画像を見たユーザは、人物画像P2が西洋画風にアート加工されているため、その加工内容から、その人物が西洋人であることをより明確に連想することになる。すなわち、アート加工により、人物の種別(年齢、性別、人種)の特徴を際立たせて出力することができる。
なお、各処理は、上述したROM20内のプログラム21として予め記憶されており、CPU10がプログラム21を読み出して実行することで、各処理が行われるものとする。
図5のアート加工処理は、第1実施形態に係る画像処理装置1のメイン処理であり、例えば、ユーザによる入力装置50への操作を契機として開始される。
まず、画像データ読み出し部300は、画像データ記憶部100に記憶された画像データ41を読み出す(ステップS11)。
例えば、種別特定部400は、まず、画像データ41が表す画像から顔領域を抽出する。つまり、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等の特徴点を検出することにより、顔領域を抽出する。そして、種別特定部400は、抽出した顔領域から年齢や性別を特定する。つまり、顔領域における各器官の特徴や、各器官の大きさやバランス等の構成から、その人物の年齢や性別を特定する。また、種別特定部400は、抽出した顔領域から人種を特定する。つまり、顔領域を含む肌の色合いや輝度の分布等から、その人物の人種を特定する。
例えば、加工内容決定部500は、人物の種別が幼児であると特定された場合に、種別・加工対応テーブル201に従って、加工内容を色鉛筆風と決定し、また、人物の種別が西洋人であると特定された場合に、加工内容を西洋画風と決定する。
図6の絵画調変換処理において、まず、アート加工部600は、加工対象領域を決定する(ステップS21)。つまり、画像データ41が表す画像に写る人物の範囲を、上述した種別特定部400が抽出した顔領域を基準として求め、その範囲を加工対象領域として決定する。なお、その際、顔領域をそのまま加工対象領域として決定してもよく、また、顔領域を元に、所定範囲まで広げた領域を加工対象領域として決定してもよく、更に、顔領域の周囲をそれぞれ輪郭抽出し、顔領域からその人物全体まで広げた領域を加工対象領域として決定してもよい。
例えば、加工内容が色鉛筆風と決定されている場合に、アート加工部600は、RAM30に保存した人物画像(コピー)に対して、色鉛筆風のパラメータが設定されたフィルタ演算を行い、その人物画像を色鉛筆風に変換する。この他にも、例えば、加工内容が洋画風と決定されている場合に、アート加工部600は、RAM30に保存した人物画像に対して、西洋画風のパラメータが設定されたフィルタ演算を行い、その人物画像を西洋画風に変換する。
そして、アート加工部600は、図6の絵画調変換処理を終える。
例えば、画像出力部700は、上述した図4(a),(b)に示すような人物画像P1,P2がアート加工された画像を出力する。つまり、色鉛筆風の人物画像P1や西洋画風の人物画像P2にアート加工された画像を出力する。
このため、図4(a)の画像を見たユーザは、人物画像P1の加工内容から、その人物が幼児であることをより明確に連想し、また、図4(b)の画像を見たユーザは、人物画像P2の加工内容から、その人物が西洋人であることをより明確に連想することになる。
なお、図4(a),(b)では、画像に写る人物が1人の場合を示しているが、画像に写る人物が複数の場合は、各人物画像について、上記の絵画調変換処理により、それぞれ絵画調の画像に変換されるものとする。その際、例えば、画像に写る各人物が何れも幼児である場合に、図7(a)に示すように、人物画像P1,P2がそれぞれ色鉛筆風に絵画調変換されて出力される。また、例えば、画像に写る各人物が西洋人(P3)と幼児(P4)とである場合に、図7(b)に示すように、西洋人である人物画像P3が西洋人風に絵画調変換され、そして、幼児である人物画像P4が色鉛筆風に絵画調変換されて出力される。つまり、画像に写る各人物の種別に応じて、同一若しくは、異なる絵画調の画像へと各人物画像がそれぞれ変換されて出力される。
すなわち、第1実施形態に係る発明では、画像データ41が表す画像に写る人物画像を、その人物の種別(年齢、性別、人種)を連想させる絵画調の画像へと変換する。例えば、画像に写る人物が幼児である場合には、その幼児を連想させる色鉛筆風の画像へと変換する。これにより、本願の第1実施形態に係る発明は、特許文献1の技術に比べ、画像に写る人物の種別(年齢、性別、人種)の特徴を際立たせることができるという優位点がある。
また、このように画像に写る人物画像をその人物の種別を連想させる絵画調の画像へと変換することにより、第1実施形態に係る発明は、面白みのある画像を生成することができる。
更に、加工内容として、絵画調の種類だけでなく、その絵画調におけるより詳細な内容を定めるようにしてもよい。例えば、同じ種類の絵画調の画像への変換においても、その絵画調におけるタッチ(筆触)の粗さ等を適宜変更できるようにしてもよい。具体的には、人物画像等を鉛筆スケッチ画風に変換する際に、粗く書くか、又は、細かく書くか等までを変更可能とすることで、変換後の画像の雰囲気をより細かく変えることができる。
上記の第1実施形態では、種別・加工対応テーブル201に従って、人物画像等の加工内容を決定する場合について説明した。しかしながら、このような種別・加工対応テーブル201以外の条件や基準等に従って、人物画像の加工内容を決定してもよい。例えば、異なる加工内容を定めた各種の決定ルールに従って、人物画像等の加工内容を決定してもよ。
以下、このように、各種の決定ルールに従って、人物画像等の加工内容を決定することを特徴とする画像処理装置1について、図面を参照して説明する。図8は、本発明の第2実施形態に係る画像処理装置1の機能構成を示すブロック図である。
例えば、画像データ記憶部110内において、複数の画像データ41が記憶され、各画像データ41が、例えば、アルバム単位の画像フォルダに分けて保存されているものとする。つまり、各アルバム(各画像フォルダ)には、関連した複数の画像データ41がそれぞれ格納されている。
また、図9(a)における主要人物フラグは、その画像IDの画像において、その顔IDの人物が主要人物であるか(TRUE)、主要人物でないか(FALSE)を示している。この主要人物であるかどうかは、後述するように、各画像におけるその人物(顔)の大きさやその人物の位置が集計されて判別される。なお、詳細については、後述する。
点描とは、絵画において線ではなく点の集合や非常に短いタッチで表現することを示している。また、パステルとは、パステル (Pastel) を使用した絵画のように表現することを示している。そして、イラストは、形式よりも題材に主眼を置いて表現することを示している。
また、図10(b)に示す顔別加工指定テーブル213は、画像データ41が表す画像に写る人物(人物画像)に施すアート加工の内容を、顔別に指定するテーブルである。つまり、画像IDと顔IDに、絵画調の種類、及び、その絵画調におけるタッチの程度が対応付けられている。
例えば、顔認識部410は、各画像データ41が表す画像について、画像中に含まれ得る複数の顔領域を抽出し、それぞれを顔認識手法により識別する。例えば、顔認識部410は、画像から、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等の特徴点を検出することにより、人物の顔領域を抽出する。そして、これら各端点や輪郭点等の特徴点を顔特徴点情報として管理し、同一人物には、同一の識別子(顔ID)を付しながら、全ての画像に写っている各人物をそれぞれ識別する。
また、顔認識部410は、各人物について、属性(性別、主要人物フラグ)を判別する。例えば、顔認識部410は、上述した特許文献1(特開2007−280291号公報)等に記載された手法を用いて、顔領域における各器官の特徴や、各器官の大きさやバランス等の構成から、各人物の性別を特定する。また、顔認識部410は、後述する人物属性判別処理を行って、各画像におけるその人物(顔)の大きさやその人物の位置を集計して、主要人物であるかどうかを判別する。そして、顔認識部410は、上述した図9(a)の顔DB211における性別に、男性/女性の性別を設定し、また、主要人物フラグにTRUE(主要人物である)/FALSE(主要人部でない)を設定する。
なお、このような顔DB211における性別、主要人物フラグは、ユーザが自由に設定できるようにしてもよい。
例えば、加工内容決定部510は、画像別(つまり、各画像データ41が表す画像全体)に施すアート加工の加工内容を決定し、また、各画像に写っている各人物(各人物画像)別に施すアート加工の加工内容を決定する。
例えば、アート加工部610は、画像別の加工内容が格納された画像別加工指定テーブル212に従って、画像データ41が表す画像全体を絵画調の画像に変換する。また、顔別の加工内容が格納された顔別加工指定テーブル213に従って、画像に写る各人物について各人物画像を絵画調の画像に変換する。
具体的にアート加工部610は、上述した第1実施形態のアート加工部600と同様に、フィルタ演算(フィルタを用いた演算)により、画像データ41が表す画像全体及び、画像に写る各人物画像を絵画調の画像に変換する。例えば、図14(a)に示すような画像(加工前)にアート加工を施し、図14(b)に示すような画像(加工後)に変換する。 すなわち、アート加工部610は、図14(b)のように、画像全体にアート加工を施すと共に、画像に写る各人物画像について、異なる種類のアート加工を施す。一例として、人物画像P1には油絵画風、人物画像P2には水彩画風、そして、人物画像P3には色鉛筆画風というように、人物画像ごとに異なる種類のアート加工が施されている。
なお、後述する絵画調変換処理にて説明する様に、加工前の人物画像をRAM30内に保存しており、画像全体をアート加工した画像に、RAM30内の人物画像についてアート加工したものを上書きするため、画像全体のアート加工に影響なく、個々の顔別のアート加工が適切に行われる。
なお、各処理は、上述したROM20内のプログラム21として予め記憶されており、CPU10がプログラム21を読み出して実行することで、各処理が行われるものとする。
図15のアート加工スライドショー処理は、第2実施形態に係る画像処理装置1のメイン処理であり、例えば、ユーザによる入力装置50への操作を契機として開始される。
具体的に、顔認識部410は、各画像データ41が表す画像について、その画像中に含まれ得る複数の顔領域を抽出し、それぞれを顔認識手法により識別する。そして、顔領域における各器官の特徴や、各器官の大きさやバランス等の構成から、各人物の性別を特定する。また、顔認識部410は、顔認識した各人物について、画像内における顔の位置(x、y)及び、顔の大きさ(幅、高さ)を取得し、その人物が主要人物であるか否かを判別する。
そして、顔認識部410は、これらの顔領域の抽出及び、顔認識にて得た情報を上述した図9(a)の顔DB211に格納する。つまり、顔DB211における画像IDに対応付けて、顔の識別子(顔ID)、画像内における顔の位置(x、y)、顔の大きさ(幅、高さ)、性別、及び、主要人物フラグを格納する。
そして、加工内容決定部510は、決定した加工内容を、上述した図10(a)の画像別加工指定テーブル212へ保存する。つまり、画像IDに対応付けて、加工内容となる絵画調の種類及びタッチ(筆触)の程度を格納する。
なお、この顔別加工内容決定処理の詳細については、アート加工スライドショー処理の説明を終えた後に説明する。
なお、絵画調変換処理の詳細については、最後に説明する。
一方、終了指示があったと判別した場合(ステップS106;Yes)に、画像処理装置1は、アート加工スライドショー処理を終える。
それでは、メイン処理となるアート加工スライドショー処理の説明を一通り終えたため、上述したステップS103における顔別加工内容決定処理の詳細を、図16〜図20のフローチャートを適宜参照して説明する。これら図16〜図20における各顔別加工内容決定処理は、上述した図13に示す決定ルールテーブル216の各決定ルールに対応している。
まず、決定ルール1には、上述したように、人物(顔)別にアート加工の内容を予め登録しておく手法が定められている。この決定ルール1に沿った場合には、図16の顔別加工内容決定処理が各画像(各画像データ41が表す画像)に写る各人物に対してそれぞれ実行される。この図16の顔別加工内容決定処理において、まず、加工内容決定部510は、画像に写る人物(対象となる人物)について、顔認識部410と同様に、顔領域から特徴点(眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点等)を抽出する(ステップS201)。
その後、加工内容決定部510は、決定ルール1に対応する顔別加工内容決定処理を終える。つまり、上述した図15のアート加工スライドショー処理のステップS104に処理を戻す。
また、決定ルール2には、上述したように、人物別にランダムにアート加工の内容を割り当てる手法が定められている。この決定ルール2に沿った場合には、各画像(各画像データ41が表す画像)に写る各人物に対してそれぞれランダムに加工内容が決定される。
つまり、加工内容決定部510は、加工内容をランダムに1つ選択し、その加工内容を、顔別加工指定テーブル213に保存する。つまり、対応する画像IDの顔IDについて、決定した絵画調の種類及び、タッチの程度を格納する。
その後、上述した図15のアート加工スライドショー処理のステップS104に処理を戻す。
また、決定ルール3には、上述したように、同じ人物に同じアート加工の内容を割り当てる手法が定められている。この決定ルール3に沿った場合には、図17の顔別加工内容決定処理が各画像(各画像データ41が表す画像)に写る各人物に対してそれぞれ実行される。この図17の顔別加工内容決定処理において、まず、加工内容決定部510は、画像に写る人物(対象となる人物)に対する加工指定を、顔別加工指定テーブル213から検索する(ステップS301)。すなわち、顔別加工指定テーブル213から、同じ顔IDの情報を全て検索する。
ここで、検索した各顔IDについて、同一の加工内容が既に設定されていると判別すると(ステップS302;Yes)、加工内容決定部510は、現在対象となっている顔IDに対する加工指定を、当該同一の加工内容に決定する(ステップS303)。
その後、加工内容決定部510は、決定ルール3に対応する顔別加工内容決定処理を終え、図15のアート加工スライドショー処理のステップS104に処理を戻す。
また、決定ルール4には、上述したように、同じ人物に異なるアート加工の内容を割り当てる手法が定められている。この決定ルール4に沿った場合には、図18の顔別加工内容決定処理が各画像(各画像データ41が表す画像)に写る各人物に対してそれぞれ実行される。この図18の顔別加工内容決定処理において、まず、加工内容決定部510は、画像に写る人物(対象となる人物)に対する加工指定を、顔別加工指定テーブル213から検索する(ステップS401)。すなわち、顔別加工指定テーブル213から、同じ顔IDの情報を全て検索する。
その後、加工内容決定部510は、決定ルール4に対応する顔別加工内容決定処理を終え、図15のアート加工スライドショー処理のステップS104に処理を戻す。
また、決定ルール5には、上述したように、その人物が主要人物かどうかに応じて、アート加工の内容を割り当てる手法が定められている。この決定ルール5に沿った場合には、図19の顔別加工内容決定処理が各画像(各画像データ41が表す画像)に写る各人物に対してそれぞれ実行される。この図19の顔別加工内容決定処理において、まず、加工内容決定部510は、画像に写る人物(対象となる人物)の顔IDを図9(a)の顔DB211から検索する(ステップS501)。
その後、加工内容決定部510は、決定ルール5に対応する顔別加工内容決定処理を終える。つまり、上述した図15のアート加工スライドショー処理のステップS104に処理を戻す。
また、決定ルール6には、上述したように、性別に応じて、アート加工の内容を割り当てる手法が定められている。この決定ルール6に沿った場合には、各画像(各画像データ41が表す画像)に写る各人物に対して、顔DB211の性別に応じた加工内容が決定される。
つまり、上述した図19の顔別加工内容決定処理と同様に、画像に写る人物(対象となる人物)の顔IDを顔DB211から検索し、その性別に応じた加工内容を決定する。つまり、女性であれば、対象人物の加工指定を、予め定められた女性用の加工内容に決定すし、逆に、男性であれば、対象人物の加工指定を、予め定められた男性用の加工内容に決定する。そして、決定した加工内容を、顔別加工指定テーブル213に保存する。
その後、上述した図15のアート加工スライドショー処理のステップS104に処理を戻す。
また、決定ルール7には、上述したように、アバタに関する情報を画像処理装置1に登録している場合に、そのアバタの情報を参照してアート加工の内容を割り当てる手法が定められている。この決定ルール7に沿った場合には、図20の顔別加工内容決定処理が各画像(各画像データ41が表す画像)に写る各人物に対してそれぞれ実行される。この図20の顔別加工内容決定処理において、まず、加工内容決定部510は、上述した図12のアバタ情報テーブル215を読み出す(ステップS601)。なお、このアバタ情報テーブル215が、加工用データ記憶部210に記憶された場合について説明しているが、アバタ情報テーブル215がWebサイト等に格納されている場合には、上述した通信I/F80を介してネットワークに接続し、目的のWebサイトにアクセスして読み出すようにしてもよい。
ここで、類似するものが特定できない(何れかの絵画調にも類似しない)と判別すると(ステップS605;No)、加工内容決定部510は、顔別加工内容決定処理を終える。
その後、加工内容決定部510は、決定ルール7に対応する顔別加工内容決定処理を終え、図15のアート加工スライドショー処理のステップS104に処理を戻す。
なお、その際、図22(b)に示すように、人物P1の楕円el1と、人物P2の楕円el2とが重なる場合には、各矩形sq1,sq2の中心からの距離D1,D2が等しくなる線上に境界設け、その境界に沿って加工対象領域となる楕円el1を補正する。すなわち、このような加工対象領域からコピーした人物画像がRAM30内に保される。
ここで、変数mの値が画像内の顔個数以下であると判別すると(ステップS706;No)、ステップS703に処理を戻し、上述したステップS703〜S706の処理を再度実行する。
これにより、画像全体への絵画調変換に影響なく、個々の人物画像に対する絵画調変換が適切に行われる。
特に、画像における自分や家族・友人の顔は、ユーザが最も注目する領域であり、そこに多彩な変化を加えることは他の部分に視覚効果等を加えるよりも効果が大きい。
また、顔認識から得られる属性(性別や主要人物フラグ)を使うことで、上述したような様々なアート加工の決定ルールが適用可能になっている。そのため、例えば、アルバム内の主要人物(旅行のアルバムを一例とすると、一緒に旅行に行ったグループ)のみを、絵画調変換して際立たせ、たまたま写り込んだ人物(通行人等)には何ら加工しない、といった熟達した加工も可能となる。
この結果、変化に富んだ面白みのある画像を生成することができる。
Claims (10)
- 画像データが表す画像に写る人物の種別を特定する種別特定手段と、
前記種別特定手段が特定した前記種別に対応付けられたアート加工の加工内容を決定する加工内容決定手段と、
前記加工内容決定手段が決定した前記加工内容に従って、前記人物の人物画像を絵画調の画像に変換するアート加工手段と、
前記アート加工手段により絵画調に変換された画像を出力する画像出力手段と、
を備えることを特徴とする画像処理装置。 - 年齢、性別、及び、人種の少なくとも1つを含む前記種別と、当該各種別に対応する絵画調の種類を含む加工内容との関係を規定する加工テーブルを更に備え、
前記記種別特定手段は、年齢、性別、及び、人種の少なくとも何れかの1つの種別を特定し、
前記加工内容決定手段は、前記加工テーブルを参照し、前記種別特定手段が特定した前記種別に対応する前記絵画調への加工内容を決定する、
ことを特徴とする請求項1に記載の画像処理装置。 - 画像データが表す画像に写る複数の人物を顔認識する顔認識手段と、
前記顔認識手段が認識した前記各人物に応じて異なるアート加工の加工内容を、当該加工内容を決定するための手法を定めた決定ルールに従って決定する加工内容決定手段と、
前記加工内容決定手段が決定した前記加工内容に従って、前記人物の人物画像を絵画調の画像に変換するアート加工手段と、
前記アート加工手段により絵画調に変換された画像を出力する画像出力手段と、
を備えることを特徴とする画像処理装置。 - 前記加工内容決定手段は、更に、前記画像データが表す画像全体に対するアート加工の加工内容を決定し、
前記アート加工手段は、前記加工内容決定手段が決定した前記画像全体に対する前記加工内容に従って、更に、前記画像データが表す画像全体を絵画調の画像に変換する、
ことを特徴とする請求項3に記載の画像処理装置。 - 前記決定ルールには、同じ人物に異なる加工内容を割り当てるように、加工内容を決定する手法が定められている、
ことを特徴とする請求項3に記載の画像処理装置。 - 前記決定ルールには、前記人物が主要人物であるか否かに応じて異なる加工内容を割り当てるように、加工内容を決定する手法が定められている、
ことを特徴とする請求項3に記載の画像処理装置。 - 前記決定ルールには、前記人物の性別に応じて異なる加工内容を割り当てるように、加工内容を決定する手法が定められている、
ことを特徴とする請求項3に記載の画像処理装置。 - 前記決定ルールには、登録されているアバタに関する情報に基づいて加工内容を割り当てるように、加工内容を決定する手法が定められている、
ことを特徴とする請求項3に記載の画像処理装置。 - コンピュータに、
画像データが表す画像に写る人物の種別を特定する種別特定ステップと、
前記種別特定ステップが特定した前記種別に対応付けられたアート加工の加工内容を決定する加工内容決定ステップと、
前記加工内容決定ステップが決定した前記加工内容に従って、前記人物の人物画像を絵画調の画像に変換するアート加工ステップと、
前記アート加工ステップにより絵画調に変換された画像を出力する画像出力ステップと、
を行わせることを特徴とする画像加工プログラム。 - コンピュータに、
画像データが表す画像に写る複数の人物を顔認識する顔認識ステップと、
前記顔認識ステップが認識した前記各人物に応じて異なるアート加工の加工内容を、当該加工内容を決定するための手法を定めた決定ルールに従って決定する加工内容決定ステップと、
前記加工内容決定ステップが決定した前記加工内容に従って、前記人物の人物画像を絵画調の画像に変換するアート加工ステップと、
前記アート加工ステップにより絵画調に変換された画像を出力する画像出力ステップと、
を行わせることを特徴とする画像加工プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009298445A JP5434582B2 (ja) | 2009-12-28 | 2009-12-28 | 画像処理装置、及び、画像加工プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009298445A JP5434582B2 (ja) | 2009-12-28 | 2009-12-28 | 画像処理装置、及び、画像加工プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013257083A Division JP5742919B2 (ja) | 2013-12-12 | 2013-12-12 | 画像処理装置及び画像加工プログラム並びに画像加工方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011139329A true JP2011139329A (ja) | 2011-07-14 |
JP5434582B2 JP5434582B2 (ja) | 2014-03-05 |
Family
ID=44350294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009298445A Expired - Fee Related JP5434582B2 (ja) | 2009-12-28 | 2009-12-28 | 画像処理装置、及び、画像加工プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5434582B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013025697A (ja) * | 2011-07-25 | 2013-02-04 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
JP2013042301A (ja) * | 2011-08-12 | 2013-02-28 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
JP2013115673A (ja) * | 2011-11-30 | 2013-06-10 | Casio Comput Co Ltd | 画像処理装置、画像処理方法、及びプログラム |
JP2013178841A (ja) * | 2013-06-18 | 2013-09-09 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
JP2014175704A (ja) * | 2013-03-06 | 2014-09-22 | Nec Corp | 表示装置、表示方法、及び、プログラム |
US9092889B2 (en) | 2011-10-31 | 2015-07-28 | Casio Computer Co., Ltd. | Image processing apparatus, image processing method, and program storage medium |
US10311323B2 (en) | 2011-09-28 | 2019-06-04 | Casio Computer Co., Ltd. | Image processing apparatus for converting image in characteristic region of original image into image of brushstroke patterns |
JP7448879B2 (ja) | 2020-02-27 | 2024-03-13 | ブラザー工業株式会社 | 画像生成方法、システム、および、コンピュータプログラム |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000293702A (ja) * | 1999-04-06 | 2000-10-20 | Sharp Corp | 似顔絵作成装置、似顔絵作成方法及び該方法を実行するためのプログラムを記録した記憶媒体 |
JP2005250716A (ja) * | 2004-03-03 | 2005-09-15 | Canon Inc | 画像処理システム |
JP2007019671A (ja) * | 2005-07-05 | 2007-01-25 | Nec Corp | 画像通信システム及び画像処理プログラム |
JP2007094840A (ja) * | 2005-09-29 | 2007-04-12 | Fujifilm Corp | 画像処理装置、及び画像処理方法 |
JP2007257237A (ja) * | 2006-03-23 | 2007-10-04 | Niigata Seimitsu Kk | 画像処理装置 |
JP2008084213A (ja) * | 2006-09-28 | 2008-04-10 | Sony Corp | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP2010066844A (ja) * | 2008-09-09 | 2010-03-25 | Fujifilm Corp | 動画コンテンツの加工方法及び装置、並びに動画コンテンツの加工プログラム |
JP2010177992A (ja) * | 2009-01-29 | 2010-08-12 | Nikon Corp | 画像加工装置およびデジタルカメラ |
JP2011135424A (ja) * | 2009-12-25 | 2011-07-07 | Casio Computer Co Ltd | 画像処理装置及び画像処理プログラム |
JP2011138240A (ja) * | 2009-12-28 | 2011-07-14 | Casio Computer Co Ltd | 画像処理装置、及びプログラム |
JP2011139225A (ja) * | 2009-12-28 | 2011-07-14 | Casio Computer Co Ltd | 画像処理システム、画像処理装置、画像処理方法、及び、プログラム |
JP2011138272A (ja) * | 2009-12-28 | 2011-07-14 | Casio Computer Co Ltd | 画像処理装置、及び、画像加工プログラム |
-
2009
- 2009-12-28 JP JP2009298445A patent/JP5434582B2/ja not_active Expired - Fee Related
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000293702A (ja) * | 1999-04-06 | 2000-10-20 | Sharp Corp | 似顔絵作成装置、似顔絵作成方法及び該方法を実行するためのプログラムを記録した記憶媒体 |
JP2005250716A (ja) * | 2004-03-03 | 2005-09-15 | Canon Inc | 画像処理システム |
JP2007019671A (ja) * | 2005-07-05 | 2007-01-25 | Nec Corp | 画像通信システム及び画像処理プログラム |
JP2007094840A (ja) * | 2005-09-29 | 2007-04-12 | Fujifilm Corp | 画像処理装置、及び画像処理方法 |
JP2007257237A (ja) * | 2006-03-23 | 2007-10-04 | Niigata Seimitsu Kk | 画像処理装置 |
JP2008084213A (ja) * | 2006-09-28 | 2008-04-10 | Sony Corp | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP2010066844A (ja) * | 2008-09-09 | 2010-03-25 | Fujifilm Corp | 動画コンテンツの加工方法及び装置、並びに動画コンテンツの加工プログラム |
JP2010177992A (ja) * | 2009-01-29 | 2010-08-12 | Nikon Corp | 画像加工装置およびデジタルカメラ |
JP2011135424A (ja) * | 2009-12-25 | 2011-07-07 | Casio Computer Co Ltd | 画像処理装置及び画像処理プログラム |
JP2011138240A (ja) * | 2009-12-28 | 2011-07-14 | Casio Computer Co Ltd | 画像処理装置、及びプログラム |
JP2011139225A (ja) * | 2009-12-28 | 2011-07-14 | Casio Computer Co Ltd | 画像処理システム、画像処理装置、画像処理方法、及び、プログラム |
JP2011138272A (ja) * | 2009-12-28 | 2011-07-14 | Casio Computer Co Ltd | 画像処理装置、及び、画像加工プログラム |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013025697A (ja) * | 2011-07-25 | 2013-02-04 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
CN103092501A (zh) * | 2011-07-25 | 2013-05-08 | 卡西欧计算机株式会社 | 图像处理装置以及图像处理方法 |
US9020260B2 (en) | 2011-07-25 | 2015-04-28 | Casio Computer Co., Ltd. | Image processing apparatus, image processing method and recording medium |
JP2013042301A (ja) * | 2011-08-12 | 2013-02-28 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
US10311323B2 (en) | 2011-09-28 | 2019-06-04 | Casio Computer Co., Ltd. | Image processing apparatus for converting image in characteristic region of original image into image of brushstroke patterns |
US9092889B2 (en) | 2011-10-31 | 2015-07-28 | Casio Computer Co., Ltd. | Image processing apparatus, image processing method, and program storage medium |
JP2013115673A (ja) * | 2011-11-30 | 2013-06-10 | Casio Comput Co Ltd | 画像処理装置、画像処理方法、及びプログラム |
JP2014175704A (ja) * | 2013-03-06 | 2014-09-22 | Nec Corp | 表示装置、表示方法、及び、プログラム |
JP2013178841A (ja) * | 2013-06-18 | 2013-09-09 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
JP7448879B2 (ja) | 2020-02-27 | 2024-03-13 | ブラザー工業株式会社 | 画像生成方法、システム、および、コンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5434582B2 (ja) | 2014-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5434582B2 (ja) | 画像処理装置、及び、画像加工プログラム | |
JP5956860B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP6071289B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6012310B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP5981789B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US9336442B2 (en) | Selecting images using relationship weights | |
US10573041B2 (en) | Rear image candidate determination device, rear image candidate determination method, and rear image candidate determination program | |
US10719965B2 (en) | Image combination apparatus, image combination method, and image combination program | |
JP6012309B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2006331393A (ja) | アルバム作成装置、アルバム作成方法、及びプログラム | |
JP6031278B2 (ja) | 情報処理装置及びその制御方法及びプログラム | |
JP2006318449A (ja) | アルバム作成装置、アルバム作成方法、及びプログラム | |
JP2006279929A (ja) | アルバム作成装置、アルバム作成方法、及びプログラム | |
JP5527592B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP6282065B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2014016821A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5594282B2 (ja) | 画像処理装置 | |
JP2011186715A (ja) | 写真画像評価方法、及び写真画像評価装置 | |
JP5212352B2 (ja) | 画像処理装置、及びプログラム | |
JP2004240622A (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
JP5742919B2 (ja) | 画像処理装置及び画像加工プログラム並びに画像加工方法 | |
JP7451242B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7446877B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN114529624A (zh) | 一种图像色彩匹配方法、系统及图像生成方法和系统 | |
JP2005050051A (ja) | レイアウトシステム及びレイアウトプログラム並びにレイアウト方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130108 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130820 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131010 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131125 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5434582 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |