JP2019046239A - 画像処理装置、画像処理方法、プログラム及び合成用画像データ - Google Patents

Abstract

【課題】実写画像に対して漫画や絵画等の画風を容易に転写することが可能な画像処理装置等を提供する。【解決手段】コンピュータは、撮像画像から被写体の顔領域を検出し、検出した顔領域から各器官の位置を検出する。コンピュータは、撮像画像から検出した顔領域や各器官位置に類似する顔領域を有するキャラクタ画像を選択する。コンピュータは、撮像画像から、選択したキャラクタ画像に相当するクロップ領域を特定し、特定したクロップ領域における各器官位置を、キャラクタ画像における各器官位置に一致させるために、クロップ領域に行うべきアフィン変換に用いる変換行列を算出する。そしてコンピュータは、撮像画像からクロップ領域を抽出し、抽出したクロップ領域に対して、算出した変換行列によるアフィン変換を行い、アフィン変換後の撮像画像にキャラクタ画像に基づく補正処理を行う。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、プログラム及び合成用画像データに関する。

人を撮影して得られた画像に各種の画像処理を行うことにより、種々の画像を生成する技術が用いられている。特許文献１には、画像中の顔領域に対してエッジフィルタや色調補正等の画像処理を行うことにより、実写画像から漫画のキャラクタ風の画像を生成するシステムが開示されている。また近年、画像に対して漫画や絵画等の画風を転写する技術が開発されている（例えば、非特許文献１参照）。

特開２００６−１１４０２４号公報

Jing Liao、外４名、「Visual Attribute Transfer through Deep Image Analogy」、（米国）、SIGGRAPH 2017、2017年6月

特許文献１に開示されたシステムでは、実写画像を漫画のキャラクタ風にデフォルメした画像は得られるが、漫画の画風が転写（再現）された画像は得られない。一方、非特許文献１に開示された技術では、実写画像に対して、被写体の構造を残しつつ、参照する漫画や絵画等の画風を転写することができる。しかし、例えば、人の顔画像に対して、漫画や絵画等に描かれたキャラクタや人物の顔画像の画風を転写することは難しい。この場合、元の顔画像（実写画像）と、漫画や絵画等のキャラクタや人物の顔画像とにおいて、顔の向き、顔の各器官の位置関係等、顔の構造をある程度一致させておく必要がある。よって、異なる顔画像の間で画風を転写することは容易ではない。

本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、実写画像に対して漫画や絵画等の画風を容易に転写することが可能な画像処理装置等を提供することにある。

本発明の一態様に係る画像処理装置は、入力画像から特徴量を抽出する抽出部と、前記抽出部が抽出した特徴量に基づいて、前記入力画像と類似するキャラクタ画像を、複数のキャラクタ画像を記憶する記憶部に基づいて選択する選択部と、前記選択部が選択した前記キャラクタ画像及び前記入力画像に基づいて、前記入力画像又は前記キャラクタ画像に対して変換処理を行う変換部と、前記入力画像を前記キャラクタ画像に基づいて補正する補正部とを備えることを特徴とする。

本発明の一態様にあっては、実写画像に対して漫画や絵画等の画風を容易に転写することができる。

実施形態１に係るコンピュータの構成例を示すブロック図である。 制御部によって実現される機能を示すブロック図である。 制御部が行う処理の説明図である。 制御部が行う処理の説明図である。 制御部が行う処理の説明図である。 制御部が行う処理の説明図である。 コンピュータが行う画像処理の手順を示すフローチャートである。 実施形態２に係る撮影装置の構成例を示すブロック図である。 実施形態２の撮影装置の制御部によって実現される機能を示すブロック図である。 実施形態２の撮影装置の制御部が行う処理の説明図である。 撮影装置が行う画像処理の手順を示すフローチャートである。

以下、図面を用いて、実施の形態を具体的に説明する。

（実施形態１）
図１は、実施形態１に係るコンピュータの構成例を示すブロック図である。
コンピュータ１は、例えばパーソナルコンピュータ、スマートフォン、タブレット端末等である。コンピュータ１は、制御部１０、記憶部１１、操作部１２、表示部１３及び通信部１４等を含み、これらの各部はバスを介して相互に接続されている。
制御部１０は、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro-Processing Unit）等のプロセッサを含む。制御部１０は、記憶部１１に記憶してある制御プログラムを適宜実行することにより、コンピュータ１が行う種々の情報処理、制御処理等を行う。

記憶部１１は、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等である。記憶部１１は、制御部１０が実行する制御プログラム、及び制御プログラムの実行に必要な各種のデータを予め記憶している。また記憶部１１は、制御部１０が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。記憶部１１に記憶される制御プログラムには、本開示のプログラムである画像処理プログラムＰが含まれ、記憶部１１に記憶されるデータには、キャラクタ画像データベース（以下、キャラクタ画像ＤＢという）が含まれる。
キャラクタ画像ＤＢには、例えば、漫画、絵本、映画等の登場人物、絵画等に描かれている人物等のキャラクタや人物の顔領域の画像（図４参照）が複数登録されている。以下では、キャラクタ画像ＤＢに登録されている画像（キャラクタ等の顔画像）をキャラクタ画像という。

操作部１２は、例えばキーボード、マウス等を含み、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１０へ送出する。
表示部１３は、例えば液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等であり、制御部１０からの指示に従って各種の情報を表示する。
操作部１２及び表示部１３は、一体として構成されたタッチパネルとすることもできる。

通信部１４は、インターネット等のネットワークに接続するためのインタフェースであり、ネットワークを介して情報の送受信を行う。例えば、コンピュータ１は、通信部１４を介して外部装置から画像処理プログラムＰ及びキャラクタ画像ＤＢを取得して記憶部１１に記憶する。なお、コンピュータ１は、可搬型記憶媒体に記憶された情報を読み取る読取部等を備え、可搬型記憶媒体から画像処理プログラムＰ及びキャラクタ画像ＤＢを読み出して記憶部１１に記憶するようにしてもよい。
本実施形態では、コンピュータ１に、本開示のプログラムである画像処理プログラムＰ
をインストールし、制御部１０が画像処理プログラムＰを実行することにより、コンピュータ１が本開示の画像処理装置として動作する。

次に、コンピュータ１の制御部１０が画像処理プログラムＰを実行することによって実現される機能について説明する。図２は、制御部１０によって実現される機能を示すブロック図、図３乃至図６は、制御部１０が行う処理の説明図である。
コンピュータ１の制御部１０は、記憶部１１に記憶してある画像処理プログラムＰを実行した場合、顔検出部２１、器官検出部２２、キャラクタ画像選択部２３、画像変換部２８、画風転写部２９の各機能を実現する。なお、本実施形態では、上述した各機能を制御部１０が画像処理プログラムＰを実行することにより実現するが、上述した各機能の一部を専用のハードウェア回路で実現してもよい。また、上述した各機能を実現するための各プログラムをまとめて画像処理プログラムＰという。

顔検出部２１は、撮像画像（入力画像、画像データ）から被写体の人の顔領域を検出する。処理対象の撮像画像は記憶部１１に記憶されている。なお、撮像画像は、通信部１４を介して外部装置から取得して記憶部１１に記憶されてもよく、可搬型記憶媒体から読み出されて記憶部１１に記憶されてもよい。また、コンピュータ１にカメラが内蔵されている場合、又はコンピュータ１にカメラの接続が可能である場合、カメラで取得して記憶部１１に記憶された撮像画像であってもよい。
顔検出部２１は、例えばテンプレートマッチング技術によって撮像画像中の顔領域を検出する。具体的には、一般的な人の顔の画像を示すテンプレートが予め記憶部１１に記憶されており、顔検出部２１は、撮像画像からテンプレートに一致する領域を検出した場合、検出した領域を顔領域として抽出する。例えば、図３Ａに示す撮像画像では、図３Ｂで実線の矩形枠で囲った領域が顔領域Ｆとして検出される。

器官検出部２２は、顔検出部２１が検出した顔領域から、顔に含まれる器官の位置を検出する。器官検出部２２は、例えば目、鼻、口、眉毛、顔の輪郭を検出するが、これらに限らない。まず、器官検出部２２は、例えばテンプレートマッチング技術によって各器官の領域を検出する。具体的には、一般的な人の各器官（目、鼻、口、眉毛）の画像を示すテンプレートが予め記憶部１１に記憶されており、器官検出部２２は、顔領域からテンプレートに一致する領域を検出した場合、検出した領域を各器官の領域とする。そして、器官検出部２２は、検出した各器官の領域に基づいて、顔領域における各器官の位置を示す情報（顔領域における座標値）を抽出する。例えば、図３Ｂに示す顔領域Ｆでは、検出した目の位置として、黒目の中心位置Ｅ１，Ｅ２の座標値が抽出される。また、検出した鼻の位置として、鼻の先端Ｎの座標値が抽出され、検出した口の位置として、口の左右端Ｍ１，Ｍ２の座標値が抽出される。
なお、一般的な人の顔領域に対する各器官の相対位置を示す情報を予め記憶部１１に記憶しておき、器官検出部２２は、顔検出部２１が検出した顔領域に対して、記憶部１１に記憶された情報に基づいて各器官の位置を検出してもよい。

キャラクタ画像選択部２３は、キャラクタ画像ＤＢに記憶されているキャラクタ画像から、撮像画像中の人の顔領域及び各器官の位置に類似するキャラクタ画像を選択する。キャラクタ画像選択部２３は、属性判定部２４、絞り込み部２５、類似度算出部２６及び選択部２７を含む。
属性判定部２４は、顔検出部２１が検出した顔領域の人の属性を判定する。例えば、顔検出部２１が撮像画像中の顔領域を検出する際に用いるテンプレートは、性別、年齢層等を含む人の属性に対応付けて記憶部１１に記憶されている。よって、顔検出部２１が撮像画像中の顔領域を検出した場合、属性判定部２４は、顔検出部２１が顔領域を検出する際に用いたテンプレートに対応する属性を記憶部１１から読み出し、撮像画像中の人の属性とすることができる。また、器官検出部２２が顔領域中の各器官を検出する際に用いるテ
ンプレートが人の属性に対応付けて記憶されている場合、属性判定部２４は、器官検出部２２が各器官を検出する際に用いたテンプレートに対応する属性を記憶部１１から読み出し、撮像画像中の人の属性としてもよい。

絞り込み部２５は、キャラクタ画像選択部２３（選択部２７）が選択すべきキャラクタ画像を、属性判定部２４で判定された属性のキャラクタ画像に絞り込む。キャラクタ画像ＤＢには、キャラクタの性別及び年齢層等の属性に対応付けて複数のキャラクタ画像が登録されている。よって、絞り込み部２５は、属性判定部２４が判定した属性に対応するキャラクタ画像を、キャラクタ画像ＤＢに登録されているキャラクタ画像から選択してキャラクタ画像ＤＢから読み出す。

類似度算出部２６は、撮像画像中の顔領域と、絞り込み部２５が絞り込んだ各キャラクタ画像との類似度を算出する。類似度算出部２６は特徴量抽出部２６ａを含む。
特徴量抽出部２６ａは、撮像画像中の顔領域における特徴量と、絞り込み部２５が絞り込んだキャラクタ画像のそれぞれにおける特徴量とを抽出する。類似度算出部２６は、特徴量抽出部２６ａが抽出した撮像画像中の顔領域における特徴量と、それぞれのキャラクタ画像における特徴量との類似度をそれぞれ算出する。

類似度算出部２６は、絞り込み部２５が絞り込んだキャラクタ画像のそれぞれについて以下の処理を行う。なお、キャラクタ画像は図４に示すようにキャラクタ等の顔画像であるので、以下ではキャラクタの顔画像という。
まず、特徴量抽出部２６ａは、器官検出部２２が検出した撮像画像中の各器官の位置と、キャラクタの顔画像における各器官の位置とに基づいて、撮像画像中の、キャラクタの顔画像に相当する領域（クロップ領域）を特定する。図５Ａに示す撮像画像では、実線の矩形枠で囲った領域がクロップ領域Ｃとして特定される。また特徴量抽出部２６ａは、特定したクロップ領域における各器官の位置と、キャラクタの顔画像における各器官の位置とを一致させるために、クロップ領域に行うべきアフィン変換（例えば拡大処理、縮小処理、回転処理）に用いる変換行列を算出する。なお、キャラクタの顔画像における各器官の位置の情報は、予めキャラクタ画像と共にキャラクタ画像ＤＢに記憶されている。キャラクタ画像ＤＢに記憶されていない場合、キャラクタの顔画像に対して顔検出部２１が顔領域を検出し、器官検出部２２が各器官を検出することにより、キャラクタの顔画像における各器官の位置を検出すればよい。

次に、特徴量抽出部２６ａは、撮像画像から、特定したクロップ領域を抽出し、抽出したクロップ領域に対して、特定した変換行列によるアフィン変換を行う。図５Ｂは、図５Ａに示す撮像画像から抽出され、アフィン変換が行われた後のクロップ領域Ｃを示す。上述した処理により、撮像画像からキャラクタの顔画像に相当するクロップ領域Ｃが抽出され、抽出されたクロップ領域Ｃにおける各器官の位置（配置位置）を、キャラクタの顔画像における各器官の位置（配置位置）に一致させることができる。

特徴量抽出部２６ａは、上述したようにアフィン変換を行った後のクロップ領域Ｃ（図５Ｂ参照）における各器官の位置に関する特徴量を抽出する。また、特徴量抽出部２６ａは、キャラクタの顔画像（図４参照）についても各器官の位置に関する特徴量を抽出する。なお、キャラクタの顔画像における特徴量は、予めキャラクタ画像と共にキャラクタ画像ＤＢに記憶されていてもよい。この場合、特徴量抽出部２６ａは、撮像画像中の顔領域（クロップ領域Ｃ）における特徴量のみを抽出すればよい。
類似度算出部２６は、上述したように特徴量抽出部２６ａが抽出したクロップ領域Ｃにおける特徴量と、キャラクタの顔画像における特徴量との類似度として、例えばＬ２距離を算出する。類似度算出部２６は、絞り込み部２５が絞り込んだ全てのキャラクタ画像について、撮像画像中の顔領域（クロップ領域Ｃ）との類似度を算出する。

特徴量抽出部２６ａは、上述したように顔領域の各器官の位置に基づく特徴量のほかに、ニューラルネットワークを用いて顔領域の特徴量を抽出してもよい。この場合にも、特徴量抽出部２６ａは、撮像画像から抽出すべきクロップ領域Ｃを特定し、クロップ領域Ｃに行うべきアフィン変換に用いる変換行列を特定する。そして、特徴量抽出部２６ａは、アフィン変換を行った後のクロップ領域Ｃ（撮像画像中の顔領域）の特徴量を示す特徴マップを学習済みのＣＮＮ（Convolution Neural Network）にて抽出する。また、特徴量抽出部２６ａは、絞り込み部２５が絞り込んだキャラクタ画像のそれぞれの特徴量を示す特徴マップを学習済みのＣＮＮにて抽出する。この場合、類似度算出部２６は、クロップ領域Ｃから抽出された特徴マップと、各キャラクタの顔画像から抽出された特徴マップとの類似度として、例えばＬ２距離を算出する。なお、特徴量抽出部２６ａは、ニューラルネットワークを用いて特徴量を抽出する場合に、撮像画像に対するクロップ領域Ｃの特定及びアフィン変換を行わずに、撮像画像（入力画像）から顔領域の特徴量を抽出するように構成されていてもよい。

選択部２７は、類似度算出部２６が算出した類似度に基づいて、撮像画像中の顔領域（クロップ領域Ｃ）に類似するキャラクタ画像を、絞り込み部２５が絞り込んだキャラクタ画像から選択する。例えば、選択部２７は、類似度算出部２６が算出した類似度が最高であったキャラクタ画像を選択する。また、選択部２７は、類似度算出部２６が算出した類似度が所定値以上であるキャラクタ画像から１つのキャラクタ画像を選択してもよい。また、各キャラクタ画像にそれぞれ優先度が設定されている場合、選択部２７は、類似度算出部２６が算出した類似度が所定値以上であるキャラクタ画像のうちで、優先度が最も高いキャラクタ画像を選択してもよい。更に、選択部２７は、類似度算出部２６が算出した類似度が所定値以上であるキャラクタ画像を表示部１３に表示し、操作部１２を介してユーザから指定されたキャラクタ画像を選択してもよい。選択部２７は、選択したキャラクタ画像をキャラクタ画像ＤＢから読み出す。

キャラクタ画像選択部２３は、顔領域の各器官の位置に基づく特徴量の類似度による選択、又は、顔領域から抽出された特徴マップの類似度による選択によってキャラクタ画像を選択する構成に限らない。キャラクタ画像選択部２３は、両方の選択処理を組み合わせて１つのキャラクタ画像を選択してもよく、更にその他の手法で算出された撮像画像中の顔領域とキャラクタの顔画像との類似度による選択処理を組み合わせてもよい。なお、キャラクタ画像ＤＢは記憶部１１に記憶されている必要はなく、所定の外部装置に記憶されていてもよい。この場合、キャラクタ画像選択部２３は、通信部１４を介して外部装置に記憶されたキャラクタ画像ＤＢにアクセスし、撮像画像に類似するキャラクタ画像を外部装置から取得する。

画像変換部２８には、撮像画像、器官検出部２２による検出結果（撮像画像中の顔領域における各器官の位置）、キャラクタ画像選択部２３が選択したキャラクタ画像が入力される。画像変換部２８は撮像画像及びキャラクタ画像に基づいて撮像画像に対して変換処理を行う。例えば、画像変換部２８は、器官検出部２２が検出した撮像画像中の各器官の位置と、選択されたキャラクタの顔画像における各器官の位置とに基づいて、撮像画像から抽出すべきキャラクタの顔画像に相当する領域（クロップ領域）を特定する。また画像変換部２８は、特定したクロップ領域における各器官の位置と、キャラクタの顔画像における各器官の位置とを一致させるために、クロップ領域に行うべきアフィン変換に用いる変換行列を算出する。そして、画像変換部２８は、撮像画像から、特定したクロップ領域を抽出し、抽出したクロップ領域に対して、特定した変換行列によるアフィン変換を行う。これにより、キャラクタ画像（図４参照）と同程度の画像サイズを有し、各器官の位置がキャラクタの顔画像における各器官の位置に一致するクロップ領域Ｃ（図５Ｂ参照）を、撮像画像（図５Ａ参照）から生成することができる。

なお、本実施形態では、画像変換部２８が行う上述の処理は、キャラクタ画像選択部２３の類似度算出部２６において、特徴量抽出部２６ａが撮像画像中の顔領域における特徴量を抽出する際に行う処理と同じである。よって、特徴量抽出部２６ａで特定されたクロップ領域Ｃを示す情報及び変換行列をキャラクタ画像毎に記憶部１１に記憶しておき、画像変換部２８は、キャラクタ画像選択部２３が選択したキャラクタ画像に対応するクロップ領域Ｃを示す情報及び変換行列を記憶部１１から読み出すようにしてもよい。

画風転写部２９は、画像変換部２８によって生成されたクロップ領域Ｃ（撮像画像中の顔領域）に対して、キャラクタ画像選択部２３が選択したキャラクタ画像に基づく補正処理を行うことによってキャラクタ画像の画風を転写する。例えば、画風転写部２９は、非特許文献１に開示された技術を用いて、クロップ領域Ｃに対して、キャラクタ画像の画風を転写する。これにより、実写画像に対して、被写体の構造及び構図を残しつつ、参照するキャラクタ画像の画風を転写できる。図６は、図５Ｂに示すクロップ領域Ｃに、図４に示すキャラクタ画像の画風が転写された状態を示す。なお、画風とは、作者や画家等の作風やタッチ等によって画像に現れる特徴や特色であり、画風転写部２９は、撮像画像（クロップ領域Ｃ）に対して構図を変えることなくキャラクタ画像の画風に変更することができる。
また画風転写部２９は、クロップ領域Ｃ内の各画素の画素値と、キャラクタ画像の各画素の画素値とにおいて、それぞれ対応する画素値の平均値を算出し、クロップ領域Ｃ内の各画素の画素値としてもよい。画風転写部２９による画風の転写処理はこれらに限らず、種々の処理を用いることができる。

画風転写部２９によってキャラクタ画像の画風を転写されたクロップ領域Ｃ（撮像画像中の顔領域）は、例えばプリンタ（図示せず）に送信されて印刷される。また、コンピュータ１において、撮像画像と、キャラクタ画像選択部２３が選択したキャラクタ画像と、画像変換部２８が特定したクロップ領域を示す情報及びアフィン変換に用いる変換行列（変換情報）とをまとめて１つの画像データ（合成用画像データ）として取り扱ってもよい。例えば、このような画像データを通信部１４から外部装置へ送信してもよく、可搬型記憶媒体に記憶させて持ち運んでもよい。外部装置が画像変換部２８及び画風転写部２９の機能を有する場合、外部装置において、コンピュータ１から送信された上述した画像データに基づいて、キャラクタ画像の画風が転写された実写画像（撮像画像のクロップ領域Ｃ）を生成することができる。また、外部装置において、可搬型記憶媒体から読み出された上述した画像データに基づいて、キャラクタ画像の画風が転写された実写画像を生成することができる。

次に、コンピュータ１が行う処理についてフローチャートに基づいて説明する。図７は、コンピュータ１が行う画像処理の手順を示すフローチャートである。以下の処理は、コンピュータ１の記憶部１１に記憶してある制御プログラムに従って制御部１０によって実行される。
コンピュータ１の制御部１０は、処理対象の撮像画像から人の顔領域を検出し（Ｓ１）、検出した顔領域から各器官の位置を検出する（Ｓ２）。また制御部１０は、撮像画像から検出した顔領域の人の属性を判定し（Ｓ３）、キャラクタ画像ＤＢから選択すべきキャラクタ画像を、判定した属性のキャラクタ画像に絞り込む（Ｓ４）。

制御部１０は、ステップＳ１で検出した顔領域、ステップＳ２で検出した各器官の位置等に基づいて、この顔領域における特徴量を抽出する（Ｓ５）。制御部１０は、ステップＳ４で絞り込んだキャラクタ画像のうちの１つを記憶部１１から読み出す（Ｓ６）。制御部１０は、ステップＳ５で抽出した顔領域における特徴量と、記憶部１１から読み出したキャラクタ画像（キャラクタの顔画像）における特徴量との類似度を算出し、キャラクタ
画像に対応付けて記憶部１１に記憶する（Ｓ７）。なお、キャラクタ画像における特徴量がキャラクタ画像ＤＢに記憶されていない場合、制御部１０は、読み出したキャラクタ画像についても、顔領域及び各器官の位置を検出し、検出結果に基づいて特徴量を抽出する。

制御部１０は、ステップＳ４で絞り込んだ全てのキャラクタ画像に対する処理が終了したか否かを判断し（Ｓ８）、終了していないと判断した場合（Ｓ８：ＮＯ）、ステップＳ６の処理に移行する。そして制御部１０は、ステップＳ４で絞り込んだキャラクタ画像のうちの１つを記憶部１１から読み出し（Ｓ６）、ステップＳ５で抽出した顔領域における特徴量と、読み出したキャラクタ画像における特徴量との類似度を算出して記憶する（Ｓ７）。ステップＳ４で絞り込んだ全てのキャラクタ画像に対する処理が終了したと判断した場合（Ｓ８：ＹＥＳ）、制御部１０は、全てのキャラクタ画像に対して算出した類似度に基づいて、撮像画像中の顔領域に類似するキャラクタ画像を選択する（Ｓ９）。例えば、制御部１０は算出した類似度が一番高いキャラクタ画像を選択する。なお、制御部１０は、全てのキャラクタ画像に対する類似度を記憶する必要はない。例えば制御部１０は、ステップＳ７で類似度を算出した場合に、前に算出した類似度よりも高ければ、算出した類似度とキャラクタ画像とを対応付けて順次更新して記憶するようにしてもよい。

制御部１０は、ステップＳ９で選択されたキャラクタ画像に基づいて、撮像画像に変換処理を行う（Ｓ１０）。具体的には、制御部１０は、ステップＳ２で検出した撮像画像中の各器官の位置と、選択されたキャラクタ画像における各器官の位置とに基づいて、撮像画像から、キャラクタ画像に相当する領域（クロップ領域）を抽出する。そして、制御部１０は、抽出したクロップ領域に対してアフィン変換を行い、クロップ領域における各器官の位置と、キャラクタ画像における各器官の位置とを一致させる。
そして制御部１０は、変換処理された撮像画像（クロップ領域）に対して、選択されたキャラクタ画像の画風を転写し（Ｓ１１）、処理を終了する。

本実施形態では、撮像画像中の顔領域に応じて、顔の各器官の位置等を含む顔の構造（構図）が類似するキャラクタ画像が自動的に選択される。顔の構造が類似する画像間では画風の転写を精度良く行うことができる。従って、本実施形態では、撮像画像に応じて、高精度での画風転写が可能であるキャラクタ画像が自動的に選択可能であり、選択されたキャラクタ画像の画風が撮像画像に精度良く転写可能である。よって、ユーザが煩雑な処理を行うことなく、実写画像に対してキャラクタ画像の画風を自動的に且つ高精度で転写することができる。

本実施形態において、撮像画像から抽出したクロップ領域に対してアフィン変換を行う代わりに、キャラクタ画像に対してアフィン変換を行うことによってキャラクタ画像における各器官の位置をクロップ領域における各器官の位置に一致させてもよい。この場合、キャラクタ画像にアフィン変換を行った後、撮像画像のクロップ領域に対して、キャラクタ画像の画風を転写することにより、例えば図５Ａに示す撮像画像に中のクロップ領域Ｃに対して、図４のキャラクタ画像の画風が転写された画像を生成できる。

（実施形態２）
上述した実施形態１のコンピュータ１が搭載された撮影装置の実施形態について説明する。図８は、実施形態２に係る撮影装置の構成例を示すブロック図である。実施形態２の撮影装置２は、上述した実施形態１のコンピュータ１の構成を含んでおり、同一の構成については同一の符号を付して説明を省略する。

撮影装置２は、制御部１０、記憶部１１、操作部１２、表示部１３及び通信部１４に加え、カメラ１５を有する。カメラ１５は、制御部１０からの指示に従って撮像し、動画映
像（動画データ）及び静止画像（静止画データ）等の撮像画像（画像データ）を取得し、取得した撮像画像を記憶部１１に記憶する。
本実施形態の撮影装置２では、カメラ１５は、例えば撮影装置２のユーザの顔を正面から撮影できる位置に配置されており、ユーザの顔の撮像画像を取得する。また、表示部１３は、カメラ１５にて撮影中のユーザが姿勢及び視線方向を変えずに表示画面を視認できる位置に配置されている。

実施形態２の撮影装置２において、画像処理プログラムＰの一部が実施形態１と異なるので、制御部１０が画像処理プログラムＰを実行することにより実現される機能の一部が実施形態１と異なる。なお、実施形態１と同一の機能については同一の符号を付して説明を省略する。

図９は、実施形態２の撮影装置２の制御部１０によって実現される機能を示すブロック図、図１０は、実施形態２の撮影装置２の制御部１０が行う処理の説明図である。
撮影装置２の制御部１０は、記憶部１１に記憶してある画像処理プログラムＰを実行した場合、キャラクタ画像選択部３１、マーカ表示部３２、映像表示部３３、撮像処理部３４、顔検出部２１、器官検出部２２、画像変換部２８、画風転写部２９の各機能を実現する。なお、顔検出部２１、器官検出部２２、画像変換部２８、画風転写部２９は、実施形態１と同様の処理を行う。

キャラクタ画像選択部３１は、キャラクタ画像ＤＢに記憶されているキャラクタ画像から、ユーザが指定したキャラクタ画像を選択する。例えば、キャラクタ画像選択部３１は、キャラクタ画像ＤＢに記憶されているキャラクタ画像を表示部１３に一覧表示し、任意のキャラクタ画像に対するユーザの指定操作を操作部１２にて受け付ける。ユーザは一覧表示されたキャラクタ画像から自身の撮像画像に画風を転写したいキャラクタ画像を決定して操作部１２を介して選択操作を行う。なお、キャラクタ画像ＤＢには、キャラクタの性別及び年齢層等の属性に対応付けて複数のキャラクタ画像が登録されている。よって、キャラクタ画像選択部３１は、キャラクタ画像を一覧表示する前に、ユーザの性別及び年齢層等の属性を操作部１２にて受け付け、受け付けた属性に対応するキャラクタ画像のみを一覧表示してもよい。この場合、ユーザが選択する可能性の高いキャラクタ画像に絞り込んで表示できるので、ユーザが所望のキャラクタ画像を選択する際の負担を軽減できる。
キャラクタ画像選択部３１は、ユーザによって指定（選択）されたキャラクタ画像をキャラクタ画像ＤＢから読み出す。

マーカ表示部３２は、キャラクタ画像選択部３１が選択したキャラクタ画像（キャラクタの顔画像）に含まれる各器官の輪郭を示すマーカ画像を表示部１３に表示する。例えば、図１０Ａに示すキャラクタ画像が選択された場合、図１０Ｂに示すマーカ画像が表示部１３に表示される。図１０Ｂに示す例では、マーカ表示部３２はキャラクタの目、鼻、口及び顔の輪郭を示すマーカ画像を表示する。なお、各キャラクタ画像のマーカ画像は、キャラクタ画像と共にキャラクタ画像ＤＢに予め記憶されている。マーカ画像がキャラクタ画像ＤＢに記憶されていない場合、キャラクタ画像に対して顔検出部２１が顔領域を検出し、器官検出部２２が各器官を検出することによってマーカ画像を生成してもよい。

映像表示部３３は、カメラ１５にて順次取得する動画映像を表示部１３に表示する。なお、表示部１３にはキャラクタ画像のマーカ画像が表示されており、映像表示部３３はマーカ画像に動画映像を重ねて表示する。これにより、ユーザは、撮影中の自身の顔を表示部１３で確認できる。またユーザは、カメラ１５にて撮影される自身の顔の各器官の位置がマーカ画像に一致するようにカメラ１５に対する自身の顔の向き（写真の構図）を調整する。

撮像処理部３４は、カメラ１５にて取得中の動画映像から静止画像を取得するタイミング（所謂シャッターチャンス）を判定し、適切なタイミングでユーザの静止画像を取得する。撮像処理部３４はタイミング判定部３５及び撮像部３６を含む。
タイミング判定部３５は、カメラ１５が取得する動画映像から所定の時間間隔で静止画像を抽出し、抽出した静止画像中の顔領域の構図が、キャラクタ画像選択部３１が選択したキャラクタ画像の構図に一致（類似）する場合、シャッターチャンスであると判定する。具体的には、タイミング判定部３５は、静止画像中のユーザの顔領域とキャラクタの顔画像とにおいて各器官の位置が一致（類似）するか否かを判定する。

タイミング判定部３５は類似度算出部２６を含む。類似度算出部２６は実施形態１と同様の処理を行う。本実施形態では、類似度算出部２６は、キャラクタ画像選択部３１が選択したキャラクタ画像（キャラクタの顔画像）と、カメラ１５が取得する動画映像から抽出された静止画像中の顔領域との類似度を算出する。類似度算出部２６は、特徴量抽出部２６ａ（図９では不図示）にてキャラクタ画像における特徴量と静止画像中の顔領域における特徴量とを抽出し、抽出した２つの特徴量の類似度を算出する。
タイミング判定部３５は、類似度算出部２６が算出した類似度が所定値以上である場合、シャッターチャンスであると判定する。算出した類似度が所定値未満である場合、タイミング判定部３５はシャッターチャンスでないと判定する。この場合、タイミング判定部３５は所定時間経過後、再度動画映像から静止画像を抽出し、抽出した静止画像中の顔領域とキャラクタ画像との類似度を算出する。

タイミング判定部３５がシャッターチャンスであると判定した場合、撮像部３６は、この時点での静止画像を動画映像から取得する。
なお、タイミング判定部３５は、ユーザの静止画像がキャラクタ画像の構図に一致（類似）するか否かに応じてシャッターチャンスであるか否かを判定する構成に限らない。例えばタイミング判定部３５は、ユーザの静止画像がマーカ画像の構図に一致するか否かに応じてシャッターチャンスであるか否かを判定してもよい。この場合、マーカ画像における特徴量を予めキャラクタ画像と共にキャラクタ画像ＤＢに記憶しておいてもよい。

本実施形態の顔検出部２１は、撮像処理部３４によって取得された静止画像（撮像画像）から被写体の人の顔領域を検出する。また器官検出部２２は、顔検出部２１が検出した顔領域から、顔に含まれる器官の位置を検出する。
本実施形態の画像変換部２８には、キャラクタ画像選択部３１が選択したキャラクタ画像、器官検出部２２による検出結果（静止画像中の顔領域における各器官の位置）、撮像部３６が取得した撮像画像（静止画像）が入力される。画像変換部２８は、撮像画像中の各器官の位置と、キャラクタ画像における各器官の位置とに基づいて、撮像画像から抽出すべき領域（クロップ領域）を特定する。また画像変換部２８は、クロップ領域における各器官の位置と、キャラクタ画像における各器官の位置とを一致させるために、クロップ領域に行うべきアフィン変換に用いる変換行列を算出する。その後、画像変換部２８は、撮像画像からクロップ領域を抽出し、抽出したクロップ領域に対して、特定した変換行列によるアフィン変換を行う。なお本実施形態においても、画像変換部２８は、タイミング判定部３５の類似度算出部２６において、特徴量抽出部２６ａが静止画像中の顔領域における特徴量を抽出する際に特定したクロップ領域及び変換行列を用いてもよい。

画風転写部２９は、画像変換部２８によって生成されたクロップ領域（撮像画像中の顔領域）に対して、キャラクタ画像選択部３１が選択したキャラクタ画像に基づく補正処理を行うことによってキャラクタ画像の画風を転写する。
画風転写部２９によってキャラクタ画像の画風を転写されたクロップ領域（画風転写後の撮像画像）は、例えばプリンタにて印刷される。なお、プリンタは、撮影装置２に内蔵
されたプリンタでもよいし、撮影装置２との間で有線通信又は無線通信が可能なプリンタでもよい。

撮影装置２においても、キャラクタ画像選択部３１が選択したキャラクタ画像と、撮像部３６が取得した撮像画像と、画像変換部２８が特定したクロップ領域を示す情報及びアフィン変換に用いる変換行列とをまとめて１つの画像データ（合成用画像データ）として取り扱ってもよい。例えば、このような画像データを通信部１４から外部装置へ送信してもよく、可搬型記憶媒体に記憶させて持ち運んでもよい。これにより、画像変換部２８及び画風転写部２９の機能を有する外部装置において、撮影装置２から送信された上述した画像データに基づいて、キャラクタ画像の画風が転写された実写画像（撮像画像のクロップ領域）を生成することができる。また、外部装置において、可搬型記憶媒体から読み出された上述した画像データに基づいて、キャラクタ画像の画風が転写された実写画像を生成することができる。

次に、撮影装置２が行う処理について説明する。図１１は、撮影装置２が行う画像処理の手順を示すフローチャートである。以下の処理は、撮影装置２の記憶部１１に記憶してある制御プログラムに従って制御部１０によって実行される。
撮影装置２の制御部１０は、操作部１２に対するユーザの選択操作に従って、キャラクタ画像ＤＢから１つのキャラクタ画像を選択する（Ｓ２１）。なおユーザは自身の撮像画像に画風を転写したいキャラクタ画像を操作部１２に対する操作にて選択する。

制御部１０は、選択したキャラクタ画像におけるマーカ画像を表示部１３に表示する（Ｓ２２）。次に制御部１０は、カメラ１５にて取得する動画映像を、マーカ画像に重ねて表示部１３に表示する（Ｓ２３）。ユーザは表示部１３の表示画像を確認して、カメラ１５にて撮影される自身の顔の各器官の位置がマーカ画像に一致するように自身の顔の向き（写真の構図）を調整する。

制御部１０は、カメラ１５にて取得する動画映像から静止画像（撮像画像）を抽出し（Ｓ２４）、抽出した静止画像中の顔領域と、ステップＳ２１で選択したキャラクタ画像との類似度を算出する（Ｓ２５）。なお、制御部１０は、静止画像中の顔領域における特徴量と、キャラクタ画像（キャラクタの顔画像）における特徴量との類似度を算出する。制御部１０は、算出した類似度が所定値以上であるか否かを判断し（Ｓ２６）、所定値以上でないと判断した場合（Ｓ２６：ＮＯ）、ステップＳ２４の処理に戻る。そして制御部１０は再度、動画映像から静止画像の抽出、及び静止画像中の顔領域とキャラクタ画像との類似度の算出を行う（Ｓ２４，Ｓ２５）。

算出した類似度が所定値以上であると判断した場合（Ｓ２６：ＹＥＳ）、制御部１０はシャッターチャンスであると判定し、この時点での静止画像を撮像画像として取得する（Ｓ２７）。制御部１０は、取得した撮像画像（静止画像）から人の顔領域を検出し（Ｓ２８）、検出した顔領域から各器官の位置を検出する（Ｓ２９）。そして制御部１０は、撮像画像から検出した各器官の位置、及びステップＳ２１で選択したキャラクタ画像における各器官の位置に基づいて撮像画像に変換処理を行う（Ｓ３０）。ここで制御部１０は、ステップＳ２９で検出した各器官の位置と、キャラクタ画像における各器官の位置とに基づいて、撮像画像から、キャラクタ画像に相当する領域（クロップ領域）を抽出する。そして、制御部１０は、抽出したクロップ領域に対してアフィン変換を行い、クロップ領域における各器官の位置を、キャラクタ画像における各器官の位置に一致させる。
そして制御部１０は、変換処理された撮像画像に対して、ステップＳ２１で選択されたキャラクタ画像の画風を転写し（Ｓ３１）、処理を終了する。

本実施形態では、ユーザが選択した任意のキャラクタ画像の画風をユーザの撮像画像に
転写できる。ユーザは撮影する際に、表示部１３に表示されたキャラクタ画像のマーカ画像を見ながら、自身の顔の各器官の位置がマーカ画像に一致するように顔の向き（写真の構図）を調整する。よって、ユーザの各器官の位置等を含む顔の構図が、キャラクタ画像（キャラクタの顔画像）における構図に類似した撮像画像を取得できる。顔の構造が類似する画像間では画風の転写を精度良く行うことができる。従って、本実施形態では、キャラクタ画像の画風を高精度で転写できる撮像画像を取得することができるので、取得した撮像画像に、ユーザが所望するキャラクタ画像の画風を精度良く転写できる。よって、キャラクタ画像の画風が精度良く転写された画像を生成することができる。

本実施形態においても、ユーザの撮像画像から抽出したクロップ領域に対してアフィン変換を行う代わりに、キャラクタ画像に対してアフィン変換を行うことによってキャラクタ画像における各器官の位置をクロップ領域における各器官の位置に一致させてもよい。これにより、ユーザの撮像画像中のクロップ領域に対してキャラクタ画像の画風が転写された画像を生成できる。

以上の実施形態に関して以下の付記を開示する。

（付記１）
人の撮像画像を取得する撮影装置において、
複数のキャラクタ画像を記憶する記憶部から１つのキャラクタ画像を選択する選択部と、
前記撮像画像から人の顔領域を検出する顔検出部と、
前記顔検出部が検出した顔領域から器官位置を検出する器官検出部と、
前記選択部が選択したキャラクタ画像及び前記器官検出部が検出した器官位置に基づいて、前記撮像画像又は前記キャラクタ画像を変換する変換部と、
前記撮像画像を前記キャラクタ画像に基づいて補正する補正部と
を備える撮影装置。

（付記２）
前記選択部が選択したキャラクタ画像に含まれる器官の位置を示す器官画像を表示する表示部と、
人の動画を取得する動画取得部と、
前記表示部に表示される前記器官画像に、前記動画取得部が取得した前記動画を重ねて表示する動画表示部と
を備える付記１に記載の撮影装置。

（付記３）
前記器官検出部が検出した器官位置が、前記選択部が選択したキャラクタ画像に含まれる器官の位置に一致するか否かを判定する判定部と、
前記判定部が一致すると判定した場合に撮像画像を取得する撮像部と
を備える付記１又は２に記載の撮影装置。

今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ コンピュータ（画像処理装置）
１０ 制御部
１１ 記憶部
２１ 顔検出部
２２ 器官検出部
２３ キャラクタ画像選択部（選択部）
２４ 属性判定部
２６ 類似度算出部（算出部）
２８ 画像変換部（変換部）
２９ 画風転写部（補正部）
２６ａ 特徴量抽出部（抽出部）

Claims (12)

1. 入力画像から特徴量を抽出する抽出部と、
   前記抽出部が抽出した特徴量に基づいて、前記入力画像と類似するキャラクタ画像を、複数のキャラクタ画像を記憶する記憶部に基づいて選択する選択部と、
   前記選択部が選択した前記キャラクタ画像及び前記入力画像に基づいて、前記入力画像又は前記キャラクタ画像に対して変換処理を行う変換部と、
   前記入力画像を前記キャラクタ画像に基づいて補正する補正部と
   を備えることを特徴とする画像処理装置。
2. 前記入力画像から顔領域を検出する顔検出部と、
   前記顔検出部が検出した顔領域から器官位置を検出する器官検出部とを更に備え、
   前記抽出部は、前記器官検出部が検出した器官位置に係る特徴量を抽出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記抽出部は、ニューラルネットワークを用いて、前記入力画像における特徴量を抽出する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記入力画像に基づいて前記入力画像中の人の属性を判定する属性判定部を更に備え、
   前記選択部は、前記属性判定部が判定した属性に応じたキャラクタ画像を選択する
   ことを特徴とする請求項１から３までのいずれかひとつに記載の画像処理装置。
5. 前記抽出部が抽出した特徴量と、前記複数のキャラクタ画像のそれぞれに係る特徴量との類似度を算出する算出部を更に備え、
   前記選択部は、前記算出部が算出した類似度が高いキャラクタ画像を選択する
   ことを特徴とする請求項１から４までのいずれかひとつに記載の画像処理装置。
6. 前記選択部は、前記算出部が算出した類似度が所定値以上であるキャラクタ画像のうちの１つを選択する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記選択部は、前記算出部が算出した類似度が所定値以上であるキャラクタ画像から、前記キャラクタ画像のそれぞれに設定された優先度が高い１つを選択する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記変換部は、前記入力画像中の人の器官位置と前記選択部が選択した前記キャラクタ画像に基づくキャラクタの器官位置とが一致するように、前記入力画像又は前記キャラクタ画像に対してアフィン変換を行う
   ことを特徴とする請求項１から７までのいずれかひとつに記載の画像処理装置。
9. 画像処理装置が、
   入力画像から特徴量を抽出し、
   抽出した特徴量に基づいて、前記入力画像と類似するキャラクタ画像を、複数のキャラクタ画像を記憶する記憶部に基づいて選択し、
   選択した前記キャラクタ画像及び前記入力画像に基づいて、前記入力画像又は前記キャラクタ画像に対して変換処理を行い、
   前記入力画像を前記キャラクタ画像に基づいて補正する
   ことを特徴とする画像処理方法。
10. コンピュータに、
    入力画像から特徴量を抽出し、
    抽出した特徴量に基づいて、前記入力画像と類似するキャラクタ画像を、複数のキャラクタ画像を記憶する記憶部に基づいて選択し、
    選択した前記キャラクタ画像及び前記入力画像に基づいて、前記入力画像又は前記キャラクタ画像に対して変換処理を行い、
    前記入力画像を前記キャラクタ画像に基づいて補正する
    処理を実行させることを特徴とするプログラム。
11. 人の撮像画像と、
    前記撮像画像と類似するキャラクタ画像と、
    前記撮像画像に係る器官位置と前記キャラクタ画像に係る器官位置とが一致するように前記撮像画像又は前記キャラクタ画像に行う変換処理に用いる変換情報と
    を含むことを特徴とする合成用画像データ。
12. 人の撮像画像と、
    前記撮像画像と類似するキャラクタ画像と、
    前記撮像画像に係る器官位置と前記キャラクタ画像に係る器官位置とが一致するように前記撮像画像又は前記キャラクタ画像に行う変換処理に用いる変換情報とを含み、
    前記撮像画像又は前記キャラクタ画像に前記変換情報を用いた変換処理を行った後、前記撮像画像を前記キャラクタ画像に基づいて補正する処理に用いられることを特徴とする合成用画像データ。
    

Images