JP2021072515A

JP2021072515A - 画像処理装置、印画物作製システム及び印画物作製方法

Info

Publication number: JP2021072515A
Application number: JP2019197546A
Authority: JP
Inventors: 幹智戸島; Motonori Toshima
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2019-10-30
Filing date: 2019-10-30
Publication date: 2021-05-06
Anticipated expiration: 2039-10-30
Also published as: JP7314767B2

Abstract

【課題】画像の比較を容易に行えるようにし、補正処理の効果を確認しやすくする。【解決手段】画像処理装置は、ユーザの顔を撮影した撮影装置から画像データを受信し、前記画像データに対して画像処理を施して補正画像を生成する画像処理部と、前記画像処理前の前記画像データに対応する元画像の一部と、前記補正画像の一部とを合成して、１つの顔画像を含む合成画像を生成する合成部と、前記合成画像を表示部に表示させる表示処理部と、を備える。【選択図】図１

Description

本発明は、画像処理装置、印画物作製システム及び印画物作製方法に関する。

従来、免許証、パスポート、履歴書等に貼付するための証明写真を撮影するためのボックス型の写真撮影装置が知られている。写真撮影装置は、撮影した顔画像の倍率を変えて縮小（リサイズ）し、用途に応じた様々なサイズの写真をプリントして出力する。写真撮影装置には、顔画像を表示するモニタが設けられており、印画される顔画像を事前に確認（プレビュー）することができる。

最近では、特に女性向きの付加価値機能として、顔（肌）の細かい凹凸やブツブツ感を軽減し、すべすべした質感に加工する「美肌処理」機能を有する写真撮影装置が知られている。美肌処理では、例えば、顔の輪郭や、髪の毛、目、鼻、口等の輪郭部分のシャープネスを保持しつつ、顔の肌部分において、シミ、シワ等を除去・軽減したり、凹凸感を軽減してなめらかに見せたりするスムージング処理が行われる（例えば特許文献１、２参照）。また、肌質の補正だけでなく、肌色の調整など、他の補正処理機能を搭載した写真撮影装置も知られている。

顔画像に補正処理を施すことの効果をユーザが確認できるように、写真撮影装置は、補正処理を施した処理済プレビュー画像と、美肌処理を施していない通常プレビュー画像とをモニタに表示していた。例えば、写真者撮影装置は、処理済プレビュー画像と通常プレビュー画像とをモニタに切り替え可能に表示したり、２つの画像を左右に並べて表示したりしていた。しかし、このような従来の表示方法では、２つの画像が比較し難く、補正処理の効果を確認することが困難であった。

特開２００５−２７６１８２号公報特開２００６−６０８４１号公報特開２００６−３９８４号公報特開２００６−８５２５８号公報特開２００６−１５７６１３号公報

本発明は、このような点に鑑みてなされたものであり、画像の比較が容易な画像処理装置、印画物作製システム及び印画物作製方法を提供することを課題とする。

本発明の画像処理装置は、ユーザの顔を撮影した撮影装置から画像データを受信し、前記画像データに対して画像処理を施して補正画像を生成する画像処理部と、前記画像処理前の前記画像データに対応する元画像の一部と、前記補正画像の一部とを合成して、１つの顔画像を含む合成画像を生成する合成部と、前記合成画像を表示部に表示させる表示処理部と、を備えるものである。

本発明の一態様において、前記合成画像内の前記顔画像は、左右の一側が前記元画像に対応し、他側が補正画像に対応しており、前記表示処理部は、前記合成画像内の前記元画像と前記補正画像との境界に境界線を表示する。

本発明の一態様において、前記表示部はタッチパネルであり、前記タッチパネルを介して前記境界線の移動指示を受け付けると、前記合成部は、移動後の境界線の位置に基づいて、前記元画像の一部と前記補正画像の一部とを合成し、新たな合成画像を生成する。

本発明の一態様において、前記画像処理部は、前記画像データに対して第１の画像処理を施して第１補正画像を生成し、前記画像データに対して前記第１の画像処理とは異なる第２の画像処理を施して第２補正画像を生成し、前記合成部は、前記第１補正画像の一部と、前記第２補正画像の一部とを合成して、１つの顔画像を含む合成画像を生成する。

本発明の一態様において、前記画像処理部は、前記画像データに対して互いに異なる複数の画像処理を施して複数の補正画像を生成し、前記合成部は、前記元画像及び前記複数の補正画像のうち２つの画像の一部を合成して合成画像を生成し、前記タッチパネルを介して画像の切り替え指示を受け付けると、前記合成部は、使用する画像を切り替えて新たな合成画像を生成する。

本発明の一態様において、前記画像の切り替え指示は、上方向又は下方向のスワイプである。

本発明の印画物作製システムは、ユーザの顔を撮影する撮影装置と、本発明による画像処理装置と、前記元画像又は前記補正画像をプリント出力するプリンタと、を備えるものである。

本発明の印画物作製方法は、撮影装置を用いてユーザの顔を撮影し、画像データを生成する工程と、前記画像データに対して画像処理を施して補正画像を生成する工程と、前記画像処理前の前記画像データに対応する元画像の一部と、前記補正画像の一部とを合成して、１つの顔画像を含む合成画像を生成する工程と、前記合成画像を表示部に表示する工程と、前記元画像又は前記補正画像をプリント出力する工程と、を備えるものである。

本発明によれば、画像の比較を容易に行うことができる。

本発明の実施形態に係る印画物作製システムの概略構成図である。同実施形態に係る演算制御装置のハードウェア構成図である。画像処理プログラムを実行することで実現される機能ブロック図である。同実施形態に係る印画物作製方法を説明するフローチャートである。（ａ）は補正処理前の画像の例を示す図であり、（ｂ）は補正処理後の画像の例を示す図である。（ａ）（ｂ）はトリミングした画像の例を示す図であり、（ｃ）は合成画像の表示例を示す図である。（ａ）（ｂ）は合成画像の例を示す図である。合成処理の例を示す図である。タッチパネルの表示画面の一例を示す図である。（ａ）は比較する画像の例を示す図であり、（ｂ）は合成画像の表示例を示す図である。（ａ）は画像遷移順を示す図であり、（ｂ）は合成画像の表示例を示す図である。

以下、本発明の実施の形態を図面に基づいて説明する。

図１に本実施形態に係る印画物作製システムの概略構成を示す。印画物作製システムは、画像処理装置としての機能を有する演算制御装置１と、撮影装置２と、タッチパネル３と、印画物（写真）をプリント出力するプリンタ５と、撮影装置２が撮影を行う際に光を照射するストロボ６と、を備える。

撮影装置２は、例えばデジタルカメラである。撮影装置２は、ユーザＰ（被撮影者）の顔を撮影して顔画像データを生成する。撮影装置２は、顔画像データを演算制御装置１へ出力する。

タッチパネル３は、ユーザＰから各種指示を受け付けると共に、プレビュー画像を表示する。タッチパネル３は、操作ボタンを表示し、操作ボタンが押されると、その操作ボタンに対応した操作指示を受け付ける。例えば、タッチパネル３は、ユーザＰから、プリンタ５が印画物にプリントする画像サイズ（写真サイズ）の指示を受け付ける。写真サイズは、例えば、運転免許証、パスポート、ビザ等に対応するものである。また、写真サイズのカスタマイズができるようになっていてもよい。また、タッチパネル３は、ユーザから、プリントする画像の選択やプリント開始の指示を受け付けることができる。

印画物作製システムには、ユーザＰが印画物の代金として支払う貨幣を受け入れたり、釣銭を払い出したりする課金部（図示せず）が設けられていてもよい。

演算制御装置１は、撮影装置２、タッチパネル３、プリンタ５、ストロボ６、及び課金部に接続されており、各部の制御やデータの受け渡しを行う。

図２に、演算制御装置１のハードウェア構成を示す。演算制御装置１は、ＣＰＵ（中央演算処理部）１１、メインメモリ１２、ディスク装置１３、及び入出力部１４を有する。演算制御装置１の各部はバス１５を介して接続されている。

ディスク装置１３は、ＣＰＵ１１により実行される画像処理プログラム１６を格納する。ディスク装置１３は例えばハードディスクドライブである。なお、画像処理プログラム１６は、ディスク装置１３でなく、ＲＯＭや磁気テープ（共に図示せず）に格納されていてもよい。

ＣＰＵ１１は、ディスク装置１３内の画像処理プログラム１６をメインメモリ１２にロードして、画像処理プログラム１６を実行する。画像処理プログラム１６の実行に伴い、メインメモリ１２上には、顔画像データ、プレビュー用画像データ等を格納する領域が確保される。プレビュー用画像データは、タッチパネル３にプレビュー画像として表示される画像データである。

ＣＰＵ１１が画像処理プログラム１６を実行することで、図３に示すように、画像処理部２０、合成部２１、表示処理部２２、境界線移動受付部２３及びプリント処理部２４の機能が実現される。各部の処理は後述する。

次に、この印画物作製システムを用いた印画物作製方法を図４に示すフローチャートに沿って説明する。

撮影装置２が、ユーザＰを撮影し、顔画像データを生成する（ステップＳ１）。撮影装置２が撮影を行う際に、ストロボ６が被撮影者Ｐに光を照射する。ユーザＰは、撮影前に、タッチパネル３を操作し、印画する写真サイズを指示してもよい。顔画像データは演算制御装置１へ転送される。

画像処理部２０が顔画像データに対して画像処理を施す（ステップＳ２）。画像処理では、例えば顔画像の肌領域を抽出し、この肌領域に肌色補正処理や美肌処理を施す。肌領域の抽出、肌色補正処理、美肌処理は公知の手法を用いることができる。

例えば、肌領域の抽出処理では、まず、顔画像の両目の下方領域、より厳密には、鼻の両脇の輪郭を跨ぎ、かつ、髪、目、鼻孔にはかからない領域を参照領域と定義する。そして、この参照領域内に含まれる各画素の画素値の平均を平均画素値として求め、顔画像全体を構成する各画素の中から、この平均画素値に対する色差が所定範囲内の画素値をもつ画素を抽出する。抽出された画素の集合からなる領域が肌領域となる。

肌色補正処理では、肌領域の色を白くしたり、小麦色にしたりする。肌色補正のレベルを上げると、肌領域の色がより白くなったり、より小麦色になったりする。

美肌処理は、例えば、所定のソフトフォーカス効果を示すフィルタやローパスフィルタ等によるフィルタ処理を画像に施すことで、細かい凹凸やブツブツ感、シワやシミ等を軽減する。また、肌領域の彩度を上げることで、くすみなどを軽減する。美肌処理の際に使用するフィルタや彩度の補正レベル（上げ幅）を変えることで、美肌処理のレベルを変えることができる。

例えば、図５（ａ）（ｂ）に示すように、画像処理部２０が、オリジナル（補正前）の顔画像である元画像Ｇ１に対し肌色補正を施すことで、補正画像Ｇ２が生成される。

画像処理後、合成部２１が、元画像Ｇ１の一部と、補正画像Ｇ２の一部とを合成して、合成画像を生成する（ステップＳ３）。例えば、図６（ａ）に示す元画像Ｇ１の左半分と、図６（ｂ）に示す補正画像Ｇ２の右半分とを合成して、図６（ｃ）に示すような合成画像Ｃを生成する。元画像Ｇ１、補正画像Ｇ２、合成画像Ｃの画像サイズは同一である。

表示処理部２２が、合成画像をタッチパネル３に表示する（ステップＳ４）。図６（ｃ）に示すように、合成画像を表示する際、元画像Ｇ１と補正画像Ｇ２との境界部分に上下方向に延在する境界線Ｌを表示する。図６（ｃ）では、境界線Ｌが顔部分に重なるように表示されているが、境界線Ｌが顔部分に重ならないように表示してもよい。

ユーザＰは、タッチパネル３を操作（スワイプ）して、境界線Ｌを左右に移動させることができる（ステップＳ５＿Ｙｅｓ）。境界線移動受付部２３は、タッチパネル３を介して、境界線Ｌの移動指示を受け付ける。境界線Ｌの移動に合わせて、合成部２１は、元画像Ｇ１の一部と、補正画像Ｇ２の一部とを合成して、新たな合成画像を生成する（ステップＳ３）。表示処理部２２が、新たな合成画像をタッチパネル３に表示する（ステップＳ４）。

例えば、図７（ａ）に示すように境界線Ｌを左に移動させた場合、元画像Ｇ１の表示領域が小さくなり、補正画像Ｇ２の表示領域が大きくなる。表示領域サイズの変更に応じて、合成部２１は、元画像Ｇ１の一部と、補正画像Ｇ２の一部とを合成して、新たな合成画像を生成する。

図７（ｂ）に示すように境界線Ｌを右に移動させた場合、元画像Ｇ１の表示領域が大きくなり、補正画像Ｇ２の表示領域が小さくなる。表示領域サイズの変更に応じて、合成部２１は、元画像Ｇ１の一部と、補正画像Ｇ２の一部とを合成して、新たな合成画像を生成する。

境界線Ｌを左端まで移動した場合、タッチパネル３には補正画像Ｇ２のみが表示される。境界線Ｌを右端まで移動した場合、タッチパネル３には元画像Ｇ１のみが表示される。

合成画像Ｃは、元画像Ｇ１の一部と補正画像Ｇ２の一部とを結合して１つの顔画像としたものである。境界線Ｌを挟んで元画像Ｇ１と補正画像Ｇ２とが隣接して表示されるため、補正処理の効果が確認し易くなっている。例えば、美肌処理でシミを軽減した場合、シミ部分で境界線Ｌを左右に動かすことで、元画像Ｇ１のシミ部分が補正画像Ｇ２でどの程度軽減されたのかを容易に確認できる。

ユーザＰは、元画像Ｇ１と補正画像Ｇ２とを比較し、プリントする画像を選択する（ステップＳ６）。プリント処理部２４は、選択された画像をプリンタ５へ転送する。プリンタ５は、演算制御装置１から受け取った画像データをプリントして出力する（ステップＳ７）。

このように、本実施形態によれば、元画像と補正画像の２つの画像の一部ずつを結合して１つの顔画像としたものを表示すると共に、境界線が移動可能となっているため、元画像と補正画像とが比較しやすくなっており、補正処理の効果を容易に確認できる。

上記実施形態では、境界線の位置に応じて元画像をトリミングしたものと、補正画像をトリミングしたものとを結合して合成画像を生成する例について説明したが、一方の画像のみをトリミングし、他方の画像に重ねて合成画像を生成してもよい。例えば、図８に示すように、境界線の位置に応じて補正画像Ｇ２をトリミングし、トリミング後の補正画像Ｇ２の一部を元画像Ｇ１上に重ねて合成画像を生成する。

境界線が移動される度に、移動後の領域に合わせて画像処理部２０が画像処理を行い、合成画像を生成してもよい。

画像処理は、肌色補正や美肌処理などの肌処理に限定されず、目の大きさを変える目補正、唇の大きさや色を変える唇補正であってもよい。また、画像処理はユーザの顔に関するものに限定されず、ヴァーチャルフィッティングによりユーザに服やアクセサリーを合成するものであってもよい。また、クロマキー処理で背景画像を合成するものであってもよい。

画像処理の対象領域が複数ある場合、それらを組み合わせて比較できるようにしてもよい。例えば、図９に示すように、肌色補正などの顔補正と、ヴァーチャルフィッティングによる服補正とを組み合わせることができる。

図９に示す例では、画像の上側を顔補正領域Ｒ１、画像の下側を服補正領域Ｒ２としている。顔補正領域Ｒ１では、境界線Ｌ１を挟んで元画像Ｇ１と補正画像Ｇ２とを合成した１つの顔画像が表示される。服補正領域Ｒ２では、境界線Ｌ２を挟んで第１服画像Ｗ１と、第２服画像Ｗ２とを合成した１つの服画像が表示される。第１服画像Ｗ１と第２服画像Ｗ２は、例えば、同一形状で色や柄が異なる服の画像である。

境界線Ｌ１、Ｌ２はそれぞれ独立にスワイプして移動させることができるようになっている。

上記実施形態では、元画像と補正画像とを比較する例について説明したが、補正画像同士を比較できるようにしてもよい。例えば、肌色補正のレベルを変えて、やや小麦色にした第１補正画像と、色黒にした第２補正画像とを生成し、第１補正画像の一部と第２補正画像の一部とを結合して合成画像を生成し、表示してもよい。

上記実施形態では、２つの画像を比較する例について説明したが、比較する画像を切り替え可能とし、複数の画像を比較できるようにしてもよい。

例えば、図１０（ａ）に示すように、画像処理部２０が、元画像Ｇ１に対し補正レベルの異なる画像処理を施して補正画像Ｇ２〜Ｇ５を生成する。図１０（ａ）に示す例では、補正画像Ｇ２〜Ｇ５は、それぞれ肌色補正のレベルが異なっている。

まず、合成部２１が元画像Ｇ１と補正画像Ｇ２とを合成し、タッチパネル３には、図１０（ｂ）に示すような合成画像が表示される。例えば、境界線Ｌの左側領域Ｒ３には元画像Ｇ１が表示され、右側領域Ｒ４には補正画像Ｇ２が表示される。境界線Ｌを左右に移動させると、境界線Ｌの移動に追従して、元画像Ｇ１、補正画像Ｇ２の表示面積が変化する。また、タッチパネル３を上下にスワイプすることで、合成画像に使用する画像が切り替わるようになっている。

例えば、図１１（ａ）に示すように、ユーザがタッチパネル３を下方向にスワイプする毎に、合成部２１は、合成する画像を、元画像Ｇ１、補正画像Ｇ２、補正画像Ｇ３、補正画像Ｇ４、補正画像Ｇ５の順で切り替える。ユーザがタッチパネル３を上方向にスワイプする毎に、合成部２１は、合成する画像を、元画像Ｇ１、補正画像Ｇ５、補正画像Ｇ４、補正画像Ｇ３、補正画像Ｇ２の順で切り替える。

例えば、図１０（ｂ）に示す状態からタッチパネル３の左側領域Ｒ３を上方向にスワイプし、右側領域Ｒ４を下方向にスワイプすると、図１１（ｂ）に示すように、左側領域Ｒ３には補正画像Ｇ５が表示され、右側領域Ｒ４には補正画像Ｇ３が表示される。

このような表示画像の切り替えにより、複数の画像を容易に比較することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１演算制御装置
２撮影装置
３タッチパネル
５プリンタ
１１ＣＰＵ
２０画像処理部
２１合成部
２２表示処理部
２３境界線移動受付部
２４プリント処理部

Claims

ユーザの顔を撮影した撮影装置から画像データを受信し、前記画像データに対して画像処理を施して補正画像を生成する画像処理部と、
前記画像処理前の前記画像データに対応する元画像の一部と、前記補正画像の一部とを合成して、１つの顔画像を含む合成画像を生成する合成部と、
前記合成画像を表示部に表示させる表示処理部と、
を備える画像処理装置。
前記合成画像内の前記顔画像は、左右の一側が前記元画像に対応し、他側が補正画像に対応しており、
前記表示処理部は、前記合成画像内の前記元画像と前記補正画像との境界に境界線を表示することを特徴とする請求項１に記載の画像処理装置。
前記表示部はタッチパネルであり、前記タッチパネルを介して前記境界線の移動指示を受け付けると、前記合成部は、移動後の境界線の位置に基づいて、前記元画像の一部と前記補正画像の一部とを合成し、新たな合成画像を生成することを特徴とする請求項２に記載の画像処理装置。
前記画像処理部は、前記画像データに対して第１の画像処理を施して第１補正画像を生成し、前記画像データに対して前記第１の画像処理とは異なる第２の画像処理を施して第２補正画像を生成し、
前記合成部は、前記第１補正画像の一部と、前記第２補正画像の一部とを合成して、１つの顔画像を含む合成画像を生成することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
前記画像処理部は、前記画像データに対して互いに異なる複数の画像処理を施して複数の補正画像を生成し、
前記合成部は、前記元画像及び前記複数の補正画像のうち２つの画像の一部を合成して合成画像を生成し、
前記タッチパネルを介して画像の切り替え指示を受け付けると、前記合成部は、使用する画像を切り替えて新たな合成画像を生成することを特徴とする請求項３に記載の画像処理装置。
前記画像の切り替え指示は、上方向又は下方向のスワイプであることを特徴とする請求項６に記載の画像処理装置。
ユーザの顔を撮影する撮影装置と、
請求項１乃至６のいずれかに記載の画像処理装置と、
前記元画像又は前記補正画像をプリント出力するプリンタと、
を備える印画物作製システム。
撮影装置を用いてユーザの顔を撮影し、画像データを生成する工程と、
前記画像データに対して画像処理を施して補正画像を生成する工程と、
前記画像処理前の前記画像データに対応する元画像の一部と、前記補正画像の一部とを合成して、１つの顔画像を含む合成画像を生成する工程と、
前記合成画像を表示部に表示する工程と、
前記元画像又は前記補正画像をプリント出力する工程と、
を備える印画物作製方法。