JP2015043836A - 画像処理装置、プログラム及び画像処理システム - Google Patents

Abstract

【課題】ユーザの顔及び体表に存在する変色部位を確実にカバーできる新規のカバーシートを製造することを実現することが可能であって、ユーザの負担を軽減しつつ、容易にかつ的確に個々のユーザに合致するカバーシートを製造させることが可能な画像処理装置等を提供すること。
【解決手段】本実施形態の画像処理システム１は、各ユーザの情報を管理しつつ、ユーザ等によって撮像され、色見本及びグリッド情報を有する当該ユーザの肌画像データに基づいて、当該撮像された肌をカバーするカバーシート６０を作成するためのシート情報を生成するシート情報生成処理を実行し、生成したシート情報に基づいて製造されたカバーシート６０ユーザに提供するシステムである。
【選択図】図１

Description

本発明は、肌画像に対して画像処理を行う画像処理装置、プログラム及び画像処理システムに関する。

近年、ナノ素材の研究開発が進み、人体に利用可能なナノプラスター（以下、「ナノシート」という）が開発され、外科用絆創膏等としての利用が進められている（例えば、非特許文献１及び特許文献１）。

この種のナノシートは、キトサンやアルギン酸、ポリ乳酸等を主成分としており、接着剤を用いることなく、ファンデルワールス力等の分子間力により、直接人体に貼り付けることが可能となっている。

現状、ナノシートは、医療用としての用途に絞って、開発が進められているが、このナノシートは、膜厚が、数十ｎｍ（ナノメートル）〜１０μｍであるため、人体の表皮に利用しても、周囲に気取られることがなく、また、接着剤フリーで貼り付け可能であるため、表皮に貼り付けても肌ストレスが非常に少ないという特徴がある。

したがって、化粧するのと同等に、このナノシートを顔や体表に存在する、シミ、痣、傷跡、痘痕、外傷、又は、病巣（以下、「変色部位」又は「ケアエリア」という。）を、カバーし、又は、カバーしつつ、治療を行う用途（以下、「被覆用途」という。）に用いるメリットは、非常に大きい。

一方、ナノシートを被覆用途に利用する場合には、例えば、シミの拡大縮小等、時間に伴い変化する人体の肌に関する情報を適切に管理する必要がある。特に、ユーザの肌状況を管理する手法としては、ユーザの肌状態を画像に基づいて管理するものが提案されている（例えば、特許文献２）。

武岡真司、外２名、"世界一薄いナノ絆創膏"、［ｏｎｌｉｎｅ］、２００９年７月６日、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｊｐｓ．ｇｏ．ｊｐｊ−ｇｒａｎｔｓｉｎａｉｄ／３１＿ｒｅｓｕｌｔ／ｄａｔａ／ｒｉｋｏｕ／ｔａｋｅｏｋａ．ｐｄｆ＞

特開２０１２−２３６１２５号公報 特開２００６−３１８２５１号公報

しかしながら、上記の医療用のナノシートは、透明素材であるため、例えば、痣、シミ、痘痕、傷跡、外傷のような変色部位を隠すための被覆用途に用いるための機能は、満たしていない。

また、上記特許文献２に記載の手法を用いると、肌状態の管理が可能になるものの、その情報を利用して、肌の被覆用のナノシート（以下、「カバーシート」という。）を作成又は製造（以下、「製造」という。）することは難しい。

本発明は、上記課題を解決するためになされたものであり、その目的は、ユーザの顔及び体表（以下、「肌」という。）に存在する変色部位を確実にカバーできる新規のカバーシートを製造することを実現することが可能であって、ユーザの負担を軽減しつつ、容易にかつ的確に個々のユーザに合致するカバーシートを製造させることが可能な画像処理装置等を提供することにある。

上述した課題を解決するため、本発明に係る画像処理装置等は、ネットワークを介して接続された通信端末装置から、ユーザの肌を撮像することによって形成された肌画像と、前記肌を撮像する際に当該肌とともに撮像された色見本の画像である色見本画像と、を含むデータを、肌画像データとして、取得する画像取得手段と、前記取得された画像データの前記肌画像を構成する各ピクセル、又は、前記ユーザの肌を撮像した後の前記ユーザによる指定に基づいて、前記肌画像内における変色部位及び非変色部位を識別する識別手段と、前記取得された肌画像データの色見本画像に基づいて、当該肌画像データにおける肌画像の各ピクセルの色を補正しつつ、前記識別された非変色部位におけるピクセルの色を前記ユーザの肌の基準色として特定する特定手段と、前記特定された基準色に基づいて、前記撮像された肌に貼り付けて前記識別された変色部位を少なくともカバーするカバーシートを生成するための情報であって、当該カバーシートの配色を少なくとも含むシート情報を決定する決定手段と、前記決定されたシート情報を、前記カバーシートを製造する製造装置に供給する供給手段と、を備える構成を有している。

この構成より、本発明に係る画像処理装置等は、ユーザが自身の肌の変色部位を含む領域に、例えば、グリッド及び色見本が印刷されたナノシート等のシート（以下、「ナノグリッドシート」という。）を貼り付けて撮像された肌画像データを取得すると、ユーザの肌における変色部位をカバーするためのカバーシートを製造するために必要な情報を生成し、当該生成した情報を、カバーシートを製造する製造装置に提供することができる。

したがって、本発明に係る画像処理装置等は、ユーザが店舗等に赴かなくとも、肌を撮像して送付するだけで、個々のユーザの肌の色を確実に把握ししつ、カバーシートを製造するための情報を製造装置に提供することができるので、ユーザの負担を軽減しつつ、化粧等に用いることが可能であってユーザの顔等に存在する変色部位を確実にカバーできる新規のカバーシートを個々のユーザに合わせて容易にかつ確実に製造させることができる。

本発明に係る画像処理装置等は、ユーザの負担を軽減しつつ、化粧等に用いることが可能であってユーザの顔等に存在する変色部位を確実にカバーできる新規のカバーシートを個々のユーザに合わせて容易にかつ確実に製造させることができる。

本発明に係る画像処理システムの第１実施形態における構成を示すシステム構成図である。 第１実施形態の画像処理システムにおいて実行されるカバーシート製造工程の概要を示す図である。 第１実施形態の画像処理システムにおいて用いられるナノグリッドシートを示す図である。 第１実施形態におけるナノシートに対して、インクを滴下した場合におけるインクの拡散状態を撮像した顕微鏡写真を概念的に描いたイメージ図である。 第１実施形態におけるナノシート（無地）に対して、インクを滴下等した場合におけるインクの拡散状態を示すイメージ図（その１）である。 第１実施形態におけるナノシート（無地）に対して、インクを滴下等した場合におけるインクの拡散状態を示すイメージ図（その２）である。 第１実施形態の通信端末装置の構成を示すブロック図である。 第１実施形態の画像処理サーバ装置の構成を示すブロック図である。 第１実施形態の画像処理サーバ装置内に設けられたユーザ管理データベースに記録されるデータの一例を示す図である。 第１実施形態の画像処理サーバ装置内に設けられたナノシート管理データベースに記録されるデータの一例を示す図である。 第１実施形態の画像処理サーバ装置内の印刷基準情報データベースに記録されるデータの一例を示す図である。 第１実施形態のカバーシート製造時において、新規のシート情報の生成を実行する画像処理システム１の動作を示すフローチャートである。 第１実施形態の画像処理システムのシート情報生成処理の動作を示すフローチャートである。 第１実施形態のカバーシート製造時において、既存のシート情報の補正を実行する画像処理システムの動作を示すフローチャートである。 第１実施形態の画像処理システムにおけるシート情報補正処理の動作を示すフローチャートである。

以下、図面を参照しつつ、本発明の各実施形態について説明する。なお、以下の各実施形態は、通信端末装置と、当該通信端末装置とネットワークを介して接続される画像処理サーバ装置と、化粧用途のカバーシートの製造装置と、を有する画像処理システムに対し、本発明に係る画像処理装置、プログラム及び画像処理システムを適用した場合の実施形態である。

［Ａ］第１実施形態
［Ａ１］画像処理システム
まず、図１及び図２を用いて、第１実施形態における画像処理システム１の構成及び概要について説明する。

なお、図１は、本実施形態における画像処理システム１の構成を示すシステム構成図であり、図２は、本実施形態の画像処理システム１において実行されるカバーシート６０の製造工程の概要を示す図である。

また、図が煩雑になることを防止するために、図１及び図２においては、一部のユーザのみを示している。すなわち、実際の画像処理システム１においては、図１及び図２に表示するよりも多数のユーザ及び通信端末装置が存在している。

本実施形態の画像処理システム１は、ユーザ個々人の肌の状態に応じ、カスタムメードにて化粧用途（すなわち、被覆用途）のカバーシート６０を製造し、対応するユーザに提供及び販売（以下、単に「提供」という。）するためのシステムである。

具体的には、本実施形態の画像処理システム１は、カバーシート６０の提供サービス（以下、「カバーシート提供サービス」という。）に登録している各ユーザの情報を管理しつつ、ユーザ等によって撮像された当該ユーザの肌画像のデータ（以下、「肌画像データ」という。）に基づいて、カバーシート６０を作成するための情報（以下、「シート情報」という。）を生成する処理（以下、「シート情報生成処理」という。）を実行し、生成したシート情報に基づいて製造されたカバーシート６０をユーザに提供するシステムである。

特に、本実施形態の画像処理システム１は、図１に示すように、ユーザによって利用される複数の携帯用通信端末装置１０と、基地局ＢＳ及びネットワーク２０を介して、携帯用通信端末装置１０に通信接続され、カバーシート提供サービスを提供するとともに、シート情報を生成及びその補正をする画像処理サーバ装置３０と、生成したシート情報に従ってカバーシート６０を製造する製造装置４０と、を有している。

なお、ネットワーク２０は、例えば、携帯電話網を含む公衆電話網と、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークが相互接続されて構成される。ただし、当該ネットワーク２０の構成は、これに限られない。

また、本実施形態のシート情報には、
（１）肌画像データの肌画像上の非変色部位（すなわち、ユーザの地肌の部分）に対応するピクセルの色（以下、「基準色」という。）に基づいて決定される変色部位を少なくとも被覆する（カバーする）ためのカバーシート６０の配色を示す配色情報と、
（２）当該カバーシート６０の形状及びサイズを示すサイズ情報と、
（３）薬効成分、美容成分又は栄養成分等のカバーシート６０に含ませるべき成分を示す成分情報と、
が含まれる。

なお、シート情報には、基本的には、配色情報が少なくとも含まれていれば足りるが、本実施形態においては、当該配色情報に加えてさらにサイズ情報、成分情報が含まれるものとして説明を行う。

携帯用通信端末装置１０は、例えば、スマートフォン、タブレット型情報端末装置、又は、携帯用電話機等の通信端末装置であり、ユーザがカバーシート提供サービスを利用する際に用いられる。

具体的には、携帯用通信端末装置１０は、音声通話機能、カメラ機能、電子メールの送受信機能及びブラウジング機能を有している。特に、携帯用通信端末装置１０は、ブラウジング機能としては、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）等のマークアップ言語によって記述されているリソースデータをＵＲＬに基づいて取得し、当該リソースデータに基づいて、画像の表示及びデータ通信を行う機能を有している。

また、携帯用通信端末装置１０は、カバーシート６０の製造を要求するカバーシート製造要求を画像処理サーバ装置３０に送信する際に、ＲＧＢ又はＣＭＹＫ等の色見本５１の画像（以下、「色見本画像」という。）及び所定のグリッド情報を含み、ユーザとの変色部位の位置情報及び肌の色情報を取得するためのナノグリッドシート５０とともに肌を撮像して肌画像データを生成するようになっており、当該生成した肌画像データをカバーシート製造要求及びユーザＩＤとともに画像処理サーバ装置３０に送信（アップロード）する構成を有している。

また、携帯用通信端末装置１０は、カバーシート製造要求を送信するときに、ユーザが所望する、薬効成分、美容成分又は栄養成分等の成分情報を製造条件として選択入力させることができるようになっており、肌画像データとともに当該製造条件の情報（以下、「製造条件情報」という。）をカバーシート製造要求とともに画像処理サーバ装置３０に送信するようになっている。

さらに、携帯用通信端末装置１０は、カバーシート製造要求によって製造されたカバーシート６０の色補正及びサイズ補正を含む補正処理（以下、「シート情報補正処理」という。）を実行するため、当該製造されたカバーシート６０を受領した後に、変色部位に当該受領したカバーシート６０を貼り付けた状態（すなわち、化粧完了後の状態）のユーザの肌を撮像しつつ、当該撮像されて生成された肌画像（以下、「貼り付け済み肌画像」という。）のデータ（以下、「貼り付け済み肌画像データ」という。）を生成し、シート情報補正の要求（以下、「シート情報補正要求」という。）とともに画像処理サーバ装置３０に送信するようになっている。

画像処理サーバ装置３０は、各種のデータベース（以下、「ＤＢ」と略す。）を有し、カバーシート提供サービスの管理及び運営をするために用いられる。

具体的には、画像処理サーバ装置３０は、携帯用通信端末装置１０から送信された肌画像データを取得すると、
（１）取得した画像データの肌画像を構成する各ピクセルに基づいて、肌画像内における変色部位及び非変色部位を識別し、
（２）取得した肌画像データの色見本画像に基づいて、当該肌画像データにおける肌画像のピクセルの色を補正しつつ、前記識別された非変色部位におけるピクセルの色をユーザの肌の基準色として特定し、
（３）特定した基準色に基づいて、撮像された肌に貼り付けて識別された変色部位を少なくともカバーするカバーシート６０を生成するための情報であって、当該カバーシート６０の配色を少なくとも含むシート情報を決定し、
（４）決定したシート情報を、カバーシート６０を製造する製造装置４０に供給する、
構成を有している。

特に、画像処理サーバ装置３０は、肌を撮像する際に肌画像内に画像化されたグリッド情報を含む肌画像データを取得すれば、取得した肌画像データのグリッド情報に基づいて、撮像される際に３次元形状を有するユーザの肌が２次元化された肌画像から、肌の３次元形状を２次元平面に展開し、当該展開した２次元平面によって形成されるカバーシート６０の配色、形状及びサイズを含むシート情報を決定することができるようになっている。

なお、画像処理サーバ装置３０は、カバーシート６０の配色に関しては、特定された基準色に基づきカバーシート６０に印刷して彩色をするための印刷用の画像（以下、「印刷画像」という。）を生成してその配色情報を決定するようになっている。

一方、画像処理サーバ装置３０は、シート情報を決定する際には、特定した変色部位の形状及びサイズの少なくともいずれか一方に基づいて、カバーシート６０における形状及びサイズを決定するとともに、携帯用通信端末装置１０によって指定された製造条件情報に基づいて、当該カバーシート６０に含まれる若しくは添加される成分又は特性を決定する構成を有している。

なお、本実施形態においては、成分情報には、上述のように、薬効成分、美容成分、又は、栄養成分の少なくともいずれか一の成分に関する情報が含まれるとともに、製造条件情報には、変色部位の暈かし方を示す暈かし情報、又は、ユーザによって変色部位が指定されたエリア指定情報が含まれる。また、画像処理サーバ装置３０は、成分情報に代えて又は成分情報とともに、カバーシート６０の透明度、材質又は厚さ等のカバーシート６０の特性に関する情報（以下、「特性情報」ともいう。）を決定してもよい。

特に、カバーシート６０の透明度は、カバーシート６０に配色された色に対する地肌を利用の有無を変化させ、カバーシート６０の材質は、カバーシート６０の質感を変化させ、かつ、カバーシート６０の厚さは、発汗等から肌の保護を優先し、または，化粧の「のり」を優先するといったカバーシート６０の目的に応じて選択させることができる。

他方、画像処理サーバ装置３０は、上記の各処理に加えて、カバーシート６０を製造する際に当該カバーシート６０上にてインクが拡散又は分散する状態を示す印刷基準情報がインクの属性及びカバーシート６０の材料と対応付けて記録されるデータベース（後述する記録装置３３０）を管理する管理機能を有し、データベースに記憶された印刷基準情報に基づいてシート情報を決定する構成を有している。

また、画像処理サーバ装置３０は、上記の各処理に加えて、カバーシート６０を貼り付けた状態のユーザの肌画像に対応する貼り付け済み肌画像データを取得すると、貼り付け済み肌画像データに基づいて、カバーシート６０が変色部位をカバーしているか否かを判定しつつ、当該変色部位をカバーしていない場合にシート情報補正処理を実行してカバーシート６０の色補正及びサイズ補正を行う構成を有している。

特に、画像処理サーバ装置３０は、シート情報を決定する際と同様に、取得した貼り付け済み肌画像データの貼り付け済み肌画像を構成する各ピクセルに基づいて、貼り付け済み肌画像内における変色部位及び非変色部位を識別し、識別した貼り付け済み肌画像内における変色部位及び非変色部位と、シート情報を生成する際に識別された肌画像内における変色部位及び非変色部位と、に基づいて、当該シート情報を補正するようになっている。

なお、画像処理サーバ装置３０は、具体的には、シート情報の補正として、シート情報に含まれる基準色の補正、及び、カバーシート６０の形状又はサイズの補正（すなわち、サイズ情報の補正）の少なくともいずれか一方を補正するようになっている。ただし、本実施形態においては、シート情報の補正として基準色及びサイズ情報の双方を補正するものとして説明する。

製造装置４０は、シート情報に基づき無地のナノシート６１に対して、変色部位をカバーするための、すなわち、化粧するためのドット又はグラデーション等のパターンを印刷してカバーシート６０を製造することが可能な装置である。特に、製造装置４０は、画像処理サーバ装置３０から供給されたシート情報又は補正されたシート情報に基づいて、複数の異なる種類の無地のナノシート６１の中から１のナノシート６１を選択しつつ、当該選択したナノシート６１に印刷を施すことによってカバーシート６０を製造する。

なお、製造装置４０には、印刷対象となる無地のナノシート６１を予めセットしておくためのシ−トトレイが複数設けられており、各シートトレイに、含有成分又は添加成分が異なり、かつ、特性が異なるナノシート６１が予めセットされている。また、製造装置４０において当該シート情報に基づき製造されたカバーシート６０は、郵送又は宅配サービスなどの輸送手段によって該当するユーザに提供されることになる。

このような構成より、画像処理システム１においては、ユーザが自身の肌の変色部位を含む領域に、グリッド及び色見本５１が印刷されたナノグリッドシート５０を貼り付けて撮像された肌画像データが取得されると、ユーザの肌における変色部位をカバーするためのカバーシート６０を製造するために必要なシート情報を生成し、当該生成したシート情報を、カバーシート６０を製造する製造装置４０に提供することができるようになっている。

すなわち、図２に示すように、携帯用通信端末装置１０において肌画像データが取得されると、ユーザのカバーシート製造要求に基づいて、画像処理サーバ装置３０によってシート情報が生成されるようになっている。そして、製造装置４０においては、生成されたシート情報に基づいて、台紙６２上に形成され、かつ、その識別情報（以下、「カバーシートＩＤ」という。）６３を有する、個々のユーザにカスタマイズされたカバーシート６０が製造されるとともに、当該製造されたカバーシート６０は、郵送又は宅配サービスなどの輸送手段によって該当するユーザに提供されるようになっている。

したがって、画像処理システム１においては、ユーザが店舗等に赴かなくとも、肌を撮像して送付するだけで、個々のユーザの肌の色を確実に把握ししつ、カバーシート６０を製造するための情報を提供することができるので、化粧等に用いることが可能であってユーザの顔等に存在する変色部位を確実にカバーできる新規のカバーシート６０の製造を実現させることができるとともに、ユーザの負担を軽減しつつ、容易にかつ的確に個々のユーザに合致するカバーシート６０を製造させることができるようになっている。

また、画像処理システム１においては、年月の経過とともに変色部位の位置や形状の変化若しくは肌質が変化した場合、又は、エラーやユーザのカバーシート６０を貼り付ける際の癖によって既に製造されたカバーシート６０が適していない場合など、既に製造されたカバーシート６０をユーザが実際に該当箇所の肌に貼り付けた場合の画像に基づいて、当該カバーシート６０の形状及びサイズの補正、及び、カバーシート６０への配色の補正を行うことができるようになっている。

したがって、画像処理システム１においては、製造時のエラーや経年変化を補正することができるとともに、ユーザ毎に的確なカバーシート６０を製造し、かつ、カバーシート６０におけるユーザの貼り付ける際の癖なども反映させることが可能なカバーシート６０を提供することができるようになっている。

［Ａ２］肌画像データ
次に、図３を用いて本実施形態に用いられる肌画像データについて説明する。なお、図３は、本実施形態の画像処理システム１において、肌画像の撮像時に用いられるナノグリッドシート５０の一例を示す図である。

本実施形態の肌画像データは、色見本５１を有するナノグリッドシート５０がユーザによって自身の肌の変色部位を含む領域に貼り付けられた状態において、当該ナノグリッドシート５０の貼り付け領域及びその周辺の肌画像が携帯用通信端末装置１０によって撮像されることによって生成される。

通常、肌には凹凸がある一方で変色部位をカバーするカバーシート６０は平面であるので、肌画像についてそのままの状態でカバーシート６０に彩色する色を決定したとしても、的確に肌に形成された変色部位をカバーすることができない。また、凹凸を有する肌等を撮像して画像化した場合に、当該画像化された肌画像は、２次元であるため、直接的にその凹凸を認識することは難しい。一方、撮像対象が凹凸を有した場合であっても、当該凹凸部分に直線形状物、矩形形状物又は円形形状物が存在した場合には、これらの形状物は、画像化されると歪みが生ずる特性を有する。

そこで、本実施形態においては、２次元画像となる肌画像（すなわち、ユーザが撮像して生成された元々の肌画像）から肌の凹凸を認識して画像の歪みを補正するために、肌に貼り付けるための直線形状となる平面的なグリッド線５２を有するグリッドシート５０を用いるようになっている。すなわち、３次元的な凹凸を含む変色部位にナノグリッドシート５０を貼り付けた状態で撮像された肌の画像である肌画像には、当該ナノグリッドシート５０上に印刷されたグリッド線５２が変形して画像化されることになるので、グリッド線５２の凹凸を画像解析すれば、肌の凹凸を含む３次元形状を把握しつつ、変色部位の立体的な形状及びその表面積を演算することが可能となっている。

また、撮像対象を撮像する際には、撮像時の周辺環境要素（例えば、日照、照明等）の変化に伴って画像化される撮像対象の色成分も変化する。

そこで、本実施形態においては、ナノグリッドシート５０上に予め定められた色見本５１を形成させ、正規の色見本と撮像された色見本５１を比較することによって（具体的には、ＲＧＢ等の各色要素の階調値を比較することによって）撮像された肌画像の色を補正することが可能となっている。

具体的には、肌画像データは、このようなナノグリッドシート５０が、変色部位を含む領域に貼り付けられた肌を撮像することにより、携帯用通信端末装置１０において、色見本画像及びグリッド情報を含んで生成される。

例えば、ナノグリッドシート５０は、図３に示すように、２００μｍのポリスチレン製支持体（台紙）に直径３．２ｃｍの円形又は３．２ｃｍ角の正方形の形状をくり抜き、その枠上に、基材から成る溶液の膜を張って成膜した厚さ１０ｎｍ〜１０μｍのナノシートである。上記の基材の成分として特に限定はしないが、生体に対する安全性が高い成分であることが好ましく、例えばタンパク質、多糖類を用いることができ、具体的には、ゼラチン、コラーゲン、ヘブリン、アガロース、ヒアルロン酸、セルロース、アルギン酸、キトサン等が挙げられる。また、ポリエチレングリコール、ポリアクリルアミド、ポリ乳酸等の水溶性高分子も用いることができる。また、ナノグリッドシート５０上には、図３に示すように、ＲＧＢ又はＣＭＹＫのそれぞれの色が形成された色見本５１と、例えば、上下及び左右に５ｍｍ間隔にて形成されたグリッド線５２と、が印刷等によって形成されている。

また、色見本５１は、ＲＧＢ又はＣＭＹＫの基準色をべた塗りするようにしてもよく、グラデーションにて印刷するようにしてもよい。また、グリッド線５２は、直径０．１〜１００μｍのドットを線状に印刷することによりナノシート上に形成される。

［Ａ３］カバーシート
次いで、図４〜図６を用いつつ、本実施形態のカバーシート６０について説明する。なお、図４は、本実施形態におけるナノシート６１に対して、インクを滴下した場合におけるインクの拡散状態を撮像した顕微鏡写真であり、図５及び図６は、本実施形態のナノシート（無地）６１に対して、インクを滴下等した場合におけるインクの拡散状態を示すイメージ図である。

本実施形態のカバーシート６０は、ユーザの顔や体表に存在する、シミ、痣、傷跡、痘痕、外傷、又は、病巣等の変色部位をカバーする化粧用途、又は、当該肌をカバーしつつ、治療を行う治療用途に用いるためであって、粘着剤が不要で透明性及び貼り付け感において有用なナノオーダーの貼り付け用のシートである。

また、カバーシート６０は、製造装置４０のシートトレイに予めセットされた原材料、含有成分又は特性が異なる複数のナノシート６１から選択された１種類のナノシート６１に対して、液体インクを滴下又は吹きつけ等することによって製造される。

特に、カバーシート６０は、所定の台紙６２上に、基材としてのゼラチン、コラーゲン、ヘブリン、アガロース、ヒアルロン酸、セルロース、アルギン酸、キトサン等のタンパク質や多糖類、又は、ポリエチレングリコール、ポリアクリルアミド、ポリ乳酸等の水溶性高分子の溶液の膜を成膜させることにより、厚さ１０ｎｍ以上１０μｍ以下にて成膜されたナノシート６１から形成される。なお、台紙６２は、支持体として機能するとともに、例えば、図２に示すようにリング形状によって形成されていてもよいし、シート形状によって形成されていてもよい。

そして、カバーシート６０は、必要に応じて成膜されたナノシート６１に「ヒアルロン酸」、「ビタミンＣ」及び「アシクロビル」等の成分が添加されるとともに、このナノシート６１上に所定のピクセル単位毎に液体インクを滴下又は吹きつけ等を実行し、インクが印刷対象物上にて周囲のピクセルに拡散又は分散されることによって印刷されて製造される。

一方、本実施形態においては、透明素材であるナノシート６１にインクを滴下等した場合には、インク層の膜厚、インクの粘度、密度等に応じて色成分（すなわち、色味、階調等）が変化することになるので、カバーシート６０に印刷によって彩色する場合には、これらの変化を想定して実行することが要求されている。

具体的には、図４（Ａ）に示すインクを滴下したナノシート６１を観察すると、インク密度の濃い部分では、図４（Ｂ）のようになり、インク密度の薄い部分では、図４（Ｃ）になっており、このようなインク密度の濃度の差は、通常、ナノシート６１に滴下されたインクが拡散又は分散されることによって生ずることが知られている。

このため、例えば、図５（Ａ）に示すように、任意の１ピクセルを構成するために、１ピクセルＰに該当するインクをナノシート６１上に滴下させると、図５（Ｂ）に示すように、インクがナノシート６１上にて１のピクセルを構成する点（以下、「ピクセル構成点」という。）Ｐと当該ピクセル構成点の周囲のピクセルに相当する部分（以下、「周囲ピクセル構成点」という。）Ｑに拡散又は分散される。また、図６（Ａ）に示すように、「ピクセル構成点」Ｐ１及び「ピクセル構成点」Ｐ２にインクを滴下すると、当該インクは、各周囲ピクセル構成点Ｑ１及びＱ２に拡散又は分散される。したがって、ナノシート６１に色を彩色する（すなわち、印刷する）際に、カバーシート６０に彩色するためのピクセル毎のインク量を設定するだけでなく、滴下後に隣接するピクセルに対して拡散又は分散する量も含めてインク量を設定する必要がある。

なお、図５（Ｂ）及び図６（Ｂ）において各ピクセルに付した数値は、残留するインク量の比率を例示しており、数値が「２」となっているピクセルには、「１」となっているピクセルの倍量のインクが残留することを示している。

そこで、本実施形態のカバーシート６０においては、当該カバーシート６０を製造する際に用いるインクの種別毎に、図５（Ｂ）又は図６（Ｂ）に例示するような最終的な印刷の仕上がり状態を示した印刷画像を構成する際の各ピクセルに対するインク量を示すドット画像（例えば、ビットマップ）を作成し、印刷基準情報として、画像処理サーバ装置３０のデータベースに予め記録させるとともに、カバーシート６０は、この印刷基準情報を用いて生成されたシート情報に基づいて生成される。

また、本実施形態においては、シート情報補正処理を実行しつつ色補正及びサイズ補正を行うシート情報補正処理を実行するために、カバーシート６０の台紙６２裏面には、シート情報生成処理において割り当てられた、カバーシート６０のカバーシートＩＤ６３に対応するコード（例えば、ＱＲコード（登録商標））が印刷されており、このコードによって、製造装置４０にて製造された各カバーシート６０が、識別可能な構成になっている。

［Ａ４］通信端末装置
次に、図７を用いて本実施形態の携帯用通信端末装置１０について説明する。なお、図７は、本実施形態の携帯用通信端末装置１０の構成を示すブロック図である。

本実施形態の携帯用通信端末装置１０は、図７に示すように、各種のプログラムが実行される際に用いられるメモリ機能を有するデータ記憶部１００と、撮像機能を有し、肌画像データその他の画像データを生成する画像データ生成部１１０と、画像処理サーバ装置３０と連動しカバーシート製造要求時に各種の処理を実行するアプリケーション制御部１２０と、を備えている。

また、携帯用通信端末装置１０は、画像処理サーバ装置３０及び他の通信装置と通信を行うネットワーク通信部１３０と、表示部１６０と、表示部１６０を制御する表示制御部１６１と、ユーザの操作を入力するための操作部１７０と、装置全体を制御する携帯端末管理制御部１９０と、を有している。

そして、携帯用通信端末装置１０は、例えば、電話機能及び電子メール等のメール機能を有する場合には、マイク、スピーカ及び電子メールの送受信機能等の種々の必要な部材を有している。さらに、上述の各部は、バスＢによって互いに接続され、データの授受が実行される。

データ記憶部１００は、各種のアプリケーションプログラムが記憶されるアプリケーション記憶部１０１と、画像データ生成部１１０によって撮像されて生成された画像データが記憶される画像データ記憶部１０２と、携帯用通信端末装置１０の管理及び制御に関するプログラム、並びに、各プログラムの実行中にワークエリアとして用いられるとともに、携帯用通信端末装置１０で実行される各処理において用いられるデータが記憶されるＲＯＭ／ＲＡＭ１０３と、を有している。

特に、アプリケーション記憶部１０１には、画像データ生成部１１０、操作部１７０、表示制御部１６１及び画像データ記憶部１０２と連動しつつ、アプリケーション制御部１２０によって実行されるアプリケーションプログラム（以下、「アプリ」という。）が記録されている。また、アプリケーション記憶部１０１には、上述のブラウジング機能を実現するためのブラウザ用のプログラムも記録されている。

画像データ記憶部１０２には、撮像した肌画像データと、各画像データを管理するための画像ＩＤと、が対応付けられて記憶される。なお、画像ＩＤとは、各携帯用通信端末装置１０において適宜付与される任意の識別情報である。

画像データ生成部１１０は、光学システムと、当該光学システムから入力された光学画像を電気信号に変換するＣＣＤＩセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）と、ＣＣＤＩセンサにおいて生成された電気信号に基づいて画像データを生成する生成部と、を有する。

特に、画像データ生成部１１０は、グリッド情報及び色見本５１を有するナノグリッドシート５０が貼り付けられたユーザの肌を撮像した際に、当該撮像された肌を画像化し、肌画像データを生成する。

アプリケーション制御部１２０は、データ記憶部１００のアプリケーション記憶部１０１に記録されたカバーシート提供サービス用のアプリケーションを実行することにより、カバーシート製造要求を画像処理サーバ装置３０に送信するようになっている。

このとき、アプリケーション制御部１２０は、例えば、
（１）ナノグリッドシート５０を肌の変色部位を含む部位に貼り付けて、貼り付け部位の写真を撮像させるための示唆と、
（２）ユーザを特定するための情報を入力させるための入力フォームと当該情報を入力フォームに入力させるための示唆と、
（３）ユーザがカバーシート６０への添加を所望する成分（例えば、薬効成分等）を指定するための入力フォームと当該成分を入力フォームに入力させるための示唆と、
を、少なくとも含む製造要求画面を表示部１４０に表示させ、ユーザによる肌画像の撮像を促すようになっている。

なお、所望成分をユーザに指定させる方法は、任意であり、例えば、選択可能な成分の一覧からユーザに選択させるようしてもよく、テキスト入力させるようにしてもよい。

そして、当該製造要求画面の指示に従い、ユーザが、所望成分を選択する入力を行うとともに、ナノグリッドシート５０を自身の肌の変色部位に貼り付けて、カメラを起動する旨の操作入力を操作部１７０に行うと、アプリケーション制御部１２０は、画像データ生成部１１０と連動して、肌画像を撮像させ、当該撮像された肌画像に対応する肌画像データを生成する。そして、アプリケーション制御部１２０は、ユーザの所望する成分を示す製造条件情報及びユーザのユーザＩＤを含むカバーシート製造要求を生成し、ネットワーク通信部１３０を介して、肌画像データと対応付けて、画像処理サーバ装置３０に送信する。

なお、肌画像データの形式は、任意であり、圧縮された画像データ又は非圧縮の画像である。また、例えば、肌画像データは、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式やＢＭＰ（Ｂｉｔｍａｐ Ｉｍａｇｅ）形式にて生成されるようになっている。

また、カバーシート製造要求に含まれるユーザＩＤは、ユーザに入力させるようにしてもよく、アプリケーション記憶部１０１に予め記憶させておくようにしてもよい。

一方、アプリケーション制御部１２０は、製造されたカバーシート６０に対するシート情報補正処理を行うために、当該製造されたカバーシート６０を受領した後に、例えば、ユーザが所定の入力操作を操作部１７０に行った場合に、画像データ生成部１１０と連動して、カバーシート６０の裏面に印刷されたコードからカバーシートＩＤ６３を特定しつつ、ユーザが変色部位に当該受領したカバーシート６０を貼り付けた状態（すなわち、化粧完了後の状態）にて、カバーシート６０を貼り付けた状態の肌画像（すなわち、貼り付け済み肌画像）を撮像させる。そして、アプリケーション制御部１２０は、当該カバーシートＩＤ６３を含むシート情報補正要求を生成するとともに、ネットワーク通信部１３０を介して、貼り付け済み肌画像データと対応付けて、画像処理サーバ装置３０に送信する。

ネットワーク通信部１３０は、アプリケーション制御部１２０及び携帯端末管理制御部１９０の制御の下、ネットワーク２０に接続される画像処理サーバ装置３０との通信回線を構築し、肌画像データ等の種々のデータの授受を行う。

表示部１６０は、所定のサイズ（例えば、５インチ、Ｗ４８０×Ｈ９６０ピクセル）の画像表示領域を有し、液晶素子又はＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子のパネルによって構成され、表示制御部１６１において生成された表示データに基づいて所定の画像を表示するようになっている。

表示制御部１６１は、アプリケーション制御部１２０又は携帯端末管理制御部１９０の制御の下、表示部１６０に所定の画像を描画させるために必要な描画データを生成し、生成した描画データを当該表示部１６０に出力するようになっている。

操作部１７０は、各種の確認ボタン、各操作指令を入力する操作ボタン、テンキー等の多数のキー及び表示部１６０上に設けられたタッチセンサにより構成され、各操作を行う際に用いられるようになっている。特に、操作部１７０は、肌画像を撮像する際に用いられる。

携帯端末管理制御部１９０は、主に中央演算処理装置（ＣＰＵ）によって構成されるとともに、キー入力ポート、表示制御ポート等の各種入出力ポートを含み、携帯用通信端末装置１０の全般的な機能を総括的に制御するようになっている。

［Ａ５］画像処理サーバ装置
次に、図８〜図１１の各図を用いて本実施形態の画像処理サーバ装置３０の構成について説明する。なお、図８は、本実施形態の画像処理サーバ装置３０の構成を示すブロック図であり、図９〜１１は、それぞれ、画像処理サーバ装置３０内に設けられたユーザ管理ＤＢ３３１、ナノシート管理ＤＢ３３２及び印刷基準情報ＤＢ３３３に記録されるデータの一例を示す図である。

本実施形態の画像処理サーバ装置３０は、図８に示すように、ネットワーク２０に通信接続される通信制御部３１０と、各種のメモリとして機能するＲＯＭ／ＲＡＭ３２０と、各種のＤＢを有する記録装置３３０と、サーバ装置全体を制御するサーバ管理制御部３４０と、携帯用通信端末装置１０と連動しつつ、シート情報生成処理を実行するデータ処理部３５０と、を有している。なお、上記の各部は、バスＢによって相互に接続され、各構成要素間におけるデータの転送が実行される。

通信制御部３１０は、所定のネットワークインターフェースであり、ネットワーク２０を介して各携帯用通信端末装置１０とデータの授受を行う。

ＲＯＭ／ＲＡＭ３２０には、画像処理サーバ装置３０の駆動に必要な各種のプログラムが記録されている。また、ＲＯＭ／ＲＡＭ３２０は、サーバ管理制御部３４０やデータ処理部３５０が各種の処理を実行する際のワークエリアとして用いられる。

記録装置３３０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、その記録領域内に少なくとも、ユーザ管理ＤＢ３３１と、ナノシート管理ＤＢ３３２と、印刷基準情報ＤＢ３３３と、を有している。なお、本実施形態の記録装置３３０は、例えば、本発明の印刷データベースを構成する。

ユーザ管理ＤＢ３３１は、カバーシート提供サービスに利用登録をした各ユーザを管理するための各種情報がデータとして格納されるデータベースである。例えば、ユーザ管理ＤＢ３３１には、図９に示すように、
（１）各ユーザに割り当てられたユーザＩＤと、
（２）各ユーザのユーザ名、住所、連絡先等の属性を含むユーザ情報と、
（３）各ユーザのサービス利用履歴情報として過去に生成されたシート情報と、
が対応付けて記録される。

ユーザ情報には、
（Ａ）携帯用通信端末装置１０に搭載されたカメラの性能として、有効画素数、レンズ特性、画角等を示すカメラ情報、
（Ｂ）ざらざら及びつるつる等の表面状態又は肌の保湿状態等の予め定められた基準に基づいて設定された肌の状態、ナノシート６１の好みの材料や厚さ、及び、これらに基づく色玉式（印刷において刷色（印刷に使用したインキの色）や版数（色数）の確認やインキの濃度管理のための図形）の種別を含むユーザの嗜好を反映させた特性情報、
を含ませるようにしてもよい。

また、ユーザ情報に、カメラ情報を含ませた場合には、色補正等に利用し、シート情報の精度を向上させることが可能となる。さらに、サービス利用履歴情報としては、時系列に複数のシート情報がカバーシートＩＤ６３に対応付けて記録されている。

さらに、例えば、図９は、ユーザ管理ＤＢ３３１に、ユーザ「ｕｓｅｒ１０１」に対応するユーザ情報として「ｕｓｅｒ１０１ｐｒｏｆｉｌｅ」が記録され、サービス利用履歴情報として、「シート情報１（２０１３／０７／０１）」及び「シート情報２（２０１３／０８／１０）」が記録されている状態を示している。

なお、カバーシート提供サービスへの登録方法としては、例えば、画像処理サーバ装置３０のサイト上にて、ユーザが自身の氏名等の情報と、利用中の携帯用通信端末装置１０の機種名をユーザ情報として登録するようにすればよい。

ナノシート管理ＤＢ３３２は、製造装置４０のシートトレイにセットされた各ナノシート（無地）６１を管理するためのＤＢである。例えば、ナノシート管理ＤＢ３３２には、図１０に示すように、
（１）ナノシート６１が種別毎にセットされているシートトレイを示すセット位置に関する情報（以下、「セット位置情報」という。）と、
（２）シートトレイ毎のナノシート６１に含まれる含有成分及びシートの特性に関する情報（以下、「成分情報」という。）と、
が対応付けられてナノシート関連情報として記録される。

また、例えば、図１０は、セット位置「ｔｒａｙ１」に含有成分「エンザイムＱ１０」のナノシート６１が登録されている状態を示している。また、図１０は、セット位置「ｔｒａｙ２〜７」に含有成分「ヒアルロン酸」、「ビタミンＣ」及び「アシクロビル」等の成分を含有するとともに、１００％の透明度を有し、かつ、１００ｎｍの厚さを有するナノシート６１が登録されている状態を示している。

印刷基準情報ＤＢ３３３は、製造装置４０にセットされた各インクを管理するための情報がデータとして記録されるＤＢである。例えば、印刷基準情報ＤＢ３３３には、図１１に示すように、
（１）各インクに割り当てられたインクＩＤと、
（２）色、ＲＧＢ又はＲＧＢに相当するＣＭＹＫに相当する階調値及びインクの粘度等のインク情報と、
（３）カバーシート６０の原材料毎及び含有成分毎に予め設定された印刷基準情報と、
が対応付けて記録される。

また、例えば、図１１は、「ｉｎｋ００１」として、「色：シアン（ＲＧＢ階調値）、粘度：１」なるインク情報と、カバーシート６０の原材料毎及び含有成分毎に予め設定された印刷基準情報「ビットマップ１〜５」が記録されている状態を示している。

サーバ管理制御部３４０は、主に中央演算処理装置（ＣＰＵ）によって構成され、プログラムを実行することによって、画像処理サーバ装置３０の各部を統合制御する。

データ処理部３５０は、サーバ管理制御部３４０による制御の下、アプリケーションを実行することにより、シート情報生成処理及びシート情報補正処理を実行する。具体的には、データ処理部３５０は、肌画像データ及び貼り付け済み肌画像データを携帯用通信端末装置１０からの取得制御を実行するデータ取得部３５１と、各データベースを管理するＤＢ管理部３５２と、変色部位を識別する変色部位識別部３５３、基準色を決定する基準色決定部３５４、印刷基準を決定する印刷基準決定部３５５、シート情報生成処理を実行するシート情報生成部３５６と、シート情報補正処理を実行するシート情報補正処理部３５７と、を実現する。

なお、例えば、本実施形態のデータ処理部３５０は、本発明の画像取得手段、識別手段、特定手段、決定手段及び供給手段、を構成する。

データ取得部３５１は、シート情報生成処理においては、通信制御部３１０を介して、携帯用通信端末装置１０からカバーシート製造要求、肌画像データ、製造条件情報及びユーザＩＤを取得すると、肌画像データ、製造条件情報及びユーザＩＤを、ＲＯＭ／ＲＡＭ３２０に一時記録させつつ、変色部位識別部３５３、基準色決定部３５４及びシート情報生成部３５６にそれぞれ該当する情報を提供する。

また、データ取得部３５１は、シート情報補正処理においては、製造したカバーシート６０をユーザに提供した後に、所定のタイミングにて、携帯用通信端末装置１０から、シート情報補正要求及び貼り付け済み肌画像データを取得すると、ＤＢ管理部３５２と連携しつつ、当該シート情報補正要求に含まれるカバーシートＩＤ６３に対応付けて記録されているユーザ情報及び過去のシート情報をユーザ管理ＤＢ３３１から読み出す。そして、データ取得部３５１は、ユーザ情報、シート情報及び貼り付け済み肌画像データ、ＲＯＭ／ＲＡＭ３２０に一時記録させつつ、変色部位識別部３５３、基準色決定部３５４及びシート情報補正処理部３５７にそれぞれ該当する情報を提供する。

変色部位識別部３５３は、シート情報生成処理時に、データ取得部３５１により取得された肌画像データを画像解析し、肌画像データの肌画像中の変色部位と、非変色部位と、を識別する。そして、変色部位識別部３５３は、肌画像における識別した変色部位に関する情報を基準色決定部３５４及びシート情報生成部３５６にそれぞれ出力する。

特に、変色部位識別部３５３は、肌画像を構成する各ピクセルをライン毎に走査し、所定の階調差が生ずるピクセルを変色部位のエッジに属するピクセルとしてエッジ検出を行う。そして、変色部位識別部３５３は、エッジに属するピクセルによって囲まれた部分を変色部位として特定し、特定した部分を変色部位としてピクセル数、各ピクセルの肌画像上の座標（ＸＹ座標）、特定した部分の肌画像上の座標（中心となるＸＹ座標）、及び、各ピクセルの階調値（サブピクセルの階調値）の各情報をシート情報生成部３５６に出力するとともに、非変色部位に属する各ピクセルのピクセル数及びその色成分の値（ＲＧＢ等のサブピクセルの階調値）を基準色決定部３５４に出力する。

なお、変色部位識別部３５３は、シート情報補正処理においては、シート情報生成処理と同様に、データ取得部３５１により取得された貼り付け済み肌画像データを画像解析し、貼り付け済み肌画像データの肌画像中の変色部位と、非変色部位と、を識別する。ただし、変色部位識別部３５３は、肌画像における識別した変色部位に関する情報をシート情報補正処理部３５７に出力する。

基準色決定部３５４は、シート情報生成処理時に、該当する肌画像データに含まれる色見本５１の画像（以下、「色見本画像」という。）の色成分と、変色部位識別部３５３によって識別された非変色部位に属する各ピクセルの色成分と、に基づいて基準色を決定し、決定した基準色の情報を印刷基準決定部３５５に出力する。

具体的には、基準色決定部３５４は、
（１）ＲＯＭ／ＲＡＭ３２０に記録された肌画像データに含まれる色見本画像を抽出し、
（２）予め設定された色見本５１の階調値と当該抽出した色見本画像の階調値の差を算出し、
（３）非変色部位に属する各ピクセルの各色成分の値（階調値）に算出した階調値差を加算又は減算して非変色部位の各ピクセルの色成分の値を補正し、
（４）補正した非変色部位の各ピクセルの色成分の値の平均を算出し、その各色成分の値を有する色を基準色として決定する。

例えば、基準色決定部３５４は、平均として算出された各色成分を基準色として決定してもよいし、当該平均として算出された各色成分に基づいて、複数ある肌色の中から最も類似する色成分を有する１の肌色を選択し、当該選択した肌色を基準色として決定してもよい。

なお、基準色決定部３５４は、非変色部位の各ピクセルの色成分の値の平均を、基準色を構成する色成分の階調値として算出するとともに、当該平均値に色見本画像の各ピクセルの色成分値の二乗平均と、肌画像データに含まれる色見本画像の二乗平均と、の差分を算出し、当該差分値の平方根を基準色（すなわち、基準色を構成する色成分の階調値）に加算することにより基準色を補正するようにしてもよい。

印刷基準決定部３５５は、ＤＢ管理部３５２と連動しつつ、基準色決定部３５４によって決定された基準色、又は、シート情報補正処理部３５７によって補正された基準色を、無地のナノシート６１に印刷する際に、利用すべきインク（すなわち、インクＩＤ）を決定する。

具体的には、印刷基準決定部３５５は、印刷基準情報ＤＢ３３３のインク情報を参照し、基準色を構成する色成分の階調値と同一又は最も類似する階調値を有する１のインクＩＤ、又は、基準色を構成する色成分の階調値と同一又は最も類似する階調値を生成可能な複数のインクＩＤと各インクの割合を決定する。

一方、印刷基準決定部３５５は、決定したインクＩＤに対応する印刷基準情報を印刷基準情報ＤＢ３３３から読み出して、インクＩＤ及び複数の場合にその割合と、読み出した印刷基準情報を、ＲＯＭ／ＲＡＭ３２０に記録するとともに、シート情報生成部３５６又はシート情報補正処理部３５７に出力する。

特に、印刷基準決定部３５５は、決定された基準色又は補正された基準色に該当するビットマップであって、印刷画像を構成する際の１ピクセルに対する当該ピクセルと周囲のピクセルの各インクのインク量を示す印刷基準情報（例えば、ビットマップ）を印刷基準情報ＤＢ３３３から読み出す。

なお、印刷基準決定部３５５は、複数のインクを用いて無地のナノシート６１に印刷する場合には、利用すべき各インクのインク量に対応する印刷基準情報を印刷基準情報ＤＢ３３３から読み出してＲＯＭ／ＲＡＭ３２０に記録しつつ、シート情報生成部３５６又はシート情報補正処理部３５７に出力する。

シート情報生成部３５６は、
（１）肌画像の凹凸を認識しつつ、当該肌画像を２次元画像とした場合のカバーシート６０（すなわち、ナノシート６１）の形状及びサイズを決定し、
（２）決定したカバーシート６０の形状及びサイズと、基準色決定部３５４によって決定された基準色及び印刷基準決定部３５５によって読み出した印刷基準情報と、に基づいて印刷画像の配色情報を生成し、
（３）製造条件情報に基づいてカバーシート６０の特性及び成分が設定されたナノシート６１の種別を決定し、
（４）決定したナノシート６１の形状及びサイズと、生成した印刷画像の配色情報と、ナノシート６１の種別と、をシート情報として製造装置４０に出力し、
（５）当該シート情報と肌画像をサービス利用履歴情報としてユーザ管理ＤＢ３３１に記録するシート情報生成処理を実行する。

具体的には、シート情報生成部３５６は、肌画像に形成されたグリッド線５２の歪みを検出するとともに、当該グリッド線５２が直線となるように凹凸を含む肌画像を平面に展開し、変色部位識別部３５３によって識別された変色部位に属するピクセルを当該展開された平面に割り当てる（すなわち、変色部位の表面積と表面形状が同一となるように変色部位値の各ピクセルを平面に割り当てる）。そして、シート情報生成部３５６は、平面上に展開された場合の変色部位のエリアを特定するとともに、特定した変色部位の平面上のエリアに基づいて、カバーシート６０の形状及びサイズを決定する。

特に、シート情報生成部３５６は、平面上に展開された変色部位（すなわち、肌上の変色部位の表面積）と同一または当該変色部位よりも大きく（すなわち、肌上の変色部位の表面積よりも大きく）、予め定められたサイズとなるように、カバーシート６０のサイズを決定する。そして、シート情報生成部３５６は、平面上に展開された変色部位の形状（すなわち、肌上の変色部位と同等の形状）をカバーシート６０の形状に決定する。

なお、シート情報生成部３５６は、カバーシート６０の形状としては、平面上に展開された変色部位の形状と同等の形状の他に、当該変色部位を覆うことができれば、当該変色部位の相似する形状、円形状や楕円形状又は矩形形状であってもよい。

また、シート情報生成部３５６は、基準色決定部３５４によって決定された基準色及び印刷基準決定部３５５によって読み出した印刷基準情報とともに、決定したカバーシート６０の形状及びサイズに沿って、印刷画像の各ピクセルにおけるインク種別及びインク量（すなわち、配色情報）を決定する。

特に、シート情報生成部３５６は、上述のように、決定したカバーシート６０の形状及びサイズに合致するように、各印刷基準情報に基づいて１ピクセルに対する当該ピクセルと周囲のピクセルの各インクのインク量を示すビットマップに基づいて、印刷画像における各ピクセルのインク及びそのインク量（すなわち、配色情報）を決定する。

そして、シート情報生成部３５６は、ＤＢ管理部３５２と連携しつつ、ＲＯＭ／ＲＡＭ３２０に記録された製造条件情報に基づいて、ナノシート管理ＤＢ３３２を検索し、製造条件情報に対応する所望成分を含むナノシート６１に対応したナノシート関連情報を読み出す。

さらに、シート情報生成部３５６は、ナノシート関連情報と、印刷画像の配色情報と、カバーシートの形状及びサイズのサイズ情報と、カバーシートＩＤ６３と、を含むシート情報を生成し、当該生成したシート情報を製造装置４０に提供するとともに、当該シート情報と肌画像をユーザ管理ＤＢ３３１に記録する。

なお、シート情報には、上述のように、生成されるカバーシート毎にカバーシートＩＤ６３が割り当てられるように含まれる。すなわち、１のシート情報において１０枚のカバーシート６０が生成される場合には、１０のカバーシートＩＤ６３が含まれる。

シート情報補正処理部３５７は、携帯用通信端末装置１０を介してユーザから送信されたシート情報補正要求が受信され、変色部位識別部３５３から変色部位に関する情報を取得すると、貼り付け済み肌画像データに基づいて、カバーシート６０が変色部位をカバーしているか否かを判定するとともに、当該変色部位をカバーしていない場合にカバーシート６０のサイズ補正を実行し、かつ、色補正を実行するシート情報補正処理を実行する。

特に、シート情報補正処理部３５７は、シート情報補正要求とともに送信されたカバーシートＩＤ６３に基づいて、シート情報及び肌画像をユーザ管理ＤＢ３３１から読み出すとともに、変色部位及び非変色部位に属する各ピクセルの情報に基づいて、貼り付け済み肌画像におけるカバーシート６０の貼り付けた状況を示す情報（以下、「貼り付け情報」という。）を生成するシート情報補正処理を実行する。

また、シート情報補正処理部３５７は、当該生成した貼り付け情報と、読み出したシート情報及び肌画像に基づいて、当該既に生成したシート情報を補正するための新たに設定されたカバーシート６０（すなわち、ナノシート６１）の形状及びサイズのサイズ情報と、基準色の補正の有無及びその補正をするための各種の値と、当該新たに設定された印刷画像の配色情報と、を含むシート情報（以下、「調整シート情報」という。）を生成する。

そして、シート情報補正処理部３５７は、ユーザ管理ＤＢ３３１から読み出したシート情報に含まれるナノシート関連情報及びカバーシートＩＤ６３とともに、生成された調整シート情報をシート情報として製造装置４０に提供するとともに、当該調整シート情報と貼り付け済み肌画像をシート情報及び肌画像としてユーザ管理ＤＢ３３１に追加記録する。

具体的には、シート情報補正処理部３５７は、貼り付け済み肌画像における変色部位の形状及びサイズに対応する各ピクセルの位置と、読み出した肌画像に含まれる変色部位の形状及びサイズに基づいて、シート情報が生成された際の肌画像における変色部位の中から、貼り付け済み肌画像における変色部位と一致する部分の有無を判定しつつ、当該一致する部分を抽出する。

そして、シート情報補正処理部３５７は、シート情報に基づいて、抽出した部分（以下、「変色部位抽出部分」という。）に該当する画像の２次元画像を取得するとともに、当該取得した変色部位抽出部分の２次元画像時の形状及びサイズを、シート情報に含まれるカバーシート６０に追加し、新たなカバーシート６０の形状及びサイズを決定する。

例えば、シート情報補正処理部３５７は、シート情報が生成された際の肌画像における変色部位において、当該変色部位の中から、貼り付け済み肌画像における変色部位と一致する部分が形成されている部分の端部に隣接するように、新たに決定した形状及びサイズを組み合わせて新たなカバーシート６０の形状及びサイズを決定する。

一方、シート情報補正処理部３５７は、非変色部位に属する各ピクセルの階調差をそれぞれ算出し、階調差が予め定められている範囲内の場合には、読み出したシート情報の基準色を維持し、当該階調差が予め定められている範囲以上の場合には、当該読み出したシート情報に含まれる基準色を補正する。

例えば、シート情報補正処理部３５７は、非変色部位に属する各ピクセルの階調差が予め定められている範囲以上の場合には、非変色部位の各ピクセルの色成分の値の平均を、基準色を構成する色成分の階調値として算出するとともに、当該平均値に色見本画像の各ピクセルの色成分値の二乗平均と、肌画像データに含まれる色見本画像の二乗平均と、の差分を算出し、当該差分値の平方根を読み出したシート情報に含まれる基準色（すなわち、基準色を構成する色成分の階調値）に加算することにより基準色を補正する。

また、シート情報補正処理部３５７は、印刷基準決定部３５５と連動しつつ、上述のように、補正した基準色を無地のナノシート６１に印刷する際に、利用すべきインクを決定させ、当該決定させたインクに対応する印刷基準情報（ビットマップ）を印刷基準情報ＤＢ３３３から読み出させて、ＲＯＭ／ＲＡＭ３２０に記録させるとともに、取得する。

そして、シート情報補正処理部３５７は、新たに基準色を決定した場合には、当該新たに決定した基準色及び印刷基準決定部３５５によって読み出した印刷基準情報と、に基づいて印刷画像の配色情報を再度生成する。

さらに、シート情報補正処理部３５７は、再度、新規なカバーシートＩＤ６３を付与しつつ、ナノシート関連情報と、新たに決定した印刷画像の配色情報と、カバーシートの形状及びサイズのサイズ情報と、を含む調整シート情報を生成し、当該生成した調整シート情報をシート情報として製造装置４０に提供するとともに、当該生成した調整シート情報及び貼り付け済み肌画像を、シート情報と肌画像として、ユーザ管理ＤＢ３３１に追加記録する。

［Ａ６］製造装置
次に、本実施形態の製造装置４０について説明する。

製造装置４０は、画像処理サーバ装置３０からシート情報が供給されると、当該シート情報に含まれる成分情報に基づき、台紙６２上に形成された特定のナノシート（無地）６１を選択しつつ、配色情報及びサイズ情報に基づいて、当該ナノシート６１の表面に変色部位の全体又は一部をカバーするように所定のパターンを印刷する。

そして、製造装置４０は、印刷部位から所定の余白（例えば、数ｍｍ）を持って（すなわち大きく）、ナノシート６１からカバーシート６０を切り出す。また、このとき、製造装置４０は、当該切り出したカバーシート６０の台紙６２の裏面に、カバーシートＩＤ６３に対応するコードを印刷するようになっている。

なお、台紙６２付きのカバーシート６０が製造装置４０によって製造されると、対応するユーザ宛に製造されたカバーシート６０が郵送等によって配送される。

また、本実施形態において、製造装置４０においては、予め所定の成分を有するナノシート６１を用いるようになっているが、ナノシート６１の製造及び成分の添加を含めて当該ナノシート６１の製造機能を持たせてもよい。

この場合には、所定の台紙６２に対して、所定の薬効成分等を含有した高分子キトサン溶液、アルギン酸ナトリウム溶液等の膜を成膜することにより台紙６２上にナノシート６１を製造するようにすればよい。

［Ａ７］画像処理システムの動作
［７．１］カバーシート製造時の画像処理システム１の動作（新規のシート情報の生成）
次に、図１２を用いて本実施形態のカバーシート製造時において、新規のシート情報の生成を実行する画像処理システム１の動作について説明する。なお、図１２は、本実施形態のカバーシート製造時において、新規のシート情報の生成を実行する画像処理システム１の動作を示すフローチャートである。

本動作においては、ユーザがカバーシート６０の提供サービスに利用登録済みの状態、すなわち、ユーザ管理ＤＢ３３１には、ユーザ情報が記録済みであるものとする。また、ナノシート管理ＤＢ３３２及び印刷基準情報ＤＢ３３３には、図９及び図１０に例示する各種の情報が記録済みの状態になっているものとする。さらに、本動作において、携帯用通信端末装置１０は、表示部１６０にカバーシート製造要求を実行するための画像を表示させつつ、肌画像の撮像及び製造条件情報の入力を待機する状態（以下、「撮像入力待機状態」という。）になっているものとする。

まず、携帯用通信端末装置１０において、アプリケーション制御部１２０は、撮像入力待機状態において、自身の肌に存在する変色部位にナノグリッドシート５０が貼り付けられた肌画像が撮像されたこと及び製造条件の選択入力（以下、単に「撮像指示」という。）を検出すると（ステップＳａ１００）、画像データ生成部１１０と連動して、撮像された肌画像を肌画像データとして生成するとともに（ステップＳａ１０１）、ユーザによって選択入力された所望成分を示す製造条件を製造条件情報として生成する（ステップＳａ１０２）。

次いで、アプリケーション制御部１２０は、ネットワーク通信部１３０と連携しつつ、生成した製造条件情報及び肌画像データとともに、自機のユーザのユーザＩＤを含むカバーシート製造要求を画像処理サーバ装置３０に送信して（ステップＳａ１０３）、本動作を終了させる。なお、アプリケーション制御部１２０は、カバーシート製造要求を画像処理サーバ装置３０に送信する際に、当該カバーシート製造要求が送信された旨を表示部１６０に表示して本動作を終了させる。

次いで、画像処理サーバ装置３０においては、通信制御部３１０によって携帯用通信端末装置１０から送信されたカバーシート製造要求が受信されると（ステップＳａ２００）、データ取得部３５１は、受信されたカバーシート製造要求とともに受信した肌画像データ、製造条件情報及びユーザＩＤをＲＯＭ／ＲＡＭ３２０に記録させるとともに、変色部位識別部３５３、基準色決定部３５４及びシート情報生成部３５６にそれぞれ該当する情報を提供する（ステップＳａ２０２）。

次いで、シート情報生成部３５６は、変色部位識別部３５３、基準色決定部３５４及び印刷基準決定部３５５と連動しつつ、シート情報生成処理を実行する（ステップＳａ２０３）なお、シート情報生成部３５６において、変色部位識別部３５３、基準色決定部３５４及び印刷基準決定部３５５と連動しつつ実行されるシート情報生成処理の動作の詳細について後述する。

次いで、シート情報生成部３５６は、生成したシート情報を製造装置４０に供給して（ステップＳａ２０４）、本動作を終了する。なお、製造装置４０にシート情報が供給されると、当該製造装置４０は、シート情報に基づいて、カバーシート６０を製造する。そして、製造されたカバーシート６０は、カバーシート製造要求をしたユーザ宛に配送される。

［７．２］シート情報生成処理
次に、図１３を用いて本実施形態において、カバーシート６０を生成する際の画像処理システム１のシート情報生成処理について説明する。

本動作は、新規のシート情報の生成に関するカバーシート製造時の画像処理システム１のステップＳｂ２０３の処理において、画像処理サーバ装置３０によって実行される処理の詳細である。

まず、変色部位識別部３５３は、データ取得部３５１から肌画像データを取得すると（ステップＳｂ３０１）、取得した肌画像データの肌画像を構成する各ピクセルを走査してエッジ検出処理を実行しつつ（ステップＳｂ３０２）、肌画像上の変色部位と非変色部位とを識別する（ステップＳｂ３０３）。

なお、変色部位識別部３５３は、肌画像上の変色部位と非変色部位とを識別すると、基準色決定部３５４及びシート情報生成部３５６にそれぞれ画像における識別した変色部位に関する情報を出力する。具体的には、変色部位識別部３５３は、変色部位に関する情報として、非変色部位に属する各ピクセルのピクセル数及びその色成分の値（ＲＧＢ等のサブピクセルの階調値）を基準色決定部３５４に出力するとともに、変色部位を構成するピクセル数、肌画像上の各ピクセルの座標、各ピクセルの階調値（サブピクセルの階調値）の各情報をシート情報生成部３５６に出力する。

次いで、基準色決定部３５４は、該当する肌画像データに含まれる色見本画像の色成分と、変色部位識別部３５３によって識別された非変色部位に属する各ピクセルの色成分と、に基づいて基準色を決定し、決定した基準色の情報を印刷基準決定部３５５に出力する。（ステップＳｂ３０５）。

次いで、印刷基準決定部３５５は、ＤＢ管理部３５２と連動しつつ、基準色決定部３５４によって決定された基準色を無地のナノシート６１に印刷する際に利用すべきインクを決定し、当該決定したインクに対応する印刷基準情報（ピクセル毎のビットマップの情報）を印刷基準情報ＤＢ３３３から読み出して、ＲＯＭ／ＲＡＭ３２０に記録しつつ、シート情報生成部３５６に出力する（ステップＳｂ３０６）。

次いで、シート情報生成部３５６は、該当する肌画像データの肌画像の凹凸を認識しつつ、当該肌画像を２次元画像とした場合のカバーシート６０（すなわち、ナノシート６１）の形状及びサイズを決定し（ステップＳｂ３１０）、決定したカバーシート６０の形状及びサイズと、基準色決定部３５４によって決定された基準色及び印刷基準決定部３５５によって読み出した印刷基準情報と、に基づいてカバーシート６０を彩色するための印刷画像の配色情報を生成する（ステップＳｂ３１１）。

次いで、シート情報生成部３５６は、該当する製造条件情報に基づいてカバーシート６０の基となるナノシート６１の種別を決定し（ステップＳｂ３１２）、ナノシート６１の形状及びサイズと、生成した印刷画像の配色情報と、ナノシート６１の種別とを含むシート情報、及び、肌画像とをサービス利用履歴情報としてユーザ管理ＤＢ３３１に記録し（ステップＳｂ３１３）、本動作を終了させる。

なお、画像処理サーバ装置３０から製造装置４０にシート情報が供給されると、製造装置４０にてシート情報に従いカバーシート６０が製造される。

［７．３］カバーシート製造時の画像処理システム１の動作（既存のシート情報の補正）
次に、図１４を用いて本実施形態のカバーシート製造時において、既存のシート情報の補正を実行する画像処理システム１の動作について説明する。

本動作においては、新規のシート情報を生成する際と同様に、ユーザ管理ＤＢ３３１には、ユーザ情報が記録済みであって、かつ、サービス履歴情報も記録済みであるものとし、また、ナノシート管理ＤＢ３３２及び印刷基準情報ＤＢ３３３には、図９及び図１０に例示する各種の情報が記録済みの状態になっているものとする。さらに、本動作において、携帯用通信端末装置１０は、表示部１４０にシート情報補正要求を実行するための画像を表示させつつ、貼り付け済み肌画像の撮像を待機する状態（以下、「補正要求待機状態」という。）になっているものとする。

まず、携帯用通信端末装置１０において、アプリケーション制御部１２０は、補正要求待機状態であって、自身の肌に既に生成されたカバーシート６０が貼り付けられた貼り付け済み肌画像が撮像されたこと及びカバーシートＩＤ６３の入力（以下、単に「撮像指示」という。）を検出すると（ステップＳｃ１００）、撮像された貼り付け済み肌画像を貼り付け済み肌画像データとして生成するとともに（ステップＳｃ１０１）、カバーシートＩＤ６３を特定する（ステップＳｃ１０２）。

次いで、アプリケーション制御部１２０は、ネットワーク通信部１３０を介して、シート情報補正要求とともに、貼り付け済み肌画像データと、カバーシートＩＤ６３と、を画像処理サーバ装置３０に送信して（ステップＳｃ１０３）、シート情報の補正結果の受信を待機する。

次いで、画像処理サーバ装置３０において、通信制御部３１０によって携帯用通信端末装置１０から送信されたシート情報補正要求が受信されると（ステップＳｃ２００）、データ取得部３５１は、受信されたシート情報補正要求とともに受信した貼り付け済み肌画像データ及びカバーシートＩＤ６３をＲＯＭ／ＲＡＭ３２０に記録させるとともに、変色部位識別部３５３、基準色決定部３５４及びシート情報補正処理部３５７にそれぞれ該当する情報を提供する（ステップＳｃ２０１）。

次いで、シート情報補正処理部３５７は、取得した貼り付け済み肌画像データの画像を構成する各ピクセルの色（階調値）に基づいて、カバーシート６０が変色部位をカバーしているか否か、及び、当該カバーシート６０の色が他のユーザの肌の色と不自然か否か、すなわち、シート情報の補正の要不要を判定し（ステップＳｃ２０２）、変色部位をカバーしていると判定した場合には、直接ステップＳｃ２１１の処理に移行し、当該変色部位をカバーしていないと判定した場合にステップＳｃ２０３の処理に移行する。

次いで、シート情報補正処理部３５７は、変色部位識別部３５３及び印刷基準決定部３５５と連動しつつ、サイズ情報、基準色及び印刷画像の配色情報を含むシート情報を補正する（調整シート情報を生成する）シート情報補正処理を実行する（ステップＳｃ２０３）なお、シート情報補正処理部３５７において、変色部位識別部３５３と連動しつつ実行されるシート情報補正処理の詳細について後述する。

次いで、シート情報補正処理部３５７は、補正したシート情報を製造装置４０に再度供給する（ステップＳｃ２０４）。なお、製造装置４０にシート情報が再度供給されると、当該製造装置４０は、補正されたシート情報に基づいて、カバーシート６０を製造する。そして、製造されたカバーシート６０は、カバーシート補正要求をしたユーザ宛に配送される。

次いで、シート情報補正処理部３５７は、シート情報を補正して再度カバーシート６０を製造するか、又は、既に生成されたカバーシート６０の補正が不要かを示す情報（以下、「補正結果情報」という。）を該当する携帯用通信端末装置１０に送信し（ステップＳｃ２１１）、本動作を終了させる。

次いで、携帯用通信端末装置１０においては、アプリケーション制御部１２０は、ネットワーク通信部１３０を介してシート情報を補正して再度カバーシート６０を製造するか、又は、既に生成されたカバーシート６０の補正が不要かを示す補正結果情報を受信すると（ステップＳｃ１１１）、いずれかの情報、すなわち、受信した補正結果情報を表示部１４０に表示させて（ステップＳｃ１１２）本動作を終了させる。

［７．４］シート情報補正処理
次に、図１５を用いて本実施形態において、カバーシート６０の補正を行う際の画像処理システム１のシート情報補正処理について説明する。

本動作は、既存のシート情報の補正に関するカバーシート製造時の画像処理システム１の動作のステップＳｃ２０３において、画像処理サーバ装置３０によって実行される処理の詳細である。

まず、変色部位識別部３５３は、データ取得部３５１から貼り付け済み肌画像データを取得すると（ステップＳｃ３０１）、取得した貼り付け済み肌画像データの貼り付け済み肌画像を構成する各ピクセルを走査し、エッジ検出処理を実行しつつ（ステップＳｃ３０２）、貼り付け済み肌画像上の変色部位と非変色部位とを識別する（ステップＳｃ３０３）。

なお、変色部位識別部３５３は、変色部位を識別すると、シート情報補正処理部３５７に貼り付け済み肌画像における識別した変色部位及び非変色部位に関する情報を出力する。具体的には、変色部位識別部３５３は、変色部位に関する情報としては、非変色部位に属する各ピクセルのピクセル数、その色成分の値（ＲＧＢ等のサブピクセルの階調値）及び各ピクセルの肌画像上の座標をシート情報補正処理部３５７に出力する。

次いで、シート情報補正処理部３５７は、シート情報補正要求とともに送信されたカバーシートＩＤ６３に基づいて、シート情報及び肌画像をユーザ管理ＤＢ３３１から読み出すとともに（ステップＳｃ３０４）、読み出したシート情報と取得した変色部位に関する情報に基づいて、カバーシート６０の形状及びサイズのサイズ情報を補正する（ステップＳｃ３１０）。

具体的には、シート情報補正処理部３５７は、変色部位の抽出の有無を判定しつつ、サイズ又は形状の補正が必要な場合には、貼り付け済み肌画像における変色部位の各ピクセルの位置と、読み出した肌画像に含まれる変色部位の形状及びサイズに基づいて、シート情報が生成された際の肌画像における変色部位の中から、貼り付け済み肌画像における変色部位と一致する部分（以下、「変色部位抽出部分」という。）を抽出し、変色部位抽出部分の２次元画像時の形状及びサイズを、シート情報に含まれるカバーシート６０に追加し、新たなカバーシート６０の形状及びサイズを決定する。

次いで、シート情報補正処理部３５７は、基準色の補正の有無を判定しつつ、基準色の補正が必要な場合には、新たな基準色を設定するとともに、補正した基準色を無地のナノシート６１に印刷する際に、利用すべきインクの決定、当該決定させたインクに対応する印刷基準情報（ビットマップ）を印刷基準情報ＤＢ３３３から読み出し、及び、新たな基準色及び読み出した印刷基準情報に基づいて新たは印刷画像の配色情報を設定する（ステップＳｃ３１１）。

具体的には、シート情報補正処理部３５７は、ステップＳｃ３０３の処理において出力された非変色部位に属する各ピクセルの階調差をそれぞれ算出し、階調差が予め定められている範囲内の場合には、読み出したシート情報の基準色を維持し、当該階調差が予め定められている範囲以上の場合には、当該読み出したシート情報に含まれる基準色を補正する。

また、シート情報補正処理部３５７は、基準色を補正した場合には、印刷基準決定部３５５と連動しつつ、補正した基準色を無地のナノシート６１に印刷する際に、利用すべきインクを決定させ、当該決定させたインクに対応する印刷基準情報（ビットマップ）を印刷基準情報ＤＢ３３３から読み出させつつ、新たな基準色及び読み出した印刷基準情報に基づいて新たは印刷画像の配色情報を設定する。

次いで、シート情報補正処理部３５７は、読み出した既存のカバーシート６０のシート情報に含まれるナノシート関連情報と、新たに決定した又は維持した印刷画像の配色情報と、カバーシート６０（すなわち、ナノシート６１）の形状及びサイズのサイズ情報と、再度付与したカバーシートＩＤ６３と、を含む調整シート情報を生成する（ステップＳｃ３１２）。

次いで、シート情報補正処理部３５７は、調整シート情報と貼り付け済み肌画像をシート情報及び肌画像として、すなわち、サービス利用履歴情報として、ユーザ管理ＤＢ３３１を追加記録して（ステップＳｃ３１３）、本動作を終了させる。

以上のように、本実施形態に画像処理システム１は、ユーザが店舗等に赴かなくとも、肌を撮像して送付するだけで、個々のユーザの肌の色を確実に把握ししつ、カバーシート６０を製造するための情報を提供することができるので、化粧等に用いることが可能であってユーザの顔等に存在する変色部位を確実にカバーできる新規のカバーシート６０の製造を実現させることができるとともに、ユーザの負担を軽減しつつ、容易にかつ的確に個々のユーザに合致するカバーシート６０を製造させることができる。

また、画像処理システム１においては、製造時のエラーや経年変化を補正することができるとともに、ユーザ毎に的確なカバーシート６０を製造し、かつ、カバーシート６０におけるユーザの貼り付ける際の癖なども反映させることが可能なカバーシート６０を提供することができる。

［Ｂ］第２実施形態
［Ｂ１］画像処理システム
次に、本発明に係る画像処理システムにおける第２実施形態の構成及び概要について説明する。

特に、本実施形態は、第１実施形態における変色部位を肌画像から検出する点、及び、変色部位の配色を非変色部位の色で決定する点に代えて、変色部位をユーザが肌を撮像した際に指定し、かつ、変色部位の周囲の配色を暈かす点に特徴が有り、それ以外の構成は第１実施形態と同様である。

このような特徴により、本実施形態の画像処理システム１においては、カバーシートによって化粧を行う場合に、ユーザの嗜好を反映させること、または、カバーシートを美容目的又は治療目的に用いる場合であっても、化粧の一部として用いることができるとともに、的確に変色部位を特定することができるので、ユーザに適したカバーシートを製造することができるようになっている。

なお、本実施形態においては、第１実施形態と同様な構成については同一の符号を付してその説明を省略する。また、本実施形態においては、変色部位をユーザが肌を撮像した際に指定する点、及び、変色部位の周囲の配色を暈かす点の双方を有する必要はなく、いずれか一方の特徴点を有していればよい。

［Ｂ２］通信端末装置
次に、本実施形態の携帯用通信端末装置１０について説明する。

本実施形態の携帯用通信端末装置１０は、第１実施形態と同様に、データ記憶部１００と、画像データ生成部１１０と、アプリケーション制御部１２０と、ネットワーク通信部１３０と、表示部１６０と、表示制御部１６１と、操作部１７０と、携帯端末管理制御部１９０と、を有している。

ただし、本実施形態の携帯用通信端末装置１０は、アプリケーション制御部１２０において肌画像を取得する際の手順及びそれを実行するアプリケーションが異なる。

具体的には、本実施形態のアプリケーション制御部１２０は、カバーシート製造要求を実行し、ユーザの肌を撮像した後に、画像データ生成部１１０の画角内に納められた被写体（すなわち、ナノグリッドシート５０が貼り付け済みの変色部位）を表示部１４０に表示させつつ、操作部１７０を介して変色部位をユーザに指定させる入力操作を受け付ける。

また、アプリケーション制御部１２０は、変色部位を指定するための入力操作を検出すると、ユーザに変色部位の変色部位の境界近傍の暈かし方の一覧及び色見本５１の一覧を表示部１４０に表示させ、ユーザに暈かし方及び色を選択させてその情報（以下、「暈かし指定情報」という。）を取得する。

そして、アプリケーション制御部１２０は、カバーシート製造要求の送信時に製造条件情報に変色部位が指定されたエリアを示す情報（以下、「エリア指定情報」という。）と、暈かし方を示す暈かし指定情報と、選択された色を指定する情報（以下、「暈かし選択指定色情報」という。）と、を有する暈かし情報（以下、「化粧条件情報」という。）を含む製造条件情報をカバーシート製造要求とともに、画像処理サーバ装置３０に送信する。

［Ｂ３］画像処理サーバ装置
次に、本実施形態の画像処理サーバ装置３０について説明する。

本実施形態の画像処理サーバ装置３０は、第１実施形態と同様に、通信制御部３１０と、ＲＯＭ／ＲＡＭ３２０と、記録装置３３０と、サーバ管理制御部３４０と、データ処理部３５０と、を有している。

そして、本実施形態のデータ処理部３５０は、第１実施形態と同様に、サーバ管理制御部３４０による制御の下、アプリケーションを実行することにより、シート情報生成処理及びシート情報補正処理を実行する。なお、本実施形態のデータ処理部３５０は、第１実施形態と異なり、変色部位及び変色部位が検出されており、かつ、非変色部位の境界部分の配色を示す暈かし情報に基づいて暈かし処理を実行しつつ、シート情報生成処理及びシート情報補正処理を実行する。ただし、本実施形態のシート情報補正処理は、暈かし処理を実行しなくてもよい。

具体的には、データ処理部３５０は、第１実施形態と同様に、変色部位識別部３５３、基準色決定部３５４、印刷基準決定部３５５、シート情報生成部３５６と、シート情報補正処理部３５７と、を実現する。

本実施形態の変色部位識別部３５３は、シート情報生成処理時に、エッジ検出を実行することなく、データ取得部３５１により取得された肌画像データを画像解析し、肌画像データの肌画像中の変色部位と、非変色部位と、識別しつつ、製造条件情報の暈かし情報に含まれるエリア指定情報に基づいて、暈かし領域を特定する。そして、変色部位識別部３５３は、肌画像における暈かし領域を含む識別した変色部位に関する情報を基準色決定部３５４及びシート情報生成部３５６にそれぞれ出力する。なお、本実施形態の変色部位識別部３５３は、

本実施形態の基準色決定部３５４、シート情報生成処理時に、該当する肌画像データに含まれる色見本画像の色成分と、変色部位識別部３５３によって識別された非変色部位に属する各ピクセルの色成分色成分と、に基づいて基準色を決定するとともに、暈かし情報に含まれる暈かし選択指定色を、非変色部位と変色部位の境界の暈かし領域における色成分に決定する。

本実施形態のシート情報生成部３５６は、シート情報生成処理において、第１実施形態と同様に、
（１）肌画像の凹凸を認識しつつ、当該肌画像を２次元画像とした場合のカバーシート６０の形状及びサイズを決定し、
（２）決定したカバーシート６０の形状及びサイズと、基準色決定部３５４によって決定された基準色及び印刷基準決定部３５５によって読み出した印刷基準情報と、に基づいて印刷用の画像（以下、「印刷画像」という。）の配色情報を生成し、
（３）製造条件情報に基づいてカバーシート６０の基となるナノシート６１の種別を決定し、
（４）生成した印刷画像の配色情報及びナノシート６１の種別をシート情報として製造装置４０に出力し、
（５）当該シート情報と肌画像をサービス利用履歴情報としてユーザ管理ＤＢ３３１に記録する。

一方、本実施形態のシート情報生成部３５６は、（２）における印刷画像の配色情報を生成する際には、暈かし領域を含む決定したカバーシート６０（具体的には、ナノシート６１）の形状及びサイズと、基準色決定部３５４によって決定された基準色及び暈かし領域における色成分と、印刷基準決定部３５５によって読み出した印刷基準情報と、に基づいて印刷画像の配色情報を生成し、シート情報生成処理を実行する。

なお、本実施形態のシート情報補正処理を実行する際には、変色部位識別部３５３及びシート情報補正処理部３５７は、上述と同様に、暈かし領域の特定、暈かし領域の色成分の決定、及び印刷画像の配色情報の生成を実行する。

以上のように、本実施形態に画像処理システム１は、第１実施形態の効果に加えて、カバーシートによって化粧を行う場合に、ユーザの嗜好を反映させること、または、カバーシートを美容目的又は治療目的に用いる場合であっても、化粧の一部として用いることができるとともに、的確に変色部位を特定することができるので、ユーザに適したカバーシートを製造することができる。

［Ｃ］変形例
［Ｃ１］変形例１
上記各実施形態においては、画像処理サーバ装置３０内に各ユーザ管理ＤＢ３３１、ナノシート管理ＤＢ３３２及び印刷基準情報ＤＢ３３３を設け、これらのＤＢを画像処理サーバ装置３０のみにおいて管理及び制御する構成としたが、各ユーザ管理ＤＢ３３１、ナノシート管理ＤＢ３３２及び印刷基準情報ＤＢ３３３を管理するためのコンピュータシステムを別個に設け、各々、個別に管理、運用するようにしてもよい。

また、この場合には、例えば、タブレット型情報端末装置、スマートフォン、パーソナルコンピュータ又はワークステーション等の情報通信端末装置によって、シート情報生成処理及びシート情報補正処理を含む画像処理サーバ装置３０と同様の処理を実行してもよい。

［Ｃ２］変形例２
第１実施形態においては、エッジ検出処理により、変色部位と非変色部位との境界を検出する構成を採用したが、例えば、肌画像データのグレースケールを作成して境界を検出するようにしてもよい。

この場合には、境界検出時に肌画像データを多値化して、重み付けを行うとともに、閾値を設け、閾値を超えるピクセル全てを変色部位として検出するようにすればよい。

［Ｃ３］変形例３
上記各実施形態のシート情報生成処理及びシート情報補正処理においては、カバーシート６０の原材料に所定の成分を含ませて、又は、当該カバーシート６０に所定の成分を添加することによって、各種の成分を有するカバーシート６０を製造しているが、薬効成分、美容成分又は栄養成分を有するインクを用いることによって、各種の成分を有するカバーシート６０を製造してもよい。

この場合には、印刷基準情報ＤＢ３３３には、インク情報として、インクの日焼け抑制能（ＳＰＦ：Ｓｕｎ Ｐｒｏｔｅｃｔｉｏｎ Ｆａｃｔｏｒ）：２０）等のインクに添加されている成分が記録される。また、印刷基準決定部３５５は、ＤＢ管理部３５２と連動しつつ、基準色決定部３５４によって決定された基準色、又は、シート情報補正処理部３５７によって補正された基準色と、製造条件情報に含まれるユーザが選択入力した成分に基づいて、無地のナノシート６１に印刷する際に、利用すべきインク（すなわち、インクＩＤ）を決定する。そして、当該インクを用いて印刷されたカバーシート６０は、インクに含有された成分を有することとなる。

［Ｃ４］変形例４
上記各実施形態においては、貼り付け済み肌画像データ及び貼り付け情報を用いて、次回以降のカバーシート提供時にシート情報を調整する構成を採用したが、ユーザからの要求に応じて貼り付け情報に基づき、貼り付け方のアドバイスを行うようにしてもよい。

この場合には、例えば、ズレが所定の閾値を超えている場合に、「カバーシート６０を変色部位の端から貼り付けるようにして下さい」等の文字列とともに貼り付け例の画像を含む情報を生成して、携帯用通信端末装置１０に配信する一方、ズレが閾値以下である場合には、「貼り付けは適切です」等の文字列を含む情報を携帯用通信端末装置１０に配信するようにすればよい。

［Ｃ５］変形例５
上記各実施形態においては、ナノグリッドシート５０を貼り付けた状態にて肌画像を撮像することによって、グリッド情報及び色見本画像を含む肌画像データを生成する構成を採用したが、グリッド情報及び色見本画像は携帯用通信端末装置１０のアプリケーションにより重畳させるようにしてもよい。

［Ｃ６］変形例６
上記各実施形態のシート情報生成処理及びシート情報補正処理においては、グリッド情報に基づいて、カバーシート６０の形状及びサイズの双方が特定されるようにしているが、カバーシート６０の形状又はサイズのいずれか一方が特定されるようにしてもよい。この場合には、円形形状や楕円形状のナノシート６１、又は、カバーシート６０におけるカバー領域の面積が異なる複数のナノシート６１を準備し、特定されたカバーシート６０の形状又はサイズに基づいて、使用するナノシート６１を特定すればよい。

［Ｃ７］変形例７
上記各実施形態のシート情報生成処理及びシート情報補正処理においては、カバーシート６０の配色と形状及びサイズとをシート情報又は調整シート情報として決定するようになっているが、カバーシート６０の配色のみ、又は、その形状及びサイズのみをシート情報又は調整シート情報として決定してもよい。

この場合には、シート情報生成処理及びシート情報補正処理においては、色見本画像のみ又はグリッド情報のみに基づいて、カバーシート６０の配色のみ、又は、その形状及びサイズのみを決定してもよい。

１ … 画像処理システム
１０ … 通信端末装置
３０ … 画像処理サーバ装置
３１０ … 通信制御部
３２０ … ＲＯＭ／ＲＡＭ
３３０ … 記録装置
３３１ … ユーザ管理ＤＢ
３３２ … ナノシート管理ＤＢ
３３３ … 印刷基準情報ＤＢ
３４０ … サーバ管理制御部
３５１ … データ取得部
３５２ … ＤＢ管理部、
３５３ … 変色部位識別部
３５４ … 基準色決定部
３５５ … 印刷基準決定部
３５６ … シート情報生成部
３５７ … シート情報補正処理部

Claims (12)

1. ネットワークを介して接続された通信端末装置から、ユーザの肌を撮像することによって形成された肌画像と、前記肌を撮像する際に当該肌とともに撮像された色見本の画像である色見本画像と、を含むデータを、肌画像データとして、取得する画像取得手段と、
   前記取得された肌画像データの前記肌画像を構成する各ピクセル、又は、前記ユーザの肌を撮像した後の前記ユーザによる指定に基づいて、前記肌画像内における変色部位及び非変色部位を識別する識別手段と、
   前記取得された肌画像データの色見本画像に基づいて、当該肌画像データにおける肌画像の各ピクセルの色を補正しつつ、前記識別された非変色部位におけるピクセルの色を前記ユーザの肌の基準色として特定する特定手段と、
   前記特定された基準色に基づいて、前記撮像された肌に貼り付けて前記識別された変色部位を少なくともカバーするカバーシートを生成するための情報であって、当該カバーシートの配色を少なくとも含むシート情報を決定する決定手段と、
   前記決定されたシート情報を、前記カバーシートを製造する製造装置に供給する供給手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像取得手段が、前記肌を撮像する際に肌画像内に画像化されたグリッド情報を含む前記肌画像データを取得し、
   前記決定手段が、前記取得された肌画像データのグリッド情報に基づいて、前記撮像される際に３次元形状を有するユーザの肌が２次元化された肌画像から、前記肌の３次元形状を２次元平面に展開し、当該展開した２次元平面によって形成される前記カバーシートの配色を少なくとも含む前記シート情報を決定する、画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記決定手段が、前記取得された肌画像データのグリッド情報に基づいて、前記撮像される際に３次元形状を有するユーザの肌が２次元化された肌画像から、前記肌の３次元形状を２次元平面に展開し、当該展開した２次元平面によって形成される前記カバーシートのサイズ及び形状の少なくともいずれか一方を特定し、当該カバーシートのサイズ及び形状の少なくともいずれか一方のサイズ情報を含む前記シート情報を決定する、画像処理装置。
4. 請求項１〜３のいずれか１項に記載の画像処理装置において、
   前記画像取得手段が、前記ユーザによって指定される条件情報であって、前記カバーシートを製造する際の製造条件を示す条件情報を、前記肌画像データとともに取得し、
   前記決定手段が、前記取得された条件情報に基づいて前記製造するカバーシートの特性及び成分の少なくともいずれか一方を含む前記シート情報を決定する、画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記成分には、薬効成分、美容成分、又は、栄養成分の少なくともいずれか一が含まれる画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記条件情報には、前記変色部位の暈かし方を示す化粧条件情報、及び、前記変色部位を指定するエリア指定情報の少なくともいずれか一方の情報が含まれる、画像処理装置。
7. 請求項１〜６のいずれか１項に記載の画像処理装置において、
   前記識別手段が、画像データの前記肌画像を構成する各ピクセルの他のピクセルとの色差に基づいて、前記肌画像内における変色部位及び非変色部位を識別する、画像処理装置。
8. 請求項１〜７のいずれか１項に記載の画像処理装置において、
   前記カバーシートを製造する際に、当該カバーシート上にてインクが拡散又は分散する状態を示す印刷基準情報が、前記インクの属性と対応付けて、記録される印刷データベースを管理する印刷データベース管理手段を、更に備え、
   前記決定手段が、前記印刷基準情報に基づいて、前記シート情報を決定する画像処理装置。
9. 請求項１〜８のいずれか１項に記載の画像処理装置において、
   前記製造されたカバーシートが貼り付けられた前記ユーザの肌を撮像することによって形成された貼り付け済み肌画像に基づいて、当該カバーシートを製造する際に用いられたシート情報を補正する補正手段を更に備え、
   前記画像取得手段によって、前記ネットワークを介して接続された通信端末装置から、前記カバーシートが貼り付けられた前記ユーザの肌を撮像することによって形成された貼り付け済み肌画像を含むデータが、貼り付け済み肌画像データとして、取得されると、
   前記識別手段が、前記取得された貼り付け済み画像データの前記貼り付け済み肌画像を構成する各ピクセル、又は、前記ユーザの肌を撮像した後の前記ユーザによる指定に基づいて、前記貼り付け済み肌画像内における変色部位及び非変色部位を識別し、
   前記補正手段が、前記識別された貼り付け済み肌画像内における変色部位及び非変色部位と、前記シート情報を生成する際に識別された肌画像内における変色部位及び非変色部位と、に基づいて、当該シート情報を補正し、
   前記供給手段が、前記補正されたシート情報を前記製造装置に供給する、画像処理装置。
10. 請求項９に記載の画像処理装置において、
    前記補正手段が、前記シート情報に含まれる前記基準色の補正、及び、前記カバーシートのサイズ情報の補正の少なくともいずれか一方を補正する、画像処理装置。
11. コンピュータを
    ネットワークを介して接続された通信端末装置から、ユーザの肌を撮像することによって形成された肌画像と、前記肌を撮像する際に当該肌とともに撮像された色見本の画像である色見本画像と、を含むデータを、肌画像データとして、取得する画像取得手段、
    前記取得された画像データの前記肌画像を構成する各ピクセル、又は、前記ユーザの肌を撮像した後の前記ユーザによる指定に基づいて、前記肌画像内における変色部位及び非変色部位を識別する識別手段、
    前記取得された肌画像データの色見本画像に基づいて、当該肌画像データにおける肌画像の各ピクセルの色を補正しつつ、前記識別された非変色部位におけるピクセルの色を前記ユーザの肌の基準色として特定する特定手段、
    前記特定された基準色に基づいて、前記撮像された肌に貼り付けて前記識別された変色部位を少なくともカバーするカバーシートを生成するための情報であって、当該カバーシートの配色を少なくとも含むシート情報を決定する決定手段、及び、
    前記決定されたシート情報を、前記カバーシートを製造する製造装置に供給する供給手段、
    として機能させるプログラム。
12. ユーザによって用いられる通信端末装置と、
    前記通信端末装置とネットワークを介して、データ通信を行う画像処理装置と、
    前記画像処理装置からの指示に従い、肌に貼り付け可能なカバーシートを製造する製造装置と、
    を備え、
    前記画像処理装置は、
    前記通信端末装置から、ユーザの肌を撮像することによって形成された肌画像と、前記肌を撮像する際に当該肌とともに撮像された色見本の画像である色見本画像と、を含むデータを、肌画像データとして、取得する画像取得手段と、
    前記取得された画像データの前記肌画像を構成する各ピクセル、又は、前記ユーザの肌を撮像した後の前記ユーザによる指定に基づいて、前記肌画像内における変色部位及び非変色部位を識別する識別手段と、
    前記取得された肌画像データの色見本画像に基づいて、当該肌画像データにおける肌画像の各ピクセルの色を補正しつつ、前記識別された非変色部位におけるピクセルの色を前記ユーザの肌の基準色として特定する特定手段と、
    前記特定された基準色に基づいて、前記撮像された肌に貼り付けて前記識別された変色部位を少なくともカバーするカバーシートを生成するための情報であって、当該カバーシートの配色を少なくとも含むシート情報を決定する決定手段と、
    前記決定されたシート情報を、前記製造装置に供給する供給手段と、
    を備えることを特徴とする画像処理システム。