JP2021108010A - 情報処理装置、情報処理装置の制御方法、学習モデルの生成方法、およびプログラム - Google Patents

Abstract

【課題】学習モデルを用いて画像内の領域を検出する際に、検出精度を向上させること。【解決手段】ネイルアプリ９００は、情報処理装置１０１を、ユーザ情報を取得するユーザ情報入力部９１１と、爪を含んだユーザの指の画像データを取得する画像表示制御部９１４と、画像データとユーザ情報とを爪検出モデル１１０２に入力することで爪検出モデル１１０２から出力される、画像データにおける爪の領域を示すデータに基づいて、爪領域を検出する爪検出部９１５として機能させる。【選択図】図１１

Description

本発明は、機械学習を利用して画像内の領域を検出する技術に関する。

近年、プリンターを使用して爪にネイルアートを印刷することが可能になっている。以下、爪にネイルアートを印刷するためのプリンターをネイルプリンターと称する。

特許文献１には、ネイルプリンターを用いて爪にネイルアートを印刷する際に、機械学習を用いて爪の輪郭を検出する技術が記載されている。

特開２０１９−１１３９７２号公報

特許文献１に記載の技術では、学習データとして爪を含む手の画像を使用している。しかしながら、人間の爪は、環境、地域、年齢、または性別などの特徴によって、大きさ又は形状が様々であり、爪を含む手の画像のみに依存した学習では、ユーザの爪を誤検出する虞がある。

本発明は、学習モデルを用いて画像内の領域を検出する際に、検出精度を向上させることを目的とする。

本発明の一態様に係るプログラムは、コンピュータを、爪を含んだユーザの指の画像データと、当該ユーザのユーザ情報とを取得する取得手段と、前記取得手段で取得した画像データとユーザ情報とを学習モデルに入力することで前記学習モデルから出力される、前記画像データにおける爪の領域を示すデータに基づいて、前記取得手段で取得した画像データにおける爪領域を検出する検出手段と、として機能させるためのプログラムである。

本発明によれば、学習モデルを用いて画像内の領域を検出する際に、検出精度を向上させることができる。

システム構成を示す概略図。 ネイルアートの選択画面を示すＵＩ画面を説明する図。 印刷データ作成画面を示すＵＩ画面を説明する図。 プリンターリストを示す画面。 印刷領域を設定する例を説明する図。 印刷領域とネイル画像データとの対応付けを説明する図。 ネイル画像データを選択する例を示す図。 ネイル画像データを印刷領域に反映する例を示す図。 情報処理装置の機能ブロックの一例を示す図。 処理の一例を示すシーケンス図。 学習モデルにニューラルネットワークを用いた学習の例を説明する図。 爪検出モデルの学習時および推論時における入出力の構造を示す概念図。 情報処理システムの構成を示す図。 情報処理システムのソフトウエア構成を示す図。

以下、本発明の実施の形態を詳細に説明する。なお、以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、様々な変形が可能である。

＜＜第１実施形態＞＞
＜システムの構成＞
本実施形態は、情報処理装置とプリンターとを含むシステムによって構成される形態である。本実施形態では、情報処理装置としてタブレット端末を例に挙げて説明する。なお、情報処理装置は、タブレット端末に限定されるものではない。情報処理装置として、携帯端末、ノートＰＣ、スマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、デジタルカメラなど、種々のものを適用可能である。また、本実施形態では、プリンターとして、例えば、インクジェットプリンター、モノクロプリンター、または３Ｄプリンターなどを適用することができる。その他、本実施形態のプリンターは、複写機能、ＦＡＸ機能、または印刷機能などの複数の機能を備える複合機であってもよい。本実施形態のプリンターは、人の手の爪に直接描画する機能を持つものである。なお、本実施形態では、情報処理装置とプリンターとを別の装置として説明するが、両者の機能を一体的に含む装置を用いる形態でもよい。

図１は、本実施形態の情報処理装置１０１およびプリンター１５１を含むシステムを説明する図である。図１（ａ）には、情報処理装置１０１およびプリンター１５１のブロック図が示されている。図１（ｂ）には、プリンター１５１の外観の模式図が示されている。以下、図１を用いて情報処理装置１０１およびプリンター１５１の構成を説明する。

＜情報処理装置＞
図１（ａ）に示すように、情報処理装置１０１は、入力インターフェース１０２、ＣＰＵ１０３、ＲＯＭ１０４、ＲＡＭ１０５、外部記憶装置１０６、出力インターフェース１０７、通信部１０９、及びＧＰＵ１１０を有する。これらはシステムバスを介して互いに接続されている。

入力インターフェース１０２は、物理キーボード、ボタン、およびタッチパネルなどの操作部（不図示）を介して、ユーザからのデータ入力または操作指示を受け付けるためのインターフェースである。なお、本実施形態では、後述の表示部１０８と操作部との少なくとも一部が一体であり、例えば、画面の出力とユーザからの操作の受け付けとを同一の画面において行うような形態である。

ＣＰＵ１０３は、システム制御部であり、プログラムの実行またはハードウェアの起動など、情報処理装置１０１の全体を制御する。ＲＯＭ１０４は、ＣＰＵ１０３が実行する制御プログラム、データテーブル、組み込みオペレーティングシステム（以下、ＯＳという。）、およびプログラムなどのデータを格納する。本実施形態では、ＲＯＭ１０４に格納されている各制御プログラムは、ＲＯＭ１０４に格納されている組み込みＯＳの管理下で、例えば、スケジューリング、タスクスイッチ、および割り込み処理などのソフトウエア実行制御を行う。

ＲＡＭ１０５は、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）またはＤＲＡＭなどで構成される。なお、ＲＡＭ１０５は、図示しないデータバックアップ用の１次電池によってデータが保持されていてもよい。その場合、ＲＡＭ１０５は、プログラム制御変数などのデータを揮発させずに格納することができる。また、ＲＡＭ１０５には、情報処理装置１０１の設定情報および情報処理装置１０１の管理データなどを格納するメモリエリアも設けられている。また、ＲＡＭ１０５は、ＣＰＵ１０３の主メモリおよびワークメモリとしても用いられる。

外部記憶装置１０６は、印刷実行機能を提供するアプリケーション、および、プリンター１５１が解釈可能な印刷情報を生成する印刷情報生成プログラムなどを保存している。また、外部記憶装置１０６は、通信部１０９を介して接続しているプリンター１５１との間で情報を送受信する情報送受信制御プログラムなどの各種プログラム、および、これらのプログラムが使用する各種情報を保存している。

出力インターフェース１０７は、表示部１０８によるデータの表示および情報処理装置１０１の状態の通知などの制御を行うインターフェースである。

表示部１０８は、ＬＥＤ（発光ダイオード）またはＬＣＤ（液晶ディスプレイ）などから構成され、データの表示および情報処理装置１０１の状態の通知などを行う。なお、表示部１０８上に、数値入力キー、モード設定キー、決定キー、取り消しキー、電源キーなどのキーを備えるソフトキーボードを設置することで、表示部１０８を介してユーザからの入力を受け付けてもよい。また、表示部１０８は、前述のように、タッチパネルディスプレイとして構成されていてもよい。表示部１０８は、出力インターフェース１０７を通じてシステムバスと接続されている。

通信部１０９は、プリンター１５１などの外部装置と接続して、データ通信を実行するように構成されている。通信部１０９は、例えば、プリンター１５１内のアクセスポイント（不図示）に接続可能である。通信部１０９とプリンター内のアクセスポイントとが接続することで、情報処理装置１０１およびプリンター１５１は、相互に無線通信可能となる。なお、通信部１０９は、無線通信でプリンター１５１とダイレクトに通信してもよいし、外部に存在する外部アクセスポイント（アクセスポイント１３１）を介して通信してもよい。無線通信方式としては、例えば、Ｗｉ−Ｆｉ（ＷｉｒｅｌｅｓｓＦｉｄｅｌｉｔｙ）（登録商標）およびＢｌｕｅｔｏｏｔｈ（登録商標）などが挙げられる。また、アクセスポイント１３１としては、例えば、無線ＬＡＮルータなどの機器などが挙げられる。本実施形態において、情報処理装置１０１とプリンター１５１とが外部アクセスポイント１３１を介さずにダイレクトに接続する方式をダイレクト接続方式という。また、情報処理装置１０１とプリンター１５１とが外部アクセスポイント１３１を介して接続する方式をインフラストラクチャー接続方式という。なお、情報処理装置１０１とプリンター１５１とは、有線で接続される形態でもよい。

ＧＰＵ１１０は、グラフィックス・プロセッシング・ユニットである。本実施形態では、学習モデルを用いた処理が行われる。ＧＰＵ１１０は、多くのデータを並列処理することで効率的な演算を行うことができるので、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合にはＧＰＵ１１０で処理を行うことが有効である。そこで、そこで本実施形態では、学習モデルを使用する処理では、ＣＰＵ１０３に加えてＧＰＵ１１０を用いる。具体的には、学習モデルを学習する学習プログラムを実行する場合に、ＣＰＵ１０３とＧＰＵ１１０とが協働して演算を行う。なお、学習済みの学習モデルを使用する処理では、ＣＰＵ１０３またはＧＰＵ１１０のみにより演算が行われてもよい。

本実施形態では、情報処理装置１０１は、ＲＯＭ１０４または外部記憶装置１０６などに所定のアプリケーションを格納しているものとする。所定のアプリケーションとは、例えば、ユーザからの操作に応じて、ネイルアートデータを印刷させるための印刷ジョブを、プリンター１５１に送信するためのアプリケーションプログラムである。このような機能を有するアプリケーションを、以後ネイルアプリという。なお、ネイルアプリは、印刷機能以外に、他の機能を備えていてもよい。例えば、本実施形態におけるネイルアプリは、プリンター１５１と通信して、プリンター１５１の撮影部１５７のカメラを起動する機能を備えていてもよい。すなわち、ネイルアプリは、印刷ジョブ以外に、カメラ起動ジョブをプリンター１５１に送信する機能を有していてもよい。また、ＲＯＭ１０４または外部記憶装置１０６などに格納されている所定のアプリケーションは、ネイルアプリに限定されず、印刷以外の機能を備えているアプリケーションプログラムであってもよい。

＜プリンター＞
プリンター１５１は、ＲＯＭ１５２、ＲＡＭ１５３、ＣＰＵ１５４、プリントエンジン１５５、通信部１５６、および撮影部１５７を有する。これらは、システムバスを介して互いに接続されている。また、プリンター１５１は、印刷対象を挿入するための空間である印刷対象挿入部１５８を有する。図１（ｂ）は、プリンター１５１の外観を示す概略図である。図１（ｂ）に示すように、プリンター１５１の内部には、印刷対象挿入部１５８が設けられている。図１（ｂ）では、印刷対象挿入部１５８に、ユーザが、自身の手を入れている様子を示している。このように、本実施形態において、印刷対象挿入部１５８には、人間の手が挿入されることを想定している。また、本実施形態において印刷対象は、爪である。

ＲＯＭ１５２は、ＣＰＵ１５４が実行する制御プログラム、データテーブル、およびＯＳプログラムなどのデータを格納する。本実施形態では、ＲＯＭ１５２に格納されている各制御プログラムは、ＲＯＭ１５２に格納されている組み込みＯＳの管理下で、スケジューリング、タスクスイッチ、および割り込み処理などのソフトウエア実行制御を行う。

ＲＡＭ１５３は、ＳＲＡＭまたはＤＲＡＭなどで構成される。なお、ＲＡＭ１５３は、図示しないデータバックアップ用の１次電池によってデータが保持されていてもよい。この場合、ＲＡＭ１５３には、プログラム制御変数などデータを揮発させずに格納することができる。また、プリンター１５１の設定情報およびプリンター１５１の管理データなどを格納するメモリエリアもＲＡＭ１５３に設けられている。また、ＲＡＭ１５３は、ＣＰＵ１５４の主メモリおよびワークメモリとしても用いられ、情報処理装置１０１から受信した印刷情報および各種情報などを一旦保存することができる。

ＣＰＵ１５４は、システム制御部であり、プログラムの実行またはハードウェアの起動により、プリンター１５１の全体を制御する。プリントエンジン１５５は、ＲＡＭ１５３に保存された情報または情報処理装置１０１から受信した印刷ジョブに基づき、インクなどの記録剤を用いて、印刷対象挿入部１５８に挿入されている爪などの被記録媒体上に画像を形成する。

通信部１５６は、プリンター１５１内部のアクセスポイントとして、情報処理装置１０１などの外部装置と接続するためのアクセスポイントを有している。このアクセスポイントは、情報処理装置１０１の通信部１０９に接続可能である。通信部１５６は、無線通信で情報処理装置１０１とダイレクトに通信してもよいし、外部のアクセスポイント１３１を介して通信してもよい。また、通信部１５６は、アクセスポイントとして機能するハードウェアを備えていてもよいし、アクセスポイントとして機能させるためのソフトウエアにより、アクセスポイントとして動作してもよい。

撮影部１５７は、撮影機能を有するデバイスである。撮影機能をもつデバイスは、プリンター１５１に付属及び設置されている。撮影部１５７は、印刷対象挿入部１５８に挿入される印刷対象（爪）を含む所定の領域を撮影し、撮影した画像（静止画または動画）をリアルタイムに情報処理装置１０１に送る機能を有する。本実施形態では、撮影部１５７は、動画を撮影するものである。撮影機能を有するデバイスは、少なくともレンズおよびイメージセンサーにより構成されるカメラモジュールである。レンズは、印刷対象挿入部１５８に挿入される印刷対象を写してイメージセンサー上に結像する。イメージセンサーは、レンズが写した光をＣＰＵ１５４が処理できる電気信号に変換する。このような機能を有していれば、撮影機能を有するデバイスとしてスマートフォン、携帯端末、またはデジタルカメラなどが代用して用いられてもよい。プリントエンジン１５５は、印刷対象挿入部１５８に挿入された印刷対象に対して印刷を行う。

なお、プリンター１５１には、外付けＨＤＤまたはＳＤカードなどのメモリが装着されてもよく、プリンター１５１に保存される情報は、当該メモリに保存されてもよい。また、図１に示す構成は、一例に過ぎず、情報処理装置１０１およびプリンター１５１には、これ以外の構成も含み得るが、ここでの説明は省略する。

＜用語の定義＞
次に、本実施形態で使用する用語を説明する。本実施形態は、主に爪にネイルアートを印刷する形態である。また、本実施形態は、片方の手の各爪にネイルアートを施す（印刷する）形態である。一般的に、各爪に施されるネイルアートは、同一のコンセプトであるが、個々の爪に施されるネイルアートは、完全に同一のネイルアートではない場合がある。例えば、デザインＡのネイルアートセットには、５つのネイルアート（５本の各爪に対応するネイルアート）が含まれており、その５つネイルアートは、相互に共通のデザインコンセプトのものであるが、完全に同一の模様などになっていないことがある。以上の点を踏まえて、本実施形態では、以下のように用語を扱うものとする。

・「ネイル画像データ」：１つの爪に施されるネイルアートの画像データのことである。

・「ネイルアートデータ」：複数のネイル画像データの集合体の画像データである。つまり、ネイルアートデータは、複数のネイル画像データのデータセットともいえる。典型的には、５本の爪のネイルアートに対応する各ネイル画像データの画像を集約した画像データである。ネイルアートデータは、５本の各ネイル画像データが集まったデータ（つまり、５つの画像データのセット）でもよいし、５本の各ネイル画像データを合成して１つの画像とした画像データでもよい。

このように、「ネイル画像データ」と称する場合、個別の爪のネイルアートの画像のデータを指し、ネイルアートデータと称する場合、５本分のネイルアートの画像のセットのデータのことを指すものとする。

＜ネイルアートの印刷の概要＞
本実施形態では、情報処理装置１０１のＣＰＵ１０３が、ＲＯＭ１０４または外部記憶装置１０６に記憶されているネイルアプリのプログラムを実行することで、ネイルアプリを起動する。そして、ネイルアプリを用いることで、ユーザは、自身が選択したネイルアートデータのネイル画像データを印刷領域に反映して、爪にネイルアートを印刷することができる。また、本実施形態では、ネイルアプリは、学習済みの学習モデルを用いて爪領域を自動的に設定する。さらに、ネイルアプリは、爪領域の設定の結果を学習モデルに反映（再学習）させる処理を行う。

ネイルアプリを用いた一例の動作の概略を以下に説明する。尚、以下では、ユーザは、ネイルアートを爪に施す人物であり、かつネイルアプリを操作する人物であるものとして説明する。（１）ユーザが、アプリケーション上でユーザ情報を入力する。（２）ユーザが、アプリケーション上でネイル画像データのセット（すなわち、ネイルアートデータ）を選択する。（３）ユーザが、ネイルプリンターに手を挿入する。（４）ユーザが、ネイルプリンターの内部にあるカメラを起動する。（５）アプリケーションは、ネイルプリンターから送信されたカメラ画像を表示する。（６）アプリケーションは、表示されているカメラ画像上において、ネイルアートを印刷する印刷領域である爪の領域を、学習モデルを用いて設定する。このとき、ユーザは、学習モデルを用いて自動設定された爪の領域を、必要に応じて手動で設定し直す場合がある。（７）ユーザは、設定した印刷領域に、ネイルアートデータに含まれるネイル画像データを反映させる。（８）アプリケーションは、反映された画像データを用いてネイルプリンターに印刷を実行させる。（９）アプリケーションは、ユーザの操作に応じた内容を学習モデルに反映して学習モデルをアップデートする。

このように、本実施形態では、上記の（６）の工程において、ネイルアートを印刷する爪の領域が、学習モデルを使用して自動的に設定される処理を含むものである。学習モデルは、機械学習によって生成される。以下では、上述したネイルアプリの一連の処理を、図面を参照して説明し、その後に、学習モデルの生成方法（学習方法）を説明する。尚、ここでは、プリンター１５１に手を挿入するユーザと、アプリケーションを操作するユーザとは、同一の人物（ユーザ）であるとして説明したが、両者は、異なるユーザであっても良い。

＜ネイルアプリのユーザインターフェース＞
理解を容易にするために、ネイルアプリで表示されるユーザインターフェース（以下、ＵＩという）画面を先に説明することにする。以下で説明するＵＩ画面は、ネイルアプリを実行するＣＰＵ１０３によって、表示部１０８に表示されるものである。また、入力インターフェース１０２は、表示部１０８と一体となった操作部として機能するものとして説明する。本実施形態におけるネイルアプリのＵＩ画面は、大きく２種類存在する。第一ＵＩ画面は、図２に示すネイルアートデータの選択画面である。第二ＵＩ画面は、図３に示す印刷データ作成画面である。以下、各画面を用いてネイルアプリのＵＩ画面を説明する。

図２は、ネイルアートデータの選択画面２０１を示すＵＩ画面（第一ＵＩ画面）を説明する図である。本実施形態では、ネイルアートデータの選択に先立って、ユーザ情報の入力が行われる。図２（ａ）に示すネイルアートデータの選択画面２０１は、ユーザ情報を入力するダイアログ２０５を表示している。ダイアログ２０５が表示されるタイミングの例として、本実施形態ではネイルアプリを起動したタイミングで表示されるものとする。ダイアログ２０５では、ユーザ情報の例として、年齢、国籍、性別を入力する例を示している。ユーザ情報は、少なくとも１種類以上のユーザの属性を示す情報を含んでいればよい。ユーザは、１つもしくは複数のユーザの属性を示すユーザ情報を入力する。尚、ユーザは、ダイアログ２０５に表示されている少なくとも１つの属性を入力すればよく、全ての属性を入力しなくてもよい。ユーザは、ユーザ情報を入力後、完了ボタン２０６を押下し、ダイアログ２０５を閉じる。そして、図２（ｂ）に示す画面が表示される。尚、入力されたユーザ情報は、任意の場所に保存される。保存場所は、ネイルアプリ内部のデータベースでも、不図示のサーバー上のデータベースでもよい。

ここでは、ユーザ情報の入力が、ネイルアプリの起動時に、ネイルアートデータの選択に先立って行われる例を説明したが、これに限られない。後述するように、爪の領域が学習モデルによって設定される前までにユーザ情報の入力が行われていればよい。また、ネイルアプリに事前にユーザ情報が登録されている場合には、図２（ａ）に示すユーザ情報の入力はスキップしてよい。また、図２（ａ）の選択画面２０１は、図２（ｂ）で説明するネイルアートデータ表示領域２０２にオーバーラップして表示される例を示したが、ネイルアプリは、オーバーラップ表示ではなく、ユーザ情報の入力画面を別個に表示してもよい。

次に、図２（ｂ）に示す画面を説明する。図２（ｂ）に示すネイルアートデータの選択画面２０１は、ネイルアートデータ表示領域２０２と、ネイルアートデータ決定ボタン２０４とを有する。

ネイルアートデータ表示領域２０２には、各爪に印刷するネイルアートの各デザインコンセプトに対応したネイルアートデータが複数表示される。具体的には、図２（ｂ）の画面上では、ネイルアートデータ２０３が４つ分表示されている。１つのネイルアートデータ２０３には、親指、人差し指、中指、薬指、小指のそれぞれの爪に対応する５種類のネイル画像データが含まれている。ユーザは、１つもしくは複数のネイルアートデータ２０３を選択できる。ユーザは、選択したネイルアートデータ２０３を解除することもできる。

図２（ｃ）は、ユーザがネイルアートデータ２０３を選択または解除する方法の一例を示す図である。図２（ｃ）では、ユーザがネイルアートデータ２０３を１回タップすることでネイルアートデータ２０３を選択することを示している。また、選択済みのネイルアートデータ２０３をユーザがもう一度タップすると、選択状態を解除することができる。

ネイルアートデータ決定ボタン２０４は、ユーザがネイルアートデータ表示領域２０２から１つもしくは複数のネイルアートデータ２０３を選択した後に押下することで、図３示す印刷データ作成画面３０１に遷移させる機能を有する。

なお、本実施形態では、各種のボタンを操作する際には「押下」と称し、各領域を操作するときは、タッチパネルの操作であるとして、「タップ」、「タッチ」、「ピンチイン」、「ピンチアウト」などと説明するが、これらは例示に過ぎない。例えば、タッチパネル上の各種のボタンをタッチすることで各種のボタンの押下動作が実現されてもよい。また、各領域の操作は、例えばマウスなどを用いたカーソル操作によって各領域の操作が行われてもよい。また、入力インターフェース１０２が各種の方向指示ボタンを備えており、その方向指示ボタンによって各領域の操作が行われてもよい。

図３は、印刷データ作成画面３０１を示すＵＩ画面（第二ＵＩ画面）を説明する図である。図３に示す印刷データ作成画面３０１は、選択データ表示領域３０２と、ネイルアートデータ確定領域３０３と、プリンター検索ボタン３０５と、プリンター名表示領域３０６とを有している。また、印刷データ作成画面３０１は、撮影ボタン３０７と、動画表示領域３０８と、領域設定ボタン３０９と、画像データ解除ボタン３１１と、印刷ボタン３１２とを有している。動画表示領域３０８には、後述する印刷領域３１０が含まれる。

選択データ表示領域３０２は、図２（ｂ）に示すネイルアートデータ２０３の選択画面２０１でユーザが選択した１つもしくは複数のネイルアートデータ２０３を表示する領域である。ユーザは、印刷に用いるネイルアートデータ２０３を選択データ表示領域３０２から１つ選択できる。また、ユーザは、選択したネイルアートデータ２０３を解除することもできる。ユーザがネイルアートデータ２０３を選択または解除する方法の一例を示す。ユーザは、ネイルアートデータ２０３を１回タップすることでネイルアートデータ２０３を選択することができる。また、ユーザは、選択済みのネイルアートデータ２０３をもう一度タップすると選択状態を解除することができる。つまり、ユーザは、複数の印刷デザインの中から、印刷に用いる候補のデザイン（ネイルアートデータ２０３）を図２（ｂ）に示す選択画面２０１で１つ以上選択しておく。そして、ユーザは、印刷データ作成画面３０１では、その１つ以上選択した印刷デザイン（ネイルアートデータ２０３）の中から、印刷に用いるネイルアートデータ２０３を選択する。選択データ表示領域３０２から選択されたネイルアートデータ２０３は、ネイルアートデータ確定領域３０３に表示される。

ネイルアートデータ確定領域３０３には、選択データ表示領域３０２から選択されたネイルアートデータ２０３が表示される。ネイルアートデータ確定領域３０３に表示されるネイルアートデータにおいては、５種類のネイル画像データ３０４がそれぞれ独立して表示される。具体的には、親指、人差し指、中指、薬指、小指の各爪のネイル画像データ３０４ａ〜３０４ｅが独立して表示されている。なお、本明細書において「ネイル画像データ３０４」のように、枝番の符号を省略する場合には、その対象物の全般的なものを指しており、「ネイル画像データ３０４ａ」のように枝番の符号を含めている場合には、個々の対象物を指しているものとする。つまり、ネイルアートデータ確定領域３０３には、個々のネイル画像を含むネイル画像群が表示されている。

本実施形態においてネイルアートデータ確定領域３０３に表示されているネイル画像データ３０４は、後述するように、順番を入れ替えることができる。例えば、親指の爪のネイル画像データ３０４ａと中指の爪のネイル画像データ３０４ｃとを入れ替えることができる。このように、ネイルアートデータ確定領域３０３に表示されるネイル画像データ３０４は、個別の画像データとして扱うことができる。なお、ネイルアートデータ確定領域３０３に表示されるネイル画像データ３０４は、ネイルアートデータ２０３に含まれる各画像を分離して得られる画像データでもよい。あるいは、ネイルアートデータ２０３に対応する個別のネイル画像データ３０４が予め用意されており、この対応する個別のネイル画像データ３０４がそれぞれ表示されてもよい。

また、ネイルアートデータ確定領域３０３に表示されているネイル画像データ３０４は、個別の画像データとして扱うことが可能であればよく、表示画面上で個別の画像データとして視認されなくてもよい。図３の例では、ネイル画像データ３０４は、独立した画像として表示されている例を示している。しかしながら、例えば選択データ表示領域３０２に表示されているネイルアートデータ２０３のように、各ネイルの画像間に境界が表示されない形でネイルアートデータ確定領域３０３に表示されていてもよい。この場合、１つのネイルアートデータ２０３の画像中の各ネイルの位置情報に基づいて、個別の画像のデータとしてネイルアプリ内で内部的に処理ができればよい。

プリンター検索ボタン３０５は、ユーザによって押下されると、ネイルアプリと通信可能なプリンター１５１を検索する機能を実施するためのボタンである。検索の結果、プリンター１５１を発見した場合、ネイルアプリは、発見したプリンター１５１を特定する情報を表示する。

図４は、プリンター検索ボタン３０５の押下に応じて検索が行われ、検索の結果、ネイルアプリが発見したプリンター１５１のプリンターリスト４０１を示す画面である。ここでは、発見されたプリンター名またはプリンターの機種名などがプリンターリスト４０１として表示される。ユーザは、このようなプリンターリスト４０１から任意のプリンター１５１を１つ選択することができ、選択されたプリンター１５１はプリンター名表示領域３０６に表示される。

撮影ボタン３０７は、ユーザによって押下されることでプリンター名表示領域３０６に表示されたプリンター１５１と通信し、プリンター１５１の撮影部１５７で撮影された動画をリアルタイムで受け取って動画表示領域３０８に表示するためのボタンである。本実施形態では、印刷対象挿入部１５８に人間の手を入れることを想定している。このため、例えばユーザが片方の手を入れて、他方の手で、ＵＩ画面５０１上で撮影ボタン３０７を押下することで、爪を含むユーザの手先の画像が動画表示領域３０８にリアルタイムで表示される。なお、この使い方は一例であり、例えば、ネイルサロンの利用客が片方の手を入れて、ネイルサロンの従業員がＵＩ画面５０１上で撮影ボタン３０７を押下しても良い。

領域設定ボタン３０９は、動画表示領域３０８に動画が表示されているときにユーザによって押下されることで、表示されている動画の中から印刷領域３１０をユーザが設定する領域設定モードに移行するためのボタンである。本実施形態において印刷領域３１０は、爪の輪郭を示す爪領域に相当する。尚、図３および後述する図５などにおいて印刷領域３１０は、説明のため、爪を包含する矩形領域として点線で示されている。しかしながら、実際のネイルアプリにおいては、印刷領域３１０は、爪の輪郭に沿った爪の領域が設定されることになる。

図５は、領域設定ボタン３０９が押下されたことに応じて、ネイルアプリが印刷領域３１０を設定可能な領域設定モードに遷移する例を説明する図である。本実施形態では、ネイルアプリは、動画から爪の領域を自動検出して印刷領域３１０を設定する処理を含む。図５（ａ）は、爪の領域を自動検出する方法の一例を示す図である。まず、ユーザは、領域設定ボタン３０９を押下して動画表示領域３０８を領域設定モードにする。領域設定モードに遷移すると、ネイルアプリは、動画からユーザの爪を含む手の静止画を作成する。そしてネイルアプリは、その静止画から、爪の領域を自動検出して印刷領域３１０を設定する。本実施形態では、ネイルアプリは、ユーザ情報とユーザの爪を含む手の静止画の画像データとを学習モデルに入力することで、その学習モデルから出力される得られる爪の領域を示すデータを取得する。学習モデルを用いる処理の詳細は、後述する。ネイルアプリは、学習モデルから出力された爪の領域を示すデータに基づいて、図５（ａ）に示すように、各爪に対応する領域に、自動的に印刷領域３１０を設定する。

尚、自動的に設定された印刷領域３１０は、ユーザが自由に変更することができる。また、ユーザは、設定した印刷領域３１０を削除することもできる。図５（ｂ）は、印刷領域の大きさを変更する方法の一例を示す図である。図５（ｂ）に示すように、ユーザは、設定した印刷領域３１０をタップすると、タップした印刷領域３１０が選択状態になる。ユーザは、印刷領域３１０を構成する線を指の操作で伸縮できる。図５（ｂ）では、印刷領域３１０を拡大している例を示している。また、ユーザが、変更したい印刷領域３１０にタップした後に、爪の領域を、指またはスタイラスペンなどでなぞることで、印刷領域３１０を変更することもできる。このように、ユーザは、爪の輪郭の幅、長さ、角度を編集することができる。

図５（ｃ）は、設定した印刷領域３１０を削除する例を示す図である。図５（ｃ）に示すように、ユーザは、設定した印刷領域３１０をダブルタップすると、設定した印刷領域３１０を削除することができる。

ユーザがネイルアートを施したい爪は、手の全ての指の爪である場合もあれば、一部の指の爪である場合もあり得る。このため、本実施形態では、ユーザが、所望とする印刷領域３１０を設定することが可能となっている。また、本実施形態において画像を反映する印刷対象の領域である印刷領域３１０は、ユーザの爪を想定している。このため、設定されている印刷領域３１０の大きさは、各々異なるサイズとなり得る。従って、本実施形態では、プリンター１５１内にユーザが手を挿入して得られた実際の爪の画像と、ユーザ情報とに基づいて、学習モデルから好適な爪の領域を出力する処理が行われる。ネイルアプリが、爪の領域を、ユーザが視認可能なように表示することで、ユーザは、爪の画像を確認しながら、必要に応じて印刷領域３１０を変更することができる。このように、個々の爪に適した印刷領域３１０を設定することで、適切な爪の位置にネイルアートを印刷することができる。なお、本実施形態では、ユーザが設定した印刷領域３１０の数は、５つであるものとして説明する。

なお、一度設定した印刷領域３１０は、画像認識処理などによって追従させてもよい。例えば、ユーザが印刷領域３１０を設定した後に、プリンター１５１内で指（または爪）の位置がずれた場合には、設定された印刷領域３１０の画像領域を追従して、自動的に印刷領域３１０が変わってもよい。あるいは、前述したように、学習モデルに再度データを入力して得られた領域を用いて再度印刷領域３１０を設定してもよい。

印刷領域３１０が設定されると、ネイルアプリは、ユーザの爪にネイルアートを印刷するために、設定された印刷領域３１０にネイル画像データ３０４を反映させる処理を行う。ネイルアプリは、印刷領域３１０にネイル画像データ３０４を反映させるために、まず設定されている５つの印刷領域３１０と、５種類のネイル画像データ３０４ａ〜３０４ｅとの対応付けを行う。

図６は、印刷領域３１０とネイル画像データ３０４との対応付けを説明する図である。図６（ａ）は、設定された５つの印刷領域３１０ａ〜３１０ｅと、５種類のネイル画像データ３０４ａ〜３０４ｅとに、それぞれ識別情報６０１を順番に割り振る例を示している。具体的には、ネイルアプリは、印刷対象挿入部１５８にユーザの右手が挿入されていた場合、親指の爪１番、人差し指の爪２番、中指の爪３番…といったように親指の爪から小指の爪まで１番〜５番までの識別情報６０１を割り振る。同様に、ネイルアプリは、ネイルアートデータ確定領域３０３に表示されている５種類のネイル画像データ３０４にも左から１番、２番、３番…と１番〜５番までの識別情報６０１を割り振る。即ち、印刷領域３１０ａとネイル画像データ３０４ａとが対応付けられ、印刷領域３１０ｂとネイル画像データ３０４ｂとが対応付けられ、印刷領域３１０ｃとネイル画像データ３０４ｃとが対応付けられる。また、印刷領域３１０ｄとネイル画像データ３０４ｄとが対応付けられ、印刷領域３１０ｅとネイル画像データ３０４ｅとが対応付けられる。このように割り振った識別情報６０１は、ユーザが視認可能なように動画表示領域３０８に表示される。即ち、識別情報６０１は、印刷領域３１０およびネイル画像データ３０４の近傍にそれぞれ表示される。なお、識別情報６０１は、ネイルアプリ内で対応付けが可能であればよく、ＵＩ画面上に表示されなくてもよい。

この識別情報６０１は随時更新される。例えば、ユーザが動画表示領域３０８に表示されている識別情報と、ネイル画像データ３０４に表示されている識別情報６０１とを確認して、対応付けを変更したいと考える場合がある。この場合には、ユーザが対応付けを変更することで識別情報６０１が更新される。

図６（ｂ）および図６（ｃ）は、識別情報６０１が更新される例を示す図である。図６（ｂ）では、ユーザが５種類のネイル画像データ３０４の内１つをドラッグ＆ドロップしてネイル画像データ３０４の順番を入れ替えている例を示している。この例では、ユーザは、中指の爪の印刷領域３１０ｃに対応付けられているネイル画像データ３０４ｃと、人差し指の爪の印刷領域３１０ｂに対応付けられているネイル画像データ３０４ｂとを入れ替えたいと考えている。そこで、ユーザがネイル画像データ３０４ｃをドラッグして、ネイル画像データ３０４ｂよりも図中の左側に置くようにドロップすることで、ネイル画像データ３０４の順番が入れ替わる。図６（ｃ）では、図６（ｂ）のようにしてネイル画像データ３０４の順番を入れ替えた後、識別情報６０１をもう一度ネイル画像データ３０４の左から右へ順番に割り振り直し、識別情報６０１を更新している例を示している。つまり、図６（ａ）と図６（ｃ）とを比べると、ネイル画像データ３０４ｂとネイル画像データ３０４ｃとの位置が入れ替わっており、かつ、識別情報６０１も入れ替わっている。つまり、ネイル画像データ３０４と印刷領域３１０との対応付けが部分的に変更され、かつ、その変更された様子がユーザにとって視認可能な状態で表示されている。このように、ネイル画像データ３０４の並び順を変更する操作がされた場合、識別情報６０１の割り当てが再度行われることになる。

なお、図６の例では、印刷領域３１０とネイル画像データ３０４との対応付けを行う際に、識別情報６０１として番号を割り振る形態を例に挙げて説明した。しかし、印刷領域３１０とネイル画像データ３０４との対応付けがわかるようなものであれば、どのような形態でもよい。例えば、識別情報６０１として英文字を割り振ってもよいし、絵文字のようなものを割り振ってもよい。また、異なる５つのアイコンを割り振ってもよい。また、対応付けが分かればよいので、ネイル画像データ３０４の背景部分の色を変更し、これに応じて印刷領域３１０の色を変更することで、対応付けをユーザが認識できるようにしてもよい。つまり、印刷領域３１０およびネイル画像データ３０４の一部の表示を変更することで、ユーザが対応付けを視認可能にしてもよい。その後、ユーザは、ネイル画像データ３０４を印刷領域に反映させる操作を行う。

図７は、ユーザが、印刷領域３１０に反映させるネイル画像データ３０４を選択する例を示す図である。図７（ａ）では、ユーザが、選択するネイル画像データ３０４を、ピンチアウト操作を用いて指で囲っている例を示している。図７（ｂ）では、ユーザが、選択するネイル画像データ３０４を、ピンチイン操作を用いてネイル画像データ３０４の範囲を閉じるように指を動かして選択する例を示している。このように、ピンチインまたはピンチアウトで囲われた範囲のネイル画像データ３０４を、ユーザが選択したとみなす。別の方法を図７（ｃ）に示す。図７（ｃ）は、印刷データ作成画面３０１に画像データ選択ボタン７０１を設けた例を示した図である。ユーザは、画像データ選択ボタン７０１を押下後、１つもしくは複数のネイル画像データ３０４をタップすることで、印刷領域３１０に反映させるネイル画像データ３０４を選択することができる。ネイルアプリは、ユーザによってタップされたネイル画像データ３０４が選択されたものと扱う。なお、これまでの図においては、右手が印刷対象挿入部１５８に挿入された状態で、右手でネイル画像データ３０４を選択する例を示しているが、操作者が単一ユーザである場合には、左手でネイル画像データ３０４を選択することになる。ネイル画像データ３０４を選択した後、選択したネイル画像データ３０４を印刷領域３１０に反映する処理が行われる。

図８は、ユーザによる選択が完了したネイル画像データ３０４を動画表示領域３０８の印刷領域３１０に反映する例を示す図である。図８（ａ）は、選択したネイル画像データ３０４を動画表示領域３０８にドラッグ＆ドロップして、ネイル画像データ３０４ａ〜３０４ｅに対応付けられている印刷領域３１０ａ〜３１０ｅにネイル画像データ３０４をそれぞれ反映する例を示している。即ち、選択したネイル画像データ３０４が動画表示領域３０８にドラッグ＆ドロップされることで、ネイルアプリは、ユーザによる選択が完了したと判定して、反映処理を行う。なお、このとき、選択したネイル画像データ３０４の一部が動画表示領域３０８にドロップされた場合、即ち、選択したネイル画像データ３０４が動画表示領域３０８に少しでも重なった場合に反映が実行されてもよい。別の例を図８（ｂ）に示す。図８（ｂ）は、印刷データ作成画面３０１に画像データ決定ボタン８０１を設置した例である。ユーザが画像データ決定ボタン８０１を押下すると、ユーザによる選択が完了したと判定され、選択されているネイル画像データ３０４が、ネイル画像データ３０４と対応付けている印刷領域３１０に反映される。印刷領域３１０にネイル画像データ３０４が反映されると、動画表示領域３０８に表示されている動画（画像）のうち、印刷領域３１０にはネイル画像データ３０４の画像が重畳して表示されることになる。つまり、ネイルアートの画像がプレビュー表示される。

図７および図８で説明したように、本実施形態においては、複数の印刷領域３１０が存在する場合において、各印刷領域３１０に適用するネイル画像データ３０４を反映する際に、複数のネイル画像データ３０４をまとめて反映させることができる。即ち、ネイルアプリは、印刷領域３１０とネイル画像データ３０４との対応付けを行う。そして、ユーザは、ネイル画像データ３０４のうち、反映したいネイル画像データ３０４を選択する。その後、ユーザは、選択したネイル画像データ３０４を反映する操作を行う。このように本実施形態では、複数の印刷領域３１０に対してネイル画像データ３０４を１つずつドラッグ＆ドロップして反映しなくて済むので、印刷対象の画像を印刷領域３１０に反映させる際のユーザの手間を軽減することができる。なお、ここではユーザは、反映したいネイル画像データ３０４を選択する操作を行い、その後、選択したネイル画像データ３０４を反映する操作を行う例を示しているが、これに限られない。ユーザが反映したいネイル画像データ３０４を選択する操作を行った結果、選択されたネイル画像データ３０４が自動的に印刷領域３１０に反映されてもよい。即ち、ユーザが、反映したいネイル画像データ３０４を図７に示すように選択することで、ネイルアプリが、この選択に応じてネイル画像データ３０４を印刷領域３１０に自動的に反映する処理を行ってもよい。

図３に戻り印刷データ作成画面３０１のＵＩ画面の説明を続ける。図３の印刷データ作成画面３０１における画像データ解除ボタン３１１は、印刷領域３１０に反映されたネイル画像データ３０４を解除するためのボタンである。ユーザが画像データ解除ボタン３１１を押下すると、印刷領域３１０に反映されたネイル画像データ３０４が解除される。

図３の印刷データ作成画面３０１における印刷ボタン３１２は、印刷開始を指示するボタンである。印刷ボタン３１２が押下されると、ネイルアプリは、爪に印刷するための印刷データを、印刷領域３１０に反映されたネイル画像データ３０４を元に作成し、作成した印刷データをプリンター名表示領域３０６に表示されたプリンター１５１に送信する。印刷データは、動画表示領域３０８から５つの印刷領域３１０を抽出して作成される。プリンター１５１はネイルアプリから送られた印刷データを基に爪に印刷する。

印刷後には、学習モデルを再学習させてアップデートする処理が実行される。なお、再学習およびアップデート処理のタイミングは、印刷後である必要はなく、印刷前に実行されてもよい。再学習の詳細は、後述する。

＜情報処理装置の構成＞
図９は、上述した機能を実現するための情報処理装置１０１の機能ブロックの一例を示す図である。情報処理装置１０１は、ネイルアプリ９００を備えている。ネイルアプリ９００は、情報処理装置１０１のＣＰＵ１０３が、ＲＯＭ１０４または外部記憶装置１０６に記憶されているネイルアプリ９００のプログラムを実行することで、ＣＰＵ１０３にネイルアプリ９００の機能を実行させることが可能となる。ネイルアプリ９００は、表示制御部９１０を有する。表示制御部９１０は、図２に示すネイルアートデータの選択画面２０１および図３に示す印刷データ作成画面３０１を含む各ＵＩ画面を、表示部１０８に表示させる機能を有する。また、表示制御部９１０は、入力インターフェース１０２の機能を有しており、ユーザから入力される操作指示に応じて各種の制御を行う。

表示制御部９１０は、ユーザ情報入力部９１１、ネイルアートデータ選択受付部９１２、撮影指示部９１３、画像表示制御部９１４、爪検出部９１５、印刷領域設定部９１６、反映データ受付部９１７、反映実行部９１８、および印刷指示部９１９を有する。

ユーザ情報入力部９１１は、図２（ａ）に示すように、ユーザ情報を入力するダイアログ２０５からユーザ情報の入力を受け付ける。入力を受け付けたユーザ情報は、ＲＡＭ１０５などに保存される。ネイルアートデータ選択受付部９１２は、図２（ｃ）に示すように、ユーザからのネイルアートデータ２０３の選択を受け付け、選択されたネイルアートデータ２０３を取得する。撮影指示部９１３は、図３の撮影ボタン３０７の押下を検知し、撮影ボタン３０７の押下の検知に応じてプリンター１５１に動画の撮影を指示する。画像表示制御部９１４は、プリンター１５１から送信された動画の画像データを、動画表示領域３０８に表示する。

爪検出部９１５は、学習モデル（爪検出モデルともいう）を用いて爪の領域を印刷領域として検出する。爪検出部９１５は、学習モデルを保持していてもよく、保持している学習モデルを用いて爪領域を検出してもよい。あるいは、爪検出部９１５は、学習モデルを保持する外部のサーバーに爪領域の検出を依頼し、その結果を用いてもよい。爪検出部９１５は、学習モデルに画像データとユーザ情報とを入力することで学習モデルから出力される爪領域を、印刷領域３１０として検出する。

印刷領域設定部９１６は、ユーザからの指示に従って、動画表示領域３０８上に印刷領域３１０を設定する。印刷領域設定部９１６は、爪検出部９１５によって検出された爪領域の変更がユーザから指示された場合には、変更後の爪領域を印刷領域３１０として設定する。爪検出部９１５によって検出された爪領域の変更がユーザから指示されない場合、爪検出部９１５によって検出された爪領域を印刷領域３１０として設定する。

反映データ受付部９１７は、ネイル画像データ３０４と印刷領域３１０との対応付けを行い、印刷領域３１０に反映させるネイル画像データ３０４の選択をユーザから受け付ける。反映実行部９１８は、ユーザによる選択が完了したネイル画像データ３０４を、対応する印刷領域３１０に反映させる。印刷指示部９１９は、印刷領域３１０に反映されたネイル画像データ３０４をプリンター１５１に印刷するための印刷データを作成し、印刷データをプリンター１５１に送信する。

＜処理の流れ＞
図１０は、本実施形態の処理の一例を示すシーケンス図である。図１０のネイルアプリ９００の処理は、情報処理装置１０１のＣＰＵ１０３がＲＯＭ１０４または外部記憶装置１０６に記憶されているプログラムコードをＲＡＭ１０５に展開し実行することにより行われる。あるいはまた、図１０におけるステップの一部または全部の機能をＡＳＩＣまたは電子回路などのハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該シーケンスにおけるステップであることを意味する。図１０においては、ユーザがネイルアプリ９００を起動し、ネイルアプリ９００の制御によって、印刷対象挿入部１５８に挿入された爪にプリントエンジン１５５がネイルアートを印刷する流れを説明する。

まず、ユーザは、ネイルアプリ９００を起動する。ユーザがネイルアプリ９００を起動すると、Ｓ１０００において表示制御部９１０は、図２（ａ）に示すダイアログ２０５を含む画面を表示する。ユーザは、ユーザ情報を入力し、ユーザ情報入力部９１１は、ユーザ情報の入力を受け付ける。尚、既にユーザ情報が登録されている場合、ユーザ情報入力部９１１は、登録されているユーザ情報を取得すればよい。また、ユーザ情報入力部９１１の処理は、一連の最初の処理に行われなくてもよく、後述するＳ１０１０の爪検出モデルを用いた印刷領域３１０の設定の前に行われていればよい。

Ｓ１００１で表示制御部９１０は、図２（ｂ）に示す選択画面２０１を表示する。ネイルアートデータ選択受付部９１２は、選択画面２０１のネイルアートデータ表示領域２０２から１つまたは複数のネイルアートデータ２０３の選択を受け付ける。

ユーザが、１つまたは複数のネイルアートデータ２０３を選択後、ネイルアートデータ決定ボタン２０４を押下すると、Ｓ１００２において表示制御部９１０は、ボタン押下を検知し、図３に示す印刷データ作成画面３０１を表示部１０８に表示する。図３に示す印刷データ作成画面３０１が表示部１０８に表示されると、印刷データ作成画面３０１中の選択データ表示領域３０２に、Ｓ１００１でユーザによって選択された１つまたは複数のネイルアートデータ２０３が表示される。

ユーザは、選択データ表示領域３０２の中から、爪に印刷するネイルアートデータ２０３を１つ選択する。Ｓ１００３においてネイルアートデータ選択受付部９１２は、ユーザから、１つのネイルアートデータ２０３の選択を受け付ける。表示制御部９１０は、ユーザによって選択されたネイルアートデータ２０３をネイルアートデータ確定領域３０３に表示する。

Ｓ１００３で爪に印刷するネイルアートデータが決定された後、Ｓ１００４で表示制御部９１０は、プリンター検索ボタン３０５の押下を受け付ける。プリンター検索ボタン３０５が押下されると、ネイルアプリ９００は、ネイルアプリと通信可能なプリンター１５１を検索する。表示制御部９１０は、検索結果を示すプリンターリスト４０１を表示部１０８に表示する。

プリンターリスト４０１が表示部１０８を表示されると、ユーザは、プリンター１５１を指定する。Ｓ１００５において表示制御部９１０は、ユーザによって指定されたプリンター１５１を選択する。

ユーザは、Ｓ１００６において、Ｓ１００５で選択したプリンター１５１に設けられた印刷対象挿入部１５８にユーザの手を挿入する。このとき、Ｓ１００３で選択したネイルアートデータ２０３をより精彩に印刷するために、あらかじめユーザの爪にジェル状の液体を塗布しておく。以下、この液体をベースコートと呼ぶ。このベースコートの色は、複数存在し、例えば白、半透明などがある。また、ネイルアプリ９００は、このタイミングで、プリンター１５１に手を挿入することをユーザに促すメッセージを表示しても良い。

Ｓ１００７において撮影指示部９１３は、ユーザからの撮影ボタン３０７の押下を受け付ける。ユーザによって撮影ボタン３０７が押下されると、Ｓ１００８においてネイルアプリ９００は、Ｓ１００５で選択されているプリンター１５１と通信する。そして、ネイルアプリ９００は、プリンター１５１に対して、撮影部１５７による撮影を指示する。なお、Ｓ１００８において、ネイルアプリ９００が、プリンター１５１に対してカメラ起動ジョブを送信しても良い。そして、プリンター１５１は、このカメラ起動ジョブの受信に基づいて、撮影部１５７を起動して撮影を開始しても良い。

Ｓ１００９においてプリンター１５１は、撮影部１５７で撮影している動画をネイルアプリ９００に送信する。この動画は、図３に示す印刷データ作成画面３０１の動画表示領域３０８に表示される。撮影部１５７で撮影された動画は、ほぼリアルタイムで動画表示領域３０８に表示される。この時点においては、動画表示領域３０８には、印刷対象挿入部１５８に挿入されたユーザの指先の動画が表示されている状態となる。

Ｓ１００９で動画表示領域３０８に動画が表示されている状態において、Ｓ１０１０でユーザは、領域設定ボタン３０９を押下する。爪検出部９１５は、領域設定ボタン３０９の押下を検知すると、爪検出モデルを用いて爪領域の検出を行う。即ち、爪検出部９１５は、爪を含む指の画像データと、ユーザ情報とを爪検出モデルに入力することで爪検出モデルから出力される爪領域を検出する。印刷領域設定部９１６は、爪検出部９１５で検出された爪領域を印刷領域３１０として設定する。図５で説明したように、印刷領域設定部９１６は、爪検出モデルによって出力された爪領域を、印刷領域３１０として動画表示領域３０８上に設定する。尚、印刷領域設定部９１６は、爪検出モデルによって出力された印刷領域３１０を、ユーザの指定に応じて変更することもできる。

尚、本実施形態では、設定可能な印刷領域３１０の数が予め所定値に規定されているものとする。本実施形態は、片手の爪の数に対応しているので、所定値は、「５」として規定されている。この所定値は、ネイルアートデータ２０３に含まれるネイル画像データの数に対応する。本実施形態においては、ユーザが、この所定値と同じ数の印刷領域３１０を設定する形態を例に挙げて説明する。つまり、本実施形態では、印刷領域３１０が５つ設定されるものとする。

印刷領域設定部９１６によって印刷領域３１０が設定された後、反映データ受付部９１７は、Ｓ１０１１において、ネイルアートデータ確定領域３０３に表示されている５種類のネイル画像データ３０４と、設定された５つの印刷領域３１０との対応付けを行う。このとき、図６において説明したように、ユーザは、ネイル画像データ３０４と印刷領域３１０との対応付けを変更することもできる。

Ｓ１０１１でネイル画像データ３０４と印刷領域３１０との対応付けが完了後、Ｓ１０１２で反映データ受付部９１７は、図７のように、ユーザからネイル画像データ３０４の選択を受け付ける。ユーザは、対応付けが完了したネイルアートデータ確定領域３０３から、１つまたは複数のネイル画像データ３０４を選択する。反映データ受付部９１７は、このユーザの選択を受け付ける。ここでネイルアプリが、印刷したいネイル画像データの選択を促すメッセージを表示しても良い。

Ｓ１０１３において反映実行部は、Ｓ１０１２で選択を受け付けたネイル画像データ３０４を印刷領域３１０に反映する。例えば、図７および図８で説明したように、ユーザは、１つまたは複数のネイル画像データ３０４を印刷領域３１０に反映することができる。例えば、ネイルアートデータ確定領域３０３の全部のネイル画像データ３０４をユーザが選択している場合、全部のネイル画像データ３０４が印刷領域３１０に反映される。ネイルアートデータ確定領域３０３の一部のネイル画像データ３０４が選択された場合、その一部のネイル画像データ３０４が、対応する印刷領域３１０に反映される。選択されていないネイル画像データ３０４に対応する印刷領域３１０には、ネイル画像データ３０４は反映されない。即ち、動画表示領域３０８上では、ネイル画像データ３０４が反映される印刷領域３１０には、ネイル画像が表示され、ネイル画像データ３０４が反映されない印刷領域３１０は、ユーザの爪の動画がそのまま表示されることになる。

Ｓ１０１４において印刷指示部９１９は、ネイル画像データ３０４が印刷領域３１０に反映された印刷データを作成する。例えば、ユーザは、印刷領域３１０に反映されたネイル画像データ３０４が反映された内容を確認した後に、印刷ボタン３１２を押下する。印刷指示部９１９は、印刷ボタン３１２の押下に応じて印刷データを作成する。この際、ネイルアプリは、「プリンター１５１に挿入されている手を動かさないでください」という主旨のメッセージを表示しても良い。

Ｓ１０１５においてネイルアプリ９００は、作成された印刷データをプリンター１５１に送信する。Ｓ１０１６においてプリンター１５１は、送信された印刷データに基づいて、印刷を行う。この結果、ユーザの爪にネイルの画像が印刷されることになる。なお、プリンター１５１は、印刷中も爪の撮影を継続しており、印刷が完了する前に手がプリンター１５１から離れたことを検知した場合、印刷を停止しても構わない。また、印刷が完了する前に手がプリンター１５１から離れたことをネイルアプリが検知して、ネイルアプリ９００がプリンター１５１に印刷の停止を指示しても構わない。

Ｓ１０１７においてネイルアプリ９００は、爪検出モデルをアップデートする。ネイルアプリ９００は、印刷に使用したユーザの爪を含む手の画像と、ユーザ情報とを顧客情報として１つにまとめたものを爪検出モデル１１０２の再学習に使用する。尚、再学習は、図１０に示す一連の処理において行われてもよいし、図１０の処理とは別のタイミングで別個に行われてもよい。

＜学習モデル＞
次に、爪検出部９１５が用いる学習モデル（爪検出モデル）を説明する。上述したように、本実施形態では、爪領域を自動検出する方法として、機械学習で生成した学習モデルを使用する。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、またはサポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量および結合重み付け係数を自ら生成する深層学習（ディープラーニング）も例として挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。

図１１は、学習モデルにニューラルネットワークを用いた学習の例を説明する図である。即ち、本実施形態では、ニューラルネットワークを用いて学習するモデルを学習モデルとする。図１１には、学習モデルとして爪検出モデル１１０２を示している。ニューラルネットワークは、各ノード間の結合重み付け係数等が含まれており、各ノード間の結合重み付け係数等を調整することで学習が行われる。爪検出モデル１１０２は、入力データ１１０１を入力すると、出力データ１１０３を出力するように、学習が行われる。本実施形態の入力データ１１０１は、爪を含むユーザの手の画像と、ユーザ情報とを含むものである。出力データ１１０３は、爪の輪郭を示すデータである。

図１２は、爪検出モデル１１０２の学習時および推論時における入出力の構造を示す概念図である。図１２（ａ）は、学習時における、爪検出モデル１１０２とその入出力データとの関係を示す。学習時において用いられる学習用データは、入力データＸ（１２０１）と教師データＴ（１２０２）とを含む。入力データＸ（１２０１）は、爪検出モデル１１０２の入力層のデータである。本実施形態における入力データＸは、爪を含むユーザの手の画像と、ユーザ情報とを含むデータである。入力データＸを爪検出モデル１１０２に入力すると、その画像に対応する爪領域を示すデータが、出力データＹ（１２０３）として出力される。学習時には、入力データＸに対応する正解となる爪領域を示すデータが、教師データＴ（１２０２）として与えられている。このため、出力データＹと教師データＴとを損失関数１２０４に与えることにより、予測結果の正解からのずれ量Ｌ（１２０５）（予測誤差ともいう）が得られる。尚、爪領域を示すデータは、画像中の座標を示すデータでもよいし、ベクターデータでもよいし、当該画像内において爪領域を示すように加工した画像データでもよい。以下では、爪領域を示すデータは、手の画像から爪の領域を示すように加工した画像データであるものとして説明する。

学習時においては、多数の学習用データに対してずれ量Ｌ（１２０５）が小さくなるように、爪検出モデル１１０２中のＲＮＮのパラメータ等（ノード間の結合重み付け係数等）を更新する。本実施形態では、使用する機械学習アルゴリズムとしてＲＮＮを用いる例を説明したが、他の再帰型ニューラルネットワークを用いてもよい。例えば、Ｌｏｎｇ ｓｈｏｒｔ−ｔｅｒｍ ｍｅｍｏｒｙ（ＬＳＴＭ）または双方向ＲＮＮなどを用いてもよい。さらにネットワーク構造として、複数のネットワーク構造を組み合わせたものを用いてもよい。例えば、畳み込みニューラルネットワーク（ＣＮＮ）と、ＲＮＮもしくはＬＳＴＭなどの再帰型ニューラルネットワークまたはオートエンコーダなどとを組み合わせてもよい。

図１２（ｂ）は、推論時における、爪検出モデル１１０２とその入出力データとの関係を示す。入力データＸ（１１０１）は、爪検出モデル１１０２の入力層のデータである。推論時における入力データＸ（１１０１）もまた、爪を含むユーザの手の画像と、ユーザ情報とを含むデータである。入力データＸを爪検出モデル１１０２に入力すると、その画像に対応する爪領域を示すデータが、出力データＹ（１１０３）として出力される。推論時には、この出力データＹを推論結果として利用する。即ち、爪検出部９１５は、出力データＹ（１１０３）を、爪領域を示すデータとして取得する。尚、推論時の爪検出モデル１１０２は、学習時の爪検出モデル１１０２と同等のネットワーク構造を備えるものとして説明したが、推論で必要な部分のみを抽出したものを爪検出モデル１１０２として用意することもできる。これによって爪検出モデル１１０２のデータ量を削減したり、推論処理の時間を短縮したりすることが可能である。

このように、本実施形態では、爪検出モデル１１０２を学習させるための学習用データとして次のデータを用いる。即ち、爪を含んだ学習対象者（ユーザ）の手の画像と、学習対象者の手の画像に紐づく学習対象者の情報と、を入力データとし、学習対象者の手の画像から爪の領域を示すように加工した画像を教師データとする学習用データである。尚、爪を含んだ学習対象者の手の画像の指の本数は、どのような数でもよい。また、右手の画像でも左手の画像でもよい。

本実施形態では、学習対象者の手の画像に紐づく学習対象者の情報の具体例として、学習対象者の年齢を用いる例を説明する。例えば、子供の爪は小さいが、年齢を重ね大人になるにつれて爪が大きくなる、といった傾向があるため、年齢によって爪の大きさの違いが表れやすい。よって本実施形態では学習対象者の年齢を学習対象者の爪に紐づく情報として用いる。学習用データとして使用する学習対象者の情報の数は、どのような数でもよい。また、学習対象者の情報は、国籍（もしくは地域）または性別でもよい。年齢と同様に、国籍（地域）または性別の違いも爪の大きさの違いが表れやすいため、学習対象者の爪に紐づく情報として用いてもよい。

表１に示す学習用のデータ構造の例は、ユーザの爪を含む手の画像と、ユーザ属性（ここでは年齢）を入力データとし、爪の領域を示す画像を、その入力データに対応する教師データとした学習用データのセットの例を示している。爪検出モデル１１０２（学習モデル）を生成する学習部は、このような学習用のデータを用いて爪検出モデル１１０２を生成する。

先に説明した図１１は、学習によって生成された爪検出モデル１１０２を用いて推論を行う例を示している。即ち、爪検出モデル１１０２は、入力データ１１０１として、動画から作成した爪を含むユーザの手の画像と、ユーザの手の画像に紐づくユーザ情報を入力することで、出力データ１１０３として爪の領域を示すデータ出力する。本実施形態では、爪検出モデル１１０２は、ネイルアプリ９００の爪検出部９１５に組み込まれているものとする。尚、爪検出モデル１１０２の生成および後述する再学習は、ネイルアプリ９００自身が行ってもよい。あるいは、不図示のサーバーからの指示によって、ネイルアプリ９００が保持する爪検出モデル１１０２が学習されてもよい。また、不図示のサーバーにおいて学習が行われた爪検出モデルによって、ネイルアプリ９００が保持する爪検出モデル１１０２が更新されてもよい。

次に、印刷後に行われ得る爪検出モデル１１０２のアップデート処理（再学習）を説明する。爪に印刷後、ユーザが印刷に使用した手の画像と、保存していたユーザ情報と、印刷領域３１０の設定と、を１つにまとめた顧客情報として、ネイルアプリ９００内部に保存する。なお、保存場所は、ネイルアプリ９００内だけでなく、情報処理装置１０１内の他の部分でも、不図示のサーバー上のデータベースでもよい。前述したように、ユーザは、爪検出モデル１１０２によって検出された爪領域をそのまま印刷領域３１０として用いる場合もあれば、検出された爪領域を変更して印刷領域３１０として用いる場合がある。このため、印刷に用いた情報を再学習に用いることで、爪領域の検出精度をより向上させることができる。

保存された顧客情報は、一定のタイミングで、爪検出モデル１１０２に学習用データとして入力され、爪検出モデル１１０２を再学習させる。即ち、ユーザが印刷に使用した手の画像と、ユーザ情報とを入力データとし、印刷領域３１０を示すデータを教師データとして用いて、爪検出モデル１１０２が再学習される。再学習の実施は、ネイルアプリ９００が行ってもよいし、不図示の他のサーバーが行ってもよい。尚、ここでは、顧客情報として、ユーザが印刷に使用した手の画像と、保存していたユーザ情報と、印刷領域３１０の設定とをまとめたものを説明したが、これに限られない。印刷領域３１０の情報の持ち方によっては、保存していたユーザ情報と、印刷領域３１０の設定とをまとめたものとしてもよい。印刷領域３１０が、ユーザが印刷に使用した手の画像であり、当該画像における爪領域（印刷領域）を示すように加工されている場合には、再学習時に、印刷領域３１０を示す画像から学習用のデータを作成することもが可能だからである。

尚、ユーザが例えば３本の指だけに印刷領域３１０を設定した場合には、残りの指の部分の爪領域は、爪検出部９１５が検出したままの領域を再学習に用いる印刷領域３１０の設定に含ませてもよい。

再学習が行われる一定のタイミングは、ユーザが設定してもよい。一定数の顧客情報が保存されたタイミングとしてもよい。ユーザが任意に実行してもよい。また、時間指定または日にち指定としてもよい。また、顧客情報が保存されたら、すぐに学習用データとして使用してもよい。

以上説明したように、本実施形態によれば、爪を含むユーザの手の画像と、そのユーザのユーザ情報と、その画像における爪の領域を示す画像とを学習データとして用いて爪検出モデル１１０２を学習させる。これにより、爪検出モデル１１０２を用いてユーザの爪領域を検出する精度を向上させることができる。また、このように学習された爪検出モデル１１０２を用いることで、ユーザの爪領域を精度よく検出することができる。また、実際にユーザが設定した印刷領域３１０を用いて爪検出モデル１１０２を再学習させることで、さらに高い精度で爪を検出することができる。

＜＜第２実施形態＞＞
第１実施形態では、ネイルアプリ９００が爪検出モデル１１０２を保持し、ネイルアプリ９００の爪検出部９１５は、保持されている爪検出モデル１１０２を用いて爪領域を検出する例を説明した。本実施形態は、爪検出モデル１１０２が、ネイルアプリ９００が起動される情報処理装置１０１とは異なる他のサーバー装置に保持されている例を説明する。

図１３は、本実施形態における情報処理システム１３００の構成を示す図である。情報処理システム１３００は、ローカルエリアネットワーク１３０２またはインターネット１３０４で接続されたクラウドサーバー１３２０、エッジサーバー１３３０、情報処理装置１０１、およびプリンター１５１を含む。情報処理装置１０１およびプリンター１５１は、ローカルエリアネットワーク１３０２で相互に接続され、ローカルエリアネットワーク１３０２に設置されているルータ１３０３を介してインターネット１３０４と接続することが可能である。

情報処理装置１０１およびエッジサーバー１３３０は、ルータ１３０３を介して接続されたインターネット１３０４を経由してクラウドサーバー１３２０と相互に通信することが可能である。エッジサーバー１３３０と情報処理装置１０１とは、ローカルエリアネットワーク１３０２を経由して相互に通信することが可能である。また、情報処理装置１０１とプリンター１５１もローカルエリアネットワーク１３０２を経由して相互に通信することが可能である。また、情報処理装置１０１とプリンター１５１とは、近距離無線通信１５０１によって通信可能である。近距離無線通信１５０１としては、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格またはＮＦＣ規格に則った無線通信を利用するものが考えられる。

クラウドサーバー１３２０およびエッジサーバー１３３０もまた、情報処理装置の一種であり、ハードウェア構成も、図１に示す例と同等の構成とすることができる。本実施形態では、爪検出モデル１１０２の学習は、クラウドサーバー１３２０またはエッジサーバー１３３０で行われる。この場合、ネイルアプリ９００を起動する情報処理装置１０１は、ＧＰＵ１１０を備えていなくてもよく、学習を行うサーバーがＧＰＵを備えていてもよい。

図１４は、情報処理システム１３００のソフトウエア構成を示す図である。図１４では、ソフトウエア構成のうち、本実施形態における学習および推論の処理に関わるものを中心に記載しており、その他のソフトウェアモジュールについては不図示としている。例えば情報処理装置１０１またはサーバー上で動作するオペレーティングシステム、各種ミドルウェア、およびメンテナンスのためのアプリケーション等については図示を省略している。

クラウドサーバー１３２０は、学習用データ生成部１３２１、学習部１３２２、および学習モデル生成部１３２３を備える。学習用データ生成部１３２１は、外部から受信したデータから、学習部１３２２が処理可能な学習用データを生成するモジュールである。例えば、学習用データ生成部１３２１は、第１実施形態で説明したような入力データＸおよび教師データＴを生成する。尚、学習用データ生成部１３２１に、第１実施形態で説明したような入力データＸおよび教師データＴが入力される場合、学習用データ生成部１３２１は、入力されたデータをそのまま学習部１３２２に渡す処理を行うモジュールであってもよい。また、第１実施形態で説明したように、再学習用のデータを加工して得る場合には、学習用データ生成部１３２１が加工をしてもよい。

学習部１３２２は、学習用データ生成部１３２１から受け取った学習用データを用いて学習モデル生成部１３２３で保持される爪検出モデル１１０２に対する学習を実行するプログラムモジュールである。即ち、学習部１３２２による学習によって爪検出モデル１１０２が学習モデル生成部１３２３において生成される。学習部１３２２によって学習が行われた爪検出モデル１１０２は、エッジサーバー１３３０に配信され、エッジサーバー１３３０において管理される。エッジサーバー１３３０において管理される爪検出モデル１１０２は、エッジサーバー１３３０において行われる推論処理に用いられる。

エッジサーバー１３３０は、データ収集・提供部１３３１、推論部１３３２、および爪検出モデル１１０２を保持する学習モデル保持部１３３３を備える。データ収集・提供部１３３１は、ネイルアプリ９００から受信したデータを、学習に用いるためのデータ群としてクラウドサーバー１３２０に送信するモジュールである。推論部１３３２は、ネイルアプリ９００から送られるデータを基に、学習モデル保持部１３３３が保持する爪検出モデル１１０２を用いて推論を実行し、その結果をネイルアプリ９００に返送するプログラムモジュールである。ネイルアプリ９００から送られるデータは、推論部１３３２の入力データＸとなるデータである。

学習モデル保持部１３３３が保持する爪検出モデル１１０２は、エッジサーバー１３３０が行う推論に用いられる。学習モデル保持部１３３３は、クラウドサーバー１３２０で蓄積して配信された爪検出モデル１１０２を格納する。学習モデル保持部１３３３が格納する爪検出モデル１１０２は、クラウドサーバー１３２０で生成された爪検出モデル１１０２の全部が配信されたものであってもよい。あるいは、爪検出モデル１１０２のうち、エッジサーバー１３３０での推論に必要な一部分だけが抜き出されて配信されたものであってもよい。

ネイルアプリ９００は、爪検出部９１５とデータ送受信部１４０１とを含む。ネイルアプリ９００は、図９で説明した他の構成も備えるが、ここでは省略する。データ送受信部１４０１は、エッジサーバー１３３０に学習または推論を依頼するモジュールである。学習時には、データ送受信部１４０１は、爪検出部９１５からの依頼により、学習に用いるデータをエッジサーバー１３３０のデータ収集・提供部１３３１に送信する。また、推論時には、データ送受信部１４０１は、爪検出部９１５からの依頼により推論に用いるデータをエッジサーバー１３３０に送信し、その結果を受信して爪検出部９１５に返す。

尚、図１４では、クラウドサーバー１３２０で学習して生成した爪検出モデル１１０２をエッジサーバー１３３０に配信し、配信された爪検出モデル１１０２をエッジサーバー１３３０が推論に利用する例を説明した。しかしながら、学習または推論を、それぞれ、クラウドサーバー１３２０、エッジサーバー１３３０、ネイルアプリ９００のどこで実行するかは、ハードウェア資源の配分、または、計算量もしくはデータ通信量の大小などに応じて構成を決定すればよい。あるいはこれら資源の配分、または、計算量もしくはデータ通信量の増減に応じて動的に変えるように構成してもよい。学習および推論を行う主体が異なる場合、推論側は、推論のみで使用するロジックを用いたり、爪検出モデル１１０２の容量を削減したりすることで、より高速で実行できるように構成したりすることが可能である。

以上説明したように、ネイルアプリ９００は、他のサーバーに保持されている爪検出モデル１１０２に対して、爪を含むユーザの手の画像と、そのユーザのユーザ情報とを送信し、爪検出モデル１１０２から受信した爪領域のデータを用いることができる。また、エッジサーバー１３３０またはクラウドサーバー１３２０において各ユーザのデータを収集して学習に用いることで、多様なユーザに対応した爪検出モデルをネイルアプリが利用することができる。

＜＜その他の実施形態＞＞
前述した実施形態では、印刷対象挿入部１５８に片手の手を入れる形態のプリンター１５１を例に挙げて説明したが、これに限られない。例えば、店舗などに設置されるようなプリンターで、両手を入れるようなものでもよい。この場合、操作は、店員などが行えばよい。

また、上述した各実施形態では、主に、ネイルアートとして画像（模様）を印刷する例を挙げて説明したが、３次元構造物などを示す形状データと画像データとを用いて、模様を含む構造物をネイルアートとして形成するような形態でもよい。

また、上述した各実施形態では、手をプリンター１５１に挿入し、爪に直接印刷する形態で説明したが、別の形態でも構わない。例えば、シール等の爪に装着するオブジェクトに対して印刷を行うプリンターを使って印刷する場合に、上述した各実施形態が適用されても構わない。

また、上述した各実施形態では、ネイルプリンターを用いた印刷処理を行う際に、爪の領域を検出する例を説明した。爪領域を検出する処理は、ネイルプリンターのみならず、他の所定の処理に適用することもできる。例えば、爪を用いて各種の診断を画像処理などによって行う場合に、自動的に検出した爪領域のデータを用いて診断が行われてもよい。

また、爪領域を自動的に検出することで、爪にベースコートを塗布する工程も自動的に行われてもよい。また、ネイルアートを拠り外す処理を自動的に行う場合に、上述した爪領域の検出処理を適用してもよい。

また、上述した各実施形態では、印刷対象が爪である例を説明したが、これに限られない。ユーザの体の一部に印刷を行う場合に、ユーザの属性に応じて印刷領域が変わり得るような場合には、上述した各実施形態を同様に適用することができる。例えば、爪ではなく、指に所定のアートを印刷する処理に適用してもよい。また、フェイスペイントを行う場合に頬などの体の一部を印刷領域として検出するような処理にも適用可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

コンピュータは、１または複数のプロセッサーまたは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータまたは分離した複数のプロセッサーまたは回路のネットワークを含みうる。プロセッサーまたは回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサーまたは回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、またはニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

９００ ネイルアプリ
９１０ 表示制御部
９１１ ユーザ情報入力部
９１５ 爪検出部
９１６ 印刷領域設定部

Claims (19)

1. コンピュータを、
   爪を含んだユーザの指の画像データと、当該ユーザのユーザ情報とを取得する取得手段と、
   前記取得手段で取得した画像データとユーザ情報とを学習モデルに入力することで前記学習モデルから出力される、前記画像データにおける爪の領域を示すデータに基づいて、前記取得手段で取得した画像データにおける爪領域を検出する検出手段と、
   として機能させるためのプログラム。
2. 前記学習モデルは、爪を含んだユーザの指の画像データと、当該ユーザのユーザ情報とを入力すると、前記入力された画像データにおける爪の領域を示すデータを出力するように学習された学習モデルであることを特徴とする請求項１に記載のプログラム。
3. 前記学習モデルは、爪を含んだユーザの指の画像データと、当該ユーザのユーザ情報とを入力データとし、前記入力された画像データにおける爪を示す領域を示すデータを教師データとする学習用データを用いて学習された学習モデルであることを特徴とする請求項１または２に記載のプログラム。
4. 前記コンピュータを、
   前記検出手段で検出された爪領域に所定の処理を行う処理手段としてさらに機能させることを特徴とする請求項１乃至３のいずれか一項に記載のプログラム。
5. 前記コンピュータを、
   前記検出手段で検出された爪領域をユーザの操作に応じて変更し、変更後の爪領域に所定の処理を行う処理手段としてさらに機能させることを特徴とする請求項１乃至３のいずれか一項に記載のプログラム。
6. 前記コンピュータを、
   前記処理手段での前記所定の処理に応じて、前記学習モデルを再学習させるためのデータを出力する出力手段としてさらに機能させることを特徴とする請求項４または５に記載のプログラム。
7. 前記出力手段は、前記学習モデルを再学習させるためのデータとして、前記所定の処理が行われた前記爪領域を少なくとも含むデータと、前記取得手段で取得した前記ユーザ情報とを含むデータを出力することを特徴とする請求項６に記載のプログラム。
8. 前記出力手段は、前記学習モデルを再学習させるためのデータを蓄積するデータベースに当該データを出力することを特徴とする請求項６または７に記載のプログラム。
9. 前記所定の処理は、前記爪領域に印刷をする印刷指示を出力する処理であることを特徴とする請求項４乃至８のいずれか一項に記載のプログラム。
10. 前記ユーザ情報は、国、地域、性別、または年齢のうちの少なくとも一つを含むことを特徴とする請求項１乃至９のいずれか一項に記載のプログラム。
11. 前記検出手段が前記学習モデルに入力する前記画像データは、撮影装置によって撮影された画像データであることを特徴とする請求項１乃至１０のいずれか一項に記載のプログラム。
12. コンピュータを、
    印刷対象を一部に含む画像データと、印刷を行うユーザのユーザ情報とを取得する取得手段と、
    前記取得手段で取得した画像データとユーザ情報とを学習モデルに入力することで前記学習モデルから出力される、前記画像データにおける印刷領域を示すデータに基づいて、前記取得手段で取得した画像データにおける印刷領域を検出する検出手段と、
    として機能させるためのプログラム。
13. コンピュータを、
    爪を含んだユーザの指の画像データと、当該ユーザのユーザ情報とを入力データとして取得する第一取得手段と、
    前記画像データにおける爪の領域を示すデータを教師データとして取得する第二取得手段と、
    前記入力データを学習モデルに入力した場合に出力される出力データと、前記教師データとの誤差が小さくなるように前記学習モデルを学習することで前記学習モデルを生成する生成手段と、
    として機能させるためのプログラム。
14. 爪を含んだユーザの指の画像データと、当該ユーザのユーザ情報とを取得する取得手段と、
    前記取得手段で取得した画像データとユーザ情報とを学習モデルに入力することで前記学習モデルから出力される、前記画像データにおける爪の領域を示すデータに基づいて、前記取得手段で取得した画像データにおける爪領域を検出する検出手段と、
    を有することを特徴とする情報処理装置。
15. プリンターと通信可能な情報処理装置であって、
    印刷対象を一部に含む画像データと、印刷を行うユーザのユーザ情報とを取得する取得手段と、
    前記取得手段で取得した画像データとユーザ情報とを学習モデルに入力することで前記学習モデルから出力される、前記画像データにおける印刷領域を示すデータに基づいて、前記取得手段で取得した画像データにおける印刷領域を検出する検出手段と、
    を有することを特徴とする情報処理装置。
16. 爪を含んだユーザの指の画像データと、当該ユーザのユーザ情報とを入力データとして取得する第一取得手段と、
    前記画像データにおける爪の領域を示すデータを教師データとして取得する第二取得手段と、
    前記入力データを学習モデルに入力した場合に出力される出力データと、前記教師データとの誤差が小さくなるように前記学習モデルを学習することで前記学習モデルを生成する生成手段と、
    を有することを特徴とする情報処理装置。
17. 情報処理装置の制御方法であって、
    爪を含んだユーザの指の画像データと、当該ユーザのユーザ情報とを取得する取得工程と、
    前記取得工程で取得した画像データとユーザ情報とを学習モデルに入力することで前記学習モデルから出力される、前記画像データにおける爪の領域を示すデータに基づいて、前記取得工程で取得した画像データにおける爪領域を検出する検出工程と、
    を有することを特徴とする情報処理装置の制御方法。
18. 情報処理装置の制御方法であって、
    印刷対象を一部に含む画像データと、印刷を行うユーザのユーザ情報とを取得する取得工程と、
    前記取得工程で取得した画像データとユーザ情報とを学習モデルに入力することで前記学習モデルから出力される、前記画像データにおける印刷領域を示すデータに基づいて、前記取得工程で取得した画像データにおける印刷領域を検出する検出工程と、
    を有することを特徴とする情報処理装置の制御方法。
19. 学習モデルの生成方法であって、
    爪を含んだユーザの指の画像データと、当該ユーザのユーザ情報とを入力データとして取得する第一取得工程と、
    前記画像データにおける爪の領域を示すデータを教師データとして取得する第二取得工程と、
    前記入力データを学習モデルに入力した場合に出力される出力データと、前記教師データとの誤差が小さくなるように前記学習モデルを学習することで前記学習モデルを生成する生成工程と、
    を有することを特徴とする学習モデルの生成方法。

Images