JP2022026860A - プログラム、情報処理装置の制御方法、および情報処理装置 - Google Patents

Abstract

【課題】オブジェクト領域の検出に失敗した場合でも、オブジェクト領域検出のための再度の撮影を省き、処理時間を短縮する。【解決手段】本発明の一実施形態は、情報処理装置を、第１オブジェクトを含む第２オブジェクトを撮影した撮影画像から、前記第１オブジェクトの領域を、前記第２オブジェクトごとに検出する検出手段と、画面に表示された前記撮影画像における、前記検出手段により検出された領域に対応する位置に、前記検出された領域を示す表示アイテムを表示する第１表示制御手段と、前記第１オブジェクトの領域検出に成功した前記第２オブジェクトと、前記第１オブジェクトの領域検出に失敗した前記第２オブジェクトがあった場合、前記画面に表示された前記失敗した第２オブジェクトの撮影画像において、前記成功した前記第２オブジェクトにおいて検出された前記第１オブジェクトの領域に基づいて作成される仮の領域を表示する第２表示制御手段と、として機能させるためのプログラムである。【選択図】図８

Description

本発明は、ネイルアートを爪に印刷するための技術に関する。

近年、プリンターを使用して爪にネイルアートを印刷することが可能になっている。以下、爪にネイルアートを印刷するためのプリンターをネイルプリンターと称する。ユーザの爪に対してネイルアートを印刷するにあたり、爪の位置やサイズに基づき印刷領域を設定する必要がある。そこで、印刷領域を設定する方法の一例として、学習モデルを使用した爪検出処理を実行して印刷領域を設定する方法がある。尚、このようにして検出する対象は爪に限らず、顔などを検出してもよい。

特許文献１には、顔検出のための撮影後、特定の条件を満たす場合に、顔検出のための撮影を再度行う技術が開示されている。詳しくは、顔検出のための撮影前に予め指定された被写体の人数と、顔検出できた数とを比較し、これらの数が一致していない場合に、顔検出のための撮影を再度行う。

特開２０１８－２６７５０号公報

特許文献１では、オブジェクト領域の検出結果が期待通りにならない場合にオブジェクト領域検出のための撮影を再度行うため、処理時間が長くなる。

そこで、本発明の一実施形態は、上記の課題に鑑み、オブジェクト領域の検出に失敗した場合でも、オブジェクト領域検出のための再度の撮影を省き、処理時間を短縮することを目的とする。

本発明の一実施形態は、情報処理装置を、第１オブジェクトを含む第２オブジェクトを撮影した撮影画像から、前記第１オブジェクトの領域を、前記第２オブジェクトごとに検出する検出手段と、画面に表示された前記撮影画像における、前記検出手段により検出された領域に対応する位置に、前記検出された領域を示す表示アイテムを表示する第１表示制御手段と、前記第１オブジェクトの領域検出に成功した前記第２オブジェクトと、前記第１オブジェクトの領域検出に失敗した前記第２オブジェクトがあった場合、前記画面に表示された前記失敗した第２オブジェクトの撮影画像において、前記成功した前記第２オブジェクトにおいて検出された前記第１オブジェクトの領域に基づいて作成される仮の領域を表示する第２表示制御手段と、として機能させるためのプログラムである。

本発明の一実施形態によれば、オブジェクト領域の検出に失敗した場合でも、オブジェクト領域検出のための再度の撮影を省き、処理時間を短縮することが可能になる。

システムの構成を示す概略図 ネイルアート選択画面を示す図 印刷データ作成画面を示す図 印刷領域を設定する領域設定モードを説明する図 ネイル画像データ設定画面を示す図 情報処理装置の機能ブロック図 処理の流れを示すシーケンス図 爪検出失敗時に印刷領域を設定する例を説明する図

以下、本発明の実施の形態を詳細に説明する。尚、以下の実施形態は、本発明を説明するための例示であり、本発明をその実施形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、様々な変形が可能である。

［第１の実施形態］
＜システムの構成＞
本実施形態におけるシステムは、情報処理装置と、プリンターとを有する。本実施形態では、情報処理装置としてタブレット端末を例に挙げて説明する。但し、情報処理装置は、タブレット端末に限定されるものではない。情報処理装置として、携帯端末、ノートＰＣ、スマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、デジタルカメラ等、種々のものを適用可能である。また、本実施形態では、プリンターとして、例えば、インクジェットプリンター、３Ｄプリンター等を適用できる。本実施形態のプリンターは、複写機能、ＦＡＸ機能、印刷機能等の複数の機能を有する複合機であってもよい。本実施形態のプリンターは、人の手の爪に直接描画する機能を有する。尚、本実施形態では、情報処理装置とプリンターとを別の装置として説明するが、両者の機能を一体的に有する装置を用いる形態でもよい。

図１は、本実施形態の情報処理装置１０１およびプリンター１５１を有するシステムを説明する図である。図１（ａ）には、情報処理装置１０１およびプリンター１５１のブロック図が示されている。図１（ｂ）には、プリンター１５１の外観の模式図が示されている。以下、図１を用いて、情報処理装置１０１およびプリンター１５１の構成を説明する。

＜情報処理装置＞
図１（ａ）に示すように、情報処理装置１０１は、入力インターフェース１０２、ＣＰＵ１０３、ＲＯＭ１０４、ＲＡＭ１０５、外部記憶装置１０６、出力インターフェース１０７、通信部１０９、及びＧＰＵ１１０を有する。これらはシステムバスを介して互いに接続されている。

入力インターフェース１０２は、物理キーボード、ボタン、およびタッチパネル等の操作部（不図示）を介して、ユーザからのデータ入力や操作指示を受け付けるためのインターフェースである。尚、本実施形態における情報処理装置１０１は、後述の表示部１０８と、操作部との少なくとも一部とが一体であり、例えば、画面の出力と、ユーザからの操作の受け付けとを同一の画面において行うような形態である。

ＣＰＵ１０３は、システム制御部であり、プログラムの実行やハードウェアの起動等のように情報処理装置１０１の全体を制御する。ＲＯＭ１０４には、ＣＰＵ１０３が実行する制御プログラム、データテーブル、組み込みオペレーティングシステム（以下、ＯＳという。）、およびプログラム等のデータが記憶される。本実施形態では、ＲＯＭ１０４に記憶されている各制御プログラムは、ＲＯＭ１０４に記憶されている組み込みＯＳの管理下で、例えば、スケジューリング、タスクスイッチ、および割り込み処理等のソフトウエア実行制御を行う。

ＲＡＭ１０５は、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）またはＤＲＡＭ（Ｄｉｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。尚、ＲＡＭ１０５には、図示しないデータバックアップ用の１次電池によってデータが記憶されていてもよい。その場合、ＲＡＭ１０５には、プログラム制御変数等のデータを揮発させずに記憶することができる。また、ＲＡＭ１０５には、情報処理装置１０１の設定情報および情報処理装置１０１の管理データ等を記憶するメモリエリアも設けられている。また、ＲＡＭ１０５は、ＣＰＵ１０３の主メモリおよびワークメモリとしても用いられる。

外部記憶装置１０６には、印刷実行機能を提供するアプリケーション、および、プリンター１５１が解釈可能な印刷情報を生成する印刷情報生成プログラム等が記憶されている。また、外部記憶装置１０６には、通信部１０９を介して接続しているプリンター１５１との間で情報を送受信する情報送受信制御プログラム等の各種プログラム、および、これらのプログラムが使用する各種情報が記憶されている。

出力インターフェース１０７は、表示部１０８によるデータの表示および情報処理装置１０１の状態の通知等の制御を行うインターフェースである。

表示部１０８は、ＬＥＤ（発光ダイオード）またはＬＣＤ（液晶ディスプレイ）等を有し、データの表示および情報処理装置１０１の状態の通知等を行う。尚、表示部１０８上に、数値入力キー、モード設定キー、決定キー、取り消しキー、電源キー等のキーを有するソフトキーボードを設置することで、表示部１０８を介してユーザからの入力を受け付けてもよい。また、表示部１０８は、前述のように、タッチパネルディスプレイとして構成されていてもよい。表示部１０８は、出力インターフェース１０７を通じて、情報処理装置１０１のシステムバスと接続されている。

通信部１０９は、プリンター１５１等の外部装置と接続して、データ通信を実行するように構成されている。通信部１０９は、例えば、プリンター１５１内のアクセスポイント（不図示）に接続可能である。つまり、本実施形態では、プリンター１５１内の通信部１５６が、アクセスポイントとして動作することが可能である。尚、アクセスポイントは一例であり、通信部１５６がＩＥＥＥ８０２．１１シリーズに準拠した無線通信を行う際の親局として動作すれば良く、例えば、ＷｉＦｉダイレクトのグループオーナとして動作しても良い。通信部１０９とプリンター内のアクセスポイントとが接続することで、情報処理装置１０１およびプリンター１５１は、相互に無線通信可能となる。尚、通信部１０９は、無線通信でプリンター１５１とダイレクトに通信してもよいし、外部に存在する外部アクセスポイント（アクセスポイント１３１）を介して、プリンター１５１と通信してもよい。無線通信方式としては、例えば、Ｗｉ－Ｆｉ（ＷｉｒｅｌｅｓｓＦｉｄｅｌｉｔｙ）（登録商標）およびＢｌｕｅｔｏｏｔｈ（登録商標）等が挙げられる。また、アクセスポイント１３１としては、例えば、無線ＬＡＮルーター等の機器が挙げられる。本実施形態において、情報処理装置１０１とプリンター１５１とが外部アクセスポイント１３１を介さずにダイレクトに接続する方式をダイレクト接続方式という。また、情報処理装置１０１とプリンター１５１とが外部アクセスポイント１３１を介して接続する方式をインフラストラクチャー接続方式という。尚、情報処理装置１０１とプリンター１５１とは、ＵＳＢケーブル等の有線で接続される形態でもよい。

ＧＰＵ１１０は、データをより多く並列処理することで効率的な演算を行うことができるので、ディープラーニングのような学習モデルを処理する場合にはＧＰＵ１１０で処理を行うことが有効である。そこで本実施形態では、学習モデルを使用する処理に関してＣＰＵ１０３に加えてＧＰＵ１１０を用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵ１０３とＧＰＵ１１０とが協働して演算を行うことで、学習モデルを処理する。尚、学習モデルを使用する処理において、ＣＰＵ１０３またはＧＰＵ１１０のみにより演算が行われても良い。

本実施形態では、情報処理装置１０１は、ＲＯＭ１０４または外部記憶装置１０６等に所定のアプリケーションを記憶しているものとする。所定のアプリケーションとは、例えば、ユーザからの操作に応じて、ネイルアートデータを印刷させるための印刷ジョブを、プリンター１５１に送信するためのアプリケーションプログラムである。このような機能を有するアプリケーションを、以後ネイルアプリという。尚、ネイルアプリは、印刷機能以外に、他の機能を有していてもよい。例えば、本実施形態におけるネイルアプリは、プリンター１５１と通信して、プリンター１５１の撮影部１５７のカメラを起動する機能を有していてもよい。即ち、ネイルアプリは、印刷ジョブ以外に、カメラ起動ジョブをプリンター１５１に送信する機能等を有していてもよい。また、ＲＯＭ１０４または外部記憶装置１０６等に記憶されている所定のアプリケーションは、ネイルアプリに限定されず、印刷以外の機能を有するアプリケーションプログラムであってもよい。

＜プリンター＞
プリンター１５１は、ＲＯＭ１５２、ＲＡＭ１５３、ＣＰＵ１５４、プリントエンジン１５５、通信部１５６、および撮影部１５７を有する。これらの構成要素は、システムバスを介して互いに接続されている。図１（ｂ）に示すように、プリンター１５１には、印刷対象を挿入するための空間である印刷対象挿入部１５８が設けられている。図１（ｂ）では、印刷対象挿入部１５８に、ユーザが自身の手を入れている様子を示している。このように、本実施形態では、印刷対象挿入部１５８に人間の手が挿入されることを想定している。また、本実施形態において、印刷対象は爪である。印刷対象挿入部１５８には指を載せるための４本のレールが搭載されており、１～４本の指を挿入することができる。４本のレールが一括で昇降することで印刷に最適な高さに爪の高さを調整することが可能である。この昇降動作はネイルアプリからの指示で実行される。尚、本明細書では、手の爪を印刷対象とする例を示すが、手に限らず足の爪に印刷するような場合にも本実施形態を適用可能である。

ＲＯＭ１５２には、ＣＰＵ１５４が実行する制御プログラム、データテーブル、およびＯＳプログラム等のデータが記憶される。本実施形態では、ＲＯＭ１５２に記憶されている各制御プログラムは、ＲＯＭ１５２に記憶されている組み込みＯＳの管理下で、スケジューリング、タスクスイッチ、および割り込み処理等のソフトウエア実行制御を行う。

ＲＡＭ１５３は、ＳＲＡＭまたはＤＲＡＭ等で構成される。尚、ＲＡＭ１５３には、図示しないデータバックアップ用の１次電池によってデータが記憶されていてもよい。この場合、ＲＡＭ１５３には、プログラム制御変数等のデータを揮発させずに記憶することができる。また、プリンター１５１の設定情報およびプリンター１５１の管理データ等を記憶するメモリエリアもＲＡＭ１５３に設けられている。また、ＲＡＭ１５３は、ＣＰＵ１５４の主メモリおよびワークメモリとしても用いられ、情報処理装置１０１から受信した印刷情報および各種情報などを一旦記憶することができる。

ＣＰＵ１５４は、システム制御部であり、プログラムの実行やハードウェアの起動により、プリンター１５１全体を制御する。プリントエンジン１５５は、ＲＡＭ１５３に記憶された情報または情報処理装置１０１から受信した印刷ジョブに基づき、インク等の記録剤を用いて、印刷対象挿入部１５８に挿入されている爪等の被記録媒体上に画像を形成する。

通信部１５６は、情報処理装置１０１等の外部装置とダイレクト接続方式にて無線通信するためのアクセスポイントとして動作可能である。この通信部１５６は、情報処理装置１０１の通信部１０９と接続可能である。通信部１５６は、無線通信で情報処理装置１０１とダイレクトに通信してもよいし、外部のアクセスポイント１３１を介して情報処理装置１０１と通信してもよい。尚、通信部１５６が外部のアクセスポイント１３１とインフラストラクチャー接続方式にて接続する場合、通信部１５６が子局として動作し、外部のアクセスポイント１３１が親局として動作することとなる。また、通信部１５６は、アクセスポイントとして機能するハードウェアを有していてもよいし、アクセスポイントとして機能させるためのソフトウエアにより、アクセスポイントとして動作してもよい。

撮影部１５７は、撮影機能を有するデバイスであって、プリンター１５１に付属し、かつ設置されている。撮影部１５７は、印刷対象挿入部１５８に挿入される印刷対象（具体的には爪）を含む所定の領域を撮影し、撮影した画像（静止画、動画等）を情報処理装置１０１にリアルタイムに送る機能を有する。本実施形態では、撮影部１５７は、動画および静止画を撮影するものであって、少なくともレンズおよびイメージセンサーを有するカメラモジュールである。レンズは、印刷対象挿入部１５８に挿入される印刷対象を写してイメージセンサー上に結像する。イメージセンサーは、レンズが写した光をＣＰＵ１５４が処理できる電気信号に変換する。このような機能を有していれば、撮影機能を有するデバイスとしてスマートフォン、携帯端末、またはデジタルカメラ等が、カメラモジュールに代用して用いられてもよい。プリントエンジン１５５は、印刷対象挿入部１５８に挿入された印刷対象に対して印刷を行う。

尚、プリンター１５１には、外付けＨＤＤまたはＳＤカード等のメモリが装着されてもよく、プリンター１５１に記憶される情報は、当該メモリに記憶されてもよい。また、図１に示す構成は、一例に過ぎず、情報処理装置１０１およびプリンター１５１はそれぞれ、前述したもの以外の構成要素を有してもよいが、ここでの説明は省略する。

＜用語の定義＞
次に、本実施形態で使用する用語を説明する。本実施形態は、主に爪にネイルアートを印刷する形態である。また、本実施形態は、片方の手の各爪にネイルアートを施す（印刷する）形態である。一般的に、各爪に施されるネイルアートは、同一のコンセプトであるが、個々の爪に施されるネイルアートは、完全に同一のネイルアートではない場合がある。例えば、デザインＡのネイルアートセットには、１０個のネイルアート（１０本の各爪に対応するネイルアート）が含まれており、その１０個のネイルアートは、相互に共通のデザインコンセプトのものであるが、完全に同一の模様になっていないことがある。以上の点を踏まえて、本実施形態では、以下のように用語を定義する。

・「ネイル画像データ」：１つの爪に施されるネイルアートの画像データを指す。

・「ネイルアートデータ」：複数のネイル画像データの集合体を指す。つまり、ネイルアートデータは、複数のネイル画像データのデータセットともいえる。典型的には、右手、左手合わせて１０本の爪のネイルアートに対応する各ネイル画像データの画像を集約した画像データである。ネイルアートデータは、１０本の各ネイル画像データが集まったデータ（つまり、１０個の画像データのセット）でもよいし、１０本の各ネイル画像データを合成して１つの画像とした画像データでもよい。

このように、「ネイル画像データ」と称する場合、個別の爪のネイルアートの画像のデータを指し、「ネイルアートデータ」と称する場合、１０本分のネイルアートの画像のセットのデータを指すものとする。

＜ネイルアートの印刷の概要＞
本実施形態では、情報処理装置１０１のＣＰＵ１０３が、ＲＯＭ１０４または外部記憶装置１０６に記憶されているネイルアプリのプログラムを実行することで、ネイルアプリを起動する。そして、ネイルアプリを用いることで、ユーザは、自身が選択したネイルアートデータに含まれるネイル画像データを印刷領域に反映して、ネイルアートを爪に印刷することができる。つまり、以下の一連の動作がネイルアプリを用いて行われる。（１）ユーザが、アプリケーション上でネイル画像データのセット（すなわち、ネイルアートデータ）を選択する。（２）アプリケーションが、ネイルプリンターの内部にあるカメラを起動する。（３）アプリケーションは、ネイルプリンターから送信されたカメラ画像を表示する。（４）ユーザが、ネイルプリンターに手を挿入する。（５）アプリケーションがカメラ画像から爪の領域を検出し、ネイルアートを印刷する爪の領域を設定する。（６）アプリケーションは、設定した印刷領域に、ネイルアートデータに含まれるネイル画像データを反映させる。（７）ユーザは、設定した印刷領域を調整する場合、印刷領域を編集する。（８）アプリケーションは、反映された画像データを用いてネイルプリンターに印刷を実行させる。本実施形態では、上記の（７）の工程において、印刷領域の設定に失敗した際に仮の印刷領域を設定する形態を説明する。尚、プリンター１５１に手を入れるユーザと、アプリケーションを操作するユーザとは、同一のユーザであっても良いし、異なるユーザであっても良い。

＜ネイルアプリのグラフィカルユーザインターフェース＞
理解を容易にするために、ネイルアプリで表示されるグラフィカルユーザインターフェース（以下、ＧＵＩという）画面を先に説明する。以下で説明するＧＵＩ画面は、ネイルアプリを実行するＣＰＵ１０３によって、表示部１０８に表示されるものである。また、入力インターフェース１０２は、表示部１０８と一体となった操作部として機能するものとして説明する。本実施形態におけるネイルアプリのＧＵＩ画面は、大きく分けて３種類存在する（第１～第３ＧＵＩ画面とする）。第１ＧＵＩ画面は、図２に示すネイルアートデータ選択画面である。第２ＧＵＩ画面は、図５に示すネイル画像データ設定画面である。第３ＧＵＩ画面は、図３に示す印刷データ作成画面である。以下、各画面を用いて、ネイルアプリのＧＵＩ画面を説明する。

図２は、第１ＧＵＩ画面の一例として、ネイルアートデータ選択画面２０１を示す図である。図２に示すように、ネイルアートデータ選択画面２０１は、ネイルアートデータ表示領域２０２と、決定ボタン２０４とを有する。

ネイルアートデータ表示領域２０２には、各爪に印刷するネイルアートの各デザインコンセプトに対応したネイルアートデータが複数表示される。具体的には、図２の画面上では、ネイルアートデータ２０３が４つ分表示されている。１つのネイルアートデータ２０３には、親指、人差し指、中指、薬指、小指のそれぞれの左手、右手の爪に対応する１０種類のネイル画像データが含まれている。ユーザは、１つもしくは複数のネイルアートデータ２０３を選択でき、また、選択したネイルアートデータ２０３を解除することもできる。ユーザがネイルアートデータ２０３を選択または解除する方法の一例として、ユーザがネイルアートデータ２０３を１回タップすることでネイルアートデータ２０３を選択することができる。また、選択済みのネイルアートデータ２０３をユーザがもう１回タップすると、選択状態を解除することができる。

ユーザがネイルアートデータ表示領域２０２から１つもしくは複数のネイルアートデータ２０３を選択した後に決定ボタン２０４を押下した場合、ネイルアートデータ選択画面２０１に替えて図５に示すネイル画像データ設定画面５０１が表示される。

尚、本実施形態では、各種のボタンを操作する際には「押下」と称し、各領域を操作するときは、タッチパネルの操作であるとして、「タップ」、「タッチ」、「ピンチイン」、「ピンチアウト」等と説明するが、これらは例示に過ぎない。例えば、タッチパネル上の各種のボタンをタッチすることで各種のボタンの押下動作が実現されてもよい。また、例えば、マウス等を用いたカーソル操作によって各領域の操作が行われてもよい。また、入力インターフェース１０２が各種の方向指示ボタンを有しており、その方向指示ボタンを用いて各領域の操作が行われてもよい。

図５は、第２ＧＵＩ画面の一例として、ネイル画像データ設定画面５０１を示す図である。図５に示すように、ネイル画像データ設定画面５０１は、ネイルアートデータ表示領域５０２と、左手プレビュー領域５０３と、右手プレビュー領域５０４と、選択モード切り替えスイッチ５０５と、選択解除ボタン５０６と、設定完了ボタン５０７とを有している。

ネイルアートデータ表示領域５０２は、ユーザがネイルアートデータ選択画面２０１で選択したネイルアートデータを表示する領域である。

左手プレビュー領域５０３には左手の親指から小指まで計５つの爪領域５０８が含まれ、右手プレビュー領域５０４には右手の親指から小指まで計５つの爪領域５０８が含まれる。ユーザは、ネイルアートデータ表示領域５０２からネイルアートデータもしくはネイル画像データを選択する。これにより、選択したネイルアートデータもしくはネイル画像データを、左手プレビュー領域５０３および右手プレビュー領域５０４の爪領域５０８に反映することができる。

選択モード切り替えスイッチ５０５は、左手プレビュー領域５０３および右手プレビュー領域５０４に含まれる爪領域５０８に反映させるネイルアートデータもしくはネイル画像データを選択する方法を切り替えるスイッチである。一括選択モードがＯＮになっている場合、ユーザがネイルアートデータ表示領域５０２から選択したネイルアートデータを、左手プレビュー領域５０３と右手プレビュー領域５０４とのそれぞれに含まれる爪領域５０８に一括で反映することができる。一括選択モードがＯＦＦになっている場合、ユーザがネイルアートデータ表示領域５０２から選択したネイル画像データを、左手プレビュー領域５０３もしくは右手プレビュー領域５０４に含まれる爪領域５０８の何れかに反映することができる。

選択解除ボタン５０６は、既に左手プレビュー領域５０３および右手プレビュー領域５０４に含まれる爪領域５０８の少なくとも１つにネイル画像データを反映させている場合に選択可能なボタンである。ユーザが選択解除ボタン５０６を押下した場合、反映されている全てのネイル画像データの選択が解除され、ネイル画像データ未選択の状態に戻る。

設定完了ボタン５０７は、左手プレビュー領域５０３および右手プレビュー領域５０４に含まれる１つ以上の爪領域５０８に、ネイル画像データが反映されている場合に選択可能なボタンである。ユーザが設定完了ボタン５０７を押下した場合、ネイル画像データ設定画面５０１に替えて、図３に示す印刷データ作成画面３０１が表示される。

図３は、第３ＧＵＩ画面の一例として、印刷データを作成するための印刷データ作成画面３０１を説明する図である。印刷データ作成画面３０１は、設定データ表示領域３０２と、印刷対象表示領域３０３と、プリンター検索ボタン３０４と、プリンター名表示領域３０５と、撮影ボタン３０６と、プレビュー領域３０７と、印刷領域設定ボタン３０８と、印刷ボタン３１０とを持つ。プレビュー領域３０７は、指の撮影画像を撮影する前の動画や、撮影後の撮影画像が表示される。そして、その撮影画像において後述する図４の画面において印刷対象３０９が設定された場合には、プレビュー領域３０７には、印刷領域３０９を示す表示アイテムが合成された指の撮影画像が表示される。

設定データ表示領域３０２は、図２に示すネイル画像データ設定画面５０１で設定したネイル画像データを左手、右手のデータと最大４つに分けて表示する領域である。図３は、設定データの分け方の一例として、左手の人差し指、中指、薬指、小指の４本で１つ、左手の親指で１つ、右手の人差し指、中指、薬指、小指の４本で１つ、右手の親指で１つの組み合わせで表示する形態を示す。図３の設定データ表示領域３０２では、左手、右手の全ての爪にネイル画像データが設定されていた場合の表示を示している。図示するように、設定データ表示領域３０２には、左手の人差し指、中指、薬指、小指の設定データ３０２（ａ）、および、左手の親指の設定データ３０２（ｂ）が表示されている。また、設定データ表示領域３０２には、右手の人差し指、中指、薬指、小指の設定データ３０２（ｃ）、および、右手の親指の設定データ３０２（ｄ）も表示されている。設定データ３０２（ａ）～（ｄ）の各領域には、ネイル画像データを入れるスロットが４つ設けられている。

印刷対象表示領域３０３には、設定データ３０２（ａ）～（ｄ）のそれぞれが、どの爪に対応する設定データかを示すアイコンが４つ表示される。つまり、設定データ表示領域３０２と同様に、左手の人差し指、中指、薬指、小指の４本で１つ、左手の親指で１つ、右手の人差し指、中指、薬指、小指の４本で１つ、右手の親指で１つの組み合わせで表示する。尚、前述したように、図３に示す印刷対象表示領域３０３では、左手、右手の全ての爪にネイル画像データが設定されていた場合の表示を示している。アイコン３０３（ａ）は、設定データ３０２（ａ）が左手の人差し指、中指、薬指、小指に対応することを示し、アイコン３０３（ｂ）は、設定データ３０２（ｂ）が左手の親指に対応することを示す。アイコン３０３（ｃ）は、設定データ３０２（ｃ）が右手の人差し指、中指、薬指、小指に対応することを示し、アイコン３０３（ｄ）は、設定データ３０２（ｄ）が右手の親指に対応することを示す。

プリンター検索ボタン３０４がユーザによって押下されると、ネイルアプリと通信可能なプリンターを検索する処理が実行される。検索の結果、プリンター１５１を含む１または複数のプリンターが発見された場合、ネイルアプリは、該発見したプリンターのそれぞれを特定する情報を表示する。発見したプリンターを特定する情報はリスト表示され、ユーザはリストから任意のプリンターを１つ選択することができる。（ここでは、ユーザがプリンター１５１を選択したものとする。）

選択されたプリンター１５１を一意に識別するためのプリンター名がプリンター名表示領域３０５に表示される。尚、ネイルアプリは、ユーザがプリンター検索ボタン３０４を押下したときだけでなく、プリンターが未登録の状態で印刷データ作成画面３０１に遷移したときにも自動でプリンターを検索し、プリンターのリストを表示することができる。

撮影ボタン３０６は、ユーザによって押下されることでプリンター名表示領域３０５に表示されたプリンター１５１と通信し、プリンター１５１の撮影部１５７で撮影された動画をリアルタイムで受け取ってプレビュー領域３０７に表示するためのボタンである。本実施形態では、印刷対象挿入部１５８に人間の手を入れることを想定している。このため、例えば、ユーザが片方の手を入れて、他方の手で、撮影ボタン３０６を押下することで、爪を含むユーザの手先の画像がプレビュー領域３０７にリアルタイムで表示される。

尚、プレビュー領域３０７に動画等の画像を表示するのは撮影ボタン３０６を押下したときに限られない。例えば、プリンター１５１が既に登録されている状態で印刷データ作成画面３０１に遷移したときにプリンター１５１と通信可能である場合が考えられる。この場合、ネイルアプリは、印刷データ作成画面３０１遷移時に自動でプリンター１５１と通信し、プリンター１５１の撮影部１５７で撮影された動画を受け取ることができる。

尚、前述の使い方は一例であり、他の使い方も考えられる。例えば、ＧＵＩ画面５０１が撮影ボタンを有し、ネイルサロンの利用客が片方の手を入れて、ネイルサロンの従業員がＧＵＩ画面５０１上で該撮影ボタンを押下しても良い。

印刷領域設定ボタン３０８は、プレビュー領域３０７に動画が表示されているときにユーザによって押下されることで、印刷領域３０９を設定する領域設定モードに移行するためのボタンである。

図３に示す印刷領域設定ボタン３０８が押下されたことに応じて、印刷領域３０９を設定可能な領域設定モードに遷移する。図４は、爪の領域を自動検出する方法の一例として、静止画から爪の領域を自動検出して自動的に印刷領域３０９を設定する例を説明する図である。なお、図４に示すプレビュー領域３０７および印刷設定ボタン３０８は、図３のプレビュー領域３０７、印刷領域設定ボタン３０８の代わりに表示される。或いは、図３に示す印刷領域設定ボタン３０８が押下されたことに応じて、図４に示すプレビュー領域３０７および印刷設定ボタン３０８が、図３に示す画面全体に重なって、もしくは図３に示す画面全体の代わりに表示される。

まず、ユーザは、図４の印刷領域設定ボタン３０８を押下してプレビュー領域３０７を領域設定モードにする。なお、図４の印刷領域設定ボタン３０８が押下されると、指が静止画として撮影される。或いは、撮影中の動画の、印刷領域設定ボタン３０８が押下されたときに表示されたフレームが、指の静止画として生成される。このように撮影部１５７で撮影することで取得されたユーザの爪を含む手の静止画をプリンター１５１から取得して、その静止画から爪の領域を自動検出して自動的に印刷領域３０９を設定する。自動検出する方法の一例として、機械学習で作成した学習モデルを使用してもよい。ここで使用する学習モデルは爪を含む静止画を入力すると、爪の領域を検出した結果を出力する学習モデルである。ネイルアプリは、静止画の中から爪の領域を検出した結果を出力する。出力された爪の領域は図４に示すように自動的に印刷領域３０９として設定される。そして、図４に示すように、印刷領域３０９を示す表示アイテムが表示される。なお、図４では、表示アイテムとして、爪に印刷される画像および該画像を明示する点線の枠を含む表示アイテムが表示される。しかしこれに限らず、表示アイテムが該画像のみを含んでもよいし、該枠のみを含んでもよい。なお、該画像および該枠はそれぞれ、印刷領域３０９のサイズおよび位置に対応するサイズおよび位置に表示される。

また、爪の領域の検出は指ごとに行われ、例えば４本の指の場合は、爪領域の検出は４回行われる。検出結果である印刷領域３０９を示す表示アイテムを表示する際は、プレビュー領域３０７に指ごとの画像（指画像とする）が表示され、例えば４本の指の場合は、４つの指画像がプレビュー領域３０７に表示される。印刷領域３０９は指画像上に表示され、１つの指画像につき、１つの印刷領域３０９が設定され、設定された印刷領域３０９を示す表示アイテムが表示される。 このように、印刷領域３０９の設定後に、設定データ表示領域３０２からユーザが選択した設定データに対応する画像（爪に印刷される画像）を自動的に印刷領域３０９に反映する。

印刷領域３０９に関しては、ユーザはそのサイズを自由に変更することができる。また、ユーザは、設定した印刷領域３０９を削除することもできる。ユーザがネイルアートを施したい爪は、手の全ての指の爪である場合もあれば、一部の指の爪である場合もあり得る。このため、本実施形態では、ユーザが、所望する印刷領域３０９を設定することが可能となっている。また、本実施形態において画像を反映する印刷対象として、ユーザの爪を想定しているため、設定されている印刷領域３０９のサイズは、各々異なる可能性がある。従って、本実施形態では、プリンター１５１内にユーザが手を挿入して、実際の爪の画像を確認しながら、印刷領域３０９のサイズ等を設定することで、爪の適切な位置にネイルアートを印刷することができる。尚、一度設定した印刷領域３０９は、後続の画像認識処理等において追従させてもよい。例えば、ユーザが印刷領域３０９を設定した後に、プリンター１５１内で指（または爪）の位置がずれた場合には、設定された印刷領域３０９の画像領域を追従して、自動的に印刷領域３０９が変わってもよい。

なお、図４に示すプレビュー領域３０７および印刷設定ボタン３０８が、図３に示した画面全体に重なって、もしくは図３に示した画面全体の代わりに表示されていたとする。この場合、図４に示す表示状態でユーザが終了の指示を行うことで、領域設定モードが終了し、図３に示す表示状態に移行する。

図３の印刷データ作成画面３０１における印刷ボタン３１０は、印刷開始を指示するボタンである。印刷ボタン３１０が押下されると、ネイルアプリは、爪に印刷するための印刷データを、印刷領域３０９に反映された設定データ表示領域３０２からユーザが選択した設定データに基づいて作成する。そして、ネイルアプリは、作成した印刷データをプリンター名表示領域３０５に表示されたプリンター１５１に送信する。尚、図３に示すケースでは、印刷データは、プレビュー領域３０７から４つの印刷領域３０９を抽出して作成される。プリンター１５１は、ネイルアプリから送られた印刷データに基づく爪への印刷を実行する。

＜情報処理装置の構成＞
図６は、前述した機能を実現するための情報処理装置１０１のソフトウエア構成を示す機能ブロック図である。情報処理装置１０１は、ネイルアプリ６００を有している。情報処理装置１０１のＣＰＵ１０３が、ＲＯＭ１０４または外部記憶装置１０６に記憶されているネイルアプリ６００のプログラムを実行することで、ＣＰＵ１０３にネイルアプリ６００の各機能を実行させることが可能となる。

ネイルアプリ６００は、表示制御部６１０を有する。表示制御部６１０は、図２に示すネイルアートデータ選択画面２０１、図５に示すネイル画像データ設定画面５０１、および図３に示す印刷データ作成画面３０１を含むＧＵＩ画面を、表示部１０８に表示させる機能を有する。また、表示制御部６１０は、入力インターフェース１０２の機能を有しており、ユーザから入力される操作指示に応じて各種の制御を行う。

表示制御部６１０は、ネイルアートデータ選択受付部６１１、ネイル画像データ設定部６１２、撮影指示部６１３、画像表示制御部６１４、爪検出部６１５、印刷領域設定部６１６、反映データ受付部６１７、反映実行部６１８、および印刷指示部６１９を有する。

ネイルアートデータ選択受付部６１１は、図２に示すように、ユーザからのネイルアートデータ２０３の選択を受け付け、選択されたネイルアートデータ２０３を取得する。ネイル画像データ設定部６１２は、図５で示すように、ユーザが左手プレビュー領域５０３および右手プレビュー領域５０４の爪領域５０８に設定したネイル画像データを取得する。撮影指示部６１３は、図３の撮影ボタン３０６の押下またはプリンター１５１が登録されている状態での印刷データ作成画面３０１への遷移を検出し、該検出に応じてプリンター１５１に動画の撮影を指示する。画像表示制御部６１４は、プリンター１５１から送信された動画等の画像データに基づくプレビュー領域３０７への表示を制御する。爪検出部６１５は、爪検出を行い、該爪検出の結果に基づく印刷領域３０９を出力する。印刷領域設定部６１６は、ユーザからの指示に従って、プレビュー領域３０７上に印刷領域３０９を設定する。反映データ受付部６１７は、設定データ表示領域３０２からユーザが選択した設定データを受け付け、該選択した設定データと印刷領域３０９との対応付けを行う。反映実行部６１８は、設定データ表示領域３０２からユーザが選択した設定データを、対応する印刷領域３０９に反映させる。印刷指示部６１９は、印刷領域３０９に反映された設定データに基づいてプリンター１５１が印刷するための印刷データを作成し、該作成した印刷データをプリンター１５１に送信する。

＜処理の流れ＞
図７は、本実施形態における処理の一例を示すシーケンス図である。図７のネイルアプリ６００の処理は、情報処理装置１０１のＣＰＵ１０３がＲＯＭ１０４または外部記憶装置１０６に記憶されているプログラムコードをＲＡＭ１０５に展開し実行することにより行われる。或いは、図７における一部または全部の処理をＡＳＩＣや電子回路などのハードウェアで実行してもよい。尚、以下の説明における記号「Ｓ」は、シーケンスにおける各ステップであることを意味する。以下、図７を用いて、ユーザがネイルアプリ６００を起動し、ネイルアプリ６００の制御の元、印刷対象挿入部１５８に挿入された爪にプリントエンジン１５５がネイルアートを印刷する流れを説明する。

まず、ユーザは、ネイルアプリ６００を起動する。Ｓ７０１において、表示制御部６１０は、図２に示すネイルアートデータ選択画面２０１を表示部１０８に表示させる。Ｓ７０２において、ユーザは、ネイルアートデータ選択画面２０１上で、印刷したい１または複数のネイルアートデータ２０３を選択する。ネイルアートデータ選択受付部６１１は、ネイルアートデータ選択画面２０１のネイルアートデータ表示領域２０２を介しての、ユーザによる１または複数のネイルアートデータ２０３の選択を受け付ける。ユーザが、１または複数のネイルアートデータ２０３を選択した後、決定ボタン２０４を押下した場合、表示制御部６１０は、該押下を検出し、図５に示すネイル画像データ設定画面５０１を表示部１０８に表示させる。

ネイル画像データ設定画面５０１のネイルアートデータ表示領域５０２には、Ｓ７０２でユーザが選択した１または複数のネイルアートデータ２０３が表示される。Ｓ７０３において、ユーザは、ネイルアートデータ表示領域５０２に表示されているネイルアートデータの中から１つのネイルアートデータを選択する。Ｓ７０４においてネイル画像データ設定部６１２は、爪領域５０８に対して、Ｓ７０３で選択されたネイルアートデータに含まれるネイル画像データを設定する。

その後、ユーザが設定完了ボタン５０７を押下した場合、表示制御部６１０は、該押下を検出し、図３に示す印刷データ作成画面３０１を表示部１０８に表示させる。

このときの印刷データ作成画面３０１の設定データ表示領域３０２には、Ｓ７０４で設定された１または複数のネイル画像データである設定データが表示されている。

プリンター１５１が登録されていない場合は、ネイルアプリ６００は、ネイルアプリ６００と通信可能なプリンターを検索する検索処理を実行する。この検索処理の実行後、表示制御部６１０は、検索結果として、ネイルアプリ６００と通信可能なプリンターのリストを表示部１０８に表示させる。プリンターのリストが表示部１０８に表示されると、Ｓ７０５において、ユーザは、リストの中から使用するプリンターを指定する。尚、ここでは、ユーザがプリンター１５１を指定したものとする。すると、表示制御部６１０は、ユーザによるプリンター１５１の指定指示を受け付ける。

Ｓ７０６において、撮影指示部６１３は、選択されたプリンター１５１に対する通信処理を実行し、プリンター１５１に対して、撮影部１５７による動画撮影を指示する。尚、Ｓ７０６において、撮影指示部６１３が、プリンター１５１に対してカメラ起動ジョブを送信し、プリンター１５１は、このカメラ起動ジョブの受信に応じて、撮影部１５７を起動して動画撮影を開始しても良い。

Ｓ７０７において、プリンター１５１は、撮影部１５７で撮影している動画を情報処理装置１０１に送信する。この動画は、図３に示す印刷データ作成画面３０１のプレビュー領域３０７に表示される。撮影部１５７で撮影された動画は、ほぼリアルタイムでプレビュー領域３０７に表示される。この時点では、プレビュー領域３０７に、印刷対象挿入部１５８に挿入されたユーザの指先を撮影した動画が表示されている状態となる。

Ｓ７０８において、ユーザは、設定データ表示領域３０２に表示されている設定データの中から、爪に印刷する設定データを１つ選択する。Ｓ７０９において、ネイルアートデータ選択受付部６１１は、ユーザによる１つの設定データの選択指示を受け付ける。表示制御部６１０は、ユーザによって選択された設定データをハイライト表示する。

Ｓ７１０において、ユーザは、印刷を行うプリンター１５１に設けられた印刷対象挿入部１５８にユーザの手を挿入する。このとき、Ｓ７０８で設定したネイル画像データをより精彩に印刷するために、予めユーザの爪にジェル状の液体を塗布しておく。以下、この液体をベースコートと呼ぶ。ベースコートの色は、複数存在し、例えば白、半透明等がある。また、画像表示制御部６１４は、Ｓ７０９の後のタイミングで、プリンター１５１の印刷対象挿入部１５８に手を挿入することをユーザに促すメッセージを表示しても良い。

Ｓ７１１において、ユーザは、Ｓ７０７で送信された動画がプレビュー領域３０７に表示されている状態において、印刷領域３０９を設定する。具体的には、ユーザは、印刷領域設定ボタン３０８を押下する。

尚、後述するＳ７１６の爪検出では、印刷領域設定ボタン３０８の押下に応じて、爪検出部６１５によって、プレビュー領域３０７上において印刷領域３０９を示す表示アイテムが自動で表示される。本実施形態では、設定可能な印刷領域３０９の数が予め所定値に規定されているものとし、例えば、図３に示すケースでは、片手の人差し指、中指、薬指、小指の爪の数に対応しているので、所定値は「４」として規定されている。この所定値は、印刷対象挿入部１５８に搭載されたレールの本数および設定データに含まれるネイル画像データの数に対応する。以下では、ユーザが、この所定値と同じ数の印刷領域３０９を設定する形態、つまり、４つの印刷領域３０９を設定する形態を例に挙げて説明する。ここで設定された印刷領域３０９の数は、第１の所定値としてＲＡＭ１０５に記憶される。つまり、本例では、第１の所定値は「４」である。

Ｓ７１２において、撮影指示部６１３は、プリンター１５１に対して静止画の撮影指示を送る。プリンター１５１に送る撮影指示には、撮影対象となる爪に対応するレール番号が含まれている。例えば４本のレールを左から１～４の番号とした場合、左手の小指を撮影する際は「１」、左手の人差し指を撮影する際は「４」、右手の人差し指を撮影する際は「１」、右手の小指を撮影する際は「４」の番号を送る。

Ｓ７１３において、プリンター１５１は、レールを昇降させて、爪がプリンター１５１の印刷ヘッドと近接する高さとなるように調整する。爪の高さを印刷ヘッドに近接する高さにすることで、インクジェットプリンターであれば印刷ヘッドから吐出されるインクが確実に爪に着弾できるようにする。高さ調整にはプリンター１５１に搭載された可動型のレーザーセンサーを用いる。レーザーセンサーを印刷ヘッドと近接した高さに設置し、レーザーが遮断されないぎりぎりの高さまで爪の高さを上げるようにする。爪の高さ調整では、爪のおおよその位置を把握した上でレーザーセンサーの可動範囲を爪の範囲に絞った方が指全体を可動範囲とするよりも効率的に高さ調整を行える。そのため、爪の高さ調整を行う前に事前に爪検出を行い、Ｓ７１２の撮影指示と合わせて爪の位置情報をネイルアプリ６００からプリンター１５１に送るようにするとよい。本実施形態では、このような事前の爪検出のことを「プレ爪検出」と呼ぶことにする。プレ爪検出を行う場合は、Ｓ７１２の前にネイルアプリ６００からプリンター１５１に撮影指示を送信する。尚、プレ爪検出では爪の高さ調整は行わないため、プレ爪検出のために送信する撮影指示には、前述したレール番号を含めなくてよい。撮影指示を受信したプリンター１５１は、撮影部１５７で静止画の撮影を行う。静止画の撮影が終了したら、プリンター１５１は撮影画像を情報処理装置１０１に送信する。ネイルアプリ６００は受信した撮影画像から爪を検出し、検出した全ての爪の位置を示す情報（爪位置情報とする）を保持しておく。そして、ネイルアプリ６００は、Ｓ７１２で撮影指示する際にレール番号と合わせて撮影対象の爪の爪位置情報をプリンター１５１に送信する。プリンター１５１は受信した爪位置情報を用いて、レーザーセンサーの可動範囲を絞って爪の高さを調整する。

爪の高さ調整が終了したら、Ｓ７１４において、撮影部１５７は、静止画の撮影を行う。撮影が終了したら全てのレールの高さを初期値に戻し、Ｓ７１５において、プリンター１５１は、情報処理装置１０１に撮影データを送信する。

Ｓ７１６において、ネイルアプリ６００は、受信した撮影画像から爪の領域を検出する。本ステップで検出した爪領域に対して、印刷データ作成画面３０１上の印刷領域３０９が設定される。爪検出の一手法として、爪に塗布したベースコートの白色を画像処理で検出する方法がある。具体的には、撮影画像における各画素のＲＧＢ値を用いて、画素値が所定の閾値（例えばＲ＞２００、Ｇ＞２００、Ｂ＞２００）を超える画素を検出し、該検出した画素を爪領域の画素と判定する。爪検出の際に指の下にあるレールを爪と誤検出しないように、レールは黒などの白以外の色にするとよい。またライトの反射で撮影画像が白飛びした部分を誤検知しないように、光が乱反射する素材でレールを構成するのが望ましい。また画像処理による検出ではベースコートが半透明の場合に検出が困難になるため、別の検出方法として機械学習を用いてもよい。機械学習で学習させる画像に、白や半透明のベースコートが塗布された爪を含んだ指画像を用いることで、白だけでなく半透明のベースコートであっても爪領域の検出が可能になる。機械学習では、用意した学習画像のどこに爪があるかを学習させていき、学習モデルを構築する。構築した学習モデルはネイルアプリ６００に組み込まれ、ＣＰＵ１０３やＧＰＵ１１０によって処理されて撮影画像から爪領域を検出するのに利用される。肌の色や爪の形は人によって異なるため、学習画像に多くの手のパターンを用意し学習させていくことで、あらゆるユーザの爪を検出できるようにする。機械学習には数多くのフレームワークが存在しており、既存のフレームワークを利用することで機械学習を実現することができる。

尚、Ｓ７１２からＳ７１６の処理は、撮影対象の爪の数だけ繰り返し行われる。例えば、左手の小指から人差し指の４つの爪が対象になる場合、指ごとに撮影～撮影データ送信～爪検出を繰り返し行う。この場合、撮影画像は合計４枚になるが、印刷領域設定部６１６が印刷領域３０９を設定する際は、各撮影画像から対象の爪が撮影された部分を切り出してプレビュー領域３０７に表示する。つまり、プレビュー領域３０７には４枚の撮影画像から切り出された４枚の指画像が並べられて表示され、各指画像の爪領域上に印刷領域３０９が設定される。

印刷領域設定部６１６によって印刷領域３０９が設定された後、Ｓ７１７において、反映データ受付部６１７は、設定データとして設定されているネイル画像データと、設定された印刷領域３０９との対応付けを行う。そして、反映実行部６１８は、この対応付けに基づいて印刷領域３０９に設定データを反映する。尚、図３に示すケースでは、設定データ３０２（ｃ）に含まれる４種類のネイル画像データのそれぞれと、設定された４つの印刷領域３０９のそれぞれとの間での対応付けが行われることになる。

Ｓ７１８において、ユーザは、必要に応じて印刷領域３０９の編集を行う。具体的には、印刷領域３０９のサイズ等を調整したり、印刷領域３０９を増加したりすることができる。ここで、印刷領域３０９の編集の一例として、印刷領域３０９を増加する形態について、図８を用いて説明する。

図８（ａ）は、ユーザの右手の人差し指、中指、薬指、小指の計４本の指に対して爪検出をおこなった結果、中指の爪を除く３つの爪しか検出できなかった場合を説明する図である。図８（ａ）では、撮影対象が４本の指のため爪検出を４回行い、撮影した画像から指ごとに切り出すことで、計４つの指画像をプレビュー領域３０７に表示している。

プレビュー領域３０７に含まれる指画像３０７（ａ）～（ｄ）のそれぞれにおいて、それぞれの指の画像が表示されている。つまり、指画像３０７（ａ）が人差し指、指画像３０７（ｂ）が中指、指画像３０７（ｃ）が薬指、指画像３０７（ｄ）が小指に対応する。但し、図８（ａ）に示すケースでは、中指の爪のみ検出できなかったため、指画像３０７（ｂ）において印刷領域３０９が設定されていない。

各印刷領域３０９に反映されている設定データ３０２（ｃ）に含まれるネイル画像データはそれぞれ、指を載せるレールの番号（レール番号）と対応付けされている。このため、設定データ３０２（ｃ）に含まれるネイル画像データのうち左から２番目のネイル画像データについては、中指に対応する指画像３０７（ｂ）に印刷領域３０９が設定されていないため、反映されていない。

ここで、設定データ３０２（ａ）～（ｄ）のそれぞれに含まれる４つのネイル画像データと、レール番号との対応付けのやり方について説明する。設定データ３０２（ａ）～（ｄ）のそれぞれに含まれるネイル画像データには左から順に１～４の識別番号が付与されている。例えば、設定データ３０２（ａ）や設定データ３０２（ｃ）のように、４つのネイル画像データ表示領域全てにネイル画像データが表示されている場合は勿論、左から順に１～４の識別番号が付与される。また、設定データ３０２（ｂ）や設定データ３０２（ｄ）のように、１つしかネイル画像データが表示されていない場合でも、ネイル画像データの有無に関係なく、左から順に１～４の識別番号が付与される。

また、指を載せるレールにも１～４のレール番号が付与されていて、このレール番号はネイル画像データの識別番号と対応付けされている。図８（ａ）では、選択されている設定データ３０２（ｃ）のネイル画像データは左から１～４の識別番号が付与されていて、指画像３０７（ａ）～（ｄ）にも左から１～４のレール番号が付与されている。ネイル画像データの識別番号１はレール番号１に対応し、ネイル画像データの識別番号２はレール番号２に対応し、ネイル画像データの識別番号３はレール番号３に対応し、ネイル画像データの識別番号４はレール番号４に対応する。このような対応付けを利用して、各指画像上にある印刷領域３０９にネイル画像データを反映する。

印刷領域３０９が表示されていない指画像３０７（ｂ）をユーザがタップすると、図８（ｂ）に示すように、タップした位置に仮の印刷領域８０１が表示される。この仮の印刷領域８０１の形状およびサイズは、人差し指、中指、薬指、小指と順番に爪検出をおこない、それぞれの爪検出結果から印刷領域３０９を作成したときに最後に作成した印刷領域３０９と同一とする。図８（ｂ）のケースでは、小指の爪を最後に検出したので、小指の印刷領域３０９と同一形状かつ同一サイズの領域を、仮の印刷領域８０１として使用し、指画像３０７（ｂ）のユーザがタップした位置に仮の印刷領域８０１を表示している。人間の爪の形は個人差があるため、印刷領域のテンプレートとして一律の形状のものを用意してもユーザの爪の形に合う可能性が低くなってしまう。一方、ある個人の複数の指間においては爪の形状にある程度共通性が見受けられる。そこで、本実施形態では、あるユーザのある指に対する爪検出結果を、同一ユーザの別の指の爪に対しても適用することで、ユーザの爪の形により合う仮の印刷領域を提供できるようにしている。

また、仮の印刷領域８０１に反映されているネイル画像データは、仮の爪領域８０１の元となる印刷領域３０９に反映されているネイル画像データではなく、本来適用されるはずであったネイル画像データが反映される。即ち、元となる印刷領域３０９の形状およびサイズは仮の印刷領域８０１に反映されるが、元となる印刷領域３０９内に印刷されるネイル画像データについては仮の印刷領域８０１に反映されない。具体的には、図８（ｂ）では、右手の人差し指から小指の４本の爪が印刷対象のため、設定データ３０２（ｃ）が選択的に設定されている。この場合、指画像３０７（ｂ）における仮の印刷領域８０１の形状およびサイズについては、小指の印刷領域３０９のものが反映される。但し、画像については、小指の印刷領域３０９に反映されているネイル画像データではなく、設定データ３０２（ｃ）内の識別番号２が付与されているネイル画像データ（左から２番目のネイル画像データ）が仮の印刷領域８０１に反映される。

また、ユーザがすでに印刷領域３０９が表示されている爪画像をタップしても、爪画像１つにつき印刷領域は１つしか表示されないため、仮の印刷領域８０１は表示されない。尚、図８（ａ）のケースでは、仮の印刷領域８０１の位置をユーザがタップした位置としているが、Ｓ７１７において、仮の印刷領域８０１の位置を自動で設定してもよい。例えば、設定される仮の印刷領域８０１の位置は、例えば指画像領域の上部１／３とする。このとき、編集の受付は反映データ受付部６１７が行い、編集した結果の反映は反映実行部６１８が行う。

Ｓ７１９において、ユーザは、印刷ボタン３１０を押下する。印刷ボタン３１０の押下に応じて、印刷指示部６１９は、設定データ表示領域３０２に表示されている設定データの中からユーザによって選択された設定データが印刷領域３０９に反映された画像を印刷するための印刷データを作成する。具体的な例を挙げて説明すると、ユーザは、印刷領域３０９に対して設定データ表示領域３０２に表示されている設定データの中からユーザが選択した設定データを反映し、表示内容を確認した後に、印刷ボタン３１０を押下する。印刷指示部６１９は、印刷ボタン３１０の押下に応じて印刷データを作成する。この際、ネイルアプリ６００は、「印刷対象挿入部１５８に挿入されている手を動かさないでください。」という主旨のメッセージを表示しても良い。

Ｓ７２０において、ネイルアプリ６００は、Ｓ７１９で作成された印刷データをプリンター１５１に送信する。なお、この印刷データには、図３に示す画面により設定された印刷領域３０９が反映されている。例えば、印刷データにおいて、爪に印刷される印刷対象の画像の位置及び大きさが、図３で設定された印刷領域３０９の位置及び大きさに対応する。そのため、後述するＳ７２２においてプリンター１５１により、指の中で、印刷領域３０９に対応する部分に印刷が実行される。

Ｓ７２１において、プリンター１５１は、Ｓ７１３でレールを昇降させた時と同じ高さにレールを昇降させる。これにより、爪の位置が印刷に適した位置に再度設定される。

Ｓ７２２において、プリンター１５１は、送信された印刷データに基づいて、印刷を行う。本ステップの結果、ネイル画像データにより表現されるネイルアートがユーザの爪に印刷されることになる。

Ｓ７２０からＳ７２２の処理は、印刷対象の爪の数だけ繰り返し行われる。例えば、左手の小指から人差し指の４つの爪が対象になる場合、指ごとに印刷データ送信と、印刷とを繰り返し行う。

尚、プリンター１５１は、印刷中も爪の撮影を継続しており、印刷が完了する前に手がプリンター１５１の印刷対象挿入部１５８から離れたことを検出した場合、印刷を停止しても構わない。また、印刷が完了する前に手がプリンター１５１の印刷対象挿入部１５８から離れたことをネイルアプリが検出して、ネイルアプリ６００がプリンター１５１に印刷の停止を指示しても構わない。

＜本実施形態の効果＞
以上説明したように、本実施形態によれば、ある指に対する爪領域検出に失敗した場合でも、爪領域検出に成功した別の指に対する結果を用いて印刷領域３０９を設定することができるため、印刷時間を短縮することができる。

［その他の実施形態］
尚、前述の実施形態では、爪領域の検出が失敗した指に対して、最後に爪検出が成功した指に対応する爪領域の形状等が反映されていた。しかし、本発明はこれに限らず、爪領域の検出が失敗した指の１つ前に撮影された指、もしくは１つ後に撮影された指の爪領域の形状等が反映されてもよい。例えば、ユーザが前述した４本のレールに指を置き、人差し指、中指、薬指、小指の順に撮影が行われたと仮定する。この場合、図８のケースでは、中指の爪領域として、人差し指または薬指の爪領域が適用される結果、中指の爪領域の形状およびサイズは、人差し指または薬指の爪領域の形状およびサイズと等しくなる。中指の実際の爪領域の形状およびサイズは、小指のものよりも薬指や人差し指のものに近いことが多い。そのため、図８で説明したように小指の爪領域が反映される場合に比べて、実際の爪領域の形状およびサイズに近い印刷領域を設定することができる。

また、爪領域の検出が失敗した指に対して、他の指の爪領域の形状を反映させる場合に、参照元である該他の指と、反映先である爪領域の検出が失敗した指とが考慮されて、爪領域の形状やサイズが編集されてもよい。このとき、ユーザが前述した４本のレールに指を置き、人差し指、中指、薬指、小指の順に撮影が行われたと仮定する。そして、例えば小指が参照元であり、中指が反映先の場合に、小指の爪領域が形状を維持したまま拡大されて、中指に反映されてもよい。或いは、中指が参照元であり、小指が反映先の場合に、中指の爪領域が縮小され、また縦長になるよう変形されて、小指に反映されてもよい。

また、前述の実施形態では、印刷対象挿入部１５８に片手の手を入れる形態のプリンター１５１を例に挙げて説明したが、本発明はこの形態に限られない。例えば、店舗等に設置されるようなプリンターで、印刷対象挿入部に両手を入れるようなものでもよい。この場合、ネイルアプリのＧＵＩ操作は、店員等が行えばよい。

また、前述の実施形態では、主に、ネイルアートとして画像（模様）を印刷する場合を例に挙げて説明したが、３次元構造物等を示す形状データと画像データとを用いて、模様を含む構造物をネイルアートとして形成するような形態でもよい。

また、前述の実施形態では、爪領域の検出に失敗した指画像をユーザが選択的にタップする形態を示したが、ネイルアプリ（例えば、印刷領域設定部６１６等）が該失敗した指画像があるか自動判定して、判定結果が真の場合に仮の印刷領域を設定してもよい。

また、前述の実施形態では、爪領域の検出に失敗した指に対応する仮の印刷領域として、爪領域の検出に成功した他の指に対応する印刷領域を利用する形態を示したが、本発明はこの形態に限られない。例えば、予め用意された複数の仮の印刷領域候補の中から１つをユーザが選択してもよい。この場合、ユーザは、１つの候補を選択し、仮の印刷領域を表示したい指画像を選択的にタップする。すると、ユーザ選択に応じた仮の印刷領域が、ユーザがタップした位置に表示される。

また、前述の実施形態では、手をプリンター１５１の印刷対象挿入部１５８に挿入し、爪に直接印刷する形態を説明したが、別の形態でも構わない。例えば、シール等の爪に装着するオブジェクトに対して印刷を行うプリンターを使って印刷する場合に、前述の実施形態の思想を適用できる。

また、前述の実施形態では、検出対象として手の爪を例に挙げて説明したが、検出対象として手の爪以外のものを採用できる。例えば、検出対象として顔や足の爪を採用できる。

また、前述の実施形態では、４枚の指画像において爪を検出する形態を示したが、２以上の任意の整数の何れかの枚数の指画像において爪を検出する形態であれば、本発明の思想を適用できる。

また、本発明は、検出対象に印刷することを前提とする必要はない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 情報処理装置
１５１ プリンター
６００ ネイルアプリ
６１０ 表示制御部
６１５ 爪検出部

Claims (13)

1. 情報処理装置を、
   第１オブジェクトを含む第２オブジェクトを撮影した撮影画像から、前記第１オブジェクトの領域を、前記第２オブジェクトごとに検出する検出手段と、
   画面に表示された前記撮影画像における、前記検出手段により検出された領域に対応する位置に、前記検出された領域を示す表示アイテムを表示する第１表示制御手段と、
   前記第１オブジェクトの領域検出に成功した前記第２オブジェクトと、前記第１オブジェクトの領域検出に失敗した前記第２オブジェクトがあった場合、前記画面に表示された前記失敗した第２オブジェクトの撮影画像において、前記成功した前記第２オブジェクトにおいて検出された前記第１オブジェクトの領域に基づいて作成される仮の領域を表示する第２表示制御手段と、
   として機能させるためのプログラム。
2. 前記仮の領域は、前記第１オブジェクトの領域検出に最後に成功した前記第２オブジェクトに対応する前記領域に基づいて作成され、該仮の領域の形状およびサイズは、該領域の形状およびサイズと同一である、
   ことを特徴とする請求項１に記載のプログラム。
3. 前記仮の領域は、前記失敗した前記第２オブジェクトの１つ前または１つ後に前記領域検出を行った前記第２オブジェクトに対応する前記領域に基づいて作成される、
   ことを特徴とする請求項１に記載のプログラム。
4. 前記第２表示制御手段は、ユーザが前記画面を介して前記失敗した前記第２オブジェクトを選択することに応じて、前記仮の領域を、該失敗した第２オブジェクトの画像上に表示する、
   ことを特徴とする請求項１乃至３の何れか１項に記載のプログラム。
5. 前記第２表示制御手段は、前記仮の領域を、前記画面におけるユーザが選択した位置に表示する、
   ことを特徴とする請求項１乃至４の何れか１項に記載のプログラム。
6. 前記領域検出に失敗した前記第２オブジェクトがあるか自動判定する判定手段をさらに有し、
   前記判定手段の判定結果が真の場合、前記第２表示制御手段は、前記仮の領域を、前記領域検出に失敗した前記第２オブジェクトの画像上に表示する、
   ことを特徴とする請求項１乃至４の何れか１項に記載のプログラム。
7. 前記仮の領域は、前記領域検出に成功した前記第２オブジェクトの画像上には表示されない、
   ことを特徴とする請求項１乃至６の何れか１項に記載のプログラム。
8. 前記第２表示制御手段により表示された前記検出された領域または前記仮の領域の位置およびサイズに基づいて、印刷対象の画像を、プリンターに前記第１オブジェクトに印刷させる請求項１乃至７のいずれか１項に記載のプログラム。
9. 情報処理装置を、
   撮影画像から、印刷対象である第１オブジェクトの領域を、該第１オブジェクトと異なる第２オブジェクトごとに検出する検出手段と、
   前記撮影画像を表示する画面において、前記第２オブジェクトの画像上に、前記検出された第１オブジェクトの領域に対して設定される印刷領域を表示する第１表示制御手段と、
   前記第１オブジェクトの領域検出に失敗した前記第２オブジェクトがあった場合、前記画面において、前記失敗した第２オブジェクトの画像上に、仮の印刷領域を表示する第２表示制御手段と、
   として機能させるためのプログラムであって、
   ユーザが、前記仮の印刷領域として、予め用意された複数の仮の印刷領域候補の中から１つを選択する、ことを特徴とするプログラム。
10. 前記第１オブジェクトは、ユーザの爪であり、
    前記第２オブジェクトは、前記ユーザの指である、
    ことを特徴とする請求項１乃至９の何れか１項に記載のプログラム。
11. 前記第２オブジェクトの数は、２以上の任意の整数の何れかである、
    ことを特徴とする請求項１乃至９の何れか１項に記載のプログラム。
12. 情報処理装置の制御方法であって、
    第１オブジェクトを含む第２オブジェクトを撮影した撮影画像から、前記第１オブジェクトの領域を、前記第２オブジェクトごとに検出するステップと、
    画面に表示された前記撮影画像における、前記検出するステップにより検出された領域に対応する位置に、前記検出された領域を示す表示アイテムを表示するステップと、
    前記第１オブジェクトの領域検出に成功した前記第２オブジェクトと、前記第１オブジェクトの領域検出に失敗した前記第２オブジェクトがあった場合、前記画面に表示された前記失敗した第２オブジェクトの撮影画像において、前記成功した前記第２オブジェクトにおいて検出された前記第１オブジェクトの領域に基づいて作成される仮の領域を表示するステップと、
    を有することを特徴とする制御方法。
13. 第１オブジェクトを含む第２オブジェクトを撮影した撮影画像から、前記第１オブジェクトの領域を、前記第２オブジェクトごとに検出する検出手段と、
    画面に表示された前記撮影画像における、前記検出手段により検出された領域に対応する位置に、前記検出された領域を示す表示アイテムを表示する第１表示制御手段と、
    前記第１オブジェクトの領域検出に成功した前記第２オブジェクトと、前記第１オブジェクトの領域検出に失敗した前記第２オブジェクトがあった場合、前記画面に表示された前記失敗した第２オブジェクトの撮影画像において、前記成功した前記第２オブジェクトにおいて検出された前記第１オブジェクトの領域に基づいて作成される仮の領域を表示する第２表示制御手段と、
    を有することを特徴とする情報処理装置。

Images