JP2023165553A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】画像内の領域に重複させる画像の視認性を向上させ、その領域の編集時のユーザビリティを改善させる。【解決手段】第１の画像上に第１の部分領域を設定する。第１の画像の第１の部分領域に第２の画像を重畳表示させる。第２の画像を重畳表示させる際の、第２の画像の透過度を設定する。第１の部分領域の輪郭を示す境界線の表示を制御する。第２の画像の透過度に応じて、境界線を表示させるか否かを制御する。【選択図】図８

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

近年、プリンタ（ネイルプリンタ）を用いて爪にネイルアートを印刷することが可能になっている。爪にネイルアートを印刷にするにあたり、爪の位置及び大きさに合わせて印刷領域を設定する必要がある。特許文献１には、自動で認識した爪の輪郭を表示し、修正を行った結果を認識結果に反映させて印刷の制御を行うネイルプリント装置が開示されている。

特開２０１５－０１３００２号公報

しかしながら、特許文献１に記載の技術では、実際に印刷されるネイルアートのプレビューが表示されず、修正途中での仕上がりの確認が難しい。

本発明は、画像内の領域に重複させる画像の視認性を向上させ、その領域の編集時のユーザビリティを改善させることを目的とする。

本発明の目的を達成するために、例えば、一実施形態に係る情報処理装置は以下の構成を備える。すなわち、第１の画像上に第１の部分領域を設定する第１の設定手段と、前記第１の画像の前記第１の部分領域に第２の画像を重畳表示させる第１の制御手段と、前記第２の画像を重畳表示させる際の、前記第２の画像の透過度を設定する第２の設定手段と、前記第１の部分領域の輪郭を示す境界線の表示を制御する第２の制御手段と、を備え、前記第２の制御手段は、前記第２の画像の透過度に応じて、前記境界線を表示させるか否かを制御することを特徴とする。

画像内の領域に重複させる画像の視認性を向上させ、その領域の編集時のユーザビリティを改善させる。

（ａ）情報処理装置とプリンタとのハードウェア構成を示すブロック図、（ｂ）挿入部を備えるプリンタの外観を示す概略図。 情報処理装置によるネイルアートデータの選択画面の一例を示す図。 情報処理装置による印刷データの作成画面の一例を示す図。 情報処理装置による印刷領域を設定するための画面の表示の一例を示す図。 情報処理装置によるネイル画像データの設定画面の一例を示す図。 情報処理装置の機能構成の一例を示すブロック図。 情報処理装置を含むシステムが行う情報処理のシーケンスの一例を示す図。 情報処理装置による印刷領域の編集画面の一例を示す図。 （ａ）爪画像にネイル画像データを重畳表示する例について説明するための図、（ｂ）編集画面をより広域の範囲とする操作について説明するための図。 情報処理装置による境界線の色の決定処理の一例を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［システム構成］
本実施形態に係るシステムは、情報処理装置と画像形成装置（プリンタ）とで構成される。本実施形態に係る情報処理装置はタブレット端末であるものとして説明を行う。しかしながら、例えばスマートフォンなどの携帯端末、ノートパソコン（ＰＣ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、又はデジタルカメラなど、以下に説明する処理が可能なのであれば特に情報処理装置の形態は限定はされない。また、本実施形態に係るプリンタとしては、インクジェットプリンタ若しくは３Ｄプリンタ、又はこれらのうちのいずれかを備えるメイルプリンタなど、画像の形成が可能であれば任意の画像形成装置を用いることが可能である。

図１は、本実施形態に係る情報処理装置１０１とプリンタ１５１とを含むシステムのハードウェア構成の一例を示す図である。本実施形態においては、情報処理装置１０１とプリンタ１５１とが別体の装置であるものとして説明を行うが、例えばプリンタ１５１が情報処理装置１０１と同様の処理が可能であるなど、単一の装置として実装されても構わない。

［情報処理装置］
情報処理装置１０１は、入力インターフェース（Ｉ／Ｆ）１０２、ＣＰＵ１０３、ＲＯＭ１０４、ＲＡＭ１０５、外部記憶装置１０６、出力Ｉ／Ｆ１０７、表示部１０８、通信部１０９、及びＧＰＵ１１０を備える。情報処理装置１０１の有する各機能部は、システムバスを介して情報の送受信可能に接続されている。

入力Ｉ／Ｆ１０２は、ユーザからのデータ入力又は操作指示などを受け付けるためのメインインターフェースであり、例えばキーボード及びマウス、ボタン、又はタッチパネルなどの操作部（不図示）を介してユーザ入力を取得する。本実施形態に係る入力Ｉ／Ｆ１０２は、後述する表示部１０８と少なくとも一部が共通の機能を有しており、情報処理結果の画面の出力と、ユーザ入力の受付と、を同一の画面上で行うように実装される。

ＣＰＵ１０３は、システム制御部であり、プログラムの実行及びハードウェアの起動など、情報処理装置１０１の全体の動作の制御を行う。ＲＯＭ１０４は、ＣＰＵ１０３が実行する制御プログラム、データテーブル、組み込みオペレーションシステム（ＯＳ）、及び各種プログラムなどのデータを格納するメモリである。本実施形態においては、ＣＰＵ１０３は、ＲＯＭ１０４に格納されている制御プログラムを読み出して、組み込みＯＳの管理下で、例えばスケジューリング、タスクスイッチ、及び割り込み処理などのソフトウェア実行制御を行う。

ＲＡＭ１０５は、ＤＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などで構成されるメモリである。ＲＡＭ１０５は、データを格納する際に、データバックアップ用のバックアップバッテリ（例えば、一次電池）を使用してもよい。その場合、ＲＡＭ１０５は、プログラム制御変数などのデータを揮発させずに格納することができる。ＲＡＭ１０５は、情報処理装置１０１の設定情報及び管理データなどを格納するメモリエリア、又はＣＰＵ１０３の主メモリ及びワークメモリとして機能してもよい。

外部記憶装置１０６は、印刷実行機能を提供するアプリケーション、及びプリンタ１５１が解釈可能な印刷情報を生成する印刷情報生成プログラムなどを格納する。また、外部記憶装置１０６は、通信部１０９を介して接続しているプリンタ１５１との間で情報を送受信する情報送受信制御プログラムなどの各種プログラム、及びこれらのプログラムにより用いられる各種情報を格納する。

出力Ｉ／Ｆ１０７は、情報処理の結果などの各種出力を行うインターフェースである。出力Ｉ／Ｆ１０７は、情報処理装置１０１の処理結果又は状態の通知を、表示部１０８を介して行う。表示部１０８は、例えばＬＥＤ（発光ダイオード）又はＬＣＤ（液晶ディスプレイ）であり、情報処理装置１０１の処理結果又は状態の通知を表示する。本実施形態においては、表示部１０８は情報処理装置１０１の外部のディスプレイであるものとするが、情報処理装置１０１が備える出力Ｉ／Ｆ１０７が表示機能を備え、表示部１０８として動作してもよい。また、表示部１０８が、例えばソフトキーボードなどの入力部を備えることにより、ユーザからの入力を受け付けてもよい。ここで、ソフトキーボードは、例えば数値入力キー、モード設定キー、決定キー、取り消しキー、電源キーなどであってもよい。

通信部１０９は、プリンタ１５１などの外部装置と接続してデータ通信を実行する。通信部１０９は、例えばアクセスポイント１３１に接続可能であり、プリンタ１５１と相互に情報の送受信を行う。通信部１０９は、プリンタ１５１と無線で接続していてもよく、ＵＳＢケーブルなどを用いて有線で接続していてもよい。無線の通信の方式としては、例えばＷｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）（登録商標）又は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などが用いられてもよい。また、アクセスポイント１３１は、プリンタ１５１が有していてもよく、例えば無線ＬＡＮルーターなどの機器であってもよい。

ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１０は、ＣＰＵ１０３と協働して情報処理装置１０１の動作の制御を行う。ＧＰＵ１１０は、例えばディープラーニングなどの学習モデルに関する処理を行うことができる。ＣＰＵ１０３よりもより多くの並列処理が可能であるＧＰＵ１１０を用いることで、行列演算を行うディープラーニングにおけるトレーニングの期間などを短縮することが可能となる。本実施形態においては、ＧＰＵ１１０は学習モデルを含む学習プログラムを行う際にＣＰＵ１０３と協働して処理を行い、その他の処理はＣＰＵ１０３が行うものとして説明を行う。しかしながら、例えばＣＰＵ１０３又はＧＰＵ１１０のいずれか一方が全ての処理を行ってもよく、またＧＰＵ１１０が学習とは異なる処理を行ってもよい。

本実施形態に係る情報処理装置１０１は、ＲＯＭ１０４又は外部記憶装置１０６などに所定のアプリケーションを格納しているものとする。ここで、所定のアプリケーションとは、例えばユーザからの操作に応じて、ネイルアートデータを印刷させるための印刷ジョブを情報処理装置１０１からプリンタ１５１に送信させるためのアプリケーションプログラムを含む。このような処理を実行させるアプリケーションを、以下ではネイルアプリと呼ぶものとする。本実施形態に係るネイルアプリは、プリンタ１５１の撮像部１５７のカメラを起動する機能を備えていてもよい。すなわち、ネイルアプリは、印刷ジョブに加え、カメラ起動ジョブをプリンタ１５１に送信する処理を実行可能であってもよい。なお、所定のアプリケーションはネイルアプリには限定されず、印刷以外の機能を実行する任意のアプリケーションプログラムを含んでいてもよい。

［プリンタ］
本実施形態に係るプリンタ１５１は、ＲＯＭ１５２、ＲＡＭ１５３、ＣＰＵ１５４、プリントエンジン１５５、通信部１５６、及び撮像部１５７を備えている。プリンタ１５１の有する各機能部は、システムバスを介して情報の送受信可能に接続されている。

図１（ｂ）は、爪にネイルアートの印刷を行うプリンタ１５１の外観を示す概略図である。図１（ｂ）の例では、プリンタ１５１は、印刷対象（例えば、ネイルプリントを行う爪）を挿入するための空間である挿入部１５８を備えており、ユーザの手が挿入部１５８に挿入されている。このように、本実施形態においては挿入部１５８に挿入されるものは人間の手が想定されており、印刷対象としては爪が想定されている。なお、本実施形態に係るプリンタ１５１は手の爪にネイルアートの印刷を行うものとして以下の説明を行うが、例えば足の爪などに対しても同様に印刷処理を行うことが可能である。

挿入部１５８は、指を乗せるためのレールを４つ備えており、１～４本の指を挿入することが可能である。また、挿入部１５８の有するレールはそれぞれが独立して可動であり、各レールを昇降させることで爪の高さを印刷に最適な高さに調整することができてもよい。このようなプリンタ１５１が行う各動作は、ネイルアプリによる情報処理装置１０１からの指示で実行され、ネイルアプリで指定されたレール番号に基づいて対象のレールの昇降動作が行われる。

ＲＯＭ１５２は、ＣＰＵ１５４が実行する制御プログラム、データテーブル、及びＯＳなどの各種データを格納するメモリである。本実施形態においては、ＣＰＵ１５４は、ＲＯＭ１５２に格納されている制御プログラムを読み出して、組み込みＯＳの管理下で、例えばスケジューリング、タスクスイッチ、及び割り込み処理などのソフトウェア実行制御を行う。

ＲＡＭ１５３は、ＤＲＡＭ又はＤＲＡＭなどで構成されるメモリである。ＲＡＭ１５３は、データを格納する際に、データバックアップ用のバックアップバッテリ（例えば、一次電池）を使用してもよい。その場合、ＲＡＭ１５３は、プログラム制御変数などのデータを揮発させずに格納することができる。ＲＡＭ１５３は、情報処理装置１０１の設定情報及び管理データなどを格納するメモリエリア、又はＣＰＵ１５４の主メモリ及びワークメモリとして機能してもよい。またＲＡＭ１５３は、情報処理装置１０１から受信した印刷情報、及びその他の各種情報を一時的に保存することも可能である。

ＣＰＵ１５４は、システム制御部であり、プログラムの実行及びハードウェアの起動など、プリンタ１５１の全体の動作の制御を行う。プリンタエンジン１５５は、ＲＡＭ１５３に格納された情報又は情報処理装置１０１から受信した印刷ジョブに基づいて、インクなどの記録材を用いて、挿入部１５８に挿入されている爪などの被記録媒体上に画像を形成する。

通信部１５６は、アクセスポイント１３１を介して、情報処理装置１０１などの外部装置との接続を行う。通信部１５６は、情報処理装置１０１との通信を、プリンタの備えるアクセスポイントにより行ってもよく、プリンタ１５１外部のアクセスポイントにより行ってもよい。通信部１５６は、アクセスポイントとして機能するハードウェアを備えていてもよく、外部のハードウェアをアクセスポイントとして機能させるためのソフトウェアを備えていてもよい。

撮像部１５７は、撮像画像を取得する。本実施形態に係る撮像部１５７は、プリンタ１５１に付属及び設置されている。撮像部１５７は、少なくともレンズ及びイメージセンサにより構成される、撮像機能を備えたカメラモジュールであるものとするが、例えば外部の装置により撮像される撮像画像を取得してもよい。ここで、レンズは、挿入部１５８に挿入される印刷対象を写してイメージセンサ上に結像する。イメージセンサは、レンズが写した光をＣＰＵ１５４により処理可能な電気信号（画像データ）に変換する。本実施形態に係る撮像部１５７は、挿入部１５８に挿入される印刷対象（爪）を含む所定の領域を撮像し、撮像した画像（静止画、又は動画）をリアルタイムに情報処理装置１０１に送信することができる。撮像部１５７は、同様の処理を行うことが可能であれば、例えばスマートフォンを含む携帯端末、又はデジタルカメラを用いて撮像を行ってもよい。プリントエンジン１５５は、挿入部１５８に挿入された印刷対象に対して印刷を行う。

なお、プリンタ１５１は外付けＨＤＤ又はＳＤカードなどの外部記憶装置を備えていてもよく、その場合、プリンタ１５１に格納される情報の一部又は全てを外部記憶装置に格納することが可能となる。

本実施形態においては、プリンタ１５１は、爪にネイルアートを印刷する。また、本実施形態では、挿入部１５８に片手が挿入され、その手の各爪にネイルアートが施される（印刷される）。ここで、一度に印刷されるネイルアートは、一般的には同一のコンセプトを有するが、全ての爪で共通である必要はなく、爪それぞれにおいて異なったネイルアートが印刷されてもよい。例えば、あるデザイン（デザインＡとする）は、指１０本にそれぞれ対応する、相互に共通するデザインコンセプトの１０個のネイルアートのデザインを含むが、このデザインが爪ごとに異なっていてもよい。

本実施形態においては、情報処理装置１０１は、図６に示されるように、選択受付部６０１、データ設定部６０２、撮像指示部６０３、表示制御部６０４、検出部６０５、印刷領域設定部６０６、受付部６０７、反映部６０８、及び印刷指示部６０９を備える。図６は、本実施形態に係る情報処理装置１０１の機能構成の一例を示すブロック図であるが、これらについての詳細な説明は後述する。

［用語の定義］
以下、本実施形態において使用される用語について説明する。以下において、「ネイル画像データ」は１つの爪に施されるネイルアートの画像データを指す。「ネイルアートデータ」は、複数のネイル画像データの集合の画像データ（つまり、複数のネイル画像データのセット）である。本実施形態に係るネイルアートデータは、１０本分（１０個）のネイル画像データのセットであってもよく、１０本分のネイル画像データを１つの画像データに合成したものであってもよい。

［基本的なネイルアートの印刷処理の概要］
本実施形態に係るＣＰＵ１０３は、ＲＯＭ１０４又は外部記憶装置１０６に格納されているネイルアプリのプログラムを実行する。次いでＣＰＵ１５４は、ネイルアプリの処理として、ユーザが選択したネイル画像データを、画像上の部分領域（ここでは、爪に対応する領域）に反映して、挿入部１５８に挿入されている部分領域に対応する箇所に印刷を行う。本実施形態において、ネイルアプリの実行時の手順及び動作は、基本的には以下の（１）～（８）のように行われる。各処理について、詳細な説明は後述する。
（１）ユーザが、アプリケーション上で、印刷に用いるネイルアートデータを設定する。本実施形態においては、図２に示されるようなユーザインターフェース（ＵＩ）画面上でユーザがネイルアートデータを選択するものとする。
（２）アプリケーションにより、ＣＰＵ１５４が、撮像部１５７のカメラを起動する。
（３）表示制御部６０４は、撮像部１５７が撮像した画像データを取得し、表示画像としてユーザに表示する。
（４）ユーザがプリンタ１５１の挿入部１５８に手を挿入する。
（５）爪検出部６０５が、画像データから部分領域（爪の領域）を検出し、その領域を印刷領域設定部６０６がネイルアートを印刷する領域として設定する。以下、このように設定される、画像上のネイルアートを印刷する領域を、印刷領域と呼ぶものとする。
（６）表示制御部６０４は、表示画像に設定した印刷領域上に、（（１）で）ユーザが選択したネイルアートデータに含まれるネイル画像データを重畳表示させる。
（７）（６）ネイル画像データを表示させた印刷領域について、受付部６０７がユーザによる編集を受け付けている場合には、反映部６０８がその編集を反映させる。
（８）印刷指示部６０９は、設定された内容に応じたネイルアートの印刷をプリンタ１５１に実行させる。

［ネイルアプリのインターフェース］
まず、ネイルアプリの実行時に情報処理装置１０１が表示するＵＩ画面について説明を行う。以下において説明するＵＩ画面は、ネイルアプリを実行するＣＰＵ１０３により、表示部１０８に表示される画面である。また、ここでの入力Ｉ／Ｆ１０２は、表示部１０８と一体となった操作部として機能するものとして説明を行う。

本実施形態に係るネイルアプリのＵＩ画面は４種類に分類される。第１のＵＩ画面は、図２に示すネイルアートデータの選択画面である。第２のＵＩ画面は、図５に示すネイル画像データの設定画面である。第３のＵＩ画面は、図３に示す印刷データの作成画面である。第４のＵＩ画面は、図８に示す印刷領域の編集画面である。以下、各図面を参照して、ネイルアプリのＵＩ画面について説明する。

図２は、ネイルアートデータの選択画面の一例を表す図である。図２に示される選択画面２０１には、ネイルアートデータを表示する表示領域２０２と、ネイルアートデータの選択を決定する決定ボタン２０４とが表示されている。表示領域２０２には、各爪に印刷するネイルアートのデザインコンセプトに対応したネイルアートデータ２０３が複数表示されている。ここでは、表示領域２０２上には、予め設定されている複数のネイルアートが一覧で表示されているものとするが、例えばユーザによる設定に応じてネイルアートの追加が可能であってもよい。

図２の例では、表示領域２０２に４つのネイルアートデータ２０３が表示されており、１つのネイルアートデータ２０３には親指、人差し指、中指、薬指、及び小指に対応する５種類（左右で１０種類）のネイル画像データが表示されている。ユーザは、表示領域２０２に表示されるネイルアートデータ２０３のうち、１つ又は複数を選択（若しくは選択を解除）することができる。選択する方法は特に限定されないが、例えばネイルアートデータ２０３上でタップ操作が行われた場合に選択（又は選択を解除）が行われてもよく、クリック操作、又は方向指示ボタンなどを用いた操作による選択がなされてもよい。選択済みのネイルアートデータ２０３が再び選択された場合には、選択が解除されるものとする。なお、ここでネイル画像データは、爪に印刷するための画像データであり、基本的には左右の手の計１０個分がネイルアートデータ２０３に含まれている。

決定ボタン２０４は、表示領域２０２に表示されているネイルアートデータ２０３のうち、印刷に用いるネイルアートデータの候補を決定するためのボタンである。ＣＰＵ１０３は、決定ボタン２０４が押下された場合に、その時点で選択されているネイルアートデータ２０３を、印刷に用いるネイルアートデータの候補として決定する。次いでＣＰＵ１０３は、表示部１０８の表示を、図５に示されるようなネイル画像データの設定画面５０１へと遷移させる。

図５は、ネイル画像データの設定画面の一例を表す図である。図５に示す設定画面５０１には、ネイルアートデータの表示領域５０２、サンプルのプレビュー領域５０３（左手）及び５０４（右手）、選択モードの切替ボタン５０５、選択の解除ボタン５０６、並びに設定の完了ボタン５０７が表示されている。表示領域５０２は、ユーザが選択画面２０１で選択したネイルアートデータ２０３を表示する領域である。以下、単に「プレビュー領域」という場合は、プレビュー領域５０３及び５０４を区別せずに呼ぶ場合であるものとする。

プレビュー領域５０３及び５０４は、それぞれ右手と左手との親指から小指までの５つずつの爪領域５０８を表示している。ここでは、ユーザによる表示領域５０２からネイルアートデータ又はネイル画像データを選択することにより、プレビュー領域５０３及び５０４に表示される爪領域に重畳表示するネイル画像データが選択され、選択の結果がプレビュー領域内に反映される。なお、プレビュー領域に表示される手及び爪の画像は予め用意された画像であるものとするが、例えば撮像部１５７により撮像された手（指）の画像がプレビュー領域に表示され、検出される爪領域にネイル画像データが重畳表示されてもよい。

切替ボタン５０５は、押下された場合に、ネイルアートデータ又はネイル画像データを選択する際の選択モードを切り替えるボタンである。ここでは、切替ボタン５０５を押下することで、一括選択モードと、通常モードと、の間で切り替えが行われる。一括選択モードでは、選択されたネイルアートデータが一括で爪領域５０８に反映され、通常モードでは、ネイル画像データごとに選択され爪領域ごとに反映が行われる。

解除ボタン５０６は、ネイルアートデータ又はネイル画像データの選択を解除するためのボタンであり、本実施形態においては爪領域５０８のいずれか１つにでもネイル画像データが重畳表示されている場合に押下が可能となる。解除ボタン５０６が押下されると、反映されている全てのネイル画像データの重畳表示が解除される。

完了ボタン５０７は、表示領域５０２に表示されているネイルアートデータ及びネイル画像データのうち、印刷に用いるネイルアートデータを決定するためのボタンである。ＣＰＵ１０３は、完了ボタン５０７が押下された場合に、その時点で選択されているネイルアートデータ及びネイル画像データを、印刷に用いるネイルアートデータとして決定する。次いでＣＰＵ１０３は、表示部１０８の表示を、図３に示されるような印刷データの作成画面３０１へと遷移させる。

図３は、印刷データの作成画面の一例を表す図である。図３に示す作成画面３０１には、設定データの表示領域３０２、印刷対象の表示領域３０３、検索ボタン３０４、プリンタ名の表示領域３０５、撮像ボタン３０６、プレビュー領域３０７、部分領域の設定ボタン３０８、及び開始ボタン３１０が表示されている。プレビュー領域３０７は、プリンタ１５１の撮像部１５７で撮像された指及び爪の画像が表示される領域であり、後述する部分領域である印刷領域３０９を含んでいる。

表示領域３０２は、図５に示す設定画面５０１で印刷に用いるネイルアートデータとして設定したネイル画像データを表示する領域である。図３の例では、表示領域３０２は、ネイル画像データを、左手及び右手の各指について、何種類かに分類して表示を行うことが可能である。ここでは、表示領域３０２は、「左手の人差し指、中指、薬指、及び小指」、「左手の親指」、「右手の人差し指、中指、薬指、及び小指」、並びに「右手の親指」など、最大４種類の設定に分類して表示を行ってもよい。図３の例では、表示領域３０２は、設定データ３０２（ａ）～（ｄ）の４つの分類により、左手及び右手の全ての爪にネイル画像データが設定されていた場合の、それぞれのネイル画像データを表示している。図３の例では、３０２（ａ）は「左手の人差し指、中指、薬指、及び小指」に対応し、３０２（ｂ）は「左手の親指」に対応し、３０２（ｃ）は「右手の人差し指、中指、薬指、及び小指」に対応し、３０２（ｄ）は「右手の親指」に対応する。ここで同時に表示（及び、後続の印刷領域の設定）が行えるネイル画像データは最大４種類であるものとするが、この数は特に限定はされず、１つずつ処理を行ってもよく、左右の爪１０つに同時に処理が行えてもよい。本実施形態においては、挿入部に挿入できる（印刷が行える）レールの数が４つであることが想定されているため、最大で同時に４種類の設定が行われる。

表示領域３０３は、表示領域３０２に表示されている設定のネイル画像データがどの爪に対応するのかを表示するための領域である。図３では、表示領域３０３は、設定データ３０２（ａ）～（ｄ）にそれぞれ対応するアイコン３０３（ａ）～（ｄ）を表示している。本実施形態においては、表示領域３０２又は表示領域３０３に表示されるいずれかの設定データをユーザが選択した場合に、選択した爪に対応する印刷領域の撮像画像が、プレビュー領域３０７に表示される。

検索ボタン３０４は、ネイルアプリにより情報処理装置１０１と通信可能なプリンタ１５１を検索するためのボタンである。検索ボタン３０４が押下された場合、ＣＰＵ１０３は、通信可能なプリンタ１５１を検索し、発見したプリンタ１５１を特定する情報を表示部１０８に表示する。ここでは、発見したプリンタがリスト表示されるものとする。表示されたプリンタのうち、ユーザが選択したプリンタを特定する情報が、表示領域３０５に表示される。このプリンタのリスト表示は、検索ボタン３０４が押下された場合になされるものとするが、例えば作成画面３０１に遷移した際にプリンタ１５１が未登録の状態である場合に、自動で通信可能なプリンタが検索され、次いでその検索結果のリスト表示が行われてもよい。

撮像ボタン３０６は、プリンタ１５１の撮像部１５７により撮像される画像を取得し、取得した画像をプレビュー領域３０７に表示するためのボタンである。撮像部１５７は、撮像ボタン３０６の押下に応じた指示に従って撮像を開始してもよく、撮像は常に行っており、当該指示を受信したことに応じて撮像画像を情報処理装置１０１に送信してもよい。本実施形態においては、挿入部１５８に片手を挿入することを想定しており、挿入していない方の手（又は異なるユーザの手）で撮像ボタン３０６を押下することで、爪を含むユーザの手先の画像がプレビュー領域３０７にリアルタイムに表示される。

プレビュー領域３０７は、上述のように撮像部による撮像画像を表示するための領域である。本実施形態においては、プレビュー領域３０７は撮像ボタン３０６が押下された場合に撮像画像を表示するものとするが、例えばプリンタ１５１が登録されている状態で画面が表示画面３０１に移行した場合などには自動で撮像画像を表示するようにしてもよい。この場合、ＣＰＵ１０３は、ネイルアプリにより作成画面３０１への遷移時にプリンタ１５１と通信し、撮像部１５７での撮像画像を取得することができる。

設定ボタン３０８は、プレビュー領域に画像が表示されている場合に、印刷領域３０９を設定する領域設定モードに移行するためのボタンである。開始ボタン３１０は、設定された印刷領域に基づいて印刷を行う指示をプリンタ１５１に送信するためのボタンである。以下、図４及び図８を参照して印刷領域３０９について説明を行う。

図４は、ネイルアプリのモードを印刷領域３０９を設定するための領域設定モードに遷移した場合の、プレビュー領域３０７の表示の一例である。ＣＰＵ１０３は、画像から部分領域として爪領域を検出し、印刷領域３０９として設定する。本実施形態においては、ＣＰＵ１０１は、爪を含む画像を入力として爪領域を検出するよう予め機械学習で生成した学習モデルを用いて爪領域を検出するものとするが、爪領域を設定可能であれば異なる方法により印刷領域３０９が設定されてもよい。ここでは、爪の検出は指ごとに行われ、例えば４本の指の爪検出を行う場合には検出処理も４回行われる。印刷領域３０９はプレビュー領域３０７上に表示され、ここではバウンディングボックスとして表示されている。

印刷領域３０９は、プリンタ１５１によりネイルアートの印刷を行う範囲を示す領域である。印刷領域３０９に、印刷を行うネイルアートの画像（例えば、ネイル画像データ）を重畳表示させることにより、実際にどのように印刷が行われるかの確認をプレビュー領域３０７上で行うことができるようになる。

印刷領域３０９は、ユーザにより編集が可能であってもよい。ユーザがネイルアートを施したい爪は、全ての指の爪である場合もあれば、一部の指の爪である場合もある。そのような観点から、本実施形態に係るＣＰＵ１０３は、印刷領域３０９を追加又は削除することが可能である。また、本実施形態においては、画像を重畳表示する印刷領域として爪領域が想定されており、各々の爪の大きさは異なることが考えられる。したがって、印刷領域３０９は、ユーザの入力に応じて大きさが可変であってもよい。このような構成によれば、ユーザは、印刷される爪の画像を確認しながら印刷領域の設定を行うことが可能となる。

本実施形態においては、印刷領域３０９の位置は一度設定されてからは固定であるものとして説明を行うが、この位置が移動可能であってもよい。例えば、ＣＰＵ１０３は、画像認識処理により爪の位置の移動を検出したことに応じて追従するように印刷領域３０９を移動させてもよく、ユーザ入力に応じて印刷領域３０９を移動させてもよい。

［印刷領域の編集］
本実施形態に係るＣＰＵ１０３は、印刷領域３０９に重畳表示させる際のネイル画像データの透明度を設定する。重畳させるネイル画像データを透過させ、印刷領域３０９の編集の際にネイルアートと印刷される領域とを同時に確認できるようにすることで、ネイルアートの仕上がりを確認しながらの編集をより容易にすることができる。

ネイル画像データを透過させる場合、印刷領域の編集中にネイル画像データと印刷される領域とを同時に確認できるようになるが、例えばネイルアートの色合いなどによっては、印刷領域と実際の爪の領域との境界が不明瞭になってしまうことがある。印刷領域の境界線を強調表示することによりこの問題は解消するが、今度は境界線の表示によりネイルアートの仕上がりがわかりづらくなってしまうことが考えられる。そのような観点から、ＣＰＵ１０３は、印刷領域３０９の輪郭を示す境界線の表示を制御する。ここで、ＣＰＵ１０３は、ネイル画像データの透過度に応じて、印刷領域３０９の境界線を表示させるか否かを制御する。例えばＣＰＵ１０３は、ネイル画像データを透過させていない場合には印刷領域３０９の境界線を表示させ、ネイル画像データを透過させている場合には当該境界線を表示させてもよい。このような構成によれば、ネイル画像データを透過させる場合であっても、印刷領域の境界線の表示を制御し、ネイルアートの仕上がりの視認性を向上させることが可能となる。

図８は、印刷領域を編集する編集画面の一例を示す図である。編集画面８０１には、拡大編集領域８０２、印刷領域３０９、スイッチ８０３、スイッチ８０４、スライダ８０５、戻るボタン８０６、回転アイコン８０７、移動アイコン８０８、ガイド８０９、及び境界線８１０が表示されている。

本実施形態においては、図４に示される領域設定モードで、ユーザにより印刷領域３０９のうちのいずれか１つが選択された状態で編集ボタン４０１が押下された場合に、ＵＩ画面が編集画面８０１へと遷移する。拡大編集領域８０２は、ユーザが編集ボタン４０１を押下した際に選択されていた印刷領域３０９を編集するための、プレビュー領域３０７の一部を拡大した画面である。拡大編集領域８０２は、ユーザが選択した印刷領域３０９に対応する爪を拡大して表示した領域である。ここで、印刷領域３０９は、ガイド８０９と一定の位置関係を維持して表示される。

ここでは、拡大編集領域８０２は、選択されている印刷領域３０９を中心として、拡大編集領域８０２とガイド８０９との上辺、右辺、左辺、及び下辺それぞれの間の長さが等しくなるように表示されている。本実施形態においては、拡大編集領域８０２はスクロールが可能であり、ユーザによる表示部１０８上でのスライド移動に応じて任意の方向に表示のスクロール移動が行われる。また、例えばユーザによるピンチイン／アウト操作により、拡大編集領域８０２におけるプレビュー領域３０７からの拡大倍率の変更が行われてもよい。

回転アイコン８０７は、印刷領域３０９の向きを編集する（回転させる）ためのアイコンである。図８の例では、回転アイコン８０７に対するドラッグ操作に応じて、印刷領域３０９が回転してもよい。移動アイコン８０８は、印刷領域３０９の位置を編集する（移動させる）ためのアイコンである。図８の例では、移動アイコン８０８に対するドラッグ操作に応じて、印刷領域３０９が移動してもよい。ここでは、印刷領域３０９が移動する際、その移動は拡大編集領域８０２内に限られるものとするが、例えばドラッグ移動が拡大編集領域８０２の端に到達した場合には拡大編集領域８０２がスクロール移動するなど、所定の表示動作が行われてもよい。また、例えばピンチイン／アウト操作により、印刷領域３０９のアスペクト比が編集可能であってもよい。

スイッチ８０３は、拡大編集領域８０２において印刷領域３０９に重畳表示するネイル画像データの表示方法を切り替えるスイッチである。スイッチ８０３がＯＮの場合には、ネイル画像データは、そのアスペクト比は維持されず、印刷領域３０９のアスペクト比に合わせて重畳表示される。スイッチ８０３がＯＦＦの場合には、ネイル画像データは、そのアスペクト比を維持したまま重畳表示される。

図９（ａ）は、スイッチ８０３がＯＦＦである場合のネイル画像データの印刷領域３０９への重畳表示について説明するための図である。ここでは、印刷領域３０９の輪郭が境界線８１０として点線で示されているが、ネイル画像データは印刷領域３０９からはみ出すように表示されている。ここでは、拡大編集領域８０２においては、印刷領域３０９の範囲外のネイル画像データも表示されているものとするが、ネイル画像データのうち、印刷領域３０９と重複する部分のみが表示される態様でも構わない。本実施形態においては、プレビュー領域３０７においては、ネイル画像データのうち印刷領域３０９と重複する部分のみが表示されている。ネイルアートの印刷を行う際には、印刷領域３０９の範囲外のネイル画像データについては印刷は行われない。

スイッチ８０４は、プレビュー領域３０７に対する拡大編集領域８０２の表示範囲を切り替えるスイッチである。図８の例では、スイッチ８０４はＯＦＦであり、印刷領域３０９（爪）を中心として拡大編集領域８０２が表示されている。ここで、スイッチ８０４がＯＮである場合には、表示範囲がより広域になり、ユーザが選択した印刷領域３０９に対応する爪を含む指全体が写るように、拡大編集領域８０２が表示される。この例では、画像認識処理により指とその範囲が認識されているものとする。図９（ｂ）は、スイッチ８０４がＯＮである場合の拡大編集領域８０２における印刷領域の表示の一例を示す図である。図９（ｂ）では、印刷領域３０９を含む指が拡大編集領域８０２において表示されており、指全体が表示されているため、スクロール操作は停止される。

スライダ８０５は、拡大編集領域８０２において、印刷領域３０９に重畳表示するネイル画像データの透過度を制御するためのスライダである。スライダ８０５の操作部はユーザが調整可能であり、スライダ８０５の位置に応じて、印刷領域３０９に重畳表示するネイル画像データの透過度が変動する。ここでは、ネイル画像データの透過度は０％～１００％で変動し、スライダ８０５の操作部を右に動かすほどネイル画像データの透過度が上昇する。ネイル画像データのデフォルトの透過度は０％であるものとする。

戻るボタン８０６は、作成画面３０１に戻るためのボタンである。戻るボタン６０６が押下されると、その時点での編集画面８０１における印刷領域３０９の編集内容が保存され、作成画面３０１での表示内容に反映される。

境界線８１０は、印刷領域３０９の輪郭（印刷領域３０９に重畳表示されるネイル画像データの輪郭）を示す境界線である。境界線８１０は、図８では破線で示されているが、例えば点線、又はネイル画像データの色相の補色での実線など、印刷領域３０９の輪郭の視認性を向上させる線であれば特に破線に限定されるわけではない。

本実施形態に係る境界線８１０は、上述のようにネイル画像データの透過度に応じて表示するか否かが決定される。ＣＰＵ１０３は、例えば、ネイル画像データの透過度に応じて、ネイル画像データが透過しているか否かを判定し、透過していないと判定した場合には境界線８１０を表示させず、透過していると判定した場合には境界線８１０を表示させてもよい。ここでは、ＣＰＵ１０３は、例えば透過度が１００％未満である場合にネイル画像データが透過していると判定してもよく、マージンをもたせ、透過度が９５％以下、又は９０％以下など所定の閾値以下である場合にネイル画像データが透過していると判定してもよい。なお、本実施形態においては、スライダ８０５の移動により変動する透過度の最低単位は１％であるものとするが、例えば０．１％など、所望の精度に応じて任意の変動単位を設定することができる。

また、ＣＰＵ１０３は、ネイル画像データの透過度に応じて、境界線８１０の透過度を設定してもよい。例えばＣＰＵ１０３は、ネイル画像データの透過度が上昇するのに応じて、境界線８１０の透過度が下降するようにしてもよい。この場合、ＣＰＵ１０３は、例えばネイル画像データの透過度の％値と境界線８１０の％値との合計値が所定の値（例えば、１００％）となるようにしてもよい。また例えばＣＰＵ１０３は、ネイル画像データの透過度に閾値を設定し、ネイル画像データの透過度がその閾値を超えているか否かで境界線８１０の透過度を設定してもよい。ここで、この閾値は複数存在していてもよい。すなわち、ネイル画像データの透過度の％に何段階かの範囲を設定し、その範囲ごとに対応する境界線８１０の透過度を設定してもよい。

なお、ＣＰＵ１０３は、印刷領域３０９の回転又は移動などの編集作業中には、境界線８１０の透過度を上昇させてもよい。とりわけ、（ネイル画像データの透過度が１００％である場合など）境界線８１０の透過度が透過していない場合には、印刷領域３０９の編集作業中は透過させる（例えば、２０％透過度を上昇させる）ことで、操作中の視認性を向上させることができる。境界線８１０が透過しているか否かは、ネイル画像データが透過しているか否かと同様に判定を行うことができる。

［境界線の色決定処理］
図１０は、本実施形態に係る情報処理装置１０１が行う、境界線８１０の色を決定する処理の一例を示すフローチャートである。ＣＰＵ１０３は、Ｓ１００１～Ｓ１００３を含むフロー１０００を、スライダ８０５を動かして停止させたタイミングで開始してもよく、ネイル画像データの透過度が変動したタイミングで開始してもよい。

Ｓ１００１でＣＰＵ１０３は、ネイル画像データの色情報を取得する。ネイル画像データの色情報は、少なくとも表色パラメータ（ＲＧＢ）と及び透過度パラメータ（α）（０％≦α≦１００％）を含む。ここでは、表色パラメータはネイル画像データごとに設定されており、ＲＧＢ値で取得されるものとする。また、透過度パラメータαは、スライダ８０５の位置に応じて取得されるものとする。

Ｓ１００２でＣＰＵ１０３は、Ｓ１００１で取得した色情報に基づいて、境界線８１０の色情報を算出する。境界線８１０の色情報は、少なくとも表色パラメータ（ＲＧＢ）と及び透過度パラメータ（β）（０％≦β≦１００％）を含む。境界線８１０の表色パラメータは、例えば固定の色であってもよく、ネイル画像データ又は爪画像の色相の補色であってもよい。補色を用いることにより、例えば境界線を透過させている場合であっても、その境界線の視認性を向上させ、印刷領域の編集時のユーザビリティを改善することができる。

なお、境界線８１０をネイル画像データの補色とした際に、その補色が爪の色と区別しづらい場合には、ネイル画像データを透過させたときに印刷領域３０９の境界が確認しづらくなってしまうことが考えられる。このような観点から、ネイル画像データの補色と、撮像画像から算出される爪画像の色差が所定の閾値以下である場合には、境界線８１０の表色パラメータを、ネイル画像データの補色ではなく爪画像の補色としてもよい。この色差は、例えばＲＧＢ値でのユークリッド距離により算出される。ここで、閾値は、所望の認識しづらさに応じて、任意の値として設定が可能である。

また、境界線８１０の幅は一定でなくともよい。例えばＣＰＵ１０３は、スイッチ８０４がＯＮになり、表示範囲がより広域となった場合に、境界線８１０の線幅をより太くすることにより視認性を向上させてもよい。

Ｓ１００３でＣＰＵ１０３は、Ｓ１００２で算出された色情報を、拡大編集領域８０２内の表示に反映させ、フロー１０００を終了する。

［情報処理装置の構成］
図６は、本実施形態に係る情報処理装置１０１の機能構成の一例を示すブロック図である。情報処理装置１０１は、選択受付部６０１、データ設定部６０２、撮像指示部６０３、表示制御部６０４、爪検出部６０５、印刷領域設定部６０６、受付部６０７、反映部６０８、及び印刷指示部６０９を備える。

選択受付部６０１は、図２を参照して説明したように、ユーザからのネイルアートデータの選択を受けつけ、印刷に用いるネイルアートデータの候補として設定する。また選択受付部６０１は、図３を参照して説明したように、表示領域３０２からのプレビュー領域３０７に表示する設定データのユーザの選択を受け付ける。データ設定部６０２は、図５を参照して説明したように、選択受付部６０１が設定した候補からユーザの選択を受け付け、印刷に用いるネイルアートデータとして決定する。

撮像指示部６０３は、プリンタ１５１の撮像部１５７へと撮像指示を行う。本実施形態においては、撮像指示部６０３は、図３を参照して説明したように、作成画面３０１上の撮像ボタン３０６がユーザに押下されたことに応じて、又は作成画面３０１への遷移を検知したことに応じて、撮像部１５７へと撮像指示を行う。表示制御部６０４は、撮像部１５７による撮像画像を取得し、その一部又は全体を表示部１０８に表示させる。本実施形態においては、表示制御部６０４は、図３を参照して説明したように、撮像画像をプレビュー領域３０７に表示させる。

爪検出部６０５は、撮像部１５７による撮像画像から部分領域を検出し、印刷領域として出力する。ここで、検出する部分領域は、ネイルプリンタにより印刷を行う範囲としての領域であり、上述の通り爪領域が用いられる。印刷領域設定部６０６は、プレビュー領域３０７上に印刷領域３０９を設定する。

受付部６０７は、設定データに含まれるネイル画像データと印刷領域３０９との対応付けを行い、図３を参照して説明したように、プレビュー領域３０７に表示を行う設定データの（表示領域３０２からの）ユーザ選択を受け付ける。反映部６０８は、受付部６０７が受け付けたユーザ選択を、プレビュー領域３０７の表示に反映させる。また、受付部６０７は、図８の編集画面８０１を参照して説明したような、印刷領域３０９及びネイル画像データの表示についての各種編集処理（例えば、印刷領域３０９の回転又は移動など）を行うユーザの入力を受け付けてもよい。その場合、反映部６０８は、ユーザから受け付けた入力に応じて、印刷領域の編集を行う。

また、表示制御部６０４は、ネイル画像データを撮像画像に重畳表示させる際の、ネイル画像データの透過度を設定する。さらに表示制御部６０４は、ネイル画像データの透過度に応じて、印刷領域３０９の輪郭を示す境界線を表示させるか否かの制御を行う。本実施形態においては、表示制御部６０４は、ネイル画像データの透過度に応じて境界線８１０の透過度の設定を行ってもよい。

［システムの処理］
図７は、本実施形態に係る情報処理装置１０１及びプリンタ１５１を含むシステムにより行われる、ユーザの入力に対応する処理の一例を示すシーケンスである。図７の処理は、ユーザが情報処理装置１０１でネイルアプリを実行し、ネイルアプリを動作させることにより、挿入部１５８に挿入した爪にプリントエンジン１５５がネイルアートを印刷する処理の例である。すなわち、図７の処理は、ユーザがネイルアプリを実行することにより開始される。以下のユーザが行うものを除く各処理は、情報処理装置１０１のＣＰＵ１０３及びプリンタ１５１のＣＰＵ１５４により、ＲＯＭ又は外部記憶装置に格納されているプログラムコードをＲＡＭに展開及び実行することにより実行される。

Ｓ７０１で情報処理装置１０１は、ユーザによる１つ以上のネイルアートデータの選択を取得し、印刷に用いるネイルアートデータの候補として設定する。ここでは、ユーザが表示領域２０２からネイルアートデータ２０３を選択した後に決定ボタン２０４を押下した場合に、押下時に選択されていたネイルアートデータ２０３が印刷に用いるネイルアートデータの候補として設定され、ＵＩ画面が設定画面５０１へと遷移する。

Ｓ７０２で情報処理装置１０１は、ユーザによるネイル画像データの選択を取得し、表示領域５０２の爪領域５０８に選択されたネイル画像データを表示する。ここでは、ユーザが完了ボタン５０７を押下した場合に押下時点で選択されていたネイル画像データが印刷に用いるネイルアートデータとして決定され、ＵＩ画面が作成画面３０１へと遷移する。

Ｓ７０３で情報処理装置１０１は、印刷を実行するプリンタを設定する。本実施形態においては、ユーザが検索ボタン３０４を押下し、検索されたプリンタの中から選択されたプリンタが、印刷を実行するプリンタとして設定される。

Ｓ７０４で撮像指示部６０３は、Ｓ７０３で設定されたプリンタと通信を行い、撮像の指示を送信する。ここで撮像指示部６０３は、撮像部１５７のカメラを起動する起動ジョブをプリンタ１５１に送信してもよい。この場合、プリンタ１５１は、起動ジョブの受信に応じて、撮像部１５７を起動する。

Ｓ７０５でプリンタ１５１は、撮像部１５７で取得した撮像画像を情報処理装置１０１に送信する。本実施形態においては、情報処理装置１０１は、プリンタ１５１から受信した撮像画像を、プレビュー領域３０７に表示する。ここでは、撮像部１５７で経時的に取得される撮像画像（動画）が、ほぼリアルタイムでプレビュー領域３０７に表示されるものとする。本実施形態においては、後述するＳ７０７において挿入部１５８にユーザの手が挿入され、プレビュー領域３０７にはユーザの指先及び爪の画像が表示される。

Ｓ７０６で選択受付部６０１は、ユーザによる、プレビュー領域３０７に表示する爪の設定を取得する。ここでは、ユーザが、表示領域３０２から、プレビュー領域３０７に表示する爪の設定を選択し、その選択結果がプレビュー領域３０７に反映される。ここで、表示制御部６０４は、ユーザが選択したネイル画像データを強調表示してもよい。

Ｓ７０７でユーザは、挿入部１５８に手を挿入する。ここで、情報処理装置１０１は、挿入部１５８に手を挿入することを促す通知をユーザに対して行ってもよい。この通知は、例えば表示部に文字又は記号などを表示することで行ってもよく、音声又は振動などにより行ってもよく、これらを組み合わせて行ってもよい。ここでは、ユーザは、ネイル画像データをより精彩に印刷するために、爪にジェル状の液体（ベースコート）を塗布しておく。ベースコートの色は、例えば白または半透明などがある。

Ｓ７０８で印刷領域設定部６０６は、ユーザにより設定ボタン３０８が押下されたことに応じて、Ｓ７０９～Ｓ７１３における、プレビュー領域３０７上に印刷領域３０９を設定する処理を開始する。ここでは、挿入部１５８のレールの数に対応した、最大４つまでの印刷領域の設定が可能である。本実施形態においては、最大値の４つの印刷領域３０９が同時に設定され、それぞれレール番号に対応した「１」～「４」の番号が対応付けられて、ＲＡＭ１０５に記録される。なお、Ｓ７０９～Ｓ７１２の処理を省略して、Ｓ７０４～Ｓ７０５により撮像部１５７から送信されてきている撮像画像から爪領域の検出が行われてもよいものとする。

Ｓ７０９で撮像指示部６０３は、プリンタ１５１に対して爪の撮像指示を行う。ここでは、撮像指示部６０３は、撮像を行うレール番号も同時にプリンタ１５１に送信する。続くＳ７１０～Ｓ７１２の処理は、レール番号ごとにそれぞれ独立して行われる。これらの独立した処理は順番に繰り返し行われてもよく、同時に行われてもよい。

Ｓ７１０でプリンタ１５１は、Ｓ７０９で受信した、撮像を行うレール番号のレールを上昇させる。ここでは、プリンタ１５１は、レール上の爪がプリンタ１５１の印字ヘッドと近接するよう、所定の高さへとレールを上昇させる。爪と印字ヘッドとが近接するようにレールを上昇させることで、例えばプリンタ１５１がインクジェットプリンタである場合に、印字ヘッドから吐出されたインクがより確実に爪に付着するようにできる。プリンタ１５１が挿入部内部にレーザセンサを備えており、レーザセンサによるレーザが遮断されない直前の高さにまでレールを上げることにより、レールの高さ調整が行われてもよい。

レールの高さ調整にレーザセンサを用いる場合、爪のおおよその位置を取得し、センサの可動範囲をその爪の位置に限定した方が、指全体を可動範囲とするよりも効率的に位置の調整が可能となる。そのような観点から、情報処理装置１０１は、爪の高さ調整を行う前に、取得した撮像画像から爪領域の検出を行い、爪の位置を示す情報をプリンタ１５１に送信してもよい。このように、Ｓ７１３より先の事前の爪検出をプレ爪検出と呼ぶものとする。プレ爪検出においては、レールの高さ調整は行わず、Ｓ７０５から取得した撮像画像を用いて検出が行われてもよく、Ｓ７０９以前にさらにもう一度撮像指示がプリンタ１５１に送信されてもよい。プリンタ１５１は、プレ爪検出の結果を受信した場合には、爪の位置を示す情報に基づいてレーザセンサの可動範囲を設定し、その可動範囲の中で、レーザセンサの高さを決定する。

Ｓ７１１でプリンタ１５１は、撮像部１５７により撮像画像を取得する。Ｓ７１２でプリンタ１５１は、Ｓ７１１で取得した撮像画像（静止画）を情報処理装置１０１に送信する。ここで、プリンタ１５１はレールの高さを戻してもよく、レールの高さを維持して継続的に撮像画像を情報処理装置１０１に送信してもよい。

Ｓ７１３で爪検出部６０５は、撮像画像から爪領域を検出する。爪領域の検出は、一般的に行われる画像検出処理を任意に用いて行うことが可能であるが、例えば爪に塗布するベースコートの白色を検出することにより、爪領域が検出されてもよい。具体的には、爪検出部６０５は、撮像画像中のＲＧＢ値が所定の条件を満たす画素（例えば、Ｒ＞２００、Ｇ＞２００、かつＢ＞２００）の領域を検出し、爪領域とすることができる。この場合、レールの色を黒くすることで、また、レールの素材を光を乱反射するものにすることで、白色による爪領域の誤検出を低減することができる。ベースコートに半透明のものを使う場合、又はベースコートを用いない場合などには、上述したように予め爪領域を検出するよう機械学習で生成した学習モデルを用いて爪領域が検出される。肌の色及び爪の形は人により異なるため、学習画像に様々なパターンの手を用意しておくことで、学習モデルによる爪領域の検出の精度を向上させることができる。機械学習のフレームワークは、既存の所望のものを用いることが可能である。

ここで、Ｓ７１１～Ｓ７１３でそれぞれレールごとに撮像、検出された爪領域を含む画像が、プレビュー領域３０７に表示される。本実施形態においては、それぞれ爪領域を含む指の画像が切り出され、プレビュー領域３０７に並べて表示される。

Ｓ７１４で受付部６０７は、プレビュー領域３０７上に印刷領域３０９を設定し、ユーザから受け付けた設定データの選択について、表示制御部６０４が印刷領域３０９上にネイル画像データを重畳表示する。ここでは、受付部６０７は、設定データに含まれるネイル画像データと印刷領域３０９との対応付けを行い、表示制御部６０４が対応するネイル画像データを重畳表示する。

Ｓ７１５では、受付部６０７がユーザからの印刷領域３０９の編集操作を受け付けた場合に、当該編集操作を反映部６０８がプレビュー領域３０７上での印刷領域３０９において反映する。

Ｓ７１６で印刷指示部６０９は、ユーザが選択した設定データが印刷領域に反映された印刷データを作成する。本実施形態においては、印刷指示部６０９は、ユーザにより開始ボタン３１０が押下されたことに応じて、押下時点での印刷領域３０９、及びそれに対応付けられたネイル画像データを、印刷データとして作成することができる。ここで、表示制御部は、挿入部１５８から手を動かさないことを促す通知をユーザに対して行ってもよい。この通知は、例えば表示部に文字又は記号などを表示することで行ってもよく、音声又は振動などにより行ってもよく、これらを組み合わせて行ってもよい。Ｓ７１７で印刷指示部６０９は、Ｓ７１６で作成した印刷データに基づく印刷指示をプリンタ１５１に送信する。

Ｓ７１８でプリンタ１５１は、Ｓ７１０で上昇させたときに同じ高さにそれぞれのレールを上昇させる。Ｓ７１９でプリンタ１５１は、Ｓ７１７で受信した印刷データに基づいて印刷を行う。Ｓ７１８～Ｓ７１９の処理は、レール番号ごとにそれぞれ独立して行われる。これらの独立した処理は順番に繰り返し行われてもよく、同時に行われてもよい。

なお、プリンタ１５１は、ネイルアートの印刷中に挿入部１５８内の手の移動を検知した場合に、ネイルアートの印刷を停止してもよい。この手の移動は、撮像部１５７による撮像画像に基づいて検出されてもよく、プリンタ１５１が備えるセンサにより検出されてもよく、情報処理装置１０１により検出されてもよい。情報処理装置１０１が挿入部１５８内の手の移動を検知した場合には、その時点で印刷の停止指示がプリンタ１５１に送信される。

このような構成によれば、画像内の領域と重畳画像との視認性を向上させ、領域の編集時のユーザビリティを改善させることが可能となる。したがって、ネイルプリンタにおいて、印刷するネイル画像と爪領域とを同時に確認しながら、境界部の認識性も向上させることが可能となる。

なお、本実施形態においては、部分領域として爪領域を用い、爪領域にネイル画像データを重畳表示させるネイルプリンタの例について説明を行ったが、重畳表示させる際の視認性を向上させたいケースであれば、特にこのように限定されるわけではない。

また、本実施形態に係るプリンタ１５１は、挿入部１５８に片手を挿入する形態のプリンタ１５１であるものとして説明を行ったが、挿入部１５８に両手を同時に挿入可能であってもよい。その場合、例えば店員などの他のユーザによって操作が可能であってもよく、印刷の開始を、設定した時間（例えば、開始ボタンを押してから１０秒後など）に行うように構成されていてもよい。

またさらに、本実施形態においては、ネイルアートとして画像（模様）を印刷するものとして説明を行ったが、印刷が可能なものであれば特にこれに限定されるわけではない。例えば、３次元構造物などを表す形状データと画像データとを用いて、模様を含む構造物をネイルアートとして印刷するような構成であってもよい。

また、本実施形態には挿入部に挿入した爪に直接ネイルアートの印刷を行う例について説明したが、例えばシールなどの爪に装着するオブジェクトに印刷を行うなど、異なる印刷形態であってもよい。

本明細書の開示は、以下の情報処理装置、情報処理方法、及びプログラムを含む。

（項目１）
第１の画像上に第１の部分領域を設定する第１の設定手段と、
前記第１の画像の前記第１の部分領域に第２の画像を重畳表示させる第１の制御手段と、
前記第２の画像を重畳表示させる際の、前記第２の画像の透過度を設定する第２の設定手段と、
前記第１の部分領域の輪郭を示す境界線の表示を制御する第２の制御手段と、を備え、
前記第２の制御手段は、前記第２の画像の透過度に応じて、前記境界線を表示させるか否かを制御することを特徴とする、情報処理装置。

（項目２）
前記第２の画像の透過度に応じて、前記第２の画像が透過しているか否かを判定する判定手段をさらに備え、
前記第２の制御手段は、前記第２の画像が透過していないと判断された場合には、前記境界線を表示させないことを特徴とする、項目１に記載の情報処理装置。

（項目３）
前記第２の制御手段は、前記第２の画像の透過度に応じて、前記境界線の透過度を制御することをさらに特徴とする、項目１又は２に記載の情報処理装置。

（項目４）
前記第２の制御手段は、前記第２の画像の透過度が上昇するのに応じて前記境界線の透過度が下降するように、前記境界線の透過度を制御することを特徴とする、項目３に記載の情報処理装置。

（項目５）
前記第２の制御手段は、前記第２の画像の透過度の％値と、前記境界線の％値と、の合計が所定の値となるように、前記境界線の透過度を制御することを特徴とする、項目４に記載の情報処理装置。

（項目６）
前記第２の制御手段は、前記第２の画像の透過度が所定の閾値を超えている場合には、前記境界線の透過度を第１の値とし、前記第２の画像の透過度が所定の閾値以下である場合には、前記境界線の透過度を第２の値とすることを特徴とする、項目４に記載の情報処理装置。

（項目７）
前記第１の画像上で、前記第１の部分領域の位置又は向きを編集する編集手段をさらに備え、
前記第２の制御手段は、前記第１の部分領域の位置又は向きを編集している間は前記境界線の透過度を上昇させることを特徴とする、項目１乃至６の何れか１項目に記載の情報処理装置。

（項目８）
前記第２の画像の色相を取得する取得手段をさらに備え、
前記第２の制御手段は、前記境界線の色を、前記第２の画像の色相の補色にすることを特徴とする、項目１乃至７の何れか１項目に記載の情報処理装置。

（項目９）
前記取得手段は、前記第１の画像の、前記第１の部分領域における色相をさらに取得し、
前記第２の制御手段は、前記第１の部分領域における色相と前記第２の画像の色相の補色との色差が、所定の閾値以下である場合には、前記境界線の色を、前記第１の部分領域における色相の補色とすることを特徴とする、項目８に記載の情報処理装置。

（項目１０）
前記第１の部分領域は、前記第１の画像から検出される爪の領域であり、
前記第２の画像は、前記爪に印刷する画像であることを特徴とする、項目１乃至９の何れか１項目に記載の情報処理装置。

（項目１１）
第１の画像上に第１の部分領域を設定する工程と、
前記第１の画像の前記第１の部分領域に第２の画像を重畳表示させる工程と、
前記第２の画像を重畳表示させる際の、前記第２の画像の透過度を設定する工程と、
前記第１の部分領域の輪郭を示す境界線の表示を制御する工程と、を備え、
前記境界線の表示を制御する工程は、前記第２の画像の透過度に応じて、前記境界線を表示させるか否かを制御することを特徴とする、情報処理方法。

（項目１２）
コンピュータを、項目１乃至１０の何れか一項目に記載の情報処理装置の各手段として機能させるためのプログラム。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１：情報処理装置、１５１：プリンタ

Claims (12)

1. 第１の画像上に第１の部分領域を設定する第１の設定手段と、
   前記第１の画像の前記第１の部分領域に第２の画像を重畳表示させる第１の制御手段と、
   前記第２の画像を重畳表示させる際の、前記第２の画像の透過度を設定する第２の設定手段と、
   前記第１の部分領域の輪郭を示す境界線の表示を制御する第２の制御手段と、を備え、
   前記第２の制御手段は、前記第２の画像の透過度に応じて、前記境界線を表示させるか否かを制御することを特徴とする、情報処理装置。
2. 前記第２の画像の透過度に応じて、前記第２の画像が透過しているか否かを判定する判定手段をさらに備え、
   前記第２の制御手段は、前記第２の画像が透過していないと判断された場合には、前記境界線を表示させないことを特徴とする、請求項１に記載の情報処理装置。
3. 前記第２の制御手段は、前記第２の画像の透過度に応じて、前記境界線の透過度を制御することをさらに特徴とする、請求項１に記載の情報処理装置。
4. 前記第２の制御手段は、前記第２の画像の透過度が上昇するのに応じて前記境界線の透過度が下降するように、前記境界線の透過度を制御することを特徴とする、請求項３に記載の情報処理装置。
5. 前記第２の制御手段は、前記第２の画像の透過度の％値と、前記境界線の％値と、の合計が所定の値となるように、前記境界線の透過度を制御することを特徴とする、請求項４に記載の情報処理装置。
6. 前記第２の制御手段は、前記第２の画像の透過度が所定の閾値を超えている場合には、前記境界線の透過度を第１の値とし、前記第２の画像の透過度が所定の閾値以下である場合には、前記境界線の透過度を第２の値とすることを特徴とする、請求項４に記載の情報処理装置。
7. 前記第１の画像上で、前記第１の部分領域の位置又は向きを編集する編集手段をさらに備え、
   前記第２の制御手段は、前記第１の部分領域の位置又は向きを編集している間は前記境界線の透過度を上昇させることを特徴とする、請求項１に記載の情報処理装置。
8. 前記第２の画像の色相を取得する取得手段をさらに備え、
   前記第２の制御手段は、前記境界線の色を、前記第２の画像の色相の補色にすることを特徴とする、請求項１に記載の情報処理装置。
9. 前記取得手段は、前記第１の画像の、前記第１の部分領域における色相をさらに取得し、
   前記第２の制御手段は、前記第１の部分領域における色相と前記第２の画像の色相の補色との色差が、所定の閾値以下である場合には、前記境界線の色を、前記第１の部分領域における色相の補色とすることを特徴とする、請求項８に記載の情報処理装置。
10. 前記第１の部分領域は、前記第１の画像から検出される爪の領域であり、
    前記第２の画像は、前記爪に印刷する画像であることを特徴とする、請求項１に記載の情報処理装置。
11. 第１の画像上に第１の部分領域を設定する工程と、
    前記第１の画像の前記第１の部分領域に第２の画像を重畳表示させる工程と、
    前記第２の画像を重畳表示させる際の、前記第２の画像の透過度を設定する工程と、
    前記第１の部分領域の輪郭を示す境界線の表示を制御する工程と、を備え、
    前記境界線の表示を制御する工程は、前記第２の画像の透過度に応じて、前記境界線を表示させるか否かを制御することを特徴とする、情報処理方法。
12. コンピュータを、請求項１乃至１０の何れか一項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images