JP2023165553A - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2023165553A JP2023165553A JP2022076747A JP2022076747A JP2023165553A JP 2023165553 A JP2023165553 A JP 2023165553A JP 2022076747 A JP2022076747 A JP 2022076747A JP 2022076747 A JP2022076747 A JP 2022076747A JP 2023165553 A JP2023165553 A JP 2023165553A
- Authority
- JP
- Japan
- Prior art keywords
- image
- nail
- transparency
- area
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims description 92
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000000295 complement effect Effects 0.000 claims description 15
- 230000007423 decrease Effects 0.000 claims description 3
- 210000000282 nail Anatomy 0.000 description 287
- 238000003384 imaging method Methods 0.000 description 48
- 210000003811 finger Anatomy 0.000 description 30
- 238000003780 insertion Methods 0.000 description 27
- 230000037431 insertion Effects 0.000 description 27
- 238000000034 method Methods 0.000 description 23
- 238000012545 processing Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 19
- 238000001514 detection method Methods 0.000 description 17
- 230000004044 response Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000003825 pressing Methods 0.000 description 9
- 210000000078 claw Anatomy 0.000 description 8
- 230000007704 transition Effects 0.000 description 7
- 210000004905 finger nail Anatomy 0.000 description 6
- 210000004932 little finger Anatomy 0.000 description 6
- 210000003813 thumb Anatomy 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 210000004247 hand Anatomy 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000004906 toe nail Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
【課題】画像内の領域に重複させる画像の視認性を向上させ、その領域の編集時のユーザビリティを改善させる。【解決手段】第1の画像上に第1の部分領域を設定する。第1の画像の第1の部分領域に第2の画像を重畳表示させる。第2の画像を重畳表示させる際の、第2の画像の透過度を設定する。第1の部分領域の輪郭を示す境界線の表示を制御する。第2の画像の透過度に応じて、境界線を表示させるか否かを制御する。【選択図】図8
Description
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
近年、プリンタ(ネイルプリンタ)を用いて爪にネイルアートを印刷することが可能になっている。爪にネイルアートを印刷にするにあたり、爪の位置及び大きさに合わせて印刷領域を設定する必要がある。特許文献1には、自動で認識した爪の輪郭を表示し、修正を行った結果を認識結果に反映させて印刷の制御を行うネイルプリント装置が開示されている。
しかしながら、特許文献1に記載の技術では、実際に印刷されるネイルアートのプレビューが表示されず、修正途中での仕上がりの確認が難しい。
本発明は、画像内の領域に重複させる画像の視認性を向上させ、その領域の編集時のユーザビリティを改善させることを目的とする。
本発明の目的を達成するために、例えば、一実施形態に係る情報処理装置は以下の構成を備える。すなわち、第1の画像上に第1の部分領域を設定する第1の設定手段と、前記第1の画像の前記第1の部分領域に第2の画像を重畳表示させる第1の制御手段と、前記第2の画像を重畳表示させる際の、前記第2の画像の透過度を設定する第2の設定手段と、前記第1の部分領域の輪郭を示す境界線の表示を制御する第2の制御手段と、を備え、前記第2の制御手段は、前記第2の画像の透過度に応じて、前記境界線を表示させるか否かを制御することを特徴とする。
画像内の領域に重複させる画像の視認性を向上させ、その領域の編集時のユーザビリティを改善させる。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
[システム構成]
本実施形態に係るシステムは、情報処理装置と画像形成装置(プリンタ)とで構成される。本実施形態に係る情報処理装置はタブレット端末であるものとして説明を行う。しかしながら、例えばスマートフォンなどの携帯端末、ノートパソコン(PC)、PDA(Personal Digital Assistant)、又はデジタルカメラなど、以下に説明する処理が可能なのであれば特に情報処理装置の形態は限定はされない。また、本実施形態に係るプリンタとしては、インクジェットプリンタ若しくは3Dプリンタ、又はこれらのうちのいずれかを備えるメイルプリンタなど、画像の形成が可能であれば任意の画像形成装置を用いることが可能である。
本実施形態に係るシステムは、情報処理装置と画像形成装置(プリンタ)とで構成される。本実施形態に係る情報処理装置はタブレット端末であるものとして説明を行う。しかしながら、例えばスマートフォンなどの携帯端末、ノートパソコン(PC)、PDA(Personal Digital Assistant)、又はデジタルカメラなど、以下に説明する処理が可能なのであれば特に情報処理装置の形態は限定はされない。また、本実施形態に係るプリンタとしては、インクジェットプリンタ若しくは3Dプリンタ、又はこれらのうちのいずれかを備えるメイルプリンタなど、画像の形成が可能であれば任意の画像形成装置を用いることが可能である。
図1は、本実施形態に係る情報処理装置101とプリンタ151とを含むシステムのハードウェア構成の一例を示す図である。本実施形態においては、情報処理装置101とプリンタ151とが別体の装置であるものとして説明を行うが、例えばプリンタ151が情報処理装置101と同様の処理が可能であるなど、単一の装置として実装されても構わない。
[情報処理装置]
情報処理装置101は、入力インターフェース(I/F)102、CPU103、ROM104、RAM105、外部記憶装置106、出力I/F107、表示部108、通信部109、及びGPU110を備える。情報処理装置101の有する各機能部は、システムバスを介して情報の送受信可能に接続されている。
情報処理装置101は、入力インターフェース(I/F)102、CPU103、ROM104、RAM105、外部記憶装置106、出力I/F107、表示部108、通信部109、及びGPU110を備える。情報処理装置101の有する各機能部は、システムバスを介して情報の送受信可能に接続されている。
入力I/F102は、ユーザからのデータ入力又は操作指示などを受け付けるためのメインインターフェースであり、例えばキーボード及びマウス、ボタン、又はタッチパネルなどの操作部(不図示)を介してユーザ入力を取得する。本実施形態に係る入力I/F102は、後述する表示部108と少なくとも一部が共通の機能を有しており、情報処理結果の画面の出力と、ユーザ入力の受付と、を同一の画面上で行うように実装される。
CPU103は、システム制御部であり、プログラムの実行及びハードウェアの起動など、情報処理装置101の全体の動作の制御を行う。ROM104は、CPU103が実行する制御プログラム、データテーブル、組み込みオペレーションシステム(OS)、及び各種プログラムなどのデータを格納するメモリである。本実施形態においては、CPU103は、ROM104に格納されている制御プログラムを読み出して、組み込みOSの管理下で、例えばスケジューリング、タスクスイッチ、及び割り込み処理などのソフトウェア実行制御を行う。
RAM105は、DRAM(Static Random Access Memory)又はDRAM(Dynamic Random Access Memory)などで構成されるメモリである。RAM105は、データを格納する際に、データバックアップ用のバックアップバッテリ(例えば、一次電池)を使用してもよい。その場合、RAM105は、プログラム制御変数などのデータを揮発させずに格納することができる。RAM105は、情報処理装置101の設定情報及び管理データなどを格納するメモリエリア、又はCPU103の主メモリ及びワークメモリとして機能してもよい。
外部記憶装置106は、印刷実行機能を提供するアプリケーション、及びプリンタ151が解釈可能な印刷情報を生成する印刷情報生成プログラムなどを格納する。また、外部記憶装置106は、通信部109を介して接続しているプリンタ151との間で情報を送受信する情報送受信制御プログラムなどの各種プログラム、及びこれらのプログラムにより用いられる各種情報を格納する。
出力I/F107は、情報処理の結果などの各種出力を行うインターフェースである。出力I/F107は、情報処理装置101の処理結果又は状態の通知を、表示部108を介して行う。表示部108は、例えばLED(発光ダイオード)又はLCD(液晶ディスプレイ)であり、情報処理装置101の処理結果又は状態の通知を表示する。本実施形態においては、表示部108は情報処理装置101の外部のディスプレイであるものとするが、情報処理装置101が備える出力I/F107が表示機能を備え、表示部108として動作してもよい。また、表示部108が、例えばソフトキーボードなどの入力部を備えることにより、ユーザからの入力を受け付けてもよい。ここで、ソフトキーボードは、例えば数値入力キー、モード設定キー、決定キー、取り消しキー、電源キーなどであってもよい。
通信部109は、プリンタ151などの外部装置と接続してデータ通信を実行する。通信部109は、例えばアクセスポイント131に接続可能であり、プリンタ151と相互に情報の送受信を行う。通信部109は、プリンタ151と無線で接続していてもよく、USBケーブルなどを用いて有線で接続していてもよい。無線の通信の方式としては、例えばWi-Fi(Wireless Fidelity)(登録商標)又は、Bluetooth(登録商標)などが用いられてもよい。また、アクセスポイント131は、プリンタ151が有していてもよく、例えば無線LANルーターなどの機器であってもよい。
GPU(Graphics Processing Unit)110は、CPU103と協働して情報処理装置101の動作の制御を行う。GPU110は、例えばディープラーニングなどの学習モデルに関する処理を行うことができる。CPU103よりもより多くの並列処理が可能であるGPU110を用いることで、行列演算を行うディープラーニングにおけるトレーニングの期間などを短縮することが可能となる。本実施形態においては、GPU110は学習モデルを含む学習プログラムを行う際にCPU103と協働して処理を行い、その他の処理はCPU103が行うものとして説明を行う。しかしながら、例えばCPU103又はGPU110のいずれか一方が全ての処理を行ってもよく、またGPU110が学習とは異なる処理を行ってもよい。
本実施形態に係る情報処理装置101は、ROM104又は外部記憶装置106などに所定のアプリケーションを格納しているものとする。ここで、所定のアプリケーションとは、例えばユーザからの操作に応じて、ネイルアートデータを印刷させるための印刷ジョブを情報処理装置101からプリンタ151に送信させるためのアプリケーションプログラムを含む。このような処理を実行させるアプリケーションを、以下ではネイルアプリと呼ぶものとする。本実施形態に係るネイルアプリは、プリンタ151の撮像部157のカメラを起動する機能を備えていてもよい。すなわち、ネイルアプリは、印刷ジョブに加え、カメラ起動ジョブをプリンタ151に送信する処理を実行可能であってもよい。なお、所定のアプリケーションはネイルアプリには限定されず、印刷以外の機能を実行する任意のアプリケーションプログラムを含んでいてもよい。
[プリンタ]
本実施形態に係るプリンタ151は、ROM152、RAM153、CPU154、プリントエンジン155、通信部156、及び撮像部157を備えている。プリンタ151の有する各機能部は、システムバスを介して情報の送受信可能に接続されている。
本実施形態に係るプリンタ151は、ROM152、RAM153、CPU154、プリントエンジン155、通信部156、及び撮像部157を備えている。プリンタ151の有する各機能部は、システムバスを介して情報の送受信可能に接続されている。
図1(b)は、爪にネイルアートの印刷を行うプリンタ151の外観を示す概略図である。図1(b)の例では、プリンタ151は、印刷対象(例えば、ネイルプリントを行う爪)を挿入するための空間である挿入部158を備えており、ユーザの手が挿入部158に挿入されている。このように、本実施形態においては挿入部158に挿入されるものは人間の手が想定されており、印刷対象としては爪が想定されている。なお、本実施形態に係るプリンタ151は手の爪にネイルアートの印刷を行うものとして以下の説明を行うが、例えば足の爪などに対しても同様に印刷処理を行うことが可能である。
挿入部158は、指を乗せるためのレールを4つ備えており、1~4本の指を挿入することが可能である。また、挿入部158の有するレールはそれぞれが独立して可動であり、各レールを昇降させることで爪の高さを印刷に最適な高さに調整することができてもよい。このようなプリンタ151が行う各動作は、ネイルアプリによる情報処理装置101からの指示で実行され、ネイルアプリで指定されたレール番号に基づいて対象のレールの昇降動作が行われる。
ROM152は、CPU154が実行する制御プログラム、データテーブル、及びOSなどの各種データを格納するメモリである。本実施形態においては、CPU154は、ROM152に格納されている制御プログラムを読み出して、組み込みOSの管理下で、例えばスケジューリング、タスクスイッチ、及び割り込み処理などのソフトウェア実行制御を行う。
RAM153は、DRAM又はDRAMなどで構成されるメモリである。RAM153は、データを格納する際に、データバックアップ用のバックアップバッテリ(例えば、一次電池)を使用してもよい。その場合、RAM153は、プログラム制御変数などのデータを揮発させずに格納することができる。RAM153は、情報処理装置101の設定情報及び管理データなどを格納するメモリエリア、又はCPU154の主メモリ及びワークメモリとして機能してもよい。またRAM153は、情報処理装置101から受信した印刷情報、及びその他の各種情報を一時的に保存することも可能である。
CPU154は、システム制御部であり、プログラムの実行及びハードウェアの起動など、プリンタ151の全体の動作の制御を行う。プリンタエンジン155は、RAM153に格納された情報又は情報処理装置101から受信した印刷ジョブに基づいて、インクなどの記録材を用いて、挿入部158に挿入されている爪などの被記録媒体上に画像を形成する。
通信部156は、アクセスポイント131を介して、情報処理装置101などの外部装置との接続を行う。通信部156は、情報処理装置101との通信を、プリンタの備えるアクセスポイントにより行ってもよく、プリンタ151外部のアクセスポイントにより行ってもよい。通信部156は、アクセスポイントとして機能するハードウェアを備えていてもよく、外部のハードウェアをアクセスポイントとして機能させるためのソフトウェアを備えていてもよい。
撮像部157は、撮像画像を取得する。本実施形態に係る撮像部157は、プリンタ151に付属及び設置されている。撮像部157は、少なくともレンズ及びイメージセンサにより構成される、撮像機能を備えたカメラモジュールであるものとするが、例えば外部の装置により撮像される撮像画像を取得してもよい。ここで、レンズは、挿入部158に挿入される印刷対象を写してイメージセンサ上に結像する。イメージセンサは、レンズが写した光をCPU154により処理可能な電気信号(画像データ)に変換する。本実施形態に係る撮像部157は、挿入部158に挿入される印刷対象(爪)を含む所定の領域を撮像し、撮像した画像(静止画、又は動画)をリアルタイムに情報処理装置101に送信することができる。撮像部157は、同様の処理を行うことが可能であれば、例えばスマートフォンを含む携帯端末、又はデジタルカメラを用いて撮像を行ってもよい。プリントエンジン155は、挿入部158に挿入された印刷対象に対して印刷を行う。
なお、プリンタ151は外付けHDD又はSDカードなどの外部記憶装置を備えていてもよく、その場合、プリンタ151に格納される情報の一部又は全てを外部記憶装置に格納することが可能となる。
本実施形態においては、プリンタ151は、爪にネイルアートを印刷する。また、本実施形態では、挿入部158に片手が挿入され、その手の各爪にネイルアートが施される(印刷される)。ここで、一度に印刷されるネイルアートは、一般的には同一のコンセプトを有するが、全ての爪で共通である必要はなく、爪それぞれにおいて異なったネイルアートが印刷されてもよい。例えば、あるデザイン(デザインAとする)は、指10本にそれぞれ対応する、相互に共通するデザインコンセプトの10個のネイルアートのデザインを含むが、このデザインが爪ごとに異なっていてもよい。
本実施形態においては、情報処理装置101は、図6に示されるように、選択受付部601、データ設定部602、撮像指示部603、表示制御部604、検出部605、印刷領域設定部606、受付部607、反映部608、及び印刷指示部609を備える。図6は、本実施形態に係る情報処理装置101の機能構成の一例を示すブロック図であるが、これらについての詳細な説明は後述する。
[用語の定義]
以下、本実施形態において使用される用語について説明する。以下において、「ネイル画像データ」は1つの爪に施されるネイルアートの画像データを指す。「ネイルアートデータ」は、複数のネイル画像データの集合の画像データ(つまり、複数のネイル画像データのセット)である。本実施形態に係るネイルアートデータは、10本分(10個)のネイル画像データのセットであってもよく、10本分のネイル画像データを1つの画像データに合成したものであってもよい。
以下、本実施形態において使用される用語について説明する。以下において、「ネイル画像データ」は1つの爪に施されるネイルアートの画像データを指す。「ネイルアートデータ」は、複数のネイル画像データの集合の画像データ(つまり、複数のネイル画像データのセット)である。本実施形態に係るネイルアートデータは、10本分(10個)のネイル画像データのセットであってもよく、10本分のネイル画像データを1つの画像データに合成したものであってもよい。
[基本的なネイルアートの印刷処理の概要]
本実施形態に係るCPU103は、ROM104又は外部記憶装置106に格納されているネイルアプリのプログラムを実行する。次いでCPU154は、ネイルアプリの処理として、ユーザが選択したネイル画像データを、画像上の部分領域(ここでは、爪に対応する領域)に反映して、挿入部158に挿入されている部分領域に対応する箇所に印刷を行う。本実施形態において、ネイルアプリの実行時の手順及び動作は、基本的には以下の(1)~(8)のように行われる。各処理について、詳細な説明は後述する。
(1)ユーザが、アプリケーション上で、印刷に用いるネイルアートデータを設定する。本実施形態においては、図2に示されるようなユーザインターフェース(UI)画面上でユーザがネイルアートデータを選択するものとする。
(2)アプリケーションにより、CPU154が、撮像部157のカメラを起動する。
(3)表示制御部604は、撮像部157が撮像した画像データを取得し、表示画像としてユーザに表示する。
(4)ユーザがプリンタ151の挿入部158に手を挿入する。
(5)爪検出部605が、画像データから部分領域(爪の領域)を検出し、その領域を印刷領域設定部606がネイルアートを印刷する領域として設定する。以下、このように設定される、画像上のネイルアートを印刷する領域を、印刷領域と呼ぶものとする。
(6)表示制御部604は、表示画像に設定した印刷領域上に、((1)で)ユーザが選択したネイルアートデータに含まれるネイル画像データを重畳表示させる。
(7)(6)ネイル画像データを表示させた印刷領域について、受付部607がユーザによる編集を受け付けている場合には、反映部608がその編集を反映させる。
(8)印刷指示部609は、設定された内容に応じたネイルアートの印刷をプリンタ151に実行させる。
本実施形態に係るCPU103は、ROM104又は外部記憶装置106に格納されているネイルアプリのプログラムを実行する。次いでCPU154は、ネイルアプリの処理として、ユーザが選択したネイル画像データを、画像上の部分領域(ここでは、爪に対応する領域)に反映して、挿入部158に挿入されている部分領域に対応する箇所に印刷を行う。本実施形態において、ネイルアプリの実行時の手順及び動作は、基本的には以下の(1)~(8)のように行われる。各処理について、詳細な説明は後述する。
(1)ユーザが、アプリケーション上で、印刷に用いるネイルアートデータを設定する。本実施形態においては、図2に示されるようなユーザインターフェース(UI)画面上でユーザがネイルアートデータを選択するものとする。
(2)アプリケーションにより、CPU154が、撮像部157のカメラを起動する。
(3)表示制御部604は、撮像部157が撮像した画像データを取得し、表示画像としてユーザに表示する。
(4)ユーザがプリンタ151の挿入部158に手を挿入する。
(5)爪検出部605が、画像データから部分領域(爪の領域)を検出し、その領域を印刷領域設定部606がネイルアートを印刷する領域として設定する。以下、このように設定される、画像上のネイルアートを印刷する領域を、印刷領域と呼ぶものとする。
(6)表示制御部604は、表示画像に設定した印刷領域上に、((1)で)ユーザが選択したネイルアートデータに含まれるネイル画像データを重畳表示させる。
(7)(6)ネイル画像データを表示させた印刷領域について、受付部607がユーザによる編集を受け付けている場合には、反映部608がその編集を反映させる。
(8)印刷指示部609は、設定された内容に応じたネイルアートの印刷をプリンタ151に実行させる。
[ネイルアプリのインターフェース]
まず、ネイルアプリの実行時に情報処理装置101が表示するUI画面について説明を行う。以下において説明するUI画面は、ネイルアプリを実行するCPU103により、表示部108に表示される画面である。また、ここでの入力I/F102は、表示部108と一体となった操作部として機能するものとして説明を行う。
まず、ネイルアプリの実行時に情報処理装置101が表示するUI画面について説明を行う。以下において説明するUI画面は、ネイルアプリを実行するCPU103により、表示部108に表示される画面である。また、ここでの入力I/F102は、表示部108と一体となった操作部として機能するものとして説明を行う。
本実施形態に係るネイルアプリのUI画面は4種類に分類される。第1のUI画面は、図2に示すネイルアートデータの選択画面である。第2のUI画面は、図5に示すネイル画像データの設定画面である。第3のUI画面は、図3に示す印刷データの作成画面である。第4のUI画面は、図8に示す印刷領域の編集画面である。以下、各図面を参照して、ネイルアプリのUI画面について説明する。
図2は、ネイルアートデータの選択画面の一例を表す図である。図2に示される選択画面201には、ネイルアートデータを表示する表示領域202と、ネイルアートデータの選択を決定する決定ボタン204とが表示されている。表示領域202には、各爪に印刷するネイルアートのデザインコンセプトに対応したネイルアートデータ203が複数表示されている。ここでは、表示領域202上には、予め設定されている複数のネイルアートが一覧で表示されているものとするが、例えばユーザによる設定に応じてネイルアートの追加が可能であってもよい。
図2の例では、表示領域202に4つのネイルアートデータ203が表示されており、1つのネイルアートデータ203には親指、人差し指、中指、薬指、及び小指に対応する5種類(左右で10種類)のネイル画像データが表示されている。ユーザは、表示領域202に表示されるネイルアートデータ203のうち、1つ又は複数を選択(若しくは選択を解除)することができる。選択する方法は特に限定されないが、例えばネイルアートデータ203上でタップ操作が行われた場合に選択(又は選択を解除)が行われてもよく、クリック操作、又は方向指示ボタンなどを用いた操作による選択がなされてもよい。選択済みのネイルアートデータ203が再び選択された場合には、選択が解除されるものとする。なお、ここでネイル画像データは、爪に印刷するための画像データであり、基本的には左右の手の計10個分がネイルアートデータ203に含まれている。
決定ボタン204は、表示領域202に表示されているネイルアートデータ203のうち、印刷に用いるネイルアートデータの候補を決定するためのボタンである。CPU103は、決定ボタン204が押下された場合に、その時点で選択されているネイルアートデータ203を、印刷に用いるネイルアートデータの候補として決定する。次いでCPU103は、表示部108の表示を、図5に示されるようなネイル画像データの設定画面501へと遷移させる。
図5は、ネイル画像データの設定画面の一例を表す図である。図5に示す設定画面501には、ネイルアートデータの表示領域502、サンプルのプレビュー領域503(左手)及び504(右手)、選択モードの切替ボタン505、選択の解除ボタン506、並びに設定の完了ボタン507が表示されている。表示領域502は、ユーザが選択画面201で選択したネイルアートデータ203を表示する領域である。以下、単に「プレビュー領域」という場合は、プレビュー領域503及び504を区別せずに呼ぶ場合であるものとする。
プレビュー領域503及び504は、それぞれ右手と左手との親指から小指までの5つずつの爪領域508を表示している。ここでは、ユーザによる表示領域502からネイルアートデータ又はネイル画像データを選択することにより、プレビュー領域503及び504に表示される爪領域に重畳表示するネイル画像データが選択され、選択の結果がプレビュー領域内に反映される。なお、プレビュー領域に表示される手及び爪の画像は予め用意された画像であるものとするが、例えば撮像部157により撮像された手(指)の画像がプレビュー領域に表示され、検出される爪領域にネイル画像データが重畳表示されてもよい。
切替ボタン505は、押下された場合に、ネイルアートデータ又はネイル画像データを選択する際の選択モードを切り替えるボタンである。ここでは、切替ボタン505を押下することで、一括選択モードと、通常モードと、の間で切り替えが行われる。一括選択モードでは、選択されたネイルアートデータが一括で爪領域508に反映され、通常モードでは、ネイル画像データごとに選択され爪領域ごとに反映が行われる。
解除ボタン506は、ネイルアートデータ又はネイル画像データの選択を解除するためのボタンであり、本実施形態においては爪領域508のいずれか1つにでもネイル画像データが重畳表示されている場合に押下が可能となる。解除ボタン506が押下されると、反映されている全てのネイル画像データの重畳表示が解除される。
完了ボタン507は、表示領域502に表示されているネイルアートデータ及びネイル画像データのうち、印刷に用いるネイルアートデータを決定するためのボタンである。CPU103は、完了ボタン507が押下された場合に、その時点で選択されているネイルアートデータ及びネイル画像データを、印刷に用いるネイルアートデータとして決定する。次いでCPU103は、表示部108の表示を、図3に示されるような印刷データの作成画面301へと遷移させる。
図3は、印刷データの作成画面の一例を表す図である。図3に示す作成画面301には、設定データの表示領域302、印刷対象の表示領域303、検索ボタン304、プリンタ名の表示領域305、撮像ボタン306、プレビュー領域307、部分領域の設定ボタン308、及び開始ボタン310が表示されている。プレビュー領域307は、プリンタ151の撮像部157で撮像された指及び爪の画像が表示される領域であり、後述する部分領域である印刷領域309を含んでいる。
表示領域302は、図5に示す設定画面501で印刷に用いるネイルアートデータとして設定したネイル画像データを表示する領域である。図3の例では、表示領域302は、ネイル画像データを、左手及び右手の各指について、何種類かに分類して表示を行うことが可能である。ここでは、表示領域302は、「左手の人差し指、中指、薬指、及び小指」、「左手の親指」、「右手の人差し指、中指、薬指、及び小指」、並びに「右手の親指」など、最大4種類の設定に分類して表示を行ってもよい。図3の例では、表示領域302は、設定データ302(a)~(d)の4つの分類により、左手及び右手の全ての爪にネイル画像データが設定されていた場合の、それぞれのネイル画像データを表示している。図3の例では、302(a)は「左手の人差し指、中指、薬指、及び小指」に対応し、302(b)は「左手の親指」に対応し、302(c)は「右手の人差し指、中指、薬指、及び小指」に対応し、302(d)は「右手の親指」に対応する。ここで同時に表示(及び、後続の印刷領域の設定)が行えるネイル画像データは最大4種類であるものとするが、この数は特に限定はされず、1つずつ処理を行ってもよく、左右の爪10つに同時に処理が行えてもよい。本実施形態においては、挿入部に挿入できる(印刷が行える)レールの数が4つであることが想定されているため、最大で同時に4種類の設定が行われる。
表示領域303は、表示領域302に表示されている設定のネイル画像データがどの爪に対応するのかを表示するための領域である。図3では、表示領域303は、設定データ302(a)~(d)にそれぞれ対応するアイコン303(a)~(d)を表示している。本実施形態においては、表示領域302又は表示領域303に表示されるいずれかの設定データをユーザが選択した場合に、選択した爪に対応する印刷領域の撮像画像が、プレビュー領域307に表示される。
検索ボタン304は、ネイルアプリにより情報処理装置101と通信可能なプリンタ151を検索するためのボタンである。検索ボタン304が押下された場合、CPU103は、通信可能なプリンタ151を検索し、発見したプリンタ151を特定する情報を表示部108に表示する。ここでは、発見したプリンタがリスト表示されるものとする。表示されたプリンタのうち、ユーザが選択したプリンタを特定する情報が、表示領域305に表示される。このプリンタのリスト表示は、検索ボタン304が押下された場合になされるものとするが、例えば作成画面301に遷移した際にプリンタ151が未登録の状態である場合に、自動で通信可能なプリンタが検索され、次いでその検索結果のリスト表示が行われてもよい。
撮像ボタン306は、プリンタ151の撮像部157により撮像される画像を取得し、取得した画像をプレビュー領域307に表示するためのボタンである。撮像部157は、撮像ボタン306の押下に応じた指示に従って撮像を開始してもよく、撮像は常に行っており、当該指示を受信したことに応じて撮像画像を情報処理装置101に送信してもよい。本実施形態においては、挿入部158に片手を挿入することを想定しており、挿入していない方の手(又は異なるユーザの手)で撮像ボタン306を押下することで、爪を含むユーザの手先の画像がプレビュー領域307にリアルタイムに表示される。
プレビュー領域307は、上述のように撮像部による撮像画像を表示するための領域である。本実施形態においては、プレビュー領域307は撮像ボタン306が押下された場合に撮像画像を表示するものとするが、例えばプリンタ151が登録されている状態で画面が表示画面301に移行した場合などには自動で撮像画像を表示するようにしてもよい。この場合、CPU103は、ネイルアプリにより作成画面301への遷移時にプリンタ151と通信し、撮像部157での撮像画像を取得することができる。
設定ボタン308は、プレビュー領域に画像が表示されている場合に、印刷領域309を設定する領域設定モードに移行するためのボタンである。開始ボタン310は、設定された印刷領域に基づいて印刷を行う指示をプリンタ151に送信するためのボタンである。以下、図4及び図8を参照して印刷領域309について説明を行う。
図4は、ネイルアプリのモードを印刷領域309を設定するための領域設定モードに遷移した場合の、プレビュー領域307の表示の一例である。CPU103は、画像から部分領域として爪領域を検出し、印刷領域309として設定する。本実施形態においては、CPU101は、爪を含む画像を入力として爪領域を検出するよう予め機械学習で生成した学習モデルを用いて爪領域を検出するものとするが、爪領域を設定可能であれば異なる方法により印刷領域309が設定されてもよい。ここでは、爪の検出は指ごとに行われ、例えば4本の指の爪検出を行う場合には検出処理も4回行われる。印刷領域309はプレビュー領域307上に表示され、ここではバウンディングボックスとして表示されている。
印刷領域309は、プリンタ151によりネイルアートの印刷を行う範囲を示す領域である。印刷領域309に、印刷を行うネイルアートの画像(例えば、ネイル画像データ)を重畳表示させることにより、実際にどのように印刷が行われるかの確認をプレビュー領域307上で行うことができるようになる。
印刷領域309は、ユーザにより編集が可能であってもよい。ユーザがネイルアートを施したい爪は、全ての指の爪である場合もあれば、一部の指の爪である場合もある。そのような観点から、本実施形態に係るCPU103は、印刷領域309を追加又は削除することが可能である。また、本実施形態においては、画像を重畳表示する印刷領域として爪領域が想定されており、各々の爪の大きさは異なることが考えられる。したがって、印刷領域309は、ユーザの入力に応じて大きさが可変であってもよい。このような構成によれば、ユーザは、印刷される爪の画像を確認しながら印刷領域の設定を行うことが可能となる。
本実施形態においては、印刷領域309の位置は一度設定されてからは固定であるものとして説明を行うが、この位置が移動可能であってもよい。例えば、CPU103は、画像認識処理により爪の位置の移動を検出したことに応じて追従するように印刷領域309を移動させてもよく、ユーザ入力に応じて印刷領域309を移動させてもよい。
[印刷領域の編集]
本実施形態に係るCPU103は、印刷領域309に重畳表示させる際のネイル画像データの透明度を設定する。重畳させるネイル画像データを透過させ、印刷領域309の編集の際にネイルアートと印刷される領域とを同時に確認できるようにすることで、ネイルアートの仕上がりを確認しながらの編集をより容易にすることができる。
本実施形態に係るCPU103は、印刷領域309に重畳表示させる際のネイル画像データの透明度を設定する。重畳させるネイル画像データを透過させ、印刷領域309の編集の際にネイルアートと印刷される領域とを同時に確認できるようにすることで、ネイルアートの仕上がりを確認しながらの編集をより容易にすることができる。
ネイル画像データを透過させる場合、印刷領域の編集中にネイル画像データと印刷される領域とを同時に確認できるようになるが、例えばネイルアートの色合いなどによっては、印刷領域と実際の爪の領域との境界が不明瞭になってしまうことがある。印刷領域の境界線を強調表示することによりこの問題は解消するが、今度は境界線の表示によりネイルアートの仕上がりがわかりづらくなってしまうことが考えられる。そのような観点から、CPU103は、印刷領域309の輪郭を示す境界線の表示を制御する。ここで、CPU103は、ネイル画像データの透過度に応じて、印刷領域309の境界線を表示させるか否かを制御する。例えばCPU103は、ネイル画像データを透過させていない場合には印刷領域309の境界線を表示させ、ネイル画像データを透過させている場合には当該境界線を表示させてもよい。このような構成によれば、ネイル画像データを透過させる場合であっても、印刷領域の境界線の表示を制御し、ネイルアートの仕上がりの視認性を向上させることが可能となる。
図8は、印刷領域を編集する編集画面の一例を示す図である。編集画面801には、拡大編集領域802、印刷領域309、スイッチ803、スイッチ804、スライダ805、戻るボタン806、回転アイコン807、移動アイコン808、ガイド809、及び境界線810が表示されている。
本実施形態においては、図4に示される領域設定モードで、ユーザにより印刷領域309のうちのいずれか1つが選択された状態で編集ボタン401が押下された場合に、UI画面が編集画面801へと遷移する。拡大編集領域802は、ユーザが編集ボタン401を押下した際に選択されていた印刷領域309を編集するための、プレビュー領域307の一部を拡大した画面である。拡大編集領域802は、ユーザが選択した印刷領域309に対応する爪を拡大して表示した領域である。ここで、印刷領域309は、ガイド809と一定の位置関係を維持して表示される。
ここでは、拡大編集領域802は、選択されている印刷領域309を中心として、拡大編集領域802とガイド809との上辺、右辺、左辺、及び下辺それぞれの間の長さが等しくなるように表示されている。本実施形態においては、拡大編集領域802はスクロールが可能であり、ユーザによる表示部108上でのスライド移動に応じて任意の方向に表示のスクロール移動が行われる。また、例えばユーザによるピンチイン/アウト操作により、拡大編集領域802におけるプレビュー領域307からの拡大倍率の変更が行われてもよい。
回転アイコン807は、印刷領域309の向きを編集する(回転させる)ためのアイコンである。図8の例では、回転アイコン807に対するドラッグ操作に応じて、印刷領域309が回転してもよい。移動アイコン808は、印刷領域309の位置を編集する(移動させる)ためのアイコンである。図8の例では、移動アイコン808に対するドラッグ操作に応じて、印刷領域309が移動してもよい。ここでは、印刷領域309が移動する際、その移動は拡大編集領域802内に限られるものとするが、例えばドラッグ移動が拡大編集領域802の端に到達した場合には拡大編集領域802がスクロール移動するなど、所定の表示動作が行われてもよい。また、例えばピンチイン/アウト操作により、印刷領域309のアスペクト比が編集可能であってもよい。
スイッチ803は、拡大編集領域802において印刷領域309に重畳表示するネイル画像データの表示方法を切り替えるスイッチである。スイッチ803がONの場合には、ネイル画像データは、そのアスペクト比は維持されず、印刷領域309のアスペクト比に合わせて重畳表示される。スイッチ803がOFFの場合には、ネイル画像データは、そのアスペクト比を維持したまま重畳表示される。
図9(a)は、スイッチ803がOFFである場合のネイル画像データの印刷領域309への重畳表示について説明するための図である。ここでは、印刷領域309の輪郭が境界線810として点線で示されているが、ネイル画像データは印刷領域309からはみ出すように表示されている。ここでは、拡大編集領域802においては、印刷領域309の範囲外のネイル画像データも表示されているものとするが、ネイル画像データのうち、印刷領域309と重複する部分のみが表示される態様でも構わない。本実施形態においては、プレビュー領域307においては、ネイル画像データのうち印刷領域309と重複する部分のみが表示されている。ネイルアートの印刷を行う際には、印刷領域309の範囲外のネイル画像データについては印刷は行われない。
スイッチ804は、プレビュー領域307に対する拡大編集領域802の表示範囲を切り替えるスイッチである。図8の例では、スイッチ804はOFFであり、印刷領域309(爪)を中心として拡大編集領域802が表示されている。ここで、スイッチ804がONである場合には、表示範囲がより広域になり、ユーザが選択した印刷領域309に対応する爪を含む指全体が写るように、拡大編集領域802が表示される。この例では、画像認識処理により指とその範囲が認識されているものとする。図9(b)は、スイッチ804がONである場合の拡大編集領域802における印刷領域の表示の一例を示す図である。図9(b)では、印刷領域309を含む指が拡大編集領域802において表示されており、指全体が表示されているため、スクロール操作は停止される。
スライダ805は、拡大編集領域802において、印刷領域309に重畳表示するネイル画像データの透過度を制御するためのスライダである。スライダ805の操作部はユーザが調整可能であり、スライダ805の位置に応じて、印刷領域309に重畳表示するネイル画像データの透過度が変動する。ここでは、ネイル画像データの透過度は0%~100%で変動し、スライダ805の操作部を右に動かすほどネイル画像データの透過度が上昇する。ネイル画像データのデフォルトの透過度は0%であるものとする。
戻るボタン806は、作成画面301に戻るためのボタンである。戻るボタン606が押下されると、その時点での編集画面801における印刷領域309の編集内容が保存され、作成画面301での表示内容に反映される。
境界線810は、印刷領域309の輪郭(印刷領域309に重畳表示されるネイル画像データの輪郭)を示す境界線である。境界線810は、図8では破線で示されているが、例えば点線、又はネイル画像データの色相の補色での実線など、印刷領域309の輪郭の視認性を向上させる線であれば特に破線に限定されるわけではない。
本実施形態に係る境界線810は、上述のようにネイル画像データの透過度に応じて表示するか否かが決定される。CPU103は、例えば、ネイル画像データの透過度に応じて、ネイル画像データが透過しているか否かを判定し、透過していないと判定した場合には境界線810を表示させず、透過していると判定した場合には境界線810を表示させてもよい。ここでは、CPU103は、例えば透過度が100%未満である場合にネイル画像データが透過していると判定してもよく、マージンをもたせ、透過度が95%以下、又は90%以下など所定の閾値以下である場合にネイル画像データが透過していると判定してもよい。なお、本実施形態においては、スライダ805の移動により変動する透過度の最低単位は1%であるものとするが、例えば0.1%など、所望の精度に応じて任意の変動単位を設定することができる。
また、CPU103は、ネイル画像データの透過度に応じて、境界線810の透過度を設定してもよい。例えばCPU103は、ネイル画像データの透過度が上昇するのに応じて、境界線810の透過度が下降するようにしてもよい。この場合、CPU103は、例えばネイル画像データの透過度の%値と境界線810の%値との合計値が所定の値(例えば、100%)となるようにしてもよい。また例えばCPU103は、ネイル画像データの透過度に閾値を設定し、ネイル画像データの透過度がその閾値を超えているか否かで境界線810の透過度を設定してもよい。ここで、この閾値は複数存在していてもよい。すなわち、ネイル画像データの透過度の%に何段階かの範囲を設定し、その範囲ごとに対応する境界線810の透過度を設定してもよい。
なお、CPU103は、印刷領域309の回転又は移動などの編集作業中には、境界線810の透過度を上昇させてもよい。とりわけ、(ネイル画像データの透過度が100%である場合など)境界線810の透過度が透過していない場合には、印刷領域309の編集作業中は透過させる(例えば、20%透過度を上昇させる)ことで、操作中の視認性を向上させることができる。境界線810が透過しているか否かは、ネイル画像データが透過しているか否かと同様に判定を行うことができる。
[境界線の色決定処理]
図10は、本実施形態に係る情報処理装置101が行う、境界線810の色を決定する処理の一例を示すフローチャートである。CPU103は、S1001~S1003を含むフロー1000を、スライダ805を動かして停止させたタイミングで開始してもよく、ネイル画像データの透過度が変動したタイミングで開始してもよい。
図10は、本実施形態に係る情報処理装置101が行う、境界線810の色を決定する処理の一例を示すフローチャートである。CPU103は、S1001~S1003を含むフロー1000を、スライダ805を動かして停止させたタイミングで開始してもよく、ネイル画像データの透過度が変動したタイミングで開始してもよい。
S1001でCPU103は、ネイル画像データの色情報を取得する。ネイル画像データの色情報は、少なくとも表色パラメータ(RGB)と及び透過度パラメータ(α)(0%≦α≦100%)を含む。ここでは、表色パラメータはネイル画像データごとに設定されており、RGB値で取得されるものとする。また、透過度パラメータαは、スライダ805の位置に応じて取得されるものとする。
S1002でCPU103は、S1001で取得した色情報に基づいて、境界線810の色情報を算出する。境界線810の色情報は、少なくとも表色パラメータ(RGB)と及び透過度パラメータ(β)(0%≦β≦100%)を含む。境界線810の表色パラメータは、例えば固定の色であってもよく、ネイル画像データ又は爪画像の色相の補色であってもよい。補色を用いることにより、例えば境界線を透過させている場合であっても、その境界線の視認性を向上させ、印刷領域の編集時のユーザビリティを改善することができる。
なお、境界線810をネイル画像データの補色とした際に、その補色が爪の色と区別しづらい場合には、ネイル画像データを透過させたときに印刷領域309の境界が確認しづらくなってしまうことが考えられる。このような観点から、ネイル画像データの補色と、撮像画像から算出される爪画像の色差が所定の閾値以下である場合には、境界線810の表色パラメータを、ネイル画像データの補色ではなく爪画像の補色としてもよい。この色差は、例えばRGB値でのユークリッド距離により算出される。ここで、閾値は、所望の認識しづらさに応じて、任意の値として設定が可能である。
また、境界線810の幅は一定でなくともよい。例えばCPU103は、スイッチ804がONになり、表示範囲がより広域となった場合に、境界線810の線幅をより太くすることにより視認性を向上させてもよい。
S1003でCPU103は、S1002で算出された色情報を、拡大編集領域802内の表示に反映させ、フロー1000を終了する。
[情報処理装置の構成]
図6は、本実施形態に係る情報処理装置101の機能構成の一例を示すブロック図である。情報処理装置101は、選択受付部601、データ設定部602、撮像指示部603、表示制御部604、爪検出部605、印刷領域設定部606、受付部607、反映部608、及び印刷指示部609を備える。
図6は、本実施形態に係る情報処理装置101の機能構成の一例を示すブロック図である。情報処理装置101は、選択受付部601、データ設定部602、撮像指示部603、表示制御部604、爪検出部605、印刷領域設定部606、受付部607、反映部608、及び印刷指示部609を備える。
選択受付部601は、図2を参照して説明したように、ユーザからのネイルアートデータの選択を受けつけ、印刷に用いるネイルアートデータの候補として設定する。また選択受付部601は、図3を参照して説明したように、表示領域302からのプレビュー領域307に表示する設定データのユーザの選択を受け付ける。データ設定部602は、図5を参照して説明したように、選択受付部601が設定した候補からユーザの選択を受け付け、印刷に用いるネイルアートデータとして決定する。
撮像指示部603は、プリンタ151の撮像部157へと撮像指示を行う。本実施形態においては、撮像指示部603は、図3を参照して説明したように、作成画面301上の撮像ボタン306がユーザに押下されたことに応じて、又は作成画面301への遷移を検知したことに応じて、撮像部157へと撮像指示を行う。表示制御部604は、撮像部157による撮像画像を取得し、その一部又は全体を表示部108に表示させる。本実施形態においては、表示制御部604は、図3を参照して説明したように、撮像画像をプレビュー領域307に表示させる。
爪検出部605は、撮像部157による撮像画像から部分領域を検出し、印刷領域として出力する。ここで、検出する部分領域は、ネイルプリンタにより印刷を行う範囲としての領域であり、上述の通り爪領域が用いられる。印刷領域設定部606は、プレビュー領域307上に印刷領域309を設定する。
受付部607は、設定データに含まれるネイル画像データと印刷領域309との対応付けを行い、図3を参照して説明したように、プレビュー領域307に表示を行う設定データの(表示領域302からの)ユーザ選択を受け付ける。反映部608は、受付部607が受け付けたユーザ選択を、プレビュー領域307の表示に反映させる。また、受付部607は、図8の編集画面801を参照して説明したような、印刷領域309及びネイル画像データの表示についての各種編集処理(例えば、印刷領域309の回転又は移動など)を行うユーザの入力を受け付けてもよい。その場合、反映部608は、ユーザから受け付けた入力に応じて、印刷領域の編集を行う。
また、表示制御部604は、ネイル画像データを撮像画像に重畳表示させる際の、ネイル画像データの透過度を設定する。さらに表示制御部604は、ネイル画像データの透過度に応じて、印刷領域309の輪郭を示す境界線を表示させるか否かの制御を行う。本実施形態においては、表示制御部604は、ネイル画像データの透過度に応じて境界線810の透過度の設定を行ってもよい。
[システムの処理]
図7は、本実施形態に係る情報処理装置101及びプリンタ151を含むシステムにより行われる、ユーザの入力に対応する処理の一例を示すシーケンスである。図7の処理は、ユーザが情報処理装置101でネイルアプリを実行し、ネイルアプリを動作させることにより、挿入部158に挿入した爪にプリントエンジン155がネイルアートを印刷する処理の例である。すなわち、図7の処理は、ユーザがネイルアプリを実行することにより開始される。以下のユーザが行うものを除く各処理は、情報処理装置101のCPU103及びプリンタ151のCPU154により、ROM又は外部記憶装置に格納されているプログラムコードをRAMに展開及び実行することにより実行される。
図7は、本実施形態に係る情報処理装置101及びプリンタ151を含むシステムにより行われる、ユーザの入力に対応する処理の一例を示すシーケンスである。図7の処理は、ユーザが情報処理装置101でネイルアプリを実行し、ネイルアプリを動作させることにより、挿入部158に挿入した爪にプリントエンジン155がネイルアートを印刷する処理の例である。すなわち、図7の処理は、ユーザがネイルアプリを実行することにより開始される。以下のユーザが行うものを除く各処理は、情報処理装置101のCPU103及びプリンタ151のCPU154により、ROM又は外部記憶装置に格納されているプログラムコードをRAMに展開及び実行することにより実行される。
S701で情報処理装置101は、ユーザによる1つ以上のネイルアートデータの選択を取得し、印刷に用いるネイルアートデータの候補として設定する。ここでは、ユーザが表示領域202からネイルアートデータ203を選択した後に決定ボタン204を押下した場合に、押下時に選択されていたネイルアートデータ203が印刷に用いるネイルアートデータの候補として設定され、UI画面が設定画面501へと遷移する。
S702で情報処理装置101は、ユーザによるネイル画像データの選択を取得し、表示領域502の爪領域508に選択されたネイル画像データを表示する。ここでは、ユーザが完了ボタン507を押下した場合に押下時点で選択されていたネイル画像データが印刷に用いるネイルアートデータとして決定され、UI画面が作成画面301へと遷移する。
S703で情報処理装置101は、印刷を実行するプリンタを設定する。本実施形態においては、ユーザが検索ボタン304を押下し、検索されたプリンタの中から選択されたプリンタが、印刷を実行するプリンタとして設定される。
S704で撮像指示部603は、S703で設定されたプリンタと通信を行い、撮像の指示を送信する。ここで撮像指示部603は、撮像部157のカメラを起動する起動ジョブをプリンタ151に送信してもよい。この場合、プリンタ151は、起動ジョブの受信に応じて、撮像部157を起動する。
S705でプリンタ151は、撮像部157で取得した撮像画像を情報処理装置101に送信する。本実施形態においては、情報処理装置101は、プリンタ151から受信した撮像画像を、プレビュー領域307に表示する。ここでは、撮像部157で経時的に取得される撮像画像(動画)が、ほぼリアルタイムでプレビュー領域307に表示されるものとする。本実施形態においては、後述するS707において挿入部158にユーザの手が挿入され、プレビュー領域307にはユーザの指先及び爪の画像が表示される。
S706で選択受付部601は、ユーザによる、プレビュー領域307に表示する爪の設定を取得する。ここでは、ユーザが、表示領域302から、プレビュー領域307に表示する爪の設定を選択し、その選択結果がプレビュー領域307に反映される。ここで、表示制御部604は、ユーザが選択したネイル画像データを強調表示してもよい。
S707でユーザは、挿入部158に手を挿入する。ここで、情報処理装置101は、挿入部158に手を挿入することを促す通知をユーザに対して行ってもよい。この通知は、例えば表示部に文字又は記号などを表示することで行ってもよく、音声又は振動などにより行ってもよく、これらを組み合わせて行ってもよい。ここでは、ユーザは、ネイル画像データをより精彩に印刷するために、爪にジェル状の液体(ベースコート)を塗布しておく。ベースコートの色は、例えば白または半透明などがある。
S708で印刷領域設定部606は、ユーザにより設定ボタン308が押下されたことに応じて、S709~S713における、プレビュー領域307上に印刷領域309を設定する処理を開始する。ここでは、挿入部158のレールの数に対応した、最大4つまでの印刷領域の設定が可能である。本実施形態においては、最大値の4つの印刷領域309が同時に設定され、それぞれレール番号に対応した「1」~「4」の番号が対応付けられて、RAM105に記録される。なお、S709~S712の処理を省略して、S704~S705により撮像部157から送信されてきている撮像画像から爪領域の検出が行われてもよいものとする。
S709で撮像指示部603は、プリンタ151に対して爪の撮像指示を行う。ここでは、撮像指示部603は、撮像を行うレール番号も同時にプリンタ151に送信する。続くS710~S712の処理は、レール番号ごとにそれぞれ独立して行われる。これらの独立した処理は順番に繰り返し行われてもよく、同時に行われてもよい。
S710でプリンタ151は、S709で受信した、撮像を行うレール番号のレールを上昇させる。ここでは、プリンタ151は、レール上の爪がプリンタ151の印字ヘッドと近接するよう、所定の高さへとレールを上昇させる。爪と印字ヘッドとが近接するようにレールを上昇させることで、例えばプリンタ151がインクジェットプリンタである場合に、印字ヘッドから吐出されたインクがより確実に爪に付着するようにできる。プリンタ151が挿入部内部にレーザセンサを備えており、レーザセンサによるレーザが遮断されない直前の高さにまでレールを上げることにより、レールの高さ調整が行われてもよい。
レールの高さ調整にレーザセンサを用いる場合、爪のおおよその位置を取得し、センサの可動範囲をその爪の位置に限定した方が、指全体を可動範囲とするよりも効率的に位置の調整が可能となる。そのような観点から、情報処理装置101は、爪の高さ調整を行う前に、取得した撮像画像から爪領域の検出を行い、爪の位置を示す情報をプリンタ151に送信してもよい。このように、S713より先の事前の爪検出をプレ爪検出と呼ぶものとする。プレ爪検出においては、レールの高さ調整は行わず、S705から取得した撮像画像を用いて検出が行われてもよく、S709以前にさらにもう一度撮像指示がプリンタ151に送信されてもよい。プリンタ151は、プレ爪検出の結果を受信した場合には、爪の位置を示す情報に基づいてレーザセンサの可動範囲を設定し、その可動範囲の中で、レーザセンサの高さを決定する。
S711でプリンタ151は、撮像部157により撮像画像を取得する。S712でプリンタ151は、S711で取得した撮像画像(静止画)を情報処理装置101に送信する。ここで、プリンタ151はレールの高さを戻してもよく、レールの高さを維持して継続的に撮像画像を情報処理装置101に送信してもよい。
S713で爪検出部605は、撮像画像から爪領域を検出する。爪領域の検出は、一般的に行われる画像検出処理を任意に用いて行うことが可能であるが、例えば爪に塗布するベースコートの白色を検出することにより、爪領域が検出されてもよい。具体的には、爪検出部605は、撮像画像中のRGB値が所定の条件を満たす画素(例えば、R>200、G>200、かつB>200)の領域を検出し、爪領域とすることができる。この場合、レールの色を黒くすることで、また、レールの素材を光を乱反射するものにすることで、白色による爪領域の誤検出を低減することができる。ベースコートに半透明のものを使う場合、又はベースコートを用いない場合などには、上述したように予め爪領域を検出するよう機械学習で生成した学習モデルを用いて爪領域が検出される。肌の色及び爪の形は人により異なるため、学習画像に様々なパターンの手を用意しておくことで、学習モデルによる爪領域の検出の精度を向上させることができる。機械学習のフレームワークは、既存の所望のものを用いることが可能である。
ここで、S711~S713でそれぞれレールごとに撮像、検出された爪領域を含む画像が、プレビュー領域307に表示される。本実施形態においては、それぞれ爪領域を含む指の画像が切り出され、プレビュー領域307に並べて表示される。
S714で受付部607は、プレビュー領域307上に印刷領域309を設定し、ユーザから受け付けた設定データの選択について、表示制御部604が印刷領域309上にネイル画像データを重畳表示する。ここでは、受付部607は、設定データに含まれるネイル画像データと印刷領域309との対応付けを行い、表示制御部604が対応するネイル画像データを重畳表示する。
S715では、受付部607がユーザからの印刷領域309の編集操作を受け付けた場合に、当該編集操作を反映部608がプレビュー領域307上での印刷領域309において反映する。
S716で印刷指示部609は、ユーザが選択した設定データが印刷領域に反映された印刷データを作成する。本実施形態においては、印刷指示部609は、ユーザにより開始ボタン310が押下されたことに応じて、押下時点での印刷領域309、及びそれに対応付けられたネイル画像データを、印刷データとして作成することができる。ここで、表示制御部は、挿入部158から手を動かさないことを促す通知をユーザに対して行ってもよい。この通知は、例えば表示部に文字又は記号などを表示することで行ってもよく、音声又は振動などにより行ってもよく、これらを組み合わせて行ってもよい。S717で印刷指示部609は、S716で作成した印刷データに基づく印刷指示をプリンタ151に送信する。
S718でプリンタ151は、S710で上昇させたときに同じ高さにそれぞれのレールを上昇させる。S719でプリンタ151は、S717で受信した印刷データに基づいて印刷を行う。S718~S719の処理は、レール番号ごとにそれぞれ独立して行われる。これらの独立した処理は順番に繰り返し行われてもよく、同時に行われてもよい。
なお、プリンタ151は、ネイルアートの印刷中に挿入部158内の手の移動を検知した場合に、ネイルアートの印刷を停止してもよい。この手の移動は、撮像部157による撮像画像に基づいて検出されてもよく、プリンタ151が備えるセンサにより検出されてもよく、情報処理装置101により検出されてもよい。情報処理装置101が挿入部158内の手の移動を検知した場合には、その時点で印刷の停止指示がプリンタ151に送信される。
このような構成によれば、画像内の領域と重畳画像との視認性を向上させ、領域の編集時のユーザビリティを改善させることが可能となる。したがって、ネイルプリンタにおいて、印刷するネイル画像と爪領域とを同時に確認しながら、境界部の認識性も向上させることが可能となる。
なお、本実施形態においては、部分領域として爪領域を用い、爪領域にネイル画像データを重畳表示させるネイルプリンタの例について説明を行ったが、重畳表示させる際の視認性を向上させたいケースであれば、特にこのように限定されるわけではない。
また、本実施形態に係るプリンタ151は、挿入部158に片手を挿入する形態のプリンタ151であるものとして説明を行ったが、挿入部158に両手を同時に挿入可能であってもよい。その場合、例えば店員などの他のユーザによって操作が可能であってもよく、印刷の開始を、設定した時間(例えば、開始ボタンを押してから10秒後など)に行うように構成されていてもよい。
またさらに、本実施形態においては、ネイルアートとして画像(模様)を印刷するものとして説明を行ったが、印刷が可能なものであれば特にこれに限定されるわけではない。例えば、3次元構造物などを表す形状データと画像データとを用いて、模様を含む構造物をネイルアートとして印刷するような構成であってもよい。
また、本実施形態には挿入部に挿入した爪に直接ネイルアートの印刷を行う例について説明したが、例えばシールなどの爪に装着するオブジェクトに印刷を行うなど、異なる印刷形態であってもよい。
本明細書の開示は、以下の情報処理装置、情報処理方法、及びプログラムを含む。
(項目1)
第1の画像上に第1の部分領域を設定する第1の設定手段と、
前記第1の画像の前記第1の部分領域に第2の画像を重畳表示させる第1の制御手段と、
前記第2の画像を重畳表示させる際の、前記第2の画像の透過度を設定する第2の設定手段と、
前記第1の部分領域の輪郭を示す境界線の表示を制御する第2の制御手段と、を備え、
前記第2の制御手段は、前記第2の画像の透過度に応じて、前記境界線を表示させるか否かを制御することを特徴とする、情報処理装置。
第1の画像上に第1の部分領域を設定する第1の設定手段と、
前記第1の画像の前記第1の部分領域に第2の画像を重畳表示させる第1の制御手段と、
前記第2の画像を重畳表示させる際の、前記第2の画像の透過度を設定する第2の設定手段と、
前記第1の部分領域の輪郭を示す境界線の表示を制御する第2の制御手段と、を備え、
前記第2の制御手段は、前記第2の画像の透過度に応じて、前記境界線を表示させるか否かを制御することを特徴とする、情報処理装置。
(項目2)
前記第2の画像の透過度に応じて、前記第2の画像が透過しているか否かを判定する判定手段をさらに備え、
前記第2の制御手段は、前記第2の画像が透過していないと判断された場合には、前記境界線を表示させないことを特徴とする、項目1に記載の情報処理装置。
前記第2の画像の透過度に応じて、前記第2の画像が透過しているか否かを判定する判定手段をさらに備え、
前記第2の制御手段は、前記第2の画像が透過していないと判断された場合には、前記境界線を表示させないことを特徴とする、項目1に記載の情報処理装置。
(項目3)
前記第2の制御手段は、前記第2の画像の透過度に応じて、前記境界線の透過度を制御することをさらに特徴とする、項目1又は2に記載の情報処理装置。
前記第2の制御手段は、前記第2の画像の透過度に応じて、前記境界線の透過度を制御することをさらに特徴とする、項目1又は2に記載の情報処理装置。
(項目4)
前記第2の制御手段は、前記第2の画像の透過度が上昇するのに応じて前記境界線の透過度が下降するように、前記境界線の透過度を制御することを特徴とする、項目3に記載の情報処理装置。
前記第2の制御手段は、前記第2の画像の透過度が上昇するのに応じて前記境界線の透過度が下降するように、前記境界線の透過度を制御することを特徴とする、項目3に記載の情報処理装置。
(項目5)
前記第2の制御手段は、前記第2の画像の透過度の%値と、前記境界線の%値と、の合計が所定の値となるように、前記境界線の透過度を制御することを特徴とする、項目4に記載の情報処理装置。
前記第2の制御手段は、前記第2の画像の透過度の%値と、前記境界線の%値と、の合計が所定の値となるように、前記境界線の透過度を制御することを特徴とする、項目4に記載の情報処理装置。
(項目6)
前記第2の制御手段は、前記第2の画像の透過度が所定の閾値を超えている場合には、前記境界線の透過度を第1の値とし、前記第2の画像の透過度が所定の閾値以下である場合には、前記境界線の透過度を第2の値とすることを特徴とする、項目4に記載の情報処理装置。
前記第2の制御手段は、前記第2の画像の透過度が所定の閾値を超えている場合には、前記境界線の透過度を第1の値とし、前記第2の画像の透過度が所定の閾値以下である場合には、前記境界線の透過度を第2の値とすることを特徴とする、項目4に記載の情報処理装置。
(項目7)
前記第1の画像上で、前記第1の部分領域の位置又は向きを編集する編集手段をさらに備え、
前記第2の制御手段は、前記第1の部分領域の位置又は向きを編集している間は前記境界線の透過度を上昇させることを特徴とする、項目1乃至6の何れか1項目に記載の情報処理装置。
前記第1の画像上で、前記第1の部分領域の位置又は向きを編集する編集手段をさらに備え、
前記第2の制御手段は、前記第1の部分領域の位置又は向きを編集している間は前記境界線の透過度を上昇させることを特徴とする、項目1乃至6の何れか1項目に記載の情報処理装置。
(項目8)
前記第2の画像の色相を取得する取得手段をさらに備え、
前記第2の制御手段は、前記境界線の色を、前記第2の画像の色相の補色にすることを特徴とする、項目1乃至7の何れか1項目に記載の情報処理装置。
前記第2の画像の色相を取得する取得手段をさらに備え、
前記第2の制御手段は、前記境界線の色を、前記第2の画像の色相の補色にすることを特徴とする、項目1乃至7の何れか1項目に記載の情報処理装置。
(項目9)
前記取得手段は、前記第1の画像の、前記第1の部分領域における色相をさらに取得し、
前記第2の制御手段は、前記第1の部分領域における色相と前記第2の画像の色相の補色との色差が、所定の閾値以下である場合には、前記境界線の色を、前記第1の部分領域における色相の補色とすることを特徴とする、項目8に記載の情報処理装置。
前記取得手段は、前記第1の画像の、前記第1の部分領域における色相をさらに取得し、
前記第2の制御手段は、前記第1の部分領域における色相と前記第2の画像の色相の補色との色差が、所定の閾値以下である場合には、前記境界線の色を、前記第1の部分領域における色相の補色とすることを特徴とする、項目8に記載の情報処理装置。
(項目10)
前記第1の部分領域は、前記第1の画像から検出される爪の領域であり、
前記第2の画像は、前記爪に印刷する画像であることを特徴とする、項目1乃至9の何れか1項目に記載の情報処理装置。
前記第1の部分領域は、前記第1の画像から検出される爪の領域であり、
前記第2の画像は、前記爪に印刷する画像であることを特徴とする、項目1乃至9の何れか1項目に記載の情報処理装置。
(項目11)
第1の画像上に第1の部分領域を設定する工程と、
前記第1の画像の前記第1の部分領域に第2の画像を重畳表示させる工程と、
前記第2の画像を重畳表示させる際の、前記第2の画像の透過度を設定する工程と、
前記第1の部分領域の輪郭を示す境界線の表示を制御する工程と、を備え、
前記境界線の表示を制御する工程は、前記第2の画像の透過度に応じて、前記境界線を表示させるか否かを制御することを特徴とする、情報処理方法。
第1の画像上に第1の部分領域を設定する工程と、
前記第1の画像の前記第1の部分領域に第2の画像を重畳表示させる工程と、
前記第2の画像を重畳表示させる際の、前記第2の画像の透過度を設定する工程と、
前記第1の部分領域の輪郭を示す境界線の表示を制御する工程と、を備え、
前記境界線の表示を制御する工程は、前記第2の画像の透過度に応じて、前記境界線を表示させるか否かを制御することを特徴とする、情報処理方法。
(項目12)
コンピュータを、項目1乃至10の何れか一項目に記載の情報処理装置の各手段として機能させるためのプログラム。
コンピュータを、項目1乃至10の何れか一項目に記載の情報処理装置の各手段として機能させるためのプログラム。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
101:情報処理装置、151:プリンタ
Claims (12)
- 第1の画像上に第1の部分領域を設定する第1の設定手段と、
前記第1の画像の前記第1の部分領域に第2の画像を重畳表示させる第1の制御手段と、
前記第2の画像を重畳表示させる際の、前記第2の画像の透過度を設定する第2の設定手段と、
前記第1の部分領域の輪郭を示す境界線の表示を制御する第2の制御手段と、を備え、
前記第2の制御手段は、前記第2の画像の透過度に応じて、前記境界線を表示させるか否かを制御することを特徴とする、情報処理装置。 - 前記第2の画像の透過度に応じて、前記第2の画像が透過しているか否かを判定する判定手段をさらに備え、
前記第2の制御手段は、前記第2の画像が透過していないと判断された場合には、前記境界線を表示させないことを特徴とする、請求項1に記載の情報処理装置。 - 前記第2の制御手段は、前記第2の画像の透過度に応じて、前記境界線の透過度を制御することをさらに特徴とする、請求項1に記載の情報処理装置。
- 前記第2の制御手段は、前記第2の画像の透過度が上昇するのに応じて前記境界線の透過度が下降するように、前記境界線の透過度を制御することを特徴とする、請求項3に記載の情報処理装置。
- 前記第2の制御手段は、前記第2の画像の透過度の%値と、前記境界線の%値と、の合計が所定の値となるように、前記境界線の透過度を制御することを特徴とする、請求項4に記載の情報処理装置。
- 前記第2の制御手段は、前記第2の画像の透過度が所定の閾値を超えている場合には、前記境界線の透過度を第1の値とし、前記第2の画像の透過度が所定の閾値以下である場合には、前記境界線の透過度を第2の値とすることを特徴とする、請求項4に記載の情報処理装置。
- 前記第1の画像上で、前記第1の部分領域の位置又は向きを編集する編集手段をさらに備え、
前記第2の制御手段は、前記第1の部分領域の位置又は向きを編集している間は前記境界線の透過度を上昇させることを特徴とする、請求項1に記載の情報処理装置。 - 前記第2の画像の色相を取得する取得手段をさらに備え、
前記第2の制御手段は、前記境界線の色を、前記第2の画像の色相の補色にすることを特徴とする、請求項1に記載の情報処理装置。 - 前記取得手段は、前記第1の画像の、前記第1の部分領域における色相をさらに取得し、
前記第2の制御手段は、前記第1の部分領域における色相と前記第2の画像の色相の補色との色差が、所定の閾値以下である場合には、前記境界線の色を、前記第1の部分領域における色相の補色とすることを特徴とする、請求項8に記載の情報処理装置。 - 前記第1の部分領域は、前記第1の画像から検出される爪の領域であり、
前記第2の画像は、前記爪に印刷する画像であることを特徴とする、請求項1に記載の情報処理装置。 - 第1の画像上に第1の部分領域を設定する工程と、
前記第1の画像の前記第1の部分領域に第2の画像を重畳表示させる工程と、
前記第2の画像を重畳表示させる際の、前記第2の画像の透過度を設定する工程と、
前記第1の部分領域の輪郭を示す境界線の表示を制御する工程と、を備え、
前記境界線の表示を制御する工程は、前記第2の画像の透過度に応じて、前記境界線を表示させるか否かを制御することを特徴とする、情報処理方法。 - コンピュータを、請求項1乃至10の何れか一項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022076747A JP2023165553A (ja) | 2022-05-06 | 2022-05-06 | 情報処理装置、情報処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022076747A JP2023165553A (ja) | 2022-05-06 | 2022-05-06 | 情報処理装置、情報処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023165553A true JP2023165553A (ja) | 2023-11-16 |
Family
ID=88748773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022076747A Pending JP2023165553A (ja) | 2022-05-06 | 2022-05-06 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023165553A (ja) |
-
2022
- 2022-05-06 JP JP2022076747A patent/JP2023165553A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11494065B2 (en) | Storage medium, control method of information processing apparatus, and information processing apparatus | |
JP4605006B2 (ja) | 印刷データ生成装置、印刷データ生成方法及びプログラム | |
US20160277877A1 (en) | System, information processing apparatus, method, and storage medium storing a program | |
JP4991614B2 (ja) | レイアウト決定方法、プログラムおよび装置 | |
KR102155827B1 (ko) | 이미지 파일 변환 방법 및 3차원 인쇄 시스템 | |
US8699039B2 (en) | Document generating apparatus, display control apparatus, document generating method, display control method and computer readable medium | |
JP2023165553A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20210386178A1 (en) | Storage medium, computer control method, and information processing apparatus | |
JP4660075B2 (ja) | マルチファンクションプリンタ、レーベル印刷方法、そのプログラム及び印刷システム | |
US11961288B2 (en) | Storage medium, control method of information processing apparatus, and information processing apparatus | |
US11903476B2 (en) | Information processing apparatus, method of controlling information processing apparatus, and method of generating learning model | |
US11494136B2 (en) | Storage medium having fingernail image processing, information processing apparatus, and control method of information processing apparatus | |
US20220036509A1 (en) | Information processing apparatus, control method of information processing apparatus, and storage medium | |
JP6217691B2 (ja) | 表示制御方法、表示制御プログラムおよび表示制御装置 | |
JP7024547B2 (ja) | アプリケーションプログラム | |
JP2022026875A (ja) | プログラム、情報処理装置、印刷システム、および制御方法 | |
JP2023169706A (ja) | プログラム、情報処理装置、ネイルプリント装置、および制御方法 | |
JP4449785B2 (ja) | マルチファンクションプリンタ、レーベル印刷方法及びそのプログラム | |
JP7226412B2 (ja) | 表示装置、印刷装置、印刷システム、表示方法及びプログラム | |
JP2022169179A (ja) | 印刷装置 | |
JP3888195B2 (ja) | トリミング設定装置及び印刷装置 | |
JP6551363B2 (ja) | 情報処理装置 | |
JP2023107402A (ja) | 情報処理装置、印刷システム、情報処理装置の制御方法およびプログラム | |
JP6772528B2 (ja) | プログラムおよび情報処理装置 | |
JP6443224B2 (ja) | 画像処理連携システムと連携方法、画像処理装置および画像処理連携プログラム |