JP2023045355A - 制御装置、印刷装置、表示制御方法及びプログラム - Google Patents

Abstract

【課題】装置内に配置された指の様子を容易に把握することのできる制御装置、印刷装置、表示制御方法及びプログラムを提供する。【解決手段】制御装置１０が、互いに異なる向きからの指Ｕの指画像であって、且つ筐体２内に配置された指Ｕを撮影した指画像に基づいた表示用画像を、筐体２の互いに異なる面側に配置された複数の表示手段である表示部６に、表示部６の配置された面側に応じて表示させるよう制御する制御部１１、を備えている。【選択図】図５

Description

本発明は、制御装置、印刷装置、表示制御方法及びプログラムに関するものである。

近年、印刷装置を用いて人の爪等の印刷対象に各種デザイン等を印刷するネイルプリントが行われている。このような印刷装置では、装置内に手や指を配置した状態で印刷を行う。
しかし、内部の様子が分からないところに手や指を挿入し、配置することには戸惑いや恐怖を感じることがある。このため、装置内部を可視化することが望まれる。

この点、例えば特許文献１には、このような用途の印刷装置の筐体に窓を設けて内部の様子を覗くことができるようする構成が記載されている。
具体的には、装置内部にミラーを配置し、装置筐体の上方に窓部を設けて、窓部から指の爪の上面を視認することができるとともに、ミラーに映し出された、指の爪の側面等を視認できるようにしている。

特開２０２０－１０３４４８号公報

しかしながら、特許文献１の構成では、筐体の上方に設けられた１か所の窓部から装置内部を見ることしかできない。
このため、指の爪の上面だけでなく、ミラー等を介して指の爪の側面等を見ることができたとしても、上下左右の感覚がつかみにくく、ユーザが内部を確認した結果、指や爪の位置を修正しようとしても、どのように指を動かせばいいかを直感的に把握できず、操作に迷うおそれがある。

本発明は以上のような事情に鑑みてなされたものであり、装置内に配置された指の様子を容易に把握することのできる制御装置、印刷装置、表示制御方法及びプログラムを提供することを目的とするものである。

前記課題を解決するために、本発明の制御装置の一態様は、
互いに異なる向きからの指の指画像であって、且つ筐体内に配置された前記指を撮影した前記指画像に基づいた表示用画像を、前記筐体の互いに異なる面側に配置された複数の表示手段に、前記表示手段の配置された前記面側に応じて表示させるよう制御する制御部、
を備えることを特徴としている。

本発明によれば、装置内に配置された指の様子を容易に把握することができるとの効果を奏する。

第１の実施形態に係る印刷装置の外観構成を示す要部斜視図である。 実施形態に係る印刷装置の要部内部構成を示す斜視図である。 第１の実施形態に係る印刷装置の制御構成を示した要部ブロック図である。 実施形態における指画像の一例を示す平面図である。 図１に示す印刷装置の表示部に表示用画像を表示させた例を示す斜視図である。 第１の実施形態における表示制御処理を示すフローチャートである。 （ａ）は、印刷ヘッドと指が干渉しない状態の側面画像の例を示す図であり、（ｂ）は、印刷ヘッドと指が干渉する状態の側面画像の例を示す図である。 移動領域重畳処理を示すフローチャートである。 （ａ）は、指が適正位置にない状態の上面画像の例を示す図であり、（ｂ）は、指が適正位置に配置された状態の上面画像の例を示す図であり、（ｃ）は、指が適正位置にない状態の側面画像の例を示す図であり、（ｄ）は、指が適正位置に配置された状態の側面画像の例を示す図である。 適正位置重畳処理を示すフローチャートである。 第２の実施形態に係る印刷装置の外観構成を示す要部斜視図である。 第２の実施形態に係る印刷装置及びこれと連携する端末装置の制御構成を示した要部ブロック図である。 第２の実施形態における表示制御処理を示すフローチャートである。 第３の実施形態に係る印刷装置の外観構成を示す要部斜視図である。 第３の実施形態に係る印刷装置及びこれと連携する端末装置の制御構成を示した要部ブロック図である。 第３の実施形態における表示制御処理を示すフローチャートである。

［第１の実施形態］
図１から図１０を参照しつつ、本発明に係る制御装置、印刷装置、表示制御方法及びプログラムの第１の実施形態について説明する。
なお、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。
また、以下の実施形態では、印刷装置が手の指の爪を印刷対象とし、爪の表面が印刷対象の表面（印刷対象面）となる場合を例に説明する。なお、本発明における印刷装置の印刷対象は手の指の爪に限るものではなく、例えば足の指の爪等を印刷対象としてもよい。

図１は、本実施形態における印刷装置の要部外観構成を示す斜視図である。図２は、印刷装置の筐体を透過させて内部の指配置部と撮影装置との位置関係を模式的に示す斜視図である。また、図３は本実施形態における印刷装置の機能的構成を示すブロック図である。
なお、以下の実施形態において、上下、左右及び前後は、図１等に示した向きをいうものとする。また、Ｘ方向、Ｙ方向は、図１等に示した方向をいうものとする。

図１に示すように、印刷装置１は、ほぼ箱形に形成された筐体２を有している。
筐体２の前面側（印刷装置１の正面側、図１において前側）の下側部分には、左右方向（印刷装置１の横方向、図１において左右方向、Ｘ方向）のほぼ中央部に広く開口する開口部２１が形成されている。開口部２１は、少なくとも装置内に指を出し入れできる幅を有している。開口部２１は、装置内に手を出し入れできる程度の幅を有していてもよい。

筐体２の上面（天板）や側面等には、操作部２２が設けられている。操作部２２は、ユーザが各種入力を行う機能部である。本実施形態では、筐体２の上面に操作部２２が設けられている例を図示している。
操作部２２は、例えば印刷装置１の電源をＯＮする電源スイッチボタン、動作を停止させる停止スイッチボタン等であり、操作部２２が操作されると操作に応じた指示信号が後述の制御部１１に出力される。
なお、図示例では、操作部２２が１つのボタンで構成されている場合を示しているが、操作部２２は筐体２の上面等に設けられた複数のボタン等で構成されていてもよい。
また、後述の表示部６の表面にタッチパネルが一体的に構成されている場合には、タッチパネルも操作部２２として機能する。

また、筐体２の異なる面には、それぞれ表示部６が設けられている。
本実施形態では、筐体２の上面（天板）に第１の表示部６ａが配置されており、筐体２の側面（図示例では右側面）に第２の表示部６ｂが配置されている。表示部６（第１の表示部６ａ、第２の表示部６ｂ）は、後述する画像処理手段としての制御部１１から出力された表示用画像のデータに基づく画像（表示用画像）を表示させる表示手段である。なお、図示例では、筐体２の上面と筐体２の右側面の２面にそれぞれ表示部６（第１の表示部６ａ、第２の表示部６ｂ）が配置されているが、表示部６の数や配置される位置はこれに限定されない。例えば筐体２の左側面等にも表示部６が設けられていてもよい。

表示部６は、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機エレクトロルミネッセンスディスプレイその他のフラットディスプレイ等で構成されており、内部が見える可視光透過性の窓として機能しているわけではない。なお、表示部６の表面に、タッチパネルが一体的に構成されていてもよい。この場合には当該タッチパネルも操作部２２として機能する。
各表示部６の大きさや設けられる位置等は特に限定されないが、本実施形態では、印刷装置１内に配置された爪Ｔを含む指Ｕを撮影した指画像に基づく表示用画像を、あたかも装置内を透視したかのようなイメージで表示部６にリアルタイムで表示させる。このため、装置内における指Ｕの配置位置にほぼ対応する位置・範囲に表示部６が設けられていることが好ましい。
なお、具体的な表示については後に詳述する。
表示部６に表示される内容は、指画像に基づく表示用画像に限定されない。例えば表示部６には、ユーザが操作部２２等から入力・選択したネイルデザインやユーザに対する各種の指示、案内、警告等が表示されてもよい。

筐体２の内部であって、開口部２１に対応する位置には、開口部２１から挿入された指Ｕが配置される指配置部３が設けられている。
指配置部３は、指Ｕが載置される部分である配置部本体３１を有している。配置部本体３１の幅方向の中央部は長手方向に沿って多少窪んでおり、指Ｕが安定して配置されるようになっている。なお、配置部本体３１には、例えば樹脂等の柔軟性を有する材料で形成されたクッション部材が設けられていてもよい。

指配置部３の手前側（図１におけるＹ方向の手前側）は枠状部３２で囲われており、枠状部３２の天面は、指配置部３に配置された指Ｕの上側が突き当てられることによって指Ｕの上方向の位置を規制する指押えとして機能する。
指配置部３の奥側（図１におけるＹ方向の奥側）は上方が開放されており、開口部２１から挿入され指配置部３内に配置された指Ｕの爪Ｔの表面が露出するようになっている。
また、指配置部３の奥側には、突当て部３３が設けられている。突当て部３３には、指配置部３に配置された指Ｕの先端部が突き当てられる。指Ｕの先端よりも爪Ｔが伸びている場合には、爪Ｔの先端部分が突当て部３３に引っ掛けられるようになっており、爪載置部としても機能する。

また、指Ｕの配置位置の近傍には、ミラー（反射鏡）３５が配置されている。本実施形態では、配置部本体３１の左側部にミラー３５が設けられている。なお、ミラー３５の数や配置位置はこれに限定されず、配置部本体３１の右側部や指Ｕの先端側等にもミラーが設けられていてもよい。
ミラー３５は、透明な基材にアルミ等の金属を蒸着させた反射膜を設けたものでもよく、例えば基材にアクリル等を用いた合成樹脂製のものが用いられる。なお、ミラー３５の材質等は特に限定されず、例えば基材にガラスを用いたガラス製のミラー等でもよい。
ミラー３５は、指配置部３に配置された指Ｕを後述する撮影装置５１で撮影する際に、撮影装置５１が直接撮影することのできる一方向（本実施形態では上方向）とは異なる方向（本実施形態では横方向）からの指画像を撮影装置５１の撮影可能範囲内に収めることが可能な光学素子である。

図３は、本実施形態の印刷装置のブロック図である。印刷装置１は前述の操作部２２、表示部６を備える他、印刷部４、撮影部５、電源部２３、通信部２５等を備えている。

撮影部５は、撮影装置５１と、照明装置５２とを備えている。
撮影装置５１は、例えば、２００万画素程度以上の画素を有する固体撮影素子とレンズ等を備えて構成された小型カメラであり、印刷装置１内に配置された爪Ｔを含む指Ｕを直接的並びにミラー３５を介して間接的に撮影して指画像を取得する撮影手段である。また、照明装置５２は、例えば白色ＬＥＤ等の照明灯である。
撮影部５は、指配置部３に載置された指Ｕや爪Ｔを照明装置５２によって照明する。そして、撮影装置５１によってその指Ｕを撮影して指画像（爪画像を含む指の画像）を得る。

本実施形態において撮影装置５１は、一方向（上方向）からの指Ｕの指画像、つまり、指Ｕの上面側が撮影された指画像及び一方向とは異なる方向（横方向）からの指Ｕの指画像、つまり、指Ｕの側面側が撮影された指画像であって光学素子であるミラー３５を介して撮影可能範囲内に収められる指画像を取得可能に構成されている。
図４は、撮影装置５１によって撮影された指画像の一例を示す図である。
本実施形態では、図２に示すように、撮影装置５１は指配置部３の上方に配置されており、「一方向」は、図２等における上方向である。

図４に示すように、撮影装置５１は、撮影によって、まず本実施形態の一方向である上方向から指配置部３に配置された指Ｕを見たときの指画像である上面画像を取得可能となっている。さらに撮影装置５１は、指配置部３の側部に設けられたミラー３５によって一方向（本実施形態では上方向）以外の方向である横方向から指Ｕを見た場合の指画像である側面画像を取得することができる。つまり、本実施形態ではミラー３５が指配置部３の左側部に設けられているため、ミラー３５に映った指Ｕの左側面の画像がミラー３５を介して撮影される。

このように、ミラー３５を介した画像を撮影可能とすることにより、撮影装置５１自体の位置や角度を変えることなく、一方向（本実施形態では上方向）からの撮影で複数の方向から指Ｕを見たときの指画像を取得することが可能となる。なお、指の位置をユーザが表示部６で確認しながら調整することになるので、撮影自体は動画のように連続撮影するが、コマ送り程度に間欠的に撮影されてもよいし、例えば最初にフォーカス等を変えて複数回に分けて撮影が行われた後、フォーカスが合った画像を表示させてもよい。以下の実施形態では、連続撮影のうちの１回の撮影によって、図４に示すような、上面画像と側面画像とを１つの画像に含むような画像データが得られる場合を例として説明する。
なお、撮影部５によって撮影された指画像の画像データは、後述する記憶部１２に記憶されてもよい。

印刷部４は、図３に示すように、印刷ヘッド４１と、ヘッド移動手段としてのＸ方向移動モータ４５、Ｙ方向移動モータ４７（図２参照）等を備えている。
本実施形態において、指配置部３が設けられている領域（本実施形態では、Ｘ方向のほぼ中央部であって装置手前側の領域）は、印刷部４により爪Ｔに対する印刷が行われる印刷動作領域となっている。

Ｘ方向移動モータ４５は、印刷ヘッド４１を装置の左右方向（Ｘ方向）に移動させるＸ方向移動機構を構成し、Ｙ方向移動モータ４７は、印刷ヘッド４１を装置の前後方向（Ｙ方向）に移動させる方向移動機構を構成する。Ｘ方向移動モータ４５、Ｙ方向移動モータ４７は、例えばステッピングモータであり、適宜印刷ヘッド４１をＸＹ方向に移動させる。
本実施形態の印刷ヘッド４１は、爪表面に対向する面（下側の面）が、インクを吐出させるインク吐出面となっており、インクを微滴化し、インク吐出面から爪表面に直接にインクを吹き付けて印刷を行うインクジェット方式のヘッドである。なお、印刷ヘッド４１の体的な構成、種類や数等は特に限定されない。
印刷部４の各部は、印刷制御部としての制御部１１の制御にしたがって動作する。

電源部２３は、内部のバッテリ等や、ケーブル等を介して接続される外部電源からの電圧から出力電圧を生成し、印刷装置１の各部に電力を供給する電源供給部である。
また本実施形態では、爪Ｔに印刷するデザイン（ネイルデザイン）のデータ等の情報を印刷装置１が外部機器を介して取得するようになっており、印刷装置１は、外部機器との間でデザインデータや印刷制御を含む情報の送受信を行う通信部２５を有している。ここで外部機器とは、例えば後述の端末装置７や各種サーバ等である。
印刷装置１と外部機器との間での通信は、例えば無線ＬＡＮ等により行われる。なお、印刷装置１と外部機器との間での通信はこれに限定されず、いかなる方式によるものでもよい。例えば、インターネット等のネットワーク回線を使うものであってもよいし、Bluetooth（登録商標）やWi-Fi等の近距離無線通信規格に基づく無線通信を行うものであってもよい。また、この通信は無線接続方式に限定されず、有線接続により両者間で各種データの送受信が可能な構成としてもよい。通信部２５は通信することが想定される各種外部機器の通信方式、通信規格に対応するアンテナチップ等を備えている。

印刷装置１に搭載される制御装置１０は、図示しないＣＰＵ（Central Processing Unit）等のプロセッサにより構成される制御部１１と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等（いずれも図示せず）で構成される記憶部１２（いずれも図示せず）とを備えるコンピュータである。記憶部１２のＲＯＭ等には、印刷装置１を動作させるための各種プログラムや各種データ等が格納されている。ＲＯＭ等に格納された各種プログラムを制御部１１がＲＡＭの作業領域に展開して実行することによって、印刷装置１の各部の動作を統合的に制御する。

すなわち、制御部１１はプログラム（例えば印刷処理アプリケーションプログラム、表示処理アプリケーションプログラム等）との協働により、印刷装置１が印刷や各種表示を行うための各種機能を実現する。
なお、制御部１１の各機能は、制御部１１がプログラム（ソフトウェア）を実行することにより実現されてもよいし、専用のモジュール（ハードウェア）によって実現されていてもよい。
本実施形態において制御部１１は、主として印刷部４各部の動作を制御する印刷制御手段、撮影部５各部の動作を制御する撮影制御手段、表示部６の動作を制御する表示制御手段等として機能する他、画像処理手段として機能する。

本実施形態では、各表示部６（第１の表示部６ａ、第２の表示部６ｂ）に対して、各表示部６の配置されている位置に応じた表示用画像のデータが出力されるようになっており、表示制御手段としての制御部１１は、各表示部６（第１の表示部６ａ、第２の表示部６ｂ）の動作を制御して、それぞれ表示用画像のデータにしたがって互いに異なる表示を行わせる。

画像処理手段としての制御部１１は、撮影装置５１によって取得された指画像に基づく表示用画像のデータを生成し、適宜出力する。
本実施形態では、画像処理手段しての制御部１１は、撮影装置５１によって取得された指画像のうち、指Ｕの上面側が撮影された上面画像に基づく表示用画像のデータの画像を筐体２の上面に設けられた表示手段である第１の表示部６ａに出力する。また、指画像のうち指Ｕの側面側が撮影された側面画像に基づく表示用画像のデータの画像を筐体２の側面に設けられた表示手段である第２の表示部６ｂに出力する。

具体的には制御部１１は、指Ｕの上面側が撮影された上面画像、指Ｕの側面側が撮影された側面画像をそれぞれ指画像から切り出す。

例えば図４では、１つの指画像に含まれている上面画像の領域を二点鎖線で囲った枠Ｄ１と示し、側面画像の領域を二点鎖線で囲った枠Ｄ２と示している。なお、上面画像の領域、側面画像の領域をどの程度の大きさ（広さ）で切り出すかは適宜設定される。指配置部３の周辺や底板部分等、指Ｕや爪Ｔの様子を確認するのに不要な部分は削除して、必要な部分だけを切り出すことが好ましい。
指画像に写り込んだ指配置部３の形状等から指Ｕの上面側が撮影された上面画像を含む領域、指Ｕの側面側が撮影された側面画像を含む領域があらかじめ設定されているので、第１の表示部６ａ、第２の表示部６ｂにそれぞれ対応する画像を表示することでユーザは速やかに指の位置を確認することができる。

上面画像の領域、側面画像の領域が切り出されると、画像処理手段しての制御部１１は、枠Ｄ１で示した領域の上面画像に基づいて上面表示用の表示用画像のデータを生成し、筐体２の上面に設けられている第１の表示部６ａに出力する。また、枠Ｄ２で示した領域の側面画像に基づいて側面表示用の表示用画像のデータを生成し、筐体２の側面に設けられている第２の表示部６ｂに出力する。
これにより、図５に示すように、撮影装置５１によって取得された指画像に基づく表示用画像が、第１の表示部６ａ及び第２の表示部６ｂに、それぞれ表示される。したがって、ユーザが、筐体２の上面側から第１の表示部６ａをのぞき込むと、あたかも第１の表示部６ａが透過窓となって、筐体２内を直接視認できているかのような表示を第１の表示部６ａが行う。同様に、ユーザが、筐体２の側面側から第２の表示部６ｂをのぞき込むと、あたかも第２の表示部６ｂが透過窓となって、筐体２内を直接視認できているかのような表示を第２の表示部６ｂが行う。このため、ユーザは不安なく、指配置部３内に指Ｕを近づけたり、位置調整をすることができる。

なお、画像処理手段しての制御部１１は、表示用画像に重畳して表示させる各種重畳用画像のデータを生成してもよい。各種の重畳用画像のデータは生成されたときは、表示用画像のデータとともに重畳用画像のデータも各表示部６に出力され、適宜表示部６に表示される。
例えば、制御部１１は、側面画像の表示用画像に重畳させる重畳用画像として、印刷動作時の印刷ヘッド４１の仮想的な移動領域Ａｒ１（図７（ａ）及び図７（ｂ）参照）を示す枠等の画像を生成し、重畳用画像のデータとして第２の表示部６ｂに出力させてもよい。この場合、印刷ヘッド４１の仮想的な移動領域Ａｒ１を示す枠等の画像は、印刷動作時における印刷ヘッド４１の配置に関する情報に基づく画像である。

印刷動作時の印刷ヘッド４１（印刷ヘッド４１の図示しないインク吐出面）の高さ位置は、制御装置１０において把握されている。このため、制御部１１は、印刷動作時の印刷ヘッド４１の仮想的な移動領域Ａｒ１を示す枠やライン等の画像データを生成することが可能である。
印刷動作時において印刷ヘッド４１は爪Ｔの上方を移動（通過）しながら印刷を行うため、指Ｕや爪Ｔの高さ位置が高すぎる場合には、印刷ヘッド４１と指Ｕや爪Ｔとが干渉（すなわち、接触や衝突）するおそれがある。そこで、制御部１１は、印刷動作時の印刷ヘッド４１の仮想的な移動領域Ａｒ１を示す枠やライン等の画像（重畳用画像）のデータを含む表示用画像のデータとを表示部６（本実施形態では、側面画像を表示させる第２の表示部６ｂ）に出力する。この場合には制御部１１は、両画像を重畳して表示させるように表示部６の表示動作を制御する。

そして制御部１１は、さらに印刷ヘッド４１の移動領域Ａｒ１の高さ位置と、側面画像に含まれる指輪郭や爪輪郭のデータから把握される指Ｕや爪Ｔの高さ位置とを比較して、印刷ヘッド４１と指Ｕや爪Ｔとが印刷動作時に干渉するか否かを判断してもよい。このような判断を行った場合には、判断結果を示すメッセージを表示部６ｂに表示させたり、干渉の危険がある場合には、警告表示や音声出力、ブザー音、ランプの点滅等によって報知し、ユーザに対して注意喚起を行ってもよい。
なお指画像から表示用画像として上面画像、側面画像を切り出す際に指輪郭や爪輪郭の検出を行った場合には、当該指輪郭のデータを用いることができる。また上面画像や側面画像を切り出す際には指輪郭や爪輪郭の検出を行わなかった場合には、制御部１１は側面画像から指輪郭や爪輪郭の検出を行うようにしてもよい。

また、現状の指Ｕや爪Ｔの位置を示す指輪郭や爪輪郭を含む表示用画像に重畳して、指Ｕや爪Ｔの適正な配置位置を示す枠等の画像を、指Ｕを配置する際のガイドとなる画像として、表示用画像（上面画像や側面画像）に重畳させて表示部６に表示させてもよい（図９（ａ）及び図９（ｂ）等参照）。
これにより、ユーザが指配置部３に指Ｕを配置する際、どのように配置すればよいかを直感的に理解することができる。

その他制御部１１は、画像処理手段として検出した爪輪郭に所望のデザインを合わせ込む等により印刷データを生成する印刷データ生成手段としても機能する。
具体的には、制御部１１は、ユーザによって選択されたネイルデザイン（デザイン）の画像データを切り出し、適宜拡大縮小、配置の調整等を行うとともに、指画像から取得された爪輪郭内にフィッティングする。
なお、爪Ｔの曲率等の情報が取得された場合には、制御部１１は、この爪Ｔの曲率等に基づいて、印刷データに適宜曲面補正を行ってもよい。曲面補正を行った場合には、より爪の形状に合った印刷データを生成することができる。

次に、図６等を参照しつつ、本実施形態の表示制御方法について説明する。
図６は、本実施形態における表示制御処理の全体の流れを示すフローチャートである。
本実施形態の印刷装置１における表示制御処理を行う場合、ユーザは、印刷装置１を起動する。撮影装置５１は、印刷装置１の起動とともに撮影開始してもよいし、起動後のユーザの操作によって撮影開始してもよい。ユーザは、筐体２内の画像を表示している表示部６を確認しながら筐体２内に指を挿入する。
図６に示すように、撮影装置５１により指Ｕを撮影し、指画像を取得する（ステップＳ１、画像取得工程）。このとき、撮影装置５１は、上方向から直接指Ｕを撮影して上方向から指Ｕを見た指画像を取得する他、ミラー３５を介して上方向とは異なる方向である横方向から指Ｕを見た指画像を取得する（図４参照）。

制御部１１は、指Ｕの上面を撮影した上面画像の領域、指Ｕの側面を撮影した側面画像の領域を判断し、上面画像及び側面画像を切り出す（ステップＳ２）。すなわち、上面画像として表示部６（第１の表示部６ａ）に表示させる領域を示す枠Ｄ１を設定し、側面画像として表示部６（第２の表示部６ｂ）に表示させる領域を示す枠Ｄ２を設定する。

そして、制御部１１は、枠Ｄ１として切り出された上面画像から上面表示用の表示用画像のデータを生成し、枠Ｄ２として切り出された側面画像から側面表示用の表示用画像のデータを生成する（ステップＳ３、画像処理工程）。制御部１１は、上面表示用の表示用画像のデータを第１の表示部６ａに出力し、第１の表示部６ａに上面表示用の表示用画像のデータに基づく画像を表示させる。また、側面表示用の表示用画像のデータを第２の表示部６ｂに出力し、第２の表示部６ｂに側面表示用の表示用画像のデータに基づく画像を表示させる（ステップＳ４、表示工程）。
これにより、例えば図５に示すように、筐体２の上面には上から見た指Ｕが表示され、側面には横から見た指Ｕの画像が表示されて、あたかも筐体２を透過して筐体２内に配置した指Ｕの状況を見ているかのようなリアリティのある表示を行うことができる。

なお、前述のように、側面画像を表示させる第２の表示部６ｂには、印刷ヘッド４１の移動領域Ａｒ１を示す枠等の画像を重畳用画像として指Ｕの側面表示用の表示用画像等に重畳して表示させてもよい。この場合には指配置部３に配置された指Ｕや爪Ｔが印刷ヘッド４１と干渉しないかどうかをユーザに示すことができる。

この場合の移動領域重畳処理について図８等を参照しつつ説明する。
すなわちこの場合には、画像処理手段しての制御部１１は、まず、印刷動作時の印刷ヘッド４１の仮想的な移動領域Ａｒ１（図７（ａ）及び図７（ｂ）参照）を示す枠等の画像を生成し（ステップＳ１１）、重畳用画像のデータとして表示用画像（側面画像）のデータとともに第２の表示部６ｂに出力する（ステップＳ１２）。

表示用画像（側面画像）のデータと重畳用画像のデータとして、印刷時の爪Ｔの上方における印刷ヘッド４１の移動領域である印刷ヘッド４１の仮想的な移動領域Ａｒ１を示す画像のデータが出力されると、表示部６（ここでは第２の表示部６ｂ）に、表示用画像（側面画像）に印刷ヘッド４１の仮想的な移動領域Ａｒ１を示す枠等が重畳された画像が表示される（ステップＳ１３）。
さらに制御部１１は、指輪郭や爪輪郭の高さ位置から、印刷ヘッド４１の仮想的な移動領域Ａｒ１に指Ｕや爪Ｔが干渉するか否か（ぶつかったり接触したりするか否か）を判断する（ステップＳ１４）。例えば、移動領域Ａｒ１と指Ｕや爪Ｔとが、図７（ａ）に示すような位置関係にあるときには、指Ｕや爪Ｔは印刷ヘッド４１に接触等（干渉）しないと判断する（ステップＳ１４；ＮＯ）。

他方、移動領域Ａｒ１と指Ｕや爪Ｔとが、図７（ｂ）に示すような位置関係にあるときには、制御部１１は、指Ｕや爪Ｔが印刷ヘッド４１に接触等（干渉）すると判断する（ステップＳ１４；ＹＥＳ）。この場合には、例えば図７（ｂ）に示すように「印刷ヘッドが指とぶつかります」等の警告表示やメッセージを表示部６（第２の表示部６ｂ）に表示させる等によりユーザに報知する（ステップＳ１５）。なおユーザへの報知は、警告音やランプの点灯等により行ってもよい。また、表示部６（第２の表示部６ｂ）の表示画面上で印刷ヘッドの移動領域Ａｒ１を示す枠を赤色等、周囲の色と異なる目立つ色に変えて表示させたり、移動領域Ａｒ１を示す枠を点滅させたりしてもよい。
このようにユーザへの報知を行うことで、ユーザは指Ｕの位置を適宜修正等することができる。なお、「指を３ｍｍ程度下に下げてください」等、具体的に修正の仕方を指示する内容を表示させてもよい。

また、前述のように、表示部６には、指Ｕや爪Ｔの適正な配置位置を示す枠等の画像を重畳用画像として表示用画像（上面画像や側面画像）に重畳させて表示部６に表示させてもよい（図９（ａ）及び図９（ｂ）等参照）。指Ｕ適正な配置位置を示すことで、ユーザが指Ｕを配置する際のガイドとなる。
この場合の適正位置重畳処理について図１０等を参照しつつ説明する。

すなわちこの場合には、移動領域重畳処理（図８参照）の場合と同様、指配置部３における指Ｕや爪Ｔの適正な配置位置を示す枠等の画像を生成し（ステップＳ２１）、重畳用画像のデータとして表示用画像（上面画像、側面画像）のデータとともに第２の表示部６ｂに出力する（ステップＳ２２）。
表示用画像（上面画像、側面画像）のデータと各表示用画像に対応する重畳用画像のデータとしての指Ｕや爪Ｔの適正な配置位置を示す枠等の画像のデータが出力されると、表示部６（第１の表示部６ａ、第２の表示部６ｂ）に、表示用画像（上面画像、側面画像）に適正な配置位置を示す枠等の画像等が重畳された画像が表示される（ステップＳ２３）。

例えば図９（ａ）及び図９（ｂ）は、表示用画像である上面画像に重畳用画像である適正な配置位置を示す枠（図示例では二点鎖線で示す指Ｕや爪Ｔの印刷に適正な位置を表す適正位置モデルＭ１）が重畳された画像が、第１の表示部６ａに表示された状態を示している。
ユーザが指配置部３に指Ｕを配置すると、その様子が撮影装置５１によって撮影され、第１の表示部６ａに表示される画像が随時更新される。なお、撮影装置５１が動画像を撮影できるものである場合には、ユーザが指Ｕを配置する様子がライブビュー表示されてもよい。この場合にもライブビュー表示画面に適正位置モデルＭ１が重畳表示される。
ユーザは第１の表示部６ａに表示された画像を確認しながら、適正位置モデルＭ１に自分の指Ｕや爪Ｔが重なり合うように配置位置を調整する。

制御部１１は、表示用画像（ここでは上面画像）から、ユーザの指Ｕや爪Ｔと適正位置モデルＭ１とのずれ量が一定の閾値以内であるか否かを判断する（ステップＳ２４）。なお、閾値をどの程度とするかは、どの程度のずれまで許容することができるか否か（例えば補正によって対応することで正しく印刷することが可能な範囲内であるか否か）等に応じて適宜設定可能である。
例えば、指Ｕや爪Ｔが、図９（ａ）に示すような位置にあるときには、制御部１１は、指Ｕや爪Ｔと適正位置モデルＭ１とのずれ量が大きい（閾値以上）と判断する（ステップＳ２４；ＮＯ）。そしてこの場合には、制御部１１は、指Ｕや爪Ｔの位置を適正位置モデルＭ１に合わせて修正するようにユーザに促すメッセージ等を表示部６（第１の表示部６ａ）に表示させる（ステップＳ２５）。表示される内容は特に限定されず、例えば図９（ａ）に示すように、「指を奥まで入れてください」と表示させたり、「左に傾いています」等、具体的にずれ方等を指摘してもよい。

他方、例えば指Ｕや爪Ｔが、図９（ｂ）に示すような位置にあるときには、制御部１１は、指Ｕや爪Ｔと適正位置モデルＭ１とのずれ量が小さい（閾値以内）と判断する（ステップＳ２４；ＹＥＳ）。この場合には、制御部１１は、指Ｕや爪Ｔが正しい位置に配置（セット）された旨のメッセージ（例えば「正しい位置にセットされました」）等を表示部６（第１の表示部６ａ）に表示させてもよい。

また、例えば図９（ｃ）及び図９（ｄ）は、表示用画像である側面画像に重畳用画像である適正な配置位置を示す枠（図示例において二点鎖線で示す適正位置モデルＭ２）が重畳された画像が、第２の表示部６ｂに表示された状態を示している。
この場合も、ユーザは第２の表示部６ｂに表示された画像を確認しながら、適正位置モデルＭ２に自分の指Ｕや爪Ｔが重なり合うように配置位置を調整する。
制御部１１は、表示用画像（ここでは側面画像）から、ユーザの指Ｕや爪Ｔと適正位置モデルＭ２とのずれ量が一定の閾値以上であるか否かを判断する（ステップＳ２４）。

指Ｕや爪Ｔと適正位置モデルＭ２とのずれ量が大きい（閾値以上）と制御部１１が判断した場合（ステップＳ２４；ＮＯ、図９（ｃ）参照）には、制御部１１は、指Ｕや爪Ｔの位置を適正位置モデルＭ２に合わせて修正するようにユーザに促すメッセージ（例えば「指を下に下げてください」）等を表示部６（第２の表示部６ｂ）に表示させる（ステップＳ２５）。
他方、指Ｕや爪Ｔが、図９（ｄ）に示すような位置にあるときには、制御部１１は、指Ｕや爪Ｔと適正位置モデルＭ２とのずれ量が小さい（閾値以内）と判断する（ステップＳ２４；ＹＥＳ）。この場合にも、制御部１１は、指Ｕや爪Ｔが正しい位置に配置（セット）された旨のメッセージ（例えば「正しい位置にセットされました」）等を表示部６（第２の表示部６ｂ）に表示させてもよい。
なお、この他については、図９（ａ）及び図９（ｂ）について説明したものと同様であるため、説明を省略する。

このように本実施形態では、印刷装置１の内部の様子を指Ｕの上面側が撮影された画像は筐体２の上面に配置された第１の表示部６ａに表示され、横方向から見た画像は筐体２の側面に配置された第２の表示部６ｂに表示される。
また実際の印刷装置１の内部の指Ｕの位置や向きと表示部６に表示された画像とが一致しているため、印刷ヘッド４１と指Ｕの位置関係や適正な配置とのずれ具合をユーザが正確に認識しやすい。

以上のように、本実施形態の印刷装置１は、装置内に配置された爪Ｔを含む指Ｕを撮影した指画像を取得する撮影装置５１と、指画像に基づく表示用画像のデータを生成し出力する画像処理手段としての制御部１１と、筐体の異なる面に配置され、制御部１１から出力された表示用画像のデータに基づく画像を表示させる複数の表示部６（第１の表示部６ａ、第２の表示部６ｂ）と、を備え、撮影装置５１は、複数の方向から指Ｕを見たときの指画像を取得することが可能であり、表示部６（第１の表示部６ａ、第２の表示部６ｂ）には、配置されている位置に応じた表示用画像のデータが出力される。
これにより、印刷装置１の内部を撮影した指画像のうち、指Ｕの上面側が撮影された画像は筐体２の上面に配置された第１の表示部６ａに表示され、横方向から見た画像は筐体２の側面に配置された第２の表示部６ｂに表示される。このように、画像の方向と表示位置とが一致した状態で表示させることができるため、ユーザとしては、あたかも筐体２の中を透視したかのようなリアリティのある画像を表示部６において見ることができる。
また実際の印刷装置１の内部の指Ｕの位置や向きと表示部６（第１の表示部６ａ、第２の表示部６ｂ）に表示される画像における指Ｕの位置や向きとが一致している。このため、ユーザが指Ｕを配置するや位置を修正する際にどのように指Ｕを動かせばよいかを直感的に理解することができる。

また、本実施形態の撮影装置５１は、指画像として、少なくとも指Ｕの上面側が撮影された上面画像、指Ｕの側面側が撮影された側面画像を取得するものであり、表示部６（第１の表示部６ａ、第２の表示部６ｂ）は、少なくとも筐体２の上面及び側面に配置されており、画像処理手段としての制御部１１は、指画像のうち上面画像に基づく表示用画像のデータを筐体２の上面に設けられた第１の表示部６ａに出力し、指画像のうち側面画像に基づく表示用画像のデータを筐体２の側面に設けられた第２の表示部６ｂに出力する。
これにより、上から指Ｕを見た画像、横から指Ｕを見た画像を、ユーザがあたかも実際に装置内を見ているかのように確認することができる。

また、本実施形態では、指Ｕの配置位置近傍に配置された光学素子としてのミラー３５をさらに有し、撮影装置５１は、一方向から指Ｕを見たときの指画像を直接取得するとともに、ミラー３５を介して一方向とは異なる方向から指Ｕを見たときの指画像を取得可能に構成されている。
これにより、撮影装置５１の位置や角度を変更することなく、一方向から撮影を行うだけで、複数の方向から指Ｕを見たときの指画像を取得することができる。

また、本実施形態では、画像処理手段としての制御部１１は、指画像から指Ｕの領域を画する指輪郭を検出し、印刷動作時における印刷ヘッド４１の配置に関する情報に基づく画像のデータを、指輪郭を含む表示用画像のデータとともに表示部６（第２の表示部６ｂ）に出力してもよい。
これにより、実際の指Ｕの位置に、印刷動作時の印刷ヘッド４１の仮想的な移動領域Ａｒ１（図７（ａ）及び図７（ｂ）参照）を示す枠等を重畳表示することが可能となり、指Ｕが印刷ヘッド４１と干渉するか否かをユーザが正確に把握することができる。

また、本実施形態では、画像処理手段としての制御部１１は、指画像から指Ｕの領域を画する指輪郭を検出し、指Ｕの配置位置のガイドとなる画像のデータを、指輪郭を含む表示用画像のデータとともに表示部６（第１の表示部６ａ、第２の表示部６ｂ）に出力してもよい。
上から見た画像は上面の表示部６（第１の表示部６ａ）に、横から見た画像は側面の表示部６（第２の表示部６ｂ）にそれぞれ表示されることで、指Ｕをどのように動かせばいいのかを直感的に把握しやすい。このため、ユーザは表示部６に表示される画像を確認しながら、適切に正しい位置に指Ｕを配置することができる。

［第２の実施形態］
次に、図１１から図１３を参照しつつ、本発明に係る印刷装置、表示制御方法及びプログラムの第２の実施形態について説明する。なお、本実施形態は、印刷装置が外部機器と連携し、印刷装置の表示部の代わりに外部機器の表示部を用いる点が第１の実施形態と異なるものであるため、以下においては、特に第１の実施形態と異なる点について説明する。

図１１は、本実施形態に係る印刷装置に外部機器としての端末装置を装着した状態を示す斜視図であり、図１２は、本実施形態に係る印刷装置及びこれと連携する外部機器の機能的構成を示す要部ブロック図である。
図１１に示すように本実施形態の印刷装置１ａは、表示部を備えていないことの他は、第１の実施形態で示したものとほぼ同様の構成となっている。

すなわち、印刷装置１ａは筐体２を有している。本実施形態では図１１に示すように、筐体２の上面や側面に、外部機器である端末装置７が配置される。なお、図１１では、便宜的に印刷装置１ａの上面と側面の両方に端末装置７が配置されている場合を図示しているが、１台の端末装置７の配置する場所を適宜変えて異なる方向からの画像を表示させてもよいし、２台の端末装置７を用意して図示例のように同時に２か所に配置してもよい。
なお、端末装置７が配置される位置は特に限定されないが、端末装置７の表示部７４は、第１の実施形態における表示部と同様に、装置内を撮影した画像を、あたかも装置内を透視したかのようなイメージで表示させる。このため端末装置７は、その表示部７４が第１の実施形態における表示部と同様に、例えば装置内における指Ｕの配置位置にほぼ対応する位置・範囲に来るように配置されることが好ましい。
筐体２の上面には、端末装置７を配置する位置を示すマークやシール等が付されていてもよい。この場合、端末装置７がスマートフォンの場合、タブレット端末である場合等に応じて、それぞれの配置位置の目安となるようにマーク等を設けることが好ましい。

また筐体２の側面には、端末装置７を保持するために張り出している保持部２６が設けられている。保持部２６は例えば筐体の前後方向（Ｙ方向）に沿って延在する突出部であり、端末装置７を上に乗せる（立て掛ける）ことができる幅（張り出し幅）を有している。
なお、筐体２の側面に端末装置７を保持させる構成は保持部２６に限定されない。例えば印刷装置１ａの前方又は後方から端末装置７を滑り込ませることのできるレール状の保持部を有していてもよいし、端末装置７を嵌め込むことのできる凹部や、枠状部等を設けてもよい。さらに、端末装置７をマグネット等が付された専用ケースに入れて用いることを想定し、この専用ケースのマグネットと引き合うマグネットを筐体２の側面に設けて、マグネット同士の磁力によって端末装置７を筐体２の側面に保持させてもよい。また、筐体２の側面の対応位置又は端末装置７の専用ケースのいずれか一方を磁石の吸着する金属で形成し、いずれか他方にマグネットを設け、磁力によって端末装置７を筐体２の側面に保持させてもよい。

また本実施形態の印刷装置１ａは、第１の実施形態と同様、装置内に配置された爪Ｔを含む指Ｕを撮影して複数の方向から指Ｕを見たときの指画像を取得する撮影装置５１と、爪Ｔに対して印刷を行う印刷部４の他、操作部２２、電源部２３等を有している。
さらに、印刷装置１ａは、本実施形態において印刷装置１ａと連携する端末装置７との間で情報の送受信を行う通信手段としての通信部２５を有している。本実施形態の通信部２５は、撮影装置５１によって取得された指画像のデータを端末装置７に対して送信する。

また、図１２に示すように、印刷装置１ａは、制御部１１及び記憶部１２を含む制御装置１０を備えている。
本実施形態の制御部１１は、通信部２５を制御して端末装置７に対し、指画像のデータを出力する。
なお、印刷装置１aのその他の構成は第１の実施形態で示したものと同様であるため、同じ部材には同じ符号を付して、その説明を省略する。

本実施形態における端末装置７は、外部機器であり、例えばスマートフォンやタブレット端末等の携帯端末装置が想定される。なお、端末装置７は、印刷装置１ａと通信可能なものであって、筐体２の上面や側面に配置可能な大きさのものであればよく、スマートフォン等に限定されない。例えばゲーム用の端末装置等であってもよい。

図１２に示すように、端末装置７は、操作部７３、姿勢センサ７４、表示部７５、通信部７６、制御装置７０等を備えている。

操作部７３は、ユーザの操作に応じて各種の入力・設定等を行うことができるようになっており、操作部７３が操作されると、当該操作に対応する入力信号が制御装置７０に送信される。なお、本実施形態では表示部７５の表面にタッチパネルが一体的に設けられており、ユーザはタッチパネルへのタッチ操作によっても各種の入力・設定等の操作を行うことができるようになっている。
なお、各種の入力・設定等の操作を行う操作部７３はタッチパネルである場合に限定されない。例えば各種の操作ボタンやキーボード、ポインティングデバイス等が操作部７３として設けられていてもよい。
また端末装置７の操作部７３を操作することで、印刷装置１ａにおいて各種の入力・設定等が行われてもよい。例えばユーザが操作部７３を操作することで、印刷装置１ａの印刷動作をスタートさせることができてもよい。

姿勢センサ７４は、端末装置７の装置本体の姿勢を検出する検出手段（姿勢情報取得手段）である。
姿勢センサ７４は、例えばジャイロセンサ等を含む６軸センサであり、「端末装置７の姿勢に関する情報」として、端末装置７の向きや傾き、回転（角速度）を含む姿勢情報を検出する。なお、姿勢センサ７４の具体的な構成、姿勢情報を取得する手法は、特に限定されず、各種の手法を用いることができる。

表示部７５は、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機エレクトロルミネッセンスディスプレイその他のフラットディスプレイ等で構成されている。
また本実施形態の表示部７５は、表示用画像のデータに基づく表示を行う表示手段である。表示用画像のデータは、姿勢センサ７４によって検出された姿勢に関する情報（姿勢情報）に応じた向き等の画像となっており、端末装置７が配置された位置や向きに応じて表示部７５に表示される画像の向きが適宜切り替えられ、調整される。

なお第１の実施形態における印刷装置の表示部と同様に、印刷装置１ａの撮影装置５１がライブビュー表示可能な動画像を撮影可能なものである場合には、表示部７５は、撮影装置５１によって撮影された動画像を随時ライブビュー表示してもよい。
その他、表示部７５は、制御部７１の制御にしたがって各種の案内画面、警告表示画面等を表示可能となっている。
なお、前述のように、表示部７５の表面に各種の入力を行うためのタッチパネルが一体的に構成されていてもよい。この場合にはタッチパネルが操作部７３としても機能する。

通信部７６は、印刷装置１ａの通信部２５との間で通信を行う通信手段である。本実施形態では、印刷装置１ａ内に配置された爪を含む指を撮影装置５１によって撮影して得られた、複数の方向から指Ｕを見たときの指画像のデータを印刷装置１ａから受信する。
通信部７６は、印刷装置１ａの通信部２５との間で通信可能な無線通信モジュール等を備えている。
なお、通信部７６は、印刷装置１との間で通信を行うことのできるものであればよく、印刷装置１ａの通信部２５の通信規格と合致するものが適用される。

制御装置７０は、図示しないＣＰＵ（Central Processing Unit）等により構成される制御部７１と、図示しないＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等で構成される記憶部７２とを備えるコンピュータである。

記憶部７２には、端末装置７の各部を動作させるための各種プログラムや各種データ等が格納されている。
具体的には、本実施形態のＲＯＭ等には、端末装置７の各部を統括制御するための動作プログラムの他、印刷装置１を用いた印刷処理を行うための印刷処理アプリケーションプログラム、表示制御処理アプリケーションプログラム等の各種プログラム（いずれも図示せず）等が格納されており、制御装置７０がこれらのプログラムを例えばＲＡＭの作業領域に展開して実行することによって、端末装置７が制御されるようになっている。
また記憶部７２には、印刷装置１ａにおいて爪Ｔに印刷されるデザイン（ネイルデザイン）のデータが記憶されていてもよい。

制御部７１は、端末装置７の各部の動作を統合的に制御する。制御部７１は、記憶部７２に記憶されたプログラム（印刷処理アプリケーションプログラム、表示制御処理アプリケーションプログラム等）との協働により、印刷装置１による印刷処理や表示部７５に表示用画像等を表示させる処理等を行うための各種機能を実現する。

また、特に本実施形態では、制御部７１は、印刷装置１ａから指画像のデータを取得する画像取得手段として機能する他、検出手段である姿勢センサ７４によって検出された「姿勢に関する情報」（姿勢情報）に応じた表示用画像のデータを指画像に基づいて生成し出力する画像処理手段として機能する。

本実施形態では、前述のように印刷装置１ａの筐体２の上面や側面に、端末装置７が配置されるようになっている。画像処理手段としての制御部７１は、いずれの位置にどのような向きで端末装置７が置かれたかを端末装置７の「姿勢に関する情報」に基づいて判断する。
そして、制御部１１は、印刷装置１ａから取得した指画像のデータから、端末装置７の姿勢に関する情報に基づいて表示用画像のデータを生成し表示部７５に出力する。

なお、その他の構成は、第１の実施形態と同様であることから、同一部材には同一の符号を付して、その説明を省略する。

次に、図１３等を参照しつつ、本実施形態における表示制御方法について説明する。
本実施形態では、まず、外部機器である端末装置７の制御部７１が、印刷装置１ａの撮影装置５１によって取得された指画像、すなわち、印刷装置１ａ内に配置された爪Ｔを含む指Ｕを撮影して得られた、複数の方向から指Ｕを見たときの指画像を、通信部７６を介して印刷装置１ａから取得する（ステップＳ３１、画像取得工程）。また、端末装置７の制御部７１は、姿勢センサ７４の検出した値（検出結果）から、端末装置７の「姿勢に関する情報」（姿勢情報）（端末装置７がどのような向きで配置されているかの情報）を取得する（ステップＳ３２、姿勢情報取得工程）。

そして制御部７１は、当該姿勢情報から表示部７５を含む端末装置７が表示部７５を上向きな状態でＸＹ面に対して水平に配置されているか否かを判断する（ステップＳ３３）。端末装置７が水平に配置されている場合（ステップＳ３３；ＹＥＳ）には、制御部７１は端末装置７が印刷装置１ａの上面に配置されている（図１１における端末装置７ａ参照）と判断し、指画像のデータから、指Ｕの上面側が撮影された上面画像を表示用画像として切り出す（ステップＳ３４、画像処理工程）。ステップＳ３３では、端末装置７が表示部７５を上向きな状態でＸＹ面に対して水平に配置されているか否かを判断するようにしてもよい。
他方、端末装置７が水平に配置されていない場合（ステップＳ３３；ＮＯ）には、制御部７１は端末装置７が印刷装置１ａの側面に横向きに配置されている（図１１における端末装置７ｂ参照）と判断し、指画像のデータから、指Ｕの側面側が撮影された側面画像を表示用画像として切り出す（ステップＳ３５、画像処理工程）。

表示用画像を切り出すと、制御部７１は、切り出した表示用画像のデータを表示部７５に出力し、表示用画像のデータに基づく画像を表示部７５に表示させる（ステップＳ３６、表示工程）。
これにより、端末装置７が印刷装置１ａの上面に配置されている場合（図１１の端末装置７ａ参照）には、あたかも印刷装置１ａの内部を上から透視したような画像を表示部７５に表示させることができ、端末装置７が印刷装置１ａの側面に配置されている場合（図１１の端末装置７ｂ参照）には、あたかも印刷装置１ａの内部を横から透視したような画像を表示部７５に表示させることができる。

なお、ユーザが端末装置７を配置する位置を変えると、姿勢センサ７４が当該姿勢の変化を検出する。新たな姿勢情報が検出されると、制御部７１は、再度端末装置７が水平に配置されているか否かを判断し、水平に配置されていたものが横向きに変化したことを検出すると、表示部７５に表示させる表示用画像を、指Ｕの側面側が撮影された側面画像に切り替える。また逆に、横向きに配置されていたものが水平に変化したことを検出すると、表示部７５に表示させる表示用画像を、指Ｕの上面側が撮影された上面画像に切り替える。
このように端末装置７の配置されている向きや姿勢に応じて表示部７５に表示させる画像を切り替えることができるため、ユーザが見たい方向からの画像を表示部７５に表示させることができる。なお、通信部７６は指画像のデータの代わりに表示用画像のデータを受信してもよい。この場合、端末装置７は、上面画像及び側面画像のうちの一方を、端末装置７の配置されている向きや姿勢に応じて表示用画像として表示すればよい。

なお、その他の点については、第１の実施形態と同様であることから、その説明を省略する。

以上のように、本実施形態によれば、第１の実施形態と同様の効果を得られる他、端末装置７側では、印刷装置１ａとの間で情報の送受信を行い、撮影装置５１で取得された指画像を、通信部７６を介して印刷装置１ａから取得するとともに、装置本体の姿勢を検出手段である姿勢センサ７４によって検出し、姿勢センサ７４によって検出された「姿勢に関する情報」に応じた表示用画像のデータを指画像に基づいて生成し、表示部７５に出力し、容易に指画像を表示させることができる。
これにより、端末装置７を配置する位置や姿勢に応じて、あたかも端末装置７の表示部が配置された箇所から印刷装置１ａの内部を透視しているかのようなリアリティ、臨場感のある表示を行うことができる。このため、ユーザが装置内部を所望の角度、位置から確認することができ、安心感を持って印刷装置１ａ内に指Ｕを配置することができる。
また本実施形態では印刷装置１ａ側には表示部を備える必要がなく、簡易かつ安価な構成とすることが可能である。さらに指Ｕや爪Ｔ等の表示はスマートフォン等の端末装置７の表示部７５において行うため、比較的明るく大きな画面で画像を見ることができる。一般的にスマートフォン等の表示部は画素数も多く、ユーザは鮮鋭な画像で印刷装置１ａ内部の様子を確認することができる。

［第３の実施形態］
次に、図１４から図１６を参照しつつ、本発明に係る印刷装置、表示制御方法及びプログラムの第３の実施形態について説明する。なお、本実施形態は、第２の実施形態と同様に、印刷装置が外部機器と連携し、印刷装置の表示部の代わりに外部機器の表示部を用いる点が第１の実施形態と異なるものである。このため、以下においては、特に第１の実施形態等と異なる点について説明する。

図１４は、本実施形態に係る印刷装置と、この印刷装置と連携する外部機器とを示す斜視図であり、図１５は、本実施形態に係る印刷装置及びこれと連携する外部機器の機能的構成を示す要部ブロック図である。本実施形態では、図１４に図示するように、外部機器としてスマートフォン等の端末装置７ｃが想定されている。
図１４及び図１５に示すように本実施形態の印刷装置１ｂは、第２の実施形態と同様に表示部を備えていない。印刷装置１ｂ内部に配置された指Ｕ等を撮影して得た指画像に基づく表示用画像は、外部機器である端末装置７ｃの表示部７５で見ることができる。

印刷装置１ｂは、第１の実施形態と同様に筐体２を有している。
本実施形態では図１４に示すように、印刷装置１ｂの異なる面、すなわち、筐体２の上面や側面に、複数の表示指示マーカ８が設けられている。表示指示マーカ８は、指画像に基づく表示用画像の表示位置を指示するものであり、本実施形態では、筐体２の上面（第１の実施形態において第１の表示部が設けられていた位置に対応）に第１の表示指示マーカ８ａが設けられ、側面（第１の実施形態において第２の表示部が設けられていた位置に対応）に第２の表示指示マーカ８ｂが設けられている。

表示指示マーカ８は、拡張現実（ＡＲ；Augmented Reality）技術によって、指定の位置に指定のコンテンツを表示させるための印（マーカ）であり、コンテンツとして予め登録された表示情報（すなわちどのような画像を表示させるかの情報）等にしたがって適宜画像等を、表示指示マーカ８の付されている位置に表示させることができるものである。
本実施形態では、第１の表示指示マーカ８ａには、指画像のうち、指Ｕの上面側が撮影された上面画像を表示させる旨の表示情報が予め登録されている。また、第２の表示指示マーカ８ｂには、指画像のうち、指Ｕの側面側が撮影された側面画像を表示させる旨の表示情報が予め登録されている。

また本実施形態の印刷装置１ｂは、第１の実施形態、第２の実施形態と同様、装置内に配置された爪Ｔを含む指Ｕを撮影して複数の方向から指Ｕを見たときの指画像を取得する撮影装置５１と、爪Ｔに対して印刷を行う印刷部４の他、操作部２２、電源部２３等を有している。
さらに、印刷装置１ｂは、本実施形態において印刷装置１ｂと連携する端末装置７との間で情報の送受信を行う通信手段としての通信部２５を有している。本実施形態の通信部２５は、撮影装置５１によって取得された指画像のデータを端末装置７に対して送信する。
なお、印刷装置１ｂのその他の構成は第１の実施形態等で示したものと同様であるため、同じ部材には同じ符号を付して、その説明を省略する。

本実施形態における外部装置である端末装置７ｃは、例えばスマートフォンやタブレット端末等の携帯型の端末装置である。なお、端末装置７は、印刷装置１ｂと通信可能なものであればよく、スマートフォン等に限定されない。例えばゲーム用の端末装置等であってもよいし、デスクトップ型のパーソナルコンピュータでもよい。さらに、例えばＡＲ技術を用いたコンテンツの表示が可能な透過型ヘッドマウントディスプレイ等であってもよい。

図１５に示すように、端末装置７ｃは、操作部７３、表示部７５、通信部７６、撮影部７７、制御装置７０等を備えている。
本実施形態の撮影部７７は、印刷装置１ｂを撮影して装置画像を取得することができる。印刷装置１ｂを撮影すると、印刷装置１ｂに付されている表示指示マーカ８（８ａ，８ｂ）も装置全体の画像と共に取得される。
制御装置７０の制御部７１は、撮影部７７によって撮影された装置画像から表示指示マーカ８（８ａ，８ｂ）を検出し、表示指示マーカ８（８ａ，８ｂ）にしたがって指画像から表示用の画像データを生成し、表示部７５に表示させるようになっている。
なお、端末装置７ｃのその他の構成は第２の実施形態等で示したものと同様であることから、同じ部材には同じ符号を付して、その説明を省略する。

次に、図１６等を参照しつつ、本実施形態における表示制御方法について説明する。
本実施形態では、まず、外部機器である端末装置７ｃの撮影部７７によって印刷装置１ｂを撮影し、装置画像を取得する（ステップＳ４１）。装置画像が取得されると、端末装置７ｃの制御部７１は、当該装置画像から表示指示マーカ８を検出する検出処理を実行する（ステップＳ４２、マーカ取得工程）。
制御部７１は、表示指示マーカ８が検出できたか否かを判断し（ステップＳ４３）、検出できた場合（ステップＳ４３；ＹＥＳ）には、印刷装置１ｂから指画像を取得する。すなわち、印刷装置１ｂの撮影装置５１によって取得された指画像（印刷装置１ｂ内に配置された爪Ｔを含む指Ｕを撮影して得られた、複数の方向から指Ｕを見たときの指画像）を、通信部７６を介して印刷装置１ｂから取得する（ステップＳ４４、画像取得工程）。

さらに制御部７１は、指画像から指Ｕの上面側が撮影された画像である上面画像及び指Ｕの側面側が撮影された画像である側面画像を表示用画像として切り出す（ステップＳ４５）。
なお、ステップＳ４２で検出された表示指示マーカ８が上面画像に関する第１の表示指示マーカ８ａのみである場合又は第２の表示指示マーカ８ｂのみであるような場合には、制御部７１は検出された表示指示マーカ８に対応する方向からの画像を表示用画像として切り出す。

そして、表示指示マーカ８に基づいて表示用画像を装置画像の該当位置に嵌め込み、本実施形態における表示用画像のデータとして、合成画像データを生成（ステップＳ４６、画像処理工程）。
合成画像データが生成されると、制御部７１は、表示部７５の表示動作を制御して、当該合成画像データに基づく画像を表示部７５に表示させる（ステップＳ４７、表示工程）。
具体的には、図１４に示すように、印刷装置１ｂの画像の上面位置や側面位置に、それぞれ表示指示マーカ８によって指示された画像を嵌め込んで表示させる。これにより、あたかも印刷装置１ｂの内部を透視したかのような画像を端末装置７ｃの表示部７５で確認することができる。なお、この場合、端末装置７ｃを傾けたり、表示部７５にタッチパネルが構成されている場合に、その表示画面を指等でスワイプする等により、自在に見る方向や角度を変えられてもよい。このようにすることで、より直感的に操作を行うことができ、印刷装置１ｂ内に配置された指Ｕの状況等を所望方向からリアリティのある画像で確認することができる。
他方、ステップＳ４３において表示用マーカ８が検出できなかった場合（ステップＳ４３；ＮＯ）には、表示用画像を嵌め込まない装置画像を表示部７５に表示させて処理を終了する（ステップＳ４８）。

なお、その他の点については、第１の実施形態等と同様であることから、その説明を省略する。

以上のように、本実施形態によれば、第１の実施形態等と同様の効果を得られる他、様々な方向（本実施形態では、上方向及び横方向）から見た場合の指Ｕの画像を取得するとともに、各方向から見た画像の表示位置を外部機器に指示することができる。
また、本実施形態では、外部機器である端末装置７ｃが、印刷装置１ｂとの間で情報の送受信を行い、印刷装置１ｂ内に配置された爪Ｔを含む指Ｕを撮影して得られた、複数の方向から指Ｕを見たときの指画像を印刷装置１ｂから通信部７６を介して取得するとともに、印刷装置１ｂを撮影して、印刷装置１ｂの異なる面に設定され、前記指画像に基づく表示用画像の表示位置を指示する複数の表示指示マーカ８を取得する撮影部７７と、指画像に基づいて表示用画像を生成し出力する画像処理手段としての制御部７１と、表示用画像のデータ及び表示指示マーカ８に基づいて表示を行う表示部７５と、を備えている。
これにより、表示指示マーカ８に基づいて指Ｕを各方向から見た画像を印刷装置１ｂの画像と合成して表示させることができ、よりリアリティのある表示を行うことができる。すなわち、目の前の端末装置７ｃの表示部７５を通して、あたかも印刷装置１ｂの内部を、見たい角度から自由に覗くことができるような表示を行うことができる。
このため、安心して印刷装置１ｂ内に指を入れることができる。

なお、以上本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。

例えば、本実施形態では、表示部６として筐体２の上面に設けられた第１の表示部６ａと筐体２の右側面に設けられた第２の表示部６ｂとを有する場合を例示したが、表示部６はこれに限定されず、筐体２の右側面に代えて、又は右側面に加えて筐体２の左側面にも設けてもよい。
なお、本実施形態では、ミラー３５が指配置部３の左側部に設けられているため、指Ｕの左側面がミラー３５を介して撮影される。指Ｕの高さ方向の傾き等は指Ｕの左右でほぼ同じである。このため、表示部６を筐体２の左右両側に設けた場合、左右両方の表示部６に同じ指Ｕの左側面の画像を側面画像として表示させてよい。
このことは仮にミラー３５が指配置部３の右側部に設けられている場合でも同様である。
なお、ミラー３５が指配置部３の両側（すなわち、左側部及び右側部）に設けられている場合には、撮影装置５１は、一方向（本実施形態では上方向）から指Ｕを直接撮影して上面画像を取得する他、ミラー３５を介して左側面画像、右側面画像を取得する。このように、ミラー３５が指配置部３の両側に配置されている場合には、上面画像、左側面画像、右側面画像の３つの画像を一方向（本実施形態では上方向）からの撮影によって取得することができる。この場合、上面画像は筐体２の上面に設けられた第１の表示部６ａに表示され、指配置部３の左側部に設けられたミラーを介して得られた左側面画像は、筐体２の左側面に設けられた表示部６に表示され、指配置部３の右側部に設けられたミラーを介して得られた右側面画像は、筐体２の右側面に設けられた表示部６に表示されるようにしてもよい。
このようにすることで、装置内部の様子を、よりリアルに、正確に表示させることができる。
またさらにミラーを指先側にも配置して指先側から指Ｕを見た指画像（指Ｕの正面画像）をも取得できるようにしてもよい。この場合には、筐体２の背面にも表示部を設けてもよい。なお、背面の表示部をユーザが確認することは難しい。このため、指先側から見た指画像については筐体２の上面の奥側等に表示させてもよい。指先側から指Ｕを見た場合の指画像を表示させた場合には、ユーザは指Ｕの回転方向の状態（傾き具合）を確認することができる。

また、本実施形態では、光学素子がミラー３５である場合を例示したが、光学素子はミラーに限定されない。光学素子は、撮影装置５１が直接取得することのできる、一方向から指Ｕを見たときの指画像とは別に、一方向とは異なる方向から指Ｕを見たときの指画像を撮影装置５１に取得させることのできる手段であればよく、例えばプリズム等であってもよい。

また、例えば第１の実施形態で説明したような印刷ヘッド４１と指Ｕとの干渉の有無を判断してユーザに示す印刷ヘッド４１の移動領域Ａｒ１を表示用画像に重畳して表示させる処理（図７、図８参照）や指Ｕの適正位置を表示用画像に重畳して表示させる処理（図９～図１０参照）を、第２の実施形態、第３の実施形態のように、端末装置７等の外部機器と連携して表示処理を行う場合にも、外部機器（端末装置等）の表示部を用いて同様に行うようにしてもよい。

また、第１の実施形態では、印刷装置１が単体として動作するものである場合を例示したが、印刷装置１は端末装置等、各種外部機器と連携して表示制御処理等を行ってもよい。
例えば、印刷装置１における表示制御処理の開始指示や印刷処理の開始指示の入力、ネイルデザイン（デザイン）の選択等を外部機器の操作部等から行ってもよい。
また、画像処理等、各種のデータ処理を、端末装置等の外部機器で行ってもよい。この場合、印刷装置１の制御部１１をより簡易な構成で実現できる。
またネイルデザインのデータは印刷装置１の記憶部１２に記憶されていなくてもよく、例えば端末装置７等の各種外部機器の記憶部に保存されているものを利用できてもよい。
また、ネットワーク回線等を介して接続可能なサーバ装置等にネイルデザインの画像データを記憶させておき、サーバ装置等にアクセスしてネイルデザインのデータを参照可能に構成してもよい。
このようにすることで、記憶部１２等の容量を大きくしなくても、より多くのネイルデザインの中から印刷するデザインを選択することが可能となる。

以上本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
互いに異なる向きからの指の指画像であって、且つ筐体内に配置された前記指を撮影した前記指画像に基づいた表示用画像を、前記筐体の互いに異なる面側に配置された複数の表示手段に、前記表示手段の配置された前記面側に応じて表示させるよう制御する制御部、
を備えることを特徴とする制御装置。
＜請求項２＞
前記制御部は、前記指の配置位置のガイドとなる画像及び前記表示用画像を前記表示手段に表示するよう制御することを特徴とする請求項１に記載の制御装置。
＜請求項３＞
請求項１又は請求項２に記載の制御装置と、
前記筐体と、
前記指画像として、第一の向きの前記指の第一画像、及び前記第一の向きとは異なる第二の向きの前記指の第二画像を撮影する撮影手段と、
少なくとも前記筐体における前記第一の向きに面している面側及び前記第二の向きに面している第二の面側にそれぞれ設けられた前記表示手段と、
を備え、
前記制御部は、前記第一画像に基づく表示用画像のデータを前記第一の向きに面している面側に設けられた前記表示手段に出力し、前記第二画像に基づく表示用画像のデータを前記第二の向きに面している面側に設けられた前記表示手段に出力することを特徴とする印刷装置。
＜請求項４＞
光学素子をさらに有し、
前記撮影手段は、前記第一の向きからの前記指の指画像を取得するとともに、前記光学素子を介して前記第二の向きから前記指の指画像を取得可能に構成されていることを特徴とする請求項３に記載の印刷装置。
＜請求項５＞
請求項１又は請求項２に記載の制御装置と、
前記筐体と、
互いに異なる向きからの指の前記指画像を撮影する撮影手段と、
前記撮影手段によって撮影された前記指画像のデータを外部機器に送信する通信手段と、を備えることを特徴とする印刷装置。
＜請求項６＞
請求項１又は請求項２に記載の制御装置と、
互いに異なる複数の面にそれぞれ、前記指画像に基づく表示用画像の表示位置を指示する複数の表示指示マーカを備えた前記筐体と、
互いに異なる向きからの指の前記指画像を撮影する撮影手段と、
前記撮影手段によって撮影された前記指画像のデータを外部機器に送信する通信手段と、を備えることを特徴とする印刷装置。
＜請求項７＞
互いに異なる向きからの指の指画像であって、且つ筐体内に配置された前記指を撮影した前記指画像に基づいた表示用画像を、前記筐体の互いに異なる面側に配置された複数の表示手段に、前記表示手段の配置された前記面側に応じて表示させるよう制御することを特徴とする表示制御方法。
＜請求項８＞
前記指画像又は前記表示用画像のデータを機器本体が受信し、
前記複数の表示手段に前記表示用画像を表示させる代わりに、前記機器本体の姿勢に応じた前記表示用画像を前記機器本体が表示することを特徴とする請求項７に記載の表示制御方法。
＜請求項９＞
印刷装置の互いに異なる面に設定され、前記指画像に基づく表示用画像の表示位置を指示する複数の表示指示マーカを機器本体が撮影し、
前記複数の表示手段に前記表示用画像を表示させる代わりに、前記表示用画像のデータ及び前記表示指示マーカに基づいて前記機器本体が前記表示用画像の表示を行うことを特徴とする請求項７に記載の表示制御方法。
＜請求項１０＞
コンピュータに、
互いに異なる向きからの指の指画像であって、且つ筐体内に配置された前記指を撮影した前記指画像に基づいた表示用画像を、前記筐体の互いに異なる面側に配置された複数の表示手段に、前記表示手段の配置された前記面側に応じて表示させる制御を実現させることを特徴とするプログラム。

１ 印刷装置
２ 筐体
１１ 制御部
１２ 記憶部
３ 指配置部
３１ 配置部本体
３５ ミラー
４ 印刷部
４１ 印刷ヘッド
５ 撮影部
５１ 撮影装置
６ 表示部
６ａ 第１の表示部
６ｂ 第２の表示部
７ 端末装置

Claims (10)

1. 互いに異なる向きからの指の指画像であって、且つ筐体内に配置された前記指を撮影した前記指画像に基づいた表示用画像を、前記筐体の互いに異なる面側に配置された複数の表示手段に、前記表示手段の配置された前記面側に応じて表示させるよう制御する制御部、
   を備えることを特徴とする制御装置。
2. 前記制御部は、前記指の配置位置のガイドとなる画像及び前記表示用画像を前記表示手段に表示するよう制御することを特徴とする請求項１に記載の制御装置。
3. 請求項１又は請求項２に記載の制御装置と、
   前記筐体と、
   前記指画像として、第一の向きの前記指の第一画像、及び前記第一の向きとは異なる第二の向きの前記指の第二画像を撮影する撮影手段と、
   少なくとも前記筐体における前記第一の向きに面している面側及び前記第二の向きに面している第二の面側にそれぞれ設けられた前記表示手段と、
   を備え、
   前記制御部は、前記第一画像に基づく表示用画像のデータを前記第一の向きに面している面側に設けられた前記表示手段に出力し、前記第二画像に基づく表示用画像のデータを前記第二の向きに面している面側に設けられた前記表示手段に出力することを特徴とする印刷装置。
4. 光学素子をさらに有し、
   前記撮影手段は、前記第一の向きからの前記指の指画像を取得するとともに、前記光学素子を介して前記第二の向きから前記指の指画像を取得可能に構成されていることを特徴とする請求項３に記載の印刷装置。
5. 請求項１又は請求項２に記載の制御装置と、
   前記筐体と、
   互いに異なる向きからの指の前記指画像を撮影する撮影手段と、
   前記撮影手段によって撮影された前記指画像のデータを外部機器に送信する通信手段と、を備えることを特徴とする印刷装置。
6. 請求項１又は請求項２に記載の制御装置と、
   互いに異なる複数の面にそれぞれ、前記指画像に基づく表示用画像の表示位置を指示する複数の表示指示マーカを備えた前記筐体と、
   互いに異なる向きからの指の前記指画像を撮影する撮影手段と、
   前記撮影手段によって撮影された前記指画像のデータを外部機器に送信する通信手段と、を備えることを特徴とする印刷装置。
7. 互いに異なる向きからの指の指画像であって、且つ筐体内に配置された前記指を撮影した前記指画像に基づいた表示用画像を、前記筐体の互いに異なる面側に配置された複数の表示手段に、前記表示手段の配置された前記面側に応じて表示させるよう制御することを特徴とする表示制御方法。
8. 前記指画像又は前記表示用画像のデータを機器本体が受信し、
   前記複数の表示手段に前記表示用画像を表示させる代わりに、前記機器本体の姿勢に応じた前記表示用画像を前記機器本体が表示することを特徴とする請求項７に記載の表示制御方法。
9. 印刷装置の互いに異なる面に設定され、前記指画像に基づく表示用画像の表示位置を指示する複数の表示指示マーカを機器本体が撮影し、
   前記複数の表示手段に前記表示用画像を表示させる代わりに、前記表示用画像のデータ及び前記表示指示マーカに基づいて前記機器本体が前記表示用画像の表示を行うことを特徴とする請求項７に記載の表示制御方法。
10. コンピュータに、
    互いに異なる向きからの指の指画像であって、且つ筐体内に配置された前記指を撮影した前記指画像に基づいた表示用画像を、前記筐体の互いに異なる面側に配置された複数の表示手段に、前記表示手段の配置された前記面側に応じて表示させる制御を実現させることを特徴とするプログラム。

Images