JP2022030551A - プログラムおよび電子デバイス - Google Patents

Abstract

【課題】モーションセンサからの出力信号に基づいてジェスチャによる入力操作を受け付けるプログラムおよび電子デバイスにおいて、ユーザの使い勝手を向上させる技術を提供すること。【解決手段】ミリ波レーダ１５と表示画面１３１とを備える電子デバイス１は、ラベル作成アプリ２２を実行することにより、ミリ波レーダ１５からの出力結果に基づいて、特定のジェスチャを検知し、さらに、特定のジェスチャが検知された場合、表示画面１３１に表示されているオブジェクトのうちの１つである特定オブジェクトについてオブジェクトの種類を取得し、取得したオブジェクトの種類に割り当てられた動作を特定し、特定された動作を実行する。表示画面１３１に表示可能なオブジェクトの種類ごとに、特定のジェスチャに応じた動作が割り当てられている。【選択図】図３

Description

本明細書に開示される技術分野は、モーションセンサからの出力信号に基づいてジェスチャによる入力操作を受け付けるプログラムおよび電子デバイスに関する。

モーションセンサを備える電子デバイスが実用化されており、モーションセンサからの出力信号に基づく入力操作を受け付ける技術が知られている。例えば特許文献１には、マウス、タッチパネル、モーションセンサ、の３種類の入力手段を備える情報処理装置であって、入力手段の変更を検知し、変更後の入力手段に応じた表示態様によって、オブジェクトを表示する技術が開示されている。

国際公開第２０１５／０２９２２２号

特許文献１に開示されている技術では、入力手段ごとに１つのオブジェクトに対する表示態様が割り当てられており、モーションセンサによる入力操作であった場合に、他の入力手段による入力操作と異なる表示態様によってオブジェクトを表示するものであるが、入力操作があった後の動作についての詳細な開示は無い。そのため、モーションセンサによる入力操作であるジェスチャを検知した後の動作については改善の余地がある。

本明細書は、モーションセンサからの出力信号に基づいてジェスチャによる入力操作を受け付けるプログラムおよび電子デバイスにおいて、ユーザの使い勝手を向上させる技術を開示する。

この課題の解決を目的としてなされたプログラムは、モーションセンサと表示器とを備える電子デバイスのコンピュータによって実行可能なプログラムであって、前記コンピュータに、前記モーションセンサからの出力結果に基づいて、特定のジェスチャを検知する検知処理を実行させ、さらに前記コンピュータに、前記検知処理によって前記特定のジェスチャが検知された場合、前記表示器に表示されているオブジェクトのうちの１つである特定オブジェクトについてオブジェクトの種類を取得する種類取得処理と、前記表示器に表示可能なオブジェクトの種類ごとに前記特定のジェスチャに応じた動作が割り当てられており、前記種類取得処理にて取得した前記オブジェクトの種類に割り当てられた動作を特定する動作特定処理と、前記特定オブジェクトについて前記動作特定処理にて特定された動作を実行する動作実行処理と、を実行させる、ことを特徴としている。

本明細書に開示されるプログラムを実行することで、電子デバイスは、特定のジェスチャを検知した場合、表示器に表示されているオブジェクトの１つの種類を取得し、オブジェクトの種類ごとに特定のジェスチャに割り当てられた動作を実行する。従って、１つのジェスチャを検知したことに応じて、オブジェクトの種類によって異なる動作が実行されるので、ジェスチャによる入力の使い勝手が向上する。

上記プログラムの機能を実現する電子デバイス、プログラムの機能を実現するための制御方法、プログラムを格納するコンピュータにて読取可能な記憶媒体も、新規で有用である。

本明細書に開示される技術によれば、モーションセンサからの出力信号に基づいてジェスチャによる入力操作を受け付けるプログラムおよび電子デバイスにおいて、ユーザの使い勝手を向上させる技術が実現される。

実施の形態にかかる電子デバイスの概略構成図である。 ラベル作成処理の手順を示すフローチャートである。 編集画面の例を示す説明図である。 割り当て情報の例を示す説明図である。 テキストオブジェクトの編集画面の例を示す説明図である。 シンボルオブジェクトの編集画面の例を示す説明図である。 写真オブジェクトの編集画面の例を示す説明図である。

以下、電子デバイスに組み込まれたプログラムを具体化した実施の形態について、添付図面を参照しつつ詳細に説明する。本形態は、スマートフォンなどの表示画面を備える電子デバイスに組み込まれたアプリケーションプログラム（以下、「アプリ」とする）を開示するものである。

本形態の電子デバイス１は、図１に示すように、ＣＰＵ１１と、メモリ１２と、を含むコントローラ１０を備える。さらに、電子デバイス１は、ユーザインタフェース（以下、「ユーザＩＦ」とする）１３と、通信インタフェース（以下、「通信ＩＦ」とする）１４と、ミリ波レーダ１５と、を備え、これらがコントローラ１０に電気的に接続されている。電子デバイス１は、例えば、プリンタ３に印刷させるための各種のアプリを実行可能な装置である。なお、図１中のコントローラ１０は、電子デバイス１の制御に利用されるハードウェアやソフトウェアを纏めた総称であって、実際に電子デバイス１に存在する単一のハードウェアを表すとは限らない。

ＣＰＵ１１は、メモリ１２から読み出したプログラムに従って、また、ユーザの操作に基づいて、各種の処理を実行する。ＣＰＵ１１は、コンピュータの一例である。メモリ１２は、例えば、ＲＯＭ、ＲＡＭ、ＨＤＤ、フラッシュメモリ、を含み、各種のプログラムやデータを記憶する。

ユーザＩＦ１３は、表示機能を備えるハードウェアである表示画面１３１を含み、さらに、操作受付機能を備えるタッチパネルである。表示画面１３１は、表示器の一例である。本形態の電子デバイス１のユーザＩＦ１３は、指先などの接触や押圧を検知可能であり、その接触や押圧の位置を取得できる。なお、ユーザＩＦ１３は、情報を表示するディスプレイ等と、ユーザによる入力操作を受け付けるキーボードやマウス等と、の組み合わせを含んでいても良い。

通信ＩＦ１４は、プリンタ３等の外部装置との通信を行うためのハードウェアを含む。通信ＩＦ１４の通信方式は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ等である。また、電子デバイス１は、通信ＩＦ１４として、複数の通信方式に対応可能であっても良い。

ミリ波レーダ１５は、電磁波を送出してその反射波を受信し、受信した反射波に基づいて波形信号を出力するハードウェアを含む。ミリ波レーダ１５は、モーションセンサの一例である。ミリ波レーダ１５は、例えば、波長がミリメートル単位あるいはミリメートルより小さい単位であって、周波数が６０ＧＨｚ前後の周波数変調信号である電磁波を送出し、反射波の重ね合わせを受信する。ミリ波レーダ１５が、受信した反射波に基づく波形信号を出力することで、本形態の電子デバイス１は、その波形信号に基づいて、例えば、電子デバイス１の近辺の物体の位置や動きをミリメートル単位で検出できる。

本形態の電子デバイス１のメモリ１２には、図１に示すように、オペレーティングシステム（以下、「ＯＳ」とする）２１と、ラベル作成アプリ２２と、が組み込まれている。ＯＳ２１は、複数のタスクを管理して切り換えることにより複数のタスクを並行して処理できるマルチタスクＯＳであり、例えば、ｉＯＳ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標）、ｍａｃＯＳ（登録商標）、Ｌｉｎｕｘ（登録商標）のいずれかである。

本形態のラベル作成アプリ２２は、プリンタ３を使用して各種のラベルを作成するためのアプリであり、ミリ波レーダ１５の出力する波形信号に基づいてユーザのジェスチャを検知し、その検知結果に対応する動作を電子デバイス１に実行させるアプリである。ラベル作成アプリ２２は、プログラムの一例である。なお、本形態のラベル作成アプリ２２は、ユーザの実行指示に基づいて独立して実行可能なプログラムでも良いし、他のプログラムの実行中にそのプログラムから呼び出されて実行されるプログラムでも良い。

本形態のラベル作成アプリ２２は、プリンタ３に印刷させる印刷対象の画像データとして、テキスト、シンボル、写真等の各種のオブジェクトを含む画像を表示画面１３１に表示可能であり、表示中の各オブジェクトへのユーザの編集指示を受け付ける。本形態のラベル作成アプリ２２は、タップ等のユーザＩＦ１３への接触による操作、ユーザＩＦ１３に非接触でのジェスチャによる操作、によってユーザの指示を受け付ける。なお、本形態のラベル作成アプリ２２は、ミリ波レーダ１５によって検知されたジェスチャの情報を、ＯＳ２１を介して取得できる。

本形態のプリンタ３は、少なくとも印刷機能と通信機能とを有し、電子デバイス１等から受信したコマンドに対応する動作を行う。本形態のプリンタ３は、例えば、熱転写方式の印刷ヘッドを備え、ロール状に巻き取られたラベル紙を収容し、ラベル紙を巻き出しつつ印刷を行う、いわゆるラベルプリンタである。プリンタ３は、例えば、電子デバイス１等から受信した印刷コマンドに基づいて、収容されているラベル紙への画像の印刷とラベル紙の搬送とを行い、印刷済みの部分を機外へ突出させることでラベルを作成する。

続いて、本形態のラベル作成アプリ２２を利用してプリンタ３にラベルを作成させるためのラベル作成処理の手順について、図２のフローチャートを参照して説明する。ラベル作成処理は、ラベル作成アプリ２２の起動指示を受け付けたことを契機に、電子デバイス１のＣＰＵ１１にて実行される。なお、以下の処理およびフローチャートの各処理ステップは、基本的に、各プログラムに記述された命令に従ったＣＰＵ１１の処理を示す。ＣＰＵ１１による処理は、電子デバイス１のＯＳ２１のＡＰＩを用いたハードウェア制御も含む。本明細書では、ＯＳ２１の記載を省略してプログラムの動作を説明する。

ラベル作成処理では、ＣＰＵ１１は、まず、ユーザＩＦ１３にトップ画面を表示させる（Ｓ１０１）。トップ画面には、例えば、タイトル、トップ画像、ラベルの使用例や作成方法の表示を受け付けるボタン、テンプレートの表示を受け付けるボタン、が含まれる。ユーザは、ユーザＩＦ１３への操作によって、例えば、表示内容を変更させて、各種の情報を得ることができる。

ＣＰＵ１１は、テンプレートの選択を受け付けたか否かを判断する（Ｓ１０２）。本形態のラベル作成アプリ２２は、ラベル作成用のひな形の画像データとして、文字列、シンボル、コード画像、枠画像などのサンプルを含む複数のテンプレートを有し、テンプレートの選択と、選択されたテンプレートの編集と、を受け付ける。ＣＰＵ１１は、例えば、トップ画面にてテンプレートの表示を受け付けるボタンへのタップを受け付けた場合に、各種のテンプレートを表示させ、さらに、表示中のテンプレートの１つへのタップによってテンプレートの選択を受け付ける。

テンプレートの選択を受け付けていないと判断した場合（Ｓ１０２：ＮＯ）、ＣＰＵ１１は、ユーザの操作に従って、各種の動作を行い、テンプレートの選択を受け付けるまで待機する。なお、ラベル作成処理の終了指示を受け付けた場合には、ＣＰＵ１１は、ラベル作成処理を終了する。

テンプレートの選択を受け付けたと判断した場合（Ｓ１０２：ＹＥＳ）、ＣＰＵ１１は、選択されたテンプレートの編集を受け付ける編集画面を、ユーザＩＦ１３の表示画面１３１に表示させる（Ｓ１０５）。編集画面が表示されている状態の電子デバイス１の外観の例を図３に示す。図３は、ラベル作成アプリ２２の編集画面５０を表示している例であり、電子デバイス１のうち、ユーザＩＦ１３の表示画面１３１を含む面を示す図である。図３に示すように、表示画面１３１は、電子デバイス１の筐体の一面の中央に配置され、この面のほぼ全てを占めている。本形態のミリ波レーダ１５は、表示画面１３１と同じ面であって、表示画面１３１の外部の筐体表面に設けられ、表示画面１３１の近くの物体の動きを検出できる。

なお、図３に示す編集画面５０には、テンプレート画像５１の他、印刷設定ボタン５３、印刷ボタン５４、保存ボタン５５など、各種のボタンが表示されている。ＣＰＵ１１は、表示中の各ボタンへのタップを検知した場合、そのボタンへの操作を受け付けたと判断する。また、図３に示す例の編集画面５０に含まれるテンプレート画像５１は、テキストオブジェクト５１１と、シンボルオブジェクト５１２と、写真オブジェクト５１３とを含む画像である。写真オブジェクト５１３は、イメージオブジェクトの一例である。選択されたテンプレートによって、含まれるオブジェクトは異なっていても良い。なお、編集対象の画像は、テンプレートに限らず、例えば、ラベル作成アプリ２２にて以前に保存された画像であっても良い。

ラベル作成アプリ２２は、表示中のテンプレート画像５１に含まれる各種のオブジェクトのうち、編集対象とするオブジェクトの選択を受け付け、選択されたオブジェクトの編集を受け付ける。ユーザは、例えば、選択したテンプレートの文字列を希望の文字列に変更して印刷させることで、容易に希望のラベルを作成できる。Ｓ１０５にて表示させた図３に示す状態は、複数のオブジェクトを含むテンプレート画像５１を表示させただけであり、編集対象としての個別のオブジェクトの選択を受け付けていない状態である。

そして、ＣＰＵ１１は、未選択状態に対応する割り当て情報を取得する（Ｓ１０６）。割り当て情報は、ジェスチャの種類とそのジェスチャに応じて割り当てられている動作との関係を記憶する情報である。割り当て情報は、オブジェクトの選択状態によって異なる。Ｓ１０６では、ＣＰＵ１１は、オブジェクトが選択されていない状態である未選択状態の割り当て情報を取得する。

割り当て情報の例を図４に示す。オブジェクトとジェスチャにはそれぞれ複数の種類があり、割り当て情報では、オブジェクトの種類と、ジェスチャの種類と、の組み合わせごとに動作が割り当てられている。図４では、ジェスチャの種類として、上下左右のフリックを例示している。フリックは、指先を素早く振るジェスチャであり、下から上への移動を上フリック、上から下への移動を下フリック、右から左への移動を左フリック、左から右への移動を右フリックという。また、図４では、オブジェクトの選択状態として、未選択状態、テキストオブジェクト選択中、シンボルオブジェクト選択中、写真オブジェクト選択中、の４種類について例示している。

図４に示すように、例えば、オブジェクト未選択の状態に対しては、上下のフリックに対して表示倍率の変更が、左右のフリックに対してスクロールが、それぞれ対応付けられている。Ｓ１０６では、ＣＰＵ１１は、オブジェクト未選択の状態に関連付けて記憶されている割り当て情報として、フリックの方向とそれぞれに対応する動作の情報とを取得する。

なお、ジェスチャの種類、オブジェクトの選択状態、のいずれについても、図４に示したものに限るものではなく、これら以外にさらにあっても良い。ジェスチャの種類はミリ波レーダ１５の出力する波形信号に基づいて区別可能なものであれば良く、例えば、プッシュ、プル、ロールがさらにあっても良い。ジェスチャの種類がさらにあれば、割り当て情報には、ジェスチャの種類ごとにさらに対応する動作が記憶されているとよい。また、各ジェスチャに対応する動作も、図４に示したものに限るものではない。例えば、未選択状態の上下のフリックは、テンプレート画像５１の変更であっても良い。また、各状態の左右のフリックは、前の動作の取り消し（Ｕｎｄｏ）、取り消しのやり直し（Ｒｅｄｏ）であっても良いし、保存や印刷等のオブジェクトに対する動作以外の動作があっても良い。

そして、ＣＰＵ１１は、オブジェクトの選択を受け付けたか否かを判断する（Ｓ１１１）。ＣＰＵ１１は、例えば、表示中のテンプレート画像５１に含まれるオブジェクトの１つへのタップを受け付けた場合、そのオブジェクトが選択されたと判断する。オブジェクトの選択を受け付けたと判断した場合（Ｓ１１１：ＹＥＳ）、ＣＰＵ１１は、選択されたオブジェクトの種類の情報を取得する（Ｓ１１２）。オブジェクトの種類には、例えば、前述したテキストオブジェクト、シンボルオブジェクト、写真オブジェクトがある。選択されたオブジェクトは、特定オブジェクトの一例であり、Ｓ１１２は、種類取得処理の一例である。

さらに、ＣＰＵ１１は、選択されたオブジェクトの編集を受け付ける編集画面をユーザＩＦ１３に表示させる（Ｓ１１３）。オブジェクトに対して受け付ける編集の内容は、オブジェクトの種類ごとに異なるため、オブジェクトの編集画面は、オブジェクトの種類ごとに異なる。

例えば、図３の編集画面５０にてテキストオブジェクト５１１が選択された場合、ＣＰＵ１１は、ユーザＩＦ１３に、例えば、図５（Ａ）に示すように、テキスト編集画面６０を表示させる。テキスト編集画面６０には、テキストの変更を受け付けるキーボードと、フォントの変更を受け付けるフォント設定ボタン６１と、テキストの編集を完了する完了ボタン６２と、が含まれる。

また例えば、図３の編集画面５０にてシンボルオブジェクト５１２が選択された場合、ＣＰＵ１１は、ユーザＩＦ１３に、例えば、図６（Ａ）に示すように、シンボル編集画面７０を表示させる。ラベル作成アプリ２２は、多数のシンボルをカテゴリに分類して記憶しており、ユーザは、好みのシンボルを選択してラベルに印刷させることができる。例えば、図６（Ａ）では、絵文字のカテゴリに含まれる各種のシンボルが表示されている。シンボル編集画面７０には、同一カテゴリ内の各種のシンボルと、表示させるシンボルのカテゴリを変更するカテゴリ変更ボタン７１と、シンボルの編集を完了する完了ボタン７２と、が含まれる。

また例えば、図３の編集画面５０にて写真オブジェクト５１３が選択された場合、ＣＰＵ１１は、ユーザＩＦ１３に、例えば、図７に示すように、写真編集画面８０を表示させる。写真編集画面８０には、トリミング、回転などの調整を受け付けるボタンやサイズの変更を受け付けるバーの他、ハーフトーンの変更指示を受け付けるハーフトーン変更ボタン８１と、写真の編集を完了する完了ボタン８２と、が含まれる。

そして、ＣＰＵ１１は、選択されたオブジェクトの種類に対応する割り当て情報を取得する（Ｓ１１４）。割り当て情報は、図４に示したように、オブジェクトの種類ごとに設定されている。Ｓ１１４では、ＣＰＵ１１は、以後の処理で利用する割り当て情報を、選択されたオブジェクトに対応するものに変更する。

オブジェクトの選択を受け付けていないと判断した場合（Ｓ１１１：ＮＯ）、ＣＰＵ１１は、ジェスチャを検知したか否かを判断する（Ｓ１２１）。例えばＳ１０６の後、ＣＰＵ１１は、ＯＳ２１に電子デバイス１のミリ波レーダ１５の駆動を指示し、ＯＳ２１を介してジェスチャの情報を取得する。

本形態のラベル作成アプリ２２は、ミリ波レーダ１５からの出力結果である波形信号に基づいて、表示画面１３１の近くで行われるユーザのジェスチャを検知する。ラベル作成アプリ２２は、例えば、波形信号をＯＳ２１から取得して解析することでジェスチャを検知しても良いし、波形信号の解析結果としてのジェスチャの情報をＯＳ２１から取得することでジェスチャを検知しても良い。

すなわち、ラベル作成アプリ２２は、任意のタイミングあるいは定期的に波形信号を取得して、自身で波形信号を解析することでジェスチャの有無やその詳細情報を取得しても良い。あるいは、ＯＳ２１が、ミリ波レーダ１５の波形信号を解析して、ジェスチャを検出した場合にイベントを発行し、ラベル作成アプリ２２は、そのイベントによってジェスチャを検知しても良い。この場合、ジェスチャの詳細情報は、イベントに含まれていても良いし、イベントが発行された後、ラベル作成アプリ２２がＯＳ２１に問い合わせることで取得できても良い。なお、ジェスチャの詳細情報は、ジェスチャの位置、種類、方向、の情報を含む。

ジェスチャを検知したと判断した場合（Ｓ１２１：ＹＥＳ）、ＣＰＵ１１は、オブジェクトが選択されているか否かを判断する（Ｓ１２２）。オブジェクトが選択されていないと判断した場合（Ｓ１２２：ＮＯ）、ＣＰＵ１１は、ジェスチャの位置の情報を取得する（Ｓ１２３）。Ｓ１２３は、位置取得処理の一例である。ＣＰＵ１１は、ジェスチャの詳細情報に基づいて、ジェスチャの位置を取得する。

そして、ＣＰＵ１１は、ジェスチャの位置が表示画面１３１に表示中のテンプレート画像５１のうちの１つのオブジェクトの近くであるか否かを判断する（Ｓ１２４）。具体的には、ＣＰＵ１１は、指先などの位置が、テンプレート画像５１のうちの１つのオブジェクトの上方であって所定の距離範囲内にあるか否かを判断する。オブジェクトの上方とは、オブジェクトの領域から表示画面１３１に対して直交する方向へ延びる柱状の範囲である。なお、上方は、柱状の範囲に限らず、例えば、画面から離れるにつれて広がる形状であっても良い。

ジェスチャの位置が１つのオブジェクトの近くであると判断した場合（Ｓ１２４：ＹＥＳ）、ＣＰＵ１１は、そのオブジェクトの種類の情報を取得する（Ｓ１２５）。ジェスチャの位置が近いオブジェクトは、特定オブジェクトの一例であり、Ｓ１２５は、種類取得処理の一例である。なお、この場合のオブジェクトは、編集対象のテンプレート画像に含まれる各オブジェクトに限らず、例えば、図３に示した編集画面５０に含まれる印刷設定ボタン５３、印刷ボタン５４、保存ボタン５５など、各種のボタンであっても良い。そして、ＣＰＵ１１は、そのオブジェクトの種類に対応する割り当て情報を取得する（Ｓ１２６）。

オブジェクトが選択されていると判断した場合（Ｓ１２２：ＹＥＳ）、または、１つのオブジェクトの近くではないと判断した場合（Ｓ１２４：ＮＯ）、または、Ｓ１２６の後、ＣＰＵ１１は、検知したジェスチャの詳細情報に基づいて、ジェスチャの種類を取得する（Ｓ１２７）。ジェスチャの種類は、例えば、前述した上下左右のフリックのいずれかである。取得されるジェスチャの種類は、特定のジェスチャの一例であり、Ｓ１２７は、検知処理の一例である。

そして、ＣＰＵ１１は、取得したジェスチャの種類に対応する動作を特定する（Ｓ１２８）。Ｓ１２８は、動作特定処理の一例である。ＣＰＵ１１は、Ｓ１０６、Ｓ１１４、Ｓ１２６のいずれかにて取得した割り当て情報とＳ１２７にて取得したジェスチャの種類とに基づいて、対応する動作を特定する。取得している割り当て情報は、特定オブジェクトに対応する情報、または、オブジェクト未選択状態に対応する情報である。そして、ＣＰＵ１１は、特定した動作を実行する（Ｓ１２９）。Ｓ１２９は、動作実行処理の一例である。

例えば、本形態のラベル作成アプリ２２は、テキストオブジェクトが選択された状態で、つまり、図５（Ａ）に示したテキスト編集画面６０を表示させた状態で、ジェスチャを検知した場合、図４の例の割り当て情報に示したように、フォントのサイズやフォントの種類等のフォントの属性の変更の指示を受け付ける。具体的には、ＣＰＵ１１は、上フリックでフォントサイズのアップ、下フリックでフォントサイズのダウン、左フリックでフォントの種類の変更（ノーマル→ボールド→イタリックの順）、右フリックでフォントの種類の変更（左フリックの逆順）を受け付ける。

従来のラベル作成アプリでは、フォントサイズやフォントの種類を変更する場合、ユーザは、図５（Ａ）中のフォント設定ボタン６１を操作して、図５（Ｂ）に示すフォント設定画面を表示させてから、フォント設定画面中で操作を行う必要があった。これに対し、本形態では、図５（Ｂ）のフォント設定画面を表示させることなく、ジェスチャによってフォントの設定を指示できることから、ユーザのフォントの属性の変更の手間を軽減できる。なお、テキストオブジェクトに対応する動作としては、ラベル作成アプリ２２は、フォントのサイズや種類に限らず、反転、下線、取消線、文字囲、塗りつぶし等のフォントの飾りの変更を受け付けても良い。

また例えば、本形態のラベル作成アプリ２２は、シンボルオブジェクトが選択された状態で、つまり、図６（Ａ）に示すシンボル編集画面を表示させた状態で、ジェスチャを検知した場合、図４の例の割り当て情報に示したように、シンボルの変更やカテゴリの変更の指示を受け付ける。具体的には、ＣＰＵ１１は、上フリックで同一カテゴリ内のシンボル変更（次のシンボル）、下フリックで同一カテゴリ内のシンボル変更（前のシンボル）、左フリックでカテゴリ変更（上から下）、右フリックでカテゴリ変更（下から上）を受け付ける。

従来のラベル作成アプリでは、異なるカテゴリのシンボルを選択する場合、ユーザは、図６（Ａ）中のカテゴリ変更ボタン７１を操作して、図６（Ｂ）に示すカテゴリ選択画面を表示させてから、カテゴリを選ぶ必要があった。これに対し、本形態では、図６（Ｂ）のカテゴリ選択画面を表示させることなく、異なるカテゴリのシンボルを選択できることから、ユーザのシンボルの変更の手間を軽減できる。

また例えば、本形態のラベル作成アプリ２２は、写真オブジェクトが選択された状態で、つまり、図７に示す写真編集画面を表示させた状態で、ジェスチャを検知した場合、図４の例の割り当て情報に示したように、ハーフトーンの変更の指示を受け付ける。具体的には、ＣＰＵ１１は、上フリックと下フリックとでハーフトーンの変更（例えば、コントラストのアップとダウン）を受け付ける。

従来のラベル作成アプリでは、画像のコントラストなどの色調の調整を行いたい場合、ユーザは、図７中のハーフトーン変更ボタン８１を操作して、画像調整画面を表示させ、その画面中で操作を行う必要があった。これに対し、本形態では、画像調整画面を表示させることなく、イメージの色調の調整を行うことができることから、ユーザの手間を軽減できる。

なお、本形態では、写真オブジェクトが選択された状態での左フリックと右フリックには、対応する動作が割り当てられていない。つまり、ＣＰＵ１１は、特定オブジェクトが写真オブジェクトであって、Ｓ１２７にて取得したジェスチャの種類が左フリックまたは右フリックであると判断した場合、Ｓ１２８では対応動作を特定せず、Ｓ１２９をスキップする。本形態のラベル作成アプリ２２は、特定オブジェクトと特定のジェスチャとの組み合わせによっては、動作をスキップする割り当ても含めている。

また、オブジェクトの種類は、前述したテキストオブジェクト、シンボルオブジェクト、写真オブジェクトに限らない。例えば、ラベルの全体を示すラベルオブジェクト、ラベルのカットオプションを示すカットオプションオブジェクト、があっても良い。ラベル作成アプリ２２は、例えば、ラベルオブジェクトに対応して、ラベルの長さ方向のサイズを変更する動作を、左右のフリックによるジェスチャに割り当てる。このようにすれば、ラベルの長さの変更の手間を軽減できる。

また、ラベル作成アプリ２２は、例えば、カットオプションオブジェクトに対応して、カットオプションの内容を変更する動作を、上下のフリックによるジェスチャに割り当てる。このようにすれば、カットオプションの変更の手間を軽減できる。なお、カットオプションの内容には、カットのオンオフの選択の他、例えば、カットをオンとした場合のフルカットまたはハーフカットの選択、カット後のフィードの有無の選択が含まれる。

ジェスチャを検知していないと判断した場合（Ｓ１２１：ＮＯ）、ＣＰＵ１１は、完了指示を受け付けたか否かを判断する（Ｓ１３１）。各種のオブジェクトの編集画面には、前述したように、完了ボタン６２、７２、８２が含まれ、完了指示は、これらの完了ボタンへの操作によって受け付ける指示である。なお、オブジェクトが選択されていない場合には、ＣＰＵ１１は、完了指示を受け付けない。完了指示を受け付けたと判断した場合（Ｓ１３１：ＹＥＳ）、ＣＰＵ１１は、オブジェクトの選択を解除する（Ｓ１３２）。つまり、ＣＰＵ１１は、オブジェクトが選択されていない状態とし、Ｓ１０５に戻って、編集画面５０（図３参照）をユーザＩＦ１３に表示させる。

完了指示を受け付けていないと判断した場合（Ｓ１３１：ＮＯ）、ＣＰＵ１１は、ラベル作成アプリ２２の終了指示を受け付けたか否かを判断する（Ｓ１４１）。終了指示を受け付けたと判断した場合（Ｓ１４１：ＹＥＳ）、ＣＰＵ１１は、ラベル作成処理を終了する。

終了指示を受け付けていないと判断した場合（Ｓ１４１：ＮＯ）、他の指示を受け付けたか否かを判断する（Ｓ１４２）。他の指示を受け付けたと判断した場合（Ｓ１４２：ＹＥＳ）、ＣＰＵ１１は、受け付けた指示に対応する動作を実行する（Ｓ１４３）。ＣＰＵ１１は、例えば、図３に示した編集画面５０にて、印刷設定ボタン５３、印刷ボタン５４、保存ボタン５５などへの操作を受け付けた場合、受け付けた指示に対応する動作を実行する。例えば、印刷ボタン５４への操作によって印刷の実行指示を受け付けた場合、ＣＰＵ１１は、印刷コマンドを生成して、生成した印刷コマンドをプリンタ３に送信する。

ＣＰＵ１１は、他の動作として、例えば、図４に示した割り当て情報へのユーザによる設定を受け付けても良い。つまり、ジェスチャと動作との割り当ては、ラベル作成アプリ２２にて予め決めた関係であっても良いし、ユーザによる指定を受け付けても良い。例えば、Ｓ１４２にて割り当て設定の指示を受け付けた場合、Ｓ１４３にて、ＣＰＵ１１は、例えば、割り当て可能な動作の一覧を表示させ、動作の選択を受け付けて、割り当て情報に設定する。この場合のＳ１４３は、割当処理の一例である。ユーザによる動作の割り当てを受け付けることで、ユーザの使用状況に応じた動作とすることができ、ユーザの使い勝手が良い。

Ｓ１４３の後、または、他の指示を受け付けていないと判断した場合（Ｓ１４２：ＮＯ）、ＣＰＵ１１は、Ｓ１１１に戻って、オブジェクトの選択やジェスチャなど、各種の指示を受け付ける。なお、ＣＰＵ１１は、他の指示として、トップ画面に戻る指示や、テンプレートの再選択の指示を受け付けてもよく、その場合、Ｓ１０１やＳ１０２に戻ってさらに処理を続行する。

以上、詳細に説明したように、本明細書に記載のラベル作成アプリ２２によれば、電子デバイス１は、入力操作として特定のジェスチャを検知した場合、その特定のジェスチャに応じて、オブジェクトの種類ごとに割り当てられた動作を特定して実行する。つまり、特定のジェスチャを検知した後の動作が１つの動作に固定されず、１つのジェスチャを検知したことに応じて、オブジェクトの種類によって異なる動作が実行される。これにより、ジェスチャによる入力の使い勝手が向上する。

さらに、本形態では、選択されたオブジェクトをジェスチャによる動作の対象とする、あるいは、オブジェクトの上でジェスチャを検知した場合、そのオブジェクトをジェスチャによる動作の対象とするので、ジェスチャの使い勝手がさらに向上する。さらに、本形態では、オブジェクトが未選択でも対応する動作があるので、ジェスチャを使う機会が増え、ジェスチャの使い勝手がさらに向上する。つまり、ジェスチャに複数の種類があり、ジェスチャの種類ごとに動作が割り当てられることで、ジェスチャによる動作の種類が豊富であって、ジェスチャの使い勝手がさらに向上する。

なお、本実施の形態は単なる例示にすぎず、本発明を何ら限定するものではない。したがって本発明は当然に、その要旨を逸脱しない範囲内で種々の改良、変形が可能である。例えば、電子デバイス１に接続されるプリンタは、ラベルプリンタに限らず、インクジェットプリンタやレーザプリンタであっても良い。つまり、プリンタ３の印刷方式は、熱転写方式に限らず、例えば、感熱方式、インクジェット方式、電子写真方式でもよい。また、プリンタ３にて使用される印刷媒体は、ラベル紙に限らず、例えば、単なるロール紙やカット紙でもよい。

また、例えば、本形態では、ミリ波レーダ１５から出力される波形信号に基づいて、ラベル作成アプリ２２がジェスチャを取得するとしたが、これに限らない。例えば、ミリ波レーダ１５から出力される波形信号をＯＳ２１から取得して、取得した波形信号に基づいてジェスチャを検知する、別のプログラムが有っても良い。また、ジェスチャの情報を取得するための構成は、ミリ波レーダ１５に限らず、カメラ、赤外線センサ、光センサ等を用いても良いし、複数の構成の組み合わせによって取得してもよい。

また、例えば、本形態では、ジェスチャを検知したと判断した後、そのジェスチャの種類を取得するとしたが、種類の情報を含めたジェスチャを検知できても良い。例えば、上フリックを検知する場合、ミリ波レーダ１５からの出力信号によってフリックを検知した後、上下左右を解析することで上フリックを検知してもよいし、ミリ波レーダ１５からの出力信号から直ちに上フリックを検知してもよい。

また、本形態では、オブジェクトが選択されていない場合に、ジェスチャの位置に基づいて特定オブジェクトを決定するとしたが、ジェスチャの位置によるオブジェクトの特定はしなくても良い。つまり、オブジェクトが選択されていない場合は、未選択状態とするとしても良い。また、例えば、オブジェクトが選択されている場合であっても、検知したジェスチャの位置が選択されたオブジェクトの上方ではない場合には、選択されたオブジェクトではなく、ジェスチャの位置に対応する位置にあるオブジェクトを特定オブジェクトとしても良い。

また、本形態では、テンプレートなどの編集対象の画像が選択され、編集画面を表示中の場合にジェスチャを検知するとしたが、電子デバイス１は、編集画面の表示状態に関わらずジェスチャを検知してもよい。例えば、ラベル作成アプリ２２の実行中、電子デバイス１は、定期的に指先の位置を取得してもよい。

また、本形態ではタッチパネルを備える電子デバイス１について説明したが、ユーザＩＦ１３は、タッチパネルではなくても良い。ユーザＩＦ１３は、例えば、ディスプレイとキーボード、マウス等の入力装置との組み合わせであっても良い。その場合、ミリ波レーダ１５は、ディスプレイの周囲に設けられるとよい。このようにしても、ユーザは、入力装置によってカーソルを移動させてオブジェクトへの操作を行うとともに、ジェスチャによる動作も行わせることができる。

また、本形態では、ジェスチャとしてユーザの指先の動きを検出するとしたが、検出対象は指先に限らない。つまり、指先か否かの判断は、しなくても良い。例えば、タッチペンのペン先の移動によってフリックの方向を検知しても良い。

また、実施の形態に開示されている任意のフローチャートにおいて、任意の複数のステップにおける複数の処理は、処理内容に矛盾が生じない範囲で、任意に実行順序を変更できる、または並列に実行できる。

また、実施の形態に開示されている処理は、単一のＣＰＵ、複数のＣＰＵ、ＡＳＩＣなどのハードウェア、またはそれらの組合せで実行されてもよい。また、実施の形態に開示されている処理は、その処理を実行するためのプログラムを記録した記録媒体、または方法等の種々の態様で実現することができる。

１ 電子デバイス
３ プリンタ
１１ ＣＰＵ
１３ ユーザＩＦ
１５ ミリ波レーダ

Claims (14)

1. モーションセンサと表示器とを備える電子デバイスのコンピュータによって実行可能なプログラムであって、
   前記コンピュータに、
   前記モーションセンサからの出力結果に基づいて、特定のジェスチャを検知する検知処理を実行させ、
   さらに前記コンピュータに、前記検知処理によって前記特定のジェスチャが検知された場合、
   前記表示器に表示されているオブジェクトのうちの１つである特定オブジェクトについてオブジェクトの種類を取得する種類取得処理と、
   前記表示器に表示可能なオブジェクトの種類ごとに前記特定のジェスチャに応じた動作が割り当てられており、前記種類取得処理にて取得した前記オブジェクトの種類に割り当てられた動作を特定する動作特定処理と、
   前記特定オブジェクトについて前記動作特定処理にて特定された動作を実行する動作実行処理と、
   を実行させる、
   ことを特徴とするプログラム。
2. 請求項１に記載するプログラムにおいて、
   前記種類取得処理では、
   前記表示器に表示されているオブジェクトのうち選択されているオブジェクトを前記特定オブジェクトとして、前記特定オブジェクトの種類を取得する、
   ことを特徴とするプログラム。
3. 請求項２に記載するプログラムにおいて、
   さらに前記コンピュータに、前記検知処理によって前記特定のジェスチャが検知された場合、
   オブジェクトが選択されておらず、前記種類取得処理にてオブジェクトの種類が取得されなかった場合に、あらかじめ割り当てられた所定の動作を実行させる、
   ことを特徴とするプログラム。
4. 請求項１に記載するプログラムにおいて、
   さらに前記コンピュータに、
   前記検知処理にて前記特定のジェスチャを検知した場合、検知した前記特定のジェスチャの位置を取得する位置取得処理を実行させ、
   前記種類取得処理では、
   前記表示器に表示されているオブジェクトのうち前記表示器の画面と直交する方向に前記位置取得処理によって取得された前記ジェスチャの位置があるオブジェクトを前記特定オブジェクトとして、前記特定オブジェクトの種類を取得する、
   ことを特徴とするプログラム。
5. 請求項１から請求項４のいずれか１つに記載するプログラムにおいて、
   前記検知処理では、
   前記モーションセンサからの出力結果に基づいて検知可能なジェスチャには複数の種類があり、検知可能な前記複数の種類のジェスチャのうちの１つを、前記特定のジェスチャとして検知し、
   前記動作特定処理では、
   前記表示器に表示可能なオブジェクトの種類と、前記検知処理にて検知可能なジェスチャの種類と、の組み合わせごとに動作が割り当てられており、前記種類取得処理にて取得した前記特定オブジェクトの種類と、前記検知処理にて検知された前記特定のジェスチャと、の組み合わせに割り当てられた動作を特定する
   ことを特徴とするプログラム。
6. 請求項５に記載するプログラムにおいて、
   前記動作特定処理では、
   前記表示器に表示可能なオブジェクトの種類と、前記検知処理にて検知可能なジェスチャの種類と、の組み合わせには、動作が割り当てられていない組み合わせが含まれ、前記種類取得処理にて取得した前記特定オブジェクトの種類と、前記検知処理にて検知された前記特定のジェスチャと、の組み合わせに動作が割り当てられている場合、その割り当てられた動作を特定し、前記特定された動作が前記動作実行処理において実行され、前記種類取得処理にて取得した前記特定オブジェクトの種類と、前記検知処理にて検知された前記特定のジェスチャと、の組み合わせに動作が割り当てられていない場合、動作が特定されず、前記動作実行処理における前記特定オブジェクトについての動作がスキップされる、
   ことを特徴とするプログラム。
7. 請求項１から請求項６のいずれか１つに記載するプログラムにおいて、
   さらに前記コンピュータに、
   前記電子デバイスのユーザインタフェースを介して、前記表示器に表示可能なオブジェクトの種類の選択と、複数ある動作の中から１つの動作の選択と、を受け付け、選択されたオブジェクトの種類と選択された動作とを関連付けて記憶することで、前記特定のジェスチャに応じた動作として、選択されたオブジェクトの種類に選択された動作を割り当てる割当処理を実行させる、
   ことを特徴とするプログラム。
8. 請求項１から請求項７のいずれか１つに記載するプログラムにおいて、
   前記表示器に表示可能なオブジェクトの種類には、テキストを表示するテキストオブジェクトが含まれ、
   前記テキストオブジェクトには、前記テキストのフォントの属性を変更する動作が割り当てられる、
   ことを特徴とするプログラム。
9. 請求項１から請求項８のいずれか１つに記載するプログラムにおいて、
   前記表示器に表示可能なオブジェクトの種類には、あらかじめ登録された複数のシンボルのうち選択された１つを表示するシンボルオブジェクトが含まれ、
   前記シンボルオブジェクトには、表示されるシンボルを変更する動作が割り当てられる、
   ことを特徴とするプログラム。
10. 請求項１から請求項９のいずれか１つに記載するプログラムにおいて、
    前記表示器に表示可能なオブジェクトの種類には、イメージを表示するイメージオブジェクトが含まれ、
    前記イメージオブジェクトには、前記イメージの色調を変更する動作が割り当てられる、
    ことを特徴とするプログラム。
11. 請求項１から請求項１０のいずれか１つに記載するプログラムにおいて、
    前記表示器に表示可能なオブジェクトの種類には、ラベルを表示するラベルオブジェクトが含まれ、
    前記ラベルオブジェクトには、前記ラベルの長さ方向のサイズを変更する動作が割り当てられる、
    ことを特徴とするプログラム。
12. 請求項１から請求項１１のいずれか１つに記載するプログラムにおいて、
    前記表示器に表示可能なオブジェクトの種類には、ラベルのカットオプションを表示するカットオプションオブジェクトが含まれ、
    前記カットオプションオブジェクトには、前記カットオプションの内容を変更する動作が割り当てられる、
    ことを特徴とするプログラム。
13. 請求項１から請求項１２のいずれか１つに記載するプログラムにおいて、
    前記モーションセンサは、波長がミリメートル単位あるいはミリメートルよりも小さい単位の電磁波を受信し、受信した電磁波に基づく波形信号を出力するセンサであり、
    前記検知処理では、
    前記モーションセンサから出力される前記波形信号に基づいて、前記特定のジェスチャを検知する、
    ことを特徴とするプログラム。
14. モーションセンサと、
    表示器と、
    コンピュータと、
    を備え、
    前記コンピュータは、
    前記モーションセンサからの出力結果に基づいて、特定のジェスチャを検知する検知処理を実行し、
    さらに前記コンピュータは、前記検知処理によって前記特定のジェスチャが検知された場合、
    前記表示器に表示されているオブジェクトのうちの１つである特定オブジェクトについてオブジェクトの種類を取得する種類取得処理と、
    前記表示器に表示可能なオブジェクトの種類ごとに前記特定のジェスチャに応じた動作が割り当てられており、前記種類取得処理にて取得した前記オブジェクトの種類に割り当てられた動作を特定する動作特定処理と、
    前記特定オブジェクトについて前記動作特定処理にて特定された動作を実行する動作実行処理と、
    を実行する、
    ことを特徴とする電子デバイス。

Images